CN106488215A - 图像处理方法和设备 - Google Patents

图像处理方法和设备 Download PDF

Info

Publication number
CN106488215A
CN106488215A CN201610791382.3A CN201610791382A CN106488215A CN 106488215 A CN106488215 A CN 106488215A CN 201610791382 A CN201610791382 A CN 201610791382A CN 106488215 A CN106488215 A CN 106488215A
Authority
CN
China
Prior art keywords
image
hole
reference layer
viewpoint
coloured image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610791382.3A
Other languages
English (en)
Other versions
CN106488215B (zh
Inventor
赵良镐
黄孝锡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106488215A publication Critical patent/CN106488215A/zh
Application granted granted Critical
Publication of CN106488215B publication Critical patent/CN106488215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0085—Motion estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种图像处理方法和设备。图像处理方法包括：通过使用与第一视点的彩色图像对应的深度图像将第一视点的彩色图像扭曲变换到第二视点，来产生第二视点的目标彩色图像；确定第二视点的多个彩色图像中时间上相邻的彩色图像的转换关系，所述多个彩色图像包括目标彩色图像；基于转换关系，恢复目标彩色图像的第一洞。

Description

图像处理方法和设备
本申请要求于2015年9月1日提交到韩国知识产权局的第10-2015-0123363号韩国专利申请的优先权，该韩国专利申请的内容通过引用全部包含于此。
技术领域
至少一个示例实施例涉及图像处理方法和/或设备，更具体地讲，涉及用于产生被改变视点的图像的方法和/或设备。
背景技术
三维(3D)显示装置可显示3D图像。
可产生具有各种视点的输出图像，以向在各个位置观看图像的观众提供3D效果。可通过多个输入图像的内插或单个输入图像的外推来产生输出图像。在这个示例中，当基于较少数量的输入图像来产生多个输出图像时，会需要处理输入图像中观看不到而将在输出图像中观看到的区域。也就是说，该区域可以是就输出图像而言的可见区域。该区域可被称为洞。在各种洞处理方法中，针对各输出图像分别执行洞填充的方法可应用于本公开。
发明内容
一些示例实施例涉及图像处理方法。
一种图像处理方法包括：通过使用与第一视点的彩色图像对应的深度图像将第一视点的彩色图像扭曲变换到第二视点，来产生第二视点的目标彩色图像；确定第二视点的多个彩色图像中时间上相邻的彩色图像的转换关系，所述多个彩色图像包括目标彩色图像；以及基于转换关系，恢复目标彩色图像的第一洞。
所述方法还可包括使用目标彩色图像，恢复目标彩色图像的剩余的洞。
转换关系可指示时间上相邻的彩色图像的单应性。
计算可包括：提取所述多个彩色图像的背景特征；基于提取的背景特征，计算转换关系。
提取的步骤可包括：提取所述多个彩色图像的多个特征；使用对应于特征的深度值，基于深度将所述多个特征排序；将排序的特征中第一数量的多个特征确定为提取背景特征。
提取多个特征的步骤可包括提取所述多个彩色图像中的结构作为所述多个特征中的至少一个特征。
基于背景特征计算转换关系的步骤可包括：基于提取的背景图像，检测第一彩色图像的第一背景特征；基于提取的背景图像，检测第二彩色图像的第二背景特征；将第一背景特征和第二背景特征进行匹配；基于匹配的结果，计算转换关系，其中，第一彩色图像和第二彩色图像是时间上相邻的彩色图像。
恢复可包括：基于转换关系，将所述多个彩色图像中的每个彩色图像转换到目标彩色图像的目标平面；基于转换的结果，恢复第一洞。
基于转换的结果恢复洞的步骤可包括：将位于与对应于目标彩色图像的目标深度图像的第二洞相邻位置的背景区域的深度值分配给第二洞，第二洞对应于第一洞；从与被转换到目标平面的所述多个彩色图像对应的多个深度图像，检测对应于第二洞的深度参考区域；检测被转换到目标平面的所述多个彩色图像的彩色参考区域，彩色参考区域对应于深度参考区域；基于彩色参考区域，恢复第一洞。
检测深度参考区域的步骤可包括：从所述多个深度图像，检测具有与第二洞的坐标相同的坐标的区域；将检测到的区域中以下深度值的区域确定为深度参考区域：所述深度值均与被分配给第二洞的深度值具有小于或等于阈值的差。
基于彩色参考区域恢复第一洞的步骤可包括通过将彩色参考区域的颜色值的平均值设置为洞的颜色值来恢复第一洞。
基于彩色参考区域恢复第一洞的步骤可包括通过将彩色参考区域的颜色值中具有最大出现频率的颜色值设置为洞的颜色值来恢复第一洞。
根据至少一些示例实施例，一种图像处理设备可包括：存储器，存储计算机可读指令；一个或多个处理器，被配置为执行计算机可读指令，使得所述一个或多个处理器被配置为通过基于与第一视点的彩色图像对应的深度图像将第一视点的彩色图像扭曲变换到第二视点，来产生第二视点的目标彩色图像，确定第二视点的多个彩色图像中时间上相邻的彩色图像之间的转换关系，第二视点的所述多个彩色图像包括目标彩色图像；基于转换关系，恢复目标彩色图像的第一洞。
根据至少一些示例实施例，一种图像处理方法可包括：基于多个输入彩色图像的多个视点，确定参考视点；基于所述多个输入彩色图像，确定对应于参考视点的目标参考层；确定参考视点的多个参考层中时间上相邻的参考层之间的转换关系，所述多个参考层包括目标参考层；将通过将目标参考层进行扭曲变换而产生的最大洞分配给目标参考层；基于转换关系，恢复最大洞；通过将所述多个输入彩色图像中的至少一个输入彩色图像扭曲变换到输出视点，来产生输出彩色图像；基于目标参考层，恢复输出彩色图像的洞。
所述方法还可包括基于目标参考层，恢复目标参考层的剩余的洞。
转换关系可指示时间上相邻的参考层的单应性。
计算转换关系的步骤可包括：提取目标参考层的背景特征；基于背景特征计算转换关系。
恢复最大洞的步骤可包括：基于转换关系，将所述多个参考层转换到目标参考层的目标平面；基于转换结果，恢复最大洞。
根据至少一些示例实施例，一种图像处理方法包括：分别接收一个或多个视点的一个或多个输入彩色图像，将所述一个或多个视点中的一个视点设置为参考视点；将所述一个或多个输入彩色图像中的一个参考层设置为目标参考层，目标参考层对应于参考视点；通过针对参考视点的多个参考层中时间上相邻的各对参考层确定对应转换关系来确定多个转换关系，所述多个参考层包括目标参考层；将目标参考层扭曲变换到一个或多个视点，使得目标参考层包括一个或多个洞；通过基于所述多个转换关系恢复目标参考层的所述一个或多个洞，来恢复目标参考层；通过将输入彩色图像中的图像扭曲变换到第一视点来产生输出彩色图像，使得输出彩色图像包括洞；基于恢复的目标参考层，恢复输出彩色图像的洞。
所述一个或多个输入彩色图像可具有同一时间位置，所述多个参考层可具有不同时间位置。
所述多个转换关系之中的各转换关系可指示转换关系对应的时间上相邻的一对参考层的单映射。
恢复目标参考层的所述一个或多个洞的步骤可包括：通过基于所述多个转换关系将所述多个参考层转换到目标参考层的目标平面，来产生多个转换参考层；基于所述多个转换参考层，恢复目标参考层的所述一个或多个洞。
基于恢复的目标参考层恢复输出彩色图像的洞的步骤可包括：使用恢复的目标参考层的部分替代输出彩色图像的洞，恢复的目标参考层的所述部分在恢复的目标参考层内具有与输出彩色图像内的输出彩色图像的洞的位置对应的位置。
附图说明
通过参照附图详细描述发明构思的示例实施例，发明构思的示例实施例的以上和其他特征和优点将变得更清楚。附图意在描绘发明构思的示例实施例并且不应该被理解为限制权利要求书所期望的范围。附图将不被视为是按比例绘制的，除非明确指出。
图1示出基于输入图像产生的具有新视点的图像的示例；
图2示出多个输入图像的示例；
图3是示出图像处理设备的示例的框图；
图4是示出图像处理方法的示例的流程图；
图5示出具有新视点的多个彩色图像的示例；
图6示出多个彩色图像的转换关系的示例；
图7是示出计算转换关系的方法的示例的流程图；
图8是示出提取背景特征的方法的示例的流程图；
图9是示出基于背景特征来计算转换关系的方法的示例的流程图；
图10是示出根据至少一个示例实施例的恢复目标彩色图像中的洞的方法的示例的流程图；
图11示出背景特征的示例；
图12是示出基于被转换到目标平面的多个彩色图像来恢复目标彩色图像中的洞的方法的示例的流程图；
图13示出目标深度图像的示例；
图14是示出检测深度参考区域的方法的示例的流程图；
图15是示出图像处理方法的另一示例的流程图；
图16示出目标参考层的示例；
图17示出将最大洞分配给目标参考层的方法的示例；
图18示出洞地图产生方法的示例；
图19示出被分配最大洞的目标参考层的示例；
图20示出多个参考层的转换关系的示例；
图21示出其中的最大洞被恢复的目标参考层的示例；
图22是示出恢复输出图像中的洞的方法的示例的流程图；
图23示出其中的洞被恢复的输出图像的示例；
图24示出通过分割不同图像来计算转换关系的方法的示例。
具体实施方式
下文中，将参照附图详细描述一些示例实施例。关于附图中被分配给元件的参考标号，应该注意的是:在任何可能的情况下，即使相同的元件在不同的附图中被示出，也将通过相同的参考标号来指示相同的元件。此外，在对实施例的描述中，当认为公知现有结构或功能的详细描述将模糊本公开的说明时，将省略公知的现有结构或功能的描述。
然而，应该理解，并不意在将本公开限制到所公开的具体示例实施例。相反，示例实施例将涵盖落入示例实施例的范围内的所有修改、等同物和替代。贯穿附图的描述，相同的标号表示相同的元件。
此外，可在这里使用诸如第一、第二、A、B、(a)、(b)等的术语来描述组件。这些术语中的每个术语并不用于限定对应组件的本质、次序或序列，而仅用于将对应组件与其他组件区分开。应该注意，如果在说明书中描述了一个组件“连接”、“结合”、或“接合”到另一个组件，则尽管第一组件可直接连接、结合或接合到第二组件，但第三组件可“连接”、“结合”、或“接合”在第一组件和第二组件之间。
这里使用的术语仅出于描述特定实施例的目的，而不意在限制。如这里使用的，除非上下文另外明确地指示，否则单数形式也意在包括复数形式。还将理解，当在此使用时，术语“包括”和/或“包含”及其变型指定存在所述的特征、整体、步骤、操作、元件和/或组件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
还应该注意，在一些选择性的实施例中，所示出的功能/动作可不按附图中示出的次序发生。例如，连续示出的两个附图可实际上基本上同时执行，或可有时按相反的次序来执行，这取决于所涉及的功能/动作。
现在，将参照其中示出一些示例实施例的附图更充分地描述各种示例实施例。在附图中，为了清楚起见，夸大层和区域的厚度。
除非另外定义，否则这里使用的所有术语(包括技术术语和科技术语)具有与这些示例实施例所属领域的普通技术人员所通常理解的含义相同的含义。还将理解，除非这里明确定义，否则术语(诸如，在通用字典中定义的术语)应该被解释为具有与相关领域的背景下它们的含义相同的含义，不应被解释为理想化或过于形式化的含义。
关于附图中被分配给元件的参考标号，应该注意的是:在任何可能的情况下，即使相同的元件在不同的附图中被示出，也将通过相同的参考标号来指示相同的元件。此外，在对实施例的描述中，当认为公知现有结构或功能的详细描述将模糊本公开的说明时，将省略公知的现有结构或功能的描述。
在本公开中，术语“图像”可指示例如静止图像和移动图像的帧。术语“图像”可具有与术语“视频”的意思相同的意思，因此，可与术语“视频”可互换地使用。
彩色图像可以是例如包括具有颜色值的像素的图像。
深度图像可以是例如包括具有深度值的像素的图像。
根据至少一些示例实施例，对应于彩色图像的深度图像可包括指示对应彩色图像中像素的深度值的像素。根据至少一些示例实施例，可通过深度相机或激光器来产生深度图像。作为另一示例，可基于深度预测方法来产生深度图像。
可使用常数项将深度和视差反相关。因此，在本公开中，术语“深度”可与术语“视差”可互换地使用。此外，可按照已知方法在以下示例中实现将深度转换成视差的操作或将视差转换成深度的操作。
图1示出基于输入图像产生的具有新视点的图像的示例。
输入图像112可以是通过在所期望的或(可选地)预定的视点捕获场景而获取的图像。所期望的或(可选地)预定的视点也可被称为例如第一视点110。例如，可在第一视点110使用相机来获取输入图像112。输入图像112可以是彩色图像。也可获取对应于输入图像112的深度图像并且该深度图像可代表在第一视点110处捕获的场景的深度。
尽管图1示出一个输入图像(例如，输入图像112)，但本公开不限于此。根据至少一些示例实施例，除了输入图像112之外，还可提供在不同于第一视点110的视点获取的不同的输入图像。
可基于输入图像112来产生具有不同于第一视点110的新视点(例如，视点120至130)的图像。根据至少一些示例实施例，新视点可以是例如此处不可使用相机直接获取场景的视点。新视点可以是虚拟视点。
输出图像122和132可以是通过在视点120和130拍摄场景而获取的图像。在本公开中，在特定视点捕获的图像或者好像在特定视点捕获图像而产生的图像可被称为特定视点的图像和/或对应于特定视点的图像。类似地，图像所对应的视点可被称为图像的视点。
根据至少一些示例实施例，可通过将输入图像112进行扭曲变换(warping)来产生输出图像122和132。例如，可基于输入图像112和对应于输入图像112的深度图像来产生输出图像122和132。
如本公开中使用的，术语“扭曲变换”或其变型可指示基于图像的深度信息针对图像的各像素将坐标移位的操作。像素移位的程度可根据像素深度的减小而增大。可基于深度图像来得到图像的深度信息。例如，如以下将更详细讨论的，可将第一视点处捕获的第一图像进行扭曲变换，以产生第二图像，使得第二图像是好像第一图像是在不同于第一视点的第二视点处捕获的第一图像的表现。这个处理还可在这里被描述为将第一图像扭曲变换到第二视点。根据至少一些示例实施例，扭曲变换可包括将第一图像的前景部分的位置相对于第一图像的背景部分的位置移位，使得第二图像是好像第一图像是在第二视点处捕获的第一图像的表现。
当输入图像112的视点被扭曲变换时，在输出图像122和132中可能产生洞。该洞可指示例如洞像素和洞像素的区域。
响应于扭曲变换，如图1的输出图像122和132中所示的，由于图像中的前景和背景之间的深度差以及前景位置和背景位置相对于彼此所产生的改变，导致会产生洞。在图1所示的示例中，输入图像112的前景包括足球并且输入图像112的背景包括球门。在输入图像112中，足球和相机之间的距离可比相机和背景之间的距离短。因此，响应于视点改变，输入图像112中由球遮挡的背景的一部分可在输出图像122和132中看上去像球形洞。
根据至少一些示例实施例，可使用与输出图像122和132在时间上相关的图像来恢复输出图像122和132中的洞。在时间上相关的图像可以是例如包括输出图像122和132的输出视频的图像。
作为示例，当输入图像112是输入视频中包括的多个帧中的第t帧时，输出图像122和132中的每个图像可对应于输出视频中包括的多个帧中的第t帧。在这个示例中，与输出图像122和132在时间上相关的图像可以是输出视频中包括的多个帧中的除第t帧之外的帧。视频的帧可在时间上(即，相对于显示时间)按升序布置。例如，第t输入图像之后是第t+1输入图像，之后是第t+2输入图像，等等。本公开中针对帧或图像使用的“t”、“t+1”、“t+2”、“t+n”等形式的注释标识帧或图像的相对时间位置。
将参照图2至图24提供与恢复输出图像122和132的洞的方法相关的描述。
图2示出多个输入图像200。
多个输入图像200可以是在以上提到的输入视频中包括的多个帧。输入视频(即，多个输入图像)200可包括第t-1输入图像210、第t输入图像(例如，输入图像112)和第t+1输入图像220。
第t-1输入图像210和第t输入图像112可以是时间上相邻的图像。第t输入图像112和第t+1输入图像220可以是时间上相邻的图像。这里针对图像或帧使用的术语“时间上相邻”是指具有彼此相邻的或(可选地)相对靠近的时间位置的图像或帧。
可通过将输入视频的各图像转换到第二视点来产生输出视频。将参照图5提供与输出视频相关的描述。
图3是示出图像处理设备300的框图。
参照图3，图像处理设备300可包括通信器310、处理器320和存储器330。下文中，图像处理设备300还可被称为例如设备300。
通信器310可从另一设备接收输入视频或输入图像。根据至少一些示例实施例，通信器310还可在本公开中被称为“通信器电路310”，并且可通过例如被配置为发送和接收数据的电路或线路来实施。
处理器320可处理由通信器310接收的数据和存储器330中包括的数据。
在本公开中使用的术语“处理器”可指例如具有线路的硬件实现的数据处理装置，该线路被物理构造成执行所期望操作，这些操作包括例如被表示为程序中包括的代码和/或指令的操作。以上引用的硬件实现的数据处理装置的示例包括(但不限于)微处理器、中央处理器(CPU)、处理器核、多核处理器；多处理器、专用集成电路(ASIC)和现场可编程门阵列(FPGA)。执行程序代码的处理器是经编程的处理器，因此，是专用处理器。
根据至少一些示例实施例，处理器320可执行存储在存储器(例如，存储器330)中的计算机可读代码(例如，软件)，并且包括用于使处理器320执行和/或控制如由图像处理设备300(或其元件)执行的本公开中描述的操作中的一些操作或全部操作的指令。
存储器330可存储由通信器310接收的数据和由处理器320处理的数据。存储器330可存储例如输入视频和输入图像。
存储器330可采用的存储器的类型的示例包括(但不限于)易失性存储器、非易失性存储器、随机存取存储器(RAM)、闪存存储器、硬盘驱动和光盘驱动中的一个或多个。
存储器330可存储用于执行图像处理的指令集(例如，软件)。可通过处理器320执行用于执行图像处理的指令集。
处理器320可基于指令集来执行图像处理。
将参照图4至图24提供与通信器310、处理器320和存储器330相关的描述。
图4是示出图像处理方法的示例的流程图。
在操作410之前，通信器310可从另一设备接收输入视频或输入图像。另一设备可以是例如被配置为拍摄输入视频和/或输入图像的相机。
在操作410中，处理器320可通过基于与第一视点的彩色图像对应的深度图像将第一视点的彩色图像扭曲变换到第二视点，来产生第二视点的目标彩色图像。
第一视点可以是相机的拍摄视点并且第二视点可以是输出视点。目标彩色图像可指示输出图像的颜色值。
在操作410中，处理器320可通过将与第一视点的彩色图像对应的深度图像扭曲变换到第二视点，来产生第二视点的目标深度图像。第二视点的目标彩色图像和第二视点的目标深度图像可彼此对应。例如，根据至少一些示例实施例，第二视点的目标彩色图像的像素和具有与目标彩色图像的像素相同的坐标的第二视点的目标深度图像的像素可彼此对应。
由于通过扭曲变换来产生第二视点的目标彩色图像的方法可以是产生具有虚拟视点的图像的领域中的公知技术，因此为了更加清楚和简明，将省略相关描述。
所产生的第二视点的目标彩色图像可包括第一洞。所产生的第二视点的目标深度图像可包括第二洞。第一洞和第二洞可彼此对应。例如，目标深度图像中的第二洞的像素可具有与目标彩色图像中的第一洞的像素的坐标相同的坐标。
在操作420中，处理器320可计算包括第二视点的目标彩色图像的第二视点的多个彩色图像中的时间上相邻的彩色图像的转换关系。
根据至少一些示例实施例，该转换关系可以是时间上相邻的彩色图像的单应性(homography)。
将参照图6至图9提供与计算转换关系的方法相关的描述。
在操作430中，处理器320可基于转换关系，恢复第二视点的目标彩色图像中的第一洞。
在操作440中，处理器320可基于转换关系，恢复第二视点的目标深度图像中的第二洞。
可通过以上的操作410至430，恢复第二视点的目标彩色图像中的第一洞。
当在操作410至430之后剩余的洞存在于目标彩色图像中时，可另外执行操作440。
在操作440中，处理器320可在第二视点的目标彩色图像内设置包括剩余的洞的碎片(patch)。处理器320可检测与设置的碎片最相似的第二视点的目标彩色图像内的最佳碎片。处理器320可基于最佳碎片，恢复第二视点的目标彩色图像中的剩余的洞。
此外，根据至少一些示例实施例，如果在操作410至430之后在目标彩色图像中没有剩余的洞，则可不执行操作440。
根据至少一些示例实施例，处理器320可设置包括洞的碎片，并且在第二视点的目标彩色图像中搜索作为与设置的碎片最相似的碎片的最佳碎片，或者(可选地)在第二视点的目标彩色图像中搜索作为具有超过阈值的针对设置的碎片的相似度的碎片的期望碎片。
图5示出具有新视点的多个彩色图像的示例。
处理器320可通过将输入视频200扭曲变换到第二视点，来产生输出视频500。例如，处理器320可通过将输入视频200的各图像扭曲变换到第二视点，来产生输出视频500。
第t-1输入图像210、第t输入图像112和第t+1输入图像220可对应于第t-1输出图像510、第t输出图像501和第t+1输出图像520。第t输出图像501还可被称为目标彩色图像501。
输出视频500可包括多个彩色图像，所述多个彩色图像包括目标彩色图像501以及输出图像510和520。输出视频500也可被称为例如多个彩色图像500。
图6示出多个彩色图像的转换关系的示例。
处理器320可计算多个彩色图像500中的时间上相邻的彩色图像的转换关系。可得到多个结果作为计算出的转换关系。
作为示例，第一彩色图像610和第二彩色图像620可以是时间上相邻的彩色图像。处理器320可计算第一彩色图像610和第二彩色图像620之间的转换关系。第一彩色图像610和第二彩色图像620之间的转换关系可被表示为H1。
第二彩色图像620和时间上与第二彩色图像620相邻的第三彩色图像之间的转换关系可被表示为H2，以此类推。
图7是示出计算转换关系的方法的示例的流程图。
以上的操作420可包括操作710和720。
在操作710中，处理器320可从多个彩色图像提取背景特征。
根据至少一些示例实施例，处理器320可提取多个彩色图像(例如，彩色图像500)中的至少一个彩色图像中包括的背景特征。
在另一示例中，处理器320可提取目标彩色图像(例如，目标彩色图像501)的背景特征。
将参照图8提供与从多个彩色图像提取背景特征的方法相关的描述。
在操作720中，处理器320可基于背景特征，计算多个彩色图像中时间上相邻的彩色图像的转换关系。
将参照图9提供与基于背景特征来计算转换关系的方法相关的描述。
图8是示出提取背景特征的方法的示例的流程图。
以上的操作710可包括操作810至830。
在操作810中，处理器320可从多个彩色图像提取特征。例如，处理器320可提取多个彩色图像中的至少一个彩色图像的特征。
根据至少一些示例实施例，处理器320可提取多个彩色图像的结构作为特征。该结构可包括例如纹理、拐角和边缘。
所提取的特征可包括对应于特征的深度值。例如，当深度图像中的像素具有与彩色图像中的像素的坐标相同的坐标时，彩色图像的特征可对应于深度图像中包括的像素的深度值。
在另一示例中，处理器320可提取多个彩色图像的梯度作为特征。
在操作815中，处理器320可提取目标彩色图像的特征。
根据至少一些示例实施例，可选择性地执行操作810和操作815。
在操作820中，处理器320可基于深度来排列所提取的特征。
根据至少一些示例实施例，处理器320可通过使用对应于特征的深度值，基于深度将所提取的特征排列(即，排序)。例如，处理器320可按最大深度值到最小深度值的次序来排列特征。
在操作830中，处理器320可将提取的特征的一部分确定为背景特征。
根据至少一些示例实施例，处理器320可将基于深度排列的特征中预设数量或(可选地)期望数量的特征确定为背景特征。例如，根据至少一些示例实施例，处理器320可将排列的特征中M个最高的排序特征(即，具有最大深度值的M个特征)确定为背景特征，其中，M是代表以上提到的预设数量或(可选地)期望数量的正整数。根据至少一些示例实施例，M可以是小于排列的特征的总数的正整数。根据至少一些示例实施例，M可以是等于或大于排列的特征的总数的正整数。
在另一示例中，处理器320可基于深度值，对排列的特征执行分割。处理器320可基于排列的特征的深度值，确定背景深度。处理器320可基于背景深度，确定排列的特征中的背景特征。
作为示例，处理器320可基于深度值(即，深度值范围)将排列的特征分类成预设范围或(可选地)期望范围的组。在这些组之中，处理器320可基于组的深度值范围和阈值，将该组确定为背景组。例如，在这些组中，处理器320可将具有大于或等于阈值的深度值、深度值范围、和/或平均深度值的组确定为背景组。处理器320可将背景组中包括的特征确定为背景特征。
将参照图11提供与背景特征相关的描述。
图9是示出基于背景特征来计算转换关系的方法的示例的流程图。
以上的操作720可包括操作910至940。
在操作910中，处理器320可检测第一彩色图像的第一背景特征。第一彩色图像可包括在多个彩色图像500中。
第一背景特征可对应于在图7的操作710中提取的提取背景特征。例如，在操作910中，处理器320可从第一彩色图像提取特征，并且将从第一彩色图像中提取的特征中与操作710中提取的背景特征的差异小于阈值的特征检测为第一背景特征。
在操作920中，处理器320可检测第二彩色图像的第二背景特征。第二彩色图像可包括在多个彩色图像500中。第二彩色图像可以是时间上与第一彩色图像相邻的图像。作为示例，当第一彩色图像是第t图像时，第二彩色图像可以是第t+1图像。
第二背景特征可对应于在图7的操作710中提取的提取背景特征。例如，处理器320可从第二彩色图像提取特征，并且将从第二彩色图像中提取的特征中与操作710中提取的背景特征的差异小于阈值的特征检测为第二背景特征。
在操作930中，处理器320可将第一背景特征和第二背景特征进行匹配。
根据至少一些示例实施例，处理器320可将与第一背景特征相关的坐标和与第二背景特征相关的坐标进行匹配。
在操作940中，处理器320可基于匹配，计算第一彩色图像和第二彩色图像之间的转换关系。
根据至少一些示例实施例，处理器320可基于匹配的坐标，计算第一彩色图像和第二彩色图像之间的转换关系。
作为示例，当第一彩色图像的第一背景特征是Ft并且第二彩色图像的第二背景特征是Ft+1时，可基于等式1来计算转换关系。
[等式1]
Ft+1＝Ht·Ft
在等式1中，Ht表示第一彩色图像和第二彩色图像之间的转换关系。该转换关系可以是3×3单应矩阵。
可如等式2中所示地表示第一背景特征Ft。第一背景特征可具有第一彩色图像中的坐标(x,y)。
[等式2]
可如等式3中所示地表示第二背景特征Ft+1。第二背景特征可具有第二彩色图像中的坐标(x',y')。
[等式3]
可如等式4中所示地表示转换关系。
[等式4]
根据至少一些示例实施例，当多个背景特征被匹配时，处理器320可计算值h1至h9，使得Ht具有最小均方误差。
根据至少一些示例实施例，可通过改变将被处理的彩色图像，来重复地执行操作910至940。例如，处理器320可计算第一彩色图像和第二彩色图像之间的转换关系Ht，然后计算第二彩色图像和第三彩色图像之间的转换关系Ht+1。
根据至少一些示例实施例，处理器320可将彩色图像划分成多个子彩色图像并且计算多个子彩色图像的转换关系。将参照图24提供与计算子彩色图像的转换关系的方法相关的描述。
图10是示出根据至少一个示例实施例的恢复目标彩色图像中的洞的方法的示例的流程图。
以上的操作430可包括操作1010和1020。
在操作1010中，处理器320可基于转换关系，将多个彩色图像中的每个彩色图像转换到目标彩色图像的目标平面。
处理器320可将多个彩色图像转换到与目标彩色图像相同的平面。
作为示例，当目标彩色图像是第t图像时，可基于等式5将第t-1彩色图像转换到与目标彩色图像相同的平面。
[等式5]
It(t-1)＝Ht-1·It-1
在等式5中，It-1指示关于第t-1彩色图像的信息。例如，第I可包括与第t-1彩色图像中的像素的坐标对应的颜色值。
It(t-1)指示关于通过将第t-1彩色图像转换到目标平面而得到的图像的信息。
由于计算出了时间上相邻的彩色图像的转换关系，因此还可将时间上位于与目标彩色图像不相邻位置的彩色图像转换到目标平面。
作为示例，当目标彩色图像是第t图像时，可基于等式6将第t-N彩色图像转换到与目标彩色图像相同的平面。
[等式6]
It(t-N)＝Ht-1·Ht-2·Ht-3·…Ht-N·It-N
在等式6中，It(t-N)指示关于通过将第t-N彩色图像转换到目标平面而得到的图像的信息。
作为另一示例，目标彩色图像是第t图像，可基于等式7将第t+N彩色图像转换到与目标彩色图像相同的平面。
[等式7]
It(t+N)＝(Ht)-1·(Ht+1)-1·(Ht+2)-1·…(Ht+N-1)-1·It+N
在等式7中，It(t+N)指示关于通过将第t+N彩色图像转换到目标平面而得到的图像的信息。
根据至少一些示例实施例，目标平面对应于目标彩色图像(或目标深度图像)，并且将特定彩色图像(或深度图像)转换到目标平面可被限定为例如以与以上针对等式5至等式7示出的并且在图6中示出的方式，将特定彩色图像(或深度图像)和目标彩色图像(或目标深度图像)之间的各转换关系H应用于特定彩色图像(或深度图像)。
在操作1010中，处理器320可基于转换关系，将多个深度图像转换到目标深度图像的目标平面。将多个深度图像转换到目标深度图像的目标平面的方法可类似于将多个彩色图像转换到目标彩色图像的目标平面的方法。
在操作1020中，处理器320可基于被转换到目标平面的多个彩色图像，恢复目标彩色图像的洞。将参照图12至图14提供与恢复洞的方法相关的描述。
图11示出背景特征的示例。
目标彩色图像501可包括前景1103和背景1101。洞1105可以是通过前景1103露出的背景。洞1107可以是在目标彩色图像501中不被观看到的洞。
处理器320可提取目标彩色图像501的特征1103、1109和1111。前景1103可被提取为特征。
在提取的特征1103、1109和1111中，处理器320可基于特征1103、1109和1111的深度值，将特征1109和1111确定为背景特征。与确定的背景特征1109和1111对应的深度值可大于或等于预设的或(可选地)期望的阈值深度值。
作为示例，背景特征1109和1111可分别对应于单个像素的坐标。
作为另一示例，背景特征1109和1111可以是预先被设置大小(例如，按像素设置大小)的区域。
图12是示出基于被转换到目标平面的多个彩色图像来恢复目标彩色图像中的洞的方法的示例的流程图。
以上的操作1020可包括操作1210至1240。
在操作1210中，处理器320可将与第二视点的目标深度图像的第二洞相邻的背景区域的深度值分配给第二洞。可在图4的操作410中预先产生目标深度图像。
由于图像前景部分的移动而导致深度图像中露出的第二洞可具有相对高或(可选地)最高的被包括在深度图像的背景部分中的概率。处理器320可将与第二洞相邻的背景区域的深度值分配给第二洞。
在操作1220中，处理器320可从多个深度图像检测对应于第二洞的深度参考区域。所述多个深度图像可以是已经被转换到目标平面并且与已经被转换到所述目标平面的多个彩色图像对应的深度图像。
作为示例，深度参考区域可以是具有与第二洞的坐标相同的坐标的多个深度图像的区域。
将参照图14提供与检测深度参考区域的方法相关的描述。
在操作1230中，处理器320可检测对应于检测到的深度参考区域的被转换到目标平面的多个彩色图像的彩色参考区域。
作为示例，深度参考区域和彩色参考区域可彼此对应。例如，彼此对应的深度参考区域和彩色参考区域在图像中可具有相同坐标。根据至少一些示例实施例，在操作1230，针对选择的检测的深度参考区域，处理器320可将多个转换的彩色图像中的所有彩色图像的与选择的检测的深度参考区域的像素对应的像素检测为与选择的检测的深度参考区域对应的彩色参考区域。根据至少一些示例实施例，在操作1230中，处理器320可针对所有检测的深度参考区域(例如，在操作1220中检测的深度参考区域)执行与以上针对选择的检测的深度参考区域描述的操作相同的操作。
在操作1240中，处理器320可基于检测到的彩色参考区域，恢复目标彩色区域的洞。
作为示例，处理器320可通过将彩色参考区域的颜色值的平均值设置成洞的颜色值来恢复洞。
作为另一示例，处理器320可通过将彩色参考区域的颜色值中具有最大出现频率的颜色值设置成洞的颜色值来恢复洞。
例如，根据至少一些示例实施例，在操作1240中，处理器320可以逐像素来恢复洞。例如，针对洞的选择的像素，处理器320可确定与洞的选择的像素对应的多个像素中的平均像素值或最常出现的像素值。针对操作1240，与洞的选择的像素相应的多个像素可被定义为，被转换到目标平面的多个彩色图像的彩色参考区域中具有与洞的选择的像素相同的位置(例如，坐标)的像素。根据至少一些示例实施例，在操作1240中，处理器可针对洞中的所有像素执行与以上针对洞中的选择的像素描述的操作相同的操作。
图13示出目标深度图像1301。
目标深度图像1301可对应于以上提到的目标彩色图像501。
目标深度图像1301可包括第二洞1305和1307。
作为示例，处理器320可将与第二洞1305相邻的背景区域1309的深度值设置成第二洞1305的深度值。
作为另一示例，处理器320可将与第二洞1307相邻的背景区域1308或背景区域1309的深度值设置成第二洞1307的深度值。
图14是示出检测深度参考区域的方法的示例的流程图。
以上的操作1220可包括操作1410和1420。
在操作1410中，处理器320可从多个深度图像检测具有与第二洞的坐标相同的坐标的区域。
在操作1420中，在检测到的区域之中，处理器320可将具有以下深度值的区域确定为深度参考区域：该深度值与被分配给第二洞的深度值之差小于或等于阈值。
基于参照图4至图14描述的图像处理方法，可恢复输出图像的洞。
还将参照图15至图23提供与恢复输出图像的洞的方法相关的描述作为示例。
图15是示出图像处理方法的另一示例的流程图。
在操作1510之前，通信器310可从不同装置接收输入视频或输入图像。该不同装置可以是例如被配置为获取输入视频和输入图像的相机。
通信器310可接收在一个或多个视点处捕获的或针对一个或多个视点产生的一个或多个输入深度图像和一个或多个输入彩色图像。所述一个或多个输入彩色图像可以是均在不同视点同时获取的图像。所述一个或多个输入彩色图像具有同一时间位置。所述一个或多个输入深度图像可分别对应于所述一个或多个输入彩色图像。
可基于一个或多个第t输入彩色图像，产生第t虚拟视点输出彩色图像。虚拟视点输出彩色图像可包括洞。当存在第t背景层时，可基于第t背景层来恢复输出彩色图像的洞。
将参照以下描述来解释产生第t背景层和基于产生的第t背景层来恢复第t输出彩色图像的洞的方法。
下文中，第t背景层还可被称为目标参考层。
在操作1510中，处理器320可基于对应于一个或多个输入彩色图像的一个或多个视点，确定参考视点。
参考视点可以是例如参考层、目标参考层和洞地图的视点。
将参照图16提供与确定参考视点的方法相关的描述作为示例。
在操作1515中，处理器320可基于一个或多个输入彩色图像，产生对应于参考视点的目标参考层。根据至少一些示例实施例，在操作1515中产生目标参考层包括处理器320将在操作1510中确定的参考视点的输入彩色图像设置或指定为目标参考层。例如，在本公开中，在操作1510中被确定为参考视点的视点的图像(例如，输入彩色图像)可被称为“参考层”，并且在操作1515中，处理器选择多个参考层中的一个参考层作为目标参考层。目标参考层可以是例如产生的第t参考层，用于基于一个或多个第t输入彩色图像来产生虚拟视点输出彩色图像。
在操作1520中，处理器320可向目标参考层分配将通过将目标参考层扭曲变换到所期望的或(可选地)预定的视点而产生的最大洞。
将参照图17至图19提供与将最大洞分配给目标参考层的方法相关的描述。
在操作1525中，处理器320可计算参考视点的多个参考层中时间上相邻的参考层的转换关系，所述多个参考层包括目标参考层。
多个参考层中的每个可以是时间上与多个输入彩色图像相邻的输入彩色图像的目标参考层。多个参考层具有不同的时间位置。例如，第t-1参考层可以是针对多个第t-1输入彩色图像的目标参考层。
转换关系可指示时间上相邻的参考层的单映射。
将参照图16提供与计算多个参考层中时间上相邻的参考层的转换关系的方法相关的描述。
可并行执行操作1520至1525。
在操作1530中，处理器320可基于转换关系，恢复分配给目标参考层的最大洞。
将参照图22提供与恢复最大洞的方法相关的描述。
在操作1535中，当剩余的洞存在于目标参考层中时，处理器320可使用目标参考层恢复剩余的洞(如果存在此洞)。处理器320可在目标彩色层内设置包括剩余的洞的碎片。处理器320可检测目标参考层内与设置的碎片最相似的最佳碎片。处理器320可基于最佳碎片，恢复目标参考层中的剩余的洞。
根据至少一些示例实施例，处理器320可设置包括剩余的洞的碎片，并且在目标参考层中搜索作为与设置的碎片最相似的碎片的最佳碎片，或者(可选地)在目标参考层中搜索作为具有超过阈值的针对设置的碎片的相似度的碎片的期望碎片。
可基于是否存在剩余的洞，选择性地执行操作1535。
可与操作1510至1535并行地执行操作1540。
在操作1540中，处理器320可通过将多个输入彩色图像中的至少一个输入彩色图像扭曲变换到输出视点，来产生输出彩色图像。
作为示例，处理器320可基于与用于扭曲变换的输入彩色图像对应的输入深度图像来产生输出彩色图像。
在输出彩色图像中可存在洞。
在操作1545中，处理器320可基于其中的最大洞被恢复的目标参考层，恢复输出彩色图像的洞。
将参照图22和图23提供与恢复输出彩色图像的洞的方法相关的描述。
图16示出目标参考层的示例。
根据至少一些示例实施例，多个输入彩色图像的数量可以是2n-1，n是自然数。
参考视点可以是位于多个输入彩色图像的中心的输入彩色图像的视点。在2n-1个输入彩色图像之中，处理器320可将第n输入彩色图像(例如，中心输入彩色图像1620)的视点确定为参考视点。
当参考视点与多个输入彩色图像中的期望的或(可选地)预定的输入彩色图像的视点相同时，所述期望的或(可选地)预定的输入彩色图像可被设置为或用作目标参考层1640。作为示例，当参考视点是中心输入彩色图像1620的视点时，中心输入彩色图像1620可被设置为目标参考层1640。
在另一示例中，多个输入彩色图像的数量可以是2n。
当多个输入彩色图像的数量是2n时，处理器320可将第n输入彩色图像和第n+1输入彩色图像的中间的视点确定为参考视点。
当多个输入彩色图像的数量是2时，处理器320可基于多个输入彩色图像来产生参考视点的目标参考层。
图17示出将最大洞分配给目标参考层的方法的示例。
以上的操作1520可包括操作1710至操作1740。
在操作1710中，处理器320可将目标参考层扭曲变换到一个或多个视点。所述一个或多个视点可以是例如将被确定为一个或多个输出视点的一个或多个视点。
在操作1720中，处理器320可从通过扭曲变换而得到的扭曲变换的目标参考层检测一个或多个洞。处理器320可将例如没有被分配颜色值的像素的一个或多个区域或组检测为检测到的一个或多个洞。
在操作1730中，处理器320可基于检测到的一个或多个洞来产生洞地图。将参照图18提供与洞地图相关的描述。
在操作1740中，处理器320可通过将洞地图应用于目标参考层，来将检测到的一个或多个洞或(可选地)最大洞分配给目标参考层。
图18示出洞地图产生方法的示例。
处理器320可将目标参考层1810扭曲变换到一个或多个视点。目标参考层1810可包括前景1812。
处理器320可将目标参考层1810扭曲变换到位于参考视点左侧的视点，从而产生第一扭曲变换目标参考层1820。第一扭曲变换目标参考层1820可包括洞1824。
处理器320可将目标参考层1810扭曲变换到位于参考视点右侧的视点，从而产生第二扭曲变换目标参考层1830。第二扭曲变换目标参考层1830可包括洞1834。
处理器320可检测洞1824和洞1834。
处理器320可通过在一层中收集检测到的洞1824和洞1834来产生洞地图1840。洞地图1840可指示检测到的一个或多个洞(例如，洞1824和洞1834)的位置。在使用最极端的视点来执行目标参考层的扭曲变换的情况下，检测到的一个或多个洞构成“最大洞”。根据至少一些示例实施例，术语“最极端的视点”是指针对所有可用方向，最远离目标参考层的参考视点的可用视点，其中，处理器320可基于例如设备300的用户的喜好、由处理器320正执行的软件所限定的限制、和/或处理器320的处理限制，来限定哪些视点和方向是可用的。为了便于描述，在图18和图19中示出的示例中，假定检测到的一个或多个洞(例如，洞1824和洞1834)是最大洞。
然而，根据至少一些示例实施例，不使用最极端的视点来执行目标参考层的扭曲变换，因此，基于目标参考层的扭曲变换而检测到的检测到的一个或多个洞并不是最大洞。根据至少一些示例实施例，可在操作1520和1525中使用检测到的一个或多个洞来替代最大洞。
图19示出被分配最大洞的目标参考层的示例。
处理器320可通过将洞地图1840应用于目标参考层1810来产生被分配最大洞的目标参考层1910。
此后，可通过将被分配最大洞的目标参考层1910的洞恢复成背景，来产生背景层。
图20示出多个参考层的转换关系的示例。
多个参考层2000可包括目标参考层2010。例如，多个参考层2000的第t-n参考层可以是多个第t-n输入彩色图像的目标参考层。
以上与操作420相关的描述可类似地应用于计算多个参考层的转换关系的方法。与操作420的“第二视点的多个彩色图像”相关的描述也可应用于操作1525的“多个参考层”。
作为示例，第一参考层2020和第二参考层2030可以是时间上相邻的参考层。处理器320可计算第一参考层2020和第二参考层2030之间的转换关系。第一参考层2020和第二参考层2030之间的转换关系可以是H1。
第二参考层2030和时间上与第二参考层2030相邻的第三参考层之间的转换关系可以是H2，以此类推。
图21示出其中的最大洞被恢复的目标参考层的示例。
处理器320可恢复被分配最大洞的目标参考层1910的洞。
处理器320可将目标参考层1910的洞1914和洞1916恢复成背景。
以上与操作430相关的描述可类似地应用于恢复洞1914和洞1916的方法。与操作430的“第二视点的目标彩色图像”相关的描述也可应用于操作1530的“目标参考层”。
图22是示出恢复输出图像中的洞的方法的示例的流程图。
以上的操作1545可包括操作2210至2230。
在操作2210中，处理器320可检测在操作1540中产生的输出图像的洞。
在操作2220中，处理器320可将目标参考层扭曲变换到输出图像的视点。
在操作2230中，处理器320可使用扭曲变换的目标参考层中与输出图像的洞对应的区域来恢复洞。
将参照图24提供与恢复洞的方法相关的描述。
图23示出其中的洞被恢复的输出图像的示例。
被执行扭曲变换的输出图像2310可包括洞2314。
处理器320可将目标参考层扭曲变换到输出图像2310的视点，来产生扭曲变换目标参考层2320。
处理器320可从生扭曲变换目标参考层2320检测对应于洞2314的区域2324。例如，区域2324可具有与在图像中的洞2314的坐标相同的坐标。
根据至少一些示例实施例，处理器320可通过复制区域2324以将其粘贴到输出图像2310的洞2314来恢复洞2314。
处理器320可恢复洞2314，从而产生洞被恢复的输出图像2310。
图24示出通过分割不同图像来计算转换关系的方法的示例。
根据至少一些示例实施例，可如下地计算参照操作420和操作1525描述的转换关系。
处理器320可将第一参考层2020划分成多个子彩色图像2021至2024。处理器320可将第二参考层2030划分成多个子彩色图像2031至2034。
处理器320可计算对应子彩色图像之间的子转换关系。例如，处理器320可计算第一参考层2020的子彩色图像2012和第二参考层2030的子彩色图像2031之间的子转换关系。
处理器320可基于计算出的子转换关系，恢复目标参考层的最大洞。
根据至少一些示例实施例，设备300可在电子装置中实施或被实施为电子装置，电子装置的示例包括(但不限于)个人电子装置，包括数码相机、移动电话、笔记本或平板。根据至少一些示例实施例的电子装置可以是能够捕获二维(2D)视频数据的装置。根据至少一些示例实施例的电子装置可以是除了2D视频数据之外还能够捕获深度数据的装置。根据至少一些示例实施例的电子装置包括被配置为接收视频数据(例如，存储在个人电子装置上的2D视频数据)作为输入并且应用以上针对图1至图24中的任一个或全部描述的图像处理方法以将2D视频数据变换成免提三维(3D)格式的应用(app)、软件功能和/或线路。
根据至少一些示例实施例，用户可能够使用根据至少一些示例实施例的电子装置(在一些情况下，在使用用户捕获原始2D视频所用的同一电子装置)来创建并且观看用户按需创建的2D视频的免提3D版本。根据至少一些示例实施例的电子装置可响应于用户输入电子装置中的请求，将2D视频数据变换成免提3D格式。例如，用户可选择存储在电子装置上的2D视频文件并且输入使根据至少一些示例实施例的电子装置将2D视频数据变换成免提3D格式的命令。作为响应于用户请求的补充或替代，根据至少一些示例实施例的电子装置可自动执行将2D视频数据变换成免提3D格式。
可使用硬件组件和软件组件来实现这里描述的单元和/或模块。例如，硬件组件可包括麦克风、放大器、带通滤波器、音频-数字转换器和处理装置。可使用一个或多个硬件装置来实现处理装置，硬件装置被配置为通过执行算术、逻辑和输入/输出操作来进行和/或执行程序代码。处理装置可包括处理器、控制器和算术逻辑单元、数字信号处理器、微计算机、现场可编程阵列、可编程逻辑单元、微处理器或能够以限定方式响应指令并且执行指令的任何其他装置。处理装置可运行操作系统(OS)和在OS上运行的一个或多个软件应用。处理器装置还可响应于软件执行来访问、存储、操纵、处理并且创建数据。出于简要的目的，描述处理装置时使用单数；然而，本领域的技术人员将理解，处理装置可包括多个处理元件和多种类型的处理元件。例如，处理装置可包括多个处理器或包括处理器和控制器。此外，不同的处理配置(诸如，并行处理器)是可能的。
软件可包括用于独立地或共同地指示和/或配置处理装置使其根据期望操作从而将处理装置变换成专用处理器的计算机程序、一条代码、指令、或它们的一些组合。可按任何类型的机器、组件、物理或虚拟设备、计算机存储介质或装置、或按能够提供指令或数据或者被处理装置翻译的传播信号来永久或暂时地实施软件和数据。软件还可分布于联网的计算机系统，使得以分布式方式存储并且执行软件。可通过一个或多个非暂态计算机可读记录介质来存储软件和数据。
根据上述示例实施例的方法可被记录在非暂时性计算机可读介质中，非暂时性计算机可读介质包括用于实现上述示例实施例的各种操作的程序指令。介质还可单独地或与程序指令结合地包括数据文件、数据结构等。记录在介质上的程序指令可以是出于示例实施例的目的而专门设计和构造的程序指令。非暂时性计算机可读介质的示例包括：磁性介质(诸如，硬盘、软盘和磁带)；光学介质(诸如，CD-ROM盘、DVD和/或蓝光盘)；磁-光介质(诸如，光盘)；被专门配置为存储并且执行程序指令的硬件装置(诸如，只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器(例如，USB闪存驱动、存储卡、记忆棒等)等)。程序指令的示例包括机器代码(诸如，由编译器生成的代码)和包含可由计算机使用解释器执行的更高级代码的文件二者。上述装置可被构造成充当一个或多个软件模块，以执行上述示例性实施例的操作，或反之亦然。
由此已经描述了发明构思的示例实施例，将显而易见的是，可按许多方式变化这些实施例。这些变化将不被视为脱离发明构思的示例实施例的所期望精神和范围，并且本领域的技术人员将显而易见的所有这些修改意在被包括在随附权利要求书的范围内。

Claims (23)

1.一种图像处理方法，包括：
通过使用与第一视点的彩色图像对应的深度图像将第一视点的彩色图像扭曲变换到第二视点，来产生第二视点的目标彩色图像；
确定第二视点的多个彩色图像中时间上相邻的彩色图像的转换关系，所述多个彩色图像包括目标彩色图像；
基于转换关系，恢复目标彩色图像的第一洞。
2.根据权利要求1所述的方法，还包括：
使用目标彩色图像，恢复目标彩色图像的剩余的洞。
3.根据权利要求1所述的方法，其中，转换关系指示时间上相邻的彩色图像的单应性。
4.根据权利要求1所述的方法，其中，确定的步骤包括：
提取所述多个彩色图像的背景特征；
基于提取的背景特征，计算转换关系。
5.根据权利要求4所述的方法，其中，提取的步骤包括：
提取所述多个彩色图像的多个特征；
使用对应于特征的深度值，基于深度将所述多个特征排序；
将排序的特征中第一数量的多个特征确定为提取背景特征。
6.根据权利要求5所述的方法，其中，提取多个特征的步骤包括：提取所述多个彩色图像中的结构作为所述多个特征中的至少一个特征。
7.根据权利要求4所述的方法，其中，基于背景特征计算转换关系的步骤包括：
检测第一彩色图像的第一背景特征；
检测第二彩色图像的第二背景特征；
将第一背景特征和第二背景特征进行匹配；
基于匹配的结果，计算转换关系，
其中，第一彩色图像和第二彩色图像是时间上相邻的彩色图像。
8.根据权利要求1所述的方法，其中，恢复的步骤包括：
基于转换关系，将所述多个彩色图像中的每个彩色图像转换到目标彩色图像的目标平面；
基于转换的结果，恢复第一洞。
9.根据权利要求8所述的方法，其中，基于转换的结果恢复第一洞的步骤包括：
将位于与对应于目标彩色图像的目标深度图像的第二洞相邻位置的背景区域的深度值分配给第二洞，第二洞对应于第一洞；
从与被转换到目标平面的所述多个彩色图像对应的多个深度图像，检测对应于第二洞的深度参考区域；
检测被转换到目标平面的所述多个彩色图像的彩色参考区域，彩色参考区域对应于深度参考区域；
基于彩色参考区域，恢复第一洞。
10.根据权利要求9所述的方法，其中，检测深度参考区域的步骤包括：
从所述多个深度图像，检测具有与第二洞的坐标相同的坐标的区域；
将检测到的区域中以下深度值的区域确定为深度参考区域：所述深度值均与被分配给第二洞的深度值具有小于或等于阈值的差。
11.根据权利要求9所述的方法，其中，基于彩色参考区域恢复第一洞的步骤包括：通过将彩色参考区域的颜色值的平均值设置为第一洞的颜色值来恢复第一洞。
12.根据权利要求9所述的方法，其中，基于彩色参考区域恢复第一洞的步骤包括：通过将彩色参考区域的颜色值中具有最大出现频率的颜色值设置为第一洞的颜色值来恢复第一洞。
13.一种图像处理设备，包括：
存储器，存储计算机可读指令；
一个或多个处理器，被配置为执行计算机可读指令，使得所述一个或多个处理器被配置为：
通过基于与第一视点的彩色图像对应的深度图像将第一视点的彩色图像扭曲变换到第二视点，来产生第二视点的目标彩色图像，
确定第二视点的多个彩色图像中时间上相邻的彩色图像之间的转换关系，第二视点的所述多个彩色图像包括目标彩色图像，
基于转换关系，恢复目标彩色图像的第一洞。
14.一种图像处理方法，包括：
基于多个输入彩色图像的多个视点，确定参考视点；
基于所述多个输入彩色图像，确定对应于参考视点的目标参考层；
确定参考视点的多个参考层中时间上相邻的参考层之间的转换关系，所述多个参考层包括目标参考层；
将通过将目标参考层进行扭曲变换而产生的最大洞分配给目标参考层；
基于转换关系，恢复最大洞；
通过将所述多个输入彩色图像中的至少一个输入彩色图像扭曲变换到输出视点，来产生输出彩色图像；
基于目标参考层，恢复输出彩色图像的洞。
15.根据权利要求14所述的方法，还包括：
基于目标参考层，恢复目标参考层的剩余的洞。
16.根据权利要求14所述的方法，其中，转换关系指示时间上相邻的参考层的单应性。
17.根据权利要求14所述的方法，其中，确定转换关系的步骤包括：
提取目标参考层的背景特征；
基于背景特征计算转换关系。
18.根据权利要求14所述的方法，其中，恢复最大洞的步骤包括：
基于转换关系，将所述多个参考层转换到目标参考层的目标平面；
基于转换结果，恢复最大洞。
19.一种图像处理方法，包括：
分别接收一个或多个视点的一个或多个输入彩色图像，
将所述一个或多个视点中的一个视点设置为参考视点；
将所述一个或多个输入彩色图像中的一个彩色图像设置为目标参考层，目标参考层对应于参考视点；
通过针对参考视点的多个参考层中时间上相邻的各对参考层确定对应转换关系来确定多个转换关系，所述多个参考层包括目标参考层；
将目标参考层扭曲变换到一个或多个视点，使得目标参考层包括一个或多个洞；
通过基于所述多个转换关系恢复目标参考层的所述一个或多个洞，来恢复目标参考层；
通过将输入彩色图像中的图像扭曲变换到第一视点来产生输出彩色图像，使得输出彩色图像包括洞；
基于恢复的目标参考层，恢复输出彩色图像的洞。
20.根据权利要求19所述的方法，其中，所述一个或多个输入彩色图像具有同一时间位置，所述多个参考层具有不同时间位置。
21.根据权利要求20所述的方法，其中，所述多个转换关系中的各转换关系指示转换关系对应的时间上相邻的一对参考层的单应性。
22.根据权利要求19所述的方法，其中，恢复目标参考层的所述一个或多个洞的步骤包括：
通过基于所述多个转换关系将所述多个参考层转换到目标参考层的目标平面，来产生多个转换参考层；
基于所述多个转换参考层，恢复目标参考层的所述一个或多个洞。
23.根据权利要求19所述的方法，其中，基于恢复的目标参考层恢复输出彩色图像的洞的步骤包括：
使用恢复的目标参考层的部分替代输出彩色图像的洞，
恢复的目标参考层的所述部分在恢复的目标参考层内具有与输出彩色图像内的输出彩色图像的洞的位置对应的位置。
CN201610791382.3A 2015-09-01 2016-08-31 图像处理方法和设备 Active CN106488215B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150123363A KR102380862B1 (ko) 2015-09-01 2015-09-01 영상 처리 방법 및 장치
KR10-2015-0123363 2015-09-01

Publications (2)

Publication Number Publication Date
CN106488215A true CN106488215A (zh) 2017-03-08
CN106488215B CN106488215B (zh) 2020-10-23

Family

ID=56883581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610791382.3A Active CN106488215B (zh) 2015-09-01 2016-08-31 图像处理方法和设备

Country Status (5)

Country Link
US (1) US10063832B2 (zh)
EP (1) EP3139602B1 (zh)
JP (1) JP7004493B2 (zh)
KR (1) KR102380862B1 (zh)
CN (1) CN106488215B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111344716A (zh) * 2017-11-14 2020-06-26 奇跃公司 经由单应性变换适应的全卷积兴趣点检测和描述
CN113766130A (zh) * 2021-09-13 2021-12-07 维沃移动通信有限公司 视频拍摄方法、电子设备及装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101760639B1 (ko) 2017-03-31 2017-07-24 한국과학기술원 입력영상의 주변뷰 영상을 생성하는 몰입형 디스플레이 장치 및 방법
JP6980496B2 (ja) * 2017-11-21 2021-12-15 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
JP7202087B2 (ja) * 2018-06-29 2023-01-11 日本放送協会 映像処理装置
GB2576548B (en) * 2018-08-23 2021-11-03 Sony Interactive Entertainment Inc Method and system for reconstructing colour and depth information of a scene
US10907954B2 (en) * 2018-09-28 2021-02-02 Hand Held Products, Inc. Methods and systems for measuring dimensions of a 2-D object
CN112823375A (zh) * 2018-11-09 2021-05-18 三星电子株式会社 使用前向扭曲、间隙鉴别器和基于坐标的修复的图像再合成
CN112995641B (zh) * 2021-02-08 2022-09-27 东莞埃科思科技有限公司 一种3d模组成像装置及方法、电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110069237A1 (en) * 2009-09-23 2011-03-24 Demin Wang Image Interpolation for motion/disparity compensation
WO2013049388A1 (en) * 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1101198A1 (en) * 1999-06-04 2001-05-23 Koninklijke Philips Electronics N.V. A method and apparatus for three-dimensional image-rendering
JP2002072998A (ja) * 2000-08-25 2002-03-12 Internatl Business Mach Corp <Ibm> 輝度制御装置、輝度調節システム、コンピュータシステム、液晶ディスプレイ装置、輝度制御方法、コンピュータプログラム及び記憶媒体
EP1211640A3 (en) * 2000-09-15 2003-10-15 Canon Kabushiki Kaisha Image processing methods and apparatus for detecting human eyes, human face and other objects in an image
US7089790B2 (en) * 2004-10-18 2006-08-15 Silverbrook Research Pty Ltd Pressure sensor with laminated membrane
EP1966648A4 (en) * 2005-12-30 2011-06-15 Nokia Corp METHOD AND DEVICE FOR ADJUSTING THE AUTOFOCUS OF A VIDEO CAMERA BY FOLLOWING A REGION OF INTEREST
US7636151B2 (en) * 2006-01-06 2009-12-22 Qualcomm Mems Technologies, Inc. System and method for providing residual stress test structures
US7826112B2 (en) * 2007-10-24 2010-11-02 Kabushiki Kaisha Toshiba Color conversion apparatus and color conversion method
KR101093316B1 (ko) * 2008-04-15 2011-12-14 주식회사 만도 차량주행중 영상정합 방법 및 그 시스템
KR101468267B1 (ko) 2008-10-02 2014-12-15 프라운호퍼-게젤샤프트 추르 푀르데룽 데어 안제반텐 포르슝 에 파우 중간 뷰 합성 및 멀티-뷰 데이터 신호 추출
JP4752941B2 (ja) 2009-03-31 2011-08-17 カシオ計算機株式会社 画像合成装置及びプログラム
US8351084B2 (en) * 2009-10-13 2013-01-08 Xerox Corporation Vector error diffusion with edge control
JP5271970B2 (ja) * 2010-06-04 2013-08-21 京セラドキュメントソリューションズ株式会社 走査光学装置及びこれを搭載した画像形成装置
KR101089344B1 (ko) 2010-07-26 2011-12-02 주식회사 에이스엠이 이퀄라이징 깊이지도 생성 기법을 이용한 단일영상의 입체영상 변환 방법
US9013634B2 (en) 2010-09-14 2015-04-21 Adobe Systems Incorporated Methods and apparatus for video completion
KR101210625B1 (ko) 2010-12-28 2012-12-11 주식회사 케이티 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
KR101960852B1 (ko) 2011-01-13 2019-03-22 삼성전자주식회사 배경 픽셀 확장 및 배경 우선 패치 매칭을 사용하는 멀티 뷰 렌더링 장치 및 방법
TWI419078B (zh) * 2011-03-25 2013-12-11 Univ Chung Hua 即時立體影像產生裝置與方法
KR20130073459A (ko) 2011-12-23 2013-07-03 삼성전자주식회사 멀티-뷰 생성 방법 및 장치
KR20130086911A (ko) * 2012-01-26 2013-08-05 삼성전자주식회사 3차원 비디오를 위한 영상 처리 방법 및 장치
JP2013196160A (ja) 2012-03-16 2013-09-30 Kddi Corp 多視点画像を用いた自由視点画像生成方法、装置及びプログラム
KR101415147B1 (ko) 2012-08-10 2014-07-08 광운대학교 산학협력단 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법
US8923652B2 (en) 2012-10-25 2014-12-30 Nvidia Corporation Methods and apparatus for registering and warping image stacks
KR20140058744A (ko) 2012-11-05 2014-05-15 한국전자통신연구원 영상 이동 영역의 메움 처리 기능을 구비한 입체 영상 제작 시스템 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110069237A1 (en) * 2009-09-23 2011-03-24 Demin Wang Image Interpolation for motion/disparity compensation
WO2013049388A1 (en) * 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111344716A (zh) * 2017-11-14 2020-06-26 奇跃公司 经由单应性变换适应的全卷积兴趣点检测和描述
CN113766130A (zh) * 2021-09-13 2021-12-07 维沃移动通信有限公司 视频拍摄方法、电子设备及装置
CN113766130B (zh) * 2021-09-13 2023-07-28 维沃移动通信有限公司 视频拍摄方法、电子设备及装置

Also Published As

Publication number Publication date
JP7004493B2 (ja) 2022-01-21
KR102380862B1 (ko) 2022-03-31
EP3139602B1 (en) 2023-11-15
KR20170027002A (ko) 2017-03-09
CN106488215B (zh) 2020-10-23
US10063832B2 (en) 2018-08-28
EP3139602A1 (en) 2017-03-08
US20170064280A1 (en) 2017-03-02
JP2017050866A (ja) 2017-03-09

Similar Documents

Publication Publication Date Title
CN106488215A (zh) 图像处理方法和设备
Zhang et al. LFNet: Light field fusion network for salient object detection
US10645368B1 (en) Method and apparatus for estimating depth of field information
Guttmann et al. Semi-automatic stereo extraction from video footage
CN103578116B (zh) 用于跟踪对象的设备和方法
Nie et al. Dynamic video stitching via shakiness removing
US9237330B2 (en) Forming a stereoscopic video
Punnappurath et al. Reflection removal using a dual-pixel sensor
Chen et al. Attention-based multi-level fusion network for light field depth estimation
WO2021030002A1 (en) Depth-aware photo editing
WO2015180659A1 (zh) 图像处理方法和图像处理装置
CN103916654B (zh) 获得深度信息的方法和显示设备
Fredembach et al. Simple shadow remova
WO2013074561A1 (en) Modifying the viewpoint of a digital image
JP2015502058A (ja) マルチスペクトル撮像システム
Imamoglu et al. Hyperspectral image dataset for benchmarking on salient object detection
US20130129193A1 (en) Forming a steroscopic image using range map
Vasluianu et al. NTIRE 2023 image shadow removal challenge report
KR20130112311A (ko) 고밀도 삼차원 영상 재구성 장치 및 방법
KR102082300B1 (ko) 삼차원 영상 생성 또는 재생을 위한 장치 및 방법
CN107077742B (zh) 一种图像处理装置和方法
Yeh et al. Relative features for photo quality assessment
Huang et al. Removing reflection from a single image with ghosting effect
Van Duong et al. Light field image super-resolution network via joint spatial-angular and epipolar information
KR20160149160A (ko) 라이트필드 데이터베이스에서의 데이터 취출을 위한 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant