CN105704348A - 利用深度恢复图像中的缺失信息的设备、系统和方法 - Google Patents
利用深度恢复图像中的缺失信息的设备、系统和方法 Download PDFInfo
- Publication number
- CN105704348A CN105704348A CN201510876283.0A CN201510876283A CN105704348A CN 105704348 A CN105704348 A CN 105704348A CN 201510876283 A CN201510876283 A CN 201510876283A CN 105704348 A CN105704348 A CN 105704348A
- Authority
- CN
- China
- Prior art keywords
- image
- region
- disappearance
- movement
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000008034 disappearance Effects 0.000 claims description 34
- 230000008439 repair process Effects 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 12
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 230000004069 differentiation Effects 0.000 claims description 8
- 230000005540 biological transmission Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 7
- 239000012634 fragment Substances 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 5
- 238000012916 structural analysis Methods 0.000 claims description 4
- 238000004458 analytical method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 16
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 10
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000463 material Substances 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/77—Retouching; Inpainting; Scratch removal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Processing Or Creating Images (AREA)
Abstract
本公开涉及利用深度恢复图像中的缺失信息的设备、系统和方法。说明了用于从中缺失、去除或移动图像对象或区域的空白区域的填充的修复设备和方法。识别达到被去除的对象区域的边缘的结构区域，随后根据离照相机的深度(距离)，区分填充的优先顺序。随后按区分的填充优先顺序，填充这些结构区域，之后是剩余的(均匀)区域，从而生成修复的图像。可在任何期望的计算机支持的电子设备上进行所述方法，包括蜂窝电话机、数字照相机、膝上型计算机、平板计算机、个人计算机和其它装备处理器的电子设备。
Description
相关申请的交叉引用
不适用。
关于联邦支助研发的声明
不适用。
计算机程序附录的引用包含
不适用。
受版权保护的材料的通知
本专利文献中的一部分材料受美国及其他国家的版权法的版权保护。版权所有人不反对任何人影印再现专利文献或专利公开，因为专利文献或专利公开出现在可公开获得的美国专利商标局文件或档案中，不过保留其它方面的所有版权。版权所有人从而不放弃使本专利文献维持保密状态的任何权利，包括但不限于依照37C.F.R.§1.14的权利。
技术领域
本公开一般地涉及图像修复，更具体地，涉及当进行图像帧修复时，利用深度信息恢复缺失的信息。这里，深度信息指的是场景中的点离拍摄图像的照相机的距离，或者当沿着照相机的光轴测量时，它们离所述照相机的距离。
背景技术
图像修复的处理涉及重构被破坏或者有意去除的图像帧或视频帧的缺失部分。如果在图像内拍摄的对象被删除或移动，那么必须重构原始图像中被所述对象遮盖(隐藏)的区域，以便作为结果的图像仍然看起来“自然”。即，理想的是如果观看者没有看过原始图像，那么他们理应不能注意到图像已因去除或移动对象而被改变。
文献中记载了许多目前的修复技术。通常，这些方法可被分类成以下类别：(a)基于扩散的方法，(b)图像的稀疏表示，和(c)基于模型的方法。
当修复处理涉及无复杂结构的同类区域和/或小区域时，这些方法通常能够产生适当的输出。不过，在涉及具有多个被挡住的区域和结构的较大缺失区域的景象中，这些技术在作为结果的图像中留下明显的伪像，尤其是在边缘和结构化区域中。
因而，需要即使对于包括结构的较大被修复区域，也能够产生合意结果的修复重构技术。
发明内容
本公开提供修复设备和方法，所述修复设备和方法为修复提供在各种大小和程度的不均匀性范围内的看起来自然的结果。易于认识到，一些现有的修复方法基本上可处理极小区域或者可用均匀填充充填的区域的填充。当对象较大(例如，大于帧高度和/或宽度的约5-10％)时，出现更大的挑战，当对象被几个不同的区域和相交的结构(线条、平面和其它结构)围绕时，会使挑战进一步复杂化。在后一情况下，很难解析缺失、被去除或者被移动的结构或区域，以致重构的图像具有看起来自然的外观，同时跨越任何修复等仍然邻接的所有结构被适当地表现。应明白修复结果中的多数明显的伪像出现在边缘或区域边界周围。在很大程度上，当穿过被去除对象的区域重构与所述被去除对象相邻的结构，并且修复处理未留下任何明显的伪像时，景象看起来“自然”。提出的技术在进行修复时，利用深度信息，以便克服以前的方法的许多不足之处。
修复设备和技术用在许多应用领域，以下是作为例子给出的，而不是限制性的：(a)用于重构扫描的照片或老照片中的缺失部分。用于去除覆盖在图像或视频帧上的文本或标志；(b)用于从图像或视频中去除或移动不希望有的对象；(c)用于恢复图像编码和传输中的缺失块；(d)用于解决立体成像中的去遮挡问题，从而响应来自其附近的插值，恢复数字图像中的被遮挡区域；(e)用于产生各种3D效果，其中静态照片中的一个或多个对象被提取到图像的前景和生成的运动视频片段中；和(f)用于图像和视频帧的缩放和超分辨率。本领域的普通技术人员会认识到，这里介绍的技术也可用于另外的应用，以及它们的组合。
在说明书的以下部分中，将说明本技术的其它方面，其中详细的说明是用于充分公开本技术的优选实施例，而不是对其加以限制。
附图说明
参考以下附图，将更充分地理解本说明，附图只是用于举例说明的目的：
图1是举例用于进行按照本技术的实施例的修复的图像。
图2是在去除对象之后的图1中的图像的修剪版，箭头指示在对象的边缘相互作用的各种表面结构。
图3是表示用于按照本技术的实施例的修复的准备的已去除对象中的结构描绘和扩展的图像。
图4是按照本技术的实施例的修复的流程图。
图5是在不利用深度来确定修复顺序的情况下，从图1的原始图像修复被去除对象的图像。
图6是按照本技术的实施例，利用深度确定修复顺序，从图1的原始图像修复被去除对象的图像。
具体实施方式
响应涉及识别相邻结构的存在并利用深度信息设定这些结构的填充顺序的优先级的处理，进行修复。结构区域被按次序填充，随后填充剩余(均匀)区域，从而产生修复的图像。
图1描述例证图像(或视频帧)10，表示其中作为对象12的瓶子被去除，并利用修复方法填充的区域14。
图2描述围绕对象12的区域的特写镜头部分14'，对象12已被去除，从而留下对象12的黑色剪影(即，作为均匀填充以黑色的剪切块或外形图画的对象轮廓的二维表示)。图中，在对象边界可看到许多表面结构16。出现修复处理如何可自动确定这些表面中的哪些表面扩展到缺失区域(即，剪影)内，这些表面应被扩展多远，和如何处理结构之间的相互作用(即，相交)的问题。如果与有关结构相关的填充顺序未知，那么在修复期间，会出现许多问题。响应这些问题，出现各种形式的伪像。
图3图解说明应如何使附近的结构线穿过缺失的对象区域32的理想例子30。本技术中，利用深度信息确保适当的填充顺序。在至少一个实施例中，利用景象的深度图。本领域的普通技术人员会意识到许多技术可用于获得关于图像的不同部分的深度的信息，所述许多技术中的任意一种技术可以无限制地和公开的修复设备和方法一起使用。例如(但不限于)，响应利用比如在自动聚焦处理中获得的两画面模糊匹配，可以获得深度。
修复设备和方法首先扩展更靠近照相机的要素/结构，因为较近的对象会遮蔽较远的对象，但是反过来则不成立。从而，检测结构，并根据各个结构的深度值，向各个结构分配优先级，更靠近照相机的要素/结构获得更高的优先级。
图4图解说明图像修复的例证实施例50。获得图像，从中去除对象或区域(缺失或者被移动到不同的位置)，从而留下具有缺失像素的图像52。进行结构分析54，同时根据离照相机光圈的深度，确定填充的顺序。随后响应深度，按优先级顺序，填充各个结构区域56。随后对于剩余的区域，进行填充58。在填充之后，输出修复的图像60。
应理解上面说明的用于进行修复的图像处理可在各种设备上实现，所述各种设备包括可编程控制电路62，可编程控制电路62具有一个或多个计算机处理器64(例如，CPU、微处理器、微控制器、计算机支持的ASIC等)和相关的存储器66(例如，RAM、DRAM、NVRAM、闪存、计算机可读介质等)，从而保存在存储器中并且可在处理器上执行的程序进行这里说明的方法的各个步骤。就存储器和计算机可读介质来说，提出的技术无限制，只要这些存储器和计算机可读介质是非临时性的，从而不构成短暂的电子信号。
应理解可以响应能够在许多设备，包括(但不限于)蜂窝电话机、数字照相机、平板计算机、膝上型计算机、个人计算机和其它装备处理器的电子设备上执行的软件(程序)，进行这里说明的修复方法。程序可以在制造设备时驻留在设备上，或者可在以后安装在这些设备上，没有限制。
图5描述在去除水瓶对象，并在不受益于深度映射的情况下进行修复处理之后的图1的原始图像70。
图6描述在去除水瓶对象并进行利用本公开的深度映射、结构分析和区分优先顺序的修复的修复处理之后的图1的原始图像90。
可参考按照本发明的实施例的方法和系统的流程图图解，和/或也可被实现成计算机程序产品的算法、公式或其它计算描述，说明本发明的实施例。在这方面，流程图的各个方框或步骤，和流程图、算法、公式或计算描述中的方框(和/或步骤)的组合可用各种装置(比如硬件、固件和/或包括包含在计算机可读程序代码逻辑中的一个或多个计算机程序指令的软件)实现。会意识到，任何这样的计算机程序指令可被加载到计算机上，包括(但不限于)通用计算机或专用计算机，或者其它可编程处理设备，以产生机器，以致在计算机或其它可编程处理设备上执行的计算机程序指令形成用于实现在流程图的方框中指定的功能的装置。
因而，流程图、算法、公式或计算描述的方框支持进行指定功能的装置的组合，进行指定功能的步骤的组合，和进行指定功能的计算机程序指令，比如包含在计算机可读程序代码逻辑装置中的计算机程序指令。还要明白流程图图解、算法、公式或计算描述的各个方框，和这里说明的它们的组合可利用进行指定功能或步骤的基于专用硬件的计算机系统，或者专用硬件和计算机可读程序代码逻辑装置的组合实现。
此外，这些计算机程序指令，比如包含在计算机可读程序代码逻辑中的计算机程序指令也可被保存在计算机可读存储器中，所述计算机可读存储器可指示计算机或其它可编程处理设备按特定方式工作，以致保存在计算机可读存储器中的指令产生制造品，所述制造品包括实现在流程图的方框中指定的功能的指令装置。计算机程序指令也可被加载到计算机或者其它可编程处理设备上，以在计算机或其它可编程处理设备上进行一系列的操作步骤，从而产生计算机实现的处理，以致在计算机或其它可编程处理设备上执行的指令提供用于实现在流程图、算法、公式或计算描述的方框中指定的功能的步骤。
另外，要理解这里使用的“程序”指的是可由处理器执行，从而进行这里说明的功能的一条或多条指令。程序可体现在软件中，体现在固件中，或者体现在软件和固件的组合中。程序可在设备本地被保存在非临时性介质中，或者可被远程保存，比如保存在服务器上，或者所有或一部分的程序可被本地保存和远程保存。远程保存的程序可依据用户发起被下载(推送)到设备，或者基于一个或多个因素被自动下载(推送)到设备。另外要理解这里使用的术语处理器、中央处理器(CPU)和计算机是同义地使用的，以表示能够执行程序和与输入/输出接口和/或外设通信的设备。
根据这里的说明，应理解本公开包含多个实施例，所述多个实施例包括(但不限于)以下实施例：
1、一种用于修复图像帧中的缺失、被去除或移动的对象或区域的设备，包括：(a)计算机处理器；和(b)可在所述计算机处理器上执行，从而进行多个步骤的程序，所述多个步骤包括：(b)(i)识别达到图像帧中的缺失、被去除或移动的区域的边缘的结构区域；(b)(ii)响应各个结构区域离照相机的深度(距离)，区分各个结构区域的填充优先顺序；(b)(iii)按各个所述结构区域的区分的填充优先顺序，填充各个所述结构区域；和(b)(iv)填充缺失、被去除或移动的对象区域的剩余区域，以完成图像帧的修复。
2、按照任意前述实施例的设备，其中可在所述计算机处理器上执行的所述程序被配置成在响应结构分析，而区分结构区域的填充优先顺序中，进行所述识别结构区域。
3、按照任意前述实施例的设备，其中可在所述计算机处理器上执行的所述程序被配置成利用关于所述深度的信息设定结构的填充顺序的优先级，以致结构区域被按次序填充，之后，剩余的均匀区域被填充，以产生修复的图像。
4、按照任意前述实施例的设备，其中可在所述计算机处理器上执行的所述程序被配置成检测结构，并根据各个结构的深度值，向各个结构分配优先级，其中更靠近图像拍摄装置的要素和结构获得更高的优先级，因为较近的对象会遮蔽较远的对象，而较远的对象不会遮蔽较近的对象。
5、按照任意前述实施例的设备，其中在开始修复之前，获得关于跨越图像帧的深度的信息。
6、按照任意前述实施例的设备，其中响应两画面模糊匹配，获得关于深度的所述信息。
7、按照任意前述实施例的设备，其中在自动聚焦处理中，进行所述两画面模糊匹配。
8、按照任意前述实施例的设备，其中配置所述修复的结果，以致穿过缺失、被去除或移动的对象，来重构与缺失、被去除或移动的对象邻接的结构，其中修复处理不留下任何明显的伪像。
9、按照任意前述实施例的设备，其中所述设备被配置成供从以下一组应用中选择的应用之用：(a)重构扫描的照片或老照片中的缺失部分；(b)去除覆盖在图像或视频帧上的文本或标志；(c)从图像或视频中去除或移动不希望有的对象；(d)恢复图像编码和传输中的缺失块；(e)解决立体成像中的去遮挡问题，从而响应来自其附近的插值，恢复数字图像中的被遮挡区域；(f)产生各种3D效果，其中静态照片中的一个或多个对象被提取到该图像的前景和生成的运动视频片段中；和(g)图像和视频帧的缩放和超分辨率。
10、一种用于修复图像帧中的缺失、被去除或移动的对象或区域的设备，包括：(a)计算机处理器；和(b)可在所述计算机处理器上执行，从而进行多个步骤的程序，所述多个步骤包括：(b)(i)识别达到图像帧中的缺失、被去除或移动的区域的边缘的结构区域；(b)(ii)响应各个结构区域离拍摄所述图像帧的设备的深度(距离)，根据对于各个结构区域的结构分析，区分填充优先顺序；(b)(iii)按各个所述结构区域的基于深度的区分的填充优先顺序，填充各个所述结构区域；和(b)(iv)填充缺失、被去除或移动的对象区域的剩余均匀区域，以完成图像的修复。
11、按照任意前述实施例的设备，其中可在所述计算机处理器上执行的所述程序被配置成检测结构，并根据各个结构的深度值，向各个结构分配优先级，其中更靠近图像拍摄装置的要素和结构获得更高的优先级，因为较近的对象会遮蔽较远的对象，而较远的对象不会遮蔽较近的对象。
12、按照任意前述实施例的设备，其中在开始修复之前，获得关于跨越图像的深度的信息。
13、按照任意前述实施例的设备，其中响应两画面模糊匹配，获得关于深度的所述信息。
14、按照任意前述实施例的设备，其中在自动聚焦处理中，进行所述两画面模糊匹配。
15、按照任意前述实施例的设备，其中配置所述修复的结果，以致穿过缺失、被去除或移动的对象，来重构与缺失、被去除或移动的对象邻接的结构，其中修复处理不留下任何明显的伪像。
16、按照任意前述实施例的设备，其中所述设备被配置成供从以下一组应用中选择的应用之用：(a)重构扫描的照片或老照片中的缺失部分；(b)去除覆盖在图像或视频帧上的文本或标志；(c)从图像或视频中去除或移动不希望有的对象；(d)恢复图像编码和传输中的缺失块；(e)解决立体成像中的去遮挡问题，从而响应来自其附近的插值，恢复数字图像中的被遮挡区域；(f)产生各种3D效果，其中静态照片中的一个或多个对象被提取到该图像的前景和生成的运动视频片段中；和(g)图像和视频帧的缩放和超分辨率。
17、一种用于修复图像帧中的缺失、被去除或移动的对象或区域的方法，包括：(a)识别达到在计算机支持的设备上，对其进行图像处理的图像帧中的缺失、被去除或移动的区域的边缘的结构区域；(b)响应各个结构区域离拍摄所述图像帧的照相机设备的深度(距离)，区分各个结构区域的填充优先顺序；(c)在修复处理中，按各个所述结构区域的区分的填充优先顺序，填充各个所述结构区域；和(d)在修复处理中，填充被去除的对象区域的剩余区域。
18、按照任意前述实施例的方法，其中进行所述检测结构，并根据各个结构的深度值，向各个结构分配优先级，以致更靠近图像拍摄装置的要素和结构获得更高的优先级，因为较近的对象会遮蔽较远的对象，而较远的对象不会遮蔽较近的对象。
19、按照任意前述实施例的方法，其中配置所述修复的结果，以致穿过缺失、被去除或移动的对象，来重构与缺失、被去除或移动的对象邻接的结构，其中修复处理不留下任何明显的伪像。
20、按照任意前述实施例的方法，其中所述方法被配置成供从以下一组应用中选择的应用之用：(a)重构扫描的照片或老照片中的缺失部分；(b)去除覆盖在图像或视频帧上的文本或标志；(c)从图像或视频中去除或移动不希望有的对象；(d)恢复图像编码和传输中的缺失块；(e)解决立体成像中的去遮挡问题，从而响应来自其附近的插值，恢复数字图像中的被遮挡区域；(f)产生各种3D效果，其中静态照片中的一个或多个对象被提取到该图像的前景和生成的运动视频片段中；和(g)图像和视频帧的缩放和超分辨率。
尽管这里的说明包含许多细节，不过这些细节不应被理解成限制本公开的范围，而应被理解成仅仅提供目前优选的实施例中的一些实施例的例示。于是，要意识到本公开的范围完全包含对本领域的技术人员来说显然的其它实施例。
在权利要求书中，单数地引用某个要素并不用来意味“唯一的一个”，除非明确地这样陈述，而是意味“一个或多个”。公开的实施例的各个要素的为本领域的普通技术人员已知的所有结构等同物和功能等同物通过引用被明确地并入这里，并被当前权利要求书包含。此外，本公开中的元素、组件或方法步骤都不意图奉献给公众，不论所述元件、组件或方法步骤是否被明确地记载在权利要求书中。这里的权利要求要素不应被解释成“装置+功能”要素，除非利用短语“用于…的装置”明确地记载该要素。这里的权利要求要素不应被解释成“步骤+功能”要素，除非利用短语“用于…的步骤”明确地记载该要素。
Claims (21)
1.一种用于修复图像帧中的缺失、被去除或移动的对象或区域的设备，包括：
(a)计算机处理器；和
(b)用于存储能在所述计算机处理器上执行的指令的存储器，
所述计算机处理器被配置用于：
(i)识别达到图像帧中的缺失、被去除或移动的区域的边缘的结构区域；
(ii)响应各个结构区域离照相机的深度，区分各个结构区域的填充优先顺序；
(iii)按各个所述结构区域的区分的填充优先顺序，填充各个所述结构区域；和
(iv)填充缺失、被去除或移动的对象区域的剩余区域，以完成图像帧的修复。
2.按照权利要求1所述的设备，其中所述计算机处理器被配置成在响应结构分析而区分结构区域的填充优先顺序中，进行所述识别达到图像帧中的缺失、被去除或移动的区域的边缘的结构区域。
3.按照权利要求1所述的设备，其中所述计算机处理器被配置成利用关于所述深度的信息设定结构的填充顺序的优先级，以致结构区域被按次序填充，之后，剩余的均匀区域被填充，以产生修复的图像。
4.按照权利要求1所述的设备，其中所述计算机处理器被配置成检测结构，并根据各个结构的深度值，向各个结构分配优先级，其中更靠近图像拍摄装置的要素和结构获得更高的优先级，因为较近的对象会遮蔽较远的对象，而较远的对象不会遮蔽较近的对象。
5.按照权利要求1所述的设备，其中在开始修复之前，获得关于跨越图像帧的深度的信息。
6.按照权利要求5所述的设备，其中响应两画面模糊匹配，获得关于深度的所述信息。
7.按照权利要求6所述的设备，其中在自动聚焦处理中，进行所述两画面模糊匹配。
8.按照权利要求1所述的设备，其中配置所述修复的结果，以致穿过缺失、被去除或移动的对象，来重构与缺失、被去除或移动的对象邻接的结构，其中修复处理不留下任何明显的伪像。
9.按照权利要求1所述的设备，其中所述设备被配置成供从以下一组应用中选择的应用之用：(a)重构扫描的照片或老照片中的缺失部分；(b)去除覆盖在图像或视频帧上的文本或标志；(c)从图像或视频中去除或移动不希望有的对象；(d)恢复图像编码和传输中的缺失块；(e)解决立体成像中的去遮挡问题，从而响应来自其附近的插值，恢复数字图像中的被遮挡区域；(f)产生各种3D效果，其中静态照片中的一个或多个对象被提取到该图像的前景和生成的运动视频片段中；和(g)图像和视频帧的缩放和超分辨率。
10.一种用于修复图像帧中的缺失、被去除或移动的对象或区域的设备，包括：
(a)计算机处理器；和
(b)用于存储能在所述计算机处理器上执行的指令的存储器，
所述计算机处理器被配置用于：
(i)识别达到图像帧中的缺失、被去除或移动的区域的边缘的结构区域；
(ii)响应各个结构区域离拍摄所述图像帧的装置的深度，根据对于各个结构区域的结构分析，区分填充优先顺序；
(iii)按各个所述结构区域的基于深度的区分的填充优先顺序，填充各个所述结构区域；和
(iv)填充缺失、被去除或移动的对象区域的剩余均匀区域，以完成图像的修复。
11.按照权利要求10所述的设备，其中所述计算机处理器被配置成检测结构，并根据各个结构的深度值，向各个结构分配优先级，其中更靠近图像拍摄装置的要素和结构获得更高的优先级，因为较近的对象会遮蔽较远的对象，而较远的对象不会遮蔽较近的对象。
12.按照权利要求10所述的设备，其中在开始修复之前，获得关于跨越图像的深度的信息。
13.按照权利要求12所述的设备，其中响应两画面模糊匹配，获得关于深度的所述信息。
14.按照权利要求13所述的设备，其中在自动聚焦处理中，进行所述两画面模糊匹配。
15.按照权利要求10所述的设备，其中配置所述修复的结果，以致穿过缺失、被去除或移动的对象，来重构与缺失、被去除或移动的对象邻接的结构，其中修复处理不留下任何明显的伪像。
16.按照权利要求10所述的设备，其中所述设备被配置成供从以下一组应用中选择的应用之用：(a)重构扫描的照片或老照片中的缺失部分；(b)去除覆盖在图像或视频帧上的文本或标志；(c)从图像或视频中去除或移动不希望有的对象；(d)恢复图像编码和传输中的缺失块；(e)解决立体成像中的去遮挡问题，从而响应来自其附近的插值，恢复数字图像中的被遮挡区域；(f)产生各种3D效果，其中静态照片中的一个或多个对象被提取到该图像的前景和生成的运动视频片段中；和(g)图像和视频帧的缩放和超分辨率。
17.一种用于修复图像帧中的缺失、被去除或移动的对象或区域的方法，包括：
(a)识别达到在计算机支持的设备上对其进行图像处理的图像帧中的缺失、被去除或移动的区域的边缘的结构区域；
(b)响应各个结构区域离拍摄所述图像帧的照相机装置的深度，区分各个结构区域的填充优先顺序；
(c)在修复处理中，按各个所述结构区域的区分的填充优先顺序，填充各个所述结构区域；和
(d)在修复处理中，填充被去除的对象区域的剩余区域。
18.按照权利要求17所述的方法，其中进行所述识别和所述区分各个结构区域的填充优先顺序的步骤，以致更靠近图像拍摄装置的要素和结构获得更高的优先级，因为较近的对象会遮蔽较远的对象，而较远的对象不会遮蔽较近的对象。
19.按照权利要求17所述的方法，其中配置所述修复的结果，以致穿过缺失、被去除或移动的对象，来重构与缺失、被去除或移动的对象邻接的结构，其中修复处理不留下任何明显的伪像。
20.按照权利要求17所述的方法，其中所述方法被配置成供从以下一组应用中选择的应用之用：(a)重构扫描的照片或老照片中的缺失部分；(b)去除覆盖在图像或视频帧上的文本或标志；(c)从图像或视频中去除或移动不希望有的对象；(d)恢复图像编码和传输中的缺失块；(e)解决立体成像中的去遮挡问题，从而响应来自其附近的插值，恢复数字图像中的被遮挡区域；(f)产生各种3D效果，其中静态照片中的一个或多个对象被提取到该图像的前景和生成的运动视频片段中；和(g)图像和视频帧的缩放和超分辨率。
21.一种用于修复图像帧中的缺失、被去除或移动的对象或区域的系统，包括用于执行权利要求17-20中的步骤的装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/567,683 | 2014-12-11 | ||
| US14/567,683 US9412153B2 (en) | 2014-12-11 | 2014-12-11 | Using depth for recovering missing information in an image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105704348A true CN105704348A (zh) | 2016-06-22 |
| CN105704348B CN105704348B (zh) | 2018-11-02 |
Family
ID=54843637
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510876283.0A Active CN105704348B (zh) | 2014-12-11 | 2015-12-03 | 利用深度恢复图像中的缺失信息的设备、系统和方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9412153B2 (zh) |
| EP (1) | EP3032494B1 (zh) |
| CN (1) | CN105704348B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108076290A (zh) * | 2017-12-20 | 2018-05-25 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN111465960A (zh) * | 2017-12-26 | 2020-07-28 | 三星电子株式会社 | 图像获取装置及控制图像获取装置的方法 |
| CN112118483A (zh) * | 2020-06-19 | 2020-12-22 | 中兴通讯股份有限公司 | 视频处理方法、装置、设备和存储介质 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7098601B2 (ja) * | 2017-03-31 | 2022-07-11 | ソニーセミコンダクタソリューションズ株式会社 | 画像処理装置、撮像装置、画像処理方法、およびプログラム |
| CN107977641A (zh) * | 2017-12-14 | 2018-05-01 | 东软集团股份有限公司 | 一种智能识别地形的方法、装置、车载终端及车辆 |
| US11328396B2 (en) | 2017-12-26 | 2022-05-10 | Samsung Electronics Co., Ltd. | Image acquisition device and method of controlling the same |
| CN110136080B (zh) * | 2019-05-10 | 2023-03-21 | 厦门稿定股份有限公司 | 图像修复方法及装置 |
| US20210274092A1 (en) * | 2020-02-28 | 2021-09-02 | Weta Digital Limited | Reconstruction of obscured views in captured imagery using pixel replacement from secondary imagery |
| CN111598817B (zh) * | 2020-04-26 | 2023-07-18 | 凌云光技术股份有限公司 | 一种深度图像的缺失像素的填充方法及系统 |
| US11380097B2 (en) * | 2020-08-07 | 2022-07-05 | Apple Inc. | Visualization of non-visible phenomena |
| KR20220047141A (ko) * | 2020-10-08 | 2022-04-15 | 에스케이텔레콤 주식회사 | 영상복원 방법 및 장치 |
| CN112215238B (zh) * | 2020-10-29 | 2022-06-07 | 支付宝(杭州)信息技术有限公司 | 一种通用特征提取模型构建方法、系统及装置 |
| US11611719B2 (en) * | 2020-12-04 | 2023-03-21 | Dragonfruit Ai, Inc. | Management of video playback speed based on objects of interest in the video data |
| US11620737B2 (en) * | 2021-03-22 | 2023-04-04 | Samsung Electronics Co., Ltd. | System and method for indoor image inpainting under multimodal structural guidance |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101630408A (zh) * | 2009-08-14 | 2010-01-20 | 清华大学 | 一种深度图的处理方法及装置 |
| CN103369342A (zh) * | 2013-08-05 | 2013-10-23 | 重庆大学 | 一种dibr目标图像空洞填充修复处理方法 |
| US20130315473A1 (en) * | 2011-02-24 | 2013-11-28 | Sony Corporation | Image processing device and image processing method |
| US8731324B1 (en) * | 2012-11-02 | 2014-05-20 | Cyberlink Corp. | Systems and methods for performing image inpainting |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7502521B2 (en) * | 2005-06-21 | 2009-03-10 | Microsoft Corporation | Image completion with structure propagation |
| US7755645B2 (en) * | 2007-03-29 | 2010-07-13 | Microsoft Corporation | Object-based image inpainting |
| CN102113015B (zh) | 2008-07-28 | 2017-04-26 | 皇家飞利浦电子股份有限公司 | 使用修补技术进行图像校正 |
| CN104254870B (zh) * | 2011-12-30 | 2017-08-01 | 英特尔公司 | 用于局部优化纹理综合3‑d图像修复的方法和装置 |
| US20140002595A1 (en) | 2012-06-29 | 2014-01-02 | Hong Kong Applied Science And Technology Research Institute Co., Ltd. | Apparatus, system and method for foreground biased depth map refinement method for dibr view synthesis |
| US9014474B2 (en) * | 2012-09-06 | 2015-04-21 | Cyberlink Corp. | Systems and methods for multi-resolution inpainting |
-
2014
- 2014-12-11 US US14/567,683 patent/US9412153B2/en active Active
-
2015
- 2015-12-02 EP EP15197615.6A patent/EP3032494B1/en active Active
- 2015-12-03 CN CN201510876283.0A patent/CN105704348B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101630408A (zh) * | 2009-08-14 | 2010-01-20 | 清华大学 | 一种深度图的处理方法及装置 |
| US20130315473A1 (en) * | 2011-02-24 | 2013-11-28 | Sony Corporation | Image processing device and image processing method |
| US8731324B1 (en) * | 2012-11-02 | 2014-05-20 | Cyberlink Corp. | Systems and methods for performing image inpainting |
| CN103369342A (zh) * | 2013-08-05 | 2013-10-23 | 重庆大学 | 一种dibr目标图像空洞填充修复处理方法 |
Non-Patent Citations (1)
| Title |
|---|
| LINGNI MA等: "Depth-guided inpainting algorithm for Free-Viewpoint Video", 《IMAGE PROCESSING（ICIP）》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108076290A (zh) * | 2017-12-20 | 2018-05-25 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN108076290B (zh) * | 2017-12-20 | 2021-01-22 | 维沃移动通信有限公司 | 一种图像处理方法及移动终端 |
| CN111465960A (zh) * | 2017-12-26 | 2020-07-28 | 三星电子株式会社 | 图像获取装置及控制图像获取装置的方法 |
| CN112118483A (zh) * | 2020-06-19 | 2020-12-22 | 中兴通讯股份有限公司 | 视频处理方法、装置、设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3032494B1 (en) | 2018-10-17 |
| US20160171669A1 (en) | 2016-06-16 |
| CN105704348B (zh) | 2018-11-02 |
| US9412153B2 (en) | 2016-08-09 |
| EP3032494A1 (en) | 2016-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105704348A (zh) | 利用深度恢复图像中的缺失信息的设备、系统和方法 | |
| KR100914845B1 (ko) | 다시점 영상 정보를 이용한 물체의 삼차원 형상복원 방법및 장치 | |
| JP6970283B2 (ja) | 画像ステッチング方法および装置、記憶媒体 | |
| JP2011022796A (ja) | 画像処理方法および画像処理装置 | |
| US10277806B2 (en) | Automatic image composition | |
| EP3048579B1 (en) | Structure analysis method for recovering missing structures in an image after object removal | |
| KR20140108828A (ko) | 카메라 트래킹 장치 및 방법 | |
| JP5886242B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
| JP2016063325A5 (zh) | ||
| JP2019134269A5 (zh) | ||
| JP2010140097A (ja) | 画像生成方法、画像認証方法、画像生成装置、画像認証装置、プログラム、および記録媒体 | |
| KR101593316B1 (ko) | 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치 | |
| US9995905B2 (en) | Method for creating a camera capture effect from user space in a camera capture system | |
| CN117274605B (zh) | 一种从无人机拍摄的照片中提取水域轮廓的方法及装置 | |
| JP2018032938A (ja) | 画像処理装置、画像処理の方法およびプログラム | |
| JP2020091745A (ja) | 画像撮像支援装置及び画像撮像支援方法 | |
| WO2021035674A1 (zh) | 一种图像生成方法、设备、可移动平台及存储介质 | |
| KR101619486B1 (ko) | 좌표변환 매트릭스를 이용한 3차원 큐브 파노라마 장치 | |
| CN103927728B (zh) | 一种图像的处理方法和装置 | |
| CN115866238A (zh) | 用于对象扫描的使用覆盖的反馈 | |
| CN110415351B (zh) | 基于单张图像构建三维网格的方法、装置和系统 | |
| CN113763233A (zh) | 一种图像处理方法、服务器及拍照设备 | |
| Tsai et al. | Evaluations of three-dimensional building model reconstruction from LiDAR point clouds and single-view perspective imagery | |
| JP2011160221A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| KR101278636B1 (ko) | 2차원 영상을 스테레오스코픽 입체 영상으로 변환하기 위한 객체 검출 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |