CN106327445A - 一种图像处理方法、装置及摄影器材、使用方法 - Google Patents

Abstract

本发明公开了一种图像处理方法、装置及摄影器材、使用方法，包括：获取第一图像，及若干第二图像，其中，第一图像是有像素点需去除的图像，需去除的像素点所构成的区域为第一区域，第一图像中第一区域以外的区域为第二区域，第一区域中的像素点的深度值与第二区域中的像素点的深度值不同，第二图像中的图像特征点至少有一个与第一图像中的图像特征点相同；根据第一区域的深度值与第二区域的深度值之差去除第一区域中的像素点；根据第一图像及各第二图像中的图像特征点确定各第二图像中与第一区域的位置相同的区域；将该区域中的像素点填充至第一图像的第一区域。采用本发明能够在去除图像中的污点后，还能将真实的图像完整呈现。

Description

一种图像处理方法、装置及摄影器材、使用方法

技术领域

本发明涉及图像处理技术领域，特别涉及一种图像处理方法、装置及摄影器材、使用方法。

背景技术

在汽车内或房间内透过门窗玻璃拍摄外面的照片时，往往会因为门窗玻璃上的污点遮挡而影响拍照效果，结果是在拍出来的照片中，大部分区域都是清晰的，而个别的位置会出现污点、斑点，导致整张照片不好看、不可用。容易了解到，这种情形，在坐车外出旅游时经常发生。

现有技术中，在去除这些污点，也即去除这些污点在图像上所形成的像素点时，通常是在后期利用图像制作软件进行处理，例如：

在Photoshop中打开想要处理的图片，在左侧工具栏选择污点画笔修复工具，在污点处单击一下；然后在左侧工具栏选择修复画笔工具，在没有污点的皮肤上按住Alt键点击一下，再直接在污点处拖拽；在左侧工具栏选择修补工具把要去除的部分用圈起来，将圈起的部分向下拖，然后就会发现污点消失了，再按住ctrl+D取消选区即可。

又如：使用ps去除照片中的污点，先选择“图层”-“复制图层”命令，在弹出的“复制图层”对话框中单击“确定”按钮，即可复制图层。选取工具箱中的修补工具。将光标移至图像编辑窗口中，创建一个选区。将光标移至选区内，单击鼠标左键并拖拽选区至接近相邻位置。释放鼠标左键即可完成图像的修补。在图像编辑窗口中，按住Ctrl的同时，在其他污点处依次单击鼠标左键并拖拽，创建选区。将光标移至选区内，单击鼠标左键并拖拽选区至附近相邻位置，然后释放鼠标左键，即可完成图像的修补。

其他软件也是选用类似功能来实现，例如使用“美图秀秀”的“抠图”功能等。

然而，现有技术中的处理不足在于：都是通过软件的处理来弥补，得到的实际上并不是由镜头获取的图像本身，而是由软件“制作”出的图像。

发明内容

本发明提供了一种图像处理方法、装置及摄影器材、使用方法，用以去除图像中的需去除的像素点，并将真实的图像填充至该区域中，使得图像能够完整呈现。

本发明实施例中提供了一种图像处理方法，包括：

获取第一图像，及若干第二图像，其中，所述第一图像是有像素点需去除的图像，所述需去除的像素点所构成的区域为第一区域，第一图像中第一区域以外的区域为第二区域，所述第一区域中的像素点的深度值与所述第二区域中的像素点的深度值不同，所述第二图像中的图像特征点至少有一个与第一图像中的图像特征点相同；

根据所述第一区域的深度值与所述第二区域的深度值之差去除所述第一区域中的像素点；

根据第一图像及各第二图像中的图像特征点确定各第二图像中与所述第一区域的位置相同的区域；

确定该区域中的像素点；

将该像素点填充至所述第一图像的第一区域。

较佳地，所述第二图像是通过调整拍摄第一图像时使用的位置和/或时间来获取的；

或者，所述第二图像是从与第一图像相同的视频文件中获取的。

较佳地，所述第一图像是通过深度镜头获取的。

较佳地，所述深度镜头是位于手机或照相机或摄像机上的。

本发明实施例中提供了一种具有深度镜头的摄影器材的使用方法，包括：

使用具有深度镜头的摄影器材获取若干图像；

在确定有像素点需去除的图像时，将该图像设定为第一图像，将其他图像设定为第二图像；

按上述的方法对第一图像进行处理。

本发明实施例中提供了一种图像处理装置，包括：

获取模块，用于获取第一图像，及若干第二图像，其中，所述第一图像是有像素点需去除的图像，所述需去除的像素点所构成的区域为第一区域，第一图像中第一区域以外的区域为第二区域，所述第一区域中的像素点的深度值与所述第二区域中的像素点的深度值不同，所述第二图像中的图像特征点至少有一个与第一图像中的图像特征点相同；

去除模块，用于根据所述第一区域的深度值与所述第二区域的深度值之差去除所述第一区域中的像素点；

区域模块，用于根据第一图像及各第二图像中的图像特征点确定各第二图像中与所述第一区域的位置相同的区域，并确定该区域中的像素点；

填充模块，用于将该像素点填充至所述第一图像的第一区域。

较佳地，获取模块进一步用于获取通过调整拍摄第一图像时使用的位置和/或时间来获取的所述第二图像；或者，获取从与第一图像相同的视频文件中获取的所述第二图像。

较佳地，获取模块进一步用于获取通过深度镜头获取的所述第一图像。

本发明实施例中提供了一种具有深度镜头的摄影器材，包括：深度镜头，以及上述的图像处理装置，其中：

处理装置，用于处理通过深度镜头获取的图像。

较佳地，进一步包括：

去除启动模块，用于在被触发后，从通过深度镜头获取的图像中确定第一图像，及若干第二图像，并触发所述处理装置进行处理。

本发明有益效果如下：

在本发明提供的技术方案中，当需去除某图像上的某些像素点时，将需去除的像素点所构成的区域作为第一区域，第一图像中第一区域以外的区域作为第二区域，在确定出该第一区域以及第二区域后，根据第一区域的深度值与第二区域的深度值之差去除污点区域中的像素点，然后根据第一图像及各第二图像中的图像特征点确定各第二图像中与第一区域的位置相同的区域，并将该区域中的像素点填充至第一区域中，由于填充的像素点也是获取从镜头获取的，因此其并不是由软件“制作”出的图像，是“真实”的图像，从而使得本发明实施例提供的技术方案能够在去除图像中的像素点后，还能将真实的图像完整呈现。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例中图像处理方法实施流程示意图；

图2为本发明实施例中去除污点的实施环境示意图；

图3为本发明实施例中多张图像污点去除处理实施流程示意图；

图4为本发明实施例中具有深度镜头的摄影器材的使用方法实施流程示意图；

图5为本发明实施例中图像处理装置结构示意图；

图6为本发明实施例中具有深度镜头的摄影器材结构示意图。

具体实施方式

下面结合附图对本发明的具体实施方式进行说明。

图1为图像处理方法实施流程示意图，如图所示，可以包括：

步骤101、获取第一图像，及若干第二图像，其中，所述第一图像是有像素点需去除的图像，所述需去除的像素点所构成的区域为第一区域，第一图像中第一区域以外的区域为第二区域，所述第一区域中的像素点的深度值与所述第二区域中的像素点的深度值不同，所述第二图像中的图像特征点至少有一个与第一图像中的图像特征点相同；

步骤102、根据所述第一区域的深度值与所述第二区域的深度值之差去除所述第一区域中的像素点；

步骤103、根据第一图像及各第二图像中的图像特征点确定各第二图像中与所述第一区域的位置相同的区域；

步骤104、确定该区域中的像素点；

步骤105、将该像素点填充至所述第一图像的第一区域。

下面将以污点的去除为例进行说明。

以污点为例是因为在图像上通常因污点形成的像素点都是需要去除的，因此以之为例容易理解，但是，其他有需要像素点去除的场景也是适用的，事实上，本发明实施例中的污点是指需要在图像中去除像素点的区域，也即，根据需要可以将所有的部分视为污点使用本发明实施例提供的技术方案将其去除。例如，在图像中有需要过滤的前景、背景形成的像素点，或指定距离范围内的物体形成的像素点需要去除。一个更具体的容易理解的实例为：当前在摄影摄像过程中，为便于后期制作，会在拍摄时在拍摄物体后面放置单一颜色的白布或者绿布，而采用本发明实施例提供的技术方案后，不需要放置作为背景的布，仅需将不需要的图像形成的区域视为污点去除即可。因此，污点的例子仅用于教导本领域技术人员具体如何实施本发明，但不意味仅能适用于污点去除，实施过程中可以结合实践需要来确定相应的需要去除的、视为“污点”的场景形成的区域。

相应的，为便于理解以及更形象，也相应的将第一区域称为污点区域，而第二区域则称为保留区域，则图1中所示的方案在运用于污点去除时可以包括：

1、获取第一图像，及若干第二图像，其中，所述第一图像是有污点需去除的图像，所述污点所构成的区域为污点区域，第一图像中污点区域以外的区域为保留区域，所述污点区域中的像素点的深度值与所述保留区域中的像素点的深度值不同，所述第二图像中的图像特征点至少有一个与第一图像中的图像特征点相同；

2、根据所述污点区域的深度值与所述保留区域的深度值之差去除所述污点区域中的像素点；

3、根据第一图像及各第二图像中的图像特征点确定各第二图像中与所述污点区域的位置相同的区域；

4、确定该区域中的像素点；

5、将该像素点填充至所述第一图像的污点区域。

下面先对获取图像的途径进行说明。

实施中，第一图像可以是通过深度镜头获取的。

具体实施中，深度镜头可以是位于手机或照相机或摄像机上的。

更具体的，一个市场上可买到的可在其上实现本发明(以及相关发明)实施例的具有深度镜头的摄影器材至少包括微软的Kinect设备、华为P9、V8等手机。然而注意，尽管相关发明和本发明实施例的讨论都关于具有深度镜头的摄影器材，但具有创造性的概念适用于提供类似功能的其他类型的设备，并且也适用于Kinect设备、华为P9、V8等手机以外的设备，因此对Kinect设备、华为P9、V8等手机的引用仅作为示例而不起限制的作用。

微软的Kinect设备包含颜色摄像头和深度镜头，其中深度镜头可以实时测得场景中每个点的到镜头的距离，深度值用12bit表示，1bit代表1mm，最大值为4.095m，如果其深度值为0表示该位置处侦测不到像素点的深度。

有些手机(例如华为P9、V8等)可以实现先拍照、后对焦，原因就是其记录了场景中各位置的深度信息，能够计算出场景中各点到镜头的距离。

在这类硬件环境中，是可以检测到各像素点到镜头的距离的，本领域技术人员容易知晓，可以采用类似功能的设备获取的图像来实施本发明实施例中提供的技术方案。

实施中，第二图像可以是通过调整拍摄第一图像时使用的位置和/或时间来获取的；或者，所述第二图像是从与第一图像相同的视频文件中获取的。

具体的，当隔着门窗玻璃对外拍摄时，外面的场景较远，而门窗上的污点距离镜头很近，当此时拍摄的照片图像需要去掉污点时，可将其视为第一图像。接下来在不同位置连续拍摄多张(2张以上)照片作为第二图像。

在作为第一图像的拍摄的照片中检测各像素点的距离，将极近距离的像素点作为污点剔除掉，剔除的位置留下空白。由于作为第二图像的多张照片的拍摄位置不同，所以门窗玻璃污点的遮挡部位也不同，通过图像识别技术，将作为第一图像的拍摄的照片与多张照片进行叠加互补的处理，即可把前述剔除操作留下的空白处补上正确的场景图像。

具体操作时，用户处于门窗玻璃前，手持相机(或手机摄像头)对着外面的场景拍照，并轻微移动即可获得第二图像。

也可以在轻微移动过程中，自动进行多次拍摄，也可以实现上述处理。如果是在移动的车内，则手持相机不必移动也可以。

需要说明的是，例中示意的是以第一张拍摄的照片作为第一图像，其它的为第二图像，但显然，也可以以其他图像作为第一图像，而其它图像作为第二图像，比如以第三张拍摄的照片作为第一图像，而第一张拍摄的照片作为第二图像。事实上，第一图像是指有污点需去除的图像，而第二图像中的图像特征点至少有一个与第一图像中的图像特征点相同即可。

当然，所需要的多张图像，可以是相机、手机拍摄所得，也可以是从视频中截取的。这对本领域技术人员来说是容易理解的。

下面以实例对图1的具体实施进行说明。

在实践中，拍摄的图像出现污点，且污点与欲拍摄的场景不在一个深度的环境中，较为典型的是透过有污点的玻璃拍摄，因此下面将以此场景为实例进行说明，但是，其他的场景也是适用的，只需满足污点区域中的像素点的深度值与保留区域中的像素点的深度值不同即可，又例如：污点是因较近的空气中的飘飞物导致的，又如污点是因镜头前的偏光镜导致的；因此，有污点的玻璃拍摄场景仅用于教导本领域技术人员具体如何实施本发明，但不意味仅能在此场景使用，实施过程中可以结合实践需要来确定相应的实用场景。

图2为去除污点的实施环境示意图，如图所示，门窗玻璃上有以黑圆点以及黑六边形示意的污点，在门窗玻璃前的手机或者相机欲对玻璃后的场景进行拍摄，则，当需要对拍摄的照片图像进行污点去除时，可以如下：

图3为多张图像污点去除处理实施流程示意图，如图所示，可以包括：

步骤301、拍摄第一张图像；

步骤302、改变镜头位置，拍摄至少两张图像；

步骤303、剔除各张图像中深度值小于阈值的像素点，形成一些空洞；

步骤304、对各张图像进行图像处理，提取特征点，计算对应坐标位置；

步骤305、针对图像中的每个空洞部位，从其它图像的相应位置取出像素点，填补到本张图像；

步骤306、对于多个污点形成的空洞，反复操作，直到全部填补完后输出最终图像。

需要说明的是，上述实施例中，最终去除的污点并形成完整图像的并不止第一图像，还包括了第二图像，也即，是将每一张图像都作为第一图像，而另外的图像都作为彼此的第二图像进行的污点去除；也因此，在进行污点去除时，对每一张图像都根据深度值进行了去除。

步骤102的根据所述污点区域的深度值与所述保留区域的深度值之差去除所述污点区域中的像素点；在步骤303的具体实施中，是简单的使用阈值的方式去除，这是因为玻璃上的污点都在一个距离上，因此，利用一个阈值便可将来自玻璃的污点去除。

事实上，如前所述，本发明实施例中的污点是指需要在图像中去除的部分，也即，根据需要可以将所有的部分视为污点使用本发明实施例提供的技术方案将其去除。

而在去除过程中，容易理解，场景中的各物体与拍摄设备的距离并不一样，因此，在形成图像后，各物体形成的部分深度值并不一样，由此可以根据污点区域的深度值与保留区域的深度值之差去除所述污点区域中的像素点，所以，在具体实施过程中，可以根据自行确定的污点与需要保留的部分的深度值差来确定相应的去除方式。

相应的，本发明实施例中还提供了一种具有深度镜头的摄影器材的使用方法，具体如下：

图4为具有深度镜头的摄影器材的使用方法实施流程示意图，如图所示，可以包括：

步骤401、使用具有深度镜头的摄影器材获取若干图像；

步骤402、在确定有像素点需去除的图像时，将该图像设定为第一图像，将其他图像设定为第二图像；

步骤403、按如图1所述的方法对第一图像进行处理。

基于同一发明构思，本发明实施例中还提供了一种图像处理装置、一种具有深度镜头的摄影器材等相关软硬件设备，由于这些设备解决问题的原理与一种图像处理方法相似，因此这些设备的实施可以参见方法的实施，重复之处不再赘述。

图5为图像处理装置结构示意图，如图所示，可以包括：

获取模块501，用于获取第一图像，及若干第二图像，其中，所述第一图像是有像素点需去除的图像，所述需去除的像素点所构成的区域为第一区域，第一图像中第一区域以外的区域为第二区域，所述第一区域中的像素点的深度值与所述第二区域中的像素点的深度值不同，所述第二图像中的图像特征点至少有一个与第一图像中的图像特征点相同；

去除模块502，用于根据所述第一区域的深度值与所述第二区域的深度值之差去除所述第一区域中的像素点；

区域模块503，用于根据第一图像及各第二图像中的图像特征点确定各第二图像中与所述第一区域的位置相同的区域，并确定该区域中的像素点；

填充模块504，用于将该像素点填充至所述第一图像的第一区域。

实施中，获取模块还可以进一步用于获取通过调整拍摄第一图像时使用的位置和/或时间来获取的所述第二图像；或者，获取从与第一图像相同的视频文件中获取的所述第二图像。

实施中，获取模块还可以进一步用于获取通过深度镜头获取的所述第一图像。

为了描述的方便，以上所述装置的各部分以功能分为各种模块或单元分别描述。当然，在实施本发明时可以把各模块或单元的功能在同一个或多个软件或硬件中实现。

图6为具有深度镜头的摄影器材结构示意图，如图所示，可以包括：深度镜头，以及如图5所述的图像处理装置，其中：

图像处理装置，用于处理通过深度镜头获取的图像。

实施中，还可以进一步包括：

去除启动模块，用于在被触发后，从通过深度镜头获取的图像中确定第一图像，及若干第二图像，并触发所述图像处理装置进行处理。

具体实施中，图像处理装置以软件的必要的功能架构实现时，可以置于摄影器材的图像处理部分，利用摄影器材的图像处理部分的图像处理功能实施去污处理。

显然，图像处理装置也可以不依附于摄影器材单独存在，例如置于具有图像处理功能的计算设备之中，简单的实现时也可以置于PC中，通过PC的数据处理能力进行实施。

综上所述，本发明实施例提供的技术方案是为了改善如因玻璃污点或其它遮挡物造成的照片质量问题，实施中仅需2张或更多的照片。拍摄第2张或其它后续照片时，可以移动镜头位置(镜头与污点遮挡物发生位移)，也可以不移动镜头位置(镜头和污点遮挡物的相对位置不变，但它们整体与场景发生了位置变化，例如：手持镜头对车外拍照时，车在移动)。所需要的多张图片，也既可以是相机、手机拍摄所得，也可以是从视频中截取的。

然后根据照片中的深度信息，剔除污点遮挡部分的图像，再利用图像处理技术校准各张照片坐标，将照片中的空洞位置用其它照片的相应内容填补完善。

容易看出，当人们经常带着手机，坐车出行或旅游随时进行拍照时，如果车窗玻璃不是那么干净，甚至身前还有其它物体遮挡，结果导致照片很难看，十分可惜的情况下。利用本发明实施例提供的技术方案，即可解决这个问题，对于手机来说这无疑是增加了一个强劲的功能。

有时，门窗玻璃还会反射出室内的灯光或物体，利用本发明实施例提供的技术方案也可以从照片中剔除这些干扰。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

获取第一图像，及若干第二图像，其中，所述第一图像是有像素点需去除的图像，所述需去除的像素点所构成的区域为第一区域，第一图像中第一区域以外的区域为第二区域，所述第一区域中的像素点的深度值与所述第二区域中的像素点的深度值不同，所述第二图像中的图像特征点至少有一个与第一图像中的图像特征点相同；

根据所述第一区域的深度值与所述第二区域的深度值之差去除所述第一区域中的像素点；

根据第一图像及各第二图像中的图像特征点确定各第二图像中与所述第一区域的位置相同的区域；

确定该区域中的像素点；

将该像素点填充至所述第一图像的第一区域。

2.如权利要求1所述的方法，其特征在于，所述第二图像是通过调整拍摄第一图像时使用的位置和/或时间来获取的；

或者，所述第二图像是从与第一图像相同的视频文件中获取的。

3.如权利要求1或2所述的方法，其特征在于，所述第一图像是通过深度镜头获取的。

4.如权利要求3所述的方法，其特征在于，所述深度镜头是位于手机或照相机或摄像机上的。

5.一种具有深度镜头的摄影器材的使用方法，其特征在于，包括：

使用具有深度镜头的摄影器材获取若干图像；

在确定有像素点需去除的图像时，将该图像设定为第一图像，将其他图像设定为第二图像；

按如权利要求1所述的方法对第一图像进行处理。

6.一种图像处理装置，其特征在于，包括：

获取模块，用于获取第一图像，及若干第二图像，其中，所述第一图像是有像素点需去除的图像，所述需去除的像素点所构成的区域为第一区域，第一图像中第一区域以外的区域为第二区域，所述第一区域中的像素点的深度值与所述第二区域中的像素点的深度值不同，所述第二图像中的图像特征点至少有一个与第一图像中的图像特征点相同；

去除模块，用于根据所述第一区域的深度值与所述第二区域的深度值之差去除所述第一区域中的像素点；

区域模块，用于根据第一图像及各第二图像中的图像特征点确定各第二图像中与所述第一区域的位置相同的区域，并确定该区域中的像素点；

填充模块，用于将该像素点填充至所述第一图像的第一区域。

7.如权利要求6所述的装置，其特征在于，获取模块进一步用于获取通过调整拍摄第一图像时使用的位置和/或时间来获取的所述第二图像；或者，获取从与第一图像相同的视频文件中获取的所述第二图像。

8.如权利要求6或7所述的装置，其特征在于，获取模块进一步用于获取通过深度镜头获取的所述第一图像。

9.一种具有深度镜头的摄影器材，其特征在于，包括：深度镜头，以及如权利要求5至7任一所述的图像处理装置，其中：

图像处理装置，用于处理通过深度镜头获取的图像。

10.如权利要求9所述的摄影器材，其特征在于，进一步包括：

去除启动模块，用于在被触发后，从通过深度镜头获取的图像中确定第一图像，及若干第二图像，并触发所述图像处理装置进行处理。