CN107665493B - 一种基于超像素分割的图像处理方法及系统 - Google Patents

Abstract

本发明公开了一种基于超像素分割的图像处理方法及系统，该方法通过对提供的引导图进行超像素分割，形成第一超像素图像掩膜，然后将超像素图像掩膜合成到一待填充图像，在待填充图像上产生由超像素形成的第一分割，根据第一分割，以单个超像素为单位，对所述待填充图像的中的空洞区域进行填充。超像素能够很好的附着于图像的边界，保证同一个像素中的像素值基本一致，使得填充出来的值也具有一致性，让最后的处理图像达到较好的处理效果。

Description

一种基于超像素分割的图像处理方法及系统

技术领域

本发明涉及数字图像处理领域，尤其涉及一种基于超像素分割的图像处理方法及系统。

背景技术

随着照相技术的越来越发达，对图像的处理技术也要求越来越高；图像处理技术是运用计算机对图像进行分析，以达到所需结果的一种技术；而区域填充方法则是图像处理技术中一种常用的技术，该技术常被用于图像空洞区域填充。

区域填充方法在对图像空洞区域填充的过程中，常常会面临空洞区域填充不准的情况；传统的区域填充的方法为：对空洞区域中每一个像素所在的行上进行往左往右的搜索；获取空洞区域的左右边界像素；找到两个边界像素后根据边界的两个像素估计空洞区域的值，通常是取两个像素值的平均值。但是这种做法往往会使边界区域填充不准确，使得最后得到的图像达不到想要的效果。所以，为了达到更好的图像处理效果，就需要一种更合适处理空洞区域的方法。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于超像素分割的图像处理方法及系统，解决了空洞边界区域填充不准确的问题。

本发明的目的是通过以下技术方案来实现的：一种基于超像素分割的图像处理方法，该方法的步骤如下：

提供一待填充图像以及所述待填充图像的引导图，其中，所述待填充图像根据所述引导图生成，所述待填充图像中存在空洞区域；

对所述引导图进行超像素分割，形成第一超像素图像掩膜；

将所述第一超像素图像掩膜合成到所述待填充图像，在所述待填充图像上产生由超像素形成的第一分割；

根据所述第一分割，以单个超像素为单位，对所述待填充图像的中的空洞区域进行填充。

所述的超像素个数的计算公式如下：

M=（W×H）/S；

其中W表示待处理图像的宽度，H表示待处理图像的高度。

所述的超像素分割方法包括线性迭代聚类方法和基于能量驱动采样超像素提取方法。

所述空洞区域的填充方法的步骤如下：

判断当前超像素中是否包含有空洞区域；

如果包含有空洞区域，则对当前超像素中非空洞区域像素的进行统计，决定填充像素值，将所述填充像素值赋给位于当前超像素空洞区域内的所有像素；

如果不包含有空洞区域就转到下一个超像素再次判断是否有空洞区域；

当所有空洞区域均消除后，完成填充。

所述的空洞区域为图像进行超像素分割后边界像素不一致的区域。

所述的像素不一致包括颜色不一致、亮度不一致和纹理结构不一致。

在一个实施例中所述方法还包括：

对所述引导图进行超像素分割，形成第二超像素图像掩膜，其中，所述第二超像素图像掩膜的超像素设置大小小于所述第一超像素图像掩膜；

将所述第二超像素图像掩膜合成到所述待填充图像，在所述待填充图像上产生由超像素形成的第二分割；

根据所述第一分割和所述第二分割，确定填充所述空洞区域所采用的超像素集，以所述超像素集中的单个超像素为单位，对所述待填充图像的中的空洞区域进行填充。

其中，确定所述待填充图像中的空洞区域所对应的超像素集包括：

在所述第一分割中，寻找出所有含有空洞区域的超像素，作为第一超像素集；

在所述第二分割中，寻找出所有含有空洞区域的超像素，作为第二超像素集；

在所述第一超像素集中，统计每个超像素的非空洞区域中，出现最多的像素值的出现频数，形成第一频率集；

在所述第二超像素集中，统计每个超像素的非空洞区域中，出现最多的像素值的出现频数，形成第二频率集；

如果所述第一频率集中有任意频数低于第一阈值的，则将所述第二超像素集作为填充空洞区域所采用的超像素集；

如果所述第二频率集中有任意频数低于所述第一阈值的，则将所述第一超像素集作为填充所述空洞区域所采用的超像素集；

如果所述第一频率集和所述第二频率集的所有频率均大于所述第一阈值，或所述第一频率集和所述第二频率集中均有频数小于所述第一阈值，分别统计所述第一频率集与所述第二频率集中的频数之和，选择频数之和较大的频率集所对应的超像素集，作为填充所述空洞区域所采用的超像素集。

在另一实施例中，确定所述待填充图像中的空洞区域所对应的超像素集包括：

在所述第一分割中，寻找出所有含有空洞区域的超像素，作为第一超像素集；

在所述第二分割中，寻找出所有含有空洞区域的超像素，作为第二超像素集；

在所述第一超像素集中，统计所有非空洞区域的像素数量，获得第一像素数；

在所述第二超像素集中，统计所有非空洞区域的像素数量，获得第二像素数；

当所述第一像素数大于所述第二像素数时，选择所述第一超像素集作为所述待填充图像中的空洞区域所采用的超像素集，当所述第二像素数大于所述第一像素数时，选择所述第二超像素集作为填充所述空洞区域所采用的超像素集。

本发明的一个实施例还包括一种基于超像素分割的图像处理设备，包括：

图像提供程序模块，提供一待填充图像以及所述待填充图像的引导图，其中，所述待填充图像根据所述引导图生成，所述待填充图像中存在空洞区域；

超像素分割程序模块，用于对所述引导图进行超像素分割，形成第一超像素图像掩膜；

合成程序模块，用于将所述第一超像素图像掩膜合成到所述待填充图像，在所述待填充图像上产生由超像素形成的第一分割；

空洞区域程序模块，用于根据所述第一分割，以单个超像素为单位，对所述待填充图像的中的空洞区域进行填充。

本发明一个实施例还包括一种非易失性存储器，用于存储计算机程序，其特征在于，所述程序在执行时包括：

提供一待填充图像以及所述待填充图像的引导图，其中，所述待填充图像根据所述引导图生成，所述待填充图像中存在空洞区域；

对所述引导图进行超像素分割，形成第一超像素图像掩膜；

将所述第一超像素图像掩膜合成到所述待填充图像，在所述待填充图像上产生由超像素形成的第一分割；

根据所述第一分割，以单个超像素为单位，对所述待填充图像的中的空洞区域进行填充。

本发明一个实施例还包括一种图像处理系统，其特征在于，包括：

处理器；

存储器，用于存储供处理器执行的程序，所述程序运行时包括下述步骤：

提供一待填充图像以及所述待填充图像的引导图，其中，所述待填充图像根据所述引导图生成，所述待填充图像中存在空洞区域；

对所述引导图进行超像素分割，形成第一超像素图像掩膜；

将所述第一超像素图像掩膜合成到所述待填充图像，在所述待填充图像上产生由超像素形成的第一分割；

根据所述第一分割，以单个超像素为单位，对所述待填充图像的中的空洞区域进行填充。

本发明的有益效果是：一种基于超像素分割的图像处理方法及系统，通过超像素能够很好的附着于图像的边界，保证同一个像素中的像素值基本一致，使得填充出来的值也具有一致性，让最后的处理图像达到最好的处理效果。

附图说明

图1示出了根据本发明一实施例的图像处理系统100的结构示意图

图2为图像处理方法流程图；

图3为引导图像；

图4为待填充图像；

图5为超像素分割结果图像；

图6为基于超像素处理填充后的图像。

具体实施方式

下面将详细描述本发明的具体实施例，应当注意，这里描述的实施例只用于举例说明，并不用于限制本发明。在以下描述中，为了提供对本发明的透彻理解，阐述了大量特定细节。然而，对于本领域普通技术人员显而易见的是：不必采用这些特定细节来实行本发明。在其他实例中，为了避免混淆本发明，未具体描述公知的电路，软件或方法。

在整个说明书中，对“一个实施例”、“实施例”、“一个示例”或“示例”的提及意味着：结合该实施例或示例描述的特定特征、结构或特性被包含在本发明至少一个实施例中。因此，在整个说明书的各个地方出现的短语“在一个实施例中”、“在实施例中”、“一个示例”或“示例”不一定都指同一实施例或示例。此外，可以以任何适当的组合和、或子组合将特定的特征、结构或特性组合在一个或多个实施例或示例中。此外，本领域普通技术人员应当理解，在此提供的示图都是为了说明的目的，并且示图不一定是按比例绘制的。

图1示出了根据本发明一实施例的实施图像处理方法的终端系统100的结构示意图。在图示实施例中，终端系统100为包括触摸式输入装置101的系统。然而，应当理解，该系统还可包括一个或多个其他物理用户接口设备，诸如物理键盘、鼠标和/或操纵杆。系统100的运行平台可适于运行一种或多种操作系统，例如Android（安卓）操作系统，Windows（视窗）操作系统，苹果IOS操作系统，BlackBerry（黑莓）操作系统，谷歌Chrome操作系统等通用型操作系统。然而，在其它实施例中，终端系统100也可以运行专用的操作系统而非通用操作系统。

在某些实施例中，系统100同时可支持运行一种或多种应用程序，包括但不限于以下应用程序中的一个或多个应用程序：磁盘管理应用程序、安全加密应用程序、权限管理应用程序、系统设置应用程序、文字处理应用程序、演示幻灯片应用程序、电子表格应用程序、数据库应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、照片管理应用程序、数字相机应用程序、数字视频相机应用程序、web浏览应用程序、数字音乐播放器应用程序、和/或数字视频播放器应用程序等等。

在系统上运行的操作系统和各种应用程序可使用触摸式输入装置101作为用户的物理输入界面装置。触摸式输入装置101具有一触摸表面作为用户界面。在优选实施例中，触摸式输入装置101的触摸表面为一显示屏幕102表面，触摸式输入装置101和显示屏幕102共同形成了触敏显示屏120，然而在另一些实施例中，触摸式输入装置101具有一独立的，不与其他设备模块共用的触摸表面。触敏显示屏还进一步包括用于检测触摸式输入装置101上的是否发生接触的一个或多个接触传感器106。

触敏显示屏120可选地使用LCD(液晶显示屏)技术、LPD(发光聚合物显示器)技术或LED(发光二极管)技术，或其它任何可以实现图像显示的技术。触敏显示屏120进一步可使用现在已知或以后开发的多种触摸感测技术的任何一种来检测接触以及接触的任何移动或阻断，例如电容感测技术或电阻感测技术。在一些实施例中，触敏显示屏120可同时检测单个接触点或多个接触点及其移动变化状况。

除触摸式输入装置101与可选的显示屏幕102之外，系统100还可包括存储器103(其任选地包括一个或多个计算机可读存储介质)、存储器控制器104以及一个或多个处理器(Processor)105，以上组件可通过一个或多个信号总线107进行通信。

存储器103可包括缓存（Cache）、高速随机存取存储器（RAM），例如常见的双倍数据率同步动态随机存取内存（DDR SDRAM），并且还可包括非易失性存储器（NVRAM），诸如一个或多个只读存储器（ROM）、磁盘存储设备、闪存（Flash）存储器设备、或其他非易失性固态存储器设备例如光盘（CD-ROM，DVD-ROM），软盘或数据磁带等。存储器103可用于存储前述操作系统和应用程序软件，以及在系统工作过程中产生和接收的各种类型数据。存储控制器104可控制系统100的其他部件访问存储器103。

处理器105用于运行或执行被存储在内部存储器103中的操作系统，各种软件程序，以及自身的指令集，并用于处理来自于触摸式输入装置101或自其它外部输入途径接收到的数据和指令，以实现系统100的各种功能。处理器105可以包括但不限于中央处理器（CPU）、通用图像处理器（GPU）、微处理器（MCU）、数字信号处理器（DSP)、现场可编程逻辑门阵列（FPGA），应用专用集成电路（ASIC）中的一种或多种。在一些实施例中，处理器105和存储器控制器104可在单个芯片上实现。在一些其他实施方案中，它们可分别在彼此独立的芯片上实现。

图示实施例中，信号总线107被配置为将终端系统100的各个组件连接进行通信。应该理解的是，图示实施例的信号总线107的配置和连接方式是示例性的而非限制性的。视具体的应用环境和硬件配置要求，在其它实施例中，信号总线107可以采用其它不同但为本领域技术人员惯用的连接方式以及其常规组合或变化，以实现各个组件之间所需要的信号连接。

进一步的，在某些实施例中，系统100还可包含外围设备I/O接口111、RF电路112、音频电路113、扬声器114、麦克风115、摄像模块116。设备100还可包括一个或多个不同种类的传感器模块118。

RF(射频)电路112用于接收和发送射频信号以实现同其他通信设备进行通信。RF电路112可包括但不限于天线系统、RF收发器、一个或多个放大器、调谐器、一个或多个振荡器、数字信号处理器、编解码芯片组、用户身份模块(SIM)卡、存储器等等。RF电路112任选地通过无线通信来与网络以及其他设备进行通信，该网络为诸如互联网(也被称为万维网(WWW))、内联网和/或无线网(诸如蜂窝电话网络、无线局域网(LAN)和/或城域网(MAN))。RF电路112还可包括用于检测近场通信(NFC)场的电路。无线通信可选用一种或多种通信标准、协议和技术，包括但不限于全球移动通信系统(GSM)、增强型数据GSM环境(EDGE)、高速下行链路分组接入(HSDPA)、高速上行链路分组接入(HSUPA)、演进、纯数据(EV-DO)、HSPA、HSPA+、双单元HSPA(DC-HSPDA)、长期演进(LTE)、近场通信(NFC)、宽带码分多址(W-CDMA)、码分多址(CDMA)、时分多址(TDMA)、蓝牙、蓝牙低功耗、无线保真(Wi-Fi)(例如，IEEE802.11a、IEEE 802.11b、IEEE 802.11g、IEEE 802.11n和/或IEEE 802.11ac)、互联网协议语音(VoIP)、Wi-MAX、电子邮件协议(例如，互联网消息访问协议(IMAP)和/或邮局协议(POP))、即时消息(例如，可扩展消息处理和存在协议(XMPP)、用于即时消息和存在利用扩展的会话发起协议(SIMPLE)、即时消息和存在服务(IMPS))、和/或短消息服务(SMS)、或者包括在本申请提交日期时还未开发出的通信协议的任何其他适当的通信协议。

音频电路113、扬声器114和麦克风115提供用户与系统100之间的音频接口。音频电路113从外部I/O端口111接收音频数据，将音频数据转换为电信号，并将电信号传输到扬声器114。扬声器114将电信号转换为人类可听的声波。音频电路113还接收由麦克风115根据声波转换的电信号。音频电路113可进一步将电信号转换为音频数据，并将音频数据传输到外部I/O端口111以发送给外部设备处理。音频数据可在处理器105与存储控制器104的控制下，被传输至存储器103和/或RF电路112。在一些实施方案中，音频电路113还可连接到耳麦接口。

摄像模块116用于根据来自处理器105的指令，进行静态图像和视频拍摄。摄像模块116可具有镜片装置1161和影像传感器1162，能够由镜头装置1161接收来自外界的光信号，并由影像传感器1162，例如金属-氧化物互补型光电晶体管（CMOS）传感器或电荷耦合器件(CCD)传感器，将光信号转换为电信号。摄像模块116可进一步具有影像处理器（ISP）1163，用于将前述电信号进行处理校正，并转换成特定的图像格式文件，例如JPEG（联合图像专家小组）图像文件，TIFF（标签图像文件格式）图像文件等等。图像文件可根据处理器105和存储控制器104的指令，被送至存储器103进行存储，或送至RF电路112发送给外部设备。

外部I/O端口111为系统100同其它外部设备或系统表面物理输入模块提供接口。表面物理输入模块可以为按键，键盘，转盘等等，例如音量按键，电源按键，返回按键和摄像按键。外部I/O端口111所提供的接口还可包括通用串行总线（USB）接口（可包括USB、Mini-USB、Micro-USB、USB Type-C等等)、雷电（Thunderbolt）接口、耳麦接口、视频传输接口（例如高清晰度多媒体HDMI接口，移动高清连接MHL接口）、外部存储接口（例如外置存储卡SD卡接口），用户身份模块卡（SIM卡）接口等等。

传感器模块118可具有一个或多个传感器或传感器阵列，包括但不限于：1、位置传感器，例如全球卫星定位系统（GPS）传感器，北斗卫星定位传感器或格罗洛斯（GLONASS）卫星定位系统传感器，用于检测设备当前地理位置；2、加速度传感器，重力传感器，陀螺仪，用于检测设备运动状态并辅助定位；3、光线传感器，用于检测外部环境光；4、距离传感器，用于检测外部物体同系统的距离；5、压力传感器，用于检测系统接触的压力情况；6、温度与湿度传感器，用于检测环境温度和湿度。传感器模块118还可以视应用需要，添加任何其他种类和数量的传感器或传感器阵列。

在本发明一些实施例中，可由处理器105通过指令调用终端系统100的各个组件，执行本发明的图像处理方法。处理器105执行本发明的图像处理方法所需要的程序由存储器103进行存储。

在下文中，空洞区域是指待填充图像中的黑色缺陷部分所表示的区域，常见于视差图，深度图等图像中。

如图2-6所示，本发明一个实施例提出了一种图像处理方法，该方法包括：

提供一待填充图像以及该待填充图像的引导图，其中，待填充图像与引导图对应于同一场景，在待填充图像中存在空洞区域；

对引导图进行超像素分割，形成一个第一超像素图像掩膜；

将第一超像素图像掩膜合成到待填充图像，在待填充图像上产生由超像素形成的第一分割；

根据第一分割，以单个超像素为单位，对所述待填充图像的中的空洞区域进行填充。

图3-6示出了一个图2所述的实施例的图像示例。图3为一个引导图的示例；图4为与该引导图对应同一场景的待填充图像。例如，待填充图像可以为该场景的深度图。

图5示出了对图3的引导图实施超像素分割后所形成的第一超像素掩膜

对引导图进行超像素分割的具体步骤如下：

S11、设置图像的超像素大小为S个像素，根据超像素大小计算出超像素的个数M；

S12、通过超像素分割方法对输入图像进行超像素分割。

所述的超像素个数的计算公式如下：

M=（W×H）/S；

其中W表示待处理图像的宽度，H表示待处理图像的高度。

超像素分割可采用常见的超像素分割方法，例如线性迭代聚类方法（SLIC）和基于能量驱动采样超像素提取方法（SEEDS）。

图6为对超像素分割后，根据第一分割，对待填充图像的中的空洞区域进行填充后所形成的图像。

待填充图像的空洞区域的填充的步骤如下：

判断当前超像素中是否包含有空洞区域；

如果包含有空洞区域，则对当前超像素中非空洞区域像素的进行统计，决定填充像素值，将所述填充像素值赋给位于当前超像素空洞区域内的所有像素；

如果不包含有空洞区域就转到下一个超像素再次判断是否有空洞区域；

当所有空洞区域均消除后，完成填充。

其中，填充像素值根据当前超像素的统计结果确定。

优选的，填充像素值为当前超像素中非空洞区域像素内出现频率最多的像素值。

在其它实施例中，填充像素值还可以为为当前超像素中非空洞区域内像素统计的中位像素值，或者平均像素值。

在此处及下文中，“空洞区域”一词定义为为图像进行超像素分割后边界像素不一致的区域。像素不一致可包括颜色不一致、亮度不一致和纹理结构不一致中的一种或多种情况。

对于不同的待填充图像，超像素分割中的大小设置会影像最终的填充精度。为了提高填充精度，在另一实施例中，图像处理方法还进一步包括了：

对引导图进行超像素分割，形成第二超像素图像掩膜，其中，第二超像素图像掩膜的超像素设置大小小于第一超像素图像掩膜；

将第二超像素图像掩膜合成到待填充图像，在待填充图像上产生由超像素形成的第二分割；

根据第一分割和第二分割，确定填充所述空洞区域所采用的超像素集，以所述超像素集中的单个超像素为单位，对所述待填充图像的中的空洞区域进行填充。

在一个实施例中，确定所述待填充图像中的空洞区域所对应的超像素集包括：

在第一分割中，寻找出所有含有空洞区域的超像素，作为第一超像素集；

在第二分割中，寻找出所有含有空洞区域的超像素，作为第二超像素集；

在第一超像素集中，统计每个超像素的非空洞区域中，出现最多的像素值的出现频数，形成第一频率集；

在第二超像素集中，统计每个超像素的非空洞区域中，出现最多的像素值的出现频数，形成第二频率集；

如果第一频率集中有任意频数低于第一阈值的，则将第二超像素集作为填充空洞区域所采用的超像素集；

如果第二频率集中有任意频数低于上述第一阈值的，则将第一超像素集作为填充空洞区域所采用的超像素集；

如果第一频率集和第二频率集的所有频率均大于上述第一阈值，或第一频率集和第二频率集中均有频数小于上述第一阈值，分别统计第一频率集与第二频率集中的频数之和，选择频数之和较大的频率集所对应的超像素集，作为填充所述空洞区域所采用的超像素集。

举例来说，当第一频率集中最低频数为5，第二频率集中最低频数为10，阈值为7，则选取第二超像素集作为填充所采用的超像素集。如果第一频率集中最低频数为10，第二频率集中最低频数为15，阈值为7，则计算第一频率集的频数之和，以及第二频率集的频数之和。如果第一频率集的频数之和为300，第二频率集的频数之和为500，则选取第二超像素集作为填充所采用的超像素集。

在另一实施例中，确定所述待填充图像中的空洞区域所对应的超像素集包括：

在第一分割中，寻找出所有含有空洞区域的超像素，作为第一超像素集；

在第二分割中，寻找出所有含有空洞区域的超像素，作为第二超像素集；

在第一超像素集中，统计所有非空洞区域的像素数量，获得第一像素数；

在第二超像素集中，统计所有非空洞区域的像素数量，获得第二像素数；

当第一像素数大于第二像素数时，选择第一超像素集作为所述待填充图像中的空洞区域所采用的超像素集，当第二像素数大于第一像素数时，选择第二超像素集作为填充空洞区域所采用的超像素集。

依此方法确立超像素集，可以使填充空洞时，可参考像素数量较多，从而有利于获得更准确的填充值。

本发明实施例还公开了一种一种图像处理设备，包括存储单元和处理器，所述存储单元存储程序指令，所述处理器执行程序指令，程序指令包括：

图像提供指令，提供一待填充图像以及所述待填充图像的引导图，其中，所述待填充图像根据所述引导图生成，所述待填充图像中存在空洞区域；

超像素分割指令，用于对所述引导图进行超像素分割，形成第一超像素图像掩膜；

合成指令，用于将所述第一超像素图像掩膜合成到所述待填充图像，在所述待填充图像上产生由超像素形成的第一分割；

空洞区域指令，用于根据所述第一分割，以单个超像素为单位，对所述待填充图像的中的空洞区域进行填充。

所述的线性迭代聚类方法和基于能量驱动采样超像素提取方法可以采用Open CV3 .1的通用函数实现。

进一步地，引导图范例如图3所示，在图示实施例中，引导图为可见光成像图。图5将引导图进行超像素分割形成多个超像素分割区，形成超像素图像掩膜；待填充图像范例如图4所示，图中黑色区域表示待填充图像中的空洞区域。在图示实施例中，对含有空洞区域的超像素中统计出了像素的直方图，计算出其中出现频率最多的像素值。如图6所示，将出现频率最多的像素值赋值给超像素中的空洞区域中的每一个像素；因为超像素可以很好地附着于图像的边界，能够保证同一个超像素中的像素值基本一致，因此处理出来的值也具有一致性。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (11)

1.一种图像处理方法，其特征在于：该方法的步骤如下：

提供一待填充图像以及所述待填充图像的引导图，其中，所述待填充图像根据所述引导图生成，所述待填充图像中存在空洞区域；

对所述引导图进行超像素分割，形成第一超像素图像掩膜；

将所述第一超像素图像掩膜合成到所述待填充图像，在所述待填充图像上产生由超像素形成的第一分割；

根据所述第一分割，以单个超像素为单位，对所述待填充图像的中的空洞区域进行填充；

对所述引导图进行超像素分割，形成第二超像素图像掩膜，其中，所述第二超像素图像掩膜的超像素设置大小小于所述第一超像素图像掩膜；

将所述第二超像素图像掩膜合成到所述待填充图像，在所述待填充图像上产生由超像素形成的第二分割；

根据所述第一分割和所述第二分割，确定填充所述空洞区域所采用的超像素集，以所述超像素集中的单个超像素为单位，对所述待填充图像的中的空洞区域进行填充；其中：

根据所述第一分割和所述第二分割，确定填充所述空洞区域所采用的超像素集，包括：

在所述第一分割中，寻找出所有含有空洞区域的超像素，作为第一超像素集；

在所述第二分割中，寻找出所有含有空洞区域的超像素，作为第二超像素集；

根据所述第一超像素集和第二超像素集确定填充所述空洞区域所采用的超像素集。

2.根据权利要求1所述的图像处理方法，其特征在于：对所述引导图进行超像素分割的具体步骤如下：

设置图像的超像素大小为S个像素，根据超像素大小计算和引导图的大小，计算出超像素的个数M；

通过超像素分割方法对输入图像进行超像素分割。

3.根据权利要求2所述的图像处理方法，其特征在于：所述的超像素个数的计算公式如下：

M=（W×H）/S；

其中W表示所述引导图的像素宽度，H表示所述引导图的像素高度，M保留整数值。

4.根据权利要求1所述的图像处理方法，其特征在于：对所述空洞区域进行填充方法的步骤如下：

判断当前超像素中是否包含有空洞区域；

如果包含有空洞区域，则对当前超像素中非空洞区域像素的进行统计，决定填充像素值，将所述填充像素值赋给位于当前超像素空洞区域内的所有像素；

如果不包含有空洞区域就转到下一个超像素再次判断是否有空洞区域；

当所有空洞区域均消除后，完成填充。

5.根据权利要求4所述的图像处理方法，其特征在于，所述填充像素值为当前超像素中非空洞区域像素内出现频率最多的像素值。

6.根据权利要求4所述的图像处理方法，其特征在于，所述填充像素值为当前超像素中非空洞区域内像素统计的中位像素值。

7.根据权利要求1所述的图像处理方法，其特征在于：根据所述第一超像素集和第二超像素集确定填充所述空洞区域所采用的超像素集包括：

在所述第一超像素集中，统计每个超像素的非空洞区域中，出现最多的像素值的出现频数，形成第一频率集；

在所述第二超像素集中，统计每个超像素的非空洞区域中，出现最多的像素值的出现频数，形成第二频率集；

如果所述第一频率集中有任意频数低于第一阈值的，则将所述第二超像素集作为填充空洞区域所采用的超像素集；

如果所述第二频率集中有任意频数低于所述第一阈值的，则将所述第一超像素集作为填充所述空洞区域所采用的超像素集；

如果所述第一频率集和所述第二频率集的所有频率均大于所述第一阈值，或所述第一频率集和所述第二频率集中均有频数小于所述第一阈值，分别统计所述第一频率集与所述第二频率集中的频数之和，选择频数之和较大的频率集所对应的超像素集，作为填充所述空洞区域所采用的超像素集。

8.根据权利要求1所述的图像处理方法，其特征在于：根据所述第一超像素集和第二超像素集确定填充所述空洞区域所采用的超像素集包括：

在所述第一分割中，寻找出所有含有空洞区域的超像素，作为第一超像素集；

在所述第二分割中，寻找出所有含有空洞区域的超像素，作为第二超像素集；

在所述第一超像素集中，统计所有非空洞区域的像素数量，获得第一像素数；

在所述第二超像素集中，统计所有非空洞区域的像素数量，获得第二像素数；

当所述第一像素数大于所述第二像素数时，选择所述第一超像素集作为所述待填充图像中的空洞区域所采用的超像素集，当所述第二像素数大于所述第一像素数时，选择所述第二超像素集作为填充所述空洞区域所采用的超像素集。

9.一种图像处理设备，其特征在于，所述图像处理设备包括：

图像提供程序模块，提供一待填充图像以及所述待填充图像的引导图，其中，所述待填充图像根据所述引导图生成，所述待填充图像中存在空洞区域；

超像素分割程序模块，用于对所述引导图进行超像素分割，形成第一、第二超像素图像掩膜；

合成程序模块，用于将所述第一、第二超像素图像掩膜合成到所述待填充图像，在所述待填充图像上产生由超像素形成的第一和第二分割；

空洞区域程序模块，用于在所述第一分割中，寻找出所有含有空洞区域的超像素，作为第一超像素集；在所述第二分割中，寻找出所有含有空洞区域的超像素，作为第二超像素集；根据所述第一超像素集和第二超像素集确定填充所述空洞区域所采用的超像素集，以所述超像素集中的单个超像素为单位，对所述待填充图像的中的空洞区域进行填充。

10.一种非易失性存储器，用于存储计算机程序，其特征在于，所述程序在执行时包括：

提供一待填充图像以及所述待填充图像的引导图，其中，所述待填充图像根据所述引导图生成，所述待填充图像中存在空洞区域；

对所述引导图进行超像素分割，形成第一、第二超像素图像掩膜；

将所述第一、第二超像素图像掩膜合成到所述待填充图像，在所述待填充图像上产生由超像素形成的第一和第二分割；

在所述第一分割中，寻找出所有含有空洞区域的超像素，作为第一超像素集；在所述第二分割中，寻找出所有含有空洞区域的超像素，作为第二超像素集；根据所述第一超像素集和第二超像素集确定填充所述空洞区域所采用的超像素集，以所述超像素集中的单个超像素为单位，对所述待填充图像的中的空洞区域进行填充。

11.一种图像处理系统，其特征在于，包括：

处理器；

存储器，用于存储供处理器执行的程序，所述程序运行时包括下述步骤：

提供一待填充图像以及所述待填充图像的引导图，其中，所述待填充图像根据所述引导图生成，所述待填充图像中存在空洞区域；

对所述引导图进行超像素分割，形成第一、第二超像素图像掩膜；

将所述第一、第二超像素图像掩膜合成到所述待填充图像，在所述待填充图像上产生由超像素形成的第一和第二分割；

在所述第一分割中，寻找出所有含有空洞区域的超像素，作为第一超像素集；在所述第二分割中，寻找出所有含有空洞区域的超像素，作为第二超像素集；根据所述第一超像素集和第二超像素集确定填充所述空洞区域所采用的超像素集，以所述超像素集中的单个超像素为单位，对所述待填充图像的中的空洞区域进行填充。

Images