CN113096022A - 图像虚化处理方法、装置、存储介质与电子设备 - Google Patents

图像虚化处理方法、装置、存储介质与电子设备 Download PDF

Info

Publication number
CN113096022A
CN113096022A CN201911342926.8A CN201911342926A CN113096022A CN 113096022 A CN113096022 A CN 113096022A CN 201911342926 A CN201911342926 A CN 201911342926A CN 113096022 A CN113096022 A CN 113096022A
Authority
CN
China
Prior art keywords
image
pixel
channel
pixel value
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911342926.8A
Other languages
English (en)
Other versions
CN113096022B (zh
Inventor
姚坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Realme Chongqing Mobile Communications Co Ltd
Original Assignee
Realme Chongqing Mobile Communications Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Realme Chongqing Mobile Communications Co Ltd filed Critical Realme Chongqing Mobile Communications Co Ltd
Priority to CN201911342926.8A priority Critical patent/CN113096022B/zh
Publication of CN113096022A publication Critical patent/CN113096022A/zh
Application granted granted Critical
Publication of CN113096022B publication Critical patent/CN113096022B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本公开提供一种图像虚化处理方法、图像虚化处理装置、存储介质与电子设备,涉及图像处理技术领域。该图像虚化处理方法包括:获取原始图像的中心区域;根据所述中心区域的像素值分布确定像素值范围;通过所述像素值范围对所述原始图像的像素点进行过滤,以从所述原始图像中提取掩膜图像;利用所述掩膜图像对所述原始图像进行虚化处理,生成目标图像。本公开不受中心区域过大或过小的影响,有利于实现精准的图像虚化,且无需用户手动选择ROI区域,使用体验较好。

Description

图像虚化处理方法、装置、存储介质与电子设备
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像虚化处理方法、图像虚化处理装置、计算机可读存储介质与电子设备。
背景技术
图像虚化处理是指对图像中的部分区域(一般是焦点以外的区域)进行模糊化,以呈现出景深等拍照效果。在图像虚化中,通常需要先将图像分割为前景和背景两部分,然后对背景部分进行虚化处理。
因此,如何精准地确定前景部分,以提高虚化处理效果,是目前亟待解决的技术问题。
需要说明的是,在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本公开提供了一种图像虚化处理方法、图像虚化处理装置、计算机可读存储介质与电子设备,进而至少在一定程度上提高分割前景部分的精准度。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供一种图像虚化处理方法,包括:获取原始图像的中心区域;根据所述中心区域的像素值分布确定像素值范围;通过所述像素值范围对所述原始图像的像素点进行过滤,以从所述原始图像中提取掩膜图像;利用所述掩膜图像对所述原始图像进行虚化处理,生成目标图像。
根据本公开的第二方面,提供一种图像虚化处理装置,包括:中心区域获取模块,用于获取原始图像的中心区域;像素值范围确定模块,用于根据所述中心区域的像素值分布确定像素值范围;掩膜图像提取模块,用于通过所述像素值范围对所述原始图像的像素点进行过滤,以从所述原始图像中提取掩膜图像;目标图像生成模块,用于利用所述掩膜图像对所述原始图像进行虚化处理,生成目标图像。
根据本公开的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像虚化处理方法。
根据本公开的第四方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述图像虚化处理方法。
本公开的技术方案具有以下有益效果:
根据上述图像虚化处理方法、图像虚化处理装置、计算机可读存储介质与电子设备,获取原始图像的中心区域,根据其像素值分布确定像素值范围,再对原始图像的像素点进行过滤,以提取出掩膜图像,最后利用掩膜图像对原始图像进行虚化处理,生成目标图像。一方面,基于原始图像中心区域的像素值分布,以像素值范围的方式过滤出掩膜图像,作为前景部分,中心区域的作用是提取前景部分的主要颜色,因而选取的中心区域过大或过小,都不影响对于前景的筛选,因此鲁棒性较高,有利于实现精准的图像虚化,且无需用户手动选择ROI区域,使用体验较好。另一方面,对于灰度较为集中的图像,如微距图像等,通过像素级的判断可以实现较为精细的分割,对于此类图像具有较好的适用性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式的一种系统架构的示意图;
图2示出本示例性实施方式的电子设备的示意图;
图3示出本示例性实施方式的一种图像虚化处理方法的流程图;
图4示出本示例性实施方式的一种图像虚化处理方法的子流程图;
图5示出本示例性实施方式的另一种图像虚化处理方法的子流程图;
图6示出本示例性实施方式优化掩膜图像的示意图;
图7示出本示例性实施方式的再一种图像虚化处理方法的子流程图;
图8示出本示例性实施方式的图像虚化处理方法的示意性流程;
图9示出本示例性实施方式的一种图像虚化处理装置的结构框图;
图10示出本示例性实施方式的计算机可读存储介质的示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
相关技术的一种虚化实现方案中,采用Graph cut(图像分割)算法,根据图像中的纹理信息与边界反差信息,结合用户设置的ROI区域(Region Of Interest,感兴趣区域),确定前景与背景部分。但是由于前景部分的比例大小不确定,ROI区域如果太大,则会将一部分背景误判为前景,如果太小,则会丢失一部分前景图像信息,导致无法实现精准的图像虚化。
相关技术的另一种虚化实现方案中,将图像转换为灰度图,根据设置的阈值进行前景提取。该方案对于图像的灰度要求较高,在强光照或弱光照等场景中,图像的灰度较为集中,则无法准确地提取前景,同样导致无法实现精准的图像虚化。
在微距拍摄的图像中,由于拍摄对象的屏占比可能会非常大或非常小,且图像前景与背景的灰度级相差不大,采用上述两种方案进行图像虚化处理,效果很差。可以理解地,本申请实施方式中的图像虚化处理方法的描述并不会对拍摄场景做出限制,本申请实施方式所描述的图像虚化处理方法对实现各种拍摄场景下所拍摄的图像的虚化效果都是有帮助的。
图1示出了本公开示例性实施方式的一种系统架构的示意图。如图1所示,该系统架构100可以包括:终端110、网络120和服务器130。终端110可以是具有图像拍摄功能的各种电子设备,包括但不限于手机、平板电脑、数码相机、个人电脑等。网络120用以在终端110和服务器130之间提供通信链路的介质,可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等。应该理解,图1中的终端、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端、网络和服务器。比如服务器130可以是多个服务器组成的服务器集群等。
本公开实施方式所提供的图像虚化处理方法可以由终端110执行,例如在终端110拍摄图像后,对图像进行虚化处理;也可以由服务器130执行,例如终端110拍摄图像后,上传到服务器130,使服务器130对图像进行虚化处理。本公开对此不做限定。
本公开的示例性实施方式提供一种用于实现图像虚化处理方法的电子设备,其可以是图1中的终端110或服务器130。该电子设备至少包括处理器和存储器,存储器用于存储处理器的可执行指令,处理器配置为经由执行可执行指令来执行图像虚化处理方法。
电子设备可以以各种形式来实施,例如可以包括手机、平板电脑、笔记本电脑、个人数字助理(Personal Digital Assistant,PDA)、导航装置、可穿戴设备、无人机等移动设备,以及台式电脑、智能电视等固定设备。下面以图2中的移动终端200为例,对电子设备的构造进行示例性说明。本领域技术人员应当理解,除了特别用于移动目的的部件之外,图2中的构造也能够应用于固定类型的设备。在另一些实施方式中,移动终端200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出,并不构成对移动终端200的结构限定。在另一些实施方式中,移动终端200也可以采用与图2不同的接口连接方式,或多种接口连接方式的组合。
如图2所示,移动终端200具体可以包括:处理器210、内部存储器221、外部存储器接口222、通用串行总线(Universal Serial Bus,USB)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber Identification Module,SIM)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(Application Processor,AP)、调制解调处理器、图形处理器(Graphics ProcessingUnit,GPU)、图像信号处理器(Image Signal Processor,ISP)、控制器、视频编解码器、数字信号处理器(Digital Signal Processor,DSP)、基带处理器和/或神经网络处理器(Neural-Network Processing Unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器210中还可以设置存储器,用于存储指令和数据。存储器可以存储用于实现六个模块化功能的指令:检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令,并由处理器210来控制执行。在一些实施方式中,处理器210中的存储器为高速缓冲存储器。该存储器可以保存处理器210刚用过或循环使用的指令或数据。如果处理器210需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器210的等待时间,因而提高了系统的效率。
在一些实施方式中,处理器210可以包括一个或多个接口。接口可以包括集成电路(Inter-Integrated Circuit,I2C)接口、集成电路内置音频(Inter-Integrated CircuitSound,I2S)接口、脉冲编码调制(Pulse Code Modulation,PCM)接口、通用异步收发传输器(Universal Asynchronous Receiver/Transmitter,UART)接口、移动产业处理器接口(Mobile Industry Processor Interface,MIPI)、通用输入输出(General-PurposeInput/Output,GPIO)接口、用户标识模块(Subscriber Identity Module,SIM)接口和/或通用串行总线(Universal Serial Bus,USB)接口等。通过不同的接口和移动终端200的其他部件形成连接。
USB接口230是符合USB标准规范的接口,具体可以是MiniUSB接口,MicroUSB接口,USBTypeC接口等。USB接口230可以用于连接充电器为移动终端200充电,也可以连接耳机,通过耳机播放音频,还可以用于移动终端200连接其他电子设备,例如连接电脑、外围设备等。
充电管理模块240用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施方式中,充电管理模块240可以通过USB接口230接收有线充电器的充电输入。在一些无线充电的实施方式中,充电管理模块240可以通过移动终端200的无线充电线圈接收无线充电输入。充电管理模块240为电池242充电的同时,还可以通过电源管理模块241为电子设备供电。
电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。电源管理模块241还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施方式中,电源管理模块241也可以设置于处理器210中。在另一些实施方式中,电源管理模块241和充电管理模块240也可以设置于同一个器件中。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。移动终端200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施方式中,天线可以和调谐开关结合使用。
移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块250可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(Low Noise Amplifier,LNA)等。移动通信模块250可以由天线1接收电磁波,并对接收的电磁波进行滤波、放大等处理,传送至调制解调处理器进行解调。移动通信模块250还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施方式中,移动通信模块250的至少部分功能模块可以被设置于处理器210中。在一些实施方式中,移动通信模块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器271,受话器272等)输出声音信号,或通过显示屏290显示图像或视频。在一些实施方式中,调制解调处理器可以是独立的器件。在另一些实施方式中,调制解调处理器可以独立于处理器210,与移动通信模块250或其他功能模块设置在同一个器件中。
无线通信模块260可以提供应用在移动终端200上的包括无线局域网(WirelessLocal Area Networks,WLAN)(如无线保真(Wireless Fidelity,Wi-Fi)网络)、蓝牙(Bluetooth,BT)、全球导航卫星系统(Global Navigation Satellite System,GNSS)、调频(Frequency Modulation,FM)、近距离无线通信技术(Near Field Communication,NFC)、红外技术(Infrared,IR)等无线通信的解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施方式中,移动终端200的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得移动终端200可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(Global System for Mobilecommunications,GSM),通用分组无线服务(General Packet Radio Service,GPRS),码分多址接入(Code Division Multiple Access,CDMA),宽带码分多址(Wideband CodeDivision Multiple Access,WCDMA),时分码分多址(Time Division-Synchronous CodeDivision Multiple Access,TD-SCDMA),长期演进(Long Term Evolution,LTE),新空口(New Radio,NR),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(Global Positioning System,GPS),全球导航卫星系统(Global NavigationSatellite System,GLONASS),北斗卫星导航系统(Beidou Navigation SatelliteSystem,BDS),准天顶卫星系统(Quasi-Zenith Satellite System,QZSS)和/或星基增强系统(Satellite Based Augmentation Systems,SBAS)。
移动终端200通过GPU、显示屏290及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏290和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏290用于显示图像,视频等。显示屏290包括显示面板。显示面板可以采用液晶显示屏(Liquid Crystal Display,LCD),有机发光二极管(Organic Light-EmittingDiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(Active-MatrixOrganic Light Emitting Diode,AMOLED),柔性发光二极管(Flexlight-Emitting Diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(Quantum dot Light EmittingDiodes,QLED)等。在一些实施方式中,移动终端200可以包括1个或N个显示屏290,N为大于1的正整数。
移动终端200可以通过ISP、摄像模组291、视频编解码器、GPU、显示屏290及应用处理器等实现拍摄功能。
ISP用于处理摄像模组291反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施方式中,ISP可以设置在摄像模组291中。
摄像模组291用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(Charge Coupled Device,CCD)或互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施方式中,移动终端200可以包括1个或N个摄像模组291,N为大于1的正整数,若移动终端200包括N个摄像头,N个摄像头中有一个是主摄像头。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当移动终端200在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。移动终端200可以支持一种或多种视频编解码器。这样,移动终端200可以播放或录制多种编码格式的视频,例如:动态图像专家组(Moving Picture Experts Group,MPEG)1,MPEG2,MPEG3,MPEG4等。
外部存储器接口222可以用于连接外部存储卡,例如Micro SD卡,实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器221可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器221可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(Universal Flash Storage,UFS)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令,执行移动终端200的各种功能应用以及数据处理。
移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。
音频模块270用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。在一些实施方式中,音频模块270可以设置于处理器210中,或将音频模块270的部分功能模块设置于处理器210中。
扬声器271,也称“喇叭”,用于将音频电信号转换为声音信号。移动终端200可以通过扬声器271收听音乐,或收听免提通话。
受话器272,也称“听筒”,用于将音频电信号转换成声音信号。当移动终端200接听电话或语音信息时,可以通过将受话器272靠近人耳接听语音。
麦克风273,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风273发声,将声音信号输入到麦克风273。移动终端200可以设置至少一个麦克风273。在另一些实施方式中,移动终端200可以设置两个麦克风273,除了采集声音信号,还可以实现降噪功能。在另一些实施方式中,移动终端200还可以设置三个,四个或更多麦克风273,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口274用于连接有线耳机。耳机接口274可以是USB接口230,也可以是3.5mm的开放移动电子设备平台(Open Mobile Terminal Platform,OMTP)标准接口,美国蜂窝电信工业协会(Cellular Telecommunications Industry Association of the USA,CTIA)标准接口。
深度传感器2801用于获取景物的深度信息。在一些实施方式中,深度传感器可以设置于摄像模组291。
压力传感器2802用于感受压力信号,可以将压力信号转换成电信号。在一些实施方式中,压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。
陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中,可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器2803检测移动终端200抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消移动终端200的抖动,实现防抖。陀螺仪传感器2803还可以用于导航,体感游戏场景。
气压传感器2804用于测量气压。在一些实施方式中,移动终端200通过气压传感器2804测得的气压值计算海拔高度,辅助定位和导航。
此外,根据实际需要,还可以在传感器模块280中设置其他功能的传感器,例如磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等等。
按键294包括开机键,音量键等。按键294可以是机械按键。也可以是触摸式按键。移动终端200可以接收按键输入,产生与移动终端200的用户设置以及功能控制有关的键信号输入。
马达293可以产生振动提示,例如来电、闹钟、接收信息等的振动提示,也可以用于触摸振动反馈,例如作用于不同应用(如拍照、游戏、音频播放等)的触摸操作,或者作用于显示屏290不同区域的触摸操作,可以对应不同的振动反馈效果。触摸振动反馈效果可以支持自定义。
指示器292可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口295用于连接SIM卡。SIM卡可以通过插入SIM卡接口295,或从SIM卡接口295拔出,实现和移动终端200的接触和分离。移动终端200可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口295可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口295可以同时插入多张卡。多张卡的类型可以相同,也可以不同。SIM卡接口295也可以兼容不同类型的SIM卡。SIM卡接口295也可以兼容外部存储卡。移动终端200通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施方式中,移动终端200采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在移动终端200中,不能和移动终端200分离。
下面对本公开示例性实施方式的图像虚化处理方法和图像虚化处理装置进行具体说明。
图3示出了本示例性实施方式中一种图像虚化处理方法的流程,包括以下步骤S310至S340:
步骤S310,获取原始图像的中心区域。
其中,原始图像为待虚化处理的图像,可以是初始拍摄的图像。提取原始图像中位于中心部分的一个区域,即中心区域。中心区域可以由用户手动框选,也可以按照预设尺寸从原始图像中提取中心区域。可以采用固定的预设尺寸,例如固定截取原始图像中心400*300像素的区域,作为中心区域,也可以采用相对的预设尺寸,例如设置为原始图像尺寸的1/3*1/3,则将原始图像等分为3*3个格子,位于最中央的格子即是中心区域。
中心区域可以是圆形、正方形、矩形等各种形状。在一种可选的实施方式中,可以将中心区域设置为矩形,则提取原始图像的中心区域,可以将中心区域另外存储为一张图像,以便于后续进行处理。
步骤S320,根据中心区域的像素值分布确定像素值范围。
本示例性实施方式中,中心区域是以拍摄对象为主要图像内容的区域,通过统计中心区域的像素值分布情况,可以得到其分布特征,进而确定像素值分布的合理范围,即上述像素值范围,代表拍摄对象所在的像素值范围。举例而言,可以将中心区域的像素值集中所在的范围确定为像素值范围,或者计算像素值的分布统计指标,例如平均值和标准差,将平均值±4*标准差作为像素值范围等。本公开对此不做限定。
下面提供两种确定像素值范围的具体方式:
方式一、参考图4所示,步骤S320可以具体通过以下步骤S401至S403实现:
步骤S401,将中心区域的像素点划分为第一类像素点、第二类像素点和第三类像素点;
步骤S402,计算第一类像素点的R通道像素平均值、第二类像素点的G通道像素平均值和第三类像素点的B通道像素平均值;
步骤S403,根据R通道像素平均值、G通道像素平均值和B通道像素平均值,确定像素值范围。
其中,第一类像素点的R(Red)通道像素值高于其G(Green)通道像素值和B(Blue)通道像素值,第二类像素点的G通道像素值高于其R通道像素值和B通道像素值,第三类像素点的B通道像素值高于其R通道像素值和G通道像素值。将每个像素点的RGB通道像素值按照由高到低排列,则R通道排在最前的为第一类像素点,G通道排在最前的为第二类像素点,B通道排在最前的为第三类像素点。
记第一类像素点的集合为accR,第二类像素点的集合为accG,第三类像素点的集合为accB。计算R通道像素平均值、G通道像素平均值和第B通道像素平均值为:
Figure BDA0002331899310000131
Figure BDA0002331899310000132
Figure BDA0002331899310000133
其中,Ra为R通道像素平均值,Ga为G通道像素平均值,Ba为B通道像素平均值;R(i)表示像素点i的R通道像素值;card(accR)表示集合accR的像素点数量。
在得到各通道的像素平均值后,可以进一步确定像素值范围。例如设置余量p,则可以以{Ra±p,Ga±p,Ba±p}作为像素值范围。
进一步的,可以通过以下方式确定第一类像素值范围、第二类像素值范围和第三类像素值范围:
Z1:{R[Ra-k1,Ra+k2],G[Ga-k1,255],B[Ba-k1,255]} (4)
Z2:{R[Ra-k1,255],G[Ga-k1,Ga+k2],B[Ba-k1,255]} (5)
Z3:{R[Ra-k1,255],G[Ga-k1,255],B[Ba-k1,Ba+k2]} (6)
其中,Z1为第一类像素值范围,用于后续对原始图像中的第一类像素点进行过滤,Z2为第二类像素值范围,用于后续对原始图像中的第二类像素点进行过滤,Z3为第三类像素值范围,用于后续对原始图像中的第三类像素点进行过滤;k1为第一预设宽度,k2为第二预设宽度,k1与k2均大于0,可以根据经验或实际需求设定k1与k2的数值,k1与k2的数值可以相同,也可以不同。由公式(4)~(6)可知,对于第一类像素点,限制其R通道上限值,对于G和B通道的上限值不做限制,对于第二类像素点,限制其G通道上限值,对于R和B通道的上限值不做限制,对于第三类像素点,限制其B通道上限值,对于R和G通道的上限值不做限制,因此得到了针对性更强的三个像素值范围。
方式二、参考图5所示,步骤S320可以具体通过以下步骤S501至S503实现:
步骤S501,分别将H(Hue,色调)通道、S(Saturation,饱和度)通道和V(Value,明度)通道划分为多个区间,得到多个H通道区间、多个S通道区间和多个V通道区间;
步骤S502,统计中心区域每个像素点的H通道值、S通道值和V通道值,以确定落入每个H通道区间、S通道区间和V通道区间的像素点数量;
步骤S503,将像素点数量最多的H通道区间、S通道区间和V通道区间,确定为像素值范围。
在实施上述过程时,先将原始图像转换为HSV格式。然后可以对中心区域进行V通道的直方图均衡化处理。具体而言,统计中心区域每个像素点的V通道值,V通道一般有256个灰度(即明度)级(0~255共有256个灰度级),记为xi(i=0、1、2、…、255);计算每个灰度级的像素点数量,记灰度级xi的像素点数量为h(xi);则可以通过以下公式(7)进行直方图均衡化处理:
Figure BDA0002331899310000151
L表示灰度级总数(即256),w表示图像的宽,h表示图像的高。直方图均衡化相当于将各像素点的V通道值在整个0~255的区间内进行了“拉宽”,使得图像的灰度层次更加鲜明。
可以将H通道、S通道和V通道分别划分为多个区间,由于各通道的数值标准不同,因此进行区间划分的标准也可以不同。在一种实施方式中,可以预先划分好固定的H通道区间、S通道区间和V通道区间,每次无需重新划分。在一种实施方式中,也可以先统计中心区域的H通道、S通道和V通道的数值分布,根据其分布特征划分为多个区间,具有更强的针对性。在一种实施方式中,可以对H通道、S通道和V通道区分处理:对于H通道,按照主色调将其分为黄、绿、蓝、红、紫5个区间;S通道和V通道根据统计结果进行区间划分。
在确定H通道区间、S通道区间和V通道区间后,统计中心区域的像素点落到各个区间的情况。需要说明的是,对于每个像素点,可以分别确定其所属的H通道区间、S通道区间和V通道区间。然后提取出落入像素点最多的H通道区间、S通道区间和V通道区间,即为像素值范围。
步骤S330,通过上述像素值范围对原始图像的像素点进行过滤,以从原始图像中提取掩膜图像。
其中,掩膜(Mask)图像可视为从原始图像中所提取的感兴趣区域,可以在图像虚化处理中起到屏蔽作用。因此,掩膜图像主要是原始图像中拍摄对象所在的部分,即图像的前景区域。在确定像素值范围的情况下,将原始图像中处于该范围内的像素点过滤出来,所得到部分即为掩膜图像。
需要说明的是,若采用上述公式(4)~(6)所示的第一类像素值范围、第二类像素值范围和第三类像素值范围,在遍历原始图像时,对每个像素点,先确定其属于哪一类像素点,然后采用对应的像素值范围进行过滤。
在一种可选的实施方式中,步骤S330可以具体通过以下步骤实现:
生成与原始图像相同尺寸的图像空间;
遍历原始图像的像素点,若像素点处于像素值范围内,则将图像空间中对应位置的像素点置为白色,若像素点未处于像素值范围内,则将图像空间中对应位置的像素点置为黑色,以得到二值化的掩膜图像。
一般的,图像空间与原始图像的宽、高相同,像素数也相同,两者之间的像素是一一对应的。图像空间中各像素点的初始值可以为(0,0,0),即初始为纯黑色的图像空间。遍历原始图像的每个像素点,若(x,y)像素点处于像素值范围内,则将图像空间中的(x,y)像素点置为白色,具体而言,将其像素值置为(255,255,255)。遍历结束后,处于像素值范围内的部分为白色,其余部分为黑色,从而得到了二值化的掩膜图像。
将像素值范围作为过滤条件,所得到的掩膜图像中可能包含一些背景区域的像素点,且难免出现孔洞、噪点等。在一种可选的实施方式中,在从原始图像中提取掩膜图像后,可以通过执行以下步骤对掩膜图像进行优化:
将掩膜图像的宽进行a等分,将掩膜图像的高进行b等分,以得到a*b个子区域;
在a*b个子区域中确定中心子区域,在中心子区域中提取非0像素点,以生成至少一个连通区域;
在中心子区域的临近子区域中,将与连通区域连通的非0像素点加入到连通区域;
移除掩膜图像中连通区域以外的非0像素点。
其中,a为第一分割系数,b为第二分割系数,a和b均为正整数,可以根据经验或掩膜图像的大小确定。一般的,a或b的数值过小,则对于掩膜图像无法进行精细分割,a或b为偶数时,所确定的中心子区域的数量不止一个。因此,a和b可以为大于4的奇数,两者数值可以相同,也可以不同。非0像素点指像素值非0的像素点,在掩膜图像中,一般为白色像素点。
上述过程可以参考图6所示。在图6中,A为初始得到掩膜图像,可见其中孔洞与噪点现象较为严重。设置a=b=5,将A进行5*5等分,得到25个子区域;然后选取最中间的一个,为中心子区域,提取中心子区域内的非0像素点(即白色像素点);若中心子区域内所有非0像素点都是连通的,则生成一个连通区域;若中心子区域内存在不连通的非0像素点,则生成两个或两个以上连通区域;还有一种极端情况,中心子区域内不存在非0像素点,则可以调小a、b的数值并重新分割掩膜图像,以增大中心子区域的范围,或者直接输出提取掩膜图像失败的结果,结束图像虚化处理流程;再在中心子区域的临近子区域内(一般是附近的8个子区域),将与上述连通区域连通的非0像素点加入到上述连通区域中,相当于将连通区域进行扩展;最后将连通区域以外的非0像素点全部移除,整个掩膜图像仅保留连通区域部分的非0像素点,得到掩膜图像B。由此改善了孔洞与噪点现象。
如图6所示,优化后的掩膜图像可能仍然存在边缘毛刺等缺陷。进一步的,还可以通过以下任意一种或多种方式对掩膜图像进行后处理:
膨胀处理,例如可以采用9*9像素(也可以是其他尺寸)的卷积核进行膨胀处理,使9x9范围内可以闭合的区间得到闭合;
填充孔洞,例如可以采用漫水填充法,确保掩膜图像的连通区域内没有孔洞;
腐蚀处理,例如可以采用9*9像素(也可以是其他尺寸)的卷积核进行腐蚀处理,以减小膨胀处理中使连通区域增大的作用;
边缘模糊化处理,目的是在连通区域的边缘部分形成颜色过度的效果,减小视觉上的突变感。例如可以采用高斯模糊,其原理如下:
Figure BDA0002331899310000171
公式(8)基于图像二维的正态分布(假设中心为原点,即μ=0)。可以计算出3x3、5x5或更高阶的权重矩阵,与掩膜图像进行卷积,并根据需要设置迭代次数,即卷积次数,最后得到有边缘过度的掩膜图像。
步骤S340,利用掩膜图像对原始图像进行虚化处理,生成目标图像。
一般的,掩膜图像代表了原始图像中的前景部分。将掩膜图像覆盖原始图像,保持覆盖部分不变,对未覆盖部分进行虚化处理,生成目标图像,目标图像即对原始图像进行虚化处理后所得到的图像。例如在手机拍照的场景中,如果用户选择了虚化或景深拍照模式,则拍摄出原始图像后,可以通过图3的方法对其进行虚化处理,最终输出并显示目标图像。
在一种可选的实施方式中,参考图7所示,步骤S340可以具体包括以下步骤S701至S704:
步骤S701,获取原始图像经过模糊化处理后的模糊图像,以及掩膜图像的反掩膜图像;
步骤S702,将原始图像和掩膜图像相乘,得到第一中间图像;
步骤S703,将模糊图像和反掩膜图像相乘,得到第二中间图像;
步骤S704,叠加第一中间图像和第二中间图像,得到目标图像。
其中,对原始图像的模糊化处理可以采用高斯模糊等任意方式,本公开不做限定。记原始图像为IMG0,模糊图像为IMGblur,掩膜图像为Mask,反掩膜图像为255-Mask,则有:
IMG1=IMG0×Mask/255 (9)
IMG2=IMGblur×(255-Mask)/255 (10)
IMGF=IMG1+IMG2=[IMG0×Mask+IMGblur×(255-Mask)]/255 (11)
其中,IMG1为第一中间图像,IMG2为第二中间图像,IMGF为目标图像。由此可知,在目标图像中,保留了掩膜图像所对应的原始图像的部分,以及反掩膜图像所对应的模糊图像的部分,即对掩膜图像以外的区域进行了虚化。
需要说明的是,在公式(9)~(11)中,由于采用255阶的像素值,因此需要除以255,若采用0~1的像素值,则无需除以255。
在一种可选的实施方式中,为了使中心区域的像素值分布更加平滑,以更好地统计其像素值分布特征,确定像素值范围,可以预先对中心区域进行模糊化处理。具体而言,有两种处理方式:其一是先对原始图像进行模糊化处理,例如可以采用高速模糊对整个图像进行处理,然后再提取中心区域,得到模糊化的中心区域;其二是先提取中心区域,然后仅对中心区域进行模糊化处理。
在一种可选的实施方式中,可以通过掩膜图像中连通区域的中心点,作为图像前景部分的中心点,例如可以遍历掩膜图像中的所有非0像素点,将其x、y坐标分别求和,再除以非0像素点的总数,得到中心点坐标(x0,y0)。在对原始图像进行模糊化处理时,可以计算每个像素点到(x0,y0)的距离,距离远的位置可以采用半径较大的高斯模糊矩阵,距离近的位置采用半径较小的高斯模糊矩阵,从而实现分层虚化的效果。
在一种可选的实施方式中,除了对背景部分进行虚化外,还可以对前景部分进行增强。具体而言,步骤S702中,可以先对原始图像提高清晰度、对比度或者饱和度,可以选择Laplace(拉普拉斯)算子,通过直方图加强等方式进行处理,然后和掩膜图像相乘,得到第一中间图像,或者直接对第一中间图像进行上述增强。最后叠加第一中间图像和第二中间图像时,前景部分为增强后的效果,与背景部分具有更强的反差。
图8示出了本示例性实施方式的示意性流程。如图8所示,在获取原始图像后,首先对其进行模糊化处理,得到模糊图像。然后从模糊图像中提取中心区域。接下来,可以通过两种方式确定像素值范围:方式一可以参考图4所示,统计中心区域每个像素点的RGB通道像素值,分别计算R、G、B通道的像素平均值,进而确定第一类、第二类和第三类像素值范围;方式二可以参考图5所示,统计中心区域每个像素点的HSV通道值,确定落入像素点数量最多的H通道区间、S通道区间和V通道区间,进而确定HSV像素值范围。在确定像素值范围后,利用像素值范围对原始图像中的像素点进行过滤,初步得到掩膜图像。然后对掩膜图像进行连通区域的优化,并进行膨胀、填充孔洞、腐蚀、边缘模糊化等后处理,得到可用的掩膜图像。再基于掩膜图像、模糊图像和原始图像进行虚化处理,具体过程可以参考图7所示,最终得到目标图像。
综上所述,本示例性实施方式中,获取原始图像的中心区域,根据其像素值分布确定像素值范围,再对原始图像的像素点进行过滤,以提取出掩膜图像,最后利用掩膜图像对原始图像进行虚化处理,生成目标图像。一方面,基于原始图像中心区域的像素值分布,以像素值范围的方式过滤出掩膜图像,作为前景部分,中心区域的作用是提取前景部分的主要颜色,因而选取的中心区域过大或过小,都不影响对于前景的筛选,因此鲁棒性较高,有利于实现精准的图像虚化,且无需用户手动选择ROI区域,使用体验较好。另一方面,对于灰度较为集中的图像,如微距图像等,通过像素级的判断可以实现较为精细的分割,对于此类图像具有较好的适用性。
本公开的示例性实施方式还提供一种图像虚化处理装置。如图9所示,该图像虚化处理装置900可以包括:
中心区域获取模块910,用于获取原始图像的中心区域;
像素值范围确定模块920,用于根据中心区域的像素值分布确定像素值范围;
掩膜图像提取模块930,用于通过上述像素值范围对原始图像的像素点进行过滤,以从原始图像中提取掩膜图像;
目标图像生成模块940,用于利用掩膜图像对原始图像进行虚化处理,生成目标图像。
在一种可选的实施方式中,像素值范围确定模块920,可以通过执行以下方法,以确定像素值范围:
将中心区域的像素点划分为第一类像素点、第二类像素点和第三类像素点;其中,第一类像素点的R通道像素值高于其G通道像素值和B通道像素值,第二类像素点的G通道像素值高于其R通道像素值和B通道像素值,第三类像素点的B通道像素值高于其R通道像素值和G通道像素值;
计算第一类像素点的R通道像素平均值、第二类像素点的G通道像素平均值和第三类像素点的B通道像素平均值;
根据R通道像素平均值、G通道像素平均值和B通道像素平均值,确定像素值范围。
在一种可选的实施方式中,像素值范围确定模块920,还可以通过以下方式确定第一类像素值范围、第二类像素值范围和第三类像素值范围:
Z1:R[Ra-k1,Ra+k2],G[Ga-k1,255],B[Ba-k1,255];
Z2:R[Ra-k1,255],G[Ga-k1,Ga+k2],B[Ba-k1,255];
Z3:R[Ra-k1,255],G[Ga-k1,255],B[Ba-k1,Ba+k2];
其中,Z1为第一类像素值范围,用于对原始图像中的第一类像素点进行过滤,Z2为第二类像素值范围,用于对原始图像中的第二类像素点进行过滤,Z3为第三类像素值范围,用于对原始图像中的第三类像素点进行过滤;Ra为R通道像素平均值,Ga为G通道像素平均值,Ba为B通道像素平均值;k1为第一预设宽度,k2为第二预设宽度,k1与k2均大于0。
在一种可选的实施方式中,像素值范围确定模块920,可以通过执行以下方法,以确定像素值范围:
分别将H通道、S通道和V通道划分为多个区间,得到多个H通道区间、多个S通道区间和多个V通道区间;
统计中心区域每个像素点的H通道值、S通道值和V通道值,以确定落入每个H通道区间、S通道区间和V通道区间的像素点数量;
将像素点数量最多的H通道区间、S通道区间和V通道区间,确定为像素值范围。
在一种可选的实施方式中,像素值范围确定模块920,还用于在分别将H通道、S通道和V通道划分为多个区间前,对中心区域进行V通道的直方图均衡化处理。
在一种可选的实施方式中,掩膜图像提取模块930,可以通过执行以下方法,以从原始图像中提取掩膜图像:
生成与原始图像相同尺寸的图像空间;
遍历原始图像的像素点,若像素点处于像素值范围内,则将图像空间中对应位置的像素点置为白色,若像素点未处于像素值范围内,则将图像空间中对应位置的像素点置为黑色,以得到二值化的掩膜图像。
在一种可选的实施方式中,目标图像生成模块940,可以通过执行以下方法,以生成目标图像:
获取原始图像经过模糊化处理后的模糊图像,以及掩膜图像的反掩膜图像;
将原始图像和掩膜图像相乘,得到第一中间图像;
将模糊图像和反掩膜图像相乘,得到第二中间图像;
叠加第一中间图像和第二中间图像,得到目标图像。
在一种可选的实施方式中,掩膜图像提取模块930,还用于在从原始图像中提取掩膜图像后,通过执行以下方法,以对掩膜图像进行优化:
将掩膜图像的宽进行a等分,将掩膜图像的高进行b等分,以得到a*b个子区域,a为第一分割系数,b为第二分割系数,a和b均为正整数;
在a*b个子区域中确定中心子区域,在中心子区域中提取非0像素点,以生成至少一个连通区域,非0像素点指像素值非0的像素点;
在中心子区域的临近子区域中,将与连通区域连通的非0像素点加入到连通区域;
移除掩膜图像中连通区域以外的非0像素点。
在一种可选的实施方式中,掩膜图像提取模块930,还用于通过以下任意一种或多种方式对掩膜图像进行后处理:
膨胀处理,填充孔洞,腐蚀处理,边缘模糊化处理。
在一种可选的实施方式中,中心区域获取模块910,用于按照预设尺寸从原始图像中提取中心区域。
在一种可选的实施方式中,中心区域获取模块910,还用于对中心区域进行模糊化处理。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明,未披露的细节内容可以参见方法部分的实施方式内容,因而不再赘述。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤,例如可以执行图3、图4、图5或图7中任意一个或多个步骤。
参考图10所示,描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品1000,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (14)

1.一种图像虚化处理方法,其特征在于,包括:
获取原始图像的中心区域;
根据所述中心区域的像素值分布确定像素值范围;
通过所述像素值范围对所述原始图像的像素点进行过滤,以从所述原始图像中提取掩膜图像;
利用所述掩膜图像对所述原始图像进行虚化处理,生成目标图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述中心区域的像素值分布确定像素值范围,包括:
将所述中心区域的像素点划分为第一类像素点、第二类像素点和第三类像素点;其中,所述第一类像素点的R通道像素值高于其G通道像素值和B通道像素值,所述第二类像素点的G通道像素值高于其R通道像素值和B通道像素值,所述第三类像素点的B通道像素值高于其R通道像素值和G通道像素值;
计算所述第一类像素点的R通道像素平均值、所述第二类像素点的G通道像素平均值和所述第三类像素点的B通道像素平均值;
根据所述R通道像素平均值、所述G通道像素平均值和所述B通道像素平均值,确定所述像素值范围。
3.根据权利要求2所述的方法,其特征在于,所述根据所述R通道像素平均值、所述G通道像素平均值和所述B通道像素平均值,确定所述像素值范围,包括:
通过以下方式确定第一类像素值范围、第二类像素值范围和第三类像素值范围:
Z1:R[Ra-k1,Ra+k2],G[Ga-k1,255],B[Ba-k1,255];
Z2:R[Ra-k1,255],G[Ga-k1,Ga+k2],B[Ba-k1,255];
Z3:R[Ra-k1,255],G[Ga-k1,255],B[Ba-k1,Ba+k2];
其中,Z1为所述第一类像素值范围,用于对所述原始图像中的第一类像素点进行过滤,Z2为所述第二类像素值范围,用于对所述原始图像中的第二类像素点进行过滤,Z3为所述第三类像素值范围,用于对所述原始图像中的第三类像素点进行过滤;Ra为所述R通道像素平均值,Ga为所述G通道像素平均值,Ba为所述B通道像素平均值;k1为第一预设宽度,k2为第二预设宽度,k1与k2均大于0。
4.根据权利要求1所述的方法,其特征在于,所述根据所述中心区域的像素值分布确定像素值范围,包括:
分别将H通道、S通道和V通道划分为多个区间,得到多个H通道区间、多个S通道区间和多个V通道区间;
统计所述中心区域每个像素点的H通道值、S通道值和V通道值,以确定落入每个所述H通道区间、S通道区间和V通道区间的像素点数量;
将像素点数量最多的所述H通道区间、S通道区间和V通道区间,确定为所述像素值范围。
5.根据权利要求4所述的方法,其特征在于,在分别将H通道、S通道和V通道划分为多个区间前,所述方法还包括:
对所述中心区域进行V通道的直方图均衡化处理。
6.根据权利要求1所述的方法,其特征在于,所述通过所述像素值范围对所述原始图像的像素点进行过滤,以从所述原始图像中提取掩膜图像,包括:
生成与所述原始图像相同尺寸的图像空间;
遍历所述原始图像的像素点,若所述像素点处于所述像素值范围内,则将所述图像空间中对应位置的像素点置为白色,若所述像素点未处于所述像素值范围内,则将所述图像空间中对应位置的像素点置为黑色,以得到二值化的掩膜图像。
7.根据权利要求1所述的方法,其特征在于,所述利用所述掩膜图像对所述原始图像进行虚化处理,生成目标图像,包括:
获取所述原始图像经过模糊化处理后的模糊图像,以及所述掩膜图像的反掩膜图像;
将所述原始图像和所述掩膜图像相乘,得到第一中间图像;
将所述模糊图像和所述反掩膜图像相乘,得到第二中间图像;
叠加所述第一中间图像和所述第二中间图像,得到所述目标图像。
8.根据权利要求1所述的方法,其特征在于,在从所述原始图像中提取掩膜图像后,所述方法还包括:
将所述掩膜图像的宽进行a等分,将所述掩膜图像的高进行b等分,以得到a*b个子区域,a为第一分割系数,b为第二分割系数,a和b均为正整数;
在所述a*b个子区域中确定中心子区域,在所述中心子区域中提取非0像素点,以生成至少一个连通区域,所述非0像素点指像素值非0的像素点;
在所述中心子区域的临近子区域中,将与所述连通区域连通的非0像素点加入到所述连通区域;
移除所述掩膜图像中所述连通区域以外的非0像素点。
9.根据权利要求8所述的方法,其特征在于,在移除所述掩膜图像中所述连通区域以外的非0像素点后,还通过以下任意一种或多种方式对所述掩膜图像进行后处理:
膨胀处理,填充孔洞,腐蚀处理,边缘模糊化处理。
10.根据权利要求1所述的方法,其特征在于,所述获取原始图像的中心区域,包括:
按照预设尺寸从所述原始图像中提取所述中心区域。
11.根据权利要求1所述的方法,其特征在于,在根据所述中心区域的像素值分布确定像素值范围前,所述方法还包括:
对所述中心区域进行模糊化处理。
12.一种图像虚化处理装置,其特征在于,包括:
中心区域获取模块,用于获取原始图像的中心区域;
像素值范围确定模块,用于根据所述中心区域的像素值分布确定像素值范围;
掩膜图像提取模块,用于通过所述像素值范围对所述原始图像的像素点进行过滤,以从所述原始图像中提取掩膜图像;
目标图像生成模块,用于利用所述掩膜图像对所述原始图像进行虚化处理,生成目标图像。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至11任一项所述的方法。
14.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至11任一项所述的方法。
CN201911342926.8A 2019-12-23 2019-12-23 图像虚化处理方法、装置、存储介质与电子设备 Active CN113096022B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911342926.8A CN113096022B (zh) 2019-12-23 2019-12-23 图像虚化处理方法、装置、存储介质与电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911342926.8A CN113096022B (zh) 2019-12-23 2019-12-23 图像虚化处理方法、装置、存储介质与电子设备

Publications (2)

Publication Number Publication Date
CN113096022A true CN113096022A (zh) 2021-07-09
CN113096022B CN113096022B (zh) 2022-12-30

Family

ID=76663345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911342926.8A Active CN113096022B (zh) 2019-12-23 2019-12-23 图像虚化处理方法、装置、存储介质与电子设备

Country Status (1)

Country Link
CN (1) CN113096022B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947549A (zh) * 2021-10-22 2022-01-18 深圳国邦信息技术有限公司 自拍视频修饰道具边缘处理方法及相关产品
CN114972379A (zh) * 2022-05-26 2022-08-30 平安国际融资租赁有限公司 车辆图片背景模糊方法、装置、电子设备和可读介质
CN117522760A (zh) * 2023-11-13 2024-02-06 书行科技(北京)有限公司 图像处理方法、装置、电子设备、介质及产品

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090245633A1 (en) * 2006-06-09 2009-10-01 Radu Bilcu Method, a Device, a Module and a Computer Program Product for Determining the Quality of an Image
US20130094758A1 (en) * 2010-01-05 2013-04-18 Vikas Yadav Color Saturation-Modulated Blending of Exposure-Bracketed Images
CN107154030A (zh) * 2017-05-17 2017-09-12 腾讯科技(上海)有限公司 图像处理方法及装置、电子设备及存储介质
CN107563977A (zh) * 2017-08-28 2018-01-09 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN108337434A (zh) * 2018-03-27 2018-07-27 中国人民解放军国防科技大学 一种针对光场阵列相机的焦外虚化重聚焦方法
CN108737821A (zh) * 2018-04-25 2018-11-02 中国人民解放军军事科学院军事医学研究院 基于多通道浅层特征的视频兴趣区域快速预选方法及系统
CN109299711A (zh) * 2018-12-25 2019-02-01 常州纺织服装职业技术学院 颜色跟踪方法和装置
CN109410215A (zh) * 2018-08-02 2019-03-01 北京三快在线科技有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN109544568A (zh) * 2018-11-30 2019-03-29 长沙理工大学 目标图像分割方法、装置及设备
CN109903265A (zh) * 2019-01-19 2019-06-18 创新奇智(南京)科技有限公司 一种图像变化区域侦测阀值设定方法、系统及其电子装置
CN110378846A (zh) * 2019-06-28 2019-10-25 北京字节跳动网络技术有限公司 一种处理图像磨皮的方法、装置、介质和电子设备
CN110555809A (zh) * 2018-06-04 2019-12-10 瑞昱半导体股份有限公司 基于前景影像的背景虚化方法与电子装置

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090245633A1 (en) * 2006-06-09 2009-10-01 Radu Bilcu Method, a Device, a Module and a Computer Program Product for Determining the Quality of an Image
US20130094758A1 (en) * 2010-01-05 2013-04-18 Vikas Yadav Color Saturation-Modulated Blending of Exposure-Bracketed Images
CN107154030A (zh) * 2017-05-17 2017-09-12 腾讯科技(上海)有限公司 图像处理方法及装置、电子设备及存储介质
CN107563977A (zh) * 2017-08-28 2018-01-09 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
CN108337434A (zh) * 2018-03-27 2018-07-27 中国人民解放军国防科技大学 一种针对光场阵列相机的焦外虚化重聚焦方法
CN108737821A (zh) * 2018-04-25 2018-11-02 中国人民解放军军事科学院军事医学研究院 基于多通道浅层特征的视频兴趣区域快速预选方法及系统
CN110555809A (zh) * 2018-06-04 2019-12-10 瑞昱半导体股份有限公司 基于前景影像的背景虚化方法与电子装置
CN109410215A (zh) * 2018-08-02 2019-03-01 北京三快在线科技有限公司 图像处理方法、装置、电子设备及计算机可读介质
CN109544568A (zh) * 2018-11-30 2019-03-29 长沙理工大学 目标图像分割方法、装置及设备
CN109299711A (zh) * 2018-12-25 2019-02-01 常州纺织服装职业技术学院 颜色跟踪方法和装置
CN109903265A (zh) * 2019-01-19 2019-06-18 创新奇智(南京)科技有限公司 一种图像变化区域侦测阀值设定方法、系统及其电子装置
CN110378846A (zh) * 2019-06-28 2019-10-25 北京字节跳动网络技术有限公司 一种处理图像磨皮的方法、装置、介质和电子设备

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
LIH-JEN KAU等: "An HSV Model-based Approach for the Sharpening", 《2013 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS》 *
TILL SIEBERTH等: "Automatic detection of blurred images in UAV image sets", 《ISPRS JOURNAL OF PHOTOGRAMMETRY AND REMOTE SENSING》 *
丛林: "图像渲染与展示的若干问题研究", 《中国博士学位论文全文数据库 信息科技辑》 *
徐少平等: "基于直觉模糊集的图像相似性度量", 《模式识别与人工智能》 *
李晓宾等: "基于色彩校正与分层块匹配的图像配准算法", 《计算机工程与设计》 *
郭倩: "低质图像增强算法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113947549A (zh) * 2021-10-22 2022-01-18 深圳国邦信息技术有限公司 自拍视频修饰道具边缘处理方法及相关产品
CN113947549B (zh) * 2021-10-22 2022-10-25 深圳国邦信息技术有限公司 自拍视频修饰道具边缘处理方法及相关产品
CN114972379A (zh) * 2022-05-26 2022-08-30 平安国际融资租赁有限公司 车辆图片背景模糊方法、装置、电子设备和可读介质
CN117522760A (zh) * 2023-11-13 2024-02-06 书行科技(北京)有限公司 图像处理方法、装置、电子设备、介质及产品
CN117522760B (zh) * 2023-11-13 2024-06-25 书行科技(北京)有限公司 图像处理方法、装置、电子设备、介质及产品

Also Published As

Publication number Publication date
CN113096022B (zh) 2022-12-30

Similar Documents

Publication Publication Date Title
CN111179282B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN112150399B (zh) 基于宽动态范围的图像增强方法及电子设备
WO2021036715A1 (zh) 一种图文融合方法、装置及电子设备
CN113810598B (zh) 一种拍照方法、电子设备及存储介质
CN113096022B (zh) 图像虚化处理方法、装置、存储介质与电子设备
CN112954251B (zh) 视频处理方法、视频处理装置、存储介质与电子设备
CN111552451B (zh) 显示控制方法及装置、计算机可读介质及终端设备
CN111161176B (zh) 图像处理方法及装置、存储介质和电子设备
US20220245778A1 (en) Image bloom processing method and apparatus, and storage medium
CN113810600A (zh) 终端的图像处理方法、装置和终端设备
CN112767295A (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN112700368A (zh) 图像处理方法、装置及电子设备
CN111462170A (zh) 运动估计方法、运动估计装置、存储介质与电子设备
CN111770282A (zh) 图像处理方法及装置、计算机可读介质及终端设备
CN112037157B (zh) 数据处理方法及装置、计算机可读介质及电子设备
CN116055894B (zh) 基于神经网络的图像去频闪方法和装置
CN115546858B (zh) 人脸图像处理方法和电子设备
CN113810622B (zh) 一种图像处理方法及设备
CN111294905B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN111626931B (zh) 图像处理方法、图像处理装置、存储介质与电子设备
CN113364964B (zh) 图像处理方法、图像处理装置、存储介质与终端设备
CN115706869A (zh) 终端的图像处理方法、装置和终端设备
CN116452437B (zh) 高动态范围图像处理方法及电子设备
CN117119314B (zh) 一种图像处理方法及相关电子设备
CN117132477A (zh) 图像处理方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant