CN112348738B - 图像优化方法、图像优化装置、存储介质与电子设备 - Google Patents
图像优化方法、图像优化装置、存储介质与电子设备 Download PDFInfo
- Publication number
- CN112348738B CN112348738B CN202011217337.XA CN202011217337A CN112348738B CN 112348738 B CN112348738 B CN 112348738B CN 202011217337 A CN202011217337 A CN 202011217337A CN 112348738 B CN112348738 B CN 112348738B
- Authority
- CN
- China
- Prior art keywords
- image
- processed
- target object
- information
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000005457 optimization Methods 0.000 title claims abstract description 121
- 238000000034 method Methods 0.000 title claims abstract description 77
- 238000012545 processing Methods 0.000 claims abstract description 25
- 230000001815 facial effect Effects 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 3
- 230000008569 process Effects 0.000 abstract description 25
- 210000001508 eye Anatomy 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 230000004927 fusion Effects 0.000 description 9
- 238000007499 fusion processing Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 6
- 239000003086 colorant Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000010295 mobile communication Methods 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 210000004209 hair Anatomy 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 206010011469 Crying Diseases 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Processing (AREA)
Abstract
本公开提供一种图像优化方法、图像优化装置、计算机可读存储介质与电子设备,涉及图像处理技术领域。该图像优化方法包括:获取待处理图像;识别所述待处理图像中的目标对象;从预设图像库中获取与所述目标对象相关联的参考图像;基于所述参考图像,对所述待处理图像进行优化处理,生成目标图像。本公开可以对待处理图像进行快速、有效的优化处理过程,且优化程度具有一定的标准化。
Description
技术领域
本公开涉及图像处理技术领域,尤其涉及一种图像优化方法、图像优化装置、计算机可读存储介质与电子设备。
背景技术
随着人们对拍照需求的不断提高,如何对拍摄图像进行优化,以呈现更好的图像显示效果,受到了业界的广泛关注。
现有技术中,为了在不同的应用场景下,使拍摄图像呈现出更好的显示效果,往往会采用ISP(Image Signal Processing,图像信号处理)技术,对图像进行还原或优化处理,但是针对包含相同对象的不同图像,其还原或优化的程度却难以保持一致,例如同一个人在不同的场景下,由于外界环境影响,人物肤色的差异性较大,而优化后的图像往往不能保证人物肤色优化程度的一致性。因此,如何采用简洁、有效的方式对图像进行处理,以对图像的显示效果进行标准化优化处理,是现有技术亟待解决的问题。
发明内容
本公开提供了一种图像优化方法、图像优化装置、计算机可读存储介质与电子设备,进而至少在一定程度上改善现有技术中图像优化程度不一致的问题。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供一种图像优化方法,包括:获取待处理图像;识别所述待处理图像中的目标对象;从预设图像库中获取与所述目标对象相关联的参考图像;基于所述参考图像,对所述待处理图像进行优化处理,生成目标图像。
根据本公开的第二方面,提供一种图像优化装置,包括:待处理图像获取模块,用于获取待处理图像;目标对象识别模块,用于识别所述待处理图像中的目标对象;参考图像获取模块,用于从预设图像库中获取与所述目标对象相关联的参考图像;目标图像生成模块,用于基于所述参考图像,对所述待处理图像进行优化处理,生成目标图像。
根据本公开的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述图像优化方法。
根据本公开的第四方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述图像优化方法。
本公开的技术方案具有以下有益效果:
根据上述图像优化方法、图像优化装置、计算机可读存储介质与电子设备,获取待处理图像;识别待处理图像中的目标对象;从预设图像库中获取与目标对象相关联的参考图像;基于参考图像,对待处理图像进行优化处理,生成目标图像。一方面,本示例性实施例提出一种新的图像优化方法,能够基于与目标对象相关联的参考图像对待处理图像进行优化过程,由于参考图像是基于待处理图像中的目标对象确定的,与待处理图像的优化需求具有较强的相关性和可参考性,能够使待处理图像的优化过程更加具有针对性;另一方面,对于包含相同或相似目标对象的待处理图像,由于优化过程均是基于由目标对象确定的参考图像进行的,因此,图像优化的一致性较高,具有较高的标准性;再一方面,本示例性实施例基于预设图像库中的参考图像,即能够实现对待处理图像的优化过程,流程较为简洁,且对硬件的要求较低,适用范围广泛。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本示例性实施方式的一种系统架构的示意图;
图2示出本示例性实施方式的电子设备的示意图;
图3示出本示例性实施方式的一种图像优化方法的流程图;
图4示出本示例性实施方式的一种图像优化方法的子流程图;
图5示出本示例性实施方式的一种对待处理图像进行亮度优化的流程图;
图6示出本示例性实施方式的一种对待处理图像进行局部优化的流程图;
图7示出本示例性实施方式的一种对待处理图像进行颜色优化的流程图;
图8示出本示例性实施方式的另一种图像优化方法的流程图;
图9示出本示例性实施方式的一种图像优化装置的结构框图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
图1示出了本公开示例性实施方式的一种系统架构的示意图。如图1所示,该系统架构100可以包括:终端110和服务器120。终端110可以是具有图像拍摄功能的各种电子设备,包括但不限于手机、平板电脑、数码相机、个人电脑等。应该理解,图1中的终端和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端和服务器。比如服务器120可以是多个服务器组成的服务器集群等。
本公开实施方式所提供的图像优化方法可以由终端110执行,例如在终端110拍摄图像后,直接通过终端本身对图像进行优化处理;也可以由服务器120执行,例如终端110拍摄图像后,上传到服务器120,使服务器120对图像进行优化处理等,本公开对此不做限定。
本公开的示例性实施方式提供一种用于实现图像优化方法的电子设备,其可以是图1中的终端110或服务器120。该电子设备至少包括处理器和存储器,存储器用于存储处理器的可执行指令,处理器配置为经由执行可执行指令来执行图像优化方法。电子设备可以以各种形式来实施,例如可以包括手机、平板电脑、笔记本电脑、个人数字助理(PersonalDigital Assistant,PDA)、导航装置、可穿戴设备、无人机等移动设备,以及台式电脑、智能电视等固定设备。
下面以图2中的移动终端200为例,对电子设备的构造进行示例性说明。本领域技术人员应当理解,除了特别用于移动目的的部件之外,图2中的构造也能够应用于固定类型的设备。在另一些实施方式中,移动终端200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出,并不构成对移动终端200的结构限定。在另一些实施方式中,移动终端200也可以采用与图2不同的接口连接方式,或多种接口连接方式的组合。
如图2所示,移动终端200具体可以包括:处理器210、内部存储器221、外部存储器接口222、USB接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏幕290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(Subscriber Identification Module,SIM)卡接口295等。
处理器210可以包括一个或多个处理单元,例如:处理器210可以包括应用处理器(Application Processor,AP)、图形处理器(Graphics Processing Unit,GPU)、图像信号处理器(Image Signal Processor,ISP)、编码器、解码器、数字信号处理器(DigitalSignal Processor,DSP)等。编码器可以对图像或视频数据进行编码(即压缩),形成码流数据;解码器可以对图像或视频的码流数据进行解码(即解压缩),以还原出图像或视频数据。
在一些实施方式中,处理器210可以包括一个或多个接口。接口可以包括集成电路(Inter-Integrated Circuit,I2C)接口、集成电路内置音频(Inter-Integrated CircuitSound,I2S)接口、脉冲编码调制(Pulse Code Modulation,PCM)接口等。通过不同的接口和移动终端200的其他部件形成连接。
USB接口230是符合USB标准规范的接口,具体可以是MiniUSB接口,MicroUSB接口,USBTypeC接口等。USB接口230可以用于连接充电器为移动终端200充电,也可以连接耳机,还可以用于移动终端200连接其他电子设备。充电管理模块240用于从充电器接收充电输入。充电管理模块240为电池242充电的同时,还可以通过电源管理模块241为设备供电。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入,为移动终端200的各个部分供电,还可以用于监测电池的状态。
移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动终端200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。移动通信模块250可以提供应用在移动终端200上的包括2G/3G/4G/5G等无线通信的解决方案。
无线通信模块260可以提供应用在移动终端200上的包括无线局域网(WirelessLocal Area Networks,WLAN)、蓝牙(Bluetooth,BT)、近距离无线通信技术(Near FieldCommunication,NFC)等无线通信解决方案。无线通信模块260可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块260经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器210。无线通信模块260还可以从处理器210接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。在一些实施方式中,移动终端200的天线1和移动通信模块250耦合,天线2和无线通信模块260耦合,使得移动终端200可以通过无线通信技术与网络以及其他设备通信。
移动终端200通过GPU、显示屏幕290及应用处理器等实现显示功能。GPU用于执行数学和几何计算,以实现图形渲染,并连接显示屏幕290和应用处理器。处理器210可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。移动终端200可以包括一个或多个显示屏幕290,用于显示图像,视频等。移动终端200可以通过ISP、摄像模组291、编码器、解码器、GPU、显示屏幕290及应用处理器等实现拍摄功能。
摄像模组291用于捕获静态图像或视频,通过感光元件采集光信号,转换为电信号。ISP用于处理摄像模组291反馈的数据,将电信号转换成数字图像信号。
外部存储器接口222可以用于连接外部存储卡,例如Micro SD卡,实现扩展移动终端200的存储能力。
内部存储器221可以用于存储计算机可执行程序代码,可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如图像,视频)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令,执行移动终端200的各种功能应用以及数据处理。
移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。音频模块270用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块270还可以用于对音频信号编码和解码。扬声器271,用于将音频电信号转换为声音信号。受话器272,用于将音频电信号转换成声音信号。麦克风273,用于将声音信号转换为电信号。耳机接口274用于连接有线耳机。
传感器模块280可以包括触摸传感器2801、压力传感器2802、陀螺仪传感器2803、气压传感器2804等。触摸传感器2801用于感应外部输入的触摸事件,其可以设置于显示屏幕290的下方,也可以设置于其他位置,还可以设置于移动终端200的配套外接设备。压力传感器2802用于感受压力信号,可以将压力信号转换成电信号,用于实现压力触控等功能。陀螺仪传感器2803可以用于确定移动终端200的运动姿态,可用于拍摄防抖、导航、体感游戏等场景。气压传感器2804用于测量气压,可通过计算海拔高度,辅助定位和导航。此外,根据实际需要,还可以在传感器模块280中设置其他功能的传感器,例如深度传感器、加速度传感器、距离传感器等。
指示器292可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。马达293可以产生振动提示,例如来电、闹钟、接收信息等的振动提示,也可以用于触摸振动反馈等。按键294包括开机键,音量键等。按键294可以是机械按键。也可以是触摸式按键。移动终端200可以接收按键输入,产生与移动终端200的用户设置以及功能控制有关的键信号输入。
移动终端200可以支持一个或多个SIM卡接口295,用于连接SIM卡,使移动终端200通过SIM卡和网络交互,实现通话以及数据通信等功能。
下面对本公开示例性实施方式的图像优化方法和图像优化装置进行具体说明。图3示出了本示例性实施方式中一种图像优化方法的流程,包括以下步骤S310~S340:
步骤S310,获取待处理图像。
其中,待处理图像是指需要进行图像优化的图像,其可以是多种类型的图像,例如人物图像、动物图像、风景图像或建筑物图像等等。在本示例性实施例中,待处理图像可以由终端设备所配置的摄像头或图像传感器实时采集得到,例如通过手机摄像头直接拍摄包含人脸的图像,作为待处理图像;也可以从其他特定的图像源处获取,例如从本地已存储的图像中或历史拍摄的图像中获取,再或者从云端或网络上下载得到等。
步骤S320,识别待处理图像中的目标对象。
其中,目标对象是指待处理图像中所包含的特定拍摄对象,例如人物图像中包含的人脸,动物图像中所包含的动物,风景图像中的植物或建筑图像中的建筑物等。在本示例性实施例中,可以通过从待处理图像中提取特定的图像特征,例如颜色特征、纹理特征、形状特征或空间关系特征等,来识别待处理图像中的目标对象。具体的,图像特征的提取方式可以有多种,例如可以采用多个哈尔(Haar)特征模板在待处理图像上进行遍历,确定特征值,以提取对应的图像特征等。本公开对于图像特征的提取方式,不做具体限定。
步骤S330,从预设图像库中获取与目标对象相关联的参考图像。
在本示例性实施例中,参考图像是指与待处理图像具有关联的图像,例如与待处理图像包含同一个人的人物图像,或者与待处理图像包含相似场景的风景图像或建筑图像等。预设图像库则是指用于存储参考图像的图像数据库,其可以是终端本地的图像数据库,例如终端中用于存储历史拍摄图像的相册;也可以是非终端本地的其他图像数据库,例如云端的相册等等。在本示例性实施例中,参考图像可以是一张,例如在相册中获取与目标对象关联度最高的图像,作为参考图像;也可以是多张,例如在相册中获取与目标对象具有关联度的所有图像,将这些图像都作为参考图像,或者基于这些图像确定一张或多张参考图像等等。
在一示例性实施例中,上述步骤S320可以包括以下步骤:
从待处理图像中提取特征信息;
根据特征信息确定待处理图像中的目标对象。
其中,特征信息是指能够反映目标对象特征的数据信息,根据目标对象的不同,特征信息具有差异性。例如待处理图像是包含人脸的人物图像,特征信息可以是能够反映人物脸部特征的信息,例如人脸的脸部形状、五官形状、五官结构、脸部亮度、脸部肤色、脸部纹理、脸部朝向或脸部大小等信息;或者待处理图像是包含植物的风景图像,特征信息可以是能够反映植物特征的信息,例如纹理、颜色或结构等。进一步的,根据上述特征信息,可以确定待处理图像中是否包含目标对象,并对其进行有效识别,例如确定当前的待处理图像中是否包含人,是哪一个人等。
进一步的,如图4所示,上述步骤S330可以包括以下步骤:
步骤S410,基于特征信息,在预设图像库中查找候选图像;
步骤S420,根据候选图像中的场景信息和/或目标对象的状态信息,获取参考图像。
其中,候选图像是指预设图像库中,可能与待处理图像具有关联关系的图像,例如不同拍摄场景下的多张拍摄图像中所包含的拍摄人物,与待处理图像中所包含的人物相同,则这多张拍摄图像可以作为候选图像;或者多张图像中包含的建筑物或植物,与待处理图像中所包含的建筑物或植物相似,则这多张图像也可以作为候选图像等。本示例性实施例可以基于从待处理图像中提取的特征信息,在预设图像库中的图像进行查找,确定符合要求的候选图像,具体的,可以通过将待处理图像中的特征信息和预设图像库中的特征信息进行比对或匹配计算,将匹配度高于预设阈值的图像作为候选图像等。然后可以通过候选图像中的场景信息和/或目标对象的状态信息,进一步,确定用于对待处理图像进行优化处理的参考图像。从候选图像确定参考图像的过程,可以视为对候选图像进行筛选的过程,以确定最适合用于进行优化处理的图像。其中,候选图像的场景信息可以反映图像所表现的场景特征,例如拍摄场景为晴天、雨天、海边室内拍摄或室外拍摄时,其光线状态或色温具有差异,对应场景下的特征数据即为场景信息。目标对象的状态信息可以是能够反映目标对象状态的数据信息,例如当目标对象为人时,状态信息可以是指人物的运动状态、脸部的转动角度等等。通过场景信息、目标对象的状态信息,或者场景信息和目标对象的状态信息,可以根据候选图像确定最符合要求的参考图像。
在实际应用中,目标对象处于不同的状态所呈现的图像具有一定的差异性,例如特写人物图像中呈现的人脸,与远距离人物图像中呈现的人脸,肤色差异较大;或者同一人在不同脸部转动角度下拍摄的人脸,脸部大小或肤色也会具有差异。本示例性实施例特别可以应用于包含人脸的待处理图像进行优化的场景中,则在一示例性实施例中,上述特征信息可以包括脸部信息,对应的,状态信息可以是指脸部角度、脸部尺寸、脸部位置、脸部结构中的一种或多种。其中,脸部角度,即人脸相对于某一基准方向进行转动的角度。脸部尺寸,即人脸大小,根据摄像头拍摄时距离人物的拍摄远近的不同,脸部在图像中所呈现的尺寸大小具有差异,所呈现的拍摄效果也就不同,例如离得远时,脸部尺寸占比较小,光线较暗,离得近时,脸部尺寸占比较大,光线较明等。脸部位置是指人脸在图像中的位置,不同的位置所呈现的人脸状态会具有差异。另外,不同的脸部结构可以反映人物脸部不同的状态,例如人的面部表情在微笑和哭泣两种状态下,其脸部的结构是不同的。本示例性实施例可以基于上述状态信息,准确有效的确定参考图像。
具体的,在一示例性实施例中,上述获取参考图像的步骤S420可以包括以下步骤:
将待处理图像中的场景信息分别与候选图像中的场景信息进行匹配,和/或将待处理图像中目标对象的状态信息分别与候选图像中目标对象的状态信息进行匹配;
根据匹配结果从候选图像中确定参考图像。
本示例性实施例可以将待处理图像中的场景信息,或者目标对象的状态信息,或者候选图像中的场景信息和目标对象的状态信息,分别与候选图像对应的信息进行匹配,具体的匹配过程,可以通过计算特征点的相似度实现,当匹配度超过预设阈值时,说明待处理图像与该候选图像的匹配度较高,可以将该候选图像作为参考图像,预设阈值的设定可以根据需求进行自定义设置,可以将匹配度最高的某一候选图像作为参考图像,也可以将超过预设阈值的多张图像作为参考图像,本公开对此不做具体限定。
在一示例性实施例中,上述获取参考图像的步骤S420可以包括以下步骤:
根据候选图像中的场景信息和/或目标对象的状态信息,建立目标对象的参考模型;
基于待处理图像中的场景信息和/或目标对象的状态信息,从参考模型中提取参考图像。
在本示例性实施例中,可以基于已确定的候选图像,根据其场景信息,目标对象的状态信息,或者场景信息和目标对象的状态信息进行建模,还原一个理想的目标对象的参考模型,该参考模型可以表现不同场景,或不同的状态下的目标对象,例如根据同一人物在不同场景、不同表情、不同动作等状态下的多张候选图像,提取其场景信息和状态信息,生成参考模型,从该参考模型中可以调用该人物在多种状态下的数据。进一步的,本示例性实施例可以基于该参考模型,确定与当前待处理图像中的场景信息和/或目标对象的状态信息相匹配的参考图像,也即从参考模型中获取符合当前优化需求的参考图像,例如基于参考模型,提取当场景信息为晴天、海边时光线、色温等数据,人物状态信息为面对摄像头侧脸90度时的参考图像等等。
步骤S340,基于参考图像,对待处理图像进行优化处理,生成目标图像。
目标图像是指对待处理图像进行优化处理后的图像,在实际应用中,优化处理过程可以在拍摄过程中实时进行,对拍摄图像直接进行处理,并覆盖原有拍摄图像进行存储;也可以在具有优化需求时自主进行优化处理过程,生成新的图像与原图像共同存储于图像数据库中。在本示例性实施例中,对待处理图像进行优化处理的方法可以包括多种。具体的,优化可以是指丰富待处理图像的表现细节,例如对人脸的肤质或纹理进行优化;或者对待处理图像的亮度等参数进行调节,例如对过曝区域或者欠曝区域进行亮度调节;或者对待处理图像的颜色进行调整,例如对人物图像的肤色进行调整;再或者,根据目标对象的不同,还能对待处理图像进行其他的优化处理过程,例如待处理图像包含人物脸部时,对拍摄时人物五官表现不佳的局部区域进行局部优化,对眯眼或眨眼等局部区域进行校正等等。需要说明的是,本示例性实施例对待处理图像进行优化时,可以仅进行一类优化过程,例如仅调整待处理图像的亮度;也可以进行多类优化过程的组合,例如既调整待处理图像的亮度,还丰富待处理图像的表现细节,还可以对局部区域进行校正等等。
本示例性实施例可以将待处理图像中需要进行优化的区域与参考图像中的对应区域进行融合处理,以对待处理图像进行优化。融合处理可以是,直接将参考图像中的对应区域,替换至待处理图像中需要进行优化的区域;也可以是根据待处理图像中需要进行优化的区域,和参考图像中的对应区域,进行像素点的融合计算,确定优化后的区域像素,填充至待处理图像中需要进行优化的区域等,融合处理可以包括多种方式,本公开对此不做具体限定。
综上,本示例性实施方式中,获取待处理图像;识别待处理图像中的目标对象;从预设图像库中获取与目标对象相关联的参考图像;基于参考图像,对待处理图像进行优化处理,生成目标图像。一方面,本示例性实施例提出一种新的图像优化方法,能够基于与目标对象相关联的参考图像对待处理图像进行优化过程,由于参考图像是基于待处理图像中的目标对象确定的,与待处理图像的优化需求具有较强的相关性和可参考性,能够使待处理图像的优化过程更加具有针对性;另一方面,对于包含相同或相似目标对象的待处理图像,由于优化过程均是基于由目标对象确定的参考图像进行的,因此,图像优化的一致性较高,具有较高的标准性;再一方面,本示例性实施例基于预设图像库中的参考图像,即能够实现对待处理图像的优化过程,流程较为简洁,且对硬件的要求较低,适用范围广泛。
在一示例性实施例中,上述步骤S340中,基于参考图像,对待处理图像进行优化处理,可以包括:
基于参考图像,对待处理图像进行亮度优化。
实际应用中,考虑到待处理图像可能出现过曝或欠曝的情况,本示例性实施例可以基于参考图像对待处理图像的亮度进行优化,具体可以是对待处理图像整体进行亮度优化,也可以是对待处理图像的局部进行亮度优化,例如对待处理图像中目标对象所在区域进行亮度优化,以使待处理图像呈现出较好的显示效果。
具体的,在一示例性实施例中,如图5所示,上述基于参考图像,对待处理图像进行亮度优化,可以包括以下步骤:
步骤S510,检测待处理图像中目标对象所在区域内的过曝区域;
步骤S520,在参考图像中确定与过曝区域对应的填充区域;
步骤S530,融合过曝区域与填充区域,并以融合后的区域替换待处理图像中的过曝区域。
特别的,当待处理图像中目标对象所在区域出现过曝时,可以对待处理图像的局部区域进行亮度优化。具体过程可以包括,先在待处理图像中检测目标对象所在的区域,然后判断该区域的亮度是否超过预设阈值,当超过预设阈值时,认为目标对象所在的区域出现过曝的现象,需要进行亮度优化。需要说明的是,目标对象所在的区域可以是目标对象所在的像素点区域,也可以是包含目标对象在内的一预设区域范围等。确定过曝区域后,即可以将过曝区域视为待处理图像中需要进行亮度优化的区域,然后在参考图像中确定与过曝区域对应的填充区域,例如当确定某一人物图像中人脸区域为过曝区域,则参考图像中所包含的人物对应的人脸区域将作为填充区域。进一步的,通过对过曝区域和填充区域进行融合,并将融合后的区域替换待处理图像中的过曝区域,以完成待处理图像中过曝区域的亮度优化。
在一示例性实施例中,上述步骤S530中,融合填充区域与过曝区域,可以包括以下步骤:
根据过曝区域中每个像素点的亮度,确定每个像素点的权重;
利用每个像素点的权重,对过曝区域与填充区域中的每个像素点进行加权,以融合过曝区域与填充区域。
本示例性实施例可以对过曝区域中的每个像素点,与填充区域中对应像素点进行加权计算,确定优化后的区域的像素点,以实现填充区域与过曝区域的融合。其中,过曝区域的像素点的权重可以基于多种因素进行定义,例如可以根据亮度参数进行权重分配,待处理图像中亮度越高的像素点,权重越低,相对的,填充区域对应的像素点的权重越高;反之亦然。融合后,还可以对其局部亮度进行再次调整,以提升局部对比度。
在一示例性实施例中,在上述步骤S530,融合过曝区域与填充区域前,图像优化处理方法还可以包括:
基于待处理图像的亮度,对填充区域的亮度进行调整。
为了更加有效、准确的对待处理图像的亮度进行调整,在融合过曝区域与填充区域之前,本示例性实施例还可以先对填充区域的亮度进行调整,将其调整至一基准水平,该基准水平可以是预先设置的亮度值,例如通用情况下图像正常显示的亮度水平;也可以结合当前待处理图像的实际需求进行调整,例如待处理图像中目标对象所在区域为过曝区域,需要进行亮度调整,在确定参考图像中对应的填充区域后,可以将该填充区域的亮度调整至待处理图像中目标对象所在区域附近未出现过曝现象的区域的亮度水平,进一步,再执行区域融合的过程,以提高融合效率和图像优化的准确性。
在一示例性实施例中,上述步骤S340中,基于参考图像,对待处理图像进行优化处理,可以包括:
基于参考图像,对待处理图像进行局部优化。
考虑到待处理图像中可能存在局部显示效果不佳,或细节表现不足的情况,例如人物图像中毛发区域由于高频信息较少,不能呈现更好的真实感和立体感;或者由于人物出现眨眼或闭眼的情况,影响整体图像的显示效果。本示例性实施例还可以基于参考图像,对待处理图像进行局部优化。
具体的,在一示例性实施例中,如图6所示,上述基于参考图像,对待处理图像进行局部优化,可以包括以下步骤:
步骤S610,将待处理图像中目标对象所在区域划分为多个第一图像块;
步骤S620,在参考图像中确定与第一图像块对应的第二图像块;
步骤S630,当第一图像块的图像频率低于对应的第二图像块时,利用第二图像块对第一图像块进行优化。
本示例性实施例可以对待处理图像中目标对象所在的区域进行局部优化,具体的,可以先将目标对象所在的区域划分为多个子区域,即划分为多个第一图像块,例如待处理图像为人物图像,目标对象所在的区域为人脸区域,对人脸区域进行划分后,可以得到眼睛区域、鼻子区域、嘴巴区域、脸颊区域等多个第一图像块。需要说明的是,多个第一图像块的划分标准,及图像块的尺寸大小,可以相同,也可以不同,本公开对此不做具体限定。然后在参考图像中确定与第一图像块对应的第二图像块,例如在参考图像的人脸区域确定对应的眼睛区域、鼻子区域、嘴巴区域、脸颊区域等多个第二图像块。进一步的,可以通过对比待处理图像中的第一图像块与对应的第二图像块的图像频率,对待处理图像进行局部优化。其中,图像频率可以反映图像细节表现的丰富度,例如高频的人物图像相比于低频的人物图像,头发、睫毛、肤质等方面可以具有更好的显示效果。因此,若第一图像块的图像频率低于对应的第二图像块,则说明第二图像块的图像表现效果更好,此时,可以利用第二图像块对第一图像块进行优化。
在一示例性实施例中,上述步骤S630中,利用第二图像块对第一图像块进行优化,可以包括:
融合第一图像块与第二图像块,并以融合后的图像块替换待处理图像中的第一图像块。
在本示例性实施例中,当确定第二图像块的图像频率高于第一图像块时,可以直接采用第二图像块替换对应的第一图像块,以融合第一图像块与第二图像块,例如参考图像中人脸部的眼睛区域的图像频率高于待处理图像中的人脸部的眼睛区域的图像频率,则可以直接采用参考图像中眼睛区域的第二图像块替换待处理图像中眼睛区域的第一图像块完成对眼睛区域的局部优化。另外,也可以对第一图像块与第二图像块的像素点进行计算,得到融合后的图像块,并以融合后的图像块替换待处理图像中的第一图像块,以完成第一图像块与第二图像块的融合等等。
在一示例性实施例中,上述基于参考图像,对待处理图像进行局部优化,可以包括以下步骤:
从待处理图像中提取目标对象的预设部位子图像;
当判断待处理图像中的预设部位子图像满足预定条件时,利用参考图像中的预设部位子图像对待处理图像中的预设部位子图像进行优化。
其中,预设部位子图像可以是目标对象的特定区域图像,其根据目标对象的不同具有差异,例如当目标对象为人时,预设部位子图像可以是眼睛区域的图像、鼻子区域的图像、嘴巴区域的图像等。本示例性实施例通过对预设部位子图像是否满足预定条件的判断,确定当前是否需要进行图像局部优化的过程。预定条件根据预设部位子图像的不同可以包括多种,例如当预设部位子图像为眼部子图像时,预定条件可以是眨眼图像或闭眼图像;当预设部位子图像为嘴巴子图像时,预定条件可以是嘴巴张开的大小超过预设尺寸,或者嘴唇运动模糊程度达到一定程度等。
特别的,本示例性实施例可以应用于,当待处理图像为包含人脸的人物图像,人物表现效果欠佳,例如出现眨眼或闭眼时,需要对待处理图像进行局部优化的应用场景中,则上述预设部位子图像可以包括眼部子图像,上述判断待处理图像中的预设部位子图像满足预定条件,可以包括:
判断待处理图像中的眼部子图像为闭眼图像。
即当检测到待处理图像中眼部子图像为闭眼图像时,可以认为当前待处理图像需要进行局部优化处理,具体的,可以将参考图像中对应的睁眼状态的眼睛区域与待处理图像中闭眼状态的眼睛区域进行替换或融合处理,以实现待处理图像的局部优化。
在一示例性实施例中,上述步骤S340中,基于参考图像,对待处理图像进行优化处理,可以包括:
基于参考图像,对待处理图像进行颜色优化。
本示例性实施例还可以根据待处理图像具体所包含的内容进行颜色优化,例如当待处理图像为人物图像时,可以对人物的肤色进行颜色优化;或者当待处理图像为风景图像时,可以对其中所包含的植物进行颜色优化等,以使待处理图像能够呈现出更好的图像显示效果。需要说明的是,在本示例性实施例中,参考图像可以是从与待处理图像具有关联关系的多张候选图像中确定得到;也可以是根据多种候选图像进行建模,先确定一理想的参考模型,再根据该参考模型确定得到。基于不同类型的参考图像,待处理图像的颜色优化方法可以包括多种,例如若参考图像为从多张候选图像中确定得到的图像,则可以通过融合参考图像和待处理图像中对应的颜色得到优化后的颜色,基于优化后的颜色调整待处理图像的颜色;若参考图像为基于参考模型确定的图像,则可以通过结合参考模型的场景信息和状态信息,确定当前待处理图像实际所需要的颜色数据,通过调用该颜色数据,对待处理图像进行颜色优化等。
具体的,在一示例性实施例中,如图7所示,上述对待处理图像进行颜色优化,可以包括以下步骤:
步骤S710,从待处理图像中提取目标对象的背景颜色,得到第一颜色集合;
步骤S720,从参考图像中提取目标对象的背景颜色,得到第二颜色集合;
步骤S730,融合第一颜色集合与第二颜色集合,得到第三颜色集合;
步骤S740,根据第三颜色集合对待处理图像进行颜色调整。
由于待处理图像中包含目标对象,在进行颜色优化时,可以根据目标对象的实际需要进行待处理图像的颜色优化过程,例如待处理图像为人物图像,可以对待处理图像中所包含的人物的肤色进行颜色优化。具体的,在进行颜色优化时,本示例性实施例可以以目标对象为基准,分别提取待处理图像中目标对象的背景颜色,即第一颜色集合,和参考图像中目标对象的背景颜色,即第二颜色集合。其中,背景颜色是指需要进行颜色优化的区域的颜色,例如人物图像中皮肤区域的颜色,可以作为目标对象的背景颜色。进一步,通过融合第一颜色集合和第二颜色集合,可以得到用于调整待处理图像颜色的第三颜色集合。上述融合过程可以根据需要进行权重的配置,例如对第二颜色集合赋予较高的权重,对第一颜色集合赋予较低的权重等。具体的权重的分配可以考虑多种因素,例如按照白平衡色温,对待处理图像的白平衡色温与参考图像的白平衡色温进行对比,色温越相近,融合的权重越大等。需要说明的是,为了有效提取目标对象的背景颜色,本示例性实施例还可以在提取待处理图像中目标对象的背景颜色,或者参考图像中目标对象的背景颜色时,设置过滤条件,例如在提取人物图像中人物的肤色时,可以将除人物肤色的所有其他颜色转到Lab色彩空间,过滤去除明显不是肤色部分的颜色,例如口红、眼睛、口罩或墨镜等多种干扰因子的颜色。
图8示出了本示例性实施例中另一种图像优化方法的流程图,具体可以包括以下步骤:步骤S810,通过终端设备配置的摄像头拍摄待处理图像;步骤S820,从待处理图像中提取特征信息,以识别待处理图像中的目标对象;步骤S830,从预设图像库中获取与目标对象相关联的参考图像;步骤S840,基于参考图像,对待处理图像进行亮度优化;步骤S850,基于参考图像,对待处理图像进行局部优化;步骤S860,基于参考图像,对待处理图像进行颜色优化;步骤S870,生成目标图像。
其中,上述步骤S840、S850、S860中对待处理图像进行亮度优化、局部优化或颜色优化的过程可以是分别进行的三种图像融合过程,也可以是同时进行的多种组合的融合过程,例如既对待处理图像的亮度进行优化,也对待处理图像的颜色进行优化等。
本公开的示例性实施方式还提供一种图像优化装置。如图9所示,该图像优化装置900可以包括:待处理图像获取模块910,用于获取待处理图像;目标对象识别模块920,用于识别待处理图像中的目标对象;参考图像获取模块930,用于从预设图像库中获取与目标对象相关联的参考图像;目标图像生成模块940,用于基于参考图像,对待处理图像进行优化处理,生成目标图像。
在一示例性实施例中,目标对象识别模块包括:特征信息提取单元,用于从待处理图像中提取特征信息;目标对象确定单元,用于根据特征信息确定待处理图像中的目标对象。
在一示例性实施例中,参考图像获取模块包括:候选图像查找单元,用于基于特征信息,在预设图像库中查找候选图像;参考图像获取单元,用于根据候选图像中的场景信息和/或目标对象的状态信息,获取参考图像。
在一示例性实施例中,参考图像获取单元包括:信息匹配子单元,用于将待处理图像中的场景信息分别与候选图像中的场景信息进行匹配,和/或将待处理图像中目标对象的状态信息分别与候选图像中目标对象的状态信息进行匹配;参考图像确定子单元,用于根据匹配结果从候选图像中确定参考图像。
在一示例性实施例中,参考图像获取单元包括:模型建立子单元,用于根据候选图像中的场景信息和/或目标对象的状态信息,建立目标对象的参考模型;参考图像提取子单元,用于基于待处理图像中的场景信息和/或目标对象的状态信息,从参考模型中提取参考图像。
在一示例性实施例中,特征信息包括脸部信息;状态信息包括脸部角度、脸部尺寸、脸部位置、脸部结构中的一种或多种。
在一示例性实施例中,目标图像生成模块包括:亮度优化单元,用于基于参考图像,对待处理图像进行亮度优化。
在一示例性实施例中,亮度优化单元包括:过曝区域检测子单元,用于检测待处理图像中目标对象所在区域内的过曝区域;填充区域确定子单元,用于在参考图像中确定与过曝区域对应的填充区域;区域融合子单元,用于融合过曝区域与填充区域,并以融合后的区域替换待处理图像中的过曝区域。
在一示例性实施例中,区域融合子单元包括:权重确定子单元,用于根据过曝区域中每个像素点的亮度,确定每个像素点的权重;区域融合子单元,用于利用每个像素点的权重,对过曝区域与填充区域中的每个像素点进行加权,以融合过曝区域与填充区域。
在一示例性实施例中,图像优化装置还包括:亮度调整模块,用于在融合过曝区域与填充区域前,基于待处理图像的亮度,对填充区域的亮度进行调整。
在一示例性实施例中,目标图像生成模块包括:局部优化单元,用于基于参考图像,对待处理图像进行局部优化。
在一示例性实施例中,局部优化单元包括:第一图像块划分子单元,用于将待处理图像中目标对象所在区域划分为多个第一图像块;第二图像块划分子单元,用于在参考图像中确定与第一图像块对应的第二图像块;图像块优化子单元,用于当第一图像块的图像频率低于对应的第二图像块时,利用第二图像块对第一图像块进行优化。
在一示例性实施例中,图像块优化子单元包括:图像块替换子单元,用于融合第一图像块与第二图像块,并以融合后的图像块替换待处理图像中的第一图像块。
在一示例性实施例中,局部优化单元包括:子图像提取子单元,用于从待处理图像中提取目标对象的预设部位子图像;条件判断子单元,用于当判断待处理图像中的预设部位子图像满足预定条件时,利用参考图像中的预设部位子图像对待处理图像中的预设部位子图像进行优化。
在一示例性实施例中,预设部位子图像包括眼部子图像;条件判断子单元,用于当判断待处理图像中的眼部子图像为闭眼图像时,利用参考图像中的预设部位子图像对待处理图像中的预设部位子图像进行优化。
在一示例性实施例中,目标图像生成模块包括:颜色优化单元,用于基于参考图像,对待处理图像进行颜色优化。
在一示例性实施例中,颜色优化单元包括:第一颜色集合提取子单元,用于从待处理图像中提取目标对象的背景颜色,得到第一颜色集合;第二颜色集合提取子单元,用于从参考图像中提取目标对象的背景颜色,得到第二颜色集合;颜色融合子单元,用于融合第一颜色集合与第二颜色集合,得到第三颜色集合;颜色调整子单元,用于根据第三颜色集合对待处理图像进行颜色调整。
上述装置中各模块的具体细节在方法部分实施方式中已经详细说明,未披露的细节内容可以参见方法部分的实施方式内容,因而不再赘述。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
本公开的示例性实施方式还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤,例如可以执行图3、图4、图5、图6图7或图8中任意一个或多个步骤。
本公开的示例性实施方式还提供了了一种用于实现上述方法的程序产品,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施方式。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限定。
Claims (17)
1.一种图像优化方法,其特征在于,包括:
获取待处理图像;
从所述待处理图像中提取特征信息;
根据所述特征信息确定所述待处理图像中的目标对象;
从预设图像库中获取与所述目标对象相关联的参考图像;
基于所述参考图像,对所述待处理图像进行优化处理,生成目标图像;
所述从预设图像库中获取与所述目标对象相关联的参考图像,包括:
基于所述特征信息,在预设图像库中查找候选图像;
根据所述候选图像中的场景信息和/或所述目标对象的状态信息,获取所述参考图像;所述场景信息为反映图像所表现的场景特征的场景特征数据,所述场景信息包括拍摄场景、光线状态或色温对应场景下的特征数据;所述状态信息为反映所述目标对象的状态的数据信息,当所述目标对象为人时,状态信息包括脸部角度、脸部尺寸、脸部位置、脸部结构中的一种或多种;
所述根据所述候选图像中的场景信息和/或所述目标对象的状态信息,获取所述参考图像,包括:
根据所述候选图像中的场景信息和/或所述目标对象的状态信息,进行建模,以建立理想的所述目标对象的参考模型;
基于所述待处理图像中的场景信息和/或所述目标对象的状态信息,从所述参考模型中提取符合所述场景信息和/或状态信息的参考图像;
其中,所述参考模型用于表现不同场景和/或不同状态下的目标对象;所述参考模型用于被从其中调用所述目标对象在不同状态下的场景信息和/或状态信息。
2.根据权利要求1所述的方法,其特征在于,所述根据所述候选图像中的场景信息和/或所述目标对象的状态信息,获取所述参考图像,包括:
将所述待处理图像中的场景信息分别与所述候选图像中的场景信息进行匹配,和/或将所述待处理图像中所述目标对象的状态信息分别与所述候选图像中所述目标对象的状态信息进行匹配;
根据匹配结果从所述候选图像中确定所述参考图像。
3.根据权利要求1所述的方法,其特征在于,所述特征信息包括脸部信息;所述状态信息包括脸部角度、脸部尺寸、脸部位置、脸部结构中的一种或多种。
4.根据权利要求1所述的方法,其特征在于,所述基于所述参考图像,对所述待处理图像进行优化处理,包括:
基于所述参考图像,对所述待处理图像进行亮度优化。
5.根据权利要求4所述的方法,其特征在于,所述基于所述参考图像,对所述待处理图像进行亮度优化,包括:
检测所述待处理图像中所述目标对象所在区域内的过曝区域;
在所述参考图像中确定与所述过曝区域对应的填充区域;
融合所述过曝区域与所述填充区域,并以融合后的区域替换所述待处理图像中的所述过曝区域。
6.根据权利要求5所述的方法,其特征在于,所述融合所述填充区域与所述过曝区域,包括:
根据所述过曝区域中每个像素点的亮度,确定所述每个像素点的权重;
利用所述每个像素点的权重,对所述过曝区域与所述填充区域中的每个像素点进行加权,以融合所述过曝区域与所述填充区域。
7.根据权利要求5所述的方法,其特征在于,在融合所述过曝区域与所述填充区域前,所述方法还包括:
基于所述待处理图像的亮度,对所述填充区域的亮度进行调整。
8.根据权利要求1所述的方法,其特征在于,所述基于所述参考图像,对所述待处理图像进行优化处理,包括:
基于所述参考图像,对所述待处理图像进行局部优化。
9.根据权利要求8所述的方法,其特征在于,所述基于所述参考图像,对所述待处理图像进行局部优化,包括:
将所述待处理图像中所述目标对象所在区域划分为多个第一图像块;
在所述参考图像中确定与所述第一图像块对应的第二图像块;
当所述第一图像块的图像频率低于对应的所述第二图像块时,利用所述第二图像块对所述第一图像块进行优化。
10.根据权利要求9所述的方法,其特征在于,所述利用所述第二图像块对所述第一图像块进行优化,包括:
融合所述第一图像块与所述第二图像块,并以融合后的图像块替换所述待处理图像中的所述第一图像块。
11.根据权利要求8所述的方法,其特征在于,所述基于所述参考图像,对所述待处理图像进行局部优化,包括:
从所述待处理图像中提取所述目标对象的预设部位子图像;
当判断所述待处理图像中的所述预设部位子图像满足预定条件时,利用所述参考图像中的预设部位子图像对所述待处理图像中的所述预设部位子图像进行优化。
12.根据权利要求11所述的方法,其特征在于,所述预设部位子图像包括眼部子图像;
所述判断所述待处理图像中的所述预设部位子图像满足预定条件,包括:
判断所述待处理图像中的所述眼部子图像为闭眼图像。
13.根据权利要求1所述的方法,其特征在于,所述基于所述参考图像,对所述待处理图像进行优化处理,包括:
基于所述参考图像,对所述待处理图像进行颜色优化。
14.根据权利要求13所述的方法,其特征在于,所述基于所述参考图像,对所述待处理图像进行颜色优化,包括:
从所述待处理图像中提取所述目标对象的背景颜色,得到第一颜色集合;
从所述参考图像中提取所述目标对象的背景颜色,得到第二颜色集合;
融合所述第一颜色集合与所述第二颜色集合,得到第三颜色集合;
根据所述第三颜色集合对所述待处理图像进行颜色调整。
15.一种图像优化装置,其特征在于,包括:
待处理图像获取模块,用于获取待处理图像;
目标对象识别模块,用于从所述待处理图像中提取特征信息;根据所述特征信息确定所述待处理图像中的目标对象;
参考图像获取模块,用于从预设图像库中获取与所述目标对象相关联的参考图像;
目标图像生成模块,用于基于所述参考图像,对所述待处理图像进行优化处理,生成目标图像;
所述参考图像获取模块,被配置为:
基于所述特征信息,在预设图像库中查找候选图像;
根据所述候选图像中的场景信息和/或所述目标对象的状态信息,获取所述参考图像;所述场景信息为反映图像所表现的场景特征的场景特征数据,所述场景信息包括拍摄场景、光线状态或色温对应场景下的特征数据;所述状态信息为反映所述目标对象的状态的数据信息,当所述目标对象为人时,状态信息包括脸部角度、脸部尺寸、脸部位置、脸部结构中的一种或多种;
所述根据所述候选图像中的场景信息和/或所述目标对象的状态信息,获取所述参考图像,被配置为:
根据所述候选图像中的场景信息和/或所述目标对象的状态信息,进行建模,以建立理想的所述目标对象的参考模型;
基于所述待处理图像中的场景信息和/或所述目标对象的状态信息,从所述参考模型中提取符合所述场景信息和/或状态信息的参考图像;
其中,所述参考模型用于表现不同场景和/或不同状态下的目标对象;所述参考模型用于被从其中调用所述目标对象在不同状态下的场景信息和/或状态信息。
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至14任一项所述的方法。
17.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1至14任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011217337.XA CN112348738B (zh) | 2020-11-04 | 2020-11-04 | 图像优化方法、图像优化装置、存储介质与电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011217337.XA CN112348738B (zh) | 2020-11-04 | 2020-11-04 | 图像优化方法、图像优化装置、存储介质与电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112348738A CN112348738A (zh) | 2021-02-09 |
CN112348738B true CN112348738B (zh) | 2024-03-26 |
Family
ID=74429711
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011217337.XA Active CN112348738B (zh) | 2020-11-04 | 2020-11-04 | 图像优化方法、图像优化装置、存储介质与电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112348738B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113259597B (zh) * | 2021-07-16 | 2021-11-02 | 上海豪承信息技术有限公司 | 图像处理方法、装置、设备、介质及程序产品 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107945135A (zh) * | 2017-11-30 | 2018-04-20 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
CN109246354A (zh) * | 2018-09-07 | 2019-01-18 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN109919866A (zh) * | 2019-02-26 | 2019-06-21 | Oppo广东移动通信有限公司 | 图像处理方法、装置、介质及电子设备 |
CN110163806A (zh) * | 2018-08-06 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置以及存储介质 |
CN111063008A (zh) * | 2019-12-23 | 2020-04-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
-
2020
- 2020-11-04 CN CN202011217337.XA patent/CN112348738B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107945135A (zh) * | 2017-11-30 | 2018-04-20 | 广东欧珀移动通信有限公司 | 图像处理方法、装置、存储介质和电子设备 |
CN110163806A (zh) * | 2018-08-06 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 一种图像处理方法、装置以及存储介质 |
CN109246354A (zh) * | 2018-09-07 | 2019-01-18 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN109919866A (zh) * | 2019-02-26 | 2019-06-21 | Oppo广东移动通信有限公司 | 图像处理方法、装置、介质及电子设备 |
CN111063008A (zh) * | 2019-12-23 | 2020-04-24 | 北京达佳互联信息技术有限公司 | 一种图像处理方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN112348738A (zh) | 2021-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111476911B (zh) | 虚拟影像实现方法、装置、存储介质与终端设备 | |
EP4199529A1 (en) | Electronic device for providing shooting mode based on virtual character and operation method thereof | |
WO2020192458A1 (zh) | 一种图像处理的方法及头戴式显示设备 | |
CN111179282B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
EP4020374A1 (en) | Image processing method and electronic apparatus | |
CN112289279B (zh) | 屏幕亮度调整方法、装置、存储介质与电子设备 | |
CN111161176B (zh) | 图像处理方法及装置、存储介质和电子设备 | |
CN111866483B (zh) | 颜色还原方法及装置、计算机可读介质和电子设备 | |
CN112562019A (zh) | 图像色彩调整方法及装置、计算机可读介质和电子设备 | |
CN113810596B (zh) | 延时摄影方法和装置 | |
CN111953899B (zh) | 图像生成方法、图像生成装置、存储介质与电子设备 | |
WO2022001806A1 (zh) | 图像变换方法和装置 | |
CN111741303B (zh) | 深度视频处理方法、装置、存储介质与电子设备 | |
CN112954251B (zh) | 视频处理方法、视频处理装置、存储介质与电子设备 | |
CN111641829B (zh) | 视频处理方法及装置、系统、存储介质和电子设备 | |
US20190251670A1 (en) | Electronic device and method for correcting images using external electronic device | |
CN111385514B (zh) | 人像处理方法和装置以及终端 | |
CN115526787A (zh) | 视频处理方法和装置 | |
CN112348738B (zh) | 图像优化方法、图像优化装置、存储介质与电子设备 | |
CN113850709A (zh) | 图像变换方法和装置 | |
CN116703995A (zh) | 视频虚化处理方法和装置 | |
CN112217996B (zh) | 图像处理方法、图像处理装置、存储介质与电子设备 | |
CN113709353B (zh) | 图像采集方法和设备 | |
CN113537194A (zh) | 光照估计方法、光照估计装置、存储介质与电子设备 | |
CN115022526A (zh) | 全景深图像生成方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |