CN116757963A - 图像处理方法、电子设备、芯片系统及可读存储介质 - Google Patents
图像处理方法、电子设备、芯片系统及可读存储介质 Download PDFInfo
- Publication number
- CN116757963A CN116757963A CN202311013760.1A CN202311013760A CN116757963A CN 116757963 A CN116757963 A CN 116757963A CN 202311013760 A CN202311013760 A CN 202311013760A CN 116757963 A CN116757963 A CN 116757963A
- Authority
- CN
- China
- Prior art keywords
- image
- sub
- processed
- electronic device
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 19
- 238000000034 method Methods 0.000 claims abstract description 65
- 239000003623 enhancer Substances 0.000 claims abstract description 27
- 230000002708 enhancing effect Effects 0.000 claims abstract description 10
- 238000007499 fusion processing Methods 0.000 claims abstract description 8
- 238000004422 calculation algorithm Methods 0.000 claims description 31
- 238000004590 computer program Methods 0.000 claims description 13
- 238000012545 processing Methods 0.000 abstract description 63
- 230000008569 process Effects 0.000 description 20
- 239000010410 layer Substances 0.000 description 16
- 210000000746 body region Anatomy 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 230000005236 sound signal Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000007726 management method Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 229920001621 AMOLED Polymers 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000002096 quantum dot Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 239000012792 core layer Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
Abstract
本申请实施例公开了一种图像处理方法、电子设备、芯片系统及可读存储介质,其中,该方法包括:获取待处理图像;基于待处理图像,得到第一子图像和第二子图像;第一子图像包括待处理图像中主体区域的内容;第二子图像包括待处理图像中背景区域的内容;对第一子图像进行画质增强,得到增强子图像,并对第二子图像进行虚化,得到虚化子图像;基于增强子图像和虚化子图像进行融合处理,得到目标图像。基于本申请所描述的方法,可以有效提升图像处理效率。
Description
技术领域
本申请实施例涉及图像处理技术领域,尤其涉及一种图像处理方法、电子设备、芯片系统及可读存储介质。
背景技术
通常,在使用摄像头拍照时,可通过将摄像头调节至大光圈模式,达到实时虚化拍摄背景并使增强拍摄主体画质的效果。其中,为了使拍摄主体画质增强,通常会对整张图像的基础画质进行提升,并在基础画质提升后结合各种针对拍摄主体的优化算法,对拍摄主体的质量进一步提升。同时,为了达到背景虚化的效果,会对整张图像进行分割,单独对背景进行虚化。上述过程中涉及的数据处理量较大,图像处理效率较低。
发明内容
本申请提供了一种图像处理方法、电子设备、芯片系统及可读存储介质,可以有效提升图像处理效率。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:
获取待处理图像;
基于所述待处理图像,得到第一子图像和第二子图像;所述第一子图像包括所述待处理图像中主体区域的内容;所述第二子图像包括所述待处理图像中背景区域的内容;
对所述第一子图像进行画质增强,得到增强子图像,并对所述第二子图像进行虚化,得到虚化子图像;
基于所述增强子图像和所述虚化子图像进行融合处理,得到目标图像。
通过第一方面所描述的实施例,可先得到第一子图像与第二子图像,再分别对第一子图像和第二子图像进行处理。由于在大光圈模式下用户更关注主体区域的画质增强,而对背景区域的画质增强不那么关注,因此相较于整张图像提升画质的方式,通过第一子图像单独对主体区域进行画质增强,可以有效降低数据处理量,从而提升图像处理效率。并且,本申请可以在对第一子图像进行画质增强时,并行处理第二子图像,这种并行处理方式也能进一步提升图像处理效率。
在一种可能的实施方式中,所述基于所述待处理图像,得到第一子图像和第二子图像,包括:获取所述待处理图像对应的缩略图像;所述缩略图像的尺寸小于所述待处理图像的尺寸;基于所述缩略图像,得到掩膜图像;基于所述掩膜图像对所述待处理图像进行分割,得到所述第一子图像;基于所述掩膜图像对所述缩略图像进行分割,得到所述第二子图像。
通过该方式,一方面,基于缩略图像得到掩膜图像,可以降低得到掩膜图像的数据处理量,并使掩膜图像的尺寸也小于待处理图像的尺寸。另一方面,由于用户不那么关注背景区域,因此通过掩膜图像对缩略图像进行分割得到的第二子图像,可使第二子图像的尺寸小于待处理图像中背景区域的尺寸,进而在后续对第二子图像进行虚化时,可以减小数据处理量,提高图像处理效率。
在一种可能的实施方式中,所述待处理图像是第一摄像头采集到的图像,所述基于所述待处理图像,得到第一子图像和第二子图像,包括:获取第二摄像头采集的辅助图像;获取所述待处理图像对应的第一缩略图像和所述辅助图像对应的第二缩略图像;基于所述第一缩略图像和所述第二缩略图像,得到掩膜图像;基于所述掩膜图像对所述待处理图像进行分割,得到所述第一子图像;基于所述掩膜图像对所述缩略图像进行分割,得到所述第二子图像。
通过该方式,可以结合两个摄像头采集到的图像,得到更为准确的掩膜图像。同时,由于是基于待处理图像对应的第一缩略图像和辅助图像对应的第二缩略图像得到掩膜图像的,因此相较于基于未缩略图像得到掩膜图像的方案,该方式可以减小数据处理量,从而提高图像处理效率。
在一种可能的实施方式中,所述基于所述掩膜图像对所述待处理图像进行分割,得到所述第一子图像,包括:将所述掩膜图像的尺寸放大至所述待处理图像的尺寸,得到所述待处理图像的待叠加掩膜图像;基于所述待叠加掩膜图像对所述待处理图像进行分割,得到所述第一子图像。
通过该方式,可基于待处理图像的待叠加掩膜图像得到第一子图像,使该第一子图像的尺寸与待处理图像中主体区域的尺寸相同,由于用户较关注主体区域的内容,因此基于尺寸未压缩的主体区域(即第一子图像)进行画质增强,可以确保主体区域的细节不丢失,从而保证画质增强的效果。
在一种可能的实施方式中,所述基于所述增强子图像和所述虚化子图像进行融合处理,得到目标图像,包括:对所述虚化子图像进行放大,得到待融合子图像;所述待融合子图像的尺寸与所述待处理图像中背景区域的尺寸相同;将所述增强子图像和所述待融合子图像进行融合,得到所述目标图像。
通过该方式,可放大虚化子图像,得到待融合子图像,该方式可使图像融合时,待融合子图像与增强子图像的尺寸相匹配,从而确保图像融合的准确性。
在一种可能的实施方式中,所述对所述第一子图像进行画质增强,得到增强子图像,包括:识别所述第一子图像中主体区域的内容;获取与所述主体区域的内容相匹配的画质增强算法;基于匹配到的画质增强算法对所述第一子图像进行画质增强,得到所述增强子图像。
通过该方式,可获取到与主体区域的内容相匹配的画质增强算法,进而基于匹配到的画质增强算法适应性地对第一子图像进行画质增强。
在一种可能的实施方式中,所述获取待处理图像,包括:接收到开启大光圈模式的操作指令;响应于所述操作指令,开启第一摄像头的大光圈模式,并调用所述第一摄像头采集所述待处理图像。
第二方面,本申请实施例提供了一种电子设备,包括存储器和一个或多个处理器;该存储器与该一个或多个处理器耦合,用于存储计算机程序,计算机程序包括程序指令;该一个或多个处理器调用该程序指令,使得该电子设备执行:
获取待处理图像;
基于所述待处理图像,得到第一子图像和第二子图像;所述第一子图像包括所述待处理图像中主体区域的内容;所述第二子图像包括所述待处理图像中背景区域的内容;
对所述第一子图像进行画质增强,得到增强子图像;
对所述第二子图像进行虚化,得到虚化子图像;
基于所述增强子图像和所述虚化子图像进行融合处理,得到目标图像。
在一种可能的实施方式中,该一个或多个处理器在调用该程序指令,使得该电子设备执行基于所述待处理图像,得到第一子图像和第二子图像时,具体包括:获取所述待处理图像对应的缩略图像;所述缩略图像的尺寸小于所述待处理图像的尺寸;基于所述缩略图像,得到掩膜图像;基于所述掩膜图像对所述待处理图像进行分割,得到所述第一子图像;基于所述掩膜图像对所述缩略图像进行分割,得到所述第二子图像。
在一种可能的实施方式中,所述待处理图像是第一摄像头采集到的图像,该一个或多个处理器在调用该程序指令,使得该电子设备执行基于所述待处理图像,得到第一子图像和第二子图像时,具体包括:获取第二摄像头采集的辅助图像;获取所述待处理图像对应的第一缩略图像和所述辅助图像对应的第二缩略图像;基于所述第一缩略图像和所述第二缩略图像,得到掩膜图像;基于所述掩膜图像对所述待处理图像进行分割,得到所述第一子图像;基于所述掩膜图像对所述缩略图像进行分割,得到所述第二子图像。
在一种可能的实施方式中,该一个或多个处理器在调用该程序指令,使得该电子设备执行基于所述掩膜图像对所述待处理图像进行分割,得到所述第一子图像时,具体包括:将所述掩膜图像的尺寸放大至所述待处理图像的尺寸,得到所述待处理图像的待叠加掩膜图像;基于所述待叠加掩膜图像对所述待处理图像进行分割,得到所述第一子图像。
在一种可能的实施方式中,该一个或多个处理器在调用该程序指令,使得该电子设备执行基于所述增强子图像和所述虚化子图像进行融合处理,得到目标图像时,具体包括:对所述虚化子图像进行放大,得到待融合子图像;所述待融合子图像的尺寸与所述待处理图像中背景区域的尺寸相同;将所述增强子图像和所述待融合子图像进行融合,得到所述目标图像。
在一种可能的实施方式中,该一个或多个处理器在调用该程序指令,使得该电子设备执行对所述第一子图像进行画质增强时,具体包括:识别所述第一子图像中主体区域的内容;获取与所述主体区域的内容相匹配的画质增强算法;基于匹配到的画质增强算法对所述第一子图像进行画质增强。
在一种可能的实施方式中,该一个或多个处理器在调用该程序指令,使得该电子设备执行获取待处理图像时,具体包括:接收到开启大光圈模式的操作指令;响应于所述操作指令,开启第一摄像头的大光圈模式,并调用所述第一摄像头采集所述待处理图像。
第三方面,本申请实施例提供了一种芯片系统,所述芯片系统包括至少一个处理器、存储器和接口电路,所述存储器、所述接口电路和所述至少一个处理器通过线路互联,所述至少一个存储器中存储有程序指令;所述程序指令被所述处理器执行时,使得所述芯片系统执行如第一方面或第一方面的任意一种可能的实施方式所描述的方法。
第四方面,本申请实施例提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序包括程序指令,当该程序指令在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种可能的实施方式所描述的方法。
第五方面,本申请实施例提供了一种计算机可读存储介质,包括计算机程序,该计算机程序包括程序指令,当该程序指令在电子设备上运行时,使得该电子设备执行如第一方面或第一方面的任意一种可能实施方式所描述的方法。
附图说明
图1是本申请实施例提供的一种电子设备的硬件结构示意图;
图2是本申请实施例提供的一种拍摄过程对开启大光圈的流程示意图;
图3是本申请实施例提供的一种对相册中保存图像进行大光圈处理的流程示意图;
图4是本申请实施例提供的一种图像处理方法的流程示意图;
图5是本申请实施例提供的一种掩膜图像的示意图;
图6是本申请实施例提供的一种得到第一子图像的流程示意图;
图7是本申请实施例提供的一种缩略图像的待叠加掩膜图像的示意图;
图8是本申请实施例提供的一种得到第二子图像的流程示意图;
图9是本申请实施例提供的一种图像处理方法的示例流程示意图;
图10是本申请实施例提供的另一种图像处理方法的示例流程示意图;
图11是本申请实施例提供的一种电子设备的软件结构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清楚、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请以下实施例中的术语“用户界面 (user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。用户界面是通过java、可扩展标记语言(extensible markuplanguage,XML)等特定计算机语言编写的源代码,界面源代码在电子设备上经过解析,渲染,最终呈现为用户可以识别的内容。用户界面常用的表现形式是图形用户界面(graphicuser interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的文本、图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
下面先对本申请中涉及的概念或术语进行解释说明,以便于本领域技术人员理解。
图像画质:图像画质是指图像的画面质量,该画面质量可以从清晰度、锐度、镜头畸变、色散度、分辨率、色域范围、色彩纯度(色彩艳度)、色彩平衡等一个或多个方面进行衡量。
图像掩膜技术:图像掩膜技术是指用特定图像或物体对待处理的图像进行全局/局部覆盖的过程。其中,用于覆盖的特定图像或物体称为掩模图像或Mask图像。图像掩膜技术可用于在数字图像处理中提取感兴趣区域,例如,预先制作的掩膜图像中感兴趣区域内的像素值为1,感兴趣区域外的像素值为0,则将该掩模图像与待处理的图像相乘,可使待处理的图像中感兴趣区域内的像素值保持不变,而感兴趣区域外的像素值都为0,相当于从待处理图像中分割出感兴趣区域对应的图像。
超分算法(super-resolution algorithm):超分算法是指将图像从较低分辨率提升至较高分辨率的算法。它可基于图像中的信息和先验知识,推测和还原图像中丢失的细节,增加图像的分辨率,从而提高图像的清晰度和细节级别。
为了提升大光圈模式下的图像处理效率,本申请提出了一种图像处理方法、电子设备及计算机可读存储介质。其中,该电子设备可以为具有数据处理功能的终端设备等,例如该终端设备可以为智能手机、平板电脑、笔记本电脑、台式计算机、智能手表等。
下面对该电子设备的硬件结构进行举例说明。请参见图1,图1是本申请提出的一种电子设备的硬件结构示意图。示例地,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriberidentification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
其中,处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从设置的存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicrOLED,Micro-OLED,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network ,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如,在本申请中,电子设备100可播放空间音频。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“ 喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“ 听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“ 话筒”,“ 传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号、降噪、还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。
气压传感器180C用于测量气压。
磁传感器180D包括霍尔传感器。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备100的姿态。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。
指纹传感器180H用于采集指纹。
温度传感器180J用于检测温度。在一些实施例中,电子设备100利用温度传感器180J检测的温度,执行温度处理策略。
触摸传感器180K,也称“触控器件”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
下面先介绍本申请的几种应用场景:
本申请提供的图像处理方法可应用于大光圈模式下的图像处理,尤其是放大倍数为2X及以上的大光圈模式下。
请参见图2,图2是本申请实施例提供的一种拍摄过程对开启大光圈的流程示意图。当用户打开电子设备中安装的相机的应用程序时,电子设备可显示图2中界面200,界面200包括预览区域以及拍摄设置区域。其中,预览区域用于展示拍摄过程中的预览图像,预览区域所展示的预览图像可包括主体区域对应的图像以及背景区域对应的图像,例如,虚线201内部的人像所占的区域为主体区域,虚线201外部的区域为背景区域,示出的背景区域可包括太阳以及云朵。拍摄设置区域包括拍摄模式设置、拍摄镜头转换、快门以及相册的快捷方式,拍摄模块设置可包括夜景模式、人像模式、大光圈202模式、普通拍照模式、录像模式以及专业模式的设置控件。当电子设备接收到对大光圈202模式的设置控件的操作指令时,电子设备将相机从普通拍照模式切换至大光圈模式,并通过执行本申请提出的图像处理方法对预览图像进行处理,从而展示界面210。其中,在界面210的预览区域中展示的预览图像为处理之后的图像,在该图像中主体区域的人像的画质得到增强,且背景区域中的太阳以及运动被虚化。
请参见图3,图3是本申请实施例提供的一种对相册中保存图像进行大光圈处理的流程示意图。当用户打开电子设备中安装的相册的应用程序时,电子设备可显示图3中界面300,界面300包括今日拍摄图像预览区域以及相册管理区域,今日拍摄图像预览区域中展示有图像301,图像301为普通拍照模式下得到的图像,相册管理区域包括照片、分类、时刻以及发现的控件。当电子设备接收到对今日拍摄图像预览区域中图像301的选择指令之后,电子设备显示界面310;其中,界面310包括图像展示区域以及图像管理区域,被选择的图像301可在图像展示区域进行展示,图像管理区域包括分享、收藏、编辑302以及更多的设置控件。当电子设备接收到针对编辑302的设置控件的指令时,电子设备可显示界面311。界面311包括编辑图像预览区域以及编辑功能区域,编辑图像预览区域用于展示待编辑的图像以及对图像进行编辑后的效果,编辑功能区域包括裁剪、大光圈303、涂鸦以及橡皮檫的功能控件。当电子设备接收到针对大光圈303的功能控件的选择指令时,电子设备可通过执行本申请提出的图像处理方法对图像301进行处理,并在处理完成之后,展示界面312,界面312展示的处理完之后的图像301,处理完之后的图像301的主体区域的人像的画质得到增强,且背景区域中的太阳以及运动被虚化。
本申请实施例所提供的图像处理方法还可以应用于更多使用大光圈模式的场景,在此不作限定。
下面通过图4对本申请实施例提供的图像处理方法进行具体说明:
请参见图4,图4是本申请实施例提供的一种图像处理方法的流程示意图,该方法包括步骤401~步骤404。图4所示的方法的执行主体可以为电子设备,或电子设备中的芯片。下面以电子设备为方法的执行主体为例进行说明,该电子设备可以为上述内容中介绍的电子设备100。其中:
步骤401、电子设备获取待处理图像。
本申请实施例中,待处理图像可以是拍摄过程中,通过已开启大光圈模式的摄像头实时采集到的图像。例如,电子设备接收到开启大光圈模式的操作指令,然后响应于操作指令,开启第一摄像头的大光圈模式,并调用第一摄像头采集待处理图像。或者,待处理图像可以是用户从电子设备存储的图像中选取的进行大光圈处理的图像。例如,电子设备先接收到针对相册中某个图像的选取指令,然后电子设备再接收到针对选择图像的编辑指令,该编辑指令用于指示对该选择图像进行大光圈处理,则该选择图像为待处理图像。
步骤402、电子设备基于待处理图像,得到第一子图像和第二子图像;第一子图像包括待处理图像中主体区域的内容;第二子图像包括待处理图像中背景区域的内容。
其中,主体区域是指待处理图像中主要拍摄对象所在的区域,背景区域为待处理图像中除主体区域以外的区域。示例地,主要拍摄对象可以是人物、动物、静物等,本申请对此不做限定。
下面对得到第一子图像和第二子图像的两种方式进行介绍:
在一种可能的实施方式中,电子设备基于待处理图像,得到第一子图像和第二子图像的方式,具体包括:获取待处理图像对应的缩略图像;基于缩略图像,得到掩膜图像;基于掩膜图像对待处理图像进行分割,得到第一子图像;基于掩膜图像对缩略图像进行分割,得到第二子图像。
其中,电子设备可通过对待处理图像中的像素点进行下采样处理,从而获取到待处理图像对应的缩略图像。缩略图像的尺寸小于待处理图像的尺寸,缩略图像相当于对待处理图像进行缩小后得到的图像。
电子设备可通过对缩略图像进行深度计算,从而得到掩膜图像,深度计算的方式包括但不限于卷积神经网络等方式。该掩膜图像包括两个区域,两个区域中的一个区域与待处理图像中的主体区域对应,另一个区域与待处理图像中的背景区域对应。例如,图5是本申请实施例提供的一种掩膜图像的示意图。其中,该掩膜图像包括区域501以及区域502,区域501显示为黑色,表示区域501中的各个像素点的值为1,区域502显示为白色,表示区域502中的各个像素点的值为0。
基于该方式,可通过单帧的待处理图像得到缩略图像,并基于缩略图像得到掩膜图像,从而降低得到掩膜图像的数据处理量,并进一步提升得到第一子图像和第二子图像的效率。
在另一种可能的实施方式中,电子设备还可以基于多摄融合,得到第一子图像和第二子图像。例如,电子设备获取第二摄像头采集的辅助图像;获取待处理图像对应的第一缩略图像和辅助图像对应的第二缩略图像;基于第一缩略图像和第二缩略图像,得到掩膜图像;基于掩膜图像对待处理图像进行分割,得到第一子图像;基于掩膜图像对缩略图像进行分割,得到第二子图像。
在该方式中,电子设备可在拍摄图像时,在同一时刻通过第一摄像头采集到待处理图像并通过第二摄像头采集到辅助图像。示例地,第一摄像头可以为长焦摄像头,第二摄像头可以为广角摄像头。然后,为了减少深度估计得到掩膜图像的数据处理量,可对待处理图像进行下采样处理,得到待处理图像的第一缩略图像,并对辅助图像进行下采样处理,得到辅助图像对应的第二缩略图像。进一步地,电子设备可将第一缩略图像与第二缩略图像进行校正/配准,并基于校准/配准结果得到掩膜图像。
基于该方式,可结合两个摄像头采集到的多帧图像得到第一缩略图像和第二缩略图像,并基于两个缩略图像得到掩膜图像,可以使得到的掩膜图像更为准确。
进一步,当电子设备通过上述任意方式得到掩膜图像之后,可以分别基于掩膜图像得到第一子图像和第二子图像。
一、得到第一子图像:在一种可能的实施方式中,电子设备基于掩膜图像对待处理图像进行分割,得到第一子图像的方式,具体包括:将掩膜图像的尺寸放大至待处理图像的尺寸,得到待处理图像的待叠加掩膜图像;基于待叠加掩膜图像对待处理图像进行分割,得到第一子图像。
在本申请实施例中,电子设备可通过对掩膜图像进行上采样处理,得到待处理图像的待叠加掩膜图像,待处理图像的待叠加掩膜图像的尺寸与待处理图像的尺寸相同,待处理图像的待叠加掩膜图像相当于电子设备将掩膜图像放大之后得到的图像,且放大的倍数与得到缩略图像时缩小的倍数相同。基于此,可使得待处理图像的尺寸,与待处理图像的待叠加掩膜图像的尺寸相同。进一步地,电子设备可基于待处理图像的待叠加掩膜图像,从待处理图像中分割出主体区域对应的图像,得到第一子图像。
示例地,如图6所示,图6是本申请实施例提供的一种得到第一子图像的流程示意图。其中,先通过对掩膜图像进行放大处理,得到待处理图像的待叠加掩膜图像,在进行放大处理时,掩膜图像中区域501和区域502进行同比例放大,且得到的待处理图像的待叠加掩膜图像,与待处理图像尺寸相同。然后,电子设备将待处理图像的待叠加掩膜图像与待处理图像叠加,可使得待处理图像中背景区域中各个像素点的值为0,主体区域中各个像素点的值保持不变,即得到图6中的第一子图像,第一子图像不包括待处理图像中的背景区域,只包括待处理图像中的主体区域。
由于大光圈模式下,用户较关注主体区域的内容,因此可通过放大掩膜图像,得到待处理图像的待叠加掩膜图像,进而使得到的分割得到的主体区域对应的图像(即第一子图像)的尺寸不会被压缩,进而在后续通过第一子图像对主体区域进行画质增强时,可确保主体区域的细节不丢失,从而保证画质增强的效果。
二、得到第二子图像:在一种可能的实施方式中,电子设备基于掩膜图像对缩略图像进行分割,得到第二子图像的方式,具体包括:电子设备先基于掩膜图像得到缩略图像的待叠加掩膜图像,然后电子设备基于缩略图像的待叠加掩膜图像对缩略图像进行分割,得到第二子图像。
在本申请实施例中,缩略图像的待叠加掩膜图像包括两个区域,两个区域中的一个区域与待处理图像中的主体区域对应,另一个区域与待处理图像中的背景区域对应。电子设备可通过对掩膜图像进行反相处理,得到缩略图像的待叠加掩膜图像,该反相处理用于反转掩膜图像中各个区域的颜色。例如,图7是本申请实施例提供的一种缩略图像的待叠加掩膜图像的示意图。其中,缩略图像的待叠加掩膜图像包括区域701以及区域702,区域701的颜色为图5中区域501中颜色反相处理后的颜色,即区域701为白色,表示区域701中的各个像素点的值为1;区域702的颜色为图5中区域502中颜色反相处理后的颜色,区域702为黑色,表示区域702中的各个像素点的值为0。
其中,电子设备得到的缩略图像的待叠加掩膜图像的尺寸,与缩略图像的尺寸相同。进一步地,电子设备可基于缩略图像的待叠加掩膜图像,从缩略图像中分割出待处理图像中背景区域对应的图像,得到第二子图像。第二子图像为缩略图像的一部分。
示例地,如图8所示,图8是本申请实施例提供的一种得到第二子图像的流程示意图。其中,电子设备先通过对掩膜图像进行反相处理,得到缩略图像的待叠加掩膜图像,然后,电子设备可将缩略图像的待叠加掩膜图像与缩略图像叠加,可使得缩略图像中背景区域中各个像素点的值为0,主体区域中各个像素点的值保持不变,即得到图8中的第一子图像,第一子图像只包括缩略图像中的背景区域,不包括缩略图像中的主体区域。
由于用户不那么关注背景区域,因此本申请对尺寸小于待处理图像的缩略图像进行分割得到第二子图像,第二子图像的尺寸小于待处理图像中背景区域的尺寸,该方式可减小后续对第二子图像进行虚化时的数据处理量,提高图像处理效率。
在另一种可能的实施方式中,电子设备也可以基于掩膜图像对待处理图像进行分割,得到第二子图像,其中,从待处理图像中分割得到的第二子图像的尺寸与待处理图像中背景区域的尺寸相同。具体地,电子设备可以先对掩膜图像进行反相处理,然后将反相处理后的掩膜图像的尺寸放大至待处理图像的尺寸,示例地,基于该过程得到的称为第三掩膜图像。由于第三掩膜图像的尺寸与待处理图像的尺寸相同,且第三掩膜图像中主体区域为黑色,背景区域为白色,因此基于第三掩膜图像对待处理图像进行分割可得到尺寸与待处理图像中背景区域相同的第二子图像。
步骤403、电子设备对第一子图像进行画质增强,得到增强子图像,并对第二子图像进行虚化,得到虚化子图像。
在本申请实施例中,电子设备可并行对第一子图像和第二子图像进行处理,从而提高处理效率。
在一种可能的实施方式中,电子设备在对第二子图像进行虚化时,可通过高斯模糊的方式,得到虚化子图像。
在一种可能的实施方式中,电子设备在对第一子图像进行画质增强时,具体包括:识别第一子图像中主体区域的内容;获取与主体区域的内容相匹配的画质增强算法;基于匹配到的画质增强算法对第一子图像进行画质增强。
示例地,与主体区域的内容相匹配的画质增强算法包括但不限于超分算法、人像算法、运动算法等中的一项或者多项。
示例地,当主体区域的内容包括美食时,电子设备获取到与主体区域的内容相匹配的画质增强算法为超分算法,则电子设备可基于超分算法为第一子图像中的美食进行画质增强。
示例地,当主体区域的内容包括人像时,电子设备获取到与主体区域的内容相匹配的画质增强算法为人像算法,则电子设备可基于人像算法为第一子图像中的人像进行画质增强。
示例地,当主体区域的内容包括人像且人像处于运动状态时,电子设备获取到与主体区域的内容相匹配的画质增强算法为人像算法以及运动算法,则电子设备可先基于人像算法为第一子图像中的人像进行画质增强,再基于运动算法对运动中人像存在的运动重影等噪声进行处理。
由于用户更关注主体区域,因此单独对包括主体区域的第一子图像使用画质增强算法,可以提高主体区域的清晰度等参数,使主体区域细节更丰富,满足用户需求。
步骤404、电子设备基于增强子图像和虚化子图像进行融合处理,得到目标图像。
在本申请实施例中,电子设备可先对确定增强子图像尺寸与虚化子图像的尺寸是否匹配,再根据匹配结果对增强子图像和虚化子图像进行融合处理,得到目标图像。
其中,电子设备是基于待处理图像的待叠加掩膜图像,对待处理图像进行分割得到第一子图像的,因此增强子图像的尺寸与待处理图像中主体区域的尺寸相同。
在一种可能的实施方式中,若电子设备是基于缩略图像的待叠加掩膜图像,对缩略图像进行分割得到第二子图像的,则虚化子图像的尺寸与缩略图像中背景区域的尺寸相同,因此虚化子图像的尺寸小于待处理图像中背景区域的尺寸,增强子图像的尺寸与虚化子图像的尺寸不匹配。在该方式中,电子设备可对虚化子图像进行放大,得到待融合子图像;待融合子图像的尺寸与待处理图像中背景区域的尺寸相同;将增强子图像和待融合子图像进行融合,得到目标图像。
其中,电子设备可对虚化子图像进行上采样处理,得到待融合子图像,从而实现对虚化子图像的放大。该方式可确保图像融合的准确性。
在一种可能的实施方式中,若电子设备是基于掩膜图像反相处理后的图像,对待处理图像进行分割得到第二子图像的,则虚化子图像的尺寸等于待处理图像中背景区域的尺寸,增强子图像的尺寸与虚化子图像的尺寸匹配。在该方式中,电子设备可直接将增强子图像与虚化子图像进行融合,得到目标图像。
可选的,若在开启大光圈模式的拍照场景下,电子设备还可以将得到的目标图像输入图像处理器(image signal processor,ISP),以使ISP在进一步优化处理目标图像之后,电子设备显示图像。
基于图4所描述的实施例,电子设备可先得到第一子图像与第二子图像,再分别对第一子图像和第二子图像进行处理。由于在大光圈模式下用户更关注主体区域的画质增强,而对背景区域的画质增强感知不强,因此相较于整张图像提升画质的方式,通过第一子图像单独对主体区域进行画质增强,可以有效降低数据处理量,从而提升图像处理效率。并且,本申请可以在对第一子图像进行画质增强时,并行处理第二子图像,这种并行处理方式也能进一步提升图像处理效率。尤其是在拍照过程中执行上述实施例,可以有效提高拍照性能,增强用户体验。
下面通过图9对本申请实施例提供的一种图像处理方法进行举例说明:
S901、电子设备对待处理图像进行下采样,得到缩略图像。
S902、电子设备对缩略图像进行深度计算,得到掩膜图像。
S903、电子设备对掩膜图像进行上采样。
S904、电子设备将上采样掩膜图像得到的图像,与待处理图像进行叠加,得到第一子图像。
S905、电子设备基于掩膜图像对缩略图像进行叠加,得到第二子图像。
其中,电子设备可先对掩膜图像进行反相处理,再对缩略图像进行叠加。
S906、电子设备对第一子图像进行画质增强,得到增强子图像。
S907、电子设备对第二子图像进行虚化,得到虚化子图像。
S908、电子设备对虚化子图像进行上采样。
S909、电子设备将上采样虚化子图像得到的图像,与增强子图像进行图像融合,得到目标图像。
其中S901~S909的实现方式可参照上述方法实施例的描述。并且,电子设备在执行完S902之后,可一边依次执行S903、S904、S906,另一边依次执行S905、S907、S908,从而达到并处处理的效果,提高处理效率。
基于该方式,不仅可以并行处理主体的画质增强以及背景虚化,且还可以在执行背景虚化时,通过下采样得到的小尺寸的第二子图像进行虚化处理,减少数据处理量提高处理效率。
下面通过图10对本申请实施例提供的另一种图像处理方法进行举例说明:
S1001、电子设备对待处理图像进行下采样,得到缩略图像。
S1002、电子设备对缩略图像进行深度计算,得到掩膜图像。
S1003、电子设备对掩膜图像进行上采样。
S1004、电子设备将上采样掩膜图像得到的图像,与待处理图像进行叠加,得到第一子图像。
S1005、电子设备将上采样掩膜图像得到的图像进行反相处理。
S1006、电子设备将反相处理得到的图像与待处理图像进行叠加,得到第二子图像。
S1007、电子设备对第一子图像进行画质增强,得到增强子图像。
S1008、电子设备对第二子图像进行虚化,得到虚化子图像。
S1009、电子设备将虚化子图像与增强子图像进行图像融合,得到目标图像。
其中,S1001~S1009的实现方式可参照上述方法实施例的描述。并且,电子设备在执行完S1003之后,可一边依次执行S1004、S1007,另一边依次执行S1005、S1006、S1008,从而达到并处处理的效果,提高处理效率。
基于该方式,可以在分割得到第二子图像时,采用上采样且反相处理之后的掩膜图像,从而使第二子图像的尺寸与第一子图像的尺寸相匹配,进而使增强子图像的尺寸和虚化子图像的尺寸相匹配,可直接将增强子图像和虚化子图像进行融合,得到目标图像。
下面对本申请电子设备的软件结构进行介绍:
请参见图11,图11是本申请提出的一种电子设备的软件结构示意图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,硬件抽象层(hardware abstraction layer,HAL)以及内核层。
应用程序层可以包括一系列应用程序包。如图11所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序(也可以称为应用)。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图11所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
其中,窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。这些数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话界面形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
硬件抽象层可以包括多个功能模块。例如获取模块、图像分割模块、图像增强模块、图像虚化模块、以及图像融合模块等。
获取模块,用于获取待处理图像;
图像分割模块,用于基于待处理图像,得到第一子图像和第二子图像;
图像增强模块、用于对第一子图像进行画质增强,得到增强子图像;图像虚化模块,用于对第二子图像进行虚化,得到虚化子图像;
图像融合模块,用于基于增强子图像和虚化子图像进行融合处理,得到目标图像。
这些模块的功能可根据上述方法实施例中所描述的方法具体实现。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
应理解,本申请提供的上述方法实施例中的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本申请实施例所公开的方法步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
本申请还提供一种电子设备,该电子设备可以包括:存储器和处理器。其中,存储器可用于存储计算机程序,计算机程序包括程序指令;处理器可用于调用该存储器中的程序指令,以使得该电子设备执行上述任意一个实施例中的方法。
本申请还提供了一种芯片系统,该芯片系统包括至少一个处理器、存储器和接口电路,存储器、接口电路和至少一个处理器通过线路互联,至少一个存储器中存储有程序指令;程序指令被处理器执行时,使得该芯片系统执行上述方法实施例中所描述的方法。
该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
可选地,该芯片系统中的处理器可以通过硬件实现也可以通过软件实现。当通过硬件实现时,该处理器可以是逻辑电路、集成电路等。当通过软件实现时,该处理器可以是一个通用处理器,通过读取存储器中存储的软件代码来实现。
可选地,该芯片系统中的存储器也可以为一个或多个。该存储器可以与处理器集成在一起,也可以和处理器分离设置,本申请实施例并不限定。示例性地,存储器可以是非瞬时性处理器,例如只读存储器ROM,其可以与处理器集成在同一块芯片上,也可以分别设置在不同的芯片上,本申请实施例对存储器的类型,以及存储器与处理器的设置方式不作具体限定。
示例性地,该芯片系统可以是现场可编程门阵列(field programmable gatearray,FPGA),可以是专用集成芯片(application specific integrated circuit,ASIC),还可以是系统芯片(system on chip,SoC),还可以是中央处理器(central processorunit,CPU),还可以是网络处理器(network processor,NP),还可以是数字信号处理电路(digital signal processor,DSP),还可以是微控制器(micro controller unit,MCU),还可以是可编程控制器(programmable logic device,PLD)或其他集成芯片。
本申请还提供一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,计算机程序包括程序指令。当该程序指令被运行时,使得计算机执行上述任一个实施例中电子设备执行的方法。
本申请的各实施方式可以任意进行组合,以实现不同的技术效果。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机程序,计算机程序包括程序指令。在计算机上加载和执行程序指令时,全部或部分地产生按照本申请所描述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。
总之,以上所述仅为本发明技术方案的实施例而已,并非用于限定本发明的保护范围。凡根据本发明的揭露,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理图像;
基于所述待处理图像,得到第一子图像和第二子图像;所述第一子图像包括所述待处理图像中主体区域的内容;所述第二子图像包括所述待处理图像中背景区域的内容;
对所述第一子图像进行画质增强,得到增强子图像,并对所述第二子图像进行虚化,得到虚化子图像;
基于所述增强子图像和所述虚化子图像进行融合处理,得到目标图像。
2.根据权利要求1所述的方法,其特征在于,所述基于所述待处理图像,得到第一子图像和第二子图像,包括:
获取所述待处理图像对应的缩略图像;所述缩略图像的尺寸小于所述待处理图像的尺寸;
基于所述缩略图像,得到掩膜图像;
基于所述掩膜图像对所述待处理图像进行分割,得到所述第一子图像;
基于所述掩膜图像对所述缩略图像进行分割,得到所述第二子图像。
3.根据权利要求1所述的方法,其特征在于,所述待处理图像是第一摄像头采集到的图像,所述基于所述待处理图像,得到第一子图像和第二子图像,包括:
获取第二摄像头采集的辅助图像;
获取所述待处理图像对应的第一缩略图像和所述辅助图像对应的第二缩略图像;
基于所述第一缩略图像和所述第二缩略图像,得到掩膜图像;
基于所述掩膜图像对所述待处理图像进行分割,得到所述第一子图像;
基于所述掩膜图像对所述缩略图像进行分割,得到所述第二子图像。
4.根据权利要求2或3所述的方法,其特征在于,所述基于所述掩膜图像对所述待处理图像进行分割,得到所述第一子图像,包括:
将所述掩膜图像的尺寸放大至所述待处理图像的尺寸,得到所述待处理图像的待叠加掩膜图像;
基于所述待叠加掩膜图像对所述待处理图像进行分割,得到所述第一子图像。
5.根据权利要求4所述的方法,其特征在于,所述基于所述增强子图像和所述虚化子图像进行融合处理,得到目标图像,包括:
对所述虚化子图像进行放大,得到待融合子图像;所述待融合子图像的尺寸与所述待处理图像中背景区域的尺寸相同;
将所述增强子图像和所述待融合子图像进行融合,得到所述目标图像。
6.根据权利要求1-3中任一项所述的方法,其特征在于,所述对所述第一子图像进行画质增强,得到增强子图像,包括:
识别所述第一子图像中主体区域的内容;
获取与所述主体区域的内容相匹配的画质增强算法;
基于匹配到的画质增强算法对所述第一子图像进行画质增强,得到所述增强子图像。
7.根据权利要求1-3中任一项所述的方法,其特征在于,所述获取待处理图像,包括:
接收到开启大光圈模式的操作指令;
响应于所述操作指令,开启第一摄像头的大光圈模式,并调用所述第一摄像头采集所述待处理图像。
8.一种电子设备,其特征在于,包括存储器和一个或多个处理器;所述存储器与所述一个或多个处理器耦合,用于存储计算机程序,所述计算机程序包括程序指令;所述一个或多个处理器调用所述程序指令,使得所述电子设备执行如权利要求1-7中任一项所述的方法。
9.一种芯片系统,其特征在于,所述芯片系统包括至少一个处理器、存储器和接口电路,所述存储器、所述接口电路和所述至少一个处理器通过线路互联,所述至少一个存储器中存储有程序指令;所述程序指令被所述处理器执行时,使得所述芯片系统执行权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质,其特征在于,包括计算机程序,所述计算机程序包括程序指令,当所述程序指令在电子设备上运行时,使得所述电子设备执行如权利要求1-7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311013760.1A CN116757963B (zh) | 2023-08-14 | 2023-08-14 | 图像处理方法、电子设备、芯片系统及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202311013760.1A CN116757963B (zh) | 2023-08-14 | 2023-08-14 | 图像处理方法、电子设备、芯片系统及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116757963A true CN116757963A (zh) | 2023-09-15 |
CN116757963B CN116757963B (zh) | 2023-11-07 |
Family
ID=87953580
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202311013760.1A Active CN116757963B (zh) | 2023-08-14 | 2023-08-14 | 图像处理方法、电子设备、芯片系统及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116757963B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017101626A1 (zh) * | 2015-12-15 | 2017-06-22 | 努比亚技术有限公司 | 一种实现图像处理的方法及装置 |
CN110276761A (zh) * | 2019-06-18 | 2019-09-24 | 福州数据技术研究院有限公司 | 一种基于otsu阈值的肝部组织病理图像分割方法 |
CN111127303A (zh) * | 2018-11-01 | 2020-05-08 | Tcl集团股份有限公司 | 背景虚化方法、装置、终端设备及计算机可读存储介质 |
US20210073953A1 (en) * | 2018-08-16 | 2021-03-11 | Nalbi Inc. | Method for applying bokeh effect to image and recording medium |
CN113298735A (zh) * | 2021-06-22 | 2021-08-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
WO2022179045A1 (zh) * | 2021-02-24 | 2022-09-01 | 深圳市慧鲤科技有限公司 | 图像处理方法、装置、存储介质、程序及程序产品 |
-
2023
- 2023-08-14 CN CN202311013760.1A patent/CN116757963B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017101626A1 (zh) * | 2015-12-15 | 2017-06-22 | 努比亚技术有限公司 | 一种实现图像处理的方法及装置 |
US20210073953A1 (en) * | 2018-08-16 | 2021-03-11 | Nalbi Inc. | Method for applying bokeh effect to image and recording medium |
CN111127303A (zh) * | 2018-11-01 | 2020-05-08 | Tcl集团股份有限公司 | 背景虚化方法、装置、终端设备及计算机可读存储介质 |
CN110276761A (zh) * | 2019-06-18 | 2019-09-24 | 福州数据技术研究院有限公司 | 一种基于otsu阈值的肝部组织病理图像分割方法 |
WO2022179045A1 (zh) * | 2021-02-24 | 2022-09-01 | 深圳市慧鲤科技有限公司 | 图像处理方法、装置、存储介质、程序及程序产品 |
CN113298735A (zh) * | 2021-06-22 | 2021-08-24 | Oppo广东移动通信有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
王继伟 等: "基于深度卷积神经网络的数字病理辅助诊断系统设计", 中国数字医学, vol. 15, no. 12, pages 48 - 52 * |
Also Published As
Publication number | Publication date |
---|---|
CN116757963B (zh) | 2023-11-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115473957B (zh) | 一种图像处理方法和电子设备 | |
CN114205522B (zh) | 一种长焦拍摄的方法及电子设备 | |
CN113452969B (zh) | 图像处理方法和装置 | |
CN115689963B (zh) | 一种图像处理方法及电子设备 | |
CN116055857B (zh) | 拍照方法及电子设备 | |
CN115359105B (zh) | 景深扩展图像生成方法、设备及存储介质 | |
CN114926351B (zh) | 图像处理方法、电子设备以及计算机存储介质 | |
CN116916151B (zh) | 拍摄方法、电子设备和存储介质 | |
US20230014272A1 (en) | Image processing method and apparatus | |
CN115567783B (zh) | 一种图像处理方法 | |
CN115442517B (zh) | 图像处理方法、电子设备及计算机可读存储介质 | |
CN114222187B (zh) | 视频编辑方法和电子设备 | |
CN116757963B (zh) | 图像处理方法、电子设备、芯片系统及可读存储介质 | |
CN116193275B (zh) | 视频处理方法及相关设备 | |
CN115802144B (zh) | 视频拍摄方法及相关设备 | |
CN115460343B (zh) | 图像处理方法、设备及存储介质 | |
CN116700555B (zh) | 动效处理方法及电子设备 | |
WO2024088074A1 (zh) | 拍摄月亮的方法和电子设备 | |
CN117499797B (zh) | 图像处理方法及相关设备 | |
CN117082295B (zh) | 图像流处理方法、设备及存储介质 | |
WO2024036998A1 (zh) | 显示方法、存储介质及电子设备 | |
CN113452895A (zh) | 一种拍摄方法及设备 | |
CN116414493A (zh) | 图像处理方法、电子设备及存储介质 | |
CN118043836A (zh) | 一种广告归因的系统、方法以及装置 | |
CN117152022A (zh) | 图像处理方法及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |