CN114640798A - 图像处理方法、电子设备及计算机存储介质 - Google Patents
图像处理方法、电子设备及计算机存储介质 Download PDFInfo
- Publication number
- CN114640798A CN114640798A CN202210496141.1A CN202210496141A CN114640798A CN 114640798 A CN114640798 A CN 114640798A CN 202210496141 A CN202210496141 A CN 202210496141A CN 114640798 A CN114640798 A CN 114640798A
- Authority
- CN
- China
- Prior art keywords
- photographing
- image
- scene
- output
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
Abstract
本申请实施例提出了一种图像处理方法、电子设备及计算机存储介质,涉及计算机技术领域,目的在于提高拍摄得到的照片质量。具体方案为:响应于拍照操作,生成多个拍照通路的输出图像;拍照通路的输出图像至少包括当前拍摄场景的部分内容信息;不同拍照通路所使用的镜头或者图像处理算法的组合不同;对每一个拍照通路的输出图像进行图像质量评价,得到每一个输出图像的评价结果;根据所有输出图像的评价结果,确定出当前拍摄场景的照片。由于拍照通路的输出图像的评价结果用于说明输出图像的图像质量,因此根据所有输出图像的评价结果,所确定出的当前拍摄场景的照片所使用的拍照通路,能够符合用户对图像质量的要求。
Description
技术领域
本申请涉及计算机技术领域,尤其涉及一种图像处理方法、电子设备及计算机存储介质。
背景技术
一些手机、平板等电子设备为了提高照片质量,在电子设备中预配置了拍照通路的选取策略。在拍照过程中,电子设备根据当前检测到的场景信息,采用选取策略决策出当前的拍照通路(具体包括拍照时使用的镜头、拍照时使用的各种算法组合等),然后响应于拍照操作,使用决策出的拍照通路,处理摄像头采集到的图像,得到最终的照片。
然而,个别情况下,由于选取策略配置得不合理、检测到的场景信息不够准确、等原因,使用选取策略决策出的拍照通路,不能够处理得到高质量的照片,无法满足用户想要拍摄得到高画质照片的需求。
发明内容
本申请提供了一种图像处理方法、电子设备及计算机存储介质,目的在于拍摄得到高画质照片。
为了实现上述目的,本申请提供了以下技术方案:
第一方面,本申请提供了一种图像处理方法,应用于电子设备,图像处理方法包括:
响应于拍照操作,生成多个拍照通路的输出图像。其中,拍照通路的输出图像可以理解为是下述的图6和图9中提及的采样区域对应的多个处理后区域、以及图8中提及的拍照通路对应的初始图像的统称。拍照通路的输出图像至少包括当前拍摄场景的部分内容信息,不同拍照通路所使用的镜头或者图像处理算法(与下述提及的拍照算法是同一个含义)的组合不同。对每一个拍照通路的输出图像进行图像质量评价,得到每一个输出图像的评价结果;输出图像的评价结果用于说明输出图像的图像质量。然后根据所有输出图像的评价结果,确定出当前拍摄场景的照片。
本申请实施例中,响应于拍照操作之后,生成了多个拍照通路的输出图像,然后通过对每一个拍照通路的输出图像进行图像质量评价,得到每一个输出图像的评价结果,由于输出图像的评价结果用于说明输出图像的图像质量,进而能够根据所有输出图像的评价结果,从中可以确定出使用哪个拍照通路能够得到符合用户的高图像质量需求的图像,进而将当前符合用户的高图像质量需求的拍照通路处理得到的照片,确定为当前拍摄场景的照片。确定出的拍摄场景的照片是根据所有拍照通路的输出图像的评价结果确定的,因此能够符合用户的高图像质量需求。而不像现有技术一样使用的是预先决策好的、可能不符合高图像质量需求的拍照通路。
在一种可能的实现方式中,响应于拍照操作,生成多个拍照通路的输出图像,包括:
响应于拍照操作,生成当前拍摄场景的初始图像(例如可以是图6的步骤S603中提及的初始图像、图9中的步骤S902所生成的初始图像),对初始图像进行采样,得到初始图像的多个采样区域。针对每一个采样区域,对采样区域分别使用多个拍照通路的图像处理算法进行处理,得到采样区域在每一个拍照通路的输出图像。
在另一种可能的实现方式中,根据所有输出图像的评价结果,确定出当前拍摄场景的照片,包括:
根据所有输出图像的评价结果,确定出目标拍照通路。然后通过目标拍照通路处理初始图像,得到当前拍摄场景的照片(在下述实施例中可简称为照片)。本申请实施例中的照片可以理解为是最终存储到图库应用中的图像。
在另一种可能的实现方式中,根据所有输出图像的评价结果,确定出目标拍照通路,包括:
针对每一个采样区域,根据采样区域在每一个拍照通路的输出图像的评价结果,确定出采样区域的备选拍照通路。从所有采样区域的的备选拍照通路中,选取出目标拍照通路。
在另一种可能的实现方式中,针对每一个采样区域,根据采样区域在每一个拍照通路的输出图像的评价结果,确定出采样区域的备选拍照通路,包括:
针对每一个采样区域,从采样区域在所有拍照通路的输出图像中,选取出评价结果符合预设标准的输出图像,或者选取出评价结果所说明的图像质量最高的输出图像。然后将选取出的输出图像所使用的拍照通路,确定为采样区域的备选拍照通路。其中,从所有采样区域的的备选拍照通路中,选取出目标拍照通路,包括:从所有采样区域的的备选拍照通路中,选取出数量最多的备选拍照通路,作为目标拍照通路。预设标准可以设定为是图像质量等级大于阈值。
在另一种可能的实现方式中,生成多个拍照通路的输出图像之前,还包括:
获取当前拍摄场景的场景信息,根据当前拍摄场景的场景信息,确定出多个拍照通路。
在另一种可能的实现方式中,若拍照通路的输出图像包括当前拍摄场景的所有内容信息,则根据所有输出图像的评价结果,确定出当前拍摄场景的照片,包括:
从所有输出图像的评价结果中,选取出评价结果符合预设标准的输出图像,或者选取出评价结果所说明的图像质量最高的输出图像,作为当前拍摄场景的照片。
在另一种可能的实现方式中,生成当前拍摄场景的初始图像,包括:
根据当前拍摄场景的场景信息和选取策略,决策出初始拍照通路。然后通过初始拍照通路,生成当前拍摄场景的初始图像。
其中,对初始图像进行采样,得到初始图像的多个采样区域之前,还包括:
对初始图像进行图像质量评价,得到初始图像的评价结果。其中,若初始图像的评价结果不符合预设标准,则执行初始图像进行图像质量评价,得到初始图像的评价结果的步骤。
在另一种可能的实现方式中,对初始图像进行图像质量评价,得到初始图像的评价结果之后,还包括:
若初始图像的评价结果符合预设标准,则将初始图像确定为当前拍摄场景的照片。
在另一种可能的实现方式中,初始图像为默认拍照通路输出的图像,或者图像传感器输出的图像。
在另一种可能的实现方式中,响应于拍照操作,生成多个拍照通路的输出图像之前,还包括:
响应于启动相机应用的操作,显示第一拍照模式下的拍摄界面。拍摄界面包括拍摄控件,拍照操作为对拍摄控件的操作。
本实施例中,响应于启动相机应用的操作后,直接默认显示的是第一拍照模式下的拍摄界面,然后再触发执行后续响应于拍照操作,生成多个拍照通路的输出图像等步骤。
在另一种可能的实现方式中,响应于拍照操作,生成多个拍照通路的输出图像之前,还包括:
响应于切换至第二拍照模式的操作,显示第二拍照模式下的拍摄界面。
本实施例中,仅在第二拍照模式下才能够触发执行后续响应于拍照操作,生成多个拍照通路的输出图像等步骤。
第二方面,本申请提供了一种电子设备,包括:一个或多个处理器和存储器;
存储器与一个或多个处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,电子设备执行如上述第一方面中任一项的图像处理方法。
第三方面,本申请提供了一种计算机存储介质,计算机存储介质包括计算机指令,当计算机指令在电子设备上运行时,使得电子设备中的处理器执行如上述第一方面任意一项的图像处理方法。
应当理解的是,本申请中对技术特征、技术方案、有益效果或类似语言的描述并不是暗示在任意的单个实施例中可以实现所有的特点和优点。相反,可以理解的是对于特征或有益效果的描述意味着在至少一个实施例中包括特定的技术特征、技术方案或有益效果。因此,本说明书中对于技术特征、技术方案或有益效果的描述并不一定是指相同的实施例。进而,还可以任何适当的方式组合本实施例中所描述的技术特征、技术方案和有益效果。本领域技术人员将会理解,无需特定实施例的一个或多个特定的技术特征、技术方案或有益效果即可实现实施例。在其他实施例中,还可在没有体现所有实施例的特定实施例中识别出额外的技术特征和有益效果。
附图说明
图1为本申请提供的拍摄照片的界面示意图;
图2为本申请提供的多种拍照通路下的图像示意图;
图3为本申请提供的一种电子设备生成图像的过程示意图;
图4为本申请提供的一种电子设备的硬件架构图;
图5为本申请提供的一种电子设备的软件架构图;
图6为本申请提供的图像处理方法的流程示意图一;
图7为本申请提供的一种图像采样示意图;
图8为本申请实施例图像处理方法的流程示意图二;
图9为本申请实施例图像处理方法的流程示意图三。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请实施例中,“一个或多个”是指一个、两个或两个以上;“和/或”,描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请实施例涉及的多个,是指大于或等于两个。需要说明的是,在本申请实施例的描述中,“第一”、“第二”等词汇,仅用于区分描述的目的,而不能理解为指示或暗示相对重要性,也不能理解为指示或暗示顺序。
手机、平板等电子设备通常都具有拍照功能。示例性的,以手机为例,手机拍照过程中的界面变化过程可以如图1所示:手机显示如图1的(1)示出的主界面,该主界面上展示了相机、通讯录、电话、信息、时钟、日历、图库等多个应用,用户点击相机应用的图标101,手机响应于用户操作,启动相机应用,进入到如图1的(2)示出的拍摄界面。图1的(2)示出的界面上的取景框102用于实时显示预览图像。该预览图像通过摄像头采集得到。图1的(2)示出的拍摄界面上还显示有工作模式区1021,该工作模式区的三角图标指示当前处于拍照模式下。工作模式区1021中除了拍照模式外,还有录像模式、人像模式、专业模式等其他的工作模式1021,用户可以在工作模式区1021上滑动切换成录像模式、人像模式、专业模式等等。
图1的(2)中还显示有倍率拉伸控件103。该倍率拉伸控件103可以显示为图1的(2)所示的点状分布的控制条,在另一些实施例中也可以是直线形式的控制条。以点状分布的控制条为例,用户可以通过拖动倍率拉伸控件103的位置改变放大倍率。例如图1的(2)中“1×”就是表示当前放大倍率为1倍,用户可以执行图1中的(2)所示的拖动该控件103的操作,使该控件103所显示的放大倍率增加,改变该放大倍率的数值,拍摄出用户希望的大小的风景照片。用户增加放大倍率之后,手机进入到图1的(3)示的界面。
图1的(3)所示出的界面中,倍率拉伸控件103显示放大倍率为1.5倍,手机的取景框103获取到了放大之后的风景图像。用户点击图1的(3)示出的界面上的拍摄控件104,手机响应用户操作,拍摄并处理得到风景照片,进入到图1的(4)示出的界面。图1的(4)中显示的相册控件105中示出拍摄得到的风景照片的缩略图。通过点击相册控件105,则手机进入到图1的(5)示出的风景照片的详情界面。风景照片的详情界面上显示有风景照片。
由于手机等电子设备越来越智能化,电子设备内部在处理照片的过程中可使用的算法逻辑和镜头也是越来越多。以手机为例,手机可选择使用主摄镜头拍照,也可以选择使用长焦镜头拍照。而手机中的图像传感器(Sensor)可以使用Quadra出图格式出图,也可以使用binning出图格式出图。手机中的图像信号处理器(image signal processor,ISP)可以采用超分辨率算法、普通拍照算法等进行照片处理……其中,Quadra出图格式和binning出图格式都是手机内置的相机中可设置(setting)的格式。
针对同一个拍照场景,手机使用不同的拍照通路(可以理解为是镜头和拍照算法的组合)进行处理,最终输出的照片的效果是不相同的。而不同的拍照场景下,拍照效果最佳的拍照通路也是互不相同的。
例如图2所示,针对参考图像上的区域201的图像内容,手机分别使用拍照通路A、拍照通路B以及拍照通路C、拍照通路D以及拍照通路E所处理出的图像,相较于区域201的失真程度不同。拍照通路A处理的照片最接近于区域201。其中,参考照片上的区域201可以理解为是照片效果符合用户需求的照片。而在其他的拍照场景下,则可能是拍照通路B、拍照通路C等其他拍照通路处理得到的照片效果最接近于参考照片。
为了提高照片效果,一些手机中预配置了拍照通路的选取策略,可以通过选取策略自动决策出当前场景下适配的拍照通路,进而处理得到拍照效果不错的照片。示例性的,如图3所示,手机在拍照场景(例如可以是如图1示出的拍照场景)下,使用选取策略生成照片的方案为:当手机启动相机应用,且相机应用工作在拍照模式的场景时(该场景下的界面图可以如前述图1的(2)所示),手机中的处理器通过当前拍照场景的场景信息,采用预配置的选取策略,决策出当前需要使用的拍照通路,然后将决策出的拍照通路通知给ISP和摄像头中的Sensor,进而Sensor可以明确需要使用哪一个镜头的光学图像,以及使用哪种算法出图,而ISP也可以明确处理图像时使用的算法逻辑。其中,拍照场景的场景信息具体可以包括:拍照倍率、拍照场景的光线敏感度、与拍照实物的距离等信息。
具体的,继续参阅图3,当手机接收到拍照操作时(例如用户在图1的(3)示出的界面点击拍摄控件104),物体通过手机摄像头中的镜头生成光学图像投射到摄像头的Sensor上。Sensor(也可以成为感光元件)获取选取策略所决策的镜头上产生的光信号,并采用选取策略所决策的Sensor出图算法,进行光电转换处理,将光信号转换成电信号。之后Sensor将电信号传递给ISP,由ISP转换成数字图像信号,然后ISP采用选取策略所决策的算法逻辑,进行自动曝光控制、自动增益控制、自动白平衡、色彩校正、噪声去除、清晰度调整等处理,最终输出YUV(或者RGB)格式的图像数据。
手机中的处理器(例如GPU)可以利用YUV(或者RGB)格式的图像数据,控制显示屏显示该照片。例如在图1的(4)示出的场景下,用户点击相册控件105时,则可以响应于用户操作,GPU利用YUV(或者RGB)格式的图像数据,控制显示屏显示如图1的(5)示出的界面。
其中,图3仅为示意的结构并不构成对电子设备的具体限定。在另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。例如,ISP也可以包括于GPU中。又例如,还可以包括有数字信号处理器(Digital Signal Processor ,DSP)。
示例性的,预配置的选取策略具体可以是:根据拍照场景当前采用的拍照倍率以及拍照距离,决策出手机选用的镜头。例如,高倍率(例如3.5倍率)的拍摄场景下使用长焦镜头,近距离拍照的场景下使用主摄镜头。还可以根据光线明暗度决策Sensor的出图算法。例如在暗光场景下,Sensor优先使用binning出图格式,高倍率场景下则使用Quadra出图格式。还可以根据当前使用的拍照倍率,决策ISP在清晰度维度的算法。例如,高倍率场景下,ISP在清晰度上的处理优先采用超分辨率算法。
虽然通过预配置的选取策略,可能会决策出适用于当前拍照场景的Sensor出图算法和ISP算法的组合。但个别情况下,由于选取策略配置得不够合理、或者检测到的场景信息不够准确等原因,会导致手机决策出的拍照通路,无法处理出高质量的照片。更进一步的,当用户发现手机处理出的照片效果不佳时,也不能够直接在手机上自适应的调整处理照片的算法、镜头等,进而无法满足用户想要拍摄得到高画质照片的需求。
基于上述技术方案中存在的问题,本申请实施例提出了一种图像处理方法,本申请实施例提供的图像处理方法可以适用于各种电子设备,本申请实施例提出的图像处理方法的详细内容具体可参见下述实施例一、实施例二以及实施例三的描述。
在本申请的一些实施例中,该电子设备可以是手机、平板电脑、可穿戴电子设备、车载电子设备、增强现实(augmented reality,AR)设备、虚拟现实(virtual reality,VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)等具有摄像头的电子设备。
下文以电子设备为手机为例,图4示出了本申请实施例提供的一种电子设备的结构示意图。如图4所示,电子设备可以包括处理器410,外部存储器接口420,内部存储器421,摄像头430,显示屏440。
可以理解的是,本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器410可以包括一个或多个处理单元,例如:本实施例中,处理器410包括图形处理器(graphics processing unit,GPU)和图像信号处理器(image signal processor,ISP)。在另一些实施例中,还可以包括数字信号处理器(digital signal processor,DSP),应用处理器(application processor,AP),控制器,视频编解码器,基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。本实施例中,处理器410用于执行本申请实施例提出的任一图像处理方法,具体可以参阅图6、图8以及图9涉及的图像处理方法的相关描述,此处不再赘述。
外部存储器接口420可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口420与处理器410通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器421可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器410通过运行存储在内部存储器421的指令,从而执行电子设备的各种功能应用以及数据处理。例如,在本实施例中,处理器410可以通过执行存储在内部存储器421中的指令,进行图像处理。
电子设备可以通过ISP,摄像头430,视频编解码器,GPU,显示屏440以及应用处理器等实现拍摄功能。
ISP用于处理摄像头430反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头的图像传感器(Sensor)431上,光信号转换为电信号,图像传感器431将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头430中。本实施例中,ISP针对同一个参数进行优化时,预配置有多种算法。例如ISP中针对清晰度进行优化时,预配置有普通拍照算法和超分辨率算法。
摄像头430包括镜头和感光元件(也为图像传感器),摄像头430用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件(也可以称为图像传感器)。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备可以包括1个或N个摄像头430,N为大于1的正整数。本实施例中,摄像头430中可以包括有多个镜头,例如主摄镜头和场景镜头。摄像头430可以在处理器410的控制下,针对同一个拍摄场景,使用多个不同的拍照通路分别进行处理,得到多个不同的拍照通路下的照片。具体可以参阅图6、图8以及图9涉及的生成照片部分的相关描述,此处不再赘述。
DSP用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样,电子设备可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
电子设备通过GPU,显示屏440,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏440和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器410可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。在一些实施例中,GPU用于生成本申请实施例提出的任一图像处理方法所涉及的照片的显示信息。
显示屏440用于显示图像,视频等。显示屏440包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oled,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备可以包括1个或N个显示屏440,N为大于1的正整数。在一些实施例中,显示屏用于显示本申请实施例提出的任一图像处理方法中生成的照片,具体可以参阅图6、图8以及图9涉及的图像处理方法的相关描述,此处不再赘述。
电子设备的显示屏440上可以显示一系列图形用户界面(graphical userinterface,GUI),这些GUI都是该电子设备的主屏幕。一般来说,电子设备的显示屏440的尺寸是固定的,只能在该电子设备的显示屏440中显示有限的控件。控件是一种GUI元素,它是一种软件组件,包含在应用程序中,控制着该应用程序处理的所有数据以及关于这些数据的交互操作,用户可以通过直接操作(direct manipulation)来与控件交互,从而对应用程序的有关信息进行读取或者编辑。在一些实施例中,显示屏440用于显示本申请实施例提出的任一图像处理方法中生成的照片。
另外,在上述部件之上,运行有操作系统。例如iOS操作系统,Android开源操作系统,Windows操作系统等。在该操作系统上可以安装运行应用程序。
电子设备的操作系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备的软件结构。
图5是本申请实施例的电子设备的软件结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。
应用程序层可以包括一系列应用程序包。如图5所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。例如,在本申请实施例中,相机应用启动之后,用于执行本申请实施例提出的任一图像处理方法。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。如图5所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。例如,在本申请实施例中,在拍照过程时,应用程序框架层可以为应用程序层提供拍照功能相关的API,并为应用程序层提供拍照功能接口管理服务,以实现本申请实施例提出的任一图像处理方法。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(Media Libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如: MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
需要说明的是,本申请实施例虽然以Android系统为例进行说明,但是其基本原理同样适用于基于iOS或Windows等操作系统的电子设备。
实施例一
参阅图6,为解决前述提及的拍照功能中存在的问题,本申请实施例提供了一种图像处理方法,应用于前述本申请实施例提出的电子设备中,该电子设备的相机应用具有一种第二拍照模式,能够自动生成高质量的照片,满足用户的需求。下面以手机为例,描述图6示出的方法中的步骤:
S601、响应于点击相机应用图标的操作,显示拍摄界面,其中拍摄界面用于显示摄像头采集到的图像,拍摄界面包括拍摄控件。
其中,拍摄控件用于拍照或者录制。具体的,手机的显示界面上显示有多个应用图标,其中包括有相机应用的图标。当用户想启动相机应用时,可以点击相机应用的图标,手机接收到点击相机应用的操作之后,启动相机应用,并在显示屏上显示拍摄界面。示例性的,步骤S601中的拍摄界面可以是如图1的(2)示出的拍照模式下的拍摄界面。执行步骤S601的过程可以参见前述图1的(1)和(2)的相关描述,拍照模式下的拍摄界面可以如图1的(2)所示,此处不再赘述。
在一些实施例中,首次启动相机应用并显示拍摄界面时,相机应用可以默认工作于第一拍照模式。第一拍照模式可以理解为是图1示出的场景中的拍照模式,该拍照模式下得到的照片质量普通,适用于对照片质量没有过多要求的用户。具体的,第一拍照模式的工作过程和原理可以参考前述图1中的拍照模式的相关描述,此处不再赘述。
其中,触发显示拍摄界面的操作方式有很多,点击相机应用仅是其中一种触发操作,还可以语音启动相机应用,触发显示拍摄界面。还可以是语音触发、滑动触发等操作方式触发显示拍摄界面,也可以是通过触摸手机屏幕上特定的控件、按压特定的物理按键或按键组合、输入语音、隔空手势等方式触发显示拍摄界面。本申请实施例对于启动相机应用,进入到拍摄界面的操作方式不作限制。
在一些实施例中,拍摄界面显示摄像头采集到的图像的过程和原理可以参照前述对图4中的摄像头430以及显示屏440的相关介绍,此处不再赘述。在一些实施例中,显示拍摄界面的过程中所使用的拍照通路可以是一个默认的拍照通路。由于拍摄界面需要实时显示摄像头采集的图像,使用默认的拍照通路可以减少运算量。在另一些实施例中,也可以是使用前述提及的选取策略决策出拍照通路之后,再使用决策出的拍照通路生成图像。本申请实施例对于生成拍摄界面上的图像的拍照通路不做限制。
其中,本申请实施例中提及的拍照通路均可以理解为是生成照片过程中使用到的硬件和算法逻辑的组合(即镜头以及拍照算法的组合),不同的拍照通路有不同的输入图、不同的算法、以及不同的处理模式等。
S602、响应于滑动至第二拍照模式的操作,进入第二拍照模式,其中第二拍照模式用于自动生成高质量的照片。
本申请实施例中,在相机应用中新增了第二拍照模式,该第二拍照模式用于生成高质量照片,以满足用户对照片的高质量需求。
具体的,相机应用可以预配置有两种用于拍照的模式,一种是第一拍照模式,另一种是第二拍照模式。第一拍照模式和第二拍照模式可以均显示在拍摄界面上。例如可以是在拍摄界面上显示工作模式区,工作模式区中包括了第一拍照模式和第二拍照模式,具体的,工作模式区显示第一拍照模式和第二拍照模式的方式可以参考前述图1的(2)示出的工作模式区1021,此处不再赘述。在一些实施例中,执行步骤S602的过程可以是,用户在工作模式区上从第一拍照模式滑动至第二拍照模式,进而手机响应于用户的操作,进入到第二拍照模式。其中,第一拍照模式和第二拍照模式在工作模式区上的名称可以任意设定,本申请实施例对此不作赘述。
在一些实施例中,也可以是在执行步骤S601时默认进入到第二拍照模式,而不需要用户操作触发。在另一些实施例中,还可以是语音触发、滑动触发等操作方式触发进入第二拍照模式,也可以是通过触摸手机屏幕上特定的控件、按压特定的物理按键或按键组合、输入语音、隔空手势等方式触发进入第二拍照模式,本申请实施例对于进入第二拍照模式的具体方式不作限制。
S603、响应于点击拍摄控件的操作,生成初始图像。
其中,本实施例中,若具有多个镜头,则生成的初始图像包括了每一个镜头对应的初始图像。具体的,初始图像的生成过程为:针对手机包括的每一个镜头,利用该镜头采集的光学图像,生成该镜头对应的初始图像。例如,手机中具有主摄镜头和长焦镜头,则根据主摄镜头采集到的光学图像,生成主摄镜头对应的初始图像。并根据长焦镜头采集到的光学头像,生成长焦镜头对应的初始图像。由于拍摄场景相同,不同镜头所生成的初始图像内容也是相同的。
其中,初始图像是具有当前拍摄场景的内容信息的。例如当前拍摄场景拍摄的是湖边风景,那么初始图像中就具有湖边风景的内容信息(即具有湖边风景的图像特征)。步骤S603中所生成的初始图像只需具有当前拍摄场景的内容信息即可,对于初始图像的清晰度、美化程度、格式等不做限制。
例如,初始图像可以是使用一个计算量最小的拍照通路所生成的图像。具体的,针对每一个镜头,使用该镜头所在的运算量最小的拍照通路,处理该镜头采集到的光学图像,最终得到该镜头对应的初始图像。由于生成初始图像的拍照通路运算量较小,因此生成初始图像不会给处理器带来过来的负载,也不存在较长的耗时。在另一些实施例中,也可以使用该镜头所在的其他的拍照通路生成初始图像,对本申请实施例对于该镜头对应的拍照通路不做限制。其中,有关通过拍照通路生成图像的过程,可以参考前述图3中涉及到拍照通路的相关内容,此处不再赘述。
又例如,初始图像可以是Sensor的出图。具体的,针对每一个镜头,Sensor接收了该镜头输出的光学图像之后,使用任意一种出图算法(例如quadra出图算法或binning出图算法),计算得到RAW图(即初始图像)。使用Sensor的出图作为初始图像,既保证能够获取到当前拍摄场景的内容信息,又不需要耗费过多的运算量。
需要说明的是,利用镜头采集的光学图像,生成该镜头对应的初始图像的方式有很多,只需在生成的初始图像中能够具有该拍摄场景的内容信息即可,本申请实施例对于生成初始图像的形式不做限制。
还需要说明的是,由于步骤S603中得到的初始图像的目的仅用于通过镜头获取到当前拍摄场景的内容信息,而不直接用于最终的显示,因此可以理解为步骤S603中得到的是初始图像的图像数据。
其中,除了可以是点击拍摄控件的操作触发生成初始图像,还可以是语音触发、滑动触发等操作方式触发生成初始图像,也可以是通过触摸手机屏幕上特定的控件、按压特定的物理按键或按键组合、输入语音、隔空手势等方式触发生成初始图像,本申请实施例对于触发生成初始图像的具体方式不作限制。
S604、在初始图像上进行多处采样,得到初始图像的多个采样区域。
其中,采样可以理解为是对初始图像提取小部分的图像区域。在初始图像上进行多处采样则可以理解为是在初始图像上的多个位置处分别提取图像区域,而提取出的图像区域在本实施例中称为初始图像的采样区域。多个采样区域的尺寸可以是完全相同的,也可以是不相同的。而采样区域的位置可以是随机的,也可以是特定选取的均匀分布的多个位置。本申请实施例对于多个采样区域的大小、位置、尺寸、采样区域的形状等不作限制。例如,如图7所示,在主摄镜头对应的初始图像701上随机采样出了6个采样区域7011。
需要说明的是,为了对比不同镜头下的同一个采样区域的处理效果,本实施例中对不同镜头对应的初始图像所进行的采样处理都是一致的。例如若在主摄镜头对应的初始图像上随机采样出了6个采样区域,那么也要在长焦镜头对应的初始图像采集相同的6个采样区域。
S605、针对每一个采样区域,对该采样区域进行分别使用多个拍照通路的算法进行处理,得到该采样区域对应的多个处理后区域。
其中,采样区域对应的处理后区域可以理解为是使用拍照通路的算法,对采样区域进行处理之后的区域。拍照通路包括镜头和拍照过程中使用的算法(简称拍照算法)。不同的镜头和算法的组合,形成不同的拍照通路。由前述对图1、图2以及图3部分的拍照通路的相关描述可知,手机中具有多个拍照通路。每一个拍照通路均可用于处理图像,但在不同拍摄场景下,不同拍照通路处理出的图像的效果不同。因此,为了得到效果最佳的照片,手机先针对每一个采样区域,对该采样区域分别使用多个拍照通路进行处理,进而得到采样区域对应的多个处理后区域。该采样区域所对应的不同的处理后区域,使用的拍照通路是不同的。进而通过评判该采样区域对应的每一个处理后区域的图像效果,可以确定在当前拍摄场景下哪一个拍照通路处理出的图像效果最佳。
需要说明的是,由于步骤S604中最终得到的所有的采样区域中,包括在不同镜头下的同一个采样区域,因此,步骤S605中得到的采样区域对应的多个处理后区域,也是包括了该采样区域在不同镜头所在的拍照通路的处理后的区域,即该采样区域对应的多个处理后区域是包括了所有拍照通路对该采样区域的处理后区域。
在另一些实施例中,执行步骤S605时也可以不使用所有的拍照通路分别处理初始图像,即可以仅选取出部分拍照通路执行步骤S605。示例性的,可以根据当前拍摄场景的场景信息,确定出多个不适配于当前场景的拍照通路。例如,在暗光场景(即光线亮度低于预设值)下,Sensor使用binning出图算法明显优于Quadra出图格式,因此可以不使用quadra出图算法所在的拍照通路执行步骤S605,进而能够减小执行步骤S605时的运算量,减轻生成照片的处理时长。
S606、针对每一个采样区域,对该采样区域对应的每一个处理后区域分别进行图像质量评价(Image Quality Assessment,IQA),得到每一个处理后区域的评价结果。
其中,处理后区域的评价结果用于说明处理后区域的图像质量的高低。IQA的具体实施方式有很多种,例如可以用作神经网络中的损失函数来度量处理后区域的质量,进而得到处理后区域的评价结果。也可以是借助均方误差来计算处理后区域的失真情况,进而得到处理后区域的评价结果,还可以是采用使用拉普拉斯、熵、或者神经网络等方式进行图像质量评价,本申请实施例对于IQA的具体实施方式不做限制。
需要说明的是,本申请实施例中得到的每一个处理后区域的评价结果,可以理解为是该采样区域对应的每一个处理后区域的评价结果。处理后区域的评价结果可以说明该处理后区域使用某一个拍照通路之后的图像效果,进而能够给当前使用哪一个拍照通路生成最终照片提供参考。
S607、根据所有处理后区域的评价结果,确定出目标拍照通路。
其中,目标拍照通路为手机确定出的当前用于生成照片的拍照通路。由于所有处理后区域的评价结果,能够反映出所有拍照通路在处理采样区域时的图像效果,因此,根据所有处理后区域的评价结果,能够确定出图像效果最好的(也可以是图像效果符合标准的)拍照通路。
示例性的,执行步骤S607的方式可以是,针对每一个采样区域,从该采样区域对应的每一个处理后区域的评价结果中,选取出评价结果最好(即图像质量最高)的处理后图像,然后将该处理后的图像所使用的拍照通路,确定为备选拍照通路。进而可以得到每一个采样区域所确定出的备选拍照通路。然后从所有采样区域对应的备选拍照通路中,选取出占比最大(或者说数量最多)的备选拍照通路,作为目标拍照通路,例如,6个采样区域中,有5个采样区域都是使用拍照通路A时的评价结果最好,则可确定出拍照通路A为目标拍照通路。
S608、使用目标拍照通路处理初始图像,得到照片。
其中,通过目标拍照通路生成照片的过程和原理,可以参考前述图3中的拍照通路生成照片的过程和原理,此处不再赘述。
在步骤S608中得到照片之后,可以将照片存储在图库应用(或者说是相册中),用户可以通过启动相册或者图库应用查看该照片。
由于本申请实施例中是通过多个处理后区域的评价结果的验证,而确定出的目标拍照通路,确定出的目标拍照通路对于多个采样区域的处理效果是最佳的,因此可以验证出该目标拍照通路适用于当前的拍摄场景,进而使用目标拍照通路处理初始图像,所得到的照片,能够具有高图像质量。
实施例二
参阅图8,本申请实施例还提供了另一种图像处理方法,应用于前述本申请实施例提出的电子设备中,图8示出的图像处理方法中生成照片的方式区别于图6的方法,具体包括以下步骤:
S801、响应于点击相机应用图标的操作,显示拍摄界面,其中拍摄界面用于显示摄像头采集到的图像,拍摄界面包括拍摄控件。
其中,步骤S801的执行过程和原理可以参考图6的步骤S601,此处不再赘述。
S802、响应于滑动至第二拍照模式的操作,进入第二拍照模式,其中第二拍照模式用于自动生成高质量的照片。
其中,步骤S802的执行过程和原理可以参考图6的步骤S602,此处不再赘述。
S803、响应于点击拍摄控件的操作,生成每一个拍照通路对应的初始图像。
具体的,执行步骤S803的过程为,在接收到点击拍摄控件的操作之后,响应于点击拍摄控件的操作,分别通过每一个拍照通路拍摄当前的拍摄场景,进而得到每一个拍照通路对应的初始图像。不同拍照通路对应的初始图像的内容信息是一致的,都是相同的拍摄场景,但是不同拍照通路对应的初始图像的图像效果则有所区别,因此,后续可以通过对每一个拍照通路对应的初始图像进行质量评估,选取出质量最佳的图像,确定为最终的照片。
其中,除了可以是点击拍摄控件的操作触发生成初始图像,还可以是语音触发、滑动触发等操作方式触发生成初始图像,也可以是通过触摸手机屏幕上特定的控件、按压特定的物理按键或按键组合、输入语音、隔空手势等方式触发生成初始图像,本申请实施例对于触发生成初始图像的具体方式不作限制。
S804、每一个拍照通路对应的初始图像分别进行IQA,得到每一个初始图像的评价结果。
其中,初始图像的评价结果用于说明初始图像的质量的高低。有关IQA的相关介绍可以参考前述步骤S606的相关内容,此处不再赘述。
S805、根据每一个初始图像的评价结果,从所有初始图像中确定出照片。
由于初始图像的评价结果能够说明初始图像的质量的高低,而不同的初始图像是通过不同的拍照通路处理得到的,不同拍照通路在当前拍摄场景下对图像的处理效果有所区别。通过每一个初始图像的评价结果,能够挑选出评价结果最优的初始图像作为最终存储在图库应用中的照片。也可以是选取出评价结果符合预设标准的初始图像,作为照片。其中,预设标准可以理解为是图像质量的标准,当图像符合预设标准时,则认为图像质量满足用户对高质量图像的需求,当不符合图像质量的标准时则不符合高质量需求。
例如,若初始图像的评价结果为失真程度,且预设标准为失真程度低于预设值。从所有初始图像的评价结果中,挑选出符合预设标准的初始图像,若符合预设标准的初始图像有多张,则选取出其中一张作为最终存储的照片。例如可以选取出文件大小最小的、或者评价结果最好、或者随机选取出照片。
确定出照片后,可以将该照片存储在图库应用或者相册中,而其他未被选作照片的初始图像则可以删除清空。
本实施例中,在当前拍摄场景下选择的照片所使用的拍照通路并不是固定的,而是根据不同拍照通路下得到的初始图像的评价结果来确定的,保障了照片的图像质量能够满足用户需求。
实施例三
参阅图9,为解决前述提及的拍照功能中存在的问题,本申请实施例提供了另一种图像处理方法,应用于前述本申请实施例提出的电子设备中,该电子设备的相机应用在前述图1、图2以及图3所描述的拍照模式(以下统称为第一拍照模式)上进行了改进,以实现确保生成高质量的照片,满足用户的需求。下面以手机为例,描述图9示出的方法中的步骤:
S901、响应于点击相机应用图标的操作,显示拍摄界面,其中拍摄界面用于显示摄像头采集到的图像,拍摄界面包括拍摄控件。
其中,显示拍摄界面时相机应用默认工作于第一拍照模式。步骤S901的执行过程和原理可以参考图6的步骤S601,此处不再赘述。
S902、响应于点击拍摄控件的操作,通过选取策略决策出的拍照通路,生成初始图像。
具体的,通过预配置的选取策略决策出拍照通路,并使用决策出的拍照通路生成初始图像的过程,可以参考前述图1、图2、以及图3的相关描述,此处不再赘述。
S903、对初始图像进行IQA,得到初始图像的评价结果。
其中,步骤S903的执行过程和原理,可以参考步骤S804,区别点在于S804中所对所有拍照通路对应的初始图像进行IQA,而步骤S903仅对决策出的拍照通路所生成的初始图像进行IQA。
S904、判断初始图像的评价结果是否符合预设标准。
若初始图像的评价结果符合预设标准,则执行步骤S905,若初始图像的评价结果不符合预设标准,则执行步骤S906。有关预设标准的相关介绍可以参考步骤S805中提及的相关内容,此处不再赘述。
当初始图像的评价结果不符合预设标准时,说明当前决策出的拍照通路的处理效果不佳,需要重新使用其他的拍照通路来处理生成照片。当初始图像的评价结果符合预设标准时,则直接使用初始图像作为照片,即可满足用户的高质量照片的需求。
S905、将初始图像确定为照片。
由于初始图像符合预设标准,说明当前决策出的拍照通路适用于当前的场景,因此可以将初始图像确定为最终存储到图库中的照片。
S906、在初始图像上进行多处采样,得到初始图像的多个采样区域。
其中,步骤S906的执行过程和原理可以参考前述的步骤S604,此处不再赘述。
S907、针对每一个采样区域,对该采样区域进行分别使用多个拍照通路的算法进行处理,得到该采样区域对应的多个处理后区域。
其中,步骤S907的执行过程和原理可以参考前述的步骤S605,此处不再赘述。
S908、针对每一个采样区域,对该采样区域对应的每一个处理后区域分别进行图像质量评价(Image Quality Assessment,IQA),得到每一个处理后区域的评价结果。
其中,步骤S908的执行过程和原理可以参考前述的步骤S606,此处不再赘述。
S909、根据所有处理后区域的评价结果,确定出目标拍照通路。
其中,步骤S909的执行过程和原理可以参考前述的步骤S607,此处不再赘述。
S910、使用目标拍照通路处理初始图像,得到照片。
其中,步骤S910的执行过程和原理可以参考前述的步骤S608,此处不再赘述。
本实施例中,该方式生成照片的耗时较短,当初始图像的评价结果符合预设标准时则直接将初始图像确定为照片,生成照片的耗时较短。当初始图像的评价结果不符合预设标准时,则重新通过IQA验证不同拍照通路得到的处理后区域的图像质量,以确定出能够满足图像质量需求的目标拍照通路,进而再使用目标拍照通路处理初始图像,得到照片,保障了照片的图像质量。
需要说明的是,步骤S906至步骤S910仅仅只是其中一种更换其他的拍照通路生成照片的方式,在另一些实施例中,也可以是依次使用预配置的多个拍照通路处理初始图像,然后对处理后的初始图像进行IQA,当IQA满足预设标准时,则将该处理后的初始图像作为最终的照片。
由前述对实施例一、二、以及三的描述可知,本实施例中通过遍历多个拍照通路在当前拍摄场景下的图像,由此确定出IQA评价结果能够符合用户需求的拍照通路,进而使用该拍照通路生成照片,由此保证了照片的高质量。其中,遍历多个拍照通路在当前拍摄场景下的图像由此确定出IQA评价结果能够符合用户需求的拍照通路的方式有很多,包括但不限于本实施例所提出的内容。
还需要说明的是,本申请提出的任一图像处理方法所得到的照片,均可以存储在图库应用中(或者是相册中),用户通过打开图库应用的相册,即可查看到手机显示的高质量的照片。
本实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中包括指令,当上述指令在电子设备上运行时,使得该电子设备执行图6、图8或者图9中的相关方法步骤,以实现上述实施例中的方法。
本实施例还提供了一种可读存储介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现如前述任一所述的时间片的配置方法。
本实施例还提供了一种包含指令的计算机程序产品,当该计算机程序产品在电子设备上运行时,使得该电子设备执行如前述任一实施例提出的图像处理方法。
本实施例还提供了一种控制设备,所述控制设备包括处理器和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述控制设备执行前述任一实施例提出的图像处理方法。该控制设备可以是一个集成电路IC,也可以是一个片上系统SOC。其中集成电路可以是通用集成电路,也可以是一个现场可编程门阵列FPGA,也可以是一个专用集成电路ASIC。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本实施例所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本实施例各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何在本申请揭露的技术范围内的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种图像处理方法,其特征在于,应用于电子设备,所述图像处理方法包括:
响应于拍照操作,生成多个拍照通路的输出图像;所述拍照通路的输出图像至少包括当前拍摄场景的部分内容信息;不同拍照通路所使用的镜头或者图像处理算法的组合不同;
对每一个拍照通路的输出图像进行图像质量评价,得到每一个所述输出图像的评价结果;所述输出图像的评价结果用于说明所述输出图像的图像质量;
根据所有输出图像的评价结果,确定出当前拍摄场景的照片。
2.根据权利要求1所述的方法,其特征在于,所述响应于拍照操作,生成多个拍照通路的输出图像,包括:
响应于拍照操作,生成当前拍摄场景的初始图像;
对所述初始图像进行采样,得到所述初始图像的多个采样区域;
针对每一个所述采样区域,对所述采样区域分别使用多个拍照通路的图像处理算法进行处理,得到所述采样区域在每一个所述拍照通路的输出图像。
3.根据权利要求2所述的方法,其特征在于,所述根据所有输出图像的评价结果,确定出当前拍摄场景的照片,包括:
根据所有输出图像的评价结果,确定出目标拍照通路;
通过所述目标拍照通路处理所述初始图像,得到当前拍摄场景的照片。
4.根据权利要求3所述的方法,其特征在于,所述根据所有输出图像的评价结果,确定出目标拍照通路,包括:
针对每一个所述采样区域,根据所述采样区域在每一个所述拍照通路的输出图像的评价结果,确定出所述采样区域的备选拍照通路;
从所有所述采样区域的的备选拍照通路中,选取出目标拍照通路。
5.根据权利要求4所述的方法,其特征在于,所述针对每一个所述采样区域,根据所述采样区域在每一个所述拍照通路的输出图像的评价结果,确定出所述采样区域的备选拍照通路,包括:
针对每一个所述采样区域,从所述采样区域在所有拍照通路的输出图像中,选取出评价结果符合预设标准的输出图像,或者选取出评价结果所说明的图像质量最高的输出图像;
将选取出的输出图像所使用的拍照通路,确定为所述采样区域的备选拍照通路;
所述从所有所述采样区域的的备选拍照通路中,选取出目标拍照通路,包括:
从所有采样区域的的备选拍照通路中,选取出数量最多的备选拍照通路,作为目标拍照通路。
6.根据权利要求1所述的方法,其特征在于,所述生成多个拍照通路的输出图像之前,还包括:
获取当前拍摄场景的场景信息;
根据当前拍摄场景的场景信息,确定出多个拍照通路。
7.根据权利要求1所述的方法,其特征在于,若所述拍照通路的输出图像包括当前拍摄场景的所有内容信息,则所述根据所有输出图像的评价结果,确定出当前拍摄场景的照片,包括:
从所有输出图像的评价结果中,选取出评价结果符合预设标准的输出图像,或者选取出评价结果所说明的图像质量最高的输出图像,作为当前拍摄场景的照片。
8.根据权利要求2所述的方法,其特征在于,所述生成当前拍摄场景的初始图像,包括:
根据当前拍摄场景的场景信息和选取策略,决策出初始拍照通路;
通过初始拍照通路,生成当前拍摄场景的初始图像;
所述对所述初始图像进行采样,得到所述初始图像的多个采样区域之前,还包括:
对所述初始图像进行图像质量评价,得到所述初始图像的评价结果;
其中,若所述初始图像的评价结果不符合预设标准,则执行所述初始图像进行图像质量评价,得到所述初始图像的评价结果的步骤。
9.根据权利要求8所述的方法,其特征在于,所述对所述初始图像进行图像质量评价,得到所述初始图像的评价结果之后,还包括:
若所述初始图像的评价结果符合预设标准,则将所述初始图像确定为当前拍摄场景的照片。
10.根据权利要求2至5任一所述的方法,其特征在于,所述初始图像为默认拍照通路输出的图像,或者图像传感器输出的图像。
11.根据权利要求1所述的方法,其特征在于,所述响应于拍照操作,生成多个拍照通路的输出图像之前,还包括:
响应于启动相机应用的操作,显示第一拍照模式下的拍摄界面;所述拍摄界面包括拍摄控件;所述拍照操作为对所述拍摄控件的操作。
12.根据权利要求11所述的方法,其特征在于,所述响应于拍照操作,生成多个拍照通路的输出图像之前,还包括:
响应于切换至第二拍照模式的操作,显示第二拍照模式下的拍摄界面。
13.一种电子设备,其特征在于,包括:一个或多个处理器和存储器;
所述存储器与所述一个或多个处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述一个或多个处理器执行所述计算机指令时,所述电子设备执行如权利要求1至12中任一项所述的图像处理方法。
14.一种计算机存储介质,其特征在于,所述计算机存储介质包括计算机指令,当所述计算机指令在电子设备上运行时,使得所述电子设备中的处理器执行如权利要求1至12任意一项所述的图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210496141.1A CN114640798B (zh) | 2022-05-09 | 2022-05-09 | 图像处理方法、电子设备及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210496141.1A CN114640798B (zh) | 2022-05-09 | 2022-05-09 | 图像处理方法、电子设备及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114640798A true CN114640798A (zh) | 2022-06-17 |
CN114640798B CN114640798B (zh) | 2022-10-04 |
Family
ID=81953336
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210496141.1A Active CN114640798B (zh) | 2022-05-09 | 2022-05-09 | 图像处理方法、电子设备及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114640798B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116055712A (zh) * | 2022-08-16 | 2023-05-02 | 荣耀终端有限公司 | 成片率确定方法、装置、芯片、电子设备及介质 |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008211674A (ja) * | 2007-02-27 | 2008-09-11 | Kyocera Corp | 画像信号処理方法及び装置 |
CN106471797A (zh) * | 2014-07-10 | 2017-03-01 | 英特尔公司 | 用于加速相机控制算法的平台架构 |
CN108391035A (zh) * | 2018-03-26 | 2018-08-10 | 华为技术有限公司 | 一种拍摄方法、装置与设备 |
CN109981969A (zh) * | 2017-12-28 | 2019-07-05 | 福州瑞芯微电子股份有限公司 | 一种智能电子设备和图像处理单元、图像处理方法 |
CN110536057A (zh) * | 2019-08-30 | 2019-12-03 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN111327824A (zh) * | 2020-03-02 | 2020-06-23 | Oppo广东移动通信有限公司 | 拍摄参数的选择方法、装置、存储介质及电子设备 |
CN111343386A (zh) * | 2018-12-19 | 2020-06-26 | 北京小米移动软件有限公司 | 图像信号处理方法及装置、电子设备、存储介质 |
CN112004020A (zh) * | 2020-08-19 | 2020-11-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN112019739A (zh) * | 2020-08-03 | 2020-12-01 | RealMe重庆移动通信有限公司 | 一种拍摄控制方法、装置、电子设备及存储介质 |
CN112449150A (zh) * | 2019-09-04 | 2021-03-05 | 江西晶润光学有限公司 | 影像系统及其控制方法 |
CN113347334A (zh) * | 2021-05-31 | 2021-09-03 | 惠州Tcl移动通信有限公司 | 一种移动终端无损拍照方法、装置、终端设备及存储介质 |
CN113497881A (zh) * | 2020-03-20 | 2021-10-12 | 华为技术有限公司 | 图像处理方法及装置 |
CN114022367A (zh) * | 2021-09-29 | 2022-02-08 | 大连中科创达软件有限公司 | 一种图像质量调优方法、装置、电子设备和介质 |
US20220094846A1 (en) * | 2019-01-31 | 2022-03-24 | Huawei Technologies Co., Lid. | Method for selecting image based on burst shooting and electronic device |
-
2022
- 2022-05-09 CN CN202210496141.1A patent/CN114640798B/zh active Active
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008211674A (ja) * | 2007-02-27 | 2008-09-11 | Kyocera Corp | 画像信号処理方法及び装置 |
CN106471797A (zh) * | 2014-07-10 | 2017-03-01 | 英特尔公司 | 用于加速相机控制算法的平台架构 |
CN109981969A (zh) * | 2017-12-28 | 2019-07-05 | 福州瑞芯微电子股份有限公司 | 一种智能电子设备和图像处理单元、图像处理方法 |
CN108391035A (zh) * | 2018-03-26 | 2018-08-10 | 华为技术有限公司 | 一种拍摄方法、装置与设备 |
CN111343386A (zh) * | 2018-12-19 | 2020-06-26 | 北京小米移动软件有限公司 | 图像信号处理方法及装置、电子设备、存储介质 |
US20220094846A1 (en) * | 2019-01-31 | 2022-03-24 | Huawei Technologies Co., Lid. | Method for selecting image based on burst shooting and electronic device |
CN110536057A (zh) * | 2019-08-30 | 2019-12-03 | Oppo广东移动通信有限公司 | 图像处理方法和装置、电子设备、计算机可读存储介质 |
CN112449150A (zh) * | 2019-09-04 | 2021-03-05 | 江西晶润光学有限公司 | 影像系统及其控制方法 |
CN111327824A (zh) * | 2020-03-02 | 2020-06-23 | Oppo广东移动通信有限公司 | 拍摄参数的选择方法、装置、存储介质及电子设备 |
CN113497881A (zh) * | 2020-03-20 | 2021-10-12 | 华为技术有限公司 | 图像处理方法及装置 |
CN112019739A (zh) * | 2020-08-03 | 2020-12-01 | RealMe重庆移动通信有限公司 | 一种拍摄控制方法、装置、电子设备及存储介质 |
CN112004020A (zh) * | 2020-08-19 | 2020-11-27 | 北京达佳互联信息技术有限公司 | 图像处理方法、装置、电子设备及存储介质 |
CN113347334A (zh) * | 2021-05-31 | 2021-09-03 | 惠州Tcl移动通信有限公司 | 一种移动终端无损拍照方法、装置、终端设备及存储介质 |
CN114022367A (zh) * | 2021-09-29 | 2022-02-08 | 大连中科创达软件有限公司 | 一种图像质量调优方法、装置、电子设备和介质 |
Non-Patent Citations (1)
Title |
---|
吴迪: ""星光级技术"对弈正当时", 《中国公共安全》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116055712A (zh) * | 2022-08-16 | 2023-05-02 | 荣耀终端有限公司 | 成片率确定方法、装置、芯片、电子设备及介质 |
CN116055712B (zh) * | 2022-08-16 | 2024-04-05 | 荣耀终端有限公司 | 成片率确定方法、装置、芯片、电子设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN114640798B (zh) | 2022-10-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114205522B (zh) | 一种长焦拍摄的方法及电子设备 | |
AU2010257231B2 (en) | Collaborative image capture | |
US20230217097A1 (en) | Image Content Removal Method and Related Apparatus | |
CN111508039B (zh) | 一种墨水屏的文字处理方法及通信终端 | |
CN115689963B (zh) | 一种图像处理方法及电子设备 | |
CN113329176A (zh) | 应用于智能终端的相机的图像处理方法及相关装置 | |
CN114926351B (zh) | 图像处理方法、电子设备以及计算机存储介质 | |
CN113810588B (zh) | 一种图像合成方法、终端及存储介质 | |
EP4171002A1 (en) | Method for image snapshot in video recording, and electronic device | |
CN114640798B (zh) | 图像处理方法、电子设备及计算机存储介质 | |
CN116916151B (zh) | 拍摄方法、电子设备和存储介质 | |
CN113709355B (zh) | 滑动变焦的拍摄方法及电子设备 | |
EP4284009A1 (en) | Method for acquiring image, and electronic device | |
CN114449171B (zh) | 控制摄像头的方法、终端设备、存储介质及程序产品 | |
CN114089931B (zh) | 图片打印方法、电子设备及计算机可读存储介质 | |
US20210400192A1 (en) | Image processing apparatus, image processing method, and storage medium | |
CN113542711A (zh) | 一种图像显示方法和终端 | |
CN116363017B (zh) | 图像处理方法及装置 | |
CN117274106B (zh) | 一种照片修复的方法、电子设备及相关介质 | |
CN116757963B (zh) | 图像处理方法、电子设备、芯片系统及可读存储介质 | |
CN116723383B (zh) | 一种拍摄方法及相关设备 | |
WO2023231698A9 (zh) | 一种拍摄方法及相关设备 | |
US20240064397A1 (en) | Video Shooting Method and Electronic Device | |
CN114245011B (zh) | 图像处理方法、用户界面及电子设备 | |
EP4171005A1 (en) | Method for capturing image during filming, and electronic device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20230901 Address after: 201306 building C, No. 888, Huanhu West 2nd Road, Lingang New District, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai Patentee after: Shanghai Glory Smart Technology Development Co.,Ltd. Address before: Unit 3401, unit a, building 6, Shenye Zhongcheng, No. 8089, Hongli West Road, Donghai community, Xiangmihu street, Futian District, Shenzhen, Guangdong 518040 Patentee before: Honor Device Co.,Ltd. |