CN113676674A - 图像处理方法、装置、电子设备及可读存储介质 - Google Patents

图像处理方法、装置、电子设备及可读存储介质 Download PDF

Info

Publication number
CN113676674A
CN113676674A CN202110953654.6A CN202110953654A CN113676674A CN 113676674 A CN113676674 A CN 113676674A CN 202110953654 A CN202110953654 A CN 202110953654A CN 113676674 A CN113676674 A CN 113676674A
Authority
CN
China
Prior art keywords
image
exposure
pixel
generate
exposure parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110953654.6A
Other languages
English (en)
Other versions
CN113676674B (zh
Inventor
黄春成
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Hangzhou Co Ltd
Original Assignee
Vivo Mobile Communication Hangzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Hangzhou Co Ltd filed Critical Vivo Mobile Communication Hangzhou Co Ltd
Priority to CN202110953654.6A priority Critical patent/CN113676674B/zh
Publication of CN113676674A publication Critical patent/CN113676674A/zh
Priority to PCT/CN2022/112986 priority patent/WO2023020532A1/zh
Application granted granted Critical
Publication of CN113676674B publication Critical patent/CN113676674B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals

Abstract

本申请公开了一种图像处理方法、装置、电子设备及可读存储介质,属于图像处理技术领域。该方法包括:对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像;对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,其中,所述第一曝光参数的取值与所述第二曝光参数的取值不同;对所述第一图像和所述第二图像进行图像融合,生成目标图片;其中,所述第一像素与所述第二像素不同;其中,所述第一曝光和所述第二曝光对应同一帧率。

Description

图像处理方法、装置、电子设备及可读存储介质
技术领域
本申请属于图像处理技术领域,具体涉及一种图像处理方法、装置、电子设备及可读存储介质。
背景技术
随着技术的进步,电子设备的拍照功能,在高清晰、高分辨率、高动态(HDR,High-Dynamic Range)、高信噪等方面不断得到改善。其中,HDR可以使图像中可变化信号最大值和最小值的比值比较大,其中,该可变化信号主要体现在亮度上。基于图像中亮度范围的可变化情况,图像的高动态越来越受到用户的关注,目前常见的提升图像动态的方式主要包括以下三种:
方式1、对单帧图像进行处理。例如local tone mapping、global tone mapping等方式;
但是,该单帧图像处理方式,如果使用local tone mapping,则图像上各个块边缘较容易出现问题,而采用global tone mapping则是以牺牲部分输入亮度的灰度值,来提高特定亮度的作用的,影响了图像细节。
方式2、利用同一个模组抓取多帧不同曝光的图像,然后,对多帧图像进行HDR合成;
但是,这种多帧合成的方式中,多帧图像的帧率不同,多帧图像的曝光时机不同,主要是通过将不同时机下进行不同曝光的两帧图像合成一帧图像的方式来完成。这种方式所合成的图像的亮度动态范围受限于可设的积分时间,其中,积分时间影响曝光时间。如果固定在较高帧率,则曝光时间可设范围降低,亮度动态范围提高的幅度也相对比较小;造成多帧图像的的帧率差异大。
方式3、利用不同模组(包含镜头组件与传感器(sensor)组件)分别抓取不同帧图像,然后,对多帧图像进行HDR合成;
但是,这种通过多个模组获取到不同亮度的多帧图像,然后,对多帧图像进行合成的方式,由于sensor组件有差异,那么多帧图像间图像画质会存在一定差异,影响图像质量;而且多模组会造成功耗和成本的增加。
因此,相关技术中提升图像的亮度动态范围的方法普遍存在着影响图像细节和图像质量、亮度动态范围提升的幅度较小、多帧图像的的帧率差异大以及功耗和成本增加的问题。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置、电子设备及可读存储介质,能够解决相关技术中提升图像的亮度动态范围的方法所存在的影响图像细节和图像质量、亮度动态范围提升的幅度较小、多帧图像的的帧率差异大以及功耗和成本增加的问题。
第一方面,本申请实施例提供了一种图像处理方法,该方法包括:
对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像;
对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,其中,所述第一曝光参数的取值与所述第二曝光参数的取值不同;
对所述第一图像和所述第二图像进行图像融合,生成目标图片;
其中,所述第一像素与所述第二像素不同;
其中,所述第一曝光和所述第二曝光对应同一帧率。
第二方面,本申请实施例提供了一种图像处理装置,该装置包括:
曝光模块,用于对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像;以及对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,其中,所述第一曝光参数的取值与所述第二曝光参数的取值不同;
融合模块,用于对所述第一图像和所述第二图像进行图像融合,生成目标图片;
其中,所述第一像素与所述第二像素不同;
其中,所述第一曝光和所述第二曝光对应同一帧率。
第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
在本申请实施例中,对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像;以及对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,其中,对第一像素和第二像素进行曝光所采用的的帧率相同,使得第一图像和第二图像之间不存在帧率差异,区别只在于所采用的曝光参数的取值不同,可以以单帧多种曝光的方式生成不同曝光程度的的不同图像,不论第一图像和第二图像是否同时进行曝光和输出,都可解决传统技术中多帧图像融合因帧率差异引起的亮度动态范围提高的幅度相对比较小的问题,并缩小用于融合的第一图像和第二图像之间的时间差异。另外,由于第一图像和第二图像曝光时的帧率相同,因此,如果第一图像和第二图像同时进行曝光并输出,由于第一图像和第二图像的曝光参数不同,因此,第一图像和第二图像的亮度差异较大,从而可以提升了目标图像的亮度动态范围;此外,该方法使用同一个图像传感器进行操作,不会因摄像模组的组件差异,而导致不同曝光参数的不同图像存在画质差异的问题,从而能够确保图像质量,也不会提升功耗和成本的增加;另外,该方法对第一图像和第二图像进行融合生成目标图像,使得目标图像中保留了原始的图像信息和更多的图像细节,相比于传统技术中的单帧图像处理的方法,图像质量更好。
附图说明
图1是本申请一个实施例的图像处理方法的流程图;
图2是本申请一个实施例的图像传感器的像素布局示意图之一;
图3是本申请一个实施例的图像传感器的像素布局示意图之二;
图4是本申请一个实施例的图像示意图之一;
图5是本申请一个实施例的图像示意图之二;
图6是本申请一个实施例的图像示意图之三;
图7是本申请一个实施例的图像传感器的像素布局示意图之三;
图8是本申请一个实施例的图像传感器的像素布局示意图之四;
图9是本申请一个实施例的图像传感器的像素布局示意图之五;
图10是本申请一个实施例的图像传感器的像素布局示意图之六;
图11是本申请一个实施例的图像传感器的像素布局示意图之七;
图12是本申请一个实施例的图像处理装置的框图;
图13是本申请一个实施例的电子设备的硬件结构示意图;
图14是本申请另一个实施例的电子设备的硬件结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。
下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
参照图1,示出了本申请一个实施例的图像处理方法的流程图,所述方法具体可以包括如下步骤:
步骤101,对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像;
步骤102,对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,其中,所述第一曝光参数的取值与所述第二曝光参数的取值不同;
其中,所述第一像素和第二像素不同。
像素的类型可以包括成像像素指,代红绿蓝(RGB)像素,还包括用于相位对焦的相位(PD,phase detection)像素,其中,PD像素又可以分为左(L)像素和右(R)像素两种像素类型;
因此,第一像素与第二像素可以表示:上述举例的不同像素类型的像素。
其中,PD对焦是通过相位检测实现对焦。具体可以在图像传感器(Sensor)原有的成像像素基础上(如图2所示的图像传感器的成像像素的示意图,成像像素的布局方式不限于图2,成像像素包括GR像素61,R像素62、B像素63、GB像素64,本例中,图像传感器可以应用于拍摄人脸的场景,而人脸对G像素较为敏感,因此可以对G通道设置红绿通道的G像素,即GR像素61,以及蓝绿通道的G像素,即GB像素64),增加一种PD像素,其中,PD像素可以包括左(L)像素和右(R)像素。例如,对比于图2,参照图3可以看出,这里的图像传感器在图2的成像像素的基础上,增加了PD像素(以L、R示出)。对于图2和图3,相同的附图标记表示相同的对象,这里不再对图3的附图标记做一一赘述,参照图2的解释即可。其中,PD像素的排列形式不限于图3,从而可以利用PD像素辅助对焦。通过PD像素中的L像素和R像素的像素值,可以计算对焦区域的相位差(Phase diff),从而实现相位对焦。
对于L像素和R像素,对于图像传感器中的一个像素点,若将该像素点的一半位置加了金属遮盖,使得被遮住左边一半的像素点只能接受左边来的光,该被遮住左边一半的像素点称之为L像素;同理,被遮住右边一半的像素点就只能接受右边来的光,该被遮住右边一半的像素点称之为R像素;在图像传感器中,L像素和R像素是在相邻位置成对出现,如图3所示。
其中,曝光参数包括但不限于积分时间(integration time,INT),模拟增益(gain)以及数字gain等。
其中,积分时间是以行为单位表示曝光时间(exposure time)的,比如说INT为159,就是指图像传感器(Sensor)曝光时间为159行,积分时间和曝光时间两者所代表的意思是相同的,都是表示Sensor的曝光时间,但是integration time是一个相对的概念,即以行为单位,而每行所占的绝对时间与时钟频率和每一行包含多少pclk(即行长)有关;而exposure time则是指Sensor曝光的绝对时间。
本步骤101和本步骤102中,则对Sensor中包括PD像素的第一像素采用第一曝光参数进行曝光,同时,对Sensor中包括成像像素的第二像素采用第二曝光参数进行曝光,这两个曝光参数的取值是不同的,例如曝光参数为曝光时长,则Sensor中包括PD像素的第一像素的曝光时长,与包括成像像素的第二像素的曝光时长不同,从而使得分别生成的两帧图片的亮度存在差异。
可选地,步骤101和步骤102可以同时执行,且所述第一曝光和所述第二曝光对应同一帧率,使得第一图像和第二图像在同一时间被触发曝光,即曝光时机相同,也就是说,不同曝光参数的第一图像和第二图像虽然曝光时间,即曝光所用的时长存在差异,但是触发执行曝光的步骤的执行时机是相同的,可以使得两帧图像之间不存在时间差异。
另外,所述第一曝光和所述第二曝光对应同一帧率,因此,在同一时间周期内,第一曝光所生成的第一图像的帧数是与第二曝光所生成的第二图像的帧数相同的。
那么按照多帧第一图像的生成顺序,以及多帧第二图像的生成顺序,使得相同序位的第一图像和第二图像可以相互对应起来,将这一组相互对应的第一图像和第二图像进行融合,就可以生成一帧目标图像。示例地,以序位为第一为例,可以将生成的首帧第一图像和生成的首帧第二图像进行融合,生成首帧目标图像。
因此,如果相同序位的第一图像和第二图像是同时输出的,则可以将同时输出的第一图像和第二图像构成的一组图像进行融合,则可以解决传统技术中多帧图像存在时间差异的问题。
如果相同序位的第一图像和第二图像不是同时输出的,即存在着输出的先后顺序,例如首帧第一图像先于首帧第二图像输出,则可以依据第一图像和第二图像各自的生成顺序,将相同序位的第一图像和第二图像构成一组图像进行融合,虽然两帧图像不是同时输出,但是由于二者对应的帧率相同,还是可以在一定程度上降低第一图像和第二图像之间的时间差异。
因此,在第一曝光和第二曝光的帧率相同的情况下,不论第一图像和第二图像是否同时输出,都可以降低传统技术中用于合成的多帧图像的的帧率差异大的问题。
其中,在控制第一图像和第二图像同时输出时,可以通过对曝光的第一图像和/或第二图像设置消隐期来实现,该消隐期可以包括水平消隐期,即HBLT(horizontal blanktime,水平空白时间),和/或,垂直消隐期,即VBLT(vertical blank time,垂直空白时间)。
具体而言,由于第一像素和第二像素的曝光参数的取值不同,例如具体可以体现为曝光时间不同,那么可选地,可以对曝光时间较短的图像设置水平消隐期,和/或垂直消隐期,来等待曝光时长较长的图像完成所有行的相应像素的曝光,使得曝光生成的第一图像和第二图像可以同时输出。
以不同曝光参数对Sensor中的不同像素按照同一帧率进行曝光,将两种曝光参数所生成的图像看做两张图像,即第一图像和第二图像,以单帧多种曝光并进行融合的方式,则可以得到高动态的亮度范围的图片,由于两种曝光的帧率相同,因此,可以解决第一图像和第二图像之间的帧率差异问题,并进一步扩大亮度动态范围的提高幅度。
示例地,传统技术中Sensor中各像素采用统一的一个曝光控制通路来对各像素进行曝光控制,本实施例中,为了实现对Sensor中第一像素和第二像素采用不同的曝光参数进行曝光,可以对第一像素单独设置一路曝光控制通路(可以以半导体硬件通路来体现),以及对第二像素单独设置另一路曝光控制通路,两个通路相互独立,从而可以实现对第一像素和第二像素的曝光参数的独立控制。
具体的,第一曝光参数由所述第一控制通路控制,第二曝光参数由第二控制通路控制,其中,所述第一控制通路与所述第二控制通路不同,且所述图像传感器与所述第一控制通路、第二控制通路均连接。
示例地,在单独配置第一像素和第二像素的曝光参数时,可以通过在半导体硬件通路上的分离实现,即配置图像传感器与不同的半导体硬件通路连接。其中,图像传感器可以通过不同的半导体硬件通路与后端的控制器通信连接。
步骤103,对所述第一图像和所述第二图像进行图像融合,生成目标图片。
其中,可以采用各种图像融合算法,来对第一图像和第二图像进行融合,生成目标图像。其中,由于第一图像和第二图像的亮度存在差别,那么两张图片融合后生成的目标图片则可以是高动态的图片,提高了亮度动态范围。
示例地,图4和图5分别示出了第一图像和第二图像,图6示出了目标图像。
对Sensor中的第一像素采用曝光时间比较大的第一曝光参数进行曝光,生成图4所示的图像,这里命名为图像1,图像1中过曝区域较多;
对Sensor中的第二像素采用曝光时间比较小的第二曝光参数进行曝光,生成图5所示的图像,这里命名为图像2,图像2中欠曝区域较多;
对图像1和图像2进行图像融合,生成图6所示的图像,这里以图像3命名。
由于图像1和图像2的曝光参数的取值不同,从而曝光时间不同,使得图像1和图像2的亮度差异较大,那么利用图像1和图像2合成得到的图像3则具有较大的亮度动态范围,达到提升图像的亮度动态范围的效果。
在本申请实施例中,对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像;以及对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,其中,对第一像素和第二像素进行曝光所采用的的帧率相同,使得第一图像和第二图像之间不存在帧率差异,区别只在于所采用的曝光参数的取值不同,可以以单帧多种曝光的方式生成不同曝光程度的的不同图像,不论第一图像和第二图像是否同时进行曝光和输出,都可解决传统技术中多帧图像融合因帧率差异引起的亮度动态范围提高的幅度相对比较小的问题,并缩小用于融合的第一图像和第二图像之间的时间差异。另外,由于第一图像和第二图像曝光时的帧率相同,因此,如果第一图像和第二图像同时进行曝光并输出,由于第一图像和第二图像的曝光参数不同,因此,第一图像和第二图像的亮度差异较大,从而可以提升了目标图像的亮度动态范围;此外,该方法使用同一个图像传感器进行操作,不会因摄像模组的组件差异,而导致不同曝光参数的不同图像存在画质差异的问题,从而能够确保图像质量,也不会提升功耗和成本的增加;另外,该方法对第一图像和第二图像进行融合生成目标图像,使得目标图像中保留了原始的图像信息和更多的图像细节,相比于传统技术中的单帧图像处理的方法,图像质量更好。
该方法可以应用到PD对焦的相机或手机等电子设备中,通过分离成像像素与PD像素的参数控制,并独立设置不同曝光参数,可以提升相机所采集的图像的亮度动态范围。
可选地,在一个实施例中,在所述图像传感器中每个像素点均为PD像素的情况下,也就是说,图像传感器中的每个像素点都是PD像素。
示例地,图7示出了一种图像传感器的像素布局示意图。在图7中,每个像素点均为PD像素,具体为PD像素中的L像素或R像素,在图7中不具备成像像素。图7以2PD的排列方式示出了图像传感器的像素布局,在其他示例中,还可以是4PD、8PD等图像传感器中的每个像素点均为PD像素的传感器的像素排列方式。
其中,所述第一像素包括所述PD像素中的左像素,所述第二像素包括所述PD像素中的右像素;
因此,在图7中,第一像素包括图7中示出每个L像素,第二像素包括图7中示出的每个PD像素中的R像素。
那么在执行步骤101时,可以对图像传感器中的所述左像素采用第一曝光参数进行第一曝光,生成第一图像;
那么在执行步骤102时,则可以对图像传感器中所述右像素采用第二曝光参数进行第二曝光,生成第二图像。
示例地,参照图8,其中,图8的像素布局方式与图7的像素布局方式一致,这里为了使得图8中用于表示曝光参数的线条更加清楚,未在图8中的各个像素格内绘制灰度阴影。
从图8可以看出,可以对图8中示出的每个L像素采用曝光参数31进行第一曝光,图8中示出了Sensor中第一行PD像素的曝光参数的附图标记,对于其他行的像素点的曝光参数参照第一行的像素点的附图标记即可;图8中还示出了对PD像素中的每个R像素采用曝光参数32进行第二曝光,图8中示出了Sensor中第一行PD像素的曝光参数的附图标记,对于其他行的像素点的曝光参数参照第一行的像素点的附图标记即可。图8中的箭头用于表示Sensor中每行未示出的像素点。其中,由于图8是图7的延伸,因此,图8的像素布局参照图7的解释即可。
在本申请实施例中,在图像传感器中每个像素点均为PD像素的情况下,则可以采用第一曝光参数对图像传感器中PD像素中L像素所在的像素点位置进行曝光,采用第二曝光参数对图像传感器中PD像素中R像素所在的像素点位置进行曝光,两种曝光的曝光参数的曝光时长存在区别,从而可以生成亮度存在很大区别的两帧图像,那么两帧图像经过融合后生成的目标图像则可以具有较大的亮度动态范围。
可选地,在一个实施例中,在所述图像传感器包括PD像素和成像像素的情况下,也就是说,Sensor中一部分像素点为成像像素,另一部分像素点为PD像素,而对于成像像素与PD像素之间的布局方式,本发明对此不做限制。其中,所述第一曝光参数包括第三曝光参数和第四曝光参数,所述第三曝光参数的取值与所述第四曝光参数的取值相同或不同,所述第一图像包括第三图像和第四图像;
示例地,图9示出了本实施例中的Sensor的一种像素布局示意图,其中,该Sensor包括PD像素中的L像素和R像素,在示出的L像素和R像素之外的各个像素点位置则是成像像素,因此,该Sensor中只有部分像素点为PD像素,其他像素点则是RGB像素。
那么在执行步骤101时,可以对图像传感器中所述PD像素中的左像素采用所述第三曝光参数进行第三曝光,生成第三图像;以及对图像传感器中所述PD像素中的右像素采用所述第四曝光参数进行第四曝光,生成第四图像;
那么在执行步骤102时,则可以对图像传感器中的所述成像像素采用第二曝光参数进行第二曝光,生成第二图像;
其中,所述第三曝光、所述第四曝光、所述第二曝光各自对应的帧率相同,也就是说,在对Sensor中PD像素中的L像素、PD像素中的R像素,以及除该PD像素之外的RGB像素进行曝光时,曝光的帧率相同,但是对成像像素所采用的曝光参数不同于对PD像素所采用的曝光参数,即以单帧多种曝光的方式进行图像处理,来分别生成第三图像、第四图像和第二图像。
那么在执行步骤103时,则可以对所述第三图像、所述第四图像、所述第二图像进行图像融合,生成目标图片。
其中,图像融合算法可以采用传统技术中的任意一种图像融合算法,这里不再赘述。
在本申请实施例中,当图像传感器包括PD像素和成像像素的情况下,则可以对PD像素中的L像素和R像素分别进行单独曝光,以及对成像像素进行单独曝光,而且,对于成像像素和PD像素进行曝光时所采用的曝光参数不同,使得对成像像素生成的第二图像,与对PD像素中L像素生成的第三图像、对PD像素中R像素生成的第四图像的亮度存在差异,那么在对第三图像、第四图像、第二图像进行融合后生成的目标图像,则可以包括成像像素对应的曝光参数的亮度,以及PD像素对应的曝光参数的亮度,提升了目标图像的亮度动态范围。
可选地,在所述第三曝光参数的取值与所述第四曝光参数的取值相同的情况下,也就是说,对PD像素中的L像素和R像素采用相同的曝光参数分别进行曝光,但是该曝光参数同样区别于对Sensor中的成像像素所采用的曝光参数,那么在对所述第三图像、所述第四图像、所述第二图像进行图像融合,生成目标图片时,可以在所述第三图像、所述第四图像、所述第五图像中任选一帧或两帧图像与所述第二图像进行融合,生成目标图像,其中,所述第五图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。
示例地,对于图9的延续,参照图10,其中,图10的像素布局方式与图9的像素布局方式一致,这里为了使得图10中用于表示曝光参数的线条更加清楚,未在图10中的各个像素格内绘制灰度阴影。
如图10所示,本示例中,可以对图10中示出的每个L像素采用曝光参数41进行第三曝光,其中,图10中包括L像素的像素点位置中的黑色竖线用于表示曝光参数41;以及对图10中示出的每个R像素采用曝光参数41进行第四曝光,其中,图10中包括R像素的像素点位置中的黑色竖线用于表示曝光参数41;以及,对图10中示出的每个成像像素采用曝光参数42进行第二曝光;图10中示出了Sensor中第一行成像像素的曝光参数的附图标记,对于其他行的成像像素的曝光参数参照第一行的像素点的附图标记即可。图10中的箭头用于表示Sensor中每行未示出的像素点。
其中,虽然对PD像素中的L像素和R像素所采用的曝光参数的取值相同,但是,也是对这两种像素进行独立的曝光,从而生成第三图像和第四图像;此外,还可以对第三图像和第四图像进行图像融合,生成第五图像;然后,在所述第三图像、所述第四图像、所述第五图像中任选一帧或两帧图像来与所述第二图像进行融合,生成亮度高动态的目标图像。
在本申请实施例中,在图像传感器中的像素布局为部分像素点为PD像素,而其他像素点为成像像素的情况下,则可以对PD像素中的L像素和R像素分别进行相同曝光参数的单独曝光,以及对成像像素进行与PD像素的曝光参数不同的曝光参数的单独曝光,而且,对于成像像素和PD像素进行曝光时所采用的曝光参数不同,使得对成像像素生成的第二图像,与对PD像素中L像素生成的第三图像、对PD像素中R像素生成的第四图像的亮度存在差异,那么在对第三图像、第四图像、第二图像进行融合时,可以通过对第三图像和第四图像进行融合,来生成区别于第三图像和第四图像的亮度的第五图像,然后,从第三图像、第四图像、第五图像中任选一帧或两帧图像来与成像像素的第二图像进行融合,这样融合后生成的目标图像的亮度范围,相比于图像传感器中全部像素点均为PD像素的方案所生成的目标图像的亮度范围更加大,进一步提升了目标图像的亮度动态范围。
可选地,在所述第三曝光参数的取值与所述第四曝光参数的取值不同的情况下,也就是说,对PD像素中的L像素和R像素采用不同曝光参数分别进行曝光,并且该两种曝光参数同样区别于对Sensor中的成像像素所采用的曝光参数,在对所述第三图像、所述第四图像、所述第二图像进行图像融合,生成目标图片时,可以在所述第三图像、所述第四图像、所述第六图像、所述第二图像中任选两帧或三帧图像进行图像融合,生成目标图像,其中,所述第六图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。
示例地,对于图9的延续,参照图11,其中,图11的像素布局方式与图9的像素布局方式一致,这里为了使得图11中用于表示曝光参数的线条更加清楚,未在图11中的各个像素格内绘制灰度阴影。
如图11所示,本示例中,可以对图11中示出的每个L像素采用曝光参数51进行曝光,其中,图11中包括L像素的像素点位置中的黑色竖线用于表示曝光参数51;以及对图11中示出的每个R像素采用曝光参数52进行曝光,其中,图11中包括R像素的像素点位置中的黑色竖线用于表示曝光参数52;以及,对图11中示出的成像像素采用曝光参数53进行曝光,其中,图11中包括成像像素的像素格内的黑色竖线用于表示曝光参数53,图11中示出了Sensor中第一行成像像素的曝光参数的附图标记,对于其他行的成像像素的曝光参数参照第一行的像素点的附图标记即可。图11中的箭头用于表示Sensor中每行未示出的像素点。
其中,本实施例中对PD像素中的L像素和R像素所采用的曝光参数的取值不同,并对这两种像素进行独立的曝光,从而生成第三图像和第四图像;此外,还可以在第二图像、所述第三图像、所述第四图像、所述第六图像中任选两帧图像进行融合,生成亮度高动态的目标图像,其中,所述第六图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。
在本申请实施例中,在图像传感器中的像素布局为部分像素点为PD像素,而其他像素点为成像像素的情况下,则可以对PD像素中的L像素和R像素分别进行不同曝光参数的单独曝光,以及对成像像素进行与PD像素的曝光参数不同的单独曝光,而且,对于成像像素和PD像素中L像素、R像素进行曝光时所采用的曝光参数不同,使得对成像像素生成的第二图像,与对PD像素中L像素生成的第三图像、对PD像素中R像素生成的第四图像的亮度存在差异,此外,为了增加亮度的范围,还可以在第二图像、所述第三图像、所述第四图像、所述第六图像中任选两帧图像进行融合,其中,所述第六图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。由于最终被融合的四种图像的亮度均不同,那么任选两帧图像所生成的目标图像都是亮度高动态的图像,这样融合后生成的目标图像的亮度范围,相比于图像传感器中全部像素点均为PD像素的方案所生成的目标图像的亮度范围,以及部分像素点为PD像素且PD像素中左像素和右像素的曝光参数相同的方案所得到的的目标图像的亮度范围更加大,进一步提升了目标图像的亮度动态范围。
需要说明的是,本申请实施例提供的图像处理方法,执行主体可以为图像处理装置,或者该图像处理装置中的用于执行图像处理方法的控制模块。本申请实施例中以图像处理装置执行图像处理方法为例,说明本申请实施例提供的图像处理装置。
参照图12,示出了本申请一个实施例的图像处理装置的框图。该图像处理装置包括:
曝光模块201,用于对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像;以及对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,其中,所述第一曝光参数的取值与所述第二曝光参数的取值不同;
融合模块202,用于对所述第一图像和所述第二图像进行图像融合,生成目标图片;
其中,所述第一像素与所述第二像素不同;
其中,所述第一曝光和所述第二曝光对应同一帧率。
可选地,在所述图像传感器中每个像素点均为用于相位对焦的相位PD像素的情况下,所述第一像素包括所述PD像素中的左像素,所述第二像素包括所述PD像素中的右像素;
所述曝光模块201包括:
第一曝光子模块,用于对图像传感器中的所述左像素采用第一曝光参数进行第一曝光,生成第一图像;
第二曝光子模块,用于对图像传感器中的所述右像素采用第二曝光参数进行第二曝光,生成第二图像。
可选地,在所述图像传感器包括PD像素和成像像素的情况下,所述第一曝光参数包括第三曝光参数和第四曝光参数,所述第三曝光参数的取值与所述第四曝光参数的取值相同或不同,所述第一图像包括第三图像和第四图像;
所述曝光模块201包括:
第三曝光子模块,用于对图像传感器中所述PD像素中的左像素采用所述第三曝光参数进行第三曝光,生成第三图像;
第四曝光子模块,用于对图像传感器中所述PD像素中的右像素采用所述第四曝光参数进行第四曝光,生成第四图像;
第五曝光子摸,用于对图像传感器中的所述成像像素采用第二曝光参数进行第二曝光,生成第二图像;
其中,所述第三曝光、所述第四曝光、所述第二曝光各自对应的帧率相同;
所述融合模块202包括:
融合子模块,用于对所述第三图像、所述第四图像、所述第二图像进行图像融合,生成目标图片。
可选地,在所述第三曝光参数的取值与所述第四曝光参数的取值相同的情况下,所述融合子模块包括:
第一融合单元,用于在所述第三图像、所述第四图像、所述第五图像中任选一帧或两帧图像与所述第二图像进行融合,生成目标图像,其中,所述第五图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。
可选地,在所述第三曝光参数的取值与所述第四曝光参数的取值不同的情况下,所述融合子模块包括:
第二融合单元,用于在所述第三图像、所述第四图像、所述第六图像、所述第二图像中任选两帧或三帧图像进行图像融合,生成目标图像,其中,所述第六图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。
在本申请实施例中,对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像;以及对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,其中,对第一像素和第二像素进行曝光所采用的的帧率相同,使得第一图像和第二图像之间不存在帧率差异,区别只在于所采用的曝光参数的取值不同,可以以单帧多种曝光的方式生成不同曝光程度的的不同图像,不论第一图像和第二图像是否同时进行曝光和输出,都可解决传统技术中多帧图像融合因帧率差异引起的亮度动态范围提高的幅度相对比较小的问题,并缩小用于融合的第一图像和第二图像之间的时间差异。另外,由于第一图像和第二图像曝光时的帧率相同,因此,如果第一图像和第二图像同时进行曝光并输出,由于第一图像和第二图像的曝光参数不同,因此,第一图像和第二图像的亮度差异较大,从而可以提升了目标图像的亮度动态范围;此外,该方法使用同一个图像传感器进行操作,不会因摄像模组的组件差异,而导致不同曝光参数的不同图像存在画质差异的问题,从而能够确保图像质量,也不会提升功耗和成本的增加;另外,该方法对第一图像和第二图像进行融合生成目标图像,使得目标图像中保留了原始的图像信息和更多的图像细节,相比于传统技术中的单帧图像处理的方法,图像质量更好。
本申请实施例中的图像处理装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为iOS操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现上述方法实施例实现的各个过程,为避免重复,这里不再赘述。
可选地,如图13所示,本申请实施例还提供一种电子设备2000,包括处理器2002,存储器2001,存储在存储器2001上并可在所述处理器2002上运行的程序或指令,该程序或指令被处理器2002执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图14为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于:射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本领域技术人员可以理解,电子设备1000还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器1010逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图14中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。
其中,传感器1005可以为图像传感器。
处理器1010,用于对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像;对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,其中,所述第一曝光参数的取值与所述第二曝光参数的取值不同;对所述第一图像和所述第二图像进行图像融合,生成目标图片;
其中,所述第一像素与所述第二像素不同;
其中,所述第一曝光和所述第二曝光对应同一帧率。
在本申请实施例中,对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像;以及对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,其中,对第一像素和第二像素进行曝光所采用的的帧率相同,使得第一图像和第二图像之间不存在帧率差异,区别只在于所采用的曝光参数的取值不同,可以以单帧多种曝光的方式生成不同曝光程度的的不同图像,不论第一图像和第二图像是否同时进行曝光和输出,都可解决传统技术中多帧图像融合因帧率差异引起的亮度动态范围提高的幅度相对比较小的问题,并缩小用于融合的第一图像和第二图像之间的时间差异。另外,由于第一图像和第二图像曝光时的帧率相同,因此,如果第一图像和第二图像同时进行曝光并输出,由于第一图像和第二图像的曝光参数不同,因此,第一图像和第二图像的亮度差异较大,从而可以提升了目标图像的亮度动态范围;此外,该方法使用同一个图像传感器进行操作,不会因摄像模组的组件差异,而导致不同曝光参数的不同图像存在画质差异的问题,从而能够确保图像质量,也不会提升功耗和成本的增加;另外,该方法对第一图像和第二图像进行融合生成目标图像,使得目标图像中保留了原始的图像信息和更多的图像细节,相比于传统技术中的单帧图像处理的方法,图像质量更好。
可选地,在所述图像传感器中每个像素点均为PD像素的情况下,所述第一像素包括所述PD像素中的左像素,所述第二像素包括所述PD像素中的右像素;
处理器1010,用于对图像传感器中的所述左像素采用第一曝光参数进行第一曝光,生成第一图像;对图像传感器中的所述右像素采用第二曝光参数进行第二曝光,生成第二图像。
在本申请实施例中,在图像传感器中每个像素点均为PD像素的情况下,则可以采用第一曝光参数对图像传感器中PD像素中L像素所在的像素点位置进行曝光,采用第二曝光参数对图像传感器中PD像素中R像素所在的像素点位置进行曝光,两种曝光的曝光参数的曝光时长存在区别,从而可以生成亮度存在很大区别的两帧图像,那么两帧图像经过融合后生成的目标图像则可以具有较大的亮度动态范围。
可选地,在所述图像传感器包括PD像素和成像像素的情况下,所述第一曝光参数包括第三曝光参数和第四曝光参数,所述第三曝光参数的取值与所述第四曝光参数的取值相同或不同,所述第一图像包括第三图像和第四图像;
处理器1010,用于对图像传感器中所述PD像素中的左像素采用所述第三曝光参数进行第三曝光,生成第三图像;对图像传感器中所述PD像素中的右像素采用所述第四曝光参数进行第四曝光,生成第四图像;对图像传感器中的所述成像像素采用第二曝光参数进行第二曝光,生成第二图像;对所述第三图像、所述第四图像、所述第二图像进行图像融合,生成目标图片。
其中,所述第三曝光、所述第四曝光、所述第二曝光各自对应的帧率相同;
在本申请实施例中,当图像传感器包括PD像素和成像像素的情况下,则可以对PD像素中的L像素和R像素分别进行单独曝光,以及对成像像素进行单独曝光,而且,对于成像像素和PD像素进行曝光时所采用的曝光参数不同,使得对成像像素生成的第二图像,与对PD像素中L像素生成的第三图像、对PD像素中R像素生成的第四图像的亮度存在差异,那么在对第三图像、第四图像、第二图像进行融合后生成的目标图像,则可以包括成像像素对应的曝光参数的亮度,以及PD像素对应的曝光参数的亮度,提升了目标图像的亮度动态范围。
可选地,处理器1010,用于在所述第三曝光参数的取值与所述第四曝光参数的取值相同的情况下,在所述第三图像、所述第四图像、所述第五图像中任选一帧或两帧图像与所述第二图像进行融合,生成目标图像,其中,所述第五图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。
在本申请实施例中,在图像传感器中的像素布局为部分像素点为PD像素,而其他像素点为成像像素的情况下,则可以对PD像素中的L像素和R像素分别进行相同曝光参数的单独曝光,以及对成像像素进行与PD像素的曝光参数不同的曝光参数的单独曝光,而且,对于成像像素和PD像素进行曝光时所采用的曝光参数不同,使得对成像像素生成的第二图像,与对PD像素中L像素生成的第三图像、对PD像素中R像素生成的第四图像的亮度存在差异,那么在对第三图像、第四图像、第二图像进行融合时,可以通过对第三图像和第四图像进行融合,来生成区别于第三图像和第四图像的亮度的第五图像,然后,从第三图像、第四图像、第五图像中任选一帧或两帧图像来与成像像素的第二图像进行融合,这样融合后生成的目标图像的亮度范围,相比于图像传感器中全部像素点均为PD像素的方案所生成的目标图像的亮度范围更加大,进一步提升了目标图像的亮度动态范围。
可选地,处理器1010,用于在所述第三曝光参数的取值与所述第四曝光参数的取值不同的情况下,在所述第三图像、所述第四图像、所述第六图像、所述第二图像中任选两帧或三帧图像进行图像融合,生成目标图像,其中,所述第六图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。
在本申请实施例中,在图像传感器中的像素布局为部分像素点为PD像素,而其他像素点为成像像素的情况下,则可以对PD像素中的L像素和R像素分别进行不同曝光参数的单独曝光,以及对成像像素进行与PD像素的曝光参数不同的单独曝光,而且,对于成像像素和PD像素中L像素、R像素进行曝光时所采用的曝光参数不同,使得对成像像素生成的第二图像,与对PD像素中L像素生成的第三图像、对PD像素中R像素生成的第四图像的亮度存在差异,此外,为了增加亮度的范围,还可以在第二图像、所述第三图像、所述第四图像、所述第六图像中任选两帧图像进行融合,其中,所述第六图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。由于最终被融合的四种图像的亮度均不同,那么任选两帧图像所生成的目标图像都是亮度高动态的图像,这样融合后生成的目标图像的亮度范围,相比于图像传感器中全部像素点均为PD像素的方案所生成的目标图像的亮度范围,以及部分像素点为PD像素且PD像素中左像素和右像素的曝光参数相同的方案所得到的的目标图像的亮度范围更加大,进一步提升了目标图像的亮度动态范围。
应理解的是,本申请实施例中,输入单元1004可以包括图形处理器(GraphicsProcessing Unit,GPU)10041和麦克风10042,图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072。触控面板10071,也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器1009可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器1010可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述图像处理方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。
应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

Claims (12)

1.一种图像处理方法,其特征在于,所述方法包括:
对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像;
对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,其中,所述第一曝光参数的取值与所述第二曝光参数的取值不同;
对所述第一图像和所述第二图像进行图像融合,生成目标图片;
其中,所述第一像素与所述第二像素不同;
其中,所述第一曝光和所述第二曝光对应同一帧率。
2.根据权利要求1所述的方法,其特征在于,在所述图像传感器中每个像素点均为用于相位对焦的相位PD像素的情况下,所述第一像素包括所述PD像素中的左像素,所述第二像素包括所述PD像素中的右像素;
所述对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像,包括:
对图像传感器中的所述左像素采用第一曝光参数进行第一曝光,生成第一图像;
所述对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,包括:
对图像传感器中的所述右像素采用第二曝光参数进行第二曝光,生成第二图像。
3.根据权利要求1所述的方法,其特征在于,在所述图像传感器包括PD像素和成像像素的情况下,所述第一曝光参数包括第三曝光参数和第四曝光参数,所述第三曝光参数的取值与所述第四曝光参数的取值相同或不同,所述第一图像包括第三图像和第四图像;
所述对图像传感器中的第一像素采用所述第一曝光参数进行第一曝光,生成第一图像,包括:
对图像传感器中所述PD像素中的左像素采用所述第三曝光参数进行第三曝光,生成第三图像;
对图像传感器中所述PD像素中的右像素采用所述第四曝光参数进行第四曝光,生成第四图像;
所述对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,包括:
对图像传感器中的所述成像像素采用第二曝光参数进行第二曝光,生成第二图像;
其中,所述第三曝光、所述第四曝光、所述第二曝光各自对应的帧率相同;
所述对所述第一图像和所述第二图像进行图像融合,生成目标图片,包括:
对所述第三图像、所述第四图像、所述第二图像进行图像融合,生成目标图片。
4.根据权利要求3所述的方法,其特征在于,在所述第三曝光参数的取值与所述第四曝光参数的取值相同的情况下,所述对所述第三图像、所述第四图像、所述第二图像进行图像融合,生成目标图片,包括:
在所述第三图像、所述第四图像、第五图像中任选一帧或两帧图像与所述第二图像进行融合,生成目标图像,其中,所述第五图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。
5.根据权利要求3所述的方法,其特征在于,在所述第三曝光参数的取值与所述第四曝光参数的取值不同的情况下,所述对所述第三图像、所述第四图像、所述第二图像进行图像融合,生成目标图片,包括:
在所述第三图像、所述第四图像、所述第六图像、所述第二图像中任选两帧或三帧图像进行图像融合,生成目标图像,其中,所述第六图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。
6.一种图像处理装置,其特征在于,所述装置包括:
曝光模块,用于对图像传感器中的第一像素采用第一曝光参数进行第一曝光,生成第一图像;以及对所述图像传感器中的第二像素采用第二曝光参数进行第二曝光,生成第二图像,其中,所述第一曝光参数的取值与所述第二曝光参数的取值不同;
融合模块,用于对所述第一图像和所述第二图像进行图像融合,生成目标图片;
其中,所述第一像素与所述第二像素不同;
其中,所述第一曝光和所述第二曝光对应同一帧率。
7.根据权利要求6所述的装置,其特征在于,在所述图像传感器中每个像素点均为用于相位对焦的相位PD像素的情况下,所述第一像素包括所述PD像素中的左像素,所述第二像素包括所述PD像素中的右像素;
所述曝光模块包括:
第一曝光子模块,用于对图像传感器中的所述左像素采用第一曝光参数进行第一曝光,生成第一图像;
第二曝光子模块,用于对图像传感器中的所述右像素采用第二曝光参数进行第二曝光,生成第二图像。
8.根据权利要求6所述的装置,其特征在于,在所述图像传感器包括PD像素和成像像素的情况下,所述第一曝光参数包括第三曝光参数和第四曝光参数,所述第三曝光参数的取值与所述第四曝光参数的取值相同或不同,所述第一图像包括第三图像和第四图像;
所述曝光模块包括:
第三曝光子模块,用于对图像传感器中所述PD像素中的左像素采用所述第三曝光参数进行第三曝光,生成第三图像;
第四曝光子模块,用于对图像传感器中所述PD像素中的右像素采用所述第四曝光参数进行第四曝光,生成第四图像;
第五曝光子摸,用于对图像传感器中的所述成像像素采用第二曝光参数进行第二曝光,生成第二图像;
其中,所述第三曝光、所述第四曝光、所述第二曝光各自对应的帧率相同;
所述融合模块包括:
融合子模块,用于对所述第三图像、所述第四图像、所述第二图像进行图像融合,生成目标图片。
9.根据权利要求8所述的装置,其特征在于,在所述第三曝光参数的取值与所述第四曝光参数的取值相同的情况下,所述融合子模块包括:
第一融合单元,用于在所述第三图像、所述第四图像、所述第五图像中任选一帧或两帧图像与所述第二图像进行融合,生成目标图像,其中,所述第五图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。
10.根据权利要求8所述的装置,其特征在于,在所述第三曝光参数的取值与所述第四曝光参数的取值不同的情况下,所述融合子模块包括:
第二融合单元,用于在所述第三图像、所述第四图像、所述第六图像、所述第二图像中任选两帧或三帧图像进行图像融合,生成目标图像,其中,所述第六图像为对所述第三图像和所述第四图像进行图像融合后生成的图像。
11.一种电子设备,其特征在于,包括处理器,存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至5中任意一项所述的图像处理方法的步骤。
12.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至5中任意一项所述的图像处理方法的步骤。
CN202110953654.6A 2021-08-19 2021-08-19 图像处理方法、装置、电子设备及可读存储介质 Active CN113676674B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110953654.6A CN113676674B (zh) 2021-08-19 2021-08-19 图像处理方法、装置、电子设备及可读存储介质
PCT/CN2022/112986 WO2023020532A1 (zh) 2021-08-19 2022-08-17 图像处理方法、装置、电子设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110953654.6A CN113676674B (zh) 2021-08-19 2021-08-19 图像处理方法、装置、电子设备及可读存储介质

Publications (2)

Publication Number Publication Date
CN113676674A true CN113676674A (zh) 2021-11-19
CN113676674B CN113676674B (zh) 2023-06-27

Family

ID=78543893

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110953654.6A Active CN113676674B (zh) 2021-08-19 2021-08-19 图像处理方法、装置、电子设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN113676674B (zh)
WO (1) WO2023020532A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023020532A1 (zh) * 2021-08-19 2023-02-23 维沃移动通信(杭州)有限公司 图像处理方法、装置、电子设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104755981A (zh) * 2012-11-14 2015-07-01 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法和图像处理程序
CN110278375A (zh) * 2019-06-28 2019-09-24 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102277178B1 (ko) * 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
JP2018019296A (ja) * 2016-07-28 2018-02-01 キヤノン株式会社 撮像装置およびその制御方法
US11405535B2 (en) * 2019-02-28 2022-08-02 Qualcomm Incorporated Quad color filter array camera sensor configurations
KR20220027070A (ko) * 2019-06-25 2022-03-07 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 장치 및 전자 기기
CN113676674B (zh) * 2021-08-19 2023-06-27 维沃移动通信(杭州)有限公司 图像处理方法、装置、电子设备及可读存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104755981A (zh) * 2012-11-14 2015-07-01 富士胶片株式会社 图像处理装置、摄像装置、图像处理方法和图像处理程序
CN110278375A (zh) * 2019-06-28 2019-09-24 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023020532A1 (zh) * 2021-08-19 2023-02-23 维沃移动通信(杭州)有限公司 图像处理方法、装置、电子设备及可读存储介质

Also Published As

Publication number Publication date
WO2023020532A1 (zh) 2023-02-23
CN113676674B (zh) 2023-06-27

Similar Documents

Publication Publication Date Title
US10916036B2 (en) Method and system of generating multi-exposure camera statistics for image processing
KR102149187B1 (ko) 전자 장치와, 그의 제어 방법
US9077917B2 (en) Image sensor having HDR capture capability
US11483467B2 (en) Imaging device, image processing device, and electronic apparatus
CN112529775A (zh) 一种图像处理的方法和装置
US10270988B2 (en) Method for generating high-dynamic range image, camera device, terminal and imaging method
CN110958401B (zh) 一种超级夜景图像颜色校正方法、装置和电子设备
EP3439282A1 (en) Image pickup device, image processing device, and electronic apparatus
WO2023020527A1 (zh) 图像处理方法、装置、电子设备及可读存储介质
JP2014119997A (ja) 画像処理装置およびその制御方法
CN114331916B (zh) 图像处理方法及电子设备
CN112437237B (zh) 拍摄方法及装置
CN113676674B (zh) 图像处理方法、装置、电子设备及可读存储介质
CN113674685A (zh) 像素阵列的控制方法、装置、电子设备和可读存储介质
JP2023169254A (ja) 撮像素子、撮像素子の作動方法、プログラム、及び撮像システム
CN112419218A (zh) 图像处理方法、装置及电子设备
CN116055891A (zh) 图像处理方法及其装置
US9288461B2 (en) Apparatus and method for processing image, and computer-readable storage medium
JP2019198008A (ja) 撮像装置およびその制御方法、並びにプログラム
CN114125319A (zh) 图像传感器、摄像模组、图像处理方法、装置和电子设备
CN112651899A (zh) 图像处理方法及装置、电子设备、存储介质
CN111970439A (zh) 图像处理方法和装置、终端和可读存储介质
JP2020053960A (ja) 撮像装置、該撮像装置の制御方法、及びプログラム
CN116012222A (zh) 图像处理方法、装置、电子设备及存储介质
CN115830434A (zh) 图像处理装置、方法、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant