CN110049241A - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN110049241A
CN110049241A CN201910291639.2A CN201910291639A CN110049241A CN 110049241 A CN110049241 A CN 110049241A CN 201910291639 A CN201910291639 A CN 201910291639A CN 110049241 A CN110049241 A CN 110049241A
Authority
CN
China
Prior art keywords
image
raw image
raw
yuv
target scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910291639.2A
Other languages
English (en)
Inventor
黄杰文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910291639.2A priority Critical patent/CN110049241A/zh
Publication of CN110049241A publication Critical patent/CN110049241A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265Mixing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10144Varying exposure
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像处理方法、装置、存储介质及电子设备,其中,电子设备可以通过图像传感器获取到目标场景的RAW图像包,并将该RAW图像包解包为依次曝光的第一RAW图像和第二RAW图像,且第一RAW图像的曝光时间长于第二RAW图像的曝光时间,然后对将第二RAW图像存入图像缓存队列中等待处理,并在接收到对目标场景的拍照指令时,从图像缓存队列中提取第二RAW图像以及历史第二RAW图像转换为对于的YUV图像后进行合成,得到目标场景的高动态范围图像,从而实现图像拍摄的高动态范围效果。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请涉及计算机技术领域,具体涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
由于电子设备本身的硬件限制,目前的电子设备只能拍摄亮度范围比较小的场景,若在场景明暗相差太大时进行拍摄,拍摄出来的图像容易丢失明处和/或暗处的细节。
发明内容
本申请实施例提供了一种图像处理方法、装置、存储介质及电子设备,能够实现图像拍摄的高动态范围效果。
第一方面,本申请实施例提供了一种图像处理方法,应用于电子设备,所述图像处理方法包括:
通过图像传感器获取目标场景的RAW图像包,所述RAW图像包包括依次曝光的第一RAW图像和第二RAW图像,且所述第一RAW图像的曝光时间长于所述第二RAW图像的曝光时间;
对所述RAW图像包进行解包处理后得到所述第一RAW图像和所述第二RAW图像,并将所述第二RAW图像存入预设的图像缓存队列中;
若接收到对所述目标场景的拍照指令,则从所述图像缓存队列中提取所述第二RAW图像以及历史第二RAW图像,所述历史第二RAW图像为历史获取到的RAW图像包中解包出的第二RAW图像;
将所述第二RAW图像以及所述历史第二RAW图像转换为对应的YUV图像后进行合成,得到所述目标场景的高动态范围图像。
第二方面,本申请实施例提供了一种图像处理装置,应用于电子设备,所述图像处理装置包括:
图像获取模块,用于通过图像传感器获取目标场景的RAW图像包,所述RAW图像包包括依次曝光的第一RAW图像和第二RAW图像,且所述第一RAW图像的曝光时间长于所述第二RAW图像的曝光时间;
图像解包模块,用于对所述RAW图像包进行解包处理后得到所述第一RAW图像和所述第二RAW图像,并将所述第二RAW图像存入预设的图像缓存队列中;
指令获取模块,用于若接收到对所述目标场景的拍照指令,则从所述图像缓存队列中提取所述第二RAW图像以及历史第二RAW图像,所述历史第二RAW图像为历史获取到的RAW图像包中解包出的第二RAW图像;
图像合成模块,用于将所述第二RAW图像以及所述历史第二RAW图像转换为对应的YUV图像后进行合成,得到所述目标场景的高动态范围图像。
第三方面,本申请实施例提供了一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行如本申请实施例提供的图像处理方法中的步骤。
第四方面,本申请实施例提供了一种电子设备,包括处理器和存储器,所述存储器存储有计算机程序,所述处理器通过调用所述计算机程序,用于执行如本申请实施例提供的图像处理方法中的步骤。
本申请实施例中,电子设备可以通过图像传感器获取到目标场景的RAW图像包,并将该RAW图像包解包为依次曝光的第一RAW图像和第二RAW图像,且第一RAW图像的曝光时间长于第二RAW图像的曝光时间,然后对将第二RAW图像存入图像缓存队列中等待处理,并在接收到对目标场景的拍照指令时,从图像缓存队列中提取第二RAW图像以及历史第二RAW图像转换为对于的YUV图像后进行合成,得到目标场景的高动态范围图像,从而实现图像拍摄的高动态范围效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的图像处理方法的一流程示意图。
图2是本申请实施例中电子设备获取到的RAW图像包的示例图。
图3是本申请实施例中用户向电子设备输入拍照指令的一示意图。
图4是本申请实施例中合成得到高动态范围图像的示意图。
图5是本申请实施例提供的图像处理方法的另一流程示意图。
图6是本申请实施例提供的图像处理装置的一结构示意图。
图7是本申请实施例提供的电子设备的一结构示意图。
图8是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图式,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
本申请实施例首先提供一种图像处理方法,该图像处理方法应用于电子设备。其中,该图像处理方法的执行主体可以是本申请实施例提供的图像处理装置,或者集成了该图像处理装置的电子设备,该图像处理装置可以采用硬件或者软件的方式实现,电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备。
请参照图1,图1为本申请实施例提供的图像处理方法的流程示意图。该图像处理方法应用于本申请实施例提供的电子设备,该电子设备包括具有第一工作模式和第二工作模式的图像传感器,如图1所示,本申请实施例提供的图像处理方法的流程可以如下:
在101中,通过图像传感器获取目标场景的RAW图像包,RAW图像包包括依次曝光的第一RAW图像和第二RAW图像,且第一RAW图像的曝光时间长于第二RAW图像的曝光时间。
在本申请实施例中,电子设备的摄像头由透镜和图像传感器构成,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即RAW图像数据。RAW是未经处理、也未经压缩的格式,可以将其形象的称为“数字底片”。
应当说明的是,本申请实施例中的图像传感器具有第一工作模式和第二工作模式,其中,第一工作模式为数字重叠模式,在该模式下,图像传感器将在一帧图像的时间内产生两帧曝光时间不同的RAW图像,并以RAW图像包的形式输出,比如,请参照图2,工作在第一工作模式的图像传感器输出的RAW图像包中包括两个RAW图像,且其中一个RAW图像的曝光时间为另一个RAW图像曝光时间的两倍。第二工作模式为普通工作模式,在该模式下,图像传感器在一帧图像的时间内将产生一个单独的RAW图像,而不是RAW图像包。可选的,该图像传感器的型号可以为IMX290LQR或者IMX291LQR等具有数字重叠工作模式的图像传感器。
本申请实施例中,电子设备首先通过工作在第一工作模式的图像传感器获取目标场景的RAW图像包,其中,来源于目标场景的光信号经过摄像头的透镜后汇聚到图像传感器上,图像传感器将进行长、短交替曝光,持续输出包括两个RAW图像的RAW图像包。应当说明的是,在以下描述中,本申请实施例中将RAW图像包中曝光时间较长的RAW图像记为第一RAW图像,将曝光时间较短的RAW图像记为第二RAW图像。
比如,当用户操作电子设备开启摄像应用后,电子设备使能图像传感器,并使其工作在第一工作模式,若用户操作电子设备的摄像头对准某一场景,该场景即为目标场景,与此同时,电子设备将通过该工作在第一工作模式的图像传感器持续获取到目标场景的RAW图像包,该RAW图像包包括第一RAW图像和第二RAW图像。
在102中,对RAW图像包进行解包处理后得到第一RAW图像和第二RAW图像,并将第二RAW图像存入预设的图像缓存队列中。
应当说明的是,RAW图像包可以看做是将两个RAW图像压缩后得到“压缩包”,无法直接对RAW图像包进行处理。因此,电子设备在获取到目标场景的RAW图像包之后,对获取到的RAW图像包进行解包处理,得到第一RAW图像和第二RAW图像,该第一RAW图像的曝光时间长于第二RAW图像的曝光时间。
可以理解的是,由于第一RAW图像和第二RAW图像由图像传感器在短时间内连续曝光得到,可以将第一RAW图像和第二RAW图像的图像内容看做相同。
此外,电子设备中还预先设置有图像缓存队列,该图像缓存队列可以为定长队列,也可以为变长队列,比如,该图像缓存队列为定长队列,能够缓存8个RAW图像。
在本申请实施例中,电子设备在将RAW图像解包得到第一RAW图像和第二RAW图像之后,将第二RAW图像存入预设的图像缓存队列中,等待后续处理。由此,对于电子设备获取到的每一个RAW图像包,均会将其解包得到的第二RAW图像存入图像缓存队列中,等待处理。
在103中,若接收到对目标场景的拍照指令,则从图像缓存队列中提取第二RAW图像以及历史第二RAW图像,历史第二RAW图像为历史获取到的RAW图像包中解包出的第二RAW图像。
其中,用户可以根据实际需要向电子设备输入对目标场景的拍照指令。比如,用户可以通过语音指令的方式向电子设备输入拍照指令,也可以通过点击电子设备提供的“拍照”控件的方式向电子设备输入拍照指令,如图3所示,还可以通过按压电子设备通过实体拍照按钮的方式向电子设备输入拍照指令,还可以通过其它电子设备向电子设备远程下达拍照指令等。
相应的,电子设备在接收到对目标场景的拍照指令之后,从图像缓存队列中提取出第二RAW图像以及历史第二RAW图像,其中,历史第二RAW图像为从前述RAW图像包之前获取到的RAW图像包中解包得到的第二RAW图像。应当说明的是,不同RAW图像包中的第二RAW图像的曝光时间相同。
应当说明的是,在本申请实施例中对于获取的历史第二RAW图像的数量不做限制,可由本领域普通技术人员根据实际需要进行设置,其中,获取的历史第二RAW图像数量越多,最终合成得到目标场景的高动态范围图像的效果越好。
在104中,将第二RAW图像以及历史第二RAW图像转换为对应的YUV图像后进行合成,得到目标场景的高动态范围图像。
应当说明的是,YUV是一种颜色编码方法,其中Y表示亮度,UV表示色度,人眼从YUV图像中可以直观的感受到其中所包含的自然特征。本申请实施例中,对于获取到的第二RAW图像以及历史第二RAW图像,电子设备分别对其进行格式转换,将其转换到YUV颜色空间,得到适于人眼查看的YUV图像。
在对第二RAW图像以及历史第二RAW图像转换得到的YUV图像进行合成时,电子设备首先根据第二RAW图像以及历史第二RAW图像进行多帧降噪合成,得到一个降噪合成图像。可以理解的是,由于第二RAW图像以及历史第二RAW图像的曝光时间较短,其将更多保留目标场景中较亮区域的特征。同样的,合成得到的降噪合成图像同样更多保留的是目标场景中较亮区域的特征。此时,对于降噪合成图像,电子设备可以提升其亮度,使得目标场景中较亮区域的特征以及较暗区域的特征得以同时呈现,得到目标场景的高动态范围图像。至此,电子设备即完成对拍照指令的执行,得到拍照指令的结果图像即为目标场景的高动态范围图像。
比如,假设电子设备共从图像缓存队列中获取到3个历史第二RAW图像,则电子设备对第二RAW图像以及这3个历史第二RAW图像进行格式转换后共得到4个YUV图像,分别为YUV图像A、YUV图像B、YUV图像C以及YUV图像D。
在进行降噪合成时,电子设备首先将第二RAW图像转换得到的YUV图像A选取为基准图像,然后将YUV图像B、YUV图像C以及YUV图像D与YUV图像A对齐,再基于对齐后的各图像,计算得到各像素点的平均像素值,比如,假设某位置的像素点在四个YUV图像中的像素值分别为:“0.8,0.9,1.1,1.2”,则可计算得到该位置的像素点的平均像素值为“1”。之后,根据各位置的平均像素值得到降噪合成图像。比如,可以将基准图像(即YUV图像A)的各像素点的像素值相应调整为计算得到的各平均像素值,从而得到降噪合成图像;又比如,可以根据计算得到各平均像素值,生成一幅新的图像,将生成的图像作为降噪合成图像。
比如,请参照图4,电子设备将获取到的第二RAW图像以及3个历史第二RAW图像转换为4个YUV图像,分别为YUV图像A、YUV图像B、YUV图像C以及YUV图像D,这4个YUV图像的曝光时间相同,图像内容也相同,但各自均存在一些噪点,将这4个YUV图像进行合成降噪后,得到降噪合成图像。对于降噪合成图像,电子设备进一步提升其亮度,得到对应的高动态范围图像。
另外,电子设备还可以对合成得到的高动态范围图像进行图像编码(比如JPG编码,BMP编码),得到编码后的高动态范围图像。
由上可知,本申请实施例中,电子设备可以通过图像传感器获取到目标场景的RAW图像包,并将该RAW图像包解包为依次曝光的第一RAW图像和第二RAW图像,且第一RAW图像的曝光时间长于第二RAW图像的曝光时间,然后对将第二RAW图像存入图像缓存队列中等待处理,并在接收到对目标场景的拍照指令时,从图像缓存队列中提取第二RAW图像以及历史第二RAW图像转换为对于的YUV图像后进行合成,得到目标场景的高动态范围图像,从而实现图像拍摄的高动态范围效果。
在一实施例中,“将第二RAW图像以及历史第二RAW图像转换为对应的YUV图像后进行合成,得到目标场景的高动态范围图像”之后,还包括:
获取当前的拍照分辨率,根据拍照分辨率对目标场景的高动态范围图像进行降采样处理。
其中,拍照分辨率可由用户预先设置,包括但不限于1080P、2K以及4K等。比如,拍照分辨率被用户预先设置为2K,则电子设备在合成得到目标场景的高动态范围图像(比如分辨率为4K)之后,进一步对目标场景的高动态范围图像进行降采样处理,得到2K分辨率的高动态范围图像。
在一实施例中,“若接收到对目标场景的拍照指令,则从图像缓存队列中提取第二RAW图像以及历史第二RAW图像”之前,还包括:
(1)对第一RAW图像以及第二RAW图像进行格式转换,得到对应的第一YUV图像和第二YUV图像;
(2)根据第一YUV图像以及第二YUV图像合成得到高动态范围的第一YUV合成图像,将第一YUV合成图像作为目标场景的预览图像进行展示。
本申请实施例中,为了便于用户提前得知图像拍摄的效果,还提供预览图像进行展示。
其中,电子设备除了将解包得到的第二RAW图像存入预设的缓存队列之外,还对解包得到的第一RAW图像和第二RAW图像进行格式转换,将第一RAW图像和第二RAW图像转换到YUV颜色空间,得到适于人眼查看的第一YUV图像和第二YUV图像,其中,第一YUV图像由第一RAW图像转换得到,第二YUV图像由第二RAW图像转换得到。
根据以上相关描述,本领域普通技术人员可以理解的是,第一YUV图像和第二YUV图像的图像内容相同,均为目标场景的图像内容。
对于目标场景而言,由于第一RAW图像的曝光时间长于第二RAW图像的曝光时间,则第一RAW图像相较于第二RAW图像而言,第一RAW图像更多保留了目标场景中较暗区域的特征,而第二RAW图像则更多保留了目标场景中较亮区域的特征。相应的,在将第一RAW图像转换为第一YUV图像,将第二RAW图像转换为第二YUV图像之后,第一YUV图像相较于第二YUV图像而言,第一YUV图像保留了目标场景中较暗区域中的特征,第二YUV图像保留了目标场景中较亮区域的特征。
本申请实施例中,根据第一YUV图像以及第二YUV图像进行图像合成,得到高动态范围的第一YUV合成图像,高动态范围图像相比普通的图像,能够提供更大的动态范围和图像细节,可以利用第一RAW图像和第二RAW图像中各自最佳的细节来合成得到第一YUV合成图像。
其中,由于第一RAW图像保留了目标场景中较暗区域的特征,第二RAW图像则保留了目标场景中较亮区域的特征,则在合成时,可以利用第一RAW图像保留的目标场景中较暗区域的特征以及第二RAW图像保留的目标场景中较亮区域的特征进行合成得到第一YUV合成图像,这样,第一YUV合成图像即保留了目标场景中较暗区域的特征,又保留了目标场景中较亮区域的特征,从而实现高动态范围的效果。
应当说明的是,本申请实施例对于采用何种高动态范围合成技术不做具体限制,可由本领域技术人员根据实际需要进行选择,比如,本申请实施例中,可以利用以下公式进行高动态范围图像合成:
HDR(i)=m*LE(i)+n*HE(i);
其中,HDR表示合成得到的高动态范围图像,HDR(i)表示合成得到的第一YUV合成图像的第i个像素点,LE表示第二RAW图像,LE(i)表示第二RAW图像上第i个像素点,m表示第二RAW图像对应的补偿权值,HE表示第一RAW图像,HE(i)表示第一RAW图像上第i个像素点,n表示第一RAW图像对应的补偿权值。
在根据第一RAW图像以及第二RAW图像合成得到第一YUV合成图像之后,将第一YUV合成图像作为目标场景的预览图像进行展示。根据以上描述,对于图像传感器输出的对应目标场景的每一个RAW图像包,电子设备将合成得到其对应的高动态范围效果的合成图像,从而可以实现对图像拍摄的持续的实时高动态范围效果的预览。
在一实施例中,“对第一RAW图像以及第二RAW图像进行格式转换”,包括:
(1)获取屏幕的当前分辨率,并根据当前分辨率对第一RAW图像以及第二RAW图像进行降采样处理;
(2)对降采样后的第一RAW图像以及第二RAW图像进行格式转换,得到第一YUV图像和第二YUV图像。
本领域普通技术人员可以理解的是,将RAW图像转换为YUV图像仅为颜色空间的转换,转换得到的YUV图像与RAW图像的分辨率相同,而RAW图像为的分辨率为图像传感器的原始分辨率。比如,图像传感器的为4K分辨率,则转换得到的YUV图像同样为4K分辨率。
相应的,在本申请实施例中,如果直接对转换得到第一YUV图像和第二YUV图像进行合成,将花费较长的合成时间。因此,电子设备在对第一RAW图像和第二RAW图像进行格式转换时,首先获取到屏幕的当前分辨率,并根据屏幕的当前分辨率对第一RAW图像和第二RAW图像进行降采样处理,使得第一RAW图像和第二RAW图像的分辨率与屏幕的当前分辨率一致。
然后,电子设备对降采样后的第一RAW图像以及第二RAW图像进行格式转换,得到对应第一RAW图像的第一YUV图像和对应第二RAW图像的第二YUV图像,相应的,第一YUV图像以及第二YUV图像的分辨率也是与屏幕的当前分辨率所一致的。这样,在对第一YUV图像和第二YUV图像进行合成时,将能够在更短的时间内完成合成,且由于第一YUV图像以及第二YUV图像的分辨率是与屏幕的当前分辨率所一致的,那么合成得到的第一合成YUV图像的分辨率同样是与屏幕的当前分辨率所一致的,将该第一合成YUV图像作为预览图像进行展示,并不会降低预览效果。
在一实施例中,“将第一YUV合成图像作为目标场景的预览图像进行展示”之前,还包括:
(1)识别当前为预览模式或是为录像模式;
(2)若当前为预览模式,则将第一YUV合成图像作为目标场景的预览图像进行展示。
本申请实施例中,电子设备在将第一YUV合成图像作为目标场景的预览图像进行展示之前,识别当前为预览模式或是为录像模式。
其中,若识别到当前为预览模式,则将第一YUV合成图像作为目标场景的预览图像进行展示。具体可参照以上相关描述,此处不再赘述。
若识别到当前为录像模式,则根据第一YUV合成图像进行视频编码,得到目标场景的视频。
其中,对于采用何种视频编码格式进行视频编码,本申请实施例中不做具体限制,可由本领域普通技术人员根据实际需要选取视频编码格式,包括但不限于H.264、H.265、MPEG-4等等。
在一实施例中,“对第一RAW图像以及第二RAW图像进行格式转换”,包括:
(1)获取当前的录像分辨率,根据录像分辨率对第一RAW图像以及第二RAW图像进行降采样处理;
(2)对降采样后的第一RAW图像以及第二RAW图像进行格式转换,得到对应的第一YUV图像和第二YUV图像。
其中,录像分辨率可由用户预先设置,包括但不限于1080P、2K以及4K等。比如,录像分辨率被用户预先设置为1080P,则电子设备在录像模式下对第一RAW图像以及第二RAW图像进行格式转换时,首先对第一RAW图像和第二RAW图像进行降采样处理,得到1080P分辨率的第一RAW图像和第二RAW图像,然后再对1080P分辨率的第一RAW图像和第二RAW图像进行格式转换,得到1080P分辨率的第一YUV图像和第二YUV图像。
在一实施例中,本申请提供的图像处理方法还包括:
对第一YUV合成图像进行质量优化处理;
或者,对第二YUV合成图像进行质量优化处理;
或者,对第一YUV图像、第二YUV图像和/或第三YUV图像进行质量优化处理;
或者,对目标场景的高动态范围图像进行质量优化处理;
或者,对第二RAW图像和/或历史第二RAW图像转换得到的YUV图像进行质量优化处理。
其中,电子设备可以在合成得到第一YUV合成图像之后,对第一YUV合成图像进行质量优化处理,以提升其图像质量。
电子设备还可以在合成得到第二YUV合成图像之后,对第二YUV合成图像进行质量优化处理,以提升其图像质量。
电子设备还可以在合成得到第一YUV合成图像之前,对第一YUV图像和/或第二YUV图像进行质量优化处理。
电子设备还可以在合成得到第二YUV合成图像之前,对第一YUV图像、第二YUV图像和/或第三YUV图像进行质量优化处理。
电子设备还可以在合成得到目标场景的高动态范围图像之后,对目标场景的高动态范围图像进行质量优化处理,以提升其图像质量。
电子设备还可以在合成得到目标场景的高动态范围图像之前,对第二RAW图像和/或历史第二RAW图像转换得到的YUV图像进行质量优化处理。
应当说明的是,本申请实施例中所进行的质量优化处理包括但不限于锐化和降噪等,具体可由本领域普通技术人员根据实际需要选取合适的质量优化处理方式。
请结合参照图5,图5为本申请实施例提供的图像处理方法的另一种流程示意图,该图像处理方法的流程可以包括:
在201中,电子设备通过图像传感器获取目标场景的RAW图像包,RAW图像包包括依次曝光的第一RAW图像和第二RAW图像,且第一RAW图像的曝光时间长于第二RAW图像的曝光时间。
在本申请实施例中,电子设备的摄像头由透镜和图像传感器构成,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即RAW图像数据。RAW是未经处理、也未经压缩的格式,可以将其形象的称为“数字底片”。
应当说明的是,本申请实施例中的图像传感器具有第一工作模式和第二工作模式,其中,第一工作模式为数字重叠模式,在该模式下,图像传感器将在一帧图像的时间内产生两帧曝光时间不同的RAW图像,并以RAW图像包的形式输出,比如,请参照图2,工作在第一工作模式的图像传感器输出的RAW图像包中包括两个RAW图像,且其中一个RAW图像的曝光时间为另一个RAW图像曝光时间的两倍。第二工作模式为普通工作模式,在该模式下,图像传感器在一帧图像的时间内将产生一个单独的RAW图像,而不是RAW图像包。可选的,该图像传感器的型号可以为IMX290LQR或者IMX291LQR等具有数字重叠工作模式的图像传感器。
本申请实施例中,电子设备首先通过工作在第一工作模式的图像传感器获取目标场景的RAW图像包,其中,来源于目标场景的光信号经过摄像头的透镜后汇聚到图像传感器上,图像传感器将进行长、短交替曝光,持续输出包括两个RAW图像的RAW图像包。应当说明的是,在以下描述中,本申请实施例中将RAW图像包中曝光时间较长的RAW图像记为第一RAW图像,将曝光时间较短的RAW图像记为第二RAW图像。
比如,当用户操作电子设备开启摄像应用后,电子设备使能图像传感器,并使其工作在第一工作模式,若用户操作电子设备的摄像头对准某一场景,该场景即为目标场景,与此同时,电子设备将通过该工作在第一工作模式的图像传感器持续获取到目标场景的RAW图像包,该RAW图像包包括第一RAW图像和第二RAW图像。
在202中,电子设备对RAW图像包进行解包处理后得到第一RAW图像和第二RAW图像,并将第二RAW图像存入预设的图像缓存队列中。
应当说明的是,RAW图像包可以看做是将两个RAW图像压缩后得到“压缩包”,电子设备无法直接对RAW图像包进行处理。因此,电子设备在获取到目标场景的RAW图像包之后,对获取到的RAW图像包进行解包处理,得到第一RAW图像和第二RAW图像,该第一RAW图像的曝光时间长于第二RAW图像的曝光时间。可以理解的是,由于第一RAW图像和第二RAW图像由图像传感器在短时间内连续曝光得到,可以将第一RAW图像和第二RAW图像的图像内容看做相同。
此外,电子设备中还预先设置有图像缓存队列,该图像缓存队列可以为定长队列,也可以为变长队列,比如,该图像缓存队列为定长队列,能够缓存8个RAW图像。在本申请实施例中,电子设备在将RAW图像解包得到第一RAW图像和第二RAW图像之后,将第二RAW图像存入预设的图像缓存队列中。由此,对于电子设备获取到的每一个RAW图像包,均会将其解包得到的第二RAW图像存入图像缓存队列中。
在203中,电子设备对第一RAW图像以及第二RAW图像进行格式转换,得到对应的第一YUV图像和第二YUV图像。
应当说明的是,YUV是一种颜色编码方法,其中Y表示亮度,UV表示色度,人眼从YUV图像中可以直观的感受到其中所包含的自然特征。本申请实施例中,对于解包后得到的第一RAW图像和第二RAW图像,电子设备分别对第一RAW图像和第二RAW图像进行格式转换,从而将第一RAW图像和第二RAW图像转换到YUV颜色空间,得到适于人眼查看的第一YUV图像和第二YUV图像,其中,第一YUV图像由第一RAW图像转换得到,第二YUV图像由第二RAW图像转换得到。
根据以上相关描述,本领域普通技术人员可以理解的是,第一YUV图像和第二YUV图像的图像内容相同,均为目标场景的图像内容。
在204中,电子设备根据第一YUV图像以及第二YUV图像合成得到高动态范围的第一YUV合成图像,识别当前为预览模式或是为录像模式,若为预览模式,则转入206,若为录像模式,则转入205。
对于目标场景而言,由于第一RAW图像的曝光时间长于第二RAW图像的曝光时间,则第一RAW图像相较于第二RAW图像而言,第一RAW图像保留了目标场景中较暗区域的特征,而第二RAW图像则保留了目标场景中较亮区域的特征。相应的,在将第一RAW图像转换为第一YUV图像,将第二RAW图像转换为第二YUV图像之后,第一YUV图像相较于第二YUV图像而言,第一YUV图像保留了目标场景中较暗区域中的特征,第二YUV图像保留了目标场景中较亮区域的特征。
本申请实施例中,根据第一YUV图像以及第二YUV图像进行图像合成,得到高动态范围的第一YUV合成图像,高动态范围图像相比普通的图像,能够提供更大的动态范围和图像细节,可以利用第一RAW图像和第二RAW图像中各自最佳的细节来合成得到第一YUV合成图像。
其中,由于第一RAW图像保留了目标场景中较暗区域的特征,第二RAW图像则保留了目标场景中较亮区域的特征,则在合成时,可以利用第一RAW图像保留的目标场景中较暗区域的特征以及第二RAW图像保留的目标场景中较亮区域的特征进行合成得到第一YUV合成图像,这样,第一YUV合成图像即保留了目标场景中较暗区域的特征,又保留了目标场景中较亮区域的特征,从而实现高动态范围的效果。
应当说明的是,本申请实施例对于采用何种高动态范围合成技术不做具体限制,可由本领域技术人员根据实际需要进行选择,比如,本申请实施例中,可以利用以下公式进行高动态范围图像合成:
HDR(i)=m*LE(i)+n*HE(i);
其中,HDR表示合成得到的高动态范围图像,HDR(i)表示合成得到的第一YUV合成图像的第i个像素点,LE表示第二RAW图像,LE(i)表示第二RAW图像上第i个像素点,m表示第二RAW图像对应的补偿权值,HE表示第一RAW图像,HE(i)表示第一RAW图像上第i个像素点,n表示第一RAW图像对应的补偿权值。
在合成得到第一YUV合成图像之后,电子设备识别当前为预览模式或是为录像模式,若为预览模式,则转入206,若为录像模式,则转入205。
在205中,电子设备根据第一YUV合成图像进行视频编码,得到目标场景的视频。
其中,对于采用何种视频编码格式进行视频编码,本申请实施例中不做具体限制,可由本领域普通技术人员根据实际需要选取视频编码格式,包括但不限于H.264、H.265、MPEG-4等等。
在206中,电子设备将第一YUV合成图像作为目标场景的预览图像进行展示。
根据以上描述,在预览模式下,对于图像传感器输出的对应目标场景的每一个RAW图像包,电子设备将合成得到其对应的高动态范围效果的合成图像,从而可以实现对图像拍摄的持续的实时高动态范围效果的预览。
在207中,电子设备若接收到对目标场景的拍照指令,则从图像缓存队列中提取第二RAW图像以及历史第二RAW图像,历史第二RAW图像为历史获取到的RAW图像包中解包出的第二RAW图像。
本领域普通技术人员可以理解的是,预览在于使得用户提前得知拍摄图像的效果,目的在于更好的拍摄。用户可以根据实际需要向电子设备输入对目标场景的拍照指令。比如,用户可以通过语音指令的方式向电子设备输入拍照指令,也可以通过点击电子设备提供的“拍照”控件的方式向电子设备输入拍照指令,如图3所示,还可以通过按压电子设备通过实体拍照按钮的方式向电子设备输入拍照指令,还可以通过其它电子设备向电子设备远程下达拍照指令等。
相应的,电子设备在接收到对目标场景的拍照指令之后,从图像缓存队列中提取出第二RAW图像以及历史第二RAW图像,其中,历史第二RAW图像为从前述RAW图像包之前获取到的RAW图像包中解包得到的第二RAW图像。应当说明的是,不同RAW图像包中的第二RAW图像的曝光时间相同。
应当说明的是,在本申请实施例中对于获取的历史第二RAW图像的数量不做限制,可由本领域普通技术人员根据实际需要进行设置,其中,获取的历史第二RAW图像数量越多,最终合成得到目标场景的高动态范围图像的效果越好。
在208中,电子设备将第二RAW图像以及历史第二RAW图像转换为对应的YUV图像后进行合成,得到目标场景的高动态范围图像。
在对第二RAW图像以及历史第二RAW图像转换得到的YUV图像进行合成时,电子设备首先根据第二RAW图像以及历史第二RAW图像进行多帧降噪合成,得到一个降噪合成图像。可以理解的是,由于第二RAW图像以及历史第二RAW图像的曝光时间较短,其将更多保留目标场景中较亮区域的特征。同样的,合成得到的降噪合成图像同样更多保留的是目标场景中较亮区域的特征。此时,对于降噪合成图像,电子设备可以提升其亮度,使得目标场景中较亮区域的特征以及较暗区域的特征得以同时呈现,得到目标场景的高动态范围图像。至此,电子设备即完成对拍照指令的执行,得到拍照指令的结果图像即为目标场景的高动态范围图像。
比如,假设电子设备共从图像缓存队列中获取到3个历史第二RAW图像,则电子设备对第二RAW图像以及这3个历史第二RAW图像进行格式转换后共得到4个YUV图像,分别为YUV图像A、YUV图像B、YUV图像C以及YUV图像D。
在进行降噪合成时,电子设备首先将第二RAW图像转换得到的YUV图像A选取为基准图像,然后将YUV图像B、YUV图像C以及YUV图像D与YUV图像A对齐,再基于对齐后的各图像,计算得到各像素点的平均像素值,比如,假设某位置的像素点在四个YUV图像中的像素值分别为:“0.8,0.9,1.1,1.2”,则可计算得到该位置的像素点的平均像素值为“1”。之后,根据各位置的平均像素值得到降噪合成图像。比如,可以将基准图像(即YUV图像A)的各像素点的像素值相应调整为计算得到的各平均像素值,从而得到降噪合成图像;又比如,可以根据计算得到各平均像素值,生成一幅新的图像,将生成的图像作为降噪合成图像。
比如,请参照图4,电子设备将获取到的第二RAW图像以及3个历史第二RAW图像转换为4个YUV图像,分别为YUV图像A、YUV图像B、YUV图像C以及YUV图像D,这4个YUV图像的曝光时间相同,图像内容也相同,但各自均存在一些噪点,将这4个YUV图像进行合成降噪后,得到降噪合成图像。对于降噪合成图像,电子设备进一步提升其亮度,得到对应的高动态范围图像。
另外,电子设备还可以对合成得到的高动态范围图像进行图像编码(比如JPG编码,BMP编码),得到编码后的高动态范围图像。
本申请实施例还提供一种图像处理装置。请参照图6,图6为本申请实施例提供的图像处理装置的结构示意图。其中该图像处理装置应用于电子设备,该电子设备包括图像传感器,该图像传感器具有第一工作模式和第二工作模式,该图像处理装置包括图像获取模块501、图像解包模块502、指令获取模块503以及图像合成模块504,如下:
图像获取模块501,用于通过图像传感器获取目标场景的RAW图像包,RAW图像包包括依次曝光的第一RAW图像和第二RAW图像,且第一RAW图像的曝光时间长于第二RAW图像的曝光时间;
图像解包模块502,用于对RAW图像包进行解包处理后得到第一RAW图像和第二RAW图像,并将第二RAW图像存入预设的图像缓存队列中;
指令获取模块503,用于在接收到对目标场景的拍照指令时,从图像缓存队列中提取第二RAW图像以及历史第二RAW图像,历史第二RAW图像为历史获取到的RAW图像包中解包出的第二RAW图像;
图像合成模块504,用于将第二RAW图像以及历史第二RAW图像转换为对应的YUV图像后进行合成,得到目标场景的高动态范围图像。
在一实施例中,在将第二RAW图像以及历史第二RAW图像转换为对应的YUV图像后进行合成,得到目标场景的高动态范围图像之前,图像合成模块504还用于;
对第一RAW图像以及第二RAW图像进行格式转换,得到对应的第一YUV图像和第二YUV图像;
根据第一YUV图像以及第二YUV图像合成得到高动态范围的第一YUV合成图像,将第一YUV合成图像作为目标场景的预览图像进行展示。
在一实施例中,在对第一RAW图像以及第二RAW图像进行格式转换时,指令获取模块503可以用于:
获取屏幕的当前分辨率,并根据当前分辨率对第一RAW图像以及第二RAW图像进行降采样处理;
对降采样后的第一RAW图像以及第二RAW图像进行格式转换,得到第一YUV图像和第二YUV图像。
在一实施例中,图像处理装置还包括模式识别模块,用于在将第一YUV合成图像作为目标场景的预览图像进行展示之前,识别当前为预览模式或是为录像模式;
图像合成模块504还用于在当前为预览模式时,将第一YUV合成图像作为目标场景的预览图像进行展示。
在一实施例中,图像处理装置还包括录像模块,用于在识别当前为预览模式或是为录像模式之后,若当前为录像模式,则根据第一YUV合成图像进行视频编码,得到目标场景的视频。
在一实施例中,在对第一RAW图像以及第二RAW图像进行格式转换时,指令获取模块503可以用于:
获取当前的录像分辨率,根据录像分辨率对第一RAW图像以及第二RAW图像进行降采样处理;
对降采样后的第一RAW图像以及第二RAW图像进行格式转换,得到对应的第一YUV图像和第二YUV图像。
在一实施例中,图像处理装置还包括图像优化模块,用于:
对第一YUV合成图像进行质量优化处理;
或者,对第二YUV合成图像进行质量优化处理;
或者,对第一YUV图像、第二YUV图像和/或第三YUV图像进行质量优化处理;
或者,对目标场景的高动态范围图像进行质量优化处理;
或者,对第二RAW图像和/或历史第二RAW图像转换得到的YUV图像进行质量优化处理。
应当说明的是,本申请实施例提供的图像处理装置与上文实施例中的图像处理方法属于同一构思,在图像处理装置上可以运行图像处理方法实施例中提供的任一方法,其具体实现过程详见图像处理方法实施例,此处不再赘述。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当其存储的计算机程序在计算机上执行时,使得计算机执行如本申请实施例提供的图像处理方法中的步骤。其中,存储介质可以是磁碟、光盘、只读存储器(Read Only Memory,ROM,)或者随机存取器(Random Access Memory,RAM)等。
本申请实施例还提供一种电子设备,请参照图7,电子设备包括处理器701和存储器702。其中,处理器701与存储器702电性连接。
处理器701是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或加载存储在存储器702内的计算机程序,以及调用存储在存储器702内的数据,执行电子设备的各种功能并处理数据。
存储器702可用于存储软件程序以及模块,处理器701通过运行存储在存储器702的计算机程序以及模块,从而执行各种功能应用以及数据处理。存储器702可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的计算机程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器702可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器702还可以包括存储器控制器,以提供处理器701对存储器702的访问。
在本申请实施例中,电子设备中的处理器701会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器702中,并由处理器701运行存储在存储器702中的计算机程序,从而实现各种功能,如下:
通过图像传感器获取目标场景的RAW图像包,RAW图像包包括依次曝光的第一RAW图像和第二RAW图像,且第一RAW图像的曝光时间长于第二RAW图像的曝光时间;
对RAW图像包进行解包处理后得到第一RAW图像和第二RAW图像,并将第二RAW图像存入预设的图像缓存队列中;
在接收到对目标场景的拍照指令时,从图像缓存队列中提取第二RAW图像以及历史第二RAW图像,历史第二RAW图像为历史获取到的RAW图像包中解包出的第二RAW图像;
将第二RAW图像以及历史第二RAW图像转换为对应的YUV图像后进行合成,得到目标场景的高动态范围图像。
请参照图8,图8为本申请实施例提供的电子设备的另一结构示意图,与图7所示电子设备的区别在于,电子设备还包括输入单元703和输出单元704等组件。
其中,输入单元703可用于接收输入的数字、字符信息或用户特征信息(比如指纹),以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入等。
输出单元704可用于显示由用户输入的信息或提供给用户的信息,如屏幕。
在本申请实施例中,电子设备中的处理器701会按照如下的步骤,将一个或一个以上的计算机程序的进程对应的指令加载到存储器702中,并由处理器701运行存储在存储器702中的计算机程序,从而实现各种功能,如下:
通过图像传感器获取目标场景的RAW图像包,RAW图像包包括依次曝光的第一RAW图像和第二RAW图像,且第一RAW图像的曝光时间长于第二RAW图像的曝光时间;
对RAW图像包进行解包处理后得到第一RAW图像和第二RAW图像,并将第二RAW图像存入预设的图像缓存队列中;
在接收到对目标场景的拍照指令时,从图像缓存队列中提取第二RAW图像以及历史第二RAW图像,历史第二RAW图像为历史获取到的RAW图像包中解包出的第二RAW图像;
将第二RAW图像以及历史第二RAW图像转换为对应的YUV图像后进行合成,得到目标场景的高动态范围图像。
在一实施例中,在将第二RAW图像以及历史第二RAW图像转换为对应的YUV图像后进行合成,得到目标场景的高动态范围图像之前,处理器701可以执行:
对第一RAW图像以及第二RAW图像进行格式转换,得到对应的第一YUV图像和第二YUV图像;
根据第一YUV图像以及第二YUV图像合成得到高动态范围的第一YUV合成图像,将第一YUV合成图像作为目标场景的预览图像进行展示。
在一实施例中,在对第一RAW图像以及第二RAW图像进行格式转换时,处理器701还可以执行:
获取屏幕的当前分辨率,并根据当前分辨率对第一RAW图像以及第二RAW图像进行降采样处理;
对降采样后的第一RAW图像以及第二RAW图像进行格式转换,得到第一YUV图像和第二YUV图像。
在一实施例中,在将第一YUV合成图像作为目标场景的预览图像进行展示之前,处理器701可以执行:
识别当前为预览模式或是为录像模式;
若当前为预览模式,则将第一YUV合成图像作为目标场景的预览图像进行展示。
在一实施例中,在识别当前为预览模式或是为录像模式之后,处理器701可以执行:
若当前为录像模式,则根据第一YUV合成图像进行视频编码,得到目标场景的视频。
在一实施例中,在对第一RAW图像以及第二RAW图像进行格式转换时,处理器701可以执行:
获取当前的录像分辨率,根据录像分辨率对第一RAW图像以及第二RAW图像进行降采样处理;
对降采样后的第一RAW图像以及第二RAW图像进行格式转换,得到对应的第一YUV图像和第二YUV图像。
在一实施例中,处理器701还可以执行:
对第一YUV合成图像进行质量优化处理;
或者,对第二YUV合成图像进行质量优化处理;
或者,对第一YUV图像、第二YUV图像和/或第三YUV图像进行质量优化处理;
或者,对目标场景的高动态范围图像进行质量优化处理;
或者,对第二RAW图像和/或历史第二RAW图像转换得到的YUV图像进行质量优化处理。
应当说明的是,本申请实施例提供的电子设备与上文实施例中的图像处理方法属于同一构思,在电子设备上可以运行图像处理方法实施例中提供的任一方法,其具体实现过程详见特征提取方法实施例,此处不再赘述。
需要说明的是,对本申请实施例的图像处理方法而言,本领域普通测试人员可以理解实现本申请实施例的图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在电子设备的存储器中,并被该电子设备内的至少一个处理器执行,在执行过程中可包括如图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器、随机存取记忆体等。
对本申请实施例的图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法,应用于电子设备,其特征在于,所述图像处理方法包括:
通过图像传感器获取目标场景的RAW图像包,所述RAW图像包包括依次曝光的第一RAW图像和第二RAW图像,且所述第一RAW图像的曝光时间长于所述第二RAW图像的曝光时间;
对所述RAW图像包进行解包处理后得到所述第一RAW图像和所述第二RAW图像,并将所述第二RAW图像存入预设的图像缓存队列中;
若接收到对所述目标场景的拍照指令,则从所述图像缓存队列中提取所述第二RAW图像以及历史第二RAW图像,所述历史第二RAW图像为历史获取到的RAW图像包中解包出的第二RAW图像;
将所述第二RAW图像以及所述历史第二RAW图像转换为对应的YUV图像后进行合成,得到所述目标场景的高动态范围图像。
2.根据权利要求1所述的图像处理方法,其特征在于,所述若接收到对所述目标场景的拍照指令,则从所述图像缓存队列中提取所述第二RAW图像以及历史第二RAW图像之前,还包括:
对所述第一RAW图像以及所述第二RAW图像进行格式转换,得到对应的第一YUV图像和第二YUV图像;
根据所述第一YUV图像以及所述第二YUV图像合成得到高动态范围的第一YUV合成图像,将所述第一YUV合成图像作为所述目标场景的预览图像进行展示。
3.根据权利要求2所述的图像处理方法,其特征在于,所述对所述第一RAW图像以及所述第二RAW图像进行格式转换,包括:
获取屏幕的当前分辨率,并根据所述当前分辨率对所述第一RAW图像以及所述第二RAW图像进行降采样处理;
对降采样后的所述第一RAW图像以及所述第二RAW图像进行格式转换,得到所述第一YUV图像和所述第二YUV图像。
4.根据权利要求2所述的图像处理方法,其特征在于,所述将所述第一YUV合成图像作为所述目标场景的预览图像进行展示之前,还包括:
识别当前为预览模式或是为录像模式;
若当前为预览模式,则将所述第一YUV合成图像作为所述目标场景的预览图像进行展示。
5.根据权利要求4所述的图像处理方法,其特征在于,所述识别当前为预览模式或是为录像模式之后,还包括:
若当前为录像模式,则根据所述第一YUV合成图像进行视频编码,得到所述目标场景的视频。
6.根据权利要求5所述的图像处理方法,其特征在于,所述对所述第一RAW图像以及所述第二RAW图像进行格式转换,包括:
获取当前的录像分辨率,根据所述录像分辨率对所述第一RAW图像以及所述第二RAW图像进行降采样处理;
对降采样后的所述第一RAW图像以及所述第二RAW图像进行格式转换,得到对应的第一YUV图像和第二YUV图像。
7.根据权利要求5所述的图像处理方法,其特征在于,所述图像处理方法还包括:
对所述第一YUV合成图像进行质量优化处理。
8.一种图像处理装置,应用于电子设备,其特征在于,所述图像处理装置包括:
图像获取模块,用于通过图像传感器获取目标场景的RAW图像包,所述RAW图像包包括依次曝光的第一RAW图像和第二RAW图像,且所述第一RAW图像的曝光时间长于所述第二RAW图像的曝光时间;
图像解包模块,用于对所述RAW图像包进行解包处理后得到所述第一RAW图像和所述第二RAW图像,并将所述第二RAW图像存入预设的图像缓存队列中;
指令获取模块,用于若接收到对所述目标场景的拍照指令,则从所述图像缓存队列中提取所述第二RAW图像以及历史第二RAW图像,所述历史第二RAW图像为历史获取到的RAW图像包中解包出的第二RAW图像;
图像合成模块,用于将所述第二RAW图像以及所述历史第二RAW图像转换为对应的YUV图像后进行合成,得到所述目标场景的高动态范围图像。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上运行时,使得所述计算机执行如权利要求1至7任一项所述的图像处理方法中的步骤。
10.一种电子设备,包括处理器和存储器,所述存储器储存有计算机程序,其特征在于,所述处理器通过调用所述计算机程序,用于执行如权利要求1至7任一项所述的图像处理方法中的步骤。
CN201910291639.2A 2019-04-09 2019-04-09 图像处理方法、装置、存储介质及电子设备 Pending CN110049241A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910291639.2A CN110049241A (zh) 2019-04-09 2019-04-09 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910291639.2A CN110049241A (zh) 2019-04-09 2019-04-09 图像处理方法、装置、存储介质及电子设备

Publications (1)

Publication Number Publication Date
CN110049241A true CN110049241A (zh) 2019-07-23

Family

ID=67276891

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910291639.2A Pending CN110049241A (zh) 2019-04-09 2019-04-09 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN110049241A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491110A (zh) * 2020-04-17 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101764959A (zh) * 2008-12-25 2010-06-30 昆山锐芯微电子有限公司 图像拾取系统及图像处理方法
CN101764958A (zh) * 2008-12-15 2010-06-30 昆山锐芯微电子有限公司 组合滚筒式曝光控制方法及图像传感器
CN102629995A (zh) * 2012-03-29 2012-08-08 天津大学 Cmos图像传感器像素时序控制方法
CN102833471A (zh) * 2011-06-15 2012-12-19 奥林巴斯映像株式会社 摄像装置和摄像方法
CN105376473A (zh) * 2014-08-25 2016-03-02 中兴通讯股份有限公司 一种拍照方法、装置及设备
CN106847845A (zh) * 2015-12-04 2017-06-13 佳能株式会社 摄像设备、摄像系统和摄像设备的驱动方法
CN107222669A (zh) * 2017-06-30 2017-09-29 维沃移动通信有限公司 一种拍摄的方法和移动终端
US20180097984A1 (en) * 2016-10-03 2018-04-05 Denso Corporation Imaging device provided with high dynamic range rendering function
CN108419023A (zh) * 2018-03-26 2018-08-17 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备
CN110786003A (zh) * 2017-05-11 2020-02-11 索尼半导体解决方案公司 摄像器件、摄像器件驱动方法和电子设备

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101764958A (zh) * 2008-12-15 2010-06-30 昆山锐芯微电子有限公司 组合滚筒式曝光控制方法及图像传感器
CN101764959A (zh) * 2008-12-25 2010-06-30 昆山锐芯微电子有限公司 图像拾取系统及图像处理方法
CN102833471A (zh) * 2011-06-15 2012-12-19 奥林巴斯映像株式会社 摄像装置和摄像方法
CN102629995A (zh) * 2012-03-29 2012-08-08 天津大学 Cmos图像传感器像素时序控制方法
CN105376473A (zh) * 2014-08-25 2016-03-02 中兴通讯股份有限公司 一种拍照方法、装置及设备
CN106847845A (zh) * 2015-12-04 2017-06-13 佳能株式会社 摄像设备、摄像系统和摄像设备的驱动方法
US20180097984A1 (en) * 2016-10-03 2018-04-05 Denso Corporation Imaging device provided with high dynamic range rendering function
CN110786003A (zh) * 2017-05-11 2020-02-11 索尼半导体解决方案公司 摄像器件、摄像器件驱动方法和电子设备
CN107222669A (zh) * 2017-06-30 2017-09-29 维沃移动通信有限公司 一种拍摄的方法和移动终端
CN108419023A (zh) * 2018-03-26 2018-08-17 华为技术有限公司 一种生成高动态范围图像的方法以及相关设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111491110A (zh) * 2020-04-17 2020-08-04 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN110248098B (zh) 图像处理方法、装置、存储介质及电子设备
US11107205B2 (en) Techniques for convolutional neural network-based multi-exposure fusion of multiple image frames and for deblurring multiple image frames
CN109565551A (zh) 对齐于参考帧合成图像
CN104488258B (zh) 用于双相机快门的方法和设备
CN108322646A (zh) 图像处理方法、装置、存储介质及电子设备
CN108833804A (zh) 成像方法、装置和电子设备
CN113099146B (zh) 一种视频生成方法、装置及相关设备
WO2006112490A1 (en) Electronic device
CN109167930A (zh) 图像显示方法、装置、电子设备和计算机可读存储介质
CN109996009A (zh) 图像处理方法、装置、存储介质及电子设备
CN102088559A (zh) 数字拍摄设备及其控制方法
CN113705665B (zh) 图像变换网络模型的训练方法和电子设备
CN110392214A (zh) 图像处理方法、装置、存储介质及电子设备
CN110198418A (zh) 图像处理方法、装置、存储介质及电子设备
CN110009587A (zh) 图像处理方法、装置、存储介质及电子设备
CN103685928B (zh) 图像处理装置以及图像处理方法
CN103369242B (zh) 数字图像处理设备及其控制方法
CN113706414A (zh) 视频优化模型的训练方法和电子设备
CN110035237A (zh) 图像处理方法、装置、存储介质及电子设备
CN108156376A (zh) 图像采集方法、装置、终端及存储介质
CN101563913B (zh) 消除闪光灯图像中的赝像
CN114926351A (zh) 图像处理方法、电子设备以及计算机存储介质
CN110049241A (zh) 图像处理方法、装置、存储介质及电子设备
CN110278375A (zh) 图像处理方法、装置、存储介质及电子设备
CN115802146A (zh) 一种录像中抓拍图像的方法及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190723

RJ01 Rejection of invention patent application after publication