CN110049254A - 图像处理方法、装置、存储介质及电子设备 - Google Patents
图像处理方法、装置、存储介质及电子设备 Download PDFInfo
- Publication number
- CN110049254A CN110049254A CN201910279817.XA CN201910279817A CN110049254A CN 110049254 A CN110049254 A CN 110049254A CN 201910279817 A CN201910279817 A CN 201910279817A CN 110049254 A CN110049254 A CN 110049254A
- Authority
- CN
- China
- Prior art keywords
- image
- raw image
- raw
- history
- electronic equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 35
- 238000012545 processing Methods 0.000 claims abstract description 94
- 238000003384 imaging method Methods 0.000 claims abstract description 63
- 239000000872 buffer Substances 0.000 claims abstract description 58
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 39
- 238000011946 reduction process Methods 0.000 claims abstract description 39
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 39
- 238000000034 method Methods 0.000 claims abstract description 20
- 238000011282 treatment Methods 0.000 claims description 24
- 230000009467 reduction Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 11
- 230000000694 effects Effects 0.000 abstract description 5
- 238000010586 diagram Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 7
- 238000003707 image sharpening Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000005611 electricity Effects 0.000 description 3
- 238000000151 deposition Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
Abstract
本申请公开了一种图像处理方法、装置、存储介质及电子设备。该方法包括:获取RAW图像包,该RAW图像包中包括第一RAW图像和第二RAW图像的数据,且该第一RAW图像的曝光时间长于该第二RAW图像;对该RAW图像包进行解包处理,得到该第一RAW图像和该第二RAW图像;将该第二RAW图像存入预设图像缓存队列;当接收到拍照指令时,获取目标RAW图像,该目标RAW图像的曝光时间长于该第二RAW图像;从该预设图像缓存队列中获取多个历史第二RAW图像,并对该多个历史第二RAW图像进行降噪处理,得到降噪图像;对该降噪图像和该目标RAW图像进行合成处理,得到具有高动态范围的第一合成图像;根据该第一合成图像,响应该拍照指令。本实施例可以提高图像成像效果。
Description
技术领域
本申请属于图像技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
由于电子设备本身的硬件限制,目前的电子设备只能拍摄亮度范围比较小的场景,若在场景明暗相差太大时进行拍摄,则拍摄出来的图像容易丢失明处和/或暗处的细节。即,电子设备处理得到的图像的成像效果较差。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,可以提高图像成像效果。
本申请实施例提供一种图像处理方法,应用于电子设备,包括:
获取RAW图像包,所述RAW图像包中包括第一RAW图像和第二RAW图像的数据,且所述第一RAW图像的曝光时间长于所述第二RAW图像;
对所述RAW图像包进行解包处理,得到所述第一RAW图像和所述第二RAW图像;
将所述第二RAW图像存入预设图像缓存队列;
当接收到拍照指令时,获取目标RAW图像,所述目标RAW图像的曝光时间长于所述第二RAW图像;
从所述预设图像缓存队列中获取多个历史第二RAW图像,并对所述多个历史第二RAW图像进行降噪处理,得到降噪图像;
对所述降噪图像和所述目标RAW图像进行合成处理,得到具有高动态范围的第一合成图像;
根据所述第一合成图像,响应所述拍照指令。
本申请实施例提供一种图像处理装置,应用于电子设备,包括:
第一获取模块,用于获取RAW图像包,所述RAW图像包中包括第一RAW图像和第二RAW图像的数据,且所述第一RAW图像的曝光时间长于所述第二RAW图像;
解包模块,用于对所述RAW图像包进行解包处理,得到所述第一RAW图像和所述第二RAW图像;
缓存模块,用于将所述第二RAW图像存入预设图像缓存队列;
第二获取模块,用于当接收到拍照指令时,获取目标RAW图像,所述目标RAW图像的曝光时间长于所述第二RAW图像;
降噪模块,用于从所述预设图像缓存队列中获取多个历史第二RAW图像,并对所述多个历史第二RAW图像进行降噪处理,得到降噪图像;
合成模块,用于对所述降噪图像和所述目标RAW图像进行合成处理,得到具有高动态范围的第一合成图像;
响应模块,用于根据所述第一合成图像,响应所述拍照指令。
本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的图像处理方法。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的图像处理方法。
本实施例中,由于电子设备对多个历史第二RAW图像进行了降噪处理,因此得到的降噪图像其噪声较低。之后,电子设备对该降噪图像和目标RAW图像进行合成处理,由于目标RAW图像的曝光时间长于第二RAW图像,因此得到的第一合成图像又具有高动态范围。即,本申请实施例中用于响应拍照指令的第一合成图像具有噪声低且具有高动态范围的优点,因此本实施例可以提高图像的成像效果。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像处理方法的流程示意图。
图2是本申请实施例提供的图像传感器工作在第一工作模式时输出RAW图像包的示意图。
图3是本申请实施例提供的图像处理方法的另一流程示意图。
图4是本申请实施例提供的图像传感器工作在第二工作模式时输出RAW图像的示意图。
图5至图6是本申请实施例提供的图像处理方法的场景示意图。
图7是本申请实施例提供的图像处理装置的结构示意图。
图8是本申请实施例提供的电子设备的结构示意图。
图9是本申请实施例提供的电子设备的另一结构示意图。
图10是本申请实施例提供的图像处理电路的结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等的电子设备。
请参阅图1,图1是本申请实施例提供的图像处理方法的流程示意图,流程可以包括:
在101中,获取RAW图像包,该RAW图像包中包括第一RAW图像和第二RAW图像的数据,且该第一RAW图像的曝光时间长于该第二RAW图像。
本实施例提供的图像处理方法可以应用于具有摄像模组的电子设备。电子设备的摄像模组由透镜和图像传感器构成,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即RAW图像数据。RAW是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。电子设备的摄像模组的图像传感器可以具有第一工作模式和第二工作模式。
需要说明的是,在该第一工作模式下,图像传感器将在一帧的时间内产生两个曝光时间不同的RAW图像,并以RAW图像包的形式输出。例如,图像传感器的帧率为30fps,则图像传感器会在三十分之一秒内产生两个曝光时间不同的RAW图像,并以RAW图像包的形式输出。比如,请参照图2,工作在第一工作模式的图像传感器输出的RAW图像包中可以包括两个RAW图像的数据,且其中一个RAW图像的曝光时间为另一个RAW图像曝光时间的两倍。当然这两帧RAW图像的曝光时间长度的比值也可以是其它数值,如3:1或者4:1或者3:2等等,本实施例对此不做具体限定。例如,图像传感器在第一个三十分之一秒内产生两个曝光时间不同的RAW图像,比如为第一RAW图像L1和第二RAW图像S1。即,图像传感器在进行完较长曝光得到L1图像帧后,并不会马上输出L1图像帧,而是将L1图像帧存入图像传感器的缓存器中,并马上清空图像传感器上积累的电荷,再进行较短曝光得到S1图像帧。在读取出S1图像帧之后,电子设备可以将L1图像帧和S1图像帧的数据打包处理成RAW图像包并输出。图像传感器在第二个三十分之一秒内也产生两个曝光时间不同的RAW图像,比如为第一RAW图像L2和第二RAW图像S2。图像传感器在第三个三十分之一秒内产生第一RAW图像L3和第二RAW图像S3。图像传感器在第四个三十分之一秒内产生第一RAW图像L4和第二RAW图像S4,等等。需要说明的是,本实施例中将RAW图像包中曝光时间较长的图像统一记为第一RAW图像,将曝光时间较短的图像统一记为第二RAW图像。在本实施例中,所有第一RAW图像的曝光时间可以相同,例如均为T1。所有第二RAW图像的曝光时间可以相同,例如均为T2。
上述第二工作模式为普通工作模式。在该第二工作模式下,图像传感器在一帧图像的时间内将产生一个单独的RAW图像,而不是RAW图像包。例如,普通工作模式下,图像传感器的帧率为60fps,则图像传感器会在每个六十分之一秒内产生一个RAW图像并输出。
在本申请实施例中,电子设备可以先通过工作在第一工作模式的图像传感器获取一RAW图像包,该RAW图像包中包括第一RAW图像和第二RAW图像的数据,其中该第一RAW图像的曝光时间长于第二RAW图像。其中,来源于当前场景的光信号经过摄像头的透镜后汇聚到图像传感器上,图像传感器将进行具有不同曝光时间的交替曝光,持续输出包括两个RAW图像的RAW图像包。可以理解的是,该RAW图像包中包括的两个RAW图像是在相同场景下获取的。可以理解的是,由于图像传感器获取第一RAW图像和第二RAW图像的时间间隔非常短,因此可以认为第一RAW图像和第二ARW图像是在相同场景下获取的图像。
比如,当用户操作电子设备开启相机应用后,电子设备使能图像传感器,并使其工作在第一工作模式。若用户操作电子设备的摄像头对准某一场景,则电子设备将通过工作在第一工作模式的图像传感器持续获取到该场景下的RAW图像包,该RAW图像包中包括两个具有不同曝光时间的RAW图像的数据,分别为第一RAW图像和第二RAW图像。
在102中,对RAW图像包进行解包处理,得到第一RAW图像和第二RAW图像。
在103中,将第二RAW图像存入预设图像缓存队列。
比如,102和103可以包括:
在获取到RAW图像包后,电子设备可以对RAW图像包进行解包处理,从而得到第一RAW图像和第二RAW图像。并且,电子设备可以将解包得到的第二RAW图像存入预设图像缓存队列中。
即,每当获取到一个RAW图像包,电子设备就可以对该获取到的RAW图像包进行解包处理,从而得到其中包括的第一RAW图像和第二RAW图像。在解包得到第一RAW图像和第二RAW图像后,电子设备可以将第二RAW图像存入预设图像缓存队列中。
在104中,当接收到拍照指令时,获取目标RAW图像,该目标RAW图像的曝光时间长于第二RAW图像。
比如,用户按下了相机应用的拍照按钮,则电子设备可以接收到拍照指令,此时该电子设备可以获取目标RAW图像。其中,该目标RAW图像的曝光时间可以长于第二RAW图像。需要说明的是,该目标RAW图像和第一RAW图像、第二RAW图像是关于同一场景的图像,由于拍摄时间的间隔很小,因此可以认为目标RAW图像和第一RAW图像、第二RAW图像是在相同场景下获取的图像。
在105中,从预设图像缓存队列中获取多个历史第二RAW图像,并对该多个历史第二RAW图像进行降噪处理,得到降噪图像。
比如,在接收到拍照指令后,电子设备可以从预设图像缓存队列中获取多个历史第二RAW图像。可以理解的是,历史第二RAW图像即是对历史获取到的RAW图像包解包后得到的、已存入预设图像缓存队列中的第二RAW图像。在获取到多个历史第二RAW图像后,电子设备可以对这多个历史第二RAW图像进行降噪处理,从而得到降噪图像。
在106中,对降噪图像和目标RAW图像进行合成处理,得到具有高动态范围的第一合成图像。
比如,在获取到由多个历史第二RAW图像经过降噪处理得到的降噪图像后,电子设备可以对该降噪图像和目标RAW图像进行合成处理,从而得到具有高动态范围的第一合成图像。
在107中,根据第一合成图像,响应拍照指令。
比如,在得到具有高动态范围的第一合成图像后,电子设备可以根据该第一合成图像响应拍照指令。例如,电子设备可以在对该RAW合成图像进行一定处理后,将其作为在拍照得到的图像显示在相机应用的界面上供用户查看。
例如,用户打开相机应用,并将摄像头对准场景A,则电子设备可以使能图像传感器并使其工作在第一工作模式下。此时,电子设备通过图像传感器可以不断地、快速地获取到场景A下的RAW图像包,该RAW图像包中包括具有不同曝光时间的第一RAW图像和第二RAW图像。每当获取到一个RAW图像包,电子设备就可以将该获取到的RAW图像包进行解包处理,从而得到该RAW图像包中包括的第一RAW图像和第二RAW图像,并将解包得到的第二RAW图像存入预设图像缓存队列中。当用户按下拍照按钮以拍摄场景A的照片时,电子设备可以在场景A下获取目标RAW图像,其中该目标RAW图像的曝光时间可以长于第二RAW图像。之后,电子设备可以从预设图像缓存队列中获取多个历史第二RAW图像,并将获取到的多个历史第二RAW图像进行降噪处理,得到降噪图像。之后,电子设备可以对降噪图像和目标RAW图像进行合成处理,从而得到具有高动态范围的第一合成图像。之后,电子设备可以根据该第一合成图像响应拍照指令。
可以理解的是,本实施例中,由于电子设备对多个历史第二RAW图像进行了降噪处理,因此得到的降噪图像其噪声较低。之后,电子设备对该降噪图像和目标RAW图像进行合成处理,由于目标RAW图像的曝光时间长于第二RAW图像,因此得到的第一合成图像又具有高动态范围。即,本申请实施例中用于响应拍照指令的第一合成图像具有噪声低且具有高动态范围的优点,因此本实施例可以提高图像的成像效果。
请参阅图3,图3为本申请实施例提供的图像处理方法的另一流程示意图。该图像处理方法可以应用于电子设备,该电子设备可以包括图像传感器,该图像传感器可以包括第一工作模式和第二工作模式。其中,图像传感器在第一工作模式下可以输出RAW图像包,而在第二工作模式下图像传感器输出RAW图像,而不输出RAW图像包,如图4所示,在第二工作模式下,图像传感器在一帧的时间内输出一RAW图像,例如图像传感器依次输出图像P1、P2、P3和P4。
本实施例提供的图像处理方法的流程可以包括:
在201中,电子设备通过第一工作模式下的图像传感器获取RAW图像包,该RAW图像包中包括第一RAW图像和第二RAW图像的数据,且该第一RAW图像的曝光时间长于该第二RAW图像。
在202中,电子设备对RAW图像包进行解包处理,得到第一RAW图像和第二RAW图像。
比如,201和202可以包括:
在用户操作电子设备开启相机应用后,该电子设备可以使能图像传感器,并使该图像传感器工作在第一工作模式。比如,用户操作电子设备的摄像头对准某一场景,则电子设备将通过工作在第一工作模式的图像传感器持续获取到该场景下的RAW图像包,该RAW图像包中可以包括依次曝光的具有不同曝光时间的第一RAW图像和第二RAW图像。其中,第一RAW图像的曝光时间可以长于第二RAW图像。需要说明的是,本实施例中将RAW图像包中曝光时间较长的图像统一记为第一RAW图像,将曝光时间较短的图像统一记为第二RAW图像。
在获取到RAW图像包之后,电子设备可以对该RAW图像包进行解包处理,从而得到第一RAW图像和第二RAW图像。
在203中,电子设备将第二RAW图像存入预设图像缓存队列。
比如,在解包得到第一RAW图像和第二RAW图像后,电子设备可以将第二RAW图像存入预设图像缓存队列中。
在一种实施方式中,本实施例提供的预设图像缓存队列可以为定长队列。例如,预设图像缓存队列的长度为30。也即,预设图像缓存队列中可以缓存最近得到的30个图像。例如,预设图像缓存队列中按照时间先后顺序缓存了30个RAW图像。当第31个RAW图像需要缓存到预设图像缓存队列中时,预设图像缓存队列可以先删除第1个RAW图像,再将第31个RAW图像存如到该预设图像缓存队列中。通过这种方式,预设图像缓存队列中保存的是最近获取到的30个RAW图像。
在其它实施方式中,预设图像缓存队列也可以是非定长队列,等等。
在204中,当接收到拍照指令时,电子设备将图像传感器由第一工作模式切换到第二工作模式。
在205中,当处于第二工作模式时,电子设备通过图像传感器获取第三RAW图像,并将该第三RAW图像确定为目标RAW图像,其中该目标RAW图像的曝光时间长于第二RAW图像。
比如,204和205可以包括:
用户在相机应用界面按下了拍照按钮,则电子设备可以接收到拍照指令,此时电子设备可以将图像传感器由第一工作模式切换到第二工作模式。在该第二工作模式下,电子设备不再输出RAW图像包,而是输出RAW图像。
在切换到第二工作模式后,电子设备可以快速拍摄一个RAW图像,即电子设备可以获取到第三RAW图像。
在一种实施方式中,该第三RAW图像的曝光时间可以长于图像传感器在第一工作模式下拍摄的第一RAW图像和第二RAW图像的曝光时间。
例如,图像传感器在第一工作模式下输出的RAW图像包中的第一RAW图像的曝光时间均为T1,第二RAW图像的曝光时间均为T2。图像传感器在第二工作模式下输出的第三RAW图像的曝光时间为T3。那么,在本实施例中,T3可以大于T1,T1可以大于T2。
在获取到第三RAW图像后,电子设备可以将该第三RAW图像确定为目标RAW图像。可以理解的是,由于拍摄时间的间隔很短,因此可以认为第一RAW图像、第二RAW图像和第三RAW图像是在相同场景下获取的图像。
在206中,电子设备从预设图像缓存队列中获取多个历史第二RAW图像。
在207中,电子设备获取多个历史第二RAW图像的清晰度。
在208中,电子设备将清晰度最高的历史第二RAW图像确定为用于多帧降噪处理的基准帧。
在209,电子设备利用除清晰度最高的历史第二RAW图像外的其它历史第二RAW图像,对基准帧进行多帧降噪处理,得到降噪图像。
比如,在206、207、208和209可以包括:
当接收到拍照指令时,电子设备还可以从预设图像缓存队列中获取多个历史第二RAW图像。之后,电子设备可以获取这多个历史第二RAW图像的清晰度,并将清晰度最高的历史第二RAW图像确定为用于多帧降噪处理的基准帧。
例如,电子设备从预设图像缓存队列中获取到4个历史第二RAW图像,分别为S1、S2、S3和S4,之后,电子设备可以获取图像S1、S2、S3和S4的清晰度。例如,其中的S4的清晰度最高,则电子设备可以将图像S4确定为用于多帧降噪处理的基准帧。
在确定出基准帧之后,电子设备可以利用除清晰度最高的历史第二RAW图像外的其它历史第二RAW图像,对基准帧进行多帧降噪处理,得到降噪图像。例如,电子设备可以利用图像S1、S2、S3对基准帧图像S4进行多帧降噪处理,从而得到降噪图像。
需要说明的是,电子设备在进行多帧降噪时,可以先从多帧图像中确定基准帧,然后利用多帧图像中的其它图像对基准帧图像进行降噪。例如将图像S4确定为基准帧,然后电子设备可以将图像S1、S2、S3和S4进行图像对齐。之后,电子设备可以基于对齐后的各图像,计算得到各像素点的平均像素值,比如,某位置的像素点在四帧图像S1、S2、S3和S4中的像素值依次为:101,102,103,104,则可计算得到该位置的像素点的平均像素值为102.5。那么,电子设备可以将该位置的像素点的像素值确定为102.5,将基准帧图像S4在该位置的像素值由104改为102.5。同理,将基准帧图像S4中各位置的像素值改为对应的平均像素值后即可以得到降噪图像。
在210,电子设备对降噪图像和目标RAW图像进行合成处理,得到具有高动态范围的第一合成图像。
比如,在得到降噪图像后,电子设备可以对该降噪图像和目标RAW图像进行合成处理,从而得到具有高动态范围的第一合成图像。
在211中,电子设备对所述第一合成图像进行图像美化处理后,得到美化处理后的图像。
在212中,电子设备根据美化处理后的图像响应拍照指令。
比如,211和212可以包括:
电子设备可以对第一合成图像进行图像美化处理,得到美化处理后的图像,并根据该美化处理后的图像响应拍照指令。
例如,电子设备可以先将该第一合成图像进行格式转换,由RAW图像转换为YUV格式的合成图像。在转换得到YUV格式的合成图像后,电子设备可以对该YUV格式的合成图像进行诸如图像锐化等美化处理,得到经美化处理的图像。
在得到经美化处理后的图像后,电子设备可以将该美化处理后的图像在进行JPEG编码后输出并显示在相机界面中,作为拍照得到的照片展示给用户查看。
在另一种实施方式中,在对RAW图像包进行解包处理得到第一RAW图像和第二RAW图像后,电子设备也可以将解包得到的第一RAW图像存入预设图像缓存队列中。那么,当接收到拍照指令时,电子设备可以不用切换到第二工作模式,而是直接从预设图像缓存队列中获取历史第一RAW图像,并将该历史第一RAW图像确定为目标RAW图像。之后,电子设备可以从预设图像缓存队列中获取多个历史第二RAW图像,并对这多个历史第二RAW图像进行降噪处理,得到降噪图像。之后,电子设备可以对历史第一RAW图像和该降噪图像进行合成处理,从而得到具有高动态范围的合成图像,例如为第一合成图像,并根据该第一合成图像响应拍照指令。
在一种实施方式中,电子设备在执行从预设图像缓存队列中获取多个历史第二RAW图像,并对这多个历史第二RAW图像进行降噪处理,得到降噪图像的流程时,可以执行:
电子设备获取剩余运行内存容量与运行内存总容量的比值;
根据该比值电子设备确定目标数量,该目标数量大于或等于2;
电子设备从预设图像缓存队列中获取目标数量的历史第二RAW图像,并对该目标数量的历史第二RAW图像进行降噪处理,得到降噪图像。
比如,当电子设备需要从预设图像缓存队列中获取多个历史第二RAW图像进行多帧降噪时,电子设备可以先获取其剩余运行内存容量与运行内存总容量的比值,并根据该比值确定目标数量,其中该目标数量可以大于或等于2。其中,电子设备的剩余运行内存容量与运行内存总容量的比值可以表示电子设备的计算能力或处理能力。该比值越高表示电子设备当前的计算能力或处理能力越强。该比值越低表示电子设备当前的计算能力或处理能力越弱。
例如,电子设备可以预先设置剩余运行内存容量与运行内存总容量的不同比值与数量的对应关系。例如,剩余运行内存容量与运行内存总容量的比值为[75%,100%]对应的数量为4;剩余运行内存容量与运行内存总容量的比值为[40%,75%)对应的数量为3;剩余运行内存容量与运行内存总容量的比值低于40%时对应的数量为2。也即,当剩余运行内存容量与运行内存总容量的比值不低于75%时,可以认为电子设备当前的处理能力较强,在这种情况下,电子设备可以获取4帧历史第二RAW图像进行多帧降噪处理。当剩余运行内存容量与运行内存总容量的比值在40%至75%之间时,可以认为电子设备当前的处理能力一般,在这种情况下,电子设备可以获取3帧历史第二RAW图像进行多帧降噪处理。当剩余运行内存容量与运行内存总容量的比值低于40%时,可以认为电子设备当前的处理能力较弱,在这种情况下,电子设备可以获取2帧历史第二RAW图像进行多帧降噪处理。也即,当电子设备的处理能力较弱时,电子设备可以获取数量较少的历史第二RAW图像进行多帧降噪,从而避免数量较多的多帧降噪处理给电子设备的处理能力带来的负担,避免引起设备卡顿等问题。
在一种实施方式中,在202中对RAW图像包进行解包处理得到第一RAW图像和第二RAW图像后,本实施例还可以包括如下步骤:
电子设备可以对第一RAW图像和第二RAW图像进行合成处理,得到具有高动态范围的第二合成图像;
电子设备利用该第二合成图像进行图像预览或录像操作。
比如,在用户操作电子设备开启相机应用后,该电子设备可以使能图像传感器,并使该图像传感器工作在第一工作模式。比如,用户操作电子设备的摄像头对准某一场景,则电子设备将通过工作在第一工作模式的图像传感器持续获取到该目标场景下的RAW图像包,并对获取到的RAW图像包进行解包处理。在对获取到的RAW图像包进行解包处理得到第一RAW图像和第二RAW图像后,电子设备可以对解包得到的第一RAW图像和第二RAW图像进行合成处理,从而得到具有高动态范围的第二合成图像。之后,电子设备可以利用该具有高动态范围的第二合成图像进行图像的预览和录像操作。
例如,在得到具有高动态范围的第二合成图像之后,电子设备可以获取显示屏的分辨率,并根据该分辨率对该合成后图像进行降采样处理,降采样处理后的图像再经过诸如YUV格式转换、图像锐化、图像降噪等美化处理后用于预览。
又如,电子设备可以获取录像的视频分辨率,并根据该录像的视频分辨率对由第一RAW图像和第二RAW图像合成的具有高动态范围的第二合成图像进行降采样处理,降采样处理后的图像再经过诸如YUV格式转换、图像锐化、图像降噪等美化处理后用于作为录像对应的视频中的一帧保存起来。
例如,录像的视频分辨率可由用户预先设置,包括但不限于1080P、2K以及4K等。比如,录像的视频分辨率被用户预先设置为2K,则电子设备在对第一RAW图像和第二RAW图像进行合成(比如分辨率为4K)之后,可以对合成后图像进行降采样处理,得到2K分辨率的高动态范围图像。
在一种实施方式中,在进行图像预览时,电子设备在对RAW图像包进行解包处理,得到第一RAW图像和第二RAW图像后,可以先根据显示屏的分辨率对第一RAW图像和第二RAW图像进行降采样处理,再将经过降采样处理的第一RAW图像和第二RAW图像合成为具有高动态范围的第一图像,并利用该具有高动态范围的第一图像进行图像预览。
在一种实施方式中,在进行录像时,电子设备在对RAW图像包进行解包处理,得到第一RAW图像和第二RAW图像后,可以先根据录像的视频分辨率对第一RAW图像和第二RAW图像进行降采样处理,再将经过降采样处理的第一RAW图像和第二RAW图像合成为具有高动态范围的第二图像,并利用该具有高动态范围的第二图像进行录像操作。
可以理解的是,通过对第一RAW图像和第二RAW图像先进行降采样再进行合成的方式,可以减少数据处理环节的数据量,从而降低电子设备的功耗。
请参阅图5至图6,图5至图6为本申请实施例提供的图像处理方法的场景示意图。
比如,用户打开相机应用,此时电子设备进入相机的预览界面。电子设备可以使能图像传感器,并使该图像传感器工作在第一工作模式。在该第一工作模式下,图像传感器将在一帧图像的时间内依次产生曝光时间不同的第一RAW图像和第二RAW图像,并以RAW图像包的形式输出。其中,第一RAW图像的曝光时间可以长于第二RAW图像。
例如,如图5所示,用户将摄像头对准场景A,场景A中包括一个人物,则电子设备可以开始快速地获取到关于该场景A的RAW图像包。电子设备获取到场景A下的RAW图像包后,可以对该RAW图像包进行解包处理,得到第一RAW图像和第二RAW图像。在解包处理后,电子设备可以将解包得到的第一RAW图像和第二RAW图像存入预设图像缓存队列中。
之后,电子设备可以对解包得到的第一RAW图像和第二RAW图像进行合成处理,从而得到具有高动态范围的合成后图像。之后,电子设备可以在对由第一RAW图像和第二RAW图像合成得到的图像进行诸如YUV格式转换、图像降噪、图像锐化等处理后再进行编码,编码后的图像可以显示在相机应用的预览界面,供用户预览。可以理解的是,本实施例中由于用于预览的图像是利用具有不同曝光时间的第一RAW图像和第二RAW图像合成后得到的,因此用于预览的图像也具有高动态范围的视觉效果。
例如,用户在对图像进行预览后,按下了拍照按钮,则电子设备可以接收到拍照指令。此时电子设备可以将图像传感器由第一工作模式切换到第二工作模式。在该第二工作模式下,电子设备不再输出RAW图像包,而是输出RAW图像。在切换到第二工作模式后,电子设备可以在场景A下快速拍摄一帧图像,即电子设备可以在该场景A下获取到第三RAW图像,其中该第三RAW图像的曝光时间可以长于图像传感器在第一工作模式下拍摄的第一RAW图像和第二RAW图像的曝光时间。可以理解的是,由于拍摄时间间隔很短,因此可以认为第一RAW图像、第二RAW图像以及第三RAW图像是在相同场景下拍摄的图像。
之后,电子设备可以从预设图像缓存队列中获取最近存入的多个历史第二RAW图像,并对这多个历史第二RAW图像进行多帧降噪处理,从而得到降噪图像。之后,电子设备可以对该降噪图像和第三RAW图像进行合成处理,从而得到具有高动态范围的第一合成图像。
在得到第一合成图像后,电子设备可以将该第一合成图像转换为YUV合成图像,并进行诸如图像锐化等美化处理,得到经美化处理的图像。之后,电子设备可以将该美化处理后的图像进行JPEG编码后输出并显示在相机界面中,作为拍照得到的照片展示给用户查看。
又如,在拍照操作之后,用户将摄像头对准场景B,场景B中包括两个人物,如图6所示,此时电子设备可以使图像传感器工作在第一工作模式。那么,电子设备可以开始快速地获取到关于该场景B的RAW图像包。电子设备获取到场景B下的RAW图像包后,可以对该RAW图像包进行解包处理,得到第一RAW图像和第二RAW图像。
之后,电子设备可以对解包得到的第一RAW图像和第二RAW图像进行合成处理,从而得到具有高动态范围的合成图像。之后,电子设备可以在对由第一RAW图像和第二RAW图像合成得到的图像进行诸如YUV格式转换、图像降噪、图像锐化等处理后再进行编码,编码后的图像可以显示在相机应用的预览界面,供用户预览。
之后,例如用户按下了录像按钮,进行录像操作。此时电子设备可以将获取到的各RAW图像包解包处理,得到第一RAW图像和第二RAW图像,并对第一RAW图像和第二RAW图像进行合成处理,合成处理后的图像在经过YUV格式转换、图像降噪、图像锐化等处理后,电子设备可以根据录像操作对应的分辨率,对处理后的图像进行降采样处理,并对降采样处理后的图像进行编码,经编码后的图像可以作为录像中的一帧图像保存起来。
可以理解的是,本实施例提供的图像处理方法所处理得到的图像可以用于图像预览或拍照或录像操作。
请参阅图7,图7为本申请实施例提供的图像处理装置的结构示意图。图像处理装置300可以包括:第一获取模块301,解包模块302,缓存模块303,第二获取模块304,降噪模块305,合成模块306,响应模块307。
第一获取模块301,用于获取RAW图像包,所述RAW图像包中包括第一RAW图像和第二RAW图像的数据,且所述第一RAW图像的曝光时间长于所述第二RAW图像。
解包模块302,用于对所述RAW图像包进行解包处理,得到所述第一RAW图像和所述第二RAW图像。
缓存模块303,用于将所述第二RAW图像存入预设图像缓存队列。
第二获取模块304,用于当接收到拍照指令时,获取目标RAW图像,所述目标RAW图像的曝光时间长于所述第二RAW图像。
降噪模块305,用于从所述预设图像缓存队列中获取多个历史第二RAW图像,并对所述多个历史第二RAW图像进行降噪处理,得到降噪图像。
合成模块306,用于对所述降噪图像和所述目标RAW图像进行合成处理,得到具有高动态范围的第一合成图像。
响应模块307,用于根据所述第一合成图像,响应所述拍照指令。
在一种实施方式中,所述降噪模块305可以用于:
获取所述多个历史第二RAW图像的清晰度;
将清晰度最高的历史第二RAW图像确定为用于多帧降噪处理的基准帧;
利用除所述清晰度最高的历史第二RAW图像外的其它历史第二RAW图像,对所述基准帧进行多帧降噪处理,得到降噪图像。
在一种实施方式中,所述电子设备包括图像传感器,所述图像传感器包括第一工作模式和第二工作模式,所述图像传感器在所述第一工作模式下输出RAW图像包,在所述第二工作模式下输出RAW图像。
所述第二获取模块304可以用于:
当接收到拍照指令时,将所述图像传感器由所述第一工作模式切换到所述第二工作模式;
当处于所述第二工作模式时,通过所述图像传感器获取第三RAW图像,并将所述第三RAW图像确定为目标RAW图像。
在一种实施方式中,所述缓存模块303还可以用于:将所述第一RAW图像存入预设图像缓存队列。
所述第二获取模块304可以用于:当接收到拍照指令时,从预设图像缓存队列中获取历史第一RAW图像,并将所述历史第一RAW图像确定为目标RAW图像。
在一种实施方式中,所述降噪模块305可以用于:
获取剩余运行内存容量与运行内存总容量的比值;
根据所述比值确定目标数量,所述目标数量大于或等于2;
从所述预设图像缓存队列中获取所述目标数量的历史第二RAW图像,并对所述目标数量的历史第二RAW图像进行降噪处理,得到降噪图像。
在一种实施方式中,所述响应模块307可以用于:
对所述第一合成图像进行图像美化处理后,得到美化处理后的图像;
根据所述美化处理后的图像,响应所述拍照指令。
在一种实施方式中,所述解包模块303还可以用于:
对所述第一RAW图像和所述第二RAW图像进行合成处理,得到具有高动态范围的第二合成图像;
利用所述第二合成图像进行图像预览或录像操作。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图8,图8为本申请实施例提供的电子设备的结构示意图。
该电子设备400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解,图8中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
摄像模组401可以包括透镜和图像传感器,其中透镜用于采集外部的光源信号提供给图像传感器,图像传感器感应来自于透镜的光源信号,将其转换为数字化的原始图像数据,即RAW图像数据。RAW是未经处理、也未经压缩的格式,可以将其形象地称为“数字底片”。电子设备的摄像模组的图像传感器可以具有第一工作模式和第二工作模式。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
获取RAW图像包,所述RAW图像包中包括第一RAW图像和第二RAW图像的数据,且所述第一RAW图像的曝光时间长于所述第二RAW图像;
对所述RAW图像包进行解包处理,得到所述第一RAW图像和所述第二RAW图像;
将所述第二RAW图像存入预设图像缓存队列;
当接收到拍照指令时,获取目标RAW图像,所述目标RAW图像的曝光时间长于所述第二RAW图像;
从所述预设图像缓存队列中获取多个历史第二RAW图像,并对所述多个历史第二RAW图像进行降噪处理,得到降噪图像;
对所述降噪图像和所述目标RAW图像进行合成处理,得到具有高动态范围的第一合成图像;
根据所述第一合成图像,响应所述拍照指令。
请参阅图9,电子设备500可以包括摄像模组501、存储器502、处理器503、触摸显示屏504、扬声器505、麦克风506等部件。
摄像模组501可以包括图像处理电路,图像处理电路可以利用硬件和/或软件组件实现,可包括定义图像信号处理(Image Signal Processing)管线的各种处理单元。图像处理电路至少可以包括:摄像头、图像信号处理器(Image Signal Processor,ISP处理器)、控制逻辑器、图像存储器以及显示器等。其中摄像头至少可以包括一个或多个透镜和图像传感器。图像传感器可包括色彩滤镜阵列(如Bayer滤镜)。图像传感器可获取用图像传感器的每个成像像素捕捉的光强度和波长信息,并提供可由图像信号处理器处理的一组原始图像数据。
图像信号处理器可以按多种格式逐个像素地处理原始图像数据。例如,每个图像像素可具有8、10、12或14比特的位深度,图像信号处理器可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中,图像处理操作可按相同或不同的位深度精度进行。原始图像数据经过图像信号处理器处理后可存储至图像存储器中。图像信号处理器还可从图像存储器处接收图像数据。
图像存储器可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器,并可包括DMA(Direct Memory Access,直接直接存储器存取)特征。
当接收到来自图像存储器的图像数据时,图像信号处理器可进行一个或多个图像处理操作,如时域滤波。处理后的图像数据可发送给图像存储器,以便在被显示之前进行另外的处理。图像信号处理器还可从图像存储器接收处理数据,并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。处理后的图像数据可输出给显示器,以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit,图形处理器)进一步处理。此外,图像信号处理器的输出还可发送给图像存储器,且显示器可从图像存储器读取图像数据。在一种实施方式中,图像存储器可被配置为实现一个或多个帧缓冲器。
图像信号处理器确定的统计数据可发送给控制逻辑器。例如,统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜阴影校正等图像传感器的统计信息。
控制逻辑器可包括执行一个或多个例程(如固件)的处理器和/或微控制器。一个或多个例程可根据接收的统计数据,确定摄像头的控制参数以及ISP控制参数。例如,摄像头的控制参数可包括照相机闪光控制参数、透镜的控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如,在RGB处理期间)的增益水平和色彩校正矩阵等。
请参阅图10,图10为本实施例中图像处理电路的结构示意图。如图10所示,为便于说明,仅示出与本发明实施例相关的图像处理技术的各个方面。
例如图像处理电路可以包括:摄像头、图像信号处理器、控制逻辑器、图像存储器、显示器。其中,摄像头可以包括一个或多个透镜和图像传感器。在一些实施例中,摄像头可为长焦摄像头或广角摄像头中的任一者。
摄像头采集的第一图像传输给图像信号处理器进行处理。图像信号处理器处理第一图像后,可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器。控制逻辑器可根据统计数据确定摄像头的控制参数,从而摄像头可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过图像信号处理器进行处理后可存储至图像存储器中。图像信号处理器也可以读取图像存储器中存储的图像以进行处理。另外,第一图像经过图像信号处理器进行处理后可直接发送至显示器进行显示。显示器也可以读取图像存储器中的图像以进行显示。
此外,图中没有展示的,电子设备还可以包括CPU和供电模块。CPU和逻辑控制器、图像信号处理器、图像存储器和显示器均连接,CPU用于实现全局控制。供电模块用于为各个模块供电。
存储器502存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器503通过运行存储在存储器502的应用程序,从而执行各种功能应用以及数据处理。
处理器503是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的应用程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
触摸显示屏504可以用于接收用户对电子设备的触摸控制操作。扬声器505可以播放声音信号。麦克风506可以用于拾取声音信号。
在本实施例中,电子设备中的处理器503会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器502中,并由处理器503来运行存储在存储器502中的应用程序,从而执行:
获取RAW图像包,所述RAW图像包中包括第一RAW图像和第二RAW图像的数据,且所述第一RAW图像的曝光时间长于所述第二RAW图像;
对所述RAW图像包进行解包处理,得到所述第一RAW图像和所述第二RAW图像;
将所述第二RAW图像存入预设图像缓存队列;
当接收到拍照指令时,获取目标RAW图像,所述目标RAW图像的曝光时间长于所述第二RAW图像;
从所述预设图像缓存队列中获取多个历史第二RAW图像,并对所述多个历史第二RAW图像进行降噪处理,得到降噪图像;
对所述降噪图像和所述目标RAW图像进行合成处理,得到具有高动态范围的第一合成图像;
根据所述第一合成图像,响应所述拍照指令。
在一种实施方式中,处理器503执行对所述多个历史第二RAW图像进行降噪处理,得到降噪图像时,可以执行:获取所述多个历史第二RAW图像的清晰度;将清晰度最高的历史第二RAW图像确定为用于多帧降噪处理的基准帧;利用除所述清晰度最高的历史第二RAW图像外的其它历史第二RAW图像,对所述基准帧进行多帧降噪处理,得到降噪图像。
在一种实施方式中,所述电子设备包括图像传感器,所述图像传感器包括第一工作模式和第二工作模式,所述图像传感器在所述第一工作模式下输出RAW图像包,在所述第二工作模式下输出RAW图像。
处理器503执行所述当接收到拍照指令时,获取目标RAW图像时,可以执行:当接收到拍照指令时,将所述图像传感器由所述第一工作模式切换到所述第二工作模式;当处于所述第二工作模式时,通过所述图像传感器获取第三RAW图像,并将所述第三RAW图像确定为目标RAW图像。
在一种实施方式中,在得到所述第一RAW图像和所述第二RAW图像之后,处理器503还可以执行:将所述第一RAW图像存入预设图像缓存队列。
那么,处理器503执行所述当接收到拍照指令时,获取目标RAW图像时,可以执行:当接收到拍照指令时,从预设图像缓存队列中获取历史第一RAW图像,并将所述历史第一RAW图像确定为目标RAW图像。
在一种实施方式中,处理器503执行从所述预设图像缓存队列中获取多个历史第二RAW图像,并对所述多个历史第二RAW图像进行降噪处理,得到降噪图像时,可以执行:获取剩余运行内存容量与运行内存总容量的比值;根据所述比值确定目标数量,所述目标数量大于或等于2;从所述预设图像缓存队列中获取所述目标数量的历史第二RAW图像,并对所述目标数量的历史第二RAW图像进行降噪处理,得到降噪图像。
在一种实施方式中,处理器503执行根据所述第一合成图像,响应所述拍照指令时,可以执行:对所述第一合成图像进行图像美化处理后,得到美化处理后的图像;根据所述美化处理后的图像,响应所述拍照指令。
在一种实施方式中,在得到所述第一RAW图像和所述第二RAW图像之后,处理器503还可以执行:对所述第一RAW图像和所述第二RAW图像进行合成处理,得到具有高动态范围的第二合成图像;利用所述第二合成图像进行图像预览或录像操作。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。
本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述图像处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种图像处理方法,应用于电子设备,其特征在于,包括:
获取RAW图像包,所述RAW图像包中包括第一RAW图像和第二RAW图像的数据,且所述第一RAW图像的曝光时间长于所述第二RAW图像;
对所述RAW图像包进行解包处理,得到所述第一RAW图像和所述第二RAW图像;
将所述第二RAW图像存入预设图像缓存队列;
当接收到拍照指令时,获取目标RAW图像,所述目标RAW图像的曝光时间长于所述第二RAW图像;
从所述预设图像缓存队列中获取多个历史第二RAW图像,并对所述多个历史第二RAW图像进行降噪处理,得到降噪图像;
对所述降噪图像和所述目标RAW图像进行合成处理,得到具有高动态范围的第一合成图像;
根据所述第一合成图像,响应所述拍照指令。
2.根据权利要求1所述的图像处理方法,其特征在于,对所述多个历史第二RAW图像进行降噪处理,得到降噪图像,包括:
获取所述多个历史第二RAW图像的清晰度;
将清晰度最高的历史第二RAW图像确定为用于多帧降噪处理的基准帧;
利用除所述清晰度最高的历史第二RAW图像外的其它历史第二RAW图像,对所述基准帧进行多帧降噪处理,得到降噪图像。
3.根据权利要求1所述的图像处理方法,其特征在于,所述电子设备包括图像传感器,所述图像传感器包括第一工作模式和第二工作模式,所述图像传感器在所述第一工作模式下输出RAW图像包,在所述第二工作模式下输出RAW图像;
所述当接收到拍照指令时,获取目标RAW图像,包括:
当接收到拍照指令时,将所述图像传感器由所述第一工作模式切换到所述第二工作模式;
当处于所述第二工作模式时,通过所述图像传感器获取第三RAW图像,并将所述第三RAW图像确定为目标RAW图像。
4.根据权利要求1所述的图像处理方法,其特征在于,在得到所述第一RAW图像和所述第二RAW图像之后,还包括:将所述第一RAW图像存入预设图像缓存队列;
所述当接收到拍照指令时,获取目标RAW图像,包括:
当接收到拍照指令时,从预设图像缓存队列中获取历史第一RAW图像,并将所述历史第一RAW图像确定为目标RAW图像。
5.根据权利要求1所述的图像处理方法,其特征在于,从所述预设图像缓存队列中获取多个历史第二RAW图像,并对所述多个历史第二RAW图像进行降噪处理,得到降噪图像,包括:
获取剩余运行内存容量与运行内存总容量的比值;
根据所述比值确定目标数量,所述目标数量大于或等于2;
从所述预设图像缓存队列中获取所述目标数量的历史第二RAW图像,并对所述目标数量的历史第二RAW图像进行降噪处理,得到降噪图像。
6.根据权利要求1所述的图像处理方法,其特征在于,根据所述第一合成图像,响应所述拍照指令,包括:
对所述第一合成图像进行图像美化处理后,得到美化处理后的图像;
根据所述美化处理后的图像,响应所述拍照指令。
7.根据权利要求1所述的图像处理方法,其特征在于,在得到所述第一RAW图像和所述第二RAW图像之后,还包括:
对所述第一RAW图像和所述第二RAW图像进行合成处理,得到具有高动态范围的第二合成图像;
利用所述第二合成图像进行图像预览或录像操作。
8.一种图像处理装置,应用于电子设备,其特征在于,包括:
第一获取模块,用于获取RAW图像包,所述RAW图像包中包括第一RAW图像和第二RAW图像的数据,且所述第一RAW图像的曝光时间长于所述第二RAW图像;
解包模块,用于对所述RAW图像包进行解包处理,得到所述第一RAW图像和所述第二RAW图像;
缓存模块,用于将所述第二RAW图像存入预设图像缓存队列;
第二获取模块,用于当接收到拍照指令时,获取目标RAW图像,所述目标RAW图像的曝光时间长于所述第二RAW图像;
降噪模块,用于从所述预设图像缓存队列中获取多个历史第二RAW图像,并对所述多个历史第二RAW图像进行降噪处理,得到降噪图像;
合成模块,用于对所述降噪图像和所述目标RAW图像进行合成处理,得到具有高动态范围的第一合成图像;
响应模块,用于根据所述第一合成图像,响应所述拍照指令。
9.一种存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至7中任一项所述的方法。
10.一种电子设备,包括存储器,处理器,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,用于执行如权利要求1至7中任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910279817.XA CN110049254B (zh) | 2019-04-09 | 2019-04-09 | 图像处理方法、装置、存储介质及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910279817.XA CN110049254B (zh) | 2019-04-09 | 2019-04-09 | 图像处理方法、装置、存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110049254A true CN110049254A (zh) | 2019-07-23 |
CN110049254B CN110049254B (zh) | 2021-04-02 |
Family
ID=67276514
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910279817.XA Active CN110049254B (zh) | 2019-04-09 | 2019-04-09 | 图像处理方法、装置、存储介质及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110049254B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023036007A1 (zh) * | 2021-09-07 | 2023-03-16 | 荣耀终端有限公司 | 一种获取图像的方法及电子设备 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110149129A1 (en) * | 2009-12-18 | 2011-06-23 | Samsung Electronics Co., Ltd. | Multi-step exposed image acquisition method by electronic shutter and photographing apparatus using the same |
US20110211732A1 (en) * | 2009-04-23 | 2011-09-01 | Guy Rapaport | Multiple exposure high dynamic range image capture |
CN103248818A (zh) * | 2012-02-13 | 2013-08-14 | 宏达国际电子股份有限公司 | 图像撷取方法与相关图像撷取系统 |
CN105376473A (zh) * | 2014-08-25 | 2016-03-02 | 中兴通讯股份有限公司 | 一种拍照方法、装置及设备 |
CN105654540A (zh) * | 2015-12-28 | 2016-06-08 | Tcl集团股份有限公司 | 一种3d场景下的数据显示方法和装置 |
CN105872148A (zh) * | 2016-06-21 | 2016-08-17 | 维沃移动通信有限公司 | 一种高动态范围图像的生成方法及移动终端 |
CN108335279A (zh) * | 2017-01-20 | 2018-07-27 | 微软技术许可有限责任公司 | 图像融合和hdr成像 |
CN108353130A (zh) * | 2015-11-24 | 2018-07-31 | 索尼公司 | 图像处理器、图像处理方法和程序 |
CN108419023A (zh) * | 2018-03-26 | 2018-08-17 | 华为技术有限公司 | 一种生成高动态范围图像的方法以及相关设备 |
-
2019
- 2019-04-09 CN CN201910279817.XA patent/CN110049254B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110211732A1 (en) * | 2009-04-23 | 2011-09-01 | Guy Rapaport | Multiple exposure high dynamic range image capture |
US20110149129A1 (en) * | 2009-12-18 | 2011-06-23 | Samsung Electronics Co., Ltd. | Multi-step exposed image acquisition method by electronic shutter and photographing apparatus using the same |
CN103248818A (zh) * | 2012-02-13 | 2013-08-14 | 宏达国际电子股份有限公司 | 图像撷取方法与相关图像撷取系统 |
CN105376473A (zh) * | 2014-08-25 | 2016-03-02 | 中兴通讯股份有限公司 | 一种拍照方法、装置及设备 |
CN108353130A (zh) * | 2015-11-24 | 2018-07-31 | 索尼公司 | 图像处理器、图像处理方法和程序 |
CN105654540A (zh) * | 2015-12-28 | 2016-06-08 | Tcl集团股份有限公司 | 一种3d场景下的数据显示方法和装置 |
CN105872148A (zh) * | 2016-06-21 | 2016-08-17 | 维沃移动通信有限公司 | 一种高动态范围图像的生成方法及移动终端 |
CN108335279A (zh) * | 2017-01-20 | 2018-07-27 | 微软技术许可有限责任公司 | 图像融合和hdr成像 |
CN108419023A (zh) * | 2018-03-26 | 2018-08-17 | 华为技术有限公司 | 一种生成高动态范围图像的方法以及相关设备 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023036007A1 (zh) * | 2021-09-07 | 2023-03-16 | 荣耀终端有限公司 | 一种获取图像的方法及电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN110049254B (zh) | 2021-04-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109993722A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN107959778B (zh) | 基于双摄像头的成像方法和装置 | |
CN110198417A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110381263B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN108833804A (zh) | 成像方法、装置和电子设备 | |
CN110213502A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
EP2533520A2 (en) | Image sensor having HDR capture capability | |
CN110505411A (zh) | 图像拍摄方法、装置、存储介质及电子设备 | |
CN108322646A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110012227A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110198418A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110198419A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN109167930A (zh) | 图像显示方法、装置、电子设备和计算机可读存储介质 | |
CN109194855A (zh) | 成像方法、装置和电子设备 | |
CN108520493A (zh) | 图像替换的处理方法、装置、存储介质及电子设备 | |
CN110445986A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110266954A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110266966A (zh) | 图像生成方法和装置、电子设备、计算机可读存储介质 | |
CN110392214A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110290325A (zh) | 图像处理方法、装置、存储介质及电子设备 | |
CN110121022A (zh) | 拍摄装置的控制方法、拍摄装置和电子设备 | |
CN108401110A (zh) | 图像的获取方法、装置、存储介质及电子设备 | |
US20080055431A1 (en) | Dark frame subtraction using multiple dark frames | |
CN108833803A (zh) | 成像方法、装置和电子设备 | |
CN110278375A (zh) | 图像处理方法、装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |