CN114630008B - 图像处理方法、装置、存储介质及电子设备 - Google Patents

图像处理方法、装置、存储介质及电子设备 Download PDF

Info

Publication number
CN114630008B
CN114630008B CN202011457911.9A CN202011457911A CN114630008B CN 114630008 B CN114630008 B CN 114630008B CN 202011457911 A CN202011457911 A CN 202011457911A CN 114630008 B CN114630008 B CN 114630008B
Authority
CN
China
Prior art keywords
image data
image
data
module
camera module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011457911.9A
Other languages
English (en)
Other versions
CN114630008A (zh
Inventor
吴义孝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011457911.9A priority Critical patent/CN114630008B/zh
Publication of CN114630008A publication Critical patent/CN114630008A/zh
Application granted granted Critical
Publication of CN114630008B publication Critical patent/CN114630008B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/21Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法、装置、存储介质及电子设备。该图像处理方法包括:获取用于对图像数据进行校正的校正数据,该校正数据是根据摄像模组的数据传输信道对图像数据造成的数据损失计算得到的;利用校正数据对图像数据进行校正,得到校正后的图像数据;以及将校正后的图像数据发送至图像信号处理模块进行图像处理。本申请可以有效降低摄像模组的数据传输信道对图像数据造成的数据损失。

Description

图像处理方法、装置、存储介质及电子设备
技术领域
本申请属于图像技术领域,尤其涉及一种图像处理方法、装置、存储介质及电子设备。
背景技术
许多电子设备上都配置有摄像模组。用户经常会使用电子设备上的摄像模组拍摄图像。电子设备可以对采集得到的图像数据进行处理。然而,由于摄像模组本身是一种数据传播介质信道,同时摄像模组所处的硬件环境也存在着诸如电流干扰等影响因素,因此自然光源信号在进入摄像模组的镜头后会发生信号数据损失,这将导致后端的图像信号处理模块(Image Signal Processor,ISP)接收到不完整的图像信号数据。
发明内容
本申请实施例提供一种图像处理方法、装置、存储介质及电子设备,可以有效降低摄像模组的数据传输信道对图像信号造成的数据损失。
第一方面,本申请实施例提供一种图像处理方法,包括:
获取用于对图像数据进行校正的校正数据,所述校正数据是根据摄像模组的数据传输信道对所述图像数据造成的数据损失计算得到的;
利用所述校正数据对所述图像数据进行校正,得到校正后的图像数据;以及
将所述校正后的图像数据发送至图像信号处理模块进行图像处理。
第二方面,本申请实施例提供一种图像处理装置,包括:
获取模块,用于获取用于对图像数据进行校正的校正数据,所述校正数据是根据摄像模组的数据传输信道对所述图像数据造成的数据损失计算得到的;
校正模块,用于利用所述校正数据对所述图像数据进行校正,得到校正后的图像数据;以及
传输模块,用于将所述校正后的图像数据发送至图像信号处理模块进行图像处理。
第三方面,本申请实施例提供一种存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行本申请实施例提供的图像处理方法中的流程。
第四方面,本申请实施例还提供一种电子设备,包括摄像模组、存储器、处理器,所述摄像模组包括图像信号处理模块,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本申请实施例提供的图像处理方法中的流程。
本申请实施例中,电子设备可以获取用于对图像数据进行校正的校正数据,并利用该校正数据对该图像数据进行校正。其中,该校正数据是根据摄像模组的数据传输信道对图像信号造成的数据损失计算得到的。之后,电子设备可以将经过校正的图像数据发送至图像信号处理模块进行处理。由于本申请实施例中电子设备用来对图像数据进行校正的校正数据是根据摄像模组的数据传输信道对图像信号造成的数据损失计算得到的,因此校正后的图像数据有效降低了摄像模组的数据传输信道对图像数据造成的数据损失。
附图说明
下面结合附图,通过对本申请的具体实施方式详细描述,将使本申请的技术方案及其有益效果显而易见。
图1是本申请实施例提供的图像处理方法的第一种流程示意图。
图2是本申请实施例提供的图像处理方法的第二种流程示意图
图3是本申请实施例提供的图像处理方法的第三种流程示意图。
图4是本申请实施例提供的图像传感器的阵列示意图。
图5是本申请实施例提供的红光信号的原始信号的示意图。
图6是本申请实施例提供的红光信号对应的图像数据经过数据传输信道后的信号示意图。
图7是本申请实施例提供的绿光信号的原始信号的示意图。
图8是本申请实施例提供的绿光信号对应的图像数据经过数据传输信道后的信号示意图。
图9是本申请实施例提供的蓝光信号的原始信号的示意图。
图10是本申请实施例提供的蓝光信号对应的图像数据经过数据传输信道后的信号示意图。
图11是本申请实施例提供的图像处理方法的第四种流程示意图。
图12是本申请实施例提供的图像处理方法的场景示意图。
图13是本申请实施例提供的图像处理装置的结构示意图。
图14是本申请实施例提供的电子设备的结构示意图。
图15是本申请实施例提供的电子设备的另一结构示意图。
具体实施方式
请参照图示,其中相同的组件符号代表相同的组件,本申请的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本申请具体实施例,其不应被视为限制本申请未在此详述的其它具体实施例。
可以理解的是,本申请实施例的执行主体可以是诸如智能手机或平板电脑等具有摄像模组的电子设备。
请参阅图1,图1是本申请实施例提供的图像处理方法的流程示意图,流程可以包括:
101、获取用于对图像数据进行校正的校正数据,该校正数据是根据摄像模组的数据传输信道对图像数据造成的数据损失计算得到的。
许多电子设备上都配置有摄像模组。用户经常会使用电子设备上的摄像模组拍摄图像。电子设备可以对采集得到的图像数据进行处理。然而,由于摄像模组本身是一种数据传播介质信道,同时摄像模组所处的硬件环境也存在着诸如电流干扰等影响因素,因此自然光源信号在进入摄像模组的镜头后会发生信号数据损失,这将导致后端的图像信号处理模块(ISP)接收到不完整的图像信号数据。在这种情况下,图像的成像质量将受到影响。
在本申请实施例中,比如,电子设备可以获取用于传输给图像信号处理模块ISP进行处理的图像数据。
例如,光源信号在进入摄像模组的镜头后,图像传感器感应于该光源信号可以输出RAW格式的图像数据,该RAW格式的图像数据在经过一定的处理(如由RAW格式转换为YUV格式)后会被传输到ISP模块进行后续的图像处理。在本申请实施例中,在将图像数据送入ISP模块之前,电子设备可以先获取该图像数据。
电子设备还可以获取用于对图像数据进行校正的校正数据。其中,该校正数据可以是根据摄像模组的数据传输信道对图像数据造成的数据损失计算得到的。
例如,在本申请实施例中,电子设备可以预先根据摄像模组的数据传输信道对图像数据造成的数据损失来计算得到一个可以在后续用来对图像数据进行校正的校正数据。
102、利用校正数据对图像数据进行校正,得到校正后的图像数据。
103、将校正后的图像数据发送至图像信号处理模块进行图像处理。
比如,102和103可以包括:
在获取到需要传输给ISP模块的图像数据以及用于对图像数据进行校正的校正数据后,电子设备可以利用该校正数据对该图像数据进行校正,从而得到校正后的图像数据。之后,电子设备可以将校正后的图像数据发送给ISP模块进行图像处理。
例如,请一并参阅图2,如图2所示,图像数据在被送入ISP模块之前,电子设备可以先对该图像数据进行校正,之后再将校正后的图像数据送入ISP模块进行后续的图像处理。
可以理解的是,本申请实施例中,电子设备可以获取用于对图像数据进行校正的校正数据,并利用预设的校正数据对该图像数据进行校正。其中,该校正数据是根据摄像模组的数据传输信道对图像信号造成的数据损失计算得到的。之后,电子设备可以将经过校正的图像数据发送至图像信号处理模块进行处理。由于本申请实施例中电子设备用来对图像数据进行校正的校正数据是根据摄像模组的数据传输信道对图像数据造成的数据损失计算得到的,因此校正后的图像数据有效降低了摄像模组的数据传输信道对图像数据造成的数据损失。
请参阅图3,图3为本申请实施例提供的图像处理方法的另一流程示意图,流程可以包括:
201、通过摄像模组采集单色光信号,该单色光信号对应的原始信号矩阵为X。
202、获取与单色光信号对应的第一图像数据所对应的第一矩阵X′,则用于对图像数据中的该单色光进行校正的矩阵为A-1=[X-1×X′]-1,该第一图像数据为该单色光信号通过摄像模组的数据传输信道后用于传输给图像信号处理模块进行处理的图像数据。
比如,电子设备可以预先根据摄像模组的数据传输信道对图像数据造成的数据损失来计算得到一个在后续可以用来对图像数据进行校正的校正数据。
在本申请实施例中,可以先由摄像模组采集预设的单色光信号,该单色光信号对应的原始信号矩阵为X,该单色光信号为该摄像模组的图像传感器所包含的一种色彩通道对应的颜色的光源信号。例如,图像传感器使用的是拜耳阵列,则图像传感器包含有红色通道、绿色通道和蓝色通道。那么,单色光信号可以为红光信号或绿光信号或蓝光信号。
在采集到单色光信号后,摄像模组的图像传感器可以感应生成对应的图像数据。该图像数据在经过一定的处理后可以被传输到ISP模块。在将对应的图像数据送入ISP模块之前,电子设备可以获取与单色光信号对应的第一图像数据所对应的第一矩阵X′,则预设的用于对图像数据中的该单色光对应的色彩通道进行校正的矩阵为A-1=[X-1×X′]-1,该第一图像数据为该单色光信号通过摄像模组的数据传输信道后用于传输给图像信号处理模块进行处理的图像数据。
比如,图像传感器为基于拜耳阵列的传感器,那么图像传感器上有红色通道(R)、绿色通道(G)和蓝色通道(B)。
基于此,电子设备可以分别计算出用于对图像数据中的红色通道、绿色通道和蓝色通道的数据进行校正的校正数据。
例如,首先可以由摄像模组采集红光信号,该红光信号对应的原始信号矩阵可以记为R。例如,图像传感器为如图4所示的8×8大小的拜耳阵列。例如,预设的红光信号在红色通道上的值均为255,红光信号在绿色通道和蓝色通道上的值均为0,如图5所示。那么,红光信号在进入图像传感器前的原始信号矩阵R可以是8×8大小的矩阵,该8×8大小的矩阵在各行各列的值可以对应于图5所示。
红光信号在进入摄像模组的镜头后被图像传感器感应,该图像传感器可以输出对应的图像数据,该图像数据经过一定的处理和传输后需要被送入ISP模块。在将图像数据送入ISP模块前,电子设备可以获取该图像数据,并获取该图像数据对应的矩阵,例如记为R′。其中,R′对应的矩阵的值也是可以准确获取到的。例如,图像传感器在感应到红光信号后,各个像素位置感应到的像素值可以如图6所示。那么,R′可以是8×8大小的矩阵,该8×8大小的矩阵在各行各列的值可以对应于图6所示。比如,R′的第一行第一列的位置的数值为249,则可知红光信号对应的图像数据在经过摄像模组的数据传输信道传输后数值发生了损失,由255变为249。又如,R′的第一行第三列的位置的数值为252,则可知红光信号对应的图像数据在经过摄像模组的数据传输信道传输后数值发生了损失,由255变为252,等等。
例如,本实施例将摄像模组中的数据传输信道对红光信号造成损失的损失模型对应的矩阵记为Q。那么,红光信号对应的原始信号矩阵R和红光信号对应的图像数据所对应的矩阵R′之间的关系为:R×Q=R′,那么可得Q=R-1×R′,Q-1=[R-1×R′]-1,其中,R-1为R的逆矩阵,Q-1为Q的逆矩阵。那么,用于对图像数据中的红色通道进行校正的矩阵为Q-1=[R-1×R′]-1。也即,对于红光信号而言,此处的R对应于201流程中的X,R′对应于202流程中的X′,R-1对应于202流程中的X-1,Q-1对应于202流程中的A-1
又如,可以由摄像模组采集绿光信号,该绿光信号对应的原始信号矩阵可以记为G。例如,图像传感器为如图4所示的8×8大小的拜耳阵列。例如,预设的绿光信号在绿色通道上的值均为255,绿光信号在红色通道和蓝色通道上的值均为0,如图7所示。那么,绿光信号在进入图像传感器前的原始信号矩阵G可以是8×8大小的矩阵,该8×8大小的矩阵在各行各列的值可以对应于图7所示。
绿光信号在进入摄像模组的镜头后被图像传感器感应,该图像传感器可以输出对应的图像数据,该图像数据经过一定的处理和传输后需要被送入ISP模块。在将图像数据送入ISP模块前,电子设备可以获取该图像数据,并获取该图像数据对应的矩阵,例如记为G′。其中,G′对应的矩阵的值也是可以准确获取到的。例如,图像传感器在感应到绿光信号后,各个像素位置感应到的像素值可以如图8所示。那么,G′可以是8×8大小的矩阵,该8×8大小的矩阵在各行各列的值可以对应于图8所示。比如,G′的第一行第二列的位置的数值为246,则可知绿光信号对应的图像数据在经过摄像模组的数据传输信道传输后数值发生了损失,由255变为246。又如,G′的第一行第四列的位置的数值为252,则可知绿光信号对应的图像数据在经过摄像模组的数据传输信道传输后数值发生了损失,由255变为252,等等。
例如,本实施例将摄像模组中的数据传输信道对绿光信号造成损失的损失模型对应的矩阵记为U。那么,绿光信号对应的原始信号矩阵G和绿光信号对应的图像数据所对应的矩阵G′之间的关系为:G×U=G′,那么可得U=G-1×G′,U-1=[G-1×G′]-1,其中,G-1为G的逆矩阵,U-1为U的逆矩阵。那么,用于对图像数据中的绿色通道进行校正的矩阵为U-1=[G-1×G′]-1。也即,对于绿光信号而言,此处的G对应于201流程中的X,G′对应于202流程中的X′,G-1对应于202流程中的X-1,U-1对应于202流程中的A-1
再如,可以由摄像模组采集蓝光信号,该蓝光信号对应的原始信号矩阵可以记为B。例如,图像传感器为如图4所示的8×8大小的拜耳阵列。例如,预设的蓝光信号在红色通道上的值均为255,蓝光信号在绿色通道和红色通道上的值均为0,如图9所示。那么,蓝光信号在进入图像传感器前的原始信号矩阵B可以是8×8大小的矩阵,该8×8大小的矩阵在各行各列的值可以对应于图9所示。
蓝光信号在进入摄像模组的镜头后被图像传感器感应,该图像传感器可以输出对应的图像数据,该图像数据经过一定的处理和传输后需要被送入ISP模块。在将图像数据送入ISP模块前,电子设备可以获取该图像数据,并获取该图像数据对应的矩阵,例如记为B′。其中,B′对应的矩阵的值也是可以准确获取到的。例如,图像传感器在感应到蓝光信号后,各个像素位置感应到的像素值可以如图10所示。那么,B′可以是8×8大小的矩阵,该8×8大小的矩阵在各行各列的值可以对应于图10所示。比如,B′的第二行第二列的位置的数值为240,则可知蓝光信号对应的图像数据在经过摄像模组的数据传输信道传输后数值发生了损失,由255变为240。又如,B′的第二行第四列的位置的数值为251,则可知蓝光信号对应的图像数据在经过摄像模组的数据传输信道传输后数值发生了损失,由255变为251,等等。
例如,本实施例将摄像模组中的数据传输信道对蓝光信号造成损失的损失模型对应的矩阵记为V。那么,蓝光信号对应的原始信号矩阵B和蓝光信号对应的图像数据所对应的矩阵B′之间的关系为:B×V=B′,那么可得V=B-1×B′,V-1=[B-1×B′]-1,其中,B-1为B的逆矩阵,V-1为V的逆矩阵。那么,用于对图像数据中的蓝色通道进行校正的矩阵为V-1=[B-1×B′]-1。也即,对于蓝光信号而言,此处的B对应于201流程中的X,B′对应于202流程中的X′,B-1对应于202流程中的X-1,V-1对应于202流程中的A-1
因此,通过上述201和202的流程,可以预先根据摄像模组的数据传输信道对图像数据造成的数据损失来计算得到在后续可以用来对图像数据进行校正的校正数据。
当然,在一些实施方式中,可以同时计算得到用于对图像数据中的红色通道、绿色通道或蓝色通道进行校正的矩阵;也可以仅计算得到用于对图像数据中的红色通道、绿色通道、蓝色通道中的一种或两种颜色通道进行校正的矩阵。本实施例对此不做具体限定。
另外,预设的红光信号在红色通道上的值也可以是除255以外的其他数值,如253或240等等。预设的绿光信号在绿色通道上的值也可以是除255以外的其他数值,如253或240等等。预设的蓝光信号在蓝色通道上的值也可以是除255以外的其他数值,如253或240等等。本申请实施例对此不做具体限定。
203、获取用于传输给图像信号处理模块进行处理的图像数据。
比如,在预先获取到用于对图像数据进行校正的矩阵的情况下,在电子设备的摄像模组采集到图像数据后,电子设备可以获取需要送入ISP模块进行处理的图像数据。
204、获取用于对图像数据进行校正的矩阵。
比如,在获取到需要送入ISP模块进行处理的图像数据后,电子设备还可以获取用于对图像数据进行校正的矩阵。
205、利用校正矩阵对图像数据进行校正,得到校正后的图像数据。
206、将校正后的图像数据发送至图像信号处理模块进行图像处理。
比如,205、206可以包括:
在获取到需要送入ISP模块的图像数据以及用于对图像数据进行校正的矩阵后,电子设备可以利用该校正矩阵对图像数据进行校正,从而得到校正后的图像数据。之后,电子设备可以将校正后的图像数据送入ISP模块进行图像处理。
上述图像处理流程也可以如图11所示。需要说明的是,以光源信号中的红光信号为例,例如摄像模组的数据传输信道对图像信号数据造成的损失的模型可以记为Q,用于对图像数据进行校正的模型可以记为Q-1,那么在将图像数据送入ISP模块前,红光信号可以表示成R×Q×Q-1,由于Q和Q-1互为逆矩阵,所以Q×Q-1的计算结果为单位矩阵,因此R×Q×Q-1=R。也就是说,经过校正后的图像数据排除了摄像模组中的数据传输信道对图像数据造成的损失,从而使得送入ISP模块的图像数据中红色通道的数据能够完整地反映出光源信号中的红光信号的原始信息。
同理,经过校正后的图像数据排除了摄像模组中的数据传输信道对图像数据造成的损失,从而使得送入ISP模块的图像数据中绿色通道的数据能够完整地反映出光源信号中的绿光信号的原始信息,以及使得送入ISP模块的图像数据中蓝色通道的数据能够完整地反映出光源信号中的蓝光信号的原始信息。
在另一种实施方式中,除了对图像数据中的红色通道、绿色通道和蓝色通道分别进行校正的方式外,本申请实施例还可以对图像数据进行整体校正,而不对图像数据中的红色通道、绿色通道和蓝色通道分别进行校正。本申请实施例还可以包括如下流程:
通过摄像模组采集自然光信号,该自然光信号对应的原始信号矩阵为Z;
获取与该自然光信号对应的第二图像数据所对应的第二矩阵Z′,则用于对图像数据进行校正的矩阵为C-1=[Z-1×Z′]-1,该第二图像数据为该单色光信号通过摄像模组的数据传输信道后用于传输给图像信号处理模块进行处理的图像数据。
比如,可以由摄像模组采集自然光信号,该自然光信号对应的原始信号矩阵可以记为Z。其中,预设的自然信号对应的原始信号矩阵Z的值可以预先设定或测得。
自然光信号在进入摄像模组的镜头后被图像传感器感应,该图像传感器可以输出对应的图像数据,该图像数据经过一定的处理和传输后需要被送入ISP模块。在将图像数据送入ISP模块前,电子设备可以获取该图像数据,并获取该图像数据对应的矩阵,例如记为Z′。其中,Z′对应的矩阵的值也是可以准确获取到的。
例如,本实施例将摄像模组中的数据传输信道对自然光信号造成损失的损失模型对应的矩阵记为W。那么,自然光信号对应的原始信号矩阵Z和自然光信号对应的图像数据所对应的矩阵Z′之间的关系为:Z×W=Z′,那么可得W=Z-1×Z′,W-1=[Z-1×Z′]-1,其中,Z-1为Z的逆矩阵,W-1为W的逆矩阵。那么,用于对图像数据进行校正的矩阵为W-1=[Z-1×Z′]-1
基于此,在电子设备的摄像模组采集到图像数据后,电子设备可以获取需要送入ISP模块进行处理的图像数据。在获取到需要送入ISP模块进行处理的图像数据后,电子设备还可以获取用于对图像数据进行校正的矩阵W-1。之后,电子设备可以利用该校正矩阵W-1对图像数据进行校正,从而得到校正后的图像数据。之后,电子设备可以将校正后的图像数据送入ISP模块进行图像处理。
在一种实施方式中,本实施例还可以包括如下流程:
获取电子设备的计算负载;以及
若该电子设备的计算负载小于预设阈值,则获取用于对图像数据进行校正的校正数据。
比如,电子设备可以根据计算负载来选择是否需要对需要送入ISP模块进行处理的图像数据进行校正。
如果检测到电子设备的计算负载小于预设阈值,那么可以认为电子设备的计算能力比较充足,在这种情况下,电子设备可以在获取到需要送入ISP模块的图像数据后,再获取预设的用于对该图像数据进行校正的校正数据。之后,电子设备可以利用该校正数据对图像数据进行校正,再将校正后的图像数据送入ISP模块进行图像处理。
如果检测到电子设备的计算负载小大于或等于预设阈值,那么可以认为电子设备的计算能力比较不充足,在这种情况下,电子设备可以不获取校正数据,即电子设备可以不对需要送入ISP模块的图像数据进行校正。
可以理解的是,由于本实施例还可以根据计算负载来选择是否对需要送入ISP模块进行处理的图像数据进行校正,因此本实施例还可以提高图像处理的灵活性。
在一种实施方式中,获取电子设备的计算负载,可以包括:获取电子设备的运行内存总容量和剩余运行内存容量,并将该剩余运行内存容量与该运行内存总容量的比值确定为该电子设备的计算负载。
那么,若电子设备的计算负载小于预设阈值,则获取预设的用于对图像数据进行校正的校正数据,包括:当剩余运行内存容量与运行内存总容量的比值大于预设数值时表示计算负载小于预设阈值,进而获取用于对图像数据进行校正的校正数据。
比如,本实施例中,电子设备可以获取运行内存总容量和剩余运行内存容量,并将该剩余运行内存容量与该运行内存总容量的比值确定为该电子设备的计算负载。基于此,如果该剩余运行内存容量与该运行内存总容量的比值大于预设数值,那么可以认为电子设备的计算负载较小,在这种情况下,电子设备可以获取预设的用于对图像数据进行校正的校正数据,并利用该校正数据对需要送入ISP模块的图像数据进行校正。
例如,电子设备的运行内存总容量为8GB,剩余运行内存容量为6GB,那么剩余运行内存容量与运行内存总容量的比值为0.75。例如预设数值为0.35,那么可以认为电子设备的计算负载小于预设阈值。
请参阅图12,图12为本申请实施例提供的图像处理方法的场景示意图。
例如,预先是实验室环境下根据摄像模组的数据传输信道对图像信号造成的数据损失计算得到用于对送入ISP模块的图像数据进行校正的校正数据。
那么,如图12所示,在用户利用电子设备上的相机应用拍摄图像后,电子设备可以获取对应于本次图像拍摄操作的需要送入ISP模块进行处理的图像数据。之后,电子设备可以获取预设的用于对送入ISP模块的图像数据进行校正的校正数据,并利用该校正数据对需要送入ISP模块的图像数据进行校正。在得到校正后的图像数据后,电子设备可以将该校正后的图像数据送入ISP模块进行图像处理。
由于本实施例对需要送入ISP模块的图像数据进行了校正,并且校正数据是根据摄像模组的数据传输信道对图像信号造成的数据损失计算得到的,因此校正后的图像数据有效降低了摄像模组的数据传输信道对图像信号造成的数据损失,从而使得送入ISP模块的图像数据可以完整反映光源信号的原始信息,从而提高经过ISP模块处理的图像数据的成像质量。
请参阅图13,图13为本申请实施例提供的图像处理装置的结构示意图。图像处理装置300可以包括:获取模块301,校正模块302,传输模块303。
获取模块301,用于获取用于对图像数据进行校正的校正数据,所述校正数据是根据摄像模组的数据传输信道对所述图像数据造成的数据损失计算得到的。
校正模块302,用于利用所述校正数据对所述图像数据进行校正,得到校正后的图像数据。
传输模块303,用于将所述校正后的图像数据发送至所述图像信号处理模块进行图像处理。
在一种实施方式中,获取模块301还可以用于:通过所述摄像模组采集单色光信号,所述单色光信号对应的原始信号矩阵为X;获取与所述单色光信号对应的第一图像数据所对应的第一矩阵X′,则用于对所述单色光进行校正的矩阵为A-1=[X-1×X′]-1,所述第一图像数据为所述单色光信号通过所述摄像模组的数据传输信道后用于传输给所述图像信号处理模块进行处理的图像数据。
在一种实施方式中,所述单色光至少包括红色光、绿色光或蓝色光。
在一种实施方式中,获取模块301还可以用于:通过所述摄像模组采集自然光信号,所述自然光信号对应的原始信号矩阵为Z;获取与所述自然光信号对应的第二图像数据所对应的第二矩阵Z′,则用于对所述图像数据进行校正的矩阵为C-1=[Z-1×Z′]-1,所述第二图像数据为所述自然光信号通过所述摄像模组的数据传输信道后用于传输给所述图像信号处理模块进行处理的图像数据。
在一种实施方式中,获取模块301还可以用于:获取电子设备的计算负载;若所述电子设备的计算负载小于预设阈值,则获取用于对所述图像数据进行校正的校正数据。
在一种实施方式中,获取模块301还可以用于:获取所述电子设备的运行内存总容量和剩余运行内存容量,并所述剩余运行内存容量与所述运行内存总容量的比值确定为所述电子设备的计算负载;当所述剩余运行内存容量与所述运行内存总容量的比值大于预设数值时表示所述计算负载小于预设阈值,进而获取用于对所述图像数据进行校正的校正数据。
在一种实施方式中,通过所述摄像模组获取所述图像数据。
本申请实施例提供一种计算机可读的存储介质,其上存储有计算机程序,当所述计算机程序在计算机上执行时,使得所述计算机执行如本实施例提供的图像处理方法中的流程。
本申请实施例还提供一种电子设备,包括存储器,处理器,所述处理器通过调用所述存储器中存储的计算机程序,用于执行本实施例提供的图像处理方法中的流程。
例如,上述电子设备可以是诸如平板电脑或者智能手机等移动终端。请参阅图14,图14为本申请实施例提供的电子设备的结构示意图。
该电子设备400可以包括摄像模组401、存储器402、处理器403等部件。本领域技术人员可以理解,图14中示出的电子设备结构并不构成对电子设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
摄像模组401可以用于采集图像数据。摄像模组401可以包括诸如镜头、图像传感器、图像信号处理模块等。
存储器402可用于存储应用程序和数据。存储器402存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器403通过运行存储在存储器402的应用程序,从而执行各种功能应用以及数据处理。
处理器403是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器402内的应用程序,以及调用存储在存储器402内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
在本实施例中,电子设备中的处理器403会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器402中,并由处理器403来运行存储在存储器402中的应用程序,从而执行:
获取用于对图像数据进行校正的校正数据,所述校正数据是根据摄像模组的数据传输信道对所述图像数据造成的数据损失计算得到的;
利用所述校正数据对所述图像数据进行校正,得到校正后的图像数据;以及
将所述校正后的图像数据发送至图像信号处理模块进行图像处理。
请参阅图15,电子设备500可以包括摄像模组501、存储器502、处理器503、显示屏504、电池505、麦克风506等部件。
摄像模组401可以用于采集图像数据。摄像模组401可以包括诸如镜头、图像传感器、图像信号处理模块等。
存储器502可用于存储应用程序和数据。存储器502存储的应用程序中包含有可执行代码。应用程序可以组成各种功能模块。处理器503通过运行存储在存储器502的应用程序,从而执行各种功能应用以及数据处理。
处理器503是电子设备的控制中心,利用各种接口和线路连接整个电子设备的各个部分,通过运行或执行存储在存储器502内的应用程序,以及调用存储在存储器502内的数据,执行电子设备的各种功能和处理数据,从而对电子设备进行整体监控。
显示屏504可以用于显示诸如文字、图像等信息。此外,显示屏504还可以用于接收用户的触摸操作。
电池505可以用于为电子设备的各个部件和模块提供电力支持,从而保证各个部件和模块的正常运行。
麦克风506可以用于采集周围环境中的声音信号,例如麦克风506可以用于采集用户的语音等。
在本实施例中,电子设备中的处理器503会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行代码加载到存储器502中,并由处理器503来运行存储在存储器502中的应用程序,从而执行:
获取用于对图像数据进行校正的校正数据,所述校正数据是根据摄像模组的数据传输信道对所述图像数据造成的数据损失计算得到的;
利用所述校正数据对所述图像数据进行校正,得到校正后的图像数据;以及
将所述校正后的图像数据发送至图像信号处理模块进行图像处理。
在一种实施方式中,处理器403还可以用于执行:通过所述摄像模组采集单色光信号,所述单色光信号对应的原始信号矩阵为X;获取与所述单色光信号对应的第一图像数据所对应的第一矩阵X′,则用于对所述单色光进行校正的矩阵为A-1=[X-1×X′]-1,所述第一图像数据为所述单色光信号通过所述摄像模组的数据传输信道后用于传输给所述图像信号处理模块进行处理的图像数据。
在一种实施方式中,所述单色光至少包括红色光、绿色光或蓝色光。
在一种实施方式中,处理器403还可以用于执行:通过所述摄像模组采集自然光信号,所述自然光信号对应的原始信号矩阵为Z;获取与所述自然光信号对应的第二图像数据所对应的第二矩阵Z′,则用于对所述图像数据进行校正的矩阵为C-1=[Z-1×Z′]-1,所述第二图像数据为所述自然光信号通过所述摄像模组的数据传输信道后用于传输给所述图像信号处理模块进行处理的图像数据。
在一种实施方式中,处理器403还可以用于执行:获取电子设备的计算负载;若所述电子设备的计算负载小于预设阈值,则获取用于对所述图像数据进行校正的校正数据。
在一种实施方式中,处理器403执行所述获取电子设备的计算负载时,可以执行:获取所述电子设备的运行内存总容量和剩余运行内存容量,并所述剩余运行内存容量与所述运行内存总容量的比值确定为所述电子设备的计算负载。
那么,处理器403执行所述若所述电子设备的计算负载小于预设阈值,则获取预设的用于对所述图像数据进行校正的校正数据时,可以执行:当所述剩余运行内存容量与所述运行内存总容量的比值大于预设数值时表示所述计算负载小于预设阈值,进而获取用于对所述图像数据进行校正的校正数据。
在一种实施方式中,通过所述摄像模组获取所述图像数据。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。
本申请实施例提供的所述图像处理装置与上文实施例中的图像处理方法属于同一构思,在所述图像处理装置上可以运行所述图像处理方法实施例中提供的任一方法,其具体实现过程详见所述图像处理方法实施例,此处不再赘述。
需要说明的是,对本申请实施例所述图像处理方法而言,本领域普通技术人员可以理解实现本申请实施例所述图像处理方法的全部或部分流程,是可以通过计算机程序来控制相关的硬件来完成,所述计算机程序可存储于一计算机可读取存储介质中,如存储在存储器中,并被至少一个处理器执行,在执行过程中可包括如所述图像处理方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储器(ROM,Read Only Memory)、随机存取记忆体(RAM,Random Access Memory)等。
对本申请实施例的所述图像处理装置而言,其各功能模块可以集成在一个处理芯片中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中,所述存储介质譬如为只读存储器,磁盘或光盘等。
以上对本申请实施例所提供的一种图像处理方法、装置、存储介质以及电子设备进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法,其特征在于,包括:
通过摄像模组采集光信号,所述光信号对应的原始信号矩阵为Y;
获取与所述光信号对应的图像数据所对应的矩阵,则用于对所述图像数据中的光进行校正的校正矩阵为/>,所述图像数据为所述光信号通过所述摄像模组的数据传输信道后用于传输给图像信号处理模块进行处理的图像数据;
获取用于传输给图像信号处理模块进行处理的图像数据;
获取用于对图像数据进行校正的校正矩阵;
利用所述校正矩阵对所述图像数据进行校正,得到校正后的图像数据;以及
将所述校正后的图像数据发送至图像信号处理模块进行图像处理。
2.根据权利要求1所述的图像处理方法,其特征在于,所述通过摄像模组采集光信号,所述光信号对应的原始信号矩阵为Y;获取与所述光信号对应的图像数据所对应的矩阵,则用于对所述图像数据中的光进行校正的校正矩阵为/>,所述图像数据为所述光信号通过所述摄像模组的数据传输信道后用于传输给所述图像信号处理模块进行处理的图像数据,包括:
通过所述摄像模组采集单色光信号,所述单色光信号对应的原始信号矩阵为X
获取与所述单色光信号对应的第一图像数据所对应的第一矩阵,则用于对所述图像数据中的单色光进行校正的矩阵为/>,所述第一图像数据为所述单色光信号通过所述摄像模组的数据传输信道后用于传输给所述图像信号处理模块进行处理的图像数据。
3.根据权利要求2所述的图像处理方法,其特征在于,所述单色光至少包括红色光、绿色光或蓝色光。
4.根据权利要求1所述的图像处理方法,其特征在于,所述通过摄像模组采集光信号,所述光信号对应的原始信号矩阵为Y;获取与所述光信号对应的图像数据所对应的矩阵,则用于对所述图像数据中的光进行校正的校正矩阵为/>,所述图像数据为所述光信号通过所述摄像模组的数据传输信道后用于传输给所述图像信号处理模块进行处理的图像数据,包括:
通过所述摄像模组采集自然光信号,所述自然光信号对应的原始信号矩阵为Z
获取与所述自然光信号对应的第二图像数据所对应的第二矩阵,则用于对所述图像数据进行校正的矩阵为/>,所述第二图像数据为所述自然光信号通过所述摄像模组的数据传输信道后用于传输给所述图像信号处理模块进行处理的图像数据。
5.根据权利要求1所述的图像处理方法,其特征在于,所述方法还包括:
获取电子设备的计算负载;以及
若所述电子设备的计算负载小于预设阈值,则获取用于对所述图像数据进行校正的校正数据。
6.根据权利要求5所述的图像处理方法,其特征在于,
步骤所述获取电子设备的计算负载包括:
获取所述电子设备的运行内存总容量和剩余运行内存容量;
将所述剩余运行内存容量与所述运行内存总容量的比值确定为所述电子设备的计算负载;以及
步骤所述若所述电子设备的计算负载小于预设阈值,则获取用于对所述图像数据进行校正的校正数据包括:
当所述剩余运行内存容量与所述运行内存总容量的比值大于预设数值时表示所述计算负载小于预设阈值,进而获取用于对所述图像数据进行校正的校正数据。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:通过所述摄像模组获取所述图像数据。
8.一种图像处理装置,其特征在于,包括:
获取模块,用于通过摄像模组采集光信号,所述光信号对应的原始信号矩阵为Y;获取与所述光信号对应的图像数据所对应的矩阵,则用于对所述图像数据中的光进行校正的校正矩阵为/>,所述图像数据为所述光信号通过所述摄像模组的数据传输信道后用于传输给图像信号处理模块进行处理的图像数据;获取用于传输给图像信号处理模块进行处理的图像数据;获取用于对图像数据进行校正的校正矩阵;
校正模块,用于利用所述校正矩阵对所述图像数据进行校正,得到校正后的图像数据;以及
传输模块,用于将所述校正后的图像数据发送至图像信号处理模块进行图像处理。
9.一种计算机可读的存储介质,其上存储有计算机程序,其特征在于,当所述计算机程序在计算机上执行时,使得所述计算机执行如权利要求1至7中任一项所述的方法。
10.一种电子设备,包括摄像模组、存储器、处理器,所述摄像模组包括图像信号处理模块,其特征在于,所述处理器通过调用所述存储器中存储的计算机程序,以执行如权利要求1至7中任一项所述的方法。
CN202011457911.9A 2020-12-10 2020-12-10 图像处理方法、装置、存储介质及电子设备 Active CN114630008B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011457911.9A CN114630008B (zh) 2020-12-10 2020-12-10 图像处理方法、装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011457911.9A CN114630008B (zh) 2020-12-10 2020-12-10 图像处理方法、装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
CN114630008A CN114630008A (zh) 2022-06-14
CN114630008B true CN114630008B (zh) 2023-09-12

Family

ID=81896173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011457911.9A Active CN114630008B (zh) 2020-12-10 2020-12-10 图像处理方法、装置、存储介质及电子设备

Country Status (1)

Country Link
CN (1) CN114630008B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471921B1 (en) * 2008-06-23 2013-06-25 Marvell International Ltd. Reducing optical crosstalk and radial fall-off in imaging sensors
CN103795940A (zh) * 2012-10-31 2014-05-14 三星电子株式会社 图像处理设备和图像处理方法
CN107979715A (zh) * 2016-10-21 2018-05-01 南昌欧菲光电技术有限公司 摄像装置
CN110636216A (zh) * 2019-08-28 2019-12-31 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10148926B2 (en) * 2015-12-07 2018-12-04 Samsung Electronics Co., Ltd. Imaging apparatus and image processing method of thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471921B1 (en) * 2008-06-23 2013-06-25 Marvell International Ltd. Reducing optical crosstalk and radial fall-off in imaging sensors
CN103795940A (zh) * 2012-10-31 2014-05-14 三星电子株式会社 图像处理设备和图像处理方法
CN107979715A (zh) * 2016-10-21 2018-05-01 南昌欧菲光电技术有限公司 摄像装置
CN110636216A (zh) * 2019-08-28 2019-12-31 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Also Published As

Publication number Publication date
CN114630008A (zh) 2022-06-14

Similar Documents

Publication Publication Date Title
JP6123274B2 (ja) 撮像装置
CN101356802B (zh) 摄像装置
US9407884B2 (en) Image pickup apparatus, control method therefore and storage medium employing phase difference pixels
CN101924875B (zh) 图像处理装置以及摄像装置
EP3707671B1 (en) Electronic device and method for correcting image corrected in first image processing scheme in external electronic device in second image processing scheme
JP2001189886A (ja) 撮像装置、情報処理装置、画像処理システム、画像処理方法、及び記憶媒体
US8922681B2 (en) Image processing device that performs image processing to correct target pixels in a region surrounding a defective pixel
US20200288072A1 (en) Electronic device and method for adjusting color of image data by using infrared sensor
CN107147851B (zh) 照片处理方法、装置、计算机可读存储介质及电子设备
CN115314617A (zh) 图像处理系统及方法、计算机可读介质和电子设备
CN112488917B (zh) 图像处理方法、装置、电子设备及存储介质
CN113066020A (zh) 图像处理方法及装置、计算机可读介质和电子设备
US20170026584A1 (en) Image processing apparatus and method of operating the same
CN114298889A (zh) 图像处理电路和图像处理方法
CN114630008B (zh) 图像处理方法、装置、存储介质及电子设备
CN113744139A (zh) 图像处理方法、装置、电子设备及存储介质
US20220321783A1 (en) Information processing apparatus that performs arithmetic processing of neural network, and image pickup apparatus, control method, and storage medium
US11089233B2 (en) Electronic device and a method for generating an image through synthesis of date acquired using a plurality of pixels having different light-receiving time durations
US20230156349A1 (en) Method for generating image and electronic device therefor
CN113784036A (zh) 设备对焦方法、装置、存储介质及电子设备
CN110913143A (zh) 图像处理方法、装置、存储介质及电子设备
US10742862B2 (en) Information processing device, information processing method, and information processing system
CN113706429B (zh) 图像处理方法、装置、电子设备和存储介质
US10880508B2 (en) Image processing apparatus, imaging apparatus, pixel-abnormality detecting method, and computer-readable recording medium
US20210152761A1 (en) Electronic device and method for controlling the same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant