CN113473028A - 图像处理方法、装置、摄像头组件、电子设备及介质 - Google Patents

图像处理方法、装置、摄像头组件、电子设备及介质 Download PDF

Info

Publication number
CN113473028A
CN113473028A CN202110801902.5A CN202110801902A CN113473028A CN 113473028 A CN113473028 A CN 113473028A CN 202110801902 A CN202110801902 A CN 202110801902A CN 113473028 A CN113473028 A CN 113473028A
Authority
CN
China
Prior art keywords
image
target
processing
algorithm
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110801902.5A
Other languages
English (en)
Inventor
胡攀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110801902.5A priority Critical patent/CN113473028A/zh
Publication of CN113473028A publication Critical patent/CN113473028A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/68—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits
    • H04N9/69—Circuits for processing colour signals for controlling the amplitude of colour signals, e.g. automatic chroma control circuits for modifying the colour signals by gamma correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法、装置、摄像头组件、电子设备及介质。图像处理方法包括：以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，目标RGB图像由原始图像中的目标区域生成；以第二处理算法对目标RGB图像进行处理后得到YUV图像。上述图像处理方法、装置、摄像头组件、电子设备及介质中，在运行第二处理算法之前，采用电子防抖图像变换算法处理原始图像以降低目标RGB图像的分辨率，节省了内存空间，减少了第二处理算法运行过程中的功耗开销，提升了图像处理的效率。

Description

图像处理方法、装置、摄像头组件、电子设备及介质
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、装置、摄像头组件、电子设备及介质。
背景技术
通常情况下，为了得到清晰度较高的影像，在拍摄过程中，需要保持拍摄设备处于基本稳定的状态，这样无疑会增大拍摄难度。为了改善拍摄设备抖动导致拍摄的影像模糊、不清晰的问题，出现了电子防抖技术，但是，在相关技术中，电子防抖的技术方案在实施过程中需要占用较多内存和处理资源开销，这样会导致系统性能降低、功耗温升增加。
发明内容
本申请的实施方式提供了一种图像处理方法、装置、摄像头组件、电子设备及介质。
本申请实施方式的图像处理方法包括：以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，所述目标RGB图像由所述原始图像中的目标区域生成；以第二处理算法对所述目标RGB图像进行处理后得到YUV图像。
本申请实施方式的图像处理装置包括第一处理模块和第二处理模块。第一处理模块用于以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，所述目标RGB图像由所述原始图像中的目标区域生成。第二处理模块用于以第二处理算法对所述目标RGB图像进行处理后得到YUV图像。
本申请实施方式的摄像头组件包括镜头、图像传感器和处理器。所述图像传感器能够通过所述镜头获取外界光线并生成相应的原始图像。所述处理器用于：以第一处理算法和电子防抖图像变换算法对所述原始图像进行处理后得到目标RGB图像，所述目标RGB图像由所述原始图像中的目标区域生成；以第二处理算法对所述目标RGB图像进行处理后得到YUV图像。
本申请实施方式的电子设备包括壳体及上述实施方式所述的摄像头组件。所述摄像头组件与所述壳体结合。
本申请实施方式的计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现上述实施方式所述的图像处理方法的步骤。
上述图像处理方法、装置、摄像头组件、电子设备及介质中，在运行第二处理算法之前，采用电子防抖图像变换算法处理原始图像以降低目标RGB图像的分辨率，节省了内存空间，减少了第二处理算法运行过程中的功耗开销，提升了图像处理的效率。
本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解，其中：
图1是本申请实施方式的图像处理方法的流程示意图；
图2是本申请实施方式的图像处理装置的示意图；
图3是本申请实施方式的摄像头组件的示意图；
图4是相关技术的图像处理方法的场景示意图；
图5是本申请实施方式的图像处理方法的电子防抖图像变换算法的动态裁剪的原理示意图；
图6是本申请实施方式的图像处理方法的流程示意图；
图7是本申请实施方式的图像处理装置的示意图；
图8是本申请实施方式的图像处理方法的场景示意图；
图9是本申请实施方式的图像处理方法的场景示意图；
图10是本申请实施方式的图像处理方法的流程示意图；
图11是本申请实施方式的图像处理装置的示意图；
图12是本申请实施方式的图像处理方法的场景示意图；
图13是本申请实施方式的图像处理方法的原理示意图；
图14是本申请实施方式的图像处理方法的原理示意图；
图15是本申请实施方式的图像处理方法的流程示意图；
图16是本申请实施方式的图像处理方法的场景示意图；
图17是相关技术的图像处理方法的场景示意图；
图18是相关技术的图像处理方法的输出图像的比较示意图；
图19是相关技术的图像处理方法的输出图像的比较示意图；
图20是相关技术的图像处理方法的输出图像的比较示意图；
图21是本申请实施方式的图像处理方法的场景示意图；
图22是本申请实施方式的图像处理方法的流程示意图；
图23是本申请实施方式的图像处理装置的示意图；
图24是本申请实施方式的图像处理方法的流程示意图；
图25是本申请实施方式的图像处理装置的示意图；
图26是本申请实施方式的图像处理方法的流程示意图；
图27是本申请实施方式的图像处理方法的场景示意图；
图28是本申请实施方式的图像处理方法的流程示意图；
图29是本申请实施方式的图像处理方法的流程示意图；
图30是本申请实施方式的图像处理装置的示意图；
图31是本申请实施方式的电子设备的示意图。
具体实施方式
下面详细描述本申请的实施方式，所述实施方式的实施方式在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本申请，而不能理解为对本申请的限制。
在本申请的实施方式的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的实施方式的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
请参阅图1-图3，本申请实施方式的图像处理方法包括：
01：以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，目标RGB图像由原始图像中的目标区域生成；
03：以第二处理算法对目标RGB图像进行处理后得到YUV图像。
本申请实施方式的控制方法可由本申请实施方式的图像处理装置100实现。具体地，图像处理装置100包括第一处理模块10和第二处理模块30。第一处理模块10用于以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，目标RGB图像由原始图像中的目标区域生成。第二处理模块30用于以第二处理算法对目标RGB图像进行处理后得到YUV图像。
本申请实施方式的控制方法可由本申请实施方式的摄像头组件200实现。具体地，摄像头组件200包括镜头202、图像传感器204和处理器206，图像传感器204能够通过镜头202获取外界光线并生成相应的原始图像，处理器206用于以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，目标RGB图像由原始图像中的目标区域生成，及用于以第二处理算法对目标RGB图像进行处理后得到YUV图像。
本申请实施方式的图像处理方法、图像处理装置100和摄像头组件200的技术方案中，在运行第二处理算法之前，采用电子防抖图像变换算法处理原始图像以降低目标RGB图像的分辨率，节省了内存空间，减少了第二处理算法运行过程中的功耗开销，提升了图像处理的效率。
请结合图4，在相关技术中，在对原始图像进行电子防抖处理时，电子防抖图像变换(EIS Warping)算法在ISP后端(ISP Back End，ISP BE)模块之后执行(如图4(a)所示)，或者电子防抖图像变换算法在ISP前端(ISP Front End，ISP FE)模块之后、ISP后端模块之前执行(如图4(b)所示)，因为此处也有一次进入双倍速率同步动态随机存储器(DoubleData Rate SDRAM，DDR)的步骤，可以满足电子防抖图像变换需要全图搜索的需求，在上述两种执行顺序中，ISP前端模块都需要先对图像传感器(sensor)输出的完整的原始图像进行处理，然后电子防抖图像变换算法进一步对图像进行处理。然而，考虑到电子防抖图像变换算法会对原始图像造成裁切使得输出的图像的分辨率小于原始图像的分辨率，且在电子防抖图像变换算法之后输出的图像需要满足用户设定的分辨率，因此，为了保证电子防抖处理后画质没有损失，在进行电子防抖图像变换算法处理前图像的分辨率需要更大。例如，在用户设定的分辨率为1920*1080像素时，若电子防抖图像变换算法的裁切比为1.2，则电子防抖图像变换算法处理前的图像的分辨率应为2304*1296像素；若电子防抖图像变换算法的裁切比为1.433，则电子防抖图像变换算法处理前的图像的分辨率应为2752*1548像素。裁切比＝裁切前图像的宽度/裁切后图像的宽度。从电子防抖图像变换算法处理前后的图像的分辨率对比可以看出，会有大量被图像传感器输出和ISP前端模块处理过的像素在电子防抖图像变换算法中被裁切，这部分像素不会最终输出到预览或者录像，但是占用了图像传感器输出和ISP前端模块的处理资源，产生了不必要的功耗开销。
也即是说，相关技术的技术方案需要在图像传感器输出和ISP前端模块端进行大分辨率的图像处理，才能保证经过电子防抖图像变换算法处理后，得到用户需求的分辨率，这样会对整个系统的性能速度、内存和处理资源开销以及功耗温升造成负面影响。
而本申请实施方式的图像处理方法中，通过将电子防抖图像变换算法的处理前置，可以保证在ISP前端模块的第二算法之前输出用户设定的分辨率，从而对于第二处理算法、ISP后端模块及ISP后的后处理端(GPU/CPU/Codec)等保证一致的用户设定的分辨率，减少额外像素开销，降低整体系统需要处理的图像像素数目，提高系统性能，降低内存开销，降低功耗和温升。
具体地，在某些实施方式中，第一处理算法和第二处理算法可以理解为ISP前端模块中的算法。在某些实施方式中，第一处理算法可以理解为ISP前端模块中的一部分算法，第二处理算法可以理解为ISP前端模块中的另一部分算法和ISP后端模块中的全部算法。在进行图像处理时，第一处理算法先于第二处理算法执行。电子防抖图像变换算法即用于对图像进行电子防抖的算法。
原始图像，即图像传感器204输出的像素为raw格式的图像。原始图像的每个像素只有一个颜色通道。当图像传感器204的像素阵列为RGGB的拜耳格式时，原始图像的每个像素包括红色像素值、绿色像素值和蓝色像值中的一个。目标RGB图像具有RGB格式。目标RGB图像的每个像素包括红(R)、绿(G)、蓝(B)三个颜色通道。YUV图像具有YUV格式。
原始图像可包括目标区域和非目标区域。目标区域，可以理解为图像处理完成后最终显示和编码端呈现的图像对应在原始图像中的区域。非目标区域，可以理解为原始图像中除了目标区域之外的其他区域。目标RGB图像对应的拍摄对象与目标区域对应的拍摄对象相同。YUV图像对应的拍摄对象也与目标区域对应的拍摄对象相同。
在某些实施方式中，图像处理方法通过图像管道(pipeline)实现，图像管道用于实现第一处理算法、电子防抖图像变换算法和第二处理算法。
其中，图像管道可以是相关技术中所采用的图像管道，例如可以是高通的图像处理器的pipeline，也可以是联发科的图像处理器的pipeline等。然而，相关技术中的图像管道不能实现电子防抖，因此，在本申请实施方式中，基于相关技术中的图像管道，再结合电子防抖图像变换算法对原始图像进行处理，从而得到具有防抖后的YUV图像。
在某些实施方式中，图像管道包括前端图像处理模块和电子防抖图像变换模块。前端图像处理模块用于实现第一处理算法、电子防抖图像变换算法和第二处理算法，第一处理算法包括摄像头接口(Camera Interface，CAMIF)、基座校正(Pedestal Correction)、线性化(Linearization)、相位对焦坏点校正(PDAF Piexl Correction，PDPC)、坏点校正/坏斑校正(Bad pixel correction/Bad cluster correction，BPC/BCC)、黑电平校正(Black Level Subtraction)、镜头阴影校正(Lens Shading Correction，LSC)、统计信息(Stats)、白平衡(White Balance)、去马赛克(Demosaic)中的至少一种。第二处理算法包括颜色校正(Color Correction)、全局色调映射(Global Tone Mapping)、伽玛校正(Gamma)、颜色空间转换(Color Space Transform)、下采样(down scaler)中的至少一种。电子防抖图像变换模块用于实现电子防抖图像变换算法。电子防抖图像变换算法包括平移(Shifting)、旋转(Rotation)、缩放(Scaling)、裁切(Cropping)中的至少一种。
具体地，在第一处理算法中，摄像头接口可以用于同步图像传感器204发送数据过程中涉及到的同步信号。摄像头接口还具有图像提取和图像镜像能力。摄像头接口可以将raw图像转换成raw dump Bayer raw图像。考虑到图像传感器204输出的图像的信噪比，图像传感器204输出图像时会加上一个基底pedestal，在对图像进行处理时，需要减去这个基底，也就是进行基座校正。针对图像传感器204(例如光电转换元件)的非线性，可以对图像进行线性化处理，线性化处理例如采用曲线拟合、神经网络等方法实现。相位对焦坏点校正可以根据预设的坏点标定图对原始图像进行校正。坏点校正即坏像素校正，在图像传感器204中的某个像素不能正常工作时，可以利用坏点校正获得该像素对应的像素值。坏斑校正即坏像素群校正，通过坏斑校正也能对坏点进行校正。图像传感器204的电路本身会存在暗电流，导致在没有光线照射的时候，像素也有一定的输出电压，因此需要减去暗电流带来的影响，也就是进行黑电平校正。镜头阴影校正可以解决由于镜头202对于光学折射不均匀导致的镜头202周围出现阴影的情况。计算图像中的统计信息，可以根据统计信息制定自动曝光策略、自动对焦策略和自动白平衡策略，进而根据自动曝光策略、自动对焦策略和自动白平衡策略校正图像。为了提高图像的色彩准确度，还可以对图像进行白平衡处理。白平衡处理算法可包括灰度世界法、镜面法、色温估计法等。去马赛克算法可以将拜耳阵列的拜耳图像插值成为RGB格式的图像，其中，RGB格式的图像可以是三帧，即分别为插值后得到的R图像、G图像和B图像。
在第二处理算法中，颜色校正后的图像的色彩饱和度更加明显，更加符合人眼感官。全局色调映射是指对图像颜色进行变换，其目的在于调整图像的灰度，使得处理后的图像看上去更舒服，能更好地表达图像里的信息与特征。伽玛校正可使得图像看起来更符合人眼的特性，伽玛校正公式例如为Out＝Ingamma或者Out＝In1/gamma，其中，In表示输入图像，Out表示输出图像。颜色空间转换可以将RGB图像转换为YUV图像。通过下采样可以降低图像的尺寸。
电子防抖图像变换算法可通过平移、旋转、缩放、裁切等操作，将一帧图像变换到另一帧图像。更通用的讲，电子防抖图像变换算法指的是一帧图像A经过任何非折叠的变换，到另一帧图像B的过程，并且，图像B中显示的内容少于或等于图像A中显示的内容。
请结合图5，图5是电子防抖图像变换算法的动态裁剪的原理示意图。其中，左图为原始图像，左图中的虚线部分为目标区域，右图为原始图像经过动态裁剪处理后得到的图像。由图X可以看出，动态裁剪会改变原始图像的视野(FOV)和形状。经过动态裁剪处理后，可以将原始图像内不规则形状的目标区域，投影为一个规则的矩形图像(基于图像编码和呈现格式的需求，所有的出图需要为矩形，甚至标准的16:9或者4:3矩形)，这个过程中造成的影响有两点，一个是FOV的缩小，由于最终只呈现目标区域内的像素，因此目标区域之外的像素都不会参与最终编码和呈现；另一个是形状的变化，由于动态裁剪是针对光学防抖的场景，考虑到防抖过程需要将图像投影到3D进行旋转后再投影回2D空间，因此比如导致图像的投影形变，再叠加上镜头本身的畸变等因素，最终需要呈现的可能对应的就是原始图像的目标区域，而编码和成像又要求将目标区域规整为矩形，因此形状也发送了变化。二者最终都会导致在原始图像上的点，其坐标在裁剪后的矩形图像内发生了变化。
在某些实施方式中，图像管道还包括后端图像处理模块。前端图像处理模块进行raw域的处理和raw域至RGB域再至YUV域的转换，后端图像处理模块进行YUV域的处理，并输出YUV图像用于进行JPGE编码、显示渲染和视频编码。
请参阅图6和图7，在某些实施方式中，步骤01包括：
0111：以电子防抖图像变换算法对原始图像进行处理后得到目标图像，目标图像与原始图像中的目标区域相对应；
0113：以第一处理算法对目标图像进行处理后得到目标RGB图像。
上述实施方式的控制方法可由本申请实施方式的图像处理装置100实现。具体地，第一处理模块10包括第一处理单元1012和第二处理单元1014。第一处理单元1012用于以电子防抖图像变换算法对原始图像进行处理后得到目标图像，目标图像与原始图像中的目标区域相对应。第二处理单元1014用于以第一处理算法对目标图像进行处理后得到目标RGB图像。
上述实施方式的控制方法可由本申请实施方式的摄像头组件200实现。具体地，处理器206用于以电子防抖图像变换算法对原始图像进行处理后得到目标图像，目标图像与原始图像中的目标区域相对应，及用于以第一处理算法对目标图像进行处理后得到目标RGB图像。
如此，在执行第一处理算法之前以电子防抖图像变换算法对原始图像进行处理，去除了在第一处理算法和第二处理算法中需要占用资源进行处理但不在图像处理完成后最终显示和编码端呈现的非目标区域图像部分，提高了整体系统的性能，降低了图像处理的功耗。可以理解，第一处理算法包括大量的逐像素处理，比如BPC/BCC是进行坏点校正的模块，在动态处理过程中需要逐像素搜索其响应与邻域同类型像素响应均值的差异，并将差异过大的确定为坏点进行校正，然而对于原始图像中的非目标区域，由于非目标区域不在图像处理完成后最终显示和编码端呈现，对非目标区域进行坏点校正等处理是非必要的，对非目标区域进行坏点校正等处理会造成系统性能的浪费以及增添无意义的功耗。
具体地，请结合图8，图像传感器204输出的原始图像写入双倍速率同步动态随机存储器(Double Data Rate SDRAM，DDR)。电子防抖图像变换模块从DDR中读取原始图像，以电子防抖图像变换算法对原始图像进行处理后得到目标图像，并将目标图像写入DDR。目标图像可以理解为由原始图像的目标区域生成的raw格式的图像。前端图像处理模块从DDR中读取目标图像，以第一处理算法对目标图像进行处理后得到目标RGB图像，以第二处理算法对目标RGB图像进行处理后得到YUV图像，并将YUV图像写入DDR。后端图像处理模块从DDR中读取YUV图像，对YUV图像进一步处理后输出。请结合图9，第一处理算法可包括摄像头接口、基座校正、线性化、相位对焦坏点校正、坏点校正/坏斑校正、黑电平校正、镜头阴影校正、统计信息、白平衡、去马赛克中的全部，第二处理算法包括颜色校正、全局色调映射、伽玛校正、颜色空间转换、下采样中的全部。
请参阅图10和图11，在某些实施方式中，图像传感器204包括像素阵列，像素阵列包括多个第一子单元，每个第一子单元包括至少一个彩色感光像素，原始图像由多个组合原始像素组成，每个组合原始像素包括至少一个原始像素，一个组合原始像素对应一个第一子单元，每个原始像素的像素值由一个第一子单元中的一个彩色感光像素生成，目标图像由多个组合目标像素组成，每个组合目标像素包括至少一个目标像素，步骤0111包括：
01111：建立每个组合原始像素与每个组合目标像素的坐标映射关系；
01113：根据坐标映射关系和每个组合原始像素中原始像素的像素值，确定每个组合目标像素中每个目标像素的像素值以得到目标图像。
上述实施方式的控制方法可由本申请实施方式的图像处理装置100实现。具体地，第一处理单元1012包括映射子单元10122和插值子单元10124。映射子单元10122用于建立每个组合原始像素与每个组合目标像素的坐标映射关系。插值子单元10124用于根据坐标映射关系和每个组合原始像素中原始像素的像素值，确定每个组合目标像素中每个目标像素的像素值以得到目标图像。
上述实施方式的控制方法可由本申请实施方式的摄像头组件200实现。具体地，处理器206用于建立每个组合原始像素与每个组合目标像素的坐标映射关系，及用于根据坐标映射关系和每个组合原始像素中原始像素的像素值，确定每个组合目标像素中每个目标像素的像素值以得到目标图像。
如此，保证了电子防抖图像变换算法正常运行，电子防抖图像变换算法能够处理原始图像，并生成插值准确的目标图像。可以理解，在相关技术中，由于电子防抖图像变换算法在ISP后端模块之后执行，或者电子防抖图像变换算法在ISP前端模块之后、ISP后端模块之前执行，也即是说，电子防抖图像变换模块的输入端的图像为YUV格式或者RGB格式，这样电子防抖图像变换模块能够直接获取到每个像素对应的完整的YUV信息或者RGB信息。然而，对于电子防抖图像变换模块的输入端为原始图像的情况，由于原始图像的每个像素只有一个颜色通道，例如红色通道、绿色通道或蓝色通道，因此，无法直接复用相关技术中的电子防抖图像变换算法，需要加以改进。
具体地，第一子单元可以理解为最小重复单元。通常情况下，像素阵列由若干个最小重复单元组成，每个最小重复单元中包括至少一个彩色感光像素。例如，在某些实施方式中，最小重复单元包括一个红色感光像素R、两个绿色感光像素G和一个蓝色感光像素B，四个感光像素呈两行两列的拜耳阵列排列；在某些实施方式中，最小重复单元包括一个红色感光像素R、一个绿色感光像素G、一个蓝色感光像素B和一个全色感光像素W，四个感光像素呈两行两列的非拜耳阵列排列；在某些实施方式中，最小重复单元包括四个红色感光像素R、四个绿色感光像素G和四个蓝色感光像素B，四个感光像素呈四行四列的非拜耳阵列排列。因此，在本申请实施方式的电子抖动图像变换算法中，将每个最小重复单元(第一子单元)对应的原始图像中的组合原始像素作为一个整体，由于每个组合原始像素中均包括RGB信息，可以正常执行电子抖动图像变换算法。请结合图12，以第一子单元为RGGB pattern格式的像素阵列为例，将第一子单元中的4个彩色感光像素对应的原始图像中的组合原始像素作为一个整体，由于每个组合原始像素对应一个第一子单元排列，因此，相当于将尺寸为M*N的原始图像抽象为尺寸是(M/2)*(N/2)的原始图像，这样，原始图像的组合原始像素均包括RGB信息，可以正常执行电子抖动图像变换算法。
每个组合原始像素与每个组合目标像素的坐标映射关系可以用网格(mesh)表示。如图13所示，mesh表示原始图像和目标图像中，代表相同物点的组合像素的像素坐标的映射关系，并且是一一对应的，不存在原始图像中两个组合原始像素映射到目标图像中同一个组合目标像素，也不存在原始图像中一个组合原始像素对应目标图像中两个组合目标像素。通过mesh，就可以表示所有形式的变换或者各自变换的组合。mesh可以是逐点的mesh，这样mesh里面存储了目标图像中的每个组合目标像素点对应在原始图像中的组合原始像素点的坐标(这种情况下，目标图像中每个坐标都在原始图像的范围内)，或者反过来，存储了原始图像中的每个组合原始像素对应在目标图像中的组合目标像素的坐标(这种情况下，原始图像中非目标区域的坐标会落在目标图像范围外，即原始图像中非目标区域的坐标在目标图像中没有对应的坐标)；mesh也可以是非逐点的mesh，比如只存储了图13中原始图像和目标图像中划分的各个的四边形的各个格点的坐标映射关系，而不是每个组合像素的坐标映射关系，对于原始图像和目标图像中各个四边形内部的组合原始像素或组合目标像素的坐标，可通过四边形格点的坐标映射关系，采用双线性插值或者重心坐标(barycentric)插值等方法插值出对应的坐标映射关系。
进一步地，电子抖动图像变换算法的处理过程可包括像素坐标插值和像素值插值。电子抖动图像变换算法可包括前向图像变换(forward warping)和后向图像变换(backward warping)两种实现方式，采用其中任意一种均能实现电子抖动图像变换算法。
后向图像变换，即对目标图像上的每个组合目标像素，查找或插值出其在原始图像上对应的组合原始像素的像素值，进而填充到目标图像的组合目标像素上，采用的处理方式是对目标图像进行逐组合目标像素遍历来插值。在图13中，组合原始像素A与组合目标像素B(整数坐标)之间的关系的建立过程即是像素坐标插值，具体地，对于组合目标像素B(xB,yB)，其对应的组合原始像素A的像素坐标可由以下公式表示：(xA,yA)＝pixel_position_interpolation(xB,yB,{xB_neighbour,yB_neighbour},{xA_neighbour,yA_neighbour})，其中，pixel_position_interpolation表示像素坐标插值函数，{xB_neighbour,yB_neighbour}表示组合目标像素B的相邻格点P、Q、S、T的像素坐标，{xA_neighbour,yA_neighbour}表示原始图像中与格点P、Q、S、T对应的格点P’、Q’、S’、T’的像素坐标。不同的插值方法，使用的邻域像素可能不一致。由于(xA,yA)为插值出来的亚像素坐标，不能直接取到(xA,yA)位置的像素值，因此需要进行像素值插值以确定组合原始像素A的像素值。组合原始像素A的像素值可由以下公式表示：val(xA,yA)＝pixel_val_interpolation(xA,yA,{xA_neighbour,yA_neighbour})，其中，pixel_val_interpolation表示像素值插值函数，{xA_neighbour,yA_neighbour}表示组合原始像素A的邻域整数像素坐标，不同的插值方法，使用的邻域像素可能不一致。确定组合原始像素A的像素值后，将组合原始像素A的像素值填充到目标图像的组合目标像素上。需要指出的是，组合原始像素包括至少一个原始像素，组合目标像素包括至少一个目标像素，一个目标像素对应一个原始像素，因此，确定组合原始像素A的像素值是指确定组合原始像素A中每个原始像素的像素值，将组合原始像素A的像素值填充到目标图像的组合目标像素上是指将组合原始像素A中每个原始像素的像素值填充到对应的组合目标像素的目标像素上。在确定每个组合目标像素中每个目标像素的像素值后即得到目标图像。
与后向图像变换相关的是后向mesh。对于稀疏mesh而言，从两张图像的层面，如图13所示，在目标图像上进行规整的网格划分，对划分的网格的各个格点，存储其对应的原始图像位置的点，对于网格中的点，可以直接采用简单的双线性(bilinear)的方式插值出对应的原始图像的点。这种情况下，后向mesh里面存储的是格点数目(宽高方向点数)，网格尺寸，每个格点对应的原始图像中组合原始像素的坐标等信息。
前向图像变换，即对原始图像上的每个组合原始像素点，查找或插值出其在目标图像上对应的组合目标像素的内容，进而填充到目标图像的组合目标像素上，采用的处理方式是对原始图像进行逐组合原始像素遍历来插值。与前向图像变换相关的是前向mesh。对于稀疏mesh而言，从两张图像的层面，如下图14所示，在原始图像上进行规整的网格划分，对划分的网格的各个格点，存储其对应的目标图像位置的点，对于网格中的点，可以直接采用简单的双线性的方式插值出对应的目标图像的点。这种情况下，前向mesh里面存储的是格点数目(宽高方向点数)，网格尺寸，每个格点对应的目标图像中组合目标像素的坐标等信息。
请参阅图15和图16，在某些实施方式中，镜头阴影校正包括预设阴影增益图(shading gain map)，预设阴影增益图用于校正原始图像中的阴影，在步骤0111之后，图像处理方法还包括：
0115：以电子防抖图像变换算法对预设阴影增益图进行处理后得到目标阴影增益图，目标阴影增益图用于校正目标图像中的阴影。
上述实施方式的控制方法可由本申请实施方式的图像处理装置100实现。具体地，第一处理模块10用于以电子防抖图像变换算法对预设阴影增益图进行处理后得到目标阴影增益图，目标阴影增益图用于校正目标图像中的阴影。
上述实施方式的控制方法可由本申请实施方式的摄像头组件200实现。具体地，处理器206用于以电子防抖图像变换算法对预设阴影增益图进行处理后得到目标阴影增益图，目标阴影增益图用于校正目标图像中的阴影。
如此，在镜头阴影校正前端，由电子防抖图像处理模块逐帧更新得到目标阴影增益图，从而保证了在进行镜头阴影校正时，目标阴影增益图能够与目标图像中的像素准确对应，可以保证镜头阴影校正得到较好的效果。
具体地，预设阴影增益图的尺寸与原始图像的尺寸相同，预设阴影增益图是现有技术中预先设定的用于校正原始图像中的阴影的标定图。由于受到光线孔径的影响，raw格式的原始图像的边缘部分的亮度低于原始图像的中心部分的亮度，因此用于校正原始图像的预设阴影增益图的边缘部分的增益设置为大于1，预设阴影增益图的中心部分的增益设置为小于或等于1，这样，在经过镜头阴影校正之后，对于拍摄全局一致的物体生成的图像的亮度可以达到全局一致。
请结合图4(a)和图8，其中，图4(a)为相关技术中在YUV域进行电子防抖图像处理算法处理的场景示意图，图8为本申请的某些实施方式中在raw域进行电子防抖图像处理算法处理的场景示意图。可见YUV_gt为在YUV域进行warping的结果，YUV为在raw域进行warping后最终转成YUV输出的结果。将YUV_gt和YUV进行结构相似性(StructuralSimilarity，SSIM)和峰值信噪比(Peak Signal-to-Noise Ratio，PSNR)的比对，可以发现不同warping参数下相似度的变化。图17为裁切前的图像和分别以裁切比为1.1、1.2、1.3、1.4、1.5、1.6、1.7、1.8和1.9裁切后的图像。图18所示为对应图17的不同裁切比下，最终输出的YUV和YUV_gt的差异。裁切比＝裁切前图像的宽度/裁切后图像的宽度。可以发现，PSNR最大值为27.23DB，SSIM最大值为0.55，并且随着裁切比的增大，PSNR和SSIM都逐步降低。说明电子防抖图像处理算法在ISP链路的前端处理，与电子防抖图像处理算法在ISP链路最后端处理存在差异，且这种差异随着裁切比的增大而增大，也即随着电子防抖图像处理算法对图像的缩放(zoom)变换的增大而增大。图19和图20为绕Z轴旋转(Rotation)不同角度(1°、4°、7°、…、45°)下，最终输出的YUV和YUV_gt的差异，其中，图19对应的裁切比为1.2，图20对应的裁切比为1.433。可以发现随着旋转角度增大，PSNR和SSIM逐步降低，并且随着裁切比增长，PSNR和SSIM也逐步降低。分析PSNR和SSIM降低的原因，可以发现主要原因在于局部亮度的变化，局部亮度变化的原因在于原始图像在经过电子防抖图像变换算法处理之后得到的目标图像的视野小于原始图像的视野且目标图像的形态相较于原始图像发生变化，用于校正原始图像的预设阴影增益图不再适用于目标图像。若继续用预设阴影增益图校正目标图像，会导致处于目标图像中处于目标图像边缘但本来对应原始图像中心或者非边缘部分的目标像素，被应用了预设阴影增益图中边缘部分的大于1的增益值，从而造成不需要补正的目标像素得到过大的补正，进而造成过曝，如图21所示。在图21的示例中，左侧为基于预设阴影增益图得到的目标图像，右侧为原始图像，可以发现目标图像边缘的部分由于预设阴影增益图的作用，亮度提高，饱和度降低，出现过曝现象，显然，预设阴影增益图不适用于目标图像。
进一步地，在每次以电子防抖图像变换算法对原始图像进行处理后得到目标图像(步骤0111)之后，可以采用电子防抖图像变换算法对预设阴影增益图进行处理后得到目标阴影增益图，这样，目标阴影增益图的尺寸和形态均与目标图像相对应，目标阴影增益图的每个增益像素与目标图像的目标像素准确对应，目标阴影增益图可以用于在步骤0113中校正目标图像的镜头阴影，使得最终输出的图像不会出现过曝现象。
请参阅图22和图23，在某些实施方式中，相位对焦坏点校正包括第一预设坏点图，坏点校正/坏斑校正包括第二预设坏点图，第一预设坏点图和第二预设坏点图用于校正原始图像中的坏点，在步骤0111之后，图像处理方法还包括：
0117：以电子防抖图像变换算法对第一预设坏点图进行处理后得到第一目标坏点图；
0119：以电子防抖图像变换算法对第二预设坏点图进行处理后得到第二目标坏点图，第一目标坏点图和第二目标坏点图用于校正目标图像中的坏点。
上述实施方式的控制方法可由本申请实施方式的图像处理装置100实现。具体地，第一处理模块10包括第三处理单元1016和第四处理单元1018。第三处理单元1016用于以电子防抖图像变换算法对第一预设坏点图进行处理后得到第一目标坏点图。第四处理单元1018用于以电子防抖图像变换算法对第二预设坏点图进行处理后得到第二目标坏点图，第一目标坏点图和第二目标坏点图用于校正目标图像中的坏点。
上述实施方式的控制方法可由本申请实施方式的摄像头组件200实现。具体地，处理器206用于以电子防抖图像变换算法对第一预设坏点图进行处理后得到第一目标坏点图，及用于以电子防抖图像变换算法对第二预设坏点图进行处理后得到第二目标坏点图，第一目标坏点图和第二目标坏点图用于校正目标图像中的坏点。
如此，在相位对焦坏点校正和坏点校正/坏斑校正前端，由电子防抖图像处理模块逐帧更新得到第一目标坏点图和第二目标坏点图，从而保证了在进行相位对焦坏点校正和坏点校正/坏斑校正时，第一目标坏点图和第二目标坏点图能够与目标图像中的像素准确对应，可以保证相位对焦坏点校正和坏点校正/坏斑校正得到较好的效果。
具体地，第一预设坏点图的尺寸与原始图像的尺寸相同，第一预设坏点图是现有技术中预先设定的用于校正原始图像中的相位对焦坏点的标定图。第二预设坏点图的尺寸与原始图像的尺寸相同，第二预设坏点图是现有技术中预先设定的用于校正原始图像中的像素坏点的标定图。
同样地，由于原始图像在经过电子防抖图像变换算法处理之后得到的目标图像的视野小于原始图像的视野且目标图像的形态相较于原始图像发生变化，用于校正原始图像的第一预设坏点图和第二预设坏点图不再适用于目标图像，若继续用第一预设坏点图和第二预设坏点图校正目标图像，无法达到理想的校正效果。因此，在每次以电子防抖图像变换算法对原始图像进行处理后得到目标图像(步骤0111)之后，可以采用电子防抖图像变换算法对第一预设坏点图和第二预设坏点图进行处理，得到第一目标坏点图和第二目标坏点图，这样，第一目标坏点图和第二目标坏点图的尺寸和形态均与目标图像相对应，第一目标坏点图和第二目标坏点图的每个增益像素均与目标图像的目标像素准确对应，第一目标坏点图和第二目标坏点图可以用于在步骤0113中校正目标图像的坏点。
请参阅图24和图25，在某些实施方式中，步骤0113包括：
01131：对目标图像进行信息统计以确定自动曝光策略、自动对焦策略和自动白平衡策略；
01133：根据自动曝光策略、自动对焦策略和自动白平衡策略校正目标图像。
上述实施方式的控制方法可由本申请实施方式的图像处理装置100实现。具体地，第二处理单元1014包括统计子单元10142和校正子单元10144。统计子单元10142用于对目标图像进行信息统计以确定自动曝光策略、自动对焦策略和自动白平衡策略。校正子单元10144用于根据自动曝光策略、自动对焦策略和自动白平衡策略校正目标图像。
上述实施方式的控制方法可由本申请实施方式的摄像头组件200实现。具体地，处理器206用于对目标图像进行信息统计以确定自动曝光策略、自动对焦策略和自动白平衡策略，及用于根据自动曝光策略、自动对焦策略和自动白平衡策略校正目标图像。
如此，能够准确地统计信息，保证输出的目标RGB图像的准确性。可以理解，在相关技术中，自动曝光策略、自动对焦策略和自动白平衡策略是基于原始图像的统计信息确定的，而由于目标图像的视野和形态均不同于原始图像，若继续根据基于原始图像的统计信息确定的自动曝光策略、自动对焦策略和自动白平衡策略校正目标图像，无法保证达到理想的校正效果，甚至会导致往相反的方向校正。
请参阅图26和图27，在某些实施方式中，步骤01包括：
0121：依次采用摄像头接口、电子防抖图像变换算法、基座校正、线性化、相位对焦坏点校正、坏点校正/坏斑校正、黑电平校正、镜头阴影校正、统计信息、白平衡、去马赛克对原始图像进行处理后得到目标RGB图像。
上述实施方式的控制方法可由本申请实施方式的图像处理装置100实现。具体地，第一处理模块10用于依次采用摄像头接口、电子防抖图像变换算法、基座校正、线性化、相位对焦坏点校正、坏点校正/坏斑校正、黑电平校正、镜头阴影校正、统计信息、白平衡、去马赛克对原始图像进行处理后得到目标RGB图像。
上述实施方式的控制方法可由本申请实施方式的摄像头组件200实现。具体地，处理器206用于依次采用摄像头接口、电子防抖图像变换算法、基座校正、线性化、相位对焦坏点校正、坏点校正/坏斑校正、黑电平校正、镜头阴影校正、统计信息、白平衡、去马赛克对原始图像进行处理后得到目标RGB图像。
如此，相较于图8所示的实施方式，本实施方式可以取消电子防抖图像变换模块的输入端从图像传感器204到DDR的写入，以及从DDR的读出，采用行缓冲器(line buffer)的方式进行raw域的图像变换，从而减小图像处理的延迟和性能功耗开销。
具体地，为了避免后向图像变换过程中涉及到的多行像素读取超过行缓冲器的限制，可以进一步限制防抖的能力，也即调小裁切比或者扩大原始图像中目标区域的范围。
请参阅图28，在某些实施方式中，步骤01包括：
0131：依次采用摄像头接口、基座校正、线性化、相位对焦坏点校正、坏点校正/坏斑校正、黑电平校正、镜头阴影校正、统计信息、电子防抖图像变换算法、白平衡、去马赛克对原始图像进行处理后得到目标RGB图像。
上述实施方式的控制方法可由本申请实施方式的图像处理装置100实现。具体地，第一处理模块10用于依次采用摄像头接口、基座校正、线性化、相位对焦坏点校正、坏点校正/坏斑校正、黑电平校正、镜头阴影校正、统计信息、电子防抖图像变换算法、白平衡、去马赛克对原始图像进行处理后得到目标RGB图像。
上述实施方式的控制方法可由本申请实施方式的摄像头组件200实现。具体地，处理器206用于依次采用摄像头接口、基座校正、线性化、相位对焦坏点校正、坏点校正/坏斑校正、黑电平校正、镜头阴影校正、统计信息、电子防抖图像变换算法、白平衡、去马赛克对原始图像进行处理后得到目标RGB图像。
如此，电子防抖图像变换算法在PDPC、BPC、BCC、LSC及Stats等算法之后执行，从而不需要动态逐帧确定目标阴影增益图、第一目标坏点图和第二目标坏点图等内容，可以降低系统设计的复杂性。
请参阅图29和图30，在某些实施方式中，步骤01包括：
0141：以第一处理算法对原始图像进行处理后得到原始RGB图像；
0143：以电子防抖图像变换算法对原始RGB图像进行处理后得到目标RGB图像。
上述实施方式的控制方法可由本申请实施方式的图像处理装置100实现。具体地，第一处理模块10包括第五处理单元1022和第六处理单元1024。第五处理单元1022用于以第一处理算法对原始图像进行处理后得到原始RGB图像。第六处理单元1024用于以电子防抖图像变换算法对原始RGB图像进行处理后得到目标RGB图像。
上述实施方式的控制方法可由本申请实施方式的摄像头组件200实现。具体地，处理器206用于以第一处理算法对原始图像进行处理后得到原始RGB图像，及用于以电子防抖图像变换算法对原始RGB图像进行处理后得到目标RGB图像。
如此，电子防抖图像变换算法在前端图像处理模块的第一处理算法之后、前端图像处理模块的第二处理算法之前执行，一方面不需要动态逐帧确定目标阴影增益图、第一目标坏点图和第二目标坏点图等内容，另一方面不会由于弱插值算法的效果给第一处理算法中的去马赛克算法的前端输入带来精度退化，从而使得目标RGB图像的整体颜色和纹理插值不够清晰准确。可以理解，由于去马赛克算法比较复杂，对前端输入的依赖较强，去马赛克算法所使用的针对缺失的R、G、B通道的插值也采用了更复杂的基于梯度、纹理和颜色一致性的方法，因此其他的插值算法位于去马赛克算法之后能够保证去马赛克算法较好地运行及达到满意的效果。
需要指出的是，上述所提到的具体数值只为了作为例子详细说明本申请的实施，而不应理解为对本申请的限制。在其他例子或实施方式或实施例中，可根据本申请来选择其他数值，在此不作具体限定。
请参阅图31，本申请实施方式的电子设备1000包括壳体300及上述实施方式的摄像头组件200，摄像头组件200与壳体300结合。
本申请实施方式的电子设备1000的技术方案中，在运行第二处理算法之前，采用电子防抖图像变换算法处理原始图像以降低目标RGB图像的分辨率，节省了内存空间，减少了第二处理算法运行过程中的功耗开销，提升了图像处理的效率。
具体地，电子设备1000可包括手机、平板电脑、相机、游戏机、智能手表或者其他具有拍摄功能的终端。在图31所示的实施方式中，电子设备1000为手机。摄像头组件200与壳体300结合，例如，摄像头组件200可安装在壳体300内。
需要指出的是，上述对控制方法、图像处理装置100和摄像头组件200的实施方式和有益效果的解释说明，也适应本实施方式的电子设备1000，为避免冗余，在此不作详细展开。
本申请实施方式的计算机可读存储介质，其上存储有计算机程序，程序被处理器206执行的情况下，实现上述任一实施方式的图像处理方法的步骤。
例如，程序被处理器206执行的情况下，实现以下图像处理方法的步骤：
01：以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，目标RGB图像由原始图像中的目标区域生成；
03：以第二处理算法对目标RGB图像进行处理后得到YUV图像。
可以理解，计算机程序包括计算机程序代码。计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、以及软件分发介质等。处理器206可以是中央处理器，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (15)

1.一种图像处理方法，其特征在于，所述图像处理方法包括：
以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，所述目标RGB图像由所述原始图像中的目标区域生成；
以第二处理算法对所述目标RGB图像进行处理后得到YUV图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法通过图像管道实现，所述图像管道用于实现所述第一处理算法、所述电子防抖图像变换算法和所述第二处理算法。
3.根据权利要求2所述的图像处理方法，其特征在于，所述图像管道包括前端图像处理模块和电子防抖图像变换模块，所述前端图像处理模块用于实现所述第一处理算法和所述第二处理算法，所述第一处理算法包括摄像头接口、基座校正、线性化、相位对焦坏点校正、坏点校正/坏斑校正、黑电平校正、镜头阴影校正、统计信息、白平衡、去马赛克中的至少一种，所述第二处理算法包括颜色校正、全局色调映射、伽玛校正、颜色空间转换、下采样中的至少一种，所述电子防抖图像变换模块用于实现所述电子防抖图像变换算法，所述电子防抖图像变换算法包括平移、旋转、缩放、裁切中的至少一种。
4.根据权利要求3所述的图像处理方法，其特征在于，所述以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，包括：
以所述电子防抖图像变换算法对所述原始图像进行处理后得到目标图像，所述目标图像与所述原始图像中的目标区域相对应；
以所述第一处理算法对所述目标图像进行处理后得到所述目标RGB图像。
5.根据权利要求4所述的图像处理方法，其特征在于，图像传感器包括像素阵列，所述像素阵列包括多个第一子单元，每个所述第一子单元包括至少一个彩色感光像素，所述原始图像由多个组合原始像素组成，每个所述组合原始像素包括至少一个原始像素，一个所述组合原始像素对应一个所述第一子单元，每个所述原始像素的像素值由一个所述第一子单元中的一个所述彩色感光像素生成，所述目标图像由多个组合目标像素组成，每个所述组合目标像素包括至少一个目标像素，所述以所述电子防抖图像变换算法对所述原始图像进行处理后得到目标图像，包括：
建立每个所述组合原始像素与每个所述组合目标像素的坐标映射关系；
根据所述坐标映射关系和每个所述组合原始像素中所述原始像素的像素值，确定每个所述组合目标像素中每个所述目标像素的像素值以得到所述目标图像。
6.根据权利要求4所述的图像处理方法，其特征在于，所述镜头阴影校正包括预设阴影增益图，所述预设阴影增益图用于校正所述原始图像中的阴影，在所述以所述电子防抖图像变换算法对所述原始图像进行处理后得到目标图像之后，所述图像处理方法还包括：
以所述电子防抖图像变换算法对所述预设阴影增益图进行处理后得到目标阴影增益图，所述目标阴影增益图用于校正所述目标图像中的阴影。
7.根据权利要求4所述的图像处理方法，其特征在于，所述相位对焦坏点校正包括第一预设坏点图，所述坏点校正/坏斑校正包括第二预设坏点图，所述第一预设坏点图和所述第二预设坏点图用于校正所述原始图像中的坏点，在所述以所述电子防抖图像变换算法对所述原始图像进行处理后得到目标图像之后，所述图像处理方法还包括：
以所述电子防抖图像变换算法对所述第一预设坏点图进行处理后得到第一目标坏点图；
以所述电子防抖图像变换算法对所述第二预设坏点图进行处理后得到第二目标坏点图，所述第一目标坏点图和所述第二目标坏点图用于校正所述目标图像中的坏点。
8.根据权利要求4所述的图像处理方法，其特征在于，所述以所述第一处理算法对所述目标图像进行处理，包括：
对所述目标图像进行信息统计以确定自动曝光策略、自动对焦策略和自动白平衡策略；
根据所述自动曝光策略、所述自动对焦策略和所述自动白平衡策略校正所述目标图像。
9.根据权利要求3所述的图像处理方法，其特征在于，所述以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，包括：
依次采用所述摄像头接口、所述电子防抖图像变换算法、所述基座校正、所述线性化、所述相位对焦坏点校正、所述坏点校正/坏斑校正、所述黑电平校正、所述镜头阴影校正、所述统计信息、所述白平衡、所述去马赛克对所述原始图像进行处理后得到所述目标RGB图像。
10.根据权利要求3所述的图像处理方法，其特征在于，所述以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，包括：
依次采用所述摄像头接口、所述基座校正、所述线性化、所述相位对焦坏点校正、所述坏点校正/坏斑校正、所述黑电平校正、所述镜头阴影校正、所述统计信息、所述电子防抖图像变换算法、所述白平衡、所述去马赛克对所述原始图像进行处理后得到所述目标RGB图像。
11.根据权利要求3所述的图像处理方法，其特征在于，所述以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，包括：
以所述第一处理算法对所述原始图像进行处理后得到原始RGB图像；
以所述电子防抖图像变换算法对所述原始RGB图像进行处理后得到所述目标RGB图像。
12.一种图像处理装置，其特征在于，所述图像处理装置包括：
第一处理模块，用于以第一处理算法和电子防抖图像变换算法对原始图像进行处理后得到目标RGB图像，所述目标RGB图像由所述原始图像中的目标区域生成；
第二处理模块，用于以第二处理算法对所述目标RGB图像进行处理后得到YUV图像。
13.一种摄像头组件，其特征在于，所述摄像头组件包括镜头、图像传感器和处理器，所述图像传感器能够通过所述镜头获取外界光线并生成相应的原始图像，所述处理器用于：
以第一处理算法和电子防抖图像变换算法对所述原始图像进行处理后得到目标RGB图像，所述目标RGB图像由所述原始图像中的目标区域生成；
以第二处理算法对所述目标RGB图像进行处理后得到YUV图像。
14.一种电子设备，其特征在于，所述电子设备包括：
壳体；及
权利要求13所述的摄像头组件，所述摄像头组件与所述壳体结合。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现权利要求1-11任一项所述的图像处理方法的步骤。
CN202110801902.5A 2021-07-15 2021-07-15 图像处理方法、装置、摄像头组件、电子设备及介质 Pending CN113473028A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110801902.5A CN113473028A (zh) 2021-07-15 2021-07-15 图像处理方法、装置、摄像头组件、电子设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110801902.5A CN113473028A (zh) 2021-07-15 2021-07-15 图像处理方法、装置、摄像头组件、电子设备及介质

Publications (1)

Publication Number Publication Date
CN113473028A true CN113473028A (zh) 2021-10-01

Family

ID=77880760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110801902.5A Pending CN113473028A (zh) 2021-07-15 2021-07-15 图像处理方法、装置、摄像头组件、电子设备及介质

Country Status (1)

Country Link
CN (1) CN113473028A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113934500A (zh) * 2021-11-03 2022-01-14 杭州逗酷软件科技有限公司 渲染方法、装置、存储介质及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646311A (ja) * 1992-02-28 1994-02-18 Sanyo Electric Co Ltd ビデオカメラ
CN1761287A (zh) * 2004-10-13 2006-04-19 奥林巴斯株式会社 图像处理装置和电子照相机
CN110636216A (zh) * 2019-08-28 2019-12-31 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN111034170A (zh) * 2017-08-16 2020-04-17 高通股份有限公司 具有稳定曝光或白平衡的图像捕获装置
CN112825543A (zh) * 2019-11-20 2021-05-21 华为技术有限公司 一种拍摄的方法及设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0646311A (ja) * 1992-02-28 1994-02-18 Sanyo Electric Co Ltd ビデオカメラ
CN1761287A (zh) * 2004-10-13 2006-04-19 奥林巴斯株式会社 图像处理装置和电子照相机
CN111034170A (zh) * 2017-08-16 2020-04-17 高通股份有限公司 具有稳定曝光或白平衡的图像捕获装置
CN110636216A (zh) * 2019-08-28 2019-12-31 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质
CN112825543A (zh) * 2019-11-20 2021-05-21 华为技术有限公司 一种拍摄的方法及设备

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113934500A (zh) * 2021-11-03 2022-01-14 杭州逗酷软件科技有限公司 渲染方法、装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US10916036B2 (en) Method and system of generating multi-exposure camera statistics for image processing
US7636393B2 (en) Image processing method, image recording method, image processing device and image file format
US9288392B2 (en) Image capturing device capable of blending images and image processing method for blending images thereof
JP4233257B2 (ja) 撮像装置の効果的ダイナミックレンジを拡張する方法及び装置並びに残存画像の使用
CN108632537B (zh) 控制方法及装置、成像设备、计算机设备及可读存储介质
CN110602467B (zh) 图像降噪方法、装置、存储介质及电子设备
US9369693B2 (en) Stereoscopic imaging device and shading correction method
JP2001275029A (ja) デジタルカメラ、その画像信号処理方法及び記録媒体
US8982248B2 (en) Image processing apparatus, imaging apparatus, image processing method, and program
CN113170061B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
US20170330311A1 (en) Image processing device and method, image capturing device, program, and record medium
JP2014167609A (ja) 画像処理装置及びその制御方法、プログラム、記憶媒体
JP2018152782A (ja) 画像処理システム、撮像装置、画像処理方法及びプログラム
CN116324882A (zh) 多相机系统中的图像信号处理
CN109005343A (zh) 控制方法、装置、成像设备、电子设备及可读存储介质
US7260271B2 (en) Digital image data correction apparatus, digital image data correction method and digital image pickup apparatus
CN113473028A (zh) 图像处理方法、装置、摄像头组件、电子设备及介质
CN117768774A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN115280766B (zh) 图像传感器、成像装置、电子设备、图像处理系统及信号处理方法
US20230254553A1 (en) Image obtaining method and apparatus, terminal, and computer-readable storage medium
JP4827213B2 (ja) 画像補正装置および画像補正方法
CN108881731B (zh) 全景拍摄方法、装置和成像设备
JP2005277618A (ja) 撮像装置、シェーディング補正装置、及びシェーディング補正方法
US11743612B2 (en) In-line chromatic aberration correction in wide dynamic range (WDR) image processing pipeline

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211001