CN110276718A - 图像处理方法、图像处理器、拍摄装置和电子设备 - Google Patents

图像处理方法、图像处理器、拍摄装置和电子设备 Download PDF

Info

Publication number
CN110276718A
CN110276718A CN201910574149.3A CN201910574149A CN110276718A CN 110276718 A CN110276718 A CN 110276718A CN 201910574149 A CN201910574149 A CN 201910574149A CN 110276718 A CN110276718 A CN 110276718A
Authority
CN
China
Prior art keywords
algorithm
image data
processing
data
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910574149.3A
Other languages
English (en)
Inventor
李小朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910574149.3A priority Critical patent/CN110276718A/zh
Publication of CN110276718A publication Critical patent/CN110276718A/zh
Priority to PCT/CN2020/094514 priority patent/WO2020259250A1/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法、图像处理器、拍摄装置和电子设备。图像处理方法包括:接收应用程序模块传输的多帧图像数据;从多帧图像数据中选取参考帧图像数据;采用多帧处理算法处理多帧图像数据得到合成图像数据,并采用预定算法处理合成图像数据得到标准图数据,预定算法不同于多帧处理算法;和采用预定算法处理参考帧图像数据得到缩略图数据。本申请实施方式的图像处理方法、图像处理器、拍摄装置和电子设备先从多帧图像数据中选取参考帧图像数据,然后分两路进行处理,一路采用多帧处理算法和预定算法得到标准图数据,一路采用预定算法得到缩略图数据,可以实现缩略图与标准图的完全匹配,提升用户体验。

Description

图像处理方法、图像处理器、拍摄装置和电子设备
技术领域
本申请涉及图像处理技术领域,更具体而言,涉及一种图像处理方法、图像处理器、拍摄装置和电子设备。
背景技术
相机拍照后一般会有一个缩略图显示在屏幕的左下角或右下角,用户可以通过点击该缩略图进入相册查看对应的大图。目前的相机很难实现缩略图与大图的完全匹配,即很难保证缩略图与大图的内容的一致性,用户体验不佳。
发明内容
本申请实施方式提供一种图像处理方法、图像处理器、拍摄装置和电子设备。
本申请实施方式的图像处理方法包括:接收应用程序模块(APP)传输的多帧图像数据;从多帧所述图像数据中选取参考帧图像数据;采用多帧处理算法处理多帧所述图像数据得到合成图像数据,并采用预定算法处理所述合成图像数据得到标准图数据,所述预定算法不同于所述多帧处理算法;和采用所述预定算法处理所述参考帧图像数据得到缩略图数据。
本申请实施方式的图像处理器包括应用程序模块和算法后处理模块(Algoprocess service,APS),所述算法后处理模块用于:接收所述应用程序模块传输的多帧图像数据;从多帧所述图像数据中选取参考帧图像数据;采用多帧处理算法处理多帧所述图像数据得到合成图像数据,并采用预定算法处理所述合成图像数据得到标准图数据,所述预定算法不同于所述多帧处理算法;和采用所述预定算法处理所述参考帧图像数据得到缩略图数据。
本申请实施方式的拍摄装置包括图像处理器和图像传感器,所述图像传感器与所述图像处理器连接;所述图像处理器包括应用程序模块和算法后处理模块,所述算法后处理模块用于:接收所述应用程序模块传输的多帧图像数据;从多帧所述图像数据中选取参考帧图像数据;采用多帧处理算法处理多帧所述图像数据得到合成图像数据,并采用预定算法处理所述合成图像数据得到标准图数据,所述预定算法不同于所述多帧处理算法;和采用所述预定算法处理所述参考帧图像数据得到缩略图数据。
本申请实施方式的电子设备包括拍摄装置和壳体,所述拍摄装置与所述壳体结合;所述拍摄装置包括图像处理器和图像传感器,所述图像传感器与所述图像处理器连接;所述图像处理器包括应用程序模块和算法后处理模块,所述算法后处理模块用于:接收所述应用程序模块传输的多帧图像数据;从多帧所述图像数据中选取参考帧图像数据;采用多帧处理算法处理多帧所述图像数据得到合成图像数据,并采用预定算法处理所述合成图像数据得到标准图数据,所述预定算法不同于所述多帧处理算法;和采用所述预定算法处理所述参考帧图像数据得到缩略图数据。
本申请实施方式的图像处理方法、图像处理器、拍摄装置和电子设备先从多帧图像数据中选取参考帧图像数据,然后分两路进行处理,一路采用多帧处理算法和预定算法得到标准图数据,一路采用预定算法得到缩略图数据,可以实现缩略图与标准图的完全匹配,提升用户体验。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的图像处理方法的流程示意图;
图2是本申请某些实施方式的拍摄装置的模块示意图;
图3是本申请某些实施方式的图像处理方法的场景示意图;
图4是本申请某些实施方式的图像处理方法的场景示意图;
图5是本申请某些实施方式的图像处理方法的流程示意图;
图6是本申请某些实施方式的图像处理方法的流程示意图;
图7是本申请某些实施方式的图像处理方法的流程示意图;
图8是本申请某些实施方式的算法后处理模块的示意图;
图9是本申请某些实施方式的拍摄装置的模块示意图;
图10是本申请某些实施方式的电子设备的结构示意图;
图11是本申请某些实施方式的电子设备的结构示意图。
具体实施方式
下面详细描述本申请的实施方式,所述实施方式的示例在附图中示出,其中,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请的实施方式,而不能理解为对本申请的实施方式的限制。
请参阅图1和图2,本申请实施方式的图像处理方法包括:
01:接收应用程序模块(APP)14传输的多帧图像数据;
02:从多帧图像数据中选取参考帧图像数据;
03:采用多帧处理算法处理多帧图像数据得到合成图像数据,并采用预定算法处理合成图像数据得到标准图数据,预定算法不同于多帧处理算法;和
04:采用预定算法处理参考帧图像数据得到缩略图数据。
请参阅图2,本申请实施方式的图像处理器10包括应用程序模块14和算法后处理模块(Algo process service,APS)16。本申请实施方式的图像处理方法可由本申请实施方式的图像处理器10实现。例如,算法后处理模块16可用于执行01、02、03和04中的方法。
也即是说,算法后处理模块16可以用于:接收应用程序模块14传输的多帧图像数据;从多帧图像数据中选取参考帧图像数据;采用多帧处理算法处理多帧图像数据得到合成图像数据,并采用预定算法处理合成图像数据得到标准图数据,预定算法不同于多帧处理算法;和采用预定算法处理参考帧图像数据得到缩略图数据。
本申请实施方式的图像处理方法和图像处理器10先从多帧图像数据中选取参考帧图像数据,然后分两路进行处理,一路采用多帧处理算法和预定算法得到标准图数据,一路采用预定算法得到缩略图数据,可以实现缩略图与标准图的完全匹配,提升用户体验。
目前的相机得到缩略图的方式一般是,从多帧预览图像中确定一帧预览图像作为缩略图。例如有四帧预览图像,则其中一帧(一般是第一帧)预览图像作为缩略图,做不到挑帧处理,即无法根据实际情况从四帧预览图像进行挑选,例如在第一次拍照时,选择第二帧预览图像作为缩略图;在第二次拍照时选择第四帧预览图像作为缩略图。而只能是每次拍照都固定设置第一帧预览图像作为缩略图、或固定设置第二帧预览图像、第三帧预览图像、第四帧预览图像作为缩略图。
上述方式很难实现缩略图与大图的完全匹配,例如用户在移动过程中拍照时,相机还会有多帧处理的过程,多帧处理后生成的大图与缩略图(即上述第一帧预览图像)显示的内容不一致(如图3所示),用户体验不佳。
本申请实施方式中,在用户点击拍照键后,多帧图像数据均上传至应用程序模块14。可以理解,当用户进行一次拍照时,即用户希望拍摄一张图像时,就会生成多帧图像数据并上传至应用程序模块14。首先,应用程序模块14将多帧图像数据传输至算法后处理模块16,算法后处理模块16接收该多帧图像数据。然后,算法后处理模块16从多帧图像数据中选取参考帧图像数据,算法后处理模块16选取参考帧图像数据的依据可以是基于多帧图像数据的清晰度。例如,算法后处理模块16选取清晰度最高的一帧图像数据作为参考帧图像数据。算法后处理模块16选取参考帧图像数据的依据还可以是基于多帧图像数据对应的拍摄装置100的抖动幅度。例如,算法后处理模块16选取抖动幅度最小的一帧图像数据作为参考帧图像数据。算法后处理模块16从多帧图像数据中选取参考帧图像数据,可以选取效果较好的一帧图像数据作为参考帧图像数据,有利于保证缩略图与标准图的匹配。
算法后处理模块16选取参考帧图像数据后,分两路进行处理,一路采用多帧处理算法和预定算法得到标准图数据,一路采用预定算法得到缩略图数据。具体地,算法后处理模块16先采用多帧处理算法处理多帧图像数据得到合成图像数据,再采用预定算法处理合成图像数据得到标准图数据。其中,算法后处理模块16采用多帧处理算法处理多帧图像数据可以是采用多帧处理算法,基于参考帧图像数据对多帧图像数据进行处理。也即是说,在进行多帧处理算法处理时,以参考帧图像数据为准,采用多帧图像数据中除参考帧图像数据之外的其他图像数据辅助,从而合成得到合成图像数据,如此可以进一步确保缩略图与标准图的完全匹配。上述预定算法可以是美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法中的至少一种。算法后处理模块16还采用预定算法处理参考帧图像数据得到缩略图数据,该预定算法同样可以是美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法中的至少一种。需要指出的是,03和04中的预定算法是对应相同的,例如,若03中的预定算法为美颜处理算法,则04中的预定算法也为美颜处理算法;若03中的预定算法为虚化处理算法,则04中的预定算法也为虚化处理算法;若03中的预定算法为美颜处理算法、滤镜处理算法、旋转处理算法和水印处理算法,则04中的预定算法也为美颜处理算法、滤镜处理算法、旋转处理算法和水印处理算法,在此不一一举例说明。03和04中的预定算法对应相同,可以保证标准图数据与缩略图数据中的特效处理是一致的,当显示缩略图具有美颜效果时,用户通过点击该缩略图进入相册查看的标准图也是具有美颜效果的,标准图与缩略图完全匹配(如图4所示),用户体验较好。另外,上述两路算法处理可以同时进行,以节省运行时间,避免用户长时间等待。
在得到标准图数据和缩略图数据后,算法后处理模块16还可以对标准图数据进行编码以形成为JPEG图像(或者JPG图像等)。算法后处理模块16还可以将缩略图数据回传至应用程序模块14。
请参阅图5,在某些实施方式中,图像处理方法还包括:
05:对参考帧图像数据进行缩放处理得到缩放图数据;
采用预定算法处理参考帧图像数据得到缩略图数据(即04),包括:
042:采用预定算法处理缩放图数据得到缩略图数据。
请参阅图2,在某些实施方式中,算法后处理模块16可用于执行05和042中的方法。
也即是说,算法后处理模块16还可以用于:对参考帧图像数据进行缩放处理得到缩放图数据;和采用预定算法处理缩放图数据得到缩略图数据。
具体地,缩放图数据的图像尺寸可以是640*480,参考帧图像数据的图像尺寸一般大于缩放图数据的图像尺寸。对参考帧图像数据进行缩放处理得到缩放图数据,可以将参考帧图像数据的图像尺寸缩小,在后续算法后处理模块16采用预定算法处理图像数据时,算法运行较快,可以较快地生成与标准图数据完全匹配的缩略图数据,避免用户长时间等待,有利于提升用户体验。
请参阅图6,在某些实施方式中,从多帧图像数据中选取参考帧图像数据(即02),包括:
021:比较多帧图像数据的清晰度;和
022:从多帧图像数据中选取清晰度最高的图像数据作为参考帧图像数据。
请参阅图2,在某些实施方式中,算法后处理模块16可用于执行021和022中的方法。
也即是说,算法后处理模块16还可以用于:比较多帧图像数据的清晰度;和从多帧图像数据中选取清晰度最高的图像数据作为参考帧图像数据。
具体地,以四帧图像数据为例,第一帧图像数据的清晰度为S1,第二帧图像数据的清晰度为S2,第三帧图像数据的清晰度为S3,第四帧图像数据的清晰度为S4。算法后处理模块16比较S1、S2、S3和S4的大小,若S2>S4>S1>S3,则算法后处理模块16选取清晰度最高的一帧图像数据,即第二帧图像数据作为参考帧图像数据。若S2=S4>S1>S3,即存在两帧或更多帧图像数据均为清晰度最高的图像数据(本实施例中第二帧图像数据和第四帧图像数据均为清晰度最高的图像数据),则算法后处理模块16选取清晰度最高的两帧或更多帧图像数据中,应用程序模块14先传输的一帧图像数据或算法后处理模块16先接收到的一帧图像数据,即第二帧图像数据作为参考帧图像数据。
算法后处理模块16从多帧图像数据中选取清晰度最高的图像数据作为参考帧图像数据,即是选取拍照效果较好的一帧图像数据作为参考帧图像数据。由于标准图数据需要经过多帧处理算法处理得到,也会提升图像的清晰度,因此选取清晰度最高的图像数据作为参考帧图像数据,有利于保证缩略图与标准图的完全匹配。
请参阅图7,在某些实施方式中,从多帧图像数据中选取参考帧图像数据(即02),包括:
023:判断多帧图像数据的清晰度;和
024:在多帧图像数据的清晰度均小于预定清晰度时,根据预定条件从多帧图像数据中选取参考帧图像数据。
请参阅图2,在某些实施方式中,算法后处理模块16可用于执行023和024中的方法。
也即是说,算法后处理模块16还可以用于:判断多帧图像数据的清晰度;和在多帧图像数据的清晰度均小于预定清晰度时,根据预定条件从多帧图像数据中选取参考帧图像数据。
具体地,仍以四帧图像数据为例,第一帧图像数据的清晰度为S1,第二帧图像数据的清晰度为S2,第三帧图像数据的清晰度为S3,第四帧图像数据的清晰度为S4。算法后处理模块16判断多帧图像数据的清晰度与预定清晰度S0之间的关系,即是比较S1、S2、S3、S4与S0的大小。算法后处理模块16可以先比较多帧图像数据的清晰度大小,若S2>S4>S1>S3,则算法后处理模块16比较S2与S0的大小,若S2≥S0,则算法后处理模块16选取清晰度最高的一帧图像数据,即第二帧图像数据作为参考帧图像数据。若S2<S0,则算法后处理模块16根据预定条件从多帧图像数据中选取参考帧图像数据。
预定条件可以是多帧图像数据对应的拍摄装置100的抖动幅度。假设第一帧图像数据对应的拍摄装置100的抖动幅度为A1,第二帧图像数据对应的拍摄装置100的抖动幅度为A2,第三帧图像数据对应的拍摄装置100的抖动幅度为A3,第四帧图像数据对应的拍摄装置100的抖动幅度为A4。其中,A1、A2、A3、A4对应的大小关系为:A1>A4>A2>A3。则算法后处理模块16选取抖动幅度最小的一帧图像数据,即第三帧图像数据作为参考帧图像数据。
算法后处理模块16在多帧图像数据的清晰度均不高时,根据预定条件例如多帧图像数据对应的拍摄装置100的抖动幅度,从多帧图像数据中选取参考帧图像数据,有利于在用户移动拍照的过程中保证缩略图与标准图的完全匹配。
可以理解的是,当至少一帧图像数据的清晰度大于或等于预定清晰度时,若存在两帧或更多帧图像数据均为清晰度最高的图像数据,或者,当多帧图像数据的清晰度均小于预定清晰度时,若存在两帧或更多帧图像数据对应的拍摄装置100的抖动幅度相同,则算法后处理模块16选取应用程序模块14先传输的一帧图像数据或算法后处理模块16先接收的一帧图像数据作为参考帧图像数据。
请参阅图2,本申请实施方式还提供一种拍摄装置100。拍摄装置100包括上述任一实施方式的图像处理器10和图像传感器20。图像处理器10和图像传感器20连接。图像传感器20可包括图像采集单元(sensor)22和RAW图像数据单元(Image Front-end,IFE)24。图像采集单元22用于接收光线以采集获得图像数据(RAW图像),RAW图像数据单元24用于将图像采集单元22采集的图像数据传输至图像处理器10。其中,RAW图像数据单元24可以对图像采集单元22采集获得的RAW图像进行处理并输出处理后的RAW图像至图像处理器10。
图像处理器10可包括硬件抽象模块12、应用程序模块14和算法后处理模块16。
硬件抽象模块12用于接收RAW图像、将RAW图像转换为YUV图像、及传输RAW图像和/或YUV图像。硬件抽象模块12可以与图像传感器20连接。具体地,硬件抽象模块12可以包括与图像传感器20连接的缓存单元(buffer queue)122、RAW转RGB处理单元(Bayer ProcessSegment,BPS)124和与应用程序模块14连接的降噪及YUV后处理单元(Image ProcessEngine,IPE)126。缓存单元122用于缓存来自图像传感器20的RAW图像并通过应用程序模块14传输给算法后处理模块16。RAW转RGB处理单元124用于将来自缓存单元122的RAW图像转换为RGB图像。降噪及YUV后处理单元126用于处理RGB图像得到YUV图像并将YUV图像通过应用程序模块14传输给算法后处理模块16。硬件抽象模块12还可传输图像数据的元数据(metadata),元数据包括3a(自动曝光控制AE、自动聚焦控制AF、自动白平衡控制AWB)信息、图片信息(例如图像宽度、高度)、曝光参数(光圈大小、快门速度和感光度光圈值)等,可以利用元数据辅助实现对RAW图像和/或YUV图像的拍照后处理(例如包括美颜处理、滤镜处理、旋转处理、水印处理、虚化处理、HDR处理、及多帧处理中的至少一种)。在一个实施例中,元数据包括感光度(ISO)信息,根据感光度信息可以辅助调节RAW图像和/或YUV图像的亮度,从而实现与调节亮度相关的拍照后处理。
由于硬件抽象模块12不对RAW图像和/或YUV图像进行拍照后处理(例如只接收RAW图像、将RAW图像转换为YUV图像、及传输RAW图像和/或YUV图像),拍照后处理的图像处理算法无需在硬件抽象模块12本身的算法架构上做流程截断,只需在外部做兼容,设计难度减小。
在相关技术中,应用程序接口(API)将硬件抽象模块建立成管道(pipeline)的方式,由于管道的创建需要大量的时间和内存,因此在相机启动时需要将相机对应的工作模式用到的所有管道均先创建好,而为了实现各种图像处理算法,一般需要创建大量管道(例如超过三条管道),这会导致相机的启动需要耗费大量的时间,并且占用大量的内存。本申请实施方式的硬件抽象模块12不对RAW图像和/或YUV图像进行拍照后处理,因此,硬件抽象模块12只需建立少量(例如一条或两条)管道即可,无需建立大量的管道,从而能够节约内存,并且可以使得相机的启动速度变快。
应用程序模块14与硬件抽象模块12连接。应用程序模块14可以用于根据用户的输入产生控制指令并将该控制指令通过硬件抽象模块12发送给图像传感器20以对图像传感器20的工作进行相应的控制。其中,应用程序模块14可以以64比特位(bit)运行,并且拍照后处理的图像处理算法的静态数据连接库(lib)可以配置为64比特位,以提高运算速度。应用程序模块14接收硬件抽象模块传输的RAW图像和/或YUV图像后,可以对RAW和/或YUV图像进行拍照后处理,也可以将RAW和/或YUV图像传输至算法后处理模块16进行拍照后处理。当然,还可以是应用程序模块14进行一些拍照后处理(例如美颜处理、滤镜处理、旋转处理、水印处理、虚化处理等),算法后处理模块16进行另外一些拍照后处理(例如HDR处理、多帧处理等)。在本申请实施方式中,应用程序模块14将RAW和/或YUV图像传输至算法后处理模块16进行拍照后处理。
算法后处理模块16通过应用程序模块14与硬件抽象模块12连接,算法后处理模块16内存储有至少一种图像处理算法(例如包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法、及多帧处理算法中的至少一种),算法后处理模块16用于采用图像处理算法处理RAW图像和/或YUV图像以实现拍照后处理。由于对RAW图像和/或YUV图像进行拍照后处理可由算法后处理模块16实现,从而无需在硬件抽象模块12本身的算法架构上做流程截断,只需在外部做兼容,设计难度减小。并且由于拍照后处理由算法后处理模块16实现,因此算法后处理模块16的功能更单一、更聚焦,从而可以达到移植快,扩展新的图像处理算法简单等效果。当然,若是在应用程序模块14进行一些拍照后处理(例如美颜处理、滤镜处理、旋转处理、水印处理、虚化处理等),算法后处理模块16进行另外一些拍照后处理(例如HDR处理、多帧处理等)时,应用程序模块14内也可存储有至少一种图像处理算法(例如包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法、及多帧处理算法中的至少一种),应用程序模块14还用于采用图像处理算法处理RAW图像和/或YUV图像以实现拍照后处理。由于对RAW图像和/或YUV图像进行拍照后处理由应用程序模块14与算法后处理模块16实现,从而无需在硬件抽象模块12本身的算法架构上做流程截断,只需在外部做兼容,设计难度同样也是大大减小。
在算法后处理模块16只处理RAW图像(例如图像处理算法针对RAW图像进行处理)时,硬件抽象模块12可以只传输RAW图像(此时可以不需要将RAW图像转换为YUV图像);在算法后处理模块16只处理YUV图像(例如图像处理算法针对YUV图像进行处理)时,硬件抽象模块12可以只传输YUV图像;在算法后处理模块16处理RAW图像和YUV图像时,硬件抽象模块12可以传输RAW图像和YUV图像。
在某些实施方式中,硬件抽象模块12可以根据感光度信息、陀螺仪的抖动情况、AR场景检测结果(检测场景类型,例如人物、动物、风景等)等向应用程序模块14发送帧数建议,例如,当陀螺仪检测到的抖动较大时,硬件抽象模块12向应用程序模块14发送的帧数建议可以是:建议较多帧,以更好地实现拍照后处理;当陀螺仪检测到的抖动较小时,硬件抽象模块12向应用程序模块14发送的帧数建议可以是:建议较少帧,以减少数据传输量。也即是说,硬件抽象模块12向应用程序模块14建议的帧数可以与陀螺仪检测到的抖动程度正相关。硬件抽象模块12还可以根据感光度信息、陀螺仪的抖动情况、AR场景检测结果等向应用程序模块14发送算法建议,例如,当陀螺仪检测到的抖动较大时,硬件抽象模块12向应用程序模块14发送的算法建议可以是多帧处理,以根据多帧处理消除抖动;当AR场景检测结果检测的场景类型为人物时,硬件抽象模块12向应用程序模块14发送的算法建议可以是美颜处理,以对人物进行美颜;当AR场景检测结果检测的场景类型为风景时,硬件抽象模块12向应用程序模块14发送的算法建议可以是HDR处理,以形成高动态范围的风景图像。应用程序模块14根据帧数建议和算法建议向硬件抽象模块12发出数据请求,硬件抽象模块12根据该数据请求传输对应的数据至应用程序模块14,应用程序模块14再将数据传输至算法后处理模块16进行拍照后处理。
图像传感器20进行一次拍摄(曝光成像)后,将拍摄数据(RAW图像)传输给硬件抽象模块12,在算法后处理模块16接收到与拍摄数据对应的RAW图像和/或YUV图像后,图像传感器20能够进行下一次拍摄、或图像传感器20能够关闭、或应用程序模块14能够关闭、或应用程序模块14能够退出应用界面。由于拍照后处理由算法后处理模块16实现,因此在将拍摄数据对应的RAW图像和/或YUV图像传输给算法后处理模块16后,只需要算法后处理模块16就可实现拍照后处理,此时图像传感器20和应用程序模块14可以不参与拍照后处理,因此,图像传感器20能够关闭或执行下一次拍摄,应用程序模块14能够关闭或退出应用界面。如此,拍摄装置100能够实现快拍,并且在算法后处理模块16进行拍照后处理时可以关闭应用程序模块14或退出应用程序界面,从而在电子设备上进行一些其他操作(例如与拍摄装置100无关的操作,比如浏览网页、看视频、打电话等),从而用户无需花费大量的时间等待拍照后处理的完成,便于用户使用电子设备。
算法后处理模块16可以包括编码单元162,编码单元162用于将YUV图像转换为JPG图像(或者JPEG图像等)。具体地,在算法后处理模块16处理的是YUV图像时,编码单元162可以直接对YUV图像进行编码以形成JPG图像,从而提高图像的输出速度。在算法后处理模块16处理的是RAW图像时,算法后处理模块16可以将处理实现拍照后处理的RAW图像经应用程序模块14回传至硬件抽象模块12,例如回传至RAW转RGB处理单元124,RAW转RGB处理单元124可以用于将算法后处理模块16处理实现拍照后处理并经应用程序模块14回传的RAW图像转换为RGB图像,降噪及YUV后处理单元126可以将RGB图像转换为YUV图像,该YUV图像可以再次传输至算法后处理模块16的编码单元162中以将该YUV图像转换为JPG图像。在某些实施方式中,算法后处理模块16也可以将处理实现拍照后处理的RAW图像经应用程序模块14回传至缓存单元122,回传的RAW图像经过RAW转RGB处理单元124和降噪及YUV后处理单元126形成YUV图像,再传输至编码单元162以形成JPG图像。在形成JPG图像后,算法后处理模块16可以用于将JPG图像传输至存储器中保存。
请参阅图8,算法后处理模块16包括逻辑处理调用层164、算法模块接口层166和算法处理层168。逻辑处理调用层164用于与应用程序模块14通信。算法模块接口层166用于维护算法接口。算法处理层168包括至少一种图像处理算法。算法模块接口层166用于通过算法接口对算法处理层168的图像处理算法进行注册、注销、调用和回调中的至少一种操作。
逻辑处理调用层164可以包括线程队列,算法后处理模块16接收到RAW图像和/或YUV图像的拍照后处理任务后,可以将拍照后处理任务缓存在线程队列中处理,其中,线程队列可以缓存多个拍照后处理任务,如此,可以通过逻辑处理调用层164实现快拍(即快拍机制)。另外,逻辑处理调用层164也可以接收应用程序模块14发送的初始化(init)、进程(process)等指令,并将对应的指令和数据保存到线程队列中。逻辑处理调用层164根据线程队列中的任务进行具体逻辑的调用(即具体逻辑调用组合)。逻辑处理调用层164还可以将处理获得的缩略图(thumbnail)回传给应用程序模块14进行显示(即缩略图回显)。在本申请的实施方式的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
算法模块接口层166用于调用算法接口,调用命令也可以保存到线程队列中,算法处理层168在接收到线程队列的调用命令时,即可解析调用命令的参数获得需要调用的图像处理算法。算法模块接口层166对图像处理算法进行注册时,可以在算法处理层168中新增一种图像处理算法;算法模块接口层166对图像处理算法进行注销时,可以删除算法处理层168中一种图像处理算法;算法模块接口层166对图像处理算法进行调用时,可以调用算法处理层168中一种图像处理算法;算法模块接口层166对图像处理算法进行回调时,可以将算法处理后的数据和状态回传给应用程序模块14。其中,可以采用统一接口实现图像处理算法的注册、注销、调用、回调等操作。算法处理层168中的每一种图像处理算法都是独立的,如此可以方便对图像处理算法实现注册、注销、调用、回调等操作。
请参阅图9,在某些实施方式中,图像处理器10还可包括相机服务模块18。硬件抽象模块12通过相机服务模块18与应用程序模块14连接。相机服务模块18对RAW图像和/或YUV图像进行封装并将封装后的RAW图像和/或YUV图像传输至应用程序模块14、及将应用程序模块14回传的RAW图像传输至硬件抽象模块12。如此,通过相机服务模块18对图像进行封装,可以提高图像传输的效率,并且能够提高图像传输的安全性。在图像处理器10包括相机服务模块18时,图像处理器10中的数据(图像、元数据等)传输的路径可以进行适应性调整,即硬件抽象模块12和应用程序模块14之间传输的数据均需要通过相机服务模块18。例如,硬件抽象模块12向应用程序模块14传输RAW图像和/或YUV图像时,硬件抽象模块12先将RAW图像和/或YUV图像传输至相机服务模块18,相机服务模块18对RAW图像和/或YUV图像进行封装并将封装后的RAW图像和/或YUV图像传输至应用程序模块14。又例如,硬件抽象模块12向应用程序模块14传输元数据时,硬件抽象模块12先将元数据传输至相机服务模块18,相机服务模块18对元数据进行封装并将封装后的元数据传输至应用程序模块14。又例如,硬件抽象模块12向应用程序模块14传输帧数建议时,硬件抽象模块12先将帧数建议传输至相机服务模块18,相机服务模块18对帧数建议进行封装并将封装后的帧数建议传输至应用程序模块14。又例如,硬件抽象模块12向应用程序模块14传输算法建议时,硬件抽象模块12先将算法建议传输至相机服务模块18,相机服务模块18对算法建议进行封装并将封装后的算法建议传输至应用程序模块14。当然,在某些实施方式中,硬件抽象模块12可将感光度信息、陀螺仪的抖动情况、AR场景检测结果等传输至相机服务模块18,相机服务模块18根据感光度信息、陀螺仪的抖动情况、AR场景检测结果等获得帧数建议和/或算法建议,再将帧数建议和/或算法建议传输至应用程序模块14。
请参阅图10和图11,本申请实施方式还提供一种电子设备1000。电子设备1000包括上述任意一种实施方式的拍摄装置100和壳体200。电子设备1000可以是手机、平板电脑、笔记本电脑、智能手环、智能手表、智能头盔、智能眼镜等。
拍摄装置100与壳体200结合。壳体200可以作为电子设备1000的功能元件的安装载体。壳体200可以为功能元件提供防尘、防摔、防水等保护,功能元件可以是显示屏、拍摄装置100、受话器等。其中,在一个实施方式中,壳体200包括主体210和可动支架220,可动支架220在驱动装置的驱动下可以相对于主体210运动,例如可动支架220可以相对于主210体滑动,以滑入主体210(例如图10的状态)或从主体210滑出(例如图11的状态)。部分功能元件可以安装在主体210上,另一部分功能元件(例如拍摄装置100)可以安装在可动支架220上,可动支架220运动可带动该另一部分功能元件缩回主体210内或从主体210中伸出。在另一个实施方式中,壳体200上开设有采集窗口,拍摄装置100与采集窗口对准安装以使拍摄装置100能够通过采集窗口接收外界光线以形成图像。
在本说明书的描述中,参考术语“某些实施方式”、“一个例子中”、“示例地”等的描述意指结合所述实施方式或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施方式或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。此外,在不相互矛盾的情况下,本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (13)

1.一种图像处理方法,其特征在于,包括:
接收应用程序模块传输的多帧图像数据;
从多帧所述图像数据中选取参考帧图像数据;
采用多帧处理算法处理多帧所述图像数据得到合成图像数据,并采用预定算法处理所述合成图像数据得到标准图数据,所述预定算法不同于所述多帧处理算法;和
采用所述预定算法处理所述参考帧图像数据得到缩略图数据。
2.根据权利要求1所述的图像处理方法,其特征在于,所述图像处理方法还包括:
对所述参考帧图像数据进行缩放处理得到缩放图数据;
所述采用所述预定算法处理所述参考帧图像数据得到缩略图数据,包括:
采用所述预定算法处理所述缩放图数据得到所述缩略图数据。
3.根据权利要求1所述的图像处理方法,其特征在于,所述预定算法包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法中的至少一种。
4.根据权利要求1所述的图像处理方法,其特征在于,所述从多帧所述图像数据中选取参考帧图像数据,包括:
比较多帧所述图像数据的清晰度;和
从多帧所述图像数据中选取清晰度最高的所述图像数据作为所述参考帧图像数据。
5.根据权利要求1所述的图像处理方法,其特征在于,所述从多帧所述图像数据中选取参考帧图像数据,包括:
判断多帧所述图像数据的清晰度;和
在多帧所述图像数据的清晰度均小于预定清晰度时,根据预定条件从多帧所述图像数据中选取所述参考帧图像数据。
6.一种图像处理器,其特征在于,包括应用程序模块和算法后处理模块,所述算法后处理模块用于:
接收所述应用程序模块传输的多帧图像数据;
从多帧所述图像数据中选取参考帧图像数据;
采用多帧处理算法处理多帧所述图像数据得到合成图像数据,并采用预定算法处理所述合成图像数据得到标准图数据,所述预定算法不同于所述多帧处理算法;和
采用所述预定算法处理所述参考帧图像数据得到缩略图数据。
7.根据权利要求6所述的图像处理器,其特征在于,所述算法后处理模块还用于:
对所述参考帧图像数据进行缩放处理得到缩放图数据;和
采用所述预定算法处理所述缩放图数据得到所述缩略图数据。
8.根据权利要求6所述的图像处理器,其特征在于,所述预定算法包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法中的至少一种。
9.根据权利要求6所述的图像处理器,其特征在于,所述算法后处理模块还用于:
比较多帧所述图像数据的清晰度;和
从多帧所述图像数据中选取清晰度最高的所述图像数据作为所述参考帧图像数据。
10.根据权利要求6所述的图像处理器,其特征在于,所述算法后处理模块还用于:
判断多帧所述图像数据的清晰度;和
在多帧所述图像数据的清晰度均小于预定清晰度时,根据预定条件从多帧所述图像数据中选取所述参考帧图像数据。
11.根据权利要求6所述的图像处理器,其特征在于,所述图像处理器还包括硬件抽象模块,所述硬件抽象模块用于接收RAW图像、将所述RAW图像转换为YUV图像、及传输所述RAW图像和/或所述YUV图像;
所述应用程序模块与所述硬件抽象模块连接;
所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接,所述应用程序模块传输的多帧所述图像数据为多帧所述RAW图像和/或多帧所述YUV图像。
12.一种拍摄装置,其特征在于,所述拍摄装置包括:
权利要求6至11任意一项所述的图像处理器;和
图像传感器,所述图像传感器与所述图像处理器连接。
13.一种电子设备,其特征在于,所述电子设备包括:
权利要求12所述的拍摄装置;和
壳体,所述拍摄装置与所述壳体结合。
CN201910574149.3A 2019-06-28 2019-06-28 图像处理方法、图像处理器、拍摄装置和电子设备 Pending CN110276718A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910574149.3A CN110276718A (zh) 2019-06-28 2019-06-28 图像处理方法、图像处理器、拍摄装置和电子设备
PCT/CN2020/094514 WO2020259250A1 (zh) 2019-06-28 2020-06-05 图像处理方法、图像处理器、拍摄装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910574149.3A CN110276718A (zh) 2019-06-28 2019-06-28 图像处理方法、图像处理器、拍摄装置和电子设备

Publications (1)

Publication Number Publication Date
CN110276718A true CN110276718A (zh) 2019-09-24

Family

ID=67963673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910574149.3A Pending CN110276718A (zh) 2019-06-28 2019-06-28 图像处理方法、图像处理器、拍摄装置和电子设备

Country Status (2)

Country Link
CN (1) CN110276718A (zh)
WO (1) WO2020259250A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110740266A (zh) * 2019-11-01 2020-01-31 Oppo广东移动通信有限公司 图像选帧方法、装置、存储介质及电子设备
CN111083359A (zh) * 2019-12-06 2020-04-28 Oppo广东移动通信有限公司 图像处理方法及其装置、电子设备和计算机可读存储介质
WO2020207192A1 (zh) * 2019-04-10 2020-10-15 Oppo广东移动通信有限公司 图像处理器、图像处理方法、拍摄装置和电子设备
WO2020259250A1 (zh) * 2019-06-28 2020-12-30 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN115474061A (zh) * 2021-06-10 2022-12-13 广州视源电子科技股份有限公司 图像数据的传输方法、装置、终端设备和存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117714893A (zh) * 2023-05-17 2024-03-15 荣耀终端有限公司 一种图像虚化处理方法、装置、电子设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098084A (ja) * 2010-10-29 2012-05-24 Keyence Corp 画像計測装置、画像計測方法及びコンピュータプログラム
CN106331491A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种拍照方法及装置
CN107948724A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 视频传输控制方法、装置及存储介质和移动终端
CN108765281A (zh) * 2018-04-23 2018-11-06 Oppo广东移动通信有限公司 一种生成缩略图的方法、装置以及计算机存储介质
CN109089046A (zh) * 2018-09-25 2018-12-25 Oppo广东移动通信有限公司 图像降噪方法、装置、计算机可读存储介质及电子设备
CN109729274A (zh) * 2019-01-30 2019-05-07 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN109922322A (zh) * 2019-04-10 2019-06-21 Oppo广东移动通信有限公司 拍照方法、图像处理器、拍照装置及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180041711A1 (en) * 2016-08-04 2018-02-08 Motorola Mobility Llc Selective Partial View Enlargement for Image and Preview
CN108124099B (zh) * 2017-12-14 2021-01-08 Tcl移动通信科技(宁波)有限公司 一种相机缩略图生成的方法、移动终端及存储介质
CN110276718A (zh) * 2019-06-28 2019-09-24 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012098084A (ja) * 2010-10-29 2012-05-24 Keyence Corp 画像計測装置、画像計測方法及びコンピュータプログラム
CN106331491A (zh) * 2016-08-29 2017-01-11 广东欧珀移动通信有限公司 一种拍照方法及装置
CN107948724A (zh) * 2017-11-30 2018-04-20 广东欧珀移动通信有限公司 视频传输控制方法、装置及存储介质和移动终端
CN108765281A (zh) * 2018-04-23 2018-11-06 Oppo广东移动通信有限公司 一种生成缩略图的方法、装置以及计算机存储介质
CN109089046A (zh) * 2018-09-25 2018-12-25 Oppo广东移动通信有限公司 图像降噪方法、装置、计算机可读存储介质及电子设备
CN109729274A (zh) * 2019-01-30 2019-05-07 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN109922322A (zh) * 2019-04-10 2019-06-21 Oppo广东移动通信有限公司 拍照方法、图像处理器、拍照装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ZEINA SINNO等: "《Quality Assessment of Thumbnail and Billboard Images on Mobile Devices》", 《2018 PICTURE CODING SYMPOSIUM (PCS)》 *
刘勇: "基于快速面阵相机与图像处理的条码识别算法", 《廊坊师范学院学报(自然科学版)》 *
叶成刚等: "快速数码影像合成系统的研究与实现", 《计算机工程与应用》 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207192A1 (zh) * 2019-04-10 2020-10-15 Oppo广东移动通信有限公司 图像处理器、图像处理方法、拍摄装置和电子设备
WO2020259250A1 (zh) * 2019-06-28 2020-12-30 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN110740266A (zh) * 2019-11-01 2020-01-31 Oppo广东移动通信有限公司 图像选帧方法、装置、存储介质及电子设备
CN110740266B (zh) * 2019-11-01 2021-01-26 Oppo广东移动通信有限公司 图像选帧方法、装置、存储介质及电子设备
CN111083359A (zh) * 2019-12-06 2020-04-28 Oppo广东移动通信有限公司 图像处理方法及其装置、电子设备和计算机可读存储介质
CN115474061A (zh) * 2021-06-10 2022-12-13 广州视源电子科技股份有限公司 图像数据的传输方法、装置、终端设备和存储介质
CN115474061B (zh) * 2021-06-10 2024-07-09 广州视源电子科技股份有限公司 图像数据的传输方法、装置、终端设备和存储介质

Also Published As

Publication number Publication date
WO2020259250A1 (zh) 2020-12-30

Similar Documents

Publication Publication Date Title
WO2020207200A1 (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
CN110276718A (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
CN109963083A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
US9723159B2 (en) RAW camera peripheral for handheld mobile unit
CN110177215A (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
US8446484B2 (en) Image processing architecture with pre-scaler
CN110121022A (zh) 拍摄装置的控制方法、拍摄装置和电子设备
CN110290288A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
JP2023511581A (ja) 長焦点撮影方法及び電子デバイス
CN110278373A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN110266951A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
WO2020207192A1 (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
US20240056685A1 (en) Image photographing method, device, storage medium, and program product
CN113630558B (zh) 一种摄像曝光方法及电子设备
WO2024093545A1 (zh) 拍照方法及电子设备
US20230058472A1 (en) Sensor prioritization for composite image capture
CN110602359B (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
CN116723383A (zh) 一种拍摄方法及相关设备
CN116051368B (zh) 图像处理方法及其相关设备
CN118138871A (zh) 图像拍摄方法、装置、终端及存储介质
CN115767287A (zh) 图像处理方法与电子设备
IES20140135A2 (en) Smartphone user interfaces for a RAW camera peripheral
IES20140134A2 (en) Improved smartphone imaging using an external peripheral
IES86519B2 (en) Camera peripheral with external camera controls and lens mount for smartphone or hand-held device

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190924

RJ01 Rejection of invention patent application after publication