CN110290288A - 图像处理器、图像处理方法、拍摄装置和电子设备 - Google Patents

图像处理器、图像处理方法、拍摄装置和电子设备 Download PDF

Info

Publication number
CN110290288A
CN110290288A CN201910476756.6A CN201910476756A CN110290288A CN 110290288 A CN110290288 A CN 110290288A CN 201910476756 A CN201910476756 A CN 201910476756A CN 110290288 A CN110290288 A CN 110290288A
Authority
CN
China
Prior art keywords
algorithm
processing
image
post
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910476756.6A
Other languages
English (en)
Other versions
CN110290288B (zh
Inventor
李小朋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN201910476756.6A priority Critical patent/CN110290288B/zh
Publication of CN110290288A publication Critical patent/CN110290288A/zh
Application granted granted Critical
Publication of CN110290288B publication Critical patent/CN110290288B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/0021Image watermarking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/04Context-preserving transformations, e.g. by using an importance map
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/60Rotation of whole images or parts thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理器、图像处理方法、拍摄装置和电子设备。图像处理器包括硬件抽象模块、与硬件抽象模块连接的应用程序模块和算法后处理模块。硬件抽象模块用于确定图像数据的算法标志并传输图像数据和算法标志。算法后处理模块通过应用程序模块与硬件抽象模块连接,算法后处理模块用于采用处理算法标志以确定待执行的图像处理算法并采用待执行的图像处理算法处理图像数据以实现拍照后处理。本申请实施方式的图像处理器、图像处理方法、拍摄装置和电子设备中,对图像数据进行拍照后处理可由算法后处理模块实现,无需在硬件抽象模块本身的算法架构上做流程截断,只需在外部做兼容,设计难度减小。

Description

图像处理器、图像处理方法、拍摄装置和电子设备
技术领域
本申请涉及图像处理技术领域,更具体而言,涉及一种图像处理器、图像处理方法、拍摄装置和电子设备。
背景技术
目前,拍照后处理,例如美颜处理、滤镜处理、旋转处理、水印处理、虚化处理、高动态范围(High-Dynamic Range,HDR)处理、及多帧处理等都是在硬件抽象模块(HardwareAbstract Layer,HAL)中处理,其中,硬件抽象模块通常是由一家厂商提供,进行拍照后处理的图像处理算法则由另一家厂商提供,二者在做兼容设计时,图像处理算法要在硬件抽象模块本身的算法架构上做流程截断,二者耦合导致设计难度大。
发明内容
本申请实施方式提供一种图像处理器、图像处理方法、拍摄装置和电子设备。
本申请实施方式的图像处理器包括硬件抽象模块、应用程序模块和算法后处理模块。所述硬件抽象模块用于确定图像数据的算法标志并传输所述图像数据和所述算法标志。所述应用程序模块用于与所述硬件抽象模块连接。所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接,所述算法后处理模块内存储有至少一种图像处理算法,所述算法后处理模块用于处理所述算法标志以确定待执行的图像处理算法并采用所述待执行的图像处理算法处理所述图像数据以实现拍照后处理。
本申请实施方式的图像处理方法包括:硬件抽象模块确定图像数据的算法标志并将所述图像数据和所述算法标志传输至应用程序模块;算法后处理模块接收来自所述应用程序模块的所述图像数据和所述算法标志;所述算法后处理模块处理所述算法标志以确定待执行的图像处理算法并采用所述待执行的图像处理算法处理所述图像数据以实现拍照后处理,所述算法后处理模块内存储有至少一种图像处理算法。
本申请实施方式的拍摄装置包括上述图像处理器及图像传感器,所述图像传感器与所述图像处理器连接。
本申请实施方式的电子设备包括上述拍摄装置及壳体,所述拍摄装置与所述壳体结合。
本申请实施方式的图像处理器、图像处理方法、拍摄装置和电子设备中,硬件抽象模块不对图像数据进行拍照后处理,对图像数据进行拍照后处理可由算法后处理模块实现,拍照后处理的图像处理算法无需在硬件抽象模块本身的算法架构上做流程截断,只需在外部做兼容,设计难度减小。另外,硬件抽象模块确定图像数据对应的算法标志后,应用程序模块只传输算法标志而不进行处理,处理算法标志以确定待执行的图像处理算法由算法后处理模块实现,可以进一步地减少硬件抽象模块、应用程序模块和算法后处理模块之间的耦合设计,使得设计难度更小。
本申请的实施方式的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本申请的实施方式的实践了解到。
附图说明
本申请的上述和/或附加的方面和优点从结合下面附图对实施方式的描述中将变得明显和容易理解,其中:
图1是本申请某些实施方式的拍摄装置的示意图;
图2是本申请某些实施方式的算法后处理模块的示意图;
图3是本申请某些实施方式的拍摄装置的示意图;
图4是本申请某些实施方式的电子设备的结构示意图;
图5是本申请某些实施方式的电子设备的结构示意图;
图6至图10是本申请某些实施方式的图像处理方法的流程示意图。
具体实施方式
下面详细描述本申请的实施方式,实施方式的示例在附图中示出,相同或类似的标号自始至终表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的实施方式的不同结构。为了简化本申请的实施方式的公开,下文中对特定例子的部件和设置进行描述。当然,它们仅仅为示例,并且目的不在于限制本申请。
请参阅图1,拍摄装置100包括图像处理器10和图像传感器20。图像处理器10和图像传感器20连接。图像传感器20包括图像采集单元(sensor)22和RAW图像数据单元(ImageFront-end,IFE)24,图像采集单元22用于接收光线以采集获得图像数据(RAW图像),RAW图像数据单元24用于将图像采集单元22采集的图像数据传输至图像处理器10,其中,RAW图像数据单元24可以对图像采集单元22采集获得的RAW图像进行处理并输出处理后的RAW图像至图像处理器10。
图像处理器10包括硬件抽象模块12、应用程序模块(APP)14和算法后处理模块(Algo process service,APS)16。
硬件抽象模块12用于确定图像数据的算法标志并传输图像数据和算法标志(algoflag)。应用程序模块14用于与硬件抽象模块12连接。算法后处理模块16通过应用程序模块14与硬件抽象模块12连接,算法后处理模块16内存储有至少一种图像处理算法(例如包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法、及多帧处理算法中的至少一种),算法后处理模块16用于处理算法标志以确定待执行的图像处理算法并采用待执行的图像处理算法处理图像数据以实现拍照后处理。
硬件抽象模块12不对图像数据进行拍照后处理,对图像数据进行拍照后处理可由算法后处理模块16实现,从而无需在硬件抽象模块12本身的算法架构上做流程截断,只需在外部做兼容,设计难度减小。另外,硬件抽象模块12确定图像数据对应的算法标志后,应用程序模块14只传输算法标志而不进行处理,处理算法标志以确定待执行的图像处理算法由算法后处理模块16实现,可以进一步地减少硬件抽象模块12、应用程序模块14和算法后处理模块16之间的耦合设计,使得设计难度更小。
图像数据包括RAW图像和/或YUV图像。硬件抽象模块12可用于接收RAW图像、将RAW图像转换为YUV图像、及传输RAW图像和/或YUV图像。硬件抽象模块12可以与图像传感器20连接。具体地,硬件抽象模块12可以包括与图像传感器20连接的缓存单元(buffer queue)122、RAW转RGB处理单元(Bayer Process Segment,BPS)124和与应用程序模块14连接的降噪及YUV后处理单元(Image Process Engine,IPE)126。缓存单元122用于缓存来自图像传感器20的RAW图像并通过应用程序模块14传输给算法后处理模块16。RAW转RGB处理单元124用于将来自缓存单元122的RAW图像转换为RGB图像。降噪及YUV后处理单元126用于处理RGB图像得到YUV图像并将YUV图像通过应用程序模块14传输给算法后处理模块16。硬件抽象模块12还可传输图像数据的元数据(metadata),元数据包括3a(自动曝光控制AE、自动聚焦控制AF、自动白平衡控制AWB)信息、图片信息(例如图像宽度、高度)、曝光参数(光圈大小、快门速度和感光度光圈值)等,可以利用元数据辅助实现对RAW图像和/或YUV图像的拍照后处理(例如包括美颜处理、滤镜处理、旋转处理、水印处理、虚化处理、HDR处理、及多帧处理中的至少一种)。在一个实施例中,元数据包括感光度(ISO)信息,根据感光度信息可以辅助调节RAW图像和/或YUV图像的亮度,从而实现与调节亮度相关的拍照后处理。
由于硬件抽象模块12不对RAW图像和/或YUV图像进行拍照后处理(例如只接收RAW图像、将RAW图像转换为YUV图像、及传输RAW图像和/或YUV图像),拍照后处理的图像处理算法无需在硬件抽象模块12本身的算法架构上做流程截断,只需在外部做兼容,设计难度减小。
在相关技术中,应用程序接口(API)将硬件抽象模块建立成管道(pipeline)的方式,由于管道的创建需要大量的时间和内存,因此在相机启动时需要将相机对应的工作模式用到的所有管道均先创建好,而为了实现各种图像处理算法,一般需要创建大量管道(例如超过三条管道),这会导致相机的启动需要耗费大量的时间,并且占用大量的内存。本申请实施方式的硬件抽象模块12不对RAW图像和/或YUV图像进行拍照后处理,因此,硬件抽象模块12只需建立少量(例如一条或两条)管道即可,无需建立大量的管道,从而能够节约内存,并且可以使得相机的启动速度变快。
应用程序模块14可以用于根据用户的输入产生控制指令并将该控制指令通过硬件抽象模块12发送给图像传感器20以对图像传感器20的工作进行相应的控制。其中,应用程序模块14可以以64比特位(bit)运行,并且拍照后处理的图像处理算法的静态数据连接库(lib)可以配置为64比特位,以提高运算速度。应用程序模块14接收硬件抽象模块传输的RAW图像和/或YUV图像后,可以对RAW和/或YUV图像进行拍照后处理,也可以将RAW和/或YUV图像传输至算法后处理模块16进行拍照后处理。当然,还可以是应用程序模块14进行一些拍照后处理(例如美颜处理、滤镜处理、旋转处理、水印处理、虚化处理等),算法后处理模块16进行另外一些拍照后处理(例如HDR处理、多帧处理等)。在本申请实施方式中,应用程序模块14将RAW和/或YUV图像传输至算法后处理模块16进行拍照后处理。
算法后处理模块16用于采用图像处理算法处理RAW图像和/或YUV图像以实现拍照后处理。由于对RAW图像和/或YUV图像进行拍照后处理可由算法后处理模块16实现,从而无需在硬件抽象模块12本身的算法架构上做流程截断,只需在外部做兼容,设计难度减小。并且由于拍照后处理由算法后处理模块16实现,因此算法后处理模块16的功能更单一、更聚焦,从而可以达到移植快,扩展新的图像处理算法简单等效果。当然,若是在应用程序模块14进行一些拍照后处理(例如美颜处理、滤镜处理、旋转处理、水印处理、虚化处理等),算法后处理模块16进行另外一些拍照后处理(例如HDR处理、多帧处理等)时,应用程序模块14内也可存储有至少一种图像处理算法(例如包括美颜处理算法、滤镜处理算法、旋转处理算法、水印处理算法、虚化处理算法、HDR处理算法、及多帧处理算法中的至少一种),应用程序模块14还用于采用图像处理算法处理RAW图像和/或YUV图像以实现拍照后处理。由于对RAW图像和/或YUV图像进行拍照后处理由应用程序模块14与算法后处理模块16实现,从而无需在硬件抽象模块12本身的算法架构上做流程截断,只需在外部做兼容,设计难度同样也是大大减小。
在算法后处理模块16只处理RAW图像(例如图像处理算法针对RAW图像进行处理)时,硬件抽象模块12可以只传输RAW图像(此时可以不需要将RAW图像转换为YUV图像);在算法后处理模块16只处理YUV图像(例如图像处理算法针对YUV图像进行处理)时,硬件抽象模块12可以只传输YUV图像;在算法后处理模块16处理RAW图像和YUV图像时,硬件抽象模块12可以传输RAW图像和YUV图像。
在某些实施方式中,硬件抽象模块12用于根据图像传感器20的工作信息确定算法标志。图像传感器20的工作信息可以是指元数据,例如包括3a信息、曝光参数、工作模式等。在一个例子中,根据图像传感器20的工作信息确定算法标志,具体可以是根据图像传感器20的工作模式确定算法标志,例如判断图像传感器20是否开启HDR模式,若开启HDR模式,则将算法标志设置为HDR algo flag以表示图像数据对应的待执行的图像处理算法为HDR处理算法;又例如判断图像传感器20是否开启人像模式,若开启人像模式,则将算法标志设置为虚化algo flag以表示图像数据对应的待执行的图像处理算法为虚化处理算法;又例如判断图像传感器20的感光值是否大于预定感光值,若是,则将算法标志设置为多帧algoflag以表示图像数据对应的待执行的图像处理算法为多帧处理算法。如此,可以确定要对图像数据采用何种图像处理算法进行处理。
在某些实施方式中,算法标志包括多个标志位,每个标志位对应一个待执行的图像处理算法,算法后处理模块16用于根据标志位的顺序依次采用对应的待执行的图像处理算法处理图像数据以实现拍照后处理。具体地,算法标志可以是一个数组,数组中的每个元素对应一个标志位,例如算法标志为[HDR algo flag,虚化algo flag],则算法后处理模块16先采用HDR处理算法处理图像数据以得到第一数据,再采用虚化处理算法处理第一数据以得到第二数据(即第二数据经过了两种图像处理算法的叠加处理)。如此,能够对图像数据进行多种图像处理算法的叠加处理。
在某些实施方式中,待处理的图像处理算法具有优先级,硬件抽象模块12用于根据优先级的高低确定算法标志中标志位的顺序。例如,在多帧处理算法进行后再采用美颜处理算法,其处理效果比较好,因此,在同时存在多帧处理算法和美颜处理算法时,多帧处理算法的优先级高于美颜处理算法,硬件抽象模块12可以确定算法标志为[多帧algoflag,美颜algo flag]。如此,能够确定算法标志中标志位的顺序,从而确定图像处理算法的执行顺序。
在某些实施方式中,待处理的图像处理算法不具有优先级,则算法标志中标志位的顺序可以根据自由设置,例如在同时存在HDR处理算法和虚化处理算法时,算法标志可以为[HDR algo flag,虚化algo flag],也可以为[虚化algo flag,HDR algo flag]。
在某些实施方式中,硬件抽象模块12可以根据感光度信息、陀螺仪的抖动情况、AR场景检测结果(检测场景类型,例如人物、动物、风景等)等向应用程序模块14发送帧数建议,例如,当陀螺仪检测到的抖动较大时,硬件抽象模块12向应用程序模块14发送的帧数建议可以是:建议较多帧,以更好地实现拍照后处理;当陀螺仪检测到的抖动较小时,硬件抽象模块12向应用程序模块14发送的帧数建议可以是:建议较少帧,以减少数据传输量。也即是说,硬件抽象模块12向应用程序模块14建议的帧数可以与陀螺仪检测到的抖动程度正相关。应用程序模块14根据帧数建议向硬件抽象模块12发出数据请求,硬件抽象模块12根据该数据请求传输对应的数据至应用程序模块14,应用程序模块14再将数据传输至算法后处理模块16进行拍照后处理。
图像传感器20进行一次拍摄(曝光成像)后,将拍摄数据(RAW图像)传输给硬件抽象模块12,在算法后处理模块16接收到与拍摄数据对应的图像数据(RAW图像和/或YUV图像)后,图像传感器20能够进行下一次拍摄、或图像传感器20能够关闭、或应用程序模块14能够关闭、或应用程序模块14能够退出应用界面。由于拍照后处理由算法后处理模块16实现,因此在将拍摄数据对应的RAW图像和/或YUV图像传输给算法后处理模块16后,只需要算法后处理模块16就可实现拍照后处理,此时图像传感器20和应用程序模块14可以不参与拍照后处理,因此,图像传感器20能够关闭或执行下一次拍摄,应用程序模块14能够关闭或退出应用界面。如此,拍摄装置100能够实现快拍,并且在算法后处理模块16进行拍照后处理时可以关闭应用程序模块14或退出应用程序界面,从而在电子设备上进行一些其他操作(例如与拍摄装置100无关的操作,比如浏览网页、看视频、打电话等),从而用户无需花费大量的时间等待拍照后处理的完成,便于用户使用电子设备。
算法后处理模块16可以包括编码单元162,编码单元162用于将YUV图像转换为JPG图像(或者JPEG图像等)。具体地,在算法后处理模块16处理的是YUV图像时,编码单元162可以直接对YUV图像进行编码以形成JPG图像,从而提高图像的输出速度。在算法后处理模块16处理的是RAW图像时,算法后处理模块16可以将处理实现拍照后处理的RAW图像经应用程序模块14回传至硬件抽象模块12,例如回传至RAW转RGB处理单元124,RAW转RGB处理单元124可以用于将算法后处理模块16处理实现拍照后处理并经应用程序模块14回传的RAW图像转换为RGB图像,降噪及YUV后处理单元126可以将RGB图像转换为YUV图像,该YUV图像可以再次传输至算法后处理模块16的编码单元162中以将该YUV图像转换为JPG图像。在某些实施方式中,算法后处理模块16也可以将处理实现拍照后处理的RAW图像经应用程序模块14回传至缓存单元122,回传的RAW图像经过RAW转RGB处理单元124和降噪及YUV后处理单元126形成YUV图像,再传输至编码单元162以形成JPG图像。在形成JPG图像后,算法后处理模块16可以用于将JPG图像传输至存储器中保存。
请参阅图2,算法后处理模块16包括逻辑处理调用层164、算法模块接口层166和算法处理层168。逻辑处理调用层164用于与应用程序模块14通信。算法模块接口层166用于维护算法接口。算法处理层168包括至少一种图像处理算法。算法模块接口层166用于通过算法接口对算法处理层168的图像处理算法进行注册、注销、调用和回调中的至少一种操作。
逻辑处理调用层164可以包括线程队列,算法后处理模块16接收到RAW图像和/或YUV图像的拍照后处理任务后,可以将拍照后处理任务缓存在线程队列中处理,其中,线程队列可以缓存多个拍照后处理任务,如此,可以通过逻辑处理调用层164实现快拍(即快拍机制)。另外,逻辑处理调用层164也可以接收应用程序模块14发送的初始化(init)、进程(process)等指令,并将对应的指令和数据保存到线程队列中。逻辑处理调用层164根据线程队列中的任务进行具体逻辑的调用(即具体逻辑调用组合)。逻辑处理调用层164还可以将处理获得的缩略图(thumbnail)回传给应用程序模块14进行显示(即缩略图回显)。在本申请的实施方式的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
算法模块接口层166用于调用算法接口,调用命令也可以保存到线程队列中,算法处理层168在接收到线程队列的调用命令时,即可解析调用命令的参数获得需要调用的图像处理算法。算法模块接口层166对图像处理算法进行注册时,可以在算法处理层168中新增一种图像处理算法;算法模块接口层166对图像处理算法进行注销时,可以删除算法处理层168中一种图像处理算法;算法模块接口层166对图像处理算法进行调用时,可以调用算法处理层168中一种图像处理算法;算法模块接口层166对图像处理算法进行回调时,可以将算法处理后的数据和状态回传给应用程序模块14。其中,可以采用统一接口实现图像处理算法的注册、注销、调用、回调等操作。算法处理层168中的每一种图像处理算法都是独立的,如此可以方便对图像处理算法实现注册、注销、调用、回调等操作。
请参阅图3,在某些实施方式中,图像处理器10还包括相机服务模块18。硬件抽象模块12通过相机服务模块18与应用程序模块14连接。相机服务模块18对图像数据(RAW图像和/或YUV图像)进行封装并将封装后的RAW图像和/或YUV图像传输至应用程序模块14、及将应用程序模块14回传的RAW图像传输至硬件抽象模块12。如此,通过相机服务模块18对图像进行封装,可以提高图像传输的效率,并且能够提高图像传输的安全性。在图像处理器10包括相机服务模块18时,图像处理器10中的数据(图像数据、元数据等)传输的路径可以进行适应性调整,即硬件抽象模块12和应用程序模块14之间传输的数据均需要通过相机服务模块18。例如,硬件抽象模块12向应用程序模块14传输RAW图像和/或YUV图像时,硬件抽象模块12先将RAW图像和/或YUV图像传输至相机服务模块18,相机服务模块18对RAW图像和/或YUV图像进行封装并将封装后的RAW图像和/或YUV图像传输至应用程序模块14。又例如,硬件抽象模块12向应用程序模块14传输元数据时,硬件抽象模块12先将元数据传输至相机服务模块18,相机服务模块18对元数据进行封装并将封装后的元数据传输至应用程序模块14。又例如,硬件抽象模块12向应用程序模块14传输帧数建议时,硬件抽象模块12先将帧数建议传输至相机服务模块18,相机服务模块18对帧数建议进行封装并将封装后的帧数建议传输至应用程序模块14。当然,在某些实施方式中,硬件抽象模块12可将感光度信息、陀螺仪的抖动情况、AR场景检测结果等传输至相机服务模块18,相机服务模块18根据感光度信息、陀螺仪的抖动情况、AR场景检测结果等获得帧数建议,再将帧数建议传输至应用程序模块14。
请参阅图4和图5,电子设备1000包括上述任意一种实施方式的拍摄装置100和壳体200,拍摄装置100与壳体200结合。壳体200可以作为电子设备1000的功能元件的安装载体。壳体200可以为功能元件提供防尘、防摔、防水等保护,功能元件可以是显示屏、拍摄装置100、受话器等。其中,在一个实施方式中,壳体200包括主体210和可动支架220,可动支架220在驱动装置的驱动下可以相对于主体210运动,例如可动支架220可以相对于主210体滑动,以滑入主体210(例如图4的状态)或从主体210滑出(例如图5的状态)。部分功能元件可以安装在主体210上,另一部分功能元件(例如拍摄装置100)可以安装在可动支架220上,可动支架220运动可带动该另一部分功能元件缩回主体210内或从主体210中伸出。在另一个实施方式中,壳体200上开设有采集窗口,拍摄装置100与采集窗口对准安装以使拍摄装置100能够通过采集窗口接收外界光线以形成图像。
在本申请的实施方式的描述中,需要说明的是,除非另有明确的规定和限定,术语“安装”应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或一体地连接;可以是机械连接,也可以是电连接或可以相互通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本申请的实施方式中的具体含义。
请参阅图1和图6,图像处理方法包括:
01:硬件抽象模块12确定图像数据的算法标志并将图像数据和算法标志传输至应用程序模块14;
02:算法后处理模块16接收来自应用程序模块14的图像数据和算法标志;
03:算法后处理模块16处理算法标志以确定待执行的图像处理算法并采用待执行的图像处理算法处理图像数据以实现拍照后处理,算法后处理模块16内存储有至少一种图像处理算法。
本申请实施方式的图像处理方法可以用于本申请实施方式的图像处理器10,或者说,本申请实施方式的图像处理方法可以由本申请实施方式的图像处理器10实现,其中,步骤01可以由硬件抽象模块12实现,步骤02和步骤03可以由算法后处理模块16实现。
请参阅图1和图7,硬件抽象模块12用于与图像传感器20连接,步骤01包括:
011:硬件抽象模块12根据图像传感器20的工作信息确定算法标志。
其中,步骤011可以由硬件抽象模块12实现。
请参阅图1和图8,算法标志包括多个标志位,每个标志位对应一个待执行的图像处理算法;步骤03包括:
031:算法后处理模块16根据标志位的顺序依次采用对应的待执行的图像处理算法处理图像数据以实现拍照后处理。
其中,步骤031可以由算法后处理模块16实现。
请参阅图1和图9,待处理的图像处理算法具有优先级,步骤01包括:
012:硬件抽象模块12根据优先级的高低确定算法标志中标志位的顺序。
其中,步骤012可以由硬件抽象模块12实现。
请参阅图3和图10,硬件抽象模块12通过相机服务模块18与应用程序模块14连接,步骤01包括:
013:对图像数据进行封装;
014:将封装后的图像数据传输至应用程序模块14。
其中,步骤013和步骤014均可以由相机服务模块18实现。
上述实施方式中对图像处理器10的解释,也适用于本申请实施方式的图像处理方法,在此不再赘述。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本申请的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本申请的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤,例如,可以被认为是用于实现逻辑功能的可执行指令的定序列表,可以具体实现在任何计算机可读介质中,以供指令执行系统、装置或设备(如基于计算机的系统、包括处理模块的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用,或结合这些指令执行系统、装置或设备而使用。就本说明书而言,"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下:具有一个或多个布线的电连接部(控制方法),便携式计算机盘盒(磁装置),随机存取存储器(RAM),只读存储器(ROM),可擦除可编辑只读存储器(EPROM或闪速存储器),光纤装置,以及便携式光盘只读存储器(CDROM)。另外,计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质,因为可以例如通过对纸或其他介质进行光学扫描,接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序,然后将其存储在计算机存储器中。
应当理解,本申请的实施方式的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(PGA),现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
此外,在本申请的各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器,磁盘或光盘等。
在本说明书的描述中,参考术语“某些实施方式”等的描述意指结合所述实施方式或示例描述的具体特征、结构或者特点包含于本申请的至少一个实施方式中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施方式。而且,描述的具体特征、结构或者特点可以在任何的一个或多个实施方式中以合适的方式结合。
尽管上面已经示出和描述了本申请的实施方式,可以理解的是,上述实施方式是示例性的,不能理解为对本申请的限制,本领域的普通技术人员在本申请的范围内可以对上述实施方式进行变化、修改、替换和变型。

Claims (16)

1.一种图像处理器,其特征在于,所述图像处理器包括:
硬件抽象模块,所述硬件抽象模块用于确定图像数据的算法标志并传输所述图像数据和所述算法标志;
应用程序模块,所述应用程序模块用于与所述硬件抽象模块连接;及
算法后处理模块,所述算法后处理模块通过所述应用程序模块与所述硬件抽象模块连接,所述算法后处理模块内存储有至少一种图像处理算法,所述算法后处理模块用于处理所述算法标志以确定待执行的图像处理算法并采用所述待执行的图像处理算法处理所述图像数据以实现拍照后处理。
2.根据权利要求1所述的图像处理器,其特征在于,所述硬件抽象模块用于与图像传感器连接,所述硬件抽象模块用于根据所述图像传感器的工作信息确定所述算法标志。
3.根据权利要求1所述的图像处理器,其特征在于,所述算法标志包括多个标志位,每个标志位对应一个所述待执行的图像处理算法,所述算法后处理模块用于根据所述标志位的顺序依次采用对应的所述待执行的图像处理算法处理所述图像数据以实现拍照后处理。
4.根据权利要求3所述的图像处理器,其特征在于,所述待处理的图像处理算法具有优先级,所述硬件抽象模块用于根据所述优先级的高低确定所述算法标志中所述标志位的顺序。
5.根据权利要求1所述的图像处理器,其特征在于,所述算法后处理模块包括逻辑处理调用层、算法模块接口层和算法处理层,所述逻辑处理调用层用于与所述应用程序模块通信,所述算法模块接口层用于维护算法接口,所述算法处理层包括至少一种所述图像处理算法,所述算法模块接口层用于通过所述算法接口对所述算法处理层的所述图像处理算法进行注册、注销、调用和回调中的至少一种操作。
6.根据权利要求1所述的图像处理器,其特征在于,所述硬件抽象模块用于与图像传感器连接,所述图像传感器用于进行一次拍摄后将拍摄数据传输给所述硬件抽象模块,在所述算法后处理模块接收到与所述拍摄数据对应的所述图像数据后,所述图像传感器能够进行下一次拍摄。
7.根据权利要求1所述的图像处理器,其特征在于,所述图像处理器还包括相机服务模块,所述硬件抽象模块通过所述相机服务模块与所述应用程序模块连接,所述相机服务模块用于对所述图像数据进行封装并将封装后的所述图像数据传输至所述应用程序模块。
8.一种图像处理方法,其特征在于,所述图像处理方法包括:
硬件抽象模块确定图像数据的算法标志并将所述图像数据和所述算法标志传输至应用程序模块;
算法后处理模块接收来自所述应用程序模块的所述图像数据和所述算法标志;
所述算法后处理模块处理所述算法标志以确定待执行的图像处理算法并采用所述待执行的图像处理算法处理所述图像数据以实现拍照后处理,所述算法后处理模块内存储有至少一种图像处理算法。
9.根据权利要求8所述的图像处理方法,其特征在于,所述硬件抽象模块用于与图像传感器连接,所述硬件抽象模块确定图像数据的算法标志,包括:
所述硬件抽象模块根据所述图像传感器的工作信息确定所述算法标志。
10.根据权利要求8所述的图像处理方法,其特征在于,所述算法标志包括多个标志位,每个标志位对应一个所述待执行的图像处理算法,所述算法后处理模块处理所述算法标志以确定待执行的图像处理算法并采用所述待执行的图像处理算法处理所述图像数据以实现拍照后处理,包括:
所述算法后处理模块根据所述标志位的顺序依次采用对应的所述待执行的图像处理算法处理所述图像数据以实现拍照后处理。
11.根据权利要求10所述的图像处理方法,其特征在于,所述待处理的图像处理算法具有优先级,所述硬件抽象模块确定图像数据的算法标志,包括:
所述硬件抽象模块根据所述优先级的高低确定所述算法标志中所述标志位的顺序。
12.根据权利要求8所述的图像处理方法,其特征在于,所述算法后处理模块包括逻辑处理调用层、算法模块接口层和算法处理层,所述逻辑处理调用层用于与所述应用程序模块通信,所述算法模块接口层用于维护算法接口,所述算法处理层包括至少一种所述图像处理算法,所述算法模块接口层用于通过所述算法接口对所述算法处理层的所述图像处理算法进行注册、注销、调用和回调中的至少一种操作。
13.根据权利要求8所述的图像处理方法,其特征在于,所述硬件抽象模块用于与图像传感器连接,所述图像传感器用于进行一次拍摄后将拍摄数据传输给所述硬件抽象模块,在所述算法后处理模块接收到与所述拍摄数据对应的所述图像数据后,所述图像传感器能够进行下一次拍摄。
14.根据权利要求8所述的图像处理方法,其特征在于,所述硬件抽象模块通过相机服务模块与所述应用程序模块连接,所述硬件抽象模块确定图像数据的算法标志并将所述图像数据和所述算法标志传输至应用程序模块,包括:
对所述图像数据进行封装;
将封装后的所述图像数据传输至所述应用程序模块。
15.一种拍摄装置,其特征在于,所述拍摄装置包括:
权利要求1至7中任意一项所述的图像处理器;及
图像传感器,所述图像传感器与所述图像处理器连接。
16.一种电子设备,其特征在于,所述电子设备包括:
权利要求15所述的拍摄装置;及
壳体,所述拍摄装置与所述壳体结合。
CN201910476756.6A 2019-06-03 2019-06-03 图像处理器、图像处理方法、拍摄装置和电子设备 Active CN110290288B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910476756.6A CN110290288B (zh) 2019-06-03 2019-06-03 图像处理器、图像处理方法、拍摄装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910476756.6A CN110290288B (zh) 2019-06-03 2019-06-03 图像处理器、图像处理方法、拍摄装置和电子设备

Publications (2)

Publication Number Publication Date
CN110290288A true CN110290288A (zh) 2019-09-27
CN110290288B CN110290288B (zh) 2022-01-04

Family

ID=68003048

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910476756.6A Active CN110290288B (zh) 2019-06-03 2019-06-03 图像处理器、图像处理方法、拍摄装置和电子设备

Country Status (1)

Country Link
CN (1) CN110290288B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955541A (zh) * 2019-12-09 2020-04-03 Oppo广东移动通信有限公司 数据处理方法及相关产品
CN111147695A (zh) * 2019-12-31 2020-05-12 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111182223A (zh) * 2020-01-14 2020-05-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111314606A (zh) * 2020-02-21 2020-06-19 Oppo广东移动通信有限公司 拍照方法、装置、电子设备及存储介质
CN111491101A (zh) * 2020-04-20 2020-08-04 Oppo广东移动通信有限公司 图像处理器、图像处理方法、拍摄装置和电子设备
CN111640111A (zh) * 2020-06-10 2020-09-08 詹俊鲲 医学图像处理方法、装置及存储介质
WO2020207192A1 (zh) * 2019-04-10 2020-10-15 Oppo广东移动通信有限公司 图像处理器、图像处理方法、拍摄装置和电子设备
CN111988526A (zh) * 2020-08-27 2020-11-24 Oppo(重庆)智能科技有限公司 移动终端及图像数据处理方法
WO2021115113A1 (zh) * 2019-12-09 2021-06-17 Oppo广东移动通信有限公司 数据处理方法、装置及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103559150A (zh) * 2013-11-08 2014-02-05 深圳市道通科技有限公司 主机外置摄像头的实现方法和装置及移动终端
US20140267811A1 (en) * 2013-03-15 2014-09-18 Sheethal Bhat Method, apparatus, system, and computer readable medium for image processing software module configuration
CN105262970A (zh) * 2015-10-14 2016-01-20 深圳先进技术研究院 一种基于图像数据的封装方法及系统
US20160065934A1 (en) * 2014-09-03 2016-03-03 Intel Corporation Imaging architecture for depth camera mode with mode switching
CN106303226A (zh) * 2016-08-01 2017-01-04 乐视控股(北京)有限公司 图像处理方法及装置
US9942327B1 (en) * 2012-04-18 2018-04-10 Open Invention Network Llc Memory sharing for buffered macro-pipelined data plane processing in multicore embedded systems
CN107959845A (zh) * 2017-11-13 2018-04-24 北京小鸟看看科技有限公司 图像数据传输的方法、装置、客户端装置及头戴显示设备
CN108391052A (zh) * 2013-01-21 2018-08-10 联想(北京)有限公司 信息处理方法及电子设备
CN109089043A (zh) * 2018-08-30 2018-12-25 Oppo广东移动通信有限公司 拍摄图像预处理方法、装置、存储介质及移动终端
CN109101352A (zh) * 2018-08-30 2018-12-28 Oppo广东移动通信有限公司 算法架构、算法调用方法、装置、存储介质及移动终端
CN109427082A (zh) * 2017-08-29 2019-03-05 杭州海康威视数字技术股份有限公司 一种图像遮蔽方法、装置、设备及系统
CN109669783A (zh) * 2017-10-13 2019-04-23 阿里巴巴集团控股有限公司 数据处理方法和设备

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9942327B1 (en) * 2012-04-18 2018-04-10 Open Invention Network Llc Memory sharing for buffered macro-pipelined data plane processing in multicore embedded systems
CN108391052A (zh) * 2013-01-21 2018-08-10 联想(北京)有限公司 信息处理方法及电子设备
US20140267811A1 (en) * 2013-03-15 2014-09-18 Sheethal Bhat Method, apparatus, system, and computer readable medium for image processing software module configuration
CN103559150A (zh) * 2013-11-08 2014-02-05 深圳市道通科技有限公司 主机外置摄像头的实现方法和装置及移动终端
US20160065934A1 (en) * 2014-09-03 2016-03-03 Intel Corporation Imaging architecture for depth camera mode with mode switching
CN105262970A (zh) * 2015-10-14 2016-01-20 深圳先进技术研究院 一种基于图像数据的封装方法及系统
CN106303226A (zh) * 2016-08-01 2017-01-04 乐视控股(北京)有限公司 图像处理方法及装置
CN109427082A (zh) * 2017-08-29 2019-03-05 杭州海康威视数字技术股份有限公司 一种图像遮蔽方法、装置、设备及系统
CN109669783A (zh) * 2017-10-13 2019-04-23 阿里巴巴集团控股有限公司 数据处理方法和设备
CN107959845A (zh) * 2017-11-13 2018-04-24 北京小鸟看看科技有限公司 图像数据传输的方法、装置、客户端装置及头戴显示设备
CN109089043A (zh) * 2018-08-30 2018-12-25 Oppo广东移动通信有限公司 拍摄图像预处理方法、装置、存储介质及移动终端
CN109101352A (zh) * 2018-08-30 2018-12-28 Oppo广东移动通信有限公司 算法架构、算法调用方法、装置、存储介质及移动终端

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
李瑞珍: "《中国优秀博硕士学位论文全文数据库(硕士) 信息科技辑》", 15 May 2015 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207192A1 (zh) * 2019-04-10 2020-10-15 Oppo广东移动通信有限公司 图像处理器、图像处理方法、拍摄装置和电子设备
CN110955541A (zh) * 2019-12-09 2020-04-03 Oppo广东移动通信有限公司 数据处理方法及相关产品
WO2021115113A1 (zh) * 2019-12-09 2021-06-17 Oppo广东移动通信有限公司 数据处理方法、装置及存储介质
CN111147695A (zh) * 2019-12-31 2020-05-12 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111182223A (zh) * 2020-01-14 2020-05-19 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN111314606A (zh) * 2020-02-21 2020-06-19 Oppo广东移动通信有限公司 拍照方法、装置、电子设备及存储介质
CN111314606B (zh) * 2020-02-21 2021-06-18 Oppo广东移动通信有限公司 拍照方法、装置、电子设备及存储介质
CN111491101A (zh) * 2020-04-20 2020-08-04 Oppo广东移动通信有限公司 图像处理器、图像处理方法、拍摄装置和电子设备
CN111640111A (zh) * 2020-06-10 2020-09-08 詹俊鲲 医学图像处理方法、装置及存储介质
CN111988526A (zh) * 2020-08-27 2020-11-24 Oppo(重庆)智能科技有限公司 移动终端及图像数据处理方法

Also Published As

Publication number Publication date
CN110290288B (zh) 2022-01-04

Similar Documents

Publication Publication Date Title
CN110290288A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN109963083A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN110266951A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN110278373A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
WO2020207200A1 (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
CN110062161A (zh) 图像处理器、图像处理方法、拍摄装置和电子设备
CN110177215A (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
CN110276718A (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
CN110121022A (zh) 拍摄装置的控制方法、拍摄装置和电子设备
WO2021052111A1 (zh) 图像处理方法及电子装置
CN110177214B (zh) 图像处理器、图像处理方法、拍照装置及电子设备
KR20230098575A (ko) 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들
CN111147695B (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
CN111193866B (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
EP4287638A1 (en) Image photographing method, and device, storage medium and program product
CN110290325A (zh) 图像处理方法、装置、存储介质及电子设备
CN110418061A (zh) 图像处理方法、图像处理器、拍照装置及电子设备
CN111193867A (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
CN111510629A (zh) 数据显示方法、图像处理器、拍摄装置和电子设备
CN112422832B (zh) 图像数据的传输方法、移动终端及存储介质
CN104811601B (zh) 一种显示预览图像的方法及设备
CN110401800A (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
CN110213503A (zh) 图像处理方法、装置、存储介质及电子设备
CN118433524A (zh) 显示缩略图像的方法和电子设备
WO2021154807A1 (en) Sensor prioritization for composite image capture

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant