CN114845036B - 电子设备、图像处理器、应用处理器及图像处理方法 - Google Patents

电子设备、图像处理器、应用处理器及图像处理方法 Download PDF

Info

Publication number
CN114845036B
CN114845036B CN202110139117.8A CN202110139117A CN114845036B CN 114845036 B CN114845036 B CN 114845036B CN 202110139117 A CN202110139117 A CN 202110139117A CN 114845036 B CN114845036 B CN 114845036B
Authority
CN
China
Prior art keywords
image
scene
image processing
processing
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110139117.8A
Other languages
English (en)
Other versions
CN114845036A (zh
Inventor
曾玉宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202110139117.8A priority Critical patent/CN114845036B/zh
Publication of CN114845036A publication Critical patent/CN114845036A/zh
Application granted granted Critical
Publication of CN114845036B publication Critical patent/CN114845036B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例提供一种电子设备、图像处理器、应用处理器及图像处理方法,其中,采集拍摄场景的第一场景图像,并复制得到第二场景图像,将第一场景图像用于预览,将第二场景图像用于拍照,使得对预览图像和拍照图像的并行处理成为可能。其中,对于第一场景图像,将对其的图像处理分为两部分处理,分别为适配于图像处理器的第一图像处理和适配于应用处理器的第二图像处理,以此,充分利用图像处理器和应用处理器各自的处理特性以避免预览卡顿;对于第二场景图像,由应用处理器对该第二场景图像进行第三图像处理,使得处理后图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。

Description

电子设备、图像处理器、应用处理器及图像处理方法
技术领域
本申请涉及图像处理技术领域,特别涉及一种电子设备、图像处理器、应用处理器及图像处理方法。
背景技术
目前,用户通常利用具有摄像头的电子设备(如数码相机、智能手机等)拍摄图像,从而随时随地的记录身边发生的事情,看到的景物等。为了使得用户能够提前获知拍摄图像的图像效果,电子设备通常会提供实时的图像预览功能。同时,电子设备也会对图像进行特定的图像处理以提升图像质量,比如对图像进行高动态范围处理,超分辨率处理等。然而,相关技术中,电子设备只能对预览图像或者对拍照图像进行单独的处理,导致预览卡顿或者预览图像无法展示处理效果。
发明内容
本申请实施例提供一种电子设备、图像处理器及图像处理方法,不仅能够避免预览卡顿,还能够使得预览图像具备与拍照图像相同类型的图像效果。
本申请公开一种电子设备,包括:
摄像头,用于采集拍摄场景的第一场景图像;
图像处理器,用于对所述第一场景图像进行复制处理,得到第二场景图像;以及对第一场景图像进行第一图像处理后传输至应用处理器;以及将第二场景图像传输至应用处理器;
应用处理器,用于将第一图像处理后的第一场景图像进行第二图像处理后用于预览;以及将所述第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
本申请还公开一种图像处理器,包括:
数据接口,用于从摄像头获取拍摄场景的第一场景图像;
第一图像处理模块,用于对所述第一场景图像进行复制处理,得到第二场景图像;以及对第一场景图像进行第一图像处理;
所述数据接口,还用于将第一图像处理后的第一场景图像传输至应用处理器,使得所述应用处理器将第一图像处理后的第一场景图像进行第二图像处理后用于预览;以及将所述第二场景图像传输至应用处理器,使得所述应用处理器将所述第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
本申请还公开一种应用处理器,包括:
第二数据接口,用于从图像处理器获取第一图像处理后的第一场景图像,以及获取由第一场景图像复制得到的第二场景图像;
第二图像处理模块,用于将第一图像处理后的第一场景图像进行第二图像处理后用于预览;
第三图像处理模块,用于将所述第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
本申请还公开一种图像处理方法,应用于电子设备,所述电子设备包括摄像头、图像处理器以及应用处理器,所述图像处理方法包括:
摄像头采集拍摄场景的第一场景图像;
图像处理器对所述第一场景图像进行复制处理,得到第二场景图像;以及对第一场景图像进行第一图像处理后传输至应用处理器;以及将第二场景图像传输至应用处理器;
应用处理器将第一图像处理后的第一场景图像进行第二图像处理后用于预览;以及将所述第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
本申请还公开一种图像处理方法,应用于图像处理器,所述图像处理器包括第一数据接口、复制模块和第一图像处理模块,所述图像处理方法包括:
第一数据接口从摄像头获取拍摄场景的第一场景图像;
复制模块对所述第一场景图像进行复制处理,得到第二场景图像;
第一图像处理模块对第一场景图像进行第一图像处理;
所述第一数据接口将第一图像处理后的第一场景图像传输至应用处理器,使得所述应用处理器将第一图像处理后的第一场景图像进行第二图像处理后用于预览;以及将所述第二场景图像传输至应用处理器,使得所述应用处理器将所述第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
本申请还公开一种图像处理方法,应用于应用处理器,所述应用处理器包括第二数据接口、第二图像处理模块和第三图像处理模块,所述图像处理方法包括:
第二数据接口从图像处理器获取第一图像处理后的第一场景图像,以及获取由第一场景图像复制得到的第二场景图像;
第二图像处理模块将第一图像处理后的第一场景图像进行第二图像处理后用于预览;
第三图像处理模块将所述第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
本申请中,通过摄像头采集拍摄场景的第一场景图像,通过图像处理器对该第一场景图像进行复制处理,得到第二场景图像,将第一场景图像用于预览,将第二场景图像用于拍照,使得对预览图像和拍照图像的并行处理成为可能。其中,对于用于预览的第一场景图像,将对其的图像处理分为两部分处理,分别为适配于图像处理器的第一图像处理和适配于应用处理器的第二图像处理,以此,充分利用图像处理器和应用处理器各自的处理特性,协同完成对第一场景图像的高效图像处理,从而避免预览卡顿;对于用于拍照的第二场景图像,由应用处理器对该第二场景图像进行第三图像处理,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。以此,不仅能够实现对预览图像和拍照图像的并行处理,还能够避免预览卡顿,更能够使得预览图像具备与拍照图像相同类型的图像效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的电子设备的结构示意图。
图2为本申请实施例中电子设备对预览图像和拍照图像进行并行处理的示意图。
图3为本申请实施例提供的图像处理器的结构示意图。
图4为图3中第一图像处理模块的细化结构示意图。
图5为本申请实施例提供的应用于电子设备的图像处理方法的流程示意图。
图6为本申请实施例提供的应用于图像处理器的图像处理方法的流程示意图。
图7为本申请实施例提供的应用处理器的结构示意图。
图8为本申请实施例提供的应用于应用处理器的图像处理方法的流程示意图。
具体实施方式
本申请实施例提供的技术方案可以应用于各种需要进行图像处理的场景,本申请实施例对此并不限定。
请参照图1,图1为本申请实施例提供的电子设备100的结构示意图。该电子设备100包括摄像头110、图像处理器120和应用处理器130,其中,
摄像头110,用于采集拍摄场景的第一场景图像;
图像处理器120,用于对第一场景图像进行复制处理,得到第二场景图像;以及对第一场景图像进行第一图像处理后传输至应用处理器;以及将第二场景图像传输至应用处理器;
应用处理器130,用于将第一图像处理后的第一场景图像进行第二图像处理后用于预览;以及将第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
应当说明的是,本申请实施例中对电子设备的实体展现形式不做具体限制,电子设备的实体展现形式可以是智能手机、平板电脑、掌上电脑、笔记本电脑等移动式电子设备,也可以是台式电脑、电视等固定式电子设备。
如上,本申请所提供的电子设备至少包括摄像头110、图像处理器120以及应用处理器130。
其中,摄像头110由多部分组成,主要包括镜头、马达以及图像传感器等。其中,镜头用于将外界的光信号投射至图像传感器;图像传感器用于将镜头投射的光信号进行光电转换,将光信号转换为可用的电信号,得到原始的图像数据;而马达用于驱动镜头移动,从而调整镜头和图像传感器之间的距离,以满足成像公式(或称透镜成像公式、高斯成像公式等),使得成像清晰。
基于摄像头110的硬件能力,在本申请实施例中,摄像头110被配置为采集拍摄场景的第一场景图像。应当说明的是,第一场景图像为RAW格式的图像数据,RAW格式的图像数据就是摄像头110中的图像感应器将捕捉到的光信号转化为数字信号的原始图像数据,不仅记录了原始的图像内容,还记录了一些元数据(比如快门速度、光圈值、白平衡等拍摄参数)。通俗的说,摄像头110输出的RAW格式图像数据就是未经任何处理、也未经压缩的原始图像数据,可以把RAW格式图像数据概念化为“原始图像编码数据”或更形象的称为“数字底片”。
其中,拍摄场景可以理解为摄像头110在使能后所对准的场景,即摄像头110能够将光信号转换为对应图像数据的场景。比如,电子设备100在根据用户操作使能摄像头110之后,若用户控制电子设备100的摄像头110对准一包括某对象的场景,则包括该对象的场景即为摄像头110的拍摄场景。相应的,摄像头110在使能后,将按照设定的图像采集帧率持续地对拍摄场景进行采集,相应持续得到拍摄场景的第一场景图像。比如,当图像采集帧率被配置为30FPS时,摄像头110将在1秒的时间内连续地对拍摄场景进行30次图像采集。
根据以上描述,本领域普通技术人员应当理解的是,拍摄场景并非特指某一特定场景,而是跟随摄像头110的指向所实时对准的场景。
如上,在摄像头110每次采集到拍摄场景的第一场景图像之后,图像处理器120对第一场景图像进行复制处理,得到与第一场景图像完全相同的另一图像,将该图像记为第二场景图像。可以理解的是,第二场景图像也为RAW格式的图像数据。至此,对于一拍摄场景,共得到两个完全相同的场景图像,即第一场景图像和第二场景图像。本申请实施例中,将其中一场景图像用于预览,将另一场景图像用于拍照。以下以第一场景图像用于预览,第二场景图像用于拍照为例进行说明。
本申请实施例中,为了实现实时预览,通过图像处理器120和应用处理器130共同对第一场景图像进行图像处理。其中,图像处理器120对第一场景图像进行第一图像处理,并将第一图像处理后的第一场景图像传输至应用处理器130。另一方面,应用处理器130在接收到第一图像处理后的第一场景图像后,将第一图像处理后的第一场景图像进行第二图像处理后用于预览。应当说明的是,以第一图像处理和第二图像处理互不重叠为约束,可由本领域技术人员根据实际需要对第一图像处理和第二图像处理进行配置,比如,第一图像处理包括坏点校准、线性化、黑电平校正等相对简单的传统图像算法处理,和基于人工智能的高动态范围处理、超分辨率处理等模型处理,第二图像处理包括与第一图像处理差异化的镜头阴影校正、数字增益、白平衡、去马赛克、颜色校正等相对复杂的传统图像算法处理。
当然,也可以按照其他划分原则进行划分,示例性地,假设期望对第一场景图像进行五种不同图像效果的处理,分别为A处理、B处理、C处理、D处理以及E处理,可以根据是否专用以及功耗高低等进行分配。
比如,假设图像处理器120为实现A处理、B处理的专用处理器,应用处理器130为实现A处理、B处理、C处理、D处理以及E处理的通用处理器,则可将A处理和B处理作为第一图像处理分配给图像处理器120执行,将C处理、D处理以及E处理作为第二图像处理分配给应用处理器130。
又比如,假设图像处理器120实现A处理和C处理的功耗小于应用处理器130实现A处理和C处理的功耗,但是图像处理器120实现B处理、D处理和E处理的功耗大于应用处理器130实现B处理、D处理和E处理的功耗,则可将A处理和C处理作为第一图像处理分配给图像处理器120执行,将B处理、D处理以及E处理作为第二图像处理分配给应用处理器130执行。
可以理解的是,拍照并不如同预览那样需求实时性,因此,本申请实施例中通过应用处理器130单独对第二场景图像进行图像处理。其中,图像处理器120在复制得到第二场景图像之后,直接将第二场景图像传输至应用处理器130。另一方面,应用处理器130在接收到来自图像处理器120的第二场景图像之后,将该第二场景图像进行第三图像处理后用于拍照。
应当说明的是,以第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果(比如第三图像处理后的第二场景图像具备高动态范围效果,经第一图像处理、第二图像处理后的第一场景图像也具备高动态范围效果)为约束,可由本领域技术人员根据实际需要进行对第三图像处理进行配置,以此来使得电子设备的拍照效果和预览效果具有一定程度的一致性,从而使得用户能够更方便地根据预览效果来选择拍照所需的图像处理方式。其中,第三图像处理包括传统的图像算法处理和人工智能的模型处理。
应当说明的是,由于本申请实施例中的第一场景图像和第二场景图像为RAW格式的图像数据,以上进行的图像处理仅针对与二者数据中的图像部分进行。
请参照图2,本申请中,电子设备100通过摄像头110采集拍摄场景的第一场景图像;通过图像处理器120对第一场景图像进行复制处理得到第二场景图像,以及通过图像处理器120对第一场景图像进行第一图像处理后传输至应用处理器130,以及通过图像处理器120将第二场景图像传输至应用处理器130;通过应用处理器130将第一图像处理后的第一场景图像进行第二图像处理后用于预览,以及通过应用处理器130将第二场景图像进行第三图像处理后用于拍照;其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。总的看来,本申请通过摄像头110采集拍摄场景的第一场景图像,通过图像处理器120对该第一场景图像进行复制处理,得到第二场景图像,将第一场景图像用于预览,将第二场景图像用于拍照,使得对预览图像和拍照图像的并行处理成为可能。其中,对于用于预览的第一场景图像,将对其的图像处理分为两部分处理,分别为适配于图像处理器120的第一图像处理和适配于应用处理器130的第二图像处理,以此,充分利用图像处理器120和应用处理器130各自的处理特性,协同完成对第一场景图像的高效图像处理,从而避免预览卡顿;对于用于拍照的第二场景图像,由应用处理器130对该第二场景图像进行第三图像处理,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。以此,不仅能够实现对预览图像和拍照图像的并行处理,还能够避免预览卡顿,更能够使得预览图像具备与拍照图像相同类型的图像效果。
可选地,在一实施例中,图像处理器120用于记录第一场景图像的采集时间戳;以及将第二场景图像与采集时间戳关联后传输至应用处理器130。
本申请实施例中,图像处理器120在从摄像头110获取到拍摄场景的第一场景图像时,记录第一场景图像的采集时间戳,比如,图像处理器120将其获取到第一场景图像的获取时刻作为第一场景图像的采集时间戳记录。然后,图像处理器120将由第一场景图像复制得到的第二场景图像与该采集时间戳关联后传输至应用处理器130。
示例性地,以图像处理器120和应用处理器130之间采用移动产业处理器接口(Mobile Industry Processor Interface,MIPI)进行图像传输为例进行说明。
如上,第二场景图像为RAW格式的图像数据,图像处理器120对第二场景图像和采集时间戳进行组织编码,从而将记录的采集时间戳打包至第二场景图像中的元数据部分,然后将打包后的数据通过移动产业处理器接口的同一个通道传输至应用处理器130。
可选地,在一实施例中,电子设备100还包括图像缓存队列,应用处理器130还用于将第二场景图像及其关联的采集时间戳写入图像缓存队列中。
应当说明的是,图像缓存队列用于缓存图像,其缓存大小可由本领域技术人员根据实际需要进行设置。
本申请实施例中,应用处理器130在接收到来自图像处理器120的第二场景图像及其关联的采集时间戳之后,并不直接将该第二场景图像用于拍照,而是根据其关联的采集时间戳适时将其用于拍照,因此,应用处理器将第二场景图像及其关联的采集时间戳写入图像缓存队列中。
可选地,在一实施例中,应用处理器130用于在接收到拍照操作时,若第二场景图像关联的采集时间戳与拍摄操作的接收时刻匹配,则从图像缓存队列中提取第二场景图像进行第三图像处理后作为拍照操作的结果图像。
应当说明的是,拍照操作可由电子设备100的用户下发,比如,当用户按下电子设备100的拍照键(可以是实体按键、也可以是虚拟按键)时,应用处理器130将接收到拍照操作。
本申请实施例中,应用处理器130在接收到拍照操作时,从图像缓存队列中选取距离拍照操作的接收时刻最近的图像用于拍照,若第二场景图像关联的采集时间戳与拍摄操作的接收时刻匹配(也即第二场景图像关联的采集时间戳与该接收时刻最近),则应用处理器130从图像缓存队列中提取出第二场景图像进行第三图像处理后作为拍照操作的结果图像。
其中,若进行了组织编码,则应用处理器130需要对打包的数据进行解码,从而得到第二场景图像的图像数据和元数据,对第二场景图像的图像数据进行第三图像处理后作为拍照操作的结果图像。
应当说明的是,本申请实施例中对图像进行的图像处理并不改变其图像格式,比如第二场景图像经过第三图像处理后仍为RAW格式的图像数据。
在一实施例中,应用处理器130还用于将第三图像处理后的第二场景图像重编码为预设图像格式,并将预设图像格式的第二场景图像作为拍照操作的结果图像。
应当说明的是,本申请实施例中对于预设图像格式的配置不做具体限制,可由本领域技术人员根据实际需要需要进行配置。比如,可以将预设图像格式配置为JPG、JPEG或者BMP等任意图像格式。
可选地,在一实施例中,图像处理器120用于通过第一预设图像处理算法对第一场景图像进行算法处理;以及通过预训练的第一图像处理模型对算法处理后的第一场景图像进行模型处理,以完成第一图像处理。
本申请实施例中,图像处理器120进行的第一图像处理由两部分组成,分别为算法处理和模型处理。
其中,图像处理器120通过第一预设图像处理算法对第一场景图像进行算法处理,通过预训练的第一图像处理模型对算法处理后的第一场景图像进行模型处理,以完成第一图像处理。
应当说明的是,第一预设图像处理算法包括至少一种图像处理算法,比如,坏点校正算法、暗电流校正算法、镜头阴影校正算法、数字增益算法、白平衡算法、去马赛克算法以及颜色校正算法等;第一图像处理模型包括至少一种图像处理模型,比如高动态范围处理模型、降噪处理模型等。
可选地,在一实施例中,应用处理器130用于通过第二预设图像处理算法对第一图像处理后的第一场景图像进行算法处理,以完成第二图像处理;以及通过第三预设图像处理算法对第二场景图像进行算法处理,通过预训练的第二图像处理模型对算法处理后的第二场景图像进行模型处理,以完成第三图像处理。
本申请实施例中,应用处理器130进行的第二图像处理包括基于图像处理算法的算法处理,应用处理器130进行的第三图像处理有两部分组成,分别为算法处理和模型处理。
其中,应用处理器130通过第二预设图像处理算法对第一图像处理后的第一场景图像进行算法处理,以完成第二图像处理。应当说明的是,第二预设图像处理算法包括至少一种图像处理算法,比如,坏点校正算法、暗电流校正算法、镜头阴影校正算法、数字增益算法、白平衡算法、去马赛克算法以及颜色校正算法等,且第二预设图像处理算法与第一预设图像处理方法不重叠。
此外,应用处理器130通过第三预设图像处理算法对第二场景图像进行算法处理,通过预训练的第二图像处理模型对算法处理后的第二场景图像进行模型处理,以完成第三图像处理。应当说明的是,第三预设图像处理方法包括至少一种图像处理算法,比如,坏点校正算法、暗电流校正算法、镜头阴影校正算法、数字增益算法、白平衡算法、去马赛克算法以及颜色校正算法等。
作为一种可选地实施方式,以第三预设图像处理算法处理后的图像效果类型与经第一预设图像处理算法、第二预设图像处理算法处理后的图像效果类型相同为约束,可由本领域技术人员根据实际需要对第一预设图像处理算法、第二预设图像处理算法、第三预设图像处理算法进行配置。此外,以第二图像处理模型的模型处理类型与第一图像处理模型的模型处理类型相同为约束,可由本领域技术人员根据实际需要对第一图像处理模型和第二图像处理模型进行配置。以此,来达到使得第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型图像效果的目的。
作为另一可选地实施方式,以第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型图像效果为约束,可以配置为:第二预设图像处理算法处理后的图像效果类型与第二图像处理模型处理后的图像效果类型相同,第三预设图像处理算法处理后的图像效果类型与经第一预设图像处理算法、第一图像处理模型处理后的图像效果类型相同。当然,还可由本领域技术人员按照实际需要采用本申请所未列出的配置方式进行配置。
可选地,在一实施例中,第一预设图像处理算法需求的处理资源小于第二预设图像处理算法需求的处理资源,第一图像处理模型的模型处理能力小于第二图像处理模型的模型处理能力。
本申请实施例中,图像处理器120的处理能力弱于应用处理器130的处理能力,为了确保整体的图像处理效率,将简单的需求处理资源较少的图像处理算法部署在图像处理器120,而将复杂的需求处理资源较多的图像处理算法部署在应用处理器,同时,将小模型部署在图像处理器120,将大模型部署在应用处理器130。以此,不仅能够使得拍照图像和预览图像具备相同类型的图像效果,还能够使得图像处理器120和应用处理器130更高效完成图像处理。
示例性地,当第一图像处理模型和第二图像处理模型均为多个时,第一图像处理模型中任一图像处理模型的模型处理能力小于第二图像处理模型中相同处理类型的图像处理模型的模型处理能力。
比如,以用于高动态范围处理的某网络模型为例,在完成该网络模型的训练后,将完成训练的网络模型(即第二图像处理模型)部署在应用处理器130,此外,对该网络模型进行压缩简化,得到简化网络模型(即第一图像处理模型),将该简化网络模型部署在图像处理器120。可以理解的是,应用处理器130通过部署的网络模型与图像处理器120部署的简化网络模型进行相同的高动态范围处理,但是简化网络模型的模型处理能力小于前述网络模型的模型处理能力,以此,保障了图形处理器120和应用处理器130的整体处理效率,进一步避免了卡顿的发生。
可选地,在一实施例中,第一预设图像处理算法固化在图像处理器120。
本申请实施例中,通过将第一预设图像处理算法固化在图像处理器120,以达到提高图像处理器120算法处理效率的目的。
本申请还提供一种图像处理器,如图3所示,该图像处理器200包括:
第一数据接口210,用于从摄像头获取拍摄场景的第一场景图像;
复制模块220,用于对第一场景图像进行复制处理,得到第二场景图像;
第一图像处理模块230,用于对第一场景图像进行第一图像处理;
第一数据接口210还用于将第一图像处理后的第一场景图像传输至应用处理器,使得应用处理器将第一图像处理后的第一场景图像进行第二图像处理后用于预览;以及将第二场景图像传输至应用处理器,使得应用处理器将第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
应当说明的是,本申请提供的图像处理器200可以应用于具备摄像头和应用处理器的电子设备中,用于协助应用处理器完成对预览图像和拍照图像的并行处理。
其中,本申请实施例中对于第一数据接口210的类型不做具体限制,包括但不限于移动产业处理器接口(Mobile Industry Processor Interface,MIPI)以及PCI-E接口等。
基于摄像头的硬件能力,在本申请实施例中,摄像头被配置为采集拍摄场景的第一场景图像。应当说明的是,第一场景图像为RAW格式的图像数据,RAW格式的图像数据就是摄像头中的图像感应器将捕捉到的光信号转化为数字信号的原始图像数据,不仅记录了原始的图像内容,还记录了一些元数据(比如快门速度、光圈值、白平衡等拍摄参数)。通俗的说,摄像头输出的RAW格式图像数据就是未经任何处理、也未经压缩的原始图像数据,可以把RAW格式图像数据概念化为“原始图像编码数据”或更形象的称为“数字底片”。
其中,拍摄场景可以理解为摄像头在使能后所对准的场景,即摄像头能够将光信号转换为对应图像数据的场景。比如,电子设备在根据用户操作使能摄像头之后,若用户控制电子设备的摄像头对准一包括某对象的场景,则包括该对象的场景即为摄像头的拍摄场景。相应的,摄像头110在使能后,将按照设定的图像采集帧率持续地对拍摄场景进行采集,相应持续得到拍摄场景的第一场景图像。比如,当图像采集帧率被配置为30FPS时,摄像头110将在1秒的时间内连续地对拍摄场景进行30次图像采集。
根据以上描述,本领域普通技术人员应当理解的是,拍摄场景并非特指某一特定场景,而是跟随摄像头的指向所实时对准的场景。
如上,在摄像头每次采集到拍摄场景的第一图像之后,第一数据接口210从摄像头获取到该第一场景图像,由复制模块220对第一场景图像进行复制处理,得到与第一场景图像完全相同的另一图像,将该图像记为第二场景图像。可以理解的是,第二场景图像也为RAW格式的图像数据。至此,对于一拍摄场景,共得到两个完全相同的场景图像,即第一场景图像和第二场景图像。本申请实施例中,将其中一场景图像用于预览,将另一场景图像用于拍照。以下以第一场景图像用于预览,第二场景图像用于拍照为例进行说明。
本申请实施例中,为了实现实时预览,通过图像处理器200和应用处理器共同对第一场景图像进行图像处理。其中,图像处理器200通过第一图像处理模块230对第一场景图像进行第一图像处理,并将第一图像处理后的第一场景图像传输至应用处理器。另一方面,应用处理器在接收到第一图像处理后的第一场景图像后,将第一图像处理后的第一场景图像进行第二图像处理后用于预览。应当说明的是,以第一图像处理和第二图像处理互不重叠为约束,可由本领域技术人员根据实际需要对第一图像处理和第二图像处理进行配置,比如,第一图像处理包括坏点校准、线性化、黑电平校正等相对简单的传统图像算法处理,和基于人工智能的高动态范围处理、超分辨率处理等模型处理,第二图像处理包括与第一图像处理差异化的镜头阴影校正、数字增益、白平衡、去马赛克、颜色校正等相对复杂的传统图像算法处理。
当然,也可以按照其他划分原则进行划分,示例性地,假设期望对第一场景图像进行五种不同图像效果的处理,分别为A处理、B处理、C处理、D处理以及E处理,可以根据是否专用以及功耗高低进行分配。
比如,假设第一图像处理模块230为实现A处理、B处理的专用处理器,应用处理器为实现A处理、B处理、C处理、D处理以及E处理的通用处理器,则可将A处理和B处理作为第一图像处理分配给第一图像处理模块230执行,将C处理、D处理以及E处理作为第二图像处理分配给应用处理器。
又比如,假设第一图像处理模块230实现A处理和C处理的功耗小于应用处理器实现A处理和C处理的功耗,但是第一图像处理模块230实现B处理、D处理和E处理的功耗大于应用处理器实现B处理、D处理和E处理的功耗,则可将A处理和C处理作为第一图像处理分配给第一图像处理模块230执行,将B处理、D处理以及E处理作为第二图像处理分配给应用处理器执行。
可以理解的是,拍照并不如同预览那样需求实时性,因此,本申请实施例中通过应用处理器单独对第二场景图像进行图像处理。其中,第一数据接口210在复制模块220复制得到第二场景图像之后,直接将第二场景图像传输至应用处理器。另一方面,应用处理器在接收到第二场景图像之后,将该第二场景图像进行第三图像处理后用于拍照。
应当说明的是,以第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果(比如第三图像处理后的第二场景图像具备高动态范围效果,经第一图像处理、第二图像处理后的第一场景图像也具备高动态范围效果)为约束,可由本领域技术人员根据实际需要进行对第三图像处理进行配置,以此来使得电子设备的拍照效果和预览效果具有一定程度的一致性,从而使得用户能够更方便地根据预览效果来选择拍照所需的图像处理方式。其中,第三图像处理包括传统的图像算法处理和人工智能的模型处理。
应当说明的是,由于本申请实施例中的第一场景图像和第二场景图像为RAW格式的图像数据,以上进行的图像处理仅针对与二者数据中的图像部分进行。
由上可知,本申请提供的图像处理器200,通过第一数据接口210从摄像头获取拍摄场景的第一场景图像;通过复制模块220对第一场景图像进行复制处理,得到第二场景图像;通过第一图像处理模块230对第一场景图像进行第一图像处理;以及通过第一数据接口210将第一图像处理后的第一场景图像传输至应用处理器,使得应用处理器将第一图像处理后的第一场景图像进行第二图像处理后用于预览,以及将第二场景图像传输至应用处理器,使得应用处理器将第二场景图像进行第三图像处理后用于拍照,其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。总的看来,本申请通过摄像头采集拍摄场景的第一场景图像,通过图像处理器200对该第一场景图像进行复制处理,得到第二场景图像,将第一场景图像用于预览,将第二场景图像用于拍照,使得对预览图像和拍照图像的并行处理成为可能。其中,对于用于预览的第一场景图像,将对其的图像处理分为两部分处理,分别为适配于图像处理器200的第一图像处理和适配于应用处理器的第二图像处理,以此,充分利用图像处理器200和应用处理器各自的处理特性,协同完成对第一场景图像的高效图像处理,从而避免预览卡顿;对于用于拍照的第二场景图像,由应用处理器对该第二场景图像进行第三图像处理,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。以此,不仅能够实现对预览图像和拍照图像的并行处理,还能够避免预览卡顿,更能够使得预览图像具备与拍照图像相同类型的图像效果。
可选地,在一实施例中,图像处理器还包括记录模块,用于记录第一场景图像的采集时间戳,并将第二场景图像与采集时间戳关联;
第一数据接口210用于将关联的第二场景图像和采集时间戳传输至应用处理器,使得应用处理器根据采集时间戳将第二场景图像进行第二图像处理后用于拍照。
本申请实施例中,记录模块在第一数据接口210从摄像头获取到拍摄场景的第一场景图像时,记录第一场景图像的采集时间戳,比如,记录模块将第一数据接口210获取到第一场景图像的获取时刻作为第一场景图像的采集时间戳记录。然后,记录模块将由第一场景图像复制得到的第二场景图像与该采集时间戳关联。之后,由第一数据接口210将关联的第二场景图像和采集时间戳传输至应用处理器。
示例性地,以第一数据接口210为移动产业处理器接口(Mobile IndustryProcessor Interface,MIPI)进行图像传输为例进行说明。
如上,第二场景图像为RAW格式的图像数据,第一数据接口210(移动产业处理器接口)对第二场景图像和采集时间戳进行组织编码,从而将记录的采集时间戳打包至第二场景图像中的元数据部分,然后将打包后的数据通过同一个通道传输至应用处理器。
应当说明的是,电子设备还包括图像缓存队列,应用处理器在接收到关联的第二场景图像和采集时间戳之后,将关联的第二场景图像和采集时间戳写入图像缓存队列中。其中,图像缓存队列用于缓存图像,其缓存大小可由本领域技术人员根据实际需要进行设置。
本申请实施例中,应用处理器在接收到第二场景图像及其关联的采集时间戳之后,并不直接将该第二场景图像用于拍照,而是根据其关联的采集时间戳适时将其用于拍照,因此,应用处理器将第二场景图像及其关联的采集时间戳写入图像缓存队列中。
其中,应用处理器在接收到拍照操作时,若第二场景图像关联的采集时间戳与拍摄操作的接收时刻匹配,则从图像缓存队列中提取第二场景图像进行第三图像处理后作为拍照操作的结果图像。
应当说明的是,拍照操作可由电子设备的用户下发,比如,当用户按下电子设备的拍照键(可以是实体按键、也可以是虚拟按键)时,应用处理器将接收到拍照操作。
本申请实施例中,应用处理器在接收到拍照操作时,从图像缓存队列中选取距离拍照操作的接收时刻最近的图像用于拍照,若第二场景图像关联的采集时间戳与拍摄操作的接收时刻匹配(也即第二场景图像关联的采集时间戳与该接收时刻最近),则应用处理器从图像缓存队列中提取出第二场景图像进行第三图像处理后作为拍照操作的结果图像。
其中,若进行了组织编码,则应用处理器需要对打包的数据进行解码,从而得到第二场景图像的图像数据和元数据,对第二场景图像的图像数据进行第三图像处理后作为拍照操作的结果图像。
应当说明的是,本申请实施例中对图像进行的图像处理并不改变其图像格式,比如第二场景图像经过第三图像处理后仍为RAW格式的图像数据。
此外,应用处理器还可以将第三图像处理后的第二场景图像重编码为预设图像格式,并将预设图像格式的第二场景图像作为拍照操作的结果图像。此处对于预设图像格式的配置不做具体限制,可由本领域技术人员根据实际需要需要进行配置。比如,可以将预设图像格式配置为JPG、JPEG或者BMP等任意图像格式。
可选地,请参照图4,在一实施例中,第一图像处理模块230包括:
第一处理单元2310,用于通过第一预设图像处理算法对第一场景图像进行算法处理;
第二处理单元2320,用于通过预训练的第一图像处理模型对算法处理后的第一场景图像进行模型处理,以完成第一图像处理。
本申请实施例中,第一图像处理模块230由两部分组成,分别为适于算法处理的第一处理单元2310和适于模型处理的第二处理单元2320,相应的,第一图像处理模块230进行的第一图像处理由两部分组成,分别为算法处理和模型处理。
其中,第一处理单元2310通过第一预设图像处理算法对第一场景图像进行算法处理,第二处理单元2320通过预训练的第一图像处理模型对算法处理后的第一场景图像进行模型处理,以完成第一图像处理。
应当说明的是,第一预设图像处理算法包括至少一种图像处理算法,比如,坏点校正算法、暗电流校正算法、镜头阴影校正算法、数字增益算法、白平衡算法、去马赛克算法以及颜色校正算法等;第一图像处理模型包括至少一种图像处理模型,比如高动态范围处理模型、降噪处理模型等。
此外,应用处理器通过第二预设图像处理算法对第一图像处理后的第一场景图像进行算法处理,以完成第二图像处理;以及通过第三预设图像处理算法对第二场景图像进行算法处理,通过预训练的第二图像处理模型对算法处理后的第二场景图像进行模型处理,以完成第三图像处理。
本申请实施例中,应用处理器进行的第二图像处理包括基于图像处理算法的算法处理,应用处理器进行的第三图像处理有两部分组成,分别为算法处理和模型处理。
其中,应用处理器通过第二预设图像处理算法对第一图像处理后的第一场景图像进行算法处理,以完成第二图像处理。应当说明的是,第二预设图像处理算法包括至少一种图像处理算法,比如,坏点校正算法、暗电流校正算法、镜头阴影校正算法、数字增益算法、白平衡算法、去马赛克算法以及颜色校正算法等,且第二预设图像处理算法与第一预设图像处理方法不重叠。
此外,应用处理器通过第三预设图像处理算法对第二场景图像进行算法处理,通过预训练的第二图像处理模型对算法处理后的第二场景图像进行模型处理,以完成第三图像处理。应当说明的是,第三预设图像处理方法包括至少一种图像处理算法,比如,坏点校正算法、暗电流校正算法、镜头阴影校正算法、数字增益算法、白平衡算法、去马赛克算法以及颜色校正算法等。
作为一种可选地实施方式,以第三预设图像处理算法处理后的图像效果类型与经第一预设图像处理算法、第二预设图像处理算法处理后的图像效果类型相同为约束,可由本领域技术人员根据实际需要对第一预设图像处理算法、第二预设图像处理算法、第三预设图像处理算法进行配置。此外,以第二图像处理模型的模型处理类型与第一图像处理模型的模型处理类型相同为约束,可由本领域技术人员根据实际需要对第一图像处理模型和第二图像处理模型进行配置。以此,来达到使得第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型图像效果的目的。
作为另一可选地实施方式,以第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型图像效果为约束,可以配置为:第二预设图像处理算法处理后的图像效果类型与第二图像处理模型处理后的图像效果类型相同,第三预设图像处理算法处理后的图像效果类型与经第一预设图像处理算法、第一图像处理模型处理后的图像效果类型相同。当然,还可由本领域技术人员按照实际需要采用本申请所未列出的配置方式进行配置。
可选地,在一实施例中,第一预设图像处理算法需求的处理资源小于第二预设图像处理算法需求的处理资源,第一图像处理模型的模型处理能力小于第二图像处理模型的模型处理能力。
本申请实施例中,图像处理器200的处理能力弱于应用处理器的处理能力,为了确保整体的图像处理效率,将简单的需求处理资源较少的图像处理算法部署在第一处理单元2310,而将复杂的需求处理资源较多的图像处理算法部署在应用处理器,同时,将小模型部署在第二处理单元2320,将大模型部署在应用处理器。以此,不仅能够使得拍照图像和预览图像具备相同类型的图像效果,还能够使得图像处理器120和应用处理器130更高效完成图像处理。
示例性地,当第一图像处理模型和第二图像处理模型均为多个时,第一图像处理模型中任一图像处理模型的模型处理能力小于第二图像处理模型中相同处理类型的图像处理模型的模型处理能力。
比如,以用于高动态范围处理的某网络模型为例,在完成该网络模型的训练后,将完成训练的网络模型(即第二图像处理模型)部署在应用处理器,此外,对该网络模型进行压缩简化,得到简化网络模型(即第一图像处理模型),将该简化网络模型部署在第二处理单元2320。可以理解的是,应用处理器通过部署的网络模型与第二处理单元2320部署的简化网络模型进行相同的高动态范围处理,但是简化网络模型的模型处理能力小于前述网络模型的模型处理能力,以此,保障了图形处理器120和应用处理器130的整体处理效率,进一步避免了卡顿的发生。
可选地,在一实施例中,第一预设图像处理算法固化在第一处理单元2310。
本申请实施例中,通过将第一预设图像处理算法固化在第一处理单元2310,以达到提高第一处理单元2310算法处理效率的目的。
请参照图5,本申请还提供一种适于本申请提供的电子设备的图像处理方法,如图5所示,该图像处理方法包括:
在310中,摄像头采集拍摄场景的第一场景图像;
在320中,图像处理器对第一场景图像进行复制处理,得到第二场景图像;以及对第一场景图像进行第一图像处理后传输至应用处理器;以及将第二场景图像传输至应用处理器;
在330中,应用处理器将第一图像处理后的第一场景图像进行第二图像处理后用于预览;以及将第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
可选地,在一实施例中,本申请提供的图像处理方法还包括:
图像处理器记录第一场景图像的采集时间戳;
图像处理器将第二场景图像传输至应用处理器,包括:
图像处理器将第二场景图像与采集时间戳关联后传输至应用处理器。
可选地,在一实施例中,电子设备还包括图像缓存队列,本申请提供的图像处理方法还包括:
应用处理器将第二场景图像及其关联的采集时间戳写入图像缓存队列中。
可选地,在一实施例中,应用处理器将第二场景图像进行第三图像处理后用于拍照,包括:
应用处理器在接收到拍照操作时,若第二场景图像关联的采集时间戳与拍摄操作的接收时刻匹配,则从图像缓存队列中提取第二场景图像进行第三图像处理后作为拍照操作的结果图像。
可选地,在一实施例中,图像处理器对第一场景图像进行第一图像处理,包括:
图像处理器通过第一预设图像处理算法对第一场景图像进行算法处理;以及通过预训练的第一图像处理模型对算法处理后的第一场景图像进行模型处理,以完成第一图像处理。
可选地,在一实施例中,应用处理器将第一图像处理后的第一场景图像进行第二图像处理,包括:
应用处理器通过第二预设图像处理算法对第一图像处理后的第一场景图像进行算法处理,以完成第二图像处理;
应用处理器将第二场景图像进行第三图像处理,包括:
应用处理器通过第三预设图像处理算法对第二场景图像进行算法处理,通过预训练的第二图像处理模型对算法处理后的第二场景图像进行模型处理,以完成第三图像处理;
其中,第三预设图像处理算法处理后的图像效果类型与经第一预设图像处理算法、第二预设图像处理算法处理后的图像效果类型相同,第二图像处理模型的模型处理类型与第一图像处理模型的模型处理类型相同。
可选地,在一实施例中,第一预设图像处理算法需求的处理资源小于第二预设图像处理算法需求的处理资源,第一图像处理模型的模型处理能力小于第二图像处理模型的模型处理能力。
应当说明的是,具体说明请参照以上实施例中关于电子设备的相关说明,在此不再赘述。
请参照图6,本申请还提供一种适于本申请提供的图像处理器的图像处理方法,该图像处理器包括第一数据接口、复制模块以及第一图像处理模块,如图6所示,该图像处理方法包括:
在410中,第一数据接口从摄像头获取拍摄场景的第一场景图像;
在420中,复制模块对第一场景图像进行复制处理,得到第二场景图像;
在430中,第一图像处理模块对第一场景图像进行第一图像处理;
在440中,第一数据接口将第一图像处理后的第一场景图像传输至应用处理器,使得应用处理器将第一图像处理后的第一场景图像进行第二图像处理后用于预览;以及将第二场景图像传输至应用处理器,使得应用处理器将第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
可选地,在一实施例中,图像处理器还包括记录模块,本申请提供的图像处理方法还包括:
记录模块记录第一场景图像的采集时间戳,并将第二场景图像与采集时间戳关联;
第一数据接口将第二场景图像传输至应用处理器,包括:
第一数据接口用于将关联的第二场景图像和采集时间戳传输至应用处理器,使得应用处理器根据采集时间戳将第二场景图像进行第二图像处理后用于拍照。
可选地,在一实施例中,第一图像处理模块包括第一处理单元和第二处理单元,第一图像处理模块对第一场景图像进行第一图像处理,包括:
第一处理单元通过第一预设图像处理算法对第一场景图像进行算法处理;
第二处理单元通过预训练的第一图像处理模型对算法处理后的第一场景图像进行模型处理,以完成第一图像处理。
应当说明的是,具体说明请参照以上实施例中关于图像处理器的相关说明,在此不再赘述。
本申请还提供一种应用处理器,如图7所示,该应用处理器500包括:
第二数据接口510,用于从图像处理器获取第一图像处理后的第一场景图像,以及获取由第一场景图像复制得到的第二场景图像;
第二图像处理模块520,用于将第一图像处理后的第一场景图像进行第二图像处理后用于预览;
第三图像处理模块530,用于将第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
可选地,在一实施例中,第二数据接口510用于从图像处理器获取第二场景图像及其关联的采集时间戳,采集时间戳由图像处理器记录第一场景图像的采集时间戳得到。
可选地,在一实施例中,第二数据接口510用于将第二场景图像及其关联的采集时间戳写入图像缓存队列中。
可选地,在一实施例中,第三图像处理模块530用于在接收到拍照操作时,若第二场景图像关联的采集时间戳与拍摄操作的接收时刻匹配,则从图像缓存队列中提取第二场景图像进行第三图像处理后作为拍照操作的结果图像。
可选地,在一实施例中,第一图像处理由图像处理器通过第一预设图像处理算法对所述第一场景图像进行算法处理,以及通过预训练的第一图像处理模型对算法处理后的第一场景图像进行模型处理完成。
可选地,在一实施例中,第二图像处理模块520用于通过第二预设图像处理算法对第一图像处理后的第一场景图像进行算法处理,以完成第二图像处理;
第三图像处理模块530用于通过第三预设图像处理算法对第二场景图像进行算法处理,通过预训练的第二图像处理模型对算法处理后的第二场景图像进行模型处理,以完成第三图像处理。
可选地,在一实施例中,第三预设图像处理算法处理后的图像效果类型与经第一预设图像处理算法、第二预设图像处理算法处理后的图像效果类型相同,第二图像处理模型的模型处理类型与第一图像处理模型的模型处理类型相同。
可选地,在一实施例中,第一预设图像处理算法需求的处理资源小于第二预设图像处理算法需求的处理资源,第一图像处理模型的模型处理能力小于第二图像处理模型的模型处理能力。
应当说明的是,具体说明请参照以上实施例中的相关说明,在此不再赘述。
请参照图8,本申请还提供一种适于本申请提供的应用处理器的图像处理方法,该应用处理器包括第二数据接口、第二图像处理模块以及第三图像处理模块,如图8所示,该图像处理方法包括:
在610中,第二数据接口从图像处理器获取第一图像处理后的第一场景图像,以及获取由第一场景图像复制得到的第二场景图像;
在620中,第二图像处理模块将第一图像处理后的第一场景图像进行第二图像处理后用于预览;
在630中,第三图像处理模块将第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
可选地,在一实施例中,第二数据接口从图像处理器获取由第一场景图像复制得到的第二场景图像,包括:
第二数据接口从图像处理器获取第二场景图像及其关联的采集时间戳,采集时间戳由图像处理器记录第一场景图像的采集时间戳得到。
可选地,在一实施例中,本申请提供的图像处理方法还包括:
第二数据接口将第二场景图像及其关联的采集时间戳写入图像缓存队列中。
可选地,在一实施例中,第三图像处理模块将第二场景图像进行第三图像处理后用于拍照,包括:
在接收到拍照操作时,若第二场景图像关联的采集时间戳与拍摄操作的接收时刻匹配,则第三图像处理模块从图像缓存队列中提取第二场景图像进行第三图像处理后作为拍照操作的结果图像。
可选地,在一实施例中,第一图像处理由图像处理器通过第一预设图像处理算法对所述第一场景图像进行算法处理,以及通过预训练的第一图像处理模型对算法处理后的第一场景图像进行模型处理完成。
可选地,在一实施例中,第二图像处理模块将第一图像处理后的第一场景图像进行第二图像处理,包括:
第二图像处理模块通过第二预设图像处理算法对第一图像处理后的第一场景图像进行算法处理,以完成第二图像处理;
第三图像处理模块将第二场景图像进行第三图像处理后用于拍照,包括:
第三图像处理模块通过第三预设图像处理算法对第二场景图像进行算法处理,通过预训练的第二图像处理模型对算法处理后的第二场景图像进行模型处理,以完成第三图像处理。
可选地,在一实施例中,第三预设图像处理算法处理后的图像效果类型与经第一预设图像处理算法、第二预设图像处理算法处理后的图像效果类型相同,第二图像处理模型的模型处理类型与第一图像处理模型的模型处理类型相同。
可选地,在一实施例中,第一预设图像处理算法需求的处理资源小于第二预设图像处理算法需求的处理资源,第一图像处理模型的模型处理能力小于第二图像处理模型的模型处理能力。
应当说明的是,具体说明请参照以上实施例中的相关说明,在此不再赘述。
以上对本申请实施例提供的电子设备、图像处理器、应用处理器及图像处理方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请。同时,对于本领域的技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种电子设备,其特征在于,包括:
摄像头,用于采集拍摄场景的第一场景图像;
图像处理器,用于对所述第一场景图像进行复制处理,得到第二场景图像;以及对第一场景图像进行第一图像处理后传输至应用处理器;以及将第二场景图像传输至应用处理器;
应用处理器,用于将第一图像处理后的第一场景图像进行第二图像处理后用于预览;以及将所述第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
2.如权利要求1所述的电子设备,其特征在于,所述图像处理器用于记录所述第一场景图像的采集时间戳;以及将所述第二场景图像与所述采集时间戳关联后传输至所述应用处理器。
3.如权利要求2所述的电子设备,其特征在于,所述电子设备还包括图像缓存队列,所述应用处理器还用于将所述第二场景图像及其关联的所述采集时间戳写入所述图像缓存队列中。
4.如权利要求3所述的电子设备,其特征在于,所述应用处理器用于在接收到拍照操作时,若所述第二场景图像关联的所述采集时间戳与所述拍照操作的接收时刻匹配,则从所述图像缓存队列中提取所述第二场景图像进行第三图像处理后作为所述拍照操作的结果图像。
5.如权利要求1所述的电子设备,其特征在于,所述图像处理器用于通过第一预设图像处理算法对所述第一场景图像进行算法处理;以及通过预训练的第一图像处理模型对算法处理后的第一场景图像进行模型处理,以完成第一图像处理。
6.如权利要求5所述的电子设备,其特征在于,所述应用处理器用于通过第二预设图像处理算法对第一图像处理后的第一场景图像进行算法处理,以完成第二图像处理;以及通过第三预设图像处理算法对第二场景图像进行算法处理,通过预训练的第二图像处理模型对算法处理后的第二场景图像进行模型处理,以完成第三图像处理;
其中,所述第三预设图像处理算法处理后的图像效果类型与经所述第一预设图像处理算法、所述第二预设图像处理算法处理后的图像效果类型相同,所述第二图像处理模型的模型处理类型与所述第一图像处理模型的模型处理类型相同。
7.如权利要求6所述的电子设备,其特征在于,所述第一预设图像处理算法需求的处理资源小于所述第二预设图像处理算法需求的处理资源,所述第一图像处理模型的模型处理能力小于所述第二图像处理模型的模型处理能力。
8.一种图像处理器,其特征在于,包括:
第一数据接口,用于从摄像头获取拍摄场景的第一场景图像;
复制模块,用于对所述第一场景图像进行复制处理,得到第二场景图像;
第一图像处理模块,用于对第一场景图像进行第一图像处理;
所述第一数据接口,还用于将第一图像处理后的第一场景图像传输至应用处理器,使得所述应用处理器将第一图像处理后的第一场景图像进行第二图像处理后用于预览;以及将所述第二场景图像传输至应用处理器,使得所述应用处理器将所述第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
9.一种应用处理器,其特征在于,包括:
第二数据接口,用于从图像处理器获取第一图像处理后的第一场景图像,以及获取由第一场景图像复制得到的第二场景图像;
第二图像处理模块,用于将第一图像处理后的第一场景图像进行第二图像处理后用于预览;
第三图像处理模块,用于将所述第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
10.一种图像处理方法,应用于电子设备,其特征在于,所述电子设备包括摄像头、图像处理器以及应用处理器,所述图像处理方法包括:
摄像头采集拍摄场景的第一场景图像;
图像处理器对所述第一场景图像进行复制处理,得到第二场景图像;以及对第一场景图像进行第一图像处理后传输至应用处理器;以及将第二场景图像传输至应用处理器;
应用处理器将第一图像处理后的第一场景图像进行第二图像处理后用于预览;以及将所述第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
11.一种图像处理方法,应用于图像处理器,其特征在于,所述图像处理器包括第一数据接口、复制模块和第一图像处理模块,所述图像处理方法包括:
第一数据接口从摄像头获取拍摄场景的第一场景图像;
复制模块对所述第一场景图像进行复制处理,得到第二场景图像;
第一图像处理模块对第一场景图像进行第一图像处理;
所述第一数据接口将第一图像处理后的第一场景图像传输至应用处理器,使得所述应用处理器将第一图像处理后的第一场景图像进行第二图像处理后用于预览;以及将所述第二场景图像传输至应用处理器,使得所述应用处理器将所述第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
12.一种图像处理方法,应用于应用处理器,其特征在于,所述应用处理器包括第二数据接口、第二图像处理模块和第三图像处理模块,所述图像处理方法包括:
第二数据接口从图像处理器获取第一图像处理后的第一场景图像,以及获取由第一场景图像复制得到的第二场景图像;
第二图像处理模块将第一图像处理后的第一场景图像进行第二图像处理后用于预览;
第三图像处理模块将所述第二场景图像进行第三图像处理后用于拍照;
其中,第三图像处理后的第二场景图像和经第一图像处理、第二图像处理后的第一场景图像具有相同类型的图像效果。
CN202110139117.8A 2021-02-01 2021-02-01 电子设备、图像处理器、应用处理器及图像处理方法 Active CN114845036B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110139117.8A CN114845036B (zh) 2021-02-01 2021-02-01 电子设备、图像处理器、应用处理器及图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110139117.8A CN114845036B (zh) 2021-02-01 2021-02-01 电子设备、图像处理器、应用处理器及图像处理方法

Publications (2)

Publication Number Publication Date
CN114845036A CN114845036A (zh) 2022-08-02
CN114845036B true CN114845036B (zh) 2023-09-12

Family

ID=82560939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110139117.8A Active CN114845036B (zh) 2021-02-01 2021-02-01 电子设备、图像处理器、应用处理器及图像处理方法

Country Status (1)

Country Link
CN (1) CN114845036B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284076A (zh) * 2013-07-11 2015-01-14 中兴通讯股份有限公司 一种处理预览图像的方法、装置及移动终端
CN104754196A (zh) * 2013-12-30 2015-07-01 三星电子株式会社 电子装置及方法
CN107277353A (zh) * 2017-06-30 2017-10-20 维沃移动通信有限公司 一种拍照的方法和移动终端
CN110166709A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质
CN110381263A (zh) * 2019-08-20 2019-10-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094500A (ko) * 2019-01-30 2020-08-07 삼성전자주식회사 이미지 프레임 데이터에 포함된 라인 데이터를 복수의 구간들로 처리하는 전자 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104284076A (zh) * 2013-07-11 2015-01-14 中兴通讯股份有限公司 一种处理预览图像的方法、装置及移动终端
CN104754196A (zh) * 2013-12-30 2015-07-01 三星电子株式会社 电子装置及方法
CN107277353A (zh) * 2017-06-30 2017-10-20 维沃移动通信有限公司 一种拍照的方法和移动终端
CN110166709A (zh) * 2019-06-13 2019-08-23 Oppo广东移动通信有限公司 夜景图像处理方法、装置、电子设备以及存储介质
CN110381263A (zh) * 2019-08-20 2019-10-25 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备

Also Published As

Publication number Publication date
CN114845036A (zh) 2022-08-02

Similar Documents

Publication Publication Date Title
CN109671106B (zh) 一种图像处理方法、装置与设备
CN101356805B (zh) 图像感测设备及其控制方法,信息处理设备,打印设备,打印数据生成方法
US9961272B2 (en) Image capturing apparatus and method of controlling the same
WO2019000676A1 (zh) 一种利用双摄像头实现三维图像的方法及装置
CN102075683A (zh) 数字图像处理设备和数字图像处理设备的拍摄方法
TW201021555A (en) Pre- and post-shutter signal image capture and sort for digital camera
WO2020259250A1 (zh) 图像处理方法、图像处理器、拍摄装置和电子设备
WO2022148446A1 (zh) 图像处理方法、装置、设备及存储介质
KR20150078127A (ko) 촬영 장치 및 이의 제어 방법
KR102072731B1 (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
WO2021238522A1 (zh) 多媒体处理芯片、电子设备和图像处理方法
CN112565603B (zh) 图像处理方法、装置及电子设备
WO2024109207A1 (zh) 显示缩略图像的方法和电子设备
CN114845036B (zh) 电子设备、图像处理器、应用处理器及图像处理方法
RU2655662C1 (ru) Устройство обработки изображений и способ обработки изображений
CN114095660B (zh) 图像显示方法、装置、存储介质及电子设备
US20220141374A1 (en) Intelligent flash intensity control systems and methods
CN113873141B (zh) 电子设备
CN113747145B (zh) 图像处理电路、电子设备和图像处理方法
CN114298889A (zh) 图像处理电路和图像处理方法
CN113873142A (zh) 多媒体处理芯片、电子设备和动态图像处理方法
JP2012533922A (ja) 映像処理方法及び装置
US20160373713A1 (en) Image processing apparatus, image processing method, and program
CN103458191A (zh) 数码成像方法及数码成像装置
WO2023210334A1 (ja) 画像処理装置、撮像装置及びそれらの制御方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant