CN112565603A - 图像处理方法、装置及电子设备 - Google Patents

图像处理方法、装置及电子设备 Download PDF

Info

Publication number
CN112565603A
CN112565603A CN202011380615.3A CN202011380615A CN112565603A CN 112565603 A CN112565603 A CN 112565603A CN 202011380615 A CN202011380615 A CN 202011380615A CN 112565603 A CN112565603 A CN 112565603A
Authority
CN
China
Prior art keywords
image
stored
processing
previewed
processing chip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011380615.3A
Other languages
English (en)
Other versions
CN112565603B (zh
Inventor
付俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Vivo Mobile Communication Co Ltd
Original Assignee
Vivo Mobile Communication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Vivo Mobile Communication Co Ltd filed Critical Vivo Mobile Communication Co Ltd
Priority to CN202011380615.3A priority Critical patent/CN112565603B/zh
Publication of CN112565603A publication Critical patent/CN112565603A/zh
Priority to EP21897217.2A priority patent/EP4254934A4/en
Priority to KR1020237022064A priority patent/KR20230113786A/ko
Priority to PCT/CN2021/134216 priority patent/WO2022111717A1/zh
Application granted granted Critical
Publication of CN112565603B publication Critical patent/CN112565603B/zh
Priority to US18/325,682 priority patent/US20230300475A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了一种图像处理方法、装置及电子设备，属于图像处理技术领域。能够解决电子设备拍摄的图像质量不佳的问题。该方法包括：通过图像传感器获取实时采集的图像；通过中央处理芯片根据该实时采集的图像，确定待存储的图像和待预览的图像；通过图像处理芯片对该待存储的图像和该待预览的图像进行增强处理；通过存储器存储增强处理后的图像，并在显示屏上显示增强处理后的待预览的图像。

Description

图像处理方法、装置及电子设备
技术领域
本申请属于图像处理技术领域，具体涉及一种图像处理方法、装置及电子设备。
背景技术
随着通信技术的发展，电子设备中的功能越来越强大，例如，用户可以使用电子设备拍摄视频。
通常，在较暗环境下，由于相机传感器以及图像信号处理器(image signalprocessing，ISP)的限制，用户使用电子设备无法取得理想的拍摄效果。目前，可以通过改变相机传感器的色彩滤波器阵列，即通过增加传感器的通光量，来达到提升亮度的效果。
然而，上述方式中，相机硬件结构的改变，可能导致最终生成的图像出现偏色现象，从而导致电子设备拍摄的图像质量不佳。
发明内容
本申请实施例的目的是提供一种图像处理方法、装置及电子设备，能够解决电子设备拍摄的图像质量不佳的问题。
为了解决上述技术问题，本申请是这样实现的：
第一方面，本申请实施例提供了一种图像处理方法，该方法包括：通过图像传感器获取实时采集的图像；通过中央处理芯片根据实时采集的图像，确定待存储的图像和待预览的图像；通过图像处理芯片对待存储的图像和待预览的图像进行增强处理；通过存储增强处理后的待存储的图像，并在显示屏上显示增强处理后的待预览的图像。
第二方面，本申请实施例提供了一种图像处理装置，该图像处理装置包括：图像传感器，用于获取实时采集的图像；中央处理芯片，用于根据实时采集的图像，确定待存储的图像和待预览的图像；图像处理模块，用于对待存储的图像和待预览的图像进行增强处理；存储器，用于存储增强处理后的待存储的图像；显示器，用于显示增强处理后的待预览的图像。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
第六方面，本申请实施例提供了一种计算机程序产品，所述程序产品被至少一个处理器执行以实现第一方面所述的方法。
在本申请实施例中，在采集图像的过程中，电子设备可以通过图像传感器获取实时采集的图像，然后通过中央处理芯片根据该实时采集的图像，确定待存储的图像和待预览的图像(即两路图像)，然后在存储器保存待存储的图像以及显示屏显示待预览的图像之前，可以先通过图像处理芯片对待存储的图像和待预览的图像进行增强处理，然后在电子设备的存储器中保存增强处理后的图像，在电子设备的显示屏上显示增强处理后的图像。由于在保存以及显示图像之前，先通过图像处理芯片进行了增强处理，因此采用本申请的图像处理方法，在采集图像的过程中，一方面，将增强的处理分给中央处理芯片之外的其他芯片处理，可以降低电子设备的中央处理芯片的功耗，可以无需改变相机的硬件结构，另一方面，在保存采集的图像之前，先通过软件处理便可以改善保存的图像质量，在显示采集的图像之前，也可以通过软件处理可以改善显示的图像的显示效果。例如，在夜间拍摄视频的情况下，可以改善夜间拍摄的视频图像质量不佳的问题。
附图说明
图1为本申请实施例提供的一种图像处理方法的流程示意图；
图2为本申请实施例提供的一种拍摄预览界面示意图；
图3为本申请实施例提供的一种电子设备的结构示意图；
图4为本申请实施例提供的一种图像处理装置可能的示意图；
图5为本申请实施例提供的一种电子设备可能的结构示意图；
图6为本申请实施例提供的一种电子设备的硬件示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像处理方法进行详细地说明。
图1为本申请实施例提供的一种图像处理方法的流程示意图。如图1中所示，该方法包括下述的S101至S104：
S101、电子设备通过图像传感器获取实时采集的图像。
其中，图像可以包括静态图像和动态图像，即实时采集图像可以为拍摄静态照片、动图或视频。
示例性的，电子设备可以在采集实时图像之后，先将采集到的实时图像转换为数字图像，然后再对数字图像进行后期处理。
S102、电子设备通过中央处理芯片根据实时采集的图像，确定待存储的图像和待预览的图像。
比如，电子设备可以根据实时采集的图像转换的数字图像，确定用于存储的图像数据和待预览的图像数据。
S103、电子设备通过图像处理芯片对待存储的图像和待预览的图像进行增强处理。
需要说明的是，在本申请实施例中，增强处理可以提升采集的图像的显示质量。
可选地，在本申请实施例中，增强处理可以包括以下至少一项：提升动态范围、提亮、降噪、插帧、超分。
其中，对于真实场景，动态范围指场景中最明亮处与最黑暗处的亮度之比，扩展数字成像系统的动态范围，即高动态范围成像技术(High-Dynamic Range，HDR)，指利用硬件或者软件的方法，使输出的图像包涵尽可能大的场景亮度范围，并准确地再现场景真实的细节信息。
通常，现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境噪声干扰等影响，即数字图像为噪声图像(或含噪图像)。减少数字图像中噪声的过程称为图像降噪(或图像去噪)。
插帧，是在输入图像a和图像b间，产生一系列中间帧的过程。通过对视频图像插帧，可以提高视频画面的流畅性。
超分，可以有效提升视频显示分辨率，使低分辨率视频获得高分辨率的显示体验。
可选地，对实时预览图像的增强处理，可以与对待存储图像的增强处理的具体处理完全相同，也可以部分相同，也可以各不相同，本申请实施例对此不作具体限定。
S104、电子设备通过存储器存储增强处理后的待存储的图像，并在显示屏上显示增强处理后的待预览的图像。
也就是说，在本申请实施例中，电子设备保存的图像可以为经过上述增强处理后的图像。即，在拍摄用户可以在电子设备中查找到增强处理后的图像、视频。
图2为本申请实施例提供的一种拍摄预览界面示意图，用户可以在该界面中进行视频图像的采集，电子设备在对预览图像进行增强处理后，可以在该预览界面中显示增强处理后的预览图像。
本申请实施例提供的图像处理方法，在采集图像的过程中，电子设备可以通过图像传感器获取实时采集的图像，然后通过中央处理芯片根据该实时采集的图像，确定待存储的图像和待预览的图像(即两路图像)，然后在存储器保存待存储的图像以及显示屏显示待预览的图像之前，可以先通过图像处理芯片对待存储的图像和待预览的图像进行增强处理，然后在电子设备的存储器中保存增强处理后的图像，在电子设备的显示屏上显示增强处理后的图像。由于在保存以及显示图像之前，先通过图像处理芯片进行了增强处理，因此采用本申请的图像处理方法，在采集图像的过程中，一方面，将增强的处理分给中央处理芯片之外的其他芯片处理，可以降低电子设备的中央处理芯片的功耗，可以无需改变相机的硬件结构，另一方面，在保存采集的图像之前，先通过软件处理便可以改善保存的图像质量，在显示采集的图像之前，也可以通过软件处理可以改善显示的图像的显示效果。例如，在夜间拍摄视频的情况下，可以改善夜间拍摄的视频图像质量不佳的问题。
可选地，中央处理芯片包括图像信号处理器，本申请实施例提供的图像处理方法，上述的S102可以通过下述的S102a执行：
S102a、电子设备通过图像信号处理器对实时采集的图像进行第一处理，生成待存储的图像和待预览的图像。
示例性地，第一处理可以为电子设备将实时采集的同一份图像数据向显示模块和存储模块分别传输；或者复制为两份图像数据，一份用于存储、一份用于显示。
比如，电子设备可以对数字图像进行分离，分离为两路视频图像数据，第一路视频图像数据为用于预览的视频图像，第二路视频图像数据为用于存储的视频图像。
基于该方案，电子设备可以在获取到实时采集的图像之后，先从该实时采集的图像中，分离出用于预览的图像数据，以及用户存储的图像数据，从而方便后续对不同用途的图像数据的后期处理。
可选地，中央处理芯片包括算法模块，本申请实施例提供的图像处理方法，还可以包括下述的S105和S106：
S105、电子设备通过图像处理芯片生成待存储的图像的运动向量。
示例性的，在对实时待预览的图像以及待存储的图像进行增强处理的过程中，电子设备可以生成并输出每帧图像对应的运动向量MV。
S106、电子设备通过算法模块根据运动向量，对增强处理后的待存储的图像进行第二处理。
例如，电子设备可以使用运动向量MV对上述增强处理后的图像再次进行数据增强(即，第二处理)，进行其他的图像处理，使得图像的显示效果更佳。
基于该方案，电子设备可以在对图像进行增强处理的过程中，获取每帧图像的运动向量，可以为电子设备后续继续进行其他的图像处理做准备，无需电子设备再额外进行处理获取运动向量，减少了电子设备处理图像的复杂度。
可选地，中央处理芯片包括编码器；在本申请实施例提供的图像处理方法中，上述S104中“通过存储器存储增强处理后的待存储的图像”具体可以通过下述的S104a：
S104a、电子设备通过编码器对增强处理后的待存储的图像进行编码，并将编码后的待存储的图像存储至存储器。
其中，编码器为视频编码器或者图片编码器。
基于该方案，电子设备具体可以在拍摄静态图片的过程中，可以使用图片编码器对增强处理后的待存储的图片进行图片编码，从而可以得到显示效果更佳的图片；在拍摄视频的过程中，可以使用视频编码器对增强处理后的待存储的视频进行视频编码，从而可以得到显示效果更佳的视频。
图3为本申请实施例提供的一种电子设备的结构示意图。如图3中所示，可包括图像传感器30、中央处理芯片31、外部图像处理芯34、存储器37和显示屏38；其中，中央处理芯片31包括：图像信号处理器32、显示处理单33、算法模块35和编码器36。
(1)图像传感器30
用于采集实时画面，得到实时采集的图像，并将实时采集的图像转换为数字信号，即数字图像，然后可以将转换后的数字图像通过移动行业处理器接口-摄像机串行接口(mobile industry processor interface-camera serial interface，MIPI CSI)传输给中央处理芯片31中的图像信号处理器32。
(2)图像信号处理器32
用于对数字图像进行后期处理。图像信号处理器对原始RAW图像进行图像处理与色彩转换，输出YUV格式的待预览的图像数据和待存储的图像数据。其中，在截屏过程中，图像数据为图片数据；在录屏过程中，图像数据为视频数据。例如，在录屏过程中，可以根据图像传感器30通过MIPI CSI发送的数字图像生成两路数字图像，一路为待预览的视频图像(图3中记为预览数据)，一路为待存储的视频图像(图3中记为录像数据)。图像信号处理器32将两路数字图像分别经过显示处理单元传输给外部图像处理芯片34。
其中，显示处理单元：用来将图像数据转换为RGB数据，并发送给外部显示设备。
(3)外部图像处理芯片34
用于对图像信号处理器32经过显示处理单元33的MIPI DSI接口发送的两路数字图像进行增强处理，生成并输出每帧图像对应的运动向量MV。
示例性地，对数字图像的增强处理，包括对待预览的视频图像(预览数据)的增强处理，以及对待存储的视频图像(录像数据)的增强处理。
可选地，增强处理包括：提亮、提高动态范围、降噪、插帧、超分、锐化、裁剪、色彩校正等图像处理。
外部图像处理芯片34可以将增强处理后的预览数据通过MIPI显示接口(DisplaySerial Interface，DSI)传输给显示屏38。
外部图像处理芯片34可以将运动向量MV以及增强处理后的录像数据通过MIPICSI回传给图像信号处理器32。图像信号处理器32再将运动向量MV以及增强处理后的录像数据传输给算法模块35进行后处理。
其中，DSI为位于处理器和显示模组之间的高速串行接口。CSI为位于处理器和摄像模组之间的高速串行接口。
本申请实施例中，算法模块35中可以包括目标算法，用于根据图像信号处理器传输的运动向量对增强后的录像数据进行第二处理。
(4)显示屏38
可以为液晶显示屏(Liquid Crystal Display，LCD)，用于接收外部图像处理芯片34传输的增强处理后的预览数据，并显示接收的增强处理后的待预览的图像。
(5)算法模块35
用于对数据图像进行第二处理(其他的数据增强)。例如，再次进行降噪等处理。
接收图像信号处理器32传输的运动向量MV以及增强处理后的录像数据，并根据运动向量MV对增强处理后的录像数据再次进行其他数据增强。
需要说明的是，算法模块，可以为一个单独的模块，也可以为集成在图像信号处理器32中的一个模块，本申请实施例对此不作具体限定。
(6)编码器36
编码器36可以为图像编码器，也可以为视频编码器，也可以为包括图像编码和视频编码的编码器。用于对图像数据进行编码。
示例性地，接收算法模块35传输的增强处理后的录像数据，然后对增强处理后的录像数据进行编码，然后再传输给存储器37。
需要说明的是，在电子设备未对增强处理后的录像数据进行第二处理的情况下，图像信号处理器在接收到增强后的录像数据后，可以直接将增强处理后的录像数据传输给编码器。
(7)存储器37
用于存储视频编码器36传输的编码后的录像数据。
存储器37，可以为内嵌式存储器(Embedded Multi Media Card，EMMC)，Flash存储器(Flash Memory)。
基于该方案，电子设备可以在拍摄图像的场景下，在采集到图像数据之后，编码存储采集的图像之前，可以先通过外部图像处理芯片对图像数据进行增强处理，将待预览的图像数据进行增强处理，可以使得显示屏上显示的效果更佳，将待存储的图像数据进行增强处理，可以使得保存的图像的显示效果更佳，通过一个外部图像处理芯片进行增强处理，一方面，将增强的处理分给中央处理芯片之外的其他芯片处理，可以降低电子设备的中央处理芯片的功耗，另一方面，通过外部图像处理芯片实现对采集的图像的增强处理，在无需改变电子设备的相机的硬件结构的前提下，改善了拍摄的图像的质量不佳的问题，从而也降低了成本。
需要说明的是，本申请实施例提供的图像处理方法，执行主体可以为图像处理装置，或者该图像处理装置中的用于执行视频图像处理的方法的控制模块。本申请实施例中以图像处理装置执行视频图像处理的方法为例，说明本申请实施例提供的视频图像处理的装置。
图4为本申请实施例提供的一种图像处理装置的结构示意图，如图4中所示，图像处理装置400包括：图像传感器401，用于获取实时采集的图像；中央处理芯片402，用于根据所述实时采集的图像，确定待存储的图像和待预览的图像；图像处理芯片403，用于对所述待存储的图像和所述待预览的图像进行增强处理；存储器404，用于存储增强处理后的所述待存储的视频图像；显示屏405，用于显示增强处理后的待预览的图像。
可选地，中央处理芯片包括：图像信号处理器，用于对实时采集的图像进行第一处理，生成待存储的图像和待预览的图像。
可选地，图像处理芯片，还用于生成待存储的图像的运动向量；中央处理芯片包括：算法模块，用于根据运动向量，对增强处理后的待存储的图像进行第二处理。
可选地，中央处理芯片包括编码器，编码器用于对增强处理后的待存储的图像进行编码；存储器具体用于：将编码后的待存储的图像存储至存储器；其中，编码器为视频编码器或者图片编码器。
可选地，增强处理包括以下至少一项：提升动态范围、提亮、降噪、插帧、超分。
本申请实施例中的图像处理装置，在采集图像的过程中，图像处理装置可以通过图像传感器获取实时采集的图像，然后通过中央处理芯片根据该实时采集的图像，确定待存储的图像和待预览的图像(即两路图像)，然后在存储器保存待存储的图像以及显示屏显示待预览的图像之前，可以先通过图像处理芯片对待存储的图像和待预览的图像进行增强处理，然后在图像处理装置的存储器中保存增强处理后的图像，在图像处理装置的显示屏上显示增强处理后的图像。由于在保存以及显示图像之前，先通过图像处理芯片进行了增强处理，因此采用本申请的图像处理方法，在采集图像的过程中，一方面，将增强的处理分给中央处理芯片之外的其他芯片处理，可以降低图像处理装置的中央处理芯片的功耗，可以无需改变相机的硬件结构，另一方面，在保存采集的图像之前，先通过软件处理便可以改善保存的图像质量，在显示采集的图像之前，也可以通过软件处理可以改善显示的图像的显示效果。例如，在夜间拍摄视频的情况下，可以改善夜间拍摄的视频图像质量不佳的问题。
本申请实施例中的图像处理装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的图像处理装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的图像处理装置能够实现图1至图3的方法实施例中图像处理装置实现的各个过程，为避免重复，这里不再赘述。
可选地，如图5所示，本申请实施例还提供一种电子设备500，包括处理器501，存储器502，存储在存储器502上并可在处理器501上运行的程序或指令，该程序或指令被处理器501执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
可选地，本申请实施例还提供一种电子设备包括：图像传感器、中央处理芯片、图像处理芯片、存储器和显示屏；图像传感器，用于获取实时采集的图像；中央处理芯片，用于根据所述实时采集的图像，确定待存储的图像和待预览的图像；图像处理芯片，用于对所述待存储的图像和所述待预览的图像进行增强处理；存储器，用于存储增强处理后的所述待存储的图像；显示屏，用于显示增强处理后的待预览的图像。
图6为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
需要说明的是，传感器1005可以实现图像传感器401的功能，处理器1010可以实现中央处理芯片402的功能，显示单元1006可以用于实现显示屏404的功能。
可选地，电子设备1000还可以包括一个外部图像处理芯片，用于实现图像处理芯片403的功能。
可选地，处理器1010可以实现上述的中央处理芯片的功能和外部图像处理芯片的功能。
本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图6中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，传感器1005，用于获取实时采集的图像和待预览的图像；处理器1010，用于根据所述实时采集的图像，确定待存储的图像；外部图像处理芯片对待存储的图像和待预览的图像进行增强处理；存储器1009，用于存储增强处理后的所述待存储的视频图像；显示单元1006，用于显示增强处理后的待预览的图像。
本申请实施例提供一种电子设备，在采集图像的过程中，电子设备可以通过传感器获取实时采集的图像，然后通过处理器根据该实时采集的图像，确定待存储的图像和待预览的图像(即两路图像)，然后在存储器保存待存储的图像以及显示屏显示待预览的图像之前，可以先通过外部图像处理芯片对待存储的图像和待预览的图像进行增强处理，然后在电子设备的存储器中保存增强处理后的图像，在电子设备的显示屏上显示增强处理后的图像。由于在保存以及显示图像之前，先通过外部图像处理芯片进行了增强处理，因此采用本申请的图像处理方法，在采集图像的过程中，一方面，将增强的处理分给处理器之外的其他芯片处理，可以降低电子设备的处理器的功耗，可以无需改变相机的硬件结构，另一方面，在保存采集的图像之前，先通过软件处理便可以改善保存的图像质量，在显示采集的图像之前，也可以通过软件处理可以改善显示的图像的显示效果。例如，在夜间拍摄视频的情况下，可以改善夜间拍摄的视频图像质量不佳的问题。
可选地，处理器1010(即中央处理芯片)包括：图像信号处理器，用于对实时采集的图像进行第一处理，生成待存储的图像和待预览的图像。
可选地，外部图像处理芯片，还用于生成待存储的图像的运动向量；处理器(即中央处理芯片)包括：算法模块，用于根据运动向量，对增强处理后的待存储的图像进行第二处理。
可选地，处理器1010(中央处理芯片)包括编码器，编码器用于对增强处理后的待存储的图像进行编码；存储器1009具体用于：将编码后的待存储的图像存储至存储器；其中，编码器为视频编码器或者图片编码器。
可选地，增强处理包括以下至少一项：提升动态范围、提亮、降噪、插帧、超分。
应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元1007包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1009可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。
本申请实施例还提供一种可读存储介质，可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例另提供一种计算机程序产品，所述程序产品被存储在非易失的存储介质中，所述程序产品被至少一个处理器执行以实现上述图像处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：
通过图像传感器获取实时采集的图像；
通过中央处理芯片根据所述实时采集的图像，确定待存储的图像和待预览的图像；
通过图像处理芯片对所述待存储的图像和所述待预览的图像进行增强处理；
通过存储器存储增强处理后的所述待存储的图像，并在显示屏上显示增强处理后的所述待预览的图像。
2.根据权利要求1所述的方法，其特征在于，所述中央处理芯片包括图像信号处理器，所述通过中央处理芯片根据所述实时采集的图像，确定待存储的图像和待预览的图像，包括：
通过所述图像信号处理器对所述实时采集的图像进行第一处理，生成待存储的图像和待预览的图像。
3.根据权利要求1所述的方法，其特征在于，所述中央处理芯片包括算法模块，所述方法还包括：
通过所述图像处理芯片生成所述待存储的图像的运动向量；
通过所述算法模块根据所述运动向量，对增强处理后的待存储的图像进行第二处理。
4.根据权利要求1所述的方法，其特征在于，所述中央处理芯片包括编码器；所述通过存储器存储增强处理后的所述待存储的图像，包括：
通过所述编码器对增强处理后的所述待存储的图像进行编码，并将编码后的所述待存储的图像存储至所述存储器；
其中，所述编码器为视频编码器或者图片编码器。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述增强处理包括以下至少一项：提升动态范围、提亮、降噪、插帧、超分。
6.一种图像处理装置，其特征在于，包括：
图像传感器，用于获取实时采集的图像；
中央处理芯片，用于根据所述实时采集的图像，确定待存储的图像和待预览的图像；
图像处理芯片，用于对所述待存储的图像和所述待预览的图像进行增强处理；
存储器，用于存储增强处理后的所述待存储的图像；
显示屏，用于显示增强处理后的所述待预览的图像。
7.根据权利要求6所述的图像处理装置，其特征在于，所述中央处理芯片包括：
图像信号处理器，用于对所述实时采集的图像进行第一处理，生成待存储的图像和待预览的图像。
8.根据权利要求6所述的图像处理装置，其特征在于，
所述图像处理芯片，还用于生成所述待存储的图像的运动向量；
所述中央处理芯片包括：算法模块，用于根据所述运动向量，对增强处理后的待存储的图像进行第二处理。
9.根据权利要求6所述的图像处理装置，其特征在于，所述中央处理芯片包括编码器，所述编码器用于对增强处理后的所述待存储的图像进行编码；所述存储器具体用于：将编码后的所述待存储的图像存储至所述存储器；
其中，所述编码器为视频编码器或者图片编码器。
10.根据权利要求6至9中任一项所述的图像处理装置，其特征在于，所述增强处理包括以下至少一项：提升动态范围、提亮、降噪、插帧、超分。
11.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
12.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至5中任一项所述的图像处理方法的步骤。
CN202011380615.3A 2020-11-30 2020-11-30 图像处理方法、装置及电子设备 Active CN112565603B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202011380615.3A CN112565603B (zh) 2020-11-30 2020-11-30 图像处理方法、装置及电子设备
EP21897217.2A EP4254934A4 (en) 2020-11-30 2021-11-30 IMAGE PROCESSING METHOD AND APPARATUS, AND ELECTRONIC DEVICE
KR1020237022064A KR20230113786A (ko) 2020-11-30 2021-11-30 이미지 처리 방법, 장치 및 전자 장치
PCT/CN2021/134216 WO2022111717A1 (zh) 2020-11-30 2021-11-30 图像处理方法、装置及电子设备
US18/325,682 US20230300475A1 (en) 2020-11-30 2023-05-30 Image processing method and apparatus, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011380615.3A CN112565603B (zh) 2020-11-30 2020-11-30 图像处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN112565603A true CN112565603A (zh) 2021-03-26
CN112565603B CN112565603B (zh) 2022-05-10

Family

ID=75046779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011380615.3A Active CN112565603B (zh) 2020-11-30 2020-11-30 图像处理方法、装置及电子设备

Country Status (5)

Country Link
US (1) US20230300475A1 (zh)
EP (1) EP4254934A4 (zh)
KR (1) KR20230113786A (zh)
CN (1) CN112565603B (zh)
WO (1) WO2022111717A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286001A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路、装置、方法、电子设备、图像处理芯片及主控芯片
WO2022111717A1 (zh) * 2020-11-30 2022-06-02 维沃移动通信有限公司 图像处理方法、装置及电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101754013A (zh) * 2008-11-28 2010-06-23 汤姆森许可贸易公司 由图形处理单元支持的视频解码方法
CN106851167A (zh) * 2017-01-16 2017-06-13 广东小天才科技有限公司 一种用于虚拟现实设备的显示方法、系统及虚拟现实设备
CN107509038A (zh) * 2017-10-16 2017-12-22 维沃移动通信有限公司 一种拍摄方法及移动终端
CN109167915A (zh) * 2018-09-29 2019-01-08 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
CN111699511A (zh) * 2019-12-31 2020-09-22 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553109B2 (en) * 2011-07-20 2013-10-08 Broadcom Corporation Concurrent image processing for generating an output image
TWI519155B (zh) * 2012-02-24 2016-01-21 宏達國際電子股份有限公司 影像連續拍攝方法與相關影像擷取系統
KR20150025602A (ko) * 2013-08-29 2015-03-11 삼성전자주식회사 동영상 촬영 방법 및 그 전자 장치
US9639935B1 (en) * 2016-05-25 2017-05-02 Gopro, Inc. Apparatus and methods for camera alignment model calibration
US10917582B2 (en) * 2019-01-04 2021-02-09 Gopro, Inc. Reducing power consumption for enhanced zero shutter lag
CN112565603B (zh) * 2020-11-30 2022-05-10 维沃移动通信有限公司 图像处理方法、装置及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101754013A (zh) * 2008-11-28 2010-06-23 汤姆森许可贸易公司 由图形处理单元支持的视频解码方法
CN106851167A (zh) * 2017-01-16 2017-06-13 广东小天才科技有限公司 一种用于虚拟现实设备的显示方法、系统及虚拟现实设备
CN107509038A (zh) * 2017-10-16 2017-12-22 维沃移动通信有限公司 一种拍摄方法及移动终端
CN109167915A (zh) * 2018-09-29 2019-01-08 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
CN111699511A (zh) * 2019-12-31 2020-09-22 深圳市大疆创新科技有限公司 图像处理方法、装置及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022111717A1 (zh) * 2020-11-30 2022-06-02 维沃移动通信有限公司 图像处理方法、装置及电子设备
CN114286001A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路、装置、方法、电子设备、图像处理芯片及主控芯片

Also Published As

Publication number Publication date
WO2022111717A1 (zh) 2022-06-02
EP4254934A1 (en) 2023-10-04
EP4254934A4 (en) 2024-05-08
KR20230113786A (ko) 2023-08-01
US20230300475A1 (en) 2023-09-21
CN112565603B (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
CN106331850B (zh) 浏览器直播客户端、浏览器直播系统及浏览器直播方法
CN103428427B (zh) 影像尺寸重新调整方法以及影像尺寸重新调整装置
Bandoh et al. Recent advances in high dynamic range imaging technology
CN108391060B (zh) 一种图像处理方法、图像处理装置和终端
US20230300475A1 (en) Image processing method and apparatus, and electronic device
CN112770059B (zh) 拍照方法、装置及电子设备
CN101651832A (zh) 在嵌入式设备中提供较高分辨率图像的方法和装置
WO2022111730A1 (zh) 图像处理方法、装置及电子设备
CN110889809B (zh) 图像处理方法及装置、电子设备、存储介质
CN113691816A (zh) 图像显示方法、装置、显示设备及存储介质
CN112422798A (zh) 拍照方法、装置、电子设备和存储介质
CN112508820A (zh) 图像处理方法、装置及电子设备
CN112437237A (zh) 拍摄方法及装置
CN114298889A (zh) 图像处理电路和图像处理方法
CN113852757B (zh) 视频处理方法、装置、设备和存储介质
CN115665562A (zh) 图像处理方法、电路、设备及介质
CN112887515B (zh) 视频生成方法及装置
CN115278047A (zh) 拍摄方法、装置、电子设备和存储介质
CN113891018A (zh) 拍摄方法、装置及电子设备
CN112446848A (zh) 图像处理方法、装置及电子设备
CN112367470B (zh) 图像处理方法、装置及电子设备
Monteagudo et al. AI-based telepresence for broadcast applications
CN115633251A (zh) 图像处理方法、电路及电子设备
WO2022061723A1 (zh) 一种图像处理方法、设备、终端及存储介质
CN113901009A (zh) 多媒体文件的处理方法、装置、电子设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant