CN114630016A - 图像处理方法、图像处理器及电子设备 - Google Patents

图像处理方法、图像处理器及电子设备 Download PDF

Info

Publication number
CN114630016A
CN114630016A CN202011448728.2A CN202011448728A CN114630016A CN 114630016 A CN114630016 A CN 114630016A CN 202011448728 A CN202011448728 A CN 202011448728A CN 114630016 A CN114630016 A CN 114630016A
Authority
CN
China
Prior art keywords
image
image data
processing
camera
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011448728.2A
Other languages
English (en)
Other versions
CN114630016B (zh
Inventor
刘君
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202011448728.2A priority Critical patent/CN114630016B/zh
Priority to EP21902211.8A priority patent/EP4258641A4/en
Priority to PCT/CN2021/124422 priority patent/WO2022121504A1/zh
Publication of CN114630016A publication Critical patent/CN114630016A/zh
Application granted granted Critical
Publication of CN114630016B publication Critical patent/CN114630016B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种图像处理方法、图像处理器及电子设备，其中，获取第一图像；通过图像处理器的第一处理通道处理第一图像的第一图像数据，以及通过图像处理器的第二处理通道处理第一图像的第二图像数据；获取第二图像；通过第一处理通道处理第一图像数据和第二图像数据，并释放第二处理通道；以及通过第二处理通道处理第二图像的图像数据。以此，使得图像处理器能够同时对不同的图像进行处理，达到提升图像处理器的图像处理能力的目的。将图像处理器应用于包括多个摄像头的电子设备时，能够使得图像处理器按照如上方式对来自不同摄像头的图像同时进行处理，即使在切换摄像头的过程中，也能够确保有处理后的图像可供显示，实现摄像头的无缝切换。

Description

图像处理方法、图像处理器及电子设备
技术领域
本申请涉及图像处理技术领域，特别涉及一种图像处理方法、图像处理器及电子设备。
背景技术
目前，如智能手机、平板电脑等电子设备通常配备了多个摄像头，并利用这些摄像头的特性进行拍摄，以获得最优的拍摄效果。比如，用户可以根据实际需要来切换多个摄像头中的任一摄像头用于拍摄等。为了提升摄像头拍摄图像的质量，电子设备中通常配置图像处理器对摄像头拍摄的图像进行处理。其中，图像处理器通过内部的处理通道按照既定的处理流程，对图像进行指定的处理，比如白平衡、降噪等。然而，相关技术中，图像处理器进行图像处理的能力较差。
发明内容
本申请实施例提供一种图像处理方法、图像处理器及电子设备，可以提升图像处理器的图像处理能力。
本申请提供一种图像处理方法，应用于图像处理器，该图像处理方法包括：
获取第一图像，其中，所述第一图像包括第一图像数据和第二图像数据；
通过所述图像处理器的第一处理通道处理所述第一图像数据，以及通过所述图像处理器的第二处理通道处理所述第二图像数据；
获取第二图像；
通过所述第一处理通道处理所述第一图像数据和所述第二图像数据，并释放所述第二处理通道；以及
通过所述第二处理通道处理所述第二图像的图像数据。
本申请还提供一种图像处理器，包括：
第一输入接口，用于获取第一图像，其中，所述第一图像包括第一图像数据和第二图像数据；
第二输入接口，用于获取第二图像的图像数据；
所述图像处理器用于通过第一处理通道处理所述第一图像数据，以及通过第二处理通道处理所述第二图像数据；
当所述第二输入接口获取到所述第二图像的图像数据时，所述图像处理器通过所述第一处理通道处理所述第一图像数据和所述第二图像数据，并释放所述第二通道，以及通过所述第二处理通道处理所述第二图像的图像数据。
本申请还提供一种图像处理器，包括：
存储单元，用于存储计算机程序；
处理单元，用于执行所述计算机程序以执行本申请所提供的图像处理方法。
本申请还提供一种电子设备，包括：
第一摄像头，用于采集第一图像，所述第一图像包括第一图像数据和第二图像数据；
第二摄像头，用于采集第二图像；
如本申请所提供的图像处理器，以及与所述图像处理器耦合的显示器；
所述显示器用于对所述图像处理器传送的图像进行显示。
本申请通过获取第一图像；通过图像处理器的第一处理通道处理第一图像的第一图像数据，以及通过图像处理器的第二处理通道处理第一图像的第二图像数据；获取第二图像；通过第一处理通道处理第一图像数据和第二图像数据，并释放第二处理通道；以及通过第二处理通道处理第二图像的图像数据。以此，使得图像处理器能够同时对不同的图像进行处理，达到提升图像处理器的图像处理能力的目的。将图像处理器应用于包括多个摄像头的电子设备时，能够使得图像处理器按照如上方式对来自不同摄像头的图像同时进行处理，即使在切换摄像头的过程中，也能够确保有处理后的图像可供显示，实现摄像头的无缝切换。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1为本申请实施例提供的图像处理器的结构示意图。
图2为本申请实施例提供的图像处理方法的流程示意图。
图3为2x2拜尔彩色滤波阵列的示意图。
图4为本申请提供的4x4携带彩色滤波阵列的示意图。
图5为本申请实施例中将第一图像拆分为第一图像数据和第二图像数据的示例图。
图6为本申请实施例中对第一图像进行处理的一示意图。
图7为本申请实施例中对第一图像进行处理的另一示意图。
图8为本申请实施例中同时对第一图像和第二图像进行处理的示意图。
图9为图像处理器中图像信号处理单元的细化结构示意图。
图10为本申请实施例中将第一图像数据和第二图像数据转换为第三图像数据的示意图。
图11为本申请实施例中对第二图像进行处理的一示意图。
图12为本申请实施例中对第一图像进行处理后显示的示意图。
具体实施方式
本申请实施例提供的技术方案可以应用于各种需要进行数据通信的场景，本申请实施例对此并不限定。
请参照图1，图1为本申请实施例提供的图像处理器100的结构示意图。该图像处理器100可包括第一输入接口110、第二输入接口120以及图像信号处理单元130，图像信号处理单元130包括第一处理通道1310和第二处理通道1320，其中，
第一输入接口110，用于获取第一图像，其中，第一图像包括第一图像数据和第二图像数据；
第二输入接口120，用于获取第二图像的图像数据；
图像处理器100用于通过第一处理通道1310处理第一图像数据，以及通过第二处理通道1320处理第二图像数据；
当第二输入接口120获取到第二图像的图像数据时，图像处理器100通过第一处理通道1310处理第一图像数据和第二图像数据，并释放第二通道，以及通过第二处理通道1320处理第二图像的图像数据。
应当说明的是，第一输入接口110、第二输入接口120以及图像信号处理单元130通过在电路排布、编程等硬件配置过程中来硬化实现，从而可以确保第一输入接口110、第二输入接口120以及图像信号处理单元130在工作过程中的稳定性，以及降低第一输入接口110、第二输入接口120以及图像信号处理单元130处理数据时的功耗和处理时长等。
本申请所提供的图像处理器100可以配置在具备应用处理器和多个摄像头的电子设备中，用于对摄像头拍摄的图像进行处理。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑等移动式电子设备，也可以是台式电脑、电视等固定式电子设备。此处对电子设备所配置的摄像头的类型不做具体限定，可由本领域普通技术人员根据实际需要进行配置，比如，以焦距作为摄像头类型的划分标准，电子设备可以同时配置有广角摄像头、超广角摄像头以及长焦摄像头共三个摄像头。
基于图1出的图像处理器100，本申请提供一种应用于该图像处理器100的图像处理方法，请参照图2，该图像处理方法的流程可以包括：
在210中，获取第一图像，其中，第一图像包括第一图像数据和第二图像数据。
应当说明的是，以下以图像处理器100配置于上述电子设备中，进行多摄像头间切换的应用场景为例进行说明。
通常的，摄像头由多部分组成，主要包括镜头、马达以及图像传感器等。其中，镜头用于将外界的光信号投射至图像传感器；图像传感器是将光信号转换成电信号的器件，图像传感器的每个感光单元称为一个像素，像素值的大小即表征了感应到光照强度的大小，但是无法表征颜色。为了能够表征颜色，通常在图像传感器前加一块彩色滤波阵列，每个彩色滤波单元对应一个像素，只允许单一颜色的光通过并被图像传感器感应。比如，红色滤波单元只允许红色的光通过，绿色滤波单元只允许绿色的光通过，蓝色滤波单元只允许蓝色的光通过。
拜尔彩色滤波阵列是目前智能手机、数码相机等电子设备所普遍采用的彩色滤波阵列，如图3所示，其每一2x2的阵列单元中有2个绿色滤波单元、1个红色滤波单元和1个蓝色滤波单元。
区别于传统的拜尔阵列，本申请提供了一种新的彩色滤波阵列，请参照图4，该新的彩色滤波阵列的一个4x4的阵列单元中有8个绿色滤波单元、4个红色滤波单元和4个蓝色滤波单元。
本申请实施例中，将当前时刻电子设备中被配置为用于拍摄的摄像头记为第一摄像头，其可以为电子设备配备的多个摄像头中的任一摄像头。以下以第一摄像头中配置本申请所提供的新的彩色滤波阵列为例进行说明。此外，本申请实施例中将第一摄像头实时拍摄的图像记为第一图像，可以理解的是，该第一图像并非用于特指某一特定图像，而是用于代指第一摄像头实时拍摄的图像，也即是说，只要第一摄像头启动之后，其将不间断的拍摄得到第一图像。
相应的，图像处理器110可以通过第一输入接口110从第一摄像头处获取到第一摄像头所拍摄得到的第一图像。
请参照图5(仅示出了一个4x4的阵列单元)，第一图像可以拆分为两部分图像数据，分别为第一图像数据和第二图像数据。如图5所示，第一输入接口110将第一图像拆分为第一图像数据和第二图像数据，其中，第一图像数据为绿色分量图像数据，第二图像数据为红蓝分量混合图像数据，且第一图像数据、第二图像数据与第一图像三者的尺寸相同，也即第一图像数据中绿色分量为全尺寸的，而第二图像数据中的红色分量和蓝色分量均为半尺寸。
在220中，通过图像处理器100的第一处理通道1310处理第一图像数据，以及通过图像处理器100的第二处理通道1320处理第二图像数据。
如上，图像信号处理单元130包括两路处理通道，其中处理通道被配置为对输入的图像进行指定的处理。比如，处理通道可以被配置为对输入的图像进行常规的图像处理(包括但不限于坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理等)以及神经网络处理(包基于神经网络的夜景优化处理、高动态处理、虚化处理以及超分辨率处理等)。本申请实施例中，将两路处理通道中的一路处理通道记为第一处理通道1310，将两路处理通道中的另一路处理通道记为第二处理通道1320。
可以理解的是，由于图像信号处理单元130包括第一处理通道1310和第二处理通道1320，第一输入接口110可以将第一图像数据和第二图像数据同时分配到两路处理通道中的一路处理通道进行处理，也可以将第一图像数据分配到两路处理通道中的一路处理通道进行处理，将第二图像数据分配到两路处理通道中的另一路处理通道进行处理。为了充分利用图像信号处理单元130的两路处理通道，本申请实施例中，图像处理器100在通过第一输入接口110获取到第一图像之后，进一步通过第一输入接口110将第一图像拆分为第一图像数据和第二图像数据，并将第一图像数据分配到第一处理通道1310进行处理，将第二图像数据分配到第二处理通道1320进行处理，如图6所示。
在230中，获取第二图像。
如上，电子设备配置有多个摄像头，用户可以根据实际需要切换电子设备用于拍摄的摄像头，比如，在第一摄像头为广角摄像头时，电子设备可根据用户控制切换至超广角摄像头，或者切换至长焦摄像头。
在电子设备触发由第一摄像头至第二摄像头的切换时，图像处理器100控启动第二摄像头。在第二摄像头完成启动后，第二摄像头如同第一摄像头那样，也将实时拍摄图像。为作区分，将第二摄像头实时拍摄的图像记为第二图像。应当说明的是，第二摄像头可以为电子设备配置的除第一摄像头之外的任一摄像头。
在第二摄像头启动之后，图像处理器100将通过第二输入接口120从第二摄像头获取到第二摄像头所实时拍摄的第二图像。
在240中，通过第一处理通道1310处理第一图像数据和第二图像数据，并释放第二处理通道1320。
其中，图像处理器100通过第一输入接口110将第一图像拆分的第一图像数据和第二图像数据分配到第一处理通道1310进行处理，使得第二处理通道1320能够被释放，如图7所示。此时，图像处理器100释放第二处理通道1320。
在250中，通过第二处理通道1320处理第二图像的图像数据。
可以理解的是，由于此时第二处理通道1320被释放，图像处理器即可通过第二输入接口120将获取到的第二图像的图像数据分配到第二处理通道1320进行指定的处理，如图8所示。
应当说明的是，本申请所提供的图像处理器100除了能够对图3示出的彩色滤波阵列所采集图像进行处理之外，也适用于其它类似的需要将图像拆分为两部分图像数据分别进行处理的彩色滤波阵列。
由上可知，本申请通过获取第一图像，其中，第一图像包括第一图像数据和第二图像数据；通过图像处理器的第一处理通道1310处理第一图像数据，以及通过图像处理器的第二处理通道1320处理第二图像数据；获取第二图像；通过第一处理通道1310处理第一图像数据和第二图像数据，并释放第二处理通道1320；以及通过第二处理通道1320处理第二图像的图像数据。以此，使得图像处理器能够同时对不同的图像进行处理，达到提升图像处理器的图像处理能力的目的。将图像处理器应用于包括多个摄像头的电子设备时，能够使得图像处理器按照如上方式对来自不同摄像头的图像同时进行处理，即使在切换摄像头的过程中，也能够确保有处理后的图像可供显示，实现摄像头的无缝切换。
可选地，在一实施例中，通过第一处理通道1310处理第一图像数据和第二图像数据，包括：
在侦测到对应第一图像的帧起始信号时，通过第一处理通道1310处理第一图像数据和第二图像数据。
应当说明的是，第一摄像头在每次传输第一图像至第一输入接口110时，会向第一输入接口110传输帧起始信号，该帧起始信号用于表征新的一帧第一图像的传输开始，然后再向第一输入接口110传输第一图像的图像数据。
另一方面，图像处理器100在通过第一输入接口110接收到来自第一摄像头的帧起始信号后，判定接下来第一输入接口所接收的数据为第一图像的图像数据。基于此，为了提升图像处理的连续性，图像处理器100在侦测到对应第一图像的帧起始信号时，通过第一处理通道1310处理之后接收的第一图像的第一图像数据和第二图像数据。
可选地，在一实施例中，通过第一处理通道1310处理第一图像数据和第二图像数据，包括：
(1)将第一图像数据和第二图像数据转换为第一处理通道1310能够处理的图像格式的第三图像数据；
(2)通过第一处理通道1310处理第三图像数据。
本申请实施例中，为了提升图像处理效率，将第一图像数据和第二图像数据打包为一个图像数据进行处理。其中，图像处理器100将第一图像数据和第二图像数据转换为第一处理通道1310能够处理的图像格式的第三图像数据，再通过第一处理通道1310处理该第三图像数据。
示例性的，请参照图9，第一处理通道1310包括转换单元1311，该转换单元1311被配置为将第一图像数据和第二图像数据转换为第一处理通道1310能够处理的图像格式。相应的，图像处理器100通过该转换单元1311将第一图像数据和第二图像数据转换为第一处理通道1310能够处理的图像格式的图像数据，记为第三图像数据，然后通过第一处理通道1310对该转换得到第三图像数据进行处理。
比如，请参照图10，对于图5示出的第一图像数据和第二图像数据，图像处理器100通过转换单元1311将第一图像数据和第二图像数据转换为第一处理通道1310能够处理的拜尔格式的第三图像数据。
在其他实施例中，图像处理器100也可通过第一处理通道1310依次处理第一图像数据和第二图像数据。
可选地，在一实施例中，第二图像包括第四图像数据和第五图像数据，
通过第二处理通道1320处理第二图像的图像数据，包括：
通过第二处理通道1320处理第四图像数据和第五图像数据。
应当说明的是，本申请实施例中，第二图像也可拆分为两部分图像数据进行处理，将其中一部分记为第四图像数据，另一部分记为第五图像数据。比如，在本申请实施例中，第二摄像头也如同第一摄像头那样采用本申请所提供的新的彩色滤波阵列，同样的，第二摄像头拍摄的第二图像可以拆分为绿色分量图像数据(第四图像数据)和红蓝分量混合图像数据(第五图像数据)。
如上所述，由于第一摄像头仍然占用了第一处理通道1310，也即此时图像处理器100仅能通过释放的第二处理通道对来自第二摄像头的第二图像进行处理。
作为一可选地实施方式，图像处理器100可以通过第二处理通道1320依次处理第四图像数据和第五图像数据。
作为另一可选地实施方式，图像处理器100可以将第四图像数据和第五图像数据转换为的第二处理通道能够处理的图像格式的第六图像数据，并通过第二处理通道处理第六图像数据。
可选地，在一实施例中，本申请提供的图像处理方法还包括：
释放第一处理通道1310；
通过第一处理通道1310处理第四图像数据，以及通过第二处理通道1320处理第五图像数据。
本申请实施例中，为了更高效的对第二图像进行处理，图像处理器100通过两路处理通道对第二图像进行处理。
其中，图像处理器100释放第一处理通道1310，通过第一处理通道1310处理第四图像数据，以及通过第二处理通道1320处理第五图像数据，如图11所示。
可以理解的是，由于此时不再对第一摄像头拍摄的第一图像进行处理，图像处理器100可关闭第一摄像头，以节省电量消耗。
可选地，在一实施例中，释放第一处理通道1310，包括：
在侦测到对应第二图像的帧起始信号时，释放第一处理通道1310。
应当说明的是，第二摄像头在每次传输第二图像至第二输入接口110时，会向第二输入接口110传输帧起始信号，该帧起始信号用于表征新的一帧第二图像的传输开始，然后再向第二输入接口110传输第二图像的图像数据。
另一方面，图像处理器100在通过第二输入接口110接收到来自第二摄像头的帧起始信号后，判定接下来第二输入接口所接收的数据为第二图像的图像数据。基于此，为了提升图像处理的连续性，图像处理器100在侦测到对应第二图像的帧起始信号时，释放第一处理通道1310，以通过第一处理通道1310处理第四图像数据，以及通过第二处理通道1320处理第五图像数据。
可选地，在一实施例中，通过第二处理通道1320处理第二图像的图像数据之前，还包括：
显示处理后的第一图像的图像数据。
其中，在通过第二处理通道1320处理第二图像的图像数据之前，图像处理器100在每次完成对第一图像的处理时，还显示处理后的第一图像的图像数据。比如，请参照图12，图像处理器100将第一图像数据和第二图像数据转换为拜尔格式的第三图像数据进行处理，相应得到处理后的第三图像数据，之后，图像处理器100将该处理后的第三图像数据提供给电子设备的应用处理器，由应用处理器对该第三图像数据进行显示。其中，应用处理器可以将前述第三图像数据直接进行显示，也可以对其进行图像处理器100未进行的其它图像处理后再进行显示。
可选地，在一实施例中，通过第二处理通道1320处理第二图像的图像数据之后，还包括：
切换显示处理后的第二图像的图像数据。
在通过第二处理通道1320处理第二图像的图像数据之后，图像处理器100不再显示处理后的第一图像的图像数据，而是切换显示第二图像的图像数据。
可以理解的是，在如上提供的多摄像头切换场景中，本申请能够确保切换过程中持续有图像可供显示，能够实现摄像头的无缝切换。
为更清楚的对本申请提供的图像处理方法进行说明，以下以该图像处理方法应用于摄像头切换场景为例进行说明。本申请提供的图像处理方法流程还可以包括：
在310中，通过图像处理器100的第一输入接口110获取来自第一摄像头的第一图像。
本申请提供的图像处理器100配置在具备应用处理器和多个摄像头的电子设备中，用于对摄像头拍摄的图像进行处理。其中，电子设备可以是智能手机、平板电脑、掌上电脑、笔记本电脑等移动式电子设备，也可以是台式电脑、电视等固定式电子设备。此处对电子设备所配置的摄像头的类型不做具体限定，可由本领域普通技术人员根据实际需要进行配置，比如，以焦距作为摄像头类型的划分标准，电子设备可以同时配置有广角摄像头、超广角摄像头以及长焦摄像头共三个摄像头。
本申请实施例中，将某时刻用于预览显示的摄像头记为第一摄像头，其可以电子设备配置的多个摄像头中的任一摄像头。
通常的，摄像头由多部分组成，主要包括镜头、马达以及图像传感器等。其中，镜头用于将外界的光信号投射至图像传感器；图像传感器是将光信号转换成电信号的器件，图像传感器的每个感光单元称为一个像素，像素值的大小即表征了感应到光照强度的大小，但是无法表征颜色。为了能够表征颜色，通常在图像传感器前加一块彩色滤波阵列，每个彩色滤波单元对应一个像素，只允许单一颜色的光通过并被图像传感器感应。比如，红色滤波单元只允许红色的光通过，绿色滤波单元只允许绿色的光通过，蓝色滤波单元只允许蓝色的光通过。
拜尔彩色滤波阵列是目前智能手机、数码相机等电子设备所普遍采用的彩色滤波阵列，如图3所示，其每一2x2的阵列单元中有2个绿色滤波单元、1个红色滤波单元和1个蓝色滤波单元。
区别于传统的拜尔阵列，本申请提供了一种新的彩色滤波阵列，请参照图4，该新的彩色滤波阵列的一个4x4的阵列单元中有8个绿色滤波单元、4个红色滤波单元和4个蓝色滤波单元。
本申请实施例中，将当前时刻电子设备中被配置为用于拍摄的摄像头记为第一摄像头，其可以为电子设备配备的多个摄像头中的任一摄像头。以下以第一摄像头中配置本申请所提供的新的彩色滤波阵列为例进行说明。此外，本申请实施例中将第一摄像头实时拍摄的图像记为第一图像，可以理解的是，该第一图像并非用于特指某一特定图像，而是用于代指第一摄像头实时拍摄的图像，也即是说，只要第一摄像头启动之后，其将不间断的拍摄得到第一图像。
相应的，图像处理器110可以通过第一输入接口110从第一摄像头处获取到第一摄像头所拍摄得到的第一图像。
请参照图5(仅示出了一个4x4的阵列单元)，第一图像可以拆分为两部分图像数据，分别为第一图像数据和第二图像数据。如图5所示，第一输入接口110将第一图像拆分为第一图像数据和第二图像数据，其中，第一图像数据为绿色分量图像数据，第二图像数据为红蓝分量混合图像数据，且第一图像数据、第二图像数据与第一图像三者的尺寸相同，也即第一图像数据中绿色分量为全尺寸的，而第二图像数据中的红色分量和蓝色分量均为半尺寸。
在320中，通过图像处理器100的第一处理通道处理第一图像的第一图像数据，以及通过图像处理器100的第二处理通道处理第一图像的第二图像数据，并显示处理后的第一图像数据和第二图像数据。
如上，图像信号处理单元130包括两路处理通道，其中处理通道被配置为对输入的图像进行指定的处理。比如，处理通道可以被配置为对输入的图像进行常规的图像处理(包括但不限于坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理等)以及神经网络处理(包基于神经网络的夜景优化处理、高动态处理、虚化处理以及超分辨率处理等)。本申请实施例中，将两路处理通道中的一路处理通道记为第一处理通道1310，将两路处理通道中的另一路处理通道记为第二处理通道1320。
可以理解的是，由于图像信号处理单元130包括第一处理通道1310和第二处理通道1320，第一输入接口110可以将第一图像数据和第二图像数据同时分配到两路处理通道中的一路处理通道进行处理，也可以将第一图像数据分配到两路处理通道中的一路处理通道进行处理，将第二图像数据分配到两路处理通道中的另一路处理通道进行处理。为了充分利用图像信号处理单元130的两路处理通道，本申请实施例中，图像处理器100在通过第一输入接口110获取到第一图像之后，进一步通过第一输入接口110将第一图像拆分为第一图像数据和第二图像数据，并将第一图像数据分配到第一处理通道1310进行处理，将第二图像数据分配到第二处理通道1320进行处理，如图6所示。
本申请实施例中，图像处理器100在每次完成对第一图像的处理之后，还显示处理后的第一图像数据和第二图像数据。比如，图像处理器100将处理后的第一图像数据和第一图像数据融合为拜尔格式图像，并将该拜尔格式图像提供给应用处理器进行预览显示。其中，应用处理器可以将前述拜尔格式图像直接进行预览显示，也可以对其进行图像处理器100为进行的其它图像处理后再进行预览显示。
在330中，在触发由第一摄像头至第二摄像头的切换时，启动第二摄像头，并通过图像处理器100的第二输入接口获取来自第二摄像头的第二图像。
如上所述，电子设备包括的多个摄像头分别适用于不同距离场景的拍摄，可以理解的是，当预览显示第一摄像头的图像(即第一图像)的缩放倍率的当前变化趋势为变大时，说明用户想要拍摄更远距离的对象，而当预览显示第一摄像头图像的缩放倍率的当前变化趋势为变小时，说明用户想要拍摄更近距离的对象，基于此，还在电子设备中预先设置有变化趋势和摄像头的对应关系。
相应的，图像处理器100可以获取到显示处理后的第一图像的缩放倍率的当前变化趋势；以及根据预设的变化趋势和摄像头的对应关系，确定对应当前变化趋势的第二摄像头，触发由第一摄像头至第二摄像头的切换。
作为一种可选地实施方式，图像处理器100可以在当前变化趋势为预设时长内持续变大时，将焦距大于第一摄像头的摄像头确定为第二摄像头。
其中，以预设时长为至少两个预设时间间隔为约束，预设时长的取值可由本领域普通技术人员根据实际需要取经验值，比如，当预设时间间隔被配置为500毫秒时，可以将预设时长配置为1秒。当前变化趋势即为缩放倍率在预设时长内的变化趋势。
相应的，图像处理器100在根据预设的变化趋势和摄像头的对应关系，确定对应当前变化趋势的第二摄像头时，首先获取到缩放倍率在预设时长内的变化趋势。比如，用于采样变化趋势的预设时间间隔被配置为500毫秒，预设时长被配置为1秒，图像处理器100可以获取到距离当前时刻最近的1秒内所采样得到的两个变化趋势，若获取到的两个变化趋势均为变大，则可以判定变化趋势在预设时长内持续变大。
当判定当前变化趋势在预设时长内持续变大时，图像处理器100即将多个摄像头中焦距大于第一摄像头的摄像头确定为第二摄像头。
其中，若焦距大于第一摄像头的摄像头不唯一，也即是焦距大于第一摄像头的摄像头为多个时，图像处理器100将焦距大于第一摄像头的多个摄像头中焦距最小的摄像头确定为第二摄像头，也即是将其中焦距与第一摄像头最接近的摄像头确定为第二摄像头。
作为另一可选地实施方式，图像处理器100在当前变化趋势为预设时长内持续变小时，将焦距小于第一摄像头的摄像头确定为第二摄像头。
其中，若焦距小于第一摄像头的摄像头不唯一，也即是焦距小于第一摄像头的摄像头为多个时，应用处理器还被配置为将焦距小于第一摄像头的多个摄像头中焦距最大的摄像头确定为第二摄像头，也即是将其中焦距与第一摄像头最接近的摄像头确定为第二摄像头。
如上，在确定第二摄像头之后，图像处理器100即可触发由第一摄像头至第二摄像头的切换。
在触发由第一摄像头至第二摄像头的切换时，图像处理器100启动确定的第二摄像头，并通过图像处理器100的第二输入接口120获取来自第二摄像头的第二图像。
在340中，通过第一处理通道1310处理第一图像数据和第二图像数据，并释放第二处理通道。
图像处理器100通过第一输入接口110将第一图像拆分的第一图像数据和第二图像数据分配到第一处理通道1310进行处理，使得第二处理通道1320能够被释放，如图7所示。此时，图像处理器100释放第二处理通道1320。
其中，图像处理器100可以通过第一处理通道1310依次处理第一图像数据和第二图像数据，也可以将第一图像数据和第二图像数据转换为第一处理通道1310能够处理的图像格式的图像数据后再进行处理。
在350中，通过第二处理通道1320处理第二图像的图像数据，并显示处理后的第二图像的图像数据。
可以理解的是，由于此时第二处理通道1320被释放，图像处理器即可通过第二输入接口120将获取到的第二图像的图像数据分配到第二处理通道1320进行指定的处理，如图8所示。
在通过第二处理通道1320处理第二图像的图像数据之后，图像处理器100不再显示处理后的第一图像的图像数据，而是切换显示第二图像的图像数据。
可以理解的是，在如上提供的多摄像头切换场景中，本申请能够确保切换过程中持续有图像可供显示，能够实现摄像头的无缝切换。
本申请还提供一种图像处理器，该图像处理器包括存储单元和处理单元，其中，
存储单元用于存储计算机程序；
处理单元用于执行前述计算机程序以执行：
获取第一图像，其中，第一图像包括第一图像数据和第二图像数据；
通过图像处理器的第一处理通道处理第一图像数据，以及通过图像处理器的第二处理通道处理第二图像数据；
获取第二图像；
通过第一处理通道处理第一图像数据和第二图像数据，并释放第二处理通道；以及
通过第二处理通道处理第二图像的图像数据。
可选地，在一实施例中，在通过第一处理通道处理第一图像数据和第二图像数据时，处理单元用于执行：
在侦测到对应第一图像的帧起始信号时，通过第一处理通道处理第一图像数据和第二图像数据。
可选地，在一实施例中，在通过第一处理通道处理第一图像数据和第二图像数据时，处理单元用于执行：
将第一图像数据和第二图像数据转换为第一处理通道能够处理的图像格式的第三图像数据；
通过第一处理通道处理第三图像数据。
可选地，在一实施例中，第二图像包括第四图像数据和第五图像数据，处理单元还用于执行：
释放第一处理通道；
通过第一处理通道处理第四图像数据，以及通过第二处理通道处理第五图像数据。
可选地，在一实施例中，在释放第一处理通道时，处理单元用于执行：
在侦测到对应第二图像的帧起始信号时，释放第一处理通道。
可选地，在一实施例中，在通过第二处理通道处理第二图像的图像数据之前，处理单元还用于执行：
显示处理后的第一图像的图像数据。
可选地，在一实施例中，在通过第二处理通道处理第二图像的图像数据之后，处理单元还用于执行：
切换显示第二图像的图像数据。
应当说明的是，本申请实施例提供的图像处理器与上文实施例中的图像处理方法属于同一构思，其具体实现过程详见以上相关实施例，此处不再赘述。
本申请实施例还提供一种电子设备，该电子设备包括：
第一摄像头，用于采集第一图像，第一图像包括第一图像数据和第二图像数据；
第二摄像头，用于采集第二图像；
如本申请任一实施例提供的图像处理器，以及与图像处理器耦合的显示器；
显示器用于对图像处理器传送的图像进行显示。
本申请实施例对电子设备所配置的第一摄像头和第二摄像头的类型不做具体限定，第一摄像头和第二摄像头的类型可以相同，也可以不同。比如，以焦距作为摄像头类型的划分标准，摄像头可以划分为广角摄像头、超广角摄像头以及长焦摄像头等类型，第一摄像头可为广角摄像头，第二摄像头可为超广角摄像头。
此外，本申请实施例对电子设备的实体展现形式也不作具体限制，电子设备的实体展现形式包括但不限于智能手机、平板电脑、掌上电脑、笔记本电脑、台式电脑、电视等。
此外，本申请实施例中对显示器的类型不做具体限制，可以是液晶显示器，也可以是有机发光二极管显示器等。
以上对本申请实施例提供的图像处理方法、图像处理器及电子设备进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，比如，除了对图3示出的彩色滤波阵列所采集图像进行处理之外，也适用于其它类似的需要将图像拆分为两部分图像数据分别进行处理的彩色滤波阵列。综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种图像处理方法，应用于图像处理器，其特征在于，包括：
获取第一图像，其中，所述第一图像包括第一图像数据和第二图像数据；
通过所述图像处理器的第一处理通道处理所述第一图像数据，以及通过所述图像处理器的第二处理通道处理所述第二图像数据；
获取第二图像；
通过所述第一处理通道处理所述第一图像数据和所述第二图像数据，并释放所述第二处理通道；以及
通过所述第二处理通道处理所述第二图像的图像数据。
2.如权利要求1所述的图像处理方法，其特征在于，所述通过所述第一处理通道处理所述第一图像数据和所述第二图像数据，包括：
在侦测到对应所述第一图像的帧起始信号时，通过所述第一处理通道处理所述第一图像数据和所述第二图像数据。
3.如权利要求1所述的图像处理方法，其特征在于，所述通过所述第一处理通道处理所述第一图像数据和所述第二图像数据，包括：
将所述第一图像数据和所述第二图像数据转换为所述第一处理通道能够处理的图像格式的第三图像数据；
通过所述第一处理通道处理所述第三图像数据。
4.如权利要求1-3任一项所述的图像处理方法，其特征在于，所述第二图像包括第四图像数据和第五图像数据，所述图像处理方法还包括：
释放所述第一处理通道；
通过所述第一处理通道处理所述第四图像数据，以及通过所述第二处理通道处理所述第五图像数据。
5.如权利要求4所述的图像处理方法，其特征在于，所述释放所述第一处理通道，包括：
在侦测到对应所述第二图像的帧起始信号时，释放所述第一处理通道。
6.如权利要求1-3任一项所述的图像处理方法，其特征在于，所述通过所述第二处理通道处理所述第二图像的图像数据之前，还包括：
显示处理后的所述第一图像的图像数据。
7.如权利要求6所述的图像处理方法，其特征在于，所述通过所述第二处理通道处理所述第二图像的图像数据之后，还包括：
切换显示处理后的第二图像的图像数据。
8.一种图像处理器，其特征在于，包括：
第一输入接口，用于获取第一图像，其中，所述第一图像包括第一图像数据和第二图像数据；
第二输入接口，用于获取第二图像的图像数据；
所述图像处理器用于通过第一处理通道处理所述第一图像数据，以及通过第二处理通道处理所述第二图像数据；
当所述第二输入接口获取到所述第二图像的图像数据时，所述图像处理器通过所述第一处理通道处理所述第一图像数据和所述第二图像数据，并释放所述第二通道，以及通过所述第二处理通道处理所述第二图像的图像数据。
9.一种图像处理器，其特征在于，包括
存储单元，用于存储计算机程序；
处理单元，用于执行所述计算机程序以执行如权利要求1-7任一项所述的图像处理方法。
10.一种电子设备，包括
第一摄像头，用于采集第一图像，所述第一图像包括第一图像数据和第二图像数据；
第二摄像头，用于采集第二图像；
如权利要求8或9所述的图像处理器，以及与所述图像处理器耦合的显示器；
所述显示器用于对所述图像处理器传送的图像进行显示。
CN202011448728.2A 2020-12-09 2020-12-09 图像处理方法、图像处理器及电子设备 Active CN114630016B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202011448728.2A CN114630016B (zh) 2020-12-09 2020-12-09 图像处理方法、图像处理器及电子设备
EP21902211.8A EP4258641A4 (en) 2020-12-09 2021-10-18 IMAGE PROCESSING METHOD, IMAGE PROCESSOR, AND ELECTRONIC DEVICE
PCT/CN2021/124422 WO2022121504A1 (zh) 2020-12-09 2021-10-18 图像处理方法、图像处理器及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011448728.2A CN114630016B (zh) 2020-12-09 2020-12-09 图像处理方法、图像处理器及电子设备

Publications (2)

Publication Number Publication Date
CN114630016A true CN114630016A (zh) 2022-06-14
CN114630016B CN114630016B (zh) 2023-04-25

Family

ID=81896345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011448728.2A Active CN114630016B (zh) 2020-12-09 2020-12-09 图像处理方法、图像处理器及电子设备

Country Status (3)

Country Link
EP (1) EP4258641A4 (zh)
CN (1) CN114630016B (zh)
WO (1) WO2022121504A1 (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120076360A1 (en) * 2009-06-11 2012-03-29 Kabushiki Kaisha Toshiba Image processing apparatus, method and computer-readable storage medium
CN107592437A (zh) * 2016-07-06 2018-01-16 三星电子株式会社 包括双相机的电子设备和用于控制双相机的方法
US20190037209A1 (en) * 2017-07-31 2019-01-31 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, camera apparatus, and output control method
US20190260983A1 (en) * 2018-02-16 2019-08-22 Kabushiki Kaisha Toshiba Camera input interface and semiconductor device
CN110401798A (zh) * 2019-07-30 2019-11-01 晶晨半导体（深圳）有限公司 一种mipi摄像头输出分辨率的调节方法及装置
CN111372048A (zh) * 2020-03-04 2020-07-03 深圳市迈普视通科技有限公司 图像预监处理设备及其方法、现场可编程逻辑门阵列
CN111435979A (zh) * 2019-01-15 2020-07-21 西安诺瓦电子科技有限公司 视频图像处理方法和装置
CN111641777A (zh) * 2020-02-28 2020-09-08 北京爱芯科技有限公司 图像处理方法、装置、图像处理器、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8553109B2 (en) * 2011-07-20 2013-10-08 Broadcom Corporation Concurrent image processing for generating an output image
KR102305470B1 (ko) * 2015-02-13 2021-09-28 삼성전자주식회사 복수의 영상 처리 채널을 통해 병렬로 영상 신호 처리를 수행하는 영상 신호 처리 장치
KR102493746B1 (ko) * 2016-08-18 2023-02-02 삼성전자주식회사 이미지 신호 처리 방법, 이미지 신호 프로세서, 및 전자 장치
CN108076287B (zh) * 2017-12-14 2020-01-03 维沃移动通信有限公司 一种图像处理方法、移动终端及计算机可读存储介质
KR102611722B1 (ko) * 2019-01-07 2023-12-07 삼성전자주식회사 이미지 처리 장치 및 이미지 처리 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120076360A1 (en) * 2009-06-11 2012-03-29 Kabushiki Kaisha Toshiba Image processing apparatus, method and computer-readable storage medium
CN107592437A (zh) * 2016-07-06 2018-01-16 三星电子株式会社 包括双相机的电子设备和用于控制双相机的方法
US20190037209A1 (en) * 2017-07-31 2019-01-31 Panasonic Intellectual Property Management Co., Ltd. Image processing apparatus, camera apparatus, and output control method
US20190260983A1 (en) * 2018-02-16 2019-08-22 Kabushiki Kaisha Toshiba Camera input interface and semiconductor device
CN111435979A (zh) * 2019-01-15 2020-07-21 西安诺瓦电子科技有限公司 视频图像处理方法和装置
CN110401798A (zh) * 2019-07-30 2019-11-01 晶晨半导体（深圳）有限公司 一种mipi摄像头输出分辨率的调节方法及装置
CN111641777A (zh) * 2020-02-28 2020-09-08 北京爱芯科技有限公司 图像处理方法、装置、图像处理器、电子设备及存储介质
CN111372048A (zh) * 2020-03-04 2020-07-03 深圳市迈普视通科技有限公司 图像预监处理设备及其方法、现场可编程逻辑门阵列

Also Published As

Publication number Publication date
EP4258641A1 (en) 2023-10-11
EP4258641A4 (en) 2024-04-24
WO2022121504A1 (zh) 2022-06-16
CN114630016B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
KR102310430B1 (ko) 촬영 방법, 장치 및 디바이스
CN110505411B (zh) 图像拍摄方法、装置、存储介质及电子设备
JP6461372B2 (ja) 撮影方法、撮影装置、及び端末
CN103797780A (zh) 图像捕获设备
EP3661183B1 (en) Method and apparatus for accelerating aec convergence, and terminal device
JP2012222495A (ja) 画像処理装置、画像処理方法、及びプログラム
CN101459770B (zh) 数字拍摄设备及其控制方法
CN110278375B (zh) 图像处理方法、装置、存储介质及电子设备
JP7320024B2 (ja) 撮像素子、撮像装置、画像データ処理方法、及びプログラム
JP4788172B2 (ja) 撮像装置及びプログラム
CN110266965B (zh) 图像处理方法、装置、存储介质及电子设备
CN113473018B (zh) 一种视频拍摄方法、装置、拍摄终端和存储介质
CN114501136B (zh) 图像获取方法、装置、移动终端以及存储介质
JP7174123B2 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
CN114630016B (zh) 图像处理方法、图像处理器及电子设备
CN114125240A (zh) 图像传感器、摄像模组、电子设备及拍摄方法
KR101080404B1 (ko) 동영상을 정지 영상화하여 트리밍 하는 방법
CN113837937A (zh) 多媒体处理芯片、电子设备图像融合方法和图像裁剪方法
TWM519367U (zh) 可快速切換錄影模式的攝影系統
CN113132614B (zh) 一种摄像头光学变焦电子装置、方法、单元及存储器
CN114866680B (zh) 图像处理方法、装置、存储介质及电子设备
CN116709015A (zh) 一种图像处理方法、装置、设备及存储介质
US9100628B2 (en) Image processing apparatus, image processing method, and imaging apparatus
WO2023245391A1 (zh) 一种相机预览的方法及其装置
JP2017038300A (ja) 画像処理装置及び方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant