CN114679542A - 图像处理方法和电子装置 - Google Patents

图像处理方法和电子装置 Download PDF

Info

Publication number
CN114679542A
CN114679542A CN202210304383.6A CN202210304383A CN114679542A CN 114679542 A CN114679542 A CN 114679542A CN 202210304383 A CN202210304383 A CN 202210304383A CN 114679542 A CN114679542 A CN 114679542A
Authority
CN
China
Prior art keywords
image
pixel
color
color image
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210304383.6A
Other languages
English (en)
Other versions
CN114679542B (zh
Inventor
杨利伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Semiconductor China R&D Co Ltd
Samsung Electronics Co Ltd
Original Assignee
Samsung Semiconductor China R&D Co Ltd
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Semiconductor China R&D Co Ltd, Samsung Electronics Co Ltd filed Critical Samsung Semiconductor China R&D Co Ltd
Priority to CN202210304383.6A priority Critical patent/CN114679542B/zh
Priority to US17/743,129 priority patent/US20230308774A1/en
Publication of CN114679542A publication Critical patent/CN114679542A/zh
Application granted granted Critical
Publication of CN114679542B publication Critical patent/CN114679542B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

公开了一种图像处理方法和电子装置。所述图像处理方法包括：接收图像传感器的原始图像作为第一图像；对第一图像执行马赛克重排，以生成拜耳格式的第二图像，执行马赛克重排的步骤包括：将第一图像转换成第一彩色图像，对第一彩色图像执行伪色校正，对在执行伪色校正时导致的过校正进行再校正，以生成第二彩色图像，以及将第二彩色图像转换成拜耳格式的第二图像；以及基于第二图像生成全分辨率图像作为输出图像。

Description

图像处理方法和电子装置
技术领域
本公开涉及图像处理。更具体地讲，涉及一种图像处理方法和执行图像处理方法的电子装置。
背景技术
为了改善电子装置拍摄的图像的质量，引入了支持多像素合一技术的互补金属氧化物半导体(CMOS)传感器。然而，基于这样的CMOS传感器的输出生成的图像中通常存在图像质量低的问题。
因此，需要一种改善图像质量的技术。
发明内容
提供本发明内容以简要的形式介绍在以下具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求保护的主题的关键特征或必要特征，也不意在用于帮助确定要求保护的主题的范围。
根据实施例，一种图像处理方法包括：接收图像传感器的原始图像作为第一图像；对第一图像执行马赛克重排，以生成拜耳格式的第二图像；基于第二图像生成全分辨率图像作为输出图像，其中，对第一图像执行马赛克重排的步骤包括：将第一图像转换成第一彩色图像，调节第一彩色图像以生成第二彩色图像，并将第二彩色图像转换成拜耳格式的第二图像，其中，调节第一彩色图像以生成第二彩色图像的步骤包括：对第一彩色图像执行伪色校正，并对在执行伪色校正时导致的过校正进行再校正，以生成第二彩色图像。
基于第二图像生成全分辨率图像的步骤包括：响应于图像传感器拍摄第一图像的环境的照度条件为第一照度条件，通过对第二图像执行后处理，来生成全分辨率图像，其中，第一照度条件表示图像传感器拍摄第一图像的环境的照度大于预定阈值。
基于第二图像生成全分辨率图像的步骤包括：响应于图像传感器拍摄第一图像的环境的照度条件为第二照度条件，从第二图像提取高频细节，来生成包含提取的高频细节的拜耳格式的第三图像，对合并像素图像进行上采样，来生成拜耳格式的第四图像，第四图像的分辨率与第三图像的分辨率相同，通过将第三图像与第四图像的对应位置的像素的像素值进行融合，来生成拜耳格式的第五图像，通过对第五图像执行后处理，来生成全分辨率图像，其中，第二照度条件表示图像传感器拍摄第一图像的环境的照度小于或等于预定阈值，其中，合并像素图像表示与第一图像对应的多像素合一图像。
对第一彩色图像执行伪色校正的步骤包括：通过对第一彩色图像进行模糊处理，来生成第三彩色图像；对在执行伪色校正时导致的过校正进行再校正的步骤包括：对第一彩色图像的高频部分进行调节，并基于调节后的第一彩色图像的高频部分和第三彩色图像来生成第二彩色图像。
第一彩色图像的高频部分基于第一彩色图像和第三彩色图像被获得；第一彩色图像的高频部分通过以下步骤来获得：针对第一彩色图像中的每个像素，从第一彩色图像中的每个像素的红色分量、绿色分量和蓝色分量分别减去第三彩色图像中的相应像素的红色分量、绿色分量和蓝色分量；对第一彩色图像的高频部分进行调节的步骤包括：通过将第一彩色图像的高频部分的每个像素的红色分量、绿色分量和蓝色分量乘以调试值，来生成调节后的第一彩色图像的高频部分；基于调节后的第一彩色图像的高频部分和第三彩色图像来生成第二彩色图像的步骤包括：针对调节后的第一彩色图像的高频部分中的每个像素，将调节后的第一彩色图像的高频部分中的每个像素的红色分量、绿色分量和蓝色分量与第三彩色图像中的相应像素的红色分量、绿色分量和蓝色分量相加，以生成第二彩色图像。
将第二彩色图像转换成第二图像的步骤包括：根据第一图像的颜色通道的排列方式，确定第二图像的颜色通道的排列方式以及第二图像的每个像素的颜色通道；针对第二图像的具有绿色通道的每个像素，基于第二彩色图像的对应像素的绿色分量确定第二图像的所述像素的像素值；针对第二图像的不具有绿色通道的每个像素，确定第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道是否相同，当第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道相同时，基于第二彩色图像的对应像素的第一颜色分量确定第二图像的所述像素的像素值，当第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道不同时，基于第二彩色图像的对应像素的红色分量、绿色分量和蓝色分量确定第二图像的所述像素的像素值，其中，对应于第一颜色分量的颜色通道与第二图像的所述像素的颜色通道相同。
基于第二图像生成全分辨率图像作为输出图像的步骤包括：响应于图像传感器拍摄第一图像的环境的照度条件为第一照度条件，通过对第二图像执行后处理，来生成全分辨率图像作为输出图像；所述图像处理方法还包括：响应于图像传感器拍摄第一图像的环境的照度条件为第二照度条件，通过对合并像素图像执行后处理，来生成输出图像，其中，第一照度条件表示图像传感器拍摄第一图像的环境的照度大于预定阈值，其中，第二照度条件表示图像传感器拍摄第一图像的环境的照度小于或等于预定阈值，其中，合并像素图像表示与第一图像对应的多像素合一图像。
将第一图像转换成第一彩色图像的步骤包括：确定第一彩色图像的每个像素的绿色分量的插值方向，通过基于插值方向对第一图像执行方向插值，来生成第一彩色图像。
通过基于插值方向对第一图像执行方向插值来生成第一彩色图像的步骤包括：基于第一图像的每个像素的颜色通道、以第一图像的每个像素为中心的块和第一彩色图像的对应像素的绿色分量的插值方向，选择预定滤波器，并且基于预定滤波器和以第一图像的每个像素为中心的块，确定第一彩色图像的对应像素的绿色分量，基于第一图像的每个像素的颜色通道确定第一彩色图像的对应像素的红色分量和蓝色分量。
图像传感器是多像素合一CMOS传感器。
后处理包括：将拜耳格式的第二图像转换为RGB格式的图像，以及将RGB格式的图像转换为YUV格式的图像。或者，后处理包括：用于将拜耳格式的图像转换为RGB格式的图像的处理以及用于将RGB格式的图像转换为YUV格式的图像的处理。
根据实施例，一种图像处理方法包括：接收图像传感器的原始图像作为第一图像；对第一图像使用神经网络，以生成第二彩色图像；将第二彩色图像转换成拜耳格式的第二图像；基于第二图像生成全分辨率图像，其中，神经网络基于多个训练数据被预先训练，所述多个训练数据包括：从图像传感器接收的原始图像以及与原始图像对应的目标彩色图像，其中，与原始图像对应的目标彩色图像通过以下方式来生成：将原始图像转换成第一彩色图像，对第一彩色图像执行伪色校正，以及对在执行伪色校正时导致的过校正进行再校正，以生成目标彩色图像。
将第二彩色图像转换成第二图像的步骤包括：根据第一图像的颜色通道的排列，确定第二图像的颜色通道的排列以及第二图像的每个像素的颜色通道；针对第二图像的每个像素，确定第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道是否相同，基于第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道相同，基于第二彩色图像的对应像素的第一颜色分量确定第二图像的所述像素的像素值，并且基于第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道不同，基于第二彩色图像的对应像素的红色分量、绿色分量和蓝色分量确定第二图像的所述像素的像素值，其中，对应于第一颜色分量的颜色通道与第二图像的所述像素的颜色通道相同。
根据实施例，一种图像处理方法包括：接收图像传感器的原始图像作为第一图像；通过使用第一图像执行预定神经网络，以生成第二彩色图像；将第二彩色图像转换成拜耳格式的第二图像；基于第二图像生成全分辨率图像，其中，预定神经网络基于多个训练数据被预先训练，其中，所述多个训练数据中的每个包括：从图像传感器接收的原始图像以及与原始图像对应的目标彩色图像，其中，与原始图像对应的目标彩色图像通过以下方式来生成：将原始图像转换成第一彩色图像，对第一彩色图像执行伪色校正，并对在执行伪色校正时导致的过校正进行再校正，以生成目标彩色图像。
将第二彩色图像转换成第二图像的步骤包括：根据第一图像的颜色通道的排列方式，确定第二图像的颜色通道的排列方式以及第二图像的每个像素的颜色通道；针对第二图像的每个像素，确定第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道是否相同，当第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道相同时，基于第二彩色图像的对应像素的第一颜色分量确定第二图像的所述像素的像素值，当第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道不同时，基于第二彩色图像的对应像素的红色分量、绿色分量和蓝色分量确定第二图像的所述像素的像素值，其中，对应于第一颜色分量的颜色通道与第二图像的所述像素的颜色通道相同。
根据实施例，一种图像处理方法包括：接收图像传感器的原始图像作为第一图像；对第一图像执行马赛克重排，以生成拜耳格式的第二图像；从第二图像提取高频细节，来生成包含提取的高频细节的拜耳格式的第三图像；对合并像素图像进行上采样，来生成拜耳格式的第四图像；通过将第三图像与第四图像的对应位置的像素的像素值进行融合，来生成拜耳格式的第五图像；通过对第五图像执行后处理，来生成全分辨率图像；其中，合并像素图像表示与第一图像对应的多像素合一图像。
根据实施例，一种电子装置包括：图像传感器，被配置为生成原始图像作为第一图像；图像信号处理器，被配置为执行上述方法。
根据实施例，一种存储指令的非暂时性计算机可读存储介质，所述指令在被处理器执行时，使处理器执行上述方法。
根据一个或多个实施例的图像处理方法和电子装置可以改善图像异常表现并提高图像的SNR。
将在接下来的描述中部分阐述本公开另外的方面和/或优点，还有一部分通过描述将是清楚的，或者可以经过本公开的实施而得知。
附图说明
通过参照附图描述特定实施例，上述和其它方面和特征将会变得更加清楚，其中：
图1是示出根据实施例的电子装置的框图。
图2是示出根据实施例的CMOS传感器的原始图像的示图。
图3示出根据实施例的图像处理方法的流程图。
图4示出根据实施例的调节第一彩色图像以生成第二彩色图像的流程图。
图5A和图5B示出根据实施例的将第二彩色图像转换成拜耳格式的第二图像的方法。
图6示出根据实施例的基于第二图像生成全分辨率图像的流程图。
图7A、图7B和图7C示出根据实施例的将第一图像转换为第一彩色图像的方法。
图8示出根据实施例的执行马赛克重排的流程图。
图9示出根据实施例的生成全分辨率图像的流程图。
图10示出根据实施例的图像处理方法的流程图。
图11示出根据实施例的移动终端的框图。
具体实施方式
将参照附图详细描述特定实施例。
提供下面的详细描述以帮助读者获得对在此描述的方法、设备和/或系统的全面理解。然而，在理解本申请的公开之后，在此描述的方法、设备和/或系统的各种改变、修改和等同物将是清楚的。例如，除了必须以特定顺序发生的操作之外，在此描述的操作顺序仅是示例，并不限于在此阐述的那些顺序，而是可如在理解本申请的公开之后将是清楚地那样被改变。此外，为了更加清楚和简要，可省略本领域已知的特征的描述。
在此描述的特征可以以不同的形式被实现，而不应被解释为限于在此描述的示例。相反，在此描述的示例已被提供，以仅示出实现在理解本申请的公开之后将是清楚的在此描述的方法、设备和/或系统的许多可行方式中的一些可行方式。
下面在本公开中公开的示例的结构性或功能性描述仅意在出于描述示例的目的，并且示例可以以各种形式被实现。示例并不意在限制，而是意在各种修改、等同物和替代物也被涵盖在权利要求的范围内。
尽管术语“第一”或“第二”用于解释各种组件，但是组件不限于术语。这些术语应当仅用于将一个组件与另一组件区分开。例如，在根据本公开的构思的权利的范围内，“第一”组件可被称为“第二”组件，或者类似地，“第二”组件可被称为“第一”组件。
将理解，当组件被称为“连接到”另一组件时，所述组件可直接连接到或结合到另一组件，或者可存在中间组件。
如在此使用的，除非上下文另外清楚地指示，否则单数形式也意在包括复数形式。还应当理解，当在本说明书中使用术语“包括”和/或“包含”时，表明存在陈述的特征、整体、步骤、操作、元件、组件或它们的组合，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组。
除非另外定义，否则在此使用的所有术语(包括技术术语或科学术语)具有与示例所属领域的普通技术人员通常理解的含义相同的含义。还将理解，除非在此明确地如此定义，否则术语(诸如，在通用词典中定义的术语)应当被解释为具有与它们在相关领域的上下文中的含义一致的含义，并且将不以理想化或过于形式化的含义进行解释。
在下文中，将参照附图详细描述示例。关于分配给附图中的元件的参考标号，应当注意，相同的元件将由相同的参考标号表示，并且将省略其冗余描述。
图1是示出根据实施例的电子装置的框图。图2是示出CMOS传感器的原始图像的示图。
根据一个或多个实施例的电子装置例如可包括移动电话、平板个人计算机(PC)、个人数字助理(PDA)等。但这不是限制性的，根据实施例的电子装置可以是具有图像采集功能的任何电子装置。
如图1所示，根据实施例的电子装置100可包括CMOS传感器110(例如，图像传感器)和应用处理器(AP)120。在一个或多个实施例中，AP 120可包括预处理器121和主处理器122。然而，实施例不限于此，预处理器121和主处理器122可被集成为单个处理器，预处理器121和主处理器122所执行的操作由单个处理器AP 120执行。
CMOS传感器110可以是支持多像素合一技术的CMOS传感器。
例如，CMOS传感器110可以是支持四像素合一技术的CMOS传感器(又称为四像素合一(Tetra，或称为四合一像素、像素四合一)CMOS传感器)、或者支持九像素合一技术的CMOS传感器(又称为九像素合一(Nona，或称为九合一像素、像素九合一)CMOS传感器)。然而，实施例不限于此，CMOS传感器110也可以是支持其他多像素合一技术的CMOS传感器。
CMOS传感器110可生成原始图像作为第一图像(例如，Tetra Bayer)，并将第一图像发送到预处理器121。例如，对于n像素合一的CMOS传感器，原始图像包括不同颜色通道的像素块，每个像素块包括邻近的具有相同颜色通道的n个像素。
如图2所示，当CMOS传感器110是Tetra CMOS传感器时，原始图像中的每个像素块包括邻近的具有相同颜色通道的4个像素。如图2所示，当CMOS传感器110是Nona CMOS传感器时，原始图像中的每个像素块包括邻近的具有相同颜色通道的9个像素。在图2中，Gr和Gb表示具有绿色通道的像素，R表示具有红色通道的像素，B表示具有蓝色通道的像素。
此外，CMOS传感器110还可生成与第一图像对应的作为多像素合一图像的合并像素图像(B_DATA)，并且将合并像素图像发送到预处理器121。在一个或多个实施例中，CMOS传感器110通过将第一图像的每个像素块中的邻近的且具有相同的颜色通道的n个像素合并(binning)为一个像素，来生成合并像素图像。在另一示例实施例中，预处理器121可将第一图像转换为合并像素图像。
根据一个或多个实施例，AP 120可接收第一图像，对第一图像执行马赛克重排(remosaicing)以生成拜耳格式的第二图像，并且基于第二图像生成全分辨率图像。
根据一个或多个实施例，AP 120可通过将第一图像转换成第一彩色图像、调节第一彩色图像以生成第二彩色图像、并且将第二彩色图像转换成拜耳格式的第二图像，来对第一图像执行马赛克重排。根据一个或多个实施例，预处理器121还可在执行马赛克重排之前，对第一图像执行视差补偿、去斑等处理。然而，实施例不限于此，预处理器121还可在执行马赛克重排之前或之后，执行其他任何适用的处理。
根据一个或多个实施例，AP 120可通过对第一彩色图像执行伪色校正、并对在执行伪色校正时导致的过校正进行再校正以生成第二彩色图像，来调节第一彩色图像。
下面结合图3描述根据实施例的图像处理方法。
图3示出根据实施例的图像处理方法的流程图。
如图3所示，在操作S310中，AP 120可接收第一图像。
在操作S320中，AP 120可将第一图像转换为第一彩色图像。
根据一个或多个实施例，AP 120可首先基于第一图像确定第一彩色图像的每个像素的绿色分量的插值方向，然后通过基于插值方向对第一图像执行方向插值来生成第一彩色图像。将在下面结合图7A至图7C描述将第一图像转换为第一彩色图像的方法。
在操作S330中，AP 120可调节第一彩色图像以生成第二彩色图像。将在下面结合图4描述调节第一彩色图像以生成第二彩色图像的流程图。
在操作S340中，AP 120可将第二彩色图像转换成拜耳格式的第二图像。将在下面结合图5A和图5B描述将第二彩色图像转换成拜耳格式的第二图像的方法。
在操作S350中，AP 120可基于第二图像生成全分辨率图像。将在下面结合图6描述基于第二图像生成全分辨率图像的流程图。
图4示出根据实施例的调节第一彩色图像以生成第二彩色图像的流程图。
参照图4，在操作S410中，预处理器121可对第一彩色图像执行伪色校正，以生成第三彩色图像。
根据一个或多个实施例，可通过对第一彩色图像进行模糊处理，来执行伪色校正并生成第三彩色图像。根据一个或多个实施例，可通过根据第一彩色图像的每个像素的绿色分量的插值方向将一维低通滤波器应用于第一彩色图像，来对第一彩色图像进行模糊处理。
根据一个或多个实施例，针对第一彩色图像的第一像素，预处理器121可首先确定以第一像素为中心的第一块，然后基于第一像素的绿色分量的插值方向和第一块的包括第一像素且沿插值方向布置的多个像素的绿色分量，生成第三彩色图像的与第一像素对应的像素的绿色分量。
例如，当第一彩色图像的第一像素的绿色分量的插值方向为水平方向并且第一块为N×M(例如，N和M中的每个是大于或等于1的整数)的块时，预处理器121可确定第一块中的沿水平方向布置且包括第一像素的N个像素的绿色分量的加权平均值，作为第三彩色图像的与第一像素对应的像素的绿色分量。
此外，预处理器121可基于第一像素的绿色分量的插值方向和第一块的多个像素的红色分量生成第三彩色图像的与第一像素对应的像素的红色分量，并且基于第一像素的绿色分量的插值方向和第一块的多个像素的蓝色分量生成第三彩色图像的与第一像素对应的像素的蓝色分量，其中，多个像素包括第一像素且沿插值方向布置。
上述执行伪色校正的方法是示例，然而，实施例不限于此，例如，也可以使用现有的其他的伪色校正算法。
在执行伪色校正时，可能出现过校正的问题。在操作S420中，预处理器121可对在执行伪色校正时导致的过校正进行再校正，以生成第二彩色图像。
预处理器121可对第一彩色图像的高频部分进行调节，并基于调节后的第一彩色图像的高频部分和第三彩色图像来生成第二彩色图像。
根据一个或多个实施例，预处理器121可基于第一彩色图像和第三彩色图像来获得第一彩色图像的高频部分。例如，预处理器121可针对第一彩色图像中的每个像素，从第一彩色图像的每个像素的红色分量、绿色分量和蓝色分量分别减去第三彩色图像的相应像素的红色分量、绿色分量和蓝色分量，来获得第一彩色图像的高频部分的相应像素的红色分量、绿色分量和蓝色分量。
根据一个或多个实施例，预处理器121可通过将第一彩色图像的高频部分的每个像素的红色分量、绿色分量和蓝色分量分别乘以调试值，来生成调节后的第一彩色图像的高频部分。第一彩色图像的高频部分的调节可被表示为下面的等式(1)：
HFR，G，B＝coefficient×(FullR，G，B-BlurR，G，B) 等式(1)
在等式(1)中，HFR,G,B表示调节后的第一彩色图像的高频部分，FullR,G,B表示第一彩色图像，BlurR,G,B表示第三彩色图像，cofficient表示调试值。
根据一个或多个实施例，预处理器121可针对调节后的第一彩色图像的高频部分中的每个像素，将调节后的第一彩色图像的高频部分中的每个像素的红色分量、绿色分量和蓝色分量与第三彩色图像中的相应像素的红色分量、绿色分量和蓝色分量相加，以生成第二彩色图像。
图5A和图5B示出根据实施例的将第二彩色图像转换成拜耳格式的第二图像的方法。
如图5A所示，在操作S510中，预处理器121可根据第一图像的颜色通道的排列方式，确定第二图像的颜色通道的排列方式以及第二图像的每个像素的颜色通道。
根据一个或多个实施例，预处理器121可确定第一图像的像素块的颜色通道的排列方式。例如，如图5B所示，第一图像的像素块的颜色通道的排列方式为绿色通道、红色通道、蓝色通道、绿色通道。在图5B中，oG0、oG1、oG4、oG5、oG10、oG11、oG14、oG15和G表示具有绿色通道的像素，oR2、oR3、oR6和oR7表示具有红色通道的像素，oB8、oB9、oB12和oB13表示具有蓝色通道的像素。
根据一个或多个实施例，预处理器121可基于第一图像的像素块的颜色通道的排列方式，确定第二图像的与第一图像的每个像素块的n个像素的位置对应的位置处的n个像素的颜色通道的排列方式。例如，如图5B所示，第二图像的与每个像素块对应的4个像素的颜色通道的排列方式为绿色通道、红色通道、蓝色通道、绿色通道。在确定拜耳格式的第二图像的颜色通道的排列方式之后，预处理器121可确定第二图像的每个像素的颜色通道。在图5B中，tG0、tG2、tG5、tG7、tG8、tG10、tG13和tG15表示具有绿色通道的像素，tR1、tR3、tR9和tR11表示具有红色通道的像素，tB4、tB6、tB12和tB14表示具有蓝色通道的像素。
在操作S520中，预处理器121可确定第二图像的每个像素的像素值。
根据一个或多个实施例，针对第二图像的具有绿色通道的每个像素，预处理器121可基于第二彩色图像的对应像素的绿色分量确定第二图像的所述像素的像素值。
例如，针对第二图像的像素tG0，第一图像的对应像素为oG0，第二图像的像素tG0的颜色通道为绿色通道。可将第二彩色图像的与第二图像的像素tG0对应的像素的绿色分量确定为第二图像的像素tG0的像素值。
根据一个或多个实施例，针对第二图像的不具有绿色通道的每个像素，预处理器121可确定第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道是否相同。
当第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道相同时，预处理器121可基于第二彩色图像的对应像素的第一颜色分量确定第二图像的所述像素的像素值。例如，对应于第一颜色分量的颜色通道与第二图像的所述像素的颜色通道相同。
当第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道不同时，预处理器121可基于第二彩色图像的对应像素的红色分量、绿色分量和蓝色分量确定第二图像的所述像素的像素值。
例如，针对第二图像的像素tR3，第一图像的对应像素为oR3，第二图像的像素tR3的颜色通道与第一图像的对应像素oR3的颜色通道相同且为红色通道。可将第二彩色图像的与第二图像的像素tR3对应的像素的红色分量确定为第二图像的像素oR3的像素值。
例如，针对第二图像的像素tR1，第一图像的对应像素为oG1，第二图像的像素tR1的颜色通道与第一图像的对应像素oG1的颜色通道不同。可基于第二彩色图像的与第二图像的像素tR1对应的像素的红色分量、绿色分量、蓝色分量使用BT.601标准确定第二图像的像素tR1的像素值。
根据一个或多个实施例，第二图像的每个像素的像素值可被表示为下面的等式(2)：
Figure BDA0003564296570000111
在等式(2)中，eachPixelY表示第二图像的每个像素的像素值(例如，亮度值)；R、G、B表示第二彩色图像的与第二图像的像素对应的像素的红色分量、绿色分量、蓝色分量；L1、L2和L3分别表示将被应用于红色分量、绿色分量和蓝色分量的第一权重、第二权重和第三权重。
如上所示，在图5B中，对于像素tG0、tG2、tG5、tG7、tG8、tG10、tG13、tG15，L1和L3为0，L2等于256；对于像素tR3，L2和L3等于0，L1为256；对于像素tB12，L1和L2为0，L3等于256；对于其他像素，可使用BT.601标准确定L1、L2和L3。
上述将彩色图像转换成拜耳格式的图像的方法是示例，然而，实施例不限于此，例如也可以使用现有的其他的将彩色图像转换成拜耳格式的图像的方法。
图6示出根据实施例的基于第二图像生成全分辨率图像的流程图。
在操作S610中，AP 120确定CMOS传感器110拍摄第一图像的环境的照度条件。
根据一个或多个实施例，可通过设置在AP 120内部或外部的模式选择器或亮度传感器，来确定CMOS传感器110拍摄第一图像的环境的照度条件是高照度条件还是低照度条件。
例如，当CMOS传感器110拍摄第一图像的环境的照度大于预定阈值时，AP 120可将照度条件确定为高照度条件；当CMOS传感器110拍摄第一图像的环境的照度小于或等于预定阈值时，AP 120可将照度条件确定为低照度条件。
当CMOS传感器110拍摄第一图像的环境的照度条件为高照度条件时，在操作S620中，主处理器122可对第二图像执行后处理，以生成全分辨率图像。
当CMOS传感器110拍摄第一图像的环境的照度条件为低照度条件时，在操作S630中，预处理器121可从第二图像提取高频细节，来生成包含提取的高频细节的拜耳格式的第三图像。高频细节可包括边缘、纹理等中的至少一者。
这里，提取高频细节的方法可包括但不限于：基于坎尼算法的边缘检测(edgedetection based on canny algorithm)、小波变换算法、索贝尔滤波器(sobel filter)、普瑞维特滤波器(prewitt filter)、拉普拉斯滤波器等。
在操作S640中，预处理器121可获得合并像素图像。
在一个或多个实施例中，预处理器121可通过从CMOS传感器110接收合并像素图像，或者将第一图像转换成合并像素图像，来获得合并像素图像。
在操作S650中，预处理器121可对合并像素图像执行上采样，以生成拜耳格式的第四图像，第四图像的分辨率与第三图像的分辨率相同。
这里，对合并像素图像执行上采样的方法包括但不限于：双三次插值(bi-cubicinterpolation)或三次样条插值(cubic spline interpolation)。
在操作S660中，预处理器121可将第三图像与第四图像的对应位置的像素的像素值进行融合，来生成拜耳格式的第五图像。
根据一个或多个实施例，将第三图像与第四图像的对应位置的像素的像素值进行融合的方式可包括：获得第三图像与第四图像的对应位置的像素的像素值的加权平均值。然而，实施例不限于此，将第三图像与第四图像的对应位置的像素的像素值进行融合的其他方式也可被应用于此。
在操作S670中，主处理器122可对第五图像执行后处理，以生成全分辨率图像。
根据一个或多个实施例，当CMOS传感器110拍摄第一图像的环境的照度条件为高照度条件时生成第二图像的方法不限于图3至图5B和图8描述的那些。例如，可通过使用CMOS传感器110对第一图像执行硬件马赛克重排来生成第二图像，或者可通过使用AP 120对第一图像执行其他马赛克重排算法来生成第二图像。
在一个实施例中，在低照度条件下基于对CMOS传感器的原始图像执行马赛克重排生成的第二图像以及对合并像素图像上采样生成的第三图像，生成全分辨率图像，可以提高在低照度条件下AP输出的图像的SNR。
图7A至图7C示出根据实施例的将第一图像转换为第一彩色图像的方法。
如图7A所示，在操作S710中，AP 120可针对第一图像的每个像素，在第一图像中确定以每个像素为中心的块(例如，以每个像素为中心的N×M块(其中，N和M中的每个是大于或等于1的整数)的块)。
在操作S720中，AP 120可基于以第一图像的每个像素为中心的块，针对第一图像的每个像素，确定第一彩色图像的对应像素的绿色分量的插值方向。例如，为了确定第一彩色图像的第一像素的绿色分量的插值方向，AP可首先在第一图像中确定以第一图像的与第一彩色图像的第一像素在位置上对应的第二像素为中心的块，然后基于该块计算与多个方向对应的多个梯度值，并且将与最大梯度值对应的方向确定第一彩色图像的第一像素的绿色分量的插值方向。然而，实施例不限于使用最大梯度值的方案，可以使用其他的基于以第一图像的每个像素为中心的块确定第一彩色图像的对应像素的绿色分量的插值方向的方法。
在操作S730中，AP 120可基于以第一图像的每个像素为中心的块以及第一彩色图像的对应像素的绿色分量的插值方向，来确定第一彩色图像的对应像素的绿色分量。
例如，为了确定第一彩色图像的第一像素的绿色分量，AP 120可基于第一图像的与第一彩色图像的第一像素对应的第二像素的颜色通道、以第一图像的第二像素为中心的块和第一彩色图像的第一像素的绿色分量的插值方向，选择与以第一图像的第二像素为中心的块对应的预定滤波器(其中，以第一图像的第二像素为中心的块的大小与预定滤波器的大小相同)。
然后，AP 120可基于预定滤波器和以第一图像的第二像素为中心的块，确定第一彩色图像的第一像素的绿色分量。例如，AP 120可将以第一图像的第二像素为中心的块的每个像素的像素值与预定滤波器的对应权重相乘并相加，来确定第一彩色图像的对应像素的绿色分量。
根据一个或多个实施例，当第一图像的第二像素的颜色通道为绿色通道时，选择的预定滤波器可以是这样的滤波器：沿插值方向布置且包括预定滤波器的中心位置处的权重的多个权重之中，与以第一图像的第二像素为中心的块中的具有绿色通道的像素对应的权重为非零值，其余的权重为零值，中心位置处的权重最大，越靠近中心位置的位置处的权重越大；此外，预定滤波器的除了上述多个权重之外的权重为零值。
例如，当第一图像的第二像素的颜色通道为蓝色通道或红色通道时，选择的预定滤波器为这样的滤波器：沿插值方向布置且包括预定滤波器的中心位置处的权重的多个权重之中，与以第一图像的第二像素为中心的块中的具有绿色通道的像素对应的权重为非零值，其余的权重为零值，越靠近中心位置的位置处的权重越大；此外，预定滤波器的除了上述多个权重之外的权重为零值。
例如，如图7B所示，为了确定第一彩色图像的第一像素的绿色分量，AP 120可在第一图像中确定以第一图像的与第一彩色图像的第一像素对应的第二像素(由标有下划线的G表示)为中心的块，然后确定与以第二像素为中心的块对应的预定滤波器。
在这个示例中，第一图像的第二像素的颜色通道为绿色通道，假设第一彩色图像的第一像素的插值方向为水平方向，则在预定滤波器中，沿水平方向布置且包括预定滤波器的中心位置处的权重G_F_12的多个权重G_F_10至G_F_14之中，G_F_12和G_F_13为非零值，G_F_10、G_F_11和G_F_14为零值，G_F_12大于G_F_13；此外，预定滤波器的除了权重G_F_10至G_F_14之外的权重为零值。
例如，如图7C所示，为了确定第一彩色图像的第一像素的绿色分量，AP 120可在第一图像中确定以第一图像的与第一彩色图像的第一像素对应的第二像素(由标有下划线的B表示)为中心的块，然后确定与以第二像素为中心的块对应的预定滤波器。
在这个示例中，第一图像的第二像素的颜色通道为蓝色通道，假设第一彩色图像的第一像素的插值方向为水平方向，则在预定滤波器中，沿水平方向布置且包括预定滤波器的中心位置处的权重B_F_12的多个权重B_F_10至B_F_14之中，B_F_10、B_F_11和B_F_14为非零值，B_F_12和B_F_13为零值，B_F_11大于B_F_10；此外，预定滤波器的除了权重B_F_10至B_F_14之外的权重为零值。
在操作S740中，AP 120可基于第一图像的像素的颜色通道确定第一彩色图像的对应像素的红色分量和蓝色分量。
例如，AP 120可确定第一图像的每个像素的颜色通道是否为红色通道。当第一图像的像素的颜色通道为红色通道时，AP 120可将第一图像的像素的像素值确定为第一彩色图像的对应像素的红色分量。当第一图像的像素的颜色通道不是红色通道时，AP 120可使用最邻近插值基于第一图像的与该像素最邻近的具有红色通道的像素来确定第一彩色图像的对应像素的红色分量，或者使用双线性插值基于以第一图像的像素为中心的块来确定第一彩色图像的对应像素的红色分量。此外，AP 120可使用相似的方法来确定第一彩色图像的像素的蓝色分量。
上述将CMOS传感器的原始图像转换为彩色图像的方法是示例，然而实施例不限于此，例如也可以使用现有的其他的将CMOS传感器的原始图像转换为彩色图像的方法。
图8是示出根据实施例的执行马赛克重排的流程图。
在操作S810中，预处理器121对第一图像使用预定神经网络，生成第二彩色图像。
这里，预定神经网络可包括各种类型的神经网络模型(例如，卷积神经网络(CNN)、区域卷积神经网络(R-CNN)、生成对抗网络(GAN)、区域候选网络(RPN)、循环神经网络(RNN)、基于堆叠的深度神经网络(S-DNN)、状态空间动态神经网络(S-SDNN)、解卷积网络、深度信念网络(DBN)、受限玻尔兹曼机(RBM)、全卷积网络、长短期记忆(LSTM)网络、分类网络、普通残差网络、密集网络、分层金字塔网络(hierarchical pyramid network)等)中的至少一种。
在操作S820中，预处理器121可将第二彩色图像转换成拜耳格式的第二图像。在一个或多个实施例中，可通过确定第二图像的每个像素的颜色通道并且确定第二图像的每个像素的像素值，来将第二彩色图像转换成拜耳格式的第二图像。
在一个或多个实施例中，可参照图5A和图5B描述的处理来执行确定第二图像的每个像素的颜色通道的处理以及确定第二图像的每个像素的像素值的处理。然而，实施例不限于此，可通过以下方式来确定第二图像的每个像素的像素值。
具体地，针对第二图像的每个像素，预处理器121可仅确定第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道是否相同。
当第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道相同时，预处理器121可基于第二彩色图像的对应像素的第一颜色分量确定第二图像的所述像素的像素值。例如，对应于第一颜色分量的颜色通道与第二图像的所述像素的颜色通道相同。
当第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道不同时，预处理器121可基于第二彩色图像的对应像素的红色分量、绿色分量和蓝色分量确定第二图像的所述像素的像素值。
根据一个或多个实施例，预定神经网络可基于多个训练数据被预先训练。多个训练数据中的每个可包括：CMOS传感器110的原始图像以及与原始图像对应的目标彩色图像。在一个或多个实施例中，可通过将原始图像转换成第一彩色图像，对第一彩色图像执行伪色校正，并对在执行伪色校正时导致的过校正进行再校正，来生成目标彩色图像。
在一个实施例中，通过在高照度条件下使用AP 120对CMOS传感器的原始图像执行参照图3至图5B以及图8描述的马赛克重排，来生成第二图像，并基于第二图像生成全分辨率图像，可以改善在高照度条件下AP 120输出的全分辨率图像的图像异常表现(例如，迷宫图案噪声、棋盘伪影、紫边、伪色等)。
图9示出根据实施例的生成全分辨率图像的流程图。
在操作S910中，主处理器122可从预处理器121接收第二图像或第五图像。
在模式选择器确定的照度条件为高照度条件的情况下，主处理器122可接收第二图像，在模式选择器确定的照度条件为低照度条件的情况下，主处理器122可接收第五图像。
在操作S920中，主处理器122可对第二图像或第五图像执行后处理，以生成全分辨率图像。
在一个或多个实施例中，对第二图像或第五图像执行的后处理指的是常规的图像信号处理处理流程，例如，后处理可包括用于将拜耳格式的图像转换为RGB格式的图像的处理(例如，去马赛克(demosaic))和/或用于将RGB格式的图像转换为YUV格式的图像的处理(例如，RGB2YUV)。
然而，实施例不限于此，对第二图像或第五图像执行的后处理还可包括黑电平矫正、镜头阴影校正、拜耳降噪、自动曝光、自动白平衡、自动聚焦、锐化和YUV降噪中的至少一个。
图10是示出根据实施例的图像处理方法的流程图。
在操作S1010中，确定电子装置是在基本拍摄模式下还是在特殊拍摄模式下进行拍摄。
当电子装置在基本拍摄模式下进行拍摄时，在操作S1020中，模式选择器确定CMOS传感器110拍摄图像的环境的照度条件。
当确定的照度条件为高照度条件时，在操作S1030中，预处理器121接收CMOS传感器110的原始图像作为第一图像。
在操作S1040中，预处理器121对第一图像执行马赛克重排，以生成拜耳格式的第二图像。这里，对第一图像执行马赛克重排的处理可类似于图3至图5B或图8描述的那些，因此，将省略重复的描述以避免冗余。
在操作S1050中，主处理器122对第二图像执行后处理，以生成全分辨率图像。
当确定的照度条件为低照度条件时，在操作S1060中，主处理器122接收合并像素图像。
在操作S1070中，主处理器122对合并像素图像执行后处理，以生成低分辨率图像，低分辨率图像的分辨率小于全分辨率图像的分辨率。例如，低分辨率图像的分辨率为全分辨率图像分辨率的1/N，当CMOS传感器110为Tetra CMOS传感器时，低分辨率图像的分辨率为全分辨率图像分辨率的1/4，当CMOS传感器110为Nona CMOS传感器时，低分辨率图像的分辨率为全分辨率图像分辨率的1/9。
当电子装置在特殊拍摄模式下进行拍摄时，在操作S1021中，模式选择器确定CMOS传感器110拍摄图像的环境的照度条件。
当确定的照度条件为高照度条件时，在操作S1031中，预处理器121接收CMOS传感器110的原始图像作为第一图像。
在操作S1041中，预处理器121对第一图像执行马赛克重排，以生成拜耳格式的第二图像。这里，对第一图像执行马赛克重排的处理可类似于图3至图5B或图8描述的那些，因此，将省略重复的描述以避免冗余。
在操作S1051中，主处理器122对第二图像执行后处理，以生成全分辨率图像。
当确定的照度条件为低照度条件时，在操作S1061中，预处理器121接收第一图像和合并像素图像，或者仅接收第一图像，并将第一图像转换为合并像素图像。
在操作S1071中，使用预处理器121基于第一图像和合并像素图像生成第五图像。这里，预处理器121生成第五图像的处理可包括图3的操作S320至S350或者图8的操作S810和S820以及图6的操作S630至S670，因此，将省略重复的描述以避免冗余。
在操作S1081中，使用主处理器122对第五图像执行后处理，以生成全分辨率图像。
图11示出根据一个或多个实施例的电子装置(例如，移动终端)的框图。
如图11所示，在一个或多个实施例中的移动终端200包括图像传感器210、控制器220、通信单元230、输入单元240、存储单元250、显示单元260和图像信号处理器270。例如，移动终端200可对应于图1的电子装置100，图像传感器210可对应于CMOS传感器110，并且控制器220可以是AP 120的一部分或单独的处理器。
图像传感器210连接到控制器220。图像传感器210用于拍摄图像。图像信号处理器270和/或控制器220可对图像传感器210输出的图像进行处理(例如，使用图3或图10所示的图像处理方法)。控制器220可将处理后的图像显示在显示单元260上，和/或可将图像存储在存储单元250。
通信单元230可执行移动终端的通信操作。通信单元230可建立到通信网络的通信信道和/或可执行与例如图像处理相关联的通信。
输入单元240被配置为接收输入的各种信息以及各种控制信号，并将输入的信息和控制信号发送到控制器220。输入单元240可通过诸如触摸屏等各种输入装置来实现；然而，示例实施例不限于此。
存储单元250可包括易失性存储器和/或非易失性存储器。存储单元250可存储由移动终端生成和使用的各种数据。例如，存储单元250可存储用于控制移动终端的操作的操作系统、应用程序(例如，与实施例的方法关联的应用程序)。控制器220可控制移动终端的整体操作，并可控制移动终端的内部元件的部分或全部。控制器220可被实现为通用处理器、应用处理器(AP)、专用集成电路、现场可编程门阵列等，但实施例不限于此。
在此描述的设备、单元、模块和其他组件由硬件组件实现。可用于执行在本申请中描述的操作的硬件组件的示例在适当的情况下包括：控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器、以及被配置为执行在本申请中描述的操作的任何其他电子组件。在其他示例中，通过计算硬件(例如，通过一个或多个处理器或计算机)来实现执行在本申请中描述的操作的硬件组件中的一个或多个硬件组件。处理器或计算机可由一个或多个处理元件(诸如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微型计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或者被配置为以限定的方式响应并执行指令以实现期望的结果的任何其他装置或装置的组合)来实现。在一个示例中，处理器或计算机包括或者连接到存储由处理器或计算机执行的指令或软件的一个或多个存储器。
由处理器或计算机实现的硬件组件可执行用于执行在本申请中描述的操作的指令或软件(诸如，操作系统(OS)和在OS上运行的一个或多个软件应用)。硬件组件还可响应于指令或软件的执行来访问、操控、处理、创建和存储数据。为了简明，单数术语“处理器”或“计算机”可用于在本申请中描述的示例的描述中，但是在其他示例中，多个处理器或计算机可被使用，或者处理器或计算机可包括多个处理元件、或多种类型的处理元件、或两者。例如，单个硬件组件、或者两个或更多个硬件组件可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可由一个或多个处理器、或者处理器和控制器来实现，并且一个或多个其他硬件组件可由一个或多个其他处理器、或者另一处理器和另一控制器来实现。一个或多个处理器、或者处理器和控制器可实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可具有不同的处理配置中的任何一个或多个，不同的处理配置的示例包括：单个处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理和多指令多数据(MIMD)多处理。
执行在本申请中描述的操作的方法由计算硬件(例如，由一个或多个处理器或计算机)来执行，计算硬件被实现为如上所述执行指令或软件以执行在本申请中描述的由所述方法执行的操作。例如，单个操作、或者两个或更多个操作可由单个处理器、或者两个或更多个处理器、或者处理器和控制器来执行。一个或多个操作可由一个或多个处理器、或者处理器和控制器来执行，并且一个或多个其他操作可由一个或多个其他处理器、或者另一处理器和另一控制器来执行。一个或多个处理器、或者处理器和控制器可执行单个操作、或者两个或更多个操作。
用于控制处理器或计算机以实现硬件组件并执行如上所述的方法的指令或软件可被编写为计算机程序、代码段、指令或它们的任何组合，以单独地或共同地指示或配置处理器或计算机作为机器或专用计算机进行操作，以执行由如上所述的硬件组件和方法执行的操作。在一个示例中，指令或软件包括由处理器或计算机直接执行的机器代码(诸如，由编译器产生的机器代码)。在另一示例中，指令或软件包括由处理器或计算机使用解释器执行的高级代码。本领域普通编程人员可基于附图中示出的框图和流程图以及说明书中的相应描述容易地编写指令或软件，附图中示出的框图和流程图以及说明书中的相应描述公开了用于执行由如上所述的硬件组件和方法执行的操作的算法。
用于控制处理器或计算机以实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中，或者被记录、存储或固定在一个或多个非暂时性计算机可读存储介质上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储装置、硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、卡式存储器(诸如，多媒体卡或微型卡(例如，安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘以及任何其他装置，任何其他装置被配置为以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构并将指令或软件以及任何相关联的数据、数据文件和数据结构提供给处理器或计算机，使得处理器或计算机能够执行指令。
尽管已经参照其示例性实施例具体显示和描述了本公开，但是本领域的技术人员应该理解，在不脱离权利要求所限定的本公开的精神和范围的情况下，可以对其进行形式和细节上的各种改变。

Claims (10)

1.一种图像处理方法，包括：
接收图像传感器的原始图像作为第一图像；
对第一图像执行马赛克重排，以生成拜耳格式的第二图像，其中，执行马赛克重排的步骤包括：将第一图像转换成第一彩色图像，对第一彩色图像执行伪色校正，对在执行伪色校正时导致的过校正进行再校正，以生成第二彩色图像，以及将第二彩色图像转换成拜耳格式的第二图像；以及
基于第二图像生成全分辨率图像作为输出图像。
2.根据权利要求1所述的图像处理方法，其中，基于第二图像生成全分辨率图像的步骤包括：
基于图像传感器拍摄第一图像的环境的照度条件为第一照度条件，通过对第二图像执行后处理，来生成全分辨率图像，
其中，第一照度条件表示图像传感器拍摄第一图像的环境的照度大于阈值。
3.根据权利要求1所述的图像处理方法，其中，基于第二图像生成全分辨率图像的步骤包括：
基于图像传感器拍摄第一图像的环境的照度条件为第二照度条件，
从第二图像提取高频细节，来生成包含提取的高频细节的拜耳格式的第三图像，
对合并像素图像进行上采样，来生成拜耳格式的第四图像，第四图像的分辨率与第三图像的分辨率相同，
通过将第三图像与第四图像的对应位置的像素的像素值进行融合，来生成拜耳格式的第五图像，
通过对第五图像执行后处理，来生成全分辨率图像，
其中，第二照度条件表示图像传感器拍摄第一图像的环境的照度小于或等于阈值，
其中，合并像素图像表示与第一图像对应的多像素合一图像。
4.根据权利要求1所述的图像处理方法，
其中，对第一彩色图像执行伪色校正的步骤包括：
通过对第一彩色图像进行模糊处理，来生成第三彩色图像，并且其中，对在执行伪色校正时导致的过校正进行再校正的步骤包括：
对第一彩色图像的高频部分进行调节，并基于调节后的第一彩色图像的高频部分和第三彩色图像来生成第二彩色图像。
5.根据权利要求4所述的图像处理方法，
其中，第一彩色图像的高频部分基于第一彩色图像和第三彩色图像被获得；
其中，第一彩色图像的高频部分通过以下步骤来获得：针对第一彩色图像中的每个像素，从第一彩色图像中的每个像素的红色分量、绿色分量和蓝色分量分别减去第三彩色图像中的相应像素的红色分量、绿色分量和蓝色分量；
其中，对第一彩色图像的高频部分进行调节的步骤包括：通过将第一彩色图像的高频部分中的每个像素的红色分量、绿色分量和蓝色分量乘以调试值，来生成调节后的第一彩色图像的高频部分；并且
其中，基于调节后的第一彩色图像的高频部分和第三彩色图像来生成第二彩色图像的步骤包括：针对调节后的第一彩色图像的高频部分中的每个像素，将调节后的第一彩色图像的高频部分中的每个像素的红色分量、绿色分量和蓝色分量与第三彩色图像中的相应像素的红色分量、绿色分量和蓝色分量相加，以生成第二彩色图像。
6.根据权利要求1所述的图像处理方法，其中，将第二彩色图像转换成第二图像的步骤包括：
根据第一图像的颜色通道的排列，确定第二图像的颜色通道的排列以及第二图像的每个像素的颜色通道；
针对第二图像中的具有绿色通道的每个像素，基于第二彩色图像的对应像素的绿色分量确定第二图像的所述像素的像素值；
针对第二图像中的不具有绿色通道的每个像素，确定第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道是否相同；
基于第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道相同，基于第二彩色图像的对应像素的第一颜色分量确定第二图像的所述像素的像素值；并且
基于第二图像的所述像素的颜色通道与第一图像的对应像素的颜色通道不同，基于第二彩色图像的对应像素的红色分量、绿色分量和蓝色分量确定第二图像的所述像素的像素值，
其中，对应于第一颜色分量的颜色通道与第二图像的所述像素的颜色通道相同。
7.根据权利要求1所述的图像处理方法，其中，
基于第二图像生成全分辨率图像的步骤包括：基于图像传感器拍摄第一图像的环境的照度条件为第一照度条件，通过对第二图像执行后处理，来生成全分辨率图像作为输出图像，
其中，所述图像处理方法还包括：基于图像传感器拍摄第一图像的环境的照度条件为第二照度条件，通过对合并像素图像执行后处理，来生成输出图像，
其中，第一照度条件表示图像传感器拍摄第一图像的环境的照度大于阈值，
其中，第二照度条件表示图像传感器拍摄第一图像的环境的照度小于或等于阈值，
其中，合并像素图像表示与第一图像对应的多像素合一图像。
8.根据权利要求1所述的图像处理方法，
其中，将第一图像转换成第一彩色图像的步骤包括：确定第一彩色图像的每个像素的绿色分量的插值方向，通过基于插值方向对第一图像执行方向插值，来生成第一彩色图像。
9.根据权利要求8所述的图像处理方法，
其中，通过基于插值方向对第一图像执行方向插值来生成第一彩色图像的步骤包括：
基于第一图像的每个像素的颜色通道、以第一图像的每个像素为中心的块和第一彩色图像的对应像素的绿色分量的插值方向，选择滤波器，
基于滤波器和以第一图像的每个像素为中心的块，确定第一彩色图像的对应像素的绿色分量，以及
基于第一图像的每个像素的颜色通道确定第一彩色图像的对应像素的红色分量和蓝色分量。
10.一种图像处理方法，包括
接收图像传感器的原始图像作为第一图像；
对第一图像执行马赛克重排，以生成拜耳格式的第二图像；
从第二图像提取高频细节，来生成包含提取的高频细节的拜耳格式的第三图像；
对合并像素图像进行上采样，来生成拜耳格式的第四图像；
通过将第三图像与第四图像的对应位置的像素的像素值进行融合，来生成拜耳格式的第五图像；
通过对第五图像执行后处理，来生成全分辨率图像；
其中，合并像素图像表示与第一图像对应的多像素合一图像。
CN202210304383.6A 2022-03-25 2022-03-25 图像处理方法和电子装置 Active CN114679542B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210304383.6A CN114679542B (zh) 2022-03-25 2022-03-25 图像处理方法和电子装置
US17/743,129 US20230308774A1 (en) 2022-03-25 2022-05-12 Image processing method and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210304383.6A CN114679542B (zh) 2022-03-25 2022-03-25 图像处理方法和电子装置

Publications (2)

Publication Number Publication Date
CN114679542A true CN114679542A (zh) 2022-06-28
CN114679542B CN114679542B (zh) 2024-04-16

Family

ID=82076927

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210304383.6A Active CN114679542B (zh) 2022-03-25 2022-03-25 图像处理方法和电子装置

Country Status (2)

Country Link
US (1) US20230308774A1 (zh)
CN (1) CN114679542B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282486A (zh) * 2007-04-05 2008-10-08 索尼株式会社 图像处理设备
JP2011223221A (ja) * 2010-04-08 2011-11-04 Nippon Hoso Kyokai <Nhk> 撮影装置および画像統合プログラム
CN105430358A (zh) * 2015-11-26 2016-03-23 努比亚技术有限公司 一种图像处理方法及装置、终端
CN107181905A (zh) * 2016-03-10 2017-09-19 中兴通讯股份有限公司 一种成像方法和装置
CN112954251A (zh) * 2019-12-10 2021-06-11 RealMe重庆移动通信有限公司 视频处理方法、视频处理装置、存储介质与电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1679908A4 (en) * 2003-10-24 2010-04-14 Nokia Corp ELECTRONIC DEVICE EQUIPPED WITH PHOTOGRAPHIC FUNCTION WITH CHROMATIC SCREENING FUNCTION AND METHOD FOR CORRECTING THE CHROMATIC DATA OF IMAGE DATA
JP2008153846A (ja) * 2006-12-15 2008-07-03 Kawasaki Microelectronics Kk カラー画像補正方法および補正装置
US20180357750A1 (en) * 2017-06-07 2018-12-13 Mediatek Inc. Demosaicking for multi-cell image sensor
KR20210004229A (ko) * 2019-07-03 2021-01-13 삼성전자주식회사 뉴럴 네트워크 프로세서를 구비하는 이미지 프로세싱 장치 및 이의 동작 방법
US11671715B2 (en) * 2021-01-14 2023-06-06 Qualcomm Incorporated High dynamic range technique selection for image processing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101282486A (zh) * 2007-04-05 2008-10-08 索尼株式会社 图像处理设备
JP2011223221A (ja) * 2010-04-08 2011-11-04 Nippon Hoso Kyokai <Nhk> 撮影装置および画像統合プログラム
CN105430358A (zh) * 2015-11-26 2016-03-23 努比亚技术有限公司 一种图像处理方法及装置、终端
CN107181905A (zh) * 2016-03-10 2017-09-19 中兴通讯股份有限公司 一种成像方法和装置
CN112954251A (zh) * 2019-12-10 2021-06-11 RealMe重庆移动通信有限公司 视频处理方法、视频处理装置、存储介质与电子设备

Also Published As

Publication number Publication date
US20230308774A1 (en) 2023-09-28
CN114679542B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
US10868985B2 (en) Correcting pixel defects based on defect history in an image processing pipeline
JP6469678B2 (ja) 画像アーティファクトを補正するシステム及び方法
US10298863B2 (en) Automatic compensation of lens flare
US7844127B2 (en) Edge mapping using panchromatic pixels
JP5291084B2 (ja) パンクロマティック画素を組み込むエッジマッピング
US9787922B2 (en) Pixel defect preprocessing in an image signal processor
EP2529554B1 (en) Iteratively denoising color filter array images
US11600025B2 (en) Image processing method, image processing apparatus, image processing system, and learnt model manufacturing method
US11195055B2 (en) Image processing method, image processing apparatus, storage medium, image processing system, and manufacturing method of learnt model
US10679326B2 (en) Image data processing apparatus and image data processing method that determine confidence data indicating a level of confidence in a pixel value in high resolution image data
EP2529555A1 (en) Denoising cfa images using weighted pixel differences
JP6711396B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP2005136852A (ja) 画像処理方法、画像処理装置および画像処理プログラム
CN113379609A (zh) 一种图像处理方法、存储介质及终端设备
US8452090B1 (en) Bayer reconstruction of images using a GPU
WO2014115453A1 (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN114679542B (zh) 图像处理方法和电子装置
CN115082352A (zh) 生成全聚焦图像的方法和装置
CN115170554A (zh) 图像检测方法和电子设备
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US20240112440A1 (en) Method and apparatus for processing array image
US20150098658A1 (en) Method and apparatus for processing image data, and recording medium
CN113379611A (zh) 图像处理模型的生成方法、处理方法、存储介质及终端
JP2009081893A (ja) 画像処理装置、画像処理方法、そのプログラム、およびそのプログラムを記録したコンピュータ読取り可能な記録媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant