CN114205487A - 内容自适应镜头阴影校正方法和装置 - Google Patents

内容自适应镜头阴影校正方法和装置 Download PDF

Info

Publication number
CN114205487A
CN114205487A CN202010886575.3A CN202010886575A CN114205487A CN 114205487 A CN114205487 A CN 114205487A CN 202010886575 A CN202010886575 A CN 202010886575A CN 114205487 A CN114205487 A CN 114205487A
Authority
CN
China
Prior art keywords
color
shading
shadow
frequency
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010886575.3A
Other languages
English (en)
Inventor
潘金云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Micro Devices Inc
Original Assignee
Advanced Micro Devices Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Advanced Micro Devices Inc filed Critical Advanced Micro Devices Inc
Priority to CN202010886575.3A priority Critical patent/CN114205487A/zh
Priority to US17/022,721 priority patent/US11272146B1/en
Publication of CN114205487A publication Critical patent/CN114205487A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/77—Circuits for processing the brightness signal and the chrominance signal relative to each other, e.g. adjusting the phase of the brightness signal relative to the colour signal, correcting differential gain or differential phase

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

用于在阴影图像帧的至少一部分中提供自适应镜头阴影校正的方法和装置对阴影图像帧的一部分执行光亮度镜头阴影校正，并检测阴影图像中的颜色平坦区域。该方法和装置生成包括颜色阴影参数的基于频率的颜色阴影分布图，该颜色阴影参数包括与来自实验阴影数据的色调分布相对应的幅度参数和相位参数，并通过使用颜色阴影参数对阴影图像帧的检测到的颜色平坦区域执行颜色阴影校正来生成无阴影图像。

Description

内容自适应镜头阴影校正方法和装置
背景技术
镜头阴影校正(LSC)用于校正由在数字图像或其他图像捕获设备的生产中与光检测器有关的各种因素引起的图像阴影。阴影也称为渐晕，表示与图像中心相比，朝着图像外围的图像亮度和饱和度降低。镜头阴影是由许多因素引起的，所述因素包括但不限于镜头光圈、镜筒、传感器主光线角度和其他因素。另外，光透射率随入射波长而变化，这是由折射、传感器灵敏度、像素串扰和其他因素导致的。这样，亮度阴影和颜色阴影都可以改变图像的质量。通常，光检测器包括不同的颜色分量传感器，例如单独的红色、绿色和蓝色像素传感器。在一些实现方式中，校正镜头阴影的镜头阴影校正电路采用具有针对光检测器的每个像素的校正值的存储的查找表。在一些实现方式中，在图像捕获设备中使用RGB(R/G/G/B)光检测器。
镜头阴影可能是难以校正的问题，因为由于传感器变化、镜头变化、组件变化、老化和其他因素，阴影可能因图像传感器单元而异。另外，阴影因场景而异，例如因场景内光源的波长和对象的改变而异。当用户观看显示正在被视频会议的另一端的一个或多个图像捕获设备捕获的实时视频的显示器时，使用手机、笔记本电脑以及视频电话会议系统而采用的点对点实时视频系统可能具有严重的质量降低。
一些解决方案采用动态镜头阴影校正，该校正依赖于用于色温预测的自动白平衡机制，但是可能并不总是足够精确和准确，并且可能无法解决颜色相同而波长不同的问题。有时称为自适应镜头阴影校正技术的其他解决方案试图根据图像帧的图像内容预测色温。这样的技术在消除镜头阴影方面提供了高性能，但是其实现方式可能很复杂。
附图说明
当结合以下附图时，根据下文描述，将更容易理解实现方式，其中，相同的附图标记表示相同的元件，并且其中：
图1是示出根据本公开的用于提供自适应镜头阴影校正的装置的示例的框图；
图2是基于由一个或多个图像捕获设备捕获的测试图像的来自实验阴影数据的色调分布的图形表示；
图3是示出根据本公开中提出的一个示例的用于提供自适应镜头阴影校正的方法的流程图；
图4是示出根据本公开中提出的一个示例的具有基于频率的颜色校正的自适应镜头阴影校正电路的框图；
图5是示出根据本公开中提出的一个示例的用于提供自适应镜头阴影校正的方法的流程图；
图6是示出根据本公开中提出的一个示例的用于提供自适应镜头阴影校正的方法的流程图；
图7是示出根据本公开中提出的一个示例的用于提供自适应镜头阴影校正的方法的流程图；以及
图8是示出根据本公开中提出的一个示例的用于提供自适应镜头阴影校正的方法的流程图。
在下面的描述中，在不同附图中使用相同的附图标记表示相似或相同的项目。除非另有说明，否则单词“耦合”及其相关联的动词形式通过本领域已知的方式包括直接连接和间接电连接，并且除非另有说明，否则对直接连接的任何描述暗示使用合适形式的间接电连接的替代实施方式。
具体实施方式
本文公开的包括方法和装置在内的技术通过使用基于频率的颜色阴影分布图来实现有效且有成本效益的自适应镜头阴影校正操作。通过校正由图像捕获设备引起的亮度阴影和颜色阴影，可以对视频中图像内容的变化进行镜头阴影自适应校正。在一个示例中，基于每个颜色分量的存储的色调分布数据，使用基于频率的颜色阴影分布图来校正颜色阴影。分析阴影图像的色调平坦区域的极低频信号，同时滤除高频信号。
在某些实现方式中，用于提供自适应镜头阴影校正的装置和方法针对每个颜色分量采用包括颜色阴影参数的基于频率的颜色阴影分布图，该颜色阴影参数包括与基于由一个或多个图像捕获设备捕获的测试图像的来自实验阴影数据的色调分布相对应的幅度参数和相位参数。在一些实现方式中，基于频率的颜色阴影分布图使用一阶谐波频率分布来用作确定阴影图像中内容的阴影校正参数以校正阴影图像中的颜色阴影的基础。在某些实施方式中，该方法和装置存储用于生成基于频率的颜色阴影分布图的不同颜色分量的色调分布的统计数据。在某些示例中，这包括存储与一个或多个图像捕获设备相对应的多个颜色分量中的每一个的色调分布数据，以及使用例如分布的一次谐波来提取色调分布的频率分布以确定一个或多个图像捕获设备的阴影分布图。
在一些示例中，该方法和装置去除亮度阴影(也称为光亮度阴影)，并对阴影图像的像素块执行下采样操作，作为颜色阴影校正操作的一部分。对于颜色阴影校正，在一些示例中，该方法和装置基于色调平坦度阈值逐个像素块地检测阴影图像的颜色平坦区域，以确定阴影图像帧的颜色(色调)平坦区域。提取颜色不平坦区域，也称为色调不均匀区域。分析色调平坦区域的极低频信号，同时滤除高频信号。在某些示例中，该方法包括：计算基于频率的颜色阴影分布图参数，在一个示例中，该参数包括来自实验阴影数据的幅度参数和相位参数；以及使用颜色阴影参数生成校正参数以从阴影图像中的颜色平坦区域中去除阴影并产生无阴影图像。无阴影图像可以被压缩并发送到另一进程、设备、网络，或者在一些示例中以供显示。在一些实现方式中，阴影校正操作在诸如基于云的平台之类的网络中执行。
根据某些实施方式，一种用于在阴影图像帧的至少一部分中提供自适应镜头阴影校正的方法包括对阴影图像帧的一部分执行光亮度镜头阴影校正；检测阴影图像中的颜色平坦区域；生成包括颜色阴影参数的基于频率的颜色阴影分布图，该颜色阴影参数包括与基于由一个或多个图像捕获设备捕获的测试图像的来自实验阴影数据的色调分布相对应的幅度参数和相位参数；以及通过使用包括与来自实验阴影数据的色调分布相对应的幅度参数和相位参数的颜色阴影参数对阴影图像帧的检测到的颜色平坦区域执行颜色阴影校正来生成无阴影图像。生成阴影分布图可以在线或离线完成。
在一些示例中，色调分布包括针对与一个或多个图像捕获设备相对应的多个颜色分量中的每一个的存储的色调分布数据，并且其中，检测阴影图像中的颜色平坦区域包括对阴影图像帧进行下采样以产生阴影图像帧的一个或多个下采样的像素块。
在某些示例中，该方法包括将颜色平坦区域中的色调从空间域转换为频域，以及基于所生成的基于频率的颜色阴影分布图的颜色阴影模型参数来确定颜色阴影校正参数，以及使基于每个像素块的色调变化总和最小化。
在一些示例中，所生成的基于频率的颜色阴影分布图f(x,y)被表示为：
f(x，y)＝g(x)·g(y)
Figure BDA0002655752140000041
Figure BDA0002655752140000042
其中f(x,y)是颜色阴影分布，g(x)、g(y)表示水平和垂直方向，A是振幅，
Figure BDA0002655752140000043
是相位，W是图像宽度，以及H是图像高度。
在某些示例中，转换颜色平坦区域中的色调包括：将分别在水平和垂直两个方向上将在像素块的颜色平坦区域中检测到的色调信号转换为频域，以及使用低通滤波器提取每个方向转换的低频部分。该方法包括将每个得到的低频部分转换成空间分布，以及通过生成用于调节图像校正电路的增益控制以产生无阴影图像的颜色阴影校正表来确定颜色阴影校正参数。
在一些示例中，执行光亮度镜头阴影校正包括使用基于一个或多个图像捕获设备的实验测试的预校准亮度阴影表从阴影图像帧生成光亮度校正表信息，以及应用光亮度校正表信息来校正光亮度阴影。
根据某些实施方式，一种用于在阴影图像帧的至少一部分中提供自适应镜头阴影校正的装置包括光亮度校正电路，该光亮度校正电路对阴影图像帧的至少一部分执行光亮度镜头阴影校正。该装置包括：色调不均匀去除检测电路，其检测阴影图像中的颜色平坦区域；以及基于频率的颜色校正电路，其基于由一个或多个图像捕获设备捕获的测试图像生成包括颜色阴影参数的基于频率的颜色阴影分布图，该颜色阴影参数包括与来自实验阴影数据的色调分布相对应的幅度参数和相位参数。基于频率的颜色校正电路通过使用颜色阴影参数对阴影图像帧的检测到的颜色平坦区域执行颜色阴影校正来生成无阴影图像，该颜色阴影参数包括与来自实验阴影数据的色调分布相对应的幅度参数和相位参数。
在一些示例中，该装置包括存储器，其存储表示色调分布的数据，该数据包括对应于一个或多个图像捕获设备的多个颜色分量中的每一个的色调分布数据。
在某些示例中，色调不均匀去除检测电路通过对阴影图像帧进行下采样以产生阴影图像帧的一个或多个下采样的像素块来检测阴影图像中的颜色平坦区域。
在一些示例中，基于频率的颜色校正电路将颜色平坦区域中的色调从空间域转换为频域，以及通过使色调变化总和最小化，基于所生成的基于频率的颜色阴影分布图的颜色阴影模型参数，确定颜色阴影校正参数。
在某些示例中，基于频率的颜色校正电路使用所生成的以下形式的基于频率的颜色阴影分布图f(x,y)产生阴影模型参数：
f(x，y)＝g(x)·g(y)
Figure BDA0002655752140000061
Figure BDA0002655752140000062
其中f(x,y)是颜色阴影分布，g(x)、g(y)表示水平和垂直方向，A是振幅，
Figure BDA0002655752140000063
是相位，W是图像宽度，以及H是图像高度。
在一些示例中，基于频率的颜色校正电路将分别在水平和垂直两个方向上将在像素块的颜色平坦区域中检测到的色调信号转换为频域，使用低通滤波器提取每个方向转换的低频部分，将每个得到的低频部分转换成空间分布，以及生成用于调节图像校正电路的增益控制以产生无阴影图像的颜色阴影校正表。
在某些示例中，光亮度校正电路通过使用基于一个或多个图像捕获设备的实验测试的预校准亮度阴影表从阴影图像帧生成光亮度校正表信息来执行光亮度镜头阴影校正。光亮度校正电路应用光亮度校正表信息来校正亮度镜头阴影。
在一些示例中，该装置包括：图像捕获设备，其产生阴影图像帧作为视频流的一部分；以及至少一个显示器，其可操作地耦合到显示无阴影帧的基于频率的颜色校正电路。在某些示例中，光亮度校正电路、色调不均匀去除检测电路和基于频率的颜色校正电路由一个或多个经编程的处理器组成。
根据一些实施方式，一种非暂时性存储介质存储可执行指令，当由一个或多个处理器执行时，该可执行指令使一个或多个处理器根据本文所述的方法对阴影图像帧的一部分执行光亮度镜头阴影校正。
图1示出了装置100的一个示例，该装置100用于例如在来自采用镜头的一个或多个图像捕获设备的视频流中的阴影图像帧的至少一部分中提供自适应镜头阴影校正。例如，视频流可以由视频会议系统、移动设备上的视频应用程序、基于网络的视频会议系统或其他来源生成。在该示例中的装置100包括图像捕获设备102，例如镜头系统，其捕获图像103，但是还在所捕获的图像中引入亮度阴影、颜色阴影。所捕获的图像103被提供给帧提供器104，例如预处理电路，其根据需要执行各种噪声去除操作或任何其他合适的操作。然而，在其他实现方式中，装置100不包括图像捕获设备或帧提供器，并且是云计算平台中的诸如服务器之类的系统中的中间设备，该中间设备从各种图像源接收阴影图像帧，以及执行镜头阴影校正并将无阴影图像提供给其他设备以进行显示。可以设想到其他变化。
装置100包括自适应镜头阴影校正电路106，其采用基于频率的颜色校正(和光亮度阴影校正)。如果期望的话，装置100包括一个或多个显示器108，并且在其他实现方式中，装置100向网络或其他设备提供无阴影图像帧以用于进一步处理，例如压缩或所期望的其他操作。在一个示例中，自适应镜头阴影校正电路106被实现为图形处理单元(GPU)、中央处理单元(CPU)、加速处理单元(APU)、专用集成电路(ASIC)、离散逻辑电路、一个或多个状态机、一个或多个经适当编程的处理器，这些处理器执行存储在存储器[例如只读存储器(ROM)、随机存取存储器(RAM)、非易失性RAM(NVRAM)或任何其他合适的存储器]中的指令；或者使用其他合适的架构实现。
在该示例中，自适应镜头阴影校正电路106包括光亮度校正电路110、色调不均匀区域去除检测电路112，基于频率的颜色校正电路114和存储图像捕获设备色调分布数据116的存储器。在某些实现方式中，帧提供器104将帧累积在一个或多个帧缓冲器中，并将阴影图像帧120提供给光亮度校正电路110，该光亮度校正电路110执行光亮度镜头阴影校正并产生光亮度校正的阴影图像帧122(例如一个或更多的像素宏块形式)，到达色调不均匀区域去除检测电路112。色调不均匀区域去除检测电路112去除光亮度校正的阴影图像帧122的色调不均匀区域，以识别阴影图像帧的颜色平坦区域并将颜色平坦区域块124(或颜色平坦宏块的识别信息)提供给基于频率的颜色校正电路，该基于频率的颜色校正电路通过使用包括与色调分布数据116相对应的幅度参数和相位参数的颜色阴影参数，对阴影图像帧的检测到的颜色平坦区域执行颜色阴影校正来生成无阴影图像126。在一些实现方式中，颜色不均匀区域去除检测电路112接收阴影图像帧120并去除不均匀区域。
在某些实现方式中，自适应镜头阴影校正电路106从帧提供器104接收阴影图像帧120，以及使用光亮度校正电路110去除阴影图像中的亮度阴影以产生光亮度校正的阴影图像122。色调不均匀区域去除检测电路112从光亮度校正的阴影图像帧122检测宏块级别的颜色平坦区域，并且去除色调不均匀区域以产生具有平坦颜色区域的颜色平坦区域块124。基于频率的颜色校正电路114基于图像捕获设备色调分布数据116生成模型颜色阴影分布图，以及使用颜色阴影分布图参数(例如给定频率的幅度和相位)来确定颜色补偿级别以适应在色调平坦区域块124中发现的相应频率。被调整的频率对应于在平坦区域中发现的一次谐波频率。然后，通过基于频率的颜色校正电路114去除颜色阴影，并输出无阴影图像126，以用于后续处理或在一个或多个显示器108上显示。
在某些实现方式中，自适应镜头阴影校正电路106在阴影图像帧的至少一部分中提供自适应镜头阴影校正，并且包括对阴影图像帧的至少一部分执行光亮度镜头阴影校正的光亮度校正电路110、检测阴影图像中的颜色平坦区域的色调不均匀去除区域检测电路112以及基于频率的颜色校正电路114，该基于频率的颜色校正电路114生成包括颜色阴影参数的基于频率的颜色阴影分布图，该颜色阴影参数包括与来自实验阴影数据的色调分布相对应的幅度参数和相位参数，以及通过使用包括与来自实验阴影数据的色调分布相对应的幅度参数和相位参数的颜色阴影参数，对阴影图像帧的检测到的颜色平坦区域执行颜色阴影校正来生成无阴影图像。
在一些示例中，该装置包括存储器117，该存储器117存储表示色调分布的数据，该数据包括针对与一个或多个图像捕获设备相对应的多个颜色分量中的每一个的色调分布数据116。在某些示例中，色调不均匀区域去除检测电路112通过对阴影图像帧进行下采样以产生阴影图像帧的一个或多个下采样的像素块来检测阴影图像中的颜色平坦区域。
在某些示例中，基于频率的颜色校正电路114使用所生成的以下形式的基于频率的颜色阴影分布图f(x,y)产生阴影模型参数：
f(x，y)＝g(x)·g(y)
Figure BDA0002655752140000091
Figure BDA0002655752140000092
其中f(x,y)是颜色阴影分布，g(x)、g(y)表示水平和垂直方向，A是振幅，
Figure BDA0002655752140000093
是相位，W是图像宽度，以及H是图像高度。
在一些示例中，基于频率的颜色校正电路114将分别在水平和垂直两个方向上将在像素块的颜色平坦区域中检测到的色调信号转换为频域，使用低通滤波器提取每个方向转换的低频部分，将每个得到的低频部分转换成空间分布，以及生成具有用于调节图像校正电路的增益控制以产生无阴影图像的值的颜色阴影校正表。
在一些示例中，基于频率的颜色校正电路114将颜色平坦区域中的色调从空间域转换为频域，以及通过使色调变化总和最小化，基于所生成的基于频率的颜色阴影分布图的颜色阴影模型参数，确定颜色阴影校正参数。
在某些示例中，光亮度校正电路110通过使用常规技术，使用基于一个或多个图像捕获设备的实验测试的光亮度阴影表430(图4)从阴影图像帧生成光亮度校正表信息来执行光亮度镜头阴影校正，以及应用光亮度校正表信息433来校正亮度镜头阴影。
在一些示例中，该装置包括：图像捕获设备，其产生阴影图像帧作为视频流的一部分；以及至少一个显示器108，其显示无阴影帧。在某些示例中，光亮度校正电路110、色调不均匀区域去除检测电路112和基于频率的颜色校正电路114包括一个或多个经编程的处理器。下文提供了有关各种操作的更多细节。
图2以图形方式示出了图像捕获设备色调分布数据116。使用由一个或多个图像捕获设备捕获的测试图像来离线生成色调分布数据116。曲线图200示出了每种颜色分量的一维分布。曲线图202示出了一种色调分量的一维分布的频率分布。已经发现，基于由一个或多个图像捕获设备捕获的测试图像，一次谐波表示由镜头引起的颜色阴影的很大一部分。在一个示例中，基于频率的颜色校正电路114存储图像捕获设备色调分布数据116并生成一次谐波信息，以用于生成颜色阴影参数，即与色调分布相对应的幅度参数和相位参数，该色调分布如下文进一步描述的那样用于校正阴影图像中的颜色镜头阴影。
图3示出了用于提供自适应镜头阴影校正的方法的一个示例，该方法在该示例中通过自适应镜头校正电路106执行。如框300所示，该方法开始于例如从帧提供器104接收阴影图像帧120作为视频流的一部分。如框302所示，该方法包括例如通过光亮度校正电路110对阴影图像帧的至少一部分执行光亮度镜头阴影校正。在一些实现方式中，在输入的阴影图像帧的每个宏块的基础上进行执行光亮度镜头阴影校正。然而，可以使用任何合适的像素基础。这样，该方法包括从阴影图像去除亮度阴影。在一些示例中，亮度阴影包括使用任何合适的技术，例如通过对每个颜色分量执行光亮度阴影校正、去马赛克操作和自动白平衡(AWB)操作以及所期望的其他操作来预处理图像。
在一些示例中，基于对镜头的离线实验测试，采用每个颜色分量的光亮度阴影表430(图4)，以确定由镜头引起的光亮度阴影，该光亮度阴影使用已知技术去除。这样，基于校准信息去除亮度阴影。如框304所示，该方法包括例如通过色调不均匀区域去除电路112来检测阴影图像中的颜色平坦区域。在一个示例中，这是在光亮度校正图像帧上完成的。在其他示例中，对非光亮度校正的图像执行颜色平坦区域检测。在某些实现方式中，颜色平坦区域的检测包括对阴影图像帧进行下采样以产生阴影图像帧的一个或多个下采样的像素块。如框306所示，该方法包括生成包括颜色阴影参数的基于频率的颜色阴影分布图，该颜色阴影参数包括与基于由一个或多个捕获设备捕获的测试图像的来自实验阴影数据的色调分布相对应的幅度参数和相位参数。在一个示例中，这是通过基于频率的颜色校正电路来完成的。例如，基于频率的颜色阴影分布图是一种在每个颜色分量的基础上表示由镜头引起的颜色阴影量的函数。在该示例中，将一次谐波用作与由镜头引起的颜色阴影相对应的频率范围。
执行频谱分析方法以获得阴影分布图的特性。已经确定，阴影集中在一次谐波中，而在高频带中很少出现阴影。颜色阴影分布图表示为：
f(x，y)＝g(x)·g(y)
Figure BDA0002655752140000111
Figure BDA0002655752140000112
其中f(x,y)是颜色阴影分布，g(x)、g(y)表示水平和垂直方向，W是图像宽度，以及H是图像高度。
如框308所示，该方法包括例如通过基于频率的颜色校正电路，通过使用包括与来自实验阴影数据的色调分布相对应的幅度参数和相位参数的颜色阴影参数对阴影图像帧的检测到的颜色平坦区域执行颜色阴影校正来生成无阴影图像126。使用基于频率的颜色阴影分布图确定要应用于场景中不同颜色级别的校正量。在一个示例中，颜色校正表被提供给镜头阴影校正电路，以校正应用于块中的各种像素的各种颜色分量的增益。
图4是更详细地示出图1的自适应镜头校正电路106的示例的框图。在该示例中，色调不均匀区域去除检测电路112包括色调计算电路400、下采样电路402、色调梯度计算电路404和平坦区域检测电路406。然而，将认识到，所示的其他框还可以被认为是自适应镜头校正电路的一部分，并且将认识到，可以根据需要组合或分离功能框的各种操作。
色调计算电路400计算R/G与B/G之比，其被视为整个图像的色调。输入是对于每个像素只有一个颜色通道的原始图像。去马赛克(插值)操作将原始图像转换为RGB全图像。然后，色调计算电路400为插值后的每个像素计算R/G和B/G。下采样电路402将阴影图像帧按比例缩小(例如，对帧或其宏块进行下采样)，并且下采样的阴影图像帧用于确定色调梯度，如框404所示。色调梯度计算电路404使用通过实验操作确定的阈值来确定宏块是颜色平坦区域。例如，如果色调变化、光亮度和相邻色差在校准阈值之内，则将块视为颜色平坦区域。也可以使用其他检测颜色平坦区域的技术。
另外，通过光亮度校正电路110执行光亮度镜头阴影校正包括：使用光亮度校正表信息432，以使用基于一个或多个图像捕获设备的实验测试的光亮度阴影表430来校正光亮度阴影。该方法包括应用光亮度阴影表430以使用常规技术校正光亮度阴影。
还参考图5至7，示出了颜色平坦区域检测的示例，其中使用分类器来消除色调不平坦区域。在该示例中，分类器使用三个指示符：光亮度、颜色变化和相邻色调梯度信息。如图5所示，色调不均匀区域去除检测电路112基于通过实验确定的表示与颜色平坦区域相对应的阈值，通过如框500所示的其光亮度等级、色调变化502和梯度强度504对每个M x N颜色块进行分类。基于颜色块内的光亮度、颜色变化和相邻梯度信息，确定颜色块处于颜色平坦区域或颜色不平坦(例如，不均匀)区域中。平坦区域检测电路406去除不平坦区域。例如，在一个示例中，平坦区域检测电路406输出指示阴影帧中哪些宏块是平坦的标志，如数据408所示。基于频率的颜色校正电路114对阴影图像的颜色平坦区域执行颜色阴影校正。
图6示出了基于频率的颜色校正电路114的操作的一个示例，在该示例中，该基于频率的颜色校正电路114至少包括迭代插值电路410和颜色阴影提取电路412。如框600所示，将不均匀区域设置为平坦区域的平均值。如框602所示，基于频率的颜色校正电路114预测不均匀区域色调值，并且如框604所示，以迭代方式更新不均匀区域色调值。然后反馈更新的不均匀区域色调值，以预测不均匀色调值区域，直到确定特定帧并因此确定场景的不均匀区域色调值。通过颜色阴影提取操作使用411所示的梯度来去除DC分量。颜色阴影提取电路412生成颜色阴影校正表，也称为增益表，其由镜头阴影校正更新电路414(也称为图像校正电路)使用，该镜头阴影校正更新电路414提供包含适当增益的逐块表以校正颜色镜头阴影(在一些示例中校正光亮度阴影)。镜头阴影校正更新电路以常规方式将光亮度阴影表433和颜色阴影表413合并为一个表。在一些示例中，将颜色校正阴影表413(针对每个颜色分量)提供给图像信号处理器(ISP)，该图像信号处理器应用适当的增益并产生无阴影图像。在其他示例中，镜头阴影校正更新电路414应用增益以产生无阴影图像。在某些实现方式中，镜头阴影校正更新电路包括ISP。
例如，颜色阴影提取电路412将颜色平坦区域中的色调从空间域转换为频域，并且基于所生成的基于频率的颜色阴影分布图的颜色阴影模型参数来确定颜色阴影校正参数，并且使色调变化的总和最小化。例如，过程如框700(图7)所示开始，并且如框702所示，该方法包括分别在水平和垂直两个方向上将信号转换为频域。例如，转换：f(x,y)->g(x,v),g(u,y)。f(x,y)是信号的空间分布。g(x,v)、g(u,y)是两个方向上的频率分布。如框704所示，该方法包括提取两个转换的额外的低频部分并去除高频部分以分别获得低频部分(分布)LFP(g(x,v))、LPF(g(u,y))。梯度信息411用于去除DC分量。作为提取色调的超低频部分的一部分，该过程将去除分布中的DC和高频分量。梯度操作用于去除DC分量。如框706所示，该方法包括经由以下转换将两个低通频率分布转换为空间分布：LPF(g(x,v)),LPF(g(u,y))->LPF(f(x,y))。如框708所示，将LPF(f(x,y))作为阴影分布以生成用于颜色阴影补偿表的值。相应的基于频率的颜色阴影分布图参数，即来自实验阴影数据中与阴影图像中发现的LPF(f(x,y))频率相对应的一次谐波频率的幅度参数和相位参数，被用于补偿阴影图像的检测到的LPF(f(x,y))分布中的颜色阴影。
图8是示出了用于提供自适应镜头阴影校正的示例性方法的框图，并且示出了，在步骤1中离线完成阴影分布图和颜色平坦区域的阈值的生成。例如，在一个示例中，针对相同类型的多个传感器(例如来自相同镜头的传感器)，通过捕获不同光源下的平场图像而获得阈值。对所捕获的原始图像进行平均，然后进行分析，以获得用于颜色阴影分布图的色调分布数据(见图2)以及色调变化、光亮度和相邻色差的阈值。在其他示例中，颜色阴影分布图通过该装置从所存储的色调分布数据在线生成。在一些示例中，基于频率的颜色阴影分布图表示为函数f(x,y)，其表示由图像捕获设备引起的颜色阴影分布。然后，该装置对与阴影分布图相对应的检测到的频率中的像素，特别是颜色分量施加反增益，以校正由镜头引起的阴影。在一个示例中，感兴趣的阴影频率是通过实验测试获得的色调分布的一次谐波中的那些。如步骤2所示，分析原始图像以获得色调平坦区域。另外，执行以下：通过光亮度阴影校正、插值和AWB来预处理阴影图像，以及将该图像调整为低分辨率。如果像素块之间的色调变化、光亮度和相邻颜色阴影在校准的阈值之内，则该操作将识别出色调平坦区域。在步骤3中，将色调和颜色阴影分布图转移到梯度域，该转换允许消除DC分量影响。这可以通过适当的FFT操作来完成。在步骤4中，通过使梯度域中阴影分布图和每个色调平坦块之间的色调变化总和最小化，获得色度阴影校正参数的最佳参数。这例如在图6中示出。
如进一步示出的，光亮度校正参数800通过实验获得，并被应用于光亮度阴影校正过程，示出为例如通过光亮度校正电路110进行的光亮度阴影校正操作802。如框804所示的，对帧的光亮度校正的宏块通过下采样电路402进行下采样，以及如框806所示的被用于获得调整大小的块的色调平坦区域。通过实验使用如808所示的预校准操作来确定如框810所示的色调平坦度的阈值。例如，色调梯度计算电路404将在下采样的图像中检测到的色调值与阈值进行比较，并且对于那些例如高于色调平坦度阈值的块或块内的像素，确定为不均匀或不平坦区域，并且不用作图像的颜色校正区域的一部分。如框812所示，对于发现的色调平坦区域，基于频率的颜色校正电路114将被确定为平坦区域的那些像素块从频域转换为梯度域。如框814所示，实验信息816用于确定对应于镜头的模型颜色阴影分布图。在一示例中，将由实验产生的色调分布数据存储在存储器216中。然后，基于频率的颜色校正电路114从存储的色调分布数据生成模型颜色分布图。每个分量的光亮度阴影表430也由实验确定，并被光亮度阴影校正操作802使用。光亮度阴影表430作为镜头阴影校正电路414的一部分还用于校正图像上的阴影。如框820所示，该方法包括将模型颜色阴影分布图从频域转换为梯度域。如框822所示，该方法包括获得用于阴影分布图的最佳参数以放置在阴影表中。例如，如先前关于图6所描述的，确定针对给定像素的给定x,y位置处的最佳校正值。
在某些实现方式中，装置100包括一个或多个处理器，例如CPU、GPU或其他处理器，其执行存储在诸如存储器117或其他合适的存储器之类的存储器中的指令，这些指令在被执行时使处理器作为如本文所述的自适应镜头阴影校正电路106运行。例如，非暂时性存储介质包括可执行指令，该可执行指令在由一个或多个处理器执行时使一个或多个处理器对阴影图像帧的一部分执行光亮度镜头阴影校正；检测阴影图像中的颜色平坦区域；基于由一个或多个图像捕获设备捕获的测试图像生成包含颜色阴影参数的基于频率的颜色阴影分布图，该颜色阴影参数包括来自实验阴影数据的与色调分布相对应的幅度参数和相位参数；以及通过使用包括与来自实验阴影数据的色调分布相对应的幅度参数和相位参数的颜色阴影参数，对阴影图像帧的检测到的颜色平坦区域执行颜色阴影校正来生成无阴影图像。
在一些示例中，非暂时性存储介质包括可执行指令，该可执行指令在由一个或多个处理器执行时使一个或多个处理器存储与一个或多个图像捕获设备相对应的多个颜色分量中的每一个的色调分布数据，以及通过对阴影图像帧进行下采样以产生阴影图像帧的一个或多个下采样的像素块来检测阴影图像中的颜色平坦区域。
在某些示例中，非暂时性存储介质包括可执行指令，该可执行指令在由一个或多个处理器执行时使一个或多个处理器将颜色平坦区域中的色调从空间域转换为频域，以及基于所生成的基于频率的颜色阴影分布图的颜色阴影模型参数，并使色调变化的总和最小化，来确定颜色阴影校正参数。
在一些示例中，非暂时性存储介质包括可执行指令，该可执行指令在由一个或多个处理器执行时使一个或多个处理器执行生成基于频率的颜色阴影分布图f(x,y)，其表示为：
f(x，y)＝g(x)·g(y)
Figure BDA0002655752140000161
Figure BDA0002655752140000162
其中f(x,y)是颜色阴影分布，g(x)、g(y)表示水平和垂直方向，A是振幅，
Figure BDA0002655752140000163
是相位，W是图像宽度，以及H是图像高度。
此外，在某些示例中，非暂时性存储介质包括可执行指令，该可执行指令在由一个或多个处理器执行时使一个或多个处理器通过使用基于一个或多个图像捕获设备的实验测试的预校准亮度阴影表从阴影图像帧生成光亮度校正表信息以及应用光亮度校正表信息以校正光亮度阴影，来执行光亮度镜头阴影校正。
在其他技术优势中，与其他使用平均阴影的技术不同，基于频率的颜色校正技术使用的阴影模型是从色度阴影的频率特征中获得的。本文所述的色度阴影处理的频率特性提供了更精确的色度阴影校正，从而产生了更高质量的视频图像。而且，所公开的方法和装置可以如在使用下采样的低分辨率像素信息的一些示例中那样，采用低计算负荷和高执行效率。在一些实现方式中，与其他自适应技术相比，下采样的像素块信息导致较低的存储器消耗。
尽管以上以特定组合描述了特征和元素，但是每个特征或元素可以单独使用而无其他特征和元素，或者以带有或不带有其他特征和元素的各种组合使用。在一些实现方式中，本文所述的装置是通过使用计算机程序、软件或固件来制造的，该计算机程序，软件或固件被并入非暂时性计算机可读存储介质中以由通用计算机或处理器执行。计算机可读存储介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、寄存器、高速缓存存储器、半导体存储设备、诸如内部硬盘和可移动磁盘之类的磁介质、磁光介质以及诸如CD-ROM磁盘和数字通用磁盘(DVD)等光学介质。
在前面对各种实施方式的详细描述中，已经参考了构成其一部分的附图，并且在附图中通过图示的方式示出了可以实践本发明的特定的优选实施方式。对这些实施方式进行了足够详细的描述，以使本领域技术人员能够实施本发明，并且应当理解，可以利用其他实施方式，并且可以在不脱离本发明范围的情况下进行逻辑、机械和电气改变。为了避免使本领域技术人员能够实施本发明所不必要的细节，该描述可能省略了本领域技术人员已知的某些信息。此外，本领域技术人员可以容易地构造结合本公开的教导的许多其他变化的实施方式。因此，本发明无意限于本文所述的特定形式，相反，其意图是涵盖可以合理地包括在本发明的范围内的这类替代、修改和等同物。因此，前面的详细描述不是限制性的，本发明的范围仅由所附的权利要求书限定。已经仅出于说明和描述的目的而并非限制性地给出了本文描述的实施方式和示例的以上详细描述。例如，以任何合适的顺序或方式来完成所描述的操作。因此，可以设想到的是，本发明涵盖了落入以上公开和本文所要求保护的基本原理的范围内的任何和所有修改、变化或等同物。
上面的详细描述和本文描述的示例仅出于说明和描述的目的而而非限制性地给出。

Claims (20)

1.一种用于在阴影图像帧的至少一部分中提供自适应镜头阴影校正的方法，所述方法包括：
对所述阴影图像帧的一部分执行光亮度镜头阴影校正；
检测所述阴影图像帧中的颜色平坦区域；
生成包括颜色阴影参数的基于频率的颜色阴影分布图，所述颜色阴影参数包括与基于由一个或多个图像捕获设备捕获的测试图像的来自实验阴影数据的色调分布相对应的幅度参数和相位参数；以及
通过使用所述颜色阴影参数对所述阴影图像帧的检测到的所述颜色平坦区域执行颜色阴影校正来生成无阴影图像。
2.根据权利要求1所述的方法，其中：
所述色调分布由对应于所述一个或多个图像捕获设备的多个颜色分量中的每一个的所存储的色调分布数据组成；以及
其中检测所述阴影图像中的所述颜色平坦区域包括对所述阴影图像帧进行下采样以产生所述阴影图像帧的一个或多个下采样的像素块。
3.根据权利要求2所述的方法，其包括：将所述颜色平坦区域中的色调从空间域转换为频域；以及基于所生成的所述基于频率的颜色阴影分布图的颜色阴影模型参数来确定颜色阴影校正参数；以及使色调变化总和最小化。
4.根据权利要求1所述的方法，其中，所生成的所述基于频率的颜色阴影分布图f(x,y)被表示为：
f(x，y)＝g(x)·g(y)
Figure FDA0002655752130000011
Figure FDA0002655752130000012
其中f(x,y)是颜色阴影分布，g(x)、g(y)表示水平和垂直方向，A是振幅，
Figure FDA0002655752130000013
是相位，W是图像宽度，以及H是图像高度。
5.根据权利要求3所述的方法，其中，转换所述颜色平坦区域中的色调包括：
分别在水平和垂直两个方向上将在像素块的所述颜色平坦区域中检测到的色调信号转换为频域；
使用低通滤波器提取每个方向转换的低频部分；
将每个得到的低频部分转换成空间分布；并且其中确定所述颜色阴影校正参数包括生成颜色阴影校正表，该颜色阴影校正表用于调整图像校正电路的增益控制以产生无阴影图像。
6.根据权利要求1所述的方法，其中，执行光亮度镜头阴影校正包括使用基于一个或多个图像捕获设备的实验测试的预校准光亮度阴影表从所述阴影图像帧生成光亮度校正表信息，以及应用所述光亮度校正表信息来校正光亮度阴影。
7.一种用于在阴影图像帧的至少一部分中提供自适应镜头阴影校正的装置，所述装置包括：
光亮度校正电路，其能操作以对所述阴影图像帧的至少一部分执行光亮度镜头阴影校正；
色调不均去除检测电路，其能操作以检测所述阴影图像帧中的颜色平坦区域；
基于频率的颜色校正电路，其能操作以：
生成包括颜色阴影参数的基于频率的颜色阴影分布图，所述颜色阴影参数包括与基于由一个或多个图像捕获设备捕获的测试图像的来自实验阴影数据的色调分布相对应的幅度参数和相位参数；以及
通过使用所述颜色阴影参数对所述阴影图像帧的检测到的所述颜色平坦区域执行颜色阴影校正来生成无阴影图像。
8.根据权利要求7所述的装置，其包括存储器，所述存储器存储表示所述色调分布的数据，所述数据包括与所述一个或多个图像捕获设备相对应的多个颜色分量中的每一个的色调分布数据。
9.根据权利要求8所述的装置，其中，所述色调不均匀去除检测电路能操作以通过对所述阴影图像帧进行下采样以产生所述阴影图像帧的一个或多个下采样的像素块来检测所述阴影图像中的所述颜色平坦区域。
10.根据权利要求9所述的装置，其中，所述基于频率的颜色校正电路能操作以将颜色平坦区域中的色调从空间域转换为频域，以及基于所生成的所述基于频率的颜色阴影分布图的颜色阴影模型参数，通过使色调变化的总和最小化来确定颜色阴影校正参数。
11.根据权利要求10所述的装置，其中，所述基于频率的颜色校正电路能操作以使用所生成的以下形式的所述基于频率的颜色阴影分布图f(x,y)来产生所述阴影模型参数：
f(x，y)＝g(x)·g(y)
Figure FDA0002655752130000031
Figure FDA0002655752130000032
其中f(x,y)是颜色阴影分布，g(x)、g(y)表示水平和垂直方向，A是振幅，
Figure FDA0002655752130000033
是相位，W是图像宽度，以及H是图像高度。
12.根据权利要求10所述的装置，其中，所述基于频率的颜色校正电路能操作以：
分别在水平和垂直两个方向上将在像素块的所述颜色平坦区域中检测到的色调信号转换为频域；
使用低通滤波器提取每个方向转换的低频部分；
将每个得到的低频部分转换为空间分布；以及生成用于调整图像校正电路的增益控制以产生所述无阴影图像的颜色阴影校正表。
13.根据权利要求7所述的装置，其中，所述光亮度校正电路能操作以通过使用基于一个或多个图像捕获设备的实验测试的预校准亮度阴影表从所述阴影图像帧生成光亮度校正表信息以及应用所述光亮度校正表信息以校正光亮度镜头阴影，来执行光亮度镜头阴影校正。
14.根据权利要求11所述的装置，其包括：
图像捕获设备，其能操作以产生所述阴影图像帧作为视频流的一部分，以及
至少一个显示器，其能操作地耦合到所述基于频率的颜色校正电路，并且能操作以显示所述无阴影帧。
15.根据权利要求7所述的装置，其中，所述光亮度校正电路、所述色调不均匀去除检测电路和所述基于频率的颜色校正电路由一个或多个经编程的处理器组成。
16.一种非暂时性存储介质，其包括可执行指令，该可执行指令在由一个或多个处理器执行时使所述一个或多个处理器执行以下操作：
对所述阴影图像帧的一部分执行光亮度镜头阴影校正；
检测所述阴影图像中的颜色平坦区域；
生成包括颜色阴影参数的基于频率的颜色阴影分布图，所述颜色阴影参数包括与基于由一个或多个图像捕获设备捕获的测试图像的来自实验阴影数据的色调分布相对应的幅度参数和相位参数；以及
通过使用所述颜色阴影参数对所述阴影图像帧的检测到的所述颜色平坦区域执行颜色阴影校正来生成无阴影图像。
17.根据权利要求16所述的非暂时性存储介质，其包括可执行指令，所述可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行以下操作：
存储对应于所述一个或多个图像捕获设备的多个颜色分量中的每一个的色调分布数据；以及
通过对所述阴影图像帧进行下采样以产生所述阴影图像帧的一个或多个下采样的像素块来检测所述阴影图像中的所述颜色平坦区域。
18.根据权利要求17所述的非暂时性存储介质，其包括可执行指令，所述可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器将所述颜色平坦区域中的色调从空间域转换为频域，以及基于所生成的所述基于频率的颜色阴影分布图的颜色阴影模型参数并使色调变化总和最小化，来确定颜色阴影校正参数。
19.根据权利要求16所述的非暂时性存储介质，其包括可执行指令，所述可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器执行生成所述基于频率的颜色阴影分布图f(x,y)，其表示为：
f(x，y)＝g(x)·g(y)
Figure FDA0002655752130000051
Figure FDA0002655752130000052
其中f(x,y)是颜色阴影分布，g(x)、g(y)表示水平和垂直方向，A是振幅，
Figure FDA0002655752130000053
是相位，W是图像宽度，以及H是图像高度。
20.根据权利要求16所述的非暂时性存储介质，其包括可执行指令，所述可执行指令在由所述一个或多个处理器执行时使所述一个或多个处理器通过使用基于一个或多个图像捕获设备的实验测试的预校准亮度阴影表从所述阴影图像帧生成光亮度校正表信息以及应用所述光亮度校正表信息来校正光亮度阴影，来执行光亮度镜头阴影校正。
CN202010886575.3A 2020-08-28 2020-08-28 内容自适应镜头阴影校正方法和装置 Pending CN114205487A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010886575.3A CN114205487A (zh) 2020-08-28 2020-08-28 内容自适应镜头阴影校正方法和装置
US17/022,721 US11272146B1 (en) 2020-08-28 2020-09-16 Content adaptive lens shading correction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010886575.3A CN114205487A (zh) 2020-08-28 2020-08-28 内容自适应镜头阴影校正方法和装置

Publications (1)

Publication Number Publication Date
CN114205487A true CN114205487A (zh) 2022-03-18

Family

ID=80359087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010886575.3A Pending CN114205487A (zh) 2020-08-28 2020-08-28 内容自适应镜头阴影校正方法和装置

Country Status (2)

Country Link
US (1) US11272146B1 (zh)
CN (1) CN114205487A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115499631A (zh) * 2022-09-09 2022-12-20 北京紫光展锐通信技术有限公司 一种图像处理方法、装置、芯片及模组设备
CN116405614A (zh) * 2022-06-10 2023-07-07 上海玄戒技术有限公司 一种镜头阴影校正方法、装置、电子设备、芯片及介质
WO2023178464A1 (en) * 2022-03-21 2023-09-28 Qualcomm Incorporated Lens shading correction (lsc) in variable aperture (va) camera systems

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116419076B (zh) * 2022-06-07 2024-05-07 上海玄戒技术有限公司 图像处理方法、装置、电子设备及芯片

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4536170B2 (ja) 1996-12-27 2010-09-01 シャープ株式会社 撮像装置
JP2002125156A (ja) 2000-08-11 2002-04-26 Nikon Corp 固体撮像素子及び電子カメラ
JP4242669B2 (ja) 2003-03-04 2009-03-25 パナソニック株式会社 シェーディング補正方法および装置、並びにデジタルカメラ
EP1564681A1 (en) 2004-02-13 2005-08-17 Dialog Semiconductor GmbH Vignetting compensation algorithm
US7609305B2 (en) 2004-04-06 2009-10-27 Samsung Electronics Co., Ltd. Methods and systems for anti shading correction in image sensors
JP4487640B2 (ja) * 2004-06-01 2010-06-23 ソニー株式会社 撮像装置
JP4520502B2 (ja) 2004-06-07 2010-08-04 ノキア コーポレイション デジタル撮像デバイスにおける画像品質向上のための方法、装置、撮像モジュールおよびプログラム
JP2008085388A (ja) 2006-09-25 2008-04-10 Fujifilm Corp 撮像装置
KR100911378B1 (ko) 2007-02-23 2009-08-10 삼성전자주식회사 렌즈 교정 방법 및 렌즈 교정 장치
US8194159B2 (en) 2008-04-28 2012-06-05 Omnivision Technologies, Inc. System and method for lens shading correction of an image sensor using splines
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
KR101589310B1 (ko) 2009-07-08 2016-01-28 삼성전자주식회사 렌즈 쉐이딩 보정 방법 및 장치
JP5385740B2 (ja) 2009-09-25 2014-01-08 キヤノン株式会社 撮像装置及び画像データの補正方法
US8587703B2 (en) 2009-12-01 2013-11-19 Aptina Imaging Corporation Systems and methods for image restoration
JP5546229B2 (ja) * 2009-12-09 2014-07-09 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN102844788B (zh) * 2010-03-31 2016-02-10 佳能株式会社 图像处理装置及使用该图像处理装置的图像拾取装置
US8228406B2 (en) 2010-06-04 2012-07-24 Apple Inc. Adaptive lens shading correction
KR20110135720A (ko) 2010-06-11 2011-12-19 삼성전자주식회사 촬영 환경에 따른 렌즈 쉐이딩 보상 테이블을 생성하기 위한 장치 및 방법
US8611655B2 (en) * 2011-02-04 2013-12-17 Apple Inc. Hue-based color matching
KR101826721B1 (ko) 2011-06-29 2018-03-22 엘지이노텍 주식회사 렌즈 쉐이딩 보정 팩터 산출 방법 및 그것을 이용한 렌즈 쉐이딩 보정 방법 및 렌즈 쉐이딩 보정 장치
US8577140B2 (en) 2011-11-29 2013-11-05 Microsoft Corporation Automatic estimation and correction of vignetting
TWI510100B (zh) 2012-03-29 2015-11-21 Novatek Microelectronics Corp 局部鏡頭陰影補償方法
JP5656926B2 (ja) 2012-06-22 2015-01-21 キヤノン株式会社 画像処理方法、画像処理装置および撮像装置
JP5639670B2 (ja) 2013-02-01 2014-12-10 浜松ホトニクス株式会社 画像取得装置及び撮像装置
US20150030258A1 (en) 2013-07-26 2015-01-29 Qualcomm Incorporated System and method of corner noise reduction in an image
US9699428B2 (en) 2013-09-09 2017-07-04 Apple Inc. Lens shading modulation
US9300888B2 (en) * 2013-10-03 2016-03-29 Amlogic Co., Ltd. Methods and systems for lens shading correction
GB2519336B (en) * 2013-10-17 2015-11-04 Imagination Tech Ltd Tone Mapping
US9186909B1 (en) * 2014-09-26 2015-11-17 Intel Corporation Method and system of lens shading color correction using block matching
WO2016065632A1 (zh) 2014-10-31 2016-05-06 华为技术有限公司 一种图像处理方法和设备
US9367916B1 (en) * 2014-12-10 2016-06-14 Intel Corporation Method and system of run-time self-calibrating lens shading correction
KR101662407B1 (ko) 2014-12-23 2016-10-05 포항공과대학교 산학협력단 영상의 비네팅 보정 방법 및 장치
WO2016194234A1 (ja) * 2015-06-05 2016-12-08 オリンパス株式会社 画像処理装置、撮像装置、顕微鏡システム、画像処理方法、及び画像処理プログラム
GB201516173D0 (en) 2015-09-14 2015-10-28 Apical Ltd Adaptive shading correction
KR102401582B1 (ko) 2015-09-24 2022-05-24 삼성전자주식회사 렌즈 쉐이딩 정정 회로 및 이를 포함하는 장치들
KR102480600B1 (ko) * 2015-10-21 2022-12-23 삼성전자주식회사 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법
US10257394B2 (en) * 2016-02-12 2019-04-09 Contrast, Inc. Combined HDR/LDR video streaming
US10754149B2 (en) * 2018-04-20 2020-08-25 Amd (Shanghai) Co., Ltd. Efficient radial lens shading correction
US10855964B2 (en) * 2018-08-29 2020-12-01 Apple Inc. Hue map generation for highlight recovery
US10764149B2 (en) 2018-09-12 2020-09-01 The Mitre Corporation Cyber-physical system evaluation

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023178464A1 (en) * 2022-03-21 2023-09-28 Qualcomm Incorporated Lens shading correction (lsc) in variable aperture (va) camera systems
CN116405614A (zh) * 2022-06-10 2023-07-07 上海玄戒技术有限公司 一种镜头阴影校正方法、装置、电子设备、芯片及介质
CN116405614B (zh) * 2022-06-10 2024-01-30 上海玄戒技术有限公司 一种镜头阴影校正方法、装置、电子设备、芯片及介质
CN115499631A (zh) * 2022-09-09 2022-12-20 北京紫光展锐通信技术有限公司 一种图像处理方法、装置、芯片及模组设备

Also Published As

Publication number Publication date
US11272146B1 (en) 2022-03-08
US20220070417A1 (en) 2022-03-03

Similar Documents

Publication Publication Date Title
CN114205487A (zh) 内容自适应镜头阴影校正方法和装置
US7860334B2 (en) Adaptive image filter for filtering image information
JP3862620B2 (ja) 画像処理装置、及び画像処理方法
US9202263B2 (en) System and method for spatio video image enhancement
US7683948B2 (en) System and method for bad pixel replacement in image processing
US8320705B2 (en) Image processing apparatus and image processing method
US8436910B2 (en) Image processing apparatus and image processing method
US9779476B2 (en) Image signal processing method and image signal processor for noise reduction
US9123102B2 (en) Image processing apparatus, imaging apparatus, image processing method, and computer readable medium storing instructions for performing image correction
KR101023944B1 (ko) 영상 처리 장치 및 그 방법
US7889942B2 (en) Dynamic range compensation-dependent noise reduction
JP5306298B2 (ja) 画像処理装置
US11838649B2 (en) Image capturing device and control method thereof and medium
JP2011071616A (ja) 画像処理装置
JP4406443B2 (ja) 画像補正装置
JP2011151739A (ja) 画像処理装置
JP2014010776A (ja) 画像処理装置、画像処理方法、及び、プログラム
US9373158B2 (en) Method for reducing image artifacts produced by a CMOS camera
WO2021127972A1 (zh) 一种图像处理方法、装置、成像设备及可移动载体
JP2009296210A (ja) 画像処理装置及び画像処理方法
JP2011205399A (ja) 画像処理装置および方法，ならびに画像処理プログラム
JP2014110507A (ja) 画像処理装置および画像処理方法
US20240147080A1 (en) Image processing apparatus and method, and image capturing apparatus
US9635330B2 (en) Image processing device, image processing method, and program
JP2015216521A (ja) 色情報補完装置およびそのプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination