CN109791689A - 图像信号处理器偏置补偿噪声降低系统和方法 - Google Patents

图像信号处理器偏置补偿噪声降低系统和方法 Download PDF

Info

Publication number
CN109791689A
CN109791689A CN201780059717.5A CN201780059717A CN109791689A CN 109791689 A CN109791689 A CN 109791689A CN 201780059717 A CN201780059717 A CN 201780059717A CN 109791689 A CN109791689 A CN 109791689A
Authority
CN
China
Prior art keywords
frame
output
signal
input
confidence index
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780059717.5A
Other languages
English (en)
Inventor
J·T·科内利乌森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hadley Co
Huddl Inc
Original Assignee
Hadley Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hadley Co filed Critical Hadley Co
Publication of CN109791689A publication Critical patent/CN109791689A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Optical Communication System (AREA)
  • Noise Elimination (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

提供了在有效地降低噪声的同时降低由各种图像信号处理器(ISP)或ISP组件引入的偏置的系统和方法。ISP偏置包括来自空间噪声滤波、高动态范围(HDR)内插以及去马赛克等的偏置。具体地，本申请的方法和系统利用多个输入帧或像素块的凸组合，有效地降低来自空间噪声滤波器、反拜耳单元或其他ISP组件的偏置，从而提供改善的空时噪声降低方案。

Description

图像信号处理器偏置补偿噪声降低系统和方法
技术领域
本公开总体上涉及图像信号处理。具体地，本公开涉及在有效地降低噪声的同时补偿由图像信号处理器(ISP)或ISP组件引入的偏置的装置和方法。更具体地，提供了通过在有效地降低噪声的同时降低由包括空间噪声降低滤波器、HDR内插单元和去马赛克单元的各种ISP或者ISP组件所引入的偏置来产生高逼真度图像和视频的偏置补偿噪声降低系统和方法。
背景技术
随着相机和具有像素尺寸的传感器继续缩小而数字处理能力的可用性继续改善，噪声降低已经成为图像和视频捕获系统的重要方面。一般地，视频噪声降低可以宽泛地分为空间噪声滤波器和时间噪声滤波器。已知空间滤波器使用每个视频帧中的相邻像素产生每个输出像素。已知时间滤波器使用帧之间的连续像素产生每个输出像素。可以同时使用空间噪声降低滤波器和时间噪声降低滤波器，以产生更好的结果。
空间噪声降低对于静止图像是有效的，但是大多数现存的空间噪声降低滤波器导致在最终结果中的诸如平滑纹理和精细结构这样的某种形式的偏置或者诸如成环(ringing)或成块(blockiness)这样的伪像。在应用于视频时，空间噪声降低可能引起帧之间的可见的残差时间变化，其从单个帧是不可见的。
时间噪声降低在其最通常的形式之一中包括对输入帧的固定部分中的像素进行平均或者以其他方式进行组合。在时间滤波器缓慢地收敛时，即，在很少的帧可用于对像素进行组合时，所得到的图像或视频将产生噪声拖尾。而且，在错误地将输入帧的改变部分分类为固定的情况下，可能出现重影伪像。
在空间噪声滤波器与时间噪声滤波器一起使用时，它们往往被共同地称为3D噪声降低滤波器或空时噪声降低滤波器。然而，空时滤波器的现存形式呈现来自其组件空间噪声滤波器或其组件时间噪声滤波器的一些相似问题。例如，在先应用空间滤波的情况下，这样的空时滤波器导致某些偏置，包括纹理和细节的平滑。然而，在先应用时间滤波器的情况下，运动检测或估算由于噪声而没那么有效。递归时间滤波器的收敛也可能很慢。另一方面，在实现切换空间滤波和时间滤波的情况下，运动检测仍然由于噪声而没那么有效，并且递归时间滤波器的收敛仍然很慢。而且，在这样的切换空间滤波和时间滤波的系统中，在时间滤波无效的非固定区域中将继续存在来自空间滤波的偏置。
因此，很清楚地，在现存的系统中，诸如空间噪声滤波器这样的经典ISP组件可能在所得到的图像和视频中引入偏置，从而削弱了由ISP赋予的相机或视频通信系统的总体逼真度。ISP在所得到的图像和视频中引入偏置的另一个示例是去马赛克单元或反拜耳(debayer)单元，其可能在输出帧中造成平滑化、拉链化伪像或者错误的色彩。另外的示例包括对交织的长曝光像素和短曝光像素的HDR(高动态范围)内插，这引入其自身的偏置。
因此，需要改善的方法和系统，以便降低或补偿由相机和视频通信系统中的ISP引入的偏置并且产生高逼真度图像和视频。
发明内容
因此，本申请的目标是提供在有效降低噪声的同时降低由ISP引入的偏置、从而产生高逼真度图像和视频的方法和系统。
具体地，根据本申请，在一个实施例中，提供了一种对来自原始视频信号的图像信号处理的偏置进行补偿的空时噪声降低系统。该系统包括：图像信号处理器，其包括空间噪声降低滤波器，该空间噪声降低滤波器被适配为基于每个原始视频帧中的相邻像素输出每个像素；信号变化检测器，其被适配为接收图像信号处理器的输出和先前输出帧，从而检测每个像素中的任何信号变化；以及信号组合器，其被适配为接收多于两个输入帧并由此产生组合输出帧。所述多于两个输入帧包括原始信号帧、来自图像信号处理器的输出和先前输出帧。
在另一实施例中，信号组合器被适配为输出所述多于两个输入帧的线性组合。在又一实施例中，信号组合器被适配为输出所述多于两个输入帧的凸组合。
在另一实施例中，该系统还包括：置信度更新器，其被适配为通过基于从信号变化检测器接收的任何信号变化的检出而更新先前输出帧的先前置信度指数，确定当前置信度指数。凸组合权重是基于当前置信度指数、针对凸组合的每个输入而计算的。
在另一实施例中，对于来自原始视频信号的第一输出帧，先前置信度指数被赋值为零。
根据又一实施例，该系统还包括：运动补偿器，其被适配为基于来自图像信号处理器的输出和先前输出帧来减少运动。信号组合器的多于两个输入帧包括原始信号帧、来自所述图像信号处理器的输出以及来自运动补偿器的输出。
在另一实施例中，原始视频信号包括曝光马赛克，其具有空间交织的长曝光时间像素和短曝光时间像素。图像信号处理器还包括空间HDR内插单元和去马赛克单元。所述多于两个输入帧包括原始信号帧、来自空间HDR内插单元的输出、来自去马赛克单元的输出、和先前输出帧。
在另一实施例中，原始视频信号包括彩色马赛克，其具有空间交织的不同的彩色像素。图像信号处理器还包括去马赛克单元。所述多于两个输入帧包括原始信号帧、来自去马赛克单元的输出、和先前输出帧。
根据另一实施例，原始视频信号包括经去马赛克的帧。
在又一实施例中，原始视频信号包括尚未被空间噪声降低滤波器处理且尚未被去马赛克的帧，并且图像信号处理器还包括去马赛克单元。所述多于两个输入帧包括原始信号帧、来自去马赛克单元的输出、和先前输出帧。
在另一实施例中，信号组合器被适配为输出所述多于两个输入帧的线性组合。
在另一实施例中，信号组合器被适配为输出所述多于两个输入帧的凸组合。
在又一实施例中，该系统还包括：置信度更新器，其被适配为通过基于从所述信号变化检测器接收的任何信号变化的检出而更新先前输出帧的先前置信度指数，确定当前置信度指数。凸组合权重是基于当前置信度指数、针对凸组合的每个输入而计算的。
在另一实施例中，该系统还包括：运动补偿器，其被适配为基于来自图像信号处理器的输出和先前输出帧来减少运动。信号组合器的多于两个输入帧包括原始信号帧、来自图像信号处理器的输出以及来自运动补偿器的输出。
根据本申请，在一个实施例中，提供了一种对来自原始视频信号的图像信号处理的偏置进行补偿的方法。该方法包括：产生多于两个输入帧的线性组合；以及输出线性组合帧。所述多于两个输入帧包括原始信号帧、来自图像信号处理的输出、和先前输出帧。
在另一实施例中，线性组合是多于两个输入帧的凸组合。
在又一实施例中，该方法还包括：基于图像信号处理器的输出和先前输出帧，产生每块像素的信号变化检测分类符；基于信号变化检测分类符和先前输出帧的先前置信度指数，更新当前输出帧的置信度指数；以及基于当前输出帧的经更新的置信度指数，计算凸组合的每个输入帧的权重。
在另一实施例中，计算凸组合的每个输入帧的权重还包括：基于当前输出帧的置信度指数，提供图像信号处理的输出的权重与未经滤波的原始输入帧的权重之间的比率的递减函数。
根据另一实施例，递减函数是单调递减函数。
在又一实施例中，计算凸组合的每个输入帧的权重还包括：基于当前输出帧的置信度指数，提供先前输出帧的权重的递增函数。
在另一实施例中，置信度指数是具有零与一之间的范围的数值。
根据另一实施例，该方法还包括：基于来自图像信号处理的输出和先前输出帧来减少运动，从而产生经运动补偿的输出。凸组合是原始信号帧、来自图像信号处理的输出、和经运动补偿的输出的凸组合。
根据又一实施例，原始视频信号选自包括(i)空间交织的长曝光时间像素和短曝光时间像素、(ii)具有空间交织的不同彩色像素的彩色马赛克、(iii)经去马赛克的帧以及(iv)未经空间滤波和未经去马赛克的帧的分组。图像信号处理选自包括(i)空间HDR内插、去马赛克和空间噪声降低滤波、(ii)去马赛克和空间噪声降低滤波以及(iii)空间噪声降低滤波的分组。
在另一实施例中，多于两个输入帧包括原始信号帧、先前输出帧以及来自包括空间HDR内插、去马赛克和空间噪声降低滤波的分组的输出。
在另一实施例中，该方法还包括：基于来自图像信号处理的输出和先前输出帧来减少运动，从而产生经运动补偿的输出。凸组合是原始信号帧、经运动补偿的输出以及来自包括空间HDR内插、去马赛克和空间噪声降低滤波的分组的输出的凸组合。
根据又一实施例，该方法还包括：基于所述图像信号处理的输出和先前输出帧，产生信号变化检测分类符；基于信号变化检测分类符以及相邻像素的置信度指数，确定每个像素的当前置信度指数；以及基于当前置信度指数，计算凸组合的每个输入帧的权重。
附图说明
图1图示根据本申请的一个实施例的偏置补偿噪声降低系统。
图2图示根据另一实施例的偏置补偿噪声降低系统。
图3图示根据另一实施例的偏置补偿空时噪声降低系统。
图4图示根据另一和例的偏置补偿空时和反拜耳(去马赛克)噪声降低系统。
图5图示根据一个实施例的偏置补偿噪声降低系统的置信度更新器。
图6示出根据一个实施例的由偏置补偿噪声降低系统的权重计算器计算出的凸组合的每个输入的凸组合权重。
具体实施方式
系统和方法概述
根据本申请的各个实施例的方法和系统采用多个输入帧或像素块的加权组合作为递归时间噪声滤波器的一部分，以便降低来自诸如空间噪声滤波器、去马赛克单元或HDR内插单元这样的ISP的偏置，从而提供改善的噪声降低方案。本申请的各个实施例中的偏置补偿和噪声降低系统被设计为降低在曝光马赛克内插、彩色马赛克内插或空间噪声降低滤波的ISP级引入的偏置。
在一个实施例中，参考图3，例如，空间噪声降低滤波器是与低复杂度时间噪声滤波器结合的ISP。所得到的空时滤波器降低来自空间噪声滤波器的偏置，并且同时减少时间滤波的不利之处。根据一些实施例，以硬件或固件提供空间噪声降低滤波器，并且以软件定制或实现时间噪声降低滤波器。在一些实施例中，本申请的定制的时间滤波器可以与现存的空间滤波器结合，形成对现存设备的扩展，从而提供改善的噪声降低方案。
在原始输入数据包括空间交织的长曝光时间像素和短曝光时间像素或者包括具有空间交织的不同彩色像素的彩色马赛克的其他实施例中，去马赛克单元或反拜耳单元是与时间噪声滤波器结合的ISP。所得到的偏置补偿滤波器降低来自去马赛克的偏置或伪像，并且在图像或视频输出帧中实现更高的逼真度。在另外的实施例中，包括空间噪声滤波器的另外的ISP与去马赛克单元和递归时间滤波器一起组合在系统中。参见例如图4。所得到的偏置补偿滤波器降低来自空间噪声滤波器和反拜耳单元的偏置或伪像，并且在输出帧中实现改善的逼真度。
信号组合器和置信度指数
参考图1，根据一个实施例的信号组合器是本申请的递归时间滤波器的中心部分。在一个实施例中，信号组合器提供包括未经滤波的输入帧、经ISP滤波的输入帧以及先前输出帧的至少两个输入帧的线性组合。在另一实施例中，信号组合器提供包括未经滤波的输入帧、经ISP滤波的输入帧以及先前输出帧的至少两个输入帧的凸组合。根据各个实施例的凸组合针对每块像素或每个像素做成。置信度指数与针对每个像素或每块像素的每个凸组合相关联。基于经更新的置信度指数的凸组合确定新的输出帧。
根据一个实施例，针对每个输入帧或者每个输入帧中的像素块赋予置信度指数。各个实施例中的置信度指数一般性地表示先前输出帧是当前输入帧的良好表示的程度。其被定义为具有预定范围的数值，例如，根据一个实施例，从0至1的预定范围。置信度指数与各像素值一起存储在帧缓冲器中。其由置信度更新器基于置信度更新函数来计算。
参考图5，置信度更新函数基于先前输出帧(C(n-1))的置信度指数和针对每块像素得出的信号变化分类符(“真”或“假”)，计算当前帧或当前像素块(C(n))的置信度指数。
在一个实施例中，经更新的置信度指数被定义为先前帧或像素块的先前置信度指数加上针对被分类为固定的像素或像素块的正增量。而对于被分类为改变的像素或像素块，经更新的置信度指数被定义为系统的最低的可能值，在一些实施例中，例如0。根据一些实施例的增量取决于先前的置信度指数，但是被约束，使得经更新的置信度指数保持在预定范围内，根据一个实施例，例如在0与1之间的预定范围内。参见图5。
参考图1，据以计算置信度指数的信号变化分类符由连接到图像信号处理器(ISP)级的信号变化检测器来确定。根据具体实施例的ISP级包括空间噪声降低滤波器，并且信号变化检测器基于空间滤波器的输出以及来自先前输出帧的数据来检测相关像素块中的位置变化。
凸组合权重
参考图1，权重计算器在计算每个输入帧或像素块的凸组合权重中从置信度更新器取得输入。根据一个实施例，随着置信度指数增加，未经滤波的原始输入被加权为多于经ISP滤波的输入或者(在ISP是空间噪声降低滤波器的情况下)经空间滤波的输入。相应地，空间滤波器的偏置随着更多的帧在该处理中被平均而降低。另一方面，在先前输出帧的置信度指数低时，经空间滤波的输入被更多地加权，从而降低输出的噪声方差。
因此，在一些实施例中，经ISP滤波的输入帧的权重与未经滤波的原始输入帧的权重之间的比率是置信度指数的单调递减函数。另外，先前输出帧的权重是置信度指数的递增函数。在一些实施例中，先前输出帧的该权重在置信度为零时是零或接近于零，并且其在置信度指数为一时接近于一。
参考图6，根据一个实施例的凸组合权重是基于置信度指数由下面的公式得出的：γ＝c、β＝(1.0-c)*(1.0-c)、α＝(1.0-c)*c，其中，c指代置信度指数，α指代未经滤波的原始输入的权重，β指代经ISP滤波的输入或在ISP是空间滤波器的情况下的经空间滤波的输入的权重，并且γ指代先前输出帧的权重。在该实施例中，α、β和γ的和是1，并且置信度指数具有0与1之间的值。因此，根据α和β在该实施例中根据先前帧的置信度指数的变化而变化的方式，β(经ISP或空间滤波的帧的权重)在处理的开始时高，使得到真像素值的收敛出现得更快，而α(未经滤波的原始输入的权重)逐渐增加，以降低来自ISP或者在ISP是空间滤波器的情况下的空间滤波器的偏置。
在替代的实施例中，可以采用分段线性近似来得出组合输出帧中的每个输入帧或像素块的权重。在替代的实施例中，组合输出帧基于多于两个输入帧的线性组合或凸组合。
信号变化检测器
如上所述，在一些实施例中，置信度更新器基于由信号变化检测器产生的变化检测分类符来更新每个像素块或每个输入帧的置信度指数。参见例如图1、图2和图5。信号变化检测器以经ISP滤波的信号(或者在ISP是空间滤波器的情况下的经空间滤波的信号)以及先前输出帧一起作为其输入，并且针对每个像素或每块像素，输出将状态指示为“固定”或“改变”的二值变化检测分类符(“真”或“假”)。例如，在基本的实施例中，估计两个输入之间的差值，并且针对“改变”的分类来确定阈值。高于该阈值的两个输入之间的差值导致在信号变化分类符中的指示“改变”的“真”读数，否则导致在信号变化分类符中的指示“固定”的“假”读数。
根据其他实施例，信号变化检测器以先前和当前输入帧中的像素的空间近邻作为输入，以改善系统的信号变化的分类。在另外的实施例中，信号变化分类符采用背景和前景估算算法，以将像素分类为固定或改变。
因此，根据不同实施例的偏置补偿噪声降低系统提供了灵活性，其中，一方面给信号变化检测器的用于变化的分类的输入与从另一方面给信号组合器用于形成新输出帧的凸组合的输入相解耦。在各个实施例中，选择用于确定信号检测分类符的输入，以便使分类性能最大化，而给凸组合的输入被选择为有效地降低视觉退化以及系统所采用的诸如空间滤波器和反拜耳单元这样的ISP的偏置。
运动补偿器
参考图2，在另一实施例中的偏置补偿噪声降低系统还包括运动补偿器。运动补偿器采用运动补偿技术来修改先前输出帧，并且对先前输出帧和当前输入帧之间的运动进行补偿。因为运动被估算和补偿，根据该实施例的偏置补偿噪声降低系统允许更好的机会来组合时间维度中的帧。对于凸组合，根据该实施例，代替先前输出帧，以经运动补偿的视频帧作为输入帧。
图3提供实现运动检测和补偿的偏置补偿空时噪声降低系统的另一示例。在该实施例中，凸组合基于来自运动补偿器的输出、经空间滤波的输入帧以及未经滤波的输入帧。
图4提供实现运动检测和补偿的偏置补偿空时和反拜耳噪声降低系统的另一示例。在该实施例，凸组合基于来自运动补偿器的输出、经空间滤波的输入帧、经反拜耳处理的帧以及原始拜耳输入帧。
ISP级和对应的偏置降低
如上所述，本申请的系统和方法降低由ISP或ISP组件(也被称为ISP级)在原始输入数据的ISP滤波期间引入的偏置。在各个实施例中，给系统的原始输入数据具有各种类型。在各个实施例中的ISP级采用并操作不同功用的一个或多个ISP。在一个实施例中，ISP级包括曝光马赛克内插。在另一实施例中，ISP级包括彩色去马赛克内插。在另一实施例中，ISP级包括空间噪声降低滤波。
例如，在一些实施例中，由现存的传感器产生长曝光和短曝光的块状马赛克或者具有不同曝光的交织行。在一个实施例中，在ISP级采用HDR感测。因为在HDR内插中涉及空间交织和空间重构，其固有地导致某种偏置，所以根据一个实施例，基于包括原始交织的曝光像素、有偏置的空间重构和先前输出帧的加权输入帧，经由凸组合提供具有更好质量的增强重构。
因此，在该实施例中，原始数据是曝光马赛克，ISP滤波级包括空间HDR内插、去马赛克和空间噪声滤波。在另一实施例中，原始数据是彩色马赛克，ISP滤波级是去马赛克和空间噪声滤波。在另一实施例中，原始数据是经去马赛克的帧，并且ISP滤波级是空间噪声滤波。各个实施例中的凸组合通过组合包括原始数据、经ISP滤波的数据以及经时间滤波的数据(先前输出帧或经运动补偿的输出)的经加权的输入帧来做成。
在本公开中提供的各个实施例的描述(包括各个图和示例)用于例示而非限制本发明及其各个实施例。

Claims (30)

1.一种对来自原始视频信号的图像信号处理的偏置进行补偿的空时噪声降低系统，包括：
图像信号处理器，包括空间噪声降低滤波器，其被适配为基于每个原始视频帧中的相邻像素来输出每个像素；
信号变化检测器，被适配为接收所述图像信号处理器的输出和先前输出帧，从而检测每个像素中的任何信号变化；以及
信号组合器，被适配为接收多于两个输入帧并由此产生组合输出帧，所述多于两个输入帧包括原始信号帧、来自所述图像信号处理器的输出、和先前输出帧。
2.根据权利要求1所述的系统，其中，所述信号组合器被适配为输出所述多于两个输入帧的线性组合。
3.根据权利要求2所述的系统，其中，所述信号组合器被适配为输出所述多于两个输入帧的凸组合。
4.根据权利要求3所述的系统，还包括：
置信度更新器，被适配为通过基于从所述信号变化检测器接收的任何信号变化的检出而更新先前输出帧的先前置信度指数，确定当前置信度指数，其中，凸组合权重是基于所述当前置信度指数、针对所述凸组合的每个输入而计算的。
5.根据权利要求4所述的系统，其中，对于来自所述原始视频信号的第一输出帧，所述先前置信度指数被赋值为零。
6.根据权利要求4所述的系统，还包括：
运动补偿器，被适配为基于来自图像信号处理器的输出和先前输出帧来减少运动，其中，所述信号组合器的多于两个输入帧包括原始信号帧、来自所述图像信号处理器的输出以及来自所述运动补偿器的输出。
7.根据权利要求1所述的系统，其中，所述原始视频信号包括曝光马赛克，其具有空间交织的长曝光时间像素和短曝光时间像素，其中，所述图像信号处理器还包括空间HDR内插单元和去马赛克单元，并且其中，所述多于两个输入帧包括原始信号帧、来自所述空间HDR内插单元的输出、来自所述去马赛克单元的输出、和先前输出帧。
8.根据权利要求7所述的系统，其中，所述信号组合器被适配为输出所述多于两个输入帧的线性组合。
9.根据权利要求8所述的系统，其中，所述信号组合器被适配为输出所述多于两个输入帧的凸组合。
10.根据权利要求9所述的系统，还包括：
置信度更新器，被适配为通过基于从所述信号变化检测器接收的任何信号变化的检出而更新先前输出帧的先前置信度指数，确定当前置信度指数，其中，凸组合权重是基于所述当前置信度指数、针对所述凸组合的每个输入而计算的。
11.根据权利要求10所述的系统，还包括：
运动补偿器，被适配为基于来自图像信号处理器的输出和先前输出帧来减少运动，其中，所述信号组合器的多于两个输入帧包括原始信号帧、来自所述图像信号处理器的输出以及来自所述运动补偿器的输出。
12.根据权利要求1所述的系统，其中，所述原始视频信号包括彩色马赛克，其具有空间交织的不同的彩色像素，其中，所述图像信号处理器还包括去马赛克单元，并且其中，所述多于两个输入帧包括原始信号帧、来自所述去马赛克单元的输出、和先前输出帧。
13.根据权利要求12所述的系统，其中，所述信号组合器被适配为输出所述多于两个输入帧的线性组合。
14.根据权利要求13所述的系统，其中，所述信号组合器被适配为输出所述多于两个输入帧的凸组合。
15.根据权利要求14所述的系统，还包括：
置信度更新器，被适配为通过基于从所述信号变化检测器接收的任何信号变化的检出而更新先前输出帧的先前置信度指数，确定当前置信度指数，其中，凸组合权重是基于所述当前置信度指数、针对所述凸组合的每个输入而计算的。
16.根据权利要求15所述的系统，还包括：
运动补偿器，被适配为基于来自图像信号处理器的输出和先前输出帧来减少运动，其中，所述信号组合器的多于两个输入帧包括原始信号帧、来自所述图像信号处理器的输出以及来自所述运动补偿器的输出。
17.根据权利要求1所述的系统，其中，所述原始视频信号包括经去马赛克的帧。
18.根据权利要求1所述的系统，其中，所述原始视频信号包括尚未被空间噪声降低滤波器处理且尚未被去马赛克的帧，其中，所述图像信号处理器还包括去马赛克单元，并且其中，所述多于两个输入帧包括原始信号帧、来自所述去马赛克单元的输出、和先前输出帧。
19.一种对来自原始视频信号的图像信号处理的偏置进行补偿的方法，包括：
产生多于两个输入帧的线性组合，所述多于两个输入帧包括原始信号帧、来自所述图像信号处理的输出、和先前输出帧；以及
输出所述线性组合帧。
20.根据权利要求19所述的方法，其中，所述线性组合是多于两个输入帧的凸组合。
21.根据权利要求20所述的方法，还包括：
基于所述图像信号处理器的输出和先前输出帧，产生每块像素的信号变化检测分类符；
基于所述信号变化检测分类符和先前输出帧的先前置信度指数，更新当前输出帧的置信度指数；以及
基于当前输出帧的经更新的置信度指数，计算凸组合的每个输入帧的权重。
22.根据权利要求21所述的方法，其中，计算凸组合的每个输入帧的权重还包括：
基于当前输出帧的置信度指数，提供图像信号处理的输出的权重与未经滤波的原始输入帧的权重之间的比率的递减函数。
23.根据权利要求22所述的方法，其中，所述递减函数是单调递减函数。
24.根据权利要求21所述的方法，其中，计算凸组合的每个输入帧的权重还包括：
基于当前输出帧的置信度指数，提供先前输出帧的权重的递增函数。
25.根据权利要求21所述的方法，其中，置信度指数是具有零与一之间的范围的数值。
26.根据权利要求21所述的方法，还包括：
基于来自所述图像信号处理的输出和先前输出帧来减少运动，从而产生经运动补偿的输出，其中，所述凸组合是原始信号帧、来自所述图像信号处理的输出、和所述经运动补偿的输出的凸组合。
27.根据权利要求19所述的方法，其中，所述原始视频信号选自包括(i)空间交织的长曝光时间像素和短曝光时间像素、(ii)具有空间交织的不同彩色像素的彩色马赛克、(iii)经去马赛克的帧以及(iv)未经空间滤波和未经去马赛克的帧的分组，并且其中，所述图像信号处理选自包括(i)空间HDR内插、去马赛克和空间噪声降低滤波、(ii)去马赛克和空间噪声降低滤波以及(iii)空间噪声降低滤波的分组。
28.根据权利要求27所述的方法，其中，所述多于两个输入帧包括原始信号帧、先前输出帧以及来自包括空间HDR内插、去马赛克和空间噪声降低滤波的分组的输出。
29.根据权利要求28所述的方法，还包括：
基于来自所述图像信号处理的输出和先前输出帧来减少运动，从而产生经运动补偿的输出，其中，所述凸组合是原始信号帧、经运动补偿的输出以及来自包括空间HDR内插、去马赛克和空间噪声降低滤波的分组的输出的凸组合。
30.根据权利要求29所述的方法，还包括：
基于所述图像信号处理的输出和先前输出帧，产生信号变化检测分类符；
基于所述信号变化检测分类符以及相邻像素的置信度指数，确定每个像素的当前置信度指数；以及
基于所述当前置信度指数，计算凸组合的每个输入帧的权重。
CN201780059717.5A 2016-09-30 2017-09-26 图像信号处理器偏置补偿噪声降低系统和方法 Pending CN109791689A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/282,581 2016-09-30
US15/282,581 US10911698B2 (en) 2016-09-30 2016-09-30 ISP bias-compensating noise reduction systems and methods
PCT/US2017/053440 WO2018064039A1 (en) 2016-09-30 2017-09-26 Isp bias-compensating noise reduction systems and methods

Publications (1)

Publication Number Publication Date
CN109791689A true CN109791689A (zh) 2019-05-21

Family

ID=61757339

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780059717.5A Pending CN109791689A (zh) 2016-09-30 2017-09-26 图像信号处理器偏置补偿噪声降低系统和方法

Country Status (9)

Country Link
US (1) US10911698B2 (zh)
EP (1) EP3520073B1 (zh)
JP (1) JP6931049B2 (zh)
KR (1) KR102411033B1 (zh)
CN (1) CN109791689A (zh)
AU (1) AU2017336406B2 (zh)
CA (1) CA3036922A1 (zh)
NO (1) NO20190396A1 (zh)
WO (1) WO2018064039A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110809885A (zh) * 2017-06-28 2020-02-18 高途乐公司 图像传感器瑕疵检测
JP7278092B2 (ja) * 2019-02-15 2023-05-19 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、撮像装置の制御方法、及びプログラム
CA3135322A1 (en) * 2019-03-28 2020-10-01 Huawei Technologies Co., Ltd. Method and apparatus for intra smoothing
US11810275B2 (en) * 2021-06-21 2023-11-07 Qualcomm Incorporated Temporal filtering restart for improved scene integrity

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160909A (ja) * 1999-12-02 2001-06-12 Matsushita Electric Ind Co Ltd ノイズ低減装置
WO2003017676A2 (en) * 2001-08-14 2003-02-27 General Instrument Corporation Motion-adaptive noise reduction pre-processing for digital video signal
JP2007060636A (ja) * 2005-07-29 2007-03-08 Victor Co Of Japan Ltd ノイズ検出装置及び方法、並びにノイズ低減装置及び方法
US20070071342A1 (en) * 2005-09-29 2007-03-29 Brett Bilbrey Video acquisition with integrated GPU processing
JP2008258848A (ja) * 2007-04-03 2008-10-23 Sanyo Electric Co Ltd ノイズ低減装置、ノイズ低減方法、及び電子機器
US20090161756A1 (en) * 2007-12-19 2009-06-25 Micron Technology, Inc. Method and apparatus for motion adaptive pre-filtering
US20090278961A1 (en) * 2008-05-07 2009-11-12 Honeywell International Inc. Method for digital noise reduction in low light video
US20100165207A1 (en) * 2008-12-29 2010-07-01 Stmicroelectronics Asia Pacific Pte, Ltd. Apparatus and method of motion detection for temporal mosquito noise reduction in video sequences
CN102113308A (zh) * 2009-06-04 2011-06-29 松下电器产业株式会社 图像处理装置、图像处理方法、程序、记录介质以及集成电路
WO2014054273A1 (ja) * 2012-10-04 2014-04-10 パナソニック株式会社 画像ノイズ除去装置、および画像ノイズ除去方法
US20160037061A1 (en) * 2014-07-31 2016-02-04 Apple Inc. Dynamic motion estimation and compensation for temporal filtering

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06121193A (ja) * 1992-10-08 1994-04-28 Sony Corp ノイズ除去回路
TW441212B (en) * 1997-02-15 2001-06-16 Acer Peripherals Inc The device and method to scan the predetermined pattern for positioning the scanning module of scanner
KR100616761B1 (ko) * 1999-01-15 2006-08-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 선명도를 강화하기 위한 방법 및 장치
JP4344968B2 (ja) * 1999-10-28 2009-10-14 ソニー株式会社 画像処理装置および画像処理方法、並びにデータ処理装置およびデータ処理方法
JP2003529294A (ja) * 2000-03-24 2003-09-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像をエンハンスするための電子回路及び方法
US6414719B1 (en) * 2000-05-26 2002-07-02 Sarnoff Corporation Motion adaptive median filter for interlace to progressive scan conversion
US6822691B1 (en) * 2000-12-20 2004-11-23 Samsung Electronics Co., Ltd. Method of detecting motion in an interlaced video sequence utilizing region by region motion information and apparatus for motion detection
US20030103158A1 (en) * 2001-12-05 2003-06-05 Creo Il. Ltd. System and method for the formation of multiple exposure images
EP1381226A1 (en) * 2002-07-12 2004-01-14 Sony International (Europe) GmbH Method and system for reducing noise contained within a video signal
GB2402288B (en) * 2003-05-01 2005-12-28 Imagination Tech Ltd De-Interlacing of video data
US7199838B2 (en) * 2004-06-17 2007-04-03 Samsung Electronics Co., Ltd. Motion adaptive noise reduction apparatus and method for video signals
JP4733127B2 (ja) * 2004-07-30 2011-07-27 アルゴリス インコーポレイテッド 適応性３ｄノイズ減少装置及び方法
US7542095B2 (en) * 2005-01-20 2009-06-02 Samsung Electronics Co., Ltd. Method and system of noise-adaptive motion detection in an interlaced video sequence
US20060203010A1 (en) * 2005-03-14 2006-09-14 Kirchner Peter D Real-time rendering of embedded transparent geometry in volumes on commodity graphics processing units
US7551232B2 (en) * 2005-11-14 2009-06-23 Lsi Corporation Noise adaptive 3D composite noise reduction
TWI323124B (en) * 2006-03-09 2010-04-01 Mstar Semiconductor Inc Image processing apparatus and method for temporal noise reduction and motion enhancement
US8059207B2 (en) * 2007-02-23 2011-11-15 Samsung Electronics Co., Ltd. System and method for video noise reduction using an adaptive temporal method with motion detection and motion compensation
US8237868B2 (en) * 2009-03-30 2012-08-07 Sharp Laboratories Of America, Inc. Systems and methods for adaptive spatio-temporal filtering for image and video upscaling, denoising and sharpening
JP2013046209A (ja) * 2011-08-24 2013-03-04 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
JP2013066142A (ja) * 2011-08-31 2013-04-11 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US8811757B2 (en) * 2012-01-05 2014-08-19 Texas Instruments Incorporated Multi-pass video noise filtering
JP2014039170A (ja) * 2012-08-16 2014-02-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
EP2739049A1 (en) * 2012-11-29 2014-06-04 Axis AB Method and system for generating real-time motion video
US10095786B2 (en) * 2015-04-09 2018-10-09 Oath Inc. Topical based media content summarization system and method
US10303768B2 (en) * 2015-05-04 2019-05-28 Sri International Exploiting multi-modal affect and semantics to assess the persuasiveness of a video

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160909A (ja) * 1999-12-02 2001-06-12 Matsushita Electric Ind Co Ltd ノイズ低減装置
WO2003017676A2 (en) * 2001-08-14 2003-02-27 General Instrument Corporation Motion-adaptive noise reduction pre-processing for digital video signal
JP2007060636A (ja) * 2005-07-29 2007-03-08 Victor Co Of Japan Ltd ノイズ検出装置及び方法、並びにノイズ低減装置及び方法
US20070071342A1 (en) * 2005-09-29 2007-03-29 Brett Bilbrey Video acquisition with integrated GPU processing
JP2008258848A (ja) * 2007-04-03 2008-10-23 Sanyo Electric Co Ltd ノイズ低減装置、ノイズ低減方法、及び電子機器
US20090161756A1 (en) * 2007-12-19 2009-06-25 Micron Technology, Inc. Method and apparatus for motion adaptive pre-filtering
US20090278961A1 (en) * 2008-05-07 2009-11-12 Honeywell International Inc. Method for digital noise reduction in low light video
US20100165207A1 (en) * 2008-12-29 2010-07-01 Stmicroelectronics Asia Pacific Pte, Ltd. Apparatus and method of motion detection for temporal mosquito noise reduction in video sequences
CN102113308A (zh) * 2009-06-04 2011-06-29 松下电器产业株式会社 图像处理装置、图像处理方法、程序、记录介质以及集成电路
WO2014054273A1 (ja) * 2012-10-04 2014-04-10 パナソニック株式会社 画像ノイズ除去装置、および画像ノイズ除去方法
US20160037061A1 (en) * 2014-07-31 2016-02-04 Apple Inc. Dynamic motion estimation and compensation for temporal filtering

Also Published As

Publication number Publication date
AU2017336406A1 (en) 2019-04-11
EP3520073A1 (en) 2019-08-07
WO2018064039A1 (en) 2018-04-05
KR20190054126A (ko) 2019-05-21
JP6931049B2 (ja) 2021-09-01
NO20190396A1 (en) 2019-03-25
JP2019530360A (ja) 2019-10-17
US10911698B2 (en) 2021-02-02
EP3520073A4 (en) 2020-05-06
AU2017336406B2 (en) 2022-02-17
KR102411033B1 (ko) 2022-06-17
US20180098004A1 (en) 2018-04-05
CA3036922A1 (en) 2018-04-05
EP3520073B1 (en) 2024-04-03

Similar Documents

Publication Publication Date Title
US20090278961A1 (en) Method for digital noise reduction in low light video
CN102077572B (zh) 用于在成像系统中防止运动模糊和重影的方法及装置
US8744206B2 (en) Image processing apparatus, image processing method, and program
Kim et al. A novel approach for denoising and enhancement of extremely low-light video
CN109791689A (zh) 图像信号处理器偏置补偿噪声降低系统和方法
JP5107409B2 (ja) 動き領域の非線形スムージングを用いた動き検出方法およびフィルタリング方法
CN110730336B (zh) 一种去马赛克方法及装置
TWI536319B (zh) 去雜訊方法以及影像系統
Mangiat et al. Spatially adaptive filtering for registration artifact removal in HDR video
KR20150035315A (ko) 하이 다이나믹 레인지 영상 생성 방법 및, 그에 따른 장치, 그에 따른 시스템
CN112104847B (zh) 一种基于残差和高频替换的sony-rgbw阵列彩色重构方法
CN113632134A (zh) 使用预组合去噪的高动态范围图像生成
Kim et al. A novel framework for extremely low-light video enhancement
KR102183518B1 (ko) 이미지 신호로부터 계단 아티팩트들을 감소시키는 이미지 프로세싱 장치
US11153467B2 (en) Image processing
CN112567722A (zh) 视频序列中脉冲噪声的处理
Zhou et al. An Effective Image Demosaicking Algorithm with Correlations among RGB Channels
CN112312046B (zh) 应用于图像感测电路的像素通道不平衡补偿方法与系统
Ghazal et al. A fast directional sigma filter for noise reduction in digital TV signals
JP3143627B2 (ja) エッジ保存雑音低減方式
Trammer et al. RGB-Guided Resolution Enhancement of IR Images
Szczepański Spatio-temporal fuzzy FDPA filter
CN117372307A (zh) 一种多无人机协同探测分布式图像增强方法
Kenarsari-Anhari et al. Efficient high-quality demosaicing using spatially adaptive weighting
Droege Scene-based nonuniformity correction using texture-based adaptive filtering

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190521

WD01 Invention patent application deemed withdrawn after publication