CN109963048B - 降噪方法、降噪装置及降噪电路系统 - Google Patents

降噪方法、降噪装置及降噪电路系统 Download PDF

Info

Publication number
CN109963048B
CN109963048B CN201810411509.3A CN201810411509A CN109963048B CN 109963048 B CN109963048 B CN 109963048B CN 201810411509 A CN201810411509 A CN 201810411509A CN 109963048 B CN109963048 B CN 109963048B
Authority
CN
China
Prior art keywords
patch
current
block
candidate
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810411509.3A
Other languages
English (en)
Other versions
CN109963048A (zh
Inventor
魏谷竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Duopoly Technology Guangzhou Co ltd
Original Assignee
Duopoly Technology Guangzhou Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Duopoly Technology Guangzhou Co ltd filed Critical Duopoly Technology Guangzhou Co ltd
Publication of CN109963048A publication Critical patent/CN109963048A/zh
Application granted granted Critical
Publication of CN109963048B publication Critical patent/CN109963048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/521—Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H04N5/213—Circuitry for suppressing or minimising impulsive noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Abstract

本发明公开一种降噪方法，包含有对当前补片的参考帧中确定多个候选匹配区块；根据所述多个候选匹配区块，取得至少一个滤波结果；自多个候选运动向量中，决定至少一个参考区块；以及根据所述至少一个滤波结果及所述至少一个参考区块，产生用于所述当前补片的除噪补片。

Description

降噪方法、降噪装置及降噪电路系统
技术领域
本发明涉及一种降噪方法、降噪装置及降噪电路系统，尤其是一种利用空间信息及时间信息以降低图像噪声的降噪方法、降噪装置及降噪电路系统。
背景技术
随着科技的发展与进步，各种数码相机也随之产生，产业及消费者对于数字图像技术的处理需求也日益增加。在现有的系统中，空间性降噪(noise reduction，NR)，即二维(two-dimensional，2D)降噪，主要用来处理静止的图片，并且由边缘保持滤波器(edge-preserving filter)等装置利用帧的空间信息以降低图像中的噪声。时间性降噪，即三维(three-dimensional，3D)降噪，主要利用影片中的时间信息降低噪声，并通过运动适应性噪声降低(motion adaptive noise reduction，MANR)及运动补偿噪声降低(motioncompensation noise reduction，MCNR)等方法处理图像。然而，由于二维降噪及三维降噪通常分别用来降低图像及影片中的噪声，却也增加单一系统同时执行二维降噪及三维降噪的复杂度及成本。
因此，如何利用空间信息及时间信息以降低图像及影片中的噪声，已成为本领域的重要课题。
发明内容
因此，本发明的主要目的在于提供一种利用空间及时间连贯性，以降低图像及影片中的噪声的方法、装置及电路系统，进而改善现有技术的缺点。
本发明公开一种降噪方法，包含有对当前补片的参考帧中确定多个候选匹配区块；根据所述多个候选匹配区块，取得至少一个滤波结果；自多个候选运动向量中，决定至少一个参考区块；以及根据所述至少一个滤波结果及所述至少一个参考区块，产生用于所述当前补片的除噪补片。
本发明另公开一种降噪装置，包含有运动估计单元，用来在对当前补片的参考帧中确定多个候选匹配区块；滤波单元，用来根据所述多个候选匹配区块，取得至少一个滤波结果；补偿单元，用来自多个候选运动向量中，决定至少一个参考区块；以及降噪单元，根据所述至少一个滤波结果及所述至少一个参考区块，产生用于所述当前补片的除噪补片。
本发明还公开一种降噪电路系统，包含有运动估计电路，用来对当前补片的参考帧中确定多个候选匹配区块；滤波电路，耦合于所述运动估计电路，用来根据所述多个候选匹配区块，取得至少一个滤波结果；运动补偿电路，耦合于所述运动估计电路，用来自多个候选运动向量中，决定至少一个参考区块；以及降噪电路，耦合于所述运动估计电路及所述运动补偿电路，根据所述至少一个滤波结果及所述至少一个参考区块，产生用于所述当前补片的除噪补片。
附图说明
图1为本发明实施例的降噪流程的示意图。
图2为本发明实施例的具有多个当前补片的当前帧的示意图。
图3为本发明实施例的运动估计的示意图。
图4为本发明实施例的运动补偿的示意图。
图5为本发明实施例的统一降噪的示意图。
图6为本发明实施例的装置的示意图。
图7为本发明实施例的电路系统的示意图。
具体实施方式
请参考图1，图1为本发明实施例的降噪流程10的示意图。降噪流程10包含下列步骤：
步骤102：开始。
步骤104：对当前补片的参考帧中确定多个候选匹配区块。
步骤106：根据候选匹配区块，取得至少一个滤波结果。
步骤108：自多个候选运动向量中，决定至少一个参考区块。
步骤110：根据至少一个滤波结果及至少一个参考区块，产生用于当前补片的除噪补片。
步骤112：结束。
为了解释降噪流程10，请进一步参考图2。如图2所示，图像或影片的当前帧被分割为多个当前补片，其中当前补片不互相重叠，并且一个当前补片的尺寸可以是1*1至M*N。值得注意的是，当当前补片的尺寸为1*1时，则当前补片为一像素。接着，降噪流程10可用来针对每一当前帧的补片确定除噪补片。
在步骤104中，候选匹配区块是由当前补片及参考帧中确定的，其中参考帧可以是当前帧、由相同捕获设备或相同影片来源所采集的多个帧的其中之一，或者，参考帧为由不同捕获设备或不同图像序列产生。在此实施例中，运动估计用来通过至少一搜寻区域以确定候选匹配区块及其对应的候选运动向量。也就是说，运动估计决定候选运动向量，其中候选运动向量为描述其自参考帧至当前帧中的当前补片的转换，以利用中继信息的时间连贯性于不同的帧中。在实施例中，候选运动向量可通过于时间t的当前帧以及在时间t-1的先前帧或当前帧本身决定。
请继续参考图3，图3为本发明实施例的运动估计的示意图。候选运动向量是在参考帧的搜寻区域中的当前补片及参考补片所决定。如图3所示，当前匹配区块的尺寸等于或大于当前补片的尺寸、参考匹配区块的尺寸等于或大于参考补片的尺寸，以及搜寻区域的尺寸或形状可以为任意的，而不限于此。举例来说，如图3所示，搜寻区域包含有当前匹配区块及参考匹配区块，其中，参考匹配区块另包含有参考补片，以及当前匹配区块包含有当前补片。候选运动向量是根据当前匹配区块及参考匹配区块决定，以获得当前补片及参考补片之间的移动变化。因此，候选运动向量是在执行运动估计时，通过搜寻自我相似(self-similarity)的当前补片的邻近的补片或区块所决定的。值得注意的是，当前匹配区块与参考匹配区块可互相重叠。
以时间性降噪(即3D降噪)为例，当前帧中的当前补片的候选运动向量是由当前补片及参考补片决定的。接着，时间性降噪通过搜寻区域中的候选运动向量以搜集时间数据(即当前区块/补片以及参考区块/补片)，而决定的候选运动向量在搜寻区域中具有最低补片成本。补片成本为匹配成本、平均绝对离差(Mean Absolute Difference，MAD)、差方和(sum of square difference，SSD)及绝对误差和(Sum of Absolute Difference，SAD)的至少其中之一，或者由其他权重函数的指针等所决定，以利用邻近的候选运动向量的空间连续性或时间连续性，而不限于此。
以空间性降噪(即2D降噪)为另一例，候选匹配区块的补片成本与候选运动向量分别由运动估计所决定，其利用自我相似来搜寻邻近的补片，并且每一候选匹配区块具有最低补片成本。也就是说，空间性降噪根据当前补片及参考帧，搜集与时间性降噪共享的搜寻区域中，相似的匹配区块。在实施例中，候选匹配区块、对应的候选运动向量及补片成本可被储存于累加器(accumulator)或缓存器(buffer)中(均未示于图)，以用来暂存空间信息，而不限于此。
于根据当前补片及参考帧以产生候选匹配区块及候选运动向量之后，在步骤106中，降噪流程10通过滤波候选匹配区块、补片成本及候选运动向量，以得到至少一个滤波结果，其中，滤波结果具有对应的滤波比数Sf。
在实施例中，当参考帧为当前帧之先前帧时，步骤106所决定的一或多个滤波结果利用空间信息及时间信息来降低噪声。在另一实施例中，当参考帧为当前帧时，步骤106所决定的一或多个滤波结果来利用空间的自我相似，进而降低噪声。在又一实施例中，当参考帧是由不同捕获设备或在不同图像序列中产生时，步骤106所决定的一或多个滤波结果利用纹理相似度(texture similarity)将当前补片合成为无噪声结果。
另一方面，关于时间性降噪，在步骤108中，当前区块及参考区块是根据候选运动向量决定的。在此实施例中，运动补偿被用来对当前帧的每当前补片产生当前区块及参考区块。
详细来说，请参考图4，图4为本发明实施例的运动补偿的示意图。如图4所示，根据于步骤104所决定的候选运动向量，参考帧中的当前区块及参考区块用来计算移动变化，其中降噪过程仅与当前区块的尺寸及参考区块的尺寸相关，而与补片的尺寸及匹配区块的尺寸无关。换言之，就时间性降噪而言，当补片的尺寸与匹配区块的尺寸不同时，当前区块及参考区块仍为相同的。因此，时间性降噪利用于步骤104的运动估计所产生的候选运动向量，以决定相关于当前帧的移动变化的当前区块及参考区块。
在步骤110中，除噪补片是根据滤波结果及参考区块所产生。请参考图5，图5为本发明实施例的统一降噪的示意图。在此实施例中，以空间性降噪而言，当前区块是用来针对最终滤波，以产生具有空间性降噪比数Ss的空间性降噪补片。在另一实施例中，空间性降噪可以缓存器(未示于图)用来暂存空间区块，以用于进阶空间性降噪。此外，针对时间性降噪而言，具有时间性降噪比数St的时间性降噪补片是根据当前区块及参考区块所产生。因此，于步骤106中所决定的具有滤波比数Sf的滤波结果、具有空间性降噪比数Ss的空间性降噪补片及具有时间性降噪比数St的时间性降噪补片被用来滤波以产生除噪补片。降噪流程10所产生的多个除噪补片可进一步组成为具有时间性或空间性降噪的除噪帧(de-noisedframe)。
具体而言，针对具有对应的补片成本及移动向量的每一候选匹配区块，空间性降噪确认补片成本是否低于阈值，假使补片成本低于阈值，则将候选匹配区块加入至区块集合。当所有候选匹配区块被处理完成后，区块集合则被应用来产生具有空间性降噪比数Ss的空间性降噪补片。值得注意的是，阈值可以是关于当前区块的统计值(例如，平均值或变异数)的预设硬阈值(hard threshold)或软阈值(soft threshold)，而不限于此。除此之外，非线性权重平均滤波(non-linear weighted average filtering)可被用来根据空间性降噪比数Ss及时间性降噪比数St决定除噪补片。
值得注意的是，前述实施例是用以说明本发明之精神，本领域的一般技术人员当可据以做适当的修饰，而不限于此。举例来说，降噪流程10的顺序可被重新安排，如加入运动搜寻及累加器，或者预测器(predictor)及运动向量场(motion vector field)以实现运动估计，而不限于上述步骤。
请参考图6，图6为本发明实施例的装置60的示意图。装置60包含运动估计单元602、运动补偿单元604、滤波单元606及降噪单元608，其可用来分别实现上述的运动估计、运动补偿、滤波及最终滤波的步骤，以产生除噪补片，并且不以此为限。
再者，请参考图7，图7为本发明实施例的电路系统70的示意图。电路系统70包含有运动估计电路702、运动补偿电路704、滤波电路706及降噪电路708，其可用来分别实现上述的运动估计、运动补偿、滤波及最终滤波的步骤，以产生除噪补片，并且不以此为限。电路系统70可以微处理器或专用集成电路(Application Specific Integrated Circuit，ASIC)实现，且不限于此。
综上所述，本发明的降噪方法利用空间及时间信息，以同时降低空间(即2D)及时间(即3D)的噪声，进而降低图像或影片的噪声，并且改善图像或影片的质量。
以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (33)

1.一种降噪方法，包含有：
为当前补片在参考帧中确定多个候选匹配区块，
其中所述多个候选匹配区块包含对应于所述多个候选匹配区块的多个候选运动向量；
根据所述多个候选匹配区块，取得至少一个滤波结果，
其中每一所述滤波结果是根据至少一个候选匹配区块以及至少一个当前匹配区块产生；
基于所述多个候选运动向量对当前补片执行运动补偿，决定至少一个参考区块及至少一个当前区块；以及
其中根据所述当前区块得到空间性降噪补片；以及
根据所述当前区块和参考区块得到时间性降噪补片；
根据所述至少一个滤波结果、所述空间性降噪补片与所述时间性降噪补片，产生用于所述当前补片的除噪补片。
2.根据权利要求1所述的方法，其中所述多个候选匹配区块还包含对应于所述多个候选匹配区块的多个补片成本。
3.根据权利要求2所述的方法，其中所述补片成本是由匹配成本、平均绝对离差MAD、差方和SSD及绝对误差和SAD的至少其中之一所决定。
4.根据权利要求2所述的方法，其中所述多个候选运动向量是根据所述参考帧的搜寻区域中的参考补片及所述当前补片所决定。
5.根据权利要求4所述的方法，所述至少一个当前匹配区块是根据所述多个补片成本及所述多个候选运动向量所产生。
6.根据权利要求4所述的方法，其中所述搜寻区域的尺寸或形状为任意的。
7.根据权利要求4所述的方法，其中每一滤波结果是根据至少一个候选匹配区块、所述多个补片成本及所述多个候选运动向量所决定。
8.根据权利要求4所述的方法，其中所述参考补片是在参考匹配区块之中，所述当前补片是在当前匹配区块之中，所述参考匹配区块的尺寸等于或大于所述参考补片，以及所述当前匹配区块的尺寸等于或大于所述当前补片。
9.根据权利要求8所述的方法，其中所述参考匹配区块及所述当前匹配区块是用来决定所述多个候选运动向量。
10.根据权利要求1所述的方法，其中所述参考帧是相关于所述当前补片的当前帧，并且所述当前补片是由相同捕获设备或在相同图像序列产生。
11.根据权利要求1所述的方法，其中所述参考帧是相关于所述当前补片的当前帧，并且所述当前补片是由不同捕获设备或在不同图像序列产生。
12.一种降噪装置，包含有：
运动估计单元，用来对当前补片在参考帧中确定多个候选匹配区块，
其中所述多个候选匹配区块包含对应于所述多个候选匹配区块的多个候选运动向量；
滤波单元，用来根据所述多个候选匹配区块，取得至少一个滤波结果；
其中每一滤波结果是根据至少一个候选匹配区块以及至少一个当前匹配区块产生；
补偿单元，用来基于所述多个候选运动向量对当前补片执行运动补偿，决定至少一个参考区块及至少一个当前区块；以及
降噪单元，用于根据所述当前区块得到空间性降噪补片；以及
根据所述当前区块和参考区块得到时间性降噪补片；
根据所述至少一个滤波结果、所述空间性降噪补片与所述时间性降噪补片，产生用于所述当前补片的除噪补片。
13.根据权利要求12所述的装置，其中所述多个候选匹配区块还包含对应于所述多个候选匹配区块的多个补片成本。
14.根据权利要求13所述的装置，其中所述补片成本是由匹配成本、平均绝对离差、差方和及绝对误差和的至少其中之一所决定。
15.根据权利要求13所述的装置，其中所述多个候选运动向量是根据所述参考帧的搜寻区域中的参考补片及所述当前补片所决定。
16.根据权利要求15所述的装置，所述至少一个当前匹配区块是根据所述多个补片成本及所述多个候选运动向量所产生。
17.根据权利要求15所述的装置，其中所述搜寻区域的尺寸或形状为任意的。
18.根据权利要求15所述的装置，其中每一滤波结果是根据至少一个候选匹配区块、所述多个补片成本及所述多个候选运动向量所决定。
19.根据权利要求15所述的装置，其中所述参考补片是在参考匹配区块之中，所述当前补片是在当前匹配区块之中，所述参考匹配区块的尺寸等于或大于所述参考补片，以及所述当前匹配区块的尺寸等于或大于所述当前补片。
20.根据权利要求19所述的装置，其中所述参考匹配区块及所述当前匹配区块是用来决定所述多个候选运动向量。
21.根据权利要求12所述的装置，其中所述参考帧是相关于所述当前补片的当前帧，并且所述当前补片是由相同捕获设备或在相同图像序列产生。
22.根据权利要求12所述的装置，其中所述参考帧是相关于所述当前补片的当前帧，并且所述当前补片是由不同捕获设备或在不同图像序列产生。
23.一种降噪电路系统，包含有：
运动估计电路，用来对当前补片在参考帧中确定多个候选匹配区块，
其中所述多个候选匹配区块包含对应于所述多个候选匹配区块的多个候选运动向量；
滤波电路，耦合于所述运动估计电路，用来根据所述多个候选匹配区块，取得至少一个滤波结果；
其中每一滤波结果是根据至少一个候选匹配区块以及至少一个当前匹配区块产生；
运动补偿电路，耦合于所述运动估计电路，用来基于所述多个候选运动向量对当前补片执行运动补偿，决定至少一个参考区块及至少一个当前区块；以及
降噪电路，耦合于所述运动估计电路及所述运动补偿电路，用于根据所述当前区块得到空间性降噪补片；以及
根据所述当前区块和参考区块得到时间性降噪补片；
根据所述至少一个滤波结果、所述空间性降噪补片与所述时间性降噪补片，产生用于所述当前补片的除噪补片。
24.根据权利要求23所述的电路系统，其中所述多个候选匹配区块还包含对应于所述多个候选匹配区块的多个补片成本。
25.根据权利要求24所述的电路系统，其中所述补片成本是由匹配成本、平均绝对离差、差方和及绝对误差和的至少其中之一所决定。
26.根据权利要求24所述的电路系统，其中所述多个候选运动向量是根据所述参考帧的搜寻区域中的参考补片及所述当前补片所决定。
27.根据权利要求26所述的电路系统，所述至少一个当前匹配区块是根据所述多个补片成本及所述多个候选运动向量所产生。
28.根据权利要求26所述的电路系统，其中所述搜寻区域的尺寸或形状为任意的。
29.根据权利要求26所述的电路系统，其中每一滤波结果是根据至少一个候选匹配区块、所述多个补片成本及所述多个候选运动向量所决定。
30.根据权利要求26所述的电路系统，其中所述参考补片是在参考匹配区块之中，所述当前补片是在当前匹配区块之中，所述参考匹配区块的尺寸等于或大于所述参考补片，以及所述当前匹配区块的尺寸等于或大于所述当前补片。
31.根据权利要求30所述的电路系统，其中所述参考匹配区块及所述当前匹配区块是用来决定所述多个候选运动向量。
32.根据权利要求23所述的电路系统，其中所述参考帧是相关于所述当前补片的当前帧，并且所述当前补片是由相同捕获设备或在相同图像序列产生。
33.根据权利要求23所述的电路系统，其中所述参考帧是相关于所述当前补片的当前帧，并且所述当前补片是由不同捕获设备或在不同图像序列产生。
CN201810411509.3A 2017-12-14 2018-05-02 降噪方法、降噪装置及降噪电路系统 Active CN109963048B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/842,762 US20190188829A1 (en) 2017-12-14 2017-12-14 Method, Apparatus, and Circuitry of Noise Reduction
US15/842762 2017-12-14

Publications (2)

Publication Number Publication Date
CN109963048A CN109963048A (zh) 2019-07-02
CN109963048B true CN109963048B (zh) 2021-04-23

Family

ID=66815213

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810411509.3A Active CN109963048B (zh) 2017-12-14 2018-05-02 降噪方法、降噪装置及降噪电路系统

Country Status (3)

Country Link
US (1) US20190188829A1 (zh)
CN (1) CN109963048B (zh)
TW (1) TWI665916B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11252464B2 (en) 2017-06-14 2022-02-15 Mellanox Technologies, Ltd. Regrouping of video data in host memory
WO2019116975A1 (ja) * 2017-12-13 2019-06-20 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
KR102615156B1 (ko) * 2018-12-18 2023-12-19 삼성전자주식회사 감소된 개수의 후보 블록들에 기초하여 모션 추정을 수행하는 전자 회로 및 전자 장치
JP7301589B2 (ja) * 2019-04-25 2023-07-03 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US10972201B2 (en) 2019-05-03 2021-04-06 Samsung Electronics Co., Ltd Method and apparatus for providing enhanced reference signal received power estimation
US11197008B2 (en) * 2019-09-27 2021-12-07 Intel Corporation Method and system of content-adaptive denoising for video coding
CN111010495B (zh) * 2019-12-09 2023-03-14 腾讯科技（深圳）有限公司 一种视频降噪处理方法及装置
CN117115753B (zh) * 2023-10-23 2024-02-02 辽宁地恩瑞科技有限公司 一种膨润土自动化磨粉监测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008005007A1 (en) * 2006-06-29 2008-01-10 Thomson Licensing Adaptive pixel-based filtering
CN103024248A (zh) * 2013-01-05 2013-04-03 上海富瀚微电子有限公司 运动自适应的视频图像降噪方法及其装置
CN106612386A (zh) * 2015-10-27 2017-05-03 北京航空航天大学 一种联合时空相关特性的降噪方法
CN107004255A (zh) * 2014-09-23 2017-08-01 英特尔公司 使用自相似度驱动混合的带细节保留的非局部均值图像去噪
WO2017177957A1 (en) * 2016-04-14 2017-10-19 Mediatek Inc. Non-local adaptive loop filter

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285710B1 (en) * 1993-10-13 2001-09-04 Thomson Licensing S.A. Noise estimation and reduction apparatus for video signal processing
US6625216B1 (en) * 1999-01-27 2003-09-23 Matsushita Electic Industrial Co., Ltd. Motion estimation using orthogonal transform-domain block matching
US8144778B2 (en) * 2007-02-22 2012-03-27 Sigma Designs, Inc. Motion compensated frame rate conversion system and method
JP2011233039A (ja) * 2010-04-28 2011-11-17 Sony Corp 画像処理装置、画像処理方法、撮像装置、およびプログラム
US10282831B2 (en) * 2015-12-28 2019-05-07 Novatek Microelectronics Corp. Method and apparatus for motion compensated noise reduction

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008005007A1 (en) * 2006-06-29 2008-01-10 Thomson Licensing Adaptive pixel-based filtering
CN103024248A (zh) * 2013-01-05 2013-04-03 上海富瀚微电子有限公司 运动自适应的视频图像降噪方法及其装置
CN107004255A (zh) * 2014-09-23 2017-08-01 英特尔公司 使用自相似度驱动混合的带细节保留的非局部均值图像去噪
CN106612386A (zh) * 2015-10-27 2017-05-03 北京航空航天大学 一种联合时空相关特性的降噪方法
WO2017177957A1 (en) * 2016-04-14 2017-10-19 Mediatek Inc. Non-local adaptive loop filter
CN108886621A (zh) * 2016-04-14 2018-11-23 联发科技股份有限公司 非本地自适应环路滤波器

Also Published As

Publication number Publication date
TWI665916B (zh) 2019-07-11
CN109963048A (zh) 2019-07-02
US20190188829A1 (en) 2019-06-20
TW201929521A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
CN109963048B (zh) 降噪方法、降噪装置及降噪电路系统
CN110324664B (zh) 一种基于神经网络的视频补帧方法及其模型的训练方法
Huang et al. Correlation-based motion vector processing with adaptive interpolation scheme for motion-compensated frame interpolation
WO2015172235A1 (en) Time-space methods and systems for the reduction of video noise
CN107749987B (zh) 一种基于块运动估计的数字视频稳像方法
US8711938B2 (en) Methods and systems for motion estimation with nonlinear motion-field smoothing
JP2012516637A5 (zh)
US10735769B2 (en) Local motion compensated temporal noise reduction with sub-frame latency
US8253854B2 (en) Image processing method and system with repetitive pattern detection
EP3465611A1 (en) Apparatus and method for performing 3d estimation based on locally determined 3d information hypotheses
CN111127347A (zh) 降噪方法、终端及存储介质
Vijayanagar et al. Refinement of depth maps generated by low-cost depth sensors
EP2692140A2 (en) Real-time depth extraction using stereo correspondence
JP2016529747A (ja) ビデオシーケンスをトーンマッピングする方法
Reeja et al. Real time video denoising
CN108270945B (zh) 一种运动补偿去噪方法及装置
Kim et al. Dynamic scene deblurring using a locally adaptive linear blur model
Alparone et al. Regularization of optic flow estimates by means of weighted vector median filtering
Sankaran et al. Non local image restoration using iterative method
CN106897975B (zh) 一种超立方体粒计算的图像去噪方法
Zhang et al. Video superresolution reconstruction using iterative back projection with critical-point filters based image matching
CN114648469A (zh) 视频图像去噪方法及其系统、设备和存储介质
Dai et al. Color video denoising based on adaptive color space conversion
KR102007601B1 (ko) 비디오 잡음 제거를 위한 효율적인 패치 기반 방법
Lengyel et al. Multi-view video super-resolution for hybrid cameras using modified NLM and adaptive thresholding

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant