CN105376505B - 相似块融合方法以及使用该方法的装置 - Google Patents

相似块融合方法以及使用该方法的装置 Download PDF

Info

Publication number
CN105376505B
CN105376505B CN201510745964.3A CN201510745964A CN105376505B CN 105376505 B CN105376505 B CN 105376505B CN 201510745964 A CN201510745964 A CN 201510745964A CN 105376505 B CN105376505 B CN 105376505B
Authority
CN
China
Prior art keywords
block
similar
contiguous
difference
contiguous block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510745964.3A
Other languages
English (en)
Other versions
CN105376505A (zh
Inventor
梁爱民
王园园
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Granfei Intelligent Technology Co.,Ltd.
Original Assignee
Shanghai Zhaoxin Integrated Circuit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Zhaoxin Integrated Circuit Co Ltd filed Critical Shanghai Zhaoxin Integrated Circuit Co Ltd
Priority to CN201510745964.3A priority Critical patent/CN105376505B/zh
Priority to US15/000,225 priority patent/US10062149B2/en
Publication of CN105376505A publication Critical patent/CN105376505A/zh
Application granted granted Critical
Publication of CN105376505B publication Critical patent/CN105376505B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

本发明的实施例提出一种由处理单元执行的相似块融合方法。所述方法包括：决定帧中欲融合的目标块；为目标块决定搜索窗，以及从搜索窗取得m个邻近块；计算目标块与每一邻近块间的差值；以及依据差值由m个邻近块中选取n个相似块；计算每一相似块的权重；以及依据权重融合目标块中的每一像素值及相似块中的相应像素值。

Description

相似块融合方法以及使用该方法的装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种相似块融合方法以及使用该方法的装置。
背景技术
块融合可用于消除相机噪声、平滑图像等，然而，将一个块逐一跟邻近的所有块融合需要大量的运算。因此，需要一种相似块融合方法以及使用该方法的装置，用以减少运算量。
发明内容
本发明的实施例提出一种由处理单元执行的相似块融合方法。所述方法包括：决定帧中欲融合的目标块；为目标块决定搜索窗，以及从搜索窗取得m个邻近块；计算目标块与每一邻近块间的差值，以及依据差值由m个邻近块中选取n个相似块；计算每一相似块的权重，以及依据权重融合目标块中的每一像素值及相似块中的相应像素值。
本发明的实施例提出一种相似块融合装置，至少包括帧缓存器以及处理单元；所述处理单元耦接于所述帧缓存器，用于决定帧中欲融合的目标块；为目标块决定搜索窗以及从搜索窗取得m个邻近块；计算目标块与每一邻近块间的差值；依据差值由m个邻近块中选取n个相似块；计算每一相似块的权重；依据权重融合目标块中的每一像素值及相似块中的相应像素值，用以产生融合结果；以及依据融合结果更新所述帧缓存器中的目标块的像素值。
本发明的上述帧中的块融合，与将目标块逐一跟邻近的所有块融合的传统方法相比，本发明可大幅减少运算量。
附图说明
图1是依据本发明实施例的运算装置的系统架构图；
图2是依据本发明实施例由处理单元执行的相似块融合方法流程图；
图3是依据本发明实施例的由处理单元执行的透过相似块融合去除空域噪声的方法流程图；
图4是依据本发明实施例的搜索窗的取得示意图；
图5是依据本发明实施例的由处理单元执行的计算目标块与搜索窗中每一邻近块的差值的方法流程图；
图6是依据本发明实施例的储存于挥发性存储器的二维数据表中的邻近块数据示意图；
图7是依据本发明实施例的权重与代表值间的对应关系示意图；
图8是依据本发明实施例的相似块及目标块示意图。
附图说明：
110：处理单元； 130：帧缓存器；
150：挥发性存储器； 160：非挥发性存储器；
170：相机模块控制器； 190：相机模块；
S210～S290：方法步骤； S311～S393：方法步骤；
400：贝尔格式图像； 410：目标块；
430：搜索窗； S511～S555：方法步骤；
810～860：相似块。
具体实施方式
以下说明是为完成发明的较佳实现方式，其目的在于描述本发明的基本精神，但并不用以限定本发明。实际的发明内容必须参考之后的权利要求范围。
必须了解的是，使用于本说明书中的“包含”、“包括”等词，是用以表示存在特定的技术特征、数值、方法步骤、作业处理、组件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、组件、组件，或以上的任意组合。
于权利要求中使用如“第一”、“第二”、“第三”等词是用来修饰权利要求中的组件，并非用来表示之间具有优先权顺序，先行关系，或者是一个组件先于另一个组件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的组件。
图1是依据本发明实施例的运算装置的系统架构图。此系统架构可实施于桌面计 算机、笔记本电脑、平板计算机、手机、数字相机、数字录像机等，至少包含处理单元110。处 理单元110可使用多种方式实施，例如以专用硬件电路或通用硬件(例如，单处理器、具平行 处理能力的多处理器、图形处理器或其他具运算能力的处理器)，并且在执行韧体或软件 时，提供之后所描述的功能。处理单元110可整合于图像信号处理器(ISP，Image Signal Processor)中，并且可透过相机模块控制器170控制相机模块190用以捕捉多个帧。相机模 块190可包含图像传感器，例如，互补式金属氧化物半导体(complementary metal-oxide- semiconductor，CMOS)、电荷耦合组件(charge-coupled device，CCD)等传感器，用以感测 由红、绿、蓝光强度所形成的图像，以及包含读取电子电路，用以从图像传感器搜集感测到 的数据。挥发性存储器150，例如动态随机存取存储器(DRAM，Dynamic Random Access Memory)，用以储存执行过程中需要的数据，例如，变量、数据表(data tables)等。本发明的 相似块融合方法由处理单元110执行：首先透过相机模块控制器170控制相机模块190取得 一个帧(frame)，并储存于帧缓存器130。处理单元110决定帧中一个欲融合的目标块 (target block)，为目标块决定一个搜索窗(search window)，以及从搜索窗取得m个邻近 块(neighboring blocks)。处理单元110计算目标块与每一邻近块间的差值，将计算结果储 存于挥发性存储器150，并且依据差值由m个邻近块中选取n个相似块(resembling blocks)。接着，处理单元110计算每一个相似块的权重，将计算结果储存于挥发性存储器 150，并且依据权重融合目标块中的每一个像素值及相似块中的相应像素值，用以产生融合 结果。最后，处理单元110将帧缓存器130中目标块的像素值更新为融合结果。本发明透过从 搜索窗中选取相似性(similarity)高的邻近块作为相似块参与目标块的融合计算，相较于 传统方法使用更少的运算量。举例而言，在消除相机噪声的空域去噪(Spatial De-Noise， DNS)操作中，通过找出相似性较高的邻近块，并对相似的邻近块和目标块的对应位置的像 素作融合计算，由于相似的像素的噪声水平相当，融合以后幅度相当的正负噪声相互抵消 可以达到更好的去噪效果，且较之所有邻近块都参与融合计算的传统方法，运算量更低。值 得注意的是，本发明并不局限于空域去噪领域，凡是将目标块与邻近块根据相似性融合的 领域，都可以使用本发明所揭露的技术以降低运算量。
图2是依据本发明实施例由处理单元执行的相似块融合方法流程图。流程开始于处理单元110决定帧中欲融合的一个目标块(步骤S210)。为目标块决定一个搜索窗以及从搜索窗取得m个邻近块(步骤S230)。举例而言，目标块包括3×3个像素，搜索窗为以目标块为中心的包括11×11个像素的窗。在该帧为一贝尔格式(Bayer pattern)图像帧的实施例中，其中邻近块为该搜索窗中围绕该目标块且与该目标块的贝尔格式相同的24个块。“贝尔格式相同”即相应位置的像素的信道相同，即，相应位置的像素同属于R-信道，Gr-信道，Gb-信道或者B-信道。处理单元110计算目标块与每一邻近块间的差值(步骤S250)，以及依据差值由m个邻近块中选取n个相似块(步骤S270)。接着，处理单元110计算每一个相似块的权重(步骤S280)，以及依据权重融合目标块中的每一个像素值及相似块中的相应像素值，用以产生融合结果(步骤S290)。于步骤S290，处理单元110还可将帧缓存器130中目标块的像素值更新为融合结果。
图3是依据本发明实施例的由处理单元110执行的透过相似块融合去除空域噪声(Spatial De-Noise，DNS)的方法流程图。此方法始于透过相机模块控制器170控制相机模块190来取得一个帧(步骤S311)。在一实施例中，于步骤S311，帧中的像素形成一个贝尔格式图像(Bayer pattern)，即每一位置的像素分别属于R-信道，Gr-信道，Gb-信道或者B-信道之一。帧的原始数据储存于帧缓存器130。此外，处理单元110请求挥发性存储器150配置相应于帧大小的空间，用以储存每一个像素的融合结果以及融合计数值(fusioncounter)。融合计数值初始为0，并在每一次此像素融合其他相似像素后加1。接着，处理单元110反复执行一个循环(步骤S331至391)，直到处理完帧中的所有数据为止(步骤S391中“是”的路径)。
于每一个回合中，处理单元110决定帧中欲融合的一个目标块(步骤S331)，并且为目标块决定一个搜索窗(search window)(步骤S333)。图4是依据本发明实施例的搜索窗的取得示意图。例如，于步骤S331，处理单元110为贝尔格式图像400中的目标块410(斜线所示方块)决定搜索窗430(描点所示方块)，目标块410包含3×3个像素，搜索窗430包含以目标块410为中心的11×11个像素。本领域技术人员也可因应设计需要使用不同大小的目标块，例如4×4、5×5个像素等，本发明并不局限于此。接着，计算目标块与搜索窗中每一邻近块间的差值(步骤S351)。于步骤S351，处理单元110可使用二维数据表或类似的数据结构，将目标块与搜索窗中每一邻近块的差值储存于挥发性存储器150。步骤S351的差值的详细计算流程于图5详述。于此须注意的是，邻近块拥有相同于目标块的大小及贝尔格式图像。例如，参考图4，邻近块包含3×3个如下所示的像素：
{R,Gr,R}
{Gb,B,Gb}
{R,Gr,R}
图5是依据本发明实施例的由处理单元110执行的计算目标块与搜索窗中每一邻近块的差值的方法流程图。详细来说，处理单元110计算目标块的噪声参数(步骤S511)，及变数x及y初始为0(步骤S513)。接着，反复执行一个循环，用以计算每一个邻近块的噪声参数以及目标块与每一个邻近块间的差值(步骤S531至S555)。于每一回合中，从搜索窗中的(x,y)位置开始取3×3个像素作为邻近块(步骤S531)，以及计算邻近块的噪声参数(步骤S533)以及目标块及邻近块间的差值(步骤S535)。本领域技术人员可使用噪声估计模型，例如像素值与噪声的线性模型，来计算步骤S511及S533中的噪声参数，本发明并不局限于此。此外，本发明也不局限于在计算目标块与邻近块间的差值(步骤S351)时计算该邻近块的噪声参数，在其它实施例中，也可以在图3步骤S353选取并确定相似块之后，于步骤S355计算每一个相似块的权重时，再分别计算每个相似块的噪声参数，而不必计算所有邻近块的噪声参数，从而进一步降低运算量。于步骤S535，目标块与邻近块间的差值可使用公式(1)或(2)计算：
Diff(x+1,y+1)代表中心位置(x+1,y+1)的邻近块与目标块间的差值，Pn(i,j)代表邻近块中位置(i,j)的像素值，以及Pt(i,j)代表目标块中位置(i,j)的像素值。值得注意的是，公式(1)或(2)中目标块和邻近块均以包括3×3个像素为例，概括而言，如果目标块和邻近块包括(a+1)×(b+1)个像素，可使用公式(3)和(4)计算：
于计算目标块与每一个邻近块间的差值后，决定下一个邻近块的起始位置(步骤S537至S555)。变量y加2后(步骤S537)，判断变量y是否大于8(步骤S551)。若是(代表依据新计算变量x及y取得的邻近块将超出搜索窗)，变量y设为0及变数x加2(步骤S553)；否则，继续从搜索窗中的(x,y)位置开始取3×3个像素作为邻近块(步骤S531)。于重新计算变量x及y后(步骤S553)，判断变量x是否大于8(步骤S555)。若是(代表依据新计算变量x及y取得的邻近块将超出搜索窗)，结束整个流程；否则，继续从搜索窗中的(x,y)位置开始取3×3个像素作为邻近块(步骤S531)。执行完如图5所示的方法后，处理单元110从搜索窗430取得包括目标块自身在内的共计25个邻近块的差值。
现在返回参考图3。计算目标块与搜索窗中每一邻近块间的差值后(步骤S351)，将所有邻近块分成k组，于每组中选择差值最小的p个邻近块标记为相似块，并且将目标块也标记为相似块，其中相似块的总个数n＝k×p+1(步骤S353)。例如，参考图3，搜索窗430可包含24个邻近块。图6是依据本发明实施例的储存于挥发性存储器150的二维数据表中的邻近块数据示意图。二维数据表包含25个单元格，每一个单元格储存一个邻近块的噪声参数及差值。在另一实施例中，二维数据表的每一个单元格可仅储存一个邻近块的差值。二维数据表中邻近块的数据安排顺序相符于步骤S531中邻近块的数据产生顺序。例如，单元格(0,0)储存从位置(0,0)开始的3×3邻近块，单元格(0,1)储存从位置(0,2)开始的3×3邻近块，依此类推。于此实施例中，24个邻近块数据依据与目标块(以符号“P”做代表)的距离分为三组，第一组包含符号“O”的邻近块资料；第二组包含符号“X”的邻近块资料；第三组包含符号“·”的邻近块资料。在一实施例中，邻近块的分组具体而言按照如下步骤执行：首先将与目标块P的距离相等的邻近块分在一组以得到多个子组，以相邻两个块之间的距离为单位1为例说明，距离为1的邻近块有4个(图6中离目标块P较近的4个邻近块“O”)，距离为√2的邻近块有4个(图6中离目标块P较近的4个邻近块“·”)，距离为2的邻近块有4个(图6中离目标块P较远的4个邻近块“·”)，距离为√5的邻近块有8个(图6中8个邻近块“X”)以及距离为√8的邻近块有4个(图6中离目标块P较远的4个邻近块O)；之后，对上述5个子组进行合并以得到前述符号分别为“O”，“·”及“X”的3组邻近块，其中合并的原则是：使得这3组邻近块中的各组所包括的邻近块的个数相同，例如均为8个，且使得各组的邻近块到目标块的平均距离相接近，也即，使得各组的邻近块在搜索窗中的位置均匀分布。每一组选择出差值最小的二个邻近块作为相似块，此外，目标块P也被视为相似块。共有七个相似块。接着，处理单元110取得每一个相似块的权重(步骤S355)。于步骤S355，处理单元110可依据每一个相似块的的噪声参数(在此利用噪声模型计算，或者于步骤S351计算)及差值计算代表值，并依据取得的代表值查询非挥发性存储器160的查找表(lookup table)以取得此相似块的权重。每一个相似块的代表值可使用公式(5)或(6)计算：
Entry＝d/σ (5)
Entry＝d2/2σ2 (6)
其中，Entry代表代表值，d代表于步骤S351所计算的目标块与此相似块间的差值，σ代表此相似块的噪声参数。理论上，权重为代表值的指数递减函数(exponential declinefunction)，可使用公式(7)表示：
w(P,Q)＝e-Entry (7)
其中，w(P,Q)代表权重，介于0～1之间，Entry代表代表值。图7是依据本发明实施例的权重与代表值间的对应关系示意图。为符合公式(5)的关系，非挥发性存储器160中储存的查找表可包含64笔纪录，其中，代表值介于0～1(不包含1)的纪录有32笔，介于1～2(不包含2)的纪录有16笔，介于2～4的纪录有16笔。
参考图3。依据权重将目标块中的每一个像素值融合所有相似块中的相应像素值(步骤S357)。目标块中的每一个像素值的融合可使用公式(8)及(9)计算：
其中，P代表目标块，Q代表相似块，B(Q)代表相似块形成的集合，w(P,Q)代表一个相似块的权重，u(pij)代表目标块的像素值，以及u(qij)代表相似块中的相应像素值。值得注意的是，公式(8)或(9)中目标块和邻近块均以包括3×3个像素为例说明，因此i,j∈(0,1,2)，但本发明并不局限于此。图8是依据本发明实施例的相似块及目标块示意图。公式(8)或(9)中的集合B(Q)包含相似块810～860及目标块410本身一共7个块，每一个相似块包含q00至q22的九个像素，以及目标块410中包含p00至p22的九个像素。
接着，处理单元110将目标块中的每一个融合结果累加至挥发性存储器150的指定地址(步骤S371)，并且将目标块中的每一个像素值的相应融合计数值加一(步骤S373)。处理单元110接着判断是否处理完帧中的数据(步骤S391)。若是，将挥发性存储器150中每一像素值的融合结果除以相应的融合计数值，用以产生最终结果(步骤S393)。否则，处理单元110决定下一个欲融合的目标块(步骤S331)。在目标块和邻近块均以包括3×3个像素的实施例中，一个帧中除边缘外的目标块中，每个像素会被融合9次，因此相应的融合计数值将会是9。
虽然图1中包含了以上描述的组件，但不排除在不违反发明的精神下，使用更多其他的附加组件，已达成更佳的技术效果。此外，虽然图2、图3、图5的处理步骤采用特定的顺序来执行，但是在不违反发明精神的情况下，本领域技术人员可以在达到相同效果的前提下，修改这些步骤间的顺序，所以，本发明并不局限于仅使用如上所述的顺序。
虽然本发明使用以上实施例进行说明，但需要注意的是，这些描述并非用以限定本发明。相反地，此发明涵盖了本领域技术人员显而易见的修改与相似设置。所以，申请权利要求范围须以最宽广的方式解释来包含所有显而易见的修改与相似设置。

Claims (18)

1.一种相似块融合方法，由处理单元执行，其特征在于，所述方法包括：
决定帧中欲融合的目标块；
为所述目标块决定搜索窗以及从所述搜索窗取得m个邻近块；
计算所述目标块与每一所述邻近块间的差值；
将所述m个邻近块中与所述目标块的距离相等的邻近块分在一组以得到多个子组；
对所述多个子组进行合并以得到k组邻近块，其中，所述k组邻近块中的各组所包括的邻近块的个数相同，且所述k组邻近块中的各组所包括的邻近块到所述目标块的平均距离相接近；
依据所述差值自所述k组邻近块中的各组所包括的邻近块中分别选取至少一个相似块；
计算每一所述相似块的权重；以及
依据所述权重融合所述目标块中的每一像素值及所述相似块中的相应像素值。
2.根据权利要求1所述的相似块融合方法，其特征在于，所述目标块与每一所述邻近块间的差值使用以下公式中的其中一个计算：
以及
其中，Diff代表所述目标块与所述邻近块中的其中一个间的差值，Pn(i,j)代表所述邻近块中位置(i,j)的像素值，Pt(i,j)代表所述目标块中位置(i,j)的像素值，所述目标块和邻近块中每行的像素个数为(a+1)个，所述目标块和邻近块中每列的像素个数为(b+1)个。
3.根据权利要求1所述的相似块融合方法，其特征在于，所述依据所述差值自所述k组邻近块中的各组所包括的邻近块中分别选取至少一个相似块的步骤还包括：
从每一所述组中选择所述差值最小的p个邻近块标记为所述相似块；以及
将所述目标块标记为所述相似块。
4.根据权利要求1所述的相似块融合方法，其特征在于，所述依据所述差值自所述k组邻近块中的各组所包括的邻近块中分别选取至少一个相似块的步骤还包括：
依据所述邻近块与所述目标块的距离将所述邻近块分成k组以从中选取n个相似块。
5.根据权利要求1所述的相似块融合方法，其中，所述计算每一所述相似块的权重的步骤还包括：
取得每一所述相似块的噪声参数；
依据每一所述相似块的所述噪声参数以及所述差值计算代表值；以及
依据每一所述相似块的所述代表值取得所述权重。
6.根据权利要求5所述的相似块融合方法，其特征在于，每一所述相似块的所述代表值使用以下公式中的其中一个计算：
Entry＝d/σ；以及
Entry＝d2/2σ2，
其中，Entry代表所述代表值，d代表所述目标块与所述相似块间的所述差值，σ代表所述相似块的所述噪声参数。
7.根据权利要求5所述的相似块融合方法，其特征在于，所述依据每一所述相似块的所述代表值取得所述权重的步骤还包括：
依据每一所述相似块的所述代表值查询查找表，用以取得所述权重，在所述查找表中，所述权重为所述代表值的指数递减函数。
8.根据权利要求1所述的相似块融合方法，其特征在于，所述目标块及所述相似块的融合使用以下公式计算：
以及
其中，P代表所述目标块，Q代表所述相似块，B(Q)代表所有所述相似块形成的集合，w(P,Q)代表所述相似块的所述权重，u(pij)代表所述目标块的所述像素值，以及u(qij)代表所述相似块中的所述相应像素值。
9.根据权利要求1所述的相似块融合方法，其特征在于，所述搜索窗包括贝尔格式图像的像素，且被融合的所述目标块中的所述像素值与所述相似块中的所述相应像素值为相同通道的像素值。
10.一种相似块融合装置，其特征在于，包括：
帧缓存器，用于储存帧的原始数据；以及
处理单元，耦接于所述帧缓存器，用于决定帧中欲融合的目标块；为所述目标块决定搜索窗以及从所述搜索窗取得m个邻近块；计算所述目标块与每一所述邻近块间的差值；将所述m个邻近块中与所述目标块的距离相等的邻近块分在一组以得到多个子组；对所述多个子组进行合并以得到k组邻近块，其中，所述k组邻近块中的各组所包括的邻近块的个数相同，且所述k组邻近块中的各组所包括的邻近块到所述目标块的平均距离相接近；依据所述差值自所述k组邻近块中的各组所包括的邻近块中分别选取至少一个相似块；计算每一所述相似块的权重；依据上述权重融合所述目标块中的每一像素值及所述相似块中的相应像素值，用以产生融合结果；以及依据所述融合结果更新所述帧缓存器中的所述目标块的像素值。
11.根据权利要求10所述的相似块融合装置，其特征在于，所述目标块与每一所述邻近块间的差值使用以下公式中的其中一个计算：
以及
其中，Diff代表所述目标块与所述邻近块中的其中一个间的差值，Pn(i,j)代表所述邻近块中位置(i,j)的像素值，Pt(i,j)代表所述目标块中位置(i,j)的像素值，所述目标块和邻近块中每行的像素个数为(a+1)个，所述目标块和邻近块中每列的像素个数为(b+1)个。
12.根据权利要求10所述的相似块融合装置，其特征在于，所述处理单元还用于从每一所述组中选择所述差值最小的p个邻近块标记为所述相似块；以及将所述目标块标记为上述相似块。
13.根据权利要求10所述的相似块融合装置，其特征在于，所述处理单元还用于依据所述邻近块与所述目标块的距离将所述邻近块分成k组以从中选取n个相似块。
14.根据权利要求10所述的相似块融合装置，其特征在于，所述处理单元还用于取得每一所述相似块的噪声参数；依据每一所述相似块的所述噪声参数以及所述差值计算代表值；以及依据每一所述相似块的所述代表值取得所述权重。
15.根据权利要求14所述的相似块融合装置，其特征在于，每一所述相似块的所述代表值使用以下公式中的其中一个计算：
Entry＝d/σ；以及
Entry＝d2/2σ2，
其中，Entry代表所述代表值，d代表所述目标块与所述相似块间的所述差值，σ代表所述相似块的所述噪声参数。
16.根据权利要求14所述的相似块融合装置，其特征在于，所述处理单元还用于依据每一所述相似块的所述代表值查询查找表，用以取得所述权重，在所述查找表中，所述权重为所述代表值的指数递减函数。
17.根据权利要求11所述的相似块融合装置，其中，所述目标块及所述相似块的融合使用以下公式计算：
以及
其中，P代表所述目标块，Q代表所述相似块，B(Q)代表所有所述相似块形成的集合，w(P,Q)代表所述相似块的所述权重，u(pij)代表所述目标块的所述像素值，以及u(qij)代表所述相似块中的所述相应像素值。
18.根据权利要求10所述的相似块融合装置，其特征在于，所述搜索窗包括贝尔格式图像的像素，且被融合的所述目标块中的所述像素值与所述相似块中的所述相应像素值为相同通道的像素值。
CN201510745964.3A 2015-11-04 2015-11-04 相似块融合方法以及使用该方法的装置 Active CN105376505B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510745964.3A CN105376505B (zh) 2015-11-04 2015-11-04 相似块融合方法以及使用该方法的装置
US15/000,225 US10062149B2 (en) 2015-11-04 2016-01-19 Methods for blending resembling blocks and apparatuses using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510745964.3A CN105376505B (zh) 2015-11-04 2015-11-04 相似块融合方法以及使用该方法的装置

Publications (2)

Publication Number Publication Date
CN105376505A CN105376505A (zh) 2016-03-02
CN105376505B true CN105376505B (zh) 2018-10-09

Family

ID=55378259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510745964.3A Active CN105376505B (zh) 2015-11-04 2015-11-04 相似块融合方法以及使用该方法的装置

Country Status (2)

Country Link
US (1) US10062149B2 (zh)
CN (1) CN105376505B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108154521B (zh) * 2017-12-07 2021-05-04 中国航空工业集团公司洛阳电光设备研究所 一种基于目标块融合的运动目标检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101212561A (zh) * 2006-12-31 2008-07-02 华晶科技股份有限公司 去除图像噪声的方法
CN103237158A (zh) * 2013-02-04 2013-08-07 钰创科技股份有限公司 影像处理方法、影像撷取系统及影像处理器
CN104041002A (zh) * 2012-01-06 2014-09-10 株式会社理光 图像处理装置、成像设备、图像处理方法及计算机可读记录介质
CN104168405A (zh) * 2013-05-20 2014-11-26 聚晶半导体股份有限公司 噪声抑制方法及其图像处理装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5220677B2 (ja) * 2009-04-08 2013-06-26 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6320053B2 (ja) * 2014-01-22 2018-05-09 キヤノン株式会社 画像処理装置、画像処理方法、及びコンピュータプログラム
US9454807B2 (en) * 2014-03-25 2016-09-27 Spreadtrum Communications (Shanghai) Co., Ltd. Methods and systems for denoising images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101212561A (zh) * 2006-12-31 2008-07-02 华晶科技股份有限公司 去除图像噪声的方法
CN104041002A (zh) * 2012-01-06 2014-09-10 株式会社理光 图像处理装置、成像设备、图像处理方法及计算机可读记录介质
CN103237158A (zh) * 2013-02-04 2013-08-07 钰创科技股份有限公司 影像处理方法、影像撷取系统及影像处理器
CN104168405A (zh) * 2013-05-20 2014-11-26 聚晶半导体股份有限公司 噪声抑制方法及其图像处理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Efficient Nonlocal Means for Denoising of Textural Patterns;Thomas Brox et al;《IEEE TRANSACTIONS ON IMAGE PROCESSING》;20080707;第17卷(第7期);第1083-1091页 *

Also Published As

Publication number Publication date
US10062149B2 (en) 2018-08-28
CN105376505A (zh) 2016-03-02
US20170124684A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
US9558543B2 (en) Image fusion method and image processing apparatus
JP6427711B1 (ja) 電子機器、方法及びプログラム
CN110602467B (zh) 图像降噪方法、装置、存储介质及电子设备
JP5918915B2 (ja) カラーフィルタを有するセンサを用いて、改善されたカラー画像を作成するための方法およびデバイス
CN104809710B (zh) 图像去噪方法以及使用该方法的装置
JP2018504790A (ja) ハイダイナミックレンジ画像の生成方法及び装置
JP2011530881A (ja) 不良ピクセルクラスタ検出
JP6172935B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
US20220270345A1 (en) Subject detection method and apparatus, electronic device, and computer-readable storage medium
CN104796583B (zh) 相机噪声模型产生及使用方法以及使用该方法的装置
CN109313806A (zh) 图像处理装置、图像处理系统、图像处理方法和程序
JP6198389B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
CN110021055A (zh) 产生视差图的方法及其图像处理装置与系统
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
TWI492621B (zh) 適應性影像處理方法及其相關裝置
CN105376505B (zh) 相似块融合方法以及使用该方法的装置
JP6270413B2 (ja) 画像処理装置、撮像装置、および画像処理方法
CN111445487A (zh) 图像分割方法、装置、计算机设备和存储介质
TWI524782B (zh) 影像處理裝置與影像處理方法
CN105187730A (zh) 高动态范围图像产生方法以及使用该方法的装置
CN101461228A (zh) 图像处理电路、半导体装置和图像处理设备
JP6817779B2 (ja) 画像処理装置、その制御方法、プログラムならびに記録媒体
CN111885371A (zh) 图像遮挡检测方法、装置、电子设备和计算机可读介质
CN108510441B (zh) 一种基于交错网格的影像多分辨率显示方法
KR101823077B1 (ko) 고해상도 영상 획득 장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20211123

Address after: Room 201, No. 2557, Jinke Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee after: Gryfield Intelligent Technology Co.,Ltd.

Address before: Room 301, 2537 Jinke Road, Zhangjiang High Tech Park, Pudong New Area, Shanghai 201203

Patentee before: VIA ALLIANCE SEMICONDUCTOR Co.,Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: 201203, 11th Floor, Building 3, No. 889 Bibo Road, China (Shanghai) Pilot Free Trade Zone, Pudong New Area, Shanghai

Patentee after: Granfei Intelligent Technology Co.,Ltd.

Country or region after: China

Address before: Room 201, No. 2557, Jinke Road, China (Shanghai) pilot Free Trade Zone, Pudong New Area, Shanghai, 201203

Patentee before: Gryfield Intelligent Technology Co.,Ltd.

Country or region before: China