CN105593898A - 降噪装置、方法及其程序 - Google Patents
降噪装置、方法及其程序 Download PDFInfo
- Publication number
- CN105593898A CN105593898A CN201480050517.XA CN201480050517A CN105593898A CN 105593898 A CN105593898 A CN 105593898A CN 201480050517 A CN201480050517 A CN 201480050517A CN 105593898 A CN105593898 A CN 105593898A
- Authority
- CN
- China
- Prior art keywords
- image
- component
- resolution
- low
- decomposed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 59
- 238000000354 decomposition reaction Methods 0.000 claims abstract description 80
- 230000008569 process Effects 0.000 claims abstract description 14
- 230000009467 reduction Effects 0.000 claims description 24
- 230000015556 catabolic process Effects 0.000 claims description 4
- 230000001771 impaired effect Effects 0.000 abstract description 4
- 230000000295 complement effect Effects 0.000 description 26
- 238000012935 Averaging Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 9
- 230000009466 transformation Effects 0.000 description 3
- 101100494367 Mus musculus C1galt1 gene Proteins 0.000 description 2
- 101150035415 PLT1 gene Proteins 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002203 pretreatment Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10036—Multispectral image; Hyperspectral image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
在通过基于以不同分辨率同时拍摄的相同图像对象的多个图像的泛锐化处理等所创建的图像的降噪期间,为了降低破坏原始图像的信号分量的可能性,根据本发明的降噪装置包括:多分辨率分解装置,该多分辨率分解装置对输入的第一图像执行多分辨率分解以获得具有规定的第一分辨率的分量,该第一图像具有规定的分辨率,规定的第一分辨率低于输入的第二图像的规定分辨率,第二图像与第一图像同时被捕捉,第一图像和第二图像是相同对象的图像;低分辨率分量补偿装置,该低分辨率分量补偿装置通过使用第二图像对通过分解所创建的至少一个分解分量进行补偿;以及图像重配置装置,该图像重配置装置将分解的分量替换为通过补偿所创建的分解分量,对第一图像进行重配置,并且输出这样重配置的第一图像。
Description
技术领域
本发明涉及降噪装置、方法及其程序。
背景技术
在历史上,已经使用了用于从卫星或飞机上拍摄地面等的系统。在这样的系统中,经常通过执行对具有高分辨率的全色图像与具有低于该全色图像的分辨率的多光谱图像的同时捕捉来拍摄单个图像对象。全色传感器被配置为捕捉在可见光和近红外光的所有波长中的图像,并且多光谱传感器被配置为只捕捉特定波长中的图像,例如蓝光或红光。多光谱传感器能够捕捉特定颜色的图像。然而,相比于全色传感器,多光谱传感器接收的每个单位面积中的光量较小。由于传感器接收的每个像素的光亮减少,噪声分量相对于信号分量增加。这使得难以捕捉高质量的图像。为了避免这样的情况,在多光谱传感器中,通过与全色传感器相比降低分辨率并放大每个像素的图像面积来提高接收到的光量。在这样的同时捕捉低分辨率多光谱图像和高分辨率全色图像这二者的系统中,通过将这两种图像组合来执行泛锐化(pan-sharpen)处理以创建高分辨率彩色图像。在泛锐化处理中,例如通过将多光谱图像的每个像素的分量分解为亮度分量、色调分量和色度分量,并且将亮度分量替换为具有高分辨率的全色图像的分量,来创建高分辨率彩色图像。顺便提及,降低图像中包括的噪声是普遍的问题,并且不限于通过泛锐化处理创建的高分辨率彩色图像。通过图像处理来执行这样的降噪。专利文献1描述了与通过图像处理进行降噪有关的方法。
在专利文献1中描述的方法如下。
用于降低图像中包括的噪声的图像处理方法包括图像输入过程,该图像输入过程输入包括多个像素在内的原始图像。该方法还包括:多分辨率图像创建过程,分解输入的原始图像并且创建具有依次降低的分辨率的多个低频图像以及具有依次降低的分辨率的多个高频图像;以及降噪处理过程,对低频图像和高频图像中的每个图像执行降噪处理。该方法还包括:图像获取过程,基于降噪的低频图像和降噪的高频图像的结果来获取从原始图像中移除了噪声的图像。
[引用列表]
[专利文献]
[PLT1]WO2007/116543
发明内容
[技术问题]
在PTL1中描述的方法中,存在以下顾虑:由于对单个图像执行降噪而使原始图像的信号受损。在包括PLT1中描述的方法在内的一般降噪方法中,预先假设噪声的特性,并基于噪声的特性来估计噪声分量以降低噪声。在该过程中,可能将原始图像的信号分量确定为噪声并因此将其降低。存在以下顾虑:在通过基于已经被这样降噪的全色图像和多光谱图像的泛锐化处理所创建的图像中,原始信号分量也可能受损。
如上所述,在PTL1中描述的方法中,存在以下问题:由于降噪方法的本质,在通过基于具有相互不同的分辨率并且针对同一图像对象同时捕捉的多个图像的泛锐化处理等所创建的图像中进行降噪期间,原始图像的信号分量受损。
本发明用于解决这样的问题,并且本发明的目的在于提供降噪装置、方法及其程序。
[问题的解决方案]
根据本发明的降噪装置包括:多分辨率分解装置,该多分辨率分解装置对输入的第一图像执行多分辨率分解以获得具有规定的第一分辨率的分量,该第一图像具有规定的分辨率,规定的第一分辨率低于输入的第二图像的规定分辨率,第二图像与第一图像同时被捕捉,第一图像和第二图像是相同对象的图像;低分辨率分量补偿装置,该低分辨率分量补偿装置通过使用第二图像对通过分解所创建的至少一个分解分量进行补偿;以及图像重配置装置,该图像重配置装置将分解的分量替换为通过补偿所创建的分解分量,对第一图像进行重配置,并且输出这样重配置的第一图像。
根据本发明的降噪方法包括:对输入的第一图像执行多分辨率分解以获得具有规定的第一分辨率的分量,该第一图像具有规定的分辨率,规定的第一分辨率低于输入的第二图像的规定分辨率,第二图像与第一图像同时捕捉,第一图像和第二图像是相同对象的图像;通过使用第二图像对通过分解所创建的至少一个分解分量进行补偿;以及将分解的分量替换为通过补偿所创建的分解分量,对第一图像进行重配置,并且输出这样重配置的第一图像。
[发明的有益效果]
根据本发明,在通过基于以不同分辨率同时拍摄的同一图像对象的多个图像的泛锐化处理等所创建的图像的降噪期间,降低了破坏原始图像的信号分量的可能性。
附图说明
图1是示出了本发明的第一示例实施例中的降噪装置的配置示例的框图。
图2是示出了多分辨率分解中对图像进行处理的示意图。
图3是示出了多分辨率分解中对图像进行处理的示意图。
图4是示出了补偿中对低分辨率分量进行处理的示意图。
图5是示出了重配置中对图像进行处理的示意图。
图6是示出了本发明的第二示例实施例中的降噪装置的配置示例的框图。
图7是示出了补偿中对分解分量进行处理的示意图。
图8是示出了本发明的第三示例实施例中的降噪装置的配置示例的框图;
图9是示出了本发明的第四示例实施例中的降噪装置的配置示例的框图。
具体实施方式
将参照附图来描述本发明的第一示例实施例。
首先,将参照图1来描述示例实施例中的降噪装置的配置。
降噪装置10设置有高分辨率图像输入单元11、低分辨率图像输入单元12、多分辨率分解单元13、低分辨率分量补偿单元14、重配置单元15以及图像输出单元16。
将描述降噪装置10的每个单元。
高分辨率图像输入单元11输出所输入的高分辨率图像。
低分辨率图像输入单元12输出所输入的低分辨率图像。
多分辨率分解单元13执行将输入的高分辨率图像分解为低分辨率分量的多分辨率分解。
低分辨率分量补偿单元14通过使用输入的低分辨率图像来补偿通过分解高分辨率图像所创建的低分辨率分量。
重配置单元15将低分辨率分量(也就是补偿的目标)替换为经补偿的低分辨率分量,并且对高分辨率图像进行重配置。
图像输出单元16输出经重配置的高分辨率图像。
接下来,将参照图1来描述在示例实施例中的降噪装置10中执行的操作。
向高分辨率图像输入单元11输入图像对象的高分辨率图像,并且向低分辨率图像输入单元12输入与高分辨率图像的图像对象相同的图像对象的低分辨率图像。多分辨率分解单元13执行将从高分辨率图像输入单元11输出的高分辨率图像分解成低分辨率分量的多分辨率分解。此时,执行分解,直到分辨率等同于输入的低分辨率图像的分辨率。低分辨率分量补偿单元14通过使用从低分辨率图像输入单元12输出的低分辨率图像来补偿通过在多分辨率分解单元13中分解高分辨率图像所创建的低分辨率分量(等同于将在下文中描述的LL分量)。重配置单元15将低分辨率分量(该低分辨率分量是多分辨率分解单元13中被低分辨率分量补偿单元14所补偿的目标)替换为在低分辨率补偿单元14中补偿的低分辨率分量,并且对高分辨率图像进行重配置。图像输出单元16输出在重配置单元15中重配置的高分辨率图像。
此外,将参照附图来详细描述示例实施例的操作。
在示例实施例中,从高分辨率电荷耦合器件(CCD)相机向高分辨率图像输入单元11输入图像,并且从低分辨率CCD相机向低分辨率图像输入单元12输入图像,该低分辨率CCD相机的分辨率等于高分辨率CCD相机的分辨率的四分之一(对象单侧的每长度的像素数量是四分之一)。此外,多分辨率分解单元13通过小波变换来执行多分辨率分解。
将参照图2来描述在多分辨率分解单元13中执行的多分辨率分解中的图像处理。在图2中,(1)是输入的高分辨率图像,并且(2)是经处理的图像。所输入的高分辨率图像被分解成四个分量。左上方LL分量是垂直和水平方向上的平均分量。右上方HL分量是与垂直方向上的平均值的差。左下方LH分量是与水平方向上的平均值的差。右下方HH分量是与垂直和水平方向上的平均分量的差。平均分量由缩放因子来表达。与平均值的差由小波因子表达。应当注意的是:在(1)和(2)中,一个像素的大小相同,并且(2)中每个分量的单侧的长度是输入的高分辨率图像的单侧的长度的一半。
将参照图3来描述多像素分解的接下来的处理。在图3中,(3)是之前处理中的LL分量,并且(4)通过处理被分解成四个分量的图像。左上方LLLL分量是垂直和水平方向上的平均分量,右上方LLHL分量是与垂直方向上的平均值的差,左下方LLLH分量是与水平方向上的平均值的差,并且右下方HHHH分量是与垂直和水平方向上的平均分量的差。当结合当前处理的结果与之前处理的结果时,得到(5)。应当注意的是:在(3)、(4)和(5)中,一个像素的大小相同,并且(4)中每个分量的单侧的长度是输入的高分辨率图像的单侧的长度的四分之一。
将参照图4来描述在低分辨率分量补偿单元14中执行的补偿。低分辨率分量补偿单元14补偿通过在多分辨率分解单元13中分解高分辨率图像所创建的低分辨率分量(具有与低分辨率图像的分辨率相同的分辨率的LLLL分量)。在低分辨率分量的补偿中,经补偿的低分辨率分量是低分辨率分量与低分辨率图像的平均值。由于本质上噪声是随机产生的,因此低分辨率分量中包括的噪声与低分辨率图像中包括的噪声之间并不相关。因此,通过对低分辨率分量的对应像素与低分辨率图像的对应像素求平均,降低了噪声分量。另一方面,由于在低分辨率分量和低分辨率图像中类似的包括原始图像的信号,所以甚至通过求平均也不会减少原始信号。通过这种方式,该补偿允许仅降低噪声分量。应当注意的是:在该补偿中,执行低分辨率图像与高分辨率图像之间的对准的处理。
将参照图5来描述在重配置单元15中执行的重配置。重配置单元15基于通过分解和补偿高分辨率图像所创建的低分辨率分量来执行对多分辨率分解的反向处理。然后,重配置单元15重配置高分辨率图像。重配置的高分辨率图像是与输入的高分辨率图像相比具有降低的噪声的图像。应当注意的是:在上述补偿中,由于执行了低分辨率图像与高分辨率图像之间的对准处理,所以适当地执行高分辨率图像的重配置。
应当注意的是:低分辨率图像的分辨率是高分辨率图像的分辨率的四分之一,但是如果低分辨率图像的分辨率小于高分辨率图像的分辨率,则分辨率比例并不限于四分之一。当多分辨率分解方法是小波变换时,通过单次分解将分辨率变为一半。因此,希望将分辨率比例设置为2的幂的倒数。多分辨率分解方法可以是小波变换之外的方法,并且如果在其它方法中能够实现的话,分辨率比例可以是自然数的倒数。另外,可以根据需要对图像进行内插。
此外,高分辨率CCD相机可被替换为全色传感器,并且低分辨率CCD相机可被替换为多光谱传感器。在该情况下,通过对多光谱传感器的多个波长带中的图像求平均所获得的图像可被用作低分辨率图像。多光谱传感器被配置为捕捉多个波长范围中的每一个波长范围内的图像。例如,如果多光谱传感器由四个波长带(即蓝、绿、红以及近红外带)组成,并且全色传感器捕捉从蓝光到红光的可见光区域的波长范围中的图像,则通过对多光谱传感器的蓝、绿和红带的三种波长带中的图像求平均所获得的图像可以被用作低分辨率图像。在该情况下,由于在高分辨率图像中使用的波长与在低分辨率图像中使用的波长相互接近,所以存在减小了高分辨率图像与低分辨率图像之间的差别的优点。此外,无论全色传感器中的波长范围是多少,通过对多光谱传感器的所有波长带中的图像求平均所获得的图像可被用作低分辨率图像。在该情况下,在统计上,随着求平均中要使用的图像数量的增加,随机噪声可以进一步降低。因此,存在提高降噪效果的优点。此外,多光谱传感器的多个图像中具有最佳信噪比(SN)特性的图像可被用作低分辨率图像。备选地,通过根据SN特性对多个图像求平均所获得的图像可被用作低分辨率图像。如果多光谱传感器的图像之间发生位移并且对大量图像求平均,则边缘、轮廓等可能是模糊的。因此,通过对具有好的SN特性的一些选定图像求平均所获得的图像可被用作低分辨率图像,由此对降噪效果与边缘、轮廓等变模糊的可能性加以平衡。
关于低分辨率分量的补偿,通过将低分辨率分量和低分辨率图像求平均所获得的图像被用作经补偿的低分辨率分量。备选地,求平均可以是求加权平均等等。当低分辨率图像的SN特性远远优于高分辨率图像的SN特性时,低分辨率图像本身可被用作具有较少噪声的经补偿的低分辨率分量。应当注意的是:补偿方法并不限于上述方法,并且只要其使用低分辨率图像与高分辨率图像之间的噪声之差,就可以是任何补偿方法。
如上所述,在通过基于以不同分辨率同时拍摄的同一图像对象的多个图像的泛锐化处理等所创建的图像的降噪期间,可以降低破坏原始图像的信号分量的可能性。
随后,将参照附图来描述本发明的第二示例实施例。
参照图6,第二示例实施例与第一示例实施例的不同在于还包括低分辨率图像多分辨率分解单元27,以及在于多分辨率分解单元和低分辨率分量补偿单元的操作。这里,将主要针对不同部分来描述第二示例实施例。
低分辨率图像多分辨率分解单元27执行将输入的低分辨率图像分解为低分辨率分量的多分辨率分解。
多分辨率分解单元23执行将输入的高分辨率图像分解为通过分解低分辨率图像所创建的低分辨率分量的分辨率的多分辨率分解。
低分辨率分量补偿单元24通过使用通过分解低分辨率图像所创建的低分辨率分量来补偿通过分解高分辨率图像所创建的低分辨率分量。
此外,将参照附图来详细描述第二示例实施例的操作。
将参照图7来描述在低分辨率分量补偿单元24中执行的补偿。低分辨率图像的分辨率是高分辨率图像的分辨率的一半,并且执行多分辨率分解,直到低分辨率图像和高分辨率图像的分辨率均变为低分辨率图像的分辨率的一半。低分辨率图像被分解为LL分量、HL分量、LH分量和HH分量。通过分解高分辨率图像所创建的LL分量被分解成LLLL分量、LLHL分量、LLLH分量和LLHH分量。低分辨率分量补偿单元24分别使用低分辨率图像的LL分量、HL分量、LH分量和HH分量来补偿高分辨率图像的LLLL分量。LLHL分量、LLLH分量和LLHH分量。关于补偿,通过分别对高分辨率图像的分解分量和低分辨率图像的分解分量求平均所获得的分量可以分别被用作经补偿的分解分量。
应当注意的是:低分辨率图像的分辨率是高分辨率图像的分辨率的一半,但是如果低分辨率图像的分辨率小于高分辨率图像的分辨率,则分辨率比例并不限于一半。当多分辨率分解方法是小波变换时,通过单次分解将分辨率变为一半。因此,希望将分辨率比例设置为2的幂的倒数。多分辨率分解方法可以是小波变换之外的方法,并且如果在其它方法中能够实现的话,分辨率比例可以是自然数的倒数。另外,可以根据需要对图像进行内插。
此外,高分辨率CCD相机和低分辨率CCD相机、全色传感器和多光谱传感器等可以用于图像的输入。如果使用多光谱传感器,通过对多光谱传感器的多个波长带中的图像求平均所获得的图像可被用作低分辨率图像。此外,多光谱传感器的多个图像中具有最优SN特性的图像可被用作低分辨率图像,或者通过根据SN特性对多个图像求平均所获得的图像可被用作低分辨率图像。
关于分解分量的补偿,通过对高分辨率图像和低分辨率图像中每一个图像的分解分量求平均所获得的分量被用作经补偿的分解分量。备选地,求平均可以是求加权平均等等。此外,高分辨率图像或低分辨率图像的分解分量可被用作经补偿的分解分量。
可以针对具有不同的L或H的每一个分解分量来改变分解分量补偿方法。例如,如果已知因为噪声可能容易存在于高分辨率图像上而因此特定频率中的噪声仅被包括在高分辨率图像中,则针对与该频率相对应的分解分量的低分辨率图像的分解分量可被用作经补偿的分解分量。此外,可以通过基于高分辨率图像和低分辨率图像的频率特性为每个分解分量分配不同的权重以及通过取其加权平均来分别补偿高分辨率图像和低分辨率图像的分解分量。这可以提高降噪效果。应当注意的是:补偿方法并不限于上述方法,并且只要使用低分辨率图像与高分辨率图像之间的噪声差别,可以是任何的方法。
还可以对与LL分量相对应的分解分量执行这样的多分辨率分解和补偿。
如上所述,在通过基于以不同分辨率同时拍摄的同一图像对象的多个图像的泛锐化处理等所创建的图像的降噪期间,可以降低破坏原始图像的信号分量的可能性。
接下来,将参照附图来描述本发明的第三示例实施例。
参照图8,第三示例实施例与第二示例实施例的不同在于包括多个低分辨率图像输入单元32和多个低分辨率图像多分辨率分解单元37,以及在于低分辨率分量补偿单元的操作。这里,将主要针对不同部分来描述示例实施例。
低分辨率图像输入单元32分别输出所输入的低分辨率图像。
低分辨率图像多分辨率分解单元37分别执行将所输入的低分辨率图像划分成低分辨率分量的多分辨率分解。
低分辨率分量补偿单元34通过使用通过分解多个低分辨率图像所分别创建的低分辨率分量来补偿通过分解高分辨率图像所创建的低分辨率分量。
下文中,将详细描述第三示例实施例的操作。
例如,从高分辨率全色传感器向高分辨率图像输入单元31输入图像,并且例如从蓝、绿、红和近红外线波长带的多光谱传感器分别向低分辨率图像输入单元32-1至32-4输入图像。低分辨率图像多分辨率分解单元37-1至37-4分别对各个波长带中的输入的低分辨率图像1至4执行多分辨率分解,直到将其分解为规定的分辨率(例如低分辨率图像的分辨率的一半)。多分辨率分解单元33对输入的高分辨率图像执行多分辨率分解,直到将其分解为与低分辨率图像相同的规定分辨率。低分辨率分量补偿单元33将通过对高分辨率图像的分解分量以及低分辨率图像1至4的分解分量分别求平均所获得的分量设置为经补偿的分解分量。这里,例如,求平均是求加权平均。根据分辨率和波长带的特性来执行加权。短波长带中的光(例如蓝波长带)在大气中高度散射。因此,与长波长带(例如红波长带或近红外线波长带)相比,噪声可能会在高频率范围内提高。因此,可以按照以下方式来执行加权:随着分量的分辨率变高,针对更长波长带的加权变高。
通过使用通过分解多个低分辨率图像所创建的分解分量来补偿高分辨率图像的分解分量,可以在考虑多个低分辨率图像的特性(例如分辨率和观察波长)的同时执行补偿。这可以提高降噪效果。
应当注意的是:低分辨率图像输入单元和低分辨率图像多分辨率分解单元的数量都是4,但并不限于此。
如上所述,在通过基于以不同分辨率同时拍摄的同一图像对象的多个图像的泛锐化处理等所创建的图像的降噪期间,可以降低破坏原始图像的信号分量的可能性。
接下来,将参照附图来描述本发明的第四示例实施例。
首先,将参照图9来描述第四示例实施例的配置。
图9示出了第四示例实施例中的降噪装置的配置示例。降噪装置40设置有多分辨率分解单元41、低分辨率分量补偿单元42和重配置单元43。
接下来,将参照图9来描述在第四示例实施例中的降噪装置40中执行的操作。
向多分辨率分解单元41输入具有规定的第一分辨率的第一图像。向低分辨率分量补偿单元42输入与第一图像同时捕捉的、具有低于第一分辨率的规定的第二分辨率的、同一对象的第二图像。多分辨率分解单元41将第一图像分解为具有第二分辨率的分量。低分辨率分量补偿单元42通过使用第二图像来补偿通过分解所创建的至少一个低分辨率分量。重配置单元43将低分辨率分量替换为通过补偿所创建的低分辨率分量,对第一图像进行重配置,并且输出这样重配置的第一图像。
如上所述,在通过基于以不同分辨率同时拍摄的同一图像对象的多个图像的泛锐化处理等所创建的图像的降噪期间,可以降低破坏原始图像的信号分量的可能性。
上文公开的全部或部分示例实施例可被描述为但不限于以下补充说明。
(补充注释1)一种降噪装置,包括:多分辨率分解装置,该多分辨率分解装置对输入的第一图像执行多分辨率分解以获得具有规定的第一分辨率的分量,该第一图像具有规定的分辨率,规定的第一分辨率低于输入的第二图像的规定分辨率,第二图像与第一图像同时被捕捉,第一图像和第二图像是相同对象的图像;低分辨率分量补偿装置,该低分辨率分量补偿装置通过使用第二图像对通过分解所创建的至少一个分解分量进行补偿;以及图像重配置装置,该图像重配置装置将分解的分量替换为通过补偿所创建的分解分量,对第一图像进行重配置,并且输出这样重配置的第一图像。
(补充注释2)根据补充注释1所述的降噪装置,还包括:低分辨率图像多分辨率分解装置,该低分辨率图像多分辨率分解装置对第二图像执行多分辨率分解,以获得具有低于第一分辨率的规定的第二分辨率的分量,其中,多分辨率分解装置对第一图像执行多分辨率分解,以获得具有第二分辨率的分量,并且其中,低分辨率分量补偿装置通过使用通过分解第二图像所创建的对应分解分量来补偿通过将第一图像分解为第二分辨率所创建的至少一个分解分量。
(补充注释3)根据补充注释1或补充注释2所述的降噪装置,其中,补偿方法包括:对第一图像的分解分量与第二图像求加权平均,或者对第一图像的分解分量和第二图像的分解分量求加权平均。
(补充注释4)根据补充注释1至3中任一项所述的降噪装置,其中,第二图像包括具有不同特性的多个图像。
(补充注释5)根据补充注释1至4中任一项所述的降噪装置,其中,第一图像是全色图像,并且第二图像是多光谱图像。
(补充注释6)一种降噪方法,包括:对输入的第一图像执行多分辨率分解以获得具有规定的第一分辨率的分量,该第一图像具有规定的分辨率,规定的第一分辨率低于输入的第二图像的规定分辨率,第二图像与第一图像同时被捕捉,第一图像和第二图像是相同对象的图像;通过使用第二图像对通过分解所创建的至少一个分解分量进行补偿;以及将分解的分量替换为通过补偿所创建的分解分量,对第一图像进行重配置,并且输出这样重配置的第一图像。
(补充注释7)根据补充注释6所述的降噪方法,还包括:对第二图像执行附加的多分辨率分解,以获得具有低于第一分辨率的规定的第二分辨率的分量,其中,在执行多分辨率分解期间,对第一图像执行多分辨率分解以获得具有第二分辨率的分量,并且其中,在通过使用第二图像来补偿通过分解所创建的至少一个分解分量期间,通过使用通过分解第二图像所创建的对应分解分量来补偿通过将第一图像分解为第二分辨率所创建的至少一个分解分量。
(补充注释8)根据补充注释6或补充注释7所述的降噪方法,其中,补偿方法包括:对第一图像的分解分量与第二图像求加权平均,或者对第一图像的分解分量和第二图像的分解分量求加权平均。
(补充注释9)根据补充注释6至8中任一项所述的降噪方法,其中,第二图像包括具有不同特性的多个图像。。
(补充注释10)一种记录介质,该记录介质存储有使包括降噪装置在内的计算机执行以下操作的降噪程序:多分辨率分解处理,对输入的第一图像执行多分辨率分解以获得具有规定的第一分辨率的分量,该第一图像具有规定的分辨率,规定的第一分辨率低于输入的第二图像的规定分辨率,第二图像与第一图像同时被捕捉,第一图像和第二图像是相同对象的图像;低分辨率分量补偿处理,通过使用第二图像对通过分解所创建的至少一个分解分量进行补偿;以及图像重配置处理,将分解的分量替换为通过补偿所创建的分解分量,对第一图像进行重配置,并且输出这样重配置的第一图像。
(补充注释11)根据补充注释10所述的降噪装置,还包括:低分辨率图像多分辨率分解处理,对第二图像执行多分辨率分解以获得具有低于第一分辨率的规定的第二分辨率的分量,其中,多分辨率分解处理对第一图像执行多分辨率分解,以获得具有第二分辨率的分量,并且其中,低分辨率分量补偿处理通过使用通过分解第二图像所创建的对应分解分量来补偿通过将第一图像分解为第二分辨率所创建的至少一个分解分量。
(补充注释12)根据补充注释10或补充注释11所述的降噪装置,其中,补偿方法包括:对第一图像的分解分量与第二图像求加权平均,或者对第一图像的分解分量和第二图像的分解分量求加权平均。
(补充注释13)根据补充注释10至12中任一项所述的降噪装置,其中,第二图像包括具有不同特性的多个图像。
尽管参照本发明的示例实施例具体示出和描述了本发明,但是本发明不限于这些实施例。本领域普通技术人员应该理解的是:在不脱离如权利要求定义的本发明的精神和范围的情况下可以对其进行形式和细节上的各种变化。
本申请是基于并要求2013年9月12日提交的日本专利申请No.2013-189549的优先权,其内容以全文引用的方式并入本文中。
[工业实用性]
本发明可以用于降噪装置、方法及其程序。
[附图标记列表]
10、20、30、40降噪装置
11、21、31高分辨率图像输入单元
12、22、32-1至32-4低分辨率图像输入单元
13、23、33、41多分辨率分解单元
14、24、34、42低分辨率分量补偿单元
15、25、35、43重配置单元
16、26、36图像输出单元
27、37-1至37-4低分辨率图像多分辨率分解单元
Claims (10)
1.一种降噪装置,包括:
多分辨率分解装置,所述多分辨率分解装置对输入的第一图像执行多分辨率分解以获得具有规定的第一分辨率的分量,所述第一图像具有规定的分辨率,规定的所述第一分辨率低于输入的第二图像的规定分辨率,所述第二图像与第一图像同时被捕捉,所述第一图像和第二图像是相同对象的图像;
低分辨率分量补偿装置,所述低分辨率分量补偿装置通过使用所述第二图像对通过分解所创建的至少一个分解分量进行补偿;以及
图像重配置装置,所述图像重配置装置将分解的分量替换为通过补偿所创建的分解分量,对所述第一图像进行重配置,并且输出这样重配置的所述第一图像。
2.根据权利要求1所述的降噪装置,还包括:
低分辨率图像多分辨率分解装置,所述低分辨率图像多分辨率分解装置对所述第二图像执行多分辨率分解,以获得具有低于所述第一分辨率的规定的第二分辨率的分量,
其中,所述多分辨率分解装置对所述第一图像执行多分辨率分解,以获得具有第二分辨率的分量,以及
其中,所述低分辨率分量补偿装置通过使用通过分解所述第二图像所创建的对应分解分量来补偿通过将所述第一图像分解为第二分辨率所创建的至少一个分解分量。
3.根据权利要求1或2所述的降噪装置,
其中,补偿方法包括:对所述第一图像的分解分量与所述第二图像求加权平均,或者对所述第一图像的分解分量和所述第二图像的分解分量求加权平均。
4.根据权利要求1至3中任一项所述的降噪装置,
其中,所述第二图像包括具有不同特性的多个图像。
5.根据权利要求1至4中任一项所述的降噪装置,
其中,所述第一图像是全色图像,并且所述第二图像是多光谱图像。
6.一种降噪方法,包括:
对输入的第一图像执行多分辨率分解以获得具有规定的第一分辨率的分量,所述第一图像具有规定的分辨率,规定的所述第一分辨率低于输入的第二图像的规定分辨率,第二图像与第一图像同时被捕捉,所述第一图像和所述第二图像是相同对象的图像;
通过使用所述第二图像对通过分解所创建的至少一个分解分量进行补偿;以及
将分解的分量替换为通过补偿所创建的分解分量,对所述第一图像进行重配置,并且输出这样重配置的所述第一图像。
7.根据权利要求6所述的降噪方法,还包括:
对所述第二图像执行附加多分辨率分解,以获得具有低于所述第一分辨率的规定的第二分辨率的分量,
其中,在执行多分辨率分解期间,对所述第一图像执行多分辨率分解以获得具有第二分辨率的分量,以及
其中,在通过使用所述第二图像来补偿通过分解所创建的至少一个分解分量期间,通过使用通过分解所述第二图像所创建的对应分解分量来补偿通过将所述第一图像分解为所述第二分辨率所创建的至少一个分解分量。
8.根据权利要求6或7所述的降噪方法,
其中,补偿方法包括:对所述第一图像的分解分量与所述第二图像求加权平均,或者对所述第一图像的分解分量和所述第二图像的分解分量求加权平均。
9.根据权利要求6至8中任一项所述的降噪方法,
其中,所述第二图像包括具有不同特性的多个图像。
10.一种记录介质,所述记录介质存储有使包括降噪装置在内的计算机执行以下处理的降噪程序:
多分辨率分解处理,所述多分辨率分解处理对输入的第一图像执行多分辨率分解以获得具有规定的第一分辨率的分量,所述第一图像具有规定的分辨率,规定的所述第一分辨率低于输入的第二图像的规定分辨率,所述第二图像与所述第一图像同时被捕捉,所述第一图像和所述第二图像是相同对象的图像;
低分辨率分量补偿处理,所述低分辨率分量补偿处理通过使用所述第二图像对通过分解所创建的至少一个分解分量进行补偿;以及,
图像重配置处理,所述图像重配置处理将分解的分量替换为通过补偿所创建的分解分量,对所述第一图像进行重配置,并且输出这样重配置的所述第一图像。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013189549 | 2013-09-12 | ||
JP2013-189549 | 2013-09-12 | ||
PCT/JP2014/004265 WO2015037189A1 (ja) | 2013-09-12 | 2014-08-20 | ノイズ除去装置、方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105593898A true CN105593898A (zh) | 2016-05-18 |
CN105593898B CN105593898B (zh) | 2018-10-12 |
Family
ID=52665322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201480050517.XA Active CN105593898B (zh) | 2013-09-12 | 2014-08-20 | 降噪装置、方法及其程序 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9972072B2 (zh) |
JP (1) | JP6350532B2 (zh) |
CN (1) | CN105593898B (zh) |
WO (1) | WO2015037189A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7142772B2 (ja) | 2019-05-16 | 2022-09-27 | 三菱電機株式会社 | 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6016356A (en) * | 1994-03-31 | 2000-01-18 | Fuji Photo Film Co., Ltd. | Image superposition processing method |
US20040141659A1 (en) * | 2003-01-17 | 2004-07-22 | Yun Zhang | System and method for image fusion |
CN1645900A (zh) * | 2004-01-23 | 2005-07-27 | 三洋电机株式会社 | 图像信号处理装置 |
JP2010187250A (ja) * | 2009-02-13 | 2010-08-26 | Fujitsu Ltd | 画像補正装置、画像補正プログラムおよび画像撮影装置 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3370797B2 (ja) | 1994-03-31 | 2003-01-27 | 富士写真フイルム株式会社 | 画像重ね合せ方法およびエネルギーサブトラクション方法 |
US5949914A (en) * | 1997-03-17 | 1999-09-07 | Space Imaging Lp | Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening |
EP2003612A4 (en) | 2006-03-31 | 2010-10-13 | Nikon Corp | IMAGE PROCESSING |
JP4987688B2 (ja) * | 2007-12-25 | 2012-07-25 | 株式会社東芝 | 画像高解像度化方法および装置 |
-
2014
- 2014-08-20 CN CN201480050517.XA patent/CN105593898B/zh active Active
- 2014-08-20 WO PCT/JP2014/004265 patent/WO2015037189A1/ja active Application Filing
- 2014-08-20 US US14/912,992 patent/US9972072B2/en active Active
- 2014-08-20 JP JP2015536437A patent/JP6350532B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6016356A (en) * | 1994-03-31 | 2000-01-18 | Fuji Photo Film Co., Ltd. | Image superposition processing method |
US20040141659A1 (en) * | 2003-01-17 | 2004-07-22 | Yun Zhang | System and method for image fusion |
CN1645900A (zh) * | 2004-01-23 | 2005-07-27 | 三洋电机株式会社 | 图像信号处理装置 |
JP2010187250A (ja) * | 2009-02-13 | 2010-08-26 | Fujitsu Ltd | 画像補正装置、画像補正プログラムおよび画像撮影装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2015037189A1 (ja) | 2017-03-02 |
JP6350532B2 (ja) | 2018-07-04 |
US9972072B2 (en) | 2018-05-15 |
CN105593898B (zh) | 2018-10-12 |
WO2015037189A1 (ja) | 2015-03-19 |
US20160210729A1 (en) | 2016-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Luo et al. | Pansharpening via unsupervised convolutional neural networks | |
US20080199100A1 (en) | Image Processing Method | |
JP5668105B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
US20140301659A1 (en) | Panchromatic Sharpening Method of Spectral Image Based on Fusion of Overall Structural Information and Spatial Detail Information | |
US20120287286A1 (en) | Image processing device, image processing method, and program | |
US9338364B2 (en) | Imaging device and image generation method | |
KR20110082421A (ko) | 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법 | |
JP7132364B2 (ja) | マルチレベル・バイラテラル・ノイズフィルタリングのための方法、装置、およびシステム | |
DE102018119625A1 (de) | Reduzieren von strukturierten IR-Mustern bei der Stereoskopischen Tiefensensorbildgebung | |
CN107240081A (zh) | 夜景影像去噪与增强处理方法 | |
US8520099B2 (en) | Imaging apparatus, integrated circuit, and image processing method | |
CN102893609B (zh) | 图像处理设备和图像处理设备的控制方法 | |
US9111339B1 (en) | System and method for reducing noise from an image | |
JP2016535485A (ja) | デュアルバンドセンサからの画像の可視カラー画像への変換 | |
CN103237158B (zh) | 影像处理方法、影像撷取系统及影像处理器 | |
CN116029930A (zh) | 一种基于卷积神经网络的多光谱图像去马赛克方法 | |
CN114998122A (zh) | 一种低照度图像增强方法 | |
CN105593898A (zh) | 降噪装置、方法及其程序 | |
CN113658043A (zh) | 图像处理方法、装置、电子设备和可读存储介质 | |
US20140118580A1 (en) | Image processing device, image processing method, and program | |
EP3688977B1 (en) | Generating a monochrome image | |
CN103716645A (zh) | 图像拾取设备和图像拾取控制设备 | |
JP5682443B2 (ja) | 画像処理装置、画像処理方法及び画像処理プログラム | |
Park | Architectural analysis of a baseline isp pipeline | |
Matsuo et al. | Super-resolution method by registration of multi-scale components considering color sampling pattern and frequency spectrum power of UHDTV camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |