CN113812137B - 图像处理装置和方法、图像读取装置和记录介质 - Google Patents
图像处理装置和方法、图像读取装置和记录介质 Download PDFInfo
- Publication number
- CN113812137B CN113812137B CN201980096097.1A CN201980096097A CN113812137B CN 113812137 B CN113812137 B CN 113812137B CN 201980096097 A CN201980096097 A CN 201980096097A CN 113812137 B CN113812137 B CN 113812137B
- Authority
- CN
- China
- Prior art keywords
- image
- band
- processing apparatus
- image processing
- calculates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 102
- 238000003672 processing method Methods 0.000 title claims description 6
- 230000002194 synthesizing effect Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 23
- 230000008569 process Effects 0.000 claims description 15
- 230000015572 biosynthetic process Effects 0.000 claims description 14
- 238000003786 synthesis reaction Methods 0.000 claims description 14
- 238000009499 grossing Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 238000003384 imaging method Methods 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims 1
- 238000004321 preservation Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 11
- 230000006870 function Effects 0.000 description 11
- 238000000354 decomposition reaction Methods 0.000 description 6
- 125000003275 alpha amino acid group Chemical group 0.000 description 5
- 150000001875 compounds Chemical class 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000003595 spectral effect Effects 0.000 description 4
- 230000002146 bilateral effect Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/48—Picture signal generators
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20192—Edge enhancement; Edge preservation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/40—Picture signal circuits
- H04N1/409—Edge or detail enhancement; Noise or error suppression
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/54—Conversion of colour picture signals to a plurality of signals some of which represent particular mixed colours, e.g. for textile printing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
对与构成多光谱图像的多个带图像相同视野的参照图像进行分析，计算局部方差值或边缘量作为图像特征量，根据图像特征量计算滤波参数，使用滤波参数，针对带图像保存边缘并进行平滑化。在取得了包含未得到充分信号量的波段的带图像的多光谱图像时，能够提高多光谱图像的SN比而不会失去边缘。
Description
技术领域
本发明涉及图像处理装置和方法、图像读取装置、程序和记录介质。
本发明特别涉及如下的图像处理：在按照波段读取原稿而生成由多个带图像构成的多光谱图像的图像读取装置中，用于提高多光谱图像的SN比。
背景技术
在按照波段读取原稿而取得多个带图像的图像读取装置中，根据光源的光谱和图像传感器的分光灵敏度的组合，存在未得到充分信号量的波段的带图像。例如，使用紫外光光源或红外光光源进行照射而取得的带图像与可见光频带的带图像相比，SN比大多较低。
作为生成多光谱图像的另一例，在从光学卫星或飞机拍摄地面等的情况下，针对同一拍摄对象，大多同时取得高分辨率的全色图像和低分辨率的多光谱图像双方。
在同时取得低分辨率的多光谱图像和高分辨率的全色图像双方的系统中，进行组合这两个图像而生成高分辨率的彩色图像的全色锐化处理。
在全色锐化处理中，多光谱图像中包含的噪声去除成为问题。
专利文献1记载的噪声去除装置在使用高分辨率且高SN比的全色图像去除低分辨率且低SN比的带图像的噪声时，对全色图像进行多分辨率分解，对带图像进行多分辨率分解，使用带图像的分解成分对全色图像的分解成分进行校正，使用校正后的分解成分和其他分解成分再次构成全色图像。
现有技术文献
专利文献
专利文献1：国际公开第2015/037189号(第0024段)
发明内容
发明要解决的课题
如上所述，在专利文献1中，利用高分辨率的全色图像和多光谱图像的组合进行噪声校正。有时仅取得低分辨率的多光谱图像而未取得高分辨率图像。在仅利用多光谱图像进行降噪用的平滑化时，多光谱图像中包含大量噪声的情况下，有时由于平滑化而失去边缘。
本发明用于解决上述问题点，本发明的目的在于，提供如下的图像处理装置：在取得了包含未得到充分信号量的波段的带图像在内的多光谱图像时，能够提高多光谱图像的SN比而不会失去边缘。
用于解决课题的手段
本发明的图像处理装置的特征在于，所述图像处理装置具有：参数计算部，其对与构成多光谱图像的多个带图像相同视野的参照图像进行分析，计算局部方差值或边缘量作为图像特征量，根据所述图像特征量计算滤波参数；以及滤波处理部，其使用所述滤波参数对所述带图像进行边缘保存型平滑化处理。
发明效果
根据本发明，在取得了包含未得到充分信号量的波段的带图像在内的多光谱图像时，能够提高多光谱图像的SN比而不会失去边缘。
附图说明
图1是示出本发明的实施方式1的图像处理装置的框图。
图2是示出具有图像处理装置的图像读取装置的结构例的图。
图3是示出图1的图像合成部的一个结构例的框图。
图4是示出图像传感器的分光量子效率的例子的图。
图5是示出本发明的实施方式2的图像处理装置的框图。
图6是示出图5的图像合成部的一个结构例的框图。
图7的(a)～(c)是示出由图6的相关性计算部计算的图像相关性的例子的图。
图8是示出本发明的实施方式3的图像处理装置的框图。
图9是示出本发明的实施方式4的图像处理装置的框图。
图10是与光源和图像传感器一起示出实现实施方式1～4的图像处理装置的功能的计算机的一例的图。
图11是示出利用图10的计算机实现实施方式1或2的图像处理装置的功能的情况下的处理的顺序的流程图。
图12是示出利用图10的计算机实现实施方式3的图像处理装置的功能的情况下的处理的顺序的流程图。
图13是示出利用图10的计算机实现实施方式4的图像处理装置的功能的情况下的处理的顺序的流程图。
具体实施方式
实施方式1
图1是示出本发明的实施方式1的图像处理装置3的框图。图2示出具有图1的图像处理装置3的图像读取装置的结构例。
图2所示的图像读取装置除了具有图像处理装置3以外，还具有光源1和图像传感器2。
光源1由分别频带较窄的多个光源构成。下面，将该频带较窄的光源称作带光源。多个带光源例如包含可见光波段的光源、紫外光波段的光源和近红外光波段的光源。多个带光源被控制成一个一个地依次对原稿进行照射。
在通过上述多个带光源依次照射作为被摄体的原稿时，图像传感器2对原稿进行摄像，由此，依次取得多个带图像DIN。一般而言，多个带图像DIN分别具有彼此不同的SN比。
图像传感器2可以是一维的图像传感器(线传感器)，也可以是二维的图像传感器(区域传感器)。线传感器也可以是接触式图像传感器。
图像处理装置3对多个带图像DIN进行合成，生成具有比各带图像高的SN比的参照图像，对参照图像进行分析，计算局部方差值或边缘量作为图像特征量，根据图像特征量计算滤波参数，针对多个带图像DIN，使用滤波参数保存边缘并进行平滑化。
图像处理装置3具有图像合成部31、参数计算部32和滤波处理部33。
图像合成部31对多个带图像DIN进行合成，生成具有比各带图像高的SN比的参照图像MSr。
当在合成中使用SN比低的带图像时，参照图像MSr的噪声量增加，SN比可能降低。为了避免参照图像MSr的SN比降低，在本实施方式中，减小噪声量多的带图像的合成权重进行合成。
例如如图3所示，图像合成部31具有噪声量计算部311和加权合成部312。
噪声量计算部311计算多个带图像DIN各自的噪声量Ni。计算的噪声量Ni例如用标量来表示。
在图像处理装置构成图2所示的图像读取装置的一部分的情况下，各带图像的信号量能够通过图像传感器2的相应波段中的量子效率和要使用的光源的相应波段中的照射量的乘法运算来计算。噪声量Ni能够根据上述信号量的倒数来计算。
图4示出图像传感器的分光量子效率的例子。图像传感器在具有灵敏度的波段的中心附近具有峰值，随着远离峰值位置，量子效率降低。
在无法使用图像传感器2的量子效率或光源的照射量的信息的情况下，通过对各带图像DIN进行分析，能够计算各带图像的噪声量Ni。
作为对图像进行分析来计算噪声量Ni的方法，例如可举出如下方法：计算图像的平坦区域中的每个像素的局部分散值，求出其平均值。
该情况下，计算每个像素的局部方差值，将由局部方差值为阈值以下的像素构成的区域、或局部方差值为阈值以下的像素占的比例为预定的值以上的区域视为平坦区域即可。
局部方差值例如通过与后述式(3)相同的运算来求出。
加权合成部312以使噪声量Ni少的带图像的合成权重变大的方式对多个带图像DIN进行合成，生成参照图像MSr。对多个带图像的彼此相同的位置的像素值进行加权相加，由此进行合成。即，加权合成部312将多个带图像DIN的相同位置的像素值的加权平均设为参照图像MSr的相同位置的像素值。
与某个像素(关注像素)有关的加权平均例如通过由下述式(1)表示的运算来求出。
【数学式1】
在式(1)中，
x是表示关注像素的位置的坐标。
M表示带图像的数量。
MSi表示M个带图像中的第i个带图像。
MSi(x)表示带图像MSi的位置x的像素值。
Wi表示针对带图像MSi的像素值MSi(x)的合成权重。
MSr(x)表示参照图像MSr的位置x的像素值。
作为针对各带图像MSi的像素值MSi(x)的合成权重Wi，使用该带图像MSi的噪声量Ni的倒数的归一化值。与各带图像有关的噪声量的倒数的归一化值是与该带图像有关的噪声量的倒数除以与全部带图像有关的噪声量的倒数的平均而得到的值。因此，合成权重Wi由下述式(2)表示。
【数学式2】
加权合成部312也可以代替上述方法，使用预先设定的噪声量阈值将权重Wi设定成0或1，求出加权平均。例如也可以是，如果噪声量为噪声量阈值以上，则将权重Wi设为0，否则将权重Wi设为1，代替M而使用将权重Wi设为1的带图像的数量求出加权平均。
通过上述合成而得到的参照图像MSr具有比各带图像高的SN比。
参数计算部32对参照图像MSr进行分析，计算与参照图像MSr的各像素有关的局部方差值或边缘量作为图像特征量，根据图像特征量计算滤波参数D32。
与参照图像MSr中的位置x有关的局部方差值var(x)例如能够通过进行由下述式(3)表示的运算来求出。
【数学式3】
在式(3)中，
Ω(x)表示以位置x为中心的局部区域。
L表示局部区域Ω(x)内的像素的数量。
y是表示局部区域Ω(x)内的位置的坐标。
MSr(y)表示参照图像MSr的位置y的像素值。
边缘量例如能够通过使用双边权重的方法来求出。例如，与参照图像MSr中的位置x有关的边缘量bw(x)能够通过进行由下述式(4)表示的运算来求出。
【数学式4】
在式(4)中，
Ω(x)表示以位置x为中心的局部区域。
y是表示局部区域Ω(x)内的位置的坐标。
d(y，x)表示由坐标y表示的位置与由坐标x表示的位置之间的距离。
MSr(x)表示参照图像MSr的位置x的像素值。
MSr(y)表示参照图像MSr的位置y的像素值。
σ1和σ2表示常数。常数σ1和σ2任意地确定。
参数计算部32根据计算出的图像特征量计算滤波参数D32并进行输出。
例如，可以直接输出图像特征量作为滤波参数，也可以输出图像特征量的倒数或它们的归一化值作为滤波参数。
滤波处理部33针对多个带图像DIN，使用滤波参数D32保存边缘并进行平滑化，生成多个输出图像DOUT。
多个输出图像DOUT分别对应于多个带图像DIN。通过多个输出图像DOUT的组合来构成多光谱图像。
滤波处理能够使用能够输入滤波参数的参照型的平滑化滤波器来进行。例如能够使用联合双边滤波器、引导滤波器等。
基于联合双边滤波器的滤波处理例如能够由下述式(5)表示。
【数学式5】
在式(5)中，
x是表示关注像素的位置的坐标。
Ω(x)表示以位置x为中心的局部区域。
y是表示局部区域Ω(x)内的位置的坐标。
DIN(y)表示带图像DIN的位置y处的像素值。
DOUT(x)表示输出图像DOUT的位置x处的像素值。
另外，上述局部区域Ω(x)的范围也可以不与上述式(3)或(4)中的局部区域Ω(x)的范围相同。
在式(5)中，Ws是距离权重，例如通过下述式(6)求出。
【数学式6】
在式(6)中，
d(y，x)表示由坐标y表示的位置与由坐标x表示的位置之间的距离。
σs是决定距离权重Ws的参数，示出方差。
在式(5)中，Wc是像素值权重，例如通过下述式(7)求出。
【数学式7】
在式(7)中，σc是决定像素值权重Wc的参数，示出方差。
在本实施方式中，使用由上述式(3)给出的var(x)或由式(4)给出的bw(x)或对它们进行归一化而得到的值作为参数σc。
在实施方式1的图像处理装置3中，在取得了包含未得到充分信号量的波段的带图像在内的多光谱图像时，能够提高多光谱图像的SN比而不会失去边缘。
此外，如图3所示，图像合成部31包含噪声量计算部311，因此，根据合成中使用的带图像的噪声量来确定合成权重，由此，能够生成SN比更高的参照图像MSr，因此，能够得到SN比高的输出图像。
在上述例子中，多个带光源包含可见光波段的光源、紫外光波段的光源和近红外光波段的光源。多个带光源的组合不限于上述例子。例如，可见光波段也可以进一步被分割。例如，也可以代替可见光波段的光源而设置有红色波段的光源、绿色波段的光源和蓝色波段的光源。
在上述例子中，利用参数计算部32求出方差或边缘量作为图像特征量，使用它们的值或它们的归一化值作为用于决定合成权重的参数σc。由参数计算部32求出的图像特征量也可以是方差或边缘量以外的值。在任何情况下，使用图像特征量或其倒数、或它们的归一化值作为用于决定合成权重的参数即可。
实施方式2
图5示出本发明的实施方式2的图像处理装置3b。
图示的图像处理装置3b与图1的图像处理装置3大致相同，但是，代替图像合成部31而具有图像合成部31b。
实施方式1的图像合成部31减小噪声量多的带图像的合成权重，进行图像合成。本实施方式的图像合成部31b使用根据带图像之间的图像相关性决定的合成权重进行图像合成。
各带图像的图像特征根据其波段而不同，在2幅带图像之间，波段越远，则图像特征的差异越大。
在本实施方式中，在希望降低某个波段的带图像的噪声的情况下，增大与该目标波段的带图像(目标波段的图像)之间的图像相关性大的带图像的合成权重，进行图像合成，生成参照图像。
图像合成部31b对多个带图像DIN进行合成，生成具有比各带图像高的SN比的参照图像MSr。
例如如图6所示，图像合成部31b具有相关性计算部313和加权合成部312b。
相关性计算部313针对多个带图像DIN，分别计算与目标波段的带图像之间的图像相关性Cori。
各带图像与目标波段的带图像之间的图像相关性Cori例如能够根据各带图像与目标波段的带图像之间的波长之差来求出。该情况下，也可以视为上述差越小，则图像相关性越高。
该情况下，上述图像相关性能够利用将波长设为变量的函数来表示。
图7的(a)～(c)示出图像相关性的例子。在图7的(a)～(c)中，横轴示出各带图像的波长，纵轴示出图像相关性。图像相关性以任意单位(a.u.)表示。
横轴上的λt表示目标波段的中心波长或峰值波长(目标波长)。
在图7的(a)所示的例子中，相关性在目标波长λt处最高，伴随着与λt之差增大，沿着直线减少。
在图7的(b)所示的例子中，在与目标波长λt之差为设定的差分阈值以下的范围内，相关性维持固定的值，在上述差超过差分阈值的范围内，相关性为0。
在图7的(c)所示的例子中，相关性沿着以目标波长λt为中心的正态分布曲线变化。
在上述例子中，相关性计算部313针对各带图像，根据与目标波段的带图像之间的波长之差求出图像相关性。
取而代之，针对各带图像，也可以根据与目标波段的带图像之间的相似度求出图像相关性。
作为相似度的指标，例如能够使用SAD(Sum of Absolute Differences：绝对误差和)、SSD(Sum of Squared Differences：差方和)、NCC(Normalized Cross Correlation：归一化互相关)、ZNCC(Zero-means Normalized Cross Correlation:零均值归一化互相关)等。
与各带图像MSi有关的SAD(用标号SAi表示)通过下述式(8)求出。
【数学式8】
与各带图像MSi有关的SSD(用标号SSi表示)通过下述式(9)求出。
【数学式9】
与各带图像MSi有关的NCC(用标号NCi表示)通过下述式(10)求出。
【数学式10】
与各带图像MSi有关的ZNCC(用标号ZNCi表示)通过下述式(11)求出。
【数学式11】
在式(8)～(11)中，
x是表示关注像素的位置的坐标。
MSi(x)表示带图像MSi的位置x处的像素值。
MSt(x)表示目标波段的带图像MSt的位置x处的像素值。
MSim表示与图像MSi内的全部像素有关的像素值MSi(x)的平均值。
MStm表示与图像MSt内的全部像素有关的像素值MSt(x)的平均值。
相似度越大，则SAD和SSD的值越小。相似度越大，则NCC和ZNCC的值越大。
在希望进行与包含图像强度(明亮度、亮度)的特征有关的比较的情况下，应用SAD和SSD，在希望提取被摄体的特定波段中的分光反射特性的情况下，应用通过归一化而得到不依赖于图像强度(像素值的大小)的值的NCC和ZNCC。
加权合成部312b以使图像相关性Cori大的带图像的合成权重变大的方式对多个带图像DIN进行合成，生成参照图像MSr。对多个带图像的彼此相同的位置的像素值进行加权相加，由此进行合成。即，加权合成部312b将多个带图像DIN的相同位置的像素值的加权平均设为参照图像MSr的相同位置的像素值。
与某个像素(关注像素)有关的加权平均例如通过由上述式(1)表示的运算来求出。
但是，作为针对各带图像MSi的像素值MSi(x)的合成权重Wi，使用该带图像MSi的图像相关性Cori的归一化值。与各带图像有关的图像相关性的归一化值是与该带图像有关的图像相关性除以与全部带图像有关的图像相关性的平均而得到的值。因此，合成权重Wi由下述式(12)表示。
【数学式12】
在上述例子中，针对图像整体求出图像的相似度，但是，也可以按照每个像素求出相似度，按照每个像素求出图像相关性。
该情况下，在式(8)～(11)中，使用以关注像素为中心的局部区域内的像素求出相似度，根据求出的相似度求出与关注像素有关的图像相关性。
在实施方式2的图像处理装置3b中，也在取得了包含未得到充分信号量的波段的带图像在内的多光谱图像时，能够提高多光谱图像的SN比而不会失去边缘。
此外，如图6所示，图像合成部31b包含相关性计算部313，因此，根据合成中使用的带图像与目标波段的带图像之间的图像相关性确定合成权重，由此，能够生成图像特征的破坏更少的输出图像。
关于实施方式1，作为加权合成的另一例，说明了使用预先设定的噪声量阈值将权重Wi设定成0或1而求出加权平均的方法。在实施方式2中，也能够施加同样的变形。
即，也可以使用预先设定的相关性阈值将权重Wi设定成0或1，求出加权平均。例如也可以是，如果图像相关性为图像相关性阈值以上，则将权重Wi设为1，否则将权重Wi设为0，代替M而使用将权重Wi设为1的带图像的数量求出加权平均。
实施方式3
图8示出本发明的实施方式3的图像处理装置3c。
图示的图像处理装置3c与图1的图像处理装置3大致相同，但是，不具有图1的图像合成部31，代替图1的参数计算部32而具有参数计算部32c。
此外，针对图像处理装置3c，除了输入图1的带图像DIN以外，还输入白色图像DIW。
带图像DIN与图1的带图像相同。
白色图像DIW是具有包含全部的多个带图像DIN的频带在内的频带的图像，被用作参照图像。优选白色图像DIW的频带比将全部的多个带图像DIN的频带加起来而得到的频带宽。
参数计算部32c对白色图像DIW进行分析，针对白色图像DIW的各像素，计算局部方差值或边缘量作为图像特征量，根据图像特征量计算滤波参数D32c。
参数计算部32c中的处理的内容与图1的参数计算部32中的处理相同。不同之处在于，使用白色图像DIW作为参照图像来求出滤波参数。
滤波处理部33针对多个带图像DIN，使用滤波参数D32c保存边缘并进行平滑化，生成多个输出图像DOUT。
滤波处理部33中的处理的内容与图1的滤波处理部33中的处理相同。
在实施方式3的图像处理装置3c中，能够取得具有包含全部的多个带图像的频带在内的频带的白色图像，将其用作参照图像。因此，在要使用的光源的波段数少的情况下，在取得了包含未得到充分信号量的波段的带图像在内的多光谱图像时，也能够提高多光谱图像的SN比而不会失去边缘。
实施方式4
图9示出本发明的实施方式4的图像处理装置3d。
图示的图像处理装置3d与图8的图像处理装置3c大致相同，但是，具有带通滤波器组34。此外，针对图像处理装置3d，不输入多个带图像DIN而仅输入白色图像DIW。
带通滤波器组34将白色图像作为输入，具有使彼此不同的波段通过的多个带通滤波器，从带通滤波器组34输出波段彼此不同的多个带图像D34。
在上述实施方式1～3中，在通过波段不同的多个带光源依次照射原稿时进行摄像，由此，依次取得多个带图像DIN。与此相对，在实施方式4中，针对频带较宽的白色图像，使用使彼此不同的波段通过的多个带通滤波器生成多个带图像DIN。
滤波处理部33针对多个带图像D34，使用滤波参数D32c保存边缘并进行平滑化，生成多个输出图像DOUT。
在实施方式4中，也可得到与实施方式1～3相同的效果。
在上述实施方式1～4中，图像处理装置构成图像读取装置的一部分。但是，本发明的图像处理装置也可以用于图像读取以外的用途。例如，在从光学卫星或飞机拍摄地面等的情况下也可以利用。
实施方式1～4中说明的图像处理装置3、3b、3c、3d能够利用处理电路构成其一部分或全部。
例如，可以分别利用单独的处理电路实现图像处理装置的各部分的功能，也可以统一利用一个处理电路实现多个部分的功能。
处理电路可以由硬件构成，也可以由软件即被编程的计算机构成。
也可以利用硬件实现图像处理装置的各部分的功能中的一部分，利用软件实现另一部分。
图10与光源1和图像传感器2一起示出利用包含一个处理器的计算机9实现上述实施方式的各个图像处理装置3、3b、3c或3d的全部功能的情况下的结构的一例。
在图示的例子中，计算机9具有处理器91和存储器92。
在存储器92存储有用于实现图像处理装置的各部的功能的程序。
处理器91例如使用CPU(Central Processing Unit：中央处理单元)、GPU(Graphics Processing Unit：图形处理单元)、微处理器、微控制器或DSP(Digital SignalProcessor：数字信号处理器)等。
存储器92例如使用RAM(Random Access Memory：随机存取存储器)、ROM(ReadOnly Memory：只读存储器)、闪存、EPROM(Erasable Programmable Read Only Memory：可擦除可编程只读存储器)或EEPROM(Electrically Erasable Programmable Read OnlyMemory：电可擦除可编程只读存储器)等半导体存储器、磁盘、光盘或光磁盘等。
处理器91通过执行存储器92中存储的程序，实现图像处理装置的功能。
参照图11对利用图10所示的计算机实施实施方式1或2的图像处理装置中的处理的情况下的顺序进行说明。
在步骤ST11中，输入多个带图像DIN。
在步骤ST12中，对多个带图像DIN进行合成，生成参照图像MSr。该处理如针对图像合成部31或31b说明的那样来进行。
在步骤ST13中，对参照图像MSr进行分析，计算局部方差值或边缘量作为图像特征量，根据图像特征量计算滤波参数D32。该处理如针对参数计算部32说明的那样来进行。
在步骤ST14中，针对多个带图像DIN，使用滤波参数D32保存边缘并进行平滑化。该处理如针对滤波处理部33说明的那样来进行。
参照图12对利用图10所示的计算机实施实施方式3的图像处理装置中的处理的情况下的顺序进行说明。
在图12中，与图11相同的处理利用相同标号来表示。
在步骤ST11中，输入多个带图像DIN。
在步骤ST22中，输入白色图像DIW。
在步骤ST13c中，对白色图像DIW进行分析，计算局部方差值或边缘量作为图像特征量，根据图像特征量计算滤波参数D32c。该处理如针对参数计算部32c说明的那样来进行。
在步骤ST14中，针对多个带图像DIN，使用滤波参数D32c保存边缘并进行平滑化。该处理如针对滤波处理部33说明的那样来进行。
参照图13对利用图10所示的计算机实施实施方式4的图像处理装置中的处理的情况下的顺序进行说明。
在图13中，与图11或图12相同的处理利用相同标号来表示。
在步骤ST22中，输入白色图像DIW。
在步骤ST13c中，对白色图像DIW进行分析，计算局部方差值或边缘量作为图像特征量，根据图像特征量计算滤波参数D32c。该处理如针对参数计算部32c说明的那样来进行。
在步骤ST33中，针对白色图像DIW进行使彼此不同的波段通过的带通滤波，生成多个带图像D34。该处理如针对带通滤波器组34说明的那样来进行。
步骤ST33的处理能够与步骤ST13c的处理并行地进行。
在步骤ST14中，针对多个带图像D34，使用滤波参数D32c保存边缘并进行平滑化。该处理如针对滤波处理部33说明的那样来进行。
以上说明了本发明的图像处理装置，但是，由上述图像处理装置实施的图像处理方法也构成本发明的一部分。此外，使计算机执行上述图像处理装置或图像处理方法中的处理的程序和记录有该程序的计算机能读取的记录介质例如非暂时性记录介质也构成本发明的一部分。
说明了本发明的实施方式，但是，本发明不限于这些实施方式。
标号说明
1：光源；2：图像传感器；3、3b、3c、3d：图像处理装置；31：图像合成部；32、32c：参数计算部；33：滤波处理部；34：带通滤波器组；311：噪声量计算部；312、312b：加权合成部；313：相关性计算部。
Claims (13)
1.一种图像处理装置，其特征在于，所述图像处理装置具有：
图像合成部，其对构成多光谱图像的多个带图像进行合成而生成与所述多个带图像相同视野的参照图像；
参数计算部，其对所述参照图像进行分析，计算局部方差值或边缘量作为图像特征量，根据所述图像特征量计算滤波参数；以及
滤波处理部，其使用所述滤波参数对所述带图像进行边缘保存型平滑化处理。
2.根据权利要求1所述的图像处理装置，其特征在于，
在利用频带较窄的多个光源依次照射被摄体的期间内进行摄像，由此取得所述多个带图像。
3.根据权利要求2所述的图像处理装置，其特征在于，
所述多个光源包含可见光波段的光源、紫外光波段的光源和近红外光波段的光源。
4.根据权利要求1～3中的任意一项所述的图像处理装置，其特征在于，
所述图像合成部针对所述多个带图像分别计算噪声量，以使所述噪声量少的带图像的合成权重变大的方式进行所述合成，由此生成所述参照图像。
5.根据权利要求1～3中的任意一项所述的图像处理装置，其特征在于，
所述图像合成部针对所述多个带图像分别计算与目标波段的带图像之间的图像相关性，以使所述图像相关性大的带图像的合成权重变大的方式进行所述合成，由此生成所述参照图像。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述图像合成部针对所述多个带图像，分别根据与目标波段的带图像之间的波长之差计算所述图像相关性。
7.根据权利要求5所述的图像处理装置，其特征在于，
所述图像合成部针对所述多个带图像，分别计算与目标波段的带图像之间的相似度作为所述图像相关性。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述图像合成部按照每个像素计算所述图像相关性，根据计算出的图像相关性，按照每个像素确定所述合成权重，进行所述合成。
9.一种图像处理装置，其特征在于，所述图像处理装置具有：
参数计算部，其对与构成多光谱图像的多个带图像相同视野的参照图像进行分析，计算局部方差值或边缘量作为图像特征量，根据所述图像特征量计算滤波参数；以及
滤波处理部，其使用所述滤波参数对所述带图像进行边缘保存型平滑化处理，
所述参照图像是具有包含全部所述多个带图像的频带在内的频带的白色图像。
10.一种图像处理装置，其特征在于，所述图像处理装置具有：
参数计算部，其对与构成多光谱图像的多个带图像相同视野的参照图像进行分析，计算局部方差值或边缘量作为图像特征量，根据所述图像特征量计算滤波参数；以及
滤波处理部，其使用所述滤波参数对所述带图像进行边缘保存型平滑化处理，
将作为所述参照图像的、具有包含全部所述多个带图像的频带在内的频带的白色图像作为输入，使其通过波段彼此不同的多个带通滤波器，由此取得所述多个带图像。
11.一种图像读取装置，其特征在于，所述图像读取装置具有：
光源，其对原稿进行照射；
图像传感器，其对原稿进行摄像；以及
权利要求1～10中的任意一项所述的图像处理装置，其对通过所述图像传感器的摄像而得到的图像进行处理。
12.一种图像处理方法，其特征在于，
对构成多光谱图像的多个带图像进行合成而生成与所述多个带图像相同视野的参照图像，
对所述参照图像进行分析，计算局部方差值或边缘量作为图像特征量，根据所述图像特征量计算滤波参数，
使用所述滤波参数对所述带图像进行边缘保存型平滑化处理。
13.一种计算机能读取的记录介质，该记录介质记录有用于使计算机执行权利要求12所述的图像处理方法中的处理的程序。
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2019/019497 WO2020230319A1 (ja) | 2019-05-16 | 2019-05-16 | 画像処理装置及び方法、並びに画像読み取り装置、並びにプログラム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113812137A CN113812137A (zh) | 2021-12-17 |
| CN113812137B true CN113812137B (zh) | 2024-03-15 |
Family
ID=73289155
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201980096097.1A Active CN113812137B (zh) | 2019-05-16 | 2019-05-16 | 图像处理装置和方法、图像读取装置和记录介质 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20220222782A1 (zh) |
| JP (1) | JP7142772B2 (zh) |
| CN (1) | CN113812137B (zh) |
| DE (1) | DE112019007327T5 (zh) |
| WO (1) | WO2020230319A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2022063720A (ja) * | 2020-10-12 | 2022-04-22 | 日本電気株式会社 | 画像補正装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1857008A (zh) * | 2004-02-19 | 2006-11-01 | 三菱电机株式会社 | 图像处理方法 |
| CN101527852A (zh) * | 2008-03-03 | 2009-09-09 | 索尼株式会社 | 信号处理装置、方法和程序 |
| CN104052906A (zh) * | 2010-11-30 | 2014-09-17 | 佳能株式会社 | 图像处理装置及图像处理方法 |
| CN104411229A (zh) * | 2012-06-28 | 2015-03-11 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
| JPWO2015037189A1 (ja) * | 2013-09-12 | 2017-03-02 | 日本電気株式会社 | ノイズ除去装置、方法およびプログラム |
| JP2017199066A (ja) * | 2016-04-25 | 2017-11-02 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
| CN108109113A (zh) * | 2017-11-09 | 2018-06-01 | 齐鲁工业大学 | 基于双边滤波和中值滤波的单幅图像去雾方法和装置 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001008038A (ja) * | 1999-06-24 | 2001-01-12 | Fuji Photo Film Co Ltd | 画像処理方法および画像処理装置およびマルチバンドカラー写真システム |
| JP5538684B2 (ja) * | 2008-03-13 | 2014-07-02 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム、及び記憶媒体 |
| JP5315158B2 (ja) * | 2008-09-12 | 2013-10-16 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| RU2616653C2 (ru) * | 2012-06-05 | 2017-04-18 | Хайпермед Имэджинг, Инк. | Способы и устройство для соосного формирования изображения с множеством длин волн |
| JP5771677B2 (ja) * | 2013-12-24 | 2015-09-02 | オリンパス株式会社 | 画像処理装置、撮像装置、プログラム及び画像処理方法 |
| WO2017104291A1 (ja) * | 2015-12-18 | 2017-06-22 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
| WO2018198251A1 (ja) * | 2017-04-26 | 2018-11-01 | オリンパス株式会社 | 画像処理装置、画像処理装置の作動方法及び画像処理装置の作動プログラム |
| JP6857079B2 (ja) * | 2017-05-09 | 2021-04-14 | 株式会社キーエンス | 画像検査装置 |
| JP6897585B2 (ja) * | 2018-01-24 | 2021-06-30 | コニカミノルタ株式会社 | 放射線画像処理装置、散乱線補正方法及びプログラム |
| CN109447909A (zh) * | 2018-09-30 | 2019-03-08 | 安徽四创电子股份有限公司 | 基于视觉显著性的红外与可见光图像融合方法及系统 |
-
2019
- 2019-05-16 DE DE112019007327.3T patent/DE112019007327T5/de active Pending
- 2019-05-16 WO PCT/JP2019/019497 patent/WO2020230319A1/ja active Application Filing
- 2019-05-16 US US17/608,481 patent/US20220222782A1/en active Pending
- 2019-05-16 CN CN201980096097.1A patent/CN113812137B/zh active Active
- 2019-05-16 JP JP2021519229A patent/JP7142772B2/ja active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1857008A (zh) * | 2004-02-19 | 2006-11-01 | 三菱电机株式会社 | 图像处理方法 |
| CN101527852A (zh) * | 2008-03-03 | 2009-09-09 | 索尼株式会社 | 信号处理装置、方法和程序 |
| CN104052906A (zh) * | 2010-11-30 | 2014-09-17 | 佳能株式会社 | 图像处理装置及图像处理方法 |
| CN104411229A (zh) * | 2012-06-28 | 2015-03-11 | 奥林巴斯株式会社 | 图像处理装置、图像处理方法以及图像处理程序 |
| JPWO2015037189A1 (ja) * | 2013-09-12 | 2017-03-02 | 日本電気株式会社 | ノイズ除去装置、方法およびプログラム |
| JP2017199066A (ja) * | 2016-04-25 | 2017-11-02 | 三菱電機株式会社 | 画像処理装置及び画像処理方法 |
| CN108109113A (zh) * | 2017-11-09 | 2018-06-01 | 齐鲁工业大学 | 基于双边滤波和中值滤波的单幅图像去雾方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20220222782A1 (en) | 2022-07-14 |
| JP7142772B2 (ja) | 2022-09-27 |
| JPWO2020230319A1 (ja) | 2021-10-14 |
| DE112019007327T5 (de) | 2022-03-24 |
| CN113812137A (zh) | 2021-12-17 |
| WO2020230319A1 (ja) | 2020-11-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107358586B (zh) | 一种图像增强方法、装置及设备 | |
| US10699395B2 (en) | Image processing device, image processing method, and image capturing device | |
| US11164295B2 (en) | Methods and apparatus for enhancing optical images and parametric databases | |
| US9691141B2 (en) | Image correction device for accelerating image correction and method for same | |
| KR20080038690A (ko) | 영상의 화질 개선을 위한 방법 및 시스템 | |
| DE102015107872A1 (de) | Neu beleuchtbare Textur zur Verwendung beim Rendern eines Bildes | |
| Tian et al. | Global and local contrast adaptive enhancement for non-uniform illumination color images | |
| US8139891B2 (en) | System and method for structure enhancement and noise reduction in medical images | |
| CN107727231B (zh) | 一种对光谱成像仪条带噪声进行修正的方法 | |
| Priyanka et al. | Low-light image enhancement by principal component analysis | |
| JP6943251B2 (ja) | 画像処理装置、画像処理方法及びコンピュータ読み取り可能記録媒体 | |
| CN113812137B (zh) | 图像处理装置和方法、图像读取装置和记录介质 | |
| JP5203159B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| JP4742068B2 (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| JP7437921B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| US11074677B2 (en) | Dynamic range extension of partially clipped pixels in captured images | |
| Lavreniuk et al. | Use of modified BM3D filter and CNN classifier for SAR data to improve crop classification accuracy | |
| JP7365206B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| Rahman et al. | Impact of multi-scale retinex computation on performance of segmentation algorithms | |
| Erkanli et al. | Enhancement technique for uniformly and non-uniformly illuminated dark images | |
| Kawasaki et al. | A multiscale retinex with low computational cost | |
| Rao et al. | An Improved and Efficient Approach for Enhancing the Precision of Diagnostic CT Images | |
| US20230388667A1 (en) | Rgb-nir processing and calibration | |
| JP2005094452A (ja) | 画像処理方法、画像処理システムおよび画像処理プログラム | |
| Punithavathani | Simple fusion method using subband architecture in detail preserving |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |