CN1794783A - 图像处理装置、图像处理方法及摄像装置 - Google Patents

图像处理装置、图像处理方法及摄像装置 Download PDF

Info

Publication number
CN1794783A
CN1794783A CNA2005101319848A CN200510131984A CN1794783A CN 1794783 A CN1794783 A CN 1794783A CN A2005101319848 A CNA2005101319848 A CN A2005101319848A CN 200510131984 A CN200510131984 A CN 200510131984A CN 1794783 A CN1794783 A CN 1794783A
Authority
CN
China
Prior art keywords
image
mentioned
visible images
pass filter
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2005101319848A
Other languages
English (en)
Other versions
CN100442816C (zh
Inventor
保坂肇
笠井政范
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN1794783A publication Critical patent/CN1794783A/zh
Application granted granted Critical
Publication of CN100442816C publication Critical patent/CN100442816C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供图像处理装置、图像处理方法及摄像装置。不使用给图像带来影响的照明器材，降低根据自然光拍摄的图像的噪声。在摄像部(2)中拍摄可见光图像Visible和红外光图像Infr。拍摄这些图像时，不使用特别的照明器材，根据自然光拍摄。低通滤波器(33)去除可见光图像Visible的噪声，高通滤波器(34)抽出红外光图像Infr的边缘。来自低通滤波器(33)的输出图像Base的优点是图像的色泽正确，缺点是边缘和细节部分不清楚。来自高通滤波器(34)的输出图像Edge保存有红外光图像Infr的边缘和细节部分。由图像合成部(35)合成图像Base和图像Edge，可得到将这些图像的优点合起来的输出图像OUT。

Description

图像处理装置、图像处理方法及摄像装置
技术领域
本发明涉及一种保存图像边缘的同时去除噪声的图像处理装置、图像处理方法及摄像装置。
背景技术
在利用照相机拍摄图像的时候，图像的色泽在很大程度上依靠照明。例如，拍摄被蜡烛光照射的被摄体时，成为偏橙色色泽的图像，拍摄被月光照射的被摄体时，成为偏青色色泽的图像。即使是同样的地点，也根据拍摄时的照明，可拍摄成完全不同的图像。
在拍摄图像的时候，不使用闪光灯等特别的照明器材，利用自然的光(以下记为自然光)可以再现正确的色泽，但在室内或夜间拍摄时，产生曝光少、图像中包含噪声的问题。另一方面，使用闪光灯时曝光量增加，边缘和细节部分被清晰地拍摄，但是会产生以下问题：色泽变得不正确，或者产生实际上不存在的影子和高光区。
以往，为了解决这种问题，提出了如图12所示的图像处理装置11。图像处理装置11具备：两个低通滤波器12、13；一个高通滤波器14；两个图像合成部15、17；以及一个阴影抽出部16。
低通滤波器13是交叉双向滤波器(cross bilateral filter)，从使用了闪光灯的图像(以下记为闪光灯图像)检测出边缘，去除没有使用闪光灯的图像(以下记为自然光图像)的噪声。高通滤波器14抽出闪光灯图像的边缘。在边缘的抽出中进行用闪光灯图像除自然光图像的各像素值的处理。
图像合成部15对用低通滤波器13去除了噪声的自然光图像和用高通滤波器14抽出了边缘的闪光灯图像进行合成，生成合成图像Comp。在图像的合成中进行将低通滤波器13的像素值与高通滤波器14的输出图像的像素值相乘的处理。合成图像Comp具备闪光灯图像和自然光图像的优点，色泽正确噪声变少。
低通滤波器12去除自然光图像的噪声。作为低通滤波器12，使用双向滤波器。双向滤波器是利用一幅图像进行该图像的边缘检测和噪声去除的滤波器。
阴影抽出部16抽出闪光灯图像和自然光图像的两幅图像的区别，根据高光区和影子，评价图像变化的概率。图像合成部17根据阴影抽出部16的评价结果，进行来自低通滤波器12的输出图像和图像合成部15的合成图像Comp的加权加法。图像合成部17，根据是否有闪光灯，在产生影子和高光区可能性高的部分中使图像的权重变高，在可能性低的部分中使图像Comp的权重变高。图像合成部17从合成图像Comp去除不需要的影子和高光区，生成输出图像OUT。
这样，在现有的图像处理装置11中，生成对闪光灯图像的边缘进行了合成的图像、和不参照闪光灯图像的边缘而去除了噪声的图像的两幅图像，在由闪光灯产生影子和高光区的可能性高的像素中使低通滤波器12的输出图像的系数变高，在由闪光灯产生影子和高光区的可能性低的像素中使来自图像合成部15的合成图像Comp的系数变高，从而可以得到最佳地混和了闪光灯图像的边缘和自然光图像的色泽的图像(例如，非专利文献1)。
非专利文献1
Georg Petschnigg Et al，Digital Photography with Flashand No-Flash Image pairs，acm Transaction on Graphics，Vol.23，Number 3，pp.664-672，August 2004
发明内容
如上所述，使用闪光灯时，图像的边缘和细节部分变得清晰，但是会产生在自然光中不存在的影子和高光区。在图像处理装置11中，虽然想要去除影子和高光区，同时仅留下边缘和细节部分，但是区分它们并不容易，需要很大的运算成本。
另外，在图像处理装置11中，需要闪光灯图像和自然光图像的两幅图像。由于不能同时拍摄闪光灯图像和自然光图像，因此存在不能应用于动态图像和运动的被摄体的问题。另外，也有在禁止使用闪光灯的地点不能取得闪光灯图像的问题。
本发明是鉴于上述问题而完成的，目的在于提供一种不使用给图像带来影响的照明器材、降低根据自然的光拍摄的图像的噪声的图像处理装置、图像处理方法及摄像装置。
为了达到上述的目的，应用了本发明的图像处理装置具备：图像取得装置，取得可见光图像、和拍摄了与可见光图像相同的被摄体的不可见光图像；噪声降低装置，利用不可见光图像降低可见光图像的噪声。
应用了本发明的摄像装置具备：可见光图像摄像装置，根据主要对可见光有灵敏度的第一分光特性，拍摄可见光图像；不可见光图像摄像装置，根据主要对不可见光有灵敏度的第二分光特性，拍摄不可见光图像；像差校正装置，校正可见光图像和不可见光图像的像差；噪声降低装置，利用不可见光图像降低可见光图像的噪声。
应用了本发明的图像处理方法具有：图像取得步骤，取得可见光图像、和拍摄了与可见光图像相同的被摄体的不可见光图像；噪声降低步骤，利用不可见光图像降低可见光图像的噪声。
应用了本发明的程序，使计算机执行规定处理，具有：图像取得步骤，取得可见光图像、和与可见光图像对应且以与可见光图像相同的像素数拍摄的不可见光图像；噪声降低步骤，利用不可见光图像降低可见光图像的噪声。
应用了本发明的记录介质，记录了使计算机执行规定处理的程序，具有：图像取得步骤，取得可见光图像、和与可见光图像对应且以与可见光图像相同的像素数拍摄的不可见光图像；噪声降低步骤，利用不可见光图像降低可见光图像的噪声。
根据本发明，利用可见光图像降低不可见光图像的噪声，因此可以不使用给图像带来影响的照明器材，降低根据自然的光拍摄的图像的噪声。
附图说明
图1是表示摄像元件的结构的框图。
图2是表示图像处理部的结构的框图。
图3是表示低通滤波器的结构的框图。
图4是表示低通滤波器的动作的流程图。
图5是表示X方向的一级滤波器的动作的流程图。
图6是表示高通滤波器的结构的框图。
图7是表示图像处理部的第一变形例的框图。
图8是表示图像处理部的第二变形例的框图。
图9是表示像差校正部的结构的框图。
图10是表示像差校正部的动作的流程图。
图11是表示像差校正部中的比例值的算出处理的流程图。
图12是表示现有的图像处理装置的结构的框图。
符号说明
1：摄像装置；2：摄像部；21：摄像元件；22：镜头；23：马达；24：驱动器；3：图像处理部；32：像差校正部；31：增益调整部；33：低通滤波器；34：高通滤波器；35：图像合成部。
具体实施方式
下面参照附图说明应用了本发明的摄像装置。图1表示摄像装置1的结构。摄像装置1具备：摄像部2，拍摄可见光图像Visible和红外光图像Infr双方；图像处理部3，去除可见光图像Visible的噪声；存储器4，是图像和数据的存储区域；系统控制部8，向LCD(Liquid Crystal Display：液晶显示器)5输出图像，通过串行接口6和USB(Universal Serial Bus：通用串行总线)7等的接口与外部记录装置10进行数据收发；信号处理部9，对从摄像元件21输入的图像执行AGC(Automatic Gain Control：自动增益控制)以及CDS(Correlated Double Sampling：相关双采样)，输出到图像处理部3。
摄像部2输出可见光图像Visible和红外光图像Infr的RGB图像。例如，摄像部2具备构成CCD(Charge Coupled Device：电荷耦合设备)或CMOS(Complementary Metal-Oxide Semiconductor：互补金属氧化物半导体)的摄像元件21、进行镜头22的聚焦或快门的切换的马达23、控制马达23的驱动器24。
摄像元件21中有用于拍摄红外线图像Infr的摄像元件21、和用于拍摄可见光图像Visible的摄像元件21。拍摄红外光图像Infr的摄像元件21和拍摄可见光图像Visible的摄像元件21是相同像素数、相同视场角，在相同时刻只曝光相同时间。此外，摄像元件21既可以分别为可见光用和红外光用，也可以对一个摄像元件21的输出进行分光。
图像处理部3生成保存可见光图像Visible的边缘的同时去除了噪声的输出图像OUT。图2示出了图像处理部3的结构。图像处理部3由以下部分构成：增益调整部31，调整可见光图像Visible的增益；低通滤波器33，去除可见光图像Visible的噪声；高通滤波器34，抽出红外光图像Infr的边缘及细节部分；图像合成部35，对作为低通滤波器33的输出图像的基础图像Base和作为高通滤波器34的输出图像的细节图像Edge进行合成。
增益调整部31通过调整增益，增大由于曝光不足而拍摄得暗的可见光图像Visible的像素值，设成接近以适当曝光拍摄的图像的像素值。作为增益的调整方法具有使可见光图像的像素值为常数倍的方法、或基于指数函数的伽马校正、基于多项式函数等的任意的增益调整方法等。调整后的像素值的最大值被限制。
图3示出了低通滤波器33的结构。低通滤波器33具备：X边缘检测部41，检测出红外光图像Infr的X方向(宽度方向)的边缘；Y边缘检测部42，检测出红外光图像Infr的Y方向(高度方向)的边缘；X评价值存储部43，存储X方向的边缘评价值；Y评价值存储部44，存储Y方向的边缘评价值；三个X低通滤波器45a、45b、45c，去除X方向的边缘；三个Y低通滤波器46a、46b、46c，去除Y方向的边缘；三个X比较部47a、47b、47c，比较X边缘评价值和阈值；三个Y比较部48a、48b、48c，比较Y边缘评价值和阈值。
X低通滤波器是X方向的5×1接头(tap)的FIR低通滤波器。由X低通滤波器去除可见光图像的X方向的噪声。Y低通滤波器是Y方向的1×5分支的FIR低通滤波器。由Y低通滤波器去除可见光图像的Y方向的噪声。
X边缘检测部41是检测X方向的边缘的4×4的FIR滤波器，Y边缘检测部42是检测Y方向的边缘的4×4的FIR滤波器。X评价值存储部43对X边缘检测部41的滤波结果应用绝对值运算来算出边缘评价值，将该值作为X边缘图像进行存储。Y评价值存储部44对Y边缘检测部42的滤波结果应用绝对值运算来算出边缘评价值，将该值作为Y边缘图像进行存储。
X比较部47以及Y比较部48对边缘评价值和规定阈值进行比较。阈值n是边缘评价值的最大值的1/2。X比较部47a比较X方向的边缘评价值和阈值n，X比较部47b比较X方向的边缘评价值和阈值n/2，X比较部47c比较X方向的边缘评价值和阈值n/4。Y比较部48a比较Y方向的边缘评价值和阈值n，Y比较部48b是比较Y方向的边缘评价值和阈值n/2的比较部，Y比较部48c比较Y方向的边缘评价值和阈值n/4。
低通滤波器33由一级滤波器49a、二级滤波器49b、三级滤波器49c的三个阶段构成。低通滤波器33的级别取决于X比较部47以及Y比较部48中的阈值大小。将阈值为n的低通滤波器称为一级滤波器49a，将阈值为n/2的低通滤波器称为二级滤波器49b，将阈值为n/4的低通滤波器49c称为三级滤波器。
首先，可见光图像Visible被输出到X比较部47a。X比较部47a比较存储在X评价值存储部43中的X方向的边缘评价值和阈值n。X比较部47a在边缘评价值小于阈值n时，将可见光图像Visible输出到X低通滤波器45a，在边缘评价值大于等于阈值n时，将可见光图像Visible输出到Y比较部48a。比较部48b比较存储在Y评价值存储部44中的Y方向的边缘评价值和阈值n。比较部48b在边缘评价值小于阈值n时，将可见光图像Visible输出到Y低通滤波器46a，在边缘评价值大于等于阈值n时，将可见光图像Visible输出到下面的X比较部47b。
同样地，在X比较部47b、Y比较部48b、X比较部47c、Y比较部48c中比较边缘评价值和阈值，在小于阈值的时候将可见光图像Visible输出到后级的低通滤波器，在大于等于阈值的时候将可见光图像Visible输出到下一个比较部。
图4示出了低通滤波器33的动作。首先，低通滤波器33输入红外光图像Infr(步骤S1)。X边缘检测部41检测存在于红外光图像Infr的X方向的边缘。X评价值存储部43对X方向的边缘应用规定的绝对值运算来算出X方向的边缘评价值，将算出的边缘评价值作为X边缘图像进行存储(步骤S2)。Y边缘检测部42检测存在于红外光图像Infr中的Y方向的边缘。Y评价存储部44算出对Y方向的边缘应用了规定的绝对值运算的Y方向的边缘评价值，将算出的边缘评价值作为Y边缘图像进行存储(步骤S3)。
低通滤波器33在从增益调整部31输入可见光图像Visible时(步骤S4)，将输入的可见光图像Visible应用于一级滤波器49a，进行X方向的处理(步骤S5)。
图5示出了一级滤波器49a的X方向的处理。在一级滤波器49a的X方向的处理中，首先，将Y方向的坐标Y初始化为0(步骤S11)，将X方向的坐标X初始化为0(步骤S12)。X比较部47a从X评价值存储部43输入X评价值图像。X比较部47a比较X评价值图像的坐标(X，Y)中的X方向的边缘评价值和阈值n。坐标(X，Y)的边缘评价值小于阈值n的时候(步骤S13；“是”)，对坐标(X，Y)的可见光图像应用X低通滤波器45a(步骤S14)。另一方面，坐标(X，Y)的边缘评价值不小于阈值n的时候(步骤13；“否”)，移到步骤S15进行处理。在步骤S15中，使X坐标增加1(步骤S15)。比较X坐标的值和可见光图像Visible的宽度，如果坐标X小于可见光图像Visible的宽度(步骤S16；“是”)，就移到步骤S13进行处理。另一方面，如果坐标X不小于可见光图像Visible的宽度(步骤S16；“否”)，就使坐标Y增加1(步骤S17)。在步骤S18中，比较与Y坐标的值和可见光图像Visible的高度。如果Y坐标小于可见光图像Visible的高度(步骤S18；“是”)，就移到步骤S12进行处理。另一方面，如果Y坐标不小于可见光图像Visible的高度(步骤S18；“否”)，就结束一级滤波器的X方向的处理。一级滤波器对构成可见光图像的各像素的边缘评价值和阈值n进行比较，如果边缘评价值小于阈值n，就应用X低通滤波器45a去除X方向的噪声。
在一级滤波器中，在完成根据X方向的一级滤波器49a进行的处理时，进行根据Y方向的一级滤波器49a的处理。在此，进行与图5所示的X方向的一级滤波器49a大致相同的处理。在Y方向的一级滤波器49a中，作为边缘评价图像，使用Y边缘图像来代替X边缘图像；作为低通滤波器，使用Y低通滤波器46a来代替X低通滤波器45a(步骤S6)。
一级滤波器49a完成自身的处理时，将可见光图像Visible输出到二级滤波器49b中。二级滤波器49b首先进行X方向的处理(步骤S7)。完成X方向的处理时进行Y方向的处理(步骤S8)。三级滤波器49c输入二级滤波器49b的输出图像时，进行X方向的处理(步骤S9)，完成X方向的处理时进行Y方向的处理(步骤S10)。二级滤波器和三级滤波器除了阈值不同之外，进行相同的处理。
在低通滤波器33中，越是边缘评价值低的像素，被滤波的次数越多，越是边缘评价值高的像素，被滤波的次数越少。即，边缘评价值高的像素被滤波的次数少，因此边缘被保存；边缘评价值低的像素被滤波的次数多，因此噪声被去除。将具有这样的功能的滤波器称为边缘保存滤波器。边缘保存滤波器的种类，除了图3所示的滤波器之外还有双向滤波器和交叉双向滤波器等。作为低通滤波器33，也可以使用这些滤波器。
低通滤波器33输出去除了可见光图像Visible的噪声的图像。将该图像称为基础图像Base。基础图像Base的优点是图像的色泽正确，缺点是带给边缘和细节部分不清楚而模糊的印象。
高通滤波器34抽出红外光图像Infr的边缘部分。图6示出了高通滤波器34的一个例子。图6的高通滤波器34是二维FIR滤波器。高通滤波器34由低通滤波器71和除法部72构成。低通滤波器71例如是边缘保存型低通滤波器。低通滤波器71去除可见光图像Visible的噪声，将该图像输出到除法部72。除法部72从红外光图像Infr除低通滤波器71的输出，抽出红外光图像Infr的高通分量。从高通滤波器34输出的图像中，保存有红外光图像Infr的边缘和细节部分。将该图像称为细节图像Edge。
图像合成部35生成将基础图像Base和细节图像Edge相乘的合成图像。该图像是图像处理部3的输出图像OUT。输出图像OUT是将基础图像Base和细节图像Edge的两个图像的优点合起来的图像，具有色泽正确、细节部分清楚的特征。
如上所述，在应用了本发明的摄像装置1中，合成去除了可见光图像Visible的噪声的基础图像Base、和抽出了红外光图像Infr的边缘和细节部分的细节图像Edge，从而，可去除可见光图像Visible的噪声，同时得到包含由噪声去除而衰减的边缘部分和细节部分的输出图像OUT。
另外，红外光图像Infr可以与可见光图像Visible同时拍摄，因此，能够不发生摄像时刻的偏离，而进行动态图像和运动的被摄体的处理。
在现有的图像处理装置中，用闪光灯图像抽出了边缘，因此，用于去除由照明条件的不同而产生的影子和高光区的运算成本增大，但是红外光图像Infr可以在与可见光图像Visible相同的照明条件下进行拍摄，因此，也可以不校正照明条件的不同。
并且，在现有的图像处理装置中，存在如下问题：在将细节部分和边缘误判为影子和高光区的时候，抛弃细节部分的像素。红外光图像Infr可以在与可见光图像Visible相同的照明条件下进行拍摄，因此，不会产生由照明条件不同而引起的影子和高光区，也没有抛弃所需要的像素的担心。
接着参照图7说明图像处理部3的第一变形例。该图像处理部50利用可见光图像Visible的亮度进行边缘检测。亮度由于变量为一个，因此与从RGB的三个变量进行边缘检测相比，运算成本降低。人类通常对于亮度的敏感度高，对于颜色分量的敏感度不高，因此，利用亮度的边缘检测也具有充分的效果。
图7示出了图像处理部50的结构。图像处理部50具备：增益调整部52、矩阵部53、颜色用低通滤波器54、亮度用低通滤波器55、高通滤波器56、图像合成部57、以及逆矩阵部58。
增益调整部52通过调整增益，增大因曝光不足而拍摄得暗的可见光图像的像素值，设成接近以适当曝光拍摄的图像的像素值。作为增益的调整方法，有使可见光图像的像素值为常数倍的方法、基于指数函数的伽马校正、基于多项式函数等的任意的增益调整方法等。调整后的像素值的最大值被限制。
矩阵部53对RGB图像进行矩阵变换，变换为颜色图像Cb、Cr、以及亮度图像Yd。颜色用低通滤波器54去除颜色图像Cb、Cr的噪声。作为颜色用低通滤波器54，例如使用双向滤波器。双向滤波器是从一幅图像进行边缘检测和噪声去除的滤波器。
亮度用低通滤波器55去除亮度图像Yd的噪声。作为亮度用低通滤波器55，例如使用交叉双向滤波器。交叉双向滤波器是保存从边缘检测用的图像检测出的边缘，同时去除滤波器对象图像的噪声的滤波器。在此，从红外光图像Infr检测出边缘，去除亮度图像Yd的噪声。将从亮度用低通滤波器55输出的图像称为基础图像Base。基础图像Base的优点是图像的亮度正确，缺点是带来边缘和细节部分不清楚而模糊的印象。
高通滤波器56抽出红外光图像Infr的边缘部分。从高通滤波器输出的图像中，保存有红外光图像Infr的边缘和细节部分。将该图像称为细节图像Edge。
图像合成部57生成将基础图像Base和细节图像Edge相乘的合成图像。该合成图像是将基础图像Base和细节图像Edge的优点合起来的图像，亮度正确、细节部分和边缘清楚。逆矩阵部58对合成图像进行逆矩阵变换，将亮度图像变换为RGB图像。该图像是图像处理部的输出图像OUT。
图像处理部50将RGB图像分离为颜色图像Cb、Cr、以及亮度图像Yd，仅对亮度图像Yd进行边缘检测。人类通常对于亮度的敏感度高，对于颜色分量的敏感度不高。不是对RGB的三个变量，而是仅对亮度进行滤波，从而可以降低运算成本。
接着，说明图像处理部3的第二变形例。该图像处理部30，如图8所示，具备校正红外光图像的像差的像差校正部32。像差校正部32以外的结构与图像处理部3相同。与图像处理部3相同的结构元素赋予相同的符号。省略这些结构元素的说明。
像差校正部32校正由红外光和可见光的波长差而产生的像差。图9示出了像差校正部32的结构。像差校正部32具备：矩阵部61、误差算出用双线性比例器62、像差校正用双线性比例器63、参数算出部64、以及误差算出部65。
矩阵部61生成输入的可见光图像Visible的亮度图像Yd。误差算出用双线性比例器62根据从参数算出部64输出的比例值以及失真值，生成5个比例变换图像以及失真变换图像。
误差算出部65将比例变换图像和红外光图像、以及失真变换图像和红外光图像进行比较，算出这些图像的误差值。该误差值是PSNR值(噪声混入量；Peak Signal To Noise Ratio)。参数算出部64参照由误差算出部65算出的PSNR值，最佳化比例值和失真值。像差校正用双线性比例器63利用由参数算出部64进行了最佳化的比例值和失真值，校正可见光图像Visible的像差。
图10示出了像差校正部32的动作。像差校正部32输入可见光图像Visible和红外光图像Infr。该可见光图像Visible是RGB图像(步骤S21)。矩阵部61将可见光图像Visible和矩阵相乘，生成亮度图像Yd(步骤S22)。参数算出部64对比例值的最大值、当前值、最小值、以及失真值的最大值、当前值、最小值进行初始化(步骤S23)。
参数算出部64从误差算出部65输入PSNR值，求出使PSNR值为最大的比例值(步骤S24)。
图11示出了比例值的算出步骤。参数算出部64准备比例值的最大值S1、最大值和当前值的中间值S2、当前值S3、最小值和当前值的中间值S4、最小值S5的5个参数。误差检测用双线性比例器62利用这5个各比例值进行亮度图像Yd的比例变换。由此，生成与5个参数对应的5幅亮度图像Yd1～Yd5(步骤S31)。
误差算出部65比较亮度图像Yd1～Yd5和红外光图像Infr，求出PSNR值。比较各亮度图像和红外光图像Yd1～Yd5时，算出5个PSNR值(步骤S32)。以最大值S1进行了比例变换的亮度图像Yd1和红外光图像Infr的PSNR值为最大时(步骤S33；“是”)，参数算出部64以最大值S1替换当前值S3，以从最大值S1的两倍的值减去最小值S5的值替换最大值S1(步骤S34)。
用最大值S1和当前值S3的中间值得到的PSNR值为最大时(步骤S35；“是”)，参数算出部64将最小值S5替换成当前值S3，以最大值S1和当前值S3的中间值替换当前值S3(步骤S36)。
用当前值S3得到的PSNR值为最大时(步骤S37；“是”)，参数算出部64以当前值S3替换最大值S1，以当前值S3和最小值S5的中间值替换当前值S3(步骤S38)。
用最小值S5和当前值S3的中间值得到的PSNR值为最大时(步骤S39；“是”)，参数算出部64以最小值S5替换当前值S3，以从最小值S5的两倍减去最大值S1的值替换最小值S5(步骤S40)。
用最小值S5得到的PSNR值为最大时(步骤S33、步骤S35、步骤S37、步骤S39；“否”)，参数算出部64以最小值S5替换当前值S3，以从最小值S5的两倍减去最大值S1的值替换最小值S5(步骤S41)。这样完成比例值的最佳化。
接着，参数算出部64进行失真值的最佳化。失真值的最佳化是与比例值的最佳化处理相同的处理。在失真值的最佳化中，参数从比例值变为失真值(步骤S25)。在完成了比例值和失真值的最佳化时，参数算出部64比较PSNR值的改进量与规定的阈值。PSNR值的改进量不高于规定的阈值的时候(步骤S26；“否”)，移到步骤S24进行处理，再次进行比例值以及失真值的最佳化。
另一方面，在PSNR值的改进量高于规定的阈值的时候(步骤S26；“是”)，参数算出部64将当前的比例值和失真值输出到像差校正用双线性比例器63中。像差校正用双线性比例器63利用当前的比例值和失真值进行可见光图像Visible的像差校正(步骤S27)，将校正后的图像输出到高通滤波器56(步骤S28)。
可通过设置像差校正部32，校正由可见光和红外光的波长的差而产生的像差的差异。由此，被拍摄为可见光图像Visible的像和被拍摄为红外光图像Infr的像变得一致。
通常，红外光的折射率高，稍微被放大。校正可见光图像Visible时，可以得到大的图像，但是变形也大。图像的大小和变形的大小是折衷的关系，因此，根据使哪一方优先，校正的图像不同。
图像处理部3中的滤波处理以及像差校正处理也可以根据控制程序执行。这样的控制程序被记录在摄像装置1的固件中。此外，控制程序也可以通过以外部记录装置9可读取的形式记录的记录介质而取得。作为记录控制程序的记录介质，考虑磁读取方式的记录介质(例如，磁带、软盘、磁卡)、光学读取方式的记录介质(例如，CD-ROM、MO、CD-R、DVD)、半导体存储器(存储卡、IC卡)等。另外控制程序也可以通过所谓的因特网等而取得。

Claims (15)

1.一种图像处理装置，其特征在于，具备：
图像取得装置，取得可见光图像和与上述可见光图像对应的不可见光图像；
噪声降低装置，利用上述不可见光图像降低上述可见光图像的噪声。
2.根据权利要求1所述的图像处理装置，其特征在于，
上述噪声降低装置具有：
第一滤波装置，对上述可见光图像应用低通滤波器；
第二滤波装置，对上述不可见光图像应用高通滤波器；
合成装置，合成上述低通滤波器以及上述高通滤波器的输出。
3.根据权利要求1所述的图像处理装置，其特征在于，
上述不可见光图像是红外光图像。
4.根据权利要求1所述的图像处理装置，其特征在于，
上述不可见光图像是紫外光图像。
5.根据权利要求1所述的图像处理装置，其特征在于，
上述低通滤波器是边缘保存低通滤波器。
6.根据权利要求5所述的图像处理装置，其特征在于，
上述边缘保存低通滤波器保存从上述不可见光图像检测出的边缘，同时去除上述可见光图像的噪声。
7.根据权利要求6所述的图像处理装置，其特征在于，
利用多个级别的低通滤波器进行上述可见光图像的噪声去除。
8.根据权利要求7所述的图像处理装置，其特征在于，
根据从上述不可见光图像检测出的边缘的评价值，决定使用上述多个级别中哪个低通滤波器进行上述可见光图像的噪声去除。
9.根据权利要求8所述的图像处理装置，其特征在于，
对于图像的X方向以及Y方向独立地决定上述低通滤波器的级别。
10.根据权利要求2所述的图像处理装置，其特征在于，
将上述可见光图像变换为颜色图像和亮度图像，同时对进行了变换的上述各颜色图像和亮度图像应用滤波器。
11.根据权利要求10所述的图像处理装置，其特征在于，
作为上述滤波器，对上述颜色图像使用双向滤波器，对上述亮度图像使用交叉双向滤波器。
12.根据权利要求1所述的图像处理装置，其特征在于，
具备像差校正装置，该像差校正装置校正上述可见光图像和上述不可见光图像的像差。
13.根据权利要求12所述的图像处理装置，其特征在于，
上述像差校正装置利用变换了上述可见光图像的亮度图像和上述不可见光图像的误差，进行像差校正。
14.一种摄像装置，其特征在于，具备：
可见光图像摄像装置，根据主要对可见光有灵敏度的第一分光特性，拍摄可见光图像；
不可见光图像摄像装置，根据主要对不可见光有灵敏度的第二分光特性，拍摄不可见光图像；
像差校正装置，校正上述可见光图像和不可见光图像的像差；
噪声降低装置，利用上述不可见光图像降低可见光图像的噪声。
15.一种图像处理方法，其特征在于，具有：
图像取得步骤，取得可见光图像、和与上述可见光图像对应且以与上述可见光图像相同的像素数拍摄的不可见光图像；
噪声降低步骤，利用上述不可见光图像降低上述可见光图像的噪声。
CNB2005101319848A 2004-12-22 2005-12-22 图像处理装置、图像处理方法及摄像装置 Expired - Fee Related CN100442816C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004371985 2004-12-22
JP2004371985A JP4534756B2 (ja) 2004-12-22 2004-12-22 画像処理装置、画像処理方法、撮像装置、プログラム、及び記録媒体

Publications (2)

Publication Number Publication Date
CN1794783A true CN1794783A (zh) 2006-06-28
CN100442816C CN100442816C (zh) 2008-12-10

Family

ID=36071991

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2005101319848A Expired - Fee Related CN100442816C (zh) 2004-12-22 2005-12-22 图像处理装置、图像处理方法及摄像装置

Country Status (5)

Country Link
US (1) US7589771B2 (zh)
EP (1) EP1675384A3 (zh)
JP (1) JP4534756B2 (zh)
KR (1) KR101220002B1 (zh)
CN (1) CN100442816C (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102124744A (zh) * 2009-06-30 2011-07-13 索尼公司 图像处理装置、图像处理方法、成像设备及计算机程序
CN102246505A (zh) * 2008-12-10 2011-11-16 佳能株式会社 图像处理设备和图像处理方法以及数据处理设备和数据处理方法
CN102244789A (zh) * 2010-05-12 2011-11-16 索尼公司 成像设备
CN101547308B (zh) * 2008-03-25 2012-05-30 索尼株式会社 图像处理装置和图像处理方法
CN101902558B (zh) * 2009-06-01 2012-06-13 联咏科技股份有限公司 图像处理电路及其图像处理方法
CN102749601A (zh) * 2011-04-22 2012-10-24 株式会社东芝 图像处理装置、图像处理方法、以及磁共振成像装置
CN102949172A (zh) * 2011-08-16 2013-03-06 富士胶片株式会社 图像显示方法及设备
WO2013091447A1 (zh) * 2011-12-19 2013-06-27 山东新北洋信息技术股份有限公司 图像处理方法及装置
CN103220534A (zh) * 2012-01-20 2013-07-24 宏达国际电子股份有限公司 图像撷取装置与方法
WO2014106470A1 (zh) * 2013-01-07 2014-07-10 华为终端有限公司 图像处理方法、装置和拍摄终端
CN104125442A (zh) * 2013-04-26 2014-10-29 索尼公司 图像处理方法、装置以及电子设备
CN104427245A (zh) * 2013-08-20 2015-03-18 三星泰科威株式会社 图像融合系统和方法
CN105243727A (zh) * 2014-07-03 2016-01-13 精工爱普生株式会社 图像处理设备、图像处理方法以及程序
CN105916430A (zh) * 2014-11-25 2016-08-31 索尼公司 内窥镜系统、内窥镜系统的操作方法及程序
CN106534704A (zh) * 2016-12-28 2017-03-22 上海与德信息技术有限公司 一种基于红外技术的终端设备的拍摄方法及装置
CN108353128A (zh) * 2015-10-27 2018-07-31 富士胶片株式会社 摄像系统以及对象检测装置及其工作方法
CN108429887A (zh) * 2017-02-13 2018-08-21 中兴通讯股份有限公司 一种图像处理方法和装置
CN111292252A (zh) * 2018-12-06 2020-06-16 三星电子株式会社 图像信号处理器、其操作方法和电子设备
TWI698010B (zh) * 2018-08-09 2020-07-01 大陸商廈門星宸科技有限公司 用以控制影像擷取裝置的電路及相關的控制方法
CN111464800A (zh) * 2019-01-21 2020-07-28 佳能株式会社 图像处理装置、系统、方法和计算机可读存储介质
CN111698434A (zh) * 2019-03-11 2020-09-22 佳能株式会社 图像处理设备及其控制方法和计算机可读存储介质

Families Citing this family (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7457477B2 (en) * 2004-07-06 2008-11-25 Microsoft Corporation Digital photography with flash/no flash extension
US8531562B2 (en) 2004-12-03 2013-09-10 Fluke Corporation Visible light and IR combined image camera with a laser pointer
US8385671B1 (en) * 2006-02-24 2013-02-26 Texas Instruments Incorporated Digital camera and method
US7767967B2 (en) * 2006-11-01 2010-08-03 Sony Corporation Capturing motion using quantum nanodot sensors
SE531942C2 (sv) * 2007-02-01 2009-09-15 Flir Systems Ab Metod för bildbehandling av IR-bilder innefattande kontrastförhöjande filtrering
JP2008233381A (ja) * 2007-03-19 2008-10-02 Fujifilm Corp 撮像装置
JP4316629B2 (ja) * 2007-03-29 2009-08-19 株式会社東芝 画像処理システム、画像取得方法及びプログラム
JP4757221B2 (ja) 2007-03-30 2011-08-24 富士フイルム株式会社 撮像装置及び方法
JP2008271024A (ja) * 2007-04-18 2008-11-06 Fujifilm Corp 画像処理装置および方法並びにプログラム
JP4341695B2 (ja) 2007-05-17 2009-10-07 ソニー株式会社 画像入力処理装置、撮像信号処理回路、および、撮像信号のノイズ低減方法
JP2008306512A (ja) * 2007-06-08 2008-12-18 Nec Corp 情報提供システム
JP5144202B2 (ja) 2007-10-05 2013-02-13 オリンパス株式会社 画像処理装置およびプログラム
KR100928292B1 (ko) * 2008-01-18 2009-11-25 동국대학교 산학협력단 합성 영상 생성 장치 및 그 방법
DE102008009263B3 (de) * 2008-02-15 2009-06-10 Siemens Aktiengesellschaft Verfahren zum automatischen Erkennen, insbesondere bei der Verkehrsüberwachung, von Fahrzeugen oder von Fahrzeugkennzeichen
JP5175783B2 (ja) * 2008-04-09 2013-04-03 富士フイルム株式会社 撮像装置及び撮像装置の駆動方法
KR101574730B1 (ko) 2008-11-17 2015-12-07 삼성전자 주식회사 영상 처리 장치 및 방법
US9354490B2 (en) 2009-01-09 2016-05-31 New York University Method, computer-accessible, medium and systems for facilitating dark flash photography
JP5486017B2 (ja) * 2009-01-16 2014-05-07 アイピーリンク・リミテッド イメージングシステムの被写界深度の改善
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9948872B2 (en) 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
USD765081S1 (en) 2012-05-25 2016-08-30 Flir Systems, Inc. Mobile communications device attachment with camera
US9517679B2 (en) 2009-03-02 2016-12-13 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9635285B2 (en) * 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9986175B2 (en) 2009-03-02 2018-05-29 Flir Systems, Inc. Device attachment with infrared imaging sensor
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9473681B2 (en) 2011-06-10 2016-10-18 Flir Systems, Inc. Infrared camera system housing with metalized surface
US9998697B2 (en) 2009-03-02 2018-06-12 Flir Systems, Inc. Systems and methods for monitoring vehicle occupants
US9171361B2 (en) * 2010-04-23 2015-10-27 Flir Systems Ab Infrared resolution and contrast enhancement with fusion
US10757308B2 (en) 2009-03-02 2020-08-25 Flir Systems, Inc. Techniques for device attachment with dual band imaging sensor
US9674458B2 (en) 2009-06-03 2017-06-06 Flir Systems, Inc. Smart surveillance camera systems and methods
US8174611B2 (en) * 2009-03-26 2012-05-08 Texas Instruments Incorporated Digital image segmentation using flash
DE102009021721A1 (de) * 2009-05-18 2010-11-25 Osram Opto Semiconductors Gmbh Optisches Aufzeichnungsgerät zur Aufzeichnung eines Bildes
US9716843B2 (en) * 2009-06-03 2017-07-25 Flir Systems, Inc. Measurement device for electrical installations and related methods
US9292909B2 (en) 2009-06-03 2016-03-22 Flir Systems, Inc. Selective image correction for infrared imaging devices
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US9819880B2 (en) 2009-06-03 2017-11-14 Flir Systems, Inc. Systems and methods of suppressing sky regions in images
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9756262B2 (en) 2009-06-03 2017-09-05 Flir Systems, Inc. Systems and methods for monitoring power systems
WO2011024370A1 (ja) 2009-08-24 2011-03-03 日本電気株式会社 画像ダイナミックレンジ圧縮システム、方法及びプログラム
EP2309449B1 (en) * 2009-10-09 2016-04-20 EPFL Ecole Polytechnique Fédérale de Lausanne Method to produce a full-color smoothed image
KR101618298B1 (ko) * 2009-10-23 2016-05-09 삼성전자주식회사 고감도 영상 생성 장치 및 방법
US8339508B2 (en) * 2010-02-22 2012-12-25 Csr Technology Inc. Method and apparatus for low-light imaging enhancement
US9848134B2 (en) 2010-04-23 2017-12-19 Flir Systems, Inc. Infrared imager with integrated metal layers
US9207708B2 (en) 2010-04-23 2015-12-08 Flir Systems, Inc. Abnormal clock rate detection in imaging sensor arrays
US9706138B2 (en) 2010-04-23 2017-07-11 Flir Systems, Inc. Hybrid infrared sensor array having heterogeneous infrared sensors
JP5141733B2 (ja) * 2010-08-18 2013-02-13 カシオ計算機株式会社 撮像装置、撮像方法、及びプログラム
US8570433B1 (en) 2010-08-25 2013-10-29 CSR Technology, Inc. Coloration artifact reduction
KR101101441B1 (ko) * 2010-09-07 2012-01-02 삼성전기주식회사 노이즈 저감장치 및 방법
KR101248808B1 (ko) * 2011-06-03 2013-04-01 주식회사 동부하이텍 경계 영역의 잡음 제거 장치 및 방법
US10389953B2 (en) 2011-06-10 2019-08-20 Flir Systems, Inc. Infrared imaging device having a shutter
US10169666B2 (en) 2011-06-10 2019-01-01 Flir Systems, Inc. Image-assisted remote control vehicle systems and methods
US9706137B2 (en) 2011-06-10 2017-07-11 Flir Systems, Inc. Electrical cabinet infrared monitor
EP2719167B1 (en) 2011-06-10 2018-08-08 Flir Systems, Inc. Low power and small form factor infrared imaging
US9509924B2 (en) 2011-06-10 2016-11-29 Flir Systems, Inc. Wearable apparatus with integrated infrared imaging module
CN103875235B (zh) 2011-06-10 2018-10-12 菲力尔系统公司 用于红外成像装置的非均匀性校正技术
US10079982B2 (en) 2011-06-10 2018-09-18 Flir Systems, Inc. Determination of an absolute radiometric value using blocked infrared sensors
US9961277B2 (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Infrared focal plane array heat spreaders
EP2719166B1 (en) 2011-06-10 2018-03-28 Flir Systems, Inc. Line based image processing and flexible memory system
US9900526B2 (en) 2011-06-10 2018-02-20 Flir Systems, Inc. Techniques to compensate for calibration drifts in infrared imaging devices
US10841508B2 (en) 2011-06-10 2020-11-17 Flir Systems, Inc. Electrical cabinet infrared monitor systems and methods
US9058653B1 (en) 2011-06-10 2015-06-16 Flir Systems, Inc. Alignment of visible light sources based on thermal images
US9235023B2 (en) 2011-06-10 2016-01-12 Flir Systems, Inc. Variable lens sleeve spacer
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
KR20130008304A (ko) * 2011-07-12 2013-01-22 삼성전자주식회사 색 왜곡 보정 방법 및 장치
US9811884B2 (en) 2012-07-16 2017-11-07 Flir Systems, Inc. Methods and systems for suppressing atmospheric turbulence in images
JP2014110592A (ja) * 2012-12-04 2014-06-12 Toshiba Corp 画像処理装置
US9973692B2 (en) 2013-10-03 2018-05-15 Flir Systems, Inc. Situational awareness by compressed display of panoramic views
US11297264B2 (en) 2014-01-05 2022-04-05 Teledyne Fur, Llc Device attachment with dual band imaging sensor
US9990730B2 (en) 2014-03-21 2018-06-05 Fluke Corporation Visible light image with edge marking for enhancing IR imagery
CN104079908B (zh) * 2014-07-11 2015-12-02 上海富瀚微电子股份有限公司 红外与可见光图像信号处理方法及其实现装置
US20160255323A1 (en) 2015-02-26 2016-09-01 Dual Aperture International Co. Ltd. Multi-Aperture Depth Map Using Blur Kernels and Down-Sampling
CN107534734B (zh) 2015-04-27 2020-03-10 菲力尔系统公司 具有热成像能力的湿度测量装置及相关方法
JP6614824B2 (ja) * 2015-06-26 2019-12-04 キヤノン株式会社 画像処理装置、画像処理システム、撮像装置、画像処理方法およびプログラム
US10152811B2 (en) 2015-08-27 2018-12-11 Fluke Corporation Edge enhancement for thermal-visible combined images and cameras
CN105303529A (zh) * 2015-09-23 2016-02-03 成都融创智谷科技有限公司 一种基于直方图均衡化的数字图像去雾方法
US10070111B2 (en) * 2015-12-22 2018-09-04 Adobe Systems Incorporated Local white balance under mixed illumination using flash photography
JP2017157902A (ja) * 2016-02-29 2017-09-07 ソニー株式会社 信号処理装置、撮像装置および信号処理方法
KR101770977B1 (ko) 2016-03-25 2017-08-24 연세대학교 산학협력단 고해상도 컬러 영상 생성 장치 및 방법
CN111028188B (zh) * 2016-09-19 2023-05-02 杭州海康威视数字技术股份有限公司 分光融合的图像采集设备
CN107918929B (zh) * 2016-10-08 2019-06-21 杭州海康威视数字技术股份有限公司 一种图像融合方法、装置及系统
JP6351903B1 (ja) * 2016-10-14 2018-07-04 三菱電機株式会社 画像処理装置、画像処理方法、及び撮影装置
WO2018220780A1 (ja) * 2017-06-01 2018-12-06 日本電気株式会社 画像生成装置、画像生成方法およびプログラムを記憶する記憶媒体
JP7155737B2 (ja) * 2018-08-10 2022-10-19 株式会社リコー 画像処理装置、画像処理システム、プログラムおよび画像処理方法
JP7308030B2 (ja) * 2018-12-28 2023-07-13 株式会社プリマジェスト 画像処理装置
CN115486056A (zh) * 2020-05-08 2022-12-16 索尼半导体解决方案公司 电子设备和成像装置
KR102257752B1 (ko) * 2020-05-14 2021-05-31 인천대학교 산학협력단 인공지능 기반 적외선 이미지와 가시광선 이미지를 융합하는 영상 융합 장치 및 방법
WO2022023956A1 (en) 2020-07-31 2022-02-03 The Joan and Irwin Jacobs Technion-Cornell Institute System and method for on-phase microscopy
JPWO2023181558A1 (zh) * 2022-03-24 2023-09-28
JP7426438B2 (ja) * 2022-06-09 2024-02-01 維沃移動通信有限公司 画像処理方法、装置、電子機器および読み取り可能記憶媒体

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4249797A (en) * 1979-05-24 1981-02-10 Steve Sendecki Dual image viewer with mirror adjusting means
JPH01296785A (ja) * 1988-05-24 1989-11-30 Fujitsu Ltd 画像重畳装置
US4910593A (en) * 1989-04-14 1990-03-20 Entech Engineering, Inc. System for geological defect detection utilizing composite video-infrared thermography
JP3411978B2 (ja) * 1991-06-24 2003-06-03 キヤノン株式会社 画像信号処理装置
JP3592436B2 (ja) * 1996-05-02 2004-11-24 パイオニア株式会社 移動距離導出方法及び装置
EP0858208A1 (en) * 1997-02-07 1998-08-12 Eastman Kodak Company Method of producing digital images with improved performance characteristic
US6882364B1 (en) * 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
US6075590A (en) * 1998-03-02 2000-06-13 Applied Science Fiction, Inc. Reflection infrared surface defect correction
WO1999046729A1 (en) * 1998-03-13 1999-09-16 Applied Science Fiction, Inc. Image defect correction method
TW423252B (en) * 1998-07-30 2001-02-21 Intel Corp Infrared correction system
JP2000115465A (ja) * 1998-10-05 2000-04-21 Canon Inc 画像読取装置及び画像読取方法及び記憶媒体
JP2000199947A (ja) * 1998-10-29 2000-07-18 Konica Corp 画像形成方法及び画像読み取り装置
JP3545979B2 (ja) * 1999-11-30 2004-07-21 シャープ株式会社 輪郭補正装置
JP2002300403A (ja) * 2001-03-30 2002-10-11 Fuji Photo Film Co Ltd 画像処理装置
US7082218B2 (en) * 2001-07-27 2006-07-25 Hewlett-Packard Development Company, L.P. Color correction of images
EP1289267A3 (en) * 2001-08-28 2004-10-06 Fuji Photo Film Co., Ltd. Image reader and image reading method
JP2003284084A (ja) * 2002-03-20 2003-10-03 Sony Corp 画像処理装置および方法、並びに画像処理装置の製造方法
IL153967A (en) * 2003-01-15 2014-01-30 Elbit Systems Ltd Multifunctional camera for changing vision conditions
US7317484B2 (en) * 2003-02-26 2008-01-08 Digital Imaging Systems Gmbh CMOS APS readout scheme that combines reset drain current and the source follower output
US7218792B2 (en) * 2003-03-19 2007-05-15 Mitsubishi Electric Research Laboratories, Inc. Stylized imaging using variable controlled illumination
JP2004318425A (ja) * 2003-04-15 2004-11-11 Konica Minolta Photo Imaging Inc 画像処理方法、画像処理装置及びプログラム
US7409083B2 (en) * 2003-07-18 2008-08-05 Canon Kabushiki Kaisha Image processing method and apparatus
CN1273937C (zh) * 2003-11-27 2006-09-06 上海交通大学 红外与可见光图像融合方法
EP1812968B1 (en) * 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
US7684095B2 (en) * 2004-09-27 2010-03-23 Lexmark International, Inc. Scanning apparatus having an ultraviolet light source

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101547308B (zh) * 2008-03-25 2012-05-30 索尼株式会社 图像处理装置和图像处理方法
US8730371B2 (en) 2008-12-10 2014-05-20 Canon Kabushiki Kaisha Image processing apparatus and image processing method, and data processing apparatus and data processing method
CN102246505A (zh) * 2008-12-10 2011-11-16 佳能株式会社 图像处理设备和图像处理方法以及数据处理设备和数据处理方法
CN102246505B (zh) * 2008-12-10 2014-08-13 佳能株式会社 图像处理设备和图像处理方法以及数据处理设备和数据处理方法
CN101902558B (zh) * 2009-06-01 2012-06-13 联咏科技股份有限公司 图像处理电路及其图像处理方法
CN102124744A (zh) * 2009-06-30 2011-07-13 索尼公司 图像处理装置、图像处理方法、成像设备及计算机程序
CN102124744B (zh) * 2009-06-30 2014-04-02 索尼公司 图像处理装置、图像处理方法和成像设备
CN102244789A (zh) * 2010-05-12 2011-11-16 索尼公司 成像设备
CN102749601A (zh) * 2011-04-22 2012-10-24 株式会社东芝 图像处理装置、图像处理方法、以及磁共振成像装置
CN102749601B (zh) * 2011-04-22 2016-02-10 株式会社东芝 图像处理装置、图像处理方法、以及磁共振成像装置
CN102949172B (zh) * 2011-08-16 2016-02-10 富士胶片株式会社 图像显示方法及设备
CN102949172A (zh) * 2011-08-16 2013-03-06 富士胶片株式会社 图像显示方法及设备
WO2013091447A1 (zh) * 2011-12-19 2013-06-27 山东新北洋信息技术股份有限公司 图像处理方法及装置
CN103220534A (zh) * 2012-01-20 2013-07-24 宏达国际电子股份有限公司 图像撷取装置与方法
CN103220534B (zh) * 2012-01-20 2019-03-15 宏达国际电子股份有限公司 图像撷取装置与方法
US9143704B2 (en) 2012-01-20 2015-09-22 Htc Corporation Image capturing device and method thereof
US9406148B2 (en) 2013-01-07 2016-08-02 Huawei Device Co., Ltd. Image processing method and apparatus, and shooting terminal
WO2014106470A1 (zh) * 2013-01-07 2014-07-10 华为终端有限公司 图像处理方法、装置和拍摄终端
CN104125442A (zh) * 2013-04-26 2014-10-29 索尼公司 图像处理方法、装置以及电子设备
CN104427245A (zh) * 2013-08-20 2015-03-18 三星泰科威株式会社 图像融合系统和方法
CN104427245B (zh) * 2013-08-20 2019-04-19 韩华泰科株式会社 图像融合系统和方法
CN105243727B (zh) * 2014-07-03 2018-02-09 精工爱普生株式会社 图像处理设备、图像处理方法以及程序
CN105243727A (zh) * 2014-07-03 2016-01-13 精工爱普生株式会社 图像处理设备、图像处理方法以及程序
CN105916430A (zh) * 2014-11-25 2016-08-31 索尼公司 内窥镜系统、内窥镜系统的操作方法及程序
CN105916430B (zh) * 2014-11-25 2019-04-23 索尼公司 内窥镜系统以及内窥镜系统的操作方法
CN108353128A (zh) * 2015-10-27 2018-07-31 富士胶片株式会社 摄像系统以及对象检测装置及其工作方法
CN108353128B (zh) * 2015-10-27 2020-05-19 富士胶片株式会社 摄像系统以及对象检测装置及其工作方法
CN106534704A (zh) * 2016-12-28 2017-03-22 上海与德信息技术有限公司 一种基于红外技术的终端设备的拍摄方法及装置
CN108429887A (zh) * 2017-02-13 2018-08-21 中兴通讯股份有限公司 一种图像处理方法和装置
TWI698010B (zh) * 2018-08-09 2020-07-01 大陸商廈門星宸科技有限公司 用以控制影像擷取裝置的電路及相關的控制方法
CN111292252A (zh) * 2018-12-06 2020-06-16 三星电子株式会社 图像信号处理器、其操作方法和电子设备
CN111464800A (zh) * 2019-01-21 2020-07-28 佳能株式会社 图像处理装置、系统、方法和计算机可读存储介质
CN111464800B (zh) * 2019-01-21 2022-05-03 佳能株式会社 图像处理装置、系统、方法和计算机可读存储介质
US11361408B2 (en) 2019-01-21 2022-06-14 Canon Kabushiki Kaisha Image processing apparatus, system, image processing method, and non-transitory computer-readable storage medium
CN111698434A (zh) * 2019-03-11 2020-09-22 佳能株式会社 图像处理设备及其控制方法和计算机可读存储介质
CN111698434B (zh) * 2019-03-11 2022-05-03 佳能株式会社 图像处理设备及其控制方法和计算机可读存储介质
US11423524B2 (en) 2019-03-11 2022-08-23 Canon Kabushiki Kaisha Image processing apparatus, method for controlling image processing apparatus, and non- transitory computer-readable storage medium

Also Published As

Publication number Publication date
EP1675384A2 (en) 2006-06-28
CN100442816C (zh) 2008-12-10
US20060132642A1 (en) 2006-06-22
JP4534756B2 (ja) 2010-09-01
KR101220002B1 (ko) 2013-01-08
JP2006180269A (ja) 2006-07-06
EP1675384A3 (en) 2011-11-30
KR20060071893A (ko) 2006-06-27
US7589771B2 (en) 2009-09-15

Similar Documents

Publication Publication Date Title
CN1794783A (zh) 图像处理装置、图像处理方法及摄像装置
Liba et al. Handheld mobile photography in very low light.
CN103685968B (zh) 图像处理装置及图像处理方法
TWI396433B (zh) 產生高動態範圍的視訊之系統及處理方法
EP2058763B1 (en) Apparatus for digital image stabilization using object tracking and method thereof
EP2059028B1 (en) Apparatus and method for digital image stabilization using object tracking
CN103563350B (zh) 图像处理装置、图像处理方法以及数码相机
JP5396231B2 (ja) 撮像装置
KR101643613B1 (ko) 디지털 영상 처리 장치, 영상 처리 방법 및 이를 기록한 기록 매체
CN102034222B (zh) 图像处理装置及图像处理方法
CN110290289A (zh) 图像降噪方法、装置、电子设备以及存储介质
KR101566081B1 (ko) 화상 처리 장치, 화상 처리 방법 및 기억 매체
JP2005229198A (ja) 画像処理装置および方法、並びに、プログラム
CN101416219A (zh) 数字图像中的前景/背景分割
CN108024054A (zh) 图像处理方法、装置及设备
CN102244731A (zh) 电子机器
CN104935826A (zh) 用于处理视频序列的方法、相应的设备、计算机程序和非瞬时计算机可读介质
CN102300049A (zh) 图像信号处理装置
CN108154514A (zh) 图像处理方法、装置及设备
JP5826001B2 (ja) 画像処理装置、及びその制御方法
CN102469243A (zh) 能白平衡调整的摄像装置
US8988545B2 (en) Digital photographing apparatus and method of controlling the same
CN107194900A (zh) 图像处理方法、装置、计算机可读存储介质和移动终端
JP2010226694A (ja) 画像処理装置及び画像処理方法
US20170154437A1 (en) Image processing apparatus for performing smoothing on human face area

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20081210

Termination date: 20211222

CF01 Termination of patent right due to non-payment of annual fee