CN106852190B - 图像处理单元、拍摄装置及图像处理方法 - Google Patents

图像处理单元、拍摄装置及图像处理方法 Download PDF

Info

Publication number
CN106852190B
CN106852190B CN201480082798.7A CN201480082798A CN106852190B CN 106852190 B CN106852190 B CN 106852190B CN 201480082798 A CN201480082798 A CN 201480082798A CN 106852190 B CN106852190 B CN 106852190B
Authority
CN
China
Prior art keywords
wave band
image
picture content
referring
primary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480082798.7A
Other languages
English (en)
Other versions
CN106852190A (zh
Inventor
菊地直
纹野雄介
禧久大辅
田中正行
奥富正敏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Tokyo Institute of Technology NUC
Original Assignee
Olympus Corp
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp, Tokyo Institute of Technology NUC filed Critical Olympus Corp
Publication of CN106852190A publication Critical patent/CN106852190A/zh
Application granted granted Critical
Publication of CN106852190B publication Critical patent/CN106852190B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

图像处理单元具有图像获取部、相关判定部、参照图像生成部和插补图像生成部。图像获取部获取原图像。相关判定部判定一次参照波段的图像分量与除一次参照波段以外的各波段的图像分量的相关性是高相关及低相关中的哪一种。参照图像生成部基于相关判定结果转换一次参照波段的图像分量中的缺失像素的插补方法而进行插补，由此生成一次参照图像。插补图像生成部使用相关判定结果及一次参照图像，来进行一次参照波段的图像分量的至少一部分中的缺失像素的插补。

Description

图像处理单元、拍摄装置及图像处理方法
技术领域
本发明涉及使多波段图像的分辨率提高的图像处理单元、拍摄装置、图像处理程序及图像处理方法。
背景技术
在一般的数码照相机中，使用单板拍摄元件和滤色器阵列(CFA)。因此，通过使滤色器阵列(CFA)多波段化，能够提高色再现性。但是，由于伴随着波段数的增加，单一波段的样本密度降低，所以在去马赛克时可能产生伪色。
因此，提出了在构成多波段的原图像的多个波段的图像分量中，参照能够以高精度获取高频分量的波段的图像分量，生成其他波段的图像分量的插补图像(参照专利文献1)。
现有技术文献
专利文献
专利文献1：日本特开2012-239038号公报
发明内容
技术问题
但是，在专利文献1所记载的插补处理中，由于其他波段图像分量的插补图像是使用参照图像而生成的，该参照图像是对所参照的波段的图像分量的缺失像素进行插补而得到的图像，所以其他波段图像分量的分辨率、即图像的再现性由参照图像的分辨率决定，希望谋求进一步的改善。
因此，鉴于上述问题而完成的本发明，目的在于提供基于具有多波段的过滤器阵列的拍摄元件所生成的原图像，来生成使分辨率提高了的插补图像的图像处理单元、拍摄装置、图像处理程序及图像处理方法。
技术方案
为了解决上述众课题，根据本发明的图像处理单元具备：图像获取部，其获取拍摄元件拍摄到的原图像，所述拍摄元件具有多波段过滤器阵列，所述多波段过滤器阵列由包含本身为任意波段的一次参照波段的过滤器的4波段以上的过滤器按阵列状配置而成；相关判定部，其判定所述原图像的所述一次参照波段的图像分量与除所述一次参照波段以外的各波段的图像分量的相关性是高相关及低相关中的哪一种；参照图像生成部，其基于由所述相关判定部得到的相关判定结果来转换所述一次参照波段的图像分量中的缺失像素的插补方法而进行插补，由此生成一次参照图像；以及插补图像生成部，其使用所述相关判定结果及所述一次参照图像，进行除所述一次参照波段以外的各波段的图像分量的至少一部分中的缺失像素的插补。
此外，在该图像处理单元中，优选地，所述参照图像生成部使用被判定为所述高相关的至少一个波段的图像分量，进行所述一次参照波段的图像分量中的缺失像素的插补。
此外，在该图像处理单元中，优选地，在被判定为所述高相关的波段的图像分量具有像素值的像素位置，所述参照图像生成部使用与该波段的图像分量的相关性，计算所述一次参照波段的图像分量中的该像素位置的插补值。
此外，在该图像处理单元中，优选地，在被区分为所述低相关的波段的图像分量具有像素值的像素位置，所述参照图像生成部使用与被判定为所述高相关的至少一个波段的图像分量的相关性，来计算所述一次参照波段的图像分量中的该像素位置的插补值。
此外，在该图像处理单元中，优选地，在被判定为所述低相关的波段的图像分量具有像素值的像素位置，所述参照图像生成部使用与被判定为所述高相关的多个波段的图像分量各自的相关性，来计算所述一次参照波段的图像分量中的该像素位置的多个插补值，并计算该多个插补值的加权平均值作为所述一次参照波段的图像分量中的该像素位置的插补值。
此外，在该图像处理单元中，优选地，在被判定为所述低相关的波段的图像分量具有像素值的像素位置，所述参照图像生成部使用与被判定为所述高相关的单一波段的图像分量的相关性，来计算所述一次参照波段的图像分量中的该像素位置的插补值。
此外，在该图像处理单元中，优选地，在被判定为所述低相关的波段的图像分量具有像素值的像素位置，所述参照图像生成部通过插补处理来计算所述一次参照波段的图像分量中的该像素位置的插补值，所述插补处理使用了除该像素位置以外的构成一次参照波段的图像分量的像素值及根据与被判定为所述高相关的至少一个波段的图像分量的相关性所计算出的插补值中的至少一方。
此外，在该图像处理单元中，优选地，所述参照图像生成部按方向分别计算所述一次参照波段的图像分量的插补值。
此外，在该图像处理单元中，优选地，所述相关判定部基于预定的相关信息，判定所述相关性是高相关及低相关中的哪一种。
此外，在该图像处理单元中，优选地，所述相关信息基于任意的多个图像数据的分析及所述多波段过滤器阵列的光谱灵敏度特性的一方而预先确定。
此外，在该图像处理单元中，优选地，所述相关判定部基于所述原图像生成相关信息，并基于该相关信息判定所述相关性是高相关及低相关中的哪一种。
此外，在该图像处理单元中，优选地，所述相关信息是基于所述原图像而判定的拍摄场景。
此外，在该图像处理单元中，优选地，所述相关信息根据构成所述原图像的波段的图像分量间的像素值的总和、平均值、方差值、最大值及中间值之差、以及所述一次参照波段的图像分量的以构成所述一次参照波段以外的波段的图像分量的像素值为基础的插补值与构成所述一次参照波段的图像分量的像素值之差中的任一种而计算。
此外，在该图像处理单元中，优选地，所述相关判定部按将所述原图像划分为多个区域而成的每个部分区域生成所述相关信息，并按每个所述部分区域判定所述相关性是高相关及低相关中的哪一种。
此外，在该图像处理单元中，优选地，所述插补图像生成部使用所述一次参照图像，进行被判定为所述高相关的波段的图像分量中的缺失像素的插补。
此外，在该图像处理单元中，优选地，所述插补图像生成部使用插补图像作为二次参照图像，对被判定为所述高相关的多个波段的图像分量之中与其他波段的图像分量相比，与所述一次参照波段的图像分量的相关性更低且具有与该其他波段的图像分量的相关性的波段的图像分量中的缺失像素进行插补，所述插补图像是进行了所述其他波段的图像分量中的缺失像素的插补而得到的图像。
此外，在该图像处理单元中，优选地，所述插补图像生成部对被判定为所述低相关的波段的图像分量中的缺失像素，使用该波段的图像分量进行插补。
本发明的拍摄装置具备：拍摄元件，其具有多波段过滤器阵列，所述多波段过滤器阵列由包含本身为任意波段的一次参照波段的过滤器的4波段以上的过滤器按阵列状配置而成；相关判定部，其判定所述拍摄元件拍摄到的原图像的所述一次参照波段的图像分量与除所述一次参照波段以外的各波段的图像分量的相关性是高相关及低相关中的哪一种；参照图像生成部，其基于由所述相关判定部得到的相关判定结果来转换所述一次参照波段的图像分量中的缺失像素的插补方法而进行插补，由此生成一次参照图像；以及插补图像生成部，其使用所述相关判定结果及所述一次参照图像，进行除所述一次参照波段以外的各波段的图像分量的至少一部分中的缺失像素的插补。
虽然如上所述将本发明的解决方案说明为装置，但是可以理解，本发明也可实现为与这些装置相当的方法、程序、记录了程序的存储介质，并且这些方法、程序、记录了程序的存储介质也包含于本发明的范围。
例如，使本发明实现为程序的图像处理程序使计算机作为以下部件发挥作用：相关判定部，其判定具有多波段过滤器阵列的拍摄元件拍摄到的原图像的一次参照波段的图像分量与除所述一次参照波段以外的各波段的图像分量的相关性是高相关及低相关中的哪一种，所述多波段过滤器阵列由包含本身为任意波段的所述一次参照波段的过滤器的4波段以上的过滤器按阵列状配置而成；参照图像生成部，其基于由所述相关判定部得到的相关判定结果来转换所述一次参照波段的图像分量中的缺失像素的插补方法而进行插补，由此生成一次参照图像；以及插补图像生成部，其使用所述相关判定结果及所述一次参照图像，进行所述一次参照波段以外的各波段的图像分量的至少一部分中的缺失像素的插补。
使本发明实现为方法的图像处理方法包括：使拍摄元件拍摄原图像，所述拍摄元件具有多波段过滤器阵列，所述多波段过滤器阵列由包含本身为任意波段的一次参照波段的过滤器的4波段以上的过滤器按阵列状配置而成；判定所述原图像的所述一次参照波段的图像分量与除所述一次参照波段以外的各波段的图像分量的相关性是高相关及低相关中的哪一种；基于相关判定结果来转换所述一次参照波段的图像分量中的缺失像素的插补方法而进行插补，由此生成一次参照图像；以及使用所述相关判定结果及所述一次参照图像，进行除所述一次参照波段以外的各波段的图像分量的至少一部分中的缺失像素的插补。
发明效果
根据如上所述构成的本发明所涉及的图像处理单元、拍摄装置、图像处理程序及图像处理方法，可以基于具有多波段的过滤器阵列的拍摄元件所生成的原图像，来生成使分辨率提高了的插补图像。
附图说明
图1是表示本发明的第1实施方式涉及的图像处理单元的概略构成的功能框图。
图2是表示图1的拍摄元件所具有的过滤器阵列的过滤器重复单位中的过滤器配置的配置图。
图3是表示图1的拍摄元件所拍摄的原图像与第1波段的图像分量～第5波段的图像分量的关系的图。
图4是表示构成图1的拍摄元件的过滤器阵列的各过滤器的光谱透射率的曲线图。
图5是表示图1的参照图像生成部执行的基于第2波段的相关插补图像的生成过程的处理图。
图6是表示图1的参照图像生成部执行的、使用了基于第2波段～第5波段的相关插补图像的一次参照波段的图像分量的插补过程的处理图。
图7是说明图1的图像处理单元执行的图像插补处理的流程图。
图8是表示图1的参照图像生成部的变形例执行的基于第2波段的水平方向相关插补图像的生成过程的处理图。
图9是表示图1的参照图像生成部的变形例执行的基于第2波段的垂直方向相关插补图像的生成过程的处理图。
图10是表示图1的拍摄元件的第1变形例所具有的过滤器阵列的过滤器重复单位中的过滤器配置的配置图。
图11是表示图1的拍摄元件的第2变形例所具有的过滤器阵列的过滤器重复单位中的过滤器配置的配置图。
符号说明：
10拍摄装置，11拍摄部，12图像处理单元，13光学系统，14拍摄元件，15图像获取部，16相关判定部，17参照图像生成部，18插补图像生成部，C1～C5第1过滤器～第5过滤器，mp缺失像素，OI原图像，OI1～OI5第1波段的图像分量～第5波段的图像分量，p2～p5第2波段的图像分量～第5波段的图像分量具有像素值的像素位置，RI’将第2波段的掩码图像～第4波段的掩码图像重叠于一次参照波段的图像分量而得到的图像。
具体实施方式
以下，关于本发明的实施方式，参照附图进行说明。
图1是表示包含本发明的一实施方式涉及的图像处理单元的拍摄装置的概略构成的框图。
拍摄装置10是例如带数码照相机、数码摄像机、照相机的多功能终端，其构成为包含拍摄部11及图像处理单元12。
拍摄部11具有光学系统13及拍摄元件14。光学系统13至少具有一个透镜，进行被摄体像的成像。拍摄元件14例如是CCD区域传感器或CMOS区域传感器，其对光学系统13所形成的被摄体像进行拍摄而生成原图像。
拍摄元件14在受光面具有多波段过滤器阵列，该多波段过滤器阵列由4波段以上的过滤器配置为阵列状而成。例如，在本实施方式中，多波段过滤器阵列包含第1波段、第2波段、第3波段、第4波段及第5波段这5波段的过滤器。该4波段以上的过滤器中的任意波段被定为一次参照波段，该一次参照波段对应于在插补处理中使用的一次参照波段图像。被定为一次参照波段的波段是任意的，但是优选为最高密度的波段，在本实施方式中，第1波段被定为一次参照波段。应予说明，各过滤器例如是RGB等可见光过滤器、红外线过滤器及紫外线过滤器。
过滤器阵列例如具有图2所示那样的4行4列的过滤器重复单位，该过滤器重复单位在列方向及行方向重复配置。在过滤器重复单位中，配置与第1波段对应的8个第1过滤器C1、与第2波段对应的2个第2过滤器C2、与第3波段对应的2个第3过滤器C3、与第4波段对应的2个第4过滤器C4、以及与第5波段对应的2个第5过滤器C5。
第1过滤器C1在全部行全部列，每隔1像素重复配置。例如，以图2中的左上方为基准，在第1、3行第2、4列配置第1过滤器C1。此外，在第2、4行第1、3列配置第1过滤器C1。
此外，排列第1过滤器C1、第2过滤器C2及第3过滤器C3的行及列在列方向及行方向上每隔1像素重复配置。例如，在第1行第1列及第3行第3列配置第2过滤器C2，在第1行第3列及第3行第1列配置第3过滤器C3。
此外，排列第1过滤器C1、第4过滤器C4及第5过滤器C5的行及列在行方向及列方向每隔1像素重复配置。例如，在第2行第2列及第4行第4列配置第4过滤器C4，在第2行第4列及第4行第2列配置第5过滤器C5。
在具有这样的过滤器阵列的拍摄元件14中，生成与已透射的波段的光的受光量相应的像素信号。拍摄元件14按顺序输出全部像素的像素信号，将由全部像素构成的1帧的原图像作为原图像信号输出至图像处理单元12。从而，在原图像中各像素仅具有单一波段的像素值，如图3所示，原图像OI可以分解为第1波段的图像分量OI1、第2波段的图像分量OI2、第3波段的图像分量OI3、第4波段的图像分量OI4及第5波段的图像分量OI5。
图像处理单元12构成为包含图像获取部15、相关判定部16、参照图像生成部17及插补图像生成部18(参照图1)。
图像获取部15例如是输入端子，其从拍摄元件14获取原图像OI，将其传送至相关判定部16、参照图像生成部17及插补图像生成部18。
相关判定部16、参照图像生成部17及插补图像生成部18例如作为在CPU(中央处理装置)等任意的适合的处理器上执行的软件而构成、或作为按每个处理专门化而成的专用的处理器而构成，并发挥以下说明的功能。
相关判定部16计算原图像OI的一次参照波段的图像分量(第1波段的图像分量OI1)分别与除此以外的波段的图像分量即第2波段的图像分量OI2、第3波段的图像分量OI3、第4波段的图像分量OI4及第5波段的图像分量OI5的相关性。进而，相关判定部16判定将一次参照波段的图像分量(第1波段的图像分量OI1)与各波段的图像分量的相关性区分为高相关及低相关中的哪一种。
相关判定部16基于相关信息，判定一次参照波段的图像分量(第1波段的图像分量OI1)与各波段的图像分量的相关性是高相关还是低相关。在本实施方式中，相关信息是将一次参照波段的图像分量与其他各波段的图像分量的相关性预先区分为高相关及低相关中的某一种所得的对应表。将相关性区分为高相关及低相关的区分例如可基于波段间的相关性而设定，该波段间的相关性是根据任意的多个图像数据的分析而算出的。或者，如图4所示，将相关性区分为高相关及低相关的区分可基于一次参照波段与各波段的光谱灵敏度的重合程度而设定。在本实施方式中，定为：相对于一次参照波段的图像分量(第1波段的图像分量OI1)，将第2波段的图像分量OI2、第3波段的图像分量OI3及第4波段的图像分量OI4区分为高相关，将第5波段的图像分量OI5分类为低相关。
参照图像生成部17基于相关判定部16的相关性判定结果、即是高相关及低相关中的哪一种，来转换一次参照波段的图像分量(第1波段的图像分量OI1)中的缺失像素mp(参照图3)的插补方法而进行插补，生成一次参照图像。
在被判定为高相关的波段的图像分量、在本实施方式中是第2波段的图像分量OI2、第3波段的图像分量OI3及第4波段的图像分量OI4具有像素值的像素位置p2、p3、p4，参照图像生成部17使用各个波段的图像分量的像素值进行一次参照波段的图像分量(第1波段的图像分量OI1)中的缺失像素mp的插补。在被判定为低相关的波段的图像分量、在本实施方式中是第5波段的图像分量OI5具有像素值的像素位置p5，参照图像生成部17使用被判定为高相关的波段的图像分量进行插补。在以下，详细地说明针对被判定为高相关的波段的图像分量具有像素值的像素位置及被判定为低相关的波段的图像分量具有像素值的像素位置各自的插补方法。
以第2波段的图像分量OI2为例，使用图5说明针对被判定为高相关的波段的图像分量的像素位置的一次参照波段的图像分量(第1波段的图像分量OI1)的插补。参照图像生成部17生成在第2波段的图像分量OI2内例如通过双线性插补法及双三次插补法对第2波段的图像分量OI2内的缺失像素mp进行插补而成的插补图像，作为第2波段的单纯插补图像(参照上排的“波段内插补”)。
进而，参照图像生成部17使用一次参照波段的图像分量(第1波段的图像分量OI1)与第2波段的单纯插补图像的相关性，进行一次参照波段的图像分量(第1波段的图像分量OI1)的插补，生成为基于第2波段的相关一次插补图像(参照上排的“相关插补”)。作为使用了相关性的插补处理，例如使用引导滤波(guided filter)处理。关于引导滤波处理，以下详细进行说明。在引导滤波处理中，参照图像生成部17将一次参照波段的图像分量(第1波段的图像分量OI1)的、包含缺失像素mp在内的全部像素按顺序指定为关注像素。参照图像生成部17使用第2波段的单纯插补图像作为参照图像，对关注像素xp通过最小二乘法计算参数(axp，bxp)，使得(1)式的成本函数E(axp，bxp)最小化。
【数学式1】
在(1)式中，axp、bxp是应该计算的参数。ωxp是周边像素区域，xi是周边像素区域中包含的周边像素。pxi是一次参照波段的图像分量的像素值。Mxi是二进制掩码，在周围像素具有信号分量时Mxi为1，在周围像素不具有信号分量时Mxi为0。Ixi是与周围像素对应的参照图像生成用的插补图像、即第2波段的单纯插补图像的像素值。ε是预定的平滑化参数。
若算出针对全部像素的参数，则参照图像生成部17使用(2)式，基于第2波段的单纯插补图像的像素值，进行基于第2波段的相关一次插补图像的计算，即计算全部像素的像素值。
【数学式2】
在(2)式中，ωxi是周边像素区域，|ω|是关注像素及周围像素的像素数。(axp，bxp)是按各关注像素的每个像素位置通过(1)式计算出的参数。
进而，参照图像生成部17执行在基于第2波段的相关一次插补图像中，对一次参照波段的图像分量(第1波段的图像分量OI1)的缺失像素mp的像素位置的像素进行掩码的掩码处理，计算掩码图像(参照中排的“掩码处理”)。进而，参照图像生成部17通过将一次参照波段的图像分量的各像素值减去掩码图像的对应的各像素值从而生成残差图像(参照下排的“相减”)。进而，参照图像生成部17生成残差插补图像，该残差插补图像是在残差图像内，例如通过双线性插补法及双三次插补法对残差图像内的缺失像素mp进行插补而成(参照下排的“波段内插补”)。进而，参照图像生成部17通过将残差插补图像的各像素值与基于第2波段的相关一次插补图像的对应像素值相加，从而生成基于第2波段的相关插补图像(参照下排的“相加”)。
参照图像生成部17在第3波段及第4波段中也通过与第2波段同样的处理，生成基于第3波段的相关插补图像及基于第4波段的相关插补图像。进而，如图6所示，参照图像生成部17执行在基于第2波段的相关插补图像中，消除第2波段的图像分量OI2的缺失像素mp的像素位置的像素值的掩码处理，生成第2波段的掩码图像。同样，参照图像生成部17生成第3波段的掩码图像及第4波段的掩码图像。进而，参照图像生成部17通过在一次参照波段的图像分量(第1波段的图像分量OI1)中重叠第2波段的掩码图像、第3波段的掩码图像及第4波段的掩码图像，从而插补一次参照波段的图像分量的一部分缺失像素mp(参照符号“RI’”)。
接着，以第5波段的图像分量OI5为例，说明针对被判定为低相关的波段的图像分量具有像素值的像素位置的一次参照波段的图像分量(第1波段的图像分量OI1)的插补。参照图像生成部17在第5波段的图像分量OI5具有像素值的像素位置p5，使用与被判定为高相关的至少一个波段的图像分量的相关性，计算一次参照波段的图像分量(第1波段的图像分量OI1)中的该像素位置的插补值。
例如，参照图像生成部17使用第5波段的图像分量OI5具有像素值的像素位置p5的、前述的基于第2波段的相关插补图像、基于第3波段的相关插补图像及基于第4波段的相关插补图像中的像素值的至少任一个来计算插补值。例如，使用基于第2波段的相关插补图像、基于第3波段的相关插补图像及基于第4波段的相关插补图像中的像素值的简单平均值、加权平均值及所选择的任一个像素值，作为插补值。
应予说明，加权平均和/或像素值的选择例如基于与一次参照波段的图像分量(第1波段的图像分量OI1)的相关性的高低及到第5波段的图像分量OI5具有像素值的像素位置p5的远近而进行。例如，在与一次参照波段的图像分量(第1波段的图像分量OI1)相关性最高的波段为第3波段的图像分量OI3的情况下，可以增大基于第3波段的相关插补图像的像素值的权重或使用该像素值作为插补值。此外，由于在与第5波段的图像分量OI5具有像素值的像素位置p5最近的像素位置为具有像素值的第2波段的图像分量OI2、第3波段的图像分量OI3，所以也可以增大针对基于第2波段的相关插补图像及基于第3波段的相关插补图像的像素值的权重或使用两者的平均值作为插补值。
此外，例如，参照图像生成部17也可以通过如下的插补处理来计算第5波段的图像分量OI5具有像素值的像素位置p5处的插补值，即该插补处理使用了构成一次参照波段的图像分量(第1波段的图像分量OI1)的像素的像素值及通过与被判定为高相关的至少一个波段的图像分量的相关性所计算出的插补值中的至少一方。例如，参照图像生成部17也可以使用图像RI’中的缺失像素mp、即第5波段的图像分量OI5具有像素值的像素位置p5的像素的周围像素，例如使用双线性插补法及双三次插补法来计算插补值，该图像RI’是在一次参照波段的图像分量(第1波段的图像分量OI1)重叠第2波段的掩码图像、第3波段的掩码图像及第4波段的掩码图像而成的图像。
参照图像生成部17将通过上述的处理对一次参照波段的图像分量(第1波段的图像分量OI1)的缺失像素mp进行插补而生成的一次参照图像传送至插补图像生成部18。
插补图像生成部18使用相关判定部16所判定的相关判定结果和参照图像生成部17所生成的一次参照图像，进行一次参照波段以外的波段的图像分量的至少一部分波段的图像分量的缺失像素mp的像素插补。更详细地，插补图像生成部18使用一次参照图像，进行被判定为与一次参照波段的图像分量(第1波段的图像分量OI1)高相关的波段的图像分量、在本实施方式中是第2波段的图像分量OI2、第3波段的图像分量OI3及第4波段的图像分量OI4各自的缺失像素mp的像素插补。在参照中使用了一次参照图像的其他波段的像素分量的像素插补例如可以应用前述的引导滤波处理、联合双边处理等处理。
此外，插补图像生成部18对于被判定为与一次参照波段的图像分量(第1波段的图像分量OI1)低相关的波段的图像分量、在本实施方式中是第5波段的图像分量OI5的缺失像素mp的像素插补，在不使用一次参照图像的情况下通过使用了第5波段的图像分量OI5的、例如双线性插补法及双三次插补法来进行。
插补图像生成部18将一次参照图像及进行了缺失像素mp的插补的其他波段的图像分量的插补图像、即在各波段中在全部像素具有像素值的图像传送至对应于多波段的监视器及存储介质等。
接着，关于图像处理单元12所执行的图像插补处理，使用图7的流程图进行说明。图像插补处理在图像处理单元12从拍摄部11获取原图像OI时开始。
在步骤S100，图像处理单元12判定一次参照波段的图像分量与除此以外的波段的图像分量的相关性。图像处理单元12在相关性的判定中，也进行将相关性区分为高相关及低相关中的某一种。在判定相关性后，处理前进至步骤S101。
在步骤S101，图像处理单元12选择在步骤S100判定为高相关的波段的图像分量。在选择波段的图像分量后，处理前进至步骤S102。
在步骤S102，图像处理单元12使用在步骤S101选择出的波段的图像分量，对一次参照波段的图像分量的缺失像素mp进行插补而生成一次参照图像。若生成一次参照图像，则处理前进至步骤S103。
在步骤S103，图像处理单元12通过基于一次参照图像的相关性，对在步骤S100判定为高相关的波段的图像分量的缺失像素mp进行插补。在基于一次参照图像的像素插补后，处理前进至步骤S104。
在步骤S104，图像处理单元12对在步骤S100判定为低相关的波段的图像分量的缺失像素mp，通过使用了该波段的图像分量的周围像素的双线性插补法及双三次插补法等进行插补。在插补后，结束图像插补处理。
根据以上那样构成的本实施方式的图像处理单元，由于对具有多波段的过滤器阵列的拍摄元件14生成的原图像OI，基于与一次参照波段的图像分量的相关性的判定结果而使用其他波段的图像分量来生成一次参照图像，所以与仅根据一次参照波段的图像分量生成的情况相比，可以提高一次参照图像的分辨率。从而，可以提高使用了该一次参照图像的、对该其他波段的图像分量的缺失像素mp进行插补而得到的各波段的插补图像的分辨率。
此外，根据本实施方式的图像处理单元，由于相对于一次参照波段的图像分量被判定为低相关的波段的图像分量不使用一次参照图像而在该波段的图像分量内进行插补，所以可抑制在该波段的图像分量的插补图像中波纹的产生。
此外，根据本实施方式的图像处理单元，由于对残差图像进行插补而生成相关插补图像，所以与通过相关一次插补图像直接生成一次参照图像的构成相比，因高频分量少，所以可抑制暂时参照图像中的波纹的产生。
虽然基于各附图和/或实施例说明了本发明，但是应该注意，作为本领域技术人员容易基于本公开进行各种变形和/或修改。因而，应该注意的是，这些变形和/或修改包含于本发明的范围。
例如，在本实施方式中，相关信息是预先确定的，但是也可以是图像处理单元12根据所获取的原图像OI进行计算的构成。例如，也可以根据原图像信号的整体的辉度和/或每个波段的图像分量的像素值的比例等，图像处理单元12从肖像模式和/或风景模式等预先设定的多个拍摄场景中推定拍摄状况，并基于统计确定出的各拍摄场景中的波段的图像分量的相关性，来判定各波段的图像分量的与一次参照波段的图像分量的相关性。
此外，例如，也可以基于原图像OI中的一次参照波段的图像分量及其他波段的图像分量分别的像素值的总和、平均值、方差值、最大值、中间值的比较，判定相关性。一次参照波段的图像分量中的这些值与其他波段的图像分量中的这些值之差越小则相关性越高，例如通过与阈值进行比较，可以区分为高相关及低相关中的某一种。根据这样的构成，不需要任意的多个图像数据的预分析。
此外，例如也可以基于通过引导滤波处理进行了插补的一次参照波段的图像分量的插补值与构成一次参照波段的图像分量的像素值之差、即图5中的残差图像的像素值，来判定相关性，所述引导滤波处理使用了构成一次参照波段以外的波段的图像分量的像素值作为参照图像。该差越小则相关性越高，例如通过与阈值进行比较，可以区分为高相关及低相关中的某一种。根据这样的构成，不需要任意的多个图像数据的预分析。
此外，在本实施方式中，相关判定部16是在图像整体判定一次参照波段的图像分量与其他波段的图像分量的相关性的构成，但是也可以按对整体区域进行划分而得到的每个部分区域判定相关性。根据这样的构成，例如在通过多个光源对被摄体进行照明的拍摄状况下，可以适合地应对可能因光源的光谱特性而变化的、一次参照波段的图像分量与其他波段的图像分量之间的相关性。
此外，在本实施方式中，参照图像生成部17是对被判定为高相关的波段的图像分量的缺失像素mp全部进行插补(参照图5上排的“波段内插补”)而生成相关一次插补图像的构成，但是也可以对该波段的图像分量的缺失像素mp按方向分别进行插补而生成水平方向及垂直方向的相关插补图像(参照图8、图9)。对通过按方向分别的插补而生成的像素值进行加权平均，由此可以生成基于该波段的图像分量的相关插补图像。根据这样的按方向分别的插补，可以使插补的精度进一步提高，并进一步提高一次参照图像的分辨率。
此外，在本实施方式中，是在相对于一次参照波段的图像分量被判定为高相关的全部波段的图像分量的插补中使用一次参照图像的构成，但是也可以如以下说明那样，根据相关性使用二次参照图像而进行波段的图像分量的插补。例如，举例如下：在一次参照波段的图像分量(第1波段的图像分量OI1)与第2波段的图像分量OI2及第3波段的图像分量OI3高相关，且第2波段的图像分量OI2与第3波段的图像分量OI3高相关的情况下，对与一次参照波段的图像分量(第1波段的图像分量OI1)的相关性而言，第2波段的图像分量OI2这一方可能高。在这样的情况下，可列举使用一次参照图像进行第2波段的图像分量OI2的缺失像素mp的插补，使用插补后的第2波段的图像分量OI2作为二次参照图像而进行第3波段的图像分量OI3的缺失像素mp的插补。根据这样的构成，在各波段的图像分量中，可以得到分辨率更高的插补图像。
此外，在本实施方式中，一部分波段的图像分量相对于一次参照波段的图像分量被判定为低相关，但是即使全部波段的图像分量相对于一次参照波段的图像分量被判定为高相关当然也可以。在全部波段的图像分量被判定为高相关时，使用该全部波段的图像分量而生成一次参照图像。
此外，在本实施方式中，拍摄元件14具有5波段的过滤器阵列，但是也可以例如如图10、图11分别所示，具有9波段或10波段的过滤器阵列。
此外，在本实施方式中，图像处理单元12是内置于拍摄装置10内的构成，但是也可以具体化为例如在个人计算机等中作为软件而构成的图像处理装置。

Claims (21)

1.一种图像处理单元，其特征在于，具备：
图像获取部，其获取拍摄元件拍摄到的原图像，所述拍摄元件具有多波段过滤器阵列，所述多波段过滤器阵列由包含本身为任意波段的一次参照波段的过滤器的4波段以上的过滤器按阵列状配置而成；
相关判定部，其判定所述原图像中的所述一次参照波段的图像分量与除所述一次参照波段以外的各波段的图像分量的相关性是高相关及低相关中的哪一种；
参照图像生成部，其基于由所述相关判定部得到的相关判定结果来转换所述一次参照波段的图像分量中的缺失像素的插补方法而进行插补，由此生成一次参照图像；以及
插补图像生成部，其使用所述相关判定结果及所述一次参照图像，进行除所述一次参照波段以外的各波段的图像分量的至少一部分中的缺失像素的插补。
2.根据权利要求1所述的图像处理单元，其特征在于，
所述参照图像生成部使用被判定为所述高相关的至少一个波段的图像分量，进行所述一次参照波段的图像分量中的缺失像素的插补。
3.根据权利要求2所述的图像处理单元，其特征在于，
在被判定为所述高相关的波段的图像分量具有像素值的像素位置，所述参照图像生成部使用与该波段的图像分量的相关性，来计算所述一次参照波段的图像分量中的该像素位置的插补值。
4.根据权利要求1～3中的任意一项所述的图像处理单元，其特征在于，
在被区分为所述低相关的波段的图像分量具有像素值的像素位置，所述参照图像生成部使用与被判定为所述高相关的至少一个波段的图像分量的相关性，来计算所述一次参照波段的图像分量中的该像素位置的插补值。
5.根据权利要求4所述的图像处理单元，其特征在于，
在被判定为所述低相关的波段的图像分量具有像素值的像素位置，所述参照图像生成部使用与被判定为所述高相关的多个波段的图像分量各自的相关性，来计算所述一次参照波段的图像分量中的该像素位置的多个插补值，并计算该多个插补值的加权平均值作为所述一次参照波段的图像分量中的该像素位置的插补值。
6.根据权利要求4所述的图像处理单元，其特征在于，
在被判定为所述低相关的波段的图像分量具有像素值的像素位置，所述参照图像生成部使用与被判定为所述高相关的单一波段的图像分量的相关性，来计算所述一次参照波段的图像分量中的该像素位置的插补值。
7.根据权利要求4所述的图像处理单元，其特征在于，
在被判定为所述低相关的波段的图像分量具有像素值的像素位置，所述参照图像生成部通过插补处理来计算所述一次参照波段的图像分量中的该像素位置的插补值，所述插补处理使用了除该像素位置以外的构成一次参照波段的图像分量的像素值及根据与被判定为所述高相关的至少一个波段的图像分量的相关性所计算出的插补值中的至少一方。
8.根据权利要求1～3中的任意一项所述的图像处理单元，其特征在于，
所述参照图像生成部按方向分别计算所述一次参照波段的图像分量的插补值。
9.根据权利要求1～3中的任意一项所述的图像处理单元，其特征在于，
所述相关判定部基于预定的相关信息，判定所述相关性是高相关及低相关中的哪一种。
10.根据权利要求9所述的图像处理单元，其特征在于，
所述相关信息基于任意的多个图像数据的分析及所述多波段过滤器阵列的光谱灵敏度特性的一方而预先确定。
11.根据权利要求1～3中的任意一项所述的图像处理单元，其特征在于，
所述相关判定部基于所述原图像生成相关信息，并基于该相关信息判定所述相关性是高相关及低相关中的哪一种。
12.根据权利要求11所述的图像处理单元，其特征在于，
所述相关信息是基于所述原图像而判定的拍摄场景。
13.根据权利要求11所述的图像处理单元，其特征在于，
所述相关信息根据构成所述原图像的波段的图像分量间的像素值的总和、平均值、方差值、最大值及中间值之差、以及所述一次参照波段的图像分量的以构成除所述一次参照波段以外的波段的图像分量的像素值为基础的插补值与构成所述一次参照波段的图像分量的像素值之差中的任一种而计算。
14.根据权利要求11所述的图像处理单元，其特征在于，
所述相关判定部按将所述原图像划分为多个区域而成的每个部分区域生成所述相关信息，并按每个所述部分区域判定所述相关性是高相关及低相关中的哪一种。
15.根据权利要求12或13所述的图像处理单元，其特征在于，
所述相关判定部按将所述原图像划分为多个区域而成的每个部分区域生成所述相关信息，并按每个所述部分区域判定所述相关性是高相关及低相关中的哪一种。
16.根据权利要求1～3中的任意一项所述的图像处理单元，其特征在于，
所述插补图像生成部使用所述一次参照图像，进行被判定为所述高相关的波段的图像分量中的缺失像素的插补。
17.根据权利要求1～3中的任意一项所述的图像处理单元，其特征在于，
所述插补图像生成部使用插补图像作为二次参照图像，对被判定为所述高相关的多个波段的图像分量之中与其他波段的图像分量相比，与所述一次参照波段的图像分量的相关性更低且具有与该其他波段的图像分量的相关性的波段的图像分量中的缺失像素进行插补，所述插补图像是进行了所述其他波段的图像分量中的缺失像素的插补而得到的图像。
18.根据权利要求1～3中的任意一项所述的图像处理单元，其特征在于，
所述插补图像生成部对被判定为所述低相关的波段的图像分量中的缺失像素，使用该波段的图像分量进行插补。
19.一种拍摄装置，其特征在于，具备：
拍摄元件，其具有多波段过滤器阵列，所述多波段过滤器阵列由包含本身为任意波段的一次参照波段的过滤器的4波段以上的过滤器按阵列状配置而成；
相关判定部，其判定所述拍摄元件拍摄到的原图像的所述一次参照波段的图像分量与除所述一次参照波段以外的各波段的图像分量的相关性是高相关及低相关中的哪一种；
参照图像生成部，其基于由所述相关判定部得到的相关判定结果来转换所述一次参照波段的图像分量中的缺失像素的插补方法而进行插补，由此生成一次参照图像；以及
插补图像生成部，其使用所述相关判定结果及所述一次参照图像，进行除所述一次参照波段以外的各波段的图像分量的至少一部分中的缺失像素的插补。
20.一种图像处理方法，其特征在于，包括：
使拍摄元件拍摄原图像，所述拍摄元件具有多波段过滤器阵列，所述多波段过滤器阵列由包含本身为任意波段的一次参照波段的过滤器的4波段以上的过滤器按阵列状配置而成；
判定所述原图像的一次参照波段的图像分量与除所述一次参照波段以外的各波段的图像分量的相关性是高相关及低相关中的哪一种；
基于相关判定结果来转换所述一次参照波段的图像分量中的缺失像素的插补方法而进行插补，由此生成一次参照图像；以及
使用所述相关判定结果及所述一次参照图像，进行除所述一次参照波段以外的各波段的图像分量的至少一部分中的缺失像素的插补。
21.一种计算机可读记录介质，其特征在于，记录有图像处理程序，所述图像处理程序使计算机作为以下部件发挥作用：
相关判定部，其判定具有多波段过滤器阵列的拍摄元件拍摄到的原图像的一次参照波段的图像分量与除所述一次参照波段以外的各波段的图像分量的相关性是高相关及低相关中的哪一种，所述多波段过滤器阵列由包含本身为任意波段的一次参照波段的过滤器的4波段以上的过滤器按阵列状配置而成；
参照图像生成部，其基于由所述相关判定部得到的相关判定结果来转换所述一次参照波段的图像分量中的缺失像素的插补方法而进行插补，由此生成一次参照图像；以及
插补图像生成部，其使用所述相关判定结果及所述一次参照图像，进行除所述一次参照波段以外的各波段的图像分量的至少一部分中的缺失像素的插补。
CN201480082798.7A 2014-10-23 2014-10-23 图像处理单元、拍摄装置及图像处理方法 Active CN106852190B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/005392 WO2016063316A1 (ja) 2014-10-23 2014-10-23 画像処理ユニット、撮像装置、画像処理プログラム、および画像処理方法

Publications (2)

Publication Number Publication Date
CN106852190A CN106852190A (zh) 2017-06-13
CN106852190B true CN106852190B (zh) 2019-03-19

Family

ID=55760392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480082798.7A Active CN106852190B (zh) 2014-10-23 2014-10-23 图像处理单元、拍摄装置及图像处理方法

Country Status (4)

Country Link
US (1) US10249020B2 (zh)
JP (1) JP6461184B2 (zh)
CN (1) CN106852190B (zh)
WO (1) WO2016063316A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580519B1 (ko) * 2016-09-07 2023-09-21 삼성전자주식회사 영상처리장치 및 기록매체

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007068126A (ja) * 2005-09-02 2007-03-15 Victor Co Of Japan Ltd 欠陥画素補正方法及び装置
JP2011041208A (ja) * 2009-08-18 2011-02-24 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2012239038A (ja) * 2011-05-11 2012-12-06 Tokyo Institute Of Technology 画像処理システム
CN103198453A (zh) * 2011-09-26 2013-07-10 佳能株式会社 图像处理设备及图像处理方法
JP2014146872A (ja) * 2013-01-28 2014-08-14 Olympus Corp 画像処理装置、撮像装置、画像処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4352331B2 (ja) * 2004-09-09 2009-10-28 富士フイルム株式会社 信号処理装置、信号処理方法及び信号処理プログラム
JP5830348B2 (ja) * 2011-10-26 2015-12-09 オリンパス株式会社 撮像装置
JP5771677B2 (ja) * 2013-12-24 2015-09-02 オリンパス株式会社 画像処理装置、撮像装置、プログラム及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007068126A (ja) * 2005-09-02 2007-03-15 Victor Co Of Japan Ltd 欠陥画素補正方法及び装置
JP2011041208A (ja) * 2009-08-18 2011-02-24 Olympus Corp 画像処理装置、画像処理プログラムおよび画像処理方法
JP2012239038A (ja) * 2011-05-11 2012-12-06 Tokyo Institute Of Technology 画像処理システム
CN103198453A (zh) * 2011-09-26 2013-07-10 佳能株式会社 图像处理设备及图像处理方法
JP2014146872A (ja) * 2013-01-28 2014-08-14 Olympus Corp 画像処理装置、撮像装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP6461184B2 (ja) 2019-01-30
WO2016063316A1 (ja) 2016-04-28
US10249020B2 (en) 2019-04-02
US20170206631A1 (en) 2017-07-20
CN106852190A (zh) 2017-06-13
JPWO2016063316A1 (ja) 2017-08-03

Similar Documents

Publication Publication Date Title
US7839437B2 (en) Image pickup apparatus, image processing method, and computer program capable of obtaining high-quality image data by controlling imbalance among sensitivities of light-receiving devices
CN101924947B (zh) 图像处理装置及图像处理方法、摄像装置
US10027908B2 (en) Image sensor unit and imaging apparatus
JP5904281B2 (ja) 画像処理方法、画像処理装置、撮像装置および画像処理プログラム
CN103688536B (zh) 图像处理装置、图像处理方法
EP2312858A1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
EP2523160A1 (en) Image processing device, image processing method, and program
CN106161890A (zh) 成像装置、成像系统以及信号处理方法
EP2731334A1 (en) Image pickup apparatus and image generating method
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
KR20100042957A (ko) 고감도 컬러 영상을 제공하기 위한 영상 처리 장치 및 방법
CN101335900A (zh) 图像处理装置、图像处理方法、程序和摄像装置
KR20190100792A (ko) 이미지 센싱 장치
JP5943393B2 (ja) 撮像装置
US9807368B2 (en) Plenoptic camera comprising a shuffled color filter array
JP2015050494A (ja) 撮像装置
CN104041021B (zh) 图像处理装置及方法以及摄像装置
KR100731812B1 (ko) 색상 편차 보정 장치 및 그 보정 방법, 이를 이용한 이미지프로세서, 기록 매체
JP2018107731A (ja) 画像生成装置及び撮像装置
Kumar et al. New digital camera sensor architecture for low light imaging
CN106852190B (zh) 图像处理单元、拍摄装置及图像处理方法
Guttosch Investigation of Color Aliasing of High Spatial Frequencies and Edges for Bayer-Pattern Sensors and Foveon X3® Direct Image Sensors
KR101243285B1 (ko) 베이어 컬러 필터 배열 카메라를 사용한 다중 스펙트럼 기반 컬러 영상 생성장치 및 방법
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
KR101072877B1 (ko) 색 보간 방법 및 그 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant