CN101889453B - 图像处理装置、摄像装置、方法及程序 - Google Patents

图像处理装置、摄像装置、方法及程序 Download PDF

Info

Publication number
CN101889453B
CN101889453B CN2009801012535A CN200980101253A CN101889453B CN 101889453 B CN101889453 B CN 101889453B CN 2009801012535 A CN2009801012535 A CN 2009801012535A CN 200980101253 A CN200980101253 A CN 200980101253A CN 101889453 B CN101889453 B CN 101889453B
Authority
CN
China
Prior art keywords
mentioned
view data
image
light
photography conditions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN2009801012535A
Other languages
English (en)
Other versions
CN101889453A (zh
Inventor
今川太郎
吾妻健夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN101889453A publication Critical patent/CN101889453A/zh
Application granted granted Critical
Publication of CN101889453B publication Critical patent/CN101889453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种图像处理装置(30)，生成超过衍射极限的析像度的图像，具备：图像输入部(101)，取得由红色光以及绿色光分别表示被摄体的图像的红图像数据和绿图像数据、以及由波长比红色光及绿色光的任一个都短的蓝色光表示上述被摄体的图像的蓝图像数据；以及图像处理部(103)，将蓝图像数据所包含的空间高频成分重叠在红图像数据及绿图像数据上，由此对红图像数据及绿图像数据进行校正；图像输入部(101)取得由按照以下间隔配置的多个受光元件生成的图像数据，作为蓝图像数据，该间隔是比红色光及绿色光的任一种光不再收束的区域的最小尺寸更窄的间隔。

Description

图像处理装置、摄像装置、方法及程序
技术领域
本发明涉及对图像数据进行校正的图像处理装置等，尤其涉及使图像数据高精度化的技术。
背景技术
在近年来已经普及的数字摄像机(camera)的摄像元件中，以高画质化为目的的多像素化和以便携性提高为目的的摄像元件的小型化正在进展之中。为了实现像这样的摄像元件的多像素化和小型化，数字摄像元件的像素的微细化日益进展。
但是，由于在设置摄像元件的摄像机的成像面上发生由入射光的衍射引起的衍射模糊，因此产生以下问题，即：即便在小于衍射模糊的大小的尺寸下对摄像元件的像素进行微细化，还是无法提高析像度(衍射极限)。衍射模糊尤其在缩小摄像光学系统的光圈时容易造成影响。
在专利文献1及专利文献2中记载了对这样的衍射模糊的影响进行抑制的现有的摄像装置。
专利文献1的摄像装置在摄像时来自被摄体的光量较多的情况下，不缩小摄像光学系统的光圈，而是降低摄像元件的增益来进行摄像。由此，在光量较多的情况下也抑制了来自摄像元件的信号输出过剩的情况，避免了由光圈引起的衍射模糊的发生。
另外，专利文献2的摄像装置在摄像时的光量较多时，不缩小摄像光学系统的光圈，而是控制为利用ND滤光片(Neutral Density Filter：中性滤光片)即减光滤光片使入射光量减少，从而进行摄影。通过利用这样的减光滤光片，来避免由光圈引起的衍射模糊的发生。
专利文献1：日本特许第3363477号公报
专利文献2：日本特开2008-35268号公报
但是，对于专利文献1及专利文献2的摄像装置，虽然能够避免在缩小光圈时产生的衍射模糊，但无法避免在开放光圈的状态下已经产生的衍射模糊。即，无法避免伴随摄像元件的微细化而成为析像度的极限的衍射模糊。
发明内容
本发明鉴于上述情况做成，其目的在于，提供一种图像处理装置，利用使用了具有正衍射率的现有素材的光学系统及摄像元件，生成超过衍射极限的析像度的图像。
为了解决上述问题，本发明涉及的图像处理装置具备：图像输入部，取得表示分别由波长不同的光产生的1个被摄体的图像的多个图像数据；以及图像处理部，在上述多个图像数据之中由具有第一波长的光产生的第一图像数据上，重叠由具有比上述第一波长短的第二波长的光产生的第二图像数据所包含的空间高频成分，由此对上述第一图像数据进行校正；上述图像输入部取得由按照下述间隔配置的多个受光元件生成的图像数据，作为上述第二图像数据，上述间隔为比具有上述第一波长的光不再收束的区域的最小尺寸更窄的间隔。
也可以是，上述图像输入部取得表示由紫外光产生的上述被摄体的图像的图像数据，作为上述第二图像数据，另外，也可以是，上述图像处理部将上述图像数据之中的、由具有最短波长的光产生的图像数据所包含的空间高频成分，重叠在由其他波长的光产生的图像数据上，由此校正由上述其他波长的光产生的图像数据。
另外，本发明不仅能够作为这样的图像处理装置实现，而且也能够作为摄像装置、图像处理方法、使计算机执行该方法的程序、记录了该程序的CD-ROM等计算机可读取记录介质等实现。
根据本发明的图像处理装置，在由具有第一波长的光产生的第一图像数据上，重叠由具有比上述第一波长短的第二波长的光产生的第二图像数据所包含的空间高频成分。另外，作为上述第二图像数据，使用由按照下述间隔配置的多个受光元件生成的图像数据，其中上述间隔为比具有上述第一波长的光不再收束的区域的最小尺寸更窄的间隔，因此，对于上述第一图像数据，能够超过具有上述第一波长的光的衍射极限来附加空间高频信息(以下称为高析像度化)。
本发明的图像处理装置对例如现有的彩色摄像系统具有良好的适应性。即，在现有的彩色摄像系统中，处理由红、绿、蓝这样不同颜色(波长)的光对相同的被摄体进行摄像从而生成的各个颜色的图像数据，因此例如将对应于红色或绿色的图像数据作为第一图像数据，将对应于蓝色的图像数据作为第二图像数据，容易适用本发明。
这样，通过适用本发明，无需新的光学素材或光学设备等，能够简便地使与波长长的颜色对应的图像数据高析像度化。
附图说明
图1是表示本发明的实施方式中的图像生成系统的硬件结构的模块图。
图2是表示第一实施方式中的图像处理装置的结构的功能模块图。
图3是表示衍射模糊的大小与像素配置的关系的一个例子的图。
图4是表示第一图像处理装置的动作的流程图。
图5(a)～(c)是表示摄像装置的像素的配置例的图。
图6(a)～(c)是表示摄像装置的结构的具体例的图。
图7是表示摄像装置的像素的配置例的图。
图8是表示衍射模糊的形状的一个例子的图。
图9(a)～(c)是表示红图像、绿图像、蓝图像的一个例子的图。
图10(a)～(c)是表示生成彩色图像的一个例子的图。
图11是表示第二实施方式中的图像处理装置的结构的功能模块图。
图12是表示摄像装置的像素的配置例的图。
图13(a)、(b)是表示摄像装置的具体例的图。
图14是表示第二图像处理装置的动作的流程图。
图15是表示第三实施方式中的图像处理装置的结构的功能模块图。
图16(a)、(b)是表示聚光状态的例子的图。
图17是表示第三图像处理装置的动作的流程图。
图18是表示第四实施方式中的图像处理装置的结构的功能模块图。
图19是表示第四图像处理装置的动作的流程图。
图20是表示RGB颜色空间与球面坐标系的对应的一个例子的图。
图21是表示作为图像生成系统的变形例的摄像机的结构的模块图。
图22是表示作为图像生成系统的变形例的显示设备的结构的模块图。
具体实施方式
本发明的一个方式中的图像处理装置具备：图像输入部，取得表示分别由波长不同的光产生的1个被摄体的图像的多个图像数据；以及图像处理部，在上述多个图像数据之中由具有第一波长的光产生的第一图像数据上，重叠由具有比上述第一波长短的第二波长的光产生的第二图像数据所包含的空间高频成分，由此对上述第一图像数据进行校正；上述图像输入部取得由按照下述间隔配置的多个受光元件生成的表示由紫外光产生的上述被摄体的图像的图像数据，作为上述第二图像数据，上述间隔为比具有上述第一波长的光不再收束的区域的最小尺寸更窄的间隔。
另外，也可以上述图像输入部取得由按照比生成上述第二图像数据的上述受光元件的配置密度低的密度配置的多个受光元件生成的图像数据，作为上述第一图像数据。
根据该结构，波长长的光的图像由较少的像素数构成，因此具有在摄像时能够抑制像素的读出速度的优点。另外，通过减少波长长的光的图像的像素数，能够增大各像素的面积，在较暗的地方等光量不足的情况下，也能够抑制S/N比的下降。
另外，通过将表示由紫外光产生的上述被摄体的图像的图像数据作为上述第二图像数据来使用，对于可见光图像，能够超过可见光的衍射极限来进行高析像度化。此时，通过从入射光中分离紫外光并仅用于高析像度化处理，还具有能够提高可见光图像的颜色再现性的效果。
另外，也可以上述图像处理部对上述第一图像数据及上述第二图像数据的双方进行校正，以便维持由校正后的上述第一图像数据及校正后的上述第二图像数据表示的彩色图像中的颜色的空间连续性。
根据该结构，能够得到以下效果，即：抑制了在仅校正第一图像数据并与第二图像数据组合来构成彩色图像的情况下可能发生的伪色。
另外，也可以上述图像输入部取得由设置在具有上述第二波长的光的对焦位置的多个受光元件生成的图像数据，作为上述第二图像数据。
根据该结构，由上述第二波长的光产生的图像的焦点模糊成为最小，由此，在上述第二图像数据中富含空间高频成分，通过重叠该高频成分，能够有效地使上述第一图像数据高析像度化。
另外，本发明的一实施方式中的图像处理装置具备：图像输入部，取得表示分别由波长不同的光产生的1个被摄体的图像的多个图像数据；以及图像处理部，在上述多个图像数据之中由具有第一波长的光产生的第一图像数据上，重叠由具有比上述第一波长短的第二波长的光产生的第二图像数据所包含的空间高频成分，由此对上述第一图像数据进行校正；上述图像输入部取得由按照下述间隔配置的多个受光元件生成的图像数据，作为上述第二图像数据，上述间隔为比具有上述第一波长的光不再收束的区域的最小尺寸更窄的间隔，上述图像处理装置还具备摄影条件取得部，该摄影条件取得部取得摄影条件数据，该摄影条件数据表示作为生成上述第一图像数据时的摄影条件的光圈值；上述图像处理部根据上述取得的摄影条件数据来判断是否需要校正上述第一图像数据，仅在判断为需要校正的情况下，对上述第一图像数据进行校正。
根据该结构，在根据上述光圈值判断为由上述第一图像数据表示的图像没有超过衍射极限的情况下，能够判断为不需要上述校正处理。在没有超过衍射极限的情况下，不进行上述校正处理，由此能够抑制处理所花费的时间和能量。
另外，本发明的一实施方式中的图像处理装置具备：图像输入部，取得表示分别由波长不同的光产生的1个被摄体的图像的多个图像数据；以及图像处理部，在上述多个图像数据之中由具有第一波长的光产生的第一图像数据上，重叠由具有比上述第一波长短的第二波长的光产生的第二图像数据所包含的空间高频成分，由此对上述第一图像数据进行校正；上述图像输入部取得由按照下述间隔配置的多个受光元件生成的图像数据，作为上述第二图像数据，上述间隔为比具有上述第一波长的光不再收束的区域的最小尺寸更窄的间隔，上述图像处理装置还具备摄影条件取得部，该摄影条件取得部取得摄影条件数据，该摄影条件数据表示作为生成上述第一图像数据时的摄影条件的焦点距离；上述图像处理部根据上述取得的摄影条件数据来判断是否需要校正上述第一图像数据，仅在判断为需要校正的情况下，对上述第一图像数据进行校正。
根据该结构，在根据上述焦点距离判断为由上述第一图像数据表示的图像没有超过衍射极限的情况下，能够判断为不需要上述校正处理。在没有超过衍射极限的情况下，不进行上述校正处理，由此能够抑制处理所花费的时间和能量。
另外，本发明的一实施方式中的图像处理装置具备：图像输入部，取得表示分别由波长不同的光产生的1个被摄体的图像的多个图像数据；以及图像处理部，在上述多个图像数据之中由具有第一波长的光产生的第一图像数据上，重叠由具有比上述第一波长短的第二波长的光产生的第二图像数据所包含的空间高频成分，由此对上述第一图像数据进行校正；上述图像输入部取得由按照下述间隔配置的多个受光元件生成的图像数据，作为上述第二图像数据，上述间隔为比具有上述第一波长的光不再收束的区域的最小尺寸更窄的间隔，上述图像处理装置还具备摄影条件取得部，该摄影条件取得部取得摄影条件数据，该摄影条件数据表示作为生成上述第一图像数据时的摄影条件的受光元件的设置面的位置；上述图像处理部按照由上述取得的摄影条件数据表示的上述受光元件的设置面离开具有上述第一波长的波长的光的对焦位置的偏离量，对上述第一图像数据进行焦点模糊的消除处理。
根据该结构，按照上述受光元件的设置面的位置，对上述第一图像数据进行与上述设置面离开具有上述第一波长的波长的光的对焦位置的偏离量对应的焦点模糊的消除处理，结果与仅进行衍射模糊的校正的情况相比，能够进一步高品质地校正上述第一图像数据。
另外，本发明的一实施方式中的图像处理装置具备：图像输入部，取得表示由红色光产生的被摄体的图像的红图像数据、表示由绿色光产生的上述被摄体的图像的绿图像数据、以及表示由蓝色光产生的上述被摄体的图像的蓝图像数据；图像处理部，将上述蓝图像数据所包含的空间高频成分重叠在上述红图像数据及上述绿图像数据之中的至少某一方上，由此对上述红图像数据及上述绿图像数据之中的至少上述一方进行校正；上述图像输入部取得由按照以下间隔配置的多个受光元件生成的图像数据，作为上述蓝图像数据，该间隔是比上述红色光或绿色光不再收束的区域的最小尺寸更窄的间隔。
根据该结构，能够利用蓝色光的图像数据的高频成分，对红色光或绿色光的图像数据进行高品质校正。
另外，本发明的一实施方式中的图像处理装置具备：图像输入部，取得表示分别由波长不同的光产生的1个被摄体的图像的多个图像数据；图像处理部，将上述图像数据之中的、由具有最短波长的光产生的图像数据所包含的空间高频成分，重叠在由其他波长的光产生的图像数据上，由此校正由上述其他波长的光产生的图像数据；上述图像输入部取得由按照以下间隔配置的多个受光元件生成的图像数据，作为上述最短波长的光的图像数据，该间隔是比上述其他波长的光不再收束的区域的最小尺寸更窄的间隔。
根据该结构，能够利用最短的波长的图像数据的高频成分，对其他光的图像数据进行高品质校正。
另外，本发明的一个方式中的图像处理装置具备：图像输入部，取得表示分别由波长不同的光产生的1个被摄体的图像的多个图像数据；以及图像处理部，在上述多个图像数据之中，把由不再收束的区域的最小尺寸最小的波长的光产生的第二图像数据所包含的空间高频成分，重叠在由其他波长的光产生的第一图像数据上，由此对上述第一图像数据进行校正；上述图像输入部取得由按照下述间隔配置的多个受光元件生成的图像数据，作为上述第二图像数据，上述间隔为比上述其他波长的光不再收束的区域的最小尺寸更窄的间隔。
根据该结构，能够使用不再收束的区域的最小尺寸最小的波长的图像数据的高频成分，对其他光的图像数据进行高品质校正。
(第一实施方式)
以下，参照附图详细说明本发明的第一实施方式涉及的图像生成系统。
图1是表示本发明的实施方式涉及的图像生成系统100的硬件结构的模块图。
图像生成系统100由摄像装置10、图像存储装置20、图像处理装置30和显示装置40构成。
摄像装置10是摄像机，该摄像机从同一视点或以相对于被摄体能够忽略视差的程度接近的视点，对被摄体进行摄影，由此生成表示由具有第一波长的光产生的上述被摄体的图像即长波长光图像的第一图像数据、以及表示由具有比上述第一波长短的第二波长的光产生的上述被摄体的图像即短波长光图像的第二图像数据。
在摄像装置10中，设有用于生成上述第一图像数据的、与具有上述第一波长的光对应的多个受光元件，以及用于生成上述第二图像数据的、按照比具有上述第一波长的光不再收束的区域的最小尺寸(已知为最小弥散圆的大小)更窄的间距配置的、与具有上述第二波长的光对应的多个受光元件。
在以下的例子中，对于摄像装置10，作为从同一视点对被摄体进行摄影，由此生成分别表示由红色光、绿色光以及蓝色光产生的上述被摄体的图像的红图像数据、绿图像数据以及蓝图像数据的彩色照相机进行说明。
此时，由红色光产生的图像以及由绿色光产生的图像对应于上述长波长光图像，红图像数据以及绿图像数据对应于上述第一图像数据。另外，由波长最短的蓝色光产生的图像对应于上述短波长光图像，蓝图像数据对应于上述第二图像数据。
在被摄体或摄像机移动的情况下，优选同时生成各颜色的图像数据，在由静止摄像机对静止被摄体进行摄影的情况下，也可以改变时间来依次生成各颜色的图像数据。
图像存储装置20是暂时存储由摄像装置10生成的与各颜色对应的图像数据(红图像数据、绿图像数据、蓝图像数据)的存储器。
图像处理装置30是一种装置，读出图像存储装置20所存储的与各颜色对应的图像数据(红图像数据、绿图像数据、蓝图像数据)，根据读出的多个图像数据，对红图像数据及绿图像数据进行提高空间析像度的校正。
显示装置40是一种显示装置，对通过蓝图像数据以及由图像处理装置30进行了校正的红图像数据及绿图像数据表示的彩色图像进行显示。
另外，在该结构中，图像处理装置30是本发明的图像处理装置的一个例子。图像处理装置30既可以通过专用电路等硬件来实现，也可以通过通用的计算机中的图像处理程序等软件来实现。
图2是表示图1所示的图像生成系统100中的图像处理装置30的内部结构的功能模块图。图像处理装置30具备图像输入部101、摄影条件取得部102、图像处理部103和图像输出部104。
图像输入部101是接受与波长不同的多个光分别对应的图像数据的接口。图像输入部101具有取得红图像数据、绿图像数据以及蓝图像数据的各自的图像数据的红图像输入部101a、绿图像输入部101b以及蓝图像输入部101c。
分别向红图像输入部101a、绿图像输入部101b、蓝图像输入部101c输入的图像数据，由摄像装置10通过从同一视点或以能够忽视视差的程度接近的视点对同一被摄体进行摄影来得到。蓝图像数据由在摄像装置10中按照比红色光及绿色光的某一个的最小弥散圆的大小更窄的间隔配置的多个受光元件生成。
图3是对于摄像装置10中通过蓝(B)、绿(G)、红(R)的各颜色被摄体进行摄影的各自的摄像元件，按照各颜色相同的比例尺，示意地表示像素配置的一个例子以及红色光的最小弥散圆的大小的图。在图3中，虚线的圆160～圆162表示红色光的最小弥散圆的大小。另外，纵横划分的各区域表示1个像素区域，在各像素区域中，包含与蓝色光、绿色光或红色光对应的1个受光元件。
如图3所示，与红对应的像素间隔(与红色光对应的受光元件的配置间隔)对应于红色光的最小弥散圆的大小，而与绿及蓝对应的像素间隔(与绿色光或蓝色光对应的受光元件的配置间隔)比红色光的最小弥散圆的大小小。
摄像装置10的详细结构以及摄像元件中的像素配置的其他例子将在后面详细说明。
再次返回图2，摄影条件取得部102取得表示光圈、焦点距离、像素间隔的摄影条件数据，作为在生成由图像输入部101取得的图像数据时摄影装置10中的光学系统的摄影条件。
图像处理部103是以下处理部，即：根据由图像输入部101取得的各颜色的图像数据，利用蓝图像数据所包含的空间高频成分，对红图像数据以及绿图像数据进行校正以便进行高析像度化，具有控制部103a、校正部103b和提取部103c。
控制部103a根据由摄影条件取得部102取得的摄影条件数据所表示的光学系统的光圈、焦点距离、像素间隔，判断是否需要对红图像数据以及绿图像数据的各自进行校正，决定对于由哪个波长的颜色产生的图像数据进行校正。
提取部103c从蓝图像数据之中，提取要重叠到控制部103a所决定的图像数据上的高频成分。
校正部103b按照控制部103a所进行的判断，对于红图像数据以及绿图像数据的某一方或双方，重叠由提取部103c从蓝图像数据中提取的高频成分。
图像输出部104将合成了由图像处理部103处理的各颜色的图像数据而成的彩色图像数据输出。
接着，说明如上所述构成的图像处理装置30所执行的处理。
图4是表示图像处理装置30所执行的处理的一个例子的流程图。
在步骤S401中，图像输入部101中的红图像输入部101a、绿图像输入部101b以及蓝图像输入部101c分别取得红图像数据、绿图像数据以及蓝图像数据。
在此，对生成由图像输入部101取得的图像数据的摄像装置10的结构以及受光元件的配置进行详细说明。
图5(a)～图5(c)分别是通过与图3相同的表示方法来表示摄像装置10中的各颜色的摄像元件的像素配置的例子的图。
图5(a)表示各颜色的像素间隔相等的例子。此时，相对于蓝图像，绿图像和红图像的像素密度过大，但具有能够使对全部颜色的像素配置共通的优点。另外，通过包含多余的像素，还具有容易对像素缺陷进行插补处理的优点。
图5(b)表示相对应的颜色波长越长、使各颜色的像素间隔越大的例子。此时，越是产生大的衍射模糊的颜色，像素间隔取得越大，因此成为以得到所需的充分的析像度为目的的高效的像素配置。此时，与图5(a)的配置相比，还具有以下优点，即：能够抑制像素值的读取速度，同时对于绿图像、红图像而言像素尺寸变大，因此聚光性能提高，S/N比提高。
另外，图5(c)表示使绿和红的像素间隔与图5(b)相比进一步增大的例子。此时，与图5(b)的情况相比，能够进一步抑制像素值的读取速度，提高摄像时的S/N比。
图6(a)～图6(c)是表示摄像装置10的结构的一个例子的图。
图6(a)表示基于利用二向色棱镜的多元件方式的摄像装置的结构的一个例子，图6(b)表示基于单一元件多层方式的摄像装置的结构的一个例子，在各自的结构中，示出了蓝图像用的摄像元件B、绿图像用的摄像元件G、红图像用的摄像元件R。
图6(c)表示基于单一元件多层方式的摄像装置的结构的一个例子。
图7是表示基于单一元件多层方式的摄像装置所使用的摄像元件的像素配置的例子的图。在1个摄像元件的各像素中，对每个像素设置了蓝(B)、绿(G)、红(R)之中的规定的1个颜色的滤光片。
在图7的摄像元件中，波长最短的蓝色相关的像素与其他颜色相关的像素相比，以较高的密度配置。由此，能够以高析像度得到衍射的影响较少的蓝图像。
另外，在使用图7的摄像元件的情况下，优选仅对蓝色光使一般用于防止高频成分的折返的前置光学低通滤波器有效。
或者，也可以构成为通过替代低通滤波器而利用衍射模糊自身，来除去低通滤波器。此时，具有能够简化摄像元件的构造的优点。由此，通过设置与比蓝色更长的波长对应的低通滤波器，来避免蓝图像所包含的空间高频成分下降的情况。
通过如上所述构成的摄像装置10对被摄体进行摄影，由此对于以同一视点摄影的被摄体，取得衍射模糊特性不同的各颜色的图像数据。
在步骤S402中，根据由摄影条件取得部102取得的摄影条件数据所表示的光学系统的光圈、焦点距离，决定各波长光的模糊特性。
在具有圆形的开口部的光学系统的情况下，例如可以将与点光源对应的像中由衍射产生的最小暗环的直径用作衍射模糊的大小D。此时的衍射模糊的大小D为D＝2.44λ·f/d，其中光圈(开口部的直径)为d，焦点距离为f，光的波长为λ。
另外，在开口部的形状为圆形以外的情况下，也按照与圆形的情况相同的比例，产生与开口部的形状的功率谱分布形状相伴的模糊。
图8是表示衍射模糊的光强度分布的一个例子的曲线图。图8所示的曲线1001表示开口为圆形的情况下与点光源对应的像的光强度分布。纵轴表现为像的光强度(明亮度)最大值为1.0。横轴表示离开像的中心位置的距离。如曲线1001所示，像在中心位置最明亮，产生明暗相间的同心圆环。
对于衍射模糊的大小D，如上所述，采用与点光源对应的像的光强度在理论上成为0的最小暗环的直径(图8的D0)。另外，作为衍射模糊的大小D，也可以确定像的光强度成为最大值的一定比例(1/2＝0.5或1/3等)的直径等(图8的D1)、实际上衍射模糊的影响所涉及的范围来进行利用。像这样，根据光圈、焦点距离，决定各颜色的图像中的衍射模糊的特性(衍射模糊的形状和大小)。
接着，在步骤S403中，根据步骤S402所决定的各颜色的衍射模糊特性和各颜色的摄像元件的间隔，决定使哪个颜色的图像数据成为高析像度化的处理对象。
在此，在与长波长光(颜色A)对应的衍射模糊的大小(例如直径)比短波长光(颜色B)的摄像元件的像素间隔大的情况下，使颜色A的像素数据成为高析像度化的处理对象。
例如，在蓝色光的摄像元件的像素间隔比红色光以及绿色光的任一个的衍射模糊的尺寸更窄的情况下，将蓝图像数据的高频成分重叠在红图像数据和绿图像数据中。在蓝色光的摄像元件的像素间隔比绿色光的衍射模糊的尺寸宽的情况下，仅将蓝图像数据的高频成分重叠在红图像数据上。
在步骤S404中，按照步骤S403中的决定，将短波长光的图像数据的高频成分重叠在长波长光的图像数据上。例如，在红图像和绿图像的衍射模糊的大小超过了蓝色光的摄像元件中的受光元件的配置间隔的情况下，将蓝图像的高频成分重叠在红图像上，并生成新的红图像以及绿图像。
作为高频成分的重叠方法，对红图像数据fr、绿图像数据fg和蓝图像数据fb进行傅立叶变换并在频率空间展开，分别设为Fr、Fg、Fb，将超过了根据红色光的衍射模糊决定的频率上限ωth的蓝图像数据Fb(ω)的频率成分Fb(ω)[ω＞ωth]加到红图像数据Fr(ω)上，来生成校正了的红图像数据Fr’(ω)。对校正了的红图像数据Fr’(ω)进行逆傅立叶变换，由此得到重叠了蓝图像数据fg的高频成分的校正的红图像数据fr。
对绿图像数据fg也进行同样的处理，得到校正的绿图像数据fg’。
在上述例子中，通过傅立叶变换说明了向频率空间的展开，但也可以使用离散余弦变换或小波变换等、将图像变换至频率空间的其他变换以及成对的逆变换。
利用图9(a)～图9(c)说明用于步骤S404的高析像度化的校正处理。图9(a)表示正确的图像的例子，图9(b)表示校正前的图像的例子，图9(c)表示校正后的图像例子，以上分别对蓝(B)图像、绿(G)图像以及红(R)图像进行表示。构成图9(a)～图9(c)的各图像的小矩形表示像素的大小和位置的关系，矩形的模样的不同表现了像素值的不同。
图9(a)表示在哪个颜色也没有超过衍射极限的条件下对被摄体进行了摄影的情况的图像。在图9(a)中，蓝图像、绿图像、红图像分别具有纵横4像素的16个像素，表现为间隔1列的纵条。
图9(b)表示按照与衍射模糊的大小对应的像素尺寸和像素间隔对图9(a)的被摄体进行摄影的例子。这样的图像例如通过如图5(b)所示配置受光元件的摄像元件对被摄体摄影来得到。在此，蓝图像中衍射模糊较小因此像素间隔与图9(a)相同，但绿图像和红图像中衍射模糊比蓝图像大，因此像素的尺寸和像素间隔变大。由于衍射模糊，图9(b)的绿图像和红图像只能将图9(a)的绿图像和红图像拍摄为分别在空间上模糊了的图像。
在步骤S404中，从蓝图像中提取如图9(b)的红图像和绿图像那样模糊的图像中不包含的高频成分(间隔1列的纵条的频率成分)。将提取出的高频成分重叠在实际摄影得到的图9(b)的红图像和绿图像上。在高频成分的重叠中，在高析像度化之前的像素数小于高析像度化之后所需的像素数的情况(图9(b)的绿图像、红图像)下，与高频成分的重叠对应，通过插补变换为所需的像素数的图像。
重叠的结果的图像如图9(c)所示。结果为：图9(c)的绿图像和红图像分别将图9(b)的绿图像和红图像通过插补处理变换为纵横4像素的16个图像，并重叠了高频成分。重叠了蓝图像的高频成分的结果，再现了间隔1列的纵条的频率成分。
接着，在步骤S405中，输出由蓝图像以及校正的红图像和绿图像表现的RGB彩色图像。
为了比较，在图10(a)中表示由图9(a)的红图像、绿图像、蓝图像表示的彩色图像。在彩色图像中，也表现为间隔1列的纵条。
在图10(b)中，表示根据图9(b)的红图像、绿图像、蓝图像合成的彩色图像。在此，在图10(b)那样的彩色图像的合成中，在原来的红图像、绿图像、蓝图像的像素数比要合成的彩色图像的像素数小的情况下，通过插补处理生成与像素数对应的图像，在此基础上进行彩色合成。在图10(b)中合成了空间析像度低的绿图像和红图像，因此与单独的蓝图像相比成为模糊的图像。
进而，对于图9(a)那样原来RGB共有而成为白色(像素值为0)的像素位置(列8a01～列8a06)，由于组合了绿图像和红图像，不免产生本来不存在的颜色(伪色)(列9b01、列9b02)。
在图10(c)中，表示利用图9(c)的红图像、绿图像、蓝图像来合成彩色图像的结果。图10(a)的白色(像素值为0)的像素(列9a01、列9a02)在图10(c)中得以再现(列9c01、列9c02)。
另外，在上述例子中，将蓝图像的高频成分重叠在绿图像和红图像上，但仅重叠在绿图像或红图像的某一方上也能够得到本发明的效果。另外，将绿图像的高频成分重叠在红图像上也能够得到本发明的效果。
像这样，根据上述结构，利用由按照比红色光或绿色光的衍射模糊的大小更窄的间隔配置的受光元件生成的蓝图像数据，对红图像数据和绿图像数据进行校正以便进行高析像度化，由此能够得到本来由于衍射极限而无法得到的高析像度的彩色图像。
在以上例子中，说明了通过红图像、绿图像、蓝图像来表示被摄体的彩色图像的情况。在利用红色光、绿色光、蓝色光的情况下，具有能够利用现有的原色系彩色摄像元件来构成本发明的优点。
另外，与原色系的颜色表现的情况相同，也可以利用补色系的颜色表现。
在利用青绿色(红的补色)、深红色(绿的补色)、黄色(蓝的补色)的补色系的情况下，根据各自的补色的光的波长的衍射模糊的大小，进行与上述相同的处理。
即，从按照比红色光或绿色光的衍射模糊的尺寸更窄的间隔配置了黄色(蓝的补色)的像素而得到的图像中，提取高频成分。然后，将提取的高频成分重叠在青绿色或深红色的图像上，得到校正的青绿色或深红色图像。此时，像素的配置设为将图5(a)～图5(C)、图7中的B、G、R分别置换为黄色、深红色、青绿色。
(第二实施方式)
接着，详细说明本发明的第二实施方式涉及的图像生成系统。
在第二实施方式的图像处理装置中，通过可见光对被摄体进行摄影，而且按照比可见光的衍射模糊的大小更窄的像素密度通过波长最短的紫外光对上述被摄体进行摄影，将紫外图像的高频成分重叠在可见图像上。
图11是表示第二实施方式中的、图像处理装置31的内部结构的功能模块图。在图像处理装置31中，与第一实施方式的图像处理装置30(参照图2)相比，使用追加了紫外图像输入部101d的图像输入部111。紫外图像输入部101d取得通过紫外光来表现被摄体的图像的紫外图像数据。
在图12中，表示用于摄影的像素的配置的例子。在图12中，R、G、B、UV分别表示用于红色光、绿色光、蓝色光、紫外光所进行的摄影的摄像元件的像素配置。在观看用的图像中不需要的紫外光的图像的摄影也可以例如图13那样，预先通过二向色镜或二向色棱镜进行分离并摄影，与第一实施方式中从蓝图像数据中提取高频成分相同地从紫外图像数据中提取高频成分，并将提取的高频成分分别重叠在红图像数据、绿图像数据、蓝图像数据上。
图14是表示在第二实施方式中图像处理装置31所执行的处理的一个例子的流程图。步骤S1801～步骤S1805的处理与第一实施方式的步骤S401～步骤S405大致相同，但在步骤S1801中，图像输入部111输入紫外图像数据和可见图像数据，在步骤S1804中，将紫外图像的高频成分重叠在可见图像上，在这些方面不同。
另外，如果可见图像不是彩色图像而是黑白图像，也能够进行高析像度化，也能够得到本发明的效果。
根据本结构，从不一定要减少可见图像的光量而拍摄的紫外图像中得到高频成分，由此对于可见图像(黑白、彩色)，能够得到超过可见光的衍射极限来进行高析像度化的图像。
另外，作为利用可见光以外的波长光的例子，也可以同时进行红外光的摄影和可见光的摄影，对红外图像重叠可见图像的高频成分来生成校正的红外图像。通过将可见图像的高频成分重叠在红外图像上，能够得到由衍射模糊的大小比可见光大、难以拍摄高精度图像的红外光拍摄的高析像度图像。
(第三实施方式)
接着，详细说明本发明的第三实施方式涉及的图像生成系统。
在第一实施方式以及第二实施方式的图像处理装置中，在由不同的多个波长光产生的图像全部同时对焦的情况下，能够得到析像度更高的图像。在第三实施方式中，说明在光学系统中包括色像差的情况下进行适当的处理的图像处理装置。
图15是表示第三实施方式的图像处理装置32的内部结构的功能模块图。在图像处理装置32中，替代第一实施方式的图像处理装置30(参照图2)的摄影条件取得部102，使用摄影条件取得部112。摄影条件取得部112除了取得光学系统的光圈、焦点距离、像素间隔之外，还取得色像差特性、摄像面的位置，作为在生成由图像输入部101取得的图像数据时的摄影条件。
所谓色像差，指的是以下光学系统的特性，即：由于光的折射率随着波长不同而不同，因此波长不同的光的聚光位置偏离。在图16(a)、图16(b)中示出色像差的例子。
在图16(a)中，来自左侧的光在透镜301处发生折射，在通过光圈302之后被聚光。在此，红色光(R)、绿色光(G)、蓝色光(B)由于折射率不同，因此分别在位置305、304、303聚光。在图16(a)中，分别用虚线、点线、实线来表示红色光、绿色光、蓝色光的路径。
在图16(a)中，示意地用同心圆的大小表示位置303、304、305处的各颜色光的聚光状态。在指定的波长的光最为聚光的位置，其他波长的光不一定聚光度最大。
图16(b)表示组合了多个透镜的光学系统306的例子。通过了光圈307的光的聚光位置与图16(a)不同，但也随着波长不同而聚光位置不同。在图16(b)中，示意地用同心圆表示位置308、309、310处的各颜色光的聚光状态。在图16中仅示出了来自透镜左侧水平方向的光线的例子，但来自水平以外的方向的光线的聚光特性也同样随着波长或方向不同而不同。色像差特性表示这些聚光特性，依赖于透镜系统来决定。
在像这样通过产生色像差的光学系统得到图像的情况下，优选使用以与取得高频成分的波长光图像最对焦的方式对被摄体进行摄影来得到的图像。即，使用图16(a)中在位置303、图16(b)中在位置310得到的蓝图像。通过这样设定摄像面的位置，能够取得富含高频成分的短波长光图像，能够有效地对发生焦点模糊的其他波长光图像进行高析像度化。
另外，对于发生焦点模糊地图像，在图16(a)、图16(b)那样焦点模糊的大小已知的情况下，如果预先生成进行了消除焦点模糊的处理的图像，对该图像进行用于上述高析像度化的校正处理，则能够得到析像度更高的图像。
在图16(a)的情况下，如果在位置303处摄影，则红图像和绿图像产生由色像差引起的焦点模糊。焦点模糊的大小与对焦位置到摄像面的距离成比例，焦点模糊是与开口部的形状相应的模糊。最终的模糊特性是衍射模糊与焦点模糊和像差所引起的模糊进行卷积的特性。
图17是表示在第三实施方式中图像处理装置32所执行的处理的一个例子的流程图。步骤S2001～步骤S2005的处理与第一实施方式的步骤S401～步骤S405的处理大致相同，但在步骤S2002中，摄影条件取得部102取得与摄像系统建立了对应的上述色像差特性和摄像面的位置，由此决定各颜色的图像中的焦点模糊的特性(模糊的形状和大小)，并进行用于除去焦点模糊的图像复原处理，在这一点上不同。
如“A new sense for depth of field”，IEEE Transaction on PatternAnalysis and Machine Intelligence，vol.9，no.4，pp.523-531，1987(非专利文献1)所记载地，将焦点模糊的半径设为r(焦点模糊特性)，将f设为焦点距离，将z设为从光学系统到被摄体的距离，将d设为开口部的直径(光圈)，将v设为光学系统与摄像面的距离(摄像面的位置)，将α设为依赖于摄像元件的定量，则满足(式1)的关系。在此，色像差特性相当于焦点距离f按照每个波长不同的特性。
(式1)
r＝α·d·v|1/f-1/v-1/z|    (式1)
根据(式1)，在按照蓝图像对焦的情况下，r＝0的到被摄体的距离z确定，能够根据上述关系式求出焦点距离f不同的其他波长的焦点模糊的半径r。像这样，根据透镜的色像差特性，决定红图像和绿图像的焦点模糊的大小。
在焦点模糊的形状已知的情况下，在步骤S2002中，通过基于模糊函数的形状的维纳滤波器或射影滤波器等图像复原方法，生成消除了焦点模糊的红图像和绿图像。
对于这些消除了焦点模糊的红图像和绿图像，在步骤S2003中决定高析像度化的处理对象图像，在步骤S2004中重叠高频成分。
根据以上结构，在包含色像差的光学系统中，也能够使用波长最短的、或不再收束的区域的最小尺寸最小的蓝图像(短波长光图像)的高频成分，有效地使其他波长成分的图像高析像度化。
另外，优选以相对于由短波长光产生的高析像度图像对焦的方式来调整焦点并进行摄像，但在对于全部波长光图像都产生焦点模糊的情况下，关于合并了焦点模糊和衍射模糊的模糊特性，通过使用与只有衍射模糊的情况相同的处理，也能够得到本发明的效果。
另外，由于光学系统的色像差，有时不再收束的区域的最小尺寸最小的波长的大小关系与实际的波长的大小关系不同。在这样的情况下，通过利用不再收束的区域的最小尺寸最小的波长的高频成分，对其他波长成分的图像进行高析像度化，由此能够得到本发明的效果。
进而，关于焦点模糊，由摄影条件取得部112取得焦点位置(光学系统与摄像面之间的距离)，并使用(式1)的关系式，由此能够预先推测与作为对象的距离的被摄体相对应的、焦点模糊的大小。对其与色像差的模糊复原同样利用维纳滤波器或射影滤波器等图像复原方法，来消除焦点模糊。接着，对于剩下的按照各波长而大小不同的衍射模糊，可以通过上述步骤S2002～步骤S2005的处理来进行高析像度化。
(第四实施方式)
接着，详细说明本发明的第四实施方式涉及的图像生成系统。
在第一实施方式至第三实施方式的图像处理装置中，利用向频率空间的变换，提取短波长光图像所包含的高频成分，向包含衍射模糊的波长光的图像进行重叠，但在第四实施方式的图像处理装置中，同时进行高频成分的提取和重叠。
图18是表示第四实施方式中的图像处理装置33的内部结构的功能模块图。
图像处理装置33构成为将第三实施方式的图像处理装置32(图15)的图像处理部103置换为图像处理部113。
在图像处理部113中，控制部113a根据从摄影条件取得部112得到的光学系统的光圈、焦点距离、摄像面的位置、色像差特性、像素间隔，决定作为校正处理的对象的波长光图像。
评价函数设定部113b设定评价函数，该评价函数用数据表示通过各颜色的图像的组合来得到的目的图像的颜色的空间连续性(包括像素值的连续性和像素值的变化的连续性)被良好维持的程度。
图像综合处理部113c按照设定的评价函数，对各颜色的图像进行校正，以便得到颜色的空间连续性被良好维持的目的图像。
通过对各颜色的图像进行校正以维持目的图像中的颜色的空间连续性，各颜色的空间变化变得相似，结果短波长光图像的高频成分重叠在长波长光图像上。同时，还对短波长光图像进行处理以维持颜色的连续性，由此抑制了伪色的发生(在颜色边界等处局部产生本来不存在的颜色的现象)。
图19是表示第四实施方式中图像处理装置33所执行的处理的一个例子的流程图。步骤S2201～步骤S2203、步骤S2205的处理与第三实施方式的步骤S2001～步骤S2003、步骤S2005的处理相同，但在步骤S2204中，对长波长光图像和短波长光图像进行处理，以维持通过各颜色的图像的组合得到的目的图像的颜色的空间连续性(包括像素值的连续性和像素值的变化的连续性)。
说明维持目的图像的颜色的空间连续性的处理的例子。
通过评价函数设定部113b，设定目的图像g中的各颜色的图像的空间变化模式越接近(蓝图像的空间变化与红图像及绿图像的空间变化相似)则值越小的评价函数J，通过图像综合处理部113c，求出使J最小的目的图像g。J的一个例子由(式2)示出。
(式2)
Figure GSB00000564419300201
                                       (式2)
Figure GSB00000564419300202
J定义为构成希望生成的高析像度彩色图像g的红、绿及蓝的各颜色的图像(作为图像矢量记做RH、GH、BH)的函数。HR、HG分别表示从目的图像g的各颜色图像RH、GH向各颜色的输入图像RL、GL(矢量标记)的低析像度化变换。HR、HG例如分别是(式3)、(式4)那样的低析像度化的变换。
(式3)
R L ( x RL , y RL ) = Σ ( x ′ , y ′ ) ∈ C w R ( x ′ , y ′ ) · R H ( x ( x RL ) + x ′ , y ( y RL ) + y ′ ) (式3)
(式4)
G L ( x GL , y GL ) = Σ ( x ′ , y ′ ) ∈ C w G ( x ′ , y ′ ) · G H ( x ( x GL ) + x ′ , y ( y GL ) + y ′ ) (式4)
输入图像的像素值为：以目的图像所对应的位置为中心、局部区域的像素值的加权和。
在(式3)、(式4)中，RH(x，y)、GH(x，y)分别表示目的图像g的像素位置(x，y)上的红(R)的像素值、绿(G)的像素值。
RL(xRL，yRL)、GL(xGL，yGL)分别表示红输入图像的像素位置(xRL，yRL)的像素值、绿输入图像的像素位置(xGL，yGL)的像素值。
x(xRL)、y(yRL)、x(xGL)、y(yGL)分别表示与输入图像的红图像的像素位置(xRL，yRL)对应的目的图像的像素位置的x，y坐标、以及与输入图像的绿图像的像素位置(xRL，yRL)对应的目的图像的像素位置的x，y坐标。
另外，wR和wG分别表示与红图像和绿图像的输入图像的像素值对应的目的图像的像素值的加权函数。(x’，y’)∈C表示定义了wR和wG的局部区域的范围。
将低析像度化图像(蓝图像的情况为相同析像度的图像)和输入图像的对应像素位置上的像素值的差的平方和设定为评价函数的评价条件((式2)的第一项、第二项以及第三项)。即，这些评价条件通过表示以低析像度化图像所包含的各像素值为要素的矢量与以输入图像所包含的各像素值为要素的矢量之间的差分矢量的大小的值来设定。
(式2)的第四项的QS是评价像素值的空间平滑性的评价条件。
作为QS的例子的QS1以及QS2在(式5)以及(式6)中示出。
(式5)
Figure GSB00000564419300211
Figure GSB00000564419300212
                                                   (式5)
Figure GSB00000564419300213
Figure GSB00000564419300214
在(式5)中，θH(x，y)、ψH(x，y)、rH(x，y)是将目的图像的像素位置(x，y)上的红、绿、蓝的各自的像素值所表现的三维正交颜色空间(即RGB颜色空间)内的位置通过与RGB颜色空间对应的球面坐标系(θ，ψ，r)来表现时的坐标值，θH(x，y)和ψH(x，y)表示2种偏角，rH(x，y)表示矢径。
在图20中，表示RGB颜色空间与球面坐标系(θ，ψ，r)的对应例。在图20中，作为一个例子，将θ＝0的方向作为RGB颜色空间的R轴的正方向，将ψ＝0的方向作为RGB颜色空间的G轴的正方向，但偏角的基准方向不限定于图20所示的方向，也可以是其他方向。按照这样的对应，对于每个像素，将RGB颜色空间的坐标值即红、绿、蓝的各自的像素值变换为球面坐标系(θ，ψ，r)的坐标值。
在将目的图像的各像素的像素值考虑为RGB颜色空间内的三维矢量的情况下，将三维矢量通过与RGB颜色空间建立了对应的球面坐标系(θ，ψ，r)来表现，由此能够分别对表示作为像素的明亮度(与信号强度、亮度同义)的矢量大小的r轴的坐标值、以及表示作为像素的色彩(包括色相、色差、色彩度等)的矢量方向的θ轴以及ψ轴的坐标值进行处理。
(式5)定义了目的图像的由球面坐标系表现的像素值的、xy空间方向的2阶差分值的平方和。(式5)定义了条件QS1，即：目的图像内空间上相邻的像素中的由球面坐标系表现的像素值的变化越相同(即像素的颜色连续)，则值越小。
条件QS1的值要小，表示目的图像内的空间上相邻的像素的颜色要连续。
图像中像素的明亮度的变化和像素的色彩的变化有可能由于物理上不同的现象产生，因此如(式5)所示，通过分别设定与像素的明亮度的连续性(r轴的坐标值的变化的一致性)相关的条件((式5)的大括号内的第三项)、以及与像素的色彩的连续性(θ轴以及ψ轴的坐标值的变化的一致性)相关的条件((式5)的大括号内的第一项以及第二项)，容易得到希望的画质。
λθ(x，y)、λψ(x，y)、λr(x，y)分别是相对于利用θ轴、ψ轴、r轴的坐标值设定的条件、在目的图像的像素位置(x，y)中适用的权重，预先进行设定。简单地，也可以不依赖于像素位置或帧而设定为：λθ(x，y)＝λψ，(x，y)＝1.0，λr(x，y)＝0.01。
另外，优选的是，也可以在图像中能够预测到像素值的不连续性等的位置，将该权重设定得较小。像素值不连续也可以通过输入图像的帧图像内的相邻像素的像素值的差分值或2阶差分值的绝对值为一定值以上来进行判断。
另外，优选使适用于与像素的色彩的连续性相关的条件的权重比适用于与像素的明亮度的连续性相关的条件的权重大。这是因为，由于被摄体表面的凹凸或运动所引起的被摄体表面的方向(法线的方向)的变化，图像中的像素的明亮度比色彩容易变化(缺乏变化的一致性)。
另外，在(式5)中，将目的图像的由球面坐标系表现的像素值的、xy空间方向的二阶差分值的平方和设定为条件QS1，但也可以将二阶差分值的绝对值和、或者一阶差分值的平方和或绝对值和作为条件设定。
在上述说明中，利用与RGB颜色空间建立了对应的球面坐标系(θ，ψ，r)来设定颜色空间条件，但使用的坐标系不限于球面坐标系，通过在具有容易对像素的明亮度和色彩进行分离的坐标轴的新的正交坐标系中设定条件，能够得到与上述相同的效果。
新的正交坐标系的坐标轴例如可以通过对输入运动图像或作为基准的其他运动图像所包含的像素值的RGB颜色空间内的频度分布进行主成分分析来求出固有矢量的方向，并设置为求出的固有矢量的方向(设为固有矢量轴)。
(式6)
Q s 2 = Σ x Σ y [
λ C 1 ( x , y ) · { 4 · C 1 ( x , y ) - C 1 ( x , y - 1 ) - C 1 ( x , y + 1 ) - C 1 ( x - 1 , y ) - C 1 ( x + 1 , y ) } 2
                                             (式6)
+ λ C 2 ( x , y ) · { 4 · C 2 ( x , y ) - C 2 ( x , y - 1 ) - C 2 ( x , y + 1 ) - C 2 ( x - 1 , y ) - C 2 ( x + 1 , y ) } 2
+ λ C 3 ( x , y ) · { 4 · C 3 ( x , y ) - C 3 ( x , y - 1 ) - C 3 ( x , y + 1 ) - C 3 ( x - 1 , y ) - C 3 ( x + 1 , y ) } 2 ]
在(式6)中，C1(x，y)、C2(x，y)、C3(x，y)是将目的图像的像素位置(x，y)上的红、绿、蓝的各自的像素值即RGB颜色空间的坐标值，变换为新的正交坐标系的坐标轴C1、C2、C3的坐标值的旋转变换。
(式6)定义了目的图像的由新的正交坐标系表现的像素值的、xy空间方向的二阶差分值的平方和。(式6)定义了条件QS2，即：目的图像的各帧图像内空间上相邻的像素的由新的正交坐标系表现的像素值的变化越相同(即像素值连续)，则值越小。
条件QS2的值要小，表示目的图像内的空间上相邻的像素的颜色要连续。
λC1(x，y)、λC2(x，y)、λC3(x，y)分别是相对于利用C1轴、C2轴、C3轴的坐标值设定的条件、在目的图像的像素位置(x，y)中适用的权重，预先进行设定。
在C1轴、C2轴、C3轴为固有矢量轴的情况下，沿着各固有矢量轴分别设定λC1(x，y)、λC2(x，y)、λC3(x，y)的值，由此具有以下优点，即：能够按照随固有矢量轴而不同的分散的值来设定优选的λ的值。即，在非主成分的方向上分散较小，能够期待二阶差分的平方和较小，因此增大λ的值。反之，在主成分的方向上相对缩小λ的值。
以上，说明了2种条件QS1、QS2的例子。作为条件QS，可以使用QS1、QS2的任意一个。
例如，在使用(式5)所示的条件QS1的情况下，能够通过引入球面坐标系(θ，ψ，r)从而分别利用表示颜色信息的θ轴以及ψ轴的坐标值、以及表示信号强度的r轴的坐标值的各自的坐标值来设定条件，而且在设定条件时对颜色信息和信号强度分别赋予优选的权重参数λ，因此具有容易生成高画质的图像的优点。
在使用(式6)所示的条件QS2的情况下，按照从RGB颜色空间的坐标值通过线性(旋转)变换得到的新的正交坐标系的坐标值来设定条件，因此具有能够简化运算的优点。
另外，通过将固有矢量值设为新的正交坐标系的坐标轴C1、C2、C3，能够使用反映了更多像素受到影响的颜色变化的固有矢量轴的坐标值来设定条件，因此与单纯使用红、绿、蓝的各颜色成分的像素值来设定条件的情况相比，能够期待所得到的目的图像的画质的提高。
另外，评价函数J不限定于上述情况，也可以将(式2)的项与由类似的算式构成的项进行置换，或追加表示不同条件的新的项。
接着，通过图像综合处理部113c，求出使(式2)的J的值尽可能小(优选最小)的目的图像的各像素值，由此生成目的图像的各颜色图像RH、GH、BH。使评价函数J最小的目的图像g例如可以如下求出，即：可以求解使利用目的图像的各颜色图像RH、GH、BH的各像素值成分对J进行了微分的算式全部为0的(式7)的方程式来求出，或利用最大梯度法等反复运算型的最优化方法来求出。
(式7)
∂ J ∂ R H ( x , y ) = ∂ J ∂ G H ( x , y ) = ∂ J ∂ B H ( x , y ) = 0 (式7)
如上所述，在同时进行高频成分的提取和向包含衍射模糊的波长光图像的重叠时，以满足空间颜色变化的平滑性的方式生成全部的颜色图像，由此与仅修正长波长光图像(红图像、绿图像)并与短波长光图像(蓝图像)进行组合的情况相比，能够得到抑制在构成彩色图像时可能产生的伪色的效果。
另外，在上述例子中说明了图像生成系统100的动作，但如图21所示，构成为从图1所示的图像生成系统100中除去显示装置40的摄像机300也包括在本发明中。进而，构成为在图20所示的摄像机300中附加了显示装置40的、带运动图像录像再生功能的摄像机也包括在本发明中。
另外，如图22所示，构成为从图1所示的图像生成系统100中除去摄像装置10的电视机等显示设备400也包括在本发明中。在这样的显示设备400中，能够将预先录像的多个颜色成分的运动图像作为输入运动图像，生成提高了帧率的目的运动图像来进行显示。
以下，根据实施方式对本发明涉及的图像处理装置进行了说明，但本发明不限定于这些实施方式。本领域的技术人员对实施方式施加所想到的变形而得到的方式也包括在本发明中。
本发明的图像处理装置所进行的图像生成处理的一部分或全部既可以通过专用的硬件设备来执行，也可以通过计算机终端装置、无线基站等中配置的通信设备、以及独立的通用计算机等所内置的CPU执行规定的程序，来进行本发明的图像生成处理。
工业可利用性
本发明能够作为根据包含产生衍射模糊的波长光的多颜色图像中生成新的图像的图像处理装置，尤其作为根据包含衍射模糊的颜色图像和按照比上述颜色模糊的大小更窄的间隔得到的短波长颜色的图像来生成超过衍射极限的高析像度图像的图像处理装置、装入了这样的装置的影像设备或系统、影像合成装置、影像编辑装置、图像复原装置、图像复原程序等进行利用。
符号说明
10        摄像装置
20        图像存储装置
30～33    图像处理装置
40        显示装置
100       图像生成系统
101、111  图像输入部
101a      红图像输入部
101b      绿图像输入部
101c      蓝图像输入部
101d      紫外图像输入部
102、112  摄影条件取得部
103、113  图像处理部
103a      控制部
103b      校正部
103c      提取部
104       图像输出部
113a      控制部
113b      评价函数设定部
113c      图像综合处理部
300       摄像机(camera)
301       透镜
302、307  光圈
306       光学系统
400       显示设备

Claims (13)

1.一种图像处理装置，具备：
图像输入部，取得表示分别由波长不同的光产生的1个被摄体的图像的多个图像数据；以及
图像处理部，将上述图像数据之中的、由具有最短波长的光产生的第二图像数据所包含的空间高频成分，重叠在由其他波长的光产生的第一图像数据上，由此校正由上述其他波长的光产生的上述第一图像数据；
上述图像输入部取得由按照以下间隔被配置的多个受光元件生成的图像数据，作为上述最短波长的光产生的第二图像数据，该间隔是比上述其他波长的光不再收束的区域的最小尺寸更窄的间隔。
2.根据权利要求1所述的图像处理装置，上述图像输入部取得由按照下述间隔被配置的多个受光元件生成的、表示由紫外光产生的上述被摄体的图像的图像数据，作为上述第二图像数据，上述间隔为比具有上述其他波长的光不再收束的区域的最小尺寸更窄的间隔。
3.根据权利要求1所述的图像处理装置，
上述图像输入部，取得表示由红色光产生的被摄体的图像的红图像数据、由绿色光产生的上述被摄体的图像的绿图像数据、以及由蓝色光产生的上述被摄体的图像的蓝图像数据作为上述多个图像数据；
上述图像处理部，将作为上述图像数据之中具有最短波长的光产生的图像数据的上述蓝图像数据所包含的空间高频成分重叠在作为上述其他波长的光产生的图像数据的上述红图像数据及上述绿图像数据之中的至少某一方上，由此对上述红图像数据及上述绿图像数据之中的至少上述一方进行校正；
上述图像输入部取得由按照以下间隔被配置的多个受光元件生成的图像数据，作为上述蓝图像数据，该间隔是比上述红色光或绿色光不再收束的区域的最小尺寸更窄的间隔。
4.根据权利要求1所述的图像处理装置，还具备：
摄影条件取得部，该摄影条件取得部取得摄影条件数据，该摄影条件数据表示作为生成上述第一图像数据时的摄影条件的光圈值；
上述图像处理部根据上述取得的摄影条件数据来判断是否需要校正上述第一图像数据，仅在判断为需要校正的情况下，对上述第一图像数据进行校正。
5.根据权利要求1所述的图像处理装置，还具备：
摄影条件取得部，该摄影条件取得部取得摄影条件数据，该摄影条件数据表示作为生成上述第一图像数据时的摄影条件的焦点距离；
上述图像处理部根据上述取得的摄影条件数据来判断是否需要校正上述第一图像数据，仅在判断为需要校正的情况下，对上述第一图像数据进行校正。
6.根据权利要求1所述的图像处理装置，还具备：
摄影条件取得部，该摄影条件取得部取得摄影条件数据，该摄影条件数据表示作为生成上述第一图像数据时的摄影条件的受光元件的设置面的位置；
上述图像处理部按照由上述取得的摄影条件数据表示的上述受光元件的设置面离开具有上述其他波长的波长的光的对焦位置的偏离量，对上述第一图像数据进行焦点模糊的消除处理。
7.一种摄像装置，具备：
生成表示由具有第一波长的光产生的被摄体的图像的第一图像数据的多个受光元件；
按照下述间隔配置、且生成由具有比上述第一波长更短的第二波长的光即紫外光生成的上述被摄体的图像的第二图像数据的多个受光元件，上述间隔为比具有上述第一波长的光不再收束的区域的最小尺寸更窄的间隔；
图像输入部，取得上述第一图像数据以及上述第二图像数据；以及
图像处理部，在上述第一图像数据上，重叠上述第二图像数据所包含的空间高频成分，由此对上述第一图像数据进行校正。
8.一种图像处理方法，包括以下步骤：
图像输入步骤，取得表示分别由波长不同的光产生的1个被摄体的图像的多个图像数据；以及
图像处理步骤，将上述图像数据之中的、由具有最短波长的光产生的第二图像数据所包含的空间高频成分，重叠在由其他波长的光产生的第一图像数据上，由此校正由上述其他波长的光产生的第一图像数据；
在上述图像输入步骤中，取得由按照以下间隔被配置的多个受光元件生成的图像数据，作为上述最短波长的光产生的第二图像数据，该间隔是比上述其他波长的光不再收束的区域的最小尺寸更窄的间隔。
9.根据权利要求8所述的图像处理方法，
在上述图像输入步骤中，取得由按照下述间隔被配置的多个受光元件生成的表示由紫外光产生的上述被摄体的图像的图像数据，作为上述第二图像数据，上述间隔为比具有上述其他波长的光不再收束的区域的最小尺寸更窄的间隔。
10.根据权利要求8所述的图像处理方法，
在上述图像输入步骤，取得表示由红色光产生的被摄体的图像的红图像数据、由绿色光产生的上述被摄体的图像的绿图像数据、以及由蓝色光产生的上述被摄体的图像的蓝图像数据作为上述多个图像数据；
在上述图像处理步骤，将作为在上述图像数据之中，具有最短波长的光产生的图像数据的上述蓝图像数据所包含的空间高频成分重叠在作为上述其他波长的光产生的图像数据的上述红图像数据及上述绿图像数据之中的至少某一方上，由此对上述红图像数据及上述绿图像数据之中的至少上述一方进行校正；
在上述图像输入步骤中，取得由按照以下间隔被配置的多个受光元件生成的图像数据，作为上述蓝图像数据，该间隔是比上述红色光或绿色光不再收束的区域的最小尺寸更窄的间隔。
11.根据权利要求8所述的图像处理方法，
还包括摄影条件取得步骤，该摄影条件取得步骤取得摄影条件数据，该摄影条件数据表示作为生成上述第一图像数据时的摄影条件的光圈值；
在上述图像处理步骤中，根据上述取得的摄影条件数据来判断是否需要校正上述第一图像数据，仅在判断为需要校正的情况下，对上述第一图像数据进行校正。
12.根据权利要求8所述的图像处理方法，
还包括摄影条件取得步骤，该摄影条件取得步骤取得摄影条件数据，该摄影条件数据表示作为生成上述第一图像数据时的摄影条件的焦点距离；
在上述图像处理步骤中，根据上述取得的摄影条件数据来判断是否需要校正上述第一图像数据，仅在判断为需要校正的情况下，对上述第一图像数据进行校正。
13.根据权利要求8所述的图像处理方法，
还包括摄影条件取得步骤，该摄影条件取得步骤取得摄影条件数据，该摄影条件数据表示作为生成上述第一图像数据时的摄影条件的受光元件的设置面的位置；
在上述图像处理步骤中，按照由上述取得的摄影条件数据表示的上述受光元件的设置面离开具有上述其他波长的波长的光的对焦位置的偏离量，对上述第一图像数据进行焦点模糊的消除处理。
CN2009801012535A 2008-06-18 2009-06-17 图像处理装置、摄像装置、方法及程序 Active CN101889453B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2008-159694 2008-06-18
JP2008159694 2008-06-18
PCT/JP2009/002754 WO2009153983A1 (ja) 2008-06-18 2009-06-17 画像処理装置、撮像装置、方法、およびプログラム

Publications (2)

Publication Number Publication Date
CN101889453A CN101889453A (zh) 2010-11-17
CN101889453B true CN101889453B (zh) 2013-11-13

Family

ID=41433901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801012535A Active CN101889453B (zh) 2008-06-18 2009-06-17 图像处理装置、摄像装置、方法及程序

Country Status (5)

Country Link
US (1) US7986352B2 (zh)
EP (2) EP2312858B1 (zh)
JP (1) JP4427097B2 (zh)
CN (1) CN101889453B (zh)
WO (1) WO2009153983A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8237823B2 (en) * 2008-11-06 2012-08-07 Samsung Electronics Co., Ltd. Method and apparatus for canceling chromatic aberration
US9756264B2 (en) * 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
WO2011083555A1 (ja) * 2010-01-07 2011-07-14 パナソニック株式会社 画像処理装置、画像生成システム、方法、およびプログラム
US20120033888A1 (en) * 2010-08-09 2012-02-09 Tetsuya Takamori Image processing system, image processing method, and computer readable medium
JP5582935B2 (ja) * 2010-09-22 2014-09-03 富士フイルム株式会社 撮像モジュール
WO2012168322A2 (en) 2011-06-06 2012-12-13 3Shape A/S Dual-resolution 3d scanner
CN107093192B (zh) 2011-07-05 2020-06-12 欧姆龙株式会社 用于投影体监测的方法和装置
US9501692B2 (en) * 2011-10-14 2016-11-22 Omron Corporation Method and apparatus for projective volume monitoring
JP5686376B2 (ja) * 2011-10-25 2015-03-18 日本電信電話株式会社 画像処理装置、方法、及びプログラム
JP6102061B2 (ja) * 2012-02-28 2017-03-29 株式会社ニコン 画像処理装置
JP5950166B2 (ja) 2013-03-25 2016-07-13 ソニー株式会社 情報処理システム、および情報処理システムの情報処理方法、撮像装置および撮像方法、並びにプログラム
JP6394960B2 (ja) * 2014-04-25 2018-09-26 パナソニックＩｐマネジメント株式会社 画像形成装置および画像形成方法
JP2015219282A (ja) * 2014-05-14 2015-12-07 ソニー株式会社 画像処理装置、画像処理プログラム、画像処理方法及び顕微鏡システム
US10455056B2 (en) * 2015-08-21 2019-10-22 Abobe Inc. Cloud-based storage and interchange mechanism for design elements
US10496241B2 (en) 2015-08-21 2019-12-03 Adobe Inc. Cloud-based inter-application interchange of style information
US10021320B2 (en) * 2016-06-28 2018-07-10 Foveon, Inc. Electronically controlled graduated density filters in stacked image sensors
JP6834614B2 (ja) * 2016-07-12 2021-02-24 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US11472928B2 (en) 2018-02-14 2022-10-18 Dover Chemical Corporation Use of a polymeric polyphosphite as a polymer processing aid
EP3979199A4 (en) * 2019-05-30 2022-08-03 Panasonic Intellectual Property Management Co., Ltd. IMAGE PROCESSING METHOD, IMAGE PROCESSING APPARATUS AND PROGRAM
CN112167074A (zh) * 2020-10-14 2021-01-05 北京科技大学 一种基于宠物脸识别的自动喂食装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318548A (ja) * 2004-03-30 2005-11-10 Masahiko Yanaida 撮像システム、画像データ列作成装置、画像生成装置、画像データ列生成装置、画像データ列生成システム、及び画像伝送システム
CN101052988A (zh) * 2005-06-22 2007-10-10 松下电器产业株式会社 图像生成装置及图像生成方法
CN101053249A (zh) * 2005-09-09 2007-10-10 松下电器产业株式会社 图像处理方法、图像存储方法、图像处理装置及文件格式
WO2008047664A1 (fr) * 2006-10-19 2008-04-24 Panasonic Corporation Dispositif de création d'image et procédé de création d'image

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3363477B2 (ja) 1992-06-12 2003-01-08 富士写真フイルム株式会社 撮像装置
JPH07203318A (ja) 1993-12-28 1995-08-04 Nippon Telegr & Teleph Corp <Ntt> 撮像装置
JP3697459B2 (ja) * 2002-09-18 2005-09-21 コニカミノルタフォトイメージング株式会社 画像処理方法及び画像処理装置
US20050219642A1 (en) * 2004-03-30 2005-10-06 Masahiko Yachida Imaging system, image data stream creation apparatus, image generation apparatus, image data stream generation apparatus, and image data stream generation system
US20060093234A1 (en) * 2004-11-04 2006-05-04 Silverstein D A Reduction of blur in multi-channel images
CN102984448B (zh) 2005-03-07 2016-05-25 德克索实验室 利用颜色数字图像对动作如锐度修改进行控制的方法
WO2007007878A1 (ja) * 2005-07-14 2007-01-18 Nikon Corporation 画像処理装置および画像処理方法
JP4916187B2 (ja) * 2006-02-24 2012-04-11 オリンパス株式会社 レンズ系
JP4732264B2 (ja) 2006-07-28 2011-07-27 キヤノン株式会社 撮像装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318548A (ja) * 2004-03-30 2005-11-10 Masahiko Yanaida 撮像システム、画像データ列作成装置、画像生成装置、画像データ列生成装置、画像データ列生成システム、及び画像伝送システム
CN101052988A (zh) * 2005-06-22 2007-10-10 松下电器产业株式会社 图像生成装置及图像生成方法
CN101053249A (zh) * 2005-09-09 2007-10-10 松下电器产业株式会社 图像处理方法、图像存储方法、图像处理装置及文件格式
WO2008047664A1 (fr) * 2006-10-19 2008-04-24 Panasonic Corporation Dispositif de création d'image et procédé de création d'image

Also Published As

Publication number Publication date
EP2312858B1 (en) 2012-09-26
EP2312858A1 (en) 2011-04-20
US20100208104A1 (en) 2010-08-19
WO2009153983A1 (ja) 2009-12-23
JPWO2009153983A1 (ja) 2011-11-24
CN101889453A (zh) 2010-11-17
US7986352B2 (en) 2011-07-26
EP2268043B1 (en) 2013-11-06
JP4427097B2 (ja) 2010-03-03
EP2268043A4 (en) 2010-12-29
EP2268043A1 (en) 2010-12-29

Similar Documents

Publication Publication Date Title
CN101889453B (zh) 图像处理装置、摄像装置、方法及程序
CN107105141B (zh) 图像传感器、图像处理方法、成像装置和移动终端
CN101778222B (zh) 图像处理装置
CN102461174B (zh) 具有四个通道的滤色器阵列图案
CN102461175B (zh) 用于四通道彩色滤光片阵列的内插
CN205211754U (zh) 图像传感器
CN101124815B (zh) 图像拾取设备、图像捕获方法和设计图像拾取设备的方法
CN206759600U (zh) 成像系统
CN104335246B (zh) 用pi滤光器群组来形成图案的相机模块
CN102177719B (zh) 摄像装置朝向检测装置和具备该装置的移动体
CN102484721B (zh) 四通道滤色片阵列图案
CN101971072B (zh) 图像传感器和焦点检测装置
US9196644B2 (en) Imaging device for phase difference detection for focusing and image generation
CN103563350B (zh) 图像处理装置、图像处理方法以及数码相机
CN202750183U (zh) 视差成像设备和视差成像系统
CN102685511B (zh) 图像处理设备和图像处理方法
CN103260045A (zh) 摄像装置及图像传感器阵列
CN103563359B (zh) 图像处理装置及图像处理方法以及数码相机
CN107079087A (zh) 摄像装置及对象物识别方法
CN102918845B (zh) 成像设备和计算白平衡增益的方法
CN103874952A (zh) 固体摄像元件、摄像装置及对焦控制方法
CN105430257A (zh) 控制设备和控制方法
CN104170377A (zh) 图像处理装置、摄像装置及图像处理程序
CN103688536A (zh) 图像处理装置、图像处理方法及程序
CN106165398A (zh) 摄像元件、摄像装置以及图像处理装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant