CN102244791A - 图像处理设备、图像处理方法和程序 - Google Patents

Abstract

本发明提供了图像处理设备、图像处理方法和程序。一种图像处理设备包括：图像获取单元，其从仅由可见光区域中的波长成分构成彩色图像数据以及不含有可见光区域中的波长并仅由可见光区域之外的波长成分构成的单色图像数据；颜色信息提取单元，其从彩色图像数据提取颜色信息；亮度信息提取单元，其从单色图像数据提取亮度信息；合成单元，其将所提取的颜色信息和所提取的亮度信息合成以产生复合图像数据。

Description

图像处理设备、图像处理方法和程序

技术领域

本发明涉及图像处理设备、图像处理方法和程序。

背景技术

拍摄户外图像等的广域监视摄像机主要要求以下三个条件。所要求的第一个条件是即使在对象由于雾、霭等而难以被看到的拍摄条件下也能够清楚地拍摄所关注的对象。第二个条件是即使在具有低亮度的暗环境下也能拍摄对象。第三个条件是获得彩色图像，因为在许多情况下通过诸如衣服的颜色的颜色信息进行识别可能是重要的。

将要说明在使用具有过去的单芯片彩色摄像装置的摄像机的情况下，满足或不满足以上三个条件的状态。

首先，将要解释第一条件。为了清楚地对对象成像，对象的反射光可以在没有减弱的状态下到达摄像机的摄像装置是很重要的。在对象的反射光行进到摄像机的空间中，存在空气(N₂分子等)、湿气(诸如雾)、气悬微粒(诸如烟雾、沙尘等)。这些物体对光进行散射并且妨碍清楚地拍摄。

根据瑞利散射公式，在空气悬浮微粒小到直径0.37nm的空气分子或烟雾的一部分的情况下，散射强度与光波长的负四次方成比例。此外，米氏理论(Mie theory)将适用于雾的颗粒尺寸约为直径1000nm到50μm等的情况，并且散射强度与光波长的0到约负二次方成比例。在波长400nm到700nm的可见光范围内，特别是蓝光或绿光的波长趋向于更加被散射，并且蓝光或绿光波长不会到达摄像机。因此，由接收可见光的摄像机拍摄的图像接近人眼可以看到的状态，并且远距离的对象将会由于低能见度而变得模糊。

之后，将要解释第二条件。因为单芯片彩色摄像装置在光探测器前方安装有红色、绿色、蓝色滤光片，所以光探测器对于红色、绿色和蓝色中每个颜色的敏感度将会比单色摄像装置的敏感度更低。为了补偿在具有低亮度的暗环境中成像的低敏感度，存在用于临时避免在摄像装置前方设置IR截止滤光片并且用于用红外光照射对象的方法(例如，夜景模式成像)。然而，在红外成像中，难以拍摄彩色图像，并且也难以改善灵敏度，这主要是因为在红外成像中它必须穿过在光探测器前方的红色、绿色和蓝色滤光片。

另一方面，单芯片单色摄像装置能够比单芯片彩色摄像装置拍摄具有更高灵敏度和更高空间分辨率的图像。然而，因为单色摄像装置不能够获得颜色信息，所以上述第三条件不能够被满足。

发明内容

JP 2007-184805A公开了这样一种技术：该技术从含有可见光和红外光的图像数据提取亮度信息以再现使颜色信息和亮度信息都最佳的彩色图像，从排除红外成分之后的可见图像提取彩色信息，并将亮度信息和彩色信息合成。然而，因为其在提取亮度信息时使用包含可见光的图像数据，所以JP 2007-184805A具有不能满足上述第一条件来拍摄清晰的对象的问题。

考虑到上述问题，期望提供一种新颖和改良的图像处理设备、图像处理方法和程序，并且这种图像处理设备、图像处理方法和程序即使在物体由于雾霾而无法看到的拍摄条件下或者在具有低亮度的暗环境下也能够对对象进行拍摄，并且能够获得彩色图像。

根据本发明的实施例，提供了一种图像处理设备，包括：图像获取单元，其从仅由可见光区域中的波长成分构成彩色图像数据以及不含有可见光区域中的波长成分并仅由可见光区域之外的波长成分构成的单色图像数据；颜色信息提取单元，其从彩色图像数据提取颜色信息；亮度信息提取单元，其从单色图像数据提取亮度信息；合成单元，其将所提取的颜色信息和所提取的亮度信息合成以产生复合图像数据。

彩色图像数据可以仅由比预定值更短的波长成分构成，并且单色图像数据可以仅由比该预定值更长的波长成分构成。

彩色图像数据可以含有在400nm到700nm的范围内的波长成分，并且，单色图像数据可以含有在700nm到1000nm的范围内的波长成分。

彩色图像数据可以含有在短波长侧的半值波长在420nm到460nm的范围内并且在长波长侧的半值波长在610nm到650nm的范围内的波长成分，并且单色图像数据可以含有在短波长侧的半值波长在650nm到750nm的范围内的波长成分。

图像获取单元可以获得由在接近可见光区域外侧的可见光区域中的波长成分以及在可见光区域外侧的波长成分构成的单色图像数据。

彩色图像数据可以仅由等于或小于第一预定值的波长成分构成，并且单色图像数据可以由等于或大于第二预定值的波长成分构成，第二预定值小于第一预定值。

根据本发明的另一个实施例，提供了一种图像处理方法，包括以下步骤：获得仅由可见光区域中的波长成分构成的彩色图像数据以及不含有可见光区域中的波长成分并仅由可见光区域之外的波长成分构成的单色图像数据；从彩色图像数据提取颜色信息；从单色图像数据提取亮度信息；将所提取的颜色信息和所提取的亮度信息合成以产生复合图像数据。

根据上述本发明的实施例，可以提供一种程序，其使得计算机执行以下步骤：获得仅由可见光区域中的波长成分构成的彩色图像数据以及不含有可见光区域中的波长成分并仅由可见光区域之外的波长成分构成的单色图像数据；从彩色图像数据提取颜色信息；从单色图像数据提取亮度信息；将所提取的颜色信息和所提取的亮度信息合成以产生复合图像数据。

如上所述，根据本发明，可以在对象由于雾等而难以被看到的拍摄条件下或者在具有低亮度的暗环境下也能够清楚地拍摄所关注的对象，以获得彩色图像。

附图说明

图1是示出了根据本发明的实施例的图像处理设备102的框图；

图2是用于示出根据本实施例的成像设备100的框图；

图3是用于示出根据本实施例的光学系统101的示意图；

图4是用于示出根据本实施例图像处理设备102的合成处理的流程图；

图5是用于示出了在光谱反射镜152上反射的光的光谱反射率的图；

图6是用于示出从光谱反射镜152投射的光的光谱透射率的图；

图7是用于示出人体的视锥细胞(S、M、L)和视杆细胞(R)的视色素的吸收谱的图；

图8是用于示出彩色摄像装置154的光谱灵敏度特性的图；

图9是用于示出单色摄像装置156的光谱灵敏度特性的图；

图10是用于示出根据瑞利散射公式的散射体积与波长之间的关系；

图11是用于示出了单色摄像机和彩色摄像机的灵敏度和最大对象亮度的示例；

图12是用于示出了根据本发明的实施例的修改示例的成像设备200和图像处理设备102的框图；并且

图13是用于示出根据本实施例的修改示例的成像设备300a、300b和图像处理设备102。

具体实施方式

下文中，将会参照附图详细描述本发明的优选实施例。注意，在说明书和附图中，具有基本相同功能的结构元件由相同的附图标记表示，并且省略这些结构元件的重复的解释。

将要按照以下顺序给出说明：

1.实施例的构造和操作

2.修改示例

1.实施例的构造和操作。

[图像处理设备102的构造]

首先，参照图1，将要给出根据本发明的实施例的图像处理设备102的构造。图1是用于示出了根据本发明的实施例的图像处理设备102的框图。

图像处理设备102从仅由可见光区域中的波长成分构成的彩色图像数据提取颜色信息，从不包括可见光区域的波长成分并且仅由可见光之外的波长成分构成的单色图像数据提取亮度信息，并且将颜色信息和亮度信息合成以产生图像数据。因为在提取亮度信息时不使用含有可见光的图像数据，所以这使得有可能获得其中清楚地显示对象的图像数据。

图像处理设备102包括颜色图像数据获取单元112、单色图像数据获取单元114、颜色信息提取单元122、亮度信息提取单元124和合成单元130等。

颜色图像数据获取单元112是获得作为使用彩色摄像装置进行摄像的结果而获得的彩色图像数据的图像获取单元的示例。彩色摄像装置是在光探测器前方安装有红色、绿色和蓝色滤光片并且输出由红色成分、绿色成分和蓝色成分构成的彩色图像数据的摄像装置。

如果从彩色摄像装置获得的彩色图像数据仅由可见光区域中的波长成分构成，彩色图像获取单元112将仅由可见光区域中的波长成分构成的彩色图像数据照原样发送到颜色信息提取单元122。另一方面，如果从彩色摄像装置获得的彩色图像数据含有除了可见光区域之外的红外光成分等的波长成分，那么彩色图像数据获取单元112移除可见光区域之外的波长成分，并且将仅由可见光区域中的波长成分构成的彩色图像数据发送到颜色信息提取单元122。

通过从彩色图像数据移除诸如红外光成分等的波长成分，可以获得可以由人类感知而接收到并且容易由人眼识别的彩色图像。

单色图像数据获取单元114是图像获取单元的示例并且获得作为使用单色摄像装置进行摄像的结果而获得的单色图像数据。单色摄像装置是在光探测器前方没有安装有彩色滤光片并且输出由亮度信息构成的单色图像数据的摄像装置。因为单色摄像装置没有安装有彩色滤光片，所以其具有更高的灵敏度并且能够以比彩色摄像装置更高的空间分辨率来摄像。

如果从单色摄像装置获得的单色图像数据由仅由可见光区域之外的波长成分构成，单色图像数据获取单元114将仅由可见光区域之外的波长成分构成的单色图像数据照原样发送到亮度信息提取单元124。另一方面，如果从单色摄像装置获得的单色图像数据含有可见光区域的波长成分，那么单色图像数据获取单元114移除可见光的波长成分，并且将仅由可见光区域之外的波长成分构成的单色图像数据发送到亮度信息提取单元124。

通过从单色图像数据移除可见光成分，变得有可能获得其中物体即使在由于天气条件(诸如雾、霾等)而具有低视野清晰度的环境下也清楚的单色图像。

上述彩色图像数据可以仅由等于或小于预定值(例如，675nm)的波长成分构成，并且单色图像数据可以由等于或大于该预定值(例如，675nm)的波长成分构成。注意，预定值不限于上述示例。例如，彩色图像数据可以含有在400nm到700nm的范围的波长成分，并且单色图像数据可以含有在700nm到1000nm的范围内的波长成分。然而，彩色图像数据可以含有下述波长成分：这些波长成分在短波长侧的半值波长在420nm到460nm的范围内，在长波长侧的半值波长在610nm到650nm的范围内；单色图像数据含有下述波长成分：这些波长成分在短波长侧的半值波长在650nm到750nm的范围内。

颜色信息提取单元122将从彩色图像数据获取单元112的接收的彩色图像数据分解为亮度信息Y1和色差信息Cb和Cr，并且提取色差信息Cb和Cr，其中仅由可见光区域中的波长成分构成彩色图像数据。色差信息Cb和Cr是颜色信息的示例。颜色信息提取单元122将所提取的色差信息Cb和Cr发送给合成单元130。亮度信息Y1不一定被发送到合成单元130，因为它不在合成单元130中用于合成处理。

为了将其中每个RGB由8比特表示的彩色图像数据分解为亮度信息Y1和色差信息Cb和Cr，例如，可以使用以下数学公式1到3来将RGB信号转换为YCbCr信号。

Y1＝0.257R+0.504G+0.098B+16  (公式1)

Cb＝-0.148R-0.291G+0.439B+128(公式2)

Cr＝0.439R-0.368G-0.071B+128(公式3)

亮度信息提取单元124提取从单色图像数据获取单元114接收的单色图像数据来作为亮度信息Y2，其中单色图像数据仅由除了可见光区域之外的波长成分构成。亮度信息提取单元124将所提取的亮度信息Y2发送到合成单元130。

合成单元130将从颜色信息提取单元122接收的色差信息Cb和Cr以及从亮度信息提取单元124接收的亮度信息Y2合成，并且产生复合图像数据。为了通过将色差信息Cb和Cr和亮度信息Y2合成而产生其中每个RGB由8比特表示的彩色复合图像数据，例如可以使用以下公式4到6来将YCbCr信号转换为RGB信号。

R＝1.164(Y2-16)-1.596(Cr-128)              (公式4)

G＝1.164(Y2-16)-0.391(Cb-128)-0.813(Cr-128)(公式5)

B＝1.164(Y2-16)-2.018(Cb-128)              (公式6)

[图像处理设备102的操作]

之后，参照图4，将会描述根据上述实施例的图像处理设备102的合成处理。图4是用于示出根据实施例的图像处理设备102的合成处理的流程图。

首先，图像处理设备102获得仅由可见光区域的波长成分构成的彩色图像数据以及仅由除了可见光区域之外的波长成分构成的单色图像数据(步骤S1)。

之后，将彩色图像数据分解为亮度信息Y1以及色差信息Cb和Cr，色差信息Cb和Cr是从彩色图像数据提取出来的。此外，从单色图像数据提取亮度信息Y2(步骤S2)。

随后，将从彩色图像数据提取的色差信息Cb和Cr与从单色图像数据提取亮度信息Y2合成，并且产生复合图像数据(步骤S3)。

[成像设备100]

之后，将要说明上述图像处理设备102将要应用到的成像设备100。换言之，将要解释图像处理设备102内置在成像设备100中作为信号处理电路的情况。

图2是用于解释根据实施例的成像设备100的框图。成像设备100例如包括光学系统101和图像处理设备102。光学系统101将彩色图像数据和单色图像数据分别发送到如图2所示的图像处理设备102。

图3是用于示出根据实施例的光学系统101的示意图。图3示出了每个光学组件的概略外观和光路。

光学系统101包括前透镜151、分光反射镜152、透镜组153、彩色摄像装置154、透镜组155和单色摄像装置156等。在光学系统101中，分光反射镜152将光进行分光分光，成为仅由可见光区域中的波长成分构成的第一光和不含有第一光并且仅由可见光区域之外的波长成分构成的第二光。彩色摄像装置154接收从光学元件照射的第一光，并且单色摄像装置156接收从光学元件照射的第二光。

前透镜151接收在对象上反射的光，使来自对象的光透射并折射，以将该光照射到分光反射镜152上。

分光反射镜152在其表面上蒸镀了二向色(dichroic)膜。分光反射镜152反射可见光区域中的波长成分，诸如在入射光中的等于或小于675nm的波长区域中的波长成分，并且使得在可见光区域之外的其他波长成分透过，诸如在入射光中的等于或大于675nm的近红外光波长成分。等于或小于675nm的波长成分透过透镜组153，照射到彩色摄像装置154上以形成图像。注意，用于由分光反射镜152分光的波长成分的阈值不限于675nm，并且可以是其他值。

图5是用于示出在分光反射镜152上反射的光的反射光谱的图。如图5所示，分光反射镜152主要将等于或小于波长675nm的光引导到彩色摄像装置154。因为可以理解人眼的光谱灵敏度如图7所示，所以由彩色摄像装置154引导的光的波长可以主要在可见光区域中。图7是用于示出人体的视锥细胞(S、M、L)和视杆细胞(R)所含有的视色素的吸收光谱的图。

图6是用于示出透过分光反射镜152的光的光谱透射率的图。如图6所示，分光反射镜152主要将等于或大于波长675nm的光引导到单色摄像装置156。参照图7，由单色摄像装置156引导的光的波长可以大体上在可见光区域之外的区域中。

注意，包括成像透镜的其他光学组件在400nm到1100nm的范围内的波长中有效地透射，并且不会遮挡到达彩色摄像装置154和单色摄像装置156的光。

作为彩色摄像装置154和单色摄像装置156，可以使用各种类型的固态摄像装置，诸如CCD固态摄像装置、MOS固态摄像装置、CMOS固态摄像装置等。彩色摄像装置154是在光探测器前方安装有红色、绿色和蓝色滤光片并且输出由红色成分、绿色成分和蓝色成分构成的彩色图像数据的摄像装置。单色摄像装置156是在光探测器前方没有安装彩色滤光片并且输出亮度信息构成的单色图像数据的摄像装置。

图8是用于示出彩色摄像装置154的光谱灵敏度特性的图。可以理解已经如图5所示在分光反射镜152上反射并入射到彩色摄像装置154的波长的、等于或小于675nm波长的波长区域，与图8中示出的彩色摄像装置154具有光谱灵敏度的区域相匹配。因此，彩色摄像装置154能够在没有损失的状态下捕获可见光。

图9是用于示出单色摄像装置156的光谱灵敏度特性的图。如图9所示，虽然单色摄像装置156在可见光区域中表现出最大灵敏度，但是它仍然在波长675nm到1000nm的近红外光区域中具有有效的灵敏度。因此，单色摄像装置156可以接收波长等于或长于675nm的波长成分，其中675nm波长比透过分光反射镜152并且入射到单色摄像装置156的可见光更长。

彩色摄像装置154和单色摄像装置156被定位为使得彩色图像数据的对象图像与单色图像数据的对象图像相匹配。可以通过机械方法、通过在图像合成时使用软件的方法或者通过使用这两种方法来执行用于匹配对象图像的定位。

优选地，彩色摄像装置154和单色摄像装置156的光学尺寸几乎相同。在这种构造中，在不特别调整的状态下，在由分光反射镜152分光的两个光学系统中视角、焦点深度和成像区域几乎相同是有优势的。

在彩色摄像装置154和单色摄像装置156的光学尺寸相同的情况下，构造将会满足Mn≥Cn，其中彩色摄像装置154的像素数目是Cn并且单色摄像装置56的像素数目是Mn。在这种构造中，因为彩色摄像装置154的像素数目Cn等于或小于单色摄像装置56的像素数目Mn，所以彩色摄像装置154的每个像素的尺寸比单色摄像装置156的每个像素的尺寸更大。因此，彩色摄像装置154的灵敏度可以被设置得更高，从而相对于具有大的像素数目的其他彩色摄像装置改善了灵敏度。另一方面，单色摄像装置156的像素数目Mn很大，因此单色摄像装置156确保了高分辨率。

[本实施例的效果]

通过例如将其应用到广域监视摄像机，本实施例的成像设备100可以获得最佳的结果。根据本实施例，可以对于广域监视摄像机满足以下三个条件。

所要求的第一个条件是即使在对象由于雾、霭等而难以被看到的拍摄条件下也能够清楚地拍摄所关注的对象。第二个条件是即使在具有低亮度的暗环境下也能拍摄对象。第三个条件是获得彩色图像，因为在许多情况下通过诸如衣服的颜色的颜色信息进行识别可能是重要的。

首先，将要解释第一条件。为了清楚地对对象成像，对象的反射光可以在没有减弱的状态下到达摄像装置是很重要的。在本实施例中，因为亮度信号在图像分辨率上有影响，所以使用了在比可见光更长的675nm到1000nm的范围内的波长的近红外光(NIR)。

图10是用于示出根据瑞利散射公式的散射量与波长之间的关系的图。根据瑞利散射公式，在d≤λ/π的情况下，散射强度与光波长的负四次方成比例。

这里，n是颗粒的数目，d是颗粒的直径(空气分子d＝0.37nm，烟雾d＝1nm到1000nm)，m是反射系数，并且λ是光的波长。反射系数m是在自然条件下给定的，光的波长λ可以根据成像设备100的设计条件来改变。

根据瑞利散射公式，近红外光(NIR)比400nm到675nm波长范围内的可见光具有更小的散射量。由于这个原因，在空气中，或者在直径等于或小于光波长的三分之一的气悬微粒悬浮的环境下，即使在对象由于雾、霭等而难以被看到的拍摄条件下也能够通过应用本实施例的技术比传统的摄像机更加清楚地拍摄所关注的对象。

此外，根据可以应用到在直径等于或小于光波长的三分之一的气悬微粒悬浮的环境的米氏理论的散射公式，散射量与光波长的0到负二次方的范围成比例。由于这个原因，即使在雾的环境下，近红外光(NIR)难以比可见光更加被散射。因此，使用近红外光(NIR)的本实施例使得有可能即使在雾的环境下比传统摄像机更清楚地拍摄对象。

之后，将要解释第二条件。根据本实施例，可以在具有低亮度的暗环境下对对象进行成像。本实施例使用传统彩色摄像机不使用的近红外光(NIR)，并且因为NIR被包括在黄昏或人工照明的光线中，所以在低亮度下具有优势。此外，为了接收NIR，本实施例使用能够以比彩色摄像装置154更高的灵敏度和更高的空间分辨率成像的单色摄像装置156。因此，本实施例在低亮度下具有优势。

图11是用于示出单色摄像机和彩色摄像机的灵敏度和最小对象亮度的示例的表格。这是在相同的光探测器前方安装有RGB彩色滤光片的彩色摄像机与在光探测器前方没有安装彩色滤光片的单色摄像机的比较的示例。与彩色摄像机相比，可以理解单色摄像机具有更高的灵敏度并且更低的对象亮度。因为彩色摄像装置在光探测器前方具有RGB彩色滤光片，所以与单色摄像装置相比，RGB中每个颜色的任何像素具有更低的灵敏度。

随后，将要解释第三条件。根据本实施例，将会获得彩色图像。单色摄像装置可以以低的亮度拍摄，然而明显难以获得颜色信息。另一方面，本实施例使用从彩色摄像装置154获得的颜色信息和从单色摄像装置156获得的亮度信息来满足第一和第二条件以及满足第三条件，来拍摄彩色图像。

<2.修改示例>

上文中已经在图像处理设备102内置在成像设备100中作为信号处理电路的情况下描述了图像处理设备102，但是本发明不限于这种示例。例如，如图12所示，图像处理设备102可以在成像设备200外部。图12是用于示出根据本发明的实施例的修改示例的成像设备200和图像处理设备102的框图。这里，图像处理设备102可以是个人计算机、服务器设备等。成像设备200包括上述光学系统101并且输出仅由可见光区域中的波长成分构成的彩色图像数据以及不包括可见光区域中的波长成分并且仅由可见光区域之外的波长成分构成的单色图像数据。

此外，如图13所示，在本发明中，图像处理设备102可以从两个成像设备300a和300b接收图像数据。图13是用于示出根据本发明的修改示例的成像设备300a、300b和图像处理设备102。成像设备300a是具有彩色摄像装置的摄像机，能够拍摄彩色图像并且输出仅由可见光区域中的波长成分构成的单色图像数据。成像装置300b是具有单色摄像装置的摄像机，能够拍摄单色图像，并且输出不包括可见光区域中的波长成分并仅由除了可见光区域之外的波长成分构成的单色图像数据。

注意，在修改示例中，与上述实施例不同，成像设备300b可以在不使用光学系统101的情况下拍摄单色图像。因此，由成像设备300b输出的波长成分可以与由成像设备300a输出的波长成分重叠。例如，彩色图像数据仅由可见光区域中的波长成分构成，并且单色图像数据由在接近可见光区域的外侧的可见光区域中的波长成分以及可见光区域之外的波长成分构成。换言之，彩色图像数据仅由等于或小于第一预定值的波长成分构成，并且单色图像数据由等于或大于第二预定值的波长成分构成，其中第二预定值小于第一预定值。

因此，因为单色图像数据的波长成分包括靠近可见光区域的外侧的可见光区域的波长成分，所以存在关于上述第一条件移除雾、霭等的影响的可能性。另一方面，因为在单色图像数据中增加了所接收的光的量，所以对于第二条件，变得有可能即使在具有更低亮度的暗的环境下也能够对对象进行成像。

注意，执行上述图像处理的时机没有特殊的限制并且可以是可变的时机，诸如实时的或者在完成成像之后等。例如，在要实时执行图像处理的情况下，因为它在通过利用彩色摄像装置154和单色摄像装置156进行成像而获得的图像数据上执行信号处理，所以可以在短时间内产生合成图像。另一方面，可以将通过利用彩色摄像装置154和单色摄像装置156进行成像而获得的图像数据存储在记录介质上，以在之后调用图像来执行图像处理。

注意，通过将具有单色摄像装置的成像设备300b和具有彩色摄像装置的成像设备300a设置为使得成像区域几乎重叠，变得有可能拍摄于本发明的成像设备相同的图像，然而，因为摄像机分离，所以存在发生类似于视差差异、焦点偏移等问题的可能性。另一方面，因为单色摄像装置156和彩色摄像装置154分享公共摄像机，所以根据上述第一实施例的成像设备100或者根据修改示例的成像设备200具有不发生视差差异、焦点偏移的优点。

彩色摄像装置154与单色摄像装置156与图像处理设备102或者与作为记录介质的记录设备之间的连接可以被构造为通过有线(诸如线缆、电话线等)或通过无线来交换数据。此外，存在这样的情况：网络(内部网、互联网等)上的服务器设备具有用于执行图像处理的软件(计算机程序)，使得可以通过网络来访问软件以在由彩色摄像装置154或单色摄像装置156拍摄的图像上执行信号处理。

已经参照附图详细说明了本发明的优选实施例，但是本发明不限于这些示例。本领域技术人员应当理解，可以根据设计需要进行各种修改、结合、子结合和替换，只要它们在权利要求及其等价物的范围内。

在根据上述实施例的成像设备100中，用于对入射光进行分光的分光反射镜152被设置在前透镜151与透镜组153和155之间，然而，在本发明中，并不限制设置用于对入射光进行分光的光学元件的位置，并且可以将其放置在另一个位置。例如，可以将其放置在透镜组之间，或者透镜组和摄像装置之间。此外，代替设置前透镜，可以将具有相同功能的透镜设置在相同的透镜组前方，使得可以最初由光学元件对入射光进行分光。

然而，与根据上述实施例的成像设备100相似，如果分光反射镜152被设置在前透镜151与透镜组153和155之间，前透镜151被共用。在这种情况下，例如存在这样的优点：前透镜151的象差的影响变得一致，有可能将在原始摄像机中使用的透镜在没有变化的情况下用作透镜组153和155。

在本发明中，用于对入射光进行分光的光学元件不局限于分光反射镜152，但是可以是其他光学元件，诸如棱镜的组合等。

在本发明中，分光光路的数目不限于两个，并且可以被分为总共三个或更多个光路，可以通过具有多个彩色摄像装置或单色摄像装置来构造成像设备。即，成像设备可以构造为具有多个彩色摄像装置或单色摄像装置。例如，彩色摄像装置的示例可以是安装有用于R、G和B中每个颜色的摄像装置的三芯片彩色摄像装置。可以通过将三芯片彩色摄像装置和单色摄像装置结合来构造成像设备。在这种情况下，可以将光路分为四个以上光路。

本申请含有与在2010年5月12日递交给日本专利局的日本优先权专利申请JP 2010-109983中公开的主题相关的主题，并且通过引用将其全部结合在这里。

Claims (8)

1.一种图像处理设备，包括：

图像获取单元，其从仅由可见光区域中的波长成分构成彩色图像数据以及不含有所述可见光区域中的波长成分并仅由可见光区域之外的波长成分构成的单色图像数据；

颜色信息提取单元，其从所述彩色图像数据提取颜色信息；

亮度信息提取单元，其从所述单色图像数据提取亮度信息；以及

合成单元，其将所提取的颜色信息和所提取的亮度信息合成以产生复合图像数据。

2.根据权利要求1所述的图像处理设备，

其中，所述彩色图像数据仅由比预定值更短的波长成分构成，并且

所述单色图像数据仅由比所述预定值更长的波长成分构成。

3.根据权利要求1所述的图像处理设备，

其中，所述彩色图像数据含有在400nm到700nm的范围内的波长成分，

所述单色图像数据含有在700nm到1000nm的范围内的波长成分。

4.根据权利要求1所述的图像处理设备，

其中，所述彩色图像数据含有下述波长成分：这些波长成分在短波长侧的半值波长在420nm到460nm的范围内，在长波长侧的半值波长在610nm到650nm的范围内，并且

其中，所述单色图像数据含有下述波长成分：这些波长成分在短波长侧的半值波长在650nm到750nm的范围内。

5.根据权利要求1所述的图像处理设备，

其中，所述图像获取单元获得由在接近可见光区域外侧的可见光区域中的波长成分以及在所述可见光区域外侧的波长成分构成的单色图像数据。

6.根据权利要求1所述的图像处理设备，

其中，所述彩色图像数据仅由等于或小于第一预定值的波长成分构成，并且

所述单色图像数据由等于或大于第二预定值的波长成分构成，所述第二预定值小于所述第一预定值。

7.一种图像处理方法，包括以下步骤：

获得仅由可见光区域中的波长成分构成的彩色图像数据以及不含有所述可见光区域中的波长成分并仅由所述可见光区域之外的波长成分构成的单色图像数据；

从所述彩色图像数据提取颜色信息；

从所述单色图像数据提取亮度信息；以及

将所提取的颜色信息和所提取的亮度信息合成以产生复合图像数据。

8.一种程序，其使得计算机执行以下步骤：

获得仅由可见光区域中的波长成分构成的彩色图像数据以及不含有所述可见光区域中的波长成分并仅由所述可见光区域之外的波长成分构成的单色图像数据；

从所述彩色图像数据提取颜色信息；

从所述单色图像数据提取亮度信息；以及

将所提取的颜色信息和所提取的亮度信息合成以产生复合图像数据。

Images