CN1284381C

CN1284381C - 摄像系统

Info

Publication number: CN1284381C
Application number: CNB008129614A
Authority: CN
Inventors: 默罕默德·阿布里拉·阿部德拉迪夫; 北村光司
Original assignee: Nature Tech Co Ltd
Current assignee: Nature Tech Co Ltd
Priority date: 1999-09-17
Filing date: 2000-09-14
Publication date: 2006-11-08
Anticipated expiration: 2020-09-14
Also published as: US20050117045A1; CA2385173A1; KR20020032595A; CN1375166A; EP1220547A4; AU7313000A; EP1220547A1; JP3796174B2; WO2001022737A1

Abstract

一种用于校正图像的颜色的摄像系统，包括：摄像机：具有镜头、摄像元件、感光元件和反射面并在所述摄像元件上拍摄主画面，所述摄像元件和所述感光元件具有多个颜色通道，所述反射面配置在所述镜头的前面、与所述摄像机的所述感光元件对应的视野内、且在反射来自所述主画面或其附近的参照画面的光的同时通过所述镜头使所述感光元件感光；校正装置：根据参照信号值校正拍摄的所述主画面的图像的颜色，该参照信号值是作为由所述感光元件接收的参照画面的反射光中的一个像素部分的值或多个像素部分在所述每个颜色通道上的平均值求出的。

Description

摄像系统

技术领域

本发明涉及用于对被拍摄物体进行颜色校正或稳定图像的浓度的摄像系统、及其使用的摄像机和图像处理装置。

背景技术

物体的颜色容易受到入射光的影响，想让由摄像机拍摄到的图像的颜色不受入射光的影响而保持恒定是非常困难的。而人即使在这种情况下仍可以对物体的颜色有恒定的认识，这种能力称为颜色的不变性(Color Consistency)。

过去，为了保持颜色的不变性，对于由摄像机拍摄到的图像有两种颜色校正方式：对摄像各分区分别校正的分区(Spatial)校正方式和对图像整体平均校正的整体(Global)校正方式。使用前者的例子有Retinex方式，使用后者的例子有白色修补方式和强光部参照方式等。

第一种的Retinex方式基于GWA(Gray World Assumption)理论，即假定物体表面在光检测路径中的平均色为灰色。然后，使用某一分区，例如在某个像素周围扩散的光检测路径的颜色信息对该像素进行颜色校正。

因此，采用Retinex方式时必须针对各像素根据光检测路径颜色进行复杂的计算，因此存在整体上要求计算机的计算量十分巨大的问题。另外，如果画面的颜色偏向某种颜色时，这种偏向的颜色会被当作光源颜色使用，因此Retinex方式的适用范围是十分有限的。

第二种的白色修补方式是在画面中插入白色修补，将这些白色修补上的反射光作为光源颜色，并以此为依据进行颜色校正。但是，现实中要在被拍摄画面中直接插入白色修补是非常困难的。

第三种的强光部参照方式，例如假定饱和像素周围的光为强光部，将其周围的光作为光源颜色。因此，必须在被拍摄的画面上单独寻找强光部，图像处理过程非常复杂。另外，由于对应强光部的像素已经饱和，从该处寻找光源颜色几乎不可能。

因此，为解决上述方式中的问题，发明人建议使用称为诺兹(nose)方式的分区校正方式。其国际申请编号为PCT/JP96/03683号(国际公开号WO98/27744号)。使用该诺兹方式的摄像系统具有镜头，摄像元件和反射面，设有将主画面拍摄在上述摄像元件上的摄像机和使用通过反射面得到的参照画面的信息来校正上述主画面中的图像的图像处理装置。然后，预先在参照画面与主画面之间进行使两者对应的映射，在图像处理装置中，用各主画面中的各像素中的颜色除以与其对应的参照画面的颜色，从而实现对主画面的颜色校正。

但是，使用诺兹方式时，必须在参照画面与主画面之间进行使两者对应的映射操作。因此，为保证颜色校正的正确性，必须在映射前进行复杂的校准，而此项校准工作十分繁琐。另外，为了进行映射操作，必须保证在拍摄后的图像上有足够面积的参照画面。因此，当主画面与参照画面存在于相同图像范围内时，主画面的大小将减少参照画面部分那么大。

鉴于以上状况，本发明的第一目的是：提供一种通过简易的校准进行颜色校正以保持颜色的不变性并稳定图像的浓度的摄像系统、及其使用的摄像机和图像处理装置。

另外，本发明的第二目的是：提供一种在参照画面的面积很小时仍能进行充分地颜色校正的摄像系统。

发明内容

为实现上述要求，本发明提供一种用于校正图像的颜色的摄像系统，其特征在于，包括：摄像机：具有镜头、摄像元件、感光元件和反射面并在所述摄像元件上拍摄主画面，所述摄像元件和所述感光元件具有多个颜色通道，所述反射面配置在所述镜头的前面、与所述摄像机的所述感光元件对应的视野内、且在反射来自所述主画面或其附近的参照画面的光的同时通过所述镜头使所述感光元件感光；校正装置：根据参照信号值校正拍摄的所述主画面的图像的颜色，该参照信号值是作为由所述感光元件接收的参照画面的反射光中的一个像素部分的值或多个像素部分在所述每个颜色通道上的平均值求出的。

在此摄像系统中，如果其构成为用数字或模拟电路对上述的校正装置进行电图像处理时，该校正装置作为校正部分，用于获得通过用上述摄像元件拍摄的主画面的各坐标位置的主信号值(r[x][y]，g[x][y]，b[x][y])分别除以上述每个颜色通道的参照信号值(rn，gn，bn)，来获得上述主信号值的校正信号值(rc[x][y]，gc[x][y]，bc[x][y])。

具备上述特征的摄像系统可用来保持彩色图像的颜色不变性，为此，上述摄像机的摄像元件及感光元件具有多个颜色通道，上述的图像处理装置用每个颜色通道的上述各主信号的值除以每个颜色通道的上述参照信号，来实现对主信号的校正。

这里，在说明本发明对稳定图像浓度方面所起的作用时，我们以彩色摄像机的颜色不变性为例。当然本发明同样可用于稳定黑白摄像机中的图像的浓度。

当某画面中的物体表面由一个光源照射时，反射光I(λ)可用以下公式表示：

I(λ)＝E(λ)S(λ) (1)

这里的S(λ)是物体表面的反射函数，E(λ)是随形状几何变化的光源的光谱强度分布(SPD)，λ是光源的波长。

不均匀的绝缘性表面的反射，是由称为边界反射和固体(body)反射的两个组成部分线性相加而得到的。我们周围大多种类物体的表面，例如衣服，人，墙壁，喷涂过的金属，塑料等，都属于不均匀的绝缘性表面。图36表示了将彩色颜料分散在彩色媒介物中的表面构造。若干入射光被彩色媒介物的表面和周围媒体的边界所反射，这部分称为边界反射(I)，它代表了光源颜色。其它的入射光经过多个彩色颜料间的连续相互反射，成为传递随光原色变化的所谓表面色的颜料颜色的固体反射(B)部分。这些模型称为二色性模型，物体表面的反射函数S(λ)可用以下公式表示：

S(λ)＝[m_I(g)c_I(λ)+m_B(g)c_B(λ)] (2)

m_I(g)和m_B(g)分别是边界反射和固体反射的基准系数，它们仅取决于照明及摄像范围(viewing)的几何关系。另外，c_I(λ)和c_B(λ)分别是边界反射和固体反射的光学构成要素，仅由光源的波长决定。

如果物体是金或铜，上述的边界反射(I)将改变入射光的颜色。但银、铝等金属和脂肪，油，腊等彩色媒介物等地球上多数其它物体的表面遵循中性边界反射(NIR)原理，即在不改变入射光颜色的情况下传递光的上述SPD值。多数情况下边界反射(I)表现为强光部分，因此我们认为大多数物体的镜面反射(I)传递入射光的颜色。

上述的边界反射到达摄像机时，对摄像元件的各像素上的光亮度进行有上限的积分，则在某一点的光谱观测结果可由下面的公式求出：

ki(x，y)＝[∫∫∫Ri(λ)(I(X，Y，λ)dλdxdy)^γ+b (3)

将这里的注脚i替换为1，2，3中的任何一个的值分别对应红、绿、蓝，(x，y)是摄像的坐标。(X，Y)是摄像中心的世界坐标。Ri(λ)表示与采样滤波器的特性建立关联的第i项光谱的响应。γ是图像-电信号的转换指数。b是传感器偏移或称为暗噪声。调整这些指数γ和暗噪声b的值，使得输出信号确实为γ＝1和b＝0的线性图像，

下面，参照图37来考虑物体的反射光在前述的反射面中的相互反射(inter-reflection)的情况。射向物体的入射光作为表面反射(I)和固体反射(B)分别朝向摄像机和反射面。到达反射面的反射光，当反射面符合二色性模型时，会作为表面-表面反射(II)，固体-表面反射(BI)，表面-固体反射(IB)，固体-固体反射(BB)进行相互反射。当然，反射面也遵循NIR原理对光源颜色进行原样反射，因此反射面最好采用铝、白色或灰色树脂或纸等材料制作。

这些相互反射的反射光中，固体-固体反射(BB)由于强度非常弱可以不予考虑。此外，表面-固体反射(IB)由于反射面是光学平面，因此不会改变光的光谱，另外比表面-表面反射(II)小。因此，反射面的材料不论选择不符合二色性模型的铝等材料，还是采用符合二色性模型的材料，均可认为相互反射光的要素是相同的。这里，入射到反射面上、在反射面上的某坐标相互反射的光C(Xn，Yn，λ)可由下式表示：

C(Xn，Yn，λ)＝∫∫B 1(X，Y)Sn(X，Y，λ)S(X，Y，λ)E(X，Y，λ)dXdY (4)

图38是表示在反射面的表面上基于漫射镜面反射的第一模糊现象的过程的图。沿入射光路S1入射的入射光对于镜面反射的反射光路S1’强度最大，远离S1’强度逐渐减小，呈现出曲线G1所示的强度分布。另外，沿入射光路S2入射的入射光同样是对于镜面反射的反射光路S2’的强度最大，远离S2’强度逐渐减小，呈现出曲线G2所示的强度分布。因此，沿反射光路C’的反射光的强度，例如是由曲线G1，G2与反射光路Sn'的交叉所定出的各值相加后的强度。上述公式(4)中的B1(X，Y)项是第一模糊现象的函数，仅由表面的粗糙度决定。另外，上述公式(4)中的Sn(X，Y，λ)项表示反射面的光谱的反射率，由世界坐标及波长λ决定。而且，在假定为NIR的情况下，Sn(X，X，λ)的取值为1。

例如，从反射面反射的相互反射光通过镜头射入作为感光元件的摄像元件时，由于反射面被放置在镜头附近，该相互反射光被镜头散射。根据空间模糊函数B2(Xn，Yn)，反射面上的一点浓度产生变化，被投影为一个圆。图39表示了由于散射造成的模糊。到达摄像元件上的点的相互反射光Cin(Xni，Yni，λ)可用下面的公式表示：

Cin(Xni，Yni，λ)＝∫∫B2(Xn，Yn)C(Xn，Yn，λ)dXndYn (5)

这里的注脚ni例如对应通过从反射面相互反射得到的参照画面的摄像元件上的各像素。该光Cin(Xni，Yni，λ)例如到达摄像元件上时，该光的光谱观测结果kin(x，y)可参照前面的公式(3)用如下方法求出：

kni(x，y)＝[∫∫∫Ri(λ)Cin(Xni，Yni，λ)dλdXnidYni]^γ+b (6)

简而言之，参照画面中各坐标的RGB强度kni(x，y)是将上述的边界-边界反射(II)和固体-边界反射(BI)作为上述的B1，B2两个模糊函数的卷积表现出来的。

当主画面中强光部的边界反射光线I直接被摄像元件拍摄时，多数情况下光线会超过镜头的动态范围，而且会占据较小的面积。因此，即使强光部包含光源的信息也很难被有效利用。

对此，可以利用反射面甚至是镜头的模糊部分，通过上述两个卷积使强光部的光扩散，进而动态范围由于反射而衰减变小。因此，与仅由直接图像捕捉强光部的方法相比，利用反射面进行强光部捕捉能更简单地利用强光部得到光源颜色的信息。另外，由于强光部的边界反射I比固体反射B的灰度要高，因此比固体-边界反射BI所起的作用还要大。但是，对于几乎没有强光部的画面，固体-边界反射BI在参照画面中被用来对主画面进行校正。这种情况下，上述的两个卷积实际上与先前提到的GWA理论在光学处理上等价。因此，本发明将通过参照强光部进行校正与根据GWA理论进行校正置于平行地位同时进行。

然而，上述现有的第四个公报中记载的方法中，将参照画面的各坐标位置的光谱kni(x，y)，与主画面的各坐标位置的光谱kn(x，y)进行映射，然后用每个坐标的值进行除法运算，从而进行作为分区方法的颜色校正。

但是，得出的结论是在多数场合下，对于太阳光和屋内电灯等，光源颜色以主要的一种颜色来处理也没什么问题。此外，由于由使用反射面导致的上述卷积将强光部的信息扩散到参照画面内，因此可以找到一种从参照画面的一部分对全体光源颜色进行采样的方法。

因此，在本发明中，通过将由感光元件接收到的参照画面反射光中的一个像素部分的值或多个像素部分的平均值作为参照信号求出，求出代表光源颜色的一个值(对应3种颜色的向量)。另外，反射面只需在反射主画面或其附近的附属参照画面的光的同时使感光元件感光即可。在设计该反射面时，只要沿着反射光的主路径反射主要来自主画面或其附近的附属参照画面的光即可。

然后，为了用数字或模拟电路实现图像校正，例如，用由摄像元件拍摄的主画面中各坐标位置的主信号值除以一个参照信号的值(向量)，来进行主信号的校正。

本发明是原则上使用代表单一光源颜色的值的整体校正方式。因此，与反射面对应的参照图像部分与主图像部分间的对应关系比现有技术粗略，从而校准工作也非常简单易行。此外，因为参照图像部分与主要图像的对应关系可以比现有技术粗略，其结果，即使参照图像部分的面积很小仍能进行颜色校正。另外，在颜色校正时，由于同一个参照信号值能够适用于图像的整体范围，实际上在各颜色通道中只需除以一个相同的值即可，从而可以大幅度地提高校正的速度。

但是，在计算机上除法运算比乘法运算的处理负荷要高出许多。但是，根据本发明，作为进行除法运算时的分母的参照信号值在各颜色通道中是相同的，因此如果将用上述的参照信号值(rn，gn，bn)作为分母的系数(sr，sg，sb)预先算出，然后将这个系数(sr，sg，sb)与上述各主信号的值(r[x][y]，g[x][y]，b[x][y])相乘即可对主信号进行校正，这样的图像处理装置很容易实现。另外，上述各颜色通道中的上述各系数(sr，sg，sb)也可以将各颜色通道不同的参照信号(rn，gn，bn)作为分母，将各颜色通道相同的另一个系数(s)作为分子进行处理。

也可以如下构成图像处理装置：从由上述的摄像元件或是感光元件顺序送来的帧信号中的某一帧信号中求出前面提到的系数(sr，sg，sb)，用这个系数(sr，sg，sb)与从一段时间过后的其它帧中得到的各主信号值(r[x][y]，g[x][y]，b[x][y])相乘对主信号进行校正。这时，如果将系数(sr，sg，sb)与多个分别从其它帧得到的各主信号值(r[x][y]，g[x][y]，b[x][y])共同相乘来进行校正，即可减少上述系数的计算次数，从而进一步提高速度。这样的结构可以通过设置一个能够将从上述其它的帧得到的信号与系数(sr，sg，sb)相乘的视频放大器来实现。

上述的图像处理装置中，上述主信号值(r[x][y]，g[x][y]，b[x][y])取该信号集合中最大值(rm，gm，bm)时，通过设定上述另一个系数(s)的值，使作为最大值的值(rm，gm，bm)接近上述主信号值的最大标度值(D)。通过这一设定，可以减小强光部与其周围的校正图像间极大的浓度差异。

此外，也可以如下构成图像处理装置：某个像素上两个通道内主信号的值达到上述最大标度值(D)且其它通道内的主信号值未达到上述最大标度值(D)时，将该像素定义为不正确像素，通过设定另一个系数(s)的值，使该不正确像素集合中的上述其它通道内的最小值(rcm，bcm)至少达到上述最大标度值(D)。通过该构成，可以像处理强光部一样对不正确像素进行修正，进一步减少校正后图像中不自然的成份。

实验证明，当某个像素中仅蓝色通道内的主信号值达到上述最大标度(D)且其余的红色绿色通道内的主信号未达到上述最大标度(D)时，该蓝色通道的主信号校正值(bc)可以根据红色绿色通道内的校正值(rc，gc)之间的比值算出。

互联网等技术中使用了图像压缩。由于压缩会损失有用的颜色信息，所以本发明的图像处理装置适用于在压缩之前进行校正。

在构成本发明的摄像机时，也可以配备可将上述反射面配置在摄像机的视野外的反射面移动装置。这样，在求出反射面的参照信号值(rn，gn，bn)后，通过反射面移动装置将反射面配置在摄像机视野外的状态下进行主画面的拍摄，并根据参照信号值(rn，gn，bn)对主信号值(r[x][y]，g[x][y]，b[x][y])进行校正。这种结构可以防止参照图像部分出现在拍摄的主画面的范围中。

另一方面，在本发明的摄像系统中，可以将上述摄像元件及感光元件由单独的具有相同特性的元件构成，对应这些摄像元件和感光元件分别设置上述镜头，并使两镜头的变焦及光圈联动，形成反射面使其根据与镜头的焦距连续变更其起始点的坐标位置和角度，并将反射面固定在镜头最大视野内。这时，通过从感光元件上校正用图像部分中的选择校正部分，选择与根据焦距的反射面对应的部分，这样即使不使用可移动零件也可以使变焦与参照图像部分联动。另外，将不适于作为摄像元件使用的缺陷像素较多的感光元件用在这里，可以降低一些成本。这时可以设置一个坐标表格以在选择校正部分时除去感光元件中有缺陷像素，这样可以保持处理速度。

通过上述反射面的设置或为参照信号选择多个像素，可以将参照画面主要限定在主画面的中央部分及其附近。这样的设置，可以保证主画面的重要部分即中央部分及其附近得到正确的颜色校正。

本发明的摄像系统在图像合成时也同样适用。将摄像系统如下构成：至少有两台上述摄像机，对于一台摄像机的校正信号值(rc[x][y]，gc[x][y]，bc[x][y])，用另一台摄像机得到的参照信号值与各颜色通道相乘得到二次校正图像，将这个二次校正图像与另一摄像机的图像合成后得到合成图像。使用这种构成方式，两个图像如同用相同颜色的光源照射，能够组合出自然的图像。

另外，也可以如下构成摄像系统：具有生成计算机图像的CG(计算机图像)图像生成部和决定计算机图像的光源颜色的CG光源颜色决定部，将CG光源颜色决定部得到的光源颜色值与上述各颜色通道中的上述校正信号(rc[x][y]，gc[x][y]，bc[x][y])分别相乘，得到二次校正图像。将这个二次校正图像与由CG图像生成部生成的计算机图像合成，从而得到合成图像。使用这种构成方式，可以非常自然地将计算机图像与真实图像组合在一起。

上述摄像机中，摄像元件与感光元件最好使用相同特性的元件。如公式(6)所示，各颜色通道的强度成分由某个函数的γ次方表示。但是，这个γ取决于摄像元件的特性，所以在主信号值中除以参照信号值之前，必须先将两者的乘积求出，该信号处理较复杂。因此，通过将摄像元件及感光元件由相同特性的元件构成，可省掉用来进行无用信号处理的硬件。并且，即使是相同特性的元件，其批量间特性也会有所差异，廉价的摄像元件更是如此。但是，如果上述感光元件是摄像元件的一部分便不会产生什么问题，校正效果也会非常好。

上述摄像机中，可以设置存储部来存储记录摄像元件上的图像的图像文件，或者设置容纳部来容纳记录上述图像的胶片，上述图像可包含主图像部分以及位于全图像范围的端部的参照图像部分。

另外，上述摄像机中，也可以将全图像范围定成矩形，使参照画面位于其中一个角的位置。使用这种构成方式，可以大大减小参照图像部分的面积。在该构成中，可以使反射面绕镜头的中心轴旋转，可以根据反射面的位置选择将参照图像放置在上述的任一角上还是不将参照图像部分放置在全图像范围内。此外，上述主图像部呈横向细长的矩形，可以在全图像范围的上部或下部放置参照图像部分，因此本发明可以同样适用于各种全景摄像。

上述摄像机中，可以将上述镜头作为变焦镜头，根据上述镜头的焦距改变反射面起始点的坐标位置和角度。这时，可以让反射面根据上述镜头的焦距连续改变其起始点的坐标位置及角度，设置反射面移动装置，使反射面和上述镜头的相对位置根据镜头的焦距改变。

本发明中可以由具备用上述特征中所述的图像处理装置实现的功能的IC芯片或能实现同样功能的电路来实现。另外，本发明还可以作为记录媒体来实现，该记录媒体记录通过将用上述特征中所述的图像处理装置实现的功能载入计算机来实现的软件。另外，在具有上述特征的图像处理装置中，上述图像校正可以在通过用电话线或互联网等通信线路连接的两台计算机之间实现。

上述摄像机中，为防止反射面的参照画面受外部光线的影响，可以设置一些遮盖物来防止主画面外或参照画面外的入射到反射面上。但是，当其它光源颜色无法入射到反射面的场合，可以省去遮盖物。

本发明同样适用于黑白摄像机等单通道的摄像机。这时，可以将本发明作为稳定图像浓度的摄像系统。特征在于具有如下所述的图像处理装置：具有镜头，摄像元件，感光元件和反射面的用于在摄像元件上拍摄主画面的摄像机，将反射面放置在摄像机的视野内，将主画面以及其附近的参照画面的光反射，通过镜头使感光元件感光。然后，在感光元件接收到的参照画面的反射光中取一个像素的值或多个像素的平均值作为参照信号值(rn，gn，bn)，用通过摄像元件拍摄的主画面各坐标位置的主信号值(r[x][y]，g[x][y]，b[x][y])除以上述参照信号值(rn，gn，bn)，从而算出校正后的校正信号值(rc[x][y]，gc[x][y]，bc[x][y])。

上面论述说明了颜色校正装置是对图像信号进行电子校正的情况。也就是在图像被摄像元件和感光元件取入之后的信号处理。另一方面，CCD等摄像元件的摄像亮度范围有一定限制，强光部周围的某些像素会如上所述饱和，对图像的颜色校正造成不好的影响。另外，参照画面的反射光较弱时，校正时噪声变大，同样对颜色校正造成不好的影响。还有，如果用数字处理进行颜色校正，校正后的图像的颜色不是光滑连续，出现有欠缺的间隔。

因此，本发明建议用光学方法进行颜色校正。这种情况下，在上述的校正装置中配备用于对由参照信号的值(rg，gn，bn)确定的颜色的补色进行测定的装置，以及包含可以再现这一补色且能够改变到达摄像元件的图像颜色的光学滤光器的光学滤光器装置。而且，这种光学校正装置可以与上述利用反射面的光源颜色测定部以外的光源颜色测定方式共同使用。光学校正可以与例如上述的Retinex方式，白色修补方式，强光部参照方法及使用其它光源颜色测定传感器的方法共同使用。

构成上述光学滤光器时，基本上设置成能够改变到达感光元件的图像的颜色，计算上述补色的装置通过控制光学滤光器使上述参照信号值(rn，gn，bn)的色平衡值尽可能接近求出的色平衡值。

做为光学滤光器的一个具体形式，可以设置多个色平衡值不同的预设置滤光器，然后选出与上述补色最相近的预设置滤光器。也可以将多个预设置滤光器组合起来同时使用。

上述的光学滤光器装置包括：媒体的泵；可以将多种颜色的彩色墨水单独喷出的喷出部；可将多种颜色的墨水与媒体混合的混合器，以及能够使混合物流动的与上述光学滤光器相当的透明通路。另外，还可以包括：媒体的泵；可以将多种颜色的彩色墨水单独喷出的喷出部；可使媒体与各种墨水分别混合作成混合物的多个混合器，以及与能够使各种混合物分别通过的与上述光学滤光器相当的多个透明通路。或者，还可以包括：媒体的泵；可以将多种颜色的彩色墨水单独喷出的喷出部；可使各色墨水与媒体分别混合的多个混合器，以及能够使各种混合物分别通过的与上述光学滤光器相当的多个透明单元，每个单元设置在黑白摄像元件前表面与每个像素的RGB之一对应。相同颜色的单元间用桥路(bridge path)的方法相互连接。

上述光学滤光器也可以使用改变滤光器特性的元件。这时，如果上述的光学滤光器装置具有能够随着滤光器特性的改变而改变透光度的透光度改变装置，就可以改变滤波特性中每个颜色的强度。

上述的摄像机可以是使用具有将光分解为RGB的光学块(optical block)，和分别对应RGB的3个摄像元件的例如3CCD摄像机，在这种情况下，上述的光学滤光器就是这里的光学块。如果上述各光学滤光器装置分别配备可以改变到达各摄像元件的图像浓度的透光度改变装置，就可以进行光学校正。上述各透光度改变装置，例如，可以通过设置两个可以调整相对角度的偏振光滤光器来实现。另外，上述各透光度改变装置，也可以配置有两个可以调整相对角度的偏振光滤光器，将2个中的一个设置在上述光学块前面，另一个放在每个通道的光学块的后面。

如果用胶片作为上述的摄像元件，可以在从胶片洗印到感光纸上的过程中实施本发明。即上述测定补色的装置包括：灯；用于检测通过上述感光元件的灯光颜色的光色检测器；光源颜色测定部以及基于光源颜色测定部的补色测定部。上述光学滤光器装置，可配备能够使来自上述灯的光进一步经过上述胶片到达感光纸的滤光器，和能够将这个滤光器的颜色作为上述补色的滤光器变换装置。

但是，上述的光学滤光器装置在颜色校正前可能会产生延迟。这里，上述校正装置除了光学滤光器装置之外，还配备有电子校正部，进一步用由上述摄像元件拍摄的主画面各坐标位置的主信号值(r[x][y]，g[x][y]，b[x][y])除以各颜色通道求出的参照信号值(rn，gn，bn)，得到对主信号校正后的校正信号值(rc[x][y]，gc[x][y]，bc[x][y])。上述电子校正部，也可以在用光学滤光器装置进行颜色校正完成前进行过渡的校正处理。

这样，根据本发明的上述特征，可以提供为了通过简单校准校正颜色，以实现颜色的不变性或稳定图像的浓度的摄像系统及其使用的摄像机和图像处理装置。

另外，根据本发明的上述特征，主图像和参照图像的关系可以比传统方式粗略，因此，即使参照画面的面积很小，也可以进行充分的颜色校正。

此外，在构成为将颜色校正装置配合上述的光学执行的情况下，不论画面的光线是强是弱，都可以得到鲜明自然的校正图像。

可以通过下面的说明来了解本发明的其它目的、构成和效果。

附图说明

图1是表示摄像系统的框图。

图2表示摄像系统所用的摄像机，图(a)是侧面图，图(b)是正面图，图(c)是透视图。

图3(a)～(c)表示用于说明主画面与参照画面关系的全图像范围。图(d)～(f)是参照图像部分的扩大图。

图4表示摄像系统所用的摄像机的改进例，图(a)是侧面图，图(b)是正面图，图(c)是透视图。

图5是表示摄像系统的校正部中的处理步骤的流程图。

图6是续图5的第二流程图。

图7是续图6的第三流程图。

图8是续图7的第四流程图。

图9是续图8的第五流程图。

图10是续图9的第六流程图。

图11是表示用于说明主画面与参照画面的其它关系的全图像范围的图。

图12是表示红色通道中的颜色响应值kr与颜色柱状图rh[kr]之间的关系的图。

图13是表示红色通道中不良像素的颜色响应值krc与不良像素颜色柱状图rhc[kr]之间的关系的图。

图14是表示在个人计算机中参照信号与主信号关系的时序图。

图15是本发明的第二实施方式中对应于图2的图。

图16是本发明的第三实施方式中对应于图2的图。

图17是本发明的第四实施方式的框图。

图18是本发明的第五实施方式的框图。

图19是本发明的第六实施方式的框图。

图20是表示被摄体，反射面的倾斜角以及摄像元件上的视角之间的关系的图。

图21(a)是表示本发明的第七实施方式的图。图(b)是(a)中反射面移动装置的正面图。

图22是本发明的第八实施方式的框图。

图23(a)～(c)是本发明的第八实施方式中对应于图2的图，图(d)是表示全图像范围的图。

图24是表示本发明的第九到第十八实施方式中使用的使用光学滤光器的一般模型的框图。

图25表示本发明的第九实施方式中的滤光器旋转装置。图(a)是纵截面图，图(b)为正面图。

图26表示本发明的第十实施方式中的滤光器滑动装置。图(a)是纵截面图，图(b)为正面图。

图27是本发明第十一种方式中的滤光器旋转装置示意图。图(a)是纵截面图，图(b)为正面图。

图28是本发明的第十二实施方式的框图。

图29是本发明的第十三实施方式的框图。

图30是本发明中第十四实施方式的框图，图(a)是CCD滤光器的正面图，图(b)是该滤光器的纵截面图。

图31是本发明的第十五实施方式中的照片洗印装置的框图。

图32是本发明的第十六实施方式的框图。

图33是表示本发明的第十六实施方式中偏振滤光器与液晶可调滤光器的关系的透视图。

图34是表示本发明第十七实施方式的光学块周围的构造图。

图35是表示作为本发明的第十八实施方式的图34的一个改进例。

图36是表示不均匀非导电体表面的二色性反射模型的图。

图37是表示物体的反射光在反射面上相互反射的状况的图。

图38是表示反射面的表面上基于漫射镜面反射的第一模糊现象的过程的图。

图39是用于说明由镜头的漫射引发的模糊现象的过程的示意图。

具体实施方式

下面参照图1～14，对本发明的第一实施方式进行说明。在说明之前，先对本实施方式中使用的记号进行如下定义：

XMX：图像水平方向的像素数的最大值。

YMX：图像垂直方向的像素数的最大值。

NMIN：反射面边界线的最小值

NMAX：反射面边界线的最大值

S：用户定义的图像亮度系数

x：以像素为单位的图像水平坐标

y：以像素为单位的图像垂直坐标

rd[x][y]，gd[x][y]，bd[x][y]：红绿蓝各通道的直接图像信号值

rz[x][y]，gz[x][y]，bz[x][y]：红绿蓝各通道的零图像信号值

r[x][y]，g[x][y]，b[x][y]：红绿蓝各通道的有效输入直接图像信号值(主信号值)

rc[x][y]，gc[x][y]，bc[x][y]：红绿蓝各通道的校正图像信号值(校正信号值)

rn，gn，bn：红绿蓝各通道的反射面平均信号值(参照信号值)

kr，kg，kb：红绿蓝各通道的颜色响应值

krc，kbc：红绿蓝各通道的不良像素的颜色响应值

rh[kr]，gh[kg]，bh[kb]：红绿蓝各通道的正常像素的彩色柱状图

rhc[kr]，bhc[kb]：红绿蓝各通道的不良像素的彩色柱状图

ii：不良像素的柱状图中的像素数

i：校正用反射图像中的像素数

rm，gm，bm：正常像素中柱状图群的上限值

rcm，bcm：不良像素中柱状图群的起始值

ra[i]，ga[i]，ba[i]：反射面信号值的累加

s：比例常数

ssr，ssg，ssb：基于正常像素柱状图的柱状图的最大值的比例系数

sr，sg，sb：为得到补色用于与有效输入信号值相乘的比例常数

scr，scb：为避免在不良像素中出现颜色的必要的比例常数。

C：饱和像素的最大校正信号值

首先，图1表示的摄像系统1具有摄像机2和图像处理装置7。摄像机2如图1，2所示，在摄像机主体部3中配置了镜头单元4和遮盖物5。另外，遮盖物5的内侧装有反射体6。画像通过摄像机主体部3的CCD31上的镜头单元4的镜头41成像，该图像信号被送入后述的个人计算机8的同时由帧平均化部32处理。帧平均化部32计算入射到CCD31的总体光量，当CCD31上产生很多饱和像素等，或入射到CCD31的光量太多时，开口调整电机44使光圈43缩小；当光量太少时使光圈43扩大。本实施方式中的CCD31是彩色CCD，每一个像素中包含具有红绿蓝三色的滤光器的三个感光部。分配给一个像素的红绿蓝三个感光部，除了分配给一个CCD元件之外，还可以通过图中省略的棱镜将光分散到3个CCD元件中。

遮盖物5的作用是防止由CCD31和镜头41决定的最大视野及其附近边界以外的光射入。本实施方式中，在遮盖物5的内侧设置了凹槽6，在其内侧形成凹槽状平面反射面61。例如，O的像直接通过镜头41在CCD31上的主摄像部31a上成像，由入射到反射面61的O的像在反射面61的表面产生上述第一模糊，通过使反射面61接近镜头41而产生第二模糊的状态下到达CCD31的参照摄像部31b。如图2(b)和图3(a)(d)所示，将反射体6设置为与图像范围100的角对应，使由反射面61射出的反射光在全图像范围100的下角形成参照图像部130。主图像部110对应主摄像部31a，参照图像部130对应参照摄像部31b。反射体6的反射面后端的像位于全图像范围的100下角的周围，反射体6的反射面前端62的像在反射面捕捉部120和参照图像部130之间漫射。

反射体6由例如铝等材料构成。那么由于61是平坦的，应该设置少量的网使光产生漫反射。当然，反射面61也可以由白色或灰色的纸构成，反射面61可以由符合NIR原理的材料构成。

这里，为便于对图3进行说明，将作为摄像对象的画面与拍摄到的全图像范围100重叠表示，主画面110也是主图像部。从O入射到反射面61的光以与入射角相同的角度反射后到达CCD31。虽然从反射面前端62表面来的光到达CCD31的路径由于上述的模糊作用被扩大，但这里考虑亮度最高的光线通过的主要光线路径。反射面捕捉部120由反射面的前端62的指向方向及主要光线路径决定，通过反射面捕捉部120的中心的参照主轴101与全图像范围100下边所成的主轴角A为45度。

通过反射面捕捉部120的反射面61的像在全图像范围100的下角作为参照图像部130出现。为了将反射面捕捉部120划分为参照画面121与无用画面122，例如，只要通过下面的计算过程从参照图像部130中选择与参照主轴101垂直的选择内边界132与选择外边界133所包围的选择参照部131即可。本实施方式中全图像范围100的分辨率是水平方向680，垂直方向480。全部像素数等于二者的乘积326400个像素。这时，由反射面造成的参照画面部130的模糊范围约占全体的3％。另外，本实施方式中将x，y的值大于50小于70之间的范围作为选择参照部131的对象。这些值只是一个例子，本发明不限于这些具体的值。

当然，也可以使参照画面包括图3(a)中121x表示的全图像范围100的外侧及附近边界，以及121y表示的全图像范围100。本例中，由于遮盖物5可以围绕镜头单元4进行旋转，例如，也可以将反射体6移动到全图像范围100的上角一侧，如图3(c)表示的那样改变参照画面121的范围。此外，还可以使反射体6在全图像范围100的各边之间移动，使得将反射体6置于全图像范围100的外部。

图3(b)的例子中，将反射面61配置在遮盖物5上，使参照主轴101处在全图像范围100的对角线上。另外，在本例中选择反射面捕捉部120的中间部分作为参照画面121。这时，选择内边界134和外边界135时采用比前例小的大于30小于50的值。图3(f)中，为了得到校正图像，可以如扫描线136a～c和选择点136d所示，从选择内边界132和选择外边界133之间的部分得到参照信号。这样，通过将参照画面121限定在主画面110的中心部，可以减小在主画面110的边缘部产生的不同的光的影响。如果只考虑在全图像范围100的对角线上改变反射面61的位置(旋转180度)，可以象图4那样将遮盖物5设计成截锥体状。

下面说明用于构成图像处理装置7的个人计算机8。个人计算机8通过视频捕捉卡71将图像从CCD31中取入。视频捕捉卡71采用8位帧缓冲，将上述的信号值及颜色响应值的动态范围限定在0～255之间。本说明书中将动态范围的最大值定义为D，在本实现方式中D＝255。视频捕捉卡71根据定时器将图像信号的坐标换算成时间，用以下方式进行处理。

校正部72作为利用上述反射面61进行光源颜色的测定的光源颜色测定部工作。校正部72在处理图像信号时设定时间门限，以限定由选择内边界132和选择外边界133包围的选择参照部131。校正部72按照后面介绍的方法进行校正处理。另外，输出调整部73的作用是调整校正部72的用户定义图像亮度系数S。

开口操作部74为了对CCD31进行调零，通过帧平均化部32和开口调节电机44调节光圈43使之完全关闭，同时控制校正部72的调零。通过开口操作部74关闭光圈43的操作和调零，除了可以手动之外，也可以至少在摄像机2开始工作时自动进行调整。

校正部72的输出通过视频加速器75显示到监视器9上的同时，还可以通过I/O76由彩色打印机输出，进而存储到存储部77中。存储部77可由固定或移动式硬盘，内存元件或软磁盘等构成。

下面参照图5～9，对前面的光源颜色的测定和校正部72中的处理步骤进行说明。

图5是求当光圈完全关闭时红绿蓝各通道中零图像信号值的程序。首先，在S1中为了从原点开始扫描，将x，y代入0，在S2中判断通过开口操作部74的操作是否设置标志。通过开口操作部74将光圈完全关闭的场合，设置标志F＝1。这时判断需要求出零图像，通过S3为使标志复位使F＝0，通过S4求出原点的红绿蓝各通道的零图像信号值rz[x][y]，gz[x][y]，bz[x][y]。然后，如S5，S7所示到达图像的水平，垂直方向的像素数的最大值XMX，YMX之前，在S6，S8中使x，y分别递增一个像素，求出代表全图像范围100的全部坐标中摄像机暗噪声的零图像信号值rz[x][y]，gz[x][y]，bz[x][y]。

图6中进行输入信号的调零以及柱状图的处理。本程序中通过S9将坐标复位，通过S18～S21对全图像范围100中的所有像素进行扫描。在S10中保存红绿蓝各通道的直接图像信号值rd[x][y]，gd[x][y]，bd[x][y]。然后，在S11中，为消除暗噪声，从红绿蓝各通道的直接图像信号值rd[x][y]，gd[x][y]，bd[x][y]中减去零图像信号值rz[x][y]，gz[x][y]，bz[x][y]，从而求出红绿蓝各通道的有效输入图像信号值(主信号值)r[x][y]，g[x][y]，b[x][y]。此外，如果已经为了除去摄像机的暗噪声进行了输入信号的调零操作，S1～S11的步骤以及开口参照部74的设置就不需要了。

在S12中判断红绿蓝各通道中直接图像信号值rd[x][y]，gd[x][y]，bd[x][y]是否全部255饱和(是否小于255)。如果未饱和，通过S13在红绿蓝各通道的颜色响应值kr，kg，kb中分别输入有效输入图像信号值r[x][y]，g[x][y]，b[x][y]。然后在红绿蓝各通道上对正常像素的颜色柱状图rh[kr]，gh[kg]，bh[kb]分别进行累加。

如果在红绿蓝各通道的直接图像信号值rd[x][y]，gd[x][y]，bd[x][y]中至少有两个通道饱和，则通过S14～S17处理不良像素。这里的不良像素指3种颜色中的红色或蓝色未饱和，而剩下的两色饱和的情况。

首先，如S14中是(Yes)的情况所示，绿蓝两通道的直接图像信号值gd[x][y]，bd[x][y]饱和，而红色通道的直接图像信号值rd[x][y]未饱和的情况下，在S15中对不良像素的柱状图中的像素数ii进行累加，将红色通道的有效输入图像信号值r[x][y]设为不良像素的颜色响应值krc。然后对红色通道的不良像素的柱状图rhc[krc]进行累加。

另外，如S16中是的情况所示，红绿两通道的直接图像信号值rd[x][y]，gd[x][y]饱和，而蓝色通道的直接图像信号值bd[x][y]未饱和的情况下，由S17对不良像素的柱状图中的像素数ii进行累加，将蓝色通道的有效输入图像信号值b[x][y]设为不良像素的颜色响应值kbc。然后对蓝色通道的不良像素的柱状图bhc[kbc]进行累加。

图7的程序用于求出正常像素的柱状图群F1的上限值rm，gm，bm。首先，S22中对红绿蓝各通道的颜色响应值kr，kg，kb进行复位，如S25，S26，S29，S30，S33，S34所示，从零开始到动态范围的最大值255之间按顺序重复执行程序。随着kr的递增反复执行S23，S24的步骤，求出红色通道中正常像素柱状图群的上限值rm。如图12所示，这个上限值rm＝kr是大于10且柱状图rh超过1000时的最大kr值。同样，通过S27，S28，S31，S32的步骤的反复执行，可以求出绿色蓝色通道中正常像素的柱状图群F1的上限值gm，bm。并且，rm，gm，bm的定义步骤不只限于此，与下面的情况一样，上述值1000可能根据画面的尺寸有所不同。

图8的步骤用于求出饱和像素的柱状图群的开始值rcm，bcm。首先，S35中对红和蓝各通道中不良像素的颜色响应值krc，kbc进行复位，如S39，S40，S43，S44所示，从零开始到动态范围的最大值255之间按顺序重复执行步骤。随着krc的递增反复执行S37，S38的步骤，求出红色通道中不良像素柱状图群F2的开始值rcm。如图13所示，这个开始值rcm＝krc是值大于10且柱状图rh超过0时的最小krc值。同样，通过S41，S42的反复执行，可以求出蓝色通道中不良像素的柱状图F2的开始值bcm。并且，S36中ii为0时，由于不存在不良像素，S45中rcm，bcm的值都是255。

图9的步骤用于求出红绿蓝各通道的反射面平均信号值rn，gn，bn，再利用它们求出为了得到补色与有效输入图像信号值相乘的比例常数sr，sg，sb。如前面的图3(d)所示，参照图像部130采用选择参照部131和选择内边界132之间的部分。图中，NMAX为70，NMIN为50。S46将x，y复位，S47将选择条件赋予参照图像部130，S50，S51，S52，S53中，使x，y递增直到达到NMAX的过程中，对S48，S49进行反复执行。S48中对校正中使用的反射图像的像素数i进行累加。S49求出反射面信号值的累加值ra[i]，ga[i]，ba[i]。

S54中，通过将反射面信号值的累加值ra[i]，ga[i]，ba[i]分别除以i值，求出红绿蓝各通道的反射面平均信号值(参照信号值)rn，gn，bn。另外，将红绿蓝各通道的反射面平均信号值rn，gn，bn乘以动态范围最大值D＝255后，分别除以正常像素柱状图的上限值rm，gm，bm，可以求出基于正常像素柱状图的柱状图最大值的比例系数ssr，ssg，ssb。同样，将红蓝各通道的不良像素中的反射面平均信号值rn，bn乘以D＝255后除以不良像素的柱状图群的开始值rcm，bcm，可以求出防止不良像素中出现颜色所必要的比例常数scr，scb。S54的意义是，当图12，13的rm，rcm接近255时可以更有效利用帧缓冲区。通过调整比例常数，可以减少强光部和其附近及周边部分强烈的明暗差异。

S55在基于正常像素柱状图的柱状图最大值的比例系数ssr，ssg，ssb之中，求出最小值与最大值的平均值作为比例常数s。也可以将这些比例系数ssr，ssg，ssb中的最大值或最小值作为s求出。另外S56，S57判断当不良像素的柱状图中像素数ii超过1000时不能无视不良像素的存在，将前面的s和为防止不良像素中出现颜色所必要的比例系数scr，scb中最大者作为比例系数s求出。然后，通过事先将这个比例系数s除以红绿蓝各通道的反射面平均信号值rn，gn，bn，求出为了得到补色与有效输入图像信号值相乘的比例常数sr，sg，sb。而且，值1000是考虑选取全图像范围的全部像素数的约0.3％，但该值也可以适当选择。

图10所示的算法在求出红绿蓝各通道的校正图像信号值(校正信号值)rc[x][y]，gc[x][y]，bc[x][y]的同时，进行超过动态范围D的值等的处理。本步骤也是通过S59将坐标复位，S68～S71对全图像范围100的全部像素进行扫描。首先，S60将红绿蓝各通道的有效输入信号值r[x][y]，g[x][y]，b[x][y]分别乘以比例常数sr，sg，sb，得出红绿蓝各通道的校正图像信号值rc[x][y]，gc[x][y]，bc[x][y]。这个运算由于使用乘法，与传统使用除法的方式相比，可以大大提高处理速度。

这时，可以从同一帧中抽出有效输入图像信号和比例常数sr，sg，sb。另外，如图14的时序图TC所示，可以从第一，第二参照帧群I1，I2中的一帧的第一，第二参照帧R1，R2中求出比例常数sr，sg，sb，然后将这个比例常数sr，sg，sb与从接下来的第二，第三参照帧群I2，I3的多个帧中抽出的有效输入图像信号值r[x][y]，g[x][y]，b[x][y]分别相乘即可。比例常数sr，sg，sb的算出步骤不但不会成为瓶颈，而且速度能进一步提高。

S61中，当红绿蓝各通道的有效输入图像信号值r[x][y]，g[x][y]，b[x][y]没有一个超过255时，S62～65步骤将被省略。S62中当全部红绿蓝各通道的直接图像信号值rd[x][y]，gd[x][y]，bd[x][y]都超过255时，在S63中将红绿蓝各通道的校正图像信号值rc[x][y]，gc[x][y]，bc[x][y]中最大者作为c，将这个c的值再次代入红绿蓝各通道的校正图像信号值rc，gc，bc中。

S64中，当红绿两通道的直接图像信号值rd[x][y]，gd[x][y]不足255，且蓝通道的直接图像信号值bd[x][y]在255以上时，在S65中对蓝通道的校正图像信号值bc进行再次修正。这里，使用红和绿的信号值推算出蓝色的信号值。蓝色通道的校正图像信号值bc，是用红绿两通道的直接图像信号值rd[x][y]，gd[x][y]的差的一半加在绿色通道的直接图像信号值gd[x][y]上得到的。根据发明者的实验，这种推算方法可以得到很好的结果。

S66中，当红绿蓝各通道的校正图像信号值rc[x][y]，gc[x][y]，bc[x][y]超过255时将255代入，不足零时将0代入。然后，S67将有选择地进行了以上修正的红绿蓝各通道的校正图像信号值rc[x][y]，gc[x][y]，bc[x][y]输出。S68，S70中，当对全图像范围100进行全部扫描完成后，全部程序结束。

上述的图像处理装置实现的各功能，可以将由软磁盘，硬盘，CD-ROM等记录媒体中的记录的软件装入计算机来实现。当然，同样的功能也可以由一个或多个IC芯片或电子电路来实现。

这里，参照图11说明本实施方式中的反射面61、主画面110和选择参照部131的改进例。

上述例子中的反射面61为平面，这里通过将反射面61设为凸曲面，如图11(a)所示，可使参照画面121a占选择参照部131a的比例扩大。另外，将反射面61对应全图像范围100的角作成槽状替换为通过在全图像范围100的横向细长放置，如图(b)所示，可纵向设定细长的参照部131b。

图(c)中，将配置在全图像范围100的下侧的100a的一部分作为选择参照部131c，从参照画面121c求出照明色。此外，图(d)中的反射面与(a)一样使用凸曲面，从宽度比选择参照部131d的宽度大的参照画面121d求出照明色。并且，(c)和(d)中，在对应全图像范围100的CCD31下侧设置了与CCD31不同、对应100a的第二CCD33。

图e中设定了在全图像范围100的上下横向拉长的选择参照部131e，131e，由中央部的参照画面121e射出的照明色集中在其中一个131e上。在这个改进例中，假设需要拍摄的是画面横向拉长的全景图像。但是，为了在选择参照部131e，131e得到图像，不是象一般的全景摄像方法那样隐藏摄像范围的一部分，而是遮挡取景器的一部分，使得只有取景器部分的图像变得横向拉长。这里仅对图11的各例中CCD元件上的参照画面121和选择参照部131的关系进行了说明，使用胶片作为摄像元件的场合该关系同样成立。

下面，对本发明的其它实施方式进行说明。其中与第一实施方式相同的部件用同样的符号表示。

图15所示的第二实施方式中，由CCD31的主摄像部31a送来的主图像经过模拟或数字视频放大器79直接进行颜色校正，然后经监视器11显示出来。校正部72上的比例常数sr，sg，sb通过利用图14中第一，第二参照帧R1，R2计算，用于对经过一段时间后的第一，第二参照帧I2，I3进行校正。输出调整部73是对视频放大器79的输出进行调整的操作部。用这一构成方式的有利之处是可以用视频等级的处理速度对主图像进行校正。并且，利用从同一帧抽出的主图像和参照图像进行详细校正过的图像，可以通过视频加速器75直接录制在视频录像机12中。

图16所示的第三实施方式中，不同之处是使用化学材料的彩色胶片37，例如使用卤化银胶片作为摄像元件。即在本发明中，摄像元件、感光元件的颜色通道在形状上不分离，而是通过改变化学性质构成多个颜色的通道。彩色胶片37可以在胶片容纳部36中装上或卸下。

来自镜头41的入射光经过棱镜24分光后，在到达彩色胶片37的同时也到达感光元件35。感光元件35将图像数据传递给帧平均化部32，控制光圈43和开口调节电机44。本实施方式中的不同之处是，与摄像机2分开的图像处理装置7具有个人计算机8和胶片扫描仪16。通过将显像后的彩色胶片37放在胶片扫描仪16中进行扫描，得到含有主图像及参照图像的图像数据，再传递到I/O76。这个图像信号可用与上述其他的实施方式相同的方法进行处理。

图17所示的第四实施方式中，示出将图像从一方的与图像处理装置7连接的摄像机2，通过通信方式传递给另一方与第二个人计算机13相连的监视器9的系统。用与上述其他的实施方式相同的方法处理得到的校正图像由图像压缩部81进行JPEG等方式的图像压缩。本实施方式与图像压缩后进行校正的方法相比，没有颜色数据缺损的问题，因此能够得到良好的效果。

校正并压缩后的图像信号，可以通过通信终端14、通信终端15和互联网或电话线进行传输，再经过图像处理部82及视频加速器75后将图像显示在监视器9上。此外，由于此方式由两台计算机相互设置构成，因而可以实现双向通信。

图18所示的第五实施方式中，A和B的图像Sa，Sb分别由第一、第二摄像机2a，2b拍摄，输入视频捕捉卡71，71。例如，A的图像Sa是摄像棚中拍摄的播音员，B的图像Sb是夕阳下的室外风景。A的图像Sa通过上述的处理步骤在校正部72进行颜色校正。另一方面，从B的图像Sb，通过画面光计算部83可以根据反射面的作用计算出B的图像Sb画面中光源颜色。然后，用经第二校正部84进行颜色校正后的A的图像Sa乘以光源颜色进行第二次校正后，在图像合成部85中与B的图像Sb进行合成，经过监视器9后可以表现出自然合成的A，B图像Sab。

图19所示的第六实施方式与第五种不同之处在于，B的图像Sb使用计算机合成的图像。这个B的图像Sb可以经过CG图像生成部86显示在监视器9上。另外，CG图像生成部86中的假想光源颜色可以由CG光源决定部87求出，在第二校正部84中与校正后的A图像Sa进行相乘，实现第二次颜色校正。将这样进行了二次颜色校正的A图像Sa与图像合成部85中的B图像Sb图像合成，经过监视器9可以得到计算机合成的风景和人物自然融合的A，B图像Sab。并且，第五，第六实施方式中在求出第一、第二次颜色校正的光源颜色时，不限于使用上述反射面，还可以使用白色修补等其它方法。

图20，21所示的第七实施方式中，镜头41作为变焦镜头构成，随着其焦距的变化改变反射面61的位置及角度。图20示出了其原理。首先，最大视野VF由CCD31和镜头41决定。反射面61的反射面后部63配置在最大视野VF上的适当位置。然后，根据下列关系决定反射面61的反射角An。

摄像元件面Fd是CCD31表面的平面，反射位置顶点面Fn与通过反射面61上的反射点的摄像元件面Fd平行。被摄体面Fo与通过被摄体O的摄像元件面Fd平行。首先，考虑反射位置顶点面Fn的左侧反射角As与其它角的关系有下式成立：

As＝π-An-Ao (7)

另外，考虑反射面61的下侧有下式成立：

2As＝π-Ad-Ao (8)

将两式的反射角As整理后，有下式成立：

π-Ad-Ao＝(π-Ad-Ao)/2 (9)

将次式根据反射面角An整理后，得到下式：

An＝π/2+Ad/2-Ao/2 (10)

这里，由于被摄体角Ao相对被摄体O的位置几乎没有变化，所以Ao/2可以认为是常数。反射面角An由视角Ad决定，视角Ad由最大视野VF的位置决定。因此，反射面61的反射面后部63和视角Ad由镜头41的焦距唯一决定。

这里，参照图21(a)(b)说明具有使反射面63和反射面角An连续变化的反射面61的摄像机2。镜头41处在图21(a)中实线所示的位置时，反射面61的一部分反射面61a由反射面后部63a和反射面角An1所决定。另外，在镜头41'的焦距稍微变长而位于虚线位置的场合，反射面61b的反射面后部63b向比反射面后部63a离开镜头41的距离还大的一侧移动，反射面角An2比An1增大。沿着反射面61的反射面前端线，后端线62L，63L，配置亚反射面前端，后端62a，62b，63a，63b，在该反射面前端线，后端线62L，63L之间配置反射面61a，61b。

这样具有可连续变化的反射面61的反射体6，连接到作为反射面移动装置65的支撑棒66，并可以绕大致与镜头41的中心轴正交的第一枢轴66a摇动。此外，支撑棒66的根部通过第一枢轴66a由基础部件67支撑，相对于摄像机主体部3可以绕与第一枢轴66a正交的第二枢轴67a摇动并被支撑。另外，为了将反射体6插入遮盖物5，如前面实施方式所示，将开口5a对应全图像范围100的角部设置。此外，摄像机2中针对CCD31设置与图像取入部分联动的闪光灯21。

图21所示的摄像机2在实际使用时，绕第一枢轴66a摇动反射体6，以根据镜头41的焦距选择合适的反射面61a，62b。另外，将遮盖物5a摇动到适当的位置，挡住最大视野外射来的光。静态摄像的场合，在这种状态下先点亮闪光灯21一次，通过CCD31取入上述的参照画面121。然后，绕第二枢轴67a向外侧摇动支撑棒66使反射面61移动到镜头单元4的视野外，再次点亮闪光灯121拍摄主画面110。然后利用参照画面121和主画面110进行上述颜色校正。在视频摄像的场合可以不使用闪光灯21。另外，也可以使支撑棒66绕第一枢轴66a摇动，将反射面61移动到镜头单元4的视野外。

图22，23所示的第八实施方式中，作为感光元件的第三CCD38与前面的第一CCD31分开设置，变焦镜头单元4，4分别设置在第一，第三CCD31，38处。各镜头单元4，4的光圈43，43及开口调节电机44，44由与第一CCD31联动的帧平均化部32进行统一控制。另外，镜头41，41的焦距也是两镜头联动的。针对第一，第三CCD31，CCD38分别设置了第一，第二视频捕捉卡71x，71y。

第三CCD38与第一CCD31是同一种元件，不同之处是不良像素比CCD31多。第三CCD38之所以可以使用不良像素较多的元件，是因为只要通过反射面61能够捕捉到参照画面的光源颜色即可。然后，事先将检测出的不良像素的位置记录在71z中，在校正部72进行光源颜色计算时将不良像素除去。

第三CCD38侧面的遮盖物5内部装配有环状的反射体6。这个反射体6预先使反射面61的上述反射面角An和反射面后部63随镜头41的焦距连续变化。例如，符号61a所示的由反射面61反射的参照画面在第三CCD38上的选择参照部38a1成像，符号61b所示的由反射面61反射的参照画面在第三CCD38上的选择参照部38a2成像。这样，通过连续的反射面61在全图像范围100上拍摄到的参照图像部130中，通过选择适当的参照部137a，137b，可以针对镜头41的焦距选择出适当的参照画面，从而对主画面进行正确的颜色校正。

下面参照图24～35说明使用光学校正装置的构成。在不产生矛盾时，图中未表示的部件与上述实施方式相同因而省略。例如光圈43由图中未表示的帧平均化部32和开口调节电机44控制。

图24是第九到十八实施方式中使用光学滤光器的一般模型的框图。图像处理装置151包含并列接收来自CDD31的信号的图像处理部152和光源颜色测定部153。图像处理部152的基本构成与上述实施方式中的部分相似，不同的是它不包含光源颜色测定部和校正部。图像处理部152接收的信号输出到摄像机3a，连接到监视器等部分。

通过参照摄像部31b和光源颜色测定部153得到的光源颜色输出由补色测定部154接收，在这里求出光源颜色的补色。将通过参照摄像部31b等求出的光源颜色的RGB成分强度分别表示为Rn，Gn，Bn，将补色的RGB成分强度分别表示为Rc，Gc，Bc，则一般有下列关系成立：

C＝RnRc＝GnGc＝BnBc

但是，这里的C是常数。

因此，根据Rc/Gc＝Gn/Rn，Rc/Bc＝Bn/Rn的关系，可以求出补色的RGB成分的色平衡值Rc，Gc，Bc。

在颜色控制装置155中，将通过补色测定部154求出的补色作为滤光器放置在第一至第三位置P1～3中的任何一个位置。颜色控制装置155的具体装置如以下各实施方式所示，但其滤光器的设置位置可以是第一～第三位置P1～3中的任何一个。镜头单元4中表示的镜头41是虚拟的镜头，实际的镜头41由多个镜头构成，因此可以将滤光器设置在这些镜头之间。

第一～第三位置P1～3中的任何一个位置上设置的滤光器使摄像视野(viewing)以及反射面61射来的光通过后到达主摄像部31a和参照摄像部31b。光源颜色测定部153通过控制光学滤光器的反馈，使通过参照摄像部31b检测出的参照信号值(rn，gn，bn)的色平衡值尽量接近求出的色平衡值。即，光源颜色测定部153的作用是，求出光源颜色使其接近白色，并控制反馈使参照信号值(rn，gn，bn)中包含与白光不同的要求的色平衡值。即，本发明中，在最终将光源颜色校正为白色光以外的场合，也内在包含了将光源颜色校正为白色光的校正作用。因为校正的最终目标值不过是根据加色混合理论来确定的。

图25所示的第九实施方式表示作为颜色控制装置155的一个例子的滤光器旋转机构160。这个滤光器旋转机构160中，在由电机162控制可以单步绕轴161旋转的圆盘163上设有多个贯通孔。在该贯通孔中设有多个色平衡值不同的预设置滤光器164a～h。这些预设置滤光器164a～h的特性按不同的色温进行筛选，例如，设定日光的色温为5500K，钨类型的人造光的色温为3200K左右。选择其色温与补色的色温最接近的预设置滤光器164a～h。

图26所示的第十实施方式表示作为颜色控制装置155的又一个例子的滤光器滑动机构170。这个滤光器滑动机构170中具有：可通过图中未画出的驱动部件沿与CCD31和镜头41的光轴垂直的xy方向移动的滤光器支撑板171以及在滤光器支撑板171上形成的贯通孔中设置的多个预设置滤光器172a～i。本实施方式中，可以用与上述实施方式中相同的方法选择适当色温的预设置滤光器172a～i。

上述第九和第十实施方式可以分别将两个以上的轴161或滤光器支撑板171组合使用。这种情况下，可以在若干贯通孔中不设置滤光器。这样可以将多个滤光器组合使用。

作为将多个滤光器组合使用的构成方式，可以考虑使用图27所示的第十一实施方式的滤光器旋转机构180。这种实施方式中，设置多个预设置滤光器183a～f，使其可以通过电机182绕轴181进行单步摇动。

图28所示的第十二实施方式中，提供液体滤光器系统190作为与颜色控制装置155相当的使用了液体的光学滤光器装置。这个液体滤光器系统190中，水箱191中储存的水或油等媒体，经过泵192输送到混合器193。泵192使用隔板(diaphgram)型泵等结构简单的可以输出少量液体的泵即可。颜色控制器194根据补色测定部154的信息，对墨水喷嘴195a～c的各部分的墨水喷出量进行控制。

墨水喷嘴195a～c储存有青，洋红，黄色(CMY)的墨水。这些墨水可以用酸性蓝#25，酸性红#289，酸性黄#23调和。墨水的颜色也可以是RGB，但由于摄像元件的滤光器等一般是RGB，而此液体滤光器系统190的目的是求出补色，所以最好使用CMY墨水。

墨水喷嘴195a～c喷出的墨水通过混合器193与媒体混合，输送到透明通路196。这个透明通路196由透明的玻璃板以间隔非常小的距离重叠，形成非常薄的通路，内部流动的墨水混合物作为滤光器起作用。通过透明通路196的混合物经排出口197排出。图中未示出，镜头4实际是由多个镜头组合而成，因此可以将组合构成的镜头间的空隙作为透明通路196。另外，也可以设置混合墨水漂白剂等的处理装置198进行媒体的循环。

图29所示的第十三实施方式是前面第十二实施方式的改进例。本实施方式中，针对三个墨水喷嘴195a～c，独立设置了互不干扰的三个混合器193a～c和三个透明通路196a～c。各颜色通道的过滤特性可以根据墨水浓度进行改变。

图30所示的第十四实施方式，示出了改变CCD31等彩色CCD表面上的CCD滤光器200颜色的系统。该CCD滤光器200由分隔壁201分隔各单元202。对应于像素203的RGB各通道设置单元202。另外，相同颜色通道的单元202由桥路204连通。红色流入路径205r，绿色流入路径205g，蓝色流入路径205b分别连接到第十三实施方式中的混合器193a～c。红色流入路径205r，绿色流入路径205g，蓝色流入路径205b供给的媒体墨水混合物通过各单元202起到滤光器作用的同时，经红色流入路径205r，绿色流入路径205g，蓝色流入路径205b排出。

图31所示的第十五实施方式是将彩色胶片作为摄像元件使用，对感光纸213进行印刷的情况下进行的颜色校正。灯211经过颜色校正用滤光器213将光投射到彩色胶片37上，再将彩色胶片37的图像显像在感光纸213上。光色传感器214及光源颜色测定部215通过参照摄像部37求出摄像时的光源颜色。补色测定部216通过控制求取光源颜色补色的滤光器交换装置217改变滤光器212的颜色。包含滤光器212及滤光器交换装置217的颜色开口方式155可以由上述或以下介绍的实施方式实现。

图32所示的第十六实施方式中涉及液晶可调滤光器系统220，CCD31是黑白CCD等，作为颜色控制装置155使用可变液晶滤光器223和明暗可调滤光器224。这个液晶可调滤光器223使用可以将滤光特性，即颜色通道切换为RGB等的LCTF(Liquid Crystal Tunable Filter)。即，以极短时间间隔改变液晶可调滤光器223的颜色来拍摄彩色图像，通过对每个滤光器特性，分别改变明暗度可调滤光器224的明暗度，可以构成实用的补色滤光器。

作为明暗度可调滤光器224的一个例子，如图33所示，与镜头单元4的光轴垂直设置第一，第二偏振光滤光器224a，b，可以采用可改变其相对角度的结构。另外，作为明暗度可调滤光器224，可以切换使用明暗度不同的中性灰度的多个ND滤光器。

图33所示的第十七实施方式涉及3CCD摄像机230，镜头单元4来的入射光经光学块231的棱镜232分成RGB光，投影在三个黑白CCD元件：红CCD233r，绿CCD233g，蓝CCD233b上。红CCD233r，绿CCD233g，蓝CCD233b与光学块231之间分别设置红色明暗度可调滤光器234，绿色明暗度可调滤光器235，蓝色明暗度可调滤光器236，分别改变这些明暗度值可形成实际的补色滤光器。红色明暗度可调滤光器234，绿色明暗度可调滤光器235，蓝色明暗度可调滤光器236，与前面实施方式相同，分别具有第一，第二偏振光滤光器234a，b，235a，b，236a，b。并且，如果需要调节强光等的入射情况，最好使234a，b，235a，b，236a，b全部能够进行旋转控制。

图35所示的第十八实施方式是第十七实施方式的改进例。本实施方式中，将一个第一偏振光滤光器237放置在光学块231的前段，例如放在镜头单元4的采光侧；而将第二偏振光滤光器234b，235b，236b对应各颜色通道设置。强光等的光量可以由第一偏振光滤光器237调节，各通道的明暗度可以通过使第二偏振光滤光器234b，235b，236b针对光学块231进行旋转进行独立调节。

最后，说明本发明其它实施方式的可能性。

上述各实施方式中，关于具有RGB三色通道的彩色摄像机对本发明进行了说明。但是，本发明同样可以适用于RGB三色通道以外的多通道彩色摄像机，或拍摄可见光的黑白摄像机和拍摄不可视的红外线的红外线摄像机等单通道摄像机。这时，有效输入图像颜色值除以反射面平均颜色值后所乘的系数s必须是常数。而且，颜色通道可以由包含可见光通道和红外线等不可见光通道的两个通道构成。

上述各实施方式中，反射面61可以形成为平面，凸面或凹面。但是，该反射面也可以使用网状，也可以使用小的半球状。

上述第十二～十四实施方式中，对RGB或CMY是统一进行控制的。但是，只对3色中的2色进行控制也可以实现颜色校正。而且，对于没有进行控制的颜色通道，可以借助ND滤光器，通过光圈43进行较粗的控制。

上述实施方式中，使用了CCD元件和彩色胶片作为摄像元件。但是，不限于此，还可以采用例如摄象管(vidicon)等作为摄像元件。另外，感光元件也可以使用光电二极管等。

上述实施方式中，只要不发生矛盾，可以将多种装置组合使用。另外，各种实施方式中都可以用于视频摄像机或静物摄像机。特别是上述的第九～十四及第十六～十八实施方式，就是将上述第一～第八实施方式组合后，采纳双方的优点而构成的。即，上述第一～第八实施方式由于处理速度非常快，对初始捕捉影像时较为有效，其后使用上述第九～十四及第十六～十八实施方式进行校正，能够得到更精确的颜色校正效果。

上述第五实施方式中，A的图像Sa是摄像棚中拍摄的播音员，B的图像Sb是夕阳下的室外风景。另外在上述第六实施方式中，A的图像Sa仍然是摄像棚中拍摄的播音员，不同的是B的图像Sb是使用计算机合成的图像。然而，将风景作为A的图像Sa，将播音员的肖像作为B的图像Sb也是可以的。此外，在替换头部或脸部以作成合成图像时也可以使用本发明的颜色校正。例如，将作为肖像的A的图像Sa中人物的头部或脸部切出。另一方面，作为B的图像Sb，使用从服装模特的摄像图像中除去头部的图像，或在作为发型等参考的头部摄像图像中留下发型而将脸部除去的图像。然后，将A图像与B图像经上述颜色校正后合成在一起，在统一的照明状况下，可以根据颜色自然的合成图像检查衣服或发型是否适合本人。

生产上的应用

本发明涉及对被拍摄物体进行颜色校正并稳定图像的浓度的摄像系统及其使用的摄像机和图像处理装置。本发明不仅适用于具有多种颜色通道的摄像元件的摄像机的颜色校正，而且适用于黑白摄像机等单一通道的摄像机。

Claims

1.一种用于校正图像的颜色的摄像系统，其特征在于，包括：

摄像机(2)：具有镜头(41)、摄像元件、感光元件和反射面(61)并在所述摄像元件上拍摄主画面(110)，所述摄像元件和所述感光元件具有多个颜色通道，所述反射面(61)配置在所述镜头(41)的前面、与所述摄像机(2)的所述感光元件对应的视野内、且在反射来自所述主画面(110)或其附近的参照画面(121，121a～e)的光的同时通过所述镜头(41)使所述感光元件感光；

校正装置(72)：根据参照信号值(rn，gn，bn)校正拍摄的所述主画面(110)的图像的颜色，该参照信号值是作为由所述感光元件接收的参照画面(121，121a～e)的反射光中的一个像素部分(136d)的值或多个像素部分(131，131a～e，136a～c)在所述每个颜色通道上的平均值求出的。

2.如权利要求1所述的摄像系统，其特征在于，所述校正装置是校正部(72)，该校正部通过用由所述摄像元件拍摄的主画面(110)的各坐标位置的主信号值(r[x][y]，g[x][y]，b[x][y])分别除以所述求出的每个颜色通道的所述参照信号值(rn，gn，bn)来得到对主信号值进行校正后的校正信号值(rc[x][y]，gc[x][y]，bc[x][y])。

3.如权利要求2所述的摄像系统，其特征在于，通过预先求出分别以所述参照信号值(rn，gn，bn)为分母的系数(sr，sg，sb)，然后将该系数(sr，sg，sb)与所述各主信号值(r[x][y]，g[x][y]，b[x][y])相乘，来校正主信号。

4.如权利要求3所述的摄像系统，其特征在于，所述各颜色通道中的所述各系数(sr，sg，sb)是将各颜色通道不同的参照信号值(rn，gn，bn)作为分母，将各颜色通道相同的另一系数(s)作为分子。

5.如权利要求4所述的摄像系统，其特征在于，通过从所述摄像元件或所述感光元件顺序送来的帧信号中的某一帧信号中求出所述系数(sr，sg，sb)，把该系数(sr，sg，sb)与从一段时间过后的其它帧中得到的所述各主信号值(r[x][y]，g[x][y]，b[x][y])相乘，来校正主信号。

6.如权利要求5所述的摄像系统，其特征在于，通过将所述系数(sr，sg，sb)分别与多个从其它帧分别得到的所述各主信号值(r[x][y]，g[x][y]，b[x][y])相乘，来校正主信号。

7.如权利要求5所述的摄像系统，其特征在于，具有用于将从所述其它帧得到的信号与所述系数(sr，sg，sb)相乘的视频放大器(79)。

8.如权利要求1所述的摄像系统，其特征在于，具有将所述反射面(61)配置在所述摄像机(2)的视野外的反射面移动装置(65)。

9.如权利要求1所述的摄像系统，其特征在于，具有将所述反射面(61)配置在所述摄像机(2)的视野外的反射面移动装置(65)，在通过所述反射面(61)求出所述参照信号值(rn，gn，bn)之后，通过所述反射面移动装置(65)将所述反射面(61)配置在所述摄像机(2)视野外，在此状态下拍摄主画面，然后根据所述参照信号值(rn，gn，bn)校正主信号值(r[x][y]，g[x][y]，b[x][y])。

10.如权利要求1所述的摄像系统，其特征在于，所述摄像元件和所述感光元件由具有相同的图像-电信号转换特性的元件构成。

11.如权利要求10所述的摄像系统，其特征在于，所述感光元件是所述摄像元件的一部分。

12.如权利要求1所述的摄像系统，其特征在于，所述摄像机具有存储包含摄像元件上的图像的图像文件的存储部(77)，或者存储记录所述图像的胶片(37)的容纳部(36)，所述图像包括主图像部分(110)以及位于全图像范围(100)端部的参照图像部分(130)。

13.如权利要求1所述的摄像系统，其特征在于，所述全图像范围(100)呈矩形，将所述参照画面(130)置于其中一个角上。

14.如权利要求1所述的摄像系统，其特征在于，当所述主图像部分呈横向细长的矩形时，在全图像范围(100)的上部或下部放置所述参照图像部分。

15.如权利要求1所述的摄像系统，其特征在于，所述镜头(41)是变焦镜头，反射面(61)根据镜头(41)的焦距改变其起始点的坐标位置和角度。

16.如权利要求9～15的任意一项所述的摄像系统，其特征在于，设置遮盖物防止主画面外或参照画面外的光入射到反射面上。

17.如权利要求2所述的摄像系统，其特征在于，所述校正装置具有：测定由所述参照信号值(rg，gn，bn)确定的颜色的补色的装置；和可以再现这一补色且能够改变到达所述摄像元件的图像颜色的光学滤光器装置。

18.如权利要求17所述的摄像系统，其特征在于，配置所述光学滤光器装置以改变到达所述感光元件的图像的颜色，所述测定补色的装置控制所述光学滤光器装置使所述参照信号值(rn，gn，bn)的色平衡值尽可能接近要求的色平衡值。

19.如权利要求17所述的摄像系统，其特征在于，所述光学滤光器装置具有多个色平衡值不同的预设置滤光器，选择与所述补色最相近的预设置滤光器。

20.如权利要求1所述的摄像系统，其特征在于，所述摄像元件和感光元件分别设置，所述主画面(110)通过所述镜头(41)被拍摄到所述摄像元件上，所述参照画面(121，121a～e)通过所述反射面(61)被拍摄到所述感光元件上。

21.如权利要求20所述的摄像系统，其特征在于，所述感光元件和所述摄像元件对应于分别的镜头。

22.如权利要求1所述的摄像系统，其特征在于，所述摄像元件是感光元件的一部分。

23.如权利要求1～15和17～22中任何一项所述的摄像系统，其特征在于，所述反射面(61)由表面为网状的遵循NIR理论的材料构成。

24.如权利要求16所述的摄像系统，其特征在于，所述反射面(61)由表面为网状的遵循NIR理论的材料构成。

25.如权利要求1所述的摄像系统，其特征在于，所述反射面(61)具有反射面角(An)不同的部分(61a，61b)。

26.如权利要求25所述的摄像系统，其特征在于，设有遮盖物(5)，用于防止来自所述参照画面(121，121a～e)之外的光入射，并且在该遮盖物(5)的内侧设置所述反射面(61)。

27.如权利要求1所述的摄像系统，其特征在于，所述感光元件是CCD或光电二极管。

28.如权利要求1，25～27中任何一项所述的摄像系统，其特征在于，所述感光元件和所述主画面(110)拍摄用的所述摄像元件对应于分别的镜头。

29.如权利要求20所述的摄像系统，其特征在于，具有在所述选择校正部分(137a，137b)选择时除去所述感光元件中的缺陷像素的坐标表格。