CN101124815B - 图像拾取设备、图像捕获方法和设计图像拾取设备的方法 - Google Patents
图像拾取设备、图像捕获方法和设计图像拾取设备的方法 Download PDFInfo
- Publication number
- CN101124815B CN101124815B CN2006800053784A CN200680005378A CN101124815B CN 101124815 B CN101124815 B CN 101124815B CN 2006800053784 A CN2006800053784 A CN 2006800053784A CN 200680005378 A CN200680005378 A CN 200680005378A CN 101124815 B CN101124815 B CN 101124815B
- Authority
- CN
- China
- Prior art keywords
- image
- image pick
- imaging system
- imaging
- equipment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 111
- 238000003384 imaging method Methods 0.000 title claims description 233
- 230000003287 optical effect Effects 0.000 claims abstract description 65
- 238000012937 correction Methods 0.000 claims description 188
- 230000007246 mechanism Effects 0.000 claims description 24
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 11
- 238000012360 testing method Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 abstract description 13
- 238000002407 reforming Methods 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 90
- 238000012545 processing Methods 0.000 description 90
- 230000000007 visual effect Effects 0.000 description 25
- 230000015654 memory Effects 0.000 description 22
- 230000002950 deficient Effects 0.000 description 20
- 238000002156 mixing Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 8
- 238000000605 extraction Methods 0.000 description 8
- 238000012876 topography Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001915 proofreading effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 101150034459 Parpbp gene Proteins 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003754 machining Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 238000012856 packing Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Cameras In General (AREA)
- Lens Barrels (AREA)
Abstract
本发明涉及图像拾取设备、图像捕获方法和设计图像拾取设备的方法,其中具体提供一种通过排列多个成像元件,能够低成本地实现高分辨率和高精度的单焦点成像设备。成像设备(31)是具有排列成阵列的多个成像元件,比如CCD(62-1~62-3)的焦点重合型成像设备。即,成像设备(31)具有包括形成焦点重合的图像的第一成像系统(41),布置在成像面上或者布置在第一成像系统附近的场透镜(43),和由多个第二成像系统形成的第二成像系统组的光学系统,所述多个第二成像系统排列成阵列,并且包括成像元件CCD 62-K(本例中K是0~1的值)和变焦透镜61-K,成像元件CCD 62-K用于对形成于其上的图像成像,变焦透镜61-K用于在CCD 62-K上重新形成在成像面上形成的图像的预定部分。
Description
技术领域
本发明涉及图像拾取设备、图像捕获方法和设计图像拾取设备的方法,更具体地说,涉及一种其中布置有多个图像拾取元件的低成本、高分辨率和精细分辨率的固定焦距图像拾取设备、用于图像拾取设备的图像捕获方法、和设计图像拾取设备的方法。
背景技术
近年来,提出了各种捕获高分辨率图像的方法。这些图像捕获方法分成两类:增大图像拾取元件,比如电荷耦合器件(CCD)传感器的分辨率的方法,和使用多个图像拾取元件来捕获高分辨率图像的方法。
例如在专利文献1和非专利文献1中描述了后一方法,即,使用多个图像拾取元件来捕获高分辨率图像的方法。
在专利文献1中描述的方法中,通过使CCD传感器的孔径和所谓的像素漂移方法捕获图像。这种方法极其简单。光束由棱镜沿四个方向分离。为了接收每个分离的光束,CCD传感器相互漂移半个像素。
在非专利文献1中描述的方法用在Mechanical Social SystemsFoundation支持的Mega Vision方法中。图像由棱镜分成三个子图像。这三个子图像由三个HD可携式摄像机捕获。
[专利文献1]未经审查的日本专利申请公开No.2001-45508
[非专利文献1]2005年1月17日在机械工业纪念基金会(Machine Industry Memorial Foundation)网站(URL:http://www.tepia.or.jp/14th/hds.html)搜索到的“Description ofMega Vision supported by the Mechanical Social SystemsFoundation”。
发明内容
但是,在专利文献1中说明的方法存在下述第一~第四个缺陷。
第一个缺陷在于尽管当使用四个CCD传感器时,能够获得高分辨率图像,不过如果孔径比被完全使用,那么即使CCD数目被增大到16或64时,也不能提高图像的分辨率。即,不能获得来源于CCD传感器的数目的优点。
第二种缺陷在于在专利文献1中描述的图像拾取设备的棱镜相当昂贵。
第三种缺陷在于尽管对于4个CCD传感器来说,仅仅一个棱镜就足够了,不过对于16个CCD传感器来说需要5个棱镜,对地64个CCD传感器来说,需要21个CCD传感器。即,当采用的CCD传感器的数目增大时,所需棱镜的数目显著增大。
第四个缺陷在于不能局部改变待捕获的图像的像素密度。
另外,根据在专利文献1中描述的方法,易于想到如图1中所示,CCD传感器1-1~1-4的整个成像面被移动,而不是被移动半个像素。
但是,即使在图1中所示的方法中,上述第三个缺陷和第四个缺陷仍然存在。此外,图1中所示的方法具有下述第五个缺陷。
第五个缺陷在于当使用4个CCD传感器1-1~1-4时,棱镜2的尺寸需要被放大四倍,这是相当昂贵的。
总之,在专利文献1中描述的方法或者图1中图解说明的利用棱镜的方法中,当增大CCD传感器的数目时,需要多个大型的高精度棱镜。但是,生产大型棱镜的制造步骤较困难。因此,生产每个棱镜的成本较高,于是,总成本被显著增大。另外,由于来自相同视角的光束入射到CCD传感器的表面上,不能局部改变待捕获的图像的像素密度,除非改变CCD传感器的元件的密度。
因此,可从Hasselblad A/S.获得的数字后背528C和可从Nikon公司获得的电子显微镜数字照相机DXM1200采用其中代替移动棱镜,沿时间方向移动CCD传感器(图像拾取元件)半个像素的方法。
但是,即使在这种方法中,上述第一个缺陷和第四个缺陷仍然存在。此外,这种方法具有下述第六个缺陷。
第六个缺陷如下:尽管入射在CCD传感器上的光束的强度足够,不过由于像素沿时间方向被移动,因此需要较长的图像捕获时间。于是,难以捕获运动图像。
另外,在非专利文献1中描述的方法中,上述第二种缺陷~第四种缺陷仍然存在。此外,这种方法具有下述第八种和第九种缺陷。
第八种缺陷在于由于照相机机体的尺寸的缘故,难以增大排列的照相机(图像拾取元件)的数目。
第九种缺陷在于由于图像没有任何混合部分(重叠宽度),因此在边界处图像失真,需要某种方法来解决这种问题。
总之,所有已知方法都很难低成本地制造其中排列有多个图像拾取元件的高分辨率和精细分辨率固定焦距图像拾取设备。
因此,本发明提供一种其中排列有多个图像拾取元件,并且能够低成本制造的高分辨率和精细分辨率固定焦距图像拾取设备。
按照本发明,提供一种具有排列成阵列的多个图像拾取元件的焦点重合型图像拾取设备。该图像拾取设备包括光学系统,所述光学系统包括用于形成焦点重合的图像的第一成像系统、第一成像系统在其中形成图像的成像面、和第二成像系统组。第二成像系统组包括多个第二成像系统,每个第二成像系统包括所述图像拾取元件之一。每个图像拾取元件捕获通过重新形成在成像面中形成的图像的预定部分而获得的图像。所述多个第二成像系统被排列成阵列。
图像拾取设备还可包括置于成像面中,或者置于成像面附近的场透镜。成像面连接第一成像系统和第二成像系统组。
图像拾取设备还可包括置于成像面中,或者置于成像面附近的漫射体。成像面连接第一成像系统和第二成像系统组。
包括在第二成像系统组中的多个第二成像系统中的每一个都可被这样布置,以便把由包括在第二成像系统之一中的图像拾取元件捕获的第一图像的一部分,和由包括在另一个第二成像系统中的图像拾取元件捕获的第二图像的一部分保持为混合区,在所述混合区中,第一图像与第二图像连接。
包括在第二成像系统组中的多个第二成像系统中的每一个都可包括透镜,用于在所述图像拾取元件之一上重新形成在成像面中形成的图像的预定部分,下述表达式可被满足:
2×F×tan(φ/2)>D
其中F表示成像面和透镜之间的距离,φ表示从成像面输出的光束中,与混合区对应的光束的宽度,以及D表示所述图像拾取元件之一和与所述图像拾取元件之一紧邻的图像拾取元件之间的距离。
图像拾取设备还可包括机构,所述机构被配置成单独改变包括在第二成像系统组中的多个第二成像系统中的每一个中的图像拾取元件的位置和透镜的变焦,而与其它的第二成像系统无关。
所述机构包括配置成与其它透镜无关地驱动多个透镜中的每一个,从而改变其变焦的第一致动器,和配置成与其它图像拾取设备无关地驱动多个图像拾取设备中的每一个,从而改变其位置的第二致动器。
通过利用所述机构,图像拾取设备可使包括在第二成像系统组中的至少一个第二成像系统中所包括的至少一个图像拾取元件中的每一个捕获分辨率比其它图像拾取元件捕获的图像更高的图像,图像拾取设备还可包括计算单元,所述计算单元被配置成进行计算以便确定当捕获高分辨率图像时,以高分辨率捕获的图像的范围。
图像拾取设备还可包括接口单元,通过所述接口单元,用户执行选择以高分辨率捕获的图像的范围的操作。根据通过接口单元的用户操作,计算单元能够计算以高分辨率捕获的图像的范围。
图像拾取设备还可包括相位校正信息保持单元,所述相位校正信息保持单元被配置成保持用于校正在多个图像拾取元件上形成的图像的相位的相位校正信息。
图像拾取设备还可包括相位校正信息计算单元,所述相位校正信息计算单元被配置成利用通过在多个图像拾取元件中的至少一个上重新形成在成像面中形成的预定测试图的图像而获得的图像,预先计算相位校正信息,并被配置成使相位校正信息保持单元保持所述相位校正信息。
图像拾取设备还可包括相位校正单元,所述相位校正单元被配置成利用保持在相位校正信息保持单元中的相位校正信息,校正通过多个图像拾取元件上重新形成在成像面上形成的物体的图像而获得的每个图像的相位。
图像拾取设备还可包括亮度校正信息保持单元,所述亮度校正信息保持单元被配置成保持用于校正在多个图像拾取元件上形成的图像的亮度的亮度校正信息。
图像拾取设备还可包括亮度校正信息计算单元,所述亮度校正信息计算单元被配置成利用通过在多个图像拾取元件中的至少一个上重新形成在成像面中形成的预定测试图的图像而获得的图像,预先计算亮度校正信息,并被配置成使亮度校正信息保持单元保持所述亮度校正信息。
图像拾取设备还可包括亮度校正单元,所述亮度校正单元被配置成利用保持在亮度校正信息保持单元中的亮度校正信息,校正通过多个图像拾取元件上重新形成在成像面上形成的物体的图像而获得的每个图像的亮度。
在按照本发明的图像拾取设备中,第一成像系统在成像面中形成焦点重合的图像。第二成像系统在包括在多个第二成像系统中的每个图像拾取元件上重新形成在成像面中形成的图像的预定部分。每个图像拾取元件捕获在其上重新形成的图像。
按照本发明,提供用于图像拾取设备的第一种图像捕获方法,所述图像拾取设备至少包括第一成像系统和具有图像拾取元件的多个第二成像系统。所述方法包括下述步骤:利用第一成像系统在预定成像面上形成焦点重合的图像,和第二成像系统之一在包括在该第二成像系统之一中的图像拾取元件之一上重新形成在所述成像面上形成的图像的预定部分,每个图像拾取元件捕获在该图像拾取元件上形成的图像。
在按照本发明的第一种方法中,第一成像系统在成像面中形成焦点重合的图像。第二成像系统在包括在多个第二成像系统中的每个图像拾取元件上重新形成在成像面中形成的图像的预定部分。利用每个图像拾取元件捕获在该图像拾取元件上重新形成的图像。
按照本发明,提供一种设计图像拾取设备的方法,所述图像拾取设备至少包括第一成像系统和具有图像拾取元件的多个第二成像系统。所述方法包括下述步骤:利用第一成像系统在预定成像面上形成焦点重合的图像,和第二成像系统之一在包括在该第二成像系统之一中的图像拾取元件之一上重新形成在所述成像面上形成的图像的预定部分。
在按照本发明的设计图像拾取设备的方法中,图像拾取设备被设计成以致第一成像系统在成像面中形成焦点重合的图像,以及第二成像系统在包括在多个第二成像系统中的每个图像拾取元件上重新形成在成像面中形成的图像的预定部分。
按照本发明,提供用于图像拾取设备的第二种图像捕获方法。所述图像拾取设备包括光学系统,所述光学系统包括形成焦点重合的图像的第一成像系统,第一成像系统在其中形成图像的成像面,和包括多个第二成像系统的第二成像系统组,每个第二成像系统包括图像拾取元件和透镜,所述图像拾取元件捕获形成于其上的图像,所述透镜在图像拾取元件上重新形成在成像面中形成的图像的预定部分,其中所述多个第二成像系统被排列成阵列。所述方法包括下述步骤:为了把由包括在第二成像系统之一中的图像拾取元件捕获的第一图像的一部分,和由包括在另一第二成像系统中的图像拾取元件捕获的第二图像的一部分保持为其中第一图像与第二图像连接的混合区,把包括在第二成像系统组中的多个第二成像系统中的每一个都布置成满足下述表达式:
2×F×tan(φ/2)>D
其中F表示成像面和透镜之间的距离,φ表示从成像面输出的光束中,与混合区对应的光束的宽度,以及D表示所述图像拾取元件之一和与所述图像拾取元件之一紧邻的图像拾取元件之间的距离,以及由图像拾取设备捕获物体的图像。
在按照本发明的第二种图像捕获方法中,包括在第二成像系统组中的多个第二成像系统被这样布置,以便把由包括在第二成像系统之一中的图像拾取元件捕获的第一图像的一部分,和由包括在另一第二成像系统中的图像拾取元件捕获的第二图像的一部分保持为其中第一图像与第二图像连接的混合区。更具体地说,所述多个第二成像系统被布置成满足下述表达式:
2×F×tan(φ/2)>D
其中F表示成像面和透镜之间的距离,φ表示与混合区对应的光束的宽度,以及D表示所述图像拾取元件之一和与所述图像拾取元件之一紧邻的图像拾取元件之间的距离。随后,利用图像拾取设备捕获物体的图像。
如上所述,按照本发明,能够获得具有排列有多个图像拾取元件的图像拾取设备。特别地,能够低成本地获得高分辨率和精细分辨率的固定焦距图像拾取设备。另外,能够提供一种为以低成本获得高分辨率和精细分辨率的固定焦距图像拾取设备而需要的图像捕获方法。
附图说明
图1是图解说明现有光学系统的示图;
图2是图解说明根据本发明的图像拾取设备的例证结构的示图;
图3是图解说明基于现有方法设想的光学系统的示图;
图4是图解说明与根据本发明的图2中所示的图像拾取设备的第二光学系统不同的第二光学系统的例证结构的示图;
图5是图解说明布置图2中所示的第二光学系统的位置的例子的示图;
图6是图解说明高分辨率地捕获物体的局部图像的图像捕获操作的示图;
图7是图解说明在图6中所示的图像捕获操作中,图2中所示的第二光学系统组的例证操作的示图;
图8是图解说明亮度校正信息的示图;
图9是图解说明亮度校正系数的计算例子的流程图;
图10是图解说明亮度校正处理的例子的流程图;
图11是图解说明七种(R,G,B)颜色模式和与这些颜色模式关联的代码的示图;
图12是图解说明一阶差值码的例子的示图;
图13是图解说明用于相位校正的测试图的例子的示图;
图14是图解说明相位校正信息的计算例子的流程图;
图15是图解说明在图14中所示的步骤S31的处理中捕获的测试图的图像中,由图2中所示的CCD传感器之一捕获的照相机图像的例子的示图;
图16是图解说明在图14中所示的步骤S32执行的照相机视角的绝对坐标的计算处理的例子的流程图;
图17是图解说明相位校正处理的例子的流程图;
图18是示意图解说明混合处理(它是在图17的步骤S75执行的处理之一)的例子的示图;
图19是图解说明相位检测处理的例子的流程图;
图20是图解说明图2中所示的图像拾取设备的信号处理单元的结构的另一例子的方框图。
附图标记
31图像拾取设备
41第一成像系统
42第二成像系统
43场透镜
44信号处理电路
45高分辨率图像捕获范围选择接口
51物镜
61-1~61-3变焦透镜
62-1~62-3CCD传感器
71-1~71-3存储器
72相位校正电路
73相位校正信息存储器
74亮度检测/校正电路
75亮度校正信息存储器
76高分辨率图像捕获范围计算电路
77变焦致动器
78位置控制致动器
201CPU
202ROM
203RAM
208存储单元
211可拆卸记录介质
具体实施方式
下面说明根据本发明的方法。
根据本发明的方法包括下述第一~第三种方法。
在第一种方法中,图像被两次形成。即,形成第一成像系统(下面也称为“第一光学系统”)和第二成像系统(下面也称为“第二光学系统”)。按照第一种方法,能够在不存在固定焦点和图像拾取元件(比如CCD传感器)之间的物理干扰的情况下,提供形成混合区(例如下面说明的图6中所示的混合区103)的图像捕获。但是,为了提供混合区,重要的是图像拾取元件的排列。下面参考图5说明其原因。
在第二种方法中,通过第一种方法形成的第二成像系统中的图像拾取元件的数目、图像拾取元件的位置和变焦量中的至少一个被改变。按照第二种方法,能够提供其中可部分获得高分辨率图像的图像捕获。另外,对于按照第二种方法(和第一种方法)的图像拾取设备来说,消除了对棱镜的需要。因此,即使图像拾取元件(例如,CCD传感器)的数目被增大,成本也不会增加。
在第三种方法中,实现相位校正处理或相位检测处理、亮度校正处理或亮度检测处理、以及自动获得实现这些处理所需的相位校正信息或亮度校正信息的处理。这里使用的术语“自动”指的是在没有任何用户干预的情况下,由图像拾取设备根据其确定结果执行的处理。下面参考图10之后的流程图说明按照第三种方法执行的上述各种处理。
实际上,利用已知的采用棱镜的单次成像的成像系统不能实现利用第一~第三种方法的图像拾取设备。于是,发明人发明了一种包括利用第一~第三种方法的成像系统的图像拾取设备。这种图像拾取设备具有图2中所示的结构。即,图2图解说明根据本发明的一个实施例的图像拾取设备。
在图2中所示的例子中,图像拾取设备31包括第一成像系统(第一光学系统)41、第二成像系统(第二光学系统)42、场透镜43、信号处理单元44、和高分辨率图像拾取范围选择接口45。
首先说明包括第一成像系统41、第二成像系统组42和场透镜43的光学系统。
如上所述,已知的光学系统(图像拾取设备),比如在专利文献1中描述的光学系统只形成一次图像。之后,该光学设备利用棱镜分离图像。这样,在已知方法中,光束通常由棱镜分离。因此,出现上述各种缺陷。
另外,如上所述,为了消除这些缺陷,例如可以采用图3中所示的方法。即,多个CCD传感器,比如CCD传感器83-1~83-3被排列成阵列,并且物体81的图像形成于排列成阵列的多个CCD传感器上。但是,由于CCD传感器83-1~83-3的物理尺寸的缘故,CCD传感器的帧相互干扰。于是,由于在CCD传感器之间产生不能捕获图像的区域84-1和84-2,因此出现新的问题。
此外,在非专利文献1中描述的现有光学系统中,虽然存在第一成像系统和第二成像系统,不过由于图像由棱镜分离到第二成像系统中,因此边界部分中的图像不能被捕获。从而,图像严重失真。
为了解决这些各种问题,发明人发明了图2中所示的再成像(两次成像)光学系统,即,具有其中形成第一成像系统41和第二成像系统42,并且借助场透镜43连接第一成像系统41和第二成像系统42的结构的光学系统。
例如,第一成像系统包括确定与CCD传感器的视角相关的光学特性的物镜51。第一成像系统在场透镜43上或者在场透镜43附近形成一次物面32的图像。即,场透镜43被置于第一成像系统的焦点,或者被置于所述焦点前面附近。第二成像系统组42包括N个第二成像系统,每个第二成像系统包括一个变焦透镜6-K和一个CCD传感器62-K,其中N是大于或等于2的整数。注意K是介于1和N之间的整数。在图2中所示的例子中,K是1和3之间的任意数字。术语“一个变焦透镜61-K”并不意味着变焦透镜61-K只包括一个透镜,相反意味着第二成像系统组42包括变焦透镜62-1~62-N,每个变焦透镜包括至少一个透镜,并且第二成像系统之一包括变焦透镜62-1~62-N中的一个预定变焦透镜。
在具有这种结构的第二成像系统组42中,CCD传感器62-K可被布置成不干扰其它CCD传感器。因此,在场透镜43上,或者在场透镜43附近形成的物面32的图像能够再次在CCD传感器62-K的表面上形成。
在图2中所示的例子中,采用了场透镜43。但是,代替场透镜43,可以采用漫射体。注意,由于漫射体具有扩展输出光束的宽度(波束角)的功能,因此图像的分辨率被降低。
另外,在图2中所示例子中的第二光学系统中,CCD传感器62-K被用作图像拾取元件,不过图像拾取元件的类型并不局限于此。可以使用任意类型的图像拾取元件。
此外,在图2中所示的例子中,采用比场透镜43小的第二光学系统。但是,第二光学系统并不局限于此。例如,如图4中所示,通过使CCD传感器62-K(注意图4中只表示了CCD传感器62-1)的位置偏离中心,可以采用(布置)比场透镜43大的第二光学系统。
通过采用具有这种结构的第二成像系统组42,能够进行高度灵活的图像捕获。即,由于能够容易地增大CCD传感器62-1~CCD 62-N的数目N,因此能够进行高度灵活的图像捕获。另外,能够独立于其它第二成像系统,容易地改变包括CCD传感器62-K的第二光学系统的位置和变焦量。因此,能够容易地实现例如局部高分辨率图像捕获。从而,能够进行高度灵活的图像捕获。
特别地,如上所述,利用棱镜分离图像的已知方法存在问题,因为当CCD传感器的数目被增大时,所需的棱镜的数目显著增大。更具体地说,当使用把图像一分为四的棱镜和四个CCD传感器时,一个棱镜就足够了。但是,当使用16个CCD传感器时,需要5个棱镜。此外,当使用64个CCD传感器时,不利的是需要多达21个棱镜。此外,当利用图1中所示的方法排列CCD传感器1-1~1-4时,棱镜2的成像面被增大。因此,难以加工棱镜2,于是,棱镜2的成本被不利地增大。
相反,在按照本实施例的第二成像系统组42中,只要透镜,比如变焦透镜61-K的尺寸允许,就能够排列多个CCD传感器62-K。例如,即使透镜的尺寸增大,也能够以比加工大型棱镜所需的成本低的成本生产所述透镜。从而,按照本实施例,能够低成本地生产包括第二成像系统组42的整个光学系统。
另外,当使用CCD传感器62-K中的另外一个CCD传感器时,如果所述另外一个CCD传感器被布置成不改变焦距,那么不需要重新设计光路。
但是,为了保持混合区(例如,下面说明的图6中所示的混合区103),两个CCD传感器62-K和62-K+1需要如图5中所示那样布置。即,图5是图解说明排列两个CCD传感器62-K和62-K+1的方法的示图。
在图5中所示的例子中,位于场透镜43右侧附近或右侧上的平面91用作成像平面(图像形成平面)。平面91中的区域92用作混合区。F表示成像平面91和变焦透镜61-K之间的距离,或者成像平面91和变焦透镜61-K+1之间的距离。D表示两个CCD传感器62-K和62-K+1之间的距离。φ表示从成像平面输出的光束中,与混合区对应的光束的宽度(波束角)。
这种情况下,为了保持混合区92,需要使与混合区92对应的光束入射到两个CCD传感器62-K和62-K+1上,如图5中所示。为了满足该条件,下述表达式(1)需要被满足:
2×F×tan(φ/2)>D (1)
即,通过布置其间的距离D满足表达式(1)的两个CCD传感器62-K和62-K+1,使与混合区92对应的光束入射到这两个CCD传感器62-K和62-K+1上。从而,能够保持混合区92。
如上所述,通过采用第二成像系统组42,能够容易地增大CCD传感器62-1~62-N的数目N。即,如果两个CCD传感器62-K和62-K+1被布置成以致其间的距离D满足表达式(1),从而保持混合区,那么能够灵活并且容易地确定排列。从而,能够进行高度灵活的图像捕获。
另外,按照本实施例,第二光学系统包括至少沿水平方向和垂直方向之一移动一个CCD传感器62-K的机构(下面称为“移动机构”)和用于变焦的机构(下面称为“变焦机构”)。CCD传感器62-K的移动机构由下面说明的位置控制致动器78驱动,与其它CCD传感器无关。另外,CCD传感器62-K的变焦机构由变焦致动器77驱动,与其它CCD传感器无关。
这样,能够容易地改变CCD传感器62-1~62-N的排列密度,以及每个CCD传感器62-1~62-N的成像面积。因此,能够捕获局部高分辨率的图像。例如,如图6中所示,能够仅仅高分辨率地捕获人102的面部。即,图6的左侧部分图解说明在平均图像捕获情况下,人102的图像捕获。术语“平均图像捕获”指的是在CCD传感器62-1~62-N被均匀布置在阵列中,CCD传感器62-1~62-N两两之间的距离D和CCD传感器62-1~62-N的变焦比都相同的条件下进行的图像捕获。相反,图6的右侧部分图解说明仅仅高分辨率地捕获人102的面部(用圆表示)图像的图像捕获。即,假设图2中表示的物体32表示人102。那么,仅仅高分辨率地捕获物体32的一部分(面部)。在图6的这两个部分中,方格表示照相机(CCD传感器62-K)的视角101。因此,CCD传感器62-K的视角101和与CCD传感器62-K相邻的CCD传感器62-K+1的视角101重叠的区域用作混合区。
图7图解说明当在图6中图解说明的条件下捕获图像时,第二成像系统组42的操作。即,图7的左侧部分图解说明当进行图6的左侧部分中所示的平均图像捕获时,第二成像系统组42的操作。相反,图7的右侧部分图解说明当进行图6的右侧部分中所示的图像捕获时,即,当仅仅高分辨率地102的面部的图像时,第二成像系统组42的操作。
在图7中所示的例子中,在垂直方向上仅仅顺序排列了四个第二光学系统。即,只表示了包括CCD传感器62-1的第二光学系统(下面称为“第一个第二光学系统”),包括CCD传感器62-2的第二光学系统(下面称为“第二个第二光学系统”),包括CCD传感器62-3的第二光学系统(下面称为“第三个第二光学系统”),和包括CCD传感器62-4的第二光学系统(下面称为“第四个第二光学系统”)。另外,在图7的两个部分的每个中,图6中所示的人102的图像111均形成在场透镜43中的相同位置上。此外,图像111的每个区域112和113都形成一个混合区。
比较图7的这两个部分可看出,当进行在图6的右侧部分中所示的图像捕获时,即,当仅仅高分辨率地捕获人102的面部的图像时,第一个第二光学系统的“广角(WIDE)”变焦操作由其变焦机构执行,沿图中的向下方向移动第一个第二光学系统的移动操作1由其移动机构执行。类似地,第二个第二光学系统的“广角”变焦操作由其变焦机构执行,沿图中的向下方向移动第二个第二光学系统的移动操作2由其移动机构执行。第三个第二光学系统的“远摄(TELE)”变焦操作由其变焦机构执行,沿图中的向下方向移动第三个第二光学系统的移动操作3由其移动机构执行。第四个第二光学系统的“广角”变焦操作由其变焦机构执行,沿图中的向上方向移动第一个第二光学系统的移动操作4由其移动机构执行。
这样,按照本实施例,对于第二成像系统组42的每个第二成像系统42执行位置移动操作及“广角”和“远摄”变焦操作之一。从而,能够与其它第二光学系统无关地执行包括CCD传感器62-K的第二光学系统的位置改变和变焦。从而,能够容易地进行局部高分辨率图像捕获,于是,能够进行高度灵活的图像捕获。
就视角恒定的局部高分辨率图像捕获来说,当一些第二光学系统执行“远摄”变焦操作时,其它第二光学系统执行“广角”变焦操作。因此,由第二光学系统“远摄”变焦模式捕获的图像的一部分是高分辨率的。但是,高分辨率部分周围的部分中的分辨率,即,由其它第二光学系统以“广角”变焦模式捕获的部分中的分辨率稍微降低。
但是,用户(摄像者)通常不需要整个的图像捕获区(即,在场透镜43上,或者在场透镜43附近形成的图像的区域),相反只需要一些的图像捕获区以供观看。在这种情况下,对于许多用户来说,仅仅用户希望观看的区域具有高分辨率就足够了。多数用户允许其它区域不具有高的分辨率。
为了满足这样的用户要求,用户需要选择该用户希望观看的区域,即,将高分辨率地捕获图像的区域(下面称为“高分辨率图像捕获范围”)。选择高分辨率图像捕获范围的方法并不局限于特定的一种方法。例如,可以采用下面的第一种或第二种方法。
在第一种选择方法中,用户利用图2中所示的高分辨率图像捕获范围选择接口45指定图像的所需区域,以及随后,高分辨率图像捕获范围计算电路76选择指定的区域作为高分辨率图像捕获范围。
在第二种选择方法中,高分辨率图像捕获范围计算电路76计算图像中的频率,并且只增大具有高频率的区域的分辨率(即,选择具有高频率的区域作为高分辨率图像捕获范围)。
为了把由CCD传感器62-1~62-N至少之一捕获的高分辨率图像捕获范围中的图像和由其它CCD传感器捕获的低分辨率范围中的图像组合成一个图像(帧),需要扩展其它范围中的图像,以便匹配高分辨率图像捕获范围。随后,高分辨率图像捕获范围中的图像需要在混合区中与其它区域中的图像连接在一起。下面,这样的处理被称为“混合处理”。下面参考图18和其它附图更详细地说明混合处理。
至此,说明了包括第一成像系统41(第一光学系统41),第二成像系统组42(第二光学系统组42)和场透镜43(它们是图2中所示的图像拾取设备31的组件)的光学系统。在上面的说明中,高分辨率图像捕获范围选择接口45是在上述第一种选择方法中使用的接口。
下面说明信号处理单元44,它是图2中所示的图像拾取设备31的最后一个组件。
在图2中所示的例子中,信号处理单元44包括从存储器71-1到位置控制致动器78的组件。
由于上面已经说明了从高分辨率图像捕获范围计算电路76到位置控制致动器78的组件,因此不再重复说明。
存储器71-1~71-3分别保存从CCD传感器62-1~62-3输出的图像信号。即,在图2中所示的例子中,只表示了三个CCD传感器62-1~62-3。因此,只表示了三个存储器71-1~71-3。从而实际上,为N个CCD传感器62-1~62-N分别提供了N个存储器71-1~71-N。
按照本实施例,图2中所示的例子中的图像拾取设备31的第一成像系统41和第二成像系统组42的失真参数不同。因此,为了校正失真,提供了从相位检测/校正电路72到亮度校正信息存储器75的组件。
作为以简单的方式,利用从相位检测/校正电路72到亮度校正信息存储器75的组件校正失真的方法的一个例子,下面说明利用测试图自动校正相位和亮度的方法。即,下面说明这样一种方法,其中预先利用几个参数捕获测试图(下面说明)的图像,随后自动提取相位校正信息和亮度校正信息。另外,下面说明这样一种方法,其中当捕获物体的图像时,利用相位校正信息和亮度校正信息,实时地校正物体的图像的相位和亮度。
首先说明亮度检测/校正电路74中的提取亮度校正信息的方法和校正亮度的方法(应用亮度校正信息的方法)。
当捕获图像时,通过利用保存在亮度校正信息存储器75中的亮度校正信息,特别是例如利用图8中所示的亮度校正信息,亮度检测/校正电路74能够实现实时映射。
这种情况下,需要预先产生(提取)亮度校正信息,并且需要预先保存在亮度校正信息存储器75中。按照本实施例,亮度检测/校正电路74预先提取亮度校正信息,并把亮度校正信息预先保存在亮度校正信息存储器75中。下面说明亮度检测/校正电路74中的预先提取亮度校正信息的方法,即,提取亮度校正信息的方法。
提取亮度校正信息的方法包括下述一系列处理。
即,亮度检测/校正电路74首先捕获全白墙壁的图像。随后,亮度检测/校正电路74提取图像的亮度值的曲面作为校正参数。
更具体地说,在全白墙壁的图像(帧)中,位于图像的任意点的亮度值应相同。但是实际上,图像中心的亮度值通常最高(即,图像的中心最亮),朝着图像的外围,亮度值被降低(即,朝着图像的外围,图像变暗)。因此,图像的亮度分布可由曲面函数S(x,y)表述。例如,曲面S(x,y)的通式被表述成如下所示:
S(x,y)=b1·(x-b2)^2+b3·(y-b4)^2+b5·x·y+b6 (2)
在等式(2)中,b1~b6表示参数(系数),x和y表示在CCD传感器62-1~62-N被排列成阵列的平面中,当水平方向被定义为X方向,垂直方向被定义为Y方向时,XY坐标系中的坐标。下面,这样的XY坐标系也被称为“绝对坐标系”,XY坐标系的坐标也被称为“绝对坐标”。
因此,当CCD传感器62-K的位置由绝对坐标系中的(u,v)表示时,亮度校正系数b1~b6由CCD传感器62-K的位置(一个第二光学系统的位置(u,v))和变焦比r唯一确定。
于是,亮度检测/校正电路74例如按照图9中所示的流程图计算亮度校正系数b1~b6。即,图9图解说明由亮度检测/校正电路74进行的亮度校正系数的计算的例子。下面,该计算被称为“亮度校正系数计算处理”。
在步骤S1,包括亮度检测/校正电路74的图像拾取设备31捕获全白墙壁的图像,即,全白测试图的图像。此时,恰当地确定预定CCD传感器62-K的位置。
在步骤S2,通过利用在步骤S1的图像捕获处理中使用的CCD传感器62-K的位置(u,v)和变焦比r,以及从CCD传感器62-K输出的图像(即,全白墙壁的局部图像)的亮度值,并且例如利用最小二乘法,亮度检测/校正电路74计算等式(2)中的亮度校正系数(参数)b1~b6。
在步骤S3,亮度检测/校正电路74把包括系数(参数)b1~b6的系数组LUT连同CCD传感器62-K的当前位置(u,v)和变焦比r一起保存在亮度校正信息存储器75中。
从而,完成亮度校正系数计算处理。结果能够获得关于位置(u,v)和变焦比r的曲率半径的数据。
分别对位置(u,v)和变焦比r的几种模式进行上面说明的亮度校正系数计算处理。这样,能够获得如图8中所示的上述亮度校正信息。亮度校正信息被保存在亮度校正信息存储器75中。
下面说明校正亮度的方法(利用亮度校正信息的方法)。
图10是图解说明与校正亮度的方法对应的处理(下面称为“亮度校正处理”)的例子的流程图。下面参考图10说明亮度校正处理。
在步骤S11,亮度检测/校正电路74选择预定的CCD传感器62-K,并从亮度校正信息存储器75中读出各组亮度校正系数b1~b6中的至少一组(即,系数组LUT中的至少一组),所述至少一组亮度校正系数b1~b6具有与当前位置和变焦比接近的位置和变焦比。例如,当CCD传感器62-K的当前位置(u,v)为(0.5,1),并且变焦比为1.05时,具有与当前位置和变焦比接近的位置和变焦比的亮度校正系数b1~b6表示图8中所示的亮度校正信息的第一行或第二行中的那些信息。即,这种情况下,当CCD传感器62-K的当前位置(u,v)为(0,0),并且变焦比为1.1时,在步骤S11从亮度校正信息存储器75读出在图9中所示的亮度校正系数计算处理中计算的系数b1~b6(系数组LUT)。另一方面,当CCD传感器62-K的当前位置(u,v)为(1,2),并且变焦比为1.2时,在步骤S11从亮度校正信息存储器75读出在图9中所示的亮度校正系数计算处理中计算的系数b1~b6(系数组LUT)。
在步骤S12,亮度检测/校正电路74利用位置和变焦比与当前位置和变焦比接近的的亮度校正系数b1~b6,按比例地计算与位置和变焦比对应的曲面S(x,y)。即,亮度检测/校正电路74通过线性内插几组位置和变焦比与当前位置和变焦比接近的系数组,计算虚拟系数b1~b6。之后,亮度检测/校正电路74通过把虚拟系数b1~b6代入等式(2)中,计算亮度校正曲面S(x,y)。
在步骤S13,亮度检测/校正电路74计算在步骤S12计算的虚拟亮度校正曲面S(x,y)的最小值MIN{S(x,y)}。
在步骤S14,包括亮度检测/校正电路74的图像拾取设备31捕获物体的图像。从而,帧的所有像素,即,从CCD传感器62-1~62-N输出的图像的像素的输入亮度值(像素值)IN(x,y)被输入亮度检测/校正电路74。随后,处理进入步骤S15。
下面,像素的输入亮度值(像素值)IN(x,y)被称为“输入像素IN(x,y)”。另外,从亮度检测/校正电路74输出的像素的亮度值(像素值)OUT(x,y)被称为“输出像素OUT(x,y)”。
另外,下面把待处理的目标帧,即,在步骤S14的处理中捕获的帧称为“感兴趣帧”。
在步骤S15,亮度检测/校正电路74把感兴趣帧的输入像素IN(x,y)的一个预定输入像素设为感兴趣输入像素IN(x,y)。之后,亮度检测/校正电路74按照感兴趣输入像素IN(x,y)计算感兴趣输出像素OUT(x,y)。即,亮度检测/校正电路74通过计算下述等式(3)的右手侧,校正感兴趣输入像素IN(x,y),以便获得作为所述校正的结果的输出像素OUT(x,y)。
OUT(x,y)=IN(x,y)·MINS(x,y)/S(x,y) (3)
在步骤S16,亮度检测/校正电路74确定是否对感兴趣帧的所有像素完成了该处理。
在步骤S16,如果确定未对感兴趣帧的所有像素完成该处理,那么处理返回步骤S15,并重复后续处理。
即,重复执行由步骤S15和S16构成的循环,直到对感兴趣帧的所有像素获得输出像素OUT(x,y)为止。作为该计算的结果,包括这些输出像素OUT(x,y)的感兴趣帧作为图像信号的至少一部分,从亮度检测/校正电路74输出。
随后,在步骤S16确定对感兴趣帧的所有像素完成了该处理,于是,处理进入步骤S17。
在步骤S17,亮度检测/校正电路74确定是否已完成所有帧的图像捕获(即,用户是否已指示图像捕获的结束)。
在步骤S17,如果确定未完成对所有帧的图像捕获(即,用户没有指示图像捕获的结束),那么处理返回步骤S14,并重复后续处理。
即,在下一个步骤S14捕获的下一帧变成感兴趣帧,并重复执行由步骤S15和S16组成的循环,直到对感兴趣帧(即,下一帧)的所有像素获得输出像素OUT(x,y)为止。作为该计算的结果,包括这些输出像素OUT(x,y)的感兴趣帧作为图像信号的至少一部分,从亮度检测/校正电路74输出。
随后,在步骤S17,如果确定已对所有帧完成图像捕获(即,用户已指示图像捕获的结束),那么结束亮度校正处理。
至此,已经说明了亮度检测/校正电路74中的提取亮度校正信息的方法,以及校正亮度(和使用亮度)的方法。
下面说明相位检测/校正电路72中的提取相位校正信息的方法,和校正相位的方法(使用相位校正信息的方法)。
当捕获图像时,通过利用保存在相位校正信息存储器73中的相位校正信息,相位检测/校正电路72能够实现地进行映射。
此时,需要预先产生(提取)相位校正信息,并保存在相位校正信息存储器73中。于是,按照本实施例,相位检测/校正电路72能够预先提取相位校正信息,并且能够预先把相位校正信息保存在相位校正信息存储器73中。下面说明由相位检测/校正电路72预先执行的提取相位校正信息的方法,即,提取相位校正信息的方法。
提取相位校正信息的方法包括下述一系列的处理。
即,相位检测/校正电路72首先捕获预定测试图的图像。之后,相位检测/校正电路72从捕获的图像中具有某一视角的图像(由预定CCD传感器62-K捕获的局部图像)中,提取该视角(CCD传感器62-K)的图像的绝对坐标。该绝对坐标用作校正参数。例如,测试图是包括多个区块的图像,每个区块被涂以与相邻区块的颜色无关的预定颜色。多数情况下,相邻区块的颜色不同。但是,在一些情况下,相邻区块的颜色相同。
测试图需要唯一地指出与当其被捕获时的预定视角(预定CCD传感器62-K)对应的坐标和变焦比。另外,由于测试图的所有区块未被包含在一个照相机的视角(CCD传感器62-K)中,因此可取的是通过参考在上下左右方向上与该区块紧邻的各个区块,能够识别捕获该区块图像的CCD传感器62-K的位置。
因此,下面参考图11-13说明产生这样的测试图(图像数据)的例证方法。
如上所述,测试图被用于从捕获的测试图图像中具有某一视角的图像(由预定CCD传感器62-K捕获的局部图像)中提取该视角(CCD传感器62-K)的绝对坐标作为校正参数。因此,测试图需要唯一地指出当其被捕获时,所述预定视角(预定CCD传感器62-K)的坐标以及变焦比。
按照本实施例,利用编码方法对每个区块编码,通过利用测试图的各个区块中的预定区块(下面称为“感兴趣区块”)的代码V与在上下方向或者左右方向上与该区块相邻的区块的代码V之间的差异,所述编码方法使感兴趣区块的绝对位置能够被识别。下面参考图12说明编码方法的一个具体例子。
在这种情况下,通过预先使代码V与颜色相关联,并例如利用预定的显示单元以和各区块的代码V关联的颜色显示各个区块,能够显示(产生)测试图。
更具体地说,七种(R,G,B)图案颜色(它们是测试图的各个区块的颜色)与由“CODE”指示的七个代码(0-6之间的值)相关联,如图11中所示。即,“CODE”的值可以是每个区块的代码V。例如,当测试图的各个区块中的感兴趣区块的代码V为0时,以图案颜色(R,G,B)=(0,0,1),即蓝色显示感兴趣的区块。
在图11的例子中,颜色模式的数目为七种。但是,颜色模式的数目并不局限于此,相反,可以使用许多种颜色模式。即,例如,通过利用不同色调的RGB,可定义大量的图案颜色。但是,不同色调的RGB的使用会增大由亮度的上述失真引起的误差。因此,如果定义了过多的图案颜色,并且由图2中所示的图像拾取设备捕获测试图的图像,那么捕获的测试图的感兴趣区块的颜色或者与感兴趣区块相邻的区块的颜色不能被识别。为了解决该问题,可取的是依据RGB中的每个颜色的存在或不存在(1或0)的组合,确定颜色模式的数目,即,颜色模式的数目约为8,如图11的例子中所示。但是,在图11的例子中,图案颜色(R,G,B)=(0,0,0)被排除,于是,颜色模式的数目为七种。这里因为当(R,G,B)=(0,0,0)时,设备不能确定该颜色是指示在视角之外的区块,还是指示图案颜色(0,0,0)的区块。
如上所述,当使用图11中所示的七种图案颜色时,即,当0-6之间的值只有一个被用于代码V时,通过利用例如图12中所示的方法,设备能够对每个区块编码。即,图12图解说明其中利用感兴趣区块的代码V与在上下方向上或者在左右方向上与感兴趣区块相邻的区块的代码V之间的差异,识别感兴趣区块的绝对位置的编码方法的例子。
在图12中所示的XY平面中,测试图的右方向被定义为X方向,测试图的向下方向被定义为Y方向,测试图的左上角的坐标被定义为(0,0)。在X方向上,测试图的每个区块的侧面长度被定义为1。在Y方向上,测试图的每个区块的侧面长度被定义为1。下面,这样的XY坐标系被称为“测试图坐标系”。这种情况下,在测试图坐标系中,(U,V)表示为从左边开始的第U区块,和从上边开始的第V区块的区块的左上角。下面,在测试图坐标系中,预定区块的左上角的坐标被简称为“预定区块的坐标”。
按照这样的定义,在图12中,值X表示在该测试图坐标系中,感兴趣区块的X坐标或Y坐标。另外,差值码Y1表示感兴趣区块的代码V和在感兴趣区块的上下左右方向上与之紧邻的各个区块中的预定区块的代码V之间的差值。此外,如果计算的差值码Y1为负,那么向该负值加入+7。所得到的值变成新的差值码Y1。在左右方向上,从右区块的代码V减去左区块的代码V。在上下方向上,从下区块的代码V中减去上区块的代码V。
即,例如,当感兴趣区块的坐标为(3,1)时,感兴趣区块的X坐标为3。因此,当考虑图12中值X=3的表目时,在该表目右侧的表目中的差值码Y1为3。在向上方向上与该表目紧邻的表目中的差值码Y1为2。这指出感兴趣区块的代码V与感兴趣区块的左侧紧邻区块的代码V之间的第一差值(第一差值码Y1),和感兴趣区块的代码V与感兴趣区块的右侧紧邻区块的代码V之间的第二差值(第二差值码Y1)形成由2和3构成的集合。即,图12中定义了指出X坐标为3的感兴趣区块应被这样编码,以致一组第一差值码Y1和第二差值码Y1形成由2和3构成的集合的规则。
类似地,当感兴趣区块的坐标为(3,1)时,感兴趣区块的Y坐标为1。因此,在图12中,由于值X=1,低侧的差值码Y1为1,上部表目中的差值码Y1为0。这指出感兴趣区块的代码V与感兴趣区块的上方紧邻区块的代码V之间的第三差值(第三差值码Y1),和感兴趣区块的代码V与感兴趣区块的下方紧邻区块的代码V之间的第四差值(第四差值码Y1)形成由0和1构成的集合。即,图12中定义了指出Y坐标为1的感兴趣区块应被这样编码,以致一组第三差值码Y1和第四差值码Y1形成由0和1构成的集合的规则。
即,图12中定义了指出坐标为(3,1)的感兴趣区块应被这样编码,以致第一差值码Y1和第二差值码Y1的集合是2和3的集合,第三差值码Y1和第四差值码Y1的集合是0和1的集合。
在图12中,提供了差值表目和总计表目,以创建图12中的规则,以致涉及差值码Y1的两个集合并不重复(不会产生多个这样的两个集合)。这些表目不被用于实际的编码或解码处理。即,提供差值表目和总计表目,以便根据先前确定的差值码Y1(图12中上部表目中的差值码Y1)确定下一个差值码Y1。
更具体地说,在“差值”表目中,包括可以是两个差值码Y1之间的差值的值。即,这种情况下,由于代码V是值0-6之一,因此两个差值码Y1之间的差值是值1-6之一。注意两个差值码Y1之间的差值为0意味着这两个差值码Y1相等。由此断定值0被排除。另外,当考虑两个差值码的值1-6中的一个预定值时,存在七组的这两个差值码Y1。因此,在图12中所示的“差值”的各个表目中,从顶部开始写入七个“1”,随后,写入七个“2”。类似地,顺序写入七个“3”至七个“6”。
在“差值”的表目中,写入紧邻该表目之上的条目中的总计值与位于该表目左侧的表目中的差值的总和。更具体地说,例如,第一个差值码Y1(在图12的左上部中)为0。这种情况下,位于该表目左侧的表目中的总和(第一个总和)为0。因此,第一总计0和位于该表目左侧的表目中的差值1的总和1被写为第二个总和。为1的总和值被确定为位于该表目右侧的表目中的差值码Y1的值。即,当七个一组地表述总计值时,最低有效位中的值是在其右侧的表目中的差值码Y1。例如,当总计值为7时,差值码Y1为0。当总计值为9时,差值码Y1为2。
按照差值码Y1的确定规则,即,其中利用差值表目和总计表目确定差值码Y1的上述规则,值X可从0变动到43,如图12中所示。这意味着利用差值码Y1,可对在0-43范围中的值X编码。换句话说,在测试图坐标系中,X坐标和Y坐标均在0-43范围中的测试图,即,能够产生能够在上下方向上具有44个区块,在左右方向上具有44个区块(下面,这样的尺寸被写成“44×44”)的测试图。
因此,通过按照利用图12中所示的差值码Y1的编码方法进行编码处理,设备能够产生44×44测试图的图像数据,即,包括44×44区块的代码V的图像数据。
更具体地说,例如,产生图13中所示的测试图的图像数据。即,图13图解说明测试图的图像数据的例子。在图13中,一个方格表示一个区块。在区块的上部,该区块在测试图坐标系中的坐标(U,V)被写成“U-V”。在区块的下部,写入该区块的代码V。
例如,当具有坐标(3,1)的区块(由图中的“3-1”指示)被定义为感兴趣区块时,该区块的代码V为3。即,由于感兴趣区块的左侧紧邻区块(由图中的“2-1”指示)的代码V为1,因此感兴趣区块的代码V与感兴趣区块的左侧紧邻区块的代码V之间的差值,即,第一差值码Y1为2(=3-1)。另外,由于感兴趣区块的右侧紧邻区块(由图中的“4-1”指示)的代码V为6,因此感兴趣区块的右侧紧邻区块的代码V与感兴趣区块的代码V之间的差值,即,第二差值码Y1为3(=6-3)。类似地,由于感兴趣区块的上方紧邻区块(由图中的“3-0”指示)的代码V为3,因此感兴趣区块的代码V与感兴趣区块的右侧紧邻区块的代码V之间的差值,即,第三差值码Y1为0(=3-3)。另外,由于感兴趣区块的下方紧邻区块(由图中的“3-2”指示)的代码V为4,因此感兴趣区块的下方紧邻区块的代码V与感兴趣区块的代码V之间的差值,即,第四差值码Y1为1(=4-3)。从而,按照图12中所示的规则(即,编码方法)对具有坐标(3,1)的感兴趣区块编码,在所述规则中,一组第一差值码Y1和一组第二差值码Y1形成2和3的集合,一组第三差值码Y1和第四差值码Y1形成0和1的集合。从而,获得3的代码V。
注意,当具有坐标(3,3)的区块被定义为感兴趣区块时,感兴趣区域的右侧紧邻区块(由图中的“4-3”指示)的代码V与感兴趣区块的代码V之间的差值为负值-4(=2-6)。如果差值为负值,那么如上所述,向该差值中加上+7。即,所得到的值3(=-4+7)变成第二差值码Y1。
之后,设备以与每个区块的代码V对应的图案颜色(参见图11)涂画该区块,以便产生测试图。更具体地说,例如,在图13中所示的例子中,具有坐标(0,0)的区块被赋予与代码V=0对应的(R,G,B)=(0,0,1)的图案颜色,即蓝色。具有坐标(2,0)的区块被赋予与代码V=1对应的(R,G,B)=(0,1,1)的图案颜色,即绿色。对所有44×44个区块重复这样的操作。从而,产生44×44测试图。这里使用的“涂画”指的是在例如纸介质上涂上对应的图案颜色的操作,或者在显示单元上显示对应的图案颜色的操作。即,测试图可以是打印在例如纸介质上的图像,或者显示在显示单元上的图像。
虽然参考具有值0或1的二进制RGB说明了各个例子,不过编码方法并不局限于此。例如,通过在色调方向上利用三进制RGB或四进制RGB,能够产生更精确的测试图。
按照本实施例,通过利用上面说明的测试图,即,包括均利用使用图12中所示的差值码Y1的编码方法编码,并且涂以与所得到的代码V对应的图案颜色的各个区块的测试图,提取(计算)相位校正信息。图14中以流程图的形式表示了实现提取(计算)这种相位校正信息的方法的处理(下面称为“相位校正信息计算处理”)的例子。因此,下面参考图14中所示的流程图说明相位校正信息计算处理。
在步骤S31,包括图2中所示的相位检测/校正电路72的图像拾取设备31捕获测试图的图像。
下面,假定在步骤S31捕获了与图13中所示的上述图像数据对应的测试图的图像。此时,CCD传感器62-K捕获图像的一部分。该局部图像包括位于图像中心的整个区块和在上下左右方向紧邻该中心区块的各个区块的至少一部分。更具体地说,图15中所示的图像数据由CCD传感器62-K捕获。即,图15图解说明由CCD传感器62-K捕获的测试图的局部图像的图像数据。注意,实际上,表示每个像素的R、G和B的亮度级(R,G,B)的图像数据输出自CCD传感器62-K。但是,由于附图没有任何颜色表现,因此对应的代码V(参见图11)被写入图15的每个区块中。
在步骤S32,相位检测/校正电路72利用CCD传感器62-K捕获的测试图的图像(下面称为“照相机图像”),计算CCD传感器62-K的绝对坐标(下面称为“照相机视角的绝对坐标”)。下面,在步骤S32执行的这种处理被称为“照相机视角的绝对坐标的计算处理”。
图16是在步骤S32执行的照相机视角的绝对坐标的计算处理的详细流程图。因此,下面参考图16中所示的流程图详细说明照相机视角的绝对坐标的计算处理。
在步骤S51,相位检测/校正电路72获得照相机图像(图像数据)。这里,如上所述,获得图15中所示的照相机图像(图像数据)。
但是实际上,如上所述,表示每个像素的R、G和B的亮度级(R,G,B)的图像数据输出自CCD传感器62-K。于是,相位检测/校正电路72利用这样的图像数据查阅图11中所示的表格,并执行获得如图15中所示的每个区块的代码V的处理。更具体地说,例如,相位检测/校正电路72顺序确定照相机图像的各个像素中的预定一个像素为感兴趣的像素,并对该感兴趣像素执行下述处理。即,相位检测/校正电路72选择图11中所示表格中的七种图案颜色中,与由感兴趣像素的R、G和B的亮度级(R,G,B)表示的颜色最接近的一种图案颜色,并把选择的颜色视为感兴趣像素的颜色。从而,相位检测/校正电路72确定与感兴趣像素的颜色对应的“[代码(CODE)]”为代码V。作为对每个像素进行的处理的结果,能够获得图15中所示的照相机图像(图像数据),即,各个像素均具有代码V的像素值的照相机图像(图像数据)。
在步骤S52,相位检测/校正电路72例如确定照相机图像的中心区块为感兴趣的区块。随后,相位检测/校正电路72获得感兴趣区块的代码V与在上下左右方向与感兴趣区块紧邻的每个区块的代码V之间的差值。即,在步骤S52执行的处理中,计算上面说明的第一个差值码Y1~第四个差值码Y1。
更具体地说,例如在这种情况下,由于在步骤S51的处理中已经获得了图15中所示的照相机图像,因此感兴趣区块的代码V为2。于是,由于感兴趣区块的左侧紧邻区块的代码V为6,因此能够计算感兴趣区块的代码V与感兴趣区块的左侧紧邻区块的代码V之间的差值,即,为3(=2-6+7)的第一差值码Y1。另外,由于感兴趣区块的右侧紧邻区块的代码V为6,因此,能够计算感兴趣区块的代码V与感兴趣区块的右侧紧邻区块的代码V之间的差值,即,为4(=6-2)的第二差值码Y1。类似地,由于感兴趣区块的上方紧邻区块的代码V为0,因此,能够计算感兴趣区块的代码V与感兴趣区块的上方紧邻区块的代码V之间的差值,即,为2(=2-0)的第三差值码Y1。另外,由于感兴趣区块的下方紧邻区块的代码V为5,因此,能够计算感兴趣区块的上方紧邻区块的代码V与感兴趣区块的代码V之间的差值,即,为3(=5-2)的第四差值码Y1。
在步骤S53,相位检测/校正电路72利用在步骤S52中获得的差值,计算在测试图坐标系中,感兴趣区块与在上下左右方向与感兴趣区块紧邻的每个区块之间的交点的坐标。
这种情况下,在步骤S52的处理中,已获得为3的第一差值码Y1,并且已获得为4的第二差值码Y1。于是,按照图12中所示的规则,当一组第一差值码Y1和第二差值码Y1是3和4的集合时,该集合的值X,即,中心区块的X坐标为4。类似地,在步骤S53的处理中,已获得为2的第三差值码Y1,并且已获得为3的第四差值码Y1。于是,按照图12中所示的规则,当一组第一差值码Y1和第二差值码Y1是2和3的集合时,该集合的值X,即,中心区块的Y坐标为3。即,感兴趣区块的坐标为(4,3)。注意,如前所述,感兴趣区块的坐标指的是感兴趣区块的左上角的坐标。在图15中所示的例子中,感兴趣区块的坐标由交点P0的坐标表示。
这样,交点P0的坐标被计算为(4,3)。利用交点P0的坐标,交点P1的坐标被计算为(4,4),交点P2的坐标被计算为(5,4),交点P3的坐标被计算为(5,3)。
在步骤S54,相位检测/校正电路72利用测试图坐标系中,感兴趣区块的交点的坐标(在步骤S53的处理中计算的坐标),计算照相机的视角的绝对坐标。
这种情况下,由于在步骤S53的处理中计算了测试图坐标系中,感兴趣区块的交点P0、P1、P2和P3的坐标,因此相位检测/校正电路72例如把这些坐标变换成绝对坐标。之后,相位检测/校正电路72利用感兴趣区块的交点P0、P1、P2和P3的绝对坐标,计算点Q0、Q1、Q2和Q3的绝对坐标作为照相机的视角的绝对坐标。
从而,已经结束图16中所示的计算照相机视角的绝对坐标的处理。随后,处理进入图14中所示的步骤S33。
在步骤S33,相位检测/校正电路72计算待成像的物体的失真。
在步骤S34,相位检测/校正电路72把与CCD传感器62-K的位置U和V以及变焦比r对应的视角信息(例如,在步骤S32的处理中获得的照相机视角的绝对坐标),和失真信息(例如,步骤S33的处理的计算结果)作为相位校正信息保存在相位校正信息存储器73中。
从而,相位校正信息计算处理已经结束。
对涉及位置u和v以及变焦比r的几种模式中的每种模式执行上面说明的相位校正信息计算处理,以致为每种模式获得相位校正信息。获得的相位校正信息被保存在相位校正信息存储器73中。
下面说明校正相位的方法(利用相位校正信息的方法)。
图17是图解说明与校正相位的方法对应的例证处理(下面称为“相位校正处理”)。因此,下面参考图17说明相位校正处理。
在步骤S71,对于每个CCD传感器62-1~62-N,相位检测/校正电路72从相位校正信息存储器73读出位置和变焦比与当前位置和变焦比最接近的相位校正信息(用于相位校正的视角信息和失真信息)。
在步骤S72,相位检测/校正电路72利用对于每个CCD传感器62-1~62-N,位置和变焦比最接近于当前位置和变焦比的相位校正信息(用于相位校正的视角信息和失真信息),计算关于当前位置和变焦比的相位校正信息(用于相位校正的视角信息和失真信息)。
在步骤S73,相位检测/校正电路72结合在步骤S72的处理中计算的视角信息和失真信息,以便获得绝对坐标系中的混合部分。
在步骤S74,包括相位检测/校正电路72的图像拾取设备31捕获物体的图像。在步骤S74中捕获的帧被确定为感兴趣的帧之后,处理进入步骤S75。
在步骤S75,相位检测/校正电路72把感兴趣帧的输入像素中的一个预定像素确定为感兴趣的输入像素。之后,相位检测/校正电路72按照视角执行相位校正,以便进行混合处理。下面参考图18说明混合处理的一个例子。
在步骤S76,相位检测/校正电路72确定是否已对感兴趣帧的所有像素完成了该处理。
在步骤S76,如果确定还未对感兴趣帧的所有像素完成该处理,那么处理返回步骤S75。之后,重复后续处理。
即,反复执行由步骤S75和S76组成的循环。从而,对感兴趣帧的所有像素执行与视角的失真一致的相位校正,并执行混合处理。从而,经历与视角的失真一致的相位校正并且经历混合处理的感兴趣帧被传送给亮度检测/校正电路74。
之后,在步骤S76确定已对感兴趣帧的所有像素完成了该处理,于是,处理进入步骤S77。
在步骤S77,相位检测/校正电路72确定所有帧的图像捕获是否都已完成(即,用户是否指示图像捕获的结束)。
在步骤S77,如果确定还未完成所有帧的图像捕获(即,用户还没有指示图像捕获的结束),那么处理返回步骤S74,并重复后续处理。
即,在下一个步骤S74捕获的下一帧变成感兴趣帧,并反复执行由步骤S75和S76组成的循环。从而,对感兴趣帧的所有像素执行与视角的失真一致的相位校正,并且执行混合处理。结果,经历与视角的失真一致的相位校正并且经历混合处理的感兴趣帧被传送给亮度检测/校正电路74。
随后,在步骤S77,如果确定已完成对所有帧的图像捕获(即,用户已指示图像捕获的结束),那么相位校正处理结束。
如上所述,相位检测/校正电路72利用保存在相位校正信息存储器75中的视角信息、失真信息和其它参数,执行相位校正信息计算处理。相位检测/校正电路72随后结合通过相位校正信息计算处理获得的视角信息和失真信息,以便计算绝对坐标系中的混合区。这样,相位检测/校正电路72执行相位校正,并且执行混合处理。
下面参考图18示意说明在步骤S75执行的例证混合处理。
在图18中,图像151由一个CCD传感器62-K捕获。图像151是具有以高分辨率捕获的局部部分的捕获图像,如上所述,以致包括在图像151中的黑色圆圈(例如,上面说明的图6中所示的人102的面部)表示用户希望仔细查看的部分。即,以“远摄”变焦模式捕获图像151。
相反,图像152-2是由在右侧与CCD传感器62-K紧邻的CCD传感器62-K+1(当从数字照相机3的前侧观看时)以“广角”变焦模式捕获的图像。
另外,假定在图17中所示的步骤S73的处理中,确定区域153-a和153-b是混合区。另外,已对图像151和152-1执行了相位校正(在步骤S75执行的处理的一部分)。
这种情况下,相位检测/校正电路72对图像(图像数据)152-1执行放大处理,以致混合区153-a和混合区153-b具有相同的分辨率(相同的大小)。从而,能够获得图18中所示的图像(图像数据)152-2。可以采用任意方法来放大图像。例如,为了在左右方向上把图像放大为初始图像的A倍,在上下方向上把图像放大为初始图像的B倍(其中A和B是大于或等于1的独立正值),可产生与一个初始像素对应的A×B个像素。在这种情况下,可以采用任意方法来确定A×B个像素中的每个像素的像素值。例如,A×B个像素中的每个像素可具有所述一个初始像素的像素值。另一方面,A×B个像素可具有根据与相邻像素(和所述一个初始像素相邻的像素)的相关性确定的各个像素值。
随后,相位检测/校正电路72结合图像(图像数据)151与图像(图像数据)152-2,以便产生合成图像153。
注意可以采用任意方法来组合混合部分153-a和混合部分153-b。例如,混合部分153-a的每个像素的像素值被直接用于合成图像的对应像素的像素值。另一方面,可利用混合部分153-a的像素的像素值和混合部分153-b的像素的像素值,进行预定的计算(例如,平均值计算)。所得到的计算值可被用于合成图像的对应像素的像素值。
另外,在所有上述方法中,与混合部分153-a对应的一部分合成图像153和另一部分之间的边界(边缘部分)往往变成不自然的图像(对人眼来说不自然的图像)。因此,相位检测/校正电路72能够对所述边缘部分进行预定的图像处理。对于该图像处理来说,可以使用任意方法。例如,可以采用降低边缘部分中,以及边缘部分附近的亮度值(像素值)的处理。这种情况下,可以采用任何降低亮度值的方法。例如,可沿着从与混合区153-a对应的部分到任何其它部分的方向线性降低亮度值。另一方面,可沿着峰值点对应于边缘部分的正弦曲线降低亮度值。
在图17中所示的上述例子中,这样的混合处理由相位检测/校正电路72,即,捕获图像的数字照相机执行。但是,本发明并不局限于此。混合处理可由图像的重放单元,比如显示单元(未示出)执行。
当混合处理由重放单元,比如显示单元(未示出)执行时,代替图17中所示的相位校正处理,相位检测/校正电路72可执行相位检测处理,如图19中所示。
在图19中所示的相位检测处理的步骤S91~S93执行的处理基本上与在图17的步骤S71~S73执行的处理类似。于是,下面说明步骤S94的处理和在步骤S94之后的处理。
在步骤S94,包括相位检测/校正电路72的图像拾取设备31捕获物体的图像。
在步骤S95,相位检测/校正电路72逐帧产生包括在步骤S92进行的处理中计算的相位信息,在步骤S93进行的处理中获得的混合部分,和CCD传感器62-1~62-N的图像数据的图像信号。相位检测/校正电路72随后输出产生的图像信号。
即,感兴趣帧的相位信息,混合部分和CCD传感器62-1~62-N的图像数据被结合到感兴趣帧的图像信号中。感兴趣帧的图像信号被传送给图2中所示的亮度检测/校正电路74。
这种情况下,例如,亮度检测/校正电路74执行图10中所示的上述亮度校正处理的步骤S11~S13。亮度检测/校正电路74把曲面的最小值MIN{S(x,y)}加入代表从相位检测/校正电路72传来的感兴趣帧的图像信号中。亮度检测/校正电路74随后向外输出该图像信号。即,这种情况下,从信号处理单元44输出的信号是其中结合感兴趣帧的相位信息、混合部分、CCD传感器62-1~62-N的图像数据、和曲面的最小值MIN{S(x,y)}的图像信号。
当收到这样的图像信号时,重放单元执行与图10的步骤S15和图17的步骤S75对应的处理,以便产生(构成)与感兴趣帧对应的图像数据。从而,能够显示与图像数据对应的图像,即,感兴趣的帧。
在步骤S96,相位检测/校正电路72确定是否已完成了所有帧的图像捕获(即,用户是否已指示图像捕获的结束)。
在步骤S96,如果确定还没有完成所有帧的图像捕获(即,用户还没有指示图像捕获的结束),那么处理返回步骤S94,重复后续处理。
即,在下一步骤S94捕获的下一帧变成感兴趣帧。感兴趣帧(即,下一帧)的相位信息、混合部分、CCD传感器62-1~62-N的图像数据被结合到感兴趣帧(即,下一帧)的图像信号中。该图像信号被传给图2中所示的亮度检测/校正电路74。
之后,如果在步骤S96,确定已完成所有帧的图像捕获(即,用户已指示图像捕获的结束),那么相位检测处理已结束。
至此,已说明了在图2中所示例子中的图像拾取设备31。
总之,图像拾取设备31至少具有下面的第一~第十三个特征。
第一个特征在于图像拾取设备31是一种包括排列成阵列的图像拾取元件,比如CCD传感器62-K的高分辨率和精细分辨率的焦点重合型图像拾取设备。
第二个特征在于图像拾取设备31是一种包括由第一成像系统41、第一成像系统41的成像平面和第二成像系统组42构成的光学系统的图像拾取设备,第一成像系统41形成焦点重合的图像,第二成像系统组42具有排列成阵列的,用于捕获在成像平面中形成的图像的多个图像拾取元件。
第三个特征在于场透镜43可被置于连接第一成像系统41和第二成像系统组42的成像平面中,或者置于成像平面附近。
第四个特征在于代替场透镜43,一个漫射体(未示出)可被置于连接第一成像系统41和第二成像系统组42的成像平面中,或者置于成像平面附近。
第五个特征在于包括在第二成像系统组42中的多个第二成像系统均被这样布置,以便把由包括在第二成像系统之一中的CCD传感器62-K捕获的第一图像的一部分和包括在另一个第二成像系统中的另一个CCD传感器62-K捕获的第二图像的一部分保持为混合区,在所述混合区中,第一图像与第二图像相连接。
第六个特征在于图像拾取设备31的光学系统可以仅仅由透镜组成(即,不采用任何棱镜)。该特征由第一个特征的效果引起。按照第六个特征,即使图像拾取元件,比如CCD传感器的数目被增大,也能够低成本地获得能够捕获高分辨率和精细分辨率图像的图像拾取设备。
第七个特征在于图像拾取设备31包括一个能够独立地改变第二成像系统组42中的多个图像拾取元件的位置和变焦量的机构。按照第七个特征,能够捕获局部高分辨率的图像。
第八个特征在于所述机构包括变焦致动器和位置控制致动器。
第九个特征在于图像拾取设备31还包括当捕获局部高分辨率图像时,计算高分辨率图像捕获区的电路,即,高分辨率图像捕获范围计算电路76,和用户通过其指令高分辨率图像捕获区(比如高分辨率图像捕获范围计算电路76)的接口。
第十个特征在于图像拾取设备31还包括相位检测/校正电路72,用于校正在多个图像拾取元件,比如CCD传感器62-K上形成的图像的相位,和保存用于相位校正的相位校正信息的相位校正信息存储器73。
第十一个特征在于为了获得(提取)相位校正信息,上述提取方法被应用于相位检测/校正电路72。从而,相位检测/校正电路72能够执行例如图11中所示的相位校正信息计算处理。另外,此时,可以使用上述测试图。该特征也包括在第十一个特征中。
第十二个特征在于图像拾取设备还包括亮度检测/校正电路74,用于校正在多个图像拾取元件,比如CCD传感器62-K上形成的图像的亮度,和保存用于亮度校正的亮度校正信息的亮度校正信息存储器75。
第十三个特征在于为了获得亮度校正信息,上述提取方法被应用于亮度检测/校正电路72。从而,相位检测/校正电路74能够执行例如图9中所示的亮度校正信息计算处理。另外,此时,可以使用上面所述的测试图。该特征也包括在第十三个特征中。
第一~第十三个特征被总结成如下所述。图像拾取设备31是一种通过利用第一成像系统41和第二成像系统组42,能够获得混合区的高分辨率和精细分辨率的固定焦距图像捕获设备。在图像拾取设备31中,能够低成本地可缩放布置图像拾取元件。另外,图像拾取设备31能够捕获局部高分辨率图像。此外,图像拾取设备31能够自动并且独立地对第二成像系统组42的每个第二成像系统(它是一个图像捕获系统)进行失真校正,比如相位校正和亮度校正。
即,图像拾取设备31至少能够提供下述第一~第三个优点。第一个优点在于能够捕获具有混合区,并且能够无缝相互连接的高分辨率和精细分辨率图像。第二个优点在于能够低成本地排列多个图像拾取元件,并且能够捕获局部高分辨率的图像。第三个优点在于能够自动获得亮度校正信息和相位校正信息。
上述一系列处理可由硬件执行。另外,上述一系列处理可由软件执行。
这种情况下,图2中所示的图像拾取设备31的至少部分信号处理单元44可由例如图20中所示的计算机实现。
在图20中,中央处理器(CPU)201按照保存在只读存储器(ROM)202中的程序,或者按照从存储单元208装入随机存取存储器(RAM)203的程序,执行各种处理。另外,当需要时,CPU 201执行各种处理所需的数据被保存在RAM 203中。
CPU 201、ROM 202和RAM 203通过总线204互连。另外,输入/输出接口205与总线204连接。
包括键盘和鼠标的输入单元206、包括显示器的输出单元207、包括例如硬盘的存储单元208、和包括调制解调器和终端适配器的通信单元209连接到输入/输出接口205。通信单元209借助包括因特网在内的网络,控制图像拾取设备与其它设备(未示出)之间的通信。
此外,当需要时,驱动器210与输入/输出接口205连接。根据需要,包括磁盘、光盘、磁光盘或半导体存储器的可拆卸记录介质211被安装在驱动器210上。根据需要,从可拆卸记录介质211读出的计算机程序被安装到存储单元208中。
当所述一系列处理由软件执行时,软件的程序被安装到并入专用硬件中的计算机中,或者通过经由网络或记录介质把程序安装到其中,能够执行各种程序的计算机(例如通用个人计算机)中。
如图20中所示,保存这种程序的记录介质的例子包括可拆卸记录介质211,所述可拆卸记录介质211包括磁盘(包括软盘)、光盘(包括光盘-只读存储器(CD-ROM)和数字通用视盘(DVD))、磁光盘(包括微型光盘(MD))、和半导体存储器。可拆卸记录介质211独立于设备被分发给用户,以便向用户提供程序。另外,记录介质的例子包括保存程序的ROM 202和并入存储单元208中的硬盘,它们被预先装配到设备中,并且和设备一起被提供给用户。
在本说明书中,说明保存在记录介质中的程序的步骤不仅包括按照上述顺序执行的处理,而且包括可并行或者独立执行的处理。
另外,本说明书中使用的术语“系统”指的是包括多个装置和处理单元的整个设备。
此外,尽管关于作为各种图像处理的单元的帧进行了上面的说明,不过图像处理的单元可以是场。即,当图像的单元,比如一帧或一场被称为“存取单元”时,上述的图像处理单元可用作存取单元。
Claims (16)
1.一种具有排列成阵列的多个图像拾取元件的焦点重合型图像拾取设备,包括:
光学系统,所述光学系统包括用于形成焦点重合的图像的第一成像系统、第一成像系统在其中形成所述图像的成像面、和第二成像系统组,所述第二成像系统组包括多个第二成像系统,每个第二成像系统包括所述图像拾取元件之一,每个图像拾取元件捕获通过重新形成在成像面中形成的图像的预定部分而获得的图像,所述多个第二成像系统被排列成阵列,
其中包括在第二成像系统组中的多个第二成像系统中的每一个都被这样布置,以便把由包括在第二成像系统之一中的图像拾取元件捕获的第一图像的一部分,和由包括在另一个第二成像系统中的图像拾取元件捕获的第二图像的一部分保持为混合区,在所述混合区中,第一图像与第二图像连接,以及
其中包括在第二成像系统组中的多个第二成像系统中的每一个都包括透镜,用于在所述图像拾取元件之一上重新形成在成像面中形成的图像的预定部分,以及其中下述表达式被满足:
2×F×tan(φ/2)>D
其中F表示成像面和透镜之间的距离,φ表示从成像面输出的光束中与混合区对应的光束的宽度,以及D表示所述图像拾取元件之一和与所述图像拾取元件之一紧邻的图像拾取元件之间的距离。
2.按照权利要求1所述的图像拾取设备,还包括:
置于成像面中,或者置于成像面附近的场透镜,所述成像面连接第一成像系统和第二成像系统组。
3.按照权利要求1所述的图像拾取设备,还包括:
置于成像面中,或者置于成像面附近的漫射体,所述成像面连接第一成像系统和第二成像系统组。
4.按照权利要求1所述的图像拾取设备,还包括:
机构,所述机构被配置成单独改变包括在第二成像系统组中的多个第二成像系统中的每一个中的图像拾取元件的位置和透镜的变焦,而与其它的第二成像系统无关。
5.按照权利要求4所述的图像拾取设备,其中所述机构包括配置成与其它透镜无关地驱动多个透镜中的每一个,从而改变其变焦的第一致动器,和配置成与其它图像拾取设备无关地驱动多个图像拾取设备中的每一个,从而改变其位置的第二致动器。
6.按照权利要求4所述的图像拾取设备,其中通过利用所述机构,图像拾取设备使包括在第二成像系统组中的至少一个第二成像系统中所包括的至少一个图像拾取元件中的每一个捕获分辨率比其它图像拾取元件捕获的图像更高的图像,以及其中所述图像拾取设备还包括计算单元,所述计算单元被配置成进行计算以便确定当捕获高分辨率图像时,以高分辨率捕获的图像的范围。
7.按照权利要求6所述的图像拾取设备,还包括:
接口单元,通过所述接口单元,用户执行选择以高分辨率捕获的图像的范围的操作;
其中根据通过接口单元的用户操作,计算单元计算以高分辨率捕获的图像的范围。
8.按照权利要求1所述的图像拾取设备,还包括:
相位校正信息保持单元,所述相位校正信息保持单元被配置成保持用于校正在多个图像拾取元件上形成的图像的相位的相位校正信息。
9.按照权利要求8所述的图像拾取设备,还包括:
相位校正信息计算单元,所述相位校正信息计算单元被配置成利用通过在多个图像拾取元件中的至少一个上重新形成在成像面中形成的预定测试图的图像而获得的图像,预先计算相位校正信息,并被配置成使相位校正信息保持单元保持所述相位校正信息。
10.按照权利要求8所述的图像拾取设备,还包括:
相位校正单元,所述相位校正单元被配置成利用保持在相位校正信息保持单元中的相位校正信息,校正通过在多个图像拾取元件上重新形成在成像面上形成的物体的图像而获得的每个图像的相位。
11.按照权利要求1所述的图像拾取设备,还包括:
亮度校正信息保持单元,所述亮度校正信息保持单元被配置成保持用于校正在多个图像拾取元件上形成的图像的亮度的亮度校正信息。
12.按照权利要求11所述的图像拾取设备,还包括:
亮度校正信息计算单元,所述亮度校正信息计算单元被配置成利用通过在多个图像拾取元件中的至少一个上重新形成在成像面中形成的预定测试图的图像而获得的图像,预先计算亮度校正信息,并被配置成使亮度校正信息保持单元保持所述亮度校正信息。
13.按照权利要求11所述的图像拾取设备,还包括:
亮度校正单元,所述亮度校正单元被配置成利用保持在亮度校正信息保持单元中的亮度校正信息,校正通过在多个图像拾取元件上重新形成在成像面上形成的物体的图像而获得的每个图像的亮度。
14.一种用于图像拾取设备的图像捕获方法,所述图像拾取设备至少包括第一成像系统和具有图像拾取元件的多个第二成像系统,所述方法包括下述步骤:
利用第一成像系统在预定成像面上形成焦点重合的图像;
第二成像系统之一在包括在该第二成像系统之一中的图像拾取元件之一上重新形成在所述成像面上形成的图像的预定部分;和
每个图像拾取元件捕获在该图像拾取元件上形成的图像,
其中布置多个第二成像系统中的每一个,使得把由包括在第二成像系统之一中的图像拾取元件捕获的第一图像的一部分,和由包括在另一个第二成像系统中的图像拾取元件捕获的第二图像的一部分保持为混合区,在所述混合区中,第一图像与第二图像连接,以及
其中多个第二成像系统中的每一个都包括透镜,用于在所述图像拾取元件之一上重新形成在成像面中形成的图像的预定部分,以及其中下述表达式被满足:
2×F×tan(φ/2)>D
其中F表示成像面和透镜之间的距离,φ表示从成像面输出的光束中与混合区对应的光束的宽度,以及D表示所述图像拾取元件之一和与所述图像拾取元件之一紧邻的图像拾取元件之间的距离。
15.一种设计图像拾取设备的方法,所述图像拾取设备至少包括第一成像系统和具有图像拾取元件的多个第二成像系统,所述方法包括下述步骤:
利用第一成像系统在预定成像面上形成焦点重合的图像;和
第二成像系统之一在包括在该第二成像系统之一中的图像拾取元件之一上重新形成在所述成像面上形成的图像的预定部分,
其中布置多个第二成像系统中的每一个,使得把由包括在第二成像系统之一中的图像拾取元件捕获的第一图像的一部分,和由包括在另一个第二成像系统中的图像拾取元件捕获的第二图像的一部分保持为混合区,在所述混合区中,第一图像与第二图像连接,
其中多个第二成像系统中的每一个都包括透镜,用于在所述图像拾取元件之一上重新形成在成像面中形成的图像的预定部分,以及其中下述表达式被满足:
2×F×tan(φ/2)>D
其中F表示成像面和透镜之间的距离,φ表示从成像面输出的光束中与混合区对应的光束的宽度,以及D表示所述图像拾取元件之一和与所述图像拾取元件之一紧邻的图像拾取元件之间的距离。
16.一种用于图像拾取设备的图像捕获方法,所述图像拾取设备包括光学系统,所述光学系统包括形成焦点重合的图像的第一成像系统,第一成像系统在其中形成所述图像的成像面,和包括多个第二成像系统的第二成像系统组,每个第二成像系统包括图像拾取元件和透镜,所述图像拾取元件捕获形成于其上的图像,所述透镜在图像拾取元件上重新形成在成像面中形成的图像的预定部分,所述多个第二成像系统被排列成阵列,所述方法包括下述步骤:
为了把由包括在第二成像系统之一中的图像拾取元件捕获的第一图像的一部分,和由包括在另一第二成像系统中的图像拾取元件捕获的第二图像的一部分保持为其中第一图像与第二图像连接的混合区,把包括在第二成像系统组中的多个第二成像系统中的每一个都布置成满足下述表达式:
2×F×tan(φ/2)>D
其中F表示成像面和透镜之间的距离,φ表示从成像面输出的光束中,与混合区对应的光束的宽度,以及D表示所述图像拾取元件之一和与所述图像拾取元件之一紧邻的图像拾取元件之间的距离;和
由图像拾取设备捕获物体的图像。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005010769 | 2005-01-18 | ||
JP010769/2005 | 2005-01-18 | ||
JP2005063675A JP4023494B2 (ja) | 2005-01-18 | 2005-03-08 | 撮像装置および撮像方法、並びに撮像装置の設計方法 |
JP063675/2005 | 2005-03-08 | ||
PCT/JP2006/300360 WO2006077777A1 (ja) | 2005-01-18 | 2006-01-13 | 撮像装置および撮像方法、並びに撮像装置の設計方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101124815A CN101124815A (zh) | 2008-02-13 |
CN101124815B true CN101124815B (zh) | 2010-06-16 |
Family
ID=36692167
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2006800053784A Expired - Fee Related CN101124815B (zh) | 2005-01-18 | 2006-01-13 | 图像拾取设备、图像捕获方法和设计图像拾取设备的方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US8031232B2 (zh) |
EP (1) | EP1841207B1 (zh) |
JP (1) | JP4023494B2 (zh) |
KR (1) | KR20070104557A (zh) |
CN (1) | CN101124815B (zh) |
WO (1) | WO2006077777A1 (zh) |
Families Citing this family (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4752733B2 (ja) * | 2005-12-02 | 2011-08-17 | ソニー株式会社 | 撮像装置および撮像方法、並びに撮像装置の設計方法 |
US7443590B2 (en) | 2005-12-02 | 2008-10-28 | Sony Corporation | Imaging apparatus and method, and method for designing imaging apparatus |
US8059162B2 (en) | 2006-11-15 | 2011-11-15 | Sony Corporation | Imaging apparatus and method, and method for designing imaging apparatus |
JP5751986B2 (ja) * | 2010-12-08 | 2015-07-22 | キヤノン株式会社 | 画像生成装置 |
JP2013029806A (ja) | 2011-06-22 | 2013-02-07 | Canon Inc | 撮像装置 |
US9936188B2 (en) * | 2013-02-13 | 2018-04-03 | Universität des Saarlandes | Plenoptic imaging device |
CN103209284B (zh) * | 2013-02-26 | 2015-03-25 | 中国科学院自动化研究所 | 一种文档扫描图像的亮度补偿方法 |
US20150124094A1 (en) * | 2013-11-05 | 2015-05-07 | Delphi Technologies, Inc. | Multiple imager vehicle optical sensor system |
US20160107576A1 (en) * | 2013-11-05 | 2016-04-21 | Delphi Technologies, Inc. | Multiple imager vehicle optical sensor system |
JP6584237B2 (ja) * | 2015-09-01 | 2019-10-02 | キヤノン株式会社 | 制御装置、制御方法、およびプログラム |
CN105472214B (zh) * | 2015-11-24 | 2019-01-29 | 长春乙天科技有限公司 | 采用面阵图像传感器拼接成像的成像系统及成像方法 |
EP3185179A1 (en) * | 2015-12-22 | 2017-06-28 | Delphi Technologies, Inc. | Multiple imager vehicle optical sensor system |
CN105744235A (zh) * | 2016-04-08 | 2016-07-06 | 盐城师范学院 | 滩涂弧边招潮蟹行为研究观察仪 |
US10473593B1 (en) | 2018-05-04 | 2019-11-12 | United Technologies Corporation | System and method for damage detection by cast shadows |
US10685433B2 (en) | 2018-05-04 | 2020-06-16 | Raytheon Technologies Corporation | Nondestructive coating imperfection detection system and method therefor |
US11268881B2 (en) | 2018-05-04 | 2022-03-08 | Raytheon Technologies Corporation | System and method for fan blade rotor disk and gear inspection |
US10958843B2 (en) * | 2018-05-04 | 2021-03-23 | Raytheon Technologies Corporation | Multi-camera system for simultaneous registration and zoomed imagery |
US10488371B1 (en) | 2018-05-04 | 2019-11-26 | United Technologies Corporation | Nondestructive inspection using thermoacoustic imagery and method therefor |
US10943320B2 (en) | 2018-05-04 | 2021-03-09 | Raytheon Technologies Corporation | System and method for robotic inspection |
US10914191B2 (en) | 2018-05-04 | 2021-02-09 | Raytheon Technologies Corporation | System and method for in situ airfoil inspection |
US10902664B2 (en) | 2018-05-04 | 2021-01-26 | Raytheon Technologies Corporation | System and method for detecting damage using two-dimensional imagery and three-dimensional model |
US10928362B2 (en) | 2018-05-04 | 2021-02-23 | Raytheon Technologies Corporation | Nondestructive inspection using dual pulse-echo ultrasonics and method therefor |
US11079285B2 (en) | 2018-05-04 | 2021-08-03 | Raytheon Technologies Corporation | Automated analysis of thermally-sensitive coating and method therefor |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001223931A (ja) * | 2000-02-10 | 2001-08-17 | Olympus Optical Co Ltd | 撮像装置及び画像システム |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5672575A (en) * | 1979-11-19 | 1981-06-16 | Toshiba Corp | Picture input unit |
US4323925A (en) * | 1980-07-07 | 1982-04-06 | Avco Everett Research Laboratory, Inc. | Method and apparatus for arraying image sensor modules |
AU554186B2 (en) * | 1981-10-26 | 1986-08-14 | Sony Corporation | Apparatus for detecting distance to an object |
US4890314A (en) * | 1988-08-26 | 1989-12-26 | Bell Communications Research, Inc. | Teleconference facility with high resolution video display |
US5151790A (en) * | 1990-07-23 | 1992-09-29 | Fuji Photo Film Co., Ltd. | Image pickup device for stabilizing optical aberrations |
US6205259B1 (en) * | 1992-04-09 | 2001-03-20 | Olympus Optical Co., Ltd. | Image processing apparatus |
JPH07222045A (ja) * | 1994-01-31 | 1995-08-18 | Canon Inc | 撮像装置 |
JP3513200B2 (ja) * | 1993-12-22 | 2004-03-31 | キヤノン株式会社 | 撮像装置 |
US5757423A (en) * | 1993-10-22 | 1998-05-26 | Canon Kabushiki Kaisha | Image taking apparatus |
JPH08172635A (ja) * | 1994-12-16 | 1996-07-02 | Minolta Co Ltd | 撮像装置 |
JP2001045508A (ja) | 1999-07-29 | 2001-02-16 | Ikegami Tsushinki Co Ltd | 固体撮像装置 |
US7440637B2 (en) * | 2000-07-21 | 2008-10-21 | The Trustees Of Columbia University In The City Of New York | Method and apparatus for image mosaicing |
US6909554B2 (en) * | 2000-12-27 | 2005-06-21 | Finisar Corporation | Wafer integration of micro-optics |
US7009638B2 (en) * | 2001-05-04 | 2006-03-07 | Vexcel Imaging Gmbh | Self-calibrating, digital, large format camera with single or multiple detector arrays and single or multiple optical systems |
JP3788394B2 (ja) * | 2002-06-13 | 2006-06-21 | ソニー株式会社 | 撮像装置および撮像方法、並びに表示装置および表示方法 |
US7259784B2 (en) * | 2002-06-21 | 2007-08-21 | Microsoft Corporation | System and method for camera color calibration and image stitching |
US7701489B1 (en) * | 2003-05-27 | 2010-04-20 | Apple Inc. | Method and apparatus for color correction |
US7236304B2 (en) * | 2003-11-04 | 2007-06-26 | Matsushita Electric Industrial Co., Ltd. | Imaging Device |
US7453510B2 (en) * | 2003-12-11 | 2008-11-18 | Nokia Corporation | Imaging device |
JP2005252625A (ja) * | 2004-03-03 | 2005-09-15 | Canon Inc | 撮像装置および画像処理方法 |
-
2005
- 2005-03-08 JP JP2005063675A patent/JP4023494B2/ja not_active Expired - Fee Related
-
2006
- 2006-01-13 EP EP06711645A patent/EP1841207B1/en not_active Expired - Fee Related
- 2006-01-13 US US11/814,151 patent/US8031232B2/en not_active Expired - Fee Related
- 2006-01-13 CN CN2006800053784A patent/CN101124815B/zh not_active Expired - Fee Related
- 2006-01-13 WO PCT/JP2006/300360 patent/WO2006077777A1/ja active Application Filing
- 2006-01-13 KR KR1020077016432A patent/KR20070104557A/ko not_active Application Discontinuation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001223931A (ja) * | 2000-02-10 | 2001-08-17 | Olympus Optical Co Ltd | 撮像装置及び画像システム |
Also Published As
Publication number | Publication date |
---|---|
US20090128643A1 (en) | 2009-05-21 |
KR20070104557A (ko) | 2007-10-26 |
JP4023494B2 (ja) | 2007-12-19 |
JP2006229908A (ja) | 2006-08-31 |
EP1841207A1 (en) | 2007-10-03 |
EP1841207A4 (en) | 2011-05-11 |
EP1841207B1 (en) | 2012-04-18 |
US8031232B2 (en) | 2011-10-04 |
WO2006077777A1 (ja) | 2006-07-27 |
CN101124815A (zh) | 2008-02-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101124815B (zh) | 图像拾取设备、图像捕获方法和设计图像拾取设备的方法 | |
US11570423B2 (en) | System and methods for calibration of an array camera | |
CN107105141B (zh) | 图像传感器、图像处理方法、成像装置和移动终端 | |
CN101889453B (zh) | 图像处理装置、摄像装置、方法及程序 | |
CN102890386B (zh) | 成像装置 | |
EP2112817A1 (en) | Composition analysis method, image device having composition analysis function, composition analysis program, and computer-readable recording medium | |
CN104427251B (zh) | 焦点检测设备、其控制方法、以及摄像设备 | |
CN101102388A (zh) | 图像传感器以及采用其的图像感测方法 | |
CN101248454A (zh) | 图像处理方法和设备、数字照相机以及记录图像处理程序的记录介质 | |
CN102648622A (zh) | 图像处理装置、图像处理方法、图像处理程序、记录有图像处理程序的记录介质 | |
CN103828345B (zh) | 用于图像处理的设备、方法以及图像拾取设备 | |
CN109981939A (zh) | 成像系统 | |
CN102696228B (zh) | 成像设备和混色校正方法 | |
EP3247107B1 (en) | Method and device for obtaining a hdr image by graph signal processing | |
CN110248095B (zh) | 一种对焦装置、对焦方法及存储介质 | |
CN108802961A (zh) | 焦点检测设备和成像系统 | |
CN101534375B (zh) | 用于校正色差的方法 | |
JP2008022570A (ja) | 撮像装置 | |
JP4731529B2 (ja) | 撮像装置 | |
JP2009044361A (ja) | 画像処理装置および画像処理方法 | |
US20240348765A1 (en) | System and Methods for Calibration of an Array Camera | |
JP2011101305A (ja) | 画像処理装置、撮像装置 | |
KR20220126322A (ko) | 이미지 센서, 이미지 센서의 동작 방법, 그리고 이미지 센서를 포함하는 전자 장치 | |
CN113938604A (zh) | 对焦方法、装置、电子设备和存储介质 | |
JP5855485B2 (ja) | 画像生成装置、画像生成方法、撮像装置、および撮像方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
C17 | Cessation of patent right | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100616 Termination date: 20140113 |