CN101135838A - 全景成像装置 - Google Patents

全景成像装置 Download PDF

Info

Publication number
CN101135838A
CN101135838A CNA2007101471558A CN200710147155A CN101135838A CN 101135838 A CN101135838 A CN 101135838A CN A2007101471558 A CNA2007101471558 A CN A2007101471558A CN 200710147155 A CN200710147155 A CN 200710147155A CN 101135838 A CN101135838 A CN 101135838A
Authority
CN
China
Prior art keywords
image
lens
angle
scope
state imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007101471558A
Other languages
English (en)
Inventor
中尾良纯
豊田孝
政木康生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Funai Electric Co Ltd
Original Assignee
Funai Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Funai Electric Co Ltd filed Critical Funai Electric Co Ltd
Publication of CN101135838A publication Critical patent/CN101135838A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0075—Arrays characterized by non-optical structures, e.g. having integrated holding or alignment means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0004—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed
    • G02B19/0028—Condensers, e.g. light collectors or similar non-imaging optics characterised by the optical means employed refractive and reflective surfaces, e.g. non-imaging catadioptric systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B19/00—Condensers, e.g. light collectors or similar non-imaging optics
    • G02B19/0033—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use
    • G02B19/0076—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a detector
    • G02B19/008—Condensers, e.g. light collectors or similar non-imaging optics characterised by the use for use with a detector adapted to collect light from a complete hemisphere or a plane extending 360 degrees around the detector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • G02B5/045—Prism arrays

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明提供一种全景成像装置，其包括：透镜阵列，具有矩阵形式的透镜；成像部件；和棱镜，用于镜面反射进入获取范围的左/右范围中的光线，以将这些光线引导至左/右列中的侧透镜。前方范围中的光线被中间透镜上/下翻转，进而在成像部件上形成被上/下翻转的图像。左/右范围中的光线被棱镜和侧透镜上/下及左/右翻转，进而在成像部件上形成上/下及左/右翻转的图像。以一个方向读取左/右范围中的图像。以与上述方向相反的方向读取前方范围中的图像。在不翻转图像的情况下，将读取的图像组合以再生全景图像。本发明可以防止整个装置的体积变大以及防止成像处理变得复杂。

Description

全景成像装置
技术领域
本发明涉及一种全景成像装置。
背景技术
使用例如鱼眼透镜的广角光学系统来收集进入宽获取角度内光线的全景成像装置是公知的。然而，通过这种成像器件获取的全景图像很可能具有较大失真，因此为了再生正常的全景图像，需要复杂的失真校正处理来数字化处理所获取的图像。另一方面，已经在将获取的图像转化为数字信息进而处理它们的技术上取得进步。为了在宽获取角度中产生全景图像，已经使用这种技术开发出了各种成像器件，其中获取角度被划分为多个预定的连续获取范围，以将在预定的连续范围中分别获取的多个图像组合来再生全景图像。此后，将在预定连续范围中获取图像并将这些图像组合来再生全景图像的这种全景成像装置称为“图像组合型全景成像装置”。
大致上，有两种图像组合型全景成像装置。一种图像组合型全景成像装置在预定角位置处使用和设置多个光学透镜系统，其中各个光学透镜系统具有成像部件，以使各个光学透镜系统所形成的图像通过各个成像部件来成像。另一种图像组合型全景成像装置使用以预定角度间隔逐步机械枢转的单个光学透镜系统，以在预定获取范围中分别对多个图像成像。前者需要将多个光学透镜系统设置在一个装置中，而后者需要枢转该光学透镜系统的机构，因此这两种全景成像装置在其整体上均具有大体积和尺寸的问题。
为了减小整个图像组合型整体全景成像装置的体积和尺寸，提出了一种方案：在光学透镜系统中使用能够改变光线传播方向的的光学部件，例如棱镜。然而，如果使用这种光学部件，则形成在成像部件上的各个图像由于光学部件的影响而被镜像倒置的。从而，在组合各个图像以再生全景图像时，必须将被镜像倒置的图像转换为正常图像。因此，所提出的光学部件的使用很可能导致根据各个图像再生全景图像的过程变得复杂。
发明内容
本发明的目的是提出一种图像组合型全景成像装置，该图像组合型全景成像装置是薄的且能够防止其整体上的体积和尺寸变大，以及在该图像组合型全景成像装置中能够防止将在预定的连续获取范围中成像的各个图像组合来再生全景图像的处理变得复杂。
依据本发明，使用一种全景成像装置来实现上述目的，该全景成像装置包括：光学透镜系统，用于收集进入获取角中多个预定的连续获取范围中的光线，以在预定焦平面上形成对应的多个图像；成像器件，设置在焦平面处，用于将光学透镜系统所形成的多个图像转换为电子图像信息；和图像再生器件，用于将来自该成像器件的多个图像的电子图像信息组合，以再生全景图像。其中，该光学透镜系统包括：光学透镜阵列，该光学透镜阵列具有用于接收进入获取角的前方范围中的光线的中间透镜，并且还具有形成在形成有中间透镜的平面上且位于中间透镜的左侧和右侧的左侧透镜和右侧透镜，其中所述左侧透镜和右侧透镜具有平行于中间透镜光轴的光轴，以分别接收进入获取角的左侧和右侧范围中的光线；和左侧和右侧光学透镜，设置在光学透镜阵列的光线进入侧，用于将进入获取角中左侧和右侧范围中的光线镜面反射和引导至左侧透镜和右侧透镜，并且使进入各个侧透镜的光线沿各个侧透镜的光轴指向各个侧透镜。
该成像器件包括：XY地址型固态成像部件，其具有以行和列矩阵排列的单位像素，其中以固态成像部件中单位像素的行次序形成由中间透镜在获取角的前方范围中所形成的图像(此后被称为“前方范围图像”)以及形成由左侧透镜和右侧透镜在获取角的左侧和右侧范围中所形成的图像(此后被称为“左侧和右侧范围图像”)；和读取器件，用于以固态成像部件的单位像素的行内的一个方向读取左侧和右侧范围图像中的图像信息，并且以与固态成像部件的单位像素的行内的所述一个方向相反的方向读取前方范围图像中的图像信息，以使消除由左侧和右侧光学部件所引起的左侧和右侧范围中的镜面反射影响。进一步，图像再生器件将读取器件读取的前方范围图像和左侧及右侧范围图像组合，以再生全景图像。
优选地，所述读取器件从最下面一行至最上面一行读取固态成像部件中的单位像素，以消除其中的单眼图像的上/下翻转。
进一步优选地，各个左侧和右侧光学部件是直角棱镜。
依据本发明的全景成像装置，光学透镜系统包括光学透镜阵列，该光学透镜阵列具有设置在一个平面上的中间透镜和侧透镜，还包括例如直角棱镜的光学部件，所述光学部件用于收集进入获取角的左侧和右侧范围中的光线，以将光线引导至侧透镜。这能使全景成像装置变薄，且能防止整个全景成像装置的体积和尺寸变大。此外，转换固态成像部件上的图像(图像信息)的读取方向，以使对前方范围图像的读取方向与对各个左侧和右侧范围图像的读取方向相反，以消除由光学部件所引起的左侧和右侧范围图像的镜面反射影响。
因此，图像再生器件能够容易地将所读取的前方范围图像与所读取的左侧和右侧范围图像组合，而无需图像再生器件相对于前方范围图像的位置交换和颠倒左侧和右侧范围图像的位置或者上/下及左/右翻转这个图像。从而，可以防止对获取角中各个范围中的各个图像组合以再生全景图像的处理变得复杂。
尽管在所附的权利要求书中阐述了本发明的新颖特征，但是根据随后结合附图的详细说明将会更好地理解本发明。
附图说明
此后，将参考附图描述本发明。应当注意的是，所示出的全部附图用于例示本发明或其实施例的技术原理的目的，在附图中：
图1是依据本发明实施例的全景成像装置的透视图；
图2是全景成像装置中的光学透镜系统的前视图；
图3是全景成像装置中的光学透镜系统的底横截面视图；
图4是具有光学透镜的全景成像装置中的光学透镜系统的光路图，示出穿过各个光学透镜的光通量；
图5是全景成像装置中的固态成像部件的前视图，示出在获取角内的前方范围和左侧和右侧范围中成像的单眼图像；
图6是全景成像装置中的固态成像部件的电路设置图；
图7是部分全景成像装置连同在大约120°获取角中将被成像的目标物体一起的透视图，示出目标物体和成像在固态成像部件上的图像之间的关系；
图8是与从全景成像装置的固态成像部件中读取的图像信息相对应的图像的示意图；和
图9是通过全景成像装置的图像再生微处理器所再生的全景图像的示意图。
具体实施方式
此后，将参考附图描述作为实施本发明的最佳方式的本发明的多个实施例。本发明涉及一种全景成像装置。应当理解的是，这里所述的实施例并非用于限制或涵盖本发明的整个范围。注意的是，在整个附图中，相似的部件由相似的参考标记、字符或符号来表示。
参考图1至图9，将描述依据本发明实施例的全景成像装置1。如图1中所示，本发明实施例的全景成像装置1包括：光学透镜系统2，用于收集以120°(大约120°)获取角(图像捕获角)进入其中的光线，进而在预定焦平面上形成图像；XY地址(address)型固态成像部件3(此后简称为“固态成像部件”)(在权利要求中称为“成像器件”)，设置在光学透镜系统2的焦平面处，用于将光学透镜系统2所形成的图像转换为电子图像信息；和处理电路，用于信号处理和显示。
该处理电路包括：水平扫描电路21和垂直扫描电路22(在权利要求中称为“读取器件”，参考图6)，用于以后面描述的预定的处理和顺序读取电子图像信息，该电子图像信息对应于形成在固态成像部件3上的图像；A/D(模数)转换器4，用于将从固态成像部件3中读取的图像信息转换为数字信号；DSP 5(数字信号处理器)，用于接收和暂时存储来自A/D转换器4的数字信号；和图像再生微处理器6(在权利要求中称为“图像再生器件”)，用于对DSP 5接收到的和暂时存储的图像信息进行图像处理，例如将图像组合，以根据图像信息的数字信号再生全景图像。全景成像装置1进一步包括显示单元7，例如液晶面板，用于显示再生的全景图像。
如图1和图2中所示，本发明实施例中的光学透镜系统2包括：光学透镜阵列11，其具有9(九)个光学透镜8，所述9(九)个光学透镜8具有相互平行的光轴La且以3(三)行和3(三)列的矩阵形式排列，以及在透明基底9的一个平面或表面上整体形成为单个凸透镜；和两个45-45-90度直角棱镜12(在权利要求中称为“光学部件”)，设置在光学透镜阵列11的光线进入侧，分别面对在矩阵中左行中的三个光学透镜8和右行中的三个光学透镜8。全部九个光学透镜8都具有40°的视角(获取角)。注意的是，不需要将光学透镜8整体形成在透明基底9上，并且光学透镜8能够通过透镜固定器控制，而排列在二维平面上。
参考图3，将更详细地描述光学透镜系统2。光学透镜阵列11由固定在基板13上的透镜固定器14支撑。在透镜固定器14中对应于且面对透镜固定器14的各个光学透镜8的位置处形成光圈(stop aperture)15。经由固定在透镜固定器14的棱镜固定器16支撑45-45-90度直角棱镜12，以使45-45-90度直角棱镜12以预定角度倾斜至光学透镜阵列11。固态成像部件3被固定在基板13上，而隔断壁17用于将隔断光学透镜8和固态成像部件3之间的空间隔断为用于各个光学透镜8的矩阵空间(所看到的矩阵位于与图1中所示的光轴La垂直的平面上)，从而阻止光线(从各个光学透镜8中发射出且到达固态成像部件3的光线)相互干扰。光学透镜系统2进一步包括红外线截止滤波器(infrared cut filter)18，该红外线截止滤波器形成在固态成像部件3的上表面。
参考图2及其它附图，位于光学透镜阵列11的中间列中的三个光学透镜8c(这种光学透镜8c此后被称为“中间透镜”)直接接收进入120°获取角中大约40°范围内的光线，而光学透镜阵列11中的左列中的三个光学透镜8s和右列中的三个光学透镜8s(这种光学透镜8s此后被称为“侧透镜”)分别接收经由两个45-45-90度直角棱镜12进入120°获取角中各个大约40°(为了不引起图像失真，不等于或不大于大约60°)的左侧和右侧范围中的光线。
参考图4，将更详细地描述相对于光学透镜阵列11设置45-45-90度直角棱镜12。设置各个45-45-90度直角棱镜12，以使各个45-45-90度直角棱镜12允许光线穿过包含直角的两个侧面12a、12c中的外侧面12a，进而由直角棱镜斜面12b反射(镜面反射)该光线，进一步使该光线经由另一侧面12c射出，以将该光线弯曲和引导至各个侧透镜8s，使该光线沿各个侧透镜8s的光轴La指向各个侧透镜8s，其中所述各个侧透镜8s收集该光线以在固态成像部件3上形成图像。在本说明书中，各个45-45-90度直角棱镜12的用于引导和允许光线穿过的表面以及用于反射和出射光线的表面分别被称为“侧面”和“斜面”，参考图4中光路图描述这种表面。
更具体地，如图4中所示，排列各个45-45-90度直角棱镜12，以使面对每个三个侧透镜8s组的侧面12c以25°角倾斜至光学透镜阵列11的主平面，而斜面12b以70°角倾斜至光学透镜阵列11的主平面。这可以防止进入中间透镜8c的光线被中断，因为45-45-90度直角棱镜12中的任一部分都不存在于120°获取角中大约40°的前方范围(前方范围Zc)中，如从中间透镜8c中所看到的。每三个侧透镜8s构成的一组侧透镜收集经由外侧面12a进入大约40°范围(各个左侧和右侧范围Zs)中的光线，所述外侧面12a为包含45-45-90度直角棱镜12中的直角的侧面12a、12c其中之一，从而在固态成像部件3上形成光的多个图像。
现在除图1之外再参考图5和图6，描述固态成像部件3。在本发明实施例中所使用的固态成像部件3例如是CMOS(互补金属氧化物半导体)图像传感器，该CMOS图像传感器在行列中具有多个单位像素P的矩阵，其对应于和面对图1中部分所示的行列中的光学透镜阵列11中的光学透镜8的矩阵。除了图1之外，根据图6也可以清楚看到，在固态成像部件3的侧面设置有水平扫描电路21(读取器件)，其侧面平行于各行单位像素P；同时在固态成像部件3侧面设置有垂直扫描电路22(读取器件)，其侧面平行于各列单位像素P。水平扫描电路21和垂直扫描电路22以后面所描述的顺序读取在各自单位像素P中存储为电荷的图像信息。
接下来，除了其它附图之外再参考图7，将描述形成于固态成像部件3上的图像。这里假定：待成像的目标物体B被设置在全景成像装置1的前面，并且在120°获取角(图像捕获角)的连续40°(预定)角范围中具有等角(或等长)的图像片段“L”、“C”和“R”。在这种情形中，“C”图像片段(即，处于前方范围Zc或中央40°角范围内的中央图像片段)被中间透镜8c上/下翻转及左/右翻转，以在固态成像部件3的中间列中形成“C”的三个单眼图像(前方范围Zc中的图像)。更具体地，如图7中所示，在观察固态成像部件3的背面(从侧面A观察)时，处于固态成像部件3上中间列的“C”的三个单眼图像中的各个单眼图像从目标物体B上的“C”的原始图像上/下翻转和左/右翻转。然而，如图5中所示，在从固态成像部件3的前面(从目标物体B)观察时，“C”的三个单眼图像中的每个单眼图像从“C”的原始图像仅仅上/下翻转。
另一方面，“L”图像片段(处于左侧范围Zs或左侧40°角范围中的左侧图像片段)和“R”图像片段(处于右侧范围Zs或右侧40°角范围中的右侧图像片段)分别被45-45-90度直角棱镜12左/右翻转(镜翻转或镜反射)。然后，所得到的“L”和“R”左/右翻转后的图像片段分别被左侧透镜和右侧透镜8s被上/下及左/右翻转，以分别在固态成像部件3的左列和右列中形成“L”的三个单眼图像和“R”的三个单眼图像(左侧和右侧范围Zs中的图像)。
更具体地，如图7中所示，在观察固态成像部件3的背面(从侧面A观察)时，各个“L”中的三个单眼图像和各个“R”中的三个单眼图像从“L”和“R”的原始图像上/下翻转。然而，如图5中所示，在从固态成像部件3的前面(从目标物体B)观察时，左侧列“L”和右侧列“R”的位置相对于中间列“C”而从目标物体B上的“L”和“R”原始位置相互交换或颠倒，同时，实质上在左侧列和右侧列中的“L”和“R”图像从目标物体B上的“L”和“R”的原始图像被左/右和上/下翻转。为了再生正常的全景图像，单眼图像的这些位置交换或颠倒及上/下或左/右翻转成为要解决的问题。
在图像再生微处理器6的控制下，水平扫描电路21和垂直扫描电路22的组合顺序读取所形成的“L”、“C”和“R”的九个单眼图像作为图像信息，同时图像再生微处理器6连接“L”、“C”和“R”的三个图像中的相邻两个的周边部分或它们之间的重叠部分，以形成120°图像角(原始角)的全景图像WP(参考图9)。本发明实施例的全景成像装置1中的有益特征在于：如下所述读取固态成像部件3上的单位像素P的图像信息的顺序。基于读取图像信息的有益顺序，通过使用从固态成像部件3读取的“L”、“C”和“R”的各个单眼图像的图像信息(也就是通过将前方范围Zc中的单眼图像以及左侧和右侧范围中的单眼图像相组合)，而无需图像再生微处理器6相对于“C”的单眼图像位置来交换或颠倒“L”和“R”的单眼图像位置或者上/下及左/右翻转这些单眼图像，本发明实施例的全景成像装置1即可解决或消除为了形成正常图像W而使单眼图像位置交换及上/下和左/右翻转的问题(参考图8)。
参考图5，在固态成像部件3的前视图中所示的单箭头s1、s2、s3、s4等指示在固态成像部件3上从单位像素P读取图像信息的顺序。这里，s1、s2、s3、s4等标示第一步骤、第二步骤、第三步骤、第四步骤等，其中在图像再生微处理器6的控制下，水平扫描电路21和垂直扫描电路22以这种顺序读取单位像素P的图像信息。注意在图5中，虚线F指示固态成像部件3上相邻单眼图像间的边界，而箭头X和Y分别指示行和列方向，其中顺序地读取单眼图像的图像信息。
如图5中箭头s1所示，通过读取“L”的最下面单眼图像的最下面一行中的单位像素P，开始从单位像素P中读取图像信息的过程。更具体地，首先读取“L”的最下面单眼图像的最下面且最右边的单位像素P。然后读取其中最下面且从最右边起第二个(相邻最右边)的单位像素P，此后沿箭头s1的方向(即方向X)顺序读取“L”的最下面单眼图像的最下面一行中的其它剩余的单位像素P，最后读取“L”的最下面单眼图像的最下面一行中的最下面且最左边单位像素P，来结束对箭头s1所指示的最下面一行的读取。
此后，如箭头s2所示，读取“C”的最下面单眼图像的最下面一行中的单位像素P。更具体地，跳跃读取，从而首先读取“C”的最下面单眼图像中最下面且最左边的单位像素P。然后，读取最下面且从最左边起第二个单位像素P，进而以与方向X相反的箭头s2的方向顺序读取“C”中最下面单眼图像的最下面一行中的其它剩余的单位像素P，最后读取“C”中最下面单眼图像的最下面一行中最下面且最右边单位像素P，来结束对箭头s2所指示的最下面一行的读取。
接着，如箭头s3所示，读取“R”的最下面单眼图像的最下面一行中的单位像素P。更具体地，跳跃读取，从而首先读取“R”的最下面单眼图像中最下面且最右边的单位像素P。然后，读取其中最下面且从最右边起第二个单位像素P，进而以箭头s3的方向(即方向X，与箭头s1方向相同)顺序读取“R”的最下面单眼图像的最下面一行中的其它剩余的单位像素P，最后读取“R”的最下面单眼图像的最下面一行中最下面且最左边的单位像素P，来结束对箭头s3所指示的最下面一行的读取。这样，全景成像装置1执行了读取固态成像部件3中最下面一行的步骤。
此后，类似地，全景成像装置1执行读取固态成像部件3中第二最下面一行的步骤。即，以如图5中显示的箭头s4、s5及s6所指示的方向顺序读取“L”、“C”及“R”的最下面单眼图像中的第二最下面一行中的单位像素P。以这种方式，全景成像装置1执行读取固态成像部件3中从最下面一行起第三行、从最下面一行起第四等直至固态成像部件3中最上面一行的步骤，从而结束了在固态成像部件3上从所有单位像素P中读取图像信息。
经由DSP 5，图像再生微处理器6接收和暂时存储以上述顺序读取的图像信息，以将从固态成像部件3中读取图像信息的顺序保持在图像再生微处理器6中。在以此显示时，由图像再生微处理器6接收和暂时存储的图像信息形成图8中所示的图像W。换言之，图像再生微处理器6中的这种图像信息对应于图8中的图像W，其中将“L”、“C”及“R”的单眼图像定位在目标物体B的相应的原始图像片段的正常位置，同时消除了各个单眼图像从各个相应的原始图像的上/下及左/右翻转，也就是，消除了45-45-90直角棱镜中的光学部件的镜面反射的效果。就此而论，可以说：本发明实施例的“读取器件”在XY地址型(XY address type)固态成像部件3中从最下面一行至最上面一行读取单位像素P，以消除其中单眼图像的上/下翻转，这些单眼图像具体为在获取角中在前方范围Zc中“C”的上/下翻转的单眼图像以及在左侧和右侧范围Zs中“L”和“R”的上/下及左/右被翻转的单眼图像。
因此，图像再生微处理器6仅仅需要在接下来执行相对简单的附加处理，从而基于例如图像信息(对应于图8中所示的图像W)中的在其三行的中间行的“L”、“C”和“R”的单眼图像，在连接这些单眼图像从而形成如图9中所示的全景图像W时，图像再生微处理器6简单地中间行中“L”、“C”和“R”的单眼图像中相邻两个单眼图像的周边部分或它们之间重叠部分的量(宽度)和位置。注意的是，因为各个光学透镜8具有大约40°的视角，因此能够最小化“L”、“C”和“R”的三个单眼图像中相邻两个的周边部分或它们之间重叠部分，从而允许各个45-45-90度直角棱镜12收集进入大约40°范围的光线(相比于60°或更大的大范围)。
还有，注意到的是，如果不沿上述方向从固态成像部件3中读取图像信息，或者如果沿同一方向(例如方向X)读取所有“L”、“C”和“R”的单眼图像的图像信息，那么由图像再生微处理器6接收和存储的中间列中“C”的各个单眼图像的图像信息将从目标物体B上“C”的原始图像左/右翻转。为了将左/右翻转的图像翻转回正常图像，还需要额外的部件，例如缓冲存储器，并且图像再生微处理器6将不得不允许所接收的图像信息暂时存储在该额外的部件(缓冲存储器)中。这不仅仅需要这种额外的部件(缓冲存储器)，还需要依据在获取角中以预定的连续角范围单独获取的图像再生全景图像WP的更复杂过程。
现在参考图6，描述以上述顺序读取单位像素P的处理电路的具体例子。为了简化描述，这里假定：固态成像部件3由以6行6列排列的36个单位像素P11、P12、……、P66的矩阵构成，并且图5中“L”的最下面且最右边单眼图像由定位在图6中最下面且最右边的四个单位像素P55、P56、P65、P66构成。单位像素P11、P12、……、P66分别通过其栅极引线G1、G2、……、G6(对于每一行该栅极引线是公共的)被连接至垂直扫描电路22，并且还分别被连接到其信号引线H1、H2、……、H6，该信号引线H1、H2、……、H6对于各列是公共的。
信号引线H1、H2、……、H6分别连接至开关部件J1、J2、……、J6，所述开关部件J1、J2、……、J6通过来自水平扫描电路21的信号在导通(ON)和非导通(OFF)之间切换。以预定时间间隔且以图6中所示的从最下面一行的栅极引线G6至最上面一行的栅极引线G1的次序，顺序向栅极引线G1、G2、……、G6提供脉冲电压。从而，允许位于具有脉冲电压的栅极引线G1、G2、……、G6和连接至导通的开关部件J1、J2、……、J6的信号引线H1、H2、……、H6之间的交叉点位置处的单位像素P11、P12、……、P66经由这些信号引线H1、H2、……、H6，输出存储在其中的电荷作为从其中输出的输出信号(图像信息)。
水平扫描电路21包括逻辑电路(未显示)，以从开关部件J6至开关部件J5至开关部件J4至开关部件J3至开关部件J2至J1的次序顺序导通(或打开)开关部件J1、J2、……、J6。以这种次序顺序导通开关部件J6、J5、J4、J3、J2、J1，以及以如上所述的次序顺序将脉冲电压施加到栅极引线G1、G2、……、G6，从而允许以从单位像素P66至单位像素P65至单位像素P63至单位像素P64至单位像素P62至单位像素P61至单位像素P56至单位像素P55至单位像素P53至单位像素P54等直至单位像素P11的次序对各个单位像素P的图像信息的进行读取。从而，实现以上述顺序(s1至s2至s3至s4至s5至s6等)读取像素单位P。
注意，上述实施例显示了以行的次序(即，行方向)排列前方范围Zc中“C”的单眼图像以及左侧和右侧范围Zs中“L”和“R”的单眼图像的组合的情况。然而，清楚的是，对“L”、“C”和“R”中单眼图像的这种组合可以以列的次序(即，列方向)排列。在以列次序排列“L”、“C”和“R”的单眼图像的情形中，两个45-45-90度棱镜12(光学部件)中之一将设置为对应于上面一行中的光学透镜8或沿着上面一行中的光学透镜8延伸，而另一个45-45-90度棱镜12(光学部件)将设置为对应于下面一行中光学透镜8或沿着下面一行中光学透镜8延伸。
此外，取代上述实施例中所使用的行，以列次序从固态成像部件3中读取单位像素P的图像信息。同时，相应地改变水平扫描电路21和垂直扫描电路22的排列。简而言之，设计选择的主题是是否选择以上面实施例中所述的顺序地读取固态成像部件3的行中图像信息的排列，或者选择顺序地读取固态成像部件3的列中图像信息的排列。从而，可以说：后者等效于前者。因此，应该理解的是：本申请的权利要求书中虽然描述的是前者，但权利要求范围内也覆盖了后者。
同样注意，上面所描述的用于镜反射进入获取角左侧和右侧范围中的光线、进而将该光线弯曲和引导至各个侧透镜8s、并沿各个侧面透镜8s的光轴La指引光线的45-45-90度棱镜12可以是翻转图像的其它光学部件，例如30-60-90度直角棱镜、等边三角形棱镜以及的多个平面镜的组合。此外，在本发明实施例中，位于左侧列或右侧列中的每个由三个侧透镜8s构成的侧透镜组都设置有一个45-45-90度直角棱镜12。然而，也可以向位于左侧列或右侧列中的三个侧透镜8s提供三个单独的45-45-90度直角棱镜，并使这三个单独的45-45-90度直角棱镜以三种不同角度倾斜至位于左侧列和右侧列中的三个侧透镜8s，以分别收集进入在获取角内左侧范围或右侧范围Zs中的三个不同范围内的光线。另外地，光学透镜阵列11不限于具有以3行3列形式排列的九个光学透镜8的光学透镜阵列，其通常可以是具有以m行n列形式排列的光学透镜8的光学透镜阵列，其中m是1或更大的整数，以及n是3或更大的整数。
如前面所述，依据本实施例的全景成像装置1具有有益的特点。例如，全景成像装置1中的光学透镜系统2包括具有设置在一个平面上的中间透镜8c和侧透镜8s的光学透镜阵列11，还包括例如45-45-90度直角棱镜12的光学部件，所述光学部件用于收集进入获取角中左侧和右侧范围Zs中的光线，以将该光线引导至侧透镜8s。这可以使全景成像装置1变薄，且能够防止全景成像装置1在体积和尺寸上变大。
此外，转换对固态成像部件3上的图像(图像信息)的读取方向，以使对前方范围Zc中的图像的读取方向与对各个左侧和右侧范围Zs中的图像的读取方向相反，从而消除由左侧和右侧光学部件(诸如45-45-90度直角棱镜12之类)所引起的在获取角内左侧和右侧范围Zs中图像的镜反射的影响。因此，图像再生微处理器6可以简单地将在前方范围Zc中读取的图像与在左侧和右侧范围Zs中读取的图像相组合，而无需使图像再生微处理器6相对于在前方范围Zc中的图像位置而交换或颠倒位于左侧和右侧范围Zs中的图像的位置或者将这个图像上/下和左/右翻转。从而，可以防止将获取角中在预定的连续获取范围中成像的各个图像组合以再生全景图像WP的处理变得复杂。
以上，使用当前优选实施例已经说明了本发明，但是这些描述不应当被解释为对本发明的限制。对于阅读本说明书的本领域普通技术人员而言，各种改变将变得明显、清楚或显而易见。因此，所附的权利要求书应当被解释为覆盖落入本发明宗旨和范围内的所有改变和变型。
本申请基于2006年8月30日提交的日本专利申请2006-234562，因此将其内容通过引用而结合于此。

Claims (4)

1.一种全景成像装置，包括：
光学透镜系统，用于收集进入获取角中多个预定的连续获取范围中的光线，以在预定焦平面上形成对应的多个图像；
成像器件，设置在所述焦平面处，用于将所述光学透镜系统所形成的多个图像转换为电子图像信息；和
图像再生器件，用于将来自所述成像器件的多个图像的电子图像信息组合，以再生全景图像，
其中所述光学透镜系统包括：
光学透镜阵列，具有：
中间透镜，用于接收进入所述获取角的前方范围中的光线；以及
左侧透镜和右侧透镜，形成在形成有所述中间透镜的平面上，且分别位于所述中间透镜的左侧和右侧，并且所述左侧透镜和所述右侧透镜的光轴与所述中间透镜的光轴平行，以分别接收进入所述获取角的左侧和右侧范围中的光线；和
左侧和右侧光学部件，设置在所述光学透镜阵列的光线进入侧，用于将进入所述获取角中左侧和右侧范围中的光线镜面反射和引导至所述左侧透镜和所述右侧透镜，并且使进入各个侧透镜的各个光线沿各个侧透镜的光轴指向各个侧透镜，
其中所述成像器件包括：
XY地址型固态成像部件，具有以行和列的矩阵形式排列的单位像素，其中按照所述XY地址型固态成像部件的单位像素的行的次序，形成由所述中间透镜在获取角的前方范围中所形成的图像，即前方范围图像，以及形成由所述左侧透镜和右侧透镜在获取角的左侧和右侧范围中所形成的图像，即左侧和右侧范围图像；和
读取器件，用于以所述XY地址型固态成像部件的单位像素的行的一个方向读取所述左侧和右侧范围图像中的图像信息，并且以与所述固态成像部件的单位像素的行的所述一个方向相反的方向读取所述前方范围图像中的图像信息，以消除由所述左侧和右侧光学部件引起的所述左侧和右侧范围图像的镜面反射影响，和
其中所述图像再生器件将所述读取器件读取的前方范围的图像以及左侧和右侧范围的图像组合，以再生所述全景图像。
2.根据权利要求1所述的全景成像装置，其中所述读取器件从最下面一行至最上面一行读取所述XY地址型固态成像部件中的单位像素，以消除所述XY地址型固态成像部件中的单眼图像的上/下翻转。
3.根据权利要求2所述的全景成像装置，其中各个所述左侧和右侧光学部件是直角棱镜。
4.根据权利要求1所述的全景成像装置，其中各个所述左侧和右侧光学部件是直角棱镜。
CNA2007101471558A 2006-08-30 2007-08-30 全景成像装置 Pending CN101135838A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006234562A JP4172512B2 (ja) 2006-08-30 2006-08-30 パノラマ撮像装置
JP2006234562 2006-08-30

Publications (1)

Publication Number Publication Date
CN101135838A true CN101135838A (zh) 2008-03-05

Family

ID=38704966

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007101471558A Pending CN101135838A (zh) 2006-08-30 2007-08-30 全景成像装置

Country Status (5)

Country Link
US (1) US20080068452A1 (zh)
EP (1) EP1895345B1 (zh)
JP (1) JP4172512B2 (zh)
CN (1) CN101135838A (zh)
DE (1) DE602007005314D1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033410A (zh) * 2009-09-30 2011-04-27 鸿富锦精密工业（深圳）有限公司 拍摄系统
WO2012034542A1 (zh) * 2010-09-19 2012-03-22 华为终端有限公司 共光心摄像机、图像处理方法及装置
CN103595900A (zh) * 2012-08-15 2014-02-19 新普科技股份有限公司 影像撷取系统及其影像撷取方法
CN111238392A (zh) * 2018-11-28 2020-06-05 Oppo（重庆）智能科技有限公司 承载体及电子设备的检测装置

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630006B2 (en) * 1997-10-09 2009-12-08 Fotonation Ireland Limited Detecting red eye filter and apparatus using meta-data
US9769354B2 (en) 2005-03-24 2017-09-19 Kofax, Inc. Systems and methods of processing scanned data
KR101204888B1 (ko) * 2007-08-31 2012-11-26 삼성테크윈 주식회사 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한프로그램을 저장한 기록매체
US7880807B2 (en) * 2007-12-26 2011-02-01 Sony Ericsson Mobile Communications Ab Camera system with mirror arrangement for generating self-portrait panoramic pictures
EP2182718A1 (en) * 2008-10-29 2010-05-05 Weistech Technology Co., Ltd. Multi-lens image sensor module
US9576272B2 (en) 2009-02-10 2017-02-21 Kofax, Inc. Systems, methods and computer program products for determining document validity
US9767354B2 (en) 2009-02-10 2017-09-19 Kofax, Inc. Global geographic information retrieval, validation, and normalization
JP2010263478A (ja) * 2009-05-08 2010-11-18 Olympus Imaging Corp カメラユニットおよびこれを用いるカメラシステム
GB2473636A (en) * 2009-09-18 2011-03-23 Sharp Kk Multiple view display comprising lenticular lens having regions corresponding to two different centres of curvature
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
CN102087358A (zh) * 2010-11-29 2011-06-08 电子科技大学 一种焦平面线阵无源毫米波成像系统
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US8879120B2 (en) 2012-01-12 2014-11-04 Kofax, Inc. Systems and methods for mobile image capture and processing
US9355312B2 (en) 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US9208536B2 (en) * 2013-09-27 2015-12-08 Kofax, Inc. Systems and methods for three dimensional geometric reconstruction of captured image data
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
CN105518704A (zh) 2013-05-03 2016-04-20 柯法克斯公司 检测和分类使用移动设备采集的视频中对象的系统和方法
JP6022428B2 (ja) * 2013-09-17 2016-11-09 日本電信電話株式会社 画像撮影装置及び画像撮影方法
WO2015073920A1 (en) 2013-11-15 2015-05-21 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
US9939619B1 (en) * 2014-07-24 2018-04-10 Hoyos Integrity Corporation Optical stack for panoramic optical device
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US10467465B2 (en) 2015-07-20 2019-11-05 Kofax, Inc. Range and/or polarity-based thresholding for improved data extraction
US9779296B1 (en) 2016-04-01 2017-10-03 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US11062176B2 (en) 2017-11-30 2021-07-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
JP2020042228A (ja) * 2018-09-13 2020-03-19 キヤノン株式会社 撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE1016033B (de) 1954-07-03 1957-09-19 Leitz Ernst Gmbh Vorrichtung zur Aufnahme oder Wiedergabe von Panoramabildern
US3113484A (en) 1963-07-29 1963-12-10 Baker George Apparatus for producing panoramic and panoramic stereoscopic images
DE3717906A1 (de) 1987-05-27 1988-12-08 Zeiss Carl Fa Weitwinkel-beobachtungsfenster
US6747702B1 (en) * 1998-12-23 2004-06-08 Eastman Kodak Company Apparatus and method for producing images without distortion and lateral color aberration
JP2002369078A (ja) * 2001-06-08 2002-12-20 Canon Inc 放射線撮像装置及びそれを用いた放射線撮像システム
JP2003283792A (ja) * 2002-03-22 2003-10-03 Ricoh Co Ltd 撮像機器及び画像データの変換方法
JP2003348460A (ja) * 2002-05-23 2003-12-05 Honda Motor Co Ltd イメージセンサ
JP4232485B2 (ja) * 2003-03-07 2009-03-04 ソニー株式会社 読出アドレス制御方法および装置、並びに半導体システムおよび撮像デバイス
JP4306341B2 (ja) * 2003-06-30 2009-07-29 カシオ計算機株式会社 画像撮影装置
JP2005051419A (ja) * 2003-07-31 2005-02-24 Kyocera Corp 携帯端末装置および撮像ユニット
DE102004003013B3 (de) * 2004-01-20 2005-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und dessen Verwendung
JP4259541B2 (ja) 2006-04-18 2009-04-30 船井電機株式会社 パノラマ撮像装置
JP4396674B2 (ja) * 2006-08-11 2010-01-13 船井電機株式会社 パノラマ撮像装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102033410A (zh) * 2009-09-30 2011-04-27 鸿富锦精密工业（深圳）有限公司 拍摄系统
CN102033410B (zh) * 2009-09-30 2013-11-20 鸿富锦精密工业（深圳）有限公司 拍摄系统
WO2012034542A1 (zh) * 2010-09-19 2012-03-22 华为终端有限公司 共光心摄像机、图像处理方法及装置
CN103595900A (zh) * 2012-08-15 2014-02-19 新普科技股份有限公司 影像撷取系统及其影像撷取方法
CN111238392A (zh) * 2018-11-28 2020-06-05 Oppo（重庆）智能科技有限公司 承载体及电子设备的检测装置

Also Published As

Publication number Publication date
JP4172512B2 (ja) 2008-10-29
US20080068452A1 (en) 2008-03-20
JP2008060856A (ja) 2008-03-13
DE602007005314D1 (de) 2010-04-29
EP1895345B1 (en) 2010-03-17
EP1895345A1 (en) 2008-03-05

Similar Documents

Publication Publication Date Title
CN101135838A (zh) 全景成像装置
CN102096305A (zh) 全景成像装置
EP1847873B1 (en) Panoramic imaging device
KR100707862B1 (ko) 이미지 센서 모듈
CN100521747C (zh) 运动检测成像设备
JP3542397B2 (ja) 撮像装置
WO2006101064A1 (ja) 撮像装置及びそれに用いられるレンズアレイ
JP2008197540A (ja) 広角撮像装置
JPH0767020A (ja) 複眼式光学系
JPH10336496A (ja) 薄型デジタルカメラ
WO2006009088A1 (ja) 撮像装置
JP2005020718A (ja) 多焦点撮像デバイス及びモバイル機器
US6307591B1 (en) Imaging apparatus including device for a selectively changing aspect ratios
CN115022510A (zh) 摄像头组件、电子设备及其拍摄方法和拍摄装置
JP2002229139A (ja) 撮像装置
US7589894B2 (en) Apparatus for the optical manipulation of a pair of landscape stereoscopic images
CN217718225U (zh) 成像装置、可移动设备和可移动清洁设备
JP2006126852A (ja) ミラースキャン機能を有する電子撮像装置
JPH08334667A (ja) ２眼式光学系
JP2003330133A (ja) 複眼式光学系
JP2009053709A (ja) パノラマ撮像装置
JPH0980344A (ja) ミラースキャン機能を有する電子撮像装置のための光学系
JPH10333046A (ja) 実体顕微鏡の双眼鏡筒
JPH0583643A (ja) 撮像装置
JPH10268184A (ja) 焦点検出装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080305