CN111630452B - 成像装置和电子设备 - Google Patents

成像装置和电子设备 Download PDF

Info

Publication number
CN111630452B
CN111630452B CN201880086877.3A CN201880086877A CN111630452B CN 111630452 B CN111630452 B CN 111630452B CN 201880086877 A CN201880086877 A CN 201880086877A CN 111630452 B CN111630452 B CN 111630452B
Authority
CN
China
Prior art keywords
imaging
lens
symbol
beam splitter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880086877.3A
Other languages
English (en)
Other versions
CN111630452A (zh
Inventor
田部典宏
野村宜邦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Publication of CN111630452A publication Critical patent/CN111630452A/zh
Application granted granted Critical
Publication of CN111630452B publication Critical patent/CN111630452B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0055Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element
    • G02B13/0065Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing a special optical element having a beam-folding prism or mirror
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10Beam splitting or combining systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00Optical elements other than lenses
    • G02B5/08Mirrors
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00Details of cameras or camera bodies; Accessories therefor
    • G03B17/02Bodies
    • G03B17/17Bodies with reflectors arranged in beam forming the photographic image, e.g. for reducing dimensions of camera
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00Cameras
    • G03B19/02Still-picture cameras
    • G03B19/04Roll-film cameras
    • G03B19/07Roll-film cameras having more than one objective
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof

Abstract

本发明涉及能够能够减少由于距被摄体的距离而在图像之间发生的偏差的成像装置和包括该成像装置的电子设备。成像装置包括:分束器,所述分束器具有光入射面,来自被摄体的光入射在所述光入射面上;反射镜,所述反射镜使透过所述分束器的光返回到所述分束器这一侧;第一成像部,所述第一成像部包括第一透镜,所述第一成像部布置在所述分束器的第一出射面侧,来自所述光入射面这一侧的光在所述分束器中被反射和出射;和第二成像部,所述第二成像部包括第二透镜,所述第二成像部布置在所述分束器的第二出射面侧,来自所述反射镜这一侧的光在所述分束器中被反射和出射。光从所述光入射面到所述第一透镜的光学距离被设置为基本上等于光从所述光入射面到所述第二透镜的光学距离。

Description

成像装置和电子设备
技术领域
本发明涉及成像装置和电子设备。
背景技术
近年来,已提出使用具有所谓的复眼构造的成像装置基于由各个成像部拍摄的图像执行图像处理。在通过合成来自成像部的图像执行处理以改善信噪比并增加分辨率的情况下,期望来自成像部的图像不具有空间偏差。然而,在其中并排布置有成对的成像部的构造中,在来自成像部的图像中会发生空间偏差。
图13是用于说明如下成像装置的图像形成状态的示意图,在该成像装置中,包括第一成像元件SA和透镜LA的第一成像部和包括第二成像元件SB和透镜LB的第二成像部并排布置,且它们之间存在间距D。在对透镜LB的光轴上的远处被摄体OBJ1和近处被摄体OBJ2成像的情况下,在第二成像元件SB中,两个被摄体的图像都形成在第二成像元件SB的中心处。换言之,图像形成位置与被摄体距离无关。另一方面,在第一成像元件SA中,入射视角随着距远处被摄体OBJ1的距离和距近处被摄体OBJ2的距离而发生变化。因此,图像形成位置发生偏差。如上所述,在其中并排布置有成对的成像部的构造中,在图像之间发生视差,而且,在前方被摄体遮挡后方被摄体的状态下也发生差异(所谓的掩蔽)。由于这些效应,在图像之间发生空间偏差。
例如,专利文献1公开了一种具有能够减少由上述视差或掩蔽引起的图像之间的偏差的复眼构造的成像装置。参考图14说明该成像装置的基本结构。该成像装置包括分束器BS、反射镜ML、成像元件SA和透镜LA以及成像元件SB和透镜LB。入射在分束器BS上的光的一部分在反射面RS上反射,由此这部分光入射在成像元件SA和透镜LA上。另一方面,透过分束器BS的光通过反射镜ML再次入射在分束器BS上,并且随后在分束器BS的反射面RS上反射,由此这部分光入射在成像元件SB和透镜LB上。在此构造中,成像元件SA和成像元件SB的光轴在光学上彼此重合。因此,不会在图像之间发生视差。
引用列表
专利文献
专利文献1:公开号为2017-187771的日本专利申请
发明内容
本发明要解决的技术问题
如上所述,在具有使用分束器的复眼构造的成像装置中,因为第一成像部和第二成像部的光轴可以被设置为彼此重合,所以在图像之间不会发生视差。然而,依赖于各成像部相对于分束器的位置关系,可以发生如下现象:取决于距被摄体的距离,在图像之间发生偏差。
因此,本发明的目的是提供能够减少由于距被摄体的距离而在图像之间发生的偏差的具有复眼构造的成像装置和包含所述成像装置的电子设备。
技术问题的解决方案
根据本发明的用于实现上述目的的成像装置包括:
分束器,所述分束器具有光入射面,来自被摄体的光入射在所述光入射面上;
反射镜,所述反射镜使透过所述分束器的光返回到所述分束器这一侧;
第一成像部,所述第一成像部包括第一透镜,所述第一成像部布置在所述分束器的第一出射面侧,来自所述光入射面这一侧的光在所述分束器中被反射和出射;和
第二成像部,所述第二成像部包括第二透镜,所述第二成像部布置在所述分束器的第二出射面侧,来自所述反射镜这一侧的光在所述分束器中被反射和出射,
其中,光从所述光入射面到所述第一透镜的光学距离被设置为基本上等于光从所述光入射面到所述第二透镜的光学距离。
根据本发明的用于实现上述目的的电子设备设置有成像装置,
所述成像装置包括:
分束器,所述分束器具有光入射面,来自被摄体的光入射在所述光入射面上;
反射镜,所述反射镜使透过所述分束器的光返回到所述分束器这一侧;
第一成像部,所述第一成像部包括第一透镜,所述第一成像部布置在所述分束器的第一出射面侧,来自所述光入射面这一侧的光在所述分束器中被反射和出射;和
第二成像部,所述第二成像部包括第二透镜,所述第二成像部布置在所述分束器的第二出射面侧,来自所述反射镜这一侧的光在所述分束器中被反射和出射,
其中,光从所述光入射面到所述第一透镜的光学距离被设置为基本上等于光从所述光入射面到所述第二透镜的光学距离。
附图说明
图1是用于说明根据本发明第一实施例的成像装置的构造的示意图。
图2是用于说明参考示例的成像装置的构造的示意图。
图3A和3B是用于说明参考示例的成像装置中的图像形成状态的图。具体地,图3A是用于说明参考示例的成像装置中的第一成像部的图像形成状态的示意图。图3B是用于说明参考示例的成像装置中的第二成像部的图像形成状态的示意图。
图4A和4B是用于说明根据第一实施例的成像装置中的图像形成状态的图。具体地,图4A是用于说明第一成像部的图像形成状态的示意图。图4B是用于说明第二成像部的图像形成状态的示意图。
图5A和5B是用于说明根据第一实施例的成像装置中的图像处理的图。图5A是用于说明图像处理单元的构造的示意图。图5B是用于说明图像处理单元的操作的示意图。
图6是用于说明根据本发明第二实施例的成像装置的构造的示意图。
图7A和7B是用于说明根据第二实施例的成像装置中的图像形成状态的图。图7A是用于说明第一成像部的图像形成状态的示意图。图7B是用于说明第二成像部的图像形成状态的示意图。
图8A和8B是用于说明根据第二实施例的成像装置中在能够拍摄图像的最近距离处的图像形成状态的图。图8A是用于说明第一成像部的图像形成状态的示意图。图8B是用于说明第二成像部的图像形成状态的示意图。
图9是用于说明根据本发明第四实施例的成像装置的构造的示例图。
图10是用于说明根据本发明第五实施例的成像装置的构造的示例图。
图11是示出车辆控制系统的示意性构造的示例的框图。
图12是示出车外信息检测部和成像部的安装位置的示例的说明图。
图13是用于说明在其中并排布置有一对成像部的成像装置的图像形成状态的示意图。
图14是用于说明使用分束器的成像装置的结构的示意图。
具体实施方式
在下文中,将参照附图基于实施例说明本发明。本发明并不局限于实施例,并且实施例中的各种数值、材料等都是示例。在下文的说明中,相同的附图标记表示相同的元件或者具有相同功能的元件,且省略重复说明。注意,将按照如下顺序进行说明。
1.根据本发明的成像装置和电子设备的总体说明
2.第一实施例
3.第二实施例
4.第三实施例
5.第四实施例
6.第五实施例
7.第六实施例:应用示例
8.其他
[根据本发明的成像装置和电子设备的总体说明]
在根据本发明的成像装置或者根据本发明的电子设备中使用的成像装置(在下文中,在某些情况下,它们仅仅被称为本发明的成像装置),可以如下地构造:
分束器是具有正方形横截面的立方体类型,并且
当由符号L表示分束器的横截面的一条边的长度,
由符号n表示分束器的形成材料的折射率,
由符号a表示分束器和反射镜之间的距离,并且
由符号b表示第二出射面(emission surface)和第二透镜的入射光瞳(entrancepupil)之间的距离时,
第一出射面和第一透镜的入射光瞳之间的光学距离基本上被设置为2a+nL+b。
在这种情况下,可以如下地构造:
当由符号OD'表示作为最近距离的被摄体距离,
由符号2Px和2Py表示第二成像部的在X方向和Y方向上的像素的数目,
由符号f1表示第一透镜的焦距,并且
由符号f2表示第二透镜的焦距时,
在f1≤f2并且第一出射面与第一透镜的入射光瞳之间的光学距离为2a+nL+Δz+b的情况下,
符号Δz满足以下方程式:
Figure GDA0002589162580000051
或者,在这种情况下,可以如下地构造:
当由符号OD'表示作为最近距离的被摄体距离,
由符号2Px和2Py表示第二成像部的在X方向和Y方向上的像素的数目,
由符号d表示第二成像部的像素间距,
由符号f1表示第一透镜的焦距,
由符号f2表示所述第二透镜的焦距,
由符号NA表示第二透镜的数值孔径,并且
由符号λ表示待检测光的波长时,
在f1≤f2并且在第一出射面与第一透镜的入射光瞳之间的光学距离为2a+nL+Δz+b的情况下,
符号Δz满足以下方程式:
Figure GDA0002589162580000061
在根据本发明的具有上述各种优选构造的成像装置中,可以如下地构造:
在第一出射面和第一透镜的入射光瞳之间布置有玻璃材料,并且
当使用符号n'表示玻璃材料的折射率时,玻璃材料在轴向方向上的长度被设置为(2a+nL+b)/n'。
在根据本发明的具有上述各种优选构造的所述成像装置中,可以如下地构造:
反射镜布置成与分束器的表面接触。
在根据本发明的具有上述各种优选构造的所述成像装置中,可以如下地构造:
进一步包括图像处理单元,该图像处理单元基于由第一成像部获取的第一图像和由第二成像部获取的第二图像进行图像处理。
在这种情况下,可以如下地构造:
图像处理单元包括:
尺寸匹配部,其将由第一成像部获取的第一图像和由第二成像部获取的第二图像匹配成相同尺寸,和
图像信号处理部,其基于相同尺寸的第一图像和第二图像的图像信号执行信号处理。
在本发明的包含上述优选构造的成像装置和电子设备(在下文中,在某些情况下,它们仅仅被称为本发明)中使用的分束器具有将光束一分为二的功能。分束器包括三棱镜或者包含诸如玻璃等光学材料的类似物。在立方体类型的情况下,两个直角三棱镜的倾斜面彼此接合,并且在其中一个棱镜的倾斜面上形成有用于将光基本上对半分的光学薄膜。分束器可以是非偏振型或者偏振型。注意,根据该构造,可以在分束器的表面上布置诸如λ/4波长板等光学元件。
反射镜的构造没有特别的限制。例如,可以在平坦的基底材料上形成诸如银(Ag)层等金属膜。在某些情况下,可以在形成分束器的基底材料上形成金属膜或类似物。
第一成像部和第二成像部可以通过适当地组合透镜、成像元件等来构造。第一透镜和第二透镜可以包括单个透镜或者可以包括透镜组。
在第一成像部和第二成像部中使用的成像元件没有特别限定。例如,可以使用诸如CMOS传感器或CCD传感器等成像元件,在这些传感器中,包括光电转换元件和各种像素晶体管的像素在行方向和列方向上布置成二维矩阵。
由第一成像部和第二成像部拍摄的图像的类型没有特别限制。例如,第一成像部和第二成像部都可以拍摄黑白图像或者彩色图像,或者第一成像部和第二成像部中的一者可以拍摄黑白图像,而其另一者可以拍摄彩色图像。在第一成像部和第二成像部中使用的成像元件的像素的数目和大小可以相同或者不同。
作为布置在第一出射面和第一透镜的入射光瞳之间的玻璃材料,举例说明了透明玻璃材料或者塑料材料。从减小显示装置的尺寸的角度来看,优选地使用具有大折射率的材料。
在本发明的成像装置中使用的图像处理单元可以实施为硬件或者软件。此外,硬件和软件可以实施为相互协作。控制整个成像装置的操作的控制单元等以类似的方式实施。它们可以例如包括逻辑电路、存储器电路等,并且可以使用已知的电路元件来创建。图像处理单元等可以与成像装置集成地构造,或者可以单独地构造。
包含本发明的成像装置的电子设备的示例包括各种电子设备,例如诸如数码照相机和数码摄像机等成像系统、具有成像功能的移动电话或者具有成像功能的其它装置。
本说明书中的各种方程式所示的条件不仅在方程式数学上严格成立的情况下满足,而且在方程式大致成立的情况下也满足。对于方程式的成立,允许存在由分束器、反射镜、第一成像部、第二成像部等的设计或者制造引起的各种偏差。例如,光学距离可能受波长的影响。在这种情况下,例如仅需要通过适当地考虑实施条件等来选择值,比如使用接近要成像的光的波长范围的平均值的值。
此外,在下文说明中使用的附图都是示意图。例如,如稍后所述的图1示出了成像装置的结构,但未示出其宽度、高度、厚度等的比例。
[第一实施例]
第一实施例涉及根据本发明的成像装置。
图1是用于说明根据本发明第一实施例的成像装置的构造的示意图。
成像装置1包括:
分束器30,其具有光入射面33,来自被摄体的光入射在该入射面上;
反射镜40,用于使透过分束器30的光返回到分束器30侧;
第一成像部10,其包括第一透镜11,第一成像部10布置在分束器30的第一出射面31侧,第一出射面31反射并出射来自光入射面33侧的光;和
第二成像部20,其包括第二透镜21,第二成像部20布置在分束器30的第二出射面32侧,第二出射面32反射并出射来自反射镜40侧的光。
如参考图14所述,同样在成像装置1中,入射在分束器30上的光的一部分被反射面35反射,并且从第一出射面31出射。因此,光入射在第一成像部10上。另一方面,透过分束器30并来自表面34光通过反射镜40再次入射在分束器30的表面34上,并且随后在反射面35上反射。因此,光入射在第二成像部20上。
如稍后将参考下文说明的图4A和4B详细说明,在成像装置1中,光从光入射面33到第一透镜11的光学距离被设置为基本上与光从光入射面33到第二透镜21的光学距离相同。因此,减少了图像之间的取决于距被摄体的距离的偏差的发生,并且因此,例如,可以适当地对由成像部拍摄的图像执行合成处理。
在下文的说明中,
由符号f1表示第一透镜11的焦距,并且
由符号f2表示第二透镜21的焦距。
第一成像部10进一步包括第一成像元件12,第一成像元件12拍摄由第一透镜11形成的图像。此外,第二成像部20进一步包括第二成像元件22,第二成像元件22拍摄由第二透镜21形成的图像。第一成像元件12和第二成像元件22例如包括CMOS传感器等,在CMOS传感器中,像素在行方向和列方向上布置成二维矩阵。在下文的说明中,假定第一成像元件12和第二成像元件22都用于拍摄黑白图像,但这仅仅是示例。此外,除非另有说明,否则空间折射率将被描述为“1”。
分束器30是具有正方形横截面的立方体类型,两个直角三棱镜的倾斜面彼此接合,并且在其中一个三棱镜的倾斜面上形成有用于将光大致对半分的光学薄膜。
在下文的说明中,
由符号OD表示被摄体和分束器30的光入射面33之间的距离,
由符号L表示分束器30的横截面的一条边的长度,
由符号n表示分束器30的形成材料的折射率,
由符号a表示在分束器30和反射镜40之间的距离,并且
由符号b表示在第二出射面32和第二透镜21的入射光瞳之间的距离。在成像装置1中,第一出射面31和第一透镜11的入射光瞳之间的光学距离基本上设置为2a+nL+b。
上文简要说明了成像装置1。接下来,为了帮助理解第一实施例,将说明参考示例的成像装置的构造及其问题。
图2是用于说明参考示例的成像装置的构造的示意图。
例如,在参考示例的成像装置9的构造中,为了减少占用面积,减小分束器30的出射面与透镜之间的距离。具体地说,图2所示的成像装置9与图1所示的成像装置1的区别在于,第一出射面31和第一透镜11的入射光瞳之间的光学距离与第二出射面32和第二透镜21的入射光瞳之间的距离相等,并且它们都被设置为符号b。
图3A和3B是用于说明参考示例的成像装置中的图像形成状态的图。具体地,图3A是用于说明参考示例的成像装置中的第一成像部的图像形成状态的示意图。图3B是用于说明参考示例的成像装置中的第二成像部的图像形成状态的示意图。
入射在分束器30上的光的一部分在反射面上反射,由此光入射在第一成像部10上。因此,根据图2所示的位置关系,从被摄体到第一透镜11的入射光瞳的光学距离是下列项之和
·从被摄体到分束器30的光入射面33的距离=OD,
·分束器30的折射率×(从光入射面33到反射面35的距离+从反射面35到第一出射面31的距离)=n×(L/2+L/2)=nL,和
·从第一出射面31到第一透镜11的入射光瞳的距离=b,
即,[OD+nL+b]。
因此,当观察在图像高度方向上相对于光轴以符号Y偏移的被摄体时,第一成像部10的图像形成状态如图3A所示。第一成像元件12通过具有焦距f1的第一透镜11对距离[OD+nL+b]处的被摄体成像。如果符号y1表示第一成像元件12上的图像形成位置,则其可以由以下方程式(1)表示。
Figure GDA0002589162580000101
透过分束器30并来自表面34的光通过反射镜40再次入射在分束器30的表面34上,并且随后在反射面35上反射。从而,光入射在第二成像部20上。因此,根据图2所示的位置关系,从被摄体到第二透镜21的入射光瞳的光学距离是下列项之和:
·被摄体到分束器30的光入射面33的距离=OD,
·分束器30的折射率×(从光入射表面33到表面34的距离)=nL,
·表面34和反射镜40之间的往复距离=2a,
·分束器30的折射率30×(从表面34到反射表面35的距离+从反射表面35到第二发射表面32的距离)=n×(L/2+L/2)=nL,和
·从第二透镜21的第二出射面32到入射光瞳的距离=b,
即,[OD+2a+2nL+b]。
因此,当观察在图像高度方向相对于光轴以符号Y偏移的被摄体时,第二成像部20的图像形成状态如图3B所示。第二成像元件22通过具有焦距f2的第二透镜21对距离[OD+2a+2nL+b]处的被摄体成像。如果符号y2表示第二成像元件22上的图像形成位置,则其可以由以下方程式(2)表示。
Figure GDA0002589162580000111
例如,在f1≤f2的情况下,第二成像部20比第一成像部10具有更窄的视角和更窄的成像范围。换言之,在更远镜头侧的图像被拍摄。因此,为了使由第一成像部10拍摄的图像与由第二成像部20拍摄的图像相匹配,需要对由第一成像部10拍摄的图像进行信号处理,并适当地放大图像。如果使图像以由下面的方程式(3)表示的放大倍数k放大,则图像形成位置y1和图像形成位置y2实际上重合。
Figure GDA0002589162580000112
这里,考虑到距被摄体的距离以符号ΔOD改变。此时,通过将第一透镜11的图像形成位置乘以上述放大倍数k而获得的位置由符号y1′表示,并且第二透镜21的图像形成位置由符号y2′表示。它们可以分别用下列方程式(4)和(5)表示。
Figure GDA0002589162580000121
Figure GDA0002589162580000122
这里,方程式(4)和(5)不具有相同的值。因此,在以方程式(3)所示的放大倍数k进行放大处理的情况下,如果被摄体距离是OD,则第一成像部10和第二成像部20的图像形成位置实际上重合,但在其它情况下不重合。因此,在对包含具有不同距离的被摄体的场景进行成像的情况下,由于被摄体距离而在图像中发生偏差。
以上已经说明了参考示例的成像装置的构造及其问题。
如图1所示,在根据第一实施例的成像装置1中,第一出射面31和第一透镜11的入射光瞳之间的光学距离基本上设置为2a+nL+b。通过这种布置,可以解决参考示例中的由于被摄体距离而在图像中发生偏差的问题。
在成像装置1中,从被摄体到第二透镜21的入射光瞳的光学距离与参考示例中的光学距离相似。换句话说,光学距离是[OD+2a+2nL+b]。
另一方面,根据图1所示的位置关系,从被摄体到第一透镜11的入射光瞳的光学距离是下列项之和:
·从被摄体到分束器30的光入射面33的距离=OD,
·分束器30的折射率×(从光入射面33到反射面35的距离+从反射面35到第一出射面31的距离)=n×(L/2+L/2)=nL,和
·从第一透镜11的第一出射面31到入射光瞳的距离=2a+nL+b,
即,[OD+2a+2nL+b]。
图4A和4B是用于说明根据第一实施例的成像装置中的图像形成状态的图。具体地,图4A是用于说明第一成像部的图像形成状态的示意图。图4B是用于说明第二成像部的图像形成状态的示意图。
当观察在图像高度上相对于光轴以符号Y偏移的被摄体时,第一成像部10的图像形成状态如图4A所示。第一成像元件12通过具有焦距f1的第一透镜11对距离[OD+2a+2nL+b]处的被摄体。如果符号y1表示第一成像元件12上的图像形成位置,则其可以由以下方程式(6)表示。
Figure GDA0002589162580000131
此外,当观察在图像高度上相对于光轴以符号Y偏移的被摄体时,第二成像部20的图像形成状态如图4B所示。第二成像元件22通过具有焦距f2的第二透镜21对距离[OD+2a+2nL+b]处的被摄体成像。如果符号y2表示第二成像元件22上的图像形成位置,则其可以由以下方程式(7)表示。
Figure GDA0002589162580000132
例如,在f1≤f2的情况下,第二成像部20比第一成像部10具有更窄的视角和更窄的成像范围。与参考示例中描述的情况类似,如果通过以由下面的方程式(8)表示的放大倍数k放大图像,则图像形成位置y1和图像形成位置y2实际上重合。
Figure GDA0002589162580000133
这里,考虑到距被摄体的距离以符号ΔOD改变。此时,通过将第一透镜11的图像形成位置乘以上述放大率k而获得的位置由符号y1′表示,并且第二透镜21的图像形成位置由符号y2′表示。它们可以分别用以下方程式(9)和(10)来表示。
Figure GDA0002589162580000134
Figure GDA0002589162580000135
方程式(9)和方程式(10)具有相同的值。因此,如果以由方程式(8)表示的放大倍率k执行放大处理,则第一成像部10和第二成像部20的图像形成位置实际上重合,而与被摄体距离无关。因此,即使在对包含具有不同距离的被摄体的场景进行成像的情况下,也不会由于被摄体距离在图像中发生偏差。
如上所述,成像装置1可以有利地执行图像匹配。此外,可以将成像装置1构造成进一步包括图像处理单元,该图像处理单元基于由第一成像部10获取的第一图像和由第二成像部20获取的第二图像来处理图像。以类似的方式,该构造适用于后面说明的其他实施例。
图5A和5B是用于说明根据第一实施例的成像装置中的图像处理的图。具体地,图5A是用于说明图像处理单元的构造的示意图。图5B是用于说明图像处理单元的操作的示意图。
如图5A所示,图像处理单元50包括:
尺寸匹配部51,其将由第一成像部10获取的第一图像和由第二成像部20获取的第二图像匹配成相同的尺寸,和
图像信号处理部52,其基于具有相同尺寸的第一图像和第二图像的图像信号执行信号处理。
将参照图5B说明图像处理单元50的操作。尺寸匹配部51例如基于由上述方程式(8)表示的放大倍数k对由第一成像部10获取的第一图像12P执行放大处理。
图像信号处理部52基于经放大处理的第一图像12P′的图像信号和由第二成像部20获取的第二图像22P的图像信号适当地执行信号处理。例如,执行用于合成多个图像以提高信噪比的处理和用于向黑白图像添加颜色信息以合成彩色图像的处理,从而输出处理后的图像1222P′。
以上已经说明了根据第一实施例的成像装置。在根据第一实施例的成像装置中,在执行放大处理时的放大倍数是恒定的,而与被摄体距离无关。因此,例如,能够合适地执行由成像部拍摄的图像的合成处理。
[第二实施例]
第二实施例也涉及根据本发明的成像装置。
在第一实施例中,说明了第一出射面和第一透镜的入射光瞳之间的光学距离为2a+nL+b的情况。第二实施例是第一实施例的变形,并且其不同之处在于,在光学距离具有偏差Δz的情况下定义Δz的范围。
考虑到成像元件的像素大小和光学图像形成限制,即使光学距离发生轻微偏差,所获取的图像可以完全不受影响。在第二实施例中,在考虑到成像元件的像素尺寸的情况下定义Δz的范围。
图6是用于说明根据本发明第二实施例的成像装置的构造的示意图。
在图1所示的成像装置1中,在第一出射面31与第一透镜11的入射光瞳之间的光学距离已为2a+nL+b。相比之下,图6所示的成像装置2的不同之处在于,第一出射面31与第一透镜11的入射光瞳之间的光学距离为2a+nL+Δz+b。其他元件与第一实施例中说明的元件相似,并因此将省略其描述。
在根据第二实施例的成像装置2中,
当由符号OD'表示作为最近距离的被摄体距离,
由符号2Px和2Py表示第二成像部20的在X方向和Y方向上的像素的数目,
由符号f1表示第一透镜11的焦距,并且
由符号f2表示第二透镜21的焦距时,
在f1≤f2并且第一出射面31与第一透镜11的入射光瞳之间的光学距离为2a+nL+Δz+b的情况下,
符号Δz满足以下方程式,
Figure GDA0002589162580000151
在下文中,将参照附图详细说明第二实施例。
图7A和7B是用于说明根据第二实施例的成像装置中的图像形成状态的图。具体地,图7A是用于说明第一成像部的图像形成状态的示意图。图7B是用于说明第二成像部的图像形成状态的示意图。
如从图7A可见,当观察在图像高度上相对于光轴以符号Y偏移的被摄体时,第一成像部10的图像形成状态如图7A所示。如果符号y1表示第一成像元件12上的图像形成位置,则其可以用以下的方程式(11)来表示。
Figure GDA0002589162580000152
此外,如从图7B可见,当观察在图像高度上相对于光轴以符号Y偏移的被摄体时,第二成像部20的图像形成状态如图7B所示。如果符号y2表示第二成像元件22上的图像形成位置,则其可以用以下的方程式(12)来表示。
Figure GDA0002589162580000161
这里,考虑参考无穷远处的成像时的情况来设置图像的放大倍数。
在无穷远处,OD>>Δz。因此,上述方程式(11)可近似为以下方程式(13)。
Figure GDA0002589162580000162
根据上述方程式(12)和(13),进行放大处理时的系数k可以表达为以下方程式。
Figure GDA0002589162580000163
一般来说,由于诸如镜头性能之类的制约,在成像装置的光学系统中设置能够拍摄图像的最近距离。
图8A和8B是用于说明根据第二实施例的在能够拍摄图像的最近距离处的图像图像形成状态的图。具体地,图8A是用于说明第一成像部的图像图像形成状态的示意图。图8B是用于说明第二成像部的图像形成状态的示意图。
由符号OD′表示处于最近状态的被摄体的距离,由符号y1′表示第一成像元件12上的图像高度,并且由符号y2′表示第二成像元件22上的图像高度。此时,图像高度y1′和y2′可分别用以下公式(15)和(16)来表示。
Figure GDA0002589162580000164
Figure GDA0002589162580000165
这里,通过将方程式(15)乘以上述方程式(14)获得的虚拟图像形成位置可以用以下方程式(17)来表示。
Figure GDA0002589162580000166
上述方程式(16)和(17)之间的差异在于图像匹配时的位置偏差量。如果符号Δy表示位置偏差量,则其用以下方程式(18)表示。
Figure GDA0002589162580000171
当第二成像部20中的在X方向和Y方向的像素的数目(更具体地,第二成像部20的第二成像元件22的在X方向和Y方向的像素的数目)由符号2Px和2Py表示,并且它们之间的像素间距由符号d表示时,在图像高度最大的情况下,上述的Δy变为最大。例如,在像素数为1000×1000并且像素间距为1微米的情况下,图像最大高度为(5002+5002)1/2微米。符号Y由以下方程式(19)表示。
Figure GDA0002589162580000172
根据上述方程式(18)和(19),Δy由以下方程式(20)表达。
Figure GDA0002589162580000173
这里,如果Δy小于像素间距,则无法检测到基于它的误差。因此,可以通过满足以下方程式(21)来进行良好的对齐。
Figure GDA0002589162580000174
然后,通过将方程式(21)的两边同除以符号d得到以下方程式(22)。
Figure GDA0002589162580000175
如果符号Δz在满足该方程式的范围内,则无法检测到基于它的误差,并且可以进行良好的对齐。
[第三实施例]
第三实施例也涉及根据本发明的成像装置。
第三实施例也是第一实施例的变形,并且其不同之处在于光学距离具有诸如Δz等偏差。
如上所述,考虑到成像元件的像素尺寸和光学图像形成限制,即使光学距离发生轻微偏差,所获取的图像可以完全不受影响。在第三实施例中,在考虑到光学性能的情况下定义了Δz的范围。
关于根据第三实施例的成像装置3的示意性构造图,图6中的成像装置2可以被解读为成像装置3。组成元件类似于第二实施例中所描述的元件,并因此将省略其描述。
在根据第三实施例的成像装置3中,
当由符号OD'表示作为最近距离的被摄体距离,
由符号2Px和2Py表示第二成像部20的在X方向和Y方向上的像素的数目,
由符号d表示第二成像部20的像素间距,
由符号f1表示第一透镜11的焦距,
由符号f2表示第二透镜21的焦距,
由符号NA表示第二透镜21的数值孔径,并且
由符号λ表示待检测的光的波长时,
在f1≤f2且第一出射面31与第一透镜11的入射光瞳之间的光学距离为2a+nL+Δz+b的情况下,
符号Δz满足以下方程式
Figure GDA0002589162580000181
在下文中,将详细说明第三实施例。
第二实施例中的方程式(22)是通过注意到如下情况推导出的:如果Δy小于像素间距d,则不能检测到基于Δy的误差。另一方面,在第三实施例中,已经注意到,如果Δy小于光学衍射极限性能,则可以将其视为足够小的误差。具体地,已将以下方程式(23)推导为用于表示以下事实的方程式:在第二实施例中推导出的方程式(21)小于给出爱里斑(Airydisk)直径的1.22λ/NA。
Figure GDA0002589162580000182
如果符号Δz在满足该方程式的范围内,可以将基于它的误差视为足够小,并且可以进行良好的对齐。
[第四实施例]
第四实施例也涉及根据本发明的成像装置。与第一实施例的主要区别在于,在第一出射面和第一透镜的入射光瞳之间布置有玻璃材料。
图9是用于说明根据本发明第四实施例的成像装置的构造的示例图。
在图1所示的成像装置1中,第一出射面31和第一透镜11的入射光瞳之间的空间的折射率为“1”。另一方面,在图9所示的成像装置4中,不同之处例如为:
在第一出射面31和第一透镜11的入射光瞳之间布置有玻璃材料,并且
当使用符号n'表示玻璃材料的折射率时,将玻璃材料在轴向方向上的长度设置为(2a+nL+b)/n'。其他元件类似于第一实施例中说明的元件,并因此将省略其描述。
在成像装置4中,可以使第一出射面31和第一透镜11的物理长度比第一实施例中的物理长度短。此外,光学距离之间的关系类似于第一实施例的光学距离之间的关系。因此,可以执行类似于第一实施例中的良好对齐。此外,还可以进一步缩短成像装置的总长度。
注意,在图9中,玻璃材料13和分束器30被示为单独的构件,但是在某些情况下,玻璃材料13和形成分束器30的三角棱镜可以一体地形成。此外,在第一透镜11和玻璃材料13之间可能存在具有可忽略不计的宽度的间隙。
[第五实施例]
第五实施例也涉及根据本发明的成像装置。与第一实施例的差别在于,反射镜布置成与分束器的表面接触。
图10是用于说明根据本发明第五实施例的成像装置的构造的示例图。
在第一实施例中,第一出射面与第一透镜的入射光瞳之间的光学距离基本上设置成2a+nL+b。因此,如果减小符号a,则第一出射面与第一透镜之间的距离变窄,从而有利于缩小整个成像装置的尺寸。
在图10所示的成像装置5中,反射镜40布置成与分束器30的表面接触。因此,可以将其视为符号a=0,并且可以减小成像装置的总体尺寸。
反射镜40和分束器30可以是独立的器件,也可以是集成的。例如,可以涂覆分束器30的表面34以形成反射镜40。此外,可以进行构造使得在分束器30和反射镜40之间提供具有光学材料(例如,QWP膜)的λ/4波长板。
[第六实施例:应用示例]
根据本发明的技术可以应用到各种产品。例如,根据本发明的技术可以实现为安装在任何类型的移动体上的装置,移动体例如是汽车、电动车、混合动力电动车、摩托车、自行车、个人移动装置、飞机、无人机、船舶、机器人、建筑机器和农业机器(拖拉机)。
图11是示出车辆控制系统7000的示意性构造示例的框图,该车辆控制系统7000是可以应用根据本发明的技术的移动体控制系统的示例。车辆控制系统7000包括经由通信网络7010连接的多个电子控制单元。在图11所示的示例中,车辆控制系统7000包括行驶系统控制单元7100、车身系统控制单元7200、电池控制单元7300、车外信息检测单元7400、车内信息检测单元7500和集成控制单元7600。连接这些多个控制单元的通信网络7010可以是例如符合诸如控制器局域网(CAN)、本地互连网络(LIN)、局域网(LAN)或者FlexRay(注册商标)等任何标准的车载通信网络。
每个控制单元包括根据各种程序执行算术处理的微型计算机、存储被微型计算机执行的程序或用于各种计算的参数等的存储部以及驱动并以各种方式控制装置的驱动电路。每个控制单元包括用于经由通信网络7010与其他控制单元进行通信的网络I/F,并包括用于通过有线或无线通信与车辆内外的装置、传感器等进行通信的通信I/F。在图11中,微型计算机7610、通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车载装置I/F 7660、声音图像输出部7670、车载网络I/F 7680以及存储部7690被示例为集成控制单元7600的功能构造。其他控制单元以类似的方式各自包括微型计算机、通信I/F、存储部等。
行驶系统控制单元7100根据各种程序控制与车辆的行驶系统相关的装置的操作。例如,行驶系统控制单元7100用作如下装置的控制装置:诸如内燃机或驱动马达等用于产生车辆驱动力的驱动力产生装置、将驱动力传递给车轮的驱动力传递机构、调节车辆转向角的转向机构以及产生车辆制动力的制动装置等。行驶系统控制单元7100可以具有作为防抱死制动系统(ABS)、电子稳定控制(ESC)等的控制装置的功能。
车辆状态检测部7110连接至行驶系统控制单元7100。车辆状态检测部7110例如包括检测车轴旋转运动的角速度的陀螺仪传感器、检测车辆加速度的加速度传感器或者检测油门踏板操作量、制动踏板动作量、方向盘转向角、发动机转速、车轮转速等的传感器中的至少一者。行驶系统控制单元7100使用从车辆状态检测部7110输入的信号执行算术处理,并且控制内燃机、驱动马达、电动转向机构、制动装置等。
车身系统控制单元7200根据各种程序控制安装在车身上的各种装置的操作。例如,车身系统控制单元7200用作无钥匙进入系统、智能钥匙系统、电动车窗装置或诸如前照灯、倒车灯、刹车灯、方向灯或雾灯等各种灯的控制装置。在这种情况下,可以向车身系统控制单元7200输入从替代钥匙的便携式装置发送的无线电波或者各种开关的信号。车身系统控制单元7200接收这些无线电波或者信号的输入,并且控制车辆的门锁装置、电动车窗装置、车灯等。
电池控制单元7300根据各种程序控制作为驱动马达的电源的充电电池7310。例如,诸如电池温度、电池输出电压或者电池剩余容量等信息从包括充电电池7310的电池装置输入到电池控制单元7300。电池控制单元7300使用这些信号执行算术处理,并且执行充电电池7310的温度控制或者设置在电池装置中的冷却装置等的控制。
车外信息检测单元7400检测安装有车辆控制系统7000的车辆的外部的信息。例如,成像部7410和车外信息检测部7420中的至少一者连接至车外信息检测单元7400。成像部7410包括飞行时间(ToF)照相机、立体照相机、单目照相机、红外照相机和其它照相机中的至少一者。车外信息检测部7420例如包括用于检测当前的天气或天气状况的环境传感器和用于检测配备有车辆控制系统7000的车辆的周围的其他车辆、障碍物、行人等的周围信息检测传感器中的至少一者。
环境传感器可以例如是用于检测下雨天气的雨滴传感器、用于检测雾的雾传感器、用于检测日照度的日照传感器和用于检测降雪的雪传感器中的至少一者。周围信息检测传感器可以是超声波传感器、雷达装置或者光检测和测距或激光成像测距(LIDAR)装置中的至少一者。这些成像部7410和车外信息检测部7420可以作为独立的传感器或装置来设置,或者可以作为多个传感器或装置的集成装置设置。
这里,图12示出了成像部7410和车外信息检测部7420的安装位置的示例。成像部7910、7912、7914、7916、7918例如设置在车辆7900的前鼻、后视镜、后保险杠、后门或车内的挡风玻璃上部中的至少一者处。设置在前鼻处的成像部7910和设置在车内挡风玻璃上部的成像部7918主要获取车辆7900前方的图像。设置在后视镜处的成像部7912和7914主要获取车辆7900两侧的图像。设置在后保险杠或后门处的成像部7916主要获取车辆7900后方的图像。设置在车内挡风玻璃上部的成像部7918主要用于检测前方车辆、行人、障碍物、交通灯、交通标志、车道等。
注意,图12示出了各个成像部7910、7912、7914和7916的成像范围的示例。成像范围a表示设置在前鼻处的成像部7910的成像范围,成像范围b和c分别表示设置在后视镜处的成像部7912和7914的成像范围,并且成像范围d表示设置在后保险杠或后门处的成像部7916的成像范围。例如,可以通过叠加由成像部7910、7912、7914和7916获得的图像数据来获得从上方观察的车辆7900的鸟瞰图像。
设置在车辆7900的前部、后部、两侧、角部和车内挡风玻璃上部处的车外信息检测部7920、7922、7924、7926、7928和7930例如可以是超声传感器或者雷达装置。设置在车辆7900的前鼻、后保险杠、后门和车内挡风玻璃上部处的车外信息检测部件7920、7926、7930例如可以是LIDAR装置。这些车外信息检测部件7920至7930主要用于检测前方车辆、行人、障碍物等。
回到图11,将继续说明。车外信息检测单元7400使成像部7410拍摄车外图像,并且接收所拍摄图像的数据。此外,车外信息检测单元7400从连接的车外信息检测部7420接收检测到的信息。在车外信息检测部7420是超声传感器、雷达装置或者LIDAR装置的情况下,车外信息检测单元7400发送超声波、电磁波等,并且接收有关接收的反射波的信息。车外信息检测单元7400可以基于所接收的信息对人、车辆、障碍物、标志、路面上的字符等进行被摄体检测处理或距离检测处理。车外信息检测单元7400可以基于所接收的信息执行用于识别降雨、雾、路面状况等的环境识别处理。车外信息检测单元7400可以基于接收到的信息计算局车外被摄体的距离。
此外,车外信息检测单元7400可以基于所接收的图像数据执行图像识别处理或者距离检测处理,以识别人、车辆、障碍物、标志、路面上的字符等。车外信息检测单元7400可以通过对接收到的图像数据执行诸如失真校正或对准之类的处理并且合成由不同成像部7410拍摄的图像数据生成鸟瞰图像或者全景图像。车外信息检测单元7400可以使用由不同成像部7410拍摄的图像数据执行视点转换处理(viewpoint conversion processing)。
车内信息检测单元7500检测车内信息。例如,检测驾驶员状态的驾驶员状态检测部7510连接至车内信息检测单元7500。驾驶员状态检测部7510可以包括拍摄驾驶员图像的照相机、检测驾驶员生物信息的生物传感器、收集车辆内部声音的麦克风等。生物传感器设置在例如座椅表面、方向盘等上,并且检测坐在座椅上的乘客或者紧握方向盘的驾驶员的生物信息。车内信息检测单元7500可以计算驾驶员的疲劳度或集中度,或者可以根据从驾驶员状态检测部7510输入的检测信息来确定驾驶员是否睡着。车内信息检测单元7500可以对收集到的声音信号执行诸如噪声消除处理之类的处理。
集成控制单元7600根据各种程序控制车辆控制系统7000的整体操作。输入单元7800连接至集成控制单元7600。输入单元7800例如通过可由乘客操作的装置来实现,例如触摸面板、按钮、麦克风、开关或者手柄。可以将通过由麦克风输入的声音的声音识别获得的数据输入到集成控制单元7600。输入单元7800可以是例如使用红外线或者其它无线电波的遥控装置,或者可以是诸如移动电话或者个人掌上电脑(PDA)等对应于车辆控制系统7000的操作的外部连接装置。输入单元7800可以例如是照相机,在这种情况下,乘客可以通过手势输入信息。或者,可以输入通过检测乘客所穿戴的可穿戴装置的运动而获得的数据。此外,输入单元7800可以包括例如输入控制电路,该输入控制电路使用上述输入单元7800基于乘客等输入的信息生成输入信号,并且将输入信号输出到集成控制单元7600。通过操作输入单元7800,乘客等向车辆控制系统7000输入各种数据或者指示处理操作。
存储部7690可以包括存储被微型计算机执行的各种程序的只读存储器(ROM)和存储各种参数、计算结果、传感器值等的随机存取存储器(RAM)。此外,存储部7690可以由诸如硬盘驱动器(HDD)、半导体存储装置、光存储装置、磁光存储装置等之类的磁存储装置来实现。
通用通信I/F 7620是一种通用通信I/F,其调解与在外部环境7750中存在的各种装置的通信。通用通信I/F 7620可以实现蜂窝通信协议,例如全球移动通信系统(GSM)(注册商标)、WiMAX(注册商标)和LTE(注册商标)或LTE-Advanced(LTE-A),或其他无线通信协议,例如无线局域网(也称为Wi-Fi(注册商标))和蓝牙(注册商标)。通用通信I/F 7620可以经由例如基站或者接入点连接至存在于外部网络(例如,因特网、云网络或者特定运营商的网络)上的装置(例如,应用服务器或者控制服务器)。此外,通用通信I/F 7620可以使用对等(P2P)技术连接至例如存在于车辆附近的终端(例如,驾驶员、行人或商店的终端,或者机器类型通信(MTC)终端)。
专用通信I/F 7630是支持针对在车辆中的使用定义的通信协议的通信I/F。专用通信I/F 7630可以例如实施诸如车辆环境中的无线接入(WAVE)之类的标准协议(其是下层IEEE802.11p和上层IEEE1609的组合)、专用近程通信(DSRC)或者蜂窝通信协议。专用通信I/F 7630通常执行V2X通信,V2X通信是包括车对车通信、车对基础设施通信、车对家通信和车对行人通信中的一者或多者的概念。
定位部7640通过接收例如来自全球导航卫星系统(GNSS)卫星的GNSS信号(例如来自全球定位系统(GPS)卫星的GPS信号)来执行定位,并且生成包括车辆的纬度、经度和高度的位置信息。注意,定位部7640可以通过与无线接入点交换信号来指定当前位置,或者可以从具有定位功能的终端(例如移动电话、PHS或智能手机)获取位置信息。
信标接收部7650接收例如从安装在道路上的无线站等发送的无线电波或者电磁波,并且获取诸如当前位置、交通拥挤、交通暂停或者所需时间等信息。注意,信标接收部7650的功能可以被包括在上述专用通信I/F 7630中。
车内装置I/F 7660是调解微型计算机7610与存在于车内的各种车内装置7760之间的连接。车内装置I/F 7660可以使用无线通信协议(例如无线LAN、蓝牙(注册商标)、近场通信(NFC)或无线USB(WUSB))建立无线连接。此外,车内装置I/F 7660可以通过(未示出的)连接终端(并且必要时通过电缆)建立诸如通用串行总线(USB)、高清多媒体接口(HDMI)(注册商标)、移动高清链路(MHL)等有线连接。车内装置7760可以例如包括乘客拥有的移动装置或可穿戴装置,或者载于或附于车辆上的信息装置中的至少一者。此外,车内装置7760可以包括搜索到任意目的地的路线的导航装置。车载装置I/F 7660与这些车载装置7760交换控制信号或者数据信号。
车载网络I/F 7680是调解微型计算机7610和通信网络7010之间的通信的接口。车载网络I/F 7680根据由通信网络7010支持的预定协议发送和接收信号等。
基于通过通用I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车载装置I/F 7660或者车载网络I/F 7680中的至少一者所获得的信息,集成控制单元7600的微型计算机7610根据各种程序控制车辆控制系统7000。例如,微型计算机7610可以基于在车内外获取的信息来计算驱动力产生装置、转向机构或者制动装置的控制目标值,并且向行驶系统控制单元7100输出控制命令。例如,微型计算机7610可以执行协同控制,以实现高级驾驶员辅助系统(ADAS)功能,ADAS功能包括车辆碰撞避免或车辆碰撞减震、基于跟随距离的跟随行驶、车辆速度维持行驶、车辆碰撞警告、车辆偏离车道警告等。此外,通过基于在车辆周围获取的信息控制驱动力产生装置、转向机构、制动装置等,微型计算机7610还可以执行用于实现自动驾驶等的目的协同控制,该协同控制在不依赖于驾驶员的操作的情况下使车辆自主地行驶。
基于通过通用通信I/F 7620、专用通信I/F 7630、定位部7640、信标接收部7650、车载装置I/F 7660或者车载网络I/F 7680中的至少一者获得的信息,微型计算机7610可以生成车辆与诸如周围结构或人等被摄体之间的三维距离信息,并且创建包括车辆当前位置的周围信息的本地地图信息。此外,微型计算机7610可以根据所获得的信息来预测诸如车辆之间的碰撞、行人的接近或者进入封闭道路等危险,并且生成警告信号。警告信号可以例如是用于产生警告声音或者点亮警告灯的信号。
声音图像输出部7670将声音或者图像中的至少一者的输出信号发送到能够在视觉或者听觉上通知车辆的乘客或车外乘客的输出装置。在图11的示例中,音频扬声器7710、显示单元7720和仪表板7730被示出为输出装置。显示单元7720可以包括例如车载显示器或者抬头显示器中的至少一者。显示单元7720可以具有增强现实(AR)显示功能。输出装置可以是除诸如耳机等装置、乘客佩戴的眼镜式显示器等可穿戴装置、投影仪或者照射灯之外的装置。在输出装置是显示装置的情况下,显示装置以各种格式(例如文本、图像、表格和图形)直观地显示通过由微型计算机7610执行的各种处理获得的结果或者从其它控制单元接收的信息。此外,在输出装置是声音输出装置的情况下,声音输出装置将包括可再现的声音数据、声波数据等的音频信号转换成模拟信号,并且将其有声输出。
注意,在图11所示的示例中,经由通信网络7010连接的至少两个控制单元可以集成为一个控制单元。或者,每个控制单元可以通过多个控制单元构造。此外,车辆控制系统7000可以包括另外的控制单元(未示出)。此外,可以将上述说明中的任何控制单元执行的部分或全部功能给予其他控制单元。换句话说,只要通过通信网络7010发送和接收信息,可以通过任何控制单元来执行预定的算术处理。类似地,连接到任何控制单元的传感器或者装置可以连接到其他控制单元,并且多个控制单元可以经由通信网络7010相互发送和接收检测到的信息。
根据本发明的技术可以应用于例如上述构造中的车外信息检测单元的成像部。换言之,根据本发明,具有多个成像部的成像装置可以在图像之间的位置偏差减小的状态下执行图像处理,从而可以获得更详细的信息。
[本发明的构造]
注意,本发明可以具有下面的构造。
[A1]一种成像装置,包括:
分束器,所述分束器具有光入射面,来自被摄体的光入射在所述光入射面上;
反射镜,所述反射镜使透过所述分束器的光返回到所述分束器这一侧;
第一成像部,所述第一成像部包括第一透镜,所述第一成像部布置在所述分束器的第一出射面侧,来自所述光入射面这一侧的光在所述分束器中被反射和出射;和
第二成像部,所述第二成像部包括第二透镜,所述第二成像部布置在所述分束器的第二出射面侧,来自所述反射镜这一侧的光在所述分束器中被反射和出射,
其中,光从所述光入射面到所述第一透镜的光学距离被设置为基本上等于光从所述光入射面到所述第二透镜的光学距离。
[A2]根据上述[A1]所述的成像装置,其中,
所述分束器是具有正方形横截面的立方体类型,并且
当由符号L表示所述分束器的横截面的一条边的长度,
由符号n表示所述分束器的形成材料的折射率,
由符号a表示所述分束器和所述反射镜之间的距离,并且
由符号b表示从所述第二出射面到所述第二透镜的入射光瞳的距离时,
所述第一出射面和所述第一透镜的入射光瞳之间的光学距离被基本上设置为2a+nL+b。
[A3]根据上述[A2]所述的成像装置,其中,
当由符号OD'表示作为最近距离的被摄体距离,
由符号2Px和2Py表示所述第二成像部的在X方向和Y方向上的像素的数目,
由符号f1表示所述第一透镜的焦距,并且
由符号f2表示所述第二透镜的焦距时,
在f1≤f2并且从所述第一出射面到所述第一透镜的所述入射光瞳的光学距离为2a+nL+Δz+b的情况下,
符号Δz满足以下方程式:
Figure GDA0002589162580000281
[A4]根据上述[A2]所述的成像装置,其中,
当由符号OD'表示作为最近距离的被摄体距离,
由符号2Px和2Py表示所述第二成像部的在X方向和Y方向上的像素的数目,
由符号d表示所述第二成像部的像素间距,
由符号f1表示所述第一透镜的焦距,
由符号f2表示所述第二透镜的焦距,
由符号NA表示所述第二透镜的数值孔径,并且
由符号λ表示待检测光的波长时,
在f1≤f2并且从所述第一出射面到所述第一透镜的所述入射光瞳的光学距离为2a+nL+Δz+b的情况下,
符号Δz满足以下方程式:
Figure GDA0002589162580000282
[A5]根据上述[A2]至[A4]中任一项所述的成像装置,其中,
在所述第一出射面和所述第一透镜的所述入射光瞳之间布置有玻璃材料,并且
当由符号n'表示所述玻璃材料的折射率时,所述玻璃材料在轴向方向上的长度被设置为(2a+nL+b)/n'。
[A6]根据上述[A1]至[A5]中任一项所述的成像装置,其中,
所述反射镜布置成与所述分束器的表面接触。
[A7]根据上述[A1]至[A6]中的任一项所述的成像装置,进一步包括:
图像处理单元,所述图像处理单元基于由所述第一成像部获取的第一图像和由所述第二成像部获取的第二图像进行图像处理。
[A8]根据上述[A7]所述的成像装置,其中,所述图像处理单元包括:
尺寸匹配部,所述尺寸匹配部将由所述第一成像部获取的所述第一图像和由所述第二成像部获取的所述第二图像匹配成相同的尺寸,和
图像信号处理部,所述图像信号处理部基于相同尺寸的所述第一图像和所述第二图像的图像信号执行信号处理。
[B1]一种设置有成像装置的电子设备,所述成像装置包括:
分束器,所述分束器具有光入射面,来自被摄体的光入射在所述光入射面上;
反射镜,所述反射镜使透过所述分束器的光返回到所述分束器这一侧;
第一成像部,所述第一成像部包括第一透镜,所述第一成像部布置在所述分束器的第一出射面侧,来自所述光入射面这一侧的光在所述分束器中被反射和出射;和
第二成像部,所述第二成像部包括第二透镜,所述第二成像部布置在所述分束器的第二出射面侧,来自所述反射镜这一侧的光在所述分束器中被反射和出射,
其中,光从所述光入射面到所述第一透镜的光学距离被设置为基本上等于光从所述光入射面到所述第二透镜的光学距离。
[B2]根据上述[B1]所述的电子设备,其中,
所述分束器是具有正方形横截面的立方体类型,并且
当由符号L表示所述分束器的横截面的一条边的长度,
由符号n表示所述分束器的形成材料的折射率,
由符号a表示所述分束器和所述反射镜之间的距离,并且
由符号b表示从所述第二出射面到所述第二透镜的入射光瞳的距离时,
所述第一出射面和所述第一透镜的入射光瞳之间的光学距离被基本上设置为2a+nL+b。
[B3]根据上述[B2]所述的电子设备,其中,
当由符号OD'表示作为最近距离的被摄体距离,
由符号2Px和2Py表示所述第二成像部的在X方向和Y方向上的像素的数目,
由符号f1表示所述第一透镜的焦距,并且
由符号f2表示所述第二透镜的焦距时,
在f1≤f2并且从所述第一出射面到所述第一透镜的所述入射光瞳的光学距离为2a+nL+Δz+b的情况下,
符号Δz满足以下方程式:
Figure GDA0002589162580000301
[B4]根据上述[B2]所述的电子设备,其中,
当由符号OD'表示作为最近距离的被摄体距离,
由符号2Px和2Py表示所述第二成像部的在X方向和Y方向上的像素的数目,
由符号d表示所述第二成像部的像素间距,
由符号f1表示所述第一透镜的焦距,
由符号f2表示所述第二透镜的焦距,
由符号NA表示所述第二透镜的数值孔径,并且
由符号λ表示待检测光的波长时,
在f1≤f2并且从所述第一出射面到所述第一透镜的所述入射光瞳的光学距离为2a+nL+Δz+b的情况下,
符号Δz满足以下方程式:
Figure GDA0002589162580000302
[B5]根据上述[B2]至[B4]中任一项所述的电子设备,其中,
在所述第一出射面和所述第一透镜的所述入射光瞳之间布置有玻璃材料,并且
当由符号n'表示所述玻璃材料的折射率时,所述玻璃材料在轴向方向上的长度被设置为(2a+nL+b)/n'。
[B6]根据上述[B1]至[B5]中任一项所述的电子设备,其中,
所述反射镜布置成与所述分束器的表面接触。
[B7]根据上述[B1]至[B6]中的任一项所述的电子设备,进一步包括:
图像处理单元,所述图像处理单元基于由所述第一成像部获取的第一图像和由所述第二成像部获取的第二图像进行图像处理。
[B8]根据上述[B7]所述的电子设备,其中,所述图像处理单元包括:
尺寸匹配部,所述尺寸匹配部将由所述第一成像部获取的所述第一图像和由所述第二成像部获取的所述第二图像匹配成相同的尺寸,和
图像信号处理部,所述图像信号处理部基于相同尺寸的所述第一图像和所述第二图像的图像信号执行信号处理。
附图标记列表
1、2、3、4、5、9 成像装置
10 第一成像部
11 第一透镜
12 第一成像元件
13 玻璃材料
20 第二成像部
21 第二透镜
22 第二成像元件
30 分束器
31 第一出射面
32 第二出射面
33 光入射面
34 反射镜侧的表面
35 反射面
40 反射镜
50 图像处理单元
51 尺寸匹配部
52 图像信号处理部

Claims (8)

1.一种成像装置,包括:
分束器,所述分束器具有光入射面,来自被摄体的光入射在所述光入射面上;
反射镜,所述反射镜使透过所述分束器的光返回到所述分束器这一侧;
第一成像部,所述第一成像部包括第一透镜,所述第一成像部布置在所述分束器的第一出射面侧,来自所述光入射面这一侧的光在所述分束器中被反射和出射;和
第二成像部,所述第二成像部包括第二透镜,所述第二成像部布置在所述分束器的第二出射面侧,来自所述反射镜这一侧的光在所述分束器中被反射和出射,
其中,光从所述光入射面到所述第一透镜的光学距离被设置为基本上等于光从所述光入射面到所述第二透镜的光学距离,
其中,所述分束器是具有正方形横截面的立方体类型,并且
当由符号L表示所述分束器的横截面的一条边的长度,
由符号n表示所述分束器的形成材料的折射率,
由符号a表示所述分束器和所述反射镜之间的距离,并且
由符号b表示从所述第二出射面到所述第二透镜的入射光瞳的距离时,
所述第一出射面和所述第一透镜的入射光瞳之间的光学距离被基本上设置为2a+nL+b。
2.根据权利要求1所述的成像装置,其中,
当由符号OD'表示作为最近距离的被摄体距离,
由符号2Px和2Py表示所述第二成像部的在X方向和Y方向上的像素的数目,
由符号f1表示所述第一透镜的焦距,并且
由符号f2表示所述第二透镜的焦距时,
在f1≤f2并且从所述第一出射面到所述第一透镜的所述入射光瞳的光学距离为2a+nL+Δz+b的情况下,
符号Δz满足以下方程式:
Figure FDA0003316092050000021
3.根据权利要求1所述的成像装置,其中,
当由符号OD'表示作为最近距离的被摄体距离,
由符号2Px和2Py表示所述第二成像部的在X方向和Y方向上的像素的数目,
由符号d表示所述第二成像部的像素间距,
由符号f1表示所述第一透镜的焦距,
由符号f2表示所述第二透镜的焦距,
由符号NA表示所述第二透镜的数值孔径,并且
由符号λ表示待检测光的波长时,
在f1≤f2并且从所述第一出射面到所述第一透镜的所述入射光瞳的光学距离为2a+nL+Δz+b的情况下,
符号Δz满足以下方程式:
Figure FDA0003316092050000022
4.根据权利要求1所述的成像装置,其中,
在所述第一出射面和所述第一透镜的所述入射光瞳之间布置有玻璃材料,并且
当由符号n'表示所述玻璃材料的折射率时,所述玻璃材料在轴向方向上的长度被设置为(2a+nL+b)/n'。
5.根据权利要求1至4中任一项所述的成像装置,其中,
所述反射镜布置成与所述分束器的表面接触。
6.根据权利要求1至4中任一项所述的成像装置,进一步包括:
图像处理单元,所述图像处理单元基于由所述第一成像部获取的第一图像和由所述第二成像部获取的第二图像进行图像处理。
7.根据权利要求6所述的成像装置,其中,所述图像处理单元包括:
尺寸匹配部,所述尺寸匹配部将由所述第一成像部获取的所述第一图像和由所述第二成像部获取的所述第二图像匹配成相同的尺寸,和
图像信号处理部,所述图像信号处理部基于相同尺寸的所述第一图像和所述第二图像的图像信号执行信号处理。
8.一种设置有根据权利要求1至7中任一项所述的成像装置的电子设备。
CN201880086877.3A 2018-01-26 2018-12-07 成像装置和电子设备 Active CN111630452B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018011302A JP2019128517A (ja) 2018-01-26 2018-01-26 撮像装置、及び、電子機器
JP2018-011302 2018-01-26
PCT/JP2018/045092 WO2019146275A1 (ja) 2018-01-26 2018-12-07 撮像装置、及び、電子機器

Publications (2)

Publication Number Publication Date
CN111630452A CN111630452A (zh) 2020-09-04
CN111630452B true CN111630452B (zh) 2022-01-14

Family

ID=67395372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880086877.3A Active CN111630452B (zh) 2018-01-26 2018-12-07 成像装置和电子设备

Country Status (4)

Country Link
US (1) US20200358933A1 (zh)
JP (1) JP2019128517A (zh)
CN (1) CN111630452B (zh)
WO (1) WO2019146275A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114080231A (zh) 2019-07-10 2022-02-22 国立研究开发法人国立癌症研究中心 用于鉴定特异性攻击癌细胞的t细胞的特异性标记
CN111220627B (zh) * 2020-03-20 2022-09-13 泉州师范学院 基于双色分离成像法的晶粒双面同时等光程共焦成像检测的装置与方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011007599A (ja) * 2009-06-25 2011-01-13 Kyocera Corp 被写体距離推定装置
JP2012198414A (ja) * 2011-03-22 2012-10-18 Sharp Corp 立体像撮影装置および電子機器
CN103597405A (zh) * 2011-08-24 2014-02-19 奥林巴斯医疗株式会社 摄像装置和摄像装置系统
JP2014103597A (ja) * 2012-11-21 2014-06-05 Olympus Corp 撮像装置
JP2015222333A (ja) * 2014-05-22 2015-12-10 コニカミノルタ株式会社 ズームレンズ及び撮像装置
CN106713723A (zh) * 2017-03-29 2017-05-24 中山联合光电科技股份有限公司 一种双光可调拍摄系统
CN107272149A (zh) * 2016-03-31 2017-10-20 索尼公司 光学系统、电子设备、相机、方法、及计算机程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW550936B (en) * 2001-12-31 2003-09-01 Veutron Corp Optical path layout of image capturing system and the achieving method thereof
JP4198449B2 (ja) * 2002-02-22 2008-12-17 富士フイルム株式会社 デジタルカメラ
US7593057B2 (en) * 2004-07-28 2009-09-22 Microsoft Corp. Multi-view integrated camera system with housing
WO2011043025A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 固体撮像素子および撮像装置
US9398264B2 (en) * 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US9374516B2 (en) * 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9386222B2 (en) * 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9541740B2 (en) * 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011007599A (ja) * 2009-06-25 2011-01-13 Kyocera Corp 被写体距離推定装置
JP2012198414A (ja) * 2011-03-22 2012-10-18 Sharp Corp 立体像撮影装置および電子機器
CN103597405A (zh) * 2011-08-24 2014-02-19 奥林巴斯医疗株式会社 摄像装置和摄像装置系统
JP2014103597A (ja) * 2012-11-21 2014-06-05 Olympus Corp 撮像装置
JP2015222333A (ja) * 2014-05-22 2015-12-10 コニカミノルタ株式会社 ズームレンズ及び撮像装置
CN107272149A (zh) * 2016-03-31 2017-10-20 索尼公司 光学系统、电子设备、相机、方法、及计算机程序
CN106713723A (zh) * 2017-03-29 2017-05-24 中山联合光电科技股份有限公司 一种双光可调拍摄系统

Also Published As

Publication number Publication date
CN111630452A (zh) 2020-09-04
WO2019146275A1 (ja) 2019-08-01
JP2019128517A (ja) 2019-08-01
US20200358933A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
US11076141B2 (en) Image processing device, image processing method, and vehicle
US20190259139A1 (en) Image processing device and image processing method
US20180300898A1 (en) Image processing apparatus, image processing method, and program
US10587863B2 (en) Image processing apparatus, image processing method, and program
CN110574357B (zh) 成像控制设备、用于控制成像控制设备的方法以及移动体
JP7140135B2 (ja) 可変焦点距離レンズ系および撮像装置
CN109791706B (zh) 图像处理装置和图像处理方法
US11942494B2 (en) Imaging device
US11443520B2 (en) Image processing apparatus, image processing method, and image processing system
CN111630452B (zh) 成像装置和电子设备
JP6922169B2 (ja) 情報処理装置および方法、車両、並びに情報処理システム
CN111183386B (zh) 成像镜头和成像设备
JP7140136B2 (ja) 可変焦点距離レンズ系および撮像装置
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
WO2022097470A1 (ja) 信号処理装置、撮像装置及び信号処理方法
WO2020255589A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2023195392A1 (en) Light detection device
US20240111129A1 (en) A lens system, and a method and computer program product for controlling the lens system
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP2023152551A (ja) 光検出装置及び電子機器
JP2022147021A (ja) 撮像素子、撮像装置及び撮像素子の制御方法
CN113614777A (zh) 信息处理装置、信息处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant