CN110392818B - 距离测量装置、头戴式显示器装置、便携信息终端、影像显示装置、周边监视系统 - Google Patents

距离测量装置、头戴式显示器装置、便携信息终端、影像显示装置、周边监视系统 Download PDF

Info

Publication number
CN110392818B
CN110392818B CN201780087953.8A CN201780087953A CN110392818B CN 110392818 B CN110392818 B CN 110392818B CN 201780087953 A CN201780087953 A CN 201780087953A CN 110392818 B CN110392818 B CN 110392818B
Authority
CN
China
Prior art keywords
polarized light
imaging
image
distance measuring
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780087953.8A
Other languages
English (en)
Other versions
CN110392818A (zh
Inventor
山口启太
石井利树
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Maxell Ltd
Original Assignee
Maxell Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Maxell Ltd filed Critical Maxell Ltd
Publication of CN110392818A publication Critical patent/CN110392818A/zh
Application granted granted Critical
Publication of CN110392818B publication Critical patent/CN110392818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/18—Diffraction gratings
    • G02B5/1876—Diffractive Fresnel lenses; Zone plates; Kinoforms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/499—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using polarisation effects
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/28—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising
    • G02B27/283—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining
    • G02B27/285—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for polarising used for beam splitting or combining comprising arrays of elements, e.g. microprisms
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/40—Optical focusing aids
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

距离测量装置(101)具备：拍摄光学系统(102)；一个拍摄元件(105)，拍摄来自拍摄光学系统的入射光；以及距离测量部(107)，根据拍摄元件拍摄的多个图像，测量从所述拍摄元件至所述拍摄对象的距离。拍摄光学系统包括偏振光分离部，该偏振光分离部使具有第1偏振方向的第1偏振光和具有与第1偏振方向大致正交的第2偏振方向的第2偏振光分离而向拍摄元件入射，拍摄元件接受第1偏振光而拍摄第1偏振光图像，并且接受第2偏振光而拍摄第2偏振光图像，距离测量部根据第1偏振光图像以及第2偏振光图像测量与所述拍摄对象之间的距离。

Description

距离测量装置、头戴式显示器装置、便携信息终端、影像显示 装置、周边监视系统
技术领域
本发明涉及距离测量装置、头戴式显示器装置、便携信息终端、影像显示装置、周边监视系统以及距离测量方法。
背景技术
有作为无需光源的距离测量技术而根据焦点的模糊进行距离测量的透镜焦点法、根据多个拍摄元件之间的视差进行距离测量的立体法所代表的被动性距离测量装置。作为其一个例子，在专利文献1中，记载了“本发明的多重聚焦照相机具备：拍摄光学系统的透镜；第1拍摄元件，在经由透镜从被摄体入射的光中，通过有机光电变换膜以预定的光吸收率吸收光并进行光电变换而拍摄被摄体的像；第2拍摄元件，对透射第1拍摄元件的光进行光电变换而拍摄该被摄体的像；以及控制部，控制第1拍摄元件及第2拍摄元件的拍摄动作。控制部具有测距运算部，该测距运算部根据由第1拍摄元件以及第2拍摄元件拍摄的该被摄体的像的模糊量的差，运算从该被摄体至透镜的距离(摘要摘录)”。
现有技术文献
专利文献
专利文献1：日本特开2013-205516号公报
发明内容
专利文献1公开的多重聚焦照相机通过沿着透镜的光轴隔开间隔地配置多个拍摄元件，实现了透镜焦点法所需的多个图像的同时拍摄。因此，有基于确保第1拍摄元件以及第2拍摄元件间的距离的必要性而在多重聚焦照相机的小型化中存在制约这样的实际情况。
因此，本发明的目的在于提供一种进一步减少了对于小型化的制约的距离测量技术。
如果举出其一个例子，则提供一种距离测量装置，根据多个图像测量与被拍摄于该图像的拍摄对象相距的距离，其特征在于，具备：拍摄光学系统；一个拍摄元件，拍摄来自所述拍摄光学系统的入射光；以及距离测量部，根据所述拍摄元件拍摄的多个图像，测量从所述拍摄元件至所述拍摄对象的距离，所述拍摄光学系统包括偏振光分离部，该偏振光分离部使具有第1偏振方向的第1偏振光和具有与所述第1偏振方向大致正交的第2偏振方向的第2偏振光分离而向所述拍摄元件入射，所述拍摄元件接受所述第1偏振光而拍摄第1偏振光图像，并且接受所述第2偏振光而拍摄第2偏振光图像，所述距离测量部根据所述第1偏振光图像以及所述第2偏振光图像测量与所述拍摄对象之间的距离。
根据本发明，能够提供进一步减少了对于小型化的制约的距离测量技术。此外，在以下的实施方式中明确上述以外的目的、结构、效果。
附图说明
图1是示出本发明中的距离测量装置的结构的图。
图2是示出第1实施方式中的拍摄光学系统和拍摄元件的结构的图。
图3是示出第1实施方式中的透镜的结构的图。
图4是示出第1实施方式中的偏振光分离部和拍摄元件的结构的图。
图5A是示出在本发明的距离测量装置中以第1偏振光对拍摄对象物体进行拍摄的情形的图。
图5B是示出在本发明的距离测量装置中以第2偏振光对拍摄对象物体进行拍摄的情形的图。
图6A是示出在拍摄光学系统中拍摄的第1偏振光的点扩散函数的图。
图6B是示出在拍摄光学系统中拍摄的第2偏振光的点扩散函数的图。
图7A是示出在第2实施方式中以使透射偏振光控制元件的光的偏振光成为第1偏振光的方式控制偏振光控制元件的情况下的拍摄光学系统和拍摄元件的结构的图。
图7B是示出在第2实施方式中以使透射偏振光控制元件的光的偏振光成为第2偏振光的方式控制偏振光控制元件的情况下的拍摄光学系统和拍摄元件的结构的图。
图8是示出第2实施方式中的拍摄光学系统和拍摄元件的结构的图。
图9是示出第3实施方式中的透镜的结构的图。
图10是示出第4实施方式中的拍摄光学系统和拍摄元件的结构的图。
图11A是示出第4实施方式中的第1偏振光依赖菲涅尔波带片的结构的图。
图11B是示出第4实施方式中的第2偏振光依赖菲涅尔波带片的结构的图。
图12是示出第5实施方式中的拍摄光学系统和拍摄元件的结构的图。
图13是示出第1实施方式中的距离测量处理流程的图。
图14是示出第1实施方式中的PSF尺寸调整的处理流程的图。
图15是示出在影像显示装置中使用距离测量装置的情况下的结构的例子的图。
图16是示出在影像显示装置中使用距离测量装置的情况下的结构的例子的图。
图17是示出使用距离测量装置的影像显示装置中的手势输入的处理流程的图。
图18A是示出在使用距离测量装置的影像显示装置中在用户的手识别处理时拍摄的图像的图。
图18B是示出在使用距离测量装置的影像显示装置中在用户的手的特征点抽出处理时处理的图像的图。
图18C是示出在使用距离测量装置的影像显示装置中在距离测量区域确定处理时处理的图像的图。
图19是示出在汽车的周边监视系统中使用距离测量装置的情况下的结构的图。
图20是示出根据汽车的行驶状态确定距离测量范围的处理流程的图。
图21是示出在具有可变的基线长度的立体法距离测量装置中将2个照相机作为距离测量装置的结构的图。
(符号说明)
101：距离测量装置；102：拍摄光学系统；103：点扩散函数附加部；104：偏振光分离部；105：拍摄元件；106：图像处理部；107：距离测量部；108：显示图像生成部；201：入射光；202：孔径；203：透镜；701：偏振光镜；702：偏振光控制元件；1001：偏振光依赖菲涅尔波带片；1002：偏振光依赖菲涅尔波带片；1201：偏振光依赖孔径；1501：影像显示装置；1502：影像显示部；1503：声音输入部；1504：输入开关；2101：照相机保持部。
具体实施方式
以下，参照附图说明本发明的实施方式。在全部附图中对同一结构附加同一符号，省略重复说明。
近年来，面向针对增强现实(Augmented Reality，AR)技术、虚拟现实(VirtualReality，VR)技术的应用的头戴式显示器等可穿戴终端正被产品化。作为AR、VR技术中的用户的输入方法之一，有识别手的动作的手势输入。另外，在AR技术中，为了在空间中重叠视觉信息，需要掌握空间中的物体的位置关系的空间识别功能。为了实现它们，需要测量物体的纵深信息的距离测量技术，利用了以飞行时间(Time-of-Flight，TOF)法为代表的距离测量技术。
以TOF法为代表的主动性距离测量装置需要对物体照射光的光源。相对于此，以下说明的本实施方式的距离测量装置是无需对物体照射光的光源的所谓被动性距离测量装置。
<第1实施方式>
依照附图说明本发明中的第1实施方式。图1是示出本发明中的距离测量装置101的结构的一个例子的图。距离测量装置101经由拍摄光学系统102用拍摄元件105拍摄拍摄对象的图像。拍摄光学系统102具有：点扩散函数附加部103，对2个正交的偏振光分别附加不同的点扩散函数；以及偏振光分离部104，分离具有第1偏振方向的入射光和具有与第1偏振方向大致正交的第2偏振方向的入射光。此处所称的大致正交并非含义限定于具有第1偏振方向的入射光的偏振方向轴和具有第2偏振方向的入射光的偏振方向轴准确地是90度的情况，而包括具有第1偏振方向的入射光的偏振方向轴和具有第2偏振方向的入射光的偏振方向轴所成的角包含于视作以90度为中心而正交的容许准确度范围的情况。
另外，“点扩散函数”是表示光学系统的相对点光源的响应的函数，在用拍摄元件拍摄了从拍摄对象的一点产生的光线时所得到的图像中，在拍摄光学系统的点扩散函数不同的情况下，在拍摄的图像的模糊样式中产生差。在本实施方式中，使用该图像的模糊样式的差来测量距离。
由拍摄元件105拍摄的图像数据被送给图像处理部106，距离测量部107根据图像生成距离信息，显示图像生成部108生成反映了距离信息的显示用的图像。在图像处理部106中生成的距离信息、显示图像也可以被输出到控制部109而被利用于除了显示图像的生成以外的使用用途、例如后述操作输入。
在拍摄光学系统102中的光的入射侧，例如还包括构成为包括多个可动叶片的孔径光阑202以及驱动孔径光阑202以变更孔径尺寸的光阑驱动部206。控制部109对光阑驱动部206发送驱动控制信号，驱动孔径光阑202以进行拍摄光学系统102的孔径尺寸的变更、光学调整。进而，控制部109进行拍摄元件105、图像处理部106中的各处理的执行定时的控制、与影像显示装置等外部设备的通信。作为拍摄元件105，能够使用CMOS图像传感器、CCD图像传感器等。
图2是示出本实施方式中的拍摄光学系统102和拍摄元件105的结构的一个例子的图。本实施方式的入射到距离测量装置101的入射光201向拍摄光学系统102中的点扩散函数附加部103入射，透射点扩散函数附加部103中的由孔径光阑202形成的孔径部202a以及透镜203。透射点扩散函数附加部103的光中的相互正交的第1偏振光204和第2偏振光205在分别被附加不同的点扩散函数的状态下透射点扩散函数附加部103。之后，第1偏振光204和第2偏振光205经由偏振光分离部104被拍摄元件105接受，拍摄对象的图像被记录。在图2中，为便于说明，将偏振光分离部104和拍摄元件105分离地记载，但最好使偏振光分离部104和拍摄元件105接近，也可以使两者构成为贴合。
图3是示出本实施方式中的透镜203的结构的一个例子的图。此外，设为入射光201的行进方向为纸面垂直方向，第1偏振光204的偏振方向与轴301平行，第2偏振光205的偏振方向与轴302平行。
透镜203由双折射性的物质构成，相对与轴301平行的第1偏振光204的折射率是n1，相对与轴302平行的第2偏振光205的折射率是n2，所以透镜203的焦距相对第1偏振光204和第2偏振光205分别为不同的长度。例如，在透镜203是曲率半径R的球面平凸透镜的情况下，相对第1偏振光204的焦距f1和相对第2偏振光205的焦距f2能够分别用式1、式2表示，所以例如在n1大于n2的情况下，f1为比f2小的值。
(式1)f1＝R/(n1-1)…(1)
(式2)f2＝R/(n2-1)…(2)
图4示出本实施方式中的偏振光分离部104和拍摄元件105的结构的一个例子。偏振光分离部104是排列有使第1偏振光204透射并遮挡第2偏振光205的第1偏振光镜401、403、405、407、409和遮挡第1偏振光204并使第2偏振光205透射的第2偏振光镜402、404、406、408的偏振光镜阵列。偏振光分离部104和拍摄元件105被配置成透射第1偏振光镜或者第2偏振光镜401～409的光分别被拍摄元件105的像素410～418拍摄。因此，像素410、412、414、416、418仅拍摄第1偏振光204，像素411、413、415、417仅拍摄第2偏振光205。
图4是说明构成拍摄元件105的像素的一部分的图，像素数不限于图4所示的例子。另外，像素410～418可以分别是单一的单色图像传感器，也可以是像素410～418的各像素将与RGB对应的像素分别具有1个以上的拜尔滤色镜式的图像传感器等。
通过设为以上的结构，能够使第1偏振光204和第2偏振光205分别以不同的焦距向拍摄元件105入射，能够通过拍摄元件105分别单独地拍摄对第1偏振光204进行拍摄而得到的第1偏振光图像和对第2偏振光205进行拍摄而得到的第2偏振光图像。因此，能够同时拍摄不同的模糊量的2个图像即第1偏振光图像以及第2偏振光图像，能够执行基于作为透镜焦点法之一的散焦测距(Depth from defocus，DFD)法的距离测量。
透镜焦点法需要模糊量不同的至少2个以上的图像，所以以往的DFD法一边改变透镜与拍摄元件之间的距离一边进行多次拍摄，与其他距离测量方式相比存在测量时间长的问题。另外，在专利文献1记载的结构中，虽然能够通过使用2个以上拍摄元件而实现模糊量不同的图像的同时拍摄，但由于拍摄元件数增加而存在功耗增加的问题。相对于此，根据本实施方式的结构，能够使用1个拍摄元件同时拍摄模糊量不同的2个的第1偏振光图像以及第2偏振光图像，所以能够提供高速地执行基于DFD法的距离测量的小型、低功耗的距离测量装置。
此外，构成偏振光分离部104的偏振光镜的数量、排列方式不限于图4所示的例子。例如，也可以是条状地配置有第1偏振光镜401、403、405、407、409和第2偏振光镜402、404、406、408的偏振光镜阵列。另外，也可以将使用了光子晶体的偏振光镜阵列利用于偏振光分离部104。进而，构成拍摄元件105的像素的数量不限于图4所示的例子。
另外，在本实施方式的偏振光分离部104和拍摄元件105的结构中，在第1偏振光图像的拍摄中使用拍摄元件105的像素中的半数的像素，在第2偏振光图像的拍摄中使用另一半数的像素，所以能够由拍摄元件105取得的图像的像素数减半，但对于未能进行拍摄的像素，能够根据由接近的像素接受的光强度信号进行插值处理，从而生成第1偏振光图像以及第2偏振光图像。如果以第2偏振光图像为例子来考虑，则图4的像素414未能测量第2偏振光205的光强度信号，所以该像素中的光强度信号欠缺，但能够将由周围的像素411、413、415、417测量出的第2偏振光205的光强度信号的平均值插入为像素414的第2偏振光205的光强度信号，从而对像素414的光强度信号进行插值，生成第2偏振光图像。关于第1偏振光204的图像，也能够通过进行同样的插值处理生成第1偏振光图像。
另外，本实施方式的透镜203例如可以是使用了水晶、方解石、氟化镁、偏硼酸钡等双折射性晶体的透镜，也可以是呈双折射性的塑料透镜。
在此，使用图5A、图5B、图6A、图6B说明本实施方式中的距离测量方法。图5A、图5B是说明在本实施方式的距离测量装置中对作为拍摄对象的物体501进行拍摄的情形的图。将物体501与透镜203之间的距离设为u，将透镜203与拍摄元件105之间的距离设为s。另外，将孔径部202a的直径设为D0。图5A示出用拍摄元件105对第1偏振光204的入射光线进行拍摄的情形。从物体501的1点产生的第1偏振光204的光线在透射透镜203之后，成像于焦距f1的透镜所成像的成像点502。
图5B示出用拍摄元件105拍摄第2偏振光205的入射光线的情形。从物体501的1点产生的第2偏振光205的光线在透射透镜203之后，成像于焦距f2的透镜所成像的成像点503。在图5A、图5B的情况下，成像点502与拍摄元件105之间的距离比成像点503与拍摄元件105之间的距离短，所以第2偏振光205的图像为比第1偏振光204的图像模糊强的图像。
使用图6A、图6B说明第1偏振光204和第2偏振光205的拍摄图像中的模糊量的差。将用拍摄元件105拍摄了从物体501的1点产生的光线的情况下的图像称为点扩散函数(Point Spread Function，PSF)。图6A、图6B是图示本实施方式的拍摄光学系统中拍摄的点扩散函数的图。图像601是拍摄了第1偏振光204的点扩散函数602的情况下的图像的例子，图像603是拍摄了第2偏振光205的点扩散函数604的情况下的图像的例子。点扩散函数602的直径D1在使用D0、u、s以及f1时能够用式3表示，点扩散函数604的直径D2在使用D0、u、s以及f2时能够用式4表示。
(式3)D1＝sD0(1/f1-1/u-1/s)…(3)
(式4)D2＝sD0(1/f2-1/u-1/s)…(4)
如果以第1偏振光204、第2偏振光205进行物体501的拍摄，则会分别拍摄与式3、式4所示的点扩散函数和无模糊的物体501的图像的卷积积分相当的图像。因此，通过从第1偏振光204、第2偏振光205的卷积图像抽出点扩散函数602、604的大小，能够测量物体501与透镜203之间的距离。
作为从2个卷积图像抽出点扩散函数的方法，例如可以使用二维傅里叶变换，也可以使用下述文献记载的空间域卷积/反卷积变换。
(文献名)
Murali Subbarao，Gopal Surya，“Depth from defocus：A spatial domainapproach(散焦测距：空间域方法)，”国际计算机视觉杂志，(US)Springer，1994年12月，13卷，3号第271页-第294页
此外，拍摄元件105也可以配置成第1偏振光图像和第2偏振光图像中的某一方在拍摄元件105上成像。通过设为这样的配置，使为了距离测量而拍摄的2个图像中的一方直接显示，从而能够在AR系统等中用作面向用户的显示图像。另外，即使在第1偏振光图像以及第2偏振光图像都未在拍摄元件105上成像的情况下，也可以在根据2个偏振光图像计算出PSF之后根据PSF的信息去除拍摄图像的模糊，从而生成面向用户的显示图像。
接下来，使用图13说明本实施方式的使用了距离测量装置101的距离测量处理流程的例子。在处理S1301中，进行PSF尺寸的调整等与距离测量有关的部分的初始化。
在处理S1302中，拍摄第1偏振光204而生成第1原始(raw)偏振光图像，拍摄第2偏振光205而生成第2原始偏振光图像。
在处理S1303中，对于在处理S1302中拍摄的第1原始偏振光图像以及第2原始偏振光图像分别进行插值处理，生成第1偏振光图像以及第2偏振光图像。
在处理S1304中，从在处理S1303中生成的第1偏振光图像以及第2偏振光图像中抽出PSF。
在处理S1305中，根据在处理S1304中抽出的PSF计算与对象物体之间的距离。
在处理S1306中，以与用途对应的形式输出在处理S1305中测量出的距离信息。例如，在将与物体之间的距离信息作为显示图像提供给用户的使用方法的情况下，生成在处理S1302中拍摄的图像中重叠有在处理S1305中测量出的距离信息的图像，显示于显示显示器等。另外，在使用于AR系统的手势输入的识别的情况下，记录距离测量信息，在下次的距离测量时计算在处理S1305中测量出的距离测量信息的差分，判定输入内容，向AR系统的输入输出。
在处理S1307中判定测量的继续、结束，在继续的情况下(S1307/“是”)，进入到处理S1302，在结束的情况下(S1307/“否”)，结束距离测量处理。
接下来，说明PSF尺寸的调整方法。一般而言，在透镜203的焦距、孔径部202a的直径、拍摄元件105与透镜203之间的距离等为相同的条件的情况下，与处于远处的物体相比，处于近处的物体的PSF更大。如果PSF与拍摄元件105相比成为一定以上的尺寸，则无法进行准确的距离测量。因此，需要控制孔径部202a的直径、拍摄元件105与透镜203之间的距离以使PSF的尺寸减少的操作。
例如，能够根据在孔径部202a的直径的变更前后抽出的PSF的变化来判定PSF的尺寸是否适当。原本在减小孔径部202a的直径时由拍摄元件105拍摄的图像的PSF变小，但在PSF的尺寸与拍摄元件105相比成为一定以上的尺寸的情况下，在减小孔径部202a的直径时从图像抽出的PSF尺寸不变化或者增加。其原因为，在PSF为一定以上的尺寸的情况下，即使减小了孔径部202a的直径，在DFD中使用的2个图像中的至少一方在模糊样式中也不会出现明确的变化。在该状况下，在另一方的图像由于孔径部202a的直径变小的影响而模糊量降低时，2个图像之间的模糊量的差增大。在本测定方法中，模糊量的差的增大意味着PSF的增加。另外，在当减小了孔径部202a的直径时另一方的图像也未出现明确的变化的情况下，即使变更孔径部202a的直径，在2个图像之间也不会产生模糊量的差，所以得到PSF恒定这样的计算结果。利用该特征来判定PSF尺寸是否适当，在不适当的情况下，使PSF尺寸减少。
使用图14说明PSF尺寸调整的处理流程的例子。
在处理S1401中，设定孔径部202a的直径。
在处理S1402中，生成第1偏振光图像和第2偏振光图像，抽出PSF。此处所称的“生成第1偏振光图像”可以是拍摄第1原始偏振光图像并进行插值处理而生成第1偏振光图像的处理，也可以是如后述第2实施方式那样在拍摄了第1偏振光204时拍摄元件105的像素无缺损的状态下得到第1偏振光图像的处理。关于第2偏振光图像也是同样的。
在处理S1403中，变更孔径部202a的直径。
在处理S1404中，再次拍摄第1偏振光图像和第2图像，抽出PSF。
在处理S1405中，比较在处理S1402中抽出的PSF和在处理S1404中抽出的PSF，判定当前的PSF是否适当。例如，当在处理S1402中拍摄时的孔径部202a的直径大于在处理S1404中拍摄时的孔径部202a的直径时，如果在处理S1402中抽出的PSF大于在处理S1404中抽出的PSF，则判定为适当(S1405/“是”)，结束处理。
另一方面，在出现在处理S1402中抽出的PSF比在处理S1404中抽出的PSF小或者不变这样的判定的情况下，判定为当前的PSF超过了适当的尺寸(S1405/“否”)，转移到处理S1403，再次变更孔径部202a的直径之后，在处理S1404中抽出PSF。
在处理S1405中，比较在第1次的处理S1404中抽出的PSF和在第2次的处理S1404中抽出的PSF，再次判定PSF尺寸是否适当。
此外，图14的处理可以在图13的处理S1301内仅进行1次，也可以在从处理S1307转移到处理S1302时每次进行或者每隔几次进行。另外，在图13的从处理S1307转移到处理S1302时进行图14的处理的情况下，也可以使用在处理S1402、处理S1404中抽出的PSF尺寸进行处理S1405的距离信息计算，从而省略处理S1302～处理S1304。
此外，也可以通过将本实施方式的距离测量装置101并用多台而使距离测量性能提高。图21是示出在具有可变的基线长度的立体法距离测量装置中将2个照相机作为本实施方式的距离测量装置101的结构的例子的图。2个距离测量装置101被固定于照相机保持部2101。照相机保持部2101具有伸缩功能，根据所需的距离测量精度使基线长度变化。通过设为以上的结构，例如通过比较由距离测量装置101测量出的距离信息和利用立体法测定出的距离信息，能够进行照相机保持部2101的伸缩时或者温度变化、应力、经时劣化所引起的基线长度变化的校准。
本实施方式的距离测量装置101的应用领域例如是头戴式显示器等AR对应型影像显示装置、智能手机等便携信息终端。使用图15～18说明头戴式显示器等影像显示装置中的距离测量装置101的使用例。
图15示出在影像显示装置1501中使用本实施方式的距离测量装置101的情况下的外观的例子，图16示出在影像显示装置1501中使用本实施方式的距离测量装置101的情况下的结构的例子。影像显示装置1501构成为包括影像显示部1502、声音输入部1503、输入开关1504、与网络上的服务器、用户所拥有的个人计算机、便携信息终端等进行通信的通信部1604、保管信息的信息存储部1605以及控制部1602。
距离测量装置101作为一个例子被配置为在用户佩戴有影像显示装置1501的情况下能够测量前方。控制部1602根据来自距离测量装置101、声音输入部1503、输入开关1504、通信部1604、信息存储部1605的输入，控制影像显示部1502、距离测量装置101、通信部1604、信息存储部1605的动作。
图17是示出使用距离测量装置101的影像显示装置1501中的手势输入的处理流程的图。影像显示装置1501依照控制部1602的指示，开始利用距离测量装置101的手势识别处理。手势识别处理的开始定时可以是影像显示装置1501刚刚启动之后，也可以常时地例如与来自与声音输入部1503、输入开关1504、通信部1604连接的便携信息终端等的输入对应地进行。
在处理S1701中，进行与距离测量有关的部分的初始化。
在处理S1702中，从由拍摄元件105拍摄的图像中识别用户的手，抽出特征点。
在处理S1703中，根据在处理S1702中抽出的特征点，确定距离测量区域。
在处理S1704中，进行在处理S1703中确定的距离测量区域的距离测量，取得各个特征点的三维坐标。
之后，在处理S1705中再次抽出用户的手的特征点，在处理S1706中确定距离测量区域。
在处理S1707中，进行在处理S1706中确定的距离测量区域的距离测量，再次取得各个特征点的三维坐标。
在处理S1708中，根据在处理S1704和处理S1707中取得的各特征点的差，计算特征点的移动量，在处理S1709中进行反映了特征点的移动量的显示图像的更新。
在处理S1710中进行输入的结束、继续的判定，在结束的情况下(S1710/“是”)结束输入，在继续的情况下(S1710/“否”)返回到处理S1702。此外，在用户的手的位置的变化少等情况下，特征点抽出处理和距离测量区域确定处理也可以并非每当执行特征点坐标取得处理时进行，而是每几次地执行一次。另外，也可以在处理S1704与处理S1707之间有计划地设置待机时间。
图18A、图18B、图18C是示出了在处理S1702、处理S1703执行时距离测量装置101进行拍摄、处理的图像的例子的图。在识别出在拍摄画面1801中反映了用户的手1802时(图18A)，如图18B所示，在处理S1702中抽出特征点1803。例如，根据颜色、形状进行用户的手1802的识别。另外，也可以通过在影像显示装置1501中配置用户登记功能，登记用户的手1802的颜色、尺寸、在拍摄画面上在手势输入中使用的频度高的区域，根据这些登记信息进行识别，从而提高用户的手1802的识别精度。另外，作为特征点1803，例如使用用户的手1802的关节等。
接下来，在处理S1703中，以能够取得特征点1803的纵深信息的方式确定距离测量区域1804(图18C)。在进行以上的处理时，无需利用拍摄元件105的全部像素进行距离测量处理，所以能够减轻计算处理的负荷。
另外，在影像显示部1502中，例如可以如图18B、图18C所示对用户显示重叠有特征点、距离测量区域的影像，也可以重叠显示与各特征点相距的距离信息。作为距离的显示方法，例如可以将数值直接重叠，也可以显示为根据等值线、距离层级性地着色的等值线。
在上述例子中，将头戴式显示器用作影像显示装置，通过用户的手的手势进行针对头戴式显示器的输入操作，通过本实施方式的距离测量装置，计算手的特征点的移动量，将表示该移动量的操作信号输出到控制部，进行反映了特征点的移动量的显示图像的更新。但是，也可以构成为在头戴式显示器具有与影像显示装置不同的功能的情况下、例如头戴式显示器在具有与外部设备进行通信的功能的情况下通过手势进行切换通信目的地的操作、在具有声音输出功能的情况下通过手势进行进行音量调整的输入操作，控制部执行输入的操作。
作为本实施方式的距离测量装置101的其他应用领域，例如有汽车、无人机等无人飞行器、机器人、外科手术支援系统、精密形状测量装置等。例如，可以在汽车、无人机、灾害调查机器人、产业用机器人等移动式机械装置中搭载距离测量装置101以利用于基于周围监视的碰撞避免，也可以将位置信息和距离测量信息上传到网络上的服务器而提示给远程地点的操纵者，还可以与其他移动式机械装置共享上传到网络上的服务器的位置信息和距离测量信息以利用于自动驾驶、自主航行中的移动式机械装置的协调性的位置控制。
图19是在汽车1901的周边监视系统中使用距离测量装置101的情况下的结构的例子中抽出与距离测量装置101连动的部分的图。距离测量装置101经由汽车控制部1902从速度测量部1904、电子费用支付终端1905、GPS接收机1906等取得当前的行驶状态，确定距离测量范围。
图20示出根据汽车的行驶状态确定距离测量范围的处理流程的例子。在汽车的引擎发动之后，在处理S2001中判定汽车的行驶模式。汽车的行驶模式例如可以用速度测量部1904判定、也可以用GPS接收机1906判定行驶速度以及当前行驶中的道路是高速公路还是普通道路。另外，也可以根据电子费用支付终端1905的通信记录，判定当前行驶中的道路是收费高速公路还是普通道路。
在处理S2001中判定了当前的行驶模式之后，根据判定结果在处理S2002中确定距离测量模式。关于距离测量模式，例如在高速行驶时为了高精度地进行远处的距离测量而以使PSF变大的方式设定孔径部202a的直径，在低速行驶时为了高精度地进行近距离处的距离测量而以使PSF变小的方式设定孔径部202a的直径。另外，在普通道路上行驶过程中需要还应对行人、小型车辆在前方突然闯入，所以还进行在图14中说明的基于孔径部202a的直径控制的PSF尺寸适当化处理。
另外，在处理S2002中，也可以根据处理S2001的判定结果，变更拍摄元件105中的像素中的在距离测量中使用的像素区域，例如在普通道路行驶中利用全部像素进行距离测量，在高速公路行驶中仅利用拍摄元件的一部分的像素进行距离测量。除此以外，也可以与交叉路口、弯道、直线等道路的形状对应地变更在距离测量中使用的像素区域。
在处理S2002中确定了距离测量模式之后，在处理S2003中进行在图13、图14中说明的距离测量处理，将与车辆周围的物体之间的距离信息利用于碰撞避免控制、自动驾驶控制。
在处理S2004中，再次判定汽车行驶模式，在处理S2005中，判定汽车行驶模式是否变化。在汽车行驶模式未变化的情况下(S2005/“否”)，返回到处理S2003，继续执行距离测量。在行驶模式变化的情况下(S2005/“是”)，在处理S2006中判定引擎是否停止，在引擎停止的情况下(S2006/“是”)，结束处理，在引擎未停止的情况下(S2006/“否”)，返回到处理S2002，重新选择与行驶状态对应的距离测量模式。
另外，本实施方式的距离测量装置101中得到的汽车周围的距离信息也可以在汽车中显示于在挡风玻璃显示影像的抬头显示器、车辆导航系统的影像显示画面等影像显示装置。例如，在显示于抬头显示器的情况下，可以将标志、距离信息重叠地显示于前方的车辆、行人，也可以使与碰撞的危险度高的对象物重叠的标志以与其他标志不同的颜色显示。另外，也可以根据与本车辆之间的距离变化推测对象物的移动速度而显示于影像显示部。
进而，也可以将各车辆测量出的距离信息发送到车辆导航系统等中心，进行整合，从而生成道路上的车辆、行人的高精度的位置信息，将生成信息发送到各车辆，显示于车辆导航系统的影像显示部、抬头显示器。
<第2实施方式>
本实施方式与第1实施方式的不同点在于，偏振光分离部由偏振光镜和偏振光控制元件构成。通过设为本结构，能够利用拍摄元件105的全部像素分别拍摄第1偏振光204的图像和第2偏振光205的图像，与第1实施方式的结构相比，无需插值处理，能够实现高分辨率化。
使用图7A、图7B说明本实施方式中的第1偏振光图像和第2图像的拍摄方法。图7A、图7B是示出本实施方式中的拍摄光学系统102和拍摄元件105的结构的一个例子的图。入射到拍摄光学系统102的入射光201向偏振光分离部104入射，透射偏振光控制元件702、偏振光镜701，透射偏振光分离部104。在透射偏振光分离部104之后，透射点扩散函数附加部103，被拍摄元件105拍摄。
偏振光镜701是提取随机地偏振的入射光201中的特定的偏振光分量的元件。偏振光控制元件702例如由液晶元件等构成，能够通过电压控制使透射偏振光控制元件702的光的偏振光向任意的方向旋转。因此，使透射偏振光镜701的光透射偏振光控制元件702，进行电压控制，从而能够将向点扩散函数附加部103入射的偏振光切换为偏振方向不同的第1偏振光204和第2偏振光205。
图7A示出以使透射偏振光控制元件702的光的偏振光成为第1偏振光204的方式控制偏振光控制元件702的情况下的拍摄光学系统102和拍摄元件105的结构。透镜203相对第1偏振光204作为焦距f1的透镜发挥功能，所以由拍摄元件105拍摄的像成为以焦距f1的透镜拍摄的图像。
图7B示出以使透射偏振光控制元件702的光的偏振光成为第2偏振光205的方式控制偏振光控制元件702的情况下的拍摄光学系统102和拍摄元件105的结构。透镜203相对第2偏振光205作为焦距f2(>f1)的透镜发挥功能，所以由拍摄元件105拍摄的像成为以焦距f2的透镜拍摄的图像。
通过设为以上的结构，能够拍摄模糊量不同的2个图像(与第1偏振光图像以及第2偏振光图像相当)，能够进行基于DFD法的对象物体的距离测量。另外，由于将第1偏振光图像和第2偏振光图像以2次区分地进行拍摄，所以在各图像拍摄时可使用的拍摄元件的像素数与第1实施方式相比增加到2倍，所以能够实现高分辨率化。
此外，本实施方式中的拍摄光学系统和拍摄元件的结构不限于以上的结构，例如也可以是图8所示的拍摄光学系统102和拍摄元件105的结构。在图8的结构中，偏振光分离部104配置于点扩散函数附加部103的后方，入射到偏振光分离部104的光在首先入射到偏振光控制元件702之后，向偏振光镜701入射，被拍摄元件105拍摄。通过以偏振光镜701仅使以焦距f1被汇聚的偏振光透射的方式控制偏振光控制元件702，拍摄元件105能够拍摄以焦距f1的透镜拍摄的图像，通过以偏振光镜701仅使以焦距f2被汇聚的偏振光透射的方式控制偏振光控制元件702，拍摄元件105能够拍摄以焦距f2的透镜拍摄的图像。
另外，偏振光分离部104不限于偏振光镜和偏振光控制元件的组合，例如也可以是能够控制透射的偏振光的方向的旋转式偏振光镜等。
<第3实施方式>
本实施方式与第1实施方式、第2实施方式的不同点在于，透镜203由具有旋光性的物质构成。通过设为本结构，能够放宽距离测量装置的制造时的透镜安装精度的范围，以及能够对于使用中的透镜保持部的松动所引起的透镜的旋转提高耐性。进而，还能够应对伴随透镜的旋转的缩放功能。
图9是示出本实施方式中的透镜203的结构的例子的图。此外，将入射光201的行进方向设为纸面垂直方向。构成透镜203的物质是旋光性的物质，在右圆偏振光与左圆偏振光之间呈不同的折射率。例如，在将相对右圆偏振光901的折射率设为n1、将相对左圆偏振光902的折射率设为n2、将透镜203的曲率半径设为R时，相对右圆偏振光的焦距成为式1的f1，相对左圆偏振光的焦距成为式2的f2。
因此，将基于右圆偏振光901的图像(第1偏振光图像)和基于左圆偏振光902的图像(第2偏振光图像)在通过偏振光分离部104分离之后用拍摄元件105进行拍摄，从而能够与第1实施方式、第2实施方式同样地拍摄模糊量不同的2个图像。偏振光分离部104例如可以是排列有仅使右圆偏振光透射的偏振光镜和仅使左圆偏振光透射的偏振光镜的偏振光镜阵列，也可以是在第1实施方式中记载的偏振光镜阵列的跟前处配置有1/4波长板的结构，还可以是第2实施方式中记载的液晶元件和偏振光镜组合配置的结构。
通过设为以上的结构，能够与第1实施方式、第2实施方式同样地，根据模糊量不同的2个图像测量与对象物体之间的距离。进而，本实施方式的透镜203利用了相对左右圆偏振光的双折射性，所以在透镜203以入射光201的行进方向为轴而旋转的情况下，焦距f1的图像和焦距f2的图像也不会被混合地拍摄，所以距离测量精度不会降低，能够放宽距离测量装置的制造时的透镜安装精度的范围，以及能够对于使用中的透镜保持部的松动所引起的透镜的旋转提高耐性。进而，还能够应对伴随透镜的旋转的缩放功能。
<第4实施方式>
本实施方式与第1实施方式、第2实施方式的不同点在于，在点扩散函数附加部103中不使用双折射透镜而使用偏振光依赖菲涅尔波带片1001、1002。通过设为本结构，能够使用薄型轻量的菲涅尔波带片对2个正交的偏振光附加不同的模糊量，所以能够实现装置的轻量化。另外，在第1实施方式～第3实施方式中，能够对2个正交的偏振光附加的模糊量的差受使用的双折射性物质的折射率差限制，但通过设为使用菲涅尔波带片的结构，能够任意地选择2个正交的偏振光的焦距的组合，能够增大附加的模糊量的差，所以能够提高距离测量的精度。
图10是示出本实施方式中的拍摄光学系统102和拍摄元件105的结构的例子的图。点扩散函数附加部103构成为包括孔径光阑202、偏振光依赖菲涅尔波带片1001以及偏振光依赖菲涅尔波带片1002。
菲涅尔波带片是将透明的波带和不透明的波带交替排列为同心圆状的图案，发挥使光汇聚的作用。用式5表示使波长λ的光以焦距f汇聚的菲涅尔波带片的第n个波带的半径rn。因此，取决于波带的间隔的设计，能够制作任意的焦距的菲涅尔波带片。
(式5)rn＝(nλf)^1/2…(5)
图11A、图11B示出本实施方式中的偏振光依赖菲涅尔波带片的结构的例子。图11A的偏振光依赖菲涅尔波带片1001是将遮挡第1偏振光204并使第2偏振光205透射的不透明波带1101和使第1偏振光204及第2偏振光205这两方透射的透明波带1102排列为同心圆状的结构。偏振光依赖菲涅尔波带片1001相对第2偏振光205透明，所以仅使第1偏振光204汇聚。
另一方面，图11B的偏振光依赖菲涅尔波带片1002是将使第1偏振光204透射并遮挡第2偏振光205的不透明波带1103和使第1偏振光204及第2偏振光205这两方透射的透明波带1102排列为同心圆状的结构。偏振光依赖菲涅尔波带片1002相对第1偏振光204透明，所以仅使第2偏振光205汇聚。构成偏振光依赖菲涅尔波带片1001、1002的不透明波带1101、1103例如利用偏振光镜、光子晶体等。
使偏振光依赖菲涅尔波带片1001的波带的第n个半径为偏振光依赖菲涅尔波带片1001的焦距成为f1，使偏振光依赖菲涅尔波带片1002的波带的第n个半径为偏振光依赖菲涅尔波带片1002的焦距成为f2，将偏振光依赖菲涅尔波带片1001和偏振光依赖菲涅尔波带片1002粘在一起而配置到点扩散函数附加部103时，如图10所示第1偏振光204以焦距f1被成像，第2偏振光205以焦距f2被成像，所以通过将第1偏振光204和第2偏振光205在通过偏振光分离部104分离之后用拍摄元件105进行拍摄，能够拍摄模糊量不同的2个图像，所以能够进行使用DFD法的与对象物体之间的距离测量。
通过设为以上的结构，能够不使用双折射性的透镜而使用薄型轻量的菲涅尔波带片对2个正交的偏振光附加不同的模糊量，所以能够实现装置的轻量化。另外，在第1实施方式～第3实施方式中，能够对2个正交的偏振光附加的模糊量的差受使用的双折射性物质的折射率差限制，但通过设为使用菲涅尔波带片的结构，能够任意地选择2个正交的偏振光的焦距的组合，能够增大附加的模糊量的差，所以能够提高距离测量的精度。
另外，偏振光依赖菲涅尔波带片1001、1002也可以使用代替不透明波带地配置有仅对第1偏振光204和第2偏振光205中的某一方附加与透射透明波带的光线之间的相位差的双折射性的波带的相位型偏振光依赖波带片。通过设为这样的结构，能够抑制在偏振光依赖菲涅尔波带片的不透明波带中产生的光强度的损失。
此外，在本实施方式中，偏振光分离部104中的第1偏振光204和第2偏振光205的偏振光分离方法可以使用第1实施方式中记载的方法，也可以使用第2实施方式中记载的方法。另外，在使用第2实施方式中记载的方法的情况下，也可以将偏振光分离部104配置于点扩散函数附加部103的跟前。另外，也可以不利用2个偏振光依赖菲涅尔波带片，而将一方设为通常的拍摄透镜。
<第5实施方式>
本实施方式与第1实施方式～第4实施方式的不同点在于，通过使用偏振光依赖孔径将2个正交的偏振光分别以不同的尺寸的孔径缩小而对2个正交的偏振光附加不同的模糊量。通过设为本结构，实现点扩散函数附加部103的薄型化、轻量化、低成本化。另外，仅变更孔径部202a、偏振光依赖孔径部1201a的直径，就能够关于第1偏振光204和第2偏振光205的图像的模糊量的差进行任意地偏振，能够根据使用目的控制测距精度。
图12是示出本实施方式中的拍摄光学系统102和拍摄元件105的结构的例子的图。点扩散函数附加部103构成为包括孔径光阑202、偏振光依赖孔径光阑1201以及透镜203。偏振光依赖孔径光阑1201例如形成圆形的偏振光依赖孔径部1201a，该偏振光依赖孔径部1201a在从中心起直径D0’的范围内使第1偏振光204和第2偏振光205这两方透射，对于比其外侧的入射光遮挡第1偏振光204并使第2偏振光205透射。此外，设为偏振光依赖孔径部1201a的孔径直径D0’小于孔径部202a的孔径直径D0。
另外，透镜203无需使用双折射性的物质，相对第1偏振光204和第2偏振光205这两方作为焦距f的透镜发挥功能。
入射到拍摄光学系统102的入射光201中的第1偏振光204的光线被孔径部202a缩小为孔径直径D0之后，被偏振光依赖孔径部1201a缩小为孔径直径D0’。之后，第1偏振光204在透镜203被汇聚，透射偏振光分离部104之后被拍摄元件105拍摄。在使用D0’、透镜203与对象物体的距离u、透镜203与拍摄元件105之间的距离s以及f时，能够用式6表示第1偏振光204的点扩散函数的直径D1。
另一方面，入射到拍摄光学系统102的入射光201中的第2偏振光205的光线被孔径部202a缩小为孔径直径D0之后，透射偏振光依赖孔径部1201a而孔径直径不变化。之后，第2偏振光205在透镜203被汇聚，透射偏振光分离部104之后被拍摄元件105拍摄。在使用D0、透镜203与对象物体的距离u、透镜203与拍摄元件105之间的距离s以及透镜203的焦距f时，能够用式7表示第2偏振光205的点扩散函数的直径D2。
(式6)D1＝sD0’(1/f-1/u-1/s)…(6)
(式7)D2＝sD0(1/f-1/u-1/s)…(7)
通过设为以上的结构，通过将第1偏振光204和第2偏振光205在用偏振光分离部104分离之后用拍摄元件105进行拍摄，能够拍摄模糊量不同的2个图像，所以能够进行使用DFD法的与对象物体之间的距离测量。在本实施方式中，不使用在第1实施方式～第3实施方式中使用的双折射性的透镜，而使用利用基于偏振光镜的圆形孔径的偏振光依赖孔径光阑1201，所以能够使点扩散函数附加部103薄型、轻量化。另外，本实施方式的偏振光依赖孔径光阑1201是比第4实施方式的偏振光依赖菲涅尔波带片更简单的构造，能够减少制造成本。另外，对于孔径光阑202使用利用已述的光阑驱动部206使可动叶片开闭的所谓机械式孔径光阑，使孔径部202a形成为可变孔径，从而仅变更孔径直径D0的尺寸，就能够关于第1偏振光204和第2偏振光205的图像的模糊量的差进行任意地偏振，能够根据使用目的控制测距精度。
上述各实施方式并不限定本发明，不脱离本发明的要旨的各种变更方案包含于本发明。例如，拍摄的光的波长不限于可见光，可以是比红外线长的波长的电磁波，也可以是比紫外线短的波长的电磁波。另外，点扩散函数赋予部和偏振光分离部的组合也不限定于上述记载。另外，上述流程图中记载的处理顺序是一个例子，针对交换了处理的顺序仍能够得到同样的作用效果的处理将其前后交换的实施方案也包含于本发明。进而，参照图15至图21说明的本发明的应用例不仅能够应用于第1实施方式的距离测量装置，还能够应用于第2实施方式～第5实施方式的距离测量装置。

Claims (10)

1.一种距离测量装置，根据多个图像，测量与被拍摄于该图像的拍摄对象相距的距离，其特征在于，具备：
拍摄光学系统；
一个拍摄元件，拍摄来自所述拍摄光学系统的入射光；以及
距离测量部，根据所述拍摄元件拍摄的多个图像，测量从所述拍摄元件至所述拍摄对象的距离，
所述拍摄光学系统包括偏振光分离部和点扩散函数附加部，该偏振光分离部使具有第1偏振方向的第1偏振光和具有与所述第1偏振方向大致正交的第2偏振方向的第2偏振光分离而向所述拍摄元件入射，该点扩散函数附加部对所述第1偏振光附加第1点扩散函数，对所述第2偏振光附加与所述第1点扩散函数不同的第2点扩散函数，
所述拍摄元件接受所述第1偏振光而拍摄第1偏振光图像，并且接受所述第2偏振光而拍摄第2偏振光图像，
所述距离测量部根据所述第1偏振光图像以及所述第2偏振光图像，测量与所述拍摄对象之间的距离，
所述点扩散函数附加部包括透镜，该透镜由相对所述第1偏振光和所述第2偏振光分别具有不同的折射率的双折射性的物质构成，
所述透镜作为相对所述第1偏振光和所述第2偏振光而不同的焦距的透镜发挥功能，
所述透镜由在左右圆偏振光之间呈双折射性的旋光性的物质构成，
所述第1偏振光是所述透镜的左右圆偏振光中的一方，所述第2偏振光是所述透镜的左右圆偏振光中的另一方。
2.一种距离测量装置，根据多个图像，测量与被拍摄于该图像的拍摄对象相距的距离，其特征在于，具备：
拍摄光学系统；
一个拍摄元件，拍摄来自所述拍摄光学系统的入射光；以及
距离测量部，根据所述拍摄元件拍摄的多个图像，测量从所述拍摄元件至所述拍摄对象的距离，
所述拍摄光学系统包括偏振光分离部和点扩散函数附加部，该偏振光分离部使具有第1偏振方向的第1偏振光和具有与所述第1偏振方向大致正交的第2偏振方向的第2偏振光分离而向所述拍摄元件入射，该点扩散函数附加部对所述第1偏振光附加第1点扩散函数，对所述第2偏振光附加与所述第1点扩散函数不同的第2点扩散函数，
所述拍摄元件接受所述第1偏振光而拍摄第1偏振光图像，并且接受所述第2偏振光而拍摄第2偏振光图像，
所述距离测量部根据所述第1偏振光图像以及所述第2偏振光图像，测量与所述拍摄对象之间的距离，
所述点扩散函数附加部包括：
第1菲涅尔波带片，以同心圆状排列有遮挡所述第1偏振光并使所述第2偏振光透射的偏振光镜和使所述第1偏振光和第2偏振光透射的透射区域；以及
第2菲涅尔波带片，以同心圆状排列有使所述第1偏振光透射并遮挡所述第2偏振光的偏振光镜和使所述第1偏振光和所述第2偏振光透射的透射区域，
所述第1菲涅尔波带片的焦距和第2菲涅尔波带片的焦距不同。
3.根据权利要求1或2所述的距离测量装置，其特征在于，
所述偏振光分离部具有配置有至少1个以上的第1偏振光镜和至少1个以上的第2偏振光镜的偏振光镜阵列，
所述第1偏振光镜是使所述第1偏振光透射并遮挡所述第2偏振光的偏振光镜，
所述第2偏振光镜是使所述第2偏振光透射并遮挡所述第1偏振光的偏振光镜，
所述拍摄元件在一次拍摄中一部分的像素接受透射所述第1偏振光镜后的所述第1偏振光，剩余的像素接受透射所述第2偏振光镜后的所述第2偏振光。
4.根据权利要求1或2所述的距离测量装置，其特征在于，
所述偏振光分离部包括：
偏振光镜，提取包含于所述入射光的所述第1偏振光及所述第2偏振光；以及
偏振光控制元件，向所述拍摄元件切换使所述第1偏振光或者所述第2偏振光中的某一个偏振光向所述拍摄元件透射，
所述拍摄元件在所述偏振光控制元件使所述第1偏振光透射时拍摄所述第1偏振光图像，在所述偏振光控制元件使所述第2偏振光透射时拍摄所述第2偏振光图像。
5.根据权利要求1或2所述的距离测量装置，其特征在于，
所述距离测量部根据所述第1点扩散函数和所述第2点扩散函数的差，测量与所述拍摄对象相距的距离。
6.根据权利要求1或2所述的距离测量装置，其特征在于，
所述点扩散函数附加部包括形成孔径部且非孔径部根据偏振方向而进行遮光或者透射的偏振光依赖孔径光阑，所述第1偏振光或者所述第2偏振光的一方透射所述孔径部以及所述非孔径部，另一方仅透射所述孔径部且在所述非孔径部中进行遮光。
7.一种头戴式显示器装置，其特征在于，具备：
权利要求1至6中的任意一项所述的距离测量装置；以及
控制部，从所述距离测量装置取得操作信号，进行操作控制，
所述距离测量装置从在第1拍摄中对作为所述拍摄对象的用户的手的手指进行拍摄而得到的所述第1偏振光图像以及所述第2偏振光图像中，抽出所述手指的特征点而取得三维坐标，从在所述第1拍摄之后进行的第2拍摄中得到的所述第1偏振光图像以及所述第2偏振光图像中，抽出所述手指的特征点而取得三维坐标，根据在所述第1拍摄中得到的特征点的三维坐标和在所述第2拍摄中得到的特征点的三维坐标的差，计算所述特征点的移动量，向所述控制部输出包含移动量的所述操作信号，
所述控制部执行基于所述操作信号的操作控制。
8.一种便携信息终端，其特征在于，具备：
权利要求1至6中的任意一项所述的距离测量装置；以及
控制部，从所述距离测量装置取得操作信号，进行操作控制，
所述距离测量装置从在第1拍摄中对作为所述拍摄对象的用户的手的手指进行拍摄而得到的所述第1偏振光图像以及所述第2偏振光图像中，抽出所述手指的特征点而取得三维坐标，从在所述第1拍摄之后进行的第2拍摄中得到的所述第1偏振光图像以及所述第2偏振光图像中，抽出所述手指的特征点而取得三维坐标，根据在所述第1拍摄中得到的特征点的三维坐标和在所述第2拍摄中得到的特征点的三维坐标的差，计算所述特征点的移动量，向所述控制部输出包含移动量的所述操作信号，
所述控制部执行基于所述操作信号的操作控制。
9.一种影像显示装置，其特征在于，具备：
权利要求1至6中的任意一项所述的距离测量装置；以及
影像显示部，显示影像，
所述距离测量装置从在第1拍摄中对作为所述拍摄对象的用户的手的手指进行拍摄而得到的所述第1偏振光图像以及所述第2偏振光图像中，抽出所述手指的特征点而取得三维坐标，从在所述第1拍摄之后进行的第2拍摄中得到的所述第1偏振光图像以及所述第2偏振光图像中，抽出所述手指的特征点而取得三维坐标，根据在所述第1拍摄中得到的特征点的三维坐标和在所述第2拍摄中得到的特征点的三维坐标的差，计算所述特征点的移动量，
所述影像显示部进行反映了所述特征点的移动量的显示图像的更新。
10.一种汽车的周边监视系统，其特征在于，具备：
权利要求1至6中的任意一项所述的距离测量装置；以及
控制部，接受汽车的速度信息的输入，判定所述汽车的行驶模式，
包含于所述距离测量装置的所述拍摄元件拍摄将处于所述汽车的周边的物体作为所述拍摄对象的所述第1偏振光图像以及所述第2偏振光图像，所述距离测量部根据所述行驶模式变更测量的距离范围，根据所述第1偏振光图像以及所述第2偏振光图像测量与所述物体相距的距离。
CN201780087953.8A 2017-03-08 2017-03-08 距离测量装置、头戴式显示器装置、便携信息终端、影像显示装置、周边监视系统 Active CN110392818B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/009306 WO2018163335A1 (ja) 2017-03-08 2017-03-08 距離計測装置、ヘッドマウントディスプレイ装置、携帯情報端末、映像表示装置、周辺監視システム、及び距離計測方法

Publications (2)

Publication Number Publication Date
CN110392818A CN110392818A (zh) 2019-10-29
CN110392818B true CN110392818B (zh) 2021-11-09

Family

ID=63448611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780087953.8A Active CN110392818B (zh) 2017-03-08 2017-03-08 距离测量装置、头戴式显示器装置、便携信息终端、影像显示装置、周边监视系统

Country Status (4)

Country Link
US (1) US11422372B2 (zh)
JP (1) JP6756898B2 (zh)
CN (1) CN110392818B (zh)
WO (1) WO2018163335A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11348269B1 (en) * 2017-07-27 2022-05-31 AI Incorporated Method and apparatus for combining data to construct a floor plan
CN111175769B (zh) * 2020-02-14 2022-05-27 深圳奥锐达科技有限公司 一种离轴扫描距离测量系统
CN112595674A (zh) * 2020-11-20 2021-04-02 江西欧迈斯微电子有限公司 接收器、取像模组及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4758070A (en) * 1985-05-31 1988-07-19 Canon Kabushiki Kaisha Variable focal length lens
JP2010016743A (ja) * 2008-07-07 2010-01-21 Olympus Corp 測距装置、測距方法、測距プログラム又は撮像装置
JP2013108990A (ja) * 2012-12-13 2013-06-06 Konica Minolta Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2014013146A (ja) * 2012-07-03 2014-01-23 Canon Inc ３次元計測装置及びロボット装置
JP2015034732A (ja) * 2013-08-08 2015-02-19 キヤノン株式会社 距離算出装置、撮像装置および距離算出方法
WO2016208215A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ及びユーザインタフェース装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007205918A (ja) * 2006-02-02 2007-08-16 Olympus Corp 計測内視鏡
JP5848177B2 (ja) 2012-03-27 2016-01-27 日本放送協会 多重フォーカスカメラ
JP2015046777A (ja) * 2013-08-28 2015-03-12 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP6391316B2 (ja) * 2014-06-25 2018-09-19 キヤノン株式会社 撮像装置
JP2016148569A (ja) * 2015-02-12 2016-08-18 キヤノン株式会社 画像測定方法、及び画像測定装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4758070A (en) * 1985-05-31 1988-07-19 Canon Kabushiki Kaisha Variable focal length lens
JP2010016743A (ja) * 2008-07-07 2010-01-21 Olympus Corp 測距装置、測距方法、測距プログラム又は撮像装置
JP2014013146A (ja) * 2012-07-03 2014-01-23 Canon Inc ３次元計測装置及びロボット装置
JP2013108990A (ja) * 2012-12-13 2013-06-06 Konica Minolta Inc 障害物計測方法、障害物計測装置及び障害物計測システム
JP2015034732A (ja) * 2013-08-08 2015-02-19 キヤノン株式会社 距離算出装置、撮像装置および距離算出方法
WO2016208215A1 (ja) * 2015-06-24 2016-12-29 株式会社村田製作所 距離センサ及びユーザインタフェース装置

Also Published As

Publication number Publication date
US20210132382A1 (en) 2021-05-06
JPWO2018163335A1 (ja) 2019-11-21
US11422372B2 (en) 2022-08-23
WO2018163335A1 (ja) 2018-09-13
JP6756898B2 (ja) 2020-09-16
CN110392818A (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
US10455218B2 (en) Systems and methods for estimating depth using stereo array cameras
US9414045B2 (en) Stereo camera
CA2811260C (en) Camera imaging systems and methods
US9294755B2 (en) Correcting frame-to-frame image changes due to motion for three dimensional (3-D) persistent observations
US20150145950A1 (en) Multi field-of-view multi sensor electro-optical fusion-zoom camera
US20180137607A1 (en) Processing apparatus, imaging apparatus and automatic control system
JP6599058B2 (ja) 表示制御装置、表示システムおよび表示制御方法
CN110392818B (zh) 距离测量装置、头戴式显示器装置、便携信息终端、影像显示装置、周边监视系统
US10992920B2 (en) Stereo image processing device
WO2013047627A1 (ja) 画像取得装置
US20210389551A1 (en) Camera actuator and camera module comprising same
US20230017668A1 (en) Mobile communication terminal
JP7288226B2 (ja) 測距カメラ
KR20150068545A (ko) 복합 영상 센싱 시스템
JP5802516B2 (ja) 画像取得装置
JP6202364B2 (ja) ステレオカメラ及び移動体
US11689708B2 (en) Multi-aperture zoom digital cameras and methods of using same
CN111258166B (zh) 摄像模组及其潜望式摄像模组和图像获取方法及工作方法
KR100851576B1 (ko) 3안 광학장치
US11513266B2 (en) Systems and methods for an improved camera system using directional optics to estimate depth
JP7446455B2 (ja) 位置情報取得システム、位置情報取得方法、および位置情報取得装置
CN210431565U (zh) 车载摄像头模组和车载电子设备
CN115128574A (zh) 摄像装置、摄像方法及摄像识别设备
CN111147698A (zh) 车载摄像头模组和车载电子设备
Christodoulou Overview: 3D stereo vision camera-sensors-systems, advancements, and technologies

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: Kyoto, Japan

Patentee after: MAXELL, Ltd.

Address before: Kyoto, Japan

Patentee before: MAXELL HOLDINGS, Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211110

Address after: Kyoto, Japan

Patentee after: MAXELL HOLDINGS, Ltd.

Address before: Kyoto, Japan

Patentee before: MAXELL, Ltd.