CN108076267A - 摄像装置、摄像系统以及距离信息获取方法 - Google Patents

摄像装置、摄像系统以及距离信息获取方法 Download PDF

Info

Publication number
CN108076267A
CN108076267A CN201710801514.0A CN201710801514A CN108076267A CN 108076267 A CN108076267 A CN 108076267A CN 201710801514 A CN201710801514 A CN 201710801514A CN 108076267 A CN108076267 A CN 108076267A
Authority
CN
China
Prior art keywords
image
distance
photographic device
filtered region
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710801514.0A
Other languages
English (en)
Inventor
三岛直
森内优介
三田雄志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017139402A external-priority patent/JP2018084571A/ja
Application filed by Toshiba Corp filed Critical Toshiba Corp
Publication of CN108076267A publication Critical patent/CN108076267A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Processing (AREA)

Abstract

本发明的实施方式涉及一种处理装置、摄像装置、自动控制系统、摄像系统以及距离信息获取方法。本发明提供一种能够进行与从影像获得的到被摄体的距离的可靠度有关的输出和控制的处理装置、摄像装置、自动控制系统、摄像系统以及距离信息获取方法。根据实施方式，处理装置具备获取部、距离算出部及可靠度算出部。所述获取部获取包含对称的第1点扩散函数所示的形状的散景的被摄体的第1影像和包含不对称的第2点扩散函数所示的形状的散景的所述被摄体的第2影像。所述距离算出部根据所述第1点扩散函数与所述第2点扩散函数的相关来算出到所述被摄体的距离。所述可靠度算出部根据所述相关的程度来算出所述距离的可靠度。

Description

摄像装置、摄像系统以及距离信息获取方法
本申请为下述申请的分案申请，
原申请的申请日：2017年8月31日，
原申请的申请号：201710771177.5，
原申请的发明名称：处理装置以及摄像装置。
本申请以日本专利申请(2016-220642)(申请日：2016年11月11日)及日本专利申请(2017-139402)(申请日：2017年7月18日)为基础，自该申请享受优先权。本申请通过参考该申请而包含该申请的全部内容。
技术领域
本发明的实施方式涉及一种处理装置、摄像装置、自动控制系统、摄像系统以及距离信息获取方法。
背景技术
同时获取拍摄影像和距离信息的方法为人所知。
但是，无法进行到被摄体的距离的可靠度有关的输出和控制。此外，根据被摄体中所包含的边缘的方向的不同，有时无法求出到被摄体的距离。
发明内容
本发明的目的在于提供一种能够进行与从影像获得的到被摄体的距离的可靠度有关的输出和控制的处理装置、摄像装置以及自动控制系统。
本发明的另一目的在于提供一种不论被摄体中所包含的边缘的方向如何均能求出到被摄体的距离的摄像装置、摄像系统以及距离信息获取方法。
根据一实施方式，处理装置具备获取部、距离算出部及可靠度算出部。所述获取部获取包含对称的第1点扩散函数所示的形状的散景的被摄体的第1影像和包含不对称的第2点扩散函数所示的形状的散景的所述被摄体的第2影像。所述距离算出部根据所述第1点扩散函数与所述第2点扩散函数的相关来算出到所述被摄体的距离。所述可靠度算出部根据所述相关的程度来算出所述距离的可靠度。
根据另一实施方式，摄像装置具备：摄像机，其在开口部配备有至少包含第1滤光区域和第2滤光区域的滤光片；以及设置单元，其以将表示铅垂方向的直线投影在所述滤光片上而得的第1直线与表示所述滤光片的第1滤光区域与第2滤光区域的分割方向的第2直线不平行的方式设置所述摄像机。
根据上述构成的处理装置，能够进行到被摄体的距离的可靠度有关的输出和控制。
根据上述构成的摄像装置，不论被摄体中所包含的边缘的方向如何均能求出到被摄体的距离。
附图说明
图1为表示实施方式的摄像装置的硬件构成例的框图。
图2为表示实施方式的滤光片的构成例的图。
图3为表示实施方式的滤光区域的透过率特性的一例的图。
图4为用以说明由实施方式的彩色开口所引起的光线变化、散景的形状的图。
图5为表示实施方式的摄像装置的功能构成例的框图。
图6为表示实施方式的基准影像的点扩散函数的一例的图。
图7为表示实施方式的对象影像的点扩散函数的一例的图。
图8为表示实施方式的散景修正滤波器的一例的图。
图9为用以说明实施方式中的可靠度算出处理的第1图。
图10为用以说明实施方式中的可靠度算出处理的第2图。
图11为用以说明实施方式中的可靠度算出处理的第3图。
图12为用以说明实施方式中的可靠度算出处理的第4图。
图13为用以说明立体匹配中的距离和相关值的图。
图14为用以说明实施方式中的相关函数的曲率的算出方法的一例的图。
图15为表示实施方式中的距离和距离的可靠度的输出形式的一例的图。
图16为表示实施方式中的距离和距离的可靠度的输出形式的另一例的图。
图17为表示实施方式中的影像处理的流程的一例的流程图。
图18为表示实施方式的机器人的功能构成例的框图。
图19为用以说明实施方式的机器人中的基于距离的可靠度的一动作例的图。
图20为表示实施方式的移动体的功能构成例的框图。
图21为用以说明实施方式的移动体中的基于距离的可靠度的一动作例的第1图。
图22为用以说明实施方式的移动体中的基于距离的可靠度的一动作例的第2图。
图23为表示实施方式的监视系统的功能构成例的框图。
图24为用以说明实施方式的监视系统中的基于距离的可靠度的一处理例的图。
图25为用以说明实施方式的监视系统中的基于距离的一处理例的图。
图26为表示实施方式的监视系统中的距离的一提示例的图。
图27为表示实施方式的监视系统中的消息的一显示例的图。
图28为表示第2实施方式的摄像装置的设置例的图。
图29A为表示第2实施方式的摄像装置的转动的一例的图。
图29B为表示第2实施方式的摄像装置的转动的一例的图。
图30为表示第2实施方式的系统的电性构成的一例的框图。
图31为表示第2实施方式的系统的距离算出、显示控制用的功能构成的一例的框图。
图32为表示由第2实施方式的摄像装置拍摄的被摄体的一例的图。
图33A为表示第2实施方式的摄像装置的彩色滤光片的一例的图。
图33B为表示第2实施方式的摄像装置的彩色滤光片的一例的图。
图34A为表示第2实施方式的摄像装置的彩色滤光片的第1变形例的图。
图34B为表示第2实施方式的摄像装置的彩色滤光片的第1变形例的图。
图35A为表示第2实施方式的摄像装置的彩色滤光片的第2变形例的图。
图35B为表示第2实施方式的摄像装置的彩色滤光片的第2变形例的图。
图36为表示第2实施方式的摄像装置的彩色滤光片的第3变形例的图。
图37A为表示第2实施方式的摄像装置的彩色滤光片的第4变形例的图。
图37B为表示第2实施方式的摄像装置的彩色滤光片的第4变形例的图。
图38为表示第3实施方式的摄像装置的设置例的图。
图39A为表示第3实施方式的摄像装置的转动的一例的图。
图39B为表示第3实施方式的摄像装置的转动的一例的图。
图40A为表示第3实施方式的摄像装置中的第1、第2主轴的一例的图。
图40B为表示第3实施方式的摄像装置中的第1、第2主轴的一例的图。
图41为表示实施方式的第1应用例的监视系统的功能构成的一例的框图。
图42为表示监视系统的使用例的图。
图43为表示实施方式的第2应用例的自动门系统的功能构成的一例的图。
图44A为表示自动门系统的动作例的图。
图44B为表示自动门系统的动作例的图。
图45为表示自动门系统的变形例的车门开闭系统的一例的图。
图46为表示实施方式的第3应用例的移动体控制系统的功能构成的一例的框图。
图47为表示作为第3应用例的移动体的一例的机器人的图。
图48为表示第3应用例的移动体为无人机的情况下的功能构成的一例的框图。
图49为表示第3应用例的移动体为汽车的情况下的功能构成的一例的框图。
符号说明
10滤光片，11第1滤光区域，12第2滤光区域，20透镜，30影像传感器，40 CPU，41处理部，50 RAM，60存储卡槽，70显示器，80通信部，90非易失性存储器，100摄像装置，110总线，200机器人，201控制部，202驱动机构，203转动机构，300移动体，301控制部，302驱动机构，400监视系统，401控制部，402用户界面部，411影像获取部，412距离算出部，413可靠度算出部，414输出部，502摄像装置，504彩色开口。
具体实施方式
下面，参考附图，对实施方式进行说明。
第1实施方式
图1为表示实施方式的摄像装置的硬件构成例的框图。该摄像装置100具有拍摄影像并对拍摄到的影像进行处理的功能。该摄像装置100例如能够以摄像机、具有摄像功能的手机或智能手机、PDA(Personal Digital Assistant,Personal Data Assistant，个人数字助理，个人数据助理)等移动信息终端、具有摄像功能的个人计算机、或者各种电子设备中内置的嵌入式系统的形式实现。
如图1所示，摄像装置100例如具备滤光片10、透镜20、影像传感器30、影像处理部及存储部。影像处理部例如由CPU 40等电路构成。存储部例如由RAM 50、非易失性存储器90构成。摄像装置100还可具备存储卡槽60、显示器70及通信部80。例如，影像传感器30、CPU40、RAM 50、存储卡槽60、显示器70、通信部80及非易失性存储器90可以经由总线110而相互连接。
影像传感器30接收透过滤光片10及透镜20之后的光，并将接收到的光转换为电信号(进行光电转换)，由此生成影像。影像传感器30例如使用CCD(Charge Coupled Device，电荷耦合元件)、CMOS(Complementary Metal Oxide Semiconductor，互补性氧化金属半导体)。影像传感器30例如具备接收红色(R)光的摄像元件(第1传感器31)、接收绿色(G)光的摄像元件(第2传感器32)以及接收蓝色(B)光的摄像元件(第3传感器33)。各摄像元件接收对应的波段的光，并将接收到的光转换为电信号。能够通过对该电信号进行A/D转换来生成彩色影像。再者，也能使用红、绿、蓝色的每一摄像元件的电信号来分别生成R影像、G影像、B影像。也就是说，能够同时生成彩色影像、R影像、G影像、B影像。换句话说，摄像装置100在一次拍摄中能够获得彩色影像、R影像、G影像、B影像。
CPU 40是控制摄像装置100内的各种组件的动作的处理器。CPU 40执行从作为存储装置的非易失性存储器90加载至RAM 50的各种程序。非易失性存储器90中还能存储由影像传感器30生成的影像、该影像的处理结果。
存储卡槽60中可以插入SD存储卡、SDHC存储卡这样的各种移动式存储介质。在存储卡槽60中插入有存储介质的情况下，能够执行对该存储介质的数据的写入及读出。数据例如为影像数据、距离数据。
显示器70例如为LCD(Liquid Crystal Display，液晶显示器)。显示器70根据由CPU 40等生成的显示信号来显示画面影像。再者，显示器70也可为触摸屏显示器。在该情况下，例如在LCD的上表面配置触控面板。触控面板是用以在LCD的画面上进行输入的静电电容式指示装置。手指接触的画面上的接触位置以及接触位置的动作等被触控面板检测到。
通信部80是构成为执行有线通信或无线通信的接口设备。通信部80包含有线或无线发送信号的发送部和有线或无线接收信号的接收部。
图2为表示滤光片10的构成例的图。滤光片10例如由两种颜色的彩色滤光区域即第1滤光区域11和第2滤光区域12构成。滤光片10的中心与摄像装置100的光学中心13一致。第1滤光区域11及第2滤光区域12分别具有相对于光学中心13非点对称的形状。此外，例如各滤光区域11、12不重复，且由2个滤光区域11、12构成滤光区域的整个区域。在图2所示的例子中，第1滤光区域11及第2滤光区域12分别具有圆形的滤光片10被穿过光学中心13的线段分割而成的半圆形状。此外，第1滤光区域11例如为黄色(Y)滤光区域，第2滤光区域12例如为青色(C)滤光区域。
滤光片10具有2个以上的彩色滤光区域。彩色滤光区域分别相对于摄像装置的光学中心为不对称的形状。一彩色滤光区域所透过的光的波段的一部分与另一彩色滤光区域所透过的光的波段的一部分例如重复。一彩色滤光区域所透过的光的波段例如也可包含另一彩色滤光区域所透过的光的波段。下面，使用图2的滤光片10作为例子进行说明。
通过将这种滤光片10配置在摄像机的开口部，构成以两种颜色将开口部一份为二而成的结构开口的彩色开口。影像传感器30根据透过该彩色开口的光线来生成影像。可在入射至影像传感器30的光的光路上、在滤光片10与影像传感器30之间配置透镜20。也可在入射至影像传感器30的光的光路上、在透镜20与影像传感器30之间配置滤光片10。在设置多个透镜20的情况下，滤光片10也可配置在两个透镜20之间。
更详细而言，与第2传感器32相对应的波段的光透过黄色的第1滤光区域11和青色的第2滤光区域12两方。与第1传感器31相对应的波段的光透过黄色的第1滤光区域11、不透过青色的第2滤光区域12。与第3传感器33相对应的波段的光透过青色的第2滤光区域12、不透过黄色的第2滤光区域12。
再者，所谓某一波段的光透过滤光片或滤光区域，意指滤光片或滤光区域以高透过率透过该波段的光、由该滤光片或滤光区域所引起的该波段的光的衰减(即，光量的降低)极小。此外，所谓某一波段的光不透过滤光片或滤光区域，意指被光被滤光片或滤光区域遮蔽，例如滤光片或滤光区域以低透过率透过该波段的光、由该滤光片或滤光区域所引起的该波段的光的衰减极大。例如，滤光片或滤光区域通过吸收某一波段的光而使光衰减。
图3为表示第1滤光区域11及第2滤光区域12的透过率特性的例子的图。如图3所示，在黄色的第1滤光区域11的透过率特性21中，以高透过率透过与R影像及G影像相对应的波段的光，几乎未透过与B影像相对应的波段的光。此外，在青色的第2滤光区域12的透过率特性22中，以高透过率透过与B影像及G影像相对应的波段的光，几乎未透过与R影像相对应的波段的光。
因而，与R影像相对应的波段的光仅透过黄色的第1滤光区域11，与B影像相对应的波段的光仅透过青色的第2滤光区域12，因此，R影像及B影像上的散景的形状根据到被摄体的距离d、更详细而言是根据距离d与对焦距离df的差分而发生变化。此外，由于各滤光区域相对于光学中心为不对称的形状，因此，R影像及B影像上的散景的形状根据被摄体是处于对焦距离df的近前还是远处而不同。即，R影像及B影像上的散景的形状发生了偏置。
参考图4，对由配置有滤光片10的彩色开口所引起的光线变化、散景的形状进行说明。
在被摄体15处于对焦距离df的远处的情况下(d＞df)，由影像传感器30拍摄到的影像中产生散景。表示该影像上的散景的形状的点扩散函数(PSF：Point Spread Function)在R影像、G影像及B影像中各不相同。即，R影像的点扩散函数101R表现出偏左侧的散景的形状，G影像的点扩散函数101G表现出无偏置的散景的形状，B影像的点扩散函数101B表现出偏右侧的散景的形状。
在被摄体15处于对焦距离df的情况下(d＝df)，由影像传感器30拍摄到的影像中几乎不产生散景。表示该影像上的散景的形状的点扩散函数在R影像、G影像及B影像中大致相同。即，R影像的点扩散函数102R、G影像的点扩散函数102G以及B影像的点扩散函数102B表现出无偏置的散景的形状。
在被摄体15处于对焦距离df的近前的情况下(d＜df)，由影像传感器30拍摄到的影像中产生散景。表示该影像上的散景的形状的点扩散函数在R影像、G影像及B影像中各不相同。即，R影像的点扩散函数103R表现出偏右侧的散景的形状，G影像的点扩散函数103G表现出无偏置的散景的形状，B影像的点扩散函数103B表现出偏左侧的散景的形状。
在本实施方式中，利用这种特性来算出到被摄体的距离。
图5为表示摄像装置100的功能构成例的框图。
如图5所示，摄像装置100除了具备前文所述的滤光片10、透镜20及影像传感器30以外，还具备影像处理部41。滤光片10到影像传感器30的箭头表示光的路径。影像传感器30到影像处理部41的箭头表示电信号的路径。影像处理部41例如具备影像获取部411、距离算出部412、可靠度算出部413及输出部414。影像处理部41的一部分或全部能以软件(程序)来实现，也能以硬件电路来实现。
影像获取部411获取点扩散函数(Point spread function，PSF)表现出无偏置的散景的形状的G影像作为基准影像。此外，获取点扩散函数表现出偏置散景的形状的R影像及B影像中的一方或两方作为对象影像。例如，对象影像和基准影像是由一摄像装置于同一时刻拍摄到的影像。
距离算出部412通过求多个散景修正滤波器中的、若附加至对象影像则与基准影像的相关变得更高的散景修正滤波器来算出到映照在影像中的被摄体的距离。距离算出部412也可进而利用算出的距离来输出距离影像。多个散景修正滤波器是对对象影像附加互不相同的散景的函数。此处，首先对由距离算出部412进行的距离算出处理的详情进行说明。
距离算出部412根据获取到的对象影像和基准影像，对对象影像附加不同散景，由此生成对象影像的散景形状经修正而得的修正影像。在本实施方式中，使用假定到映照在影像中的被摄体的距离为任意距离而制作的多个散景修正滤波器，生成对象影像的散景形状经修正而得的修正影像，并求修正影像与基准影像的相关更高的距离，由此算出到被摄体的距离。再者，关于计算修正影像与基准影像的相关的方法，将于后文叙述。
拍摄影像的点扩散函数由摄像装置100的开口形状和被摄体的位置与焦点位置的距离决定。图6为表示实施方式的基准影像的点扩散函数的一例的图。如图6所示，与第2传感器相对应的波段所透过的开口形状为点对称形的圆形状，因此点扩散函数所表示的散景的形状在焦点位置的前后无变化，散景幅度根据被摄体与焦点位置之间的距离的大小而变化。表示这种散景的形状的点扩散函数能以散景幅度根据被摄体的位置与焦点位置之间的距离的大小而变化的高斯函数的形式表达。再者，点扩散函数也能以散景幅度根据被摄体的位置与焦点位置的距离而变化的抛物柱面函数的形式表达。
另一方面，图7为表示实施方式的对象影像的点扩散函数的一例的图。再者，各图的中心(x0,y0)＝(0,0)。如图7所示，在被摄体处于焦点位置的远处的d＞df的情况下，对象影像(例如R影像)的点扩散函数能以在x＞0中因第1滤光区域11内的光衰减而导致散景幅度衰减的高斯函数的形式表达。此外，在被摄体处于焦点位置的近处的d＜df的情况下，对象影像(例如R影像)的点扩散函数能以在x＜0中因第1滤光区域11内的光衰减而导致散景幅度衰减的高斯函数的形式表达。
此外，通过对基准影像的点扩散函数和对象影像的点扩散函数进行解析，可求出用以将对象影像的散景形状修正为基准影像的散景形状的多个散景修正滤波器。
图8为表示实施方式的散景修正滤波器的一例的图。再者，图8所示的散景修正滤波器是使用图2所示的滤光片10的情况下的散景修正滤波器。如图8所示，散景修正滤波器分布在穿过第1滤光区域11与第2滤光区域12的交界的线段的中心点、且正交于该线段的直线上(直线附近)。其分布是设想的每一距离下的峰点(直线上的位置，高度)与从峰点开始的扩散方向都不一样的、图示那样的山状的分布。对象影像的散景形状能够使用散景修正滤波器而修正为设想了任意距离的各种散景形状。也就是说，能够生成设想了任意距离的修正影像。
距离算出部412利用拍摄影像的各像素求出生成的修正影像与基准影像的散景形状最近似或一致的距离。关于散景形状的一致度，计算以各像素为中心的任意尺寸的矩形区域内的修正影像与基准影像的相关即可。散景形状的一致度的计算使用现有的类似度评价方法即可。距离算出部412求出修正影像与基准影像的相关最高的距离，算出到映照在各像素中的被摄体的距离。
例如，现有的类似度评价方法利用SSD(Sum of Squared Difference，平方差总和)、SAD(Sum of Absolute Difference，绝对差值总和)、NCC(Normalized Cross-Correlation，归一化互相关)、ZNCC(Zero-mean Normalized Cross-Correlation，零均值归一化互相关)、Color Alignment Measure(颜色校正措施)等即可。在本实施方式中，使用利用了自然影像的色彩成分具有在局部具有线性关系的特性这一内容的Color AlignmentMeasure。在Color Alignment Measure中，根据拍摄影像的以对象像素为中心的局部境域的色分布的分散来算出表示相关关系的指标。
如此，距离算出部412生成利用假定了距离的散景修正滤波器对与滤光区域相应的对象影像的散景形状进行修正而得的修正影像，并求出生成的修正影像与基准影像的相关更高的距离，由此算出到被摄体的距离。
可靠度算出部413算出距离算出部412以上述方式算出的距离的可靠性。接着，对由可靠度算出部413进行的可靠度算出处理的详情进行说明。
例如，如图9所示，在被摄体(A)的位置比焦点位置远的情况下，被摄体像(B)的散景在B影像中偏右侧(C1)，在R影像中偏左侧(C2)。在G影像中，出现左右对称的散景。再者，图9的被摄体(A)和被摄体像(B)的横轴与C1、C2、D1、D2、E的横轴为相同维度。此外，C1、C2、D1、D2的纵轴表示散景有关的色彩成分的量。
如此，针对B影像及R影像中的一方或两方，从每一距离的散景修正滤波器(D1、D2)当中探索最佳散景修正滤波器，以使得散景的形状与G影像的散景的形状一致(E)，由此能够获得到被摄体(A)的距离。
图10是以剖面波形的形式表示图9所示的被摄体像(B)的散景的形状(C1、C2)以及修正后的散景的形状(E)的图。如图11所示，针对B影像及R影像中的一方或两方而探索用以使散景的形状与G影像的散景的形状一致的散景修正量(A1、A2)这一探索问题是凸优化问题。也就是说，每一距离的散景修正滤波器(图9：D1、D2)下的修正后的B影像或R影像的散景的形状与G影像的散景的形状的相关函数为凸函数。
此外，如图12所示，在获得了阈值以上的相关值的散景修正滤波器的数量较少的情况下，即，在解的偏差较小的情况下，为凸函数的该相关函数的曲率较大，在解的偏差较大的情况下，为凸函数的该相关函数的曲率较小。可靠度算出部413根据该相关函数的曲率来算出由距离算出部412算出的距离的可靠度。相对于此，在利用2张影像、通过立体匹配来算出到被摄体的距离的情况下，探索与一影像上的关注点相对应的另一影像上的对应点这一探索问题例如像图13所示那样不是凸优化问题。因而，在立体匹配的情况下，难以利用相关值来获得距离的可靠度。
参考图14，对相关函数的曲率的算出方法的一例进行说明。
例如，拟合2次函数(最小平方法)作为利用每一距离的散景修正滤波器(fn)运用时的各相关值(rn)而获得的曲线，将相关函数的曲率设为该2次函数的2次系数。在该情况下，能够利用3个点(p1、p2、p3)来算出曲率。
更详细而言，针对上述3个点(p1、p2、p3)而建立如下公式：
r1＝c+bf1+af1 2 (式1)
r2＝c+bf2+af2 2 (式2)
r3＝c+bf3+af3 2 (式3)
利用这3个公式来算出a、b、c的值。即，算出成为曲率的2次系数即a。
此外，例如通过使用高斯函数的以下的(式4)将如此算出的曲率转换为可靠度(0～1)。
可靠度＝1－exp(-(曲率2/2σ2)) (式4)
可靠度算出部413从距离算出部412获取算出到被摄体的距离的过程中算出的每一距离的散景修正滤波处理运用时的相关值，例如通过前文所述的方法来算出由距离算出部412算出的距离的可靠度。
输出部414输出将由距离算出部412算出的距离与由可靠度算出部413算出的距离的可靠度关联而成的输出数据。输出部414例如像图15所示那样以在位置上与影像关联配置而成的映射形式输出以像素单位算出的距离和距离的可靠度。或者，输出部414例如像图16所示那样以基于影像上所设定的坐标的顺序排列而成的列表形式输出以像素单位算出的距离和距离的可靠度。输出部414不限于图15及图16所示的形式，能以任何形式输出以像素单位算出的距离和距离的可靠度。
例如，也能以前文所述那样的映射形式分别输出距离(距离映射)和可靠度(可靠度映射)。进而，也可在RGB三个影像数据之后缀连这两个映射数据中的任一方或两方而作为输出数据。或者，也可在YUV(亮度信号、色差信号[Cb]、色差信号[Cr])这3个数据之后缀连这两个映射数据中的任一方或两方。
此外，例如也能以前文所述那样的列表形式分别输出距离(距离列表)和可靠度(可靠度列表)。进而，也可在RGB三个影像数据之后缀连这两个列表数据中的任一方或两方而作为输出数据。或者，也可在YUV这3个数据之后缀连这两个列表数据中的任一方或两方。
此外，输出可靠度的形态例如也可为如下显示：当指定距离影像上的位置时，以弹出窗口表示可靠度。也能以弹出窗口显示距离影像上的指定位置上的距离。
或者，也可在彩色影像上以弹出窗口显示距离信息和可靠度。
也可不针对影像中的所有像素而算出距离。例如，也可预先确定有成为检测距离的对象的被摄体。确定例如可以通过影像识别、用户的输入下的指定来进行。另一方面，可靠度也一样，也可不针对求出了距离的所有像素而算出。例如，可针对特定的被摄体、距离较近的被摄体而算出可靠度，对于较远的被摄体则不算出可靠度。
此外，在以前文所述那样的映射形式像图15所示那样同时输出距离和可靠度的情况或者以距离映射和可靠度映射分别输出的情况下，或者，在以前文所述那样的列表形式像图16所示那样同时输出距离和可靠度的情况或者以距离列表和可靠度列表分别输出的情况下，均可不在其输出数据中载放算出的所有距离。例如，在可靠度低于规定值、或者可靠度相对较低的情况下，可不将该距离载放于输出数据中。
此外，能够像这样以映射、列表、其他各种形式输出的输出数据例如也可输出至显示器70。
图17为表示实施方式中的影像处理的流程的一例的流程图。
影像获取部411获取基准影像(步骤A1)，所述基准影像是由影像传感器30生成的影像，是通过透过滤光片10的滤光区域之后的光当中不会因第1滤光区域及第2滤光区域而发生衰减并透过的光来成像。此外，影像获取部411获取对象影像(步骤A2)，所述对象影像同样是由影像传感器30生成的影像，是通过透过滤光片10的滤光区域之后的光当中例如因第1滤光区域而发生衰减后透过的光来成像。此处，设想获取通过因第1滤光区域而发生衰减后透过的光来成像的影像作为对象影像，但影像获取部411也可获取通过因第2滤光区域而发生衰减后透过的光来成像的影像，也可获取通过因第1滤光区域而发生衰减后透过的光来成像的影像和通过因第2滤光区域而发生衰减后透过的光来成像的影像两个影像。
距离算出部412使用散景修正滤波器来生成对象影像的散景形状经修正而得的修正影像(步骤A3)，并算出该修正影像的散景与基准影像的散景的相关值(步骤A4)。修正影像的生成以及相关值的算出是进行每一距离的散景修正滤波器的数量程度。距离算出部412根据算出的相关值来算出到被摄体的距离(步骤A5)。更详细而言，从每一距离的散景修正滤波器当中探索所生成的修正影像与基准影像的相关最高的散景修正滤波器，由此获取到被摄体的距离。或者，也可探索生成与基准影像等的相关高于其他修正滤波器的修正影像的散景修正滤波器。
此外，可靠度算出部413根据算出到被摄体的距离的过程中算出的每一距离的散景修正滤波处理运用时的相关值来算出相关函数的曲率(步骤A6)。可靠度算出部413根据算出的曲率来算出由距离算出部412算出的距离的可靠度(步骤A7)。
继而，输出部414将由距离算出部412算出的距离与由可靠度算出部413算出的距离的可靠度加以关联并输出(步骤A8)。
如上所述，根据本实施方式，能够以反映出实际的可靠性的值的形式算出从影像获得的到被摄体的距离的可靠度。
另外，在前文所述的说明中，算出由每一距离的散景修正滤波器生成的修正影像与基准影像的相关函数的曲率，并将该曲率转换成了距离的可靠度。也可将修正影像与基准影像的相关值视为与该修正影像的生成中使用的散景修正滤波器相关联的距离为正确值的概率(0～1)，从而将所算出的相关值本身作为距离的可靠度。更详细而言，也可将多个散景修正滤波器中修正影像与基准影像的相关最高的散景修正滤波器的相关值作为距离的可靠度。
此外，例如也可在将曲率转换为距离的可靠度时将最高的相关值用作权重，该相关值越高，距离的可靠度便越高。或者，也可将被摄体像的边缘方向，更详细而言，将成为处理对象的像素的边缘梯度方向用作权重，该方向与滤光片10的第1滤光区域与第2滤光区域的交界线的方向越一致，距离的可靠度便越高。即便在将相关值本身作为距离的可靠度的情况下，也可将被摄体像的边缘方向用作权重。或者，也可将被摄体像的边缘强度，更详细而言，将成为处理对象的像素的边缘梯度的强度用作权重，该强度越强，距离的可靠度便越高。
再者，以上是对利用滤光片10来变更影像的点扩散函数、由此利用影像来算出到被摄体的距离的例子进行的说明，但是，只要利用例如称为2PD传感器等的、针对每一像素将所接收的入射光左右一分为二的影像传感器，即可不依靠滤光片10而获取使至少一方的点扩散函数发生了变更的2个影像，而且能够根据这2个影像的散景的形状的相关来算出距离。在该情况下，也能运用前文所述的算出距离的可靠度的方法。
接着，对运用以如上方式构成、输出到被摄体的距离以及该距离的可靠度的摄像装置100的系统的例子进行若干说明。
＜自动控制系统：机器人＞
图18为表示实施方式的机器人200的功能构成例的框图。此处，设想机器人200为设置在例如能够生产多种产品的生产线等的工业用机器人。机器人200不限于设置型，例如也可为AGV(Automatic Guided Vehicle，无人搬运车)等自主移动的机器人。此外，机器人200例如也能以用以清扫地板的清扫机器人、对来宾进行各种引导的交流机器人等非工业用的形式实现。
如图18所示，机器人200具有摄像装置100、控制部201、驱动机构202及转动机构203。此外，摄像装置100安装在转动机构203上。
首先，控制部201根据从摄像装置100输出的、到作为作业的对象物的被摄体的距离来控制驱动机构202。驱动机构202例如是用以在对象物上安装构件、拿起对象物并搬送至规定的地方的机械臂。此外，控制部201根据与距离一同从摄像装置100输出的该距离的可靠度来控制转动机构203。图19为用以说明由控制部201进行的转动机构203的控制的图。
大体来说，当被摄体像的边缘方向与滤光片10的第1滤光区域与第2滤光区域的交界线的方向一致时，距离的可靠度较高。另一方面，在这些方向正交的情况下，距离的可靠度较低。因此，控制部201以从摄像装置100输出的距离的可靠度较高的方式控制转动机构203。更详细而言，根据被摄体的形状、图案、放置朝向等，例如在像(A)所示那样被摄体像的边缘在垂直方向上出现得较多的情况下，以滤光片10的第1滤光区域与第2滤光区域的交界线成为垂直方向的方式控制转动机构203，此外，例如在像(B)所示那样被摄体像的边缘在水平方向上出现得较多的情况下，以滤光片10的第1滤光区域与第2滤光区域的交界线成为水平方向的方式控制转动机构203。
例如，首先，控制部201使摄像装置100进行预拍摄，根据该预拍摄时从摄像装置100输出的距离的可靠度来导出应通过转动机构203使摄像装置100转动的转动角。在预拍摄中，摄像装置100也可不算出影像上的所有像素量的距离和该距离的可靠度，而是算出一定程度的数量的采样到的像素量的距离和该距离的可靠度。此外，控制部201例如将它们的平均值作为预拍摄中的距离的可靠度。作为转动角的导出方法，例如能够运用在预拍摄中的距离的可靠度不到阈值的情况下设为90度等各种方法。在通过转动机构203使摄像装置100转动之后，控制部201使摄像装置100进行实际拍摄。
或者，控制部201也可一边通过转动机构203使摄像装置100转动、一边使摄像装置100连续地进行拍摄，采用距离的可靠度最高的影像。
再者，图19中展示的是转动机构203设置在驱动机构202上的例子，但并非必须将摄像装置100设置在驱动机构202上，因而，转动机构203也可与驱动机构202分开而另行独立设置。
以距离的可靠度提高的方式使摄像装置100转动这一方法也能运用于机器人200以外的移动体。在移动体例如为无人机等转动自如的飞翔体这样的情况下，也可由控制部301控制驱动机构302而不依靠转动机构，以使移动体300整体转动。
摄像装置100也可具备使滤光片10相对于影像传感器30进行转动的转动机构。转动机构例如使滤光片以光学中心为中心而在一平面内转动。通过滤光片10的转动，能够获取可靠度较高的距离。
＜自动控制系统：移动体＞
图20为表示实施方式的移动体300的功能构成例的框图。此处，设想移动体300例如为汽车。移动体300不限于包括汽车在内的车辆，只要是具有移动用驱动机构的移动体，则能够以无人机或飞机等飞翔体、船舶、AGV或清扫机器人等机器人等各种形式加以实现。进而，移动体300也可为自动门。
如图20所示，移动体300具有控制系统。控制系统具有2个摄像装置100(100-1、100-2)、控制部301及驱动机构302。此处是设想具有2个摄像装置100，但也可具有3个以上的摄像装置100。控制系统可搭载于移动体300，也可远程控制移动体。控制部301可直接控制驱动机构302，也可通过无线来间接地进行控制。如图21所示，2个摄像装置100例如设置成拍摄移动体300的行进方向的被摄体。再者，作为设置成拍摄移动体300的行进方向的被摄体的形态，除了能以拍摄前方的所谓的前置摄像机的形式设置以外，还能以在倒退时拍摄后方的所谓的后置摄像机的形式设置。当然，也可设置这二者。此外，摄像装置100也能以兼具作为所谓的行车记录仪的功能的方式设置。即，摄像装置100也可为录像设备。
控制部301根据从2个摄像装置100分别输出的距离和可靠度来控制驱动机构302。例如，控制部301根据从2个摄像装置100分别获得的距离中可靠度较高的距离来控制驱动机构302。或者，控制部301根据对从2个摄像装置100分别获得的距离以各自的可靠度进行加权而获得的距离来控制驱动机构302。关于控制，例如是指当朝处于行进方向的被摄体接近到规定距离时使移动的移动体300停止、减速、加速，或者使停止的移动体300开始移动。或者，控制部301也能以如下方式控制驱动机构302：当被摄体离开规定距离以上时，使移动体300停止、减速、加速、开始移动。或者，控制部301也能以如下方式控制驱动机构302：当朝被摄体接近到规定距离时，从正常驱动模式切换为碰撞规避模式，当被摄体离开规定距离以上时，从碰撞规避模式切换为正常驱动模式。规定距离例如也可根据可靠度加以变更。
可靠度能以影像单位来求出，也能以影像上的区域单位来求出。在前一种情况下，例如采用距离的可靠度的平均值较高的影像。在后一种情况下，例如针对2个影像间的对应的每一像素而比较距离的可靠值，采用各自的值较高的一方。由此，能够更准确地获取到被摄体的距离。驱动机构例如为用以驱动轮胎、滚子、螺旋桨的马达或发动机。
接着，参考图22，对移动体300中的距离的可靠度的一活用例进行说明。
此处，设想如下情况：作为驱动机构302的控制之一，控制部301对驱动机构302进行控制，以在朝行进方向的被摄体接近到规定距离时使移动体300停止。当从摄像装置100获取到到被摄体的距离和该距离的可靠度时，控制部301根据该距离以及该距离的可靠度来算出作为误差范围的一端的距离的下限值。继而，控制部301使用该下限值而不是从摄像装置100输出的距离来控制驱动机构302。下限值是以如下值的形式算出：距离的可靠度越高，与距离的差分越小，距离的可靠度越低，与距离的差分越大。
例如，即便在像图22所示那样由摄像装置100算出并输出比到被摄体的实际距离长的距离的情况下，通过使用根据距离的可靠度而算出的距离的下限值，也能防止移动体300的停止、减速、碰撞规避、转向、安全气囊等安全装置的运行等晚了一步这样的情况。
再者，使用根据距离和距离的可靠度而算出的距离的下限值这一操作也可在摄像装置100为1个的情况下进行。此外，不限于移动体300，例如在参考图18及图19而说明过的机器人200等当中也有效。
＜监视系统＞
图23为表示实施方式的监视系统400的功能构成例的框图。此处，设想监视系统400为例如用以针对每一时段而掌握店铺内等的人的流动的系统。
如图23所示，监视系统400具有摄像装置100、控制部401及用户界面部402。摄像装置100与控制部401可经由有线或无线网络加以连接。
首先，控制部401使摄像装置100连续地进行拍摄，并经由用户界面部402来显示由摄像装置100拍摄的影像。用户界面部402执行例如朝显示器装置等的显示处理、例如来自键盘或指示装置的输入处理。显示器装置和指示装置例如也可为触摸屏显示器等一体型装置。
此外，其次，控制部401根据从摄像装置100依序输出的到被摄体的距离和该距离的可靠度来解析例如人是在通道的哪一位置朝哪一方向走动等人的流动，并将该解析结果记录至例如HDD(Hard Disk Drive，硬盘驱动器)等存储装置。再者，该解析并非必须实时执行，也能以使用存储装置中存储的到被摄体的距离和该距离的可靠度的批次处理的形式执行。
现在，例如像图24所示那样在2个立体物存在于摄像范围内的状态下进行摄像装置100的拍摄。此外，例如处于因背景、照明等各种因素而容易拍摄到映有实际上并不存在的类立体物的影像的状况下。在该情况下，若根据例如影像中的距离的分布来识别立体物，则有类立体物被误识别为立体物(A)而成为例如追踪对象等之虞。
相对于此，例如通过在算出影像中的距离的分布时将可靠度较低的距离排除，能够防止将类立体物误识别为立体物这样的情况(B)。
接着，参考图25，对以如上方式识别的影像中的被摄体像的追踪中的距离的一活用例进行说明。
现在，设想从摄像装置100观察而某人正从左向右移动、另一人反过来正从右向左移动的情况(A)。此外，设想这2人身高不同，从摄像装置100观察，身高较矮那一人相较于身高较高那一人而言位于近前，结果，处于影像上的被摄体像的尺寸大致一致的状态。
若这2人就那样持续移动，则在某一时间点，影像上的被摄体像会重叠(B)，其后朝左右分离(C)。在这种情况下，若不使用距离而例如仅靠影像识别来追踪被摄体像，则有在被摄体像的交叉时弄错追踪对象而误追踪为2人分别掉头返回之虞。
相对于此，通过使用距离，能够防止在被摄体像的交叉时弄错追踪对象这样的情况。
此外，作为以如上方式识别的影像中的被摄体像的追踪中的距离的另一活用例，例如可列举如下自动门系统等：在被摄体正在朝门移动、且检测到已接近到规定距离的情况下，自动将门打开，另一方面，在被摄体正在以远离门的方式移动、且检测到已离开规定距离以上的情况下，自动将门关闭。
图26为表示活用可靠度的距离的一提示例的图。
如前文所述，控制部401经由用户界面部402来显示由摄像装置100拍摄的影像。此外，控制部401从摄像装置100获取到被摄体的距离和该距离的可靠度。进而，例如在通过指示装置来指定了影像上的任意位置的情况下，控制部401从用户界面部402接收包含其坐标的事件信息。
当接收到该事件信息时，控制部401根据针对与该坐标相对应的像素而于摄像装置100中算出的距离和该距离的可靠度来算出误差范围的两端即距离的下限值及上限值。继而，控制部201不仅将距离、还将考虑了误差的距离的范围经由用户界面部402而弹出显示在例如指示装置的指针附近。
也就是说，能够提供如下GUI(graphical user interface，图形用户界面)：当指示映照有被摄体的影像上的位置时，能够以可识别误差范围的方式提示到该被摄体的距离。
此外，用户界面部402也可提供如下GUI：同时显示出现左右对称的散景的G影像、出现左右不对称的散景的B影像和R影像、以及彩色影像(RGB影像)中的至少一方和距离影像，当指定G影像上、B影像上或R影像上或者彩色影像上的位置时，在距离影像上显示距离和可靠度。
此外，这种GUI在以平板电脑、智能手机等独立型电子设备构成摄像装置的情况下也有用。例如，也能以如下测距工具的形式提供该GUI：利用电子设备来拍摄影像，在显示影像的触摸屏显示器上进行触摸操作，由此显示到被摄体的距离。
此外，只要能以像素单位获取到被摄体的距离，则还能使用这些距离来算出被摄体的各部分的长度。因而，能够在独立型电子设备中实现例如能够通过拍摄卖场中展示的家具等来测量该家具的尺寸的尺寸测量工具。如前文所述，距离的可靠度取决于被摄体像的边缘方向、更详细而言是成为处理对象的像素的边缘梯度方向和滤光片10的第1滤光区域与第2滤光区域的交界线的方向。因此，在距离的可靠度不到阈值的情况下，例如也可像图27所示那样提供如下GUI：将消息显示在显示器等上面用以算出更准确的距离，所述消息展示转动角，并敦促使用者转动电子设备来拍摄影像。或者，显示器也能以指针、箭头等棒状图形来表示当前的电子设备的方向，以虚线箭头等棒状图形来表示容易算出准确的距离的方向，或者以箭头表示转动角、转动的方向。
如以上所说明，根据本实施方式，能够使用相关函数的曲率来进行从影像获得的到被摄体的距离的可靠度有关的输出和控制。
下面，参考附图，对另一实施方式进行说明。再者，揭示只是一例，发明并不会因以下的实施方式中记载的内容而受到限定。本领域技术人员能够容易地想到的变形当然是包含在揭示的范围内的。为了进一步明确说明，在附图中，有时也会将各部分的尺寸、形状等相对于实际的实施形态而加以变更来示意性地表示。在多个附图中，有时也会对对应的要素标注相同参考数字并省略详细的说明。
[第2实施方式]
如上所述，利用由作为具备彩色开口的单眼摄像机的摄像装置拍摄到的影像来求出到被摄体的距离。彩色开口是通过将至少具备2个彩色滤光区域的彩色滤光片配置在摄像装置的开口部来构成的。影像传感器根据透过彩色开口的光线来生成影像。在图2所示的例子中，第1、第2滤光区域具有圆形的滤光片被穿过光学中心的铅垂方向的线段左右(在水平方向上)分割而成的半圆形状。例如，第1滤光区域为黄色(Y)滤光区域，第2滤光区域为青色(C)滤光区域。绿色(G)影像的波段的光透过第1、第2滤光区域，而红色(R)影像的波段的光仅透过第1滤光区域，蓝色(B)影像的波段的光仅透过第2滤光区域。因此，G影像的散景的形状不会根据到被摄体的距离而发生变化，而R影像及B影像的散景的形状会根据到被摄体的距离而发生变化。具体而言，根据被摄体是处于对焦距离的近前还是远处，R影像和B影像的散景偏右或偏左。
因彩色开口而变化的R、G、B影像的散景的形状差与到被摄体的距离一一对应。因此，准备将因彩色开口而变化的R影像和B影像的散景的形状修正为G影像的散景的形状的散景修正滤波器。散景修正滤波器与到被摄体的距离相对应。继而，对R影像及/或B影像运算散景修正滤波器，根据修正后的影像与G影像的相关来确定距离。
如图8所示，散景修正滤波器分布在与将滤光区域分割为第1、第2滤光区域的铅垂方向(分割方向)正交的水平方向附近。通过这种修正滤波器来修正R影像及/或B影像是指在水平方向上卷积R影像及/或B影像与修正滤波器。因此，对于与彩色开口的滤光区域分割方向正交的水平方向的边缘(浓度梯度方向为铅垂方向)而言，不论是什么设想距离，卷积结果都是一样的，从而有可能无法确定距离。为了降低这种可能性，第2实施方式的摄像装置构成为能够以如下方式设置：彩色开口的滤光区域分割方向与被摄体中所包含的边缘的方向不正交，换句话说，滤光区域分割方向与被摄体的浓度梯度方向不一致。
[摄像装置的设置例]
图28表示第2实施方式的摄像装置的设置例。第2实施方式的摄像装置能够应用于监视系统等。图28表示将具备彩色开口504的摄像装置502经由能够俯仰/摆移/滚转的安装用具而安装在房屋的天花板的例子。由于俯仰/摆移与实施方式无直接关系，因此这些功能可以省略。进而，如后文所述，滚转功能也可以省略。如图2所示，X轴、Y轴为彩色开口的平面内的轴。Z轴为摄像装置502的光轴方向的轴。
在摄像装置502的后端的中心固定有圆柱状的臂杆508的前端。臂杆508的轴与摄像装置502的光轴一致。臂杆508的后端插入在与臂杆508同心且直径比臂杆508大的臂杆512的前端。因此，臂杆508(及摄像装置502)能够在插入在臂杆512中的状态下以光轴(也称为滚转轴)为中心沿顺时针方向、逆时针方向滚转转动。顺时针方向、逆时针方向会因视线的方向而改变，而在本说明书中，是以从摄像装置502观察被摄体的状态来定义转动方向。即，将本来沿着X轴的被摄体成为沿着Y轴这样的转动称为顺时针方向的转动。顺时针方向、逆时针方向各自的滚转角度(以铅垂方向为基准的角度)无须为90度以上，也可为45度左右。臂杆508的转动受螺钉等抑制，滚转角度被固定。通过调整滚转角度，能够设置成彩色开口的滤光区域分割方向与被摄体中所包含的边缘的方向不正交，换句话说，滤光区域分割方向与被摄体的浓度梯度方向不一致。
臂杆512的后端轴颈支承在垂直方向的臂杆514的下端。该轴也称为俯仰轴。因此，臂杆512(以及臂杆508、摄像装置502)能够沿上下方向俯仰转动。臂杆512的转动受螺钉等抑制，俯仰角度被固定。
臂杆514的上端插入在与臂杆514同心且直径比臂杆514大的臂杆516的下端。因此，臂杆514(以及臂杆512、508、摄像装置502)能够在插入在臂杆516中的状态下沿水平方向摆移转动。臂杆514的转动受螺钉等抑制，摆移角度被固定。臂杆516的上端与安装板520是一体的。
俯仰角度、摆移角度可在摄像装置的设置前固定在特定角度，也可在设置后以拍摄所期望的视野的方式来活动调整臂杆512、514。
图28表示安装至天花板的安装用具的例子，而若是将臂杆516沿水平方向弯曲、或者在臂杆516上进而连接水平臂杆，则也能安装在房屋的墙壁或者路边的电线杆、路灯等上面。
[摄像装置的转动]
图29A、图29B表示第2实施方式的摄像装置的转动的一例。此处，彩色开口的滤光片分割方向为铅垂方向，有可能难以算出距离的边缘为水平方向的边缘。因此，假定表示铅垂方向的直线。在摄像装置502的滚转角度为0度、即摄像装置502的上下方向与铅垂方向一致的情况下，如图29A所示，将表示铅垂方向的直线投影在滤光面上而得的直线与表示滤光片的分割方向的直线平行。在该状态下，与表示滤光片的分割方向的直线正交的水平方向的边缘的距离有可能难以算出。如图29B所示，只要使摄像装置502(臂杆508)以光轴为中心滚转转动而使得摄像装置502的上下方向与铅垂方向不一致，即可使得将表示铅垂方向的直线投影在滤光面上而得的直线与表示滤光片的分割方向的直线不平行。由此，被摄体中所包含的水平方向的边缘与滤光片分割方向不再正交，从而能够算出水平方向的边缘的距离。
该情况下的滚转角度只要大于0度即可。若滚转角度为90度，则有可能难以算出垂直方向的边缘的距离。滚转角度也可为45度左右。由于难以算出的边缘是避免不了的，因此，算出哪一边缘、将哪一边缘作为难以算出的边缘取决于用户的想法。
也可在设置后一边拍摄被摄体而算出距离并观察其结果、一边调整滚转角度，以试错的方式求出恰当的角度。也可在设置后根据如图15、图16所示的可靠度这样的指标来决定滚转角度。或者，在预先知晓被摄体中所包含的各种边缘的方向的情况下，也可预先求出所有边缘的方向与滤光片分割方向都不正交这样的恰当的滚转角度，在将摄像装置固定在该角度之后加以设置。进而，在根据被摄体中所包含的已知的边缘的方向而预先求出了恰当的滚转角度的情况下，只要能够以已将摄像装置以光轴为中心进行了转动的状态安装在天花板等上面，则图28所示那样的滚转转动机构不是必需的。但是，若配备有滚转转动机构，则在被摄体中所包含的边缘的方向发生了变化的情况下，能够容易地进行应对。若未配备滚转转动机构，在被摄体中所包含的边缘的方向发生了变化的情况下，再次进行设置即可。
滚转转动机构不限于图28的例子。图28中，滚转转动轴与摄像装置502的光轴一致，但也可将摄像装置设置成以光轴以外的轴为中心使其转动。例如，在图28中，也可不在臂杆508的前端安装摄像装置502而是在臂杆508的表面安装载置摄像装置502的支架。在该情况下，当转动臂杆508时，拍摄影像以处于画面外的臂杆508的轴为中心倾斜。在图28的情况下，当转动臂杆508时，拍摄影像以处于画面内的光轴为中心倾斜。
[系统框图]
图30为表示第2实施方式的摄像装置502的电性构成的一例的框图。第2实施方式是包含摄像部(有时也称为摄像机)和处理装置(处理部)的系统。摄像部505例如包含影像传感器542、拍摄透镜538及彩色滤光片536。来自被摄体的光(图示虚线箭头)经由由多块(为方便起见，图示为1块)透镜构成的拍摄透镜538而入射至影像传感器542。影像传感器542对入射光进行光电转换而输出影像信号(可为动态影像，也可为静态影像)，可使用CCD(Charge Coupled Device)型影像传感器、CMOS(Complementary Metal OxideSemiconductor)型影像传感器等任何传感器。拍摄透镜538例如也可具备多个透镜，任一透镜能够沿光轴移动以调节焦点。在拍摄透镜538的开口(主点或其附近)形成彩色滤光片536。追加有彩色滤光片536的拍摄透镜538也称为带彩色开口的透镜504。虽然展示的是在拍摄透镜538的开口部的整面配置彩色滤光片的例子，但也可不在开口部的整面配置彩色滤光片。例如，开口部也可由彩色滤光区域和不设置彩色滤光片的区域构成。
处理装置具备CPU(Central Processing Unit，中央处理器)544、闪存或硬盘驱动器等非易失性存储部546、以及RAM(Random Access Memory，随机存取存储器)等易失性存储器548。处理装置也可还具备通信接口550、显示器556及存储卡槽552。影像传感器542、CPU 544、非易失性存储部546、易失性存储器548、通信接口550、显示器556、存储卡槽552等通过总线554相互连接。
摄像部与处理装置可分开，也可为一体。在一体的情况下，两者能以智能手机、平板电脑等带摄像机的电子设备的形式实现。在分开的情况下，从以单镜头反光式摄像机等形式实现的摄像部输出的信号可输入至以个人计算机等形式实现的处理装置。摄像部与处理装置例如能够通过无线或有线来进行通信。
CPU 544对系统整体的动作进行统括性控制。例如，CPU 544执行非易失性存储部546中存储的拍摄控制程序、距离算出程序、显示控制程序等，从而实现拍摄控制、距离算出、显示控制等用的功能块。由此，CPU 544不限于控制摄像装置的影像传感器542，还控制显示器556等。再者，也可通过专用硬件而不是CPU 544来实现拍摄控制、距离算出、显示控制等用的功能块。关于距离算出程序，作为一例，根据上述原理而针对拍摄影像的每一像素求出到映照在该像素中的被摄体的距离。
非易失性存储部546由硬盘驱动器、闪存等构成。显示器556由液晶显示器、触控面板等构成。显示器556例如对拍摄影像进行彩色显示，而且，将针对每一像素求出的距离信息以特定形态、例如以根据距离对拍摄影像标注有颜色的距离影像(也称为距离映射)的形式显示出来。再者，距离信息的显示也可为距离与位置的对应关系表等表形式而不是距离影像。
例如由SDRAM(Synchronous Dynamic Random Access Memory，同步动态随机存储器)等构成的易失性存储器548存储系统整体的控制有关的程序、处理中使用的各种数据等。
通信I/F 550是控制与外部设备的通信、由使用键盘、操作按钮等的用户进行的各种指示的输入的接口。拍摄影像、距离信息不仅是在显示器556上加以显示，也可经由通信I/F 550而发送至外部，在根据距离信息来控制动作的外部设备中加以利用。关于外部设备的一例，有汽车或无人机等的行驶辅助系统、监视可疑人员的侵入的监视系统等。也能以由处理装置进行利用影像信号求距离的处理的一部分、由主机等外部设备进行剩下的部分的方式由多个设备分担地求距离信息。
存储卡槽552中可以插入SD(Secure Digital，安全数字卡)存储卡、SDHC(SDHigh-Capacity，SD高容量)存储卡等移动式存储介质。也可将拍摄影像、距离信息存储在移动式存储介质中，利用其他设备来读取移动式存储介质的信息，由此在其他设备中利用拍摄影像、距离信息。或者，也可将由其他摄像装置拍摄到的影像信号经由存储卡槽552内的移动式存储介质而输入至本系统的处理装置，根据该影像信号来算出距离。进而，也可将由其他摄像装置拍摄到的影像信号经由通信I/F 550而输入至本系统的处理装置。
图31为由CPU 544实现的距离算出、显示控制用的功能框图。CPU 544例如包含拍摄影像获取部562、距离影像获取部564、倾斜修正部566、568以及转动角度/转动中心获取部570。影像传感器542的输出被供给至拍摄影像获取部562，获得被摄体的拍摄影像。拍摄影像被供给至倾斜修正部566和距离影像获取部564。距离影像获取部564根据距离算出程序而针对拍摄影像的每一像素求出到映照在该像素中的被摄体的距离，求出距离影像。距离影像是表示距离或者相当于距离的散景的大小的影像。距离影像被供给至倾斜修正部568。倾斜修正部566、568以从转动角度/转动中心获取部570供给的转动中心为中心将拍摄影像和距离影像转动了从转动角度/转动中心获取部570供给的转动角度程度。转动角度/转动中心获取部570求出摄像部505(摄像装置502)的转动中心和转动角度(例如顺时针方向为正、逆时针方向为负)，倾斜修正部566、568沿转动角度所表示的方向的反方向转动影像。转动角度/转动中心获取部570可通过追踪连续的多张拍摄影像中的特征点来获取转动中心和转动角度，也可通过将用户预先测定出的值输入至转动角度/转动中心获取部570来获取转动中心和转动角度。经倾斜修正部566、568转动后的影像在显示器556上加以显示。
[影像的倾斜修正]
参考图32，对倾斜修正的一例进行说明。在以将摄像部505的滚转角设为0度的状态将摄像装置502设置在天花板等之后，根据所算出的距离来显示距离影像。例如，当用户观察距离影像而判断水平方向的边缘的距离不正确时，摄像部505以光轴为中心进行转动。在像图28那样摄像部505与摄像装置502为一体的情况下，通过转动摄像装置502来转动摄像部505，而在仅摄像部505可以转动的情况下，摄像装置502可固定而仅转动摄像部505。当摄像部505以光轴为中心沿顺时针方向转动时，影像获取部562所获取的拍摄影像像图32(a)所示那样成为水平线沿顺时针方向发生了转动的拍摄影像。即，将铅垂方向投影在滤光面上而得的直线从铅垂方向朝顺时针方向倾斜。虽然可保持原样，但在作为影像加以观察时会有不谐调感。倾斜修正部566将拍摄影像沿逆时针方向转动，生成像图32(b)所示那样显示框或显示器56的横向与影像的水平方向一致的修正影像。距离影像也一样，通过倾斜修正部568来修正倾斜。倾斜修正并非必须进行。虽然也有在对影像进行显示时优选进行倾斜修正的情况，但在仅对算出的距离加以利用而不显示距离影像的情况下，大多不需要倾斜修正。
[彩色滤光片的例子]
图33A表示第2实施方式的彩色滤光片536的一例。处于彩色滤光片536的中心的滤光区域580例如由两种颜色的彩色滤光区域即第1滤光区域580A和第2滤光区域580B构成。滤光区域580的中心与摄像部505的光学中心582一致。第1、第2滤光区域580A、580B分别具有相对于光学中心582为非点对称的形状。第1、第2滤光区域580A、580B不重复，且由第1、第2滤光区域580A、580B构成滤光区域580的整个区域。第1、第2滤光区域580A、580B分别具有圆形的滤光区域580被穿过光学中心582的线段分割而成的半圆形状。
将在连结第1、第2滤光区域580A、580B的重心的线段的中点与该线段正交的直线定义为表示滤光片的分割方向的直线。若第1、第2滤光区域580A、580B为相同尺寸的相同形状，则表示滤光片的分割方向的直线为实际分割图33A所示的滤光区域580的直线(2个半圆形相互接触的直径)。
滤光区域580A、580B是透过各不相同的特定波段的光的彩色滤光片。由滤光区域580A、580B构成的滤光区域580透过与区域580A、580B共通的颜色。在透射光会聚在影像传感器542上的时候，有时会产生不均。为了减少透射光在影像传感器542上的聚光不均，滤光区域580的滤光面设置成与影像传感器542的拍摄面平行即可。
第1滤光区域580A透过被影像传感器542接收的波段中的一部分即第1波段。例如，第1滤光区域580A为像图33B所示那样透过与R影像相对应的波段的光和与G影像相对应的波段的光的黄色(Y)滤光片。第2滤光区域580B透过被影像传感器542接收的光的颜色中的不同于第1波段的第2波段。例如，第2滤光区域580B为像图33B所示那样透过与B影像相对应的波段的光和与R影像相对应的波段的光的品红色(M)滤光片。第1波段的一部分与第2波段的一部分重复。Y、M滤光片均透过的共通色为R。通常，C、M、Y补色滤光片比R、G、B原色滤光片的灵敏度高，因此我们知道，即便相同波段的透过率相同，也会透过更多的光。
第1滤光区域580A与第2滤光区域580B的组合不限定于上述内容，也可第1滤光区域580A为透过与R影像相对应的波段的光和与G影像相对应的波段的光的Y滤光片、第2滤光区域580B为透过与B影像相对应的波段的光和与G影像相对应的波段的光的青色(C)滤光片，也可第1滤光区域580A为透过与R影像相对应的波段的光和与B影像相对应的波段的光的M滤光片、第2滤光区域580B为透过与B影像相对应的波段的光和与G影像相对应的波段的光的C滤光片，也可第1滤光区域580A为C、M、Y滤光片中的任一种、第2滤光区域580B为透过所有颜色的光的透明滤光片。进而，图33A中是右侧设为第1滤光区域580A、左侧设为第2滤光区域580B，但也可反过来右侧为第2滤光区域580B、左侧为第1滤光区域580A。
第1、第2滤光区域580A、580B也可为变更任意波段的透过率的滤光片、使任意方向的偏振光透过的偏振滤光片(偏光板)、变更任意波段的聚光力的微透镜。例如，变更任意波段的透过率的滤光片可为R、G、B原色滤光片、C、M、Y补色滤光片、补色镜(CC-RGB/CMY)、红外线/紫外线截除滤光片、ND滤光片、遮蔽板。在第1、第2滤光区域580A、580B为微透镜的情况下，拍摄透镜538会导致光线的聚光的分布产生不平衡，由此导致点扩散函数发生变化。
图33B表示第1滤光区域580A、第2滤光区域580B的透过率特性的一例。为黄色滤光片的第1滤光区域580A的透过率特性586A表明，与R影像及G影像相对应的波段的光以高透过率透过，与B影像相对应的波段的光几乎不透过。为品红色滤光片的第2滤光区域580B的透过率特性586B表明，与B影像及R影像相对应的波段的光以高透过率透过，与G影像相对应的波段的光几乎不透过。因而，与R影像相对应的波段的光透过第1、第2滤光区域580A、580B两方，而与G影像相对应的波段的光仅透过第1滤光区域580A，与B影像相对应的波段的光仅透过第2滤光区域580B，因此，G影像及B影像上的散景的形状根据到被摄体的距离而发生变化。由于各滤光区域相对于光学中心为不对称的形状，因此G影像及B影像上的散景的形状根据被摄体是处于对焦距离的近前还是远处而不同。即，G影像及B影像上的散景的形状发生了偏置。因此，可以针对每一距离而准备好将G影像和B影像的散景的形状修正为R影像的散景的形状的散景修正滤波器，对G影像及/或B影像运算设想距离下的散景修正滤波器，根据修正后的影像与R影像的相关来确定距离。
[彩色滤光片的变形例]
图33A的滤光区域580是以由第1、第2滤光区域580A、580B构成整个区域的方式进行分割。作为变形例，对滤光区域被分割为第1、第2、第3滤光区域的例子进行说明。
图34A、图34B表示第2实施方式的彩色滤光片的第1变形例。如图34A、图34B所示，滤光区域590由第1滤光区域590A、第2滤光区域590B及第3滤光区域590c构成。第1、第2滤光区域590A、590B与图33A的例子一样，透过各不相同的组合的多种颜色，第3滤光区域590C透过在第1、第2滤光区域均透过的共通色。在第1、第2滤光区域590A、590B为Y、M或M、Y滤光片的情况下，第3滤光区域590C为R滤光片。在第1、第2滤光区域590A、590B为Y、C或C、Y滤光片的情况下，第3滤光区域590C为G滤光片。在第1、第2滤光区域590A、590B为C、M或M、C滤光片的情况下，第3滤光区域590C为B滤光片。再者，第3滤光区域590C也可为透过R、G、B全部颜色的透明滤光片。
图34A中，第1、第2滤光区域590A、590B分别位于穿过光学中心592而沿Y轴延伸的直线的左右，形状为在光学中心592相互接触的圆形。第3滤光区域590C为第1、第2滤光区域590A、590B以外的区域。图34B中，第1、第2滤光区域590A、590B分别位于穿过圆形光学中心592而沿Y轴延伸的直线的左右，形状为在光学中心592相互接触的椭圆形。图34A、图34B中，第1、第2滤光区域590A、590B是以相对于穿过光学中心592而沿Y轴延伸的直线呈线对称的方式配置的相同大小的区域，但也能以非线对称配置不同大小的2个区域。第1、第2滤光区域590A、590B的形状不限于圆形、椭圆形，也可为三角形、矩形、多边形。
若第1、第2滤光区域590A、590B相对于Y轴为线对称，则穿过连结第1、第2滤光区域590A、590B的重心的线段的中点且正交于该线段的直线、即表示滤光片的分割方向的直线为穿过光学中心592而沿Y轴延伸的直线。
在图34A、图34B的第1变形例中，第1、第2滤光区域在光学中心相互接触，对第1、第2滤光区域未相互接触的第2变形例进行说明。图35A、图35B表示第2实施方式的彩色滤光片的第2变形例。如图35A、图35B所示，滤光区域600由第1滤光区域600A、第2滤光区域600B及第3滤光区域600C构成。第1、第2滤光区域600A、600B与图33A、图34A、图34B的例子一样透过部分重复的不同波段的光，第3滤光区域600C透过在第1、第2滤光区域均透过的波段的光。第1、第2滤光区域的颜色的例子与第1变形例相同。
图35A中，第1、第2滤光区域600A、600B的形状为分别对称地位于穿过光学中心602而沿Y轴延伸的直线的左右的新月形。第1、第2滤光区域600A、600B以外的第3滤光区域600C为椭圆形。图35B中，圆形的滤光区域600被沿Y轴延伸的2条直线三分，中央为第3滤光区域600C，第3滤光区域600C的两侧为第1、第2滤光区域600A、600B。也可利用2条波状线而不是2条直线将圆形的滤光区域600三分。2条分割线也可不平行。进而，三分不限定于三等分，3个区域的尺寸任意。
若第1、第2滤光区域600A、600B相对于Y轴为线对称，则穿过连结第1、第2滤光区域600A、600B的重心的线段的中点且正交于该线段的直线、即表示滤光片的分割方向的直线为穿过光学中心602而沿Y轴延伸的直线。
图36表示第2实施方式的彩色滤光片的第3变形例。滤光区域610与图33A的滤光区域580一样包含分别为半圆形的第1、第2滤光区域610A、610B。在第1、第2滤光区域610A、610B的内部设置有多个第3滤光区域610C。第3滤光区域610C的形状、个数、配置任意。
若第1、第2滤光区域610A、610B相对于Y轴为线对称且第3滤光区域610C相对于Y轴为线对称，则穿过连结第1、第2滤光区域610A、610B的重心的线段的中点且正交于该线段的直线、即表示滤光片的分割方向的直线为穿过光学中心612而沿Y轴延伸的直线。
图37A、图37B表示第2实施方式的彩色滤光片的第4变形例。第4变形例是图34A、图34B所示的第2实施方式中第1、第2滤光区域未相互接触而隔开的例子。图37A中，第1、第2滤光区域620A、620B分别隔开而位于穿过光学中心622而沿Y轴延伸的直线的左右，形状为圆形。图37B中，第1、第2滤光区域620A、620B分别隔开而位于穿过光学中心622而沿Y轴延伸的直线的左右，形状为正方形。第1、第2滤光区域620A、620B的形状不限于正方形，也可为三角形、矩形、多边形，也可设置多个第1、第2滤光区域620A、620B，也可左右不对称地设置。
若第1、第2滤光区域620A、620B相对于Y轴为线对称，则穿过连结第1、第2滤光区域620A、620B的重心的线段的中点且正交于该线段的直线、即表示滤光片的分割方向的直线为穿过光学中心622而沿Y轴延伸的直线。
综上所述，滤光区域包含所透过的波段部分重复的第1滤光区域和第2滤光区域。滤光区域还可以包含透过被第1滤光片和第2滤光片两方透过的波段的第3滤光区域。第3滤光区域例如可透过第1滤光区域所透过的波段和第2滤光区域所透过的波段的光。例如，滤光区域可由第1、第2滤光区域和任意数量、种类的滤光区域构成。任意数量、种类的滤光区域可从R滤光片、G滤光片、B滤光片、Y滤光片、C滤光片、M滤光片及透明滤光片中进行选择。
根据第2实施方式，通过以光轴为中心转动摄像部505而将彩色开口的滤光区域分割方向设为任意方向的方式设置摄像部505或摄像装置502，能够改变因与滤光区域分割方向正交而难以算出到被摄体的距离的边缘的方向。因此，能够将难以算出距离的边缘的方向设为被摄体中不包含或者几乎不包含的边缘的方向。例如，能够防止难以算出水平方向的边缘有关的距离的状况。
再者，也可在图28中说明过的安装用具上将滚转转动设为电动转动，根据算出的距离的可靠度有关的指标来自动转动摄像部505或摄像装置502。
[第3实施方式]
图38表示第3实施方式的摄像装置502的设置例。第3实施方式也能应用于监视系统。第2实施方式是从天花板、墙壁、柱子等拍摄斜下方，对从天花板拍摄正下方的第3实施方式进行说明。即，摄像部505的光轴与铅垂方向平行。在摄像装置502的后端的中心固定有圆柱状的臂杆524的前端。臂杆524的轴与摄像部505或摄像装置502的光轴一致。臂杆524的后端插入在与臂杆524同心且直径比臂杆524大的臂杆526的前端。因此，臂杆524(及摄像装置502)能够在插入在臂杆526中的状态下以光轴(也称为滚转轴)为中心沿顺时针方向及逆时针方向滚转转动。臂杆526的上端与安装板530是一体的。
与第2实施方式一样，滚转角度在顺时针方向、逆时针方向上均大于0度即可。若滚转角度为90度，则有可能难以算出垂直方向的边缘的距离。滚转角度也可为45度左右。由于难以算出的边缘是避免不了的，因此，算出哪一边缘、将哪一边缘作为难以算出的边缘取决于用户的想法。
也可在设置后一边拍摄被摄体而算出距离并观察其结果、一边调整滚转角度，以试错的方式求出恰当的角度。也可在设置后根据如图15、图16所示的可靠度这样的指标来决定滚转角度。或者，能在预先知晓被摄体中所包含的各种边缘的方向的情况下，以滤光区域的分割方向与被摄体中所包含的最多的边缘方向不正交的方式设定滚转角度。或者，也可预先求出所有边缘的方向与滤光片分割方向都不正交这样的、换句话说滤光区域分割方向与被摄体的浓度梯度方向不一致这样的恰当的滚转角度，以摄像部505的滚转角度与该角度一致的方式设置摄像装置502。进而，在根据被摄体中所包含的已知的边缘的方向而预先求出了恰当的滚转角度的情况下，只要能够在将安装板530安装至天花板时以已将摄像部505以光轴为中心进行了转动的状态安装摄像装置502，则图38所示那样的滚转转动机构不是必需的。但是，若配备有滚转转动机构，则在被摄体中所包含的边缘的方向发生了变化的情况下，能够容易地进行应对。若未配备滚转转动机构，则在被摄体中所包含的边缘的方向发生了变化的情况下，再次将摄像部505或摄像装置502设置为任意朝向即可。
[摄像部的转动]
图39A、图39B表示第3实施方式的摄像部505或摄像装置502的转动的一例。在第3实施方式中，摄像部505或摄像装置502的光轴沿着铅垂方向，因此，当将铅垂方向投影至滤光面时，不是成为直线而是成为点。因此，难以算出距离的条件的定义与第2实施方式的定义不一样。在第3实施方式中，定义在被摄体的场景中正交的2个轴(称为主轴)。主轴是根据场景的主要结构来设定的。例如，如图40A所示，在摄像范围为室内的情况下，通常可以沿矩形的地面的2条边来设定第1主轴、第2主轴。例如，与第1主轴和第2主轴平行的面与地面平行。此外，在人物正在移动的情况下，也可沿移动方向和与其正交的方向设定第1主轴、第2主轴。如图40B所示，在摄像范围包含道路、走廊等的情况下，可以沿道路、走廊等的延伸方向和与其正交的方向设定第1主轴、第2主轴。例如，与第1主轴和第2主轴平行的面与道路、走廊平行。此外，在汽车、人物正在移动的情况下，也可沿移动方向和与其正交的方向设定第1主轴、第2主轴。在摄像范围包含汽车、人物等的移动的情况下，例如，与第1主轴和第2主轴平行的面与汽车、人物移动的面平行。在摄像部505或摄像装置502的滚转角度为0度的情况下，如图39A所示，将第1主轴投影在滤光面上而得的直线或者将第2主轴投影在滤光面上而得的直线与表示滤光片的分割方向的直线平行。在该状态下，有可能难以算出第2主轴方向的边缘的距离。如图39B所示，可以使摄像部505或摄像装置502(臂杆524)以光轴为中心滚转转动，使得表示滤光片的分割方向的直线与将第1主轴投影在滤光面上而得的直线以及将第2主轴投影在滤光面上而得的直线都不平行，即，使得表示滤光片的分割方向的直线与将第1主轴投影在滤光面上而得的直线以及将第2主轴投影在滤光面上而得的直线交叉。
由此，被摄体中所包含的第1主轴及第2主轴的方向的边缘与滤光片分割方向不再正交，从而能够算出第1主轴及第2主轴的方向的边缘的距离。该情况下的滚转角度大于0度、不到90度。滚转角度例如为55度以下。滚转角度例如为35度以上。
在这种第3实施方式中，与第2实施方式一样，也能够通过以光轴为中心转动摄像部505或摄像装置502而转动彩色开口的滤光区域分割方向来改变因与滤光区域分割方向正交而难以算出到被摄体的距离的边缘的方向。因此，能够将难以算出距离的边缘设为被摄体中不包含或者几乎不包含的方向的边缘。例如，能够防止难以算出被摄体内的第1主轴、第2主轴方向的边缘有关的距离的状况。
上述的实施方式是对距离影像的显示进行的说明来作为距离信息的输出形态的一例，但并不限于此，也可为距离与位置的对应关系表的显示。除了输出到映照在各像素中的被摄体的距离以外，也可输出映照在整个影像中的被摄体的距离的最大值/最小值/中心值/平均值等。进而，不限于整个影像的距离影像，也可输出影像的一部分的距离。
通过使用距离信息对各像素的影像信号的散景进行处理，能够获得下述信息。能够生成所有像素的影像信号为对焦状态的全焦点影像，或者不同于拍摄时的被摄体区域成为对焦状态、拍摄时为对焦状态的被摄体区域成为非对焦状态的重调焦影像。还能提取处于任意距离的物体、对提取出的物体进行识别。进而，还能通过追溯识别出的物体的到目前为止的距离的变化来推断物体的行动。
在实施方式中，距离信息是以用户能够识别的方式在处理装置中加以显示，但并不限于此，也可输出至其他装置而在其他装置中利用距离信息。根据实施方式，能够不使用立体摄像机而使用单眼摄像机来获取拍摄影像和距离信息，小型轻量的单眼摄像机能够应用于各种领域。
[应用例1：监视系统]
监视系统检测由拍摄装置拍摄的对空间的侵入物而发出警报。图42表示作为监视系统的一例的、用以针对每一时段而掌握停车场中的人和车的流动等的系统。监视系统不限于在停车场中使用，也用于店铺内的人的流动这样的、在摄像装置进行拍摄的范围内移动的各种被摄体的监视。
图41表示监视系统的框图。摄像装置502被输入至与图31的拍摄影像获取部562和距离影像获取部564两方相对应的处理装置632。从处理装置632输出的拍摄影像和每一像素的距离信息被输入至人物检测部634。人物检测部634根据距离的变化来检测人物或移动体。检测结果被供给至区域侵入/退出检测部636。区域侵入/退出检测部636根据到检测到的至人物或移动体的距离来判定人物或移动体是否侵入了距摄像装置502规定范围内的特定区域、或者人物或移动体是否已从特定区域退出。区域侵入/退出检测部636例如也可对人进入了某一基准距离内、人离开了某一基准距离内等人的流动、车进入了某一基准距离内、车离开了某一基准距离内等车的流动进行解析，并将其解析结果记录至例如HDD(HardDisk Drive，硬盘驱动器)等存储装置。人物检测部634和区域侵入/退出检测部636例如也可包含在CPU中。再者，检测人物或移动体的处理和判定人物或移动体是否侵入了规定范围内的特定区域或者人物或移动体是否已从特定区域退出的处理也可合并而在1个处理中进行。
图42表示监视系统的使用例。可以使用停车场内设置的摄像装置502来监视停车场的人、车的运动。特定区域可以设定为能够拍摄的区域的一部分。当检测到人物或移动体的侵入/退出时，通过用户界面部638来发出规定的警告。警告例如为由显示部进行的显示、由扬声器进行的语音输出。用户界面部638还执行例如来自键盘、指示装置的输入处理。在用户界面部638包含显示器装置和指示装置的情况下，用户界面部638也可为例如显示器装置与指示装置成为了一体的触摸屏显示器。
该监视摄像机也能进行其他动作来代替发出警告。例如，也可利用摄像机来拍摄自动门的前方的空间，当人物朝该空间移动而来时，将门打开。
[应用例2：自动门系统]
图43表示包含摄像装置502的自动门系统的功能构成。自动门系统具备摄像装置502、控制信号生成部642、驱动机构644及门部646。
控制信号生成部642与图41的监视部630相同。即，控制信号生成部642包含图31的拍摄影像获取部562、距离影像获取部564和图41的人物检测部634、区域侵入/退出检测部636的功能，判定被摄体是处于基准距离的近前还是远处，根据其判定结果来生成与门部646的开闭有关的控制信号，并将所生成的控制信号输出至驱动机构644。更具体而言，控制信号生成部642根据表示被摄体处于基准距离的近前这一内容的判定结果来生成用以使门部646变成打开状态的控制信号或者用以使门部646维持打开状态的控制信号，并输出至驱动机构644。此外，控制信号生成部642根据表示被摄体处于基准距离的远处这一内容的判定结果来生成用以使门部646变成关闭状态的控制信号或者用以使门部646维持关闭状态的控制信号，并输出至驱动机构644。
驱动机构644例如具有马达，通过将马达的驱动传递至门部646来对门部646进行开闭。驱动机构644根据由控制信号生成部642生成的控制信号、以门部646变成打开状态或关闭状态的方式进行动作。
图44A、图44B表示自动门系统的动作例。使用图28所示那样的安装用具在能够拍摄在门部646的正面移动的行人等的位置例如门部646的上方设置有摄像装置502。也就是说，摄像装置502是以能够获取俯瞰到门部646的正面的通道等的影像的方式设置。
控制信号生成部642中的基准距离例如设定为门部646正面的、距门部646的一定距离。摄像装置502的光轴相对于地面倾斜，因此，设定与地面正交但相对于摄像装置502的光轴倾斜的平面652作为基准距离的面，设置在门部646的上方的摄像装置502判定行人650是处于该平面652的近前还是远处。
在图44A所示的例子中，判定行人106处于基准平面652的近前。控制信号生成部642根据该判定结果来生成用以使门部646变成打开状态的控制信号，并输出至驱动机构644。驱动机构644根据从控制信号生成部642接收到的控制信号，以门部646变成打开状态的方式进行动作。
在图44B所示的例子中，判定行人106处于基准平面652的远处。控制信号生成部642根据该判定结果来生成用以使门部646变成关闭状态的控制信号，并输出至驱动机构644。驱动机构644根据从控制信号生成部642接收到的控制信号，以门部646变成关闭状态的方式进行动作。
这种自动门系统还能运用于汽车的门的控制。如图45所示，在汽车的前挡玻璃设置拍摄汽车的右侧侧面的摄像装置502A和拍摄左侧侧面的摄像装置502B。可为：当利用摄像装置502A、502B判定人物发生了从设定为第1距离的第1平面的远处到近前的变化时，将门打开。此外，也可为：当利用摄像装置502A、502B判定人物发生了从设定为第2距离的第2平面的远处到近前的变化时，例如即便想从车内将门打开，门也不会打开。第2距离例如可以设为比第1距离短的距离。这是为了防止人或物体正在接近汽车时因门打开而导致门与人或物体发生接触这样的事故。
[应用例3：移动体控制系统]
图46表示包含摄像装置502的移动体670的功能构成例。此处，设想移动体670例如为移动机器人(Automated Guided Vehicle，自动导向车)、清扫机器人、交流机器人等自主移动的机器人。移动体670不限于这种机器人，只要是具有移动用驱动机构的移动体，则能够以包括汽车在内的车辆、无人机或飞机等飞翔体、船舶等各种形式加以实现。移动体670不仅包括机器人本体进行移动的机器人，还可以包括机械臂这样的具有机器人的一部分的移动/转动用的驱动机构的工业用机器人。
如图46所示，移动体670具有摄像装置502、控制信号生成部672及驱动机构674。如图47所示，摄像装置502例如设置成拍摄移动体670的行进方向的被摄体。作为设置成拍摄移动体670的行进方向的被摄体的形态，除了能以拍摄前方的所谓的前置摄像机的形式设置以外，还能以在倒退时拍摄后方的所谓的后置摄像机的形式设置。当然，也可设置这两方。此外，摄像装置502也能以兼具作为所谓的行车记录仪的功能的方式设置。即，摄像装置502也可为录像设备。再者，在控制移动体670的一部分的移动及转动的情况下，摄像装置502例如能以拍摄由机械臂握持的物体的方式设置在机械臂的顶端等。
控制信号生成部672与图41的处理装置632相同，根据与被摄体的距离来生成移动体670或其一部分的加速、减速、停止、碰撞规避、转向、以及安全气囊等安全装置的运行中的至少一种有关的控制信号。
控制信号生成部672也可与图43的控制信号生成部642相同，根据与被摄体的距离来判定被摄体是否侵入了规定范围内的特定区域或者是否已从特定区域退出。在该情况下，控制信号生成部672能够根据表示被摄体处于基准距离的近前这一内容的判定结果来生成减速、碰撞规避、朝远离被摄体的方向的转向、以及安全装置的运行中的至少一种有关的控制信号。此外，控制信号生成部672能够根据被摄体处于基准距离的近前这一判定结果来生成加速、以及朝接近被摄体的方向的转向中的至少一种有关的控制信号。控制信号生成部672将所生成的控制信号输出至驱动机构674。
驱动机构674根据该控制信号使移动体670动作。也就是说，驱动机构674根据控制信号，以通过移动体670或其一部分来进行加速、减速、碰撞规避、转向、以及安全气囊等安全装置的运行中的至少一种的方式进行动作。这种构成适于需要实时控制的例如机器人的移动、汽车的自动驾驶等。
在移动体670为无人机的情况下，在从上空检查裂纹、电线断裂等时，摄像装置502获取拍摄检查对象而得的影像，检测与被摄体的距离，或者判定被摄体是处于基准距离的近前还是远处。控制信号生成部672根据该检测结果或判定结果来生成以与检查对象的距离固定的方式控制无人机的推力用的控制信号。驱动机构674根据该控制信号使无人机动作，由此能使无人机以与检查对象并行的方式飞行。
此外，在无人机的飞行时，摄像装置502获取拍摄地面方向而得的影像，检测无人机距地面的高度，或者判定距地面的高度是在基准距离的近前还是远处。控制信号生成部672根据该检测结果或判定结果来生成以距地面的高度变成指定高度的方式控制无人机的推力用的控制信号。驱动机构674根据该控制信号使无人机动作，由此能使无人机以指定高度飞行。
进而，在移动体670为无人机或汽车的情况下，在无人机的联合飞行或者汽车的列队行驶时，摄像装置502获取拍摄周围的无人机或者前方的汽车而得的影像，检测与该无人机或汽车的距离，或者判定该无人机或汽车是处于基准距离的近前还是远处。控制信号生成部672根据该检测结果或判定结果来生成以与周围的无人机或者前方的汽车的距离固定的方式控制无人机的推力或者汽车的速度用的控制信号。驱动机构674根据该控制信号使无人机或汽车动作，由此能够容易地进行无人机的联合飞行或者汽车的列队行驶。
图48表示能够规避障碍物的无人机的移动控制的一例的框图。摄像装置502的输出被输入至包含图31的拍摄影像获取部562和距离影像获取部564两方的功能的处理装置680。从处理装置680输出的拍摄影像和每一像素的距离信息被输入至障碍物识别部682。若移动目的地和当前位置已知，则自动决定无人机的移动路线。无人机具备GPS 686，移动目的地信息和当前位置信息被输入至移动路线计算部684。从移动路线计算部684输出的移动路线信息被输入至障碍物识别部682和飞行控制部688。飞行控制部688进行旋翼的转动、操舵。
障碍物识别部682根据拍摄影像和距离信息来提取距无人机一定距离以内的物体。检测结果被供给至移动路线计算部684。当检测到障碍物时，移动路线计算部684将之前根据移动目的地和当前位置决定的移动路线修正为能够避开障碍物的平滑的轨道的移动路线。
由此，即便在空中出现了预料不到的障碍物的情况下，也能自动避开障碍物而使无人机安全地飞行到目的地。图48不限于无人机，同样也能应用于决定了移动路线的移动机器人(Automated Guided Vehicle)、清扫机器人等。再者，在清扫机器人的情况下，也存在不是决定路线本身、而是决定当检测到障碍物时进行拐弯、后退等规则的情况。在该情况下，图48的构成也能应用于障碍物的检测、规避。
图49表示将实施方式应用于汽车的情况下的系统构成的一例。摄像装置502的输出被输入至包含图31的拍摄影像获取部562和距离影像获取部564两方的功能的处理装置692。处理装置692输出拍摄影像和每一像素的距离信息。拍摄影像和距离信息被输入至行人/车辆检测部694。行人/车辆检测部694根据拍摄影像和距离信息，将拍摄影像内垂直于道路的物体设定为行人/车辆的候选区域。行人/车辆检测部694针对各候选区域而计算特征量，并将该特征量与根据大量的样本影像数据而预先求出的大量基准数据进行比较，由此能够检测行人/车辆。当检测到行人/车辆时，可对驾驶员发出警告698，也可使自动制动器696运行而使汽车减速或停止。
摄像装置502不限于驾驶席的前置摄像机，也可为安装在侧面后视镜的侧置摄像机、安装在后挡玻璃的后置摄像机。在侧置摄像机、后置摄像机的情况下，可检测倒退停车时的障碍物而不是行人/车辆。在前置摄像机的情况下，近年来开发有将由安装在汽车的前挡玻璃的摄像机拍摄到的汽车前方的风景记录至SD卡等的行车记录仪。通过对该行车记录仪的摄像机应用实施方式的摄像机，无须在车内另行设置摄像机，即可在获得汽车的前方的拍摄影像的同时获得距离信息。
还能应用于不是移动体而是静止的、但具备移动部的例如制造机器人等。可为：当根据距抓住并移动零件、对零件进行加工的机械臂的距离而检测到障碍物时，限制机械臂的移动。
再者，可以将上述实施方式概括在以下的技术方案中。
技术方案1
一种处理装置，其具备：
获取部，其获取被摄体的第1影像和所述被摄体的第2影像，所述被摄体的第1影像包含对称的第1点扩散函数所示的形状的散景，所述被摄体的第2影像包含不对称的第2点扩散函数所示的形状的散景；
距离算出部，其根据所述第1点扩散函数与所述第2点扩散函数的相关来算出到所述被摄体的距离；以及
可靠度算出部，其根据所述相关的程度来算出所述距离的可靠度。
技术方案2
根据技术方案1所述的处理装置，其中，
所述距离算出部通过利用所述第2影像和多个散景修正滤波器分别生成的多个修正影像各自与所述第1影像的相关来算出所述距离，
所述可靠度算出部根据所述多个修正影像各自与所述第1影像的相关函数的曲率来算出所述距离的可靠度。
技术方案3
根据技术方案1或2所述的处理装置，其中，所述可靠度算出部根据所述多个修正影像各自与所述第1影像的相关函数的曲率以及被摄体像的边缘方向或者所述被摄体像的边缘强度来算出所述距离的可靠度。
技术方案4
根据技术方案1至3中任一项所述的处理装置，其还具备输出映射的输出部，所述映射表示在与所述第1影像或所述第2影像中的任一方中的多个第1点相对应的多个第2点上所述多个第1点的所述距离和所述距离的可靠度。
技术方案5
根据技术方案1至4中任一项所述的处理装置，其还具备输出列表的输出部，所述列表表示所述第1影像或所述第2影像的坐标、所述坐标下的所述距离、以及所述距离的可靠度。
技术方案6
根据技术方案1至5中任一项所述的处理装置，其还具备对输出数据进行输出的输出部，
所述输出数据包含由所述获取部获取的彩色影像数据、包含所述彩色影像数据所表示的影像上的多个点的所述距离的距离数据、以及包含所述多个点的所述距离的可靠度的可靠度数据。
技术方案7
一种摄像装置，其具备：
根据技术方案1至6中任一项所述的处理装置；以及
摄像部，其拍摄所述第1影像和所述第2影像。
技术方案8
根据技术方案7所述的摄像装置，其中，所述第1影像和所述第2影像是由一摄像装置于同一时刻拍摄到的影像。
技术方案9
根据技术方案7或8所述的摄像装置，其具备显示部，所述显示部能够显示包含与所述第1影像上或所述第2影像上的位置相对应的所述距离和所述距离的可靠度的显示影像。
技术方案10
根据技术方案7至9中任一项所述的摄像装置，其还具备接收所述显示影像上的位置的指定的输入部，并且，
所述显示部显示与通过所述输入部指定的显示影像上的位置相对应的所述第1影像上或所述第2影像上的位置的所述距离和所述距离的可靠度。
技术方案11
根据技术方案9或10所述的摄像装置，其中，所述显示部在所述距离的可靠度为阈值以下的情况下输出敦促转动所述摄像装置的消息。
技术方案12
一种移动体的自动控制系统，其具备：
根据技术方案7至11中任一项所述的摄像装置；以及
控制部，其根据所述距离和所述距离的可靠度来控制移动体的驱动机构。
技术方案13
根据技术方案12所述的自动控制系统，其中，所述控制部使用根据所述距离和所述距离的可靠度而算出的所述距离的下限值来控制所述驱动机构。
技术方案14
根据技术方案12或13所述的自动控制系统，其中，所述控制部根据所述下限值来控制所述驱动机构，由此使移动体停止、减速、加速或开始移动。
技术方案15
根据技术方案12至14中任一项所述的自动控制系统，其中，
所述摄像装置安装在转动机构上，
所述控制部以从所述摄像装置获得的所述距离的可靠度更高的方式控制所述转动机构。
技术方案16
一种摄像装置，其具备：
摄像机，其在开口部配备有至少包含第1滤光区域和第2滤光区域的滤光片；以及
设置单元，其以将表示铅垂方向的直线投影在所述滤光片上而得的第1直线与表示所述滤光片的第1滤光区域与第2滤光区域的分割方向的第2直线不平行的方式设置所述摄像机。
技术方案17
根据技术方案16所述的摄像装置，其还具备处理部，所述处理部根据所述第1直线与所述第2直线所成的角度使拍摄影像转动。
技术方案18
一种摄像系统，其具备：
根据技术方案17所述的摄像装置；以及
显示部，其显示所述转动后的拍摄影像。
技术方案19
一种距离信息获取方法，其具备如下内容：
使用摄像机来拍摄被摄体，所述摄像机在开口部配备有至少包含第1滤光区域和第2滤光区域的滤光片，且将表示铅垂方向的直线投影在所述滤光片上而得的第1直线与表示所述滤光片的第1滤光区域与第2滤光区域的分割方向的第2直线不平行；以及
利用所述被摄体的拍摄影像来获取所述滤光片到所述被摄体的距离信息。
技术方案20
根据技术方案19所述的距离信息获取方法，其还具备如下内容：根据所述第1直线与所述第2直线所成的角度使拍摄影像转动。
技术方案21
根据技术方案20所述的距离信息获取方法，其还具备如下内容：显示所述转动后的拍摄影像。
技术方案22
一种摄像装置，其具备：
摄像机，其在开口部配备有至少包含第1滤光区域和第2滤光区域的滤光片；以及
设置单元，其以将表示从所述摄像机输出的拍摄影像中所包含的第1主轴的直线投影在所述滤光片上而得的第1直线、将表示与所述拍摄影像中所包含的所述第1主轴正交的第2主轴的直线投影在所述滤光片上而得的第2直线、以及表示所述滤光片的第1滤光区域与第2滤光区域的分割方向的第3直线不平行的方式设置所述摄像机。
技术方案23
根据技术方案22所述的摄像装置，其中，所述第1主轴和所述第2主轴沿着摄像范围中所包含的房屋的地板或墙壁的正交的2条边。
技术方案24
根据技术方案22所述的摄像装置，其中，所述第1主轴或所述第2主轴沿着摄像范围中所包含的道路的延伸方向或者车辆的行进方向。
技术方案25
根据技术方案22至24中任一项所述的摄像装置，其还具备处理部，所述处理部根据所述第1直线与所述第2直线所成的角度使所述拍摄影像转动。
技术方案26
根据技术方案25所述的摄像装置，其还具备显示部，所述显示部显示所述转动后的拍摄影像。
由于本实施方式的处理能够通过计算机程序来实现，因此，只须通过存储有该计算机程序的计算机可读取的存储介质将该计算机程序安装在计算机中并加以执行，即可容易地实现与本实施方式相同的效果。
虽然对本发明的若干实施方式进行了说明，但这些实施方式是作为例子而提出的，并非意欲限定发明的范围。这些实施方式能以其他各种形态加以实施，能够在不脱离发明的主旨的范围内进行各种省略、替换、变更。这些实施方式和其变形包含在发明的范围和主旨内，同样包含在权利要求书中记载的发明及其均等的范围内。

Claims (10)

1.一种摄像装置，其特征在于，具备：
摄像机，其在开口部配备有至少包含第1滤光区域和第2滤光区域的滤光片；以及
设置单元，其以将表示铅垂方向的直线投影在所述滤光片上而得的第1直线与表示所述滤光片的第1滤光区域与第2滤光区域的分割方向的第2直线不平行的方式设置所述摄像机。
2.根据权利要求1所述的摄像装置，其特征在于，
还具备处理部，所述处理部根据所述第1直线与所述第2直线所成的角度使拍摄影像转动。
3.一种摄像系统，其特征在于，具备：
根据权利要求2所述的摄像装置；以及
显示部，其显示所述转动后的拍摄影像。
4.一种距离信息获取方法，其特征在于，具备如下内容：
使用摄像机来拍摄被摄体，所述摄像机在开口部配备有至少包含第1滤光区域和第2滤光区域的滤光片，且将表示铅垂方向的直线投影在所述滤光片上而得的第1直线与表示所述滤光片的第1滤光区域与第2滤光区域的分割方向的第2直线不平行；以及
利用所述被摄体的拍摄影像来获取所述滤光片到所述被摄体的距离信息。
5.根据权利要求4所述的距离信息获取方法，其特征在于，
还具备如下内容：根据所述第1直线与所述第2直线所成的角度使拍摄影像转动。
6.根据权利要求5所述的距离信息获取方法，其特征在于，
还具备如下内容：显示所述转动后的拍摄影像。
7.一种摄像装置，其特征在于，具备：
摄像机，其在开口部配备有至少包含第1滤光区域和第2滤光区域的滤光片；以及
设置单元，其以将表示从所述摄像机输出的拍摄影像中所包含的第1主轴的直线投影在所述滤光片上而得的第1直线、将表示与所述拍摄影像中所包含的所述第1主轴正交的第2主轴的直线投影在所述滤光片上而得的第2直线、以及表示所述滤光片的第1滤光区域与第2滤光区域的分割方向的第3直线不平行的方式设置所述摄像机。
8.根据权利要求7所述的摄像装置，其特征在于，
所述第1主轴和所述第2主轴沿着摄像范围中所包含的房屋的地板或墙壁的正交的2条边。
9.根据权利要求7所述的摄像装置，其特征在于，
所述第1主轴或所述第2主轴沿着摄像范围中所包含的道路的延伸方向或者车辆的行进方向。
10.根据权利要求7至9中任一项所述的摄像装置，其特征在于，
还具备处理部，所述处理部根据所述第1直线与所述第2直线所成的角度使所述拍摄影像转动。
CN201710801514.0A 2016-11-11 2017-08-31 摄像装置、摄像系统以及距离信息获取方法 Pending CN108076267A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2016-220642 2016-11-11
JP2016220642 2016-11-11
JP2017139402A JP2018084571A (ja) 2016-11-11 2017-07-18 処理装置、撮像装置および自動制御システム
JP2017-139402 2017-07-18
CN201710771177.5A CN108076266A (zh) 2016-11-11 2017-08-31 处理装置以及摄像装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201710771177.5A Division CN108076266A (zh) 2016-11-11 2017-08-31 处理装置以及摄像装置

Publications (1)

Publication Number Publication Date
CN108076267A true CN108076267A (zh) 2018-05-25

Family

ID=62108618

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710771177.5A Pending CN108076266A (zh) 2016-11-11 2017-08-31 处理装置以及摄像装置
CN201710801514.0A Pending CN108076267A (zh) 2016-11-11 2017-08-31 摄像装置、摄像系统以及距离信息获取方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201710771177.5A Pending CN108076266A (zh) 2016-11-11 2017-08-31 处理装置以及摄像装置

Country Status (2)

Country Link
US (2) US20180137629A1 (zh)
CN (2) CN108076266A (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6878219B2 (ja) 2017-09-08 2021-05-26 株式会社東芝 画像処理装置および測距装置
US10802498B2 (en) * 2018-05-30 2020-10-13 Datalogic Ip Tech S.R.L. Target direction estimation using centroid follower
JP7064400B2 (ja) * 2018-07-19 2022-05-10 日立Astemo株式会社 物体検知装置
JP7021036B2 (ja) 2018-09-18 2022-02-16 株式会社東芝 電子機器及び通知方法
CN117528079A (zh) * 2018-09-24 2024-02-06 华为技术有限公司 用于执行质量优化去块的图像处理设备和方法
EP3674973A1 (en) * 2018-12-28 2020-07-01 Samsung Electronics Co., Ltd. Method and apparatus with liveness detection and object recognition
CN113875230B (zh) 2019-05-23 2023-03-28 奇跃公司 混合模式三维显示方法
JP7170609B2 (ja) * 2019-09-12 2022-11-14 株式会社東芝 画像処理装置、測距装置、方法及びプログラム
JP7123884B2 (ja) * 2019-09-12 2022-08-23 株式会社東芝 撮像装置、方法及びプログラム
JP7353924B2 (ja) * 2019-11-08 2023-10-02 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、及びプログラム
CN114746903B (zh) 2019-12-06 2023-11-14 奇跃公司 虚拟、增强和混合现实系统和方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1677217A (zh) * 2004-03-31 2005-10-05 松下电器产业株式会社 摄像装置及摄像用光检测装置
JP2012022308A (ja) * 2010-06-14 2012-02-02 Nikon Corp 撮像装置
US20120057858A1 (en) * 2010-09-08 2012-03-08 Kabushiki Kaisha Toshiba Camera module
CN102472958A (zh) * 2010-05-11 2012-05-23 松下电器产业株式会社 三维摄像装置
JP2013057761A (ja) * 2011-09-07 2013-03-28 Olympus Corp 距離測定装置、撮像装置、距離測定方法
CN103163718A (zh) * 2011-12-15 2013-06-19 汤姆森特许公司 彩色立体的立体图像捕获设备
US20160154152A1 (en) * 2014-11-28 2016-06-02 Kabushiki Kaisha Toshiba Lens device and image capturing device

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5454348B2 (ja) * 2010-05-12 2014-03-26 ソニー株式会社 撮像装置および画像処理装置
JP2012003233A (ja) * 2010-05-17 2012-01-05 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP2012128101A (ja) * 2010-12-14 2012-07-05 Olympus Corp 撮像装置
JP5914881B2 (ja) * 2011-05-19 2016-05-11 パナソニックＩｐマネジメント株式会社 ３次元撮像装置、画像処理装置、画像処理方法、およびプログラム
JP2014230179A (ja) * 2013-05-24 2014-12-08 ソニー株式会社 撮像装置及び撮像方法
JP6017399B2 (ja) * 2013-10-23 2016-11-02 オリンパス株式会社 撮像装置及び位相差検出方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1677217A (zh) * 2004-03-31 2005-10-05 松下电器产业株式会社 摄像装置及摄像用光检测装置
CN102472958A (zh) * 2010-05-11 2012-05-23 松下电器产业株式会社 三维摄像装置
JP2012022308A (ja) * 2010-06-14 2012-02-02 Nikon Corp 撮像装置
US20120057858A1 (en) * 2010-09-08 2012-03-08 Kabushiki Kaisha Toshiba Camera module
JP2013057761A (ja) * 2011-09-07 2013-03-28 Olympus Corp 距離測定装置、撮像装置、距離測定方法
CN103163718A (zh) * 2011-12-15 2013-06-19 汤姆森特许公司 彩色立体的立体图像捕获设备
US20160154152A1 (en) * 2014-11-28 2016-06-02 Kabushiki Kaisha Toshiba Lens device and image capturing device

Also Published As

Publication number Publication date
US20180137629A1 (en) 2018-05-17
CN108076266A (zh) 2018-05-25
US20180137607A1 (en) 2018-05-17

Similar Documents

Publication Publication Date Title
CN108076267A (zh) 摄像装置、摄像系统以及距离信息获取方法
JP6854366B2 (ja) 少なくとも１つの物体を光学的に検出する検出器
CN108076264A (zh) 摄像装置
CN109470158A (zh) 影像处理装置及测距装置
JP2018084802A (ja) 撮像装置、撮像システム及び距離情報取得方法
CN102447911B (zh) 图像获取单元、其方法以及相关控制单元
CN109211103A (zh) 推定系统
EP2947874A1 (en) Stereo camera and driver assistance apparatus and vehicle including the same
CN110023952A (zh) 数据处理装置、数据处理方法、程序和电子装置
CN107924040A (zh) 图像拾取装置、图像拾取控制方法和程序
JP2018160228A (ja) 経路生成装置、経路制御システム、及び経路生成方法
CN108805910A (zh) 多目车载记录仪、目标检测方法、智能驾驶系统及汽车
CA3165230A1 (en) System and method of capturing and generating panoramic three-dimensional images
CN108076263A (zh) 摄像装置及自动控制系统
CN108076265A (zh) 处理装置以及摄像装置
JP2020126612A (ja) スマートフォンを利用する歩行者を保護するための先端歩行者補助システムを提供する方法及び装置
CN107678041A (zh) 用于检测对象的系统和方法
CN108627089A (zh) 处理装置
CN107111764A (zh) 由对象在成像装置的视野中的深度触发的事件
US11475641B2 (en) Computer vision cameras for IR light detection
WO2023205571A1 (en) Systems and methods of collaborative enhanced sensing
JP7021036B2 (ja) 電子機器及び通知方法
US20230281835A1 (en) Wide angle eye tracking
WO2022067836A1 (en) Simultaneous localization and mapping using cameras capturing multiple spectra of light
JP2021170385A (ja) 処理装置および処理システム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180525

WD01 Invention patent application deemed withdrawn after publication