CN108627089A - 处理装置 - Google Patents

处理装置 Download PDF

Info

Publication number
CN108627089A
CN108627089A CN201710770678.1A CN201710770678A CN108627089A CN 108627089 A CN108627089 A CN 108627089A CN 201710770678 A CN201710770678 A CN 201710770678A CN 108627089 A CN108627089 A CN 108627089A
Authority
CN
China
Prior art keywords
image
subject
processing unit
size
apart
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710770678.1A
Other languages
English (en)
Inventor
坂下爱
三岛直
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017136061A external-priority patent/JP2018156617A/ja
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to CN201710801511.7A priority Critical patent/CN108627090A/zh
Publication of CN108627089A publication Critical patent/CN108627089A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
    • G06T5/75—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/529—Depth or shape recovery from texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Abstract

本发明的实施方式涉及一种处理装置。根据实施方式，处理装置具备尺寸算出部。所述尺寸算出部根据距离映射图来算出被摄体的尺寸，所述距离映射图是在由单一的成像光学系统进行的一次拍摄中与影像一同获取到的，映射有表示到所述影像中所包含的所述被摄体的距离的信息。

Description

处理装置
本申请以日本专利申请2017-049918(申请日：2017年3月15日)及日本专利申请2017-136061(申请日：2017年7月12日)为基础，自这些申请享受优先权。本申请通过参考这些申请而包含这些申请的全部内容。
技术领域
本发明的实施方式涉及一种处理装置。
背景技术
获取由立体摄像机(多眼摄像机)拍摄到的被摄体的尺寸、例如被摄体上的指定的2点间的长度的技术为人所知。
发明内容
本发明要解决的问题在于提供一种能够利用单眼摄像机来获取被摄体的尺寸的处理装置。
根据实施方式，处理装置具备尺寸算出部。所述尺寸算出部根据距离映射图来算出所述被摄体的尺寸，所述距离映射图是在由单一的成像光学系统进行的一次拍摄中与影像一同获取到的，映射有表示到所述影像中所包含的被摄体的距离的信息。
根据上述构成的信息处理装置，能够利用单眼摄像机来获取被摄体的尺寸。
附图说明
图1为表示第1实施方式的处理装置的功能块的一例的图。
图2为表示第1实施方式的处理装置的硬件构成的一例的图。
图3为表示第1实施方式的摄像装置的一构成例的框图。
图4为表示第1实施方式的滤光片的一构成例的图。
图5为表示第1实施方式的滤光区域的透过率特性的一例的图。
图6为用以说明由第1实施方式的彩色开口所引起的光线变化以及散景的形状的图。
图7为表示第1实施方式的基准影像的点扩散函数的一例的图。
图8为表示第1实施方式的对象影像的点扩散函数的一例的图。
图9为表示第1实施方式的散景修正滤波器的一例的图。
图10为表示第1实施方式的影像及距离映射图的一例的图。
图11为表示第1实施方式的处理系统的处理的流程的一例的流程图。
图12为表示第1实施方式的处理系统下的被摄体的尺寸的一输出例的图。
图13为表示第1实施方式的处理系统下的被摄体的移动距离的一输出例的图。
图14为用以说明普通的运动捕捉系统的图。
图15为表示第1实施方式的处理系统下的被摄体的尺寸的又一输出例的图。
图16为表示第1实施方式的处理系统下的被摄体的尺寸的又一输出例的图。
图17为用以说明第1实施方式的处理装置对移动体的一运用例的图。
图18为用以说明第1实施方式的处理装置对移动体的又一运用例的图。
图19为用以说明第1实施方式的处理装置对自动门系统的一运用例的图。
图20为表示第1实施方式的处理装置的功能块的一变形例的图。
图21为表示第2实施方式的处理装置的功能块的一例的图。
图22为用以说明第2实施方式的处理装置对机器人的一运用例的图。
图23为表示第3实施方式的处理装置的功能块的一例的图。
图24为用以说明第3实施方式的处理装置对移动体的一运用例的图。
符号说明
1、1-2、1-3处理装置，2A影像，2B距离映射图(距离影像)，3显示部，4驱动部，5障碍物，11尺寸算出部，12输出信息生成部，13判断部，14移动体控制部，15信号发送部，100摄像装置，110滤光片，111第1滤光区域，112第2滤光区域，113光学中心，120透镜，130影像传感器，131第1传感器，132第2传感器，133第3传感器，140影像处理部，141影像获取部，142距离算出部，143输出部。
具体实施方式
下面，参考附图，对实施方式进行说明。
(第1实施方式)
首先，对第1实施方式进行说明。
图1为表示第1实施方式的处理装置的功能块的一例的图。
该处理装置1利用通过拍摄而获得的距离映射图(距离影像)2B来算出被摄体的尺寸，并输出所算出的被摄体的尺寸。处理装置1也可进而使用影像2A来算出被摄体的尺寸。被摄体的尺寸例如可与影像2A同时显示至显示部3。影像2A及距离映射图2B例如可直接从生成影像2A及距离映射图2B的摄像装置中获取，也可从存储影像2A及距离映射图2B的、经由网络加以连接的服务器获取，影像2A及距离映射图2B的详情将于后文叙述。显示部3例如为液晶显示器、在液晶显示器上配置触控面板的触摸屏显示器等。
处理装置1与(生成影像2A及距离映射图2B的)摄像装置及显示部3一起构成并得到处理系统。处理系统例如能够以摄像机、行车记录仪等录像设备、具有摄像功能的智能手机、具有摄像功能的个人计算机、监视系统、具有摄像功能的车辆、飞翔体、机器人等移动体等形式实现。
如图1所示，处理装置1具有尺寸算出部11和输出信息生成部12。
尺寸算出部11是担负利用距离映射图2B来算出影像2A上的被摄体的尺寸的功能的处理部。尺寸算出部11还可以使用影像2A来算出被摄体的尺寸。输出信息生成部12是担负生成并输出基于被摄体的尺寸的输出信息的功能的处理部。输出信息例如是与影像2A同时显示至显示部3用的信息。
图2为表示处理装置1的硬件构成的一例的图。
如图2所示，处理装置1具有CPU 101、RAM 102、非易失性存储器103、输入输出部104及通信部105，此外，具有将CPU 101、RAM 102、非易失性存储器103、输入输出部104及通信部105相互连接的总线106。
CPU 101是通过将非易失性存储器103中存储的计算机程序加载至RAM 102并加以执行来实现图1所示的包含尺寸算出部11及输出信息生成部12的处理装置1的各处理部的处理器。此处，例示的是处理装置1的各处理部由1个CPU 101即单一的处理器实现的例子，但处理装置1的各处理部也可由多个处理器实现。处理装置1的各处理部也可由专用的电子电路实现。RAM 102是用作主存储装置的存储介质，非易失性存储器103是用作辅助存储装置的存储介质。
输入输出部104是执行例如从摄像装置输入影像2A及距离映射图2B、输入来自用户的指示、将显示画面输出至显示部3等输入输出的模块。来自用户的指示可伴随键盘、指示装置、操作按钮等的操作而输入，在显示部3为触摸屏显示器的情况下，也可伴随触摸屏显示器上的触摸操作而输入。通信部105是执行例如经由网络的与外部设备的通信、与存在于周边的外部设备的无线通信等的模块。影像2A及距离映射图2B也可通过通信部105来获取。
此处，对影像2A及距离映射图2B的详情进行说明。
图3为表示生成影像2A及距离映射图2B的摄像装置的一构成例的框图。
如图3所示，摄像装置100具有滤光片110、透镜120、影像传感器130及影像处理部(处理装置)140。图3中，滤光片110到影像传感器130的箭头表示光的路径。此外，影像传感器130到影像处理部140的箭头表示电信号的路径。影像处理部140除了具有前文所述的尺寸算出部11及输出信息生成部12以外，还具有影像获取部141、距离算出部142及第2输出信息生成部143。
影像传感器130接收透过滤光片110及透镜120之后的光，并将接收到的光转换为电信号(进行光电转换)，由此生成影像。影像传感器130例如使用CCD(Charge CoupledDevice，电荷耦合元件)、CMOS(Complementary Metal Oxide Semiconductor，互补性氧化金属半导体)。影像传感器130例如具有接收红色(R)光的摄像元件(第1传感器131)、接收绿色(G)光的摄像元件(第2传感器132)、以及接收蓝色(B)光的摄像元件(第3传感器133)。各摄像元件接收对应的波段的光，并将接收到的光转换为电信号。通过对该电信号进行A/D转换，能够生成彩色影像(影像2A)。再者，也能使用红、绿、蓝色的每一摄像元件的电信号来分别生成R影像、G影像、B影像。也就是说，能够同时生成彩色影像、R影像、G影像、B影像。换句话说，摄像装置100能够在一次拍摄中获得彩色影像、R影像、G影像、B影像。滤光片110、透镜120及影像传感器130形成单一的光学系统。
滤光片110具有2个以上的彩色滤光区域。彩色滤光区域分别相对于摄像装置的光学中心为不对称的形状。1个彩色滤光区域所透过的光的波段的一部分与另1个彩色滤光区域所透过的光的波段的一部分例如重复。1个彩色滤光区域所透过的光的波段例如也可包含另1个彩色滤光区域所透过的光的波段。
图4表示滤光片110的一构成例。滤光片110例如由两种颜色的彩色滤光区域即第1滤光区域111和第2滤光区域112构成。滤光片110的中心与摄像装置100的光学中心113一致。第1滤光区域111及第2滤光区域112分别具有相对于光学中心113为非点对称的形状。此外，例如各滤光区域111、112不重复，且由2个滤光区域111、112构成滤光区域的整个区域。在图4所示的例子中，第1滤光区域111及第2滤光区域112分别具有圆形的滤光片110被穿过光学中心113的线段分割而成的半圆形状。此外，第1滤光区域111例如为黄色(Y)滤光区域，第2滤光区域112例如为青色(C)滤光区域。下面，设想使用图4所示的滤光片110这一情况来进行说明。
例如将图4所示的滤光片110配置在摄像机的开口部，由此构成开口部被两种颜色一分为二而成的结构开口即彩色开口。影像传感器130根据透过该彩色开口的光线来生成影像。可在入射至影像传感器130的光的光路上、在滤光片110与影像传感器130之间配置透镜120。也可在入射至影像传感器130的光的光路上、在透镜120与影像传感器130之间配置滤光片110。在设置多个透镜120的情况下，滤光片110也可配置在2个透镜120之间。
与第2传感器132相对应的波段的光透过黄色的第1滤光区域111和青色的第2滤光区域112两方。与第1传感器131相对应的波段的光透过黄色的第1滤光区域111、不透过青色的第2滤光区域112。与第3传感器133相对应的波段的光透过青色的第2滤光区域112、不透过黄色的第1滤光区域111。
再者，所谓某一波段的光透过滤光片或滤光区域，意指滤光片或滤光区域以高透过率透过该波段的光、由该滤光片或滤光区域所引起的该波段的光的衰减(即，光量的降低)极小。此外，所谓某一波段的光不透过滤光片或滤光区域，意指光被滤光片或滤光区域遮蔽例如滤光片或滤光区域以低透过率透过该波段的光、由该滤光片或滤光区域所引起的该波段的光的衰减极大。例如滤光片或滤光区域通过吸收某一波段的光而使光衰减。
图5为表示第1滤光区域111及第2滤光区域112的透过率特性的例子的图。如图5所示，在黄色的第1滤光区域111的透过率特性151中，以高透过率透过与R影像及G影像相对应的波段的光，几乎未透过与B影像相对应的波段的光。此外，在青色的第2滤光区域112的透过率特性152中，以高透过率透过与B影像及G影像相对应的波段的光，几乎未透过与R影像相对应的波段的光。
因而，与R影像相对应的波段的光仅透过黄色的第1滤光区域111，与B影像相对应的波段的光仅透过青色的第2滤光区域112，因此，R影像上及B影像上的散景的形状根据到被摄体的距离d，更详细而言是根据距离d与对焦距离df的差分而发生变化。此外，由于各滤光区域111、112相对于光学中心为不对称的形状，因此，R影像上及B影像上的散景的形状根据被摄体是处于对焦距离df的近前还是远处而不同。即，R影像上及B影像上的散景的形状发生了偏置。
参考图6，对由配置有滤光片110的彩色开口所引起的光线变化和散景的形状进行说明。
在被摄体200处于对焦距离df的远处的情况下(d＞df)，由影像传感器130拍摄到的影像中产生散景。表示该影像的散景的形状的点扩散函数(PSF：Point Spread Function)在R影像、G影像及B影像中各不相同。即，R影像的点扩散函数161R表现出偏左侧的散景的形状，G影像的点扩散函数161G表现出无偏置的散景的形状，B影像的点扩散函数161B表现出偏右侧的散景的形状。
此外，在被摄体200处于对焦距离df的情况下(d＝df)，由影像传感器130拍摄到的影像中几乎不产生散景。表示该影像的散景的形状的点扩散函数在R影像、G影像及B影像中大致相同。即，R影像的点扩散函数162R、G影像的点扩散函数162G、以及B影像的点扩散函数162B表现出无偏置的散景的形状。
此外，在被摄体200处于对焦距离df的近前的情况下(d＜df)，由影像传感器130拍摄到的影像中产生散景。表示该影像的散景的形状的点扩散函数在R影像、G影像及B影像中各不相同。即，R影像的点扩散函数103R表现出偏右侧的散景的形状，G影像的点扩散函数163G表现出无偏置的散景的形状，B影像的点扩散函数163B表现出偏左侧的散景的形状。
摄像装置100的影像处理部140利用这种特性来算出到被摄体的距离。
影像获取部141获取点扩散函数表示无偏置的散景的形状的G影像作为基准影像。此外，影像获取部141获取点扩散函数表示偏置散景的形状的R影像及B影像中的一方或两方作为对象影像。对象影像和基准影像是由1个摄像装置于同一时刻拍摄到的影像。
距离算出部142求出多个散景修正滤波器中当附加至对象影像时与基准影像的相关变得更高的散景修正滤波器，由此算出到被摄体的距离。此外，距离算出部142利用算出的距离来生成距离映射图。多个散景修正滤波器是对对象影像附加互不相同的散景的函数。此处，对由距离算出部142进行的距离算出处理的详情进行说明。
距离算出部142根据所获取到的对象影像和基准影像，对对象影像附加不同的散景，由此生成对象影像的散景形状经修正而得的修正影像。此处，距离算出部142使用假定到被摄体的距离为任意距离而制作的多个散景修正滤波器来生成对象影像的散景形状经修正而得的修正影像，求修正影像与基准影像的相关更高的距离，由此算出到被摄体的距离。
拍摄影像的点扩散函数由摄像装置100的开口形状和被摄体的位置与焦点位置的距离决定。图7为表示基准影像的点扩散函数的一例的图。如图7所示，与第2传感器132相对应的波段所透过的开口形状为点对称形的圆形状，因此点扩散函数所表示的散景的形状在焦点位置的前后无变化，散景幅度根据被摄体与焦点位置之间的距离的大小而变化。表示这种散景的形状的点扩散函数能以散景幅度根据被摄体的位置与焦点位置之间的距离的大小而变化的高斯函数的形式表达。再者，点扩散函数也能以散景幅度根据被摄体的位置与焦点位置的距离而变化的抛物柱面函数的形式表达。
图8为表示对象影像的点扩散函数的一例的图。再者，各图的中心(x0,y0)＝(0,0)。如图8所示，在被摄体处于焦点位置的远处的d＞df的情况下，对象影像(例如R影像)的点扩散函数能以在x＞0中因第1滤光区域111内的光衰减而导致散景幅度衰减的高斯函数的形式表达。此外，在被摄体处于焦点位置的近处的d＜df的情况下，对象影像(例如R影像)的点扩散函数能以在x＜0中因第1滤光区域111内的光衰减而导致散景幅度衰减的高斯函数的形式表达。
此外，通过对基准影像的点扩散函数和对象影像的点扩散函数进行解析，能够求出用以将对象影像的散景形状修正为基准影像的散景形状的多个散景修正滤波器。
图9为表示散景修正滤波器的一例的图。再者，图9所示的散景修正滤波器是使用图4所示的滤光片110的情况下的散景修正滤波器。如图9所示，散景修正滤波器分布在穿过第1滤光区域111与第2滤光区域112的交界的线段的中心点且正交于该线段的直线上(直线附近)。其分布是设想的每一距离下峰点(直线上的位置，高度)和从峰点开始的扩散都不一样的、图9所示那样的山状的分布。对象影像的散景形状可以使用散景修正滤波器而修正为设想了任意距离的各种散景形状。也就是说，能够生成设想了任意距离的修正影像。
距离算出部142利用拍摄影像的各像素求出生成的修正影像与基准影像的散景形状最近似或一致的距离。关于散景形状的一致度，计算以各像素为中心的任意尺寸的矩形区域内的修正影像与基准影像的相关即可。散景形状的一致度的计算使用现有的类似度评价方法即可。距离算出部142求出修正影像与基准影像的相关最高的距离，由此针对各像素而算出到被摄体的距离。
例如，现有的类似度评价方法利用SSD(Sum of Squared Difference，平方差总和)、SAD(Sum of Absolute Difference，绝对差值总和)、NCC(Normalized Cross-Correlation，归一化互相关)、ZNCC(Zero-mean Normalized Cross-Correlation，零均值归一化互相关)、Color Alignment Measure(颜色校正措施)等即可。在本实施方式中，使用利用了自然影像的色彩成分具有在局部具有线性关系的特性这一内容的Color AlignmentMeasure。在Color Alignment Measure中，根据拍摄影像的以对象像素为中心的局部境域的色彩分布的分散来算出表示相关关系的指标。
如此，距离算出部142生成利用假定了距离的散景修正滤波器对与滤光区域相应的对象影像的散景形状进行修正而得的修正影像，并求出生成的修正影像与基准影像的相关更高的距离，由此算出到被摄体的距离。
此外，距离算出部142利用算出的距离来生成距离映射图。距离映射图例如是以各像素的像素值表示距离的影像的形式生成。例如，从对焦位置的近前向远处分配表示波长较长的颜色的值(红)到表示波长较短的颜色的值(紫)。如此，距离映射图是以与影像的区域相对应的方式映射表示到被摄体的距离的信息而成，使用像素值作为表示到被摄体的距离的信息。以影像形式生成的距离映射图可以进行显示，因此，能够利用颜色来确认例如多个被摄体间的进深方向的位置关系。第2输出信息生成部12生成并输出包含由距离算出部142生成的距离映射图的输出信息。
图10为表示由摄像装置100生成的影像2A及距离映射图2B的一例的图。
图10中，(A)为影像2A的显示例，此外，(B)为距离映射图2B的显示例。距离映射图是越是位于对焦位置的近前各像素的像素值越是成为表示波长较长的颜色的值、越是位于对焦位置的远处各像素的像素值越是成为表示波长较短的颜色的值，如图10的(B)所示，以位于近前的被摄体配泛红的颜色、位于远处的被摄体配泛紫的颜色的影像的形式显示。
接着，对获取该影像2A及距离映射图2B而执行各种处理的处理装置1的处理的详情进行说明。
若拍摄到影像2A时的对焦距离已知，则能够利用光学中心到影像中心的距离与光学中心到物体的距离之比来获得拍摄影像上的被摄体的长度与实际的被摄体的长度之比。此外，如前文所述，距离映射图2B的像素值表示距离，因此，能够将各像素投影(映射)在实空间(三维空间)上。处理装置1更详细而言是尺寸算出部11将各像素投影(映射)在实空间(三维空间)上，由此获取例如与影像2A上指定的2点间相对应的被摄体的尺寸。此外，输出信息生成部12例如生成将所获取到的被摄体的尺寸重叠显示在影像2A上用的输出信息、也就是同时显示被摄体的尺寸和影像用的输出信息，并输出至显示部3。再者，在获取被摄体的尺寸时，影像2A用于被摄体的识别、被摄体上的应测定的部位的指定。换句话说，收到影像2A上的应测定的2点的尺寸算出部11仅利用距离映射图2B就能获取被摄体的尺寸，不需要影像2A。下面，对使用影像2A和距离映射图2B来获取被摄体的尺寸的情况进行说明。
图11为表示包含处理装置1的处理系统的处理的流程的一例的流程图。
首先，进行由摄像装置100进行的影像的拍摄(步骤A1)。摄像装置100生成影像2A(步骤A2)，而且生成距离映射图2B(步骤A3)。由摄像装置100生成的影像2A及距离映射图2B被处理装置1获取。
处理装置1例如通过显示部3来显示影像2A，并接收从映照在影像2A中的多个被摄体当中指定任一被摄体的指示、指定影像2A上的2点的指示等。该指示同时也是要求获取被摄体的尺寸。当收到获取被摄体的尺寸的要求时，处理装置1将距离映射图2B的各像素以使用各像素值所表示的距离的方式投影在三维空间上(步骤A4)。例如，在接收到指定某一被摄体的指示的情况下，处理装置1利用三维空间上所投影的像素间的距离(实际距离)来获取被摄体的宽度、长度等(步骤A5)。处理装置1将实际的被摄体的尺寸输出至显示部3，以通过例如重叠在影像2A上等而与影像2A同时显示(步骤A6)。
图12为表示包含处理装置1的处理系统下的被摄体的尺寸的一输出例的图。该处理系统例如是作为以30fps的帧率拍摄动态影像(每秒30张影像)的摄像装置而实现的。
处理装置1将所拍摄到的影像2A依序显示至显示部3，例如，当指定了影像2A上的某一位置时，对该影像2A进行解析而识别包含指定位置的被摄体，而且使用与该影像2A相对应的距离映射图2B将该影像2A的各像素中的至少映照有被摄体的像素投影在三维空间上。用以识别包含指定位置的被摄体的影像2A的解析不限于特定方法，可以运用已知的各种方法。处理装置1例如可利用三维空间上所投影的像素间的距离来获取被摄体的预先规定的方向或者指定的两点间的尺寸。每一被摄体下规定的方向、指定的两点可不一样。处理装置1也可获取被摄体的最大长度或最小长度。尺寸例如可重叠在影像2A上而显示至显示部3。例如，尺寸也可显示在影像2A中的被摄体附近。或者，在指定被摄体时指定的是被摄体内的1点的情况下，也可获取通过这1点的从被摄体的一端到另一端的线段的距离中最大的距离。进而，例如也可识别被摄体为何物，将与其种类相应的两点间的距离确定为尺寸。也可在处理装置1中设置用以实现按照每一种类来设定应获取尺寸的部分的接口。在显示被摄体的尺寸之后例如进行了规定操作的情况下，处理装置1将显示部3的显示恢复至依序显示最新的影像2A的形态。
图12展示了如下例子：在拍摄足球比赛时，进行了从映照在影像2A中的多个选手(被摄体)当中指定1位选手a1的指示，伴随于此，该选手的身高a2显示在影像2A上的选手a1的附近。
如此，根据该处理装置1，能够利用由单眼摄像机获取的影像2A及距离映射图2B来获取例如比赛中的选手等运动物体的尺寸。
再者，图12中展示的是获取并提示指定被摄体的尺寸的例子，但也可针对映照在影像2A中的所有被摄体获取并提示尺寸。在该情况下，也可在影像2A上以弹出窗口来显示影像2A中的所指定的一部分被摄体的尺寸。此外，不仅可在影像2A上进行重叠显示，例如也可缩小显示影像2A，在缩小显示后的影像2A的旁边打开另一窗口，在该另一窗口内以列表形式载放获取到的尺寸，由此与影像2A同时提示。
此外，根据该处理装置1，不仅能获取被摄体的尺寸，还能获取被摄体的移动距离。图13为表示包含处理装置1的处理系统下的被摄体的移动距离的一输出例的图。该处理系统也是以拍摄动态影像的摄像装置的形式实现。
图13展示了高尔夫比赛中的第一杆的飞行距离、更详细而言是距高尔夫球b1的发球位置b2的移动距离b3实时显示在影像2A上的例子。
若明确应获取移动距离的被摄体(此处为高尔夫球b1)和其初始位置，则处理装置1可以针对例如每1/30秒拍摄一次的影像的每1帧而将影像2A的各像素、至少映照有被摄体的像素根据距离映射图2B而投影至三维空间，由此实时获取初始位置与当前位置之间的距离也就是被摄体的移动距离。作为摄像对象的区域能以追踪被摄体的方式移动。此外，图13中，例示的是拍摄与高尔夫球b1移动的方向大致一致的方向的影像2A，但并不限于此，只要是从能够持续捕捉被摄体的位置拍摄到的影像2A即可。
如此，根据该处理装置1，能够获取运动物体的移动距离。
此外，由于能够获取被摄体的移动距离，因此该处理装置1能够运用于运动捕捉系统。
通常，运动捕捉系统会像图14所示那样将用以测定运动的传感器c1等安装在被实验者的各个部位。另一方面，在包含该处理装置1的处理系统中，不需要这种准备即可测量被摄体的运动。处理装置1针对例如每1/30秒拍摄一次的影像的每1帧而将影像2A的各像素根据距离映射图2B而投影至三维空间，由此能够每1/30秒测定一次被摄体的运动。
如此，根据该处理装置1，能够实现运动捕捉。
此外，该处理装置1的功能例如也能以作为具有(能够生成距离映射图的)摄像功能的智能手机中安装的应用之一的尺寸测量工具等形式实现。例如，在想要知道卖场中陈列的商品的尺寸的情况下，即便没有携带卷尺，也能通过拍摄该商品来获取该商品的尺寸。再者，智能手机的触摸屏显示器相当于显示部3。
例如，设想考虑想要测量家具店中展示的椅子的各种尺寸的情况。在该情况下，首先启动尺寸测量工具，之后通过智能手机的摄像功能来拍摄图15所示那样的该椅子的影像2A。尺寸测量工具将影像2A显示在智能手机的触摸屏显示器上。此外，尺寸测量工具将影像2A的各像素根据距离映射图2B而投影在三维空间上。
用户可以通过指定一端和另一端来获知2点间的距离。在想要测量该椅子的靠背的宽度的情况下，用户例如以触摸靠背的横向的一端(d1)、之后触摸另一端(d2)的方式在触摸屏显示器上进行触摸操作。指定影像2A上的2点的方法可以采用各种方法。例如，可为如下方法：在触摸屏显示器上显示条杆，以使条杆的顶端和末端对应于靠背的横向的两端(d1、d2)的方式使条杆伸缩。当指定了影像2A上的2点时，尺寸测量工具使用三维空间上所投影的2个像素的三维空间上的座标来获取指定的2点间的实际的尺寸，例如以重叠在影像2A上的方式将该尺寸显示在智能手机的触摸屏显示器上(d3)。
此外，在影像2A上指定2点的情况下测定的距离不仅仅限于这2点间的直线距离。例如，在指定了被摄体的弯曲的外表面上的2点的情况下，也能获取沿弯曲的外表面的外周距离。外周距离例如是连结沿弯曲的外表面的两点间的线中最短的线的长度。外周距离可以通过对处于连结2点间的线上的相邻的像素间的距离进行合计来获取。尺寸测量工具也可具备测定2点间的直线距离的第1模式和测定2点间的外周距离的第2模式。根据通过输入部的用户的模式设定，能够获取并显示直线距离或外周距离中的任一方。此外，尺寸测量工具也可获取并显示直线距离及外周距离两方。在进而具备测定2点间的直线距离及外周距离的第3模式且设定了第3模式的情况下，可获取并显示直线距离及外周距离两方。
此外，例如也可在提供尺寸测量工具的同时提供参考物，或者将尺寸经标准化的日用品作为参考物而与想要测定尺寸的物品一同拍摄(d4)。通过利用影像2A来获取参考物的尺寸，能够执行吸收智能手机的摄像功能的个体差异的校正。校正用的修正值例如可在智能手机出厂时以参数等形式预先赋予尺寸测量工具。
如此，根据该处理装置1的功能，能够实现可以利用由单眼摄像机获取的影像2A及距离映射图2B来获取例如卖场中陈列的商品等各种物品的尺寸的尺寸测量工具。
此外，该处理装置1可以运用于监视系统。
图16展示了影像2A的一例，所述影像2A是由例如为了监视商业设施内的通道上的行人而设置(能够生成距离映射图2B)的监视摄像机拍摄到的，供处理装置1识别行人(e1、e2、e3)，而且重叠显示有由处理装置1获取到的行人各自的身高(e11、e21、e31)。例如，在安保人员于影像2A上发现了认为是可疑人员的人物的情况下，能够立刻获得作为表示该人物的特征的有力信息之一的身高。
此外，例如在识别到认为是刀具的物品时，也可不只是利用该识别来进行某种处理，而是在该刀刃长度超过预先规定的长度的情况下，进行利用显示部3的警告显示，或者，若连接有声音输出部，则进行利用声音输出部的警告音输出。或者，在识别到包括刀具在内的规定物品的情况下，针对该物品而获取并显示预先规定的部位的长度。在对于行人和行人所携带的物品未发现可疑之处的情况下，也可由显示部3进行这一意思的显示，或者由声音输出部输出这一意思的声音。
此外，处理装置1例如也可不始终进行行人和行人所携带的物品(前文所述的刀具等)的识别、尺寸的获取，而是在用户指定了影像2A上的位置时切换至特殊模式，在特殊模式的期间内进行包含指定位置的被摄体的识别、追踪、尺寸的获取及显示等。从特殊模式到正常模式的切换例如在对象被摄体从影像2A上消失的情况下、或者进行了预先规定的操作的情况下实施即可。
如此，根据该处理装置1，能够利用由单眼摄像机获取的影像2A及距离映射图2B来获取行人和行人所携带的物品的尺寸，此外，能够实现根据获取到的尺寸来进行警告处理等的监视系统。
此外，该处理装置1能够运用于例如对汽车等移动体的驾驶、操纵进行辅助的辅助系统。
例如，如图17所示，移动体为汽车，以拍摄其行进方向的方式搭载有摄像装置100。此外，现在设想在汽车的行进方向上存在台阶f1的状况。
在这种情况下，处理装置1利用由摄像装置100生成的影像2A及距离映射图2B来测定该台阶f1，判定汽车能否越过，并通过显示部3将其判定结果提示给驾驶员。在无法越过的情况下，也可进而从汽车所配备的声音输出部输出警告声音。
此外，现在设想例如像图18所示那样在汽车的行进方向上存在门g1的状况。在这种情况下，处理装置1利用由摄像装置100生成的影像2A及距离映射图2B来测定被摄体g1-1与被摄体g1-2之间的宽度g2，判定汽车能否通过，并通过显示部3将其判定结果提示给驾驶员。在无法通过的情况下，也可进而从汽车所配备的声音输出部输出警告声音。
如此，根据该处理装置1，能够利用由单眼摄像机获取的影像2A及距离映射图2B来进行对移动体的驾驶、操纵进行辅助的处理。考虑到搭载于汽车这一点，也能以例如行车记录仪等录像设备的形式来实现该处理装置1。
此外，该处理装置1能够运用于自动门系统。
例如，如图19所示，设想转门以固定速度持续转动的自动门。在转门的情况下，通行者难以掌握何种程度的尺寸以下能够通过。因此，利用由摄像装置100生成的影像2A及距离映射图2B来获取例如通行者的行李(被摄体)的尺寸，在超过能够通过转门的尺寸的情况下，从转门上设置的声音输出部输出警告声音。在运用于该自动门系统的情况等下面，该处理装置1可像图20所示那样配备声音输出部3-2代替图1的显示部3。也可配备显示部3和声音输出部3-2两方。在前文所述的监视系统、辅助系统中也是一样的。由于处理装置1能够追踪被摄体的移动，因此能够只在被摄体朝转门移动的情况下自适应地进行尺寸的获取以及可否通过的判定。因而，即便超过能够通过的尺寸的被摄体横穿过转门前面，也能防止错误地输出警告声音这样的情况。
在图17的台阶f1、图18的门g1等处于移动体的行进方向上的障碍物会动的情况下，处理装置1也可不断获取障碍物的信息。障碍物的信息例如为障碍物的形状、障碍物与移动体通过的路径相重叠的部分的宽度等。判断部13能够进行与障碍物的时间变化相应的、可否通行的判断。例如可以在判断能够通过之后障碍物的形状发生了变化的情况下，判断部13判断为无法通过。或者，可以在判断为无法通过之后障碍物的形状发生了变化的情况下，判断部13判断为能够通过。
如此，根据该处理装置1，能够利用由单眼摄像机获取的影像2A及距离映射图2B来进行防止自动门的事故的处理。
此外，由于该处理装置1能够利用由单眼摄像机获取的影像2A及距离映射图2B来获取被摄体的尺寸，因此，例如与多眼摄像机相比，能谋求摄像装置100的轻量化。此外，还能谋求低成本化。轻量化在搭载于最大装载量较小的例如无人机等飞翔体的情况下是重要事项，在这一点上，作为单眼摄像机的摄像装置100比多眼摄像机合适。通过在无人机等飞翔体上搭载摄像装置100，该处理装置1能够运用于例如对结构物的检查作业等进行辅助的辅助系统。再者，就与多眼摄像机的比较而言，作为单眼摄像机的摄像装置100不会产生在多眼摄像机中成为问题的视差，因此能够提高尺寸的获取精度。再者，也能使用由多眼摄像机获取的影像及距离映射图来进行尺寸计算出。根据由多眼摄像机获取的影像，能够获取被摄体的三维形状，因此能够求出被摄体表面的任意2点间的距离。
例如，将GPS[global positioning system，全球定位系统]接收器、高度传感器等获取位置信息的功能与摄像装置100一同搭载于无人机，使该无人机在检查对象结构物周边飞翔来获取结构物的外表面的影像2A及距离映射图2B，并与位置信息加以关联记录。例如，在影像2A上发现了结构物的外表面的缺损部分的情况下，能够确定其位置，确认其规模、形状。
或者，根据与检查对象结构物有关的立体信息，使无人机飞翔来获取结构物的外表面的影像2A及距离映射图2B，并与该立体信息加以关联记录。在该情况下，例如在影像2A上发现了结构物的外表面的缺损部分的情况下，能够确定其位置，确认其规模、形状。
此外，在对前一次检查时拍摄到的影像2A的距离映射图2B与本次检查时拍摄到的影像2A的距离映射图2B进行对比而检测到预先规定的值以上的差的情况下，以能够识别该位置的形态显示对应的影像2A，由此，例如能够发现螺栓的欠缺等而不会看漏。或者，在震灾发生后对震灾前拍摄的影像2A的距离映射图2B与震灾后拍摄的影像2A的距离映射图2B进行对比，由此能够准确地掌握结构物所受到的损伤的状况。
另外，通过使无人机飞翔来获取影像2A及距离映射图2B，能够将该处理装置1运用于各种用途。例如，可运用于如下用途：使无人机沿着电线飞翔来获取电线的影像2A及距离映射图2B，从而调查以何种状态布设有多少米的电线。
(第2实施方式)
接着，对第2实施方式进行说明。再者，以下，对与第1实施方式相同的构成使用同一符号，此外，省略对同一构成的重复说明。
图21为表示第2实施方式的处理装置的功能块的一例的图。
该处理装置1利用获取到的影像2A和距离映射图(距离影像)2B来算出影像2A上的被摄体的尺寸，根据算出的被摄体的尺寸来控制移动体的驱动部4的驱动。在本实施方式中，输出信息是控制处理系统的一部分或全部活动的控制信号。
如图21所示，处理装置1-2具有尺寸算出部11、判断部13及移动体控制部14。
尺寸算出部11是担负利用影像2A和距离映射图2B来算出影像2A上的被摄体的尺寸的功能的处理部。判断部13是担负根据被摄体的尺寸来判断应当如何驱动驱动部4的功能的处理部。移动体控制部14是担负根据判断部13的判断来控制驱动部4的驱动的功能的处理部。处理装置1-2的硬件构成与第1实施方式的处理装置1相同，处理装置1-2的各处理部例如也是由单一或多个处理器实现。也可在处理装置1-2上连接有显示部及/或声音输出部。显示部及/或声音输出部例如与判断部13连接。
该处理装置1-2能够与(生成影像2A及距离映射图2B的)摄像装置及驱动部4一起构成处理系统。处理系统例如能以具有摄像功能的车辆、飞翔体、机器人等移动体等形式实现。
首先，对将该处理装置1-2运用于例如对汽车等移动体的驾驶、操纵进行辅助的辅助系统的情况下的处理的一例进行说明。
例如，移动体为汽车，以拍摄其行进方向的方式搭载有摄像装置100。此外，现在，与第1实施方式中说明过的情况一样，设想像图17所示那样在汽车的行进方向上存在台阶f1的状况。
在这种情况下，处理装置1-2的尺寸算出部11利用由摄像装置100生成的影像2A及距离映射图2B来测定该台阶f1。判断部13判断汽车能否越过该台阶f1，在无法越过的情况下，例如将用以使汽车停止或者变更汽车的行进方向的信号发送至移动体控制部14。接收到该信号的移动体控制部14例如以使汽车停止或者变更汽车的行进方向的方式控制驱动部4的驱动。
此外，现在，与第1实施方式中说明过的情况一样，设想像图18所示那样在汽车的行进方向上存在门g1的状况。尺寸算出部11利用由摄像装置100生成的影像2A及距离映射图2B来测定门g1的宽度g2。判断部13判断汽车能否通过该宽度g2，在无法通过的情况下，例如将用以使汽车停止或者改变汽车的行进方向的信号发送至移动体控制部14。接收到该信号的移动体控制部14例如以使汽车停止或者变更汽车的行进方向的方式控制驱动部4的驱动。
或者，在判断门g1的宽度g2为若收起汽车的侧面后视镜则汽车能够通过的尺寸的情况下，判断部13可将用以使侧面后视镜收起的信号发送至移动体控制部14。接收到该信号的移动体控制部14以收起侧面后视镜的方式控制驱动部4的驱动。
接着，对将该处理装置1-2运用于自动门系统的情况下的处理的一例进行说明。
例如，与第1实施方式中说明过的情况一样，设想像图19所示那样转门以固定速度持续转动的自动门。尺寸算出部11利用由摄像装置100生成的影像2A及距离映射图2B来获取例如通行者的行李(被摄体)的尺寸。判断部13判断该尺寸是否是能够通过转门的尺寸，在超过能够通过转门的尺寸的情况下，例如将用以使自动门的转动停止的信号发送至移动体控制部14。接收到该信号的移动体控制部14例如以使自动门的转动停止的方式控制驱动部4的驱动。
接着，对将该处理装置1-2运用于机器人的情况下的处理的一例进行说明。此处，设想例如像图22所示那样具有抓起在搬送线上搬送而来的对象物h1并按大小加以分拣的机械臂作为驱动部4的机器人。
尺寸算出部11利用由摄像装置100生成的影像2A及距离映射图2B来获取对象物h1的尺寸。判断部13首先判断该对象物h1是否为能够抓起的尺寸，在为能够抓起的尺寸的情况下，接着判断其分拣目的地。在不是能够抓起的尺寸的情况下(包括比容许范围小和大这两种情况)，移动体控制部14可控制驱动部4的驱动以进行抓起对象物h1以外的动作，或者在显示部上显示警告，或者从声音输出部输出警告声音。此外，在为能够抓起的尺寸且判断好其分拣目的地的情况下，判断部13将用以将对象物h1运至其分拣目的地的信号发送至移动体控制部14。接收到该信号的移动体控制部14以使对象物h1移动至所指示的地方的方式控制驱动部4的驱动。
或者，也能沿搬送线配置多个机器人，各机器人获取对象物h1的尺寸，以仅抓起预先规定的范围的尺寸的对象物h1。
再者，机器人不限于工业用，例如也能以自主移动而清扫地板的清扫机器人等家庭用形式实现。在清扫机器人的情况下，通过运用该处理装置1-2，例如判断垃圾的尺寸能否通过吸入口，在为若吸入则有垃圾堵在吸入口之虞的尺寸的情况下，能够进行暂停抽吸而越过此处、或者变更移动路径等控制。此外，在像清扫机器人这样自主移动的设备中，近来，称为SLAM(Simultaneous localization and mapping，同时定位与地图构建)的自身位置推断技术受到关注，而能够利用影像2A及距离映射图2B来获取到被摄体的距离的处理装置1-2可以运用于利用该SLAM的自身位置推断。
(第3实施方式)
接着，对第3实施方式进行说明。再者，以下，对与第1实施方式或第2实施方式相同的构成使用同一符号，此外，省略对同一构成的重复说明。
图23为表示第3实施方式的处理装置的功能块的一例的图。
该处理装置1利用获取到的影像2A和距离映射图(距离影像)2B来算出影像2A上的被摄体的尺寸，根据算出的被摄体的尺寸来执行与障碍物5之间的通信。
如图23所示，处理装置1-3具有尺寸算出部11、判断部13及信号发送部15。
尺寸算出部11是担负利用影像2A和距离映射图2B来算出影像2A上的被摄体的尺寸的功能的处理部。判断部13是担负根据被摄体的尺寸来判断应当如何驱动驱动部4的功能的处理部。信号发送部15是担负根据判断部13的判断来执行与障碍物5之间的通信的功能的处理部。处理装置1-3的硬件构成与第1实施方式的处理装置1、第2实施方式的处理装置1-2相同，处理装置1-3的各处理部例如也能以单一或多个处理器来实现。
此外，该处理装置1-3能够与(生成影像2A及距离映射图2B的)摄像装置一起构成处理系统。处理系统例如能以具有摄像功能的车辆、飞翔体、机器人等移动体等形式实现。
现在，该处理装置1-2运用于例如对汽车等移动体的驾驶、操纵进行辅助的辅助系统，以拍摄其行进方向的方式搭载有摄像装置100。此外，如图24所示，设想在某一道路上行驶时在该道路上停有另一汽车(障碍物j1)的状况。
在这种情况下，处理装置1-3的尺寸算出部11利用由摄像装置100生成的影像2A及距离映射图2B来测定另一汽车(障碍物j1)旁边的空间的宽度j2。判断部13判断汽车能否通过该宽度j2，在无法通过的情况下，将用以敦促另一汽车(障碍物j1)移动的信号发送至信号发送部15。接收到该信号的信号发送部15对另一汽车(障碍物j1)输出敦促移动的信号。
或者，在作为对向车的另一汽车(障碍物j1)在道路上行驶而来的情况下，获取另一汽车(障碍物j1)的尺寸或者另一汽车(障碍物j1)旁边的空间的尺寸，在判断无法在道路上会车的情况下，尽快将这一意思通知另一汽车(障碍物j1)，由此可防止碰撞事故等于未然。判断部13可不断获取另一汽车(障碍物j1)的尺寸或者另一汽车(障碍物j1)旁边的空间的尺寸等。例如，在另一汽车(障碍物j1)的门打开而导致横宽增加的情况下，判断部13从信号发送部15对另一汽车(障碍物j1)输出用以唤起有可能要下车的另一汽车(障碍物j1)的乘客(不仅是驾驶员，还可能包括同乘人员)的注意的信号。通过不断获取另一汽车(障碍物j1)的尺寸或者另一汽车(障碍物j1)旁边的空间的尺寸等，即便在从另一汽车(障碍物j1)的门关闭而能够会车的状态转移到了另一汽车(障碍物j1)的门打开而无法会车的状态等情况下，也能自适应地加以应对。
如以上所说明，根据第1至第3实施方式，能够利用单眼摄像机来获取被摄体的尺寸。
虽然对本发明的若干实施方式进行了说明，但这些实施方式是作为例子而提出的，并非意欲限定发明的范围。这些新颖的实施方式能以其他各种形态加以实施，能够在不脱离发明的主旨的范围内进行各种省略、替换、变更。这些实施方式和其变形包含在发明的范围和主旨内，而且包含在权利要求书中记载的发明及其均等的范围内。
本实施方式包含以下特征。
[附记1]
处理装置，其具备尺寸算出部，所述尺寸算出部根据距离映射图来算出被摄体的尺寸，所述距离映射图是在由单一的成像光学系统进行的一次拍摄中与影像一同获取到的，所述距离映射图映射有表示到所述影像中所包含的所述被摄体的距离的信息。
[附记2]
根据附记1所述的处理装置，其中，所述距离映射图是使用所述影像中所包含的散景的点扩散函数来求出。
[附记3]
根据附记1或2所述的处理装置，其中，所述影像及所述距离映射图是通过所述单一的光学系统来获取，所述单一的光学系统能够生成包含点扩散函数对称的第1波长成分和点扩散函数不对称的第2波长成分的影像。
[附记4]
根据附记1～3中任一项所述的处理装置，其还具备输出信息生成部，所述输出信息生成部生成并输出用以将所述被摄体的尺寸与所述影像同时在显示部上加以显示的输出信息。
[附记5]
根据附记1～4中任一项所述的处理装置，其具备接收所述影像上的第1位置和第2位置的指定的输入部，
所述尺寸算出部算出与所述第1位置和所述第2位置相对应的所述被摄体的2点间的尺寸。
[附记6]
根据附记5所述的处理装置，其中，
所述第1位置是以条杆的一端的形式指定，所述第2位置是以所述条杆的另一端的形式指定。
[附记7]
根据附记1～6中任一项所述的处理装置，其具备接收所述影像上的第3位置的指定的输入部，
所述尺寸算出部将通过所述第3位置而从所述被摄体的一端到达至另一端的线段作为所述被摄体的尺寸并输出。
[附记8]
根据附记1～4中任一项所述的处理装置，其具备利用所述影像来识别所述被摄体的种类的识别部，
所述尺寸算出部根据所述被摄体的种类来算出预先规定的方向的尺寸或者预先规定的两点间的尺寸。
[附记9]
根据附记5所述的处理装置，其中，所述尺寸算出部算出所述被摄体的2点间的直线距离或者沿所述被摄体的外表面的所述2点间的外周距离。
[附记10]
根据附记9所述的处理装置，其具备输入部，所述输入部接收算出所述2点间的直线距离的第1模式或者算出所述2点间的外周距离的第2模式中的任一方的指定。
[附记11]
根据附记1～3中任一项所述的处理装置，其具备判断部，所述判断部根据所述被摄体的尺寸来发送用以判断驱动部的驱动方法的信号。
[附记12]
一种处理系统，其具备：
摄像装置，其构成单一的成像光学系统；以及
处理装置，其具备尺寸算出部，所述尺寸算出部根据距离映射图来算出被摄体的尺寸，所述距离映射图是在由所述摄像装置进行的一次拍摄中与影像一同获取到的，所述距离映射图与所述影像对应地映射有表示到所述影像中所包含的所述被摄体的距离的信息。

Claims (10)

1.一种处理装置，其特征在于，
具备尺寸算出部，
所述尺寸算出部根据距离映射图来算出被摄体的尺寸，所述距离映射图是在由单一的成像光学系统进行的一次拍摄中与影像一同获取到的，所述距离映射图映射有表示到所述影像中所包含的所述被摄体的距离的信息。
2.根据权利要求1所述的处理装置，其特征在于，
所述距离映射图是使用所述影像中所包含的散景的点扩散函数来求出。
3.根据权利要求1或2所述的处理装置，其特征在于，
所述影像及所述距离映射图是通过所述单一的光学系统来获取，所述单一的光学系统能够生成包含点扩散函数对称的第1波长成分和点扩散函数不对称的第2波长成分的影像。
4.根据权利要求1～3中任一项所述的处理装置，其特征在于，
还具备输出信息生成部，所述输出信息生成部生成并输出用以将所述被摄体的尺寸与所述影像同时在显示部上加以显示的输出信息。
5.根据权利要求1～4中任一项所述的处理装置，其特征在于，
具备接收所述影像上的第1位置和第2位置的指定的输入部，
所述尺寸算出部算出与所述第1位置和所述第2位置相对应的所述被摄体的2点间的尺寸。
6.根据权利要求5所述的处理装置，其特征在于，
所述第1位置是以条杆的一端的形式指定，所述第2位置是以所述条杆的另一端的形式指定。
7.根据权利要求1～6中任一项所述的处理装置，其特征在于，
具备接收所述影像上的第3位置的指定的输入部，
所述尺寸算出部将通过所述第3位置而从所述被摄体的一端到达至另一端的线段作为所述被摄体的尺寸并输出。
8.根据权利要求1～4中任一项所述的处理装置，其特征在于，
具备利用所述影像来识别所述被摄体的种类的识别部，
所述尺寸算出部根据所述被摄体的种类来算出预先规定的方向的尺寸或者预先规定的两点间的尺寸。
9.根据权利要求5所述的处理装置，其特征在于，
所述尺寸算出部算出所述被摄体的2点间的直线距离或者沿所述被摄体的外表面的所述2点间的外周距离。
10.根据权利要求9所述的处理装置，其特征在于，
具备输入部，所述输入部接收算出所述2点间的直线距离的第1模式或者算出所述2点间的外周距离的第2模式中的任一方的指定。
CN201710770678.1A 2017-03-15 2017-08-31 处理装置 Pending CN108627089A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710801511.7A CN108627090A (zh) 2017-03-15 2017-08-31 车辆用处理系统

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2017049918 2017-03-15
JP2017-049918 2017-03-15
JP2017136061A JP2018156617A (ja) 2017-03-15 2017-07-12 処理装置および処理システム
JP2017-136061 2017-07-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710801511.7A Division CN108627090A (zh) 2017-03-15 2017-08-31 车辆用处理系统

Publications (1)

Publication Number Publication Date
CN108627089A true CN108627089A (zh) 2018-10-09

Family

ID=63519781

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710770678.1A Pending CN108627089A (zh) 2017-03-15 2017-08-31 处理装置
CN201710801511.7A Pending CN108627090A (zh) 2017-03-15 2017-08-31 车辆用处理系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710801511.7A Pending CN108627090A (zh) 2017-03-15 2017-08-31 车辆用处理系统

Country Status (2)

Country Link
US (2) US20180270413A1 (zh)
CN (2) CN108627089A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10282998B2 (en) * 2017-03-17 2019-05-07 Denso International America, Inc. Vehicle system and vehicle controller for controlling vehicle
US11482018B2 (en) * 2017-07-19 2022-10-25 Nec Corporation Number-of-occupants detection system, number-of-occupants detection method, and program
JP6878219B2 (ja) 2017-09-08 2021-05-26 株式会社東芝 画像処理装置および測距装置
EP3502934A1 (en) * 2017-12-21 2019-06-26 Quicket GmbH Methods and systems for generating a representation of a seated person using facial measurements
JP7370045B2 (ja) * 2019-09-11 2023-10-27 株式会社Liberaware 寸法表示システムおよび寸法表示方法
US11875517B2 (en) * 2020-03-23 2024-01-16 Full-Swing Golf, Inc. Golf ball tracking system and methods
JP7379299B2 (ja) * 2020-08-28 2023-11-14 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1124521A (zh) * 1993-05-28 1996-06-12 绅宝·斯堪尼亚联合技术股份有限公司 用于记录车辆移动的方法和装置
CN1798958A (zh) * 2003-05-29 2006-07-05 奥林巴斯株式会社 立体光学模块和立体摄像机
US20110199469A1 (en) * 2010-02-15 2011-08-18 Gallagher Andrew C Detection and display of stereo images
US9117277B2 (en) * 2012-04-04 2015-08-25 Canon Kabushiki Kaisha Determining a depth map from images of a scene
CN105427331A (zh) * 2015-12-21 2016-03-23 江苏康克移软软件有限公司 一种数字病理切片的测量方法及测量装置
US20160154152A1 (en) * 2014-11-28 2016-06-02 Kabushiki Kaisha Toshiba Lens device and image capturing device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000161915A (ja) * 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
EP1906339B1 (en) * 2006-09-01 2016-01-13 Harman Becker Automotive Systems GmbH Method for recognizing an object in an image and image recognition device
KR100791389B1 (ko) * 2006-12-26 2008-01-07 삼성전자주식회사 스트럭쳐드 라이트를 이용한 거리 측정 장치 및 방법
JP5109101B2 (ja) * 2009-09-17 2012-12-26 日立オートモティブシステムズ株式会社 車両制御装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1124521A (zh) * 1993-05-28 1996-06-12 绅宝·斯堪尼亚联合技术股份有限公司 用于记录车辆移动的方法和装置
CN1798958A (zh) * 2003-05-29 2006-07-05 奥林巴斯株式会社 立体光学模块和立体摄像机
US20110199469A1 (en) * 2010-02-15 2011-08-18 Gallagher Andrew C Detection and display of stereo images
US9117277B2 (en) * 2012-04-04 2015-08-25 Canon Kabushiki Kaisha Determining a depth map from images of a scene
US20160154152A1 (en) * 2014-11-28 2016-06-02 Kabushiki Kaisha Toshiba Lens device and image capturing device
CN105427331A (zh) * 2015-12-21 2016-03-23 江苏康克移软软件有限公司 一种数字病理切片的测量方法及测量装置

Also Published As

Publication number Publication date
US20180268225A1 (en) 2018-09-20
US20180270413A1 (en) 2018-09-20
CN108627090A (zh) 2018-10-09

Similar Documents

Publication Publication Date Title
CN108627089A (zh) 处理装置
CN106993181B (zh) 多vr/ar设备协同系统及协同方法
US10823818B2 (en) Detector for optically detecting at least one object
CN109470158B (zh) 影像处理装置及测距装置
CN108076264A (zh) 摄像装置
US20180190014A1 (en) Collaborative multi sensor system for site exploitation
CN110174093A (zh) 定位方法、装置、设备和计算机可读存储介质
CN109479088A (zh) 基于深度机器学习和激光雷达进行多目标跟踪和自动聚焦的系统和方法
CN107924040A (zh) 图像拾取装置、图像拾取控制方法和程序
KR102597216B1 (ko) 공항용 안내 로봇 및 그의 동작 방법
CN109211103A (zh) 推定系统
US20180275659A1 (en) Route generation apparatus, route control system and route generation method
CN107110971A (zh) 多模式深度成像
JP2010044740A (ja) ３次元格子地図作成方法及びこれを用いた自動走行装置の制御方法
JP6699897B2 (ja) 撮像装置、自動制御システム及びシステム
WO2005088971A1 (ja) 画像生成装置、画像生成方法、および画像生成プログラム
WO2013047627A1 (ja) 画像取得装置
CN108459596A (zh) 一种移动电子设备以及该移动电子设备中的方法
CN109997091B (zh) 用于管理3d飞行路径的方法和相关系统
CN109410234A (zh) 一种基于双目视觉避障的控制方法及控制系统
CN114729804A (zh) 用于导航的多光谱成像系统和方法
KR20180040908A (ko) 공항 로봇
CN107107834A (zh) 投影型显示装置、电子设备、驾驶者视觉辨认图像共享方法以及驾驶者视觉辨认图像共享程序
JP2021152543A (ja) 車両用処理システム
WO2016185634A1 (ja) 情報処理装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181009

WD01 Invention patent application deemed withdrawn after publication