CN104620075A - 多被摄体的距离测量装置以及方法 - Google Patents

多被摄体的距离测量装置以及方法 Download PDF

Info

Publication number
CN104620075A
CN104620075A CN201380047317.4A CN201380047317A CN104620075A CN 104620075 A CN104620075 A CN 104620075A CN 201380047317 A CN201380047317 A CN 201380047317A CN 104620075 A CN104620075 A CN 104620075A
Authority
CN
China
Prior art keywords
focus
distance
subject
lens
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380047317.4A
Other languages
English (en)
Other versions
CN104620075B (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN104620075A publication Critical patent/CN104620075A/zh
Application granted granted Critical
Publication of CN104620075B publication Critical patent/CN104620075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32—Means for focusing
    • G03B13/34—Power focusing
    • G03B13/36—Autofocus systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00—Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12—Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Measurement Of Optical Distance (AREA)
  • Focusing (AREA)
  • Cameras In General (AREA)
  • Automatic Focus Adjustment (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明提供多被摄体的距离测量装置以及方法。光瞳定向传感器(16)对分别通过了透镜部(12a、12b)的光束进行光瞳分割，同时获取图像(A、B)。合焦检测部(60)根据表示图像(A、B)的图像信号进行合焦控制，检测合焦控制时的透镜部(12a、12b)的透镜位置。测量部(64)基于透镜部(12a、12b)的透镜位置来计算第1、第2被摄体的距离、第1、第2被摄体问的距离，并输出、记录计算结果。

Description

多被摄体的距离测量装置以及方法
技术领域
本发明涉及多被摄体的距离测量装置以及方法，特别涉及同时测量多被摄体的距离等的技术。
背景技术
在专利文献1中，记载了在马拉松转播中计算各选手(被摄体)的距离或被摄体间的距离并在转播图像中显示距离的摄影系统。该摄影系统在设于摄影范围内的多个测距区域的各测距区域中计算被摄体距离。
在专利文献2中记载了一种摄像装置，其以半圆状的2个分割出的透镜来构成远距离用的摄像透镜系统和近距离用的摄像透镜系统，并配置远距离用的摄像透镜系统和近距离用的摄像透镜系统的各透镜，用远距离用的摄像透镜系统使远距离的被摄体的图像成像于摄像元件的一半区域，用近距离用的摄像透镜系统使近距离的被摄体的图像成像于摄像元件的一半区域，从而能从摄像元件同时获取远距离用的图像和近距离用的图像。
在专利文献3中，记载了一种摄像装置，其使通过了摄影透镜的左右方向的不同区域的被摄体像分别成像于摄像元件，来获取左视点图像以及右视点图像。该摄像装置具备在摄像元件的各像素上设置将光束的一部分遮光的遮光构件(光瞳分割单元)而成的摄像元件(光瞳定向传感器)，并从该光瞳定向传感器获取左视点图像以及右视点图像。
在先技术文献
专利文献
专利文献1：JP特开2010-113043号公报
专利文献2：JP特开2010-271429号公报
专利文献3：JP特开2011-199755号公报
发明要解决的课题
专利文献1所记载的摄影系统对焦在多个被摄体(马拉松转播中是指各选手)当中的1个被摄体(跑在排头的选手)，不能获取分别对焦在多个被摄体的图像。
专利文献2所记载的摄像装置虽然能同时摄像远距离用的图像和近距离用的图像，但不能用单一的摄像装置来求取这些图像中的至被摄体(主要被摄体)为止的距离。由此，专利文献2所记载的摄像装置在检测被摄体距离的情况下，需要将摄像装置隔开给定距离而构成的立体摄像机装置。
专利文献3所记载的摄像装置虽然能从光瞳定向传感器对应于被摄体距离来获取视差不同的左视点图像以及右视点图像，但不能摄像对焦在被摄体距离不同的多个被摄体的图像。
发明内容
本发明鉴于这样的状况而提出，目的在于，提供能用1台摄像装置来同时获取合焦至被摄体距离(合焦距离)不同的多个被摄体的多个图像、并且能测量多个被摄体的合焦距离的多被摄体的距离测量装置以及方法。
用于解决课题的手段
为了达成上述目的，本发明的1个方式所涉及的多被摄体的距离测量装置具备：摄影光学系统，其由物理分离的多个透镜构成，摄影光学系统的多个区域对应于多个透镜的组合而分别具有独立的合焦距离；光瞳定向传感器，其具有二维状排列的光电变换元件所构成的多个像素，选择性地接受通过了多个区域的任一区域的光束；图像获取单元，其从光瞳定向传感器分别同时获取与多个区域对应的多个图像；合焦控制单元，其基于由图像获取单元获取的多个图像来独立驱动摄影光学系统的物理分离的多个透镜，使分别合焦至合焦距离不同的多个被摄体；以及第1计算单元，其分别计算由合焦控制单元分别合焦控制的多个被摄体的合焦距离。
根据本发明的1个方式，能用具有单一的摄影光学系统以及光瞳定向传感器的1台摄像装置来同时摄像已分别合焦至多个被摄体的图像，并且还能基于合焦控制时的信息来同时测量至多个被摄体为止的距离。
在本发明的另一方式所涉及的多被摄体的距离测量装置中，优选具备：第2计算单元，其基于由第1计算单元计算出的多个合焦距离来计算多个被摄体间的距离。由此能容易地掌握多个被摄体间的距离。
在本发明的又一方式所涉及的多被摄体的距离测量装置中，优选图像获取单元分别同时且连续获取与多个区域对应的多个图像，合焦控制单元基于由图像获取单元同时且连续获取的与多个区域对应的多个图像来独立驱动摄影光学系统的物理分离的多个透镜，使连续合焦至多个被摄体，第1计算单元连续计算由合焦控制单元分别连续地合焦控制的多个被摄体的合焦距离，第2计算单元基于由第1计算单元连续计算出的多个合焦距离来连续计算多个被摄体间的距离。由此，即使多个被摄体各自移动，也能始终测量多被摄体间的距离。
在本发明的又一方式所涉及的多被摄体的距离测量装置中，优选具备：合成图像生成单元，其基于由图像获取单元从光瞳定向传感器同时获取的多个图像来生成至少将已合焦的多个被摄体进行合成而得到的合成图像。由此，能在1个画面的合焦图像内观察分别合焦至合焦距离不同的多个被摄体的被摄体像，不会看丢多个被摄体。
在本发明的又一方式所涉及的多被摄体的距离测量装置中，优选基于由图像获取单元从光瞳定向传感器同时获取的多个图像来生成至少将已合焦的多个被摄体进行合成而得到的合成图像，并且将表示由第2计算单元计算出的多个被摄体间的距离的字符信息合成到合成图像。由此能以实际时间来确认多个被摄体间的距离。
在本发明的又一方式所涉及的多被摄体的距离测量装置中，优选具备：被摄体检测单元，其从由图像获取单元同时获取的多个图像中分别检测主要的被摄体，合焦控制单元将由图像获取单元同时获取的多个图像内的包含由被摄体检测单元检测到的被摄体在内的区域分别设为焦点检测区域，并基于各焦点检测区域的图像来独立驱动摄影光学系统的物理分离的多个透镜，使连续合焦至多个被摄体。由此，能一边分别追踪多个被摄体一边获取分别合焦至多个被摄体的图像以及合焦距离。
在本发明的又一方式所涉及的多被摄体的距离测量装置中，优选合焦控制单元独立驱动摄影光学系统的物理分离的多个透镜以使各焦点检测区域内的图像的对比度分别成为最大，来使连续合焦至多个被摄体。
在本发明的又一方式所涉及的多被摄体的距离测量装置中，优选第1计算单元具有对由合焦控制单元独立地合焦驱动了的多个透镜的透镜位置进行检测的透镜位置检测单元，并基于由透镜位置检测单元检测出的多个透镜的透镜位置来计算多个被摄体的合焦距离。由此，能与合焦控制单元进行的合焦控制联动来计算多个被摄体的合焦距离。另外，透镜位置检测单元可以直接检测多个透镜的透镜位置，也可以从针对分别驱动多个透镜的驱动单元的各驱动指令进行检测。
本发明的又一方式所涉及的多被摄体的距离测量方法包含：图像获取步骤，从包含摄影光学系统和光瞳定向传感器在内的摄像单元分别同时获取与摄影光学系统的多个区域对应的多个图像，其中，所述摄影光学系统由物理分离的多个透镜构成，摄影光学系统的所述多个区域对应于多个透镜的组合而分别具有独立的合焦距离，光瞳定向传感器具有二维状排列的光电变换元件所构成的多个像素，选择性地接受通过了多个区域的任一区域的光束；合焦控制步骤，基于由图像获取步骤获取的多个图像来独立驱动摄影光学系统的物理分离的多个透镜，使分别合焦至合焦距离不同的多个被摄体；以及第1计算步骤，分别计算由合焦控制步骤分别合焦控制的多个被摄体的合焦距离。
在本发明的又一方式所涉及的多被摄体的距离测量方法中，优选包含：第2计算步骤，基于由第1计算步骤计算出的多个合焦距离来计算多个被摄体间的距离。
发明效果
根据本发明，能用1台摄像装置来同时获取合焦至合焦距离不同的多个被摄体的多个图像，并能测量多个被摄体的合焦距离、多个被摄体间的距离等。
附图说明
图1是表示作为本发明所涉及的多被摄体的距离测量装置而被运用的摄像装置的实施方式的外观图。
图2是表示图1所示的摄像装置的内部构成的实施方式的框图。
图3A是表示运用在图1所示的摄像装置中的区域分割透镜的实施方式的主视图。
图3B是表示运用在图1所示的摄像装置中的区域分割透镜的实施方式的侧视图。
图4是包含区域分割透镜以及光瞳定向传感器的摄像装置的主要部分构成图。
图5是光瞳定向传感器的俯视图。
图6A是表示光瞳定向传感器的构成的主要部分截面图。
图6B是表示光瞳定向传感器的构成的主要部分截面图。
图7是用于说明多被摄体的距离测量方法的流程图。
图8A是同时摄像的合焦距离不同的2个图像的印象图。
图8B是同时摄像的合焦距离不同的2个图像的印象图。
图9A是表示同时摄像的合焦距离不同的2个图像的各AF区域中的AF评价值的曲线图。
图9B是表示同时摄像的合焦距离不同的2个图像的各AF区域中的AF评价值的曲线图。
图10是表示合成图像生成部的实施方式的框图。
图11是由合成图像生成部生成的合成图像的印象图。
具体实施方式
以下按照附图来说明本发明所涉及的多被摄体的距离测量装置以及方法的实施方式。
<多被摄体的距离测量装置的外观>
图1是表示作为本发明所涉及的多被摄体的距离测量装置而被运用的摄像装置(例如视频摄像机)10的实施方式的外观图。在多个被摄体是马拉松或站间接力的各选手的情况下，摄像装置10优选安装于三脚架11并搭载于第一转播车(例如马拉松或站间接力的排头的转播车)。
图2是表示摄像装置10的内部构成的实施方式的框图。
该摄像装置10将所摄像的动态图像经由外部输出端子32发送给无线发送机(未图示)。另外，摄像装置10将所摄像的动态图像记录在记录介质54，并同时测量多个被摄体的距离等，输出测量结果。
图3A以及图3B分别是表示运用在摄像装置10中的摄影光学系统(区域分割透镜)12的实施方式的主视图以及侧视图，图4是包含区域分割透镜12以及运用在摄像装置10中的摄像元件(光瞳定向传感器)16(图像获取单元)在内的摄像装置10的主要部分构成图。
如图3A以及图3B所示那样，区域分割透镜12由将1个透镜相对于透镜中心O1物理上下2分割而得到的半月型的透镜部12a、12b构成，且设为各透镜部12a、12b能在光轴L1的方向上相对移动。
透镜部12a、12b被透镜驱动部56(图2)分别独立地驱动，透镜位置受到控制，来合焦至合焦距离不同的2个被摄体(主要被摄体)。由此能变更透镜部12a、12b的合焦距离。另外，透镜部12a、12b的合焦控制的详情在后面叙述。
如图4所示，透镜部12a由于位于透镜部12b的前方(被摄体侧)，因此具有合焦至近距离侧的第1被摄体的合焦距离(1)，另一方面，透镜部12b具有合焦至远距离侧的第2被摄体的合焦距离(2)。
图5是光瞳定向传感器16的俯视图。如图5所示，光瞳定向传感器16具有二维状排列的光电变换元件所构成的多个像素(像素p1的像素群、像素p2的像素群)。像素p1的像素群选择性地接受通过了透镜部12a的光束，像素p2的像素群选择性地接受通过了透镜部12b的光束。
图6A以及图6B是表示光瞳定向传感器16的构成的主要部分截面图。如图6A以及图6B所示，像素p1在光电二极管PD的前面侧(微透镜L侧)配设有遮光构件16A，像素p2在光电二极管PD的前面侧配设有遮光构件16B。微透镜L以及遮光构件16A、16B具有作为光瞳分割单元的功能。遮光构件16A具有仅使通过区域分割透镜12的透镜部12a的光束入射到光电二极管PD的受光面的开口，遮光构件16B具有仅使通过区域分割透镜12的透镜部12b的光束入射到光电二极管PD的受光面的开口。
由此，通过从光瞳定向传感器16的像素p1的像素群和像素p2的像素群分别读出图像，能同时获取如图4所示那样合焦至第1被摄体的输出图像A和合焦至第2被摄体的输出图像B。
返回图2，装置整体的动作由中央处理装置(CPU：Central ProcessingUnit，中央处理器)40总括控制。
在摄像装置10设置有录像启动等的操作部38。将来自该操作部38的信号输入到CPU40，CPU40基于输入信号来控制摄像装置10的各电路，例如进行录像动作控制、图像处理控制、距离测量、图像数据的记录/再现控制、液晶监视器(LCD：Liquid Crystal Display)30的显示控制等。
在录像时，区域分割透镜12的各透镜部12a、12b被透镜驱动部56独立地控制透镜位置，来分别合焦至合焦距离不同的第1被摄体以及第2被摄体。通过了各透镜部12a、12b的被摄体光经由光圈14而成像在光瞳定向传感器16上。在光瞳定向传感器16中，以给定的时间间隔(动态图像的帧速率)来进行图像的读出控制。由此，能同时且连续获取如图4所示那样合焦至第1被摄体的图像A和合焦至第2被摄体的图像B。
从光瞳定向传感器16读出的图像A、图像B的输出信号在由模拟信号处理部20通过相关双采样处理而采样保持为每个像素的图像信号(电压信号)并放大后，施加给A/D变换器21。A/D变换器21将依次输入的图像信号变换为数字信号并输出到图像输入控制器22。另外，在MOS(Metal Oxide Semiconductor，金属氧化物半导体)型的光瞳定向传感器16中，内置有A/D变换器，这种情况下，从光瞳定向传感器16直接输出数字信号。
合焦距离分别不同、同时摄像的2个图像数据虽然能通过从光瞳定向传感器16选择像素位置并读出像素数据来获取，但也可以从光瞳定向传感器16读出全部像素数据并临时存储在存储器(SDRAM：SynchronousDynamic Random Access Memory，同步动态随机存取存储器)48中，从存储器48提取合焦距离不同的2个图像数据。
数字信号处理部24对经由图像输入控制器22输入的数字的图像信号进行偏移处理、包含白平衡校正以及灵敏度校正在内的增益调节处理、γ校正处理、YC处理等的给定的信号处理。
将由数字信号处理部24处理后的图像数据输入到VRAM(VideoRandom Access Memory，显示存储器)50。将从VRAM50读出的图像数据在视频编码器28进行编码，并输出到设于摄像机的背面的液晶监视器30(LCD)。由此将被摄体像显示在液晶监视器30(LCD)的显示画面上。这种情况下，既可以同时显示合焦距离不同的2个动态图像，也可以显示任意1个动态图像，也可以如后述那样显示对2个动态图像当中各自已合焦的区域的图像进行合成而得到的合成图像。
另外，CPU40被操作部38指示录像准备或开始时，使脸检测部42(被摄体检测单元)进行脸检测(被摄体检测)。脸检测部42包含未图示的图像比对电路以及脸图像模板，检测包含在摄影图像中的被摄体(人物)的脸，将该脸的位置、大小的信息输出给CPU40。即，脸检测部42的图像比对电路一边使预先设定的用于检测脸区域的最大的对象区域在画面内一点点地移动，一边调查与脸图像模板的相关。然后，在相关计分超出预先设定的阈值时，将该对象区域认定为脸区域。接下来，稍微缩小对象区域，再度调查与脸图像模板的相关。反复其直到希望检测的最小的检测区域为止，来求取脸区域。将如此求得的脸区域的信息(表示脸区域的大小以及位置的信息)输出给CPU40。另外，脸检测方法并不限于上述的示例，还能利用基于边缘检测或形状图案检测的脸检测方法、基于色相检测或肤色检测的脸检测方法等公知的方法。
CPU40基于从脸检测部42施加的脸区域的信息，将最大的脸区域和第二大的脸区域设定为同时摄像的2个图像的焦点检测区域(自动对焦(AF)区域)。
AF检测部43将由CPU40设定的2个图像A、B的各AF区域(脸区域)的图像信号的高频分量进行累计，将其累计值作为AF评价值输出给CPU40。CPU40经由透镜驱动部56来进行用于控制透镜部12a、12b的透镜位置的基于对比度AF的合焦控制(所谓的爬山控制)，使得从AF检测部43输入的AF评价值维持峰值。
另外，CPU40在从操作部38被指示录像准备或开始时，使自动曝光(AE)动作开始，将从A/D变换器21输出的图像数据取入到AE检测部44。在AE检测部44中，将同时获取的2个图像的AF区域(脸区域)的图像信号、或画面整体的图像信号进行累计，将其累计值输出到CPU40。CPU40根据从AE检测部44输入的累计值来计算被摄体的明亮度(摄影Ev值)，基于该摄影Ev值决定光圈14的光圈值，基于该决定的光圈值来控制光圈14，或进行模拟信号处理部20中的增益控制。
将如上述那样经AF控制以及AE控制的2个图像A、B以给定的时间间隔从光瞳定向传感器16读出，经由A/D变换器21、图像输入控制器22而输入到存储器48，进行临时存储。由数字信号处理部24适宜读出临时存储在存储器48中的2个图像A、B的图像数据，将在数字信号处理部24处理后的图像数据输入到VRAM50。将从VRAM50读出的图像数据在视频编码器28编码，输出到设于摄像机背面的液晶监视器30(LCD)，另外，经由外部输出端子32输出到外部设备(无线发送机等)。
另外，在数字信号处理部24中，进行包含图像数据的亮度数据Y以及色差数据Cr、Cb的生成处理(YC处理)在内的给定的信号处理。在将YC处理后的图像数据(YC数据)再度存储在存储器48中后，输出到压缩解压处理部26，以MPEG(Moving Picture Experts Group，动态图像专家组)-4等的动态图像压缩格式进行压缩。将压缩后的2个按合焦距离区分的图像A、B的动态图像文件、或者合成2个按合焦距离区分的图像A、B而得到的1个动态图像文件经由介质控制器52记录到记录介质54。由此能记录经同时动态图像摄影的合焦距离不同的2个动态图像、或合成后的1个动态图像。
另外，在EEPROM(Electrically Erasable and Programmable Read OnlyMemory，电可擦可编程只读存储器)46中除了记录由CPU40执行的控制程序以外，还记录控制所需要的各种数据等。
[多被摄体的距离测量]
接下来，说明对上述那样摄像后的合焦距离不同的2个图像A、B内的第1、第2被摄体的距离等进行测量的多被摄体的距离测量部。
图4所示的距离测量部主要由合焦检测部60、合焦控制部62、以及测量部64构成。
合焦检测部60(合焦控制单元)由图2所示的CPU40、脸检测部42、以及AF检测部43等构成，基于由光瞳定向传感器16获取的2个图像A、B来进行2个图像A、B的合焦检测。然后，在2个图像A、B的一者或两者为非合焦的情况下，对合焦控制部62输出用于使区域分割透镜12的各透镜部12a、12b移动到与2个图像A、B的合焦距离对应的透镜位置(合焦位置)的指令信号。
合焦控制部62(合焦控制单元)与图2所示的透镜驱动部56对应，基于从合焦检测部60输入的指令信号分别对各透镜部12a、12b独立进行驱动，使各透镜部12a、12b移动到合焦至合焦距离不同的第1、第2被摄体的透镜位置。
合焦检测部60将由光瞳定向传感器16获取的2个图像A、B分别处于合焦状态时各透镜部12a、12b的当前的透镜位置指令作为表示各透镜部12a、12b的透镜位置的信息输出给测量部64。例如，在使用脉冲电动机作为合焦控制部62的驱动单元的情况下，合焦检测部60将用于驱动脉冲电动机的脉冲信号输出给合焦控制部62。对该脉冲信号的脉冲数从透镜部12a、12b的基准位置(原位置)起进行了计数的计数值成为与当前的透镜部12a、12b的透镜位置对应的透镜位置指令。
测量部64(第1计算单元、第2计算单元、透镜位置检测单元)与图2所示的CPU40的测量功能对应。测量部64从合焦控制部62获取处于合焦状态的各透镜部12a、12b的透镜位置信息，并基于这些透镜位置信息来计算至图像A、B内的第1、第2被摄体为止的距离。另外，由于至第1、第2被摄体为止的距离(合焦距离(1)、(2))与透镜部12a、12b的透镜位置对应，因此能根据透镜部12a、12b的透镜位置信息来分别计算至第1、第2被摄体为止的距离。
另外，测量部64计算第1、第2被摄体间的距离。将如此计算出的第1、第2被摄体の距离、以及第1、第2被摄体间的距离适宜输出、记录。
[多被摄体的距离测量方法]
接下来，参考图7所示的流程图来说明多被摄体的距离测量方法。
在图5中，图4所示的合焦检测部60、合焦控制部62、测量部64执行以下的处理。
首先，合焦检测部60经由光瞳定向传感器16获取同时刻摄像出的图像A、B(步骤S10)。
合焦检测部60以及合焦控制部62基于图像A、B来进行透镜部12a、12b的合焦控制(步骤S12、S14)。
图8A以及图8B分别是表示经合焦控制的图像A、B的图。如图8A以及图8B所示那样，图像A合焦至第1被摄体(脸)，图像B合焦至第2被摄体(脸)。
接下来，合焦检测部60分别检测经合焦控制的透镜部12a、12b的透镜位置(步骤S16、S18)。
图9A以及图9B分别是表示图像A、B内的各AF区域(第1、第2被摄体的脸区域)的AF评价值的曲线图。合焦检测部60对透镜部12a、12b的透镜位置进行控制(爬山控制)，以使得各AF区域的AF评价值总是成为峰值，能分别检测当前的透镜部12a、12b的透镜位置a1、a2。
接下来，测量部64基于从合焦检测部60输入的表示透镜部12a、12b的透镜位置a1、a2的透镜位置信息来计算第1、第2被摄体的距离(合焦距离)(步骤S20、S22)，另外，通过求取计算出的第1、第2被摄体的距离之差来计算第1、第2被摄体间的距离(步骤S24)。
测量部64将上述那样计算出的第1、第2被摄体的距离、第1、第2被摄体间的距离进行输出(步骤S26)。
接下来，CPU40判别距离的测量是否已结束(步骤S28)，在未结束的情况下(“否”的情况下)，转移至步骤S10，以给定的时间间隔获取同时摄像到的下一时刻的图像A、B。由此反复上述步骤S10到步骤S28的处理。
另一方面，在步骤S28中判别为距离的测量已结束时(“是”的情况下)，结束多被摄体的距离测量。
能如上述那样测量给定的时间间隔的各时刻的第1、第2被摄体的距离、第1、第2被摄体间的距离。
[合成图像生成部]
接下来说明进行图像A、B的合成、以及距离信息的合成的合成图像生成部。
图10是表示合成图像生成部70的实施方式的框图。
合成图像生成部70(合成图像生成单元)由图2所示的数字信号处理部24以及CPU40构成，主要具备图像输入部71、合焦程度检测部72、分割区域选择部73、距离信息输入部74、字符发生器75、以及图像合成部76。
图像输入部71分别输入合焦至第1、第2被摄体的图像A、B(参考图8A、图8B)，并将输入的图像A、B输出到合焦程度检测部72。
合焦程度检测部72将输入的图像A、B的各画面分割为多个分割区域Aij、Bij(例如16×16的分割区域)，按每个分割区域Aij、Bij计算分割区域内的分割图像的高频分量的累计值(合焦程度信息)。然后，将计算出的分割图像的合焦程度信息与每个分割区域Aij、Bij的分割图像一起输出到分割区域选择部73。
分割区域选择部73基于合焦程度信息来选择分割区域Aij、Bij的相同的分割区域当中的合焦程度高的分割区域的分割图像，并将选择出的分割图像输出到图像合成部76。
图像合成部76将由分割区域选择部73选择出的各分割图像进行合成，来生成1画面份的合成图像。由此能如图11所示那样生成分别合焦至第1、第2被摄体的合成图像。
另一方面，距离信息输入部74从图4所示的测量部64输入表示第1、第2被摄体的距离、以及第1、第2被摄体间的距离的距离信息，并将这些距离信息输出到字符发生器75。字符发生器75基于输入的距离信息来产生与距离信息对应的字符图像(表示距离的数字)，将产生的字符图像输出到图像合成部76。
图像合成部76将从字符发生器75输入的字符图像合成到合成图像上。优选将图11所示那样表示第1、第2被摄体的距离的字符图像合成在第1、第2被摄体的近旁，优选将表示第1、第2被摄体间的距离的字符图像合成在第1、第2被摄体的中间位置。
将由图像合成部76合成后的合成图像经由外部输出端子32(图2)输出给转播车内的无线通信机。
由此，能拍摄对焦至第1被摄体(排头的跑步运动员)和第2被摄体(追赶的跑步运动员)的两者的选手的影像，另外还能数值显示选手间的间距(距离)，若将本摄像装置10装在对马拉松或站间接力实况转播的转播车，则实况转播会变得有意思。
另外，在图11所示的示例中显示第1、第2被摄体的距离和第1、第2被摄体间的距离，但也可以仅显示任意一者的距离。另外，这些距离既可以始终显示，也可以在第1、第2被摄体间的距离发生变化的情况下显示一段时间。
[其它]
在图11所示的示例中，在分别合焦至第1、第2被摄体的合成图像上合成显示了第1、第2被摄体间的距离等，但本发明并不限定于此。例如，也可以在图8A或图8B所示的图像A、或图像B的任意一者的图像中合成显示第1、第2被摄体间的距离等。
另外，在本实施方式中，作为合焦距离分别不同的第1、第2被摄体，以马拉松或站间接力的选手为例进行了说明，但本发明并不限定于此，能运用在各种被摄体的摄像中。另外，本发明适于多个被摄体的距离分别发生变化的多被摄体的摄像。
另外，也可以在LCD30(例如带触控面板的LCD)的画面上，通过点击等的用户输入来指定要进行合焦控制的合焦距离不同的多个被摄体。
进而，针对合焦距离不同的多个被摄体的合焦控制并不限于本实施方式的对比度AF，还能运用相位差AF等的各种AF。
另外，本发明并不限定于上述的实施方式，能在不脱离本发明的主旨的范围内进行各种变形，这点不言自明。
标号说明
10 摄像装置
12 区域分割透镜
12a、12b 透镜部
16 光瞳定向传感器
24 数字信号处理部
40 中央处理装置(CPU)
60 合焦检测部
62 合焦控制部
64 测量部
70 合成图像生成部

Claims (10)

1.一种多被摄体的距离测量装置，具备：
摄影光学系统，其由物理分离的多个透镜构成，该摄影光学系统的多个区域对应于所述多个透镜的组合而分别具有独立的合焦距离；
光瞳定向传感器，其具有二维状排列的光电变换元件所构成的多个像素，选择性地接受通过了所述多个区域的任一区域的光束；
图像获取单元，其从所述光瞳定向传感器分别同时获取与所述多个区域对应的多个图像；
合焦控制单元，其基于由所述图像获取单元获取的多个图像来独立驱动所述摄影光学系统的物理分离的多个透镜，使分别合焦至合焦距离不同的多个被摄体；和
第1计算单元，其分别计算由所述合焦控制单元分别合焦控制的所述多个被摄体的合焦距离。
2.根据权利要求1所述的多被摄体的距离测量装置，其中，
所述多被摄体的距离测量装置具备：第2计算单元，其基于由所述第1计算单元计算出的多个合焦距离来计算多个被摄体间的距离。
3.根据权利要求2所述的多被摄体的距离测量装置，其中，
所述图像获取单元分别同时且连续获取与所述多个区域对应的多个图像，
所述合焦控制单元基于由所述图像获取单元同时且连续获取的与所述多个区域对应的多个图像来独立驱动所述摄影光学系统的物理分离的多个透镜，使连续地合焦至所述多个被摄体，
所述第1计算单元连续计算由所述合焦控制单元分别连续地合焦控制的所述多个被摄体的合焦距离，
所述第2计算单元基于由所述第1计算单元连续计算出的多个合焦距离来连续计算多个被摄体间的距离。
4.根据权利要求1～3中任一项所述的多被摄体的距离测量装置，其中，
所述多被摄体的距离测量装置具备：合成图像生成单元，其基于由所述图像获取单元从所述光瞳定向传感器同时获取的多个图像来生成至少将已合焦的多个被摄体进行合成而得到的合成图像。
5.根据权利要求2或3所述的多被摄体的距离测量装置，其中，
所述多被摄体的距离测量装置具备：合成图像生成单元，其基于由所述图像获取单元从所述光瞳定向传感器同时获取的多个图像来生成至少将已合焦的多个被摄体进行合成而得到的合成图像，且将表示由所述第2计算单元计算出的多个被摄体间的距离的字符信息合成到所述合成图像。
6.根据权利要求1～5中任一项所述的多被摄体的距离测量装置，其中，
所述多被摄体的距离测量装置具备：被摄体检测单元，其从由所述图像获取单元同时获取的多个图像中分别检测主要的被摄体，
所述合焦控制单元将由所述图像获取单元同时获取的多个图像内的包含由所述被摄体检测单元检测到的被摄体在内的区域分别设为焦点检测区域，基于各焦点检测区域的图像来独立驱动所述摄影光学系统的物理分离的多个透镜，使连续合焦至所述多个被摄体。
7.根据权利要求6所述的多被摄体的距离测量装置，其中，
所述合焦控制单元独立驱动所述摄影光学系统的物理分离的多个透镜以使各焦点检测区域内的图像的对比度分别成为最大，来使连续合焦至所述多个被摄体。
8.根据权利要求1～7中任一项所述的多被摄体的距离测量装置，其中，
所述第1计算单元具有对由所述合焦控制单元独立地合焦驱动了的多个透镜的透镜位置进行检测的透镜位置检测单元，并基于由所述透镜位置检测单元检测出的多个透镜的透镜位置来计算所述多个被摄体的合焦距离。
9.一种多被摄体的距离测量方法，包含：
图像获取步骤，从包含摄影光学系统和光瞳定向传感器在内的摄像单元分别同时获取与所述摄影光学系统的多个区域对应的多个图像，其中，所述摄影光学系统由物理分离的多个透镜构成，所述多个区域对应于所述多个透镜的组合而分别具有独立的合焦距离，所述光瞳定向传感器具有二维状排列的光电变换元件所构成的多个像素，选择性地接受通过了所述多个区域的任一区域的光束；
合焦控制步骤，基于由所述图像获取步骤获取的多个图像来独立驱动所述摄影光学系统的物理分离的多个透镜，使分别合焦至合焦距离不同的多个被摄体；和
第1计算步骤，分别计算由所述合焦控制步骤分别合焦控制的所述多个被摄体的合焦距离。
10.根据权利要求9所述的多被摄体的距离测量方法，其中，
所述多被摄体的距离测量方法包含：第2计算步骤，基于由所述第1计算步骤计算出的多个合焦距离来计算多个被摄体间的距离。
CN201380047317.4A 2012-09-24 2013-09-19 多被摄体的距离测量装置以及方法 Active CN104620075B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012209799 2012-09-24
JP2012-209799 2012-09-24
PCT/JP2013/075306 WO2014046184A1 (ja) 2012-09-24 2013-09-19 複数被写体の距離計測装置及び方法

Publications (2)

Publication Number Publication Date
CN104620075A true CN104620075A (zh) 2015-05-13
CN104620075B CN104620075B (zh) 2016-04-13

Family

ID=50341488

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380047317.4A Active CN104620075B (zh) 2012-09-24 2013-09-19 多被摄体的距离测量装置以及方法

Country Status (5)

Country Link
US (1) US9386215B2 (zh)
EP (1) EP2902743B1 (zh)
JP (1) JP5750551B2 (zh)
CN (1) CN104620075B (zh)
WO (1) WO2014046184A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139559A (zh) * 2015-08-19 2018-06-08 富士胶片株式会社 透镜装置
CN108507540A (zh) * 2017-02-24 2018-09-07 柯尼卡美能达株式会社 物体接近检知装置以及物体接近检知方法

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9413998B2 (en) * 2014-07-07 2016-08-09 Lite-On Electronics (Guangzhou) Limited Image capturing module for increasing assembly flatness and shortening focusing time and method of assembling the same
US9525814B2 (en) * 2014-10-12 2016-12-20 Himax Imaging Limited Automatic focus searching using focal sweep technique
JP7040599B2 (ja) * 2018-03-13 2022-03-23 日本電気株式会社 視聴支援装置、視聴支援方法及びプログラム
JP2019168479A (ja) * 2018-03-22 2019-10-03 キヤノン株式会社 制御装置、撮像装置、制御方法、プログラム、および、記憶媒体
US20220400211A1 (en) * 2021-06-11 2022-12-15 Bennet Langlotz Digital camera with multi-subject focusing
US11283989B1 (en) * 2021-06-11 2022-03-22 Bennet Langlotz Digital camera with multi-subject focusing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1276539A (zh) * 1999-06-03 2000-12-13 奥林巴斯光学工业株式会社 多点测距装置
JP2003078802A (ja) * 2001-09-04 2003-03-14 Nippon Hoso Kyokai <Nhk> 撮像装置
JP2005109622A (ja) * 2003-09-29 2005-04-21 Minolta Co Ltd 多眼式撮像装置及び移動体通信端末
JP2006184065A (ja) * 2004-12-27 2006-07-13 Matsushita Electric Ind Co Ltd 物体検出装置
JP2010113043A (ja) * 2008-11-05 2010-05-20 Canon Inc 撮影システム及びレンズ装置
JP2011199755A (ja) * 2010-03-23 2011-10-06 Fujifilm Corp 撮像装置
WO2012017577A1 (ja) * 2010-08-06 2012-02-09 パナソニック株式会社 撮像装置および撮像方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07191259A (ja) * 1993-12-27 1995-07-28 Nikon Corp 焦点検出装置
US8124929B2 (en) * 2004-08-25 2012-02-28 Protarius Filo Ag, L.L.C. Imager module optical focus and assembly method
US8090195B2 (en) * 2008-02-12 2012-01-03 Panasonic Corporation Compound eye imaging apparatus, distance measuring apparatus, disparity calculation method, and distance measuring method
US8244058B1 (en) * 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
KR101441586B1 (ko) * 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
JP2010128122A (ja) * 2008-11-27 2010-06-10 Olympus Corp 撮像装置
JP5440903B2 (ja) * 2009-05-20 2014-03-12 株式会社リコー 撮像装置とステレオカメラ装置及び車外監視装置
US8345144B1 (en) * 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
JP2012044564A (ja) * 2010-08-20 2012-03-01 Sanyo Electric Co Ltd 撮像装置
JP2012042863A (ja) * 2010-08-23 2012-03-01 Olympus Corp 撮像装置
JP5832353B2 (ja) * 2012-03-29 2015-12-16 富士フイルム株式会社 撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1276539A (zh) * 1999-06-03 2000-12-13 奥林巴斯光学工业株式会社 多点测距装置
JP2003078802A (ja) * 2001-09-04 2003-03-14 Nippon Hoso Kyokai <Nhk> 撮像装置
JP2005109622A (ja) * 2003-09-29 2005-04-21 Minolta Co Ltd 多眼式撮像装置及び移動体通信端末
JP2006184065A (ja) * 2004-12-27 2006-07-13 Matsushita Electric Ind Co Ltd 物体検出装置
JP2010113043A (ja) * 2008-11-05 2010-05-20 Canon Inc 撮影システム及びレンズ装置
JP2011199755A (ja) * 2010-03-23 2011-10-06 Fujifilm Corp 撮像装置
WO2012017577A1 (ja) * 2010-08-06 2012-02-09 パナソニック株式会社 撮像装置および撮像方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108139559A (zh) * 2015-08-19 2018-06-08 富士胶片株式会社 透镜装置
CN108507540A (zh) * 2017-02-24 2018-09-07 柯尼卡美能达株式会社 物体接近检知装置以及物体接近检知方法

Also Published As

Publication number Publication date
WO2014046184A1 (ja) 2014-03-27
EP2902743B1 (en) 2017-08-23
CN104620075B (zh) 2016-04-13
EP2902743A4 (en) 2016-05-04
JP5750551B2 (ja) 2015-07-22
JPWO2014046184A1 (ja) 2016-08-18
US20150195449A1 (en) 2015-07-09
EP2902743A1 (en) 2015-08-05
US9386215B2 (en) 2016-07-05

Similar Documents

Publication Publication Date Title
CN104620075B (zh) 多被摄体的距离测量装置以及方法
US8810629B2 (en) Image processing apparatus, image capturing apparatus, image processing method, and program
CN101621625B (zh) 摄像设备
US20110193941A1 (en) Image processing apparatus, imaging apparatus, image processing method, and program
US20120147150A1 (en) Electronic equipment
US20120230606A1 (en) Image synthesizing apparatus, image synthesizing method, and image synthesizing program
US11682131B2 (en) Image capturing apparatus and method of controlling image capturing apparatus
CN104052925A (zh) 显示设备和显示设备的控制方法
US20110228100A1 (en) Object tracking device and method of controlling operation of the same
JP5448621B2 (ja) 撮像装置、及び撮像装置の制御方法
JP5377768B2 (ja) 画像処理方法及び装置
CN103986854A (zh) 图像处理设备、摄像设备和控制方法
US9247124B2 (en) Imaging apparatus, semiconductor integrated circuit, and imaging method
JP2017129788A (ja) 焦点検出装置及び方法、及び撮像装置
JP5942343B2 (ja) 撮像装置
JP2016197179A (ja) 焦点検出装置およびその制御方法
CN103988107A (zh) 成像设备、控制成像设备的方法和程序
CN106027875B (zh) 图像处理装置以及图像处理方法
JP6917803B2 (ja) 撮像装置、制御方法、及びプログラム
US20160373643A1 (en) Imaging apparatus, method of controlling imaging apparatus
JP6818449B2 (ja) 焦点検出装置
JP2006324727A (ja) 撮像装置およびその画像処理方法
JP5743710B2 (ja) 撮像装置およびその制御方法
US20220358667A1 (en) Image processing apparatus and method, and image capturing apparatus and control method thereof, and storage medium
JP2012103285A (ja) 焦点検出装置およびその制御方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant