CN109155842B - 立体相机及立体相机的控制方法 - Google Patents

立体相机及立体相机的控制方法 Download PDF

Info

Publication number
CN109155842B
CN109155842B CN201780030167.4A CN201780030167A CN109155842B CN 109155842 B CN109155842 B CN 109155842B CN 201780030167 A CN201780030167 A CN 201780030167A CN 109155842 B CN109155842 B CN 109155842B
Authority
CN
China
Prior art keywords
image
optical system
wide
pan
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201780030167.4A
Other languages
English (en)
Other versions
CN109155842A (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN109155842A publication Critical patent/CN109155842A/zh
Application granted granted Critical
Publication of CN109155842B publication Critical patent/CN109155842B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B19/00—Cameras
    • G03B19/02—Still-picture cameras
    • G03B19/04—Roll-film cameras
    • G03B19/07—Roll-film cameras having more than one objective
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Accessories Of Cameras (AREA)
  • Cameras In General (AREA)

Abstract

本发明提供一种能够同时获取两个广角图像及两个长焦图像，尤其在获取两个长焦图像时在两个长焦光学系统的光轴上能够可靠地捕捉主要被摄体的立体相机及立体相机的控制方法。从第1摄像部(11L)及第2摄像部(11R)同时获取第1广角图像和第2广角图像以及第1长焦图像和第2长焦图像，尤其构成第1摄影光学系统(12L)的广角光学系统和长焦光学系统的光轴一致，同样地，第2摄影光学系统也以相同的方式构成，因此根据第1广角图像及第2广角图像对第1摄像部(11L)及第2摄像部(11R)独立地进行云台控制，以便在第1摄影光学系统及第2摄影光学系统各自的光轴上捕捉主要被摄体，由此能够使主要被摄体位于第1长焦图像及第2长焦图像的中心位置。

Description

立体相机及立体相机的控制方法
技术领域
本发明涉及一种立体相机及立体相机的控制方法，尤其涉及一种能够同时拍摄作为立体图像的广角图像和作为立体图像的长焦图像的技术。
背景技术
以往，提出有搭载有多台(四台)相机的多个相机系统用云台装置(专利文献1)。
专利文献1中所记载的多个相机系统用云台装置由以下部分构成：两台第1云台构件(子云台)，搭载两台复眼相机单元，能够在平摇方向及俯仰方向上控制各复眼相机单元；及第2云台构件(母云台)，搭载两台第1云台构件(两台复眼相机单元)，能够在平摇方向或俯仰方向上控制两台复眼相机单元，所述多个相机系统用云台装置将两台复眼相机单元分开搭载于第2云台上。
各复眼相机单元包括广角透镜相机和变焦相机，广角透镜相机的光轴和变焦相机的光轴默认朝向相同的方向。
变焦透镜相机朝向与广角透镜相机相同的光轴方向，因此在广角透镜的视场角内将被摄体的细节进行放大，能够拍摄详细的长焦图像。进而，多个相机系统用云台装置朝向捕捉到的被摄体而控制第2云台构件，由此能够使装置正对着被摄体，装置捕捉被摄体，在正对着被摄体的时刻，能够通过三角测量法而测定装置与被摄体之间的距离。
另一方面，提出有一种自动跟踪摄像装置，其通过具有光轴一致的广角光学系统及长焦光学系统的单一摄像部而同时获取广角图像和长焦图像，且能够在长焦图像中可靠地捕捉跟踪对象的物体(专利文献2)。
专利文献2中所记载的自动跟踪摄像装置由以下部分构成：摄影光学系统，由配置于共同的光轴上的作为广角光学系统的中央光学系统和作为长焦光学系统的环状光学系统构成；定向传感器，将经由广角光学系统及长焦光学系统而入射的光束分别进行光瞳分割并选择性地受光；云台机构；物体检测部，在从定向传感器获取的广角图像及长焦图像中，至少根据广角图像而检测跟踪对象的物体；及云台控制部，根据由物体检测部检测出的物体在图像中的位置信息来控制云台机构。
专利文献2中所记载的自动跟踪摄像装置能够通过具有光轴一致的广角光学系统和长焦光学系统的单一摄像部而同时获取广角图像和长焦图像，因此能够实现装置的小型化且低成本化，并且，由于广角光学系统和长焦光学系统的光轴一致，因此至少根据广角图像而检测跟踪对象的物体，并根据检测出的物体在图像中的位置信息来控制云台机构，由此能够使物体进入到长焦图像内(自动跟踪)，并且，即使物体高速移动，也能够根据广角图像捕捉物体，因此不会发生跟踪丢失。
以往技术文献
专利文献
专利文献1：日本特开2011-109630号公报
专利文献2：日本特开2015-154386号公报
发明内容
发明要解决的技术课题
专利文献1中所记载的多个相机系统用云台装置搭载有两台复眼相机单元(两台广角透镜相机和两台变焦相机)，因此能够同时拍摄作为立体图像的两个广角图像和作为立体图像的两个长焦图像，但各复眼相机单元由于包括广角透镜相机和变焦相机，因此存在大型化的问题。
并且，构成复眼相机单元的广角透镜相机的光轴和变焦相机的光轴朝向相同的方向，但两者的光轴平行而不一致。从而，广角透镜相机在光轴上捕捉到被摄体(主要被摄体)时，使变焦相机进行放大而拍摄主要被摄体的细节的情况下，主要被摄体在偏离被放大的长焦图像的中心(变焦相机的光轴)的位置上被拍摄到，并且，在变焦相机的变焦倍率为高倍率的情况下，主要被摄体偏离变焦相机的视场角，存在无法通过变焦相机而捕捉主要被摄体的问题。
另一方面，专利文献2中所记载的自动跟踪摄像装置通过具有光轴一致的广角光学系统和长焦光学系统的单一摄像部能够同时获取广角图像和长焦图像，因此若将云台机构控制成在广角图像的中心捕捉跟踪对象物体，则在长焦图像的中心能够捕捉跟踪对象物体，但无法获取主要被摄体的距离信息等，并且，无法应用根据主要被摄体的距离信息使变焦相机对焦于主要被摄体的自动调焦方法。
本发明是鉴于这种情况而完成的，因此其目的在于提供一种能够同时获取作为立体图像的两个广角图像和作为立体图像的两个长焦图像，尤其在获取两个长焦图像时，在两个长焦光学系统的光轴上能够可靠地捕捉主要被摄体的立体相机及立体相机的控制方法。
用于解决技术课题的手段
为了实现上述目的，本发明的一方式所涉及的立体相机具备：
第1摄像部，包括：第1摄影光学系统，具有光轴分别一致且配置于不同区域的广角光学系统和长焦光学系统；及第1定向传感器，具有将经由广角光学系统及长焦光学系统而入射的光束分别进行光瞳分割并选择性地受光的多个像素；
第2摄像部，包括与第1摄影光学系统为相同结构的第2摄影光学系统和与第1定向传感器为相同结构的第2定向传感器，并相对于第1摄像部分开基线长度而配置；
图像获取部，从第1定向传感器及第2定向传感器，获取第1广角图像及第2广角图像和第1长焦图像及第2长焦图像；
云台机构，使第1摄像部及第2摄像部分别向水平方向及垂直方向转动；
云台控制部，根据由图像获取部获取的第1广角图像及第2广角图像来控制云台机构，在第1摄影光学系统及第2摄影光学系统各自的光轴上捕捉主要被摄体；及
距离信息计算部，根据由图像获取部获取的第1长焦图像及第2长焦图像，至少计算主要被摄体的距离信息。
根据本发明的一方式，彼此分开基线长度而配置的第1摄像部和第2摄像部能够通过云台机构而分别向水平方向及垂直方向进行转动，并且，第1摄像部包括：第1摄影光学系统，具有光轴分别一致且配置于不同区域的广角光学系统和长焦光学系统；及第1定向传感器，具有将经由广角光学系统及长焦光学系统而入射的光束分别进行光瞳分割并选择性地受光的多个像素；与第1摄像部同样地，第2摄像部包括第2摄影光学系统和第2定向传感器而构成。
而且，能够从第1摄像部及第2摄像部同时获取作为立体图像的第1广角图像和第2广角图像、及作为立体图像的第1长焦图像和第2长焦图像，尤其构成第1摄影光学系统的广角光学系统和长焦光学系统的光轴一致，同样地，构成第2摄影光学系统的广角光学系统和长焦光学系统的光轴一致，因此通过将云台机构控制成根据第1广角图像及第2广角图像在第1摄影光学系统及第2摄影光学系统的各自的光轴上(光轴交叉的交叉点)捕捉主要被摄体，由此能够使主要被摄体位于第1长焦图像及第2长焦图像的中心位置(对应于光轴的位置)。另外，根据第1广角图像及第2广角图像来控制云台机构，因此能够可靠地捕捉主要被摄体而不会丢失。
并且，第1长焦图像及第2长焦图像作为立体图像而被拍摄，因此能够计算主要被摄体的距离信息，但与第1广角图像及第2广角图像相比，第1长焦图像及第2长焦图像的空间分辨率高，因此能够计算高精度的距离信息。
本发明的另一方式所涉及的立体相机中，优选距离信息计算部具备对应点检测部，该对应点检测部根据第1长焦图像及第2长焦图像而检测特征量分别一致的两个对应点，并根据由对应点检测部检测出的两个对应点在第1定向传感器及第2定向传感器中的视差量、基线长度、第1摄影光学系统及第2摄影光学系统各自的光轴方向、长焦光学系统的焦点距离计算对应点的距离。
由此，不仅能够计算第1摄像光学系统及第2摄像光学系统各自的光轴上的主要被摄体的距离信息，而且也能够计算从第1长焦图像及第2长焦图像中检测出对应点的被摄体的距离信息。
本发明的又一方式所涉及的立体相机中，优选第1摄影光学系统及第2摄影光学系统分别由广角光学系统和长焦光学系统构成，所述广角光学系统由圆形中央光学系统构成，所述长焦光学系统由相对于中央光学系统以同心圆状配设的环状光学系统构成。通过由圆形中央光学系统构成的广角光学系统和由相对于中央光学系统以同心圆状配设的环状光学系统构成的长焦光学系统而拍摄的两个图像之间不会产生视差，并且，分别为旋转对称的形状，因此优选作为摄影光学系统。
本发明的又一方式所涉及的立体相机中，第1定向传感器及第2定向传感器能够设为具有分别作为光瞳分割构件而发挥作用的微透镜阵列或遮光掩模。
本发明的又一方式所涉及的立体相机中，优选具有第1调焦部，该第1调焦部进行第1摄影光学系统及第2摄影光学系统各自的长焦光学系统的调焦。与广角光学系统相比，长焦光学系统的景深深度浅且容易模糊，因此优选进行调焦。
本发明的又一方式所涉及的立体相机中，优选第1调焦部根据由图像获取部获取的第1广角图像及第2广角图像中分别包括的主要被摄体在第1定向传感器及第2定向传感器中的视差量、基线长度、第1摄影光学系统及第2摄影光学系统各自的光轴方向、广角光学系统的焦点距离获取主要被摄体的距离信息，并根据所获取的距离信息进行第1摄影光学系统及第2摄影光学系统各自的长焦光学系统的调焦。
能够通过作为立体图像的第1广角图像和第2广角图像，并根据三角测量法获取主要被摄体的距离信息。第1摄影光学系统及第2摄影光学系统各自的长焦光学系统的整体或一部分光学系统在光轴方向的移动位置和根据该移动位置进行对焦的被摄体的距离信息一对一对应，因此若能够获取主要被摄体的距离信息，则能够以对焦于该主要被摄体的方式进行第1摄影光学系统及第2摄影光学系统各自的长焦光学系统的调焦。
本发明的又一方式所涉及的立体相机中，优选在云台机构通过云台控制部而被控制，且在第1摄影光学系统及第2摄影光学系统各自的光轴上捕捉到主要被摄体的情况下，第1调焦部根据基线长度、第1摄影光学系统及第2摄影光学系统各自的光轴方向、广角光学系统的焦点距离获取主要被摄体的距离信息，并根据所获取的距离信息进行第1摄影光学系统及第2摄影光学系统各自的长焦光学系统的调焦。
在第1摄影光学系统及第2摄影光学系统各自的光轴上捕捉到主要被摄体的情况下，主要被摄体在第1定向传感器及第2定向传感器中的视差量为0，因此能够根据基线长度、第1摄影光学系统及第2摄影光学系统各自的光轴方向、广角光学系统的焦点距离，并通过三角测量法而计算主要被摄体的距离信息。并且，若能够获取主要被摄体的距离信息，则与上述同样地能够以对焦于该主要被摄体的方式进行第1摄影光学系统及第2摄影光学系统各自的长焦光学系统的调焦。
本发明的又一方式所涉及的立体相机中，优选具有：第1调焦部，进行第1摄影光学系统及第2摄影光学系统各自的长焦光学系统的调焦；及第2调焦部，进行第1摄影光学系统及第2摄影光学系统各自的广角光学系统的调焦。也可以在广角光学系统中不设置调焦部，而将广角光学系统设为泛焦，但优选广角光学系统中也设置调焦部(第2调焦部)。
本发明的又一方式所涉及的立体相机中，优选第1调焦部根据基于第2调焦部的广角光学系统的对焦信息获取主要被摄体的距离信息，并根据所获取的距离信息进行第1摄影光学系统及第2摄影光学系统各自的长焦光学系统的调焦。在具有进行广角光学系统的调焦的第2调焦部的情况下，能够根据调焦后的广角光学系统的对焦信息(例如对焦状态下的广角光学系统的整体或一部分光学系统在光轴方向的移动位置)获取主要被摄体的距离信息。若能够获取主要被摄体的距离信息，则与上述同样地，能够以对焦于该主要被摄体的方式进行第1摄影光学系统及第2摄影光学系统各自的长焦光学系统的调焦。
本发明的又一方式所涉及的立体相机中，优选云台机构具有：第1云台机构，使第1摄像部向水平方向及垂直方向转动；及第2云台机构，与第1云台机构独立地使第2摄像部向水平方向及垂直方向转动，云台控制部具有：第1云台控制部，根据第1广角图像控制第1云台机构；及第2云台控制部，根据第2广角图像控制第2云台机构。
由此能够使第1摄像部和第2摄像部分别独立地进行平摇俯仰动作，并能够独立地控制第1摄影光学系统及第2摄影光学系统各自的光轴方向。
本发明的又一方式所涉及的立体相机中，优选云台机构具有：保持部件，保持第1云台机构和第2云台机构；及平摇机构，使保持部件向水平方向转动，云台控制部根据第1广角图像及第2广角图像控制平摇机构，并使第1摄像部和第2摄像部正对着主要被摄体。
通过使保持第1云台机构和第2云台机构的保持部件整体向水平方向转动，能够将相对于主要被摄体的第1摄像部与第2摄像部的距离设为等距离，并能够以更高精度计算主要被摄体等的距离信息。
本发明的又一方式所涉及的立体相机中，优选具备根据第1广角图像及第2广角图像分别检测主要被摄体的第1被摄体检测部及第2被摄体检测部，云台控制部根据由第1被摄体检测部及第2被摄体检测部检测出的主要被摄体在第1广角图像内及第2广角图像内的各位置信息来控制云台机构，在第1摄影光学系统及第2摄影光学系统各自的光轴上捕捉主要被摄体。将主要被摄体拍摄成主要被摄体进入到第1广角图像及第2广角图像中是容易的。而且，在主要被摄体进入到第1广角图像及第2广角图像中的情况下，能够将云台机构控制成如下：在第1广角图像内及第2广角图像内，根据主要被摄体的位置信息(表示自各广角图像的中心(光轴位置)的位移量的位置信息)，分别在第1摄影光学系统及第2摄影光学系统各自的光轴上捕捉主要被摄体。并且，即使主要被摄体是高速移动的运动物体，也能够根据第1广角图像及第2广角图像可靠地捕捉运动物体，因此不会发生跟踪丢失。
本发明的又一方式所涉及的立体相机中，优选第1被摄体检测部及第2被摄体检测部根据图像获取部连续获取的第1广角图像及第2广角图像而检测运动物体，并将检测出的运动物体设为主要被摄体。在主要被摄体为运动物体的情况下，能够通过运动物体检测而检测所希望的主要被摄体。
本发明的又一方式所涉及的立体相机中，优选第1被摄体检测部及第2被摄体检测部根据第1广角图像及第2广角图像而识别特定的被摄体，并将识别出的特定的被摄体设为主要被摄体。例如特定的被摄体为人物的情况下，通过识别人物或人物的脸部而能够检测主要被摄体。
本发明的又一方式所涉及的立体相机中，优选还具备根据第1长焦图像及第2长焦图像而检测主要被摄体的第3被摄体检测部及第4被摄体检测部，云台控制部根据由第3被摄体检测部及第4被摄体检测部检测出的主要被摄体在第1长焦图像内及第2长焦图像内的位置信息来控制云台机构，在无法由第3被摄体检测部及第4被摄体检测部检测主要被摄体的情况下，根据由第1被摄体检测部及第2被摄体检测部检测出的主要被摄体在第1广角图像内及第2广角图像内的位置信息来控制云台机构。
在能够根据第1长焦图像及第2长焦图像而检测主要被摄体的情况下，根据该检测出的主要被摄体的第1长焦图像内及第2长焦图像内的位置信息来控制云台机构，因此能够以高精度控制第1摄影光学系统及第2摄影光学系统各自的光轴，另一方面，在无法根据第1长焦图像及第2长焦图像而检测主要被摄体的情况下，根据基于第1广角图像及第2广角图像检测出的主要被摄体在第1广角图像内及第2广角图像内的位置信息来控制云台机构，由此即使主要被摄体为高速移动的运动物体，也能够由第1广角图像及第2广角图像可靠地捕捉运动物体，因此不会发生跟踪丢失。
本发明的又一方式为立体相机的控制方法，其使用了上述立体相机，所述立体相机的控制方法包括：从第1定向传感器及第2定向传感器获取第1广角图像及第2广角图像的步骤；根据所获取的第1广角图像及第2广角图像来控制云台机构，并在第1摄影光学系统及第2摄影光学系统各自的光轴上捕捉主要被摄体的步骤；在第1摄影光学系统及第2摄影光学系统各自的光轴上捕捉到主要被摄体的状态下，从第1定向传感器及第2定向传感器获取第1长焦图像及第2长焦图像的步骤；及根据所获取的第1长焦图像及第2长焦图像至少计算主要被摄体的距离信息的步骤。
发明效果
根据本发明，能够同时获取作为立体图像的第1广角图像和第2广角图像、及作为立体图像的第1长焦图像和第2长焦图像，尤其构成第1摄影光学系统的广角光学系统和长焦光学系统的光轴一致，同样地，构成第2摄影光学系统的广角光学系统和长焦光学系统的光轴一致，因此将云台机构控制成根据第1广角图像及第2广角图像在第1摄影光学系统及第2摄影光学系统各自的光轴上捕捉主要被摄体，由此能够使主要被摄体位于第1长焦图像及第2长焦图像的中心位置(对应于光轴的位置)。另外，根据第1广角图像及第2广角图像来控制云台机构，因此能够可靠地捕捉主要被摄体而不会丢失。
并且，第1长焦图像及第2长焦图像作为立体图像而被拍摄，因此能够计算主要被摄体的距离信息，但与第1广角图像及第2广角图像相比，第1长焦图像及第2长焦图像的空间分辨率高，因此能够计算高精度的距离信息。
附图说明
图1是本发明所涉及的立体相机的外观立体图。
图2是表示立体相机的第1摄像部11L的第1实施方式的剖视图。
图3是图2中示出的微透镜阵列及图像传感器的主要部分放大图。
图4是表示立体相机的内部结构的实施方式的框图。
图5是表示通过立体相机而拍摄的广角图像及长焦图像的一例的图。
图6是表示以特定的主要被摄体(人物的脸部)移动到第1长焦图像的中心的方式进行了云台控制的状态的第1长焦图像的视图。
图7是为了说明主要被摄体等的距离信息的计算方法而使用的图。
图8是表示第1调焦部的框图。
图9是云台控制部60的框图。
图10是表示在第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2上捕捉主要被摄体的云台控制的流程图。
图11是表示获取在第1长焦图像与第2长焦图像之间特征量一致的对应点的距离信息的处理的流程图。
图12是为了说明检测运动物体即主要被摄体的运动物体检测方法的一例而使用的图。
图13是为了说明检测运动物体即主要被摄体的运动物体检测方法的一例而使用的图。
图14是为了说明检测运动物体即主要被摄体的运动物体检测方法的一例而使用的图。
图15是表示定向传感器的其他实施方式的侧视图。
图16是表示能够应用于立体相机中的摄像部的其他实施方式的剖视图。
具体实施方式
以下，按照附图对本发明所涉及的立体相机及立体相机的控制方法的实施方式进行说明。
<立体相机的外观>
图1是本发明所涉及的立体相机的外观立体图。
如图1所示，立体相机1主要具有左眼用第1云台相机10L、右眼用第2云台相机10R、将第1云台相机10L和第2云台相机10R分开基线长度D而保持的保持部件37、以及包括使保持部件37向水平方向转动的平摇机构的平摇装置38。
第1云台相机10L由第1摄像部11L、第1云台装置30L(图4)及第1相机主体2L构成，第2云台相机10R由第2摄像部11R、第2云台装置30R(图4)、及第2相机主体2R构成。
第1云台装置30L具有底座4L和保持部8L，该保持部8L固定于底座4L上，并且将第1摄像部11L保持成转动自如。
底座4L配设成以第1相机主体2L的垂直方向Z的轴为中心旋转自如，并通过平摇驱动部34(图4)以垂直方向Z的轴为中心进行旋转(平摇动作)。
保持部8L具有与水平方向X的轴设置于同轴上的齿轮8A，从俯仰驱动部36(图4)经由齿轮8A而传递驱动力，由此使第1摄像部11L向上下方向进行转动(俯仰动作)。
同样地，第2云台装置30R具有底座4R和保持部8R，该保持部8R固定于底座4R上，并且将第2摄像部11R保持成转动自如。
底座4R配设成以第2相机主体2R的垂直方向Z的轴为中心旋转自如，并通过平摇驱动部34以垂直方向Z的轴为中心进行旋转(平摇动作)。
保持部8R具有与水平方向X的轴设置于同轴上的齿轮8A，从俯仰驱动部36经由齿轮8A而传递驱动力，由此使第2摄像部11R向上下方向进行俯仰动作。
从而，第1云台相机10L通过进行平摇动作及俯仰动作，能够使第1云台相机10L的摄影方向(第1摄影光学系统的光轴L1的方向)朝向所希望的方向，同样地，第2云台相机10R通过进行平摇动作及俯仰动作，能够使第2云台相机10R的摄影方向(第2摄影光学系统的光轴L2的方向)朝向与第1云台相机10L不同的所希望的方向。
[第1摄像部11L的结构]
图2是表示立体相机1的第1摄像部11L的第1实施方式的剖视图。
如图2所示，第1摄像部11L由第1摄影光学系统12L和第1定向传感器17L构成。
<第1摄影光学系统12L>
第1摄影光学系统12L由分别配置于同一光轴上的广角光学系统13和长焦光学系统14构成，所述广角光学系统13由圆形中央光学系统构成，所述长焦光学系统14由相对于广角光学系统13配设成同心圆状的环状光学系统构成。
广角光学系统13为由第1透镜13a、第2透镜13b、第3透镜13c、第4透镜13d及共同透镜15构成的广角透镜，并使广角图像成像于构成第1定向传感器17L的微透镜阵列16上。
长焦光学系统14为由第1透镜14a、第2透镜14b、作为反射光学系统的第1反射镜14c、第2反射镜14d及共同透镜15构成的长焦透镜，并使长焦图像成像于构成第1定向传感器17L的微透镜阵列16上。
经由第1透镜14a及第2透镜14b而入射的光束，在通过第1反射镜14c及第2反射镜14d反射两次之后穿过共同透镜15。光束通过第1反射镜14c及第2反射镜14d而折回，由此缩短焦点距离长的长焦光学系统(长焦透镜)的光轴方向的长度。
<第1定向传感器17L>
第1定向传感器17L由微透镜阵列16和图像传感器18构成。
图3是图2中示出的微透镜阵列16及图像传感器18的主要部分放大图。
微透镜阵列16由多个微透镜(光瞳成像透镜)16a排列成二维状而构成，各微透镜的水平方向及垂直方向的间隔与图像传感器18的光电转换元件即受光单元18a三个的量的间隔对应。即，微透镜阵列16的各微透镜使用的是相对于水平方向及垂直方向各方向对应于每隔两个受光单元的位置而形成的微透镜。
并且，微透镜阵列16的各微透镜16a使与第1摄影光学系统12L的广角光学系统13及长焦光学系统14对应的圆形中央光瞳像(第1光瞳像)17a及环状光瞳像(第2光瞳像)17b成像于图像传感器18的对应的受光区域的受光单元18a上。
根据图3所示的微透镜阵列16及图像传感器18，对微透镜阵列16的每一个微透镜16a分配有格子状(正方格子状)的3×3个受光单元18a。以下，将一个微透镜16a及与一个微透镜16a对应的受光单元组(3×3个受光单元18a)称作单元块。
中央光瞳像17a仅成像于单元块中央的受光单元18a，环状光瞳像17b成像于单元块周围的8个受光单元18a。
根据上述结构的第1摄像部11L，如后述能够同时拍摄对应于广角光学系统13的第1广角图像和对应于长焦光学系统14的第1长焦图像。
立体相机1的第2摄像部11R以与图2及图3所示的第1摄像部11L相同的方式构成，并具备具有广角光学系统和长焦光学系统的第2摄影光学系统和第2定向传感器，能够同时拍摄对应于广角光学系统的第2广角图像和对应于长焦光学系统的第2长焦图像。
<立体相机1的内部结构>
图4是表示立体相机1的内部结构的实施方式的框图。关于立体相机1的控制，第1图像获取部22L、第2图像获取部22R、第1被摄体检测部50L、第2被摄体检测部50R、第1云台控制部60L、第2云台控制部60R、距离图像计算部74、视差量检测部72及数字信号处理部40等可以由通用的CPU构成，也可以由制造FPGA(Field Programmable Gate Array：现场可编程门阵列)等之后能够变更电路结构的处理器即可编程逻辑器件(Programmable LogicDevice：PLD)、ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了执行特定的处理而专门设计的电路结构的处理器即专用电路或它们的组合构成。另外，关于图8中的焦点控制部190等也相同。另外，如图1中已说明，立体相机1具备左眼用第1云台相机10L和右眼用第2云台相机10R，但两个相机的结构相同，因此图4中主要对第1云台相机10L进行说明，并省略第2云台相机10R的详细说明。
如图4所示，构成立体相机1的左眼用第1云台相机10L具备第1摄像部11L，该第1摄像部11L由以下部分构成：第1摄影光学系统12L，具有图2中已说明的广角光学系统13及长焦光学系统14；及第1定向传感器17L，具有图3中已说明的微透镜阵列16及图像传感器18。
该第1摄像部11L优先具备至少自动地进行长焦光学系统14的调焦的第1调焦部(包括调焦机构19)。调焦机构19例如能够由使长焦光学系统14的整体或一部分光学系统向光轴方向移动的音圈马达等构成。并且，后述焦点控制部190获取主要被摄体的距离信息，并根据所获取的距离信息驱动调焦机构19，由此第1调焦部能够进行长焦光学系统14的第1调焦。
并且，关于广角光学系统13，可以另外设置自动地进行广角光学系统13的调焦的第2调焦部，也可以设为泛焦。作为应用于广角光学系统13的第2调焦部，可以考虑对比度AF(Autofocus：自动对焦)方式或像面相位差AF方式的调焦部。对比度AF方式是使广角光学系统13的整体或一部分光学系统向光轴方向移动而进行调焦，以使第1广角图像及第2广角图像的AF区域的对比度变得最大，像面相位差AF方式是通过使广角光学系统13的整体或一部分光学系统向光轴方向移动而进行广角光学系统13的调焦，以使第1广角图像及第2广角图像的AF区域的像面相位差变成0。
第1云台装置30L具备如图1所示使第1摄像部11L相对于第1相机主体2L向水平方向(平摇方向)旋转的平摇机构及向垂直方向(俯仰方向)转动的俯仰机构(以下，称作“云台机构”)32、平摇驱动部34及俯仰驱动部36等。
云台机构32具有检测平摇方向的旋转角度(平摇角度)的基准位置的原位传感器、检测俯仰方向的倾斜角度(俯仰角度)的基准位置的原位传感器。
平摇驱动部34及俯仰驱动部36分别具有步进马达及马达驱动器，并对云台机构32输出驱动力，并驱动云台机构32。
第1摄像部11L经由第1摄影光学系统12L及第1定向传感器17L而拍摄时间序列的第1广角图像及第1长焦图像，经由第1摄影光学系统12L而在第1定向传感器17L(图像传感器18)的各受光单元(光电转换元件)的受光面上成像的被摄体像转换成与所述入射光量对应的量的信号电压(或电荷)。
图像传感器18中所积蓄的信号电压(或电荷)蓄积在受光单元本身或所附设的电容器中。所蓄积的信号电压(或电荷)利用使用了X-Y寻址方式的MOS(Metal OxideSemiconductor：金属氧化物半导体)型成像元件(所谓的Complementary Metal OxideSemiconductor：互补型金属氧化物半导体)CMOS传感器)的方法，在选择受光单元位置的同时被读出。
由此，能够从图像传感器18读出表示与广角光学系统13对应的中央的受光单元组的第1广角图像的图像信号和表示与长焦光学系统14对应的周围8个受光单元组的第1长焦图像的图像信号。另外，从图像传感器18以规定的帧速率(例如每1秒的帧数24p、30p或60p)连续读出表示第1广角图像及第1长焦图像的图像信号，但若未图示的快门按钮被操作，则分别读出1张表示成为静态图像的第1广角图像及第1长焦图像的图像信号。
从图像传感器18读出的图像信号(电压信号)通过相关双采样处理(以减小传感器输出信号中所包含的噪声(尤其热噪声)等为目的，通过采用每一个受光单元的输出信号中所包含的馈通成分电平与信号成分电平之差而得到更准确的像素数据的处理)而被采样保持每一个受光单元的图像信号，在被放大之后添加到A/D(Analog/Digital：模拟/数字)转换器20。A/D转换器20将依次输入的图像信号转换成数字信号并输出到图像获取部22。另外，在MOS型传感器中有内置有A/D转换器的传感器，该情况下，从图像传感器18直接输出数字信号。
第1图像获取部22L选择图像传感器18的受光单元位置而读出图像信号，由此能够同时或选择性地获取表示第1广角图像的图像信号和表示第1长焦图像的图像信号。
即，通过选择性地读出图像传感器18的入射中央光瞳像17a的受光单元的图像信号，每一个微透镜能够获取表示1个受光单元(3×3受光单元的中央的受光单元)的第1广角图像的图像信号(表示拜耳阵列的马赛克图像的图像信号)，另一方面，通过选择性地读出图像传感器18的入射环状光瞳像17b的受光单元的图像信号，每一个微透镜能够获取表示8个受光单元(3×3受光单元的周围的受光单元)的第1长焦图像的图像信号。
另外，可以从图像传感器18读出所有图像信号并临时存储在缓冲存储器中，并从存储在缓冲存储器中的图像信号进行第1广角图像和第1长焦图像两种图像的图像信号的分组。
表示由第1图像获取部22L获取的第1广角图像及第1长焦图像的图像信号分别输出到数字信号处理部40及第1被摄体检测部50L。
第1被摄体检测部50L根据表示由第1图像获取部22L获取的第1广角图像的图像信号检测主要被摄体，并将检测出的主要被摄体的图像内的位置信息输出到第1云台控制部60L。
作为第1被摄体检测部50L中的主要被摄体的检测方法，有通过以进行人物的脸部识别的技术为代表的物体识别技术而检测特定的物体(主要被摄体)的方法，或者将运动物体作为主要被摄体而检测的运动物体检测方法。
基于物体识别的物体的检测方法为如下方法：将特定的物体形态特征作为物体词库预先进行登录，一边比较从所拍摄到的图像改变位置或大小的同时剪切的图像与物体词库，一边识别物体。
图5是表示所拍摄到的第1广角图像及第1长焦图像的一例的图。另外，由第1广角图像中的虚线表示的区域表示第1长焦图像的摄影范围。
现在，拍摄图6所示的第1广角图像及第1长焦图像，且将人物的“脸部”设为主要被摄体，在通过脸部识别技术而检测人物的“脸部”的情况下，第1被摄体检测部50L能够检测第1广角图像内的“脸部”。另外，在第1被摄体检测部50L从第1长焦图像中检测人物的“脸部”的情况下，只有人物的脸部的一部分进入到图5所示的第1长焦图像中，因此无法从第1长焦图像中检测“脸部”。尤其，在长焦光学系统14的摄影倍率为高倍率的情况下(视场角非常小的情况下)，所希望的主要被摄体未进入到第1长焦图像内的概率变高。
由第1被摄体检测部50L检测出的主要被摄体(本例中为人物的“脸部”)在第1广角图像内的位置信息输出到第1云台控制部60L。
第1云台控制部60L是根据从第1被摄体检测部50L输入的第1广角图像内的主要被摄体的位置信息控制第1云台装置30L的部分，为了使主要被摄体在第1广角图像内的位置信息(例如主要被摄体为人物的“脸部”的情况下，脸部区域的重心位置)移动到第1广角图像的中心位置(光轴L1上的位置)，经由平摇驱动部34、俯仰驱动部36而控制云台机构32(即，第1摄像部11L的摄影方向)。
而且，若将上述云台机构32控制成在第1摄影光学系统12L的光轴L1上捕捉主要被摄体(使主要被摄体进入到第1广角图像的中心位置)，则主要被摄体进入到第1长焦图像的中心位置。这是因为构成第1摄影光学系统12L的广角光学系统13及长焦光学系统14各自的光轴L1一致(参考图2)。
图6是表示以特定的主要被摄体(本例中为人物的“脸部”)移动到第1广角图像中心的方式进行了云台控制的状态的第1长焦图像的视图。
另一方面，与左眼用第1云台相机10L同样地，构成立体相机1的右眼用第2云台相机10R具备具有第2摄影光学系统12R及第2定向传感器17R(未图示)的第2摄像部11R和第2云台装置30R。
第2摄像部11R经由第2摄影光学系统12R及第2定向传感器17R而拍摄时间序列的第2广角图像及第2长焦图像，从第2定向传感器17R能够同时输出表示第2广角图像的图像信号和表示第2长焦图像的图像信号。
第2图像获取部22R从第2摄像部11R同时或选择性地获取表示第2广角图像的图像信号和表示第2长焦图像的图像信号。
表示由第2图像获取部22R获取的第2广角图像及第2长焦图像的图像信号分别输出到数字信号处理部40及第2被摄体检测部50R。
第2被摄体检测部50R根据表示由第2图像获取部22R获取的第2广角图像的图像信号而检测主要被摄体，并将检测出的主要被摄体在图像内的位置信息输出到第2云台控制部60R。
第2云台控制部60R是根据从第2被摄体检测部50R输入的第2广角图像内的主要被摄体的位置信息控制第2云台装置30R的部分，为了使主要被摄体在第2广角图像内的位置信息移动到第2广角图像的中心位置(光轴L2上的位置)，经由平摇驱动部34、俯仰驱动部36而控制云台机构32(即，第2摄像部11R的摄影方向)。
而且，若将上述云台机构32控制成在第2摄影光学系统12R的光轴L2上捕捉主要被摄体(主要被摄体进入到第2广角图像的中心位置)，则主要被摄体进入到第2长焦图像的中心位置。这是因为构成第2摄影光学系统12R的广角光学系统13及长焦光学系统14各自的光轴L2一致(参考图2)。
在数字信号处理部40中，从第1图像获取部22L输入有表示第1广角图像及第1长焦图像的数字图像信号，并且，从第2图像获取部22R输入有表示第2广角图像及第2长焦图像的数字图像信号，数字信号处理部40对所输入的各图像信号进行偏移处理、伽马校正处理等规定的信号处理。
并且，在显示部42具有立体显示功能的情况下，数字信号处理部40从表示作为立体图像的第1广角图像及第2广角图像的图像信号生成立体广角图像显示用数据，或者从作为立体图像的第1长焦图像及第2长焦图像的图像信号生成立体长焦图像的显示用数据，并将所生成的显示用数据输出到显示部42，由此使立体广角图像或立体长焦图像显示于显示部42。
并且，在显示部42不具有立体显示功能的情况下，数字信号处理部40例如从表示第1广角图像或第1长焦图像的图像信号生成广角图像或长焦图像的显示用数据，并将所生成的显示用数据输出到显示部42，由此使广角图像或长焦图像显示于显示部42。
进而，在第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2上捕捉到主要被摄体的情况下，数字信号处理部40从表示作为立体图像的第1广角图像及第2广角图像的图像信号生成记录用数据，或者从表示作为立体图像的第1长焦图像及第2长焦图像的图像信号生成记录用数据，并将所生成的记录用数据输出到记录部44，由此使记录用数据记录于记录介质(硬盘、存储卡等)。另外，记录部44也可以仅记录第1长焦图像及第2长焦图像。并且，显示部42也能够根据记录在记录部44中的记录用数据而再生必要的图像。
<距离信息计算部70>
接着，对距离信息计算部70进行说明。
距离信息计算部70具备视差量检测部72和距离图像计算部74。
视差量检测部72中添加有表示由第1图像获取部22L获取的第1长焦图像的图像信号和表示由第2图像获取部22R获取的第2长焦图像的图像信号，在第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2上捕捉到主要被摄体的情况下(光轴L1、L2交叉，且主要被摄体位于交叉的交叉点上的情况下)，视差量检测部72输入表示第1长焦图像及第2长焦图像的图像信号。
视差量检测部72具有根据表示所输入的第1长焦图像及第2长焦图像的图像信号而检测在第1长焦图像与第2长焦图像之间特征量一致的对应点的对应点检测部72a，并检测由对应点检测部72a检测出的两个对应点的第1定向传感器17L及第2定向传感器17R中的视差量。
基于对应点检测部72a的对应点的检测能够通过以第1长焦图像的对象像素为基准的规定的块大小的图像与第2长焦图像的块匹配，并通过检测与相关性最高的对象像素对应的第2长焦图像上的像素位置而进行。
由视差量检测部72检测出的表示第1长焦图像及第2长焦图像的两个对应点在第1定向传感器17L及第2定向传感器17R中的视差量的信息输出到距离图像计算部74。
在距离图像计算部74的其他输入中，从第1云台控制部60L及第2云台控制部60R输入有表示包括第1云台机构的第1云台装置30L及包括第2云台机构的第2云台装置30R各自的平摇角度及俯仰角度的角度信息(表示第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2的方向的信息)，距离图像计算部74根据这些输入信息而计算包括对应点的距离信息的三维空间信息。
接着，使用图7对主要被摄体等的距离信息的计算方法进行说明。
图7示出有关第1摄像部11L(第1摄影光学系统12L)及第2摄像部11R(第2摄影光学系统12R)的平摇角度及俯仰角度受到控制、且主要被摄体位于第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2交叉的交叉点A上的情况。另外，为了简化说明，第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2设为水平。
图7中示出各符号的含义如下所述。
A：光轴L1、L2交叉的交叉点(主要被摄体的位置)
B：第1长焦图像及第2长焦图像中的任意的对应点
α1：第1摄影光学系统12L的平摇角度
α2：第2摄影光学系统12R的平摇角度
D：基线长度
Δx1：对应点B在第1定向传感器17L中的视差量
Δx2：对应点B在第2定向传感器17R中的视差量
δ1：对应点B相对于光轴L1的水平方向的角度
δ2：对应点B相对于光轴L2的水平方向的角度
f：第1摄影光学系统12L及第2摄影光学系统12R中包含的长焦光学系统14的焦点距离
图7中，若考虑由第1摄影光学系统12L及第2摄影光学系统12R的各位置和交叉点A(主要被摄体)构成的三角形，则三角形的底边长度为基线长度D且为已知。
若将三角形的底角分别设为β1、β2，则底角β1、β2能够分别根据平摇角度α1及平摇角度α2而计算。
从而，根据已知的底边(基线长度D)和两个底角β1、β2，能够计算测定点即三角形的顶点的交叉点A(主要被摄体)的距离信息。
另一方面，对应点B相对于光轴L1的水平方向的角度δ1及相对于光轴L2的水平方向的角度δ2，能够根据对应点B在第1定向传感器17L及第2定向传感器17R中的视差量Δx1、Δx2和长焦光学系统14的焦点距离f并通过下式而计算。
[数学式1]
δ1＝arctan(Δx1/f)
δ2＝arctan(Δx2/f)
对应点B在第1定向传感器17L及第2定向传感器17R中的视差量Δx1、Δx2，若将自第1定向传感器17L及第2定向传感器17R的中心位置(对应于光轴L1、L2的位置)的、对应点B所成像的像素的像素位置设为n1、n2，且将第1定向传感器17L及第2定向传感器17R的像素间距设为p，则能够通过下式而计算。
[数学式2]
Δx1＝n1×p
Δx2＝n2×p
第1定向传感器17L及第2定向传感器17R的像素间距p是已知的，因此视差量Δx1、Δx2能够通过检测对应点B在第1定向传感器17L及第2定向传感器17R上的位置并通过[数学式2]式而计算。
图7中，若考虑由第1摄影光学系统12L及第2摄影光学系统12R的各位置和任意的对应点B构成的三角形，则与上述同样地根据三角形的底边长度(基线长度D)和两个底角γ1、γ2能够计算三角形的顶点即对应点B的距离信息。
另外，两个底角γ1、γ2分别能够根据平摇角度α1、α2和由[数学式1]式计算的角度δ1、角度δ2而求出。
返回到图4，距离图像计算部74对第1长焦图像和第2长焦图像的每一个对应点计算距离信息，由此能够计算距离图像。
在此，距离图像是指通过立体相机1而得到的直至被摄体为止的距离值(距离信息)的二维分布图像，距离图像的各像素具有距离信息。并且，交叉点A(主要被摄体)的距离信息为视差量Δx1、Δx2成为0的特殊点的距离信息。
由距离图像计算部74算出的距离图像记录在距离图像记录部76中。通过由距离图像计算部74计算距离图像，例如在将结构物设为被摄体的情况下，能够获取该结构物的三维信息，并将所获取的三维信息记录在距离图像记录部76中，由此能够适宜地应用三维信息。
<第1调焦部>
接着，对自动地进行第1摄影光学系统12L及第2摄影光学系统12R中所包括的长焦光学系统14的调焦的第1调焦部进行说明。
图8是表示第1调焦部的框图。
图8所示的第1调焦部分别设置于第1摄像部11L及第2摄像部11R中，并由使长焦光学系统14的整体或一部分光学系统向光轴方向移动的调焦机构19和控制调焦机构19的焦点控制部190构成。
焦点控制部190具备视差量检测部192、距离信息计算部194及对焦位置计算部196等。
在视差量检测部192中，从第1被摄体检测部50L及第2被摄体检测部50R分别输入有第1广角图像内及第2广角图像内的主要被摄体的位置信息，视差量检测部192根据所输入的主要被摄体的位置信息而检测第1定向传感器17L及第2定向传感器17R中的主要被摄体的视差量。
另外，如前所述，由第1被摄体检测部50L及第2被摄体检测部50R检测出的主要被摄体在第1广角图像内及第2广角图像内的位置信息在第1云台控制部60L及第2云台控制部60R中，为了控制第1云台装置30L及第2云台装置30R而被使用，但在焦点控制部190中，为了检测视差量而被使用。并且，即使在第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2上捕捉主要被摄体之前，本例的焦点控制部190也进行长焦光学系统14的调焦，但在第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2上捕捉到主要被摄体的状态下进行长焦光学系统14的调焦的情况下，不需要视差量检测部192。这是因为在第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2上捕捉到主要被摄体的情况下视差量为0。
由视差量检测部192检测出的视差量输出到距离信息计算部194。在距离信息计算部194的其他输入中，从第1云台控制部60L输入有表示第1云台装置30L的平摇角度及俯仰角度的角度信息(表示第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2的方向的信息)，距离信息计算部194根据这些输入信息而计算主要被摄体的距离信息。另外，基于距离信息计算部194的主要被摄体的距离信息的计算以与基于图4所示的距离信息计算部70的对应点的距离信息的计算相同的方式进行，不同点在于，前述[数学式1]式中示出的视差量Δx1、Δx2为第1定向传感器17L及第2定向传感器17R中的第1广角图像及第2广角图像中的主要被摄体的视差量，且焦点距离f为第1摄影光学系统12L及第2摄影光学系统12R中所包括的广角光学系统13的焦点距离。
由距离信息计算部194算出的主要被摄体的距离信息输出到对焦位置计算部196。对焦位置计算部196根据从距离信息计算部194输入的主要被摄体的距离信息，计算第1摄影光学系统12L及第2摄影光学系统12R各自的长焦光学系统14的整体或一部分光学系统在光轴方向的移动位置，即对焦于主要被摄体的对焦位置。另外，长焦光学系统14的整体或一部分光学系统在光轴方向的移动位置和根据该移动位置进行对焦的被摄体的距离信息一对一对应，因此对焦位置计算部196若能够获取主要被摄体的距离信息，则能够计算对焦于该主要被摄体的对焦位置。
焦点控制部190根据由对焦位置计算部196算出的对焦位置控制调焦机构19，使第1摄影光学系统12L及第2摄影光学系统12R各自的长焦光学系统14的整体或一部分光学系统移动到光轴方向的对焦位置，进行长焦光学系统14的调焦(第1调焦)。
另外，本例的焦点控制部190根据分别包括在第1广角图像及第2广角图像中的主要被摄体在第1定向传感器17L及第2定向传感器17R中的主要被摄体的视差量等获取主要被摄体的距离信息，并根据所获取的距离信息进行第1摄影光学系统12L及第2摄影光学系统12R各自的长焦光学系统14的调焦，但并不限定于此，在设置有进行第1摄影光学系统12L及第2摄影光学系统12R各自的广角光学系统13的调焦的对比度AF、像面相位差AF等调焦部(第2调焦部)的情况下，可以根据基于第2调焦部的广角光学系统13的对焦信息(例如对焦状态下的广角光学系统13的整体或一部分光学系统在光轴方向的移动位置)获取主要被摄体的距离信息，并根据所获取的距离信息进行第1摄影光学系统12L及第2摄影光学系统12R各自的长焦光学系统14的调焦。
图9是云台控制部60的框图。该云台控制部60除了图4所示的第1云台控制部60L及第2云台控制部60R以外，还具备控制图1所示的平摇装置38的平摇控制部62。
平摇控制部62根据第1广角图像及第2广角图像控制包括平摇机构的平摇装置38，使第1摄像部11L和第2摄像部11R正对着主要被摄体。
第1云台控制部60L及第2云台控制部60R分别根据由第1被摄体检测部50L及第2被摄体检测部50R检测出的主要被摄体在第1广角图像内及第2广角图像内的主要被摄体的位置信息控制第1云台装置30L及第2云台装置30R，但平摇控制部62从第1云台控制部60L及第2云台控制部60R获取表示第1云台装置30L及第2云台装置30R各自的平摇角度α1及平摇角度α2(参考图7)的角度信息。
图7中，关于平摇角度α1及平摇角度α2，若将顺时针方向设为正，则平摇控制部62根据表示平摇角度α1及平摇角度α2的角度信息，使平摇装置38(保持第1云台装置30L及第2云台装置30R的保持部件37)向水平方向转动，以使平摇角度α1成为正，使平摇角度α2成为负，且使平摇角度α1和平摇角度α2的绝对值变得相等。即，若通过平摇控制部62而使平摇装置38转动，则第1云台装置30L及第2云台装置30R在平摇方向上被驱动控制，以使分别在光轴L1、L2上捕捉主要被摄体，并通过控制平摇装置38的转动位置，能够使平摇角度α1成为正，使平摇角度α2成为负，且能够使平摇角度α1和平摇角度α2的绝对值相等。
如此，通过使保持第1云台装置30L及第2云台装置30R的保持部件37(立体相机1整体)向水平方向转动，能够将相对于主要被摄体的第1摄像部11L与第2摄像部11R的距离设为等距离，并能够以更高精度计算主要被摄体等的距离信息。
[立体相机的控制方法]
接着，对本发明所涉及的立体相机的控制方法进行说明。
图10是表示在第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2上捕捉主要被摄体的云台控制的流程图。
如图10所示，经由第1摄像部11L及第1图像获取部22L而获取第1广角图像，并且经由第2摄像部11R及第2图像获取部22R而获取第2广角图像(步骤S10)。
接着，由第1被摄体检测部50L及第2被摄体检测部50R检测所获取的第1广角图像内及第2广角图像内的主要被摄体(步骤S12)，并计算检测出的主要被摄体在第1广角图像内及第2广角图像内的各自的位置信息(第1位置信息、第2位置信息)(步骤S14)。
根据在步骤S14中算出的主要被摄体在第1广角图像内及第2广角图像内各自的第1位置信息及第2位置信息，控制第1云台装置30L及第2云台装置30R(步骤S16)。
接着，判别主要被摄体的跟踪是否结束(步骤S18)。即，在主要被摄体移动，且将作为立体图像的第1广角图像和第2广角图像以及作为立体图像的第1长焦图像和第2长焦图像作为动画而获取的情况下，在第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2上，需要始终捕捉主要被摄体(跟踪主要被摄体)。
从而，判别主要被摄体的自动跟踪是否结束(步骤S18)，在判别为未结束，则转移到步骤S10。由此，重复进行上述步骤S10至步骤S18的处理，进行自动跟踪主要被摄体的拍摄。
另一方面，若判别为主要被摄体的跟踪结束，则使跟踪主要被摄体的云台控制结束。另外，关于判别主要被摄体的自动跟踪是否结束，可以通过电源的开启/关闭而进行，也可以通过使平摇俯仰动作结束的开关输入等进行。并且，在将主要被摄体作为静态图像进行拍摄的情况下，能够将静态图像的摄影结束时刻设为主要被摄体的自动跟踪结束。
图11是表示获取在第1长焦图像与第2长焦图像之间特征量一致的对应点的距离信息的处理的流程图。
图11中在第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2上捕捉主要被摄体的情况下，经由第1摄像部11L及第1图像获取部22L而获取第1长焦图像，并且经由第2摄像部11R及第2图像获取部22R而获取第2长焦图像(步骤S20)。
接着，由视差量检测部72的对应点检测部72a检测在所获取的第1长焦图像及第2长焦图像之间特征量一致的对应点(步骤S22)，并检测检测出的两个对应点在第1定向传感器17L及第2定向传感器17R中的视差量(步骤S24)。
接着，距离图像计算部74根据如图7中已说明通过步骤S26而算出的对应点的视差量、表示第1云台装置30L及第2云台装置30R各自的平摇角度及俯仰角度的角度信息(表示第1摄影光学系统12L及第2摄影光学系统12R各自的光轴L1、L2的方向的信息)、第1云台相机10L和第2云台相机10R的基线长度而计算对应点的距离信息(步骤S26)。
另外，距离图像计算部74通过对第1长焦图像和第2长焦图像的每一个对应点计算距离信息而能够计算距离图像。并且，由于主要被摄体在光轴L1、L2上的点也是对应点，因此主要被摄体的距离信息也被计算，但该情况下的光轴L1、L2上的点的视差量为0。
通过步骤S26而算出的距离信息(距离图像)输出到距离图像记录部76而被记录，或者输出到外部设备(步骤S28)。
<运动物体检测方法>
接着，在主要被摄体为运动物体的情况下，关于检测该主要被摄体(运动物体)的运动物体检测方法的一例，使用图12至图14进行说明。另外，第1被摄体检测部50L及第2被摄体检测部50R分别作为运动物体检测部具有相同的功能，因此仅对作为运动物体检测部可发挥功能的第1被摄体检测部50L进行说明。
如图12及图13所示，作为运动物体检测部发挥功能的情况下的第1被摄体检测部50L获取时间序列的两张第1广角图像(上一次获取的第1广角图像(图12)和此次获取的第1广角图像(图13))，并检测采用时间序列的两张第1广角图像的差分的差分图像(图14)。
图12及图13所示例中，物体A、B中的物体A移动，物体B停止，物体A为主要被摄体(运动物体)。
从而，如图14所示，差分图像A1、A2是通过物体A的移动而生成的图像。
在此，计算差分图像A1、A2的重心位置，并分别设为位置P1、P2，将连接这些位置P1、P2的线段的中点设为位置G。而且，将该位置G设为物体A(作为运动物体的主要被摄体)的第1广角图像内的位置。
将云台机构32(即，基于第1摄像部11L的摄影方向)重复控制成使如此算出的第1广角图像内的物体A的位置G移动到第1广角图像的中心位置(光轴L1上的位置)，由此物体A移动(收敛)到第1广角图像(第1长焦图像)的中心位置。
另外，在第1摄像部11L移动(通过云台机构32而移动，或者通过搭载立体相机1而移动)的情况下，时间序列的图像之间的背景也移动，但该情况下，使图像位移，以使时间序列的图像之间的背景一致，通过采用位移后的图像之间的差分图像，与第1摄像部11L移动无关，而能够检测在实际空间内移动的物体A。进而，运动物体检测方法并不限定于上述实施方式。
<定向传感器的其他实施方式>
图15是表示定向传感器的其他实施方式的侧视图。
图15所示的定向传感器117能够代替第1定向传感器17L及第2定向传感器17R而使用。
该定向传感器117由作为光瞳分割构件的微透镜阵列118及遮光掩模发挥功能的遮光部件120、受光单元116a、116b的一部分被遮光部件120遮光的图像传感器116构成。另外，一部分被遮光部件120遮光的受光单元116a和受光单元116b交替(方格旗状)设置于图像传感器116的左右方向及上下方向上。
微透镜阵列118具有与图像传感器116的受光单元116a、116b一对一对应的微透镜118a。
遮光部件120是限制图像传感器116的受光单元116a、116b的开口的部件，其具有与图2所示的第1摄影光学系统12L的广角光学系统13及长焦光学系统14对应的开口形状。
受光单元116a其开口的周边部被遮光部件120的遮光部120a遮光，另一方面，受光单元116b其开口的中心部被遮光部件120的遮光部120b遮光。由此，在第1摄影光学系统12L的广角光学系统13中穿过的光束通过微透镜阵列118及遮光部件120的遮光部120a而被光瞳分割并入射到受光单元116a，另一方面，在第1摄影光学系统12L的长焦光学系统14中穿过的光束通过微透镜阵列118及遮光部件120的遮光部120b而被光瞳分割并入射到受光单元116b。
由此，能够从图像传感器116的各受光单元116a读出第1广角图像的图像信号，并能够从图像传感器116的各受光单元116b读出第1长焦图像的图像信号。
<摄像部的其他实施方式>
接着，对应用于本发明所涉及的立体相机中的摄像部的其他实施方式进行说明。
图16是表示能够应用于立体相机1中的摄像部(第1摄像部11L、第2摄像部11R)的其他实施方式的剖视图。
该摄像部由摄影光学系统112和定向传感器17构成。另外，定向传感器17与图2及图3所示的相同，因此，以下对摄影光学系统112进行说明。
该摄影光学系统112由分别配置于同一光轴上的中央部的中央光学系统113和其周边部的环状光学系统114构成。
中央光学系统113为由第1透镜113a、第2透镜113b及共同透镜115构成的长焦光学系统，其具有视场角θ。
环状光学系统114为由透镜114a及共同透镜115构成的广角光学系统，其具有视场角φ(φ＞θ)，与中央光学系统113相比更为广角。
与图2所示的第1摄影光学系统12L相比，不同点在于：该摄影光学系统112未使用反射镜，并且，中央光学系统113为长焦光学系统，环状光学系统114为广角光学系统。
[其他]
本实施方式的立体相机中，使第1摄像部11L、第2摄像部11R向平摇方向及俯仰方向转动的云台机构32设置于第1相机主体2L及第2相机主体2R，但并不限定于此，也可以是将第1摄像部11L、第2摄像部11R分别搭载于两台电动云台(云台装置)上的云台机构。
并且，除了从第1广角图像及第2广角图像中检测主要被摄体的第1被摄体检测部及第2被摄体检测部以外，还设置有从第1长焦图像及第2长焦图像中检测主要被摄体的第3被摄体检测部及第4被摄体检测部，且主要被摄体进入到第1长焦图像内及第2长焦图像内，该情况下，由第3被摄体检测部及第4被摄体检测部检测第1长焦图像内及第2长焦图像内的主要被摄体的位置信息，云台控制部(第1云台控制部、第2云台控制部)根据检测出的主要被摄体在第1长焦图像内及第2长焦图像内的位置信息来控制云台机构，在无法由第3被摄体检测部及第4被摄体检测部检测主要被摄体的情况下，也可以根据由第1被摄体检测部及第2被摄体检测部检测出的主要被摄体在第1广角图像内及第2广角图像内的位置信息来控制云台机构。
进而，操作者也可以使用触摸面板等，从显示于显示部42上的广角图像中，首先设定主要被摄体。
进而，构成第1摄影光学系统12L及第2摄影光学系统12R的长焦光学系统14的反射镜并不限定于凹面镜或凸面镜，而可以是平面镜，并且，反射镜的数量也并不限定于两个，而可以设置三个以上。
并且，本发明并不限定于上述实施方式，在不脱离本发明的主旨的范围内，当然能够进行各种变形。
符号说明
1-立体相机，2L-第1相机主体，2R-第2相机主体，4L、4R-底座，8A-齿轮，8L、8R-保持部，10L-第1云台相机，10R-第2云台相机，11L-第1摄像部，11R-第2摄像部，12L-第1摄影光学系统，12R-第2摄影光学系统，13-广角光学系统，13a-第1透镜，13b-第2透镜，13c-第3透镜，13d-第4透镜，14-长焦光学系统，14a-第1透镜，14b-第2透镜，14c-第1反射镜，14d-第2反射镜，15-共同透镜，16-微透镜阵列，16a-微透镜，17-定向传感器，17L-第1定向传感器，17R-第2定向传感器，17a-中央光瞳像，17b-环状光瞳像，18-图像传感器，1Sa-受光单元，19-调焦机构，20-A/D转换器，22-图像获取部，22L-第1图像获取部，22R-第2图像获取部，24p-帧数，30L-第1云台装置，30R-第2云台装置，30p-帧数，32-云台机构，34-平摇驱动部，36-俯仰驱动部，37-保持部件，38-平摇装置，40-数字信号处理部，42-显示部，44-记录部，50L-第1被摄体检测部，50R-第2被摄体检测部，60-云台控制部，60L-第1云台控制部，60R-第2云台控制部，62-平摇控制部，70-距离信息计算部，72-视差量检测部，72a-对应点检测部，74-距离图像计算部，76-距离图像记录部，112-摄影光学系统，113-中央光学系统，113a-第1透镜，113b-第2透镜，114-环状光学系统，114a-透镜，115-共同透镜，116-图像传感器，116a-受光单元，116b-受光单元，117-定向传感器，118-微透镜阵列，118a-微透镜，120-遮光部件，120a-遮光部，120b-遮光部，190-焦点控制部，192-视差量检测部，194-距离信息计算部，196-对焦位置计算部，D-基线长度，L1-光轴，L2-光轴，S10～S28-步骤，f-焦点距离Δx1、Δx2-视差量α1、α2-平摇角度β1、β2、γ1、γ2-底角。

Claims (16)

1.一种立体相机，其特征在于，具备：
第1摄像部，包括：第1摄影光学系统，具有光轴分别一致且配置于不同区域的广角光学系统和长焦光学系统；及第1定向传感器，具有将经由所述广角光学系统及所述长焦光学系统而入射的光束分别进行光瞳分割并选择性地受光的多个像素；
第2摄像部，包括与所述第1摄影光学系统为相同结构的第2摄影光学系统和与所述第1定向传感器为相同结构的第2定向传感器，并相对于所述第1摄像部分开基线长度而配置；
图像获取部，从所述第1定向传感器及所述第2定向传感器，获取第1广角图像及第2广角图像和第1长焦图像及第2长焦图像；
云台机构，使所述第1摄像部向水平方向及垂直方向转动，使所述第2摄像部向水平方向及垂直方向转动；
云台控制部，根据由所述图像获取部获取的所述第1广角图像及所述第2广角图像控制所述云台机构，在所述第1摄影光学系统及所述第2摄影光学系统各自的光轴上捕捉主要被摄体；及
距离信息计算部，根据由所述图像获取部获取的所述第1长焦图像及所述第2长焦图像，至少计算所述主要被摄体的距离信息。
2.根据权利要求1所述的立体相机，其中，
所述距离信息计算部具备对应点检测部，该对应点检测部根据所述第1长焦图像及所述第2长焦图像而检测特征量分别一致的两个对应点，根据由所述对应点检测部检测出的所述两个对应点在所述第1定向传感器及所述第2定向传感器中的视差量、所述基线长度、所述第1摄影光学系统及所述第2摄影光学系统各自的光轴方向和所述长焦光学系统的焦点距离计算所述对应点的距离。
3.根据权利要求1或2所述的立体相机，其中，
所述第1摄影光学系统及所述第2摄影光学系统分别由所述广角光学系统和所述长焦光学系统构成，所述广角光学系统由圆形中央光学系统构成，所述长焦光学系统由相对于所述中央光学系统以同心圆状配设的环状光学系统构成。
4.根据权利要求1或2所述的立体相机，其中，
所述第1定向传感器及所述第2定向传感器具有分别作为光瞳分割构件而发挥作用的微透镜阵列或遮光掩模。
5.根据权利要求1或2所述的立体相机，其中，
该立体相机具有第1调焦部，所述第1调焦部获取所述主要被摄体的距离信息，并根据所获取的所述距离信息进行所述第1摄影光学系统及所述第2摄影光学系统各自的所述长焦光学系统的调焦。
6.根据权利要求5所述的立体相机，其中，
所述第1调焦部根据由所述图像获取部获取的所述第1广角图像及所述第2广角图像中分别包括的所述主要被摄体在所述第1定向传感器及所述第2定向传感器中的视差量、所述基线长度、所述第1摄影光学系统及所述第2摄影光学系统各自的光轴方向和所述广角光学系统的焦点距离获取所述主要被摄体的距离信息，并根据所获取的所述距离信息进行所述第1摄影光学系统及所述第2摄影光学系统各自的所述长焦光学系统的调焦。
7.根据权利要求5所述的立体相机，其中，
在所述云台机构通过所述云台控制部而被控制，且在所述第1摄影光学系统及所述第2摄影光学系统各自的光轴上捕捉到所述主要被摄体的情况下，所述第1调焦部根据所述基线长度、所述第1摄影光学系统及所述第2摄影光学系统各自的光轴方向和所述广角光学系统的焦点距离获取所述主要被摄体的距离信息，并根据所获取的所述距离信息进行所述第1摄影光学系统及所述第2摄影光学系统各自的所述长焦光学系统的调焦。
8.根据权利要求1或2所述的立体相机，其中，
该立体相机具有：
第1调焦部，进行所述第1摄影光学系统及所述第2摄影光学系统各自的所述长焦光学系统的调焦；及第2调焦部，进行所述第1摄影光学系统及所述第2摄影光学系统各自的所述广角光学系统的调焦。
9.根据权利要求8所述的立体相机，其中，
所述第1调焦部根据基于所述第2调焦部的所述广角光学系统的对焦信息获取所述主要被摄体的距离信息，并根据所获取的所述距离信息进行所述第1摄影光学系统及所述第2摄影光学系统各自的所述长焦光学系统的调焦。
10.根据权利要求1或2所述的立体相机，其中，
所述云台机构具有：第1云台机构，使所述第1摄像部向水平方向及垂直方向转动；及第2云台机构，与所述第1云台机构独立地使所述第2摄像部向水平方向及垂直方向转动，
所述云台控制部具有：第1云台控制部，根据所述第1广角图像控制所述第1云台机构；及第2云台控制部，根据所述第2广角图像控制所述第2云台机构。
11.根据权利要求10所述的立体相机，其中，
所述云台机构具有：保持部件，保持所述第1云台机构和所述第2云台机构；及平摇机构，使所述保持部件向水平方向转动，
所述云台控制部根据所述第1广角图像及所述第2广角图像控制所述平摇机构，并使所述第1摄像部和所述第2摄像部正对着所述主要被摄体。
12.根据权利要求1或2所述的立体相机，其中，
该立体相机具备根据所述第1广角图像及所述第2广角图像分别检测所述主要被摄体的第1被摄体检测部及第2被摄体检测部，
所述云台控制部根据由所述第1被摄体检测部及所述第2被摄体检测部检测出的所述主要被摄体在所述第1广角图像内及所述第2广角图像内的各位置信息控制所述云台机构，在所述第1摄影光学系统及所述第2摄影光学系统各自的光轴上捕捉所述主要被摄体。
13.根据权利要求12所述的立体相机，其中，
所述第1被摄体检测部及所述第2被摄体检测部根据所述图像获取部连续获取的所述第1广角图像及所述第2广角图像而检测运动物体，并将检测出的所述运动物体设为所述主要被摄体。
14.根据权利要求12所述的立体相机，其中，
所述第1被摄体检测部及所述第2被摄体检测部根据所述第1广角图像及所述第2广角图像而识别特定的被摄体，并将识别出的所述特定的被摄体设为所述主要被摄体。
15.根据权利要求12所述的立体相机，其中，
该立体相机还具备根据所述第1长焦图像及所述第2长焦图像而检测所述主要被摄体的第3被摄体检测部及第4被摄体检测部，
所述云台控制部根据由所述第3被摄体检测部及所述第4被摄体检测部检测出的所述主要被摄体在所述第1长焦图像内及所述第2长焦图像内的位置信息来控制所述云台机构，在无法由所述第3被摄体检测部及所述第4被摄体检测部检测所述主要被摄体的情况下，根据由所述第1被摄体检测部及所述第2被摄体检测部检测出的所述主要被摄体在所述第1广角图像内及所述第2广角图像内的位置信息来控制所述云台机构。
16.一种立体相机的控制方法，其使用了权利要求1至12中任一项所述的立体相机，所述立体相机的控制方法的特征在于，包括：
从所述第1定向传感器及所述第2定向传感器获取第1广角图像及第2广角图像的步骤；
根据所获取的所述第1广角图像及所述第2广角图像控制所述云台机构，并在所述第1摄影光学系统及所述第2摄影光学系统各自的光轴上捕捉主要被摄体的步骤；
在所述第1摄影光学系统及所述第2摄影光学系统各自的光轴上捕捉到所述主要被摄体的状态下，从所述第1定向传感器及所述第2定向传感器获取第1长焦图像及第2长焦图像的步骤；及
根据所获取的所述第1长焦图像及所述第2长焦图像至少计算所述主要被摄体的距离信息的步骤。
CN201780030167.4A 2016-05-17 2017-03-13 立体相机及立体相机的控制方法 Active CN109155842B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016-098915 2016-05-17
JP2016098915 2016-05-17
PCT/JP2017/009859 WO2017199556A1 (ja) 2016-05-17 2017-03-13 ステレオカメラ及びステレオカメラの制御方法

Publications (2)

Publication Number Publication Date
CN109155842A CN109155842A (zh) 2019-01-04
CN109155842B true CN109155842B (zh) 2020-12-08

Family

ID=60326394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780030167.4A Active CN109155842B (zh) 2016-05-17 2017-03-13 立体相机及立体相机的控制方法

Country Status (5)

Country Link
US (1) US10863164B2 (zh)
EP (1) EP3461127B1 (zh)
JP (1) JP6641470B2 (zh)
CN (1) CN109155842B (zh)
WO (1) WO2017199556A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101757101B1 (ko) 2013-07-04 2017-07-12 코어포토닉스 리미티드 소형 망원 렌즈 조립체
US9857568B2 (en) 2013-07-04 2018-01-02 Corephotonics Ltd. Miniature telephoto lens assembly
US9392188B2 (en) 2014-08-10 2016-07-12 Corephotonics Ltd. Zoom dual-aperture camera with folded lens
CN109922251B (zh) * 2017-12-12 2021-10-22 华为技术有限公司 快速抓拍的方法、装置及系统
US10706564B2 (en) * 2018-04-11 2020-07-07 Wisconsin Alumni Research Foundation Systems, methods, and media for determining object motion in three dimensions from light field image data
GB201813740D0 (en) * 2018-08-23 2018-10-10 Ethersec Ind Ltd Method of apparatus for volumetric video analytics
EP3866123A4 (en) 2018-10-12 2021-10-20 NEC Corporation DOOR DEVICE, DOOR DEVICE CONTROL PROCESS, AND INFORMATION MEDIA
CN109639974A (zh) * 2018-12-20 2019-04-16 Oppo广东移动通信有限公司 控制方法、控制装置、电子装置及介质
JP7262997B2 (ja) * 2018-12-27 2023-04-24 キヤノン株式会社 制御装置、撮像装置、および、プログラム
CN114615399A (zh) * 2019-01-03 2022-06-10 核心光电有限公司 双重相机
CN109918957A (zh) * 2019-03-05 2019-06-21 大连民族大学 一种双瞳远距离二维码扫描的终端、系统和方法
DE102020113972A1 (de) * 2019-05-31 2020-12-03 Apple Inc. Videoanalyse- und -managementtechniquen für medienerfassung und -aufbewahrung
US11196943B2 (en) 2019-05-31 2021-12-07 Apple Inc. Video analysis and management techniques for media capture and retention
CN110266921A (zh) * 2019-06-20 2019-09-20 浙江大华技术股份有限公司 摄像头及使用该摄像头的监控系统
CN114578519A (zh) 2019-08-21 2022-06-03 核心光电有限公司 镜头组件
JP7471799B2 (ja) * 2019-11-12 2024-04-22 キヤノン株式会社 制御装置、撮像装置、制御方法、および、プログラム
US11656538B2 (en) 2019-11-25 2023-05-23 Corephotonics Ltd. Folded zoom camera module with adaptive aperture
CN114667729B (zh) * 2020-01-08 2024-04-19 核心光电有限公司 多孔变焦数码摄像头及其使用方法
CN111491190B (zh) * 2020-04-03 2022-03-18 海信视像科技股份有限公司 一种双系统摄像头切换控制方法及显示设备
US11770609B2 (en) 2020-05-30 2023-09-26 Corephotonics Ltd. Systems and methods for obtaining a super macro image
WO2022034694A1 (ja) * 2020-08-14 2022-02-17 日本電気株式会社 撮影装置、撮影ユニット、画像分析装置および三次元形状計測システム
KR20220079874A (ko) 2020-12-01 2022-06-14 코어포토닉스 리미티드 연속적으로 적응하는 줌 팩터를 갖는 폴디드 카메라
KR102610118B1 (ko) 2021-11-02 2023-12-04 코어포토닉스 리미티드 컴팩트형 더블 폴디드 텔레 카메라
JP2023082965A (ja) * 2021-12-03 2023-06-15 株式会社日立製作所 ステレオカメラ、ステレオカメラシステム、および配置方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011109630A (ja) * 2009-11-20 2011-06-02 Advas Co Ltd カメラ装置用雲台
CN104811683A (zh) * 2014-01-24 2015-07-29 三星泰科威株式会社 用于估计位置的方法和设备
JP2015154386A (ja) * 2014-02-18 2015-08-24 富士フイルム株式会社 自動追尾撮像装置
CN105474626A (zh) * 2013-08-27 2016-04-06 富士胶片株式会社 摄像装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734911B1 (en) * 1999-09-30 2004-05-11 Koninklijke Philips Electronics N.V. Tracking camera using a lens that generates both wide-angle and narrow-angle views
JP4540322B2 (ja) * 2003-09-29 2010-09-08 Ｈｏｙａ株式会社 画像間対応点検出装置および画像間対応点検出方法
US7206136B2 (en) * 2005-02-18 2007-04-17 Eastman Kodak Company Digital camera using multiple lenses and image sensors to provide an extended zoom range
JP5074747B2 (ja) 2006-11-22 2012-11-14 キヤノン株式会社 光学装置、撮像装置、制御方法、及びプログラム
US7764440B2 (en) 2007-11-27 2010-07-27 Eastman Kodak Company Dual focal length lens system
JP5664161B2 (ja) * 2010-11-16 2015-02-04 住友電気工業株式会社 監視システム及び監視装置
JP5693379B2 (ja) * 2011-05-27 2015-04-01 富士フイルム株式会社 撮像装置
EP3267677B1 (en) * 2011-08-24 2019-08-28 Fujifilm Corporation Imaging device
JP2013190596A (ja) * 2012-03-14 2013-09-26 Olympus Imaging Corp ズームレンズユニット及びそれを備えた撮像装置
EP2963615B1 (en) * 2013-02-27 2019-04-10 Hitachi Automotive Systems, Ltd. Imaging device, and vehicle control device
JP2016045170A (ja) * 2014-08-26 2016-04-04 富士フイルム株式会社 測距装置、方法及びプログラム
JP2016065744A (ja) * 2014-09-24 2016-04-28 シャープ株式会社 撮像装置及び撮像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011109630A (ja) * 2009-11-20 2011-06-02 Advas Co Ltd カメラ装置用雲台
CN105474626A (zh) * 2013-08-27 2016-04-06 富士胶片株式会社 摄像装置
CN104811683A (zh) * 2014-01-24 2015-07-29 三星泰科威株式会社 用于估计位置的方法和设备
JP2015154386A (ja) * 2014-02-18 2015-08-24 富士フイルム株式会社 自動追尾撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
单目多视点立体图像提取及应用;宋振东 等;《光学学报》;20120510(第5期);第147-152页 *

Also Published As

Publication number Publication date
JPWO2017199556A1 (ja) 2019-04-04
US10863164B2 (en) 2020-12-08
JP6641470B2 (ja) 2020-02-05
WO2017199556A1 (ja) 2017-11-23
EP3461127B1 (en) 2024-03-06
EP3461127A4 (en) 2019-05-08
CN109155842A (zh) 2019-01-04
EP3461127A1 (en) 2019-03-27
US20190075284A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
CN109155842B (zh) 立体相机及立体相机的控制方法
EP3110132B1 (en) Automatic tracking image-capture apparatus
US10091408B2 (en) Imaging apparatus and method of recognizing target object
JP5337170B2 (ja) タイミング調節されるシャッターを用いる複数のイメージセンサーを有するパノラマカメラ
TWI521255B (zh) 自動對焦方法、其自動對焦裝置和其影像擷取裝置
WO2006050430A2 (en) Optical tracking system using variable focal length lens
WO2010055931A1 (en) Focus detection apparatus and control method therefor
CN110622499A (zh) 图像生成装置、图像生成系统、图像生成方法及图像生成程序
JP2018134712A (ja) ロボットシステム及びロボットシステムの制御方法
JP2002191060A (ja) ３次元撮像装量
JP2012242488A (ja) 撮像装置、立体撮像光学系、およびプログラム
JP2016048825A (ja) 撮像装置
JP4625957B2 (ja) 全周囲ステレオ画像撮影装置
JP2016048824A (ja) 追尾装置、追尾システム、及び表示装置
KR101789317B1 (ko) 멀티스케일 이미징 시스템
WO2021093528A1 (zh) 对焦方法和装置、电子设备、计算机可读存储介质
JP2016046774A (ja) 撮像装置
JP2016046771A (ja) 撮像装置、撮像システム及び表示装置
JP2016048282A (ja) 撮像装置
KR101957353B1 (ko) 미러의 회전이 가능한 멀티스케일 이미징 시스템
KR101957357B1 (ko) 단일 미러를 사용한 멀티스케일 이미징 시스템
EP3533216B1 (en) An optical arrangement for focusing images of a three-dimensional space from different divergent perspectives onto a camera sensor
JP2010233043A (ja) 撮像装置及び撮像方法
JP2004086401A (ja) 対象物認識装置および方法
JP2002223383A (ja) 移動体検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant