CN105960796B - 自动跟踪摄像装置 - Google Patents

自动跟踪摄像装置 Download PDF

Info

Publication number
CN105960796B
CN105960796B CN201480074827.5A CN201480074827A CN105960796B CN 105960796 B CN105960796 B CN 105960796B CN 201480074827 A CN201480074827 A CN 201480074827A CN 105960796 B CN105960796 B CN 105960796B
Authority
CN
China
Prior art keywords
optical system
image
focal length
yawing
detection portion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480074827.5A
Other languages
English (en)
Other versions
CN105960796A (zh
Inventor
小野修司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN105960796A publication Critical patent/CN105960796A/zh
Application granted granted Critical
Publication of CN105960796B publication Critical patent/CN105960796B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/16—Special procedures for taking photographs; Apparatus therefor for photographing the track of moving objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B41/00—Special techniques not covered by groups G03B31/00 - G03B39/00; Apparatus therefor
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617—Surveillance camera constructional details
    • G08B13/1963—Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Abstract

本发明提供一种自动跟踪摄像装置，其能够通过单一摄像部同时取得光轴一致的广角图像及长焦图像，且能够利用长焦图像可靠地捕捉跟踪对象的物体。本发明的优选方式所涉及的自动跟踪摄像装置由如下构成：摄影光学系统(12)，由配置于共用的光轴上的广角光学系统即中央光学系统及长焦光学系统即环状光学系统构成；指向性传感器(17)，分别对经由广角光学系统及长焦光学系统入射的光束进行光瞳分割后而选择性地受光；平摇/俯仰机构(32)；物体检测部(50)，至少根据图像取得部(22)从指向性传感器(17)所取得的广角图像及长焦图像中的广角图像来检测跟踪对象的物体；及平摇/俯仰控制部(60)，根据由物体检测部(50)检测到的物体的图像中的位置信息来控制平摇/俯仰机构(32)。

Description

自动跟踪摄像装置
技术领域
本发明涉及一种自动跟踪摄像装置，尤其涉及一种能够同时拍摄广角图像及长焦图像的自动跟踪摄像装置。
背景技术
以往，作为能够同时拍摄广角图像及长焦图像的自动跟踪摄像装置，有专利文献1、2中所记载的自动跟踪摄像装置。
专利文献1、2中所记载的系统均具备拍摄广角图像的广角摄像机及搭载于电动云台(平摇/俯仰装置)的拍摄长焦图像的长焦摄像机，且具有如下基本结构：从利用广角摄像机所拍摄的广角图像检测跟踪对象的物体，并根据检测到的物体在广角图像中的位置信息对电动云台进行转动控制，利用长焦摄像机自动跟踪物体并进行长焦拍摄。
并且，提出有如下追踪系统：将具备光学系统和图像传感器的摄像机安装于平摇/俯仰基座，并控制平摇/俯仰基座，以使在摄像机的视野的中心捕捉被追踪的物体(OBT)，所述光学系统中，圆形中央部分的窄角的透镜部与包围该圆形中央部分的环状部分的广角的透镜部同轴配置，所述图像传感器具有通过窄角的透镜部成像有窄角图像的中央区域及通过广角的透镜部成像有广角图像的周边区域(专利文献3)。
由此，即使OBT从窄角图像丢失，也能够通过广角图像来捕捉OBT，且不会发生追踪丢失(tracking dropout)。
并且，由加利福尼亚大学圣迭戈分校(UCSD)的Joseph Ford提出有可以观察广角图像及长焦图像的接触透镜(非专利文献1)。
如果将该接触透镜的结构用于摄像机，有能够得到广角图像及长焦图像的可能性。
以往技术文献
专利文献
专利文献1：日本特开平11-69342号公报
专利文献2：日本特开2006-33224号公报
专利文献3：日本专利公表2003-510666号公报
非专利文献
非专利文献1：“Photonic Systems Integration Laboratory”，网址<URL：http：//psilab.ucsd.edu/research/Telescopic Contact Lens/main.html>
发明概要
发明要解决的技术课题
专利文献1、2中所记载的系统均将具备2台独立的广角摄像机及长焦摄像机作为基本结构，因此系统存在价格昂贵且大型化的问题。并且，广角摄像机与长焦摄像机的光轴并非共用，在各自所拍摄的广角图像及长焦图像中产生视差，因此如果不使用物体的距离信息进行视差校正，(原理上)就无法进行正确的物体的跟踪。而且，由于广角摄像机被固定，因此存在若物体超出广角图像的视角而移动，则无法跟踪物体的问题。
另一方面，关于专利文献3中所记载的追踪系统，平滑地连接通过圆形中央部分的窄角的透镜部拍摄的窄角图像与通过环状部分的广角的透镜部拍摄的广角图像(畸变像差未被校正的鱼眼图像)这样的光学系统在设计上存在困难，且存在难以对窄角图像与广角图像的边界部分的OBT进行追踪的问题。
即，导致窄角图像与广角图像在图像传感器上重叠(冲突)。若为了避免这种情况而设置光学遮挡/分离机构，则广角图像会变成环状，广角图像的中心部分欠缺而无法进行摄影。
并且，将圆形中央部分作为长焦透镜，将环状部分作为广角透镜时，平滑地连接通过这些透镜拍摄的长焦图像与广角图像这样的光学系统在设计上存在困难，而且在长焦图像与广角图像的边界产生未被拍摄的区域。
非专利文献1中所记载的接触透镜，虽然可以解决广角图像与长焦图像的视差的问题，但为了分开获得广角图像及长焦图像这2个图像需要切换快门，因此系统变得复杂。而且，无法在同一时刻取得两图像，因此存在在取得长焦图像的期间无法取得广角图像的信息，且追踪的精度下降的缺点。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够通过单一摄像部同时取得光轴一致的广角图像及长焦图像，且能够以长焦图像可靠地捕捉跟踪对象的物体的小型且廉价的自动跟踪摄像装置。
用于解决技术课题的手段
为了实现上述目的，本发明的一方式所涉及的自动跟踪摄像装置具备：摄影光学系统，由中央部的第1光学系统及第2光学系统构成，这些光学系统中的一个为广角光学系统，另一个为长焦光学系统，所述第2光学系统设置于第1光学系统的周边部且具有与第1光学系统相同的光轴；指向性传感器，具有由二维状排列的光电转换元件构成的多个像素，且分别对经由广角光学系统及长焦光学系统入射的光束进行光瞳分割后而选择性地受光；平摇/俯仰机构，使包含摄影光学系统及指向性传感器的摄像部沿水平方向及垂直方向转动；图像取得部，从指向性传感器分别取得经由广角光学系统而受光的广角图像及经由长焦光学系统而受光的长焦图像；物体检测部，至少根据图像取得部所取得的广角图像及长焦图像中的广角图像来检测跟踪对象的物体；及平摇/俯仰控制部，根据由物体检测部检测到的物体的图像中的位置信息来控制平摇/俯仰机构。
根据本发明的一方式，通过包含上述结构的摄影光学系统及指向性传感器的摄像部(单一摄像部)，能够同时取得光轴共用的广角图像及长焦图像，至少根据广角图像检测跟踪对象的物体，并根据检测到的物体的图像中的位置信息来控制平摇/俯仰机构，由此能够使物体进入长焦图像内(进行自动跟踪)，并且，即使物体快速移动也能够通过广角图像捕捉物体，因此不会发生追踪丢失。
本发明的另一方式所涉及的自动跟踪摄像装置中，优选具备记录部，所述记录部至少记录图像取得部所取得的广角图像及长焦图像中的长焦图像。由此，能够通过由记录部所记录的长焦图像确认所希望的物体。
本发明的又一方式所涉及的自动跟踪摄像装置中，优选物体检测部至少根据图像取得部连续取得的广角图像及长焦图像中的广角图像来检测运动物体，并将检测到的运动物体作为跟踪对象。跟踪对象的物体为移动的物体，因此能够通过检测运动物体来检测所希望的物体。
本发明的又一方式所涉及的自动跟踪摄像装置中，优选物体检测部至少根据图像取得部所取得的广角图像及长焦图像中的广角图像识别特定物体，并将所识别的特定物体作为跟踪对象的物体。例如，特定物体为人物时，能够通过识别人物或人物的脸部，检测跟踪对象的物体。
本发明的又一方式所涉及的自动跟踪摄像装置中，优选平摇/俯仰控制部根据由物体检测部检测到的物体在图像中的位置信息来控制平摇/俯仰机构，并使检测到的物体至少进入长焦图像的视角。此时，可以控制平摇/俯仰机构，以使检测到的物体到达长焦图像的中心，也可以控制平摇/俯仰机构，以使检测到的物体进入长焦图像的中心附近的一定范围内。
本发明的又一方式所涉及的自动跟踪摄像装置中，优选物体检测部具有根据图像取得部所取得的长焦图像检测物体的第1物体检测部及根据图像取得部所取得的广角图像检测物体的第2物体检测部，平摇/俯仰控制部根据第1物体检测部检测到的物体的长焦图像中的位置信息来控制平摇/俯仰机构，第1物体检测部未能检测到物体时，根据第2物体检测部检测到的物体在广角图像中的位置信息来控制平摇/俯仰机构。
根据本发明的又一方式，能够根据长焦图像检测物体时，根据其检测到的物体在长焦图像中的位置信息来控制平摇/俯仰机构，因此能够进行高精度的自动跟踪，另一方面，未能根据长焦图像检测到物体时，基于根据广角图像检测到的物体在广角图像中的位置信息来控制平摇/俯仰机构，虽然与基于长焦图像中的位置信息进行的平摇/俯仰机构的控制相比自动跟踪的精度下降，但不会发生追踪丢失。
本发明的又一方式所涉及的自动跟踪摄像装置中，优选具备选择第1跟踪模式或第2跟踪模式的模式选择部，若通过模式选择部选择第1跟踪模式，则平摇/俯仰控制部仅根据由第2物体检测部检测到的物体在广角图像中的位置信息来控制平摇/俯仰机构，若通过模式选择部选择第2跟踪模式，则平摇/俯仰控制部根据由第1物体检测部检测到的物体在长焦图像中的位置信息来控制平摇/俯仰机构，第1物体检测部未能检测到物体时，根据由第2物体检测部检测到的物体的广角图像中的位置信息来控制平摇/俯仰机构。
由此，根据用途可以分开使用以第1跟踪模式进行的自动跟踪摄像及以第2跟踪模式进行的自动跟踪摄像。
本发明的又一方式所涉及的自动跟踪摄像装置中，优选摄影光学系统的第1光学系统为圆形的中央光学系统，第2光学系统为相对于中央光学系统呈同心圆状配设的环状光学系统。通过圆形的中央光学系统及相对于中央光学系统以同心圆状配设的环状光学系统拍摄的2个图像间未发生视差，并且，分别为旋转对称的形状，因此优选作为摄影光学系统。
本发明的又一方式所涉及的自动跟踪摄像装置中，优选环状光学系统具有使光束反射2次以上的反射光学系统。由此，能够缩短环状光学系统的光轴方向的尺寸，能够使摄像部紧凑。
本发明的又一方式所涉及的自动跟踪摄像装置中，优选第1光学系统为广角光学系统，第2光学系统为长焦光学系统。
本发明的又一方式所涉及的自动跟踪摄像装置中，优选具有对长焦光学系统的焦点进行调整的焦点调整部。长焦光学系统与广角光学系统相比景深浅且容易模糊，因此优选进行焦点调整。另外，还可以在广角光学系统中设置焦点调整部，还可以不在广角光学系统中设置焦点调整部，而是将广角光学系统作为泛焦(pan focus)。
本发明的又一方式所涉及的自动跟踪摄像装置中，指向性传感器可以设为具有作为光瞳分割构件发挥作用的微透镜阵列或遮光掩模。
发明效果
根据本发明，通过单一摄像部能够同时取得光轴一致的广角图像及长焦图像，因此能够实现自动跟踪摄像装置的小型化、低成本化。并且，广角图像及长焦图像的光轴方向一致，因此至少根据广角图像检测跟踪对象的物体，并根据检测到的物体在图像中的位置信息来控制平摇/俯仰机构，由此能够使物体进入长焦图像内(进行自动跟踪)，并且，即使物体快速移动也能够通过广角图像捕捉物体，因此具有不会发生追踪丢失的效果。
附图说明
图1是本发明所涉及的自动跟踪摄像装置的外观立体图。
图2是表示自动跟踪摄像装置的摄像部的第1实施方式的剖视图。
图3是图2所示的微透镜阵列及图像传感器的主要部分放大图。
图4的(a)～(b)、(c1)～(c2)是表示配设于图像传感器的滤色器排列等的图。
图5是表示自动跟踪摄像装置的内部结构的实施方式的框图。
图6的(a)～(b)是表示通过自动跟踪摄像装置拍摄的广角图像及长焦图像的一例的图。
图7是表示表示以特定物体(人物的脸部)到达长焦图像的中心的方式进行跟踪控制的状态的长焦图像的示意图。
图8的(a)～(c)是用于说明将运动物体作为跟踪对象的物体来检测的运动物体检测方法的一例而使用的图。
图9是表示基于本发明所涉及的自动跟踪摄像装置的自动跟踪控制方法的一例的流程图。
图10是表示基于本发明所涉及的自动跟踪摄像装置的自动跟踪控制方法的另一例的流程图。
图11是表示指向性传感器的另一实施方式的侧视图。
图12是表示能够适用于自动跟踪摄像装置的摄像部的另一实施方式的剖视图。
具体实施方式
以下，按照附图对本发明所涉及的自动跟踪摄像装置的实施方式进行说明。
<自动跟踪摄像装置的外观>
图1是本发明所涉及的自动跟踪摄像装置的外观立体图。
如图1所示，自动跟踪摄像装置10主要具有装置主体2、摄像部11、平摇/俯仰装置30(图5)及覆盖摄像部11的球形罩6。
平摇/俯仰装置30具有底座4及固定于底座4并且转动自如地保持摄像部11的保持部8。
底座4配设成以装置主体2的垂直方向Z的軸为中心旋转自如，并通过平摇驱动部34(图5)以垂直方向Z的軸为中心旋转。
保持部8具有设置在与水平方向X的轴同轴上的齿轮8A，并通过从俯仰驱动部36(图5)经由齿轮8A传达驱动力，从而使摄像部11向上下方向转动(俯仰动作)。
球形罩6为用于防尘及防溅的罩体，并且优选为将水平方向X的轴与垂直方向Z的轴的交点设定为曲率中心的恒定壁厚的球壳形状，以使摄像部11的光学性能不发生变化且与摄像部11的光轴方向L无关。
并且，优选在装置主体2的背面设置未图示的三脚架安装部(三脚架螺孔等)。
[摄像部的结构]
图2是表示自动跟踪摄像装置10的摄像部11的第1实施方式的剖视图。
如图2所示，摄像部11由摄影光学系统12及指向性传感器17构成。
<摄影光学系统>
摄影光学系统12由分别配置于相同的光轴上的，作为第1光学系统的中央部的中央光学系统13及作为其周边部的同心圆状的第2光学系统的环状光学系统14构成。
中央光学系统13为由第1透镜13a、第2透镜13b、第3透镜13c、第4透镜13d及共用透镜15构成的广角光学系统(广角透镜)，并且将广角图像成像于构成指向性传感器17的微透镜阵列16上。
环状光学系统14为由第1透镜14a、第2透镜14b、作为反射光学系统的第1反射镜14c、第2反射镜14d及共用透镜15构成的长焦光学系统(长焦透镜)，并且将长焦图像成像于微透镜阵列16上。经由第1透镜14a及第2透镜14b入射的光束被第1反射镜14c及第2反射镜14d反射2次以后透过共用透镜15。利用第1反射镜14c及第2反射镜14d将光束折回，由此缩短焦点距离较长的长焦光学系统(长焦透镜)的光轴方向的长度。
<指向性传感器>
指向性传感器17由微透镜阵列16及图像传感器18构成。
图3是微透镜阵列16及图像传感器18的主要部分放大图。
微透镜阵列16由多个微透镜(光瞳成像透镜)16a排列成二维状而构成，各微透镜的水平方向及垂直方向的间隔与相当于3个作为图像传感器18的光电转换元件的受光单元18a的间隔对应。即，微透镜阵列16的各微透镜使用相对于水平方向及垂直方向的各方向与每隔2个受光单元的位置对应而形成的微透镜。
并且，微透镜阵列16的各微透镜16a将与摄影光学系统12的中央光学系统13及环状光学系统14对应的圆形的中央光瞳像(第1光瞳像)17a及环状光瞳像(第2光瞳像)17b成像于图像传感器18所对应的受光区域的受光单元18a上。
根据图3所示的微透镜阵列16及图像传感器18，微透镜阵列16的每1微透镜16a分配有格子状(正方格子状)的3×3受光单元18a。以下，将1个微透镜16a及与1个微透镜16a对应的受光单元组(3×3受光单元18a)称为单位块。
中央光瞳像17a仅成像于单位块的中央的受光单元18a，环状光瞳像17b成像于单位块的周围的8个受光单元18a。
根据上述结构的摄像部11，能够同时拍摄与后述的中央光学系统13对应的广角图像及与环状光学系统14对应的长焦图像。
[图像传感器的实施方式]
图4的(a)～(b)、(c1)～(c2)是表示配设于图像传感器18的滤色器排列等的图。另外，图4的(a)～(b)、(c1)～(c2)中省略了微透镜阵列16，但以圆形表示的区域表示包含通过微透镜阵列16的各微透镜16a成像有光瞳像的3×3受光单元的单位块。
如图4的(a)部分所示，图像传感器18的成像面上设置有由配设于各受光单元上的滤色器构成的滤色器排列。
该滤色器排列由使红(R)、绿(G)及蓝(B)的各波长区域的光透过的三原色滤色器(以下，称为R滤色器、G滤色器、B滤色器)构成。并且，各受光单元上配置有RGB滤色器中的任意滤色器。以下，将配置有R滤色器的受光单元称为“R受光单元”，将配置有G滤色器的受光单元称为“G受光单元”，将配置有B滤色器的受光单元称为“B受光单元”。
将图4的(a)部分所表示的滤色器排列构成为将6×6个受光单元设为基本块B(参考图4的(a)部分以粗框表示的块及图4的(b)部分)，并且基本块B沿水平方向及垂直方向重复配置。
如图4的(b)部分所示，基本块B由4个单位块B1～B4构成。
图4的(c1)部分及(c2)部分分别表示4个单位块B1～B4的中央受光单元(透过图3所示的中央光学系统13的光束所入射的受光单元)的组及周围8个受光单元(透过图3所示的环状光学系统14的光速所入射的受光单元)的组。
如图4的(c1)部分所示，中央受光单元的组的图像成为拜耳排列的马赛克图像。由此，通过对拜耳排列的马赛克图像进行去马赛克处理，能够得到彩色图像。
另一方面，如图4的(c2)部分所示，单位块B1～B4的各中央受光单元的周围8个受光单元的组在8个受光单元内包含RGB所有的受光单元(R受光单元、G受光单元、B受光单元)，且RGB的受光单元与单位块B1～B4无关地以相同图案配置。
具体而言，各单位块B1～B4的4角的4个受光单元上配置有G受光单元，隔着中央受光单元的上下2个受光单元上配置有R受光单元，隔着中央受光单元的左右2个受光单元上配置有B受光单元。
并且，R受光单元、G受光单元及B受光单元相对于各单位块的中央受光单元(中心)配置于对称位置。由此，利用单位块内的RGB的受光单元的输出信号，能够生成对其每个单位块进行去马赛克处理(同步处理)之后的构成图像的1个像素(RGB的像素值)。
即，通过求出单位块内的4个G受光单元的输出信号(像素值)的平均值，能够取得单位块(1个微透镜)的中心位置的G像素的像素值，同样地通过求出单位块内的2个R受光单元的像素值的平均值及2个B受光单元的像素值的平均值，能够取得各单位块的中心位置的R像素及B像素的像素值。
由此，针对通过单位块的周围8个受光单元的组生成的与环状光学系统14(长焦光学系统)对应的长焦图像，能够利用单位块内的RGB的受光单元的像素值进行去马赛克处理，无需对周围单位块的受光单元的像素值进行插值而生成特定波长区域的像素的像素值，不会使输出图像的分辨率(实际像素数)下降。
<自动跟踪摄像装置的内部结构>
图5是表示自动跟踪摄像装置10的内部结构的实施方式的框图。
如图5所示，自动跟踪摄像装置10具备摄像部11，所述摄像部11由具有图2中所说明的中央光学系统13及环状光学系统14的摄影光学系统12及具有图3及图4的(a)～(b)、(c1)～(c2)中所说明的微透镜阵列16及图像传感器18的指向性传感器17构成。
该摄像部11优选具备对长焦光学系统(环状光学系统14)的焦点进行调整的焦点调整部19。焦点调整部19例如可以由使环状光学系统14的整体或一部分的光学系统沿光轴方向移动的音圈马达等构成。并且，长焦图像的聚焦的判断可以通过长焦图像的焦点检测区域的对比度进行，但焦点调整方法并不限定于此。另外，关于广角光学系统(中央光学系统13)，可另行设置焦点调整部，也可作为泛焦。
如图1所示，平摇/俯仰装置(电动云台)30具备使摄像部11相对于装置主体2向水平方向(平摇方向)旋转的平摇机构及向垂直方向(俯仰方向)转动的俯仰机构(以下，称为“平摇/俯仰机构”)32、平摇驱动部34及俯仰驱动部36等。平摇/俯仰机构32具有检测平摇方向的旋转角(平摇角)的基准位置的原位置传感器及检测俯仰方向的倾角(俯仰角)的基准位置的原位置传感器。
平摇驱动部34及俯仰驱动部36分别具有步进电机及电机驱动器，并向平摇/俯仰机构32输出驱动力而驱动平摇/俯仰机构32。
摄像部11经由摄影光学系统12及指向性传感器17拍摄时序的广角图像及长焦图像，经由摄影光学系统12在指向性传感器17(图像传感器18)的各受光单元(光电转换元件)的受光面上成像的被摄体像被转换成根据其入射光量的量的信号电压(或电荷)。
在图像传感器18中积蓄的信号电压(或电荷)积蓄于受光单元本身或者附设的电容器。所积蓄的信号电压(或电荷)利用使用X-Y地址方式的MOS型成像元件(所谓的CMOS传感器)的方法，与受光单元位置的选择一同被读出。
由此，能够从图像传感器18读出表示与中央光学系统13对应的中央受光单元的组的广角图像的像素信号及表示与环状光学系统14对应的周围8个受光单元的组的长焦图像的像素信号。另外，表示广角图像及长焦图像的像素信号以规定的帧速率(例如，每1秒的帧数为24p，30p或60p)从图像传感器18被连续读出。
从图像传感器18读出的像素信号(电压信号)通过相关双采样处理(为了减轻传感器输出信号中包含的噪声(尤其是热噪声)等，通过获取每一个受光单元的输出信号中包含的馈通成分电平与信号成分电平之差而得到准确的像素数据的处理)，每个受光单元的像素信号被采样保持，被放大之后添加至A/D转换器20。A/D转换器20将依次输入的像素信号转换成数字信号并输出至图像取得部22。另外，MOS型传感器中有内置有A/D转换器的传感器，此时，从图像传感器18直接输出数字信号。
通过选择图像传感器18的受光单元位置来读出像素信号，图像取得部22能够同时或选择性地取得表示广角图像的像素信号及表示长焦图像的像素信号。
即，通过选择性地读出图像传感器18中入射有中央光瞳像17a的受光单元的像素信号，能够取得表示每1微透镜的1个受光单元(3×3的受光单元的中央受光单元)的广角图像的像素信号(表示拜耳排列的马赛克图像的像素信号)，另一方面，通过选择性地读出图像传感器18中入射有环状光瞳像17b的受光单元的像素信号，能够取得表示每1微透镜的8个受光单元(3×3的受光单元的周围受光单元)的长焦图像的像素信号。
另外，可从图像传感器18读出所有像素信号并临时存储于缓冲存储器，由存储于缓冲存储器的像素信号进行广角图像与长焦图像这2个图像的像素信号的分组。
表示通过图像取得部22所取得的广角图像及长焦图像的像素信号分别被输出至数字信号处理部40及物体检测部50。
数字信号处理部40对输入的数字像素信号(RGB的点顺序的R信号、G信号、B信号)进行偏移处理、伽马校正处理及对于RGB的马赛克图像的信号的去马赛克处理等规定的信号处理。在此，去马赛克处理是指从与单板式图像传感器18的滤色器排列对应的RGB的马赛克图像中按每个像素算出所有颜色信息的处理，也称为同步处理。例如，当为由RGB三色滤色器构成的图像传感器18时，是指从由RGB构成的马赛克图像中按每个像素计算出RGB所有颜色信息的处理。
即，由于广角图像(拜耳排列的马赛克图像)的G受光单元的位置上没有R受光单元及B受光单元，因此数字信号处理部40中所包含的去马赛克处理部分别对其G受光单元周围的R受光单元、B受光单元的R信号、B信号进行插值而生成G受光单元的位置的R信号、B信号。同样地，马赛克图像的R受光单元的位置上没有G受光单元、B受光单元，因此分别对其R受光单元周围的G受光单元、B受光单元的G信号、B信号进行插值而生成R受光单元的位置的G信号、B信号，并且，马赛克图像的B受光单元的位置上没有G受光单元、R受光单元，因此分别对其B受光单元周围的G受光单元、R受光单元的G信号、R信号进行插值而生成B受光单元的位置的G信号、R信号。
另一方面，如图4的(c2)部分所示，长焦图像由每1微透镜16a的8个(3×3的单位块的周围8个)马赛克图像构成，且8个受光单元内包含RGB的所有颜色信息(R受光单元、G受光单元、B受光单元)，因此去马赛克处理部能够利用单位块内的8个受光单元的输出信号生成按每一个单位块进行了去马赛克处理的构成图像的1个像素(RGB的像素值)。
具体而言，对长焦图像的马赛克图像进行去马赛克处理的去马赛克处理部，通过求出单位块内的4个G受光单元的像素值的平均值，从而算出单位块(1个微透镜)的中心位置的像素的G的像素值，同样地，通过求出单位块内的2个R受光单元的像素值的平均值及2个B受光单元的像素值的平均值，从而分别算出单位块的中心位置的像素的R的像素值及B的像素值。
由于利用单位块内的8个受光单元的输出信号进行去马赛克处理，因此通过上述去马赛克处理部生成的广角图像及长焦图像这2个去马赛克图像中的长焦图像的去马赛克图像成为其分辨率实际上高于利用(插值)周围的单位块的受光单元的输出信号进行去马赛克处理的广角图像的去马赛克图像的分辨率的去马赛克图像。
并且，数字信号处理部40进行从通过去马赛克处理部进行了去马赛克处理的RGB的颜色信息(R信号、G信号、B信号)生成亮度信号Y与色差信号Cb，Cr的RGB/YC转换等，并生成表示规定的帧速率的广角图像及长焦图像的动态图像记录用及动态图像显示用的图像信号。
通过数字信号处理部40所处理的表示广角图像及长焦图像的图像信号分别被输出至记录部42及显示部44。记录部42将通过数字信号处理部40处理的表示广角图像及长焦图像的动态图像记录用的图像信号记录于记录介质(硬盘、存储卡等)。另外，记录部42也可以仅记录长焦图像。
显示部44通过由数字信号处理部40所处理的表示广角图像及长焦图像的动态图像显示用的图像信号，显示广角图像及长焦图像。另外，显示部44还可以根据记录于记录部42的图像信号重放广角图像及长焦图像。
另一方面，物体检测部50根据表示图像取得部22所取得的广角图像及长焦图像的像素信号来检测跟踪对象的物体，并将检测到的物体在图像中的位置信息输出至平摇/俯仰控制部60，因此具有第1物体检测部52及第2物体检测部54，所述第1物体检测部52根据长焦图像检测物体，并检测物体在长焦图像中的位置信息，所述第2物体检测部54根据广角图像检测物体，并检测物体在广角图像中的位置信息。
作为第1物体检测部52及第2物体检测部54的物体的检测方法，有利用以进行人物的脸部识别的技术为代表的物体识别技术检测特定物体的方法，或将运动物体作为跟踪对象的物体而进行检测的运动物体检测方法。
基于物体识别的物体检测方法为将特定物体的观看方式的特徵作为物体词典进行事先登录，并一边将根据所拍摄的图像改变位置及大小的同时截取的图像与物体词典进行比较一边识别物体的方法。
图6的(a)部分及图6的(b)部分分别表示所拍摄的广角图像及长焦图像的一例的图。另外，广角图像中以虚线表示的区域表示长焦图像的摄像范围。
在此，拍摄图6的(a)部分及图6的(b)部分所表示的广角图像及长焦图像且将人物的脸部作为跟踪对象，并利用物体(脸部)识别技术检测人物的脸部时，第2物体检测部54可以检测脸部，但第1物体检测部52无法检测脸部。因为仅人物的脸部的一部分进入到长焦图像中，所以无法识别脸部。
因此，此时，将第2物体检测部54所检测到的人物的脸部(物体)在广角图像中的位置信息输出至平摇/俯仰控制部60。
另一方面，第1物体检测部52根据长焦图像检测到物体时，将第1物体检测部52检测到的物体在长焦图像中的位置信息，优先于第2物体检测部54检测到的物体在广角图像中的位置信息输出至平摇/俯仰控制部60。因为第1物体检测部52的物体的位置检测精度高于第2物体检测部54的物体的位置检测精度。
并且，本例中，设置有选择第1跟踪模式或第2跟踪模式的模式选择部56。第1跟踪模式为仅将通过第2物体检测部54检测到的物体在广角图像中的位置信息输出至平摇/俯仰控制部60，并根据广角图像中的位置信息控制平摇/俯仰装置30的模式。另一方面，第2跟踪模式为同时使用第1物体检测部52及第2物体检测部54，当第1物体检测部52检测到物体时，优先将物体在长焦图像中的位置信息输出至平摇/俯仰控制部60，并根据长焦图像中的位置信息控制平摇/俯仰装置30，当第1物体检测部52未检测到物体时，将通过第2物体检测部54检测到的物体在广角图像中的位置信息输出至平摇/俯仰控制部60，并根据广角图像中的位置信息控制平摇/俯仰装置30的模式。
平摇/俯仰控制部60为如上所述根据从物体检测部50输入的图像中(广角图像中或长焦图像中)的物体的位置信息控制平摇/俯仰装置30的部分，并且经由平摇驱动部34及俯仰驱动部36控制平摇/俯仰机构32(即，基于摄像部11的摄影方向)，以使物体在图像中的位置信息(例如，跟踪对象为脸部的情况下为脸部区域的重心位置)向图像的中心位置(光轴上的位置)移动。
通过上述平摇/俯仰机构32的控制，能够自动跟踪物体并进行拍摄，以使跟踪对象的物体(例如，人物的脸部)到达广角图像及长焦图像的中心。图7表示表示以特定物体(人物的脸部)到达长焦图像的中心的方式进行跟踪控制的状态的长焦图像。另外，本例中，以物体在图像中的位置(重心位置)到达长焦图像的中心的方式进行跟踪控制的情况进行了说明，但并不限定于此，可以控制平摇/俯仰机构32，以使物体在图像中的位置(重心位置)至少进入长焦图像的视角(优选长焦图像的中心附近的一定范围(例如，焦点检测区域内))。
接着，作为第1物体检测部52及第2物体检测部54的物体检测方法，对将运动物体作为跟踪对象的物体而进行检测的运动物体检测方法的一例进行说明。
此时，如图8的(a)～(c)所示，第1物体检测部52检测求出了时序的2张长焦图像(上一次所取得的长焦图像(图8的(a)部分与这次所取得的长焦图像(图8的(b)部分)的差分的差分图像(图8的(c)部分)。
图8的(a)部分及图8的(b)部分所示的例中，物体A，B中的物体A移动，物体B停止。
因此，如图8的(c)部分所示，差分图像A1，A2为通过物体A的移动而产生的图像。
在此，算出差分图像A1，A2的重心位置，并分别设为位置P1，P2，将连结这些位置P1，P2的线段的中点设为位置G。并且，将该位置G设为运动物体(物体A)在长焦图像中的位置。
以如此计算出的长焦图像中的物体A的位置G向长焦图像的中心位置(光轴上的位置)移动的方式反复控制平摇/俯仰机构32(即，基于摄像部11的摄影方向)，由此，物体A向长焦图像的中心位置移动(聚焦)。
另外，第2物体检测部54也与第1物体检测部52相同地能够根据广角图像检测跟踪对象的物体(运动物体)，并检测物体在广角图像中的位置。并且，摄像部11移动(通过平摇/俯仰机构32移动，或通过搭载自动跟踪摄像装置10而移动)时，时序的图像间的背景也移动，但此时以时序的图像间的背景一致的方式移动图像，并求出移动后的图像间的差分图像，由此能够与摄像部11的移动无关地检测在实际空间内移动的物体。而且，运动物体检测方法并不限定于上述实施方式。
<自动跟踪控制方法>
图9是表示基于本发明所涉及的自动跟踪摄像装置的自动跟踪控制方法的一例的流程图，且表示关于通过模式选择部56选择了第1跟踪模式的情况。
图9中，第2物体检测部54从图像取得部22取得广角图像(步骤S10)，并根据所取得的广角图像检测跟踪对象的物体(步骤S12)。
接着，第2物体检测部54计算检测到的物体在广角图像中的位置信息(步骤S14)。
接着，平摇/俯仰控制部60从第2物体检测部54输入物体在广角图像中的位置信息，并根据所输入的位置信息控制平摇/俯仰装置30，以使物体到达广角图像的中心(步骤S16)。
接着，判断自动跟踪摄像是否结束了(步骤S18)，若判断为没有结束，则转移至步骤S10。由此，反复进行从上述步骤S10到步骤S18的处理，进行自动跟踪物体的拍摄。另一方面，若判断为结束了自动跟踪摄像，则结束自动跟踪摄像。另外，关于自动跟踪摄像是否结束的判断可以通过电源的开启/关闭来进行，也可以通过表示是否进行自动跟踪摄像的开关输入等进行。
图10是表示基于本发明所涉及的自动跟踪摄像装置的自动跟踪控制方法的另一例的流程图，且表示关于由模式选择部56选择了第2跟踪模式的情况。
图10中，由图像取得部22取得长焦图像(步骤S20)，第1物体检测部52从所取得的长焦图像检测跟踪对象的物体(步骤S22)。
接着，第1物体检测部52在步骤S22中判断是否检测到物体(步骤S24)。检测到物体的情况(“是”的情况)下，第1物体检测部52计算检测到的物体在长焦图像中的位置信息(步骤S26)。
另一方面，未检测到物体的情况(“否”的情况埸合)下，转移至步骤S28，由第2物体检测部54进行从步骤S28到步骤S32的处理。在此，从步骤S28到步骤S32的处理是与图9中所示的从步骤S10到步骤S14的处理相同的处理。即，第2物体检测部54从图像取得部22取得广角图像(步骤S28)，并根据所取得的广角图像检测跟踪对象的物体(步骤S30)，并且计算检测到的物体在广角图像中的位置信息(步骤S32)。
接着，平摇/俯仰控制部60输入通过步骤S26检测到的长焦图像中的物体的位置信息或通过步骤S32检测到的广角图像中的物体的位置信息，并根据所输入的位置信息控制平摇/俯仰装置30，以使物体到达长焦图像中的中心位置或到达广角图像中的中心位置(步骤S34)。另外，平摇/俯仰控制部60进行的平摇/俯仰装置30的控制在通过第1物体检测部52从长焦图像检测到物体的情况下，优先进行根据长焦图像中的物体的位置信息进行的平摇/俯仰装置30的控制，这是不言而喻的。
接着，判断自动跟踪摄像是否结束(步骤S36)，若判断为没有结束，则转移至步骤S20。由此，反复进行从上述步骤S20到步骤S36的处理，进行自动跟踪物体的拍摄。另一方面，若判断为结束了自动跟踪摄像，则结束自动跟踪摄像。
<指向性传感器的另一实施方式>
图11是表示指向性传感器的另一实施方式的侧视图。
该指向性传感器117由作为光瞳分割构件的微透镜阵列118及作为遮光掩模而发挥作用的遮光部件120，以及受光单元116a、116b的一部分通过遮光部件120被遮光的图像传感器116构成。另外，在图像传感器116的左右方向及上下方向上交替(方格花纹旗状)设置通过遮光部件120而一部分被遮光的受光单元116a及受光单元116b。
微透镜阵列118具有与图像传感器116的受光单元116a、116b一对一对应的微透镜118a。
遮光部件120限制图像传感器116的受光单元116a、116b的开口，且具有与图2中所示的摄影光学系统12的中央光学系统13及环状光学系统14对应的开口形状。另外，微透镜阵列118的各透镜的下方配设有红(R)、绿(G)、蓝(B)的滤色器。
受光单元116a的开口的周边部被遮光部件120的遮光部120a遮光，另一方面，受光单元116b的开口中心部被遮光部件120的遮光部120b遮光。由此，透过摄影光学系统12的中央光学系统13的光束被微透镜阵列118及遮光部件120的遮光部120a光瞳分割后而入射至受光单元116a，另一方面，透过摄影光学系统12的环状光学系统14的光束被微透镜阵列118及遮光部件120的遮光部120b光瞳分割后而入射至受光单元116b。
由此，能够从图像传感器116的各受光单元116a读出广角图像的像素信号，能够从图像传感器116的各受光单元116b读出长焦图像的像素信号。
<摄像部的另一实施方式>
接着，对适用于本发明所涉及的自动跟踪摄像装置的摄像部的另一实施方式进行说明。
图12是表示能够适用于自动跟踪摄像装置10的摄像部的另一实施方式的剖视图。
该摄像部由摄影光学系统112及指向性传感器17构成。另外，指向性传感器17与图2及图3中所示的指向性传感器相同，因此以下对摄影光学系统112进行说明。
该摄影光学系统112由分别配置于相同光轴上的中央部的中央光学系统113及其周边部的环状光学系统114构成。
中央光学系统113为由第1透镜113a、第2透镜113b及共用透镜115构成的长焦光学系统，且具有视角α。
环状光学系统114为由透镜114a及共用透镜115构成的广角光学系统，且具有视角β(β＞α)，比中央光学系统113更宽的视角。
该摄影光学系统112与图2中所示的摄影光学系统12相比，未使用反射镜，并且，中央光学系统113为长焦光学系统，环状光学系统114为广角光学系统这一点上不同。
[其他]
本实施方式的自动跟踪摄像装置10中，使摄像部11向平摇方向及俯仰方向转动的平摇/俯仰机构32设置于装置主体2，但并不限定于此，也可将摄像装置整体搭载于电动云台(平摇/俯仰装置)。另外，本发明所涉及的自动跟踪摄像装置例如能够作为监视摄像机、车载摄像机来使用。
并且，跟踪对象的物体可通过从显示部44所显示的广角图像利用触摸面板等由操作员最初进行设定。
本实施方式的摄影光学系统中，将设置于第1光学系统的周边部的第2光学系统设为环状光学系统，但并不限定于此，也可以由配设于以光轴为中心的同心圆上的多个光学系统构成。
并且，图2中所示的摄影光学系统12的反射镜型的透镜结构中的反射镜并不限定于凹面镜或凸面镜，也可以是平面镜，并且，反射镜的片数也不限定于2片，也可以设置3片以上。
而且，焦点调整部可以使中央光学系统及环状光学系统的共用透镜或图像传感器向光轴方向移动。
另外，本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内可进行各种变形这是不言而喻的。
符号说明
10-自动跟踪摄像装置，11-摄像部，12、112-摄影光学系统，13、113-中央光学系统，14、114-环状光学系统，16、118-微透镜阵列，16a、118a-微透镜，17、117-指向性传感器，18、116-图像传感器，18a、116a、116b-受光单元，22-图像取得部，30-平摇/俯仰装置，32-平摇/俯仰机构，42-记录部，50-物体检测部，52-第1物体检测部，54-第2物体检测部，56-模式选择部，60-平摇/俯仰控制部，120-遮光部件。

Claims (10)

1.一种自动跟踪摄像装置，其具备：
摄影光学系统，由中央部的第1光学系统及第2光学系统构成，这些光学系统中的一个为广角光学系统，另一个为长焦光学系统，所述第2光学系统设置于所述第1光学系统的周边部且具有与所述第1光学系统相同的光轴；
一个指向性传感器，具有由二维状排列的光电转换元件构成的多个像素，且由微透镜阵列及图像传感器构成，所述微透镜阵列由多个微透镜排列成二维状而构成，分别对经由所述广角光学系统及所述长焦光学系统入射的光束进行光瞳分割后而选择性地受光；
平摇/俯仰机构，使包含所述摄影光学系统及指向性传感器的摄像部沿水平方向及垂直方向转动；
图像取得部，从所述指向性传感器分别取得经由所述广角光学系统而受光的广角图像及经由所述长焦光学系统而受光的长焦图像；
物体检测部，至少根据所述图像取得部所取得的广角图像及长焦图像中的广角图像来检测跟踪对象的物体；以及
平摇/俯仰控制部，根据由所述物体检测部检测到的物体在图像中的位置信息来控制所述平摇/俯仰机构，
所述摄影光学系统的第1光学系统为圆形的中央光学系统，所述第2光学系统为相对于所述中央光学系统呈同心圆状配设的环状光学系统，
所述第1光学系统为广角光学系统，所述第2光学系统为长焦光学系统，中央光瞳像仅成像于单位块的中央的受光单元，环状光瞳像成像于单位块的周围的受光单元，其中将1个微透镜及与1个微透镜对应的受光单元组称为单位块。
2.根据权利要求1所述的自动跟踪摄像装置，其具备：
记录部，至少记录所述图像取得部所取得的广角图像及长焦图像中的长焦图像。
3.根据权利要求1所述的自动跟踪摄像装置，其中，
所述物体检测部至少根据所述图像取得部连续取得的广角图像及长焦图像中的广角图像来检测运动物体，并将所检测到的所述运动物体作为跟踪对象的物体。
4.根据权利要求1所述的自动跟踪摄像装置，其中，
所述物体检测部至少根据所述图像取得部所取得的广角图像及长焦图像中的广角图像来识别特定物体，并将所识别到的所述特定物体作为跟踪对象的物体。
5.根据权利要求1所述的自动跟踪摄像装置，其中，
所述平摇/俯仰控制部根据由所述物体检测部检测到的物体在图像中的位置信息来控制所述平摇/俯仰机构，以使所检测到的所述物体至少进入所述长焦图像的视角。
6.根据权利要求1所述的自动跟踪摄像装置，其中，
所述物体检测部具有第1物体检测部及第2物体检测部，所述第1物体检测部根据所述图像取得部所取得的长焦图像检测所述物体，所述第2物体检测部根据所述图像取得部所取得的广角图像检测所述物体，
所述平摇/俯仰控制部根据所述第1物体检测部检测到的物体在长焦图像中的位置信息来控制所述平摇/俯仰机构，所述第1物体检测部未能检测到所述物体时，根据由所述第2物体检测部检测到的物体在广角图像中的位置信息来控制所述平摇/俯仰机构。
7.根据权利要求6所述的自动跟踪摄像装置，其具备：
模式选择部，选择第1跟踪模式或第2跟踪模式，
若通过所述模式选择部选择第1跟踪模式，则所述平摇/俯仰控制部仅根据由所述第2物体检测部检测到的物体在广角图像中的位置信息来控制所述平摇/俯仰机构，若通过所述模式选择部选择第2跟踪模式，则所述平摇/俯仰控制部根据由所述第1物体检测部检测到的物体在长焦图像中的位置信息来控制所述平摇/俯仰机构，所述第1物体检测部未能检测到所述物体时，根据由所述第2物体检测部检测到的物体在广角图像中的位置信息来控制所述平摇/俯仰机构。
8.根据权利要求1所述的自动跟踪摄像装置，其中，
所述环状光学系统具有使光束反射2次以上的反射光学系统。
9.根据权利要求1所述的自动跟踪摄像装置，其具有：
焦点调整部，对所述长焦光学系统的焦点进行调整。
10.根据权利要求1至9中任一项所述的自动跟踪摄像装置，其中，
所述指向性传感器具有作为光瞳分割构件发挥作用的遮光掩模。
CN201480074827.5A 2014-02-18 2014-12-15 自动跟踪摄像装置 Active CN105960796B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-028339 2014-02-18
JP2014028339A JP6027560B2 (ja) 2014-02-18 2014-02-18 自動追尾撮像装置
PCT/JP2014/083090 WO2015125388A1 (ja) 2014-02-18 2014-12-15 自動追尾撮像装置

Publications (2)

Publication Number Publication Date
CN105960796A CN105960796A (zh) 2016-09-21
CN105960796B true CN105960796B (zh) 2019-08-16

Family

ID=53877917

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480074827.5A Active CN105960796B (zh) 2014-02-18 2014-12-15 自动跟踪摄像装置

Country Status (5)

Country Link
US (1) US9924084B2 (zh)
EP (1) EP3110132B1 (zh)
JP (1) JP6027560B2 (zh)
CN (1) CN105960796B (zh)
WO (1) WO2015125388A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6077967B2 (ja) * 2013-08-27 2017-02-08 富士フイルム株式会社 撮像装置
WO2015098110A1 (ja) * 2013-12-27 2015-07-02 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システムおよび撮像方法
KR102269601B1 (ko) * 2014-01-14 2021-06-28 삼성전자주식회사 이중 초점 렌즈 및 이를 포함하는 촬상 장치
TWI518437B (zh) * 2014-05-12 2016-01-21 晶睿通訊股份有限公司 動態對焦調整系統及其動態對焦調整方法
US10275679B2 (en) 2014-08-21 2019-04-30 Identiflight International, Llc Avian detection systems and methods
US20160055399A1 (en) * 2014-08-21 2016-02-25 Identiflight, Llc Graphical display for bird or bat detection and identification
CN107079087B (zh) * 2014-10-31 2021-01-26 富士胶片株式会社 摄像装置及对象物识别方法
US9762812B2 (en) * 2015-10-30 2017-09-12 Raytheon Company Dual-field-of-view optical system
USD811462S1 (en) 2015-11-16 2018-02-27 Axis Ab Monitoring camera
WO2017094962A1 (ko) * 2015-11-30 2017-06-08 엘지전자 주식회사 스마트 와치 및 이의 제어방법
CN105718887A (zh) * 2016-01-21 2016-06-29 惠州Tcl移动通信有限公司 基于移动终端摄像头实现动态捕捉人脸摄像的方法及系统
JP6641470B2 (ja) * 2016-05-17 2020-02-05 富士フイルム株式会社 ステレオカメラ及びステレオカメラの制御方法
WO2017199559A1 (ja) * 2016-05-17 2017-11-23 富士フイルム株式会社 撮像装置、撮像方法、プログラム、及び非一時的記録媒体
US10737140B2 (en) * 2016-09-01 2020-08-11 Catalyft Labs, Inc. Multi-functional weight rack and exercise monitoring system for tracking exercise movements
KR20180070264A (ko) * 2016-12-16 2018-06-26 삼성전자주식회사 패닝 샷 이미지 획득 방법 및 이를 지원하는 전자 장치
WO2018212008A1 (ja) 2017-05-16 2018-11-22 富士フイルム株式会社 撮像装置及び画像合成装置
WO2018235565A1 (ja) * 2017-06-21 2018-12-27 富士フイルム株式会社 撮像装置及び移動撮像装置
JP2019080226A (ja) * 2017-10-26 2019-05-23 キヤノン株式会社 撮像装置、撮像装置の制御方法、及びプログラム
US10593014B2 (en) * 2018-03-26 2020-03-17 Ricoh Company, Ltd. Image processing apparatus, image processing system, image capturing system, image processing method
JP2019186630A (ja) * 2018-04-03 2019-10-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
EP3564917B1 (en) * 2018-05-04 2020-07-01 Axis AB A method for detecting motion in a video sequence
CN108429881A (zh) * 2018-05-08 2018-08-21 山东超景深信息科技有限公司 免通过反复变焦取景的长焦拍摄云台相机系统应用方法
JP7120835B2 (ja) * 2018-07-18 2022-08-17 トヨタ自動車株式会社 画像処理装置
JP7262997B2 (ja) * 2018-12-27 2023-04-24 キヤノン株式会社 制御装置、撮像装置、および、プログラム
AT522115A1 (de) * 2019-01-24 2020-08-15 Zactrack Gmbh Bühnentechnische Vorrichtung und Verfahren zur Bestimmung einer Korrelationsfunktion
CN110602389B (zh) * 2019-08-30 2021-11-02 维沃移动通信有限公司 一种显示方法及电子设备
KR20210028808A (ko) 2019-09-04 2021-03-15 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
JP7354773B2 (ja) * 2019-11-01 2023-10-03 株式会社Ｊｖｃケンウッド 物体検出装置、物体検出方法、及び物体検出プログラム
US11729503B2 (en) * 2019-12-27 2023-08-15 Canon Kabushiki Kaisha Image capturing apparatus and control method thereof
CN111487647A (zh) * 2020-03-31 2020-08-04 中国科学院西安光学精密机械研究所 一种基于逆向反射背景的主动照明的高速目标探测装置及方法
US11595575B2 (en) * 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734911B1 (en) * 1999-09-30 2004-05-11 Koninklijke Philips Electronics N.V. Tracking camera using a lens that generates both wide-angle and narrow-angle views
CN1585907A (zh) * 2001-11-13 2005-02-23 松下电器产业株式会社 广角成像光学系统以及使用该广角成像光学系统的广角成像装置、监视成像装置、车载成像装置以及投影装置
CN1588159A (zh) * 2004-09-24 2005-03-02 清华大学 一种长焦距大视场无活动部件的微型目标探测系统
CN101246302A (zh) * 2007-02-15 2008-08-20 船井电机株式会社 广角摄像装置
WO2013027488A1 (ja) * 2011-08-24 2013-02-28 富士フイルム株式会社 撮像装置
JP5201957B2 (ja) * 2007-11-21 2013-06-05 キヤノン株式会社 撮像装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169342A (ja) 1997-08-22 1999-03-09 Hitachi Denshi Ltd 侵入物体追尾画像処理システム
EP0878965A3 (en) 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
JP4140567B2 (ja) 2004-07-14 2008-08-27 松下電器産業株式会社 物体追跡装置および物体追跡方法
JP2006333120A (ja) * 2005-05-26 2006-12-07 Denso Corp 撮像モジュール
JP5074747B2 (ja) 2006-11-22 2012-11-14 キヤノン株式会社 光学装置、撮像装置、制御方法、及びプログラム
US7764440B2 (en) * 2007-11-27 2010-07-27 Eastman Kodak Company Dual focal length lens system
JP2010141671A (ja) * 2008-12-12 2010-06-24 Canon Inc 撮像装置
EP2624540B1 (en) * 2010-10-01 2016-11-09 FUJIFILM Corporation Imaging device
WO2012051223A2 (en) * 2010-10-11 2012-04-19 The Regents Of The University Of California Telescopic contact lens
JP5693379B2 (ja) * 2011-05-27 2015-04-01 富士フイルム株式会社 撮像装置
JP5634946B2 (ja) * 2011-06-06 2014-12-03 富士フイルム株式会社 撮像装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6734911B1 (en) * 1999-09-30 2004-05-11 Koninklijke Philips Electronics N.V. Tracking camera using a lens that generates both wide-angle and narrow-angle views
CN1585907A (zh) * 2001-11-13 2005-02-23 松下电器产业株式会社 广角成像光学系统以及使用该广角成像光学系统的广角成像装置、监视成像装置、车载成像装置以及投影装置
CN1588159A (zh) * 2004-09-24 2005-03-02 清华大学 一种长焦距大视场无活动部件的微型目标探测系统
CN101246302A (zh) * 2007-02-15 2008-08-20 船井电机株式会社 广角摄像装置
JP5201957B2 (ja) * 2007-11-21 2013-06-05 キヤノン株式会社 撮像装置
WO2013027488A1 (ja) * 2011-08-24 2013-02-28 富士フイルム株式会社 撮像装置

Also Published As

Publication number Publication date
JP2015154386A (ja) 2015-08-24
EP3110132B1 (en) 2021-06-30
WO2015125388A1 (ja) 2015-08-27
US9924084B2 (en) 2018-03-20
EP3110132A4 (en) 2017-03-01
EP3110132A1 (en) 2016-12-28
US20160323504A1 (en) 2016-11-03
CN105960796A (zh) 2016-09-21
JP6027560B2 (ja) 2016-11-16

Similar Documents

Publication Publication Date Title
CN105960796B (zh) 自动跟踪摄像装置
CN107079087A (zh) 摄像装置及对象物识别方法
CN109155842A (zh) 立体相机及立体相机的控制方法
US9681057B2 (en) Exposure timing manipulation in a multi-lens camera
CN105611122B (zh) 图像传感器及输出方法、相位对焦方法、成像装置和终端
TWI419551B (zh) 固態全景影像擷取裝置
CN106464788B (zh) 摄像装置
US20120262607A1 (en) Multocular image pickup apparatus and multocular image pickup method
CN105590939B (zh) 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN105609516B (zh) 图像传感器及输出方法、相位对焦方法、成像装置和终端
CN106161926A (zh) 摄像装置和摄像装置的控制方法
CN103688536A (zh) 图像处理装置、图像处理方法及程序
CN101246302A (zh) 广角摄像装置
CN104641276B (zh) 摄像装置及信号处理方法
CN107925719A (zh) 摄像装置、摄像方法、程序及非暂时性记录介质
JP2016048824A (ja) 追尾装置、追尾システム、及び表示装置
US20100182488A1 (en) Photographing apparatus and focus detecting method using the same
CN104347089A (zh) 信息记录介质、信息再现装置和信息再现方法
JP2016046774A (ja) 撮像装置
JP2016048825A (ja) 撮像装置
JP2016046771A (ja) 撮像装置、撮像システム及び表示装置
CN108432233A (zh) 摄像装置及图像数据生成方法
JP2016048282A (ja) 撮像装置
JP2009500680A (ja) ３次元画像認識器
JP2016046773A (ja) 撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant