CN106688228A - 摄像控制装置、摄像控制方法、相机、相机系统及程序 - Google Patents

摄像控制装置、摄像控制方法、相机、相机系统及程序 Download PDF

Info

Publication number
CN106688228A
CN106688228A CN201580049226.3A CN201580049226A CN106688228A CN 106688228 A CN106688228 A CN 106688228A CN 201580049226 A CN201580049226 A CN 201580049226A CN 106688228 A CN106688228 A CN 106688228A
Authority
CN
China
Prior art keywords
tracking
tracking direction
camera
input
order
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580049226.3A
Other languages
English (en)
Other versions
CN106688228B (zh
Inventor
大岛宗之
渡辺干夫
三泽岳志
田丸雅也
林大辅
入江史宪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN106688228A publication Critical patent/CN106688228A/zh
Application granted granted Critical
Publication of CN106688228B publication Critical patent/CN106688228B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782—Systems for determining direction or deviation from predetermined direction
    • G01S3/785—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786—Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864—T.V. type tracking systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/02—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with scanning movement of lens or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)
  • Accessories Of Cameras (AREA)

Abstract

本发明提供一种利用能够向平摇方向及俯仰方向转动摄像部的相机跟踪被摄体时，能够通过简单的操作并根据被摄体的移动速度适当地且追随性良好地调整相机的转动速度，且能够显示易观察且不易疲劳的跟踪图像的摄像控制装置、摄像控制方法、相机、相机系统及程序。本发明的一方式所涉及的摄像控制装置具备：移动矢量计算部(212)，根据通过摄像部获得的动态图像计算跟踪对象的移动矢量；跟踪方向命令输入部(204)，接受表示对跟踪对象进行跟踪的特定的跟踪方向的跟踪方向命令的输入；跟踪方向移动分量提取部(214)，根据跟踪方向命令，从跟踪对象的移动矢量提取特定的跟踪方向的移动分量；及驱动信息生成部(216)，根据所提取的特定的跟踪方向的移动分量，生成云台机构的仅针对特定的跟踪方向的驱动信息。

Description

摄像控制装置、摄像控制方法、相机、相机系统及程序
技术领域
本发明涉及一种摄像控制装置、摄像控制方法、相机、相机系统及程序，尤其涉及一种使用能够向平摇方向及俯仰方向转动摄像部的相机的摄像控制。
背景技术
以往，利用能够向平摇方向及俯仰方向转动拍摄被摄体的摄像部的云台摄像机对作为跟踪对象的被摄体进行了跟踪。
专利文献1中，公开有如下相机，即，根据拍摄图像检测被摄体的移动矢量并在显示画面上跟踪被摄体，当作为跟踪对象的被摄体到达显示画面上的预先确定的框内时，自动拍摄静态图像。
专利文献2中公开有如下方法，即，根据广角相机的拍摄图像检测被摄体的移动矢量，从广角相机观察来推断被摄体存在于哪一方向并计算云台摄像机的平摇角度及俯仰角度，通过云台摄像机跟踪被摄体。
专利文献3中公开有如下结构，即，可调节焦点的相机中，用户能够选择用于拍摄进行向大致恒定方向移动的移动方式的被摄体的恒定方向移动拍摄模式与用于拍摄进行不规则的移动的被摄体的移动方向变化拍摄模式，移动方向变化拍摄模式中，将相对于焦点检测结果的系数设为小于恒定方向移动拍摄模式来进行焦点调节，由此限制跟踪对焦点调节的影响。通过该结构，防止对跟踪对象外的被摄体进行跟踪的误检测。
以往技术文献
专利文献
专利文献1：日本特开2010-41299号公报
专利文献2：日本特开2004-15516号公报
专利文献3：日本特开2006-317701号公报
发明内容
发明要解决的技术课题
利用云台摄像机进行被摄体的跟踪时，如图14所示，根据拍摄图像检测跟踪对象的动向，若追随该跟踪对象的动向而在平摇方向及俯仰方向转动云台摄像机的摄像部，则云台摄像机的摄像部追随跟踪对象的动向，始终在平摇方向及俯仰方向的两个方向上向顺时针方向及逆时针方向移动。因此，在显示拍摄图像的显示画面上，作为跟踪对象的被摄体的图像摇动，变得不易观察，存在观察该摇动的被摄体图像的用户的眼睛易疲劳的课题。
并且，被摄体不规则地移动时，例如还存在很难通过以十字键等的操作进行云台摄像机的转动的调速来进行跟踪的课题。
上述专利文献1、2着眼于随着时间变化，作为跟踪对象的被摄体并不仅向特定的一方向移动，实际上向上下左右的各方向移动这一点。
专利文献1记载的发明并非云台摄像机，因此仅在显示画面上跟踪被摄体，无法根据被摄体的移动速度调整云台摄像机的转动速度。并且，根据从拍摄图像检测出的被摄体的移动矢量，在显示画面上在上下左右的所有方向上跟踪被摄体，因此在对不规则地移动的被摄体进行跟踪时，观察摇动的被摄体图像的用户的眼睛易疲劳。
专利文献2记载的发明中，根据广角相机的拍摄图像检测被摄体的移动矢量，实际上很难根据被摄体的移动速度追随性良好地调整云台摄像机的转动速度。并且，根据从拍摄图像检测出的被摄体的移动矢量，在上下左右的所有方向上跟踪被摄体，因此在对不规则地移动的被摄体进行跟踪时，观察摇动的被摄体图像的用户的眼睛易疲劳。
专利文献3记载的相机并非云台摄像机，专利文献3中并没有公开及启示能够根据被摄体的移动速度调整云台摄像机的转动速度的技术。专利文献3仅公开了如下内容，即，由用户选择适于进行不规则的移动的被摄体的摄影的移动方向变化拍摄模式时，与跟踪对象的移动方向无关地限制跟踪对焦点调节的影响。因此，即使在云台摄像机中采用专利文献3记载的技术，也并不一定能够同时做到能够根据被摄体的移动速度适当地且追随性良好地调整云台摄像机的转动速度与能够显示易观察且不易疲劳的跟踪图像。
本发明是鉴于上述情况而完成的，其目的在于利用能够向平摇方向及俯仰方向转动摄像部的相机跟踪被摄体时，能够通过简单的操作并根据被摄体的移动速度适当地且追随性良好地调整相机的转动速度，且能够显示易观察且不易疲劳的跟踪图像。
用于解决技术课题的手段
本发明的一方式涉及一种摄像控制装置，其控制包含如下的相机：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动摄像部；及云台驱动部，驱动云台机构，所述摄像控制装置具备：移动矢量计算部，根据通过摄像部获得的动态图像计算跟踪对象的移动矢量；跟踪方向命令输入部，接受表示对跟踪对象进行跟踪的特定的跟踪方向的跟踪方向命令的输入；跟踪方向移动分量提取部，根据跟踪方向命令，从跟踪对象的移动矢量提取特定的跟踪方向的移动分量；及驱动信息生成部，根据所提取的特定的跟踪方向的移动分量，生成云台机构的仅针对特定的跟踪方向的驱动信息。
根据本方式，通过跟踪方向命令输入部被命令输入特定的跟踪方向，通过移动矢量计算部，根据动态图像计算跟踪对象的移动矢量，通过跟踪方向移动分量提取部，从跟踪对象的移动矢量提取特定的跟踪方向的移动分量，通过驱动信息生成部，根据特定的跟踪方向的移动分量，生成仅针对特定的跟踪方向的驱动信息，因此通过命令输入特定的跟踪方向的简单的操作，能够通过相机仅在特定的跟踪方向上对跟踪对象进行跟踪，能够根据被摄体的移动速度适当地且追随性良好地调整相机的转动速度，且能够显示易观察且不易疲劳的跟踪图像。
本发明的一方式中，驱动信息生成部根据上一次生成的驱动信息与在根据上一次生成的驱动信息驱动相机的云台机构的状态下提取的特定的跟踪方向的移动分量生成下一次的驱动信息。
根据本方式，根据上一次生成的驱动信息与在根据上一次生成的驱动信息驱动相机的云台机构的状态下提取的特定的跟踪方向的移动分量生成下一次的驱动信息即可，因此驱动信息生成的计算简单且成为低负荷。例如，作为驱动信息的一例，具体而言可举出摄像部的转动的角速度，作为所提取的特定的跟踪方向的移动分量，具体而言可举出显示画面上的跟踪对象的位置的误差。
本发明的一方式中，在连续进行对跟踪方向命令输入部的跟踪方向的命令输入期间，反复执行跟踪对象的移动矢量的计算、跟踪方向的移动分量的提取及驱动信息的生成。
根据本方式，能够在连续进行跟踪方向的命令输入期间(例如通过手指等持续按压特定键的期间)，仅在连续进行命令输入的特定的跟踪方向上进行跟踪，且跟踪方向的命令输入停止时(例如手指等离开特定键时)，结束仅针对特定的跟踪方向的跟踪，返回通常的跟踪。
本发明的一方式中，若进行一次对跟踪方向命令输入部的跟踪方向的命令输入，则反复执行跟踪对象的移动矢量的计算、跟踪方向的移动分量的提取及驱动信息的生成，直至进行对跟踪方向命令输入部的跟踪方向的解除的命令输入或经过规定时间。
根据本方式，通过仅进行一次跟踪方向的命令输入(例如仅按压一次特定键)，能够仅在连续进行有命令输入的特定的跟踪方向进行跟踪。
本发明的一方式中，跟踪方向命令输入部作为特定的跟踪方向接受平摇方向及俯仰方向中任一方向的命令输入。
根据本方式，通过将平摇方向及俯仰方向中的任一方向指定为跟踪方向的简单的操作，能够进行仅针对平摇方向及俯仰方向中的任一方向的跟踪。
本发明的一方式中，跟踪方向命令输入部作为特定的跟踪方向接受混合有平摇方向的分量与俯仰方向的分量的方向的输入。
根据本方式，能够将混合有平摇方向的分量及俯仰方向的分量的方向作为跟踪方向来进行命令输入，因此能够将各种方向作为跟踪方向来进行命令。
本发明的一方式中，具备：显示部，显示通过相机获得的动态图像或静态图像；及跟踪对象命令输入部，接受显示于显示部的图像中的跟踪对象的命令输入。
根据本方式，能够从显示于显示部的图像中选择跟踪对象，因此能够轻松地命令输入跟踪对象。
本发明的一方式中，跟踪方向命令输入部包含表示向上方向、向下方向、向左方向及向右方向的图标。
根据本方式，用户能够利用表示向上方向、向下方向、向左方向及向右方向的图标，简单地命令输入跟踪方向。
本发明的一方式涉及一种具备上述摄像控制装置及相机的相机系统。
本发明的一方式涉及一种相机，其具备：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动摄像部；云台驱动部，驱动云台机构；移动矢量计算部，根据通过摄像部获得的动态图像计算跟踪对象的移动矢量；跟踪方向命令输入部，接受表示对跟踪对象进行跟踪的特定的跟踪方向的命令的输入；跟踪方向移动分量提取部，根据所输入的命令，从跟踪对象的移动矢量提取特定的跟踪方向的移动分量；及驱动信息生成部，根据所提取的特定的跟踪方向的移动分量，生成仅针对特定的跟踪方向的驱动信息。另外，接受“命令的输入”的方式有通过通信接收的方式与直接接受用户操作的方式，本发明包含这两个方式。
本发明的一方式涉及一种摄像控制方法，通过该方法控制具备如下的相机：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动摄像部；及云台驱动部，驱动云台机构，所述摄像控制方法包含：移动矢量计算步骤，根据通过相机获得的动态图像计算跟踪对象的移动矢量；跟踪方向命令输入步骤，接受表示对跟踪对象进行跟踪的特定的跟踪方向的命令的输入；跟踪方向移动分量提取步骤，根据所输入的命令，从跟踪对象的移动矢量提取特定的跟踪方向的移动分量；及驱动信息生成步骤，根据所提取的特定的跟踪方向的移动分量，生成仅针对特定的跟踪方向的驱动信息。
本发明的一方式涉及一种程序，通过该程序控制包含如下的相机：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动摄像部；及云台驱动部，驱动云台机构，所述程序使计算机执行如下步骤：移动矢量计算步骤，根据通过相机获得的动态图像计算跟踪对象的移动矢量；跟踪方向命令输入步骤，接受表示对跟踪对象进行跟踪的特定的跟踪方向的命令的输入；跟踪方向移动分量提取步骤，根据所输入的命令，从跟踪对象的移动矢量提取特定的跟踪方向的移动分量；及驱动信息生成步骤，根据所提取的特定的跟踪方向的移动分量，生成仅针对特定的跟踪方向的驱动信息。记录有该程序且能够计算机读取的非暂时性记录介质也包含于本发明的一方式。
发明效果
根据本发明，利用能够向平摇方向及俯仰方向转动摄像部的相机跟踪被摄体时，能够通过简单的操作并根据被摄体的移动速度适当地且追随性良好地调整相机的转动速度，且能够显示易观察且不易疲劳的跟踪图像。
附图说明
图1是表示云台摄像机及智能手机的一例的外观的立体图。
图2是表示云台摄像机的一例的内部结构的框图。
图3(A)是用于说明平摇方向的转动的云台摄像机的俯视图，图3(B)是用于说明俯仰方向的转动的云台摄像机的侧视图。
图4是表示智能手机的一例的内部结构的框图。
图5是表示第1实施方式中的主要部分的内部结构例的框图。
图6是表示第1实施方式中的跟踪处理的一例的流程的流程图。
图7是用于说明跟踪对象的命令输入及移动矢量计算的说明图。
图8是用于说明跟踪方向的命令输入的说明图。
图9是用于说明基于云台摄像机的摄像部的跟踪的说明图。
图10是用于说明驱动信息生成的说明图。
图11是表示第2实施方式中的主要部分的内部结构例的框图。
图12是表示第2实施方式中的跟踪处理的流程的流程图。
图13是用于说明跟踪方向命令输入的变化的说明图。
图14是用于说明本发明的课题的说明图。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。
[云台摄像机及智能手机的外观例]
如图1(表示包含云台摄像机10及智能手机100的云台摄像机系统的一例的外观的立体图)所示，云台摄像机10具有装置主体12、支座14、固定于支座14并且转动自如地保持摄像部20的保持部16、覆盖摄像部20的球形罩18及摄像部20。
支座14以装置主体12的垂直方向Z的轴为中心旋转自如地配设，通过平摇驱动部34(图2)以垂直方向Z的轴为中心进行旋转。
保持部16具有与水平方向X的轴设于同轴上的齿轮16A，通过从俯仰驱动部36(图2)经由齿轮16A传递驱动力，使摄像部20沿上向下方向转动(俯仰动作)。
球形罩18为防尘及防滴用的罩，优选为以水平方向X的轴与垂直方向Z的轴的交点作为曲率中心的恒定壁厚的球壳形状，以便与摄像部20的光轴方向L无关地避免摄像部20的光学性能发生变化。
并且，优选在装置主体12的背面设置未图示的三脚架安装部(三脚架螺孔等)。
云台摄像机10上设置有电源开关19A及命令开始摄影的摄像开始按钮19B，但云台摄像机10具有相机无线通信部50(图2)，主要通过与外部的终端机(本例中为智能手机)100的无线通信，从智能手机100加以各种操作用命令输入。
[云台摄像机的内部结构例]
图2是表示云台摄像机10的内部结构的实施方式的框图。
该云台摄像机10能够进行通常的静态图像及动态图像的摄影，大致具备摄像部20、云台装置30、相机控制部40及相机无线通信部50。
摄像部20具有成像透镜22及成像元件24等。成像透镜22由定焦透镜或变焦透镜构成，将被摄体图像成像于成像元件24的成像面上。另外，成像透镜22中包含的聚焦透镜、变倍透镜(为变焦透镜时)及光圈23分别通过透镜驱动部26驱动。
本例的成像元件24为按每个像素以规定的图案排列(拜耳排列、G条纹R/G完整方格、X-Trans(注册商标)排列、蜂窝排列等)有红(R)、绿(G)、青(B)的三原色的原色滤色器的彩色成像元件，由CMOS(Complementary Metal Oxide Semiconductor)型图像传感器构成。另外，并不限于CMOS型图像传感器，也可以是CCD(Charge Coupled Device)型图像传感器。
成像元件24通过具有垂直驱动器及水平驱动器等的成像元件驱动器28及定时信号发生器(TG)29驱动，从成像元件24读取与被摄体光的入射光量相应的像素信号(与按每个像素积蓄的信号电荷对应的数字信号)。
如图1所示，云台装置30具备使摄像部20相对于装置主体12向水平方向(平摇方向)旋转的平摇机构及使摄像部20向垂直方向(俯仰方向)转动的俯仰机构(以下，称为“云台机构”)32、平摇驱动部34及俯仰驱动部36等。
云台机构32能够向平摇方向及俯仰方向转动摄像部20，而且具有检测平摇方向的旋转角(平摇角)的基准位置的初始位置传感器、检测俯仰方向的倾斜角(俯仰角)的基准位置的初始位置传感器。
图3(A)是表示平摇方向的转动角度θ的云台摄像机10的俯视图。图3(B)是表示俯仰方向的转动角度的云台摄像机10的侧视图。
平摇驱动部34及俯仰驱动部36分别具有步进电机及电机驱动器，向云台机构32输出驱动力，驱动云台机构32。以下，将平摇驱动部34及俯仰驱动部36称为云台驱动部33。
相机控制部40主要具备信号处理部41、摄像控制部42、透镜控制部43、云台控制部44及摄影技法控制部46。
信号处理部41对从摄像部20输入的数字图像信号进行偏移处理、包括白平衡校正及灵敏度校正的增益控制处理、伽马校正处理、去马赛克处理(Demosaicing处理)、RGB/YC转换处理等信号处理。其中，去马赛克处理是从与单板式彩色成像元件的滤色器排列对应的马赛克图像按每个像素计算所有颜色信息的处理，还称为同步化处理。例如，当为包含RGB三颜色的滤色器的成像元件时，是从包含RGB的马赛克图像按每个像素计算所有RGB的颜色信息的处理。并且，RGB/YC转换处理是从已进行去马赛克处理的RGB图像数据生成亮度数据Y与色差数据Cb、Cr的处理。
摄像控制部42为指令经由成像元件驱动器28、TG29排出积蓄在成像元件24的每个像素的电容器的电荷或读取与积蓄在电容器的电荷对应的信号等的部分，进行延时摄影等中的摄像控制。
透镜控制部43为经由透镜驱动部26控制成像透镜22中包含的聚焦透镜、变倍透镜及光圈23的部分，进行使聚焦透镜向对焦位置移动的自动聚焦(AF)控制等。如下进行AF控制，即，积算与AF区对应的数字信号的高频分量的绝对值，检测该积算的值(AF评价值)变得最大的对焦位置，并使聚焦透镜向检测出的对焦位置移动。
云台控制部44为控制云台装置30的部分。
摄影技法控制部46输出控制透镜控制部43及云台控制部44的指令信号。
相机无线通信部50为在与图1所示的智能手机100等外部终端机之间进行无线通信的部分，通过无线通信从智能手机100接收各种操作用的命令输入。并且，相机无线通信部50将所拍摄的图像等发送至智能手机100。相机无线通信部50能够将通过摄像部20进行动态图像摄影并通过信号处理部41处理的图像(即时预览图像)发送至智能手机100。由此，能够将动态图像等记录用图像记录于智能手机100的内部或外置记录介质，或将即时预览图像显示于智能手机100的显示部。
相机操作部60包含设置于装置主体12的摄像开始按钮19B(图1)、电源开关19A(图1)等，能够进行与来自智能手机100的操作用命令输入相同的操作用命令输入。
相机显示部61作为显示即时预览图像、回放图像等的图像显示部发挥功能，并且与相机操作部60协同作用，作为显示菜单画面、用于设定、输入各种参数的用户界面部(UI部)而发挥功能。
存储器62包含临时存储依次拍摄的图像的存储区域、成为进行各种运算处理等的工作用区域的SDRAM(Synchronous Dynamic Random Access Memory)和存储摄像用程序及控制所需的各种数据等的ROM(Read Only Memory)等。
[智能手机的内部结构例]
图4是表示图1所示的智能手机100的结构的框图。
如图4所示，作为智能手机100的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(GlobalPositioning System)接收部170、动作传感器部180、电源部190及主控制部101。并且，作为智能手机100的主要功能，具备进行经由基站装置BS与移动通信网NW的移动无线通信的无线通信功能。
无线通信部110根据主控制部101的命令，对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行音频数据、图像数据等各种文件数据、电子邮件数据等的收发或Web数据和流数据等的接收。本例中，智能手机100的无线通信部110向云台摄像机10发送各种操作用命令输入或从云台摄像机10接收即时预览图像、记录用图像等。
显示输入部120是通过主控制部101的控制，显示图像(静态图像及动态图像)或字符信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作的所谓的触控面板，具备显示面板121与操作面板122。观赏3D图像时，优选显示面板121为3D显示面板。
显示面板121将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。
操作面板122是以能够视觉辨认显示于显示面板121的显示画面上的图像的方式载置，并检测通过用户的手指或触控笔来操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将通过操作而产生的检测信号输出至主控制部101。接着，主控制部101根据所接收的检测信号检测显示面板121上的操作位置(坐标)。
如图1所示，智能手机100的显示面板121与操作面板122成为一体而构成显示输入部120，并配置成操作面板122完全覆盖显示面板121。采用该配置时，操作面板122可以对显示面板121外的区域也具备检测用户操作的功能。换言之，操作面板122可具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为显示区域)及针对除此以外的不与显示面板121重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，可使显示区域的大小与显示面板121的大小完全一致，但无需一定要使两者一致。并且，操作面板122可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体102的大小等适当设计。此外，作为在操作面板122中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一方式。
通话部130具备扬声器131和麦克风132，将通过麦克风132输入的用户的声音转换为能够在主控制部101中处理的音频数据来输出至主控制部101，或对通过无线通信部110或外部输入输出部160接收的音频数据进行解码而从扬声器131输出。并且，如图1所示，例如能够将扬声器131及麦克风132搭载于与设置有显示输入部120的面相同的面。
操作部140为使用键开关等的硬件键，接受来自用户的命令。例如，操作部140搭载于智能手机100的框体102的显示部的下部、下侧面，是用手指等按压时开启，手指离开时通过弹簧等的复原力而成为关闭状态的按钮式开关。
存储部150存储主控制部101的控制程序和控制数据、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据、已下载的内容数据，或临时存储流数据等。并且，存储部150由内置于智能手机的内部存储部151及具有装卸自如的外部存储器用的插槽的外部存储部152构成。另外，构成存储部150的各个内部存储部151与外部存储部152通过使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimediacard micro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read OnlyMemory)等存储介质来实现。
外部输入输出部160发挥与连结于智能手机100的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机100连结的外部设备，例如有：有/无线头戴式耳机话筒、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(Subscriber Identity Module)/UIM(User Identity Module)卡、经由语音/视频I/O(Input/Output)端子连接的外部语音/视频设备、无线连接的外部语音/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机100的内部的各构成要件、或将智能手机100的内部的数据传送至外部设备。
GPS接收部170根据主控制部101的命令接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测包含该智能手机100的纬度、经度、高度的位置。GPS接收部170在能够从无线通信部110或外部输入输出部160(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部180例如具备三轴加速度传感器等，根据主控制部101的命令，检测智能手机100的物理动向。通过检测智能手机100的物理动向，可检测智能手机100的移动方向或加速度。该检测结果被输出至主控制部101。
电源部190根据主控制部101的命令，向智能手机100的各部供给蓄积在电池(未图示)的电力。
主控制部101具备微处理器，根据存储部150所存储的控制程序或控制数据进行动作，统一控制智能手机100的各部。并且，主控制部101为了通过无线通信部110进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。
应用处理功能通过主控制部101根据存储部150所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部160来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部101具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)在显示输入部120显示影像等的图像处理功能。图像处理功能是指主控制部101对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部120的功能。
而且，主控制部101执行对显示面板121的显示控制及检测通过操作部140、操作面板122进行的用户操作的操作检测控制。
通过执行显示控制，主控制部101显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于使无法全部容纳于显示面板121的显示区域的较大图像等，接受使图像的显示部分移动的命令的软件键。
并且，通过执行操作检测控制，主控制部101检测通过操作部140进行的用户操作，或者通过操作面板122接受对上述图标的操作或对上述窗口的输入栏输入字符串，又或者接受通过滚动条进行的显示图像的滚动请求。
而且，通过执行操作检测控制，主控制部101判定对操作面板122操作的位置是与显示面板121重叠的重叠部分(显示区域)，还是除此以外的不与显示面板121重叠的外缘部分(非显示区域)，并具备控制操作面板122的感应区域或软件键的显示位置的触控面板控制功能。
并且，主控制部101还能够检测对操作面板122的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触摸操作，而是通过手指等描绘轨迹、或者同时指定多个位置、又或者组合这些来从多个位置对至少一个描绘轨迹的操作。
相机部141为使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge Coupled Device)等成像元件进行电子摄影的数码相机。并且，相机部141通过主控制部101的控制，能够将通过摄影获得的图像数据转换为例如JPEG(Joint Photographiccoding Experts Group)等压缩的图像数据并记录于存储部150，或者通过外部输入输出部160或无线通信部110输出。图1所示的智能手机100中，相机部141搭载于与显示输入部120相同的面，但相机部141的搭载位置并不限定于此，可搭载于显示输入部120的背面，或者也可以搭载有多个相机部141。另外，搭载有多个相机部141时，还能够切换供摄影的相机部141来单独进行摄影或者同时使用多个相机部141进行摄影。并且，相机部141能够利用于智能手机100的各种功能中。例如，能够在显示面板121显示通过相机部141获取的图像，或者能够作为操作面板122的操作输入之一，利用相机部141的图像。并且，当GPS接收部170检测位置时，也能够参考来自相机部141的图像来检测位置。而且，还能够参考来自相机部141的图像，并不使用三轴加速度传感器或者与三轴加速度传感器同时使用来判断智能手机100的相机部141的光轴方向，或判断当前的使用环境。当然，也能够在应用软件内利用来自相机部141的图像。
本例中，经由网络等下载用于操作云台摄像机10的应用软件并存储于存储部150，通过智能手机100的应用处理功能，通过使主控制部101根据所下载的应用软件进行动作，能够使通用的智能手机100作为用于操作云台摄像机10的用户界面部(UI部)发挥功能。
[第1实施方式]
第1实施方式中，在智能手机100中，进行跟踪对象的移动矢量计算、跟踪方向的移动分量提取及驱动信息生成。所生成的驱动信息从智能手机100输出至云台摄像机10。并且，以下的例子中，通过显示输入部120从用户接受跟踪对象的命令输入及跟踪方向的命令输入。
图5是表示第1实施方式中的主要部分的内部结构例的框图。
如利用图1进行了说明，智能手机100的显示输入部120为重叠配置显示面板121(为显示部的一方式)与操作面板122的结构。显示输入部120用作：跟踪对象命令输入部202，接受显示于显示面板121的图像中的跟踪对象的命令输入；及跟踪方向命令输入部204，接受表示对跟踪对象进行跟踪的特定的跟踪方向的跟踪方向命令的输入。
智能手机100的主控制部101具备：移动矢量计算部212，根据通过云台摄像机10的摄像部20获得的动态图像计算跟踪对象的移动矢量；跟踪方向移动分量提取部214，根据通过跟踪方向命令输入部204接受的跟踪方向命令，从跟踪对象的移动矢量提取特定的跟踪方向的移动分量；驱动信息生成部216，根据所提取的特定的跟踪方向的移动分量，生成仅针对特定的跟踪方向的驱动信息；及执行控制部220，根据存储于存储部(图4的150)的程序，控制智能手机100的各部的执行。
图6是表示第1实施方式中的摄像控制方法的一例的流程的流程图。图6中，智能手机100的处理通过智能手机100的执行控制部220，根据存储于智能手机100的存储部150的程序执行。云台摄像机10的处理通过云台摄像机10的相机控制部40，根据存储于云台摄像机10的存储器62的程序执行。
另外，云台摄像机10设为，已打开电源开关19A及按压摄像开始按钮19B，云台机构32、云台驱动部33等结束初始化而处于已开始被摄体的拍摄的状态。
云台摄像机10根据相机控制部40的控制，通过相机无线通信部50向智能手机100发送输出通过摄像部20拍摄的即时预览图像(步骤S102)。智能手机100中，通过无线通信部110接收输入即时预览图像，将即时预览图像显示于显示输入部120的显示面板121。
本例的云台摄像机10以规定的时间间隔进行即时预览图像的拍摄，且以规定时间间隔对智能手机100发送输出即时预览图像。在此，“规定的时间间隔”并不限定于完全相同的时间间隔，还包括产生规定的容许范围内的波动的情况。并且，本发明并不限定于即时预览图像的拍摄时间间隔及发送时间间隔恒定的情况。云台摄像机10可根据云台摄像机10的各部的负荷状态或通信环境等，以非恒定的时间间隔进行即时预览图像的拍摄及发送输出。例如，检测到拍摄图像的变化量为阈值以下时、检测到云台摄像机10中的处理的负荷为容许范围外时、或者检测到通信环境为容许范围外时，可暂时停止拍摄及发送中的至少一个。并且，即时预览图像中附加有拍摄时刻信息(所谓的时间戳)，因此智能手机100能够根据附加于即时预览图像的拍摄时刻信息检测拍摄时刻。
如图7所示，智能手机100中，通过作为跟踪对象命令输入部202发挥功能的显示输入部120，接受所显示的即时预览图像中的跟踪对象的命令的输入(步骤S104：为跟踪对象命令输入步骤的一方式)。本例中，通过构成显示输入部120的操作面板122，从用户直接接受跟踪对象的命令输入。例如，将人作为跟踪对象来进行命令输入时，进行通过手指等触摸即时预览图像中的人的图像的触摸输入，由此命令输入跟踪对象。也可通过以包围人的图像的方式用手指等描绘轨迹或者以夹住人的图像的方式用多个手指等进行多处触摸等的触摸输入，接受跟踪对象的命令输入。
并且，如图8所示，智能手机100中，通过作为跟踪方向命令输入部204发挥功能的显示输入部120，接受表示对跟踪对象进行跟踪的特定的跟踪方向的跟踪方向命令的输入(步骤S106：为跟踪方向命令输入步骤的一方式)。本例中，通过构成显示输入部120的操作面板122，从用户直接接受跟踪方向的命令输入。图8中，通过十字键204C构成跟踪方向命令输入部204。十字键204C包含表示向上方向的图标204U(以下称为“上键”)、表示向下方向的图标204D(以下称为“下键”)、表示向左方向的图标204L(以下称为“左键”)及表示向右方向的图标204R(以下称为“右键”)。当为图1的相机姿势时，如图9所示，左键204L的按压与云台摄像机10中的摄像部20向平摇方向的逆时针方向的转动对应。当为上述的相机姿势时，右键204R的按压与云台摄像机10中的摄像部20向平摇方向的顺时针方向的转动对应。当为上述的相机姿势时，上键204U的按压与云台摄像机10中的摄像部20向俯仰方向的顺时针方向的转动对应。当为上述的相机姿势时，下键204D的按压与云台摄像机10中的摄像部20向俯仰方向的逆时针方向的转动对应。即，跟踪方向命令输入部204接受平摇方向及俯仰方向中的任一方向的命令输入。其中，十字键204C中的各键的按压与云台摄像机10中的摄像部20的转动方向之间的对应关系根据云台摄像机10的姿势(向上姿势、向下姿势、横向姿势等)而不同，因此云台摄像机10可取各种姿势时(例如并非装配式而是便携式时)，根据云台摄像机10的姿势变更十字键204C的各键与摄像部20的转动方向之间的对应关系。
云台摄像机10反复进行即时预览图像的拍摄及发送输出。智能手机100中，每接收即时预览图像，就将即时预览图像显示于显示输入部120的显示面板121。
通过智能手机100的移动矢量计算部212，并根据多个即时预览图像(为动态图像)，计算跟踪对象的移动矢量v(步骤S108：为移动矢量计算步骤的一方式)。例如图7所示的即时预览图像中，作为跟踪对象的人的图像的移动矢量v由横向分量vx及纵向分量vy构成。
通过智能手机100的跟踪方向移动分量提取部214，并根据跟踪方向命令，从跟踪对象的移动矢量v提取特定的跟踪方向的移动分量(步骤S110：为跟踪方向移动分量提取步骤的一方式)。如图8所示，仅按压右键204R时，仅提取向右方向的移动分量。仅按压左键204L时，仅提取向左方向的移动分量。仅按压上键204U时，仅提取向上方向的移动分量。仅按压下键204D时，仅提取向下方向的移动分量。按压2个键(例如上键204U及右键204R)时，向上、向下、向左、向右方向的移动分量中，提取与所按压的键对应的方向(例如向上方向及向右方向)的移动分量。
通过智能手机100的驱动信息生成部216，并根据所提取的特定的跟踪方向的移动分量，生成仅针对特定的跟踪方向的驱动信息(步骤S112：为驱动信息生成步骤的一方式)。如图8所示，仅按压右键204R时，图1的相机姿势下，生成仅针对平摇方向的顺时针方向的驱动信息。仅按压左键204L时，上述相机姿势下，生成仅针对平摇方向的逆时针方向的驱动信息。仅按压上键204U时，上述相机姿势下，生成仅针对俯仰方向的顺时针方向的驱动信息。仅按压下键204D时，上述相机姿势下，生成仅针对俯仰方向的逆时针方向的驱动信息。按压2个键(例如上键204U及右键204R)时，向上、向下、向左、向右方向的移动分量中，生成仅针对与所按压的键对应的方向(例如平摇的顺时针方向及俯仰的顺时针方向)的驱动信息。
驱动信息生成部216根据上一次生成的驱动信息与在根据上一次生成的驱动信息驱动云台机构32的状态下提取的特定的跟踪方向的移动分量，生成下一次的驱动信息。例如，作为驱动信息生成摄像部20的转动的角速度时，根据上一次生成的角速度与在摄像部20以上一次生成的角速度转动的状态下提取的跟踪方向的移动分量，计算下一次的角速度。例如，图10中，将仅追随人的图像的向右方向的移动的云台摄像机10的摄像部20向平摇方向的顺时针方向的角速度设为vx0时，若在即时预览图像上提取向右方向的移动分量Δvx，则可根据vx0与Δvx求出下一次的平摇方向的顺时针方向的角速度vxi(＝vx0+f(Δvx))。其中，f()表示即时预览图像中的跟踪方向的移动分量(为图像上的跟踪误差)与云台摄像机10中的摄像部20的跟踪方向的角加速度之间的对应关系。尤其，即时预览图像上的跟踪误差与云台的角加速度之间的对应关系并无特别限定，以能够圆滑地跟踪的方式适当设定即可。
通过智能手机100的无线通信部110，对云台摄像机10发送输出所生成的驱动信息(步骤S114)。所发送输出的驱动信息通过云台摄像机10的相机无线通信部50被接收输入。
云台摄像机10的相机控制部40判定是否已接收输入有驱动信息(步骤S116)。已接收输入有驱动信息时(步骤S116中为是时)，云台摄像机10的相机控制部40根据驱动信息，通过云台驱动部33驱动云台机构32(步骤S118)。即，云台摄像机10的摄像部20根据驱动信息，仅向跟踪对象的特定的跟踪方向转动。例如，如图9所示，云台摄像机10的摄像部20仅向平摇方向的顺时针方向转动。
智能手机100的执行控制部220判定跟踪方向命令输入部204中的跟踪方向的命令输入是否连续(步骤S120)。
跟踪方向的命令输入连续时(步骤S120中为是时)，返回步骤S108，反复执行跟踪对象的移动矢量的计算(步骤S108)、跟踪方向的移动分量的提取(步骤S110)、驱动信息的生成(步骤S112)及驱动信息的发送输出(步骤S114)。例如，若图8所示的十字键204C中时间上连续地保持按压右键204R，则通过执行控制部220的执行控制，反复执行步骤S108～步骤S114。
跟踪方向的连续的命令输入结束时(步骤S120中为否时)，结束上述步骤S108～步骤S114的反复。例如，若手指等离开图8所示的十字键204C中的右键204R，结束右键204R的连续按压，则通过执行控制部220的执行控制，结束步骤S108～步骤S114的反复执行，并判定是否输入有跟踪结束的命令(步骤S122)。例如按压图10的结束键206时，判定为输入有跟踪结束的命令。
输入有跟踪结束的命令时(步骤S122中为是时)，通过执行控制部220的执行控制，结束跟踪。未输入有跟踪结束的命令时(步骤S122中为否时)，返回步骤S106，根据需要进行跟踪方向的命令输入的接受(步骤S106)。
[第2实施方式]
第2实施方式中，在云台摄像机10中，进行跟踪对象的移动矢量计算、跟踪方向的移动分量提取及驱动信息生成。并且，以下的例子中，跟踪对象的命令及跟踪方向的命令通过相机无线通信部50从智能手机100接收来输入。
图11是表示第2实施方式中的主要部分的内部结构例的框图。
云台摄像机10的相机无线通信部50包含：跟踪对象命令输入部252，通过无线通信从智能手机100输入(接收)跟踪对象的命令；及跟踪方向命令输入部254，通过无线通信从智能手机100输入(接收)跟踪方向的命令。
第2实施方式中，若在智能手机100的显示输入部120显示即时预览图像并由用户进行跟踪对象的命令的输入操作，则从智能手机100通过无线通信对云台摄像机10输出(发送)即时预览图像中的跟踪对象的位置作为跟踪对象的命令。云台摄像机10的相机无线通信部50通过无线通信输入(接收)跟踪对象的命令。并且，第2实施方式中，若通过智能手机100的显示输入部120进行跟踪方向的命令的输入操作，则从智能手机100的无线通信部110通过无线通信对云台摄像机10输出(发送)跟踪方向的命令。云台摄像机10的相机无线通信部50通过无线通信输入(接收)跟踪方向的命令。
云台摄像机10的相机控制部40具备：移动矢量计算部212，根据通过云台摄像机10获得的动态图像计算跟踪对象的移动矢量；跟踪方向移动分量提取部214，根据通过跟踪方向命令输入部254接受的跟踪方向命令，从跟踪对象的移动矢量提取特定的跟踪方向的移动分量；驱动信息生成部216，根据所提取的特定的跟踪方向的移动分量，生成仅针对特定的跟踪方向的驱动信息；及执行控制部222，根据存储于存储器(图2的62)的程序，控制智能手机100的各部的执行。
图12是表示第2实施方式中的摄像控制方法的一例的流程的流程图。
另外，云台摄像机10设为，已打开电源开关19A及按下摄像开始按钮19B，云台机构32、云台驱动部33等结束初始化而处于已开始被摄体的拍摄的状态。
云台摄像机10根据相机控制部40的控制，通过相机无线通信部50对智能手机100发送输出通过摄像部20拍摄的即时预览图像(步骤S202)。智能手机100中，通过无线通信部110接收输入即时预览图像，显示输入部120的显示面板121显示即时预览图像。
如图7所示，智能手机100中，对显示输入部120输入显示于显示输入部120的即时预览图像中的跟踪对象的命令(步骤S204)。跟踪对象的命令从智能手机100通过无线通信发送至云台摄像机10。
并且，如图8所示，智能手机100中，对显示输入部120输入跟踪方向的命令(步骤S205)。跟踪方向的命令从智能手机100通过无线通信发送至云台摄像机10。
云台摄像机10的执行控制部222进行是否已通过无线通信输入(接收)有跟踪对象的命令的判定(步骤S206)、及是否已通过无线通信输入(接收)有跟踪方向的命令的判定(步骤S207)。其中，跟踪方向的命令的接收相当于跟踪方向命令输入步骤的一方式。
输入有跟踪对象的命令及跟踪方向的命令时(步骤S206中为是且步骤S207中为是时)，云台摄像机10中，通过执行控制部222的执行控制，执行跟踪对象的移动矢量的计算(步骤S208：为移动矢量计算步骤的一方式)、跟踪方向的移动分量的提取(步骤S210：为跟踪方向移动分量提取步骤的一方式)及基于跟踪方向的移动分量的驱动信息的生成(步骤S212：为驱动信息生成步骤的一方式)。这些步骤S208～S212与第1实施方式中的步骤S108～S112相同，省略详细说明。
云台摄像机10的相机控制部40根据驱动信息，通过云台驱动部33驱动云台机构32(步骤S214)。即，云台摄像机10的摄像部20根据驱动信息，仅向跟踪对象的特定的跟踪方向转动。
智能手机100的主控制部101判定显示输入部120中的跟踪方向的命令输入是否连续(步骤S220)。跟踪方向的连续的命令输入结束时(步骤S220为否时)，从智能手机100通过无线通信对云台摄像机10通知(发送)跟踪方向的命令输入的中断(步骤S222)。
云台摄像机10的执行控制部222进行是否已通过无线通信接收到跟踪方向的命令输入的中断通知的判定(步骤S223)。未接收上述中断通知时(步骤S223中为否时)，即连续进行智能手机100中的跟踪方向的命令输入时，反复即时预览图像的拍摄及发送输出(步骤S228)，且反复执行跟踪对象的移动矢量的计算(步骤S208)、跟踪方向的移动分量的提取(步骤S210)、驱动信息的生成(步骤S212)及云台机构的驱动(步骤S214)。接收到上述中断通知时(步骤S223中为是时)，即智能手机100中的跟踪方向的连续的命令输入结束时，返回步骤S202，反复进行即时预览图像的拍摄及发送输出，直至接收新的跟踪对象的命令。智能手机100中，判定是否为跟踪结束的命令输入(步骤S226)，当为跟踪结束的命令输入时(步骤S226中为是时)，结束智能手机100中的跟踪处理。
另外，将通过相机无线通信部50构成跟踪对象命令输入部252及跟踪方向命令输入部254的情况为例进行了说明，但也可设为通过相机操作部60接受跟踪对象的命令输入及跟踪方向的命令输入。即，通过相机操作部60构成跟踪对象命令输入部及跟踪方向命令输入部。
[其他实施方式]
对第1实施方式(为将作为本发明的主要部分的移动矢量计算部212、跟踪方向移动分量提取部214及驱动信息生成部216配置于智能手机100的方式)与第2实施方式(为将上述主要部分配置于云台摄像机10的方式)进行了详细说明，但也可将上述主要部分配置于云台摄像机10及智能手机100以外的其他装置(例如通常称作“服务器”的计算机装置)。此时，通过服务器构成本发明的摄像控制装置。
并且，还能够将上述主要部分(移动矢量计算部212、跟踪方向移动分量提取部214及驱动信息生成部216)分散配置于多个装置。例如，将移动矢量计算部212及跟踪方向移动分量提取部214配置于智能手机100(或服务器装置)，并将驱动信息生成部216配置于云台摄像机10。此时，通过多个装置构成本发明的摄像控制装置。
[跟踪方向的命令输入的变化]
上述实施方式中，为了便于理解本发明，以有如下限定的情况为例进行了说明：(1)利用包含表示向上方向、向下方向、向左方向及向右方向的图标的十字键，接受平摇方向(与十字键的向左方向及向右方向对应)及俯仰方向(与十字键的向上方向及向下方向对应)中的任一方向作为跟踪方向；(2)跟踪方向的命令输入连续的期间，反复执行跟踪对象的移动矢量的计算、跟踪方向的移动分量的提取及驱动信息的生成。然而，本发明也可以是没有上述限定的情况。
第1，智能手机100的跟踪方向命令输入部(图5的204)并不限定于图8所示的十字键204C，并且，作为特定的跟踪方向，可设为接受混合有平摇方向的分量与俯仰方向的分量的方向的输入。例如，如图13所示，在智能手机100的显示输入部120显示圆2040与中心点204S，通过手指等的触摸，从中心点204S至圆2040的边缘描绘轨迹时，接受连结中心点204S与圆2040的边缘上的终端点204E的直线的方向作为跟踪方向。此时，驱动信息包含平摇方向的驱动信息与俯仰方向的驱动信息，但通过驱动信息生成部216生成仅针对所接受的跟踪方向的驱动信息这一点与前述的第1实施方式相同。
第2，若进行一次对跟踪方向命令输入部204的命令方向的命令输入，则可反复执行基于移动矢量计算部212的跟踪对象的移动矢量的计算、基于跟踪方向移动分量提取部214的跟踪方向的移动分量的提取及基于驱动信息生成部216的驱动信息的生成，直至进行对跟踪方向命令输入部204的跟踪方向的解除或经过规定时间。
例如，能够进行由进行跟踪方向的命令输入操作的用户本身成为被摄体的摄影(自拍)。
本发明并不限定于本说明书及附图中记载的例子，可在不脱离本发明宗旨的范围内通过与本说明书及附图中记载的例子不同的方式实施。
符号说明
10-云台摄像机(第2实施方式的摄像控制装置)，20-摄像部，22-成像透镜，24-成像元件，32-云台机构，33-云台驱动部，100-智能手机(第1实施方式的摄像控制装置)，202、252-跟踪对象命令输入部，204、254-跟踪方向命令输入部，212-移动矢量计算部，214-跟踪方向移动分量提取部，216-驱动信息生成部，220、222-执行控制部。

Claims (13)

1.一种摄像控制装置，其控制包含如下的相机：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动所述摄像部；及云台驱动部，驱动所述云台机构，所述摄像控制装置具备：
移动矢量计算部，根据通过所述摄像部获得的动态图像计算跟踪对象的移动矢量；
跟踪方向命令输入部，接受表示对所述跟踪对象进行跟踪的特定的跟踪方向的跟踪方向命令的输入；
跟踪方向移动分量提取部，根据所述跟踪方向命令，从所述跟踪对象的移动矢量提取所述特定的跟踪方向的移动分量；及
驱动信息生成部，根据所述提取的特定的跟踪方向的移动分量，生成所述云台机构的仅针对所述特定的跟踪方向的驱动信息。
2.根据权利要求1所述的摄像控制装置，其中，
所述驱动信息生成部根据上一次生成的驱动信息与在根据上一次生成的驱动信息驱动所述相机的所述云台机构的状态下提取的所述特定的跟踪方向的移动分量生成下一次的驱动信息。
3.根据权利要求1或2所述的摄像控制装置，其中，
在连续进行对所述跟踪方向命令输入部的跟踪方向的命令输入期间，反复执行所述跟踪对象的移动矢量的计算、所述跟踪方向的移动分量的提取及所述驱动信息的生成。
4.根据权利要求1或2所述的摄像控制装置，其中，
若进行一次对所述跟踪方向命令输入部的跟踪方向的命令输入，则反复执行所述跟踪对象的移动矢量的计算、所述跟踪方向的移动分量的提取及所述驱动信息的生成，直至进行对所述跟踪方向命令输入部的所述跟踪方向的解除的命令输入或经过规定时间。
5.根据权利要求1至4中任一项所述的摄像控制装置，其中，
所述跟踪方向命令输入部作为所述特定的跟踪方向接受平摇方向及俯仰方向中任一方向的命令输入。
6.根据权利要求1至4中任一项所述的摄像控制装置，其中，
所述跟踪方向命令输入部作为所述特定的跟踪方向接受混合有平摇方向的分量与俯仰方向的分量的方向的输入。
7.根据权利要求1至6中任一项所述的摄像控制装置，其具备：
显示部，显示通过所述相机获得的动态图像或静态图像；及
跟踪对象命令输入部，接受显示于所述显示部的图像中的所述跟踪对象的命令输入。
8.根据权利要求1至7中任一项所述的摄像控制装置，其中，
所述跟踪方向命令输入部包含表示向上方向、向下方向、向左方向及向右方向的图标。
9.一种相机系统，其具备权利要求1至8中任一项所述的摄像控制装置及所述相机。
10.一种相机，其具备：
摄像部，包含成像透镜及成像元件；
云台机构，能够向平摇方向及俯仰方向转动所述摄像部；
云台驱动部，驱动所述云台机构；
移动矢量计算部，根据通过所述摄像部获得的动态图像计算跟踪对象的移动矢量；
跟踪方向命令输入部，接受表示对所述跟踪对象进行跟踪的特定的跟踪方向的命令的输入；
跟踪方向移动分量提取部，根据所述输入的命令，从所述跟踪对象的移动矢量提取所述特定的跟踪方向的移动分量；及
驱动信息生成部，根据所述提取的特定的跟踪方向的移动分量，生成仅针对所述特定的跟踪方向的驱动信息。
11.一种摄像控制方法，通过该方法控制具备如下的相机：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动所述摄像部；及云台驱动部，驱动所述云台机构，所述摄像控制方法包含：
移动矢量计算步骤，根据通过所述相机获得的动态图像计算跟踪对象的移动矢量；
跟踪方向命令输入步骤，接受表示对所述跟踪对象进行跟踪的特定的跟踪方向的命令的输入；
跟踪方向移动分量提取步骤，根据所述输入的命令，从所述跟踪对象的移动矢量提取所述特定的跟踪方向的移动分量；及
驱动信息生成步骤，根据所述提取的特定的跟踪方向的移动分量，生成仅针对所述特定的跟踪方向的驱动信息。
12.一种程序，通过该程序控制包含如下的相机：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动所述摄像部；及云台驱动部，驱动所述云台机构，所述程序使计算机执行如下步骤：
移动矢量计算步骤，根据通过所述相机获得的动态图像计算跟踪对象的移动矢量；
跟踪方向命令输入步骤，接受表示对所述跟踪对象进行跟踪的特定的跟踪方向的命令的输入；
跟踪方向移动分量提取步骤，根据所述输入的命令，从所述跟踪对象的移动矢量提取所述特定的跟踪方向的移动分量；及
驱动信息生成步骤，根据所述提取的特定的跟踪方向的移动分量，生成仅针对所述特定的跟踪方向的驱动信息。
13.一种非暂时性记录介质，其记录有权利要求12所述的程序且能够计算机读取。
CN201580049226.3A 2014-09-10 2015-06-23 摄像控制装置、摄像控制方法、相机、及相机系统 Active CN106688228B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014183917 2014-09-10
JP2014-183917 2014-09-10
PCT/JP2015/068041 WO2016038971A1 (ja) 2014-09-10 2015-06-23 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム

Publications (2)

Publication Number Publication Date
CN106688228A true CN106688228A (zh) 2017-05-17
CN106688228B CN106688228B (zh) 2019-06-14

Family

ID=55458734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580049226.3A Active CN106688228B (zh) 2014-09-10 2015-06-23 摄像控制装置、摄像控制方法、相机、及相机系统

Country Status (4)

Country Link
US (1) US10560624B2 (zh)
JP (1) JP6205072B2 (zh)
CN (1) CN106688228B (zh)
WO (1) WO2016038971A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561242A (zh) * 2017-09-26 2019-04-02 佳能株式会社 摄像设备
CN109698905A (zh) * 2017-10-24 2019-04-30 佳能株式会社 控制设备、摄像设备、控制方法和计算机可读存储介质
CN111026032A (zh) * 2019-12-26 2020-04-17 武汉重型机床集团有限公司 一种基于工业数控机床的实时监控系统及其工作方法
CN111654634A (zh) * 2020-06-24 2020-09-11 杭州海康威视数字技术股份有限公司 确定摄像机中机芯组件和云台组件倾斜的方法、摄像机
CN114762316A (zh) * 2019-12-09 2022-07-15 索尼集团公司 图像处理设备、图像处理系统和图像处理方法
CN114938429A (zh) * 2022-05-20 2022-08-23 重庆紫光华山智安科技有限公司 一种目标跟踪方法、系统、设备及计算机可读介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6205070B2 (ja) * 2014-09-08 2017-09-27 富士フイルム株式会社 カメラの初期位置設定方法、カメラ及びカメラシステム
CN105744148A (zh) * 2014-12-24 2016-07-06 佳能株式会社 变焦控制装置和变焦控制装置的控制方法
CN110115025B (zh) 2017-03-09 2022-05-20 Oppo广东移动通信有限公司 基于深度的控制方法、控制装置及电子装置
US11727579B2 (en) 2017-11-13 2023-08-15 Nec Corporation Information processing apparatus, control method, and program
CN108038820B (zh) * 2017-11-14 2021-02-02 影石创新科技股份有限公司 一种实现子弹时间拍摄效果的方法、装置及全景相机
CN108196590B (zh) * 2017-12-29 2021-07-20 北京视觉世界科技有限公司 云台机的转动控制方法、装置、电子设备和存储介质
JP7358116B2 (ja) * 2019-08-21 2023-10-10 キヤノン株式会社 撮像装置、制御装置、プログラム、記憶媒体及び制御方法
US11265478B2 (en) * 2019-12-20 2022-03-01 Canon Kabushiki Kaisha Tracking apparatus and control method thereof, image capturing apparatus, and storage medium
JP2022115731A (ja) * 2021-01-28 2022-08-09 キヤノン株式会社 制御装置、制御方法、プログラム、記憶媒体
JP2022136866A (ja) * 2021-03-08 2022-09-21 キヤノン株式会社 撮像装置およびその制御方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6809760B1 (en) * 1998-06-12 2004-10-26 Canon Kabushiki Kaisha Camera control apparatus for controlling a plurality of cameras for tracking an object
CN101035273A (zh) * 2007-04-24 2007-09-12 北京中星微电子有限公司 视频监控中的自动跟踪控制方法和控制装置
CN101290461A (zh) * 2007-04-19 2008-10-22 佳能株式会社 具有图像模糊抑制功能和旋转部件的照相机
US7464215B2 (en) * 2005-06-08 2008-12-09 Canon Kabushiki Kaisha Cradle device, control method and computer program for controlling the attitude of an imaging device
CN101931753A (zh) * 2009-06-18 2010-12-29 富士胶片株式会社 目标跟踪和图像跟踪设备、操作控制方法及数字摄像机
CN102096927A (zh) * 2011-01-26 2011-06-15 北京林业大学 自主林业机器人目标跟踪方法
CN102143324A (zh) * 2011-04-07 2011-08-03 天津市亚安科技电子有限公司 一种云台自动平滑跟踪目标的方法
CN102186056A (zh) * 2011-03-29 2011-09-14 河北师范大学 手机远程控制智能视频监控系统及其监控方法
JP2013106266A (ja) * 2011-11-15 2013-05-30 Canon Inc 自動追尾カメラシステム
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪系统及方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003060972A (ja) * 2001-08-09 2003-02-28 Olympus Optical Co Ltd カメラ
JP3963261B2 (ja) 2002-06-07 2007-08-22 中央電子株式会社 動画像の自動追尾撮影方法および自動追尾撮影装置
JP4894162B2 (ja) 2005-05-12 2012-03-14 株式会社ニコン カメラ
JP2010041299A (ja) 2008-08-04 2010-02-18 Nikon Corp 電子カメラ
JP5446546B2 (ja) 2009-07-28 2014-03-19 ソニー株式会社 撮像制御装置、撮像制御方法、プログラム、撮像システム
US9055205B2 (en) * 2010-09-03 2015-06-09 Canon Kabushiki Kaisha Imaging control system, control apparatus, control method, and storage medium
JP6084026B2 (ja) * 2012-12-17 2017-02-22 オリンパス株式会社 撮像装置、告知方法、告知プログラム、及び記録媒体
US9319641B2 (en) * 2013-07-24 2016-04-19 The Boeing Company Controlling movement of a camera to autonomously track a mobile object

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6809760B1 (en) * 1998-06-12 2004-10-26 Canon Kabushiki Kaisha Camera control apparatus for controlling a plurality of cameras for tracking an object
US7464215B2 (en) * 2005-06-08 2008-12-09 Canon Kabushiki Kaisha Cradle device, control method and computer program for controlling the attitude of an imaging device
CN101290461A (zh) * 2007-04-19 2008-10-22 佳能株式会社 具有图像模糊抑制功能和旋转部件的照相机
CN101035273A (zh) * 2007-04-24 2007-09-12 北京中星微电子有限公司 视频监控中的自动跟踪控制方法和控制装置
CN101931753A (zh) * 2009-06-18 2010-12-29 富士胶片株式会社 目标跟踪和图像跟踪设备、操作控制方法及数字摄像机
CN102096927A (zh) * 2011-01-26 2011-06-15 北京林业大学 自主林业机器人目标跟踪方法
CN102186056A (zh) * 2011-03-29 2011-09-14 河北师范大学 手机远程控制智能视频监控系统及其监控方法
CN102143324A (zh) * 2011-04-07 2011-08-03 天津市亚安科技电子有限公司 一种云台自动平滑跟踪目标的方法
JP2013106266A (ja) * 2011-11-15 2013-05-30 Canon Inc 自動追尾カメラシステム
CN103268480A (zh) * 2013-05-30 2013-08-28 重庆大学 一种视觉跟踪系统及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109561242A (zh) * 2017-09-26 2019-04-02 佳能株式会社 摄像设备
CN109698905A (zh) * 2017-10-24 2019-04-30 佳能株式会社 控制设备、摄像设备、控制方法和计算机可读存储介质
US10863090B2 (en) 2017-10-24 2020-12-08 Canon Kabushiki Kaisha Control apparatus, image capturing apparatus, control method, and computer-readable storage medium
CN109698905B (zh) * 2017-10-24 2021-01-05 佳能株式会社 控制设备、摄像设备、控制方法和计算机可读存储介质
CN114762316A (zh) * 2019-12-09 2022-07-15 索尼集团公司 图像处理设备、图像处理系统和图像处理方法
CN111026032A (zh) * 2019-12-26 2020-04-17 武汉重型机床集团有限公司 一种基于工业数控机床的实时监控系统及其工作方法
CN111654634A (zh) * 2020-06-24 2020-09-11 杭州海康威视数字技术股份有限公司 确定摄像机中机芯组件和云台组件倾斜的方法、摄像机
CN111654634B (zh) * 2020-06-24 2022-02-08 杭州海康威视数字技术股份有限公司 确定摄像机中机芯组件和云台组件倾斜的方法、摄像机
CN114938429A (zh) * 2022-05-20 2022-08-23 重庆紫光华山智安科技有限公司 一种目标跟踪方法、系统、设备及计算机可读介质
CN114938429B (zh) * 2022-05-20 2023-10-24 重庆紫光华山智安科技有限公司 一种目标跟踪方法、系统、设备及计算机可读介质

Also Published As

Publication number Publication date
US20170163881A1 (en) 2017-06-08
WO2016038971A1 (ja) 2016-03-17
JPWO2016038971A1 (ja) 2017-07-13
CN106688228B (zh) 2019-06-14
US10560624B2 (en) 2020-02-11
JP6205072B2 (ja) 2017-09-27

Similar Documents

Publication Publication Date Title
CN106688228B (zh) 摄像控制装置、摄像控制方法、相机、及相机系统
AU2022200580B2 (en) Photographing method, photographing apparatus, and mobile terminal
CN106716985B (zh) 摄像控制装置、摄像控制方法、及相机系统
CN106605404B (zh) 相机的初始位置设定方法、相机及相机系统
CN106688227B (zh) 多摄像装置、多摄像方法
CN106664369A (zh) 云台操作装置、相机系统、云台操作用程序及云台操作方法
CN106464788B (zh) 摄像装置
US20090227283A1 (en) Electronic device
CN106464786B (zh) 摄像装置
CN106716989A (zh) 摄像装置、摄像方法及程序
JP6360204B2 (ja) カメラ装置、撮像システム、制御方法及びプログラム
CN111050081B (zh) 拍摄方法及电子设备
CN107005626A (zh) 摄像装置及其控制方法
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
CN106664371B (zh) 摄像装置的操作装置及操作方法
CN115499581B (zh) 一种拍摄方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant