CN106716985A - 摄像控制装置、摄像控制方法、相机系统及程序 - Google Patents

摄像控制装置、摄像控制方法、相机系统及程序 Download PDF

Info

Publication number
CN106716985A
CN106716985A CN201580048406.XA CN201580048406A CN106716985A CN 106716985 A CN106716985 A CN 106716985A CN 201580048406 A CN201580048406 A CN 201580048406A CN 106716985 A CN106716985 A CN 106716985A
Authority
CN
China
Prior art keywords
image
camera
display
input
pickup part
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580048406.XA
Other languages
English (en)
Other versions
CN106716985B (zh
Inventor
林大辅
渡辺干夫
三泽岳志
田丸雅也
入江史宪
大岛宗之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN106716985A publication Critical patent/CN106716985A/zh
Application granted granted Critical
Publication of CN106716985B publication Critical patent/CN106716985B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/02—Bodies
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/56—Accessories
    • G03B17/561—Support related camera accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635—Region indicators; Field of view indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Accessories Of Cameras (AREA)

Abstract

本发明提供一种将通过能够向平摇方向及俯仰方向转动摄像部的相机拍摄的图像显示于远程装置时，可使用户易掌握拍摄极限的摄像控制装置、摄像控制方法、相机系统及程序。本发明的一方式所涉及的摄像控制装置具备：转动命令输入部(212)，接受相机的云台机构的转动命令的输入；转动命令输出部(206)，对相机输出转动命令；图像输入部(202)，从相机输入与转动命令相应的即时预览图像；显示控制部(236)，使显示部进行如下显示，即，在二维显示的球面的极限显示图像中，重叠从相机输入的即时预览图像，且根据转动命令的输入使极限显示图像沿着二维显示的球面转动，所述极限显示图像表示分别与相机的摄像部的转动极限内及转动极限外对应的可拍摄区域及无法拍摄区域。

Description

摄像控制装置、摄像控制方法、相机系统及程序
技术领域
本发明涉及一种摄像控制装置、摄像控制方法、相机系统及程序，尤其涉及一种使用能够向平摇方向及俯仰方向转动摄像部的相机的摄像控制。
背景技术
以往，已知有在进行云台摄像机的平摇及俯仰控制的装置中，显示表示通过云台摄像机的平摇及俯仰的极限规定的拍摄极限视角的第1矩形框及在第1矩形框内表示当前的摄影范围的第2矩形框的技术(参考专利文献1、2)。
并且，已知有从通过云台摄像机拍摄的多张拍摄图像生成广角图像，并生成将广角图像贴在假想的球面的三维的球面图像数据的图像处理技术(参考专利文献3)。通过进行将一部分三维球面图像投影在显示图像平面的图像处理，能够生成以球的中心作为视点的所希望的角度的平面图像。
以往技术文献
专利文献
专利文献1：日本特开平8-214206号公报
专利文献2：日本特开平9-102902号公报
专利文献3：日本特开2010-049346号公报
发明内容
发明要解决的技术课题
如图16所示，将通过云台摄像机910的摄像部912拍摄的即时预览图像显示于用户的便携式终端920的系统中，结合被摄体的移动以平摇方向及俯仰方向转动云台摄像机910的摄像部912时，若比较云台摄像机910的摄像部912的视点移动与手持便携式终端920的用户的视点移动，则可知虽然在跟踪被摄体这一点上共同，但实际上为完全不同的动向的视点移动。由于这种视点移动的不同，可以说普通用户很难在直观上理解云台摄像机910的摄像部912的视点移动。
并且，如图17所示，试考察如下情况，即，将专利文献1、2记载的技术采用于即时预览中，将表示通过云台摄像机910的平摇及俯仰的极限规定的拍摄极限视角的第1矩形框942与在第1矩形框942的框内表示当前的摄影范围的第2矩形框944显示于用户的便携式终端920中，且在第2矩形框944内显示通过云台摄像机910的摄像部912拍摄的即时预览图像。如此一来，可知包围被摄体图像的第2矩形框944的动向与云台摄像机910的摄像部912的平摇及俯仰的动向(转动)及从云台摄像机910的摄像部912的视点观察的实际的被摄体的动向为完全不同的动向。例如，云台摄像机910的摄像部912的平摇及俯仰的转动与图16所示的实际的被摄体的动向完全同步时，云台摄像机910的摄像部912的动向为以平摇的转动轴及俯仰的转动轴为中心的转动，并且从云台摄像机910的摄像部912观察的实际的被摄体的动向为相对不存在，均与第2矩形框944的动向(图17中示出了为线形动向的情况)完全不同。由于这种动向的不同，可以说即使如专利文献1、2记载那样将在便携式终端920中显示第1矩形框942及第2矩形框944的结构采用于即时预览中，普通用户也很难在直观上掌握云台摄像机910的摄像部912的动向及以云台摄像机910的摄像部912的视点观察的实际的被摄体的动向。
并且，认为包围被摄体图像的第2矩形框944的移动速度与用户的操作量(例如拖动的操作量)或者平摇及俯仰的角速度相对应，并不一定与用户直接观察被摄体时映现在用户眼中的实际的被摄体的移动速度一致。由于这种不同，认为即使如专利文献1、2记载那样将在便携式终端920中显示第1矩形框942及第2矩形框944的结构采用于即时预览中，有时普通用户反而会感到困惑。
并且，如图17所示，作为第1矩形框942，仅以线状显示云台摄像机910的摄像部912的拍摄极限视角(为可拍摄区域的边缘)，因此用户无法掌握位于拍摄极限视角的外侧的无法拍摄区域的宽度(与无法拍摄的角度范围的宽度相对应)。
如以上所述，第1，普通用户很难在直观上理解云台摄像机910的摄像部912的视点移动。第2，即使将专利文献1、2记载的技术采用于即时预览中，用户也很难掌握云台摄像机910的摄像部912的动向及以云台摄像机910的摄像部912的视点观察的实际的被摄体的动向。第3，即使将专利文献1、2记载的技术采用于即时预览中，用户也无法掌握无法拍摄区域的宽度。从这些理由考虑，可以说用户实际上很难掌握拍摄极限视角。
并且，如专利文献3记载，根据广角图像生成三维的球面图像数据的图像处理技术及根据三维的球面图像数据生成二维的平面图像的图像处理技术为公知，但专利文献3欠缺通过远程的用户终端即时预览移动速度较大的被摄体时，以易判断拍摄极限的方式显示的观点。因此，可以说很难在专利文献1、2记载的结构上组合专利文献3记载的图像处理技术。假设即使进行了组合，最多也是暂先制作三维的球面图像数据之后，生成从摄像部912的视点观察的所希望的角度的平面图像(相当于即时预览图像)。因此，即使参考专利文献3，也不一定能解决用户很难掌握拍摄极限视角的课题。
本发明是鉴于上述情况而完成的，其目的在于提供一种将通过能够向平摇方向及俯仰方向转动摄像部的相机拍摄的图像显示于远程装置时，使用户易掌握拍摄极限。
用于解决技术课题的手段
本发明的一方式涉及一种摄像控制装置，其控制具备如下的相机：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动摄像部；及驱动部，驱动云台机构，所述摄像控制装置具备：转动命令输入部，接受相机的云台机构的平摇方向及俯仰方向中的至少一个方向的转动命令的输入；转动命令输出部，对相机输出转动命令；图像输入部，从相机输入在根据转动命令驱动相机的云台机构的状态下拍摄的即时预览图像；及显示控制部，使显示部进行如下显示，即，在二维显示的球面的极限显示图像中，重叠从相机输入的即时预览图像，且根据转动命令的输入使极限显示图像沿着二维显示的球面转动，所述极限显示图像表示分别与相机的摄像部的转动极限内及转动极限外对应的可拍摄区域及无法拍摄区域。
根据本方式，用户通过观察重叠有即时预览图像的二维显示的球面的极限显示图像且根据转动命令的输入沿着球面转动的极限显示图像，能够以从相机的视点观察的感觉观察根据转动命令的输入而变化的即时预览，且能够观察无法拍摄区域的宽度，因此易在直观上掌握拍摄极限。
本发明的一方式中，当转动命令为向超过相机的摄像部的转动极限的角度的转动命令时，通过转动命令输出部将相机的摄像部的角度设定在转动极限内，且通过显示控制部在极限显示图像中超过可拍摄区域与无法拍摄区域的边界而移动即时预览图像。
根据本方式，即使是向超过相机的摄像部的转动极限的角度的转动命令，即时预览图像也在极限显示图像中超过可拍摄区域与无法拍摄区域的边界而移动，因此用户能够观察按照转动命令移动的即时预览图像来确认摄像控制装置在反应，且转动命令输入与即时预览图像的移动始终匹配，因此易操作，能够避免给用户带来违和感。另外，用户通过同时观察极限显示图像中的无法拍摄区域的显示与即时预览图像，能够容易认识到自己所输入的转动命令为向超过转动极限的角度的转动命令。
本发明的一方式中，当转动命令为向超过相机的摄像部的转动极限的角度或向达到转动极限的角度的转动命令时，通过转动命令输出部将相机的摄像部的角度设定在转动极限内，且通过显示控制部进行在极限显示图像的可拍摄区域与无法拍摄区域的边界摇动即时预览图像的显示。
根据本方式，当转动命令为向超过相机的摄像部的转动极限的角度或向达到转动极限的角度的转动命令时，进行在极限显示图像的可拍摄区域与无法拍摄区域的边界摇动即时预览图像的显示，因此用户能够认识到装置对转动命令有反应，且能够容易认识到自己所输入的转动命令为向超过转动极限的角度或向达到转动极限的角度的转动命令。
本发明的一方式中，显示控制部在极限显示图像内显示如下区域，即，若将相机的摄像部朝向顺时针的转动极限及逆时针的转动极限中离当前的角度较近的转动极限转动，则无法拍摄，但若朝向离当前的角度较远的转动极限转动，则能够拍摄的区域。
根据本方式，在极限显示图像内显示如下区域，即，若将相机的摄像部朝向顺时针的转动极限及逆时针的转动极限中离当前的角度较近的转动极限转动，则无法拍摄，但若朝向离当前的角度较远的转动极限转动，则能够拍摄的区域，因此用户能够掌握若反转为相反方向的转动命令则能够拍摄。
本发明的一方式中，显示控制部在极限显示图像中与转动极限内对应的可拍摄区域显示通过相机的摄像部预先以平摇方向及俯仰方向的可转动的角度拍摄的静态图像。
根据本方式，用户通过观察显示于可拍摄区域的静态图像与无法拍摄区域的显示，能够准确地掌握实际空间中的即时预览图像的位置，并且能够准确地掌握无法拍摄区域。
本发明的一方式中，显示控制部将通过相机的摄像部在平摇方向及俯仰方向的可转动的整周拍摄的静态图像显示于可拍摄区域。
根据本方式，通过观察在相机的摄像部的可转动的整周拍摄的静止图像与无法拍摄区域的显示，能够更准确地掌握实际空间中的即时预览图像的位置，并且能够更准确地掌握无法拍摄区域。
本发明的一方式中，具备：变焦命令输入部，接受相机中的即时预览图像的光学或电子变焦命令的输入；及变焦命令输出部，对相机输出变焦命令，图像输入部从相机输入根据变焦命令通过相机变焦的即时预览图像，显示控制部以与变焦命令对应的尺寸将即时预览图像显示于显示部。
根据本方式，极限显示图像内的可拍摄区域及即时预览图像以与变焦命令对应的尺寸重叠于极限显示图像，因此用户能够准确地掌握根据变焦命令而变化的即时预览。
本发明的一方式中，显示控制部除了重叠于极限显示图像的即时预览图像以外，另将即时预览图像显示于显示部。
根据本方式，用户能够根据极限显示图像(为二维显示的球面的图像)中的即时预览图像，轻松地掌握当前的即时预览与无法拍摄区域之间的关系，且能够根据极限显示图像外的即时预览图像(为二维显示的非球面的图像)准确地掌握当前的即时预览。
本发明的一方式涉及一种具备摄像控制装置及相机的相机系统。
本发明的一方式涉及一种摄像控制方法，通过该方法控制具备如下的相机：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动摄像部；及驱动部，驱动云台机构，所述摄像控制方法包含：接受相机的云台机构的平摇方向及俯仰方向中的至少一个方向的转动命令的输入的步骤；对相机输出转动命令的步骤；从相机输入在根据转动命令驱动相机的云台机构的状态下拍摄的即时预览图像的步骤；及在二维显示的球面的极限显示图像中，重叠从相机输入的即时预览图像，且根据转动命令的输入使极限显示图像沿着二维显示的球面转动的步骤，所述极限显示图像表示分别与相机的摄像部的转动极限内及转动极限外对应的可拍摄区域及无法拍摄区域。
本发明的一方式涉及一种程序，通过该程序控制具备如下的相机：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动摄像部；及驱动部，驱动云台机构，所述程序使计算机执行如下步骤：接受相机的云台机构的平摇方向及俯仰方向中的至少一个方向的转动命令的输入的步骤；对相机输出转动命令的步骤；从相机输入在根据转动命令驱动相机的云台机构的状态下拍摄的即时预览图像的步骤；及在二维显示的球面的极限显示图像中，重叠从相机输入的即时预览图像，且根据转动命令的输入使极限显示图像沿着二维显示的球面转动的步骤，所述极限显示图像表示分别与相机的摄像部的转动极限内及转动极限外对应的可拍摄区域及无法拍摄区域。记录有该程序且能够计算机读取的非暂时性记录介质也包含于本发明的一方式。
发明效果
根据本发明，将通过能够向平摇方向及俯仰方向转动摄像部的相机拍摄的图像显示于远程装置时，能够使用户易掌握拍摄极限视角。
附图说明
图1是表示云台摄像机及智能手机的一例的外观的立体图。
图2是表示云台摄像机的一例的内部结构的框图。
图3是表示作为摄像控制装置的一例的智能手机的硬件结构例的框图。
图4是表示本发明的主要部分的内部结构例的框图。
图5(A)是表示平摇方向的转动极限的一例的云台摄像机的俯视图，图5(B)是表示俯仰方向的转动极限的一例的云台摄像机的侧视图。
图6是用于说明转动极限与极限显示图像的无法拍摄区域之间的关系的第1说明图。
图7是用于说明转动极限与极限显示图像的无法拍摄区域之间的关系的第2说明图。
图8是用于说明转动极限与极限显示图像的无法拍摄区域之间的关系的第3说明图。
图9是表示显示控制处理的一例的流程的流程图。
图10是表示极限显示图像及即时预览图像的显示例的说明图。
图11(A)～图11(C)是用于说明极限显示图像根据转动命令的输入而沿着二维显示的球面转动的状况的说明图。
图12是针对向超过转动极限的角度的转动命令的显示控制的说明图。
图13是显示向相反方向转动时的可拍摄区域的显示控制的说明图。
图14是在可拍摄区域显示预先拍摄的静态图像的显示控制的说明图。
图15(A)～图15(D)是用于说明变焦命令与极限显示图像之间的关系的说明图。
图16是用于说明本发明的课题的第1说明图。
图17是用于说明本发明的课题的第2说明图。
具体实施方式
以下，参考附图对本发明的实施方式进行说明。
[云台摄像机及智能手机的外观例]
如图1(表示云台摄像机10及智能手机100的一例的外观的立体图)所示，云台摄像机10具有装置主体12、支座14、固定于支座14并且转动自如地保持摄像部20的保持部16、覆盖摄像部20的球形罩18、及摄像部20。
支座14以装置主体12的垂直方向Z的轴为中心旋转自如地配设，通过平摇驱动部34(图2)以垂直方向Z的轴为中心进行旋转。
保持部16具有与水平方向X的轴设于同轴上的齿轮16A，通过从俯仰驱动部36(图2)经由齿轮16A传递驱动力，使摄像部20沿上下方向转动(俯仰动作)。
球形罩18为防尘及防滴用的罩，优选为以水平方向X的轴与垂直方向Z的轴的交点作为曲率中心的恒定壁厚的球壳形状，以便与摄像部20的光轴方向L无关地避免摄像部20的光学性能发生变化。
并且，优选在装置主体12的背面设置未图示的三脚架安装部(三脚架螺孔等)。
云台摄像机10上设置有电源开关19A及命令开始摄影的摄像开始按钮19B，但云台摄像机10具有相机无线通信部50(图2)，主要通过与外部的终端机(本例中为智能手机)100的无线通信，从智能手机100加以各种操作用命令输入。
[云台摄像机的内部结构例]
图2是表示作为摄像控制装置的一例的云台摄像机10的内部结构例的框图。
该云台摄像机10能够进行通常的静态图像及动态图像的摄影，大致具备摄像部20、云台装置30、相机控制部40及相机无线通信部50。
摄像部20具有成像透镜22及成像元件24等。成像透镜22由定焦透镜或变焦透镜构成，将被摄体图像成像于成像元件24的成像面上。另外，成像透镜22中包含的聚焦透镜、变倍透镜(为变焦透镜时)及光圈23分别通过透镜驱动部26驱动。
本例的成像元件24为按每个像素以规定的图案排列(拜耳排列、G条纹R/G完整方格、X-Trans(注册商标)排列、蜂窝排列等)有红(R)、绿(G)、青(B)的三原色的原色滤色器的彩色成像元件，由CMOS(Complementary Metal Oxide Semiconductor)型图像传感器构成。另外，并不限于CMOS型图像传感器，也可以是CCD(Charge Coupled Device)型图像传感器。
成像元件24通过具有垂直驱动器及水平驱动器等的成像元件驱动器28及定时信号发生器(TG)29驱动，从成像元件24读取与被摄体光的入射光量相应的像素信号(与按每个像素积蓄的信号电荷对应的数字信号)。
如图1所示，云台装置30具备使摄像部20相对于装置主体12向水平方向(平摇方向)旋转的平摇机构及使摄像部20向垂直方向(俯仰方向)转动的俯仰机构(以下，称为“云台机构”)32、平摇驱动部34及俯仰驱动部36等。云台机构32具有检测平摇方向的旋转角(平摇角)的基准位置的初始位置传感器、检测俯仰方向的倾角(俯仰角)的基准位置的初始位置传感器。
平摇驱动部34及俯仰驱动部36分别具有步进电机及电机驱动器，向云台机构32输出驱动力，驱动云台机构32。以下，将平摇驱动部34及俯仰驱动部36称为云台驱动部33。
相机控制部40主要具备信号处理部41、摄像控制部42、透镜控制部43、云台控制部44、摄影技法控制部46及角度检测部48。
信号处理部41对从摄像部20输入的数字图像信号进行偏移处理、包括白平衡校正及灵敏度校正的增益控制处理、伽马校正处理、去马赛克处理(Demosaicing处理)、RGB/YC转换处理等信号处理。其中，去马赛克处理是从与单板式彩色成像元件的滤色器排列对应的马赛克图像按每个像素计算所有颜色信息的处理，还称为同步化处理。例如，当为包含RGB三颜色的滤色器的成像元件时，是从包含RGB的马赛克图像按每个像素计算所有RGB的颜色信息的处理。并且，RGB/YC转换处理是从已进行去马赛克处理的RGB图像数据生成亮度数据Y与色差数据Cb、Cr的处理。
摄像控制部42为指令经由成像元件驱动器28、TG29排出积蓄在成像元件24的每个像素的电容器的电荷或读取与积蓄在电容器的电荷对应的信号等的部分，进行延时摄影等中的摄像控制。
透镜控制部43为经由透镜驱动部26控制成像透镜22中包含的聚焦透镜、变倍透镜及光圈23的部分，进行使聚焦透镜向对焦位置移动的自动聚焦(AF)控制等。如下进行AF控制，即，积算与AF区对应的数字信号的高频分量的绝对值，检测该积算的值(AF评价值)变得最大的对焦位置，并使聚焦透镜向检测出的对焦位置移动。
云台控制部44为控制云台装置30的部分。
摄影技法控制部46输出控制透镜控制部43及云台控制部44的指令信号。
角度检测部48为分别检测云台机构32的平摇角度及俯仰角度的部分。
相机无线通信部50为在与图1所示的智能手机100等外部终端机之间进行无线通信的部分，通过无线通信从智能手机100接收各种操作用的命令输入。并且，相机无线通信部50将所拍摄的图像等发送至智能手机100。相机无线通信部50能够将通过摄像部20动态图像摄影并通过信号处理部41处理的图像(即时预览图像)发送至智能手机100。由此，能够将动态图像等记录用图像记录于智能手机100的内部或外置记录介质，或将即时预览图像显示于智能手机100的显示部。
相机操作部60包含设置于装置主体12的电源开关19A(图1)、摄像开始按钮19B(图1)等，能够进行与来自智能手机100的操作用命令输入相同的操作用命令输入。
相机显示部61作为显示即时预览图像、回放图像等的图像显示部发挥功能，并且与相机操作部60协同作用，作为显示菜单画面、用于设定、输入各种参数的用户界面部(UI部)而发挥功能。
存储器62包含临时存储依次拍摄的图像的存储区域、成为进行各种运算处理等的工作用区域的SDRAM(Synchronous Dynamic Random Access Memory)和存储摄像用程序及控制所需的各种数据等的ROM(Read Only Memory)等。
[智能手机的硬件结构例]
图3是表示图1所示的智能手机100的硬件结构的框图。
如图3所示，作为智能手机100的主要构成要件，具备无线通信部110、显示输入部120、通话部130、操作部140、相机部141、存储部150、外部输入输出部160、GPS(GlobalPositioning System)接收部170、动作传感器部180、电源部190及主控制部101。并且，作为智能手机100的主要功能，具备进行经由基站装置BS与移动通信网NW的移动无线通信的无线通信功能。
无线通信部110根据主控制部101的命令，对容纳于移动通信网NW的基站装置BS进行无线通信。使用该无线通信，进行音频数据、图像数据等各种文件数据、电子邮件数据等的收发或Web数据和流数据等的接收。本例中，智能手机100的无线通信部110向云台摄像机10发送各种操作用命令输入或从云台摄像机10接收即时预览图像、记录用图像等。
显示输入部120是通过主控制部101的控制，显示图像(静态图像及动态图像)或字符信息等来视觉性地向用户传递信息，并且检测用户对所显示的信息的操作的所谓的触控面板，具备显示面板121与操作面板122。观赏3D图像时，优选显示面板121为3D显示面板。
显示面板121将LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)等用作显示设备。
操作面板122是以能够视觉辨认显示于显示面板121的显示画面上的图像的方式载置，并检测通过用户的手指或触控笔来操作的一个或多个坐标的设备。若通过用户的手指或触控笔操作该设备，则将通过操作而产生的检测信号输出至主控制部101。接着，主控制部101根据所接收的检测信号检测显示面板121上的操作位置(坐标)。
如图1所示，智能手机100的显示面板121与操作面板122成为一体而构成显示输入部120，并配置成操作面板122完全覆盖显示面板121。采用该配置时，操作面板122可以对显示面板121外的区域也具备检测用户操作的功能。换言之，操作面板122可具备针对与显示面板121重叠的重叠部分的检测区域(以下，称为显示区域)及针对除此以外的不与显示面板121重叠的外缘部分的检测区域(以下，称为非显示区域)。
另外，可使显示区域的大小与显示面板121的大小完全一致，但无需一定要使两者一致。并且，操作面板122可具备外缘部分及除此以外的内侧部分这两个感应区域。而且，外缘部分的宽度根据框体102的大小等适当设计。此外，作为在操作面板122中采用的位置检测方式，可举出矩阵开关方式、电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式等，能够采用任一方式。
通话部130具备扬声器131和麦克风132，将通过麦克风132输入的用户的声音转换为能够在主控制部101中处理的音频数据来输出至主控制部101，或对通过无线通信部110或外部输入输出部160接收的音频数据进行解码而从扬声器131输出。并且，如图1所示，例如能够将扬声器131及麦克风132搭载于与设置有显示输入部120的面相同的面。
操作部140为使用键开关等的硬件键，接受来自用户的命令。例如，操作部140搭载于智能手机100的框体102的显示部的下部、下侧面，是用手指等按压时开启，手指离开时通过弹簧等的复原力而成为关闭状态的按钮式开关。
存储部150存储主控制部101的控制程序和控制数据、将通信对象的名称和电话号码等建立对应关联的地址数据、所收发的电子邮件的数据、通过Web浏览下载的Web数据、已下载的内容数据，或临时存储流数据等。并且，存储部150由内置于智能手机的内部存储部151及具有装卸自如的外部存储器用的插槽的外部存储部152构成。另外，构成存储部150的各个内部存储部151与外部存储部152通过使用闪存类型(flash memory type)、硬盘类型(hard disk type)、微型多媒体卡类型(multimediacard micro type)、卡类型的存储器(例如，Micro SD(注册商标)存储器等)、RAM(Random Access Memory)、ROM(Read OnlyMemory)等存储介质来实现。
外部输入输出部160发挥与连结于智能手机100的所有外部设备的接口的作用，用于通过通信等(例如，通用串行总线(USB)、IEEE1394等)或网络(例如，互联网、无线LAN、蓝牙(Bluetooth)(注册商标)、RFID(Radio Frequency Identification)、红外线通信(Infrared Data Association：IrDA)(注册商标)、UWB(Ultra Wideband)(注册商标)、紫蜂(ZigBee)(注册商标)等)直接或间接地与其他外部设备连接。
作为与智能手机100连结的外部设备，例如有：有/无线头戴式耳机话筒、有/无线外部充电器、有/无线数据端口、经由卡插槽连接的存储卡(Memory card)或SIM(Subscriber Identity Module)/UIM(User Identity Module)卡、经由语音/视频I/O(Input/Output)端子连接的外部语音/视频设备、无线连接的外部语音/视频设备、有/无线连接的智能手机、有/无线连接的个人计算机、有/无线连接的PDA、有/无线连接的耳机等。外部输入输出部能够将从这种外部设备接收到传送的数据传递至智能手机100的内部的各构成要件、或将智能手机100的内部的数据传送至外部设备。
GPS接收部170根据主控制部101的命令接收从GPS卫星ST1～STn发送的GPS信号，执行基于所接收的多个GPS信号的测位运算处理，检测包含该智能手机100的纬度、经度、高度的位置。GPS接收部170在能够从无线通信部110或外部输入输出部160(例如，无线LAN)获取位置信息时，还能够利用该位置信息检测位置。
动作传感器部180例如具备三轴加速度传感器等，根据主控制部101的命令，检测智能手机100的物理动向。通过检测智能手机100的物理动向，可检测智能手机100的移动方向或加速度。该检测结果被输出至主控制部101。
电源部190根据主控制部101的命令，向智能手机100的各部供给蓄积在电池(未图示)的电力。
主控制部101具备微处理器，根据存储部150所存储的控制程序或控制数据进行动作，统一控制智能手机100的各部。并且，主控制部101为了通过无线通信部110进行语音通信或数据通信，具备控制通信系统的各部的移动通信控制功能及应用处理功能。
应用处理功能通过主控制部101根据存储部150所存储的应用软件进行动作来实现。作为应用处理功能，例如有控制外部输入输出部160来与对象设备进行数据通信的红外线通信功能、进行电子邮件的收发的电子邮件功能、浏览Web页的Web浏览功能等。
并且，主控制部101具备根据接收数据或所下载的流数据等图像数据(静态图像或动态图像的数据)在显示输入部120显示影像等的图像处理功能。图像处理功能是指主控制部101对上述图像数据进行解码，对该解码结果实施图像处理并将图像显示于显示输入部120的功能。
而且，主控制部101执行对显示面板121的显示控制及检测通过操作部140、操作面板122进行的用户操作的操作检测控制。
通过执行显示控制，主控制部101显示用于启动应用软件的图标或滚动条等软件键，或者显示用于创建电子邮件的窗口。另外，滚动条是指用于使无法全部容纳于显示面板121的显示区域的较大图像等，接受使图像的显示部分移动的命令的软件键。
并且，通过执行操作检测控制，主控制部101检测通过操作部140进行的用户操作，或者通过操作面板122接受对上述图标的操作或对上述窗口的输入栏输入字符串，又或者接受通过滚动条进行的显示图像的滚动请求。
而且，通过执行操作检测控制，主控制部101判定对操作面板122操作的位置是与显示面板121重叠的重叠部分(显示区域)，还是除此以外的不与显示面板121重叠的外缘部分(非显示区域)，并具备控制操作面板122的感应区域或软件键的显示位置的触控面板控制功能。
并且，主控制部101还能够检测对操作面板122的手势操作，并根据检测出的手势操作执行预先设定的功能。手势操作表示并非以往的简单的触摸操作，而是通过手指等描绘轨迹、或者同时指定多个位置、又或者组合这些来从多个位置对至少一个描绘轨迹的操作。
相机部141为使用CMOS(Complementary Metal Oxide Semiconductor)或CCD(Charge Coupled Device)等成像元件进行电子摄影的数码相机。并且，相机部141通过主控制部101的控制，能够将通过摄影获得的图像数据转换为例如JPEG(Joint Photographiccoding Experts Group)等压缩的图像数据并记录于存储部150，或者通过外部输入输出部160或无线通信部110输出。图1所示的智能手机100中，相机部141搭载于与显示输入部120相同的面，但相机部141的搭载位置并不限定于此，可搭载于显示输入部120的背面，或者也可以搭载有多个相机部141。另外，搭载有多个相机部141时，还能够切换供摄影的相机部141来单独进行摄影或者同时使用多个相机部141进行摄影。
并且，相机部141能够利用于智能手机100的各种功能中。例如，能够在显示面板121显示通过相机部141获取的图像，或者能够作为操作面板122的操作输入之一，利用相机部141的图像。并且，当GPS接收部170检测位置时，也能够参考来自相机部141的图像来检测位置。而且，还能够参考来自相机部141的图像，并不使用三轴加速度传感器或者与三轴加速度传感器同时使用来判断智能手机100的相机部141的光轴方向，或判断当前的使用环境。当然，也能够在应用软件内利用来自相机部141的图像。
本例中，经由网络等下载用于操作云台摄像机10的应用软件并存储于存储部150，通过智能手机100的应用处理功能，通过使主控制部101根据所下载的应用软件进行动作，能够使通用的智能手机100作为用于操作云台摄像机10的用户界面部(UI部)发挥功能。
图4是表示本发明的主要部分的内部结构例的框图。图4中，智能手机100为本发明的摄像控制装置的一例。
智能手机100的无线通信部110用作从云台摄像机10接收(输入)即时预览图像的图像输入部202、从云台摄像机10接收(输入)云台摄像机10的摄像部20的平摇角度及俯仰角度的云台角度输入部204、对云台摄像机10通过无线通信发送(输出)转动命令的转动命令输出部206、对云台摄像机10通过无线通信发送(输出)变焦命令的变焦命令输出部208。
通过转动命令输出部206对云台摄像机10输出转动命令时，图像输入部202从云台摄像机10输入在根据转动命令驱动云台摄像机10的云台机构32的状态下拍摄的即时预览图像。并且，通过转动命令输出部206对云台摄像机10输出转动命令时，云台角度输入部204从云台摄像机10输入根据转动命令驱动云台摄像机10的云台机构32的状态的摄像部20的平摇角度及俯仰角度。
通过变焦命令输出部208对云台摄像机10输出变焦命令时，图像输入部202从云台摄像机10输入以与变焦命令相应的视场角拍摄的即时预览图像(即，被变焦的即时预览图像)。
如利用图1进行了说明，智能手机100的显示输入部120为重叠配置显示面板121(为显示部的一方式)与操作面板122的结构，用作转动命令输入部212，接受云台摄像机10的云台机构32的平摇方向及俯仰方向中的至少一个方向的转动命令的输入。
智能手机100的存储部150用作极限显示图像信息存储部222，存储转动极限内的平摇角度及俯仰角度的各组合中的极限显示图像的信息。存储于极限显示图像信息存储部222的极限显示图像的信息并不限定于极限显示图像本身。例如，作为极限显示图像的信息，可考虑预先将表示极限显示图像中的可拍摄区域的轮廓(边缘)的信息存储于极限显示图像信息存储部222。极限显示图像的信息可包含表示球面的纬线及经线的描绘方法的信息。
智能手机100的主控制部101具备：转动极限判定部232，判定输入至转动命令输入部212的转动命令是否为向超过云台摄像机10的摄像部20的转动极限的角度的转动命令；信息选择部234，从存储于极限显示图像信息存储部222的多个极限显示图像的信息选择与云台摄像机10的摄像部20的平摇角度及俯仰角度对应的极限显示图像的信息；显示控制部236，在极限显示图像中重叠从云台摄像机10输入的即时预览图像；及执行控制部238，根据存储于存储部150的程序，控制智能手机100的各部的执行。
极限显示图像300(图6～图8)为表示分别与云台摄像机10的摄像部20的转动极限内及转动极限外对应的可拍摄区域及无法拍摄区域的二维显示的球面的图像。极限显示图像300通过显示控制部236的控制，根据转动命令的输入而沿着二维显示的球面转动。
并且，当通过转动极限判定部232判定为是向超过转动极限的角度的转动命令时，极限显示图像300通过显示控制部236的控制，切换为表示是超过转动极限的转动命令的显示。并且，通过转动极限判定部232判定是否为向达到转动极限的角度的转动命令，当为向达到转动极限的角度的转动命令时，可通过显示控制部236的控制，切换为表示是达到转动极限的转动命令的显示。
云台摄像机10的摄像部20的转动极限根据云台摄像机10的机种而不同。尤其，云台摄像机10的转动极限根据云台机构32的结构而不同。并且，为了保护个人隐私等，有时实际上将可转动的角度的范围设定为比物理上可转动的角度的范围窄。
图5(A)及图5(B)表示云台摄像机10的摄像部20的转动极限的一例。为了便于本实施方式的说明，平摇方向的可转动的角度的范围限制在-150度～150度，俯仰方向的可转动的角度的范围限制在0度～60度。图5(A)及图5(B)中，CW表示顺时针的转动，CCW表示逆时针的转动。另外，本发明中，可转动的角度范围并不限定于图5中记载的角度范围。图5中，为了便于理解本发明，介绍了可转动的角度范围较窄的情况，但例如，可以如图5(A)及图5(B)中以虚线箭头表示，平摇的可转动的角度范围为-170度～170度，俯仰的可转动的角度范围为-30度～120度。
图6表示摄像部20的平摇角度为0度且俯仰角度为30度时的极限显示图像300的一例。图7表示摄像部20的平摇角度为150度且俯仰角度为30度时的极限显示图像300的一例。图8表示摄像部20的平摇角度为-150度且俯仰角度为30度时的极限显示图像300的一例。图中的()内，从左至右以平摇角度θ及俯仰角度的顺序示出角度。
平摇方向及俯仰方向上的可拍摄区域310比转动极限内的角度范围宽云台摄像机10的视场角的量。假设云台摄像机10的视场角在水平方向(平摇方向)及垂直方向(俯仰方向)的两个方向上分别为60度(±30度)时，可拍摄区域310比上述的转动极限内的角度范围(平摇角度θ为-150度～150度、俯仰角度为0度～60)宽视场角(60度)的量。即，本例的可拍摄区域310设为，平摇角度θ中为-180度～180度，俯仰角度中为-30度～90度。其中，云台摄像机10的视场角根据云台摄像机10的机种(尤其是摄像部20的规格)及变焦倍率而不同。
图6、图7及图8中例示的极限显示图像300为如下图像。
(1)是二维显示的球面的图像。与将三维的球面图像投影在平面的图像等效。
(2)球面上的纬线及经线分别相当于与表示云台摄像机10的摄像部20的平摇方向的等角度的线(等平摇角度线)及表示俯仰方向的等角度的线(等俯仰角度线)。
(3)表示分别与云台摄像机10的摄像部20的转动极限内及转动极限外对应的可拍摄区域310及无法拍摄区域320。
(4)无法拍摄区域320以比可拍摄区域310更低的明度显示。例如，以黑色显示。以下，将以比可拍摄区域310更低的明度显示的现象称为“消隐显示”。
(5)将云台摄像机10的摄像部20的当前的平摇角度及俯仰角度(或者与转动命令对应的平摇角度及俯仰角度)作为球的中心点。因此，能够在极限显示图像300的中央部重叠通过云台摄像机10的摄像部20拍摄的即时预览图像。
(6)即时预览图像以贴附在球的内面的方式重叠。
(7)球面并不限定于二维显示圆形球的情况，也可以是二维显示椭圆球的情况，还可以是二维显示变形圆形球或椭圆球的一部分(例如，将球的中央部设为圆柱状)以使即时预览图像不变形而贴附的情况。
另外，图6、图7及图8中，为了在视觉上便于掌握二维显示有极限显示图像的球面的图像，描绘了表示平摇方向的等角度的线(经线)及表示俯仰方向的等角度的线(纬线)。优选在极限显示图像中描绘经线及纬线，但本发明包括不描绘经线及纬线的情况。并且，图6、图7及图8中，为了便于掌握平摇角度及俯仰角度，描绘了表示基准角度的黑色点与基准角度的数值(平摇角度θ及俯仰角度)，但实际的极限显示图像中可不描绘黑色点及角度。
图9是表示显示控制处理的一例的流程的流程图。图9中，智能手机100的处理通过智能手机100的执行控制部238，根据存储于智能手机100的存储部150的程序执行。云台摄像机10的处理通过云台摄像机10的相机控制部40，根据存储于云台摄像机10的存储器62的程序执行。
另外，云台摄像机10设为，已打开电源开关19A及按下摄像开始按钮19B，云台机构32、云台驱动部33等结束初始化而处于已开始被摄体的拍摄的状态。
云台摄像机10中，通过相机无线通信部50对智能手机100发送(输出)通过摄像部20拍摄的即时预览图像与摄像部20的平摇角度及俯仰角度(步骤S102)。智能手机100的无线通信部110作为图像输入部202及云台角度输入部204发挥功能，接收(输入)即时预览图像与平摇角度及俯仰角度(步骤S104)。
本例的云台摄像机10以规定的时间间隔进行即时预览图像的拍摄，且以规定时间间隔对智能手机100发送即时预览图像。在此，“规定的时间间隔”并不限定于完全相同的时间间隔，还包括产生规定的容许范围内的波动的情况。并且，本发明并不限定于即时预览图像的拍摄时间间隔及发送时间间隔恒定的情况。云台摄像机10可根据云台摄像机10的各部的负荷状态或通信环境等，以非恒定的时间间隔进行即时预览图像的拍摄及发送输出。例如，检测到拍摄图像的变化量为阈值以下时、检测到云台摄像机10中的处理的负荷为容许范围外时、或者检测到通信环境为容许范围外时，可暂时停止拍摄及发送中的至少一个。另外，即时预览图像中附加有拍摄时刻信息(所谓的时间戳)，因此智能手机100能够根据附加于即时预览图像的拍摄时刻信息检测拍摄时刻。
通过智能手机100的信息选择部234，从存储于作为极限显示图像信息存储部222发挥功能的存储部150的极限显示图像的信息中，选择与从云台摄像机10输入的平摇角度及俯仰角度对应的极限显示图像的信息(步骤S106)。
如图10所示，通过智能手机100的显示控制部236，在二维显示于显示输入部120的球面的极限显示图像300的中央部，重叠显示从云台摄像机10输入的即时预览图像330(步骤S108)。图10所示的例子中，在极限显示图像300外的即时预览窗121A内也显示即时预览图像330。
通过智能手机100的作为转动命令输入部212发挥功能的显示输入部120，接受平摇方向及俯仰方向中的至少一个方向的转动命令的输入(步骤S110)。转动命令的输入通过显示输入部120中的极限显示图像300外的操作接受。图10所示的例子中，在显示输入部120的即时预览窗121A内用手指等触摸的状态下迅速滑动时(即，进行“轻击”时)，接受作为转动命令的输入。例如，向左方向滑动手指等时，判定为是在图5(A)中向逆时针CCW(左方向)进行平摇的转动命令。例如，向右方向滑动手指等时，判定为是在图5(A)中向顺时针CW(右方向)进行平摇的转动命令。例如，向上方向滑动手指等时，判定为是在图5(B)中向顺时针CW(上方向)进行俯仰的转动命令。例如，向下方向滑动手指等时，判定为是在图5(B)中向逆时针CCW(下方向)进行俯仰的转动命令。
并且，图10中，能够通过包含表示上方向的图标(上键122U)、表示下方向的图标(下键122D)、表示左方向的图标(左键122L)及表示右方向的图标(右键122R)的十字键122C输入转动命令。按压左键122L时，判定为是在图5(A)中向逆时针CCW(左方向)进行平摇的转动命令。按压右键122R时，判定为是在图5(A)中向顺时针CW(右方向)进行平摇的转动命令。按压上键122U时，判定为是向图5(B)的顺时针CW(上方向)进行俯仰的转动命令。按压下键122D时，判定为是在图5(B)中向逆时针CCW(下方向)进行俯仰的转动命令。
通过智能手机100的转动极限判定部232，判定所输入的转动命令是否为向超过云台摄像机10的云台机构32的转动极限的角度的转动命令(步骤S112)。当为向超过转动极限的角度的转动命令时(步骤S112中为是时)，通过智能手机100的执行控制部238，将转动命令的角度变更为转动极限内的角度(步骤S114)。
智能手机100的无线通信部110作为转动命令输出部206发挥功能，对云台摄像机10发送(输出)转动命令(步骤S116)。云台摄像机10的相机无线通信部50接收(输入)转动命令(步骤S118)。
云台摄像机10的云台驱动部33根据转动命令驱动云台摄像机10的云台机构32，由此转动云台摄像机10的摄像部20(步骤S120)。
回到步骤S102，通过相机无线通信部50对智能手机100发送(输出)在根据转动命令驱动云台摄像机10的云台机构32的状态下拍摄的即时预览图像与云台摄像机10的摄像部20的平摇角度及俯仰角度(步骤S102)。智能手机100的无线通信部110接收(输入)即时预览图像与平摇角度及俯仰角度(步骤S104)。
平摇角度及俯仰角度中发生变化时，极限显示图像的信息被重新选择(步骤S106)，显示与当前的平摇角度及俯仰角度对应的极限显示图像，在该极限显示图像中重叠新的即时预览图像来显示(步骤S108)。
图11(A)、图11(B)及图11(C)中，在左侧示出即时预览窗121A的即时预览图像330的显示，在右侧示出极限显示图像300的显示。例如，若在图11(A)的左侧的即时预览窗121A内进行命令平摇的逆时针CCW的滑动操作，则如在图11(A)的右侧以箭头示出，极限显示图像300沿着二维显示的球面向左方向转动，如图11(B)的右侧所示那样显示极限显示图像300。并且，若在图11(B)的左侧的即时预览窗121A内进行命令平摇的逆时针CCW及俯仰的逆时针CCW的滑动操作，则如在图11(B)的右侧以箭头示出，极限显示图像300沿着二维显示的球面向左下方向转动，如图11(C)的右侧所示那样显示极限显示图像300。如此，表示可拍摄区域310及无法拍摄区域320的极限显示图像300根据转动命令的输入而沿着二维显示的球面转动。这种极限显示图像的动向近似于与转动命令相应的云台摄像机10的摄像部20的视点移动，因此用户能够以从云台摄像机10的摄像部20的视点观察的感觉准确地掌握拍摄极限。
＜显示控制的变化＞
(针对向超过转动极限的角度的转动命令的显示控制)
当通过用户输入向超过转动极限的角度的转动命令时，如果仅简单地将云台摄像机10的摄像部20的角度设定为转动极限，有时用户不确定是否为摄像控制装置(智能手机100)对用户的命令输入未作任何反应的状态而感到困惑。并且，如果仅通过文字或音频信息输出表示超过转动极限的内容，即使用户能够认识到装置有反应，但图像并不一定针对用户的命令输入而发生变化，因此用户会由于图像与自己的命令输入不对应而感到违和感。
以下，对如下显示控制的变化进行说明，所述显示控制的变化中，对向超过转动极限的角度的转动命令或向达到转动极限的角度的转动命令，通过对极限显示图像及即时预览图像赋予变化，能够避免给用户带来违和感。
第1变化中，例如云台摄像机10的摄像部20达到转动极限，通过显示控制部236进行图12(A)所示的显示的情况下，进行向超过云台摄像机10的摄像部20的转动极限的角度的转动命令时，通过转动命令输出部206将云台摄像机10的摄像部20的角度设定在转动极限内，且如图12(B)所示，通过显示控制部236在极限显示图像300中超过可拍摄区域310与无法拍摄区域320的边界323而移动即时预览图像330。如图12(B)所示，在即时预览窗121A内也显示无法拍摄区域322。
并且，如图12(B)所示，在即时预览图像330超过可拍摄区域310与无法拍摄区域320的边界323而移动的状态下，输入有向转动极限内的角度返回的转动命令时，将云台摄像机10的摄像部20的实际角度维持在转动极限内的同时，如图12(A)所示，通过显示控制部236在极限显示图像300中向可拍摄区域310内移动即时预览图像330。
如此，第1变化中，当转动命令为向超过云台摄像机10的摄像部20的转动极限的角度的转动命令时，将云台摄像机10的摄像部20的实际角度设定在转动极限内，且即时预览图像330根据转动命令，超过可拍摄区域与无法拍摄区域的边界而移动，因此用户不仅能够通过观察极限显示图像而一眼掌握超过了转动极限的情况，用户还能够通过观察根据转动命令而移动的即时预览图像来认识到智能手机100在反应的情况，且转动命令输入与即时预览图像330的移动始终匹配，因此可以说易操作。
第2变化中，当转动命令为向超过云台摄像机10的摄像部20的转动极限的角度或向达到转动极限的角度的转动命令时，通过转动命令输出部206将云台摄像机10的摄像部20的角度设定在转动极限内，且通过显示控制部236进行在极限显示图像300的可拍摄区域310与无法拍摄区域320的边界摇动即时预览图像330的显示(以下，称为“摇动显示”)。
如此，第2变化中，当转动命令为向超过云台摄像机10的摄像部20的转动极限的角度的转动命令或向达到转动极限的角度的转动命令时，将云台摄像机10的摄像部20的实际角度设定在转动极限内，且即时预览图像330在极限显示图像300的可拍摄区域310与无法拍摄区域320的边界摇动显示，因此用户能够认识到智能手机100在对转动命令反应的情况，且用户易认识到是向超过转动极限的角度的转动命令或向达到转动极限的角度的转动命令。
另外，摇动显示中，将即时预览图像摇动多次或1次之后，将即时预览图像330设定于与云台摄像机10的摄像部20的实际平摇角度及俯仰角度对应的位置。即，摇动之后，将即时预览图像330配置于可拍摄区域310内。摇动次数及幅度并无特别限定。也可逐渐减小摇动幅度。
(显示向相反方向转动时的可拍摄区域的显示控制)
存在如下情况，即，若将云台摄像机10的摄像部20朝向顺时针的转动极限及逆时针的转动极限中离当前的角度较近的转动极限转动，则无法拍摄，但若朝向离当前的角度较远的转动极限转动，则能够拍摄。
例如，如图5(A)所示，当平摇的顺时针CW的转动极限为150度且视场角为±30度时，如图7所示，顺时针的平摇的转动极限(150度)中，超过180度的角度的范围为无法拍摄区域320。然而，例如，如图5(A)所示，当平摇的逆时针CCW的转动极限为-150度时，如图8所示，逆时针的平摇的转动极限(-150度)中，-180度以上的角度的范围(若为顺时针CW，则是超过180度的角度的范围)为可拍摄区域310。即，具有图5(A)所示的转动极限的云台摄像机10中，顺时针CW的平摇中的无法拍摄区域320内存在逆时针CCW的平摇中的可拍摄区域310，且逆时针CCW的平摇中的无法拍摄区域320内存在顺时针CW的平摇中的可拍摄区域310。
图13表示如下的变化，即，在极限显示图像300内显示若向顺时针的转动极限及逆时针的转动极限中离当前的角度较近的转动极限转动，则无法拍摄，但若朝向离当前的角度较远的转动极限转动，则能够拍摄的区域340(以下，称为“反转时可拍摄区域”)。图13中，反转时可拍摄区域340内同时显示表示若向相反方向进行转动命令则能够拍摄的图标(反转标志342)。上述显示控制通过智能手机100的显示控制部236进行。
(在可拍摄区域显示预先拍摄的静态图像的显示控制)
图14(A)及图14(B)是用于说明在可拍摄区域310显示预先拍摄的静态图像的变化的说明图。
如图14(A)所示，显示控制部236在极限显示图像300中与转动极限内对应的可拍摄区域310显示通过云台摄像机10的摄像部20预先以平摇方向及俯仰方向的可转动的角度拍摄的静态图像。
静态图像的拍摄通过智能手机100的执行控制部238的控制，经由智能手机100的无线通信部110驱动云台摄像机10的云台驱动部33来进行。例如，具有图5(A)及图5(B)所示的转动极限的云台摄像机10中，在平摇方向上进行-150度～150度的转动且在俯仰方向上进行0度至60度的转动的同时进行拍摄，由此拍摄多张静态图像(图14(B)的350)。接着，如图14(B)所示，通过智能手机100的显示控制部236，通过将多张静态图像350贴附在假想的三维球面360的内面，生成在平摇方向及俯仰方向的可物理性地转动的整周拍摄的静态图像(以下，称为“整周拍摄的静态图像”)。如图14(A)所示，将极限显示图像300显示于智能手机时，通过从三维球面360向平面投影所需的部分，由此提取二维显示的球面的极限显示图像300的可拍摄区域310的静态图像。
另外，图14(B)中，以生成整周拍摄的静态图像的情况为例进行了说明，但本发明包括不进行整周拍摄的情况。例如，摄像部20的转动范围被强制性地限制为比实际的可物理性地转动的范围窄的情况或被摄体的拍摄的角度范围有限时，可不在摄像部20的可转动的整周进行静态图像的拍摄。
(变焦命令与极限显示图像的关系)
以上说明中，为了便于理解本发明，对未进行变焦命令输入时的显示控制进行了说明。云台摄像机10的摄像部20具有光学变焦功能时及云台摄像机10的相机控制部40或智能手机100的主控制部101具有电子变焦功能时，智能手机100的显示控制部236以与变焦命令对应的尺寸在极限显示图像300中显示即时预览图像330。并且，智能手机100的显示控制部236以与变焦命令对应的形状在极限显示图像300中显示可拍摄区域310及无法拍摄区域320。例如，通过图10的长焦键122T及广角键122W，从用户接受变焦命令。
图15(A)表示将通过长焦端(望远端)拍摄的即时预览图像330显示于极限显示图像300中时的一例。图15(B)表示将通过标准视场角拍摄的即时预览图像330显示于极限显示图像300中时的一例。图15(C)表示将通过广角端(Wide angle端)拍摄的即时预览图像330显示于极限显示图像300中时的一例。图15(D)表示用户输入超过广角极限的变焦命令时，在即时预览图像330的周围显示预先拍摄的静态图像370的状态。该静态图像370为从预先拍摄的静态图像提取相当于即时预览图像330的周围的部分的图像。
[系统结构的变化]
对将作为本发明的主要部分的“显示控制部”配置于智能手机100的方式进行了详细说明，但也可将上述主要部分配置于云台摄像机10及智能手机100以外的其他装置(例如，通常称作“服务器”的计算机装置)。此时，由服务器单独或者包括服务器而构成本发明的摄像控制装置。本发明包括这种结构。
并且，可将上述的主要部分配置于云台摄像机10。此时，通过配置于云台摄像机10的主要部分或者包括配置于云台摄像机10的主要部分而构成本发明的摄像控制装置。本发明包括这种结构。
另外，本发明中的“转动命令输入部”并不限定于直接接受用户的转动命令的输入的情况，包括经由无线通信及有线通信的至少一个而间接地接受用户的转动命令的输入的情况。这种情况下，能够由服务器单独构成本发明的摄像控制装置。
并且，还能够将上述主要部分分散于多个装置来配置。此时，通过多个装置构成本发明的摄像控制装置。
并且，本发明中，摄像控制装置不限于智能手机，能够由平板电脑终端、个人计算机等其他用户终端构成。
本发明并不限定于本说明书及附图中记载的例子，可在不脱离本发明宗旨的范围内通过与本说明书及附图中记载的例子不同的方式实施。
符号说明
10-云台摄像机，20-摄像部，22-成像透镜，24-成像元件，32-云台机构，33-云台驱动部，100-智能手机(摄像控制装置)，202-图像输入部，204-云台角度输入部，206-转动命令输出部，208-变焦命令输入部、212-转动命令输入部、222-极限显示图像信息存储部、232-转动极限判定部、234-信息选择部、236-显示控制部、238-执行控制。

Claims (12)

1.一种摄像控制装置，其控制具备如下的相机：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动所述摄像部；及驱动部，驱动所述云台机构，所述摄像控制装置具备：
转动命令输入部，接受所述相机的所述云台机构的平摇方向及俯仰方向中的至少一个方向的转动命令的输入；
转动命令输出部，对所述相机输出所述转动命令；
图像输入部，从所述相机输入在根据所述转动命令驱动所述相机的所述云台机构的状态下拍摄的即时预览图像；及
显示控制部，使显示部进行如下显示，即，在二维显示的球面的极限显示图像中，重叠从所述相机输入的即时预览图像，且根据所述转动命令的输入使所述极限显示图像沿着所述二维显示的球面转动，所述极限显示图像表示分别与所述相机的所述摄像部的转动极限内及转动极限外对应的可拍摄区域及无法拍摄区域。
2.根据权利要求1所述的摄像控制装置，其中，
当所述转动命令为向超过所述相机的所述摄像部的转动极限的角度的转动命令时，通过所述转动命令输出部将所述相机的所述摄像部的角度设定在转动极限内，且通过所述显示控制部在所述极限显示图像中超过所述可拍摄区域与所述无法拍摄区域的边界而移动所述即时预览图像。
3.根据权利要求1所述的摄像控制装置，其中，
当所述转动命令为向超过所述相机的所述摄像部的转动极限的角度或向达到转动极限的角度的转动命令时，通过所述转动命令输出部将所述相机的所述摄像部的角度设定在所述转动极限内，且通过所述显示控制部进行在所述极限显示图像的所述可拍摄区域与所述无法拍摄区域的边界摇动所述即时预览图像的显示。
4.根据权利要求1至3中任一项所述的摄像控制装置，其中，
所述显示控制部在所述极限显示图像内显示如下区域，即，若将所述相机的所述摄像部朝向顺时针的转动极限及逆时针的转动极限中离当前的角度较近的转动极限转动，则无法拍摄，但若朝向离当前的角度较远的转动极限转动，则能够拍摄的区域。
5.根据权利要求1至4中任一项所述的摄像控制装置，其中，
所述显示控制部在所述极限显示图像中与转动极限内对应的所述可拍摄区域，显示通过所述相机的所述摄像部预先以所述平摇方向及所述俯仰方向的可转动的角度拍摄的静态图像。
6.根据权利要求5所述的摄像控制装置，其中，
所述显示控制部将通过所述相机的所述摄像部在所述平摇方向及所述俯仰方向的可转动的整周拍摄的静态图像显示于所述可拍摄区域。
7.根据权利要求1至6中任一项所述的摄像控制装置，其具备：
变焦命令输入部，接受所述相机中的即时预览图像的光学或电子变焦命令的输入；及
变焦命令输出部，对所述相机输出所述变焦命令，
所述图像输入部从所述相机输入根据所述变焦命令通过所述相机变焦的所述即时预览图像，
所述显示控制部以与所述变焦命令对应的尺寸将所述即时预览图像显示于所述显示部。
8.根据权利要求1至7中任一项所述的摄像控制装置，其中，
所述显示控制部除了重叠于所述极限显示图像的即时预览图像以外，另将所述即时预览图像显示于所述显示部。
9.一种相机系统，其具备权利要求1至8中任一项所述的摄像控制装置及所述相机。
10.一种摄像控制方法，通过该方法控制具备如下的相机：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动所述摄像部；及驱动部，驱动所述云台机构，所述摄像控制方法包含：
接受所述相机的所述云台机构的平摇方向及俯仰方向中的至少一个方向的转动命令的输入的步骤；
对所述相机输出所述转动命令的步骤；
从所述相机输入在根据所述转动命令驱动所述相机的所述云台机构的状态下拍摄的即时预览图像的步骤；及
在二维显示的球面的极限显示图像中，重叠从所述相机输入的即时预览图像，且根据所述转动命令的输入使所述极限显示图像沿着所述二维显示的球面转动的步骤，所述极限显示图像表示分别与所述相机的所述摄像部的转动极限内及转动极限外对应的可拍摄区域及无法拍摄区域。
11.一种程序，通过该程序控制具备如下的相机：摄像部，包含成像透镜及成像元件；云台机构，能够向平摇方向及俯仰方向转动所述摄像部；及驱动部，驱动所述云台机构，所述程序使计算机执行如下步骤：
接受所述相机的所述云台机构的平摇方向及俯仰方向中的至少一个方向的转动命令的输入的步骤；
对所述相机输出所述转动命令的步骤；
从所述相机输入在根据所述转动命令驱动所述相机的所述云台机构的状态下拍摄的即时预览图像的步骤；及
在二维显示的球面的极限显示图像中，重叠从所述相机输入的即时预览图像，且根据所述转动命令的输入使所述极限显示图像沿着所述二维显示的球面转动的步骤，所述极限显示图像表示分别与所述相机的所述摄像部的转动极限内及转动极限外对应的可拍摄区域及无法拍摄区域。
12.一种非暂时性记录介质，其记录有权利要求11所述的程序且能够计算机读取。
CN201580048406.XA 2014-09-08 2015-06-23 摄像控制装置、摄像控制方法、及相机系统 Active CN106716985B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-182531 2014-09-08
JP2014182531 2014-09-08
PCT/JP2015/068040 WO2016038970A1 (ja) 2014-09-08 2015-06-23 撮像制御装置、撮像制御方法、カメラシステム及びプログラム

Publications (2)

Publication Number Publication Date
CN106716985A true CN106716985A (zh) 2017-05-24
CN106716985B CN106716985B (zh) 2019-07-30

Family

ID=55458733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580048406.XA Active CN106716985B (zh) 2014-09-08 2015-06-23 摄像控制装置、摄像控制方法、及相机系统

Country Status (4)

Country Link
US (1) US10638034B2 (zh)
JP (1) JP6205071B2 (zh)
CN (1) CN106716985B (zh)
WO (1) WO2016038970A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110771143A (zh) * 2018-09-13 2020-02-07 深圳市大疆创新科技有限公司 手持云台的控制方法及手持云台、手持设备
CN111970443A (zh) * 2020-08-13 2020-11-20 深圳市阳日电子有限公司 一种云台控制方法及设备、计算机可读存储介质
CN112770049A (zh) * 2020-12-30 2021-05-07 维沃移动通信有限公司 拍摄方法、装置及存储介质
WO2022052604A1 (zh) * 2020-09-14 2022-03-17 Oppo广东移动通信有限公司 信息提示方法、装置、电子设备以及存储介质

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016038969A1 (ja) * 2014-09-08 2016-03-17 富士フイルム株式会社 カメラの初期位置設定方法、カメラ及びカメラシステム
US20160330376A1 (en) * 2015-05-06 2016-11-10 Otoy, Inc. Apparatus and method for spherical light field capture
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR20180051288A (ko) * 2016-11-08 2018-05-16 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
US10754242B2 (en) 2017-06-30 2020-08-25 Apple Inc. Adaptive resolution and projection format in multi-direction video
US20190005709A1 (en) * 2017-06-30 2019-01-03 Apple Inc. Techniques for Correction of Visual Artifacts in Multi-View Images
JP7098342B2 (ja) * 2018-02-06 2022-07-11 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP7258482B2 (ja) * 2018-07-05 2023-04-17 キヤノン株式会社 電子機器
WO2020174994A1 (ja) * 2019-02-26 2020-09-03 パナソニックＩｐマネジメント株式会社 カメラ映像伝送再生システム、それを構成するカメラおよびビューア
CN114071001B (zh) * 2020-07-31 2023-12-22 北京小米移动软件有限公司 控制方法、装置、电子设备及存储介质
US20240155217A1 (en) * 2021-05-26 2024-05-09 Sharp Kabushiki Kaisha Imaging apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1856991A (zh) * 2003-07-03 2006-11-01 物理光学公司 实时无失真成像的全景视频系统
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
CN101305596A (zh) * 2005-11-11 2008-11-12 索尼株式会社 图像处理设备、图像处理方法及其程序以及包括该程序的记录介质、成像设备
JP2010049346A (ja) * 2008-08-19 2010-03-04 Canon Inc 画像表示装置
WO2014106296A1 (en) * 2013-01-07 2014-07-10 Tamaggo Inc. Panoramic camera

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764276A (en) * 1991-05-13 1998-06-09 Interactive Pictures Corporation Method and apparatus for providing perceived video viewing experiences using still images
JP3315554B2 (ja) 1994-11-28 2002-08-19 キヤノン株式会社 カメラ制御装置
US6266085B1 (en) * 1994-11-17 2001-07-24 Canon Kabushiki Kaisha Camera imaging and magnification device
JPH09102902A (ja) 1995-10-05 1997-04-15 Canon Inc カメラ制御装置
JPH09154055A (ja) * 1995-11-30 1997-06-10 Tokai Rika Co Ltd 撮影システム
JP3902805B2 (ja) * 1996-01-08 2007-04-11 キヤノン株式会社 カメラ制御装置及びカメラ制御装置の画像表示方法
JP2006245793A (ja) * 2005-03-01 2006-09-14 Konica Minolta Holdings Inc 撮像システム
WO2008055305A1 (en) * 2006-11-08 2008-05-15 Dolby Laboratories Licensing Corporation Apparatuses and methods for use in creating an audio scene

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1856991A (zh) * 2003-07-03 2006-11-01 物理光学公司 实时无失真成像的全景视频系统
US20070182812A1 (en) * 2004-05-19 2007-08-09 Ritchey Kurtis J Panoramic image-based virtual reality/telepresence audio-visual system and method
CN101305596A (zh) * 2005-11-11 2008-11-12 索尼株式会社 图像处理设备、图像处理方法及其程序以及包括该程序的记录介质、成像设备
JP2010049346A (ja) * 2008-08-19 2010-03-04 Canon Inc 画像表示装置
WO2014106296A1 (en) * 2013-01-07 2014-07-10 Tamaggo Inc. Panoramic camera

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110771143A (zh) * 2018-09-13 2020-02-07 深圳市大疆创新科技有限公司 手持云台的控制方法及手持云台、手持设备
US11381751B2 (en) 2018-09-13 2022-07-05 SZ DJI Technology Co., Ltd. Handheld gimbal control method, handheld gimbal, and handheld device
CN111970443A (zh) * 2020-08-13 2020-11-20 深圳市阳日电子有限公司 一种云台控制方法及设备、计算机可读存储介质
WO2022052604A1 (zh) * 2020-09-14 2022-03-17 Oppo广东移动通信有限公司 信息提示方法、装置、电子设备以及存储介质
CN112770049A (zh) * 2020-12-30 2021-05-07 维沃移动通信有限公司 拍摄方法、装置及存储介质

Also Published As

Publication number Publication date
US10638034B2 (en) 2020-04-28
CN106716985B (zh) 2019-07-30
WO2016038970A1 (ja) 2016-03-17
JPWO2016038970A1 (ja) 2017-07-20
US20170180635A1 (en) 2017-06-22
JP6205071B2 (ja) 2017-09-27

Similar Documents

Publication Publication Date Title
CN106716985B (zh) 摄像控制装置、摄像控制方法、及相机系统
CN106605404B (zh) 相机的初始位置设定方法、相机及相机系统
JP6205067B2 (ja) パン・チルト操作装置、カメラシステム、パン・チルト操作用プログラム及びパン・チルト操作方法
JP6106764B2 (ja) 撮像装置及びタイムラプス撮像方法
US10560624B2 (en) Imaging control device, imaging control method, camera, camera system, and program
CN106688227B (zh) 多摄像装置、多摄像方法
WO2020238380A1 (zh) 全景拍摄方法及终端设备
CN106716989A (zh) 摄像装置、摄像方法及程序
CN106664371B (zh) 摄像装置的操作装置及操作方法
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
WO2013136602A1 (ja) プロジェクタ付き撮影装置及びその撮影制御方法
CN115499581B (zh) 一种拍摄方法、装置、终端设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant