CN108141533A - 摄像系统、视角调整方法以及视角调整程序 - Google Patents

摄像系统、视角调整方法以及视角调整程序 Download PDF

Info

Publication number
CN108141533A
CN108141533A CN201680058148.8A CN201680058148A CN108141533A CN 108141533 A CN108141533 A CN 108141533A CN 201680058148 A CN201680058148 A CN 201680058148A CN 108141533 A CN108141533 A CN 108141533A
Authority
CN
China
Prior art keywords
rolling
camera
visual angle
pitching motion
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680058148.8A
Other languages
English (en)
Other versions
CN108141533B (zh
Inventor
大岛宗之
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of CN108141533A publication Critical patent/CN108141533A/zh
Application granted granted Critical
Publication of CN108141533B publication Critical patent/CN108141533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明的目的在于提供一种能够对由通信所致的延迟引起的视角偏差进行校正的摄像系统、视角调整方法以及视角调整程序。本发明的实施方式中，在发送搭载于移动体(12)的云台摄像机(14)的摄像部(22)的摄像数据并且将摄像图像显示在显示画面(200)的摄像系统(10)中，具备：坐标指定部(46)，指定指定坐标、移动目的地坐标作为视角调整命令；视角调整期间运算部(50)，使用指定坐标、移动目的地坐标，计算横摇/俯仰动作参数；移动状态计算部(52)，根据摄像数据，计算摄像部的移动状态；以及横摇/俯仰动作参数校正部(54)，根据摄像部的移动状态，对横摇/俯仰动作参数进行校正。

Description

摄像系统、视角调整方法以及视角调整程序
技术领域
本发明涉及一种摄像系统、视角调整方法以及视角调整程序，尤其涉及一种可进行远程操作的云台摄像机的视角调整技术。
背景技术
已经提出了在通过通信与带有显示功能的远程操作终端连接的摄像系统中使用了远程操作终端的简单的视角调整。此处所说的横摇/俯仰表示摄像机的平移动作和摄像机的倾斜动作。平移动作有时被称为横摇动作。并且，倾斜动作有时被称为俯仰动作。
专利文献1中记载有对搭载于可进行远程操作的移动体的摄像机的摄像方向进行控制的摄像系统。专利文献1中记载的摄像系统中，使用用显示在显示部的光标表示的命令向量来使摄像方向移动。另外，本说明书中的摄像系统的用语相当于专利文献1中的摄像机控制系统。
专利文献2中记载有一边移动一边对物体进行拍摄的移动型摄像装置。专利文献2中记载的摄像装置中，在使摄像装置整体沿着物体进行移动时，根据摄像装置的移动来增加摄像装置的行进方向与摄像机的光轴所成的角度，并使摄像机的光轴通过物体上的同一点。
专利文献3中记载有可进行远程操作的监控用摄像机。专利文献3中记载的监控用摄像机预先停在预设位置来进行拍摄。
专利文献4中记载有如下摄像装置：将云台摄像机的摄像图像显示在画面的操作区域上，并指定操作区域上的任意位置，由此控制云台摄像机而使所指定的被摄体朝向操作区域的中央位置。
专利文献5中记载有如下摄像系统：用两根手指命令要带到平板电脑终端上的视场中央位置的对象，并进行横摇/俯仰来使对象移动到视场中央位置。另外，本说明书中的摄像系统的用语相当于专利文献5中的摄像机系统。
以往技术文献
专利文献
专利文献1：日本特开2009-16956号公报
专利文献2：日本特开2009-65605号公报
专利文献3：日本特开2000-261792号公报
专利文献4：日本特开平10-257375号公报
专利文献5：日本特开2014-99719号公报
发明内容
发明要解决的技术课题
一直以来，通过通信与带有显示功能的远程操作终端连接的摄像系统的操作方法基本为固定摄像机的操作，而近年来出现了在移动体上搭载有云台摄像机的事例。
在移动体上搭载有云台摄像机的摄像系统中，假定在移动体进行移动时，独立于移动体的移动控制而控制云台摄像机的横摇/俯仰动作。
但是，如果通过通信来控制横摇/俯仰动作，则会在横摇/俯仰动作的指令定时与实际的横摇/俯仰动作的动作定时之间产生取决于通信的延迟。当在存在取决于通信的延迟的状态下在移动体进行移动时实施了视角调整的情况下，进行操作的定时与操作所反映的定时不同，因此很难在期间通过移动体的移动来调整为所期望的视角。
专利文献1中记载的摄像系统中，若在移动体进行移动时输入命令向量，则会导致命令向量的起点坐标产生偏差，其结果，很难准确地调整移动后的摄像方向。
专利文献2中记载的移动型摄像装置需要获取移动体的移动速度的单元。并且，专利文献2中记载的移动型摄像装置的课题在于在摄像机的曝光时间内通过摄像机与被摄体的相对移动产生的移动模糊的产生，很难应对超过摄像机的曝光时间的移动体长时间的移动。
专利文献3中记载的监控摄像机不具有横摇/俯仰动作功能，因此在不同的预设位置之间进行移动时不进行横摇/俯仰操作，不会产生在移动时进行了横摇/俯仰操作的情况下由通信所致的延迟引起的视角调整的偏差这一课题。
专利文献4中记载的云台摄像机和专利文献5中记载的摄像机不与被摄体进行相对移动，并且不会在与被摄体的相对移动中进行横摇/俯仰操作，因此不会产生在移动时进行了横摇/俯仰操作的情况下由通信所致的延迟引起的视角偏差这一课题。
本发明是鉴于这种情况而完成的，其目的在于提供一种能够对由通信所致的延迟引起的视角偏差进行校正的摄像系统、视角调整方法以及视角调整程序。
用于解决技术课题的手段
为了实现上述目的，提供如下发明方式。
第1方式所涉及的摄像系统为如下摄像系统，其具备：移动体；摄像部，搭载于所述移动体；摄像数据发送部，发送通过摄像部的拍摄而得到的摄像数据；摄像数据接收部，接收从摄像数据发送部发送的摄像数据；横摇/俯仰动作部，使摄像部进行横摇动作和俯仰动作中的至少任一种动作；摄像操作部，与摄像部通信连接，并且向摄像部发送对摄像部进行操作的摄像控制信号；显示部，将通过摄像数据接收部接收到的摄像数据所表示的摄像图像显示在显示画面；坐标指定部，在调整摄像部的视角时，指定显示在显示部的显示画面的图像中的、移动对象的坐标即指定坐标和移动对象的移动目的地的坐标即移动目的地坐标；视角调整运算部，使用指定坐标和所述移动目的地坐标，计算适用于横摇/俯仰动作部的横摇/俯仰动作参数；视角调整期间计算部，计算从指定坐标的指定开始到进行摄像部的视角调整为止的期间即视角调整期间；移动状态计算部，根据通过摄像部的拍摄而得到的摄像数据，计算移动参数，所述移动参数表示在视角调整期间通过移动体的移动而摄像部进行移动时的移动方向和移动距离；横摇/俯仰动作参数校正部，在调整摄像部的视角时，根据通过移动状态计算部计算出的移动参数和通过视角调整期间计算部计算出的视角调整期间，对通过视角调整运算部计算出的横摇/俯仰动作参数进行校正；以及横摇/俯仰动作指令部，通过通信向横摇/俯仰动作部发送与横摇/俯仰动作参数对应的信号，并且向横摇/俯仰动作部发送通过横摇/俯仰动作参数校正部校正的与横摇/俯仰动作参数对应的信号。
根据第1方式，根据通过摄像部的拍摄而得到的摄像数据，计算表示摄像部进行移动时的移动方向和移动距离的移动参数，并且对通过横摇/俯仰动作部调整摄像部的视角时的横摇/俯仰动作部的动作参数进行校正，因此能够应对各种摄像部的移动状态，并且当在摄像部进行移动时向横摇/俯仰动作部发送动作指令的情况下，能够进行对由通信所致的延迟引起的视角调整的偏差进行了校正的横摇/俯仰动作。
根据第1方式的摄像系统，第2方式能够设为如下构成：视角调整运算部根据指定坐标和移动目的地坐标计算第一移动向量作为横摇/俯仰动作参数，移动状态计算部计算校正向量作为视角调整期间的摄像部的移动参数，横摇/俯仰动作参数校正部使用校正向量对第一移动向量所表示的横摇/俯仰动作参数进行校正。
根据第2方式，能够使用显示部的显示画面的坐标来掌握摄像部的移动状态。
根据第2方式的摄像系统，第3方式能够设为如下构成：移动状态计算部计算速度向量和加速度向量作为校正向量，所述速度向量表示在视角调整期间通过移动体的移动而摄像部进行移动时的摄像部的速度，所述加速度向量表示在视角调整期间通过移动体的移动而摄像部进行移动时的摄像部的加速度。
根据第3方式，通过使用了显示部的显示画面中的坐标的向量运算，能够掌握摄像部的移动状态。
第3方式中，速度向量和加速度向量能够作为显示画面中的各轴的成分来计算。当在显示画面上设定由X轴和Z轴形成的直角坐标系时，对于速度向量和加速度向量，可计算各自的X成分和Z成分。
根据第3方式的摄像系统，第4方式能够设为如下构成：移动状态计算部根据在第一定时中通过摄像部的拍摄而获取的第一摄像数据和在第一定时之前的第二定时中通过摄像部的拍摄而获取的第二摄像数据，获取第一移动向量，所述第一移动向量表示第二定时与第一定时之间的第一期间的摄像部的移动距离和移动方向，计算第一速度向量，所述第一速度向量是具有将第一移动向量的大小除以第一期间而得的大小，并且具有与第一移动向量所表示的方向平行的方向的速度向量。
根据第4方式，能够根据按时间顺序获取的两个摄像数据，计算摄像部的速度向量。
根据第4方式的摄像系统，第5方式能够设为如下构成：移动状态计算部在获取第一移动向量时使用特征点检测。
根据第5方式，能够使用特征点检测，根据按照时间序列顺序获取的两个摄像数据来计算摄像部的速度向量。
作为第5方式中的特征点检测的一例，可举出模板匹配。
根据第4方式或第5方式的摄像系统，第6方式能够设为如下构成：移动状态计算部根据第二摄像数据和在第二定时之前的第三定时中通过摄像部的拍摄而获取的第三摄像数据，获取第二移动向量，所述第二移动向量表示在第三定时与第二定时之间的期间的第二期间的摄像部的移动距离和移动方向，计算第二速度向量，所述第二速度向量是具有将第二移动向量的大小除以第二期间而得的大小，并且具有与第二移动向量所表示的方向平行方向的方向的速度向量，计算加速度向量，所述加速度向量具有将从第一速度向量减去第二速度向量而求出的差分向量的大小除以第一期间而得的大小，并且具有与差分向量平行的方向。
根据第6方式，能够根据按时间顺序获取的三个摄像数据，计算加速度向量。
根据第4方式至第6方式中的任一种方式的摄像系统，第7方式能够设为如下构成：移动状态计算部将通过摄像部的拍摄而获取的最新的摄像数据设为第一摄像数据。
根据第7方式，能够使用最新的摄像数据来计算摄像部的移动向量、速度向量以及加速度向量。
在第3方式至第7方式中，能够适用先进先出处理来适用获取并存储按时间顺序的摄像数据的方式。
根据第1方式至第7方式中的任一种方式的摄像系统，第8方式能够设为如下构成：视角调整运算部根据从预先设定的横摇/俯仰动作开始到完成横摇/俯仰动作为止的期间即横摇/俯仰动作期间、指定坐标以及移动目的地坐标，计算横摇/俯仰动作部的动作速度，以作为横摇/俯仰动作参数。
根据第8方式，能够根据横摇/俯仰动作期间、指定坐标以及移动目的地坐标来计算横摇/俯仰动作部的动作速度。
根据第8方式的摄像系统，第9方式能够设为如下构成：所述摄像系统具备视角信息获取部，所述视角信息获取部获取摄像部中具备的透镜的视角信息，视角调整运算部使用横摇/俯仰动作部的最大动作速度和摄像部中具备的透镜的视角，计算横摇/俯仰动作期间。
根据第9方式，能够根据透镜的视角以及横摇/俯仰动作部的最大速度来计算横摇/俯仰动作期间。
根据第9方式的摄像系统，第10方式能够设为如下构成：所述摄像系统具备坐标转换处理部，所述坐标转换处理部使用通过视角信息获取部获取的摄像部的视角信息，对由二维坐标表示的指定坐标和移动目的地坐标实施极坐标转换处理而转换成三维坐标，移动状态计算部计算通过坐标转换处理部转换的三维坐标中的指定坐标与移动目的地坐标的位移角度作为横摇/俯仰动作部的动作参数。
根据第10方式，通过进行从二维坐标系向三维坐标系的转换，能够将以二维坐标系表示的显示画面上的移动向量、速度向量以及加速度向量转换成以三维坐标系表示的横摇/俯仰动作。
根据第1方式至第10方式中的任一种方式的摄像系统，第11方式能够设为如下构成：所述摄像系统具备：摄像数据通信期间获取部，获取通过摄像部的拍摄而获取的摄像数据的通信期间即摄像数据通信期间；动作指令通信期间获取部，获取从横摇/俯仰动作指令部发送的动作指令的通信期间即动作指令通信期间；以及横摇/俯仰动作期间获取部，获取从开始获取横摇/俯仰动作部的动作指令到完成横摇/俯仰动作部的动作为止的横摇/俯仰动作期间，视角调整期间计算部将通过摄像数据通信期间获取部获取的摄像数据通信期间、通过动作指令通信期间获取部获取的动作指令通信期间以及通过横摇/俯仰动作期间获取部获取的横摇/俯仰动作期间进行相加，来计算视角调整期间。
根据第11方式，能够将摄像数据的通信期间、动作指令的通信期间以及横摇/俯仰动作期间进行相加来计算视角调整期间。
根据第11方式的摄像系统，第12方式能够设为如下构成：所述摄像系统具备通信期间测定部，所述通信期间测定部测定从向摄像部发送摄像数据的发送请求的定时开始到接收到从摄像部发送的摄像数据的定时为止的期间，摄像数据通信期间获取部获取通过通信期间测定部测定出的期间作为摄像数据通信期间。
根据第12方式，能够通过测定来获取摄像数据通信期间。
根据第12方式的摄像系统，第13方式能够设为如下构成：摄像数据通信期间获取部获取由通信期间测定部测定的多次测定结果的平均作为摄像数据通信期间。
根据第13方式，即使在摄像数据通信期间的测定中存在测定偏差，也能够获取降低了测定偏差影响的可靠性高的摄像数据通信期间。
根据第1方式至第13方式中的任一种方式的摄像系统，第14方式能够设为如下构成：所述摄像系统具备移动体远程操作部，所述移动体远程操作部对移动体进行远程操作，并且独立于摄像操作部。
根据第14方式，能够不使用移动体的控制参数、移动体的控制中使用的检测结果、测定结果，而根据摄像数据来掌握摄像部的移动状态。
根据第1方式至第14方式中的任一种方式的摄像系统，第15方式能够设为如下构成：视角调整运算部将移动目的地坐标设为显示画面中央位置的坐标。
根据第15方式，能够在随着移动体的移动而移动的摄像部的拍摄中，将所指定的被摄体显示在显示画面中央位置。
第16方式所涉及的视角调整方法，其为摄像部的视角调整方法，所述摄像部搭载于移动体，并且能够进行横摇动作和俯仰动作中的至少任一种动作，所述视角调整方法包括：摄像数据发送工序，发送通过摄像部的拍摄而得到的摄像数据；摄像数据接收工序，接收通过摄像数据发送工序发送的摄像数据；摄像操作工序，通过通信向摄像部发送对摄像部进行操作的摄像控制信号；显示工序，将通过摄像数据接收工序接收到的摄像数据所表示的摄像图像显示在显示画面；坐标指定工序，在调整摄像部的视角时，指定显示在显示画面的图像中的、移动对象的坐标即指定坐标和移动对象的移动目的地的坐标即移动目的地坐标；视角调整运算工序，使用指定坐标和移动目的地坐标，计算横摇/俯仰动作参数；视角调整期间计算工序，计算从指定坐标的指定开始到进行摄像部的视角调整为止的期间即视角调整期间；移动状态计算工序，根据通过摄像部的拍摄而得到的摄像数据，计算移动参数，所述移动参数表示在视角调整期间通过移动体的移动而摄像部进行移动时的移动方向和移动距离；横摇/俯仰动作参数校正工序，在调整摄像部的视角时，根据通过移动状态计算工序计算出的移动参数和通过视角调整期间计算工序计算出的视角调整期间，对通过视角调整运算工序计算出的横摇/俯仰动作参数进行校正；以及横摇/俯仰动作指令工序，根据通过横摇/俯仰动作参数校正工序校正的横摇/俯仰动作参数，使摄像部进行横摇动作和俯仰动作中的至少任一种动作。
根据第16方式，能够得到与第1方式相同的效果。
第16方式中，能够适当地组合与在第2方式至第15方式中指定的事项相同的事项。该情况下，担负在摄像系统中指定的处理和功能的单元能够作为担负与此对应的处理和功能的视角调整方法的构成要件来掌握。
第17方式所涉及的视角调整程序为使计算机作为如下单元而发挥作用的显示控制程序：摄像单元，搭载于移动体；摄像数据发送单元，发送通过摄像单元的拍摄而得到的摄像数据；摄像数据接收单元，接收从摄像数据发送单元发送的摄像数据；横摇/俯仰动作单元，使摄像单元进行横摇动作和俯仰动作中的至少任一种动作；摄像操作单元，与摄像单元通信连接，并且向摄像单元发送对摄像单元进行操作的摄像控制信号；显示单元，将通过摄像数据接收单元接收到的摄像数据所表示的摄像图像显示在显示画面；坐标指定单元，在调整摄像单元的视角时，指定显示在显示单元的显示画面的图像中的、移动对象的坐标即指定坐标和移动对象的移动目的地的坐标即移动目的地坐标；视角调整运算单元，使用指定坐标和移动目的地坐标，计算适用于横摇/俯仰动作单元的横摇/俯仰动作参数；视角调整期间计算单元，计算从指定坐标的指定开始到进行摄像单元的视角调整为止的期间即视角调整期间；移动状态计算单元，根据通过摄像单元的拍摄而得到的摄像数据，计算移动参数，所述移动参数表示在视角调整期间通过移动体的移动而摄像单元进行移动时的移动方向和移动距离；横摇/俯仰动作参数校正单元，在调整摄像单元的视角时，根据通过移动状态计算单元计算出的移动参数和通过视角调整期间计算单元计算出的视角调整期间，对通过视角调整运算单元计算出的横摇/俯仰动作参数进行校正；以及横摇/俯仰动作指令单元，通过通信向横摇/俯仰动作单元发送与横摇/俯仰动作参数对应的信号，并且向横摇/俯仰动作单元发送通过横摇/俯仰动作参数校正单元校正的与横摇/俯仰动作参数对应的信号。另外，记录有上述程序且可由计算机读取的非暂时性有形介质也包含在本发明的方式中。
根据第17方式，能够得到与第1方式相同的效果。
第17方式中，能够适当地组合与在第2方式至第15方式中指定的事项相同的事项。该情况下，担负在摄像系统中指定的处理和功能的单元能够作为担负与此对应的处理和功能的视角调整程序的构成要件来掌握。
发明效果
根据本发明，可以根据通过摄像部的拍摄而得到的摄像数据来计算表示摄像部进行移动时的移动方向和移动距离的移动参数，并对通过横摇/俯仰动作部调整摄像部的视角时的横摇/俯仰动作部的动作参数进行校正，因此能够应对各种各种摄像部的移动状态，并且在摄像部进行移动时向横摇/俯仰动作部发送动作指令时，能够进行对由通信所致的延迟引起的视角调整的偏差进行了校正的横摇/俯仰动作。
附图说明
图1是摄像系统的整体结构图。
图2是摄像系统的框图。
图3是云台摄像机的框图。
图4是摄像部的框图。
图5是移动体的框图。
图6是移动体操作终端的框图。
图7是现有技术所涉及的视角调整方法的说明图。图7(A)是表示坐标输入前的显示状态的示意图。图7(B)是表示坐标输入后的显示状态的示意图。
图8是本实施方式所涉及的视角调整方法的说明图。图8(A)是表示坐标指定前的显示状态的示意图。图8(B)是表示坐标指定后的显示状态的示意图。
图9是延迟期间的说明图。
图10是通信期间测定的说明图。
图11是移动状态计算的说明图。
图12是表示视角调整方法的控制流程的流程图。
图13是表示图12中示出的横摇/俯仰动作参数计算工序的步骤的流程的流程图。
具体实施方式
以下，根据附图，对本发明的优选实施方式进行说明。
[摄像系统的说明]
＜整体结构＞
图1是摄像系统的整体结构图。图1所示的摄像系统10具备移动体12、云台摄像机14、摄像操作部16以及移动体操作部18。云台摄像机14搭载于移动体12。
云台摄像机14随着移动体12的移动而与移动体12一起移动。以下说明中，在与云台摄像机14相关的说明中能够相互替换移动体12的移动与云台摄像机14的移动。
图1中示出的移动体12和云台摄像机14由不同的操作单元进行控制。移动体12接收来自移动体操作部18的控制信号，并根据控制信号进行移动。并且，移动体12将移动体的状态信息发送到移动体操作部18。
移动体操作部18是对移动体进行远程操作的移动体远程操作部，是独立于摄像操作部的移动体远程操作部的一种方式。
云台摄像机14根据从摄像操作部16发送的摄像控制信号来控制拍摄。并且，通过云台摄像机14的拍摄而获取的摄像数据发送到摄像操作部16。摄像操作部16的显示部20中显示有由云台摄像机14的拍摄而得到的实时取景图像。以下，有时将显示在显示部20的实时取景图像简单记为图像。
与云台摄像机14通信连接的摄像操作部16相当于摄像操作单元。显示部20相当于显示单元。
云台摄像机14具备摄像部22以及横摇/俯仰动作部24。摄像部22安装在横摇/俯仰动作部24。若通过从摄像操作部16发送的横摇/俯仰动作参数来使横摇/俯仰动作部24动作，则根据横摇/俯仰动作部24的动作来调整摄像部22的视角。以下说明中，在与云台摄像机14相关的说明中能够相互替换云台摄像机14的移动与摄像部22的移动。
摄像部22相当于摄像单元。横摇/俯仰动作部24相当于横摇/俯仰动作单元。
显示部20适用于触摸面板。操作者能够通过触摸显示部20的显示画面来指定显示部20的显示画面中的任意坐标，详细内容在之后进行说明。另外，对于显示部20的显示画面，在图8(A)等中标注符号200来进行图示。
摄像系统10构成为能够在云台摄像机14与摄像操作部16之间进行无线通信。并且，构成为在移动体12与移动体操作部18之间也能够进行无线通信。另外，在云台摄像机14与摄像操作部16之间的通信形态并不限定于无线通信。也可以适用有线通信。移动体12与移动体操作部18之间的通信形态也相同。
例如，能够使用基于依据IEEE所确定的IEEE802.11a/b/g/n标准等的无线LAN的通信方式、或基于依据蓝牙(Bluetooth)标准等的近距离无线的通信方式。
IEEE是The Institute of Electrical and Electronics Engineers,Inc.(电气电子工程师协会)的缩写。LAN是Local Area Network(局域网)的缩写。蓝牙是注册商标。
图1中示出的移动体12具备行走部26。行走部26通过未图示的电机来进行动作。通过根据从移动体操作部18向移动体12发送的行走控制信号对未图示的电机进行动作控制，从而控制移动体12的行走开始、行走停止、行走速度或行走方向。
本实施方式中，作为操作部件例示出具备操作按钮28、操作杆30以及十字键32的移动体操作部18，但也可以具备其他种类的操作部件。
本实施方式中，作为摄像操作部16例示出智能手机型便携终端。图1中示出的智能手机型便携终端的摄像操作部16具备操作按钮34、麦克风36以及扬声器38。作为摄像操作部16，可以使用平板式终端设备，也可以使用个人计算机等固定式终端设备。
＜摄像操作部的说明＞
图2是摄像系统的框图。图2中，对于与图1相同的结构标注相同符号，并适当省略说明。在图3之后的图中，对于与上述结构相同的结构也标注相同符号，并适当省略说明。
图2中示出的摄像操作部16具备摄像终端通信部40。摄像终端通信部40接收从云台摄像机14发送的摄像数据。并且，摄像终端通信部40向云台摄像机14发送摄像控制信号。摄像控制信号包括摄像开始指令、摄像停止指令、或变焦等云台摄像机14的调整指令等与云台摄像机14的摄像控制相关的指令。
此处所说的摄像数据表示通过拍摄得到的图像数据。摄像数据有时简称为图像数据。本说明书中，将通过拍摄得到的图像数据记载为摄像数据。
摄像终端通信部40是摄像数据接收部以及摄像数据接收单元的构成要件。
摄像操作部16具备操作部件42。操作部件42包括显示在显示部20的显示画面的操作按钮。另外，省略显示在显示部20的显示画面的操作按钮的图示。
摄像操作部16具备音频信号转换部44。音频信号转换部44将从麦克风36获取的音频信号转换为电信号。并且，将从扬声器38输出的与音频对应的电信号转换为音频信号。
摄像操作部16具备坐标指定部46。坐标指定部46指定显示部20的显示画面的任意坐标。例如，若触摸显示部20的显示画面的任意位置，则检测到所触摸的位置，并转换为显示部20的显示画面的坐标。
坐标指定部46相当于坐标指定单元。
摄像操作部16具备视角信息获取部47。视角信息获取部47获取图1中示出的摄像部22中具备的透镜的视角信息。图2中示出的视角信息获取部47也可以是存储有图1中示出的摄像部22的视角信息的视角信息存储部。
摄像操作部16具备视角调整运算部48。视角调整运算部48使用通过坐标指定部46指定的第一坐标和第二坐标，执行计算横摇/俯仰动作参数的视角调整运算。横摇/俯仰动作参数包括横摇动作参数和俯仰动作参数。
视角调整运算部48相当于视角调整运算单元。
摄像操作部16具备坐标转换处理部49。坐标转换处理部49执行将二维直角坐标系的横摇/俯仰动作参数转换为三维坐标系的坐标转换处理。坐标转换处理的详细内容在之后进行说明。
摄像操作部16具备视角调整期间计算部50。视角调整期间计算部50计算视角调整期间。通过视角调整期间计算部50计算出的视角调整期间用于对通过视角调整运算部48计算出的横摇/俯仰动作参数进行校正。视角调整期间的详细内容在之后进行说明。
视角调整期间计算部50相当于视角调整期间计算单元。
图2中示出的摄像操作部16具备移动状态计算部52。移动状态计算部52在通过视角调整期间计算部50计算出的视角调整期间中，计算表示通过移动体12的移动而云台摄像机14进行移动时的云台摄像机14的移动方向和移动距离的移动参数。
通过移动状态计算部52计算出的云台摄像机14的移动参数用于对通过视角调整运算部48计算出的横摇/俯仰动作参数进行校正。云台摄像机14的移动参数的详细内容在之后进行说明。
移动状态计算部52相当于移动状态计算单元。
图2中示出的摄像操作部16具备横摇/俯仰动作参数校正部54。横摇/俯仰动作参数校正部54使用通过视角调整期间计算部50计算出的视角调整期间和通过移动状态计算部52计算出的云台摄像机14的移动参数，对横摇/俯仰动作参数进行校正。横摇/俯仰动作参数的校正的详细内容在之后进行说明。
横摇/俯仰动作参数校正部54相当于横摇/俯仰动作参数校正单元。
图2中示出的摄像操作部16具备横摇/俯仰动作指令部56。横摇/俯仰动作指令部56向横摇/俯仰动作部24发送通过视角调整运算部48计算且通过横摇/俯仰动作参数校正部54进行了校正的横摇/俯仰动作参数。
图2中示出的摄像操作部16具备通信期间测定部58。通信期间测定部58测定云台摄像机14与摄像操作部16之间的通信期间。作为通信期间测定部58的结构例，可举出具备定时器、计数器以及存储器的方式。
通信期间测定使用定时器测定从发送开始到发送结束为止的期间、或从发送开始到发送失败所致发送中止为止的期间，并使用计数器测定发送失败所致重试次数，将从发送开始到发送结束为止的期间与重试次数乘以超时期间而求出的期间进行相加而得的值设为一次通信期间测定的测定数据。通信期间测定的详细内容在之后进行说明。
图2中示出的摄像操作部16具备通信期间存储部59。通信期间存储部59存储有通过通信期间测定部58测定出的通信期间测定数据。
通信期间测定部58为摄像数据通信期间获取部的一种方式。通信期间测定部58为动作指令通信期间获取部的一种方式。作为摄像数据的通信期间获取的一种方式，可举出读取来自通信期间存储部59的通信期间测定数据。作为动作指令通信期间获取的一例，可举出读取来自通信期间存储部59的通信期间测定数据。
图2中示出的摄像终端通信部40向横摇/俯仰动作部24发送横摇/俯仰驱动控制信号，所述横摇/俯仰驱动控制信号是将通过视角调整运算部48计算且通过横摇/俯仰动作参数校正部54进行了校正的横摇/俯仰动作参数转换为无线信号而得的。横摇/俯仰动作部24接收横摇/俯仰驱动控制信号，并根据横摇/俯仰驱动控制信号来执行横摇/俯仰动作。
横摇/俯仰动作指令部56相当于横摇/俯仰动作指令单元。
＜云台摄像机的说明＞
图3是云台摄像机的框图。如图3所示，云台摄像机14具备摄像部22。摄像部22通过摄像控制部60来控制拍摄。摄像控制部60根据通过摄像机通信部62获取的摄像控制信号，将摄像控制信号所表示的指令发送到摄像部22。
摄像机通信部62是摄像数据发送部以及摄像数据发送单元的构成要件。
并且，通过摄像部22的拍摄而得到的摄像数据通过摄像控制部60发送到摄像机通信部62。摄像机通信部62将摄像数据转换为无线通信信号，并发送到图2中示出的摄像操作部16。
云台摄像机14具备横摇驱动部64。横摇驱动部64包括驱动源即电机、与电机连结的横摇驱动机构。横摇驱动部64通过横摇驱动控制部66来控制驱动。横摇驱动控制部66包括横摇驱动部64的驱动源即对电机的动作进行控制的电机驱动器。
云台摄像机14具备俯仰驱动部68。俯仰驱动部68包括驱动源即电机、与电机连结的俯仰驱动机构。俯仰驱动部68通过俯仰驱动控制部70来控制驱动。俯仰驱动控制部70包括俯仰驱动部68的驱动源即对电机的动作进行控制的电机驱动器。
图1中示出的横摇/俯仰动作部24具备横摇驱动部64以及俯仰驱动部68。本实施方式中的横摇/俯仰动作包括横摇动作和俯仰动作中的至少任一种动作。
并且，之前进行了说明的横摇/俯仰动作参数包括横摇动作的动作参数和俯仰动作的动作参数中的至少任一种参数。
若通过摄像机通信部62获取横摇动作参数，则摄像控制部60将基于横摇动作参数的指令发送到横摇驱动控制部66。横摇驱动控制部66根据指令使横摇驱动部64进行动作。
同样，若通过摄像机通信部62获取俯仰动作参数，则摄像控制部60将基于俯仰动作参数的指令发送到俯仰驱动控制部70。俯仰驱动控制部70根据指令使俯仰驱动部68进行动作。
＜摄像部的说明＞
图4是摄像部的框图。如图4所示，摄像部22具备光学系统71。光学系统71具备透镜以及光圈。也可以具有具备多种透镜的透镜组。
摄像部22具备成像元件72。成像元件72将通过光学系统入射的被摄体的光学像转换成电信号。成像元件72可使用固体成像元件。作为固体成像元件的一例，可举出CCD图像传感器、CMOS图像传感器。
CCD是Charge Coupled Device(电耦合器件)的缩写。CMOS是ComplementaryMetal-Oxide Semiconductor(互补金属氧化物半导体)的缩写。
摄像部22具备模拟信号处理部74。模拟信号处理部74对通过成像元件72转换的模拟形式的电信号即摄像信号实施自动增益调整等模拟信号处理。此处所说的摄像信号相当于摄像数据。
摄像部22具备AD转换部76。AD转换部76将通过模拟信号处理部74实施了信号处理的模拟形式的摄像信号转换为数字形式的摄像信号。AD的A表示analog(模拟的)。AD的D表示digital(数字的)。
摄像部22具备数字信号处理部80。数字信号处理部80通过AD转换部76转换为数字形式的摄像信号。
摄像部22具备存储器82。存储器82存储与通过数字信号处理部80转换的数字形式的摄像信号所对应的摄像数据。存储于存储器82的摄像数据通过数据总线84、摄像控制部60以及图3中示出的摄像机通信部62发送到图1中示出的摄像操作部16。
摄像部22具备光学系统驱动部86。光学系统驱动部86根据从摄像控制部60发送的指令来控制光学系统71的动作。作为光学系统71的动作的一例，可举出变焦调整或光圈调整。
摄像部22具备成像元件驱动部88。成像元件驱动部88根据从摄像控制部60发送的指令来控制成像元件72的曝光期间、电荷的读取定时等成像元件72的动作。
另外，图4中示出的摄像部22的结构为一例，能够将可进行实时取景图像的拍摄、动态图像摄影或静态图像的连续摄影的摄像装置使用于摄像部22。图4中示出的摄像控制部60包含图3中示出的摄像控制部60中至少具有控制摄像部22的动作的功能的部分即可。
＜移动体以及移动体操作部的说明＞
图5是移动体的框图。图5所示的移动体12具备移动体驱动部90。移动体驱动部90包括驱动源即电机以及与电机连结的驱动机构。
移动体12具备移动体驱动控制部92。移动体驱动部90通过移动体驱动控制部92控制驱动。移动体驱动控制部92包括控制移动体驱动部90的驱动源即电机的动作的电机驱动器。
移动体12具备传感器94。传感器94包括检测移动体12的位置的位置检测传感器、检测移动体12的行进方向上有无障碍物的障碍物检测传感器等各种传感器。
从传感器94得到的检测信号发送到移动体驱动控制部92。移动体驱动控制部92获取检测信号所表示的信息，并反馈到移动体驱动部90的动作控制中。
移动体12具备移动体通信部96。移动体通信部96接收从图1中示出的移动体操作部18发送的移动体控制信号。图5中示出的移动体通信部96将所接收的移动体控制信号发送到移动体驱动控制部92。移动体驱动控制部92根据移动体控制信号将移动体12的动作指令发送到移动体驱动部90。
并且，移动体通信部96将从传感器94得到的检测信号所表示的信息发送到图1中示出的移动体操作部18。
图6是移动体操作终端的框图。图6中示出的移动体操作部18具备移动体操作控制部100。移动体操作部18具备操作部102。操作部102是操作者进行操作的操作部件，包括图1中示出的操作按钮28、操作杆30以及十字键32等。通过操作部102的操作输入的信息发送到移动体操作控制部100。
移动体操作部18具备显示部件104。显示部件104包括表示电源接通的电源灯、表示通信状态的通信状态显示灯等。另外，图1中省略了显示部件104的图示。
图6中示出的移动体操作部18具备移动体操作通信部106。移动体操作通信部106将移动体12的控制信号发送到移动体12，并且接收移动体12的状态信息。
另外，利用图2至图6说明的移动体12、云台摄像机14、摄像操作部16以及移动体操作部18为一例，能够进行构成要件的追加、变更或删除。
图2至图6中示出的各部能够适当进行合并或分离。例如，可以是合并执行各种运算的运算部的方式、合并存储各种信息或各种数据的存储部的方式。
并且，也可以是使用两个以上的处理器来实现图2至图6中作为一个运算部而图示的运算部的方式、使用两个以上的存储器来实现作为一个存储部而图示的存储部的方式。
[视角调整的说明]
＜概要＞
接着，对图1等中示出的云台摄像机14的视角调整进行说明。通过图2中示出的摄像操作部16的摄像终端通信部40接收到的云台摄像机14的摄像图像显示在显示部20的显示画面。显示部20的显示画面在图8(A)等中标注符号200来进行图示。
若指定显示在显示部20的显示画面的摄像图像的任意区域，并且指定所指定的任意区域的移动目的地，则云台摄像机14的视角自动进行调整，从而在显示部20的显示画面上，所指定的任意区域移动到被指定的移动目的地。
本实施方式中，通过触摸显示部20的显示画面的任意位置，由此与显示部20的显示画面的任意位置对应的显示部20的显示画面的坐标被坐标指定部46所指定。
若移动对象的坐标即指定坐标和移动对象的移动目的地的坐标即移动目的地坐标被指定，则根据指定坐标和移动目的地坐标的信息，使图1中示出的横摇/俯仰动作部24进行动作，即，使云台摄像机14的光轴进行移动，从而调整云台摄像机14的视角。
此处所说的指定坐标相当于之前进行了说明的第一坐标。并且，移动目的地坐标相当于之前进行了说明的第二坐标。即，若在显示部20的显示画面中显示有云台摄像机14的摄像图像的状态下指定显示部20的显示画面中的任意两个区域，则执行使先指定的区域移动到后指定的区域的位置的、云台摄像机14的视角调整。
＜视角调整的课题的说明＞
图7是现有技术所涉及的视角调整方法的说明图。图7(A)是表示坐标输入前的显示状态的示意图。图7(B)是表示坐标输入后的显示状态的示意图。
图7(A)和图7(B)中示出的显示画面200中，将横轴设为X轴。将纵轴设为Z轴。将显示画面200的中央位置201的坐标设为(0,0)。将显示画面200的右上角的坐标设为(XMAX,ZMAX)。将显示画面200的左上角的坐标设为(-XMAX,ZMAX)。将显示画面200的左下角的坐标设为(-XMAX,-ZMAX)。将显示画面200的右下角的坐标设为(XMAX,-ZMAX)。将显示画面200的任意坐标设为(X,Z)。
显示在图7(A)的显示画面200的摄像图像中，考虑将被摄体202的中央位置204移动到显示画面200的中央位置201时进行视角调整的情况。作为指定坐标，指定被摄体202的中央位置204的坐标(X1,Z1)。移动目的地坐标中指定显示画面200的中央位置201的坐标(0,0)。
若指定坐标指定为(X1,Z1)、移动目的地坐标指定为(0,0)，则在显示画面200中确定将被摄体202的中央位置204设为起点、将显示画面200的中央位置201设为终点的第一移动向量206。第一移动向量为在图2的视角调整运算部48中计算的横摇/俯仰动作参数的一种方式。
当图1中示出的移动体12被停止时，使用根据图7(A)中示出的第一移动向量206计算出的横摇/俯仰动作参数来进行云台摄像机14的视角调整即可。
另一方面，如之前进行的说明，云台摄像机14通过移动体12的移动而移动。图7(A)中示出的第二移动向量208是表示云台摄像机14随着移动体12的移动而移动的移动向量。
若在移动体12进行移动时执行视角调整，则在执行视角调整后显示在显示画面200的图像如图7(B)所示被显示在偏离所期望的移动目的地即显示画面200的中央位置201的位置上。
即，在显示画面200中，进行了视角调整之后的被摄体202A的中央位置204A会移动到通过第一移动向量206与第二移动向量208的向量相加运算求出的第三移动向量210的终点、即坐标(X2,Z2)的位置。
因此，在移动体12进行移动时执行视角调整的情况下，需要考虑以下说明的延迟期间。以下，对本实施方式所涉及的视角调整方法进行详细说明。
＜视角调整方法的详细说明＞
图8是本实施方式所涉及的视角调整方法的说明图。图8(A)是表示坐标指定前的显示状态的示意图。图8(B)是表示坐标指定后的显示状态的示意图。
对于本实施方式所涉及的视角调整方法，如图8(A)所示，首先计算校正向量220，所述校正向量220取消随着移动体12的移动的云台摄像机14的移动向量即第二移动向量208。接着，根据校正向量220和第一移动向量206，计算校正后的摄像部的光轴的移动向量即第四移动向量222。另外，图8(A)中省略摄像部的图示。摄像部在图1等中标注符号22来图示。对于图8(B)也相同。
图8(A)中示出的第二移动向量208相当于通过图2中示出的移动状态计算部52计算出的云台摄像机14的移动参数。图8(A)中示出的校正向量220用于图2中示出的横摇/俯仰动作参数校正部54中对横摇/俯仰部的动作参数进行校正。
校正向量220是与第二移动向量208的大小相同且方向相反的向量。换句话说，校正向量220是将第二移动向量208旋转了180度而得的向量。
图8(A)中，若将第二移动向量208的终点坐标设为(X22,Z22)，则校正向量的终点X坐标表示为X22+2×(X1-X22)。并且，校正向量的终点Z坐标表示为Z22+2×(Z1-Z22)。
若计算出图8(A)中示出的校正后的摄像部22的光轴的移动向量即第四移动向量222，则根据第四移动向量222，在图2中示出的横摇/俯仰动作指令部56中生成与横摇/俯仰动作参数对应的动作指令。
若使用与第四移动向量222对应的横摇/俯仰动作参数来进行云台摄像机14的视角调整，则图8(B)中标注符号202B来示出的被摄体移动到显示画面200的中央位置201。
图2中示出的横摇/俯仰动作指令部56将与图8(B)中示出的第四移动向量222对应的横摇/俯仰动作参数通过摄像终端通信部40发送到图1中示出的横摇/俯仰动作部24。
图2中示出的视角调整期间计算部50计算图1中示出的横摇/俯仰动作部24的动作速度作为横摇/俯仰动作参数。横摇/俯仰动作部24的动作速度根据图9中示出的横摇/俯仰动作期间t4以及指定坐标、移动目的地坐标来确定。
并且，图2中示出的视角调整期间计算部50使用通过视角信息获取部47获取且摄像部22中具备的透镜的视角信息和横摇/俯仰动作部24的最大动作速度来计算图9中示出的横摇/俯仰动作期间t4。若将横摇/俯仰动作部24的最大动作速度设为将透镜的视角设为FOV，则横摇/俯仰动作期间t4表示为
横摇/俯仰动作部24的最大动作速度的单位为度/秒。透镜的视角FOV的单位为度。
这些信息包含于通过视角调整期间计算部50计算的横摇/俯仰动作参数中。
视角调整期间计算部50为横摇/俯仰动作期间获取部的一种方式。作为横摇/俯仰动作期间获取的一例，可举出横摇/俯仰动作期间t4的计算。
＜延迟期间的说明＞
接着，对延迟期间进行详细说明。图9是延迟期间的说明图。如图9所示，若从摄像操作部16向云台摄像机14发送摄像控制信号，则云台摄像机14开始进行拍摄。云台摄像机14进行拍摄的期间，将图1中示出的移动体12设为进行移动。
云台摄像机14在预先确定的定时中将表示摄像图像的摄像数据发送到摄像操作部16。从云台摄像机14向摄像操作部16发送摄像数据的发送期间为t1。
接着，在摄像操作部16中指定指定坐标和移动目的地坐标。并且，通过图2中示出的视角调整运算部48执行计算横摇/俯仰动作参数的视角调整运算，通过视角调整期间计算部50计算视角调整期间，通过移动状态计算部52计算云台摄像机14的移动参数，通过横摇/俯仰动作参数校正部54校正横摇/俯仰动作参数。如图9所示，从开始指定指定坐标和移动目的地坐标到视角调整运算结束为止的期间为t2。此处所说的视角调整运算结束表示通过横摇/俯仰动作参数校正部54来计算校正后的横摇/俯仰动作参数的情况。
若计算出横摇/俯仰动作参数，则横摇/俯仰动作参数转换为通信形式的信号并发送到云台摄像机14。如图9所示，横摇/俯仰动作参数发送期间为t3。
若云台摄像机14接收横摇/俯仰动作参数，则使图1中示出的横摇/俯仰动作部24进行动作，从而使云台摄像机14进行横摇/俯仰动作。如图9所示，从开始获取横摇/俯仰动作指令到完成横摇/俯仰动作为止的横摇/俯仰动作期间为t4。
若将图1中示出的移动体12在移动中进行视角调整时的延迟期间设为T，则延迟期间T表示为T＝t1+t2+t3+t4。另外，摄像数据发送期间t1、视角调整运算期间t2、横摇/俯仰动作参数发送期间t3、横摇/俯仰动作期间t4以及延迟期间T的单位为秒。
摄像数据发送期间t1和横摇/俯仰动作参数发送期间t3根据通信环境而发生较大的偏差。因此，每当在云台摄像机14与摄像操作部16之间执行通信时测定摄像数据发送期间t1和横摇/俯仰动作参数发送期间t3。
并且，横摇/俯仰动作期间t4为固定值。另一方面，与其他期间相比，视角调整运算期间t2为非常短的期间，能够无视偏差。
这样计算出的延迟期间T在图2中示出的横摇/俯仰动作参数校正部54中使用于对横摇/俯仰动作参数的校正处理中。
＜通信期间测定的说明＞
接着，对图9中示出的摄像数据发送期间t1和横摇/俯仰动作参数发送期间t3进行详细说明。以下说明中，将摄像数据发送期间t1和横摇/俯仰动作参数发送期间t3统称为通信期间。摄像数据发送期间t1相当于摄像数据通信期间。
图10是通信期间测定的说明图。图10中示出图9中示出的摄像数据发送期间t1的测定步骤作为通信期间测定的步骤。摄像数据发送期间t1的测定通过图2中示出的通信期间测定部58来执行。摄像数据发送期间t1的测定数据存储于图2中示出的通信期间存储部59。
如图10所示，首先，数据发送请求从摄像操作部16发送到云台摄像机14。接着，云台摄像机14若接收摄像数据发送请求，则发送摄像数据。
在预先确定的期间内未结束摄像数据的发送时设为超时，并中断摄像数据的发送。若摄像数据的发送被中断从而摄像数据的发送失败，则执行摄像数据的再发送即发送重试。发送重试的预先次数已被设定。
另一方面，若在预先确定的期间内结束摄像数据的发送，则通过摄像操作部16接收摄像数据。
若发送重试次数增多，则摄像数据发送期间t1变长。也就是说，发送重试次数根据云台摄像机14的发送状态、摄像操作部16的接收状态等而变动。
因此，由于每次的通信期间测定的测定数据会产生偏差，因此优选进行将多次测定结果即数十次的测定数据进行平均等统计处理，从而获取可靠性高的优越的通信期间测定的测定数据。
图9中示出的横摇/俯仰动作参数发送期间t3能够通过与摄像数据发送期间t1相同的步骤来测定。横摇/俯仰动作参数发送期间t3的测定通过图2中示出的通信期间测定部58来执行。横摇/俯仰动作参数发送期间t3的测定数据存储于图2中示出的通信期间存储部59。
这样进行测定并存储的通信期间使用于图2中示出的移动状态计算部52中的云台摄像机14的移动参数。
＜移动状态计算的说明＞
接着，对图2中示出的移动状态计算部52中的移动状态计算进行详细说明。图11是移动状态计算的说明图。
图1等中示出的移动体12进行移动时的视角调整中，需要掌握移动体12的移动状态。本实施方式所涉及的摄像系统以及视角调整方法中，根据云台摄像机14的摄像数据来掌握移动体12的移动状态。
还考虑到使移动体具备速度传感器、加速度传感器的方式，但由于需要在计算图8(A)等中示出的显示画面200中的速度和加速度时另外获取云台摄像机14与被摄体之间的距离，因此会很麻烦。
本实施方式中，在图8(A)中示出的显示画面200上计算表示被摄体202的移动状态的第二移动向量208。而且，在显示画面200上根据第二移动向量208计算图8(B)中示出的校正向量220。
而且，在显示画面200上对表示所期望的被摄体202的移动的第一移动向量206进行校正，并在显示画面200上计算实现所期望的被摄体202的移动的第四移动向量222。
然后，通过将显示画面200上的第四移动向量222从二维直角坐标系转换为三维坐标系，由此第四移动向量222的X成分转换为横摇动作的角度，第四移动向量222的Z成分转换为俯仰动作的角度。
以下，对显示画面200上的二维直角坐标系中的运算进行详细说明。
假设移动体12的移动为等加速直线运动。表示等加速运动的物体的移动距离s的公式为s＝v0+at/2。在此，v0为初始速度。a为加速度。t为期间。也就是说，在显示画面200上，只要求出进行了视角调整命令的定时的被摄体202的速度、加速度，则能够掌握期间t后的位置。
本实施方式所涉及的摄像系统10中，通过FIFO缓冲n张摄像操作部16所接收的摄像图像。n为2以上的整数。另外，FIFO是表示先进先出法的First In First Out的缩写。
作为视角调整命令，若指定坐标和移动目的地坐标被指定，则从移动目的地坐标被指定的定时的最新的图像中切出以指定坐标为中心的m像素×m像素的模板。
另外，m为1以上的整数即可，但优选m为2以上的整数。此处所说的移动目的地坐标被指定的定时的最新的图像是指在移动目的地坐标在被指定的定时显示在显示画面200的图像。
在图11的右端图示的显示画面200上显示有通过FIFO进行了缓冲的第n张图像即最新的图像。在图11的右端图示的显示画面200的显示图像相当于在第一定时中获取的第一摄像数据。
从显示在显示画面200的图像切出m像素×m像素的模板230。将被摄体202的中央位置204的坐标设为(Xn,Zn)。使用模板230来进行基于模板匹配的移动量计算。并且，另外获取图像获取期间间隔并求出速度向量、加速度向量。模板匹配为特征点检测的一种方式。
在图11中央图示的显示画面200上显示有通过FIFO进行了缓冲的第n-1张图像。在图11中央图示的显示画面200的显示图像相当于在第二定时中获取的第二摄像数据。
将在图11中央图示的显示画面200中的被摄体202的中央位置204的坐标设为(Xn-1,Zn-1)。第n张图像与第n-1张图像之间的图像获取期间间隔为Tn。第n张图像与第n-1张图像之间的图像获取期间间隔Tn相当于第一期间。
在图11的左端图示的显示画面200上显示有通过FIFO进行了缓冲的第n-2张图像。在图11的左端图示的显示画面200的显示图像相当于在第三定时中获取的第三摄像数据。
将在图11的左端图示的显示画面200中的被摄体202的中央位置204的坐标设为(Xn-2,Zn-2)。第n-1张图像与第n-2张图像之间的图像获取期间间隔为Tn-1。第n-1张图像与第n-2张图像之间的图像获取期间间隔Tn-1相当于第二期间。
若将图像获取期间间隔Tn中显示画面200的显示图像的移动向量Dn的X成分设为DnX，则表示为DnX＝Xn-Xn-1。同样，若将图像获取期间间隔Tn中显示画面200的显示图像的移动向量Dn的Z方向成分设为DnZ，则表示为DnZ＝Zn-Zn-1。
图像获取期间间隔Tn中显示画面200的显示图像的移动向量Dn相当于图8(A)等中示出的第一移动向量206。
若将第n张图像中的速度向量Vn的X成分设为VnX，则表示为VnX＝|DnX|/Tn＝{(Xn-Xn-1)2}1/2/Tn。同样，若将第n张图像中的速度向量Vn的Z成分设为VnZ，则表示为VZn＝|DnZ|/Tn＝{(Zn-Zn-1)2}1/2/Tn。
速度向量Vn相当于具有第一移动向量的大小除以第一期间而得的大小，且具有与第一移动向量所表示的方向平行的方向的第一速度向量。
若将第n张图像中的加速度向量An的X成分设为AnX，则表示为AnX＝{(VnX-Vn-1X)2}1/2/Tn-1。Vn-1X为第n-1张图像中的速度向量Vn-1的X成分，表示为Vn-1X＝|Dn-1X|/Tn-1＝{(Xn-1-Xn-2)2}1/2/Tn。
若将第n张图像中的加速度向量的Z成分设为AnZ，则表示为AnZ＝{(VnZ-Vn-1Z)2}1/2/Tn-1。Vn-1Z为第n-1张图像中的速度向量Vn-1的Z成分，表示为Vn-1Z＝|Dn-1Z|/Tn-1＝{(Zn-1-Zn-2)2}1/2/Tn。
具有X成分Xn-1-Xn-2、且具有Z成分Zn-1-Zn-2的向量相当于第二移动向量。
Vn-1X和Vn-1Z相当于具有第二移动向量的大小除以第二期间而得的大小，且具有与第二移动向量所表示的方向平行的方向的第二速度向量。{(VnX-Vn-1X)2}1/2和{(VnZ-Vn-1Z)2}1/2相当于第一速度向量减去第二速度向量而求出的差分向量。
加速度向量An相当于具有差分向量的大小除以第一期间而得的大小，且具有与差分向量平行的方向的加速度向量。
这样，若求出第n张图像中的速度向量Vn和加速度向量An，则计算表示图9中示出的延迟期间T中显示画面200的显示图像的移动量的校正向量。校正向量的X成分表示为Xn+AnX×T1/2/2。同样，校正向量的Z成分表示为Zn+AnZ×T1/2/2。此处所说的校正向量为图8(A)等中示出的校正向量220。
本实施方式中例示出使用按照时间序列的行进顺序获取的三张图像来计算最后获取的最新图像的移动向量、速度向量以及加速度向量的方式。也可以针对多张图像计算移动向量、速度向量以及加速度向量，并使用移动向量、速度向量以及加速度向量各自的平均。
这样，在显示部20的显示画面200上，能够通过使用了云台摄像机14的摄像数据的向量运算来掌握相当于移动体12和摄像部22的移动状态的被摄体的移动状态，因此无需使移动体12具备速度传感器、加速度传感器、测距传感器等检测单元，就能够掌握移动体12的移动状态。
并且，向量运算在二维直角坐标系中执行，因此有助于减轻运算处理的负荷以及减少运算中使用的存储器的存储容量。
＜从二维坐标系转换为三维坐标系的转换说明＞
如之前进行的说明，通过视角调整运算求出的二维直角坐标系的横摇/俯仰动作参数，通过转换为三维坐标系来求出实际的横摇/俯仰动作中的横摇角度和俯仰角度。三维坐标可以使用极坐标，尤其可以使用球坐标。横摇角度和俯仰角度相当于位移角度。
从二维直角坐标系转换为三维坐标系的转换能够使用公知的方法，因此在此省略详细的说明。从二维直角坐标系转换为极坐标的转换处理相当于极坐标转换处理。从二维直角坐标系转换为球坐标的转换处理相当于球坐标转换处理。极坐标转换处理为三维坐标转换处理的一种方式。坐标转换处理为三维坐标转换处理的另一种方式。
[视角调整方法的流程图的说明]
图12是表示视角调整方法的控制的流程的流程图。在摄像控制信号发送工序S100中，从摄像操作部16向云台摄像机14发送摄像控制信号。摄像控制信号发送工序S100相当于摄像操作工序。
若在摄像控制信号接收工序S101中云台摄像机14接收摄像控制信号，则在摄像工序S102中使用图1中示出的摄像部22来执行拍摄。在图12的摄像工序S102中获取的摄像数据在摄像数据发送工序S104从云台摄像机14发送到摄像操作部16。
反复执行通过摄像工序S102进行的拍摄和通过摄像数据发送工序S104进行的摄像数据的发送，直至发出摄像停止的命令。
若在摄像数据接收工序S106中摄像操作部16接收摄像数据，则在显示工序S108中将所接收的摄像数据所表示的图像显示在图1中示出的显示部20的显示画面。
若在图12的视角调整命令工序S110中发出视角调整命令，则在横摇/俯仰动作参数计算工序S112中计算横摇/俯仰动作参数。视角调整命令工序S110中的视角调整命令为图8(A)中示出的指定坐标的指定和移动目的地坐标的指定。
视角调整命令工序S110为坐标指定工序的一种方式。
在横摇/俯仰动作参数计算工序S112中计算出的横摇/俯仰动作参数，在横摇/俯仰动作参数发送工序S114中从摄像操作部16发送到云台摄像机14。摄像操作部16中的横摇/俯仰动作参数计算工序S112的详细内容在之后进行说明。
若在横摇/俯仰动作参数接收工序S116中云台摄像机14接收从摄像操作部16发送的横摇/俯仰动作参数，则在横摇/俯仰动作工序S118中根据接收到的横摇/俯仰动作参数，使图1中示出的横摇/俯仰动作部24进行动作，从而进行摄像部22的视角调整。
横摇/俯仰动作参数发送工序S114、横摇/俯仰动作参数接收工序S116以及横摇/俯仰动作工序S118为横摇/俯仰动作指令工序的构成要件。
之后，当图像显示在图1中示出的显示部20时，若在视角调整命令工序S110中发出视角调整命令，则执行从横摇/俯仰动作参数计算工序S112到横摇/俯仰动作工序S118为止的各工序。
接着，对图12中示出的横摇/俯仰动作参数计算工序进行详细说明。图13是表示图12中示出的横摇/俯仰动作参数计算工序的步骤的流程的流程图。
若在图12的视角调整命令工序S110中指定坐标被指定，则在图13的指定坐标获取工序S200中获取所指定的指定坐标。并且，若在图12的视角调整命令工序S110中移动目的地坐标被指定，则在图13的移动目的地坐标获取工序S202中获取所指定的移动目的地坐标。
在第一移动向量计算工序S204中计算图8(A)中示出的第一移动向量206。即，计算表示指定坐标与移动目的地坐标的相对移动的移动向量即第一移动向量。
第一移动向量计算工序S204为视角调整运算工序的一种方式。
在视角调整期间计算工序S206中计算图9中示出的延迟期间T，即计算从开始发出视角调整命令到完成视角调整为止的期间。具体而言，读取图9中示出的摄像数据发送期间t1、视角调整运算期间t2、横摇/俯仰动作参数发送期间t3以及横摇/俯仰动作期间t4，将它们进行相加并计算延迟期间T即视角调整期间。
图13的移动状态计算工序S208中计算在视角调整期间计算工序S206中计算出的视角调整期间的、表示图1中示出的移动体12的移动的移动向量即图8(A)中示出的第二移动向量208。
在图13的横摇/俯仰动作参数校正工序S210中，使用在移动状态计算工序S208中求出的图8(A)中示出的第二移动向量208、和在图13的第一移动向量计算工序S204中计算出的图8(A)中示出的第一移动向量206或校正向量220，计算第四移动向量222。
而且，计算图8(A)中示出的显示画面200中的横摇/俯仰动作的动作参数。
对于图8(A)中示出的显示画面200中的横摇/俯仰动作的动作参数，实施将二维直角坐标系转换为三维极坐标系的坐标系转换处理。通过坐标系转换处理，显示画面200中的X方向的移动转换为横摇方向的位移角度。并且，通过坐标系转换处理，显示画面200中的Z方向的移动转换为俯仰方向的位移角度。
这样计算出的横摇/俯仰动作的动作参数在图12的横摇/俯仰动作参数发送工序S114中从摄像操作部16发送到云台摄像机14。
本实施方式中例示出在由摄像操作部16进行的横摇/俯仰动作参数计算工序S112中执行从二维直角坐标系转换为三维极坐标系的坐标系转换处理的方式，但也可以是在云台摄像机14中进行从二维直角坐标系转换为三维极坐标系的坐标系转换处理的方式。
作为横摇/俯仰动作参数，求出图7中图示的从开始横摇/俯仰动作到完成横摇/俯仰动作为止的横摇/俯仰动作期间t4、以及图1中示出的横摇/俯仰动作部24的动作速度。
根据图4中示出的光学系统71中所含的透镜的视角和横摇/俯仰动作的最大速度，求出横摇/俯仰动作期间t4。
横摇/俯仰动作参数为可以求出图1中示出的横摇/俯仰动作部24中具备的电机的转速和转数的参数即可。另外，此处所说的转数为在横摇/俯仰动作期间电机进行旋转的数量。
＜视角调整程序的说明＞
能够将用于使计算机实现图1中示出的摄像系统10的功能的程序记录于CD-ROM或磁盘等其他计算机可读介质中，并通过信息存储介质来提供程序。
CD-ROM是Compact Disc Read-only Memory(光盘只读存储器)的缩写。计算机可读介质是表示作为有形物体的非暂时性信息存储介质。
也可以用利用互联网等通信网络将程序信号作为下载服务而提供的方式，来代替这种将程序存储于信息存储介质而提供的方式。
并且，也可以进行如下服务：通过应用服务器或云计算来实现上述实施方式中说明的摄像系统或全部，并通过网络提供处理功能的服务。
[作用效果的说明]
根据如上述那样构成的摄像系统、视角调整方法以及视角调整程序，在云台摄像机进行移动时执行视角调整的情况下，掌握云台摄像机的移动状态，校正视角调整中使用的横摇/俯仰动作参数，并且不会发生由视角调整引起的显示图像的位置偏离。由于根据通过云台摄像机的拍摄而获取的摄像数据来掌握云台摄像机的移动状态，因此无需另外具备检测云台摄像机的移动状态的单元。
并且，云台摄像机的移动状态使用显示画面上的二维直角坐标系的向量运算，因此认为无需执行复杂的运算处理而能够减轻运算负荷。
本实施方式中例示出行走型移动体，但也可以使用飞行型移动体、船舶型移动体或它们的复合型移动体。
本发明的技术范围并不限定于上述实施方式中记载的范围。各实施方式中的结构等在不脱离本发明的宗旨的范围内，能够在各实施方式之间进行适当组合。
符号说明
10-摄像系统、12-移动体、14-云台摄像机、16-摄像操作部、20-显示部、22-摄像部、24-横摇/俯仰部、40-通信终端通信部、42-摄像操作部、46-坐标指定部、48-视角调整运算部、50-视角调整期间运算部、52-移动状态计算部、54-横摇/俯仰动作参数校正部、56-横摇/俯仰动作指令部、58-通信期间测定部、60-摄像控制部、62-摄像机通信部、64-横摇驱动部、66-横摇驱动控制部、68-俯仰驱动部、70-俯仰驱动控制部、200-显示画面、202-被摄体、206-第一移动向量、208-第二移动向量、210-第三移动向量、220-校正向量、222-第四移动向量、230-模板。

Claims (18)

1.一种摄像系统，其具备：
移动体；
摄像部，搭载于所述移动体；
摄像数据发送部，发送通过所述摄像部的拍摄而得到的摄像数据；
摄像数据接收部，接收从所述摄像数据发送部发送的摄像数据；
横摇/俯仰动作部，使所述摄像部进行横摇动作和俯仰动作中的至少任一种动作；
摄像操作部，与所述摄像部通信连接，并且向所述摄像部发送对所述摄像部进行操作的摄像控制信号；
显示部，将通过所述摄像数据接收部接收到的摄像数据所表示的摄像图像显示在显示画面；
坐标指定部，在调整所述摄像部的视角时，指定显示在所述显示部的显示画面的图像中的、移动对象的坐标即指定坐标和所述移动对象的移动目的地的坐标即移动目的地坐标；
视角调整运算部，使用所述指定坐标和所述移动目的地坐标，计算适用于所述横摇/俯仰动作部的横摇/俯仰动作参数；
视角调整期间计算部，计算从所述指定坐标的指定开始到进行所述摄像部的视角调整为止的期间即视角调整期间；
移动状态计算部，根据通过所述摄像部的拍摄而得到的摄像数据，计算移动参数，所述移动参数表示在所述视角调整期间通过所述移动体的移动而所述摄像部进行移动时的移动方向和移动距离；
横摇/俯仰动作参数校正部，在调整所述摄像部的视角时，根据通过所述移动状态计算部计算出的所述移动参数和通过所述视角调整期间计算部计算出的所述视角调整期间，对通过所述视角调整运算部计算出的所述横摇/俯仰动作参数进行校正；以及
横摇/俯仰动作指令部，通过通信向所述横摇/俯仰动作部发送与所述横摇/俯仰动作参数对应的信号，并且向所述横摇/俯仰动作部发送与通过所述横摇/俯仰动作参数校正部校正后的所述横摇/俯仰动作参数对应的信号。
2.根据权利要求1所述的摄像系统，其中，
所述视角调整运算部根据所述指定坐标和所述移动目的地坐标计算第一移动向量作为所述横摇/俯仰动作参数，
所述移动状态计算部计算校正向量作为所述视角调整期间的所述摄像部的移动参数，
所述横摇/俯仰动作参数校正部使用所述校正向量对所述第一移动向量所表示的横摇/俯仰动作参数进行校正。
3.根据权利要求2所述的摄像系统，其中，
所述移动状态计算部计算速度向量和加速度向量作为所述校正向量，所述速度向量表示在所述视角调整期间通过所述移动体的移动而所述摄像部进行移动时的所述摄像部的速度，所述加速度向量表示在所述视角调整期间通过所述移动体的移动而所述摄像部进行移动时的所述摄像部的加速度。
4.根据权利要求3所述的摄像系统，其中，
所述移动状态计算部根据在第一定时中通过所述摄像部的拍摄而获取的第一摄像数据和在所述第一定时之前的第二定时中通过所述摄像部的拍摄而获取的第二摄像数据，获取所述第一移动向量，所述第一移动向量表示所述第二定时与第一定时之间的第一期间的所述摄像部的移动距离和移动方向，
计算第一速度向量，所述第一速度向量是具有将所述第一移动向量的大小除以所述第一期间而得的大小，并且具有与所述第一移动向量所表示的方向平行的方向的速度向量。
5.根据权利要求4所述的摄像系统，其中，
所述移动状态计算部在获取所述第一移动向量时使用特征点检测。
6.根据权利要求4或5所述的摄像系统，其中，
所述移动状态计算部根据所述第二摄像数据和在所述第二定时之前的第三定时中通过所述摄像部的拍摄而获取的第三摄像数据，获取第二移动向量，所述第二移动向量表示在所述第三定时与所述第二定时之间的期间的第二期间的所述摄像部的移动距离和移动方向，
计算第二速度向量，所述第二速度向量是具有将所述第二移动向量的大小除以所述第二期间而得的大小，并且具有与所述第二移动向量所表示的方向平行方向的方向的速度向量，
计算加速度向量，所述加速度向量具有将从所述第一速度向量减去所述第二速度向量而求出的差分向量的大小除以所述第一期间而得的大小，并且具有与所述差分向量平行的方向。
7.根据权利要求4至6中任一项所述的摄像系统，其中，
所述移动状态计算部将通过所述摄像部的拍摄而获取的最新的摄像数据设为所述第一摄像数据。
8.根据权利要求1至7中任一项所述的摄像系统，其中，
所述视角调整运算部根据从预先设定的横摇/俯仰动作开始到完成横摇/俯仰动作为止的期间即横摇/俯仰动作期间、所述指定坐标以及所述移动目的地坐标，计算所述横摇/俯仰动作部的动作速度，以作为所述横摇/俯仰动作参数。
9.根据权利要求8所述的摄像系统，其具备视角信息获取部，所述视角信息获取部获取所述摄像部中具备的透镜的视角信息，
所述视角调整运算部使用所述横摇/俯仰动作部的最大动作速度和所述摄像部中具备的透镜的视角，计算所述横摇/俯仰动作期间。
10.根据权利要求9所述的摄像系统，其具备坐标转换处理部，所述坐标转换处理部使用通过所述视角信息获取部获取的所述摄像部的视角信息，对由二维坐标表示的所述指定坐标和所述移动目的地坐标实施极坐标转换处理而转换成三维坐标，
所述移动状态计算部计算通过所述坐标转换处理部转换的三维坐标中的所述指定坐标与所述移动目的地坐标的位移角度作为所述横摇/俯仰动作部的动作参数。
11.根据权利要求1至10中任一项所述的摄像系统，其具备：
摄像数据通信期间获取部，获取通过所述摄像部的拍摄而获取的摄像数据的通信期间即摄像数据通信期间；
动作指令通信期间获取部，获取从所述横摇/俯仰动作指令部发送的动作指令的通信期间即动作指令通信期间；以及
横摇/俯仰动作期间获取部，获取从获取所述横摇/俯仰动作部的动作指令到完成所述横摇/俯仰动作部的动作为止的横摇/俯仰动作期间，
所述视角调整期间计算部将通过摄像数据通信期间获取部获取的摄像数据通信期间、通过所述动作指令通信期间获取部获取的动作指令通信期间以及通过所述横摇/俯仰动作期间获取部获取的横摇/俯仰动作期间进行相加，来计算所述视角调整期间。
12.根据权利要求11所述的摄像系统，其具备通信期间测定部，所述通信期间测定部测定从向所述摄像部发送摄像数据的发送请求的定时开始到接收到从所述摄像部发送的摄像数据的定时为止的期间，
所述摄像数据通信期间获取部获取通过所述通信期间测定部测定出的期间作为所述摄像数据通信期间。
13.根据权利要求12所述的摄像系统，其中，
所述摄像数据通信期间获取部获取由通信期间测定部测定的多次测定结果的平均作为所述摄像数据通信期间。
14.根据权利要求1至13中任一项所述的摄像系统，其具备移动体远程操作部，所述移动体远程操作部对所述移动体进行远程操作，并且独立于所述摄像操作部。
15.根据权利要求1至14中任一项所述的摄像系统，其中，
所述视角调整运算部将所述移动目的地坐标设为所述显示画面的中央位置的坐标。
16.一种视角调整方法，其为摄像部的视角调整方法，所述摄像部搭载于移动体，并且能够进行横摇动作和俯仰动作中的至少任一种动作，所述视角调整方法包括：
摄像数据发送工序，发送通过所述摄像部的拍摄而得到的摄像数据；
摄像数据接收工序，接收通过所述摄像数据发送工序发送的摄像数据；
摄像操作工序，通过通信向所述摄像部发送对所述摄像部进行操作的摄像控制信号；
显示工序，将通过所述摄像数据接收工序接收到的摄像数据所表示的摄像图像显示在显示画面；
坐标指定工序，在调整所述摄像部的视角时，指定显示在所述显示画面的图像中的、移动对象的坐标即指定坐标和所述移动对象的移动目的地的坐标即移动目的地坐标；
视角调整运算工序，使用所述指定坐标和所述移动目的地坐标，计算横摇/俯仰动作参数；
视角调整期间计算工序，计算从所述指定坐标的指定开始到进行所述摄像部的视角调整为止的期间即视角调整期间；
移动状态计算工序，根据通过所述摄像部的拍摄而得到的摄像数据，计算移动参数，所述移动参数表示在所述视角调整期间通过所述移动体的移动而所述摄像部进行移动时的移动方向和移动距离；
横摇/俯仰动作参数校正工序，在调整所述摄像部的视角时，根据通过所述移动状态计算工序计算出的所述移动参数和通过所述视角调整期间计算工序计算出的所述视角调整期间，对通过所述视角调整运算工序计算出的所述横摇/俯仰动作参数进行校正；以及
横摇/俯仰动作指令工序，根据通过所述横摇/俯仰动作参数校正工序校正的所述横摇/俯仰动作参数，使所述摄像部进行横摇动作和俯仰动作中的至少任一种动作。
17.一种视角调整程序，其使计算机作为如下单元而发挥作用：
摄像单元，搭载于移动体；
摄像数据发送单元，发送通过所述摄像单元的拍摄而得到的摄像数据；
摄像数据接收单元，接收从所述摄像数据发送单元发送的摄像数据；
横摇/俯仰动作单元，使所述摄像单元进行横摇动作和俯仰动作中的至少任一种动作；
摄像操作单元，与所述摄像单元通信连接，并且向所述摄像单元发送对所述摄像单元进行操作的摄像控制信号；
显示单元，将通过所述摄像数据接收单元接收到的摄像数据所表示的摄像图像显示在显示画面；
坐标指定单元，在调整所述摄像单元的视角时，指定显示在所述显示单元的显示画面的图像中的、移动对象的坐标即指定坐标和所述移动对象的移动目的地的坐标即移动目的地坐标；
视角调整运算单元，使用所述指定坐标和所述移动目的地坐标，计算适用于所述横摇/俯仰动作单元的横摇/俯仰动作参数；
视角调整期间计算单元，计算从所述指定坐标的指定开始到进行所述摄像单元的视角调整为止的期间即视角调整期间；
移动状态计算单元，根据通过所述摄像单元的拍摄而得到的摄像数据，计算移动参数，所述移动参数表示在所述视角调整期间通过所述移动体的移动而所述摄像单元进行移动时的移动方向和移动距离；
横摇/俯仰动作参数校正单元，在调整所述摄像单元的视角时，根据通过所述移动状态计算单元计算出的所述移动参数和通过所述视角调整期间计算单元计算出的所述视角调整期间，对通过所述视角调整运算单元计算出的所述横摇/俯仰动作参数进行校正；以及
横摇/俯仰动作指令单元，通过通信向所述横摇/俯仰动作单元发送与所述横摇/俯仰动作参数对应的信号，并且向所述横摇/俯仰动作单元发送与通过所述横摇/俯仰动作参数校正单元校正后的所述横摇/俯仰动作参数对应的信号。
18.一种非暂时性有形介质，其记录有权利要求17所述的视角调整程序，且能够由计算机读取。
CN201680058148.8A 2015-09-30 2016-09-12 摄像系统、视角调整方法及非暂时有形存储介质 Active CN108141533B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015193484 2015-09-30
JP2015-193484 2015-09-30
PCT/JP2016/076807 WO2017056943A1 (ja) 2015-09-30 2016-09-12 撮像システム、画角調整方法、及び画角調整プログラム

Publications (2)

Publication Number Publication Date
CN108141533A true CN108141533A (zh) 2018-06-08
CN108141533B CN108141533B (zh) 2020-07-21

Family

ID=58427498

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680058148.8A Active CN108141533B (zh) 2015-09-30 2016-09-12 摄像系统、视角调整方法及非暂时有形存储介质

Country Status (4)

Country Link
US (1) US10356301B2 (zh)
JP (1) JP6340147B2 (zh)
CN (1) CN108141533B (zh)
WO (1) WO2017056943A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379540A (zh) * 2018-12-24 2019-02-22 西安天茂数码科技有限公司 一种参数可调的倾斜相机
EP3834174A4 (en) * 2018-09-25 2021-10-06 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR THREE-DIMENSIONAL (3D) POSITIONING OF AN IMAGING DEVICE

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106612491A (zh) * 2015-10-22 2017-05-03 中兴通讯股份有限公司 一种实现报警的方法、装置和系统
CN113454707A (zh) * 2019-02-08 2021-09-28 索尼集团公司 再现装置、再现方法和程序
CN114616820A (zh) * 2019-10-29 2022-06-10 富士胶片株式会社 摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及程序
JP7277887B2 (ja) * 2019-11-19 2023-05-19 ３アイ インコーポレイテッド 端末スタンドの制御方法
US11265469B1 (en) * 2020-04-10 2022-03-01 Amazon Technologies, Inc. System to mitigate image jitter by an actuator driven camera
JP2022188990A (ja) * 2021-06-10 2022-12-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20220408019A1 (en) * 2021-06-17 2022-12-22 Fyusion, Inc. Viewpoint path modeling
JP2023037333A (ja) * 2021-09-03 2023-03-15 株式会社東芝 被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム
WO2023243656A1 (ja) * 2022-06-16 2023-12-21 パナソニックＩｐマネジメント株式会社 撮像システム、及び、それを備えた移動体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060224280A1 (en) * 2005-04-01 2006-10-05 Flanigan Thomas C Remote vehicle control systems
JP2007225809A (ja) * 2006-02-22 2007-09-06 Nippon Hoso Kyokai <Nhk> カメラ雲台付き移動台車
CN101035267A (zh) * 2006-03-10 2007-09-12 上海乐金广电电子有限公司 隐私遮掩显示控制方法
JP2009016956A (ja) * 2007-06-29 2009-01-22 Sanyo Electric Co Ltd カメラ制御システム、カメラ制御装置、及びカメラ制御プログラム
CN104469292A (zh) * 2014-11-27 2015-03-25 国网上海市电力公司 一种姿态自校正云台摄像机控制装置及其方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257375A (ja) 1997-03-14 1998-09-25 Sony Corp 撮像装置および撮像方法
JPH11149315A (ja) * 1997-11-19 1999-06-02 Mitsubishi Heavy Ind Ltd ロボット制御システム
JP3980205B2 (ja) * 1998-12-17 2007-09-26 コニカミノルタホールディングス株式会社 作業ロボット
JP2000261792A (ja) 1999-03-08 2000-09-22 Fujitsu Denso Ltd 監視用テレビカメラ装置
US9160783B2 (en) * 2007-05-09 2015-10-13 Intouch Technologies, Inc. Robot system that operates through a network firewall
JP2009065605A (ja) 2007-09-10 2009-03-26 Hitachi Ltd 移動型撮像装置および撮像方法
JP5871779B2 (ja) 2012-11-13 2016-03-01 株式会社 日立産業制御ソリューションズ カメラシステム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060224280A1 (en) * 2005-04-01 2006-10-05 Flanigan Thomas C Remote vehicle control systems
JP2007225809A (ja) * 2006-02-22 2007-09-06 Nippon Hoso Kyokai <Nhk> カメラ雲台付き移動台車
CN101035267A (zh) * 2006-03-10 2007-09-12 上海乐金广电电子有限公司 隐私遮掩显示控制方法
JP2009016956A (ja) * 2007-06-29 2009-01-22 Sanyo Electric Co Ltd カメラ制御システム、カメラ制御装置、及びカメラ制御プログラム
CN104469292A (zh) * 2014-11-27 2015-03-25 国网上海市电力公司 一种姿态自校正云台摄像机控制装置及其方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3834174A4 (en) * 2018-09-25 2021-10-06 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR THREE-DIMENSIONAL (3D) POSITIONING OF AN IMAGING DEVICE
CN109379540A (zh) * 2018-12-24 2019-02-22 西安天茂数码科技有限公司 一种参数可调的倾斜相机

Also Published As

Publication number Publication date
CN108141533B (zh) 2020-07-21
JP6340147B2 (ja) 2018-06-06
WO2017056943A1 (ja) 2017-04-06
US10356301B2 (en) 2019-07-16
JPWO2017056943A1 (ja) 2018-06-14
US20180295270A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
CN108141533A (zh) 摄像系统、视角调整方法以及视角调整程序
US10451705B2 (en) Tracking control device, tracking control method, tracking control program, and automatic tracking imaging system
KR102105189B1 (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
WO2018176376A1 (zh) 一种环境信息采集方法、地面站及飞行器
WO2019227441A1 (zh) 可移动平台的拍摄控制方法和设备
CN108156374B (zh) 一种图像处理方法、终端及可读存储介质
WO2021212445A1 (zh) 拍摄方法、可移动平台、控制设备和存储介质
EP3687159B1 (en) Control device, control system, control method, program and recording medium
JP2017163265A (ja) 操縦支援システム、情報処理装置およびプログラム
JP2017015704A (ja) ドローンに搭載されて土地をマッピングするように適合されたカメラユニット、およびカメラユニットによる画像撮像管理方法
CN105829938A (zh) 用于制作场景图像的设备
WO2019227333A1 (zh) 集体照拍摄方法和装置
CN110291777B (zh) 图像采集方法、设备及机器可读存储介质
WO2020062281A1 (zh) 云台的控制方法、云台、可移动平台及可读存储介质
CN109076101A (zh) 云台控制方法、设备及计算机可读存储介质
WO2020019130A1 (zh) 运动估计方法及可移动设备
TWI573104B (zh) 室內監控系統及其方法
WO2022151473A1 (zh) 拍摄控制方法、拍摄控制装置及云台组件
CN104950764B (zh) 遥控行驶系统用延时校正方法和遥控行驶系统
JP2018085579A (ja) 撮像装置、制御方法、及び情報処理プログラム
CN111417016A (zh) 一种姿态估计方法、服务器和网络设备
WO2022109860A1 (zh) 跟踪目标对象的方法和云台
WO2022246608A1 (zh) 生成全景视频的方法、装置和可移动平台
WO2020172878A1 (zh) 可移动平台的射击瞄准控制方法、设备及可读存储介质
JP2016224540A (ja) 移動体システム、制御装置及び移動体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant