JP2020020878A - Moving vehicle, focus control method, program, and recording medium - Google Patents

Moving vehicle, focus control method, program, and recording medium Download PDF

Info

Publication number
JP2020020878A
JP2020020878A JP2018142568A JP2018142568A JP2020020878A JP 2020020878 A JP2020020878 A JP 2020020878A JP 2018142568 A JP2018142568 A JP 2018142568A JP 2018142568 A JP2018142568 A JP 2018142568A JP 2020020878 A JP2020020878 A JP 2020020878A
Authority
JP
Japan
Prior art keywords
gimbal
angular velocity
imaging unit
unit
error correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018142568A
Other languages
Japanese (ja)
Inventor
崇彦 吉田
Takahiko Yoshida
崇彦 吉田
玲▲瓏▼ 朱
Linglong Zhu
玲▲瓏▼ 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2018142568A priority Critical patent/JP2020020878A/en
Publication of JP2020020878A publication Critical patent/JP2020020878A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Accessories Of Cameras (AREA)
  • Automatic Focus Adjustment (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

To upgrade focus accuracy of a camera mounted to a gimbal.SOLUTION: A moving vehicle comprises: an imaging unit; and a gimbal part that has the imaging unit mounted and corrects a tremor of the imaging unit. The gimbal unit is configured to: rotatably support the imaging unit with at least one rotation shaft of mutually orthogonal three shafts as a center; include a motor causing the imaging unit to rotate with the at least one rotation shaft of the three shafts as the center; acquire an angular velocity of the rotation of the imaging unit with the at least one rotation shaft of the three shafts as the center once for each prescribed time; acquire an error correction value for correcting an error of the angular velocity; subtract the error correction value from the angular velocity and acquire a subtraction value; and, when the angular velocity in which the subtraction value is equal to or less than a first threshold is continuously acquired the prescribed number of times, instruct the imaging unit to implement focus control.SELECTED DRAWING: Figure 4

Description

本開示は、撮像部が搭載されたジンバル部を備える移動体、合焦制御方法、プログラム、及び記録媒体に関する。   The present disclosure relates to a moving object including a gimbal unit on which an imaging unit is mounted, a focusing control method, a program, and a recording medium.

従来、ジンバルにカメラを搭載してカメラの姿勢をジンバルで制御する手持ち撮影が可能な撮像装置が開示されている(特許文献1参照)。   2. Description of the Related Art Conventionally, there has been disclosed an imaging apparatus capable of hand-held imaging in which a camera is mounted on a gimbal and the attitude of the camera is controlled by the gimbal (see Patent Document 1).

特開2016−17993号公報JP-A-2006-17993

特許文献1の撮像装置は、カメラの姿勢を検知する姿勢センサを備える。姿勢センサは、例えばカメラの回転軸に対する角度や角速度を検出する。この姿勢センサの精度は不十分であり得る。しかし、特許文献1の撮像装置では、ジンバルのそれぞれの回転軸において、カメラの姿勢を維持する際に生じる角度誤差が考慮されていない。角度誤差は、例えば、姿勢センサの精度が不十分であることに起因して、又はその他の事情に起因して生じ得る。また、特許文献1の撮像装置では、合焦制御を行うことも考慮されていない。そのため、仮に、検出された角度や角速度に応じて合焦制御を行う場合には、合焦制御の精度が低下する虞がある。   The imaging device of Patent Literature 1 includes a posture sensor that detects a posture of a camera. The attitude sensor detects, for example, an angle and an angular velocity with respect to the rotation axis of the camera. The accuracy of this attitude sensor may be insufficient. However, in the imaging device of Patent Literature 1, the angular error that occurs when the camera is maintained in the respective rotation axes of the gimbal is not considered. Angle errors may occur, for example, due to insufficient accuracy of the attitude sensor or due to other circumstances. Further, in the imaging device of Patent Document 1, performing focusing control is not considered. Therefore, if the focus control is performed according to the detected angle or angular velocity, the accuracy of the focus control may be reduced.

一態様において、撮像部と、撮像部が搭載され撮像部の振れを補正するジンバル部と、撮像部及びジンバル部の少なくとも一方を制御する制御部と、を備える移動体であって、ジンバル部は、相互に直交する3軸の少なくとも1つの回転軸を中心に、撮像部を回転自在に支持し、3軸の少なくとも1つの回転軸を中心に、撮像部を回転させるモータを備え、制御部は、3軸の少なくとも1つの回転軸を中心とする撮像部の回転の角速度を所定時間毎に1回取得し、角速度の誤差を補正するための誤差補正値を取得し、角速度から誤差補正値を減算して減算値を取得し、減算値が第1の閾値以下となる角速度が所定回数連続して取得された場合、撮像部に合焦制御の実行を指示する。   In one aspect, a moving body including an imaging unit, a gimbal unit that is mounted with the imaging unit and corrects shake of the imaging unit, and a control unit that controls at least one of the imaging unit and the gimbal unit, wherein the gimbal unit includes: A motor that rotatably supports the imaging unit around at least one rotation axis of three axes orthogonal to each other, and that rotates the imaging unit about at least one rotation axis of the three axes; Acquiring an angular velocity of rotation of the imaging unit about at least one of the three rotational axes once every predetermined time, acquiring an error correction value for correcting an angular velocity error, and calculating an error correction value from the angular velocity. Subtraction is performed to obtain a subtraction value, and when the angular velocity at which the subtraction value is equal to or less than the first threshold value is continuously obtained a predetermined number of times, the imaging unit is instructed to execute focusing control.

制御部は、減算値が第1の閾値より大きい場合、撮像部に合焦制御の停止を指示してよい。   When the subtraction value is larger than the first threshold value, the control unit may instruct the imaging unit to stop focusing control.

3軸は、ロール軸、ピッチ軸、及びヨー軸を含んでよい。誤差補正値は、ロール軸を中心とする撮像部の回転の角速度の誤差を補正するための第1の誤差補正値と、ピッチ軸を中心とする撮像部の回転の角速度の誤差を補正するための第2の誤差補正値と、ヨー軸を中心とする撮像部の回転の角速度の誤差を補正するための第3の誤差補正値と、を含んでよい。   The three axes may include a roll axis, a pitch axis, and a yaw axis. The error correction value is a first error correction value for correcting an error in the angular velocity of rotation of the imaging unit about the roll axis, and an error correction value for correcting an error in the angular velocity of rotation of the imaging unit about the pitch axis. And a third error correction value for correcting an error in the angular velocity of rotation of the imaging unit about the yaw axis.

第1の誤差補正値は、第2の誤差補正値及び第3の誤差補正値よりも大きくてよい。   The first error correction value may be larger than the second error correction value and the third error correction value.

撮像部は、動画を撮像してよい。制御部は、継続的に焦点位置を変更しながら合焦制御を行うよう、撮像部に指示してよい。   The imaging unit may capture a moving image. The control unit may instruct the imaging unit to perform the focus control while continuously changing the focus position.

移動体は、ユーザにより把持される把持部、を更に備えてよい。   The moving body may further include a grip portion gripped by the user.

移動体は、移動体の飛行を制御する制御部、を更に備えてよい。   The moving object may further include a control unit that controls the flight of the moving object.

一態様において、合焦制御方法は、撮像部と、撮像部が搭載され、撮像部の振れを補正し、相互に直交する3軸の少なくとも1つの回転軸を中心に撮像部を回転自在に支持し、3軸の少なくとも1つの回転軸を中心に撮像部を回転させるモータを備えるジンバル部と、備える移動体における合焦制御方法であって、3軸の少なくとも1つの回転軸を中心とする撮像部の回転の角速度を所定時間毎に1回取得するステップと、角速度の誤差を補正するための誤差補正値を取得するステップと、角速度から誤差補正値を減算して減算値を取得するステップと、減算値が第1の閾値以下となる角速度が所定回数連続して取得された場合、撮像部に合焦制御の実行を指示するステップと、を有する。   In one aspect, the focus control method includes an imaging unit, an imaging unit mounted thereon, the image pickup unit being shake corrected, and the imaging unit rotatably supported around at least one of three mutually orthogonal rotation axes. A gimbal unit including a motor for rotating the imaging unit around at least one of the three rotation axes; and a focusing control method for a moving body provided with the gimbal unit, wherein the imaging is performed around at least one of the three rotation axes. Acquiring the angular velocity of the rotation of the unit once every predetermined time; acquiring an error correction value for correcting an angular velocity error; and acquiring a subtraction value by subtracting the error correction value from the angular velocity. And instructing the imaging unit to execute focusing control when angular velocities at which the subtraction value is equal to or less than the first threshold are continuously acquired a predetermined number of times.

合焦制御の実行を指示するステップは、減算値が第1の閾値より大きい場合、撮像部に合焦制御の停止を指示するステップを含んでよい。   The step of instructing execution of the focus control may include a step of instructing the imaging unit to stop the focus control when the subtraction value is larger than the first threshold.

3軸は、ロール軸、ピッチ軸、及びヨー軸を含んでよい。誤差補正値は、ロール軸を中心とする撮像部の回転の角速度の誤差を補正するための第1の誤差補正値と、ピッチ軸を中心とする撮像部の回転の角速度の誤差を補正するための第2の誤差補正値と、ヨー軸を中心とする撮像部の回転の角速度の誤差を補正するための第3の誤差補正値と、を含んでよい。   The three axes may include a roll axis, a pitch axis, and a yaw axis. The error correction value is a first error correction value for correcting an error in the angular velocity of rotation of the imaging unit about the roll axis, and an error correction value for correcting an error in the angular velocity of rotation of the imaging unit about the pitch axis. And a third error correction value for correcting an error in the angular velocity of rotation of the imaging unit about the yaw axis.

第1の誤差補正値は、第2の誤差補正値及び第3の誤差補正値よりも大きくてよい。   The first error correction value may be larger than the second error correction value and the third error correction value.

合焦制御方法は、動画を撮像するステップ、を更に含んでよい。合焦制御の実行を指示するステップは、継続的に焦点位置を変更しながら合焦制御を行うよう指示するステップを含んでよい。   The focusing control method may further include a step of capturing a moving image. The step of instructing execution of the focusing control may include a step of instructing to perform the focusing control while continuously changing the focus position.

一態様において、プログラムは、撮像部と、撮像部が搭載され、撮像部の振れを補正し、相互に直交する3軸の少なくとも1つの回転軸を中心に撮像部を回転自在に支持し、3軸の少なくとも1つの回転軸を中心に撮像部を回転させるモータを備えるジンバル部と、を備える移動体に、3軸の少なくとも1つの回転軸を中心とする撮像部の回転の角速度を所定時間毎に1回取得するステップと、角速度の誤差を補正するための誤差補正値を取得するステップと、角速度から誤差補正値を減算して減算値を取得するステップと、減算値が第1の閾値以下となる角速度が所定回数連続して取得された場合、撮像部に合焦制御の実行を指示するステップと、を実行させるためのプログラムである。   In one embodiment, the program includes an imaging unit, an imaging unit mounted thereon, the image pickup unit being shake corrected, the imaging unit rotatably supported around at least one of three mutually orthogonal rotation axes, and A gimbal unit including a motor that rotates the imaging unit about at least one of the rotation axes of the imaging unit. A gimbal unit that rotates the imaging unit about at least one of the three rotation axes at predetermined intervals. Obtaining an error correction value for correcting an angular velocity error, subtracting the error correction value from the angular velocity to obtain a subtraction value, and the subtraction value being equal to or less than a first threshold value. And instructing the imaging unit to execute focusing control when the angular velocity is continuously acquired a predetermined number of times.

一態様において、記録媒体は、撮像部と、撮像部が搭載され、撮像部の振れを補正し、相互に直交する3軸の少なくとも1つの回転軸を中心に撮像部を回転自在に支持し、3軸の少なくとも1つの回転軸を中心に撮像部を回転させるモータを備えるジンバル部と、を備える移動体に、3軸の少なくとも1つの回転軸を中心とする撮像部の回転の角速度を所定時間毎に1回取得するステップと、角速度の誤差を補正するための誤差補正値を取得するステップと、角速度から誤差補正値を減算して減算値を取得するステップと、減算値が第1の閾値以下となる角速度が所定回数連続して取得された場合、撮像部に合焦制御の実行を指示するステップと、を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。   In one aspect, a recording medium includes an imaging unit and an imaging unit mounted thereon, corrects shake of the imaging unit, and rotatably supports the imaging unit around at least one rotation axis of three axes orthogonal to each other. A gimbal unit having a motor for rotating the imaging unit around at least one of the three rotation axes; and a gimbal unit that rotates the imaging unit around the at least one of the three rotation axes for a predetermined time. Acquiring once each time, acquiring an error correction value for correcting an angular velocity error, subtracting an error correction value from the angular velocity to obtain a subtraction value, A step of instructing an imaging unit to execute focusing control when the following angular velocities are continuously acquired a predetermined number of times; and a computer-readable recording medium that records a program for executing the steps.

なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。   Note that the above summary of the present invention does not list all of the features of the present disclosure. Further, a sub-combination of these feature groups can also be an invention.

実施形態におけるジンバルカメラ装置の外観を示す斜視図FIG. 2 is a perspective view illustrating an appearance of the gimbal camera device according to the embodiment. ジンバルカメラ装置のハードウェア構成を示すブロック図Block diagram showing the hardware configuration of the gimbal camera device カメラの角速度と自動合焦制御のオンオフとの関係の一例を示す図FIG. 4 is a diagram illustrating an example of a relationship between an angular velocity of a camera and ON / OFF of automatic focusing control. ジンバルカメラ装置の動作例を示すフローチャートFlow chart showing an operation example of the gimbal camera device 他のジンバルカメラ装置の外観例を示す斜視図A perspective view showing an example of the appearance of another gimbal camera device. ジンバルが搭載された無人航空機の外観例を示す斜視図Perspective view showing an external appearance example of an unmanned aerial vehicle equipped with a gimbal

以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。   Hereinafter, the present disclosure will be described through embodiments of the present invention, but the following embodiments do not limit the invention according to the claims. Not all combinations of the features described in the embodiments are necessarily essential to the solution of the invention.

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。   The claims, the description, the drawings, and the abstract include matters covered by copyright. The copyright owner will not object to any person's reproduction of these documents, as indicated in the JPO file or record. However, in all other cases, all copyrights are reserved.

以下の実施形態では、移動体として、撮像者が手に把持して撮像するジンバルカメラ装置を例示する。ジンバルカメラ装置は、無人航空機に搭載されたジンバルカメラ装置でもよい。合焦制御方法は、移動体の動作が規定されたものである。また、記録媒体は、プログラム(例えば移動体に各種の処理を実行させるプログラム)が記録されたものである。   In the following embodiments, a gimbal camera device that holds an image by a photographer and captures an image will be exemplified as a moving object. The gimbal camera device may be a gimbal camera device mounted on an unmanned aerial vehicle. In the focusing control method, the operation of the moving object is specified. The recording medium stores a program (for example, a program for causing a moving body to execute various processes).

図1は、実施形態におけるジンバルカメラ装置10の外観を示す斜視図である。ジンバルカメラ装置10は、ジンバル20と、カメラ30と、モニタ50と、装置本体60とを含む構成を有する。   FIG. 1 is a perspective view illustrating an appearance of a gimbal camera device 10 according to the embodiment. The gimbal camera device 10 has a configuration including a gimbal 20, a camera 30, a monitor 50, and a device main body 60.

装置本体60は、例えば略円柱状に形成された部材である。装置本体60の上端には、ジンバル20が着脱自在に装着される。装置本体60の図中左側面には、モニタ50を取付可能な取付部63が設けられる。装置本体60の右側面には、三脚に取り付けられる雌ねじ部(図示せず)が形成される。   The device main body 60 is, for example, a member formed in a substantially columnar shape. The gimbal 20 is detachably mounted on the upper end of the apparatus main body 60. A mounting portion 63 to which the monitor 50 can be mounted is provided on the left side surface of the apparatus main body 60 in the drawing. On the right side surface of the device main body 60, a female screw portion (not shown) to be attached to a tripod is formed.

また、装置本体60の上部正面には、前方に傾斜した操作面610が形成される。操作面610には、各種ボタンやインジケータ614が配置される。各種ボタンは、シャッタボタン611、録画ボタン612及び操作ボタン613を含む。装置本体60の中央下部は、撮像者の手で把持される把持部620に形成される。シャッタボタン611は、静止画の撮像を指示する。録画ボタン612は、動画の撮像を指示する。録画ボタン612は、動画の撮像の停止を指示してもよい。   An operation surface 610 that is inclined forward is formed on the upper front surface of the apparatus main body 60. Various buttons and indicators 614 are arranged on the operation surface 610. The various buttons include a shutter button 611, a record button 612, and an operation button 613. The lower center part of the apparatus main body 60 is formed in a grip part 620 that is gripped by the hand of the photographer. The shutter button 611 gives an instruction to capture a still image. The record button 612 instructs capturing of a moving image. The recording button 612 may be used to instruct the stop of moving image capturing.

ジンバル20は、カメラ30が搭載され、カメラ30の振れを補正する。ジンバル20は、カメラ30の姿勢を3軸方向(ロール軸、ピッチ軸、ヨー軸)において可変自在に支持する。ジンバル20は、ジンバル部の一例である。ジンバル20は、装置本体60の上端部に設けられた取付部210に取り付けられる。取付部210には、ジンバル20と装置本体60との係合を解除する解除ボタン211が設けられる。   The gimbal 20 has a camera 30 mounted thereon and corrects a shake of the camera 30. The gimbal 20 supports the attitude of the camera 30 variably in three axial directions (roll axis, pitch axis, yaw axis). The gimbal 20 is an example of a gimbal unit. The gimbal 20 is attached to an attachment part 210 provided at the upper end of the apparatus main body 60. The mounting portion 210 is provided with a release button 211 for releasing the engagement between the gimbal 20 and the apparatus main body 60.

ジンバル20は、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217を有する。ヨー軸モータ215は、装置本体60の上端に配置される。ロール軸モータ216は、アーム部材221を介してヨー軸モータ215に取り付けられる。ピッチ軸モータ217は、アーム部材222を介してロール軸モータ216に取り付けられる。ジンバル20は、ヨー軸、ピッチ軸、及びロール軸を中心にカメラ30を回転可能に支持してよい。   The gimbal 20 has a yaw axis motor 215, a roll axis motor 216, and a pitch axis motor 217. The yaw motor 215 is arranged at the upper end of the apparatus main body 60. The roll axis motor 216 is attached to the yaw axis motor 215 via the arm member 221. The pitch axis motor 217 is attached to the roll axis motor 216 via the arm member 222. The gimbal 20 may rotatably support the camera 30 about a yaw axis, a pitch axis, and a roll axis.

ロール軸(図1のx軸参照)は、光軸Ocに一致してよく、前後方向に沿って設定される回転軸である。ピッチ軸(図1のy軸参照)は、ロール軸に垂直な方向に設定され、左右方向に沿って設定される回転軸である。ヨー軸(図1のz軸参照)は、ロール軸及びピッチ軸に垂直な方向に設定され、上下方向に設定される回転軸である。ロール軸、ピッチ軸及びヨー軸は、相互に直交する3軸の一例である。   The roll axis (see the x-axis in FIG. 1) may be coincident with the optical axis Oc, and is a rotation axis set along the front-back direction. The pitch axis (see the y-axis in FIG. 1) is a rotation axis set in a direction perpendicular to the roll axis and set along the left and right directions. The yaw axis (see the z-axis in FIG. 1) is a rotation axis set in a direction perpendicular to the roll axis and the pitch axis and set in the up-down direction. The roll axis, the pitch axis, and the yaw axis are examples of three axes that are orthogonal to each other.

ヨー軸モータ215は、ヨー軸周りにカメラ30が回転するための駆動力を供給する。カメラ30は、ヨー軸モータ215の駆動力により、ヨー軸を中心に回転自在である。よって、ヨー軸モータ215は、ヨー軸周りにカメラ30を回転させるロータとして動作する。   The yaw axis motor 215 supplies a driving force for rotating the camera 30 around the yaw axis. The camera 30 is rotatable around the yaw axis by the driving force of the yaw axis motor 215. Therefore, the yaw axis motor 215 operates as a rotor that rotates the camera 30 around the yaw axis.

ロール軸モータ216は、ロール軸周りにカメラ30が回転するための駆動力を供給する。カメラ30は、ロール軸モータ216の駆動力により、ロール軸を中心に回転自在である。よって、ロール軸モータ216は、ヨー軸周りにカメラ30を回転させるロータとして動作する。   The roll axis motor 216 supplies a driving force for rotating the camera 30 around the roll axis. The camera 30 is rotatable about the roll axis by the driving force of the roll axis motor 216. Therefore, the roll axis motor 216 operates as a rotor that rotates the camera 30 around the yaw axis.

ピッチ軸モータ217は、ピッチ軸周りにカメラ30が回転するための駆動力を供給する。カメラ30は、ピッチ軸モータ217の駆動力により、ピッチ軸を中心に回転自在である。よって、ピッチ軸モータ217は、ピッチ軸周りにカメラ30を回転させるロータとして動作する。   The pitch axis motor 217 supplies a driving force for rotating the camera 30 around the pitch axis. The camera 30 is rotatable about the pitch axis by the driving force of the pitch axis motor 217. Therefore, the pitch axis motor 217 operates as a rotor that rotates the camera 30 around the pitch axis.

ジンバル20は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心にカメラ30を回転させることで、カメラ30の撮像方向を変更してよい。この場合、ジンバル20は、把持部620を把持するユーザがカメラ30の向きを変更することで、カメラ30の撮像方向を変更してよい。ジンバル20は、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217の駆動により、カメラ30の撮像方向を変更してよい。ジンバル20は、手振れ等の外力に起因して、カメラ30の撮像方向が変化し得る。   The gimbal 20 may change the imaging direction of the camera 30 by rotating the camera 30 around at least one of the yaw axis, the pitch axis, and the roll axis. In this case, the gimbal 20 may change the imaging direction of the camera 30 by changing the direction of the camera 30 by the user holding the holding unit 620. The gimbal 20 may change the imaging direction of the camera 30 by driving the yaw axis motor 215, the roll axis motor 216, and the pitch axis motor 217. The gimbal 20 may change the imaging direction of the camera 30 due to an external force such as camera shake.

ジンバル20は、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217を駆動し、被写体に対するカメラ30の向きが振れないように、ヨー軸、ロール軸及びピッチ軸の3軸方向にカメラ30を回転自在に支持してよい。つまり、ジンバル20は、カメラ30の向き(姿勢)を安定化させるスタビライザ機能を有する。なお、ここでは、3軸方向で姿勢を調整可能とすることを例示するが、3軸方向のいずれか2軸方向で姿勢を調整可能としてもよいし、1軸方向のみで姿勢を調整可能としてもよい。   The gimbal 20 drives the yaw axis motor 215, the roll axis motor 216, and the pitch axis motor 217, and moves the camera 30 in three directions of the yaw axis, the roll axis, and the pitch axis so that the direction of the camera 30 with respect to the subject does not fluctuate. It may be rotatably supported. That is, the gimbal 20 has a stabilizer function of stabilizing the direction (posture) of the camera 30. Here, an example in which the posture can be adjusted in the three-axis direction is exemplified. However, the posture may be adjustable in any two-axis direction of the three-axis direction, or the posture may be adjusted only in the one-axis direction. Is also good.

また、ジンバル20は、各モータがカメラ30に駆動力を供給しない場合でも、機構的に、3軸(ロール軸、ピッチ軸、ヨー軸)周りに回転自在である。また、各モータからの駆動力がなくカメラ30に対する外力を受けない場合、カメラ30は、3軸方向のそれぞれにおいて、基準方向を向く姿勢が維持されてよい。基準方向は、予め定められた方向でよい。   The gimbal 20 is mechanically rotatable around three axes (a roll axis, a pitch axis, and a yaw axis) even when each motor does not supply a driving force to the camera 30. In the case where there is no driving force from each motor and no external force is applied to the camera 30, the camera 30 may be maintained in the reference direction in each of the three axial directions. The reference direction may be a predetermined direction.

カメラ30は、被写体を撮像可能な撮像部を内蔵し、ロール軸モータ216及びピッチ軸モータ217によって回転自在に支持される筐体311を有する。カメラ30は、所望の撮像範囲に含まれる被写体(例えば、人物、山や川等の景色、建物、物品)を撮像する撮像用のカメラでよい。   The camera 30 includes a housing 311 that has a built-in imaging unit capable of imaging a subject and is rotatably supported by a roll axis motor 216 and a pitch axis motor 217. The camera 30 may be an imaging camera for imaging an object (for example, a person, scenery such as a mountain or a river, a building, or an article) included in a desired imaging range.

モニタ50は、カメラ30で撮像された画像(例えば、静止画、動画)を表示する。なお、モニタ50は、オプションとして、交換自在に取り付けられてよい。ここでは、モニタ50には、カメラ30と無線通信可能な携帯端末(スマートフォン)が用いられてよい。なお、モニタ50が設けられなくてもよい。   The monitor 50 displays an image (for example, a still image or a moving image) captured by the camera 30. In addition, the monitor 50 may be exchangeably attached as an option. Here, a portable terminal (smartphone) that can wirelessly communicate with the camera 30 may be used as the monitor 50. Note that the monitor 50 may not be provided.

図2は、ジンバルカメラ装置10のハードウェア構成を示すブロック図である。ジンバルカメラ装置10は、ジンバル20と、カメラ30と、モニタ50とを含む構成を有する。ジンバル20は、ジンバル制御部21、メモリ22、慣性計測装置23、角度検出器24、ヨー軸回転機構25、ピッチ軸回転機構26、ロール軸回転機構27、インタフェース28及び操作部29を有する。   FIG. 2 is a block diagram illustrating a hardware configuration of the gimbal camera device 10. The gimbal camera device 10 has a configuration including a gimbal 20, a camera 30, and a monitor 50. The gimbal 20 includes a gimbal control unit 21, a memory 22, an inertial measurement device 23, an angle detector 24, a yaw axis rotation mechanism 25, a pitch axis rotation mechanism 26, a roll axis rotation mechanism 27, an interface 28, and an operation unit 29.

メモリ22は、各種データ、情報、ジンバル制御部21が実行可能なプログラム、カメラ30による撮像画像の画像データ、撮像画像に関する付加データ(メタデータ)、等を記憶してよい。メモリ22は、例えば、RAM(Random Access Memory)、ROM(Read-Only Memory)、SDカード、その他のメモリ、を含んでよい。   The memory 22 may store various data, information, a program that can be executed by the gimbal control unit 21, image data of an image captured by the camera 30, additional data (metadata) related to the captured image, and the like. The memory 22 may include, for example, a random access memory (RAM), a read-only memory (ROM), an SD card, and other memories.

メモリ22は、角度検出器24や慣性計測装置23の角度誤差(検出誤差)を補正するための誤差補正情報を保持してよい。角度誤差は、角度に関する誤差と角速度に関する誤差の少なくとも一方を含む。誤差補正情報は、例えば、角度検出器24や慣性計測装置23の検出値を補正するための誤差補正値を含んでよい。角度検出器24や慣性計測装置23は、3軸(ロール軸、ピッチ軸、ヨー軸)周りの回転について角度や角速度を検出する。そのため、3軸方向それぞれにおいて角度誤差が異なることを加味して、誤差補正情報が3つの誤差補正値が用意され、メモリ22に保持されてよい。なお、ロール軸周りの角度や角速度の検出値の誤差が大きくなり易い。これは、例えば、ロール軸周りの角度や角速度を検出するためにジャイロセンサ以外のセンサが不在であることがあり、ジャイロセンサによる検出精度が低いことがあり、誤差が発生し易いことに起因する。   The memory 22 may hold error correction information for correcting an angle error (detection error) of the angle detector 24 or the inertial measurement device 23. The angle error includes at least one of an error related to an angle and an error related to an angular velocity. The error correction information may include, for example, an error correction value for correcting a detection value of the angle detector 24 or the inertial measurement device 23. The angle detector 24 and the inertial measurement device 23 detect angles and angular velocities of rotation around three axes (a roll axis, a pitch axis, and a yaw axis). Therefore, three error correction values of the error correction information may be prepared and stored in the memory 22 in consideration of the fact that the angle error differs in each of the three axial directions. Note that errors in the detected values of the angle around the roll axis and the angular velocity tend to increase. This is because, for example, a sensor other than the gyro sensor may be absent in order to detect an angle or an angular velocity around the roll axis, and the detection accuracy of the gyro sensor may be low, and an error is likely to occur. .

メモリ22は、カメラ30の姿勢の安定化を判定するための閾値(後述する閾値th5)の情報を保持してよい。この閾値は、所定時間毎に取得(例えば検出、算出)される角度や加速度が取得される回数の値でよい。閾値は、固定値でも可変値でもよい。   The memory 22 may hold information of a threshold value (threshold value th5 described later) for determining whether the posture of the camera 30 is stabilized. This threshold value may be a value of the number of times that the angle or the acceleration obtained (for example, detected or calculated) is obtained every predetermined time. The threshold value may be a fixed value or a variable value.

慣性計測装置23は、ジンバルカメラ装置10の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出して取得する。慣性計測装置23は、磁束の変化を検出するホールセンサや、ジンバルカメラ装置10の姿勢(傾き)を検出するジャイロセンサを有してよい。なお、慣性計測装置23の代わりに、加速度センサが用いられてよい。慣性計測装置23は、所定時間毎に1回、加速度や角速度を検出してよい。   The inertial measurement device 23 detects and acquires acceleration in the three axial directions of the gimbal camera device 10 in the front-rear, left-right, and vertical directions, and angular velocities in the three axial directions of the pitch axis, the roll axis, and the yaw axis. The inertial measurement device 23 may include a Hall sensor that detects a change in magnetic flux, and a gyro sensor that detects the attitude (tilt) of the gimbal camera device 10. Note that an acceleration sensor may be used instead of the inertial measurement device 23. The inertial measurement device 23 may detect the acceleration and the angular velocity once every predetermined time.

角度検出器24は、例えば、ジンバルカメラ装置10の向きとして、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角度を検出する。検出される角度は、基準方向に対する角度でよい。角度検出器24は、所定時間毎に1回、加速度や角速度を検出してよい。   The angle detector 24 detects, for example, angles in three axial directions of a pitch axis, a roll axis, and a yaw axis as directions of the gimbal camera device 10. The detected angle may be an angle with respect to the reference direction. The angle detector 24 may detect the acceleration and the angular velocity once every predetermined time.

ヨー軸回転機構25は、カメラ30をヨー軸方向に駆動するヨー軸モータ215を含む。ヨー軸回転機構25は、ヨー軸を中心に(ヨー軸周りに)カメラ30を回転自在に支持する。ピッチ軸回転機構26は、カメラ30をピッチ軸方向に駆動するピッチ軸モータ217を含む。ピッチ軸回転機構26は、ピッチ軸を中心に(ピッチ軸周りに)カメラ30を回転自在に支持する。ロール軸回転機構27は、カメラ30をロール軸方向に駆動するロール軸モータ216を含む。ロール軸回転機構27は、ロール軸を中心に(ロール軸周りに)カメラ30を回転自在に支持する。   The yaw axis rotation mechanism 25 includes a yaw axis motor 215 that drives the camera 30 in the yaw axis direction. The yaw axis rotation mechanism 25 rotatably supports the camera 30 around the yaw axis (around the yaw axis). The pitch axis rotation mechanism 26 includes a pitch axis motor 217 that drives the camera 30 in the pitch axis direction. The pitch axis rotation mechanism 26 rotatably supports the camera 30 about the pitch axis (around the pitch axis). The roll axis rotation mechanism 27 includes a roll axis motor 216 that drives the camera 30 in the roll axis direction. The roll shaft rotation mechanism 27 rotatably supports the camera 30 around the roll shaft (around the roll shaft).

また、ジンバル20のヨー軸、ピッチ軸、ロール軸の少なくとも1つの回転軸において、所定の角度を維持するように、それぞれの回転機構(ヨー軸回転機構25、ピッチ軸回転機構26、ロール軸回転機構27)が機能してよい。この場合、ジンバル制御部21は、ジンバル20に搭載されたカメラ30が停止(姿勢が安定)しているように見えるように3軸のそれぞれで角度のバランスをとるように、電圧をそれぞれのモータに印加して制御してよい。   Further, each of the rotation mechanisms (the yaw axis rotation mechanism 25, the pitch axis rotation mechanism 26, the roll axis rotation, and the like) is maintained so as to maintain a predetermined angle on at least one of the yaw axis, the pitch axis, and the roll axis of the gimbal 20. The mechanism 27) may function. In this case, the gimbal control unit 21 applies a voltage to each of the motors so that the camera 30 mounted on the gimbal 20 balances the angles on each of the three axes so that the camera 30 appears to be stationary (the posture is stable). May be applied for control.

インタフェース28は、入力装置、出力装置、記録媒体、等の外部機器を接続可能である。インタフェース28は、有線通信又は無線通信するための通信インタフェースを含んでよい。有線通信は、USB(Universal Serial Bus)ケーブルを介した通信を含んでよい。無線通信用の通信インタフェースは、無線LAN(Local Area Network)、Bluetooth(登録商標)、又は公衆無線回線を介した通信を含んでよい。   The interface 28 can connect external devices such as an input device, an output device, and a recording medium. The interface 28 may include a communication interface for performing wired communication or wireless communication. Wired communication may include communication via a USB (Universal Serial Bus) cable. The communication interface for wireless communication may include wireless LAN (Local Area Network), Bluetooth (registered trademark), or communication via a public wireless line.

操作部29は、操作面610に配置された各種ボタンを含む。操作部29は、各種ボタン、キー、タッチパッド、タッチパネルを含んでよい。操作部29は、ユーザからの操作を受け、操作に関する操作信号をジンバル制御部21へ出力する。   The operation unit 29 includes various buttons arranged on the operation surface 610. The operation unit 29 may include various buttons, keys, a touch pad, and a touch panel. The operation unit 29 receives an operation from the user and outputs an operation signal related to the operation to the gimbal control unit 21.

ジンバル制御部21は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。ジンバル制御部21は、ジンバル20の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。   The gimbal controller 21 is configured using, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a DSP (Digital Signal Processor). The gimbal control unit 21 performs signal processing for controlling the operation of each unit of the gimbal 20 in general, data input / output processing with other units, data arithmetic processing, and data storage processing.

ジンバル制御部21は、角度検出器24により検出された角度と、この角度の変化に要した時間を基に、角速度を算出して取得してよい。ジンバル制御部21は、慣性計測装置23から角速度を取得してよい。また、ジンバル制御部21は、角度検出器24から角度を取得してよい。ジンバル制御部21は、慣性計測装置23から取得された角速度を積分し、角度を取得してよい。   The gimbal control unit 21 may calculate and acquire the angular velocity based on the angle detected by the angle detector 24 and the time required for changing the angle. The gimbal control unit 21 may acquire the angular velocity from the inertial measurement device 23. Further, the gimbal control unit 21 may acquire the angle from the angle detector 24. The gimbal control unit 21 may acquire the angle by integrating the angular velocity acquired from the inertial measurement device 23.

ジンバル制御部21は、カメラ30の撮像範囲を示す撮像範囲情報を取得してよい。ジンバル制御部21は、撮像範囲を特定するためのパラメータとして、カメラ30の画角を示す画角情報をカメラ30から取得してよい。ジンバル制御部21は、撮像範囲を特定するためのパラメータとして、カメラ30の撮像方向を示す情報を取得してよい。ジンバル制御部21は、例えばカメラ30の撮像方向を示す情報として、カメラ30の姿勢の状態を示す姿勢情報を取得してよい。カメラ30の姿勢情報は、ジンバル20のロール軸、ピッチ軸、及びヨー軸の基準回転角度からの回転角度を示してよい。ジンバル制御部21は、カメラ30の画角及び撮像方向に基づいて、カメラ30が撮像する撮像範囲を画定し、撮像範囲情報を生成してよい。   The gimbal control unit 21 may acquire imaging range information indicating the imaging range of the camera 30. The gimbal control unit 21 may acquire angle-of-view information indicating the angle of view of the camera 30 from the camera 30 as a parameter for specifying the imaging range. The gimbal control unit 21 may acquire information indicating the imaging direction of the camera 30 as a parameter for specifying the imaging range. The gimbal control unit 21 may acquire posture information indicating the state of the posture of the camera 30, for example, as information indicating the imaging direction of the camera 30. The posture information of the camera 30 may indicate the rotation angles of the gimbal 20 from the reference rotation angles of the roll axis, the pitch axis, and the yaw axis. The gimbal control unit 21 may define an imaging range to be imaged by the camera 30 based on the angle of view and the imaging direction of the camera 30, and may generate imaging range information.

ジンバル制御部21は、カメラ30の撮像方向又は画角を変更することによって、カメラ30の撮像範囲を制御してよい。ジンバル制御部21は、ジンバル20の回転機構(ヨー軸回転機構25、ピッチ軸回転機構26、ロール軸回転機構27)を制御することで、ジンバル20に支持されているカメラ30の撮像範囲を制御してよい。   The gimbal control unit 21 may control the imaging range of the camera 30 by changing the imaging direction or the angle of view of the camera 30. The gimbal controller 21 controls the imaging mechanism of the camera 30 supported by the gimbal 20 by controlling the rotation mechanism (the yaw axis rotation mechanism 25, the pitch axis rotation mechanism 26, and the roll axis rotation mechanism 27) of the gimbal 20. May do it.

撮像範囲とは、撮像部220又は撮像部230により撮像される地理的な範囲でよい。撮像範囲は、3次元空間データにおける範囲でよいし、2次元空間データにおける範囲でもよい。撮像範囲は、カメラ30の画角及び撮像方向に基づいて特定されてよい。カメラ30の撮像方向は、カメラ30の撮像レンズが設けられた正面が向く方向でよい。撮像部220の撮像方向は、ジンバル20に対するカメラ30の姿勢の状態から特定される方向でよい。   The imaging range may be a geographical range that is imaged by the imaging unit 220 or the imaging unit 230. The imaging range may be a range in three-dimensional space data or a range in two-dimensional space data. The imaging range may be specified based on the angle of view and the imaging direction of the camera 30. The imaging direction of the camera 30 may be a direction in which the front of the camera 30 provided with the imaging lens faces. The imaging direction of the imaging unit 220 may be a direction specified from the state of the posture of the camera 30 with respect to the gimbal 20.

ジンバル制御部21は、カメラ30により撮像された複数の画像を解析することで、ジンバルカメラ装置10の周囲の環境(例えば、人物、建物、風景等の被写体までの距離、朝昼夜等の時間帯)を特定してよい。ジンバル制御部21は、周囲の環境に基づいて、カメラ30の撮像モードを決定してよい。   The gimbal control unit 21 analyzes a plurality of images captured by the camera 30 to determine the environment around the gimbal camera device 10 (for example, the distance to a subject such as a person, a building, or a landscape, or a time zone such as morning, day, night, or the like). ) May be specified. The gimbal control unit 21 may determine the imaging mode of the camera 30 based on the surrounding environment.

ジンバル制御部21は、カメラ30の撮像方向を示す情報として、ジンバル20からカメラ30の姿勢の状態を示す姿勢情報を取得してよい。カメラ30の姿勢情報は、ジンバル20のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。回転角度は、角度検出器24から取得されてよい。ジンバル制御部21は、ジンバル20の回転機構を制御することで、ジンバル20に支持されているカメラ30の撮像範囲を制御してよい。   The gimbal control unit 21 may acquire posture information indicating the state of the posture of the camera 30 from the gimbal 20 as information indicating the imaging direction of the camera 30. The attitude information of the camera 30 may indicate a rotation angle of the gimbal 20 from the reference rotation angle of the pitch axis and the yaw axis. The rotation angle may be obtained from the angle detector 24. The gimbal control unit 21 may control an imaging range of the camera 30 supported by the gimbal 20 by controlling a rotation mechanism of the gimbal 20.

ジンバル制御部21は、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217の少なくとも1つを駆動するための駆動電力(駆動電圧)を制御してよい。つまり、ジンバル制御部21は、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217の少なくとも1つに印加される印加電力(印加電圧)を制御してよい。駆動電圧が高い程、各モータの回転角度を細かく調整でき(例えば0.01度毎)、駆動電圧が高い程、各モータの回転角度を大まかに調整できる(例えば0.1度毎)。   The gimbal control unit 21 may control drive power (drive voltage) for driving at least one of the yaw axis motor 215, the roll axis motor 216, and the pitch axis motor 217. That is, the gimbal control unit 21 may control the applied power (applied voltage) applied to at least one of the yaw axis motor 215, the roll axis motor 216, and the pitch axis motor 217. The higher the drive voltage, the finer the rotation angle of each motor can be adjusted (for example, every 0.01 degrees), and the higher the drive voltage, the more roughly the rotation angle of each motor can be adjusted (for example, every 0.1 degrees).

ジンバル制御部21は、慣性計測装置23又は角度検出器24により導出(例えば検出、算出)された角度に基づいて、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217の少なくとも1つの駆動を制御してよい。つまり、ジンバル制御部21は、導出された角度に応じて、3軸方向におけるカメラ30の姿勢を調整してよい。   The gimbal control unit 21 drives at least one of the yaw axis motor 215, the roll axis motor 216, and the pitch axis motor 217 based on the angle derived (for example, detected and calculated) by the inertial measurement device 23 or the angle detector 24. May be controlled. That is, the gimbal control unit 21 may adjust the attitude of the camera 30 in the three axis directions according to the derived angle.

ジンバル制御部21は、例えば、カメラ30の姿勢(角度)がロール軸周りに角度A(度)分変化した場合、この角度の変化を相殺するように、又は角度の変化が許容量の範囲内となるように、少なくとも1つのモータを駆動し、カメラ30の姿勢を制御してよい。角度の変化の許容量は、固定値でも可変値でもよい。このように、ジンバル制御部21は、角度に応じて、カメラ30の振れ(姿勢の変化)に対する振れ補正を行ってよい。   For example, when the posture (angle) of the camera 30 changes around the roll axis by an angle A (degrees), the gimbal control unit 21 cancels the change in the angle, or the change in the angle is within the allowable range. The attitude of the camera 30 may be controlled by driving at least one motor so that The allowable amount of the change in the angle may be a fixed value or a variable value. As described above, the gimbal control unit 21 may perform shake correction for the shake (change in posture) of the camera 30 according to the angle.

ジンバル制御部21は、慣性計測装置23又は角度検出器24により導出(例えば検出、算出)された角速度に基づいて、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217の少なくとも1つの駆動を制御してよい。つまり、ジンバル制御部21は、導出された角速度に応じて、3軸方向におけるカメラ30の姿勢を調整してよい。   The gimbal control unit 21 drives at least one of the yaw axis motor 215, the roll axis motor 216, and the pitch axis motor 217 based on the angular velocity derived (for example, detected and calculated) by the inertial measurement device 23 or the angle detector 24. May be controlled. That is, the gimbal control unit 21 may adjust the attitude of the camera 30 in the three axis directions according to the derived angular velocity.

例えば、カメラ30の姿勢(角度)がロール軸周りに角速度B(度/秒)分変化した場合、ジンバル制御部21は、この角速度の変化を相殺するように、又は角速度の変化が許容量の範囲内となるように、少なくとも1つのモータを駆動し、カメラ30の姿勢を制御してよい。角速度の変化の許容量は、固定値でも可変値でもよい。このように、ジンバル制御部21は、角速度に応じて、カメラ30の振れ(姿勢の変化)に対する振れ補正を行ってよい。   For example, when the attitude (angle) of the camera 30 changes around the roll axis by an angular velocity B (degrees / second), the gimbal control unit 21 cancels the angular velocity change or sets the angular velocity change to an allowable amount. At least one motor may be driven to control the attitude of the camera 30 so as to fall within the range. The allowable amount of the change in the angular velocity may be a fixed value or a variable value. As described above, the gimbal control unit 21 may perform shake correction for the shake (change in posture) of the camera 30 according to the angular velocity.

ジンバル制御部21は、操作部29による操作に基づいて、撮像方向や撮像範囲を変更してよい。   The gimbal control unit 21 may change the imaging direction and the imaging range based on the operation of the operation unit 29.

ジンバル制御部21は、操作部29の十字キー入力を介して、カメラ30を上下左右に回転させてよい。操作部29により上下方向に移動を指示した場合、ジンバル制御部21は、ピッチ軸を中心に回転するよう、ピッチ軸モータ217の回転を制御してよい。操作部29により左右方向に移動を指示した場合、ジンバル制御部21は、ヨー軸を中心に回転するよう、ヨー軸モータ215の回転を制御してよい。よって、ジンバル制御部21は、操作部29の十字キーの操作に応じて、上下左右方向に撮像方向を変更可能である。撮像方向が変化することで、撮像範囲が変化する。   The gimbal control unit 21 may rotate the camera 30 up, down, left, and right through a cross key input of the operation unit 29. When the operation unit 29 instructs the movement in the vertical direction, the gimbal control unit 21 may control the rotation of the pitch axis motor 217 so as to rotate around the pitch axis. When the movement in the left and right direction is instructed by the operation unit 29, the gimbal control unit 21 may control the rotation of the yaw axis motor 215 so as to rotate around the yaw axis. Therefore, the gimbal control unit 21 can change the imaging direction in up, down, left, and right directions in accordance with the operation of the cross key of the operation unit 29. As the imaging direction changes, the imaging range changes.

ジンバル制御部21は、所望の被写体を追跡対象に決定してよい。ジンバル制御部21は、追跡対象が撮像範囲に含まれるように、各モータを制御し、撮像方向を変更するよう制御してよい。追跡対象とカメラ30との相対的な位置が変化した場合、つまり、追跡対象が移動した場合やカメラ30の位置や向きが変化した場合、各モータへの印加電圧の指令値を変更してよく、つまり各モータの回転角度の指令値を変更してよい。これにより、追跡対象が撮像範囲に含まれるように追跡される。   The gimbal control unit 21 may determine a desired subject as a tracking target. The gimbal control unit 21 may control each motor to change the imaging direction so that the tracking target is included in the imaging range. When the relative position between the tracking target and the camera 30 changes, that is, when the tracking target moves or the position or the direction of the camera 30 changes, the command value of the voltage applied to each motor may be changed. That is, the command value of the rotation angle of each motor may be changed. Thereby, the tracking target is tracked so as to be included in the imaging range.

ジンバル制御部21は、各モータを制御する際の1回あたりの又は単位時間あたりのモータの回転角度や回転速度を制御してよい。よって、ジンバル制御部21は、カメラ30の向き(撮像方向)をモータ駆動により変更する場合、目標となる撮像方向となるまでにかかる時間の長さを変更可能である。   The gimbal control unit 21 may control the rotation angle and the rotation speed of the motor once or per unit time when controlling each motor. Therefore, when changing the direction (imaging direction) of the camera 30 by driving the motor, the gimbal control unit 21 can change the length of time required to reach the target imaging direction.

ジンバル制御部21は、ジンバル20の動作モード(ジンバルモード)を決定し、設定してよい。ジンバルモードは、カメラ30がどの程度振れることを許容するかを示してよい。これにより、例えば、ジンバル20は、ジンバル20による振れ補正によりカメラ30の姿勢を安定化させる度合を調整可能である。   The gimbal control unit 21 may determine and set the operation mode (gimbal mode) of the gimbal 20. The gimbal mode may indicate how much the camera 30 is allowed to shake. Thereby, for example, the gimbal 20 can adjust the degree of stabilizing the posture of the camera 30 by the shake correction by the gimbal 20.

ジンバルモードは、例えば、通常モード、高精度モードを有してよい。通常モードでは、カメラ30が、基準位置(基準向き、例えば被写体の向き)に対して3軸方向の少なくとも1方向に、角度閾値th1以下の角度で振れることが許容される。高精度モードでは、カメラ30が、基準位置(基準向き例えば被写体の向き)に対して3軸方向の少なくとも1方向に、角度閾値th2以下の角度で振れることが許容される。なお、高精度モードに設定された場合には、通常モードに設定された場合よりもカメラ30の振れが許容されないので、角度閾値th2は角度閾値th1よりも小さく設定される。つまり、th2<th1である。なお、ジンバルモードは、通常モードと高精度モードとの2種類だけでなく、3種類以上あってもよい。この場合、角度閾値がそれぞれ異なることで、カメラ30の振れの許容度が3段階以上で異なる。   The gimbal mode may include, for example, a normal mode and a high precision mode. In the normal mode, the camera 30 is allowed to swing at an angle equal to or less than the angle threshold th1 in at least one of three axial directions with respect to a reference position (reference direction, for example, the direction of a subject). In the high-accuracy mode, the camera 30 is allowed to swing at an angle equal to or smaller than the angle threshold th2 in at least one of three axial directions with respect to a reference position (reference direction, for example, the direction of a subject). When the high-accuracy mode is set, the shake of the camera 30 is not allowed as compared with the case where the normal mode is set. Therefore, the angle threshold th2 is set to be smaller than the angle threshold th1. That is, th2 <th1. The gimbal mode is not limited to the two types of the normal mode and the high-accuracy mode, but may be three or more types. In this case, since the angle thresholds are different, the shake tolerance of the camera 30 is different in three or more stages.

ジンバル制御部21は、通常モードに設定された場合よりも高精度モードに設定された場合の方が、各モータに印加される印加電圧が大きくなるように制御してよい。この場合、ジンバル制御部21は、各モータ(各ロータ)の回転角度を細かく調整でき、例えばカメラ30の振れにおいて可能な限りカメラ30の姿勢を固定できる。なお、高精度モードでは、印加電圧が大きくなるので、通常モードよりも消費電力が大きくなる。   The gimbal control unit 21 may control so that the voltage applied to each motor is higher when the high-accuracy mode is set than when the normal mode is set. In this case, the gimbal control unit 21 can finely adjust the rotation angle of each motor (each rotor), and can fix the posture of the camera 30 as much as possible when the camera 30 shakes. In the high-accuracy mode, the applied voltage is large, so that the power consumption is larger than in the normal mode.

ジンバル制御部21は、カメラ30により撮像するためのカメラパラメータの設定や変更を、カメラ30に指示してよい。カメラパラメータは、シャッタスピード、F値、ISO感度、等を含んでよい。   The gimbal control unit 21 may instruct the camera 30 to set or change camera parameters for imaging by the camera 30. The camera parameters may include shutter speed, F-number, ISO sensitivity, and the like.

カメラ30は、撮像制御部31、レンズ制御部32、メモリ33、撮像素子34、レンズ駆動部35,36、フォーカスレンズ37及びズームレンズ38を有する。   The camera 30 includes an imaging control unit 31, a lens control unit 32, a memory 33, an imaging element 34, lens driving units 35 and 36, a focus lens 37, and a zoom lens 38.

撮像制御部31は、例えばCPU、MPU又はDSPを用いて構成される。撮像制御部31は、カメラ30の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。   The imaging control unit 31 is configured using, for example, a CPU, an MPU, or a DSP. The imaging control unit 31 performs signal processing for integrally controlling the operation of each unit of the camera 30, data input / output processing with other units, data arithmetic processing, and data storage processing.

撮像制御部31は、撮像素子34を駆動して撮像動作を行う。撮像制御部31は、ジンバル20からの撮像の指示に従い、撮像素子34を駆動して撮像動作してよい。撮像制御部31は、撮像素子34で撮像された画像の画像データ(画像信号)を処理(画像処理)し、メモリ33に記憶する。撮像制御部31は、画像処理として、例えば、シェーディング補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤ、圧縮等の各処理を行ってよい。   The imaging control unit 31 drives the imaging element 34 to perform an imaging operation. The imaging control unit 31 may drive the imaging device 34 to perform an imaging operation according to an imaging instruction from the gimbal 20. The imaging control unit 31 processes (image processing) the image data (image signal) of the image captured by the imaging element 34 and stores the processed data in the memory 33. The imaging control unit 31 may perform, for example, various processes such as shading correction, color correction, contour enhancement, noise removal, gamma correction, debayer, and compression as image processing.

撮像制御部31は、各カメラパラメータ(シャッタスピード、F値(絞り値)、ISO感度(画像信号のゲイン)、ズーム倍率、等)を調整してよい。撮像制御部31は、ジンバル20からの指示に従い、各カメラパラメータを調整して設定してよい。撮像制御部31は、設定されたシャッタスピード及びF値に従って、画像撮像時にシャッタを開閉させてよい。撮像制御部31は、設定されたISO感度に従って、撮像素子34で得られた画像信号の増幅を制御してよい。また、撮像制御部31は、画像信号の増幅量(ゲインの値)を調整してよい。撮像制御部31は、ズーム倍率の変更や自動露出(AE:Auto Exposure)を行うための指示を、レンズ制御部32に送出してよい。撮像制御部31は、光学ズームを実施する場合に、レンズ制御部32にレンズを駆動させてよい。レンズ制御部32は、電子ズームを実施する場合、撮像画像の一部を切り出してよい。   The imaging control unit 31 may adjust each camera parameter (shutter speed, F value (aperture value), ISO sensitivity (gain of image signal), zoom magnification, and the like). The imaging control unit 31 may adjust and set each camera parameter according to an instruction from the gimbal 20. The imaging control unit 31 may open and close the shutter at the time of image capturing according to the set shutter speed and F-number. The imaging control unit 31 may control the amplification of the image signal obtained by the imaging device 34 according to the set ISO sensitivity. Further, the imaging control section 31 may adjust the amount of amplification (the value of the gain) of the image signal. The imaging control unit 31 may send an instruction for changing the zoom magnification or performing automatic exposure (AE: Auto Exposure) to the lens control unit 32. The imaging control unit 31 may cause the lens control unit 32 to drive the lens when performing the optical zoom. When performing the electronic zoom, the lens control unit 32 may cut out a part of the captured image.

撮像制御部31は、操作部29による操作に基づいて、各種撮像の実施や撮像条件(例えば、撮像方向、撮像範囲、各種カメラパラメータ)の設定、変更等を行ってよい。撮像制御部31は、録画ボタン612の押下により動画の撮像の指示を受けると、動画を撮像する。撮像制御部31は、シャッタボタン611の押下により静止画の撮像の指示を受けると、静止画を撮像する。   The imaging control unit 31 may perform various types of imaging and set or change imaging conditions (for example, imaging direction, imaging range, and various camera parameters) based on an operation performed by the operation unit 29. Upon receiving an instruction to capture a moving image by pressing the recording button 612, the imaging control unit 31 captures an image of the moving image. When receiving an instruction to capture a still image by pressing the shutter button 611, the imaging control unit 31 captures a still image.

撮像制御部31は、操作部29を介してズームアップの指示を受けた場合、撮像範囲が小さくなるように、ズームレンズの移動をさせて光学ズームを実施してよい。撮像制御部31は、操作部29を介してズームアップの指示を受けた場合、撮像範囲が小さくなるように、撮像画像の切り出し範囲を小さくして、電子ズームを実施してよい。撮像制御部31は、操作部29を介してズームアウトの指示を受けた場合、撮像範囲が大きくなるように、光学ズーム又は電子ズームを実施してよい。撮像制御部31は、操作部29のズームボタンの操作に応じて、ズームアップ(ズームイン)やズームアウトを行い、撮像範囲を変更可能である。   When receiving a zoom-up instruction via the operation unit 29, the imaging control unit 31 may perform optical zoom by moving the zoom lens so that the imaging range is reduced. When receiving the zoom-up instruction via the operation unit 29, the imaging control unit 31 may perform the electronic zoom by reducing the cutout range of the captured image so that the imaging range is reduced. When receiving a zoom-out instruction via the operation unit 29, the imaging control unit 31 may perform optical zoom or electronic zoom so that the imaging range becomes large. The imaging control unit 31 can change the imaging range by performing zoom-in (zoom-in) or zoom-out according to the operation of the zoom button of the operation unit 29.

撮像制御部31は、所望の被写体に焦点を合わせるための合焦制御を実施してよい。撮像制御部31は、ジンバル20からの指示に従い、合焦制御してよい。撮像制御部31は、合焦制御を実施する場合、レンズ制御部32にレンズの位置を調整するようレンズを駆動させてよい。合焦制御は、自動合焦制御(AF:Auto Focus)を含んでよい。自動合焦制御は、継続的に焦点位置を変更しながら合焦制御を行うこと(CAF:Continuous AF)を含んでよい。CAFでは、例えば、所望の被写体に対して焦点が合わせられた状態が継続する。   The imaging control unit 31 may perform focusing control for focusing on a desired subject. The imaging control unit 31 may perform focusing control according to an instruction from the gimbal 20. When performing the focus control, the imaging control unit 31 may drive the lens so that the lens control unit 32 adjusts the position of the lens. The focusing control may include automatic focusing control (AF: Auto Focus). The automatic focusing control may include performing the focusing control while continuously changing the focus position (CAF: Continuous AF). In the CAF, for example, a state in which a desired subject is focused is continued.

レンズ制御部32は、フォーカスレンズ37のレンズ位置を光軸方向に移動させて焦点を調節するレンズ駆動部35、及び、ズームレンズ38のレンズ位置を光軸方向に移動させてズーム倍率を変更するレンズ駆動部36を制御する。レンズ制御部32は、ジンバル20からの合焦制御の指示に従い、合焦動作を実施してよい。レンズ駆動部35及びレンズ駆動部36は、それぞれ駆動モータ(図示せず)を含む。   The lens control unit 32 adjusts the focus by moving the lens position of the focus lens 37 in the optical axis direction, and changes the zoom magnification by moving the lens position of the zoom lens 38 in the optical axis direction. The lens driving unit 36 is controlled. The lens control unit 32 may perform a focusing operation in accordance with a focusing control instruction from the gimbal 20. The lens driving unit 35 and the lens driving unit 36 each include a driving motor (not shown).

フォーカスレンズ37は、被写体からの光を集光し、撮像素子34の撮像面に光学像を結像させる。ズームレンズ38は、レンズを収容する鏡筒(図示せず)を有し、ズーミング動作を行う際に鏡筒を前後方向に伸縮させる。なお、ズームレンズ38が設けられていなくてもよい。   The focus lens 37 collects light from the subject and forms an optical image on the imaging surface of the imaging device 34. The zoom lens 38 has a lens barrel (not shown) that houses the lens, and expands and contracts the lens barrel in the front-rear direction when performing a zooming operation. Note that the zoom lens 38 need not be provided.

メモリ33は、各種データ、情報、プログラムを保持する。メモリ33は、カメラパラメータや画像データ等を記憶してよい。メモリ33は、カメラパラメータとして、例えばシャッタスピード、F値、ISO感度、等を記憶する。メモリ33は、例えば、RAM、ROM、SDカード、その他のメモリ、を含んでよい。   The memory 33 holds various data, information, and programs. The memory 33 may store camera parameters, image data, and the like. The memory 33 stores, for example, shutter speed, F-number, ISO sensitivity, and the like as camera parameters. The memory 33 may include, for example, a RAM, a ROM, an SD card, and other memories.

メモリ33は、角度検出器24や慣性計測装置23の角度誤差(検出誤差)を補正するための誤差補正情報を保持してよい。誤差補正情報は、例えば、角度検出器24や慣性計測装置23の検出値を補正するための誤差補正値を含んでよい。角度検出器24や慣性計測装置23は、3軸(ロール軸、ピッチ軸、ヨー軸)周りの回転について角度や角速度を検出する。そのため、3軸方向それぞれにおいて角度誤差が異なることを加味して、誤差補正情報が3つの誤差補正値が用意され、メモリ33に保持されてよい。なお、ロール軸周りの角度や角速度の検出値の誤差が大きくなり易い。これは、例えば、ロール軸周りの角度や角速度を検出するためにジャイロセンサ以外のセンサが不在であることがあり、ジャイロセンサによる検出精度が低いことがあり、誤差が発生し易いことに起因する。   The memory 33 may hold error correction information for correcting an angle error (detection error) of the angle detector 24 or the inertial measurement device 23. The error correction information may include, for example, an error correction value for correcting a detection value of the angle detector 24 or the inertial measurement device 23. The angle detector 24 and the inertial measurement device 23 detect angles and angular velocities of rotation around three axes (a roll axis, a pitch axis, and a yaw axis). Therefore, three error correction values of error correction information may be prepared and stored in the memory 33 in consideration of the fact that the angle error differs in each of the three axial directions. Note that errors in the detected values of the angle around the roll axis and the angular velocity tend to increase. This is because, for example, a sensor other than the gyro sensor may be absent in order to detect an angle or an angular velocity around the roll axis, and the detection accuracy of the gyro sensor may be low, and an error is likely to occur. .

メモリ33は、カメラ30の姿勢の安定化を判定するための閾値(後述する閾値th5)の情報を保持してよい。この閾値は、所定時間毎に取得(例えば検出、算出)される角度や加速度が取得される回数の値でよい。閾値は、固定値でも可変値でもよい。   The memory 33 may hold information on a threshold value (threshold value th5 described later) for determining whether the posture of the camera 30 is stabilized. This threshold value may be a value of the number of times that the angle or the acceleration obtained (for example, detected or calculated) is obtained every predetermined time. The threshold value may be a fixed value or a variable value.

撮像素子34は、撮像面上に結像した光学像を電気信号に光電変換し、画像信号として出力する。撮像素子には、CCD(Charge Coupled Device:電荷結合素子)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor:相補型MOS)イメージセンサが用いられてよい。   The imaging device 34 photoelectrically converts the optical image formed on the imaging surface into an electric signal and outputs the electric signal as an image signal. As the imaging device, a charge coupled device (CCD) image sensor or a complementary metal oxide semiconductor (CMOS) image sensor may be used.

モニタ50は、タッチパネルが前面に配置されたスマートフォンでよい。なお、モニタとしては、スマートフォンに限らず、液晶ディスプレイや有機EL(Electro Luminescence)等を有する表示ユニットでもよい。また、モニタ50として動作するスマートフォンが実行するアプリケーションに連動して、ジンバル20やカメラ30が動作してもよい。   The monitor 50 may be a smartphone having a touch panel on the front. The monitor is not limited to a smartphone, but may be a display unit having a liquid crystal display, an organic EL (Electro Luminescence), or the like. The gimbal 20 and the camera 30 may operate in conjunction with an application executed by the smartphone operating as the monitor 50.

カメラ30及びモニタ50は、相互に有線通信(例えばUSB通信)又は無線通信(例えば無線LAN、Bluetooth(登録商標)、近距離通信、公衆無線回線)により通信可能である。カメラ30による撮像画像は、モニタ50にリアルタイムに表示されてよい。この画像は、ライブビュー画像とも称される。   The camera 30 and the monitor 50 can communicate with each other by wired communication (for example, USB communication) or wireless communication (for example, wireless LAN, Bluetooth (registered trademark), short-range communication, or public wireless line). The image captured by the camera 30 may be displayed on the monitor 50 in real time. This image is also called a live view image.

図3は、カメラ30の角速度(つまりジンバル20の角速度)と自動合焦制御(AF)のオンオフとの関係の一例を示す図である。なお、AFのオンオフに関する制御が、ジンバル制御部21主導で行われることを例示するが、撮像制御部31主導で行われてもよい。なお、ここでは主に、角速度を基準にAFの許否を判定することを例示するが、角度を基準にAFの許否が判定されてよい。   FIG. 3 is a diagram illustrating an example of the relationship between the angular velocity of the camera 30 (that is, the angular velocity of the gimbal 20) and the on / off state of the automatic focusing control (AF). In addition, although the control regarding ON / OFF of AF is performed under the control of the gimbal control unit 21, the control may be performed under the control of the imaging control unit 31. Here, the determination of whether to permit AF is mainly based on the angular velocity is exemplified, but the determination of whether to permit AF may be determined based on the angle.

ジンバル制御部21は、ジンバル制御部21は、角度検出器24の検出値又は慣性計測装置23の検出値を基に、カメラ30の角速度を取得する。ジンバル制御部21は、取得された角速度を基にカメラ30にAFの実施(ON)又は不実施(OFF)を指示するが、この場合に角度検出器24や慣性計測装置23の角度誤差を加味する。   The gimbal control unit 21 acquires the angular velocity of the camera 30 based on the detection value of the angle detector 24 or the detection value of the inertial measurement device 23. The gimbal control unit 21 instructs the camera 30 to execute (ON) or not (OFF) AF based on the acquired angular velocity. In this case, the gimbal control unit 21 takes into account the angle error of the angle detector 24 and the inertial measurement device 23. I do.

つまり、ジンバル制御部21は、角度検出器24や慣性計測装置23等の姿勢センサの角度誤差が発生することが推測される範囲内の誤差では、角速度又は角度に与える影響を低下させる(例えば無視する)。この場合、ジンバル制御部21は、角度検出器24や慣性計測装置23を基に取得(例えば検出、算出)された角速度や角度から、メモリ22又はメモリ33に保持された誤差補正値を減算した値である補正済み角速度又は補正済み角度を基準に、カメラ30によるAFの実施又は不実施を判断してよい。   In other words, the gimbal control unit 21 reduces the influence on the angular velocity or the angle in an error within a range in which an angle error of the attitude sensor such as the angle detector 24 or the inertial measurement device 23 is estimated to occur (for example, negligible). Do). In this case, the gimbal control unit 21 subtracts the error correction value held in the memory 22 or 33 from the angular velocity or angle obtained (for example, detected or calculated) based on the angle detector 24 or the inertial measurement device 23. Whether or not AF is performed by the camera 30 may be determined based on the corrected angular velocity or corrected angle that is the value.

図3では、時刻t0〜t1の期間T1では、角度検出器24や慣性計測装置23の検出値を基に取得された角速度(所定時間当たりの角度の変化)に基づく補正済み角速度は、閾値th3以下である。期間T1では、ジンバル制御部21は、AF(例えばCAF)をオンにするよう、カメラ30に指示する。カメラ30では、ジンバル20からの指示に従って、AFをオンにし、つまりAFの制御を実施する。   In FIG. 3, in a period T1 from time t0 to t1, a corrected angular velocity based on an angular velocity (change in angle per predetermined time) acquired based on a detection value of the angle detector 24 or the inertial measurement device 23 is a threshold th3. It is as follows. In the period T1, the gimbal control unit 21 instructs the camera 30 to turn on AF (for example, CAF). The camera 30 turns on the AF in accordance with the instruction from the gimbal 20, that is, controls the AF.

期間T1に後続する時刻t1〜t2の期間T2では、導出(例えば算出)された補正済み角速度は、閾値th3以上である。期間T2では、ジンバル制御部21は、AF(例えばCAF)をオフにするよう、カメラ30に指示する。つまり、補正済み角速度が大きくなると、補正済み角速度が蓄積されて角度も大きくなり易い。そのため、姿勢センサの角度誤差を加味しても、実際にカメラ30が大きく振れることになる。この場合、カメラ30が所定の姿勢を維持しようと振れる前の状態に戻ろうとするために、カメラ30の姿勢が安定するまで時間を要する。この場合、AFの精度が低下し易いので、ジンバル制御部21は、姿勢センサの角度誤差を加味した上で、AFを停止させている。カメラ30では、ジンバル20からの指示に従って、AFをオフにし、つまりAFの制御を実施しない。   In a period T2 between times t1 and t2 following the period T1, the derived (for example, calculated) corrected angular velocity is equal to or larger than the threshold th3. In the period T2, the gimbal control unit 21 instructs the camera 30 to turn off AF (for example, CAF). That is, when the corrected angular velocity increases, the corrected angular velocity is accumulated, and the angle tends to increase. Therefore, even when the angle error of the attitude sensor is added, the camera 30 actually shakes greatly. In this case, it takes time until the posture of the camera 30 is stabilized in order to return to the state before the camera 30 swings to maintain the predetermined posture. In this case, since the accuracy of the AF is likely to decrease, the gimbal control unit 21 stops the AF in consideration of the angle error of the attitude sensor. In the camera 30, according to the instruction from the gimbal 20, the AF is turned off, that is, the AF control is not performed.

期間T2に後続する時刻t2〜t3の期間T3では、導出された補正済み角速度は、閾値th3以下である。期間T3では、ジンバル制御部21は、ジンバル制御部21は、AF(例えばCAF)をオンにするよう、カメラ30に指示する。つまり、ジンバル制御部21は、AFを再開させる。カメラ30では、ジンバル20からの指示に従って、AFをオンにし、つまりAFの制御を実施する。   In a period T3 from time t2 to t3 following the period T2, the derived corrected angular velocity is equal to or smaller than the threshold th3. In the period T3, the gimbal control unit 21 instructs the camera 30 to turn on AF (for example, CAF). That is, the gimbal control unit 21 restarts the AF. The camera 30 turns on the AF in accordance with the instruction from the gimbal 20, that is, controls the AF.

次に、ジンバルカメラ装置10の動作について説明する。   Next, the operation of the gimbal camera device 10 will be described.

図4は、ジンバルカメラ装置10の動作例を示すフローチャートである。なお、ここでは主に、角速度を基準にAFの許否を判定することを例示するが、角度を基準にAFの許否が判定されてよい。また、初期状態では、カウンタcは値0であり、CAFの設定はオンであってもオフであってもよい。図4では、AFとしてCAFを例示する。   FIG. 4 is a flowchart illustrating an operation example of the gimbal camera device 10. Here, the determination of whether to permit AF is mainly based on the angular velocity is exemplified, but the determination of whether to permit AF may be determined based on the angle. In the initial state, the value of the counter c is 0, and the setting of the CAF may be on or off. In FIG. 4, CAF is exemplified as AF.

まず、ジンバル制御部21は、角速度を取得する(S11)。この場合、ジンバル制御部21は、ロール軸周り、ピッチ軸周り、ロール軸周りの角速度の少なくとも1つを取得してよい。   First, the gimbal control unit 21 acquires an angular velocity (S11). In this case, the gimbal control unit 21 may acquire at least one of the circumference of the roll axis, the circumference of the pitch axis, and the angular velocity around the roll axis.

ジンバル制御部21は、角速度を補正するための誤差補正値を取得する(S12)。ジンバル制御部21は、メモリ22又はメモリ33から誤差補正値を取得してよい。ジンバル制御部21は、通信インタフェースを介して外部サーバから誤差補正値を取得してよい。誤差補正値は、3軸共通で1つでもよいし、3軸それぞれについて個別に用意され、少なくとも1つ(例えば3つ)でもよい。   The gimbal control unit 21 acquires an error correction value for correcting the angular velocity (S12). The gimbal control unit 21 may acquire the error correction value from the memory 22 or the memory 33. The gimbal control unit 21 may acquire an error correction value from an external server via a communication interface. One error correction value may be common to the three axes, or may be individually prepared for each of the three axes, and may be at least one (for example, three).

ジンバル制御部21は、補正済み角速度を取得する(S13)。この場合、ジンバル制御部21は、取得された角速度から誤差補正値を減算した減算値を、補正済み角速度として取得してよい。また、補正済み角速度は、単に角速度から誤差補正値を減算した減算値ではなく、この減算値が処理された値でもよい。   The gimbal control unit 21 acquires the corrected angular velocity (S13). In this case, the gimbal control unit 21 may acquire a subtraction value obtained by subtracting the error correction value from the acquired angular velocity as the corrected angular velocity. Further, the corrected angular velocity may be a value obtained by processing the subtraction value, not a subtraction value obtained by simply subtracting the error correction value from the angular velocity.

ジンバル制御部21は、補正済み角速度が閾値th3以下であるか否かを判定する(S14)。補正済み角速度が閾値th3以下である場合、ジンバル制御部21は、カウンタcに値1を加算する(S15)。   The gimbal control unit 21 determines whether the corrected angular velocity is equal to or less than the threshold th3 (S14). If the corrected angular velocity is equal to or less than the threshold th3, the gimbal control unit 21 adds 1 to the counter c (S15).

一方、S14において補正済み角速度が閾値th3より大きい場合、ジンバル制御部21は、カウンタcを値0に設定し(S16)、CAFをオフ(不実施)にするようカメラ30に指示する(S17)。なお、S17の実行時に既にCAFの設定がオフであった場合、S17の処理が省略されてよい。   On the other hand, if the corrected angular velocity is greater than the threshold th3 in S14, the gimbal control unit 21 sets the counter c to a value of 0 (S16), and instructs the camera 30 to turn off (not perform) the CAF (S17). . If the setting of CAF is already off at the time of execution of S17, the processing of S17 may be omitted.

S15又はS17の後、ジンバル制御部21は、カウンタcが閾値th4(例えば値5、値10)以上であるか否かを判定する(S18)。カウンタcが閾値th4未満である場合、S11に進み、次のタイミングでの角速度の取得が継続される。一方、カウンタcが閾値th4以上である場合、ジンバル制御部21は、CAFをオン(実施)にするよう、カメラ30に指示する(S19)。   After S15 or S17, the gimbal control unit 21 determines whether or not the counter c is equal to or larger than a threshold th4 (for example, value 5, value 10) (S18). If the value of the counter c is less than the threshold th4, the process proceeds to S11, and the acquisition of the angular velocity at the next timing is continued. On the other hand, when the counter c is equal to or larger than the threshold th4, the gimbal control unit 21 instructs the camera 30 to turn on (execute) the CAF (S19).

図4に示した動作によれば、補正済み角速度が閾値th3以下である状態が閾値th4に相当する回数連続して検出された場合、ジンバルカメラ装置10は、カメラ30に対し、CAFを実施させることができる。角度検出器24や慣性計測装置23による検出は所定時間毎に行われる。よって、回数の判定は、一定時間の経過の判定に対応する。一定時間が経過すると、カメラ30の振れも収まり、姿勢が安定化するので、ジンバルカメラ装置10は、安定した姿勢のカメラ30において合焦制御を実施できる。   According to the operation illustrated in FIG. 4, when the state where the corrected angular velocity is equal to or smaller than the threshold th3 is continuously detected the number of times corresponding to the threshold th4, the gimbal camera apparatus 10 causes the camera 30 to perform the CAF. be able to. The detection by the angle detector 24 and the inertial measurement device 23 is performed every predetermined time. Therefore, the determination of the number of times corresponds to the determination of the elapse of a certain time. After a certain period of time, the shake of the camera 30 stops, and the posture is stabilized, so that the gimbal camera device 10 can execute the focusing control in the camera 30 having the stable posture.

また、S17に示すように、図4の処理が反復されて実施される場合に、一度でも補正済み角速度が閾値th3より大きくなった場合には、カウンタcがリセットされ、CAFを実施するための計測が最初から開始されることになる。補正済み角速度が大きくなると、
角度検出器24や慣性計測装置23の検出誤差を加味しても、カメラ30の姿勢が安定化するまで時間を要することが予測されるためである。これにより、ジンバルカメラ装置10は、カメラ30の姿勢が安定化しない状態でカメラ30の合焦制御が行われることを抑制できる。
Further, as shown in S17, when the processing of FIG. 4 is repeatedly performed and the corrected angular velocity becomes larger than the threshold th3 even once, the counter c is reset and the CAF for performing the CAF is performed. The measurement will be started from the beginning. When the corrected angular velocity increases,
This is because it is expected that it will take time for the posture of the camera 30 to stabilize even if the detection errors of the angle detector 24 and the inertial measurement device 23 are taken into account. Thereby, the gimbal camera device 10 can suppress that the focusing control of the camera 30 is performed in a state where the posture of the camera 30 is not stabilized.

このように、ジンバルカメラ装置10は、ジンバル20の回転誤差を考慮したAF(例えばCAF)を実施できる。   As described above, the gimbal camera device 10 can perform AF (for example, CAF) in which the rotation error of the gimbal 20 is considered.

次に、比較例のジンバルカメラ装置と本実施形態のジンバルカメラ装置10について比較、考察する。   Next, the gimbal camera device of the comparative example and the gimbal camera device 10 of the present embodiment will be compared and considered.

比較例のジンバルカメラ装置では、姿勢センサの検出誤差が考慮されておらず、モータ(ロータ)の角度誤差が考慮されていない。この誤差情報は、カメラの撮像制御部へ送られ、実際のジンバル20の3軸方向の角速度や角度であるものと誤認識される。つまり、
みかけ上はカメラ30の姿勢が安定しているにも関わらず、角速度や角度が実際と異なる値とあり、ジンバル制御部(又は撮像制御部)が回転していると判断し、CAFを停止させることがあり得る。
In the gimbal camera device of the comparative example, the detection error of the attitude sensor is not considered, and the angle error of the motor (rotor) is not considered. This error information is sent to the imaging control unit of the camera, and is erroneously recognized as the actual angular velocity or angle of the gimbal 20 in the three axial directions. That is,
Apparently, although the attitude of the camera 30 is stable, the angular velocity and the angle have values different from the actual values, the gimbal control unit (or the imaging control unit) is determined to be rotating, and the CAF is stopped. It is possible.

これに対し、本実施形態のジンバルカメラ装置10は、カメラ30のメモリ33内に角度誤差情報(誤差補正情報)を予め格納しておくことで、この角度誤差情報を差し引いた状態でモータの回転角度情報を認識できる。角度誤差情報は、それぞれのロータによって異なる場合もあるので、それぞれのロータの特性が加味されて導出されてよい。又は、ジンバル制御部21が、ある程度の角速度検出値や角度検出値のばらつきを想定して、許容範囲の角度を設定してもよい。   On the other hand, the gimbal camera device 10 of the present embodiment stores the angle error information (error correction information) in the memory 33 of the camera 30 in advance, so that the rotation of the motor is performed in a state where the angle error information is subtracted. Can recognize angle information. Since the angle error information may be different for each rotor, it may be derived in consideration of the characteristics of each rotor. Alternatively, the gimbal control unit 21 may set the angle in an allowable range, assuming a certain degree of angular velocity detection value or variation in the angle detection value.

以上のように、ジンバルカメラ装置10(移動体の一例)は、カメラ30(撮像部の一例と、カメラ30が搭載されカメラ30の振れを補正するジンバル20(ジンバル部の一例)と、カメラ30及びジンバル20の少なくとも一方を制御するジンバル制御部21(制御部の一例)と、を備える。ジンバル20は、相互に直交する3軸(例えばロール軸、ピッチ軸、ヨー軸)の少なくとも1つの回転軸を中心に、カメラ30を回転自在に支持し、3軸の少なくとも1つの回転軸を中心に、カメラ30を回転させるモータ(例えばロータ)を備えてよい。ジンバル制御部21は、3軸の少なくとも1つの回転軸を中心とするカメラ30の回転の角速度を所定時間毎に1回取得してよい。ジンバル制御部21は、角速度の誤差を補正するための誤差補正値を取得してよい。ジンバル制御部21は、角速度から誤差補正値を減算して補正済み角速度(減算値の一例)を取得してよい。ジンバル制御部21は、補正済み角速度が閾値th3(第1の閾値の一例)以下となる角速度が所定回数(例えば閾値th4に相当する回数)連続して取得された場合、カメラ30に合焦制御(AF)の実行を指示してよい。   As described above, the gimbal camera device 10 (an example of a moving object) includes a camera 30 (an example of an imaging unit, a gimbal 20 on which the camera 30 is mounted and which corrects shake of the camera 30, and a camera 30). And a gimbal control unit 21 (an example of a control unit) that controls at least one of the gimbal 20. The gimbal 20 rotates at least one of three mutually orthogonal axes (for example, a roll axis, a pitch axis, and a yaw axis). The camera 30 may be rotatably supported about an axis, and may include a motor (for example, a rotor) that rotates the camera 30 about at least one of three axes. The angular velocity of the rotation of the camera 30 about at least one rotation axis may be acquired once every predetermined time.The gimbal control unit 21 may correct the error in correcting the angular velocity error. The gimbal control unit 21 may subtract the error correction value from the angular velocity to obtain a corrected angular velocity (an example of a subtraction value). (Example of First Threshold) When the angular velocity equal to or less than a predetermined number (for example, the number corresponding to the threshold th4) is continuously obtained, the camera 30 may be instructed to execute the focus control (AF).

これにより、ジンバルカメラ装置10は、カメラ30の姿勢の推定に用いる姿勢センサ(例えば角度検出器24や慣性計測装置23)の角度誤差を加味して、角速度が小さい状態がある程度継続した場合、カメラ30の姿勢が安定化したとして、AF実施できる。この場合、角度誤差を考慮して、ジンバルに搭載されたカメラの合焦精度を向上させる。よって、ジンバルカメラ装置10は、例えば、取得された角速度に応じてカメラ30の合焦制御を誤って停止させることを抑制できる。   Accordingly, the gimbal camera apparatus 10 can control the camera when the state where the angular velocity is small continues to some extent taking into account the angular error of the posture sensor (for example, the angle detector 24 or the inertial measurement device 23) used for estimating the posture of the camera 30. AF can be performed assuming that the posture of 30 is stabilized. In this case, the focusing accuracy of the camera mounted on the gimbal is improved in consideration of the angle error. Therefore, the gimbal camera device 10 can suppress, for example, erroneously stopping the focusing control of the camera 30 according to the acquired angular velocity.

また、ジンバル制御部21は、補正済み角速度が閾値th3より大きい場合、カメラ30に合焦制御の停止を指示してよい。   When the corrected angular velocity is larger than the threshold th3, the gimbal control unit 21 may instruct the camera 30 to stop the focusing control.

これにより、ジンバルカメラ装置10は、角度誤差を加味して、角速度が大きく、カメラ30が大きく振れていると予測される場合に、AFの実施を停止させることができる。   Accordingly, the gimbal camera device 10 can stop the execution of the AF when it is predicted that the angular velocity is large and the camera 30 is largely shaken in consideration of the angular error.

また、3軸は、ロール軸、ピッチ軸、及びヨー軸を含んでよい。誤差補正値は、ロール軸を中心とするカメラ30の回転の角速度の誤差を補正するための第1の誤差補正値と、ピッチ軸を中心とするカメラ30の回転の角速度の誤差を補正するための第2の誤差補正値と、ヨー軸を中心とするカメラ30の回転の角速度の誤差を補正するための第3の誤差補正値と、を含んでよい。   Further, the three axes may include a roll axis, a pitch axis, and a yaw axis. The error correction value is a first error correction value for correcting an error in the angular velocity of rotation of the camera 30 about the roll axis, and an error correction value for correcting an error in the angular velocity of rotation of the camera 30 about the pitch axis. And a third error correction value for correcting an error in the angular velocity of rotation of the camera 30 about the yaw axis.

これにより、ジンバルカメラ装置10は、ロール軸、ピッチ軸、及びヨー軸の各軸回りの回転検出における検出精度が異なる場合であっても、この検出精度の違いを加味して各軸毎に誤差補正値を保持しておくことで、角度誤差を加味したカメラ30の合焦精度を一層向上できる。   Accordingly, even if the detection accuracy in rotation detection around each of the roll axis, the pitch axis, and the yaw axis is different, the gimbal camera device 10 can provide an error for each axis in consideration of the difference in the detection accuracy. By holding the correction value, the focusing accuracy of the camera 30 taking into account the angle error can be further improved.

また、ロール軸用の誤差補正値は、ピッチ軸用の誤差補正値及びヨー軸用の誤差補正値よりも大きくてよい。   Further, the error correction value for the roll axis may be larger than the error correction value for the pitch axis and the error correction value for the yaw axis.

これにより、ジンバルカメラ装置10は、回転検出における検出精度が最も低いと予測されるロール軸周りの回転についての誤差補正値を他の軸周りの回転についての誤差補正値よりも大きくすることで、想定される角度誤差に合う誤差補正値を用いて、補正済み角速度を導出できる。よって、ジンバルカメラ装置10は、角度誤差を加味したカメラ30の合焦精度を一層向上できる。   Thereby, the gimbal camera device 10 increases the error correction value for rotation around the roll axis, which is predicted to have the lowest detection accuracy in rotation detection, than the error correction value for rotation around other axes. A corrected angular velocity can be derived using an error correction value that matches the assumed angle error. Therefore, the gimbal camera device 10 can further improve the focusing accuracy of the camera 30 in consideration of the angle error.

また、カメラ30は、動画を撮像してよく、ジンバル制御部21は、継続的に焦点位置を変更しながら合焦制御を行うCAFを実施してよい。   In addition, the camera 30 may capture a moving image, and the gimbal control unit 21 may perform a CAF that performs focusing control while continuously changing the focus position.

これにより、ジンバルカメラ装置10は、被写体に動きがあっても、角度誤差を加味して被写体に焦点を合わせながら、動画を撮像できる。   Accordingly, the gimbal camera device 10 can capture a moving image while focusing on the subject in consideration of the angular error even if the subject moves.

また、ジンバルカメラ装置10が把持部620を備えることで、撮像者が自由にジンバルカメラ装置10を把持して移動できる。この場合でも、ジンバルカメラ装置10は、ジンバル20の角度誤差を加味して合焦動作を実施でき、合焦精度を向上できる。よって、ジンバルカメラ装置10は、高画質な画像を撮像可能である。   In addition, since the gimbal camera device 10 includes the holding unit 620, the photographer can freely hold and move the gimbal camera device 10. Even in this case, the gimbal camera device 10 can perform the focusing operation in consideration of the angular error of the gimbal 20, and can improve the focusing accuracy. Therefore, the gimbal camera device 10 can capture a high-quality image.

(他のジンバルカメラ装置)
図5は、他のジンバルカメラ装置10Bの外観例を示す斜視図である。図5において、図1に示したジンバルカメラ装置10と同様の構成部については、同一の符号を付し、その説明を省略又は簡略化する。
(Other gimbal camera devices)
FIG. 5 is a perspective view showing an example of the appearance of another gimbal camera device 10B. 5, the same components as those of the gimbal camera device 10 shown in FIG. 1 are denoted by the same reference numerals, and the description thereof will be omitted or simplified.

ジンバルカメラ装置10Bは、装置本体60Bと、ジンバル20Bと、携帯端末50Bとを含む構成を有する。装置本体60Bは、例えば略円柱状に形成された部材である。装置本体60Bの上端には、ジンバル20Bが着脱自在に装着される。装置本体60Bの上部正面には、傾斜を有する操作面610が形成される。操作面610には、各種ボタンが配置される。各種ボタンは、シャッタボタン611、録画ボタン612、及び操作ボタン613を含む。装置本体60の中央下部は、撮像者の手で把持される把持部620に形成される。   The gimbal camera device 10B has a configuration including a device main body 60B, a gimbal 20B, and a portable terminal 50B. The device main body 60B is, for example, a member formed in a substantially columnar shape. A gimbal 20B is detachably mounted on the upper end of the apparatus main body 60B. An operation surface 610 having an inclination is formed on the upper front surface of the apparatus main body 60B. Various buttons are arranged on the operation surface 610. The various buttons include a shutter button 611, a recording button 612, and an operation button 613. The lower center part of the apparatus main body 60 is formed in a grip part 620 that is gripped by the hand of the photographer.

ジンバル20Bは、装置本体60Bの上端に着脱自在に取り付けられる。ジンバル20Bには、取付部315を介して、携帯端末50Bが取り付けられる。ジンバル20Bは、取付部315に取り付けられた携帯端末50Bの位置や向きを可変自在に支持する。   The gimbal 20B is detachably attached to the upper end of the device main body 60B. The mobile terminal 50B is attached to the gimbal 20B via the attachment part 315. The gimbal 20B variably supports the position and orientation of the portable terminal 50B attached to the attachment section 315.

ジンバル20Bは、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217を有する。ヨー軸モータ215は、装置本体60Bの上端に配置される。ロール軸モータ216は、アーム部材221を介してヨー軸モータ215に取り付けられる。ピッチ軸モータ217は、アーム部材221を介してロール軸モータ216に取り付けられる。ジンバル20Bは、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217を駆動し、被写体に対する携帯端末50B(携帯端末50Bが備える撮像部)の向きが振れないように、ヨー軸、ロール軸及びピッチ軸の3軸方向に携帯端末50Bを回転自在に支持する。つまり、ジンバル20Bは、携帯端末50B(携帯端末50Bが備える撮像部)の向き(姿勢)を安定化させるスタビライザ機能を有する。ここでは、携帯端末50Bの撮像部が、図1のカメラ30に相当する。   The gimbal 20B has a yaw axis motor 215, a roll axis motor 216, and a pitch axis motor 217. The yaw axis motor 215 is arranged at the upper end of the apparatus main body 60B. The roll axis motor 216 is attached to the yaw axis motor 215 via the arm member 221. The pitch axis motor 217 is attached to the roll axis motor 216 via the arm member 221. The gimbal 20B drives the yaw axis motor 215, the roll axis motor 216, and the pitch axis motor 217, and controls the yaw axis, the roll axis, and the yaw axis, the roll axis so that the orientation of the portable terminal 50B (the imaging unit provided in the portable terminal 50B) with respect to the subject does not change. The portable terminal 50B is rotatably supported in three pitch axis directions. That is, the gimbal 20B has a stabilizer function of stabilizing the direction (posture) of the mobile terminal 50B (the imaging unit provided in the mobile terminal 50B). Here, the imaging unit of the portable terminal 50B corresponds to the camera 30 in FIG.

ジンバル20B及び携帯端末50Bは、相互に有線通信(例えばUSB通信)又は無線通信(例えば無線LAN、Bluetooth(登録商標)、近距離通信、公衆無線回線)により通信可能である。   The gimbal 20B and the mobile terminal 50B can communicate with each other by wired communication (for example, USB communication) or wireless communication (for example, wireless LAN, Bluetooth (registered trademark), short-range communication, or public wireless line).

携帯端末50Bは、携帯端末50Bが備える撮像部(不図示)により撮像された画像を、リアルタイムに表示してよい。この画像は、ライブビュー画像とも称される。携帯端末50Bの撮像部は、ジンバル20Bに搭載されているので、ジンバルカメラ装置10と同様に、ジンバル20Bによる振れ補正による影響(例えばカメラ30の撮像方向が振れの発生前の時点に戻ろうとすることによる影響)を受け、ジンバルモードによって携帯端末50Bの振れが安定化するまでの時間が長くなることもある。この場合でも、ジンバルカメラ装置10Bは、ジンバルカメラ装置10と同様に、ジンバル20Bの角度誤差を加味して合焦制御できるので、画質の低下を抑制して静止画等を撮像できる。   The mobile terminal 50B may display an image captured by an imaging unit (not shown) provided in the mobile terminal 50B in real time. This image is also called a live view image. Since the imaging unit of the mobile terminal 50B is mounted on the gimbal 20B, similarly to the gimbal camera device 10, the effect of the shake correction by the gimbal 20B (for example, the imaging direction of the camera 30 tends to return to the time before the occurrence of the shake). In some cases, the time required for the shake of the portable terminal 50B to stabilize in the gimbal mode may be prolonged. Also in this case, since the gimbal camera device 10B can perform focusing control in consideration of the angle error of the gimbal 20B similarly to the gimbal camera device 10, it is possible to capture a still image or the like while suppressing deterioration in image quality.

(無人航空機に搭載されたジンバル)
図6は、ジンバル200が搭載された無人航空機100の外観を示す斜視図である。無人航空機100は移動体の一例である。無人航空機100は、UAV本体102と、ジンバル200と、撮像部220と、複数の撮像部230と、UAV制御部110(不図示)と、を含む構成である。UAV制御部110は、制御部の一例である。
(Gimbal mounted on unmanned aerial vehicle)
FIG. 6 is a perspective view illustrating an appearance of the unmanned aerial vehicle 100 on which the gimbal 200 is mounted. The unmanned aerial vehicle 100 is an example of a moving object. The unmanned aerial vehicle 100 is configured to include a UAV main body 102, a gimbal 200, an imaging unit 220, a plurality of imaging units 230, and a UAV control unit 110 (not shown). UAV control section 110 is an example of a control section.

UAV本体102は、複数の回転翼(プロペラ)を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼を用いて無人航空機100を飛行させる。回転翼の数は、4つに限定されない。また、無人航空機100は、回転翼を有さない固定翼機でよい。   The UAV main body 102 includes a plurality of rotors (propellers). The UAV body 102 causes the unmanned aerial vehicle 100 to fly by controlling the rotation of a plurality of rotors. The UAV body 102 causes the unmanned aerial vehicle 100 to fly using, for example, four rotors. The number of rotors is not limited to four. Further, the unmanned aerial vehicle 100 may be a fixed wing aircraft having no rotary wing.

ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像部220を回転させることで、撮像部220の撮像方向を変更してよい。   The gimbal 200 may rotatably support the imaging unit 220 about the yaw axis, the pitch axis, and the roll axis. The gimbal 200 may change the imaging direction of the imaging unit 220 by rotating the imaging unit 220 about at least one of the yaw axis, the pitch axis, and the roll axis.

撮像部220は、所望の撮像範囲に含まれる被写体(例えば、空撮対象となる上空の様子、山や川等の景色、地上の建物)を撮像する撮像用のカメラである。   The imaging unit 220 is an imaging camera that captures an image of a subject (for example, an aerial image of the sky, scenery such as a mountain or river, or a building on the ground) included in a desired imaging range.

複数の撮像部230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラである。   The plurality of imaging units 230 are sensing cameras that image the periphery of the unmanned aerial vehicle 100 to control the flight of the unmanned aerial vehicle 100.

UAV制御部110は、無人航空機100の飛行を制御する。UAV制御部110は、ジンバル200、回転翼機構(不図示)、撮像部220及び撮像部230を制御する。また、UAV制御部110は、ジンバル制御部21と同様の機能を有する。この場合、無人航空機100の場合、UAV制御部110がジンバル制御部21に相当し、撮像部220がカメラ30に相当する。   UAV control section 110 controls the flight of unmanned aerial vehicle 100. The UAV control unit 110 controls the gimbal 200, the rotary wing mechanism (not shown), the imaging unit 220, and the imaging unit 230. The UAV controller 110 has the same function as the gimbal controller 21. In this case, in the case of the unmanned aerial vehicle 100, the UAV control unit 110 corresponds to the gimbal control unit 21, and the imaging unit 220 corresponds to the camera 30.

このように、撮像部220は、ジンバル200に搭載されているので、ジンバルカメラ装置10と同様に、ジンバル200による振れ補正による影響(例えば撮像部220の撮像方向が振れの発生前の時点に戻ろうとすることによる影響)を受ける。この場合でも、無人航空機100は、ジンバルカメラ装置10,10Bと同様に、ジンバル200の角度誤差を加味して合焦制御できるので、画質の低下を抑制して画像を撮像できる。また、無人航空機100は、飛行中に、例えば気流の影響を受けても、ジンバル200により撮像部220の振れを補正しながら、ジンバル200の角度誤差を加味して合焦制御できる。よって、無人航空機100は、自由な方向に飛行しながら、撮像部220による撮像方向を任意の方向に向け、高画質な画像を撮像できる。   As described above, since the imaging unit 220 is mounted on the gimbal 200, similarly to the gimbal camera device 10, the influence of the shake correction by the gimbal 200 (for example, the imaging direction of the imaging unit 220 is returned to the time before the occurrence of the shake) Effect of trying to do so). Also in this case, similarly to the gimbal camera devices 10 and 10B, the unmanned aerial vehicle 100 can perform focusing control in consideration of the angle error of the gimbal 200, and thus can capture an image while suppressing a decrease in image quality. In addition, the unmanned aerial vehicle 100 can perform focusing control in consideration of the angular error of the gimbal 200 while correcting the shake of the imaging unit 220 by the gimbal 200, even during the flight, for example, even if the airflow is affected. Therefore, the unmanned aerial vehicle 100 can shoot a high-quality image by directing the imaging direction of the imaging unit 220 to an arbitrary direction while flying in a free direction.

なお、上記実施形態では、角度誤差を加味して合焦制御することを例示したが、検出値として角速度を用いることに限らない。例えば、角速度の代わりに角度を用いて、角度誤差を基に合焦制御してもよい。具体的な動作は、角速度について説明した内容を、角度に適用してよい。   In the above-described embodiment, the focus control is performed in consideration of the angle error. However, the present invention is not limited to using the angular velocity as the detection value. For example, focusing may be controlled based on an angle error using an angle instead of the angular velocity. As a specific operation, the contents described for the angular velocity may be applied to the angle.

つまり、ジンバル制御部21は、3軸の少なくとも1つの回転軸を中心とするカメラ30の回転の速度を所定時間毎に1回取得してよい。ジンバル制御部21は、角度の誤差を補正するための誤差補正値を取得してよい。ジンバル制御部21は、角度から誤差補正値を減算して補正済み角度(減算値の一例)を取得してよい。ジンバル制御部21は、補正済み角度が閾値th5以下となる角度が所定回数(例えば閾値th4に相当する回数)連続して取得された場合、カメラ30に合焦制御(AF)の実行を指示してよい。   That is, the gimbal control unit 21 may acquire the rotation speed of the camera 30 about at least one of the three rotation axes once every predetermined time. The gimbal control unit 21 may acquire an error correction value for correcting an angle error. The gimbal control unit 21 may obtain a corrected angle (an example of a subtraction value) by subtracting the error correction value from the angle. The gimbal control unit 21 instructs the camera 30 to execute focus control (AF) when the angle at which the corrected angle is equal to or smaller than the threshold th5 is continuously obtained a predetermined number of times (for example, the number of times corresponding to the threshold th4). May be.

この場合でも、ジンバルカメラ装置10は、カメラ30の姿勢の推定に用いる姿勢センサ(例えば角度検出器24や慣性計測装置23)の角度誤差を加味して、角度が小さい状態がある程度継続した場合、カメラ30の姿勢が安定化したとして、AF実施できる。この場合、角度誤差を考慮して、ジンバル20に搭載されたカメラ30の合焦精度を向上させる。よって、ジンバルカメラ装置10は、例えば、取得された速度に応じてカメラ30の合焦制御を誤って停止させることを抑制できる。また、ジンバルカメラ装置10は、実際には振れが生じていないにも関わらずに合焦制御が停止されたり、振れが生じているにも関わらずに合焦制御が停止されなかったりして、CAFの動作タイミングが所望のタイミングと異なることを抑制できる。   Also in this case, the gimbal camera device 10 considers the angle error of the posture sensor (for example, the angle detector 24 or the inertial measurement device 23) used for estimating the posture of the camera 30, and if the state where the angle is small continues to some extent, AF can be performed assuming that the posture of the camera 30 is stabilized. In this case, the focusing accuracy of the camera 30 mounted on the gimbal 20 is improved in consideration of the angle error. Therefore, the gimbal camera device 10 can suppress, for example, erroneously stopping the focusing control of the camera 30 according to the acquired speed. In addition, the gimbal camera device 10 stops the focus control even though the shake has not actually occurred, or the focus control has not been stopped even though the shake has occurred, It is possible to prevent the operation timing of the CAF from being different from a desired timing.

なお、上記実施形態では、ジンバル制御部21が角度誤差を加味して合焦制御することを主導することを例示したが、他の制御部(例えば撮像制御部31)が角度誤差を加味して合焦制御することを主導してもよい。具体的な動作は、ジンバル制御部21主導の場合について説明した内容を、撮像制御部31主導の場合に適用してよい。   In the above-described embodiment, the gimbal control unit 21 instructs to perform focusing control in consideration of the angle error. However, another control unit (for example, the imaging control unit 31) considers the angle error. Focus control may be led. For the specific operation, the content described for the case where the gimbal control unit 21 is led may be applied to the case where the imaging control unit 31 is led.

つまり、撮像制御部31は、3軸の少なくとも1つの回転軸を中心とするカメラ30の回転の角速度を所定時間毎に1回取得してよい。撮像制御部31は、角速度の誤差を補正するための誤差補正値を取得してよい。撮像制御部31は、角速度から誤差補正値を減算して補正済み角速度(減算値の一例)を取得してよい。撮像制御部31は、は、補正済み角速度が閾値th3(第1の閾値の一例)以下となる角速度が所定回数(例えば閾値th4に相当する回数)連続して取得された場合、カメラ30に合焦制御(AF)の実行を指示してよく、つまり合焦制御してよい。   That is, the imaging control unit 31 may acquire the angular velocity of rotation of the camera 30 about at least one of the three rotation axes once every predetermined time. The imaging control unit 31 may acquire an error correction value for correcting an error in angular velocity. The imaging control unit 31 may obtain the corrected angular velocity (an example of the subtraction value) by subtracting the error correction value from the angular velocity. When the angular velocity at which the corrected angular velocity is equal to or less than the threshold th3 (an example of a first threshold) is continuously acquired a predetermined number of times (for example, the number corresponding to the threshold th4), the imaging control unit 31 determines that Execution of focus control (AF) may be instructed, that is, focus control may be performed.

この場合でも、ジンバルカメラ装置10は、ジンバル制御部21が主導する場合と同様の効果を得ることができる。   Also in this case, the gimbal camera device 10 can obtain the same effect as the case where the gimbal control unit 21 takes the initiative.

以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。   As described above, the present disclosure has been described using the embodiment, but the technical scope of the present disclosure is not limited to the range described in the embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be made to the embodiments described above. It is also apparent from the description of the claims that embodiments with such changes or improvements can be included in the technical scope of the present disclosure.

特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。   The execution order of each processing such as operation, procedure, step, and step in the apparatus, system, program, and method shown in the claims, the description, and the drawings is particularly “before”, “before”. And the like, and can be realized in any order as long as the output of the previous process is not used in the subsequent process. Even if the operation flow in the claims, the specification, and the drawings is described using “first”, “next”, and the like for convenience, it means that it is essential to implement in this order is not.

また、本開示は、上記実施形態の装置の機能を実現するプログラムを、ネットワークあるいは各種記憶媒体を介して装置に供給し、この装置内のコンピュータが読み出して実行するプログラム、及びこのプログラムが記憶された記録媒体も適用範囲である。   Further, the present disclosure supplies a program for realizing the functions of the device of the above-described embodiment to the device via a network or various storage media, and reads and executes a program in a computer in the device, and stores the program. The recording media used are also applicable.

10,10B ジンバルカメラ装置
20,20B,200 ジンバル
21 ジンバル制御部
22 メモリ
23 慣性計測装置
24 角度検出器
25 ヨー軸回転機構
26 ピッチ軸回転機構
27 ロール軸回転機構
28 インタフェース
29 操作部
30 カメラ
31 撮像制御部
32 レンズ制御部
33 メモリ
34 撮像素子
35,36 レンズ駆動部
37 フォーカスレンズ
38 ズームレンズ
50 モニタ
50B 携帯端末
60 装置本体
63 取付部
100 無人航空機
102 UAV本体
210 取付部
211 解除ボタン
215 ヨー軸モータ
216 ロール軸モータ
217 ピッチ軸モータ
221,222 アーム部材
220,230 撮像部
311 筐体
315 取付部
610 操作面
611 シャッタボタン
612 録画ボタン
613 操作ボタン
614 インジケータ
620 把持部
10, 10B Gimbal camera device 20, 20B, 200 Gimbal 21 Gimbal control unit 22 Memory 23 Inertial measurement device 24 Angle detector 25 Yaw axis rotation mechanism 26 Pitch axis rotation mechanism 27 Roll axis rotation mechanism 28 Interface 29 Operation unit 30 Camera 31 Imaging Control unit 32 Lens control unit 33 Memory 34 Image sensor 35, 36 Lens driving unit 37 Focus lens 38 Zoom lens 50 Monitor 50B Portable terminal 60 Device main body 63 Mounting unit 100 Unmanned aerial vehicle 102 UAV main body 210 Mounting unit 211 Release button 215 Yaw axis motor 216 Roll axis motor 217 Pitch axis motor 221, 222 Arm member 220, 230 Imaging section 311 Housing 315 Mounting section 610 Operation surface 611 Shutter button 612 Recording button 613 Operation button 614 Indicator 620 Gripper

Claims (14)

撮像部と、前記撮像部が搭載され前記撮像部の振れを補正するジンバル部と、前記撮像部及び前記ジンバル部の少なくとも一方を制御する制御部と、を備える移動体であって、
前記ジンバル部は、
相互に直交する3軸の少なくとも1つの回転軸を中心に、前記撮像部を回転自在に支持し、
前記3軸の少なくとも1つの回転軸を中心に、前記撮像部を回転させるモータを備え、
前記制御部は、
前記3軸の少なくとも1つの回転軸を中心とする前記撮像部の回転の角速度を所定時間毎に1回取得し、
前記角速度の誤差を補正するための誤差補正値を取得し、
前記角速度から前記誤差補正値を減算して減算値を取得し、
前記減算値が第1の閾値以下となる前記角速度が所定回数連続して取得された場合、前記撮像部に合焦制御の実行を指示する、
移動体。
A moving body including: an imaging unit, a gimbal unit on which the imaging unit is mounted and which corrects shake of the imaging unit, and a control unit that controls at least one of the imaging unit and the gimbal unit.
The gimbal part is
The imaging unit is rotatably supported around at least one rotation axis of three axes orthogonal to each other,
A motor for rotating the imaging unit around at least one of the three axes;
The control unit includes:
Acquiring an angular velocity of rotation of the imaging unit about at least one of the three axes once every predetermined time;
Obtain an error correction value for correcting the angular velocity error,
Obtain a subtraction value by subtracting the error correction value from the angular velocity,
When the angular velocity at which the subtraction value is equal to or less than a first threshold is continuously obtained a predetermined number of times, instructs the imaging unit to execute focusing control;
Moving body.
前記制御部は、前記減算値が前記第1の閾値より大きい場合、前記撮像部に合焦制御の停止を指示する、
請求項1に記載の移動体。
When the subtraction value is larger than the first threshold, the control unit instructs the imaging unit to stop focusing control.
The moving object according to claim 1.
前記3軸は、ロール軸、ピッチ軸、及びヨー軸を含み、
前記誤差補正値は、
ロール軸を中心とする前記撮像部の回転の角速度の誤差を補正するための第1の誤差補正値と、
ピッチ軸を中心とする前記撮像部の回転の角速度の誤差を補正するための第2の誤差補正値と、
ヨー軸を中心とする前記撮像部の回転の角速度の誤差を補正するための第3の誤差補正値と、を含む、
請求項1または2に記載の移動体。
The three axes include a roll axis, a pitch axis, and a yaw axis,
The error correction value is:
A first error correction value for correcting an error in the angular velocity of rotation of the imaging unit about the roll axis;
A second error correction value for correcting an error in the angular velocity of rotation of the imaging unit about a pitch axis;
A third error correction value for correcting an error in the angular velocity of rotation of the imaging unit about the yaw axis.
The moving object according to claim 1.
前記第1の誤差補正値は、前記第2の誤差補正値及び前記第3の誤差補正値よりも大きい、
請求項3に記載の移動体。
The first error correction value is larger than the second error correction value and the third error correction value;
The moving object according to claim 3.
前記撮像部は、動画を撮像し、
前記制御部は、継続的に焦点位置を変更しながら前記合焦制御を行うよう、前記撮像部に指示する、
請求項1〜4のいずれか1項に記載の移動体。
The imaging unit captures a moving image,
The control unit instructs the imaging unit to perform the focusing control while continuously changing a focus position,
The moving body according to claim 1.
ユーザにより把持される把持部、を更に備える、
請求項1〜5のいずれか1項に記載の移動体。
A grip portion gripped by a user,
The moving body according to claim 1.
前記制御部は、前記移動体の飛行を制御する、
請求項1〜5いずれか1項に記載の移動体。
The control unit controls the flight of the moving body,
The moving body according to claim 1.
撮像部と、
前記撮像部が搭載され、前記撮像部の振れを補正し、相互に直交する3軸の少なくとも1つの回転軸を中心に前記撮像部を回転自在に支持し、前記3軸の少なくとも1つの回転軸を中心に前記撮像部を回転させるモータを備えるジンバル部と、
を備える移動体における合焦制御方法であって、
前記3軸の少なくとも1つの回転軸を中心とする前記撮像部の回転の角速度を所定時間毎に1回取得するステップと、
前記角速度の誤差を補正するための誤差補正値を取得するステップと、
前記角速度から前記誤差補正値を減算して減算値を取得するステップと、
前記減算値が第1の閾値以下となる前記角速度が所定回数連続して取得された場合、前記撮像部に合焦制御の実行を指示するステップと、
を有する合焦制御方法。
An imaging unit;
The image pickup unit is mounted, the shake of the image pickup unit is corrected, the image pickup unit is rotatably supported around at least one rotation axis of three axes orthogonal to each other, and at least one rotation axis of the three axes is provided. A gimbal unit including a motor that rotates the imaging unit around
A focusing control method for a moving object including:
Acquiring an angular velocity of rotation of the imaging unit about at least one of the three rotation axes once every predetermined time;
Obtaining an error correction value for correcting the angular velocity error,
Subtracting the error correction value from the angular velocity to obtain a subtraction value;
When the angular velocity at which the subtraction value is equal to or less than a first threshold is continuously obtained a predetermined number of times, instructing the imaging unit to execute focusing control;
And a focusing control method.
前記合焦制御の実行を指示するステップは、前記減算値が前記第1の閾値より大きい場合、前記撮像部に合焦制御の停止を指示するステップを含む、
請求項8に記載の合焦制御方法。
The step of instructing execution of the focusing control includes a step of instructing the imaging unit to stop focusing control when the subtraction value is larger than the first threshold value.
A focusing control method according to claim 8.
前記3軸は、ロール軸、ピッチ軸、及びヨー軸を含み、
前記誤差補正値は、
ロール軸を中心とする前記撮像部の回転の角速度の誤差を補正するための第1の誤差補正値と、
ピッチ軸を中心とする前記撮像部の回転の角速度の誤差を補正するための第2の誤差補正値と、
ヨー軸を中心とする前記撮像部の回転の角速度の誤差を補正するための第3の誤差補正値と、を含む、
請求項8または9に記載の合焦制御方法。
The three axes include a roll axis, a pitch axis, and a yaw axis,
The error correction value is:
A first error correction value for correcting an error in the angular velocity of rotation of the imaging unit about the roll axis;
A second error correction value for correcting an error in the angular velocity of rotation of the imaging unit about a pitch axis;
A third error correction value for correcting an error in the angular velocity of rotation of the imaging unit about the yaw axis.
The focus control method according to claim 8.
前記第1の誤差補正値は、前記第2の誤差補正値及び前記第3の誤差補正値よりも大きい、
請求項10に記載の合焦制御方法。
The first error correction value is larger than the second error correction value and the third error correction value;
A focusing control method according to claim 10.
動画を撮像するステップ、を更に含み、
前記合焦制御の実行を指示するステップは、継続的に焦点位置を変更しながら前記合焦制御を行うよう指示するステップを含む、
請求項8〜11のいずれか1項に記載の合焦制御方法。
Capturing a moving image,
The step of instructing execution of the focusing control includes an instruction of performing the focusing control while continuously changing a focus position.
A focusing control method according to claim 8.
撮像部と、
前記撮像部が搭載され、前記撮像部の振れを補正し、相互に直交する3軸の少なくとも1つの回転軸を中心に前記撮像部を回転自在に支持し、前記3軸の少なくとも1つの回転軸を中心に前記撮像部を回転させるモータを備えるジンバル部と、
を備える移動体に、
前記3軸の少なくとも1つの回転軸を中心とする前記撮像部の回転の角速度を所定時間毎に1回取得するステップと、
前記角速度の誤差を補正するための誤差補正値を取得するステップと、
前記角速度から前記誤差補正値を減算して減算値を取得するステップと、
前記減算値が第1の閾値以下となる前記角速度が所定回数連続して取得された場合、前記撮像部に合焦制御の実行を指示するステップと、
を実行させるためのプログラム。
An imaging unit;
The image pickup unit is mounted, the shake of the image pickup unit is corrected, the image pickup unit is rotatably supported around at least one rotation axis of three axes orthogonal to each other, and at least one rotation axis of the three axes is provided. A gimbal unit including a motor that rotates the imaging unit around
To a moving object with
Acquiring an angular velocity of rotation of the imaging unit about at least one of the three rotation axes once every predetermined time;
Obtaining an error correction value for correcting the angular velocity error,
Subtracting the error correction value from the angular velocity to obtain a subtraction value;
When the angular velocity at which the subtraction value is equal to or less than a first threshold is continuously obtained a predetermined number of times, instructing the imaging unit to execute focusing control;
A program for executing
撮像部と、
前記撮像部が搭載され、前記撮像部の振れを補正し、相互に直交する3軸の少なくとも1つの回転軸を中心に前記撮像部を回転自在に支持し、前記3軸の少なくとも1つの回転軸を中心に前記撮像部を回転させるモータを備えるジンバル部と、
を備える移動体に、
前記3軸の少なくとも1つの回転軸を中心とする前記撮像部の回転の角速度を所定時間毎に1回取得するステップと、
前記角速度の誤差を補正するための誤差補正値を取得するステップと、
前記角速度から前記誤差補正値を減算して減算値を取得するステップと、
前記減算値が第1の閾値以下となる前記角速度が所定回数連続して取得された場合、前記撮像部に合焦制御の実行を指示するステップと、
を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
An imaging unit;
The image pickup unit is mounted, the shake of the image pickup unit is corrected, the image pickup unit is rotatably supported around at least one rotation axis of three axes orthogonal to each other, and at least one rotation axis of the three axes is provided. A gimbal unit including a motor that rotates the imaging unit around
To a moving object with
Acquiring an angular velocity of rotation of the imaging unit about at least one of the three rotation axes once every predetermined time;
Obtaining an error correction value for correcting the angular velocity error,
Subtracting the error correction value from the angular velocity to obtain a subtraction value;
When the angular velocity at which the subtraction value is equal to or less than a first threshold is continuously obtained a predetermined number of times, instructing the imaging unit to execute focusing control;
And a computer-readable recording medium on which a program for executing the program is recorded.
JP2018142568A 2018-07-30 2018-07-30 Moving vehicle, focus control method, program, and recording medium Pending JP2020020878A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018142568A JP2020020878A (en) 2018-07-30 2018-07-30 Moving vehicle, focus control method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018142568A JP2020020878A (en) 2018-07-30 2018-07-30 Moving vehicle, focus control method, program, and recording medium

Publications (1)

Publication Number Publication Date
JP2020020878A true JP2020020878A (en) 2020-02-06

Family

ID=69588485

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018142568A Pending JP2020020878A (en) 2018-07-30 2018-07-30 Moving vehicle, focus control method, program, and recording medium

Country Status (1)

Country Link
JP (1) JP2020020878A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022149448A (en) * 2021-03-25 2022-10-06 キヤノンプレシジョン株式会社 Gimbal and system having the same
WO2023238631A1 (en) * 2022-06-08 2023-12-14 ソニーグループ株式会社 Control method, gimbal, flying body, gimbal-equipped flying body, and program

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008232944A (en) * 2007-03-22 2008-10-02 Fujitsu Ltd Control apparatus
JP2008309947A (en) * 2007-06-13 2008-12-25 Fujifilm Corp Imaging apparatus and imaging method
JP2016515348A (en) * 2013-03-15 2016-05-26 フリーフライ システムズ インコーポレイテッド Method and system for enabling pointing control of actively stabilized cameras
WO2018092282A1 (en) * 2016-11-18 2018-05-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド Control device, imaging system, moving body, control method, and program
JP2018113595A (en) * 2017-01-12 2018-07-19 富士通株式会社 Imaging apparatus and focusing control program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008232944A (en) * 2007-03-22 2008-10-02 Fujitsu Ltd Control apparatus
JP2008309947A (en) * 2007-06-13 2008-12-25 Fujifilm Corp Imaging apparatus and imaging method
JP2016515348A (en) * 2013-03-15 2016-05-26 フリーフライ システムズ インコーポレイテッド Method and system for enabling pointing control of actively stabilized cameras
WO2018092282A1 (en) * 2016-11-18 2018-05-24 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド Control device, imaging system, moving body, control method, and program
JP2018113595A (en) * 2017-01-12 2018-07-19 富士通株式会社 Imaging apparatus and focusing control program

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022149448A (en) * 2021-03-25 2022-10-06 キヤノンプレシジョン株式会社 Gimbal and system having the same
JP7264931B2 (en) 2021-03-25 2023-04-25 キヤノンプレシジョン株式会社 Gimbal and system with same
WO2023238631A1 (en) * 2022-06-08 2023-12-14 ソニーグループ株式会社 Control method, gimbal, flying body, gimbal-equipped flying body, and program

Similar Documents

Publication Publication Date Title
CN106210544B (en) Mobile terminal and anti-shake processing method and system for video shot by mobile terminal
JP2007128077A (en) Systems and methods for improving autofocus in digital imaging systems
CN108513651B (en) Handheld holder device, control method thereof and computer readable storage medium
JP2017072986A (en) Autonomous flying device, control method and program of autonomous flying device
WO2016002355A1 (en) Image capturing device and image capturing method
WO2018191964A1 (en) Camera mount control method, and camera mount
US20210240059A1 (en) Imaging method and imaging system
CN108780324A (en) Unmanned plane, unmanned aerial vehicle (UAV) control method and apparatus
JP2020020878A (en) Moving vehicle, focus control method, program, and recording medium
CN109725652B (en) Method for resolving and controlling course of unmanned aerial vehicle holder
JP2021096865A (en) Information processing device, flight control instruction method, program, and recording medium
JP2014016451A (en) Imaging device, method for calculating camera shake correction amount, and program for calculating camera shake correction amount
JP6865720B2 (en) Mobile objects, imaging control methods, programs, and recording media
JP2017044876A (en) Imaging apparatus and image shake correction method
JP6641573B1 (en) Determination device, imaging device, imaging system, moving object, determination method, and program
JP2019012201A (en) Image pick-up device, image pick-up program, and image pick-up method
JP2013243552A (en) Imaging apparatus, control method of the same, program, and storage medium
JP2018197825A (en) Control device and method, and imaging device
JP5735759B2 (en) IMAGING DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
WO2022041013A1 (en) Control method, handheld gimbal, system, and computer readable storage medium
JP2007121501A (en) Camera
KR102085866B1 (en) Image photographing device, image photographing system and method of operation the same
CN111213370B (en) Moving object, focus control method, program, and recording medium
JP7017961B2 (en) Blur correction device and blur correction method
US9106822B2 (en) Image apparatus with motion control

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210204

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211221