JP2016220005A

JP2016220005A - Imaging apparatus

Info

Publication number: JP2016220005A
Application number: JP2015102316A
Authority: JP
Inventors: 将臣冨澤; Masaomi Tomizawa; 國雄山宮; Kunio Yamamiya; 裕一土持; Yuichi Tsuchimochi; 太一郎河内; Taiichiro Kawauchi; 野中　修; Osamu Nonaka; 修野中
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2015-05-19
Filing date: 2015-05-19
Publication date: 2016-12-22

Abstract

PROBLEM TO BE SOLVED: To provide an imaging apparatus suitable for self-photographing.SOLUTION: The imaging apparatus includes: a travel unit 20 which is an unmanned aircraft; a camera 10 loaded on the travel unit 20, for imaging a subject to generate image data; and control units 1 and 21 which control the operation of the travel unit 20 and the camera 10. The control units 1 and 21 execute hovering-back control to move the travel unit 20 to an opposite direction to an imaging direction by the camera 10, and after executing the hovering-back control, execute imaging control to cause the camera 10 to image.SELECTED DRAWING: Figure 1

Description

本発明は、撮像装置に関する。 The present invention relates to an imaging apparatus.

近年、ドローン等の無人航空機にカメラを搭載し、無人航空機を飛行させた状態で、カメラにて撮影を行う撮像装置が知られている（例えば、特許文献１参照）。 2. Description of the Related Art In recent years, there has been known an imaging apparatus in which a camera is mounted on an unmanned aerial vehicle such as a drone and the unmanned aircraft is allowed to fly, and photographing is performed with the camera (see, for example, Patent Document 1).

特開２０１４−８５４３８号公報JP 2014-85438 A

特許文献１に記載の撮像装置は、例えば、無人航空機をカメラの三脚の代わりとして用い、ユーザ自身を被写体として撮影（自分撮り撮影）することには適していない。 The imaging device described in Patent Document 1 is not suitable for taking an image of a user himself as a subject (self-portrait photography) using an unmanned aerial vehicle as a camera tripod, for example.

本発明は、上記に鑑みてなされたものであって、自分撮り撮影に適した撮像装置を提供することを目的とする。 The present invention has been made in view of the above, and an object thereof is to provide an imaging apparatus suitable for self-portrait photography.

上述した課題を解決し、目的を達成するために、本発明に係る撮像装置は、無人航空機と、前記無人航空機に搭載され、被写体を撮像して画像データを生成する撮像部と、前記無人航空機及び前記撮像部の動作を制御する制御部とを備え、前記制御部は、前記撮像部による撮影方向とは反対方向に前記無人航空機を移動させるホヴァリングバック制御を実行するとともに、ホヴァリングバック制御の実行後、撮像部に撮影を行わせる撮像制御を実行することを特徴とする。 In order to solve the above-described problems and achieve the object, an imaging apparatus according to the present invention includes an unmanned aerial vehicle, an imaging unit that is mounted on the unmanned aerial vehicle and images a subject to generate image data, and the unmanned aerial vehicle And a control unit that controls the operation of the imaging unit, wherein the control unit executes hovering back control for moving the unmanned aircraft in a direction opposite to a shooting direction by the imaging unit, and hovering After execution of the back control, imaging control for causing the imaging unit to perform imaging is executed.

本発明に係る撮像装置によれば、自分撮り撮影に適した撮像装置を実現することができる、という効果を奏する。 According to the imaging apparatus according to the present invention, there is an effect that an imaging apparatus suitable for self-portrait photography can be realized.

図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention. 図２は、図１に示した撮像装置の利用例を示す図である。FIG. 2 is a diagram illustrating a usage example of the imaging apparatus illustrated in FIG. 1. 図３は、図１に示した撮像装置の利用例を示す図である。FIG. 3 is a diagram illustrating a usage example of the imaging apparatus illustrated in FIG. 1. 図４は、図１に示した撮像装置の利用例を示す図である。FIG. 4 is a diagram illustrating an example of use of the imaging apparatus illustrated in FIG. 図５は、顔の大きさ判定を説明する図である。FIG. 5 is a diagram for explaining face size determination. 図６は、図１に示した撮像装置が実行するホヴァリングバック制御を示すフローチャートである。FIG. 6 is a flowchart showing hovering back control executed by the imaging apparatus shown in FIG. 図７は、図１に示した撮像装置が実行する安全リターン制御を示すフローチャートである。FIG. 7 is a flowchart showing the safety return control executed by the imaging apparatus shown in FIG. 図８は、図１に示した撮像装置の動作を示すフローチャートである。FIG. 8 is a flowchart showing the operation of the imaging apparatus shown in FIG. 図９は、図８に示したステップＳ１３１を示すフローチャートである。FIG. 9 is a flowchart showing step S131 shown in FIG. 図１０は、図７に示したステップＳ２７６を示すフローチャートである。FIG. 10 is a flowchart showing step S276 shown in FIG. 図１１は、図７に示したステップＳ２７６を説明する図である。FIG. 11 is a diagram for explaining step S276 shown in FIG.

以下に、図面を参照して、本発明を実施するための形態（以下、実施の形態）について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。さらに、図面の記載において、同一の部分には同一の符号を付している。 DESCRIPTION OF EMBODIMENTS Hereinafter, modes for carrying out the present invention (hereinafter, embodiments) will be described with reference to the drawings. The present invention is not limited to the embodiments described below. Furthermore, the same code | symbol is attached | subjected to the same part in description of drawing.

図１は、本発明の実施の形態に係る撮像装置の構成を示すブロック図である。
撮像装置は、無人航空機に搭載されたカメラを利用して撮影を行う装置である。この撮像装置は、図１に示すように、移動部２０と、移動部２０に搭載されたカメラ１０とを備える。そして、移動部２０及びカメラ１０は、ＵＳＢ等の有線により互いに通信接続されている。
移動部２０は、本発明に係る無人航空機としての機能を有し、図１に示すように、推進制御部２１ａ、方向制御部２１ｂ、姿勢制御部２１ｃ、移動判定部２１ｄ、姿勢判定部２１ｅ、通信制御部２１ｆ、及び電源判定部２１ｇを有する制御部２１（本発明に係る制御部としての機能を有する）と、推進部２２と、通信部２３ａ，２３ｃと、高度・姿勢判定部２４と、位置・方位判定部２５と、電源２６と、レーザレーダ等の空間情報部２７とを備える。そして、移動部２０は、図２ないし図４に示すように、ドローンとして構成されている。 FIG. 1 is a block diagram showing a configuration of an imaging apparatus according to an embodiment of the present invention.
An imaging device is a device that performs imaging using a camera mounted on an unmanned aerial vehicle. As shown in FIG. 1, the imaging apparatus includes a moving unit 20 and a camera 10 mounted on the moving unit 20. The moving unit 20 and the camera 10 are connected to each other by wire such as USB.
The moving unit 20 has a function as an unmanned aerial vehicle according to the present invention. As shown in FIG. 1, the propulsion control unit 21a, the direction control unit 21b, the attitude control unit 21c, the movement determination unit 21d, the attitude determination unit 21e, A control unit 21 having a communication control unit 21f and a power source determination unit 21g (having a function as a control unit according to the present invention), a propulsion unit 22, communication units 23a and 23c, an altitude / attitude determination unit 24, A position / orientation determination unit 25, a power source 26, and a spatial information unit 27 such as a laser radar are provided. The moving unit 20 is configured as a drone, as shown in FIGS.

カメラ１０は、本発明に係る撮像部としての機能を有し、図１に示すように、トリミング部１ａ、撮影制御部１ｂ、ピント・画角情報取得部１ｃ、画角制御部１ｄ、リサイズ部１ｅ、通信制御部１ｆを有する制御部１（本発明に係る制御部としての機能を有する）と、光学系２ｂを有する撮像部２と、通信部３ａ〜３ｃと、記録部４と、操作部５と、画像特徴抽出部６と、仰角・方位センサ７と、時計９とを備える。 The camera 10 has a function as an imaging unit according to the present invention, and as shown in FIG. 1, a trimming unit 1a, a photographing control unit 1b, a focus / view angle information acquisition unit 1c, a view angle control unit 1d, and a resizing unit. 1e, a control unit 1 having a communication control unit 1f (having a function as a control unit according to the present invention), an imaging unit 2 having an optical system 2b, communication units 3a to 3c, a recording unit 4, and an operation unit 5, an image feature extraction unit 6, an elevation angle / direction sensor 7, and a clock 9.

図２ないし図４は、撮像装置の利用例を示す図である。
そして、カメラ１０は、図２に示すように、撮像部２にて生成された画像データに基づいて、制御部１により撮像装置のユーザ（被写体）の顔を検出（顔検出）したり、当該ユーザが撮像装置を把持している状態を検出（把持検出）したりすることを可能とする。
また、本実施の形態では、撮像装置は、図３または図４に示すように、移動部２０をカメラ１０の三脚の代わりとして用い、移動部２０をホヴァリングさせた状態で当該撮像装置のユーザ自身を被写体として撮影を行う自分撮り撮影に利用される。
ここで、自分撮り撮影を行う場合には、図３（ａ）に示すように、人物Ａ，Ｂと背景とのバランスを考慮して、ホヴァリング状態にある移動部２０を人物Ａ，Ｂから遠ざける制御を行う必要がある。しかしながら、ホヴァリング状態にある移動部２０を人物Ａ，Ｂから遠ざける際、図４に示すように、背後に人物Ｃが存在していると移動部２０が人物Ｃに衝突してしまう可能性がある。
そこで、本実施の形態１に係る撮像装置は、ホヴァリングバック制御により、当該人物Ｃとの衝突を避ける構成としている。 2 to 4 are diagrams illustrating examples of using the imaging apparatus.
Then, as shown in FIG. 2, the camera 10 detects the face of the user (subject) of the imaging device (face detection) by the control unit 1 based on the image data generated by the imaging unit 2, It is possible to detect (hold detection) a state in which the user is holding the imaging apparatus.
In the present embodiment, as shown in FIG. 3 or FIG. 4, the imaging apparatus uses the moving unit 20 instead of a tripod of the camera 10 and the user of the imaging apparatus himself / herself with the moving unit 20 hovered. This is used for self-portrait shooting where the subject is taken as a subject.
Here, when taking a self-portrait, as shown in FIG. 3A, considering the balance between the persons A and B and the background, the moving unit 20 in the hovering state is moved away from the persons A and B. It is necessary to control. However, when the moving unit 20 in the hovering state is moved away from the persons A and B, the moving unit 20 may collide with the person C if the person C exists behind as shown in FIG. .
Therefore, the imaging apparatus according to the first embodiment is configured to avoid a collision with the person C by hovering back control.

図５は、顔の大きさ判定を説明する図である。図６は、撮像装置が実行するホヴァリングバック制御を示すフローチャートである。図７は、撮像装置が実行する安全リターン制御を示すフローチャートである。図８は、撮像装置の動作を示すフローチャートである。図９は、ステップＳ１３１を示すフローチャートである。図１０は、ステップＳ２７６を示すフローチャートである。図１１は、ステップＳ２７６を説明する図である。
そして、カメラ１０及び移動部２０は、図５ないし図１１に示すように動作する。
先ず、制御部２１は、カメラ１０にて生成された画像データに基づいて、移動部２０のホヴァリング制御を実行する。ここで、制御部２１は、移動部２０の状態を示す状態情報を解析し（ステップＳ１００１〜Ｓ１００７）、当該状態情報の解析結果に基づいて（ステップＳ１３１：Ｙｅｓ）、移動部２０の飛行を開始するとともに、カメラ１０にて生成された画像データに基づいて移動部２０のホヴァリング制御を実行する。例えば、制御部１は、画像データに基づいて、顔検出、把持検出、背景判定により、移動部２０が停止状態であるか否かを判断し（ステップＳ１００２〜Ｓ１００５）、当該停止状態であると判断した場合に、移動部２０の飛行を開始する。 FIG. 5 is a diagram for explaining face size determination. FIG. 6 is a flowchart showing hovering back control executed by the imaging apparatus. FIG. 7 is a flowchart showing the safety return control executed by the imaging apparatus. FIG. 8 is a flowchart showing the operation of the imaging apparatus. FIG. 9 is a flowchart showing step S131. FIG. 10 is a flowchart showing step S276. FIG. 11 is a diagram illustrating step S276.
The camera 10 and the moving unit 20 operate as shown in FIGS.
First, the control unit 21 performs hovering control of the moving unit 20 based on the image data generated by the camera 10. Here, the control unit 21 analyzes the state information indicating the state of the moving unit 20 (steps S1001 to S1007), and starts the flight of the moving unit 20 based on the analysis result of the state information (step S131: Yes). At the same time, the hovering control of the moving unit 20 is executed based on the image data generated by the camera 10. For example, the control unit 1 determines whether or not the moving unit 20 is in a stopped state by face detection, grip detection, and background determination based on the image data (steps S1002 to S1005), and is in the stopped state. When it is determined, the flight of the moving unit 20 is started.

続いて、制御部２１は、カメラ１０による撮影方向とは反対方向に移動部２０を移動させるホヴァリングバック制御（ステップＳ１３２，Ｓ２１１〜Ｓ２２０）を実行する。ここで、制御部２１は、撮像部２にて生成された画像データに基づいて、ホヴァリングバック制御を実行する（ステップＳ２１１〜Ｓ２２０、図５）。そして、制御部１は、当該ホヴァリングバック制御が実行された後、撮像部２に撮影を行わせる撮影制御を実行する（ステップＳ１３４，Ｓ１１７）。 Subsequently, the control unit 21 executes hovering back control (steps S132, S211 to S220) for moving the moving unit 20 in a direction opposite to the direction of photographing by the camera 10. Here, the control unit 21 performs hovering back control based on the image data generated by the imaging unit 2 (steps S211 to S220, FIG. 5). Then, after the hovering back control is executed, the control unit 1 performs shooting control for causing the imaging unit 2 to perform shooting (steps S134 and S117).

また、制御部２１は、ホヴァリングバック制御後のカメラ２０による撮像装置のユーザを被写体とした自分撮り撮影（ステップＳ１３４，Ｓ１１７）の後、撮像装置を安全な場所に着陸させる安全リターン制御を実行する（ステップＳ１３５，図７，図１０）。この安全リターン制御においても、制御部１は、顔検出、把持検出、背景判定等を行っている。 Further, the control unit 21 performs safety return control for landing the imaging device at a safe place after taking a self-portrait (steps S134 and S117) of the user of the imaging device with the camera 20 after hovering back control. It executes (step S135, FIG. 7, FIG. 10). Also in this safety return control, the control unit 1 performs face detection, grip detection, background determination, and the like.

以上説明した本実施の形態に係る撮像装置によれば、自分撮り撮影に適した撮像装置を実現することができる、という効果を奏する。 According to the imaging device according to the present embodiment described above, there is an effect that an imaging device suitable for self-portrait photography can be realized.

１・・・制御部；１ａ・・・トリミング部；１ｂ・・・撮影制御部；１ｃ・・・ピント・画角情報取得部；１ｄ・・・画角制御部；１ｅ・・・リサイズ部；１ｆ・・・通信制御部；２・・・撮像部；２ｂ・・・光学系；３ａ〜３ｃ・・・通信部；４・・・記録部；５・・・操作部；６・・・画像特徴抽出部；７・・・仰角・方位センサ；９・・・時計；１０・・・カメラ；２０・・・移動部；２１・・・制御部；２１ａ・・・推進制御部；２１ｂ・・・方向制御部；２１ｃ・・・姿勢制御部；２１ｄ・・・移動判定部；２１ｅ・・・姿勢判定部；２１ｆ・・・通信制御部；２１ｇ・・・電源判定部；２２・・・推進部；２３ａ，２３ｃ・・・通信部；２４・・・高度・姿勢判定部；２５・・・位置・方位判定部；２６・・・電源；２７・・・空間判定部；３０・・・携帯端末；３１・・・制御部；３１ｂ・・・状況分析部；３１ｃ・・・トラブル予測部；３２・・・内蔵カメラ部；３３・・・基地局通信部；３４・・・記録部；３４ｂ・・・対処記憶部；３５ａ，３５ｂ・・・機器通信部；３６・・・操作部；３７・・・位置方位判定部；３８・・・表示部；３８ｂ・・・表示制御部；３９・・・時計 DESCRIPTION OF SYMBOLS 1 ... Control part; 1a ... Trimming part; 1b ... Shooting control part; 1c ... Focus and angle-of-view information acquisition part; 1d ... Angle-of-view control part; 1e ... Resize part; 1f ... Communication control unit; 2 ... Imaging unit; 2b ... Optical system; 3a-3c ... Communication unit; 4 ... Recording unit; 5 ... Operation unit; Feature extraction unit; 7 ... Elevation / azimuth sensor; 9 ... Clock; 10 ... Camera; 20 ... Movement unit; 21 ... Control unit; 21a ... Propulsion control unit; Direction control unit; 21c ... attitude control unit; 21d ... movement determination unit; 21e ... attitude determination unit; 21f ... communication control unit; 21g ... power supply determination unit; 23a, 23c ... communication unit; 24 ... altitude / attitude determination unit; 25 ... position / orientation determination unit; 26 ... power supply; 27 ... 30 ... mobile terminal; 31 ... control unit; 31b ... situation analysis unit; 31c ... trouble prediction unit; 32 ... built-in camera unit; 33 ... base station communication unit 34 ... Recording unit; 34b ... Coping storage unit; 35a, 35b ... Device communication unit; 36 ... Operation unit; 37 ... Position and orientation determination unit; 38 ... Display unit; ... Display control unit; 39 ... Clock

Claims

An unmanned aerial vehicle,
An imaging unit mounted on the unmanned aerial vehicle to capture an image of a subject and generate image data;
A control unit for controlling the operation of the unmanned aircraft and the imaging unit,
The controller is
Performing hovering back control for moving the unmanned aircraft in a direction opposite to the shooting direction by the imaging unit, and executing imaging control for causing the imaging unit to perform shooting after the execution of the hovering back control. A characteristic imaging device.

The controller is
The imaging apparatus according to claim 1, wherein hovering back control of the unmanned aircraft is executed based on the image data generated by the imaging unit.