JP2014063411A - Remote control system, control method, and program - Google Patents

Remote control system, control method, and program Download PDF

Info

Publication number
JP2014063411A
JP2014063411A JP2012209081A JP2012209081A JP2014063411A JP 2014063411 A JP2014063411 A JP 2014063411A JP 2012209081 A JP2012209081 A JP 2012209081A JP 2012209081 A JP2012209081 A JP 2012209081A JP 2014063411 A JP2014063411 A JP 2014063411A
Authority
JP
Japan
Prior art keywords
movement
control
mobile device
content
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012209081A
Other languages
Japanese (ja)
Other versions
JP2014063411A5 (en
Inventor
Kazunori Kita
一記 喜多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012209081A priority Critical patent/JP2014063411A/en
Publication of JP2014063411A publication Critical patent/JP2014063411A/en
Publication of JP2014063411A5 publication Critical patent/JP2014063411A5/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a remote control system which can easily set movement details of a mobile device.SOLUTION: A control device (radio communication terminal 20) acquires an image captured by a mobile device (remote operation target device 10), displays the acquired image, detects an arbitrary operation performed on the displayed image, sets a moving range of the mobile device according to the detected operation, and sets movement details of the mobile device on the basis of a content of the detected operation and the set moving range, then transmits the movement details to the mobile device. The mobile device receives the transmitted movement details, and controls its movement on the basis of the received movement details.

Description

本発明は、撮像手段を備えた移動装置を遠隔制御する、遠隔制御システム、制御方法、及び、プログラムに関する。   The present invention relates to a remote control system, a control method, and a program for remotely controlling a mobile device including an imaging unit.

従来、遠隔操作により、走行する移動装置を制御する遠隔制御システムが知られている。例えば、特許文献1には、移動範囲全体を撮影する複数のカメラを設置し、これらのカメラによって撮影された結果得られる移動装置の三次元位置と予め設定された経路データとを比較し、当該経路データに沿って移動するように制御可能な遠隔制御システムについての技術が開示されている。   2. Description of the Related Art Conventionally, a remote control system for controlling a moving mobile device by remote operation is known. For example, in Patent Document 1, a plurality of cameras that capture the entire moving range are installed, and the three-dimensional position of the moving device obtained as a result of capturing by these cameras is compared with preset route data. Techniques for remote control systems that can be controlled to move along route data are disclosed.

特開2010−049443号公報JP 2010-049443 A

特許文献1に開示された技術によれば、走行中の移動装置の現在位置を精度よく制御できるとともに、移動装置の位置が、GPS(Global Positioning System)電波の受信可能な地域や基準局との送信可能な地域に制限されることなく、リアルタイム性が良好であって、低コスト化が図れ、実用的な遠隔制御システムを提供することができる。しかしながら、移動範囲内に、別途、複数のカメラを設置する手間が発生する。また、カメラは、予め設定された経路データの監視と修正にのみ使用される。したがって、移動装置の移動内容を設定するうえで直感的な操作に乏しく、使い勝手の向上が望まれていた。   According to the technique disclosed in Patent Document 1, the current position of a moving mobile device can be accurately controlled, and the position of the mobile device can be transmitted to an area where a GPS (Global Positioning System) radio wave can be received or a reference station. Without being limited to a possible area, it is possible to provide a practical remote control system that has good real-time performance and can be reduced in cost. However, it takes time to separately install a plurality of cameras within the moving range. The camera is only used for monitoring and correcting preset route data. Therefore, there is a lack of intuitive operation in setting the movement contents of the mobile device, and improvement in usability has been desired.

本発明は上記した課題を解決するためになされたものであり、その目的は、移動装置の移動内容を簡易的に設定することができる、遠隔制御システム、制御方法、及び、プログラムを提供することにある。   The present invention has been made to solve the above-described problems, and an object of the present invention is to provide a remote control system, a control method, and a program capable of simply setting the movement content of the mobile device. It is in.

上記した課題を解決するために本発明は、撮像手段を備えた移動装置と、遠隔操作により前記移動装置を制御する制御装置と、を含む遠隔制御システムであって、前記制御装置は、前記撮像手段により撮像された画像を、前記移動装置より受信することで取得する取得手段と、前記取得手段によって取得された画像を表示する表示手段と、前記表示手段によって表示された前記画像に対する任意の操作を検出する操作検出手段と、当該制御装置の姿勢を検出する姿勢検出手段と、前記姿勢検出手段によって検出された姿勢に応じて前記移動装置の移動範囲を設定する移動範囲設定手段と、前記操作検出手段によって検出された任意の操作の内容と前記移動範囲設定手段によって設定された移動範囲とに基づいて前記移動装置の移動内容を設定する移動内容設定手段と、前記設定された移動内容を前記移動装置に送信する送信手段と、を備え、前記移動装置は、前記送信手段から送信される移動内容を受信する受信手段と、前記受信した移動内容に基づき自己の移動を制御する移動制御手段と、を備えたことを特徴とする。   In order to solve the above-described problem, the present invention provides a remote control system including a mobile device including an imaging unit and a control device that controls the mobile device by remote operation, and the control device includes the imaging device. An acquisition means for acquiring an image captured by the means by receiving from the mobile device, a display means for displaying the image acquired by the acquisition means, and an arbitrary operation on the image displayed by the display means Operation detecting means for detecting the attitude of the control apparatus, attitude detecting means for detecting the attitude of the control apparatus, movement range setting means for setting the movement range of the moving apparatus according to the attitude detected by the attitude detecting means, and the operation The movement content of the mobile device is set based on the content of an arbitrary operation detected by the detection means and the movement range set by the movement range setting means. Moving content setting means, and transmitting means for transmitting the set moving content to the mobile device, the mobile device receiving the moving content transmitted from the transmitting means, and the receiving And a movement control means for controlling the movement of the user based on the contents of the movement.

また、本発明は、撮像手段を備えた移動装置と、少なくとも表示手段と操作検出手段とを備え、遠隔操作により前記移動装置を制御する制御装置と、を含む遠隔制御システムの制御方法であって、前記制御装置は、前記移動装置の撮像手段が撮像した画像を受信するステップと、前記受信した画像を前記表示手段に表示するステップと、前記表示手段によって表示された前記画像に対する任意の操作を検出する操作検出ステップと、当該制御装置の姿勢を検出する姿勢検出ステップと、前記姿勢検出ステップにて検出された姿勢に応じて前記移動装置の移動範囲を設定する移動範囲設定ステップと、前記操作検出ステップにて検出された任意の操作の内容と前記移動範囲設定ステップにて設定された移動範囲とに基づいて前記移動装置の移動内容を設定する移動内容設定ステップと、前記設定された移動内容を前記移動装置に送信する送信ステップと、を含むことを特徴とする。   According to another aspect of the present invention, there is provided a control method for a remote control system including a mobile device including an imaging unit, and a control device that includes at least a display unit and an operation detection unit and controls the mobile device by remote operation. The control device performs a step of receiving an image captured by the imaging unit of the mobile device, a step of displaying the received image on the display unit, and an arbitrary operation on the image displayed by the display unit. An operation detecting step for detecting, an attitude detecting step for detecting an attitude of the control device, a moving range setting step for setting a moving range of the moving device according to the attitude detected in the attitude detecting step, and the operation The movement of the moving device based on the contents of the arbitrary operation detected in the detection step and the movement range set in the movement range setting step And moving the content setting step of setting a volume, characterized in that it comprises a transmission step of transmitting the set moving content to the mobile device.

また、本発明は、撮像手段を備えた移動装置を遠隔操作によって制御する、表示手段と操作入力手段とを備える制御装置のコンピュータに、前記移動装置の撮像手段が撮像した画像を受信する受信手段、前記受信した画像を前記表示手段に表示させる表示制御手段、前記表示制御手段によって表示された前記画像に対する前記操作入力手段への任意の操作を検出する操作検出手段、当該制御装置の姿勢を検出する姿勢検出手段、前記姿勢検出手段によって検出された姿勢に応じて前記移動装置の移動範囲を設定する移動範囲設定手段、前記操作検出手段によって検出された任意の操作の内容と前記移動範囲設定手段によって設定された移動範囲とに基づいて前記移動装置の移動内容を設定する移動内容設定手段、前記設定された移動内容を前記移動装置に送信する送信手段、として機能させることを特徴とする。   Further, the present invention provides a receiving means for receiving a picture taken by the imaging means of the moving apparatus in a computer of a control apparatus comprising a display means and an operation input means for controlling the moving apparatus provided with the imaging means by remote operation. Display control means for displaying the received image on the display means, operation detection means for detecting any operation to the operation input means for the image displayed by the display control means, and detecting the attitude of the control device Posture detecting means for moving, moving range setting means for setting a moving range of the moving device in accordance with the posture detected by the posture detecting means, contents of an arbitrary operation detected by the operation detecting means, and the moving range setting means Movement content setting means for setting the movement content of the mobile device based on the movement range set by Transmitting means for transmitting to the mobile device, wherein the function as.

本発明によれば、移動装置の移動内容を簡易的に設定することができる、遠隔制御システム、制御方法、及び、プログラムを提供することができる   According to the present invention, it is possible to provide a remote control system, a control method, and a program capable of easily setting the movement contents of the mobile device.

本発明の実施の形態に係る遠隔制御システムのイメージ図である。It is an image figure of the remote control system which concerns on embodiment of this invention. 本発明の実施の形態に係る遠隔制御システムの移動装置の構成を示すブロック図である。It is a block diagram which shows the structure of the moving apparatus of the remote control system which concerns on embodiment of this invention. 本発明の実施の形態に係る遠隔制御システムの制御装置の構成を示すブロック図ある。It is a block diagram which shows the structure of the control apparatus of the remote control system which concerns on embodiment of this invention. 本発明の実施の形態に係る遠隔制御システムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the remote control system which concerns on embodiment of this invention. 本発明の実施の形態に係る遠隔制御システムの描画された航行スケジュールと航行範囲との関係を説明するために引用した図である。It is the figure quoted in order to demonstrate the relationship between the drawn navigation schedule and navigation range of the remote control system which concerns on embodiment of this invention. 本発明の実施の形態に係る遠隔制御システムの取得画像と航行ケジュール設定との関係を説明するために引用した図である。It is the figure quoted in order to demonstrate the relationship between the acquired image and navigation schedule setting of the remote control system which concerns on embodiment of this invention.

以下、添付図面を参照して本発明を実施するための実施の形態(以下、単に実施形態という)について詳細に説明する。   Hereinafter, an embodiment for carrying out the present invention (hereinafter simply referred to as an embodiment) will be described in detail with reference to the accompanying drawings.

(実施形態の構成)
図1に示すように、本実施形態に係る遠隔制御システム1は、リモコンヘリコプタ等の被遠隔操作装置10(移動装置)と、この被遠隔操作装置10を遠隔操作するための制御を行うスマートフォン等の無線通信端末20(制御装置)とを含む。被遠隔操作装置10は、撮像手段としてのカメラ(後述する撮像部101)を搭載している。
(Configuration of the embodiment)
As shown in FIG. 1, a remote control system 1 according to this embodiment includes a remotely operated device 10 (moving device) such as a remote control helicopter, and a smartphone that performs control for remotely operating the remotely operated device 10. Wireless communication terminal 20 (control device). The remotely operated device 10 is equipped with a camera (an imaging unit 101 described later) as an imaging unit.

被遠隔操作装置10と無線通信端末20とは、例えば、Wi−Fi(登録商標)やBlueTooth(登録商標)等の近距離無線通信規格に準拠した無線によりリンクが確立され、ユーザは、リンク確立後、無線通信端末20の本体を傾ける等の操作を行うことで被遠隔操作装置10の操作を制御することができる。また無線通信端末20は、被遠隔操作装置10の撮像部101がリアルタイムで撮影し逐次送信した画像を表示画面に表示することができる。   For example, a link is established between the remote operation device 10 and the wireless communication terminal 20 by wireless conforming to a short-range wireless communication standard such as Wi-Fi (registered trademark) or BlueTooth (registered trademark). Thereafter, the operation of the remote operation device 10 can be controlled by performing an operation such as tilting the main body of the wireless communication terminal 20. In addition, the wireless communication terminal 20 can display on the display screen images that the imaging unit 101 of the remotely controlled device 10 has captured and sequentially transmitted in real time.

被遠隔操作装置10は、例えば、図2に示すように、制御部100と、撮像部101と、航行スケジュールメモリ102と、画像処理部103と、GPSセンサー104と、無線通信部105と、駆動制御部106とを含み構成される。これらは、アドレス、データ、コントロールのためのラインが複数本で構成されるシステムバス107経由で共通接続されている。   For example, as shown in FIG. 2, the remotely operated device 10 includes a control unit 100, an imaging unit 101, a navigation schedule memory 102, an image processing unit 103, a GPS sensor 104, a wireless communication unit 105, and a drive. And a control unit 106. These are commonly connected via a system bus 107 having a plurality of lines for address, data, and control.

撮像部101は、レンズ、CCD(Charge Coupled Device)やCMOS(Complementally Metal Oxide Semiconductor)等の画像センサー、およびドライバIC等を含む。撮像部101は、レンズを通して入射された被写体光を画像センサーによって電気信号に変換し、ドライバICで増幅して画像処理部103に出力する。画像処理部103は、ゲイン調整、色調整、符号化等の画像処理を行ない制御部100に出力する。   The imaging unit 101 includes a lens, an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS), and a driver IC. The imaging unit 101 converts subject light incident through the lens into an electrical signal by an image sensor, amplifies the signal with a driver IC, and outputs the signal to the image processing unit 103. The image processing unit 103 performs image processing such as gain adjustment, color adjustment, and encoding, and outputs the result to the control unit 100.

航行スケジュールメモリ102は、メモリ素子として、例えば、SDRAM(Synchronous Dynamic Random Access Memory)が実装され、無線通信端末20で生成され、送信される航行スケジュールが格納される。GPSセンサー104は、複数のGPS衛星から被遠隔操作装置10の現在地における緯度・経度に関するデータを取得して制御部100に出力する。このデータは、後述するように、制御部100が位置測位演算によって得る自己(被遠隔操作装置10)の現在地に基づき航行スケジュールに沿った飛行をしているか否かを判定するための比較データとして用いられる。   In the navigation schedule memory 102, for example, an SDRAM (Synchronous Dynamic Random Access Memory) is mounted as a memory element, and a navigation schedule generated and transmitted by the wireless communication terminal 20 is stored. The GPS sensor 104 acquires data relating to the latitude and longitude at the current location of the remotely controlled device 10 from a plurality of GPS satellites and outputs the data to the control unit 100. As will be described later, this data is comparison data for determining whether or not the flight according to the navigation schedule is performed based on the current location of the control unit 100 (remotely operated device 10) obtained by position measurement calculation. Used.

無線通信部105は、Wi−Fi(登録商標)やBlueTooth(登録商標)等の近距離無線通信規格に準拠した通信アダプタで構成され、無線通信端末20との間でリンクを確立して近距離無線通信によりデータ交換を行う。例えば、無線通信端末20から航行スケジュールを受信し、無線通信端末20に撮影画像を送信する。   The wireless communication unit 105 is configured by a communication adapter that conforms to a short-range wireless communication standard such as Wi-Fi (registered trademark) or BlueTooth (registered trademark), and establishes a link with the wireless communication terminal 20 to establish a short-range Data exchange is performed by wireless communication. For example, the navigation schedule is received from the wireless communication terminal 20 and the captured image is transmitted to the wireless communication terminal 20.

駆動制御部106には、被遠隔操作装置10の駆動機構を構成する複数のモータ108,109が接続されている。駆動制御部106は、無線通信端末20から送信される無線通信端末20の傾きや方向に関するデータに応じて、これに沿った位置に移動させ、あるいは向きになるように、例えば、プロペラ等を回転させるモータ108,109等を駆動制御する。   The drive control unit 106 is connected to a plurality of motors 108 and 109 that constitute a drive mechanism of the remotely operated device 10. The drive control unit 106 moves, for example, a propeller or the like so as to move to a position or a direction according to data on the inclination or direction of the wireless communication terminal 20 transmitted from the wireless communication terminal 20. The motors 108 and 109 to be driven are controlled.

制御部100は、例えば、マイクロプロセッサにより実現され、不図示のメモリに記録されたプログラムを逐次読み出して実行することにより、無線通信端末20から送信される移動内容(無線通信端末20の傾き等)を受信し、受信した移動内容に基づき自己の移動を制御する移動制御手段として機能する。このとき、制御部100は、受信された移動内容に加え、GPSセンサー104を介して受信したデータに基づき測位される現在置に基づいて自己の移動を制御してもよい。また、制御部100は、受信した移動内容に加え、撮像部101により撮像される画像に基づいて自己の移動を制御してもよい。制御部100は、更に、無線通信端末20から送信される撮像制御内容を受信し、受信された撮像制御内容に基づいて撮像部101を制御する撮像制御手段としても機能する。   The control unit 100 is implemented by, for example, a microprocessor, and sequentially reads and executes a program recorded in a memory (not shown), thereby moving content transmitted from the wireless communication terminal 20 (such as the inclination of the wireless communication terminal 20). It functions as a movement control means for controlling the movement of itself based on the received movement contents. At this time, the control unit 100 may control its own movement based on the current position measured based on the data received via the GPS sensor 104 in addition to the received movement content. The control unit 100 may control its own movement based on the image captured by the imaging unit 101 in addition to the received movement content. The control unit 100 further functions as an imaging control unit that receives the imaging control content transmitted from the wireless communication terminal 20 and controls the imaging unit 101 based on the received imaging control content.

無線通信端末20は、図3に示すように、制御部200と、プログラムメモリ201と、ワークメモリ202と、画像格納メモリ203と、無線通信部204と、姿勢検出センサー205と、GPSセンサー206と、表示部207と、タッチパネル208と、を含み構成される。これらは、アドレス、データ、コントロールのためのラインが複数本で構成されるシステムバス209に共通接続されている。   As shown in FIG. 3, the wireless communication terminal 20 includes a control unit 200, a program memory 201, a work memory 202, an image storage memory 203, a wireless communication unit 204, an attitude detection sensor 205, a GPS sensor 206, The display unit 207 and the touch panel 208 are configured. These are commonly connected to a system bus 209 having a plurality of lines for address, data, and control.

プログラムメモリ201には、被遠隔操作装置10で撮像された画像を取得する処理と、取得された画像を表示する処理と、表示された画像に対する任意の操作を検出する処理と、検出された操作に応じて被遠隔操作装置10の移動範囲を設定する処理と、検出された操作内容と設定された移動範囲とに基づいて被遠隔操作装置10の移動内容を設定する処理と、設定された移動内容を被遠隔操作装置10に送信する処理とを含む、本実施形態に係るプログラムが記録されている。ワークメモリ202には、制御部200が本実施形態に係るプログラムの実行過程において生成されるデータが格納され、画像格納メモリ203には、被遠隔操作装置10(撮像部101)が撮影して送信した画像が格納される。   In the program memory 201, processing for acquiring an image captured by the remote operation device 10, processing for displaying the acquired image, processing for detecting an arbitrary operation on the displayed image, and detected operation A process for setting the movement range of the remote operation apparatus 10 according to the process, a process for setting the movement content of the remote operation apparatus 10 based on the detected operation content and the set movement range, and the set movement. The program which concerns on this embodiment including the process which transmits the content to the remotely operated apparatus 10 is recorded. The work memory 202 stores data generated by the control unit 200 during the execution of the program according to the present embodiment, and the image storage memory 203 captures and transmits the remote operation device 10 (imaging unit 101). Stored images are stored.

なお、プログラムメモリ201、ワークメモリ202、画像格納メモリ203は、例えば、SDRAM(Synchronous Random Access Memory)を記憶素子として持つ半導体記憶装置、あるいはHDD(Hard Disc Drive)等の磁気ディスク装置で構成される。   Note that the program memory 201, work memory 202, and image storage memory 203 are configured by, for example, a semiconductor storage device having an SDRAM (Synchronous Random Access Memory) as a storage element, or a magnetic disk device such as an HDD (Hard Disc Drive). .

無線通信部204は、Wi−Fi(登録商標)やBlueTooth(登録商標)等の近距離無線通信規格に準拠した通信アダプタで構成され、被遠隔操作装置10との間でリンクを確立して上記した近距離無線通信によりデータ交換を行う。無線通信部204は、更に、被遠隔操作装置10から送信される画像を蓄積するために接続される不図示の外部装置との間で通信を行ってもよい。   The wireless communication unit 204 includes a communication adapter that conforms to a short-range wireless communication standard such as Wi-Fi (registered trademark) or BlueTooth (registered trademark), and establishes a link with the remotely operated device 10 to Exchange data by short-range wireless communication. The wireless communication unit 204 may further perform communication with an external device (not shown) connected to accumulate images transmitted from the remotely operated device 10.

姿勢検出センサー205は、例えば、加速度センサーや磁場検出センサーで構成される。姿勢検出センサー205は、無線通信端末20本体の姿勢(鉛直方向(重力方向)に対する傾きや方位等の方向)を検知し、その検知結果を被遠隔操作装置10に送信する。姿勢検出センサー205は、航行スケジュール作成のためにも使用され、制御部200が自己の現在地を測位演算するために、GPS衛星から自己の緯度と経度に関するデータを取得する。制御部200は、GPSセンサー206が受信した現在位置測位のために必要な緯度・経度の情報から現在位置を一定時間間隔で測位演算する。   The posture detection sensor 205 is composed of, for example, an acceleration sensor or a magnetic field detection sensor. The attitude detection sensor 205 detects the attitude of the main body of the wireless communication terminal 20 (the direction such as the inclination or the azimuth with respect to the vertical direction (gravity direction)), and transmits the detection result to the remote operation device 10. The attitude detection sensor 205 is also used for creating a navigation schedule, and the control unit 200 acquires data regarding its own latitude and longitude from GPS satellites in order to calculate the position of its current location. The control unit 200 calculates the current position from the latitude / longitude information necessary for the current position measurement received by the GPS sensor 206 at regular time intervals.

表示部207は、例えば、LCD(Liquid Crystal Device)や有機EL(Organic Electro-Luminescence)等の表示素子を有する表示モニタであり、ここでは、被遠隔操作装置10から受信した画像や航行軌跡等を表示する。タッチパネル208は、表示部207と一体形成された座標入力装置であり、例えば、表示部207に表示された画像をなぞる等の入力操作を検知してその軌跡(座標)を制御部200に出力する。   The display unit 207 is a display monitor having display elements such as an LCD (Liquid Crystal Device) and an organic EL (Organic Electro-Luminescence), for example. Here, an image received from the remotely operated device 10, a navigation trajectory, and the like are displayed. indicate. The touch panel 208 is a coordinate input device integrally formed with the display unit 207. For example, the touch panel 208 detects an input operation such as tracing an image displayed on the display unit 207 and outputs the locus (coordinates) to the control unit 200. .

制御部200は、例えば、マイクロプロセッサで実現され、ワークメモリ202を使用してプログラムメモリ201に記録されたプログラムを逐次読み出し、実行することにより以下の機能を実現する。すなわち、制御部200は、被遠隔操作装置10で撮像された画像を取得する取得手段として、また、取得された画像を表示する表示手段として、また、表示された画像に対する任意の操作を検出する操作検出手段として、また、検出された操作に応じて被遠隔操作装置10の移動範囲を設定する移動範囲設定手段として、また、検出された操作内容と設定された移動範囲とに基づいて被遠隔操作装置10の移動内容を設定する移動内容設定手段として、また、設定された移動内容を被遠隔操作装置10に送信する送信手段としてそれぞれ機能する。   The control unit 200 is realized by, for example, a microprocessor, and implements the following functions by sequentially reading and executing a program recorded in the program memory 201 using the work memory 202. That is, the control unit 200 detects an arbitrary operation on the displayed image as an acquisition unit that acquires an image captured by the remotely operated device 10, as a display unit that displays the acquired image. As an operation detection means, as a movement range setting means for setting a movement range of the remote operation device 10 in accordance with the detected operation, and based on the detected operation content and the set movement range It functions as a movement content setting means for setting the movement content of the operation device 10 and as a transmission means for transmitting the set movement content to the remote operation device 10.

なお、制御部200は、表示部207に表示された画像に基づいて、被遠隔操作装置10に搭載された撮像部101を制御する撮像制御内容を設定する撮像制御内容設定手段として機能してもよい。ここで設定された撮像制御内容は、被遠隔操作装置10に送信される。   Note that the control unit 200 may function as an imaging control content setting unit that sets the imaging control content for controlling the imaging unit 101 mounted on the remote operation device 10 based on the image displayed on the display unit 207. Good. The imaging control content set here is transmitted to the remotely operated device 10.

(実施形態の動作)
以下、図3以降を参照して、図1〜図3に示す本実施形態に係る遠隔制御システム1の動作について詳細に説明する。
(Operation of the embodiment)
Hereinafter, the operation of the remote control system 1 according to the present embodiment shown in FIGS. 1 to 3 will be described in detail with reference to FIG.

まず、無線通信端末20は、制御部200が無線通信部204により被遠隔操作装置10との間でリンクを確立して、航行中(飛行中)の被遠隔操作装置10に対して撮影によりリアルタイムで取得される画像(キャプチャイメージ)と自己位置に関するデータの送信を指示する(ステップS101)。これを受けた被遠隔操作装置10は、制御部100が、今現在、撮像部101で撮影している画像と、GPSセンサー104を介して測位演算された自己位置に関するデータとを、無線通信部105を介して送信する(ステップS102)。   First, in the wireless communication terminal 20, the control unit 200 establishes a link with the remotely operated device 10 by the wireless communication unit 204, and captures real time by photographing the remotely operated device 10 during navigation (in flight). The transmission of the image (capture image) acquired in step S3 and data relating to the self-position is instructed (step S101). Receiving this, the remotely operated device 10 receives the image currently taken by the imaging unit 101 by the control unit 100 and the data related to the self-position calculated through the GPS sensor 104 by the wireless communication unit. It transmits via 105 (step S102).

これを受け、無線通信端末20は、制御部200が、無線通信部204を介して受信した画像を表示部207に表示する(ステップS103)。このとき表示部207に表示される画像は静止画でも動画像でもよい。そして制御部200は、ユーザがタッチパネル208を操作することによって表示部207に描画される航行軌跡や撮影方向に関する指令を検出する(ステップS104)。ここで指令ありと判定されると(ステップS104“Yes”)、制御部200は、姿勢検出センサー205により検出される無線通信端末20本体の鉛直方向(重力方向)に対する傾き(角度)に関するデータを取り込む(ステップS105)。   In response, in the wireless communication terminal 20, the control unit 200 displays the image received via the wireless communication unit 204 on the display unit 207 (step S103). At this time, the image displayed on the display unit 207 may be a still image or a moving image. And the control part 200 detects the instruction | command regarding the navigation locus and imaging | photography direction which are drawn on the display part 207 when a user operates the touch panel 208 (step S104). If it is determined here that there is a command (step S104 “Yes”), the control unit 200 acquires data related to the inclination (angle) of the wireless communication terminal 20 main body detected by the attitude detection sensor 205 with respect to the vertical direction (gravity direction). Capture (step S105).

続いて制御部200は、表示部207に、ユーザがタッチパネル208をなぞる操作を行うことにより描画される航行軌跡を、被遠隔操作装置10が航行中撮影によって得た静止画上に重畳して表示する(ステップS106)。この航行軌跡の重畳表示は航行軌跡の描画が終了するまでの間継続して行なわれる。制御部200は、指示された航行軌跡の描画の終了を検出すると(ステップS107“Yes”)、取得した画像、無線通信端末20本体の傾き、航行軌跡のデータから、大まかな航行スケジュールを生成する(ステップS108)。ここでいう航行スケジュールとは、緯度、経度、撮影の方向からなる移動範囲を連続してプロットしたデータである。   Subsequently, the control unit 200 displays, on the display unit 207, the navigation locus drawn by the user performing an operation of tracing the touch panel 208 on the still image obtained by the remote operation device 10 during the navigation imaging. (Step S106). This navigation track superimposition display is continued until drawing of the navigation track is completed. When the control unit 200 detects the end of drawing of the instructed navigation trajectory (step S107 “Yes”), the control unit 200 generates a rough navigation schedule from the acquired image, the inclination of the main body of the wireless communication terminal 20, and the navigation trajectory data. (Step S108). The navigation schedule here is data obtained by continuously plotting a moving range including latitude, longitude, and shooting direction.

ここで、無線通信端末20を操作することより描画される航行スケジュールと、被遠隔操作装置10の航行範囲(移動範囲)との関係について、図5(a)(b)(c)を用いて説明する。   Here, the relationship between the navigation schedule drawn by operating the wireless communication terminal 20 and the navigation range (movement range) of the remotely operated device 10 will be described with reference to FIGS. explain.

図5(a)は、無線通信端末20の傾きを重力方向αに対し角度β1(0度以上30度未満)の範囲で立て、且つ、表示部207及びタッチパネル208はユーザに向けた状態で航行スケジュールを描画した場合の被遠隔操作装置10の航行範囲を示す。この場合、被遠隔操作装置10は、垂直方向に対し、角度β1の範囲で上昇する方向に移動し、結果的に近景にある被写体である対象物Aが撮像部101の画角から外れる先(図中、点線表記)には飛ばない。図5(b)は、無線通信端末20の傾きを重力方向αに対し角度β2(30度以上60度未満)の範囲で傾け、且つ、表示部207及びタッチパネル208はユーザに向けた状態で航行スケジュールを描画した場合の被遠隔操作装置10の航行範囲を示す。この場合、被遠隔操作装置10は、垂直方向に対し、角度β2の範囲でやや上昇気味に水平方向に移動し、結果的に被遠隔操作装置10は、中間にある被写体である対象物Bが撮像部101の画角から外れる先(図中、点線表記)には飛ばない。   FIG. 5A shows that the wireless communication terminal 20 is tilted in the range of an angle β1 (0 degree or more and less than 30 degrees) with respect to the gravity direction α, and the display unit 207 and the touch panel 208 are navigated toward the user. The navigation range of the remotely controlled device 10 when a schedule is drawn is shown. In this case, the remote operation device 10 moves in a direction rising in the range of the angle β1 with respect to the vertical direction, and as a result, the object A that is the subject in the foreground deviates from the angle of view of the imaging unit 101 ( It does not skip to the dotted line notation in the figure. In FIG. 5B, the wireless communication terminal 20 is tilted in the range of an angle β2 (30 degrees or more and less than 60 degrees) with respect to the gravity direction α, and the display unit 207 and the touch panel 208 are navigated toward the user. The navigation range of the remotely controlled device 10 when a schedule is drawn is shown. In this case, the remotely operated device 10 moves slightly horizontally in the range of the angle β2 with respect to the vertical direction. As a result, the remotely operated device 10 has the object B, which is an intermediate subject. It does not skip beyond the angle of view of the imaging unit 101 (indicated by a dotted line in the figure).

図5(c)は、無線通信端末20を重力方向αに対し角度β3(60度以上90度以下:図面では90度)の範囲で傾け、且つ、表示部207及びタッチパネル208はユーザに向けた状態で航行スケジュールを描画した場合の被遠隔操作装置10の航行範囲を示す。この場合、被遠隔操作装置10は、垂直方向に対し、角度β3の範囲で移動し、結果的に無線通信部105,204による近距離無線通信の電波が到達する範囲内でほぼ無限遠(遠景にある被写体である対象物C)まで飛ぶことができる。   5C, the wireless communication terminal 20 is tilted with respect to the direction of gravity α within an angle β3 (60 degrees or more and 90 degrees or less: 90 degrees in the drawing), and the display unit 207 and the touch panel 208 are directed toward the user. The navigation range of the remotely controlled device 10 when the navigation schedule is drawn in the state is shown. In this case, the remotely controlled device 10 moves in the range of the angle β3 with respect to the vertical direction, and as a result, is almost infinitely far (in the far field) within the range where the radio waves of the short-range wireless communication by the wireless communication units 105 and 204 reach. It is possible to fly to the object C) which is the subject in the area.

無線通信端末20が取得した画像と航行スケジュール設定との関係について図6(a)(b)を用いて説明する。図6(a)は、航行スケジュール設定時、その前段階で撮影され取得された撮影画像(対象物A,B,C)と、近景、中間距離、無限遠との関係をタッチパネル208上に示したものである。図6(b)には、ユーザがタッチパネル208上をなぞる操作を行うことにより描画され、表示部207上に取得された撮影画像に重畳表示される軌跡aが太線で示されている。更に、軌跡の任意の場所から枝線を延ばして矢印マークb、cを付与することにより、被遠隔操作装置10(撮像部101)の撮影方向と撮影対象とを指示することができる。無線通信端末20は、ユーザがタッチパネル208のタッチ面をなぞる操作を行うことにより得られる軌跡と、なぞった際の無線通信端末20の鉛直方向(重力方向)に対する無線通信端末20の傾き(但し、表示部207及びタッチパネル208はユーザに向けた状態であること)とに応じて、被遠隔操作装置10が移動すべき緯度・経度、進行(撮影)方向を大まかにプロットし、これを航行スケジュールとして無線送信する。   The relationship between the image acquired by the wireless communication terminal 20 and the navigation schedule setting will be described with reference to FIGS. FIG. 6A shows on the touch panel 208 the relationship between the captured images (objects A, B, and C) captured and acquired in the previous stage and the foreground, intermediate distance, and infinity when the navigation schedule is set. It is a thing. In FIG. 6B, a locus a that is drawn by the user performing an operation of tracing on the touch panel 208 and is superimposed on the captured image acquired on the display unit 207 is indicated by a thick line. Furthermore, by extending branch lines from arbitrary locations on the trajectory and adding arrow marks b and c, it is possible to instruct the shooting direction and shooting target of the remotely operated device 10 (imaging unit 101). The wireless communication terminal 20 has a trajectory obtained when the user performs an operation of tracing the touch surface of the touch panel 208, and the inclination of the wireless communication terminal 20 with respect to the vertical direction (gravity direction) of the wireless communication terminal 20 when tracing (however, The display unit 207 and the touch panel 208 are directed to the user), and the latitude / longitude to which the remote operation device 10 should move and the traveling (photographing) direction are roughly plotted, and this is used as a navigation schedule. Wireless transmission.

説明を図4に戻す。制御部200は、上記のように作成した航行スケジュールを無線通信部204経由で近距離無線通信により被遠隔操作装置10へ送信する(ステップS109)。航行スケジュールを無線通信部105経由で近距離無線通信により受信した被遠隔操作装置10は、制御部100が、その航行スケジュールを航行スケジュールメモリ102へ格納する(ステップS110)。そして、制御部100は、GPSセンサー104を介して測位される自己位置と航行スケジュールによって指示される緯度・経度に関するデータとを逐次比較しながら航行を制御すると共に、無線通信部105経由で撮像部101がリアルタイムに撮影した画像を取得して無線通信端末20へ送信する(ステップS111)。   Returning to FIG. The control unit 200 transmits the navigation schedule created as described above to the remotely operated device 10 by the short-range wireless communication via the wireless communication unit 204 (step S109). In the remotely operated device 10 that has received the navigation schedule by the short-range wireless communication via the wireless communication unit 105, the control unit 100 stores the navigation schedule in the navigation schedule memory 102 (step S110). The control unit 100 controls the navigation while sequentially comparing the self-position measured via the GPS sensor 104 and the data related to the latitude / longitude specified by the navigation schedule, and the imaging unit via the wireless communication unit 105. 101 acquires an image captured in real time and transmits it to the wireless communication terminal 20 (step S111).

なお、制御部100は、航行中、単に航行スケジュールにしたがって被遠隔操作装置10の移動を制御するだけでなく、GPSセンサー104を介して測位される自己の現在位置、あるいは撮像部101から取得される画像に基づいて移動内容を修正すべく自己の移動を制御してもよい。無線通信端末20は、制御部200が表示部207に、実際の航行の軌跡に関して無線通信部204経由で取得される撮影画像に合成表示する(ステップS112)。   Note that the control unit 100 not only controls the movement of the remotely operated device 10 according to the navigation schedule during navigation, but also acquires the current position measured via the GPS sensor 104 or the imaging unit 101. The user's movement may be controlled so as to correct the movement content based on the image. In the wireless communication terminal 20, the control unit 200 synthesizes and displays the captured image acquired via the wireless communication unit 204 on the display unit 207 with respect to the actual trajectory of the navigation (step S112).

(実施形態の効果)
本実施形態に係る遠隔制御システム1によれば、制御装置(無線通信端末20)は、移動装置(被遠隔装置装置10)により撮像された画像を取得し、表示し、当該表示された画像に対する任意の操作を検出し、その操作に応じて移動装置の移動範囲を設定し、検出された操作内容と設定された移動範囲とに基づいて移動装置の移動内容を設定し、その移動内容を移動装置に送信する。そして、移動装置は、送信される移動内容を受信し、当該受信した移動内容に基づき自己の移動を制御する。したがって、ユーザは、直感的な操作で移動装置の移動範囲を設定することができ、かつ、検出された制御装置の操作内容と設定された移動範囲とに基づいて移動装置の移動内容を設定して遠隔操作が可能になるため、使い勝手が向上する。
(Effect of embodiment)
According to the remote control system 1 according to the present embodiment, the control device (wireless communication terminal 20) acquires and displays an image captured by the mobile device (remote device 10), and performs the display on the displayed image. Detects any operation, sets the moving range of the moving device according to the operation, sets the moving content of the moving device based on the detected operation content and the set moving range, and moves the moving content Send to device. Then, the mobile device receives the transmitted movement content and controls its own movement based on the received movement content. Therefore, the user can set the movement range of the mobile device by intuitive operation, and sets the movement content of the mobile device based on the detected operation content of the control device and the set movement range. Remote control is possible, improving usability.

また、本実施形態に係る遠隔制御システム1によれば、移動装置は、受信された移動内容に加え、位置測位手段により測位された現在位置、あるいは撮像手段により撮像される画像に基づいて自己の移動を制御する。したがって、移動装置側で自発的に移動内容を修正することができ、実際の航行事情に応じて柔軟性、拡張性の高い移動制御が可能になる。また、本実施形態に係る遠隔制御システム1によれば、制御装置は、表示された画像に基づいて移動装置に搭載された撮像手段を制御する撮像制御内容を設定して送信し、これを受けて移動装置は、受信された撮像制御内容に基づいて撮像手段を制御する。このように、撮像制御内容に応じた撮像手段の制御を可能にするため、制御装置は、移動装置の航行内容に応じて任意のアングルで、あるいは倍率で撮影画像を取得することができ、したがって、ユーザに利便性を提供することができる。   In addition, according to the remote control system 1 according to the present embodiment, the mobile device has its own position based on the received movement content, the current position measured by the position positioning unit, or the image captured by the imaging unit. Control movement. Therefore, the movement content can be corrected spontaneously on the mobile device side, and movement control with high flexibility and expandability is possible according to the actual navigational situation. Further, according to the remote control system 1 according to the present embodiment, the control device sets and transmits the imaging control content for controlling the imaging means mounted on the mobile device based on the displayed image, and receives this. Then, the mobile device controls the imaging means based on the received imaging control content. Thus, in order to enable control of the imaging means according to the imaging control content, the control device can acquire a captured image at an arbitrary angle or magnification according to the navigation content of the mobile device, and therefore Convenience can be provided to the user.

なお、本実施形態に係る遠隔制御システム1によれば、被遠隔操作装置10として、リモコンヘリコプタのみ例示したが、このリモコンヘリコプタに制限されず、リモコン車両等、遠隔で操作可能な移動体の全ての被遠隔操作装置10に適用される。また、制御装置20として、スマートフォン等の無線通信端末20のみ例示したが、PC(Personal Computer)、タブレット端末等、無線により通信が可能な情報機器であれば全ての制御装置20に適用される。   In addition, according to the remote control system 1 according to the present embodiment, only the remote control helicopter is illustrated as the remotely operated device 10. However, the remote control helicopter is not limited to this remote control helicopter. This is applied to the remotely operated device 10. In addition, although only the wireless communication terminal 20 such as a smartphone is illustrated as the control device 20, the control device 20 is applicable to all the control devices 20 as long as it is an information device capable of wireless communication such as a PC (Personal Computer) and a tablet terminal.

以上、本発明の好ましい実施形態について詳述したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されないことは言うまでもない。上記実施形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。またその様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。   As mentioned above, although preferred embodiment of this invention was explained in full detail, it cannot be overemphasized that the technical scope of this invention is not limited to the range as described in the said embodiment. It will be apparent to those skilled in the art that various modifications or improvements can be added to the above-described embodiments. Further, it is apparent from the scope of the claims that the embodiments added with such changes or improvements can be included in the technical scope of the present invention.

以下に、本願出願時の特許請求の範囲を付記する。
[請求項1]
撮像手段を備えた移動装置と、遠隔操作により前記移動装置を制御する制御装置と、を含む遠隔制御システムであって、
前記制御装置は、
前記撮像手段により撮像された画像を、前記移動装置より受信することで取得する取得手段と、
前記取得手段によって取得された画像を表示する表示手段と、
前記表示手段によって表示された前記画像に対する任意の操作を検出する操作検出手段と、
当該制御装置の姿勢を検出する姿勢検出手段と、
前記姿勢検出手段によって検出された姿勢に応じて前記移動装置の移動範囲を設定する移動範囲設定手段と、
前記操作検出手段によって検出された任意の操作の内容と前記移動範囲設定手段によって設定された移動範囲とに基づいて前記移動装置の移動内容を設定する移動内容設定手段と、
前記設定された移動内容を前記移動装置に送信する送信手段と、
を備え、
前記移動装置は、
前記送信手段から送信される移動内容を受信する受信手段と、
前記受信した移動内容に基づき自己の移動を制御する移動制御手段と、
を備えたことを特徴とする遠隔制御システム。
[請求項2]
自己の現在地を測位する位置測位手段を備え、
前記移動制御手段は、
前記受信された移動内容に加え、前記位置測位手段により測位された現在位置に基づいて自己の移動を制御することを特徴とする請求項1記載の遠隔制御システム。
[請求項3]
前記移動制御手段は、
前記受信された移動内容に加え、前記撮像手段により撮像される画像に基づいて自己の移動を制御することを特徴とする請求項1または2記載の遠隔制御システム。
[請求項4]
前記制御装置は、
前記操作検出手段によって検出された任意の操作の内容に基づいて、前記撮像手段を制御する撮像制御内容を設定する撮像制御内容設定手段を更に備え、
前記送信手段は、
前記撮像制御内容設定手段によって設定された撮像制御内容を前記移動装置に送信し、
前記移動装置の受信手段は、
前記送信された撮像制御内容を受信し、当該受信手段により受信された撮像制御内容に基づいて前記撮像手段を制御する撮像制御手段を更に備えたことを特徴とする請求項1〜3のいずれか1項記載の遠隔制御システム。
[請求項5]
撮像手段を備えた移動装置と、少なくとも表示手段と操作検出手段とを備え、遠隔操作により前記移動装置を制御する制御装置と、を含む遠隔制御システムの制御方法であって、
前記制御装置は、
前記移動装置の撮像手段が撮像した画像を受信するステップと、
前記受信した画像を前記表示手段に表示するステップと、
前記表示手段によって表示された前記画像に対する任意の操作を検出する操作検出ステップと、
当該制御装置の姿勢を検出する姿勢検出ステップと、
前記姿勢検出ステップにて検出された姿勢に応じて前記移動装置の移動範囲を設定する移動範囲設定ステップと、
前記操作検出ステップにて検出された任意の操作の内容と前記移動範囲設定ステップにて設定された移動範囲とに基づいて前記移動装置の移動内容を設定する移動内容設定ステップと、
前記設定された移動内容を前記移動装置に送信する送信ステップと、
を含むことを特徴とする遠隔制御システムの制御方法。
[請求項6]
撮像手段を備えた移動装置を遠隔操作によって制御する、表示手段と操作入力手段とを備える制御装置のコンピュータに、
前記移動装置の撮像手段が撮像した画像を受信する受信手段、
前記受信した画像を前記表示手段に表示させる表示制御手段、
前記表示制御手段によって表示された前記画像に対する前記操作入力手段への任意の操作を検出する操作検出手段、
当該制御装置の姿勢を検出する姿勢検出手段、
前記姿勢検出手段によって検出された姿勢に応じて前記移動装置の移動範囲を設定する移動範囲設定手段、
前記操作検出手段によって検出された任意の操作の内容と前記移動範囲設定手段によって設定された移動範囲とに基づいて前記移動装置の移動内容を設定する移動内容設定手段、
前記設定された移動内容を前記移動装置に送信する送信手段、
として機能させることを特徴とするプログラム。
The claims appended at the time of filing this application will be appended below.
[Claim 1]
A remote control system comprising: a mobile device provided with an imaging means; and a control device that controls the mobile device by remote operation,
The control device includes:
Obtaining means for obtaining an image captured by the imaging means by receiving from the mobile device;
Display means for displaying the image acquired by the acquisition means;
Operation detecting means for detecting an arbitrary operation on the image displayed by the display means;
Attitude detection means for detecting the attitude of the control device;
A movement range setting means for setting a movement range of the moving device according to the posture detected by the posture detection means;
Movement content setting means for setting the movement content of the moving device based on the contents of an arbitrary operation detected by the operation detection means and the movement range set by the movement range setting means;
Transmitting means for transmitting the set movement content to the mobile device;
With
The mobile device is
Receiving means for receiving the movement content transmitted from the transmitting means;
Movement control means for controlling own movement based on the received movement content;
A remote control system characterized by comprising:
[Claim 2]
It has a positioning device that measures your current location,
The movement control means includes
The remote control system according to claim 1, wherein the movement of the mobile terminal is controlled based on a current position measured by the position positioning means in addition to the received movement content.
[Claim 3]
The movement control means includes
3. The remote control system according to claim 1, wherein the movement of itself is controlled based on an image captured by the imaging unit in addition to the received movement content.
[Claim 4]
The control device includes:
Further comprising imaging control content setting means for setting imaging control content for controlling the imaging means based on the content of an arbitrary operation detected by the operation detecting means,
The transmission means includes
Send the imaging control content set by the imaging control content setting means to the mobile device,
The receiving means of the mobile device comprises:
The imaging control means for receiving the transmitted imaging control contents and controlling the imaging means based on the imaging control contents received by the receiving means. The remote control system according to claim 1.
[Claim 5]
A control method for a remote control system, comprising: a mobile device including an imaging unit; and a control device that includes at least a display unit and an operation detection unit, and controls the mobile device by remote operation,
The control device includes:
Receiving an image captured by the imaging means of the mobile device;
Displaying the received image on the display means;
An operation detecting step for detecting an arbitrary operation on the image displayed by the display means;
An attitude detection step for detecting the attitude of the control device;
A moving range setting step for setting a moving range of the moving device according to the posture detected in the posture detecting step;
A movement content setting step for setting the movement content of the moving device based on the content of the arbitrary operation detected in the operation detection step and the movement range set in the movement range setting step;
A transmission step of transmitting the set movement content to the mobile device;
A control method for a remote control system, comprising:
[Claim 6]
A computer of a control device comprising a display means and an operation input means for controlling a mobile device comprising an imaging means by remote operation,
Receiving means for receiving an image taken by the imaging means of the mobile device;
Display control means for displaying the received image on the display means;
Operation detecting means for detecting an arbitrary operation to the operation input means for the image displayed by the display control means;
Attitude detection means for detecting the attitude of the control device;
A moving range setting means for setting a moving range of the moving device according to the posture detected by the posture detecting means;
Movement content setting means for setting the movement content of the moving device based on the contents of an arbitrary operation detected by the operation detection means and the movement range set by the movement range setting means;
Transmitting means for transmitting the set movement content to the mobile device;
A program characterized by functioning as

1…遠隔制御システム、10…被遠隔操作装置(移動装置)、20…無線通信端末(制御装置)、100…制御部、101…撮像部、102…航行スケジュールメモリ、103…画像処理部、104…GPSセンサー、105…無線通信部、106…駆動制御部、107…システムバス、108,109…モータ、200…制御部、201…プログラムメモリ、202…ワークメモリ、203…画像格納メモリ、204…無線通信部、205…姿勢検出センサー、206…GPSセンサー、207…表示部、208…タッチパネル、209…システムバス。   DESCRIPTION OF SYMBOLS 1 ... Remote control system, 10 ... Remotely-operated device (mobile device), 20 ... Wireless communication terminal (control device), 100 ... Control unit, 101 ... Imaging unit, 102 ... Navigation schedule memory, 103 ... Image processing unit, 104 DESCRIPTION OF SYMBOLS ... GPS sensor, 105 ... Wireless communication part, 106 ... Drive control part, 107 ... System bus, 108, 109 ... Motor, 200 ... Control part, 201 ... Program memory, 202 ... Work memory, 203 ... Image storage memory, 204 ... Wireless communication unit, 205 ... posture detection sensor, 206 ... GPS sensor, 207 ... display unit, 208 ... touch panel, 209 ... system bus.

Claims (6)

撮像手段を備えた移動装置と、遠隔操作により前記移動装置を制御する制御装置と、を含む遠隔制御システムであって、
前記制御装置は、
前記撮像手段により撮像された画像を、前記移動装置より受信することで取得する取得手段と、
前記取得手段によって取得された画像を表示する表示手段と、
前記表示手段によって表示された前記画像に対する任意の操作を検出する操作検出手段と、
当該制御装置の姿勢を検出する姿勢検出手段と、
前記姿勢検出手段によって検出された姿勢に応じて前記移動装置の移動範囲を設定する移動範囲設定手段と、
前記操作検出手段によって検出された任意の操作の内容と前記移動範囲設定手段によって設定された移動範囲とに基づいて前記移動装置の移動内容を設定する移動内容設定手段と、
前記設定された移動内容を前記移動装置に送信する送信手段と、
を備え、
前記移動装置は、
前記送信手段から送信される移動内容を受信する受信手段と、
前記受信した移動内容に基づき自己の移動を制御する移動制御手段と、
を備えたことを特徴とする遠隔制御システム。
A remote control system comprising: a mobile device provided with an imaging means; and a control device that controls the mobile device by remote operation,
The control device includes:
Obtaining means for obtaining an image captured by the imaging means by receiving from the mobile device;
Display means for displaying the image acquired by the acquisition means;
Operation detecting means for detecting an arbitrary operation on the image displayed by the display means;
Attitude detection means for detecting the attitude of the control device;
A movement range setting means for setting a movement range of the moving device according to the posture detected by the posture detection means;
Movement content setting means for setting the movement content of the moving device based on the contents of an arbitrary operation detected by the operation detection means and the movement range set by the movement range setting means;
Transmitting means for transmitting the set movement content to the mobile device;
With
The mobile device is
Receiving means for receiving the movement content transmitted from the transmitting means;
Movement control means for controlling own movement based on the received movement content;
A remote control system characterized by comprising:
自己の現在地を測位する位置測位手段を備え、
前記移動制御手段は、
前記受信された移動内容に加え、前記位置測位手段により測位された現在位置に基づいて自己の移動を制御することを特徴とする請求項1記載の遠隔制御システム。
It has a positioning device that measures your current location,
The movement control means includes
The remote control system according to claim 1, wherein the movement of the mobile terminal is controlled based on a current position measured by the position positioning means in addition to the received movement content.
前記移動制御手段は、
前記受信された移動内容に加え、前記撮像手段により撮像される画像に基づいて自己の移動を制御することを特徴とする請求項1または2記載の遠隔制御システム。
The movement control means includes
3. The remote control system according to claim 1, wherein the movement of itself is controlled based on an image captured by the imaging unit in addition to the received movement content.
前記制御装置は、
前記操作検出手段によって検出された任意の操作の内容に基づいて、前記撮像手段を制御する撮像制御内容を設定する撮像制御内容設定手段を更に備え、
前記送信手段は、
前記撮像制御内容設定手段によって設定された撮像制御内容を前記移動装置に送信し、
前記移動装置の受信手段は、
前記送信された撮像制御内容を受信し、当該受信手段により受信された撮像制御内容に基づいて前記撮像手段を制御する撮像制御手段を更に備えたことを特徴とする請求項1〜3のいずれか1項記載の遠隔制御システム。
The control device includes:
Further comprising imaging control content setting means for setting imaging control content for controlling the imaging means based on the content of an arbitrary operation detected by the operation detecting means,
The transmission means includes
Send the imaging control content set by the imaging control content setting means to the mobile device,
The receiving means of the mobile device comprises:
The imaging control means for receiving the transmitted imaging control contents and controlling the imaging means based on the imaging control contents received by the receiving means. The remote control system according to claim 1.
撮像手段を備えた移動装置と、少なくとも表示手段と操作検出手段とを備え、遠隔操作により前記移動装置を制御する制御装置と、を含む遠隔制御システムの制御方法であって、
前記制御装置は、
前記移動装置の撮像手段が撮像した画像を受信するステップと、
前記受信した画像を前記表示手段に表示するステップと、
前記表示手段によって表示された前記画像に対する任意の操作を検出する操作検出ステップと、
当該制御装置の姿勢を検出する姿勢検出ステップと、
前記姿勢検出ステップにて検出された姿勢に応じて前記移動装置の移動範囲を設定する移動範囲設定ステップと、
前記操作検出ステップにて検出された任意の操作の内容と前記移動範囲設定ステップにて設定された移動範囲とに基づいて前記移動装置の移動内容を設定する移動内容設定ステップと、
前記設定された移動内容を前記移動装置に送信する送信ステップと、
を含むことを特徴とする遠隔制御システムの制御方法。
A control method for a remote control system, comprising: a mobile device including an imaging unit; and a control device that includes at least a display unit and an operation detection unit, and controls the mobile device by remote operation,
The control device includes:
Receiving an image captured by the imaging means of the mobile device;
Displaying the received image on the display means;
An operation detecting step for detecting an arbitrary operation on the image displayed by the display means;
An attitude detection step for detecting the attitude of the control device;
A moving range setting step for setting a moving range of the moving device according to the posture detected in the posture detecting step;
A movement content setting step for setting the movement content of the moving device based on the content of the arbitrary operation detected in the operation detection step and the movement range set in the movement range setting step;
A transmission step of transmitting the set movement content to the mobile device;
A control method for a remote control system, comprising:
撮像手段を備えた移動装置を遠隔操作によって制御する、表示手段と操作入力手段とを備える制御装置のコンピュータに、
前記移動装置の撮像手段が撮像した画像を受信する受信手段、
前記受信した画像を前記表示手段に表示させる表示制御手段、
前記表示制御手段によって表示された前記画像に対する前記操作入力手段への任意の操作を検出する操作検出手段、
当該制御装置の姿勢を検出する姿勢検出手段、
前記姿勢検出手段によって検出された姿勢に応じて前記移動装置の移動範囲を設定する移動範囲設定手段、
前記操作検出手段によって検出された任意の操作の内容と前記移動範囲設定手段によって設定された移動範囲とに基づいて前記移動装置の移動内容を設定する移動内容設定手段、
前記設定された移動内容を前記移動装置に送信する送信手段、
として機能させることを特徴とするプログラム。
A computer of a control device comprising a display means and an operation input means for controlling a mobile device comprising an imaging means by remote operation,
Receiving means for receiving an image taken by the imaging means of the mobile device;
Display control means for displaying the received image on the display means;
Operation detecting means for detecting an arbitrary operation to the operation input means for the image displayed by the display control means;
Attitude detection means for detecting the attitude of the control device;
A moving range setting means for setting a moving range of the moving device according to the posture detected by the posture detecting means;
Movement content setting means for setting the movement content of the moving device based on the contents of an arbitrary operation detected by the operation detection means and the movement range set by the movement range setting means;
Transmitting means for transmitting the set movement content to the mobile device;
A program characterized by functioning as
JP2012209081A 2012-09-24 2012-09-24 Remote control system, control method, and program Pending JP2014063411A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012209081A JP2014063411A (en) 2012-09-24 2012-09-24 Remote control system, control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012209081A JP2014063411A (en) 2012-09-24 2012-09-24 Remote control system, control method, and program

Publications (2)

Publication Number Publication Date
JP2014063411A true JP2014063411A (en) 2014-04-10
JP2014063411A5 JP2014063411A5 (en) 2015-11-05

Family

ID=50618567

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012209081A Pending JP2014063411A (en) 2012-09-24 2012-09-24 Remote control system, control method, and program

Country Status (1)

Country Link
JP (1) JP2014063411A (en)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016017245A1 (en) * 2014-07-31 2016-02-04 ソニー株式会社 Information processing device, information processing method, and image display system
KR20160119990A (en) * 2015-04-07 2016-10-17 엘지전자 주식회사 Mobile terminal and method for controlling the same
JP2017500650A (en) * 2014-09-30 2017-01-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd System and method for data recording and analysis
JP2017076302A (en) * 2015-10-16 2017-04-20 株式会社プロドローン Method for controlling small sized unmanned airplane
JP2018032958A (en) * 2016-08-24 2018-03-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Operation terminal and mobile body
JP2018535487A (en) * 2015-09-15 2018-11-29 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd System and method for planning and controlling UAV paths
JP2020506443A (en) * 2016-09-26 2020-02-27 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Drone control method, head mounted display glasses and system
JP2020120388A (en) * 2020-04-01 2020-08-06 キヤノン株式会社 Operating device, mobile device, and control system thereof
US10860040B2 (en) 2015-10-30 2020-12-08 SZ DJI Technology Co., Ltd. Systems and methods for UAV path planning and control

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000118498A (en) * 1998-10-09 2000-04-25 Yamaha Motor Co Ltd Flight control system of unmanned helicopter
JP2001209426A (en) * 2000-01-26 2001-08-03 Nippon Telegr & Teleph Corp <Ntt> Mobile body controller
JP2007290647A (en) * 2006-04-27 2007-11-08 Yamaha Motor Co Ltd Unmanned helicopter and external environment estimating device
JP2011170844A (en) * 2010-01-20 2011-09-01 Ihi Aerospace Co Ltd Control method for unmanned vehicle
JP2011189929A (en) * 2010-03-11 2011-09-29 Parrot Method and equipment for remote control of unmanned aircraft, particularly, rotary-wing unmanned aircraft
JP2012006587A (en) * 2010-06-22 2012-01-12 Parrot Method for evaluating horizontal speed of drone, particularly of drone capable of performing hovering flight under autopilot
JP2012143447A (en) * 2011-01-13 2012-08-02 Sharp Corp Network system, control method, controller, and control program

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000118498A (en) * 1998-10-09 2000-04-25 Yamaha Motor Co Ltd Flight control system of unmanned helicopter
JP2001209426A (en) * 2000-01-26 2001-08-03 Nippon Telegr & Teleph Corp <Ntt> Mobile body controller
JP2007290647A (en) * 2006-04-27 2007-11-08 Yamaha Motor Co Ltd Unmanned helicopter and external environment estimating device
JP2011170844A (en) * 2010-01-20 2011-09-01 Ihi Aerospace Co Ltd Control method for unmanned vehicle
JP2011189929A (en) * 2010-03-11 2011-09-29 Parrot Method and equipment for remote control of unmanned aircraft, particularly, rotary-wing unmanned aircraft
JP2012006587A (en) * 2010-06-22 2012-01-12 Parrot Method for evaluating horizontal speed of drone, particularly of drone capable of performing hovering flight under autopilot
JP2012143447A (en) * 2011-01-13 2012-08-02 Sharp Corp Network system, control method, controller, and control program

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10269132B2 (en) 2014-07-31 2019-04-23 Sony Corporation Displaying images according to head posture and camera posture
JPWO2016017245A1 (en) * 2014-07-31 2017-04-27 ソニー株式会社 Information processing apparatus, information processing method, and image display system
US20170278262A1 (en) 2014-07-31 2017-09-28 Sony Corporation Information processing device, method of information processing, and image display system
WO2016017245A1 (en) * 2014-07-31 2016-02-04 ソニー株式会社 Information processing device, information processing method, and image display system
JP2017500650A (en) * 2014-09-30 2017-01-05 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd System and method for data recording and analysis
US11205311B2 (en) 2014-09-30 2021-12-21 SZ DJI Technology Co., Ltd. System and method for data recording and analysis
US9652904B2 (en) 2014-09-30 2017-05-16 SZ DJI Technology Co., Ltd. System and method for data recording and analysis
US9905060B2 (en) 2014-09-30 2018-02-27 SZ DJI Technology Co., Ltd. System and method for data recording and analysis
US10580230B2 (en) 2014-09-30 2020-03-03 SZ DJI Technology Co., Ltd. System and method for data recording and analysis
KR20160119990A (en) * 2015-04-07 2016-10-17 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR102246557B1 (en) 2015-04-07 2021-04-30 엘지전자 주식회사 Mobile terminal and method for controlling the same
JP2018535487A (en) * 2015-09-15 2018-11-29 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd System and method for planning and controlling UAV paths
US10928838B2 (en) 2015-09-15 2021-02-23 SZ DJI Technology Co., Ltd. Method and device of determining position of target, tracking device and tracking system
US10976753B2 (en) 2015-09-15 2021-04-13 SZ DJI Technology Co., Ltd. System and method for supporting smooth target following
US11635775B2 (en) 2015-09-15 2023-04-25 SZ DJI Technology Co., Ltd. Systems and methods for UAV interactive instructions and control
WO2017065103A1 (en) * 2015-10-16 2017-04-20 株式会社プロドローン Small unmanned aircraft control method
JP2017076302A (en) * 2015-10-16 2017-04-20 株式会社プロドローン Method for controlling small sized unmanned airplane
US10860040B2 (en) 2015-10-30 2020-12-08 SZ DJI Technology Co., Ltd. Systems and methods for UAV path planning and control
JP2018032958A (en) * 2016-08-24 2018-03-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Operation terminal and mobile body
JP2020506443A (en) * 2016-09-26 2020-02-27 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd Drone control method, head mounted display glasses and system
JP2020120388A (en) * 2020-04-01 2020-08-06 キヤノン株式会社 Operating device, mobile device, and control system thereof

Similar Documents

Publication Publication Date Title
JP2014063411A (en) Remote control system, control method, and program
US10356301B2 (en) Imaging system, angle-of-view adjustment method, and angle-of-view adjustment program
TWI400940B (en) Handheld device and method for controlling orbit cameras remotely
US10012509B2 (en) Utilizing camera to assist with indoor pedestrian navigation
US20170054907A1 (en) Safety equipment, image communication system, method for controlling light emission, and non-transitory recording medium
US9838573B2 (en) Method for guiding controller to move to within recognizable range of multimedia apparatus, the multimedia apparatus, and target tracking apparatus thereof
JP2018013337A (en) Device and method for guiding and positioning flying object
WO2019019819A1 (en) Mobile electronic device and method for processing tasks in task region
KR20120116478A (en) Image identification using trajectory-based location determination
WO2016000194A1 (en) Photographing control method, device and pan-tilt device
KR20170086482A (en) Control device and control method of flying bot
KR20150128140A (en) Around view system
US10778899B2 (en) Camera control apparatus
JP5771508B2 (en) Display device, imaging device, and video display system
JP6422077B2 (en) Overhead image display system, terminal device, and program thereof
JP5514062B2 (en) Electronic device, imaging screen display method with information, and program
WO2019127303A1 (en) Method for prompting and determining orientation of unmanned aerial vehicle, and control terminal
JP2012186591A (en) Camera controller, camera control method, and camera control program
US11489998B2 (en) Image capturing apparatus and method of controlling image capturing apparatus
CN106713729A (en) Shooting aiding method and electronic device
KR20160023362A (en) System and Method for realtime 3D tactical intelligence display
CN109309709B (en) Control method capable of remotely controlling unmanned device
KR101917110B1 (en) Electro-optic device capable of changing a main target and method for controlling the same
JP6101032B2 (en) Setting support apparatus, setting support method, and program
JP6101033B2 (en) Setting support apparatus, setting support method, and program

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150916

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150916

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160909

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20170228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170525

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170607

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20170818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180928