JP2020098500A - Commanding device - Google Patents
Commanding device Download PDFInfo
- Publication number
- JP2020098500A JP2020098500A JP2018236730A JP2018236730A JP2020098500A JP 2020098500 A JP2020098500 A JP 2020098500A JP 2018236730 A JP2018236730 A JP 2018236730A JP 2018236730 A JP2018236730 A JP 2018236730A JP 2020098500 A JP2020098500 A JP 2020098500A
- Authority
- JP
- Japan
- Prior art keywords
- instruction
- command
- information
- drone
- conductor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 claims description 4
- 239000004020 conductor Substances 0.000 description 47
- 238000000034 method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 7
- 230000000295 complement effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
Description
本発明は、例えばドローン等の無人移動体に係る指揮を行う指揮装置の技術分野に関する。 The present invention relates to the technical field of a commanding device that conducts commanding an unmanned vehicle such as a drone.
この種の装置に係る技術として、例えば、収容装置に収容されたドローン等の飛行体を備えるとともに、無人で走行可能な車両に搭載された車両演算装置に対して、指揮装置から指令を送信することによって、収容装置から飛行体を飛行させる技術が提案されている（特許文献１参照）。その他、関連する技術として、特許文献２及び３に記載の技術がある。 As a technique related to this type of device, for example, a commanding device transmits a command to a vehicle arithmetic device mounted on a vehicle that is capable of traveling unmanned while having a flying object such as a drone housed in a housing device. Therefore, a technique for flying an air vehicle from the accommodation device has been proposed (see Patent Document 1). In addition, there are technologies described in Patent Documents 2 and 3 as related technologies.
特許文献１には、指揮装置の詳細が開示されていないという技術的問題点がある。 Patent Document 1 has a technical problem that the details of the command device are not disclosed.
本発明は、例えば上記問題点に鑑みてなされたものであり、無人移動体（上述の“飛行体”に相当）に係る指揮を行う指揮装置を提供することを課題とする。 The present invention has been made in view of the above problems, for example, and it is an object of the present invention to provide a commanding device that conducts command related to an unmanned moving body (corresponding to the above-mentioned "flying body").
本発明の指揮装置は、上記課題を解決するために、無人移動体を遠隔操作可能な操作装置と通信可能に構成された指揮装置であって、少なくとも一部が不確かな指示であるあいまいな指示を受け付ける受付手段と、前記あいまいな指示に含まれる不確かな部分を補完して、前記無人移動体の操作内容を示す指揮情報を生成する生成手段と、前記指揮情報を前記操作装置に送信する送信手段と、を備える。 In order to solve the above problems, the command device of the present invention is a command device configured to communicate with an operation device capable of remotely controlling an unmanned vehicle, and an ambiguous instruction at least a part of which is an uncertain instruction. Receiving means for receiving the command, a generating means for complementing the uncertain portion included in the ambiguous instruction, and generating command information indicating the operation content of the unmanned vehicle, and a transmission for transmitting the command information to the operation device. And means.
無人移動体は、人が搭乗することが想定されていなければ、どのような移動体であってもよい。無人移動体は、例えばドローンやマルチコプタ等の飛行可能な移動体であってもよいし、地上を移動可能な移動体であってもよいし、水中を移動可能な移動体であってもよいし、地中や、構造物（例えば配管等）の内部を移動可能な移動体であってもよい。 The unmanned moving body may be any moving body as long as it is not expected that a person will board. The unmanned mobile unit may be a mobile unit capable of flying, such as a drone or a multicopter, a mobile unit capable of moving on the ground, or a mobile unit capable of moving in water. Alternatively, it may be a moving body that can move in the ground or inside a structure (such as a pipe).
操作装置は、無人移動体を遠隔操作可能な装置である。操作装置は、遠隔操作に係る信号を無人移動体に送信するために、無人移動体と無線通信可能に構成されていてもよいし、無人移動体とケーブルにより接続されていてもよい。操作装置は、操縦者により操作可能に構成されていてもよいし、例えば自動航行システム等の操縦者を必要としない装置として構成されていてもよい。 The operation device is a device that can remotely operate an unmanned moving body. The operating device may be configured to be able to wirelessly communicate with the unmanned vehicle or to be connected to the unmanned vehicle by a cable in order to transmit a signal related to remote control to the unmanned vehicle. The operating device may be configured to be operable by a pilot, or may be configured as a device that does not require a pilot, such as an automatic navigation system.
指揮装置は、操作装置と通信可能に構成されている。指揮装置と操作装置とは、直接通信に限らず、例えば中継装置等の他の装置を介して間接的に通信してもよい。つまり、指揮装置と操作装置とは、既存の各種態様のいずれによっても通信してよい。 The command device is configured to be able to communicate with the operation device. The command device and the operation device are not limited to direct communication, but may communicate indirectly via another device such as a relay device. That is, the command device and the operating device may communicate with each other in any of various existing modes.
指揮装置は、受付手段、生成手段及び送信手段を備えて構成されている。受付手段は、指揮者からの指示を受け付け可能に構成されている。ここで、指揮者からの指示は、無人移動体の操作内容を示す指示を意味する。尚、指揮者からの指示は、当該指揮装置に直接なされたものに限らず、当該指揮装置と通信可能な端末装置（例えばスマートフォン等）を介してなされたものであってもよい。 The command device includes a reception unit, a generation unit, and a transmission unit. The reception means is configured to be able to receive an instruction from the conductor. Here, the instruction from the conductor means an instruction indicating the operation content of the unmanned vehicle. It should be noted that the instruction from the conductor is not limited to being given directly to the commanding device, but may be given via a terminal device (for example, a smartphone) that can communicate with the commanding device.
受付手段は特に、あいまいな指示を受け付け可能に構成されている。ここで先ず「あいまいでない指示」とは、その内容により無人移動体の操作内容が一意に（又は完全に）決定される指示を意味する。これに対して、「あいまいな指示」とは、少なくとも一部が不確かな指示である。「不確かな」とは、無人移動体の操作内容に係る情報が欠落していることを意味する。つまり、「あいまいな指示」は、その内容の少なくとも一部に欠落している情報があるが故に、無人移動体の操作内容を一意に決定することができない指示である。 The accepting means is particularly configured to accept ambiguous instructions. Here, first, the “unambiguous instruction” means an instruction by which the operation content of the unmanned vehicle is uniquely (or completely) determined. On the other hand, an "ambiguous instruction" is an instruction that is at least partially uncertain. “Uncertain” means that the information related to the operation content of the unmanned vehicle is missing. That is, the "ambiguous instruction" is an instruction that cannot uniquely determine the operation content of the unmanned mobile unit because at least a part of the content has missing information.
あいまいな指示として、例えば、（ｉ）無人移動体の移動に係る指示であって、目標地点のみが明示されており、無人移動体の現在地から目標地点までの軌道は明示されていない指示や、（ｉｉ）基準が明示されていない相対的な表現（例えば“前”、“右”、“上”等）を含む指示、（ｉｉｉ）操作装置が、例えば自動航行システムである場合に、該操作装置に入力すべきデータ形式とは異なる形式でなされた指示、が挙げられる。 As the ambiguous instruction, for example, (i) an instruction relating to the movement of the unmanned vehicle, in which only the target point is clearly indicated, and the trajectory from the current position of the unmanned vehicle to the target point is not clearly stated, (Ii) an instruction including a relative expression (e.g., "front", "right", "up", etc.) in which the criterion is not specified, and (iii) an operation device when the operation device is, for example, an automatic navigation system. An instruction is given in a format different from the data format to be input to the device.
生成手段は、あいまいな指示に含まれる不確かな部分を補完して指揮情報を生成する。ここで「補完」とは、不確かな部分を一意に確定することを意味する。より具体的には、「補完」とは、あいまいな指示に含まれる不確かな部分（即ち、無人移動体の操作内容に係る情報が欠落している部分）に対応する情報を新たに生成して（又は推測して）補い、あいまいでない指示を生成することを意味する。不確かな部分の補完方法は、あいまいな指示の内容に応じて適宜変更されてよい。あいまいな指示が、例えば目標地点のみが明示された指示である場合、生成手段は、補完として、例えば、無人移動体の現在地及び姿勢各々を示す情報と、地図情報とに基づいて、無人移動体の現在地から目標地点までの軌道を示す情報を生成する。 The generation means complements the uncertain portion included in the ambiguous instruction to generate command information. Here, "complement" means to uniquely determine an uncertain portion. More specifically, “complement” means to newly generate information corresponding to an uncertain portion included in an ambiguous instruction (that is, a portion where information related to the operation content of the unmanned vehicle is missing). Compensation (or guessing) means generating an unambiguous instruction. The method of supplementing the uncertain portion may be changed as appropriate according to the content of the ambiguous instruction. When the ambiguous instruction is, for example, an instruction in which only the target point is clearly specified, the generating unit may, as a complement, for example, based on the information indicating each of the current position and the attitude of the unmanned moving body and the map information, the unmanned moving body. Generates information indicating the trajectory from the present location of the vehicle to the target point.
あいまいな指示が、例えば基準が明示されていない相対的な表現を含む指示である場合、生成手段は、補完として、例えば、指揮者の現在地及び向いている方位を示す情報と、無人移動体の現在地及び姿勢を示す情報とに基づいて、指揮者を基準とした相対的な表現を、無人移動体を基準とした相対的な表現に変換する。尚、指揮者が、例えば無人移動体に搭載されたカメラにより撮影された画像を見ながら指揮をしている場合には、該カメラの位置及び光軸方向が、指揮者の現在地及び向いている方位とされてよい。 When the ambiguous instruction is, for example, an instruction including a relative expression in which the criteria are not clearly specified, the generating unit may, as a complement, information indicating the current position and the heading of the conductor and the unmanned vehicle, for example. The relative expression based on the conductor is converted into the relative expression based on the unmanned moving body based on the information indicating the current position and the attitude. When the conductor conducts while looking at the image taken by the camera mounted on the unmanned vehicle, the position of the camera and the optical axis direction are the current position and the direction of the conductor. It may be a bearing.
あいまいな指示が、例えば自動航行システムである操作装置に入力すべきデータ形式とは異なる形式でなされた指示である場合、生成手段は、補完として、指示の形式を、操作装置に入力すべきデータ形式に変換する。 When the ambiguous instruction is an instruction made in a format different from the data format to be input to the operating device, which is, for example, an automatic navigation system, the generating means, as a supplement, the format of the instruction to the data to be input to the operating device. Convert to format.
送信手段は、生成手段により生成された指揮情報を、操作装置に送信する。尚、指揮情報の送信方法には、既存の各種態様を適用可能である。 The transmitting unit transmits the command information generated by the generating unit to the operation device. Note that various existing modes can be applied to the method of transmitting command information.
ところで、無人移動体は、例えば災害被災地、農地、海域、建造物等の調査に用いられることがある。調査範囲が比較的狭ければ１台の無人移動体で十分な調査が可能であるが、調査範囲が比較的広ければ複数台の無人移動体を用いることで調査効率を向上させることができる。複数台の無人移動体が用いられる場合、一の位置にいる指揮者が、互いに異なる位置にいる複数台の無人移動体各々の操作を指揮することがある。或いは、災害が発生した場合に、災害被災地に無人移動体及びその操縦者を派遣する一方、操縦者とは異なる場所（例えば災害対策本部等）から指揮者が無人移動体の操作を指揮することがある。このような場合に、指揮者が、例えば無人移動体の航路を厳密に規定する指示を、逐次出さなければならいないとすると、到底その煩に堪えない。 By the way, the unmanned mobile body may be used, for example, for investigation of disaster-stricken areas, farmlands, sea areas, buildings, and the like. If the survey range is relatively narrow, one unmanned mobile body can perform a sufficient survey, but if the survey range is relatively wide, the survey efficiency can be improved by using a plurality of unmanned mobile bodies. When a plurality of unmanned vehicles are used, a conductor at one position may command the operation of each of the unmanned vehicles at different positions. Alternatively, when a disaster occurs, the unmanned vehicle and its operator are dispatched to the disaster-stricken area, while the conductor directs the operation of the unmanned vehicle from a place different from the operator (for example, disaster countermeasures headquarters). Sometimes. In such a case, if the conductor, for example, has to successively give an instruction that strictly defines the route of the unmanned vehicle, it is unbearable.
当該指揮装置は、あいまいな指示を受け付け可能に構成されている。そして、あいまいな指示が受け付けられた場合には、生成手段により、あいまいな指示に含まれる不確かな部分が補完された指揮情報が生成される。このため、指揮者は、当該指揮装置を介して、直感的に無人移動体の操作を指揮することができる。つまり、当該指揮装置によれば、指揮者の負担を軽減できるとともに、指揮情報が操作装置に送信されることにより、無人移動体が適切に操作されることが期待できる。 The command device is configured to accept ambiguous instructions. Then, when the ambiguous instruction is received, the generating means generates the command information in which the uncertain portion included in the ambiguous instruction is complemented. Therefore, the conductor can intuitively direct the operation of the unmanned moving body via the command device. That is, according to the command device, it is possible to reduce the burden on the conductor and to expect that the unmanned vehicle is appropriately operated by transmitting the command information to the operation device.
本発明の指揮装置の一態様では、前記あいまいな指示は、前記無人移動体の軌道に係る情報及び動作に係る情報のうち少なくとも一方を含む。この態様によれば、あいまいな指示が補完されることにより生成された指揮情報に基づいて、無人移動体が適切に操作されることが期待できる。 In one aspect of the commanding device of the present invention, the ambiguous instruction includes at least one of information regarding a trajectory of the unmanned moving body and information regarding an operation. According to this aspect, it can be expected that the unmanned moving body is appropriately operated based on the command information generated by complementing the ambiguous instruction.
本発明の指揮装置の他の態様では、前記生成手段は、前記あいまいな指示を出した者である指揮者の位置及び方位、並びに、前記無人移動体の位置及び方位のうち少なくとも一つを考慮して、前記不確かな部分を補完する。この態様によれば、あいまいな指示に含まれる不確かな部分を、比較的容易にして補完することができる。 In another aspect of the commanding device of the present invention, the generating means considers at least one of a position and a direction of a conductor who is the person who has issued the ambiguous instruction, and a position and a direction of the unmanned vehicle. Then, the uncertainties are complemented. According to this aspect, the uncertain portion included in the ambiguous instruction can be relatively easily supplemented.
本発明の指揮装置の他の態様では、前記あいまいな指示を出した者に対して、前記指揮情報を報知する報知手段を備える。この態様によれば、あいまいな指示を出した者（即ち、指揮者）が、自ら出した指示の意図と、操作装置に送信される指揮情報とがあっているか否かを比較的容易に確認することができる。 In another aspect of the commanding device of the present invention, a notifying unit for notifying the commanding information to a person who has issued the ambiguous instruction is provided. According to this aspect, the person who gives the ambiguous instruction (that is, the conductor) can relatively easily confirm whether or not the intention of the instruction given by himself/herself and the command information transmitted to the operation device match. can do.
本発明の作用及び他の利得は次に説明する実施するための形態から明らかにされる。 The operation and other advantages of the present invention will be clarified from the modes for carrying out the invention described below.
本発明の指揮装置に係る実施形態について図１乃至図４を参照して説明する。以下の実施形態では、無人移動体の一例としてドローンを挙げる。 An embodiment of a commanding device of the present invention will be described with reference to FIGS. 1 to 4. In the following embodiments, a drone will be taken as an example of an unmanned vehicle.
（構成）
実施形態に係る指揮装置を含むシステムの構成について図１を参照して説明する。図１は、実施形態に係る指揮装置を含むシステムの構成を示すブロック図である。
(Constitution)
The configuration of the system including the commanding device according to the embodiment will be described with reference to FIG. FIG. 1 is a block diagram showing a configuration of a system including a commanding device according to an embodiment.
図１において、システム１は、ドローン１１と、該ドローン１１を操作する操作装置１２と、指揮装置２０とを備えて構成されている。操作装置１２及び指揮装置２０は、相互に通信可能に構成されている。 In FIG. 1, the system 1 includes a drone 11, an operating device 12 that operates the drone 11, and a commanding device 20. The operation device 12 and the command device 20 are configured to be able to communicate with each other.
ドローン１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、カメラ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機、ジャイロセンサ及び磁気方位センサを有する。カメラは、ドローン１１の周囲の映像を撮影する。ＣＰＵは、ＧＰＳ受信機の出力、ジャイロセンサの出力及び磁気方位センサの出力に基づいて、ドローン１１の位置及び姿勢を検出する。 The drone 11 includes a CPU (Central Processing Unit), a camera, a GPS (Global Positioning System) receiver, a gyro sensor, and a magnetic bearing sensor. The camera captures a video around the drone 11. The CPU detects the position and orientation of the drone 11 based on the output of the GPS receiver, the output of the gyro sensor, and the output of the magnetic bearing sensor.
ＣＰＵは、カメラにより撮影された映像を映像情報として操作装置１２に送信するとともに、検出されたドローン１１の位置及び姿勢を移動体位置情報として操作装置１２に送信する。操作装置１２により受信された映像情報及び移動体位置情報は、指揮装置２０に送信される。 The CPU transmits the image captured by the camera to the operating device 12 as image information, and also transmits the detected position and posture of the drone 11 to the operating device 12 as moving body position information. The video information and the moving body position information received by the operation device 12 are transmitted to the commanding device 20.
ドローン１１が有するカメラは、その光軸方向（即ち、レンズが向いている方向）をドローン１１の姿勢にかかわらず変更可能に構成されていてよい。この場合、カメラの光軸方向変更は、操作装置１２からの信号に基づいて行われる。尚、カメラはズーム機能を有していてよい。この場合、ズームの程度は操作装置１２からの信号に基づいて制御される。 The camera of the drone 11 may be configured so that its optical axis direction (that is, the direction in which the lens faces) can be changed regardless of the attitude of the drone 11. In this case, the optical axis direction of the camera is changed based on the signal from the operation device 12. The camera may have a zoom function. In this case, the degree of zoom is controlled based on the signal from the operating device 12.
カメラの光軸方向が、ドローン１１の姿勢にかかわらず変更可能に構成されている場合、カメラの光軸方向を示す光軸情報（例えば、基準の光軸方向からのずれ量を示す情報）及びカメラの画角を示す画角情報は、上記移動体位置情報の一部として、指揮装置２０に送信されてよい。尚、カメラがズーム機能を有している場合にはズームの程度等に基づいて逐次カメラの画角が計算され、画角情報が更新される。光軸情報及び画角情報は、ドローン１１により生成されてもよいし、操作装置１２により生成されてもよい。 When the optical axis direction of the camera is configured to be changeable regardless of the attitude of the drone 11, optical axis information indicating the optical axis direction of the camera (for example, information indicating the amount of deviation from the reference optical axis direction) and The view angle information indicating the view angle of the camera may be transmitted to the commanding device 20 as a part of the moving body position information. When the camera has a zoom function, the angle of view of the camera is sequentially calculated based on the degree of zooming and the angle of view information is updated. The optical axis information and the angle of view information may be generated by the drone 11 or the operation device 12.
尚、ドローン１１は、カメラに代えて又は加えて、例えば赤外線センサ等の他のセンサを有していてもよいし、荷物運搬機構を有していてもよい。 The drone 11 may have another sensor such as an infrared sensor instead of or in addition to the camera, and may have a luggage carrying mechanism.
操作装置１２は、操縦者により操作されてもよいし、自動航行システムとして構成されていてもよい（即ち、操縦者により操作されなくてもよい）。本実施形態では特に、操作装置１２は、ドローン１１の操作内容を示す指揮情報を、指揮装置２０から受信する。操作装置１２が操縦者により操作される場合、操作装置１２は、指揮情報を、操縦者に理解可能な態様（例えば、ディスプレイ上への指揮情報の表示、指揮情報に対応する音声を発する、等）で報知する。 The operation device 12 may be operated by the operator or may be configured as an automatic navigation system (that is, not operated by the operator). Particularly in the present embodiment, the operation device 12 receives command information indicating the operation content of the drone 11 from the command device 20. When the operating device 12 is operated by the pilot, the operating device 12 can display the command information in a manner understandable to the pilot (for example, displaying the command information on the display, issuing a sound corresponding to the command information, etc.). ) To inform you.
指揮装置２０は、受付部２１、生成部２２、報知部２３、通信部２４及びデータベース（ＤＢ）２５を有する。データベース２５には、例えば地図情報（地形図に限らず、屋内地図等も含んでよい）、ドローン１１に係る情報（例えば連続航続可能距離、飛行可能高度等の仕様を示す情報、等）、ドローン１１により撮影された画像に係る画像情報、等が含まれている。 The command device 20 includes a reception unit 21, a generation unit 22, a notification unit 23, a communication unit 24, and a database (DB) 25. The database 25 includes, for example, map information (not only topographic maps, but may include indoor maps), information related to the drone 11 (for example, information indicating specifications such as continuous cruising range, feasible altitude, etc.), drone The image information of the image captured by the camera 11 is included.
受付部２１は、ドローン１１の操作を指揮する指揮者の指示を受け付け可能に構成されている。本実施形態では特に、受付部２１は、少なくとも一部が不確かである「あいまいな指示」を受け付け可能に構成されている。 The reception unit 21 is configured to be able to receive an instruction from a conductor who directs the operation of the drone 11. Particularly in the present embodiment, the reception unit 21 is configured to be able to receive an “ambiguous instruction”, at least a part of which is uncertain.
ここで、指揮者からの指示が、タッチパネルを介して受付部２１に受け付けられる場合のあいまいな指示の一例を、図２を参照して説明する。図２において、画像３０は、上記タッチパネルに表示される画像の一例であり、符号Ｄが付されたマークは、ドローン１１の位置及び向きを示すマークである。尚、ドローン１１の向きは、上述の移動体位置情報に含まれるドローン１１の姿勢から求めればよい。 Here, an example of an ambiguous instruction when the instruction from the conductor is accepted by the acceptance unit 21 via the touch panel will be described with reference to FIG. In FIG. 2, the image 30 is an example of the image displayed on the touch panel, and the mark with the symbol D is a mark indicating the position and orientation of the drone 11. The orientation of the drone 11 may be obtained from the attitude of the drone 11 included in the moving body position information described above.
あいまいな指示として、例えばドローン１１の目標地点を示すピンａを、地図上で設定することが挙げられる（この場合、例えばドローン１１の現在の位置から、ピンａにより規定される目標地点までの軌道は規定されていない）。或いは、あいまいな指示として、例えばドローン１１の軌道を示すラインｂを、地図上に描くことが挙げられる（この場合、例えばドローン１１の現在地から、ラインｂの一端までの軌道は規定されていない）。或いは、あいまいな指示として、例えば、範囲を示す円を地図上に描くとともに、撮影を示すカメラマークを設定することが挙げられる（図３の符号ｃ参照）（この場合、例えば撮影すべき範囲内におけるドローン１１の軌道は規定されていない）。 An ambiguous instruction is, for example, setting a pin a indicating the target point of the drone 11 on the map (in this case, for example, the trajectory from the current position of the drone 11 to the target point defined by the pin a). Is not specified). Alternatively, as an ambiguous instruction, for example, a line b indicating the trajectory of the drone 11 may be drawn on the map (in this case, for example, the trajectory from the current location of the drone 11 to one end of the line b is not defined). .. Alternatively, as an ambiguous instruction, for example, a circle indicating a range may be drawn on a map and a camera mark indicating photographing may be set (see reference numeral c in FIG. 3) (in this case, for example, within the range to be photographed). The orbit of drone 11 in is not specified).
指揮者からの指示が、マイクを介して受付部２１に受け付けられる場合のあいまいな指示（即ち、音声による指示）の一例としては、「右側を写して」、「川の向こう側へ移動して」等の指示が挙げられる。 As an example of an ambiguous instruction (that is, an instruction by voice) when the instruction from the conductor is received by the reception unit 21 via the microphone, "copy the right side" and "move to the other side of the river" And the like.
生成部２２は、受付部２１により受け付けられた指示に基づいて、上述の指揮情報（即ち、ドローン１１の操作内容を示す指揮情報）を生成する。本実施形態では特に、生成部２２は、受付部２１によりあいまいな指示が受け付けられた場合、該あいまいな指示に含まれる不確かな部分を補完して、指揮情報を生成する。 The generation unit 22 generates the above-described command information (that is, command information indicating the operation content of the drone 11) based on the instruction received by the reception unit 21. In the present embodiment, in particular, when the accepting unit 21 accepts an ambiguous instruction, the generating unit 22 complements an uncertain portion included in the ambiguous instruction and generates command information.
生成部２２は、あいまいな指示に含まれる不確かな部分を補完するために、例えばニューラルネットワーク等により構成されている。尚、上記不確かな部分を補完可能なニューラルネットワークを構築する方法には、既存の各種態様（例えば、教師あり学習、教師なし学習、等）を適用可能であるので、その詳細についての説明は省略する。 The generation unit 22 is configured by, for example, a neural network or the like in order to complement the uncertain portion included in the ambiguous instruction. Since various existing modes (for example, learning with a teacher, learning without a teacher, etc.) can be applied to the method of constructing the neural network capable of complementing the above-mentioned uncertain portion, the detailed description thereof will be omitted. To do.
ここで、あいまいな指示に含まれる不確かな部分の補完の一例を、図３を参照して説明する。ここでは、あいまいな指示として、ドローン１１の目標地点を示すピンａ（図２参照）が設定されたものとする。 Here, an example of complementing an uncertain portion included in the ambiguous instruction will be described with reference to FIG. Here, it is assumed that the pin a (see FIG. 2) indicating the target point of the drone 11 is set as an ambiguous instruction.
生成部２２は、例えばドローン１１の位置、ピンａにより規定される目標地点、及び、データベース２５に含まれる地図情報等に基づいて、ドローン１１の現在地から目標地点までの軌道を示す軌道情報を生成する。このとき、生成部２２は、図３において点線ｒ１で示すような、ドローン１１が道路に沿って飛行するような軌道を示す軌道情報を生成してよい（この場合、ドローン１１の飛行高度は、例えば数メートルから十数メートル等、比較的低く設定される）。或いは、生成部２２は、図３において破線ｒ２で示すような、ドローン１１の移動距離が最短となるような軌道を示す軌道情報を生成してよい（この場合、ドローン１１の飛行高度は、典型的には、数十メートル等、比較的高く設定される）。 The generation unit 22 generates trajectory information indicating a trajectory from the current location of the drone 11 to the target point based on, for example, the position of the drone 11, the target point defined by the pin a, and the map information included in the database 25. To do. At this time, the generation unit 22 may generate trajectory information indicating a trajectory along which the drone 11 flies along the road, as indicated by a dotted line r1 in FIG. 3 (in this case, the flight altitude of the drone 11 is For example, it is set relatively low, such as several meters to a dozen meters). Alternatively, the generation unit 22 may generate trajectory information indicating a trajectory such that the movement distance of the drone 11 is the shortest, as indicated by a broken line r2 in FIG. 3 (in this case, the flight altitude of the drone 11 is typically In general, it is set relatively high, such as several tens of meters).
あいまいな指示が相対的な表現を含む指示である場合の、不確かな部分の補完の一例について説明する。ここでは、あいまいな指示として「川の向こう側へ移動して」という音声による指示がなされたものとする。 An example of complementing an uncertain part when the ambiguous instruction is an instruction including a relative expression will be described. Here, it is assumed that an ambiguous instruction is given by voice such as "move to the other side of the river".
生成部２２は、例えば指揮者の位置及び向いている方位、並びに、データベース２５に含まれる地図情報等に基づいて、先ず、指揮者が認識している川を推定するとともに、該推定された川と指揮者との位置関係に基づいて、「川の向こう側」に相当する範囲を特定する。操作装置１２が操縦者により操作される場合には、生成部２２は、特定された「川の向こう側」に相当する範囲を示す情報（例えば画像情報）を、指揮情報として生成する。操作装置１２が自動航行システムとして構成されている場合には、生成部２２は、例えば特定された「川の向こう側」に相当する範囲の中心を目標地点に設定して、例えばドローン１１の位置及びデータベース２５に含まれる地図情報等に基づいて、ドローン１１の現在地から上記設定された目標地点までの軌道を示す軌道情報を、指揮情報として生成する。 The generation unit 22 first estimates the river recognized by the conductor based on, for example, the position and direction of the conductor, the map information included in the database 25, and the estimated river. Based on the positional relationship between the conductor and the conductor, the range corresponding to "the other side of the river" is specified. When the operating device 12 is operated by the operator, the generation unit 22 generates, as command information, information (for example, image information) indicating a range corresponding to the specified "the other side of the river". When the operation device 12 is configured as an automatic navigation system, the generation unit 22 sets, for example, the center of a range corresponding to the specified “the other side of the river” as the target point, and, for example, the position of the drone 11. And, based on the map information and the like contained in the database 25, the trajectory information indicating the trajectory from the current position of the drone 11 to the set target point is generated as command information.
或いは、指揮者が、ドローン１１のカメラにより撮影された画像を見ながら指揮をしているときに、あいまいな指示として「右側を写して」という音声による指示がなされたものとする。 Alternatively, it is assumed that when the conductor conducts while looking at the image captured by the camera of the drone 11, a voice instruction “copy right side” is given as an ambiguous instruction.
生成部２２は、例えばドローン１１の姿勢に基づいて、該ドローン１１のカメラの光軸方向を特定して、「右側」を特定する。操作装置１２が操縦者により操作される場合には、生成部２２は、特定された「右側」を示す情報（例えば画像情報）を、指揮情報として生成する。操作装置１２が自動航行システムである場合には、生成部２２は、例えば特定された「右側」を撮影できるドローン１１の目標姿勢を示す情報、又は、ドローン１１のカメラの光軸方向の目標を示す情報を、指揮情報として生成する。 The generation unit 22 specifies the optical axis direction of the camera of the drone 11 based on the attitude of the drone 11, for example, and specifies the “right side”. When the operating device 12 is operated by the operator, the generating unit 22 generates, as command information, information (for example, image information) indicating the specified “right side”. When the operation device 12 is an automatic navigation system, the generation unit 22 sets, for example, the information indicating the target attitude of the drone 11 that can capture the identified “right side” or the target in the optical axis direction of the camera of the drone 11. The information shown is generated as command information.
生成部２２により生成された指揮情報は、通信部２４を介して操作装置１２に送信されるとともに、報知部２３により指揮者が理解可能な態様（例えば画像表示等）で報知される。 The command information generated by the generation unit 22 is transmitted to the operation device 12 via the communication unit 24, and is notified by the notification unit 23 in a manner that the conductor can understand (for example, image display).
尚、実施形態に係る「受付部２１」、「生成部２２」、「報知部２３」及び「通信部２４」は、夫々、本発明に係る「受付手段」、「生成手段」、「報知手段」及び「送信手段」の一例である。 The "reception unit 21", the "generation unit 22", the "notification unit 23", and the "communication unit 24" according to the embodiment are the "reception unit", the "generation unit", and the "notification unit" according to the present invention, respectively. And “transmission means”.
（動作）
指揮装置２０の動作について図４のフローチャートを参照して説明する。
(motion)
The operation of the commanding device 20 will be described with reference to the flowchart of FIG.
図４において、指揮装置２０は、通信部２４を介して、ドローン１１の位置及び姿勢を示す移動体位置情報を取得する（ステップＳ１０１）。ステップＳ１０１の処理と並行して又は相前後して、指揮装置２０は、指揮者の位置、及び指揮者が向いている方位を示す指揮者位置情報を取得する（ステップＳ１０２）。 In FIG. 4, the commanding device 20 acquires moving body position information indicating the position and posture of the drone 11 via the communication unit 24 (step S101). In parallel with or before or after the process of step S101, the conductor device 20 acquires conductor position information indicating the conductor position and the azimuth the conductor is facing (step S102).
ここで、指揮者位置情報は、例えば次のようにして取得すればよい。即ち、当該指揮装置２０が持ち運び可能に構成されており、指揮者が指揮装置２０を所持する場合、指揮装置２０にＧＰＳ受信機及び磁気方位センサを設け、該ＧＰＳ受信機の出力及び磁気方位センサの出力から、指揮者位置情報を取得すればよい。或いは、指揮者が所持する端末装置を介して、指揮者が指揮装置２０に指示をする場合、端末装置にＧＰＳ受信機及び磁気方位センサを設け、該ＧＰＳ受信機の出力及び磁気方位センサの出力から求められる指揮者位置情報を、指揮装置２０が端末装置から取得すればよい。 Here, the conductor position information may be acquired as follows, for example. That is, the command device 20 is configured to be portable, and when the conductor carries the command device 20, the command device 20 is provided with a GPS receiver and a magnetic azimuth sensor, and the output of the GPS receiver and the magnetic azimuth sensor. The conductor position information may be obtained from the output of. Alternatively, when the conductor gives an instruction to the conductor device 20 via the terminal device possessed by the conductor, the terminal device is provided with a GPS receiver and a magnetic bearing sensor, and the output of the GPS receiver and the output of the magnetic bearing sensor are provided. The conductor position information required by the conductor device 20 may be acquired from the terminal device.
次に、指揮装置２０の報知部２４は、移動体位置情報と、データベース２５に含まれる地図情報とに基づいて、例えば地図画像上に、ドローン１１の現在地及び向きを示すマーク（図２の符号Ｄ参照）が示された画像を、指揮者に提示する（ステップＳ１０３）。その後、指揮装置２０は、指揮者からの指示が受付部２１により受け付けられたか否かを判定する（ステップＳ１０４）。ステップＳ１０４の処理において、指揮者からの指示が受け付けられていないと判定された場合（ステップＳ１０４：Ｎｏ）、一旦処理が終了される。その後、所定時間（例えば数十ミリ秒から数百ミリ秒）経過した後に、再度ステップＳ１０１の処理が行われる。 Next, the notification unit 24 of the commanding device 20, based on the moving body position information and the map information included in the database 25, for example, on the map image, a mark indicating the current position and direction of the drone 11 (reference numeral in FIG. 2). The image in which D) is shown is presented to the conductor (step S103). After that, the conductor device 20 determines whether or not an instruction from the conductor has been received by the reception unit 21 (step S104). In the process of step S104, when it is determined that the instruction from the conductor has not been accepted (step S104: No), the process ends. Then, after a predetermined time (for example, several tens to several hundreds of milliseconds) has elapsed, the process of step S101 is performed again.
ステップＳ１０４の処理において、指揮者からの指示が受け付けられたと判定された場合（ステップＳ１０４：Ｙｅｓ）、指揮装置２０の生成部２２は、指揮情報を生成する（ステップＳ１０５）。このとき、受け付けられた指示があいまいな指示である場合、生成部２２は、該あいまいな指示に含まれる不確かな部分を補完して、指揮情報を生成する。 In the process of step S104, when it is determined that the instruction from the conductor is accepted (step S104: Yes), the generation unit 22 of the conductor device 20 generates the conductor information (step S105). At this time, if the received instruction is an ambiguous instruction, the generation unit 22 complements the uncertain portion included in the ambiguous instruction to generate command information.
その後、指揮装置２０は、指揮情報を通信部２４を介して、操作装置１２に送信する（ステップＳ１０６）。このとき、報知部２３は、指揮情報を、指揮者に理解可能な態様で報知する。 After that, the command device 20 transmits command information to the operation device 12 via the communication unit 24 (step S106). At this time, the notification unit 23 notifies the conductor information in a manner that the conductor can understand.
（技術的効果）
当該指揮装置２０では、受付部２１により受け付けられた指揮者からの指示に基づいて、生成部２２によりドローン１１の操作内容を示す指揮情報が生成される。当該指揮装置２０では特に、受付部２１によりあいまいな指示が受け付けられた場合、生成部２２により該あいまいな指示に含まれる不確かな部分が補完された上で指揮情報が生成される。当該指揮装置２０は、指揮者からのあいまいな指示を受け付け可能に構成されているので、指揮者が、当該指揮装置２０を介して、直感的にドローン１１の操作を指揮することができる。
(Technical effect)
In the commanding device 20, the generating unit 22 generates command information indicating the operation content of the drone 11 based on the instruction from the conductor accepted by the accepting unit 21. In the command device 20, in particular, when the accepting unit 21 accepts an ambiguous instruction, the generating unit 22 complements the uncertain portion included in the ambiguous instruction and then generates command information. Since the command device 20 is configured to be able to accept ambiguous instructions from the conductor, the conductor can intuitively command the operation of the drone 11 via the command device 20.
本発明は、上述した実施形態に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う指揮装置もまた本発明の技術的範囲に含まれるものである。 The present invention is not limited to the above-described embodiment, but can be appropriately modified within the scope not departing from the gist or idea of the invention that can be read from the claims and the entire specification, and the command device accompanied by such modification is also possible. Moreover, it is included in the technical scope of the present invention.
１…システム、１１…ドローン、１２…操作装置、２０…指揮装置、２１…受付部、２２…生成部、２３…報知部、２４…通信部、２５…データベース DESCRIPTION OF SYMBOLS 1... System, 11... Drone, 12... Operating device, 20... Commanding device, 21... Reception part, 22... Generation part, 23... Notification part, 24... Communication part, 25... Database
Claims (4)
少なくとも一部が不確かな指示であるあいまいな指示を受け付ける受付手段と、
前記あいまいな指示に含まれる不確かな部分を補完して、前記無人移動体の操作内容を示す指揮情報を生成する生成手段と、
前記指揮情報を前記操作装置に送信する送信手段と、
を備えることを特徴とする指揮装置。 A command device configured to communicate with an operating device capable of remotely controlling an unmanned vehicle,
Acceptance means for accepting ambiguous instructions, at least some of which are uncertain instructions,
Complementing an uncertain portion included in the ambiguous instruction, a generating unit that generates command information indicating the operation content of the unmanned vehicle,
Transmitting means for transmitting the command information to the operating device,
A commanding device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018236730A JP2020098500A (en) | 2018-12-18 | 2018-12-18 | Commanding device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018236730A JP2020098500A (en) | 2018-12-18 | 2018-12-18 | Commanding device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2020098500A true JP2020098500A (en) | 2020-06-25 |
Family
ID=71106868
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018236730A Pending JP2020098500A (en) | 2018-12-18 | 2018-12-18 | Commanding device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2020098500A (en) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003248541A (en) * | 2002-02-22 | 2003-09-05 | Mitsubishi Electric Corp | Control device using brain wave signal and control method |
| WO2015173930A1 (en) * | 2014-05-15 | 2015-11-19 | 三菱電機株式会社 | Path guidance control device, path guidance control method, and navigation system |
| JP2017509034A (en) * | 2013-07-31 | 2017-03-30 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Remote control method and terminal |
| JP2017146292A (en) * | 2015-09-04 | 2017-08-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Flight route generation method, flight route generation device, flight route generation program, and terminal device |
| WO2018034018A1 (en) * | 2016-08-16 | 2018-02-22 | Ｎｅｃソリューションイノベータ株式会社 | Moving body operating system, operation signal transmitting system, moving body operating method, program and recording media |
| JP2018506800A (en) * | 2015-03-31 | 2018-03-08 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Apparatus, system and method for analyzing the behavior of a remote control vehicle |
| JP2018055656A (en) * | 2016-09-30 | 2018-04-05 | キヤノンマーケティングジャパン株式会社 | Unmanned aircraft control system, and control method and program for the same |
| JP2018097578A (en) * | 2016-12-13 | 2018-06-21 | Kddi株式会社 | Flight device, flight controller and flight control method |
| JP2018121267A (en) * | 2017-01-27 | 2018-08-02 | セイコーエプソン株式会社 | Display unit and method for controlling display unit |
| JP2018142246A (en) * | 2017-02-28 | 2018-09-13 | キヤノンマーケティングジャパン株式会社 | System, and control method and program thereof |
| JP2018165066A (en) * | 2017-03-28 | 2018-10-25 | セイコーエプソン株式会社 | Head mounted display and method for controlling the same |
-
2018
- 2018-12-18 JP JP2018236730A patent/JP2020098500A/en active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003248541A (en) * | 2002-02-22 | 2003-09-05 | Mitsubishi Electric Corp | Control device using brain wave signal and control method |
| JP2017509034A (en) * | 2013-07-31 | 2017-03-30 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Remote control method and terminal |
| WO2015173930A1 (en) * | 2014-05-15 | 2015-11-19 | 三菱電機株式会社 | Path guidance control device, path guidance control method, and navigation system |
| JP2018506800A (en) * | 2015-03-31 | 2018-03-08 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Apparatus, system and method for analyzing the behavior of a remote control vehicle |
| JP2017146292A (en) * | 2015-09-04 | 2017-08-24 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | Flight route generation method, flight route generation device, flight route generation program, and terminal device |
| WO2018034018A1 (en) * | 2016-08-16 | 2018-02-22 | Ｎｅｃソリューションイノベータ株式会社 | Moving body operating system, operation signal transmitting system, moving body operating method, program and recording media |
| JP2018055656A (en) * | 2016-09-30 | 2018-04-05 | キヤノンマーケティングジャパン株式会社 | Unmanned aircraft control system, and control method and program for the same |
| JP2018097578A (en) * | 2016-12-13 | 2018-06-21 | Kddi株式会社 | Flight device, flight controller and flight control method |
| JP2018121267A (en) * | 2017-01-27 | 2018-08-02 | セイコーエプソン株式会社 | Display unit and method for controlling display unit |
| JP2018142246A (en) * | 2017-02-28 | 2018-09-13 | キヤノンマーケティングジャパン株式会社 | System, and control method and program thereof |
| JP2018165066A (en) * | 2017-03-28 | 2018-10-25 | セイコーエプソン株式会社 | Head mounted display and method for controlling the same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101990886B1 (en) | Big data-based autonomous flight drone system and its autonomous flight method | |
| JP5767731B1 (en) | Aerial video distribution system and aerial video distribution method | |
| TWI615301B (en) | Automatic driving assistant system and method thereof | |
| KR20120006160A (en) | Auto and manual control system for unmanned aerial vehicle via smart phone | |
| KR100556103B1 (en) | Method for aerial photogrammetry using computer controlled navigation and photographing system | |
| KR101871826B1 (en) | Apparatus and metnod for controlling a traffic based on unmanned air vehcle | |
| JP2014220604A (en) | Photographing position information display device | |
| JP2019023010A (en) | Control system of drone flying object | |
| CN109656260A (en) | A kind of unmanned plane geographic information data acquisition system | |
| US20210034052A1 (en) | Information processing device, instruction method for prompting information, program, and recording medium | |
| JP6460524B2 (en) | NAVIGATION SYSTEM, NAVIGATION DEVICE, FLYER, AND NAVIGATION CONTROL METHOD | |
| JP6891950B2 (en) | Equipment, systems, methods, and programs | |
| US10778899B2 (en) | Camera control apparatus | |
| KR20190134024A (en) | controlling method for unmanned aerial wehicle | |
| JP2020098500A (en) | Commanding device | |
| US11307036B2 (en) | Systems and methods for guiding object using robot | |
| JP6424100B2 (en) | NAVIGATION SYSTEM, NAVIGATION DEVICE, GLASS TYPE DEVICE, AND METHOD FOR LINKING THE DEVICE | |
| US20240118703A1 (en) | Display apparatus, communication system, display control method, and recording medium | |
| JP2020112458A (en) | Computer system and data structure | |
| JP7114191B2 (en) | unmanned aerial system | |
| JP6684012B1 (en) | Information processing apparatus and information processing method | |
| KR102181809B1 (en) | Apparatus and method for checking facility | |
| KR20110115271A (en) | System for controlling real world device using user interface | |
| CN111142552A (en) | Method and device for controlling unmanned aerial vehicle, storage medium and vehicle | |
| EP4083736B1 (en) | Mobile platform systems and methods using mesh networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211213 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230509 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231024 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240416 |