JP2017119501A - 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器 - Google Patents

無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器 Download PDF

Info

Publication number
JP2017119501A
JP2017119501A JP2016123693A JP2016123693A JP2017119501A JP 2017119501 A JP2017119501 A JP 2017119501A JP 2016123693 A JP2016123693 A JP 2016123693A JP 2016123693 A JP2016123693 A JP 2016123693A JP 2017119501 A JP2017119501 A JP 2017119501A
Authority
JP
Japan
Prior art keywords
pilot
information
air vehicle
unmanned air
unmanned
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016123693A
Other languages
English (en)
Other versions
JP6682379B2 (ja
Inventor
俊介 久原
Shunsuke Kuhara
俊介 久原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Priority to CN201680020676.4A priority Critical patent/CN107428411B/zh
Priority to PCT/JP2016/003253 priority patent/WO2017022179A1/ja
Publication of JP2017119501A publication Critical patent/JP2017119501A/ja
Priority to US15/841,509 priority patent/US10338581B2/en
Application granted granted Critical
Publication of JP6682379B2 publication Critical patent/JP6682379B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0033Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by having the operator tracking the vehicle either by direct line of sight or via one or more cameras located remotely from the vehicle
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • G05D1/101Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0004Transmission of traffic-related information to or from an aircraft
    • G08G5/0013Transmission of traffic-related information to or from an aircraft with a ground station
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G5/00Traffic control systems for aircraft, e.g. air-traffic control [ATC]
    • G08G5/0047Navigation or guidance aids for a single aircraft
    • G08G5/0069Navigation or guidance aids for a single aircraft specially adapted for an unmanned aircraft
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U20/00Constructional aspects of UAVs
    • B64U20/80Arrangement of on-board electronics, e.g. avionics systems or wiring
    • B64U20/87Mounting of imaging devices, e.g. mounting of gimbals
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)
  • Toys (AREA)

Abstract

【課題】操縦者が目視により無人飛行体を操縦している際に、操縦者が無人飛行体を目視可能な視界範囲を超えて無人飛行体が飛行し続けるのを防止することができる無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器を提供する。【解決手段】無人飛行体1の制御部11は、操縦者が無人飛行体を目視可能な視界範囲を無人飛行体1が越えているか否かを判断し、無人飛行体1が視界範囲を越えていると判断された場合、ヘッドマウントディスプレイを見ながら操縦器を用いて操縦者が操縦しているか否かを判断し、ヘッドマウントディスプレイを見ながら操縦器を用いて操縦者が操縦していると判断された場合、無人飛行体1を操縦するための操縦情報に従って無人飛行体1の飛行を制御し、ヘッドマウントディスプレイを見ながら操縦器を用いて操縦者が操縦していないと判断された場合、操縦情報に従って無人飛行体1の飛行を制御しない。【選択図】図5

Description

本開示は、遠隔操縦される無人飛行体、無人飛行体の飛行を制御する飛行制御方法、無人飛行体の飛行を制御する飛行制御プログラム、及び無人飛行体を遠隔操縦する操縦器に関するものである。
近年、リモートコントローラによって遠隔操縦される小型の無人飛行体が普及している。この無人飛行体は、複数のプロペラを備えており、複数のプロペラのそれぞれの回転数を制御することにより、空中を自在に飛行することができる。
上記のように、無人飛行体は、空中を自在に飛行することができるため、様々な無人飛行体の飛行に関する規制が検討されている。例えば、操縦者が無人飛行体を目視可能な視界の範囲内のみで無人飛行体を飛行させる規制が検討されている。
また、操縦者の視界の範囲外において、操縦者が、無人飛行体に搭載されたカメラによってリアルタイムに撮影された画像を見ながら、無人飛行体を遠隔操縦する技術がある(例えば、特許文献1参照)。
特開2003−267295号公報
しかしながら、上記従来の技術では、更なる改善が必要とされていた。
本開示の一態様に係る無人飛行体は、遠隔操縦される無人飛行体であって、前記無人飛行体は、前記無人飛行体から見た映像を撮影するカメラと、前記無人飛行体の遠隔操縦に使用される操縦器と通信を行う通信部と、前記無人飛行体の動作を制御する制御部と、前記無人飛行体を飛行させる駆動部と、前記無人飛行体の現在位置を取得する位置測定部と、を備え、前記制御部は、前記無人飛行体から前記操縦器までの距離を算出し、算出された前記距離に基づいて、前記操縦者が前記無人飛行体を目視可能な視界範囲を前記無人飛行体が越えているか否かを判断し、前記無人飛行体が前記視界範囲を越えていると判断された場合、前記カメラによって撮影された前記映像を表示する表示装置を見ながら前記操縦器を用いて前記操縦者が操縦しているか否かを判断し、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していると判断された場合、前記無人飛行体を操縦するための操縦情報に従って前記無人飛行体の飛行を制御し、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していないと判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御しない。
本開示によれば、無人飛行体が視界範囲を越えていると判断され、かつ無人飛行体によって送信された映像を表示する表示装置を見ながら操縦器を用いて操縦者が操縦していると判断された場合、操縦情報に従って無人飛行体の飛行が制御され、無人飛行体が視界範囲を越えていると判断され、かつ表示装置を見ながら操縦器を用いて操縦者が操縦していないと判断された場合、操縦情報に従って無人飛行体の飛行が制御されないので、操縦者が目視により無人飛行体を操縦している際に、操縦者が無人飛行体を目視可能な視界範囲を超えて無人飛行体が飛行し続けるのを防止することができる。
本開示の実施の形態1における飛行制御システムの構成を示す外観図である。 本開示の実施の形態1における飛行制御システムの構成を示すブロック図である。 本実施の形態1において目視により操縦可能な視界範囲を説明するための模式図である。 本開示の実施の形態1における無人飛行体の一例を示す全体図である。 本開示の実施の形態1における無人飛行体の構成を示すブロック図である。 本開示の実施の形態1における操縦器の構成を示すブロック図である。 本開示の実施の形態1におけるヘッドマウントディスプレイの構成を示すブロック図である。 本実施の形態1において操縦器が操縦情報に識別情報を付与する識別情報付与処理について説明するためのフローチャートである。 本実施の形態1における無人飛行体の飛行制御処理について説明するためのフローチャートである。 本実施の形態1の第1の変形例における操縦器の構成を示すブロック図である。 本実施の形態1の第1の変形例において操縦器が操縦情報に識別情報を付与する識別情報付与処理について説明するためのフローチャートである。 本実施の形態1の第2の変形例における無人飛行体の構成を示すブロック図である。 本実施の形態1の第2の変形例における無人飛行体の飛行制御処理について説明するためのフローチャートである。 本実施の形態1の第3の変形例におけるヘッドマウントディスプレイの構成を示すブロック図である。 本実施の形態1の第3の変形例における操縦器の構成を示すブロック図である。 本実施の形態1の第3の変形例において操縦器が操縦情報に識別情報を付与する識別情報付与処理について説明するための図である。 本実施の形態1の第4の変形例における無人飛行体の飛行制御処理について説明するための第1のフローチャートである。 本実施の形態1の第4の変形例における無人飛行体の飛行制御処理について説明するための第2のフローチャートである。 本実施の形態1の第5の変形例における無人飛行体の構成を示すブロック図である。 本実施の形態1の第5の変形例における無人飛行体の飛行制御処理について説明するためのフローチャートである。 本開示の実施の形態2における飛行制御システムの構成を示すブロック図である。 本実施の形態2における操縦器の構成を示すブロック図である。 本実施の形態2において操縦器が操縦情報に識別情報を付与する識別情報付与処理について説明するためのフローチャートである。 本開示の実施の形態3における飛行制御システムの構成を示すブロック図である。 本実施の形態3における無人飛行体の構成を示すブロック図である。 本実施の形態3における無人飛行体の飛行制御処理について説明するための第1のフローチャートである。 本実施の形態3における無人飛行体の飛行制御処理について説明するための第2のフローチャートである。
(本開示の基礎となった知見)
上記のように、無人飛行体は、空中を自在に飛行することができるため、様々な無人飛行体の飛行に関する規制が検討されている。例えば、操縦者が無人飛行体を目視可能な視界の範囲内のみで無人飛行体を飛行させる規制が検討されている。
また、操縦者の視界の範囲外において、操縦者が、無人飛行体に搭載されたカメラによってリアルタイムに撮影された画像を見ながら、無人飛行体を遠隔操縦する技術がある(例えば、特許文献1参照)。
例えば、特許文献1では、無人ヘリコプタの位置における全方位画像が全方位カメラにより撮影され、撮影された全方位画像が映像送信器により送信され、送信された全方位画像が映像受信器により受信され、受信された全方位画像の中から角度センサにより検出された操縦者の視線方向の視線方向画像が映像切り出し部により切り出され、切り出された視線方向画像を基に作成された操縦用映像がヘッドマウントディスプレイにより操縦者に提示される。
これにより、操縦者が無人ヘリコプタを直接目視できない場合でも、無人ヘリコプタを容易且つ正確に操縦することができる。
しかしながら、上記の特許文献1の遠隔操縦システムでは、操縦者は、常にヘッドマウントディスクプレイを装着した状態で無人ヘリコプタを操縦するため、操縦者が目視により無人飛行体を操縦している際に、操縦者が無人飛行体を目視可能な視界の範囲を超えて無人飛行体が飛行し続けるのを防止することができない。
このような課題を解決するため、本開示の一態様に係る無人飛行体は、遠隔操縦される無人飛行体であって、前記無人飛行体は、前記無人飛行体から見た映像を撮影するカメラと、前記無人飛行体の遠隔操縦に使用される操縦器と通信を行う通信部と、前記無人飛行体の動作を制御する制御部と、前記無人飛行体を飛行させる駆動部と、前記無人飛行体の現在位置を取得する位置測定部と、を備え、前記制御部は、前記無人飛行体から前記操縦器までの距離を算出し、算出された前記距離に基づいて、前記操縦者が前記無人飛行体を目視可能な視界範囲を前記無人飛行体が越えているか否かを判断し、前記無人飛行体が前記視界範囲を越えていると判断された場合、前記カメラによって撮影された前記映像を表示する表示装置を見ながら前記操縦器を用いて前記操縦者が操縦しているか否かを判断し、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していると判断された場合、前記無人飛行体を操縦するための操縦情報に従って前記無人飛行体の飛行を制御し、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していないと判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御しない。
この構成によれば、無人飛行体から操縦器までの距離が算出される。算出された距離に基づいて、操縦者が無人飛行体を目視可能な視界範囲を無人飛行体が越えているか否かが判断される。無人飛行体が視界範囲を越えていると判断された場合、カメラによって撮影された映像を表示する表示装置を見ながら操縦器を用いて操縦者が操縦しているか否かが判断される。表示装置を見ながら操縦器を用いて操縦者が操縦していると判断された場合、無人飛行体を操縦するための操縦情報に従って無人飛行体の飛行が制御される。一方、表示装置を見ながら操縦器を用いて操縦者が操縦していないと判断された場合、操縦情報に従って無人飛行体の飛行が制御されない。
したがって、無人飛行体が視界範囲を越えていると判断され、かつ無人飛行体によって送信された映像を表示する表示装置を見ながら操縦器を用いて操縦者が操縦していると判断された場合、操縦情報に従って無人飛行体の飛行が制御され、無人飛行体が視界範囲を越えていると判断され、かつ表示装置を見ながら操縦器を用いて操縦者が操縦していないと判断された場合、操縦情報に従って無人飛行体の飛行が制御されないので、操縦者が目視により無人飛行体を操縦している際に、操縦者が無人飛行体を目視可能な視界範囲を超えて無人飛行体が飛行し続けるのを防止することができる。
また、上記の無人飛行体において、前記制御部は、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していないと判断された場合、前記無人飛行体が前記視界範囲を越えて飛行していることを前記操縦者に通知してもよい。
この構成によれば、表示装置を見ながら操縦器を用いて操縦者が操縦していないと判断された場合、無人飛行体が視界範囲を越えて飛行していることが操縦者に通知される。したがって、操縦者は、無人飛行体が視界範囲を越えて飛行していることを知ることができ、無人飛行体が視界範囲内に入るように操縦することができる。
また、上記の無人飛行体において、前記操縦者が前記表示装置を見ながら前記操縦器を用いて操縦している場合、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していることを示す識別情報が前記操縦情報に付与され、前記制御部は、前記操縦情報に前記識別情報が付与されているか否かを判断することにより、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦しているか否かを判断してもよい。
この構成によれば、操縦者が表示装置を見ながら操縦器を用いて操縦している場合、表示装置を見ながら操縦器を用いて操縦者が操縦していることを示す識別情報が操縦情報に付与される。操縦情報に識別情報が付与されているか否かが判断されることにより、表示装置を見ながら操縦器を用いて操縦者が操縦しているか否かが判断される。
したがって、識別情報が操縦情報に付与されているか否かを確認することにより、表示装置を見ながら操縦器を用いて操縦者が操縦しているか否かを容易に判断することができる。
また、上記の無人飛行体において、前記操縦器と前記表示装置との間で通信接続が確立している場合、前記識別情報が前記操縦情報に付与されてもよい。
この構成によれば、操縦器と表示装置との間で通信接続が確立している場合、識別情報が操縦情報に付与される。したがって、操縦器と表示装置との間で通信接続が確立している場合は、操縦者が表示装置を見ながら操縦器を用いて無人飛行体を操縦していると見なすことができ、視界範囲を超えたとしても、無人飛行体を飛行させることができる。
また、上記の無人飛行体において、前記制御部は、前記操縦情報に前記識別情報が付与されていると判断された場合、前記操縦者により入力された許可情報が前記操縦情報に付与されているか否かを判断し、前記許可情報が前記操縦情報に付与されている場合、入力された前記許可情報が、前記表示装置を見ながら前記操縦器を用いて操縦することが許可された前記操縦者に対して予め付与された事前許可情報であるか否かを検証した認証結果情報を取得し、入力された前記許可情報が前記事前許可情報であることを示す前記認証結果情報が取得された場合、前記操縦情報に従って前記無人飛行体の飛行を制御し、前記許可情報が前記操縦情報に付与されていない場合、又は入力された前記許可情報が前記事前許可情報ではないことを示す前記認証結果情報が取得された場合、前記操縦情報に従って前記無人飛行体の飛行を制御しなくてもよい。
この構成によれば、操縦情報に識別情報が付与されていると判断された場合、操縦者により入力された許可情報が操縦情報に付与されているか否かが判断される。許可情報が操縦情報に付与されている場合、入力された許可情報が、表示装置を見ながら操縦器を用いて操縦することが許可された操縦者に対して予め付与された事前許可情報であるか否かを検証した認証結果情報が取得される。入力された許可情報が事前許可情報であることを示す認証結果情報が取得された場合、操縦情報に従って無人飛行体の飛行が制御される。また、許可情報が操縦情報に付与されていない場合、又は入力された許可情報が事前許可情報ではないことを示す認証結果情報が取得された場合、操縦情報に従って無人飛行体の飛行が制御されない。
したがって、表示装置を見ながら操縦器を用いて操縦することが許可されている場合に、無人飛行体が視界範囲を超えたとしても、表示装置を見ながら操縦器を用いて無人飛行体を操縦することができる。
また、上記の無人飛行体において、前記制御部は、前記無人飛行体が前記視界範囲を越えていると判断された場合、前記操縦者に対する所定の操縦指示を示す画像を重畳した映像を前記表示装置へ送信し、前記所定の操縦指示に応じた操縦結果を示す前記操縦情報が前記操縦器から受信された場合、前記操縦情報に従って前記無人飛行体の飛行を制御し、前記所定の操縦指示に応じた操縦結果を示す前記操縦情報が前記操縦器から受信されなかった場合、前記操縦情報に従って前記無人飛行体の飛行を制御しなくてもよい。
この構成によれば、無人飛行体が視界範囲を越えていると判断された場合、操縦者に対する所定の操縦指示を示す画像を重畳した映像が表示装置へ送信される。所定の操縦指示に応じた操縦結果を示す操縦情報が操縦器から受信された場合、操縦情報に従って無人飛行体の飛行が制御される。また、所定の操縦指示に応じた操縦結果を示す操縦情報が操縦器から受信されなかった場合、操縦情報に従って無人飛行体の飛行が制御されない。
したがって、無人飛行体が視界範囲を越えた場合、操縦者に対する所定の操縦指示を示す画像を重畳した映像が表示装置に表示され、表示された操縦指示通りに操縦者が操縦したか否かを確認することによって、操縦者が表示装置を見ながら操縦器を用いて操縦しているか否かを確実に判断することができ、表示装置を用いることなく視界範囲を超えて無人飛行体が操縦されるのを防止することができる。
本開示の他の態様に係る飛行制御方法は、遠隔操縦される無人飛行体の飛行を制御する飛行制御方法であって、前記無人飛行体を操縦するための操縦情報を前記操縦器から受信し、前記無人飛行体から前記操縦器までの距離を算出し、算出された前記距離に基づいて、前記操縦者が前記無人飛行体を目視可能な視界範囲を前記無人飛行体が越えているか否かを判断し、前記無人飛行体が前記視界範囲を越えていると判断された場合、前記無人飛行体によって送信された映像を表示する表示装置を見ながら前記操縦器を用いて前記操縦者が操縦しているか否かを判断し、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していると判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御し、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していないと判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御しない。
この構成によれば、無人飛行体を操縦するための操縦情報が操縦器から受信される。無人飛行体から操縦器までの距離が算出される。算出された距離に基づいて、操縦者が無人飛行体を目視可能な視界範囲を無人飛行体が越えているか否かが判断される。無人飛行体が視界範囲を越えていると判断された場合、無人飛行体によって送信された映像を表示する表示装置を見ながら操縦器を用いて操縦者が操縦しているか否かが判断される。表示装置を見ながら操縦器を用いて操縦者が操縦していると判断された場合、操縦情報に従って無人飛行体の飛行が制御される。一方、表示装置を見ながら操縦器を用いて操縦者が操縦していないと判断された場合、操縦情報に従って無人飛行体の飛行が制御されない。
したがって、無人飛行体が視界範囲を越えていると判断され、かつ無人飛行体によって送信された映像を表示する表示装置を見ながら操縦器を用いて操縦者が操縦していると判断された場合、操縦情報に従って無人飛行体の飛行が制御され、無人飛行体が視界範囲を越えていると判断され、かつ表示装置を見ながら操縦器を用いて操縦者が操縦していないと判断された場合、操縦情報に従って無人飛行体の飛行が制御されないので、操縦者が目視により無人飛行体を操縦している際に、操縦者が無人飛行体を目視可能な視界範囲を超えて無人飛行体が飛行し続けるのを防止することができる。
本開示の他の態様に係る飛行制御プログラムは、遠隔操縦される無人飛行体の飛行を制御する飛行制御プログラムであって、コンピュータを、前記無人飛行体から前記操縦器までの距離に基づいて、前記操縦者が前記無人飛行体を目視可能な視界範囲を前記無人飛行体が越えているか否かを判断し、前記無人飛行体が前記視界範囲を越えていると判断された場合、前記無人飛行体によって送信された映像を表示する表示装置を見ながら前記操縦器を用いて前記操縦者が操縦しているか否かを判断する判断部と、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していると判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御し、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していないと判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御しない制御部として機能させる。
この構成によれば、無人飛行体を操縦するための操縦情報が操縦器から受信される。無人飛行体から操縦器までの距離が算出される。算出された距離に基づいて、操縦者が無人飛行体を目視可能な視界範囲を無人飛行体が越えているか否かが判断される。無人飛行体が視界範囲を越えていると判断された場合、無人飛行体によって送信された映像を表示する表示装置を見ながら操縦器を用いて操縦者が操縦しているか否かが判断される。表示装置を見ながら操縦器を用いて操縦者が操縦していると判断された場合、操縦情報に従って無人飛行体の飛行が制御される。一方、表示装置を見ながら操縦器を用いて操縦者が操縦していないと判断された場合、操縦情報に従って無人飛行体の飛行が制御されない。
したがって、無人飛行体が視界範囲を越えていると判断され、かつ無人飛行体によって送信された映像を表示する表示装置を見ながら操縦器を用いて操縦者が操縦していると判断された場合、操縦情報に従って無人飛行体の飛行が制御され、無人飛行体が視界範囲を越えていると判断され、かつ表示装置を見ながら操縦器を用いて操縦者が操縦していないと判断された場合、操縦情報に従って無人飛行体の飛行が制御されないので、操縦者が目視により無人飛行体を操縦している際に、操縦者が無人飛行体を目視可能な視界範囲を超えて無人飛行体が飛行し続けるのを防止することができる。
本開示の他の態様に係る操縦器は、無人飛行体を遠隔操縦する操縦器であって、前記操縦器は、前記無人飛行体と通信を行う通信部と、前記無人飛行体の動作を制御する制御部と、を備え、前記制御部は、前記無人飛行体によって送信された映像を表示する表示装置を見ながら前記操縦器を用いて操縦者が操縦しているか否かを判断し、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していると判断された場合、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していることを示す識別情報を、前記無人飛行体を操縦するための操縦情報に付与する。
この構成によれば、無人飛行体によって送信された映像を表示する表示装置を見ながら操縦器を用いて操縦者が操縦しているか否かが判断される。表示装置を見ながら操縦器を用いて操縦者が操縦していると判断された場合、表示装置を見ながら操縦器を用いて操縦者が操縦していることを示す識別情報が、無人飛行体を操縦するための操縦情報に付与される。
したがって、表示装置を見ながら操縦器を用いて操縦者が操縦していると判断された場合、表示装置を見ながら操縦器を用いて操縦者が操縦していることを示す識別情報が操縦情報に付与されるので、無人飛行体は識別情報の有無を確認することにより、表示装置を見ながら操縦器を用いて操縦者が操縦しているか否かを容易に判断することができ、操縦者が目視により無人飛行体を操縦している際に、操縦者が無人飛行体を目視可能な視界範囲を超えて無人飛行体が飛行し続けるのを防止することができる。
また、上記の操縦器において、前記制御部は、前記操縦者による許可情報の入力を受け付け、入力された前記許可情報が、前記表示装置を見ながら前記操縦器を用いて操縦することが許可された前記操縦者に対して予め付与された事前許可情報であるか否かを検証した認証結果情報を取得し、入力された前記許可情報が前記事前許可情報であることを示す前記認証結果情報が取得された場合、前記識別情報を前記操縦情報に付与してもよい。
この構成によれば、操縦者による許可情報の入力が受け付けられる。入力された許可情報が、表示装置を見ながら操縦器を用いて操縦することが許可された操縦者に対して予め付与された事前許可情報であるか否かを検証した認証結果情報が取得される。入力された許可情報が事前許可情報であることを示す認証結果情報が取得された場合、識別情報が操縦情報に付与される。
したがって、表示装置を見ながら操縦器を用いて操縦することが許可されている場合に、無人飛行体が視界範囲を超えたとしても、表示装置を見ながら操縦器を用いて無人飛行体を操縦することができる。
また、上記の操縦器において、前記制御部は、前記操縦情報に前記識別情報が付与されていると判断された場合、前記無人飛行体から前記表示装置へ前記映像が送信されているか否かを判断し、前記無人飛行体から前記表示装置へ前記映像が送信されていると判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御し、前記無人飛行体から前記表示装置へ前記映像が送信されていないと判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御しなくてもよい。
この構成によれば、操縦情報に識別情報が付与されていると判断された場合、無人飛行体から表示装置へ映像が送信されているか否かが判断される。無人飛行体から表示装置へ映像が送信されていると判断された場合、操縦情報に従って無人飛行体の飛行が制御される。また、無人飛行体から表示装置へ映像が送信されていないと判断された場合、操縦情報に従って無人飛行体の飛行が制御されない。
したがって、無人飛行体から表示装置へ映像が送信されている場合に、操縦者が表示装置を見ながら操縦器を用いて無人飛行体を操縦していると見なすことができ、視界範囲を超えたとしても、無人飛行体を飛行させることができる。
以下添付図面を参照しながら、本開示の実施の形態について説明する。なお、以下の実施の形態は、本開示を具体化した一例であって、本開示の技術的範囲を限定するものではない。
(実施の形態1)
図1は、本開示の実施の形態1における飛行制御システムの構成を示す外観図であり、図2は、本開示の実施の形態1における飛行制御システムの構成を示すブロック図である。図1及び図2に示す飛行制御システムは、無人飛行体1、操縦器2及びヘッドマウントディスプレイ3を備える。
操縦器2は、操縦者4によって操作され、無人飛行体1を遠隔操縦する。操縦器2は、例えば無線により、無人飛行体1を操縦するための操縦情報を無人飛行体1へ送信する。
無人飛行体1は、操縦器2を用いて操縦者4により遠隔操縦される。無人飛行体1は、遠隔操縦により飛行する。無人飛行体1は、操縦器2からの操縦情報を受信し、受信した操縦情報に基づいて飛行する。
ヘッドマウントディスプレイ3は、操縦者4の頭部に装着され、無人飛行体1によって送信された映像を表示する。ヘッドマウントディスプレイ3は、一人称視点から撮影された映像を表示する。ヘッドマウントディスプレイ3は、表示装置の一例である。操縦者4は、目視により無人飛行体1を操縦することが可能であるとともに、ヘッドマウントディスプレイ3に表示される映像を見ながら無人飛行体1を操縦することも可能である。
図3は、本実施の形態1において目視により操縦可能な視界範囲を説明するための模式図である。図3に示す視界範囲5は、操縦器2を中心とし所定の距離を半径とする半球形状の範囲である。なお、所定の距離は、予め規定された例えば500mである。
また、図3に示す操縦可能範囲6は、無人飛行体1が遠隔操縦可能な範囲を示し、操縦器2からの無線信号が届く範囲である。操縦可能範囲6は、操縦器2を中心とし、操縦器2からの無線信号が届く距離を半径とする半球形状の範囲である。
操縦者4は、視界範囲5内では目視により、無人飛行体1を操縦する。操縦者4は、視界範囲5外ではヘッドマウントディスプレイ3を装着した状態で、無人飛行体1を操縦する。なお、操縦者4は、視界範囲5内であっても、ヘッドマウントディスプレイ3を装着した状態で、無人飛行体1を操縦してもよい。
図4は、本開示の実施の形態1における無人飛行体の一例を示す全体図である。図5は、本開示の実施の形態1における無人飛行体の構成を示すブロック図である。
無人飛行体1は、図4に示すように、各種センサ1001と推進器1002とを少なくとも備える。また、無人飛行体1の内部には、制御部11、記憶部12、電力供給部13、カメラ14、位置測定部15、駆動部16、第1通信部17及び第2通信部18が収納されている。
各種センサ1001は、例えばイメージセンサ又は人感センサであり、無人飛行体1の使用目的に応じて自由に実装される。
推進器1002は、無人飛行体1を飛行させるための揚力、推力及びトルクを得るためのプロペラと、プロペラを回転させるモータとからなる。図4の例では、無人飛行体1は4個の推進器1002を有しているが、推進器1002の数は例えば5個以上であってもよい。
図5に示す無人飛行体1は、制御部11、記憶部12、電力供給部13、カメラ14、位置測定部15、駆動部16、第1通信部17及び第2通信部18を備える。
電力供給部13は、無人飛行体1の電源であり、無人飛行体1が備える蓄電池(不図示)から各部に電力を供給する。
カメラ14は、無人飛行体1に取り付けられ、無人飛行体1から見た映像を撮影する。カメラ14は、無人飛行体1の進行方向の映像を撮影し、撮影した映像を出力する。
位置測定部15は、例えばGPS(Global Positioning System)であり、無人飛行体1の現在位置を取得する。無人飛行体1の現在位置は、緯度、経度及び高さで表される。
駆動部16は、無人飛行体1を飛行させる複数の推進器1002をそれぞれ駆動する。駆動部16は、無人飛行体1を飛行させる複数のプロペラを回転させる。
第1通信部17は、無線により、操縦器2に種々の情報を送信するとともに、操縦器2から種々の情報を受信する。第1通信部17は、無人飛行体1を操縦するための操縦情報を操縦器2から受信する。
第2通信部18は、無線によりヘッドマウントディスプレイ3に種々の情報を送信するとともに、ヘッドマウントディスプレイ3から種々の情報を受信する。第2通信部18は、カメラ14によって撮影された映像をヘッドマウントディスプレイ3へ送信する。
制御部11は、例えばCPU(中央演算処理装置)であり、無人飛行体1の動作を制御する。制御部11は、中央制御部111、飛行制御部112、距離算出部113、視界範囲判断部114、操縦判断部115及び映像送信制御部116を備える。
記憶部12は、例えば半導体メモリであり、種々の情報を記憶する。記憶部12は、飛行基本プログラム121、操縦器位置情報122、視界範囲情報123及び操縦判断プログラム124を記憶する。
中央制御部111は、無人飛行体1の各部の動作を制御する。飛行基本プログラム121は、無人飛行体1の飛行を制御するためのプログラムである。飛行制御部112は、飛行基本プログラム121を実行することにより、無人飛行体1の飛行を制御する。
距離算出部113は、無人飛行体1から操縦器2までの距離を算出する。操縦器2から送信される操縦情報は、操縦器2の現在位置を示す操縦器位置情報122を含む。操縦器位置情報122は、記憶部12に記憶される。距離算出部113は、位置測定部15によって測定された無人飛行体1の現在位置と、記憶部12に記憶されている操縦器2の現在位置とに基づいて、無人飛行体1から操縦器2までの距離を算出する。
視界範囲判断部114は、距離算出部113によって算出された距離に基づいて、操縦者が無人飛行体1を目視可能な視界範囲を無人飛行体1が越えているか否かを判断する。視界範囲情報123は、操縦者の予め決められた視界の範囲を示す情報であり、記憶部12に予め記憶される。
操縦判断部115は、無人飛行体1が視界範囲を越えていると判断された場合、無人飛行体1によって送信された映像を表示するヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦しているか否かを判断する。
操縦判断プログラム124は、無人飛行体1が視界範囲を越えていると判断された場合、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦しているか否かを判断するためのプログラムである。操縦判断部115は、操縦判断プログラム124を実行することにより、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦しているか否かを判断する。
飛行制御部112は、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していると判断された場合、操縦情報に従って無人飛行体1の飛行を制御する。また、飛行制御部112は、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していないと判断された場合、操縦情報に従って無人飛行体1の飛行を制御しない。飛行制御部112は、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していないと判断された場合、無人飛行体1を現在位置でホバリングさせる。また、飛行制御部112は、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していないと判断された場合、無人飛行体1が視界範囲を越えて飛行していることを操縦者に通知してもよい。
操縦器2において、操縦者がヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦している場合、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していることを示す識別情報が操縦情報に付与される。操縦判断部115は、操縦情報に識別情報が付与されているか否かを判断することにより、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦しているか否かを判断する。
映像送信制御部116は、カメラ14によって撮影された映像を、第2通信部18を介してヘッドマウントディスプレイ3へ送信する。映像送信制御部116は、カメラ14から出力された映像に対して所定の画像処理を施す。映像送信制御部116は、例えばRTSP(Real Time Streaming Protocol)を利用してリアルタイムに映像を送信する。
図6は、本開示の実施の形態1における操縦器の構成を示すブロック図である。図6に示す操縦器2は、制御部21、記憶部22、電力供給部23、操作入力部24、位置測定部25、第1通信部26及び第2通信部27を備える。
電力供給部23は、操縦器2の電源であり、操縦器2が備える蓄電池(不図示)から各部に電力を供給する。
操作入力部24は、操縦者による操作入力を受け付ける。例えば、操作入力部24は、操縦者の左手側に設けられた左スティックと、操縦者の右手側に設けられた右スティックとを含む。操縦者によって左スティック及び右スティックが傾けられることにより、操作入力部24は、傾き角度に関する角度情報を制御部21へ出力する。無人飛行体1の動きは、当該傾き角度に応じて制御される。操縦情報は、例えば左スティック及び右スティックの傾き角度を示す角度情報を含む。
位置測定部25は、例えばGPSであり、操縦器2の現在位置を取得する。操縦器2の現在位置は、緯度、経度及び高さで表される。
第1通信部26は、無線により、無人飛行体1に種々の情報を送信するとともに、無人飛行体1から種々の情報を受信する。第1通信部26は、無人飛行体1へ操縦情報を送信する。
第2通信部27は、無線により、ヘッドマウントディスプレイ3に種々の情報を送信するとともに、ヘッドマウントディスプレイ3から種々の情報を受信する。
制御部21は、例えばCPUであり、操縦器2の動作を制御する。制御部21は、中央制御部211、通信接続判断部212、操縦情報生成部213及び識別情報付与部214を備える。
記憶部22は、例えば半導体メモリであり、種々の情報を記憶する。記憶部22は、飛行操縦基本プログラム221、操縦器位置情報222及び通信接続判断プログラム223を記憶する。
中央制御部211は、操縦器2の各部の動作を制御する。飛行操縦基本プログラム221は、無人飛行体1を操縦するためのプログラムである。中央制御部211は、飛行操縦基本プログラム221を実行することにより、無人飛行体1を操縦する。
中央制御部211は、操縦器2とヘッドマウントディスプレイ3との間で通信接続を確立させ、操縦器2とヘッドマウントディスプレイ3とをペアリングする。
通信接続判断部212は、操縦器2とヘッドマウントディスプレイ3との間で通信が確立されているか否かを判断する。通信接続判断プログラム223は、操縦器2とヘッドマウントディスプレイ3との間で通信接続が確立されているか否かを判断するためのプログラムである。通信接続判断部212は、通信接続判断プログラム223を実行することにより、操縦器2とヘッドマウントディスプレイ3との間で通信が確立されているか否かを判断する。
操縦情報生成部213は、操作入力部24による操作入力に応じて、無人飛行体1を操縦するための操縦情報を生成する。操縦情報生成部213は、記憶部22に記憶されている操縦器2の現在位置を示す操縦器位置情報222を操縦情報に含める。
識別情報付与部214は、操縦器2とヘッドマウントディスプレイ3との間で通信接続が確立されている場合、識別情報を操縦情報に付与する。識別情報付与部214は、通信接続判断部212によって操縦器2とヘッドマウントディスプレイ3との間で通信接続が確立されていると判断された場合、識別情報を操縦情報に付与する。
なお、記憶部22は、視界範囲情報を記憶してもよい。この場合、操縦器2は、記憶部22に記憶された視界範囲情報を操縦者に提示することができ、操縦者は、無人飛行体1の現在位置と視界範囲とを確認しながら操縦することができる。
図7は、本開示の実施の形態1におけるヘッドマウントディスプレイの構成を示すブロック図である。図7に示すヘッドマウントディスプレイ3は、制御部31、記憶部32、電力供給部33、設定入力部34、表示部35、第1通信部36及び第2通信部37を備える。
電力供給部33は、ヘッドマウントディスプレイ3の電源であり、ヘッドマウントディスプレイ3が備える蓄電池(不図示)から各部に電力を供給する。
設定入力部34は、ヘッドマウントディスプレイ3に対する種々の設定入力を受け付ける。
表示部35は、無人飛行体1によって送信された映像を表示する。
第1通信部36は、無線により、無人飛行体1に種々の情報を送信するとともに、無人飛行体1から種々の情報を受信する。第1通信部36は、無人飛行体1によって送信された映像データを受信する。
第2通信部37は、無線により、操縦器2に種々の情報を送信するとともに、操縦器2から種々の情報を受信する。
制御部31は、例えばCPUであり、ヘッドマウントディスプレイ3の動作を制御する。制御部31は、中央制御部311及び映像表示制御部312を備える。記憶部32は、機器ID321を記憶する。
中央制御部311は、ヘッドマウントディスプレイ3の各部の動作を制御する。中央制御部311は、ヘッドマウントディスプレイ3と操縦器2との間で通信接続を確立させ、ヘッドマウントディスプレイ3と操縦器2とをペアリングする。
映像表示制御部312は、第1通信部36を介して無人飛行体1から受信した映像データに対して所定の画像処理を施す。例えば、映像表示制御部312は、圧縮された映像データを伸張して表示部35に表示する。
機器ID321は、ヘッドマウントディスプレイ3を識別するための識別情報である。
なお、ヘッドマウントディスプレイ3は、ヘッドマウントディスプレイ3を装着した操縦者の頭部の角度を検出する角度センサを備えてもよい。角度センサは、操縦者の頭部の角度を検出することにより、操縦者の視線方向を検出する。例えば、角度センサは、操縦者が正面を向いているときの角度を基準角度(0度)とし、水平方向(ヨー軸方向)の角度(ヨー角)及び垂直方向(ピッチ軸方向)の角度(ピッチ角)を検出する。第2通信部37は、角度センサによって検出された角度を視線角度情報として操縦器2へ送信する。操縦器2は、ヘッドマウントディスプレイ3によって送信された視線角度情報を操縦情報に含めて無人飛行体1へ送信する。無人飛行体1は、カメラ14が撮影する方向を変更するために、カメラ14を水平方向(ヨー軸方向)及び垂直方向(ピッチ軸方向)に駆動するカメラ駆動部を備えてもよい。カメラ駆動部は、操縦器2によって送信された操縦情報に含まれる視線角度情報に基づいて、カメラ14が撮影する方向を変更する。これにより、操縦者の視線方向に応じた映像が、ヘッドマウントディスプレイ3の表示部35に表示される。
続いて、本実施の形態1において操縦器2が操縦情報に識別情報を付与する識別情報付与処理について説明する。
図8は、本実施の形態1において操縦器が操縦情報に識別情報を付与する識別情報付与処理について説明するためのフローチャートである。
まず、ステップS1において、操作入力部24は、操縦者による無人飛行体1の操縦を受け付ける。
次に、ステップS2において、操縦情報生成部213は、操作入力部24によって受け付けられた操縦者による操縦に応じて操縦情報を生成する。このとき、操縦情報生成部213は、位置測定部25によって測定された操縦器2の現在位置を操縦情報に含める。
次に、ステップS3において、通信接続判断部212は、操縦器2とヘッドマウントディスプレイ3との通信接続が確立されているか否かを判断する。例えば、操縦器2の第2通信部27は、通信接続を確立させるための要求信号をヘッドマウントディスプレイ3へ送信し、要求信号に対する応答信号をヘッドマウントディスプレイ3から受信する。これにより、操縦器2とヘッドマウントディスプレイ3との通信接続が確立される。ここで、操縦器2とヘッドマウントディスプレイ3との通信接続が確立されていないと判断された場合(ステップS3でNO)、ステップS5の処理へ移行する。
一方、操縦器2とヘッドマウントディスプレイ3との通信接続が確立されていると判断された場合(ステップS3でYES)、ステップS4において、識別情報付与部214は、操縦情報生成部213によって生成された操縦情報に識別情報を付与する。このとき、識別情報付与部214は、操縦情報に含まれる、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していることを示すフラグを立てることにより、操縦情報に識別情報を付与する。
なお、識別情報付与部214は、ヘッドマウントディスプレイ3から機器IDを受信し、受信した機器IDを識別情報として操縦情報に付与してもよい。また、識別情報付与部214は、記憶部22に記憶されている識別情報を操縦情報に付与してもよい。
次に、ステップS5において、第1通信部26は、操縦情報を無人飛行体1へ送信する。なお、操縦器2とヘッドマウントディスプレイ3との通信接続が確立されていると判断された場合、第1通信部26は、識別情報が付与された操縦情報を無人飛行体1へ送信し、操縦器2とヘッドマウントディスプレイ3との通信接続が確立されていないと判断された場合、第1通信部26は、識別情報が付与されていない操縦情報を無人飛行体1へ送信する。
続いて、本実施の形態1における無人飛行体1の飛行制御処理について説明する。
図9は、本実施の形態1における無人飛行体の飛行制御処理について説明するためのフローチャートである。
まず、ステップS11において、第1通信部17は、操縦器2によって送信された操縦情報を受信する。
次に、ステップS12において、位置測定部15は、無人飛行体1の現在位置を測定する。
次に、ステップS13において、距離算出部113は、位置測定部15によって測定された無人飛行体1の現在位置と、第1通信部17によって受信された操縦情報に含まれる操縦器2の現在位置とに基づいて、無人飛行体1と操縦器2との間の距離を算出する。
次に、ステップS14において、視界範囲判断部114は、距離算出部113によって算出された距離に基づいて、無人飛行体1が視界範囲を越えているか否かを判断する。操縦器2と視界範囲の外縁との間の距離は予め決められている。視界範囲判断部114は、無人飛行体1と操縦器2との間の距離が操縦器2と視界範囲の外縁との間の距離より長い場合、無人飛行体1が視界範囲を越えていると判断する。また、視界範囲判断部114は、無人飛行体1と操縦器2との間の距離が操縦器2と視界範囲の外縁との間の距離以下である場合、無人飛行体1が視界範囲を越えていないと判断する。
無人飛行体1が視界範囲を越えていると判断された場合(ステップS14でYES)、ステップS15において、操縦判断部115は、第1通信部17によって受信された操縦情報に、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していることを示す識別情報が付与されているか否かを判断する。
操縦情報に識別情報が付与されていると判断された場合(ステップS15でYES)、又は、無人飛行体1が視界範囲を越えていないと判断された場合(ステップS14でNO)、ステップS16において、飛行制御部112は、操縦情報に従って無人飛行体1を飛行させる。
一方、操縦情報に識別情報が付与されていないと判断された場合(ステップS15でNO)、ステップS17において、飛行制御部112は、無人飛行体1をホバリングさせる。
次に、ステップS18において、飛行制御部112は、無人飛行体1が視界範囲を超えて飛行していることを操縦者に通知する。具体的には、飛行制御部112は、無人飛行体1が視界範囲を超えて飛行していることを示す警告情報を操縦器2へ送信する。操縦器2は、無人飛行体1から警告情報を受信すると、操縦器2に設けられた警告灯を点灯させる。これにより、操縦者が目視により無人飛行体1を操縦している際に、無人飛行体1が視界範囲を超えて飛行していることを操縦者に通知し、ヘッドマウントディスプレイ3を装着して操縦することを操縦者に促すことができる。なお、操縦器2が表示部を備える場合、操縦器2の表示部は、無人飛行体1が視界範囲を超えて飛行していることを表示してもよい。また、操縦器2がスピーカを備える場合、操縦器2のスピーカは、無人飛行体1が視界範囲を超えて飛行していることを音声により出力してもよい。さらに、飛行制御部112は、予め登録された操縦者の所有する端末装置へ警告情報を送信してもよい。この場合、端末装置の表示部は、無人飛行体1が視界範囲を超えて飛行していることを表示する。
このように、無人飛行体1が視界範囲を越えていると判断され、かつ無人飛行体1によって送信された映像を表示するヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していると判断された場合、操縦情報に従って無人飛行体1の飛行が制御され、無人飛行体1が視界範囲を越えていると判断され、かつヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していないと判断された場合、操縦情報に従って無人飛行体1の飛行が制御されないので、操縦者が目視により無人飛行体1を操縦している際に、操縦者が無人飛行体1を目視可能な視界範囲を超えて無人飛行体1が飛行し続けるのを防止することができる。
なお、本実施の形態1では、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していないと判断された場合、飛行制御部112は、無人飛行体1を現在位置でホバリングさせるが、本開示は特にこれに限定されない。ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していないと判断された場合、飛行制御部112は、無人飛行体1を操縦器2に向けて自動的に移動させてもよい。また、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していないと判断された場合、飛行制御部112は、無人飛行体1を視界範囲内に入るように自動的に移動させてもよい。また、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していないと判断された場合、飛行制御部112は、無人飛行体1を現在位置に着陸させてもよい。ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していないと判断された場合、飛行制御部112は、操縦器2又は視界範囲内に向かう方向へ移動する操縦情報のみを受け付けてもよい。
続いて、本実施の形態1の第1の変形例における識別情報付与処理について説明する。本実施の形態1の第1の変形例における識別情報付与処理では、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信している場合、識別情報が操縦情報に付与される。
図10は、本実施の形態1の第1の変形例における操縦器の構成を示すブロック図である。図10に示す操縦器2は、制御部21、記憶部22、電力供給部23、操作入力部24、位置測定部25、第1通信部26及び第2通信部27を備える。制御部21は、中央制御部211、操縦情報生成部213、識別情報付与部214及び映像受信判断部215を備える。記憶部22は、飛行操縦基本プログラム221、操縦器位置情報222及び映像受信判断プログラム224を記憶する。
なお、図10に示す実施の形態1の第1の変形例における操縦器2において、図6に示す操縦器2と同じ構成については同じ符号を付し、説明を省略する。また、実施の形態1の第1の変形例における無人飛行体1及びヘッドマウントディスプレイ3の構成は、図5及び図7に示す無人飛行体1及びヘッドマウントディスプレイ3の構成と同じである。
映像受信判断部215は、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信しているか否かを判断する。識別情報付与部214は、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信している場合、識別情報を操縦情報に付与する。
映像受信判断プログラム224は、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信しているか否かを判断するためのプログラムである。映像受信判断部215は、映像受信判断プログラム224を実行することにより、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信しているか否かを判断する。
図11は、本実施の形態1の第1の変形例において操縦器が操縦情報に識別情報を付与する識別情報付与処理について説明するためのフローチャートである。
まず、ステップS41において、操作入力部24は、操縦者による無人飛行体1の操縦を受け付ける。
次に、ステップS42において、操縦情報生成部213は、操作入力部24によって受け付けられた操縦者による操縦に応じて操縦情報を生成する。
次に、ステップS43において、第2通信部37は、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信しているか否かを確認するための受信状態確認要求をヘッドマウントディスプレイ3へ送信する。
次に、ステップS44において、ヘッドマウントディスプレイ3の第2通信部37は、操縦器2によって送信された受信状態確認要求を受信する。
次に、ステップS45において、中央制御部311は、無人飛行体1から映像を受信しているか否かを確認する。ここで、中央制御部311は、通信エラーが発生することなく映像を受信した場合及び無人飛行体1から受信した映像データに対する画像処理が成功した場合、無人飛行体1から映像を受信していると判断する。
次に、ステップS46において、第2通信部37は、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信しているか否かを示す受信状態確認結果を無人飛行体1へ送信する。
次に、ステップS47において、操縦器2の第2通信部27は、ヘッドマウントディスプレイ3によって送信された受信状態確認結果を受信する。
次に、ステップS48において、映像受信判断部215は、第2通信部27によって受信された受信状態確認結果に基づいて、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信しているか否かを判断する。すなわち、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信していることを示す受信状態確認結果が受信された場合、映像受信判断部215は、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信していると判断する。また、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信していないことを示す受信状態確認結果が受信された場合、映像受信判断部215は、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信していないと判断する。
ここで、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信していないと判断された場合(ステップS48でNO)、ステップS50の処理へ移行する。
一方、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信していると判断された場合(ステップS48でYES)、ステップS49において、識別情報付与部214は、操縦情報生成部213によって生成された操縦情報に識別情報を付与する。
次に、ステップS50において、第1通信部26は、操縦情報を無人飛行体1へ送信する。なお、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信していると判断された場合、第1通信部26は、識別情報が付与された操縦情報を無人飛行体1へ送信し、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信していないと判断された場合、第1通信部26は、識別情報が付与されていない操縦情報を無人飛行体1へ送信する。
このように、ヘッドマウントディスプレイ3が無人飛行体1から映像を受信していない場合に、視界範囲を超えて無人飛行体1が飛行するのを防止することができる。
続いて、本実施の形態1の第2の変形例における飛行制御処理について説明する。本実施の形態1の第2の変形例における飛行制御処理では、操縦情報に識別情報が付与されており、かつ、無人飛行体1からヘッドマウントディスプレイ3へ映像が送信されている場合に、視界範囲を超えた飛行が許可される。操縦情報に識別情報が付与されていたとしても、無人飛行体1からヘッドマウントディスプレイ3へ映像が送信されていなければ、視界範囲を超えた飛行が禁止される。
図12は、本実施の形態1の第2の変形例における無人飛行体の構成を示すブロック図である。図12に示す無人飛行体1は、制御部11、記憶部12、電力供給部13、カメラ14、位置測定部15、駆動部16、第1通信部17及び第2通信部18を備える。制御部11は、中央制御部111、飛行制御部112、距離算出部113、視界範囲判断部114、操縦判断部115、映像送信制御部116及び映像送信判断部117を備える。
なお、図12に示す実施の形態1の第2の変形例における無人飛行体1において、図5に示す無人飛行体1と同じ構成については同じ符号を付し、説明を省略する。また、実施の形態1の第2の変形例における操縦器2及びヘッドマウントディスプレイ3の構成は、図6及び図7に示す操縦器2及びヘッドマウントディスプレイ3の構成と同じである。
映像送信判断部117は、操縦情報に識別情報が付与されていると判断された場合、無人飛行体1からヘッドマウントディスプレイ3へ映像が送信されているか否かを判断する。飛行制御部112は、無人飛行体1からヘッドマウントディスプレイ3へ映像が送信されていると判断された場合、操縦情報に従って無人飛行体1の飛行を制御する。また、飛行制御部112は、無人飛行体1からヘッドマウントディスプレイ3へ映像が送信されていないと判断された場合、操縦情報に従って無人飛行体1の飛行を制御しない。
図13は、本実施の形態1の第2の変形例における無人飛行体の飛行制御処理について説明するためのフローチャートである。
なお、ステップS51〜ステップS55の処理は、図9に示すステップS11〜ステップS15の処理と同じであるので、説明を省略する。
操縦情報に識別情報が付与されていると判断された場合(ステップS55でYES)、ステップS56において、映像送信判断部117は、無人飛行体1からヘッドマウントディスプレイ3へ映像を送信しているか否かを判断する。ここで、映像送信判断部117は、通信エラーが発生することなく映像を送信している場合及びカメラ14から取得した映像に対する画像処理が成功した場合、無人飛行体1からヘッドマウントディスプレイ3へ映像を送信していると判断する。
ここで、無人飛行体1からヘッドマウントディスプレイ3へ映像を送信していると判断された場合(ステップS56でYES)、又は、無人飛行体1が視界範囲を越えていないと判断された場合(ステップS54でNO)、ステップS57において、飛行制御部112は、操縦情報に従って無人飛行体1を飛行させる。
一方、無人飛行体1からヘッドマウントディスプレイ3へ映像を送信していないと判断された場合(ステップS56でNO)、又は、操縦情報に識別情報が付与されていないと判断された場合(ステップS55でNO)、ステップS58において、飛行制御部112は、無人飛行体1をホバリングさせる。
ステップS59の処理は、図9に示すステップS18の処理と同じであるので、説明を省略する。
このように、無人飛行体1からヘッドマウントディスプレイ3へ映像が送信されていない場合に、視界範囲を超えて無人飛行体1が飛行するのを防止することができる。
続いて、本実施の形態1の第3の変形例における識別情報付与処理について説明する。本実施の形態1の第3の変形例における識別情報付与処理では、ヘッドマウントディスプレイ3を装着した操縦者の眼が検知されている場合、識別情報が操縦情報に付与される。
図14は、本実施の形態1の第3の変形例におけるヘッドマウントディスプレイの構成を示すブロック図である。図14に示すヘッドマウントディスプレイ3は、制御部31、記憶部32、電力供給部33、設定入力部34、表示部35、第1通信部36、第2通信部37及び眼検知部38を備える。
なお、図14に示す実施の形態1の第3の変形例におけるヘッドマウントディスプレイ3において、図7に示すヘッドマウントディスプレイ3と同じ構成については同じ符号を付し、説明を省略する。
眼検知部38は、ヘッドマウントディスプレイ3を装着した操縦者の眼を検知する。眼検知部38は、例えば赤外線カメラによって撮影された画像に基づいて、ヘッドマウントディスプレイ3を装着した操縦者の眼を検知する。なお、眼検知部38は、単に眼を検知するだけでなく、操縦者の視線方向を検知し、操縦者が表示部35に表示される映像を見ていることを検知してもよい。
図15は、本実施の形態1の第3の変形例における操縦器の構成を示すブロック図である。図15に示す操縦器2は、制御部21、記憶部22、電力供給部23、操作入力部24、位置測定部25、第1通信部26及び第2通信部27を備える。制御部21は、中央制御部211、操縦情報生成部213、識別情報付与部214及び眼検知判断部216を備える。記憶部22は、飛行操縦基本プログラム221、操縦器位置情報222及び眼検知判断プログラム225を記憶する。
なお、図15に示す実施の形態1の第3の変形例における操縦器2において、図6に示す操縦器2と同じ構成については同じ符号を付し、説明を省略する。また、実施の形態1の第3の変形例における無人飛行体1の構成は、図5に示す無人飛行体1の構成と同じである。
眼検知判断部216は、ヘッドマウントディスプレイ3において操縦者の眼が検知されているか否かを判断する。識別情報付与部214は、ヘッドマウントディスプレイ3の眼検知部38によって操縦者の眼が検知された場合、識別情報を操縦情報に付与する。
眼検知判断プログラム225は、ヘッドマウントディスプレイ3において操縦者の眼が検知されているか否かを判断するためのプログラムである。眼検知判断部216は、眼検知判断プログラム225を実行することにより、ヘッドマウントディスプレイ3において操縦者の眼が検知されているか否かを判断する。
図16は、本実施の形態1の第3の変形例において操縦器が操縦情報に識別情報を付与する識別情報付与処理について説明するための図である。
まず、ステップS61において、操作入力部24は、操縦者による無人飛行体1の操縦を受け付ける。
次に、ステップS62において、操縦情報生成部213は、操作入力部24によって受け付けられた操縦者による操縦に応じて操縦情報を生成する。
次に、ステップS63において、第2通信部37は、ヘッドマウントディスプレイ3において操縦者の眼が検知されているか否かを確認するための眼検知確認要求をヘッドマウントディスプレイ3へ送信する。
次に、ステップS64において、ヘッドマウントディスプレイ3の第2通信部37は、操縦器2によって送信された眼検知確認要求を受信する。
次に、ステップS65において、眼検知部38は、操縦者の眼が検知されているか否かを確認する。
次に、ステップS66において、第2通信部37は、操縦者の眼が検知されているか否かを示す眼検知確認結果を無人飛行体1へ送信する。
次に、ステップS67において、操縦器2の第2通信部27は、ヘッドマウントディスプレイ3によって送信された眼検知確認結果を受信する。
次に、ステップS68において、眼検知判断部216は、第2通信部27によって受信された眼検知確認結果に基づいて、ヘッドマウントディスプレイ3において操縦者の眼が検知されているか否かを判断する。すなわち、ヘッドマウントディスプレイ3において操縦者の眼が検知されていることを示す眼検知確認結果が受信された場合、眼検知判断部216は、ヘッドマウントディスプレイ3において操縦者の眼が検知されていると判断する。また、ヘッドマウントディスプレイ3において操縦者の眼が検知されていないことを示す眼検知確認結果が受信された場合、眼検知判断部216は、ヘッドマウントディスプレイ3において操縦者の眼が検知されていないと判断する。
ここで、ヘッドマウントディスプレイ3において操縦者の眼が検知されていないと判断された場合(ステップS68でNO)、ステップS70の処理へ移行する。
一方、ヘッドマウントディスプレイ3において操縦者の眼が検知されていると判断された場合(ステップS68でYES)、ステップS69において、識別情報付与部214は、操縦情報生成部213によって生成された操縦情報に識別情報を付与する。
次に、ステップS70において、第1通信部26は、操縦情報を無人飛行体1へ送信する。なお、ヘッドマウントディスプレイ3において操縦者の眼が検知されていると判断された場合、第1通信部26は、識別情報が付与された操縦情報を無人飛行体1へ送信し、ヘッドマウントディスプレイ3において操縦者の眼が検知されていないと判断された場合、第1通信部26は、識別情報が付与されていない操縦情報を無人飛行体1へ送信する。
このように、操縦者がヘッドマウントディスプレイ3を装着していない場合に、視界範囲を超えて無人飛行体1が飛行するのを防止することができる。
続いて、本実施の形態1の第4の変形例における飛行制御処理について説明する。本実施の形態1の第4の変形例における飛行制御処理では、無人飛行体1からヘッドマウントディスプレイ3へ送信される映像に、所定の操縦指示を示す画像を重畳し、操縦者によって所定の操縦指示と同じ操作が行われた場合、操縦者がヘッドマウントディスプレイ3を装着していると判断して、視界範囲を超えた飛行が許可される。操縦情報に識別情報が付与されていたとしても、操縦者によって所定の操縦指示と同じ操縦が行われなかった場合、視界範囲を超えた飛行が禁止される。
なお、実施の形態1の第4の変形例における無人飛行体1、操縦器2及びヘッドマウントディスプレイ3の構成は、図5、図6及び図7に示す無人飛行体1、操縦器2及びヘッドマウントディスプレイ3の構成と同じである。
映像送信制御部116は、無人飛行体1が視界範囲を越えていると判断されてからの時間を計測し、計測された時間が所定時間経過した場合、操縦者に対する所定の操縦指示を示す画像を重畳した映像をヘッドマウントディスプレイ3へ送信する。
飛行制御部112は、所定の操縦指示に応じた操縦結果を示す操作情報が操縦器2から受信された場合、操縦情報に従って無人飛行体1の飛行を制御する。また、飛行制御部112は、所定の操縦指示に応じた操縦結果を示す操縦情報が操縦器2から受信されなかった場合、操縦情報に従って無人飛行体1の飛行を制御しない。
図17は、本実施の形態1の第4の変形例における無人飛行体の飛行制御処理について説明するための第1のフローチャートであり、図18は、本実施の形態1の第4の変形例における無人飛行体の飛行制御処理について説明するための第2のフローチャートである。
なお、ステップS101〜ステップS108の処理は、図9に示すステップS11〜ステップS18の処理と同じであるので、説明を省略する。
操縦情報に従って飛行が開始された後、ステップS109において、映像送信制御部116は、視界範囲を超えてから所定時間経過したか否かを判断する。なお、映像送信制御部116は、視界範囲を超えてからの時間を計測している。ここで、視界範囲を超えてから所定時間経過していないと判断された場合(ステップS109でNO)、ステップS101の処理へ戻る。
一方、視界範囲を超えてから所定時間経過したと判断された場合(ステップS109でYES)、ステップS110において、映像送信制御部116は、所定の操縦指示を示す画像を、カメラ14によって撮影された映像に重畳する。なお、所定の操縦指示とは、例えば、右に旋回する操縦指示、左に旋回する操縦指示、高度を上げる操縦指示、又は高度を下げる操縦指示などである。
次に、ステップS111において、映像送信制御部116は、所定の操縦指示を示す画像を重畳した映像データをヘッドマウントディスプレイ3へ送信する。
次に、ステップS112において、第1通信部17は、操縦器2によって送信された操縦情報を受信する。
次に、ステップS113において、飛行制御部112は、操縦情報に含まれる操縦結果が操縦指示と同じであるか否かを判断する。ここで、操縦結果が操縦指示と同じであると判断された場合(ステップS113でYES)、ステップS114において、飛行制御部112は、操縦情報に従って無人飛行体1を飛行させる。
一方、操縦結果が操縦指示と同じではないと判断された場合(ステップS113でNO)、ステップS115において、飛行制御部112は、無人飛行体1をホバリングさせる。
次に、ステップS116において、飛行制御部112は、操縦結果が所定の操縦指示とは異なることを操縦者に通知する。具体的には、飛行制御部112は、操縦結果が所定の操縦指示とは異なることを示す警告情報を操縦器2へ送信する。操縦器2は、無人飛行体1から警告情報を受信すると、操縦器2に設けられた警告灯を点灯させる。これにより、操縦結果が所定の操縦指示とは異なることを操縦者に通知し、ヘッドマウントディスプレイ3を装着して操縦することを操縦者に促すことができる。なお、操縦器2が表示部を備える場合、操縦器2の表示部は、操縦結果が所定の操縦指示とは異なることを表示してもよい。また、操縦器2がスピーカを備える場合、操縦器2のスピーカは、操縦結果が所定の操縦指示とは異なることを音声により出力してもよい。さらに、飛行制御部112は、予め登録された操縦者の所有する端末装置へ警告情報を送信してもよい。この場合、端末装置の表示部は、操縦結果が所定の操縦指示とは異なることを表示する。
このように、操縦者に提示した所定の操縦指示に応じて操縦者が操縦したか否を確認することにより、操縦者がヘッドマウントディスプレイ3を装着しているか否かを確認することができる。そのため、操縦者がヘッドマウントディスプレイ3を装着していない場合に、視界範囲を超えて無人飛行体1が飛行するのを防止することができる。
続いて、本実施の形態1の第5の変形例における飛行制御処理について説明する。本実施の形態1の第5の変形例における飛行制御処理では、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立されている場合に、視界範囲を超えた飛行が許可される。無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立されていない場合に、視界範囲を超えた飛行が禁止される。
図19は、本実施の形態1の第5の変形例における無人飛行体の構成を示すブロック図である。図19に示す無人飛行体1は、制御部11、記憶部12、電力供給部13、カメラ14、位置測定部15、駆動部16、第1通信部17及び第2通信部18を備える。制御部11は、中央制御部111、飛行制御部112、距離算出部113、視界範囲判断部114、映像送信制御部116及びペアリング判断部118を備える。記憶部12は、飛行基本プログラム121、操縦器位置情報122、視界範囲情報123、操縦判断プログラム124及びペアリング判断プログラム125を記憶する。
なお、図19に示す実施の形態1の第5の変形例における無人飛行体1において、図5に示す無人飛行体1と同じ構成については同じ符号を付し、説明を省略する。また、実施の形態1の第5の変形例における操縦器2及びヘッドマウントディスプレイ3の構成は、図6及び図7に示す操縦器2及びヘッドマウントディスプレイ3の構成と同じである。
ペアリング判断部118は、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立しているか否かを判断する。ペアリング判断プログラム125は、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立しているか否かを判断するプログラムである。ペアリング判断部118は、ペアリング判断プログラム125を実行することにより、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立しているか否かを判断する。
無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立していると判断された場合、飛行制御部112は、操縦情報に従って無人飛行体1の飛行を制御する。また、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立していないと判断された場合、飛行制御部112は、操縦情報に従って無人飛行体1の飛行を制御しない。
なお、ペアリング判断部118は、無人飛行体1とヘッドマウントディスプレイ3との間で通信接続が確立している場合、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立したと判断する。すなわち、ペアリング判断部118は、無人飛行体1とヘッドマウントディスプレイ3との間で通信接続が確立しているか否かを判断する。そして、ペアリング判断部118は、無人飛行体1とヘッドマウントディスプレイ3との間で通信接続が確立していると判断した場合、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立していると判断する。また、ペアリング判断部118は、無人飛行体1とヘッドマウントディスプレイ3との間で通信接続が確立していないと判断した場合、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立していないと判断する。例えば、無人飛行体1の第2通信部18は、通信接続を確立させるための要求信号をヘッドマウントディスプレイ3へ送信し、要求信号に対する応答信号をヘッドマウントディスプレイ3から受信する。これにより、無人飛行体1とヘッドマウントディスプレイ3との通信接続が確立される。
また、記憶部12は、ヘッドマウントディスプレイ3を特定するための機器ID(認証用特定情報)を予め記憶してもよい。第2通信部18は、ヘッドマウントディスプレイ3から機器ID(特定情報)を受信してもよい。ペアリング判断部118は、受信した機器IDと、記憶している機器IDとが一致する場合、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立したと判断してもよい。すなわち、ペアリング判断部118は、受信した機器IDと、記憶している機器IDとが一致するか否かを判断してもよい。そして、ペアリング判断部118は、受信した機器IDと、記憶している機器IDとが一致すると判断した場合、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立していると判断してもよい。また、ペアリング判断部118は、受信した機器IDと、記憶している機器IDとが一致していないと判断した場合、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立していないと判断してもよい。
さらに、ペアリング判断部118は、無人飛行体1からヘッドマウントディスプレイ3へ映像が送信されているか否かを判断してもよい。そして、ペアリング判断部118は、無人飛行体1からヘッドマウントディスプレイ3へ映像が送信されていると判断された場合、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立したと判断してもよい。すなわち、ペアリング判断部118は、無人飛行体1からヘッドマウントディスプレイ3へ映像が送信されているか否かを判断してもよい。そして、ペアリング判断部118は、無人飛行体1からヘッドマウントディスプレイ3へ映像が送信されていると判断した場合、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立していると判断してもよい。また、ペアリング判断部118は、無人飛行体1からヘッドマウントディスプレイ3へ映像が送信されていないと判断した場合、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立していないと判断してもよい。
図20は、本実施の形態1の第5の変形例における無人飛行体の飛行制御処理について説明するためのフローチャートである。
なお、ステップS121〜ステップS124の処理は、図9に示すステップS11〜ステップS14の処理と同じであるので、説明を省略する。
無人飛行体1が視界範囲を越えていると判断された場合(ステップS124でYES)、ステップS125において、ペアリング判断部118は、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立しているか否かを判断する。
ここで、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立していると判断された場合(ステップS125でYES)、ステップS126において、飛行制御部112は、操縦情報に従って無人飛行体1を飛行させる。
一方、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立していないと判断された場合(ステップS125でNO)、ステップS127において、飛行制御部112は、無人飛行体1をホバリングさせる。
ステップS128の処理は、図9に示すステップS18の処理と同じであるので、説明を省略する。
このように、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立している場合に、操縦者はヘッドマウントディスプレイ3を見ながら操縦器2を用いて無人飛行体1を操縦していると見なし、無人飛行体1が視界範囲を超えて飛行するのを許可することができる。また、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立されていない場合に、操縦者はヘッドマウントディスプレイ3を見ながら操縦器2を用いて無人飛行体1を操縦していないと見なし、無人飛行体1が視界範囲を超えて飛行するのを禁止することができる。
なお、実施の形態1の第5の変形例では、無人飛行体1が視界範囲を越えている場合に、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立しているか否かを判断しているが、本開示は特にこれに限定されない。無人飛行体1は、操縦判断部を備えてもよく、操縦判断部は、無人飛行体1が視界範囲を越えていると判断された場合、操縦情報に識別情報が付与されているか否かを判断してもよい。操縦情報に識別情報が付与されていると判断された場合、飛行制御部112は、操縦情報に従って無人飛行体1を飛行させてもよい。一方、操縦情報に識別情報が付与されていないと判断された場合、ペアリング判断部118は、無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立しているか否かを判断してもよい。無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立していると判断された場合、飛行制御部112は、操縦情報に従って無人飛行体1を飛行させてもよい。無人飛行体1とヘッドマウントディスプレイ3とのペアリングが確立していないと判断された場合、飛行制御部112は、操縦情報に従って無人飛行体1の飛行を制御せずに、無人飛行体1をホバリングさせてもよい。
(実施の形態2)
本開示の実施の形態2における飛行制御システムについて説明する。本開示の実施の形態2では、操縦者がヘッドマウントディスプレイ3を見ながら操縦器2を用いて無人飛行体1を操縦するには、所定の機関からの許可が必要である。ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に対して予め免許IDが交付される。操縦器2は、操縦者による免許IDの入力を受け付け、入力された免許IDが妥当である場合、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していることを示す識別情報が操縦情報に付与される。
図21は、本開示の実施の形態2における飛行制御システムの構成を示すブロック図である。図21に示す飛行制御システムは、無人飛行体1、操縦器2、ヘッドマウントディスプレイ3及び認証サーバ7を備える。
操縦器2は、操縦者による免許ID(許可情報)の入力を受け付ける。免許IDは、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に対して予め付与(発行)される。操縦器2は、入力された免許IDを認証サーバ7へ送信する。
認証サーバ7は、操縦器2によって送信された免許IDを受信し、受信した免許IDの妥当性を検証する。認証サーバ7は、入力された免許IDが、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に対して予め付与された免許ID(事前許可情報)であるか否かを検証する。認証サーバ7は、受信した免許IDの妥当性を検証した認証結果情報を操縦器2へ送信する。認証サーバ7は、入力された免許IDが、操縦者に対して予め付与された免許IDであると判断した場合、入力された免許IDが妥当であることを示す認証結果情報を操縦器2へ送信する。一方、認証サーバ7は、入力された免許IDが、操縦者に対して予め付与された免許IDではないと判断した場合、入力された免許IDが妥当ではないことを示す認証結果情報を操縦器2へ送信する。
操縦器2は、入力された免許IDの妥当性を検証した認証結果情報を取得する。操縦器2は、入力された免許IDが妥当であることを示す認証結果情報を取得した場合、識別情報を操縦情報に付与する。
図22は、本実施の形態2における操縦器の構成を示すブロック図である。図22に示す操縦器2は、制御部21、記憶部22、電力供給部23、操作入力部24、位置測定部25、第1通信部26及び第2通信部27を備える。制御部21は、中央制御部211、操縦情報生成部213、識別情報付与部214及び認証結果判断部217を備える。記憶部22は、飛行操縦基本プログラム221、操縦器位置情報222及び認証結果判断プログラム226を記憶する。
なお、図22に示す実施の形態2における操縦器2において、図6に示す操縦器2と同じ構成については同じ符号を付し、説明を省略する。また、実施の形態2における無人飛行体1及びヘッドマウントディスプレイ3の構成は、図5及び図7に示す無人飛行体1及びヘッドマウントディスプレイ3の構成と同じである。
操作入力部24は、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に対して予め付与された免許IDの入力を受け付ける。第1通信部26は、入力された免許IDを認証サーバ7へ送信する。第1通信部26は、入力された免許IDの妥当性を検証した認証結果情報を受信する。
認証結果判断部217は、第1通信部26によって受信された認証結果情報に基づいて、入力された免許IDが妥当であるか否かを判断する。なお、入力された免許IDが妥当であるとは、入力された免許IDが、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に対して予め付与された免許IDであることを意味する。認証結果情報は、入力された免許IDが妥当であるか否かを示す。認証結果判断プログラム226は、入力された免許IDが妥当であるか否かを判断するためのプログラムである。認証結果判断部217は、認証結果判断プログラム226を実行することにより、入力された免許IDが妥当であるか否かを判断する。
識別情報付与部214は、認証結果判断部217によって入力された免許IDが妥当であると判断された場合、識別情報を操縦情報に付与する。
図23は、本実施の形態2において操縦器が操縦情報に識別情報を付与する識別情報付与処理について説明するためのフローチャートである。
まず、ステップS21において、操作入力部24は、操縦者による免許IDの入力を受け付ける。免許IDは、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に対して予め付与される。
次に、ステップS22において、第1通信部26は、操作入力部24によって入力された免許IDを認証サーバ7へ送信する。
次に、ステップS23において、認証サーバ7は、操縦器2によって送信された免許IDを受信する。
次に、ステップS24において、認証サーバ7は、受信した免許IDの妥当性を検証する。具体的には、認証サーバ7は、受信した免許IDが予め登録された免許IDと一致するか否かを判断する。認証サーバ7は、受信した免許IDが予め登録された免許IDと一致する場合、受信した免許IDは妥当であると判断する。また、認証サーバ7は、受信した免許IDが予め登録された免許IDと一致しない場合、受信した免許IDは妥当ではないと判断する。
次に、ステップS25において、認証サーバ7は、受信した免許IDの妥当性を検証した結果であり、受信した免許IDが妥当であるか否かを示す認証結果情報を操縦器2へ送信する。
次に、ステップS26において、第1通信部26は、認証サーバ7によって送信された認証結果情報を受信する。
次に、ステップS27において、操作入力部24は、操縦者による無人飛行体1の操縦を受け付ける。
次に、ステップS28において、操縦情報生成部213は、操作入力部24によって受け付けられた操縦者による操縦に応じて操縦情報を生成する。
次に、ステップS29において、認証結果判断部217は、第1通信部26によって受信された認証結果情報に基づいて、入力された免許IDが妥当であるか否かを判断する。ここで、入力された免許IDが妥当ではないと判断された場合(ステップS29でNO)、ステップS31の処理へ移行する。
一方、入力された免許IDが妥当であると判断された場合(ステップS29でYES)、ステップS30において、識別情報付与部214は、操縦情報生成部213によって生成された操縦情報に識別情報を付与する。
次に、ステップS31において、第1通信部26は、操縦情報を無人飛行体1へ送信する。なお、入力された免許IDが妥当であると判断された場合、第1通信部26は、識別情報が付与された操縦情報を無人飛行体1へ送信し、入力された免許IDが妥当ではないと判断された場合、第1通信部26は、識別情報が付与されていない操縦情報を無人飛行体1へ送信する。
なお、実施の形態2における無人飛行体1の飛行制御処理は、図9に示す無人飛行体1の飛行制御処理と同じであるので説明を省略する。
このように、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可されていない操縦者が、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦するのを禁止することができ、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可されていない場合に、視界範囲を超えて無人飛行体1が飛行するのを防止することができる。
(実施の形態3)
本開示の実施の形態3における飛行制御システムについて説明する。本開示の実施の形態3では、操縦者がヘッドマウントディスプレイ3を見ながら操縦器2を用いて無人飛行体1を操縦するには、所定の機関からの許可が必要である。ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に対して予め免許IDが交付される。操縦器2は、操縦者による免許IDの入力を受け付け、入力された免許IDを無人飛行体1へ送信する。無人飛行体1は、受信した免許IDが妥当である場合、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦者が操縦していると判断する。実施の形態2では、操縦器2が認証サーバ7から認証結果を取得しているのに対し、実施の形態3では、無人飛行体1が認証サーバ7から認証結果を取得する。
図24は、本開示の実施の形態3における飛行制御システムの構成を示すブロック図である。図24に示す飛行制御システムは、無人飛行体1、操縦器2、ヘッドマウントディスプレイ3及び認証サーバ7を備える。
操縦器2は、操縦者による免許ID(許可情報)の入力を受け付ける。免許IDは、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に対して予め付与(発行)される。操縦器2は、入力された免許IDと、識別情報とを付与した操縦情報を無人飛行体1へ送信する。
無人飛行体1は、操縦情報に識別情報が付与されていると判断された場合、操縦者により入力された免許IDが操縦情報に付与されているか否かを判断する。無人飛行体1は、入力された免許IDが操縦情報に付与されている場合、入力された免許IDが、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に対して予め付与された免許IDであるか否かを検証した認証結果情報を取得する。無人飛行体1は、免許IDを認証サーバ7へ送信する。
認証サーバ7は、無人飛行体1によって送信された免許IDを受信し、受信した免許IDの妥当性を検証する。認証サーバ7は、入力された免許IDが、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に対して予め付与された免許IDであるか否かを検証する。認証サーバ7は、受信した免許IDの妥当性を検証した認証結果情報を無人飛行体1へ送信する。認証サーバ7は、入力された免許IDが、操縦者に対して予め付与された免許IDであると判断した場合、入力された免許IDが妥当であることを示す認証結果情報を無人飛行体1へ送信する。一方、認証サーバ7は、入力された免許IDが、操縦者に対して予め付与された免許IDではないと判断した場合、入力された免許IDが妥当ではないことを示す認証結果情報を無人飛行体1へ送信する。
無人飛行体1は、入力された免許IDの妥当性を検証した認証結果情報を取得する。無人飛行体1は、入力された免許IDが妥当であることを示す証結果情報が取得された場合、すなわち、入力された免許IDが、操縦者に対して予め付与された免許IDであることを示す認証結果情報が取得された場合、操縦情報に従って無人飛行体1の飛行を制御する。また、無人飛行体1は、入力された免許IDが操縦情報に付与されていない場合、又は免許IDが妥当ではないことを示す認証結果情報が取得された場合、すなわち、入力された免許IDが、操縦者に対して予め付与された免許IDではないことを示す認証結果情報が取得された場合、操縦情報に従って無人飛行体1の飛行を制御しない。
図25は、本実施の形態3における無人飛行体の構成を示すブロック図である。図25に示す無人飛行体1は、制御部11、記憶部12、電力供給部13、カメラ14、位置測定部15、駆動部16、第1通信部17及び第2通信部18を備える。制御部11は、中央制御部111、飛行制御部112、距離算出部113、視界範囲判断部114、操縦判断部115、映像送信制御部116、映像送信判断部117及び認証結果判断部119を備える。記憶部12は、飛行基本プログラム121、操縦器位置情報122、視界範囲情報123、操縦判断プログラム124及び認証結果判断プログラム126を記憶する。
なお、図25に示す実施の形態3における無人飛行体1において、図5に示す無人飛行体1と同じ構成については同じ符号を付し、説明を省略する。また、実施の形態3における操縦器2及びヘッドマウントディスプレイ3の構成は、図6及び図7に示す操縦器2及びヘッドマウントディスプレイ3の構成と同じである。
操縦器2の操作入力部24は、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に対して予め付与(発行)された免許ID(許可情報)の入力を受け付ける。操縦器2の識別情報付与部214は、通信接続判断部212によって操縦器2とヘッドマウントディスプレイ3との間で通信接続が確立されていると判断された場合、識別情報を操縦情報に付与する。また、操縦器2の識別情報付与部214は、操作入力部24によって免許IDの入力が受け付けられた場合、入力された免許IDを操縦情報に付与する。
操縦器2の第1通信部26は、入力された免許IDと、識別情報とを付与した操縦情報を無人飛行体1へ送信する。
認証結果判断部119は、操縦情報に識別情報が付与されていると判断された場合、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に予め付与される免許IDが操縦情報に付与されているか否かを判断する。
第1通信部17は、入力された免許IDが操縦情報に付与されている場合、入力された免許IDを認証サーバ7へ送信する。第1通信部17は、入力された免許IDの妥当性を検証した認証結果情報を受信する。
認証結果判断部119は、第1通信部17によって受信された認証結果情報に基づいて、入力された免許IDが妥当であるか否かを判断する。なお、入力された免許IDが妥当であるとは、入力された免許IDが、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可された操縦者に対して予め付与された免許IDであることを意味する。認証結果情報は、入力された免許IDが妥当であるか否かを示す。認証結果判断プログラム126は、入力された免許IDが操縦情報に付与されているか否かを判断するとともに、入力された免許IDが妥当であるか否かを判断するためのプログラムである。認証結果判断部119は、認証結果判断プログラム126を実行することにより、入力された免許IDが操縦情報に付与されているか否かを判断するとともに、入力された免許IDが妥当であるか否かを判断する。
飛行制御部112は、入力された免許IDが妥当であることを示す証結果情報が取得された場合、操縦情報に従って無人飛行体1の飛行を制御する。また、飛行制御部112は、入力された免許IDが操縦情報に付与されていない場合、又は免許IDが妥当ではないことを示す認証結果情報が取得された場合、操縦情報に従って無人飛行体1の飛行を制御しない。
図26は、本実施の形態3における無人飛行体の飛行制御処理について説明するための第1のフローチャートであり、図27は、本実施の形態3における無人飛行体の飛行制御処理について説明するための第2のフローチャートである。
なお、ステップS81〜ステップS87の処理は、図9に示すステップS11〜ステップS15、ステップS17及びステップS18の処理と同じであるので、説明を省略する。
操縦情報に識別情報が付与されていると判断された場合(ステップS85でYES)、ステップS88において、認証結果判断部119は、操縦情報に免許IDが付与されているか否かを判断する。ここで、操縦情報に免許IDが付与されていないと判断された場合(ステップS88でNO)、ステップS89において、飛行制御部112は、無人飛行体1をホバリングさせる。
次に、ステップS90において、飛行制御部112は、免許IDが入力されていないことを操縦者に通知する。具体的には、飛行制御部112は、免許IDが入力されていないことを示す警告情報を操縦器2へ送信する。操縦器2は、無人飛行体1から警告情報を受信すると、操縦器2に設けられた警告灯を点灯させる。これにより、免許IDが入力されていないことを操縦者に通知することができる。なお、操縦器2が表示部を備える場合、操縦器2の表示部は、免許IDが入力されていないことを表示してもよい。また、操縦器2がスピーカを備える場合、操縦器2のスピーカは、免許IDが入力されていないことを音声により出力してもよい。さらに、飛行制御部112は、予め登録された操縦者の所有する端末装置へ警告情報を送信してもよい。この場合、端末装置の表示部は、免許IDが入力されていないことを表示する。
一方、操縦情報に免許IDが付与されていると判断された場合(ステップS88でYES)、ステップS91において、第1通信部17は、操縦情報に付与されている免許IDを認証サーバ7へ送信する。なお、認証サーバ7における免許IDの認証処理は、実施の形態2における認証処理と同じであるので、説明を省略する。
次に、ステップS92において、第1通信部17は、認証サーバ7によって送信された認証結果情報を受信する。
次に、ステップS93において、認証結果判断部119は、第1通信部17によって受信された認証結果情報に基づいて、入力された免許IDが妥当であるか否かを判断する。ここで、入力された免許IDが妥当ではないと判断された場合(ステップS93でNO)、ステップS94において、飛行制御部112は、無人飛行体1をホバリングさせる。
次に、ステップS95において、飛行制御部112は、入力された免許IDが妥当ではないことを操縦者に通知する。具体的には、飛行制御部112は、入力された免許IDが妥当ではないことを示す警告情報を操縦器2へ送信する。操縦器2は、無人飛行体1から警告情報を受信すると、操縦器2に設けられた警告灯を点灯させる。これにより、入力された免許IDが妥当ではないことを操縦者に通知することができる。なお、操縦器2が表示部を備える場合、操縦器2の表示部は、入力された免許IDが妥当ではないことを表示してもよい。また、操縦器2がスピーカを備える場合、操縦器2のスピーカは、入力された免許IDが妥当ではないことを音声により出力してもよい。さらに、飛行制御部112は、予め登録された操縦者の所有する端末装置へ警告情報を送信してもよい。この場合、端末装置の表示部は、入力された免許IDが妥当ではないことを表示する。
一方、入力された免許IDが妥当であると判断された場合(ステップS93でYES)、又は無人飛行体1が視界範囲を超えていないと判断された場合(ステップS84でNO)、ステップS96において、飛行制御部112は、操縦情報に従って無人飛行体1を飛行させる。
このように、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可されていない操縦者が、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦するのを禁止することができ、ヘッドマウントディスプレイ3を見ながら操縦器2を用いて操縦することが許可されていない場合に、視界範囲を超えて無人飛行体1が飛行するのを防止することができる。
なお、本実施の形態1〜3では、無人飛行体1のカメラ14で撮影された映像をヘッドマウントディスプレイ3に表示しているが、本開示は特にこれに限定されず、無人飛行体1のカメラ14で撮影された映像をスマートフォン又はタブレット型コンピュータに表示してもよい。
本開示において、ユニット、装置、部材又は部の全部又は一部、又は図5,6,7,10,12,13,15,22,25に示されるブロック図の機能ブロックの全部又は一部は、半導体装置、半導体集積回路(IC)、又はLSI(Large Scale Integration)を含む一つ又は複数の電子回路によって実行されてもよい。LSI又はICは、一つのチップに集積されてもよいし、複数のチップを組み合わせて構成されてもよい。例えば、記憶素子以外の機能ブロックは、一つのチップに集積されてもよい。ここでは、LSIやICと呼んでいるが、集積の度合いによって呼び方が変わり、システムLSI、VLSI(Very Large Scale Integration)、若しくはULSI(Ultra Large Scale Integration)と呼ばれるものであってもよい。LSIの製造後にプログラムされる、Field Programmable Gate Array(FPGA)、又はLSI内部の接合関係の再構成又はLSI内部の回路区画のセットアップができるReconfigurable Logic Deviceも同じ目的で使うことができる。
さらに、ユニット、装置、部材又は部の全部又は一部の機能又は操作は、ソフトウエア処理によって実行することが可能である。この場合、ソフトウエアは一つ又は複数のROM、光学ディスク、ハードディスクドライブなどの非一時的記録媒体に記録され、ソフトウエアが処理装置(Processor)によって実行されたときに、そのソフトウエアで特定された機能が処理装置(Processor)および周辺装置によって実行される。システム又は装置は、ソフトウエアが記録されている一つ又は複数の非一時的記録媒体、処理装置(Processor)、及び必要とされるハードウエアデバイス、例えばインターフェース、を備えていてもよい。
本開示に係る無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器は、操縦者が目視により無人飛行体を操縦している際に、操縦者が無人飛行体を目視可能な視界範囲を超えて無人飛行体が飛行し続けるのを防止することができ、遠隔操縦される無人飛行体、無人飛行体の飛行を制御する飛行制御方法、無人飛行体の飛行を制御する飛行制御プログラム、及び無人飛行体を遠隔操縦する操縦器として有用である。
1 無人飛行体
2 操縦器
3 ヘッドマウントディスプレイ
4 操縦者
5 視界範囲
6 操縦可能範囲
7 認証サーバ
11 制御部
12 記憶部
13 電力供給部
14 カメラ
15 位置測定部
16 駆動部
17 第1通信部
18 第2通信部
21 制御部
22 記憶部
23 電力供給部
24 操作入力部
25 位置測定部
26 第1通信部
27 第2通信部
31 制御部
32 記憶部
33 電力供給部
34 設定入力部
35 表示部
36 第1通信部
37 第2通信部
38 眼検知部
111 中央制御部
112 飛行制御部
113 距離算出部
114 視界範囲判断部
115 操縦判断部
116 映像送信制御部
117 映像送信判断部
118 ペアリング判断部
119 認証結果判断部
121 飛行基本プログラム
122 操縦器位置情報
123 視界範囲情報
124 操縦判断プログラム
125 ペアリング判断プログラム
126 認証結果判断プログラム
211 中央制御部
212 通信接続判断部
213 操縦情報生成部
214 識別情報付与部
215 映像受信判断部
216 眼検知判断部
217 認証結果判断部
221 飛行操縦基本プログラム
222 操縦器位置情報
223 通信接続判断プログラム
224 映像受信判断プログラム
225 眼検知判断プログラム
226 認証結果判断プログラム
311 中央制御部
312 映像表示制御部
1001 各種センサ
1002 推進器

Claims (11)

  1. 遠隔操縦される無人飛行体であって、
    前記無人飛行体は、
    前記無人飛行体から見た映像を撮影するカメラと、
    前記無人飛行体の遠隔操縦に使用される操縦器と通信を行う通信部と、
    前記無人飛行体の動作を制御する制御部と、
    前記無人飛行体を飛行させる駆動部と、
    前記無人飛行体の現在位置を取得する位置測定部と、
    を備え、
    前記制御部は、
    前記無人飛行体から前記操縦器までの距離を算出し、
    算出された前記距離に基づいて、前記操縦者が前記無人飛行体を目視可能な視界範囲を前記無人飛行体が越えているか否かを判断し、
    前記無人飛行体が前記視界範囲を越えていると判断された場合、前記カメラによって撮影された前記映像を表示する表示装置を見ながら前記操縦器を用いて前記操縦者が操縦しているか否かを判断し、
    前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していると判断された場合、前記無人飛行体を操縦するための操縦情報に従って前記無人飛行体の飛行を制御し、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していないと判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御しない、
    無人飛行体。
  2. 前記制御部は、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していないと判断された場合、前記無人飛行体が前記視界範囲を越えて飛行していることを前記操縦者に通知する、
    請求項1記載の無人飛行体。
  3. 前記操縦者が前記表示装置を見ながら前記操縦器を用いて操縦している場合、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していることを示す識別情報が前記操縦情報に付与され、
    前記制御部は、前記操縦情報に前記識別情報が付与されているか否かを判断することにより、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦しているか否かを判断する、
    請求項1記載の無人飛行体。
  4. 前記操縦器と前記表示装置との間で通信接続が確立している場合、前記識別情報が前記操縦情報に付与される、
    請求項3記載の無人飛行体。
  5. 前記制御部は、
    前記操縦情報に前記識別情報が付与されていると判断された場合、前記操縦者により入力された許可情報が前記操縦情報に付与されているか否かを判断し、
    前記許可情報が前記操縦情報に付与されている場合、入力された前記許可情報が、前記表示装置を見ながら前記操縦器を用いて操縦することが許可された前記操縦者に対して予め付与された事前許可情報であるか否かを検証した認証結果情報を取得し、
    入力された前記許可情報が前記事前許可情報であることを示す前記認証結果情報が取得された場合、前記操縦情報に従って前記無人飛行体の飛行を制御し、
    前記許可情報が前記操縦情報に付与されていない場合、又は入力された前記許可情報が前記事前許可情報ではないことを示す前記認証結果情報が取得された場合、前記操縦情報に従って前記無人飛行体の飛行を制御しない、
    請求項3記載の無人飛行体。
  6. 前記制御部は、
    前記無人飛行体が前記視界範囲を越えていると判断された場合、前記操縦者に対する所定の操縦指示を示す画像を重畳した映像を前記表示装置へ送信し、
    前記所定の操縦指示に応じた操縦結果を示す前記操縦情報が前記操縦器から受信された場合、前記操縦情報に従って前記無人飛行体の飛行を制御し、
    前記所定の操縦指示に応じた操縦結果を示す前記操縦情報が前記操縦器から受信されなかった場合、前記操縦情報に従って前記無人飛行体の飛行を制御しない、
    請求項1記載の無人飛行体。
  7. 遠隔操縦される無人飛行体の飛行を制御する飛行制御方法であって、
    前記無人飛行体を操縦するための操縦情報を前記操縦器から受信し、
    前記無人飛行体から前記操縦器までの距離を算出し、
    算出された前記距離に基づいて、前記操縦者が前記無人飛行体を目視可能な視界範囲を前記無人飛行体が越えているか否かを判断し、
    前記無人飛行体が前記視界範囲を越えていると判断された場合、前記無人飛行体によって送信された映像を表示する表示装置を見ながら前記操縦器を用いて前記操縦者が操縦しているか否かを判断し、
    前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していると判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御し、
    前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していないと判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御しない、
    飛行制御方法。
  8. 遠隔操縦される無人飛行体の飛行を制御する飛行制御プログラムであって、
    コンピュータを、
    前記無人飛行体から前記操縦器までの距離に基づいて、前記操縦者が前記無人飛行体を目視可能な視界範囲を前記無人飛行体が越えているか否かを判断し、
    前記無人飛行体が前記視界範囲を越えていると判断された場合、前記無人飛行体によって送信された映像を表示する表示装置を見ながら前記操縦器を用いて前記操縦者が操縦しているか否かを判断する判断部と、
    前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していると判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御し、
    前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していないと判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御しない制御部として機能させる、
    飛行制御プログラム。
  9. 無人飛行体を遠隔操縦する操縦器であって、
    前記操縦器は、
    前記無人飛行体と通信を行う通信部と、
    前記無人飛行体の動作を制御する制御部と、
    を備え、
    前記制御部は、
    前記無人飛行体によって送信された映像を表示する表示装置を見ながら前記操縦器を用いて操縦者が操縦しているか否かを判断し、
    前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していると判断された場合、前記表示装置を見ながら前記操縦器を用いて前記操縦者が操縦していることを示す識別情報を、前記無人飛行体を操縦するための操縦情報に付与する、
    操縦器。
  10. 前記制御部は、
    前記操縦者による許可情報の入力を受け付け、
    入力された前記許可情報が、前記表示装置を見ながら前記操縦器を用いて操縦することが許可された前記操縦者に対して予め付与された事前許可情報であるか否かを検証した認証結果情報を取得し、
    入力された前記許可情報が前記事前許可情報であることを示す前記認証結果情報が取得された場合、前記識別情報を前記操縦情報に付与する、
    請求項9記載の操縦器。
  11. 前記制御部は、
    前記操縦情報に前記識別情報が付与されていると判断された場合、前記無人飛行体から前記表示装置へ前記映像が送信されているか否かを判断し、
    前記無人飛行体から前記表示装置へ前記映像が送信されていると判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御し、
    前記無人飛行体から前記表示装置へ前記映像が送信されていないと判断された場合、前記操縦情報に従って前記無人飛行体の飛行を制御しない、
    請求項9記載の操縦器。
JP2016123693A 2015-08-06 2016-06-22 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器 Active JP6682379B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201680020676.4A CN107428411B (zh) 2015-08-06 2016-07-08 无人飞行体、飞行控制方法、飞行控制程序及操纵器
PCT/JP2016/003253 WO2017022179A1 (ja) 2015-08-06 2016-07-08 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器
US15/841,509 US10338581B2 (en) 2015-08-06 2017-12-14 Unmanned aerial vehicle, flight control method, non-transitory computer-readable recording medium, and control device

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562201782P 2015-08-06 2015-08-06
US62/201,782 2015-08-06
JP2015251467 2015-12-24
JP2015251467 2015-12-24

Publications (2)

Publication Number Publication Date
JP2017119501A true JP2017119501A (ja) 2017-07-06
JP6682379B2 JP6682379B2 (ja) 2020-04-15

Family

ID=59272665

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016123693A Active JP6682379B2 (ja) 2015-08-06 2016-06-22 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器

Country Status (3)

Country Link
US (1) US10338581B2 (ja)
JP (1) JP6682379B2 (ja)
CN (1) CN107428411B (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017539040A (ja) * 2015-10-30 2017-12-28 シャオミ・インコーポレイテッド 無人航空機の制御方法、装置、プログラムおよび記録媒体
JPWO2017170148A1 (ja) * 2016-03-31 2019-02-07 株式会社ニコン 飛行装置、電子機器およびプログラム
JP2019032797A (ja) * 2017-08-10 2019-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 移動体、制御方法及び制御プログラム
JP2019084898A (ja) * 2017-11-03 2019-06-06 株式会社エアロネクスト 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法
JP2019179507A (ja) * 2018-03-30 2019-10-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 送信機、飛行体、飛行制御指示方法、飛行制御方法、プログラム、及び記憶媒体
KR20200005504A (ko) * 2018-07-06 2020-01-15 고려대학교 산학협력단 드론 조종연습시스템
JP6667726B1 (ja) * 2019-02-19 2020-03-18 賢一 金子 無人飛行装置、管理装置、及び飛行管理方法
WO2020217715A1 (ja) * 2019-04-23 2020-10-29 ソニー株式会社 移動体、操縦システム、制御方法及びプログラム
WO2022060144A1 (ko) * 2020-09-16 2022-03-24 김덕우 카메라서비스 시스템 및 방법
US11492115B2 (en) 2018-11-30 2022-11-08 Rakuten Group, Inc. Unmanned aerial vehicle display control system, display control device and display control method
JP7270198B1 (ja) 2022-10-13 2023-05-10 九州電力株式会社 ドローン操縦位置検索システム
JP7270199B1 (ja) 2022-10-13 2023-05-10 九州電力株式会社 ドローン視認可能領域表示システム
US12019441B2 (en) 2018-11-30 2024-06-25 Rakuten Group, Inc. Display control system, display control device and display control method

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3677510A3 (en) * 2014-07-16 2020-10-07 SZ DJI Technology Co., Ltd. An electric unmanned aerial vehicle and a method of protecting of the electric unmanned aerial vehicle
JP6418181B2 (ja) * 2016-03-04 2018-11-07 トヨタ自動車株式会社 遠隔操作システム、車両及び遠隔操作装置
WO2017190351A1 (en) * 2016-05-06 2017-11-09 SZ DJI Technology Co., Ltd. Systems and methods for video processing and display
US10136058B2 (en) * 2016-07-27 2018-11-20 Shakil Hussain Virtual presence device, system, and method
KR20180068411A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 무인 비행 전자 장치의 운행 제어 방법 및 이를 지원하는 전자 장치
ES2774955T3 (es) * 2017-04-21 2020-07-23 Aerobits Sp Z O O Un procedimiento para controlar las luces de advertencia de un vehículo aéreo no tripulado y un sistema para su aplicación
JP7149498B2 (ja) * 2018-07-26 2022-10-07 パナソニックIpマネジメント株式会社 無人飛行体、情報処理方法およびプログラム
CN111372851B (zh) * 2018-08-16 2023-11-21 乐天集团股份有限公司 无人航空器控制系统、无人航空器控制方法、及可读存储媒体
CA3113776A1 (en) 2018-09-22 2020-03-26 Pierce Aerospace, Llc Systems and methods of identifying and managing remotely piloted and piloted air traffic
US12033516B1 (en) * 2018-09-22 2024-07-09 Pierce Aerospace Incorporated Systems and methods for remote identification of unmanned aircraft systems
CN111867933A (zh) * 2018-12-21 2020-10-30 乐天株式会社 飞行装置、飞行系统及信息处理装置
CN109782794B (zh) * 2018-12-24 2022-10-11 丰翼科技(深圳)有限公司 用于无人飞行器的独立设置的航前检测装置及无人飞行器
EP3957561B1 (en) * 2019-04-18 2023-07-19 Panasonic Intellectual Property Management Co., Ltd. Unmanned flight body, control method, and program
CN114355966A (zh) * 2021-01-12 2022-04-15 深圳市慧明捷科技有限公司 轻便无人机飞手定位指挥系统
CN117678235A (zh) * 2022-01-24 2024-03-08 深圳市大疆创新科技有限公司 可移动平台的控制方法、头戴式设备、系统和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07178235A (ja) * 1993-12-21 1995-07-18 Casio Comput Co Ltd コントロール装置
JPH11312015A (ja) * 1998-04-28 1999-11-09 Tatsuya Mimatsu 無人ヘリコプターの操縦装置
JP2003267295A (ja) * 2002-03-14 2003-09-25 Foundation For Nara Institute Of Science & Technology 遠隔操縦システム
US20120287284A1 (en) * 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
JP2013038622A (ja) * 2011-08-09 2013-02-21 Topcon Corp 遠隔操作システム
US20140327733A1 (en) * 2012-03-20 2014-11-06 David Wagreich Image monitoring and display from unmanned vehicle

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6868314B1 (en) * 2001-06-27 2005-03-15 Bentley D. Frink Unmanned aerial vehicle apparatus, system and method for retrieving data
CN101860704B (zh) * 2009-04-10 2013-05-08 深圳Tcl新技术有限公司 自动关闭图像显示的显示装置及其实现方法
CN101710243B (zh) * 2009-12-23 2011-09-28 北京航空航天大学 一种无人机遥控方式的选择方法
CN102445947A (zh) * 2010-10-06 2012-05-09 鸿富锦精密工业(深圳)有限公司 无人飞行载具控制系统及方法
CN203433367U (zh) * 2013-08-12 2014-02-12 昆明理工大学 一种小型无人飞行器超视距无线遥控系统
CN103587708B (zh) * 2013-11-14 2016-05-25 上海大学 超小型无人旋翼飞行器野外定点零盲区自主软着陆方法
CN104536467B (zh) * 2014-12-26 2017-08-08 国家电网公司 一种超视距飞行器巡视系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07178235A (ja) * 1993-12-21 1995-07-18 Casio Comput Co Ltd コントロール装置
JPH11312015A (ja) * 1998-04-28 1999-11-09 Tatsuya Mimatsu 無人ヘリコプターの操縦装置
JP2003267295A (ja) * 2002-03-14 2003-09-25 Foundation For Nara Institute Of Science & Technology 遠隔操縦システム
US20120287284A1 (en) * 2011-05-10 2012-11-15 Kopin Corporation Headset computer that uses motion and voice commands to control information display and remote devices
JP2013038622A (ja) * 2011-08-09 2013-02-21 Topcon Corp 遠隔操作システム
US20140327733A1 (en) * 2012-03-20 2014-11-06 David Wagreich Image monitoring and display from unmanned vehicle

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017539040A (ja) * 2015-10-30 2017-12-28 シャオミ・インコーポレイテッド 無人航空機の制御方法、装置、プログラムおよび記録媒体
JPWO2017170148A1 (ja) * 2016-03-31 2019-02-07 株式会社ニコン 飛行装置、電子機器およびプログラム
US11905000B2 (en) 2016-03-31 2024-02-20 Nikon Corporation Flying device, electronic device, and program
JP7120002B2 (ja) 2016-03-31 2022-08-17 株式会社ニコン 飛行装置
JP2019032797A (ja) * 2017-08-10 2019-02-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 移動体、制御方法及び制御プログラム
JP7024997B2 (ja) 2017-11-03 2022-02-24 株式会社エアロネクスト 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法
JP2019084898A (ja) * 2017-11-03 2019-06-06 株式会社エアロネクスト 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法
JP2019179507A (ja) * 2018-03-30 2019-10-17 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 送信機、飛行体、飛行制御指示方法、飛行制御方法、プログラム、及び記憶媒体
KR20200005504A (ko) * 2018-07-06 2020-01-15 고려대학교 산학협력단 드론 조종연습시스템
KR102237874B1 (ko) * 2018-07-06 2021-04-09 고려대학교 산학협력단 드론 조종연습시스템
US12019441B2 (en) 2018-11-30 2024-06-25 Rakuten Group, Inc. Display control system, display control device and display control method
US11492115B2 (en) 2018-11-30 2022-11-08 Rakuten Group, Inc. Unmanned aerial vehicle display control system, display control device and display control method
JP6667726B1 (ja) * 2019-02-19 2020-03-18 賢一 金子 無人飛行装置、管理装置、及び飛行管理方法
WO2020170332A1 (ja) * 2019-02-19 2020-08-27 賢一 金子 無人飛行装置、管理装置、及び飛行管理方法
JP7109831B2 (ja) 2019-02-19 2022-08-01 株式会社ワールドスキャンプロジェクト 無人飛行装置、管理装置、操作装置及び飛行管理方法
JPWO2020170966A1 (ja) * 2019-02-19 2021-12-23 株式会社ワールドスキャンプロジェクト 無人飛行装置、管理装置、操作装置及び飛行管理方法
WO2020170966A1 (ja) * 2019-02-19 2020-08-27 賢一 金子 無人飛行装置、管理装置、操作装置及び飛行管理方法
US11995165B2 (en) 2019-02-19 2024-05-28 World Scan Project, Corp. Unmanned flight device, management device, operation device and flight management method
US11703856B2 (en) 2019-04-23 2023-07-18 Sony Group Corporation Moving body, steering system, control method, and program
WO2020217715A1 (ja) * 2019-04-23 2020-10-29 ソニー株式会社 移動体、操縦システム、制御方法及びプログラム
JP7544038B2 (ja) 2019-04-23 2024-09-03 ソニーグループ株式会社 移動体、操縦システム、制御方法及びプログラム
WO2022060144A1 (ko) * 2020-09-16 2022-03-24 김덕우 카메라서비스 시스템 및 방법
JP7270199B1 (ja) 2022-10-13 2023-05-10 九州電力株式会社 ドローン視認可能領域表示システム
JP2024058542A (ja) * 2022-10-13 2024-04-25 九州電力株式会社 ドローン視認可能領域表示システム
JP2024057934A (ja) * 2022-10-13 2024-04-25 九州電力株式会社 ドローン操縦位置検索システム
JP7270198B1 (ja) 2022-10-13 2023-05-10 九州電力株式会社 ドローン操縦位置検索システム

Also Published As

Publication number Publication date
JP6682379B2 (ja) 2020-04-15
CN107428411B (zh) 2021-01-26
US10338581B2 (en) 2019-07-02
US20180107213A1 (en) 2018-04-19
CN107428411A (zh) 2017-12-01

Similar Documents

Publication Publication Date Title
JP6682379B2 (ja) 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器
WO2017022179A1 (ja) 無人飛行体、飛行制御方法、飛行制御プログラム及び操縦器
US9158305B2 (en) Remote control system
WO2018053815A1 (zh) 应用于遥控器的信息提示方法及遥控器
US9896202B2 (en) Systems and methods for reliable relative navigation and autonomous following between unmanned aerial vehicle and a target object
US20180164801A1 (en) Method for operating unmanned aerial vehicle and electronic device for supporting the same
US20190317328A1 (en) System and method for providing augmented-reality assistance for vehicular navigation
KR20180064253A (ko) 비행 제어 방법 및 이를 지원하는 전자 장치
US10377487B2 (en) Display device and display control method
CN107534705B (zh) 通知方法、通知装置以及终端
KR20150134591A (ko) 무인 항공기를 제어하는 포터블 디바이스 및 그 제어 방법
US9938010B2 (en) Human machine interface system
TW201003586A (en) Methods and systems for operating avionic systems based on user gestures
KR101408077B1 (ko) 가상 영상을 이용한 무인기 조종 장치 및 방법
JP7115276B2 (ja) 運転支援装置、ウェアラブル装置、運転支援システム、運転支援方法およびプログラム
KR20180025416A (ko) 모션 인식 및 가상 현실을 이용한 드론 비행 제어 시스템 및 방법
US20210034052A1 (en) Information processing device, instruction method for prompting information, program, and recording medium
JP7024997B2 (ja) 飛行体操縦システム及び飛行体操縦システムを用いて飛行体を操縦する方法
WO2020110292A1 (ja) 表示制御システム、表示制御装置及び表示制御方法
US11657723B2 (en) Management device
JP6821864B2 (ja) 表示制御システム、表示制御装置及び表示制御方法
KR20170004407A (ko) 무인정찰시스템 및 무인정찰방법
US20240192705A1 (en) Automated Unmanned Aerial Vehicle Dock Verification And Landing
US20240153390A1 (en) Flight management system, flight management method, and flight management program for multiple aerial vehicles
KR20190053018A (ko) 카메라를 포함하는 무인 비행 장치를 조종하는 방법 및 전자장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200325

R150 Certificate of patent or registration of utility model

Ref document number: 6682379

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150