JP2019016869A - 撮像装置、カメラ装着ドローン、およびモード制御方法、並びにプログラム - Google Patents

撮像装置、カメラ装着ドローン、およびモード制御方法、並びにプログラム Download PDF

Info

Publication number
JP2019016869A
JP2019016869A JP2017131674A JP2017131674A JP2019016869A JP 2019016869 A JP2019016869 A JP 2019016869A JP 2017131674 A JP2017131674 A JP 2017131674A JP 2017131674 A JP2017131674 A JP 2017131674A JP 2019016869 A JP2019016869 A JP 2019016869A
Authority
JP
Japan
Prior art keywords
mode
camera
image
shooting
mode switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017131674A
Other languages
English (en)
Other versions
JP7091613B2 (ja
JP2019016869A5 (ja
Inventor
武志 原田
Takeshi Harada
武志 原田
龍之介 小田
Ryunosuke Oda
龍之介 小田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2017131674A priority Critical patent/JP7091613B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to KR1020197038592A priority patent/KR20200023309A/ko
Priority to EP22163015.5A priority patent/EP4040783A1/en
Priority to EP18743876.7A priority patent/EP3635950B1/en
Priority to CN201880043291.9A priority patent/CN110832850B/zh
Priority to PCT/JP2018/024525 priority patent/WO2019009171A1/en
Priority to US16/622,757 priority patent/US20200180759A1/en
Publication of JP2019016869A publication Critical patent/JP2019016869A/ja
Publication of JP2019016869A5 publication Critical patent/JP2019016869A5/ja
Application granted granted Critical
Publication of JP7091613B2 publication Critical patent/JP7091613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64CAEROPLANES; HELICOPTERS
    • B64C39/00Aircraft not otherwise provided for
    • B64C39/02Aircraft not otherwise provided for characterised by special use
    • B64C39/024Aircraft not otherwise provided for characterised by special use of the remote controlled vehicle type, i.e. RPV
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/006Apparatus mounted on flying objects
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0022Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/06Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B64U2101/31UAVs specially adapted for particular uses or applications for imaging, photography or videography for surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Exposure Control For Cameras (AREA)
  • Computer And Data Communications (AREA)

Abstract

【課題】モード切り替え条件の発生に応じて画像撮影モードと画像転送モードを切り換えて、各モードで異なる通信プロトコルに従った通信を行う構成を実現する。【解決手段】画像撮影モードと画像転送モードのモード切り替えを実行する制御部を有し、制御部は予め規定したモード切り替え条件が発生したか否か判定し、モード切り替え条件が発生したことを検出した場合に、画像撮影モードから画像転送モードへ切り替える処理を実行する。画像撮影モードではPTPに従った通信、画像転送モードではマスストレージクラス(MSC)に従った通信を、接続されたドローン本体制御装置と実行する。【選択図】図3

Description

本開示は、撮像装置、カメラ装着ドローン、およびモード制御方法、並びにプログラムに関する。さらに詳細には、画像の撮影モードと、転送モードの切り替えを行う撮像装置、カメラ装着ドローン、およびモード制御方法、並びにプログラムに関する。
近年、リモートコントロールでの飛行、あるいはGPS等に基づく自律飛行を行う小型の飛行体であるドローンの利用が急激に増加している。
例えば、ドローンにカメラを装着し、上空から地上の風景を撮影する処理等に利用される。
また、最近では、地形の確認処理や、測量処理、あるいは建築現場等においてもドローンを利用した空撮画像が利用されている。
ドローンは、例えば地上のリモートコントローラの指示による飛行制御を行うタイプと、GPS等の位置情報を受信して自律的に飛行するタイプがある。
いずれの場合もドローン本体のコントローラ(制御部)が、リモートコントローラの指示信号や、GPS信号を受信して飛行を行う。
ドローンに装着されたカメラの撮影開始や、停止処理、あるいは撮影設定等の制御は、例えば、ドローン本体のコントローラからカメラ側に出力するコマンドによって実行される。
例えば、地上のリモートコントローラの指示を、ドローン本体のコントローラが受信して、ドローン本体のコントローラが、この指示に基づいて撮影制御コマンドをカメラに出力する。
また、自律飛行型ドローンの場合は、ドローン本体のコントローラ内部のメモリに格納されたプログラムに従って撮影制御コマンドをカメラに出力する。
例えば、プログラムに記録された撮影位置と、GPS信号に基づく現在位置とが一致した場合に、撮影開始コマンドをカメラに出力する等の設定である。
ドローン本体のコントローラと、カメラは、例えば、USB(Universal Serial Bus)接続構成を有する。
例えば、ドローン本体のコントローラは、カメラに対して、USB通信規格(通信プロトコル)であるPTP(Picture Transfer Protocol)に従って、様々な撮影制御コマンドを出力する。
さらに、ドローン本体のコントローラは、地上にいるドローン管理者であるユーザの持つ通信装置と無線通信を行う。ドローン本体のコントローラは、例えば、ユーザの持つ通信装置に対してドローンの状態などを通知する。
ドローンに装着したカメラの撮影画像を、ユーザが取得するには、撮影終了後、ドローンが地上のベースステーションに戻ってきてから、カメラの画像記憶手段であるSDカード等のメモリカードを抜いて、PC等に装着して確認するといった方法が一般的である。
あるいは、カメラをドローン本体から取り外して、カメラをPC等のホスト機器に接続して、ホスト機器がカメラの記憶部に格納された画像を読み出すといった処理が行われる。
しかし、上記の処理は、いずれの場合も、ドローンが地上に戻ってきてから撮影画像の取得、確認を行うものであり、例えば、画像撮影時に、目的の画像が撮影できているか否かを確認することはできない。
上記のように、ドローンが地上に戻ってから、撮影画像の取得、確認処理を行うと、万が一、目的の画像撮影に失敗した場合、再撮影が必要となり、時間のロスやコストの高騰を招くという問題がある。
カメラによる撮影画像を、カメラからドローン本体コントローラに転送し、さらにドローン本体コントローラから地上のPC等の通信装置に送信することも技術的には可能である。
しかし、ドローン本体コントローラとカメラ間において上述したUSB通信規格であるPTP(Picture Transfer Protocol)通信による撮影制御を行いながら、PTP通信プロトコルを利用して画像転送を実行しようとすると、カメラからドローン本体コントローラに対する画像転送時間が長くなってしまい、その間、撮影制御コマンドの発行ができなくなり、撮影制御に支障が発生するという問題が発生する。
例えば、USBデータ転送規格であるマスストレージクラス(MSC:Mass Storage Class)を利用すれば、カメラからドローン本体コントローラに画像を高速で転送することが可能である。
例えば特許文献1(特開2007−148802号公報)にはPTPとマスストレージクラス(MSC)の2つのプロトコルを切り替えて利用する構成について開示している。
この特許文献1に記載の構成は、PCとカメラを接続して、PC側からカメラに対して所定のメッセージを送信して、プロトコルを切り替える構成である。
この特許文献1に記載の構成を実現するためには、ドローン本体コントローラ側が、カメラに対してプロトコル切り替えのためのメッセージを送信する必要があり、ドローン本体コントローラ側の仕様(プログラム)を変更することが必要となる。
特開2007−148802号公報
本開示は、例えば、上記の問題点に鑑みてなされたものであり、ドローン本体コントローラ側の仕様(プログラム)を変更することなく、カメラが自律的に画像の撮影モードと、転送モードの切り替えを行い、効率的な画像転送を可能とした撮像装置、カメラ装着ドローン、およびモード制御方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
画像撮影モードと、画像転送モードのモード切り替えを実行する制御部を有し、
前記制御部は、
予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理を実行し、
モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行する撮像装置にある。
さらに、本開示の第2の側面は、
ドローンの飛行制御と、通信部介して接続されたカメラに対する撮影制御を実行するドローン本体制御装置と、
前記ドローン本体制御装置からの入力コマンドに応じて画像撮影を実行するカメラを有し、
前記カメラは、
予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理を実行し、
モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行し、
該モード切り替え処理に併せて、前記ドローン本体制御装置との通信プロトコルを切り替える処理を行うカメラ装着ドローンにある。
さらに、本開示の第3の側面は、
撮像装置において実行するモード制御方法であり、
前記撮像装置は、
画像撮影モードと、画像転送モードのモード切り替えを実行する制御部を有し、
前記制御部が、
予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理を実行し、
モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行するモード制御方法にある。
さらに、本開示の第4の側面は、
カメラ装着ドローンにおいて実行するモード制御方法であり、
前記カメラ装着ドローンは、
ドローンの飛行制御と、通信部介して接続されたカメラに対する撮影制御を実行するドローン本体制御装置と、
前記ドローン本体制御装置からの入力コマンドに応じて画像撮影を実行するカメラを有し、
前記カメラが、
予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理を実行し、
モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行し、
該モード切り替え処理に併せて、前記ドローン本体制御装置との通信プロトコルを切り替える処理を行うモード制御方法にある。
さらに、本開示の第5の側面は、
撮像装置においてモード制御処理を実行させるプログラムであり、
前記撮像装置は、
画像撮影モードと、画像転送モードのモード切り替えを実行する制御部を有し、
前記プログラムは、前記制御部に、
予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理と、
モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行させるプログラム。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、モード切り替え条件の発生に応じて画像撮影モードと画像転送モードを切り換えて、各モードで異なる通信プロトコルに従った通信を行う構成が実現される。
具体的には、例えば、画像撮影モードと画像転送モードのモード切り替えを実行する制御部を有し、制御部は予め規定したモード切り替え条件が発生したか否か判定し、モード切り替え条件が発生したことを検出した場合に、画像撮影モードから画像転送モードへ切り替える処理を実行する。画像撮影モードではPTPに従った通信、画像転送モードではマスストレージクラス(MSC)に従った通信を、接続されたドローン本体制御装置と実行する。
本構成により、モード切り替え条件の発生に応じて画像撮影モードと画像転送モードを切り換えて、各モードで異なる通信プロトコルに従った通信を行う構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
カメラ装着ドローンの飛行と画像撮影処理の一例について説明する図である。 カメラ装着ドローンの飛行と画像撮影処理の一例について説明する図である。 カメラ装着ドローンの画像撮影と転送シーケンスの一例について説明する図である。 ドローン本体制御装置の構成例について説明する図である。 カメラの構成例について説明する図である。 ドローン本体制御装置とカメラとの通信処理例について説明する図である。 カメラ装着ドローンのドローン本体制御装置とカメラの処理シーケンスについて説明するフローチャートを示す図である。 カメラ装着ドローンのカメラの処理シーケンスについて説明するフローチャートを示す図である。 カメラ装着ドローンの画像撮影処理例について説明する図である。 カメラ装着ドローンのカメラの処理シーケンスについて説明するフローチャートを示す図である。 カメラ装着ドローンのカメラのモード切り替え処理の条件と、実行する処理との対応関係について説明する図である。 カメラ装着ドローンのカメラの処理シーケンスについて説明するフローチャートを示す図である。 カメラ装着ドローンのカメラのモード切り替え処理の条件と、実行する処理との対応関係について説明する図である。 カメラ装着ドローンの画像撮影処理例について説明する図である。 カメラ装着ドローンのカメラの処理シーケンスについて説明するフローチャートを示す図である。 カメラ装着ドローンのカメラのモード切り替え処理の条件と、実行する処理との対応関係について説明する図である。
以下、図面を参照しながら本開示の撮像装置、カメラ装着ドローン、およびモード制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.本開示の処理を適用可能なシステムの構成例について
2.ドローン本体制御装置とカメラの構成例について
3.画像撮影モードと画像転送モードの切り替え処理の具体例について
4.様々な撮影状況に応じたモード切り替え条件の設定と、モード切り替え処理の具体例について
4−1.(処理例1)移動速度と、撮影処理停止期間をモード切り替え判定条件とした処理例
4−2.(処理例2)現在位置と、撮影処理停止期間をモード切り替え判定条件とした処理例について
4−3.(処理例3)移動速度のみをモード切り替え判定条件とした処理例について
5.本開示の構成のまとめ
[1.本開示の処理を適用可能なシステムの構成例について]
まず、図1以下を参照して本開示の処理を適用可能なシステムの構成例について説明する。
図1は、本開示の処理を適用可能なシステム構成例を示す図である。
図1には、カメラ装着ドローン10を示している。カメラ装着ドローン10は、ドローン本体制御装置(コントローラ)20と、カメラ30有する。
ドローン本体制御装置20と、カメラ30は、USB(Universal Serial Bus)により接続されている。
ドローン本体制御装置(コントローラ)20は、カメラ30に対して、USB通信規格(通信プロトコル)であるPTP(Picture Transfer Protocol)に従って、画像の撮影開始、撮影停止、撮影設定等の様々な撮影制御コマンドを出力する。
ドローン本体制御装置20は、地上にいるドローン管理者であるユーザの持つリモートコントローラ40と無線通信を行い、リモートコントローラ40から入力するコマンドによって飛行する。
カメラ30の撮影画像は、カメラ30から、ドローン本体制御装置20に転送され、さらに、ドローン本体制御装置20から、地上のPC50に送信される。
本開示のカメラ30は、自律的に画像の撮影モードと、転送モードの切り替えを行う。
具体的には、カメラ30が画像の撮影モードに設定されている場合は、ドローン本体制御装置(コントローラ)20から、上述のUSB通信規格(通信プロトコル)であるPTP(Picture Transfer Protocol)に従って、画像の撮影開始、撮影停止、撮影設定等の様々な撮影制御コマンドを入力して撮影処理を行う。
一方、カメラ30が画像の転送モードに設定されると、カメラ30は、ドローン本体制御装置20に対して、USBデータ転送規格であるマスストレージクラス(MSC:Mass Storage Class)を利用して、カメラ30からドローン本体制御装置20に対して撮影画像を高速で転送する。
ドローン本体制御装置20は、カメラ30から入力した撮影画像データを、さらにPC50に送信する。
これらの一連の処理により、地上のユーザは、上空のカメラ30の撮影画像を即座に確認することが可能となる。
図1に示すシステムは、カメラ装着ドローン10が、地上のユーザの持つリモートコントローラ40の送信するコントロール情報によって飛行するシステムであるが、このようなリモートコントローラ40による飛行制御を行うことなく、カメラ装着ドローン10が、GPS等の位置情報を受信して自律的に飛行する構成も可能である。
図2を参照して、本開示の処理を適用可能な自律飛行型のドローンシステム構成について説明する。
図2には、図1と同様、カメラ装着ドローン10を示している。カメラ装着ドローン10は、ドローン本体制御装置(コントローラ)20と、カメラ30有する。
ドローン本体制御装置20と、カメラ30は、USB(Universal Serial Bus)により接続されている。
ドローン本体制御装置(コントローラ)20は、カメラ30に対して、USB通信規格(通信プロトコル)であるPTP(Picture Transfer Protocol)に従って、画像の撮影開始、撮影停止、撮影設定等の様々な撮影制御コマンドを出力する。
図2に示す構成において、ドローン本体制御装置20は、GPS衛星60からのGPS信号を受信して、自己位置の確認を行い、ドローン本体制御装置20内のメモリに格納されたプログラムに従った飛行ルートに従って飛行する。
さらに、予め規定された位置に到達すると、カメラ30に対して、撮影開始コマンドを出力して、撮影処理を開始させる。さらに、プログラムに従って様々な画像の撮影を行い、所定の撮影処理が完了すると、カメラ30に対して撮影終了コマンドを出力する。
本構成においても、カメラ30の撮影画像は、カメラ30から、ドローン本体制御装置20に転送され、さらに、ドローン本体制御装置20から、地上のPC50に送信される。
本構成においても、本開示のカメラ30は、自律的に画像の撮影モードと、転送モードの切り替えを行う。すなわち、カメラ30が画像の撮影モードに設定されている場合は、ドローン本体制御装置(コントローラ)20から、上述のUSB通信規格(通信プロトコル)であるPTP(Picture Transfer Protocol)に従って、画像の撮影開始、撮影停止、撮影設定等の様々な撮影制御コマンドを入力して撮影処理を行う。
一方、カメラ30が画像転送モードに設定されると、カメラ30は、ドローン本体制御装置20に対して、USBデータ転送規格であるマスストレージクラス(MSC:Mass Storage Class)を利用して、カメラ30からドローン本体制御装置20に対して撮影画像を高速で転送する。
ドローン本体制御装置20は、カメラ30から入力した撮影画像データを、さらにPC50に送信する。
これらの一連の処理により、地上のユーザは、上空のカメラ30の撮影画像を即座に確認することが可能となる。
図1、図2に示すシステムにおける各装置間の通信処理例について図3を参照して説明する。
図3には、上空を飛行するカメラ装着ドローン10を構成するカメラ30と、ドローン本体制御装置20、および、地上側のPC20を示している。
図1、図2を参照して説明したように、カメラ30は、自律的に画像の撮影モードと、転送モードの切り替えを行う。
図3(a)に示す通信処理は、カメラ30が、画像撮影モードに設定されている場合の通信処理例である。
カメラ30が画像の撮影モードに設定されている場合は、ドローン本体制御装置(コントローラ)20から、上述のUSB通信規格(通信プロトコル)であるPTP(Picture Transfer Protocol)に従って、画像の撮影開始、撮影停止、撮影設定等の様々な撮影制御コマンドを入力して撮影処理を行う。
図3(b)に示す通信処理は、カメラ30が、画像転送モードに設定されている場合の通信処理例である。
カメラ30が画像の転送モードに設定されると、カメラ30は、ドローン本体制御装置20に対して、USBデータ転送規格であるマスストレージクラス(MSC:Mass Storage Class)を利用して、カメラ30からドローン本体制御装置20に対して撮影画像を高速で転送する。
ドローン本体制御装置20は、カメラ30から入力した撮影画像データを、さらにPC50に送信する。
これらの一連の処理により、地上のユーザは、上空のカメラ30の撮影画像を即座に確認することが可能となる。
なお、カメラ30による画像の撮影モードと、転送モードの切り替え処理は、カメラ装着ドローン10の移動速度や、画像の撮影間隔等に基づいて、カメラ30自身が実行する。
このモード切り替え処理の具体例については、後段で詳細に説明する。
[2.ドローン本体制御装置とカメラの構成例について]
次に、カメラ装着ドローン10を構成するドローン本体制御装置20とカメラ30の構成例について説明する。
図4は、カメラ装着ドローン10を構成するドローン本体制御装置20の構成例を示すブロック図である。
図4に示すように、ドローン本体制御装置20は、本体制御部21、飛行制御部22、カメラ間通信部23、外部機器間通信部24、センサ(GPS、ジャイロ等)25、メモリ26、計時部27、電源部(バッテリ)28を有する。
本体制御部21は、ドローン本体の全体的な制御を実行する。例えば予め設定された飛行プログラムに従った飛行や、撮影プログラムに従った撮影処理を行うための制御を実行する。
プログラムはメモリ26に格納されている。本体制御部21は、CPU等のプログラム実行機能を備えており、メモリ26に格納されたプログラムを読み出して実行する。
飛行制御部22は、具体的には、例えばプロペラのモータ駆動制御を行う。本体制御部21からの指令に応じてプログラムに従った飛行を行うように、複数のプロペラの回転速度等を制御する。
カメラ間通信部23は、カメラ30との通信を実行する。
本例において、カメラ間通信部23はUSB(Universal Serial Bus)規格に従ったUSB通信を行う通信部として構成される。
先に図3を参照して説明したPTPやマスストレージクラス(MSC)の各プロトコルに従った通信を実行する。
カメラ30が画像の撮影モードに設定されている場合は、USBデータ通信プロトコルの1つであるPTP(Picture Transfer Protocol)に従って、画像の撮影開始、撮影停止、撮影設定等の様々な撮影制御コマンドをカメラ30に出力する。
一方、カメラ30が画像の転送モードに設定されると、カメラ30から、USBデータ転送規格であるマスストレージクラス(MSC:Mass Storage Class)を利用して、カメラ30から撮影画像を入力する。
外部機器間通信部24は、例えば地上のPCや、リモートコントローラ等との通信を行う。
先に図1を参照して説明したように、リモートコントローラによる操縦がなされる場合は、リモートコントローラからユーザによる操縦操作情報等を受信して飛行制御がなされる。
また、先に図2を参照して説明したように、GPS信号等による自律飛行を行う場合は、リモートコントローラからの操縦情報を受信することなく、センサ(GPS、ジャイロ等)25の受信するGPS信号による自己位置確認をしながら、メモリ26に格納されたプログラムされた飛行経路に従った飛行を行う。
なお、センサ25は、GPSの他、ジャイロ、カメラ等の様々な自己位置推定機器や、動き推定機器によって構成される。
外部機器間通信部24は、さらに、カメラ30の撮影画像を地上のPCに送信する処理も行う。
前述したように、カメラ30が画像の転送モードに設定されている場合、カメラ30から、USBデータ転送規格であるマスストレージクラス(MSC:Mass Storage Class)を利用して、カメラ30から撮影画像がドローン本体制御装置20に入力される。
ドローン本体制御装置20は、このカメラ30からの入力画像を、外部機器間通信部24を介して地上のPC等に送信する。
なお、カメラ30から入力した撮影画像を一旦、メモリ26に格納して、その後、メモリ26から読み出した画像を、外部機器間通信部24を介して地上のPC等に送信する設定としてもよい。
外部機器間通信部24は、さらに、飛行状態をベースセンター等の管理装置に送信する処理等も行う。
メモリ26は、本体制御部21の実行するプログラム、各種処理のパラメータの格納領域、さらに本体メラ制御部21の実行するデータ処理のワークエリア等として利用される。
計時部27は、現在時間の取得、時間計測処理等を行う時計機能、タイマ機能を有する。
電源部(バッテリ)28は、ドローン本体制御装置20の各構成部に対する電力供給を行う。
次に、図5を参照してカメラ30の構成例について説明する。
図5に示すように、カメラ30は、カメラ制御部31、レンズ部32、撮像素子(イメージャ)33、画像処理部34、記憶部35、メモリ36、計時部37、通信部38を有する。
カメラ制御部31は、カメラ30の実行する処理の全体的な制御を行う。例えばメモリ35に格納されたプログラムを実行するCPU等を備え、撮影制御を行う。さらに、ドローン本体制御装置20との通信制御も行う。
さらに、カメラ30の様々な状態を検出し、状態に応じてモードの切り替え、すなわち画像撮影モードと、画像転送モードの切り替えを行う。また、各モードに応じてPTP通信と、マスストレージクラス(MSC)通信の切り替えも行う。
これらのモード変更処理の詳細については、後段で説明する。
レンズ部32、撮像素子(イメージャ)33は、画像撮影を行うための構成である。
レンズ部32は、フォーカスレンズ、ズームレンズ等によって構成される。
撮像素子(イメージャ)33は、CMOSイメージセンサ、CCD等によって構成される。
撮像素子(イメージャ)33において電子化された画像データは、画像処理部34に入力される。
画像処理部34は、ホワイトバランス調整、画像圧縮処理等の一般的な画像処理を実行する。例えばJPEGやMPEG方式の圧縮画像を生成して、記憶部35に格納する。
記憶部35は、例えばSDカード等のフラッシュメモリ等によって構成される。
なお、記憶部35に格納された画像は、カメラ30が画像撮影モードから画像転送モードに切り替えられた後、制御部31の制御の下、通信部37を介してドローン本体制御装置20側に出力される。この処理はUSBデータ転送規格であるマスストレージクラス(MSC)に従って行われる。
カメラ30には操作部が存在せず、通信部38を介してドローン本体制御装置20から入力する撮影制御コマンドに応じて撮影の開始、停止、ズーム設定等の様々な撮影制御が実行される。
前述したようにこの制御コマンドは、USB通信規格の1つであるPTPに従って、ドローン本体制御装置20のカメラ間通信部23と、カメラ30の通信部38との間で送受信される。
メモリ36は、カメラ制御部31の実行するプログラム、各種処理のパラメータの格納領域、さらにカメラ制御部31の実行するデータ処理のワークエリア等として利用される。
計時部37は、現在時間の取得、時間計測処理等を行う時計機能、タイマ機能を有する。
通信部38は、ドローン本体制御装置20のカメラ間通信部23と接続され、カメラ30が画像撮影モードに設定されている場合は、USB通信規格PTPに従って、ドローン本体制御装置20から、撮影開始コマンド等の撮影制御情報等を入力する。
また、カメラ30が画像転送モードに設定されると、USB通信規格マスストレージクラス(MSC)に従って、ドローン本体制御装置20に対して撮影画像を出力する。
[3.画像撮影モードと画像転送モードの切り替え処理の具体例について]
次に、画像撮影モードと画像転送モードの切り替え処理の具体例について説明する。
前述したように、カメラ装着ドローン10に装着されたカメラ30は、自律的に画像の撮影モードと、転送モードの切り替えを行う。
画像撮影モードでは、図6(1)に示すように、ドローン本体制御装置(コントローラ)20から、USB通信規格PTPに従って、画像の撮影開始、撮影停止、撮影設定等の様々な撮影制御コマンドを入力して撮影処理を行う。
画像転送モードでは、図6(2)に示すように、カメラ30は、ドローン本体制御装置20に対して、USBデータ転送規格であるマスストレージクラス(MSC:Mass Storage Class)を利用して、カメラ30からドローン本体制御装置20に対して撮影画像を高速で転送する。
ドローン本体制御装置20は、カメラ30から入力した撮影画像データを、さらにPC50に送信する。
これらの一連の処理により、地上のユーザは、上空のカメラ30の撮影画像を即座に確認することが可能となる。
カメラ30による画像の撮影モードと、転送モードの切り替え処理は、カメラ装着ドローン10の移動速度や、画像の撮影間隔等に基づいて、カメラ30自身が実行する。
カメラ30は、画像撮影モードから画像転送モードへの切り替え処理を実行する際に、ドローン本体制御装置20との間のPTP接続を切断する。
ドローン本体制御装置20は、このPTP接続が切断されたことを検出すると、USB接続されたデバイス、すなわちカメラ30に対して、新たなデバイス検出処理を実行する。
ドローン本体制御装置20は、デバイス検出処理に際して、カメラ30に対してデバイス情報要求(ディスクリプタ要求)を行う。カメラ30は、この要求に対して、マスストレージプロトコルに従った通信を行うマスストレージデバイスであることを示すデバイス情報を返信する。
この返信を受けたドローン本体制御装置20は、カメラ30をマスストレージデバイスとして認識することになる。
このモード切り替え後、ドローン本体制御装置20は、カメラ30の記憶部35に格納された撮影画像データをマスストレージクラス(MSC)対応の通信プロトコルに従って、高速に読み出すことが可能となる。
ドローン本体制御装置20は、読み出した撮影画像データを、地上のPC等のユーザ側装置に送信する。
これらの一連の処理により、地上のユーザは、上空のカメラ30の撮影画像を即座に確認することが可能となる。
以下、カメラ30による画像の撮影モードと、転送モードの切り替え処理の具体例について説明する。
図7には、左側にドローン本体制御装置20の実行する処理を示し、右側にカメラ30の実行する処理のシーケンスを説明するフローチャートを並べて示している。
右側に示すカメラ30の実行する処理(ステップS201〜S206)は、左側のドローン本体制御装置20の実行するステップS104の処理、すなわち、「飛行しながら撮影処理」の期間において実行される処理である。
以下、これらのフローチャートに示す処理について説明する。
なお、左側のフローチャートに示すドローン本体制御装置20の処理は、ドローン本体制御装置20の本体制御部21の制御の下に実行される。例えばメモリ26にの格納されたプログラムに従って、プログラム実行機能を有するCPU等を有する本体制御部21の制御の下で実行される。
また、右側のフローチャートに示すカメラ30の処理は、カメラ30のカメラ制御部31の制御の下に実行される。例えばメモリ36にの格納されたプログラムに従って、プログラム実行機能を有するCPU等を有するカメラ制御部31の制御の下で実行される。
まず、左側に示すフローチャートに従って、ドローン本体制御装置20の処理について、順次、説明する。
(ステップS101)
ドローン本体制御装置20は、まず、ステップS101において、撮影エリアへの移動を開始する。
例えば、GPS位置情報を取得しながら、予め設定された目的地への移動を開始する。なお、目的地の位置情報は、ドローン本体制御装置20のメモリ26に格納済みであるものとする。
(ステップS102)
次に、ドローン本体制御装置20は、ステップS102において、GPS位置情報を取得する。
(ステップS103)
次に、ドローン本体制御装置20は、ステップS103において、取得したGPS位置情報と、ドローン本体制御装置20のメモリ26に格納されている目的地の位置情報とを比較して、撮影エリアに到着したか否かを判定する。
撮影エリアに到着していないと判定した場合は、飛行を継続して、ステップS102の位置情報取得処理を続けて実行する。
撮影エリアに到着したと判定すると、ステップS104に進む。
(ステップS104)
ステップS103において、ドローン本体制御装置20が撮影エリアに到着したと判定した場合、ステップS104において撮影処理を開始する。
ドローン本体制御装置20の本体制御部21は、カメラ間通信部23を介して、カメラ30に対する撮影開始コマンドを出力して、カメラ30に撮影処理を開始させる。
なお、この撮影開始コマンドの出力は、USB通信規格であるPTP(Picture Transfer Protocol)に従って行われる。
カメラ30は、ドローン本体制御装置20から、撮影開始コマンドを入力することで、画像の撮影を開始する。
このステップS104の撮影処理の実行期間に、図7の右側に示すカメラ30の処理が実行されることになる。
このカメラ30の処理については、後段で説明する。
(ステップS105)
次に、ドローン本体制御装置20は、ステップS105において、撮影終了地点に到着したか否かを判定する。
この判定処理も、ドローン本体制御装置20のメモリ26に格納されている撮影終了位置の位置情報と、GPS位置情報との比較処理によって実行する。
撮影終了地点に到着していないと判定した場合は、ステップS104の撮影処理を継続する。
一方、撮影終了地点に到着したと判定した場合は、ステップS106に進む。
(ステップS106)
ステップS105において、ドローン本体制御装置20が撮影終了地点に到着したと判定した場合、ステップS106においてベースステーション(ドローン基地)へ帰還するための移動飛行処理を開始する。
次に、図7の右側に示すフローチャートに従って、カメラ30の実行する処理について説明する。
図7の右側に示すカメラ30の実行する処理フローは、左側に示すドローン本体制御装置20の実行するフローのステップS104の処理、すなわち、「飛行しながら撮影処理」の期間において実行される処理である。
なお、カメラ30は、初期設定として画像撮影モードに設定されている。すなわち、ドローン本体制御装置20との通信をUSB通信規格であるPTP(Picture Transfer Protocol)に従って実行することを可能とした画像撮影モードに設定されている。
(ステップS201)
まず、カメラ30は、ステップS201において、カメラ30(=ドローン)の移動速度を取得、または算出してメモリに保存する。
カメラ30(=ドローン)の移動速度は、例えば、ドローン本体制御装置20から入力する。あるいは、ドローン本体制御装置20がGPSに基づいて取得した位置情報を定期的に入力して、定期的に入力する位置情報と計時部37によって計測される経過時間を適用して速度を算出する。
取得、または算出した速度情報は、メモリ36に格納する。
なお、この移動速度情報の取得、または算出処理とメモリ格納処理は、継続的に所定間隔で実行する。
(ステップS202)
次に、カメラ30は、ステップS202において、カメラ30において撮影する画像単位で、撮影位置と撮影間隔を、取得または算出してメモリに保存する。
位置情報は、ドローン本体制御装置20がGPSに基づいて取得した位置情報を入力し、撮影時間情報は、計時部37によって計測する時間情報を利用する。
なお、撮影時間情報についても、ドローン本体制御装置20の計時部27の計測時間情報、あるいはGPS信号に付随する時間情報を入力して取得する構成としてもよい。
取得、または算出した撮影位置と撮影時間情報は、メモリ36に格納する。
なお、この撮影位置と撮影間隔の取得、または算出処理とメモリ格納処理は、継続的に所定間隔で実行する。
(ステップS203)
次に、カメラ30は、ステップS203において、継続的に取得、または算出している移動速度、撮影位置、撮影間隔、これらの情報の少なくともいずれかを利用して、モード切り替え条件を設定する。
モード切り替え条件とは、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え条件である。
具体的には、撮影処理開始後の複数毎の画像の撮影パターンに基づいて、画像撮影が実行される条件を推定する。
例えば、移動、停止を繰り返し、停止位置でドローン本体制御装置20から画像撮影コマンドが入力され、画像撮影が行われる撮影パターンが検出された場合は、画像撮影は、移動中には実行されず、停止期間のみ行われると推定することができる。
なお、ドローン本体制御装置20から入力する画像撮影コマンドは、画像撮影モード中に設定されているPTPプロトコルに従って入力するコマンドである。
また、ベースステーションからある領域に高速移動して、低速移動に切り替わった後、移動しながら一定間隔で、画像撮影が行われる撮影パターンが検出された場合は、画像撮影は、高速移動中には実行されず、低速移動期間のみ行われると推定することができる。また、一定の間隔ごとに行われると推定することもできる。
このように、カメラ30は、ステップS203において、撮影処理開始後の複数毎の画像の撮影パターンに基づいて、画像撮影が実行される条件を推定する。
(ステップS204)
次に、カメラ30は、ステップS204において、モード切り替え条件の発生有無検証処理を開始する。
モード切り替え条件とは、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え条件である。
なお、画像撮影モードでは、ドローン本体制御装置20とカメラ30との間の通信は、PTPプロトコルに従って実行され、画像転送モードではマスストレージクラス(MSC)プロトコルに従って実行される。
このモード切り替え条件の発生有無検証処理は、上述した画像撮影パターンに応じて異なる検証処理として実行されることになる。
すなわち、上述のステップS203で判定した撮影パターンに応じた検証処理を実行する。
この具体的な検証処理例については、後段で説明する。
(ステップS205)
ステップS204において、モード切り替え条件の発生有無検証処理を開始した後、カメラ30は、ステップS205において、モード切り替え条件が発生したか否かを判定する。
すなわち、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え条件が発生したか否かを判定する。
モード切り替え条件が発生していないと判定した場合は、ステップS201に戻り、ステップS201以下の処理を繰り返し実行する。
一方、モード切り替え条件が発生したと判定した場合は、ステップS206に進む。
(ステップS206)
ステップS205の判定処理において、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え条件が発生したと判定した場合は、ステップS206に進む。ステップS206において、カメラ30のカメラ制御部31は、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
このモード切り替え後、ドローン本体制御装置20は、カメラ30の記憶部35に格納された撮影画像データをマスストレージクラス(MSC)対応の通信プロトコルに従って、高速に読み出す処理を実行する。
ドローン本体制御装置20は、読み出した撮影画像データを、地上のPC等のユーザ側装置に送信する。
これらの一連の処理により、地上のユーザは、上空のカメラ30の撮影画像を即座に確認することが可能となる。
ステップS206のモード切り替え処理の処理手順の具体例について、図8に示すフローチャートを参照して説明する。
図8に示すフローチャートは、図7に示す右側のフローの最終ステップであるステップS206の処理の詳細例を示すフローである。
図8に示すフローの各ステップの処理について説明する。
(ステップS211)
カメラ30は、図7に示すフローのステップS205の判定処理において、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え条件が発生したと判定した場合、ステップS211において、ドローン本体制御装置20との間のPTP接続(PTPセッション)を切断する。
(ステップS212)
次に、カメラ30は、ステップS212において、ホスト装置であるドローン本体制御装置20からのデバイス情報取得要求の入力を待機する。
ドローン本体制御装置20は、このPTP接続が切断されたことを検出すると、USB接続されたデバイス、すなわちカメラ30に対して、新たなデバイス検出処理を実行する。
(ステップS213)
カメラ30は、ステップS213において、ドローン本体制御装置20からのデバイス情報取得要求を受信したか否かを判定し、受信していない場合は、ステップS212の待機処理を継続する。
一方、ドローン本体制御装置20からのデバイス情報取得要求を受信したと判定した場合は、ステップS214に進む。
(ステップS214)
カメラ30は、ステップS214において、ドローン本体制御装置20からのデバイス情報取得要求に対する応答として、マスストレージプロトコルに従った通信を行うマスストレージデバイスであることを示すデバイス情報(ディスクリプタ)を、ドローン本体制御装置20に返信する。
この返信を受けたドローン本体制御装置20は、カメラ30をマスストレージデバイスとして認識し、その後の通信をマスストレージクラス(MSC)対応の通信プロトコルに従って実行する。
このモード切り替え後、ドローン本体制御装置20は、カメラ30の記憶部35に格納された撮影画像データをマスストレージクラス(MSC)対応の通信プロトコルに従って、高速に読み出す処理を実行する。
ドローン本体制御装置20は、読み出した撮影画像データを、地上のPC等のユーザ側装置に送信する。
これらの一連の処理により、地上のユーザは、上空のカメラ30の撮影画像を即座に確認することが可能となる。
[4.様々な撮影状況に応じたモード切り替え条件の設定と、モード切り替え処理の具体例について]
次に、様々な撮影状況に応じたモード切り替え条件の設定と、モード切り替え処理の具体例について説明する。
以下の3つの処理例について、順次、説明する。
(処理例1)移動速度と、撮影処理停止期間をモード切り替え判定条件とした処理例、
(処理例2)現在位置と、撮影処理停止期間をモード切り替え判定条件とした処理例、
(処理例3)移動速度をモード切り替え判定条件とした処理例、
これら3つの処理例について説明する。
[4−1.(処理例1)移動速度と、撮影処理停止期間をモード切り替え判定条件とした処理例]
まず、処理例1として、移動速度と、撮影処理停止期間をモード切り替え判定条件とした処理例について説明する。
この処理例1は、図9に示すように、カメラ装着ドローン10が、ベースステーション(基地)80から、撮影対象エリア70に高速で移動して、撮影対象エリア70到着後、低速移動に切り替えて、撮影対象エリア70内を低速移動しながら、一定間隔で画像を撮影する場合の処理例である。
カメラ装着ドローン10は、ベースステーション(基地)80から、この撮影対象エリア70に移動して、予め規定された飛行ルートに従って、飛行ルート上で予め規定された撮影間隔で画像撮影を行う。
なお、撮影対象エリア70までの移動ルート、撮影対象エリア70内の飛行ルートや、撮影タイミング等は、すべて、ドローン本体制御装置20内のメモリ26に格納されたプログラム内に記録されている。
ドローン本体制御装置20は、カメラ30に対して、逐次、位置情報を出力するとともに、各画像の撮影実行タイミングにおいて撮影実行コマンドや、フォーカスやズーム設定等の撮影設定情報を出力し、カメラ30は、この入力情報に従った撮影処理を実行する。
カメラ装着ドローン10は、撮影対象エリア70の撮影開始地点から、撮影を開始して、撮影対象エリア70の撮影終了地点まで、予め規定されたプログラムに従った画像撮影処理を実行する。
画像撮影が完了すると、カメラ装着ドローン10は、ベースステーション(基地)80まで移動して着陸する。
この処理例1は、カメラ装着ドローン10の移動速度と、撮影処理停止期間をモード切り替え判定条件とした処理例である。
図10に示すフローチャートを参照して、本処理例1のカメラ30の実行する処理シーケンスについて説明する。
図10に示すフローチャートは、先に図7の右側のフローを参照して説明したカメラの処理フロー(ステップS201〜S206)と同様の処理フローである。
図10に示すフローのステップS201〜S204、およびステップS206の処理は、図7に示すフローのステップS201〜S204、およびステップS206の処理に対応する処理である。
図10に示すフローのステップS231〜S232の処理が、図7に示すフローのステップS205の処理に対応する処理であり、本処理例1、すなわち、現在の移動速度と、撮影処理停止期間をモード切り替え判定条件とした場合に実行する処理となる。
図10に示すフローの各ステップの処理について説明する。
(ステップS201〜S204)
これらのステップS201〜S204の処理は、先に図7を参照して説明した処理ステップS201〜S204の処理と対応する処理である。
簡単に、これらの処理について説明する。
まず、カメラ30は、ステップS201において、カメラ30(=ドローン)の移動速度を取得、または算出してメモリに保存する。
次に、ステップS202において、カメラ30において撮影する画像単位で、撮影位置と撮影間隔を、取得または算出してメモリに保存する。
次に、ステップS203において、取得情報(速度、撮影位置、撮影間隔)、これらの情報の少なくともいずれかを利用して、モード切り替え条件を設定する。
本処理例においては、先に図9を参照して説明したように、カメラ装着ドローン10が、ベースステーション(基地)80から、撮影対象エリア70に高速で移動して、撮影対象エリア70到着後、低速移動に切り替えて、撮影対象エリア70内を低速移動しながら、一定間隔で画像を撮影する場合の処理例である。
このような場合、カメラ30は、低速移動に切り替わった後、低速移動しながら、一定間隔で画像が撮影されていることを検出する。カメラ30は、この検出情報に基づいて、画像撮影が低速移動しながら一定間隔で行われると判断し、画像撮影パターンは以下の設定であると判断する。
低速移動時にのみ画像撮影が行われる。
一定間隔ごとに画像撮影が行われる。
これらの画像撮影パターンに基づいて、画像撮影モードを画像転送モードに切り替える条件として、以下の条件を設定する。
(条件1)カメラ装着ドローンが高速移動を開始。
(条件2)画像撮影間隔が一定時間を超えた。
これらの条件のいずれかが発生した場合に、画像撮影モードを画像転送モードに切り替える。
ステップS203では、このモード切り替え条件を設定する。
次に、ステップS204において、ステップS203で設定したモード切り替え条件の発生有無検証処理を開始する。
本処理例1は、現在の移動速度と、撮影処理停止期間をモード切り替え判定条件とした処理例であり、この判定処理が、ステップS231〜S232の処理となる。
これらの処理について説明する。
(ステップS231)
まず、カメラ30は、ステップS231において、カメラ30の現在の移動速度(Vc)が、規定速度(Vth)を超えているか否かを判定する。
なお、カメラ30の現在の移動速度(Vc)は、カメラ装着ドローン10の現在の移動速度と同じである。
しきい値として利用する規定速度(Vth)情報は、例えば、図9に示すベースステーション80から、撮影対象エリア70までの高速移動時の速度と、撮影対象エリア70内で撮影が開始された後の低速移動の速度の間の速度とする。
カメラ30のメモリ36には、しきい値として利用する規定速度(Vth)情報を事前に格納する。例えばステップS203のモード切り替え条件設定時に格納する。
さらに、カメラ30は、ドローン本体制御装置20から入力するGPS位置情報等を利用して、カメラ30(=ドローン)の現在の速度(Vc)を、逐次、算出する。
カメラ30は、これらの情報を用いて、カメラ30の現在の移動速度(Vc)が、規定速度(Vth)を超えているか否かを判定する。
カメラ30の現在の移動速度(Vc)が、規定速度(Vth)を超えていないと判定した場合は、ステップS232に進む。
一方、カメラ30の現在の移動速度(Vc)が、規定速度(Vth)を超えていると判定した場合は、ステップS206に進み、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
(ステップS232)
ステップS231の判定処理において、カメラ30の現在の移動速度(Vc)が、規定速度(Vth)を超えていると判定した場合は、ステップS232に進む。
ステップS232において、カメラ30は、画像撮影処理の停止期間(Tc)が、予め規定したしきい値である規定時間(Tth)を超えたか否かを判定する。
前述したように、カメラ30は、各画像の撮影をドローン本体制御装置20からの撮影実行コマンドに従って実行する。すなわち、画像撮影モードにおいて、ドローン本体制御装置20とカメラ30間の通信セッションとして確立されているPTP通信セッションを介して、ドローン本体制御装置20からコマンドを入力して撮影を実行する。
カメラ30は、このドローン本体制御装置20からの撮影コマンドの入力の停止期間を計時部37によって計時し、撮影コマンドの入力の停止期間(=画像撮影処理の停止期間(Tc))が、予め規定したしきい時間である規定時間(Tth)を超えたか否かを判定する。
画像撮影処理の停止期間(Tc)が、予め規定したしきい時間である規定時間(Tth)を超えたと判定した場合は、ステップS206に進み、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
一方、画像撮影処理の停止期間(Tc)が、予め規定したしきい時間である規定時間(Tth)を超えていないと判定した場合は、ステップS201に戻る。
(ステップS206)
ステップS231〜S232の判定処理において、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え条件が発生したと判定した場合は、ステップS206に進む。ステップS206において、カメラ30のカメラ制御部31は、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
ステップS231〜S232の判定処理と、モード切り替えの実行有無との対応関係について、図11を参照して説明する。
図11には、
左側にステップS231の判定処理、すなわち、現在の移動速度(Vc)が、規定速度(Vth)を超えているか否かの判定処理、
上側にステップS232の判定処理、すなわち、撮影処理停止期間(Tc)が、規定時間(Tth)を超えているか否かの判定処理、
これら2つの判定ステップの(Yes/No)の組み合わせに基づく処理を示している。
図11に示すように、左側のステップS231の判定処理がYes、すなわち、現在の移動速度(Vc)が、規定速度(Vth)を超えていると判定した場合は、ステップS232の判定処理結果に関わらず(撮影処理停止期間(Tc)が、規定時間(Tth)を超えているか否かに関わらず)、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
一方、左側のステップS231の判定処理がNo、すなわち、現在の移動速度(Vc)が、規定速度(Vth)を超えていないと判定した場合は、ステップS232の判定処理結果に応じて、以下のように、実行する処理が異なる。
ステップS232の判定結果がYes、すなわち、撮影処理停止期間(Tc)が、規定時間(Tth)を超えていると判定した場合は、
撮影終了、または撮影停止と判断し、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
一方、ステップS232の判定結果がNo、すなわち、撮影処理停止期間(Tc)が、規定時間(Tth)を超えていないと判定した場合は、
撮影中と判断し、現在のカメラの設定モードである画像撮影モードを継続する。
前述したように、ステップS206のモード切り替え後は、ドローン本体制御装置20は、カメラ30の記憶部35に格納された撮影画像データをマスストレージクラス(MSC)対応の通信プロトコルに従って、高速に読み出し、読み出した撮影画像データを、地上のPC等のユーザ側装置に送信する。
これらの一連の処理により、地上のユーザは、上空のカメラ30の撮影画像を即座に確認することが可能となる。
[4−2.(処理例2)現在位置と、撮影処理停止期間をモード切り替え判定条件とした処理例について]
次に、処理例2として、現在位置と、撮影処理停止期間をモード切り替え判定条件とした処理例について説明する。
この処理例2は、前述の処理例1と同様、例えば図9に示すように、カメラ装着ドローン10が、ベースステーション(基地)80から、撮影対象エリア70に高速で移動して、撮影対象エリア70到着後、低速移動に切り替えて、撮影対象エリア70内を低速移動しながら、一定間隔で画像を撮影する場合の処理例である。
本処理例2は、速度情報の代わりに、撮影対象エリア70の位置情報を、モード切り替え条件として利用する。
例えば、図9に示すように、撮影対象エリア70が予め規定されているものとする。
図9に示す撮影対象エリア70は、(緯度a、経度b)から(緯度c,経度d)の矩形領域として規定されている。
カメラ装着ドローン10は、ベースステーション(基地)80から、この撮影対象エリア70に移動して、予め規定された飛行ルートに従って、飛行ルート上で予め規定された撮影間隔で画像撮影を行う。
なお、撮影対象エリア70までの移動ルート、撮影対象エリア70内の飛行ルートや、撮影タイミング等は、すべて、ドローン本体制御装置20内のメモリ26に格納されたプログラム内に記録されている。
ドローン本体制御装置20は、カメラ30に対して、逐次、位置情報を出力するとともに、各画像の撮影実行タイミングにおいて撮影実行コマンドや、フォーカスやズーム設定等の撮影設定情報を出力し、カメラ30は、この入力情報に従った撮影処理を実行する。
カメラ装着ドローン10は、撮影対象エリア70の撮影開始地点から、撮影を開始して、撮影対象エリア70の撮影終了地点まで、予め規定されたプログラムに従った画像撮影処理を実行する。
画像撮影が完了すると、カメラ装着ドローン10は、ベースステーション(基地)80まで移動して着陸する。
この処理例2は、カメラ装着ドローン10の現在位置と、撮影処理停止期間をモード切り替え判定条件とした処理例である。
図12に示すフローチャートを参照して、本処理例2のカメラ30の実行する処理シーケンスについて説明する。
図12に示すフローチャートは、先に図7の右側のフローを参照して説明したカメラの処理フロー(ステップS201〜S206)と同様の処理フローである。
図12に示すフローのステップS201〜S204、およびステップS206の処理は、図7に示すフローのステップS201〜S204、およびステップS206の処理に対応する処理である。
図12に示すフローのステップS231b〜S232の処理が、図7に示すフローのステップS205の処理に対応する処理であり、本処理例2、すなわち、現在位置と、撮影処理停止期間をモード切り替え判定条件とした場合に実行する処理となる。
図12に示すフローの各ステップの処理について説明する。
(ステップS201〜S204)
これらのステップS201〜S204の処理は、先に図7を参照して説明した処理ステップS201〜S204の処理に対応する処理である。
簡単に、これらの処理について説明する。
まず、カメラ30は、ステップS201において、カメラ30(=ドローン)の移動速度を取得、または算出してメモリに保存する。
次に、ステップS202において、カメラ30において撮影する画像単位で、撮影位置と撮影間隔を、取得または算出してメモリに保存する。
次に、ステップS203において、取得情報(速度、撮影位置、撮影間隔)、これらの情報の少なくともいずれかを利用して、モード切り替え条件を設定する。
本処理例においては、先に図9を参照して説明したように、カメラ装着ドローン10が、ベースステーション(基地)80から、撮影対象エリア70に高速で移動して、撮影対象エリア70到着後、低速移動に切り替えて、撮影対象エリア70内を低速移動しながら、一定間隔で画像を撮影する場合の処理例である。
本処理例2では、カメラのメモリ36に撮影領域情報を格納しておく。
例えば図9に示す例では、撮影対象エリア70の領域、すなわち、(緯度a、経度b)から(緯度c,経度d)の矩形領域となる。
カメラ30は、この撮影領域情報((緯度a、経度b)〜(緯度c,経度d)の矩形領域情報)を撮影領域情報としてメモリ36に格納している。
本処理例2では、
所定の撮影領域((緯度a、経度b)〜(緯度c,経度d)の矩形領域)内でのみ画像撮影が行われる。
さらに、一定間隔ごとに画像撮影が行われる。
カメラ30は、これらの画像撮影パターンに基づいて、画像撮影モードを画像転送モードに切り替える条件として、以下の条件を設定する。
(条件1)カメラ装着ドローンの位置が撮影領域外にある。
(条件2)画像撮影間隔が一定時間を超えた。
これらの条件のいずれかが発生した場合に、画像撮影モードを画像転送モードに切り替える。
ステップS203では、このモード切り替え条件を設定する。
次に、ステップS204において、モード切り替え条件の発生有無検証処理を開始する。
モード切り替え条件とは、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え条件である。
本処理例2は、現在位置と、撮影処理停止期間をモード切り替え判定条件とした処理例であり、この判定処理が、ステップS231b〜S232の処理となる。
これらの処理について説明する。
(ステップS231b)
まず、カメラ30は、ステップS231bにおいて、カメラ30の現在位置(Lc)が、撮影対象エリア(Lp)内にあるか否かを判定する。
なお、カメラ30の現在位置(Lc)は、カメラ装着ドローン10の現在位置と同じである。
カメラ30は、予め、ドローン本体制御装置20から、撮影領域情報(Lp)を入力し、さらに、ドローン本体制御装置20がGPSに基づいて取得した位置情報を定期的に入力する。
撮影領域情報(Lp)は、例えば図9に示す例では、撮影対象エリア70の領域、すなわち、(緯度a、経度b)から(緯度c,経度d)の矩形領域となる。
カメラ30は、この撮影領域情報(Lp=(緯度a、経度b)〜(緯度c,経度d)の矩形領域情報)と、ドローン本体制御装置20がGPSに基づいて取得した位置情報とを比較して、カメラ30の現在位置(Lc)が、撮影対象エリア(Lp)内にあるか否かを判定する。
カメラ30の現在位置(Lc)が、撮影対象エリア(Lp)内にあると判定した場合は、ステップS232に進む。
一方、カメラ30の現在位置(Lc)が、撮影対象エリア(Lp)外であると判定した場合は、ステップS205に進み、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
(ステップS232)
ステップS231bの判定処理において、カメラ30の現在位置(Lc)が、撮影対象エリア(Lp)内にあると判定した場合は、ステップS232に進む。
ステップS232において、カメラ30は、画像撮影処理の停止期間(Tc)が、予め規定したしきい値である規定時間(Tth)を超えたか否かを判定する。
前述したように、カメラ30は、各画像の撮影をドローン本体制御装置20からの撮影実行コマンドに従って実行する。すなわち、画像撮影モードにおいて、ドローン本体制御装置20とカメラ30間の通信セッションとして確立されているPTP通信セッションを介して、ドローン本体制御装置20からコマンドを入力して撮影を実行する。
カメラ30は、このドローン本体制御装置20からの撮影コマンドの入力の停止期間を計時部37によって計時し、撮影コマンドの入力の停止期間(=画像撮影処理の停止期間(Tc))が、予め規定したしきい時間である規定時間(Tth)を超えたか否かを判定する。
画像撮影処理の停止期間(Tc)が、予め規定したしきい時間である規定時間(Tth)を超えたと判定した場合は、ステップS206に進み、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
一方、画像撮影処理の停止期間(Tc)が、予め規定したしきい時間である規定時間(Tth)を超えていないと判定した場合は、ステップS201に戻る。
(ステップS206)
ステップS231b〜S232の判定処理において、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え条件が発生したと判定した場合は、ステップS206に進む。ステップS206において、カメラ30のカメラ制御部31は、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
ステップS231b〜S232の判定処理と、モード切り替えの実行有無との対応関係について、図13を参照して説明する。
図13には、
左側にステップS231bの判定処理、すなわち、現在位置(Lc)が、撮影対象エリア(Lp)内にあるか否かの判定処理、
上側にステップS232の判定処理、すなわち、撮影処理停止期間(Tc)が、規定時間(Tth)を超えているか否かの判定処理、
これら2つの判定ステップの(Yes/No)の組み合わせに基づく処理を示している。
図13に示すように、左側のステップS231bの判定処理がYes、すなわち、現在位置(Lc)が、撮影対象エリア(Lp)内にあると判定した場合は、ステップS232の判定処理結果に応じて、以下のように、実行する処理が異なる。
ステップS232の判定結果がYes、すなわち、撮影処理停止期間(Tc)が、規定時間(Tth)を超えていると判定した場合は、
撮影終了、または撮影停止と判断し、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
一方、ステップS232の判定結果がNo、すなわち、撮影処理停止期間(Tc)が、規定時間(Tth)を超えていないと判定した場合は、
撮影中と判断し、現在のカメラの設定モードである画像撮影モードを継続する。
また、ステップS231bの判定結果がNo、すなわち、現在位置(Lc)が、撮影対象エリア(Lp)内にないと判定した場合は、ステップS232の判定処理結果に関わらず、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
前述したように、ステップS206のモード切り替え後は、ドローン本体制御装置20は、カメラ30の記憶部35に格納された撮影画像データをマスストレージクラス(MSC)対応の通信プロトコルに従って、高速に読み出し、読み出した撮影画像データを、地上のPC等のユーザ側装置に送信する。
これらの一連の処理により、地上のユーザは、上空のカメラ30の撮影画像を即座に確認することが可能となる。
[4−3.(処理例3)移動速度のみをモード切り替え判定条件とした処理例について]
次に、処理例3として、移動速度のみをモード切り替え判定条件とした処理例について説明する。
この処理例3は、画像撮影が行われるのは、カメラ装着ドローン10の飛行速度が一定の速度以下の場合に限られるという条件で、撮影処理を行う場合に利用可能な処理例である。
例えば、図14に示すように、撮影対象物90が予め規定されているものとする。
さらに、図14に示すように、撮影位置として、Pa,Pb,Pc,Pdが、予め規定され、各撮影位置における画像撮影枚数も規定されているものとする。
撮影位置Paで2枚の画像を撮影、
撮影位置Pbで3枚の画像を撮影、
撮影位置Pcで1枚の画像を撮影、
撮影位置Pdで2枚の画像を撮影、
このような設定である。
カメラ装着ドローン10は、ベースステーション(基地)80から、この撮影対象物90の撮影可能領域に移動して、予め規定された飛行ルートに従って、飛行ルート上で予め規定された位置で画像撮影を行う。
なお、撮影対象物90までの移動ルート、撮影対象物90近傍の飛行ルートや、撮影タイミング等は、すべて、ドローン本体制御装置20内のメモリ26に格納されたプログラム内に記録されている。
ドローン本体制御装置20は、カメラ30に対して、逐次、位置情報を出力するとともに、各画像の撮影実行タイミングにおいて撮影実行コマンドや、フォーカスやズーム設定等の撮影設定情報を出力し、カメラ30は、この入力情報に従った撮影処理を実行する。
カメラ装着ドローン10は、撮影対象物90の各撮影地点Pa〜Pdにおいて予め規定されたプログラムに従った画像撮影処理を実行する。
画像撮影が完了すると、カメラ装着ドローン10は、ベースステーション(基地)80まで移動して着陸する。
この処理例3は、カメラ装着ドローン10の移動速度のみをモード切り替え判定条件とした処理例である。
図15に示すフローチャートを参照して、本処理例3のカメラ30の実行する処理シーケンスについて説明する。
図15に示すフローチャートは、先に図7の右側のフローを参照して説明したカメラの処理フロー(ステップS201〜S206)と同様の処理フローである。
図15に示すフローのステップS201〜S204、およびステップS206の処理は、図7に示すフローのステップS201〜S204、およびステップS206の処理に対応する処理である。
図15に示すフローのステップS251の処理が、図7に示すフローのステップS205の処理に対応する処理であり、本処理例3、すなわち、現在の移動速度のみをモード切り替え判定条件とした場合に実行する処理となる。
図15に示すフローの各ステップの処理について説明する。
(ステップS201〜S204)
これらのステップS201〜S204の処理は、先に図7を参照して説明した処理ステップS201〜S204の処理に対応する処理である。
簡単に、これらの処理について説明する。
まず、カメラ30は、ステップS201において、カメラ30(=ドローン)の移動速度を取得、または算出してメモリに保存する。
次に、ステップS202において、カメラ30において撮影する画像単位で、撮影位置と撮影間隔を、取得または算出してメモリに保存する。
次に、ステップS203において、取得情報(速度、撮影位置、撮影間隔)、これらの情報の少なくともいずれかを利用して、モード切り替え条件を設定する。
本処理例においては、先に図14を参照して説明したように、カメラ装着ドローン10が、ベースステーション(基地)80から、撮影対象物90に高速で移動して、撮影対象物90の近傍に到着後、低速移動に切り替えて、撮影対象物90に対して、所定位置で画像を撮影する場合の処理例である。
このような場合、カメラ30は、低速移動に切り替わった後、低速移動しながら、または停止して画像が撮影されていることを検出する。カメラ30は、この検出情報に基づいて、画像撮影が所定の移動速度以下でのみ行われると判断し、画像撮影パターンは以下の設定であると判断する。
一定の速度以下の移動または停止時にのみ画像撮影が行われる。
この画像撮影パターンに基づいて、画像撮影モードを画像転送モードに切り替える条件として、以下の条件を設定する。
(条件1)カメラ装着ドローンが高速移動を開始。
これらの条件のいずれかが発生した場合に、画像撮影モードを画像転送モードに切り替える。
ステップS203では、このモード切り替え条件を設定する。
次に、ステップS204において、モード切り替え条件の発生有無検証処理を開始する。
モード切り替え条件とは、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え条件である。
本処理例3は、現在の移動速度をモード切り替え判定条件とした処理例であり、この判定処理が、ステップS251の処理となる。
この処理について説明する。
(ステップS251)
まず、カメラ30は、ステップS251において、カメラ30の現在の移動速度(Vc)が、規定速度(Vth)を超えているか否かを判定する。
なお、カメラ30の現在の移動速度(Vc)は、カメラ装着ドローン10の現在の移動速度と同じである。
しきい値として利用する規定速度(Vth)情報は、例えば、図14に示すベースステーション80から、撮影対象物90までの高速移動時の速度と、撮影が開始された後の低速移動の速度との間の速度とする。
カメラ30のメモリ36には、しきい値として利用する規定速度(Vth)情報を事前に格納する。例えばステップS203のモード切り替え条件設定時に格納する。
さらに、カメラ30は、ドローン本体制御装置20から入力するGPS位置情報等を利用して、カメラ30(=ドローン)の現在の速度(Vc)を、逐次、算出する。
カメラ30は、これらの情報を用いて、カメラ30の現在の移動速度(Vc)が、規定速度(Vth)を超えているか否かを判定する。
カメラ30の現在の移動速度(Vc)が、規定速度(Vth)を超えていないと判定した場合は、ステップS201に戻る。
一方、カメラ30の現在の移動速度(Vc)が、規定速度(Vth)を超えていると判定した場合は、ステップS206に進み、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
(ステップS206)
ステップS251の判定処理において、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え条件が発生したと判定した場合は、ステップS206に進む。ステップS206において、カメラ30のカメラ制御部31は、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
ステップS251の判定処理と、モード切り替えの実行有無との対応関係について、図16を参照して説明する。
図16には、
左側にステップS251の判定処理、すなわち、現在の移動速度(Vc)が、規定速度(Vth)を超えているか否かの判定処理、
この1つの判定ステップの(Yes/No)の組み合わせに基づく処理を示している。
図16に示すように、左側のステップS251の判定処理、すなわち、現在の移動速度(Vc)が、規定速度(Vth)を超えていると判定した場合は、現在のカメラの設定モードである画像撮影モードから、画像転送モードへの切り替え処理を実行する。
一方、左側のステップS251の判定処理、すなわち、現在の移動速度(Vc)が、規定速度(Vth)を超えていないと判定した場合は、撮影中と判断し、現在のカメラの設定モードである画像撮影モードを継続する。
前述したように、ステップS206のモード切り替え後は、ドローン本体制御装置20は、カメラ30の記憶部35に格納された撮影画像データをマスストレージクラス(MSC)対応の通信プロトコルに従って、高速に読み出し、読み出した撮影画像データを、地上のPC等のユーザ側装置に送信する。
これらの一連の処理により、地上のユーザは、上空のカメラ30の撮影画像を即座に確認することが可能となる。
なお、上述した3つの処理例、すなわち、
(処理例1)移動速度と、撮影処理停止期間をモード切り替え判定条件とした処理例、
(処理例2)現在位置と、撮影処理停止期間をモード切り替え判定条件とした処理例、
(処理例3)移動速度をモード切り替え判定条件とした処理例、
これらの処理例の他にも、モード切り替え判定条件の設定は様々な設定が可能である。
例えば、移動速度、撮影処理停止期間、現在位置の少なくともいずれかをモード切り替え判定条件として設定することが可能であり、また、これらの任意の組み合わせをモード切り替え判定条件として設定することも可能であるる
例えば、撮影処理停止期間のみをモード切り替え判定条件として設定する構成では、規定時間以上の撮影処理停止期間が発生した場合に、画像撮影モードから画像転送モードへの切り替えを実行する。
また、現在位置のみをモード切り替え判定条件として設定する構成では、現在位置が、予め設定した撮影領域から外れた場合に、画像撮影モードから画像転送モードへの切り替えを実行する。
このような設定となる。
[5.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 画像撮影モードと、画像転送モードのモード切り替えを実行する制御部を有し、
前記制御部は、
予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理を実行し、
モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行する撮像装置。
(2) 前記撮像装置は、
画像撮影モードと、画像転送モードにおいて異なる通信プロトコルに従って通信を実行する(1)に記載の撮像装置。
(3) 前記撮像装置は、
画像撮影モードでは、PTP(Picture Transfer Protocol)に従った通信、
画像転送モードでは、マスストレージクラス(MSC)に従った通信を実行する通信部を有する(1)または(2)に記載の撮像装置。
(4) 前記通信部は、ドローン本体制御装置と通信する通信部である(3)に記載の撮像装置。
(5) 前記制御部は、
画像の撮影パターンに基づいて、モード切り替え条件を設定し、
前記モード切り替え条件発生有無検証処理は、設定したモード切り替え条件が発生したか否かを判定する処理として実行する(1)〜(4)いずれかに記載の撮像装置。
(6) 前記制御部は、
撮像装置の移動速度、または画像撮影間隔、または画像撮影位置の少なくともいずれかの情報を利用して、モード切り替え条件が発生したか否か判定する(1)〜(5)いずれかに記載の撮像装置。
(7) 前記制御部は、
撮像装置の移動速度、または画像撮影間隔、または画像撮影位置の少なくともいずれかの情報の取得処理を実行して、
取得情報を利用して、モード切り替え条件が発生したか否か判定する(1)〜(6)いずれかに記載の撮像装置。
(8) 前記制御部は、
モード切り替え条件が発生したことを検出した場合に、
通信部を介して接続されているホスト機器とのPTP(Picture Transfer Protocol)接続を停止し、
前記ホスト機器からのデバイス情報取得要求の受信に応じて、マスストレージクラス(MSC)デバイスであることを示すデバイス情報を応答送信する(1)〜(7)いずれかに記載の撮像装置。
(9) ドローンの飛行制御と、通信部介して接続されたカメラに対する撮影制御を実行するドローン本体制御装置と、
前記ドローン本体制御装置からの入力コマンドに応じて画像撮影を実行するカメラを有し、
前記カメラは、
予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理を実行し、
モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行し、
該モード切り替え処理に併せて、前記ドローン本体制御装置との通信プロトコルを切り替える処理を行うカメラ装着ドローン。
(10) 前記ドローン本体制御装置と前記撮像装置は、
画像撮影モードでは、PTP(Picture Transfer Protocol)に従った通信、
画像転送モードでは、マスストレージクラス(MSC)に従った通信を実行する(9)に記載のカメラ装着ドローン。
(11) 前記カメラ制御部は、
モード切り替え条件が発生したことを検出した場合に、
前記ドローン本体制御装置とのPTP(Picture Transfer Protocol)接続を停止し、
前記ドローン本体制御装置からのデバイス情報取得要求の受信に応じて、マスストレージクラス(MSC)デバイスであることを示すデバイス情報を応答送信する(9)または(10)に記載のカメラ装着ドローン。
(12) 撮像装置において実行するモード制御方法であり、
前記撮像装置は、
画像撮影モードと、画像転送モードのモード切り替えを実行する制御部を有し、
前記制御部が、
予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理を実行し、
モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行するモード制御方法。
(13) カメラ装着ドローンにおいて実行するモード制御方法であり、
前記カメラ装着ドローンは、
ドローンの飛行制御と、通信部介して接続されたカメラに対する撮影制御を実行するドローン本体制御装置と、
前記ドローン本体制御装置からの入力コマンドに応じて画像撮影を実行するカメラを有し、
前記カメラが、
予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理を実行し、
モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行し、
該モード切り替え処理に併せて、前記ドローン本体制御装置との通信プロトコルを切り替える処理を行うモード制御方法。
(14) 撮像装置においてモード制御処理を実行させるプログラムであり、
前記撮像装置は、
画像撮影モードと、画像転送モードのモード切り替えを実行する制御部を有し、
前記プログラムは、前記制御部に、
予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理と、
モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、モード切り替え条件の発生に応じて画像撮影モードと画像転送モードを切り換えて、各モードで異なる通信プロトコルに従った通信を行う構成が実現される。
具体的には、例えば、画像撮影モードと画像転送モードのモード切り替えを実行する制御部を有し、制御部は予め規定したモード切り替え条件が発生したか否か判定し、モード切り替え条件が発生したことを検出した場合に、画像撮影モードから画像転送モードへ切り替える処理を実行する。画像撮影モードではPTPに従った通信、画像転送モードではマスストレージクラス(MSC)に従った通信を、接続されたドローン本体制御装置と実行する。
本構成により、モード切り替え条件の発生に応じて画像撮影モードと画像転送モードを切り換えて、各モードで異なる通信プロトコルに従った通信を行う構成が実現される。
10 カメラ装着ドローン
20 ドローン本体制御装置
21 本体制御部
22 飛行制御部
23 カメラ間通信部
24 外部機器間通信部
25 センサ
26 メモリ
27 計時部
28 電源部
30 カメラ
31 カメラ制御部
32 レンズ部
33 撮像素子
34 画像処理部
35 記憶部
36 メモリ
37 計時部
38 通信部

Claims (14)

  1. 画像撮影モードと、画像転送モードのモード切り替えを実行する制御部を有し、
    前記制御部は、
    予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理を実行し、
    モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行する撮像装置。
  2. 前記撮像装置は、
    画像撮影モードと、画像転送モードにおいて異なる通信プロトコルに従って通信を実行する請求項1に記載の撮像装置。
  3. 前記撮像装置は、
    画像撮影モードでは、PTP(Picture Transfer Protocol)に従った通信、
    画像転送モードでは、マスストレージクラス(MSC)に従った通信を実行する通信部を有する請求項1に記載の撮像装置。
  4. 前記通信部は、ドローン本体制御装置と通信する通信部である請求項3に記載の撮像装置。
  5. 前記制御部は、
    画像の撮影パターンに基づいて、モード切り替え条件を設定し、
    前記モード切り替え条件発生有無検証処理は、設定したモード切り替え条件が発生したか否かを判定する処理として実行する請求項1に記載の撮像装置。
  6. 前記制御部は、
    撮像装置の移動速度、または画像撮影間隔、または画像撮影位置の少なくともいずれかの情報を利用して、モード切り替え条件が発生したか否か判定する請求項1に記載の撮像装置。
  7. 前記制御部は、
    撮像装置の移動速度、または画像撮影間隔、または画像撮影位置の少なくともいずれかの情報の取得処理を実行して、
    取得情報を利用して、モード切り替え条件が発生したか否か判定する請求項1に記載の撮像装置。
  8. 前記制御部は、
    モード切り替え条件が発生したことを検出した場合に、
    通信部を介して接続されているホスト機器とのPTP(Picture Transfer Protocol)接続を停止し、
    前記ホスト機器からのデバイス情報取得要求の受信に応じて、マスストレージクラス(MSC)デバイスであることを示すデバイス情報を応答送信する請求項1に記載の撮像装置。
  9. ドローンの飛行制御と、通信部介して接続されたカメラに対する撮影制御を実行するドローン本体制御装置と、
    前記ドローン本体制御装置からの入力コマンドに応じて画像撮影を実行するカメラを有し、
    前記カメラは、
    予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理を実行し、
    モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行し、
    該モード切り替え処理に併せて、前記ドローン本体制御装置との通信プロトコルを切り替える処理を行うカメラ装着ドローン。
  10. 前記ドローン本体制御装置と前記撮像装置は、
    画像撮影モードでは、PTP(Picture Transfer Protocol)に従った通信、
    画像転送モードでは、マスストレージクラス(MSC)に従った通信を実行する請求項9に記載のカメラ装着ドローン。
  11. 前記カメラ制御部は、
    モード切り替え条件が発生したことを検出した場合に、
    前記ドローン本体制御装置とのPTP(Picture Transfer Protocol)接続を停止し、
    前記ドローン本体制御装置からのデバイス情報取得要求の受信に応じて、マスストレージクラス(MSC)デバイスであることを示すデバイス情報を応答送信する請求項9に記載のカメラ装着ドローン。
  12. 撮像装置において実行するモード制御方法であり、
    前記撮像装置は、
    画像撮影モードと、画像転送モードのモード切り替えを実行する制御部を有し、
    前記制御部が、
    予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理を実行し、
    モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行するモード制御方法。
  13. カメラ装着ドローンにおいて実行するモード制御方法であり、
    前記カメラ装着ドローンは、
    ドローンの飛行制御と、通信部介して接続されたカメラに対する撮影制御を実行するドローン本体制御装置と、
    前記ドローン本体制御装置からの入力コマンドに応じて画像撮影を実行するカメラを有し、
    前記カメラが、
    予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理を実行し、
    モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行し、
    該モード切り替え処理に併せて、前記ドローン本体制御装置との通信プロトコルを切り替える処理を行うモード制御方法。
  14. 撮像装置においてモード制御処理を実行させるプログラムであり、
    前記撮像装置は、
    画像撮影モードと、画像転送モードのモード切り替えを実行する制御部を有し、
    前記プログラムは、前記制御部に、
    予め規定したモード切り替え条件が発生したか否か判定するモード切り替え条件発生有無検証処理と、
    モード切り替え条件が発生したことを検出した場合に、画像撮影モードから、画像転送モードへのモード切り替え処理を実行させるプログラム。
JP2017131674A 2017-07-05 2017-07-05 撮像装置、カメラ装着ドローン、およびモード制御方法、並びにプログラム Active JP7091613B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2017131674A JP7091613B2 (ja) 2017-07-05 2017-07-05 撮像装置、カメラ装着ドローン、およびモード制御方法、並びにプログラム
EP22163015.5A EP4040783A1 (en) 2017-07-05 2018-06-28 Imaging device, camera-equipped drone, and mode control method, and program
EP18743876.7A EP3635950B1 (en) 2017-07-05 2018-06-28 Imaging device, camera-equipped drone, and mode control method, and program
CN201880043291.9A CN110832850B (zh) 2017-07-05 2018-06-28 成像装置、配备相机的无人机以及模式控制方法和程序
KR1020197038592A KR20200023309A (ko) 2017-07-05 2018-06-28 촬상 디바이스, 카메라 장착 드론, 모드 제어 방법, 및 프로그램
PCT/JP2018/024525 WO2019009171A1 (en) 2017-07-05 2018-06-28 IMAGING DEVICE, DRONE EQUIPPED WITH CAMERA, METHOD OF CONTROLLING MODE AND PROGRAM
US16/622,757 US20200180759A1 (en) 2017-07-05 2018-06-28 Imaging device, camera-equipped drone, and mode control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017131674A JP7091613B2 (ja) 2017-07-05 2017-07-05 撮像装置、カメラ装着ドローン、およびモード制御方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2019016869A true JP2019016869A (ja) 2019-01-31
JP2019016869A5 JP2019016869A5 (ja) 2020-07-27
JP7091613B2 JP7091613B2 (ja) 2022-06-28

Family

ID=62986152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017131674A Active JP7091613B2 (ja) 2017-07-05 2017-07-05 撮像装置、カメラ装着ドローン、およびモード制御方法、並びにプログラム

Country Status (6)

Country Link
US (1) US20200180759A1 (ja)
EP (2) EP4040783A1 (ja)
JP (1) JP7091613B2 (ja)
KR (1) KR20200023309A (ja)
CN (1) CN110832850B (ja)
WO (1) WO2019009171A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020203126A1 (ja) 2019-04-02 2020-10-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6810494B1 (ja) * 2020-03-04 2021-01-06 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102465066B1 (ko) * 2017-12-18 2022-11-09 삼성전자주식회사 무인 비행체 및 그의 동작 방법, 그리고 상기 무인 비행체의 이동을 제어하기 위한 무인 운반체
US11074542B2 (en) * 2018-09-27 2021-07-27 Intel Corporation Automated delivery device and method for delivering a package
US11401033B2 (en) * 2019-05-09 2022-08-02 Noa, Inc. Remote sensor data acquisition using autonomous drones
CN113434090B (zh) * 2021-06-30 2023-03-28 同济大学 一种用于高速视频测量的海量数据异步存储方法
JP2023078640A (ja) * 2021-11-26 2023-06-07 トヨタ自動車株式会社 車両撮影システムおよび車両撮影方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169326A (ja) * 1997-08-20 1999-03-09 Hitachi Ltd 通信機能付きビデオカメラ装置
JP2005057790A (ja) * 2004-08-26 2005-03-03 Kyocera Corp デジタル電子カメラ
JP2006222719A (ja) * 2005-02-10 2006-08-24 Canon Inc 画像撮像システム、画像撮像装置及びその通信方法
JP2012199811A (ja) * 2011-03-22 2012-10-18 Panasonic Corp 情報端末装置、送信方法及びプログラム
JP2013105396A (ja) * 2011-11-15 2013-05-30 Buffalo Inc 通信方法、通信機器、ストレージ機器、及び制御プログラム
JP2015106851A (ja) * 2013-11-29 2015-06-08 株式会社ニコン デジタルカメラ
JP2016015537A (ja) * 2014-06-30 2016-01-28 キヤノン株式会社 通信装置、撮像装置、通信装置の制御方法、及びプログラム
WO2017110263A1 (ja) * 2015-12-22 2017-06-29 ソニー株式会社 情報処理装置、撮像装置、情報処理システム、および情報処理方法、並びにプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101194482B (zh) * 2003-08-13 2015-11-25 高通股份有限公司 一种使通信系统中的主机与客户机间读写至少一个寄存器的方法与系统
JP2007148802A (ja) 2005-11-28 2007-06-14 Canon Inc 通信装置、制御方法、及びプログラム
JP2009212743A (ja) * 2008-03-04 2009-09-17 Sony Corp 電子機器、送信方法及びプログラム
US8432456B2 (en) * 2010-06-18 2013-04-30 Apple Inc. Digital camera for sharing digital images
CN106550217A (zh) * 2015-09-21 2017-03-29 天津思博科科技发展有限公司 应用物联网及智能电视终端监控汽车影像的装置
CN106899797A (zh) * 2015-12-21 2017-06-27 深圳市鼎创旭飞科技有限公司 拍摄装置
CN106878687A (zh) * 2017-04-12 2017-06-20 吉林大学 一种基于多传感器的车载环境识别系统及全方位视觉模块

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1169326A (ja) * 1997-08-20 1999-03-09 Hitachi Ltd 通信機能付きビデオカメラ装置
JP2005057790A (ja) * 2004-08-26 2005-03-03 Kyocera Corp デジタル電子カメラ
JP2006222719A (ja) * 2005-02-10 2006-08-24 Canon Inc 画像撮像システム、画像撮像装置及びその通信方法
JP2012199811A (ja) * 2011-03-22 2012-10-18 Panasonic Corp 情報端末装置、送信方法及びプログラム
JP2013105396A (ja) * 2011-11-15 2013-05-30 Buffalo Inc 通信方法、通信機器、ストレージ機器、及び制御プログラム
JP2015106851A (ja) * 2013-11-29 2015-06-08 株式会社ニコン デジタルカメラ
JP2016015537A (ja) * 2014-06-30 2016-01-28 キヤノン株式会社 通信装置、撮像装置、通信装置の制御方法、及びプログラム
WO2017110263A1 (ja) * 2015-12-22 2017-06-29 ソニー株式会社 情報処理装置、撮像装置、情報処理システム、および情報処理方法、並びにプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020203126A1 (ja) 2019-04-02 2020-10-08 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6810494B1 (ja) * 2020-03-04 2021-01-06 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム
JP2021139876A (ja) * 2020-03-04 2021-09-16 株式会社センシンロボティクス 飛行体の管理サーバ及び管理システム

Also Published As

Publication number Publication date
US20200180759A1 (en) 2020-06-11
EP3635950B1 (en) 2022-09-21
WO2019009171A1 (en) 2019-01-10
CN110832850B (zh) 2021-11-09
JP7091613B2 (ja) 2022-06-28
EP4040783A1 (en) 2022-08-10
KR20200023309A (ko) 2020-03-04
EP3635950A1 (en) 2020-04-15
CN110832850A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
JP7091613B2 (ja) 撮像装置、カメラ装着ドローン、およびモード制御方法、並びにプログラム
RU2637838C2 (ru) Способ управления беспилотным летательным аппаратом и устройство для этого
US11575832B2 (en) Imaging device, camera-mounted drone, mode control method, and program
WO2017173734A1 (zh) 调整拍摄角度的方法、装置和无人驾驶飞行器
CN110383810B (zh) 信息处理设备、信息处理方法和信息处理程序
JP6711565B2 (ja) 通信装置、その制御方法、プログラム
JP6281720B2 (ja) 撮像システム
CN108780321B (zh) 用于设备姿态调整的方法、设备、系统和计算机可读存储介质
CN110771137A (zh) 延时拍摄控制方法和设备
JP6098104B2 (ja) 補助撮像装置、及び、プログラム
JP6726649B2 (ja) 飛行装置、管理装置、撮影制御方法、及び撮影制御プログラム
JP6475568B2 (ja) 撮像装置および飛行制御方法
JP2019018664A (ja) 撮像制御システム
CN107079109B (zh) 相机快门控制方法、装置及系统
EP3919374B1 (en) Image capturing method
US20200334192A1 (en) Communication method, device, and system
JP2018174441A (ja) 無人航空機制御システム、情報処理装置、無人航空機、それらの制御方法、及びプログラム
CN111295874B (zh) 长条图像生成系统、方法以及存储介质
JP2017046232A (ja) 通信装置およびその制御方法ならびにプログラム
JP6899473B2 (ja) 飛行装置、撮影制御方法、及び撮影制御プログラム
JP2018129577A (ja) 撮影システム、その制御方法、及びプログラム
JP2018113545A (ja) 操作制御方法、移動撮影装置、コントローラ、及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200605

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210520

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210811

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220411

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220411

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220419

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220530

R151 Written notification of patent or utility model registration

Ref document number: 7091613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151