JP2020036163A - 情報処理装置、撮影制御方法、プログラム及び記録媒体 - Google Patents

情報処理装置、撮影制御方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP2020036163A
JP2020036163A JP2018160605A JP2018160605A JP2020036163A JP 2020036163 A JP2020036163 A JP 2020036163A JP 2018160605 A JP2018160605 A JP 2018160605A JP 2018160605 A JP2018160605 A JP 2018160605A JP 2020036163 A JP2020036163 A JP 2020036163A
Authority
JP
Japan
Prior art keywords
shooting
subject
flight
photographing
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018160605A
Other languages
English (en)
Other versions
JP6940459B2 (ja
Inventor
磊 顧
Lei Gu
磊 顧
思傑 沈
Si Jie Shen
思傑 沈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to JP2018160605A priority Critical patent/JP6940459B2/ja
Priority to CN201980005048.2A priority patent/CN111213107B/zh
Priority to PCT/CN2019/101753 priority patent/WO2020042980A1/zh
Publication of JP2020036163A publication Critical patent/JP2020036163A/ja
Priority to US17/187,019 priority patent/US20210185235A1/en
Application granted granted Critical
Publication of JP6940459B2 publication Critical patent/JP6940459B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10Simultaneous control of position or course in three dimensions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/10Rotorcrafts
    • B64U10/13Flying platforms
    • B64U10/14Flying platforms with four distinct rotor axes, e.g. quadcopters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U10/00Type of UAV
    • B64U10/25Fixed-wing aircraft
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/30UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00UAVs specially adapted for particular uses or applications
    • B64U2101/35UAVs specially adapted for particular uses or applications for science, e.g. meteorology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B64AIRCRAFT; AVIATION; COSMONAUTICS
    • B64UUNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2201/00UAVs characterised by their flight controls
    • B64U2201/20Remote controls

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】移動体により被写体を撮影するための撮影制御情報として、適切な移動経路、撮影位置、撮影方向を容易に設定可能となることが望ましい。【解決手段】情報処理装置の処理部は、被写体の外形形状情報を取得し、外形形状情報に応じた撮影距離に基づいて被写体の側面を撮影するための移動経路を生成し、移動経路上の撮影位置を設定し、撮影位置における撮影方向を、被写体の側面の法線方向に基づいて設定する。【選択図】図11

Description

本開示は、移動体による撮影を制御するための情報処理装置、撮影制御方法、プログラム及び記録媒体に関する。
撮影機器を搭載し、予め設定された飛行経路を飛行しながら撮影を行うプラットフォーム(例えば無人飛行体)が知られている(例えば特許文献1参照)。このプラットフォームは、地上基地から飛行経路や撮影指示等の命令を受け、その命令に従って飛行し、撮影を行って取得画像を地上基地に送る。プラットフォームは、撮影対象を撮影する場合、設定された固定経路を飛行しながら、プラットフォームと撮影対象との位置関係に基づいて、プラットフォームの撮像機器を傾斜して撮像する。
また従来、空中を飛行する無人飛行体(例えばUAV:Unmanned Aerial Vehicle)により撮影された空中写真等の撮像画像に基づいて、建物等の被写体の3次元形状を推定することも知られている。無人飛行体による撮影(例えば空撮)を自動化するために、予め無人飛行体の飛行経路を生成する技術が用いられる。従って、無人飛行体を用いて建物等の被写体の3次元形状を推定するためには、予め生成した飛行経路に従って無人飛行体を飛行させ、無人飛行体が飛行経路中の異なる撮影位置において撮影した被写体の撮像画像を複数取得する必要がある。
特開2010−61216号公報
特許文献1に記載されたプラットフォームでは、固定経路を通りながら撮像するが、固定経路から鉛直方向に位置するオブジェクト(例えば建物)の存在を十分に考慮されていない。そのため、オブジェクトの側面の撮像画像や上空から観察可能なオブジェクトの一部に隠された他の一部の撮像画像を十分に取得することが困難である。
また、特定のオブジェクトの側面を無人飛行体により撮像する場合、無人飛行体が飛行する飛行経路を事前に手動で決定することが考えらえる。オブジェクトの周囲における所望の位置を撮影位置として指定する場合、3次元空間の位置(緯度、経度、高度)をユーザ入力して指定することが考えられる。この場合、各撮影位置をユーザ入力により決定するので、ユーザの利便性が低下する。また、飛行経路の決定のために、事前にオブジェクトの詳細な情報が必要となるので、準備に手間がかかる。更に、飛行経路を決定する際に、オブジェクトの側面の周囲を旋回する固定の飛行経路を設定することが考えられる。この場合、固定の飛行半径、固定の飛行中心によって飛行しながらオブジェクトに向かって撮影を行うと、適切な状態(所望の撮影距離、撮影方向、解像度)の撮像画像を取得できない可能性がある。また、撮影距離を短く設定した場合、オブジェクトの側面に突出した部分があると無人飛行体がオブジェクトに衝突する可能性がある。
一態様において、情報処理装置は、移動体により被写体を撮影するための撮影制御情報を生成する情報処理装置であって、処理部を備え、処理部は、被写体の外形形状情報を取得し、外形形状情報に応じた撮影距離に基づいて被写体の側面を撮影するための移動経路を生成し、移動経路上の撮影位置を設定し、撮影位置における撮影方向を、被写体の側面の法線方向に基づいて設定する。
処理部は、移動経路として、被写体の側面の外形形状に対して所定の撮影距離を有するように離間した外形経路を算出し、外形経路を移動コースとして設定してよい。
処理部は、移動経路として、被写体の外形形状データにおけるポリゴン頂点の内角、又は被写体の外形形状の曲率に応じて撮影距離を算出し、算出した撮影距離を有するように離間した外形経路を算出し、外形経路を移動コースとして設定してよい。
処理部は、移動経路として、被写体の側面に対する所定高度の略水平方向に飛行する飛行コースを生成してよい。
処理部は、移動経路として、被写体の側面に対する所定高度の第1の飛行コースを生成し、所定の垂直撮影間隔を隔てて高度を変更した第2の飛行コースを生成してよい。
処理部は、移動経路を所定の水平撮影間隔を隔てて分割した点を算出し、各点を撮影位置として設定してよい。
処理部は、撮影位置の撮像範囲における被写体の外形形状の法線方向の代表値を算出し、代表値によって撮影方向を設定してよい。
処理部は、被写体の外形形状を所定間隔でサンプリングし、各サンプリング点の撮影位置までの距離に応じて重み付けを行い、所定の基準方向に対する各サンプリング点の法線方向の角度の加重平均値を算出し、加重平均値に基づく方向を撮影方向として設定してよい。
情報処理装置は、通信部を更に備えてよい。処理部は、撮影位置及び撮影方向を含む撮影制御情報を生成し、撮影制御情報を含む飛行制御情報を通信部によって移動体に送信し、被写体の側面の撮影に関する飛行及び撮影を移動体に実行させてよい。
情報処理装置は、通信部を更に備えてよい。処理部は、移動経路として、被写体の側面に対する所定高度の略水平方向に飛行する飛行コースを生成し、所定高度の第1の飛行コースにおいて、撮影位置及び撮影方向を含む撮影制御情報を生成し、第1の飛行コースにおける撮影制御情報を含む飛行制御情報を通信部によって移動体に送信し、第1の飛行コースの飛行及び被写体の側面の撮影を移動体に実行させ、第1の飛行コースに対して所定の垂直撮影間隔を隔てて高度を変更した第2の飛行コースを生成し、第2の飛行コースにおいて、撮影位置及び撮影方向を含む撮影制御情報を生成し、第2の飛行コースにおける撮影制御情報を含む飛行制御情報を通信部によって移動体に送信し、第2の飛行コースの飛行及び被写体の側面の撮影を移動体に実行させてよい。
一態様において、移動体が、飛行体であってよい。
一態様において、撮影制御方法は、移動体により被写体を撮影するための撮影制御情報を生成する情報処理装置における撮影制御方法であって、被写体の外形形状情報を取得するステップと、外形形状情報に応じた撮影距離に基づいて被写体の側面を撮影するための移動経路を生成するステップと、移動経路上の撮影位置を設定するステップと、撮影位置における撮影方向を、被写体の側面の法線方向に基づいて設定するステップと、を有する。
移動経路を生成するステップは、移動経路として、被写体の側面の外形形状に対して所定の撮影距離を有するように離間した外形経路を算出し、外形経路を移動コースとして設定するステップを含んでよい。
移動経路を生成するステップは、移動経路として、被写体の外形形状データにおけるポリゴン頂点の内角、又は被写体の外形形状の曲率に応じて撮影距離を算出し、算出した撮影距離を有するように離間した外形経路を算出し、外形経路を移動コースとして設定するステップを含んでよい。
移動経路を生成するステップは、移動経路として、被写体の側面に対する所定高度の略水平方向に飛行する飛行コースを生成するステップを含んでよい。
移動経路を生成するステップは、移動経路として、被写体の側面に対する所定高度の第1の飛行コースを生成し、所定の垂直撮影間隔を隔てて高度を変更した第2の飛行コースを生成するステップを含んでよい。
撮影位置を設定するステップは、移動経路を所定の水平撮影間隔を隔てて分割した点を算出し、各点を撮影位置として設定するステップを含んでよい。
撮影方向を設定するステップは、撮影位置の撮像範囲における被写体の外形形状の法線方向の代表値を算出し、代表値によって撮影方向を設定するステップを含んでよい。
撮影方向を設定するステップは、被写体の外形形状を所定間隔でサンプリングし、各サンプリング点の撮影位置までの距離に応じて重み付けを行い、所定の基準方向に対する各サンプリング点の法線方向の角度の加重平均値を算出し、加重平均値に基づく方向を撮影方向として設定するステップを含んでよい。
撮影制御方法は、撮影位置及び撮影方向を含む撮影制御情報を生成するステップと、撮影制御情報を含む飛行制御情報を移動体に送信し、被写体の側面の撮影に関する飛行及び撮影を移動体に実行させるステップと、をさらに含んでよい。
撮影制御方法は、移動経路として、被写体の側面に対する所定高度の略水平方向に飛行する飛行コースを生成し、所定高度の第1の飛行コースにおいて、撮影位置及び撮影方向を含む撮影制御情報を生成するステップと、第1の飛行コースにおける撮影制御情報を含む飛行制御情報を移動体に送信し、第1の飛行コースの飛行及び被写体の側面の撮影を移動体に実行させるステップと、第1の飛行コースに対して所定の垂直撮影間隔を隔てて高度を変更した第2の飛行コースを生成し、第2の飛行コースにおいて、撮影位置及び撮影方向を含む撮影制御情報を生成するステップと、第2の飛行コースにおける撮影制御情報を含む飛行制御情報を移動体に送信し、第2の飛行コースの飛行及び被写体の側面の撮影を移動体に実行させるステップと、をさらに含んでよい。
一態様において、プログラムは、移動体により被写体を撮影するための撮影制御情報を生成する情報処理装置に、被写体の外形形状情報を取得するステップと、外形形状情報に応じた撮影距離に基づいて被写体の側面を撮影するための移動経路を生成するステップと、移動経路上の撮影位置を設定するステップと、撮影位置における撮影方向を、被写体の側面の法線方向に基づいて設定するステップと、を実行させるための、プログラムである。
一態様において、記録媒体は、移動体により被写体を撮影するための撮影制御情報を生成する情報処理装置に、被写体の外形形状情報を取得するステップと、外形形状情報に応じた撮影距離に基づいて被写体の側面を撮影するための移動経路を生成するステップと、移動経路上の撮影位置を設定するステップと、撮影位置における撮影方向を、被写体の側面の法線方向に基づいて設定するステップと、を実行させるための、プログラムを記録したコンピュータ読取り可能な記録媒体である。
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
実施形態における飛行体システムの第1構成例を示す模式図 実施形態における飛行体システムの第2構成例を示す模式図 無人航空機の具体的な外観の一例を示す図 無人航空機のハードウェア構成の一例を示すブロック図 端末のハードウェア構成の一例を示すブロック図 無人航空機の飛行経路の一例を説明する図 所定高度の水平面上における飛行コースの設定例の第1例を説明する図 所定高度の水平面上における飛行コースの設定例の第2例を説明する図 所定高度の飛行コース上の撮影位置の設定例を説明する図 飛行コース上の撮影位置における撮影方向の算出例を説明する図 実施形態における撮影制御動作の第1例を示すフローチャート 実施形態における撮影制御動作の第2例を示すフローチャート
以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。
本開示に係る情報処理装置は、移動体の一例としての飛行体と、飛行体の動作又は処理を遠隔で制御するためのプラットフォームとの少なくとも一方に含まれるコンピュータであって、飛行体の動作に係る各種処理を実行するものである。本開示に係る移動体は、飛行体に限定されるものではなく、車両、船舶等の他の移動体を含む。
本開示に係る撮影制御方法は、情報処理装置(プラットフォーム、移動体)における各種の処理(ステップ)が規定されたものである。
本開示に係るプログラムは、情報処理装置(プラットフォーム、移動体)に各種の処理(ステップ)を実行させるためのプログラムである。
本開示に係る記録媒体は、プログラム(つまり、情報処理装置(プラットフォーム、移動体)に各種の処理(ステップ)を実行させるためのプログラム)が記録されたものである。
飛行体は、空中を移動する航空機(例えばドローン、ヘリコプター)を含む。飛行体は、撮像装置を有する無人飛行体(UAV:Unmanned Aerial Vehicle)(無人航空機ともいう)であってもよい。飛行体は、撮像範囲における被写体(例えば一定の範囲内の建物、道路、公園等の地面形状)を撮像するために、あらかじめ設定された移動経路としての飛行経路に沿って飛行し、飛行経路上に設定されている複数の撮影位置において被写体を撮像する。被写体は、例えば建物、道路等のオブジェクトが含まれる。
プラットフォームは、コンピュータであって、例えば飛行体の移動を含む各種処理の遠隔制御を指示するための送信機、或いは送信機又は飛行体と情報やデータの入出力が可能に接続された通信端末である。通信端末は、例えば携帯端末、PCなどであってよい。なお、飛行体自体がプラットフォームとして含まれてよい。
以下の実施形態では、移動体の一例である飛行体として、無人航空機(UAV)を例示する。本明細書に添付する図面では、無人航空機を「UAV」とも表記する。本実施形態では、情報処理装置は、飛行体によってオブジェクトの側面を撮像可能な撮影位置を含む移動経路の一例としての飛行経路を設定する。なお、移動体が車両等の場合、地面や道路等の移動範囲における移動経路を設定する。情報処理装置として、例えば端末を例示するが、他の装置(例えば送信機、サーバ、無人航空機)でもよい。
[飛行体システムの構成例]
図1は、実施形態における飛行体システム10の第1構成例を示す模式図である。飛行体システム10は、無人航空機100及び端末80を備える。無人航空機100及び端末80は、相互に有線通信又は無線通信(例えば無線LAN(Local Area Network))により通信可能である。図1では、端末80がPCであることを例示している。
なお、飛行体システムは、無人航空機、送信機(プロポ)、及び携帯端末を備えた構成であってよい。送信機を備える場合、送信機の前面に配置された左右の制御棒を使って、飛行体システムを使用する人物(以下、「ユーザ」という)は、無人航空機の飛行の制御を指示可能である。また、この場合、無人航空機、送信機、及び携帯端末は、相互に有線通信又は無線通信により通信可能である。
図2は、実施形態における飛行体システム10の第2構成例を示す模式図である。図2では、端末80が携帯端末(例えばスマートフォン、タブレット端末)であることを例示している。図1及び図2のいずれの構成例であっても、端末80が有する機能は同じでよい。
図3は、無人航空機100の具体的な外観の一例を示す図である。図3には、無人航空機100が移動方向STV0に移動する場合の斜視図が示される。
図3に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(x軸参照)が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(y軸参照)が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(z軸参照)が定められる。
無人航空機100は、UAV本体102と、ジンバル200と、撮像部220と、複数の撮像部230とを含む構成である。無人航空機100は、撮像部220,230を備えて移動する移動体の一例である。無人航空機100の移動は、飛行を意味し、少なくとも上昇、降下、左旋回、右旋回、左水平移動、右水平移動の飛行が含まれる。
UAV本体102は、複数の回転翼(プロペラ)を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼を用いて無人航空機100を飛行させる。回転翼の数は、4つに限定されない。また、無人航空機100は、回転翼を有さない固定翼機でもよい。
撮像部220は、所望の撮像範囲に含まれる被写体(例えば、地上の建物)を撮像する撮像用のカメラである。なお被写体は、例えば建物等のオブジェクトとともに、無人航空機100の空撮対象となる上空の様子、山や川等の景色が含まれてよい。
複数の撮像部230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラでよい。2つの撮像部230が、無人航空機100の機首である正面に設けられてよい。更に、他の2つの撮像部230が、無人航空機100の底面に設けられてよい。正面側の2つの撮像部230はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像部230もペアとなり、ステレオカメラとして機能してよい。複数の撮像部230により撮像された画像に基づいて、無人航空機100の周囲の3次元空間データ(3次元形状データ)が生成されてよい。なお、無人航空機100が備える撮像部230の数は4つに限定されない。無人航空機100は、少なくとも1つの撮像部230を備えていればよい。無人航空機100は、無人航空機100の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像部230を備えてよい。撮像部230で設定できる画角は、撮像部220で設定できる画角より広くてよい。撮像部230は、単焦点レンズ又は魚眼レンズを有してよい。
[無人航空機の構成例]
図4は、無人航空機100のハードウェア構成の一例を示すブロック図である。無人航空機100は、UAV制御部110と、通信インタフェース150と、メモリ160と、ストレージ170と、ジンバル200と、回転翼機構210と、撮像部220と、撮像部230と、GPS受信機240と、慣性計測装置(IMU:Inertial Measurement Unit)250と、磁気コンパス260と、気圧高度計270と、超音波センサ280と、レーザー測定器290と、を含む構成である。
UAV制御部110は、プロセッサ、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV制御部110は、無人航空機100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
UAV制御部110は、メモリ160に格納されたプログラムに従って無人航空機100の移動(つまり、飛行)を制御する。UAV制御部110は、通信インタフェース150を介して遠隔の送信機から受信した命令に従って、無人航空機100飛行を制御してよい。
UAV制御部110は、撮像部220及び撮像部230により撮像された被写体の画像データ(以下、「撮像画像」と称する場合がある)を取得する。UAV制御部110は、撮像部220及び撮像部230により空撮を行って撮像画像として空撮画像を取得してよい。
通信インタフェース150は、端末80と通信する。通信インタフェース150は、通信部の一例である。通信インタフェース150は、任意の無線通信方式により無線通信してよい。通信インタフェース150は、任意の有線通信方式により有線通信してよい。通信インタフェース150は、撮像画像や撮像画像に関する付加情報(メタデータ)を、端末80に送信してよい。通信インタフェース150は、端末80から飛行の制御の指示の情報を取得してよい。飛行の制御の指示の情報は、無人航空機100を飛行するための飛行経路、飛行経路を生成するための飛行位置(ウェイポイント(Waypoint))、飛行経路の生成の基となる制御点、等の情報を含んでよい。
メモリ160は、記憶部の一例である。メモリ160は、UAV制御部110がジンバル200、回転翼機構210、撮像部220、撮像部230、GPS受信機240、慣性計測装置250、磁気コンパス260、気圧高度計270、超音波センサ280、及びレーザー測定器290を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSB(Universal Serial Bus)メモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ160は、UAV本体102の内部に設けられてよい。メモリ160は、無人航空機100から取り外し可能であってよい。メモリ160は、撮像部220,230により撮像された撮像画像を記録してよい。メモリ160は、作業用メモリとして動作してよい。
ストレージ170は、記憶部の一例である。ストレージ170は、各種データ、各種情報を蓄積し、保持する。ストレージ170は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、USBメモリ、その他のストレージの少なくとも1つを含んでよい。ストレージ170は、UAV本体102の内部に設けられてよい。ストレージ170は、無人航空機100から取り外し可能であってよい。ストレージ170は、撮像画像を記録してよい。
ジンバル200は、少なくとも1つの軸を中心に撮像部220を回転可能に支持する。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像部220を回転させることで、撮像部220の撮像方向を変更してよい。
回転翼機構210は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。回転翼機構210は、UAV制御部110により回転を制御されることにより、無人航空機100を飛行させる。
撮像部220は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。撮像部220の撮像により得られた画像データ(例えば空撮画像)は、撮像部220が有するメモリ、又はメモリ160或いはストレージ170に格納されてよい。
撮像部230は、無人航空機100の周囲を撮像して撮像画像のデータを生成する。撮像部230の画像データは、メモリ160又はストレージ170に格納されてよい。
GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人航空機100の位置)を算出する。GPS受信機240は、無人航空機100の位置情報をUAV制御部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV制御部110により行われてよい。この場合、UAV制御部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
慣性計測装置250は、無人航空機100の姿勢を検出し、検出結果をUAV制御部110に出力する。慣性計測装置250は、無人航空機100の姿勢として、無人航空機100の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出してよい。
磁気コンパス260は、無人航空機100の機首の方位を検出し、検出結果をUAV制御部110に出力する。
気圧高度計270は、無人航空機100が飛行する高度を検出し、検出結果をUAV制御部110に出力する。
超音波センサ280は、超音波を照射し、地面や物体により反射された超音波を検出し、検出結果をUAV制御部110に出力する。検出結果は、例えば無人航空機100から地面までの距離(つまり、高度)を示してよい。検出結果は、例えば無人航空機100から物体(例えば被写体)までの距離を示してよい。
レーザー測定器290は、物体に向けてレーザー光を照射し、物体で反射された反射光を受光し、反射光により無人航空機100と物体(例えば被写体)との間の距離を測距する。測距結果は、UAV制御部110に入力される。レーザー光による距離の測定方式は、一例として、タイムオブフライト方式でよい。
次に、無人航空機100のUAV制御部110の機能の一例について説明する。
UAV制御部110は、無人航空機100の位置を示す位置情報を取得する。UAV制御部110は、GPS受信機240から、無人航空機100が存在する緯度、経度及び高度を示す位置情報を取得してよい。UAV制御部110は、GPS受信機240から無人航空機100が存在する緯度及び経度を示す緯度経度情報、並びに気圧高度計270から無人航空機100が存在する高度を示す高度情報をそれぞれ位置情報として取得してよい。UAV制御部110は、超音波センサ280による超音波の放射点と超音波の反射点との距離を高度情報として取得してよい。
UAV制御部110は、磁気コンパス260から無人航空機100の向きを示す向き情報を取得してよい。向き情報は、例えば無人航空機100の機首の向きに対応する方位で示されてよい。
UAV制御部110は、設定した飛行経路の途中に存在する撮影位置(ウェイポイントに含まれる)において、撮像部220又は撮像部230により被写体を水平方向、既定角度の方向、又は鉛直方向に撮像を行ってよい。既定角度の方向は、情報処理装置(無人飛行体又はプラットフォーム)が被写体の3次元形状の推定を行う上で適した既定値の角度の方向である。
UAV制御部110は、撮像部220が撮像すべき撮像範囲を撮像する時に無人航空機100が存在すべき位置を示す位置情報を取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報をメモリ160から取得してよい。UAV制御部110は、無人航空機100が存在すべき位置を示す位置情報を、通信インタフェース150を介して他の装置から取得してよい。UAV制御部110は、3次元地図データベースを参照して、撮像すべき撮像範囲を撮像するために、無人航空機100が存在可能な位置を特定して、その位置を無人航空機100が存在すべき位置を示す位置情報として取得してよい。
UAV制御部110は、撮像部220及び撮像部230のそれぞれの撮像範囲を示す撮像範囲情報を取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像部220及び撮像部230の画角を示す画角情報を撮像部220及び撮像部230から取得してよい。UAV制御部110は、撮像範囲を特定するためのパラメータとして、撮像部220及び撮像部230の撮像方向を示す情報を取得してよい。UAV制御部110は、例えば撮像部220の撮像方向を示す情報として、ジンバル200から撮像部220の姿勢の状態を示す姿勢情報を取得してよい。撮像部220の姿勢情報は、例えばジンバル200のピッチ軸及びヨー軸の基準回転角度からの回転角度により示してよい。UAV制御部110は、撮像部220の撮像方向を示す情報として、無人航空機100の向きを示す情報を取得してよい。
UAV制御部110は、撮像範囲を特定するためのパラメータとして、無人航空機100が存在する位置を示す位置情報を取得してよい。UAV制御部110は、撮像部220及び撮像部230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて、撮像部220が撮像する地理的な範囲を示す撮像範囲を画定し、撮像範囲情報を生成することで、撮像範囲情報を取得してよい。
UAV制御部110は、メモリ160から撮像範囲情報を取得してよい。UAV制御部110は、通信インタフェース150を介して撮像範囲情報を取得してよい。
UAV制御部110は、ジンバル200、回転翼機構210、撮像部220及び撮像部230を制御する。UAV制御部110は、撮像部220の撮像方向又は画角を変更することによって、撮像部220の撮像範囲を制御してよい。UAV制御部110は、ジンバル200の回転機構を制御することで、ジンバル200に支持されている撮像部220の撮像範囲を制御してよい。
撮像範囲とは、撮像部220又は撮像部230により撮像される地理的な範囲をいう。撮像範囲は、緯度、経度、及び高度で定義される。撮像範囲は、緯度、経度、及び高度で定義される3次元空間データにおける範囲でよい。撮像範囲は、緯度及び経度で定義される2次元空間データにおける範囲でもよい。撮像範囲は、撮像部220又は撮像部230の画角及び撮像方向、並びに無人航空機100が存在する位置に基づいて特定されてよい。撮像部220及び撮像部230の撮像方向は、撮像部220及び撮像部230の撮像レンズが設けられた正面が向く方位と俯角とから定義されてよい。撮像部220の撮像方向は、無人航空機100の機首の方位と、ジンバル200に対する撮像部220の姿勢の状態とから特定される方向でよい。撮像部230の撮像方向は、無人航空機100の機首の方位と、撮像部230が設けられた位置とから特定される方向でよい。
UAV制御部110は、複数の撮像部230により撮像された複数の画像を解析することで、無人航空機100の周囲の環境を特定してよい。UAV制御部110は、無人航空機100の周囲の環境に基づいて、例えば障害物を回避して飛行を制御してよい。UAV制御部110は、複数の撮像部230により撮像された複数の画像に基づいて無人航空機100の周囲の3次元空間データを生成し、3次元空間データに基づいて飛行を制御してよい。
UAV制御部110は、無人航空機100の周囲に存在するオブジェクトの立体形状(3次元形状)を示す立体情報(3次元情報)を取得してよい。オブジェクトは、例えば、建物、道路、車、木等の風景の一部でよい。立体情報は、例えば、3次元空間データである。UAV制御部110は、複数の撮像部230から得られたそれぞれの画像から、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を生成することで、立体情報を取得してよい。UAV制御部110は、メモリ160又はストレージ170に格納された3次元地図データベースを参照することにより、無人航空機100の周囲に存在するオブジェクトの立体形状を示す立体情報を取得してよい。UAV制御部110は、ネットワーク上に存在するサーバが管理する3次元地図データベースを参照することで、無人航空機100の周囲に存在するオブジェクトの立体形状に関する立体情報を取得してよい。
UAV制御部110は、回転翼機構210を制御することで、無人航空機100の飛行を制御する。つまり、UAV制御部110は、回転翼機構210を制御することにより、無人航空機100の緯度、経度、及び高度を含む位置を制御する。UAV制御部110は、無人航空機100の飛行を制御することにより、撮像部220及び撮像部230の撮像範囲を制御してよい。UAV制御部110は、撮像部220が備えるズームレンズを制御することで、撮像部220の画角を制御してよい。UAV制御部110は、撮像部220のデジタルズーム機能を利用して、デジタルズームにより、撮像部220の画角を制御してよい。
撮像部220が無人航空機100に固定され、撮像部220を動かせない場合、UAV制御部110は、特定の日時に特定の位置に無人航空機100を移動させることにより、所望の環境下で所望の撮像範囲を撮像部220に撮像させてよい。あるいは撮像部220がズーム機能を有さず、撮像部220の画角を変更できない場合でも、UAV制御部110は、特定された日時に、特定の位置に無人航空機100を移動させることで、所望の環境下で所望の撮像範囲を撮像部220に撮像させてよい。
UAV制御部110は、現在の日時を示す日時情報を取得してよい。UAV制御部110は、GPS受信機240から現在の日時を示す日時情報を取得してよい。UAV制御部110は、無人航空機100に搭載されたタイマ(不図示)から現在の日時を示す日時情報を取得してよい。
[端末の構成例]
図5は、端末80のハードウェア構成の一例を示すブロック図である。端末80は、端末制御部81、操作部83、通信部85、メモリ87、表示部88、及びストレージ89を含む構成である。端末80は、無人航空機100の飛行制御の指示を希望するユーザに所持され得る。端末80は、情報処理装置の一例としての機能を有し、端末80の端末制御部81は、情報処理装置の処理部の一例である。
端末制御部81は、プロセッサ、例えばCPU、MPU又はDSPを用いて構成される。端末制御部81は、端末80の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
端末制御部81は、通信部85を介して、無人航空機100からのデータや情報を取得してよい。端末制御部81は、操作部83を介して入力されたデータや情報を取得してもよい。端末制御部81は、メモリ87に保持されたデータや情報を取得してもよい。端末制御部81は、通信部85を介して、無人航空機100へ、データや情報を送信してもよい。端末制御部81は、データや情報を表示部88に送り、このデータや情報に基づく表示情報を表示部88に表示させてもよい。端末制御部81は、データや情報をストレージ89に送り、このデータや情報を格納してよい。端末制御部81は、ストレージ89に格納されたデータや情報を取得してよい。端末制御部81から出力され、表示部88に表示される情報や通信部85により無人航空機100へ送信される情報は、無人航空機100を飛行するための飛行経路、飛行経路を生成するための飛行位置(ウェイポイント)、被写体の撮像を行う撮影位置、飛行経路の生成の基となる制御点、等の情報を含んでよい。
端末制御部81は、無人航空機100の制御を指示するためのアプリケーションを実行してもよい。端末制御部81は、無人航空機100の飛行経路を生成するためのアプリケーションを実行してもよい。端末制御部81は、アプリケーションで用いられる各種のデータを生成してもよい。
操作部83は、端末80のユーザにより入力されるデータや情報を受け付けて取得する。操作部83は、ボタン、キー、タッチスクリーン、マイクロホン、等の入力装置を含んでもよい。ここでは、主に、操作部83と表示部88とがタッチパネルにより構成されることを例示する。この場合、操作部83は、タッチ操作、タップ操作、ドラック操作等を受付可能である。
通信部85は、各種の無線通信方式により、無人航空機100との間で無線通信する。この無線通信の無線通信方式は、例えば、無線LAN、Bluetooth(登録商標)、近距離無線通信、又は公衆無線回線を介した通信を含んでよい。通信部85は、任意の有線通信方式により有線通信してよい。通信部85は、他の装置との間で通信を行ってデータや情報を送受信してよい。
メモリ87は、記憶部の一例である。メモリ87は、例えば端末80の動作を規定するプログラムや設定値のデータが格納されたROMと、端末制御部81の処理時に使用される各種の情報やデータを一時的に保存するRAMを有してもよい。メモリ87は、ROM及びRAM以外のメモリが含まれてよい。メモリ87は、端末80の内部に設けられてよい。メモリ87は、端末80から取り外し可能に設けられてよい。プログラムは、アプリケーションプログラムを含んでよい。
表示部88は、例えばLCD(Liquid Crystal Display)又は有機EL(Electro-Luminescence)ディスプレイを用いて構成され、端末制御部81から出力された各種の情報やデータを表示する。表示部88は、アプリケーションの実行に係る各種データや情報を表示してもよい。表示部88は、無人航空機100の撮像部220,230により撮像された撮像画像のデータを表示してよい。
ストレージ89は、記憶部の一例である。ストレージ89は、各種データ、情報を蓄積し、保持する。ストレージ89は、HDD、SSD、メモリカード、USBメモリ、その他のストレージの少なくとも1つを含んでよい。ストレージ89は、端末80の内部に設けられてよい。ストレージ89は、端末80から取り外し可能であってよい。ストレージ89は、無人航空機100から取得された撮像画像や付加情報を記録してよい。付加情報は、メモリ87に保持されてもよい。
なお、飛行体システム10が送信機(プロポ)を備える場合、端末80が実行する処理は、送信機が実行してもよい。送信機は、端末80と同様の構成部を有するので、詳細な説明については省略する。送信機は、制御部、操作部、通信部、表示部、メモリ、等を有する。飛行体システム10が送信機を有する場合、端末80が設けられなくてもよい。
次に、端末80の端末制御部81が有する機能として、飛行経路の生成に関する機能について説明する。端末制御部81は、オブジェクトの側面を撮像可能な撮影位置を含む飛行経路の生成に関する処理を行うことで、複雑な形状を持つオブジェクトに対応した飛行経路設定を実行可能である。
図6は、無人航空機100の飛行経路の一例を説明する図である。本実施形態では、ビルディングなどの鉛直方向に高さを有するオブジェクトを被写体BLとする場合を想定し、無人航空機100が被写体BLの周囲を旋回して側面を撮像するための飛行経路の設定について例示する。このとき、無人航空機100は、水平方向(鉛直方向の法線方向)に向けて被写体BLの側面を側方から撮像する。端末制御部81は、飛行経路設定に関するパラメータとして、飛行範囲、飛行高度、撮像画像の撮像範囲、撮影解像度などの情報を入力して取得する。端末制御部81は、初期の撮像範囲、高度、位置、撮影距離、撮影位置間隔、撮像部の画角、撮像範囲の重複率などを取得してよい。また、端末制御部81は、被写体BLとなるオブジェクトの形状情報を取得してよい。端末制御部81は、被写体の識別情報を受信して取得してよい。端末制御部81は、特定された被写体の識別情報を基に、通信部を介して外部サーバと通信し、被写体の識別情報に対応する被写体の形状の情報や被写体の大きさの情報を受信して取得してよい。被写体の形状情報は、端末80又はサーバ等の他の装置が保持している3次元地図データベースを利用し、3次元地図データベースの地図情報に含まれる建物、道路などの3次元情報(例えばポリゴンデータ)によって外形形状の3次元形状データを取得してよい。
飛行経路の設定方法の一例として、端末制御部81は、被写体BLの垂直方向の高さに対して、例えば最も高い高度の撮像範囲を撮像する略水平方向に飛行する飛行コースを初期飛行コース(第1の飛行コース)FC1とし、被写体BLの最高高度部分の付近を旋回する初期飛行コースFC1を設定する。飛行コースは、高度(撮影高度)が異なる複数の飛行コースを有してよい。飛行コースは、上空側を始点として飛行経路を進むにつれて高度が下降するように形成されてよい。端末制御部81は、被写体BLの垂直方向において垂直撮影間隔Dvを隔てて垂直撮影間隔Dv毎に高度を変更した次の飛行コース(第2の飛行コース)FCxを設定する。ここで、端末制御部81は、入力パラメータ等により設定された所定の撮影解像度に基づき、被写体BLの垂直方向における垂直撮影間隔Dvを設定してよい。端末制御部81は、無人航空機100の撮像部の垂直画角、撮影解像度等に応じて予め設定された垂直撮影間隔Dvを入力してよい。各飛行コースは、被写体BLの周囲に無人航空機100が水平方向(言い換えると、飛行高度をほぼ変えずに)に旋回して飛行する飛行経路となっている。各飛行コースの高度は、鉛直方向に隣り合う飛行コースの撮影位置での撮像画像に係る撮像範囲が一部重複するよう配置される。このように、無人航空機100の飛行経路として、被写体BLの側面の上から下まで異なる高度の水平の飛行コースFC1,FCx…を設定し、これらの飛行コースに従って無人航空機100を飛行させ、被写体BLの側面を旋回しながら撮像を実行する。なお、無人航空機100の飛行コースは、地面側を始点として飛行経路を進むにつれて高度が上昇するように形成されてよい。飛行コースは、被写体BLの低い高度から飛行開始するなど、初期飛行コースFC1及び他の飛行コースFCxの設定や飛行高度の順序は任意である。
図7は、移動コースの一例としての所定高度の水平面上における飛行コースの設定例の第1例を説明する図である。図7では、所定高度における被写体BLの外形形状の断面を示している。飛行コースの設定方法の第1例として、端末制御部81は、被写体BLの外形形状を取得し、外形形状に対して所定の撮影距離DPを有するように離間した外側経路を算出し、この外側経路を飛行コースFCx1として設定する。ここで、端末制御部81は、入力パラメータ等により設定された所定の撮影解像度に基づき、撮影距離DPを設定してよい。端末制御部81は、予め設定された撮影距離DPを入力してよい。被写体BLの外形形状データは、例えばポリゴンデータを含んでよい。外側経路は、被写体BLの外形形状データに基づき、pair-wise offset法、polygon offsetting by computing winding numbersなどのポリゴンオフセット法(ポリゴンの膨張手法)などにより算出してよい。
図8は、移動コースの一例としての所定高度の水平面上における飛行コースの設定例の第2例を説明する図である。第2例は、第1例の変形例であり、被写体BLの外形形状に応じた好適な撮影距離を有する飛行コースの算出例を示すものである。飛行コースの設定方法の第2例として、端末制御部81は、被写体BLの外形形状を取得し、所定の撮影距離DPを元に外形形状に応じた撮影距離DPaを算出し、この撮影距離DPaを有するように離間した外側経路を算出して飛行コースFCx2として設定する。第2例の飛行コースFCx2は、第1例の飛行コースFCx1と比べて、被写体BLの外形形状が突出した部分において撮影距離が短く設定される。
第2例では、被写体BLの外形形状データにおけるポリゴン頂点の内角θiaに応じて、次式(1)のように撮影距離DPaを算出する。
Figure 2020036163
式(1)において、DPは設定された所定の撮影距離、θiaは被写体BLの外形形状データにおけるポリゴン頂点の内角、*は乗算の演算子を示す。この場合、撮影距離DPaは、内角θiaが120度より小さい場合に、所定の撮影距離DPよりも短くなり、(1/2)DP〜DPの範囲で内角θiaの大きさに応じた値となる。つまり、撮影距離DPaは、外形形状のポリゴン頂点の内角又は曲率が小さい場合に短い値となる。
なお、外形形状データにおけるポリゴン頂点の内角θiaの代わりに、外形形状データにおける曲線の曲率を用いて、曲率に応じて同様に撮影距離を算出してよい。
次に、端末80の端末制御部81が有する機能として、撮影制御情報の生成に関する機能について説明する。端末制御部81は、オブジェクトの側面を撮像するための飛行経路上の撮影位置及び撮影方向を指示する撮影制御情報の生成に関する処理を行うことで、複雑な形状を持つオブジェクトに対応した撮影制御を実行可能である。
図9は、所定高度の飛行コース上の撮影位置の設定例を説明する図である。撮影位置の設定方法の一例として、端末制御部81は、被写体BLの外形形状に対して設定された飛行コースFCxにおいて、水平方向において水平撮影間隔Dhを隔てて水平撮影間隔Dh毎に飛行経路を分割した点を算出し、各点を撮影位置CPとして設定する。ここで、端末制御部81は、入力パラメータ等により設定された所定の撮影解像度に基づき、被写体BLの水平方向における水平撮影間隔Dhを設定してよい。端末制御部81は、無人航空機100の撮像部の水平画角、撮影解像度等に応じて予め設定された水平撮影間隔Dhを入力してよい。端末制御部81は、撮影位置CPの設定に際し、飛行コースFCxにおける初期の撮影位置CP(最初の撮影位置CP)を1点定めて配置し、初期の撮影位置CPを基点として水平撮影間隔Dh毎に、飛行コースFCx上に順に等間隔に撮影位置CPを配置してよい。1つの飛行コースにおいて、最初の撮影位置と最後の撮影位置については、水平撮影間隔Dhより短い距離であってよい。水平撮影間隔Dhは、被写体BLの外形形状に応じて異なる値を設定するなど、可変の値としてよい。
撮影位置間隔は、空間的な撮影間隔であり、飛行経路において無人航空機100が画像を撮像すべき複数の撮像位置のうち、隣り合う撮像位置の間の距離である。端末制御部81は、飛行経路上に、撮像部220又は230により撮像する撮影位置を配置する。それぞれの撮影位置は、飛行コースにおいて隣り合う撮影位置での撮像画像に係る撮像範囲が一部重複するよう配置される。複数の撮像画像を用いた3次元形状の推定を可能とするためである。撮像部220又は230は所定の画角を有するので、撮影位置間隔を短くすることで、双方の撮像範囲の一部が重複する。
図10は、飛行コース上の撮影位置における撮影方向の算出例を説明する図である。端末制御部81は、設定した各撮影位置CPにおいて、撮像範囲における被写体BLの外形形状の側面の法線方向に基づいて適切な撮影方向DIRを算出して設定する。撮影方向DIRの算出方法の一例を以下に示す。まず、撮影位置CPを含む水平面において撮像範囲にある被写体BLの外形形状BLSについて、撮影位置CPからの視線の遮断を考慮し、所定間隔でサンプリングする。サンプリング点の数、位置、間隔等については、撮影位置CPにおける撮影距離、被写体BLの外形形状BLS等に応じて適宜設定してよい。図10の例ではサンプリング点が6個であり、各サンプリング点をPS1,PS2,…PS6で示している。そして、各サンプリング点PS1〜PS6における法線ベクトルh1〜h6を取得し、所定の基準方向(例えば北)を0としたときの角度θ1〜θ6(θnで代表する)を算出する。次に、各サンプリング点PS1〜PS6において、次式(2)によって重みw1〜w6(wnで代表する)を算出する。
Figure 2020036163
式(2)において、dn,dmは各サンプリング点PS1〜PS6の撮影位置CPとの距離を示し、e−dnは各サンプリング点から撮影位置CPまでの距離の負の指数関数、Σe−dmは全サンプリング点PS1〜PS6の撮影位置CPまでの距離の負の指数関数の総和を示す。この場合、それぞれのサンプリング点について、距離が短いほど重みwnが大きくなり、重要度が高いものとなる。
次に、撮影位置CPに対する被写体BLの向きを示す被写体方向DIRsubを次式(3)によって算出する。
Figure 2020036163
式(3)において、wnは上記式(2)で求めた各サンプリング点の重み、eiθnは各サンプリング点の法線ベクトルの角度θnの複素指数関数、Mはサンプリング点の総数(図10の例では6)を示す。この場合、被写体方向DIRsubは、被写体BLの外形形状BLSの各サンプリング点PSnについて、基準方向に対する法線ベクトルの角度θnの加重平均を求めた値に相当する。すなわち、各サンプリング点の法線ベクトルの角度の加重平均は、各サンプリング点から撮影位置CPに向かう角度の代表値となる。
そして、撮影位置CPにおける撮影方向DIRを次式(4)によって算出する。撮影方向は、被写体方向DIRsubと逆方向で被写体BLの側面に対向する方向となる。
Figure 2020036163
式(4)により、式(3)で求めた被写体方向DIRsubを180度反転させた反対方向を算出することによって、撮影位置CPから被写体BLを撮影する際の適切な方向の一つである撮影方向DIRを得ることができる。
上記の撮影方向の算出方法の一例は、水平面上の撮影方向の算出例を示したものであり、飛行コース、撮影位置、撮影距離、被写体の外形形状等に応じて、他のパラメータを考慮して適宜算出してよい。また、垂直方向の撮影方向については、水平面に一致する方向に設定するものに限定されず、上または下に所定の角度傾けた撮影方向を設定するなど、適宜設定してよい。
端末制御部81は、生成された飛行経路に従って、無人航空機100の飛行を制御してよい。端末制御部81は、生成された飛行経路を含む飛行制御情報を無人航空機100に送信し、飛行経路に従って無人航空機100を飛行させてよい。端末制御部81又は無人航空機100のUAV制御部110は、飛行経路の途中に存在する撮影位置において、撮像部220又は撮像部230により被写体を撮像させてよい。無人航空機100は、被写体の側方を周回して、飛行経路に従って飛行してよい。従って、撮像部220,230は、飛行経路における撮影位置において、被写体の側面を撮像してよい。撮像部220,230により撮像された撮像画像は、無人航空機100のメモリ160又は端末80のメモリ87に保持されてよい。
[撮影制御動作の具体例]
次に、端末80による撮影制御の動作の具体例について説明する。以下の動作例では、上述した図6〜図10の飛行経路及び撮影制御情報の生成方法の例に対応する処理動作を示す。本例では、情報処理装置の処理部の一例としての端末80の端末制御部81が主体的に処理を実行するものとする。
図11は、実施形態における撮影制御動作の第1例を示すフローチャートである。端末80の端末制御部81は、飛行パラメータとして、被写体BLの撮像のための全体の飛行範囲、高度、位置等を含む情報を入力して取得する(S11)。端末制御部81は、取得対象の撮像画像の撮像範囲、撮影解像度等の情報から、全体の飛行範囲、高度、位置を算出して取得してよい。飛行パラメータは、ユーザの入力操作によって端末80に入力してよいし、ネットワーク上に存在するサーバ等から必要な情報を受信して取得してよい。
端末制御部81は、撮影解像度の情報を取得し、飛行パラメータによる飛行において撮影に必要な撮影位置の間隔(前後方向(水平撮影間隔Dh)及び上下方向(垂直撮影間隔Dv))を算出する(S12)。そして、端末制御部81は、初期飛行コースの高度、飛行範囲を取得する(S13)。本動作例では、初期飛行コースの高度は、被写体BL撮影用の全体の飛行範囲に基づき、被写体BLの高さの上端付近に設定される。初期飛行コースの高度(初期高度)は、ユーザの入力操作によって端末制御部81に指示してよいし、所定の設定値を取得してよいし、或いは飛行パラメータ、被写体BLの外形形状等から適宜決定してよい。初期飛行コースの飛行範囲(初期飛行範囲)は、初期飛行コースの高度と被写体BLの外形形状に基づき、適宜算出して取得してよい。
そして、端末制御部81は、撮影対象の形状として、被写体BLの外形形状の形状データを取得する(S14)。被写体BLの外形形状は、例えばオブジェクトの設計図等の設計データから取得してよいし、予めオブジェクトの側面を大まかに撮像した撮像画像から外形の形状推定を行って形状データを取得してよい。撮像画像は、側方の撮像画像とともに、オブジェクトを鉛直方向下向きに詳細撮像を行った下方の撮像画像を含んでよい。被写体BLを上空から下方に撮影した撮像画像から被写体BLの水平面上の外形形状を取得してよい。
次に、端末制御部81は、取得した被写体BLの外形形状に基づき、初期飛行コースの高度における対象外周の飛行コース(外側経路、初期飛行コースFC1)を算出する(S15)。端末制御部81は、飛行コースとして、上述した第1例の飛行コースFCx1、或いは第2例の飛行コースFCx2等を算出してよい。
そして、端末制御部81は、前後方向の撮影間隔(水平撮影間隔Dh)に基づき、飛行経路を分割して撮影位置CPを算出する(S16)。次に、端末制御部81は、各撮影位置CPにおいて、被写体BLの外形形状に応じた適切な撮影方向DIRを算出する(S17)。端末制御部81は、上述した式(2)〜式(4)によって撮影方向DIRを算出してよい。
次に、端末制御部81は、上下方向の撮影間隔(垂直撮影間隔Dv)に基づき、次の飛行コースの高度を算出し、次の飛行コースの飛行範囲を設定する(S18)。そして、端末制御部81は、次の飛行コースの高度が所定の終了高度以下となるかどうかを判定する(S19)。終了高度は、被写体BL撮影用の全体の飛行範囲に基づき、被写体BLの高さの下端付近に設定される。
端末制御部81は、次の飛行コースの高度が終了高度より高い場合(S19、NO)、次の飛行コースの高度における対象外周の飛行コース(外側経路、飛行コースFCx)を算出する(S15)。以下同様にして、次の飛行コースFCxにおける撮影位置CPを算出し(S16)、各撮影位置CPにおける撮影方向DIRを算出する(S17)。そして、端末制御部81は、さらに次の飛行コースの高度を算出し、次の飛行コースの飛行範囲を設定する(S18)。このステップS15〜S19の処理を次の飛行コースの高度が終了高度以下となるまで繰り返し実行する。なお、それぞれの飛行コース毎に飛行高度付近の被写体BLの外形形状を取得し、次の飛行コースの算出、及び飛行コース上の撮影位置、撮影方向の算出を行ってよい。
端末制御部81は、次の飛行コースの高度が終了高度以下となった場合(S19、YES)、飛行経路を終端とし、飛行終了に設定する(S20)。そして、端末制御部81は、飛行経路及び撮影制御情報の生成に係る撮影制御動作の処理を終了する。
端末制御部81は、生成した飛行コースFC1,FCx、撮影位置CP、撮影方向DIRを含む飛行経路及び撮影制御情報を、通信部85によって飛行制御情報として無人航空機100に送信し、無人航空機100によって飛行及び撮影を実行させる。無人航空機100は、飛行制御情報に従って飛行コースFC1,FCxの飛行を実行し、各撮影位置CPにて設定した撮影方向DIRで被写体BLを撮影する。
上記第1例では、端末制御部81は、無人航空機100による撮影前に、飛行コース、撮影位置及び撮影方向を設定して撮影制御情報を生成し、撮影制御情報を含む飛行制御情報を無人航空機100に伝送する。そして、無人航空機100は、飛行制御情報に従って各飛行コースを飛行して撮影を実行する。これにより、予め全ての高度における適切な飛行経路、撮影位置及び撮影方向を設定して撮影を実行できる。
図12は、実施形態における撮影制御動作の第2例を示すフローチャートである。第2例は第1例の変形例であり、所定高度の飛行コース毎に飛行して撮影を実行しながら、次の飛行コースの算出、及び飛行コース上の撮影位置、撮影方向の算出を行う動作例である。
第1例と同様に、端末80の端末制御部81は、飛行パラメータとして、被写体BLの撮像のための全体の飛行範囲、高度、位置等を含む情報を入力して取得する(S31)。端末制御部81は、取得対象の撮像画像の撮像範囲、撮影解像度等の情報から、全体の飛行範囲、高度、位置を算出して取得してよい。飛行パラメータは、ユーザの入力操作によって端末80に入力してよいし、ネットワーク上に存在するサーバ等から必要な情報を受信して取得してよい。
端末制御部81は、撮影解像度の情報を取得し、飛行パラメータによる飛行において撮影に必要な撮影位置の間隔(前後方向(水平撮影間隔Dh)及び上下方向(垂直撮影間隔Dv))を算出する(S32)。そして、端末制御部81は、初期飛行コースの高度、飛行範囲を取得する(S33)。本動作例では、初期飛行コースの高度は、被写体BL撮影用の全体の飛行範囲に基づき、被写体BLの高さの上端付近に設定される。初期飛行コースの高度(初期高度)は、ユーザの入力操作によって端末制御部81に指示してよいし、所定の設定値を取得してよいし、或いは飛行パラメータ、被写体BLの外形形状等から適宜決定してよい。初期飛行コースの飛行範囲(初期飛行範囲)は、初期飛行コースの高度と被写体BLの外形形状に基づき、適宜算出して取得してよい。
そして、端末制御部81は、撮影対象の形状として、被写体BLの外形形状の形状データを取得する(S34)。被写体BLの外形形状は、例えばオブジェクトの設計図等の設計データから取得してよいし、予めオブジェクトの側面を大まかに撮像した撮像画像から外形の形状推定を行って形状データを取得してよい。
次に、端末制御部81は、取得した被写体BLの外形形状に基づき、初期飛行コースの高度における対象外周の飛行コース(外側経路、初期飛行コースFC1)を算出する(S35)。端末制御部81は、飛行コースとして、上述した第1例の飛行コースFCx1、或いは第2例の飛行コースFCx2等を算出してよい。
そして、端末制御部81は、前後方向の撮影間隔(水平撮影間隔Dh)に基づき、飛行経路を分割して撮影位置CPを算出する(S36)。次に、端末制御部81は、各撮影位置CPにおいて、被写体BLの外形形状に応じた適切な撮影方向DIRを算出する(S37)。端末制御部81は、上述した式(2)〜式(4)によって撮影方向DIRを算出してよい。
そして、端末制御部81は、算出した飛行コース(初期飛行コースFC1)、撮影位置CP、撮影方向DIRを含む飛行制御情報を無人航空機100に送信し、無人航空機100によって初期飛行コースFC1の飛行を実行させ、各撮影位置CPにて設定した撮影方向DIRで撮影を実行させる(S38)。無人航空機100は、飛行制御情報に従って飛行コースFC1の飛行を実行し、各撮影位置CPにて設定した撮影方向DIRで被写体BLを撮影する。
次に、端末制御部81は、上下方向の撮影間隔(垂直撮影間隔Dv)に基づき、次の飛行コースの高度を算出し、次の飛行コースの飛行範囲を設定する(S39)。そして、端末制御部81は、次の飛行コースの高度が所定の終了高度以下となるかどうかを判定する(S40)。終了高度は、被写体BL撮影用の全体の飛行範囲に基づき、被写体BLの高さの下端付近に設定される。
端末制御部81は、次の飛行コースの高度が終了高度より高い場合(S40、NO)、次の飛行コースの高度における飛行高度付近の被写体BLの外形形状を取得する(S34)。そして、端末制御部81は、取得した被写体BLの外形形状に基づき、次の飛行コースの高度における対象外周の飛行コース(外側経路、飛行コースFCx)を算出する(S35)。以下同様にして、次の飛行コースFCxにおける撮影位置CPを算出し(S36)、各撮影位置CPにおける撮影方向DIRを算出する(S37)。
端末制御部81は、以前の飛行コースの撮影によって取得した被写体の情報の一例としての複数の撮像画像に基づき、飛行コースFCx、撮影位置CP、撮影方向DIRを算出してよい。端末制御部81は、被写体BLの外形形状の形状データ等に基づき、飛行コースFCx、撮影位置CP、撮影方向DIRを算出してよい。次の飛行高度における飛行コースを算出して設定する方法は、無人航空機100の空撮により得られた複数の撮像画像を用いる方法に限定されない。例えば、無人航空機100が備える赤外線測距計(不図示)からの赤外線又はレーザー測定器290からのレーザー光とGPSの位置情報とを被写体の情報の一例として用いて、次の飛行高度における飛行コースを算出して設定してよい。なお、端末制御部81は、それぞれの飛行コース毎に飛行高度付近の被写体BLの外形形状を取得する代わりに、初期に取得した被写体BLの外形形状情報を用いて、それぞれの飛行コースの算出、及び飛行コース上の撮影位置、撮影方向の算出を行ってよい。
端末制御部81は、生成した次の飛行コースFCx、撮影位置CP、撮影方向DIRを含む飛行経路及び撮影制御情報を、通信部85によって飛行制御情報として無人航空機100に送信し、無人航空機100によって次の飛行コースFCxの飛行を実行させ、各撮影位置CPにて設定した撮影方向DIRで撮影を実行させる(S38)。無人航空機100は、飛行制御情報に従って飛行コースFCxの飛行を実行し、各撮影位置CPにて設定した撮影方向DIRで被写体BLを撮影する。そして、端末制御部81は、さらに次の飛行コースの高度を算出し、次の飛行コースの飛行範囲を設定する(S39)。このステップS35〜S40の処理を次の飛行コースの高度が終了高度以下となるまで繰り返し実行する。
端末制御部81は、次の飛行コースの高度が終了高度以下となった場合(S40、YES)、飛行経路を終端とし、飛行終了に設定する(S41)。そして、端末制御部81は、飛行終了の飛行制御情報を通信部85によって無人航空機100に送信し、無人航空機100の飛行を終了させ、撮影制御動作の処理を終了する。
上記第2例では、端末制御部81は、所定高度における飛行コース毎に、飛行コース、撮影位置及び撮影方向を設定して撮影制御情報を生成し、撮影制御情報を含む飛行制御情報を無人航空機100に伝送する。無人航空機100は、飛行制御情報に従って該当する高度の飛行コースを飛行して撮影を実行しながら、端末制御部81は、次の高度の飛行コース、撮影位置及び撮影方向を設定して撮影制御情報を生成する。これにより、それぞれの高度における飛行コース毎に、適切な飛行経路、撮影位置及び撮影方向を設定して撮影を実行できる。例えば、被写体が不規則な形状の建物である場合などに、被写体の中心位置又は外形形状が高度によって多様に変化する場合があり得る。このような場合であっても、逐次的に被写体の外形形状に応じた飛行コースを設定し、撮影を実行することで、最適な撮影位置、撮影方向での被写体側面の撮影を実行できる。
なお、上述した第1例又は第2例における飛行コース、撮影位置、撮影方向の算出及び設定は、無人航空機100のUAV制御部110において行ってよい。端末80、無人航空機100、或いはその他の情報処理装置を有する機器において、本開示に係る撮影制御動作を実行してよい。
端末制御部81は、上述した第1例又は第2例の撮影制御動作によって被写体BLの側面をそれぞれの飛行高度の飛行コースにおいて撮影した複数の撮像画像を取得し、これらの撮像画像に基づいて被写体BLの3次元形状を推定してよい。端末制御部81は、複数の撮像画像に基づいて、オブジェクト(被写体)の立体形状(3次元形状)を示す立体情報(3次元情報、3次元形状データ)を生成してよい。撮像画像は、3次元形状データを復元するための1つの画像として用いられてよい。3次元形状データを復元するための撮像画像は、静止画像でよい。複数の撮像画像に基づく3次元形状データの生成手法としては、公知の方法を用いてよい。公知の方法として、例えば、MVS(Multi View Stereo)、PMVS(Patch-based MVS)、SfM(Structure from Motion)が挙げられる。被写体BLの3次元形状推定に係る処理は、全ての飛行コースにおける撮影が終了してから行ってよいし、複数の飛行コースにおける撮影毎に行ってよいし、各飛行コースにおける撮影毎に行ってよい。被写体BLの3次元形状推定に係る処理は、端末80、無人航空機100、或いはその他の情報処理装置を有する機器において行ってよい。
上記構成例では、端末制御部81は、被写体BLの外形形状情報を取得し、外形形状情報に応じた撮影距離DP,DPaに基づいて被写体BLの側面を撮影するための移動経路としての飛行コースFCxを生成する。端末制御部81は、飛行コースFCx上の撮影位置CPを設定し、撮影位置CPにおける撮影方向DIRを、被写体の側面の法線方向に基づいて設定する。これにより、被写体の側面を撮影するための適切な飛行経路、撮影位置、撮影方向を算出して設定できる。換言すれば、オブジェクトの被写体を側方から見た状態での詳細撮像が可能な撮像位置、撮影方向を設定できる。被写体として複雑な形状の建物等を撮影する場合であっても、被写体側面の詳細な撮像画像を得るための適切な飛行経路、撮影位置、撮影方向を容易に設定できる。したがって、高精度の3次元形状推定を行うために必要な適切な撮影距離、撮影方向、画質、解像度による撮像画像を取得できる。また、ユーザによるコース設定、撮影情報の指示などの入力操作を省くことができ、飛行経路及び撮影制御情報の設定動作を自動化でき、容易に適切な飛行経路、撮影位置、撮影方向を設定できる。また、撮影距離を短く設定した場合に、飛行体がオブジェクトへ衝突することを回避できる。
端末制御部81は、被写体BLの側面の外形形状に対して所定の撮影距離DPを有するように離間した外形経路を算出し、外形経路を移動コース(飛行コースFCx)として設定してよい。これにより、被写体の外形形状に応じた適切な飛行経路を容易に算出して設定できる。端末制御部81は、被写体BLの外形形状データにおけるポリゴン頂点の内角、又は外形形状の曲率に応じて撮影距離DPaを算出し、算出した撮影距離DPaを有するように離間した外形経路を算出し、外形経路を移動コース(飛行コースFCx)として設定してよい。これにより、被写体の外形形状に応じた適切な飛行経路を容易に算出して設定できる。また、外形形状データのポリゴン頂点の内角又は外形形状の曲率が小さい場合、つまり外形形状に突出した部分がある場合は、撮影距離を短くして適切な飛行経路を設定できる。この場合、撮影位置から見た被写体の側面の角度が小さくなり過ぎることを回避でき、斜め方向に浅い角度で撮影されることを削減でき、陰になる部分や視線の遮断部分を削減でき、できる限り正面方向に近い向きで撮影可能となる。したがって、高精度の3次元形状推定を行うために必要な適切な情報量を有する撮像画像を取得できる。
端末制御部81は、飛行経路として、被写体BLの側面に対する所定高度の略水平方向に飛行する飛行コースを生成してよい。例えば、初期高度を飛行する初期飛行コースFC1を設定し、次に所定高度降下又は上昇した高度における次の飛行コースFCxを設定してよい。端末制御部81は、飛行経路として、被写体の側面に対する所定高度の第1の飛行コースを生成し、所定の垂直撮影間隔を隔てて高度を変更した第2の飛行コースを生成してよい。例えば、初期高度を飛行する初期飛行コースFC1を設定し、次に所定の垂直撮影間隔Dvを隔てて降下又は上昇した高度における次の飛行コースFCxを設定してよい。
端末制御部81は、飛行経路としての飛行コースFCxを所定の水平撮影間隔Dhを隔てて分割した点を算出し、各点を撮影位置CPとして設定してよい。端末制御部81は、撮影位置CPの撮像範囲における被写体BLの外形形状の法線方向の代表値を算出し、代表値によって撮影方向DIRを設定してよい。端末制御部81は、被写体BLの外形形状を所定間隔でサンプリングし、各サンプリング点の撮影位置CPまでの距離に応じて重み付けを行い、所定の基準方向に対する各サンプリング点の法線方向の角度の加重平均値を算出し、加重平均値に基づく方向を撮影方向DIRとして設定してよい。これにより、各撮影位置における、被写体の外形形状の方向及び位置関係に応じて、適切な撮影方向を算出して設定できる。したがって、被写体の側面を撮影する際に陰になる部分や視線の遮断部分を削減でき、できる限り正面方向に近い向きで撮影可能となり、高精度の3次元形状推定を行うために必要な適切な情報量を有する撮像画像を取得できる。
端末制御部81は、撮影位置CP及び撮影方向DIRを含む撮影制御情報を生成し、撮影制御情報を含む飛行制御情報を通信部85によって飛行体に送信し、被写体の側面の撮影に関する飛行及び撮影を飛行体に実行させてよい。これにより、設定した飛行経路及び撮影制御情報に従って飛行体を制御し、被写体の側部の周囲を飛行させ、被写体の側面の撮影を適切に実行できる。このため、被写体の側面撮影のための飛行経路及び撮影制御情報の設定と、撮影時の飛行及び撮影動作を自動化でき、容易に適切な撮像画像を取得できる。
端末制御部81は、飛行経路として、被写体の側面に対する所定高度の略水平方向に飛行する飛行コースを生成し、所定高度の第1の飛行コース(例えば初期飛行コースFC1)において、撮影位置CP及び撮影方向DIRを含む撮影制御情報を生成し、第1の飛行コースにおける撮影制御情報を含む飛行制御情報を通信部85によって飛行体に送信し、第1の飛行コースの飛行及び被写体の側面の撮影を飛行体に実行させ、第1の飛行コースに対して所定の垂直撮影間隔を隔てて高度を変更した第2の飛行コース(例えば次の飛行コースFCx)を生成し、第2の飛行コースにおいて、撮影位置CP及び撮影方向DIRを含む撮影制御情報を生成し、第2の飛行コースにおける撮影制御情報を含む飛行制御情報を通信部85によって飛行体に送信し、第2の飛行コースの飛行及び被写体の側面の撮影を飛行体に実行させてよい。これにより、所定高度において略水平方向に飛行する飛行コースを生成して飛行体を飛行させ、飛行コース毎に被写体の側面の撮影を行いながら、次の飛行コースの設定と撮影位置及び撮影方向の設定を実行できる。このため、被写体の側面撮影のための飛行経路及び撮影制御情報の設定と、撮影時の飛行及び撮影動作を自動化でき、容易に適切な撮像画像を取得できる。
なお、上記実施形態において、撮影制御方法におけるステップを実行する情報処理装置は、端末80に有する例を示したが、無人航空機100又は他のプラットフォーム(PC、サーバ装置等)において情報処理装置を有し、撮影制御方法におけるステップを実行してよい。
以上、本開示について実施形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 飛行体システム
80 端末
81 端末制御部
83 操作部
85 通信部
87 メモリ
88 表示部
89 ストレージ
100 無人航空機
110 UAV制御部
150 通信インタフェース
160 メモリ
170 ストレージ
200 ジンバル
210 回転翼機構
220,230 撮像部
240 GPS受信機
250 慣性計測装置
260 磁気コンパス
270 気圧高度計
280 超音波センサ
290 レーザー測定器

Claims (23)

  1. 移動体により被写体を撮影するための撮影制御情報を生成する情報処理装置であって、
    処理部を備え、
    前記処理部は、
    前記被写体の外形形状情報を取得し、
    前記外形形状情報に応じた撮影距離に基づいて前記被写体の側面を撮影するための移動経路を生成し、
    前記移動経路上の撮影位置を設定し、
    前記撮影位置における撮影方向を、前記被写体の側面の法線方向に基づいて設定する、
    情報処理装置。
  2. 前記処理部は、
    前記移動経路として、前記被写体の側面の外形形状に対して所定の撮影距離を有するように離間した外形経路を算出し、前記外形経路を移動コースとして設定する、
    請求項1に記載の情報処理装置。
  3. 前記処理部は、
    前記移動経路として、前記被写体の外形形状データにおけるポリゴン頂点の内角、又は前記被写体の外形形状の曲率に応じて撮影距離を算出し、前記算出した撮影距離を有するように離間した外形経路を算出し、前記外形経路を移動コースとして設定する、
    請求項1又は2に記載の情報処理装置。
  4. 前記処理部は、
    前記移動経路として、前記被写体の側面に対する所定高度の略水平方向に飛行する飛行コースを生成する、
    請求項1から3のいずれか一項に記載の情報処理装置。
  5. 前記処理部は、
    前記移動経路として、前記被写体の側面に対する所定高度の第1の飛行コースを生成し、所定の垂直撮影間隔を隔てて高度を変更した第2の飛行コースを生成する、
    請求項4に記載の情報処理装置。
  6. 前記処理部は、
    前記移動経路を所定の水平撮影間隔を隔てて分割した点を算出し、各点を前記撮影位置として設定する、
    請求項1から5のいずれか一項に記載の情報処理装置。
  7. 前記処理部は、
    前記撮影位置の撮像範囲における前記被写体の外形形状の法線方向の代表値を算出し、前記代表値によって前記撮影方向を設定する、
    請求項1から6のいずれか一項に記載の情報処理装置。
  8. 前記処理部は、
    前記被写体の外形形状を所定間隔でサンプリングし、各サンプリング点の前記撮影位置までの距離に応じて重み付けを行い、所定の基準方向に対する各サンプリング点の法線方向の角度の加重平均値を算出し、前記加重平均値に基づく方向を前記撮影方向として設定する、
    請求項7に記載の情報処理装置。
  9. 通信部を更に備え、
    前記処理部は、
    前記撮影位置及び前記撮影方向を含む撮影制御情報を生成し、前記撮影制御情報を含む飛行制御情報を前記通信部によって前記移動体に送信し、前記被写体の側面の撮影に関する飛行及び撮影を前記移動体に実行させる、
    請求項1から8のいずれか一項に記載の情報処理装置。
  10. 通信部を更に備え、
    前記処理部は、
    前記移動経路として、前記被写体の側面に対する所定高度の略水平方向に飛行する飛行コースを生成し、所定高度の第1の飛行コースにおいて、前記撮影位置及び前記撮影方向を含む撮影制御情報を生成し、
    前記第1の飛行コースにおける撮影制御情報を含む飛行制御情報を前記通信部によって前記移動体に送信し、前記第1の飛行コースの飛行及び前記被写体の側面の撮影を前記移動体に実行させ、
    前記第1の飛行コースに対して所定の垂直撮影間隔を隔てて高度を変更した第2の飛行コースを生成し、前記第2の飛行コースにおいて、前記撮影位置及び前記撮影方向を含む撮影制御情報を生成し、
    前記第2の飛行コースにおける撮影制御情報を含む飛行制御情報を前記通信部によって前記移動体に送信し、前記第2の飛行コースの飛行及び前記被写体の側面の撮影を前記移動体に実行させる、
    請求項1から8のいずれか一項に記載の情報処理装置。
  11. 前記移動体が、飛行体である、
    請求項1から10のいずれか一項に記載の情報処理装置。
  12. 移動体により被写体を撮影するための撮影制御情報を生成する情報処理装置における撮影制御方法であって、
    前記被写体の外形形状情報を取得するステップと、
    前記外形形状情報に応じた撮影距離に基づいて前記被写体の側面を撮影するための移動経路を生成するステップと、
    前記移動経路上の撮影位置を設定するステップと、
    前記撮影位置における撮影方向を、前記被写体の側面の法線方向に基づいて設定するステップと、
    を有する撮影制御方法。
  13. 前記移動経路を生成するステップは、
    前記移動経路として、前記被写体の側面の外形形状に対して所定の撮影距離を有するように離間した外形経路を算出し、前記外形経路を移動コースとして設定するステップを含む、
    請求項12に記載の撮影制御方法。
  14. 前記移動経路を生成するステップは、
    前記移動経路として、前記被写体の外形形状データにおけるポリゴン頂点の内角、又は前記被写体の外形形状の曲率に応じて撮影距離を算出し、前記算出した撮影距離を有するように離間した外形経路を算出し、前記外形経路を移動コースとして設定するステップを含む、
    請求項12又は13に記載の撮影制御方法。
  15. 前記移動経路を生成するステップは、
    前記移動経路として、前記被写体の側面に対する所定高度の略水平方向に飛行する飛行コースを生成するステップを含む、
    請求項12から14のいずれか一項に記載の撮影制御方法。
  16. 前記移動経路を生成するステップは、
    前記移動経路として、前記被写体の側面に対する所定高度の第1の飛行コースを生成し、所定の垂直撮影間隔を隔てて高度を変更した第2の飛行コースを生成するステップを含む、
    請求項15に記載の撮影制御方法。
  17. 前記撮影位置を設定するステップは、
    前記移動経路を所定の水平撮影間隔を隔てて分割した点を算出し、各点を前記撮影位置として設定するステップを含む、
    請求項12から16のいずれか一項に記載の撮影制御方法。
  18. 前記撮影方向を設定するステップは、
    前記撮影位置の撮像範囲における前記被写体の外形形状の法線方向の代表値を算出し、前記代表値によって前記撮影方向を設定するステップを含む、
    請求項12から17のいずれか一項に記載の撮影制御方法。
  19. 前記撮影方向を設定するステップは、
    前記被写体の外形形状を所定間隔でサンプリングし、各サンプリング点の前記撮影位置までの距離に応じて重み付けを行い、所定の基準方向に対する各サンプリング点の法線方向の角度の加重平均値を算出し、前記加重平均値に基づく方向を前記撮影方向として設定するステップを含む、
    請求項18に記載の撮影制御方法。
  20. 前記撮影位置及び前記撮影方向を含む撮影制御情報を生成するステップと、
    前記撮影制御情報を含む飛行制御情報を前記移動体に送信し、前記被写体の側面の撮影に関する飛行及び撮影を前記移動体に実行させるステップと、をさらに含む、
    請求項12から19のいずれか一項に記載の撮影制御方法。
  21. 前記移動経路として、前記被写体の側面に対する所定高度の略水平方向に飛行する飛行コースを生成し、所定高度の第1の飛行コースにおいて、前記撮影位置及び前記撮影方向を含む撮影制御情報を生成するステップと、
    前記第1の飛行コースにおける撮影制御情報を含む飛行制御情報を前記移動体に送信し、前記第1の飛行コースの飛行及び前記被写体の側面の撮影を前記移動体に実行させるステップと、
    前記第1の飛行コースに対して所定の垂直撮影間隔を隔てて高度を変更した第2の飛行コースを生成し、前記第2の飛行コースにおいて、前記撮影位置及び前記撮影方向を含む撮影制御情報を生成するステップと、
    前記第2の飛行コースにおける撮影制御情報を含む飛行制御情報を前記移動体に送信し、前記第2の飛行コースの飛行及び前記被写体の側面の撮影を前記移動体に実行させるステップと、をさらに含む、
    請求項12から19のいずれか一項に記載の撮影制御方法。
  22. 移動体により被写体を撮影するための撮影制御情報を生成する情報処理装置に、
    前記被写体の外形形状情報を取得するステップと、
    前記外形形状情報に応じた撮影距離に基づいて前記被写体の側面を撮影するための移動経路を生成するステップと、
    前記移動経路上の撮影位置を設定するステップと、
    前記撮影位置における撮影方向を、前記被写体の側面の法線方向に基づいて設定するステップと、
    を実行させるための、プログラム。
  23. 移動体により被写体を撮影するための撮影制御情報を生成する情報処理装置に、
    前記被写体の外形形状情報を取得するステップと、
    前記外形形状情報に応じた撮影距離に基づいて前記被写体の側面を撮影するための移動経路を生成するステップと、
    前記移動経路上の撮影位置を設定するステップと、
    前記撮影位置における撮影方向を、前記被写体の側面の法線方向に基づいて設定するステップと、
    を実行させるための、プログラムを記録したコンピュータ読取り可能な記録媒体。
JP2018160605A 2018-08-29 2018-08-29 情報処理装置、撮影制御方法、プログラム及び記録媒体 Active JP6940459B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018160605A JP6940459B2 (ja) 2018-08-29 2018-08-29 情報処理装置、撮影制御方法、プログラム及び記録媒体
CN201980005048.2A CN111213107B (zh) 2018-08-29 2019-08-21 信息处理装置、拍摄控制方法、程序以及记录介质
PCT/CN2019/101753 WO2020042980A1 (zh) 2018-08-29 2019-08-21 信息处理装置、拍摄控制方法、程序以及记录介质
US17/187,019 US20210185235A1 (en) 2018-08-29 2021-02-26 Information processing device, imaging control method, program and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018160605A JP6940459B2 (ja) 2018-08-29 2018-08-29 情報処理装置、撮影制御方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JP2020036163A true JP2020036163A (ja) 2020-03-05
JP6940459B2 JP6940459B2 (ja) 2021-09-29

Family

ID=69645025

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018160605A Active JP6940459B2 (ja) 2018-08-29 2018-08-29 情報処理装置、撮影制御方法、プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US20210185235A1 (ja)
JP (1) JP6940459B2 (ja)
CN (1) CN111213107B (ja)
WO (1) WO2020042980A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6940670B1 (ja) * 2020-08-26 2021-09-29 株式会社エネルギア・コミュニケーションズ 無人飛行体の飛行経路作成方法及びシステム
JP7401068B1 (ja) * 2023-03-22 2023-12-19 株式会社センシンロボティクス 情報処理システム、情報処理方法及びプログラム
WO2024150626A1 (ja) * 2023-01-10 2024-07-18 ソニーグループ株式会社 情報処理装置および方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007223474A (ja) * 2006-02-23 2007-09-06 Railway Technical Res Inst 長尺画像を用いた鉄道施設検査方法及びその装置
JP2011232825A (ja) * 2010-04-23 2011-11-17 Toyota Motor Corp カメラ位置決定方法
JP2017037008A (ja) * 2015-08-11 2017-02-16 グランツールス株式会社 構造物の状態検査方法
WO2018073879A1 (ja) * 2016-10-17 2018-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行経路生成方法、飛行経路生成システム、飛行体、プログラム、及び記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002108452A (ja) * 2000-10-03 2002-04-10 Nippon Sharyo Seizo Kaisha Ltd 無人搬送車の走行制御装置
CN104035446B (zh) * 2014-05-30 2017-08-25 深圳市大疆创新科技有限公司 无人机的航向生成方法和系统
CN106092054A (zh) * 2016-05-30 2016-11-09 广东能飞航空科技发展有限公司 一种电力线路识别精准定位导航方法
KR20170136750A (ko) * 2016-06-02 2017-12-12 삼성전자주식회사 전자 장치 및 그의 동작 방법
US10520943B2 (en) * 2016-08-12 2019-12-31 Skydio, Inc. Unmanned aerial image capture platform

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007223474A (ja) * 2006-02-23 2007-09-06 Railway Technical Res Inst 長尺画像を用いた鉄道施設検査方法及びその装置
JP2011232825A (ja) * 2010-04-23 2011-11-17 Toyota Motor Corp カメラ位置決定方法
JP2017037008A (ja) * 2015-08-11 2017-02-16 グランツールス株式会社 構造物の状態検査方法
WO2018073879A1 (ja) * 2016-10-17 2018-04-26 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 飛行経路生成方法、飛行経路生成システム、飛行体、プログラム、及び記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6940670B1 (ja) * 2020-08-26 2021-09-29 株式会社エネルギア・コミュニケーションズ 無人飛行体の飛行経路作成方法及びシステム
JP2022037971A (ja) * 2020-08-26 2022-03-10 株式会社エネルギア・コミュニケーションズ 無人飛行体の飛行経路作成方法及びシステム
WO2024150626A1 (ja) * 2023-01-10 2024-07-18 ソニーグループ株式会社 情報処理装置および方法
JP7401068B1 (ja) * 2023-03-22 2023-12-19 株式会社センシンロボティクス 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
WO2020042980A1 (zh) 2020-03-05
US20210185235A1 (en) 2021-06-17
JP6940459B2 (ja) 2021-09-29
CN111213107A (zh) 2020-05-29
CN111213107B (zh) 2022-08-16

Similar Documents

Publication Publication Date Title
US11377211B2 (en) Flight path generation method, flight path generation system, flight vehicle, program, and storage medium
JP6878567B2 (ja) 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
JP6962775B2 (ja) 情報処理装置、空撮経路生成方法、プログラム、及び記録媒体
JP6962812B2 (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP6899846B2 (ja) 飛行経路表示方法、モバイルプラットフォーム、飛行システム、記録媒体及びプログラム
JP6675537B1 (ja) 飛行経路生成装置、飛行経路生成方法とそのプログラム、構造物点検方法
JP6862477B2 (ja) 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体
JP6817422B2 (ja) 情報処理装置、空撮経路生成方法、空撮経路生成システム、プログラム、及び記録媒体
US20210185235A1 (en) Information processing device, imaging control method, program and recording medium
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
CN111344650B (zh) 信息处理装置、飞行路径生成方法、程序以及记录介质
JP7501535B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム
JP2021096865A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
WO2019061859A1 (zh) 移动平台、摄像路径生成方法、程序、以及记录介质
JP6875269B2 (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP7067897B2 (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
WO2020119572A1 (zh) 形状推断装置、形状推断方法、程序以及记录介质
CN112313942A (zh) 一种进行图像处理和框架体控制的控制装置
JP2020003428A (ja) 情報処理装置、飛行経路生成方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210330

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210902

R150 Certificate of patent or registration of utility model

Ref document number: 6940459

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150