JP2023039993A - 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム - Google Patents

情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム Download PDF

Info

Publication number
JP2023039993A
JP2023039993A JP2022198842A JP2022198842A JP2023039993A JP 2023039993 A JP2023039993 A JP 2023039993A JP 2022198842 A JP2022198842 A JP 2022198842A JP 2022198842 A JP2022198842 A JP 2022198842A JP 2023039993 A JP2023039993 A JP 2023039993A
Authority
JP
Japan
Prior art keywords
image
information
imaging
imaging device
sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022198842A
Other languages
English (en)
Other versions
JP7556383B2 (ja
Inventor
浩史 森
Hiroshi Mori
洋之 佐野
Hiroyuki Sano
秀宇 宮牧
Hidetaka Miyamaki
雅人 辻永
Masahito Tsujinaga
洋一郎 佐藤
Yoichiro Sato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2023039993A publication Critical patent/JP2023039993A/ja
Application granted granted Critical
Publication of JP7556383B2 publication Critical patent/JP7556383B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/24—Details of cameras or camera bodies; Accessories therefor with means for separately producing marks on the film, e.g. title, time of exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662—Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

Figure 2023039993000001
【課題】移動体に搭載された撮像装置により撮像された画像に移動体の位置情報を対応付けて画像処理に用いることができる情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システムを提供する。
【解決手段】移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、撮像指示に応じて撮像装置から送信される、撮像装置が画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、移動体の位置情報を含む露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、画像にセンサ情報を対応づける情報処理装置である。
【選択図】図９

Description

本技術は、情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システムに関する。
従来から、前後、左右に隣り合った画像のオーバーラップ部分の共通する特徴点を抽出し、それらを照合しながら画像をつなぎ合わせていくことで広範囲の合成画像を得るための、移動体に搭載したカメラで一定の間隔で撮像を行う方法がある（特許文献１）。
特開平８－１５９７６２号公報
この方法においては、１枚１枚の画像からその特徴点を抽出し、隣接ずる画像のオーバーラップ部分に共通する特徴点を照合しながら重ね合わせていくために、膨大な演算処理能力を必要とする。
また、安定して特徴点を抽出するためには、隣接する画像間のオーバーラップが多い方が好ましく、一定の面積の合成画像を構成するために必要な画像枚数が多くなるため、データストレージのコストも上昇する。加えて、移動体の移動経路も、隣接する軌跡間の画像の重なりを多く確保するために、間隔の狭い往復動作を必要とするため、バッテリ容量が制約される中で、一回の飛行で撮像できる面積を拡大しにくいという欠点もある。
本技術はこのような問題点に鑑みなされたものであり、移動体に搭載された撮像装置により撮像された画像に移動体の位置情報を対応付けて画像処理に用いることができる情報処理装置、情報処理方法情報処理プログラム、画像処理装置および画像処理システムを提供することを目的とする。
上述した課題を解決するために、第１の技術は、移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、撮像指示に応じて撮像装置から送信される、撮像装置が画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、移動体の位置情報を含む露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、画像にセンサ情報を対応づける情報処理装置である。
また、第２の技術は、移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、撮像指示に応じて撮像装置から送信される、撮像装置が画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、移動体の位置情報を含む露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、画像にセンサ情報を対応づける情報処理方法である。
また、第３の技術は、移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、撮像指示に応じて撮像装置から送信される、撮像装置が画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、移動体の位置情報を含む露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、画像にセンサ情報を対応づける情報処理方法をコンピュータに実行させる情報処理プログラムである。
また、第４の技術は、撮像指示に応じて撮像装置から送信される、撮像装置が画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて取得された移動体の位置情報を含む露光タイミングの時点における最新のセンサ情報が対応付けられた複数の画像の供給を受けて、複数の画像をセンサ情報に基づいて配置することにより合成画像を作成する画像処理装置である。
さらに、第５の技術は、移動体と、移動体に搭載された撮像装置と、移動体に搭載され、撮像指示に応じて撮像装置から送信される、撮像装置が画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、移動体の位置情報を含む露光タイミングの時点における最新のセンサ情報を検出するセンサ装置と、撮像装置により撮像された画像にセンサ情報を対応付ける情報処理装置とからなる画像処理システムである。
本技術によれば、移動体に搭載された撮像装置により撮像された画像に移動体の位置情報を対応付けて画像処理に用いることができる。なお、ここに記載された効果は必ずしも限定されるものではなく、明細書中に記載されたいずれかの効果であってもよい。
画像処理システムの構成を示す図である。 図２Ａは移動体の外観構成を示す平面図であり、図２Ｂは移動体の外観構成を示す側面図である。 移動体の構成を示すブロック図である。 撮像装置の構成を示すブロック図である。 センサ装置の構成を示すブロック図である。 画像処理システムにより行われる処理の流れを示すフローチャートである。 飛行計画と撮像計画を説明するための図である。 画像処理システムにより行われる処理のシーケンス図である。 画像とセンサ情報の対応付けを説明するための図である。 画像とセンサ情報の対応付けを説明するための図である。 合成画像作成処理の流れを示すフローチャートである。 合成画像作成処理により作成される合成画像の例を示す図である。 センサ情報に基づいた画像の補正処理を説明するための図である。 標高を用いない場合における合成画像作成の概要を説明する図である。 第２の実施の形態における合成画像作成の概要を説明する図である 第２の実施の形態における全体処理を示すフローチャートである。 標高データベースの構成を示す図である。 図１８ＡはＬｉＤＡＲセンサを備えるセンサ装置の構成を示すブロック図であり、図１８ＢはＬｉＤＡＲセンサが取り付けられた移動体の外観構成を示す側面図である。 画像とＧＰＳデータと標高データの対応付けを説明するための図である。 ＬｉＤＡＲを用いた場合の地表面の標高の算出方法の説明図である。 合成画像作成処理を示すフローチャートである。 地上直交座標系と合成画像座標系の説明図である。 緯度経度の地上直交座標系への変換の説明図である。 メッシュ構造の説明図である。 画像の四隅へのベクトルと、メッシュ構造を示す図である。 画像の隅の投影位置を算出する方法を説明する図である。 画像の隅の投影位置を算出する方法を説明する図である。 画像の四隅の投影位置の合成画像座標系への変換を説明する図である。
以下、本技術の実施の形態について図面を参照しながら説明する。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１－１．画像処理システムの構成］
［１－２．移動体の構成］
［１－３．撮像装置の構成］
［１－４．センサ装置の構成］
［１－５．端末装置およびクラウドの構成］
［１－６．画像処理システムにより行なわれる処理］
［１－７．撮像およびセンサ情報対応付け処理］
［１－８．合成画像作成処理］
＜２．第２の実施の形態＞
［２－１．第２の実施の形態における合成画像作成の概要］
［２－２．第２の実施の形態における全体処理］
［２－３．合成画像作成処理］
＜３．変形例＞
＜１．実施の形態＞
［１－１．画像処理システムの構成］
まず図１を参照して画像処理システム１０００の構成について説明する。画像処理システム１０００は、移動体１００、撮像装置２００、センサ装置３００、端末装置４００およびクラウド５００から構成されている。
本実施の形態において、移動体１００はドローンと称される電動小型飛行体（無人航空機）である。撮像装置２００は移動体１００に搭載され、移動体１００の飛行中に地表面の画像を撮像するものである。センサ装置３００は、種々のセンサを備えており、移動体１００に搭載され、種々のセンサにより取得したセンサ情報を撮像装置２００に供給するものである。なお、地表面の撮像とは、地球上の土地と、土地そのものだけでなく土地の上に建設された建物、地表に設けられた道路などの人工物や自然物も含むものであるとする。
端末装置４００は地上において画像処理システム１０００を利用するユーザなどが使用するコンピュータなどであり、撮像装置２００により撮像された画像を用いて合成画像作成処理を行うものである。
クラウドはクラウドサービス提供会社などのサーバによって構成されるものであり、撮像装置２００により撮像された画像を用いて合成画像作成処理を行うものである。
合成画像作成処理は、移動体１００に搭載された撮像装置２００により移動体１００の移動中に撮像された複数の画像を用いて、隣接する画像の一部を重ね合わせて配置することにより１つの大きな合成画像を作成するものである。したがって、撮像装置２００により撮像された画像は端末装置４００および／またはクラウド５００に供給される。
なお、端末装置４００が合成画像作成処理を行う場合、クラウド５００で合成画像作成処理を行わなくてもよいし、クラウド５００で合成画像作成処理を行う場合、端末装置４００で合成画像作成処理を行わなくてもよい。また、端末装置４００およびクラウド５００の双方で合成画像作成処理を行ってもよい。クラウド５００は合成画像作成処理を行なわずに、端末装置４００により作成された合成画像を保存して、ユーザからの要求に応じてその合成画像を供給するものであってもよい。
本実施の形態においては、撮像装置２００の特性仕様(水平・垂直のレンズ画角)および動作設定(シャッターサイクル)の組合せを考慮した移動体１００の飛行計画(高度、速度、軌跡)および、一定の間隔を開けてどこで（撮像位置）どの範囲（撮像範囲）を撮像するかを示す撮像計画は予め定められている。移動体１００はその飛行計画に従って飛行し、撮像装置２００はその撮像計画に従って撮像を行う。
［１－２．移動体の構成］
図２および図３を参照して移動体１００の構成について説明する。図２Ａは移動体１００の平面図であり、図２Ｂは移動体１００の正面図である。中心部としての例えば円筒状または角筒状の胴体部１と、胴体部１の上部に固定された支持軸２ａ～２ｆとから機体が構成される。一例として、胴体部１が６角筒状とされ、胴体部１の中心から６本の支持軸２ａ～２ｆが等角間隔で放射状に延びるようになされている。胴体部１および支持軸２ａ～２ｆは、軽量で強度の高い材料から構成されている。
さらに、胴体部１および支持軸２ａ～２ｆからなる機体は、その重心が支持軸２ａ～２ｆの中心を通る鉛直線上にくるように、各構成部品の形状、配置等が設計される。さらに、この鉛直線上に重心がくるように、胴体部１内に回路ユニット５およびバッテリ６が設けられている。
図２の例では、回転翼およびモータの数が６個とされている。しかしながら、４個の回転翼およびモータを有する構成、或いは８個以上の回転翼およびモータを有する構成でもよい。
支持軸２ａ～２ｆの先端部には、回転翼の駆動源としてのモータ３ａ～３ｆがそれぞれ取り付けられている。モータ３ａ～３ｆの回転軸に回転翼４ａ～４ｆが取り付けられている。各モータを制御するための制御部を含む回路ユニット５が支持軸２ａ～２ｆが交わる中心部に取り付けられている。
モータ３ａおよび回転翼４ａと、モータ３ｄおよび回転翼４ｄとが対を構成する。同様に、（モータ３ｂ，回転翼４ｂ）と（モータ３ｅ，回転翼４ｅ）とが対を構成し、（モータ３ｃ，回転翼４ｃ）と（モータ３ｆ，回転翼４ｆ）とが対を構成する。
胴体部１内に底面に動力源としてのバッテリ６が配置されている。バッテリ６は、例えばリチウムイオン二次電池と充放電を制御するバッテリ制御回路とを有する。バッテリ６は、胴体部１の内部に着脱自在に取り付けられている。バッテリ６の重心と機体の重心とを一致させることによって、重心の安定性が増加する。
一般的にドローンと称される電動小型飛行体は、モータの出力を制御して所望の航行を可能としている。例えば、空中に静止しているホバーリングの状態では、機体に搭載されたジャイロセンサを用いて傾きを検知し、機体が下がった側のモータ出力を増加させ、上がった側のモータ出力を低下させることによって、機体を水平に保つようにしている。さらに、前進の際には、進行方向のモータ出力を低下、逆方向のモータ出力を増加させることによって、前傾姿勢を取らせ、進行方向への推進力を発生させるようにしている。このような電動小型飛行体の姿勢制御および推進制御において、上述したようなバッテリ６の設置位置は、機体の安定性と制御の容易性とのバランスをとることができる。
図３は、移動体１００の構成を示すブロック図である。移動体１００は、制御部１０１、ＧＰＳ（Global Positioning System）モジュール１０２、ＩＭＵ（inertial measurement unit）モジュール１０３、高度計１０４、方位計１０５、通信部１０６、バッテリ６、モータ３ａ～３ｆを備えて構成されている。なお、上述の移動体１００の外観構成で説明した支持軸、回転翼などは省略する。制御部１０１、ＧＰＳモジュール１０２、ＩＭＵモジュール１０３、高度計１０４、方位計１０５、通信部１０６は図１の移動体１００の外観図に示される回路ユニット５に含まれているものとする。
制御部１０１はＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって、移動体１００全体の制御および撮像装置２００による撮像のタイミングの設定、撮像装置２００に対する撮像指示信号の送信などを行う。
また、制御部１０１は、モータ３ａ～３ｆの出力を制御することにより移動体１００の飛行を制御するものである。
ＧＰＳモジュール１０２は、移動体１００の現在位置（緯度経度情報）、現在時刻を取得して制御部１０１に供給するものである。
ＩＭＵモジュール１０３は、慣性計測装置であり、２軸または３軸方向に対する加速度センサ、角度速度センサ、ジャイロセンサなどによって、３次元の角速度と加速度を求めることにより、移動体１００の姿勢、傾き、旋回時の角速度やＹ軸方向周りの角速度の姿勢情報を検出して制御部１０１に供給する。
高度計１０４は、移動体１００が位置する高度を計測して高度データを制御部１０１に供給するものであり、気圧高度計、電波高度計などがある。気圧高度計は大気の圧力を検出し、電波高度計は、鉛直下方の地表面に電波を発射し、その地表面からの反射波を測定し、電波発射から反射波到達までの時間から高度を算出する。
方位計１０５は磁石の作用を用いて移動体１００の進行方角を検出し制御部１０１に供給するものである。
通信部１０６は、撮像装置２００とデータの送受信を行なうための各種通信用端子または通信モジュールである。移動体１００から撮像装置２００に対しては撮像のきっかけとなる撮像指示信号が送信される。端末装置４００との通信は、ＵＳＢ（Universal Serial Bus）通信などの有線通信、Wi-Fiなどの無線ＬＡＮ（Local Area Network）、Bluetooth、ZigBeeなどの無線通信どちらであってもよい。また通信部１０６は、地上から移動体１００を制御するため機器（ベースステーションと称する）として機能する外部機器（パーソナルコンピュータ、タブレット端末、スマートフォンなど）との通信も行うものである。移動体１００は通信部１０６による通信を介して飛行中の移動体１００の状態をベースステーションに送信する。また、ベースステーションからの指示などを受信する。移動体１００は空中を飛行する飛行体であるため、ベースステーションとの通信は無線通信により行われる。
本実施の形態においては、移動体１００の下部に撮像装置２００が搭載され、移動体１００の上部にセンサ装置３００が搭載されている。なお、センサ装置３００は移動体１００の上部に搭載されることに限定されないが、ＧＰＳなどの情報を取得しやすいように移動体１００の上部に搭載されることが好ましい。
［１－３．撮像装置の構成］
撮像装置２００は、図２Ｂに示すように、移動体１００の胴体部１の底面にジンバルとしての機能を有するカメラマウント５０を介して吊り下げられるように搭載されている。撮像装置２００はカメラマウント５０の駆動により３６０度水平方向から垂直方向への全方向のいずれの方向にもレンズを向けて撮像することが可能となっている。なお、カメラマウント５０の動作制御は撮像計画に基づいて制御部１０１により行われる。
図４のブロック図を参照して撮像装置２００の構成について説明する。撮像装置２００は、制御部２０１、光学撮像系２０２、レンズ駆動ドライバ２０３、撮像素子２０４、画像信号処理部２０５、画像メモリ２０６、記憶部２０７、通信部２０８、ＩＭＵモジュール２０９、方位計２１０および情報処理部２５０を備えて構成されている。
制御部２０１は、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置２００全体の制御を行う。
また、制御部２０１は情報処理部２５０としても機能する。情報処理部２５０は撮像により得られた画像にセンサ装置３００から送信されるセンサ情報をメタデータとして対応付けて記憶部２０７に保存する処理を行うものである。情報処理部２５０による処理の詳細については後述する。
なお、情報処理部２５０はプログラムで構成され、そのプログラムは、予め撮像装置２００内にインストールされていてもよいし、ダウンロード、記憶媒体などで配布されて、ユーザが自らインストールするようにしてもよい。また、情報処理部２５０は制御部２０１から独立した構成であってもよい。さらに、情報処理部２５０は、プログラムによって実現されるのみでなく、その機能を有するハードウェアによる専用の装置、回路などを組み合わせて実現されてもよい。
光学撮像系２０２は、被写体からの光を撮像素子２０４に集光するための撮像レンズ、撮像レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは撮像装置２００の制御部２０１、レンズ駆動ドライバ２０３からの制御信号に基づいて駆動される。光学撮像系２０２を介して得られた被写体の光画像は、撮像装置２００が備える撮像素子２０４上に結像される。
レンズ駆動ドライバ２０３は、例えばマイコンなどにより構成され、制御部２０１の制御に従い撮像レンズを光軸方向に沿って所定量移動させることにより、目標とする被写体に合焦するようにオートフォーカスを行う。また、制御部２０１からの制御に従い、光学撮像系２０２の駆動機構、シャッタ機構、アイリス機構などの動作を制御する。これにより、露光時間（シャッタースピード）の調整、絞り値（Ｆ値）などの調整がなされる。
撮像素子２０４は、被写体からの入射光を光電変換して電荷量に変換して、画素信号を出力する。そして、撮像素子２０４は画素信号を画像信号処理部２０５に出力する。撮像素子２０４としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。
画像信号処理部２０５は撮像素子２０４から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つためのサンプルホールド、ＡＧＣ（Auto Gain Control）処理、Ａ／Ｄ（Analog/Digital）変換などを行ない、画像信号を作成する。
また、画像信号処理部２０５は、デモザイク処理、ホワイトバランス調整処理や色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＥ（Auto Exposure）処理、解像度変換処理などの所定の信号処理を画像信号に対して施してもよい。
画像メモリ２０６は、揮発性メモリ、例えば、ＤＲＡＭ（Dynamic Random Access Memory）で構成されるバッファメモリである。画像メモリ２０６は画像信号処理部２０５によって所定の処理が施された画像データを一時的に蓄えておくものである。
記憶部２０７は、例えば、ハードディスク、ＵＳＢフラッシュメモリ、ＳＤメモリカードなどの大容量記憶媒体である。撮像された画像は例えばＪＰＥＧ（Joint Photographic Experts Group）などの規格に基づいて圧縮された状態または非圧縮の状態で保存される。また、保存された画像に関する情報、撮像位置を示す撮像位置情報、撮像日時を示す撮像時刻情報などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。また、ＩＭＵモジュール２０９に得られるＩＭＵデータはＸＭＰ(Extensible Metadata Platform)として画像に対応付けられる。画像は情報処理部２５０によりセンサ情報がメタデータとして対応付けられた状態で記憶部２０７に保存される。
通信部２０８は、移動体１００およびセンサ装置３００とデータの送受信を行なうための各種通信用端子または通信モジュールである。移動体１００との通信においては移動体１００から撮像指示信号を受信する。センサ装置３００との通信においてはセンサ装置３００へ露光の開始から終了における所定のタイミングを通知する露光通知信号を送信するとともに、センサ装置３００から送信されたセンサ情報を受信する。移動体１００およびセンサ装置３００との通信は、ＵＳＢ通信などの有線通信、Wi-Fiなどの無線ＬＡＮ、Bluetooth、ZigBeeなどの無線通信どちらであってもよい。なお、撮像装置２００と移動体１００との通信をＵＳＢ通信で行う場合、撮像装置２００は移動体１００のバッテリ６から電力供給をうける事が可能である。
ＩＭＵモジュール２０９、方位計２１０は移動体１００が備えるものと同様のものである。ＩＭＵモジュール２０９は撮像装置２００の姿勢、傾きを検出し、方位計２１０は撮像装置２００の撮像方角を検出する。
［１－４．センサ装置の構成］
図５のブロック図を参照してセンサ装置３００の構成について説明する。センサ装置３００は、制御部３０１、ＧＰＳモジュール３０２、ＩＭＵモジュール３０３、高度計３０４、方位計３０５、照度センサ３０６および通信部３０７を備えている。
センサ制御部３０１は、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによってセンサ装置３００全体の制御を行う。
ＧＰＳモジュール３０２、ＩＭＵモジュール３０３、高度計３０４、方位計３０５は移動体１００が備えるものと同様のものである。このように、センサ装置３００は複数のセンサを備えており、それらにより得られるセンサ情報を撮像装置２００に供給するものである。
ＧＰＳモジュール３０２は、移動体１００の飛行中における移動体１００の水平位置座標を検出するためのものである。ＩＭＵモジュール３０３は、移動体１００の飛行中における移動体１００の傾きを検出するためのものである。高度計３０４は、移動体１００の飛行中における移動体１００の高度を検出するためのものである。方位計３０５は、移動体１００の飛行中における移動体１００の進行方角を検出するためのものである。なお、移動体１００もＧＰＳモジュール１０２、ＩＭＵモジュール１０３、高度計１０４、方位計１０５を備えているが、移動体１００が備えるのは移動体１００自身の飛行のためであり、センサ装置３００が備えるのは画像に対応付けるセンサ情報を取得するためである。
照度センサ３０６は、受光素子を備え、その受光素子に入射した光を電流に変換することにより明るさを検知してセンサ制御部３０１に供給するものである。撮像時間、天気などによって撮像環境および画像の明るさが変わるので照度センサ３０６でその明るさを検知する。また、照度センサ３０６に複数の波長域に分割した感度特性を持たせることで、画像が撮像された時点における移動体１００および地上に降り注いでいる太陽光のスペクトル分布または複数の特定波長帯におけるエネルギー比率を特定することもできる。
通信部３０７は、撮像装置２００とデータの送受信を行なうための各種通信用端子または通信モジュールである。通信部３０７は撮像装置２００からの露光通知信号を受信するとともに、撮像装置２００に対してセンサ装置３００が得たセンサ情報を送信する。撮像装置２００との通信は、ＵＳＢ通信などの有線通信、Wi-Fiなどの無線ＬＡＮ、Bluetooth、ZigBeeなどの無線通信どちらであってもよい。なお、センサ装置３００と撮像装置２００との通信をＵＳＢ通信で行う場合、センサ装置３００は撮像装置２００を経由して移動体１００のバッテリ６から電力供給を受ける事が可能である。
移動体１００、撮像装置２００およびセンサ装置３００は以上のようにして構成されている。撮像装置２００を搭載した移動体１００であるドローンは操縦者によるマニュアル操作のみではなくＧＰＳデータ、ＩＭＵデータを利用した自動飛行および自動撮像を行うことができる。自動飛行および自動撮像を行う場合、飛行ルートの経路情報、撮像位置、撮像方向、撮像時間などの撮像情報を予め設定し、移動体１００の制御部１１０がその設定内容に従い移動体１００の飛行制御および撮像装置２００への撮像指示を行う。また、経路情報、撮像情報は、ベースステーションから無線通信により取得してもよい。
［１－５．端末装置およびクラウドの構成］
端末装置４００は、パーソナルコンピュータなどであり、撮像装置２００により撮像された画像およびセンサ情報を用いて合成画像作成処理を行うものである。撮像装置２００が撮像した画像とセンサ情報は撮像装置２００の記憶部２０７からＵＳＢフラッシュメモリ、ＳＤメモリカードなどの携帯型記憶媒体を介して撮像装置２００から端末装置４００に転送される。なお、撮像装置２００が記憶部２０７を介さずに直接携帯型記憶媒体に画像およびセンサ情報を保存するようにしてもよい。また、撮像装置２００の通信部２０８と端末装置４００間の通信により画像が転送されてもよい。端末装置４００はノートパソコン、据え置き型パソコンであってもよいし、十分な処理能力を備え、合成画像作成処理を実行することができるものであれば、タブレット端末、スマートフォン、ゲーム機などでもよい。端末装置４００など、合成画像作成処理を行う装置または処理部が特許請求の範囲の画像処理装置に相当するものである。
クラウド５００も撮像装置２００により撮像された画像およびセンサ情報を用いて合成画像作成処理を行うものである。クラウドとはコンピュータの利用形態の１つであり、クラウドサービス提供会社のサーバに構築される。クラウドサービスとは、ネットワーク上に存在するサーバによって提供するサービスであり、インターネットをベースとしたコンピュータの利用形態の一つである。必要な処理は基本的に全てサーバ側で行われる。ユーザはデータを自分のパソコン、スマートフォン、携帯電話機などではなく、インターネット上のサーバに保存する。よって、自宅、会社、ネットカフェ、学校、外出先など、さまざまな環境においてもサービスの利用、データを閲覧、編集、アップロードなどを行うことができる。本技術に係る合成画像作成処理はクラウド５００で実行して、クラウドサービスとして需要者に提供されてもよい。
クラウド５００に対しては端末装置４００からインターネットを介して画像およびセンサ情報が送信される。また、撮像装置２００がインターネット接続機能を備える場合には撮像装置２００からインターネットを介してクラウド５００に画像およびセンサ情報を送信してもよい。クラウド５００により作成された合成画像はクラウド５００にのみ保存してもよいし、端末装置４００および／または撮像装置２００に転送してもよい。
［１－６．画像処理システムにより行なわれる処理］
次に、図６のフローチャートを参照して画像処理システム１０００により行なわれる処理の概要について説明する。まず、ステップＳ１１で予めプログラミングされた飛行計画が移動体１００の制御部１０１にアップロードされるとともに、予めプログラミングされた撮像計画が撮像装置２００の制御部２０１にアップロードされる。このアップロードは例えばユーザの操作入力やベースステーションからの自動転送などにより行なわれる。次にステップＳ１２で、移動体１００の飛行が開始される。次にステップＳ１３で、移動体１００の飛行中に撮像装置２００による撮像が行なわれる。また、撮像装置２００による撮像と並行してセンサ装置３００によるセンサ情報の取得が行われる。次にステップＳ１４で、撮像された画像はセンサ情報と対応付けられて撮像装置２００の記憶部２０７に保存される。
次に処理はステップＳ１５に進み、撮像装置２００の記憶部２０７から端末装置４００および／またはクラウド５００に画像およびメタデータとして対応付けられたセンサ情報が送信される。次にステップＳ１６で、端末装置４００により撮像計画にある全ての撮像位置で撮像されたか否かが判断され、全ての撮像位置で撮像するまでステップＳ１３乃至ステップＳ１６が繰り返される（ステップＳ１５のＮｏ）。そしてステップＳ１７で端末装置４００および／またはクラウド５００で合成画像作成処理が行なわれる。各処理の詳細については後述する。
［１－７．撮像およびセンサ情報対応付け処理］
次に図７乃至図１０を参照して本実施の形態における撮像およびセンサ情報対応付け処理について説明する。図７は、移動体１００の飛行ルートおよび撮像位置を説明するための図である。
図７中の破線は撮像計画で設定されている、撮像装置２００により撮像を行う地表面の全撮像範囲を示している。最終的に合成画像作成処理により作成される合成画像はこの全撮像範囲を含んだ画像となる。
図７中の実線は全撮像範囲を撮像するように設定された移動体１００の飛行ルートを示しており、実線上の複数の点は撮像装置２００による撮像を行う撮像位置を示している。移動体１００は自身の位置や姿勢を把握するためのＧＰＳモジュール１０２、ＩＭＵモジュール１０３を有しているため、離陸後は飛行計画に従った飛行ルートで飛行し、撮像装置２００に対して撮像計画に基づいて撮像指示信号を送信することにより各撮像位置で撮像を行う。
なお、一定間隔で撮像を行う方法としては、ＧＰＳデータに基づいて一定の距離間隔で自動的に撮像を繰り返す方法、一定の時間間隔で自動的に撮像を繰り返す方法があるが、いずれかに限定されるものではない。一定の距離間隔で撮像を行う場合、移動体１００から撮像装置２００に対して撮像指示が送信される。移動体１００が備えているＧＰＳモジュール１０２により移動体１００および撮像装置２００の位置を取得してその位置を示すＧＰＳデータに基づいて撮像指示を行うからである。一方、一定の時間間隔で撮像を行う場合、移動体１００または撮像装置２００のうち計時機能を備えているものが撮像指示を行うことができる。
図７中の撮像位置Ａ、Ｂ、Ｃ、Ｄを抜き出した部分拡大図に示すように、飛行計画と撮像計画は、移動体１００の進行方向および飛行ルート間方向に撮像範囲の重複部分が生じるように設定されている。このように撮像範囲に重複部分が生じるように撮像を行うことにより、撮像で取得された複数の画像で合成画像を作成した場合に隙間や抜けが生じることを防止する。
なお、図７に示す飛行計画および撮像計画は本技術の説明のために便宜上設定したものであり、本技術がそのような飛行ルート、撮像位置に限定されるものではない。
次に図８のシーケンス図を参照して、移動体１００、撮像装置２００およびセンサ装置３００間における処理の流れについて説明する。まずステップＳ２１で、移動体１００から撮像装置２００に対して撮像計画に基づいた撮像指示信号が送信される。
次にステップＳ２２で撮像指示信号を受けた撮像装置２００は露光を開始し、ステップＳ２３で画像取得の後ステップＳ２４で所定の露光時間経過後露光が終了する。次にステップＳ２５で露光時間が経過して露光が終了した時点で撮像装置２００からセンサ装置３００に対して露光が終了したことを通知する露光通知信号が送信される。
次にステップＳ２６で、撮像装置２００から露光通知信号を受けたセンサ装置３００から撮像装置２００にセンサ情報が送信される。そして、ステップＳ２７で撮像装置２００は撮像により取得した画像に対してセンサ情報をメタデータとして対応付けて記憶部２０７に保存する。
以上の処理が撮像で取得される画像全てにおいて行なわれる。
次に図９を参照して撮像装置２００により撮像された画像にセンサ装置３００で取得されたセンサ情報をメタデータとして対応付ける処理について説明する。図７に示した飛行計画および撮像計画に基づいて撮像された全ての画像はセンサ装置３００で取得されたセンサ情報がメタデータとして対応付けられて記憶部２０７に保存される。なお、図９を参照した以下の説明においては、センサ装置３００から撮像装置２００に送信されるセンサ情報はＧＰＳモジュール３０２により得られるＧＰＳデータ（特許請求の範囲における位置情報に相当）、ＩＭＵモジュール３０３により得られるＩＭＵデータ（特許請求の範囲における傾き情報に相当）であるとする。なお、センサ情報には、高度計３０４により得られる高度データ（特許請求の範囲における高度情報に相当）などが含まれてもよい。
移動体１００から撮像装置２００に対して撮像指示信号が送信されると、それを受けて撮像装置２００は露光を開始し、所定の露光時間経過後に露光が終了して画像が取得される。また、撮像指示および露光のタイミングとは非同期にセンサ装置３００は所定の時間間隔でＧＰＳモジュール３０２でＧＰＳデータを定期的に取得し、さらに所定の時間間隔でＩＭＵモジュール３０３でＩＭＵデータを定期的に取得している。ＧＰＳモジュール３０２がＧＰＳデータを取得するタイミングとＩＭＵモジュール３０３がＩＭＵデータを取得するタイミングも非同期であってもよいし、同期していてもよい。なお、ＧＰＳデータおよびＩＭＵデータは新たなデータを取得した際に過去のデータは消去せずに全ての保存しておくのが好ましい。
まず、移動体１００から撮像装置２００に撮像指示信号が送信されると、撮像装置２００が露光を開始し、所定の露光時間経過後に露光が終了すると画像が取得されるとともに、撮像装置２００からセンサ装置３００に対して、露光終了のタイミングを通知する露光通知信号が送信される。
センサ装置３００は露光通知信号を受信すると、露光通知信号を受信したタイミングに最も近いタイミングで得たＧＰＳデータを撮像装置２００に送信する。また、同様にセンサ装置３００は露光通知信号を受信すると、露光通知信号を受信したタイミングに最も近いタイミングで得たＩＭＵデータを撮像装置２００に送信する。
上述したように撮像装置２００の露光のタイミングとセンサ装置３００におけるＧＰＳデータおよびＩＭＵデータ取得のタイミングは非同期となっている、よって、センサ装置３００が撮像装置２００から露光通知信号を受信するタイミングと、センサ装置３００がＧＰＳデータおよびＩＭＵデータを取得するタイミングは必ずしも一致しない。したがって、センサ装置３００は露光通知信号を受信したタイミングに最も近いタイミングで取得した（最新の）ＧＰＳデータおよびＩＭＵデータを撮像装置２００に送信する。
図９の場合、画像データＡを取得するための露光を通知する露光通知信号をセンサ装置３００が受信した時点でＧＰＳデータＡの取得が行なわれているため、ＧＰＳデータＡの取得が完了するとセンサ装置３００はＧＰＳデータＡを撮像装置２００に送信する。同様に、画像データＡを取得するための露光を通知する露光通知信号をセンサ装置３００が受信した時点でＩＭＵデータＡの取得が行なわれているため、ＩＭＵデータＡの取得が完了するとセンサ装置３００はＩＭＵデータＡを撮像装置２００に送信する。このように、露光通知信号受信のタイミングに最も近いタイミングで取得されたＧＰＳデータＡとＩＭＵデータＡとがセンサ装置３００から撮像装置２００に送信される。
そして、情報処理部２５０は、画像ＡにメタデータとしてＧＰＳデータＡおよびＩＭＵデータＡを対応づけて記憶部２０７に保存する。
移動体１００が次の撮像指示信号を撮像装置２００に対して送信すると、同様に撮像装置２００が露光を行ない、露光が終了すると画像Ｂが撮像により取得されると共に露光通知信号がセンサ装置３００に送信される。図９の場合、画像データＢを取得するための露光を通知する露光通知信号をセンサ装置３００が受信した時点でＧＰＳデータＢの取得が行なわれているため、ＧＰＳデータＢの取得が完了するとセンサ装置３００はＧＰＳデータＢを撮像装置２００に送信する。同様に、画像データＢを取得するための露光を通知する露光通知信号をセンサ装置３００が受信した時点でＩＭＵデータＢの取得が行なわれているため、ＩＭＵデータＢの取得が完了するとセンサ装置３００はＩＭＵデータＢを撮像装置２００に送信する。このように、露光通知信号受信のタイミングに最も近いタイミングで取得されたＧＰＳデータＢとＩＭＵデータＢとがセンサ装置３００から撮像装置２００に送信される。そして、情報処理部２５０が画像ＢにメタデータとしてＧＰＳデータＢとＩＭＵデータＢを対応付けて記憶部２０７に保存する。
このようにして撮像された全ての画像はセンサ情報が対応付けられて記憶部２０７に保存される。
なお、画像とセンサ情報の対応付けのトリガとなる露光通知信号の送信は、撮像装置２００が、撮像指示が行われたタイミングから露光終了タイミングまでの間のどこかのタイミングで行ってもよい。また、露光通知信号の送信は、撮像装置２００が露光のための準備を開始するタイミングから露光終了タイミングまでの間のどこかのタイミングで行ってもよい。これは撮像指示信号を受信してから露光準備までにタイムラグがある場合に有効である。また、露光通知信号の送信は、撮像装置２００の露光開始タイミングから露光終了タイミングまでの間のどこかのタイミングで行ってもよい。この場合、撮像された画像により近いタイミングで取得されたＧＰＳ情報を得ることができる。露光開始タイミングから露光終了タイミングまでの間の具体例としては、露光開始時のタイミングまたは露光終了時のタイミングがある。
このように、撮像装置２００の露光タイミングをトリガにＧＰＳデータを取得することによって、より露光のタイミングに近いＧＰＳデータを取得できるため、画像に対してより正確なＧＰＳデータを付与することができる。例えば画像の特徴点を抽出し、それらを照合しながら画像をつなぎ合わせて合成画像する場合と比較すると、画像に対応付けられたＧＰＳデータ、ＩＭＵデータは時間精度が高い状態で関係づけられているため、ＧＰＳデータ、ＩＭＵデータのみを頼りに画像のつなぎ合わせが可能である。よって、より高速な合成画像作成処理が可能となる。このように本技術では画像の特徴点を抽出してそれらを照合するという処理を必要とせずに合成画像を作成することができる。
ここで、図１０を参照して、露光タイミングの前後で取得したＧＰＳデータＡとＧＰＳデータＢとから、より精度の高い新たなＧＰＳデータを算出する場合について説明する。図１０の例の場合、画像Ａ取得のための露光の通知信号受信のタイミング前後で取得したＧＰＳデータＡとＧＰＳデータＢとから新たなＧＰＳデータを算出してそれを画像Ａに対応付けるＧＰＳデータとしてもよい。
例えば、露光通知信号受信のタイミングがＧＰＳデータＡ取得のタイミングとＧＰＳデータＢ取得のタイミング間の中間（５：５の割合）である場合、加重平均などによりＧＰＳデータＡとＧＰＳデータＢの中間値を算出し、それを画像Ａに対応付ける新たなＧＰＳデータ（センサ情報）とする。図１０においてその新たなＧＰＳデータはＧＰＳデータＮと表している。なお、この場合、その新たなＧＰＳデータＮはＧＰＳデータＢの取得後にセンサ装置３００から撮像装置２００に送信される。この複数のセンサ情報から新たなセンサ情報を算出するのは、ＧＰＳデータに限られるものではなく、ＩＭＵデータ、高度データなど本技術で扱う全てのセンサ情報に適用することができる。
なお、画像とＧＰＳデータおよびＩＭＵデータの対応付けの基準となるタイミングは露光終了時に限られない。移動体１００または撮像装置２００自身による撮像指示のタイミングでもよいし、露光開始のタイミングでもよい。
［１－８．合成画像作成処理］
次に撮像装置２００により撮像された複数の画像から合成画像を作成する処理について説明する。合成画像作成処理は外部の端末装置４００および／またはクラウド５００において行なわれる。ただし、撮像装置２００の情報処理部２５０が合成画像作成処理を実行するのに十分な処理能力を有している場合には撮像装置２００により行なわれてもよい。
まず図１１のフローチャートを参照して合成画像作成処理の流れについて説明する。ステップＳ３１で合成画像作成に用いる一の画像に対して補正処理が施される。補正処理は画像にメタデータとして対応付けられたセンサ情報に基づいて画像を補正する処理である。補正処理の詳細については後述する。
次にステップＳ３２で、補正された画像を合成画像作成のために配置する処理が行われる。配置処理の詳細については後述する。次にステップＳ３３で全ての画像に対して配置処理を行ったか否かが判定される。全ての画像の配置処理がなされていない場合処理はステップＳ３１に進み、全ての画像の配置するまでステップＳ３１乃至ステップＳ３３が繰り返される（ステップＳ３３のＮｏ）。
そして、ステップＳ３３で全ての画像の配置処理を行ったと判定された場合、処理は終了となり合成画像が完成する（ステップＳ３３のＹｅｓ）。
図１２は複数の画像を用いて隣接する画像の一部を重ねながら配置することにより作成された合成画像を示すものである。なお、図１２の例では、合成画像は農地を上空から撮像した複数の画像を用いて作成された農地のマップ画像であるものとする。
図１２においては、説明の便宜上、作成されたマップ画像を構成する複数の画像の中の一部の画像（画像Ａ乃至画像Ｉ）に枠を付し、さらに濃淡を変えている。画像Ａ乃至画像Ｉ上の点は各画像に対応付けられたＧＰＳデータが示す緯度経度の位置であり、破線は各画像の緯度と経度を示すものである。
合成画像作成処理では各画像にメタデータとして対応付けられたＧＰＳデータに基づいて画像の位置を補正して画像を配置する。飛行計画および撮像計画では撮像位置は図７に示したように一直線状に配置して、撮像範囲も予め設定されており、そのとおりに撮像がなされるのが理想である。ただし、実際の撮像では風の影響などで撮像位置、撮像範囲は撮像計画からずれることが多いと考えられる。
そこで、本技術では、ＧＰＳデータを基準として画像を配置する。ＧＰＳデータを基準とした画像の配置方法としては、緯度経度情報が対応付けられた地図データにおける緯度経度と、画像に対応付けられたＧＰＳデータが示す緯度経度を一致させて配置していくという方法がある。地図データとしては、国土地理院発行の緯度経度データが対応付けられた地図データや、インターネット上における地図サービスが提供している緯度経度データが対応付けられた地図データを用いることができる。
上述したように移動体１００に搭載された撮像装置２００による撮像は予め飛行計画と撮像計画とに基づいており、どの位置（撮像位置）でどの範囲（撮像範囲）の画像を撮像するかが予め決められている。その予め決められた撮像位置および撮像範囲と実際に撮像された画像がずれている場合にＧＰＳデータを用いて補正を行う。
図１２のマップ画像においては、画像Ａ、画像Ｂ、画像Ｃは経度が一致しているため緯度方向に沿って経度ずれることなく配置されている。画像Ｄは撮像計画における撮像位置からずれているため、画像Ｃと画像Ｄとでは緯度方向に沿って経度がずれている。よって、図１３Ａに示すように撮像計画における撮像位置から画像に対応付けられたＧＰＳデータの位置に画像の並行移動を行ってマップ画像を作成する際の画像の配置位置を補正する。ＧＰＳデータは撮像位置の緯度経度情報であるため、画像のメタデータとしてのＧＰＳデータと実際の緯度経度が一致するように画像を配置する。
また、画像が飛行計画における移動体１００の高さよりも高い位置で撮像された場合、図１３Ｂに示すように、飛行計画および撮像計画通りに撮像した場合と比較して被写体は小さくなり画角は広くなる。この場合、飛行計画および撮像計画通りに撮像した場合の被写体のサイズに一致するように拡大処理を施して補正を行う。そして、補正処理を施した画像を配置して合成画像を作成する。
一方、画像が飛行計画における移動体１００の高さよりも低い位置で撮像された場合、図１３Ｃに示すように、飛行計画および撮像計画通りに撮像した場合と比較して被写体は大きくなり画角は狭くなる。この場合、飛行計画および撮像計画通りに撮像した場合の被写体のサイズに一致するように縮小処理を施して補正を行う、そして、補正処理を施した画像を配置して合成画像を作成する。
また、画像を用いて２次元の合成画像を作成する場合、撮像装置２００による撮像は農地に対して略並行に撮像するのが望ましい。しかし、撮像時に移動体１００または撮像装置２００が傾いていた場合、図１３Ｄに示すように撮像範囲に誤差が生じる。この場合、飛行計画および撮像計画通りに、土地に対して略並行に撮像した場合の被写体に一致するように台形補正および切り出し処理を施して補正を行う。そして、補正処理を施した画像を配置して合成画像を作成する。
さらに、メタデータとして照度センサデータが画像に対応付けられている場合、照度センサデータに基づいて画像の明度、色バランスなどを調整する補正を行ってもよい。なお、補正が必要ない画像に対しては補正処理を行わなくてもよい。
このようにして、画像にメタデータとして対応付けられたセンサ情報に基づいて全ての画像を補正しながら配置して合成画像を作成する。なお、作成された合成画像にその合成画像を構成する画像のそれぞれに対応付けられたメタデータを対応付けたままにしておくとよい。これにより、合成画像中においてユーザが注目する位置をＧＰＳデータなどに基づいて容易に特定することができる。
なお、緯度経度情報が対応付けられた地図データを用いずに、１つ目に配置した画像のＧＰＳデータに示される緯度経度を基準として２つ目以降の画像を配置することにより合成画像を作成してもよい。
本技術によれば、合成画像を作成するために画像の特徴点の抽出および照合という処理が必要ないため、合成画像作成に必要な演算処理量を低減させることができる。これにより、従来よりも速く合成画像を作成でき、また、処理能力が高くない安価なコンピュータでも合成画像を作成することができる。
本技術では合成画像を作成するために画像の特徴点の抽出および照合という処理が必要ないため、例えば、農地のように広大で目立つ特徴となる建造物などがない範囲の合成画像の作成に有用である。
また、飛行計画と撮像計画に基づいて撮像された画像を用いるため、合成画像作成のために画像と画像を重ね合わせる領域が小さくて済む。これにより、従来の手法と比べて少ない枚数の画像で合成画像を作成することができる。また、従来の手法と比べて合成画像作成に要する時間を短縮することができる。合成画像作成のために画像と画像の重ね合わせる領域が小さくて済むということは、移動体１００は撮像のために往復飛行ルートの間隔を広げることができ、撮像効率を高めることができる。撮像効率が高まると、同一バッテリ条件下では従来に比べて一回の飛行で撮像できる面積を拡大することができる。また、従来技術より少ない枚数の画像で合成画像を作成することができるということは、撮像回数も従来技術より少なくて済むのでバッテリを節約することができる。
移動体１００に撮像装置２００とセンサ装置３００を搭載するという構成であるため、本技術は市販の本技術のための特別な機能を備えない通常のドローンなどの移動体１００に撮像装置２００とセンサ装置３００を搭載することにより実現できる。よって、本技術に係る製品の市場への投入およびユーザの導入も容易である。
作成された合成画像は、その合成画像を構成する画像に対応付けられたメタデータを具備しているため、農地のマップ画像の場合、ＧＰＳデータを頼りに生育不良、病気、害虫など問題箇所が位置情報として把握できる。よって、ＧＰＳ機能を搭載したトラクターを活用して、特定された領域に散水、施肥、農薬散布などを行うことも可能である。
なお、本技術は、画像の特徴点を抽出し、それらを照合して画像を重ね合わせていくことにより合成画像を作成することを除外するものではない。特徴点を抽出してそれらを照合する方法を併用して合成画像を作成してもよい。
＜２．第２の実施の形態＞
［２－１．第２の実施の形態における合成画像作成の概要］
次に本技術の第２の実施の形態について説明する。第２の実施の形態は撮像範囲の地表面の標高を用いることで高精度な合成画像作成を行うものである。標高とは、基準となる海（日本においては東京湾）の平均海面を０ｍの基準面とした場合の、その基準面からの地表面の高さのことである。まず、図１４および図１５を参照して第２の実施の形態における合成画像作成の概要について説明する。
図１４は、地表面の標高の変化を合成画像作成に反映させない場合の撮像装置２００の高さ（移動体１００の飛行の高さ）、地表面、画像、画像配置結果の関係を示すものである。図１４に示すように、撮像により得られた複数の画像は、地表面とは異なる仮想的な面に投影されて配置されることにより合成画像が作成される。この画像が配置される面は全ての画像に対して共通の面である。なお、撮像装置２００の高さ（移動体１００の飛行の高さ）は一定であるものとする。
地表面の標高を反映させずに、撮像により得た全ての画像の配置先の標高が同一の高さであると仮定して、画像を予め定めた同一のサイズで配置して合成画像を作成する場合を考える。この場合、地表面の標高に変化があると、配置後の画像サイズに誤差が出てしまい、実際の画像サイズよりも大きく（もしくは小さく）配置されることになる。
図１４Ａに示すように、地表面の標高が画像を配置する面よりも低い場合には、実際の画像のサイズより小さいサイズで画像が合成されることになる。また、図１４Ｃに示すように、地表面の標高が画像を配置する面よりも高い場合には、実際の画像のサイズよりも大きいサイズで画像が合成されることになる。このように地表面の標高に変化がある場合、合成画像作成における画像の配置において誤差が生じる。この誤差は、地表面と画像を配置する面が近い場合には小さいが、地表面と画像を配置する面とが遠ければ遠くなるほど大きくなる。
これに対し、第２の実施の形態においては、画像の撮像範囲の標高を取得して図１５に示すように、その標高に応じた面に画像を配置することにより、画像を正確なサイズのまま配置して合成画像を作成する。これにより、より正確で高精度な合成画像を作成することができる。なお、第２の実施の形態においては、移動体１００の飛行高度は一定であるとして説明を行う。
地表面の標高は国土地理院が発行する、緯度経度などで示される位置に標高が対応付けられた地図データや、インターネット上における地図サービスが提供している標高が対応付けられた地図データを用いることができる。また、標高は測距センサにより得ることもできる。
［２－２．第２の実施の形態における全体処理］
次に第２の実施の形態における移動体１００の飛行、撮像装置２００による撮像から画像合成処理までの全体処理の概要を説明する。画像処理システム１０００を構成する、移動体１００、撮像装置２００、センサ装置３００、端末装置４００およびクラウド５００は第１の実施の形態と同様であるため、その説明を省略する。
図１６は、移動体１００の飛行から撮像、地表面の標高の取得、合成画像作成処理までの全体処理の流れを示すフローチャートである。図６のフローチャートと同一の処理については同一のステップ番号を付して詳細な説明は省略する。
まず、ステップＳ１１で予めプログラミングされた飛行計画が移動体１００の制御部１０１にアップロードされるとともに、予めプログラミングされた撮像計画が撮像装置２００の制御部２０１にアップロードされる。次にステップＳ１２で、移動体１００の飛行が開始される。なお、飛行中においては、第１の実施の形態で上述したのと同様に、センサ装置３００は、ＧＰＳデータとＩＭＵデータなどのセンサ情報をそれぞれ所定の時間間隔で定期的に取得している。
そして、ステップＳ１３乃至ステップＳ１６を繰り返し全ての撮像位置で撮像および、
センサ情報の取得が行われると処理はステップＳ４１に進む（ステップＳ１６のＹｅｓ）。なお、ステップＳ４１乃至ステップＳ４３は、移動体１００の飛行終了後に合成画像作成処理を行う端末装置４００および／またはクラウド５００により行われる処理である。
次にステップＳ４１で、合成画像作成処理を行う端末装置４００および／またはクラウド５００は、センサ装置３００のＧＰＳモジュール３０２から飛行中における移動体１００の位置を示すＧＰＳデータを取得する。このＧＰＳデータは移動体１００の飛行軌跡を示したものであるといえる。ＧＰＳデータは移動体１００の飛行中にＧＰＳモジュール３０２が取得し、センサ装置３００内のメモリ機能や撮像装置２００の記憶部２０７に保存されたものを飛行終了後に読み出すことにより取得可能である。なお、ＧＰＳデータは、移動体１００が備えるＧＰＳモジュール１０２が取得したＧＰＳデータであってもよい。
次にステップＳ４２で、地表面の撮像範囲における標高データを取得する。この標高データもセンサ情報に含まれるものである。まず、緯度経度および標高が対応付けられた地図データなどを用いて標高データを取得する方法について説明する。
この場合、画像合成処理を行う端末装置４００および／またはクラウド５００は、ステップＳ４１で取得したＧＰＳデータが示す位置に基づいて撮像装置２００の撮像範囲における標高データを取得する。これは国土地理院発行の、緯度経度などの位置と標高が対応付けられた地図データなどを用いて、ステップＳ４１で取得したＧＰＳデータが示す緯度経度における標高を確認することにより行うことができる。
取得した地表面の標高データは、図１７に示すようにＧＰＳデータを取得した位置の順に番号を付し、緯度経度で示される位置と対応付けられてデータベース化される。この、データ取得位置、緯度経度で示される位置および標高データが対応付けられたものを標高データベースと称する。なお、第１の実施の形態で図９を参照して説明したように、撮像装置２００により撮像された画像はＧＰＳデータおよびＩＭＵデータなどのセンサ情報と対応付けられた保存される。よって、標高データに対応付けられた緯度経度を参照することにより標高データと画像とを対応付けることができる。
標高データの取得が完了すると次にステップＳ４３で合成画像作成処理が行われる。
ここで、図１６のフローチャートのステップＳ４２において、測距センサを用いて地表面の撮像範囲における標高データを取得する方法について説明する。測距センサとしては、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）センサを用いるものとする。ＬｉＤＡＲとは、光を用いたリモートセンシング技術の一つであり、パルス状に発光するレーザ照射に対する散乱光を測定することにより、遠距離にある対象までの距離の測定や対象の性質の分析を行うことができる技術である。
第２の実施の形態においては、図１８Ａに示すように、センサ装置３００がＬｉＤＡＲセンサ３１０を備えている。ただし、ＬｉＤＡＲはレーザ照射による距離の測定を行うため、図１８Ｂに示すようにＬｉＤＡＲセンサ３１０のレーザ照射部３１１とレーザ受信部３１２とは移動体１００の胴体部１の底面において、直下方向の地表面に向けたレーザの照射と受信が可能となるように設けられている。なお、地表面に向けたレーザの照射と受信が可能であれば、ＬｉＤＡＲセンサ３１０のレーザ照射部３１１とレーザ受信部３１２は移動体１００の胴体部１の側面に設けられていてもよい。
ＬｉＤＡＲを使用する場合、地表面の撮像を行う前に、ＬｉＤＡＲセンサ３１０を備えるセンサ装置３００を搭載した移動体１００を撮像範囲と同じ範囲を飛行させて、撮像範囲の標高データを取得しておくのが好ましい。ＬｉＤＡＲで取得した情報からの標高データの算出は、移動体１００の飛行終了後に行われる。ただし、移動体１００の飛行および地表面の撮像と並行して、ＬｉＤＡＲセンサ３１０で取得した情報から標高データを算出するようにしてもよい。ＬｉＤＡＲセンサ３１０で取得した情報からの標高データの算出は、情報処理部２５０が行うものとして説明を行うが、端末装置４００、クラウド５００のいずれかで行ってもよい。
なお、ＬｉＤＡＲセンサ３１０による標高データ取得タイミングの間隔は、撮像装置２００による撮像タイミングの間隔よりも短いほうが好ましい。撮像タイミングの間隔よりも標高データ取得のタイミングの間隔が長いと各撮像画像に対して正確な標高データを対応付けることが難しくなるからである。さらに、標高データの取得タイミングの間隔は短ければ短いほど地表面の正確な標高を得ることができるからである。
ＬｉＤＡＲにより地表面の標高データを取得し、緯度経度で示される位置と標高データを対応付けてデータベース化するのは、地図データから標高データを取得する場合と同様である。
なお、ＬｉＤＡＲセンサ３１０で標高データを取得するタイミングはセンサ装置３００がＧＰＳデータなどのセンサ情報を取得するタイミングと同期していてもよいし、していなくてもよい。取得タイミングが同期している場合、ＬｉＤＡＲセンサ３１０で取得した標高データと同じタイミングで取得された、センサ情報に含まれるＧＰＳデータなどに対応付けることができる。取得タイミングが同期していない場合、撮像指示のタイミングや撮像装置２００からの露光通知信号を受けたタイミングなど、画像の撮像に関連したタイミングを基準として画像とセンサ情報と標高データとを対応付けるとよい。この対応付けは、情報処理部２５０が行うものとして説明を行うが、端末装置４００、クラウド５００のいずれかで行ってもよい。
例えば、図１９に示すように、画像データＡを取得するための露光を通知する露光通知信号をセンサ装置３００が受信した時点で標高データＡの取得が行なわれている場合、標高データＡの取得が完了するとセンサ装置３００は標高データＡを撮像装置２００に送信する。このように、露光通知信号受信のタイミングに最も近いタイミングで取得された標高データＡをセンサ装置３００から撮像装置２００に送信する。そして、情報処理部２５０は、画像ＡにメタデータとしてＧＰＳデータＡおよびＩＭＵデータＡ、さらに標高データＡを対応づけて記憶部２０７に保存する。このようにして画像とＧＰＳデータとＩＭＵデータと標高データを対応付けることにより、画像を配置して合成画像を作成する際に標高データを用いることができる。なお、ＬｉＤＡＲセンサ３１０で標高データを取得する位置を予め定めている、ＬｉＤＡＲセンサ３１０で標高データを取得する位置をＧＰＳデータで取得しているというような場合には、標高データ取得位置の情報に基づいて標高データとセンサ情報に含まれるＧＰＳデータなどを対応付けることも可能である。
なお、地図データを参照して標高データを取得する場合も、移動体１００の飛行、撮像装置２００による撮像、センサ装置３００のよるＧＰＳデータおよびＩＭＵデータの取得と並行して地図データから標高データを取得する場合には、このように画像とセンサ情報と標高データの対応付けを行ってもよい。なお、図１９においては説明の便宜上、ＧＰＳデータと標高データを示しているが、対応付けられるデータはそれらに限られず、ＩＭＵモジュール３０３により得られるＩＭＵデータ、高度計３０４により得られる高度データなどが含まれてもよい。
次に図２０を参照して、ＬｉＤＡＲを用いた場合における、地表面の標高を示す標高データの算出方法を説明する。この標高データの算出は、情報処理部２５０、端末装置４００、クラウド５００のいずれかで行ってもよいし、ＬｉＤＡＲセンサ３１０自体が行ってもよい。ＬｉＤＡＲの測距方向が重力方向に対してθの角度を持ち、測定距離がｄLの場合、ＧＰＳデータから得られる測距時の移動体１００の高度をＺGPSとすると、地表面の標高ｈgroundは下記の式１で求められる。
［式１］
ｈground＝ＺGPS－ｄLcosθ
また、標高ｈgroundを持つ測距の対象地点ＰLの位置は、移動体１００の位置および姿勢を示すＧＰＳデータおよびＩＭＵデータと、ＬｉＤＡＲセンサ３１０の測距結果を用いて、移動体の位置（ＰGPS）とＰL間の距離と方位角から求めることができる。ＰGPSからの距離と方位角を用いてＰLの緯度・経度を求める具体的な計算方法は、公知の参考文献[国土地理院技術資料Ｂ５－Ｎｏ１９]に記述されており、それを利用することができる。このようにして算出された標高が標高データとして画像合成処理に用いられる。
［２－３．合成画像作成処理］
次に、図２１のフローチャートを参照して合成画像作成処理の詳細について説明する。合成画像作成処理は、地表面の標高データを地図データから取得した場合、ＬｉＤＡＲで取得した場合どちらにおいても同様である。
まずステップＳ５１で、合成画像作成処理に使用する二つの座標系を定義する。定義する座標系は、移動体１００の移動に伴う撮像装置２００の撮像範囲を直交座標系で表した地上直交座標系ΣGと、画像合成のための画像の配置先となる合成画像座標系ΣIである。地上直交座標系ΣGが特許請求の範囲における第１の座標系に相当するものであり、合成画像座標系ΣIが第２の座標系に相当するものである。
地上直交座標系ΣGと、合成画像座標系ΣIを図２２に示す。地上直交座標系ΣGの原点は標高０ｍの撮像範囲の任意の地点としてメートル単位で表す。地上直交座標系ΣGのＸＹＺ軸の向きは、＋Ｘ方向を東、＋Ｙ方向を北、＋Ｚ方向は鉛直上向きとする。合成画像座標系ΣIは画像の座標系であるためピクセル単位となり、撮像範囲全域を網羅し、かつ、画像がはみ出ることのないようにする。ただし、画像のピクセル幅とピクセル高さは任意の解像度に設定できる。
次にステップＳ５２で、図１７に示す標高データベース中の緯度経度を地上直交座標系ΣGに変換する。この変換方法を図２３に示す。まず、地上直交座標系ΣGの原点ＰGと、図１７に示す標高データと緯度経度が対応した複数の位置の中の任意の位置Ｐhiの緯度経度から、この二点間の距離dと方位角θを求める。緯度経度から、二点間の距離d、方位角θを算出する方法は、公知である参考文献[国土地理院技術資料Ｂ５－Ｎｏ１９]に記載されており、これを使用することができる。
距離dと方位角θが求まると、地上直交座標系ΣGにおける任意の位置Ｐhiの座標（x,y）は、（d・cosθ, d・sinθ）と定まる。さらに元の標高データの高さをＰhiの高さとすれば、地上直交座標系ΣGにおけるＰhiの値が決定できる。
さらにステップＳ５２では、地上直交座標系ΣGへ変換した標高データベースを用いて、図２４に示すメッシュ構造を作成する。メッシュ構造は、標高データベースに含まれる各位置を隣接点で連結して三角形を作成していくことで作成する。ここで構成した各三角メッシュ情報は、後述する、画像の四隅の投影位置の算出において用いられる。
次にステップＳ５３で、移動体１００のＧＰＳモジュール１０２で取得したＧＰＳデータが示す移動体１００の位置、ＩＭＵモジュール１０３で取得したＩＭＵデータが示す移動体１００の姿勢を地上直交座標系ΣGに変換する。移動体１００の位置はＧＰＳデータにより緯度経度の情報として出力されるため、地上直交座標系ΣGに変換する必要があるが、その変換方法はステップＳ５２における標高データベースの地上直交座標系ΣGへの変換と同様である。
次にステップＳ５４で、地表面への画像の四隅の投影位置を地上直交座標系ΣGで算出する。画像の四隅とは、四角形状に構成された画像が有する４つの角の頂点をいうものである。図２５は、移動体１００に搭載された撮像装置２００から伸びる画像の四隅へのベクトルと、地表面の標高（メッシュ構造）を図示したものである。画像の四隅へ伸びるベクトルとメッシュ平面の交差する点が、算出すべき画像の四隅の投影位置となる。
ここで、画像の四隅の投影位置の算出方法について説明する。なお、以下の説明は画像の四隅のうちの１つの隅の投影位置を算出する方法である。この方法を四隅の全てに対して行うことにより画像の四隅全ての投影位置を算出することができる。
まず、図２６に示すように、標高データの最小単位となる三角メッシュの平面ＡＢＣを考える。平面ＡＢＣの単位法線ベクトルをｎ、ＡＢＣの中心座標をＰ０とすると、ｎは図２６に示すように式２を用いて外積から求められる。
［式２］
Figure 2023039993000002
次に図２７Ａに示すように、移動体１００の撮像装置２００の位置をＰd、撮像装置２００の焦点から画像の四隅の点へ伸びる単位ベクトルをＬとする。なお、実際は４本の単位ベクトルＬが存在するが、説明の便宜上図２７Ａでは１本のみ記載している。平面ＡＢＣと、撮像装置２００の位置Ｐdから伸びるベクトルが交点を持つと仮定した場合、そのベクトルはスカラ値ｄを用いてｄＬと表すことができる。
ここで、平面ＡＢＣ上にある任意の点Ｐが、(Ｐ－Ｐ０)・ｎ＝０、と表されることを利用すると、ベクトルｄＬと平面ＡＢＣが交差する点Ｌiは下記の式３を用いて求めることができる。
［式３］
Figure 2023039993000003
そして、平面ＡＢＣとベクトル（Ｌ０,ｄＬ）の交点Ｌiが平面ＡＢＣ内に含まれているかを調べる。図２７Ｂに示すように、交点Ｌiが平面ＡＢＣ内に含まれている場合は、Ｌiを画像の１つの隅の投影位置とする。
この処理を画像の四隅へのベクトル全てに対して行うことで画像の四隅の地表面への投影位置を算出することができる。
図２１のフローチャートの説明に戻る。次にステップＳ５５で、ステップＳ５４で算出した画像の四隅の投影位置を合成画像座標系ΣIに変換する。変換にはステップＳ５１で定義した地上直交座標系ΣGと合成画像座標系ΣIを用いる。図２８は、地上直交座標系ΣGと合成画像座標系ΣIの変換および画像の配置の概念図である。地上直交座標系ΣGにおける画像の四隅それぞれの投影位置を合成画像座標系ΣIへ変換することにより、画像は図２８に示すように合成画像座標系ΣIに投影されて配置される。これにより、図１５を参照して説明したように実際の画像サイズのまま画像が配置され、図１４で説明したように実際の撮像画像のサイズと異なるサイズで配置されて合成されてしまうということがない。
次にステップＳ５６で、ステップＳ５５で算出した画像の四隅の合成画像座標系ΣIへの投影位置に基づいて画像を配置する。画像を配置する際には、ステップＳ５５で算出した画像の四隅へ射影変換を行う。画像を正確に配置するためには、画像の四隅を正確に投影させる必要があるが、標高データベースに示される撮像範囲内の各位置の標高データは地表面の全ての位置の標高を示しているのではないため、標高データに示される標高が画像の四隅の標高を示しているとは限らない。よって、このように画像の四隅の地上直交座標系ΣGにおける位置をそれぞれ算出し、それを合成画像座標系ΣIに変換して投影することにより画像の配置を行う。これにより、画像を正確なサイズで配置して合成画像を作成することができる。
そしてステップＳ５７で、全ての画像に対してステップＳ５３乃至ステップＳ５６の処理を行い画像の配置を行ったか否かを判定する。全ての画像に対して行っていない場合には処理はステップＳ５３に進み、全ての画像を配置するまでステップＳ５３乃至ステップＳ５７を繰り返す（ステップＳ５７のＮｏ）。そして、全ての画像を配置した場合、処理は終了となり複数の撮像画像から構成された１つの合成画像が完成する（ステップＳ５７のＹｅｓ）。
以上のようにして第２の実施の形態における合成画像作成処理が行われる。なお、本実施の形態では測距センサとしてＬｉＤＡＲセンサを使用したが、距離を測定することができるセンサであればどのようなものを用いてもよい。また、本実施の形態では地表面の標高を地図データから取得する場合と、測距センサで取得する場合について説明したが、他の方法により地表面の標高を取得してもよい。例えば、移動体１００に搭載した撮像装置２００で同一の景色を撮像して得られた２つの画像（ステレオ画像）から視差を求め、三角法を用いて対象（地表面）までの距離を算出し、移動体１００の高度と地表面までの距離の差分を地表面の標高として算出する方法もある。地表面の標高を求めることができればどのような手法も採用することができる。
なお、画像に対応付けられたＧＰＳデータで示される位置に最も近い位置における標高データをその画像の四隅全ての標高と仮定して画像の配置を行ってもよい。
上述したように、第２の実施の形態では地表面の標高に応じて、配置する各画像のサイズが異なるものとなる。よって、複数枚の画像を配置して合成画像を作成する場合に画像と画像の間に隙間が生じるおそれがある。これに対して、図７に示す、撮像位置間距離の方向（移動体１００の進行方向）においては、撮像と撮像の間隔を短くすることにより画像間のオーバーラップを増やして隙間が生じることを防止することができる。また、図７に示す、移動体１００の飛行ルート間距離の方向においては、飛行ルート間の距離を短くすることにより画像間のオーバーラップを増やして隙間が生じることを防止することができる。これは、撮像用の移動体１００の飛行の前に、予め地図データ参照して飛行計画に組み込んでおいてもよい。また、ＬｉＤＡＲなどの測距センサで移動体１００の飛行および撮像と並行してリアルタイムに地表面の標高を取得し、標高に基づいてリアルタイムで移動体１００の飛行プログラムを変更して、オーバーラップ部分を増やすようにしてもよい。
実施の形態では移動体１００の飛行高度は一定であるとして説明を行っている。しかし、実際の移動体１００の飛行では飛行高度が変化することが考えられる。よって、移動体１００のＧＰＳモジュール１０２で得られる移動体１００の高度の変化に応じて補正を行うようにしてもよい。
＜３．変形例＞
以上、本技術の実施の形態について具体的に説明したが、本技術は上述の実施の形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。
移動体１００としてのドローンは実施の形態で説明したような回転翼を備えるものに限られず、いわゆる固定翼型であってもよい。
本技術の移動体１００はドローンに限られず、人の操縦を受けずに自動で移動する自動車、船舶、ロボットなどであってもよい。
ドローンを飛行させて上空から撮像を行う場合に限られず、移動体としての船舶に撮像装置２００とセンサ装置３００とを搭載して、船舶で移動しながら海中の画像を撮像し、合成画像として海底の地図を作成することにも適用可能である。
また、移動体としての自動車に撮像装置２００とセンサ装置３００とを搭載して、側面を向けた撮像装置２００で風景を撮像し、合成画像として道路沿いの風景のパノラマ写真を作成することにも適用可能である。
撮像装置２００がジンバルとしての機能を有するカメラマウントを介して移動体１００に搭載されておらず、一定の状態に固定されて搭載されている場合、移動体１００の姿勢と撮像装置２００の姿勢は等しくなる。この場合、移動体１００の傾きと撮像装置２００の傾きは等しくなるため、移動体１００、センサ装置３００、撮像装置２００のいずれか１つがＩＭＵモジュールを備えていればよい。なお、ジンバルとしての機能を有するカメラマウントを用いる場合であっても、例えば、カメラマウントの角度制御と連動させることで撮像装置２００の姿勢を推定することが可能である。この場合には、移動体１００、センサ装置３００、撮像装置２００のいずれか１つがＩＭＵモジュールを備えていればよい。
撮像装置２００は撮像素子を１つ備えるものに限られず２つ以上の複数の撮像素子を備えていてもよい。例えば、第１の撮像素子を可視光用の撮像素子とし、第２の撮像素子を赤外線用の撮像素子とすることができる。これにより、一度の撮像で複数種類の合成画像を作成することができる。例えば、赤外線画像を用いて農地を上空から撮像したマップ画像を作成した場合、そのマップ画像から農作物のクロロフィルを確認することにより農作物の状態を確認することができる。また、撮像装置２００は、異なる複数の波長領域（波長帯）の画像を取得するマルチスペクトラムカメラであってもよく、ＮＤＶＩ（Normalized Difference Vegetation Index）等の植生指標を確認する用途にも用いることができる。
実施の形態では、撮像装置２００とセンサ装置３００とを別個の装置として構成して移動体１００に搭載したが、撮像装置２００とセンサ装置３００とを一体の装置として構成して移動体１００に搭載してもよい。また、移動体１００が撮像装置２００とセンサ装置３００の機能を予め備えているように構成してもよい。
端末装置４００および／またはクラウド５００が撮像装置２００により撮像された画像とセンサ装置３００により取得されたセンサ情報とを受信し、画像とセンサ情報との対応付けを行ってもよい。
撮像装置２００としては、デジタルカメラ、スマートフォン、携帯電話機、携帯ゲーム機、ノートパソコン、タブレット端末など、撮像機能を備え、移動体１００に搭載させることができる機器であればどのようなものを用いてもよい。
撮像装置２００は入力部、表示部などを備えていてもよい。また、撮像装置２００は移動体１００と接続しない場合には単体で撮像装置として使用できるものであってもよい。
撮像装置２００もバッテリを備え、撮像装置２００のバッテリ６から移動体１００およびセンサ装置３００に電力供給を行うようにしてもよい。または、移動体１００、撮像装置２００、センサ装置３００の全てがバッテリを備えていてもよい。
本技術は以下のような構成も取ることができる。
（１）
移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
前記撮像指示に応じて前記撮像装置から送信される、前記撮像装置が前記画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、前記移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、
前記画像に前記センサ情報を対応づける
情報処理装置。
（２）
前記センサ情報は、前記移動体の高度情報をさらに含む（１）に記載の情報処理装置。
（３）
前記センサ情報は、前記移動体の傾き情報をさらに含む（１）または（２）に記載の情報処理装置。
（４）
複数の前記センサ情報から新たなセンサ情報を算出し、前記画像に、前記新たなセンサ情報を対応づける（１）から（３）のいずれかに記載の情報処理装置。
（５）
前記露光タイミングは、前記撮像装置が前記画像を撮像するための撮像指示が行われたタイミングである（１）から（４）のいずれかに記載の情報処理装置。
（６）
複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する（１）から（５）のいずれかに記載の情報処理装置。
（７）
複数の前記画像を前記センサ情報に基づいて位置を補正して配置する（６）に記載の情報処理装置。
（８）
前記センサ情報は、前記移動体の高度情報をさらに含み、
前記画像を前記高度情報に基づいて拡大または縮小して配置する（６）または（７）に記載の情報処理装置。
（９）
前記センサ情報は、前記移動体の傾き情報をさらに含み、
前記画像を前記傾き情報に基づいて台形補正および／または切り出し処理を施して配置する
請求項６に記載の情報処理装置。
（１０）
前記撮像装置により撮像される地表面の標高を示す標高データを取得し、該標高データを前記センサ情報に含まれる情報に対応付ける（１）から（９）のいずれかに記載の情報処理装置。
（１１）
前記標高データを前記画像に対応付ける（１０）に記載の情報処理装置。
（１２）
移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
前記撮像指示に応じて前記撮像装置から送信される、前記撮像装置が前記画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、前記移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、
前記画像に前記センサ情報を対応づける
情報処理方法。
（１３）
移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
前記撮像指示に応じて前記撮像装置から送信される、前記撮像装置が前記画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、前記移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、
前記画像に前記センサ情報を対応づける
情報処理方法をコンピュータに実行させる情報処理プログラム。
（１４）
撮像指示に応じて撮像装置から送信される、前記撮像装置が前記画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて取得された移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報が対応付けられた複数の画像の供給を受けて、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する
画像処理装置。
（１５）
前記移動体の移動に伴う前記撮像装置の撮像範囲に対応した第１の座標系と、前記画像を配置する面に対応した第２の座標系を定義し、
前記センサ情報と前記標高データとに基づき、前記画像の前記地表面への投影位置を前記第１の座標系で算出し、
前記投影位置を前記第２の座標系に変換することにより前記画像の配置を行う（１４）に記載の画像処理装置。
（１６）
前記画像の前記投影位置は、四角形状の前記画像の四隅のそれぞれについて算出される（１５）に記載の画像処理装置。
（１７）
前記画像の四隅の前記投影位置を前記第２の座標系に変換することにより、前記画像の配置を行う（１６）に記載の画像処理装置。
（１８）
移動体と、
前記移動体に搭載された撮像装置と、
前記移動体に搭載され、撮像指示に応じて前記撮像装置から送信される、前記撮像装置が前記画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、前記移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報を検出するセンサ装置と、
前記撮像装置により撮像された画像に前記センサ情報を対応付ける情報処理装置と
からなる画像処理システム。
１００・・・移動体
２００・・・撮像装置
３００・・・センサ装置
２５０・・・情報処理部
１０００・・画像処理システム

Claims (18)

  1. 移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
    前記撮像指示に応じて前記撮像装置から送信される、前記撮像装置が前記画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、前記移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、
    前記画像に前記センサ情報を対応づける
    情報処理装置。
  2. 前記センサ情報は、前記移動体の高度情報をさらに含む
    請求項１に記載の情報処理装置。
  3. 前記センサ情報は、前記移動体の傾き情報をさらに含む
    請求項１に記載の情報処理装置。
  4. 複数の前記センサ情報から新たなセンサ情報を算出し、前記画像に、前記新たなセンサ情報を対応づける
    請求項１に記載の情報処理装置。
  5. 前記露光タイミングは、前記撮像装置が前記画像を撮像するための撮像指示が行われたタイミングである
    請求項１に記載の情報処理装置。
  6. 複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する
    請求項１に記載の情報処理装置。
  7. 複数の前記画像を前記センサ情報に基づいて位置を補正して配置する
    請求項６に記載の情報処理装置。
  8. 前記センサ情報は、前記移動体の高度情報をさらに含み、
    前記画像を前記高度情報に基づいて拡大または縮小して配置する
    請求項６に記載の情報処理装置。
  9. 前記センサ情報は、前記移動体の傾き情報をさらに含み、
    前記画像を前記傾き情報に基づいて台形補正および／または切り出し処理を施して配置する
    請求項６に記載の情報処理装置。
  10. 前記撮像装置により撮像される地表面の標高を示す標高データを取得し、該標高データを前記センサ情報に含まれる情報に対応付ける
    請求項１に記載の情報処理装置。
  11. 前記標高データを前記画像に対応付ける
    請求項１０に記載の情報処理装置。
  12. 移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
    前記撮像指示に応じて前記撮像装置から送信される、前記撮像装置が前記画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、前記移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、
    前記画像に前記センサ情報を対応づける
    情報処理方法。
  13. 移動体に搭載された撮像装置により撮像指示に応じて撮像された画像を取得し、
    前記撮像指示に応じて前記撮像装置から送信される、前記撮像装置が前記画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、前記移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報をセンサ装置から取得し、
    前記画像に前記センサ情報を対応づける
    情報処理方法をコンピュータに実行させる情報処理プログラム。
  14. 撮像指示に応じて撮像装置から送信される、前記撮像装置が前記画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて取得された移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報が対応付けられた複数の画像の供給を受けて、複数の前記画像を前記センサ情報に基づいて配置することにより合成画像を作成する
    画像処理装置。
  15. 前記移動体の移動に伴う前記撮像装置の撮像範囲に対応した第１の座標系と、前記画像を配置する面に対応した第２の座標系を定義し、
    前記センサ情報と前記標高データとに基づき、前記画像の前記地表面への投影位置を前記第１の座標系で算出し、
    前記投影位置を前記第２の座標系に変換することにより前記画像の配置を行う
    請求項１４に記載の画像処理装置。
  16. 前記画像の前記投影位置は、四角形状の前記画像の四隅のそれぞれについて算出される
    請求項１５に記載の画像処理装置。
  17. 前記画像の四隅の前記投影位置を前記第２の座標系に変換することにより、前記画像の配置を行う
    請求項１６に記載の画像処理装置。
  18. 移動体と、
    前記移動体に搭載された撮像装置と、
    前記移動体に搭載され、撮像指示に応じて前記撮像装置から送信される、前記撮像装置が前記画像を撮像するために行った露光の開始または終了のタイミングである露光タイミングを示す信号に応じて、前記移動体の位置情報を含む前記露光タイミングの時点における最新のセンサ情報を検出するセンサ装置と、
    前記撮像装置により撮像された画像に前記センサ情報を対応付ける情報処理装置と
    からなる画像処理システム。
JP2022198842A 2017-04-28 2022-12-13 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム Active JP7556383B2 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2017090763 2017-04-28
JP2017090763 2017-04-28
JP2018024840 2018-02-15
JP2018024840 2018-02-15
PCT/JP2018/012289 WO2018198634A1 (ja) 2017-04-28 2018-03-27 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
JP2019515165A JP7251474B2 (ja) 2017-04-28 2018-03-27 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019515165A Division JP7251474B2 (ja) 2017-04-28 2018-03-27 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム

Publications (2)

Publication Number Publication Date
JP2023039993A true JP2023039993A (ja) 2023-03-22
JP7556383B2 JP7556383B2 (ja) 2024-09-26

Family

ID=63918279

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019515165A Active JP7251474B2 (ja) 2017-04-28 2018-03-27 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
JP2022198842A Active JP7556383B2 (ja) 2017-04-28 2022-12-13 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019515165A Active JP7251474B2 (ja) 2017-04-28 2018-03-27 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム

Country Status (6)

Country Link
US (3) US11341608B2 (ja)
EP (1) EP3618417B1 (ja)
JP (2) JP7251474B2 (ja)
CN (2) CN110537365B (ja)
AU (1) AU2018259895B2 (ja)
WO (1) WO2018198634A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11341608B2 (en) * 2017-04-28 2022-05-24 Sony Corporation Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images
TWI688502B (zh) * 2018-02-14 2020-03-21 先進光電科技股份有限公司 用於警告車輛障礙物的設備
JP2020088821A (ja) * 2018-11-30 2020-06-04 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ 画像生成装置、画像生成方法、プログラム、及び記録媒体
JP7288632B2 (ja) * 2019-08-06 2023-06-08 ヤンマーパワーテクノロジー株式会社 生育値算出方法、および生育値算出システム
JP7206530B2 (ja) * 2019-08-27 2023-01-18 日本電信電話株式会社 画像処理システム、画像処理装置、画像処理方法、およびプログラム
US11544899B2 (en) * 2019-10-15 2023-01-03 Toyota Research Institute, Inc. System and method for generating terrain maps
CN113220928B (zh) * 2020-01-21 2024-06-11 北京达佳互联信息技术有限公司 一种图像搜索方法、装置、电子设备及存储介质
CN115004695A (zh) * 2020-01-27 2022-09-02 索尼集团公司 成像控制设备和成像控制方法
AU2022439107A1 (en) 2022-02-01 2024-09-19 Landscan Llc Systems and methods for multispectral landscape mapping
WO2023175833A1 (ja) * 2022-03-17 2023-09-21 日本電気株式会社 画像処理装置、システム、方法、及びコンピュータ可読媒体

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2791151A (en) * 1953-05-06 1957-05-07 John T Pennington Method of and apparatus for aerotriangulation with convergent photography
US3251283A (en) * 1964-02-11 1966-05-17 Itek Corp Photographic system
US3992707A (en) * 1974-09-13 1976-11-16 Vereinigte Flugtechnische Werke-Fokker Gesellschaft Mit Beschrankter Haftung Reproduction of a field of view as scanned by a remote controlled aircraft
JP3541855B2 (ja) 1994-12-01 2004-07-14 朝日航洋株式会社 ３次元データ抽出方法及び装置
JP2947171B2 (ja) * 1996-05-08 1999-09-13 日本電気株式会社 航空写真作成装置
CA2484422A1 (en) * 2004-10-08 2006-04-08 Furgro Airborne Surveys Unmanned airborne vehicle for geophysical surveying
US7509212B2 (en) * 2005-01-24 2009-03-24 International Business Machines Corporation Enabling services on a UAV
US7725257B2 (en) * 2006-09-05 2010-05-25 Honeywell International Inc. Method and system for navigation of an ummanned aerial vehicle in an urban environment
JP2008304260A (ja) * 2007-06-06 2008-12-18 Mitsubishi Electric Corp 画像処理装置
US20100026822A1 (en) * 2008-07-31 2010-02-04 Itt Manufacturing Enterprises, Inc. Multiplexing Imaging System for Area Coverage and Point Targets
JP2010136302A (ja) * 2008-12-08 2010-06-17 Sony Corp 撮像装置、撮像方法、およびプログラム
US8462209B2 (en) 2009-06-26 2013-06-11 Keyw Corporation Dual-swath imaging system
US8624959B1 (en) * 2009-09-11 2014-01-07 The Boeing Company Stereo video movies
EP2423871B1 (en) * 2010-08-25 2014-06-18 Lakeside Labs GmbH Apparatus and method for generating an overview image of a plurality of images using an accuracy information
US9280852B2 (en) * 2010-11-08 2016-03-08 Sony Corporation Augmented reality virtual guide system
CN102255259A (zh) 2011-03-29 2011-11-23 山东鲁能智能技术有限公司 适合于无人飞行器的输电线路巡检装置
DE102011017564B4 (de) * 2011-04-26 2017-02-16 Airbus Defence and Space GmbH Verfahren und System zum Prüfen einer Oberfläche auf Materialfehler
EP2527787B1 (en) * 2011-05-23 2019-09-11 Kabushiki Kaisha TOPCON Aerial photograph image pickup method and aerial photograph image pickup apparatus
US8913784B2 (en) * 2011-08-29 2014-12-16 Raytheon Company Noise reduction in light detection and ranging based imaging
JP5947634B2 (ja) 2012-06-25 2016-07-06 株式会社トプコン 航空写真撮像方法及び航空写真撮像システム
JP5947164B2 (ja) 2012-09-04 2016-07-06 シャープ株式会社 無線通信端末、方法、およびプログラム
US9426451B2 (en) * 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography
CA2930989C (en) * 2013-11-25 2018-11-13 First Resource Management Group Inc. Apparatus for and method of forest-inventory management
US9751639B2 (en) * 2013-12-02 2017-09-05 Field Of View Llc System to control camera triggering and visualize aerial imaging missions
JP2015119323A (ja) 2013-12-18 2015-06-25 カシオ計算機株式会社 撮像装置、画像取得方法及びプログラム
US20150187390A1 (en) * 2013-12-30 2015-07-02 Lyve Minds, Inc. Video metadata
JP6555255B2 (ja) * 2014-04-25 2019-08-07 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
WO2015179797A1 (en) * 2014-05-23 2015-11-26 Lily Robotics, Inc. Unmanned aerial copter for photography and/or videography
US9052571B1 (en) * 2014-06-20 2015-06-09 nearmap australia pty ltd. Wide-area aerial camera systems
US10915673B2 (en) * 2014-07-01 2021-02-09 Scanifly, LLC Device, method, apparatus, and computer-readable medium for solar site assessment
US9948898B2 (en) 2014-08-22 2018-04-17 Verizon Patent And Licensing Inc. Using aerial imaging to provide supplemental information about a location
WO2016033754A1 (zh) 2014-09-03 2016-03-10 深圳市大疆创新科技有限公司 Uav及其清洁墙体的方法、采用该uav的墙体清洁系统
US9420177B2 (en) * 2014-10-10 2016-08-16 IEC Infrared Systems LLC Panoramic view imaging system with laser range finding and blind spot detection
JP6393912B2 (ja) * 2014-10-24 2018-09-26 株式会社ａｍｕｓｅ ｏｎｅｓｅｌｆ 測量システム、設定装置、設定プログラム及び記録媒体
US10752378B2 (en) * 2014-12-18 2020-08-25 The Boeing Company Mobile apparatus for pest detection and engagement
US11768508B2 (en) * 2015-02-13 2023-09-26 Skydio, Inc. Unmanned aerial vehicle sensor activation and correlation system
JP6494386B2 (ja) * 2015-04-10 2019-04-03 キヤノン株式会社 撮像装置およびその制御方法
US9576373B2 (en) * 2015-04-30 2017-02-21 Harris Corporation Geospatial imaging system providing segmentation and classification features and related methods
CN104853112B (zh) * 2015-05-06 2018-01-09 青岛海信移动通信技术股份有限公司 一种控制长曝光时间的方法及装置
CN104853113A (zh) * 2015-05-15 2015-08-19 零度智控（北京）智能科技有限公司 自适应调节相机曝光时间的装置及方法
JP6568722B2 (ja) 2015-06-01 2019-08-28 株式会社Ｎｔｔファシリティーズ 画像処理システム、画像処理方法及びプログラム
JP6326009B2 (ja) * 2015-06-29 2018-05-16 株式会社オプティム 無線航空機、位置情報出力方法及び無線航空機用プログラム。
JP6219002B2 (ja) 2015-08-07 2017-10-25 株式会社プロドローン 飛行制御装置およびこれを備える無人航空機
JP6596278B2 (ja) 2015-09-14 2019-10-23 オリンパス株式会社 情報処理装置、情報処理装置の制御方法、及び情報処理プログラム
JP6594180B2 (ja) * 2015-11-25 2019-10-23 キヤノン株式会社 撮像装置、撮像装置の制御方法及びプログラム
US10217283B2 (en) * 2015-12-17 2019-02-26 Google Llc Navigation through multidimensional images spaces
AU2017206966A1 (en) * 2016-01-13 2018-06-21 Vito Nv Method and system for geometric referencing of multi-spectral data
JP6733267B2 (ja) * 2016-03-31 2020-07-29 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
US20170294002A1 (en) * 2016-04-07 2017-10-12 Qualcomm Incorporated Systems and methods for adjusting an image
US11453494B2 (en) * 2016-05-20 2022-09-27 Skydio, Inc. Unmanned aerial vehicle area surveying
KR102268151B1 (ko) * 2016-06-20 2021-06-23 코그넥스코오포레이션 알려진 이동 중에 이동하는 물체의 3차원 측정을 위한 방법
US9911189B1 (en) * 2016-06-30 2018-03-06 Kitty Hawk Corporation Navigation based on downward facing sensors
WO2018022864A1 (en) * 2016-07-28 2018-02-01 The Texas A&M University System Method and apparatus for radiometric calibration and mosaicking of aerial images
US10926875B2 (en) * 2016-12-14 2021-02-23 Sanmina Corporation Devices and methods for facilitating capture of unmanned aerial vehicles
WO2018144929A1 (en) * 2017-02-02 2018-08-09 Infatics, Inc. (DBA DroneDeploy) System and methods for improved aerial mapping with aerial vehicles
US11341608B2 (en) * 2017-04-28 2022-05-24 Sony Corporation Information processing device, information processing method, information processing program, image processing device, and image processing system for associating position information with captured images
JP7152137B2 (ja) * 2017-08-28 2022-10-12 株式会社トプコン 写真測量システム及び写真測量方法
US10364027B2 (en) * 2017-10-24 2019-07-30 Loveland Innovations, LLC Crisscross boustrophedonic flight patterns for UAV scanning and imaging

Also Published As

Publication number Publication date
EP3618417A4 (en) 2020-05-06
JP7251474B2 (ja) 2023-04-04
CN110537365B (zh) 2022-09-02
US20230419445A1 (en) 2023-12-28
JPWO2018198634A1 (ja) 2020-03-05
US11341608B2 (en) 2022-05-24
WO2018198634A1 (ja) 2018-11-01
EP3618417B1 (en) 2023-12-13
JP7556383B2 (ja) 2024-09-26
US20220237738A1 (en) 2022-07-28
AU2018259895A1 (en) 2019-08-15
EP3618417A1 (en) 2020-03-04
CN115361482A (zh) 2022-11-18
US11756158B2 (en) 2023-09-12
US20200134783A1 (en) 2020-04-30
AU2018259895B2 (en) 2021-05-06
CN110537365A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
JP7251474B2 (ja) 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム
CN107504957B (zh) 利用无人机多视角摄像快速进行三维地形模型构建的方法
JP6803919B2 (ja) 飛行経路生成方法、飛行経路生成システム、飛行体、プログラム、及び記録媒体
JP6878567B2 (ja) ３次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体
JP6765512B2 (ja) 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体
Kim et al. Feasibility of employing a smartphone as the payload in a photogrammetric UAV system
Adams et al. Unmanned aerial vehicle data acquisition for damage assessment in hurricane events
JP5748561B2 (ja) 航空写真撮像方法及び航空写真撮像装置
JP6138326B1 (ja) 移動体、移動体の制御方法、移動体を制御するプログラム、制御システム、及び情報処理装置
Roca et al. Lidar-equipped uav for building information modelling
CN112113542A (zh) 一种无人机航摄建设用地土地专项数据验收的方法
WO2015106462A1 (zh) 一种无人机载成像高光谱几何校正的方法及系统
JP2008506167A (ja) 画像に関連するロケーションを確定する方法および装置
US11122209B2 (en) Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium
CN105758384A (zh) 一种无人机摇摆式倾斜摄影系统
WO2018214401A1 (zh) 移动平台、飞行体、支持装置、便携式终端、摄像辅助方法、程序以及记录介质
JP2017201261A (ja) 形状情報生成システム
JP2016223934A (ja) 位置補正システム、位置補正方法、および位置補正プログラム
Reich et al. Filling the Holes: potential of UAV-based photogrammetric façade modelling
Darwin et al. Light weight rotarywing UAV for large scale mapping applications
Persson et al. Real-time image processing on handheld devices and UAV
WO2020088397A1 (zh) 位置推定装置、位置推定方法、程序以及记录介质
JP6133057B2 (ja) ハンドヘルドカメラ画像に基づく地理的地図景観テクスチャの生成
Xuan et al. A combined sensor system of digital camera with LiDAR
Darwin et al. CAPABILITIES OF LOW COST AND FAST IMAGE ACQUISITION USING MICRO FIXED-WING UNMANNED AERIAL VEHICLE SYSTEM

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221222

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240123

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240726

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240826

R150 Certificate of patent or registration of utility model

Ref document number: 7556383

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150