JP2022002391A - 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 - Google Patents
形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2022002391A JP2022002391A JP2021139432A JP2021139432A JP2022002391A JP 2022002391 A JP2022002391 A JP 2022002391A JP 2021139432 A JP2021139432 A JP 2021139432A JP 2021139432 A JP2021139432 A JP 2021139432A JP 2022002391 A JP2022002391 A JP 2022002391A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image pickup
- information
- positions
- pickup device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 73
- 238000003384 imaging method Methods 0.000 claims abstract description 322
- 238000012545 processing Methods 0.000 claims description 69
- 238000004891 communication Methods 0.000 claims description 28
- 230000002194 synthesizing effect Effects 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 description 25
- 230000008569 process Effects 0.000 description 25
- 230000010365 information processing Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 16
- 101100099988 Arabidopsis thaliana TPD1 gene Proteins 0.000 description 8
- 101100352918 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) PTC1 gene Proteins 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000001174 ascending effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000013329 compounding Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011347 resin Substances 0.000 description 1
- 229920005989 resin Polymers 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体を提供する。【解決手段】複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得し、複数の撮像装置の中から、あらかじめ複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択し、各撮像位置において選択された撮像装置により撮像し、撮像装置ごとに撮像画像に基づいて被写体の形状を復元し、これらの形状を合成する。撮像装置を選択するとき、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択する。これにより、飛行体を停止することなく明暗差の激しい被写体の形状取得を高精度化することができる。【選択図】図8
Description
本開示は、飛行体により撮像された画像に基づき被写体の形状を生成する形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体に関する。
カメラ等の撮像装置を搭載し、予め設定された固定経路を飛行しながら撮像を行うプラットフォーム(例えば無人飛行体)が知られている(例えば特許文献1参照)。このプラットフォームは、地上基地から飛行経路や撮影指示等の命令を受け、その命令に従って飛行し、撮影を行って取得画像を地上基地に送る。プラットフォームは、撮影対象を撮影する場合、設定された固定経路を飛行しながら、プラットフォームと撮影対象との位置関係に基づいて、プラットフォームの撮像機器を傾斜して撮像する。
また従来、空中を飛行する無人飛行体(例えばUAV:Unmanned Aerial Vehicle)により撮影された空中写真等の撮像画像に基づいて、一定の撮像範囲における地面形状を形成することも知られている。無人飛行体による撮影(例えば空撮)を自動化するために、予め無人飛行体の飛行経路を生成する技術が用いられる。無人飛行体を用いて一定の撮像範囲の地上の三次元形状を形成するためには、予め生成した飛行経路に従って無人飛行体を飛行させ、無人飛行体が飛行経路中の異なる撮像位置において撮影した撮像画像を複数取得する必要がある。
地上の三次元形状を形成する際には、無人飛行体により異なる撮像位置において撮像した後、これらの撮像画像をベースにSFM(Structure from Motion)などの技術により撮像範囲における地面形状を復元することが一般的である。SFMにおいては、撮像画像から特徴点を検出しなければならない。それには撮像画像が適正露出であることが好ましく、撮像環境の光量を測定して自動的に露出設定を行う自動露出モード(AE)が使用されることが多い。しかしながら、無人飛行体に搭載されている撮像装置は、一回の露光で撮影できる光量の範囲(以下、「ダイナミックレンジ」という)に限界があり、被写体の明るさがダイナミックレンジの上限を超えると白飛びが発生し、下限を下回ると黒つぶれが発生するため、明暗差が大きい場合に暗部と明部にある形状を同時に取得することは困難である。そのため、明暗差の強い建物や直射日光の環境における建物の陰の部分、強い逆光環境のシーンなどを撮像する場合は、撮像画像の一部に白飛びもしくは黒つぶれが発生してしまい、その結果、その部分の特徴点を検出することが困難となり、取得できる情報が不足して、形状を正常に復元できなくなる問題が存在していた。
ダイナミックレンジの限界による白飛びや黒つぶれを回避する手段として、ハイダイナミックレンジ合成(HDR)が知られている。HDRでは、露出設定の異なる複数の画像を撮影し、これらを合成することで白飛びや黒つぶれの少ない幅広いダイナミックレンジを持つ画像(ハイダイナミックレンジイメージ)を生成する。しかしながら、HDRは同一の撮像位置からの複数の画像を取得する必要があり、飛行体による撮像のように移動しながら撮影する場合には不向きである。また、同一のカメラで撮像する場合は、HDRの素材となる画像を取得する際の露出設定にも限界がある。
一態様において、形状生成方法は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、各撮像位置において選択された撮像装置により撮像するステップと、撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元するステップと、撮像装置ごとに復元された形状を合成するステップと、を有し、撮像装置を選択するステップは、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップと、を含む。
少なくとも一つの撮像装置を選択するステップは、割合が第1の閾値以下である場合は、第1の撮像装置を選択し、割合が第1の閾値より大きい第2の閾値を超える場合は、第1の撮像装置より高い露光パラメータが設定された第2の撮像装置を選択し、割合が第1の閾値を超えかつ第2の閾値以下である場合は、第1の撮像装置及び第2の撮像装置の双方を選択するステップを含んでよい。
一態様において、モバイルプラットフォームにおける形状生成方法は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、複数の撮像位置に関する情報と、それぞれの撮像位置について選択された撮像装置に関する情報とを飛行体に送信するステップと、を有し、撮像装置を選択するステップは、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップと、を含む。
少なくとも一つの撮像装置を選択するステップは、割合が第1の閾値以下である場合は、第1の撮像装置を選択し、割合が第1の閾値より大きい第2の閾値を超える場合は、第1の撮像装置より高い露光パラメータが設定された第2の撮像装置を選択し、割合が第1の閾値を超えかつ第2の閾値以下である場合は、第1の撮像装置及び第2の撮像装置の双方を選択するステップを含んでよい。
各撮像位置において選択された撮像装置により撮像された画像を飛行体から取得するステップと、撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元するステップと、撮像装置ごとに復元された形状を合成するステップと、をさらに含んでよい。
撮像装置を選択するステップは、複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択してよい。
撮像装置を選択するステップは、光源の照射角度に関する情報を取得するステップと、それぞれの撮像位置における光源の遮断物に関する情報を取得するステップと、光源の照射角度に関する情報とそれぞれの撮像位置における光源の遮断物に関する情報とに基づいて、撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、を含んでよい。
光源の照射角度に関する情報を取得するステップは、時刻情報及び撮像位置の地理情報を取得するステップと、時刻情報及び地理情報を用いて、光源の照射角度に関する情報を推定するステップと、を含んでよい。
一態様において、形状生成のための飛行体における画像取得方法は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から選択された、複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を有する、において、撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である。
撮像に用いる撮像装置に関する情報を取得するステップは、複数の撮像位置のそれぞれについて、撮像に用いる撮像装置に関する情報をモバイルプラットフォームから受信するステップを含んでよい。
撮像に用いる撮像装置に関する情報を取得するステップは、それぞれの撮像位置について、撮像時の当該撮像位置における撮像領域の光量を測定するステップと、光量に基づき、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択して、撮像に用いる撮像装置に関する情報を生成するステップと、を含んでよい。
撮像に用いる撮像装置に関する情報を取得するステップは、それぞれの撮像位置について、光源の照射角度に関する情報を取得するステップと、撮像位置における光源の遮断物に関する情報を取得するステップと、光源の照射角度に関する情報と撮像位置における光源の遮断物に関する情報とに基づいて、撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定するステップと、割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択して撮像に用いる撮像装置に関する情報を生成するステップと、を含んでよい。
光源の照射角度に関する情報を取得するステップは、時刻情報及び撮像位置の地理情報を取得するステップと、時刻情報及び地理情報を用いて、光源の照射角度に関する情報を推定するステップと、を含んでよい。
撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合が第1の閾値以下である場合は、第1の撮像装置が選択され、割合が第1の閾値より大きい第2の閾値を超える場合は、第1の撮像装置より高い露光パラメータが設定された第2の撮像装置が選択され、割合が第1の閾値を超えかつ第2の閾値以下である場合は、第1の撮像装置及び第2の撮像装置の双方が選択されて生成されてよい。
撮像に用いる撮像装置に関する情報は、複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択されて生成されてよい。
撮像装置を用いて撮像するステップは、飛行体の移動中に、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報により特定された撮像装置を用いて撮像するステップを含んでよい。
複数の撮像位置において撮像された画像を、形状生成を行う情報処理装置に送信するステップをさらに含んでよい。
一態様において、モバイルプラットフォームは、記憶部と、飛行体との通信を行う通信部と、処理部と、を有し、処理部は、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得し、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択し、複数の撮像位置に関する情報と、それぞれの撮像位置について選択された撮像装置に関する情報とを通信部により飛行体に送信し、撮像装置を選択することを、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択することにより実現する。
処理部は、割合が第1の閾値以下である場合は、第1の撮像装置を選択し、割合が第1の閾値より大きい第2の閾値を超える場合は、第1の撮像装置より高い露光パラメータが設定された第2の撮像装置を選択し、割合が第1の閾値を超えかつ第2の閾値以下である場合は、第1の撮像装置及び第2の撮像装置の双方を選択してよい。
処理部は、さらに、各撮像位置において選択された撮像装置により撮像された画像を飛行体から取得し、撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元し、撮像装置ごとに復元された形状を合成してよい。
処理部は、複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択してよい。
処理部は、光源の照射角度に関する情報を取得し、それぞれの撮像位置における光源の遮断物に関する情報を取得し、光源の照射角度に関する情報とそれぞれの撮像位置における光源の遮断物に関する情報とに基づいて、撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定してよい。
処理部は、時刻情報及び撮像位置の地理情報を取得し、時刻情報及び地理情報を用いて、光源の照射角度に関する情報を推定してよい。
一態様において、飛行体は、記憶部と、モバイルプラットフォームとの通信を行う通信部と、処理部と、複数の撮像装置と、を有し、処理部は、飛行体の複数の撮像位置に関する情報を取得し、複数の撮像装置の中から選択された、複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得し、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像し、撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である。
処理部は、複数の撮像位置のそれぞれについて、撮像に用いる撮像装置に関する情報をモバイルプラットフォームから受信してよい。
光学センサをさらに有し、処理部は、それぞれの撮像位置について、撮像時の当該撮像位置における撮像領域の光量を測定し、光量に基づき、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定し、割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択して、撮像に用いる撮像装置に関する情報を生成してよい。
処理部は、それぞれの撮像位置について、光源の照射角度に関する情報を取得し、撮像位置における光源の遮断物に関する情報を取得し、光源の照射角度に関する情報と撮像位置における光源の遮断物に関する情報とに基づいて、撮像位置における撮像領域内の所定光量以下の部分が占める割合を推定し、割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択して撮像に用いる撮像装置に関する情報を生成してよい。
処理部は、時刻情報及び撮像位置の地理情報を取得し、時刻情報及び地理情報を用いて、光源の照射角度に関する情報を推定してよい。
撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合が第1の閾値以下である場合は、第1の撮像装置が選択され、割合が第1の閾値より大きい第2の閾値を超える場合は、第1の撮像装置より高い露光パラメータが設定された第2の撮像装置が選択され、割合が第1の閾値を超えかつ第2の閾値以下である場合は、第1の撮像装置及び第2の撮像装置の双方が選択されて生成されてよい。
撮像に用いる撮像装置に関する情報は、複数の撮像位置のうち少なくとも一つの撮像位置において、複数の撮像装置を選択されて生成されてよい。
処理部は、飛行体の移動中に、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報により特定された撮像装置を用いて撮像してよい。
処理部は、複数の撮像位置において撮像された画像を、形状生成を行う情報処理装置に送信してよい。
一態様において、コンピュータであるモバイルプラットフォームに、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと複数の撮像位置に関する情報と、それぞれの撮像位置について選択された撮像装置に関する情報とを飛行体に送信するステップと、を実行させ、撮像装置を選択するステップは、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップと、を含むプログラムである。
一態様において、コンピュータであるモバイルプラットフォームに、複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から、複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、複数の撮像位置に関する情報と、それぞれの撮像位置について選択された撮像装置に関する情報とを飛行体に送信するステップと、を実行させ、撮像装置を選択するステップは、それぞれの撮像位置について、当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置を選択するステップと、を含む、プログラムを格納する記憶媒体である。
一態様において、コンピュータである複数の撮像装置を有する飛行体に、飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から選択された、複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を実行させ、撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報であるプログラムである。
一態様において、コンピュータである複数の撮像装置を有する飛行体に、飛行体の複数の撮像位置に関する情報を取得するステップと、複数の撮像装置の中から選択された、複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、複数の撮像位置のそれぞれについて、取得された撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を実行させ、撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報であるプログラムを格納する記憶媒体である。
なお、上記の発明の概要は、本開示の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
以下、発明の実施の形態を通じて本開示を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。但し、それ以外の場合、一切の著作権を留保する。
本開示に係る形状生成方法は、移動体の一例としての無人飛行体(UAV:Unmanned Aerial Vehicle)と、無人飛行体の動作又は処理を遠隔で制御するためのモバイルプラットフォームと、画像の複合や合成処理を行う計算機(PC)とを含む形状生成システムにおける各種の処理(ステップ)が規定されたものである。
本開示に係る形状生成のための飛行体の画像取得方法は、本開示に係る形状生成方法のうち、無人飛行体における各種の処理(ステップ)が規定されたものである。
本開示に係るモバイルプラットフォームにおける形状生成方法は、本開示に係る形状生成方法のうち、送信機における各種の処理(ステップ)が規定されたものである。
本開示に係る飛行体は、空中を移動する航空機(例えばドローン、ヘリコプター)を含む。飛行体は、複数の撮像装置を有する無人飛行体であってもよく、撮像範囲における被写体(例えば一定の範囲内の建物、道路、公園等の地面形状)を撮像するために、あらかじめ設定された飛行経路に沿って飛行し、飛行経路上に設定されている複数の撮像位置(後述するウェイポイント)において撮像する。
本開示に係るモバイルプラットフォームは、コンピュータであって、例えば無人飛行体の移動を含む各種処理の遠隔制御を指示するための送信機、送信機と情報やデータの入出力が可能に接続された端末装置、又は無人飛行体と情報やデータの入出力が可能に接続されたPC、タブレット等の情報処理装置である。なお、無人飛行体自体がモバイルプラットフォームとして含まれてよい。
本開示に係るプログラムは、無人飛行体又はモバイルプラットフォームに各種の処理(ステップ)を実行させるためのプログラムである。
本開示に係る記録媒体は、プログラム(つまり、無人飛行体又はモバイルプラットフォームに各種の処理(ステップ)を実行させるためのプログラム)が記録されたものである。
本開示に係る各実施形態において、無人飛行体100は、撮像範囲内にあらかじめ設定された飛行経路に沿って飛行する。
飛行経路は、従来のいかなる方法によって設定してもよく、例えば既存のアルゴリズムにより設定された当該範囲内を最短距離で飛行する経路、最短時間で飛行する経路又はもっとも節電できる経路であってよい。
飛行経路は、複数の撮像位置(つまり、ウェイポイント)の情報を含む。無人飛行体100は、設定された経路に沿って順次移動し、ウェイポイントにおいて撮像をする。
なお、それぞれのウェイポイントは、隣接するウェイポイントにおける撮像領域がオーバーラップする間隔で設定されていることが好ましい。これにより、撮像範囲全体の特徴点を検出することができ、撮像画像からSFM技術などにより形状復元するときに、撮像範囲における完全な形状を形成するための情報が不足することを回避することができる。
図1は、各実施形態の形状生成システムの構成例を示す図である。図1に示す形状生成システム10は、無人飛行体100と送信機50とを少なくとも含む。好ましくは、さらに、撮像された画像を複合、合成するための図示しない情報処理装置(例えばPC、タブレットなど)を含む。無人飛行体100と送信機50とは、有線通信又は無線通信(例えば無線LAN(Local Area Network)、又はBluetooth(登録商標))を用いて、情報やデータを互いに通信することが可能である。なお、図1では、送信機50の筐体に端末装置が取り付けられた様子の図示が省略されている。操作端末の一例としての送信機50は、例えば送信機50を使用する人物(以下、「ユーザ」という)の両手で把持された状態で使用される。
図2は、無人飛行体100の外観の一例を示す図である。図3は、無人飛行体100の具体的な外観の一例を示す図である。無人飛行体100が移動方向STV0に飛行する時の側面図が図2に示され、無人飛行体100が移動方向STV0に飛行する時の斜視図が図3に示されている。無人飛行体100は、例えば二つの撮像装置220−1,220−2を備えて移動する移動体の一例である。移動体とは、無人飛行体100の他、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶等を含む概念である。ここで、図2及び図3に示すように、地面と平行であって移動方向STV0に沿う方向にロール軸(図2及び図3のx軸参照)が定義されたとする。この場合、地面と平行であってロール軸に垂直な方向にピッチ軸(図2及び図3のy軸参照)が定められ、更に、地面に垂直であってロール軸及びピッチ軸に垂直な方向にヨー軸(図2及び図3のz軸)が定められる。
無人飛行体100は、UAV本体102と、ジンバル200と、複数の撮像装置220−1、220−2と、複数の障害物センサ230とを含む構成である。無人飛行体100は、本開示に係るモバイルプラットフォームの一例としての送信機50から送信される遠隔制御の指示を基に移動することができる。無人飛行体100の移動は、飛行を意味し、少なくとも上昇、降下、左旋回、右旋回、左水平移動、右水平移動の飛行が含まれる。
UAV本体102は、複数の回転翼を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人飛行体100を移動させる。UAV本体102は、例えば4つの回転翼を用いて無人飛行体100を移動させる。回転翼の数は、4つに限定されない。また、無人飛行体100は、回転翼を有さない固定翼機でよい。
撮像装置220−1、撮像装置220−2は、所望の撮像範囲に含まれる被写体(例えば上述した建物、道路、公園等の地面形状)を撮像するカメラである。以下において、二つの撮像装置220−1、撮像装置220−2が一つのジンバル200に取り付けられている例を示すが、実際はそれぞれ異なるジンバル200に取り付けられ、別々に制御できるようになっていてよい。また、撮像装置の数量は2つに限らず、より多く備えていてよい。
複数の障害物センサ230は、無人飛行体の周囲の障害物を検出することができる。
次に、無人飛行体100の構成例について説明する。
図4は、図1の形状生成システム10を構成する無人飛行体100のハードウェア構成の一例を示すブロック図である。無人飛行体100は、UAV処理部110と、通信インタフェース150と、メモリ160と、ジンバル200と、回転翼機構210と、撮像装置220−1、撮像装置220−2と、障害物センサ230と、GPS受信機240と、バッテリ250と、光学センサ260と、タイマ270とを含む構成である。
UAV処理部110は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。UAV処理部110は、無人飛行体100の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
UAV処理部110は、メモリ160に格納されたプログラムに従って無人飛行体100の飛行を制御する。UAV処理部110は、通信インタフェース150を介して遠隔の送信機50から受信した命令に従って、無人飛行体100の移動(つまり、飛行)を制御する。メモリ160は、無人飛行体100から取り外し可能であってよい。
通信インタフェース150は、送信機50と通信する(図4参照)。通信インタフェース150は、遠隔の送信機50からUAV処理部110に対する各種の命令を受信する。
メモリ160は、UAV処理部110がジンバル200、回転翼機構210、撮像装置220−1、撮像装置220−2、障害物センサ230、GPS受信機240、バッテリ250、光学センサ260及びタイマ270を制御するのに必要なプログラム等を格納する。メモリ160は、コンピュータ読み取り可能な記録媒体でよく、SRAM(Static Random Access Memory)、DRAM(Dynamic Random Access Memory)、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read-Only Memory)、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ160は、UAV本体102の内部に設けられてよい。UAV本体102から取り外し可能に設けられてよい。
ジンバル200は、少なくとも1つの軸を中心に撮像装置220−1、撮像装置220−2を回転可能に支持する。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像装置220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置220−1、撮像装置220−2を回転させることで、撮像装置220の撮像方向を変更してよい。また、上述したように、撮像装置220−1、撮像装置220−2それぞれに一つずつジンバルが設けられる構成であってよい。
回転翼機構210は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。
撮像装置220−1、撮像装置220−2は、所望の撮像範囲の被写体を撮像して撮像画像のデータを生成する。二つの撮像装置220−1、撮像装置220−2は同一の画角でありかつ異なる露光パラメータが設定されていることが好ましい。撮像装置220−1、撮像装置220−2の撮像により得られた画像データは、撮像装置220−1、撮像装置220−2がそれぞれ有するメモリ、又はメモリ160に格納される。好ましくは、画像データは撮像装置ごとに格納される。
障害物センサ230は、例えば赤外線センサ、撮像装置、超音波センサなどであり、無人飛行体100の周囲の障害物を検出し、その情報をUAV処理部110に出力する。
GPS受信機240は、複数の航法衛星(つまり、GPS衛星)から発信された時刻及び各GPS衛星の位置(座標)を示す複数の信号を受信する。GPS受信機240は、受信された複数の信号に基づいて、GPS受信機240の位置(つまり、無人飛行体100の位置)を算出する。GPS受信機240は、無人飛行体100の位置情報をUAV処理部110に出力する。なお、GPS受信機240の位置情報の算出は、GPS受信機240の代わりにUAV処理部110により行われてよい。この場合、UAV処理部110には、GPS受信機240が受信した複数の信号に含まれる時刻及び各GPS衛星の位置を示す情報が入力される。
バッテリ250は、無人飛行体100の各部の駆動源としての機能を有し、無人飛行体100の各部に必要な電源を供給する。
光学センサ260は、撮像領域における光量を検出し、検出結果をUAV処理部110に出力する。
タイマ270は、時刻情報を管理し、UAV処理部110に出力する。
次に、送信機50の構成例について説明する。
図5は、送信機50の外観の一例を示す斜視図である。送信機50に対する上下前後左右の方向は、図5に示す矢印の方向にそれぞれ従うとする。送信機50は、例えば送信機50を使用するユーザの両手で把持された状態で使用される。
送信機50は、例えば略正方形状の底面を有し、かつ高さが底面の一辺より短い略直方体(言い換えると、略箱形)の形状をした樹脂製の筐体50Bを有する。送信機50の具体的な構成は図6を参照して後述する。送信機50の筐体表面の略中央には、左制御棒53Lと右制御棒53Rとが突設して配置される。
左制御棒53L、右制御棒53Rは、それぞれユーザによる無人飛行体100の移動を遠隔で制御(例えば、無人飛行体100の前後移動、左右移動、上下移動、向き変更)するための操作において使用される。図5では、左制御棒53L及び右制御棒53Rは、ユーザの両手からそれぞれ外力が印加されていない初期状態の位置が示されている。左制御棒53L及び右制御棒53Rは、ユーザにより印加された外力が解放された後、自動的に所定位置(例えば図5に示す初期位置)に復帰する。
左制御棒53Lの手前側(言い換えると、ユーザ側)には、送信機50の電源ボタンB1が配置される。電源ボタンB1がユーザにより一度押下されると、例えば送信機50に内蔵されるバッテリ(不図示)の容量の残量がバッテリ残量表示部L2において表示される。電源ボタンB1がユーザによりもう一度押下されると、例えば送信機50の電源がオンとなり、送信機50の各部(図6参照)に電源が供給されて使用可能となる。
右制御棒53Rの手前側(言い換えると、ユーザ側)には、RTH(Return To Home)ボタンB2が配置される。RTHボタンB2がユーザにより押下されると、送信機50は、無人飛行体100に所定の位置に自動復帰させるための信号を送信する。これにより、送信機50は、無人飛行体100を所定の位置(例えば無人飛行体100が記憶している離陸位置)に自動的に帰還させることができる。RTHボタンB2は、例えば屋外での無人飛行体100による空撮中にユーザが無人飛行体100の機体を見失った場合、又は電波干渉や予期せぬトラブルに遭遇して操作不能になった場合等に利用可能である。
電源ボタンB1及びRTHボタンB2の手前側(言い換えると、ユーザ側)には、リモートステータス表示部L1及びバッテリ残量表示部L2が配置される。リモートステータス表示部L1は、例えばLED(Light Emission Diode)を用いて構成され、送信機50と無人飛行体100との無線の接続状態を表示する。バッテリ残量表示部L2は、例えばLEDを用いて構成され、送信機50に内蔵されたバッテリ(不図示)の容量の残量を表示する。
左制御棒53L及び右制御棒53Rより後側であって、かつ送信機50の筐体50Bの後方側面から、2つのアンテナAN1,AN2が突設して配置される。アンテナAN1,AN2は、ユーザの左制御棒53L及び右制御棒53Rの操作に基づき、送信機処理部61により生成された信号(つまり、無人飛行体100の移動を制御するための信号)を無人飛行体100に送信する。アンテナAN1,AN2は、例えば2kmの送受信範囲をカバーできる。また、アンテナAN1,AN2は、送信機50と無線接続中の無人飛行体100が有する撮像装置220−1,220−2により撮像された画像、又は無人飛行体100が取得した各種データが無人飛行体100から送信された場合に、これらの画像又は各種データを受信できる。
タッチパネルディスプレイTPD1は、例えばLCD(Crystal Liquid Display)又は有機EL(Electroluminescence)を用いて構成される。タッチパネルディスプレイTPD1の形状、サイズ、及び配置位置は任意であり、図6の図示例に限られない。
図6は、図1の形状生成システム10を構成する送信機50のハードウェア構成の一例を示すブロック図である。送信機50は、左制御棒53Lと、右制御棒53Rと、送信機処理部61と、無線通信部63と、メモリ64と、電源ボタンB1と、RTHボタンB2と、操作部セットOPSと、リモートステータス表示部L1と、バッテリ残量表示部L2と、タッチパネルディスプレイTPD1とを含む構成である。送信機50は、無人飛行体100を遠隔制御するための操作端末の一例である。
左制御棒53Lは、例えばユーザの左手により、無人飛行体100の移動を遠隔で制御するための操作に使用される。右制御棒53Rは、例えばユーザの右手により、無人飛行体100の移動を遠隔で制御するための操作に使用される。無人飛行体100の移動は、例えば前進する方向の移動、後進する方向の移動、左方向の移動、右方向の移動、上昇する方向の移動、下降する方向の移動、左方向に無人飛行体100を回転する移動、右方向に無人飛行体100を回転する移動のうちいずれか又はこれらの組み合わせであり、以下同様である。
電源ボタンB1は一度押下されると、一度押下された旨の信号が送信機処理部61に入力される。送信機処理部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)の容量の残量をバッテリ残量表示部L2に表示する。これにより、ユーザは、送信機50に内蔵されるバッテリの容量の残量を簡単に確認できる。また、電源ボタンB1は二度押下されると、二度押下された旨の信号が送信機処理部61に渡される。送信機処理部61は、この信号に従い、送信機50に内蔵されるバッテリ(不図示)に対し、送信機50内の各部への電源供給を指示する。これにより、ユーザは、送信機50の電源がオンとなり、送信機50の使用を簡単に開始できる。
RTHボタンB2は押下されると、押下された旨の信号が送信機処理部61に入力される。送信機処理部61は、この信号に従い、無人飛行体100に所定の位置(例えば無人飛行体100の離陸位置)に自動復帰させるための信号を生成し、無線通信部63及びアンテナAN1,AN2を介して無人飛行体100に送信する。これにより、ユーザは、送信機50に対する簡単な操作により、無人飛行体100を所定の位置に自動で復帰(帰還)させることができる。
操作部セットOPSは、複数の操作部(例えば操作部OP1,…,操作部OPn)(n:2以上の整数)を用いて構成される。操作部セットOPSは、図5に示す左制御棒53L、右制御棒53R、電源ボタンB1及びRTHボタンB2を除く他の操作部(例えば、送信機50による無人飛行体100の遠隔制御を支援するための各種の操作部)により構成される。ここでいう各種の操作部とは、例えば、無人飛行体100の撮像装置220を用いた静止画の撮像を指示するボタン、無人飛行体100の撮像装置220を用いた動画の録画の開始及び終了を指示するボタン、無人飛行体100のジンバル200(図4参照)のチルト方向の傾きを調整するダイヤル、無人飛行体100のフライトモードを切り替えるボタン、無人飛行体100の撮像装置220の設定を行うダイヤルが該当する。
また、操作部セットOPSは、無人飛行体100のウェイポイントを生成するための入力パラメータの情報を入力するパラメータ操作部OPAを有する。パラメータ操作部OPAは、スティック、ボタン、キー、タッチパネル、等により形成されてよい。パラメータ操作部OPAは、左制御棒53L、右制御棒53Rにより形成されてよい。パラメータ操作部OPAにより入力パラメータに含まれる各パラメータを入力するタイミングは、全て同じでも異なってよい。
リモートステータス表示部L1及びバッテリ残量表示部L2は、図5を参照して説明したので、ここでは説明を省略する。
送信機処理部61は、プロセッサ(例えばCPU、MPU又はDSP)を用いて構成される。送信機処理部61は、送信機50の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
無線通信部63は、2つのアンテナAN1,AN2と接続される。無線通信部63は、2つのアンテナAN1,AN2を介して、無人飛行体100との間で所定の無線通信方式(例えばWifi(登録商標))を用いた情報やデータの送受信を行う。無線通信部63は、送信機処理部61からの入力パラメータの情報を、無人飛行体100へ送信する。
メモリ64は、例えば送信機処理部61の動作を規定するプログラムや設定値のデータが格納されたROM(Read Only Memory)と、送信機処理部61の処理時に使用される各種の情報やデータを一時的に保存するRAM(Random Access Memory)とを有する。メモリ64のROMに格納されたプログラムや設定値のデータは、所定の記録媒体(例えばCD−ROM、DVD−ROM)にコピーされてよい。メモリ64のRAMには、例えば無人飛行体100の撮像装置220により撮像された空撮画像のデータが保存される。
タッチパネルディスプレイTPD1は、送信機処理部61により処理された各種データを表示してよい。タッチパネルディスプレイTPD1は、入力された入力パラメータの情報を表示する。従って、送信機50のユーザは、タッチパネルディスプレイTPD1を参照することで、入力パラメータの内容を確認できる。
なお、送信機50は、タッチパネルディスプレイTPD1を備える代わりに、端末装置と有線又は無線により接続されてよい。端末装置には、タッチパネルディスプレイTPD1と同様に、入力パラメータの情報が表示されてよい。端末装置は、スマートフォン、タブレット端末、PC(Personal Computer)等でよい。また、端末装置が入力パラメータの少なくとも1つを入力し、入力パラメータを有線通信又は無線通信で送信機50へ送り、送信機50の無線通信部63が無人飛行体100へ入力パラメータを送信してよい。
また、無人飛行体100の動作は、送信機50による操作に基づく場合以外に、後述するように、あらかじめ設定された飛行経路に沿って飛行し、撮像するものであってよい。
以下において、本開示に係る形状生成システムにおける処理の各実施形態を図面と共に説明する。図7は、各実施形態の撮像範囲の一例を示す図である。本開示に係る形状生成システムの特徴を分かり易く説明するために、以下の各実施形態において、無人飛行体が図7に示すような長方形の地上形状(撮像範囲A)を空中撮像する際、建物、山などによって太陽光が遮断され形成された円形の陰が撮像範囲Aの中央から左寄りに存在する場合を例にとるが、実際はこれに限られない。本開示は、例えば室内環境の撮像において、家具や置物などにより照明が遮断される場合など、他のいかなるシチュエーションにも適用することができる。無論、撮像範囲は長方形以外の不規則かつ複雑な範囲であってよく、撮像範囲に含まれる陰の数量及びそれぞれの陰の形状も多様であってもよい。
(第1の実施形態)
図8は、第1の実施形態にかかる形状生成システムにおける処理を示すシーケンス図である。本実施形態における形状生成システムは、送信機50と、撮像装置220−1(撮像装置1)及び撮像装置220−2(撮像装置2)を備える無人飛行体100と、情報処理装置(例えばPC、タブレットなど)とが含まれている。
図8は、第1の実施形態にかかる形状生成システムにおける処理を示すシーケンス図である。本実施形態における形状生成システムは、送信機50と、撮像装置220−1(撮像装置1)及び撮像装置220−2(撮像装置2)を備える無人飛行体100と、情報処理装置(例えばPC、タブレットなど)とが含まれている。
まず、送信機50が撮像装置1及び撮像位置(ウェイポイント)に関する情報を取得する(ステップS11)。ウェイポイントに関する情報は、撮像範囲A内にあらかじめ設定された飛行経路に基づいて確定した無人飛行体100が撮像動作を行う地図上の座標情報である。
飛行経路は、送信機50や送信機50に接続された端末装置(スマートフォン、タブレット等)、あるいは他の端末装置が従来の手法により設定したものであり、例えば撮像範囲A内を最短距離で飛行する経路、最短時間で飛行する経路又はもっとも節電できる経路であってよい。
ウェイポイントに関する情報には、例えば経度、緯度、高度の情報が含まれてよい。このとき、送信機50はその内蔵するメモリに記録されているウェイポイントに関する情報を取得してよいし、無線通信部63を介して、外部からウェイポイントに関する情報を取得してよい。
図9は、撮像範囲Aにおける飛行経路及び複数の撮像位置を模式的に示す図である。図9に示すように、撮像範囲Aには24個のウェイポイントが飛行経路上に設けられている。すなわち、無人飛行体100は、後述する撮像処理(ステップS13)において、ウェイポイント1で1回目の撮像を行った後、矢印の方向に飛行し、ウェイポイント2を通過するときに2回目の撮像を行い、その後再び矢印の方向に飛行しウェイポイント3を通過するときに3回目の撮像を行う。このように、飛行と撮像を繰り返して、ウェイポイント24において24回目の撮像を行った後、空撮を終了する。
なお、ウェイポイントは、隣接するウェイポイントにおける撮像画像がオーバーラップする間隔で設定されていることが好ましい。これにより、情報処理装置が取得された複数の画像から確実に撮像範囲Aの形状を復元するときに、撮像範囲Aにおける完全な形状を形成するための情報が不足することを回避することができる。
次に、各ウェイポイントで使用する撮像装置を選択する(ステップS12)。本実施形態において、無人飛行体100は、露光パラメータが異なる二つの撮像装置(撮像装置1、撮像装置2)を備えており、ウェイポイントごとに撮像装置1のみを使用して撮像すること、又は撮像装置2のみを使用して撮像すること、又は撮像装置1と撮像装置2を同時に使用して撮像することのいずれか一つを選択する。
図10は、撮像装置を選択するステップ(ステップS12)の一例を示すフロー図である。図10に示すように、まずは当該ウェイポイントにおける撮像領域内の陰の部分が占める割合を取得する(ステップS121)。本実施形態において、撮像範囲Aには直射日光が当たる明部と建物などにより太陽の光が遮断されて形成される陰である暗部が含まれ、明暗差が大きい環境となっている。そこで、所定光量以下の部分を「陰の部分」と定義する。
送信機50は、陰の部分が占める割合を光源の照射角度及び光源の遮断物に関する情報に基づいて推定することができる。
本実施形態において、光源の照射角度とは太陽の照射角度を指す。送信機50は、例えば時刻情報と当該ウェイポイントの位置情報により太陽の照射角度を推定することができる。
この場合、送信機50は、時刻情報を例えば内蔵されているタイマから取得してよいし、GPS、インターネットなどを通じて外部から取得してよい。ウェイポイントの位置情報は、ステップS11において取得したウェイポイントに関する情報に含まれている経度、緯度、高度の情報であってよい。
なお、光源の遮断物に関する情報は、例えば送信機50がインターネット上の3次元地図データベースを参照して、撮像領域の概略形状(例えば既存の標高地図など)を取得してよい。
送信機50は、当該ウェイポイントにおいて陰の部分が占める割合を取得した後、当該割合に基づいて使用する撮像装置を選択する。
具体的には、送信機50は、陰の部分が占める割合が30%(第1の閾値)以下である場合(ステップS122における「YES」)は、露光量が比較的低い露光パラメータを有する撮像装置1を選択する(ステップS123)。これにより、撮像領域のうち日向の部分が適正露出となる画像を取得することが期待できる。
一方、送信機50は、陰の部分が占める割合が70%(第2の閾値)を超える場合(ステップS124における「NO」)は、露光量が比較的高い露光パラメータを有する撮像装置2を選択する(ステップS125)。これにより、撮像領域のうち日陰の部分が適正露出となる画像を取得することが期待できる。
さらに、送信機50は、陰の部分が占める割合が30%(第1の閾値)を超え、かつ70%(第2の閾値)以下である場合(ステップS124における「NO」)は、撮像装置1と撮像装置2の双方を選択する(ステップS126)。これにより、日陰の部分が適正露出となる画像と日向の部分が適正露出となる画像の双方を取得することが期待できる。
なお、上記の30%及び70%はそれぞれ第1の閾値、第2の閾値の一例にすぎず、実際は必要に応じて他の数値を設定してよい。
好ましくは、少なくとも一つのウェイポイントにおいて、送信機50が撮像装置1と撮像装置2の双方を選択するように第1の閾値及び第2の閾値が設定される。これにより、後述する撮像装置1が撮像した画像の特徴点により復元された形状と、撮像装置2が撮像した画像の特徴点により復元された形状の少なくとも一部がオーバーラップし、撮像された複数の画像間の位置関係を正確に識別することができるだけでなく、情報処理装置による復元に必要な情報が不足しないことが保証される。
図11は、各ウェイポイントにおいて撮像装置が選択された状態を模式的に示す図である。図11において、撮像装置1が選択された場合は「○」と示しており、撮像装置2が選択された場合は「□」と示している。
図11に示すように、送信機50は、ウェイポイント1〜7,11〜14,18〜24は日向の部分であり、陰の部分が占める割合が30%以下であるため、撮像装置1を選択する。ウェイポイント8,10,15,17は日陰と日向の境界線上にあり、日陰の部分が30%を超え、かつ70%以下であるため、撮像装置1と撮像装置2の双方を選択する。ウェイポイント9,16は日陰に入っており、陰の部分が占める割合が70%を超えるため、撮像装置2を選択する。
各ウェイポイントについて使用する撮像装置が選択された(ステップS12)後、図8に戻り、送信機50は、選択された結果に基づいて、ウェイポイントごとの撮像装置に関する情報を生成し、ウェイポイントに関する情報と各ウェイポイントにおいて使用する撮像装置に関する情報を無人飛行体100に送信する。
ウェイポイントに関する情報と各ウェイポイントにおいて使用する撮像装置に関する情報は、送信機50が無線または有線の通信方式により無人飛行体100に送信してよい。また、送信機50がこれらの情報をメモリーカードなどの記憶媒体に記録して、その記憶媒体を無人飛行体に挿入するなどの他のいかなる方法により伝送してよい。
無人飛行体100は、ウェイポイントに関する情報と各ウェイポイントにおいて使用する撮像装置に関する情報をそれぞれ受信した後、飛行経路に沿って飛行し、各ウェイポイントにおいて選択された撮像装置を用いて撮像を行う(ステップS13)。
好ましくは、無人飛行体100はその移動中に(すなわち、ウェイポイントに到達した時点で停止せずに)撮像を行う。これにより、無人飛行体100は、空撮時間を短縮することができるだけでなく、無人飛行体100を停止、再起動させるための電力を節約することもできる。
無人飛行体100はステップS13において撮像された画像を、撮像装置ごとに、撮像装置に内蔵されたメモリまたは無人飛行体に内蔵されているメモリに記憶することが好ましい。
無人飛行体100は、空撮が終わると、撮像した画像を情報処理装置に送信する。
これらの画像は、無人飛行体100が無線または有線の通信方式により情報処理装置に送信されてよいし、無人飛行体100がメモリーカードなどの記憶媒体に記録して、その記憶媒体を情報処理装置に挿入するなどの他のいかなる方法により伝送してよい。
画像を受信した情報処理装置は、撮像装置ごとに、SFM(Structure from Motion)などの従来の手法により被写体の形状を復元する(ステップS14)。
図12は、撮像装置ごとに形状を復元し、形成することを模式的に示す図である。図12に示すように、撮像装置1により撮像した画像を形状復元すると、日向の部分及び日陰と日向の境界線付近が正常に復元され、日陰の深い部分の情報が欠如している(左側の形状のBを参照)。これは、ウェイポイント9、16のような陰の部分が占める割合が70%を超える場合には、撮像装置1で撮像してないため、情報が不足しているからである。その反面、B以外の部分では特徴点が効率よく検出され、正常に復元できる。
一方、撮像装置2により撮像した画像を形状復元すると、日陰の部分及び日陰と日向の境界線付近が正常に復元され、日向の部分の情報が欠如している(右側の形状のB参照)。これは、撮像装置2がウェイポイント8〜10及びウェイポイント15〜17のような日陰の部分が30%を超える場合のみにおいて選択されているからである。その反面、B以外の部分では、特徴点が効率よく検出され、正常に復元できる。
最後に、情報処理装置は、復元された二つの形状を合成する(ステップS15)。これにより、情報が不足する部分Bが互いに補われ、撮像範囲A全体の形状が生成される。
このとき、撮像装置1と撮像装置2の双方が選択されるウェイポイントが存在するため、撮像装置1によって撮像された画像に基づいて復元された形状と、撮像装置2によって撮像された画像に基づいて復元された形状とで、日陰と日向の境界線付近ではオーバーラップしている。これにより、合成された形状は、情報不足が発生することなく、図12におけるBのような欠如部分の発生を防止することができ、高精度な形状が保証される。
なお、無人飛行体100は、図8の破線で示すように、撮像された画像を送信機50に送信してもよい。この場合、送信機50が撮像装置ごとに被写体の形状を復元し(ステップS14´)、復元された形状を合成する(ステップS15´)。このときの復元・合成に関する具体的な説明は、先述した画像を情報処理装置に送信した場合のそれぞれの処理(ステップS14,S15)と同一であるため、割愛する。
(第2の実施形態)
第1の実施形態では、送信機50が各ウェイポイントについて撮像に用いる撮像装置を選択するものであった。第2の実施形態は、無人飛行体100が上記撮像装置を選択する点で第1の実施形態と異なる。便宜上、第1の実施形態と重複する部分は、説明を割愛する。
第1の実施形態では、送信機50が各ウェイポイントについて撮像に用いる撮像装置を選択するものであった。第2の実施形態は、無人飛行体100が上記撮像装置を選択する点で第1の実施形態と異なる。便宜上、第1の実施形態と重複する部分は、説明を割愛する。
図13は、第2の実施形態にかかる形状生成システムにおける処理を示すシーケンス図である。
まず、送信機50は、撮像装置1及び撮像位置(ウェイポイント)に関する情報を取得する(ステップS21)。
その後、送信機50はウェイポイントに関する情報を無人飛行体100に送信する。ウェイポイントに関する情報は、送信機50が無線または有線の通信方式により直接無人飛行体100に送信してもよいし、送信機50においてメモリーカードなどの記憶媒体に記録して、その記憶媒体を無人飛行体に挿入するなどの他のいかなる方法により伝送してよい。
無人飛行体100は、ウェイポイントに関する情報を受信した後に、当該ウェイポイントにおいて陰の部分が占める割合を取得し、当該割合に基づいて使用する撮像装置を選択する(ステップS22)。
このとき、当該ウェイポイントにおいて陰の部分が占める割合の一つ目の取得方法として、無人飛行体は、当該ウェイポイントにおいて陰の部分が占める割合を、光源の照射角度及び光源の遮断物に関する情報に基づいて推定することができる。
本実施形態において、光源の照射角度とは太陽の照射角度を指すが、例えば無人飛行体100は、時刻情報と当該ウェイポイントの位置情報により推定することができる。
この場合、無人飛行体100は時刻情報をそのタイマ270から取得してよいし、GPS、インターネットなどを通じて外部から取得してよい。ウェイポイントの位置情報は、ステップS21において取得したウェイポイントに関する情報に含まれている経度、緯度、高度の情報であってよい。
光源の遮断物に関する情報は、例えば無人飛行体100がインターネット上の3次元地図データベースを参照して、撮像領域の概略形状(例えば既存の標高地図など)を取得してよい。
当該ウェイポイントにおいて陰の部分が占める割合の二つ目の取得方法として、無人飛行体100は、飛行経路に沿って飛行し、露光計などの光学センサ260により撮像時のウェイポイントにおける撮像領域の光量を測定する。
このとき、無人飛行体100は、飛行時に継続的に撮像領域の光量を測定し、撮像時までにウェイポイントにおける陰の部分が占める割合を推定してよい。また、各ウェイポイントに到着するタイミング(到着する寸前のタイミングでよい)に光量を測定してよい。
無人飛行体100は、ウェイポイントにおける陰の部分が占める割合に基づいて使用する撮像装置を選択した後、(ステップS22)、各ウェイポイントにおいて選択された撮像装置により撮像する(ステップS23)。
ステップS23において撮像された画像は、撮像装置ごとに、撮像装置に内蔵されたメモリまたは無人飛行体100に内蔵されているメモリ160に記憶される。
無人飛行体100は、空撮が終わると、撮像装置に記憶された画像を情報処理装置に送信する。
これらの画像は、無人飛行体100が無線または有線の通信方式により情報処理装置に送信してよいし、無人飛行体100でメモリーカードなどの記憶媒体に記録して、その記憶媒体を情報処理装置に挿入するなどの他のいかなる方法により伝送してよい。
画像を受信した情報処理装置は、撮像装置ごとに、SFM(Structure from Motion)などの従来の手法により被写体の形状を復元し(ステップS24)、最後に復元された二つの形状を合成する(ステップS25)。これにより、情報が不足する部分Bが互いに補われ、撮像範囲A全体の形状が生成される。
以上において、送信機50、無人飛行体100、情報処理装置が含まれる形状生成システムを説明したが、実際はこれらの構成に限らない。無人飛行体100に備えられている撮像装置の個数も2つに限らず、より多く備えていてよい。
上記の各実施形態において、送信機50で実行される処理は、他のいかなる形式のモバイルプラットフォーム、情報処理装置で実行してよい。また、これらの処理は無人飛行体100自身が実行してよい。
上記の各実施形態において無人飛行体100で実行される処理は、他のいかなる撮像機能を備えた移動体で実行してよい。
上記の各実施形態において、情報処理装置で実行される処理は、スマートフォン、タブレット等の他の情報処理装置で実行されてもよく、無人飛行体100自身が実行してよい。
各実施形態に係る形状生成システムにおける処理は全体として本開示の形状生成方法を構成し、送信機50が実行する処理は本開示に係るモバイルプラットフォームにおける形状生成方法を構成し、無人飛行体100が実行する処理は、本開示に係る形状生成のための飛行体における画像取得方法を構成する。
形状生成システムにおける処理(ステップ)のうち、プロポが実行する処理(ステップ)は、送信機50の送信機処理部61において実行し、ドローンが実行する処理(ステップ)は、無人飛行体100のUAV処理部110において実行してよい。
このとき、コンピュータである送信機50に、形状生成方法のうちプロポが実行する処理(ステップ)を実行させるプログラムを送信機処理部61により実行させてよい。このプログラムは、メモリ64又は他の記憶媒体に格納されてよい。
同じく、コンピュータである無人飛行体100に、形状生成方法のうちドローンが実行する処理(ステップ)を実行させるプログラムをUAV処理部110に実行させてよい。このプログラムは、メモリ160又は他の記憶媒体に格納されてよい。
本開示に係る形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体によれば、撮像装置のダイナミックレンジにとらわれず、明暗差が大きい環境においても高精度な形状生成が可能となる。
また、本開示に係る形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体によれば、飛行体が飛行経路上で停止することなく、移動しながら撮像することができ、空撮時間の短縮及び省電力を図ることができる。
さらに、本開示に係る形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体によれば、ウェイポイントの数量が多い場合でであっても高い効率で形状形成することができる。例えば、上記の各実施形態のように、撮像装置が2つある場合は、復元動作を2回行ったあと、合成動作を1回行えばよく、従来のHDRのようにすべてのウェイポイントにおいて一回ずつ画像を合成する必要がない。
以上、本開示について実施の形態を用いて説明したが、本開示に係る発明の技術的範囲は上述した実施の形態に記載の範囲には限定されない。上述した実施の形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
10 形状生成システム
50 送信機
61 送信機処理部
63 無線通信部
64 メモリ
100 無人飛行体
102 UAV本体
110 UAV処理部
150 通信インタフェース
160 メモリ
220−1 撮像装置
220−2 撮像装置
50 送信機
61 送信機処理部
63 無線通信部
64 メモリ
100 無人飛行体
102 UAV本体
110 UAV処理部
150 通信インタフェース
160 メモリ
220−1 撮像装置
220−2 撮像装置
Claims (9)
- 複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から、あらかじめ前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、
各撮像位置において前記選択された撮像装置により撮像するステップと、
前記撮像装置ごとに、撮像された画像に基づいて被写体の形状を復元するステップと、
前記撮像装置ごとに復元された前記形状を合成するステップと、を有し、
前記撮像装置を選択するステップは、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含む、
形状生成方法。 - 複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から、あらかじめ前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記飛行体に送信するステップと、
を有するモバイルプラットフォームにおける形状生成方法において、
前記撮像装置を選択するステップは、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含む、
形状生成方法。 - 複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中からあらかじめ選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、
を有する、形状生成のための飛行体における画像取得方法において、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である、
画像取得方法。 - 飛行体との通信を行う通信部と、処理部と、を有するモバイルプラットフォームにおいて、
前記処理部は、
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得し、
前記複数の撮像装置の中から、あらかじめ前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択し、
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記あらかじめ選択された撮像装置に関する情報とを前記通信部により前記飛行体に送信し、
前記撮像装置を選択することを、
それぞれの撮像位置について、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択することにより実現する、
モバイルプラットフォーム。 - 記憶部と、モバイルプラットフォームとの通信を行う通信部と、処理部と、複数の撮像装置と、を有する飛行体において、
前記処理部は、
前記飛行体の複数の撮像位置に関する情報を取得し、
前記複数の撮像装置の中からあらかじめ選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得し、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像し、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である、
飛行体。 - コンピュータであるモバイルプラットフォームに、
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から、あらかじめ前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記飛行体に送信するステップと、を実行させ、
前記撮像装置を選択するステップは、
それぞれの撮像位置について、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含む、
プログラム。 - コンピュータであるモバイルプラットフォームに、
複数の撮像装置を有する飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中から、あらかじめ前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置を選択するステップと、
前記複数の撮像位置に関する情報と、それぞれの撮像位置について前記選択された撮像装置に関する情報とを前記飛行体に送信するステップと、を実行させ、
前記撮像装置を選択するステップは、
それぞれの撮像位置について、
当該撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置を選択するステップを含む、プログラムを格納する、
記憶媒体。 - コンピュータである、複数の撮像装置を有する飛行体に、
前記飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中からあらかじめ選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を実行させ、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である、
プログラム。 - コンピュータである複数の撮像装置を有する飛行体に、
前記飛行体の複数の撮像位置に関する情報を取得するステップと、
前記複数の撮像装置の中からあらかじめ選択された、前記複数の撮像位置のそれぞれについて撮像に用いる撮像装置に関する情報を取得するステップと、
前記複数の撮像位置のそれぞれについて、取得された前記撮像に用いる撮像装置に関する情報に対応する撮像装置を用いて撮像するステップと、を実行させ、
前記撮像に用いる撮像装置に関する情報は、それぞれの撮像位置における撮像領域内の所定光量以下の部分が占める割合に基づいて、前記複数の撮像装置から少なくとも一つの撮像装置の選択に応じて生成された情報である、プログラムを格納する、
記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021139432A JP2022002391A (ja) | 2017-03-15 | 2021-08-27 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019505602A JP6997170B2 (ja) | 2017-03-15 | 2017-03-15 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
PCT/JP2017/010515 WO2018167893A1 (ja) | 2017-03-15 | 2017-03-15 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
JP2021139432A JP2022002391A (ja) | 2017-03-15 | 2021-08-27 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019505602A Division JP6997170B2 (ja) | 2017-03-15 | 2017-03-15 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022002391A true JP2022002391A (ja) | 2022-01-06 |
Family
ID=63522886
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019505602A Active JP6997170B2 (ja) | 2017-03-15 | 2017-03-15 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
JP2021139432A Withdrawn JP2022002391A (ja) | 2017-03-15 | 2021-08-27 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019505602A Active JP6997170B2 (ja) | 2017-03-15 | 2017-03-15 | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 |
Country Status (3)
Country | Link |
---|---|
JP (2) | JP6997170B2 (ja) |
CN (1) | CN110402453A (ja) |
WO (1) | WO2018167893A1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107209514B (zh) | 2014-12-31 | 2020-06-05 | 深圳市大疆创新科技有限公司 | 传感器数据的选择性处理 |
JP6151809B2 (ja) | 2016-02-02 | 2017-06-21 | 株式会社ソニー・インタラクティブエンタテインメント | 画像撮像装置および画像撮像方法 |
-
2017
- 2017-03-15 WO PCT/JP2017/010515 patent/WO2018167893A1/ja active Application Filing
- 2017-03-15 JP JP2019505602A patent/JP6997170B2/ja active Active
- 2017-03-15 CN CN201780088336.XA patent/CN110402453A/zh not_active Withdrawn
-
2021
- 2021-08-27 JP JP2021139432A patent/JP2022002391A/ja not_active Withdrawn
Also Published As
Publication number | Publication date |
---|---|
CN110402453A (zh) | 2019-11-01 |
JP6997170B2 (ja) | 2022-01-17 |
WO2018167893A1 (ja) | 2018-09-20 |
JPWO2018167893A1 (ja) | 2020-01-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11377211B2 (en) | Flight path generation method, flight path generation system, flight vehicle, program, and storage medium | |
JP6878567B2 (ja) | 3次元形状推定方法、飛行体、モバイルプラットフォーム、プログラム及び記録媒体 | |
JP6765512B2 (ja) | 飛行経路生成方法、情報処理装置、飛行経路生成システム、プログラム及び記録媒体 | |
US20190318636A1 (en) | Flight route display method, mobile platform, flight system, recording medium and program | |
JP7251474B2 (ja) | 情報処理装置、情報処理方法、情報処理プログラム、画像処理装置および画像処理システム | |
US11122209B2 (en) | Three-dimensional shape estimation method, three-dimensional shape estimation system, flying object, program and recording medium | |
JP6862477B2 (ja) | 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体 | |
WO2018205104A1 (zh) | 无人机拍摄控制方法、无人机拍摄方法、控制终端、无人机控制装置和无人机 | |
CN113875222B (zh) | 拍摄控制方法和装置、无人机及计算机可读存储介质 | |
JPWO2018150492A1 (ja) | 画像表示方法、画像表示システム、飛行体、プログラム、及び記録媒体 | |
JP2020191523A (ja) | 無人移動体 | |
JP2021096865A (ja) | 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体 | |
JP6949930B2 (ja) | 制御装置、移動体および制御方法 | |
JP6997170B2 (ja) | 形状生成方法、画像取得方法、モバイルプラットフォーム、飛行体、プログラム及び記録媒体 | |
JP6329219B2 (ja) | 操作端末、及び移動体 | |
JP2020036163A (ja) | 情報処理装置、撮影制御方法、プログラム及び記録媒体 | |
WO2022188151A1 (zh) | 影像拍摄方法、控制装置、可移动平台和计算机存储介质 | |
JP7081198B2 (ja) | 撮影システム及び撮影制御装置 | |
JPWO2018138882A1 (ja) | 飛行体、動作制御方法、動作制御システム、プログラム及び記録媒体 | |
WO2018188086A1 (zh) | 无人机及其控制方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210827 |
|
A761 | Written withdrawal of application |
Free format text: JAPANESE INTERMEDIATE CODE: A761 Effective date: 20220530 |