JP2019135605A - 撮影映像表示装置及び撮影映像表示方法 - Google Patents

Abstract

【課題】リアルタイム撮影映像の地表面での対応位置や範囲がわかりやすく、記憶済撮影映像の検索も容易な撮影映像表示装置及び撮影映像表示方法を提供する。【解決手段】撮影映像表示装置は、飛行体から中継装置を介して撮影映像、撮影倍率、撮影位置及び撮影姿勢を受信する受信部と、３次元地図を記憶する記憶部と、撮影倍率、撮影位置及び撮影姿勢に基づいて算出した撮影映像の撮影範囲をフットプリントとして３次元地図上に重畳する映像処理部と、その３次元地図及び撮影映像をネットワークを介して配信する配信部と、これら各部を制御する制御部とを備える。【選択図】図２

Description

本発明は、ドローンなどの飛行体から撮影した地表面の映像の表示及び記憶を行う撮影映像表示装置及び撮影映像表示方法に関し、特に、リアルタイム撮影映像の地表面での対応位置や範囲がわかりやすく、記憶済撮影映像の検索も容易な撮影映像表示装置及び撮影映像表示方法に関する。

従来、空中より撮影された地表面の撮影映像の位置を３次元的に特定し、撮影された地表面の撮影範囲を計算して求め、その撮影範囲に合わせて撮影映像を変形した後、地理情報システムの地図上に重ねて表示する撮影映像表示方法が提案されている（例えば特許文献１参照）。

この撮影映像表示方法では、地表面が連続して撮影されている場合は、複数枚の地表面の各撮影範囲を計算して求め、その各撮影範囲にあわせて各撮影映像を変形した後、これら複数枚の撮影映像を地理情報システムの地図上に重ね合わせて表示するように構成されている。

具体的には、例えば、特許文献１の明細書の第７頁第４行〜第８行に「図４はこの方法によるモニタ表示画面を示すもので、３０４は機体の飛行経路、３０５は機体位置（カメラ位置）である。飛行経路３０４に沿ってカメラから撮影した映像を所定のタイミングでサンプリングして各画枠を求め、撮影映像を画枠に合うように変形処理し、地図３０１上に貼り付ける。３０２ａ〜３０２ｆは貼り付けた映像、３０３ａ〜３０３ｆはその画枠である。」との記載がある。また、第６頁第３８行〜第４０行には「また、図３のように、カメラで撮影した画枠の映像を地図上に重ねて表示することができる他に、撮影映像３０２を消して画枠３０３だけを表示することも容易にできる。ここで撮影映像３０２は２次元の地図上に重ね合わされている。」との記載がある。

また、表示画面を複数の領域に分割し、そのうちの一領域において地理空間表現（航空写真又は２次元地図）上に空撮ビデオ映像の撮影位置の軌跡をインデックスとして重ねて表示するとともに、現在選択されている撮影位置のビデオ映像を表示画面の他領域に表示する地理空間媒体記録システムも提案されている（例えば特許文献２参照）。

国際公開第２００４／１１３８３６号 米国特許出願公開第２０１６／０２４１８６４号明細書

しかしながら、上述の特許文献１に記載の撮影映像表示方法では、撮影映像の画枠が貼り付けられるのは２次元地図である。また、その図１などに示されているように、撮影装置（＝カメラ）等を搭載したヘリコプター等の飛行体（＝機体）からなる機上系１００と、機上系１００からの信号を受信して処理する地上に設置された地上系２００とが一対一で対応しており、撮影映像を複数者が同時にリアルタイムで視聴することは想定されていない。

一方、上述の特許文献２に記載の地理空間媒体記録システムでは、空撮ビデオ映像の各撮影位置がそれぞれ１つの点として表示されるだけである。おそらくは、上空から常に真下方向を撮影することを想定していると考えられるが、飛行高度や撮影倍率（ズーム比）によって撮影範囲は変わる。そのため、各撮影位置からの地表面の実際の撮影範囲がやはり不明確なので、所望地点が空撮ビデオ映像に含まれているかどうか、また含まれているとしても空撮ビデオ映像のどこなのかの特定が困難である。

従来技術のこのような課題に鑑み、本発明の目的は、リアルタイム撮影映像の地表面での対応位置や範囲がわかりやすく、記憶済撮影映像の検索も容易な撮影映像表示装置及び撮影映像表示方法を提供することである。

上記目的を達成するため、本発明の撮影映像表示装置は、地表面を動画または静止画撮影する撮影部と、撮影位置を３次元的に検出する位置検出部と、撮影姿勢を検出する姿勢検出部と、前記撮影部によって撮影された撮影映像及び撮影倍率と前記撮影位置と前記撮影姿勢とを送信する通信部とを有する飛行体から撮影した前記撮影映像の表示及び記憶を行う撮影映像表示装置であって、前記飛行体の前記通信部から中継装置を介して前記撮影映像、前記撮影倍率、前記撮影位置及び前記撮影姿勢を受信する受信部と、航空写真、衛星写真若しくは２次元地図並びに標高情報を含む３次元地図を記憶する記憶部と、前記撮影倍率、前記撮影位置及び前記撮影姿勢に基づいて算出した前記撮影映像の撮影範囲をフットプリントとして前記３次元地図上に重畳する映像処理部と、前記フットプリントが重畳された前記３次元地図及び前記撮影映像をネットワークを介して配信する配信部と、前記受信部、前記記憶部、前記映像処理部及び前記配信部を制御する制御部とを備える。

ここで、本発明における「撮影映像」は、動画だけでなく静止画も含む。前記映像処理部は、前記撮影位置及びその軌跡も前記３次元地図上に重畳するようにしてもよい。前記中継装置は、前記撮影映像を複数の映像データに分割して送信するとともに、前記受信部は、前記中継装置から受信した複数の前記映像データを元の前記撮影映像に再構築するようにしてもよい。また、前記配信部は、前記撮影映像をストリーミング配信するようにしてもよい。

このような構成の撮影映像表示装置によれば、リアルタイム撮影映像の地表面での対応位置や範囲がフットプリントとして３次元地図上に重畳して表示される。これにより、リアルタイム撮影映像の地表面での対応位置や範囲が極めてわかりやすくなる。

また、本発明の撮影映像表示装置において、前記記憶部は、前記撮影映像を少なくとも撮影日時、前記撮影位置及び前記フットプリントと関連付けて記憶するようにしてもよい。又は、前記記憶部は、前記撮影映像を複数の映像に分割し、分割された映像毎に少なくとも撮影日時、前記撮影位置及び前記フットプリントと関連付けて記憶するようにしてもよい。さらに、前記制御部は、前記映像処理部に１つ以上の前記フットプリントを重畳させた前記３次元地図を前記配信部に配信させ、選択された前記フットプリントに対応する前記撮影映像を前記記憶部から読み出して前記配信部に配信させるようにしてもよい。

このような構成の撮影映像表示装置によれば、記憶された撮影位置やフットプリントが撮影映像の検索用インデックスとなる。これにより、所望地点が含まれる撮影映像を容易に検索することができる。

あるいは、本発明の撮影映像表示方法は、地表面を動画または静止画で撮影する撮影部と、撮影位置を３次元的に検出する位置検出部と、撮影姿勢を検出する姿勢検出部と、前記撮影部によって撮影された撮影映像、撮影倍率、前記撮影位置及び前記撮影姿勢を送信する通信部とを有する飛行体から撮影した前記撮影映像の表示及び記憶を行う撮影映像表示方法であって、前記飛行体の前記通信部から中継装置を介して前記撮影映像、前記撮影倍率、前記撮影位置及び前記撮影姿勢を受信する受信工程と、航空写真、衛星写真若しくは２次元地図並びに標高情報を含む３次元地図を記憶する記憶工程と、前記撮影倍率、前記撮影位置及び前記撮影姿勢に基づいて算出した前記撮影映像の撮影範囲をフットプリントとして前記３次元地図上に重畳する映像処理工程と、前記フットプリントが重畳された前記３次元地図及び前記撮影映像をネットワークを介して配信する配信工程とを含む。前記映像処理工程は、前記撮影位置及びその軌跡も前記３次元地図上に重畳するようにしてもよい。

また、本発明の撮影映像表示方法において、前記記憶工程は、前記撮影映像を少なくとも撮影日時、前記撮影位置及び前記フットプリントと関連付けて記憶してもよい。又は、前記記憶工程は、前記撮影映像を複数の映像に分割し、分割された映像毎に少なくとも前記撮影日時、前記撮影位置及び前記フットプリントと関連付けて記憶してもよい。

また、本発明の撮影映像表示方法において、前記映像処理工程に１つ以上の前記フットプリントを重畳させた前記３次元地図を前記配信工程で配信させるとともに、選択された前記フットプリントに対応する前記撮影映像を読み出して前記配信工程で配信させてもよい。

本発明の撮影映像表示装置及び撮影映像表示方法によれば、リアルタイム撮影映像の地表面での対応位置や範囲がフットプリントとして３次元地図上に重畳して表示されるので、リアルタイム撮影映像の地表面での対応位置や範囲が極めてわかりやすくなる。

なお、撮影映像を少なくとも撮影位置及びフットプリントと関連付けて記憶するようにした場合には、記憶された撮影位置やフットプリントが撮影映像の検索用インデックスとなるので、所望地点が含まれる撮影映像を容易に検索することができる。

本発明の第１実施形態に係る撮影映像表示システム１００の概観図である。 撮影映像表示システム１００のブロック図である。 撮影映像表示システム１００によって配信された撮影映像を表示した表示画面７０の一例を示す図である。 本発明の第２実施形態に係る撮影映像表示システムによって配信された撮影映像を表示した表示画面７０Ａの一例を示す図である。

以下、本発明の実施形態を、図面を参照して説明する。

＜第１実施形態＞
図１は本発明の第１実施形態に係る撮影映像表示システム１００の概観図である。図２はこの撮影映像表示システム１００のブロック図である。

これらの図に示すように、撮影映像表示システム１００は、飛行体としてのドローン１０から撮影した撮影映像の表示及び記憶を行うものであって、ドローン１０から操縦装置６０やこれに接続されたタブレット２０（タブレット２０のみ又は操縦装置６０及びタブレット２０が本発明の「中継装置」に該当）を介して受信した撮影映像をインターネット５０を介して多数のパソコン４０などに同時にストリーミング配信するサーバー装置３０（本発明の「撮影映像表示装置」に該当）を備えている。

ドローン１０は、無線操縦可能な小型の飛行体であって、地表面を動画または静止画で撮影するカメラ１１と、ＧＮＳＳ（Global Navigation Satellite System／全地球航法衛星システム）などによって撮影位置（撮影時のドローン１０の位置）を３次元的に検出する位置検出部１２と、カメラ１１による撮影姿勢を検出する姿勢検出部１３と、カメラ１１によって撮影された撮影映像（動画または静止画）、撮影倍率（又はズーム率）、撮影位置及び撮影姿勢を例えば２．４ＧＨｚ帯で操縦装置６０へ無線送信するとともに、操縦装置６０からコマンド信号を無線受信する通信部１４と、受信したコマンド信号に従った飛行若しくは予め設定された経路とおりの自動飛行並びにカメラ１１を含む各部の制御を行う制御部１５とを有している。

災害などの被災地調査では、雨天や強風などの可能性も高いため、ドローン１０としては全天候型であることが好ましい。ただし、本発明の飛行体はドローンに限るわけではなく、例えば、飛行機やヘリコプターなどであってもよい。

位置検出部１２には、ＧＮＳＳ信号によって撮影位置を検出するための所要時間でのドローン１０の移動量を補正する機能を持たせることが好ましい。さらに、ＧＮＳＳ信号が検出できないときでも撮影位置及びその変化などを検出可能な慣性航法装置（ＩＮＳ：Inertial Navigation System）も持たせることが好ましい。

姿勢検出部１３は、例えば、ドローン１０自体の姿勢の検出器（例えば慣性計測装置（ＩＭＵ：Inertial Measurement Unit））の検出結果、並びにカメラ１１の姿勢の検出器の検出結果若しくは例えばジンバルを用いた姿勢制御器の制御値に基づいて撮影姿勢を検出するようにしてもよい。

また、カメラ１１による撮影映像をリアルタイムで視聴できるようにするためには、通信部１４による無線通信の速度を考慮してデータサイズを十分に圧縮することが好ましい。さらに、その圧縮前に撮影映像の鮮明化処理も併せて行うことがより好ましい。

操縦装置６０との接続によって撮影映像などを取得できるように設定されたタブレット２０は、ドローン１０のカメラ１１によって撮影された撮影映像などを画面に表示するとともに、その撮影映像をライブ配信するために、サーバー装置３０への中継を行う装置である。

タブレット２０は、３Ｇ（第３世代）、４Ｇ（第３世代）又はＬＴＥ（Long Term Evolution）などマルチキャリアの基地局を介した無線通信が直接可能なタイプであったもよいし、Ｗｉ−Ｆｉ専用タイプをモバイルルーターと組み合わせてもよい。このタブレット２０では、容量が大きい撮影映像は複数の映像データに一旦分割してから送信する。ただし、例えば、撮影映像の容量に対して十分高速な無線通信が利用可能であれば、必ずしも分割する必要はない。

サーバー装置３０は、タブレット２０によって中継された撮影映像をインターネット５０を介して多数のパソコン４０などに同時にストリーミング配信する装置であって、タブレット２０から撮影映像、撮影倍率、撮影位置及び撮影姿勢を受信する受信部３１と、日本全国の航空写真若しくは衛星写真並びに標高情報を含む３次元地図を記憶する記憶部３２と、撮影倍率、撮影位置及び撮影姿勢に基づいて算出した撮影映像の撮影範囲をフットプリント（特許文献１の「画枠」に概ね対応）として３次元地図上に重畳する映像処理部３３と、フットプリントが重畳された３次元地図及び撮影映像をインターネット５０を介してストリーミング配信する配信部３４と、受信部３１、記憶部３２、映像処理部３３及び配信部３４を制御する制御部３５とを有している。

受信部３１は、送信部２２から分割された複数の映像データを受信した場合には、これらの映像データを元の撮影映像に再構築する。

記憶部３２は、航空写真又は衛星写真だけでなく２次元地図データも記憶しておき、必要に応じて使い分けてもよい。

映像処理部３３は、撮影位置付近を抽出した３次元地図上に撮影映像の撮影範囲をフットプリントとして重畳するとともに、さらに撮影位置及びその軌跡も重畳する。対応関係がわかりやすくなるように、現在の撮影位置とフットプリントの例えば四隅（フットプリント周囲などの５点以上でもよい）とをそれぞれ直線などで結んでもよい。また、撮影位置の軌跡については、例えば、一定時間間隔で点として表示するとともに各点の間は線で結び、さらに現在の撮影位置のみ色を変えて区別しやすくしてもよい。

配信部３４が、標準的なプロトコルによってストリーミング配信を行うようにすれば、パソコン４０側では標準的なブラウザなどを使用するだけで配信される撮影映像などの表示が可能である。また、パソコン４０に限らず、例えばタブレット４０Ａやスマートフォン４０Ｂでもほぼ同様に撮影映像などの表示が可能である。

受信部３１、記憶部３２、映像処理部３３及び配信部３４の各機能は、例えば、サーバー装置３０で動作するコンピュータープログラムによって実現することができる。

図３は撮影映像表示システム１００によって配信された撮影映像を表示した表示画面７０の一例を示す図である。

パソコン４０が標準的なブラウザで配信部３４からのストリーミング配信を受信すると、その表示画面７０の３次元地図表示領域７１に撮影位置付近を抽出した３次元地図が表示されるとともに、その右上のリアルタイム映像表示領域７２にはドローン１０による撮影映像がリアルタイムで表示される。

３次元地図表示領域７１では、例えばドローン１０の撮影位置７４ａ、７４ｂ、７４ｃを示す各点とこれらを結ぶ線が軌跡として表示される。現在のドローン１０の撮影位置７４ｃについては、対応する点の色が変えられるとともに、撮影範囲を示すフットプリント７５ｃが３次元地図上に重畳して表示される。なお、フットプリント７５ｃの具体的属性（塗りつぶしの有無や色、透明度、枠の色や太さなど）は設定変更可能とすることが好ましい。

なお、例えば、表示画面７０内に３次元地図の移動、ズーム倍率変更、回転などの各種操作を行うための操作キーなども表示して、これらの操作キーによって３次元地図を自由に操作できるように構成してもよいし、マウスやタッチパネルなどでより直感的に操作可能に構成してもよい。

＜第２実施形態＞
上述した第１実施形態では、ドローン１０による撮影映像をリアルタイムで視聴できるだけであったが、この第２実施形態では撮影映像を蓄積的に記憶して、後から所望地点の撮影映像が既に記憶されていれば任意に選択して再生可能となるように構成している。以下では主に、第１実施形態との相違点について説明する。

サーバー装置３０の記憶部３２は、撮影映像を少なくとも撮影日時、撮影位置及びフットプリントと関連付けて蓄積的に記憶する。必要であれば、撮影映像を例えば一定時間毎や一定移動距離毎に適宜区切って、区切られた映像毎に少なくとも撮影日時、撮影位置及びフットプリントと関連付けて蓄積的に記憶する。さらに、例えば、撮影時の状況や其の他の備考なども併せて記憶してもよい。このようにすることで、記憶された撮影位置やフットプリントが撮影映像の検索用インデックスとなる。

こうして記憶部３２に記憶された撮影映像を後から選択して再生する場合、まず、所望の地域や場所が指定されると、記憶部３２に記憶されているその地域や場所の３次元地図に、その範囲内のものとして記憶されている全て又は一部の撮影位置及びフットプリントを重畳して配信部３４から配信する。ただし、すべての撮影位置及びフットプリントを重畳すると互いに重なり合って見難くなることもあるので、適宜間引くようにしてもよい。そのような３次元地図を見れば、所望地点が含まれるフットプリントがよくわかる。そして、いずれかのフットプリントが選択されると、そのフットプリントに関連付けて記憶されている撮影映像を記憶部３２から読み出して、その撮影映像を配信部３４から配信する。このように、所望地点が含まれる撮影映像を容易に検索することができる。

図４は本発明の第２実施形態に係る撮影映像表示システムによって配信された撮影映像を表示した表示画面７０Ａの一例を示す図である。

図３に示した表示画面７０との主な相違点は、３次元地図表示領域７１の右上が記憶済映像表示領域７３に置換されていることと、現在選択されている撮影位置７４ｃに対応するフットプリント７５ｃだけでなくそれ以前の撮影位置７４ａ、７４ｂにそれぞれ対応する各フットプリントやその先の撮影位置にそれぞれ対応する各フットプリント７５ｄ、７５ｅも３次元地図上に重畳して表示されることである。

なお、表示画面７０と同様に３次元地図の各種操作を行うための操作キーを表示するとともに、任意のフットプリントの選択による撮影映像の再生開始などもマウスやタッチパネルなどで操作可能に構成してもよい。

なお、本発明は、その主旨又は主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、上述の実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈してはならない。本発明の範囲は特許請求の範囲によって示すものであって、明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。

１０ ドローン（飛行体）
１１ カメラ（撮影部）
１２ 位置検出部
１３ 姿勢検出部
１４ 通信部
１５ 制御部
２０ タブレット（中継装置）
３０ サーバー装置（撮影映像表示装置）
３１ 受信部
３２ 記憶部
３３ 映像処理部
３４ 配信部
３５ 制御部
４０ パソコン
４０Ａ タブレット
４０Ｂ スマートフォン
５０ インターネット（ネットワーク）
６０ 操縦装置
７０ 表示画面
７０Ａ 表示画面
７１ ３次元地図表示領域
７２ リアルタイム映像表示領域
７３ 記憶済映像表示領域
７４ａ 撮影位置
７４ｂ 撮影位置
７４ｃ 撮影位置（現在）
７５ｃ〜７５ｅ フットプリント
１００ 撮影映像表示システム

Claims (12)

1. 地表面を動画または静止画で撮影する撮影部と、撮影位置を３次元的に検出する位置検出部と、撮影姿勢を検出する姿勢検出部と、前記撮影部によって撮影された撮影映像、撮影倍率、前記撮影位置及び前記撮影姿勢を送信する通信部とを有する飛行体から撮影した前記撮影映像の表示及び記憶を行う撮影映像表示装置であって、
   前記飛行体の前記通信部から中継装置を介して前記撮影映像、前記撮影倍率、前記撮影位置及び前記撮影姿勢を受信する受信部と、
   航空写真、衛星写真若しくは２次元地図並びに標高情報を含む３次元地図を記憶する記憶部と、
   前記撮影倍率、前記撮影位置及び前記撮影姿勢に基づいて算出した前記撮影映像の撮影範囲をフットプリントとして前記３次元地図上に重畳する映像処理部と、
   前記フットプリントが重畳された前記３次元地図及び前記撮影映像をネットワークを介して配信する配信部と、
   前記受信部、前記記憶部、前記映像処理部及び前記配信部を制御する制御部と
   を備えることを特徴とする撮影映像表示装置。
2. 請求項１に記載の撮影映像表示装置において、
   前記映像処理部は、前記撮影位置及びその軌跡も前記３次元地図上に重畳することを特徴とする撮影映像表示装置。
3. 請求項２に記載の撮影映像表示装置において、
   前記記憶部は、前記撮影映像を少なくとも撮影日時、前記撮影位置及び前記フットプリントと関連付けて記憶することを特徴とする撮影映像表示装置。
4. 請求項２に記載の撮影映像表示装置において、
   前記記憶部は、前記撮影映像を複数の映像に分割し、分割された映像毎に少なくとも撮影日時、前記撮影位置及び前記フットプリントと関連付けて記憶することを特徴とする撮影映像表示装置。
5. 請求項３又は４に記載の撮影映像表示装置において、
   前記制御部は、前記映像処理部に１つ以上の前記フットプリントを重畳させた前記３次元地図を前記配信部に配信させ、選択された前記フットプリントに対応する前記撮影映像を前記記憶部から読み出して前記配信部に配信させることを特徴とする撮影映像表示装置。
6. 請求項１〜５のいずれか１項に記載の撮影映像表示装置において、
   前記中継装置は、前記撮影映像を複数の映像データに分割して送信するとともに、
   前記受信部は、前記中継装置から受信した複数の前記映像データを元の前記撮影映像に再構築することを特徴とする撮影映像表示装置。
7. 請求項１〜６のいずれか１項に記載の撮影映像表示装置において、
   前記配信部は、前記撮影映像をストリーミング配信することを特徴とする撮影映像表示装置。
8. 地表面を動画または静止画で撮影する撮影部と、撮影位置を３次元的に検出する位置検出部と、撮影姿勢を検出する姿勢検出部と、前記撮影部によって撮影された撮影映像、撮影倍率、前記撮影位置及び前記撮影姿勢を送信する通信部とを有する飛行体から撮影した前記撮影映像の表示及び記憶を行う撮影映像表示方法であって、
   前記飛行体の前記通信部から中継装置を介して前記撮影映像、前記撮影倍率、前記撮影位置及び前記撮影姿勢を受信する受信工程と、
   航空写真、衛星写真若しくは２次元地図並びに標高情報を含む３次元地図を記憶する記憶工程と、
   前記撮影倍率、前記撮影位置及び前記撮影姿勢に基づいて算出した前記撮影映像の撮影範囲をフットプリントとして前記３次元地図上に重畳する映像処理工程と、
   前記フットプリントが重畳された前記３次元地図及び前記撮影映像をネットワークを介して配信する配信工程と
   を含むことを特徴とする撮影映像表示方法。
9. 請求項８に記載の撮影映像表示方法において、
   前記映像処理工程は、前記撮影位置及びその軌跡も前記３次元地図上に重畳することを特徴とする撮影映像表示方法。
10. 請求項９に記載の撮影映像表示方法において、
    前記記憶工程は、前記撮影映像を少なくとも撮影日時、前記撮影位置及び前記フットプリントと関連付けて記憶することを特徴とする撮影映像表示方法。
11. 請求項９に記載の撮影映像表示方法において、
    前記記憶工程は、前記撮影映像を複数の映像に分割し、分割された映像毎に少なくとも前記撮影日時、前記撮影位置及び前記フットプリントと関連付けて記憶することを特徴とする撮影映像表示方法。
12. 請求項１０又は１１に記載の撮影映像表示方法において、
    前記映像処理工程に１つ以上の前記フットプリントを重畳させた前記３次元地図を前記配信工程で配信させるとともに、選択された前記フットプリントに対応する前記撮影映像を読み出して前記配信工程で配信させることを特徴とする撮影映像表示方法。