JP2016095841A - ドローンに搭載されたカメラの目標軌道を生成するための方法および対応するシステム - Google Patents
ドローンに搭載されたカメラの目標軌道を生成するための方法および対応するシステム Download PDFInfo
- Publication number
- JP2016095841A JP2016095841A JP2015206294A JP2015206294A JP2016095841A JP 2016095841 A JP2016095841 A JP 2016095841A JP 2015206294 A JP2015206294 A JP 2015206294A JP 2015206294 A JP2015206294 A JP 2015206294A JP 2016095841 A JP2016095841 A JP 2016095841A
- Authority
- JP
- Japan
- Prior art keywords
- trajectory
- camera
- approximate
- drone
- target trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000033001 locomotion Effects 0.000 claims abstract description 37
- 238000004519 manufacturing process Methods 0.000 claims description 6
- 238000012805 post-processing Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 6
- 238000012545 processing Methods 0.000 description 5
- 230000006399 behavior Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010422 painting Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 229920001690 polydopamine Polymers 0.000 description 2
- 241000272878 Apodiformes Species 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- QBWCMBCROVPCKQ-UHFFFAOYSA-N chlorous acid Chemical compound OCl=O QBWCMBCROVPCKQ-UHFFFAOYSA-N 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/10—Simultaneous control of position or course in three dimensions
- G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
- G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
- A63H27/00—Toy aircraft; Other flying toys
- A63H27/12—Helicopters ; Flying tops
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
- Closed-Circuit Television Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】カメラを備えたドローン目標軌道を生成する。【解決手段】運搬手段付きのドローンの目標軌道の生成に関し、ドローンは屋内または屋外の環境において移動し、方法は、手動で上記環境において対象物を移動させ、その対象物の動作を捕捉することによって、上記目標軌道の近似軌道を取得するステップ(S1)と、上記近似軌道において、少なくとも1つの所定のカメラ動作パターンに実質的に対応する、少なくとも1つの軌道区間を識別するステップ(S2)と、上記目標軌道を得るために、上記少なくとも1つの軌道区間を、上記少なくとも1つの所定のカメラ動作パターンによって置き換えるステップと、を含む。現実環境における目標軌道の近似軌道である第1の軌道の手動による取得は、上記環境における障害物を、撮影を準備するためにソフトウェアにおいてこれらの障害物を記述することを必要とせずに、考慮に入れることを可能にする。【選択図】図1
Description
本開示は一般に、ビデオ製作用のドローンに搭載されたカメラのための軌道の生成の分野に関する。
ロボット工学および航空学の発展とともに、現在ドローン(無人航空機としても知られる)は、非軍事的の関連でさえもますます共通化され、制御しやすくなっている。例えば現在は、監視、ビデオ録画、さらにはゲームなど、このようなデバイスを利用した多くの応用例が市民生活において見出すことができる。
固定翼ドローン(飛行機のような)、回転翼ドローン(ヘリコプタのような)、および羽ばたき翼ドローン(ハチドリのような)を含む、いくつかの種類のドローンが存在する。それらがもたらす積載量、制御、および価格の間の良好なトレードオフにより、民間市場では回転翼ドローンが最も開発されているドローンである。例えば現在は、遠隔のタブレットから制御可能ないくつかの回転翼ドローンが、専門家でない消費者に市販されている。このような種類のドローンは、ビデオカメラを埋め込み、無線ネットワークを通してデータをブロードキャストすることができる。
しかし、その制御を容易にするためにこのような種類のドローンによって提供される新しい可能性にかかわらず、しばしば依然としてドローンを操縦するために1人の訓練された人間、および同時ビデオ録画の場合に埋め込み型カメラを制御するために別の人が必要になる。さらにドローンを位置、速度、および加速度に関して、ならびに方位に関して非常に正確なやり方で制御することは、よく訓練された操縦者にさえも可能でない場合がある。このようなレベルの制御は、動いている人の近くで、または多くの三次元障害物がある内部条件においてドローンが航行するときに特に必要となる場合がある。
ビデオ取得のために同じ動作を再現することができる専門家用機器を見てみると、例えばLouma Systems社からのソリューションを挙げることができる。これは、カメラを取り扱うロボットクレーンにある。動作は事前に設計され、次いでアームの機械的連鎖および内部コントローラによりカメラの精密なリアルタイム位置特定をもたらすシステムによって、精密に再現され得る。軌道はまた、このクレーンの手動制御のシーケンスを記録することによって、すなわちすべてのコントローラの位置のシーケンスを記録することによって生成することができる。
従ってアームの軌道はオフラインで設計することができる。しかし、ここでアーム軌道の品質は、Louma Systemsアームを動かす人の操作スキルにも直接依存する。これは、訓練されたまたは専門家的ユーザも必要とする。
埋め込み型カメラを有するドローンの場合は、ドローン軌道およびカメラの動作のオフラインの(事前の)定義は、カメラ動作がドローン軌道とは関係ないので、Louma Systemsアームに対するよりもさらに複雑である。これはユーザに以下を要求する:
− 軌道の曲線および直線区間を設計するためのしっかりとした3Dモデリングの経歴および知識
− 3Dでの操作する、判断する、および想像することにおける技能
− 現実環境との適応/一致:例えば室内において軌道は、ドローンが室内の固定障害物、天井、および壁に接触しないように定義されなければならない;各対象物の位置およびスケールは、原点に向かう現実世界において測定され、3D仮想世界において報告される必要がある。
− 軌道の曲線および直線区間を設計するためのしっかりとした3Dモデリングの経歴および知識
− 3Dでの操作する、判断する、および想像することにおける技能
− 現実環境との適応/一致:例えば室内において軌道は、ドローンが室内の固定障害物、天井、および壁に接触しないように定義されなければならない;各対象物の位置およびスケールは、原点に向かう現実世界において測定され、3D仮想世界において報告される必要がある。
軌道が実演によって(ユーザによって操作されるドローン経路の記録を通して)定義される場合は、編集のための同じ3Dの技能に加えて、ドローンおよび関連するカメラを用いる技能(視点、動作、速度、柔らかさなど)を必要とする。
その結果、ビデオカメラを装備したドローンによってムービーシーケンスを撮影するため、およびユーザ生成コンテンツ(UGC)を生成する「生産消費者」の出現とともに、滑らかなおよび専門家のような軌道に対する必要性が増大している。カメラ動作の語彙はこれらの新しい顧客にはよく知られるようになっており(例えば「トラッキングショット」など)、彼等はこれらの専門家的技法を用いて撮影することを望むであろう。
従って、3Dモデリングにおける熟練および知識を必要とせずに、ドローンに搭載されたカメラの軌道を生成することができる方法をもたらすことが望ましくなるであろう。
従ってまた、屋内環境のような多くの障害物を備える環境において、このようなカメラの軌道を生成することができるこのような方法をもたらすことが望ましくなるであろう。
本開示は、屋内または屋外の環境において移動するドローンに搭載されたカメラの目標軌道を生成するための方法に関し、上記方法は、
− 手動でまたは手動でなく、上記環境において対象物を移動させ、その対象物の動作を捕捉することによって、上記目標軌道の近似軌道を取得するステップと、
− 上記近似軌道において、少なくとも1つの所定のカメラ動作パターンに実質的に対応する、少なくとも1つの軌道区間を識別するステップと、
− 上記目標軌道を得るために、上記少なくとも1つの軌道区間を、上記少なくとも1つの所定のカメラ動作パターンによって置き換えるステップと、
を含む。
− 手動でまたは手動でなく、上記環境において対象物を移動させ、その対象物の動作を捕捉することによって、上記目標軌道の近似軌道を取得するステップと、
− 上記近似軌道において、少なくとも1つの所定のカメラ動作パターンに実質的に対応する、少なくとも1つの軌道区間を識別するステップと、
− 上記目標軌道を得るために、上記少なくとも1つの軌道区間を、上記少なくとも1つの所定のカメラ動作パターンによって置き換えるステップと、
を含む。
第1の軌道は、擬似カメラとして作動する対象物を移動させることによって捕捉される。現実環境における目標軌道の近似軌道であるこの第1の軌道の手動による取得は、上記環境における障害物(壁、天井、物体、家具、・・・)を、撮影を準備するためにソフトウェアにおいてこれらの障害物を記述することを必要とせずに、考慮に入れることを可能にする。
カメラがドローンに固定されている場合は、カメラの目標軌道は、ドローンの軌道と等価である。カメラが、ドローンに対して少なくとも1つの自由度(位置および/または方位)を有する場合は、目標軌道は、ドローンの動作、およびドローンに対するカメラの動作からの結果としての軌道である。
特定の実施形態によれば、上記所定のカメラ動作は、フィルム製作業界において用いられる所定のカメラ動作パターンの集合の一部である。これらの所定のカメラ動作パターンは、例えばトラッキングショット、パノラマ動作、傾き、パン、・・・である。
従って、この方法は、リアルタイムコマンドを用いるよりもずっと良好な、専門家的なカメラ動作を有する、空中の撮影によるユーザ生成コンテンツを生成する簡単なやり方を生産消費者にもたらす。
この方法はまた、映画監督に値する専門家的結果を得るように自動の後処理によって精密化された、現実環境における手動による取得に基づく、ステップの数がより少ない方法によって複雑な軌道を生成することを可能にする。
特定の実施形態では、上記識別するステップは自動である。
特定の実施形態では、上記近似軌道は複数のサンプル点を含み、各サンプル点は3D位置、方位、およびタイムスタンプによって特徴づけられる。
特定の実施形態では、上記対象物の動作は、上記環境において移動したときの上記対象物の3D位置および方位を追跡し、上記近似軌道の各サンプル点に対する3D位置、方位、およびタイムスタンプを生成するように構成された追跡システムによって捕捉される。
有利なことには上記方法は、上記近似軌道または上記目標軌道の少なくとも1つのサンプル点のタイムスタンプおよび/または3D位置および/または方位を修正するステップをさらに含む。
有利なことには上記方法は、上記近似軌道および/または目標軌道に対しておよび/またはそれらから、少なくとも1つのサンプル点を追加および/または削除するステップをさらに含む。これは、所定のカメラ動作の集合において獲得され得る追加の区間によって、上記軌道を完成させることを可能にする。
本開示はまた、屋内または屋外の環境において移動するドローンに搭載されたカメラの目標軌道を生成するためのシステムに関し、上記システムは
− 手動でまたは手動でなく、上記環境において対象物を移動させ、その対象物の動作を捕捉することによって、上記目標軌道の近似軌道を取得するためのユニットと、
− 上記近似軌道において、少なくとも1つの所定のカメラ動作パターンに実質的に対応する、少なくとも1つの軌道区間を識別し、上記目標軌道を得るために、上記少なくとも1つの軌道区間を、上記少なくとも1つの所定のカメラ動作パターンによって置き換えるためのユニットと
を備えることを特徴とする。
− 手動でまたは手動でなく、上記環境において対象物を移動させ、その対象物の動作を捕捉することによって、上記目標軌道の近似軌道を取得するためのユニットと、
− 上記近似軌道において、少なくとも1つの所定のカメラ動作パターンに実質的に対応する、少なくとも1つの軌道区間を識別し、上記目標軌道を得るために、上記少なくとも1つの軌道区間を、上記少なくとも1つの所定のカメラ動作パターンによって置き換えるためのユニットと
を備えることを特徴とする。
明示的に述べられないが、本実施形態は任意の組み合わせまたは部分組み合わせにおいて使用され得る。
本開示は、例として示され、保護の範囲を限定するものではない以下の説明および図面を参照して、よりよく理解することができる。
本開示は、屋内または屋外環境で移動するドローンに搭載されたカメラのための軌道を生成するための方法およびシステムに関する。本開示のいくつかの実施形態の多くの特定の詳細が、そのような実施形態の完全な理解をもたらすために、以下の説明および図1から2において示される。しかし当業者は、本開示がさらなる実施形態を有し得ること、または本開示は以下の説明において述べられる詳細のいくつかがなくても実施され得ることを理解するであろう。
本開示は、数多くの障害物(壁、物体、家具、・・・)の存在により最も難しい場合となる、屋内環境の場合において述べられる。より詳細には本開示は、彼の美術館の館(museum castle)の部屋のビデオツアーを撮影することを望む所有者の例を通して述べられる。本出願は、本発明の方法を説明するのに役立ち、このような複雑で面倒な仕事のための本開示の利点を示す。
館の所有者は、カメラを装備した軽量ドローンを用いることによって、単一の撮影すなわち固有の連続したシーケンスにおいて、館のすべての部屋のビデオツアーを撮影することを望む。もちろんこの例は、家または特定の場所において、彼自身のムービーを製作することを望むいずれのユーザにも置き換えることができる。これはまた、彼の代理店のウェブサイトに載せるために、販売されるべき家のビデオを製作することを望む、不動産業者によっても応用され得る。この例は目標が、複雑であるが洗練された滑らかな軌道によってビデオを簡単なやり方で撮影することである、いずれのユースケースもサポートする。
館は階段によって到達できるいくつかの階を有する。このビデオによって、いくつかの興味深い傑作(masterpieces)が価格設定(valorize)されなければならない。軌道取得時に、およびビデオキャプチャ時には、館の内部には誰もおらず、可動性の物体も存在しないかまたは動かないことが有利である。我々の方法を用いてこのシーケンスを撮影する人物を監督と呼ぶことにする。
本発明の方法のステップは、図1のフローチャートに列挙される。
ステップS1:近似軌道の手動による取得
第1のステップにおいて、監督は館の全体を歩き、彼が実際のカメラで実際に撮影しているかのようにカメラ動作をシミュレートする。擬似カメラの動作は、追跡位置特定システムによって追跡される。監督は人間工学的な理由により、擬似カメラを具現化するために、実際の軽量カメラを用いることが有利である。彼はまた、最終のビデオを捕捉することになるカメラを装備したドローンを用いることができる。
ステップS1:近似軌道の手動による取得
第1のステップにおいて、監督は館の全体を歩き、彼が実際のカメラで実際に撮影しているかのようにカメラ動作をシミュレートする。擬似カメラの動作は、追跡位置特定システムによって追跡される。監督は人間工学的な理由により、擬似カメラを具現化するために、実際の軽量カメラを用いることが有利である。彼はまた、最終のビデオを捕捉することになるカメラを装備したドローンを用いることができる。
監督は歩き始める前に、擬似カメラのありとあらゆる動作すなわちその位置およびその方位の高フレームレートでの取得を可能にする、追跡位置特定システムをオンに切り換えることが必要である。
この第1の取得のために用いられ得る多種多様な追跡システムが存在する。例えばそのような追跡システムは以下のものとすることができる。
− 光学カメラおよび反射マーカを備えたOptiTrackまたはViconによって販売されているものなどの光学系
− Kinectデバイス
− 慣性計測装置(IMU)、または
− 超高広帯域幅アンカーなどの通信型距離センサ
− 光学カメラおよび反射マーカを備えたOptiTrackまたはViconによって販売されているものなどの光学系
− Kinectデバイス
− 慣性計測装置(IMU)、または
− 超高広帯域幅アンカーなどの通信型距離センサ
館の周りの擬似カメラの移動時に、その位置および方位を与えることができる、各追跡位置特定システムが用いられ得る。
このステップのために監督は、追跡システムを配備しなければならない。超高帯域システムの場合は、監督は館の外壁の至る所にアンカーを分散し、追跡される対象物である擬似カメラにアンカーを貼り付ける。同じように光学系の場合は、彼は館の至る所に光学カメラを配置しなければならず、擬似カメラ上に反射マーカを貼り付ける。
コンピュータはあらゆるアンカー測定値を得るためのサーバーとして作動することができ、高フレームレート(例えば100Hz)で擬似カメラの位置および方位を計算し、各サンプルをコンピュータディスク上の固有のファイルに記憶することを可能にする。各サンプルは以下のものからなる:
− 取得クロックに関連するタイムスタンプ
− 監督によって指し示された原点、(0,0,0)として知られる基準点に対する、3D位置(x,y,z)
− 3D位置の周りの追跡される対象物の方位を反映するための四元数(x,y,z,w)
補足として、ネットワーク上の仮想現実デバイスの間のそのような種類のデータを交換するためのプロトコルとして、VRPN(仮想現実周辺ネットワーク)が、しばしば用いられる(http://www.cs.unc.edu/Research/vrpn/)。
− 取得クロックに関連するタイムスタンプ
− 監督によって指し示された原点、(0,0,0)として知られる基準点に対する、3D位置(x,y,z)
− 3D位置の周りの追跡される対象物の方位を反映するための四元数(x,y,z,w)
補足として、ネットワーク上の仮想現実デバイスの間のそのような種類のデータを交換するためのプロトコルとして、VRPN(仮想現実周辺ネットワーク)が、しばしば用いられる(http://www.cs.unc.edu/Research/vrpn/)。
結果としてのファイルに記憶されたデータは、ドローンに搭載されたカメラの初期軌道計画、およびあらゆるフレームがタイムスタンプを与えるので動作の速度についての知識を表す。
従って監督は館の部屋の至る所を歩いて、部屋から部屋へ、傑作から傑作へ、フロアからフロアへ、近似トラッキングショット、パノラマなどの組み合わせを一緒にひと続きにする。
監督が、歩くかまたは上の階に行くことによってカメラを振動させる場合があることは、想像に難くない。彼はまた像の周りを、下手な回り方をする場合がある。彼は、完全な目に見えない線に従わずに完全に真っ直ぐ歩くことはできない。彼はある絵画の撮影に時間をかけ過ぎ、別のものに対しては不十分になる場合がある。所望の軌道計画からのすべてのこれらの逸脱は、以下のステップにおいて2回目に訂正されるようになる。
館全体が訪問されたときに、監督はこの第1の軌道または軌道計画の取得プロセスを終了する。
プロセスの終わりに監督は、最終の連続撮影を行なうことを望む。しかしこれは、いくつかの軌道取得シーケンスを削除および再開し、異なる記録されたシーケンスを連結して初期軌道を組み立てることを含み、複数回、初期軌道を記録することを妨げない。従って、以下のステップの前に、位置境界に対処し、後続のシーケンスのタイムスタンプを再計算する、いくつかの小さなシーケンスをマージする中間ステップがあり得る。結果としての初期軌道は電子ファイルに記憶される。
変形形態によれば、ステップS1は任意選択である。この変形形態によれば軌道を処理するユニットは、さらなる処理のために近似軌道を表す情報を受信する。近似軌道を表す情報は、例えば任意の有線または無線インターフェースを介して受信される。
ステップS2:所定の軌道ムービーパターンに一致する軌道区間を識別するための自動の後処理および応用
ステップS2:所定の軌道ムービーパターンに一致する軌道区間を識別するための自動の後処理および応用
このステップでは初期軌道について、それがムービーで用いられる所定のカメラ動作パターンに対応するいくつかの軌道区間を含むかどうかを決定するために分析される。
以下のステップは、初期軌道を改良するために、ムービーで用いられる所定のカメラ動作パターンの集合を主に利用する。所定のカメラ動作パターンの例は本明細書で以下に示される。それらは監督およびカメラマンによく知られた語彙を用いて列挙される。これらのパターンはパラメータ(角度、動きの方向、・・・)によって構成可能である。所定のカメラ動作パターンは例えば以下の通りである:
− トラッキングショット:直線、円弧(度において)、円(CW「時計方向」、またはCCW「反時計方向」)、螺旋(CWまたはCCW、交互配置された高さを有して上から下に、下から上に);これらのトラッキングショットに対してカメラパンおよび傾きは一定に保たれ、カメラは特定のパン/傾き角度および所与の方向を有してこの幾何形状に対して平行移動する
− パノラマ:カメラはそれ自体で回転する(+/−の角度にて、およびショートカットを有する:90°時計方向、360°反時計方向など)
− クレーン:カメラは上昇または下降する
− 安定(全く動かない)
− トラッキングショット:直線、円弧(度において)、円(CW「時計方向」、またはCCW「反時計方向」)、螺旋(CWまたはCCW、交互配置された高さを有して上から下に、下から上に);これらのトラッキングショットに対してカメラパンおよび傾きは一定に保たれ、カメラは特定のパン/傾き角度および所与の方向を有してこの幾何形状に対して平行移動する
− パノラマ:カメラはそれ自体で回転する(+/−の角度にて、およびショートカットを有する:90°時計方向、360°反時計方向など)
− クレーン:カメラは上昇または下降する
− 安定(全く動かない)
この第2のステップでは監督は以下を行うアルゴリズムをトリガする:
1)ステップS1で取得された電子ファイルを開く
2)パターンの集合において、初期軌道の連続する部分または区間に一致するパターンを自動的に識別する
3)選択されたパターンが空気力学的にドローンの能力と適合することをチェックすることが有利である;このようなステップはドローンの空気力学をシミュレートする仮想環境を利用することによって行われ得る;基本アルゴリズムは仮想環境において現在の軌道を再現することにあり、航行の誤差が大き過ぎる場合は、現在の軌道は、例えば速度および/または加速度の減少によって、または軌道曲率を低減することによって自動的に適合される
4)一致が見出された場合は、この部分は置き換えのために自動的にマークされる。
1)ステップS1で取得された電子ファイルを開く
2)パターンの集合において、初期軌道の連続する部分または区間に一致するパターンを自動的に識別する
3)選択されたパターンが空気力学的にドローンの能力と適合することをチェックすることが有利である;このようなステップはドローンの空気力学をシミュレートする仮想環境を利用することによって行われ得る;基本アルゴリズムは仮想環境において現在の軌道を再現することにあり、航行の誤差が大き過ぎる場合は、現在の軌道は、例えば速度および/または加速度の減少によって、または軌道曲率を低減することによって自動的に適合される
4)一致が見出された場合は、この部分は置き換えのために自動的にマークされる。
このアルゴリズムは、それが集合のパターンに一致する初期軌道の部分をもはや見出さなくなるまで、繰り返される。
より精緻な実施形態では、初期部分の一部に対してパターンが見出されたときは、アルゴリズムは、初期軌道のこの部分に対するより良いパターンを見出すように続行することができる。それは、この後処理の終わりにユーザがパターンを選ぶのを助けるために、各見出されたパターンに対する品質表示を計算し記憶する。
ステップS3:初期軌道の区間の、所定のカメラ動作パターンによる置き換え
ステップS2の終わりにグラフィカルユーザインターフェースは、置き換えに対するすべての区間候補のリストを提示する。それらは手動でまたは手動でなく置き換えることができる。それらは監督の希望に応じて、それらのすべてまたは一部だけを置き換えることができる。
ステップS3:初期軌道の区間の、所定のカメラ動作パターンによる置き換え
ステップS2の終わりにグラフィカルユーザインターフェースは、置き換えに対するすべての区間候補のリストを提示する。それらは手動でまたは手動でなく置き換えることができる。それらは監督の希望に応じて、それらのすべてまたは一部だけを置き換えることができる。
例えば監督が、カメラが彼の左に90°の状態でよろめいて前進したときの初期軌道の部分は、−90°のパンを有する直線トラッキングショットに対する候補になるであろう。監督が、カメラが前方だけに向いた状態で像の周りを下手に回ったときの初期軌道の部分は、0°のパンを有する巡回トラッキングショットに対する候補になるであろう。
ステップS4:軌道の延長および/または修正による手動軌道編集
ステップS4:軌道の延長および/または修正による手動軌道編集
このステップでは監督は、後処理された軌道(前のステップから結果として生じる)を編集し、それをMayaまたはBlenderなどの3Dグラフィカルエディタにおいて眺める。彼はまた、望みに応じてそれを回転させることができる。
このステップでは監督は、後処理された軌道の種々のパラメータを修正する可能性がある。種々の修正が、例として本明細書において後に示される。
監督は、軌道の各サンプル点のタイミングを、個別にまたは軌道の一部を選択することによって修正することができる。これは、ドローンによって一定の速度で軌道が追跡されるように、全体的に行うこともできる。例えば複数の絵画が展示された美術品展示室では、監督は、各絵画の捕捉に対応する各区間の持続時間を、例えば各絵画の前では安定にする、または3秒のトラッキングショットを行うように修正することができる。
監督はまた、既存の点の位置の助けを受けて、いくつかの追加のサンプル点を生成することによって軌道を延長することができる。新しい区間の連結、または既存のものを切断して両方の境界の間に新しい点を追加することを助ける支援が利用可能である。この区間は、パターンの集合において直接生成および選択され得る。この延長は、擬似カメラを移動させることによって(ステップS1)取得できない区間を追加することを含んでも良い。例えばこれは、カメラが館の部屋の開いている窓から外に出て、次の開いている窓によって屋内に戻る区間とすることができる。
監督はまた、集合のパターンによって自動的に置き換えられていない(ステップS3)区間を置き換えることができる。彼はまた、軌道の単一の点またはいくつかのものを移動すること、単一の点に対してまたは選択された点に対してカメラの方位を変更することができる。例えば監督が上の階に行ったときの短時間に対応する初期軌道の部分が揺れが大きく、ステップS2の間に直線または螺旋のトラッキングショットとして自動的に識別されていない場合がある。従って監督は、グラフィカルユーザインターフェースによってこの部分を編集し、このパターンの1つをそれに適用してそれを適切に調整することができる。
このステップの終わりにおいて、最終または目標軌道が得られる。この最終軌道は、ドローンのオートパイロットコントローラに転送され得る。両方のシステム(軌道エディタおよびドローンコントローラ)のデータフォーマットに応じて、データ変換が必要になる場合がある。この最終軌道は、ドローンのカメラの軌道である。従ってカメラがドローンに固定された場合は、この最終軌道はドローンの軌道となる。
カメラがドローンに対して少なくとも1つの自由度(位置および/または方位)を有する場合は、オートパイロットコントローラはドローンとカメラとの組み合わせで制御できなければならず、オートパイロットコントローラに与えられる最終軌道は、ドローンの動作、およびドローンに対するカメラの動作から結果として生じる軌道である。
軌道転送が行われた後に監督は、ドローンに埋め込まれたカメラをターンオンして撮影を開始することができ、次いで飛行を開始し、ドローンのオートパイロットをトリガする。ドローンは離陸し、ステップS1〜S4によって生成された所定の軌道(最終軌道)の第1の点に到達する。次いでドローンはこの軌道に完全に従い、カメラは期待されるように作動する。飛行時に監督は、撮影をモニターするためにビデオフィードのライブのプレビューフィードバックを得る場合がある。飛行の終わりには、記録されたムービーが期待されるように利用可能となる。
すべての上述した方法は、単一のソフトウェア/ハードウェアにおいて、またはそれら自体のフォーマットを有するデータを交換する互いに異なるソフトウェア/ハードウェアによって行われ得る(取得、ムービー軌道適合および設計、ドローンへの軌道アップロード)。
図2は、1つの非限定的な実施形態による軌道生成システムの全体的なアーキテクチャの概略図である。システムは、擬似カメラの軌道を追跡するための第1のモジュール10を備える。このモジュールは、光学カメラおよび反射マーカを備えた光学系、Kinectデバイス、慣性計測装置(IMU)、またはアンカーを有する超高帯域システムとすることができる。モジュール10は、目標軌道の近似である第1の軌道を出力する。
変形形態によればシステムは、近似軌道を表す情報を受信するためのインターフェース110を備える。情報は、例えば、無線接続(例えばBluetooth(登録商標)、WiFi)または有線接続(例えばUSBまたはイーサネット(登録商標))を介して、受信される。この変形形態によれば近似軌道は、例えばシステムの外部のモジュールによって取得され得る。
次いでこの近似軌道は、方法のステップS2およびS3を実現する後処理ユニット11によって後処理される。後処理ユニット11は、所定のカメラ動作の集合を記憶するメモリ12に接続される。これは、集合の所定のカメラ動作に一致する軌道区間を自動的に検出し、検出された軌道区間を、対応する所定のカメラ動作によって置き換える。後処理ユニット11は、例えば1つまたはいくつかのプロセッサー、例えばCPUおよび/またはGPUの形をとることができる。
ユーザインターフェースユニット13は、後処理ユニット11に接続される。従ってユーザは、このUIを通して軌道に対する追加の補正をもたらすことができる(ステップS4)。後処理ユニットは、最終または目標軌道を出力する。
本明細書で説明した実装形態は、例えば方法またはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号において実現することができる。単一の形の実装形態との関連において論じられた(例えば方法またはデバイスとしてのみ論じられた)としても、論じられた特徴の実装形態は他の形(例えばプログラム)においても実現することができる。装置は、例えば適切なハードウェア、ソフトウェア、およびファームウェアにおいて実現することができる。例えば方法は、例えば、コンピュータ、マイクロプロセッサ、集積回路、またはプログラマブルロジックデバイスを例えば含む処理デバイスを一般に指す、プロセッサーなどの装置において実現することができる。プロセッサーはまた、例えばスマートフォン、タブレット、コンピュータ、携帯電話、携帯情報端末(「PDA」)、およびエンドユーザ間での情報の通信を容易にする他のデバイスなどの、通信デバイスを含む。
本明細書で説明した様々なプロセスおよび特徴の実装形態は、多様な異なる機器またはアプリケーション、具体的には例えばデータ符号化、データ復号、ビュー生成、テクスチャ処理、ならびに他の、画像および関連するテクスチャ情報および/または深さ情報の処理に関連する、機器またはアプリケーションにおいて具現化することができる。このような機器の例は、符号化器、デコーダ、デコーダからの出力を処理するポストプロセッサ、符号化器への入力をもたらすプリプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバー、セットトップボックス、ラップトップ、パーソナルコンピュータ、携帯電話、PDA、および他の通信デバイスを含む。明らかなように機器はモバイルとすることができ、さらには移動体に取り付けられ得る。
さらに方法は、プロセッサーによって行われる命令によって実現されることができ、このような命令(および/または実装形態によって生成されるデータ値)は、例えば集積回路、ソフトウェアキャリア、または例えばハードディスク、コンパクトディスケット(「CD」)、光ディスク(例えば、しばしばディジタル多用途ディスクまたはディジタルビデオディスクと呼ばれるDVDなど)、ランダムアクセスメモリ(「RAM」)、もしくはリードオンリメモリ(「ROM」)などの他の記憶装置などの、プロセッサー可読媒体に記憶することができる。命令は、プロセッサー可読媒体上に有形に具現化されたアプリケーションプログラムを形成することができる。命令は、例えばハードウェア、ファームウェア、ソフトウェア、または組み合わせにおけるものとすることができる。命令は、例えばオペレーティングシステム、個別のアプリケーション、または両方の組み合わせにおいて見出すことができる。従ってプロセッサーは、例えばプロセスを実行するように構成されたデバイス、およびプロセスを実行するための命令を有するプロセッサー可読媒体を含むデバイス(記憶装置など)の両方として特徴付けられ得る。さらにプロセッサー可読媒体は、命令に加えてまたはその代わりに、実装形態によって生成されたデータ値を記憶することができる。
当業者には明らかになるように実装形態は、例えば記憶または送信することができる情報を搬送するようにフォーマットされた多様な信号を生成することができる。情報は、例えば方法を行うための命令、または上述した実装形態の1つによって生成されたデータを含むことができる。例えば信号は、上述した実施形態の構文を書き込みまたは読み出すための規則をデータとして搬送するように、または上述した実施形態によって書き込まれた実際の構文値をデータとして搬送するようにフォーマットすることができる。このような信号は、例えば電磁波として(例えばスペクトルの無線周波数部分を用いて)、またはベースバンド信号としてフォーマットされ得る。フォーマットは、例えばデータストリームを符号化すること、および符号化されたデータストリームでキャリアを変調することを含むことができる。信号が搬送する情報は、例えばアナログまたはディジタル情報とすることができる。信号は、知られているように多様な種々の有線または無線リンクを通して送信され得る。信号は、プロセッサー可読媒体上に記憶され得る。
いくつかの実装形態を説明した。それでも様々な変更がなされ得ることが理解されるであろう。例えば異なる実装形態の要素は、他の実装形態を生成するように組み合わされ、補われ、変更され、または取り除かれ得る。さらに当業者は、他の構造およびプロセスが、開示されたものの代わりに使われることができ、結果としての実装形態は、少なくとも実質的に同じやり方で、開示された実装形態と少なくとも実質的に同じ結果を達成するように、少なくとも実質的に同じ機能を行うようになることを理解するであろう。従ってこれらおよび他の実装形態は本出願によって企図される。
Claims (14)
- 屋内または屋外の環境において移動するドローンに搭載されたカメラの目標軌道を生成するための方法であって、
前記環境において対象物を移動させることによって取得される前記目標軌道の近似軌道を表す情報を受信するステップ(S1)と、
前記近似軌道において、少なくとも1つの所定のカメラ動作のパターンに実質的に対応する、少なくとも1つの軌道区間を識別するステップ(S2)と、
前記目標軌道を得るために、前記少なくとも1つの軌道区間を、前記少なくとも1つの所定のカメラ動作のパターンによって置き換えるステップと(S3)、
を含む、前記方法。 - 前記所定のカメラ動作は、フィルム製作業界において用いられる所定のカメラ動作の集合の一部である、請求項1に記載の方法。
- 前記識別するステップは自動である、請求項1または2に記載の方法。
- 前記近似軌道は複数のサンプル点を含み、各サンプル点は3D位置、方位、およびタイムスタンプによって特徴づけられる、請求項1ないし3のいずれか1項に記載の方法。
- 前記対象物の動作は、前記環境において移動したときの前記対象物の3D位置および方位を追跡し、および前記近似軌道の各サンプル点に対する3D位置、方位、およびタイムスタンプを生成するように構成された追跡システムによって捕捉される、請求項4に記載の方法。
- 前記近似軌道または前記目標軌道の少なくとも1つのサンプル点のタイムスタンプおよび/または3D位置および/または方位を修正するステップ(S4)をさらに含む、請求項4または5に記載の方法。
- 前記近似軌道および/または目標軌道に対しておよび/またはそれらから、少なくとも1つのサンプル点を追加および/または削除するステップをさらに含む、請求項4ないし6のいずれか1項に記載の方法。
- 屋内または屋外の環境において移動するドローンに搭載されたカメラの目標軌道を生成するためのシステムであって、
前記環境において対象物を移動させることによって取得される前記目標軌道の近似軌道を表す情報を受信するように構成されたインターフェース(110)と、
前記近似軌道において、少なくとも1つの所定のカメラ動作のパターンに実質的に対応する、少なくとも1つの軌道区間を識別し、前記目標軌道を得るために、前記少なくとも1つの軌道区間を、前記少なくとも1つの所定のカメラ動作のパターンによって置き換えるように構成されたユニット(11)と、
を備える、前記システム。 - 前記所定のカメラ動作は、フィルム製作業界において用いられる所定のカメラ動作の集合の一部である、請求項8に記載のシステム。
- 前記識別するステップは自動である、請求項8または9に記載のシステム。
- 前記近似軌道は複数のサンプル点を含み、各サンプル点は3D位置、方位、およびタイムスタンプによって特徴づけられる、請求項8ないし10のいずれか1項に記載のシステム。
- 前記対象物の動作を捕捉するユニット(10)は、前記環境において移動したときの前記対象物の3D位置および方位を追跡し、および前記近似軌道の各サンプル点に対する3D位置、方位、およびタイムスタンプを生成するように構成された追跡システムを含む、請求項11に記載のシステム。
(前記対象物の動作を捕捉するユニット(10)は前記されていない) - 前記近似軌道または前記目標軌道の少なくとも1つのサンプル点のタイムスタンプおよび/または3D位置および/または方位を修正するように構成されたユニットをさらに備える、請求項11または12に記載のシステム。
- 前記近似軌道および/または目標軌道に対しておよび/またはそれらから、少なくとも1つのサンプル点を追加および/または削除するように構成されたユニットをさらに含む、請求項11ないし13のいずれか1項に記載のシステム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP14306722.1 | 2014-10-28 | ||
EP14306722.1A EP3015146A1 (en) | 2014-10-28 | 2014-10-28 | Method for generating a target trajectory of a camera embarked on a drone and corresponding system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016095841A true JP2016095841A (ja) | 2016-05-26 |
Family
ID=51951747
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015206294A Pending JP2016095841A (ja) | 2014-10-28 | 2015-10-20 | ドローンに搭載されたカメラの目標軌道を生成するための方法および対応するシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20160117811A1 (ja) |
EP (2) | EP3015146A1 (ja) |
JP (1) | JP2016095841A (ja) |
KR (1) | KR20160049986A (ja) |
CN (1) | CN105549612A (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160131720A (ko) * | 2015-05-08 | 2016-11-16 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US10310617B2 (en) * | 2015-06-11 | 2019-06-04 | Intel Corporation | Drone controlling device and method |
CN106528914A (zh) * | 2016-09-21 | 2017-03-22 | 中国葛洲坝集团电力有限责任公司 | 一种山地光伏电站布置平台和布置方法 |
US10803757B2 (en) | 2016-10-23 | 2020-10-13 | Gopro, Inc. | Navigation through polygonal no fly zones |
KR20180064253A (ko) * | 2016-12-05 | 2018-06-14 | 삼성전자주식회사 | 비행 제어 방법 및 이를 지원하는 전자 장치 |
KR101884125B1 (ko) | 2017-06-13 | 2018-07-31 | 이승호 | 셀피용 촬영 시스템 및 이를 이용한 촬영 방법 |
WO2020019193A1 (zh) * | 2018-07-25 | 2020-01-30 | 深圳市大疆创新科技有限公司 | 一种无人机控制方法、系统及无人机 |
KR102260044B1 (ko) * | 2018-11-09 | 2021-06-03 | 한국과학기술원 | 카메라 캘리브레이션 방법 및 장치 |
CN109981981B (zh) * | 2019-03-14 | 2021-04-06 | 广州市红鹏直升机遥感科技有限公司 | 航拍设备的工作模式切换方法及装置 |
CN111726536B (zh) * | 2020-07-03 | 2024-01-05 | 腾讯科技(深圳)有限公司 | 视频生成方法、装置、存储介质及计算机设备 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1524500B1 (en) * | 2003-10-13 | 2014-08-06 | Saab Ab | Method for planning a trajectory |
US9513125B2 (en) * | 2008-01-14 | 2016-12-06 | The Boeing Company | Computing route plans for routing around obstacles having spatial and temporal dimensions |
US8082102B2 (en) * | 2008-01-14 | 2011-12-20 | The Boeing Company | Computing flight plans for UAVs while routing around obstacles having spatial and temporal dimensions |
US8676406B2 (en) * | 2011-05-03 | 2014-03-18 | Raytheon Company | Unmanned aerial vehicle control using a gamepad |
FR2985581B1 (fr) * | 2012-01-05 | 2014-11-28 | Parrot | Procede de pilotage d'un drone a voilure tournante pour operer une prise de vue par une camera embarquee avec minimisation des mouvements perturbateurs |
US20150350614A1 (en) * | 2012-08-31 | 2015-12-03 | Brain Corporation | Apparatus and methods for tracking using aerial video |
EP2778819A1 (en) * | 2013-03-12 | 2014-09-17 | Thomson Licensing | Method for shooting a film performance using an unmanned aerial vehicle |
US9567077B2 (en) * | 2014-02-14 | 2017-02-14 | Accenture Global Services Limited | Unmanned vehicle (UV) control system |
JP6124384B2 (ja) * | 2014-05-30 | 2017-05-10 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 無人機の進行方向の作成方法、システム、及びプログラム |
US9678506B2 (en) * | 2014-06-19 | 2017-06-13 | Skydio, Inc. | Magic wand interface and other user interaction paradigms for a flying digital assistant |
US9798324B2 (en) * | 2014-07-18 | 2017-10-24 | Helico Aerospace Industries Sia | Autonomous vehicle operation |
-
2014
- 2014-10-28 EP EP14306722.1A patent/EP3015146A1/en not_active Withdrawn
-
2015
- 2015-10-16 EP EP15190258.2A patent/EP3015147A1/en not_active Withdrawn
- 2015-10-20 JP JP2015206294A patent/JP2016095841A/ja active Pending
- 2015-10-26 KR KR1020150148762A patent/KR20160049986A/ko unknown
- 2015-10-28 US US14/925,884 patent/US20160117811A1/en not_active Abandoned
- 2015-10-28 CN CN201510712844.3A patent/CN105549612A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
KR20160049986A (ko) | 2016-05-10 |
EP3015146A1 (en) | 2016-05-04 |
US20160117811A1 (en) | 2016-04-28 |
CN105549612A (zh) | 2016-05-04 |
EP3015147A1 (en) | 2016-05-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2016095841A (ja) | ドローンに搭載されたカメラの目標軌道を生成するための方法および対応するシステム | |
CN106662793B (zh) | 使用稳定用常平架的常平架系统 | |
US9479703B2 (en) | Automatic object viewing methods and apparatus | |
US9299184B2 (en) | Simulating performance of virtual camera | |
US11212437B2 (en) | Immersive capture and review | |
US20170046865A1 (en) | Animation motion capture using three-dimensional scanner data | |
CN105264436A (zh) | 用于控制与图像捕捉有关的设备的系统和方法 | |
CN105488457A (zh) | 摄影机运动控制系统在电影拍摄中的虚拟仿真方法及系统 | |
US9242379B1 (en) | Methods, systems, and computer readable media for producing realistic camera motion for stop motion animation | |
US20220067968A1 (en) | Motion capture calibration using drones with multiple cameras | |
WO2015039911A1 (en) | Method for capturing the 3d motion of an object by means of an unmanned aerial vehicle and a motion capture system | |
US10845188B2 (en) | Motion capture from a mobile self-tracking device | |
US20220237819A1 (en) | Information processing system, information processing method, and program | |
US9870637B2 (en) | Frame removal and replacement for stop-action animation | |
JP5044582B2 (ja) | 撮影カメラ学習装置及びそのプログラム | |
JP7366349B2 (ja) | マルチドローンビジュアルコンテンツ取り込みシステム | |
US11064096B2 (en) | Filtering and smoothing sources in camera tracking | |
US11948257B2 (en) | Systems and methods for augmented reality video generation | |
US11636621B2 (en) | Motion capture calibration using cameras and drones | |
US11178355B2 (en) | System and method for generating visual animation | |
US20220067969A1 (en) | Motion capture calibration using drones | |
CN116368350A (zh) | 使用靶标的运动捕获校准 | |
KR101725932B1 (ko) | 영상에디팅을 수행하는 영상촬영장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20161202 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20161202 |