JP2018063512A - 移動体の姿勢制御システム - Google Patents
移動体の姿勢制御システム Download PDFInfo
- Publication number
- JP2018063512A JP2018063512A JP2016200639A JP2016200639A JP2018063512A JP 2018063512 A JP2018063512 A JP 2018063512A JP 2016200639 A JP2016200639 A JP 2016200639A JP 2016200639 A JP2016200639 A JP 2016200639A JP 2018063512 A JP2018063512 A JP 2018063512A
- Authority
- JP
- Japan
- Prior art keywords
- control system
- marker
- posture control
- moving body
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003550 marker Substances 0.000 claims abstract description 103
- 238000005259 measurement Methods 0.000 claims description 12
- 239000007787 solid Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 13
- 238000000034 method Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 241000714197 Avian myeloblastosis-associated virus Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 101150037717 Mavs gene Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 235000005956 Cosmos caudatus Nutrition 0.000 description 1
- 244000293323 Cosmos caudatus Species 0.000 description 1
- 241000233805 Phoenix Species 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003875 gradient-accelerated spectroscopy Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
- B64C13/02—Initiating means
- B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
- B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Robotics (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
【課題】本発明は、新規且つ簡単な構成の移動体（例えば、小型無人飛行機）の自立姿勢制御システムを提供することを目的とする。更に、本発明は、この自立姿勢制御システムに使用して好適な新規且つ簡単な構成のマーカーを提供することを目的とする。
【解決手段】本発明に係る移動体（例えば、小型無人飛行機）の自立姿勢制御システムは、前記移動体に搭載された単眼カメラ及び姿勢制御装置と、所定の場所に設置された立体マーカーとを備え、前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの画像データに基づき前記移動体を自立姿勢制御する。
【選択図】図１Ａ
【解決手段】本発明に係る移動体（例えば、小型無人飛行機）の自立姿勢制御システムは、前記移動体に搭載された単眼カメラ及び姿勢制御装置と、所定の場所に設置された立体マーカーとを備え、前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの画像データに基づき前記移動体を自立姿勢制御する。
【選択図】図１Ａ
Description
本発明は、移動体の姿勢制御システムに関する。更に具体的には、本発明は、移動体として３次元空間を移動可能な小型無人飛行機（ドローン）の自立姿勢制御システムに関する。
近年、小型無人飛行機、典型的はドローンが、広い分野で利用されている。一般に、ドローンは、ＧＰＳ衛星からの電波をドローン搭載のＧＰＳセンサでとらえて位置データを算出し、更に、ドローン搭載のＩＭＵ（慣性計測装置）により飛行中の動き（速度、加速度等）や姿勢（傾き等）データを算出し、これら位置データ及び飛行データを利用者の操縦装置に送信している。利用者は、これらデータを参照しながら、ドローンに対して、移動命令及び姿勢制御命令等の飛行制御命令を送信して操縦制御している。
ドローンの飛行制御に関し、従来、地上に反射マーカーを設置し、ドローンに赤外線高速カメラを搭載して、モーションキャプチャシステムを利用する方法が有る。赤外線高速カメラに代えて、単眼カメラ、立体カメラ、広範囲測定器等を利用したシステムも有る。
なお、本発明者は、小型無人飛行機の姿勢制御に関して、先行技術文献として、次の非特許文献が存在することを承知している。
D. Mellinger and V. Kumar, "Minimum snap trajectory generation and control for quadrotors," in IEEE International Conference on Robotics and Automation, May 2011, pp.2520-2525
M. Hehn and R. DAndrea, Quadcopter trajectory and control, in Proceedings of the IFAC World Congress, 2011
Michael, Nathan, et al. "The GRASP multiple micro-UAV testbed." Robotics Automation Magazine, IEEE 17.3 (2010): 56-65
Heng, Lionel; Meiser, L.; Tanskanen, P.; Fraundorfer, F.; Pollefeys, M., "Autonomous obstacle avoidance and maneuvering on a vision-guided MAV using on-board processing," in Robotics and Automation (ICRA), 2011 IEEE International Conference on, vol., no., pp.2472-2477, 9-13 May 2011
Stephan Weiss, Markus W. Achtelik, Simon Lynen, Margarita Chli, Roland Siegwart, "Real-time onboard visual-inertial state estimation and self-calibration on MAVs in unknown environments." Robotics and Automation (ICRA), 2012 IEEE International Conference pp.957, May 2012
Shaojie shen; Michael, N.; Kumar, V., "Tightly-coupled monocular visual-inertial fusion for autonomous flight of rotorcraft MAVs," in Robotics and Automation (ICRA), 2015 IEEE International Conference on, vol., no., pp.5303-5310, 26-30 May 2015
S. Grzonka, G. Grisetti, and W. Burgard, "Towards a navigation system for autonomous indoor flying," in IEEE International Conference on Robotics and Automation, 2009
G. Xu, Y. Zhang, S. Ji, Y. Cheng, Y. Tian, Research on computer vision-based for UAV autonomous landing on a ship, Pattern Recognition Letters, Vol. 30(6), 2009, pp.600-605
Lange, S.; Sunderhauf, N.; Protzel, P., "A vision based onboard approach for landing and position control of an autonomouse multirotor UAV in GPS-defined environments" in Advanced Robotics, 2009. ICAR 2009. International Conference on , vol., pp.1-6, 22-26 June 2009
Lugo, Jacobo Jimenez, and Andres Zell, "Framework for autonomous on-board navigation with the AR. Drone." Journal of Intelligent and Robotic Systems 73.1-4(2014): 401-412
Troiani, Chiara, Stefano Al Zanati, and Alessio Martineli. "A 3 points vision based approach for mav localization in GPS defined environments." Mobile Robots (ECMR), 2013 European Conference on. IEEE, 2013.
Vogt, Sebastian, et al. "Single came tracking of marker clusters: Multiparameter cluster optimization and experimental verification" Proceedings of the 1st international Symposium on Mixed and Augmented Reality. IEEE Computer Society, 2002.
Nikolic, Janosch, et al. "A synchronized visual-inertial sensor system with FPGA pre-processing for accurate real-time SLAM." Robotics and Automation (ICRA), 2014 IEEE International Conference on. IEEE, 2014
Zhou, Guyue, et al. "On-board inertia-assisted visual odometer on an embedded system." Robotics and Automation (ICRA), 2014 IEEE International Conference on. IEEE, 2044.
Chen, Qian, Haiyuan Wu, and Toshikazu Wada. "Camera calibration with two arbitrary coplanar circles." Computer Vision-ECVV 2004. Springer Berlin Heidelberg, 2004. 521-532
Elqursh, Ali, and Ahmed Elgammal. "Line-based relative pose estimation." Computer Vision and Pattern Recognition (CVPR), 2011 IEEE Conference on. IEEEE, 2011
Zhang, Zhengyou. "A flexible new technique foe camera calibration." Pattern Analysis and Machine Intelligence, IEEE Transaction on 22.11 (2000): 1330-1334
E. Rosten, R. Porter, and T. Drummond. "Faster and better: A machine learning approach to corner detection." IEEE Trans. Pattern Analysis and Machine intelligence, 32:105119, 2010
Harris, Chris, and Mike Stephens. "A combined corner and edge detector." Alvey vision conference. Vol.15. 1988
Konomura, Ryo, and Koichi Hori. "Phoenix: Zynq 7000 based quadcopter robot. ReConFigurable Computing and FPGAs (ReConFig), 2014 International Conference on. IEEE, 2014.
従来提案されている姿勢制御システムは、反射マーカーと赤外線高速カメラを利用したモーションキャプチャシステムのように構成が比較的複雑であり、姿勢制御の誤差が比較的大きい等の問題が有った。また、小型無人飛行機に搭載する姿勢制御のハードウェアには、厳しい重量制限が有り、軽量化が求められる。
そこで、本発明者は、従来の姿勢制御方法とは異なる新規且つ簡単な構成の小型無人飛行機の姿勢制御システムを提案する。
具体的には、本発明は、新規且つ簡単な構成の移動体（例えば、小型無人飛行機）の自立姿勢制御システムを提供することを目的とする。
更に、本発明は、移動体（例えば、小型無人飛行機）の自立姿勢制御システムに使用して好適な新規且つ簡単な構成のマーカーを提供することを目的とする。
本発明に係る移動体の姿勢制御システムは、その発明の一面では、前記移動体に搭載された単眼カメラ及び姿勢制御装置と、所定の場所に設置された立体マーカーとを備え、前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの画像データに基づき前記移動体を自立姿勢制御している。
更に、上記移動体の姿勢制御システムでは、前記移動体は、無人小型飛行機であってよい。
更に、上記移動体の姿勢制御システムでは、前記立体マーカーは、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成るものでよい。
更に、上記移動体の姿勢制御システムでは、前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの1つの平面と、その平面に含まれない他の平面又は点の画像データに関し、事前に判明している位置と、測定時の位置との差分に基づき座標化することにより三次元の姿勢制御を行っていてもよい。
更に、上記移動体の姿勢制御システムでは、前記姿勢制御装置は、前記単眼カメラから立体マーカーの画像を取得し、取得画像をスカラー画像に変換し、該スカラー画像からカラー物体の輪郭を取得し、カラー物体の輪郭から立体マーカー及びサブ画素レベルで各頂点を検出してマーカー管理ユニットへ送り、平面の各頂点を使って最初の姿勢推定を行い、立体の各頂点を使ってバンドル調整を通じて対話型姿勢推定処理を行っていてもよい。
更に、上記移動体の姿勢制御システムでは、前記立体マーカーは、円錐、三角錐、四角錐、その他多角錐のいずれかの形状のマーカーでああってよい。
更に、上記移動体の姿勢制御システムでは、前記立体マーカーは、四角錐形状であって、表面の4つの三角面の少なくとも一面の色を変えてマーカーを非対称に着色していてもよい。
更に、上記移動体の姿勢制御システムでは、前記立体マーカーは、複数個の発光物で三次元形状を表すように配置されたマーカーであってよい。
更に、上記移動体の姿勢制御システムでは、前記移動体は、産業用ロボットであってよい。
更に、上記移動体の姿勢制御システムでは、前記移動体は、直線レール上を走行する物品移送用のトロッコでああってよい。
更に、本発明に係るマーカーは、その発明の一面では、三次元に移動可能な移動体の自立姿勢制御システムに使用される立体マーカーである。
更に、上記立体マーカーでは、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成る立体マーカーである。
本発明によれば、新規且つ簡単な構成の移動体（例えば、小型無人飛行機）の自立姿勢制御システムを提供することが出来る。
更に、本発明によれば、移動体（例えば、小型無人飛行機）の自立姿勢制御システムに使用して好適な新規且つ簡単な構成のマーカーを提供することが出来る。
以下、本発明に係る移動体の姿勢制御システムの実施形態に関し、移動体として３次元空間を移動可能な小型無人飛行機（ドローン）を例にとって、添付の図面に沿って説明する。なお、図面上、同じ参照符号は、同じ要素を示し、重複した説明を省略する。
［ドローンの姿勢制御のイメージ］
図１Ａは、本実施形態に係るドローンの自立姿勢制御システムのイメージを説明する図である。本実施例の特徴は、ドローンの自立姿勢制御システムが、簡単な構成である点にある。即ち、ドローン２は、予め、地上に設置されたマーカー６を、ドローン２に搭載のカメラ２０で撮影しながら、自立的に姿勢制御をしている。
図１Ａは、本実施形態に係るドローンの自立姿勢制御システムのイメージを説明する図である。本実施例の特徴は、ドローンの自立姿勢制御システムが、簡単な構成である点にある。即ち、ドローン２は、予め、地上に設置されたマーカー６を、ドローン２に搭載のカメラ２０で撮影しながら、自立的に姿勢制御をしている。
自立姿勢制御のために、図１Ａにおいて、破線で示す要素のＧＰＳ衛星１からのデータ、利用者３の操縦機器４からのデータ等を必要としない、簡単な構成となっている。
図１Ｂは、ドローンの6-Dof（６自由度）姿勢制御を説明する図である。一般に、物体が三次元空間で取り得る動きの自由度を6-Dof（６自由度）といい、具体的には、物体が前又は後、上又は下、左又は右に移動できること（換言すれば、３次元の各直交座標軸に沿って移動できること）、また直交座標軸の各軸の周りを回転できることをいう。この回転に関しては、ドローン２のような航空機では、ピッチング、ヨーイング、ローリングが用いられる。即ち、ピッチングは、ドローンの左右を軸として（所謂、上下に）回転することをいう。ヨーイングは、ドローンの上下を軸として（所謂、水平面内で）回転することをいう。ローリングは、ドローンの前後の軸に対して回転（或いは傾斜）することをいう。
［自立姿勢制御システム］
（ハードウェア）
図２Ａは、図１Ａに示すドローンの自立姿勢制御システムにおいて、ドローン２に搭載される姿勢制御装置８のブロック図である。姿勢制御装置８は、基板１０に実装された単眼カメラ２０と、１個のＣＰＵ１６と、メモリ１８とを備えている。これらをＦＰＧＡで構成してもよい。
（ハードウェア）
図２Ａは、図１Ａに示すドローンの自立姿勢制御システムにおいて、ドローン２に搭載される姿勢制御装置８のブロック図である。姿勢制御装置８は、基板１０に実装された単眼カメラ２０と、１個のＣＰＵ１６と、メモリ１８とを備えている。これらをＦＰＧＡで構成してもよい。
三軸ジャイロセンサ１４は、本実施形態の効果を検証するために搭載されたものであり、本実施形態にとって必須な要素ではない。しかし、所望により、三軸ジャイロセンサ１４を搭載してもよい。
従来、ドローン２の重力方向に対するローリング角度及びピッチング角度を計測するため、加速度計は不可欠であった。しかし、本実施形態の6-Dof姿勢計測では、姿勢制御装置８に加速度計を備えずに、ドローンの安定した飛行姿勢及び位置の飛行制御が可能となった。
単眼（一眼）カメラ１６は、１個のレンズのカメラである。通常、距離測定、３Ｄ写真の撮影には視差を利用するため、２個のレンズを使用する双眼（二眼）カメラが必要である。本実施形態では、後述するマーカーと姿勢計測アルゴリズムを工夫することにより、単眼カメラでの姿勢制御が可能となった。
メモリ１４は、姿勢制御のアルゴリズムを書き込む記憶領域と、ＣＰＵ１２の演算処理の作業領域とを有している。
なお、ドローン２には、本実施例の姿勢測定の効果を測定するに際し、基準データを得るためにモーションキャプチャ装置も搭載している。
（マーカーの形状、設計及び設置場所）
本実施形態で使用するマーカー６は、「立体マーカー」である。本出願書類では、「立体マーカー」は、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成るものをいう。代表的には、三次元形状のマーカーである。
本実施形態で使用するマーカー６は、「立体マーカー」である。本出願書類では、「立体マーカー」は、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成るものをいう。代表的には、三次元形状のマーカーである。
好ましくは、図２Ｂに示すような四角錐マーカー６である。四角錐マーカー６は、平面６ａ，６ｂ，６ｃ，６ｄと、平面６ａ，６ｂ，６ｅと、平面６ｂ，６ｃ，６ｅと、平面６ｃ，６ｄ，６ｅと、平面６ｄ，６ａ，６ｅとの組み合わせである。見方を変えると、四角錐マーカー６は、平面６ａ，６ｂ，６ｃ，６ｄと、点６ｅと組み合わせた形状となっている。
しかし、四角錐に限定されない。円錐、多角錐でもよい。
しかし、四角錐に限定されない。円錐、多角錐でもよい。
また、ＬＥＤ等の発光物で非同一平面を表現してもよい。
マーカーの個数は、１個に限定されない。２個以上であってもよい。従って、同一平面でない平面上に、２個の平面マーカーを夫々設置し、２個の平面マーカーを全体として「立体マーカー」としてもよい。
四角錐マーカーでは、表面の4つの三角面の少なくとも一面の色を変えてマーカーを非対称にすることにより、ヨー回転方向の向きを区別することが出来る。
マーカーの設置場所は、地上、空中等何れであってもよい。リアルタイムで位置が明らかであれば、車上に時系列で移動してもよい。車上に設置して、ドローンが追従することも出来る。
マーカーの開発過程において、マーカーの形状に関し、平面形状（二次元形態）と立体形状（三次元形状）とを比較検討した。最終的に、マーカーの形状は、姿勢制御の推定誤差が少ない立体形状とし、好ましくは、四角錐とした。その理由は後で説明する。
（6-Dofアルゴリズム）
この6-Dofアルゴリズムの内容は、例えば、四角錐のマーカーを特定する５つの頂点（底辺の正方形の４点と頂点の１点）に関して、事前に判明している位置と、測定時の位置との差分に基づき座標化することにある。ここで、二次元を写す単眼（一眼）カメラ１６であっても、四角錐の正方形の４点内にある頂点の挙動により、三次元の姿勢制御が可能となる。
この6-Dofアルゴリズムの内容は、例えば、四角錐のマーカーを特定する５つの頂点（底辺の正方形の４点と頂点の１点）に関して、事前に判明している位置と、測定時の位置との差分に基づき座標化することにある。ここで、二次元を写す単眼（一眼）カメラ１６であっても、四角錐の正方形の４点内にある頂点の挙動により、三次元の姿勢制御が可能となる。
最初に、本実施形態で使用された姿勢の記号及び方法を開示する。ベクトルui=[ui,vi]Tは、画像座標(0≦ui＜H及び0≦vi≦V)のｉ番目の位置である。Xi∈R3は、ワールド座標である。T=[tx,ty,tz]T∈R3及びR∈SO(3)は、相対的なカメラの移動及び回転である。Tzを最初のカメラの方向と定義し、θ=[θx,θy,θz]をRのZ-X-Yオイラー角と定義する。次に、単一の画像シーンの再投影誤差のL2基準は、次のように定義出来る。
マーカーの開発過程において、マーカーの形状に関し、平面形状（二次元形態）と立体形状（三次元形状）とを比較検討した。最終的にマーカーの形状は、姿勢制御の推定誤差が少ない「立体形状」とし、好ましくは、四角錐とした。その理由を簡単に説明する。
カメラで撮影した同一平面マーカー（二次元形状マーカー）と非同一平面マーカー（三次元形状マーカー）の相違を説明するため、簡単な例を示す。図３Ａ〜図３Ｄは、カメラを2つの方法、小さな移動tx（図３Ａ及び図３Ｂ）と小さな回転θy（図３Ｃ及び図３Ｄ）で移動したときのマーカーの１６ポイントを示している。二次元形状マーカーでは、並進運動と回転運動では僅かな相違しか見られない。しかし、三次元形状マーカーでは、他の同一平面の１５ポイントと奥行きが異なる1つのポイント（◎）が有ることから、これら移動tx 及び回転θyの変化の相違は明瞭に分かる。
（6-Dof姿勢計測のフロー）
図３は、本実施形態に係る6-Dof姿勢計測のフローを示す図である。この手順は、予めメモリ１４に書き込まれたアルゴリズムに従って、ＣＰＵ１２により処理される。
図３は、本実施形態に係る6-Dof姿勢計測のフローを示す図である。この手順は、予めメモリ１４に書き込まれたアルゴリズムに従って、ＣＰＵ１２により処理される。
ステップＳ０１で、単眼カメラ１６からマーカー１６を含む画像を取得する。
ステップＳ０２で、取得画像はスカラー画像に変換される。
ステップＳ０３で、スカラー画像からカラー物体の輪郭を得て、ＣＰＵ１２に送られる。
ステップＳ０４で、ＣＰＵ１２により、カラー物体の輪郭からマーカー６及びサブ画素レベルで各頂点６ａ〜６ｅを検出する。
ステップＳ０５で、マーカー６及び各頂点６ａ〜６ｅをマーカー管理ユニットへ送られる。
ステップＳ０６で、マーカー６の平面の各頂点６ａ〜６ｄを使って、最初の姿勢推定を行う。
ステップＳ０７で、マーカー６の立体の各頂点６ａ〜６ｅを使ってバンドル調整を通じて対話型姿勢推定を行う。
［検証実験：クワッドコプターによる飛行制御］
6-Dofアルゴリズムの内容では、四角錐の頂点である５点により姿勢計測を行うと説明したが、以下の実験ではこの５点を含む１６点で検証している。検証実験では、同一平面形状として正方形を選択し、立体形状として図２Ｂに示す四角錐を選択した。
6-Dofアルゴリズムの内容では、四角錐の頂点である５点により姿勢計測を行うと説明したが、以下の実験ではこの５点を含む１６点で検証している。検証実験では、同一平面形状として正方形を選択し、立体形状として図２Ｂに示す四角錐を選択した。
2つのタイプのマーカーは、地面に置かれ、姿勢推定を行うため地面に対して固定されている。平面形状マーカーのサイズは19cm×19cm×0.3cmであり、立体形状マーカーのサイズは19cm×19cm×12cmであった。
検証のための6-DoF姿勢の正しいデータは、モーションキャプチャ装置を使用したデータを用いた。
検証のための6-DoF姿勢の正しいデータは、モーションキャプチャ装置を使用したデータを用いた。
本発明者等は、単一のマーカーを使って小型無人飛行機を移動して6-DoF姿勢推定の結果を記録した。平面形状マーカーの場合、θx,θy,tx,ty推定に対して大きな白色雑音（ホワイトノイズ）が発生していた。しかし、これら白色雑音は、立体形状マーカーの場合には大幅に改善することが出来た。
立体形状マーカーを２個の使った場合と１個使った場合との6-DoF姿勢推定の比較も行った。この実験では、２個のマーカーの位置関係（距離28cm）は、事前に姿勢制御装置に登録してある。２個の立体形状マーカーを使った場合、更に、白色雑音は減少し、精度よく推定できることが確認された。
［本実施形態の利点・効果］
(1) 三次元空間を自由に移動可能な移動体（小型無人飛行機）の単眼カメラと立体マーカーを使った姿勢推定制御により、移動体の自立飛行が可能となった。
(2) 三次元空間を自由に移動可能な移動体（小型無人飛行機）の単眼カメラを使った姿勢推定で、平面形状のマーカーより立体形状のマーカーが優位であること立証することが出来た。
(1) 三次元空間を自由に移動可能な移動体（小型無人飛行機）の単眼カメラと立体マーカーを使った姿勢推定制御により、移動体の自立飛行が可能となった。
(2) 三次元空間を自由に移動可能な移動体（小型無人飛行機）の単眼カメラを使った姿勢推定で、平面形状のマーカーより立体形状のマーカーが優位であること立証することが出来た。
［変形例等］
(1)本発明の実施形態を、移動体として小型無人飛行機を例に挙げて説明した。しかし、本発明の姿勢制御は、これに限定されない。移動体として、小型無人飛行機は三次元空間（ＸＹＺ方向）を自由に移動する。
(1)本発明の実施形態を、移動体として小型無人飛行機を例に挙げて説明した。しかし、本発明の姿勢制御は、これに限定されない。移動体として、小型無人飛行機は三次元空間（ＸＹＺ方向）を自由に移動する。
二次元空間を移動する産業用ロボットに関しても、本発明の姿勢制御は応用できる。この場合、床等からの高さ方法（Ｚ方向）の制御は、他の手段で正確に測定制御出来るので、Ｚ方向の制御部分は省略され、二次元（ＸＹ方向）の制御となる。
更に、一次元空間を移動する、例えば、工場内の直線レール上を走行する物品移送用のトロッコに関しても、本発明の姿勢制御は応用できる。この場合、ＹＺ方向の制御部分は省略され、一次元（Ｘ方向）の制御となる。
(2)マーカーをＧＰＳと連動させることで、ロボットとマーカーの相対位置表現を、ＧＰＳ座標系に変換することも出来る。
１：ＧＰＳ衛星、 ２：小型無人飛行機，ドローン、 ３：ドローン利用者、 ４：ドローン操縦機器、 ６：マーカー，立体マーカー、 ８：姿勢制御装置、 １０：基板、 １４：三軸ジャイロセンサ、 メモリ、 １６：ＣＰＵ、 ２０：単眼カメラ、一眼カメラ、
Claims (12)
- 移動体の姿勢制御システムにおいて、
前記移動体に搭載された単眼カメラ及び姿勢制御装置と、
所定の場所に設置された立体マーカーとを備え、
前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの画像データに基づき前記移動体を自立姿勢制御する、姿勢制御システム。 - 請求項１記載の移動体の姿勢制御システムにおいて、
前記移動体は、無人小型飛行機である、姿勢制御システム。 - 請求項１又は２記載の移動体の姿勢制御システムにおいて、
前記立体マーカーは、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成る、姿勢制御システム。 - 請求項１〜３のいずれか一項記載の移動体の姿勢制御システムにおいて、
前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの1つの平面と、その平面に含まれない他の平面又は点の画像データに関し、事前に判明している位置と、測定時の位置との差分に基づき座標化することにより三次元の姿勢制御を行っている、姿勢制御システム。 - 請求項４記載の移動体の姿勢制御システムにおいて、
前記姿勢制御装置は、前記単眼カメラから立体マーカーの画像を取得し、取得画像をスカラー画像に変換し、該スカラー画像からカラー物体の輪郭を取得し、カラー物体の輪郭から立体マーカー及びサブ画素レベルで各頂点を検出してマーカー管理ユニットへ送り、平面の各頂点を使って最初の姿勢推定を行い、立体の各頂点を使ってバンドル調整を通じて対話型姿勢推定処理を行っている、姿勢制御システム。 - 請求項１〜５のいずれか一項記載の移動体の姿勢制御システムにおいて、
前記立体マーカーは、円錐、三角錐、四角錐、その他多角錐のいずれかの形状のマーカーである、姿勢制御システム。 - 請求項１〜６のいずれか一項記載の移動体の姿勢制御システムにおいて、
前記立体マーカーは、四角錐形状であって、表面の4つの三角面の少なくとも一面の色を変えてマーカーを非対称に着色している、姿勢制御システム。
- 請求項１〜７のいずれか一項記載の移動体の姿勢制御システムにおいて、
前記立体マーカーは、複数個の発光物で三次元形状を表すように配置されたマーカーである、姿勢制御システム。 - 請求項１又は４記載の移動体の姿勢制御システムにおいて、
前記移動体は、産業用ロボットである、姿勢制御システム。 - 請求項１又は４記載の移動体の姿勢制御システムにおいて、
前記移動体は、直線レール上を走行する物品移送用のトロッコである、姿勢制御システム。 - 三次元に移動可能な移動体の自立姿勢制御システムに使用される立体マーカー。
- 請求項１１記載の立体マーカーは、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成る、立体マーカー。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016200639A JP6925603B2 (ja) | 2016-10-12 | 2016-10-12 | 移動体の姿勢制御システム |
| PCT/JP2017/037041 WO2018070486A1 (ja) | 2016-10-12 | 2017-10-12 | 移動体の姿勢制御システム、立体マーカー |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016200639A JP6925603B2 (ja) | 2016-10-12 | 2016-10-12 | 移動体の姿勢制御システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018063512A true JP2018063512A (ja) | 2018-04-19 |
| JP6925603B2 JP6925603B2 (ja) | 2021-08-25 |
Family
ID=61906429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016200639A Active JP6925603B2 (ja) | 2016-10-12 | 2016-10-12 | 移動体の姿勢制御システム |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP6925603B2 (ja) |
| WO (1) | WO2018070486A1 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109739254A (zh) * | 2018-11-20 | 2019-05-10 | 国网浙江省电力有限公司信息通信分公司 | 一种电力巡检中采用视觉图像定位的无人机及其定位方法 |
| WO2021102797A1 (zh) * | 2019-11-28 | 2021-06-03 | 深圳市大疆创新科技有限公司 | 一种云台控制方法、控制装置及控制系统 |
| WO2021181481A1 (ja) * | 2020-03-09 | 2021-09-16 | 三菱電機ビルテクノサービス株式会社 | 水道メーター検針装置 |
| KR20230016730A (ko) * | 2021-07-26 | 2023-02-03 | 주식회사 제이슨랩 | 착륙지점에 드론이 정밀하게 착륙할 수 있도록 유도하는 자동착륙 시스템 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7271416B2 (ja) * | 2019-12-27 | 2023-05-11 | 株式会社クボタ | 作業車両及び作業車両の走行管理システム |
| CN112558629A (zh) * | 2020-11-30 | 2021-03-26 | 广西电网有限责任公司电力科学研究院 | 一种实现无人机巡检任务的系统及方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03170289A (ja) * | 1989-11-30 | 1991-07-23 | Nec Corp | ターゲットグリップ |
| JP2000293696A (ja) * | 1999-04-07 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 画像認識装置 |
| JP2005070043A (ja) * | 2003-08-20 | 2005-03-17 | Samsung Electronics Co Ltd | 人工マークを利用した知能型システムの自己位置認識装置及び方法、並びにそれを利用した知能型システム |
| JP2009052924A (ja) * | 2007-08-24 | 2009-03-12 | Panasonic Electric Works Co Ltd | 移動体システム |
| JP2009217798A (ja) * | 2008-02-14 | 2009-09-24 | Seiko Epson Corp | 輪郭検出方法、輪郭検出装置および輪郭検出プログラム |
| JP2010249628A (ja) * | 2009-04-15 | 2010-11-04 | Toyota Industries Corp | 移動体の位置検出装置及びカメラを用いた移動体の位置検出方法 |
| JP2012014262A (ja) * | 2010-06-29 | 2012-01-19 | Yaskawa Electric Corp | 車両移動システム及びランドマーク |
| JP2015112688A (ja) * | 2013-12-12 | 2015-06-22 | 株式会社Ihi | ロボットの遠隔操作システムと方法 |
-
2016
- 2016-10-12 JP JP2016200639A patent/JP6925603B2/ja active Active
-
2017
- 2017-10-12 WO PCT/JP2017/037041 patent/WO2018070486A1/ja active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03170289A (ja) * | 1989-11-30 | 1991-07-23 | Nec Corp | ターゲットグリップ |
| JP2000293696A (ja) * | 1999-04-07 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 画像認識装置 |
| JP2005070043A (ja) * | 2003-08-20 | 2005-03-17 | Samsung Electronics Co Ltd | 人工マークを利用した知能型システムの自己位置認識装置及び方法、並びにそれを利用した知能型システム |
| JP2009052924A (ja) * | 2007-08-24 | 2009-03-12 | Panasonic Electric Works Co Ltd | 移動体システム |
| JP2009217798A (ja) * | 2008-02-14 | 2009-09-24 | Seiko Epson Corp | 輪郭検出方法、輪郭検出装置および輪郭検出プログラム |
| JP2010249628A (ja) * | 2009-04-15 | 2010-11-04 | Toyota Industries Corp | 移動体の位置検出装置及びカメラを用いた移動体の位置検出方法 |
| JP2012014262A (ja) * | 2010-06-29 | 2012-01-19 | Yaskawa Electric Corp | 車両移動システム及びランドマーク |
| JP2015112688A (ja) * | 2013-12-12 | 2015-06-22 | 株式会社Ihi | ロボットの遠隔操作システムと方法 |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109739254A (zh) * | 2018-11-20 | 2019-05-10 | 国网浙江省电力有限公司信息通信分公司 | 一种电力巡检中采用视觉图像定位的无人机及其定位方法 |
| CN109739254B (zh) * | 2018-11-20 | 2021-11-09 | 国网浙江省电力有限公司信息通信分公司 | 一种电力巡检中采用视觉图像定位的无人机及其定位方法 |
| WO2021102797A1 (zh) * | 2019-11-28 | 2021-06-03 | 深圳市大疆创新科技有限公司 | 一种云台控制方法、控制装置及控制系统 |
| WO2021181481A1 (ja) * | 2020-03-09 | 2021-09-16 | 三菱電機ビルテクノサービス株式会社 | 水道メーター検針装置 |
| JPWO2021181481A1 (ja) * | 2020-03-09 | 2021-09-16 | ||
| JP7111276B2 (ja) | 2020-03-09 | 2022-08-02 | 三菱電機ビルソリューションズ株式会社 | 水道メーター検針装置 |
| KR20230016730A (ko) * | 2021-07-26 | 2023-02-03 | 주식회사 제이슨랩 | 착륙지점에 드론이 정밀하게 착륙할 수 있도록 유도하는 자동착륙 시스템 |
| KR102585428B1 (ko) * | 2021-07-26 | 2023-10-11 | 주식회사 제이슨랩 | 착륙지점에 드론이 정밀하게 착륙할 수 있도록 유도하는 자동착륙 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018070486A1 (ja) | 2018-04-19 |
| JP6925603B2 (ja) | 2021-08-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6925603B2 (ja) | 移動体の姿勢制御システム | |
| Nguyen et al. | Robust target-relative localization with ultra-wideband ranging and communication | |
| US20200074683A1 (en) | Camera calibration | |
| CN110077595B (zh) | 复杂动态颠簸条件下无人自主飞行器自动降落及回收系统 | |
| EP3123260B1 (en) | Selective processing of sensor data | |
| Loianno et al. | Cooperative localization and mapping of MAVs using RGB-D sensors | |
| TWI827649B (zh) | 用於ｖｓｌａｍ比例估計的設備、系統和方法 | |
| Li et al. | ModQuad-Vi: A vision-based self-assembling modular quadrotor | |
| US20220033076A1 (en) | System and method for tracking targets | |
| Mohta et al. | Vision-based control of a quadrotor for perching on lines | |
| JP2014078232A (ja) | 分散された位置の識別 | |
| Paul et al. | Landing of a multirotor aerial vehicle on an uneven surface using multiple on-board manipulators | |
| Moore et al. | Autonomous MAV guidance with a lightweight omnidirectional vision sensor | |
| Beul et al. | A high-performance MAV for autonomous navigation in complex 3D environments | |
| Dias et al. | On-board vision-based 3D relative localization system for multiple quadrotors | |
| Loianno et al. | A swarm of flying smartphones | |
| Yang et al. | Visual SLAM for autonomous MAVs with dual cameras | |
| Konomura et al. | FPGA-based 6-DoF pose estimation with a monocular camera using non co-planer marker and application on micro quadcopter | |
| Zhang et al. | Autonomous landing on ground target of UAV by using image-based visual servo control | |
| Miller et al. | Optical Flow as a navigation means for UAV | |
| Razinkova et al. | Tracking a moving ground object using quadcopter UAV in a presence of noise | |
| JP2017142829A (ja) | 深度マップを生成するための方法、装置およびプログラム | |
| Shastry et al. | Autonomous detection and tracking of a high-speed ground vehicle using a quadrotor UAV | |
| Ajmera et al. | Autonomous visual tracking and landing of a quadrotor on a moving platform | |
| Gomez-Balderas et al. | Vision-based autonomous hovering for a miniature quad-rotor |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170706 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191007 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200825 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201026 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210222 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210420 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210728 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6925603 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |