JP2018063512A - 移動体の姿勢制御システム - Google Patents
移動体の姿勢制御システム Download PDFInfo
- Publication number
- JP2018063512A JP2018063512A JP2016200639A JP2016200639A JP2018063512A JP 2018063512 A JP2018063512 A JP 2018063512A JP 2016200639 A JP2016200639 A JP 2016200639A JP 2016200639 A JP2016200639 A JP 2016200639A JP 2018063512 A JP2018063512 A JP 2018063512A
- Authority
- JP
- Japan
- Prior art keywords
- control system
- marker
- posture control
- moving body
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003550 marker Substances 0.000 claims abstract description 103
- 238000005259 measurement Methods 0.000 claims description 12
- 239000007787 solid Substances 0.000 claims description 7
- 238000012545 processing Methods 0.000 claims description 4
- 230000002452 interceptive effect Effects 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 13
- 238000000034 method Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 5
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 241000714197 Avian myeloblastosis-associated virus Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 101150037717 Mavs gene Proteins 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 239000000758 substrate Substances 0.000 description 2
- 235000005956 Cosmos caudatus Nutrition 0.000 description 1
- 244000293323 Cosmos caudatus Species 0.000 description 1
- 241000233805 Phoenix Species 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003875 gradient-accelerated spectroscopy Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64C—AEROPLANES; HELICOPTERS
- B64C13/00—Control systems or transmitting systems for actuating flying-control surfaces, lift-increasing flaps, air brakes, or spoilers
- B64C13/02—Initiating means
- B64C13/16—Initiating means actuated automatically, e.g. responsive to gust detectors
- B64C13/18—Initiating means actuated automatically, e.g. responsive to gust detectors using automatic pilot
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B64—AIRCRAFT; AVIATION; COSMONAUTICS
- B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
- B64U20/00—Constructional aspects of UAVs
- B64U20/80—Arrangement of on-board electronics, e.g. avionics systems or wiring
- B64U20/87—Mounting of imaging devices, e.g. mounting of gimbals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
Landscapes
- Engineering & Computer Science (AREA)
- Aviation & Aerospace Engineering (AREA)
- Mechanical Engineering (AREA)
- Remote Sensing (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Robotics (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Abstract
【解決手段】本発明に係る移動体(例えば、小型無人飛行機)の自立姿勢制御システムは、前記移動体に搭載された単眼カメラ及び姿勢制御装置と、所定の場所に設置された立体マーカーとを備え、前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの画像データに基づき前記移動体を自立姿勢制御する。
【選択図】図1A
Description
図1Aは、本実施形態に係るドローンの自立姿勢制御システムのイメージを説明する図である。本実施例の特徴は、ドローンの自立姿勢制御システムが、簡単な構成である点にある。即ち、ドローン2は、予め、地上に設置されたマーカー6を、ドローン2に搭載のカメラ20で撮影しながら、自立的に姿勢制御をしている。
(ハードウェア)
図2Aは、図1Aに示すドローンの自立姿勢制御システムにおいて、ドローン2に搭載される姿勢制御装置8のブロック図である。姿勢制御装置8は、基板10に実装された単眼カメラ20と、1個のCPU16と、メモリ18とを備えている。これらをFPGAで構成してもよい。
本実施形態で使用するマーカー6は、「立体マーカー」である。本出願書類では、「立体マーカー」は、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成るものをいう。代表的には、三次元形状のマーカーである。
しかし、四角錐に限定されない。円錐、多角錐でもよい。
この6-Dofアルゴリズムの内容は、例えば、四角錐のマーカーを特定する5つの頂点(底辺の正方形の4点と頂点の1点)に関して、事前に判明している位置と、測定時の位置との差分に基づき座標化することにある。ここで、二次元を写す単眼(一眼)カメラ16であっても、四角錐の正方形の4点内にある頂点の挙動により、三次元の姿勢制御が可能となる。
図3は、本実施形態に係る6-Dof姿勢計測のフローを示す図である。この手順は、予めメモリ14に書き込まれたアルゴリズムに従って、CPU12により処理される。
6-Dofアルゴリズムの内容では、四角錐の頂点である5点により姿勢計測を行うと説明したが、以下の実験ではこの5点を含む16点で検証している。検証実験では、同一平面形状として正方形を選択し、立体形状として図2Bに示す四角錐を選択した。
検証のための6-DoF姿勢の正しいデータは、モーションキャプチャ装置を使用したデータを用いた。
(1) 三次元空間を自由に移動可能な移動体(小型無人飛行機)の単眼カメラと立体マーカーを使った姿勢推定制御により、移動体の自立飛行が可能となった。
(2) 三次元空間を自由に移動可能な移動体(小型無人飛行機)の単眼カメラを使った姿勢推定で、平面形状のマーカーより立体形状のマーカーが優位であること立証することが出来た。
(1)本発明の実施形態を、移動体として小型無人飛行機を例に挙げて説明した。しかし、本発明の姿勢制御は、これに限定されない。移動体として、小型無人飛行機は三次元空間(XYZ方向)を自由に移動する。
Claims (12)
- 移動体の姿勢制御システムにおいて、
前記移動体に搭載された単眼カメラ及び姿勢制御装置と、
所定の場所に設置された立体マーカーとを備え、
前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの画像データに基づき前記移動体を自立姿勢制御する、姿勢制御システム。 - 請求項1記載の移動体の姿勢制御システムにおいて、
前記移動体は、無人小型飛行機である、姿勢制御システム。 - 請求項1又は2記載の移動体の姿勢制御システムにおいて、
前記立体マーカーは、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成る、姿勢制御システム。 - 請求項1〜3のいずれか一項記載の移動体の姿勢制御システムにおいて、
前記姿勢制御装置は、前記単眼カメラが捉える前記立体マーカーの1つの平面と、その平面に含まれない他の平面又は点の画像データに関し、事前に判明している位置と、測定時の位置との差分に基づき座標化することにより三次元の姿勢制御を行っている、姿勢制御システム。 - 請求項4記載の移動体の姿勢制御システムにおいて、
前記姿勢制御装置は、前記単眼カメラから立体マーカーの画像を取得し、取得画像をスカラー画像に変換し、該スカラー画像からカラー物体の輪郭を取得し、カラー物体の輪郭から立体マーカー及びサブ画素レベルで各頂点を検出してマーカー管理ユニットへ送り、平面の各頂点を使って最初の姿勢推定を行い、立体の各頂点を使ってバンドル調整を通じて対話型姿勢推定処理を行っている、姿勢制御システム。 - 請求項1〜5のいずれか一項記載の移動体の姿勢制御システムにおいて、
前記立体マーカーは、円錐、三角錐、四角錐、その他多角錐のいずれかの形状のマーカーである、姿勢制御システム。 - 請求項1〜6のいずれか一項記載の移動体の姿勢制御システムにおいて、
前記立体マーカーは、四角錐形状であって、表面の4つの三角面の少なくとも一面の色を変えてマーカーを非対称に着色している、姿勢制御システム。
- 請求項1〜7のいずれか一項記載の移動体の姿勢制御システムにおいて、
前記立体マーカーは、複数個の発光物で三次元形状を表すように配置されたマーカーである、姿勢制御システム。 - 請求項1又は4記載の移動体の姿勢制御システムにおいて、
前記移動体は、産業用ロボットである、姿勢制御システム。 - 請求項1又は4記載の移動体の姿勢制御システムにおいて、
前記移動体は、直線レール上を走行する物品移送用のトロッコである、姿勢制御システム。 - 三次元に移動可能な移動体の自立姿勢制御システムに使用される立体マーカー。
- 請求項11記載の立体マーカーは、少なくとも、1つの平面とその平面に含まれない他の平面又は点を有する形状から成る、立体マーカー。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016200639A JP6925603B2 (ja) | 2016-10-12 | 2016-10-12 | 移動体の姿勢制御システム |
PCT/JP2017/037041 WO2018070486A1 (ja) | 2016-10-12 | 2017-10-12 | 移動体の姿勢制御システム、立体マーカー |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016200639A JP6925603B2 (ja) | 2016-10-12 | 2016-10-12 | 移動体の姿勢制御システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018063512A true JP2018063512A (ja) | 2018-04-19 |
JP6925603B2 JP6925603B2 (ja) | 2021-08-25 |
Family
ID=61906429
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016200639A Active JP6925603B2 (ja) | 2016-10-12 | 2016-10-12 | 移動体の姿勢制御システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6925603B2 (ja) |
WO (1) | WO2018070486A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109739254A (zh) * | 2018-11-20 | 2019-05-10 | 国网浙江省电力有限公司信息通信分公司 | 一种电力巡检中采用视觉图像定位的无人机及其定位方法 |
WO2021102797A1 (zh) * | 2019-11-28 | 2021-06-03 | 深圳市大疆创新科技有限公司 | 一种云台控制方法、控制装置及控制系统 |
JPWO2021181481A1 (ja) * | 2020-03-09 | 2021-09-16 | ||
KR20230016730A (ko) * | 2021-07-26 | 2023-02-03 | 주식회사 제이슨랩 | 착륙지점에 드론이 정밀하게 착륙할 수 있도록 유도하는 자동착륙 시스템 |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7271416B2 (ja) * | 2019-12-27 | 2023-05-11 | 株式会社クボタ | 作業車両及び作業車両の走行管理システム |
CN112558629A (zh) * | 2020-11-30 | 2021-03-26 | 广西电网有限责任公司电力科学研究院 | 一种实现无人机巡检任务的系统及方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03170289A (ja) * | 1989-11-30 | 1991-07-23 | Nec Corp | ターゲットグリップ |
JP2000293696A (ja) * | 1999-04-07 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 画像認識装置 |
JP2005070043A (ja) * | 2003-08-20 | 2005-03-17 | Samsung Electronics Co Ltd | 人工マークを利用した知能型システムの自己位置認識装置及び方法、並びにそれを利用した知能型システム |
JP2009052924A (ja) * | 2007-08-24 | 2009-03-12 | Panasonic Electric Works Co Ltd | 移動体システム |
JP2009217798A (ja) * | 2008-02-14 | 2009-09-24 | Seiko Epson Corp | 輪郭検出方法、輪郭検出装置および輪郭検出プログラム |
JP2010249628A (ja) * | 2009-04-15 | 2010-11-04 | Toyota Industries Corp | 移動体の位置検出装置及びカメラを用いた移動体の位置検出方法 |
JP2012014262A (ja) * | 2010-06-29 | 2012-01-19 | Yaskawa Electric Corp | 車両移動システム及びランドマーク |
JP2015112688A (ja) * | 2013-12-12 | 2015-06-22 | 株式会社Ihi | ロボットの遠隔操作システムと方法 |
-
2016
- 2016-10-12 JP JP2016200639A patent/JP6925603B2/ja active Active
-
2017
- 2017-10-12 WO PCT/JP2017/037041 patent/WO2018070486A1/ja active Application Filing
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03170289A (ja) * | 1989-11-30 | 1991-07-23 | Nec Corp | ターゲットグリップ |
JP2000293696A (ja) * | 1999-04-07 | 2000-10-20 | Matsushita Electric Ind Co Ltd | 画像認識装置 |
JP2005070043A (ja) * | 2003-08-20 | 2005-03-17 | Samsung Electronics Co Ltd | 人工マークを利用した知能型システムの自己位置認識装置及び方法、並びにそれを利用した知能型システム |
JP2009052924A (ja) * | 2007-08-24 | 2009-03-12 | Panasonic Electric Works Co Ltd | 移動体システム |
JP2009217798A (ja) * | 2008-02-14 | 2009-09-24 | Seiko Epson Corp | 輪郭検出方法、輪郭検出装置および輪郭検出プログラム |
JP2010249628A (ja) * | 2009-04-15 | 2010-11-04 | Toyota Industries Corp | 移動体の位置検出装置及びカメラを用いた移動体の位置検出方法 |
JP2012014262A (ja) * | 2010-06-29 | 2012-01-19 | Yaskawa Electric Corp | 車両移動システム及びランドマーク |
JP2015112688A (ja) * | 2013-12-12 | 2015-06-22 | 株式会社Ihi | ロボットの遠隔操作システムと方法 |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109739254A (zh) * | 2018-11-20 | 2019-05-10 | 国网浙江省电力有限公司信息通信分公司 | 一种电力巡检中采用视觉图像定位的无人机及其定位方法 |
CN109739254B (zh) * | 2018-11-20 | 2021-11-09 | 国网浙江省电力有限公司信息通信分公司 | 一种电力巡检中采用视觉图像定位的无人机及其定位方法 |
WO2021102797A1 (zh) * | 2019-11-28 | 2021-06-03 | 深圳市大疆创新科技有限公司 | 一种云台控制方法、控制装置及控制系统 |
JPWO2021181481A1 (ja) * | 2020-03-09 | 2021-09-16 | ||
WO2021181481A1 (ja) * | 2020-03-09 | 2021-09-16 | 三菱電機ビルテクノサービス株式会社 | 水道メーター検針装置 |
JP7111276B2 (ja) | 2020-03-09 | 2022-08-02 | 三菱電機ビルソリューションズ株式会社 | 水道メーター検針装置 |
KR20230016730A (ko) * | 2021-07-26 | 2023-02-03 | 주식회사 제이슨랩 | 착륙지점에 드론이 정밀하게 착륙할 수 있도록 유도하는 자동착륙 시스템 |
KR102585428B1 (ko) * | 2021-07-26 | 2023-10-11 | 주식회사 제이슨랩 | 착륙지점에 드론이 정밀하게 착륙할 수 있도록 유도하는 자동착륙 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP6925603B2 (ja) | 2021-08-25 |
WO2018070486A1 (ja) | 2018-04-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6925603B2 (ja) | 移動体の姿勢制御システム | |
Nguyen et al. | Robust target-relative localization with ultra-wideband ranging and communication | |
CN105981074B (zh) | 用于标定成像装置的系统、方法和装置 | |
CN110077595B (zh) | 复杂动态颠簸条件下无人自主飞行器自动降落及回收系统 | |
TWI827649B (zh) | 用於vslam比例估計的設備、系統和方法 | |
EP3123260B1 (en) | Selective processing of sensor data | |
Loianno et al. | Cooperative localization and mapping of MAVs using RGB-D sensors | |
JP6395362B2 (ja) | 分散された位置の識別 | |
Li et al. | ModQuad-Vi: A vision-based self-assembling modular quadrotor | |
US11906983B2 (en) | System and method for tracking targets | |
Mohta et al. | Vision-based control of a quadrotor for perching on lines | |
Paul et al. | Landing of a multirotor aerial vehicle on an uneven surface using multiple on-board manipulators | |
Beul et al. | A high-performance MAV for autonomous navigation in complex 3D environments | |
Dias et al. | On-board vision-based 3D relative localization system for multiple quadrotors | |
Loianno et al. | A swarm of flying smartphones | |
Yang et al. | Visual SLAM for autonomous MAVs with dual cameras | |
Konomura et al. | FPGA-based 6-DoF pose estimation with a monocular camera using non co-planer marker and application on micro quadcopter | |
Zhang et al. | Autonomous landing on ground target of UAV by using image-based visual servo control | |
CN110997488A (zh) | 动态控制用于处理传感器输出数据的参数的系统和方法 | |
Miller et al. | Optical Flow as a navigation means for UAV | |
Razinkova et al. | Tracking a moving ground object using quadcopter UAV in a presence of noise | |
US20230316939A1 (en) | Collision detection and avoidance for unmanned aerial vehicle systems and methods | |
Shastry et al. | Autonomous detection and tracking of a high-speed ground vehicle using a quadrotor UAV | |
Ajmera et al. | Autonomous visual tracking and landing of a quadrotor on a moving platform | |
Gomez-Balderas et al. | Vision-based autonomous hovering for a miniature quad-rotor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20170706 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200825 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210222 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210629 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210728 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6925603 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |