JP2015210677A - 情報処理装置および情報処理方法 - Google Patents
情報処理装置および情報処理方法 Download PDFInfo
- Publication number
- JP2015210677A JP2015210677A JP2014091950A JP2014091950A JP2015210677A JP 2015210677 A JP2015210677 A JP 2015210677A JP 2014091950 A JP2014091950 A JP 2014091950A JP 2014091950 A JP2014091950 A JP 2014091950A JP 2015210677 A JP2015210677 A JP 2015210677A
- Authority
- JP
- Japan
- Prior art keywords
- processing
- feature points
- image frame
- processing module
- feature point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【解決手段】一定のレートで画像フレームのデータ入力を受ける入力処理21、入力された画像フレームに対して、複数の特徴点を並列処理により検出する特徴点検出処理23、及び複数の特徴点の特徴をそれぞれ記述する複数の記述子を並列処理により生成する記述子生成処理25を、クロック単位での制御により一定速度で実行可能なFPGA20と、FPGA20で検出及び記述された各画像フレームの複数の特徴点に対して、画像フレーム間で対応関係を求める特徴点対応付け処理35、及び対応関係に基づいて位置推定を行うバンドル調整処理39を実行可能なMCU30とを備える。
【選択図】図1
Description
本実施形態にかかる情報処理装置では、このようなオンボード処理を実現するために、大きく2つの工夫をすることができる。1つ目は、FPGA(Field−Programmable Gate Array)とMCU(Micro−Control Unit)とを組合せて用いることにより、小型ながら強力な情報処理性能を持った電子回路を実現することである。2つ目は、自機の制御とミッションの遂行という2つの要求仕様をリソースの限られた手のひらサイズの飛行ロボットである情報処理装置上で実現するために、信号処理部分を中心に並列化及びカスケード化することにより、モジュール同士のメモリ転送のコストなどを極力小さく抑えた、バスレベルからソフトウェアを設計している点である。
(2.1 概要)
以下、FPGA20及びMCU30における処理の概要を説明する。イメージセンサ10からの画像フレームはFPGA20の入力処理21により一定のレート(ここでは30fps)でストリーム入力される。FPGA20は入力される各画像フレームに対して、複数の特徴点を検出する特徴点検出処理23、及び各特徴点の記述子を生成する記述子生成処理25を並列的に行う。ここで、本実施形態においては、特徴点検出処理23にはFASTアルゴリズムが用いられ、特徴点の記述子(以下、BRIEF記述子とも呼ぶ。)の生成にはBRIEFアルゴリズムが用いられる。本実施形態において、BRIEF記述子は256byteである。
以下、本実施形態におけるFPGA20が行う特徴点検出処理23及び記述子生成処理25について説明する。本実施形態における特徴点検出処理23及び記述子生成処理25を、ここでは纏めて「CSFB(Concurrently Streamed FAST and BRIEF)と呼ぶ。CSFBの特徴としては、以下4点を挙げることができる。
1.カメラの奥行方向や回転運動などもトラッキングできる。
2.リアルタイムで実行可能である(例えば、30fps以上)。
3.画像フレームの生データを保存するための外部メモリを必要としない。
4.掛け算、割り算処理を行わないため、FPGA20上にDSP(Digital Signal Processor)リソースを必要としない。
以上のプロセスを式で表現すると、以下のようになる。
以上のプロセスを式で表現すると、以下のようになる。
以上のプロセスを式で表現すると、以下のようになる。
MCU30は、先述の通りFPGA20から特徴点情報を受け取る。その中には、画像平面における特徴点の座標、及びBRIEF記述子が含まれる。また、タイマ割り込みによって周期的に呼び出されるコントロールプロセスの中において、MCU30はセンサフュージョン処理31によって回転姿勢を得る。また、MCUはFPGA20から得られた特徴点を管理し(特徴点管理処理37)、対応関係の記述を行った後(特徴点対応付け処理35)、自己位置推定を行う(バンドル調整処理39)。
以上説明した本実施形態に係る飛行ロボットである情報処理装置1では、オンボード(限られたリソース)かつリアルタイムで自己位置推定を行って飛行することが可能となる。特に、情報処理装置1は、特徴点の検出及び記述処理をFPGA20で行っている。FPGA20はクロック単位での制御により、画像フレームの入力に合わせて一定速度で処理を実行可能、特徴点の検出や識別子生成に係る処理を並列的に実行することが可能、消費電力が低い、等の特徴を有するため、リアルタイムでの自己位置推定に顕著に貢献することができる。
10 :イメージセンサ
20 :FPGA
21 :入力処理
23 :特徴点検出処理
25 :記述子生成処理
27 :出力処理
31 :センサフュージョン処理
33 :姿勢制御処理
35 :特徴点対応付け処理
37 :特徴点管理処理
39 :バンドル調整処理
50 :モータ
Claims (8)
- 一定のレートで画像フレームのデータ入力を受ける入力処理、
入力された画像フレームに対して、複数の特徴点を並列処理により検出する検出処理、及び
前記複数の特徴点の特徴をそれぞれ記述する複数の記述子を並列処理により生成する記述処理
を、クロック単位での制御により一定速度で実行可能な第1の計算処理モジュールと、
前記第1の計算処理モジュールで検出及び記述された各画像フレームの前記複数の特徴点に対して、画像フレーム間で対応関係を求める処理、及び
前記対応関係に基づいて位置推定を行う位置推定処理
を実行可能な第2の計算処理モジュールと
を備える情報処理装置。 - 前記第1の計算処理モジュールは、前記検出処理及び前記記述処理を同時に実行する、
請求項1記載の情報処理装置。 - 前記第1の計算処理モジュールは、前記検出処理において、特徴点であるか否かを評価するための演算を並列処理する、
請求項1又は請求項2記載の情報処理装置。 - 前記第1の計算処理モジュールは、前記検出処理において、FASTアルゴリズムにより前記複数の特徴点を検出する、
請求項1乃至請求項3のいずれか1項記載の情報処理装置。 - 前記第1の計算処理モジュールは、前記記述処理において、BRIEF(Binary Robust Independent Elementary Features)アルゴリズムにより、前記複数の特徴点の特徴を記述する前記複数の記述子を生成する、
請求項1乃至請求項4のいずれか1項記載の情報処理装置。 - 前記第2の計算処理モジュールは、慣性計測装置からの入力と、前記対応関係とに基づいて位置推定を行う、
請求項1乃至請求項5のいずれか1項記載の情報処理装置。 - 前記第1の計算処理モジュールと前記第2の計算処理モジュールとは同一のチップに実装される、
請求項1乃至請求項6のいずれか1項記載の情報処理装置。 - 一定のレートで画像フレームのデータ入力を受ける入力処理、
入力された画像フレームに対して、複数の特徴点を並列処理により検出する検出処理、及び
前記複数の特徴点の特徴をそれぞれ記述する複数の記述子を並列処理により生成する記述処理
を、クロック単位での制御により一定速度で実行可能な第1の計算処理モジュールに実行させると共に、
出及び記述された各画像フレームの特徴点に対して、画像フレーム間で対応関係を求める処理、及び
前記対応関係に基づいて位置推定を行う位置推定処理
を実行可能な第2の計算処理モジュールに実行させる、情報処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014091950A JP6441586B2 (ja) | 2014-04-25 | 2014-04-25 | 情報処理装置および情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014091950A JP6441586B2 (ja) | 2014-04-25 | 2014-04-25 | 情報処理装置および情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015210677A true JP2015210677A (ja) | 2015-11-24 |
JP6441586B2 JP6441586B2 (ja) | 2018-12-19 |
Family
ID=54612807
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014091950A Active JP6441586B2 (ja) | 2014-04-25 | 2014-04-25 | 情報処理装置および情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6441586B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106005411A (zh) * | 2016-07-14 | 2016-10-12 | 辽宁猎鹰航空科技有限公司 | 无人机智能警示系统 |
CN106204660A (zh) * | 2016-07-26 | 2016-12-07 | 华中科技大学 | 一种基于特征匹配的地面目标跟踪装置 |
CN108292140A (zh) * | 2015-12-09 | 2018-07-17 | 深圳市大疆创新科技有限公司 | 用于自动返航的系统和方法 |
WO2019078310A1 (ja) | 2017-10-20 | 2019-04-25 | 日本電気株式会社 | 顔三次元形状推定装置、顔三次元形状推定方法、及び、非一時的なコンピュータ可読媒体 |
CN110928605A (zh) * | 2019-11-14 | 2020-03-27 | 天津大学 | 一种基于Zynq FPGA的光束平差法硬件加速器 |
US10878221B2 (en) | 2017-07-27 | 2020-12-29 | Samsung Electronics Co., Ltd. | Imaging device capable of performing high-speed image recognition processing |
WO2021125171A1 (ja) * | 2019-12-19 | 2021-06-24 | 株式会社豊田自動織機 | 自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラム |
JP2021174424A (ja) * | 2020-04-30 | 2021-11-01 | トヨタ自動車株式会社 | 位置推定システム、及び位置推定方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008089314A (ja) * | 2006-09-29 | 2008-04-17 | Topcon Corp | 位置測定装置及びその方法 |
JP2010181919A (ja) * | 2009-02-03 | 2010-08-19 | Toyohashi Univ Of Technology | 三次元形状特定装置、三次元形状特定方法、三次元形状特定プログラム |
JP2012014564A (ja) * | 2010-07-02 | 2012-01-19 | Fujitsu Ltd | 特徴点判定装置、特徴点判定方法および特徴点判定プログラム |
-
2014
- 2014-04-25 JP JP2014091950A patent/JP6441586B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008089314A (ja) * | 2006-09-29 | 2008-04-17 | Topcon Corp | 位置測定装置及びその方法 |
JP2010181919A (ja) * | 2009-02-03 | 2010-08-19 | Toyohashi Univ Of Technology | 三次元形状特定装置、三次元形状特定方法、三次元形状特定プログラム |
JP2012014564A (ja) * | 2010-07-02 | 2012-01-19 | Fujitsu Ltd | 特徴点判定装置、特徴点判定方法および特徴点判定プログラム |
Non-Patent Citations (2)
Title |
---|
末吉 敏則: "低価格化,高速化,高集積化,低消費電力化を達成するFPGA/PLDデバイス", 日経エレクトロニクス, vol. 第716号, JPN6018009541, 18 May 1998 (1998-05-18), JP, pages 168 - 176, ISSN: 0003869999 * |
此村 領,外1名: "オンボード処理・超小型クアッドロータロボットのハードウェア・ソフトウェアの設計、製作", 2013年度 人工知能学会全国大会(第27回)論文集, JPN6018009540, 7 June 2013 (2013-06-07), JP, pages 1 - 4, ISSN: 0003869998 * |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10670407B2 (en) | 2015-12-09 | 2020-06-02 | SZ DJI Technology Co., Ltd. | Systems and methods for auto-return |
CN108292140A (zh) * | 2015-12-09 | 2018-07-17 | 深圳市大疆创新科技有限公司 | 用于自动返航的系统和方法 |
JP2018537335A (ja) * | 2015-12-09 | 2018-12-20 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd | 無人航空機の飛行を制御する方法及びシステム |
CN108292140B (zh) * | 2015-12-09 | 2022-03-15 | 深圳市大疆创新科技有限公司 | 用于自动返航的系统和方法 |
EP3387506B1 (en) * | 2015-12-09 | 2021-01-13 | SZ DJI Technology Co., Ltd. | Systems and methods for auto-return |
EP3835912A1 (en) * | 2015-12-09 | 2021-06-16 | SZ DJI Technology Co., Ltd. | Systems and methods for auto-return |
US11879737B2 (en) | 2015-12-09 | 2024-01-23 | SZ DJI Technology Co., Ltd. | Systems and methods for auto-return |
US11300413B2 (en) | 2015-12-09 | 2022-04-12 | SZ DJI Technology Co., Ltd. | Systems and methods for auto-return |
CN106005411A (zh) * | 2016-07-14 | 2016-10-12 | 辽宁猎鹰航空科技有限公司 | 无人机智能警示系统 |
CN106204660A (zh) * | 2016-07-26 | 2016-12-07 | 华中科技大学 | 一种基于特征匹配的地面目标跟踪装置 |
US10878221B2 (en) | 2017-07-27 | 2020-12-29 | Samsung Electronics Co., Ltd. | Imaging device capable of performing high-speed image recognition processing |
WO2019078310A1 (ja) | 2017-10-20 | 2019-04-25 | 日本電気株式会社 | 顔三次元形状推定装置、顔三次元形状推定方法、及び、非一時的なコンピュータ可読媒体 |
US11488415B2 (en) | 2017-10-20 | 2022-11-01 | Nec Corporation | Three-dimensional facial shape estimating device, three-dimensional facial shape estimating method, and non-transitory computer-readable medium |
CN110928605A (zh) * | 2019-11-14 | 2020-03-27 | 天津大学 | 一种基于Zynq FPGA的光束平差法硬件加速器 |
CN110928605B (zh) * | 2019-11-14 | 2023-05-02 | 天津大学 | 一种基于Zynq FPGA的光束平差法硬件加速器 |
JP2021096789A (ja) * | 2019-12-19 | 2021-06-24 | 株式会社豊田自動織機 | 自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラム |
JP7283665B2 (ja) | 2019-12-19 | 2023-05-30 | 株式会社豊田自動織機 | 自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラム |
WO2021125171A1 (ja) * | 2019-12-19 | 2021-06-24 | 株式会社豊田自動織機 | 自己位置推定装置、移動体、自己位置推定方法、及び自己位置推定プログラム |
CN113592943A (zh) * | 2020-04-30 | 2021-11-02 | 丰田自动车株式会社 | 位置推定系统及位置推定方法 |
JP2021174424A (ja) * | 2020-04-30 | 2021-11-01 | トヨタ自動車株式会社 | 位置推定システム、及び位置推定方法 |
JP7331769B2 (ja) | 2020-04-30 | 2023-08-23 | トヨタ自動車株式会社 | 位置推定システム、及び位置推定方法 |
US11763484B2 (en) | 2020-04-30 | 2023-09-19 | Toyota Jidosha Kabushiki Kaisha | Location estimation system and location estimation method |
CN113592943B (zh) * | 2020-04-30 | 2024-01-30 | 丰田自动车株式会社 | 位置推定系统及位置推定方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6441586B2 (ja) | 2018-12-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6441586B2 (ja) | 情報処理装置および情報処理方法 | |
US11914370B2 (en) | System and method for providing easy-to-use release and auto-positioning for drone applications | |
US11073389B2 (en) | Hover control | |
Honegger et al. | Real-time and low latency embedded computer vision hardware based on a combination of FPGA and mobile CPU | |
JP2018526641A (ja) | レーザ深度マップサンプリングのためのシステム及び方法 | |
CN108235815B (zh) | 摄像控制装置、摄像装置、摄像系统、移动体、摄像控制方法及介质 | |
Quigley et al. | The open vision computer: An integrated sensing and compute system for mobile robots | |
WO2021147113A1 (zh) | 一种平面语义类别的识别方法以及图像数据处理装置 | |
CN113038020B (zh) | 用于时刻捕获的系统和方法 | |
WO2022021027A1 (zh) | 目标跟踪方法、装置、无人机、系统及可读存储介质 | |
WO2019127306A1 (en) | Template-based image acquisition using a robot | |
CN111623773B (zh) | 一种基于鱼眼视觉和惯性测量的目标定位方法及装置 | |
WO2019144286A1 (zh) | 障碍物检测方法、移动平台及计算机可读存储介质 | |
Li et al. | Monocular Snapshot‐based Sensing and Control of Hover, Takeoff, and Landing for a Low‐cost Quadrotor | |
Shi et al. | Real-time multi-modal active vision for object detection on UAVs equipped with limited field of view LiDAR and camera | |
CN110052020B8 (zh) | 便携式装置或机器人系统中运行的设备、控制设备和方法 | |
US20210181769A1 (en) | Movable platform control method, movable platform, terminal device, and system | |
KR102565444B1 (ko) | 객체를 식별하기 위한 장치 및 방법 | |
Chenini et al. | Embedded real-time localization of UAV based on an hybrid device | |
CN116952229A (zh) | 无人机定位方法、装置、系统和存储介质 | |
WO2022021028A1 (zh) | 目标检测方法、装置、无人机及计算机可读存储介质 | |
WO2020079309A1 (en) | Obstacle detection | |
US10447992B1 (en) | Image processing method and system | |
WO2018109847A1 (ja) | 制御装置、撮像装置、移動体、制御方法、およびプログラム | |
CN114119885A (zh) | 图像特征点匹配方法、装置及系统、地图构建方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20151028 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170301 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180316 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180831 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181015 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6441586 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |