JP2021174285A - 点群構築装置、位置推定装置、点群構築方法、位置推定方法及びプログラム - Google Patents
点群構築装置、位置推定装置、点群構築方法、位置推定方法及びプログラム Download PDFInfo
- Publication number
- JP2021174285A JP2021174285A JP2020078123A JP2020078123A JP2021174285A JP 2021174285 A JP2021174285 A JP 2021174285A JP 2020078123 A JP2020078123 A JP 2020078123A JP 2020078123 A JP2020078123 A JP 2020078123A JP 2021174285 A JP2021174285 A JP 2021174285A
- Authority
- JP
- Japan
- Prior art keywords
- image
- point cloud
- replacement
- unit
- position estimation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000010276 construction Methods 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims description 26
- 230000009466 transformation Effects 0.000 claims description 10
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000008859 change Effects 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims description 3
- 230000001131 transforming effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 17
- 238000000605 extraction Methods 0.000 description 12
- 210000000746 body region Anatomy 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000000873 masking effect Effects 0.000 description 3
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000036544 posture Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
Description
10…点群構築装置、11…画像取得部、12…第1置換部、13…点群構築部、14…点群DB、121…第1領域検知部、122…第1輪郭抽出部、123…第1描画部
20…位置推定装置、21…画像撮影部、22…第2置換部、23…位置推定部、221…第2領域検知部、222…第2輪郭抽出部、223…第2描画部、231…類似検索部、232…マッチング部
Claims (12)
- フィールドを撮影した複数の画像を取得する画像取得部と、
各画像より動体の領域を検出して、当該領域の形状に応じて描画されるテクスチャに置換した置換画像を生成する第1置換部と、
各置換画像より特徴点の抽出を行い、置換画像の間で特徴点同士の対応を求めることにより、前記フィールドの点群を構築する点群構築部と、を備えることを特徴とする点群構築装置。 - 前記動体は、環境内に固定して設置され、当該動体の内部に現れる内容が時間変化するものとして構成されていることを特徴とする請求項1に記載の点群構築装置。
- 前記第1置換部は、各画像にインスタンスセグメンテーションを適用し、前記動体に該当する物体種別の領域を検出することを特徴とする請求項2に記載の点群構築装置。
- 前記動体は矩形形状として構成され、
前記第1置換部は前記検出した領域の四隅を検出し、前記動体を正面で見た矩形形状と同一形状の領域で定義される正面テクスチャの四隅との間で対応関係を求め、当該対応関係を用いて前記テクスチャを描画することを特徴とする請求項3に記載の点群構築装置。 - 前記第1置換部は射影変換として前記対応関係を求め、前記正面テクスチャを当該射影変換で変換することにより、前記テクスチャを描画することを特徴とする請求項4に記載の点群構築装置。
- 前記動体はディスプレイであることを特徴とする請求項1ないし5のいずれかに記載の点群構築装置。
- 前記構築した点群を、当該点群を構成する各点がいずれの置換画像のいずれの特徴点に対応しているかの情報を紐づけて記憶する点群データベースをさらに備えることを特徴とする請求項1ないし6のいずれかに記載の点群構築装置。
- 請求項7に記載の点群構築装置の点群データベースを参照して位置推定を行う位置推定装置であって、
カメラで撮影を行うことで画像を得る画像撮影部と、
前記画像より動体の領域を検出して、当該領域の形状に応じて描画されるテクスチャに置換した置換画像を生成する第2置換部と、
前記置換画像に類似すると判定される類似画像を前記点群データベースに記憶されている置換画像の中から検索し、当該類似画像と当該置換画像との間で特徴点のマッチングを行うことにより、前記カメラで前記画像を撮影した際の位置を推定する位置推定部と、を備えることを特徴とする位置推定装置。 - フィールドを撮影した複数の画像を取得する画像取得段階と、
各画像より動体の領域を検出して、当該領域の形状に応じて描画されるテクスチャに置換した置換画像を生成する第1置換段階と、
各置換画像より特徴点の抽出を行い、置換画像の間で特徴点同士の対応を求めることにより、前記フィールドの点群を構築する点群構築段階と、を備えることを特徴とする点群構築方法。 - 前記構築した点群を、当該点群を構成する各点がいずれの置換画像のいずれの特徴点に対応しているかの情報を紐づけて記憶することをさらに備える、請求項9に記載の点群構築方法。
- 請求項10に記載の点群構築方法で構築された点群を参照して位置推定を行う位置推定方法であって、
カメラで撮影を行うことで画像を得る画像撮影段階と、
前記画像より動体の領域を検出して、当該領域の形状に応じて描画されるテクスチャに置換した置換画像を生成する第2置換段階と、
前記置換画像に類似すると判定される類似画像を前記点群に紐づけて記憶されている置換画像の中から検索し、当該類似画像と当該置換画像との間で特徴点のマッチングを行うことにより、前記カメラで前記画像を撮影した際の位置を推定する位置推定段階と、を備えることを特徴とする位置推定方法。 - コンピュータを請求項1ないし7のいずれかに記載の点群構築装置または請求項8に記載の位置推定装置として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020078123A JP7290601B2 (ja) | 2020-04-27 | 2020-04-27 | 点群構築装置、位置推定装置、点群構築方法、位置推定方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020078123A JP7290601B2 (ja) | 2020-04-27 | 2020-04-27 | 点群構築装置、位置推定装置、点群構築方法、位置推定方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021174285A true JP2021174285A (ja) | 2021-11-01 |
JP7290601B2 JP7290601B2 (ja) | 2023-06-13 |
Family
ID=78279704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020078123A Active JP7290601B2 (ja) | 2020-04-27 | 2020-04-27 | 点群構築装置、位置推定装置、点群構築方法、位置推定方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7290601B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11144076A (ja) * | 1997-11-10 | 1999-05-28 | Mitsubishi Electric Corp | 映像作成装置 |
JP2016177388A (ja) * | 2015-03-18 | 2016-10-06 | 株式会社リコー | 移動体位置姿勢計測装置 |
JP2018010630A (ja) * | 2016-06-30 | 2018-01-18 | 株式会社日立システムズ | 被写体異常有無調査システム |
JP2020126432A (ja) * | 2019-02-04 | 2020-08-20 | パナソニックIpマネジメント株式会社 | 画像処理システム、画像処理方法 |
-
2020
- 2020-04-27 JP JP2020078123A patent/JP7290601B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11144076A (ja) * | 1997-11-10 | 1999-05-28 | Mitsubishi Electric Corp | 映像作成装置 |
JP2016177388A (ja) * | 2015-03-18 | 2016-10-06 | 株式会社リコー | 移動体位置姿勢計測装置 |
JP2018010630A (ja) * | 2016-06-30 | 2018-01-18 | 株式会社日立システムズ | 被写体異常有無調査システム |
JP2020126432A (ja) * | 2019-02-04 | 2020-08-20 | パナソニックIpマネジメント株式会社 | 画像処理システム、画像処理方法 |
Non-Patent Citations (1)
Title |
---|
風間 光、外2名: ""画像検索を用いた図書館内での自己位置推定"", 情報処理学会研究報告, vol. Vol.2012-CVIM-182, No.27, JPN6023014855, 15 June 2012 (2012-06-15), JP, pages 1 - 8, ISSN: 0005073212 * |
Also Published As
Publication number | Publication date |
---|---|
JP7290601B2 (ja) | 2023-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11393173B2 (en) | Mobile augmented reality system | |
CN108596974B (zh) | 动态场景机器人定位建图系统及方法 | |
CN110568447B (zh) | 视觉定位的方法、装置及计算机可读介质 | |
WO2020215898A1 (zh) | 三维重建方法及装置、系统、模型训练方法、存储介质 | |
US7965904B2 (en) | Position and orientation measuring apparatus and position and orientation measuring method, mixed-reality system, and computer program | |
JP5952001B2 (ja) | 深さ情報を用いたカメラモーションの推定方法および装置、拡張現実システム | |
CN109993793B (zh) | 视觉定位方法及装置 | |
CN111462207A (zh) | 一种融合直接法与特征法的rgb-d同时定位与地图创建方法 | |
US9213908B2 (en) | Method for registering at least one part of a first and second image using a collineation warping function | |
CN110276795A (zh) | 一种基于分裂迭代算法的光场深度估计方法 | |
KR100545048B1 (ko) | 항공사진의 폐쇄영역 도화 시스템 및 방법 | |
JP6420605B2 (ja) | 画像処理装置 | |
JP2019045991A (ja) | 生成装置、生成方法、及びプログラム | |
US20210374977A1 (en) | Method for indoor localization and electronic device | |
JP2011238048A (ja) | 位置姿勢計測装置及び位置姿勢計測プログラム | |
Gao et al. | Multi-source data-based 3D digital preservation of largescale ancient chinese architecture: A case report | |
JP6719945B2 (ja) | 情報処理装置、情報処理方法、情報処理システム及びプログラム | |
JP6304815B2 (ja) | 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置 | |
JP7290601B2 (ja) | 点群構築装置、位置推定装置、点群構築方法、位置推定方法及びプログラム | |
US11741631B2 (en) | Real-time alignment of multiple point clouds to video capture | |
CN116007625A (zh) | 基于标识图结合惯性导航的室内ar定位导航方法及系统 | |
Yang et al. | Design flow of motion based single camera 3D mapping | |
Bui et al. | Integrating videos with LIDAR scans for virtual reality | |
Zhang et al. | Integrating smartphone images and airborne lidar data for complete urban building modelling | |
Jarząbek-Rychard et al. | Automatic enrichment of indoor 3D models using a deep learning approach based on single images with unknown camera poses |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220607 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230411 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230419 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230531 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7290601 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |