JP2013205278A - 測位用マーカおよび撮像装置の位置・姿勢推定システム - Google Patents
測位用マーカおよび撮像装置の位置・姿勢推定システム Download PDFInfo
- Publication number
- JP2013205278A JP2013205278A JP2012075598A JP2012075598A JP2013205278A JP 2013205278 A JP2013205278 A JP 2013205278A JP 2012075598 A JP2012075598 A JP 2012075598A JP 2012075598 A JP2012075598 A JP 2012075598A JP 2013205278 A JP2013205278 A JP 2013205278A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- sequence
- image
- debroin
- elements
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000003550 marker Substances 0.000 title claims abstract description 100
- 238000003384 imaging method Methods 0.000 title claims abstract description 43
- 239000013598 vector Substances 0.000 claims description 58
- 238000001514 detection method Methods 0.000 claims description 27
- 238000000034 method Methods 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 20
- 238000013519 translation Methods 0.000 claims description 18
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 21
- 238000010586 diagram Methods 0.000 description 9
- 238000012952 Resampling Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000007429 general method Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【解決手段】本発明の測位用マーカは、複数のエレメントがデブルーイン系列を成すように直列に配置されて成る。デブルーイン系列は、コードの一部を観察すれば、コード中の位置が一意に特定される。つまり、複数のエレメントがデブルーイン系列を成す測位用マーカの一部が画像中に撮影されていれば、当該マーカの一部のコード中の位置が特定でき、これを基に画像座標系と撮像装置座標系の位置合わせを行って撮像装置の位置・姿勢を推定することができる。図1(a)に示した例では、32のエレメントが一列に配置されて成り、これらのエレメントの配列は、黒を0、白を1とすると、記号数q=2で次数n=5のデブルーイン系列(25=32)である。
【選択図】図1
Description
図1(a)〜(e)は、本発明に係る測位用マーカのパターンを例示した図である。図1(a)に示したものは、32のエレメントが一列に配置されて成り(32ビット)、各エレメントは同一サイズの同一形状(矩形)とされ、黒若しくは白の何れかの色彩を有している。これらのエレメントの配列は、黒を0、白を1とすると、記号数q=2の有限集合X=10010000011011111010011100010101のコード列を形成しており、当該コード列は次数n=5のデブルーイン系列(25=32)である。ここで、長さn、記号数qのデブルーイン系列は、長さqnの数列であり、長さnの部分数列を観測すれば、数列中の位置が一意に特定可能である。
本発明では、上述のデブルーイン系列パターンを用いたマーカを用いて画像座標系と撮像装置座標系の位置合わせを行い、この測位用マーカが配置された実環境が映し出された画像から撮像装置の位置・姿勢を推定する。
カメラの位置・姿勢を推定するためには、画像座標系と撮像装置座標系の位置合わせを行うための、回転行列と並進ベクトルを計算する必要がある。本発明に係る測位用マーカの最も特徴的な点は、エレメントの配列によりデブルーイン系列が構成されているため、マーカの一部を撮影するだけで、並進ベクトルのX軸を決めることができることにある。上述したように、デブルーイン系列を利用したマーカにはX軸やZ軸を認識し易くするための種々の態様があり得るが、以下では白黒のパターンを用いた場合について説明する。
上記の処理で得られた線分から、距離Dh以内にあるピクセル(近傍ピクセル)の集合(Φ={(u,v)|dp2(u,v,u1,v1,u2,v2)<Dh}を抽出する。
マーカ平面上にあり且つ端点を結ぶ単位ベクトルαを求める。端点に対応した座標を(x1,y1,z1)、(x2,y2,z2)とする。この直線ベクトルαは次式で計算できる。このベクトルαはマーカのX軸を表す。
上記演算により得られた単位法線ベクトルφと単位直線ベクトルαに直交した単位ベクトルβ=φ×αを求める。
上述した線分(x1,y1,z1)、(x2,y2,z2)のそれぞれにつき、コードのZ軸方向の長さ(図4で示したWs、Wl)を見分けることで回転の向きを検出する。この検出は、上述の単位直線ベクトルαに沿った周辺ピクセルを再度サンプリングし直すことで行われる。
直線検出で検出された端点は必ずしもコードの頂点とは一致しない。そのずれの量を位相θ(mm)と呼ぶこととし、この位相θを検出する必要がある。
上述の位相の検出と同様に、3本の直線を用いて再サンプリングを行う。但し、符号の検出では、輝度値に対して再サンプリングを行う。
上記回転行列の計算および符号検出の結果に基づき、並進ベクトル(T)を計算する。並進ベクトルTはT=(x1,y1,z1)+(rWc+θ)・αで与えられる。
RGBカメラを用いる場合には、深度の情報(画像中の各ピクセルについての被写体とカメラとの距離の情報)を得ることができないため、画像からは測位用マーカに垂直なベクトル(法線ベクトル)を決定することができない。このため、実環境をRGBカメラで撮影する場合には、画像処理において抽出される直線部分(線分)およびその交点の情報がなるべく多く取れるような、図1(c)に示したようなパターンを用いる。
図17(a)に例示した画像に映し出された測位用マーカから、上述した直線(コード列方向の直線:縦線)の検出に加え、横線の検出も行い、縦線と横線の交点を求める(図17(b))。そして、直線上に乗っている交点の数が2個以上である直線をX軸方向の直線とし、それ以外の直線をZ軸方向の直線とする。以降の処理は、これらの直線と交点の集合毎に個別に実行する。
オリジナルのパターン列と比較してホモグラフィ行列を計算することで、回転行列が推定できる。この計算はARの一般的手法であり、公知の方法で実行可能である。
マーカの最下段は白黒のビット列が並んでおり、これによりビットの幅を認識する。そして、このビット幅を用いて等間隔のビットを認識する。さらに、オリジナルの符号と比較することで、位置を計算する。
上記符号の検出で得られた位置を使って、並進ベクトルTを計算する。
20 湾曲しない材質の板等
Claims (9)
- 形状およびサイズが同一の複数のエレメントが直列に配置されて成るマーカであって、
前記複数のエレメントは、色相、彩度、若しくは明度によりq種に分類され、
該複数のエレメントは、前記qを記号数とし、nを次数としたときに、長さqnのデブルーイン系列を成す、ことを特徴とする測位用マーカ。
ここで、q及びnは何れも2以上の自然数である。 - 前記エレメントの形状は正方形若しくは長方形である、請求項1に記載の測位用マーカ。
- 前記デブルーイン系列と並列に、該デブルーイン系列と同一長さのマーカが配置されている、請求項1又は2に記載の測位用マーカ。
- 前記デブルーイン系列と同一長さのマーカは、複数のエレメントが第2のデブルーイン系列を成すように配置されたマーカである、請求項3に記載の測位用マーカ。
- 測位用マーカが配置された実環境を撮影する撮像装置と、該撮像装置により撮影された画像の処理を行う演算装置とを備え、
前記測位用マーカは、形状およびサイズが同一の複数のエレメントが直列に配置されて成るマーカであって、前記複数のエレメントは、色相、彩度、若しくは明度によりq種に分類され、該複数のエレメントは、前記qを記号数とし、nを次数としたときに、長さqnのデブルーイン系列を成し、
前記演算装置は、前記撮像装置により撮影された画像からエッジを抽出したエッジ抽出画像を生成し、該エッジ抽出画像から直線部分を検出し、さらに、前記検出された直線部分毎に回転行列の計算および符号の検出を行って計算された並進ベクトルを用いて画像座標系と撮像装置座標系の位置合わせを行う、
ことを特徴とする、撮像装置の位置・姿勢推定システム。
ここで、上記q及びnは何れも2以上の自然数である。 - 前記エレメントの形状は正方形若しくは長方形である、請求項5に記載の撮像装置の位置・姿勢推定システム。
- 前記デブルーイン系列と並列に、該デブルーイン系列と同一長さのマーカが配置されている、請求項5又は6に記載の撮像装置の位置・姿勢推定システム。
- 前記デブルーイン系列と同一長さのマーカは、複数のエレメントが第2のデブルーイン系列を成すように配置されたマーカである、請求項7に記載の撮像装置の位置・姿勢推定システム。
- 前記撮像装置はRGB−Dカメラであり、
前記測位用マーカは前記複数のエレメントをX軸方向に帯状に配列したものであり、
前記演算装置は、前記複数のエレメントの配列方向の直線検出に基づいて、X軸方向の直線部分を検出し、該直線部分毎に前記回転行列の計算及び符号の検出を行う、
請求項5乃至8の何れか1項に記載の撮像装置の位置・姿勢推定システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012075598A JP5547227B2 (ja) | 2012-03-29 | 2012-03-29 | 撮像装置の位置・姿勢推定システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012075598A JP5547227B2 (ja) | 2012-03-29 | 2012-03-29 | 撮像装置の位置・姿勢推定システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013205278A true JP2013205278A (ja) | 2013-10-07 |
JP5547227B2 JP5547227B2 (ja) | 2014-07-09 |
Family
ID=49524493
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012075598A Expired - Fee Related JP5547227B2 (ja) | 2012-03-29 | 2012-03-29 | 撮像装置の位置・姿勢推定システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5547227B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016059930A1 (ja) * | 2014-10-17 | 2016-04-21 | ソニー株式会社 | 装置、方法及びプログラム |
KR20160058534A (ko) * | 2014-11-17 | 2016-05-25 | 한국철도기술연구원 | 승객 운송부의 위치감시 장치 및 방법 |
JP2016136099A (ja) * | 2015-01-23 | 2016-07-28 | サトーホールディングス株式会社 | 測位システム及び測位方法 |
JP2018025531A (ja) * | 2016-08-09 | 2018-02-15 | コー・ヤング・テクノロジー・インコーポレーテッド | オプティカルトラッキング用のマーカー、オプティカルトラッキングシステム及びオプティカルトラッキング方法 |
JP2018520339A (ja) * | 2015-04-30 | 2018-07-26 | パーキンエルマー・ヘルス・サイエンシーズ・インコーポレイテッドPerkinelmer Health Sciences, Inc. | エンコーダ、コード化方法、ならびにそれらを用いたシステム及び装置 |
CN114018213A (zh) * | 2021-09-17 | 2022-02-08 | 中国人民解放军63875部队 | 一种基于直线矢量方向及长度匹配的单站姿态处理精度确定方法 |
WO2024166393A1 (ja) * | 2023-02-10 | 2024-08-15 | 東京ロボティクス株式会社 | 情報生成システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05322562A (ja) * | 1992-05-23 | 1993-12-07 | Topcon Corp | 電子レベルと電子レベル用標尺 |
JP2007271563A (ja) * | 2006-03-31 | 2007-10-18 | Canon Inc | 位置姿勢計測方法及び装置 |
JP2008286768A (ja) * | 2007-05-16 | 2008-11-27 | Kokusai Kogyo Co Ltd | 測量システムおよび測量方法 |
JP2011185872A (ja) * | 2010-03-10 | 2011-09-22 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
JP2011242183A (ja) * | 2010-05-17 | 2011-12-01 | Hiroshima City Univ | 画像処理装置、画像処理方法およびプログラム |
-
2012
- 2012-03-29 JP JP2012075598A patent/JP5547227B2/ja not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05322562A (ja) * | 1992-05-23 | 1993-12-07 | Topcon Corp | 電子レベルと電子レベル用標尺 |
JP2007271563A (ja) * | 2006-03-31 | 2007-10-18 | Canon Inc | 位置姿勢計測方法及び装置 |
JP2008286768A (ja) * | 2007-05-16 | 2008-11-27 | Kokusai Kogyo Co Ltd | 測量システムおよび測量方法 |
JP2011185872A (ja) * | 2010-03-10 | 2011-09-22 | Canon Inc | 情報処理装置、その処理方法及びプログラム |
JP2011242183A (ja) * | 2010-05-17 | 2011-12-01 | Hiroshima City Univ | 画像処理装置、画像処理方法およびプログラム |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2022044671A (ja) * | 2014-10-17 | 2022-03-17 | ソニーグループ株式会社 | 装置、方法及びプログラム |
JP7235144B2 (ja) | 2014-10-17 | 2023-03-08 | ソニーグループ株式会社 | 装置、方法及びプログラム |
US20190376791A1 (en) | 2014-10-17 | 2019-12-12 | Sony Corporation | Position estimation device and position estimation method |
US11067396B2 (en) | 2014-10-17 | 2021-07-20 | Sony Corporation | Position estimation device and position estimation method |
JP2020112557A (ja) * | 2014-10-17 | 2020-07-27 | ソニー株式会社 | 装置、方法及びプログラム |
US11668569B2 (en) | 2014-10-17 | 2023-06-06 | Sony Group Corporation | Position estimation device and position estimation method |
JP7014243B2 (ja) | 2014-10-17 | 2022-02-01 | ソニーグループ株式会社 | 装置、方法及びプログラム |
WO2016059930A1 (ja) * | 2014-10-17 | 2016-04-21 | ソニー株式会社 | 装置、方法及びプログラム |
US10203208B2 (en) | 2014-10-17 | 2019-02-12 | Sony Corporation | Position estimation device and position estimation method |
US10436591B2 (en) | 2014-10-17 | 2019-10-08 | Sony Corporation | Position estimation device and position estimation method |
JPWO2016059930A1 (ja) * | 2014-10-17 | 2017-07-27 | ソニー株式会社 | 装置、方法及びプログラム |
KR101660701B1 (ko) * | 2014-11-17 | 2016-09-28 | 한국철도기술연구원 | 승객 운송부의 위치감시 장치 및 방법 |
KR20160058534A (ko) * | 2014-11-17 | 2016-05-25 | 한국철도기술연구원 | 승객 운송부의 위치감시 장치 및 방법 |
JP2016136099A (ja) * | 2015-01-23 | 2016-07-28 | サトーホールディングス株式会社 | 測位システム及び測位方法 |
JP2018520339A (ja) * | 2015-04-30 | 2018-07-26 | パーキンエルマー・ヘルス・サイエンシーズ・インコーポレイテッドPerkinelmer Health Sciences, Inc. | エンコーダ、コード化方法、ならびにそれらを用いたシステム及び装置 |
EP3281600B1 (en) * | 2016-08-09 | 2022-07-06 | Koh Young Technology Inc. | Marker for optical tracking, optical tracking system, and optical tracking method |
US10108833B2 (en) | 2016-08-09 | 2018-10-23 | Koh Young Technology Inc. | Marker for optical tracking, optical tracking system, and optical tracking method |
JP2018025531A (ja) * | 2016-08-09 | 2018-02-15 | コー・ヤング・テクノロジー・インコーポレーテッド | オプティカルトラッキング用のマーカー、オプティカルトラッキングシステム及びオプティカルトラッキング方法 |
CN114018213A (zh) * | 2021-09-17 | 2022-02-08 | 中国人民解放军63875部队 | 一种基于直线矢量方向及长度匹配的单站姿态处理精度确定方法 |
CN114018213B (zh) * | 2021-09-17 | 2023-06-20 | 中国人民解放军63875部队 | 一种基于直线矢量方向及长度匹配的单站姿态处理精度确定方法 |
WO2024166393A1 (ja) * | 2023-02-10 | 2024-08-15 | 東京ロボティクス株式会社 | 情報生成システム |
Also Published As
Publication number | Publication date |
---|---|
JP5547227B2 (ja) | 2014-07-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5547227B2 (ja) | 撮像装置の位置・姿勢推定システム | |
JP5699788B2 (ja) | スクリーン領域検知方法及びシステム | |
JP6464934B2 (ja) | カメラ姿勢推定装置、カメラ姿勢推定方法およびカメラ姿勢推定プログラム | |
US20190244388A1 (en) | Image processing device, robot, robot system, and marker | |
US9218537B2 (en) | Image processing device and image processing method | |
US10942130B2 (en) | Damage information processing device and damage information processing method | |
CN108510476B (zh) | 一种基于机器视觉的手机屏线路检测方法 | |
US9165365B2 (en) | Method and system for estimating attitude of camera | |
JP5538868B2 (ja) | 画像処理装置、その画像処理方法及びプログラム | |
KR101272448B1 (ko) | 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체 | |
US10515459B2 (en) | Image processing apparatus for processing images captured by a plurality of imaging units, image processing method, and storage medium storing program therefor | |
CN106296587B (zh) | 轮胎模具图像的拼接方法 | |
TWI628415B (zh) | 基於影像尺的定位量測系統 | |
CN113712665A (zh) | 基于定位标志物的定位方法、装置及计算机存储介质 | |
CN110263662B (zh) | 一种基于分级的人体轮廓关键点和关键部位识别方法 | |
BR112013011943B1 (pt) | método para identificação de um código de barras bidimensional em dados de imagem digital do código de barras, meio legível por computador não transitório e aparato configurado para identificar um código de barras bidimensional em dados de imagem digital do código de barras | |
KR101931564B1 (ko) | 영상 정합을 이용한 영상 처리 장치 및 방법 | |
KR100834905B1 (ko) | 마커 패턴 인식 및 자세 추정을 통한 마커 인식 장치 및 방법 | |
CN114359322A (zh) | 图像校正、拼接方法及相关装置、设备、系统和存储介质 | |
CN111667429B (zh) | 一种巡检机器人目标定位校正方法 | |
WO2023193763A1 (zh) | 数据处理方法及装置、追踪标记、电子设备及存储介质 | |
JP2018180986A (ja) | 情報処理装置、情報処理方法及びプログラム | |
JPH09229646A (ja) | 物体認識方法 | |
JP5160366B2 (ja) | 電子部品のパターンマッチング方法 | |
JP6080424B2 (ja) | 対応点探索装置、そのプログラムおよびカメラパラメータ推定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140404 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140430 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140514 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5547227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |