JP2021004894A - 情報処理装置および位置情報取得方法 - Google Patents
情報処理装置および位置情報取得方法 Download PDFInfo
- Publication number
- JP2021004894A JP2021004894A JP2020163344A JP2020163344A JP2021004894A JP 2021004894 A JP2021004894 A JP 2021004894A JP 2020163344 A JP2020163344 A JP 2020163344A JP 2020163344 A JP2020163344 A JP 2020163344A JP 2021004894 A JP2021004894 A JP 2021004894A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- information processing
- unit
- position coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 60
- 238000000034 method Methods 0.000 title claims description 37
- 239000003550 marker Substances 0.000 claims abstract description 191
- 239000000284 extract Substances 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 38
- 238000001914 filtration Methods 0.000 claims description 29
- 239000013598 vector Substances 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000004590 computer program Methods 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 230000005484 gravity Effects 0.000 description 48
- 238000012545 processing Methods 0.000 description 33
- 230000036544 posture Effects 0.000 description 18
- 230000015572 biosynthetic process Effects 0.000 description 14
- 238000003786 synthesis reaction Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 238000002156 mixing Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 8
- 210000003128 head Anatomy 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000003247 decreasing effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010494 dissociation reaction Methods 0.000 description 1
- 230000005593 dissociations Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
Description
図1は本実施の形態を適用できる情報処理システムの構成例を示す。この情報処理システムは、ユーザが装着して表示画像を鑑賞するヘッドマウントディスプレイ(以下、「HMD」と呼ぶ)18、HMD18を含む空間を撮影する撮像装置12、撮影した画像に基づきHMD18の位置を特定する処理を含む情報処理を行う情報処理装置10を含む。
本実施の形態では、実施の形態1と同様の状況において、さらにマーカーの隠蔽を考慮する。図13は、マーカーの隠蔽が発生する状況を模式的に示している。(a)の撮影画像は、HMD18全体が写った状態を表している。この場合、実施の形態1で説明したように、オブジェクトモデルを用いて各マーカーの見え方を特定することにより、マーカーの位置情報に含まれる誤差を見積もれるため、それに応じて目標点の位置座標の算出式を調整できた。一方、(b)の撮影画像では、撮像面とHMD18との間にユーザの手が入ることにより、本来見えるべき5つのマーカーのうち2つが隠蔽されている。
Claims (8)
- 複数のマーカーを備えた対象物の位置情報を取得する情報処理装置であって、
前記対象物を撮影した撮影画像から前記マーカーの像を抽出し、その代表点の3次元空間での位置座標を取得するマーカー位置取得部と、
前記対象物が内蔵するセンサの出力値に基づき、前記対象物の位置および姿勢を推定する位置姿勢推定部と、
推定された位置および姿勢で仮想3次元空間に配置した前記対象物のオブジェクトモデルを用いて、前記マーカーごとに重み係数を決定する重み調整部と、
前記重み係数を、前記マーカーごとの代表点の位置座標に与えたうえで統合することにより、前記対象物の位置座標を取得する目標点位置算出部と、
を備えたことを特徴とする情報処理装置。 - 前記重み調整部は、前記オブジェクトモデルにおけるマーカーと撮像面との角度に対応するパラメータに基づき、前記マーカーごとに重み係数を決定することを特徴とする請求項1に記載の情報処理装置。
- 前記重み調整部は、前記オブジェクトモデルを撮像面に射影してなるモデル上のマーカーの像の面積に基づき、前記マーカーごとに重み係数を決定することを特徴とする請求項1または2に記載の情報処理装置。
- 前記重み調整部は、前記オブジェクトモデルにおいて前記マーカーを構成するポリゴンごとに求めた所定のパラメータを統合することにより、前記マーカーごとの重み係数を決定することを特徴とする請求項1から3のいずれかに記載の情報処理装置。
- 前記重み調整部は、前記オブジェクトモデルにおいて前記マーカーを構成するポリゴンごとに、当該ポリゴンから撮像面における像の対応する位置への射影ベクトルと当該ポリゴンの法線ベクトルの内積と、当該ポリゴンの像の面積との積を求めたうえ、前記マーカーごとに合計することにより前記重み係数を算出することを特徴とする請求項1に記載の情報処理装置。
- 前記目標点位置算出部により取得された前記対象物の位置座標と、前記位置姿勢推定部により推定された前記対象物の位置座標とを所定の割合で合成することにより、前記対象物の最終的な位置座標を決定し出力するフィルタリング部をさらに備え、
前記マーカー位置取得部は、所定のフレームレートで撮影された各フレームの画像における前記代表点の位置座標を順次取得し、
前記位置姿勢推定部は、前記フィルタリング部が出力した前のフレームの画像における対象物の位置座標と前記センサの出力値に基づき、次のフレームの画像における対象物の位置および姿勢を推定することを特徴とする請求項1から5のいずれかに記載の情報処理装置。 - 複数のマーカーを備えた対象物の位置情報を取得する情報処理装置が、
前記対象物を撮影した撮影画像から前記マーカーの像を抽出し、その代表点の3次元空間での位置座標を取得するステップと、
前記対象物が内蔵するセンサの出力値に基づき、前記対象物の位置および姿勢を推定するステップと、
推定された位置および姿勢で仮想3次元空間に配置した前記対象物のオブジェクトモデルを用いて、前記マーカーごとに重み係数を決定するステップと、
前記重み係数を、前記マーカーごとの代表点の位置座標に与えたうえで統合することにより、前記対象物の位置座標を取得するステップと、
を含むことを特徴とする位置情報取得方法。 - 複数のマーカーを備えた対象物の位置情報を取得するコンピュータに、
前記対象物を撮影した撮影画像から前記マーカーの像を抽出し、その代表点の3次元空間での位置座標を取得する機能と、
前記対象物が内蔵するセンサの出力値に基づき、前記対象物の位置および姿勢を推定する機能と、
推定された位置および姿勢で仮想3次元空間に配置した前記対象物のオブジェクトモデルを用いて、前記マーカーごとに重み係数を決定する機能と、
前記重み係数を、前記マーカーごとの代表点の位置座標に与えたうえで統合することにより、前記対象物の位置座標を取得する機能と、
を実現させることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020163344A JP7330159B2 (ja) | 2017-07-20 | 2020-09-29 | 情報処理装置および位置情報取得方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017141055A JP6771435B2 (ja) | 2017-07-20 | 2017-07-20 | 情報処理装置および位置情報取得方法 |
JP2020163344A JP7330159B2 (ja) | 2017-07-20 | 2020-09-29 | 情報処理装置および位置情報取得方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017141055A Division JP6771435B2 (ja) | 2017-07-20 | 2017-07-20 | 情報処理装置および位置情報取得方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021004894A true JP2021004894A (ja) | 2021-01-14 |
JP7330159B2 JP7330159B2 (ja) | 2023-08-21 |
Family
ID=87577120
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020163344A Active JP7330159B2 (ja) | 2017-07-20 | 2020-09-29 | 情報処理装置および位置情報取得方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7330159B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011179910A (ja) * | 2010-02-26 | 2011-09-15 | Canon Inc | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
JP2011203148A (ja) * | 2010-03-26 | 2011-10-13 | Toyota Motor Corp | 推定装置、推定方法、及び推定プログラム |
JP2016218758A (ja) * | 2015-05-20 | 2016-12-22 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
-
2020
- 2020-09-29 JP JP2020163344A patent/JP7330159B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011179910A (ja) * | 2010-02-26 | 2011-09-15 | Canon Inc | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム |
JP2011203148A (ja) * | 2010-03-26 | 2011-10-13 | Toyota Motor Corp | 推定装置、推定方法、及び推定プログラム |
JP2016218758A (ja) * | 2015-05-20 | 2016-12-22 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置および情報処理方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7330159B2 (ja) | 2023-08-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6771435B2 (ja) | 情報処理装置および位置情報取得方法 | |
JP6721550B2 (ja) | 情報処理装置および位置情報取得方法 | |
JP7408678B2 (ja) | 画像処理方法およびヘッドマウントディスプレイデバイス | |
WO2017077918A1 (ja) | 情報処理装置、情報処理システム、および情報処理方法 | |
US9001192B2 (en) | Storage medium having stored therein stereoscopic image display program, stereoscopic image display device, stereoscopic image display system, and stereoscopic image display method | |
US20170324899A1 (en) | Image pickup apparatus, head-mounted display apparatus, information processing system and information processing method | |
JP7358448B2 (ja) | 画像生成装置、ヘッドマウントディスプレイ、および画像生成方法 | |
CN108885342A (zh) | 用于低延迟渲染的宽基线立体 | |
KR20220128585A (ko) | 웨어러블 촬상장치, 촬상장치와 통신하는 휴대 기기 및 캘리브레이터, 이들의 제어방법과 이들의 제어 프로그램을 기억한 기억매체 | |
JP6859447B2 (ja) | 情報処理システムおよび対象物情報取得方法 | |
JP7150134B2 (ja) | ヘッドマウントディスプレイおよび画像表示方法 | |
JP6768933B2 (ja) | 情報処理装置、情報処理システム、および画像処理方法 | |
JP7142762B2 (ja) | 表示装置および画像表示方法 | |
JP7330159B2 (ja) | 情報処理装置および位置情報取得方法 | |
JP5759439B2 (ja) | 映像コミュニケーションシステム及び映像コミュニケーション方法 | |
WO2020218182A1 (ja) | 情報処理装置およびデバイス情報導出方法 | |
US20230126836A1 (en) | Image pickup apparatus used as action camera, control method therefor, and storage medium storing control program therefor | |
US20240340403A1 (en) | Head mount display, information processing apparatus, and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210825 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210921 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211112 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220412 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220711 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20221227 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230221 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230404 |
|
C13 | Notice of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: C13 Effective date: 20230425 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230619 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230808 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7330159 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |