JP2015228215A - 位置情報処理方法 - Google Patents

位置情報処理方法 Download PDF

Info

Publication number
JP2015228215A
JP2015228215A JP2015102494A JP2015102494A JP2015228215A JP 2015228215 A JP2015228215 A JP 2015228215A JP 2015102494 A JP2015102494 A JP 2015102494A JP 2015102494 A JP2015102494 A JP 2015102494A JP 2015228215 A JP2015228215 A JP 2015228215A
Authority
JP
Japan
Prior art keywords
virtual representation
position information
image
captured image
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015102494A
Other languages
English (en)
Other versions
JP6516558B2 (ja
Inventor
シュヴァシュス ニコラス
Chevassus Nicolas
シュヴァシュス ニコラス
マロー デニス
Marraud Denis
マロー デニス
タラウルト アントワーヌ
Tarault Antoine
タラウルト アントワーヌ
ペルロットン グザヴィエ
Perrotton Xavier
ペルロットン グザヴィエ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Airbus Group SAS
Original Assignee
Airbus Group SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Airbus Group SAS filed Critical Airbus Group SAS
Publication of JP2015228215A publication Critical patent/JP2015228215A/ja
Application granted granted Critical
Publication of JP6516558B2 publication Critical patent/JP6516558B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00Indexing scheme for image rendering
    • G06T2215/16Using real world measurements to influence rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

【課題】仮想表現並びに慣性ユニット及びイメージセンサを有する装置により位置情報を処理する。
【解決手段】装置の現実環境の少なくとも一つの画像を撮像するステップ11と、撮像画像内の複数の部分と、仮想表現内の複数の部分との相関付けにより、現実環境内における装置の位置に対応して、仮想表現内にて装置を配置するステップ12と、少なくとも慣性ユニットにより装置の変位量を測定するステップ13と、慣性ユニットにより測定された変位量に応じて仮想表現内の装置の位置を修正して、移動中の装置の現実の位置を仮想表現内における装置の位置に対応させる、ステップ15と、を含む。
【選択図】図1

Description

本発明は、位置情報処理方法、位置情報処理装置、及び位置情報処理装置を備える携帯通信端末に関するものである。本発明は、特に、工業制御支援の分野において用いられうる。さらに具体的には、本発明は、複合現実又は拡張現実によるメンテナンス又は取り付けに応用し、さらに訓練支援に応用することができる。
工業環境における拡張現実は、位置決め方法から非常に高レベルなロバスト性を必要とする。近年、使用される装置の位置はマーカーを用いて推定されている。かかる技術は、マーカーが目視可能な場合にのみ、一定レベルのロバスト性を補償することができることを意味する。さらに、マーカーの参照フレーム内において位置決めされた装置が配置される。
さらにまた、マーカーを使用せずに位置決め可能な装置は少ない。装置をロバストに配置するためには、既存の方法では時間がかかり、さらに、あまり直感的ではないキャリブレーションステップが必要となる。かかるキャリブレーションステップは、装置を迅速に使用することを不可能とし、ユーザーに特定のスキルを要求する。
さらに、幾つかの位置決め技術は、例えば、SLAM(Simultaneous Localization and Mapping)のように、リアルタイムな環境の再構築を行うものである。これにより、再構築された環境にて位置の推定を行うことができる。かかる技術には幾つかのデメリットがある。まず、上述の技術は、構築されたものと描画されたものとの間の差異を検出することができない。さらに、例えば、再構築された環境は、要素検出誤差を内包する。従って、かかる技術は、特に、メンテナンス分野や、高い精度が要求される場合に、信頼性に欠く。
拡張現実を使用する装置は、多くの場合、画像又は動画上に情報を重ねて表示することができる装置である。
従来技術では、例えば、欧州特許出願公開第2201532 号において、対象物と装置との相対的な位置情報を測定するように構成された局所的位置決定装置を開示している。かかる装置は、三脚に固定された、誘導的且つ段階的な玉継ぎ手に取り付けられている。かかる玉継ぎ手は、装置の位置を定義するために、手動で入力する必要がある方位角及び上下角を決定することを可能にする。従って、かかる装置は、工業環境において配置し、さらに変位させることが難しい。
欧州特許出願公開第2201532 号明細書
本発明はこれらのデメリットの全て又は一部を解消することを目的とするものである。
第一の観点にかかる本願発明は、仮想表現並びに慣性ユニット及びイメージセンサを有する装置により位置情報を処理する方法であって、該方法は、
-装置の現実環境の少なくとも一つの画像を撮像するステップと、
-撮像画像内の複数の部分と、仮想表現内の複数の部分との相関付けにより、現実環境内における装置の位置に対応して、仮想表現内にて装置を配置するステップと、
-少なくとも慣性ユニットにより装置の変位量を測定するステップと、
-慣性ユニットにより測定された変位量に応じて仮想表現内の装置の位置を修正して、移動中の装置の現実の位置を仮想表現内における装置の位置に対応させる、ステップと、を含むことを特徴とする。
まず、本発明は、単一の撮像画像に基づいて装置を位置決めできる点で有利である。従って、かかる方法は、装置の位置決めステップ由来のロバスト性が高い。従って、かかるステップは迅速であり、その上、装置のユーザーに対して特定のスキルを要求することはない。
事前に実現された仮想環境を使用することで、仮想表現の参照点にて装置を位置決めすることが可能となる。再構築とは異なり、(仮想)表現では、現実環境の要素のうちで欠けている要素を検出することができる。分析による情報は、より信頼性が高い。仮想環境は、現実環境の観察結果に応じて修正されることもできる。
相関ステップは、対象物を必要としない画像分析に基づいて実施することも可能である。さらに、本発明の方法を実施するための装置は、固定されておらず、工業環境において容易に移動させることができる。
実施形態では、変位量を測定するためのステップは、
-慣性ユニットにより移動量を推定するステップ、
-ある時点とその後の時点において撮像した画像間における相対的な移動量を推定するステップ、及び
-推定移動量を組み合わせるステップを含むことが好ましい。
これらの実施形態は、可能な限り正確な位置情報を取得することができるという点で有利である。2つの撮像画像間で相対移動量を推定し、慣性ユニットの移動量を推定することで、位置推定における誤差を最小化することができる。実際、工業環境は視覚的に不明瞭である虞があり、2つの類似した状況の間であっても、相関付けによる位置決定により誤差が生じる虞がある。この他の2つの移動推定によれば、決定された位置が急激に変化しないようにすることができる。従って、かかる方法は一層ロバスト且つ正確である。
実施形態によれば、装置を位置決めする過程の中で、少なくとも一つの撮像画像中にて、仮想表現内の予め定められた特異な意味構造を認識することによって相関付けを実施することが好ましい。
かかる認識は、方法のロバスト性を向上させる点で有利である。その理由は、撮像画像中における特異な意味構造の数が多いほど、方法の精度が向上するからである。
実施形態において、本発明の対象とする方法は、変位量を測定するステップにおいて測定された変位量を減少させるステップを含むことが好ましい。
これらの実施形態は、画像が一時的に利用できない事象や、画像を利用できない場合においても、正確な位置決定ができる点で有利である。ユーザーは、仮想表現の参照フレームに対する装置の位置を検出するために、装置が安定することを待つ必要がない。したがって、ユーザーはより効率的に装置を利用することができる。よって、装置に生じる微小移動を低減することが可能となる。
実施形態では、本発明の対象である方法は、撮像画像及び表示された撮像画像に対応する仮想表現の一部分を組合せ表示する、ステップを含むことが好ましい。
これらの実施形態は、仮想表現と現実環境との際をより良好に可視化することができる点で有利である。したがって、ユーザーはより効率的に装置を利用することができる。
実施形態において、本発明の対象である方法は、仮想表現上での位置情報を編集する、ステップを含むことが好ましい。
これらの方法は、正確に位置決めされた情報を提供することができる点で有利である。さらに、情報を仮想表現上に記録することができるので、情報の受け渡し及びアクセスを容易にすることができる。また、装置を以前に使用した際に記録された情報にアクセスし、さらに修正することもできる。
第二の観点にかかる本願発明は、位置情報を処理する装置であって、該装置は、
-装置の現実環境の少なくとも一つの画像を提供するイメージセンサと
-仮想表現へのアクセス手段と、を備え
さらに、
-撮像画像内の複数の部分と、仮想表現内の複数の部分との相関付けにより、現実環境内における装置の位置に対応して、仮想表現内にて装置を配置する手段と、
-装置の変位量を測定する慣性ユニットと、
-前記慣性ユニットにより測定された前記変位量に応じて前記仮想表現内の前記装置の前記位置を修正して、移動中の前記装置の現実の位置を前記仮想表現内における前記装置の位置に対応させる手段、を含むことを特徴とする。
本発明の対象である装置の利点、目的、及び特定の特徴は、本発明の対象である方法の利点、目的、及び特定の特徴と同様であるので、ここでは重複記載しない。
実施形態では、本発明の対象である装置は、撮像画像及び表示された撮像画像に対応する仮想表現の一部分を組合せ表示する、表示手段を備えることが好ましい。
これらの実施形態は、異常を検出するために現実環境と仮想環境とを比較できる点で有利である。
実施形態では、本発明の対象である装置は、仮想表現上での位置情報を編集する手段を備えることが好ましい。
これらの実施形態は、仮想表現上にて、直接、正確に配置した注記を生成及び修正することができる点で有利である。
第三の観点にかかる本願発明は、本発明の対象である装置を有する携帯通信端末を提供することを目的とする。
かかる装置を備えることで、本発明による携帯通信端末を小型化することができ、往々にしてアクセス困難な工業環境においても、かかる端末を容易に携帯することが可能になる。
本発明に関する更なる利点、目的、及び特徴は、位置情報処理方法、位置情報処理装置、及びかかる位置情報処理装置を備える携帯通信端末に関する、添付の図面を参照した少なくとも一つの特定の実施形態についての説明記載から明らかとなる。なお、本発明はかかる説明記載によって何ら制限されるものではない。
本発明の対象である方法の一実施形態を示すフローチャートである。 本発明の対象である装置の一実施形態を示す概略図である。 本発明の対象である携帯通信端末の一実施形態を示す概略図である。
まず、図の縮尺は一定比率ではないことに留意されたい。
図1は、本発明の対象である方法10の特定の実施形態を明らかにするものである。図1示す方法10は、
-現実環境を表す画像を撮像するステップ11と、
-現実環境内における装置の位置に対応して、バーチャルモックアップ内にて装置を位置決めするステップ12と、
-以下の3つのサブステップ13−1〜13−3、すなわち、
-慣性ユニットにより移動を推定するステップ13−1、
-ある時点とその後の時点において撮像した画像間における相対的な移動量を推定するステップ13−2、及び
-ステップ13−1及び13−2にて測定された推定移動量を組み合わせて、装置の移動量を測定するステップ13−3、
を含む、装置の変位を測定するステップ13と、
-測定された変位を減少させるステップ14と、
-測定された変位に応じて仮想表現内における装置の位置を修正するステップ15と、
-撮像画像と、表示された撮像画像に対応する仮想表現の一部分とを組み合わせ表示する表示ステップ16と、
-仮想表現上で位置情報を編集するステップ17と、を含む。
ステップ11は、撮像装置によって実施される。例えば、撮像装置は、カメラ、写真機、又はスキャナーである。以下、本明細書において、「カメラ」とは撮像装置を指すものとする。カメラは、単眼、立体、RGB−D、又はプレノプティック型カメラでありうる。カメラは、ステップ11において、以下の二つのモードで撮像を実施することができる。これらのモードは、
-連続的な撮像が可能なビデオモード、及び
-例えば、撮影が難しい場合などに、特定のショットをより詳細に分析するように構成されている静止画モードである。
ビデオモードは、安定化、ノイズ除去、及び超解像により、画像品質を向上させる処理を行うサブステップを含んでも良い。このステップは、例えば、詳細な局部投影図のために用いることができる。
静止画モードは、時間の制約が無い点でビデオモードとは区別される。かかる画像は画質が比較的良く、全画像の位置を最適化することにより、画像全体の位置合わせの手順を実施することができる。例えば、このことは、パノラマ特徴(panoramic feature)のような撮影時の撮影時の特定の特徴を考慮することを含んでも良い。
ステップ12は、キャリブレーションステップである。キャリブレーションステップを実施するにあたり、特異な意味構造(semantic structure)を仮想表現内にて表示する。かかる仮想表現は、DMUとも称されるデジタルモックアップでありうる。かかるデジタルモックアップは、好ましくは、コンピュータ支援設計(CAD)ソフトウエアによって実現することができる。かかる仮想表現は、組み立て又は検査情報、試験及び測定、注記、制御対象の要素、不適合等を含みうる。かかる情報は異なる種類の情報である。これらは例えば、
-シーン中の対象に関連するメタデータ等のテキストデータ、
-画像、
-形状、
-動画、又は
-事前に使用した際にシーン中の対象から取得した3Dスキャン
でありうる。
好ましくは、仮想表現は、表現される対象の設計時に生成された未加工のデジタルモックアップを簡略化したものである。かかる未加工のデジタルモックアップは、フィルタリングされ、さらに体系化されて、
-実行しなければならないタスクに関連する対象を選択し、
-表示又は編集のためにメタデータを抽出し、
-形状を簡略化するためにデータを体系化し、
-デジタルモックアップ内に存在する幾何学的構造を自動分析するための方法により、特異な意味構造を決定する。
これらの特異な意味構造は、
-シーンにおける固有の不明瞭さを最小化し、
-それらの検出確率を最大化し、
-可能であれば参照構造を考慮する
ことが好ましい。
許容制約が必要とする場合には、特異な意味構造は参照構造を考慮する。この場合、特異な意味構造は参照要素の中から排他的に選択される。
かかる特異な意味構造は、好ましくは、点、ライン、サークル、楕円、表面、パラメータ化体積、質感に富む要素、又は輪郭タイプの幾何学的構造である。
具体的には、かかる特異な意味構造は、例えば、
-目視可能で、マルチモーダルで、更に不明瞭ではないシーマーク(seamark)や、
-容易に検出可能なキャリブレーションサイト
であり得る。
「マルチモーダル」という用語は、その本質に関わらず、様々な入手可能な画像から抽出されるプリミティブに対応する。「不明瞭ではない」という用語は、近接した個々の構成又は描写に相当するものとして定義することができる。
目視可能なシーマークによれば、ユーザーが介在しなくともキャリブレーションを行うことが可能である。キャリブレーションサイトはユーザーが介在することを必要とするが、仮想表現内においてサイトをおおよその位置に配置するためにのみ用いられる。サイトを表面上に配置して、表面に対する法線を定義することができる。そして、ユーザーは、仮想表現内における法線性(normality)の再構築及び位置決定を迅速に行うことができる。
更に、その後、デジタル表現内でサイトを自動的に配置することで、方法のロバスト性及びデジタル表現内での装置の位置の精度をさらに向上させることができる。カメラにより新たな配置対象のサイトが画像中に撮像された場合、かかる画像中に既に参照されている少なくとも一つの意味構造があれば、かかるサイトは自動的に配置される。
この後に第一のサイトを配置するにあたり、撮像された画像の特異な意味構造と仮想表現内における特異な意味構造との間での相関関係の対応づけ(相関付け)が実施される。
好ましくは、仮想表現から抽出した輪郭を、画像から抽出した輪郭と位置合わせすることに基づいて相関付けを実施する。これにより、ビデオモードで使用している間のドリフトを低減することができる。
目視可能なシーマークの数が十分であり、サイトを設置する必要がない場合には、ステップ12の初期化は完全に自動化することができる。さらに、抽出対象であるシーマークまたはサイトは、以下のような基準に従って選択することができる。これらの基準は、例えば、仮想表現内でマークした対象物との近接性、あるいは、サイトのシーマークのサイズ等である。
位置決めステップ12では、慣性ユニットの初期位置が決定される。
変位を測定するステップ13は、3つのサブステップ13−1、13−2、及び13−3において実施される。
慣性ユニットにより移動量を推定するステップ13−1は、ステップ12において決定した慣性ユニットの初期位置と、装置の変位に従う慣性ユニットの推定位置との間での変位量を計算するステップである。
ある時点とその後の時点において撮像した画像間における相対的な移動量を推定する相対移動量ステップ13−2は、画像処理ステップである。さらに具体的には、2つの画像において意味構造が認識される。画像内におけるこれらの構造の位置を比較することで、装置の移動量を推定することが可能となる。
ステップ13−2は、反復可能であり、例えば、テクスチャの描写や、奥行きマッピング、法線マッピング等の仮想表現の性能を利用することができる。好ましくは、かかるステップは、カメラで撮像した画像から抽出した2D又は3Dプリミティブと、以前に参照した描写から抽出した3Dプリミティブとの間でマッチングを実施するステップである。目視可能な3Dプリミティブの選択は、本質的に管理されており、モデルを準備するステップを省略することができる。
ステップ13−1及び13−2にて測定された推定移動量を組み合わせるステップ13−3では、装置の移動量を測定する。好ましくは、ステップ12で得られた相関を用いた推定位置と、推定移動量とを組み合わせて、後の時点における装置の位置を決定する。
信頼レベルは各推定に依存する。変位量は、各推定の信頼レベルに応じて重み付けされて決定されることが好ましい。従って、かかる方法は一層ロバスト且つ正確である。例えば、画像がぼやけている場合、相関により推定された位置の信頼レベルは低い。
ステップ13−3は、
-参照するシーマークの数を減らし、これに伴ってステップ13−2で決定したプリミティブの数を減らすことによりキャリブレーションの労力を低減し、
-例えば、カメラが遮られた場合など、目視によるキャリブレーションが一時的に不可能となる事象において再付与(attachment)のロバスト性を向上させるように構成されている。
ステップ13−3にて測定された変位量を減少させるステップ14は、仮想表現と撮像画像との間の浮動の影響を小さくするように構成されている。ステップ14は、慣性ユニットからの回転移動及び平行移動データをフィルタリングすることができる。例えば、慣性ユニットによる推定移動量をフィルタリングして、ユーザーにより引き起こされた振動や小さな動きの影響を最小化することができる。意味構造の選択モードに応じて、画像内における対象点との位置の整合性を保ちつつ、小さな動きを減少させることができる。
測定した変位に応じて仮想表現内における装置の位置を修正するステップ15は、ステップ13−3で測定され、ステップ14で減少された変位量に応じて、装置の位置を正確に更新するように構成されている。
撮像画像と表示された撮像画像に対応する仮想表現の一部分とを組み合わせて表示するステップ16は、ステップ15にて修正され、仮想表現の参照フレーム内に配置された、装置の位置及び方向を用いて、表示すべき仮想表現の一部を決定する。このような組合せ表示は、
-例えば、画像を相互に並べて並置して、比較できるように表示するか、又は、
-仮想表現を透明にして重ね合わせ表示して、未処理のデジタルモックアップに追加され、工業プロセスにリンクされる情報を表示したものである。
かかる表示は、
-分析対象のシーンの全体図を得るための広視野ビューであるグローバルビューであるか、
-グローバルビュー内で表示される、グローバルビューの一部の拡大図であるローカルビューでありうる。
仮想表現上での位置情報を編集するステップ17は、ステップ16で提供された情報表示に基づいて実施される。正確に配置された情報は、自動又は手動で仮想表現と関連づけることができる。例えば、かかる情報は、
-オペレータによる、現実環境との不整合の指摘、
-カメラにより取得した写真、動画、又は3Dスキャン、
-例えば、圧力、温度又は光度の測定が可能な外部機器により取得された情報でありうる。
これらの情報は仮想表現内に記録され、後の用途のために使用することができる。これらの情報は、例えば、不整合の修正のような局所的な状態変化を考慮にいれるために編集することができる。
また、編集ステップは、局所的な整合に基づいてユーザーが確認することにより実行される場合もある。かかる確認は、上述したような重ね合わせ表示によって実行されることが好ましい。仮想表現の位置は透明であり、静止画像に基づいて位置あわせを実施することが好ましい。画像全体の位置あわせを疑うことなく、オペレータは3D上で孤立した位置をずらすことができる。整列すべきポイントを中心としてズームすることにより、ユーザーは現実の状態を仮想表現と正確に位置あわせすることができる。
方法10は、装置20によって実行される。
図2は、本発明の対象である装置20の特定の実施形態を明らかにするものである。
カメラ205は、画像210を撮像し、その後、画像215を撮像する。画像210及び215は、現実環境を表現している。画像210は装置225に送信される。装置225は、現実環境の仮想表現220も考慮する。装置225は、特異な意味構造を仮想表現及び撮像画像から抽出し、方法10のステップ12に従ってデジタル表現の参照フレーム内で装置の位置情報230を取得するように構成された対応付けを実施する。装置225は、例えばマイクロプロセッサでありうる。
画像210は、画像215と共に装置235へと送信される。装置235は、上述の2つの画像について特異な意味構造を抽出し、それらを比較して、画像210が撮像された時点と、画像215が撮像された時点との間における、装置20の移動量を推定する。例えば、装置235は方法10のステップ13−2に従う推定を実施するマイクロプロセッサである。情報240は、装置235の出力時点での装置20の推定移動量である。
慣性ユニット245は、画像210が撮像された時点で初期化される。慣性ユニットは、方法10のステップ13−1に従って、装置255に対して推定移動量情報一式250を提供する。
装置255は、マイクロプロセッサであり得る。装置255は、装置20からの初期位置情報230を考慮し、推定移動量情報240及び250に応じて、仮想表現内における装置20の新たな位置情報に対応する信号260を送信する。装置255は、方法10のステップ13−3、14、及び15を実施する。
装置270は、表示装置である。装置270は、画像215及び仮想表現220を組み合わせて、画像215に対応する位置情報260によりもたらされた位置で表示する。装置270は、仮想表現上で編集が必要な情報一式265も考慮することができる。装置270から出力される情報275は、編集された仮想表現である。
図3は、本発明の対象である移動通信端末30の特定の実施形態を明らかにするものである。
移動通信端末30は、装置20の残部に接続された表示スクリーン270を有する。好ましくは、移動通信端末30は、
-デジタルタブレット、
-「スマートホン」型装置、
-眼鏡、
-ヘルメット、又は
-コンピュータである。

Claims (9)

  1. 仮想表現(220)並びに慣性ユニット(245)及びイメージセンサ(205)を有する装置(20)により位置情報を処理する方法(10)であって、該方法(10)は、
    -前記装置の現実環境の少なくとも一つの画像(210)を撮像するステップ(11)と、
    -前記現実環境内における前記装置の位置に対応して、前記仮想表現内にて前記装置を配置するステップ(12)であって、少なくとも一つの撮像画像(210)について、前記仮想表現(220)内で予め定義されている、目視可能で、マルチモーダルで、さらに不明瞭ではないシーマークに対応する、前記撮像画像内の複数の部分と、前記仮想表現内の複数の部分との相関付けを自動認識によって実施する、ステップ(12)と、
    -少なくとも前記慣性ユニットにより前記装置の変位量を測定するステップ(13)と、
    -前記慣性ユニットにより測定された前記変位量に応じて前記仮想表現内の前記装置の前記位置を修正して、移動中の前記装置の現実の位置を前記仮想表現内における前記装置の位置に対応させる、ステップ(15)と、を含むことを特徴とする位置情報処理方法(10)。
  2. 前記変位量を測定するステップ(13)は、
    -前記慣性ユニットにより移動量を推定するステップ(13−1)と、
    -ある時点とその後の時点において撮像した画像間における相対的な移動量を推定するステップ(13−2)、及び
    -推定された前記移動量を組み合わせるステップ(13−3)を含む、請求項1に記載の、位置情報処理方法(10)。
  3. 前記変位量を測定する前記ステップ(13)に従って測定された前記変位量を減少させるステップ(14)を含む、請求項1又は2に記載の位置情報処理方法(10)。
  4. 前記撮像画像(210)及び表示された前記撮像画像に対応する前記仮想表現(220)の一部分を組合せ表示するステップ(16)を含む、請求項1〜3の何れか一項に記載の位置情報処理方法(10)。
  5. 前記仮想表現(220)上での位置情報(265)を編集するステップ(17)を含む、請求項1〜4の何れか一項に記載の位置情報処理方法(10)。
  6. 位置情報を処理する装置(20)であって、該装置は
    -前記装置の現実環境の少なくとも一つの画像(210)を提供するイメージセンサ(205)と、
    -仮想表現(220)へのアクセス手段と、を備え、
    さらに、
    -前記現実環境内における前記装置の位置に対応して、前記仮想表現内にて前記装置を配置する手段(225)であって、少なくとも一つの撮像画像(210)について、前記仮想表現(220)内で予め定義されている、目視可能で、マルチモーダルで、更に不明瞭ではないシーマークに対応する、前記撮像画像内の複数の部分と、前記仮想表現内の複数の部分との相関付けを自動認識によって実施する手段(225)と、
    -前記装置の変位量(250)を測定する慣性ユニット(245)と、
    -前記慣性ユニットにより測定された前記変位量に応じて前記仮想表現内の前記装置の前記位置を修正して、移動中の前記装置の現実の位置を前記仮想表現内における前記装置の位置に対応させる手段(255)と、を備えることを特徴とする、位置情報処理装置(20)。
  7. 前記撮像画像(210)及び表示された前記撮像画像に対応する前記仮想表現(220)の一部分を組合せ表示する、表示手段(270)を備える、請求項6に記載の位置情報処理装置(20)。
  8. 前記仮想表現(220)上での位置情報を編集する手段(270)を備える、請求項6又は7に記載の位置情報処理装置(20)。
  9. 請求項6〜8の何れか一項に記載の位置情報処理装置(20)を備える、移動通信端末(30)。
JP2015102494A 2014-05-21 2015-05-20 位置情報処理方法 Expired - Fee Related JP6516558B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR1454556A FR3021442B1 (fr) 2014-05-21 2014-05-21 Procede de traitement d'informations locales
FR1454556 2014-05-21

Publications (2)

Publication Number Publication Date
JP2015228215A true JP2015228215A (ja) 2015-12-17
JP6516558B2 JP6516558B2 (ja) 2019-05-22

Family

ID=51610212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015102494A Expired - Fee Related JP6516558B2 (ja) 2014-05-21 2015-05-20 位置情報処理方法

Country Status (9)

Country Link
US (1) US9940716B2 (ja)
EP (1) EP2947628B1 (ja)
JP (1) JP6516558B2 (ja)
CN (1) CN105091817B (ja)
BR (1) BR102015011234A2 (ja)
CA (1) CA2891159A1 (ja)
FR (1) FR3021442B1 (ja)
RU (1) RU2015119032A (ja)
SG (1) SG10201503996XA (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019017300A1 (ja) * 2017-07-20 2019-01-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
US10981053B2 (en) 2017-04-18 2021-04-20 Sony Interactive Entertainment Inc. Vibration control apparatus
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
US11458389B2 (en) 2017-04-26 2022-10-04 Sony Interactive Entertainment Inc. Vibration control apparatus

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3022065B1 (fr) * 2014-06-04 2017-10-13 European Aeronautic Defence & Space Co Eads France Procede de generation d'une maquette numerique enrichie
CA3032812A1 (en) 2016-08-04 2018-02-08 Reification Inc. Methods for simultaneous localization and mapping (slam) and related apparatus and systems
CN115033444B (zh) * 2022-08-10 2022-11-15 合肥健天电子有限公司 基于8051core在线调试电路控制装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080177411A1 (en) * 2007-01-23 2008-07-24 Marsh Joseph C Method and apparatus for localizing and mapping the position of a set of points on a digital model
JP2010540933A (ja) * 2007-09-28 2010-12-24 ザ・ボーイング・カンパニー 局所的位置決定システムとその方法
JP2011141221A (ja) * 2010-01-08 2011-07-21 Toyota Motor Corp 測位装置及び測位方法
JP2013186551A (ja) * 2012-03-06 2013-09-19 Nissan Motor Co Ltd 移動物体位置姿勢推定装置及び方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201002973D0 (en) * 2010-02-23 2010-04-07 Airbus Operations Ltd Recording the location of a point of interest on an object
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
CN104662435A (zh) * 2012-09-27 2015-05-27 Metaio有限公司 确定与用于捕获至少一个图像的捕获装置关联的装置的位置和方向的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080177411A1 (en) * 2007-01-23 2008-07-24 Marsh Joseph C Method and apparatus for localizing and mapping the position of a set of points on a digital model
JP2010540933A (ja) * 2007-09-28 2010-12-24 ザ・ボーイング・カンパニー 局所的位置決定システムとその方法
JP2011141221A (ja) * 2010-01-08 2011-07-21 Toyota Motor Corp 測位装置及び測位方法
JP2013186551A (ja) * 2012-03-06 2013-09-19 Nissan Motor Co Ltd 移動物体位置姿勢推定装置及び方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GEORG KLEIN, 外1名: ""Robust Visual Tracking for Non-Instrumented Augmented Reality"", THE SECOND IEEE AND ACM INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY, 2003. PROCEEDINGS, JPN6019004419, 10 October 2003 (2003-10-10), pages 1 - 10, ISSN: 0003974837 *
GEORG KLEIN, 外1名: ""Tightly Integrated Sensor Fusion for Robust Visual Tracking"", IMAGE AND VISION COMPUTING,, vol. 第22巻, 第10号, JPN6019004418, 1 September 2004 (2004-09-01), pages 769 - 776, ISSN: 0003974836 *
GERHARD REITMAYR, 外1名: ""Going out: Robust Model-based Tracking for Outdoor Augmented Reality"", 2006 IEEE/ACM INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY, JPN6019004421, October 2006 (2006-10-01), US, ISSN: 0003974835 *
佐藤清秀, 外3名: ""屋外装着型複合現実感のためのハイブリッド位置合わせ手法"", 日本バーチャルリアリティ学会論文誌, vol. 第7巻, 第2号, JPN6019004420, 30 June 2002 (2002-06-30), JP, pages 129 - 137, ISSN: 0003974834 *
岸晃平, 外1名: ""船舶航行データ可視化のためのPTAMを用いた位置合わせ手法の提案"", マルチメディア,分散,協調とモバイル(DICOMO2013)シンポジウム論文集, vol. 第2013巻, 第2号, JPN6019004415, 3 July 2013 (2013-07-03), JP, pages 970 - 975, ISSN: 0003974833 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963055B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Vibration device and control system for presenting corrected vibration data
US10963054B2 (en) 2016-12-15 2021-03-30 Sony Interactive Entertainment Inc. Information processing system, vibration control method and program
US10969867B2 (en) 2016-12-15 2021-04-06 Sony Interactive Entertainment Inc. Information processing system, controller device, controller device control method and program
US10981053B2 (en) 2017-04-18 2021-04-20 Sony Interactive Entertainment Inc. Vibration control apparatus
US11145172B2 (en) 2017-04-18 2021-10-12 Sony Interactive Entertainment Inc. Vibration control apparatus
US11013990B2 (en) 2017-04-19 2021-05-25 Sony Interactive Entertainment Inc. Vibration control apparatus
US11458389B2 (en) 2017-04-26 2022-10-04 Sony Interactive Entertainment Inc. Vibration control apparatus
WO2019017300A1 (ja) * 2017-07-20 2019-01-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および位置情報取得方法
US11195293B2 (en) 2017-07-20 2021-12-07 Sony Interactive Entertainment Inc. Information processing device and positional information obtaining method

Also Published As

Publication number Publication date
CN105091817A (zh) 2015-11-25
FR3021442B1 (fr) 2018-01-12
SG10201503996XA (en) 2015-12-30
US9940716B2 (en) 2018-04-10
US20150339819A1 (en) 2015-11-26
EP2947628B1 (fr) 2018-04-25
EP2947628A1 (fr) 2015-11-25
CA2891159A1 (fr) 2015-11-21
FR3021442A1 (fr) 2015-11-27
BR102015011234A2 (pt) 2016-08-09
RU2015119032A (ru) 2016-12-10
CN105091817B (zh) 2019-07-12
JP6516558B2 (ja) 2019-05-22

Similar Documents

Publication Publication Date Title
JP6516558B2 (ja) 位置情報処理方法
JP6940047B2 (ja) コンピュータによる鉄筋測定検査システム及び鉄筋測定検査方法
US9852238B2 (en) 4D vizualization of building design and construction modeling with photographs
CN110427917B (zh) 用于检测关键点的方法和装置
US20130063563A1 (en) Transprojection of geometry data
Zollmann et al. Augmented reality for construction site monitoring and documentation
AU2011312140B2 (en) Rapid 3D modeling
US7965304B2 (en) Image processing method and image processing apparatus
CN105144249B (zh) 零件安装作业支持系统及零件安装方法
EP1886281B1 (en) Image processing method and image processing apparatus
US10977857B2 (en) Apparatus and method of three-dimensional reverse modeling of building structure by using photographic images
US20150062123A1 (en) Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
EP1993072A1 (en) Method for comparison of 3D computer model and as-built situation of an industrial plant
EP1986154A1 (en) Model-based camera pose estimation
US20170223338A1 (en) Three dimensional scanning system and framework
JP2002092647A (ja) 情報呈示システム及びモデル誤差検出システム
CN110146030A (zh) 基于棋盘格标志法的边坡表面变形监测系统和方法
JP2011520190A (ja) 画像アラインメントを使用してオブジェクトを別画像に亘ってマッピングするシステム
JP2019095876A (ja) 3次元点群表示装置、3次元点群表示システム、3次元点群表示方法および3次元点群表示プログラム、記録媒体
JP2002236909A (ja) 画像データ処理方法およびモデリング装置
JP2023546739A (ja) シーンの3次元モデルを生成するための方法、装置、およびシステム
Kahn Reducing the gap between Augmented Reality and 3D modeling with real-time depth imaging
JP2017151026A (ja) 三次元情報取得装置、三次元情報取得方法、及びプログラム
JP6350988B2 (ja) 橋梁の損傷診断用カメラ
JP2003006618A (ja) 3次元モデルの生成方法および装置並びにコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180309

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190409

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190416

R150 Certificate of patent or registration of utility model

Ref document number: 6516558

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees