JP2016540186A - ハイブリッドフォトナビゲーションおよびマッピング - Google Patents

ハイブリッドフォトナビゲーションおよびマッピング Download PDF

Info

Publication number
JP2016540186A
JP2016540186A JP2016517474A JP2016517474A JP2016540186A JP 2016540186 A JP2016540186 A JP 2016540186A JP 2016517474 A JP2016517474 A JP 2016517474A JP 2016517474 A JP2016517474 A JP 2016517474A JP 2016540186 A JP2016540186 A JP 2016540186A
Authority
JP
Japan
Prior art keywords
measurements
trajectory
measurement
image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016517474A
Other languages
English (en)
Other versions
JP6072360B2 (ja
Inventor
モエグレイン、マーク・レオ
ブルーナー、クリストファー
チャオ、フイ
チャリ、ムラリ・ラマスワミー
ラマナンダン、アービンド
ラマチャンドラン、マヘシュ
ティアギ、アビーシェク
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2016540186A publication Critical patent/JP2016540186A/ja
Application granted granted Critical
Publication of JP6072360B2 publication Critical patent/JP6072360B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/383—Indoor data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1654—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with electromagnetic compass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3885—Transmission of map data to client devices; Reception of map data by client devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G01C25/005—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass initial alignment, calibration or starting-up of inertial devices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13—Receivers
    • G01S19/14—Receivers specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0257—Hybrid positioning
    • G01S5/0263—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems
    • G01S5/0264—Hybrid positioning by combining or switching between positions derived from two or more separate positioning systems at least one of the systems being a non-radio wave positioning system
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G01S5/163—Determination of attitude
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/021—Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/024—Guidance services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Manufacturing & Machinery (AREA)
  • Navigation (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)
  • Instructional Devices (AREA)

Abstract

開示されている実施形態は、構造内の、および構造の周りのロケーションを移動しながら構造の一連の外部および内部画像の取り込みと併せて複数のセンサから複数の測定セットを取得する。各測定セットは、少なくとも１つの画像に関連付けられ得る。構造の外部構造エンベロープは、構造とＵＥの対応するアウトドア軌跡との外部画像から決定される。構造および構造エンベロープのポジションおよび方位は、絶対座標で決定される。さらに、絶対座標の構造のインドアマップは、構造の内部画像と、絶対座標の構造エンベロープと、内部画像を取り込むためにインドアエリアの横断中にＵＥのインドア軌跡に関連付けられている測定値とに基づき取得され得る。

Description

関連出願の相互参照
[0001]本出願は、２０１３年９月２７日に出願した米国仮出願第６１／８８３，９２１号、名称「Ｏｆｆ−Ｔａｒｇｅｔ Ｔｒａｃｋｉｎｇ Ｕｓｉｎｇ Ｆｅａｔｕｒｅ Ａｉｄｉｎｇ ｉｎ ｔｈｅ Ｃｏｎｔｅｘｔ ｏｆ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ」の利益と優先権とを主張する、２０１４年９月２５日に出願した米国出願第１４／４９７，２１９号、名称「Ｈｙｂｒｉｄ Ｐｈｏｔｏ Ｎａｖｉｇａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ」の利益と優先権とを主張し、両出願とも参照により本明細書に組み込まれている。
[0002]本明細書で開示される主題は、一般には地上測位システムに関し、詳細には、ハイブリッドフォトナビゲーションおよびマッピング（hybrid photo navigation and mapping）のためのシステムおよび方法に関する。
[0003]しばしば、セルラーフォンなどの端末のロケーションを知ることが望ましい。たとえば、ロケーションサービス（ＬＣＳ）クライアントは、救急サービス通話の場合に、または航法援助もしくは方向探知などのサービスを端末のユーザに提供するために、端末のロケーションを知ることを望む場合がある。「ロケーション」と「位置」という用語は同義であり、本明細書では互換的に使用される。
[0004]ユーザ機器（ＵＥ）のロケーションを決定する１つの方法は、複数のアンテナからの信号到着の時刻の測定に基づく。たとえば、ＵＥは、複数の基地局アンテナからの受信信号の時間差を測定することができる。基地局アンテナのポジションが既知なので、観察された時間差は、端末のロケーションを計算するのに使用され得る。
[0005]ＵＥは、測定計算を実行するために基地局アルマナック（ＢＳＡ）を利用することができ、および／またはポジション計算のために測定値をロケーションサーバに送ることができる。アドバンスドフォワードリンクトライラテレーション（ＡＦＬＴ：Advanced Forward Link Trilateration）という用語は、符号分割多元接続（ＣＤＭＡ）システムでの地上測位について説明するのに使用され、オブザーブドタイムディファレンスオブアライバル（ＯＴＤＯＡ：Observed Time Difference of Arrival）という用語は、Ｗｉｄｅｂａｎｄ ＣＤＭＡ（ＷＣＤＭＡ（登録商標））システムとロングタームエボリューション（ＬＴＥ(登録商標)）システムとの文脈で使用される。
[0006]しかしながら、現在のポジションロケーション解決策は、ＵＥのポジションも決定するのに全地球的航法衛星システム（ＧＮＳＳ）および／または地上セルラー（ＡＦＬＴ／ＯＴＤＯＡ／基準信号時間差（ＲＳＴＤ））が使用され得るアウトドアマッピング／ナビゲーションに集中している。対照的に、インドアロケーションでは、ＳＰＳ／地上信号へのアクセスが、非存在であり、マルチパスによって制限され、および／またはマルチパスの影響を受け得る場合に、容易に展開可能なコスト効率の良い測位／ナビゲーションシステムが存在し得ない。さらに、大規模にインドアナビゲーションを支援するためのインドアマップの取得および保守は、法外な費用がかかると見なされている。
[0007]ナビゲーション補助手段としてのインドアマップの使用は、精度と、アウトドアからインドアへのシームレスなマップの遷移の両方によって円滑にされる。たとえば、外部コンテキスト（部屋および／または建物のロケーションの相対的なアウトドアのより大きなエリアマップを示すなど）も提供しながら建物内の部屋の中のＵＥをローカライズする能力は、ユーザ方位のために、またナビゲーションアシスタンス（navigational assistance）を提供するときに役立ち得る。典型的には、現在のＳＰＳ／ワイヤレスナビゲーションシステムは、利用可能な場合であっても、インドアマッピング／ナビゲーション解決策に十分な精度を確保しない。
[0008]したがって、一部は、ネットワーク規模のインドアナビゲーションシステムの展開をサポートするために、インドアマップを含む、マップをコスト効率よく取得し、保守するために一貫した戦略が必要である。
[0009]いくつかの実施形態では、ユーザ機器（ＵＥ）上の方法は、構造内の複数のロケーションを横断するときに構造の内部の複数の画像を取り込むことと、複数の測定セットを取り込むことと、ここにおいて、各測定セットが、少なくとも１つの画像に対応し、各測定セットが、慣性計測装置（ＩＭＵ）測定値または利用可能なワイヤレス測定値のうちの少なくとも１つを備える、一部は取り込まれた画像と複数の測定セットとに基づきＵＥの軌跡を推定することとを備え得る。いくつかの実施形態では、推定される軌跡、取り込まれた画像、および対応する測定セットは、ＵＥにワイヤレス方式で結合されたサーバに送られ得、推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づき受信する構造のインドアマップは、サーバから受信されるものとしてよく、ここにおいて、インドアマップは、絶対座標に位置合わせされ、ＵＥの補正された軌跡に関する情報を備える。
[0010]別の態様において、ユーザ機器（ＵＥ）は、構造内の複数のロケーションを横断するときに構造の内部の複数の画像を取り込むように構成されたカメラと、複数のセンサと、センサが慣性計測装置（ＩＭＵ）を備える、利用可能なワイヤレス信号の測定を行うように構成されたワイヤレスモジュールと、カメラ、センサ、およびワイヤレスモジュールに結合されたプロセッサとを備える。いくつかの実施形態では、プロセッサは、構造の内部の複数の画像を取得し、複数の測定セットを取り込み、ここにおいて、各測定セットが、複数の画像のうちの少なくとも１つの画像に対応し、各測定セットが、ＩＭＵおよび利用可能なワイヤレス測定値のうちの少なくとも１つを備え、一部は取り込まれた画像と複数の測定セットとに基づきＵＥの軌跡を推定し、推定される軌跡、取り込まれた画像、および対応する測定セットをＵＥにワイヤレス方式で結合されたサーバに送信し、推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づき、構造のインドアマップをサーバから受信し、ここにおいて、インドアマップが、絶対座標に位置合わせされ、ＵＥの補正された軌跡に関する情報を備える、ように構成され得る。
[0011]さらなる態様において、ユーザ機器（ＵＥ）は、構造内の複数のロケーションを横断するときに構造の内部の複数の画像を取り込むように構成された撮像手段と、感知手段と、感知手段が慣性計測装置（ＩＭＵ）を備える、利用可能なワイヤレス信号の測定を行うように構成されたワイヤレス測定手段と、構造の内部の複数の画像を取得するための手段と、複数の測定セットを取り込むための手段と、ここにおいて、各測定セットが、複数の画像のうちの少なくとも１つの画像に対応し、各測定セットが、ＩＭＵおよび利用可能なワイヤレス測定値のうちの少なくとも１つを備える、一部は取り込まれた画像と複数の測定セットとに基づきＵＥの軌跡を推定するための手段と、推定される軌跡、取り込まれた画像、および対応する測定セットをＵＥにワイヤレス方式で結合されたサーバに送信するための手段と、推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づき、構造のインドアマップをサーバから受信するための手段と、ここにおいて、インドアマップが、絶対座標に位置合わせされ、ＵＥの補正された軌跡に関する情報を備える、を備え得る。
[0012]開示されている実施形態は、プロセッサによって実行されたとき、プロセッサが、構造内の複数のロケーションを横断するときに構造の内部の複数の画像を取り込み、複数の測定セットを取り込み、ここにおいて、各測定セットが、少なくとも１つの画像に対応し、各測定セットが、慣性計測装置（ＩＭＵ）測定値または利用可能なワイヤレス測定値のうちの少なくとも１つを備える、一部は取り込まれた画像と複数の測定セットとに基づきＵＥの軌跡を推定し、推定される軌跡、取り込まれた画像、および対応する測定セットをＵＥにワイヤレス方式で結合されたサーバに送信し、推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づき、構造のインドアマップをサーバから受信し、ここにおいて、インドアマップが、絶対座標に位置合わせされ、ＵＥの補正された軌跡に関する情報を備える、ように構成されることを引き起こす命令を備える非一時的なコンピュータ可読媒体にも関係する。
[0013]開示される方法は、ＬＰＰ、ＬＰＰｅ、または他のプロトコルを使用して、サーバ（ロケーションサーバを含む）、移動局などのうちの１つまたは複数によって実行され得る。開示される実施形態は、非一時的なコンピュータ可読媒体またはコンピュータ可読メモリを使用してプロセッサによって作成され、記憶され、アクセスされ、読み取られ、または変更されるソフトウェア命令とファームウェア命令とプログラム命令とにも関する。
[0014]開示される実施形態と一貫する形でハイブリッドフォトナビゲーションおよびマッピングをサポートすることを可能にされたＵＥのいくつかの例示的な特徴を示す概略ブロック図。 [0015]例示的なウェアラブルユーザデバイスを示す図。 [0016]ロケーションアシスタンスデータまたはロケーション情報の転送を含む、ロケーションサービスをＵＥに提供することができるシステムのアーキテクチャを示す図。 [0017]関連付けられているロケーションの精度と、測位の曖昧さと、電力消費量とともに様々な状況における異なる測位技術の利用可能性を指示する表を示す図。 関連付けられているロケーションの精度と、測位の曖昧さと、電力消費量とともに様々な状況における異なる測位技術の利用可能性を指示する表を示す図。 [0018]開示される実施形態と一貫する形でマッピングを実行することができる例示的なアプリケーション４００のブロック図。 [0019]衛星ビークル（ＳＶ）および／またはワイヤレスネットワークからの信号受信が利用可能であり得るロケーションにいるユーザを示す図。 [0020]インドアナビゲーションシステムのためにターゲットを作成し、マップする例示的なアプローチを示す、小売店の簡略化された俯瞰図。 [0021]ワイヤレスマップ生成のための例示的な方法の流れ図。 [0022]ＵＥが軌跡を辿るときの様々なロケーションと時刻とにおいて生じ得る見通し線条件と非見通し線条件とを示す図。 [0023]構造内の移動局とともにユーザを示す図。 [0024]インドアロケーションでのモバイルデバイス上のカメラによって取り込まれた画像を示す図。 [0025]開示される実施形態と一貫するデータ収集をマップする例示的な方法に対する流れ図。 [0026]ハイブリッドフォトマッピングを行っているときの例示的な高水準データフローを示す図。 [0027]フォト、ワイヤレス、磁気、および気圧データに基づくマップ生成のための方法を示す流れ図。 フォト、ワイヤレス、磁気、および気圧データに基づくマップ生成のための方法を示す流れ図。 フォト、ワイヤレス、磁気、および気圧データに基づくマップ生成のための方法を示す流れ図。 [0028]ＭＳのロケーションを決定することができるシステム内のいくつかのエンティティを示す単純化されたブロック図。 [0029]ポジション決定とクラウドソーシングされたマップ生成とナビゲーションとをサポートすることを可能にされたサポートすることを可能にされたサーバを示す概略ブロック図。 [0030]開示される実施形態と一貫するハイブリッドフォトマッピングの例示的な方法の流れ図。
[0031]「ユーザデバイス」（ＵＤ）または「ユーザ機器」（ＵＥ）という用語またはは、本明細書では互換的に使用され、セルラーもしくは他のワイヤレス通信デバイス、パーソナル通信システム（ＰＣＳ）デバイス、パーソナルナビゲーションデバイス（ＰＮＤ）、パーソナル情報マネージャ（ＰＩＭ）、携帯情報端末（ＰＤＡ）、ラップトップ、またはワイヤレス通信信号および／もしくはナビゲーション信号を受信することが可能な他の適切なモバイルデバイスなどのデバイスを指すことができる。これらの用語は、衛星信号受信、支援データ受信、および／または位置関連処理がデバイスそれともＰＮＤにおいて起こるのかにかかわらず、短距離ワイヤレス、赤外線、ワイヤライン接続、または他の接続によるなど、パーソナルナビゲーションデバイス（ＰＮＤ）と通信するデバイスを含むことも意図されている。ＵＥは、携帯電話機、ノートパッドコンピュータ、またはラップトップ機を表すことができ、あるいは、ＵＥは、市街地図および／または遅延および／または本明細書の信号強度マップを作成するために前記測定セットを収集する車両とされ得る。
[0032]さらに、ＵＥ、ＵＤ、「移動局」、または「モバイルデバイス」という用語は、衛星信号受信、アシスタンスデータ受信、および／またはポジション関連処理がデバイス、サーバ、またはネットワークに関連する別のデバイスのどれで発生するのかにかかわりなく、インターネット、Ｗｉ−Ｆｉ（登録商標）、セルラーワイヤレスネットワーク、ＤＳＬネットワーク、パケットケーブルネットワーク、または他のネットワークを介するなど、サーバと通信することができるワイヤレスおよび有線通信デバイス、コンピュータ、ラップトップなどを含むすべてのデバイスを含むことが意図されている。上記の任意の動作可能な組合せも「ユーザデバイス」と見なされる。
[0033]図１Ａは、カメラまたは他の画像ベースの技術を含む、ワイヤレス信号とセンサベースの測定値との組合せに基づきマッピングをサポートすることを可能にされたＵＥ１００のいくつかの例示的な特徴を示す概略ブロック図を示している。さらに、いくつかの実施形態では、ＵＥ１００は、画像ベースの技術をワイヤレス信号およびセンサベースの技術と組み合わせることによってハイブリッドフォトナビゲーションもサポートし得る。「ハイブリッド」という用語は、本明細書で開示される実施形態と一貫する形でマッピングとナビゲーションとを実行するためにセンサベースの技術、画像ベースの技術、および／またはワイヤレス信号ベースの技術のうちの１つまたは複数の組合せを使用することを指す。いくつかの実施形態では、ＵＥ１００は、ハイブリッドフォトマッピングをサポートし得る。いくつかの実施形態では、ＵＥ１００は、ハイブリッドフォトナビゲーションおよびロケーション決定をさらにサポートし得る。
[0034]たとえば、ＭＳ１００は、１つまたは複数の処理ユニットもしくは処理ユニット１５０と、メモリ１３０と、トランシーバ１１０（たとえば、ワイヤレスネットワークインターフェース）と、（該当する場合）ＧＮＳＳもしくは衛星測位システム（ＳＰＳ）受信機１４０と、光学センサ／カメラ１８０と、磁力計と、高度計と、気圧計およびセンサバンク１８５（センサ１８５と総称される）と、慣性計測装置（ＩＭＵ）１７０と、非一時的コンピュータ可読媒体１６０と、ディスプレイ１９０と、メモリ１３０とを備えるものとしてよく、これらは１つまたは複数の接続１２０（たとえば、バス、回線、ファイバ、リンクなど）と互いに動作可能に結合され得る。いくつかの例示的な実装では、ＵＥ１００の全部または一部は、チップセット、および／または同様のものの形をとることができる。磁力計は、地球の磁場の強度および／または方向を測定することができるものとしてよく、またコンパスとして機能し、および／またはＵＥ１００の移動の方向の指示を提供し得る。高度計は、較正レベルよりも高い高度の指示を提供するために使用され得るが、気圧計は、大気圧の指示を提供するものとしてよく、これは高度の決定を得るために使用され得る。
[0035]ＧＮＳＳ／ＳＰＳ受信機１４０は、１つまたは複数のＳＰＳリソースに関連する信号を受信することが可能であり得る。受信されたＧＮＳＳ／ＳＰＳ信号は、ＵＥ１００のポジションを決定するために使用され得る。たとえば、トランシーバ１００は、１つまたは複数のタイプのワイヤレス通信ネットワークにわたって１つまたは複数の信号を送信することが可能である送信機１１２と、１つまたは複数のタイプのワイヤレス通信ネットワークにわたって送信される１つまたは複数の信号を受信するための受信機１１４とを含み得る。
[0036]いくつかの実施形態では、ＵＥ１００は、ＣＣＤまたはＣＭＯＳセンサおよび／またはカメラ１８０などの画像センサを備えるものとしてよく、これは以下では「カメラ１８０」と称される。カメラ１８０は、視像を電子もしくはデジタル画像に変換するものとしてよく、取り込まれた画像を処理ユニット１５０に送信し得る。たとえば、図１Ｂに示されているように、いくつかの実施形態では、カメラ１８０は、ウェアラブルモバイルデバイス内に収納されるものとしてよく、ディスプレイ１９０、処理ユニット１５０、および／またはＵＥ１００内の他の機能ユニットに動作可能に結合され得る。
[0037]いくつかの実施形態では、処理ユニット１５０は、磁力計、高度計、および／または気圧計などの、様々なセンサ１８５を含み得る、１つまたは複数のセンサ１８５から入力も受信し得る。それに加えて、センサ１８５は、周辺光センサ、マイクロフォン／スピーカーなどの音響トランスデューサ、超音波トランスデューサ、および／または深度センサのうちの１つまたは複数を含むものとしてよく、これらは深度情報を取得し、および／またはターゲットまでの距離を決定するために使用され得る。一般に、上記で網羅的でないセンサのリストおよびセンサバンク１８５は、様々な他のタイプのセンサとトランスデューサとを含むものとしてよく、これらは現在のスマートフォンと他のモバイルデバイスとに組み込まれることが次第に増えてきている。
[0038]いくつかの実施形態では、ＵＥ１００は、慣性計測装置（ＩＭＵ）１７０も備え得る。いくつかの実施形態では、３軸加速度計、３軸ジャイロスコープ、および／または磁力計を備え得る、ＩＭＵ１７０は、速度、方位、および／または他のポジションに関係する情報を処理ユニット１５０に提供し得る。いくつかの実施形態では、ＩＭＵ１７０は、測定し、カメラ１８０によって各画像フレームの取り込みに同期された測定済み情報、および／またはＵＥ１００におけるセンサ１８５によって得られた測定値を出力するように構成され得る。いくつかの実施形態では、ＩＭＵ１７０の出力は、ポジションおよび方位ＵＥ１００を決定するために処理ユニット１５０によって使用され得る。
[0039]「ワイヤレス測定値」という用語は、ＳＰＳ、セルラー、ＷＬＡＮ、ＷＰＡＮ、および他の無線信号の測定値を指すために本明細書では使用されている。「非ワイヤレス測定値」という用語は、（限定はしないが）ＩＭＵ測定値と、気圧計測定値と、高度計測定値と、磁力計測定値とを含むセンサ測定値を指す。いくつかの実施形態では、ＵＥによるワイヤレス測定値の取り込みは、非ワイヤレス測定値の取り込みと同期され得る。さらに、ワイヤレスおよび／または非ワイヤレス測定値の取り込みは、ＵＥによる画像の取り込みと同期され得る。たとえば、測定値（ワイヤレスおよび／または非ワイヤレス）および取り込まれた画像は、タイムスタンプを付けられるものとしてよく、測定値および画像は、タイムスタンプに基づき互いに関連付けられ得る。測定値と画像および／または互いとの関連付けは、測定／画像の記録と同時に、および／または測定値に関連付けられているタイムスタンプに基づきその後のある時刻において行われ得る。
[0040]「測定セット」という用語は、ある時刻またはある時刻の何らかの指定された間隔内でＵＥによって実行される信号測定を指すために使用される。信号測定は、マッピングおよび／またはポジション決定に関係付けられ得る。行われる信号測定は、ＵＥ１００、ＵＥ１００の能力、特定のロケーション／時刻にＵＥ１００によって測定に使用可能である環境特性および／または信号特性にも依存する可能性がある。典型的には、測定セットは、画像と、ワイヤレス測定値と、非ワイヤレス測定値とを備えるものとしてよく、測定セットの各要素は、ある時刻の何らかの指定された時間間隔内で記録されている可能性がある。ＵＥ１００によって記録された測定セットは、ＵＥ１００上のメモリ１３０に記憶され、および／またはサーバに送信されるものとしてよく、それらは、その測定ロケーションに関係する他の測定とともに処理され、および／または集計され得る。たとえば、測定セットは、基地局アルマナック（ＢＳＡ）に記憶され、および／またはマッピング／ロケーション決定に使用され得る。
[0041]処理ユニット１５０は、ハードウェアとファームウェアとソフトウェアとの組合せを使用して実装され得る。いくつかの実施形態では、処理ユニット１５０は、マッピングモジュール（ＭＭ）１５２と、ナビゲーションモジュール（ＮＭ）１５４と、ロケーションアシスタンスデータモジュール（ＬＡＤＭ）１５８とを備え得る。いくつかの実施形態では、ＬＡＤＭ１５８は、受信されたロケーションアシスタンスデータを処理し得る。ロケーションアシスタンスデータは、マルチパスおよび可視性マップアシスタンス情報と、ＰＲＳアシスタンス情報を含む、オブザーブドタイムディファレンスオブアライバル（ＯＴＤＯＡ）アシスタンス情報と、などのレイヤ化マップの形をとり得る。いくつかの実施形態では、処理ユニット１５０は、コンピュータビジョンモジュール（ＣＶＭ）１５５も備えるものとしてよく、これは様々な画像処理とＣＶ機能とを実装し得る。
[0042]「マップレイヤ」という用語は、本明細書で使用されるときに、ＵＥのポジションとポジション不確実性とに合わせて調整された、ロケーションアシスタンス情報などの情報を指す。マップの各レイヤは、パラメータに関する情報を備えるものとしてよく、情報は、レイヤに共通の絶対またはグローバル座標に関連して提供される。一般に、マップレイヤは、様々なタイプの情報を備え得る。たとえば、マップレイヤは、受信された信号強度をマップロケーションに相関させる受信信号強度マップレイヤ、ＳＮＲをマップロケーションに相関させる信号対雑音比（ＳＮＲ）マップレイヤ、ＦＬＣ情報をマップロケーションに相関させる順方向リンク較正（ＦＬＣ）レイヤ、などのうちの１つまたは複数を備え得る。
[0043]いくつかの実施形態では、カメラ１８０は、複数のカメラ、前面および／または背面カメラ、広角レンズを付けたカメラを含むものとしてよく、また、ＣＣＤ、ＣＭＯＳ、および／または他のセンサも組み込み得る。スチルおよび／またはビデオカメラであってもよい、カメラ１８０は、環境の一連の２次元（２Ｄ）スチルおよび／またはビデオ画像フレームを取り込み、取り込まれた画像フレームを処理ユニット１５０に送信し得る。いくつかの実施形態では、カメラ１８０は、ウェアラブルカメラ、または外部カメラであってもよく、これは、ＵＥ１００内の他の機能ユニットに動作可能に結合されるが、ただし、別々に収納され得る。一実施形態では、カメラ１８０によって取り込まれた画像は、生の未圧縮のフォーマットであってよく、処理されおよび／またはメモリ１６０に記憶される前に、圧縮され得る。いくつかの実施形態では、画像データ圧縮は、可逆または非可逆圧縮技術を使用して処理ユニット１５０によって（たとえば、ＣＶＭ１５５によって）実行され得る。
[0044]いくつかの実施形態では、カメラ１８０は、深度感知カメラであり得るか、または深度センサに結合され得る。「深度センサ」という用語は、独立して、および／またはカメラ１８０と連動して、環境に対する深度情報を取得するために使用され得る機能ユニットを指すために使用される。いくつかの実施形態では、ＲＧＢＤカメラを備えるものとしてよく、これはカラー（ＲＧＢ）画像に加えて、深度センサが使用可能にされるときにピクセル毎の深度（Ｄ）情報を取り込むことができる。別の例として、いくつかの実施形態では、カメラ１１０は、３Ｄ伝搬時間（３ＤＴＯＦ）カメラの形をとり得る。３ＤＴＯＦカメラ１１０による実施形態では、深度センサは、３ＤＴＯＦカメラ１１０に結合されたストロボの形をとり得るが、これはシーン内の対象物を照らすものとしてよく、反射光が、カメラ１１０内のＣＣＤ／ＣＭＯＳセンサによって取り込まれ得る。深度情報は、光パルスが進行して対象物に達し、センサに戻るのに要する時間を測定することによって得られ得る。
[0045]さらなる例として、深度センサは、カメラ１１０に結合された光源の形をとり得る。一実施形態では、光源は、細い１つまたは複数条の光からなるものとしてよい、構造化された、またはテクスチャ化された光波パターンをシーン内の対象物に投影し得る。次いで、深度情報は、対象物の表面形状によって引き起こされる投影パターンの幾何学歪みを活用することによって取得され得る。一実施形態では、深度情報は、赤外線構造光プロジェクタとＲＧＢカメラに位置合わせされた赤外線カメラとの組合せなどのステレオセンサから取得され得る。いくつかの実施形態では、カメラ１８０は、３次元（３Ｄ）画像を取り込むことができる立体カメラとすることができる。別の実施形態では、カメラ１８０は、深度情報を推定することができる深度センサを備え得る。たとえば、深度センサは、受動的立体視センサの一部をなすものとしてよく、これは２つまたはそれ以上のカメラを使用してシーンに対する深度情報を取得し得る。取り込まれたシーン内の両方のカメラに共通の点のピクセル座標が、ピクセル毎の深度情報を取得するためにカメラ姿勢情報および／または三角測量技術とともに使用され得る。いくつかの実施形態では、深度センサは、使用されていないときには無効化され得る。たとえば、深度センサは、使用されていないときにスタンバイモードにされるか、または電源をオフにされ得る。いくつかの実施形態では、プロセッサ１５０は、１つまたは複数の時刻に深度感知を無効化（または有効化）し得る。
[0046]処理ユニット１５０は、ソフトウェアを実行してカメラ１８０によって取り込まれた画像フレームを処理することもできる。たとえば、処理ユニット１５０は、カメラ１８０から受信された１つまたは複数の画像フレームを処理してカメラ１８０の姿勢を決定し、様々なコンピュータビジョンおよび画像処理アルゴリズムを実装し、および／またはカメラ１８０から受信された画像に対応する環境の３Ｄ再構築を実行することができるものとしてよい。カメラ１８０の姿勢は、基準のフレームに関するカメラ１８０のポジションと方位とを指す。いくつかの実施形態では、カメラの姿勢は、自由度６（６−ＤＯＦ）について決定されるものとしてよく、これは３つの平行移動成分（基準フレームのＸ、Ｙ、Ｚ座標によって与えられ得る）と３つの角度成分（たとえば、基準フレームに関するロールと、ピッチと、ヨー）を指す。
[0047]いくつかの実施形態では、カメラ１８０および／またはＵＥ１００の姿勢は、カメラ１８０によって取り込まれた画像フレームに基づき視覚追跡解決方法を使用して処理ユニット１５０によって決定され、および／または追跡され得る。いくつかの実施形態では、ＣＶＭ１５５は、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、および／または専用プロセッサ（処理ユニット１５０など）などの、専用回路を使用して実装され得る。いくつかの実施形態では、ＣＶＭ１５５は、ＵＥ１００上の１つまたは複数の他のプロセッサと通信するための機能を備え得る。
[0048]いくつかの実施形態では、ＣＶＭ１５５は、３Ｄ再構築、画像データ圧縮、およびフィルタリングなどの、様々なコンピュータビジョンおよび／または画像処理方法を実装し得る。ＣＶＭ１５５は、コンピュータビジョンベースの追跡、モデルベースの追跡、同時ローカライゼーションおよびマッピング（ＳＬＡＭ：Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ）なども実装し得る。いくつかの実施形態では、ＣＶＭ１５５によって実装される方法は、カメラ１８０によって取り込まれたカラーまたはグレースケール画像データに基づくものとしてよく、これはカメラの６−ＤＯＦ姿勢測定の推定値を生成するために使用され得る。
[0049]ＳＬＡＭは、ＵＥ１００によってモデル化されている環境のマップなどの、環境のマップが、そのマップに関してＵＥ１００の姿勢を同時に追跡しながら、作成されるあるクラスの技術を指す。ＳＬＡＭ技術は、ＵＥ１００上のカメラ１８０などの、カメラによって取り込まれた画像が、環境のマップを、そのマップに関するカメラの姿勢を同時に追跡しながら作成するために使用され得る、ビジュアルＳＬＡＭ（ＶＬＳＡＭ）を含む。したがって、ＶＳＬＡＭは、周囲環境の３Ｄ構造も決定しながらカメラの６ＤＯＦ姿勢を追跡することを伴い得る。たとえば、いくつかの実施形態では、ＶＳＬＡＭ技術は、１つまたは複数の取り込まれた画像フレーム内の突出した特徴のパッチまたはキーポイントを検出し、取り込まれた画像フレームをキーフレームまたは基準フレームとして記憶し得る。次いで、キーフレームベースのＳＬＡＭでは、カメラの姿勢は、たとえば、現在取り込まれている画像フレームと１つまたは複数の以前に取り込まれている、および／または記憶されているキーフレームと比較することによって決定され得る。
[0050]いくつかの実施形態では、ＣＶＭ１５５は、３Ｄ再構築モジュールを備えるものとしてよく、これは、カメラ姿勢情報とピクセル毎のマップ情報とを使用して環境の３Ｄモデルまたは表現を作成し得る。いくつかの実施形態では、３Ｄ再構築モジュールは、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、および／または専用プロセッサ（処理ユニット１５０など）などの、専用回路を使用して実装され得る。３Ｄ再構築モジュールは、構造の画像から決定され得る、点雲内の３Ｄ点のセットを使用して、構造の３Ｄモデルを取得し得る。
[0051]一実施形態では、処理ユニット１５０は、カメラ１８０の正確でロバストな６ＤＯＦ追跡のために単眼ＶＳＬＡＭ技術を使用してＵＥ１００の周りの環境の粗マップを作成することによってカメラ１８０のポジションを追跡し得る。単眼という用語は、単一の非立体カメラを使用して画像を取り込むこと、または深度情報なしで取り込まれた画像を指す。
[0052]空間座標系内の、追跡するＵＥおよび／またはカメラの姿勢は、様々な方法で遂行され得る。衛星測位システム（ＳＰＳ）信号が、インドア環境などにおいて、利用不可能であるか、または信頼できない場合に、そのような追跡は、視覚追跡システムと慣性追跡システムとの組合せを使用して実行され得る。たとえば、カメラ１８０によって取り込まれた画像は、ＩＭＵ１７０および／またはセンサバンク１８５内のセンサ（たとえば、高度計、気圧計、磁力計など）による測定値と併せて使用され、これにより、ＵＥ１００および／またはカメラ１８０の姿勢を決定し得る。いくつかの実施形態では、ＶＳＬＡＭベースの技術は、一部は、ＩＭＵ１７０における誤差（バイアスおよびドリフトなど）を補正するために使用され得る。利用可能な場合、ロケーション情報を提供するためにＧＰＳ座標も使用され得る。いくつかの実施形態では、ハイブリッド視覚慣性追跡装置は、ＳＬＡＭ／ＶＳＬＡＭシステムを拡張カルマンフィルタ（ＥＫＦ）とともに組み込み、カメラ１８０および／またはＵＥ１００の姿勢を追跡するために様々な入力をＥＫＦに提供するものとしてよい。カルマンフィルタ（ＫＦ）は、追跡および姿勢推定のための広く使用されている方法である。特に、ＫＦは、時間の経過とともに雑音の多い入力測定のシーケンス上で再帰的に動作し、未知の変数の推定値を含み得る、基幹システムの統計学的に最適な推定値を生成する。ＥＫＦは、ＫＦの適用を円滑にするために非線形モデルを利用する。
[0053]いくつかの実施形態では、カメラの姿勢は、ＩＭＵ１７０内のセンサを再較正し、および／またはセンサ１８５および／またはＩＭＵ１７０内のセンサの測定値からのバイアスを補正し、および／または取り除くために使用され得る。たとえば、ＩＭＵ１７０および／またはセンサ１８５は、ＵＥ１００によるカメラ１８０によって各画像フレームの取り込みと同期して測定された情報を出力し得る。カメラの姿勢が、たとえば、ＶＳＬＡＭに基づき正確に推定され得るときに（たとえば、画像内の１つまたは複数の特徴点の検出に成功したとき）、ＶＳＬＡＭで推定されたカメラの姿勢が、ＩＭＵ１７０および／またはセンサ１８５による測定に補正を適用し、および／またはＩＭＵ１７０／センサ１８５を再較正するために使用され、それにより、ＩＭＵ１７０／センサ１８５による測定は、ＶＳＬＡＭで決定された姿勢をより精密に追跡し得る。
[0054]別の実施形態では、カメラ１８０による深度画像の取り込みと併せて取り込まれ得る、深度センサからの深度データは、環境の３Ｄまたは体積モデルをリアルタイムで（またはオフラインで）生成し、インクリメンタルに更新するために使用され得る。たとえば、現在のカメラの姿勢は、観察された利用可能な深度データに基づき３Ｄモデルに関するライブ深度画像フレーム（live depth-image frame）を追跡することによって得られ得る。一例として、取り込まれた一連の深度画像のうちの各深度画像は、リアルタイムＳＬＡＭと併用され、各フレーム内の深度データに基づきカメラ１８０の姿勢を同時に追跡しながら３Ｄモデルを生成し、インクリメンタルに更新することができる。深度センサおよびＳＬＡＭの技術を用いることで、ユーザは、滑らかなインクリメンタルに更新する３Ｄ再構築を生成することができるものとしてよい。いくつかの実施形態では、節電のため、深度センサは、ＳＬＡＭベースの３Ｄ再構築技術で、既存の３Ｄモデルにとって新しい情報が画像化されていると決定したときに、深度情報を取得することを可能にされ得る。
[0055]さらに、いくつかの事例において、３Ｄ再構築機能が利用不可能なＵＥ１００である場合、カメラの姿勢と画像フレームの取り込みもしくはカメラの姿勢の決定と連動して取り込まれるか、または測定された他のセンサデータとともに取り込まれた画像データは、メモリ１３０、媒体１６０に記憶され、および／または送信機１１４を使用してサーバに送信されるものとしてよく、環境の３Ｄモデルおよび／またはマップを取得するためデータはオフラインで処理され得る。したがって、本明細書で開示される１つまたは複数の方法も、ＵＥ１００と通信してサーバによってオフラインで実行され得る。
[0056]いくつかの事例において、３Ｄモデルは、テクスチャ化された３Ｄメッシュ、ワイヤフレームモデル、体積データセット、ＣＡＤモデルなどの形をとるものとしてよく、これは、モデル化されている３Ｄ環境をレンダリングするために使用され得る。たとえば、３Ｄメッシュが使用される実施形態では、ＶＳＬＡＭ技術におけるキーフレームが、環境の点雲表現を取得するために使用され得る。点雲という用語は、たとえば、Ｘと、Ｙと、Ｚとを座標とする３Ｄ座標系などの座標系におけるデータ点のセットを指す。次いで、点雲表現は、適切な散布データ補間法を使用して３Ｄメッシュに変換され得る。いくつかの事例では、疎の点雲表現は、散布データ点のセットに基づいており、３Ｄ再構築の際に取得され、使用され得る。
[0057]さらに、いくつかの実施形態では、処理ユニット１５０は、測位エンジン（ＰＥ）またはポジション決定モジュール（ＰＤＭ）１５６（これ以降、ＰＤＭ１５６）をさらに備えるものとしてよく、これは、ＵＥ１００によって画像と、センサと、ワイヤレス測定値とから導出された情報を、独立して、または受信されたロケーションアシスタンスデータと併せて、のいずれかで、使用し、ポジションとＵＥ１００に対するポジション不確実性推定値を決定し得る。たとえば、ＬＡＤＭ１５８は、マルチパスと可視性マップアシスタンス情報とを備えるロケーションアシスタンス情報、ＰＲＳタイミングパターンおよび／またはミューティング情報（muting information）などを処理するものとしてよく、次いで、これは、処理ユニット１５０によって使用されて、信号取得／測定戦略を選択し、および／または初期ロケーションを決定し得る。いくつかの実施形態において、処理ユニット１５０は、直接にまたは図１に示された１つもしくは複数の他の機能ブロックに関連してのいずれかでアシスタンス情報を含む様々な他の受信されたロングタームエボリューション（ＬＴＥ）測位プロトコル（ＬＰＰ）またはＬＰＰ拡張（ＬＰＰｅ）メッセージなどを処理することができるものともされ得る。
[0058]いくつかの実施形態では、ＵＥ１００は、内部でも外部でもよい１つまたは複数のＵＥアンテナ（図示せず）を含み得る。ＵＥアンテナは、トランシーバ１１０および／またはＳＰＳ受信機１４０によって処理された信号を送信し、および／または受信するために使用され得る。いくつかの実施形態では、ＵＥアンテナは、トランシーバ１１０およびＳＰＳ受信機１４０に結合され得る。いくつかの実施形態では、ＵＥ１００によって受信された（送信された）信号の測定は、ＵＥアンテナとトランシーバ１１０との接続点において実行されるものとしてよい。たとえば、受信された（送信された）ＲＦ信号測定値に対する測定基準点は、受信機１１４（送信機１１２）の入力（出力）端子およびＵＥアンテナの出力（入力）端子であってよい。複数のＵＥアンテナまたはアンテナアレイを有するＵＥ１００では、アンテナコネクタは、複数のＵＥアンテナの集計出力（入力）を表す仮想点と見なされ得る。いくつかの実施形態において、ＵＥ１００は、信号強度とＴＯＡ測定とを含む受信信号を測定することができ、生の測定は、処理ユニット１５０によって処理され得る。
[0059]本明細書で説明された方法は、用途に応じて様々な手段によって実装され得る。たとえば、これらの方法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組合せによるモジュールを使用して実装され得る。ハードウェア実装の場合、処理ユニット１５０は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明した機能を実施するように設計された他の電子ユニット、またはそれらの組合せの中で実装され得る。
[0060]ファームウェアおよび／またはソフトウェア実装形態において、本方法は本明細書に記載の機能を実施するコード、手順、機能などを使用して実装され得る。命令を有形に具現化するいずれの機械可読媒体も、本明細書で説明される方法の実施において使用され得る。たとえば、ソフトウェアコードは、処理ユニット１５０に接続され、非一時的コンピュータ可読媒体１６０またはメモリ１３０に記憶され、処理ユニット１５０によって実行され得る。メモリは、プロセッサユニット内に、またはプロセッサユニットの外部に実装されてもよい。本明細書で使用する場合、「メモリ」という用語は任意のタイプの長期的、短期的、揮発性、不揮発性、または他のメモリを表すものであり、特定のタイプのメモリ、またはメモリの数、メモリが格納される媒体のタイプに制限されるものではない。いくつかの実施形態では、メモリ１３０は、プロセッサ１５０上のＭＭ１５２、ＮＭ１５４、ＣＶＭ１５５、および／またはＰＤＭ１５６によって実行されるハイブリッドフォトナビゲーションおよびマッピング、画像処理、ＳＬＡＭ、追跡、モデリング、３Ｄ再構築、および他のタスクを円滑にするプログラムコードを保持し得る。たとえば、メモリ１６０は、データ、取り込まれた静止画像、深度情報、ビデオフレーム、プログラム結果、３Ｄモデル、キーフレーム、さらにはＩＭＵ１７０、様々なセンサ１８５によって提供されるデータを保持し得る。
[0061]ファームウェアおよび／またはソフトウェアで実装された場合、これらの機能は、媒体１６０および／またはメモリ１３０などの、コンピュータ可読媒体上に１つまたは複数の命令もしくはプログラムコードとして記憶され得る。例は、コンピュータプログラムによって符号化されたコンピュータ可読媒体とプログラムを関連付けられているか、または使用されるデータを含む。たとえば、その上に記憶されたプログラムコードを含むコンピュータ可読媒体は、開示される実施形態と一貫する形で、ハイブリッドフォトマッピングおよびナビゲーションをサポートするプログラムコードを含み得る。コードは、アドバンスドフォワードリンクトライラテレーション（ＡＦＬＴ）／ハイブリッドＡＦＬＴ／基準信号時間差（ＲＳＴＤ）／ＯＴＤＯＡの測定と測位を、一部は、ロケーションアシスタンス情報を使用することによって、さらにサポートし得る。コンピュータ可読媒体１６０は物理的コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスできる任意の利用可能な媒体とすることができる。限定ではなく、例として、そのような非一時的コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭ、フラッシュメモリ、または他の光ディスク（disk）ストレージ、磁気ディスク（disk）ストレージ、または他の磁気ストレージデバイス、あるいは命令および／またはデータの形態で所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を備えることができ、本明細書で使用するディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびブルーレイ（登録商標）ディスク（disc）を含み、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。
[0062]コンピュータ可読媒体１６０上での記憶に加えて、命令および／またはデータは、通信装置内に含まれる伝送媒体上の信号として提供され得る。たとえば、通信装置は、命令とデータとを示す信号を受信機１１２を通じて受信し得る、トランシーバ１１０を備え得る。命令およびデータは、１つまたは複数のプロセッサが、ハイブリッドフォトマッピングおよびナビゲーション、および／またはＡＦＬＴ／ハイブリッドＡＦＬＴ／ＲＳＴＤ／ＯＴＤＯＡの測定と測位、および／または本明細書で概要が述べられている他の機能とを実装することを引き起こし得る。すなわち、通信装置は、開示した機能を実行するための情報を示す信号をもつ伝送媒体を含む。
[0063]メモリ１３０は、任意のデータ記憶機構を表し得る。たとえば、メモリ１３０は、一次メモリおよび／または二次メモリを含み得る。一次メモリは、たとえば、ランダムアクセスメモリ、リードオンリーメモリなどを含むものとしてよい。この例では処理ユニット１５０とは別のものとして図示されているが、一次メモリのすべてまたは一部が、処理ユニット１５０内に、またはそうでなく処理ユニット１５０と同じ場所に配置され／結合され得ることは理解されるであろう。二次メモリは、たとえば、一次メモリと同じもしくは類似のタイプのメモリ、および／またはたとえば、ディスクドライブ、光ディスクドライブ、テープドライブ、ソリッドステートメモリドライブなどの１つまたは複数のデータストレージデバイスもしくはシステムを含み得る。
[0064]いくつかの実装では、二次メモリは、非一時的コンピュータ可読媒体１６０を動作可能に受け入れるか、またはそうでなく非一時的コンピュータ可読媒体１６０に結合するように構成可能であるものとしてよい。そのようなものとして、いくつかの例示的な実装では、本明細書に提示されている方法および／または装置は、少なくとも１つの処理ユニット１５０によって実行された場合に、本明細書で説明されているような例示的なオペレーションのすべてまたは一部を実行することを動作可能に使用可能にされ得る、記憶されているコンピュータ実装可能命令１１０８を含み得るコンピュータ可読媒体１６０の全部または一部における形をとり得る。コンピュータ可読媒体１６０は、メモリ１３０の一部であってよい。
[0065]さらに、ＵＥ１００は、３Ｄ画像を含む、カラー画像をレンダリングすることができる画面またはディスプレイ１９０を備え得る。いくつかの実施形態では、ディスプレイ１９０は、カメラ１８０によって取り込まれたライブ画像、グラフィカルユーザインターフェース（ＧＵＩ）、プログラム出力などを表示するために使用され得る。いくつかの実施形態では、ディスプレイ１９０は、仮想キーボード、アイコン、メニュー、または他のグラフィカルユーザインターフェース（ＧＵＩ）、ユーザジェスチャ、および／またはスタイラスおよび他の筆記用具などの入力デバイスの何らかの組合せを介してユーザがデータを入力することを可能にするためのタッチスクリーンを備え、および／または収納され得る。いくつかの実施形態では、ディスプレイ１９０は、液晶ディスプレイ（ＬＣＤ）ディスプレイまたは有機ＬＥＤ（ＯＬＥＤ）ディスプレイなどの発光ダイオード（ＬＥＤ）ディスプレイを使用して実装され得る。他の実施形態では、たとえば、図１Ｂに示されているように、ディスプレイ１９０は、ウェアラブルディスプレイまたはヘッドアップディスプレイであってよく、これは、カメラ１８０、処理ユニット１５０、および／またはＵＥ１００内の他の機能ユニットに動作可能に結合され得る。
[0066]図２は、ロケーションアシスタンスデータまたはロケーション情報の転送を含む、ロケーションサービス、および／またはナビゲーションサービスをＵＥに提供することができるシステム２００のアーキテクチャを示す。いくつかの事例において、システム２００は、本明細書で開示される実施形態と一貫する形で、ハイブリッドフォトマッピングとともに使用するなど、マッピングサービスに使用され得る。
[0067]たとえば、いくつかの事例において、サーバ２５０は、マップまたは他のロケーションアシスタンス情報をＵＥ１００（または複数のＵＥ１００）に適宜送信するものとしてよく、これは近似的なロケーションを推定するためにＵＥ１００によって使用され得る。さらに、ＵＥ１００によって取り込まれ得る、１つまたは複数の画像フレーム、ビデオ、および／または他の測定値は、サーバ１５０に送信し得る。たとえば、いくつかの事例において、受信されたロケーションアシスタンスデータ（たとえば、ＬＡＤＭ１５８による）に基づき、ＵＥ１００は、ワイヤレス信号測定値、および／またはセンサ１８５を使用した測定値を含む、測定値を取得するものとしてよく、これはカメラ１８０による画像の取り込みと連動して取り込まれ得る。取り込まれた画像および／または測定値は、ＵＥ１００によってローカルで使用され、および／またはサーバ２５０に送信され得る。たとえば、取り込まれた画像および測定値は、ＵＥ１００および／またはサーバ１５０によって使用され、それにより、ロケーションのモデル／マップを生成するか、または更新し、および／または基地局アルマナック（ＢＳＡ）データを更新し得る。次いで、更新されたデータ／ＢＳＡデータは、ロケーションアシスタンスデータとして１つまたは複数のＵＥ１００に送信され得る。
[0068]図２に示されているように、ＵＥ１００は、ネットワーク２３０と、ネットワーク２３０に関連付けられ得る、アンテナ２４０と総称される、基地局アンテナ２４０−１〜２４０−４とを通してサーバ２５０と通信し得る。サーバ２５０は、いくつかの事例において、マッピングサーバ、ロケーションサーバ、ＢＳＡサーバ、ポジション決定エンティティ（ＰＤＥ）、または別のネットワークエンティティのうちの１つまたは複数の機能を提供し得る。ロケーションおよび他の情報の転送は、ＵＥ１００とサーバ２５０の両方に適したレートで起こり得る。
[0069]いくつかの実施形態では、システム１００は、ＵＥ１００とサーバ２５０との間でＬＰＰまたはＬＰＰｅメッセージなどのメッセージを使用するものとしてよい。ＬＰＰプロトコルはよく知られており、また「第３世代パートナシッププロジェクト」（３ＧＰＰ（登録商標））と称する組織からの様々な入手可能な技術仕様書において説明されている。ＬＰＰｅは、オープンモバイルアライアンス（ＯＭＡ）によって定義され、各組み合わされたＬＰＰ／ＬＰＰｅメッセージが、埋め込まれたＬＰＰｅメッセージを備えるＬＰＰメッセージになるように、ＬＰＰと組み合わせて使用され得る。
[0070]いくつかの実施形態では、ＵＥ１００は、ポジション決定に使用され得る信号を基地局アンテナ２４０から受信し、測定し得る。アンテナ２４０は、ワイヤレス広域ネットワーク（ＷＷＡＮ）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、ワイヤレスパーソナルエリアネットワーク（ＷＰＡＮ）、その他とすることができるワイヤレス通信ネットワークの一部を形成することができる。「ネットワーク」および「システム」という用語は、本明細書ではしばしば交換可能に使用される。ＷＷＡＮは、符号分割多元接続（ＣＤＭＡ）ネットワーク、時間分割多元接続（ＴＤＭＡ）ネットワーク、周波数分割多元接続（ＦＤＭＡ）ネットワーク、直交周波数分割多元接続（ＯＦＤＭＡ）ネットワーク、シングルキャリア周波数分割多元接続（ＳＣ−ＦＤＭＡ）ネットワーク、ロングタームエボリューション（ＬＴＥ）、ＷｉＭａｘ（登録商標）などであってよい。
[0071]ＣＤＭＡネットワークは、ｃｄｍａ２０００、広帯域ＣＤＭＡ（Ｗ−ＣＤＭＡ（登録商標））などの１つまたは複数の無線アクセス技術（ＲＡＴ）を実装し得る。ｃｄｍａ２０００は、ＩＳ−９５標準、ＩＳ−２０００標準、およびＩＳ−８５６標準を含む。ＴＤＭＡネットワークは、モバイル通信用グローバルシステム（ＧＳＭ（登録商標）：Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）、デジタルアドバンストモバイルフォンシステム（Ｄ−ＡＭＰＳ：Ｄｉｇｉｔａｌ Ａｄｖａｎｃｅｄ Ｍｏｂｉｌｅ Ｐｈｏｎｅ Ｓｙｓｔｅｍ）、または何らかの他のＲＡＴを実装し得る。ＧＳＭ、Ｗ−ＣＤＭＡ、およびＬＴＥは、「第３世代パートナシッププロジェクト」（３ＧＰＰ）と称する組織からの文書で説明されている。ｃｄｍａ２０００は、「第３世代パートナシッププロジェクト２」（３ＧＰＰ２：３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ ２）と称する団体からの文書に記載されている。３ＧＰＰおよび３ＧＰＰ２の文書は公に入手可能である。ＷＬＡＮは、ＩＥＥＥ８０２．１１ｘネットワークであり得、ＷＰＡＮは、Ｂｌｕｅｔｏｏｔｈ（登録商標）ネットワーク、ＩＥＥＥ８０２．１５ｘネットワーク、または何らかの他のタイプのパーソナルエリアネットワークであり得る。本技法はまた、ＷＷＡＮ、ＷＬＡＮ、および／またはＷＰＡＮの任意の組合せと併せて実装され得る。たとえば、アンテナ２４０およびネットワーク２３０は、たとえば、発展型ＵＭＴＳ Ｔｅｒｒｅｓｔｒｉａｌ Ｒａｄｉｏ Ａｃｃｅｓｓ Ｎｅｔｗｏｒｋ（Ｅ−ＵＴＲＡＮ）（ＬＴＥ）ネットワーク、Ｗ−ＣＤＭＡ ＵＴＲＡＮネットワーク、ＧＳＭ／ＥＤＧＥ Ｒａｄｉｏ Ａｃｃｅｓｓ Ｎｅｔｗｏｒｋ（ＧＥＲＡＮ）、１ｘＲＴＴネットワーク、Ｅｖｏｌｕｔｉｏｎ−Ｄａｔａ Ｏｐｔｉｍｉｚｅｄ（ＥｖＤＯ）ネットワーク、ＷｉＭａｘネットワーク、またはＷＬＡＮの一部を形成することができる。
[0072]ＵＥ１００は、ＳＰＳ／ＧＮＳＳの一部とされ得る、集合的にＳＶ２８０と称する１つまたは複数の地球周回宇宙船（ＳＶ）２８０−１〜２８０−４から信号を受信することもできる。ＳＶ２８０は、たとえば、米国の全地球測位システム（ＧＰＳ）、欧州のＧａｌｉｌｅｏシステム、ロシアのＧｌｏｎａｓｓシステム、または中国のＣｏｍｐａｓｓシステムなどのＧＮＳＳのコンステレーションに含まれるものとされ得る。いくつかの態様によれば、本明細書で提示する技法は、ＳＰＳのためのグローバルシステム（たとえば、ＧＮＳＳ）に制限されない。たとえば、本明細書で提示される技法は、たとえば日本上空の準天頂衛星システム（ＱＺＳＳ）、インド上空のインド地域衛星航法システム（ＩＲＮＳＳ）、ならびに／または１つもしくは複数の全地球および／もしくは地域の航法衛星システムに関連付けられるか、またはそうでなくこれとともに使用されるために使用可能にされ得る様々な補強システム（たとえば、静止衛星型衛星航法補強システム（ＳＢＡＳ））など、様々な地域システムでの使用に適用されるか、またはそうでなくそのために使用可能にされ得る。限定ではなく、例として、ＳＢＡＳは、たとえば、Ｗｉｄｅ Ａｒｅａ Ａｕｇｍｅｎｔａｔｉｏｎ Ｓｙｓｔｅｍ（ＷＡＡＳ）、Ｅｕｒｏｐｅａｎ Ｇｅｏｓｔａｔｉｏｎａｒｙ Ｎａｖｉｇａｔｉｏｎ Ｏｖｅｒｌａｙ Ｓｅｒｖｉｃｅ（ＥＧＮＯＳ）、Ｍｕｌｔｉ−ｆｕｎｃｔｉｏｎａｌ Ｓａｔｅｌｌｉｔｅ Ａｕｇｍｅｎｔａｔｉｏｎ Ｓｙｓｔｅｍ（ＭＳＡＳ）、ＧＰＳ Ａｉｄｅｄ Ｇｅｏ Ａｕｇｍｅｎｔｅｄ ＮａｖｉｇａｔｉｏｎまたはＧＰＳおよびＧｅｏ Ａｕｇｍｅｎｔｅｄ Ｎａｖｉｇａｔｉｏｎシステム（ＧＡＧＡＮ）など、完全性情報、差分補正などを行う（１つまたは複数の）オーグメンテーションシステムを含むことができる。したがって、本明細書で使用されるときに、ＳＰＳは、１つまたは複数の全地球のおよび／または地域の航法衛星システムおよび／または補強システムの任意の組合せを含むことができ、ＳＰＳ信号は、ＳＰＳ信号、ＳＰＳ様信号、および／またはそのような１つもしくは複数のＳＰＳに関連する他の信号を含むことができる。
[0073]簡単のため、ただ１つのＵＥ１００およびサーバ２５０が、図２に示されている。一般に、システム１００は、追加のネットワーク２３０と、ＬＣＳクライアント２６０と、移動局１００と、サーバ２５０と、（基地局）アンテナ２４０と、宇宙船（ＳＶｓ）２８０とを含む、２４５−ｋ（０＝ｋ＝Ｎcells、ただし、Ｎcellsは、セルの個数である）によって指示される複数のセルを備えるものとしてよい。システム１００は、本明細書で開示される実施形態と一貫する形でマクロセルとフェムトセルとを含むセルの混合をさらに備え得る。
[0074]ＭＳ１００は、ＯＭＡによって定義されたセキュアユーザプレーンロケーション（Ｓｅｃｕｒｅ Ｕｓｅｒ Ｐｌａｎｅ Ｌｏｃａｔｉｏｎ（ＳＵＰＬ））ロケーション解決策とＬＴＥサービングネットワークとともに使用するために３ＧＰＰによって定義された制御プレーンロケーション解決策とを含むことができるがこれに限定されない、測位サービスとロケーションサービスとをサポートする１つまたは複数のネットワーク２３０を介してサーバ２５０とワイヤレスに通信できるものとされ得る。たとえば、ロケーションサービス（ＬＣＳ）は、サーバ２５０（ロケーションサーバに関連付けられている機能を備え得る）にアクセスし、ＵＥ１００のロケーションに対する要求を発行するＬＣＳクライアント２６０に代わって実行され得る。次いで、サーバ２５０は、ＵＥ１００に対するロケーション推定とともにＬＣＳクライアント２６０に応答し得る。ＬＣＳクライアント２６０は、ＳＵＰＬエージェントとも称され得る−たとえば、サーバ２５０とＵＥ１００とによって使用されるロケーション解決方法がＳＵＰＬであるとき。いくつかの実施形態では、ＵＥ１００は、ＵＥ１００内でＰＤＭ１５６などのいくつかの測位対応機能へのロケーション要求を発行し、その後、ＵＥ１００に対するロケーション推定値を引き換えに受信し得る。ＵＥ１００内のＬＣＳクライアントまたはＳＵＰＬエージェントは、ＵＥ１００のユーザのためにロケーションサービスを実行する−たとえば、ナビゲーション方向を提供するか、またはＵＥ１００の付近にある注目点を識別し得る。
[0075]サーバ２５０は、ＳＵＰＬロケーションプラットフォーム（ＳＵＰＬ Ｌｏｃａｔｉｏｎ Ｐｌａｔｆｏｒｍ（ＳＬＰ））、発展型サービングモバイルロケーションセンタ（ｅｖｏｌｖｅｄ Ｓｅｒｖｉｎｇ Ｍｏｂｉｌｅ Ｌｏｃａｔｉｏｎ Ｃｅｎｔｅｒ（ｅＳＭＬＣ））、サービングモバイルロケーションセンタ（Ｓｅｒｖｉｎｇ Ｍｏｂｉｌｅ Ｌｏｃａｔｉｏｎ Ｃｅｎｔｅｒ（ＳＭＬＣ））、ゲートウェイモバイルロケーションセンタ（Ｇａｔｅｗａｙ Ｍｏｂｉｌｅ Ｌｏｃａｔｉｏｎ Ｃｅｎｔｅｒ（ＧＭＬＣ））、ポジション決定エンティティ（ＰＤＥ）、スタンドアロンＳＭＬＣ（Ｓｔａｎｄａｌｏｎｅ ＳＭＬＣ（ＳＡＳ））、および／または類似物の形をとることができる。
[0076]図２に示されているように、ＵＥ１００は、ネットワーク２３０と、ネットワーク２３０に関連付けられ得る、アンテナ２４０とを通してサーバ２５０と通信し得る。ＵＥ１００は、ポジション決定に使用され得る、信号をアンテナ２４０から受信し、測定し得る。たとえば、ＵＥ１００は、ポジション決定を容易にするために、それぞれセル２４５−１と２４５−２と２４５−３と２４５−４とに関連付けられ得る、アンテナ２４０−１、２４０−２、２４０−３、および／または２４０−４のうちの１つまたは複数から信号を受け取り、測定することができる。ＵＥ１００は、ＳＰＳの一部を形成し得る、ＳＶ２８０から受信される信号を使用してそれのポジションを決定することもし得る。別の例として、ＵＥ１００は、ハイブリッドポジションロケーション方式を使用し得るが、その際に、ＵＥ１００上の全地球測位システム（ＧＰＳ）またはＳＰＳ受信機１４０を使用し、それのポジションを、センサ１８５からの測定値および／または取り込まれた画像に基づき、ＡＦＬＴとＧＰＳ測定値（たとえば、ＳＶｓ２８０からの）との組合せで計算する。いくつかの実施形態では、ＧＮＳＳ’、地上測定値（たとえば、ＡＦＬＴ、セルセクタ測定値、ＷＬＡＮ測定値、ＯＴＤＯＡ）、および／またはセンサ測定値（たとえば、ＩＭＵ１７０、センサ１８５、カメラまたはイメージセンサ（深度センサを含み得る）、などを使用する測定値）の組合せが、ポジション推定値を得るために使用され得る。
[0077]いくつかの実施形態では、得られるポジション推定値は、粗ポジション推定値および／または初期ポジション推定値である可能性があり、開示される実施形態と一貫する形で精緻化され得る。一般に、ＵＥ１００によって行われる測定は、ＵＥ１００および／またはアンテナ２４０の計算されたポジションの可用性と精度とを高めるために、ＢＳＡに記憶されている測定値などの、ネットワーク関連測定値と組み合わされ得る。
[0078]別の例として、ＷＣＤＭＡとＬＴＥと併用される、ＯＴＤＯＡベースの測位では、ＵＥ１００は、複数の基地局アンテナ２４０から受信された信号の時間差を測定し得る。アンテナ２４０のポジションが既知なので、観察された時間差は、ＵＥ１００のロケーションを計算するのに使用され得る。たとえば、基準信号時間差（ＲＳＴＤ）と称される、測位基準信号（ＰＲＳ）の到着の測定された時間差は、ＵＥ１００のポジションを計算するために各セルの絶対または相対送信タイミングと、基準セルと近接セルとに対する宛名２４０の知られているポジションとともに使用され得る。
[0079]ＣＤＭＡと併用される、ＡＦＬＴベースの測位では、ＵＥ１００は、絶対時間スケール（たとえば、ＧＰＳ時間）に同期され、４本の基地局アンテナ２４０−１〜２４０−４から送信される、パイロット信号の位相を測定し得る。アンテナ２４０−ｉ、１≦ｉ≦４、からのパイロット信号の測定された位相が、ＵＥ１００とそれぞれのアンテナとの間の距離を計算するのに使用され得る。距離測定値のセットは、アンテナ２４０の時間オフセットが既知であるならば、ＵＥ１００のロケーションを計算するのに使用され得る。
[0080]ＭＳ１００は、セル信号の到着の時刻を絶対時間スケールと比較することによって、順方向リンクセル信号の時間同期の測定値を得ることができる。ＵＥ１００は、既知のＧＰＳポジションとこの測定の時のＧＰＳ時刻とを記録することができ、アンテナ２４０−１などのセル送信機の既知のポジションを使用することによって、セル信号の到着時刻バイアスが、決定され得る。
[0081]セル信号の時刻バイアスの決定は、順方向リンク較正（ＦＬＣ）と称される。いくつかの例で、ＵＥ１００は、順方向リンク較正を実行することができるサーバ２５０に生の測定情報を送ることができる。たとえば、距離補正は、順方向リンク較正値（ＦＬＣ）として定量化される。ＦＬＣは、セルの間の１００ｎｓ程度の同期変動であっても３０メートルの測距誤差になるので、測位精度を改善する。したがって、ＦＬＣ精度は、地上測位システムでの最適な実行を円滑にする。しかしながら、セル２４５内であっても、ＦＬＣは、信号減衰、ブロック、マルチパスなどの様々な要因に基づきＵＥのポジションとともに変化し得る。たとえば、インドアの、または人口密度の高い都会の環境において、ブロックおよび／またはマルチパスがより一般的である場合、インドアの、または人口密度の高い都会の環境をマップすること、および／または正確なポジション推定値を取得することは、難しいことがある。たとえば、ＳＶｓ２８０からの、および／または１つまたは複数のアンテナに２４０からの、信号などの様々な信号は、利用できないか、または弱く、それによって、ワイヤレス信号だけに基づくポジション決定技術を制限することになり得る。
[0082]したがって、本明細書で開示されている実施形態は、本明細書で開示されているハイブリッドフォトマッピングおよびナビゲーション技術を使用し、それによってポジション推定を改善し、地上測位システムの展開と利用とを拡張することで、インドア環境におけるマッピングおよびナビゲーションを円滑にする。
[0083]図３Ａおよび３Ｂは、関連付けられているロケーションの精度と、測位の曖昧さと、電力消費量とともに様々な状況における異なる測位技術の利用可能性を指示する表を示す。ポジション曖昧性は、この技術を使用して決定されたポジションが不正確である可能性を指す。たとえば、異なるロケーションで撮られた２つの画像内のいくつかの特徴点が一致し、モバイルデバイスの実際のロケーションを決定することを困難にする可能性がある。
[0084]図３Ａに示されているように、ＳＰＳベースの測位技術は、典型的には全地球的にアウトドアで非常に有用性が高く、高いアウトドア精度と、低いアウトドアポジション曖昧性と、まずまずの電力消費量を示す。しかし、図３Ｂに示されているように、ＳＰＳ信号は、インドアで常に利用可能であるとは限らず、インドアで利用可能であるときでも、ＳＰＳ信号強度は弱いことがある。したがって、インドア精度は、低く、インドア曖昧性は移動局がアウトドアにあるときよりも高くなり得る。さらに、衛星までの見通し線（ＬＯＳ）は、ＳＰＳシステムによるタイムスティッチング（time stitching）を円滑にする。タイムスティッチングは、様々なセンサから取得された測定値を、共通時間スケールに合わせて、取り込まれた画像に対して正確に相関させ、アラインメントする機能を指す。
[0085]慣性航法技術は、インドアとアウトドアの両方において非常に利用可能性が高く、まずまずの電力消費量を示すが、ドリフトおよび他のバイアスがあるので、それらの精度は、典型的には中から良いまでの範囲であって低い。ＩＭＵ測定値は、より容易にスティッチングされ、他の測定値と相関させられる。
[0086]フォトナビゲーションは、インドアとアウトドアの両方で非常に利用可能性が高いが、より高い電力消費量と、より高いインドアおよびアウトドアロケーション曖昧性を示す。たとえば、様々な異なるロケーションにおいてときには類似の画像が得られることがあり得、そのため、追加の画像および／または他のセンサ入力なしでは単一のロケーションの識別が困難になる。その一方で、移動局が一エリアにローカライズされ得るときに、ロケーション精度は高い。たとえば、知られているランドマークが目に見える場所からロケーションの限られたセットがあり得、したがって、取り込まれた画像に基づき、ＵＥのロケーションが、マッピングとナビゲーションの両方について正確に決定され得る。取り込まれた画像は、比較的速く、タイムスティッチングされ、他の測定値と相関させられ得る。
[0087]ＷＡＮベースのロケーション技術は、アウトドアとインドアの両方で良好な利用可能性を示し、利用可能であるときに、比較的強い信号を有する。しかしながら、ＷＡＮ信号は、ゼアメイエリアザットがセルラー信号を使用しないので、限られた全地球的な利用可能性を有する。ＷＡＮベースのロケーション技術は、比較的低い電力消費量を示し、中程度のアウトドアおよびインドア精度、低いインドアおよびアウトドアロケーション曖昧性を有し、かなり容易にタイムスティッチングされ得る。
[0088]最後に、ＬＡＮまたはビーコンベースのロケーション技術は、アウトドアでまずまずの利用可能性を、インドアで良好な利用可能性を示すが、信号強度は、ロケーションによって著しく異なり得る。ＬＡＮ信号は、良好な大域的利用可能性を有し、まずまずの電力消費量を示し、中程度のアウトドアおよびインドア精度、低いインドアおよびアウトドアロケーション曖昧性を有し、かなり容易にタイムスティッチングされ得る。
[0089]図３Ａおよび３Ｂならびに上記の説明からわかるように、ロケーション技術は、個別に使用されるときに様々な強みと欠点とを有する。したがって、上記の方法のうちの１つに依存する、現在のロケーション決定技術を使用するときに、マッピングおよび／またはナビゲーション解決方法は、多くの場合に最適とは言えない。
[0090]したがって、本明細書で開示されている方法は、複数のセンサからの測定値を、画像およびワイヤレス信号の測定値と組み合わせて、ロケーション決定を円滑にする。たとえば、ＳＰＳは、大域的な範囲を有し、強いＷＡＮ信号は、特にワイヤレスアクセスポイントのロケーションが知られている状況において、ローカライズされたインドア環境内の低電力のバックグラウンドナビゲーションを補助し得る。ワイヤレス信号が利用不可能であるときに追加の入力を供給し得る、慣性センサからのカメラ画像および測定値によってもたらされる優れた局所的な精度と組み合わされたときに、よりロバストで正確な測位解決方法が使用可能にされ得る。
[0091]しかしながら、特にインドアロケーションでは、マップが不足する。さらに、インドアマップが利用可能であるときでも、インドアマップは、より広いエリアの規模のマップに関するコンテキストをもたらさない。したがって、ユーザは、部屋、ホールウェイなどをより広いエリアのマップに置くことができるものとしてよい。正確なマップなしでは、ポジション情報の最適な利用は困難である。たとえば、点Ａ（たとえば、インドア）から点Ｂ（たとえば、アウトドア）への、またはその逆のナビゲーション命令は、利用可能なマップなしでは提供され得ない。したがって、インドアロケーションに対する信頼でき、正確なマップを安価に取得することは、既存のモバイルデバイスの機能のより最適な使用を円滑にし得る。したがって、開示されている技術も、複数のセンサからの測定値を、画像およびワイヤレス信号の測定値と組み合わせて、マッピングおよび／またはナビゲーションを円滑にする。たとえば、画像ベースのナビゲーション技術は、正確な「写真」および／または可視性マップと併用されたときに強化され得る。同様に、カメラによって取り込まれた画像によってもたらされる正確な較正は、効果的なインドアワイヤレスナビゲーションを行うために使用され得る。これらの、および本明細書に開示されている他の技術がモバイルデバイスと併用され、ロケーションのマップを取得し、更新するとともに、ナビゲーション機能を使用可能にする。
[0092]いくつかの実施形態では、マッピングモジュール（ＭＭ）１５２は、ＵＥ１００を「マッピングモード」にするために使用され得る。マッピングモードでは、ＵＥ１００上のカメラ１８０は、センサ１８５（磁力計と、高度計と、気圧計とを含む）とＩＭＵ１７０とからの測定値と併せて指定されたフレームレートで画像またはビデオを取り込み得る。たとえば、ユーザは、ＵＥ１００をマッピングに使用するときにＵＥ１００をマッピングモードにするものとしてよい。マッピングモードでは、カメラは「広角」モードにされ得る。さらに、マッピングモードでは、高解像度画像が取り込まれ得るが、画像は、圧縮され、フィルタリングされ、またはサイズを縮小するように改変され得る。いくつかの実施形態では、カメラ１８０によって取り込まれた画像は、高解像度でローカルに記憶され、および／またはサーバ２５０に送信されて後で処理され得る。たとえば、いくつかの実施形態では、画像は、ベクトルマップ、またはベクトル画像に縮小されるものとしてよく、これは異なるニーズに合わせて様々な異なるコンテンツおよび解像度を提供する。
[0093]さらに、いくつかの実施形態では、マッピングモードのときに、ＣＶモジュール１５５は、「マンハッタンワールド」仮定を使用するように構成され得る。画像および／または点雲から都市構造の３Ｄ再構築を形成するために広範に使用される、マンハッタンワールド（ＭＷ）仮定では、カメラによって取り込まれるシーンまたは画像は、優位な方向を有する区分的平面からなると仮定する。典型的には、ＭＷ仮定が建物の幾何学的形状を決定するために使用されるときに、３つの相互に直交する方向の優位性が仮定される。同じ高さの、および鉛直の表面ならびに縁も仮定され得る。ＭＷ仮定は、２Ｄ画像からの３Ｄ再構築を円滑にする。様々なよく知られている技術が、取り込まれた画像に基づく３Ｄ再構築に対して利用可能である。たとえば、例示的な一実施形態では、優位な面方位（たとえば、Ｘ、Ｙ、Ｚ）が画像から抽出され得、仮説が画像内の平面について（たとえば、画像内の特徴点密度に基づき）生成され、３Ｄ再構築が画像ピクセルを平面のうちの１つまたは複数に関連付けることによって得られるものとしてよい。深度センサと併用されるときに、ＭＷ仮定は、取得された深度情報に基づきより高速な３Ｄ再構築を円滑にし得る。デバイスの方位およびカメラの角度を決定するのに慣性センサが使用されるときに、ＭＷ仮定は、垂直および水平の縁と表面、ならびにそれらのそれぞれのロケーション、方位、および関係のより効率的な識別を円滑にし得る。
[0094]いくつかの実施形態では、ＵＥ１００上のマッピングモードは、ユーザがエリア内を通過しており、および／または（ｉ）マッピングされていないエリアまたは（ｉｉ）更新マップデータが好ましいエリアを通過することを奨励されているときに日和見的にアクティブ化され得る。たとえば、マッピングモードのときに、サーバでのロケーションに関連するクラウドソーシングされたデータ（またはそのようなデータの存在しないこと）に基づき、ＵＥは、構造の内部および／または外部の「サーベイ」を要求し得る。別の実施形態では、日和見的クラウドソーシングが使用されるものとしてよく、ユーザは、ＵＥの推定されるロケーションに基づきマッピングモードに入ることを求められ得る。いくつかの実施形態では、ユーザの同意が得られることがあり、ユーザは、日和見的なクラウドソーシングされたマッピングに能動的に参加し得る。いくつかの実施形態では、たとえば、カメラ１８０がウェアラブルである場合、画像取り込みおよびセンサデータ収集は、自動的にトリガーされ、データは、ＵＥ１００上に記憶され、および／または以前に得られたユーザ同意に基づきサーバ２５０に送信され得る。「クラウドソーシング」という用語は、複数の移動局および／またはＰＤＥからの収集と収集された画像、ＲＦ、センサ、および測位関連測定値の後続の集計とを指すのに使用される。いくつかの実施形態では、ユーザがマップするために（または既存のマップを更新するために）望ましい場合がある構造の近くに居ることを検出した後、ユーザは、開示されている実施形態と一貫する形でマッピングを実行することを求められるか、または奨励され得る。
[0095]図４は、開示される実施形態と一貫する形でマッピングを実行することができる例示的なアプリケーション４００のブロック図である。いくつかの実施形態では、アプリケーション４００の一部は、処理ユニット１５０を使用してＵＥ１００上で、および／またはＵＥ１００にワイヤレス方式で結合されているサーバ上で実行され得る。いくつかの実施形態では、アプリケーション４００は、ＣＶＭ１５５とＥＫＦコンポーネント４０５とを利用するＳＬＡＭ−ＥＫＦトポロジを使用し得る。いくつかの実施形態では、アプリケーション４００に関連付けられている機能は、ハードウェア、またはソフトウェア、またはそれらの組合せによって実装され得る。
[0096]図４に示されているように、ＣＶＭ１５５は、ワイヤレスおよび非ワイヤレス測定値の取り込みに同期させられた画像フレームを受信し得る。利用可能な機能に応じて、画像フレームは、一連の静止画像として、および／またはビデオの一部として取り込まれ得る。ビデオ取り込みを利用する実施形態は、たとえば、毎秒３０フレームの速さで画像を受信することができる。他の実施形態は、他のフレームレートを利用し得る。ＣＶＭ１５５は、カメラ較正を使用するものとしてよい。固有のカメラ較正は、主点と、焦点距離と、径方向歪みとを含み得る。外部カメラ較正パラメータは、ＩＭＵ１７０に関する回転と平行移動との情報を含み得る。回転が推定され得る、またはいくつかの事例において、ＩＭＵは、カメラとアラインメントされると仮定され得る。
[0097]上で概略が述べられているように、ＣＶＭ１５５は、画像フレーム内のキーポイントを決定し、検出するために様々なアルゴリズムのうちのどれかを使用し得る。いくつかの実施形態では、キーポイント検出の結果、キーポイントの測定された２Ｄカメラ座標が識別されるものとしてよく、これらの座標はＥＫＦコンポーネント４０５に中継される。ＥＫＦコンポーネント４０５は、キーポイントの予測された２Ｄカメラ座標をＣＶＭ１５５とさらに共有して、キーポイント探索空間を絞り込み得る。１つまたは複数のキーポイントが、ＣＶＭ１５５によって特定されると、これらのキーポイントの２Ｄカメラ座標が、ＥＫＦコンポーネント４０５に供給され得る。いくつかの実施形態では、ＣＶＭ１５５は、画像フレーム内のキーポイントのロケーションに基づく、ＣＶＭ１５５によって決定され得る、自由度６（６ＤＯＦ）のカメラ姿勢ももたらし得る。
[0098]いくつかの実施形態では、入力された６ＤＯＦカメラ姿勢（ＣＶＭ１５５によって供給される）は、ＥＫＦ４０５によって精緻化され、ＣＶＭ１５５および／またはＩＭＵによって供給される入力、および／またはワイヤレス測定値に基づき、ＵＥの姿勢を絶対座標で取得し得る。ＥＫＦによって決定された６ＤＯＦカメラ姿勢も、ターゲットのロケーションを計算するのに使用され得る。ＥＫＦコンポーネント４０５は、ワイヤレスおよび／または非ワイヤレス測定値とともにＣＶＭ１５５からの２Ｄキーポイント測定値を利用してカメラ１８０／ＵＥ１００の６ＤＯＦ姿勢を絶対座標で追跡することができる。たとえば、ＥＫＦコンポーネント４０５は、最近のＧＰＳまたは他のワイヤレス測定値（利用可能なときに）を使用して、測定セットを絶対座標フレームワークに固定し得る。「絶対座標」または「グローバル座標」という用語は、ＧＰＳまたはマッピングとナビゲーションとに使用される世界測地系（ＷＧＳ）標準などの他のグローバル座標系によって規定されるような絶対ＳＰＳ座標を指すために使用される。いくつかの実施形態では、ＥＫＦコンポーネント４０５は、画像フレーム内の検出された特徴点の３Ｄロケーションに加えて重力ベクトルをＣＶＭ１５５に提供し得る。いくつかの実施形態では、キーポイントの重力および３Ｄロケーションは、姿勢推定プロセスの実行中にまたはその一部として取得され得る。重力の決定に関する詳細については、Ｅａｇｌｅ Ｓ． Ｊｏｎｅｓ、Ｓｔｅｆａｎｏ Ｓｏａｔｔｏ著「Ｖｉｓｕａｌ−Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ， Ｍａｐｐｉｎｇ Ａｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ： Ａ Ｓｃａｌａｂｌｅ Ｒｅａｌ−Ｔｉｍｅ Ｃａｕｓａｌ Ａｐｐｒｏａｃｈ」（２０１０）を参照されたい。従来の視覚的慣性技術を使用するシステムにおいて、ＵＥの軌跡が決定され得る。しかしながら、従来の技術では、３Ｄ構造エンベロープ決定（3D structural envelope determination）と、測定値に基づくインドアマップの決定を開示しておらず、構造３Ｄエンベロープ情報およびインドアマップは、絶対座標に合わされる。
[0099]いくつかの実施形態では、マッピングアプリケーションは、ＥＫＦを使用している間に追加の測定値を取得するようにユーザに指令することができる。たとえば、ユーザは、すでにマッピングされているエリア内に歩いて入り、ループ閉検出を行わせ、次いで、推定されるマップ／キーポイントと、軌跡と、ループ閉検出とをグローバルバンドル調整させ、利用可能であれば、データ収集反復から一緒に、ＧＰＳ修正を行わせるように指令され得る。
[00100]ターゲットに関してＵＥ／カメラ姿勢を決定し、測定値を絶対座標に固定することによって、ＵＥの絶対姿勢が、ＥＫＦ４０５によって決定され得る。
[00101]ＥＫＦコンポーネント４０５は、ＩＭＵ１７０および／または他のセンサに関連するバイアスをさらに決定するものとしてよく、これはドリフトを軽減するために使用され得る。以下でさらに概略が述べられるように、ドリフトを補正するために、またマッピング時のＵＥの閉ループ軌跡の計算に際して、グローバルバンドル調整（Global Bundle Adjustment）（ＧＢＡ）などのグローバル最適化技術がＥＫＦ４０５によって使用され得る。
[00102]図５Ａは、ＳＶおよび／またはワイヤレスネットワーク２３０からの信号受信が利用可能であり得るロケーションにいるユーザを示している。マッピングモードでは、画像は、ユーザがアプリケーションによって指令されるようにアウトドアロケーション−建物など−の周りを移動するときにＵＥ１００によって収集され得る。たとえば、ユーザは、軌跡４１０を辿るように指令されるものとしてよく、ユーザが構造物４２７の周りを移動するときにＵＥ１００によって画像が収集され得る。ＳＰＳおよびセルラー測定値は、典型的にはアウトドアで利用可能であるので、軌跡４１０は、ＳＰＳ／セルラー測定値に基づき決定され得る。信号停止が生じた場合、ＩＭＵ１７０および／またはセンサバンク１８５によってタイムスタンプが付けられた測定値は、タイムスタンプが付けられた取り込まれた画像と併せて使用され、その停止間にスティッチングをするのに使用され得る。たとえば、ユーザの移動を追跡するために、構造４２７のタイムスタンプが付けられた画像がＩＭＵ１７０および／またはセンサバンク１８５からのタイムスタンプが付けられた測定値と併せてカメラ１８０によって取り込まれ得る。いくつかの実施形態では、以下でさらに説明されるように、タイムスタンプは、異なるセンサからの測定値を相関させ、および／または信号／測定停止間にタイムスティッチングするのに使用され得る。
[00103]いくつかの実施形態では、ＭＭ１５２は、外部から見える標識（「ＸＹＺ ＳＴＯＲＥ」という店舗標識など）、窓、ドア、張り出し、コーナーポイント、隣接構造物などを含む突出した視覚的特徴の画像を取り込むことをユーザに指令することができる。たとえば、壁は「外部」と「内部」の両方にあるという推論は、その中に窓がある場合になされ得る。その窓は、外側と内側から見たときに、同じ壁の２つの異なるビューをアラインメントするために使用され得る。したがって、ＭＭ１５２は、構造物の内側と外側の両方から見える可能性の高い特徴を取り込むことをユーザに指令し得る。
[00104]いくつかの実施形態では、取り込まれた画像は、１つまたは複数の画像に関連付けられているディスクリプタを決定し、構造４２７、軌跡４１０の外部３Ｄ構造エンベロープを決定するためにＣＶＭ１５５によって処理され、および／または本明細書で開示される実施形態と一貫する形で他の情報を取得するために処理され得る。いくつかの実施形態では、取り込まれた画像は、サーバと特徴ディスクリプタに送信されるものとしてよく、取り込まれた画像に相関する測定値の処理は、サーバで実行されるものとしてよく、これは、絶対座標に位置合わせされた閉ループ軌跡および／または絶対座標に位置合わせされた外部３Ｄ構造エンベロープなどの結果をＵＥ１００に返すことができる。いくつかの実施形態では、ユーザの軌跡は、以前に写真に撮られていた視覚的特徴に戻ることによってドリフトを考慮するように補正され得る。次いで、「閉ループ」軌跡が決定され、ドリフトを補正するために使用され得る。絶対座標に位置合わせされた構造４２７の外部３Ｄ構造エンベロープは、補正された、および／または閉ループの軌跡に基づき決定され得る。たとえば、いくつかの実施形態では、取り込まれた画像および測定値は、ＵＥ１００上のアプリケーション４００を使用して処理され得る。
[00105]画像、ワイヤレス（たとえば、ＳＰＳおよびセルラー）測定値および／または非ワイヤレス（たとえば、ＩＭＵ１７０およびセンサバンク１８５）測定値の収集後、ユーザは、アウトドアロケーション４３０から小売店４５０に入るものとしてよい。
[00106]図５Ｂは、インドアナビゲーションシステムのためにターゲットを作成する例示的なアプローチを示す、小売店４５０の簡略化された俯瞰図を示している。ターゲットは、突出した視覚的特徴であり、これは、通路標識４６０、建物に入るための通路４７０および／または窓４７５、縁、コーナーポイント、などの潜在的に外部から見える特徴を含み得る。
[00107]図５Ｂに示されているように、小売店４５０のマップが、ＵＥ１００から受信された入力を使用して生成され得る。ＵＥユーザ（たとえば、店長）は、小売店４５０のマップを作製するためのデータを収集し得る。いくつかの実施形態では、ＵＥ１００上のＭＭ１５２などのマッピングアプリケーションは、通路標識４６０−１から４６０−８、建物に入るための通路４７０、窓４７５、および／または頭上照明装置の他の外部から見える特徴、縁、コーナーポイント、画像などの画像を取り込むことをユーザに指令し得る。
[00108]たとえば、ユーザは、モバイルデバイスを携え歩いて店舗内を通り、ユーザによって横断される可能性の高いロケーションを通過するか、または付近を通る経路を４３５を辿るものとしてよい。図４Ｂに示されている、経路４３５は、単に例として用意されているだけである。いくつかの実施形態では、ＭＭ１５２は、ユーザが辿るべきより完全な経路を提案し得る。たとえば、いくつかの実施形態では、ＭＭ１５２は、一連の閉ループで店舗４５０を横断することをユーザに指令し得る。一実施形態では、ユーザは、各交差点で一方向に曲がるように指令され得る。たとえば、ユーザは、各交差点で右に（右手の法則）、または各交差点で左に（左手の法則）曲がって、一連の閉ループにおいてロケーションの横断が生じる確率を高めるよう指令され得る。経路４３５の横断中に、ＵＥ１００／ＭＭ１５２は、ＬＡＤＭ１５８（ロケーションアシスタンス情報がそのロケーションに対して利用可能である場合）、ＣＶＭ１５６（取り込まれた画像の処理に関連して）、および／またはＰＤＭ１５６（たとえば、ＵＥ１００の推定されたロケーションを決定するため）から入力を受信し得る。
[00109]いくつかの実施形態では、ＵＥ１００／ＭＭ１５２は、カメラ１８０、ＩＭＵ１７０、および／またはセンサバンク１８５からのタイムスタンプが付けられた視覚および慣性情報を利用して、店舗を通るユーザの移動を追跡し得る。たとえば、ユーザの移動を追跡するために、店舗のタイムスタンプが付けられた画像がＩＭＵ１７９および／またはセンサバンク１８５からのタイムスタンプが付けられた測定値と併せてカメラ１８０によって取り込まれ得る。いくつかの実施形態では、タイムスタンプは、測定値を相関させ、および／または信号／測定停止間にタイムスティッチングするのに使用され得る。たとえば、ワイヤレス測定値が時刻ｔ１からｔ２において利用不可能である場合に、ＩＭＵ１７０による測定値が使用され、一部は、それにより、時刻ｔ１で決定されたＵＥ１００のＳＰＳベースのロケーションを使用してｔ１からｔ２の時間間隔においてＵＥのロケーションを決定し得る。さらに、カメラ１８０によって取り込まれた画像および／またはセンサバンク１８５による測定値および／または他のワイヤレス測定値は、タイムスタンプに基づき、ＩＭＵ１７０による測定値と相関させられ、ＩＭＵ１７０のバイアスを補正するために使用され、および／またはロケーション／軌跡が、本明細書で開示される実施形態と一貫する形でＩＭＵ１７０を使用して決定され得る。いくつかの実施形態では、追跡は、取り込まれた画像と、画像の取り込みと同期されているＩＭＵ測定値とを使用して実行され得る。
[00110]いくつかの実施形態では、経路４３５は、ＵＥ１００がＳＰＳベースの測位を使用してマッピングアプリケーションによって提供されるロケーション情報がＳＰＳ受信機１４０によって提供される絶対座標系に固定されることを可能にすることができるロケーション（店舗４５０のちょうど手前または窓４７５の近くのロケーション４３０など）も含み得る。たとえば、いくつかの実施形態では、ＭＭ１５２は、ＳＰＳ信号が利用可能であるロケーションでマッピングを開始するものとしてよく、測定値に関連付けられているタイムスタンプに基づく測定セットをタイムスティッチングすることによって、および／またはタイムスタンプが付けられた取り込まれた画像を使用することによって様々な時刻にＵＥ１００のロケーションを決定し得る。
[00111]いくつかの実施形態では、経路４３５を横断しているときに１つまたは複数の地点（たとえば、窓４７５の近く）で正確なＳＰＳ信号が利用可能である場合、ＭＭ１５２は、追加のＳＰＳベースのＵＥロケーションを決定するものとしてよく、これは、その正確さ、見える衛星の個数、またはキャリア位相の利用可能性に基づき追加の、もしくは新しいアンカーとして使用され得る。
[00112]ユーザが歩いて小売店４５０内を通るときに、様々なターゲットが指定され得る。指定は、望まれている機能に応じて、自動的におよび／または手動で行われ得る。図示されている例において、通路標識４６０（標識４６０−１から４６０−８を含む）は、ターゲットとして指定されている。たとえば、ＭＭ１５２は、店長が通路標識の画像を取り込み、それをターゲットとして指定するのに使用するユーザインターフェースを含み得る。手動による指定は、ターゲット１１０を指定する人が、ターゲット１１０は変化する可能性がないということを知っている事例において役立ち得る（それによって、その後、視覚ベース測位（ＶＢＰ）システムへのターゲットとして認識可能であることを確認するのを補助する）。
[00113]いくつかの実施形態では、ＵＳ１００によって収集されたデータは、サーバに送信され、その後顧客による使用のために小売店４５０のマップを構築することができる。たとえば、ターゲット１１０のタイムスタンプが付けられた画像および画像が取り込まれた時点のＵＥ１００のポジションに関連するタイムスタンプが付けられた測定値は、サーバに送信され、ターゲットの各々についてディスクリプタを構築し得る。ディスクリプタは、たとえば、ターゲット上の特徴点を含み得る。画像ディスクリプタは、スケール不変特徴変換（ＳＩＦＴ）、スピードアップロバストディスクリプタ（Speeded-Up Robust Descriptor）（ＳＵＲＦ）などの形をとるものとしてよく、これらは当技術分野においてよく知られている。決定された／記憶された画像ディスクリプタは、ＵＥの姿勢を決定するために画像または物体検出器によって後の時点において利用され得る。
[00114]いくつかの実施形態では、ＵＥ１００は、経路４３５に対応する初期軌跡を決定し得る。たとえば、一実施形態では、軌跡は、ＵＥ１００の姿勢および／またはＥＫＦ４０５によって出力されるような特徴点の３Ｄロケーションに基づき決定され得る。いくつかの実施形態では、初期軌跡および／または画像および／または他の測定値は、ＵＥ１００にワイヤレス方式で結合されたサーバに送信され得る。サーバは、ＵＥの初期ロケーション４３０および絶対座標に位置合わせされた構造の利用可能な外部３Ｄエンベロープの知識を使用してインドアマップを決定し得る。たとえば、サーバは、ｉ）軌跡を以前に決定された構造の利用可能な３Ｄ外部エンベロープにアラインメントするためにドア、窓などの外部から見えるインドア特徴、またはｉｉ）インドアマップを生成するために利用可能な３Ｄ外部エンベロープとともに、取り込まれた画像内の構造の付近の内部で見える外部キーポイントのうちの１つまたは複数を使用し得る。たとえば、構造の付近のキーポイントの知識は、軌跡４１０に沿って画像を取り込むときなどに、外部マッピングフェーズで取り込まれた画像に基づき利用可能であり得る。
[00115]たとえば、店舗のマップが生成された後、画像ディスクリプタが、ロケーションアシスタンスデータとして顧客に提供され、それにより、ターゲット認識を円滑にし、ＩＭＵ１７０に対するドリフト／バイアス補正を実行し得る。いくつかの実施形態では、ＵＥ１００上で利用可能な機能に応じて、マップは、タイムスタンプが付けられた画像と、タイムスタンプが付けられたワイヤレス（たとえば、ＳＰＳまたはセルラー）測定値および非ワイヤレス（たとえば、ＩＭＵ１７０またはセンサバンク１８５）測定値とに基づきＵＥ１００上に構築され得る。
[00116]小売店４５０を横断しマップ作成のためのデータを収集するときに、決定されたロケーション（たとえば、ＥＫＦ４０５によって出力されるＵＥ１００の姿勢）は、ドリフトの影響を受けやすい。たとえば、１％のドリフト誤差では、１００ｍの経路長は、結果として、約１ｍのドリフトを引き起こす。ドリフト誤差を補正するために、ループ閉検出（ＬＣＤ）およびグローバルバンドル調整（ＧＢＡ）が、ＵＥ１００／ＭＭ１５２によって収集されたデータおよび／またはユーザがデータの収集を完了した後にＥＫＦ４０５によって出力されるＵＥ１００の姿勢に関して実行され得る。いくつかの実施形態では、ＬＣＤおよびＧＢＡは、サーバ（たとえば、マップを作成するサーバ）上で実行され得る。たとえば、ＵＥ１００は、収集されたデータおよび／または推定された軌跡を、ＬＣＤタスクとＧＢＡタスクとを実行し得る、サーバに送信するものとしてよい。しかしながら、ＵＥ１００上で利用可能な機能に応じて、ＬＣＤおよびＧＢＡの１つまたは複数が、ＵＥ１００上で実行され得る。
[00117]いくつかの実施形態では、ＬＣＤは、画像中の以前に見られた特徴を識別してドリフトを決定し得る。ＵＥ１００／ＭＭ１５２によって収集されたデータを使用して、ＣＶＭ１５５は、カメラ１８０によって取り込まれた画像からの特徴情報を使用して、共通の特徴情報を有するエリア４４０を決定し得る。たとえば、座標の第１のセットは、第１の画像内の第１の静止している特徴について、カメラ姿勢と第１の画像に関連付けられている測定値とに基づき決定され得る。第１の静止している特徴は、カメラによって取り込まれ、座標の第２のセットに関連付けられているその後の画像において識別され得る。特徴に関連付けられているロケーションは変化していないので、ＬＣＤアルゴリズムが、ＵＥ１００の軌跡上のドリフトを決定することができる。たとえば、ＬＣＤアルゴリズムは、座標の第１のセットを同じ特徴のその後の参照に割り当てることによって「ループを閉じ」得る。次いで、ＧＢＡアルゴリズムが、初期軌跡（経路４３５に対応する）からのドリフト誤差を軽減するか、または排除するために測定値を補正し、アラインメントし、小売店４５０のマップを導出するために使用され得る、更新された「閉ループ」軌跡（これも経路４３５に対応する）を計算するために使用され得る。
[00118]簡略化された一例として、ユーザが最初に店舗４５０内のロケーション４４０−１を横断したときに、ＵＥ１００上のＣＶＭ１５５は、ロケーション４４０−１に関連付けられている第１の取り込まれた画像内の第１の特徴をマークして、第１の特徴に関連付けられている第１の推定されたロケーションを決定し得る。たとえば、第１の特徴点は、座標（ｘ１，ｙ１，ｚ１）に関連付けられ得る。ユーザがエリア４４０−１を再び通過し、第２の画像内の第１の特徴を取り込むときに、特徴に関連付けられている座標は、（ｘ２，ｙ２，ｚ２）と推定され得る。同様に、エリア４４０−２に関連付けられている第２の特徴は、第１の通過のときに座標（ｘ３，ｙ３，ｚ３）、および第２の通過のときに座標（ｘ４，ｙ４，ｚ４）に関連付けられ得る。静止している特徴に関連付けられている座標における差は、ドリフトに起因するものであるとしてよい。ドリフトが連続的に発生するので、軌跡全体が補正されるものとしてよい。
[00119]一実施形態では、ユーザがデータの収集を完了した後に、経路４３５に関連付けられている推定された軌跡などのロケーション４４０−１と４４０−２とに関連付けられている特徴情報は（他のすべてのデータとともに）がサーバに提供され得る。サーバは、ＬＣＤアルゴリズムを実行し、店長が２回通ったエリア４４０−１と４４０−２とを識別し、座標（ｘ１，ｙ１，ｚ１）および（ｘ２，ｙ２，ｚ２）が第１の特徴に対応し、座標（ｘ３，ｙ３，ｚ３）および（ｘ２，ｙ２，ｚ２）が第２の特徴に対応していると決定し得る。したがって、ＬＣＤプロセスは、座標（ｘ１，ｙ１，ｚ１）を第１の特徴の第２の参照に、（ｘ３，ｙ３，ｚ３）を第２の特徴の第２の参照に割り当てることによってループを閉じることができる。ドリフトは、最初に推定された軌跡上で生じるものと見なされ得る。
[00120]次いで、ドリフトを補正し、経路４３５に関連付けられている閉ループ軌跡を決定するためにグローバルバンドル調整が使用され得る。たとえば、閉ループ軌跡は、ドリフトを軽減するように調整されたＵＥロケーションを反映するものとしてよい。閉ループ軌跡は、一部は、店舗４５０のマップを決定するために使用され得る。
[00121]マップが作成された後、それはＵＥ１００上の１つまたは複数のアプリケーション（たとえば、ＮＭ１５４）に提供されるか、または利用可能にされ得る。マップは、小売店４５０をナビゲートするために使用され得る。さらに、マップを使用するときに、顧客のモバイルデバイスのロケーションは、上で概略が述べられている技術を使用して追跡され得る。推定されたロケーションが、ナビゲーション時にドラフトし得るけれども、ＵＥ１００のロケーションは、ＮＭ１５４（またはＣＶＭ１５５）が例示的なターゲット４６０−１から４６０−８などの、以前に記憶されたターゲットを検出しようとしまいと補正され得る。たとえば、ＣＶＭ１５５における画像または物体検出アルゴリズムは、上で説明されている形でドリフトを補正するためにカメラ／ＵＥ姿勢をもたらし得る。
[00122]望まれている機能に応じて、マップは、様々な追加の特徴のうちのどれかを含み得る。たとえば、マップは、間取図を組み込むものとしてよく、製品配置、日替わりの特別品、および同様のもので強化され、ユーザが小売店４５０をナビゲートするときのユーザエクスペリエンスを高めることができる。
[00123]いくつかの実施形態では、マップ構築フェーズにおいてＵＥ１００によって決定されるようなＷｉ−ＦｉまたはＷＬＡＮアクセスポイント（ＡＰ）の識別情報およびロケーションが決定され、および／または記憶され得る。いくつかの実施形態では、ＡＰの知られているロケーション（たとえば、ナビゲーション時のマットデータからの）も、ＵＥ１００のロケーションの推定を取得するために使用され得る。たとえば、受信信号強度指示（ＲＳＳＩ）、ラウンドトリップタイム（ＲＴＴ）、および／または他のＡＰワイヤレス信号測定値）などのＷＬＡＮ測定値は、店舗４５０内のＵＥ１００の推定されたロケーションを決定するために使用され得る。いくつかの実施形態では、推定されたロケーションは、ターゲットの探索を推定されたロケーションの付近にあるものへの検出に制限することによってターゲット検出に関係する処理負荷を低減するために、ＶＢＰアルゴリズムによって使用され得る。そのような機能は、たとえば、顧客が、小売店３００に入った後のある時点において店舗マップを使用してナビゲーションアプリケーションを起動するときに有益であり得る。最初はロケーションなしで、ＮＭ１５４は、ＷＬＡＮ測定値に基づき決定された推定されたロケーションを利用することができる。
[00124]たとえば、ＮＭ１５４が、ＵＥが小売店４５０の前の近く（たとえば、エリア４４０−１の近く）に配置されていると決定した場合に、ＮＭ１５４は店舗４５０の前の近くのターゲット４６０−１、４６０−３、４６０−５、または４６０−７上で、またはそれ以上と遭遇し得る可能性が高い。しかしながら、ＮＭ１５４は、店舗４５０の裏でターゲット４６０−２、４６０−４、４６０−６、または４６０−８のどれかを検出し得る。したがって、そこでＮＭ１５４は、それの現在のロケーションに基づき特徴を探索するときに考慮からターゲット４６０−２、４６０−４、４６０−６、または４６０−８を排除することができる。
[00125]図５Ｂに関連して上で説明されている技術は、また、図５Ａでアウトドアマッピングと併せて使用され得る。たとえば、閉ループ軌跡は、一部は、以前に撮像され、記憶されている特徴に関連付けられているロケーションに基づき経路４１０（図５Ａ）について上で概略が述べられているように決定され得る。
[00126]図６Ａは、ワイヤレスマップ生成のための例示的な方法５００の流れ図を示している。いくつかの実施形態では、方法５００は、ＵＥ１００によって実行されてもよい。いくつかの実施形態では、方法５００の一部は、ＵＥ１００および／またはサーバ１５０によって実行されてもよい。ステップ５１０において、ＵＥ１００はマッピングモードに入ることができる。
[00127]「マッピングモード」では、ＵＥ１００は、連続的なＧＮＳＳと、カメラおよび慣性データと、他のセンサデータとを比較的高速に収集することができる。さらに、マッピングモードでは、ＲＦ測定値、ＧＮＳＳ測定値、および慣性、磁力計、高度計、および／または気圧センサからのデータなどのセンサ測定値は、画像の取り込みと連動して取り込まれ得る。マッピングモードでは、少なくとも１つまたは複数のＳＰＳ衛星２８０に対して見通し線（ＬＯＳ）条件が存在する限り、視覚的走行距離計測プロセスに対するさらなるアンカーを提供し、ＵＥクロック状態を安定化させるために、連続的キャリア位相観測値（スマートフォンにおいて通常見られる「ポジション出力」とは反対に）などの実際のＧＮＳＳ測定データが使用され得る。
[00128]非見通し線（ＮＬＯＳ）条件は、様々な時点に１つまたは複数の衛星に対して存在し得るが、ＬＯＳ条件がそれらの時点において他の衛星に対して存在する場合には、ＬＯＳ衛星のキャリア位相観測は、一緒にスティッチングされ得る。たとえば、図６Ｂに示されているように、時刻Ｔ０において、軌跡４１０を辿るときに、ＵＥ１００は、ＳＶ２８０−１と２８０−２と、アンテナ２４０−１とからＬＯＳ信号を受信し得るが、ＳＶ２８０−３と、アンテナ２４０−３と、ＡＰ６２０−１とから受信された信号は、ＮＬＯＳであってよい。さらに、その後の時刻Ｔ１、および軌跡４１０上の異なるロケーションにおいて、ＵＥ１００は、ＳＶ２８０−３とアンテナ２４０−３とからＬＯＳ信号を受信し得るが、ＳＶ２８０−１および２８０−２と、アンテナ２４０−１と、ＡＰ６２０−１とから受信された信号は、ＮＬＯＳであってよい。
[00129]したがって、様々な時刻においてＳＶ２８０−１、２８０−２、および／または２８０−３のうちの１つまたは複数に関してＬＯＳ条件が存在する場合、ＬＯＳ衛星のキャリア位相観測は、一緒にスティッチングされ得る。キャリア位相観測値（サイクルスリップと称されることが多い）の短時間の停止があるか、または非ＬＯＳ（ＮＬＯＳ）条件が存在する場合に、慣性センサ、気圧センサ、磁力計、および／または画像ベースの走行距離計測の組合せからのデータが、その停止の間に「スティッチング」し、ＵＥポジションを決定するために使用され得る。
[00130]次いで、図６Ａを参照すると、ステップ５１５において、ＵＥの６−ＤＯＦ軌跡は、ＳＰＳ／ＧＮＳＳとセンサ測定値との組合せに基づき決定され得る。たとえば、慣性スティッチングは、慣性軌跡ドリフトがあるしきい値よりも小さい（たとえば、ＧＰＳ Ｌ１波長の半分よりも小さい）ときに使用され得る。
[00131]ステップ５２０において、３Ｄ建物エンベロープ（または外部３Ｄ構造エンベロープ）および／または外部３Ｄマップは、取り込まれた画像と、ＩＭＵ１７０による測定値と、センサ１８５による測定値と、ワイヤレス（ＳＰＳおよび／またはＲＦ）信号測定値とに基づき取得され得る。いくつかの実施形態では、ユーザは、構造（構造４２７など）を視野内に保ちながら近接するランドマーク、構造、建物の張り出しなどの画像を取り込むように指令され得る。「建物エンベロープ」という用語は、建物の内部環境と外部環境との間の物理的仕切りとして働く建物／構造の外殻を指す。いくつかの実施形態では、一部は建物エンベロープを決定するためにＭＷ仮定が使用され得る。
[00132]ステップ５２５において、ＵＥ１００の閉ループ軌跡が決定され得る。たとえば、いくつかの事例において、複数の衛星に対してＬＯＳ条件が存在し、それによって同時の複数のキャリア位相観測が可能である場合に、慣性軌跡は、安定化され得る。たとえば、ユーザ／ＭＳは、データ収集時に以前に写真を撮られた視覚的特徴に戻るように指令され得る。２つの画像に対するカメラ姿勢は、たとえば、ＶＳＬＡＭ技術を使用して計算され得る。２つの画像に関連付けられているカメラ姿勢に基づき、ＩＭＵ（ジャイロおよび加速度計の誤差）は、軌跡が（明白な誤差なしで視覚的特徴に戻るように再推定されるようにモデル化され得る。この閉ループ軌跡は、３つの次元のポジション不確実性と、３つの次元の回転不確実性と、追加の「次元」の受信機クロックバイアスを指示する自由度７（７−ＤＯＦ）を有するものとして見なされ得る。受信機クロックバイアスは、ＧＮＳＳと、ＷＷＡＮと、ＷＬＡＮ ＲＴＴとに関連付けられているものなどのワイヤレス測距測定値を関係付けるときに有用であり、１ｎｓのオーダーの計時誤差は、１フィートのオーダーの測距誤差に翻訳される。ＧＮＳＳ衛星に対するＬＯＳ条件において、補正されたキャリア位相測定値は、１ｃｍのオーダーの精度を有し得るが、未知の積分定数を有する。この積分定数は、運動学的キャリア位相処理技術において知られている多数の技術によって決定され得る。絶対積分定数を知ることなく、軌跡上のキャリア位相の変化は、軌跡上の正確なＵＥポジションとクロックバイアスプロファイルとを決定するのに役立つことは理解されるであろう。軌跡上の正確なＵＥポジションおよびクロックバイアスプロファイルは、高い精度で正確なワイヤレス遅延マップの作成を行ううえで重要である。
[00133]多くの場合において、数メートルのオーダーの絶対誤差が残り得るが、ワイヤレスマルチパス変動による歪みは、効果的に軽減され、正確な軌跡、およびしたがって、複数の正確に関連付けられているマップレイヤを有する正確なマップをもたらすことができ、関連付けはすべて、マッピング時に構造の正確なポジションが１メートル以上よいことが知られていない場合でも、１メートル以上正確であるものとしてよい。次いで、デバイスがＧＮＳＳ信号に対するＬＯＳ内にある間、ＩＭＵセンサを連携して較正するだけでなく、ＷＷＡＮ、ＷＬＡＮ、気圧センサ、および磁力計などの他の測定値ソースのより大きいバイアスと安定性とを決定するために使用することができる非常に精度の高い軌跡を作成することが可能である。
[00134]次いで、ステップ５３０において、いくつかの実施形態では、３Ｄ建物エンベロープは、再推定された７−ＤＯＦ軌跡に基づき再決定され得る。いくつかの実施形態では、建物エンベロープを決定するためにＭＷ仮定が使用され得る。たとえば、大半の壁が鉛直であり（完全に垂直であり）、９０度の角度で交わると仮定され得る。したがって、この方法では、建物の初期の「開ループ」３Ｄフォトモデルは、矩形の壁に合わせて調整され、垂直にアラインメントされ得る。壁は、また、垂直であるか、または平行であると仮定され得る。次いで、ＵＥ１００の軌跡は、この調整された３Ｄフォトモデルと突き合わせて視覚的走行距離計測データから再計算され得る。次いで、ステップ５３５において、建物のポジションは、一部は、ＧＮＳＳ擬似距離測定値を使用することによって、グローバル座標に位置合わせされ得る。いくつかの実施形態では、構造の外部エンベロープは、屋根の張り出しまたは他の特徴の局所的なビューと組み合わせた頭上画像に基づき調整され得る。
[00135]次いで、ステップ５４０において、再推定された軌跡は、グローバル座標に位置合わせされ得る。いくつかの実施形態では、マルチパス、衛星ポジション、衛星クロックドリフト、残留電離層および対流圏信号遅延などの理由から生じた擬似距離測定誤差は、差分法を使用して軽減されるものとしてよく、衛星ポジションおよびクロック、電離層活動、ならびに対流圏湿潤遅延などに対するより正確なモデルが、誤差の軽減のために使用され得る。さらに、キャリア位相観測値が同時に利用可能である範囲で、マルチパス誤差は、符号キャリア平滑化を使用して低減されるものとしてよく、大きな符号キャリア分散のある測定値は、しかるべく加重され得る。
[00136]いくつかの実施形態では、浮動または固定（解決）のいずれかのキャリアサイクル曖昧性を有するデバイス軌跡推定値をさらに改善するためにキャリア位相差分ＧＮＳＳ処理が使用され得る。キャリア位相差分ＧＮＳＳ処理は、典型的には、グローバル座標系に位置合わせされている知られているベンチマークロケーションにおいて付近の基準受信機を使用する。この場合、残留大気誤差は大幅に相殺し、サイクル曖昧性が解決され得る。
[00137]代替的実施形態において、デバイス軌跡は、視覚的走行距離計測を使用して一緒にスティッチングされ、それにより、時間の経過とともに合成キャリア位相差分プロセスを形成し得る。衛星関係の誤差および大気誤差は、比較的ゆっくりと変化するので、ローカルマップの精度は、差分処理なしで最初に維持されるものとしてよく、差分処理は、その後、適切な基準データが利用可能になったときにマップ位置合わせおよび明確化のために追加され得る。基準データは、実際の衛星ポジション、方位、およびクロックオフセットの観測値を含み得る。
[00138]いくつかの実施形態では、衛星方位は、広域衛星キャリア位相補正が決定され適用されるように衛星アンテナの位相パターンを考慮しながら決定され得る。衛星方位または信号位相変動を引き起こす他の要因が、衛星アンテナ位相補正あり、またはなしで、地上基準受信機ネットワークを使用して決定される場合、結果として得られる「差分補正」は、マップ処理において使用するためにローカライズされ得る。
[00139]いくつかの実施形態では、ステップ５４５において、センサからマッピングモードで得られた測定値も、１つまたは複数の既存のマップを生成し、および／または更新するために使用されるものとしてよく、これはサーバ２５０上に記憶され得る。これらのマップは、アウトドア２Ｄロードマップまたは間取図、３Ｄナビゲート可能特徴データベースを含み得る、フォトマップ、様々なロケーションにおいて１つまたは複数のアンテナに対する信号強度を指示し得る、ヒートマップ、および／または様々なロケーションにおいてアンテナに対する信号遅延を指示し得る、空間的可変ＦＬＣマップのうちの１つまたは複数を含み得る。いくつかの実施形態では、マップのうちの１つまたは複数は、異なるレベルのポジション粒度で既存のマップレイヤにおいて測定値として記憶され、および／または測定値と集計され得る。「マップレイヤ」という用語は、本明細書で使用されるときに、ＵＥのポジションとポジション不確実性とに合わせて調整された、ロケーションアシスタンス情報などの情報を指す。各測定タイプについて異なるマップレイヤがあり得、すべてのマップレイヤは、同じ局所または絶対座標に対して位置合わせされ得る。たとえば、注目する各ワイヤレス信号について、遅延、信号強度、または減衰マップレイヤのうちの少なくとも１つがあり得る。気圧変化注釈レイヤがあり得る。磁場変化レイヤがあり得、標準の地球磁場モデルに対する局所的補正をもたらす。
[00140]いくつかの実施形態では、マッピングモードのときに、ＵＥ１００は、ロケーションアシスタンス情報を要求し、および／または受信して、初期ロケーション推定値を決定するものとしてよく、これはマップレイヤの形態でも提供され得る。たとえば、第１のＦＬＣ値を備えるロケーションアシスタンス情報は、ＵＥ１００の推定された第１のポジションとポジション不確実性とに基づきＵＥ１００に第１のマップレイヤにおいて提供され得る。ＵＥ１００のポジション／ポジション不確実性が、以前に提供されたロケーションアシスタンス情報に基づき精緻化されるか、または再推定されるときに、精緻化されたポジション推定値／ポジション不確実性に基づくＦＬＣ値が、別のマップレイヤから取り出されて、ＵＥポジションのより正確な結果を円滑にし得る。
[00141]一般に、マップレイヤは、様々な他のタイプの情報を備え得る。たとえば、マップレイヤは、受信信号強度をマップロケーションに相関させる受信信号強度マップレイヤと、信号対雑音比（ＳＮＲ）をマップロケーションに相関させるＳＮＲマップレイヤと、見通し線条件（ＬＯＳ）が１つまたは複数のアンテナに関して可能性が高いマップロケーションを示すＬＯＳマップレイヤと、非見通し線マップレイヤとのうちの１つまたは複数を備えることができ、ＮＬＯＳマップレイヤは、ＮＬＯＳ条件またはボディブロックド（body blocked）条件が１つまたは複数のアンテナなどに関して可能性が高いマップロケーションを示す。
[00142]いくつかの実施形態では、マップレイヤは、ＢＳＡ内のロケーションについてアンテナのマルチパスの範囲の表示を提供するために、少なくとも１つのマルチパスレイヤをも備えることができる。さらに、一実施形態では、マルチパスレイヤは、除外ゾーン、マルチパスの大きさの表示、および／もしくは長シャドウ領域内のアンテナの信号減衰レベルを備える、アンテナの長シャドウ領域を示すための長シャドウレイヤ、または短シャドウ領域内のアンテナ信号のタイミング粒度情報を備えるアンテナの短シャドウレイヤ領域を示すための短シャドウレイヤ、またはアンテナの少なくとも１つのカバレージエリア内の一意の送信パターンを示すための送信するパターンレイヤのうちの少なくとも１つをさらに備え得る。いくつかの実施形態では、ＵＥ１００は、ロケーションとロケーション不確実性とを推定するために１つまたは複数のマップレイヤ内の情報を使用することができ、ロケーションとロケーション不確実性とに基づいて、追加のマップレイヤを要求することができる。いくつかの実施形態では、ＵＥ１００のロケーション／ロケーション不確実性に基づき複数のマップレイヤがＵＥ１００に提供され得る。一般に、マップレイヤを備えるロケーションアシスタンス情報は、ＵＥ１００との通信に使用されるプロトコルと、通信に利用可能な帯域幅と、信号状態と、コストと、通信と、ＵＥ１００において利用可能なメモリおよび／または処理機能と、様々な他のパラメータとに基づきＵＥ１００に提供され得る。
[00143]同様に、ＵＥ１００から測定値が受信されたときに、既存のマップレイヤを生成し、および／または更新するためにそれらの測定値が使用され得る。たとえば、新しい測定値が、１つまたは複数のマップレイヤを決定するために使用される１つまたは複数のより古い測定値を置き換えることができる。たとえば、ある期間よりも古い測定値、および／または１つもしくは複数のマップレイヤ内の信頼できない、または不正確であると見なされる測定値（たとえば、現在の測定における推定値を超えるポジション不確実性推定値を有する）が更新され得る。いくつかの実施形態では、新しい測定値は、より古い測定値と集計され得る。たとえば、統計的に有意であるときに、平均、中央値、および／または他の統計的尺度が、その測定値を既存の測定値とを集計することによって計算され、１つまたは複数の更新されたマップレイヤを生成し得る。提供されるマップレイヤの適時性と、精度と、正確さとを維持するために適切なバージョン管理メカニズムが必要とされることは理解されるであろう。
[00144]図７Ａは、構造５２７内の移動局とともにユーザを示している。図７Ｂに示されているように、カメラ１８０によって取り込まれ、モール内のＵＥ１００上のディスプレイ１９０に表示される画像６４０は、注目する地点６１０および６３０などの１つまたは複数の店舗標識を示すものとしてよく、これらは図７Ａに、店舗「ＡＢＣ ＢＯＯＫＳ」および「ＰＱＲ ＳＨＯＥＳ」として示されている。構造５２７において、ＵＥ１００は、ＳＶ２８０のうちの１つまたは複数から信号を間欠的に受信することができるものとしてよい。しかしながら、アクセスポイント（ＡＰ）５２０からの信号が、利用可能であり得る。たとえば、ＡＰ６２０−１および６２０−２は、構造５２７の内側に展開されたＷＬＡＮネットワークに対するアクセスポイントであってよく、ＵＥ１００にアクセス可能であり得る。しかしながら、上で説明されているように、いくつかの事例において、ＵＥ１００は、構造５２７にあるときに間欠的にのみＳＶ２８０および／またはアンテナ２４０−１および２４０−２から信号を受信し得る。
[00145]いくつかの実施形態では、ユーザがマッピングモードにあるＵＥ１００とともに構造５２７内のインドロケーションを横断するときに、上で詳しく説明されている画像および他のセンサデータは、収集され続けるものとしてよい。いくつかの実施形態では、ユーザは、絵画、標識、部屋番号、様々な他のマーカー、および／または「コーナーポイント」などの特徴地点の画像を取り込むように指令されるものとしてよく、これはロケーションを一意に識別するのに使用され得る。たとえば、ユーザは、それぞれ店舗標識「ＡＢＣ ＢＯＯＫＳ」と「ＰＱＲ ＳＨＯＥＳ」とに対応する注目する地点６１０と６３０とを取り込み得る。いくつかの実施形態では、ＳＬＡＭ／ＶＳＬＡＭ技術は、ロケーションアシスタンスデータおよび他の測定値（たとえば、ワイヤレス測定値および／またはセンサ測定値）と併せて使用され、それにより、一部は、取り込まれた画像内の注目する地点６１０および６３０などの特徴地点を使用してカメラ姿勢を決定することによってマップを取得することができる。いくつかの実施形態では、ＥＫＦベースの技術は、ユーザ／ＵＥが辿るロケーション／軌跡を決定するために使用され得る。
[00146]図６Ａを参照すると、いくつかの実施形態では、ステップ５５０において、インドアエリアの横断時に取り込まれたカメラ１８０によって取り込まれた画像、ＩＭＵ１７０による測定値、センサ（気圧計／高度計／磁力計を含む）１８５による測定値、ＲＦ測定値、および／またはＳＰＳ測定値（もしあれば）を含む、データは、ＵＥ１００によって処理され、および／またはサーバ２５０に送信され、それにより、ＵＥ１００の７−ＤＯＦインドア軌跡を決定し得る。
[00147]ステップ５５５において、インドアエリアの３Ｄモデルおよび／またはマップは、他のセンサ測定値と併せて取り込まれた画像から生成され得る。たとえば、高度計測定値、磁力計測定値、気圧測定値、およびＩＭＵ測定値は、一部は、インドアマップを生成するために、および／または生成されたマップの信頼性の指標として使用され得る。さらに、１つまたは複数のＡＰが利用可能である事例において、ラウンドトリップタイム（ＲＴＴ）および／または受信信号強度インジケータ（ＲＳＳＩ）を含むＲＦ測定値は、ＡＰ６２０−１および６２０−２（図６Ａの）などのＡＰを特徴付けるために使用され得る。いくつかの実施形態では、ＭＷ仮定は、取り込まれた画像からインドアエリアの３Ｄモデルを再構築するために使用され得る。たとえば、ＣＶＭ１５５は、再構築を実行するために使用されるものとしてよく、および／または再構築は、サーバ２５０によってオフラインで実行され得る。
[00148]いくつかの実施形態では、インドアマップの収集は、インドアまたはアウトドアであってもよい、接続された／付近の空間へのポインタにより編成され得る。たとえば、単一の構造に対してマップが取得されるか、または生成されているときに、隣接する構造までの、および／または隣接する構造内へのナビゲーションを円滑にするために、隣接する構造および／または構造ユニットに関する情報が追加され得る。たとえば、高層オフィスビルでは、マップが個別の階に分割される場合、エレベーターシャフトおよび階段の吹き抜けは、各マップ、さらにはユーザが途中で立ち止まり得る各フロアに対するコンテキスト情報に含まれ得る（各ドアの外側のホールのモデル）。「コネクタ」マップは、分離しているか、または各個別マップに重なるレイヤとして提供され得る。
[00149]次いで、ステップ５６０において、ステップ５５５で生成されたインドアモデルは、ステップ５３０で決定された建物エンベロープと位置合わせされ／アラインメントされ得る。いくつかの実施形態では、画像を外部マップに位置合わせするときに、内部と外部の両方から見えるものとしてよい、窓、ドアなどの、外部から見えるインドア構造特徴が使用され得る。いくつかの実施形態では、各部屋または適切なインド構造ユニットは、個別に解決され、次いで、外部エンベロープにスナップされ得る。
[00150]たとえば、壁は「外部」と「内部」の両方にあるという推論は、その中に窓がある場合になされ得る。その窓は、外側と内側から見たときに、同じ壁の２つの異なるビューをアラインメントするために使用され得る。さらに、壁厚さは、外部ビューにおける窓縁から外側コーナーまでと内部ビューにおける同じ窓縁から関連する内側コーナーまでとの距離の差によって推論され得る。壁厚さは、また、敷居または囲みのビューが容易に利用可能である場合に、窓敷居の深さから推論され得る。多くの場合に、ただしすべてではないが、構造のすべての外壁は、事実上同じ厚さを有する。したがって、これがその場合であると仮定するが、必要に応じて、その仮定をチェックし、データに例外がないか調べて、インドアマップを作製することが可能であり得る。複数の方法が外壁厚さを決定するために使用され、１つの方法のみが使用された場合に比べてより正確な尺度を形成するために組み合わされ得る。壁厚さが知られた後、内面と外面の両方を有する壁は、正確に位置合わせされ、アラインメントされるものとしてよく、それにより、より高い内部整合性をもたらし、インドアマップとより正確に導出された外部殻形状、方位、およびロケーションとの位置合わせを行うことを可能にし得る。
[00151]いくつかの場合において、内壁、すなわち外面を有しない壁は、外壁と異なる厚さを有し得る。ここでもまた、マップモデルにおける最初の通過では、すべての内壁が同じ幅を有すると仮定し得る。たとえば、米国では、内側の非耐荷重性の壁は、２ｘ４のフレームを付けられることが多いが、外壁は、２ｘ６または２ｘ８を使用し得る。さらに、外側羽目板は、外壁にさらなる厚さを加え得る。モデル全体は、複数部屋を一緒に建物マップ内に組み入れ、それらを外壁に「スナップ」して、プロセスにおける外壁厚さと内壁厚さを解決することによって作製され得る。また、与えられた構造内の壁厚さおよび／または構成材料は、隣りと似ているものとしてよいと予想しても妥当である。したがって、第１の構造の壁厚さが知られた後、近接壁厚さは、そうでないことが証明されるまで、同じであると仮定され得るか、または複数の壁厚さが、独立して解決され、次いで比較され得る。当技術分野でよく知られているように、屋根勾配、表面積などを決定する際に、類似のプロセスに従い得る。
[00152]ステップ５６５において、いくつかの実施形態では、ユーザ／ＭＳは、データ収集時に以前に写真を撮られた視覚的特徴に戻るように命令されるものとしてよく、閉ループ軌跡は、ＩＭＵ１７０（たとえば、ジャイロおよび／または加速度計）誤差における誤差を軽減するように決定され、したがって、軌跡は、明白な誤差なしで視覚的特徴に戻るように再推定され得る。いくつかの実施形態では、ユーザは、慣性センサ誤差の効果を最小にするために一連の１つまたは複数の閉ループを使用してインドアエリアを横断することを指令され得る。たとえば、右（または左）手の法則は、すべての交差点において右（または左）に曲がることをユーザに命令することであり、閉ループを形成し、構造の内部が完全に覆われることを保証するために使用され得る。
[00153]次いで、ステップ５７０において、インドアエリアの３Ｄモデルは、ステップ３６５から再推定された閉ループ軌跡に基づき再処理され得る。次いで、いくつかの実施形態では、ステップ３７５において、インドアマップは、その３Ｄモデルに基づき生成され得る。
[00154]いくつかの実施形態では、収集されたデータの全部または一部は、ＵＥ１００上で処理され、および／または処理のためサーバ２５０に送信され得る。いくつかの実施形態では、マップが近接する、および／または取り付けられた構造に対して利用可能である場合、現在の構造および取り付けられた／近接する構造に対するインドア／アウトドアマップは、たとえば、外部画像を使用することによって一緒にスティッチングされ得る。いくつかの実施形態では、付近構造マップへのポインタ／関連付けは、ＵＥ内に、および／またはサーバ上にキャッシュされ得る。いくつかの実施形態では、「スマートメガネ」または他のウェアラブルデバイスが、カメラ付きのＢｌｕｅｔｏｏｔｈヘッドセットなどの電話機に結合されている場合に、スマートメガネ／ウェアラブルデバイス上のカメラが、トリガーされ得る。
[00155]図８は、開示される実施形態と一貫するデータ収集７００をマップする例示的な方法に対する流れ図を示している。いくつかの実施形態では、方法７００は、ＵＥ１００によって実行されてもよい。いくつかの実施形態では、方法７００の一部は、ＵＥ７００および／またはサーバ１５０によって実行されてもよい。いくつかの実施形態では、方法７００の一部は、マッピングモードに入っているときにＵＥ１００によって実行されてもよい。たとえば、方法７００は、ステップ７０５で呼び出されるものとしてよく、ＵＥ１００は、マッピングモードに入るか、またはマッピングモードにされ得る。
[00156]次に、ステップ７１０において、ワイヤレス信号の探索が開始され得る。いくつかの実施形態では、サーバ１５０から要求され、および／または受信されるロケーションアシスタンスデータは、ワイヤレス信号探索の戦略を選択するためにＵＥ１００によって使用され得る。いくつかの実施形態では、ロケーションアシスタンスデータは、ＷＷＡＮ、ＷＬＡＮ、および／またはＧＮＳＳアシスタンスデータを含み得る。ステップ７１２において、ワイヤレス信号探索に関するフィードバックが送られ得る。たとえば、信号は、サービングセルと１つまたは複数の近接ＷＬＡＮセル２４５、１つまたは複数のＧＮＳＳ ＳＶ２８０、および／または１つまたは複数のＷＬＡＮ ＡＰ６２０から受信されるものとしてよく、それらの絶対および／または相対信号強度が留意され得る。
[00157]ステップ７２０において、ＵＥ１００上の１つまたは複数のセンサがアクティブ化され得る。たとえば、カメラ１８０、センサ１８５、および／またはＩＭＵ１７０がアクティブ化され得る。いくつかの実施形態では、センサ１８５および／またはＩＭＵ１７０の測定は、カメラ１８０による画像フレームの取り込みに同期され得る。いくつかの実施形態では、ワイヤレス測位（たとえば、ＧＮＳＳおよび／またはハイブリッド測定に基づく測位）が、ステップ７１０／７１２において取得された信号に基づき利用可能である場合に、ＩＭＵ１７０は、ワイヤレス測位に基づき初期ポジションで初期化され得る。
[00158]いくつかの実施形態では、ＵＥ１００がマッピングモードにされたときに、センサ測定値は、１５ｆｐｓから３０ｆｐｓのビデオフレームレートと併せて、および／またはそれに基づき細かい粒度にされ得る。いくつかの実施形態では、１つまたは複数のセンサは、取り込まれた画像に基づきＣＶ技術を使用して決定されたカメラ姿勢を使用して較正され得る。いくつかの実施形態では、アプリケーションレベルで取得された画像タイムスタンプ、アプリケーションプログラミングインターフェース（ＡＰＩ）から取得されたセンサタイムスタンプ、タイムスタンプ間のオフセット、および／または露光時間に基づくカメラタイムスタンプにおけるジッタのうちの１つまたは複数が、（ｉ）様々なセンサ測定値を相関させること、（ｉｉ）取り込まれた画像をセンサ測定値と相関させること、および／または（ｉｉｉ）測定値をタイムスティッチングすることのために使用され得る。いくつかの実施形態では、センサ測定値を画像と相関させるときに、相対的タイムスタンプまたはオフセットが使用され得る。
[00159]いくつかの実施形態では、ステップ７２２において、ユーザは、ＩＭＵ１７０の較正に関して適宜命令され得る。一実施形態では、ＩＭＵ１７０は、カメラ１８０によって取り込まれた画像を使用して較正され得る。たとえば、ユーザは、カメラをターゲット対象に向け、および／運動シーケンスを実行するように命令され得る。ステップ７２５において、ユーザは、運動シーケンスおよび／または較正の進捗状況に関係するフィードバックを提供され得る。たとえば、コンピュータビジョン（ＣＶ）ベースの技術が、複数の画像に対するカメラ姿勢を取得するために使用され得る。ＩＭＵ１７０は、一部は、複数のフレームの各々に対するＣＶベースの姿勢をフレームに対する対応するＩＭＵ決定姿勢と比較することによって較正され得る。いくつかの実施形態では、ＩＭＵ１７０は、よく知られているＥＫＦ技術を使用してモデル化され得る、ＣＶ測定値をＩＭＵ１７０誤差状態に関係付ける観測方程式を使用して較正されるものとしてよい。
[00160]ステップ７３０において、ＵＥ１００上のアンテナに対するアンテナパターンの決定が開始され得る。いくつかの状況では、アンテナパターン決定は、アウトドアで実行され得る。各アンテナはそれ独自の位相と利得のパターンを有する。ＵＥ１００の方位が知られているときに、アンテナパターンは、ユーザがデバイスを典型的な姿勢で手に持ち、それを１つまたは複数の軸の周りに回転させることで決定され得る。
[00161]したがって、ステップ７３２において、ユーザは、ＵＥ１００に対するアンテナパターン情報が決定されるようにＵＥ１００の運動に関係する命令を与えられ得る。いくつかの実施形態では、ＵＥ１００の運動または移動の実行を円滑にするために、ステップ７３５において、デバイスを移動する方向、および／またはアンテナパターン決定プロセスの完了の程度に関するフィードバックが提供され得る。いくつかの実施形態では、フィードバックは、ディスプレイ１９０上に示されているグラフィカルユーザインターフェース（ＧＵＩ）を使用して提供され得る。
[00162]ステップ７３７において、ＵＥ１００は、アンテナパターン決定が完了していることの指示をもたらすものとしてよく、ＵＥ１００に対するアンテナパターン７３９が生成され得る。いくつかの実施形態では、ステップ７３７において決定されたアンテナパターンは、たとえば、方法５００（図５Ａ）におけるステップ５４０で、軌跡、たとえば、軌跡４１０を辿る過程におけるＵＥ１００の推定される方位に基づき、さらに補正され得る。正確さを増し、残留ＧＮＳＳキャリアマルチパスをさらに軽減するために、軌跡４１０の一部において、観測結果がキャリアマルチパスが慣性軌跡に沿って最も難しいということを指示する場合に、大きく過剰決定された軌跡解決方法が利用可能であることで、残留位相誤差は、マップから外され、取り除かれ、および／または加重を解除され得る。したがって、アンテナパターン補正は、ステップ７３７の完了後であっても、および／または方法５００におけるアウトドア軌跡の決定に関係する１つまたは複数のステップ（たとえば、図５Ａにおける５１５から５４０）の実行と連動して行われ得る。いくつかの実施形態では、アンテナパターンデータ７３９は、その後のＲＦ信号特徴付けに対するアンテナパターンの効果を軽減するために使用され得る。
[00163]ステップ７４０において、ＵＥ１００は、アウトドアエンベロープデータ収集モードにされるものとしてよく、ステップ７４２において、ユーザは、アウトドアデータ収集に関して命令され得る。たとえば、カメラ１８０は、広角モードにされるものとしてよく、ユーザは、インドアでも見えるドア、窓、および他の特徴／構造要素の画像を取り込むように指令され得る。別の例として、ユーザは、屋根張り出しの画像を取り込むように指定されるものとしてよく、それらは、屋根構造の頭上画像と下側からの張り出しの写真との組合せから建物周囲を確立するプロセスにおいて屋根寸法から差し引かれ得る。張り出しは、建物のすべての面で同じであり得るが、常にではない。したがって、モデルは、単一の観測された張り出しが、全周において同じであると仮定し、次いで、マップ決定プロセスにおいて後からこの仮定を補正することができる。同様に、屋根張り出しのいくつかの推定が、単一の外壁に沿ってなされ、平均がとられ得る。したがって、張り出しの長さと屋根勾配の推定だけでなく、これらのパラメータがどれだけよく知られているかも、不確実性パラメータの形で、追跡することが重要である。
[00164]ステップ７４５において、ユーザは、辿る軌跡に関するフィードバックを提供され得る。たとえば、ＵＥ１００のユーザは、連続的軌跡を辿り、構造の最適な距離および／またはビューを維持しながら、すべての面からの構造のビューを取得するよう求められ得る。いくつかの実施形態では、ユーザは、マップされているアウトドア構造を視野内に保ちながら付近の構造、ランドマークなどの画像を取り込むように指令され得る。ユーザは、また、建物のコーナーの完全な範囲、ひさしまたは構造壁の全長、壁と天井との間の縁の全長などの縁全体が一度に見られるようにカメラを向けるよう求められ得る。ユーザは、たとえば、建物または街区の周をぐるりと回り、その開始地点に戻り、慣性ナビゲーションのループを閉じ、軌跡がループの全体に対して正確に追跡されたことを確認するように求められ得る。ユーザは、あまりにも多くの衛星上のロックが失われたか、またはＩＭＵ較正が短い期間を超えて損なわれた場合にバックトラックし、視覚的手段を使用して軌跡を再取得し、ロックが再度得られたことを確認し、次いでそのルート上で継続するように求められ得る。
[00165]ステップ７４７において、アウトドアエンベロープ決定に対する画像取り込みおよび測定プロセスが不完全である場合、ステップ７４０において別の反復が開始され得る。たとえば、ユーザは、軌跡４１０を繰り返して、構造の良好な視覚的ビューをそのまま維持しながら、キャリア位相の連続性を最大化し、および／または特定の困難なマルチパスロケーションを回避するように求められ得る。空の衛星ロケーションは、ロックが失われている、および／または再度得られたときの表現とともに、ユーザに対して表示されるものとしてよく、それにより、ユーザに、どのようにデバイスを手に持ち、ロックを維持しているかに関する高速なフィードバックを提供し得る。
[00166]ステップ７５０において、ＵＥ１００は、インドアデータ収集モードにされるものとしてよく、ステップ７５２において、ユーザは、インドアデータ収集に関して命令され得る。たとえば、ユーザは、標識、ドア、窓、縁、コーナー、または他の独特の特徴などを含む、様々なインドア特徴の画像を取り込むように指令され得る。これらの特徴が、外部からも見える場合、それらは、構造のインドアモデルを構造の外部エンベロープにアラインメントするか、または位置合わせするために使用され得る。いくつかの実施形態では、ユーザは、慣性センサ誤差の効果を最小にするために一連の閉ループを使用してインドアエリアを横断することを指令され得る。別の例では、右（または左）手の法則は、すべての交差点において、何らかの測定距離の後に、右（または左）に曲がることをユーザに命令することであり、閉ループを形成し、構造が完全に覆われることを保証するために使用され得る。さらに、ユーザは、ドアと窓のわき柱のところで壁幅の画像を記録するように指令され得る。さらに、高度計、気圧計などによる測定値は、高度を決定するために使用されるものとしてよく、磁力計による測定値は、ＩＭＵ１７０による測定値に加えて、および／またはＩＭＵ１７０による測定値を補うために使用され得る、ＵＥ１００の移動方向を取得するために使用され得る。いくつかの事例において、ユーザは、可能なときに、複数の角度からワイヤレスＡＰの画像を取得するように命令され得る。いくつかの実施形態では、物体検出は、ＡＰ上で実行され、それにより、メーカーおよびたぶんモデル番号すらも、関連付けられている知られているモデル特有の特性を取得し、さらにはＡＰ相対および／または絶対ロケーションを決定し得る。
[00167]ステップ７５５において、ユーザは、インドアデータ収集プロセスに関するフィードバックを提供され得る。たとえば、ユーザは、１つまたは複数の取り込まれた画像に特徴が欠けている場合および／または画像および／または１つまたは複数の画像に特徴が豊富にある場合の指示を与えられ得る。さらに、１つまたは複数のＡＰが利用可能である事例において、ラウンドトリップタイム（ＲＴＴ）および／または受信信号強度インジケータ（ＲＳＳＩ）またはヒートマップを含むＲＦ測定値は、ＡＰを特徴付けるために使用され得る。いくつかの実施形態では、マッピングモードにおいて、ＵＥ１００は、ＧＮＳＳおよびＷＡＮ信号に対する信号強度、正確さ、および／または利用可能性を追跡するものとしてよく、マップデータに含めるための屋根と、壁と、窓と、ドアとに対するＲＦ透過性を推論し得る。それに加えて、アプリケーションは、各測定されたＲＦ信号がユーザの身体を通過するかどうかを決定するためにアンテナパターン７３９からのボディブロック（body blockage）を推論し得る。
[00168]ステップ７５７において、インドアエンベロープ決定に対する画像取り込みおよび測定プロセスが不完全であるか、または不適切であると決定された場合、ステップ７５０において別の反復が開始され得る。たとえば、ユーザは、インドアデータ収集を繰り返すことを求められ得る。
[00169]ステップ７６０において、収集された測定値および画像が処理され、マップデータ７６３を取得し得る。いくつかの実施形態では、ステップ７６０は、サーバ２５０などのサーバ上でオフラインで実行されてもよい。たとえば、ＵＥ１００は、収集された測定値および画像をサーバ２５０に送信し得る。たとえば、サーバ２５０は、基地局アルマナック（ＢＳＡ）サーバおよび／または別のロケーションサーバであってよく、これは、測定値／画像を処理し、および／または他の移動局から受信されたデータと集計し得る。いくつかの実施形態では、センサ／ＲＦ／ＳＰＳ／測定値は、取り込まれた画像に相関させて、マップデータ７６３を取得し得る。
[00170]ステップ７７０において、１つまたは複数のマップ７７３は、マップデータ７６３に基づき生成され得る。いくつかの実施形態では、既存のマップはマップデータ７６３に基づき更新され、マップ７７３を取得することができる。いくつかの実施形態では、マップ７７３は、異なるレベルのＵＥポジション粒度のレイヤとして編成され得る。
[00171]ステップ７８０において、ユーザは、マッピングモードを終了するか、または方法７００における１つまたは複数のステップを繰り返すことを求められ得る。いくつかの実施形態では、ユーザがマッピングモードを終了することを求められたときに、マップデータ７６３および／または収集されたデータの要約がユーザに対して示され得る。ユーザ入力に基づき、マッピングモードはステップ７８５において終了し得、および／または方法７００におけるもう１つのステップが繰り返され得る。
[00172]図９は、ハイブリッドフォトマッピングを行っているときの例示的な高水準データフロー８００を示している。いくつかの実施形態では、アウトドアデータ収集フェーズ８１０−１において、カメラおよび慣性データ８１３、ＧＮＳＳ、ＷＡＮ、およびＬＡＮ測定値を含み得るワイヤレス測定データ８１５、気圧または高度計データ８１７、アンテナパターン７３９、および磁力計データ８１９のうちの１つまたは複数が収集され得る。
[00173]アウトドアデータ処理フェーズ８２０において、アウトドアデータ収集フェーズ８１０−１で収集されたデータは、アウトドア開ループ軌跡８２３を取得するために使用されるものとしてよく、これは、次いで、外部３Ｄ建物エンベロープ８２５と、アウトドアワイヤレスマップ８２７と、アウトドア閉ループ軌跡８２９とを取得するために使用され得る。
[00174]いくつかの実施形態では、インドアデータ収集フェーズ８１０−２において、カメラおよび慣性データ８１３、ＧＮＳＳ、ＷＡＮ、およびＬＡＮ測定値を含み得るワイヤレス測定データ８１５、気圧または高度計データ８１７、アンテナパターン７３９、および磁力計データ８１９のうちの１つまたは複数がインドアで収集され得る。
[00175]インドアデータ処理フェーズ８３０では、外部３Ｄ建物エンベロープ８２５、アウトドアワイヤレスマップ８２９、およびアウトドア閉ループ軌跡８２７は、８１０−１において収集されたデータとともに使用され、それにより、インドア開ループ軌跡８３３を取得することを取得し、これは次いで内部３Ｄ建物モデル８３５を取得するために使用され得る。内部３Ｄ建物モデルは、外部３Ｄ建物エンベロープ８２５と位置合わせされ、それにより、第１の内部および外部３Ｄ建物モデル８３７を取得するものとしてよく、これはカメラおよび慣性データと共に使用されインドア閉ループ軌跡８３９を取得し得る。
[00176]マップ生成フェーズ８４０では、データ収集フェーズ８１０−１と８１０−２とにおいてアウトドアおよびインドアで収集されたデータの一部または全部は、それぞれ、インドア閉ループ軌跡８３９に沿って使用され、それにより、内部および外部３Ｄ建物モデル８３７を更新し、様々なマップを生成し得る。たとえば、インドアおよびアウトドア３Ｄワイヤレスマップ、磁気マップレイヤ、気圧注釈などが取得され得る。
[00177]気圧は、典型的には、建物内の高さが変化するときに標準断熱減率に従う。しかしながら、いくつかの建物または建物の一部は、加圧され得る。標準断熱減率からの偏差は、建物加圧の結果として推論され得る。それらの偏差は、偏差における不確実性とともに、マップへの気圧注釈として記載され得る。たとえば、「断熱減率よりもＸ ＭＭＨｇだけ高いと観測された気圧はフロア２４から３６を予測する。
[00178]図１０Ａは、フォト、ワイヤレス、磁気、および気圧データに基づくマップ生成のための方法９００を示す流れ図を示している。いくつかの実施形態では、方法９００の一部は、ＵＥ１００および／またはサーバ２５０によって実行されてもよい。いくつかの実施形態では、方法９００の呼び出し前に、または初期化ステップにおいて、ＵＥ１００は、マッピングモードに入ることによって様々な測定値を取り込み得る。たとえば、マッピングモードでは、ＵＥ１００は、連続的なＧＮＳＳと、カメラおよび慣性データと、他のセンサデータとを比較的高速に収集することができる。さらに、マッピングモードでは、ＲＦ測定値、ＧＮＳＳ測定値、および慣性、磁力計、高度計、および／または気圧センサからのデータなどのセンサ測定値は、画像の取り込みと連動して取り込まれ得る。
[00179]ステップ９０５において、ＵＥのアウトドア７−ＤＯＦ開ループ軌跡８２３は、カメラおよび慣性データ８１３とワイヤレス測定データ８１５とに基づき決定され得る。たとえば、ＳＰＳ／ＧＮＳＳ／ＬＡＮ／ＷＡＮ測定値と、ＩＭＵ１７０測定値と、カメラ１８０によって取り込まれた画像との組合せが、ＵＥ１００の７−ＤＯＦ軌跡を決定するために使用され得る。たとえば、慣性スティッチングは、慣性軌跡ドリフトがあるしきい値よりも小さい（たとえば、ＧＰＳ Ｌ１波長の半分よりも小さい）ときに使用され得る。
[00180]ステップ９１０において、いくつかの実施形態では、外部３Ｄ建物エンベロープ８２５は、アウトドア７−ＤＯＦ開ループ軌跡８２３に基づき取得され得る。
[00181]ステップ９１５において、アウトドア７−ＤＯＦ閉ループ軌跡８２９は、外部３Ｄ建物エンベロープ８２５に対して視覚的走行距離計測を再処理することによって取得され得る。たとえば、複数の衛星に対してＬＯＳ条件が存在し、それによって、同時の複数のキャリア位相観測を可能にする場合、慣性軌跡は、データ収集時に以前に写真を撮られた視覚的特徴に戻ることによって安定化されるものとしてよく、ジャイロおよび加速度計誤差は、軌跡が（明白な誤差なしで視覚的特徴に戻るように再推定されるようにモデル化され得る。いくつかの実施形態では、外部３Ｄ建物エンベロープ８２５の決定に際してＭＷ仮定が使用され得る。次いで、ＵＥ１００の軌跡がこの調整された３Ｄフォトモデルと突き合わせて視覚的走行距離計測データから再計算され、それにより、アウトドア７−ＤＯＦ閉ループ軌跡８２９を取得し得る。次に、ステップ９２０において、３Ｄ建物エンベロープ８２５が、７−ＤＯＦ閉ループ軌跡８２９に基づき更新され、および／または再処理され得る。
[00182]図１０Ｂを参照すると、いくつかの実施形態では、ステップ９２５において、建物のポジションおよび方位も、一部は、更新された３Ｄ建物エンベロープ８２５とワイヤレス測定値８１５とを使用することによって、グローバル座標に位置合わせされ得る。次いで、ステップ９３０において、アウトドア７−ＤＯＦ閉ループ軌跡８２９は、グローバル座標に位置合わせされ得る。
[00183]いくつかの実施形態では、ステップ９３０において、アンテナパターン７３９、更新された３Ｄ建物エンベロープ８２５、およびワイヤレス測定値８１５も、１つまたは複数の既存のアウトドアワイヤレスマップ８３５を生成し、および／または更新するために使用され得る。いくつかの実施形態では、アウトドアワイヤレスマップ８３５は、生成され、および／またはサーバ２５０上に記憶され得る。これらのマップは、アウトドア２Ｄロードマップまたは間取図、３Ｄナビゲート可能特徴データベースを含み得る、フォトマップ、様々なロケーションにおいて１つまたは複数のアンテナに対する信号強度を指示し得る、ヒートマップ、および／または様々なロケーションにおいてアンテナに対する信号遅延を指示し得る、空間的可変ＦＬＣマップのうちの１つまたは複数を含み得る。いくつかの実施形態では、マップのうちの１つまたは複数は、異なるレベルのポジション粒度でレイヤとして記憶され得る。
[00184]ステップ９４０において、インドア７−ＤＯＦループ軌跡８３３は、カメラおよび慣性データ８１３と、インドアワイヤレス測定データ８１５と、気圧および／または高度計データ８１７とに基づき推定され得る。たとえば、ＳＰＳ／ＧＮＳＳ／ＬＡＮ／ＷＡＮ測定値と、ＩＭＵ１７０測定値と、カメラ１８０によって取り込まれた画像との組合せが、ＵＥ１００の７−ＤＯＦ軌跡を決定するために使用され得る。ワイヤレス信号が停止した場合、測定値を一緒にスティッチングし軌跡を取得するためにカメラおよび慣性データ８１３が使用され得る。いくつかの実施形態では、インドア７−ＤＯＦループ軌跡８３３は、インドア測定値が利用不可能であり、マルチパスの著しい影響を受ける可能性があるので、インドアワイヤレス測定データ８１５を参照せずに、カメラおよび慣性データ８１３と、気圧および／または高度計データ８１７とに基づき推定され得る。
[00185]図１０Ｃでは、ステップ９４５において、内部３Ｄ建物モデル８３５および／またはインドアエリアのマップは、カメラおよび慣性データ８１３と、インドアワイヤレス測定データ８１５と、インドア７−ＤＯＦループ軌跡８３３とから生成され得る。たとえば、高度計、磁力計、気圧およびＩＭＵ測定値は、一部は、画像データとともに使用され、それによって、インドアマップを生成し得る。いくつかの実施形態では、ＭＷ仮定は、取り込まれた画像からインドアエリアの３Ｄモデルを再構築するために使用され得る。たとえば、ＣＶＭ１５５は、再構築を実行するために使用されるものとしてよく、および／または再構築は、サーバ２５０によってオフラインで実行され得る。実施形態において、深度センサがＵＥ１００上で利用可能な場合、提供される深度データはインドアエリアを再構築するために使用され得る。さらに、インドアワイヤレス測定データ８１５が１つまたは複数のＡＰに対するデータを含む事例において、ラウンドトリップタイム（ＲＴＴ）および／または受信信号強度インジケータ（ＲＳＳＩ）を含むＲＦ測定値は、ＡＰ６２０−１および６２０−２（図７Ａの）などのＡＰを特徴付けるために使用され得る。
[00186]ステップ９５０において、内部および外部３Ｄ建物モデル８３７は、一部は、３Ｄ内部建物モデル８３５を外部３Ｄ建物エンベロープ８２５と位置合わせ／アラインメントすることによって３Ｄ内部建物モデル８３５から取得され得る。いくつかの実施形態では、画像を外部マップに位置合わせするときに、内部と外部の両方から見えるものとしてよい、窓、ドアなどの構造特徴が使用され得る。いくつかの実施形態では、各部屋または適切なインドア構造ユニットは、個別に解決され、次いで、外部エンベロープにスナップされ得る。
[00187]ステップ９５５において、いくつかの実施形態では、インドア７−ＤＯＦ閉ループ軌跡８３９は、内部および外部３Ｄ建物モデル８３７に対して視覚的走行距離計測を再処理することによって決定され得る。たとえば、データ収集時に以前に写真を撮られた視覚的特徴に戻ることによって、ＩＭＵ１７０における誤差は補正されるものとしてよく、軌跡は、明白な誤差なしで視覚的特徴に戻るように再推定され得る。
[00188]次いで、ステップ９６０において、３Ｄモデル建物モデル８３７は、インドア７−ＤＯＦ閉ループ軌跡８３９と慣性およびカメラデータ８１３とに基づき再処理／更新され得る。次いで、いくつかの実施形態では、ステップ９６０において、インドアマップは、その３Ｄモデルに基づき生成され得る。
[00189]ステップ９６５において、３Ｄインドア／アウトドアワイヤレスマップ８４１は、アウトドアワイヤレスマップ８３５と、ワイヤレス測定データ８１５と、アンテナパターン７３９と、３Ｄモデル建物モデル８３７とに基づき取得され得る。
[00190]ステップ９７０において、磁気マップレイヤ８４７を生成するために磁力計データ８１９が使用されるものとしてよく、ステップ９７５において、気圧マップ注釈を生成するために気圧データ８１７が使用され得る。
[00191]いくつかの実施形態では、収集されたデータの全部または一部は、ＵＥ１００上で処理され、および／または処理のためサーバ２５０に送信され得る。いくつかの実施形態では、マップが近接する、および／または取り付けられた構造に対して利用可能である場合、現在の構造および取り付けられた／近接する構造に対するインドア／アウトドアマップは、たとえば、外部画像を使用することによって一緒にスティッチングされ得る。いくつかの実施形態では、付近構造マップへのポインタ／関連付けは、ＵＥ内に、および／またはサーバ上にキャッシュされ得る。いくつかの実施形態では、「スマートメガネ」または他のウェアラブルデバイスが、カメラ付きのＢｌｕｅｔｏｏｔｈヘッドセットなどの電話機に結合されている場合に、スマートメガネ／ウェアラブルデバイス上のカメラが、トリガーされ得る。
[00192]図１１は、ＵＥ１００のロケーションを決定することができるシステム１０００内のいくつかのエンティティを示す単純化されたブロック図を示している。いくつかの実施形態では、システム１０００は、ＵＥ支援測位システムの一部を形成し得る。図１０を参照すると、ＵＥ１００は、基準源１０７０からの信号を測定し、初期測定１００２および／または初期ロケーション推定値１００４を取得し得る。基準源１０７０は、ＳＶ２８０および／またはアンテナ２４０および／またはネットワーク２３０に関連付けられているＡＰ６２０からの信号を表し得る。ＵＥ１００は、また、たとえば、ＳＶ２８０に対する擬似距離測定値および／またはアンテナ２４０からのＯＴＤＯＡ／ＲＳＴＤ関係測定値などの初期測定値１００２も取得し得る。
[00193]いくつかの事例において、ＵＥ１００は、また、初期測定値１００２を使用することによって初期ロケーション推定値１００４を取得することができる。ときには「プレフィックス」とも称される、初期ロケーション推定値１００４は、ＵＥ１００のポジションの粗推定値であってよい。いくつかの事例において、ＵＥ１００による距離測定は、初期ロケーション推定値１００４を取得するために使用され得る。いくつかの事例において、サービングセル、または最も強いセル、または最も早いセル、または別のセルに関連付けられているロケーションは、初期ロケーション推定値１００４として使用され得る。たとえば、サービングセル、または最も強いセル、または最も早いセル、または他の何らかのセルの重心は、初期ロケーション推定値１００４として使用され得る。さらなる例として、セル内のランダムまたは既定の開始ロケーションは、初期ロケーション推定値１００４として使用され得る。セル関係情報は、セルセクタ識別情報と、ネットワークＩＤと、システムＩＤと、基地局によって送信される他の情報とから取得され得る。ＵＥ１００は、初期ロケーション推定器１００４および／または初期測定値１００２（たとえば、１つまたは複数のＧＮＳＳからの衛星測定値、または１つまたは複数のネットワークからのＯＴＤＯＡおよび／またはＲＳＴＤなどのネットワーク測定値など）をサーバ２５０に提供するものとしてよい。いくつかの状況では、ＵＥ１００は、初期ロケーション推定値１００４を決定し得ず、代わりに、ＵＥ１００によって得られた初期測定値１００２がサーバ２５０に送信されるものとしてよく、これは初期測定値１００２を使用してＵＥ１００に対する初期ロケーション推定値１００４を決定し得る。
[00194]サーバ２５０は、次いで提供し、ＵＥ１００にロケーションアシスタンスデータ１００６などの初期ロケーション推定値１００４に基づくロケーション関係情報を提供し得る。いくつかの実施形態では、ロケーションアシスタンスデータは、ＬＤＡＭ１５８、ＭＭ１５２、ＰＤＭ１５６、および／またはＮＭ１５４のうちの１つまたは複数によって受信されるものとしてよく、ＳＶ２８０および／またはアンテナ２４０から信号を取得し、測定するのを、および／または測定値１００２から取得された初期ロケーション推定値１００４を精緻化するのを補助するために使用され得る。いくつかの実施形態では、ロケーションアシスタンスデータは、初期ロケーション推定値１００４に合わせて手直しされた粒度のマップレイヤおよび／または他の情報と、初期ロケーション推定値１００４に関連付けられているポジション不確実性とを含み得る。
[00195]たとえば、ＵＥ１００は、いくつかの事例において、セキュアユーザプレーン（ＳＵＰＬ）対応端末（ＳＥＴ）の形態をとり得、サーバ２５０と通信し、ロケーションアシスタンスデータ１００６を使用し追加の測定値１００８を取得し得る。いくつかの実施形態では、追加の測定値１００８は、様々なＦＬＣ関係測定値および／またはパイロット位相測定値、到着時刻、ＲＳＴＤ／ＯＴＤＯＡ測定値、基地局アンテナの時間オフセットに関係する測定値、ＧＰＳ（たとえば、擬似距離）測定値、などを備え得る。いくつかの事例において、ロケーションアシスタンスデータの受信またはそれがないことに応答して、ＵＥ１００は、マッピングモードに入り、追加の測定値１００８を取り込むものとしてよく、これは、上で概略が述べられているように、カメラ１８０測定値と、ＩＭＵ１７０測定値と、センサ１８５測定値と、他のワイヤレス（ＧＮＳＳ／ＷＡＮ／ＬＡＮ）信号測定値とからの測定値を含み得る。いくつかの実施形態では、ＵＥ１００は、ネットワーク２３０を介して追加の測定値２０８をサーバ２５０または別のＰＤＥに送信し、および／または測定値をメモリ１３０に記憶し得る。
[00196]いくつかの実施形態では、サーバ２５０、ＵＥ１００、または別のＰＤＥは、追加の測定値２０８を使用してＵＥ１００に対する精緻化されたロケーションを取得し得る。いくつかの実施形態では、ＵＥ１００は、追加の測定値１００８を使用して、精緻化されたロケーション推定値を直接取得し得る。さらに、いくつかの実施形態では、ＵＥ１００に対する精緻化されたロケーション推定値は、ＬＣＳクライアント２６０に伝達され得る。ＵＥ１００のポジション／ポジション不確実性が、以前に提供されたロケーションアシスタンス情報に基づき精緻化されるか、または再推定されるときに、精緻化されたポジション推定値／ポジション不確実性に基づくＦＬＣ値および／または他の情報が、別のマップレイヤから取り出されて、ＵＥポジションのより正確な結果を円滑にし得る。一般に、ポジションロケーションは、ＵＥ１００がポジション決定での使用のためにネットワーク内のＰＤＥに基地局を介して生のまたは前処理された測定データを送り返す場合にＭＳによって支援され得、あるいは、ポジション計算がＵＥ１００によって実行される場合にＭＳに基づくものとされ得る。
[00197]ポジション決定サービスを提供するワイヤレス通信システムは、典型的には、基地局アルマナック（ＢＳＡ）データベース、マップデータベースなどの、１つまたは複数のデータベースにロケーション決定に使用される較正情報および他の測定値を記憶し、および／または集計する。たとえば、データベースは、様々な他のタイプの情報を含み得る、マップレイヤを有するマップを含むものとしてよい。
[00198]たとえば、マップレイヤは、受信信号強度をマップロケーションに相関させる受信信号強度マップレイヤと、信号対雑音比（ＳＮＲ）をマップロケーションに相関させるＳＮＲマップレイヤと、見通し線条件（ＬＯＳ）が１つまたは複数のアンテナに関して可能性が高いマップロケーションを示すＬＯＳマップレイヤと、非見通し線マップレイヤとのうちの１つまたは複数を備えることができ、ＮＬＯＳマップレイヤは、ＮＬＯＳ条件またはボディブロックド（body blocked）条件が１つまたは複数のアンテナなどに関して可能性が高いマップロケーションを示す。いくつかの実施形態では、マップレイヤは、ＢＳＡ内のロケーションについてアンテナのマルチパスの範囲の表示を提供するために、少なくとも１つのマルチパスレイヤをも含むことができる。さらに、一実施形態では、マルチパスレイヤは、除外ゾーン、マルチパスの大きさの表示、および／もしくは長シャドウ領域内のアンテナの信号減衰レベルを備える、アンテナの長シャドウ領域を示すための長シャドウレイヤ、または短シャドウ領域内のアンテナ信号のタイミング粒度情報を備えるアンテナの短シャドウレイヤ領域を示すための短シャドウレイヤ、またはアンテナの少なくとも１つのカバレージエリア内の一意の送信パターンを示すための送信するパターンレイヤのうちの少なくとも１つをさらに備え得る。
[00199]いくつかの実施形態では、ＵＥ１００は、ロケーションとロケーション不確実性とを推定するために１つまたは複数のマップレイヤ内の情報を使用することができ、ロケーションとロケーション不確実性とに基づいて、追加のマップレイヤを要求するか、または取り出すことができる。いくつかの実施形態では、ＵＥ１００のロケーション／ロケーション不確実性に基づき複数のマップレイヤがＵＥ１００に提供され得る。一般に、マップレイヤを備えるロケーションアシスタンス情報は、ＵＥ１００との通信に使用されるプロトコルと、通信に利用可能な帯域幅と、信号状態と、コストと、通信と、ＵＥ１００において利用可能なメモリおよび／または処理機能と、様々な他のパラメータとに基づきＵＥ１００に提供され得る。
[00200]いくつかの実施形態では、マップ上の各領域は、マップレイヤの粒度に依存する可能性がある１つまたは複数の境界点の座標（たとえば、緯度、経度、高度）によって識別され得る。したがって、これらの実施形態では、領域内の点に関する測定値は、集計され、領域に関連付けられ得る。集計された測定値と関連するデータとの階層の一部またはすべてが、そのポジション／ポジション不確実性に基づいてＵＥ１００に供給され得る。
[00201]ＢＳＡデータベースは、較正情報と他の基地局関係情報とを記憶／集計するものとしてよい。ある基地局のＢＳＡレコードは、基地局識別情報、基地局アンテナのポジション（たとえば、高度と緯度と経度と）、アンテナのポジションでのＦＬＣ値、アンテナ方位、レンジ、リピータ情報などを指定することができる。本明細書で使用されているような「ＦＬＣ値」という用語は、ＦＬＣ値とＦＬＣ残差の両方を指すものとしてよい。ＦＬＣ残差は、距離単位（たとえば、メートル）で指定され得、ＦＬＣ値は、時間単位（たとえば、秒）で指定され得る。いくつかの実施形態では、ＢＳＡは、基地局セクタカバレージエリアの中央、基地局信号の最大レンジ、１つまたは複数のカバレージエリア／サブエリアにわたる平均地形高、１つまたは複数のカバレージエリア／サブエリアにわたる地形高標準偏差、ラウンドトリップ遅延（ＲＴＤ）較正情報、ＣＤＭＡシステムでの擬似ランダム雑音（ＰＮ）増分、基地局アンテナポジションの不確実性、順方向リンク遅延較正の不確実性、およびラウンドトリップ遅延較正の不確実性などの情報をも含むことができる。
[00202]いくつかの実施形態では、地上測位システム較正を容易にするためのシステムは、複数の移動局／ＰＤＥによるＦＬＣ関連測定値と洗練されたポジション推定値とを含む追加測定値１００８を集計することができる。いくつかの実施形態では、複数の移動局の各々によるマッピングモードにおける測定値は、サーバ上で集計され、記憶され得、統計的有意性が、集計に基づいて導出され得る。たとえば、標準偏差、分散、平均値、中央値、および他の統計的尺度が、集計から導出され得る。いくつかの実施形態では、ＵＥ１００によって得られた測定値は、データベース内の測定値を置き換えるために使用され得る。たとえば、視覚的画像および／または他の測定値が、記憶されている３Ｄ建物モデル８３７に関して構造の内部が変化していることを指示している場合、記憶されている建物モデル８３７は、より最近の測定値に基づき新しい建物モデルで更新され、および／または置換され得る。同様に、外部３Ｄ建物エンベロープ８２５、３Ｄワイヤレスマップ８４１、磁気マップレイヤ８４７、および／または気圧マップ注釈８４９、および／または他のマップレイヤのうちの１つまたは複数が新しい測定値に基づき更新され得る。したがって、ＵＥ１００は、データベース内の情報の形態でロケーションアシスタンスデータ１００６を両方受信するものとしてよく、マッピングモードでＵＥ１００によって取り込まれた追加の測定値１００８が既存のデータベースを更新するために使用され得る。
[00203]たとえば、ＵＥ１００に関連付けられている精緻化されたロケーション推定値およびそれらのロケーションにおけるＵＥ１００による測定値（取り込まれた画像を含む）は、同じロケーションに対して、および／またはデータベースに記憶されている情報の粒度に基づくそのロケーションの付近の領域に対して、他の移動局による測定値と関連付けられ、および／または集計され得る。いくつかの実施形態では、取り込まれた画像のうちの１つまたは複数は、キーフレームまたはキーフレーム画像と関連付ける推定されたカメラ姿勢とともに基準フレームとして記憶され得る。いくつかの実施形態では、外部および内部３Ｄモデル８３７は、キーフレームを含み得る。
[00204]いくつかの実施形態では、洗練されたポジション推定値は、ポジションフィックスに関連する品質しきい値に基づいて、集計された測定値に関連付けられ得る。たとえば、各ロケーションフィックスに関連する誤差の推定値を表す「水平推定ポジション誤差」（ＨＥＰＥ）品質測定値が、どの測定値がＢＳＡデータベースに追加され、および／または集計されるのかを決定するのに使用され得る。たとえば、所望の精度もしくはポジション粒度に依存するある指定されたしきい値未満のＨＥＰＥ値を有するポジションフィックスに関連する測定値が、データベースに追加され、および／または集計され得る。
[00205]いくつかの実施形態では、基地局アルマナックデータベースは、当初に、デフォルトの、平均の、または推定されたＦＬＣ値を用い、穏当に正確なアンテナポジションを用いて構成され得る。いくつかの実施形態では、既存のＢＳＡが、複数のＵＥ１２０および／またはＰＤＥから受信された複数の追加測定値２０８に基づいて使用され、更新され得る。複数のＭＳ’１２０／ＰＤＥによって行われた繰り返される測定に基づいて、アンテナポジション推定値および空間的に変動するＦＬＣ値が、経時的に継続して改善され、順方向リンク較正正確さを改善するのに使用され得る、より高いアンテナポジション確実性につながる。
[00206]いくつかの実施形態では、サーバ２５０は、一群のモバイルからの生の測定情報を集計して、測定値に関連付けられている異なる粒度の情報で統計的に有意なマップを作成することができる。いくつかの実施形態では、サーバ２５０は、ＢＳＡ、マップ、および／またはロケーションサーバの機能の一部またはすべてを実行することができる。たとえば、サーバ２５０は、ロケーションデータを収集し、フォーマットし、マップもしくはモデルを生成し、更新することができ、ポジション推定のために移動局にアシスタンスを提供することができ、および／または移動局のポジション推定値を得るために計算を実行することができる。いくつかの実施形態では、サーバ２５０は、完全なＢＳＡを記憶するＢＳＡデータベースを管理することができるＢＳＡサーバを備えることができる。
[00207]たとえば、複数の移動局／ＰＤＥからの写真および他の測定値のクラウドソーシングを含む、開示される実施形態は、インドアマップを含む継続的に保守されるマップデータを提供し、リソース集中型のフィールドワークの必要を減らすか除去することができる。いくつかの実施形態では、高いサンプリングレートが、公に所有されるモバイルデバイスによる頻繁なクラウドソーシングされたサンプリングのゆえに、ネットワーク全体を通じて維持され得る。いくつかの実施形態では、クラウドソーシングされた測定値が、データベース／ＢＳＡを構築し、および／または更新するのに使用され得る。
[00208]サンプリングレート、統計的有意性、および情報の正確さは、あるロケーションでのユーザ密度に比例するので、より高いユーザ密度を有する人気のあるロケーションは、頻繁に較正される。したがって、そのようなクラウドベースの較正システムは、ユーザが配置されるところおよび／またはロケーションサービスが繰り返して使用されるところにそれ自体を最適化することができる。対照的に、既存のシステムは、通常、ユーザパターンを反映しない可能性があるネットワークジオメトリまたは信号伝搬モデルのあるメトリックに基づいて較正される。さらに、移動局ユーザによってしばしば訪れられる人気のあるロケーションは、最新の統計的に有意で正確な情報を有する傾向もある。さらに、本明細書で開示される実施形態と一貫するシステムの展開中に、人気のあるロケーションのＦＬＣ情報は、より頻繁に収集される測定値に基づいてすばやく入手され得、これによって展開を容易にする。
[00209]いくつかの実施形態では、写真データおよび測定値は、「ウォードライビング」によっても収集され、および／または補足され得る。ウォードライビングにおいて、ユーザは、画像を取り込み、センサ測定値を取り、ワイヤレス信号の測定値を取るものとしてよく、これらはＵＥポジションと相関され、マップを取得し得る。収集された測定値は、データベースに記憶された測定値とともに集計され、および／またはこれを補足し、および／またはこれを置換し、および／または既存のマップを更新するために使用され得る。いくつかの実施形態では、ＵＥユーザ（たとえば、測定値／マッピングが望まれるロケーションまたはルートの付近にいるユーザ）は、そのロケーションに移動し、および／または指定されたルートを辿るように奨励され得る。たとえば、所望のロケーションの付近またはルートに沿った施設をターゲットとする現金の報奨金、リベート、無料通話時間、または奨励金の形の報奨金が、奨励金として使用され得る。いくつかの実施形態では、周期的に測定結果をサーバ２５０に報告し得るアプリケーションをスマートフォンにインストールするためにユーザ同意が得られものとしてよい。
[00210]いくつかの実施形態では、ＵＥ１００に提供されるマップ内の情報は、信号の検出の確率、ＵＥ１００の初期ポジション不確実性の推定値とともにＵＥ１００の推定されるポジションにおける信号の可能性の高い正確さのうちの１つまたは複数の指示を含み得る。さらに、いくつかの実施形態では、ＵＥ１００に提供されるマップは、また、ＬＯＳ条件の確率、長いマルチパス条件の欠如、および／またはＵＥ１００が長または短シャドウ領域内にあるかどうかの決定のうちの１つまたは複数の指示も含み得る。このマップは、モバイルが、ファーストオーダーモデルを用いて単純なリンク分析を実行できるように、ｅＮｏｄｅＢアンテナロケーション、アンテナパターン、および出力電力などの単純な注釈を含み得る。さらに、このマップは、このファーストオーダーモデルと、より高次の補正項を含むよりローカライズされたモデルとの間の相違を含むことができる。
[00211]ここで図１２を参照すると、図１２は、ハイブリッドフォトマッピングおよびナビゲーションをサポートすることを可能にされたサーバ２５０を示す概略ブロック図である。いくつかの実施形態では、サーバ２５０は、ポジション決定とクラウドソーシングされたマップ生成およびナビゲーションとのサポートも提供し得る。いくつかの実施形態では、サーバ２５０は、開示される実施形態と一貫する形でレイヤ化マップを含むロケーションアシスタンス情報を提供することによってロケーション決定をサポートし得る。さらに、いくつかの実施形態で、サーバ２５０は、開示される実施形態と一貫する形で１つまたは複数のＵＥ１００によって報告される測定値と情報とに基づいてデータベース（ＢＳＡ、マップ、および／または構成データベース）を更新し得る。いくつかの実施形態では、サーバ２５０は、たとえば、１つまたは複数の接続１１５６（たとえば、バス、信号線、ファイバ、リンクなど）を用いて動作可能に結合され得る、１つまたは複数の処理ユニット１１５２、メモリ１１５４、ストレージ１１６０、および（適用可能な場合は）通信インターフェース１１９０（たとえば、有線またはワイヤレスネットワークインターフェース）を備え得る。いくつかの例示的な実装では、サーバ２５０のいくつかの部分が、チップセット、および／または同様のものの形をとることができる。
[00212]通信インターフェース１１９０は、ワイヤード送信および／または受信をサポートし、望まれる場合は、追加または代替的に、１つまたは複数のタイプのワイヤレス通信ネットワークを介する１つまたは複数の信号の送信と受信とをサポートすることができる、様々なワイヤード接続とワイヤレス接続とを含むことができる。通信インターフェース１１９０は、様々な他のコンピュータおよび周辺機器との通信のためのインターフェースも含むことができる。たとえば、一実施形態では、通信インターフェース１１９０は、サーバ２５０によって実行される通信機能のうちの１つまたは複数を実装するネットワークインターフェースカード、入出力カード、チップ、および／またはＡＳＩＣを備え得る。いくつかの実施形態では、通信インターフェース１１９０は、また、ネットワーク２３０とインターフェースし、ＰＣＩ、構成されたＰＲＳ情報、および／またはネットワーク内の基地局によって使用されるタイミング情報などの、様々なネットワーク構成関係情報も取得し得る。たとえば、通信インターフェース１１９０は、３ＧＰＰ ＴＳ ３６．４５５において定義されているＬＰＰアネックス（ＬＰＰａ）プロトコルまたはこのプロトコルの修正を使用して、ネットワーク２３０内の基地局からＰＣＩ、構成されたＰＲＳ、タイミングおよび／または他の情報を取得し得る。処理ユニット１１５２は、受信された情報の一部または全部を使用して、開示される実施形態と一貫する形でロケーションアシスタンスデータを生成し得る。
[00213]処理ユニット１１５２は、ハードウェアとファームウェアとソフトウェアとの組合せを使用して実装され得る。いくつかの実施形態では、処理ユニット１１５２は、基地局１００に送信するための、マルチパスおよび可視性情報、空間的可変ＦＬＣデータ、ＰＲＳタイミングおよびミューティングアシスタンス情報などとともに、レイヤ化マップを含む、ロケーションアシスタンス情報を生成し得る、サーバロケーションアシスタンスデータモジュール１１６６を備え得る。いくつかの実施形態では、サーバロケーションアシスタンスデータモジュール１１６６は、移動局１００に送信するためのロケーションアシスタンス情報も生成し得る。処理ユニット１１５２は、また、直接的に、または図１１に示されている１つまたは複数の他の機能ブロックと併せて、のいずれかで、様々な他のＬＰＰ／ＬＰＰｅアシスタンス情報を処理することができるものとしてよい。いくつかの実施形態では、処理ユニット１１５２は、ロケーションアシスタンス情報をロングタームエボリューション（ＬＴＥ）測位プロトコル（ＬＰＰ）またはＬＰＰ拡張（ＬＰＰｅ）メッセージとして生成し得る。
[00214]図１３は、開示される実施形態と一貫するハイブリッドフォトマッピングの例示的な方法の流れ図１３００を示している。いくつかの実施形態では、方法１３００は、ＵＥ、および／またはＵＥにワイヤレス方式で結合されたサーバによって実行されてもよい。いくつかの実施形態では、方法１３００は、ＵＥ上のマッピングアプリケーションによって実行され得る。たとえば、マッピングアプリケーションは、画像の取り込みおよび／または辿るべき軌跡に関係する命令を与えることができる。
[00215]いくつかの実施形態では、ステップ１３１０において、構造内の複数のロケーションを横断するときに構造の内部の複数の画像が取り込まれ得る。
[00216]次に、ステップ１３２０において、複数の測定セットが取り込まれるものとしてよく、ここにおいて、各測定セットが、少なくとも１つの画像に対応し、各測定セットが、慣性計測装置（ＩＭＵ）測定値または利用可能なワイヤレス測定値のうちの少なくとも１つを備える。いくつかの実施形態では、各測定セットは、対応する画像の取り込みの短い時間窓内で取り込まれ得る。いくつかの実施態様では、各測定セットは、気圧測定値、または高度計測定値、または磁力計測定値のうちの１つまたは複数をさらに備える。いくつかの実施態様では、ワイヤレス測定値は、オブザーブドタイムディファレンスオブアライバル（ＯＴＤＯＡ）測定値、もしくは基準信号時間差（ＲＳＴＤ）測定値、もしくはアドバンスドフォワードリンクトライラテレーション（ＡＦＬＴ）測定値、もしくはハイブリッドＡＦＬＴ測定値のうちの１つを備えるワイヤレスワイドエリアネットワーク（ＷＷＡＮ）測定値、またはアクセスポイント（ＡＰ）信号の無線周波数（ＲＦ）測定値を備えるワイヤレスローカルエリアネットワーク（ＷＬＡＮ）測定値のうちの１つまたは複数を備える。
[00217]ステップ１３３０において、ＵＥによって横断される軌跡は、一部は取り込まれた画像と複数の測定セットとに基づき推定され得る。軌跡は、たとえば、構造の付近の絶対座標のＵＥのポジションを取得することと、一部は、絶対座標で得られたＵＥのポジションに基づき軌跡を推定することとによって、推定され得る。いくつかの実施形態では、ＵＥの軌跡は、視覚的同時ローカライゼーションおよびマッピング（ＶＳＬＡＭ）技術を複数の画像のサブセットに適用して、サブセット内の各画像に関してＵＥの対応する自由度６（６ＤＯＦ）姿勢を決定することと、６ＤＯＦ姿勢が画像のサブセット内のキーポイントに基づき決定される、サブセット内の各画像について、一部は、対応する６ＤＯＦ姿勢と、測定セットとに基づき絶対座標でＵＥの対応する姿勢を決定することとによって推定され得る。いくつかの実施形態では、サブセット内の各画像について、絶対座標のＵＥの対応する姿勢は、対応する６ＤＯＦ姿勢と対応する測定セットとを拡張カルマンフィルタ（ＥＫＦ）に与えることによって決定されるものとしてよく、ＥＫＦは、一部は、与えられた情報に基づき絶対座標でＵＥの対応する姿勢を決定し得る。
[00218]ステップ１３４０において、推定される軌跡、取り込まれた画像、および対応する測定セットは、ＵＥにワイヤレス方式で結合されたサーバに送られ得る。
[00219]ステップ１３５０において、絶対座標に位置合わせされた構造のインドアマップが、サーバから受信され得る。受信されたインドアマップは、推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づくものとしてよく、ＵＥの補正された軌跡に関係する情報を備え得る。
[00220]いくつかの実施形態では、インドアマップは、絶対座標にアラインメントされた複数のレイヤを含み得る。複数のアラインメントされたレイヤは、平面図マップ、または３次元構造モデル、または標準断熱減率モデルによって予測されない気圧に対する変化の注釈、または標準地球磁場モデルによって予測されない磁場に対する変化の注釈、またはマッピングされた構造に関連付けられているＷＷＡＮ信号の減衰もしくは遅延、または構造内のＷＷＡＮ信号強度の変化の注釈、またはマッピングされた構造に関連付けられているＷＬＡＮ信号の減衰もしくは遅延、または構造内のＷＬＡＮ ＡＰロケーションの指示、または構造内のＷＬＡＮ場強度の指示、または構造内のＷＬＡＮ ＲＴＴ遅延較正の指示のうちの少なくとも２つを含み得る。いくつかの実施形態では、ＵＥの補正された軌跡は、絶対座標で与えられ得る、ＵＥの閉ループ軌跡に対応し得る。
[00221]フローチャートおよびメッセージフローにおける本明細書で説明する方法は、適用例に応じて様々な手段によって実装され得る。たとえば、これらの方法は、ハードウェア、ファームウェア、ソフトウェア、またはそれらの任意の組合せで実装できる。ハードウェア実装の場合、処理ユニット１１５２は、１つまたは複数の特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）、デジタル信号処理デバイス（ＤＳＰＤ）、プログラマブル論理デバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、電子デバイス、本明細書で説明した機能を実行するように設計された他の電子ユニット、またはそれらの組合せの中で実装され得る。
[00222]本開示は、教育的目的のために特定の実施形態に関連して示されるが、本開示は、これに限定されない。様々な適合および変更が、範囲から逸脱せずに行われ得る。したがって、添付の特許請求の趣旨および範囲は、前述の説明に限定されてはならない。
[00222]本開示は、教育的目的のために特定の実施形態に関連して示されるが、本開示は、これに限定されない。様々な適合および変更が、範囲から逸脱せずに行われ得る。したがって、添付の特許請求の趣旨および範囲は、前述の説明に限定されてはならない。
以下に本願発明の当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
ユーザ機器（ＵＥ）上の方法であって、
構造内の複数のロケーションを横断するときに前記構造の内部の複数の画像を取り込むことと、
複数の測定セットを取り込むことと、ここにおいて、各測定セットが、少なくとも１つの画像に対応し、各測定セットが、慣性計測装置（ＩＭＵ）測定値または利用可能なワイヤレス測定値のうちの少なくとも１つを備える、
一部は前記取り込まれた画像と前記複数の測定セットとに基づき前記ＵＥの軌跡を推定することと、
前記推定される軌跡、取り込まれた画像、および対応する測定セットを前記ＵＥにワイヤレス方式で結合されたサーバに送信することと、
前記推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づき、前記構造のインドアマップを前記サーバから受信することと、ここにおいて、前記インドアマップが、絶対座標に位置合わせされ、前記ＵＥの補正された軌跡に関する情報を備える、を備える方法。
［Ｃ２］
前記ＵＥの前記軌跡を推定することは、
前記構造の付近の絶対座標の前記ＵＥのポジションを取得することと、
一部は、絶対座標で取得された前記ＵＥの前記ポジションに基づき、前記軌跡を推定することとを備えるＣ１に記載の方法。
［Ｃ３］
前記ＵＥの前記軌跡を推定することは、
視覚的同時ローカライゼーションおよびマッピング（ＶＳＬＡＭ）技術を前記複数の画像のサブセットに適用して、前記サブセット内の各画像に関して前記ＵＥの対応する自由度６（６ＤＯＦ）姿勢を決定することと、前記６ＤＯＦ姿勢が画像の前記サブセット内のキーポイントに基づき決定され、
前記サブセット内の各画像について、一部は、前記対応する６ＤＯＦ姿勢と、前記測定セットとに基づき、絶対座標の前記ＵＥの対応する姿勢を決定することとを備えるＣ２に記載の方法。
［Ｃ４］
絶対座標の前記ＵＥの前記対応する姿勢を決定することは、
前記サブセット内の各画像について、前記対応する６ＤＯＦ姿勢と前記対応する測定セットとを拡張カルマンフィルタ（ＥＫＦ）に与えること、ここにおいて、前記ＥＫＦは、絶対座標の前記ＵＥの前記対応する姿勢を決定する、を備えるＣ３に記載の方法。
［Ｃ５］
各測定セットは、
気圧測定値、または
高度計測定値、または
磁力計測定値のうちの１つまたは複数をさらに備えるＣ１に記載の方法。
［Ｃ６］
インドアマップは、前記絶対座標にアラインメントされた複数のレイヤを含むＣ５に記載の方法。
［Ｃ７］
前記複数のアラインメントされたレイヤは、
平面図マップ、または
３次元構造モデル、または
標準断熱減率モデルによって予測されない気圧に対する変化の注釈、または
標準地球磁場モデルによって予測されない磁場に対する変化の注釈、または
前記マッピングされた構造に関連付けられているＷＷＡＮ信号の減衰もしくは遅延、または
前記構造内のＷＷＡＮ信号強度の変化の注釈、または
前記マッピングされた構造に関連付けられているＷＬＡＮ信号の減衰もしくは遅延、または
前記構造内のＷＬＡＮ ＡＰロケーションの指示、または
前記構造内のＷＬＡＮ場強度の指示、または
前記構造内のＷＬＡＮ ＲＴＴ遅延較正の指示のうちの少なくとも２つを含むＣ６に記載の方法。
［Ｃ８］
前記ワイヤレス測定値は、
オブザーブドタイムディファレンスオブアライバル（ＯＴＤＯＡ）測定値、もしくは
基準信号時間差（ＲＳＴＤ）測定値、もしくは
アドバンスドフォワードリンクトライラテレーション（ＡＦＬＴ）測定値、もしくは
ハイブリッドＡＦＬＴ測定値、のうちの１つを備える
ワイヤレスワイドエリアネットワーク（ＷＷＡＮ）測定値、または
アクセスポイント（ＡＰ）信号の無線周波数（ＲＦ）測定値を備えるワイヤレスローカルエリアネットワーク（ＷＬＡＮ）測定値
のうちの１つまたは複数を備えるＣ１に記載の方法。
［Ｃ９］
前記ＵＥの前記補正された軌跡は、前記ＵＥの閉ループ軌跡に対応するＣ１に記載の方法。
［Ｃ１０］
前記方法は、前記ＵＥ上のマッピングアプリケーションによって実行される、ここにおいて、前記マッピングアプリケーションは、画像の前記取り込みに関係する命令を与えるＣ１に記載の方法。
［Ｃ１１］
ユーザ機器（ＵＥ）であって、
構造内の複数のロケーションを横断するときに前記構造の内部の複数の画像を取り込むように構成されたカメラと、
慣性計測装置（ＩＭＵ）を備える複数のセンサと、
利用可能なワイヤレス信号の測定を行うように構成されたワイヤレスモジュールと、
前記カメラ、センサ、およびワイヤレスモジュールに結合されたプロセッサとを備え、ここにおいて、前記プロセッサは、
構造の内部の前記複数の画像を取得し、
複数の測定セットを取得し、ここにおいて、各測定セットが、前記複数の画像のうちの少なくとも１つの画像に対応し、各測定セットが、ＩＭＵ測定値および利用可能なワイヤレス測定値のうちの少なくとも１つを備える、
一部は、前記取り込まれた画像と前記複数の測定セットとに基づき前記ＵＥの軌跡を推定し、
前記推定される軌跡、取り込まれた画像、および対応する測定セットを前記ＵＥにワイヤレス方式で結合されたサーバに送信し、
前記推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づき、前記構造のインドアマップを前記サーバから受信し、ここにおいて、前記インドアマップが、絶対座標に位置合わせされ、前記ＵＥの補正された軌跡に関する情報を備える、ように構成されるユーザ機器（ＵＥ）。
［Ｃ１２］
前記ＵＥの前記軌跡を推定するために、前記プロセッサは、
前記構造の付近の絶対座標の前記ＵＥのポジションを取得し、
一部は、絶対座標で取得された前記ＵＥの前記ポジションに基づき、前記ＵＥの前記軌跡を推定するように構成されるＣ１１に記載のＵＥ。
［Ｃ１３］
前記ＵＥの前記軌跡を推定するために、前記プロセッサは、
視覚的同時ローカライゼーションおよびマッピング（ＶＳＬＡＭ）技術を前記複数の画像のサブセットに適用して、前記サブセット内の各画像に関して前記ＵＥの対応する自由度６（６ＤＯＦ）姿勢を決定し、前記６ＤＯＦ姿勢が画像の前記サブセット内のキーポイントに基づき決定される、
前記サブセット内の各画像について、一部は、前記対応する６ＤＯＦ姿勢と、前記測定セットとに基づき、絶対座標の前記ＵＥの対応する姿勢を決定するように構成されるＣ１２に記載のＵＥ。
［Ｃ１４］
前記サブセット内の各画像に対応する絶対座標の前記ＵＥの姿勢を決定するために、前記プロセッサは、
前記サブセット内の各画像について、前記対応する６ＤＯＦ姿勢と前記対応する測定セットとを拡張カルマンフィルタ（ＥＫＦ）に与える、ここにおいて、前記ＥＫＦは、絶対座標の前記ＵＥの前記対応する姿勢を決定する、ように構成されるＣ１３に記載のＵＥ。
［Ｃ１５］
各測定セットは、
気圧測定値、または
高度計測定値、または
磁力計測定値のうちの１つまたは複数をさらに備えるＣ１１に記載のＵＥ。
［Ｃ１６］
インドアマップは、前記絶対座標にアラインメントされた複数のレイヤを含むＣ１５に記載のＵＥ。
［Ｃ１７］
前記複数のアラインメントされたレイヤは、
平面図マップ、または
３次元構造モデル、または
標準断熱減率モデルによって予測されない気圧に対する変化の注釈、または
標準地球磁場モデルによって予測されない磁場に対する変化の注釈、または
前記マッピングされた構造に関連付けられているＷＷＡＮ信号の減衰もしくは遅延、または
前記構造内のＷＷＡＮ信号強度の変化の注釈、または
前記マッピングされた構造に関連付けられているＷＬＡＮ信号の減衰もしくは遅延、または
前記構造内のＷＬＡＮ ＡＰロケーションの指示、または
前記構造内のＷＬＡＮ場強度の指示、または
前記構造内のＷＬＡＮ ＲＴＴ遅延較正の指示のうちの少なくとも２つを含むＣ１６に記載のＵＥ。
［Ｃ１８］
前記ワイヤレス測定値は、
オブザーブドタイムディファレンスオブアライバル（ＯＴＤＯＡ）測定値、または
基準信号時間差（ＲＳＴＤ）測定値、もしくは
アドバンスドフォワードリンクトライラテレーション（ＡＦＬＴ）測定値、もしくは
ハイブリッドＡＦＬＴ測定値、のうちの１つを備える
ワイヤレスワイドエリアネットワーク（ＷＷＡＮ）測定値、または
アクセスポイント（ＡＰ）信号の無線周波数（ＲＦ）測定値を備えるワイヤレスローカルエリアネットワーク（ＷＬＡＮ）測定値
のうちの１つまたは複数を備えるＣ１１に記載のＵＥ。
［Ｃ１９］
前記ＵＥの前記補正された軌跡は、前記ＵＥの閉ループ軌跡に対応するＣ１１に記載のＵＥ。
［Ｃ２０］
前記プロセッサは、画像の前記取り込みに関係するユーザ命令を与えるように構成されるＣ１１に記載のＵＥ。
［Ｃ２１］
ユーザ機器（ＵＥ）であって、
構造内の複数のロケーションを横断するときに前記構造の内部の複数の画像を取り込むように構成された撮像手段と、
慣性計測装置（ＩＭＵ）を備える感知手段と、
利用可能なワイヤレス信号の測定を行うように構成されたワイヤレス測定手段と、
構造の前記内部の前記複数の画像を取得するための手段と、
複数の測定セットを取り込むための手段と、ここにおいて、各測定セットが、前記複数の画像のうちの少なくとも１つの画像に対応し、各測定セットが、ＩＭＵ測定値および利用可能なワイヤレス測定値のうちの少なくとも１つを備える、
一部は前記取り込まれた画像と前記複数の測定セットとに基づき前記ＵＥの軌跡を推定するための手段と、
前記推定される軌跡、取り込まれた画像、および対応する測定セットを前記ＵＥにワイヤレス方式で結合されたサーバに送信するための手段と、
前記推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づき、前記構造のインドアマップを前記サーバから受信するための手段と、ここにおいて、前記インドアマップが、絶対座標に位置合わせされ、前記ＵＥの補正された軌跡に関する情報を備える、を備えるユーザ機器（ＵＥ）。
［Ｃ２２］
前記ＵＥの前記軌跡を推定するための手段は、
前記構造の付近の絶対座標の前記ＵＥのポジションを取得するための手段を備え、ここにおいて、前記ＵＥの前記軌跡を推定するための前記手段は、一部は、絶対座標で取得された前記ＵＥの前記ポジションに基づき、前記ＵＥの前記軌跡を推定するＣ２１に記載のＵＥ。
［Ｃ２３］
前記ＵＥの前記軌跡を推定するための手段は、
視覚的同時ローカライゼーションおよびマッピング（ＶＳＬＡＭ）技術を前記複数の画像のサブセットに適用して、前記サブセット内の各画像に関して前記ＵＥの対応する自由度６（６ＤＯＦ）姿勢を決定するための手段と、前記６ＤＯＦ姿勢が画像の前記サブセット内のキーポイントに基づき決定され、
前記サブセット内の各画像について、一部は、前記対応する６ＤＯＦ姿勢と、前記測定セットとに基づき、絶対座標の前記ＵＥの対応する姿勢を決定するための手段とを備えるＣ２２に記載のＵＥ。
［Ｃ２４］
前記サブセット内の各画像に対応する絶対座標の前記ＵＥの姿勢を決定するための手段は、
前記サブセット内の各画像について、前記対応する６ＤＯＦ姿勢と前記対応する測定セットとを拡張カルマンフィルタ（ＥＫＦ）手段に与えるための手段を備え、ここにおいて、前記ＥＫＦ手段は、絶対座標の前記ＵＥの前記対応する姿勢を決定するＣ２３に記載のＵＥ。
［Ｃ２５］
各測定セットは、
気圧測定値、または
高度計測定値、または
磁力計測定値のうちの１つまたは複数をさらに備えるＣ２１に記載のＵＥ。
［Ｃ２６］
非一時的コンピュータ可読媒体であって、プロセッサによって実行されたときに、前記プロセッサが、
構造内の複数のロケーションを横断するときに前記構造の内部の複数の画像を取り込み、
複数の測定セットを取り込み、ここにおいて、各測定セットが、少なくとも１つの画像に対応し、各測定セットが、慣性計測装置（ＩＭＵ）測定値または利用可能なワイヤレス測定値のうちの少なくとも１つを備える、
一部は、前記取り込まれた画像と前記複数の測定セットとに基づき前記ＵＥの軌跡を推定し、
前記推定される軌跡、取り込まれた画像、および対応する測定セットを前記ＵＥにワイヤレス方式で結合されたサーバに送信し、
前記推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づき、前記構造のインドアマップを前記サーバから受信し、ここにおいて、前記インドアマップが、絶対座標に位置合わせされ、前記ＵＥの補正された軌跡に関する情報を備える、ように構成されることを引き起こす命令を備える非一時的コンピュータ可読媒体。
［Ｃ２７］
前記ＵＥの軌跡を推定する前記命令は、前記プロセッサが、
前記構造の付近の絶対座標の前記ＵＥのポジションを取得し、
一部は、絶対座標で取得された前記ＵＥの前記ポジションに基づき、前記軌跡を推定することを引き起こすＣ２６に記載のコンピュータ可読媒体。
［Ｃ２８］
前記ＵＥの軌跡を推定する前記命令は、前記プロセッサが、
視覚的同時ローカライゼーションおよびマッピング（ＶＳＬＡＭ）技術を前記複数の画像のサブセットに適用して、前記サブセット内の各画像に関して前記ＵＥの対応する自由度６（６ＤＯＦ）姿勢を決定し、前記６ＤＯＦ姿勢が画像の前記サブセット内のキーポイントに基づき決定され、
前記サブセット内の各画像について、一部は、前記対応する６ＤＯＦ姿勢と、前記測定セットとに基づき、絶対座標の前記ＵＥの対応する姿勢を決定することを引き起こすＣ２７に記載のコンピュータ可読媒体。
［Ｃ２９］
絶対座標の前記ＵＥの前記対応する姿勢を決定する前記命令は、前記プロセッサが、
前記サブセット内の各画像について、前記対応する６ＤＯＦ姿勢と前記対応する測定セットとを拡張カルマンフィルタ（ＥＫＦ）に与え、ここにおいて、前記ＥＫＦは、絶対座標の前記ＵＥの前記対応する姿勢を決定する、ことを引き起こすＣ２８に記載のコンピュータ可読媒体。
［Ｃ３０］
各測定セットは、
気圧測定値、または
高度計測定値、または
磁力計測定値のうちの１つまたは複数をさらに備えるＣ２６に記載のコンピュータ可読媒体。

Claims (30)

  1. ユーザ機器（ＵＥ）上の方法であって、
    構造内の複数のロケーションを横断するときに前記構造の内部の複数の画像を取り込むことと、
    複数の測定セットを取り込むことと、ここにおいて、各測定セットが、少なくとも１つの画像に対応し、各測定セットが、慣性計測装置（ＩＭＵ）測定値または利用可能なワイヤレス測定値のうちの少なくとも１つを備える、
    一部は前記取り込まれた画像と前記複数の測定セットとに基づき前記ＵＥの軌跡を推定することと、
    前記推定される軌跡、取り込まれた画像、および対応する測定セットを前記ＵＥにワイヤレス方式で結合されたサーバに送信することと、
    前記推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づき、前記構造のインドアマップを前記サーバから受信することと、ここにおいて、前記インドアマップが、絶対座標に位置合わせされ、前記ＵＥの補正された軌跡に関する情報を備える、を備える方法。
  2. 前記ＵＥの前記軌跡を推定することは、
    前記構造の付近の絶対座標の前記ＵＥのポジションを取得することと、
    一部は、絶対座標で取得された前記ＵＥの前記ポジションに基づき、前記軌跡を推定することとを備える請求項１に記載の方法。
  3. 前記ＵＥの前記軌跡を推定することは、
    視覚的同時ローカライゼーションおよびマッピング（ＶＳＬＡＭ）技術を前記複数の画像のサブセットに適用して、前記サブセット内の各画像に関して前記ＵＥの対応する自由度６（６ＤＯＦ）姿勢を決定することと、前記６ＤＯＦ姿勢が画像の前記サブセット内のキーポイントに基づき決定され、
    前記サブセット内の各画像について、一部は、前記対応する６ＤＯＦ姿勢と、前記測定セットとに基づき、絶対座標の前記ＵＥの対応する姿勢を決定することとを備える請求項２に記載の方法。
  4. 絶対座標の前記ＵＥの前記対応する姿勢を決定することは、
    前記サブセット内の各画像について、前記対応する６ＤＯＦ姿勢と前記対応する測定セットとを拡張カルマンフィルタ（ＥＫＦ）に与えること、ここにおいて、前記ＥＫＦは、絶対座標の前記ＵＥの前記対応する姿勢を決定する、を備える請求項３に記載の方法。
  5. 各測定セットは、
    気圧測定値、または
    高度計測定値、または
    磁力計測定値のうちの１つまたは複数をさらに備える請求項１に記載の方法。
  6. インドアマップは、前記絶対座標にアラインメントされた複数のレイヤを含む請求項５に記載の方法。
  7. 前記複数のアラインメントされたレイヤは、
    平面図マップ、または
    ３次元構造モデル、または
    標準断熱減率モデルによって予測されない気圧に対する変化の注釈、または
    標準地球磁場モデルによって予測されない磁場に対する変化の注釈、または
    前記マッピングされた構造に関連付けられているＷＷＡＮ信号の減衰もしくは遅延、または
    前記構造内のＷＷＡＮ信号強度の変化の注釈、または
    前記マッピングされた構造に関連付けられているＷＬＡＮ信号の減衰もしくは遅延、または
    前記構造内のＷＬＡＮ ＡＰロケーションの指示、または
    前記構造内のＷＬＡＮ場強度の指示、または
    前記構造内のＷＬＡＮ ＲＴＴ遅延較正の指示のうちの少なくとも２つを含む請求項６に記載の方法。
  8. 前記ワイヤレス測定値は、
    オブザーブドタイムディファレンスオブアライバル（ＯＴＤＯＡ）測定値、もしくは
    基準信号時間差（ＲＳＴＤ）測定値、もしくは
    アドバンスドフォワードリンクトライラテレーション（ＡＦＬＴ）測定値、もしくは
    ハイブリッドＡＦＬＴ測定値、のうちの１つを備える
    ワイヤレスワイドエリアネットワーク（ＷＷＡＮ）測定値、または
    アクセスポイント（ＡＰ）信号の無線周波数（ＲＦ）測定値を備えるワイヤレスローカルエリアネットワーク（ＷＬＡＮ）測定値
    のうちの１つまたは複数を備える請求項１に記載の方法。
  9. 前記ＵＥの前記補正された軌跡は、前記ＵＥの閉ループ軌跡に対応する請求項１に記載の方法。
  10. 前記方法は、前記ＵＥ上のマッピングアプリケーションによって実行される、ここにおいて、前記マッピングアプリケーションは、画像の前記取り込みに関係する命令を与える請求項１に記載の方法。
  11. ユーザ機器（ＵＥ）であって、
    構造内の複数のロケーションを横断するときに前記構造の内部の複数の画像を取り込むように構成されたカメラと、
    慣性計測装置（ＩＭＵ）を備える複数のセンサと、
    利用可能なワイヤレス信号の測定を行うように構成されたワイヤレスモジュールと、
    前記カメラ、センサ、およびワイヤレスモジュールに結合されたプロセッサとを備え、ここにおいて、前記プロセッサは、
    構造の内部の前記複数の画像を取得し、
    複数の測定セットを取得し、ここにおいて、各測定セットが、前記複数の画像のうちの少なくとも１つの画像に対応し、各測定セットが、ＩＭＵ測定値および利用可能なワイヤレス測定値のうちの少なくとも１つを備える、
    一部は、前記取り込まれた画像と前記複数の測定セットとに基づき前記ＵＥの軌跡を推定し、
    前記推定される軌跡、取り込まれた画像、および対応する測定セットを前記ＵＥにワイヤレス方式で結合されたサーバに送信し、
    前記推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づき、前記構造のインドアマップを前記サーバから受信し、ここにおいて、前記インドアマップが、絶対座標に位置合わせされ、前記ＵＥの補正された軌跡に関する情報を備える、ように構成されるユーザ機器（ＵＥ）。
  12. 前記ＵＥの前記軌跡を推定するために、前記プロセッサは、
    前記構造の付近の絶対座標の前記ＵＥのポジションを取得し、
    一部は、絶対座標で取得された前記ＵＥの前記ポジションに基づき、前記ＵＥの前記軌跡を推定するように構成される請求項１１に記載のＵＥ。
  13. 前記ＵＥの前記軌跡を推定するために、前記プロセッサは、
    視覚的同時ローカライゼーションおよびマッピング（ＶＳＬＡＭ）技術を前記複数の画像のサブセットに適用して、前記サブセット内の各画像に関して前記ＵＥの対応する自由度６（６ＤＯＦ）姿勢を決定し、前記６ＤＯＦ姿勢が画像の前記サブセット内のキーポイントに基づき決定される、
    前記サブセット内の各画像について、一部は、前記対応する６ＤＯＦ姿勢と、前記測定セットとに基づき、絶対座標の前記ＵＥの対応する姿勢を決定するように構成される請求項１２に記載のＵＥ。
  14. 前記サブセット内の各画像に対応する絶対座標の前記ＵＥの姿勢を決定するために、前記プロセッサは、
    前記サブセット内の各画像について、前記対応する６ＤＯＦ姿勢と前記対応する測定セットとを拡張カルマンフィルタ（ＥＫＦ）に与える、ここにおいて、前記ＥＫＦは、絶対座標の前記ＵＥの前記対応する姿勢を決定する、ように構成される請求項１３に記載のＵＥ。
  15. 各測定セットは、
    気圧測定値、または
    高度計測定値、または
    磁力計測定値のうちの１つまたは複数をさらに備える請求項１１に記載のＵＥ。
  16. インドアマップは、前記絶対座標にアラインメントされた複数のレイヤを含む請求項１５に記載のＵＥ。
  17. 前記複数のアラインメントされたレイヤは、
    平面図マップ、または
    ３次元構造モデル、または
    標準断熱減率モデルによって予測されない気圧に対する変化の注釈、または
    標準地球磁場モデルによって予測されない磁場に対する変化の注釈、または
    前記マッピングされた構造に関連付けられているＷＷＡＮ信号の減衰もしくは遅延、または
    前記構造内のＷＷＡＮ信号強度の変化の注釈、または
    前記マッピングされた構造に関連付けられているＷＬＡＮ信号の減衰もしくは遅延、または
    前記構造内のＷＬＡＮ ＡＰロケーションの指示、または
    前記構造内のＷＬＡＮ場強度の指示、または
    前記構造内のＷＬＡＮ ＲＴＴ遅延較正の指示のうちの少なくとも２つを含む請求項１６に記載のＵＥ。
  18. 前記ワイヤレス測定値は、
    オブザーブドタイムディファレンスオブアライバル（ＯＴＤＯＡ）測定値、または
    基準信号時間差（ＲＳＴＤ）測定値、もしくは
    アドバンスドフォワードリンクトライラテレーション（ＡＦＬＴ）測定値、もしくは
    ハイブリッドＡＦＬＴ測定値、のうちの１つを備える
    ワイヤレスワイドエリアネットワーク（ＷＷＡＮ）測定値、または
    アクセスポイント（ＡＰ）信号の無線周波数（ＲＦ）測定値を備えるワイヤレスローカルエリアネットワーク（ＷＬＡＮ）測定値
    のうちの１つまたは複数を備える請求項１１に記載のＵＥ。
  19. 前記ＵＥの前記補正された軌跡は、前記ＵＥの閉ループ軌跡に対応する請求項１１に記載のＵＥ。
  20. 前記プロセッサは、画像の前記取り込みに関係するユーザ命令を与えるように構成される請求項１１に記載のＵＥ。
  21. ユーザ機器（ＵＥ）であって、
    構造内の複数のロケーションを横断するときに前記構造の内部の複数の画像を取り込むように構成された撮像手段と、
    慣性計測装置（ＩＭＵ）を備える感知手段と、
    利用可能なワイヤレス信号の測定を行うように構成されたワイヤレス測定手段と、
    構造の前記内部の前記複数の画像を取得するための手段と、
    複数の測定セットを取り込むための手段と、ここにおいて、各測定セットが、前記複数の画像のうちの少なくとも１つの画像に対応し、各測定セットが、ＩＭＵ測定値および利用可能なワイヤレス測定値のうちの少なくとも１つを備える、
    一部は前記取り込まれた画像と前記複数の測定セットとに基づき前記ＵＥの軌跡を推定するための手段と、
    前記推定される軌跡、取り込まれた画像、および対応する測定セットを前記ＵＥにワイヤレス方式で結合されたサーバに送信するための手段と、
    前記推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づき、前記構造のインドアマップを前記サーバから受信するための手段と、ここにおいて、前記インドアマップが、絶対座標に位置合わせされ、前記ＵＥの補正された軌跡に関する情報を備える、を備えるユーザ機器（ＵＥ）。
  22. 前記ＵＥの前記軌跡を推定するための手段は、
    前記構造の付近の絶対座標の前記ＵＥのポジションを取得するための手段を備え、ここにおいて、前記ＵＥの前記軌跡を推定するための前記手段は、一部は、絶対座標で取得された前記ＵＥの前記ポジションに基づき、前記ＵＥの前記軌跡を推定する請求項２１に記載のＵＥ。
  23. 前記ＵＥの前記軌跡を推定するための手段は、
    視覚的同時ローカライゼーションおよびマッピング（ＶＳＬＡＭ）技術を前記複数の画像のサブセットに適用して、前記サブセット内の各画像に関して前記ＵＥの対応する自由度６（６ＤＯＦ）姿勢を決定するための手段と、前記６ＤＯＦ姿勢が画像の前記サブセット内のキーポイントに基づき決定され、
    前記サブセット内の各画像について、一部は、前記対応する６ＤＯＦ姿勢と、前記測定セットとに基づき、絶対座標の前記ＵＥの対応する姿勢を決定するための手段とを備える請求項２２に記載のＵＥ。
  24. 前記サブセット内の各画像に対応する絶対座標の前記ＵＥの姿勢を決定するための手段は、
    前記サブセット内の各画像について、前記対応する６ＤＯＦ姿勢と前記対応する測定セットとを拡張カルマンフィルタ（ＥＫＦ）手段に与えるための手段を備え、ここにおいて、前記ＥＫＦ手段は、絶対座標の前記ＵＥの前記対応する姿勢を決定する請求項２３に記載のＵＥ。
  25. 各測定セットは、
    気圧測定値、または
    高度計測定値、または
    磁力計測定値のうちの１つまたは複数をさらに備える請求項２１に記載のＵＥ。
  26. 非一時的コンピュータ可読媒体であって、プロセッサによって実行されたときに、前記プロセッサが、
    構造内の複数のロケーションを横断するときに前記構造の内部の複数の画像を取り込み、
    複数の測定セットを取り込み、ここにおいて、各測定セットが、少なくとも１つの画像に対応し、各測定セットが、慣性計測装置（ＩＭＵ）測定値または利用可能なワイヤレス測定値のうちの少なくとも１つを備える、
    一部は、前記取り込まれた画像と前記複数の測定セットとに基づき前記ＵＥの軌跡を推定し、
    前記推定される軌跡、取り込まれた画像、および対応する測定セットを前記ＵＥにワイヤレス方式で結合されたサーバに送信し、
    前記推定される軌跡と、取り込まれた画像と、対応する測定セットとに基づき、前記構造のインドアマップを前記サーバから受信し、ここにおいて、前記インドアマップが、絶対座標に位置合わせされ、前記ＵＥの補正された軌跡に関する情報を備える、ように構成されることを引き起こす命令を備える非一時的コンピュータ可読媒体。
  27. 前記ＵＥの軌跡を推定する前記命令は、前記プロセッサが、
    前記構造の付近の絶対座標の前記ＵＥのポジションを取得し、
    一部は、絶対座標で取得された前記ＵＥの前記ポジションに基づき、前記軌跡を推定することを引き起こす請求項２６に記載のコンピュータ可読媒体。
  28. 前記ＵＥの軌跡を推定する前記命令は、前記プロセッサが、
    視覚的同時ローカライゼーションおよびマッピング（ＶＳＬＡＭ）技術を前記複数の画像のサブセットに適用して、前記サブセット内の各画像に関して前記ＵＥの対応する自由度６（６ＤＯＦ）姿勢を決定し、前記６ＤＯＦ姿勢が画像の前記サブセット内のキーポイントに基づき決定され、
    前記サブセット内の各画像について、一部は、前記対応する６ＤＯＦ姿勢と、前記測定セットとに基づき、絶対座標の前記ＵＥの対応する姿勢を決定することを引き起こす請求項２７に記載のコンピュータ可読媒体。
  29. 絶対座標の前記ＵＥの前記対応する姿勢を決定する前記命令は、前記プロセッサが、
    前記サブセット内の各画像について、前記対応する６ＤＯＦ姿勢と前記対応する測定セットとを拡張カルマンフィルタ（ＥＫＦ）に与え、ここにおいて、前記ＥＫＦは、絶対座標の前記ＵＥの前記対応する姿勢を決定する、ことを引き起こす請求項２８に記載のコンピュータ可読媒体。
  30. 各測定セットは、
    気圧測定値、または
    高度計測定値、または
    磁力計測定値のうちの１つまたは複数をさらに備える請求項２６に記載のコンピュータ可読媒体。
JP2016517474A 2013-09-27 2014-09-26 ハイブリッドフォトナビゲーションおよびマッピング Expired - Fee Related JP6072360B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361883921P 2013-09-27 2013-09-27
US61/883,921 2013-09-27
US14/497,219 2014-09-25
US14/497,219 US9400930B2 (en) 2013-09-27 2014-09-25 Hybrid photo navigation and mapping
PCT/US2014/057702 WO2015048434A1 (en) 2013-09-27 2014-09-26 Hybrid photo navigation and mapping

Publications (2)

Publication Number Publication Date
JP2016540186A true JP2016540186A (ja) 2016-12-22
JP6072360B2 JP6072360B2 (ja) 2017-02-01

Family

ID=52739773

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016517474A Expired - Fee Related JP6072360B2 (ja) 2013-09-27 2014-09-26 ハイブリッドフォトナビゲーションおよびマッピング
JP2016517477A Expired - Fee Related JP6072361B2 (ja) 2013-09-27 2014-09-26 外部ハイブリッドフォトマッピング

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2016517477A Expired - Fee Related JP6072361B2 (ja) 2013-09-27 2014-09-26 外部ハイブリッドフォトマッピング

Country Status (6)

Country Link
US (4) US20150092048A1 (ja)
EP (2) EP3049821B1 (ja)
JP (2) JP6072360B2 (ja)
KR (2) KR101750469B1 (ja)
CN (2) CN105556329B (ja)
WO (3) WO2015048397A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101988555B1 (ko) * 2017-12-05 2019-06-12 충북대학교 산학협력단 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법
KR20200038998A (ko) * 2017-08-21 2020-04-14 소니 주식회사 포지셔닝 데이터의 보고 방법
JP2020077372A (ja) * 2018-09-28 2020-05-21 ネイバーラボス コーポレーションＮＡＶＥＲ ＬＡＢＳ Ｃｏｒｐｏｒａｔｉｏｎ データ収集方法及びそのシステム
JP2021530821A (ja) * 2018-07-06 2021-11-11 ノキア テクノロジーズ オサケユイチア 三次元無線モデル構築を実行するための方法、装置およびコンピュータプログラム
JP2021532462A (ja) * 2018-07-13 2021-11-25 ラブラドール システムズ インコーポレイテッド 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション
JP7472235B2 (ja) 2018-09-07 2024-04-22 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 同時に位置特定およびマッピングを実行するためのデバイスおよび方法

Families Citing this family (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9733091B2 (en) * 2007-05-31 2017-08-15 Trx Systems, Inc. Collaborative creation of indoor maps
US9766074B2 (en) * 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
CN102960037B (zh) * 2010-05-19 2016-08-10 诺基亚技术有限公司 物理上约束的无线电地图
US20160349057A1 (en) * 2010-10-13 2016-12-01 Elbit Systems Ltd. Multiple data sources pedestrian navigation system
US9625720B2 (en) * 2012-01-24 2017-04-18 Accipiter Radar Technologies Inc. Personal electronic target vision system, device and method
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US20150092048A1 (en) 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation
US20150219767A1 (en) * 2014-02-03 2015-08-06 Board Of Regents, The University Of Texas System System and method for using global navigation satellite system (gnss) navigation and visual navigation to recover absolute position and attitude without any prior association of visual features with known coordinates
CN106959103B (zh) 2014-05-05 2019-12-31 赫克斯冈技术中心 测量子系统和测量系统
US9964409B1 (en) * 2014-05-27 2018-05-08 Apple Inc. Localized map generation
US10547825B2 (en) 2014-09-22 2020-01-28 Samsung Electronics Company, Ltd. Transmission of three-dimensional video
US11205305B2 (en) 2014-09-22 2021-12-21 Samsung Electronics Company, Ltd. Presentation of three-dimensional video
US9488481B2 (en) * 2014-10-14 2016-11-08 General Electric Company Map presentation for multi-floor buildings
WO2016077057A2 (en) * 2014-10-24 2016-05-19 Bounce Imaging, Inc. Imaging systems and methods
WO2016069498A1 (en) * 2014-10-26 2016-05-06 Galileo Group, Inc. Temporal processes for aggregating multi dimensional data collection from discrete and distributed collectors using machine-to-machine networks and smartphones to provide enhanced space-time perspective for monitoring changes using algorithmic techniques
US20160295548A1 (en) * 2015-04-03 2016-10-06 Hyundai Motor Company Apparatus for Controlling Message Receiving Mode and Method Thereof
US20160314592A1 (en) * 2015-04-23 2016-10-27 Nokia Technologies Oy Method and apparatus for registration of interior and exterior three dimensional scans based on a semantic feature of a structure
US10033941B2 (en) * 2015-05-11 2018-07-24 Google Llc Privacy filtering of area description file prior to upload
US10878278B1 (en) * 2015-05-16 2020-12-29 Sturfee, Inc. Geo-localization based on remotely sensed visual features
EP3304985B1 (en) * 2015-05-25 2020-03-18 Telefonaktiebolaget LM Ericsson (PUBL) Adaptive measurement report mapping for ue positioning
CN107534840A (zh) * 2015-06-29 2018-01-02 尤比库姆特有限责任公司 在无线局域网络中的帧时间同步化
JP6594686B2 (ja) * 2015-07-14 2019-10-23 東急建設株式会社 三次元形状計測装置、三次元形状計測方法、及びプログラム
WO2017010230A1 (ja) * 2015-07-16 2017-01-19 日本電信電話株式会社 衛星信号受信装置、衛星信号受信方法及びプログラム
US10324195B2 (en) 2015-07-27 2019-06-18 Qualcomm Incorporated Visual inertial odometry attitude drift calibration
US10048058B2 (en) * 2015-07-29 2018-08-14 Microsoft Technology Licensing, Llc Data capture system for texture and geometry acquisition
US9738399B2 (en) * 2015-07-29 2017-08-22 Hon Hai Precision Industry Co., Ltd. Unmanned aerial vehicle control method and unmanned aerial vehicle using same
WO2017020170A1 (en) 2015-07-31 2017-02-09 SZ DJI Technology Co., Ltd. System and method for image processing
DE102015010264A1 (de) * 2015-08-08 2017-02-09 Testo Ag Verfahren zur Erstellung einer 3D-Repräsentation und korrespondierende Bildaufnahmevorrichtung
WO2017026758A1 (ko) * 2015-08-12 2017-02-16 엘지전자 주식회사 무선 통신 시스템에서 단말 위치를 측정하기 위한 방법 및 이를 수행하는 장치
US9952354B2 (en) 2015-09-11 2018-04-24 At&T Intellectual Property I, L.P. User equipment local barometric calibration
US9772395B2 (en) 2015-09-25 2017-09-26 Intel Corporation Vision and radio fusion based precise indoor localization
US10395116B2 (en) * 2015-10-29 2019-08-27 Hand Held Products, Inc. Dynamically created and updated indoor positioning map
US10706615B2 (en) * 2015-12-08 2020-07-07 Matterport, Inc. Determining and/or generating data for an architectural opening area associated with a captured three-dimensional model
US20170178330A1 (en) * 2015-12-17 2017-06-22 Institute For Information Industry System and method for interior mobile mapping
EP3407796A4 (en) * 2016-01-29 2019-09-04 Noble Sensors, LLC POSITION CORRELATED ULTRASONIC IMAGE GENERATION
US10132933B2 (en) * 2016-02-02 2018-11-20 Qualcomm Incorporated Alignment of visual inertial odometry and satellite positioning system reference frames
US10565723B2 (en) * 2016-02-02 2020-02-18 Samsung Electronics Co., Ltd. Systems and methods for drift correction
US10591593B2 (en) 2016-03-19 2020-03-17 Hipscience, Llc Point of reference displacement and motion sensor
US10579162B2 (en) 2016-03-24 2020-03-03 Samsung Electronics Co., Ltd. Systems and methods to correct a vehicle induced change of direction
US11232583B2 (en) * 2016-03-25 2022-01-25 Samsung Electronics Co., Ltd. Device for and method of determining a pose of a camera
US11313684B2 (en) * 2016-03-28 2022-04-26 Sri International Collaborative navigation and mapping
US10820336B2 (en) * 2016-04-01 2020-10-27 Intel Corporation Geo-information reporting for vehicle-to-vehicle sidelink communications
US10719983B2 (en) * 2016-04-06 2020-07-21 Anagog Ltd. Three dimensional map generation based on crowdsourced positioning readings
WO2017184040A1 (en) * 2016-04-20 2017-10-26 Telefonaktiebolaget Lm Ericsson (Publ) A wireless device, a positioning node and methods therein for positioning of a wireless device in a wireless communications network
US10234856B2 (en) * 2016-05-12 2019-03-19 Caterpillar Inc. System and method for controlling a machine
US10890600B2 (en) 2016-05-18 2021-01-12 Google Llc Real-time visual-inertial motion tracking fault detection
US11017610B2 (en) * 2016-05-18 2021-05-25 Google Llc System and method for fault detection and recovery for concurrent odometry and mapping
US10802147B2 (en) 2016-05-18 2020-10-13 Google Llc System and method for concurrent odometry and mapping
US9965689B2 (en) * 2016-06-09 2018-05-08 Qualcomm Incorporated Geometric matching in visual navigation systems
NZ749916A (en) * 2016-06-14 2020-07-31 Rodney Herring Software-defined radio earth atmosphere imager
EP3479160A4 (en) 2016-06-30 2020-03-25 Magic Leap, Inc. ESTIMATE OF THE POSE IN A 3D SPACE
TWI594643B (zh) * 2016-07-01 2017-08-01 晶睿通訊股份有限公司 無線收發系統、無線接收裝置及無線收發方法
CN107621265A (zh) * 2016-07-14 2018-01-23 百度在线网络技术（北京）有限公司 一种用于进行室内导航的方法和装置
US10012517B2 (en) * 2016-08-01 2018-07-03 Infinity Augmented Reality Israel Ltd. Method and system for calibrating components of an inertial measurement unit (IMU) using scene-captured data
KR20210025721A (ko) * 2016-08-02 2021-03-09 매직 립, 인코포레이티드 고정-거리 가상 및 증강 현실 시스템들 및 방법들
US11367246B2 (en) 2016-08-19 2022-06-21 Movidius Ltd. Operations using sparse volumetric data
CN106403942B (zh) * 2016-08-30 2022-04-29 全球能源互联网研究院 基于变电站景深图像识别的人员室内惯性定位方法
US10928245B2 (en) * 2016-09-15 2021-02-23 Siteco Gmbh Light measurement using an autonomous vehicle
US10210603B2 (en) * 2016-10-17 2019-02-19 Conduent Business Services Llc Store shelf imaging system and method
TWI619093B (zh) * 2016-10-19 2018-03-21 財團法人資訊工業策進會 視覺定位裝置、方法及其電腦程式產品
US10928821B2 (en) 2016-11-04 2021-02-23 Intel Corporation Unmanned aerial vehicle-based systems and methods for generating landscape models
CN117824676A (zh) * 2016-12-09 2024-04-05 通腾全球信息公司 用于基于视频的定位及映射的方法及系统
GB201621903D0 (en) * 2016-12-21 2017-02-01 Blue Vision Labs Uk Ltd Localisation
WO2018119889A1 (zh) * 2016-12-29 2018-07-05 深圳前海达闼云端智能科技有限公司 三维场景定位方法和装置
TW201823687A (zh) * 2016-12-30 2018-07-01 鴻海精密工業股份有限公司 導航系統及其使用方法
US10371530B2 (en) * 2017-01-04 2019-08-06 Qualcomm Incorporated Systems and methods for using a global positioning system velocity in visual-inertial odometry
US10893182B2 (en) 2017-01-10 2021-01-12 Galileo Group, Inc. Systems and methods for spectral imaging with compensation functions
CN106899935B (zh) * 2017-01-18 2018-08-14 深圳大学 一种基于无线接收设备和摄像头的室内定位方法及系统
US11205283B2 (en) * 2017-02-16 2021-12-21 Qualcomm Incorporated Camera auto-calibration with gyroscope
US10816676B2 (en) * 2017-02-25 2020-10-27 Uti Limited Partnership GNSS/INS integration deep inside of inertial sensors
US10327218B2 (en) 2017-03-16 2019-06-18 Qualcomm Incorporated Robust downlink positioning
US10097757B1 (en) * 2017-03-24 2018-10-09 Fotonation Limited Method for determining bias in an inertial measurement unit of an image acquisition device
CN110520904B (zh) 2017-03-29 2023-07-25 乐天集团股份有限公司 显示控制装置、显示控制方法及程序
KR102309297B1 (ko) * 2017-03-31 2021-10-06 엘지전자 주식회사 단말기 및 그 제어 방법
GB201705767D0 (en) * 2017-04-10 2017-05-24 Blue Vision Labs Uk Ltd Co-localisation
US11740083B2 (en) * 2017-05-04 2023-08-29 Google Llc Methods and apparatus for curbside surveying
US10664502B2 (en) 2017-05-05 2020-05-26 Irobot Corporation Methods, systems, and devices for mapping wireless communication signals for mobile robot guidance
US10495762B2 (en) 2017-05-19 2019-12-03 Qualcomm Incorporated Non-line-of-sight (NLoS) satellite detection at a vehicle using a camera
CN107218935A (zh) * 2017-05-23 2017-09-29 河南华泰规划勘测设计咨询有限公司 一种室内空间测绘数据管理系统
US10417816B2 (en) * 2017-06-16 2019-09-17 Nauto, Inc. System and method for digital environment reconstruction
CN107167143A (zh) * 2017-07-05 2017-09-15 乐高乐佳（北京）信息技术有限公司 基于关键点的导向性导航方法、装置及设备
CN107257547B (zh) * 2017-07-18 2020-05-22 歌尔科技有限公司 设备定位方法及装置
CN110019570B (zh) * 2017-07-21 2020-03-20 百度在线网络技术（北京）有限公司 用于构建地图的方法、装置及终端设备
GB201712126D0 (en) * 2017-07-27 2017-09-13 Crofton Group Ltd 3D model generation system and method
US10375669B2 (en) * 2017-08-04 2019-08-06 Qualcomm Incorporated Methods and systems for locating a mobile device using an asynchronous wireless network
CN107577646A (zh) * 2017-08-23 2018-01-12 上海莫斐信息技术有限公司 一种高精度轨迹运算方法及系统
US10848199B1 (en) * 2017-08-29 2020-11-24 Syed Karim Systems and methods for communicating data over satellites
CN107703144A (zh) * 2017-08-29 2018-02-16 南京航空航天大学 一种用于辅助船舶检测的穿戴式设备及检测方法
CN107784633B (zh) * 2017-09-04 2021-04-13 黄仁杰 适用于平面测量的无人机航拍图像校准方法
CN107421537B (zh) * 2017-09-14 2020-07-17 桂林电子科技大学 基于惯性传感器刚体网格的物体运动姿态感知方法和系统
US10776652B2 (en) * 2017-09-28 2020-09-15 Baidu Usa Llc Systems and methods to improve visual feature detection using motion-related data
US10802157B2 (en) * 2017-09-28 2020-10-13 Apple Inc. Three-dimensional city models and shadow mapping to improve altitude fixes in urban environments
US11175148B2 (en) * 2017-09-28 2021-11-16 Baidu Usa Llc Systems and methods to accommodate state transitions in mapping
WO2019083345A1 (ko) * 2017-10-27 2019-05-02 엘지전자 주식회사 무선통신시스템에서 단말이 otdoa와 관련된 동작을 수행하는 방법 및 이를 위한 장치
CN109831736B (zh) * 2017-11-23 2022-01-18 腾讯科技（深圳）有限公司 一种数据处理方法、装置、服务器及客户端
US11740321B2 (en) * 2017-11-30 2023-08-29 Apple Inc. Visual inertial odometry health fitting
CN108235256B (zh) * 2017-12-29 2021-09-14 幻视信息科技（深圳）有限公司 一种基于slam的复合定位方法、装置及存储介质
WO2019151427A1 (ja) * 2018-02-02 2019-08-08 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報送信方法及びクライアント装置
CN108376415B (zh) * 2018-02-13 2022-01-21 中国联合网络通信集团有限公司 一种轨迹填充的方法及装置
JP6923739B2 (ja) * 2018-02-28 2021-08-25 古野電気株式会社 航法装置、ｖｓｌａｍ補正方法、空間情報推定方法、ｖｓｌａｍ補正プログラム、および、空間情報推定プログラム
CN108490388B (zh) * 2018-03-13 2021-06-29 同济大学 一种基于uwb与vlc技术的多源联合室内定位方法
US10982968B2 (en) 2018-03-29 2021-04-20 Nio Usa, Inc. Sensor fusion methods for augmented reality navigation
CN109029496B (zh) * 2018-05-30 2022-03-08 北京市遥感信息研究所 一种适用于大面阵光学相机单场地辐射定标方法
US10970924B2 (en) * 2018-06-17 2021-04-06 Foresight Ai Inc. Reconstruction of a scene from a moving camera
CN108988974B (zh) * 2018-06-19 2020-04-07 远形时空科技（北京）有限公司 时间延时的测量方法、装置和对电子设备时间同步的系统
CN109074407A (zh) * 2018-07-23 2018-12-21 深圳前海达闼云端智能科技有限公司 多源数据建图方法、相关装置及计算机可读存储介质
US11080877B2 (en) 2018-08-02 2021-08-03 Matthew B. Schoen Systems and methods of measuring an object in a scene of a captured image
US11200421B1 (en) * 2018-08-22 2021-12-14 United Services Automobile Association (Usaa) Guided inspection system and method
US10834532B2 (en) * 2018-08-23 2020-11-10 NEC Laboratories Europe GmbH Method and system for wireless localization data acquisition and calibration with image localization
CN109195106B (zh) * 2018-09-17 2020-01-03 北京三快在线科技有限公司 列车内定位方法和装置
JP7190500B2 (ja) * 2018-09-21 2022-12-15 古野電気株式会社 航法装置、航法支援情報の生成方法、および、航法支援情報の生成プログラム
US11061145B2 (en) * 2018-11-19 2021-07-13 The Boeing Company Systems and methods of adjusting position information
CN109520503A (zh) * 2018-11-27 2019-03-26 南京工业大学 一种平方根容积模糊自适应卡尔曼滤波slam方法
EP3668197B1 (en) 2018-12-12 2021-11-03 Rohde & Schwarz GmbH & Co. KG Method and radio for setting the transmission power of a radio transmission
US10823562B1 (en) 2019-01-10 2020-11-03 State Farm Mutual Automobile Insurance Company Systems and methods for enhanced base map generation
CN109859178B (zh) * 2019-01-18 2020-11-03 北京航空航天大学 一种基于fpga的红外遥感图像实时目标检测方法
US11004224B2 (en) * 2019-01-22 2021-05-11 Velodyne Lidar Usa, Inc. Generation of structured map data from vehicle sensors and camera arrays
US11105735B1 (en) * 2019-02-19 2021-08-31 United Services Automobile Association (Usaa) Systems and methods for detecting properties relating to building components
US10922831B2 (en) * 2019-02-20 2021-02-16 Dell Products, L.P. Systems and methods for handling multiple simultaneous localization and mapping (SLAM) sources and algorithms in virtual, augmented, and mixed reality (xR) applications
JP7291775B2 (ja) * 2019-02-25 2023-06-15 古野電気株式会社 移動情報算出装置、および、移動情報算出方法
US11037018B2 (en) 2019-04-09 2021-06-15 Simmonds Precision Products, Inc. Navigation augmentation system and method
US11249197B2 (en) 2019-05-03 2022-02-15 Apple Inc. Image-based techniques for stabilizing positioning estimates
CN110376431A (zh) * 2019-05-29 2019-10-25 国网宁夏电力有限公司电力科学研究院 一种计量采集异常故障的解决方法
EP3983752A4 (en) * 2019-06-17 2023-08-02 Rohit Seth RELATIVE POSITION TRACKING USING A MOTION SENSOR WITH DRIFT CORRECTION
CN110519701B (zh) * 2019-08-15 2021-02-12 广州小鹏汽车科技有限公司 定位信息的创建方法、车载终端、服务器设备和定位系统
CN112400122A (zh) * 2019-08-26 2021-02-23 北京航迹科技有限公司 定位目标对象的系统和方法
US10908299B1 (en) * 2019-08-30 2021-02-02 Huawei Technologies Co., Ltd. User equipment positioning apparatus and methods
CN110634104B (zh) * 2019-09-05 2022-11-18 北京智行者科技股份有限公司 多地图拼接方法及装置
CN110706356B (zh) * 2019-09-19 2023-06-16 阿波罗智联(北京)科技有限公司 路径绘制方法、装置、电子设备和存储介质
CN110645986B (zh) * 2019-09-27 2023-07-14 Oppo广东移动通信有限公司 定位方法及装置、终端、存储介质
CN110702139B (zh) * 2019-09-29 2021-08-27 百度在线网络技术（北京）有限公司 一种时延标定方法、装置、电子设备和介质
AU2020363458A1 (en) * 2019-10-11 2022-04-28 Foundat Pty Ltd Geographically referencing an item
US11417104B2 (en) * 2019-11-01 2022-08-16 Walmart Apollo, Llc Systems and methods for automatically determining location of an object inside a retail store
CN110866927B (zh) * 2019-11-21 2021-07-20 哈尔滨工业大学 一种基于垂足点线特征结合的ekf-slam算法的机器人定位与构图方法
CN111079654A (zh) * 2019-12-18 2020-04-28 济南大陆机电股份有限公司 一种基于图片识别的水文设备信息采集方法及系统
CN111458735B (zh) * 2020-04-23 2023-02-24 内蒙古师范大学 自动识别指定位置闭合航线的方法及系统
US20230186496A1 (en) * 2020-05-11 2023-06-15 Carnegie Mellon University Vision Sensing Device and Method
US11128636B1 (en) 2020-05-13 2021-09-21 Science House LLC Systems, methods, and apparatus for enhanced headsets
CN113691929B (zh) * 2020-05-15 2022-07-26 大唐移动通信设备有限公司 定位方法及装置
CN111798536B (zh) * 2020-06-15 2024-03-22 北京三快在线科技有限公司 一种定位地图的构建方法及装置
GB2596867A (en) * 2020-07-10 2022-01-12 Scout Drone Inspection As Inspection device for inspecting a building or structure
EP3944806A1 (de) * 2020-07-29 2022-02-02 Carl Zeiss Vision International GmbH Verfahren zum bestimmen des nahpunkts, zum bestimmen der nahpunktdistanz, zum bestimmen eines sphärischen brechwertes sowie zum herstellen eines brillenglases sowie entsprechende mobile endgeräte und computerprogramme
CN111817775B (zh) * 2020-08-31 2020-12-15 亚太卫星宽带通信（深圳）有限公司 一种星地协同更新终端位置的方法及卫星通信系统
EP4050459A1 (en) * 2021-02-24 2022-08-31 V-Labs SA Calibration of a display device
CN112669250B (zh) * 2021-03-16 2021-09-17 湖北亿咖通科技有限公司 一种轨迹对齐方法及电子设备
US11567163B2 (en) * 2021-04-07 2023-01-31 Zebra Technologies Corporation Mobile device locationing
US11494920B1 (en) * 2021-04-29 2022-11-08 Jumio Corporation Multi-sensor motion analysis to check camera pipeline integrity
US20230003544A1 (en) * 2021-06-14 2023-01-05 Astra Navigation, Inc. Embedding a Magnetic Map into an Image File
CN113449058B (zh) * 2021-06-25 2023-06-02 安克创新科技股份有限公司 一种地图数据传输方法、清洁机器人及存储介质
US11741631B2 (en) 2021-07-15 2023-08-29 Vilnius Gediminas Technical University Real-time alignment of multiple point clouds to video capture
CN113405555B (zh) * 2021-08-19 2021-11-23 智己汽车科技有限公司 一种自动驾驶的定位传感方法、系统及装置
US11917337B2 (en) * 2021-08-31 2024-02-27 Xerox Corporation System and method for selective image capture on sensor floating on the open sea
WO2023118957A1 (en) * 2021-12-23 2023-06-29 Bosch Car Multimedia Portugal, S.A. System for distributed mapping of atmospheric attenuation in satellite communications
CN114967843A (zh) * 2022-03-31 2022-08-30 Oppo广东移动通信有限公司 终端配件、电子设备及定位方法
CN117517215A (zh) * 2023-11-09 2024-02-06 中国矿业大学 一记录生态资源变化状态的遥感检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006351024A (ja) * 2002-05-24 2006-12-28 Olympus Corp 視野一致型情報呈示システム及びそれに用いられる携帯情報端末
JP2011214834A (ja) * 2010-03-31 2011-10-27 Fujitsu Ltd 可搬型携帯端末、可搬型携帯端末の測位プログラム及び測位システム
US20130083964A1 (en) * 2011-09-29 2013-04-04 Allpoint Systems, Llc Method and system for three dimensional mapping of an environment
JP2013217802A (ja) * 2012-04-10 2013-10-24 Fujitsu Ltd 軌跡解析装置および軌跡解析プログラム

Family Cites Families (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002532770A (ja) 1998-11-20 2002-10-02 ジオメトリックス インコーポレイテッド 映像に関連してカメラポーズを決定する方法及びシステム
US7657079B2 (en) 2002-06-28 2010-02-02 Intel Corporation Single constraint at a time (SCAAT) tracking of a virtual reality (VR) display
US7015831B2 (en) 2002-12-17 2006-03-21 Evolution Robotics, Inc. Systems and methods for incrementally updating a pose of a mobile device calculated by visual simultaneous localization and mapping techniques
US20050234679A1 (en) * 2004-02-13 2005-10-20 Evolution Robotics, Inc. Sequential selective integration of sensor data
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
EP1744576A1 (en) 2004-05-06 2007-01-17 Mitsubishi Denki Kabushiki Kaisha Mobile terminal, server, information providing system, communication method of mobile terminal, communication method of server, and information providing method of information providing system
US9534899B2 (en) 2005-03-25 2017-01-03 Irobot Corporation Re-localization of a robot for slam
HU3056U (en) * 2005-04-29 2006-03-28 G & G Noevenyvedelmi Es Keresk Construction for making weed map
US7848881B2 (en) 2005-07-05 2010-12-07 Containertrac, Inc. Automatic past error corrections for location and inventory tracking
US8483704B2 (en) 2005-07-25 2013-07-09 Qualcomm Incorporated Method and apparatus for maintaining a fingerprint for a wireless network
US7599789B2 (en) 2006-05-24 2009-10-06 Raytheon Company Beacon-augmented pose estimation
WO2008024772A1 (en) 2006-08-21 2008-02-28 University Of Florida Research Foundation, Inc. Image-based system and method for vehicle guidance and navigation
KR100855469B1 (ko) * 2006-09-13 2008-09-01 삼성전자주식회사 이동 로봇의 자세 추정 장치 및 방법
US7628074B2 (en) * 2007-03-15 2009-12-08 Mitsubishi Electric Research Laboratories, Inc. System and method for motion capture in natural environments
US9766074B2 (en) 2008-03-28 2017-09-19 Regents Of The University Of Minnesota Vision-aided inertial navigation
JP5396585B2 (ja) * 2008-05-02 2014-01-22 株式会社ジオ技術研究所 地物特定方法
US8259692B2 (en) 2008-07-11 2012-09-04 Nokia Corporation Method providing positioning and navigation inside large buildings
US8538688B2 (en) 2008-11-18 2013-09-17 Nokia Corporation User generated pedestrian and indoor shortcut routes for navigation systems
US20100178934A1 (en) 2009-01-13 2010-07-15 Qualcomm Incorporated Environment-specific measurement weighting in wireless positioning
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
US20100255856A1 (en) 2009-04-03 2010-10-07 Microsoft Corporation Location Sensing Selection for Mobile Devices
US8174437B2 (en) * 2009-07-29 2012-05-08 Hemisphere Gps Llc System and method for augmenting DGNSS with internally-generated differential correction
US8290511B2 (en) 2009-10-01 2012-10-16 Qualcomm Incorporated Venue application for mobile station position estimation
CN102109348B (zh) * 2009-12-25 2013-01-16 财团法人工业技术研究院 定位载体、估测载体姿态与建地图的系统与方法
US9157745B2 (en) 2010-01-14 2015-10-13 Qualcomm Incorporated Scalable routing for mobile station navigation with location context identifier
US8855929B2 (en) * 2010-01-18 2014-10-07 Qualcomm Incorporated Using object to align and calibrate inertial navigation system
JP2011170599A (ja) * 2010-02-18 2011-09-01 Mitsubishi Electric Corp 屋外構造物計測装置及び屋外構造物計測方法
GB2479537B8 (en) 2010-04-12 2017-06-14 Vitec Group Plc Camera pose correction
EP2572542A4 (en) 2010-05-19 2017-01-04 Nokia Technologies Oy Crowd-sourced vision and sensor-surveyed mapping
US9229089B2 (en) * 2010-06-10 2016-01-05 Qualcomm Incorporated Acquisition of navigation assistance information for a mobile station
WO2011153624A2 (en) 2010-06-11 2011-12-15 Ambercore Software Inc. System and method for manipulating data having spatial coordinates
EP2400261A1 (de) 2010-06-21 2011-12-28 Leica Geosystems AG Optisches Messverfahren und Messsystem zum Bestimmen von 3D-Koordinaten auf einer Messobjekt-Oberfläche
US8892118B2 (en) 2010-07-23 2014-11-18 Qualcomm Incorporated Methods and apparatuses for use in providing position assistance data to mobile stations
US9234965B2 (en) 2010-09-17 2016-01-12 Qualcomm Incorporated Indoor positioning using pressure sensors
US9286810B2 (en) 2010-09-24 2016-03-15 Irobot Corporation Systems and methods for VSLAM optimization
US8676623B2 (en) 2010-11-18 2014-03-18 Navteq B.V. Building directory aided navigation
KR101207535B1 (ko) * 2010-12-31 2012-12-03 한양대학교 산학협력단 이동 로봇의 이미지 기반 동시적 위치 인식 및 지도 작성 방법
US20120190379A1 (en) 2011-01-25 2012-07-26 T-Mobile Usa, Inc. Intelligent Management of Location Sensor
US8320939B1 (en) 2011-04-21 2012-11-27 Google Inc. Crowd-sourced information for interior localization and navigation
US8510041B1 (en) * 2011-05-02 2013-08-13 Google Inc. Automatic correction of trajectory data
US20120303255A1 (en) 2011-05-26 2012-11-29 INRO Technologies Limited Method and apparatus for providing accurate localization for an industrial vehicle
US8787944B2 (en) * 2011-08-18 2014-07-22 Rivada Research, Llc Method and system for providing enhanced location based information for wireless handsets
WO2013040411A1 (en) 2011-09-15 2013-03-21 Honda Motor Co., Ltd. System and method for dynamic localization of wheeled mobile robots
US9155675B2 (en) 2011-10-12 2015-10-13 Board Of Trustees Of The University Of Arkansas Portable robotic device
CN103105852B (zh) * 2011-11-14 2016-03-30 联想(北京)有限公司 位移计算方法和设备及即时定位与地图构建方法和设备
US8626198B2 (en) 2011-11-16 2014-01-07 Qualcomm Incorporated Characterizing an indoor structure based on detected movements and/or position locations of a mobile device
US8908914B2 (en) 2012-01-17 2014-12-09 Maxlinear, Inc. Method and system for map generation for location and navigation with user sharing/social networking
WO2013108243A1 (en) 2012-01-18 2013-07-25 Weisman Israel Hybrid-based system and method for indoor localization
CA2864003C (en) 2012-02-23 2021-06-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
US8532885B1 (en) 2012-04-04 2013-09-10 Hemisphere Gnss Inc. Automatic GNSS signal allocation between remote and base receivers
US10082584B2 (en) 2012-06-21 2018-09-25 Microsoft Technology Licensing, Llc Hybrid device location determination system
US9576183B2 (en) 2012-11-02 2017-02-21 Qualcomm Incorporated Fast initialization for monocular visual SLAM
US9898866B2 (en) * 2013-03-13 2018-02-20 The University Of North Carolina At Chapel Hill Low latency stabilization for head-worn displays
US20150092048A1 (en) 2013-09-27 2015-04-02 Qualcomm Incorporated Off-Target Tracking Using Feature Aiding in the Context of Inertial Navigation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006351024A (ja) * 2002-05-24 2006-12-28 Olympus Corp 視野一致型情報呈示システム及びそれに用いられる携帯情報端末
JP2011214834A (ja) * 2010-03-31 2011-10-27 Fujitsu Ltd 可搬型携帯端末、可搬型携帯端末の測位プログラム及び測位システム
US20130083964A1 (en) * 2011-09-29 2013-04-04 Allpoint Systems, Llc Method and system for three dimensional mapping of an environment
JP2013217802A (ja) * 2012-04-10 2013-10-24 Fujitsu Ltd 軌跡解析装置および軌跡解析プログラム

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11363556B2 (en) 2017-08-21 2022-06-14 Sony Group Corporation Method for reporting of positioning data
KR20200038998A (ko) * 2017-08-21 2020-04-14 소니 주식회사 포지셔닝 데이터의 보고 방법
JP2020532209A (ja) * 2017-08-21 2020-11-05 ソニー株式会社 測位データを報告する方法
KR102521312B1 (ko) * 2017-08-21 2023-04-13 소니그룹주식회사 포지셔닝 데이터의 보고 방법
JP7337775B2 (ja) 2017-08-21 2023-09-04 ソニーグループ株式会社 測位データを報告する方法
KR101988555B1 (ko) * 2017-12-05 2019-06-12 충북대학교 산학협력단 조명 불변 영상을 사용한 slam 시스템 및 점구름 지도 생성 방법
JP2021530821A (ja) * 2018-07-06 2021-11-11 ノキア テクノロジーズ オサケユイチア 三次元無線モデル構築を実行するための方法、装置およびコンピュータプログラム
JP2021532462A (ja) * 2018-07-13 2021-11-25 ラブラドール システムズ インコーポレイテッド 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション
JP7396691B2 (ja) 2018-07-13 2023-12-12 ラブラドール システムズ インコーポレイテッド 様々な環境照明条件において動作可能なモバイル機器のためのビジュアルナビゲーション
US11898848B2 (en) 2018-07-13 2024-02-13 Labrador Systems, Inc. Visual navigation for mobile devices operable in differing environmental lighting conditions
JP7472235B2 (ja) 2018-09-07 2024-04-22 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 同時に位置特定およびマッピングを実行するためのデバイスおよび方法
JP2020077372A (ja) * 2018-09-28 2020-05-21 ネイバーラボス コーポレーションＮＡＶＥＲ ＬＡＢＳ Ｃｏｒｐｏｒａｔｉｏｎ データ収集方法及びそのシステム
US11747477B2 (en) 2018-09-28 2023-09-05 Naver Labs Corporation Data collecting method and system

Also Published As

Publication number Publication date
WO2015048434A1 (en) 2015-04-02
WO2015088628A2 (en) 2015-06-18
KR101753267B1 (ko) 2017-07-19
EP3049821A2 (en) 2016-08-03
US20150092048A1 (en) 2015-04-02
US9400930B2 (en) 2016-07-26
EP3049820B1 (en) 2019-12-25
JP2016540187A (ja) 2016-12-22
WO2015088628A3 (en) 2015-07-30
EP3049820A1 (en) 2016-08-03
JP6072361B2 (ja) 2017-02-01
CN105556329A (zh) 2016-05-04
CN105556329B (zh) 2017-10-10
EP3049821B1 (en) 2019-01-02
US20150094089A1 (en) 2015-04-02
JP6072360B2 (ja) 2017-02-01
KR101750469B1 (ko) 2017-07-04
KR20160061401A (ko) 2016-05-31
US9405972B2 (en) 2016-08-02
US20150094952A1 (en) 2015-04-02
US9947100B2 (en) 2018-04-17
KR20160063367A (ko) 2016-06-03
CN105579811B (zh) 2019-06-28
WO2015048397A1 (en) 2015-04-02
CN105579811A (zh) 2016-05-11
US20160307328A1 (en) 2016-10-20

Similar Documents

Publication Publication Date Title
JP6072360B2 (ja) ハイブリッドフォトナビゲーションおよびマッピング
Maghdid et al. Seamless outdoors-indoors localization solutions on smartphones: Implementation and challenges
US10324195B2 (en) Visual inertial odometry attitude drift calibration
JP6239659B2 (ja) 消失点決定に基づくセンサ較正および位置推定
CN110383099B (zh) 稳健下行链路定位
US9494432B2 (en) Collaborative navigation techniques for mobile devices
JP6965253B2 (ja) 視覚慣性オドメトリおよび衛星測位システムの基準フレームのアラインメント
JP2017223664A (ja) 画像処理に基づくカメラベースの位置特定およびナビゲーション
US20110046915A1 (en) Use of positioning aiding system for inertial motion capture
KR20150130988A (ko) 로케이션 서비스를 개선하기 위해 3차원 로케이션 정보를 사용하기 위한 시스템 및 방법

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20161017

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161129

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161227

R150 Certificate of patent or registration of utility model

Ref document number: 6072360

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees