JP2021190083A - 室内測位方法、装置、機器および記憶媒体 - Google Patents

室内測位方法、装置、機器および記憶媒体 Download PDF

Info

Publication number
JP2021190083A
JP2021190083A JP2020215110A JP2020215110A JP2021190083A JP 2021190083 A JP2021190083 A JP 2021190083A JP 2020215110 A JP2020215110 A JP 2020215110A JP 2020215110 A JP2020215110 A JP 2020215110A JP 2021190083 A JP2021190083 A JP 2021190083A
Authority
JP
Japan
Prior art keywords
image
indoor
feature point
target
target feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020215110A
Other languages
English (en)
Other versions
JP7164589B2 (ja
Inventor
シリ チェン，
Shili Chen
ジャオリャン ルー，
Zhaoliang Liu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021190083A publication Critical patent/JP2021190083A/ja
Application granted granted Critical
Publication of JP7164589B2 publication Critical patent/JP7164589B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】室内測位の自動化の度合いおよび堅牢性を向上させる室内測位方法を提供する。【解決手段】室内測位方法は、ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および目標特徴点の識別子を取得し、目標特徴点の識別子に基づいて目標特徴点の三次元空間位置に索引を付け、目標特徴点の第２の室内画像における第２の画像位置、第２の室内画像のカメラ姿勢及び目標オブジェクトの前記第２の室内画像における姿勢によって、目標特徴点の三次元空間位置を決定し、目標特徴点の第１の画像位置および目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定する。【選択図】図１

Description

本出願の実施例は画像処理技術分野に関し、特に室内ナビゲーション技術分野に関する。具体的には、本出願の実施例は室内測位方法、装置、機器および記憶媒体に関する。
室内測位とは、収集機器の室内環境における位置を取得することを指すものである。収集機器は一般的に、携帯電話、ロボットなど、カメラのようなセンサを搭載した機器を指す。室外測位と比べて、室内の衛星電波が弱く、直接衛星測位によって正確な位置を取得することができない。
しかしながら、ショッピングセンターで消費する顧客であろうと、室内サービスロボットであろうと、顧客を室内で案内するまたは室内サービスロボットが室内環境でより良好に動作するように、室内位置が必要とされている。
本出願の実施例は室内測位方法、装置、機器および記憶媒体を提供する。
第１態様では、本出願の実施例は室内測位方法を提供し、当該方法は、ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得するステップと、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付けるステップであって、前記目標特徴点の三次元空間位置は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定されるステップと、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップと、を含む。
第２態様では、本出願の実施例は室内測位装置をさらに提供し、当該装置は、ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得するための識別子取得モジュールと、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付けるための位置取得モジュールであって、前記目標特徴点の三次元空間位置が、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定される位置取得モジュールと、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するための測位モジュールと、を備える。
第３態様では、本出願の実施例は電子機器をさらに提供し、当該機器は、少なくとも１つのプロセッサと、該少なくとも１つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前命令が実行される場合、前記少なくとも１つのプロセッサが本出願の実施例のいずれかに記載の方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。
第４態様では、本出願の実施例はコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供し、前記コンピュータ命令が実行される場合、コンピュータに本出願の実施例のいずれかに記載の方法を実行させることに用いられる。
第５態様では、本出願の実施例はコンピュータプログラムをさらに提供し、前記コンピュータプログラムにおける命令が実行された場合に、本出願の実施例のモデルパラメータ更新方法が実行される。
本出願の実施例の技術案は、室内測位の自動化の度合いおよび堅牢性を向上させる。
なお、この部分で説明された内容は本開示の実施例の肝心または重要な特徴を特定するものでもなく、本開示の範囲を制限するものでもないことを理解されたい。本開示の他の特徴は以下の明細書によって理解しやすくなる。
図面は本解決案をよりよく理解するためのものであり、本出願を限定するものではない。
本出願の第１の実施例が提供する室内測位方法のフローチャートである。 本出願の第２の実施例が提供する室内測位方法のフローチャートである。 本出願の第３の実施例が提供する室内測位方法のフローチャートである。 本出願の第４の実施例が提供する室内測位方法のフローチャートである。 本出願の第６の実施例が提供する室内測位装置の構造概略図である。 本出願の実施例に係る室内測位方法の電子機器のブロック図である。
以下、図面と併せて本出願の例示的な実施例を説明する。ここで、理解を促すために、本出願の実施例の様々な詳細が含まれており、それらを単なる例示的なものと見なすべきである。従って、当業者であれば、本出願の範囲および趣旨から逸脱しない限り、本明細書で説明された実施例に対して様々な変更と修正を行うことができる。同様に、明確さおよび簡潔さのために、以下の説明では公知の機能および構造に対する説明を省略する。
第１の実施例
図１は本出願の第１の実施例が提供する室内測位方法のフローチャートである。本実施例は、ユーザが収集した室内環境の画像によってユーザに対して室内測位を行う場合に適応可能である。当該方法は室内測位装置で実行でき、当該装置はソフトウェアおよび／またはハードウェアの方式で実現することができる。図１を参照すると、本出願の実施例が提供する室内測位方法は以下のＳ１１０〜Ｓ１３０を含む。
Ｓ１１０、ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得する。
第１の室内画像はユーザが収集した室内測位対象の画像である。
目標オブジェクトは室内測位を行うためのオブジェクトである。
一実施例では、目標オブジェクトは明らかな画像特徴を有し、かつ室内シーンにおける出現頻度の高いオブジェクトであってもよい。
例示的に、目標オブジェクトはポスター、看板や広告看板などであってもよい。
目標特徴点は目標オブジェクトにおける特徴点を指す。
一実施例では、目標特徴点は目標オブジェクトにおける色特徴点、形状特徴点および模様特徴点等のうちの少なくとも１つである。
例示的に、目標オブジェクトが矩形オブジェクトである場合、目標特徴点は矩形オブジェクトの４つの角という点であってもよい。
第１の画像位置は目標特徴点の第１の室内画像における位置を指す。
Ｓ１２０、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付ける。
目標特徴点の三次元空間位置は目標特徴点の室内空間における位置として理解しても良い。
前記目標特徴点の三次元空間位置は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定される。
第２の室内画像は、収集された室内環境の画像であり、当該画像は第１の室内画像と同じであってもよく、異なってもよい。
第２の画像の位置は目標特徴点の第２の室内画像における位置である。
前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢は、予め決定してもよく、リアルタイムに決定してもよい。
一実施例では、第２の画像位置は第２の室内画像に対して目標特徴点の検出を行うことによって取得することができる。
選択的に、第２の画像位置はテンプレートマッチングに基づいて目標特徴点を検出することによって取得できるだけではなく、ニューラルネットワークに基づいて目標特徴点を検出することによって取得することもでき、本実施例では限定されない。
第２の室内画像のカメラ姿勢は第２の室内画像のカメラパラメータを収集することによって取得することができる。
カメラパラメータを取得するという手間を省くため、第２の室内画像のカメラ姿勢はさらに、前記第２の室内画像のカメラ姿勢を得るように、前記第２の室内画像に基づいて室内環境の点群データを確立することができる。
なぜなら、三次元再構築アルゴリズムに基づいて、第２の室内画像を室内環境の点群データに変換するプロセスにおいて、第２の室内画像のカメラ姿勢が生成されるからである。
前記目標オブジェクトの前記第２の室内画像における姿勢の決定は、隣接する２フレームの第２の室内画像に対して三角測量を行い、測定結果を用いて平面方程式フィッティングを行い、フィッティングによって得られた平面方程式を用いて前記目標オブジェクトの前記第２の室内画像における姿勢を説明するように説明することができる。
選択的に、上記目標特徴点の三次元空間位置を決定するステップはリアルタイムに実現してもよく、予め実現してもよい。
Ｓ１３０、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定する。
ユーザの室内位置はユーザの室内環境における位置を指す。
一実施例では、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップが、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、前記第１の室内画像のカメラ位置姿勢を決定するステップと、前記カメラ位置姿勢に基づいてユーザの室内位置を決定するステップと、を含んでもよい。
第１の室内画像のカメラ位置は即ちユーザの室内位置である。
ユーザが、ショッピングセンターで買い物をしたり、展覧館を見物したり、他の屋内活動に参加したりする際に、自分の位置を知らない場合、携帯電話で周囲環境の画像を撮影し、本実施例によって提供される室内測位方法をもとに、撮影された室内環境の画像に基づいて、ユーザに対する自動測位を実現できるというのは、本実施例の１つの典型的な適用シーンである。
本出願の実施例の技術案は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて目標特徴点の三次元空間位置を決定することによって、目標特徴点の三次元空間位置の自動決定を実現する。従って、目標特徴点の第１の画像位置および目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定することによって、室内測位の自動化の度合いを向上させる。
また、目標オブジェクト特徴点は光照などの外部要因から受ける影響が小さいため、当該方法の堅牢性が高い。
一実施例では、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップが、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、前記第１の室内画像のカメラ位置姿勢を決定するステップと、前記カメラ位置姿勢に基づいてユーザの室内位置を決定するステップと、を含んでもよい。
第１の室内画像のカメラ位置は即ちユーザの室内位置である。
第２の実施例
図２は本出願の第２の実施例が提供する室内測位方法のフローチャートである。本実施例は上記実施例をもとに、目標特徴点の三次元空間位置を決定するという上記ステップが予め実現されることを例として、「前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像的カメラ姿勢、および目標オブジェクトの前記第２の室内画像における姿勢に基づいて、前記目標特徴点の三次元空間位置を決定する」というステップを具体的に最適化するものである。図２に示すように、本出願の実施例が提供する室内測位方法は以下のＳ２１０〜Ｓ２５０を含む。
Ｓ２１０、目標オブジェクトの第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定する。
一実施例では、目標オブジェクトの第２の室内画像における姿勢は目標オブジェクトの平面方程式を用いて説明することができる。目標オブジェクトの第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するステップは、目標オブジェクトの少なくとも１つの平面方程式から、目標オブジェクトの三次元空間における姿勢を説明するための１つの平面方程式を選択するように、説明することができる。
目標オブジェクトの三次元空間における姿勢の精度を向上させるために、前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定する前記ステップが、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における少なくとも１つの姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するステップを含む。
即ち、第２の室内画像のカメラ姿勢を用いて、目標オブジェクトの平面方程式を最適化し、最適化された平面方程式を用いて前記目標オブジェクトの三次元空間における姿勢を説明する。
最適化アルゴリズムは任意の最適化アルゴリズムであってもよい。典型的に、最適化アルゴリズムはバンド調整（ＢｕｎｄｌｅＡｄｊｕｓｔｍｅｎｔ、ＢＡ）アルゴリズムであってもよい。
ＢＡアルゴリズムを用いて平面最適化を実現するプロセスは、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における少なくとも１つの姿勢をＢＡアルゴリズムの入力として、ＢＡアルゴリズムの計算により、前記目標オブジェクトの三次元空間中における姿勢を得るように、説明することができる。
Ｓ２２０、前記目標オブジェクトの三次元空間における姿勢、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標オブジェクトの目標特徴点の三次元空間位置を決定する。
一実施例では、前記目標オブジェクトの三次元空間における姿勢、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定する前記ステップが、前記目標オブジェクトの関連する平面方程式における空間特性パラメータを、前記目標オブジェクトの三次元空間における姿勢情報とするステップと、前記目標オブジェクトの三次元空間における姿勢情報、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するステップと、を含む。
空間特性パラメータは目標オブジェクトの平面空間特性を説明する定数である。
通常、平面方程式は Ａｘ＋Ｂｙ＋Ｃｚ＋Ｄ＝０であり、Ａ、Ｂ、ＣおよびＤは空間特性パラメータである。
一実施例では、
ｎ×Ｘ＋ｄ＝０ （１）
Ｘ＝Ｒ−１（μ×ｘ−ｔ） （２）
という公式に従って目標特徴点の三次元空間位置の座標を求めることができる。
等式（１）は前記目標オブジェクトの平面方程式であり、前記目標オブジェクトの三次元空間における姿勢を説明することに用いられ、ｎ＝（Ａ、Ｂ、Ｃ）、ｄ＝Ｄ、ｎおよびｄは前記平面方程で平面空間特性を説明する定数であり、Ｘは前記目標特徴点の三次元空間位置座標であり、Ｒおよびｔは、前記第２の室内画像のカメラ姿勢を説明することに用いられ、Ｒは回転パラメータ、ｔは並進パラメータ、ｘは前記第２の画像位置、μは補助パラメータである。
Ｓ２３０、ユーザが収集した第１の室内画像に基づいて、前記目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得する。
Ｓ２４０、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付ける。
Ｓ２５０、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定する。
選択的に、Ｓ２１０およびＳ２２０の実行主体はＳ２３０、Ｓ２４０およびＳ２５０の実行主体と同じであってもよく、異なってもよい。
本出願の実施例の技術案は、目標オブジェクトの第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定することによって、目標オブジェクトの三次元空間における姿勢の決定を実現する。
第３の実施例
図３は本出願の第３の実施例が提供する室内測位方法のフローチャートである。本実施例は上記実施例をもとに、「ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置を取得する」というステップを具体的に最適化するものである。図３に示すように、本出願の実施例が提供する室内測位方法は以下のＳ３１０〜Ｓ３４０を含む。
Ｓ３１０、ユーザが収集した第１の室内画像を予めトレーニングされた情報検出モデルに入力し、目標オブジェクトにおける目標特徴点の第１の画像位置を出力する。
前記情報検出モデルは、室内サンプル画像における前記目標オブジェクト、および前記目標オブジェクトにおける前記目標特徴点の第１の画像位置を検出し、前記室内サンプル画像、および前記目標特徴点の第１の画像位置を用いて、初期モデルをトレーニングして前記情報検出モデルを得るという方式によって構築される。
室内サンプル画像は収集された室内環境の画像であり、当該画像は第１の室内画像と同じであってもよく、異なってもよい。
選択的に、目標オブジェクトに対する検出は任意の目標検出アルゴリズムを用いてもよい。
例示的に、目標検出アルゴリズムはテンプレートマッチングまたはニューラルネットワークなどであってもよい。
一実施例では、前記目標オブジェクトが壁に位置する目標形状のオブジェクトである場合、前記室内サンプル画像における前記目標オブジェクトを検出するステップが、前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルを決定するステップと、前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、前記室内サンプル画像における壁マスクを決定するステップと、前記室内サンプル画像における目標形状のオブジェクトを検出するステップと、前記壁マスクを用いて、検出して得られた目標形状のオブジェクトから壁に位置する前記目標オブジェクトを決定するステップと、を含む。
目標形状は任意の形状であってもよい。目標オブジェクトで室内環境のより多くのオブジェクトをカバーするようにするために、目標形状は矩形であってもよい。
壁マスクは、室内サンプル画像における壁の部分を覆うための画像を指す。
一実施例では、前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、前記室内サンプル画像における壁マスクを決定する前記ステップが、前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、法線ベクトルが重力方向と垂直である目標ピクセルを決定するステップと、前記目標ピクセルに基づいて前記室内サンプル画像における壁マスクを決定するステップと、を含んでもよい。
前記目標ピクセルに基づいて前記室内サンプル画像における壁マスクを決定するステップは、目標ピクセルで構成される画像を壁マスクとするステップを含む。
Ｓ３２０、前記第１の室内画像に基づいて前記目標特徴点の識別子を取得する。
Ｓ３３０、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付ける。
前記目標特徴点の三次元空間位置は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定される。
一実施例では、前記第１の室内画像に基づいて前記目標特徴点の識別子を取得するステップが、第１の室内画像を上記情報検出モデルに入力して、前記目標特徴点の識別子を出力するステップを含んでもよい。
Ｓ３４０、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定する。
本実施例はＳ３１０およびＳ３２０の実行の順番を限定しない。選択的に、Ｓ３２０はＳ３１０の先に実行してもよい。
本出願の実施例の技術案は、モデルのトレーニングデータを自動的に決定することによって、モデルの自動的な取得を実現し、さらには、自動的にトレーニングして得られたモデルを用いて、目標特徴点の第１の画像位置に対する自動的な決定を実現する。
トレーニングサンプルの拡張を実現するために、前記目標オブジェクトが平面オブジェクトである場合、前記室内サンプル画像および前記目標特徴点の第１の画像位置を用いて、初期モデルをトレーニングして前記情報検出モデルを得る前記ステップが、前記目標オブジェクトを前景として、前記前景を変換するステップと、ランダム写真を背景とし、変換された後の前記前景および前記背景を合成して、少なくとも１つの新しいサンプル画像を得るステップと、前記室内サンプル画像、前記少なくとも１つの新しいサンプル画像、および前記目標特徴点の第１の画像位置に基づいて、トレーニングサンプルセットを構築するステップと、構築されたトレーニングサンプルセットを用いて前記初期モデルをトレーニングして、前記情報検出モデルを得るステップと、を含む。
前景に対する変換は、目標オブジェクトの任意角度および／または任意位置に対する変換であってもよい。当該変換はアフィン変換に基づいて実現できるだけではなく、射影変換に基づいて実現することもできる。
ランダム写真はランダムに選択または生成された写真である。
新しいサンプル画像は合成によって得られた画像である。
前記室内サンプル画像、前記少なくとも１つの新しいサンプル画像、および前記目標特徴点の第１の画像位置に基づいて、トレーニングサンプルセットを構築するステップが、前記室内サンプル画像および前記少なくとも１つの新しいサンプル画像をサンプルとし、前記目標特徴点の第１の画像位置をサンプルタグとして、トレーニングサンプルセットを構築するステップを含んでもよい。
第４の実施例
図４は本出願の第４の実施例が提供する室内測位方法のフローチャートである。本実施例は上記実施例をもとに、「前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定する」というステップを具体的に最適化するものである。図４に示すように、本出願の実施例が提供する室内測位方法は以下のＳ４１０〜Ｓ４４０を含む。
Ｓ４１０、ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得する。
Ｓ４２０、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付ける。
前記目標特徴点の三次元空間位置は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定される。
Ｓ４３０、前記第１の室内画像に基づいて補助特徴点を決定する。
補助特徴点は、他の特徴点検出方法によって決定される特徴点である。他の特徴点検出方法は目標特徴点検出方法以外の他の方法である。
一実施例では、前記第１の室内画像に基づいて補助特徴点を決定する前記ステップが、前記第１の室内画像に基づいて、室内環境の点群データを確立して、データポイントの前記第１の室内画像における第１の特徴点を決定するステップと、前記第１の室内画像の第２の特徴点を抽出するステップと、前記第１の特徴点と前記第２の特徴点とをマッチングするステップと、マッチングして一致する特徴点を前記補助特徴点とするステップと、を含んでもよい。
例示的に、スケール不変特徴変換（Ｓｃａｌｅ−ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ、ＳＩＦＴ）アルゴリズムに基づいて第１の室内画像の第２の特徴点に対する抽出を実現することができる。
Ｓ４４０、前記目標特徴点の第１の画像位置と前記目標特徴点の三次元空間位置、および前記補助特徴点の画像位置と前記補助特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定する。
本出願の実施例の技術案は、目標特徴点の測位結果と補助特徴点の測位結果とを組み合わせることによって、測位の堅牢性を確保するとともに、ユーザの室内位置の精度を向上させる。
測位の精度をさらに向上させるために、豊かな補助特徴点を用いてユーザに対する正確な測位を実現するように、補助特徴点の数は目標特徴点の数より多い。
第５の実施例
本実施例は上記実施例をもとに、目標オブジェクトが平面矩形オブジェクトである場合を例として提供する選択可能な解決案である。例示的に、平面矩形オブジェクトはポスター、看板または広告看板であっても。本出願の実施例が提供する室内測位方法は、前処理部分およびリアルタイムアプリケーション部分を含む。
リアルタイムアプリケーション部分のロジックは、ユーザが収集した第１の室内画像に基づいて、室内環境の点群データおよび各データポイントの前記第１の室内画像における特徴点を確立し、前記第１の室内画像の特徴点を抽出し、
抽出して得られた特徴点と点群データの各データポイントの前記第１の室内画像における特徴点をマッチングし、マッチングして一致する特徴点を補助特徴点とし、前記第１の室内画像を予めトレーニングされた情報検出モデルに入力して、目標オブジェクトにおける目標特徴点の識別子および前記目標特徴点の第１の画像位置を出力し、前記目標特徴点の識別子に基づいて、予め記憶されたデータから前記目標特徴点に対応する三次元空間位置に索引を付け、前記補助特徴点の画像位置と前記補助特徴点の三次元空間位置、および前記目標特徴点の第１の画像位置と前記目標特徴点の三次元空間位置に基づいて、前記第１の室内画像のカメラ位置姿勢を決定して、ユーザの室内測位を実現する、ように説明することができる。
本実施例は補助特徴点および目標特徴点を決定する順番を限定しない。選択的に、目標特徴点を先に決定した後に、補助特徴点を決定してもよい。
前処理部分のロジックは、室内サンプル画像を予めトレーニングされた構造検出モデルに入力して、各ピクセルの三次元空間における法線ベクトルを出力し、前記室内サンプル画像における壁マスクを取得するように、前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、法線ベクトルが重力方向と垂直である目標ピクセルを決定し、矩形ボックス検出モデルに基づいて、前記室内サンプル画像から矩形オブジェクトを検出し、壁マスクを用いて、検出された矩形オブジェクトから壁に位置する候補オブジェクトを選別し、隣接する２フレームのサンプル画像に対して三角測量を行い、測定結果を用いて平面方程式フィッティングを行って、候補オブジェクトが平面オブジェクトであるか否かを決定し、候補オブジェクトが平面オブジェクトである場合、当該候補オブジェクトを目標オブジェクトとし、画像マッチングアルゴリズムに基づいて、検出された目標オブジェクトが同じオブジェクトであるか否かを決定し、同じ目標オブジェクトに同じ識別子でマーキングし、室内サンプル画像のカメラ姿勢、および目標オブジェクトの室内サンプル画像における姿勢に基づいて、目標オブジェクトの三次元空間における位置姿勢を決定し、目標オブジェクトの三次元空間における位置姿勢に基づいて、前記目標特徴点の三次元空間位置を決定して、当該位置を前記目標特徴点の特徴識別子と関連づけて記憶し、上記目標オブジェクトに対して異なる角度、異なる位置の射影変換を行って、新しいサンプル画像を得、前記室内サンプル画像と、前記新しいサンプル画像と、目標オブジェクトとの識別子および目標特徴点を室内サンプル画像の第２の画像座標においてトレーニングサンプルセットとし、得られたトレーニングサンプルセットを用いて初期モデルをトレーニングして、前記情報検出モデルを得るように説明することができる。
本解決案は、目標特徴点および補助特徴点を融合ことによって室内測位を行い、補助特徴点の数が多いため、補助特徴点に基づいて実現される室内測位の精度が高いが、堅牢性が低い。目標特徴点の数が比較的少ないため、目標特徴点に基づいて実現される室内測位の精度がより低く、しかし当該特徴点は室内環境要因から受ける影響が小さいため、目標特徴点に基づいて実現された室内測位の堅牢性が比較的高い。両者の融合により、本出願の実施例は室内測位の精度を向上させるだけではなく、室内測位の堅牢性を向上させる。
また、本解決案における矩形ボックス検出モデルのメンテナンスコストは他の目標オブジェクト検出モデルのメンテナンスコストより低い。他の目標オブジェクト検出モデルはオブジェクトタイプを追加する際に手動で収集して、データをマーキングしてトレーニングする必要があるのに対して、本解決案では、矩形ボックス検出モデルには矩形というタイプのオブジェクトに対応する検出が追加されたため、他のタイプの矩形オブジェクトが追加される際にも改めてトレーニングする必要がないため、モデルのメンテナンスコストを大幅に削減する。
第６の実施例
図５は本出願第６の実施例が提供する室内測位装置の構造概略図である。図５に示すように、本出願の実施例が提供する室内測位装置５００は、識別子取得モジュール５０１、位置取得モジュール５０２、および測位モジュール５０３を備える。
識別子取得モジュール５０１は、ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得することに用いられ、位置取得モジュール５０２は、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付けることに用いられ、前記目標特徴点の三次元空間位置は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定され、測位モジュール５０３は、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定することに用いられる。
本出願の実施例の技術案は、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて目標特徴点の三次元空間位置を決定することによって、目標特徴点の三次元空間位置の自動決定を実現する。さらには、目標特徴点の第１の画像位置および目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定し、従って室内測位の自動化の度合いを向上させる。また、目標オブジェクト特徴点は光照などの外部要因から受ける影响が小さいため、当該方法の堅牢性が高い。
さらに、前記装置は、前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付ける前に、前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するための姿勢決定モジュールと、前記目標オブジェクトの三次元空間における姿勢、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するための位置決定モジュールと、をさらに備える。
さらに、前記位置決定モジュールは、前記目標オブジェクトの関連する平面方程式における空間特性パラメータを、前記目標オブジェクトの三次元空間における姿勢情報とするための情報決定ユニットと、前記目標オブジェクトの三次元空間における姿勢情報、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するための位置決定ユニットと、を備える。
さらに、前記姿勢決定モジュールは、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における少なくとも１つの姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するための姿勢決定ユニットを備える。
さらに、前記位置取得モジュールは、前記第１の室内画像を予めトレーニングされた情報検出モデルに入力して、前記目標特徴点の第１の画像位置を出力するための位置取得ユニットを備え、前記情報検出モデルが、室内サンプル画像における前記目標オブジェクト、および前記目標オブジェクトにおける前記目標特徴点の第１の画像位置を検出し、前記室内サンプル画像、および前記目標特徴点の第１の画像位置を用いて、初期モデルをトレーニングして前記情報検出モデルを得るという方式によって構築される。
さらに、前記目標オブジェクトが壁に位置する目標形状のオブジェクトである場合、前記位置取得ユニットが、前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルを決定するためのベクトル決定サブユニットと、
前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、前記室内サンプル画像における壁マスクを決定するためのマスク決定サブユニットと、前記室内サンプル画像における目標形状のオブジェクトを検出するためのオブジェクト検出サブユニットと、前記壁マスクを用いて、検出して得られた目標形状のオブジェクトから壁に位置する前記目標オブジェクトを決定するためのオブジェクト決定サブユニットと、を備える。
さらに、前記マスク決定サブユニットは具体的に、前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、法線ベクトルが重力方向と垂直である目標ピクセルを決定し、前記目標ピクセルに基づいて前記室内サンプル画像における壁マスクを決定することに用いられる。
さらに、前記目標オブジェクトが平面オブジェクトである場合、前記オブジェクト決定サブユニットは、検出して得られた目標形状のオブジェクトから、壁に位置する候補オブジェクトを決定するための候補セレクタと、隣接する２フレームの室内サンプル画像に基づいて前記候補オブジェクトが平面オブジェクトであるか否かを決定するための平面判断装置と、前記候補オブジェクトが平面オブジェクトである場合、前記候補オブジェクトを前記目標オブジェクトとするための目標セレクタと、を備える。
さらに、前記平面判断装置は具体的に、隣接する２フレームの室内サンプル画像に対して三角測量を行い、測定結果を用いて平面方程式フィッティングを行い、フィッティング結果に基づいて前記候補オブジェクトが平面オブジェクトであるか否かを決定することに用いられる。
さらに、前記目標オブジェクトが平面オブジェクトである場合、前記位置取得ユニットは、前記目標オブジェクトを前景として、前記前景を変換するための変換サブユニットと、ランダム写真を背景とし、変換された後の前記前景および前記背景を合成して、少なくとも１つの新しいサンプル画像を得るための合成サブユニットと、前記室内サンプル画像、前記少なくとも１つの新しいサンプル画像、および前記目標特徴点の第１の画像位置に基づいて、トレーニングサンプルセットを構築するためのサンプルセット構築サブユニットと、構築されたトレーニングサンプルセットを用いて前記初期モデルをトレーニングして、前記情報検出モデルを得るためのモデルトレーニングサブユニットと、を備える。
さらに、前記測位モジュールは、前記第１の室内画像に基づいて補助特徴点を決定するための特徴点決定ユニットと、前記目標特徴点の第１の画像位置と前記目標特徴点の三次元空間位置、および前記補助特徴点の画像位置と前記補助特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するための測位ユニットと、を備える。
さらに、前記特徴点确定ユニットは、前記第１の室内画像に基づいて、室内環境の点群データを確立して、データポイントの前記第１の室内画像における第１の特徴点を決定するための点群確立サブユニットと、前記第１の室内画像の第２の特徴点を抽出するための特徴点抽出サブユニットと、前記第１の特徴点と前記第２の特徴点とをマッチングするための特徴点マッチングサブユニットと、マッチングして一致する特徴点を前記補助特徴点とするための特徴点決定サブユニットと、を備える。
さらに、前記測位モジュールは、前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、前記第１の室内画像のカメラ位置姿勢を決定するための位置姿勢決定ユニットと、前記カメラ位置姿勢に基づいてユーザの室内位置を決定するための測位ユニットと、を備える。
第７の実施例
本出願の実施例によれば、本出願は電子機器および読み取り可能な記憶媒体をさらに提供する。
図６に示すように、本出願の実施例に係る室内測位方法の電子機器のブロック図である。電子機械はラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、携帯情報端末、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなど、様々な形式のデジタルコンピュータを表すこと意図している。電子機械はさらに、様々な形態のモバイル装置、例えば、携帯情報端末、セルラー電話、スマートフォン、ウェアラブルデバイスおよび他の同様なコンピューティングデバイスを表すことができる。本明細書に示されている部品、それらの接続と関係、およびそれらの機能は例示的なものに過ぎず、本明細書で説明されたおよび／又は求められた本出願の実現を限定することを意図していない
図６に示すように、該電子機械は、１つ又は複数のプロセッサ６０１、メモリ６０２、および各部品を接続するためのインターフェースを備え、インターフェースは高速インターフェースと低速インターフェースを備える。各部品は、異なるバスを用いて互いに接続されており、かつ共用のマザーボードに実装されるか、又は必要に基づいて他の方式で実装されても良い。プロセッサは、電子機器内で実行される命令を処理することができ、前記命令は、外部入力／出力装置（例えば、インターフェースに接続される表示装置）にＧＵＩの図形情報を表示するようにメモリ内又はメモリ上に記憶される命令を含む。他の実施形態において、必要があれば、複数のプロセッサおよび／又は複数のバスを複数のメモリと組み合わせて使用してもよい。同様に、複数の電子機器を接続してもよく、各機械は、必要とされる操作の一部（例えば、サーバアレイ、１組のブレードサーバ、又はマルチプロセッサシステムとして）を提供する。図６では、１つのプロセッサ６０１は例として挙げられた。
メモリ６０２は即ち本出願が提供する非一時的なコンピュータ読み取り可能な記憶媒体である。前記メモリには、前記少なくとも１つのプロセッサに本出願が提供する室内測位方法を実行させるように、少なくとも１つのプロセッサによって実行可能な命令が記憶されている。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータに本出願が提供する室内測位方法を実行させるためのコンピュータ命令を記憶する。
メモリ６０２は非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例の室内測位方法に対応するプログラム命令／モジュール（例えば、図５に示す識別子取得モジュール５０１、位置取得モジュール５０２および測位モジュール５０３）のような非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラムおよびモジュールを記憶することに用いることができる。プロセッサ６０１は、メモリ６０２に記憶される非一時的なソフトウェアプログラム、命令およびモジュールを実行することによって、サーバの様々な機能適用およびデータ処理を実行し、即ち上記方法実施例の室内測位方法を実現する。
メモリ６０２は、プログラムを記憶する領域と、データを記憶する領域とを含んでもよい。プログラムを記憶する領域は、オペレーティングシステムと、少なくとも１つの機能に必要なアプリケーションプログラムを含んでもよい。データを記憶する領域は、室内測位電子機器の使用によって生成されたデータなどを記憶することができる。また、メモリ６０２は、高速ランダムアクセスメモリだけではなく、少なくとも１つのディスクストレージデバイス、フラッシュメモリデバイス又は他の非一時的なソリッドステートストレージデバイスのような非一時的なメモリを含んでもよい。一部の実施例では、メモリ６０２は、プロセッサ６０１に対してリモートで設定されるメモリを選択的に含んでもよく、これらのリモートメモリはネットワーク経由で室内測位電子機器に接続することができる。上記ネットワークの実例は、インターネット、企業内部のネットワーク、ローカルエリアネットワーク、移動通信ネットワークおよびそれらの組み合わせを含むが、これらに限定されない。
室内測位方法の電子機器は、入力装置６０３および出力装置６０４をさらに備えてもよい。プロセッサ６０１、メモリ６０２、入力装置６０３および出力装置６０４はバスまたは他の方式で接続することができ、図６ではバスによる接続が例として挙げられている。
入力装置６０３は、入力されたデジタル又は文字情報を受信するおよび室内測位電子機器のユーザ設定および機能制御に関連するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパネル、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティック等の入力装置がある。出力装置６０４は、表示装置、補助照明装置（例えば、ＬＥＤ）および触覚フィードバック装置（例えば、振動モータ）などを含んでもよい。該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイおよびプラズマディスプレイを含むが、これらに限定されない。一部の実施形態では、表示装置はタッチスクリーンであってもよい。
本出願の実施例によれば、コンピュータプログラムが提供される。当該コンピュータプログラムにおける命令が実行された場合に、本出願の実施例の室内測位方法が実行される。
本明細書で説明されたシステムおよび技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（専用集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、および／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は以下を含んでもよい。１つ又は複数のコンピュータプログラムにおいて実施され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行および／又は解釈することができ、該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであり、ストレージシステム、少なくとも１つの入力装置および少なくとも１つの出力装置からデータと命令を受信し、データおよび命令を該ストレージシステム、該少なくとも１つの入力装置および該少なくとも１つの出力装置に転送することができる。
これらの計算プログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも言う）は、プログラマブルプロセッサの機械命令を含み、かつ高度プロセスおよび／又はオブジェクト指向プログラミング言語、および／又はアセンブリ言語／機械語を用いてこれらの計算プログラム実行することができる。本明細書で使用される「機械読み取り可能な媒体」と「コンピュータ読み取り可能な媒体」という用語は、機械命令および／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、装置、および／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号としての機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令および／又はデータをプログラマブルプロセッサに提供するためのあらゆる信号を指す。
ユーザとのインタラクションを提供するために、ここで説明されたシステムと技術をコンピュータ上で実施することができる。当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボードとポインティングデバイス（例えば、マウス又はトラックボール）とを含み、ユーザは該キーボードと該ポインティングデバイスを介して入力をコンピュータに提供することができる。別の種類のデバイスはさらにユーザとのインタラクションを提供することができ、例えば、ユーザに提供されたフィードバックは、任意の形式のセンサフィードバック（例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック）であってもよい以上、ユーザからの入力を任意の形式（音の入力、音声入力又は触覚入力を含む）で受信することもできる。
ここで説明されたシステムと技術を、バックグラウンドパーツを含む計算システム（例えば、データサーバとして）、又はミドルウェアパーツを含む計算システム（例えば、アプリケーションサーバ）、又はフロントエンドパーツを含む計算システム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは該グラフィカルユーザインタフェース又は該ウェブブラウザ介して、ここで説明されたシステムと技術の実施形態と対話することができる）、又はこれらのバックグラウンドパーツ、ミドルウェアパーツ又はフロントエンドパーツの任意の組み合わせを含む計算システムにおいて実行することができる。任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して、システムのパーツを互いに接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）およびインターネットが含まれる。
コンピュータシステムは、クライアント側とサーバを備えてもよい。クライアント側とサーバは通常離れており、一般的に通信ネットワークを介してインタラクションを行う。対応するコンピュータにおいて実行されかつ互いにクライアント側−サーバ関係を有するコンピュータプログラムによってクライアント側とサーバとの関係を生成する。
本出願の実施例の技術案は、室内測位の自動化の度合いおよび堅牢性を向上させる。なお、以上に示した様々な形式のプロセスを用いて、ステップを並べ替えたり、追加したり、削除したりすることができることを理解されたい。例えば、本出願書に記載の各ステップは、並列的に実行するか、順次的に実行するか、又は異なる順序で実行してもよい。本出願で開示された技術的解決手段が予期している結果を実現できる限り、本明細書では限定されない。
上記具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者であれば、設計要件とその他の要因に応じて、様々な修正、組み合わせ、一部の組み合わせおよび置き換えを行うことができることを理解されたい。本出願の精神と原則を逸脱しない限り、行われるすべての修正、置き換えおよび改善等は、いずれも本出願の保護範囲に含まれるべきである。

Claims (21)

  1. ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得するステップと、
    前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付けるステップであって、前記目標特徴点の三次元空間位置が、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定されるステップと、
    前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップと、
    を含む室内測位方法。
  2. 前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付ける前記ステップの前に、
    前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するステップと、
    前記目標オブジェクトの三次元空間における姿勢、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するステップと、
    を含む請求項１に記載の方法。
  3. 前記目標オブジェクトの三次元空間における姿勢、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するステップが、
    前記目標オブジェクトの関連する平面方程式における空間特性パラメータを、前記目標オブジェクトの三次元空間における姿勢情報とするステップと、
    前記目標オブジェクトの三次元空間における姿勢情報、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するステップと、
    を含む請求項２に記載の方法。
  4. 前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するステップが、
    前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における少なくとも１つの姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するステップを含む請求項２に記載の方法。
  5. ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置を取得するステップが、
    前記第１の室内画像を予めトレーニングされた情報検出モデルに入力して、前記目標特徴点の第１の画像位置を出力するステップを含み、
    前記情報検出モデルが、
    室内サンプル画像における前記目標オブジェクト、および前記目標オブジェクトにおける前記目標特徴点の第１の画像位置を検出し、
    前記室内サンプル画像、および前記目標特徴点の第１の画像位置を用いて、初期モデルをトレーニングして前記情報検出モデルを得るという方式によって構築される請求項１から４のいずれか一項に記載の方法。
  6. 前記目標オブジェクトが壁に位置する目標形状のオブジェクトである場合、前記室内サンプル画像における前記目標オブジェクトを検出するステップが、
    前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルを決定するステップと、
    前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、前記室内サンプル画像における壁マスクを決定するステップと、
    前記室内サンプル画像における目標形状のオブジェクトを検出するステップと、
    前記壁マスクを用いて、検出して得られた目標形状のオブジェクトから壁に位置する前記目標オブジェクトを決定するステップと、
    を含む請求項５に記載の方法。
  7. 前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、前記室内サンプル画像における壁マスクを決定するステップが、
    前記室内サンプル画像のカメラ姿勢、および前記室内サンプル画像内のピクセルの三次元空間における法線ベクトルに基づいて、法線ベクトルが重力方向と垂直である目標ピクセルを決定するステップと、
    前記目標ピクセルに基づいて前記室内サンプル画像における壁マスクを決定するステップと、
    を含む請求項６に記載の方法。
  8. 前記目標オブジェクトが平面オブジェクトである場合、前記壁マスクを用いて、検出して得られた目標形状のオブジェクトから壁に位置する前記目標オブジェクトを決定するステップが、
    検出して得られた目標形状のオブジェクトから、壁に位置する候補オブジェクトを決定するステップと、
    隣接する２フレームの室内サンプル画像に基づいて前記候補オブジェクトが平面オブジェクトであるか否かを決定するステップと、
    前記候補オブジェクトが平面オブジェクトである場合、前記候補オブジェクトを前記目標オブジェクトとするステップと、
    を含む請求項６に記載の方法。
  9. 隣接する２フレームの室内サンプル画像に基づいて前記候補オブジェクトが平面オブジェクトであるか否かを決定するステップが、
    隣接する２フレームの室内サンプル画像に対して三角測量を行うステップと、
    測定結果を用いて平面方程式フィッティングを行うステップと、
    フィッティング結果に基づいて前記候補オブジェクトが平面オブジェクトであるか否かを決定するステップと、
    を含む請求項８に記載の方法。
  10. 前記目標オブジェクトが平面オブジェクトである場合、前記室内サンプル画像および前記目標特徴点の第１の画像位置を用いて、初期モデルをトレーニングして前記情報検出モデルを得るステップが、
    前記目標オブジェクトを前景として、前記前景を変換するステップと、
    ランダム写真を背景とし、変換された後の前記前景および前記背景を合成して、少なくとも１つの新しいサンプル画像を得るステップと、
    前記室内サンプル画像、前記少なくとも１つの新しいサンプル画像、および前記目標特徴点の第１の画像位置に基づいて、トレーニングサンプルセットを構築するステップと、
    構築されたトレーニングサンプルセットを用いて前記初期モデルをトレーニングして、前記情報検出モデルを得るステップと、
    を含む請求項５に記載の方法。
  11. 前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップが、
    前記第１の室内画像に基づいて補助特徴点を決定するステップと、
    前記目標特徴点の第１の画像位置と前記目標特徴点の三次元空間位置、および前記補助特徴点の画像位置と前記補助特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップと、
    を含む請求項１から４のいずれか一項に記載の方法。
  12. 前記第１の室内画像に基づいて補助特徴点を決定するステップが、
    前記第１の室内画像に基づいて、室内環境の点群データを確立して、データポイントの前記第１の室内画像における第１の特徴点を決定するステップと、
    前記第１の室内画像の第２の特徴点を抽出するステップと、
    前記第１の特徴点と前記第２の特徴点とをマッチングするステップと、
    マッチングして一致する特徴点を前記補助特徴点とするステップと、
    を含む請求項１１に記載の方法。
  13. 前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するステップが、
    前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、前記第１の室内画像のカメラ位置姿勢を決定するステップと、
    前記カメラ位置姿勢に基づいてユーザの室内位置を決定するステップと、
    を含む請求項１から４のいずれか一項に記載の方法。
  14. ユーザが収集した第１の室内画像に基づいて、目標オブジェクトにおける目標特徴点の第１の画像位置および前記目標特徴点の識別子を取得するための識別子取得モジュールと、
    前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付けるための位置取得モジュールであって、
    前記目標特徴点の三次元空間位置が、前記目標特徴点の第２の室内画像における第２の画像位置、前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における姿勢によって決定される位置取得モジュールと、
    前記目標特徴点の第１の画像位置および前記目標特徴点の三次元空間位置に基づいて、ユーザの室内位置を決定するための測位モジュールと、
    を備える室内測位装置。
  15. 前記目標特徴点の識別子に基づいて前記目標特徴点の三次元空間位置に索引を付ける前に、前記目標オブジェクトの前記第２の室内画像における姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するための姿勢決定モジュールと、
    前記目標オブジェクトの三次元空間における姿勢、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するための位置決定モジュールと、
    を備える請求項１４に記載の装置。
  16. 前記位置決定モジュールが、
    前記目標オブジェクトの関連する平面方程式における空間特性パラメータを、前記目標オブジェクトの三次元空間における姿勢情報とするための情報決定ユニットと、
    前記目標オブジェクトの三次元空間における姿勢情報、前記第２の室内画像のカメラ姿勢、および前記第２の画像位置に基づいて、前記目標特徴点の三次元空間位置を決定するための位置決定ユニットと、
    を備える請求項１５に記載の装置。
  17. 前記姿勢決定モジュールが、
    前記第２の室内画像のカメラ姿勢、および前記目標オブジェクトの前記第２の室内画像における少なくとも１つの姿勢に基づいて、前記目標オブジェクトの三次元空間における姿勢を決定するための姿勢決定ユニットを備える請求項１５に記載の装置。
  18. 前記識別子取得モジュールが、
    前記第１の室内画像を予めトレーニングされた情報検出モデルに入力して、前記目標特徴点の第１の画像位置を出力するための位置取得ユニットを備え、
    前記情報検出モデルが、
    室内サンプル画像における前記目標オブジェクト、および前記目標オブジェクトにおける前記目標特徴点の第１の画像位置を検出し、
    前記室内サンプル画像、および前記目標特徴点の第１の画像位置を用いて、初期モデルをトレーニングして前記情報検出モデルを得るという方式によって構築される請求項１４から１７のいずれか一項に記載の装置。
  19. 少なくとも１つのプロセッサと、
    該少なくとも１つのプロセッサと通信可能に接続されるメモリと、
    を備え、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶されており、前記命令が実行される場合、前記少なくとも１つのプロセッサが請求項１から１３のいずれか一項に記載の方法を実行する電子機器。
  20. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令が実行される場合、コンピュータに請求項１から１３のいずれか一項に記載の方法が実行させる非一時的なコンピュータ読み取り可能な記憶媒体。
  21. コンピュータプログラムにおける命令が実行された場合に、請求項１から１３のいずれか一項に記載の方法が実行されるコンピュータプログラム。


JP2020215110A 2020-05-27 2020-12-24 室内測位方法、装置、機器および記憶媒体 Active JP7164589B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010463444.4 2020-05-27
CN202010463444.4A CN111652103B (zh) 2020-05-27 2020-05-27 室内定位方法、装置、设备以及存储介质

Publications (2)

Publication Number Publication Date
JP2021190083A true JP2021190083A (ja) 2021-12-13
JP7164589B2 JP7164589B2 (ja) 2022-11-01

Family

ID=72349718

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020215110A Active JP7164589B2 (ja) 2020-05-27 2020-12-24 室内測位方法、装置、機器および記憶媒体

Country Status (5)

Country Link
US (1) US20210374977A1 (ja)
EP (1) EP3916355A1 (ja)
JP (1) JP7164589B2 (ja)
KR (1) KR102566300B1 (ja)
CN (1) CN111652103B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634366B (zh) * 2020-12-23 2023-10-17 北京百度网讯科技有限公司 位置信息的生成方法、相关装置及计算机程序产品
CN114581525A (zh) * 2022-03-11 2022-06-03 浙江商汤科技开发有限公司 姿态确定方法及装置、电子设备和存储介质
CN114332232B (zh) * 2022-03-11 2022-05-31 中国人民解放军国防科技大学 基于空间点线面特征混合建模的智能手机室内定位方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180066945A1 (en) * 2016-09-02 2018-03-08 Apple Inc. System For Determining Position Both Indoor and Outdoor
JP2018081008A (ja) * 2016-11-16 2018-05-24 株式会社岩根研究所 基準映像地図を用いた自己位置姿勢標定装置
US20190206078A1 (en) * 2018-01-03 2019-07-04 Baidu Online Network Technology (Beijing) Co., Ltd . Method and device for determining pose of camera
WO2019189661A1 (ja) * 2018-03-29 2019-10-03 国立大学法人奈良先端科学技術大学院大学 学習データセット作製方法及び装置
JP2019215647A (ja) * 2018-06-12 2019-12-19 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム。
CN111199564A (zh) * 2019-12-23 2020-05-26 中国科学院光电研究院 智能移动终端的室内定位方法、装置与电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169914B2 (en) * 2016-08-26 2019-01-01 Osense Technology Co., Ltd. Method and system for indoor positioning and device for creating indoor maps thereof
JP6893607B2 (ja) * 2017-04-21 2021-06-23 達闥机器人有限公司 ロボット制御方法、ロボット装置及びロボット機器
CA3092038A1 (en) * 2018-02-23 2019-08-29 Crown Equipment Corporation Systems and methods for optical target based indoor vehicle navigation
CN108717710B (zh) * 2018-05-18 2022-04-22 京东方科技集团股份有限公司 室内环境下的定位方法、装置及系统
WO2020075252A1 (ja) * 2018-10-11 2020-04-16 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法
KR20190121275A (ko) * 2019-10-07 2019-10-25 엘지전자 주식회사 실내 측위 시스템, 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180066945A1 (en) * 2016-09-02 2018-03-08 Apple Inc. System For Determining Position Both Indoor and Outdoor
JP2018081008A (ja) * 2016-11-16 2018-05-24 株式会社岩根研究所 基準映像地図を用いた自己位置姿勢標定装置
US20190206078A1 (en) * 2018-01-03 2019-07-04 Baidu Online Network Technology (Beijing) Co., Ltd . Method and device for determining pose of camera
WO2019189661A1 (ja) * 2018-03-29 2019-10-03 国立大学法人奈良先端科学技術大学院大学 学習データセット作製方法及び装置
JP2019215647A (ja) * 2018-06-12 2019-12-19 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム。
CN111199564A (zh) * 2019-12-23 2020-05-26 中国科学院光电研究院 智能移动终端的室内定位方法、装置与电子设备

Also Published As

Publication number Publication date
CN111652103A (zh) 2020-09-11
KR20210146770A (ko) 2021-12-06
US20210374977A1 (en) 2021-12-02
JP7164589B2 (ja) 2022-11-01
EP3916355A1 (en) 2021-12-01
CN111652103B (zh) 2023-09-19
KR102566300B1 (ko) 2023-08-10

Similar Documents

Publication Publication Date Title
JP6824433B2 (ja) カメラ姿勢情報の決定方法、決定装置、モバイル端末及びコンピュータプログラム
CN112150551B (zh) 物体位姿的获取方法、装置和电子设备
CN111523468B (zh) 人体关键点识别方法和装置
JP2021190083A (ja) 室内測位方法、装置、機器および記憶媒体
CN110648397B (zh) 场景地图生成方法、装置、存储介质及电子设备
CN111612852B (zh) 用于验证相机参数的方法和装置
KR20210036317A (ko) 모바일 에지 컴퓨팅 기반의 시각적 위치 확정 방법 및 장치
JP2021103555A (ja) 画像検出方法、装置、電子設備、記憶媒体、及びプログラム
CN111722245B (zh) 定位方法、定位装置和电子设备
CN111767853B (zh) 车道线检测方法和装置
CN103914876A (zh) 用于在3d地图上显示视频的方法和设备
US11694405B2 (en) Method for displaying annotation information, electronic device and storage medium
US11423650B2 (en) Visual positioning method and apparatus, and computer-readable storage medium
US20210390732A1 (en) Indoor positioning method and apparatus, electronic device and storage medium
CN111462179B (zh) 三维物体跟踪方法、装置及电子设备
CN112509058B (zh) 外参的计算方法、装置、电子设备和存储介质
KR20120061696A (ko) 증강현실 기반 건물 네비게이션 시스템
JP6304815B2 (ja) 画像処理装置ならびにその画像特徴検出方法、プログラムおよび装置
CN113628284B (zh) 位姿标定数据集生成方法、装置、系统、电子设备及介质
CN112200190B (zh) 兴趣点的位置确定方法、装置、电子设备和存储介质
CN109145681B (zh) 用于判断目标旋转方向的方法及装置
CN112381877B (zh) 定位融合、室内定位方法、装置、设备及介质
JP7293362B2 (ja) 撮影方法、装置、電子機器及び記憶媒体
US11202000B2 (en) Learning apparatus, image generation apparatus, learning method, image generation method, and program
CN113390413B (zh) 一种定位方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220301

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221018

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221020

R150 Certificate of patent or registration of utility model

Ref document number: 7164589

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150