KR102566300B1 - 실내 측위 방법, 장치, 장비 및 저장 매체 - Google Patents

실내 측위 방법, 장치, 장비 및 저장 매체 Download PDF

Info

Publication number
KR102566300B1
KR102566300B1 KR1020200179236A KR20200179236A KR102566300B1 KR 102566300 B1 KR102566300 B1 KR 102566300B1 KR 1020200179236 A KR1020200179236 A KR 1020200179236A KR 20200179236 A KR20200179236 A KR 20200179236A KR 102566300 B1 KR102566300 B1 KR 102566300B1
Authority
KR
South Korea
Prior art keywords
image
indoor
feature point
target
target feature
Prior art date
Application number
KR1020200179236A
Other languages
English (en)
Other versions
KR20210146770A (ko
Inventor
실리 첸
자오량 리우
Original Assignee
베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디. filed Critical 베이징 바이두 넷컴 사이언스 앤 테크놀로지 코., 엘티디.
Publication of KR20210146770A publication Critical patent/KR20210146770A/ko
Application granted granted Critical
Publication of KR102566300B1 publication Critical patent/KR102566300B1/ko

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3635—Guidance using 3D or perspective road maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 실시예는 실내 측위 방법, 장치, 장비 및 저장 매체를 개시하며, 이미지 처리 기술 분야, 특히 실내 내비게이션 기술 분야에 관한 것이다. 구체적인 구현 방식은 다음과 같다. 즉: 사용자에 의해 수집된 제1 실내 이미지에 따라, 대상 물체 상의 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 식별자를 획득하며; 상기 대상 특징점의 식별자에 따라, 상기 대상 특징점의 3차원 공간 위치를 인덱싱하며; 상기 대상 특징점의 3차원 공간 위치는 제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 의해 결정되며; 상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정한다. 본 발명의 실시예의 기술적 해결책은 실내 측위의 자동화 정도 및 강건성을 향상시킨다.

Description

실내 측위 방법, 장치, 장비 및 저장 매체{METHOD FOR INDOOR LOCALIZATION AND ELECTRONIC DEVICE}
본 발명의 실시예는 이미지 처리 기술 분야에 관한 것으로, 특히 실내 내비게이션 기술 분야에 관한 것이다. 구체적으로, 본 발명의 실시예는 실내 측위 방법, 장치, 장비 및 저장 매체에 관한 것이다.
실내 측위는 실내 환경에서의 수집 장비의 위치를 획득하는 것을 의미한다. 수집 장비는 일반적으로 핸드폰, 로봇 등과 같이 카메라와 같은 센서를 탑재한 장비를 말한다. 실외 측위에 비해, 실내에서는 위성 신호가 약하여 직접 위성 측위를 통해 정확한 위치를 얻을 수 없다.
그러나, 실내 내비게이션을 구현하거나 실내 서비스 로봇이 실내 환경에서 더 잘 작동되도록, 백화점에서 소비하는 고객이나 실내 서비스 로봇 모두 실내 위치를 필요로 한다.
본 발명의 실시예는 실내 측위 방법, 장치, 장비 및 저장 매체를 제공한다.
제1 양태에서, 본 발명의 실시예는 실내 측위 방법을 제공하는데, 상기 방법은,
사용자에 의해 수집된 제1 실내 이미지에 따라, 대상 물체 상의 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 식별자를 획득하는 단계;
상기 대상 특징점의 식별자에 따라, 상기 대상 특징점의 3차원 공간 위치를 인덱싱하는 단계 - 상기 대상 특징점의 3차원 공간 위치는 제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 의해 결정됨 - ; 및,
상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정하는 단계;를 포함한다.
제2 양태에서, 본 발명의 실시예는 실내 측위 장치를 제공하는데, 상기 장치는,
사용자에 의해 수집된 제1 실내 이미지에 따라, 대상 물체 상의 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 식별자를 획득하는 식별자 획득 모듈;
상기 대상 특징점의 식별자에 따라, 상기 대상 특징점의 3차원 공간 위치를 인덱싱하는 위치 획득 모듈 - 상기 대상 특징점의 3차원 공간 위치는 제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 의해 결정됨 - ; 및,
상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정하는 측위 모듈;을 포함하여 구성된다.
제3 양태에서, 본 발명의 실시예는 또한 전자 장치를 제공하며, 상기 장치는,하나 이상의 프로세서; 및,
상기 하나 이상의 프로세서와 통신 연결되는 메모리;를 포함하여 구성되며,
상기 메모리에는 상기 하나 이상의 프로세서에 의해 실행 가능한 명령어가 저장되며, 상기 명령어가 실행될 경우, 상기 하나 이상의 프로세서에 의해 본 발명의 실시예의 임의의 한 항의 방법이 수행된다.
제4 양태에서, 본 발명의 실시예는 또한 컴퓨터 명령어가 저장된 비 일시적 컴퓨터 판독 가능 저장 매체를 제공하며, 상기 컴퓨터 명령어가 실행될 경우, 본 발명의 실시예의 임의의 한 항의 방법이 수행된다.
제5 양태에서, 본 발명의 실시예는 또한 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 제공하며, 상기 컴퓨터 프로그램의 명령이 실행될 경우, 본 발명의 실시예의 임의의 한 항의 방법이 수행된다.
본 발명의 실시예의 기술적 해결책은 실내 측위의 자동화 정도 및 강건성을 향상시킨다.
본 부분에서 설명된 내용은 본 발명의 실시예의 핵심적이거나 중요한 특징을 표시하기 위한 것이 아니며, 또한 본 발명의 범위를 제한하기 위한 것이 아님을 이해해야 한다. 본 발명의 다른 특징은 다음의 설명에 의해 쉽게 이해될 수 있을 것이다.
첨부도면은 기술적 해결책을 더 잘 이해하기 위해 사용되며, 본 발명에 대한 제한을 구성하지 않는다. 여기서,
도 1은 본 발명의 제1 실시예에 따른 실내 측위 방법의 흐름도이다.
도 2는 본 발명의 제2 실시예에 따른 실내 측위 방법의 흐름도이다.
도 3은 본 발명의 제3 실시예에 따른 실내 측위 방법의 흐름도이다.
도 4는 본 발명의 제4 실시예에 따른 실내 측위 방법의 흐름도이다.
도 5는 본 발명의 제6 실시예에 따른 실내 측위 장치의 구조도이다.
도 6은 본 발명의 실시예에 따른 실내 측위 방법의 전자 장치의 블록도이다.
이하, 첨부 도면을 결부하여 본 발명의 예시적인 실시예에 대해 설명하며, 이해를 돕기 위해, 상기 설명에는 본 발명의 실시예의 다양한 세부 사항이 포함되며, 이를 단순히 예시적인 것으로 간주해야 한다. 따라서, 당업자는 본 발명의 범위 및 사상을 벗어나지 않고 여기에 설명된 실시예에 대해 다양한 변경 및 수정이 이루어질 수 있다는 것을 인식해야 한다. 마찬가지로, 이하의 설명에서 명확성과 간결성을 위해 잘 알려진 기능 및 구조에 대한 설명은 생략한다.
제1 실시예
도 1은 본 발명의 제1 실시예에 따른 실내 측위 방법의 흐름도이다. 본 실시예는 사용자에 의해 수집된 실내 환경 이미지를 통해 사용자의 실내 위치를 결정하기 위한 상황에 적용될 수 있다. 상기 방법은 소프트웨어 및/또는 하드웨어에 의해 구현될 수 있는 실내 측위 장치에 의해 수행될 수 있다. 도 1을 참조하면, 본 발명의 실시예에 따른 실내 측위 방법은 다음 단계를 포함한다. 즉:
S110, 사용자에 의해 수집된 제1 실내 이미지에 따라, 대상 물체 상의 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 식별자를 획득한다.
상기 제1 실내 이미지는 사용자에 의해 수집된 실내 측위를 위한 이미지이다.
대상 물체는 실내 위치 결정을 수행하는 근거로 되는 물체이다.
일 실시예에서, 대상 물체는 명백한 이미지 특징을 갖고, 실내 장면에서 출현 빈도가 높은 물체일 수 있다.
예시적으로, 대상 물체는 포스터, 간판, 광고판 등 일 수 있다.
대상 특징점은 대상 물체 상에 위치한 특징점을 지칭한다.
일 실시예에서, 대상 특징점은 대상 물체 상의 색상 특징점, 형상 특징점, 텍스처 특징점 중 적어도 하나일 수 있다.
예시적으로, 만일 대상 물체가 직사각형 물체인 경우, 대상 특징점은 직사각형 물체의 4 개의 코너점(corner point)일 수 있다.
제1 이미지 위치는 제1 실내 이미지에서의 대상 특징점의 위치를 지칭한다.
S120, 상기 대상 특징점의 식별자에 따라, 상기 대상 특징점의 3차원 공간 위치를 인덱싱한다.
대상 특징점의 3차원 공간 위치는 실내 공간에서의 대상 특징점의 위치로 이해될 수 있다.
상기 대상 특징점의 3차원 공간 위치는 제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 의해 결정된다.
제2 실내 이미지는 실내 환경에서 수집된 이미지이며, 상기 이미지는 제1 실내 이미지와 동일할 수도 있고, 동일하지 않을 수도 있다.
제2 이미지 위치는 제2 실내 이미지에서의 대상 특징점의 위치를 지칭한다.
제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세(예를 들어, 카메라의 촬영 구도) 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세는 사전에 미리 결정할 수도 있고, 실시간으로 결정할 수도 있다.
일 실시예에서, 제2 이미지 위치는 제2 실내 이미지에 대해 대상 특징점을 검출하는 것을 통해 획득할 수 있다.
대안적으로, 제2 이미지 위치는 템플릿 일치를 기반으로 대상 특징점을 검출하여 획득할 수도 있고, 신경망을 기반으로 대상 특징점을 검출하여 획득할 수도 있으며, 본 실시예에는 이를 제한하지 않는다.
제2 실내 이미지의 카메라 자세는 제2 실내 이미지의 카메라 매개변수를 수집하여 획득할 수 있다.
카메라 매개변수를 획득하는 번거로움을 피하기 위해, 제2 실내 이미지의 카메라 자세는 상기 제2 실내 이미지에 기초하여 실내 환경의 포인트 클라우드 데이터를 생성하여 제2 실내 이미지의 카메라 자세를 획득할 수도 있다.
왜냐하면, 3차원 복원 알고리즘을 기반으로 제2 실내 이미지를 실내 환경의 포인트 클라우드 데이터로 변환하는 과정에 제2 실내 이미지의 카메라 자세가 생성되기 때문이다.
상기 제2 실내 이미지에서의 상기 대상 물체의 자세를 결정함은 다음과 같이 설명할 수 있다. 즉:
서로 인접한 두 프레임의 제2 실내 이미지를 삼각 측량하며;
측정 결과를 이용하여 평면 방정식을 피팅하고, 피팅하여 얻은 평면 방정식을 이용하여 상기 제2 실내 이미지에서의 상기 대상 물체의 자세를 설명한다.
대안적으로, 상기 대상 특징점의 3차원 공간 위치를 결정하는 단계는 실시간으로 구현될 수도 있고 미리 구현될 수도 있다.
S130, 상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정한다.
여기서, 사용자의 실내 위치는 실내 환경에서의 사용자의 위치를 지칭한다.
일 실시예에서, 상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정하는 단계는, 상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 상기 제1 실내 이미지의 카메라 포즈(예를 들어, 카메라의 촬영 구도)를 결정하는 단계; 및, 상기 카메라 포즈에 따라, 사용자의 실내 위치를 결정하는 단계;를 포함한다.
여기서, 제1 실내 이미지의 카메라 위치는 사용자의 실내 위치이기도 하다.
본 실시예의 하나의 전형적인 적용 시나리오는 다음과 같다. 즉: 사용자는 쇼핑몰이나 전시장을 방문하거나 다른 실내 활동에 참여하는 과정에서 자신의 위치를 모르는 경우, 휴대폰으로 주변 환경 이미지를 촬영하고, 촬영한 실내 환경 이미지를 사용하여 본 실시예의 실내 측위 방법에 따라 자동으로 위치를 결정할 수 있다.
본 발명의 실시예의 기술적 해결책에 따르면, 제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 따라 대상 특징점의 3차원 공간 위치를 결정함으로써, 대상 특징점의 3차원 공간 위치의 자동 결정을 구현한다. 또한, 대상 특징점의 제1 이미지 위치 및 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정함으로써, 실내 측위의 자동화 정도를 향상시킨다.
또한, 대상 물체의 특징점이 조명 등 외부 요인의 영향을 덜 받기 때문에, 상기 방법은 강건성이 높다.
일 실시예에서, 상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정하는 단계는, 상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 상기 제1 실내 이미지의 카메라 포즈를 결정하는 단계; 및, 상기 카메라 포즈에 따라, 사용자의 실내 위치를 결정하는 단계;를 포함한다.
여기서, 제1 실내 이미지의 카메라 위치는 사용자의 실내 위치이기도 하다.
제2 실시예
도 2는 본 발명의 제2 실시예에 따른 실내 측위 방법의 흐름도이다. 본 실시예는 상기 실시예에 기초하여, 상기 대상 특징점의 3차원 공간 위치를 결정하는 단계를 미리 구현하는 경우를 예를 들어, “제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 따라 대상 특징점의 3차원 공간 위치를 결정함으로써, 대상 특징점의 3차원 공간 위치를 결정하는 단계”를 구체적으로 최적화한 것이다. 도 2을 참조하면, 본 발명의 실시예에 따른 실내 측위 방법은 다음 단계를 포함한다. 즉:
S210, 제2 실내 이미지에서의 대상 물체의 자세에 따라, 3차원 공간에서의 대상 물체의 자세를 결정한다.
일 실시예에서, 제2 실내 이미지에서의 대상 물체의 자세는 대상 물체의 평면 방정식을 이용하여 설명할 수 있다. 제2 실내 이미지에서의 대상 물체의 자세에 따라, 3차원 공간 에서의 대상 물체의 자세를 결정하는 단계는 다음과 같이 설명할 수 있다. 즉: 대상 물체의 하나 이상의 평면 방정식에서 3 차원 공간에서의 대상 물체의 자세를 설명하기 위한 평면 방정식을 선택한다.
3차원 공간에서의 대상 물체의 자세의 정확도를 향상하기 위해, 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 따라, 3차원 공간에서의 상기 대상 물체의 자세를 결정하는 단계는 다음 단계를 포함한다. 즉: 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 적어도 하나의 자세에 따라, 3차원 공간에서의 상기 대상 물체의 자세를 결정한다.
다시 말하면, 제2 실내 이미지의 카메라 자세를 이용하여 대상 물체의 평면 방정식을 최적화하고, 최적화된 평면 방정식을 이용하여 3차원 공간에서의 상기 대상 물체의 자세를 설명한다.
여기서, 최적화 알고리즘은 임의의 최적화 알고리즘일 수 있다. 일반적으로, 최적화 알고리즘은 번들 조정(BundleAdjustment, BA) 알고리즘일 수 있다.
BA알고리즘을 이용하여 평면 최적화를 달성하는 과정은 다음과 같이 설명할 수 있다. 즉:
상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 적어도 하나의 자세를 BA알고리즘의 입력으로 사용하여 BA알고리즘의 계산을 통해 3차원 공간에서의 상기 대상 물체의 자세를 획득한다.
S220, 3차원 공간에서의 상기 대상 물체의 자세, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 이미지 위치에 따라, 상기 대상 물체 상의 대상 특징점의 3차원 공간 위치를 결정한다.
일 실시예에서, 3차원 공간에서의 상기 대상 물체의 자세, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 이미지 위치에 따라, 상기 대상 특징점의 3차원 공간 위치를 결정하는 단계는, 상기 대상 물체와 관련된 평면 방정식의 공간 특징 매개 변수를 3차원 공간에서의 상기 대상 물체의 자세 정보로 사용하는 단계; 및, 3차원 공간에서의 상기 대상 물체의 자세 정보, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 이미지 위치에 따라, 상기 대상 특징점의 3차원 공간 위치를 결정하는 단계;를 포함한다.
여기서, 공간 특징 매개 변수는 대상 물체의 평면 공간 특징을 설명하는 상수이다.
일반적으로, 평면 방정식은이며, A, B, C 및 D는 공간 특징 매개 변수이다.
일 실시예에서, 다음 공식을 통해 대상 특징점의 3차원 공간 위치 좌표를 구할 수 있다. 즉:
등식(1)은 상기 대상 물체의 평면 방정식으로서, 3차원 공간에서의 상기 대상 물체의 자세를 설명하며, n=(A, B, C), d= D이고, n 및 d는 상기 평면 방정식에서 평면 공간 특징을 설명하는 상수이며, X는 상기 대상 특징점의 3차원 공간 위치 좌표이고, R 및 t는 상기 제2 실내 이미지의 카메라 자세를 설명하며, R은 회전 매개변수이고, t는 변환 매개변수이고, 은 상기 제2 이미지 위치이고, 은 보조 매개변수이다.
S230, 사용자에 의해 수집된 제1 실내 이미지에 따라, 상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 식별자를 획득한다.
S240, 상기 대상 특징점의 식별자에 따라, 상기 대상 특징점의 3차원 공간 위치를 인덱싱한다.
S250, 상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정한다.
대안적으로, S210 및 S220의 실행 주체는 S230, S240 및 S250의 실행 주체와 동일하거나 동일하지 않을 수 있다.
본 발명의 실시예의 기술적 해결책에 따르면, 제2 실내 이미지에서의 대상 물체의 자세에 따라, 3차원 공간에서의 상기 대상 물체의 자세를 결정함으로써, 3차원 공간에서의 대상 물체의 자세를 결정하는 것을 구현한다.
제3 실시예
도 3은 본 발명의 제3 실시예에 따른 실내 측위 방법의 흐름도이다. 본 실시예는 상기 실시예에 기초하여, “사용자에 의해 수집된 제1 실내 이미지에 따라, 대상 물체 상의 대상 특징점의 제1 이미지 위치를 획득하는 단계”에 대해 구체적으로 최적화한 것이다. 도 3을 참조하면, 본 발명의 실시예에 따른 실내 측위 방법은 다음 단계를 포함한다. 즉:
S310, 사용자에 의해 수집된 제1 실내 이미지를 사전 훈련된 정보 검출 모델에 입력하여 대상 물체 상의 대상 특징점의 제1 이미지 위치를 출력한다.
상기 정보 검출 모델은,
실내 샘플 이미지에서 상기 대상 물체 및 상기 대상 물체 상의 상기 대상 특징점의 제1 이미지 위치를 검출하고;
상기 실내 샘플 이미지 및 상기 대상 특징점의 제1 이미지 위치를 이용하여 초기 모델을 훈련시켜 상기 정보 검출 모델을 얻는 방식으로 구축된다.
실내 샘플 이미지는 수집된 실내 환경 이미지이며, 상기 이미지는 제1 실내 이미지와 동일할 수도 있고, 동일하지 않을 수도 있다.
대안적으로, 대상 물체의 검출는 임의의 대상 검출 알고리즘을 사용할 수 있다.
예시적으로, 대상 검출 알고리즘은 템플릿 일치 또는 신경망일 수 있다.
일 실시예에서, 만일 상기 대상 물체가 벽에 위치한 대상 형태의 물체인 경우, 상기 실내 샘플 이미지에서 상기 대상 물체를 검출하는 단계는,
3차원 공간에서의 상기 실내 샘플 이미지에서 픽셀의 법선 벡터를 결정하는 단계;
상기 실내 샘플 이미지의 카메라 자세 및 3차원 공간에서의 상기 실내 샘플 이미지에서 픽셀의 법선 벡터에 따라, 상기 실내 샘플 이미지에서 벽면 마스크를 결정하는 단계;
상기 실내 샘플 이미지에서 대상 형태의 물체를 검출하는 단계; 및,
상기 벽면 마스크를 이용하여, 검출된 대상 형태의 물체로부터 벽에 위치한 상기 대상 물체를 결정하는 단계;를 포함한다.
상기 대상 형태는 임의의 형태일 수 있다. 대상 물체가 실내 환경의 더 많은 물체를 포함하도록, 대상 형태는 직사각형일 수 있다.
벽면 마스크는 실내 샘플 이미지에서 벽 부분을 카버(cover)하기 위한 이미지를 말한다.
일 실시예에서, 상기 실내 샘플 이미지의 카메라 자세 및 3차원 공간에서의 상기 실내 샘플 이미지에서 픽셀의 법선 벡터에 따라, 상기 실내 샘플 이미지에서 벽면 마스크를 결정하는 단계는,
상기 실내 샘플 이미지의 카메라 자세 및 3차원 공간에서의 상기 실내 샘플 이미지에서 픽셀의 법선 벡터에 따라, 법선 벡터 및 중력 방향에 수직되는 목표 픽셀을 결정하는 단계; 및,
상기 목표 픽셀에 따라, 상기 실내 샘플 이미지에서 벽면 마스크를 결정하는 단계;를 포함할 수 있다.
상기 목표 픽셀에 따라, 상기 실내 샘플 이미지에서 벽면 마스크를 결정하는 단계는, 목표 픽셀로 구성된 이미지를 벽면 마스크로 사용하는 단계;를 포함한다.
S320, 상기 제1 실내 이미지에 따라, 상기 대상 특징점의 식별자를 획득한다.
S330, 상기 대상 특징점의 식별자에 따라, 상기 대상 특징점의 3차원 공간 위치를 인덱싱한다.
상기 대상 특징점의 3차원 공간 위치는 제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 의해 결정된다.
일 실시예에서, 상기 제1 실내 이미지에 따라, 상기 대상 특징점의 식별자를 획득하는 단계는,
제1 실내 이미지를 상기 정보 검출 모델에 입력하여 상기 대상 특징점의 식별자를 출력하는 단계를 포함한다.
S340, 상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정한다.
본 실시예는 S310 및 S320의 수행 순서를 제한하지 않는다. 대안적으로, S310에 앞서 먼저 S320가 수행될 수 있다.
본 발명의 실시예의 기술적 해결책에 따르면, 모델의 훈련 데이터를 자동으로 결정함으로써 모델의 자동 획득을 실현하고, 자동 훈련에 의해 획득된 모델을 이용하여 대상 특징점의 제1 이미지 위치를 자동으로 결정하는 것을 구현할 수 있다.
훈련 샘플의 확장을 위해, 만일 상기 대상 물체가 평면 물체이면, 상기 실내 샘플 이미지 및 상기 대상 특징점의 제1 이미지 위치를 이용하여 초기 모델을 훈련시켜 상기 정보 검출 모델을 얻는 단계는,
상기 대상 물체를 전경으로 사용하고, 상기 전경을 변환하는 단계; 랜덤 이미지를 배경으로 사용하여 변환된 전경과 상기 배경을 합성하여 하나 이상의 새로운 샘플 이미지를 얻는 단계;
상기 실내 샘플 이미지, 상기 적어도 하나의 새로운 샘플 이미지 및 상기 대상 특징점의 제1 이미지 위치에 따라, 훈련 샘플 세트를 구성하는 단계; 및,
구성된 훈련 샘플 세트를 이용하여 상기 초기 모델을 훈련시켜 상기 정보 검출 모델을 얻는 단계;를 포함한다.
상기 전경의 변환은 대상 물체에 대한 임의의 각도 및/또는 위치의 변환일 수 있다. 상기 변환은 아핀 변환 또는 투영 변환을 기반으로 구현할 수 있다.
랜덤 이미지는 무작위로 선택되거나 생성된 사진이다.
새로운 샘플 이미지는 합성을 통해 얻은 이미지이다.
상기 실내 샘플 이미지, 상기 적어도 하나의 새로운 샘플 이미지 및 상기 대상 특징점의 제1 이미지 위치에 따라, 훈련 샘플 세트를 구성하는 단계는,
상기 실내 샘플 이미지 및 상기 적어도 하나의 새로운 샘플 이미지를 샘플로 사용하고, 상기 대상 특징점의 제1 이미지 위치를 샘플 라벨로 사용하여 훈련 샘플 세트를 구성하는 단계;를 포함할 수 있다.
제4 실시예
도 4는 본 발명의 제4 실시예에 따른 실내 측위 방법의 흐름도이다. 본 실시예는 상기 실시예에 기초하여, “상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정하는 단계”에 대해 구체적으로 최적화한 것이다. 도 4을 참조하면, 본 발명의 실시예에 따른 실내 측위 방법은 다음 단계를 포함한다. 즉:
S410, 사용자에 의해 수집된 제1 실내 이미지에 따라, 대상 물체 상의 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 식별자를 획득한다.
S420, 상기 대상 특징점의 식별자에 따라, 상기 대상 특징점의 3차원 공간 위치를 인덱싱한다.
상기 대상 특징점의 3차원 공간 위치는 제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 의해 결정된다.
S430, 상기 제1 실내 이미지에 따라, 보조 특징점을 결정한다.
여기서, 보조 특징점은 다른 특징점 검출 방법에 기반하여 결정한 특징점이다. 다른 특징점 검출 방법은 대상 특징점 검출 방법 이외의 다른 방법이다.
일 실시예에서, 상기 제1 실내 이미지에 따라 보조 특징점을 결정하는 단계는,
상기 제1 실내 이미지에 따라, 실내 환경의 포인트 클라우드 데이터를 생성하고, 상기 제1 실내 이미지에서의 데이터 포인트의 제1 특징점을 결정하는 단계;
상기 제1 실내 이미지의 제2 특징점을 추출하는 단계;
상기 제1 특징점과 상기 제2 특징점을 일치시키는 단계; 및,
일치하는 특징점을 상기 보조 특징점으로 사용하는 단계;를 포함한다.
예시적으로, 크기 불변 특징 변환(scale-invariant feature transform, SIFT) 알고리즘을 기반으로 제1 실내 이미지의 제 2 특징점을 추출할 수 있다.
S440, 상기 대상 특징점의 제1 이미지 위치와 상기 대상 특징점의 3차원 공간 위치 및 상기 보조 특징점의 이미지 위치와 상기 보조 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정한다.
본 발명의 실시예의 기술적 해결책에 따르면, 대상 특징점의 측위 결과와 보조 특징점의 측위 결과를 통합하여 측위의 강건성을 확보하는 동시에, 사용자의 실내 위치의 정확도를 향상시킨다.
측위의 정확도를 한층 향상하고, 풍부한 보조 특징점을 사용하여 사용자 위치를 정확히 결정할 수 있도록, 보조 특징점의 수량이 대상 특징점의 수량보다 많다.
제5 실시예
본 실시예는 상기 실시예에 기초하여, 대상 물체가 평면 직사각형 물체인 경우를 예를 들어 개시한 대안적 해결책이다. 예시적으로, 평면 직사각형 물체는 포스터, 간판 또는 광고판 등 일 수 있다. 본 발명의 실시예에서 제공하는 실내 측위 방법은 전처리 부분 및 실시간 적용 부분을 포함한다.
상기 실시간 적용 부분의 로직은 다음과 같이 설명할 수 있다. 즉:
사용자에 의해 수집된 제1 실내 이미지에 따라, 실내 환경의 포인트 클라우드 데이터 및 상기 제1 실내 이미지에서의 각 데이터 포인트의 특징점을 생성하며;
상기 제1 실내 이미지의 특징점을 추출하며;
추출된 특징점과 상기 제1 실내 이미지에서의 포인트 클라우드 데이터 중 각 데이터 포인트의 특징점을 일치시키며;
일치하는 특징점을 상기 보조 특징점으로 사용하며;
상기 제1 실내 이미지를 사전 훈련된 정보 검출 모델에 입력하여 대상 물체 상의 대상 특징점의 식별자 및 상기 대상 특징점의 제1 이미지 위치를 출력하며;
상기 대상 특징점의 식별자에 따라, 미리 저장된 데이터에서 상기 대상 특징점에 대응하는 3차원 공간 위치를 인덱싱하며;
상기 보조 특징점의 이미지 위치와 상기 보조 특징점의 3차원 공간 위치 및 상기 대상 특징점의 제1 이미지 위치와 상기 대상 특징점의 3차원 공간 위치에 따라, 상기 제1 실내 이미지의 카메라 포즈를 결정함으로써, 사용자의 실내 측위를 실현한다.
본 실시예는 보조 특징점과 대상 특징점의 결정 순서를 제한하지 않는다. 대안적으로, 먼저 대상 특징점을 결정한 다음, 계속하여 보조 특징점을 결정할 수 있다.
상기 전처리 부분의 로직은 다음과 같이 설명할 수 있다. 즉:
실내 샘플 이미지를 사전 훈련된 구조 검출 모델에 입력하여 3차원 공간에서의 각 픽셀의 법선 벡터를 출력하며;
상기 실내 샘플 이미지의 카메라 자세 및 3차원 공간에서의 상기 실내 샘플 이미지에서 픽셀의 법선 벡터에 따라, 법선 벡터 및 중력 방향에 수직되는 목표 픽셀을 결정하여 상기 실내 샘플 이미지에서의 벽면 마스크를 획득하며;
직사각형 프레임 검출 모델을 기반으로, 상기 실내 샘플 이미지에서 직사각형 물체를 검출하며;
벽면 마스크를 사용하여 검출된 직사각형 물체에서 벽에 위치한 후보 물체를 선별하며;
서로 인접한 두 프레임의 샘플 이미지를 삼각 측량하고 측정 결과를 이용하여 평면 방정식을 피팅하여 후보 물체가 평면 물체인지 여부를 확인하며;
만일 평면 물체이면, 해당 후보 물체를 대상 물체로 사용하며;
이미지 매칭 알고리즘을 기반으로, 검출된 대상 물체가 동일한 물체인지를 확인하며;
동일한 대상 물체를 동일한 식별자로 표시하며;
상기 실내 샘플 이미지의 카메라 자세 및 실내 샘플 이미지에서의 대상 물체의 자세에 따라, 3차원 공간에서의 대상 물체의 포즈를 결정하며;
3차원 공간에서의 대상 물체의 포즈에 따라, 상기 대상 특징점의 3차원 공간 위치를 결정하고, 해당 위치와 상기 대상 특징점의 특징 식별자를 연관시켜 저장하며;
다른 각도와 위치에서 상기 대상 물체에 대해 투영 변환을 수행하여 새로운 샘플 이미지를 얻으며;
상기 실내 샘플 이미지, 상기 새로운 샘플 이미지, 대상 물체의 식별자 및 실내 샘플 이미지에서의 대상 특징점의 제2 이미지 좌표를 훈련 샘플 세트로 사용하며;
얻은 훈련 샘플 세트를 사용하여 초기 모델을 훈련시켜 상기 정보 검출 모델을 얻는다.
본 기술적 해결책은 대상 특징점과 보조 특징점을 통합하여 실내 측위를 수행하며, 보조 특징점의 수량이 많기 때문에 보조 특징점을 기반으로 하는 실내 측위의 정확도가 높지만, 강건성이 낮다. 대상 특징점의 수량이 상대적으로 적기 때문에, 대상 특징점을 기반으로 하는 실내 측위의 정확도가 상대적으로 낮지만, 해당 특징점이 실내 환경의 영향을 적게 받기 때문에, 대상 특징점을 기반으로 구현되는 실내 측위의 강건성이 상대적으로 높다. 본 발명의 실시예에 따르면, 양자를 통합함으로써, 실내 측위의 정확도를 향상하는 동시에, 실내 측위의 강건성을 향상시킨다.
또한, 본 기술적 해결책의 직사각형 프레임 검출 모델의 유지 보수 비용이 다른 대상 물체 검출 모델보다 낮다. 다른 대상 물체 검출 모델은 물체 범주를 추가할 때, 훈련을 위해 데이터를 수동으로 수집하고 라벨을 지정해야 하기 때문이다. 본 기술적 해결책에서, 직사각형 프레임 검출 모델이 직사각형 형태 범주 물체의 검출을 실현하기 때문에 다른 범주의 직사각형 물체를 추가하더라도 재차 훈련할 필요가 없으므로 모델의 유지 관리 비용이 크게 절감된다.
제6 실시예
도 5는 본 발명의 제6 실시예에 따른 실내 측위 장치의 구조도이다. 도 5를 참조하면, 본 발명의 실시예에 따른 실내 측위 장치(500)는 식별자 획득 모듈(501), 위치 획득 모듈(502) 및 측위 모듈(503)을 포함하여 구성된다.
상기 식별자 획득 모듈(501)은 사용자에 의해 수집된 제1 실내 이미지에 따라, 대상 물체 상의 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 식별자를 획득하며;
위치 획득 모듈(502)은 상기 대상 특징점의 식별자에 따라, 상기 대상 특징점의 3차원 공간 위치를 인덱싱하며;
상기 대상 특징점의 3차원 공간 위치는 제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 의해 결정되며;
측위 모듈(503)은 상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정한다.
본 발명의 실시예의 기술적 해결책에 따르면, 제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 따라 대상 특징점의 3차원 공간 위치를 결정함으로써, 대상 특징점의 3차원 공간 위치의 자동 결정을 구현한다. 또한, 대상 특징점의 제1 이미지 위치 및 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정함으로써, 실내 측위의 자동화 정도를 향상시킨다. 또한, 대상 물체의 특징점이 조명 등 외부 요인의 영향을 덜 받기 때문에, 상기 방법은 강건성이 높다.
또한, 상기 장치는,
상기 대상 특징점의 식별자에 따라 상기 대상 특징점의 3차원 공간 위치를 인덱싱하기 전에, 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 따라, 3차원 공간에서의 상기 대상 물체의 자세를 결정하는 자세 결정 모듈; 및,
3차원 공간에서의 상기 대상 물체의 자세, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 이미지 위치에 따라, 상기 대상 특징점의 3차원 공간 위치를 결정하는 위치 결정 모듈;을 더 포함한다.
또한, 상기 위치 결정 모듈은,
상기 대상 물체와 관련된 평면 방정식의 공간 특징 매개 변수를 3차원 공간에서의 상기 대상 물체의 자세 정보로 사용하는 정보 결정 유닛; 및,
3차원 공간에서의 상기 대상 물체의 자세, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 이미지 위치에 따라, 상기 대상 특징점의 3차원 공간 위치를 결정하는 위치 결정 유닛;을 포함한다.
또한, 상기 자세 결정 모듈은,
상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 적어도 하나의 자세에 따라, 3차원 공간에서의 상기 대상 물체의 자세를 결정하는 자세 결정 유닛;을 포함한다.
또한, 상기 위치 획득 모듈은,
상기 제1 실내 이미지를 사전 훈련된 정보 검출 모델에 입력하여 상기 대상 특징점의 제1 이미지 위치를 출력하는 위치 획득 유닛;을 포함하며,
상기 정보 검출 모델은,
실내 샘플 이미지에서 상기 대상 물체 및 상기 대상 물체 상의 상기 대상 특징점의 제1 이미지 위치를 검출하고;
상기 실내 샘플 이미지 및 상기 대상 특징점의 제1 이미지 위치를 이용하여 초기 모델을 훈련시켜 상기 정보 검출 모델을 얻는 방식으로 구축된다.
또한, 만일 상기 대상 물체가 벽에 위치한 대상 형태의 물체인 경우, 상기 위치 획득 유닛은,
3차원 공간에서의 상기 실내 샘플 이미지에서 픽셀의 법선 벡터를 결정하는 벡터 결정 서브 유닛;
상기 실내 샘플 이미지의 카메라 자세 및 3차원 공간에서의 상기 실내 샘플 이미지에서 픽셀의 법선 벡터에 따라, 상기 실내 샘플 이미지에서 벽면 마스크를 결정하는 마스크 결정 서브 유닛;
상기 실내 샘플 이미지에서 대상 형태의 물체를 검출하는 물체 검출 서브 유닛; 및,
상기 벽면 마스크를 이용하여, 검출된 대상 형태의 물체로부터 벽에 위치한 상기 대상 물체를 결정하는 물체 결정 서브 유닛;을 포함한다.
또한, 상기 마스크 결정 서브 유닛은 구체적으로,
상기 실내 샘플 이미지의 카메라 자세 및 3차원 공간에서의 상기 실내 샘플 이미지에서 픽셀의 법선 벡터에 따라, 법선 벡터 및 중력 방향에 수직되는 목표 픽셀을 결정하며;
상기 목표 픽셀에 따라, 상기 실내 샘플 이미지에서 벽면 마스크를 결정한다.
또한, 만일 상기 대상 물체가 평면 물체인 경우, 상기 물체 결정 서브 유닛은,
검출된 대상 형태의 물체에서 벽에 위치한 후보 물체를 결정하는 후보 선택기;
서로 인접한 두 프레임의 실내 샘플 이미지에 따라, 상기 후보 물체가 평면 물체인지 여부를 결정하는 평면 판단기; 및,
만일 평면 물체이면, 상기 후보 물체를 상기 대상 물체로 사용하는 대상 선택기;를 포함한다.
또한, 상기 평면 판단기는 구체적으로,
서로 인접한 두 프레임의 실내 샘플 이미지를 삼각 측량하며;
측정 결과를 이용하여 평면 방정식을 피팅하며;
피팅 결과에 따라, 상기 후보 물체가 평면 물체인지 여부를 결정한다.
또한, 만일 상기 대상 물체가 평면 물체인 경우, 상기 위치 획득 유닛은,
상기 대상 물체를 전경으로 사용하고, 상기 전경을 변환하는 변환 서브 유닛;
랜덤 이미지를 배경으로 사용하여 변환된 상기 전경과 상기 배경을 합성하여 하나 이상의 새로운 샘플 이미지를 얻는 합성 서브 유닛;
상기 실내 샘플 이미지, 상기 적어도 하나의 새로운 샘플 이미지 및 상기 대상 특징점의 제1 이미지 위치에 따라, 훈련 샘플 세트를 구성하는 샘플 세트 구성 서브 유닛; 및,
구성된 훈련 샘플 세트를 이용하여 상기 초기 모델을 훈련시켜 상기 정보 검출 모델을 얻는 모델 훈련 서브 유닛;을 포함한다.
또한, 상기 측위 모듈은,
상기 제1 실내 이미지에 따라, 보조 특징점을 결정하는 특징점 결정 유닛; 및,
상기 대상 특징점의 제1 이미지 위치와 상기 대상 특징점의 3차원 공간 위치 및 상기 보조 특징점의 이미지 위치와 상기 보조 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정하는 측위 유닛;을 포함한다.
또한, 상기 특징점 결정 유닛은,
상기 제1 실내 이미지에 따라, 실내 환경의 포인트 클라우드 데이터를 생성하고, 상기 제1 실내 이미지에서의 데이터 포인트의 제1 특징점을 결정하는 포인트 클라우드 생성 유닛;
상기 제1 실내 이미지의 제2 특징점을 추출하는 특징점 추출 서브 유닛;
상기 제1 특징점과 상기 제2 특징점을 일치시키는 특징점 일치 서브 유닛; 및,
일치하는 특징점을 상기 보조 특징점으로 사용하는 특징점 결정 서브 유닛;을 포함한다.
또한, 상기 측위 모듈은,
상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 상기 제1 실내 이미지의 카메라 포즈를 결정하는 포즈 결정 유닛; 및,
상기 카메라 포즈에 따라, 사용자의 실내 위치를 결정하는 측위 유닛;을 포함한다.
제7 실시예
본 발명의 실시예에 따르면, 본 발명은 또한 전자 장치 및 판독 가능한 저장 매체를 제공한다.
도 6은 본 발명의 실시예에 따른 실내 측위 방법의 전자 장치의 블록도이다. 전자 장치는 랩톱 컴퓨터, 데스크톱 컴퓨터, 워크 스테이션, 개인 디지털 비서, 서버, 블레이드 서버, 메인 프레임 컴퓨터 및 기타 적합한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 가리킨다. 전자 장치는 개인용 디지털 처리, 휴대폰, 스마트 폰, 웨어러블 장치 및 기타 유사한 컴퓨팅 장치와 같은 다양한 형태의 모바일 장치를 가리킬 수도 있다. 본 명세서에 표시된 구성 요소, 이들의 연결 및 관계, 및 그 기능은 단지 예시일 뿐이며, 본 명세서에서 설명된 및/또는 요구되는 발명의 구현을 제한하려는 것이 아니다.
도 6에 도시된 바와 같이, 상기 전자 장치는 하나 이상의 프로세서(601), 메모리(602) 및 고속 인터페이스와 저속 인터페이스를 포함하는 각 구성 요소를 연결하기 위한 인터페이스를 포함한다. 각 구성 요소는 서로 다른 버스에 의해 서로 연결되고, 공통 마더 보드에 설치되거나 필요에 따라 다른 방식으로 설치될 수 있다. 프로세서는 메모리에 저장되어 외부 입력/출력 장치(예를 들어, 인터페이스에 연결된 디스플레이 장치)에 GUI의 그래픽 정보를 표시하기 위한 명령어를 포함하는 전자 장치에 의해 실행되는 명령어를 처리할 수 있다. 다른 실시예에서, 필요한 경우, 다중 프로세서 및/또는 다중 버스를 다중 메모리와 함께 사용할 수 있다. 마찬가지로, 여러 전자 장치를 연결할 수 있으며, 각 장치는 필요한 작업의 일부분(예를 들어, 서버 어레이, 블레이드 서버 그룹 또는 다중 프로세서 시스템)을 제공할 수 있다. 도 6은 프로세서(601)가 하나인 경우를 예를 들어 나타낸 것이다.
메모리(602)는 본 발명에 따라 제공되는 비 일시적 컴퓨터 판독 가능 저장 매체이다. 적어도 하나의 프로세서를 통해 본 발명의 실내 측위 방법을 수행할 수 있도록, 메모리에는 적어도 하나의 프로세서에 의해 실행 가능한 명령어가 저장된다. 본 발명의 비 일시적 컴퓨터 판독 가능 저장 매체에는 컴퓨터가 본 발명의 실내 측위 방법을 수행하도록 컴퓨터 명령어가 저장된다.
비 일시적 컴퓨터 판독 가능 저장 매체로서, 메모리(602)는 본 발명의 실시예의 실내 측위 방법에 대응하는 프로그램 명령/모듈(예를 들어, 도 5에 도시된 식별자 획득 모듈(501), 위치 획득 모듈(502) 및 측위 모듈(503))과 같은 비 일시적 소프트웨어 프로그램, 비 일시적 컴퓨터 실행 가능 프로그램 및 모듈을 저장하기 위해 사용된다. 프로세서(601)는 메모리(602)에 저장된 비 일시적 소프트웨어 프로그램, 명령어 및 모듈을 실행함으로써, 서버의 다양한 기능 애플리케이션 및 데이터 처리를 실행한다. 즉, 상기 방법 실시예의 실내 측위 방법을 구현한다.
메모리(602)는 저장 프로그램 영역 및 저장 데이터 영역을 포함할 수 있으며, 저장 프로그램 영역에는 운영 체제, 적어도 하나의 기능에 필요한 응용 프로그램이 저장될 수 있고, 저장 데이터 영역에는 실내 측위 전자 장치의 사용에 따라 생성된 데이터가 저장될 수 있다. 또한, 메모리(602)는 고속 랜덤 액세스 메모리를 포함할 수 있으며, 적어도 하나의 자기 디스크 저장 장치, 플래시 메모리 장치 또는 기타 비 일시적 고체 상태 저장 장치와 같은 비 일시적 메모리를 포함할 수도 있다. 일부 실시예에서, 메모리(602)는 프로세서(601)에 대해 원격으로 제공되는 메모리를 선택적으로 포함할 수 있으며, 이러한 원격 메모리는 네트워크를 통해 실내 측위 전자 장치에 연결될 수 있다. 상기 네트워크의 예는 인터넷, 기업 인트라넷, 근거리 통신망, 이동 통신 네트워크 및 이들의 조합을 포함하지만 이에 제한되지 않는다.
실내 측위 방법의 전자 장치는 입력 장치(603) 및 출력 장치(604)를 더 포함할 수 있다. 프로세서(601), 메모리(602), 입력 장치(603) 및 출력 장치(604)는 버스에 의해 연결되거나 또는 다른 방식으로 연결될 수 있으며, 도 6은 버스에 의한 연결을 예를 들어 나타낸 것이다.
입력 장치(603)는 입력된 숫자 또는 문자 정보를 수신하고, 실내 측위 전자 장치의 사용자 설정 및 기능 제어와 관련된 키 신호 입력을 생성할 수있으며, 예를 들어, 터치 스크린, 키패드, 마우스, 트랙 패드, 터치 패드, 표시기 스틱, 하나 이상의 마우스 버튼, 트랙볼, 조이스틱 및 기타 입력 장치를 포함할 수 있다. 출력 장치(604)는 디스플레이 장치, 보조 조명 장치(예를 들어, LED), 촉각 피드백 장치(예를 들어, 진동 모터) 등을 포함할 수 있다. 상기 디스플레이 장치는 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이 및 플라즈마 디스플레이를 포함할 수 있지만, 이에 제한되지 않는다. 일부 실시예에서, 디스플레이 장치는 터치 스크린일 수 있다.
본 출원의 실시예에 따르면, 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램을 더 제공한다. 당해 컴퓨터 프로그램의 명령이 실행될 경우, 본 발명의 실시예의 임의의 한 항의 방법이 수행된다.
본 명세서에 설명된 시스템 및 기술의 다양한 구현은 디지털 전자 회로 시스템, 집적 회로 시스템, 주문형ASIC(주문형 집적 회로), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합을 통해 구현될 수 있다. 이러한 다양한 구현 방식은 다음을 포함할 수 있다. 즉: 적어도 하나의 프로그래밍 가능 프로세서를 포함하는 프로그래밍 가능 시스템에서 실행 및/또는 해석될 수 있는 하나 이상의 컴퓨터 프로그램에서 구현되며, 상기 프로그래밍 가능 프로세서는 전용 또는 일반 프로그래밍 가능 프로세서일 수 있으며, 저장 시스템, 하나 이상의 입력 장치 및 하나 이상의 출력 장치에서 데이터 및 명령어를 수신할 수 있고,데이터 및 명령을 상기 저장 시스템, 상기 적어도 하나의 입력 장치 및 상기 적어도 하나의 출력 장치로 전송할 수 있다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램 또는 코드라고도 함)에는 프로그래밍 가능한 프로세서에 대한 기계 명령어가 포함되며, 고급 프로그래밍 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어를 사용하여 이러한 컴퓨터 프로그램을 구현할 수 있다. 본 명세서에서 사용되는 "기계 판독 가능 매체" 및 "컴퓨터 판독 가능 매체"라는 용어는 기계 명령어 및/또는 데이터를 프로그램 가능 프로세서에 제공하는 임의의 컴퓨터 프로그램 제품, 장비 및/또는 장치(예를 들어,자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD))를 지칭하며, 기계가 판독할 수 있는 신호인 기계 명령어를 수신할 수 있는 기계 판독 가능 매체를 포함한다. 용어 "기계 판독 가능 신호"는 기계 명령어 및/또는 데이터를 프로그래밍 가능 프로세서에 제공하는 모든 신호를 지칭한다.
사용자와의 상호 작용을 위해, 여기에 설명된 시스템 및 기술을 컴퓨터에서 구현할 수 있으며, 상기 컴퓨터는 사용자에게 정보를 표시하는 디스플레이 장치(예를 들어, CRT모니터 또는 LCD모니터)와, 키보드 및 포인팅 장치(예를 들어, 마우스 또는 트랙볼)를 구비하며, 사용자는 키보드 및 포인팅 장치를 통해 정보를 입력하여 컴퓨터에 제공할 수 있다. 다른 유형의 장치를 사용하여 사용자와의 상호 작용을 제공할 수도 있는데, 예를 들어, 사용자에게 제공되는 피드백은 모든 형태의 감각 피드백(예를 들어, 시각적 피드백, 청각적 피드백 또는 촉각적 피드백) 일 수 있고, 임의의 방식(사운드 입력, 음성 입력 또는 촉각 입력 포함)을 통해 사용자에 의한 입력을 수신할 수 있다.
여기에 설명된 시스템 및 기술은 백엔드 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 데이터 서버), 또는 미들웨어 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 애플리케이션 서버), 또는 프런트엔드 구성 요소를 포함하는 컴퓨팅 시스템(예를 들어, 그래픽 사용자 인터페이스 또는 웹 브라우저가 있는 사용자 컴퓨터를 포함할 수 있으며, 사용자는 그래픽 사용자 인터페이스 또는 웹 브라우저를 통해 여기에 설명된 시스템 및 기술 구현과 상호 작용할 수 있음), 또는 이러한 백엔드 구성 요소, 미들웨어 구성 요소 또는 프런트엔드 구성 요소의 임의의 조합을 포함하는 컴퓨팅 시스템에서 구현될 수 있다. 모든 형태 또는 매체의 디지털 데이터 통신(예를 들어, 통신 네트워크)을 통해 시스템의 구성 요소를 서로 연결할 수 있다. 통신 네트워크의 예로는 LAN (Local Area Network), WAN (Wide Area Network) 및 인터넷을 포함할 수 있다.
컴퓨터 시스템에는 클라이언트와 서버가 포함될 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 일반적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버 간의 관계는 해당 컴퓨터에서 컴퓨터 프로그램을 실행하고 서로 클라이언트-서버 관계를 유지함으로써 생성된다.
본 발명의 실시예의 기술적 해결책은 실내 측위의 자동화 정도 및 강건성을 향상시킨다. 위에 표시된 다양한 형태의 프로세스를 사용하여 단계를 재정렬, 추가 또는 삭제할 수 있음을 이해해야 한다. 예를 들어, 본 발명에서 설명된 다양한 단계들은 본 발명에 개시된 기술적 해결책의 원하는 결과를 달성할 수 있는 한, 병렬로 수행되거나, 순차적으로 또는 서로 다른 순서로 수행될 수 있으며, 본 명세서에서는 이를 제한하지 않는다.
상기 구체적인 구현 방식은 본 발명의 보호 범위에 대한 제한을 구성하지 않는다. 당업자는 설계 요건 및 기타 요인에 따라 다양한 수정, 조합, 하위 조합 및 대체가 이루어질 수 있음을 이해해야 한다. 본 발명의 정신과 원칙 내에서 이루어진 모든 수정, 동등한 대체 및 개선은 모두 본 발명의 보호 범위에 속한다.

Claims (21)

  1. 실내 측위 장치에 의해 수행되는 실내 측위 방법에 있어서,
    사용자에 의해 수집된 제1 실내 이미지에 따라, 대상 물체 상의 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 식별자를 획득하는 단계 - 상기 제1 실내 이미지는 사용자에 의해 수집된 실내 측위를 위한 이미지임 -;
    상기 대상 특징점의 식별자에 따라, 상기 대상 특징점의 3차원 공간 위치를 인덱싱하는 단계 -상기 대상 특징점의 3차원 공간 위치는 제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 의해 결정되고, 상기 제2 실내 이미지는 실내 환경에서 임의로 수집된 이미지임 - ; 및,
    상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정하는 단계;를 포함하고,
    상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정하는 단계는,
    상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 상기 제1 실내 이미지의 카메라 포즈를 결정하는 단계; 및,
    상기 카메라 포즈에 따라, 사용자의 실내 위치를 결정하는 단계;를 포함하고,
    상기 사용자에 의해 수집된 제1 실내 이미지에 따라, 대상 물체 상의 대상 특징점의 제1 이미지 위치를 획득하는 단계는,
    상기 제1 실내 이미지를 사전 훈련된 정보 검출 모델에 입력하여 상기 대상 특징점의 제1 이미지 위치를 출력하는 단계;를 포함하며,
    상기 정보 검출 모델은,
    실내 샘플 이미지 중의 상기 대상 물체 및 상기 대상 물체 상의 상기 대상 특징점의 제1 이미지 위치를 검출하고;
    상기 실내 샘플 이미지 및 상기 대상 특징점의 제1 이미지 위치를 이용하여 초기 모델을 훈련시켜 상기 정보 검출 모델을 얻는 방식으로 구축되고,
    만일 상기 대상 물체가 벽에 위치한 직사각형의 물체인 경우, 상기 실내 샘플 이미지 중의 상기 대상 물체를 검출하는 단계는,
    3차원 공간에서의 상기 실내 샘플 이미지 중의 픽셀의 법선 벡터를 결정하는 단계;
    상기 실내 샘플 이미지의 카메라 자세 및 3차원 공간에서의 상기 실내 샘플 이미지 중의 픽셀의 법선 벡터에 따라, 상기 실내 샘플 이미지 중의 벽면 마스크를 결정하는 단계;
    상기 실내 샘플 이미지 중의 직사각형의 물체를 검출하는 단계; 및,
    상기 벽면 마스크를 이용하여, 검출된 직사각형의 물체로부터 벽에 위치한 상기 대상 물체를 결정하는 단계; 를 포함하는 것,
    을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 대상 특징점의 식별자에 따라, 상기 대상 특징점의 3차원 공간 위치를 인덱싱하는 단계 전에, 상기 방법은,
    상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 따라, 3차원 공간 에서의 상기 대상 물체의 자세를 결정하는 단계; 및,
    3차원 공간에서의 상기 대상 물체의 자세, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 이미지 위치에 따라, 상기 대상 특징점의 3차원 공간 위치를 결정하는 단계;를 더 포함하는 것,
    을 특징으로 하는 방법.
  3. 제2항에 있어서,
    3차원 공간에서의 상기 대상 물체의 자세, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 이미지 위치에 따라, 상기 대상 특징점의 3차원 공간 위치를 결정하는 단계는,
    상기 대상 물체와 관련된 평면 방정식의 공간 특징 매개 변수를 3차원 공간에서의 상기 대상 물체의 자세 정보로 사용하는 단계; 및,
    3차원 공간에서의 상기 대상 물체의 자세 정보, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 이미지 위치에 따라, 상기 대상 특징점의 3차원 공간 위치를 결정하는 단계;를 포함하는 것,
    을 특징으로 하는 방법.
  4. 제2항에 있어서,
    상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 따라, 3차원 공간에서의 상기 대상 물체의 자세를 결정하는 단계는,
    상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 적어도 하나의 자세에 따라, 3차원 공간에서의 상기 대상 물체의 자세를 결정하는 단계;를 포함하는 것,
    을 특징으로 하는 방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 실내 샘플 이미지의 카메라 자세 및 3차원 공간에서의 상기 실내 샘플 이미지에서 픽셀의 법선 벡터에 따라, 상기 실내 샘플 이미지에서 벽면 마스크를 결정하는 단계는,
    상기 실내 샘플 이미지의 카메라 자세 및 3차원 공간에서의 상기 실내 샘플 이미지에서 픽셀의 법선 벡터에 따라, 법선 벡터 및 중력 방향에 수직되는 목표 픽셀을 결정하는 단계; 및,
    상기 목표 픽셀에 따라, 상기 실내 샘플 이미지에서 벽면 마스크를 결정하는 단계;를 포함하는 것,
    을 특징으로 하는 방법.
  8. 제1항에 있어서,
    만일 상기 대상 물체가 평면 물체인 경우, 상기 벽면 마스크를 이용하여, 검출된 직사각형의 물체로부터 벽에 위치한 상기 대상 물체를 결정하는 단계는,
    검출된 직사각형의 물체에서 벽에 위치한 후보 물체를 결정하는 단계;
    서로 인접한 두 프레임의 실내 샘플 이미지에 따라, 상기 후보 물체가 평면 물체인지 여부를 결정하는 단계; 및,
    만일 평면 물체이면, 상기 후보 물체를 상기 대상 물체로 사용하는 단계;를 포함하는 것,
    을 특징으로 하는 방법.
  9. 제8항에 있어서,
    상기 서로 인접한 두 프레임의 실내 샘플 이미지에 따라, 상기 후보 물체가 평면 물체인지 여부를 결정하는 단계는,
    서로 인접한 두 프레임의 실내 샘플 이미지를 삼각 측량하는 단계;
    측정 결과를 이용하여 평면 방정식을 피팅하는 단계; 및,
    피팅 결과에 따라, 상기 후보 물체가 평면 물체인지 여부를 결정하는 단계;를 포함하는 것,
    을 특징으로 하는 방법.
  10. 제1항에 있어서,
    만일 상기 대상 물체가 평면 물체이면, 상기 실내 샘플 이미지 및 상기 대상 특징점의 제1 이미지 위치를 이용하여 초기 모델을 훈련시켜 상기 정보 검출 모델을 얻는 단계는,
    상기 대상 물체를 전경으로 사용하고, 상기 전경을 변환하는 단계;
    랜덤 이미지를 배경으로 사용하여 변환된 전경과 상기 배경을 합성하여 하나 이상의 새로운 샘플 이미지를 얻는 단계;
    상기 실내 샘플 이미지, 상기 하나 이상의 새로운 샘플 이미지 및 상기 대상 특징점의 제1 이미지 위치에 따라, 훈련 샘플 세트를 구성하는 단계; 및,
    구성된 훈련 샘플 세트를 이용하여 상기 초기 모델을 훈련시켜 상기 정보 검출 모델을 얻는 단계;를 포함하는 것,
    을 특징으로 하는 방법.
  11. 제1항에 있어서,
    상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정하는 단계는,
    상기 제1 실내 이미지에 따라, 보조 특징점을 결정하는 단계; 및,
    상기 대상 특징점의 제1 이미지 위치와 상기 대상 특징점의 3차원 공간 위치 및 상기 보조 특징점의 이미지 위치와 상기 보조 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정하는 단계;를 포함하는 것,
    을 특징으로 하는 방법.
  12. 제11항에 있어서,
    상기 제1 실내 이미지에 따라, 보조 특징점을 결정하는 단계는,
    상기 제1 실내 이미지에 따라, 실내 환경의 포인트 클라우드 데이터를 생성하고, 상기 제1 실내 이미지에서의 데이터 포인트의 제1 특징점을 결정하는 단계;
    상기 제1 실내 이미지의 제2 특징점을 추출하는 단계;
    상기 제1 특징점과 상기 제2 특징점을 일치시키는 단계; 및,
    일치하는 특징점을 상기 보조 특징점으로 사용하는 단계;를 포함하는 것,
    을 특징으로 하는 방법.
  13. 삭제
  14. 실내 측위 장치에 있어서,
    사용자에 의해 수집된 제1 실내 이미지에 따라, 대상 물체 상의 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 식별자를 획득하는 식별자 획득 모듈- 상기 제1 실내 이미지는 사용자에 의해 수집된 실내 측위를 위한 이미지임 -;
    상기 대상 특징점의 식별자에 따라, 상기 대상 특징점의 3차원 공간 위치를 인덱싱하는 위치 획득 모듈 - 상기 대상 특징점의 3차원 공간 위치는 제2 실내 이미지에서의 상기 대상 특징점의 제2 이미지 위치, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 의해 결정되고, 상기 제2 실내 이미지는 실내 환경에서 임의로 수집된 이미지임 - ; 및,
    상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 사용자의 실내 위치를 결정하는 측위 모듈;을 포함하여 구성되고,
    상기 측위 모듈은 또한,
    상기 대상 특징점의 제1 이미지 위치 및 상기 대상 특징점의 3차원 공간 위치에 따라, 상기 제1 실내 이미지의 카메라 포즈를 결정하고;
    상기 카메라 포즈에 따라, 사용자의 실내 위치를 결정하고,
    상기 식별자 획득 모듈은,
    상기 제1 실내 이미지를 사전 훈련된 정보 검출 모델에 입력하여 상기 대상 특징점의 제1 이미지 위치를 출력하는 위치 획득 유닛;을 포함하며,
    상기 정보 검출 모델은,
    실내 샘플 이미지 중의 상기 대상 물체 및 상기 대상 물체 상의 상기 대상 특징점의 제1 이미지 위치를 검출하고;
    상기 실내 샘플 이미지 및 상기 대상 특징점의 제1 이미지 위치를 이용하여 초기 모델을 훈련시켜 상기 정보 검출 모델을 얻는 방식으로 구축되고,
    만일 상기 대상 물체가 벽에 위치한 대상 형태의 물체인경우, 상기 위치 획득 유닛은,
    3차원 공간에서의 상기 실내 샘플 이미지에서 픽셀의 법선 벡터를 결정하는 벡터 결정 서브 유닛;
    상기 실내 샘플 이미지의 카메라 자세 및 3차원 공간에서의 상기 실내 샘플 이미지 중의 픽셀의 법선 벡터에 따라, 상기 실내 샘플 이미지 중의 벽면 마스크를 결정하는 마스크 결정 서브 유닛;
    상기 실내 샘플 이미지에서 직사각형의 물체를 검출하는 물체 검출 서브 유닛; 및,
    상기 벽면 마스크를 이용하여, 검출된 직사각형의 물체로부터 벽에 위치한 상기 대상 물체를 결정하는 물체 결정 서브 유닛;을 포함하는 것,
    을 특징으로 하는 장치.
  15. 제14항에 있어서,
    상기 장치는,
    상기 대상 특징점의 식별자에 따라 상기 대상 특징점의 3차원 공간 위치를 인덱싱하기 전에, 상기 제2 실내 이미지에서의 상기 대상 물체의 자세에 따라, 3차원 공간에서의 상기 대상 물체의 자세를 결정하는 자세 결정 모듈; 및,
    3차원 공간에서의 상기 대상 물체의 자세, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 이미지 위치에 따라, 상기 대상 특징점의 3차원 공간 위치를 결정하는 위치 결정 모듈;을 더 포함하는 것,
    을 특징으로 하는 장치.
  16. 제15항에 있어서,
    상기 위치 결정 모듈은,
    상기 대상 물체와 관련된 평면 방정식의 공간 특징 매개 변수를 3차원 공간에서의 상기 대상 물체의 자세 정보로 사용하는 정보 결정 유닛; 및,
    3차원 공간에서의 상기 대상 물체의 자세, 상기 제2 실내 이미지의 카메라 자세 및 상기 제2 이미지 위치에 따라, 상기 대상 특징점의 3차원 공간 위치를 결정하는 위치 결정 유닛;을 포함하는 것,
    을 특징으로 하는 장치.
  17. 제15항에 있어서,
    상기 자세 결정 모듈은,상기 제2 실내 이미지의 카메라 자세 및 상기 제2 실내 이미지에서의 상기 대상 물체의 적어도 하나의 자세에 따라, 3차원 공간에서의 상기 대상 물체의 자세를 결정하는 자세 결정 유닛;을 포함하는 것,
    을 특징으로 하는 장치.
  18. 삭제
  19. 하나 이상의 프로세서; 및,
    상기 하나 이상의 프로세서와 통신 연결되는 메모리; 를 포함하여 구성되며,
    상기 메모리에는 상기 하나 이상의 프로세서에 의해 실행 가능한 명령어가 저장되며, 상기 명령어가 실행될 경우, 상기 하나 이상의 프로세서에 의해 제1항 내지 제4항, 제7항 내지 제12항 중 어느 한 항의 방법이 수행되는 것,
    을 특징으로 하는 전자 장치.
  20. 컴퓨터 명령어가 저장된 비 일시적 컴퓨터 판독 가능 저장 매체에 있어서,
    상기 컴퓨터 명령어가 실행될 경우, 제1항 내지 제4항, 제7항 내지 제12항 중 어느 한 항의 방법이 수행되는 것을 특징으로 하는 컴퓨터 명령어가 저장된 비 일시적 컴퓨터 판독 가능 저장 매체.
  21. 컴퓨터 판독 가능 매체에 저장되어 있는 컴퓨터 프로그램에 있어서,
    상기 컴퓨터 프로그램의 명령이 실행될 경우, 제1항 내지 제4항, 제7항 내지 제12항 중 어느 한 항의 방법이 수행되는,
    것을 특징으로 하는 컴퓨터 판독 가능 저장 매체에 저장되어 있는 컴퓨터 프로그램.
KR1020200179236A 2020-05-27 2020-12-21 실내 측위 방법, 장치, 장비 및 저장 매체 KR102566300B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010463444.4A CN111652103B (zh) 2020-05-27 2020-05-27 室内定位方法、装置、设备以及存储介质
CN202010463444.4 2020-05-27

Publications (2)

Publication Number Publication Date
KR20210146770A KR20210146770A (ko) 2021-12-06
KR102566300B1 true KR102566300B1 (ko) 2023-08-10

Family

ID=72349718

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200179236A KR102566300B1 (ko) 2020-05-27 2020-12-21 실내 측위 방법, 장치, 장비 및 저장 매체

Country Status (5)

Country Link
US (1) US20210374977A1 (ko)
EP (1) EP3916355A1 (ko)
JP (1) JP7164589B2 (ko)
KR (1) KR102566300B1 (ko)
CN (1) CN111652103B (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112634366B (zh) * 2020-12-23 2023-10-17 北京百度网讯科技有限公司 位置信息的生成方法、相关装置及计算机程序产品
CN114581525A (zh) * 2022-03-11 2022-06-03 浙江商汤科技开发有限公司 姿态确定方法及装置、电子设备和存储介质
CN114332232B (zh) * 2022-03-11 2022-05-31 中国人民解放军国防科技大学 基于空间点线面特征混合建模的智能手机室内定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180066945A1 (en) 2016-09-02 2018-03-08 Apple Inc. System For Determining Position Both Indoor and Outdoor
US20190206078A1 (en) 2018-01-03 2019-07-04 Baidu Online Network Technology (Beijing) Co., Ltd . Method and device for determining pose of camera
JP6541920B1 (ja) * 2018-10-11 2019-07-10 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法
CN111199564A (zh) * 2019-12-23 2020-05-26 中国科学院光电研究院 智能移动终端的室内定位方法、装置与电子设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10169914B2 (en) * 2016-08-26 2019-01-01 Osense Technology Co., Ltd. Method and system for indoor positioning and device for creating indoor maps thereof
JP6821154B2 (ja) * 2016-11-16 2021-01-27 株式会社岩根研究所 基準映像地図を用いた自己位置姿勢標定装置
CN107223082B (zh) * 2017-04-21 2020-05-12 深圳前海达闼云端智能科技有限公司 一种机器人控制方法、机器人装置及机器人设备
KR20200124263A (ko) * 2018-02-23 2020-11-02 크라운 이큅먼트 코포레이션 광학 타겟 기반 실내 차량 내비게이션을 위한 시스템 및 방법
CN111937034A (zh) * 2018-03-29 2020-11-13 国立大学法人奈良先端科学技术大学院大学 学习数据集的创建方法和装置
CN108717710B (zh) * 2018-05-18 2022-04-22 京东方科技集团股份有限公司 室内环境下的定位方法、装置及系统
JP2019215647A (ja) * 2018-06-12 2019-12-19 キヤノンマーケティングジャパン株式会社 情報処理装置、その制御方法及びプログラム。
KR20190121275A (ko) * 2019-10-07 2019-10-25 엘지전자 주식회사 실내 측위 시스템, 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180066945A1 (en) 2016-09-02 2018-03-08 Apple Inc. System For Determining Position Both Indoor and Outdoor
US20190206078A1 (en) 2018-01-03 2019-07-04 Baidu Online Network Technology (Beijing) Co., Ltd . Method and device for determining pose of camera
JP6541920B1 (ja) * 2018-10-11 2019-07-10 三菱電機株式会社 情報処理装置、プログラム及び情報処理方法
CN111199564A (zh) * 2019-12-23 2020-05-26 中国科学院光电研究院 智能移动终端的室内定位方法、装置与电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Gong, Yuanzheng 외 2명. Bound constrained bundle adjustment for reliable 3D reconstruction. Optics express. 2015.*

Also Published As

Publication number Publication date
CN111652103B (zh) 2023-09-19
EP3916355A1 (en) 2021-12-01
CN111652103A (zh) 2020-09-11
US20210374977A1 (en) 2021-12-02
JP2021190083A (ja) 2021-12-13
JP7164589B2 (ja) 2022-11-01
KR20210146770A (ko) 2021-12-06

Similar Documents

Publication Publication Date Title
KR102566300B1 (ko) 실내 측위 방법, 장치, 장비 및 저장 매체
US20210223789A1 (en) Method and apparatus for positioning vehicle, electronic device and storage medium
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
CN111612852B (zh) 用于验证相机参数的方法和装置
US11086926B2 (en) Thumbnail generation from panoramic images
JP7258066B2 (ja) 測位方法、測位装置及び電子機器
US9361731B2 (en) Method and apparatus for displaying video on 3D map
KR20210036317A (ko) 모바일 에지 컴퓨팅 기반의 시각적 위치 확정 방법 및 장치
KR20140013034A (ko) 컬러 채널 및 시각 마커
CN111767853B (zh) 车道线检测方法和装置
CN112150551A (zh) 物体位姿的获取方法、装置和电子设备
CN113361365B (zh) 定位方法和装置、设备及存储介质
KR102337209B1 (ko) 주변 상황 정보를 통지하기 위한 방법, 전자 장치 및 저장 매체
JP2014032623A (ja) 画像処理装置
CN112241716B (zh) 训练样本的生成方法和装置
CN112487979A (zh) 目标检测方法和模型训练方法、装置、电子设备和介质
JP2009014415A (ja) 物体認識装置および物体認識方法
CN111311743B (zh) 三维重建精度测试方法、测试装置和电子设备
CN113610702B (zh) 一种建图方法、装置、电子设备及存储介质
CN112509058B (zh) 外参的计算方法、装置、电子设备和存储介质
CN111967481B (zh) 视觉定位方法、装置、电子设备及存储介质
CN112102417A (zh) 确定世界坐标的方法和装置及用于车路协同路侧相机的外参标定方法
CN115578432B (zh) 图像处理方法、装置、电子设备及存储介质
CN112200190B (zh) 兴趣点的位置确定方法、装置、电子设备和存储介质
CN113628284B (zh) 位姿标定数据集生成方法、装置、系统、电子设备及介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant