KR102622585B1 - 실내 길안내 장치 및 그 방법 - Google Patents

실내 길안내 장치 및 그 방법 Download PDF

Info

Publication number
KR102622585B1
KR102622585B1 KR1020180075476A KR20180075476A KR102622585B1 KR 102622585 B1 KR102622585 B1 KR 102622585B1 KR 1020180075476 A KR1020180075476 A KR 1020180075476A KR 20180075476 A KR20180075476 A KR 20180075476A KR 102622585 B1 KR102622585 B1 KR 102622585B1
Authority
KR
South Korea
Prior art keywords
route
unit
data processing
feature points
location information
Prior art date
Application number
KR1020180075476A
Other languages
English (en)
Other versions
KR20200002219A (ko
Inventor
주찬진
Original Assignee
현대오토에버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오토에버 주식회사 filed Critical 현대오토에버 주식회사
Priority to KR1020180075476A priority Critical patent/KR102622585B1/ko
Publication of KR20200002219A publication Critical patent/KR20200002219A/ko
Application granted granted Critical
Publication of KR102622585B1 publication Critical patent/KR102622585B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)

Abstract

본 발명은 실내 길안내 장치 및 그 방법이 개시된다. 본 발명의 실내 길안내 장치는, 보행자의 진행방향 영상을 촬영하는 영상 촬영부; 보행자의 3축 가속도값을 감지하는 가속도 센서부; 실내 길안내를 위한 경로를 저장하고, 길안내 요청에 따라 경로를 탐색하여 제공하는 경로관리부; 길안내를 위한 경로생성과 경로안내 모드를 선택하고 길안내를 위한 목적지를 선택하는 키입력부; 영상 촬영부로부터 입력된 진행방향 영상과 가속도 센서부로부터 입력된 3축 가속도값으로부터 특징점을 추출하여 위치정보를 생성하는 데이터 처리부; 키입력부의 선택에 따라 데이터 처리부로부터 생성된 위치정보를 기반으로 경로를 생성하여 경로관리부에 제공하고, 위치정보를 기반으로 경로관리부에 경로를 요청하여 길안내를 제공하는 제어부; 및 제어부에서 제공되는 길안내 정보를 표출하는 표시부;를 포함하는 것을 특징으로 한다.

Description

실내 길안내 장치 및 그 방법{INDOOR NAVIGATION APPARATUS AND METHOD}
본 발명은 실내 길안내 장치 및 그 방법에 관한 것으로서, 보다 상세하게는 실내에서 촬영영상으로부터 획득한 포인트 클라우드 특징점과 가속도 데이터 특징점을 매핑하여 경로를 저장하고, 이러한 특징점을 기반으로 실내에서 위치를 매칭시켜 길안내 정보를 제공하는 실내 길안내 장치 및 그 방법에 관한 것이다.
일반적으로, 위치 기반 서비스는 사용자가 위치한 장소를 기반으로 하여 다양한 기능을 제공하는 서비스이다. 이러한 위치 기반 서비스의 예로 실내외 네비게이션 서비스를 들 수 있다. 이는 사용자가 위치한 위치 정보와 지도 정보, 건물 정보 등을 결합 활용하여 사용자에게 길 안내, 건물 안내 등을 가능하도록 한다.
이러한 위치 기반 서비스를 제공하기 위해서는 사용자가 위치한 곳의 위치 정보를 획득해야 하며 위치 정보의 획득을 위해 통상적으로 GPS(Global Positioning System) 신호를 수신하여 이용한다.
그런데, GPS 신호는 건물 내 등의 실내에서는 수신이 어려운 문제점이 있다. 이러한 문제점을 해결하기 위해 종래에는 지역을 나타내는 비콘 신호, 바코드, 스마트 코드 등을 수신하거나 스캔함으로써, 위치 정보를 획득하거나 3개 이상의 기지국의 신호를 측정하여 신호세기 분석을 통하여 위치 정보를 획득할 수 있었다.
또한, 위성 신호를 외부의 안테나로 수신한 뒤 이를 다시 내부로 방사하는 이른바 모의 위성 방식도 가능하고, 최근에는 자이로 센서를 이용하여 GPS 수신이 가능했던 지점부터의 상대적인 X/Y/Z 축 이동 거리를 계산하여 실내 위치를 추정하는 방식도 등장하고 있다.
본 발명의 배경기술은 대한민국 공개특허공보 제2013-0094407호(2013.08.26. 공개, 실내 보행자용 길 안내 서비스 장치 및 방법)에 개시되어 있다.
그러나 이러한 기존의 위치 정보 획득 방법 중 다중 기지국에 의한 삼각 측량 방식이나, 자이로스코프 방식, 모의 위성 방식은 실외 GPS 수신과 비슷한 정확도를 가지지만 추가의 인프라 설치를 필요로 하고 구조가 복잡해지는 문제점이 있다.
또한, 비콘 수신을 통한 위치 추정 방법은 통신을 위한 기존의 인프라를 활용하는 방식이므로 추가의 비용을 필요로 하지 않지만 어느 정도 오차를 포함하는 문제점이 있다.
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 일 측면에 따른 본 발명의 목적은 실내에서 촬영영상으로부터 획득한 포인트 클라우드 특징점과 가속도 데이터 특징점을 매핑하여 경로를 저장하고, 이러한 특징점을 기반으로 실내에서 위치를 매칭시켜 경로를 검색하여 길안내 정보를 제공하는 실내 길안내 장치 및 그 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 실내 길안내 장치는, 보행자의 진행방향 영상을 촬영하는 영상 촬영부; 보행자의 3축 가속도값을 감지하는 가속도 센서부; 실내 길안내를 위한 경로를 저장하고, 길안내 요청에 따라 경로를 탐색하여 제공하는 경로관리부; 길안내를 위한 경로생성과 경로안내 모드를 선택하고 길안내를 위한 목적지를 선택하는 키입력부; 영상 촬영부로부터 입력된 진행방향 영상과 가속도 센서부로부터 입력된 3축 가속도값으로부터 특징점을 추출하여 위치정보를 생성하는 데이터 처리부; 키입력부의 선택에 따라 데이터 처리부로부터 생성된 위치정보를 기반으로 경로를 생성하여 경로관리부에 제공하고, 위치정보를 기반으로 경로관리부에 경로를 요청하여 길안내를 제공하는 제어부; 및 제어부에서 제공되는 길안내 정보를 표출하는 표시부;를 포함하는 것을 특징으로 한다.
본 발명에서 데이터 처리부는, 진행방향 영상으로부터 포인트 클라우드 특징점을 추출하는 제1 특징점 추출부; 3축 가속도값으로부터 가속도 데이터 특징점을 추출하는 제2 특징점 추출부; 및 포인트 클라우드 특징점과 가속도 데이터 특징점을 매핑하여 위치정보를 생성하는 특징점 맵핑부를 포함하는 것을 특징으로 한다.
본 발명에서 포인트 클라우드 특징점은, 색상경계와 물체경계 중 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에서 특징점 맵핑부는, 가속도 데이터의 특징점으로부터 보행자의 걸음 수를 추출하고, 보행자의 행위를 분석하며, 행위를 분석한 지점으로부터 다음 지점까지의 거리를 계산하여 시간축을 기준으로 가속도 데이터 특징점과 포인트 클라우드 특징점을 매핑하는 것을 특징으로 한다.
본 발명에서 제어부는, 데이터 처리부에서 생성된 위치정보를 기반으로 목적지까지의 경로를 생성하고, 목적지까지의 경로를 요청하는 경로 요청/가공부; 경로관리부로부터 제공되는 검색경로와 데이터 처리부에서 생성된 위치정보를 매칭하는 위치매칭부; 및 데이터 처리부에서 생성된 위치정보를 기반으로 위치매칭부에서 매칭된 검색경로를 안내하기 위한 안내정보를 생성하는 안내정보 생성부;를 포함하는 것을 특징으로 한다.
본 발명에서 경로관리부는, 경로를 출발지와 목적지를 기준으로 저장하는 것을 특징으로 한다.
본 발명에서 제어부는, 진행방향 영상에 길안내 정보를 3D 모델링하여 증강현실로 제공하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 실내 길안내 방법은, 데이터 처리부가 영상 촬영부로부터 진행방향 영상과 가속도 센서부로부터 입력된 3축 가속도값을 입력받는 단계; 데이터 처리부가 진행방향 영상으로부터 포인트 클라우드 특징점을 추출하고, 3축 가속도값으로부터 가속도 데이터 특징점을 추출하는 단계; 데이터 처리부가 포인트 클라우드 특징점과 가속도 데이터 특징점을 매핑하여 위치정보를 생성하는 단계; 제어부가 데이터 처리부에서 생성된 위치정보를 기반으로 목적지를 입력받아 경로관리부에 경로를 요청하는 단계; 및 제어부가 경로관리부로부터 제공되는 검색경로에 따른 길안내 정보를 표시부를 통해 표출하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 포인트 클라우드 특징점은, 색상경계와 물체경계 중 하나 이상을 포함하는 것을 특징으로 한다.
본 발명에서 특징점을 매핑하여 위치정보를 생성하는 단계는, 데이터 처리부가 가속도 데이터의 특징점으로부터 보행자의 걸음 수를 추출하고, 보행자의 행위를 분석하며, 행위를 분석한 지점으로부터 다음 지점까지의 거리를 계산하여 시간축을 기준으로 가속도 데이터 특징점과 포인트 클라우드 특징점을 매핑하는 것을 특징으로 한다.
본 발명에서 경로관리부에 경로를 요청하는 단계는, 제어부가 포인트 클라우드 특징점을 경로관리부에 전송하여 안내 가능한 목적지를 수신받는 단계; 및 제어부가 안내 가능한 목적지 중 선택된 목적지까지의 경로를 요청하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 길안내 정보를 표시부를 통해 표출하는 단계는, 제어부가 경로관리부로부터 제공되는 검색경로와 위치정보를 매칭시키는 단계; 및 제어부가 매칭된 검색경로를 안내하기 위한 안내정보를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 길안내 정보를 표시부를 통해 표출하는 단계는, 제어부가 진행방향 영상에 길안내 정보를 3D 모델링하여 증강현실로 제공하는 것을 특징으로 한다.
본 발명은 제어부가 키입력부의 모드 선택에 따라 위치정보를 기반으로 목적지까지의 경로를 생성하여 경로관리부에 제공하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 실내 길안내 장치 및 그 방법은 실내에서 촬영영상으로부터 획득한 포인트 클라우드 특징점과 가속도 데이터 특징점을 매핑하여 경로를 저장하고, 이러한 특징점을 기반으로 실내에서 위치를 매칭시켜 경로를 검색하여 길안내 정보를 제공함으로써, GPS를 사용하지 못하는 실내/실외에서 제시된 검색경로를 보행하면서 길안내를 제공 받을 수 있고, AR기술을 이용하여 정확한 경로 안내 지점에 대한 안내를 제공할 수 있어 길안내 뿐만 아니라 보안시설 등 정해진 경로를 이탈하지 말아야 하는 환경에서도 효과적으로 경로 이탈 여부를 판단하여 보안 장치로도 활용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 실내 길안내 장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 실내 길안내 장치에서 포인트 클라우드 특징점을 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따른 실내 길안내 장치에서 가속도센서값을 나타낸 그래프이다.
도 4는 본 발명의 일 실시예에 따른 실내 길안내 방법에서 길안내 과정을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 실내 길안내 방법에서 경로를 생성하는 과정을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 실내 길안내 장치 및 그 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 실내 길안내 장치를 나타낸 블록 구성도이고, 도 2는 본 발명의 일 실시예에 따른 실내 길안내 장치에서 포인트 클라우드 특징점을 나타낸 예시도이며, 도 3은 본 발명의 일 실시예에 따른 실내 길안내 장치에서 가속도센서값을 나타낸 그래프이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 실내 길안내 장치는, 영상 촬영부(10), 가속도 센서부(20), 데이터 처리부(30), 제어부(40), 표시부(50), 키입력부(60) 및 경로관리부(70)를 포함한다.
본 발명에서 영상 촬영부(10), 가속도 센서부(20), 데이터 처리부(30), 제어부(40), 표시부(50) 및 키입력부(60)는 스마트 단말기와 같은 하나의 단일제품에 탑재되어 구성할 수 있고, 경로관리부(70)는 서버에 구축되어 무선망을 통해 접속될 수 있다. 또한, 스마트 단말기의 처리 부하를 감소시키기 위해 데이터 처리부(30)를 서버에 구축할 수도 있다.
영상 촬영부(10)는 보행자의 진행방향 영상을 촬영하여 데이터 처리부(30)와 제어부(40)에 제공한다.
가속도 센서부(20)는 스마트 단말기를 휴대하면서 보행하는 보행자의 3축 가속도값을 감지하여 데이터 처리부(30)에 제공한다.
경로관리부(70)는 실내 길안내를 위한 경로를 저장하고, 선택된 목적지에 대한 길안내 요청에 따라 경로를 탐색하여 검색경로를 제공한다.
여기서, 경로관리부(70)는 경로를 출발지와 목적지를 기준으로 저장하고, 사용 가능한 목적지를 제공한다.
데이터 처리부(30)는 영상 촬영부(10)로부터 입력된 진행방향 영상과 가속도 센서부(20)로부터 입력된 3축 가속도값으로부터 특징점을 추출하여 위치정보를 생성하여 제어부(40)에 제공할 수 있다.
보다 구체적으로 데이터 처리부(30)는 제1 특징점 추출부(32), 제2 특징점 추출부(34) 및 특징점 맵핑부(36)를 포함할 수 있다.
제1 특징점 추출부(32)는 진행방향 영상으로부터 포인트 클라우드 특징점을 추출할 수 있다.
즉, 도 2에 도시된 바와 같이 진행방향 영상을 분석하여 포인트 클라우드를 생성하여 색상경계와 물체경계 중 하나 이상을 포함하는 특징점을 추출한다.
여기서 특징점은 NARF(Normal Aligned Radial Feature) 알고리즘을 이용하거나, 3D-SIFT(Scale-Invariant Feature Transform)의 알고리즘을 이용할 수 있으며, VIO(visual inertial odometry) 기술을 이용하여 추출할 수도 있다.
제2 특징점 추출부(34)는 3축 가속도값으로부터 가속도 데이터 특징점을 추출할 수 있다.
즉, 도 3에 도시된 바와 같이 가속도값으로부터 Step Count Pedometer 알고리즘을 이용하여 사람이 움직인 걸음 수를 추출할 수 있으며, pitch/roll/yaw의 패턴 분석을 통해 사용자가 회전을 하였는지 계단을 오르는지의 등의 행위 분석을 할 수 있다. 또한, Step Count Pedometer를 통해 회전안내 행위 분석이 추출된 지점과 그 다음 지점과의 거리를 계산할 수 있다.
특징점 맵핑부(36)는 포인트 클라우드 특징점과 가속도 데이터 특징점을 매핑하여 위치정보를 생성할 수 있다.
즉, 특징점 맵핑부(36)는 제1 특징점 추출부(32)에서 추출된 포인트 클라우드 특징점과 제2 특징점 추출부(34)에서 추출된 가속도 데이터 특징점을 시간축을 기준으로 서로 맵핑함으로써, 영상만을 사용하였을 때의 오류와 가속도값만을 사용하였을 때의 오류를 보완할 수 있다. 또한 경로 안내 시 포인트 클라우드 위에 2D 혹은 3D 모델링 형태로 경로 안내 심볼을 표시할 위치 및 시점을 파악하는데 사용할 수 있다.
키입력부(60)는 제어부(40)에 경로생성과 경로안내 모드를 선택하고 길안내를 위한 목적지를 선택할 수 있다.
제어부(40)는 키입력부(60)로부터 경로생성 모드가 선택된 경우, 데이터 처리부(30)로부터 생성된 위치정보를 기반으로 목적지까지의 경로를 생성하여 경로관리부(70)에 제공하여 저장하도록 할 수 있다
또한, 제어부(40)는 키입력부(60)로부터 길안내 모드가 선택된 경우, 데이터 처리부(30)로부터 생성된 위치정보와 길안내를 위해 선택된 목적지에 따라 경로관리부(70)에 경로를 요청하여 길안내 서비스를 제공할 수 있다.
한편, 제어부(40)는 데이터 처리부(30)가 서버에 구축되는 경우, 영상 촬영부(10)로부터 입력된 진행방향 영상과 가속도 센서부(20)로부터 입력된 3축 가속도값을 데이터 처리부(30)로 전달한 후 데이터 처리부(30)에서 생성된 위치정보를 입력받을 수도 있다.
보다 구체적으로 제어부(40)는 경로 요청/가공부(42), 위치매칭부(44) 및 안내정보 생성부(46)를 포함할 수 있다.
경로 요청/가공부(42)는 키입력부(60)에서 선택된 모드에 따라 데이터 처리부(30)에서 생성된 위치정보를 기반으로 목적지까지의 경로를 생성하거나, 목적지까지의 경로를 요청할 수 있다.
위치 매칭부(44)는 경로관리부(70)로부터 제공되는 검색경로와 데이터 처리부(30)에서 생성된 위치정보를 매칭하여 현재 위치를 파악할 수 있도록 한다.
안내정보 생성부(46)는 데이터 처리부(30)에서 생성된 위치정보를 기반으로 위치매칭부(44)에서 매칭된 검색경로를 안내하기 위한 안내정보를 생성할 수 있다.
또한, 제어부(40)는 길안내 정보를 제공할 때 진행방향 영상에 길안내 정보를 3D 모델링하여 증강현실로 제공할 수 있다.
표시부(50)는 제어부(40)에서 제공되는 길안내 정보를 표출하여 보행자가 길안내 서비스를 받을 수 있도록 한다.
상술한 바와 같이, 본 발명의 실시예에 의한 실내 길안내 장치에 따르면, 실내에서 촬영영상으로부터 획득한 포인트 클라우드 특징점과 가속도 데이터 특징점을 매핑하여 경로를 저장하고, 이러한 특징점을 기반으로 실내에서 위치를 매칭시켜 경로를 검색하여 길안내 정보를 제공함으로써, GPS를 사용하지 못하는 실내/실외에서 제시된 검색경로를 보행하면서 길안내를 제공 받을 수 있고, AR기술을 이용하여 정확한 경로 안내 지점에 대한 안내를 제공할 수 있어 길안내 뿐만 아니라 보안시설 등 정해진 경로를 이탈하지 말아야 하는 환경에서도 효과적으로 경로 이탈 여부를 판단하여 보안 장치로도 활용할 수 있다.
도 4는 본 발명의 일 실시예에 따른 실내 길안내 방법에서 길안내 과정을 설명하기 위한 흐름도이다.
도 4에 도시된 바와 같이 본 발명의 일 실시예에 따른 실내 길안내 방법에서는, 제어부(40)가 키입력부(60)로부터 길안내 모드를 입력받는다(S10).
S10 단계에서 길안내 모드인 경우, 제어부(40)는 데이터 처리부(30)를 영상 촬영부(10)로부터 진행방향 영상과 가속도 센서부(20)로부터 입력된 3축 가속도값을 입력받는다(S20).
S20 단계에서 데이터 처리부(30)는 입력된 진행방향 영상을 분석하여 포인트 클라우드 특징점의 추출이 가능한지 판단한다(S30).
S30에서 포인트 클라우드 특징점의 추출이 가능한지 판단하여 추출이 가능하지 않은 경우, 데이터 처리부(30)는 S20 단계로 리턴하여 계속해서 진향방향 영상을 입력받게 된다. 이때 영상 촬영부(10)인 카메라의 회전을 유도하여 포인트 클라우드 특징점이 추출되도록 할 수도 있다.
반면, S30 단계에서 포인트 클라우드 특징점의 추출이 가능한지 판단하여 추출이 가능한 경우, 제어부(40)는 추출한 포인트 클라우드 특징점을 경로관리부(70)에 전송한다(S40).
S40 단계에서 포인트 클라우드 특징점을 경로관리부(70)에 전송한 후, 제어부(40)는 경로관리부(70)로부터 포인트 클라우드 특징점을 기반으로 사용 가능한 목적지를 수신받는다(S50).
이는 실내의 구간에 대해 실내 지도가 구축되지 않은 상태에서 다른 보행자가 등록한 경로를 기반으로 길안내를 할 경우, 현재의 포인트 클라우드 특징점을 기반으로 등록된 목적지를 제공함으로써 길안내를 제공받을 수 있도록 하는 것이다.
S50 단계에서 사용 가능한 목적지를 수신받은 후 제어부(40)는 키입력부(60)로부터 원하는 목적지가 선택된 경우 선택된 목적지에 대해 경로관리부(70)에 경로를 요청한다(S60).
S60 단계에서 경로관리부(70)에 경로를 요청한 후 제어부(40)는 경로관리부(70)로부터 검색경로를 수신받는다(S70).
S70 단계에서 검색경로를 수신받은 후 제어부(40)는 데이터 처리부(30)를 통해 영상 촬영부(10)로부터 입력되는 진행방향 영상으로부터 포인트 클라우드 특징점을 추출한다(S80).
여기서 데이터 처리부(30)는 도 2에 도시된 바와 같이 진행방향 영상을 분석하여 포인트 클라우드를 생성하여 색상경계와 물체경계 중 하나 이상을 포함하는 특징점을 추출할 수 있다.
특징점은 NARF(Normal Aligned Radial Feature) 알고리즘을 이용하거나, 3D-SIFT(Scale-Invariant Feature Transform)의 알고리즘을 이용할 수 있으며, VIO(visual inertial odometry) 기술을 이용하여 추출할 수도 있다.
또한, 제어부(40)는 데이터 처리부(30)를 통해 가속도 센서부(20)로부터 입력되는 3축 가속도값으로부터 가속도 데이터 특징점을 추출한다(S90).
여기서 데이터 처리부(30)는 3축 가속도값으로부터 가속도 데이터 특징점을 추출할 수 있다.
즉, 도 3에 도시된 바와 같이 가속도값으로부터 Step Count Pedometer 알고리즘을 이용하여 사람이 움직인 걸음 수를 추출할 수 있으며, pitch/roll/yaw의 패턴 분석을 통해 사용자가 회전을 하였는지 계단을 오르는지의 등의 행위 분석을 할 수 있다. 또한, Step Count Pedometer를 통해 회전안내 행위 분석이 추출된 지점과 그 다음 지점과의 거리를 계산할 수 있다.
제어부(40)는 S80 단계에서 추출한 포인트 클라우드 특징점과 S90 단계에서 추출한 가속도 데이터 특징점을 매핑하여 생성한 위치정보를 기반으로 데이터 처리부(30)로부터 제공받아 수신받은 검색경로와 매칭하여 안내정보를 생성하고 표시부(50)를 통해 길안내 정보를 표출하여 경로 안내를 제공할 수 있다(S100).
즉, 포인트 클라우드 특징점과 가속도 데이터 특징점에 대해 시간축을 기준으로 서로 맵핑함으로써 영상만을 사용하였을 때의 오류와 가속도값만을 사용하였을 때의 오류를 보완할 수 있다.
S100 단계에서 제어부(40)는 경로를 안내할 때 포인트 클라우드 위에 2D 혹은 3D 모델링 형태로 경로 안내 심볼을 표시할 위치 및 시점을 파악하여 진행방향 영상에 길안내 정보를 3D 모델링하여 증강현실로 제공할 수 있다.
도 5는 본 발명의 일 실시예에 따른 실내 길안내 방법에서 경로를 생성하는 과정을 설명하기 위한 흐름도이다.
도 5에 도시된 바와 같이 본 발명의 일 실시예에 따른 실내 길안내 방법에서 경로를 생성하는 과정은 먼저, 제어부(40)가 키입력부(60)로부터 경로생성 모드에 따라 경로를 생성하기 위한 출발지와 목적지를 입력받는다(S120).
S120 단계에서 경로를 생성하기 위한 출발지와 목적지를 입력받은 후 제어부(40)는 데이터 처리부(30)를 통해 영상 촬영부(10)로부터 진행방향 영상과 가속도 센서부(20)로부터 입력된 3축 가속도값을 입력받는다(S130).
S130 단계에서 데이터 처리부(30)는 입력된 진행방향 영상을 분석하여 포인트 클라우드 특징점의 추출이 가능한지 판단한다(S140).
S140에서 포인트 클라우드 특징점의 추출이 가능한지 판단하여 추출이 가능하지 않은 경우, 데이터 처리부(30)는 S130 단계로 리턴하여 계속해서 진향방향 영상을 입력받게 된다. 이때 영상 촬영부(10)인 카메라의 회전을 유도하여 포인트 클라우드 특징점이 추출되도록 할 수도 있다.
반면, S140 단계에서 포인트 클라우드 특징점의 추출이 가능한지 판단하여 추출이 가능한 경우, 제어부(40)는 데이터 처리부(30)를 통해 영상 촬영부(10)로부터 입력되는 진행방향 영상으로부터 포인트 클라우드 특징점을 추출한다(S150).
여기서 데이터 처리부(30)는 도 2에 도시된 바와 같이 진행방향 영상을 분석하여 포인트 클라우드를 생성하여 색상경계와 물체경계 중 하나 이상을 포함하는 특징점을 추출할 수 있다.
특징점은 NARF(Normal Aligned Radial Feature) 알고리즘을 이용하거나, 3D-SIFT(Scale-Invariant Feature Transform)의 알고리즘을 이용할 수 있으며, VIO(visual inertial odometry) 기술을 이용하여 추출할 수도 있다.
또한, 제어부(40)는 데이터 처리부(30)를 통해 가속도 센서부(20)로부터 입력되는 3축 가속도값으로부터 가속도 데이터 특징점을 추출한다(S160).
여기서 데이터 처리부(30)는 3축 가속도값으로부터 가속도 데이터 특징점을 추출할 수 있다.
즉, 도 3에 도시된 바와 같이 가속도값으로부터 Step Count Pedometer 알고리즘을 이용하여 사람이 움직인 걸음 수를 추출할 수 있으며, pitch/roll/yaw의 패턴 분석을 통해 사용자가 회전을 하였는지 계단을 오르는지의 등의 행위 분석을 할 수 있다. 또한, Step Count Pedometer를 통해 회전안내 행위 분석이 추출된 지점과 그 다음 지점과의 거리를 계산할 수 있다.
제어부(40)는 S150 단계에서 추출한 포인트 클라우드 특징점과 S160 단계에서 추출한 가속도 데이터 특징점을 매핑하여 위치정보를 생성하여 저장한다(S170).
S170 단계에서 위치정보를 생성하여 저장한 후 제어부(40)는 목적지의 도착여부를 판단한다(S180).
여기서 목적지의 도착여부는 제어부(40)가 키입력부(60)를 통해 목적지의 도착상태를 입력받을 수 있다.
S180 단계에서 목적지에 도착하지 않은 경우, 제어부(40)는 S150 단계로 리턴하여 현재의 위치정보를 기반으로 목적지까지의 경로를 생성할 수 있다.
반면, S180 단계에서 목적지에 도착한 경우, 제어부(40)는 생성된 경로를 경로관리부(70)에 전송하여 목적지까지의 경로를 등록함으로써, 실내 지도가 구축되지 않은 건물 등에서 경로를 설정하여 다른 보행자에게 길안내를 제공할 수 있도록 한다(S190).
상술한 바와 같이, 본 발명의 실시예에 의한 실내 길안내 방법에 따르면, 실내에서 촬영영상으로부터 획득한 포인트 클라우드 특징점과 가속도 데이터 특징점을 매핑하여 경로를 저장하고, 이러한 특징점을 기반으로 실내에서 위치를 매칭시켜 경로를 검색하여 길안내 정보를 제공함으로써, GPS를 사용하지 못하는 실내/실외에서 제시된 검색경로를 보행하면서 길안내를 제공 받을 수 있고, AR기술을 이용하여 정확한 경로 안내 지점에 대한 안내를 제공할 수 있어 길안내 뿐만 아니라 보안시설 등 정해진 경로를 이탈하지 말아야 하는 환경에서도 효과적으로 경로 이탈 여부를 판단하여 보안 장치로도 활용할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.
10 : 영상 촬영부 20 : 가속도 센서부
30 : 데이터 처리부 32 : 제1 특징점 추출부
34 : 제2 특징점 추출부 36 : 특징점 맵핑부
40 : 제어부 42 : 경로 요청/가공부
44 : 위치 매칭부 46 : 안내정보 생성부
50 : 표시부 60 : 키입력부
70 : 경로관리부

Claims (14)

  1. 보행자의 진행방향 영상을 촬영하는 영상 촬영부;
    상기 보행자의 3축 가속도값을 감지하는 가속도 센서부;
    실내 길안내를 위한 경로를 저장하고, 길안내 요청에 따라 상기 경로를 탐색하여 제공하는 경로관리부;
    길안내를 위한 경로생성과 경로안내 모드를 선택하고 길안내를 위한 목적지를 선택하는 키입력부;
    상기 영상 촬영부로부터 입력된 상기 진행방향 영상과 상기 가속도 센서부로부터 입력된 상기 3축 가속도값으로부터 특징점을 추출하여 위치정보를 생성하는 데이터 처리부;
    상기 키입력부의 선택에 따라 상기 데이터 처리부로부터 생성된 상기 위치정보를 기반으로 상기 경로를 생성하여 상기 경로관리부에 제공하고, 상기 위치정보를 기반으로 상기 경로관리부에 상기 경로를 요청하여 길안내를 제공하는 제어부; 및
    상기 제어부에서 제공되는 길안내 정보를 표출하는 표시부;를 포함하되,
    상기 데이터 처리부는,
    상기 진행방향 영상으로부터 포인트 클라우드 특징점을 추출하는 제1 특징점 추출부;
    상기 3축 가속도값으로부터 가속도 데이터 특징점을 추출하는 제2 특징점 추출부; 및
    상기 포인트 클라우드 특징점과 상기 가속도 데이터 특징점을 매핑하여 상기 위치정보를 생성하는 특징점 맵핑부;를 포함하며,
    상기 포인트 클라우드 특징점은, 색상경계와 물체경계 중 하나 이상을 포함하고,
    상기 특징점 맵핑부는, 상기 가속도 데이터 특징점으로부터 상기 보행자의 걸음 수를 추출하고, pitch/roll/yaw의 패턴 분석을 통해 상기 보행자의 행위를 분석하며, 행위를 분석한 지점으로부터 다음 지점까지의 거리를 계산하여 시간축을 기준으로 상기 가속도 데이터 특징점과 상기 포인트 클라우드 특징점을 매핑하는 것을 특징으로 하는 실내 길안내 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1항에 있어서, 상기 제어부는,
    상기 데이터 처리부에서 생성된 상기 위치정보를 기반으로 상기 목적지까지의 경로를 생성하고, 상기 목적지까지의 경로를 요청하는 경로 요청/가공부;
    상기 경로관리부로부터 제공되는 검색경로와 상기 데이터 처리부에서 생성된 상기 위치정보를 매칭하는 위치 매칭부; 및
    상기 데이터 처리부에서 생성된 상기 위치정보를 기반으로 상기 위치 매칭부에서 매칭된 상기 검색경로를 안내하기 위한 안내정보를 생성하는 안내정보 생성부;를 포함하는 것을 특징으로 하는 실내 길안내 장치.
  6. 제 1항에 있어서, 상기 경로관리부는, 경로를 출발지와 목적지를 기준으로 저장하는 것을 특징으로 하는 실내 길안내 장치.
  7. 제 1항에 있어서, 상기 제어부는, 상기 진행방향 영상에 길안내 정보를 3D 모델링하여 증강현실로 제공하는 것을 특징으로 하는 실내 길안내 장치.
  8. 데이터 처리부가 영상 촬영부로부터 진행방향 영상과 가속도 센서부로부터 입력된 3축 가속도값을 입력받는 단계;
    상기 데이터 처리부가 상기 진행방향 영상으로부터 포인트 클라우드 특징점을 추출하고, 상기 3축 가속도값으로부터 가속도 데이터 특징점을 추출하는 단계;
    상기 데이터 처리부가 상기 포인트 클라우드 특징점과 상기 가속도 데이터 특징점을 매핑하여 위치정보를 생성하는 단계;
    제어부가 상기 데이터 처리부에서 생성된 상기 위치정보를 기반으로 목적지를 입력받아 경로관리부에 경로를 요청하는 단계; 및
    상기 제어부가 상기 경로관리부로부터 제공되는 검색경로에 따른 길안내 정보를 표시부를 통해 표출하는 단계;를 포함하되,
    상기 특징점을 매핑하여 상기 위치정보를 생성하는 단계는,
    상기 데이터 처리부가 상기 가속도 데이터 특징점으로부터 보행자의 걸음 수를 추출하고, pitch/roll/yaw의 패턴 분석을 통해 상기 보행자의 행위를 분석하며, 행위를 분석한 지점으로부터 다음 지점까지의 거리를 계산하여 시간축을 기준으로 상기 가속도 데이터 특징점과 상기 포인트 클라우드 특징점을 매핑하고,
    상기 포인트 클라우드 특징점은, 색상경계와 물체경계 중 하나 이상을 포함하는 것을 특징으로 하는 실내 길안내 방법.
  9. 삭제
  10. 삭제
  11. 제 8항에 있어서, 상기 경로관리부에 경로를 요청하는 단계는,
    상기 제어부가 상기 포인트 클라우드 특징점을 상기 경로관리부에 전송하여 안내 가능한 목적지를 수신받는 단계; 및
    상기 제어부가 상기 안내 가능한 목적지 중 선택된 목적지까지의 경로를 요청하는 단계를 포함하는 것을 특징으로 하는 실내 길안내 방법.
  12. 제 8항에 있어서, 상기 길안내 정보를 상기 표시부를 통해 표출하는 단계는,
    상기 제어부가 상기 경로관리부로부터 제공되는 상기 검색경로와 상기 위치정보를 매칭시키는 단계; 및
    상기 제어부가 매칭된 상기 검색경로를 안내하기 위한 안내정보를 생성하는 단계를 포함하는 것을 특징으로 하는 실내 길안내 방법.
  13. 제 8항에 있어서, 상기 길안내 정보를 상기 표시부를 통해 표출하는 단계는, 상기 제어부가 상기 진행방향 영상에 상기 길안내 정보를 3D 모델링하여 증강현실로 제공하는 것을 특징으로 하는 실내 길안내 방법.
  14. 제 8항에 있어서, 상기 제어부가 키입력부의 모드 선택에 따라 상기 위치정보를 기반으로 목적지까지의 경로를 생성하여 상기 경로관리부에 제공하는 단계를 더 포함하는 것을 특징으로 하는 실내 길안내 방법.
KR1020180075476A 2018-06-29 2018-06-29 실내 길안내 장치 및 그 방법 KR102622585B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180075476A KR102622585B1 (ko) 2018-06-29 2018-06-29 실내 길안내 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180075476A KR102622585B1 (ko) 2018-06-29 2018-06-29 실내 길안내 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200002219A KR20200002219A (ko) 2020-01-08
KR102622585B1 true KR102622585B1 (ko) 2024-01-08

Family

ID=69154288

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180075476A KR102622585B1 (ko) 2018-06-29 2018-06-29 실내 길안내 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102622585B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102317499B1 (ko) * 2020-02-21 2021-10-25 동명대학교 산학협력단 영상데이터 학습을 통한 보행자의 실내 경로 안내 장치 및 그 방법
KR102578814B1 (ko) * 2021-05-03 2023-09-18 주식회사 와이드브레인 위치기반 게임을 이용한 ar 좌표 수집 방법 및 장치
KR20220152456A (ko) * 2021-05-07 2022-11-16 주식회사 와따 스마트폰 센서를 통해 수집된 하이브리드 데이터를 이용한 비 지도 기반의 공간 데이터 생성방법, 서버 및 컴퓨터프로그램과 이를 이용한 자동 경로 생성 방법
CN116136408A (zh) * 2021-11-18 2023-05-19 中兴通讯股份有限公司 室内导航方法、服务器、装置和终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008185506A (ja) 2007-01-31 2008-08-14 Mobile Mapping Kk ナビゲーション装置、ナビゲーション方法、および、自動車
JP4273119B2 (ja) * 2003-10-21 2009-06-03 和郎 岩根 ナビゲーション装置
WO2016077703A1 (en) 2014-11-13 2016-05-19 Worcester Polytechnic Institute Gyroscope assisted scalable visual simultaneous localization and mapping
KR101707878B1 (ko) * 2015-09-09 2017-02-17 한국과학기술연구원 복수의 영상 및 보행자 추측 항법 기술을 이용한 사용자 위치 추정 장치 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8577595B2 (en) * 2008-07-17 2013-11-05 Memsic, Inc. Location and path-map generation data acquisition and analysis systems
KR101885356B1 (ko) * 2016-05-04 2018-08-03 임재형 대상물의 위치 정보 측정 장치 그리고 그 제어 방법
KR20160128967A (ko) * 2016-10-28 2016-11-08 에스케이플래닛 주식회사 촬영 영상을 이용한 길 안내 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4273119B2 (ja) * 2003-10-21 2009-06-03 和郎 岩根 ナビゲーション装置
JP2008185506A (ja) 2007-01-31 2008-08-14 Mobile Mapping Kk ナビゲーション装置、ナビゲーション方法、および、自動車
WO2016077703A1 (en) 2014-11-13 2016-05-19 Worcester Polytechnic Institute Gyroscope assisted scalable visual simultaneous localization and mapping
KR101707878B1 (ko) * 2015-09-09 2017-02-17 한국과학기술연구원 복수의 영상 및 보행자 추측 항법 기술을 이용한 사용자 위치 추정 장치 및 그 방법

Also Published As

Publication number Publication date
KR20200002219A (ko) 2020-01-08

Similar Documents

Publication Publication Date Title
KR102622585B1 (ko) 실내 길안내 장치 및 그 방법
EP3213031B1 (en) Simultaneous localization and mapping by using earth's magnetic fields
JP5116555B2 (ja) 位置標定装置、位置標定システム、標定サーバ装置および位置標定方法
EP2844009B1 (en) Method and system for determining location and position of image matching-based smartphone
CN109029444B (zh) 一种基于图像匹配和空间定位的室内导航系统及导航方法
JP5255595B2 (ja) 端末位置特定システム、及び端末位置特定方法
US9395188B2 (en) Method and system for location determination and navigation using structural visual information
US20090063047A1 (en) Navigational information display system, navigational information display method, and computer-readable recording medium
KR101413011B1 (ko) 위치 정보 기반 증강현실 시스템 및 제공 방법
JP2018132528A (ja) 画像処理装置、画像処理方法及びプログラム
KR20130091908A (ko) 실내 네비게이션 서비스 제공 장치 및 그 방법
KR101574876B1 (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
CN111083633B (zh) 移动终端定位系统及其建立方法、移动终端的定位方法
JP5274192B2 (ja) 位置推定システム、位置推定サーバおよび位置推定方法
KR101573289B1 (ko) 위치 측정 방법 및 이를 이용한 휴대 단말기
US20120026324A1 (en) Image capturing terminal, data processing terminal, image capturing method, and data processing method
JP2011113245A (ja) 位置認識装置
KR102383567B1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
US11481920B2 (en) Information processing apparatus, server, movable object device, and information processing method
KR20050058810A (ko) 전자지도를 위한 영상 처리 시스템 및 방법
KR101601726B1 (ko) 복수의 영상 획득 장치를 포함하는 모바일 단말기의 위치 및 자세 결정 방법 및 시스템
JP4733343B2 (ja) ナビゲーションシステム、ナビゲーション装置、ナビゲーション方法、及びナビゲーションプログラム
JP2005017074A (ja) 情報送受信装置、情報送受信用プログラム
Jeon et al. Design of positioning DB automatic update method using Google tango tablet for image based localization system
US10735902B1 (en) Method and computer program for taking action based on determined movement path of mobile devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant