WO2014073841A1 - 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기 - Google Patents

영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기 Download PDF

Info

Publication number
WO2014073841A1
WO2014073841A1 PCT/KR2013/009982 KR2013009982W WO2014073841A1 WO 2014073841 A1 WO2014073841 A1 WO 2014073841A1 KR 2013009982 W KR2013009982 W KR 2013009982W WO 2014073841 A1 WO2014073841 A1 WO 2014073841A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
user
information
terminal
line
Prior art date
Application number
PCT/KR2013/009982
Other languages
English (en)
French (fr)
Inventor
이택진
김재헌
김철기
이석
김선호
이현호
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Publication of WO2014073841A1 publication Critical patent/WO2014073841A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/06—Ray-tracing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform

Definitions

  • the present invention relates to an image-based indoor location detection method and a portable terminal using the same, and more particularly, to an image-based indoor location detection method capable of detecting a user's indoor location using only an image and an indoor map without a separate image database, and a portable terminal using the same. It is about.
  • GPS-based services are provided by various functions such as location checking and current location transmission and location-based applications using GPS technology.
  • a typical GPS-based service receives GPS information of a current location from a GPS receiver built in a portable terminal so that location information within an error range can be grasped, and the location information can be transmitted using a function built into the portable terminal. It is possible to limit the location of the portable terminal.
  • PDR Pedestrian Dead Reckoning
  • This technology provides only relative position information for a specific position but cannot provide accurate position. . Therefore, there is a need for a technology that provides an accurate indoor location before applying the PDR technology.
  • a representative technology for providing a location is a Wifi based Indoor Positioning System (WIPS), which requires a database of the RSSI of the WiFi AP and also has a problem that the location accuracy is approximately 5 m to several tens of meters.
  • WIPS Wifi based Indoor Positioning System
  • the present invention has been made to solve the above-described problems, and the image is such that the error rate of point positioning with respect to the position of the module on the map with only the image and the indoor map without the image database is within the range that the pedestrian can actually use. It is an object of the present invention to provide an image-based indoor location detection method and a portable terminal using the same.
  • the image-based indoor position detection method comprises the steps of: (a) acquiring an image of one or more directions of a user using a camera built in a user terminal; (b) extracting features within a building from an image corresponding to the acquired user direction; (c) matching the direction of the user and the feature of the extracted image with building indoor map information; (d) estimating the position of the user terminal through the matching process of the image and the map.
  • the method may further include performing recognition on a specific object based on the feature extracted from the image.
  • the direction and attitude information of the user is required to obtain image information corresponding to the terminal attitude, and the direction and attitude information of the user is configured to be estimated using a sensor provided inside or outside the terminal.
  • the sensor may include at least one of an accelerometer, a gyroscope, and a digital compass.
  • the indoor map information of the building may be a map corresponding to a schematic location of the terminal user extracted based on the building information and the altitude information received through the map data server connected through the network with the user terminal.
  • the map corresponding to the approximate location of the terminal user is extracted by the altitude estimation through the barometric pressure sensor and the building map information corresponding to the altitude together with the approximate location estimation of the user by the WIPS method.
  • feature extraction inside the building depends on the internal environment, such as corridors, corners, halls.
  • the detecting of the perspective line may include: monochrome processing the original image for edge detection; Extracting only an edge component corresponding to a direction of the perspective line; Extracting a line segment of the original image from a Hough transform domain and extracting a line having the longest length among all extracted lines; And performing an Inverse Hough transform to detect the perspective line.
  • the method may further include applying a model for depth correction to the perspective line.
  • the model is, Depth weighting function modeling ( ⁇ (PL) ) is characterized in that.
  • the perception of the corner is i) when the view where the perspective line is observed exists at intervals of 90 degrees or 270 degrees, ii) the view where the perspective line is observed exists at intervals of 90 degrees except for one direction. And iii) at least one of the cases in which the view in which the perspective line is observed is omnidirectionally present at intervals of 90 degrees.
  • the corner is characterized by comparing the lengths of the two perspective lines to create a direction in which the side having the shorter line is bent, and creating a virtual ray for the perspective line, and recognizing that the empty portion is bent at the ray. .
  • photographing an image in all directions from a current location of a user Acquiring direction information and image information about the image capturing; Extracting a feature of a particular structure observed in each view, and comparing the feature to a feature database to recognize a pattern; Estimating the angle of the patterned view in the image using the attitude and direction information of the user's terminal; Generating a virtual line using the angle extracted from the recognized structure; And estimating the position of the user by performing an optimal estimation of a portion where each of the virtual lines intersect.
  • the portable terminal according to the present invention is configured to perform the above-described image-based indoor position detection method in order to achieve the above-described problem, by providing a portable terminal capable of detecting the image-based indoor position without an image database Can be achieved.
  • the point positioning of the position of the module on the map using only the image and the indoor map without the existing image database can be realized within the range where the pedestrian can use with a significantly lower error rate than the conventional one. .
  • FIG. 1 is a flowchart of a terminal location estimation method according to the present invention.
  • FIG. 2 is an exemplary view of a terminal location estimation method according to the present invention.
  • FIG. 3 is a diagram illustrating an indoor map applied to a terminal location estimation method according to the present invention.
  • FIG. 4 is a conceptual diagram of a situation in a terminal location estimation method according to the present invention.
  • FIG. 5 is a flow chart of a situation in the terminal location estimation method according to the present invention.
  • FIG. 6 is a schematic diagram of a hall environment in a situation in the terminal location estimation method according to the present invention.
  • FIG. 7 is an exemplary view illustrating user location estimation in a hall environment according to FIG. 6.
  • FIG. 8 is a conceptual diagram illustrating a method for distinguishing between corridors among situations in a terminal location estimation method according to the present invention
  • FIG. 9 is a conceptual diagram of a method for estimating a user's location in a corridor environment of a situation in a terminal location estimation method according to the present invention.
  • FIG. 10 is a view illustrating an example of extracting image features in a corridor environment of a situation in a terminal location estimation method according to the present invention
  • FIG. 11 is a flowchart illustrating a method of extracting a perspective line in a corridor environment of a situation in a terminal location estimation method according to the present invention
  • FIG. 13 is a step 2 image of FIG. 11;
  • FIG. 14 is an illustration of a steerable filter architecture in FIG. 13;
  • FIG. 15 is a step 3 image of FIG. 11;
  • 19 is a conceptual diagram of a corner recognition method among situations in the terminal location estimation method according to the present invention.
  • FIG. 1 is an overall flowchart of a terminal location estimation method according to the present invention
  • Figure 2 shows an exemplary view of a terminal location estimation method according to the present invention.
  • a map extraction (S1) corresponding to a rough location of a terminal user is basically required.
  • the method may be performed by the user's location estimation and the building map information corresponding to the altitude through the barometric pressure sensor together with the approximate location estimation of the user by the method such as WIPS by WiFi.
  • images of various (one or more) directions of a user are obtained using a camera built in a user terminal (S201).
  • the direction and posture information of the user is required, and the direction / posture information of the user can be estimated using a sensor provided inside or outside the terminal.
  • sensors include accelerometers, gyroscopes, digital compasses, and the like.
  • a feature such as a building feature, a corridor, a corner, a pillar, a stairwell, and corner information is extracted from an image corresponding to the estimated user's direction (S202).
  • the indoor map information may include building information and altitude information received through a map data server connected through a portable terminal and a network.
  • the image-based indoor position detection method basically corresponds to a system for estimating the position of the user through the operation of "acquiring the attitude information of the terminal, extracting features from the acquired image and matching on the map"
  • the image for location estimation should use at least one image information, but it should be noted that it is applied differently to the specific indoor environment, that is, the hall, corridor, corner.
  • the indoor structure can be largely divided into a hallway, a hall (or a lobby), a corner, and various other structures (eg, stairs, bulletin boards, and the like). Do.
  • FIG. 4 is a conceptual diagram illustrating a situation in the terminal location estimation method according to the present invention
  • FIG. 5 is a flowchart illustrating a situation in the terminal location estimation method according to the present invention.
  • the front and rear of the corridor are photographed, and the two video images are used.
  • Perspective lines of the camera image are detected from the captured image.
  • the captured image is a camera image of a general terminal
  • the detected perspective line does not include perspective, that is, depth information. Therefore, distortion occurs between the length information of the perspective line and the actual length.
  • depth information is acquired in the perspective line using a model for correcting the depth of the corridor perspective line.
  • the depth information through the perspective line is extracted from both pictures of the corridor, and based on this, the user is estimated where the corridor is located.
  • Corner information is identified through the edge detection of the image, and when the image is taken, it is possible to estimate which corner the user is located on the basis of the posture information of the user and the position information of the corner in the image. .
  • the posture information of the user terminal and the extracted feature information of the corresponding image are coupled, and the position of the user is estimated through a matching operation between the posture of the terminal and the feature and map information of the image.
  • Figure 6 is a schematic diagram of the hall environment in the situation of the terminal location estimation method according to the present invention, the general characteristics of the hole as shown in Figure 6, the center of the hole is generally formed in a large space, doors, columns There are structural features such as stairs, entrances to corridors, corners, and chairs.
  • FIG. 7 illustrates an example of user location estimation in the hall environment of FIG. 6.
  • the features of a particular structure eg, doors, columns, chairs, etc.
  • the features of a particular structure eg, doors, columns, chairs, etc.
  • the features of a particular structure eg, doors, columns, chairs, etc.
  • the angle information about the structure is recognized from the terminal.
  • a virtual line is generated using the angle extracted from the recognized structure, and finally, the estimation of the user's position is estimated by performing an optimal estimation for the intersection of each virtual line.
  • users should be able to estimate the user's location with accuracy within the range available to pedestrians, use the camera of the terminal, and use the indoor map without using the image database. to be.
  • an image of a front corridor in front of a corridor in front of a corridor and a rear of a corridor in a rear of a corridor is acquired based on a current location of a user.
  • depth information is estimated using the extracted features.
  • L L and L R are estimated by matching the map information such as the length of the feature and the corridor to estimate the user's location.
  • FIG. 9 relates to a method of distinguishing between corridors on the entire map.
  • FIG. 9 and 2 shown in FIG. 9 can be distinguished by absolute direction information obtained from the geomagnetic sensor, and 1 and 3 compare the lengths of the left and right perspective lines to distinguish whether the viewing corner is left or right. Can be. That is, if the left side of the perspective line is shorter, it is a corner that rotates to the left. If the right side of the perspective line is shorter, it is determined that the corner rotates to the right, and if the length of the perspective line is the same, it is blocked.
  • FIG. 11 is a flowchart illustrating a feature extraction method in a corridor environment of a situation in a terminal location estimation method according to the present invention.
  • the original image is black and white processed for edge detection (S301 and FIG. 12), and only an edge component corresponding to a specific direction, that is, the direction of the perspective line, is extracted (S302).
  • This can be done by the steerable pyramid decomposition method, as shown in FIG. 11 and FIG. 13, for which a steerable filter architecture is illustrated in FIG. 14.
  • FIG. 11 and FIG. 13 for which a steerable filter architecture is illustrated in FIG. 14.
  • Hough transform is a general technique used for pattern extraction over the entire image area. The basic concept is to find a straight line that can be expressed mathematically with respect to an edge of an image having various shapes, and an edge detection algorithm is required as preprocessing to convert the straight line of the image into a slope and a length.
  • the detected perspective line does not include depth information corresponding to perspective. This causes distortion between the length information of the perspective line and the actual length.
  • depth information is acquired in the perspective line using a model for depth correction of the corridor perspective line.
  • Depth weighting function modeling ( ⁇ (PL) ) that compensates for depth information not present in such a perspective line is represented by Equation 1 below.
  • (A) is an estimated position when not considering the depth weighting function
  • (b) an error when not considering the depth weighting function
  • (c) is an estimated position when the depth weighting function is considered
  • ( d) shows the error in the case where the depth weighting function is considered.
  • the corner where a user may be is as shown in FIG. 19, when the view in which the perspective line is observed exists at intervals of 90 degrees or 270 degrees (Case 1), and the view in which the perspective line is observed is in one direction. Except for the case where there is a 90-degree interval (Case 2), and a view in which the perspective line is observed is omnidirectionally disposed at a 90-degree interval (Case 3), it is classified into three cases. If the corner is not 90 degrees, the perspective line is recognized as a corner unless it exists at 180 degree intervals. For other corners, the same algorithm and map can be applied to estimate the location.
  • the corners in the image are compared by comparing the lengths of the two perspective lines, and the side with the shorter line is bent, and the virtual ray on the perspective line is created to recognize that the empty portion is bent at the ray (Fig. 20).
  • the corner detection algorithm examines the presence or absence of the perspective line at an angular interval from a view in which the perspective line is recognized using a geomagnetic sensor. Then, the angle between the absolute direction information of the geomagnetic sensor and the corner is detected and matched in the entire map.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Navigation (AREA)

Abstract

본 발명은 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기에 관한 것으로서, 특히, 별도의 영상 데이터베이스 없이 오직 영상과 실내 지도만에 의하여 사용자의 실내 위치 검출이 가능한 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기에 관한 것이다. 이를 위하여, 본 발명에 의한 영상기반 실내 위치 검출방법은, (a) 사용자 단말기에 내장된 카메라를 이용하여 사용자의 하나 이상의 방향에 대한 영상을 획득하는 단계; (b) 상기 획득된 사용자의 방향에 해당하는 영상에서 건물 내부의 피처(feature)를 추출하는 단계; (d) 상기 사용자의 방향과 추출된 영상의 피처를 건물 실내 지도 정보와 매칭하는 단계; (e) 상기 영상과 맵의 매칭 프로세스를 통해 사용자 단말기의 위치를 추정하는 단계를 포함하여 이루어진다. (대표도) 도 1

Description

영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
본 발명은 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기에 관한 것으로서, 특히, 별도의 영상 데이터베이스 없이 오직 영상과 실내 지도만으로 사용자의 실내 위치 검출이 가능한 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기에 관한 것이다.
최근 개발되는 스마트폰을 비롯한 휴대용 통신기기들은 GPS 수신장치를 내장하고 있으며, GPS 기술을 이용한 위치 확인 기능과 현재 위치 전송 및 위치 기반에 의한 다양한 형태의 어플리케이션이 실행되어 GPS 기반의 서비스가 제공되고 있다.
통상적인 GPS 기반의 서비스는 휴대용 단말기에 내장된 GPS 수신기에 현재 위치의 GPS 정보를 수신받아 오차 범위 내의 위치 정보 파악이 가능하도록 하고 있으며, 휴대용 단말기에 내장된 기능을 이용하여 이 위치 정보를 송신할 수 있고, 제한적으로 휴대용 단말기의 위치를 추적할 수 있도록 할 수 있다.
실내에서의 위치검출 기술과 관련하여, 실외에서는 위성항법시스템을 이용하여 수 m 정확도의 위치 제공이 가능한 반면, 실내의 경우는 실외보다 환경적으로 더 좁고 복잡하기 때문에, 보행자가 실제 사용 가능한 수준 정확도의 위치 정보를 제공하는 기술이 필요하다.
현재 실내에서 보행자가 실제 사용 가능한 수준의 위치 정확도를 제공하는 기술로는 PDR (Pedestrian Dead Reckoning) 기술을 들 수 있는데, 해당 기술은 특정 위치에 대한 상대적인 위치정보만을 제공할 뿐 정확한 위치 제공은 불가능하다. 따라서 PDR 기술 적용 이전에 정확한 실내 위치를 제공하는 기술이 필요한 실정이다.
관련하여, 위치를 제공하는 대표적인 기술로서 WIPS(WiFi based Indoor Positioning System)를 들 수 있는데, 이는 WiFi AP의 RSSI를 데이터베이스화해야 하며 또한 위치 정확도가 대략 5 m ~ 수십 m에 달하는 문제점이 있다.
한편, 영상을 이용하는 기술의 경우, 현재까지의 기술은 영상 데이터베이스를 갖고 있는 상태에서 데이터베이스와의 비교를 통해 위치를 측위하는 것이다. 그러나, 이 기술 또한 데이터베이스 제작의 어려움과 함께, 데이터베이스를 이용함에 따른 정확도가 상대적으로 떨어지는 단점이 있으며, 현재 제안되는 시스템은 10 ~ 수십 m의 정확도를 가진다.
본 발명은 상술한 문제점을 해결하고자 창안된 것으로서, 영상 데이터베이스 없이 오직 영상과 실내 지도만으로 맵 상에서 모듈의 위치에 대한 포인트 포지셔닝(point positioning)의 오차율이 보행자가 실제 사용 가능한 수준 이내의 범위가 되도록 하는 것이 가능한, 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기를 제공하는 것을 목적으로 한다.
이러한 과제를 달성하기 위하여 본 발명에 의한 영상기반 실내 위치 검출방법은, (a) 사용자 단말기에 내장된 카메라를 이용하여 사용자의 하나 이상의 방향에 대한 영상을 획득하는 단계; (b) 상기 획득된 사용자의 방향에 해당하는 영상에서 건물 내부의 피처(feature)를 추출하는 단계; (c) 상기 사용자의 방향과 추출된 영상의 피처를 건물 실내 지도 정보와 매칭하는 단계; (d) 상기 영상과 맵의 매칭 프로세스를 통해 사용자 단말기의 위치를 추정하는 단계를 포함하여 이루어진다.
상기 (b) 단계와 (c) 단계 사이에, 상기 영상에서 추출된 피처에 기초하여 특정 물체에 대한 인지를 수행하는 단계를 더 포함할 수 있다.
상기 (b) 단계에서, 단말기 자세에 해당하는 영상정보를 얻기 위하여 사용자의 방향 및 자세 정보를 필요로 하며, 상기 사용자의 방향 및 자세 정보는 단말기 내부 또는 외부에 구비된 센서를 이용해 추정하도록 구성되며, 상기 센서는 가속도계, 자이로스코프, 디지털컴파스 중 어느 하나 이상을 포함할 수 있다.
상기 건물 실내 지도 정보는 사용자 단말기와 네트워크를 통해 연결된 맵데이터 서버를 통해 수신된 건물의 정보와 고도 정보에 기초하여 추출된 단말기 사용자의 개략적 위치에 해당하는 지도인 것을 특징으로 한다.
여기서, 상기 단말기 사용자의 개략적인 위치에 해당하는 지도는, WIPS 방법에 의한 개략적인 사용자의 위치추정과 함께 기압센서를 통한 고도 추정 및 고도에 해당하는 건물 지도 정보에 의하여 추출된다.
한편, 상기 건물 내부의 피처 추출은 복도, 코너, 홀 등의 내부 환경에 따라 달라진다.
먼저 복도의 경우, 사용자의 위치 기준으로 적어도 상기 복도의 앞쪽과 뒤쪽을 촬영하는 단계 및 상기 촬영된 영상 이미지로부터 카메라 이미지의 퍼스펙티브 라인(perspective line)을 검출하는 단계를 포함한다.
상기 퍼스펙티브 라인의 검출단계는: 에지 검출을 위해 원본 영상을 흑백처리하는 단계; 상기 퍼스펙티브 라인의 방향에 해당하는 에지 성분만을 추출하는 단계; 상기 원본 영상의 선분을 허프 변환 도메인(Hough transform domain)에서 포인트화하고, 추출된 모든 라인 중 가장 길이가 긴 라인을 추출하는 단계; 및 역 허프 변환(Inverse Hough transform)을 수행하여 퍼스펙티브 라인을 검출하는 단계를 포함하여 이루어진다.
그리고, 상기 퍼스펙티브 라인에 대하여 깊이(depth) 보정을 위한 모델을 적용하는 단계를 더 포함하는 것이 바람직하다.
상기 모델은, 수학식
Figure PCTKR2013009982-appb-I000001
에 의한 가중 함수 모델링(Depth weighting function modeling; ω(PL))인 것을 특징으로 한다.
한편, 코너에 대한 인지는, i) 퍼스펙티브 라인이 관찰되는 뷰(view)가 90도 혹은 270도 간격으로 존재하는 경우, ii) 퍼스펙티브 라인이 관찰되는 뷰가 한 방향을 제외하고 90도 간격으로 존재하는 경우, 및 iii) 퍼스펙티브 라인이 관찰되는 뷰가 90도 간격으로 전 방향 존재하는 경우 중 적어도 어느 하나에 해당하는 것을 특징으로 한다.
상기 코너가 90도가 아닌 경우, 퍼스펙티브 라인이 180도 간격으로 존재하지 않을 경우 코너로 인지하는 것을 특징으로 한다.
상기 코너는, 2개의 퍼스펙티브 라인의 길이를 비교하여 짧은 라인을 가진 쪽이 꺾이는 방향, 및 퍼스펙티브 라인에 대한 가상의 레이(ray)를 만들어서 레이 상에서 비어있는 부분이 꺾이는 부분이라고 인지하는 것을 특징으로 한다.
또한, 홀의 경우, 사용자의 현재 위치에서 전 방향에 대한 영상을 촬영하는 단계; 상기 영상 촬영에 대한 방향정보와 영상 정보를 함께 획득하는 단계; 각각의 뷰(view)에서 관찰되는 특정 구조물의 피처를 추출하고, 해당 피처를 피처 데이터베이스와 비교하여 패턴을 인지하는 단계; 상기 사용자의 단말기의 자세 및 방향 정보를 이용하여, 영상에서 패턴이 있는 뷰의 각도를 추정하는 단계; 인지된 구조물로부터 추출된 각도를 이용하여 가상의 라인을 생성하는 단계; 및 상기 각각의 가상의 라인이 교차하는 부분에 대한 최적추정(estimation)을 수행하여, 사용자의 위치를 추정하는 단계를 포함하여 이루어진다.
아울러, 앞서 설명한 과제를 달성하기 위하여 본 발명에 의한 휴대용 단말기는, 상술한 영상기반 실내 위치 검출방법을 수행하도록 구성되며, 동 과제는 영상 데이터베이스 없이 영상기반 실내 위치 검출이 가능한 휴대용 단말기를 제공함에 의하여 달성될 수 있다.
이와 같이, 본 발명에 의하면, 기존의 사용하던 영상 데이터베이스 없이 오직 영상과 실내 지도만으로 맵 상에서 모듈의 위치에 대한 포인트 포지셔닝이 종래에 비하여 현저히 낮은 오차율로 보행자가 사용 가능한 범위 이내로 구현하는 것이 가능하게 된다.
도 1은 본 발명에 따른 단말기 위치추정 방법의 순서도,
도 2는 본 발명에 따른 단말기 위치추정 방법의 예시도,
도 3은 본 발명에 따른 단말기 위치추정 방법에 적용되는 실내 맵 예시도,
도 4는 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 개념도,
도 5는 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 순서도,
도 6은 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 홀 환경 개략도,
도 7은 도 6에 의한 홀 환경에서의 사용자 위치 추정 예시도,
도 8은 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 복도 간 구별기법 개념도,
도 9는 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 복도 환경에서의 사용자 위치 추정방법 개념도,
도 10은 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 복도 환경에서의 이미지 피처 추출 예시 영상,
도 11은 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 복도 환경에서의 퍼스펙티브 라인(perspective line)의 추출기법에 대한 순서도,
도 12는 도 11에서의 스텝 1 영상,
도 13은 도 11에서의 스텝 2 영상,
도 14는 도 13에서의 스티어러블 필터 아키텍쳐(steerable filter architecture)의 예시도,
도 15는 도 11에서의 스텝 3 영상,
도 16은 도 11에서의 스텝 4 영상,
도 17에 모델링된 퍼스펙티브 라인과 깊이 가중 함수에 대한 그래프,
도 18에 깊이 가중 함수 적용 유무에 따른 추정 위치 및 오차에 대한 그래프,
도 19는 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 코너 인지 방법 개념도,
도 20은 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 코너 검출 영상을 나타낸다.
이하 첨부된 도면을 참조하면서 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명에 따른 단말기 위치추정 방법의 전체 순서도이며, 도 2는 본 발명에 따른 단말기 위치추정 방법의 예시도를 나타낸다.
도 1에 도시된 바와 같이, 본 발명에 의한 영상데이터베이스 작동없이 영상기반 실내 위치 검출(S2)을 위해서는 기본적으로 단말기 사용자의 개략적인 위치에 해당하는 지도 추출(S1)을 필요로 하며, 이러한 지도 추출은 WiFi에 의한 WIPS 등의 방법에 의해 개략적인 사용자의 위치추정과 함께 기압센서 등을 통한 고도 추정 및 고도에 해당하는 건물 지도 정보에 의하여 수행될 수 있다.
보다 구체적으로 살펴보면, 도 1 및 도 2에 도시된 바와 같이, 먼저 사용자 단말기에 내장된 카메라를 이용하여 사용자의 여러(하나 이상의) 방향에 대한 영상을 획득한다(S201).
이러한 단말기 자세에 해당하는 영상정보를 얻기 위해서는 사용자의 방향 및 자세 정보를 필요로 하며, 이러한 사용자의 방향/자세 정보는 단말기 내부 혹은 외부에 구비된 센서를 이용해 추정 가능하다. 이러한 센서로서 가속도계, 자이로스코프, 디지털컴파스 등을 예시로 들 수 있다.
다음, 추정된 사용자의 방향에 해당하는 영상에서 건물의 특징, 복도, 코너, 기둥, 계단, 모서리 정보 등과 같은 피처(feature)를 추출한다(S202).
이와같이 영상에서 추출된 피처에 기초하여 특정 물체에 대한 인지를 수행하게 된다(S203).
그 후, 추정된 사용자의 방향/자세와 추출된 영상의 피처를 실내 지도 정보와 매칭하는 작업을 수행한다(S204). 실내 지도 정보는 휴대용 단말기와 네트워크를 통해 연결된 맵데이터 서버를 통해 수신된 건물의 정보와 고도 정보 등을 포함할 수 있다.
마지막으로, 영상과 맵의 매칭 프로세스를 통해 사용자 단말기의 위치를 추정할 수 있게 된다(S205).
한편, 본 발명에 의한 영상기반 실내 위치 검출방법은, 기본적으로는 "단말기의 자세정보를 얻고 획득한 영상에서 피처를 추출한 후 맵상에서 매칭"하는 작업을 통해 사용자의 위치를 추정하는 시스템에 해당하고, 위치 추정을 위한 영상은 1장 이상의 이미지 정보를 이용하여야 하지만, 구체적인 실내 환경, 즉 홀, 복도, 코너에 조금씩 다르게 적용됨에 주의하여야 한다.
이하, 실내 맵 예시도인 도 3에 기초하여 상세히 설명한다.
먼저, 도 3에 의한 실내 맵에 있어서 실내 구조는 크게 복도(hallway), 홀(또는 로비), 코너 및 기타 각종 구조물(가령, 계단, 게시판 등)로 나눌 수 있으며, 이들에 대한 상황 인지가 필요하다.
도 4는 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 개념도이며, 도 5는 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 순서도를 나타낸다.
먼저, 복도의 경우는 복도의 앞쪽과 뒤쪽을 촬영하고, 해당 2장의 영상 이미지를 이용한다.
이렇게 촬영된 영상 이미지로부터 카메라 이미지의 퍼스펙티브 라인(perspective line) 검출한다.
여기서, 촬영된 영상은 일반 단말기의 카메라 이미지이므로, 검출된 퍼스펙티브 라인은 원근감, 즉 깊이(depth) 정보를 포함하지 않음에 주의해야 한다. 따라서 이러한 퍼스펙티브 라인의 길이 정보와 실제 길이 사이에는 왜곡이 발생한다.
이러한 왜곡 발생의 문제점을 방지하기 위하여, 복도 퍼스펙티브 라인의 깊이(depth) 보정을 위한 모델을 이용하여 퍼스펙티브 라인에서 깊이 정보를 획득한다.
결국 복도의 양쪽 사진에서 퍼스펙티브 라인을 통한 깊이 정보를 추출하고, 이를 기반으로 사용자가 복도의 어느 위치에 있는지 추정하게 된다.
한편, 사용자가 코너에 있을 경우, 마찬가지로 사용자 주위의 (다수의) 이미지 정보를 획득한다.
이러한 이미지의 에지 추출(edge detection)을 통해 코너 정보를 파악하며, 이미지 촬영 시, 사용자의 자세 정보와 이미지에서의 코너의 위치 정보를 기반으로 사용자가 어느 코너 상에 위치하는지에 대한 추정이 가능하다.
마지막으로, 사용자가 홀에 있을 경우, 마찬가지로 사용자 주위의 (다수의) 이미지 정보를 획득한 후, 각 이미지에서 에지, 코너, 복도, 기둥, 계단 등과 같은 피처를 추출한다.
그 후, 사용자 단말기의 자세 정보와 해당 이미지의 추출된 피처 정보를 커플링하고, 단말기의 자세와 영상의 피처 및 맵 정보 사이의 매칭 작업을 통해 사용자의 위치를 추정한다.
다만, 유의할 것은, 비록 실내 구조물 별로 세부 방법에서 차이가 있을 뿐, 도 5에 의해서도 확인되는 바와 같이, 기본적으로 "사용자 주위 영상 획득 -> 단말기 자세에 해당하는 영상 정보 획득 -> 영상 보정 정보와 함께 영상에서 피처 추출 -> 피처 기반 영상인지 -> 맵 정보에 기초한 영상 피처와 맵 매칭 프로세스 -> 사용자 위치 추정" 과 같은 전체 알고리즘은 동일하다.
홀 환경에서의 위치 검출방법
이는, 사용자가 홀에 있을 때 사용자의 위치를 추정하는 기술이다.
이를 위하여는, 홀 상에서 사용자의 위치를 추정하고, 단말기의 카메라를 이용하며, 이미지 데이터베이스를 사용하지 않고 실내 지도를 사용하여야 하는 조건이 요구된다.
도 6은 본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 홀 환경 개략도로서, 도 6에 도시된 바와 같이 홀의 일반적인 특징은, 홀의 중앙이 일반적으로 넓은 공간으로 형성된다는 점과, 문, 기둥, 계단, 복도입구, 코너, (설치된) 의자 등이 존재하는 구조적 특징이 있다는 점을 들 수 있다.
이러한 홀 검출 기법에 대하여 도 7을 참조하여 설명한다. 도 7은 도 6에 의한 홀 환경에서의 사용자 위치 추정 예시도를 나타낸다.
먼저, 현재 위치에서 전(모든) 방향에 대한 영상을 촬영한다.
촬영 방향정보와 영상 정보를 함께 획득하는데, 이러한 방향 정보는 단말기의 가속도센서, 지자기센서, 자이로 센서 등으로부터 3차원 자세 및 방향 정보 획득이 가능하다.
각각의 뷰(view)에서 관찰되는 특정 구조물(가령, 문, 기둥, 의자 등)의 피처를 추출하고, 해당 피처를 피처 데이터베이스와 비교하여 패턴을 인지한다.
그리고, 단말기의 자세 및 방향 정보를 이용하여, 단말기로부터 구조물에 대한 각도 정보를 인지하게 된다.
그 후, 인지된 구조물로부터 추출된 각도를 이용하여 가상의 라인을 생성하게 되며, 마지막으로, 각각의 가상의 라인이 교차하는 부분에 대한 최적추정(estimation)을 수행하여, 사용자의 위치를 추정한다.
복도 환경에서의 위치 검출방법
이는, 사용자가 복도 상에 있을 때, 복도 상에서의 사용자의 위치를 추정하는 기술에 해당한다.
이에 대한 요구사항으로서, 복도의 길이와 상관없이 보행자가 사용 가능한 범위 내의 정확도로 사용자의 위치 추정이 가능하여야 하며, 단말기의 카메라를 이용하고, 또한 이미지 데이터베이스를 사용하지 않고 실내 지도를 사용하여야 한다는 점이다.
도 8을 참조하면, 먼저, 사용자의 현 위치를 중심으로 전방인 복도 앞쪽과 후방인 복도 뒤쪽의 영상을 촬영하는데, 영상 촬영 시, 단말기의 자세/방향 정보를 획득한다.
다음, 이미지에서 복도의 길이 정보 LL, LR 추출을 위한 피처를 추출한다.
그 후, 앞서 설명한 왜곡 문제를 해결하기 위하여 추출된 피처를 이용하여 깊이 정보를 추정한다.
마지막으로, 피처와 복도의 길이와 같은 맵 정보를 서로 매칭하여 LL, LR을 추정하여 결국 사용자의 위치를 추정하게 된다.
한편, 도 9는 전체 맵 상에서 복도 간 구별기법에 관한 것이다.
도 9에 도시된 ①과 ②는 지자기 센서로부터 얻는 절대적인 방향 정보로 구별할 수 있으며, ①과 ③은 좌, 우 퍼스펙티브 라인의 길이를 비교하여 바라보는 코너가 왼쪽방향인지 혹은 오른쪽방향인지를 구별할 수 있다. 즉, 퍼스펙티브 라인의 왼쪽이 더 짧으면 왼쪽으로 회전하는 코너이며, 퍼스펙티브 라인의 오른쪽이 더 짧으면 오른쪽으로 회전하는 코너, 그리고, 퍼스펙티브 라인의 길이가 같으면 막혔다고 판단한다.
이하, 복도 환경의 측위에 있어서, 이미지에서 피처를 추출하는 방법에 대해 보다 상세하게 설명한다.
실내 복도 영상의 경우에는 도 10에 나타낸 붉은 선과 같은 일정한 패턴의 퍼스펙티브(perspective)한 라인이 존재하는데, 원본 영상으로부터 에지를 검출한 후, 퍼스펙티브한 라인을 인지하여 해당 뷰가 복도임을 판단한다.
한편, 도 10에서도 확인되는 바와 같이 복도 영상의 퍼스펙티브 라인을 보면, 원근감 즉 깊이(depth) 정보가 제대로 반영되지 않음을 알 수 있다. 이는 깊이 정보를 2차원 이미지에 담기 때문에 깊이 정보가 누락되기 때문이다.
따라서, 퍼스펙티브 라인의 길이 등을 이용하여 복도의 길이를 추정하는 것이 사실상 불가능하게 된다. 이에 대한 보정에 대해서는 다시 설명하도록 한다.
본 발명에 따른 단말기 위치추정 방법에 있어서의 상황인지 중 복도 환경에서의 피처 추출기법에 대한 순서도가 도 11에 도시되어 있다.
도 11에서와 같이, 먼저 에지 검출을 위해 원본 영상을 흑백처리하고(S301, 도 12 참조), 특정방향, 즉 퍼스펙티브 라인의 방향에 해당하는 에지 성분만을 추출한다(S302). 이는 도 11 및 도 13에 도시된 바와 같이, 스티어러블 피라미드 디컴포지션(steerable pyramid decomposition) 방법에 의하여 수행될 수 있으며 이를 위한 스티어러블 필터 아키텍쳐(steerable filter architecture)가 도 14에 예시되어 있다. 한편, 이들 각각 그 자체는 이미 이미징 프로세싱 분야에서의 당업자에게 통상적으로 알려진 기술에 해당하므로 본 명세서에서는 구체적인 설명을 생략하도록 한다.
그 다음, 에지 영상의 모든 라인을 추출하는데, 도 15에 도시된 바와 같이 원 영상의 선분을 허프 변환 도메인(Hough transform domain)에서 포인트화하고(S303), 이렇게 추출된 모든 라인 중 가장 길이가 긴 라인을 추출한다(S304). 한편, 허프 변환은 영상 전 영역에 걸친 패턴 추출에 이용되는 일반적인 기술이다. 기본 개념은 다양한 형태를 가지는 영상의 에지에 대하여 수학식으로 표현될 수 있는 직선을 찾는 것으로서, 영상의 직선을 기울기와 길이로 변환하는데 사전 프로세싱으로 에지 검출(detection) 알고리즘이 필요하다.
마지막으로, 역 허프 변환(Inverse Hough transform)을 수행하여 영상에서 가장 긴 에지를 검출한다.
한편, 앞서 언급한 바와 같이, 촬영된 영상은 일반 단말기의 카메라 이미지이므로, 검출된 퍼스펙티브 라인은 원근감에 해당하는 깊이(depth) 정보를 포함하고 있지 않다. 이로 인하여 퍼스펙티브 라인의 길이 정보와 실제 길이 사이에는 왜곡이 발생한다.
이러한 왜곡 발생의 문제점을 방지하기 위하여, 복도 퍼스펙티브 라인의 깊이 보정을 위한 모델을 이용하여 퍼스펙티브 라인에서 깊이 정보를 획득한다.
이와 같은 퍼스펙티브 라인에 없는 깊이 정보를 보상하는 깊이 가중 함수 모델링(Depth weighting function modeling; ω(PL))은 아래 수학식 1로 표현된다.
(수학식 1)
Figure PCTKR2013009982-appb-I000002
퍼스펙티브 라인에 없는 깊이 정보를 보상하게 되면 수학식 2(깊이 정보 무)로부터 수학식 3(깊이 정보 유)으로 변환되며, 도 17에 모델링된 퍼스펙티브 라인(a)과 깊이 가중 함수(b)에 대한 그래프가 각각 도시되어 있다.
(수학식 2)
Figure PCTKR2013009982-appb-I000003
(수학식 3)
Figure PCTKR2013009982-appb-I000004
이러한 깊이 가중 함수를 고려한 추정 위치와 이를 고려하지 않은 추정 위치 사이의 결과치 등은 도 18로부터 확인된다.
도 18은 (a)는 깊이 가중 함수를 고려하지 않은 경우의 추정위치, (b)는 깊이 가중 함수를 고려하지 않은 경우의 오차, (c)는 깊이 가중 함수를 고려한 경우의 추정위치, 그리고 (d)는 깊이 가중 함수를 고려한 경우의 오차를 각각 나타낸다.
동 그래프에서 확인되는 바와 같이, 깊이 정보를 보상하지 않은 경우, 최대 약 13 m 정도의 오차를 보인 반면, 깊이 정보를 보상한 경우, 약 2 m 이내의 오차를 보인다.
코너 환경에서의 위치 검출방법
이는 사용자가 코너 상에 있을 때, 사용자의 위치를 추정하는 기술이다.
일반적인 환경에서 사용자가 있을 수 있는 코너는 도 19에서와 같이, 퍼스펙티브 라인이 관찰되는 뷰(view)가 90도 혹은 270도 간격으로 존재하는 경우(Case 1), 퍼스펙티브 라인이 관찰되는 뷰가 한 방향을 제외하고 90도 간격으로 존재하는 경우(Case 2), 그리고, 퍼스펙티브 라인이 관찰되는 뷰가 90도 간격으로 전 방향 존재하는 경우(Case 3)와 같이 크게 3가지 경우로 분류 판단된다. 코너가 90도가 아닌 경우, 퍼스펙티브 라인이 180도 간격으로 존재하지 않으면 코너로 인지한다. 그 외 코너에 대해서도 같은 알고리즘과 맵을 적용하여 위치를 추정할 수 있다.
영상에서의 코너는, 2개의 퍼스펙티브 라인의 길이를 비교하여 짧은 라인을 가진 쪽이 꺾이는 방향, 및 퍼스펙티브 라인에 대한 가상의 레이(ray)를 만들어서 레이 상에서 비어있는 부분이 꺾이는 부분이라고 인지한다(도 20 참조).
코너 검출 알고리즘은, 지자기 센서를 이용하여 퍼스펙티브 라인이 인지된 뷰로부터 일정 각도 간격으로 퍼스펙티브 라인의 유무를 조사한다. 그 후, 전체 맵에서 지자기 센서의 절대방향 정보와 코너의 사이 각을 검출하여 매칭하게 된다.
이상과 같이, 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술 사상과 아래에 기재될 청구범위의 균등 범위 내에서 다양한 변형 및 수정이 가능함은 물론이다.

Claims (16)

  1. 영상기반 실내 위치 검출방법으로서,
    (a) 사용자 단말기에 내장된 카메라를 이용하여 사용자의 하나 이상의 방향에 대한 영상을 획득하는 단계;
    (b) 상기 획득된 사용자의 방향에 해당하는 영상에서 건물 내부의 피처(feature)를 추출하는 단계;
    (c) 상기 사용자의 방향과 추출된 영상의 피처를 건물 실내 지도 정보와 매칭하는 단계;
    (d) 상기 영상과 맵의 매칭 프로세스를 통해 사용자 단말기의 위치를 추정하는 단계
    를 포함하여 이루어지는 영상기반 실내 위치 검출방법.
  2. 제1항에 있어서,
    상기 (b) 단계에서, 단말기 자세에 해당하는 영상정보를 얻기 위하여 사용자의 방향 및 자세 정보를 필요로 하며, 상기 사용자의 방향 및 자세 정보는 단말기 내부 또는 외부에 구비된 센서를 이용해 추정하는 것을 특징으로 하는 영상기반 실내 절대위치 검출방법.
  3. 제2항에 있어서,
    상기 센서는 가속도계, 자이로스코프, 디지털컴파스 중 어느 하나 이상을 포함하는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
  4. 제1항에 있어서,
    상기 건물 실내 지도 정보는 사용자 단말기와 네트워크를 통해 연결된 맵데이터 서버를 통해 수신된 건물의 정보와 고도 정보에 기초하여 추출된 단말기 사용자의 개략적 위치에 해당하는 지도인 것을 특징으로 하는 영상기반 실내 위치 검출방법.
  5. 제4항에 있어서,
    상기 단말기 사용자의 개략적인 위치에 해당하는 지도는, WIPS 방법에 의한 개략적인 사용자의 위치추정과 함께 기압센서를 통한 고도 추정 및 고도에 해당하는 건물 지도 정보에 의하여 추출되는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
  6. 제1항에 있어서,
    상기 건물 내부의 피처 추출은 복도, 코너, 홀, 계단에 따라 달라지는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
  7. 제6항에 있어서,
    상기 복도의 경우, 사용자의 위치 기준으로 적어도 상기 복도의 앞쪽과 뒤쪽을 촬영하는 단계 및 상기 촬영된 영상 이미지로부터 카메라 이미지의 퍼스펙티브 라인(perspective line)을 검출하는 단계를 포함하는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
  8. 제7항에 있어서,
    상기 퍼스펙티브 라인의 검출단계는:
    상기 퍼스펙티브 라인의 방향에 해당하는 에지 성분만을 추출하는 단계;
    상기 원본 영상의 선분을 허프 변환 도메인(Hough transform domain)에서 포인트화하고, 추출된 모든 라인 중 가장 길이가 긴 라인을 추출하는 단계; 및
    역 허프 변환(Inverse Hough transform)을 수행하여 퍼스펙티브 라인을 검출하는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
  9. 제8항에 있어서,
    상기 퍼스펙티브 라인에 대하여 깊이(depth) 보정을 위한 모델을 적용하는 단계를 더 포함하는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
  10. 제9항에 있어서,
    상기 모델은, 수학식
    Figure PCTKR2013009982-appb-I000005
    에 의한 가중 함수 모델링(Depth weighting function modeling; ω(PL))인 것을 특징으로 하는 영상기반 실내 위치 검출방법.
  11. 제6항에 있어서,
    상기 코너에 대한 인지는, i) 퍼스펙티브 라인이 관찰되는 뷰(view)가 90도 혹은 270도 간격으로 존재하는 경우, ii) 퍼스펙티브 라인이 관찰되는 뷰가 한 방향을 제외하고 90도 간격으로 존재하는 경우, 및 iii) 퍼스펙티브 라인이 관찰되는 뷰가 90도 간격으로 전 방향 존재하는 경우 중 적어도 어느 하나에 해당하는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
  12. 제11항에 있어서,
    상기 코너가 90도가 아닌 경우, 퍼스펙티브 라인이 180도 간격으로 존재하지 않을 경우 코너로 인지하는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
  13. 제11항에 있어서,
    상기 코너는, 2개의 퍼스펙티브 라인의 길이를 비교하여 짧은 라인을 가진 쪽이 꺾이는 방향, 및 퍼스펙티브 라인에 대한 가상의 레이(ray)를 만들어서 레이 상에서 비어있는 부분이 꺾이는 부분이라고 인지하는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
  14. 제6항에 있어서,
    상기 홀의 경우,
    사용자의 현재 위치에서 전 방향에 대한 영상을 촬영하는 단계;
    상기 영상 촬영에 대한 방향정보와 영상 정보를 함께 획득하는 단계;
    각각의 뷰(view)에서 관찰되는 특정 구조물의 피처를 추출하고, 해당 피처를 피처 데이터베이스와 비교하여 패턴을 인지하는 단계;
    상기 사용자의 단말기의 자세 및 방향 정보를 이용하여, 영상에서 패턴이 있는 뷰의 각도를 추정하는 단계;
    인지된 구조물로부터 추출된 각도를 이용하여 가상의 라인을 생성하는 단계; 및
    상기 각각의 가상의 라인이 교차하는 부분에 대한 최적추정(estimation)을 수행하여, 사용자의 위치를 추정하는 단계
    를 포함하여 이루어지는 것을 특징으로 하는 영상기반 실내 위치 검출방법.
  15. 제 1 항에 있어서,
    상기 (b) 단계와 (c) 단계 사이에, 상기 영상에서 추출된 피처에 기초하여 특정 물체에 대한 인지를 수행하는 단계를 더 포함하는, 영상기반 실내 위치 검출 방법.
  16. 휴대용 단말기로서,
    제1항 내지 제14항 중 어느 한 항에 의한 영상기반 실내 위치 검출방법을 수행하도록 구성되어 영상 데이터베이스 없이 영상과 실내지도 만에 의하여 영상기반 실내 위치 검출이 가능한 휴대용 단말기.
PCT/KR2013/009982 2012-11-07 2013-11-06 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기 WO2014073841A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120125239A KR101415016B1 (ko) 2012-11-07 2012-11-07 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
KR10-2012-0125239 2012-11-07

Publications (1)

Publication Number Publication Date
WO2014073841A1 true WO2014073841A1 (ko) 2014-05-15

Family

ID=50684882

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/009982 WO2014073841A1 (ko) 2012-11-07 2013-11-06 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기

Country Status (2)

Country Link
KR (1) KR101415016B1 (ko)
WO (1) WO2014073841A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106855946A (zh) * 2016-12-27 2017-06-16 努比亚技术有限公司 一种图像信息获取方法和装置
CN107036593A (zh) * 2016-11-18 2017-08-11 中国矿业大学 一种基于特征匹配与人机交互组合的室内定位方法
CN109357679A (zh) * 2018-11-16 2019-02-19 济南浪潮高新科技投资发展有限公司 一种基于显著性特征识别的室内定位方法
CN109520510A (zh) * 2018-12-26 2019-03-26 安徽智恒信科技有限公司 一种基于虚拟现实技术的室内导航方法及系统

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102047500B1 (ko) 2014-11-27 2019-11-21 삼성전자주식회사 사용자의 할일 목록을 제공하는 시스템 및 방법
CN105698761A (zh) * 2014-11-28 2016-06-22 英业达科技有限公司 云端影像定位导航方法与系统
WO2017029706A1 (ja) * 2015-08-18 2017-02-23 三菱電機株式会社 表示制御システムおよびこれを用いたコントロールセンタ、特定位置ナビゲーションシステム、並びに盤用機器の情報表示システム
KR101707878B1 (ko) * 2015-09-09 2017-02-17 한국과학기술연구원 복수의 영상 및 보행자 추측 항법 기술을 이용한 사용자 위치 추정 장치 및 그 방법
KR101719292B1 (ko) 2015-09-10 2017-03-23 한국과학기술연구원 복도 영상의 소실점을 이용한 실내 위치 추정 장치 및 그 방법
KR101885961B1 (ko) * 2016-08-04 2018-08-06 영남대학교 산학협력단 이미지를 기반으로 한 객체 위치 추정 방법 및 장치
KR20180026049A (ko) 2016-09-02 2018-03-12 에스케이플래닛 주식회사 위치 제공 방법 및 이를 위한 장치
KR102197732B1 (ko) * 2018-04-06 2021-01-04 고려대학교 산학협력단 실내공간의 3차원 지도 생성 방법 및 장치
US10957100B2 (en) 2018-04-06 2021-03-23 Korea University Research And Business Foundation Method and apparatus for generating 3D map of indoor space
KR102090779B1 (ko) 2018-07-27 2020-03-18 연세대학교 산학협력단 이미지 기반 실내위치 검출장치 및 검출방법
US20210403053A1 (en) * 2019-06-14 2021-12-30 Lg Electronics Inc. Method for calling a vehicle to user's current location
US11847792B2 (en) 2019-12-20 2023-12-19 Niantic, Inc. Location determination and mapping with 3D line junctions

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100031277A (ko) * 2008-09-12 2010-03-22 삼성전자주식회사 전방 영상을 이용한 위치 인식 장치 및 방법
KR20100081588A (ko) * 2009-01-06 2010-07-15 삼성전자주식회사 로봇 및 그 제어방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100031277A (ko) * 2008-09-12 2010-03-22 삼성전자주식회사 전방 영상을 이용한 위치 인식 장치 및 방법
KR20100081588A (ko) * 2009-01-06 2010-07-15 삼성전자주식회사 로봇 및 그 제어방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107036593A (zh) * 2016-11-18 2017-08-11 中国矿业大学 一种基于特征匹配与人机交互组合的室内定位方法
CN106855946A (zh) * 2016-12-27 2017-06-16 努比亚技术有限公司 一种图像信息获取方法和装置
CN109357679A (zh) * 2018-11-16 2019-02-19 济南浪潮高新科技投资发展有限公司 一种基于显著性特征识别的室内定位方法
CN109357679B (zh) * 2018-11-16 2022-04-19 山东浪潮科学研究院有限公司 一种基于显著性特征识别的室内定位方法
CN109520510A (zh) * 2018-12-26 2019-03-26 安徽智恒信科技有限公司 一种基于虚拟现实技术的室内导航方法及系统

Also Published As

Publication number Publication date
KR101415016B1 (ko) 2014-07-08
KR20140058861A (ko) 2014-05-15

Similar Documents

Publication Publication Date Title
WO2014073841A1 (ko) 영상기반 실내 위치 검출방법 및 이를 이용한 휴대용 단말기
WO2018164460A1 (en) Method of providing augmented reality content, and electronic device and system adapted to the method
WO2011074759A1 (ko) 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
WO2011052826A1 (ko) 이동 로봇의 위치 인식을 위한 지도 생성 및 갱신 방법
WO2013162140A1 (ko) 영상매칭 기반의 스마트폰의 위치자세 결정 방법 및 시스템
WO2012124852A1 (ko) 감시구역 상의 객체의 경로를 추적할 수 있는 스테레오 카메라 장치, 그를 이용한 감시시스템 및 방법
WO2019139243A1 (ko) 자율주행을 위한 고정밀 지도의 업데이트 장치 및 방법
WO2011093669A2 (ko) 객체 인식시스템 및 이를 이용하는 객체 인식 방법
WO2016035993A1 (ko) 클라우드 포인트를 이용한 실내 지도 구축 장치 및 방법
WO2020075954A1 (ko) 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법
CN103901884A (zh) 信息处理方法和信息处理设备
WO2016072625A1 (ko) 영상방식을 이용한 주차장의 차량 위치 확인 시스템 및 그 제어방법
WO2021125578A1 (ko) 시각 정보 처리 기반의 위치 인식 방법 및 시스템
WO2020235734A1 (ko) 모노카메라를 이용한 자율주행 차량의 거리 및 위치 추정 방법
WO2019054593A1 (ko) 기계학습과 이미지 프로세싱을 이용한 지도 제작 장치
WO2019198868A1 (ko) 무인기와 무선단말기 간의 상호 인식 방법
WO2020071619A1 (ko) 정밀 지도 업데이트 장치 및 방법
WO2018139847A1 (ko) 얼굴 비교를 통한 개인 식별 방법
WO2015122658A1 (ko) 비전 센서 데이터베이스를 이용한 거리 측정 방법
WO2020189909A2 (ko) 3d-vr 멀티센서 시스템 기반의 도로 시설물 관리 솔루션을 구현하는 시스템 및 그 방법
WO2021221334A1 (ko) Gps정보 및 라이다 신호를 기초로 형성되는 컬러 맵 생성 장치 및 그 제어방법
WO2016072627A1 (ko) 전방위 카메라를 이용한 1대 다면 주차장 관리 시스템 및 관리방법
WO2020071573A1 (ko) 딥러닝을 이용한 위치정보 시스템 및 그 제공방법
Junejo et al. Autoconfiguration of a dynamic nonoverlapping camera network
WO2016035924A1 (ko) 달리기 감지 방법 및 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13852717

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13852717

Country of ref document: EP

Kind code of ref document: A1