KR101379211B1 - 이동체의 위치 판단 장치 및 위치 판단 방법 - Google Patents

이동체의 위치 판단 장치 및 위치 판단 방법 Download PDF

Info

Publication number
KR101379211B1
KR101379211B1 KR1020120108472A KR20120108472A KR101379211B1 KR 101379211 B1 KR101379211 B1 KR 101379211B1 KR 1020120108472 A KR1020120108472 A KR 1020120108472A KR 20120108472 A KR20120108472 A KR 20120108472A KR 101379211 B1 KR101379211 B1 KR 101379211B1
Authority
KR
South Korea
Prior art keywords
image
determining
moving object
module
images
Prior art date
Application number
KR1020120108472A
Other languages
English (en)
Inventor
박창우
김승훈
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020120108472A priority Critical patent/KR101379211B1/ko
Application granted granted Critical
Publication of KR101379211B1 publication Critical patent/KR101379211B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

본 발명에 따른 이동체의 위치 판단 장치 및 위치 판단 방법은, 이동체가 촬영한 복수의 기준이미지를 촬영 대상의 위치에 따라 계층화하여 저장하고, 기준이미지 중 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분하며, 연산 로드 등을 감안하여 위치 판단 장치 자신이 직접 위치를 판단할 것인지 또는 다른 위치 판단 장치에서 대신 위치를 판단하도록 할 것인지 결정한 후, 결정된 위치 판단 장치에서 현재의 촬영이미지와 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별하고, 매칭 기준이미지가 유사이미지에 속하는지 또는 분별이미지에 속하는지에 따라 가중치를 반영하여, 매칭 기준이미지에 대응하는 촬영 대상의 위치에 이동체가 위치할 확률을 계산하고, 계산 결과에 따라 이동체의 위치를 판단하는 과정을 포함하며, 이를 통해, 이동체의 현재 위치를 파악함에 있어 연산 부담을 획기적으로 경감할 수 있다.

Description

이동체의 위치 판단 장치 및 위치 판단 방법 {Apparatus and method for detecting position of moving unit}
본 발명은 위치 판단 기술에 관한 것으로, 더욱 상세하게는 이동하는 물체의 현재 위치를 판단할 수 있는 이동체의 위치 판단 장치 및 위치 판단 방법에 관한 것이다.
이동하는 물체의 위치를 판단하는 방법으로는 거리를 알고 있는 두 고정점으로부터 방향을 측정하여 다른 지점의 거리를 측정하는 삼각 측량법, GPS(Global Positioning System)을 이용한 위치 측정 방법, 무선 통신 기지국에 등록된 무선 통신 장치를 이용하여 대략적인 위치를 파악하는 방법 등이 존재하여 왔다.
그런데 이러한 종래의 위치 판단 방법은 그 정확도가 낮고, 전파 환경이 양호하지 않은 환경에서 위치를 파악하기 어려운 난점이 존재한다.
특히 근래에는 실내에서 이동하며 청소, 유지보수, 탐사 및 정찰 등을 수행하거나 각종 서비스를 제공하는 실내이동로봇(indoor robot)의 개발이 가속화되고 있으며, 실내에서 이동하는 로봇의 현재 위치를 정확히 파악하려는 다양한 시도들이 행해지고 있다.
이러한 노력의 결과 중 하나는 동시적 위치추정 및 지도작성(Simultaneous Localization And Mapping: SLAM) 기술의 개발이다. SLAM 기술을 이용하면 임의 공간에서 이동하면서 주변을 탐색할 수 있는 로봇이, 주변 환경과 자신이 가지고 있는 지도를 매칭하여 현재위치를 추정할 수 있으며, 전혀 모르는 환경에서도 지도를 생성해 나가면서 자신의 위치를 지도에 매칭하는 방식으로 현재 위치를 파악하는 것이 가능하다.
그런데 SLAM 기술은 지도 작성을 위한 데이터가 방대하여 이동 로봇 자체에서 처리하는 연산량이 과도한 문제가 있다.
이에, 위치 측정을 위한 부담을 줄이면서도 이동체의 현재 위치를 오류없이 정확히 파악할 수 있는 기술이 요구된다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 이동체의 위치 판단에 따른 연산 부담을 줄이면서도, 이동체의 위치 판단에 있어 그 정확도를 개선할 수 있는 이동체의 위치 판단 장치 및 위치 판단 방법을 제공하기 위한 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 이동체의 위치 판단 방법은, 위치 판단 장치가 촬영한 복수의 기준이미지를 촬영 대상의 위치에 따라 계층화하여 저장하는 저장 단계, 상기 위치 판단 장치가, 상기 저장 단계에서 저장한 상기 기준이미지 중 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분하는 구분 단계, 상기 위치 판단 장치가 현재 위치에 대응하는 촬영이미지를 촬영하고, 다른 위치 판단 장치에서 현재 위치를 대신 판단하도록 할 것인지 또는 상기 촬영이미지를 이용하여 직접 위치를 판단할 것인지를 결정하는 결정 단계, 상기 결정 단계에서 상기 다른 위치 판단 장치에서 현재 위치를 대신 판단하도록 하기로 결정한 경우, 상기 촬영이미지를 상기 다른 위치 판단 장치로 전송하여 위치 판단이 이루어지도록 하는 전송 단계, 상기 결정 단계에서 직접 위치를 판단하기로 결정한 경우, 상기 촬영이미지와 상기 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별하는 선별 단계, 및 상기 위치 판단 장치가, 상기 매칭 기준이미지가 상기 유사이미지에 속하는지 또는 상기 분별이미지에 속하는지에 따라 가중치를 반영하여, 상기 매칭 기준이미지에 대응하는 촬영 대상의 위치에 이동체가 위치할 확률을 계산하고, 계산 결과에 따라 상기 이동체의 위치를 판단하는 판단 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 이동체의 위치 판단 방법에 있어서, 상기 저장 단계는, 상기 이동체가 촬영한 이미지에서 특징점을 추출하는 단계, 추출한 특징점의 개수를 계산하는 단계, 및 상기 계산한 특징점의 개수가 일정 개수 범위 이내인 경우 대응하는 이미지를 상기 기준이미지로 선정하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따른 이동체의 위치 판단 방법에 있어서, 상기 구분 단계 또는 상기 선별 단계는,
Figure 112012079254969-pat00001
을 이용하여 유사도를 계산하는 것을 특징으로 한다. 이때, i는 특정 이미지의 식별자이고, j는 비교 대상 이미지의 식별자이고,
Figure 112012079254969-pat00002
는 이미지i와 이미지j 간의 유사도이고,
Figure 112012079254969-pat00003
는 이미지i와 이미지j 간에 매칭된 특징점의 개수이고,
Figure 112012079254969-pat00004
: 이미지j의 특징점의 개수이다.
본 발명에 따른 이동체의 위치 판단 방법에 있어서, 상기 판단 단계에서, 상기 유사이미지의 가중치는 분별이미지의 가중치보다 상대적으로 작게 부여되는 것을 특징으로 한다.
본 발명에 따른 이동체의 위치 판단 방법에 있어서, 상기 판단 단계에서, 상기 유사이미지의 가중치는
Figure 112012079254969-pat00005
에 의해 계산되고, 상기 분별이미지의 가중치는
Figure 112012079254969-pat00006
에 의해 계산되는 것을 특징으로 한다. 이때,
Figure 112012079254969-pat00007
는 가중치이고,
Figure 112012079254969-pat00008
는 매칭 기준이미지가 속하는 유사이미지 그룹의 이미지 개수이다.
본 발명에 따른 이동체의 위치 판단 방법에 있어서, 상기 판단 단계는
Figure 112012079254969-pat00009
을 이용하여 위치에 대한 확률을 계산하는 것을 특징으로 한다. 이때, l은 특정 위치의 식별자이고, i는 특정 이미지의 식별자이고, j는 비교 대상 이미지의 식별자이고,
Figure 112012079254969-pat00010
는 매칭 기준이미지의 촬영 대상에 대응하는 위치의 식별자이고,
Figure 112012079254969-pat00011
는 이동체가 위치l에 위치할 확률이고,
Figure 112012079254969-pat00012
는 이미지i와 이미지j 간의 유사도이고, 만일 x = 0 이면
Figure 112012079254969-pat00013
= 1, 아니면
Figure 112012079254969-pat00014
= 0이다.
본 발명에 따른 이동체의 위치 판단 방법에 있어서, 상기 판단 단계는 시각 t에서의 확률을
Figure 112012079254969-pat00015
을 이용하여 계산하는 것을 특징으로 한다. 이때,
Figure 112012079254969-pat00016
는 시각 t에서 이동체가 각 위치에 위치할 확률의 집합이고,
Figure 112012079254969-pat00017
는 매칭 기준이미지의 가중치이고,
Figure 112012079254969-pat00018
는 시각 t에서의 촬영이미지와 매칭 기준이미지 간의 유사도이고,
Figure 112012079254969-pat00019
는 시각 t-1에서 이동체가 각 위치에 위치할 확률의 집합이고,
Figure 112012079254969-pat00020
는 nomalizer 함수이고, *는 곱셈 연산자이고, X는 서로 대응하는 위치값에 대한 곱셈 연산자이다.
상기와 같은 목적을 달성하기 위한 본 발명의 이동체의 위치 판단 장치는, 피사체를 촬영하는 촬영 모듈, 데이터 송수신을 위한 통신 모듈, 상기 촬영 모듈에서 촬영한 복수의 기준이미지를 촬영 대상의 위치에 따라 계층화하여 저장하는 저장 모듈, 상기 저장 모듈이 저장한 상기 기준이미지 중 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분하는 구분 모듈, 상기 촬영 모듈이 촬영한 현재 위치에 대응하는 촬영이미지에 따라 다른 위치 판단 장치에서 현재 위치를 대신 판단하도록 할 것인지 또는 상기 촬영이미지를 이용하여 직접 위치를 판단할 것인지를 결정하고, 상기 다른 위치 판단 장치에서 현재 위치를 대신 판단하도록 하기로 결정한 경우 상기 통신 모듈을 통해 상기 촬영이미지를 상기 다른 위치 판단 장치로 전송하여 위치 판단이 이루어지도록 하는 결정 모듈, 상기 결정 모듈이 직접 위치를 판단하기로 결정한 경우, 상기 촬영이미지와 상기 기준이미지를 비교하고 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별하는 선별 모듈, 및 상기 매칭 기준이미지가 상기 유사이미지에 속하는지 또는 상기 분별이미지에 속하는지에 따라 가중치를 반영하여, 상기 매칭 기준이미지에 대응하는 촬영 대상의 위치에 위치할 확률을 계산하고, 계산 결과에 따라 상기 이동체의 위치를 판단하는 판단모듈을 포함하는 것을 특징으로 한다.
본 발명에 따른 이동체의 위치 판단 장치 및 위치 판단 방법에 따르면 다음과 같은 효과를 기대할 수 있다.
첫째, 기 저장된 이미지와 이동체가 현재 위치에서 촬영하는 이미지를 비교하여, 이동체의 현재 위치를 파악할 수 있다.
둘째, 이동체의 현재 위치를 판단함에 있어, 위치 판단의 오류를 현저히 줄일 수 있다.
셋째, 위치 판단을 위해 촬영이미지와의 비교되는 이미지가 일정 기준에 따라 선정되므로, 이미지 저장을 위한 저장 용량이 감소하고, 이미지 비교의 연산 부담의 현저히 감소된다.
넷째, 특정 위치 판단 장치가 연산 부담이 적은 다른 위치 판단 장치로 촬영이미지를 전송하여 현재 위치에 대한 판단이 대신하여 이루어지도록 함으로써, 연산 오버헤드(overhead)를 크게 경감할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이동체의 위치 판단 장치(100)의 구성도이다.
도 2는 본 발명의 일 실시예에 따라 기준이미지를 계층화하여 저장한 모습을 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따라 이동체의 위치를 판단하는 과정을 나타낸 흐름도이다.
도 4는 본 발명의 다른 일 실시예에 따라 이동체의 위치를 판단하는 과정을 나타낸 흐름도이다.
도 5는 본 발명의 또 다른 일 실시예에 따라 이동체의 위치를 판단하는 과정을 나타낸 흐름도이다.
하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 이동체의 위치 판단 장치(100)의 구성도이고, 도 2는 본 발명의 일 실시예에 따라 기준이미지를 계층화하여 저장한 모습을 나타낸 예시도이다.
위치 판단 장치(100)는 이동체에 위치하여 이동체의 현재 위치를 판단하는 기능을 하는 장치이다. 다만, 위치 판단 장치(100)의 일부 구성은 이동체 외부의 관리 장치 등에 위치할 수 있으며, 이 경우 각 구성 간의 데이터 송수신은 무선 통신 모듈 등을 이용하여 이루어질 수 있다.
도 1 및 도 2를 참조하면, 본 실시예의 위치 판단 장치(100)는 촬영 모듈(10), 통신 모듈(20), 저장 모듈(30), 구분 모듈(40), 결정 모듈(50), 선별 모듈(60) 및 판단 모듈(70)을 포함한다.
촬영 모듈(10)은 이동체에 위치하여 피사체를 촬영하는 역할을 한다. 이때, 촬영 모듈(10)은 이동체가 이동함에 따라 이동체의 현재 위치에 대응하는 대상을 촬영하게 된다.
촬영 모듈(10)은 단일 이미지를 촬영할 수도 있고, 연속된 복수의 이미지들로 이루어진 영상을 촬영할 수도 있으며, 이러한 촬영 동작을 위한 카메라 장치를 포함할 수 있다.
통신 모듈(20)은 네트워크를 통해 데이터를 송수신할 수 있는 인터페이스를 가진다. 이때, 통신 모듈(20)은 무선 통신을 위한 소자 및 안테나 등을 포함할 수 있다.
저장 모듈(30)은 촬영 모듈(10)에서 촬영한 이미지를 저장하는 역할을 하며 이를 위한 저장 장치를 포함할 수 있다.
저장 모듈(30)은 촬영 모듈(10)이 촬영한 이미지 중에서 이미지 비교를 위한 대상이 되는 이미지를 기준이미지로 선정하여 저장한다. 이때, 저장 모듈(30)은 각 기준이미지가 촬영된 위치를 나타내는 정보를 함께 저장한다.
저장 모듈(30)은 예를 들어, 이동체에 위치한 촬영 모듈(10)이 촬영한 이미지에서 특징점을 추출하고, 추출한 특징점의 개수를 계산한 후, 일정 개수 범위 이내의 특징점 개수를 가지는 이미지를 기준이미지로 선정하여 저장한다. 저장 모듈(30)이 너무 적은 개수의 특징점을 가지는 이미지를 기준이미지로 선정하는 경우에는 유사한 이미지를 검출하는 것이 어렵고, 상대적으로 너무 많은 개수의 특징점을 가지는 이미지를 기준이미지로 선정하는 경우라면 특징점 비교를 위한 자원의 소모가 많아지기 때문이다. 이 경우, 저장 모듈(30)은, 예를 들어, 이미지의 특징점을 추적하는 KLT(Kanade-Lucas-Tomasi) 알고리즘을 이용하여 특징점을 추출할 수 있다.
이때, 본 실시예의 저장 모듈(30)은 선정한 복수의 기준이미지를 촬영 대상의 위치에 따라 계층화하여 저장한다. 도 2는 저장 모듈(30)이 기준이미지를 계층화하여 저장한 모습을 나타내는데, 도 2에서 기준이미지는 트리구조(tree structure)로 계층화되어 있다.
도 2에서 최상위의 루트 노드(root node)(1)는 이동체가 그 내부로 이동하는 건물을 나타내고, 루트 노드를 부모 노드(parent node)로 하여 차례로, 건물내 이동체가 위치하는 층, 각 층내 사무실 등의 호수, 각 사무실에 가지는 창문 및 출입문, 각 창문의 세부 구성에 대한 자식 노드(child node)가 존재한다.
보통 다층 건물은 일정한 계획에 따라 건축되기 때문에, 각 층에서 동일한 위치의 방이나 각 방에서 대응하는 위치의 창문 등, 건물 내에서 서로 대응되는 위치에 복수로 존재하는 부분은 그 실제 모습이 매우 유사하다. 그리고 이러한 건물 내에서 서로 위치가 대응되는 대상의 기준이미지는 트리 구조 내에서 대응되는 위치에 존재하게 된다.
즉, 1층을 나타내는 노드(2)의 트리 내 위치에 대응하여 2층을 나타내는 노드(3)가 위치하고, 101호를 나타내는 노드(4)의 트리 내 위치에 대응하여 201호를 나타내는 노드(5)가 위치하며, 101호의 창문을 나타내는 노드(6)의 트리 내 위치에 대응하여 201호의 창문을 나타내는 노드(7)가 위치하고, 101호의 창문 중 동쪽창을 나타내는 노드(8)의 트리 내 위치에 대응하여 201호의 창문 중 동쪽창을 나타내는 노드(9)가 위치한다.
본 실시예에서 저장 모듈(30)은 촬영 모듈(10)이 촬영한 이미지 중 특정 기준에 따라 선정된 이미지를 기준이미지로 정하고 촬영 대상의 위치에 따라 계층화하여 저장하는데, 이 경우 전체 이미지를 저장하는 경우보다 전체 연산을 위한 로드가 경감하고 이미지 저장을 위한 저장 공간이 적게 요구되는 장점이 있다.
구분 모듈(40)은 저장 모듈(30)이 저장한 기준이미지 중 트리 내에서 계층화된 위치가 서로 대응되는 복수의 기준 이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분한다.
이때, 유사이미지는 실제로 서로 다른 위치에서 촬영되었지만 이미지가 나타내는 형상이 서로 비슷하여, 촬영 모듈(10)이 실시간으로 촬영하는 촬영이미지와의 비교를 통해 대응하는 촬영 위치를 분별하기 어려운 이미지를 의미하고, 분별이미지는 고유의 특징 등을 가지고 있어 촬영이미지에 대응하는 촬영 위치를 분별하기에 적합한 이미지를 의미한다.
구분 모듈(40)이 기준이미지를 유사이미지와 분별이미지로 구분하는 이유는, 이후 이동체의 촬영 모듈(10)이 현재 위치의 대상을 촬영하고 촬영이미지를 생성하여 기준이미지와 비교할 때, 촬영이미지와 유사이미지와 비교하는 경우 현재 위치를 파악하기 어려운 반면, 분별이미지와 비교하는 경우에는 상대적으로 정확하게 현재 위치를 파악할 수 있기 때문이다.
도 2에서 노드(8)는 101호의 창문 중 동쪽창을 나타내고, 계층화된 위치가 서로 대응되는 노드(9)는 201호의 창문 중 동쪽창을 나타내는데, 이들 노드(8, 9)가 지칭하는 기준이미지는 건물 내에서 그 실제 위치가 대응되며, 실제로도 비슷한 형상을 가질 수 있다. 따라서 노드(8) 및 노드(9)에 대응하는 기준이미지 각각은 서로 유사한 이미지일 가능성이 크다.
본 실시예의 구분 모듈(40)은 이렇게 계층화된 위치가 대응되는 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 유사이미지로 그룹화하고, 분별이미지와 구분한다.
이때, 구분 모듈(40)은 SIFT(Scale Invariant Feature Transform) 알고리즘을 통한 이미지 유사도를 이용하여 유사이미지를 그룹화하고 분별이미지를 구분할 수 있다. SIFT 알고리즘은 영상 데이터로부터 객체의 꼭지점이나 모서리와 같이 색상 성분의 차가 분명한 영역에서 특징점을 찾아 벡터성분을 추출하는 알고리즘이다. 이러한 SIFT 알고리즘을 이용해 기준이미지 간의 특징점 벡터 성분을 비교하여 서로 매칭되는 특징점을 판단할 수 있다.
예를 들어 구분 모듈(40)은 다음의 수학식을 이용하여 기준이미지 간의 유사도를 판단한다.
Figure 112012079254969-pat00021
i: 특정 이미지의 식별자
j: 비교 대상 이미지의 식별자
Figure 112012079254969-pat00022
: 이미지i와 이미지j 간의 유사도
Figure 112012079254969-pat00023
: 이미지i와 이미지j 간에 매칭된 특징점의 개수
Figure 112012079254969-pat00024
: 이미지j의 특징점의 개수
이때, 유사도 범위가 0.85 이상이고 1 이하인 기준이미지만 구분 모듈(40)이 유사이미지로 구분하도록 설정된 경우를 가정하자.
수학식 1에 따라 계산할 때, 만일 특정 기준이미지의 특징점이 500개이고, 해당 특정 기준이미지와 다른 기준이미지 간에 매칭되는 특징점이 450개인 경우, 양 기준이미지 간의 유사도는 0.90이 된다. 따라서 양 기준이미지는 유사이미지로 그룹화 된다.
반면, 특정 기준이미지의 특징점의 500개이고, 또 다른 기준이미지와 매칭되는 특징점이 300개인 경우, 양 기준이미지 간의 유사도는 0.60이므로, 유사이미지로 그룹화되지 않는다.
이러한 방식으로 기준이미지의 그룹화 과정을 진행된 후, 유사이미지로 그룹화되지 않은 나머지 기준이미지는 분별이미지로 구분된다.
이렇듯 구분 모듈(40)은 유사한 기준이미지를 유사이미지로 그룹화할 때, 모든 기준이미지를 비교하는 대신 트리 내에 계층화된 위치가 서로 대응되는 기준이미지끼리만 유사 여부를 판단함으로써 하여 연산의 부담을 크게 줄일 수 있다.
결정 모듈(50)은 위치 판단 장치(100)의 현재 위치 판단을 해당 위치 판단 장치(100) 내의 선별 모듈(60) 및 판단 모듈(70)에서 수행할 것인지, 또는 다른 위치 판단 장치에서 위치 판단 장치(100)의 현재 위치 판단을 대신 수행하도록 할 것인지 결정하는 역할을 한다.
만일 위치 판단 장치(100)가 다른 위치 판단 장치에서 위치 판단을 수행하도록 결정한 경우라면, 결정 모듈(50)은 통신 모듈(10)을 통해 촬영 모듈(10)이 촬영한 촬영이미지를 결정된 다른 위치 판단 장치로 전송한다.
즉, 본 발명의 위치 판단 장치(100)는 이동체가 이동함에 따라 촬영 모듈(10)을 이용하여 현재 위치에 대응하는 촬영이미지를 촬영하는데, 이러한 촬영이미지는 구분 모듈(40)에 의해 유사이미지 또는 분별이미지로 구분된 기준이미지와의 비교를 통해 위치 판단 장치(100)의 현재 위치를 파악하는데 이용된다.
그런데, 위치 판단 장치(100)가 촬영이미지를 이용하여 현재 위치 파악을 위한 연산을 하기에는 연산 로드가 과도한 경우가 있을 수 있으며, 이에 따라 위치 판단 장치(100)는 다른 위치 판단 장치로 촬영이미지를 전송하여, 대신 위치 판단 장치(100)의 현재 위치를 파악하도록 할 수 있다.
이때, 결정 모듈(50)은 통신 모듈(10)을 이용하여 다른 위치 판단 장치로 연산이 가능한지 문의하거나, 다른 위치 판단 장치로부터 연산 로드 등에 관한 상태 정보를 수신하고, 그 중 위치 판단을 위해 연산을 수행하기에 적합한 위치 판단 장치를 선택하여 촬영이미지를 전송할 수 있다.
이후, 촬영이미지를 수신한 다른 위치 판단 장치는 위치 판단 장치(100)의 현재 위치를 파악을 위한 연산을 수행하며, 위치 판단 장치(100)는 위치 판단을 대신 수행한 다른 위치 판단 장치로부터 위치 판단과 관련한 정보를 수신하여 현재 위치를 파악할 수 있다. 이 경우, 다른 위치 판단 장치는 촬영이미지를 전송하는 위치 판단 장치와 유사한 방법으로 위치 판단 장치(100)의 위치를 판단할 수 있을 것이다.
이때, 다른 위치 판단 장치는 일부 구성이 이동체 상에 위치한 장치일 수 있고, 전체 구성이 이동체 밖에 위치한 장치일 수도 있다.
선별 모듈(60)은 이동체가 이동함에 따라 각 위치에서 촬영 모듈(10)이 촬영한 촬영이미지와, 저장 모듈(30)이 저장한 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별한다.
본 발명의 선별 모듈(60)은 결정 모듈(50)의 결정 결과 위치 판단 장치(100)에서 직접 현재 위치를 판단하기로 결정한 경우, 매칭 기준이미지를 선별하는 과정을 수행한다.
이때, 촬영이미지는 이동체가 실시간으로 이동하며 촬영하는 이미지를 의미하며, 촬영이미지는 곧 이동체의 현재 위치에 대응된다.
선별 모듈(60)이 촬영이미지와 기준이미지를 비교하여 유사도를 판단할 때에는 수학식 1과 같은 방법으로 유사도를 계산할 수 있다.
판단 모듈(70)은 선별 모듈(60)이 선별한 매칭 기준이미지가 구분 모듈(40)이 구분한 유사이미지에 속하는지 또는 분별이미지에 속하는지를 판단하고, 이에 따라 이동체가 매칭 기준이미지에 대응하는 촬영 대상의 위치에 위치할 확률을 계산한 후, 계산 결과에 따라 이동체의 위치를 판단하는 역할을 한다.
이때, 판단 모듈(70)은 매칭 기준이미지가 유사이미지에 속하는지 또는 분별이미지에 속하는지에 따라 가중치를 부여하여 위치에 대한 확률을 계산할 수 있다. 이 경우, 유사이미지의 가중치는 분별이미지의 가중치보다 상대적으로 작게 부여될 수 있다.
예를 들어, 유사이미지의 가중치는
Figure 112012079254969-pat00025
의 수식을 통해 계산될 수 있고, 분별이미지의 가중치는
Figure 112012079254969-pat00026
의 수식을 통해 계산될 수 있다. 이때,
Figure 112012079254969-pat00027
는 가중치 값을 의미하고,
Figure 112012079254969-pat00028
는 매칭 기준이미지가 속하는 유사이미지 그룹의 이미지 개수를 의미한다.
즉, 유사이미지는 서로 다른 장소에서 촬영되었지만 서로 유사한 복수의 이미지를 갖는 이미지 그룹에 속하고, 매칭 기준이미지가 유사이미지에 속하는 경우에는 매칭 기준이미지의 촬영 대상의 위치를 참조하여 이동체의 현재 위치를 판단하기가 어렵다. 반대로 분별이미지는 유사한 이미지가 존재하지 않는 이미지로서, 매칭 기준이미지가 분별이미지에 속하는 경우에는 매칭 기준이미지의 촬영 대상의 위치를 참조하여 이동체의 현재 위치를 비교적 정확하게 판단할 수 있다.
이에 본 실시예에서는 유사이미지에 상대적으로 작은 가중치를 부여하여 위치 판단의 오류를 줄이고, 분별이미지에는 상대적으로 큰 가중치를 부여하여 위치 판단의 정확성을 높인다.
예를 들어 판단 모듈(70)은 다음의 수학식을 이용하여 이동체가 매칭 기준이미지를 촬영한 위치에 존재할 확률을 계산할 수 있다.
Figure 112012079254969-pat00029
l: 특정 위치의 식별자
i: 특정 이미지의 식별자
j: 비교 대상 이미지의 식별자
Figure 112012079254969-pat00030
: 매칭 기준이미지의 촬영 대상에 대응하는 위치의 식별자
Figure 112012079254969-pat00031
: 이동체가 위치l에 위치할 확률
Figure 112012079254969-pat00032
: 이미지i와 이미지j 간의 유사도
만일 x = 0 이면
Figure 112012079254969-pat00033
= 1, 아니면
Figure 112012079254969-pat00034
= 0
수학식 2에서 촬영이미지와 매칭 기준이미지의 유사도가 0이 아니고, 매칭 기준이미지의 촬영 대상 위치가 위치l인 경우,
Figure 112012079254969-pat00035
은 촬영이미지와 매칭 기준이미지의 유사도에 따라 0과 1 사이의 값을 가지게 된다.
반면, 매칭 기준이미지의 촬영 대상이 위치l에 위치하지 않는 경우
Figure 112012079254969-pat00036
의 값은 0이 된다.
결국 위치l에 이동체가 위치할 확률은 유효한 값을 가지는 반면, 다른 위치에 이동체가 위치할 확률은 0이되어, 이동체가 위치l에 위치하는 확률값이 계산되게 된다.
또한 판단 모듈(70)은 아래의 수학식을 이용하여 시간에 따라 연속하여 촬영되는 촬영이미지 각각의 위치 확률을 누적적으로 반영하여 매칭 기준이미지에 대응하는 촬영 대상의 위치에 이동체가 위치할 확률을 계산할 수 있다.
Figure 112012079254969-pat00037
Figure 112012079254969-pat00038
: 시각 t에서 이동체가 각 위치에 위치할 확률의 집합
Figure 112012079254969-pat00039
: 매칭 기준이미지의 가중치
Figure 112012079254969-pat00040
: 시각 t에서의 촬영이미지와 매칭 기준이미지 간의 유사도
Figure 112012079254969-pat00041
: 시각 t-1에서 이동체가 각 위치에 위치할 확률의 집합
Figure 112012079254969-pat00042
: nomalizer 함수
*: 곱셈 연산자
X: 서로 대응하는 위치값에 대한 곱셈 연산자
이동체가 이동하는 건물에서 각 위치를 n개로 구분하고 각 위치를 위치1, 위치2, ..., 위치n으로 구분하였다고 가정하자. 이때, 각 위치에 이동체가 위치할 확률의 집합은 {S1, S2, ..., Sn}과 같이 표현된다.
예를 들어, 선별 모듈(60)이 시각 t-1에서의 촬영이미지와 0.40 이상의 유사도를 가지는 복수의 매칭 기준이미지를 선별하였고, 판단 모듈(70)의 계산 결과 시각 t-1에서 이동체가 각 위치에 위치할 확률의 집합이 St-1={S1=0.46, S2=0.85, ..., Sn=0.51}이라고 하자. 이때, 이동체는 위치2에 위치할 확률이 가장 높다.
이후, 선별 모듈(60)은 시각 t에서 촬영이미지와 일정치 이상의 유사도(상기 예에서 0.40)를 가지는 복수의 매칭 기준이미지를 선별한다. 그리고 판단 모듈(70)은 각 매칭 기준이미지의 가중치, 시각 t에서의 촬영이미지와 매칭 기준이미지 간의 유사도 및 St-1의 계산 결과를 반영하여, 시각 t에서 이동체가 각 위치에 위치할 확률인 St를 계산한다.
이러한 방식으로 촬영 모듈(10)이 각 시각에 촬영한 촬영이미지를 이용하여, 건물내 각 위치에 이동체가 위치할 확률을 누적적으로 계산할 수 있고, 그 결과 이동체가 특정 위치에 위치할 확률을 계산하고 그 계산값을 기반으로 이동체의 위치를 판단함에 있어 오류가 발생할 위험이 현저히 줄어들게 된다.
다만, 연속되는 시간의 흐름에 따라 확률을 반영함으로써 그 값이 점차 작아질 수 있으므로, η()을 이용하여 그 값의 크기를 보정하는 것이 바람직하다.
결과적으로 이동체의 위치 판단 장치(100)에 있어 저장 모듈(30)은 촬영 모듈(10)이 촬영한 전체 이미지를 저장하는 것이 아니라 일정 기준에 맞는 기준이미지를 선별하여 저장함으로써 저장 공간이 절약되고, 이동체의 현재 위치에 대응하는 촬영이미지와 선별하여 저장한 기준이미지를 비교함으로써 연산의 부담이 크게 경감된다.
그리고 구분 모듈(40)은 기준이미지를 유사이미지와 분별이미지로 구분하고, 판단 모듈(70)은 선별 모듈(60)이 선별한 매칭 기준이미지가 유사이미지인지 또는 분별이미지인지에 따라 가중치를 반영하여 이동체의 위치 확률을 계산하므로, 위치 판단의 정확성을 높일 수 있다.
또한, 판단 모듈(70)은 시간의 흐름에 따라 각 위치에 위치할 확률을 누적적으로 반영하여 위치 판단을 할 수 있으므로 위치 판단의 정확성이 획기적으로 개선된다.
본 발명에 따라 이동체의 위치를 판단하는 과정에 대해서는 도 3 및 도 4를 참조하여 상세하게 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따라 이동체의 위치를 판단하는 과정을 나타낸 흐름도이다.
도 3을 참조하면, 이동체의 위치를 판단하는 위치 판단 장치는 이동체의 이동에 따라 주변의 영상을 촬영하고(S101), 촬영한 이미지에서 특징점을 추출한 후(S103), 특징점의 개수를 계산한다(S105).
단계(S103)에서는 예를 들어, 이미지의 특징점을 추적하는 KLT(Kanade-Lucas-Tomasi) 알고리즘을 이용하여 특징점을 추출할 수 있다.
그리고 위치 판단 장치는 일정 개수 범위 이내의 특징점 개수를 가지는 이미지를 기준이미지로 선별한 후 계층화하여 저장한다(S107). 이때, 너무 적은 개수의 특징점을 가지는 이미지를 기준이미지로 선정하는 경우에는 유사한 이미지를 검출하는 것이 어렵고, 상대적으로 너무 많은 개수의 특징점을 가지는 이미지를 기준이미지로 선정하는 경우라면 특징점 비교를 위한 자원의 소모가 많아지므로, 기준이미지의 특징점 개수를 일정 범위로 한정하는 것이다.
단계(S107)에서는 기준이미지를 계층화하여 저장하는데, 예를 들어, 기준이미지를 촬영한 위치에 대응하여 트리 구조로 계층화할 수 있다. 이때, 트리 구조 상의 위치가 대응되는 노드는, 기준이미지의 촬영위치가 서로 대응되며, 서로 유사한 이미지일 확률이 높다.
이후, 위치 판단 장치는 단계(S107)에서 저장한 기준이미지 중 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분한다(S108).
단계(S108)에서, 유사이미지는 실제로 서로 다른 위치에서 촬영되었지만 이미지가 나타내는 형상이 서로 비슷하여 다른 촬영이미지와의 비교를 통해 대응하는 촬영 위치를 분별하기 어려운 이미지를 의미하고, 분별이미지는 고유의 특징 등을 가지고 있어 해당 이미지에 대응하는 촬영 위치를 분별하기에 적합한 이미지를 의미한다.
단계(S108)에서의 위치 판단 장치는 예를 들어, SIFT(Scale Invariant Feature Transform) 알고리즘을 통한 이미지 유사도를 이용하여 유사이미지와 분별이미지를 구분할 수 있다. 그리고 단계(S108)에서의 위치 판단 장치는 예를 들어, 수학식 1을 이용하여 복수의 기준이미지 간의 유사도를 계산할 수 있다.
단계(S108)에서는 단계(S107)에서 저장한 전체 기준이미지를 비교하는 것이 아니라, 계층화된 위치가 대응되어 유사한 이미지일 확률이 높은 기준이미지 만을 비교하고, 유사이미지와 분별이미지의 분별 과정을 진행함으로써 연산 부담을 경감할 수 있다.
본 발명에 따른 단계(S101) 내지 단계(S108) 중 하나 이상의 단계는 다른 위치 판단 장치에서도 수행되어, 다른 위치 판단 장치가 내부에 유사이미지 또는 분별이미지로 구분된 기준이미지를 구비할 수 있다.
이후 위치 판단 장치는 이동체가 이동함에 따라 현재 위치에 대응하는 촬영 대상을 촬영하여 촬영이미지를 생성하고(S109), 촬영이미지를 이용해 다른 위치 판단 장치에서 대신 위치 판단을 수행하도록 할 것인지 또는 위치 판단 장치 자신이 직접 현재 위치를 판단할 것인지 결정한다(S111). 이때, 단계(S109) 및 단계(S111)는 그 순서를 바꾸어 전후로 진행되거나 동시에 진행될 수 있다.
만일 단계(S111)에서 위치 판단 장치가 다른 위치 판단 장치에서 대신 위치를 판단하도록 하기로 결정한 경우, 위치 판단 장치는 연산 로드 등을 참조하여 결정한 다른 위치 판단 장치로 촬영이미지를 전송하고(S113), 이후 해당 다른 위치 판단 장치에서 판단한 위치 판단 결과를 수신한다(S114).
단계(S111)에서는 예를 들어, 촬영이미지를 촬영한 특정 위치 판단 장치가 다른 위치 판단 장치로 자신의 위치에 대한 연산을 해줄 수 있는지 문의하거나, 다른 위치 판단 장치로부터 연산 로드 등에 관한 상태 정보를 수신하여 그 중 위치 판단을 위해 연산을 수행하기에 적합한 위치 판단 장치를 선택하고, 단계(S113)에서는 이렇게 선택된 다른 위치 판단 장치로 촬영이미지를 전송하여 위치 판단이 이루어지도록 할 수 있다.
이러한 방식으로 본 발명에서는 위치 판단 장치 자신이 현재 위치를 판단하는 것에 국한하는 것이 아니라, 연산 오버헤드(overhead) 등을 고려하여 다른 위치 판단 장치에서 대신 위치 판단이 이루어지도록 함으로써, 위치 판단에 따른 연산 부담을 분산할 수 있다.
만일 단계(S111)에서 위치 판단 장치가 직접 자신의 위치를 판단하기로 결정한 경우라면, 위치 판단 장치는 현재 위치에 대응하는 촬영이미지를 기준이미지와 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별한다(S115).
단계(S115)에서의 위치 판단 장치는 수학식 1과 같은 방법으로 촬영이미지와 기준이미지 간의 유사도를 계산할 수 있으며, 복수의 매칭 기준이미지를 선별할 수 있다.
단계(S115)에서 선별한 매칭 기준이미지가 단계(S108)에서 그룹화한 유사이미지인 경우(S117), 위치 판단 장치는 유사이미지의 가중치를 반영하여, 이동체가 매칭 기준이미지를 촬영한 위치에 존재할 위치 확률을 계산한다(S119).
반대로, 단계(S115)에서 선별한 매칭 기준이미지가 단계(S108)에서 구분한 분별이미지인 경우(S117), 위치 판단 장치는 분별이미지의 가중치를 반영하여, 이동체가 매칭 기준이미지를 촬영한 위치에 존재할 위치 확률을 계산한다(S121).
단계(S119)에서 유사이미지의 가중치는 분별이미지의 가중치보다 상대적으로 작게 설정될 수 있다. 본 실시예에서 유사이미지는 서로 유사한 복수 기준이미지의 그룹에 속하며, 각각의 유사이미지는 이미지 자체가 서로 유사하지만 실제로는 별개의 위치에서 촬영된 이미지이다. 따라서 매칭 기준이미지가 유사이미지인 경우에는 상대적으로 작은 가중치를 반영하여, 유사이미지가 촬영된 위치에 이동체가 존재할 확률이 작게 계산되도록 하는 것이다. 이러한 방법으로 위치 판단의 오류를 줄이고 정확하게 이동체의 위치를 계산하는 것이 가능하다.
예를 들어, 유사이미지의 가중치는
Figure 112012079254969-pat00043
의 수식을 통해 계산될 수 있고, 분별이미지의 가중치는
Figure 112012079254969-pat00044
의 수식을 통해 계산될 수 있다. 이때,
Figure 112012079254969-pat00045
는 가중치 값을 의미하고,
Figure 112012079254969-pat00046
는 매칭 기준이미지가 속하는 유사이미지 그룹의 이미지 개수를 의미한다.
단계(S119, S121)에서의 위치 판단 장치는 예를 들어, 수학식 2를 이용하여 이동체가 매칭 기준이미지를 촬영한 위치에 위치할 확률을 계산할 수 있다.
이후, 위치 판단 장치는 단계(S119, S121)에서의 계산 결과를 참조하여, 이동체의 위치를 판단한다(S123).
본 실시예에서 위치 판단 장치의 각 구성은 이동체에 구비될 수도 있고, 일부의 구성이 이동체 외부에 위치할 수도 있다. 이를 위해 이동체 및 위치 판단 장치는 무선 통신을 위한 통신 장비를 구비할 수 있다.
도 4는 본 발명의 다른 일 실시예에 따라 이동체의 위치를 판단하는 과정을 나타낸 흐름도이다.
도 4를 참조하면, 위치 판단 장치는 이동체의 이동에 따라 주변의 영상을 촬영한다(S201).
그리고 위치 판단 장치는 촬영한 이미지에서 특징점을 추출하고 특징점의 개수를 계산하며, 일정 개수 범위 이내의 특징점 개수를 가지는 이미지를 기준이미지로 선정한 후, 기준이미지의 촬영 위치에 따라 계층화하여 저장한다(S203).
단계(S203)에서는 예를 들어 KLT 알고리즘을 이용해 특징점을 추출할 수 있다.
이후, 위치 판단 장치는 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분한다(S204).
단계(S204)에서의 위치 판단 장치는 예를 들어, SIFT(Scale Invariant Feature Transform) 알고리즘을 통한 이미지 유사도를 이용하여 유사이미지와 분별이미지를 구분할 수 있으며, 수학식 1을 이용하여 유사도를 구분할 수 있다.
이후 위치 판단 장치는 이동체가 이동함에 따라 현재 위치에 대응하는 촬영 대상을 촬영하여 촬영이미지를 생성하고(S205), 촬영이미지를 이용해 다른 위치 판단 장치에서 대신 위치 판단을 수행하도록 할 것인지 또는 위치 판단 장치 자신이 직접 현재 위치를 판단할 것인지 결정한다(S207). 이때, 단계(S205) 및 단계(S207)는 그 순서를 바꾸어 전후로 진행되거나 동시에 진행될 수 있다.
만일 단계(S207)에서 위치 판단 장치가 다른 위치 판단 장치에서 대신 위치 판단이 이루어지도록 결정한 경우, 위치 판단 장치는 연산 로드 등을 참조하여 결정한 다른 위치 판단 장치로 촬영이미지를 전송하고(S209), 이후 해당 다른 위치 판단 장치에서 판단한 위치 판단 결과를 수신한다(S210).
단계(S207)에서는 예를 들어, 촬영이미지를 촬영한 특정 위치 판단 장치가 다른 위치 판단 장치로 자신의 위치에 대한 연산을 해줄 수 있는지 문의하거나, 다른 위치 판단 장치로부터 연산 로드 등에 관한 상태 정보를 수신하여 그 중 위치 판단을 위해 연산을 수행하기에 적합한 위치 판단 장치를 선택하고, 단계(S209)에서는 이렇게 선택된 다른 위치 판단 장치로 촬영이미지를 전송하여 위치 판단이 이루어지도록 할 수 있다.
만일 단계(S207)에서 위치 판단 장치가 직접 자신의 위치를 판단하기로 결정한 경우라면, 위치 판단 장치는 현재 위치에 대응하는 촬영이미지를 기준이미지와 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별한다(S211).
단계(S211)에서는 수학식 1을 이용하여 촬영이미지와 기준이미지 간의 유사도를 계산할 수 있다.
단계(S211)에서 선별한 매칭 기준이미지가 단계(S204)에서 그룹화한 유사이미지인 경우(S213), 위치 판단 장치는 이동체의 위치에 대한 확률을 계산함에 있어 유사이미지의 가중치를 반영한다(S215).
반대로, 단계(S211)에서 선별한 매칭 기준이미지가 단계(S204)에서 구분한 분별이미지인 경우(S213), 위치 판단 장치는 이동체의 위치에 대한 확률을 계산함에 있어 분별이미지의 가중치를 반영한다(S217).
이때, 단계(S215)에서 반영하는 유사이미지의 가중치는 단계(S217)에서 반영되는 분별이미지의 가중치 보다 상대적으로 작을 수 있다.
이후, 위치 판단 장치는 단계(S215, S217)에서의 연산 결과 및 이전에 이미 계산한 확률을 반영하여 이동체가 각 위치에 위치할 확률을 계산하고(S219), 계산 결과에 따라 이동체의 위치를 판단한다(S221).
단계(S215) 내지 단계(S219)에서는 수학식 3을 이용하여 이동체의 위치에 대한 확률을 계산할 수 있다.
도 5는 본 발명의 또 다른 일 실시예에 따라 이동체의 위치를 판단하는 과정을 나타낸 흐름도이다.
도 5는 이동체에 위치한 위치 판단 장치에서 현재 위치에 대응하는 촬영이미지를 생성한 후, 위치 판단 장치의 현재 위치를 대신 판단하는 다른 위치 판단 장치에서 수행하는 동작의 흐름을 나타낸다. 본 실시예에서 다른 위치 판단 장치는 특정 이동체에 하나 이상의 구성이 위치한 장치일 수 있다.
이때, 다른 위치 판단 장치는 위치 판단 장치와 유사한 과정을 통해 기준이미지를 선정하고, 유사이미지로 그룹화하거나 분별이미지로 구분하여 저장하고 있는 장치일 수 있다. 또는 다른 위치 판단 장치는 위치 판단 장치로부터 기준이미지를 수신하거나, 동시에 유사이미지 또는 분별이미지로 구분된 정보를 수신하여 저장하고 있는 장치일 수도 있다.
도 5를 참조하면, 위치 판단 장치가 현재 위치에 대응하는 촬영이미지를 전송하면 다른 위치 판단 장치는 해당 촬영이미지를 수신한다(S301).
단계(S301)에서 촬영이미지를 수신하는 다른 위치 판단 장치는 연산 로드 등을 감안하여, 촬영이미지를 촬영한 위치 판단 장치의 위치 판단을 대신 수행하도록 선정된 장치일 수 있다.
단계(S301)에서 특정 위치 판단 장치로부터 촬영이미지를 수신한 다른 위치 판단 장치는, 수신한 촬영이미지와 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별한다(S303).
단계(S303)에서는 수학식 1을 이용하여 촬영이미지와 기준이미지 간의 유사도를 계산할 수 있다.
단계(S303)에서 선별한 매칭 기준이미지가 유사이미지인 경우(S305), 해당 다른 위치 판단 장치는 유사이미지의 가중치를 반영하여, 이동체가 매칭 기준이미지를 촬영한 위치에 존재할 위치 확률을 계산한다(S307).
반대로, 단계(S303)에서 선별한 매칭 기준이미지가 분별이미지인 경우(S305), 다른 위치 판단 장치는 분별이미지의 가중치를 반영하여, 이동체가 매칭 기준이미지를 촬영한 위치에 존재할 위치 확률을 계산한다(S309).
단계(S307)에서 유사이미지의 가중치는 단계(S309)에서 반영되는 분별이미지의 가중치보다 상대적으로 작게 설정될 수 있다.
이후, 다른 위치 판단 장치는 단계(S307, S309)에서의 계산 결과를 참조하여, 촬영이미지를 전송한 위치 판단 장치에 대응하는 이동체의 위치를 판단한다(S311).
그리고 다른 위치 판단 장치는 단계(S311)에서의 위치 판단 결과를 촬영이미지를 전송한 위치 판단 장치로 전송하여 위치를 확인하도록 한다(S313).
한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.
1, 2, 3, 4, 5, 6, 7, 8, 9: 노드
10: 촬영 모듈
20: 통신 모듈
30: 저장 모듈
40: 구분 모듈
50: 결정 모듈
60: 선별 모듈
70: 판단 모듈
100: 위치 판단 장치

Claims (8)

  1. 위치 판단 장치가 촬영한 복수의 기준이미지를 촬영 대상의 위치에 따라 계층화하여 저장하는 저장 단계;
    상기 위치 판단 장치가, 상기 저장 단계에서 저장한 상기 기준이미지 중 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분하는 구분 단계;
    상기 위치 판단 장치가 현재 위치에 대응하는 촬영이미지를 촬영하고, 다른 위치 판단 장치에서 현재 위치를 대신 판단하도록 할 것인지 또는 상기 촬영이미지를 이용하여 직접 위치를 판단할 것인지를 결정하는 결정 단계;
    상기 결정 단계에서 상기 다른 위치 판단 장치에서 현재 위치를 대신 판단하도록 하기로 결정한 경우, 상기 촬영이미지를 상기 다른 위치 판단 장치로 전송하여 위치 판단이 이루어지도록 하는 전송 단계;
    상기 결정 단계에서 직접 위치를 판단하기로 결정한 경우, 상기 촬영이미지와 상기 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별하는 선별 단계; 및
    상기 위치 판단 장치가, 상기 매칭 기준이미지가 상기 유사이미지에 속하는지 또는 상기 분별이미지에 속하는지에 따라 가중치를 반영하여, 상기 매칭 기준이미지에 대응하는 촬영 대상의 위치에 이동체가 위치할 확률을 계산하고, 계산 결과에 따라 상기 이동체의 위치를 판단하는 판단 단계;
    를 포함하고,
    상기 저장 단계는,
    상기 이동체가 촬영한 이미지에서 특징점을 추출하는 단계;
    추출한 특징점의 개수를 계산하는 단계; 및
    상기 계산한 특징점의 개수가 일정 개수 범위 이내인 경우 대응하는 이미지를 상기 기준이미지로 선정하는 단계;
    를 포함하는 것을 특징으로 하는 이동체의 위치 판단 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 구분 단계 또는 상기 선별 단계는,
    Figure 112012079254969-pat00047
    을 이용하여 유사도를 계산하는 것을 특징으로 하는 이동체의 위치 판단 방법.
    i: 특정 이미지의 식별자
    j: 비교 대상 이미지의 식별자
    Figure 112012079254969-pat00048
    : 이미지i와 이미지j 간의 유사도
    Figure 112012079254969-pat00049
    : 이미지i와 이미지j 간에 매칭된 특징점의 개수
    Figure 112012079254969-pat00050
    : 이미지j의 특징점의 개수
  4. 제1항에 있어서,
    상기 판단 단계에서,
    상기 유사이미지의 가중치는 분별이미지의 가중치보다 상대적으로 작게 부여되는 것을 특징으로 하는 이동체의 위치 판단 방법.
  5. 제1항에 있어서,
    상기 판단 단계에서,
    상기 유사이미지의 가중치는
    Figure 112012079254969-pat00051
    에 의해 계산되고, 상기 분별이미지의 가중치는
    Figure 112012079254969-pat00052
    에 의해 계산되는 것을 특징으로 하는 이동체의 위치 판단 방법.
    Figure 112012079254969-pat00053
    : 가중치
    Figure 112012079254969-pat00054
    : 매칭 기준이미지가 속하는 유사이미지 그룹의 이미지 개수
  6. 제3항에 있어서,
    상기 판단 단계는
    Figure 112012079254969-pat00055
    을 이용하여 위치에 대한 확률을 계산하는 것을 특징으로 하는 이동체의 위치 판단 방법.
    l: 특정 위치의 식별자
    i: 특정 이미지의 식별자
    j: 비교 대상 이미지의 식별자
    Figure 112012079254969-pat00056
    : 매칭 기준이미지의 촬영 대상에 대응하는 위치의 식별자
    Figure 112012079254969-pat00057
    : 이동체가 위치l에 위치할 확률
    Figure 112012079254969-pat00058
    : 이미지i와 이미지j 간의 유사도
    만일 x = 0 이면
    Figure 112012079254969-pat00059
    = 1, 아니면
    Figure 112012079254969-pat00060
    = 0
  7. 제1항에 있어서,
    상기 판단 단계는 시각 t에서의 확률을
    Figure 112012079254969-pat00061
    을 이용하여 계산하는 것을 특징으로 하는 이동체의 위치 판단 방법.
    Figure 112012079254969-pat00062
    : 시각 t에서 이동체가 각 위치에 위치할 확률의 집합
    Figure 112012079254969-pat00063
    : 매칭 기준이미지의 가중치
    Figure 112012079254969-pat00064
    : 시각 t에서의 촬영이미지와 매칭 기준이미지 간의 유사도
    Figure 112012079254969-pat00065
    : 시각 t-1에서 이동체가 각 위치에 위치할 확률의 집합
    Figure 112012079254969-pat00066
    : nomalizer 함수
    *: 곱셈 연산자
    X: 서로 대응하는 위치값에 대한 곱셈 연산자
  8. 피사체를 촬영하는 촬영 모듈;
    데이터 송수신을 위한 통신 모듈;
    상기 촬영 모듈에서 촬영한 복수의 기준이미지를 촬영 대상의 위치에 따라 계층화하여 저장하는 저장 모듈;
    상기 저장 모듈이 저장한 상기 기준이미지 중 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분하는 구분 모듈;
    상기 촬영 모듈이 촬영한 현재 위치에 대응하는 촬영이미지에 따라 다른 위치 판단 장치에서 현재 위치를 대신 판단하도록 할 것인지 또는 상기 촬영이미지를 이용하여 직접 위치를 판단할 것인지를 결정하고, 상기 다른 위치 판단 장치에서 현재 위치를 대신 판단하도록 하기로 결정한 경우 상기 통신 모듈을 통해 상기 촬영이미지를 상기 다른 위치 판단 장치로 전송하여 위치 판단이 이루어지도록 하는 결정 모듈;
    상기 결정 모듈이 직접 위치를 판단하기로 결정한 경우, 상기 촬영이미지와 상기 기준이미지를 비교하고 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별하는 선별 모듈; 및
    상기 매칭 기준이미지가 상기 유사이미지에 속하는지 또는 상기 분별이미지에 속하는지에 따라 가중치를 반영하여, 상기 매칭 기준이미지에 대응하는 촬영 대상의 위치에 이동체가 위치할 확률을 계산하고, 계산 결과에 따라 상기 이동체의 위치를 판단하는 판단모듈;
    을 포함하고,
    상기 저장 모듈은,
    상기 이동체가 촬영한 이미지에서 특징점을 추출하고, 추출한 특징점의 개수를 계산하며, 상기 계산한 특징점의 개수가 일정 개수 범위 이내인 경우 대응하는 이미지를 상기 기준이미지로 선정하는 것을 특징으로 하는 이동체의 위치 판단 장치.
KR1020120108472A 2012-09-28 2012-09-28 이동체의 위치 판단 장치 및 위치 판단 방법 KR101379211B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120108472A KR101379211B1 (ko) 2012-09-28 2012-09-28 이동체의 위치 판단 장치 및 위치 판단 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120108472A KR101379211B1 (ko) 2012-09-28 2012-09-28 이동체의 위치 판단 장치 및 위치 판단 방법

Publications (1)

Publication Number Publication Date
KR101379211B1 true KR101379211B1 (ko) 2014-04-10

Family

ID=50656068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120108472A KR101379211B1 (ko) 2012-09-28 2012-09-28 이동체의 위치 판단 장치 및 위치 판단 방법

Country Status (1)

Country Link
KR (1) KR101379211B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873549A (zh) * 2015-11-18 2017-06-20 欧姆龙株式会社 模拟装置以及模拟方法
WO2017213373A1 (ko) * 2016-06-08 2017-12-14 삼성전자 주식회사 전자 장치, 외부 서버 및 그 제어 방법
CN110367871A (zh) * 2018-04-13 2019-10-25 东芝生活电器株式会社 自主型电动吸尘器
KR20190135168A (ko) * 2018-05-28 2019-12-06 세메스 주식회사 이송 장치와 이송 장치의 위치 인식 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008254167A (ja) * 2007-03-30 2008-10-23 Sungkyunkwan Univ Foundation For Corporate Collaboration 認識／推論の水準に応じた階層的構造の室内情報を有する移動サービスロボットの中央情報処理システム及び方法
KR101100827B1 (ko) * 2009-11-30 2012-01-02 한국생산기술연구원 도로주행 로봇의 자기 위치 인식방법
KR20120033414A (ko) * 2010-09-30 2012-04-09 전자부품연구원 자기 위치 인식을 수행하는 로봇 및 그의 운용 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008254167A (ja) * 2007-03-30 2008-10-23 Sungkyunkwan Univ Foundation For Corporate Collaboration 認識／推論の水準に応じた階層的構造の室内情報を有する移動サービスロボットの中央情報処理システム及び方法
KR101100827B1 (ko) * 2009-11-30 2012-01-02 한국생산기술연구원 도로주행 로봇의 자기 위치 인식방법
KR20120033414A (ko) * 2010-09-30 2012-04-09 전자부품연구원 자기 위치 인식을 수행하는 로봇 및 그의 운용 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873549A (zh) * 2015-11-18 2017-06-20 欧姆龙株式会社 模拟装置以及模拟方法
CN106873549B (zh) * 2015-11-18 2019-07-16 欧姆龙株式会社 模拟装置以及模拟方法
US10410339B2 (en) 2015-11-18 2019-09-10 Omron Corporation Simulator, simulation method, and simulation program
WO2017213373A1 (ko) * 2016-06-08 2017-12-14 삼성전자 주식회사 전자 장치, 외부 서버 및 그 제어 방법
KR20170138723A (ko) * 2016-06-08 2017-12-18 삼성전자주식회사 전자 장치, 외부 서버 및 그 제어 방법
US10948925B2 (en) 2016-06-08 2021-03-16 Samsung Electronics Co., Ltd. Electronic device, external server, and method for controlling same
KR102372669B1 (ko) * 2016-06-08 2022-03-10 삼성전자주식회사 전자 장치, 외부 서버 및 그 제어 방법
CN110367871A (zh) * 2018-04-13 2019-10-25 东芝生活电器株式会社 自主型电动吸尘器
KR20190135168A (ko) * 2018-05-28 2019-12-06 세메스 주식회사 이송 장치와 이송 장치의 위치 인식 방법
KR102203374B1 (ko) * 2018-05-28 2021-01-18 세메스 주식회사 이송 장치와 이송 장치의 위치 인식 방법

Similar Documents

Publication Publication Date Title
JP5617100B2 (ja) センサ統合システム及びセンサ統合方法
KR101438377B1 (ko) 이동체의 위치 판단 장치 및 위치 판단 방법
US9165190B2 (en) 3D human pose and shape modeling
US7567704B2 (en) Method and apparatus for identifying physical features in video
LU102028B1 (en) Multiple view multiple target tracking method and system based on distributed camera network
US8705795B2 (en) Information processing apparatus, information processing method, and program
CN103959307B (zh) 从灰度图像中检测和描述特征的方法
CN110781836A (zh) 人体识别方法、装置、计算机设备及存储介质
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
KR101379211B1 (ko) 이동체의 위치 판단 장치 및 위치 판단 방법
US9767365B2 (en) Monitoring system and method for queue
Kyrkou et al. Optimized vision-directed deployment of UAVs for rapid traffic monitoring
RU2018132850A (ru) Способы и системы для определения компьютером наличия объектов
CN110879961A (zh) 利用车道模型的车道检测方法和装置
Domozi et al. Real time object detection for aerial search and rescue missions for missing persons
CN113239864A (zh) 一种适用于农业调查的无人机的路线规划方法
CN114556445A (zh) 物体识别方法、装置、可移动平台以及存储介质
CN111739099A (zh) 预防跌落方法、装置及电子设备
CN115424233A (zh) 基于信息融合的目标检测方法以及目标检测装置
CN115808170B (zh) 一种融合蓝牙与视频分析的室内实时定位方法
WO2022045877A1 (en) A system and method for identifying occupancy of parking lots
Kudo et al. Utilizing WiFi signals for improving SLAM and person localization
CN112631333A (zh) 无人机的目标跟踪方法、装置及图像处理芯片
JPH11250252A (ja) ３次元物体認識装置および方法
Wietrzykowski et al. Adopting the FAB-MAP algorithm for indoor localization with WiFi fingerprints

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171207

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190304

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200115

Year of fee payment: 7