KR101438377B1 - Apparatus and method for detecting position of moving unit - Google Patents

Apparatus and method for detecting position of moving unit Download PDF

Info

Publication number
KR101438377B1
KR101438377B1 KR1020120092705A KR20120092705A KR101438377B1 KR 101438377 B1 KR101438377 B1 KR 101438377B1 KR 1020120092705 A KR1020120092705 A KR 1020120092705A KR 20120092705 A KR20120092705 A KR 20120092705A KR 101438377 B1 KR101438377 B1 KR 101438377B1
Authority
KR
South Korea
Prior art keywords
image
moving object
images
similar
weight
Prior art date
Application number
KR1020120092705A
Other languages
Korean (ko)
Other versions
KR20120112293A (en
Inventor
박창우
김승훈
박수상
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020120092705A priority Critical patent/KR101438377B1/en
Publication of KR20120112293A publication Critical patent/KR20120112293A/en
Application granted granted Critical
Publication of KR101438377B1 publication Critical patent/KR101438377B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에 따른 이동체의 위치 판단 장치 및 위치 판단 방법은, 이동체가 촬영한 복수의 기준이미지를 촬영 대상의 위치에 따라 계층화하여 저장하고, 기준이미지 중 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분하며, 현재의 촬영이미지와 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별하고, 매칭 기준이미지가 유사이미지에 속하는지 또는 분별이미지에 속하는지에 따라 가중치를 반영하여, 매칭 기준이미지에 대응하는 촬영 대상의 위치에 이동체가 위치할 확률을 계산하고, 계산 결과에 따라 이동체의 위치를 판단하는 과정을 포함하며, 이를 통해, 이동체의 현재 위치를 파악할 수 있다.The apparatus and method for determining a position of a moving object according to the present invention are a method for determining a position and a position of a moving object by layering and storing a plurality of reference images taken by a moving object according to positions of an object to be imaged, A reference image having a degree of similarity equal to or greater than a predetermined value is grouped into a similar image, the remaining images are classified into a classified image, a matching reference image having a degree of similarity equal to or greater than a predetermined value is selected by comparing a current captured image with a reference image, The probability that the moving object is positioned at the position of the photographing object corresponding to the matching reference image is reflected by reflecting the weight according to whether the matching reference image belongs to the similar image or the discrimination image and the position of the moving object is determined , Which allows the user to grasp the current location of the moving object have.

Description

이동체의 위치 판단 장치 및 위치 판단 방법 {Apparatus and method for detecting position of moving unit}[0001] APPARATUS AND METHOD FOR DETECTING POSITION OF MOBILE VEHICLE [0002]

본 발명은 위치 판단 기술에 관한 것으로, 더욱 상세하게는 이동하는 물체의 현재 위치를 판단할 수 있는 이동체의 위치 판단 장치 및 위치 판단 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a position determining technique, and more particularly, to a position determining device and a position determining method of a moving object capable of determining a current position of a moving object.

이동하는 물체의 위치를 판단하는 방법으로는 거리를 알고 있는 두 고정점으로부터 방향을 측정하여 다른 지점의 거리를 측정하는 삼각 측량법, GPS(Global Positioning System)을 이용한 위치 측정 방법, 무선 통신 기지국에 등록된 무선 통신 장치를 이용하여 대략적인 위치를 파악하는 방법 등이 존재하여 왔다.As a method for determining the position of a moving object, there are a triangulation method in which a direction is measured from two fixed points having a known distance and a distance is measured at another point, a position measurement method using a GPS (Global Positioning System) And a method of locating an approximate position using the wireless communication device.

그런데 이러한 종래의 위치 판단 방법은 그 정확도가 낮고, 전파 환경이 양호하지 않은 환경에서 위치를 파악하기 어려운 난점이 존재한다.However, such a conventional position determining method has a low accuracy, and it is difficult to grasp the position in an environment where the propagation environment is not good.

특히 근래에는 실내에서 이동하며 청소, 유지보수, 탐사 및 정찰 등을 수행하거나 각종 서비스를 제공하는 실내이동로봇(indoor robot)의 개발이 가속화되고 있으며, 실내에서 이동하는 로봇의 현재 위치를 정확히 파악하려는 다양한 시도들이 행해지고 있다.Especially, in recent years, development of an indoor robot moving in the room and performing cleaning, maintenance, exploration and reconnaissance and providing various services has been accelerated. In order to accurately grasp the current position of the robot moving in the room Various attempts have been made.

이러한 노력의 결과 중 하나는 동시적 위치추정 및 지도작성(Simultaneous Localization And Mapping: SLAM) 기술의 개발이다. SLAM 기술을 이용하면 임의 공간에서 이동하면서 주변을 탐색할 수 있는 로봇이, 주변 환경과 자신이 가지고 있는 지도를 매칭하여 현재위치를 추정할 수 있으며, 전혀 모르는 환경에서도 지도를 생성해 나가면서 자신의 위치를 지도에 매칭하는 방식으로 현재 위치를 파악하는 것이 가능하다.One of the results of this effort is the development of Simultaneous Localization And Mapping (SLAM) technology. Using SLAM technology, a robot that can navigate around in arbitrary space can estimate its current location by matching the surrounding environment with its own map. In addition, It is possible to determine the current location by matching the location to the map.

그런데 SLAM 기술은 지도 작성을 위한 데이터가 방대하여 이동 로봇 자체에서 처리하는 연산량이 과도하고, 연산을 외부에서 수행하려는 경우 통신 환경에 영향을 받을 뿐만 아니라, 방대한 데이터 전송에 따른 부담이 발생하는 문제가 있다.However, the SLAM technology has a problem that the amount of processing to be performed by the mobile robot itself is excessive due to the large amount of data for map creation, and when the operation is performed from the outside, the SLAM technology is affected by the communication environment and burdens due to massive data transmission .

이에, 위치 측정을 위한 부담을 줄이면서도 이동체의 현재 위치를 오류없이 정확히 파악할 수 있는 기술이 요구된다.Therefore, there is a need for a technique capable of accurately grasping the current position of the mobile body without error, while reducing the burden for the position measurement.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 이동체의 위치 판단에 따른 연산 부담을 줄이면서도, 이동체의 위치 판단에 있어 그 정확도를 개선할 수 있는 이동체의 위치 판단 장치 및 위치 판단 방법을 제공하기 위한 것이다.SUMMARY OF THE INVENTION It is an object of the present invention to solve the above problems and provide a position determination apparatus and a position determination method of a moving object capable of improving the accuracy of position determination of a moving object while reducing computation burden according to position determination of the moving object .

상기와 같은 목적을 달성하기 위한 본 발명의 이동체의 위치 판단 방법은, 위치 판단 장치가 촬영한 복수의 기준이미지를 촬영 대상의 위치에 따라 계층화하여 저장하는 저장 단계, 상기 위치 판단 장치가, 상기 저장 단계에서 저장한 상기 기준이미지 중 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분하는 구분 단계, 상기 위치 판단 장치가 촬영하는 촬영이미지와 상기 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별하는 선별 단계, 및 상기 위치 판단 장치가, 상기 매칭 기준이미지가 상기 유사이미지에 속하는지 또는 상기 분별이미지에 속하는지에 따라 가중치를 반영하여, 상기 매칭 기준이미지에 대응하는 촬영 대상의 위치에 이동체가 위치할 확률을 계산하고, 계산 결과에 따라 상기 이동체의 위치를 판단하는 판단 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided a method for determining a position of a moving object, the method comprising: a storage step of storing a plurality of reference images taken by a position determination apparatus in a layered manner according to a position of a shooting object; Comparing the plurality of reference images corresponding to the layered positions of the reference images stored in step to group reference images having a similarity value equal to or greater than a predetermined value to group them into similar images and sorting the remaining images into classified images; A matching step of selecting a matching reference image having a similarity degree that is equal to or greater than a predetermined value by comparing the photographed image captured by the position determining device with the reference image, and the position determining device determines whether the matching reference image belongs to the similar image, Reflects the weight according to whether it belongs to the fraction image, Calculating a probability that the moving object is located at a position of the object to be photographed corresponding to the reference image, and determining the position of the moving object according to the calculation result.

본 발명에 따른 이동체의 위치 판단 방법에 있어서, 상기 저장 단계는, 상기 이동체가 촬영한 이미지에서 특징점을 추출하는 단계, 추출한 특징점의 개수를 계산하는 단계, 및 상기 계산한 특징점의 개수가 일정 개수 범위 이내인 경우 대응하는 이미지를 상기 기준이미지로 선정하는 단계를 포함하는 것을 특징으로 한다.In the method of determining a position of a moving object according to the present invention, the storing step may include extracting a minutiae from the image photographed by the moving object, calculating the number of extracted minutiae, And selecting a corresponding image as the reference image if the number of the reference images is within a predetermined range.

본 발명에 따른 이동체의 위치 판단 방법에 있어서, 상기 구분 단계 또는 상기 선별 단계는,

Figure 112012068027651-pat00001
을 이용하여 유사도를 계산하는 것을 특징으로 한다. 이때, i는 특정 이미지의 식별자이고, j는 비교 대상 이미지의 식별자이고,
Figure 112012068027651-pat00002
는 이미지i와 이미지j 간의 유사도이고,
Figure 112012068027651-pat00003
는 이미지i와 이미지j 간에 매칭된 특징점의 개수이고,
Figure 112012068027651-pat00004
: 이미지j의 특징점의 개수이다.In the method of determining a position of a moving object according to the present invention,
Figure 112012068027651-pat00001
The degree of similarity is calculated. Here, i is an identifier of a specific image, j is an identifier of an image to be compared,
Figure 112012068027651-pat00002
Is the similarity between image i and image j,
Figure 112012068027651-pat00003
Is the number of feature points matched between the image i and the image j,
Figure 112012068027651-pat00004
: Number of feature points of image j.

본 발명에 따른 이동체의 위치 판단 방법에 있어서, 상기 판단 단계에서, 상기 유사이미지의 가중치는 분별이미지의 가중치보다 상대적으로 작게 부여되는 것을 특징으로 한다.In the method of determining the position of a moving object according to the present invention, in the determining step, the weight of the similar image is given to be relatively smaller than the weight of the discriminating image.

본 발명에 따른 이동체의 위치 판단 방법에 있어서, 상기 판단 단계에서, 상기 유사이미지의 가중치는

Figure 112012068027651-pat00005
에 의해 계산되고, 상기 분별이미지의 가중치는
Figure 112012068027651-pat00006
에 의해 계산되는 것을 특징으로 한다. 이때,
Figure 112012068027651-pat00007
는 가중치이고,
Figure 112012068027651-pat00008
는 매칭 기준이미지가 속하는 유사이미지 그룹의 이미지 개수이다.In the method for determining the position of the moving object according to the present invention, in the determining step, the weight of the similar image is
Figure 112012068027651-pat00005
, And the weight of the fractional image is calculated by
Figure 112012068027651-pat00006
Is calculated by the following equation. At this time,
Figure 112012068027651-pat00007
Is a weight,
Figure 112012068027651-pat00008
Is the number of images in the similar image group to which the matching reference image belongs.

본 발명에 따른 이동체의 위치 판단 방법에 있어서, 상기 판단 단계는

Figure 112012068027651-pat00009
을 이용하여 위치에 대한 확률을 계산하는 것을 특징으로 한다. 이때, l은 특정 위치의 식별자이고, i는 특정 이미지의 식별자이고, j는 비교 대상 이미지의 식별자이고,
Figure 112012068027651-pat00010
는 매칭 기준이미지의 촬영 대상에 대응하는 위치의 식별자이고,
Figure 112012068027651-pat00011
는 이동체가 위치l에 위치할 확률이고,
Figure 112012068027651-pat00012
는 이미지i와 이미지j 간의 유사도이고, 만일 x = 0 이면
Figure 112012068027651-pat00013
= 1, 아니면
Figure 112012068027651-pat00014
= 0이다.In the method of determining a position of a moving object according to the present invention,
Figure 112012068027651-pat00009
And calculates a probability with respect to the position. Here, l is an identifier of a specific location, i is an identifier of a specific image, j is an identifier of the image to be compared,
Figure 112012068027651-pat00010
Is an identifier of a position corresponding to an image-capturing object of the matching reference image,
Figure 112012068027651-pat00011
Is the probability that the mobile is located at position l,
Figure 112012068027651-pat00012
Is the similarity between image i and image j, and if x = 0
Figure 112012068027651-pat00013
= 1, or
Figure 112012068027651-pat00014
= 0.

본 발명에 따른 이동체의 위치 판단 방법에 있어서, 상기 판단 단계는 시각 t에서의 확률을

Figure 112012068027651-pat00015
을 이용하여 계산하는 것을 특징으로 한다. 이때,
Figure 112012068027651-pat00016
는 시각 t에서 이동체가 각 위치에 위치할 확률의 집합이고,
Figure 112012068027651-pat00017
는 매칭 기준이미지의 가중치이고,
Figure 112012068027651-pat00018
는 시각 t에서의 촬영이미지와 매칭 기준이미지 간의 유사도이고,
Figure 112012068027651-pat00019
는 시각 t-1에서 이동체가 각 위치에 위치할 확률의 집합이고,
Figure 112012068027651-pat00020
는 nomalizer 함수이고, *는 곱셈 연산자이고, X는 서로 대응하는 위치값에 대한 곱셈 연산자이다.In the method for determining the position of the moving object according to the present invention,
Figure 112012068027651-pat00015
And the calculation is performed using the following equation. At this time,
Figure 112012068027651-pat00016
Is a set of probabilities that the moving object is located at each position at time t,
Figure 112012068027651-pat00017
Is the weight of the matching reference image,
Figure 112012068027651-pat00018
Is the similarity between the photographed image at time t and the matching reference image,
Figure 112012068027651-pat00019
Is a set of probabilities that the moving object will be located at each position at time t-1,
Figure 112012068027651-pat00020
Is a nomalizer function, * is a multiplication operator, and X is a multiplication operator for position values corresponding to each other.

상기와 같은 목적을 달성하기 위한 본 발명의 이동체의 위치 판단 장치는, 피사체를 촬영하는 촬영 모듈, 상기 촬영 모듈에서 촬영한 복수의 기준이미지를 촬영 대상의 위치에 따라 계층화하여 저장하는 저장 모듈, 상기 저장 모듈이 저장한 상기 기준이미지 중 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분하는 구분 모듈, 상기 촬영 모듈에서 촬영하는 촬영이미지를 수신하여 상기 기준이미지를 비교하고 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별하는 선별 모듈, 및 상기 매칭 기준이미지가 상기 유사이미지에 속하는지 또는 상기 분별이미지에 속하는지에 따라 가중치를 반영하여, 상기 매칭 기준이미지에 대응하는 촬영 대상의 위치에 위치할 확률을 계산하고, 계산 결과에 따라 상기 이동체의 위치를 판단하는 판단모듈을 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for determining the position of a moving object, comprising: a photographing module for photographing a subject; a storage module for layering and storing a plurality of reference images photographed by the photographing module, A classification module for grouping the reference images having similarities of a predetermined value or more and grouping them into similar images by comparing the plurality of reference images corresponding to the layered positions of the reference images stored in the storage module, A selection module for receiving a photographed image photographed by the photographed module and comparing the reference image and selecting a matching reference image having a similarity value equal to or greater than a predetermined value, and a selection module for selecting the matching reference image belonging to the similar image, The weighting value is reflected on the basis of the matching criterion, Recording and calculating the probability that the position of the target position, according to the calculation result corresponding to a characterized in that it comprises a determining module for determining the position of the moving object.

본 발명에 따른 이동체의 위치 판단 장치 및 위치 판단 방법에 따르면 다음과 같은 효과를 기대할 수 있다.According to the apparatus and method for determining a position of a moving object according to the present invention, the following effects can be expected.

첫째, 기 저장된 이미지와 이동체가 현재 위치에서 촬영하는 이미지를 비교하여, 이동체의 현재 위치를 파악할 수 있다.First, the current position of the moving object can be grasped by comparing the previously stored image with the image taken by the moving object at the current position.

둘째, 이동체의 현재 위치를 판단함에 있어, 위치 판단의 오류를 현저히 줄일 수 있다.Second, in determining the current position of the moving object, it is possible to significantly reduce errors in position determination.

셋째, 위치 판단을 위해 촬영이미지와의 비교되는 이미지가 일정 기준에 따라 선정되므로, 이미지 저장을 위한 저장 용량이 감소하고, 이미지 비교의 연산 부담의 현저히 감소된다.Thirdly, since the image to be compared with the photographed image is selected according to a certain criterion for position determination, the storage capacity for image storage decreases and the computational burden of image comparison is significantly reduced.

도 1은 본 발명의 일 실시예에 따른 이동체의 위치 판단 장치(100)의 구성도이다.
도 2는 본 발명의 일 실시예에 따라 기준이미지를 계층화하여 저장한 모습을 나타낸 예시도이다.
도 3은 본 발명의 일 실시예에 따라 이동체의 위치를 판단하는 과정을 나타낸 흐름도이다.
도 4는 본 발명의 다른 일 실시예에 따라 이동체의 위치를 판단하는 과정을 나타낸 흐름도이다.1 is a configuration diagram of an apparatus 100 for determining a position of a moving object according to an embodiment of the present invention.
FIG. 2 is an exemplary view illustrating a reference image layered and stored according to an embodiment of the present invention. Referring to FIG.
FIG. 3 is a flowchart illustrating a process of determining a position of a moving object according to an exemplary embodiment of the present invention.
FIG. 4 is a flowchart illustrating a process for determining a position of a moving object according to another embodiment of the present invention.

하기의 설명에서는 본 발명의 실시예를 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.In the following description, only parts necessary for understanding the embodiments of the present invention will be described, and the description of other parts will be omitted so as not to obscure the gist of the present invention.

이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.The terms and words used in the present specification and claims should not be construed as limited to ordinary or dictionary meanings and the inventor is not limited to the meaning of the terms in order to describe his invention in the best way. It should be interpreted as meaning and concept consistent with the technical idea of the present invention. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely preferred embodiments of the present invention, and are not intended to represent all of the technical ideas of the present invention, so that various equivalents And variations are possible.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 보다 상세하게 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 이동체의 위치 판단 장치(100)의 구성도이고, 도 2는 본 발명의 일 실시예에 따라 기준이미지를 계층화하여 저장한 모습을 나타낸 예시도이다.FIG. 1 is a configuration diagram of an apparatus 100 for determining a position of a moving object according to an exemplary embodiment of the present invention. FIG. 2 is an exemplary view illustrating a reference image layered and stored according to an exemplary embodiment of the present invention.

위치 판단 장치(100)는 이동체에 위치하여 이동체의 현재 위치를 판단하는 기능을 하는 장치이다. 다만, 위치 판단 장치(100)의 일부 구성은 이동체 외부의 관리 장치 등에 위치할 수 있으며, 이 경우 각 구성 간의 데이터 송수신은 무선 통신 모듈 등을 이용하여 이루어질 수 있다.The position determining apparatus 100 is a device that is located in a moving object and determines the current position of the moving object. However, a part of the configuration of the position determination apparatus 100 may be located in a management apparatus or the like external to the moving object. In this case, data transmission / reception between the respective configurations may be performed using a wireless communication module or the like.

도 1 및 도 2를 참조하면, 본 실시예의 위치 판단 장치(100)는 촬영 모듈(10), 저장 모듈(20), 구분 모듈(30), 선별 모듈(40) 및 판단 모듈(50)을 포함한다.1 and 2, the position determination apparatus 100 of the present embodiment includes a photographing module 10, a storage module 20, a classification module 30, a selection module 40, and a determination module 50 do.

촬영 모듈(10)은 이동체에 위치하여 피사체를 촬영하는 역할을 한다. 이때, 촬영 모듈(10)은 이동체가 이동함에 따라 이동체의 현재 위치에 대응하는 대상을 촬영하게 된다.The photographing module 10 is located in a moving body and photographs a subject. At this time, the photographing module 10 photographs an object corresponding to the current position of the moving object as the moving object moves.

촬영 모듈(10)은 단일 이미지를 촬영할 수도 있고, 연속된 복수의 이미지들로 이루어진 영상을 촬영할 수도 있으며, 이러한 촬영 동작을 위한 카메라 장치를 포함할 수 있다.The photographing module 10 may photograph a single image or an image composed of a plurality of consecutive images, and may include a camera device for such photographing operation.

저장 모듈(20)은 촬영 모듈(10)에서 촬영한 이미지를 저장하는 역할을 하며 이를 위한 저장 장치를 포함할 수 있다.The storage module 20 stores an image taken by the imaging module 10 and may include a storage device for storing the image.

저장 모듈(20)은 촬영 모듈(10)이 촬영한 이미지 중에서 이미지 비교를 위한 대상이 되는 이미지를 기준이미지로 선정하여 저장한다. 이때, 저장 모듈(20)은 각 기준이미지가 촬영된 위치를 나타내는 정보를 함께 저장한다.The storage module 20 selects an image to be subjected to image comparison among the images taken by the imaging module 10 as a reference image and stores the selected reference image. At this time, the storage module 20 stores together information indicating the position where each reference image is photographed.

저장 모듈(20)은 예를 들어, 이동체에 위치한 촬영 모듈(10)이 촬영한 이미지에서 특징점을 추출하고, 추출한 특징점의 개수를 계산한 후, 일정 개수 범위 이내의 특징점 개수를 가지는 이미지를 기준이미지로 선정하여 저장한다. 저장 모듈(20)이 너무 적은 개수의 특징점을 가지는 이미지를 기준이미지로 선정하는 경우에는 유사한 이미지를 검출하는 것이 어렵고, 상대적으로 너무 많은 개수의 특징점을 가지는 이미지를 기준이미지로 선정하는 경우라면 특징점 비교를 위한 자원의 소모가 많아지기 때문이다. 이 경우, 저장 모듈(20)은, 예를 들어, 이미지의 특징점을 추적하는 KLT(Kanade-Lucas-Tomasi) 알고리즘을 이용하여 특징점을 추출할 수 있다.The storage module 20 extracts feature points from an image captured by the imaging module 10 located on a moving object, calculates the number of extracted feature points, and then stores an image having a number of feature points within a predetermined number of ranges as a reference image And stores it. In the case where the storage module 20 selects an image having too few number of feature points as a reference image, it is difficult to detect a similar image. If an image having a relatively large number of feature points is selected as a reference image, This is because resources are consumed for a large amount of resources. In this case, the storage module 20 may extract feature points using, for example, a Kanade-Lucas-Tomasi (KLT) algorithm that tracks feature points of an image.

이때, 본 실시예의 저장 모듈(20)은 선정한 복수의 기준이미지를 촬영 대상의 위치에 따라 계층화하여 저장한다. 도 2는 저장 모듈(20)이 기준이미지를 계층화하여 저장한 모습을 나타내는데, 도 2에서 기준이미지는 트리구조(tree structure)로 계층화되어 있다.At this time, the storage module 20 of the present embodiment stores the selected plurality of reference images in a layered manner according to the position of the shooting object. FIG. 2 shows a storage module 20 layering and storing a reference image. In FIG. 2, the reference image is layered into a tree structure.

도 2에서 최상위의 루트 노드(root node)(1)는 이동체가 그 내부로 이동하는 건물을 나타내고, 루트 노드를 부모 노드(parent node)로 하여 차례로, 건물내 이동체가 위치하는 층, 각 층내 사무실 등의 호수, 각 사무실에 가지는 창문 및 출입문, 각 창문의 세부 구성에 대한 자식 노드(child node)가 존재한다.In FIG. 2, the topmost root node 1 indicates a building in which a moving object moves, and a root node is a parent node. In turn, a floor where a moving object in a building is located, There is a child node for the detailed configuration of each lane, a window and an entrance door of each office, and each window.

보통 다층 건물은 일정한 계획에 따라 건축되기 때문에, 각 층에서 동일한 위치의 방이나 각 방에서 대응하는 위치의 창문 등, 건물 내에서 서로 대응되는 위치에 복수로 존재하는 부분은 그 실제 모습이 매우 유사하다. 그리고 이러한 건물 내에서 서로 위치가 대응되는 대상의 기준이미지는 트리 구조 내에서 대응되는 위치에 존재하게 된다.Generally, multi-story buildings are constructed according to a certain plan, so that a plurality of existing portions in a building corresponding to each other in a building, such as a room at the same position in each floor or a window at a corresponding position in each room, Do. And the reference image of the objects whose positions correspond to each other in the building is present at the corresponding position in the tree structure.

즉, 1층을 나타내는 노드(2)의 트리 내 위치에 대응하여 2층을 나타내는 노드(3)가 위치하고, 101호를 나타내는 노드(4)의 트리 내 위치에 대응하여 201호를 나타내는 노드(5)가 위치하며, 101호의 창문을 나타내는 노드(6)의 트리 내 위치에 대응하여 201호의 창문을 나타내는 노드(7)가 위치하고, 101호의 창문 중 동쪽창을 나타내는 노드(8)의 트리 내 위치에 대응하여 201호의 창문 중 동쪽창을 나타내는 노드(9)가 위치한다.That is, the node 3 representing the two layers corresponding to the position in the tree of the node 2 representing the first layer is located, and the node 5 representing the node 201 corresponding to the position in the tree of the node 4 representing the node 101 A node 7 indicating a window 201 is located corresponding to a position in the tree of the node 6 representing the window 101 and a node 7 located in the tree of the node 8 representing the east window Correspondingly, the node 9 representing the east window of the window 201 is located.

본 실시예에서 저장 모듈(20)은 촬영 모듈(10)이 촬영한 이미지 중 특정 기준에 따라 선정된 이미지를 기준이미지로 정하고 촬영 대상의 위치에 따라 계층화하여 저장하는데, 이 경우 전체 이미지를 저장하는 경우보다 전체 연산을 위한 로드가 경감하고 이미지 저장을 위한 저장 공간이 적게 요구되는 장점이 있다.In this embodiment, the storage module 20 sets the image selected by the photographing module 10 according to a specific criterion as a reference image and stores it in a layered manner according to the position of the photographing object. In this case, There is a merit in that the load for the entire operation is reduced and the storage space for image storage is less.

구분 모듈(30)은 저장 모듈(20)이 저장한 기준이미지 중 트리 내에서 계층화된 위치가 서로 대응되는 복수의 기준 이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분한다.The classification module 30 compares a plurality of reference images corresponding to the layered positions in the tree among the reference images stored by the storage module 20 to group reference images having a similarity degree equal to or greater than a predetermined value into the similar images, Separate the rest of the image with a fractional image.

이때, 유사이미지는 실제로 서로 다른 위치에서 촬영되었지만 이미지가 나타내는 형상이 서로 비슷하여, 촬영 모듈(10)이 실시간으로 촬영하는 촬영이미지와의 비교를 통해 대응하는 촬영 위치를 분별하기 어려운 이미지를 의미하고, 분별이미지는 고유의 특징 등을 가지고 있어 촬영이미지에 대응하는 촬영 위치를 분별하기에 적합한 이미지를 의미한다.At this time, the similar images are images that are actually photographed at different positions, but have shapes similar to each other, and are difficult to distinguish from corresponding photographed positions by comparison with the photographed images photographed by the photographing module 10 in real time , The discriminated image has an inherent characteristic or the like and means an image suitable for discriminating the photographing position corresponding to the photographing image.

구분 모듈(30)이 기준이미지를 유사이미지와 분별이미지로 구분하는 이유는, 이후 이동체의 촬영 모듈(10)이 현재 위치의 대상을 촬영하고 촬영이미지를 생성하여 기준이미지와 비교할 때, 촬영이미지와 유사이미지와 비교하는 경우 현재 위치를 파악하기 어려운 반면, 분별이미지와 비교하는 경우에는 상대적으로 정확하게 현재 위치를 파악할 수 있기 때문이다.The reason why the classification module 30 divides the reference image into the similar image and the discriminated image is that when the photographing module 10 of the moving body photographs the subject of the current position and then generates a photographing image and compares it with the reference image, When comparing with similar images, it is difficult to grasp the current position. On the other hand, when comparing with the discriminated image, the present position can be grasped relatively accurately.

도 2에서 노드(8)는 101호의 창문 중 동쪽창을 나타내고, 계층화된 위치가 서로 대응되는 노드(9)는 201호의 창문 중 동쪽창을 나타내는데, 이들 노드(8, 9)가 지칭하는 기준이미지는 건물 내에서 그 실제 위치가 대응되며, 실제로도 비슷한 형상을 가질 수 있다. 따라서 노드(8) 및 노드(9)에 대응하는 기준이미지 각각은 서로 유사한 이미지일 가능성이 크다.In FIG. 2, the node 8 represents the east window among the windows of the number 101, and the node 9 whose layered positions correspond to each other represents the east window among the windows of the number 201. The node 9, The actual position in the building corresponds to the actual position, and it can actually have a similar shape. Therefore, each of the reference images corresponding to the node 8 and the node 9 is likely to be similar images.

본 실시예의 구분 모듈(30)은 이렇게 계층화된 위치가 대응되는 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 유사이미지로 그룹화하고, 분별이미지와 구분한다.The classification module 30 of the present embodiment compares the reference images corresponding to the layered positions, and groups the reference images having a similarity degree equal to or greater than a predetermined value into similar images, and distinguishes them from the classified images.

이때, 구분 모듈(30)은 SIFT(Scale Invariant Feature Transform) 알고리즘을 통한 이미지 유사도를 이용하여 유사이미지를 그룹화하고 분별이미지를 구분할 수 있다. SIFT 알고리즘은 영상 데이터로부터 객체의 꼭지점이나 모서리와 같이 색상 성분의 차가 분명한 영역에서 특징점을 찾아 벡터성분을 추출하는 알고리즘이다. 이러한 SIFT 알고리즘을 이용해 기준이미지 간의 특징점 벡터 성분을 비교하여 서로 매칭되는 특징점을 판단할 수 있다.At this time, the classification module 30 can classify the similar images and classify the classified images using the image similarity through the Scale Invariant Feature Transform (SIFT) algorithm. The SIFT algorithm is an algorithm that extracts vector components from image data by searching for feature points in areas where differences in color components are apparent, such as vertices or edges of objects. The feature point vector components between the reference images are compared using the SIFT algorithm to determine feature points matching each other.

예를 들어 구분 모듈(30)은 다음의 수학식을 이용하여 기준이미지 간의 유사도를 판단한다.For example, the classification module 30 determines the similarity between reference images using the following equation.

Figure 112012068027651-pat00021
Figure 112012068027651-pat00021

i: 특정 이미지의 식별자i: Identifier of a specific image

j: 비교 대상 이미지의 식별자j: identifier of the image to be compared

Figure 112012068027651-pat00022
: 이미지i와 이미지j 간의 유사도
Figure 112012068027651-pat00022
: Similarity between image i and image j

Figure 112012068027651-pat00023
: 이미지i와 이미지j 간에 매칭된 특징점의 개수
Figure 112012068027651-pat00023
: Number of feature points matched between image i and image j

Figure 112012068027651-pat00024
: 이미지j의 특징점의 개수
Figure 112012068027651-pat00024
: Number of feature points of image j

이때, 유사도 범위가 0.85 이상이고 1 이하인 기준이미지만 구분 모듈(30)이 유사이미지로 구분하도록 설정된 경우를 가정하자.Here, it is assumed that only the reference image having the similarity degree range of 0.85 or more and 1 or less is set so that the classification module 30 is divided into similar images.

수학식 1에 따라 계산할 때, 만일 특정 기준이미지의 특징점이 500개이고, 해당 특정 기준이미지와 다른 기준이미지 간에 매칭되는 특징점이 450개인 경우, 양 기준이미지 간의 유사도는 0.90이 된다. 따라서 양 기준이미지는 유사이미지로 그룹화 된다.When the number of feature points of a specific reference image is 500 and the number of feature points that match between the specific reference image and another reference image is 450, the similarity between both reference images is 0.90. Both reference images are thus grouped into similar images.

반면, 특정 기준이미지의 특징점의 500개이고, 또 다른 기준이미지와 매칭되는 특징점이 300개인 경우, 양 기준이미지 간의 유사도는 0.60이므로, 유사이미지로 그룹화되지 않는다.On the other hand, when there are 500 feature points of a specific reference image and 300 feature points matching another reference image, the similarity between the two reference images is 0.60, so they are not grouped into similar images.

이러한 방식으로 기준이미지의 그룹화 과정을 진행된 후, 유사이미지로 그룹화되지 않은 나머지 기준이미지는 분별이미지로 구분된다.After the grouping process of the reference images is performed in this manner, the remaining reference images that are not grouped into the similar images are classified into the discriminated images.

이렇듯 구분 모듈(30)은 유사한 기준이미지를 유사이미지로 그룹화할 때, 모든 기준이미지를 비교하는 대신 트리 내에 계층화된 위치가 서로 대응되는 기준이미지끼리만 유사 여부를 판단함으로써 하여 연산의 부담을 크게 줄일 수 있다.When the similar reference images are grouped into the similar images, the division module 30 determines whether the reference images corresponding to the layered positions in the tree are similar to each other, instead of comparing all the reference images. have.

선별 모듈(40)은 이동체가 이동함에 따라 각 위치에서 촬영 모듈(10)이 촬영한 촬영이미지와, 저장 모듈(20)이 저장한 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별한다.The sorting module 40 compares a photographed image photographed by the photographing module 10 at each position with a reference image stored by the storage module 20 as the moving body moves and selects a matching reference image having a similarity to a predetermined value or more do.

이때, 촬영이미지는 이동체가 실시간으로 이동하며 촬영하는 이미지를 의미하며, 촬영이미지는 곧 이동체의 현재 위치에 대응된다.At this time, the photographed image means an image that the moving object moves in real time, and the photographed image corresponds to the current position of the moving object.

선별 모듈(40)이 촬영이미지와 기준이미지를 비교하여 유사도를 판단할 때에는 수학식 1과 같은 방법으로 유사도를 계산할 수 있다.When the selection module 40 compares the photographed image with the reference image to determine the similarity, the degree of similarity can be calculated in the same manner as in Equation (1).

판단 모듈(50)은 선별 모듈(40)이 선별한 매칭 기준이미지가 구분 모듈(30)이 구분한 유사이미지에 속하는지 또는 분별이미지에 속하는지를 판단하고, 이에 따라 이동체가 매칭 기준이미지에 대응하는 촬영 대상의 위치에 위치할 확률을 계산한 후, 계산 결과에 따라 이동체의 위치를 판단하는 역할을 한다.The determination module 50 determines whether the matching reference image selected by the selection module 40 belongs to a similar image classified by the classification module 30 or belongs to the classified image and accordingly determines whether the moving object corresponds to a matching reference image Calculates the probability of being located at the position of the object to be photographed, and then determines the position of the moving object according to the calculation result.

이때, 판단 모듈(50)은 매칭 기준이미지가 유사이미지에 속하는지 또는 분별이미지에 속하는지에 따라 가중치를 부여하여 위치에 대한 확률을 계산할 수 있다. 이 경우, 유사이미지의 가중치는 분별이미지의 가중치보다 상대적으로 작게 부여될 수 있다.At this time, the determination module 50 can calculate the probability with respect to the position by assigning weights according to whether the matching reference image belongs to the similar image or the discrimination image. In this case, the weight of the similar image can be given to be smaller than the weight of the fraction image.

예를 들어, 유사이미지의 가중치는

Figure 112012068027651-pat00025
의 수식을 통해 계산될 수 있고, 분별이미지의 가중치는
Figure 112012068027651-pat00026
의 수식을 통해 계산될 수 있다. 이때,
Figure 112012068027651-pat00027
는 가중치 값을 의미하고,
Figure 112012068027651-pat00028
는 매칭 기준이미지가 속하는 유사이미지 그룹의 이미지 개수를 의미한다.For example, the weight of a similar image is
Figure 112012068027651-pat00025
, The weight of the fractional image can be calculated by
Figure 112012068027651-pat00026
Can be calculated through the following equation. At this time,
Figure 112012068027651-pat00027
Denotes a weight value,
Figure 112012068027651-pat00028
Means the number of images in the similar image group to which the matching reference image belongs.

즉, 유사이미지는 서로 다른 장소에서 촬영되었지만 서로 유사한 복수의 이미지를 갖는 이미지 그룹에 속하고, 매칭 기준이미지가 유사이미지에 속하는 경우에는 매칭 기준이미지의 촬영 대상의 위치를 참조하여 이동체의 현재 위치를 판단하기가 어렵다. 반대로 분별이미지는 유사한 이미지가 존재하지 않는 이미지로서, 매칭 기준이미지가 분별이미지에 속하는 경우에는 매칭 기준이미지의 촬영 대상의 위치를 참조하여 이동체의 현재 위치를 비교적 정확하게 판단할 수 있다.That is, the similar image belongs to an image group having a plurality of similar images that are photographed at different places, and when the matching reference image belongs to the similar image, the current position of the moving object is referred to by referring to the position of the shooting target of the matching reference image It is difficult to judge. On the other hand, when the matching reference image belongs to the discriminated image, the discriminated image is an image in which there is no similar image, and the current position of the moving object can be determined relatively accurately by referring to the position of the shooting target of the matching reference image.

이에 본 실시예에서는 유사이미지에 상대적으로 작은 가중치를 부여하여 위치 판단의 오류를 줄이고, 분별이미지에는 상대적으로 큰 가중치를 부여하여 위치 판단의 정확성을 높인다.Accordingly, in this embodiment, a relatively small weight is assigned to a similar image to reduce the error of the position determination, and a relatively large weight is given to the discriminated image to improve the accuracy of the position determination.

예를 들어 판단 모듈(50)은 다음의 수학식을 이용하여 이동체가 매칭 기준이미지를 촬영한 위치에 존재할 확률을 계산할 수 있다.For example, the determination module 50 may calculate the probability that a moving object exists at a position where the matching reference image is photographed, using the following equation.

Figure 112012068027651-pat00029
Figure 112012068027651-pat00029

l: 특정 위치의 식별자l: identifier of the specific location

i: 특정 이미지의 식별자i: Identifier of a specific image

j: 비교 대상 이미지의 식별자j: identifier of the image to be compared

Figure 112012068027651-pat00030
: 매칭 기준이미지의 촬영 대상에 대응하는 위치의 식별자
Figure 112012068027651-pat00030
: An identifier of a position corresponding to a shooting target of the matching reference image

Figure 112012068027651-pat00031
: 이동체가 위치l에 위치할 확률
Figure 112012068027651-pat00031
: Probability that a mobile is located at position l

Figure 112012068027651-pat00032
: 이미지i와 이미지j 간의 유사도
Figure 112012068027651-pat00032
: Similarity between image i and image j

만일 x = 0 이면

Figure 112012068027651-pat00033
= 1, 아니면
Figure 112012068027651-pat00034
= 0If x = 0
Figure 112012068027651-pat00033
= 1, or
Figure 112012068027651-pat00034
= 0

수학식 2에서 촬영이미지와 매칭 기준이미지의 유사도가 0이 아니고, 매칭 기준이미지의 촬영 대상 위치가 위치l인 경우,

Figure 112012068027651-pat00035
은 촬영이미지와 매칭 기준이미지의 유사도에 따라 0과 1 사이의 값을 가지게 된다.When the similarity degree between the photographed image and the matching reference image is not 0 in Equation (2), and the shooting target position of the matching reference image is the position 1,
Figure 112012068027651-pat00035
Has a value between 0 and 1 according to the similarity of the captured image and the matching reference image.

반면, 매칭 기준이미지의 촬영 대상이 위치l에 위치하지 않는 경우

Figure 112012068027651-pat00036
의 값은 0이 된다.On the other hand, if the shooting target of the matching reference image is not located at the position l
Figure 112012068027651-pat00036
The value of " 0 "

결국 위치l에 이동체가 위치할 확률은 유효한 값을 가지는 반면, 다른 위치에 이동체가 위치할 확률은 0이되어, 이동체가 위치l에 위치하는 확률값이 계산되게 된다.As a result, the probability that the moving object is located at the position 1 has an effective value, while the probability that the moving object is located at the other position becomes 0, and the probability value that the moving object is located at the position 1 is calculated.

또한 판단 모듈(50)은 아래의 수학식을 이용하여 시간에 따라 연속하여 촬영되는 촬영이미지 각각의 위치 확률을 누적적으로 반영하여 매칭 기준이미지에 대응하는 촬영 대상의 위치에 이동체가 위치할 확률을 계산할 수 있다.Further, the judgment module 50 cumulatively reflects the position probabilities of the photographed images continuously photographed in accordance with the following equations to calculate the probability that the moving object is located at the position of the photographed object corresponding to the matching reference image Can be calculated.

Figure 112012068027651-pat00037
Figure 112012068027651-pat00037

Figure 112012068027651-pat00038
: 시각 t에서 이동체가 각 위치에 위치할 확률의 집합
Figure 112012068027651-pat00038
: A set of probabilities that a moving object is located at each position at time t

Figure 112012068027651-pat00039
: 매칭 기준이미지의 가중치
Figure 112012068027651-pat00039
: Weight of matching base image

Figure 112012068027651-pat00040
: 시각 t에서의 촬영이미지와 매칭 기준이미지 간의 유사도
Figure 112012068027651-pat00040
: Similarity between the photographed image at the time t and the matching reference image

Figure 112012068027651-pat00041
: 시각 t-1에서 이동체가 각 위치에 위치할 확률의 집합
Figure 112012068027651-pat00041
: The set of probability that the mobile object will be located at each position at time t-1

Figure 112012068027651-pat00042
: nomalizer 함수
Figure 112012068027651-pat00042
: nomalizer function

*: 곱셈 연산자*: Multiplication operator

X: 서로 대응하는 위치값에 대한 곱셈 연산자X: multiplication operator for mutually corresponding position values

이동체가 이동하는 건물에서 각 위치를 n개로 구분하고 각 위치를 위치1, 위치2, ..., 위치n으로 구분하였다고 가정하자. 이때, 각 위치에 이동체가 위치할 확률의 집합은 {S1, S2, ..., Sn}과 같이 표현된다.Assume that each location is divided into n in the building where the mobile body moves and each position is divided into position 1, position 2, ..., and position n. At this time, the set of probabilities that the mobile object is located at each position is expressed as {S 1 , S 2 , ..., S n }.

예를 들어, 선별 모듈(40)이 시각 t-1에서의 촬영이미지와 0.40 이상의 유사도를 가지는 복수의 매칭 기준이미지를 선별하였고, 판단 모듈(50)의 계산 결과 시각 t-1에서 이동체가 각 위치에 위치할 확률의 집합이 St-1={S1=0.46, S2=0.85, ..., Sn=0.51}이라고 하자. 이때, 이동체는 위치2에 위치할 확률이 가장 높다.For example, the selection module 40 has selected a plurality of matching reference images having a similarity degree of 0.40 or more to the photographed image at time t-1, and at the time t-1 of the calculation result of the determination module 50, Let S t-1 = {S 1 = 0.46, S 2 = 0.85, ..., S n = 0.51}. At this time, the mobile is most likely to be located at position 2.

이후, 선별 모듈(40)은 시각 t에서 촬영이미지와 일정치 이상의 유사도(상기 예에서 0.40)를 가지는 복수의 매칭 기준이미지를 선별한다. 그리고 판단 모듈(50)은 각 매칭 기준이미지의 가중치, 시각 t에서의 촬영이미지와 매칭 기준이미지 간의 유사도 및 St-1의 계산 결과를 반영하여, 시각 t에서 이동체가 각 위치에 위치할 확률인 St를 계산한다.Thereafter, the selection module 40 selects a plurality of matching reference images having a similarity degree (0.40 in the above example) equal to or more than a predetermined value at the time t. Then, the judgment module 50 reflects the weight of each matching reference image, the similarity between the photographed image at time t and the matching reference image, and the calculation result of S t-1 , and calculates the probability that the moving object will be located at each position at time t Calculate S t .

이러한 방식으로 촬영 모듈(10)이 각 시각에 촬영한 촬영이미지를 이용하여, 건물내 각 위치에 이동체가 위치할 확률을 누적적으로 계산할 수 있고, 그 결과 이동체가 특정 위치에 위치할 확률을 계산하고 그 계산값을 기반으로 이동체의 위치를 판단함에 있어 오류가 발생할 위험이 현저히 줄어들게 된다.In this manner, the probability that the moving object is positioned at each position in the building can be cumulatively calculated using the image taken at each time by the imaging module 10, and as a result, the probability that the moving object is located at a specific position is calculated And the risk of errors in determining the position of the moving object based on the calculated values is significantly reduced.

다만, 연속되는 시간의 흐름에 따라 확률을 반영함으로써 그 값이 점차 작아질 수 있으므로, η()을 이용하여 그 값의 크기를 보정하는 것이 바람직하다.However, since the value may be gradually reduced by reflecting the probability according to the continuous time flow, it is preferable to correct the magnitude of the value using? ().

결과적으로 이동체의 위치 판단 장치(100)에 있어 저장 모듈(20)은 촬영 모듈(10)이 촬영한 전체 이미지를 저장하는 것이 아니라 일정 기준에 맞는 기준이미지를 선별하여 저장함으로써 저장 공간이 절약되고, 이동체의 현재 위치에 대응하는 촬영이미지와 선별하여 저장한 기준이미지를 비교함으로써 연산의 부담이 크게 경감된다.As a result, the storage module 20 of the position determining apparatus 100 of the moving object does not store the entire image taken by the photographing module 10, but saves the storage space by selectively storing reference images meeting certain criteria, The burden of the calculation is greatly reduced by comparing the picked-up image corresponding to the current position of the moving object with the stored reference image.

그리고 구분 모듈(30)은 기준이미지를 유사이미지와 분별이미지로 구분하고, 판단 모듈(50)은 선별 모듈(40)이 선별한 매칭 기준이미지가 유사이미지인지 또는 분별이미지인지에 따라 가중치를 반영하여 이동체의 위치 확률을 계산하므로, 위치 판단의 정확성을 높일 수 있다.The classification module 30 divides the reference image into a similar image and a classification image, and the determination module 50 reflects the weight according to whether the matching reference image selected by the selection module 40 is a similar image or a discrimination image Since the position probability of the moving object is calculated, the accuracy of position determination can be improved.

또한, 판단 모듈(50)은 시간의 흐름에 따라 각 위치에 위치할 확률을 누적적으로 반영하여 위치 판단을 할 수 있으므로 위치 판단의 정확성이 획기적으로 개선된다.In addition, since the determination module 50 can perform position determination by cumulatively reflecting the probability of being positioned at each position according to the passage of time, the accuracy of position determination can be remarkably improved.

본 발명에 따라 이동체의 위치를 판단하는 과정에 대해서는 도 3 및 도 4를 참조하여 상세하게 설명하기로 한다.The process of determining the position of the moving object according to the present invention will be described in detail with reference to FIG. 3 and FIG.

도 3은 본 발명의 일 실시예에 따라 이동체의 위치를 판단하는 과정을 나타낸 흐름도이다.FIG. 3 is a flowchart illustrating a process of determining a position of a moving object according to an exemplary embodiment of the present invention.

도 3을 참조하면, 이동체의 위치를 판단하는 위치 판단 장치는 이동체의 이동에 따라 주변의 영상을 촬영하고(S11), 촬영한 이미지에서 특징점을 추출한 후(S12), 특징점의 개수를 계산한다(S13).Referring to FIG. 3, the position determining apparatus for determining the position of the moving object photographs the surrounding image according to the movement of the moving object (S11), extracts the characteristic points from the photographed image (S12), and calculates the number of characteristic points S13).

단계(S12)에서는 예를 들어, 이미지의 특징점을 추적하는 KLT(Kanade-Lucas-Tomasi) 알고리즘을 이용하여 특징점을 추출할 수 있다.In step S12, feature points can be extracted using, for example, a Kanade-Lucas-Tomasi (KLT) algorithm for tracking feature points of an image.

그리고 위치 판단 장치는 일정 개수 범위 이내의 특징점 개수를 가지는 이미지를 기준이미지로 선별한 후 계층화하여 저장한다(S14). 이때, 너무 적은 개수의 특징점을 가지는 이미지를 기준이미지로 선정하는 경우에는 유사한 이미지를 검출하는 것이 어렵고, 상대적으로 너무 많은 개수의 특징점을 가지는 이미지를 기준이미지로 선정하는 경우라면 특징점 비교를 위한 자원의 소모가 많아지므로, 기준이미지의 특징점 개수를 일정 범위로 한정하는 것이다.Then, the position determination apparatus selects images having a number of feature points within a predetermined number of images as reference images, and then stores the images in a layered manner (S14). In this case, when an image having too few number of feature points is selected as a reference image, it is difficult to detect a similar image. If an image having a relatively large number of feature points is selected as a reference image, The number of feature points of the reference image is limited to a certain range.

단계(S14)에서는 기준이미지를 계층화하여 저장하는데, 예를 들어, 기준이미지를 촬영한 위치에 대응하여 트리 구조로 계층화할 수 있다. 이때, 트리 구조 상의 위치가 대응되는 노드는, 기준이미지의 촬영위치가 서로 대응되며, 서로 유사한 이미지일 확률이 높다.In step S14, the reference images are layered and stored. For example, the reference images may be layered in a tree structure corresponding to the positions where the reference images are photographed. At this time, the nodes corresponding to the positions on the tree structure correspond to the photographing positions of the reference images, and there is a high probability that they are similar images.

이후, 위치 판단 장치는 단계(S14)에서 저장한 기준이미지 중 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분한다(S15).Thereafter, the position determination device compares the plurality of reference images corresponding to the layered positions of the reference images stored in step S14, groups the reference images having a similarity degree equal to or greater than a predetermined value, groups them into similar images, (S15).

단계(S15)에서, 유사이미지는 실제로 서로 다른 위치에서 촬영되었지만 이미지가 나타내는 형상이 서로 비슷하여 다른 촬영이미지와의 비교를 통해 대응하는 촬영 위치를 분별하기 어려운 이미지를 의미하고, 분별이미지는 고유의 특징 등을 가지고 있어 해당 이미지에 대응하는 촬영 위치를 분별하기에 적합한 이미지를 의미한다.In the step S15, the similar image means an image which is actually photographed at different positions but whose shapes are similar to each other so that it is difficult to discriminate the corresponding photographing positions through comparison with other photographed images, And the like, and is an image suitable for discriminating a photographing position corresponding to the image.

단계(S15)에서의 위치 판단 장치는 예를 들어, SIFT(Scale Invariant Feature Transform) 알고리즘을 통한 이미지 유사도를 이용하여 유사이미지와 분별이미지를 구분할 수 있다. 그리고 단계(S15)에서의 위치 판단 장치는 예를 들어, 수학식 1을 이용하여 복수의 기준이미지 간의 유사도를 계산할 수 있다.The position determination apparatus in step S15 can distinguish the similar image from the discriminated image by using, for example, image similarity through a Scale Invariant Feature Transform (SIFT) algorithm. Then, the position determination apparatus in step S15 may calculate the similarity between the plurality of reference images using, for example, equation (1).

단계(S15)에서는 단계(S14)에서 저장한 전체 기준이미지를 비교하는 것이 아니라, 계층화된 위치가 대응되어 유사한 이미지일 확률이 높은 기준이미지 만을 비교하고, 유사이미지와 분별이미지의 분별 과정을 진행함으로써 연산 부담을 경감할 수 있다.In step S15, instead of comparing all of the reference images stored in step S14, only reference images having high probability of being similar images corresponding to layered positions are compared, and discrimination process of the similar images and the discriminated images is performed The computational burden can be reduced.

이후, 위치 판단 장치는 이동체의 현재에서 주변 대상을 촬영하여 현재 위치에 대응하는 촬영이미지를 생성하고, 해당 촬영이미지와 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별한다(S16).Thereafter, the position determination apparatus captures a peripheral object at the current position of the moving object, generates a captured image corresponding to the current position, compares the captured image with the reference image, and selects a matching reference image having a similarity to a predetermined value or more (S16) .

단계(S16)에서의 위치 판단 장치는 수학식 1과 같은 방법으로 촬영이미지와 기준이미지 간의 유사도를 계산할 수 있으며, 복수의 매칭 기준이미지를 선별할 수 있다.The position determination apparatus in step S16 can calculate the similarity between the shot image and the reference image in the same manner as in Equation (1), and can select a plurality of matching reference images.

단계(S16)에서 선별한 매칭 기준이미지가 단계(S15)에서 그룹화한 유사이미지인 경우(S17), 위치 판단 장치는 유사이미지의 가중치를 반영하여, 이동체가 매칭 기준이미지를 촬영한 위치에 존재할 위치 확률을 계산한다(S18).If the matching reference image selected in step S16 is a similar image grouped in step S15 (S17), the position determining device reflects the weight of the similar image, and determines the position at which the moving object is located at the position The probability is calculated (S18).

반대로, 단계(S16)에서 선별한 매칭 기준이미지가 단계(S15)에서 구분한 분별이미지인 경우(S17), 위치 판단 장치는 분별이미지의 가중치를 반영하여, 이동체가 매칭 기준이미지를 촬영한 위치에 존재할 위치 확률을 계산한다(S19).On the other hand, if the matching reference image selected in step S16 is the discriminated image discriminated in step S15 (S17), the position determining apparatus reflects the weight of the discriminated image, (S19).

단계(S18)에서 유사이미지의 가중치는 분별이미지의 가중치보다 상대적으로 작게 설정될 수 있다. 본 실시예에서 유사이미지는 서로 유사한 복수 기준이미지의 그룹에 속하며, 각각의 유사이미지는 이미지 자체가 서로 유사하지만 실제로는 별개의 위치에서 촬영된 이미지이다. 따라서 매칭 기준이미지가 유사이미지인 경우에는 상대적으로 작은 가중치를 반영하여, 유사이미지가 촬영된 위치에 이동체가 존재할 확률이 작게 계산되도록 하는 것이다. 이러한 방법으로 위치 판단의 오류를 줄이고 정확하게 이동체의 위치를 계산하는 것이 가능하다.In step S18, the weight of the similar image may be set to be relatively smaller than the weight of the fraction image. In the present embodiment, the similar images belong to a group of a plurality of similar reference images, and each similar image is an image that is similar to the images themselves but is actually photographed at a different position. Therefore, when the matching reference image is a similar image, the probability that the moving object exists at the position where the similar image is photographed is calculated to be small, reflecting the relatively small weight. In this way, it is possible to reduce the error of position judgment and accurately calculate the position of the moving object.

예를 들어, 유사이미지의 가중치는

Figure 112012068027651-pat00043
의 수식을 통해 계산될 수 있고, 분별이미지의 가중치는
Figure 112012068027651-pat00044
의 수식을 통해 계산될 수 있다. 이때,
Figure 112012068027651-pat00045
는 가중치 값을 의미하고,
Figure 112012068027651-pat00046
는 매칭 기준이미지가 속하는 유사이미지 그룹의 이미지 개수를 의미한다.For example, the weight of a similar image is
Figure 112012068027651-pat00043
, The weight of the fractional image can be calculated by
Figure 112012068027651-pat00044
Can be calculated through the following equation. At this time,
Figure 112012068027651-pat00045
Denotes a weight value,
Figure 112012068027651-pat00046
Means the number of images in the similar image group to which the matching reference image belongs.

단계(S18, S19)에서의 위치 판단 장치는 예를 들어, 수학식 2를 이용하여 이동체가 매칭 기준이미지를 촬영한 위치에 위치할 확률을 계산할 수 있다.The position determination apparatus in steps S18 and S19 may calculate the probability that the moving object is positioned at the position at which the moving object has photographed the matching reference image, using Equation (2), for example.

이후, 위치 판단 장치는 단계(S18, S19)에서의 계산 결과를 참조하여, 이동체의 위치를 판단한다(S20).Thereafter, the position determining apparatus determines the position of the moving body by referring to the calculation results in steps S18 and S19 (S20).

본 실시예에서 위치 판단 장치의 각 구성은 이동체에 구비될 수도 있고, 일부의 구성이 이동체 외부에 위치할 수도 있다. 이를 위해 이동체 및 위치 판단 장치는 무선 통신을 위한 통신 장비를 구비할 수 있다.In the present embodiment, each configuration of the position determination apparatus may be provided in a moving object, or a part of the configuration may be located outside the moving object. To this end, the moving object and the position determining apparatus may be equipped with communication equipment for wireless communication.

도 4는 본 발명의 다른 일 실시예에 따라 이동체의 위치를 판단하는 과정을 나타낸 흐름도이다.FIG. 4 is a flowchart illustrating a process for determining a position of a moving object according to another embodiment of the present invention.

도 4를 참조하면, 위치 판단 장치는 이동체의 이동에 따라 주변의 영상을 촬영한다(S31). Referring to FIG. 4, the position determination apparatus captures an image of a surrounding area in accordance with movement of a moving object (S31).

그리고 위치 판단 장치는 촬영한 이미지에서 특징점을 추출하고 특징점의 개수를 계산하며, 일정 개수 범위 이내의 특징점 개수를 가지는 이미지를 기준이미지로 선별한 후, 기준이미지의 촬영 위치에 따라 계층화하여 저장한다(S32).Then, the position determination apparatus extracts feature points from the photographed image, calculates the number of feature points, selects images having a number of feature points within a predetermined number of reference images as reference images, and stores the images in a layered manner according to the position of the reference image S32).

단계(S32)에서는 예를 들어 KLT 알고리즘을 이용해 특징점을 추출할 수 있다.In step S32, feature points may be extracted using, for example, the KLT algorithm.

이후, 위치 판단 장치는 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분한다(S33).Thereafter, the position determination apparatus compares the plurality of reference images corresponding to each other in the layered positions, groups the reference images having a similarity degree equal to or greater than a predetermined value, groups them into similar images, and classifies the remaining images into classified images (S33).

단계(S33)에서의 위치 판단 장치는 예를 들어, SIFT(Scale Invariant Feature Transform) 알고리즘을 통한 이미지 유사도를 이용하여 유사이미지와 분별이미지를 구분할 수 있으며, 수학식 1을 이용하여 유사도를 구분할 수 있다.The position determining apparatus in step S33 can distinguish the similar image from the discriminated image by using, for example, the image similarity through the Scale Invariant Feature Transform (SIFT) algorithm, and can classify the similarity using Equation 1 .

그리고 위치 판단 장치는 이동체의 현재 위치에서 주변 대상을 촬영하여 촬영이미지를 생성하고, 해당 촬영이미지와 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별한다(S34).Then, the position determination apparatus generates a shot image by photographing the surrounding object at the current position of the moving object, compares the shot image with the reference image, and selects a matching reference image having a similarity to a predetermined value or more (S34).

단계(S34)에서는 수학식 1을 이용하여 촬영이미지와 기준이미지 간의 유사도를 계산할 수 있다.In step S34, the similarity between the photographed image and the reference image can be calculated using Equation (1).

단계(S34)에서 선별한 매칭 기준이미지가 단계(S33)에서 그룹화한 유사이미지인 경우(S35), 위치 판단 장치는 이동체의 위치에 대한 확률을 계산함에 있어 유사이미지의 가중치를 반영한다(S36).If the matching reference image selected in step S34 is the similar image grouped in step S33 (S35), the position determining apparatus reflects the weight of the similar image in calculating the probability of the position of the moving object (S36) .

반대로, 단계(S34)에서 선별한 매칭 기준이미지가 단계(S33)에서 구분한 분별이미지인 경우(S35), 위치 판단 장치는 이동체의 위치에 대한 확률을 계산함에 있어 분별이미지의 가중치를 반영한다(S37).On the contrary, if the matching reference image selected in step S34 is the discriminated image discriminated in step S33 (S35), the position determining apparatus reflects the weight of the discriminated image in calculating the probability of the position of the moving object ( S37).

유사이미지의 가중치는 분별이미지의 가중치 보다 상대적으로 작을 수 있다.The weight of the similar image may be relatively smaller than the weight of the discriminated image.

이후, 위치 판단 장치는 이전에 이미 계산한 확률을 반영하여 이동체가 각 위치에 위치할 확률을 계산하고(S38), 계산 결과에 따라 이동체의 위치를 판단한다(S39).Thereafter, the position determining apparatus calculates the probability that the moving object is positioned at each position by reflecting the previously calculated probability (S38), and determines the position of the moving object according to the calculation result (S39).

단계(S36) 내지 단계(S38)에서는 수학식 3을 이용하여 이동체의 위치에 대한 확률을 계산할 수 있다.In the steps S36 to S38, the probability of the position of the moving object can be calculated using Equation (3).

한편, 본 명세서와 도면에 개시된 실시예들은 이해를 돕기 위해 특정 예를 제시한 것에 지나지 않으며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게는 자명한 것이다.It should be noted that the embodiments disclosed in the present specification and drawings are only illustrative of specific examples for the purpose of understanding, and are not intended to limit the scope of the present invention. It will be apparent to those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

1, 2, 3, 4, 5, 6, 7, 8, 9: 노드
10: 촬영 모듈
20: 저장 모듈
30: 구분 모듈
40: 선별 모듈
50: 판단 모듈
100: 위치 판단 장치1, 2, 3, 4, 5, 6, 7, 8, 9:
10: Shooting module
20: Storage module
30: Classification module
40: Selection module
50: Judgment module
100: Position determining device

Claims (8)

위치 판단 장치가 촬영한 복수의 기준이미지를 촬영 대상의 위치에 따라 계층화하여 저장하는 저장 단계;
상기 위치 판단 장치가, 상기 저장 단계에서 저장한 상기 기준이미지 중 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분하는 구분 단계;
상기 위치 판단 장치가 촬영하는 촬영이미지와 상기 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별하는 선별 단계; 및
상기 위치 판단 장치가, 상기 매칭 기준이미지가 상기 유사이미지에 속하는지 또는 상기 분별이미지에 속하는지에 따라 가중치를 반영하여, 상기 매칭 기준이미지에 대응하는 촬영 대상의 위치에 이동체가 위치할 확률을 계산하고, 계산 결과에 따라 상기 이동체의 위치를 판단하는 판단 단계;
를 포함하고,
상기 판단 단계에서,
상기 유사이미지의 가중치는 상기 분별이미지의 가중치보다 상대적으로 작게 부여되는 것을 특징으로 하는 이동체의 위치 판단 방법.A storing step of layering and storing a plurality of reference images taken by the position determining device according to the position of an object to be imaged;
The position determination apparatus compares a plurality of reference images corresponding to the layered positions of the reference images stored in the storing step to group reference images having a similarity degree equal to or greater than a predetermined value to group them into similar images, Image segmentation step;
Comparing the photographed image photographed by the position judging device with the reference image to select a matching reference image having a similarity value equal to or greater than a predetermined value; And
The position determining device calculates the probability that the moving object is located at the position of the photographing object corresponding to the matching reference image by reflecting the weight according to whether the matching reference image belongs to the similar image or belongs to the discriminating image A determining step of determining a position of the moving object according to a calculation result;
Lt; / RTI >
In the determination step,
Wherein a weight of the similar image is given to be relatively smaller than a weight of the discriminated image. 제1항에 있어서,
상기 저장 단계는,
상기 이동체가 촬영한 이미지에서 특징점을 추출하는 단계;
추출한 특징점의 개수를 계산하는 단계; 및
상기 계산한 특징점의 개수가 일정 개수 범위 이내인 경우 대응하는 이미지를 상기 기준이미지로 선정하는 단계;
를 포함하는 것을 특징으로 하는 이동체의 위치 판단 방법.The method according to claim 1,
Wherein,
Extracting feature points from an image taken by the mobile body;
Calculating the number of extracted feature points; And
Selecting a corresponding image as the reference image when the number of the calculated feature points is within a predetermined number range;
And determining a position of the moving object based on the position information. 제1항에 있어서,
상기 구분 단계 또는 상기 선별 단계는,
Figure 112012068027651-pat00047
을 이용하여 유사도를 계산하는 것을 특징으로 하는 이동체의 위치 판단 방법.
i: 특정 이미지의 식별자
j: 비교 대상 이미지의 식별자
Figure 112012068027651-pat00048
: 이미지i와 이미지j 간의 유사도
Figure 112012068027651-pat00049
: 이미지i와 이미지j 간에 매칭된 특징점의 개수
Figure 112012068027651-pat00050
: 이미지j의 특징점의 개수The method according to claim 1,
The sorting step or the sorting step may comprise:
Figure 112012068027651-pat00047
And calculating a degree of similarity based on the degree of similarity.
i: Identifier of a specific image
j: identifier of the image to be compared
Figure 112012068027651-pat00048
: Similarity between image i and image j
Figure 112012068027651-pat00049
: Number of feature points matched between image i and image j
Figure 112012068027651-pat00050
: Number of feature points of image j 삭제delete 제1항에 있어서,
상기 판단 단계에서,
상기 유사이미지의 가중치는
Figure 112012068027651-pat00051
에 의해 계산되고, 상기 분별이미지의 가중치는
Figure 112012068027651-pat00052
에 의해 계산되는 것을 특징으로 하는 이동체의 위치 판단 방법.
Figure 112012068027651-pat00053
: 가중치
Figure 112012068027651-pat00054
: 매칭 기준이미지가 속하는 유사이미지 그룹의 이미지 개수The method according to claim 1,
In the determination step,
The weight of the similar image is
Figure 112012068027651-pat00051
, And the weight of the fractional image is calculated by
Figure 112012068027651-pat00052
Of the moving object.
Figure 112012068027651-pat00053
: weight
Figure 112012068027651-pat00054
: Number of images in the group of similar images to which the matching criteria image belongs 제3항에 있어서,
상기 판단 단계는
Figure 112012068027651-pat00055
을 이용하여 위치에 대한 확률을 계산하는 것을 특징으로 하는 이동체의 위치 판단 방법.
l: 특정 위치의 식별자
i: 특정 이미지의 식별자
j: 비교 대상 이미지의 식별자
Figure 112012068027651-pat00056
: 매칭 기준이미지의 촬영 대상에 대응하는 위치의 식별자
Figure 112012068027651-pat00057
: 이동체가 위치l에 위치할 확률
Figure 112012068027651-pat00058
: 이미지i와 이미지j 간의 유사도
만일 x = 0 이면
Figure 112012068027651-pat00059
= 1, 아니면
Figure 112012068027651-pat00060
= 0The method of claim 3,
The determining step
Figure 112012068027651-pat00055
And calculating a probability with respect to the position of the mobile object.
l: identifier of the specific location
i: Identifier of a specific image
j: identifier of the image to be compared
Figure 112012068027651-pat00056
: An identifier of a position corresponding to a shooting target of the matching reference image
Figure 112012068027651-pat00057
: Probability that a mobile is located at position l
Figure 112012068027651-pat00058
: Similarity between image i and image j
If x = 0
Figure 112012068027651-pat00059
= 1, or
Figure 112012068027651-pat00060
= 0 제1항에 있어서,
상기 판단 단계는 시각 t에서의 확률을
Figure 112012068027651-pat00061
을 이용하여 계산하는 것을 특징으로 하는 이동체의 위치 판단 방법.
Figure 112012068027651-pat00062
: 시각 t에서 이동체가 각 위치에 위치할 확률의 집합
Figure 112012068027651-pat00063
: 매칭 기준이미지의 가중치
Figure 112012068027651-pat00064
: 시각 t에서의 촬영이미지와 매칭 기준이미지 간의 유사도
Figure 112012068027651-pat00065
: 시각 t-1에서 이동체가 각 위치에 위치할 확률의 집합
Figure 112012068027651-pat00066
: nomalizer 함수
*: 곱셈 연산자
X: 서로 대응하는 위치값에 대한 곱셈 연산자The method according to claim 1,
Wherein the determining step determines the probability at time t
Figure 112012068027651-pat00061
And calculating the position of the moving object based on the position of the moving object.
Figure 112012068027651-pat00062
: A set of probabilities that a moving object is located at each position at time t
Figure 112012068027651-pat00063
: Weight of matching base image
Figure 112012068027651-pat00064
: Similarity between the photographed image at the time t and the matching reference image
Figure 112012068027651-pat00065
: The set of probability that the mobile object will be located at each position at time t-1
Figure 112012068027651-pat00066
: nomalizer function
*: Multiplication operator
X: multiplication operator for mutually corresponding position values 피사체를 촬영하는 촬영 모듈;
상기 촬영 모듈에서 촬영한 복수의 기준이미지를 촬영 대상의 위치에 따라 계층화하여 저장하는 저장 모듈;
상기 저장 모듈이 저장한 상기 기준이미지 중 계층화된 위치가 서로 대응되는 복수의 기준이미지를 비교하여 일정치 이상의 유사도를 가지는 기준이미지를 묶어 유사이미지로 그룹화하고, 나머지 이미지를 분별이미지로 구분하는 구분 모듈;
상기 촬영 모듈에서 촬영하는 촬영이미지를 수신하여 상기 기준이미지를 비교하고 일정치 이상의 유사도를 가지는 매칭 기준이미지를 선별하는 선별 모듈; 및
상기 매칭 기준이미지가 상기 유사이미지에 속하는지 또는 상기 분별이미지에 속하는지에 따라 가중치를 반영하여, 상기 매칭 기준이미지에 대응하는 촬영 대상의 위치에 위치할 확률을 계산하고, 계산 결과에 따라 이동체의 위치를 판단하는 판단모듈;
을 포함하고,
상기 유사이미지의 가중치는 상기 분별이미지의 가중치보다 상대적으로 작게 부여되는 것을 특징으로 하는 이동체의 위치 판단 장치.A photographing module for photographing a subject;
A storage module for layering and storing a plurality of reference images taken by the imaging module in accordance with the position of an object to be imaged;
A plurality of reference images corresponding to the layered positions of the reference images stored in the storage module are grouped and grouped into similar images by grouping reference images having a similarity value equal to or greater than a predetermined value, ;
A selection module for receiving a photographed image photographed by the photographed module, for comparing the reference image and selecting a matching reference image having a similarity to a predetermined value or more; And
Calculating a probability of being located at a position of the shooting target corresponding to the matching reference image by reflecting the weight according to whether the matching reference image belongs to the similar image or belongs to the classified image, A judgment module for judging the presence or absence
/ RTI >
Wherein the weight of the similar image is given a relatively smaller weight than the weight of the discriminated image.
KR1020120092705A 2012-08-24 2012-08-24 Apparatus and method for detecting position of moving unit KR101438377B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120092705A KR101438377B1 (en) 2012-08-24 2012-08-24 Apparatus and method for detecting position of moving unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120092705A KR101438377B1 (en) 2012-08-24 2012-08-24 Apparatus and method for detecting position of moving unit

Publications (2)

Publication Number Publication Date
KR20120112293A KR20120112293A (en) 2012-10-11
KR101438377B1 true KR101438377B1 (en) 2014-09-05

Family

ID=47282524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120092705A KR101438377B1 (en) 2012-08-24 2012-08-24 Apparatus and method for detecting position of moving unit

Country Status (1)

Country Link
KR (1) KR101438377B1 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101961171B1 (en) * 2017-10-13 2019-03-22 한국과학기술연구원 Self position detecting system of indoor moving robot and method for detecting self position using the same
KR102420476B1 (en) * 2018-05-25 2022-07-13 에스케이텔레콤 주식회사 Apparatus and method for estimating location of vehicle and computer recordable medium storing computer program thereof
DE102018004229A1 (en) * 2018-05-25 2019-11-28 Daimler Ag Method for controlling a vehicle system of a vehicle set up to carry out an automated driving operation and device for carrying out the method
CN108958247A (en) * 2018-07-02 2018-12-07 深圳市益鑫智能科技有限公司 A kind of guided robot
KR102289874B1 (en) * 2020-01-09 2021-08-13 국방과학연구소 Apparatus and method for estimating location of target object
CN112070801B (en) * 2020-08-31 2023-08-11 上海沈德医疗器械科技有限公司 Image-based motion detection method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110060315A (en) * 2009-11-30 2011-06-08 한국생산기술연구원 A method of recognizing self-localization for a road-driving robot
KR20110134228A (en) * 2010-06-08 2011-12-14 삼성전자주식회사 Apparatus for recognizing location using image and range data and method thereof
KR20120033414A (en) * 2010-09-30 2012-04-09 전자부품연구원 Robot for operating recognition of self-position and operation method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110060315A (en) * 2009-11-30 2011-06-08 한국생산기술연구원 A method of recognizing self-localization for a road-driving robot
KR101100827B1 (en) 2009-11-30 2012-01-02 한국생산기술연구원 A method of recognizing self-localization for a road-driving robot
KR20110134228A (en) * 2010-06-08 2011-12-14 삼성전자주식회사 Apparatus for recognizing location using image and range data and method thereof
KR20120033414A (en) * 2010-09-30 2012-04-09 전자부품연구원 Robot for operating recognition of self-position and operation method thereof

Also Published As

Publication number Publication date
KR20120112293A (en) 2012-10-11

Similar Documents

Publication Publication Date Title
KR101438377B1 (en) Apparatus and method for detecting position of moving unit
LU102028B1 (en) Multiple view multiple target tracking method and system based on distributed camera network
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
CN109035304B (en) Target tracking method, medium, computing device and apparatus
Sock et al. Multi-view 6D object pose estimation and camera motion planning using RGBD images
US7567704B2 (en) Method and apparatus for identifying physical features in video
JP5500559B2 (en) Object detection device
CN101271333B (en) Localization method for a moving robot
WO2012177336A2 (en) Systems and methods for estimating the geographic location at which image data was captured
KR101380628B1 (en) Method and apparatus for object tracking using multiple cameras
EP3593322B1 (en) Method of detecting moving objects from a temporal sequence of images
KR101379211B1 (en) Apparatus and method for detecting position of moving unit
CN113132717A (en) Data processing method, terminal and server
JP2020149641A (en) Object tracking device and object tracking method
CN111739099A (en) Falling prevention method and device and electronic equipment
CN109005390B (en) Method and system for establishing personnel distribution model based on signal intensity and video
CN113021355B (en) Agricultural robot operation method for predicting sheltered crop picking point
CA2787856A1 (en) Systems and methods for estimating the geographic location at which image data was captured
Kudo et al. Utilizing WiFi signals for improving SLAM and person localization
CN109583361A (en) The scene video text tracking method minimized based on energy
CN115767424A (en) Video positioning method based on RSS and CSI fusion
JP5960642B2 (en) 3D information acquisition method and 3D information acquisition apparatus
KR101280348B1 (en) Multiple target tracking method
CN110738229A (en) fine-grained image classification method and device and electronic equipment
Bejuri et al. Performance evaluation of spatial correlation-based feature detection and matching for automated wheelchair navigation system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180627

Year of fee payment: 5