KR102043366B1 - Method for measuring trajectory similarity between geo-referenced videos using largest common view - Google Patents

Method for measuring trajectory similarity between geo-referenced videos using largest common view Download PDF

Info

Publication number
KR102043366B1
KR102043366B1 KR1020180144898A KR20180144898A KR102043366B1 KR 102043366 B1 KR102043366 B1 KR 102043366B1 KR 1020180144898 A KR1020180144898 A KR 1020180144898A KR 20180144898 A KR20180144898 A KR 20180144898A KR 102043366 B1 KR102043366 B1 KR 102043366B1
Authority
KR
South Korea
Prior art keywords
fov
similarity
view
spatial reference
calculating
Prior art date
Application number
KR1020180144898A
Other languages
Korean (ko)
Inventor
남광우
서성보
송제민
이용미
웨이 띵
Original Assignee
(주)터보소프트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)터보소프트 filed Critical (주)터보소프트
Priority to KR1020180144898A priority Critical patent/KR102043366B1/en
Application granted granted Critical
Publication of KR102043366B1 publication Critical patent/KR102043366B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a method for determining similarity between geo-referenced videos and, more specifically, to a trajectory similarity measurement method between geo-referenced videos using a maximum common view. For example, in order to solve the problem of the prior art that conventional similarity measurement algorithms, such as Hausdorff and Longest Common SubSequence (LCSS), have limitations because it is difficult to achieve video classification with semantically similarity simply by considering similarities between movement trajectories, the present invention gives higher similarity values to objects moving while looking at a common space, even in slightly different trajectories, by considering the field of view (FoV) of a geo-referenced video. Therefore, image processing can be done more quickly and accurately than conventional LCSS algorithms, such as grouping using the point of interest, at which a subject of interest such as a photographed person is looking or clustering of the geo-referenced video acquired by a mobile device according to a photographed space.

Description

최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법{Method for measuring trajectory similarity between geo-referenced videos using largest common view} Method for measuring trajectory similarity between geo-referenced videos using largest common view}

본 발명은 공간참조 영상(geo-referenced video, 이하, "GeoVideo"라고도 함)들간의 유사성(similarity)을 판별하는 방법에 관한 것으로, 더 상세하게는, 예들 들면, 하우스도르프(Hausdorff) 및 최장 공통 서브시퀀스(Longest Common SubSequence ; LCSS) 등과 같은 기존의 유사도 측정 알고리즘들은 단순히 이동궤적간의 유사성만을 고려함으로 인해 의미적으로 유사도를 가지는 영상분류가 이루어지기 어려운 한계가 있었던 종래기술의 문제점을 해결하기 위해, 공간참조 영상의 시선 뷰(FoV) 까지 고려하여 기존의 유사도 측정 알고리즘을 더욱 확장 및 개선시킬 수 있도록 구성되는 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법에 관한 것이다. The present invention relates to a method for determining similarity between geo-referenced video (hereinafter also referred to as "GeoVideo"), and more specifically, for example, Hausdorff and the longest common. Conventional similarity measurement algorithms such as Longest Common SubSequence (LCSS) have solved the problems of the prior art, in which the classification of images having semantically similarity is difficult to be achieved simply by considering similarities between movement trajectories. The present invention relates to a method of measuring trajectory similarity between spatial reference images using a maximum common view configured to further extend and improve an existing similarity measurement algorithm by considering a gaze view (FoV) of a spatial reference image.

또한, 본 발명, 상기한 바와 같이 기존의 유사도 측정 알고리즘을 더욱 확장 및 개선하기 위해, 공간참조 영상의 시선 뷰(Field of View ; FoV) 까지 고려하여 약간 다른 궤적을 이동했더라도 공통 공간을 보면서 이동한 객체들에게 더 높은 유사성 값을 부여하도록 구성됨으로써, 촬영된 사람 등의 관심대상이 보고 있는 관심지점을 이용하여 그룹핑하거나, 모바일 기기에 의해 획득된 공간참조 영상들을 촬영된 공간에 따라 클러스터링하는 등과 같은 영상처리가 기존의 LCSS 알고리즘에 비해 보다 신속하고 정확하게 이루어질 수 있도록 구성되는 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법에 관한 것이다. In addition, in the present invention, in order to further extend and improve the existing similarity measuring algorithm, even if a slightly different trajectory is moved in consideration of the field of view (FoV) of the spatial reference image, the user moves while looking at the common space. It is configured to give a higher similarity value to one object, such as grouping by using the point of interest that the subject of interest, such as the photographed person is viewing, clustering the spatial reference images obtained by the mobile device according to the photographed space, etc. The present invention relates to a method for measuring trajectory similarity between spatial reference images using a maximum common view, which is configured to perform the same image processing more quickly and accurately than the conventional LCSS algorithm.

최근, GPS와 가속도계, 자이로센서 등의 소형화 기술의 발전과 함께, 스마트폰과 같은 모바일 장치나 대쉬캠(블랙박스) 등에 의해 취득되는 공간참조 영상(geo-referenced video ; Geo Video)의 생성이 점차 증가하고 있다. Recently, with the development of miniaturization technologies such as GPS, accelerometer and gyro sensor, generation of geo-referenced video (Geo Video) acquired by mobile devices such as smart phones, dash cams (black boxes), etc. is gradually increased. It is increasing.

즉, 일반적으로, 공간참조 영상은, 영상이 촬영된 지리적 위치와, 해당 영상이 어느 방향을 보고 촬영되었는지에 대한 정보 및 카메라의 촬영각도 등의 지리적, 위치적 정보를 포함하고 있는 영상을 의미한다. That is, generally, the spatial reference image refers to an image including geographic position at which the image is captured, information about which direction the image is taken, and geographic and positional information such as a photographing angle of the camera. .

구체적으로는, 기존의 일반적인 영상이 단지 동영상의 프레임만 포함하고 있는데 비해, 예를 들면, 스마트폰에 의해 촬영된 동영상, 일반적인 차량에 부착된 대쉬캠(블랙박스) 영상, 또는, 특정 장소에 설치된 CCTV에 의해 취득되는 영상 등과 같이, 공간참조 비디오(GeoVideo)는 영상이 촬영된 위도, 경도와 같은 위치정보와, 동영상의 내용이 어떤 방향을 보고 촬영되었는지에 대한 정보, 그리고 카메라의 촬영 각도 등의 정보를 포함하고 있다. Specifically, while the existing general video includes only video frames, for example, video captured by a smartphone, a dashcam (black box) video attached to a general vehicle, or installed in a specific place. Like video obtained by CCTV, GeoVideo includes location information such as latitude and longitude of the video, information about which direction the video was taken, and the camera's shooting angle. Contains information.

또한, 공간참조 영상은 GPS나 공간좌표 등을 통하여 쉽게 공간적인 정보와 결합될 수 있으므로, 이러한 공간참조 영상들의 촬영 공간정보를 이용하면 공간적인 흥미, 지역/지점(Region of Point/Region)들을 발견하기 위한 기반 데이터로 사용될 수 있다. In addition, since the spatial reference image can be easily combined with spatial information through GPS or spatial coordinates, using the spatial information of the spatial reference images, spatial interests and regions / points are discovered. Can be used as the base data for.

아울러, 상기한 바와 같이 공간참조 영상의 공간정보를 활용하기 위하여는 공간참조 영상들간의 유사도를 판별하여 서로 유사성을 가지는 영상끼리 분류하는 과정이 필요하며, 이를 위해, 종래, 예를 들면, 하우스도르프(Hausdorff) 및 최장 공통 서브시퀀스(Longest Common SubSequence ; LCSS) 등과 같은 유사도 측정 알고리즘들이 많이 사용되고 있다. In addition, in order to utilize the spatial information of the spatial reference images as described above, a process of classifying the images having similarities with each other by determining the similarity between the spatial reference images is required. For this purpose, for example, Hausdorff Similarity measurement algorithms, such as (Hausdorff) and Longest Common SubSequence (LCSS), are widely used.

여기서, 상기한 바와 같은 유사도 측정 알고리즘을 이용한 종래기술의 예로는, 예를 들면, 한국 공개특허공보 제10-2015-0071781호에 따르면, 입력영상을 수신하는 영상입력부; 영상입력부가 수신한 입력영상 내의 객체를 추적하여 객체의 이동궤적을 생성하는 객체 이동궤적 생성부; 객체 이동궤적 생성부가 생성한 객체의 이동궤적간의 하우스도르프 거리를 이용하여 유사도를 계산하고 객체의 이동궤적의 방향성에 따라 궤적모델을 생성하는 궤적모델 생성부; 및 궤적모델 생성부가 생성한 궤적모델을 이용하여 영상입력부가 수신한 분석 대상 영상내의 타겟의 이동궤적을 분석하고, 타겟의 이동궤적 분석 결과에 따라 타겟의 정상 행동 여부를 판단하는 이동궤적 분석부를 포함하여, 궤적의 진행방향 및 방향성에 대하여 분석함으로써 비정상적 행동 탐지가 가능하도록 구성되는 궤적변환 기반 이동궤적 모델링 장치에 관한 기술내용이 제시된 바 있다. Here, as an example of the prior art using the similarity measuring algorithm as described above, for example, according to Korean Patent Laid-Open Publication No. 10-2015-0071781, the image input unit for receiving an input image; An object movement trajectory generation unit for generating an object movement trajectory by tracking an object in the input image received by the image input unit; A trajectory model generation unit for calculating a similarity using the Hausdorff distance between the moving trajectories of the objects generated by the object moving trajectory generation unit and generating a trajectory model according to the direction of the moving trajectory of the object; And a movement trajectory analysis unit for analyzing a movement trajectory of the target in the analysis target image received by the image input unit by using the trajectory model generated by the trajectory model generator and determining whether the target is in normal behavior according to the movement trajectory analysis result of the target. Therefore, a description has been made of a trajectory transformation-based moving trajectory modeling apparatus configured to detect abnormal behavior by analyzing the progress direction and the direction of the trajectory.

더욱이, 상기한 바와 같은 유사도 측정 알고리즘을 이용한 종래기술의 다른 예로는, 예를 들면, 한국 등록특허공보 제10-1789979호에 따르면, 가시 이미지 및 적외선 이미지로부터 해리스 코너들을 추출하는 단계; 해리스 코너들을 각 코너의 그래디언트(gradient) 방향에 따라 복수의 코너 서브세트로 분류하는 단계 및 코너 서브세트들의 하우스도르프 거리에 기반하여 가중-하우스도르프 거리를 계산하는 단계를 포함하여, 하우스도르프 거리를 정확하게 계산하여 멀티-센서 이미지들의 정합 정확도를 향상시킬 수 있도록 구성되는 그래디언트 방향 정보에 기반한 하우스도르프 거리 계산방법에 관한 기술내용이 제시된 바 있다. Further, another example of the prior art using the similarity measurement algorithm as described above, for example, according to Korean Patent Publication No. 10-1789979, extracting Harris corners from the visible image and the infrared image; Classifying Harris corners into a plurality of corner subsets according to the gradient direction of each corner and calculating a weighted-Husdorf distance based on the Hausdorff distances of the corner subsets. A description has been made of a method for calculating the Hausdorff distance based on gradient direction information that is configured to accurately calculate and improve matching accuracy of multi-sensor images.

상기한 바와 같이, 종래, 공간참조 영상들간의 유사도를 측정하기 위한 여러 가지 기술내용들이 제시된 바 있으나, 상기한 바와 같은 종래기술의 내용들은 다음과 같은 문제점이 있는 것이었다. As described above, in the related art, various technical contents for measuring the similarity between spatial reference images have been presented, but the contents of the prior art as described above have the following problems.

더 상세하게는, 상기한 하우스도르프(Hausdorff) 및 LCSS 등과 같은 기존의 유사도 측정 알고리즘들은, 일반적으로, 단순히 이동 궤적간의 유사성, 즉, 궤적을 구성하는 선들간의 거리와 각도 등만이 고려되고, 영상의 시선 방향이나 카메라 각도 등과 같은 정보는 전혀 고려되지 않는다는 점에서 그 한계가 있는 것이었다. More specifically, the existing similarity measurement algorithms such as Hausdorff and LCSS generally only consider similarities between movement trajectories, that is, distances and angles between the lines constituting the trajectory, There was a limitation in that information such as the eye direction and the camera angle of the camera was not considered at all.

즉, 예를 들면, 동일한 궤적이라 해도 정반대의 방향을 가지는 영상의 경우 서로 유사도가 상대적으로 낮은 것으로 판단해야 하나, 상기한 바와 같은 기존의 유사도 측정 알고리즘들은 단지 두 지점의 거리만을 고려함으로 인해 궤적간의 거리가 가까울수록 무조건 유사도가 높은 것으로 판단하게 되는 문제점이 있다. That is, for example, even in the case of the same trajectory, images having opposite directions should be judged to have relatively low similarities. However, the conventional similarity measuring algorithms described above consider only distances between two trajectories. There is a problem that the closer the distance is, the higher the similarity is.

또한, 예를 들면, 쇼핑몰에서 손을 잡고 이동하는 다수의 엄마와 어린이 그룹들이 촬영된 영상의 경우를 가정하면, 상기한 바와 같은 기존의 알고리즘들은 단순히 궤적의 유사성만을 측정하므로 동일 군집(group)을 발견하는 데에는 유용하게 사용될 수 있으나, 보다 본질적인 특성인 엄마들과 어린이들을 구분하여 분류하는 것과 같이, 촬영된 사람이나 동물을 클러스터링하거나 분류하는 영상처리에 적용하기는 매우 어렵다는 문제도 있는 것이었다. Also, for example, assuming a case where an image of a plurality of mothers and children's groups moving hand in hand in a shopping mall is taken, the existing algorithms as described above merely measure the similarity of the trajectories, and thus the same group is generated. It could be useful to find, but it was also difficult to apply to image processing that clusters or classifies photographed people or animals, such as classifying mothers and children, which are more essential characteristics.

따라서 상기한 바와 같이, 단순히 이동궤적간의 유사성만을 고려하는 점에서 한계가 있었던 종래기술의 하우스도르프(Hausdorff) 및 LCSS와 같은 유사도 측정 알고리즘들의 문제점을 해결하기 위해서는, 공간참조 영상의 시선 뷰(FoV) 까지 고려하여 기존의 유사도 측정 알고리즘을 더욱 확장 및 개선시킬 수 있도록 구성되는 새로운 구성의 유사도 측정방법을 제공하는 것이 바람직하나, 아직까지 그러한 요구를 모두 만족시키는 장치나 방법은 제시되지 못하고 있는 실정이다. Therefore, as described above, in order to solve the problems of similarity measurement algorithms, such as Hausdorff and LCSS, which had limitations in considering only the similarity between movement trajectories, the gaze view (FoV) of the spatial reference image In consideration of the above, it is desirable to provide a similarity measuring method of a new configuration that is configured to further extend and improve the existing similarity measuring algorithm, but an apparatus or method that satisfies all such requirements has not been proposed until now.

[선행기술문헌] [Preceding technical literature]

1. 한국 공개특허공보 제10-2015-0071781호 (2015.06.29.) 1. Korean Patent Publication No. 10-2015-0071781 (2015.06.29.)

2. 한국 등록특허공보 제10-1789979호 (2017.10.19.) 2. Korean Registered Patent Publication No. 10-1789979 (2017.10.19.)

본 발명은 상기한 바와 같은 종래기술의 문제점을 해결하고자 하는 것으로, 따라서 본 발명의 목적은, 단순히 이동궤적간의 유사성만을 고려함으로 인해 의미적으로 유사도를 가지는 영상분류가 이루어지기 어려운 한계가 있었던 종래기술의 하우스도르프(Hausdorff) 및 LCSS와 같은 유사도 측정 알고리즘들의 문제점을 해결하기 위해, 공간참조 영상의 시선 뷰(FoV) 까지 고려하여 기존의 유사도 측정 알고리즘을 더욱 확장 및 개선시킬 수 있도록 구성되는 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법을 제공하고자 하는 것이다. The present invention is intended to solve the problems of the prior art as described above, and therefore, the object of the present invention is to limit the image classification with semantically similarity simply by considering only the similarity between the moving trajectories. In order to solve the problems of similarity measurement algorithms such as Hausdorff and LCSS, the maximum common view is configured to further extend and improve the existing similarity measurement algorithm by considering the gaze view (FoV) of spatial reference image. An object of the present invention is to provide a method for measuring trajectory similarity between spatial reference images.

또한, 본 발명의 다른 목적은, 상기한 바와 같이 기존의 유사도 측정 알고리즘을 더욱 확장 및 개선하기 위해, 공간참조 영상의 시선 뷰(FoV) 까지 고려하여 약간 다른 궤적을 이동했더라도 공통 공간을 보면서 이동한 객체들에게 더 높은 유사성 값을 부여하도록 구성됨으로써, 촬영된 사람 등의 관심대상이 보고 있는 관심지점을 이용하여 그룹핑하거나, 모바일 기기에 의해 획득된 공간참조 영상들을 촬영된 공간에 따라 클러스터링하는 등과 같은 영상처리가 기존의 LCSS 알고리즘에 비해 보다 신속하고 정확하게 이루어질 수 있도록 구성되는 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법을 제공하고자 하는 것이다. In addition, another object of the present invention is to move while looking at the common space even if slightly different trajectories are moved in consideration of the gaze view (FoV) of the spatial reference image in order to further expand and improve the existing similarity measurement algorithm as described above. It is configured to give a higher similarity value to one object, such as grouping by using the point of interest that the subject of interest, such as the photographed person is viewing, clustering the spatial reference images obtained by the mobile device according to the photographed space, etc. It is an object of the present invention to provide a method of measuring trajectory similarity between spatial reference images using a maximum common view configured to allow the same image processing to be performed more quickly and accurately than the conventional LCSS algorithm.

상기한 바와 같은 목적을 달성하기 위해, 본 발명에 따르면, 공간참조 영상(geo-referenced video ; GeoVideo)의 시선 뷰(Field of View ; FoV)를 고려하여 공간참조 영상들간의 유사성(similarity)을 판별하기 위한 처리가 컴퓨터나 전용의 하드웨어에 의해 수행되도록 구성되는 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법에 있어서, 상기 처리는, 두 개의 공간참조 영상(GeoVideo)에 대하여 각각의 시선 뷰(FoV)에 대한 공통 뷰 가중치(Common View Weight ; CVW)를 산출하는 공통 뷰 가중치(CVW) 산출단계; 상기 공통 뷰 가중치(CVW)를 이용하여, 상기 두 개의 공간참조 영상에 대한 최대 공통 뷰 기반 유사도 거리를 산출하는 유사도 거리 산출단계; 상기 유사도 거리를 이용하여, 상기 두 개의 공간참조 영상에 대한 최대 공통 뷰 기반 유사도 함수를 산출하는 유사도(Similarity) 함수 산출단계; 및 상기 유사도(Similarity) 함수를 이용하여, 상기 두 개의 공간참조 영상에 대한 공통 뷰 서브시퀀스 거리함수(Distance)를 산출하는 거리함수(Distance) 산출단계를 포함하여 구성되는 것을 특징으로 하는 공간참조 영상들간의 궤적 유사도 측정방법이 제공된다. In order to achieve the above object, according to the present invention, the similarity (similarity) between the spatial reference images is determined in consideration of the field of view (FoV) of the geo-referenced video (GeoVideo) In the method for measuring the trajectory similarity between spatial reference images using a maximum common view configured to be performed by a computer or dedicated hardware, the processing includes: each gaze view for two spatial reference images (GeoVideo). Calculating a common view weight (CVW) for calculating a common view weight (CVW) for the FoV; A similarity distance calculating step of calculating a maximum common view based similarity distance with respect to the two spatial reference images using the common view weight CVW; Calculating a similarity function using the similarity distance to calculate a maximum common view based similarity function for the two spatial reference images; And calculating a distance function (Distance) for calculating a common view subsequence distance function for the two spatial reference images by using the similarity function. A method of measuring trajectory similarity between the two is provided.

여기서, 상기 공통 뷰 가중치(CVW) 산출단계는, 이하의 수학식을 이용하여 View(fovi)와 View(fovj) 사이의 공통 뷰 가중치(CVW)를 산출하는 처리가 수행되도록 구성되는 것을 특징으로 한다. The calculating of the common view weight CV may be performed such that a process of calculating the common view weight CVW between the View fov i and the View fov j is performed using the following equation. It is done.

Figure 112018116373475-pat00001
Figure 112018116373475-pat00001

(여기서, View(fovi) 및 View(fovj)는 각각 fovi 및 fovj에 의해 생성되는 시선 뷰 영역을 나타내는 함수이며, fovi = (pi, ri, θi, δi) 이고, fovj = (pj, rj, θj, δj) 이며, pi 및 pj는 각각 GPS에 의해 획득되는 공간참조 프레임이 촬영된 카메라 위치이고, ri 및 rj는 각각 카메라에 의해 촬영된 영상에 포함될 수 있는 최대거리이며, θi 및 θj는 각각 카메라가 바라보는 방향을 북쪽을 기준으로 표현한 카메라 시선각도이고, δi 및 δi는 각각 카메라 렌즈에 의해 촬영될 수 있는 수평 최대각도를 나타냄) (Where View (fov i ) and View (fov j ) are functions representing the gaze view area generated by fov i and fov j , respectively, and fov i = (p i , r i , θ i , δ i ) , fov j = (p j , r j , θ j , δ j ), p i and p j are the camera positions at which the spatial reference frames obtained by GPS are taken, and r i and r j are respectively The maximum distance that can be included in the image taken by the camera, θ i and θ j are the angles of view of the camera expressing the direction of the camera with respect to the north, respectively, and δ i and δ i are respectively photographed by the camera lens. Indicates the maximum horizontal angle)

또한, 상기 유사도 거리 산출단계는, 이하의 수학식을 이용하여 상기 두 개의 공간참조 영상에 대한 최대 공통 뷰 기반 유사도 거리를 산출하는 처리가 수행되도록 구성되는 것을 특징으로 한다. The similarity distance calculating step may be configured to perform a process of calculating a maximum common view based similarity distance for the two spatial reference images using the following equation.

Figure 112018116373475-pat00002
Figure 112018116373475-pat00002

(여기서, 두 개의 공간참조 영상 GVa와 GVb가 각각 m개와 n개의 fov을 가지는 것으로 할 때, A = {fov1, …, fovm)} 이고, B = {fov1, …, fovn)} 이며, Head(A) = {fov1, …, fovm-1)} 이고, Head(B) = {fov1, …, fovn-1)} 이며, σ는 최소 시간 한계값을 나타내는 상수임) (Where, when two spatial reference images GVa and GVb have m and n fovs, respectively, A = {fov 1 , ..., fov m )} and B = {fov 1 ,... , fov n )}, Head (A) = {fov 1 ,... , fov m-1 )} and Head (B) = {fov 1 ,... , fov n-1 )}, where σ is a constant representing the minimum time limit)

아울러, 상기 유사도 함수 산출단계는, 이하의 수학식을 이용하여 상기 두 개의 공간참조 영상의 A와 B 사이의 최대 공통 뷰 기반 유사도 함수를 산출하는 처리가 수행되도록 구성되는 것을 특징으로 한다. The calculating of the similarity function may be performed such that a process of calculating a maximum common view based similarity function between A and B of the two spatial reference images is performed using the following equation.

Figure 112018116373475-pat00003
Figure 112018116373475-pat00003

더욱이, 상기 거리함수(Distance) 산출단계는, 이하의 수학식을 이용하여 상기 거리함수(Distance)를 산출하는 처리가 수행되도록 구성되는 것을 특징으로 한다. Further, the distance calculation step may be configured to perform a process of calculating the distance function by using the following equation.

Figure 112018116373475-pat00004
Figure 112018116373475-pat00004

또한, 상기 측정방법은, 상기 공통 뷰 가중치(CVW) 산출단계에서, 상기 View(fovi) 및 상기 View(fovj) 대신에, 상기 View(fovi) 및 상기 View(fovj)에 대하여 각각 도출된 최소 바운딩 삼각형(minimum bounding triangle ; MBT) 영역에 대한 시선 뷰 영역을 나타내는 함수(ViewTraingle(fovi) 및 ViewTraingle(fovj))를 이용하여 상기 공통 뷰 가중치(CVW)를 산출하는 것에 의해 연산을 단순화하도록 구성되는 것을 특징으로 한다. Further, the measuring method, each step calculates said common view weight (CVW), and the View (fov i) and in place of the View (fov j), with respect to the View (fov i) and the View (fov j) Calculation by calculating the common view weights CVW using the functions representing the gaze view area for the derived minimum bounding triangle (MBT) area (ViewTraingle (fov i ) and ViewTraingle (fov j )) It is characterized in that it is configured to simplify.

아울러, 본 발명에 따르면, 상기에 기재된 공간참조 영상들간의 궤적 유사도 측정방법을 컴퓨터나 전용의 하드웨어에 실행시키도록 구성되는 프로그램이 기록된 컴퓨터에서 판독 가능한 기록매체가 제공된다. In addition, according to the present invention, there is provided a computer-readable recording medium having recorded thereon a program configured to execute a trajectory similarity measuring method between the spatial reference images described above on a computer or dedicated hardware.

상기한 바와 같이, 본 발명에 따르면, 공간참조 영상의 시선 뷰(FoV) 까지 고려하여 약간 다른 궤적을 이동했더라도 공통 공간을 보면서 이동한 객체들에게 더 높은 유사성 값을 부여하도록 구성되는 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법이 제공됨으로써, 촬영된 사람 등의 관심대상이 보고 있는 관심지점을 이용하여 그룹핑하거나, 모바일 기기에 의해 획득된 공간참조 영상들을 촬영된 공간에 따라 클러스터링하는 등과 같은 영상처리가 기존의 LCSS 알고리즘에 비해 보다 신속하고 정확하게 이루어질 수 있다. As described above, according to the present invention, the maximum common view is configured to give higher similarity values to the moved objects while looking at the common space even though a slightly different trajectory has been moved in consideration of the eye view (FoV) of the spatial reference image. By providing a method for measuring the trajectory similarity between spatial reference images using an image, grouping by using a point of interest viewed by a subject of interest, such as a photographed person, or clustering spatial reference images acquired by a mobile device according to a photographed space Such image processing can be performed more quickly and accurately than the conventional LCSS algorithm.

또한, 본 발명에 따르면, 상기한 바와 같이 시선 뷰(FoV)를 고려하는 것에 의해 관심대상이 보고 있는 관심지점을 이용하여 그룹핑하거나 촬영된 공간에 따라 클러스터링하는 처리가 신속하고 정확하게 이루어질 수 있도록 구성되는 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법이 제공됨으로써, 단순히 이동궤적간의 유사성만을 고려함으로 인해 의미적으로 유사도를 가지는 영상분류가 이루어지기 어려운 한계가 있었던 종래기술의 하우스도르프(Hausdorff) 및 LCSS 등과 같은 유사도 측정 알고리즘들의 문제점을 해결하고, 기존의 알고리즘을 더욱 확장 및 개선시킬 수 있다. In addition, according to the present invention, by considering the gaze view (FoV) as described above, by using the point of interest that the point of interest is grouped or clustered according to the photographed space can be configured to be carried out quickly and accurately By providing a method for measuring trajectory similarity between spatial reference images using the maximum common view, Hausdorff of the prior art had a limitation in that image classification with semantically similarity was difficult to be achieved simply by considering similarity between moving trajectories. And solve the problems of similarity measurement algorithms, such as LCSS, and can further extend and improve the existing algorithm.

도 1은 궤적 유사성을 가지는 공간참조 영상(GeoVideo)의 예를 나타내는 도면이다.
도 2는 GeoVideo에서의 FoV 모델의 예를 개략적으로 나타내는 도면이다.
도 3은 ViewTraingle(fovi)을 이용한 View(fovi) 영역 연산의 단순화에 대한 개념을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법의 전체적인 구성을 개략적으로 나타내는 도면이다.
1 is a diagram illustrating an example of a spatial reference image (GeoVideo) having trajectory similarity.
2 is a diagram schematically showing an example of a FoV model in GeoVideo.
FIG. 3 is a diagram schematically illustrating a concept of simplification of view (fov i ) region calculation using ViewTraingle (fov i ).
4 is a diagram schematically showing the overall configuration of a method for measuring trajectory similarity between spatial reference images using a maximum common view according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여, 본 발명에 따른 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법의 구체적인 실시예에 대하여 설명한다. Hereinafter, a detailed embodiment of a trajectory similarity measuring method between spatial reference images using the maximum common view according to the present invention will be described with reference to the accompanying drawings.

여기서, 이하에 설명하는 내용은 본 발명을 실시하기 위한 하나의 실시예일 뿐이며, 본 발명은 이하에 설명하는 실시예의 내용으로만 한정되는 것은 아니라는 사실에 유념해야 한다. Here, it should be noted that the contents described below are only one embodiment for carrying out the present invention, and the present invention is not limited to the contents of the embodiments described below.

또한, 이하의 본 발명의 실시예에 대한 설명에 있어서, 종래기술의 내용과 동일 또는 유사하거나 당업자의 수준에서 용이하게 이해하고 실시할 수 있다고 판단되는 부분에 대하여는, 설명을 간략히 하기 위해 그 상세한 설명을 생략하였음에 유념해야 한다. In addition, in the following description of the embodiments of the present invention, the same or similar to the contents of the prior art, or the part judged to be easily understood and implemented at the level of those skilled in the art, the detailed description for simplicity of explanation Note that omit.

즉, 본 발명은, 후술하는 바와 같이, 단순히 이동궤적간의 유사성만을 고려함으로 인해 의미적으로 유사도를 가지는 영상분류가 이루어지기 어려운 한계가 있었던 종래기술의 하우스도르프(Hausdorff) 및 LCSS와 같은 유사도 측정 알고리즘들의 문제점을 해결하기 위해, 공간참조 영상의 시선 뷰(FoV) 까지 고려하여 기존의 유사도 측정 알고리즘을 더욱 확장 및 개선시킬 수 있도록 구성되는 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법에 관한 것이다. That is, the present invention, as will be described later, similarity measurement algorithms such as Hausdorff and LCSS of the prior art that it was difficult to achieve the image classification having a semantic similarity simply by considering only the similarity between the movement trajectories In order to solve the problem, a method of measuring the trajectory similarity between spatial reference images using the maximum common view configured to further extend and improve the existing similarity measuring algorithm considering the eye view of the spatial reference image (FoV) will be.

아울러, 본 발명은, 후술하는 바와 같이, 기존의 유사도 측정 알고리즘을 더욱 확장 및 개선하기 위해, 공간참조 영상의 시선 뷰(FoV) 까지 고려하여 약간 다른 궤적을 이동했더라도 공통 공간을 보면서 이동한 객체들에게 더 높은 유사성 값을 부여하도록 구성됨으로써, 촬영된 사람 등의 관심대상이 보고 있는 관심지점을 이용하여 그룹핑하거나, 모바일 기기에 의해 획득된 공간참조 영상들을 촬영된 공간에 따라 클러스터링하는 등과 같은 영상처리가 기존의 LCSS 알고리즘에 비해 보다 신속하고 정확하게 이루어질 수 있도록 구성되는 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법에 관한 것이다. In addition, the present invention, in order to further expand and improve the existing similarity measurement algorithm, as described later, even if the trajectory slightly moved in consideration of the gaze view (FoV) of the spatial reference image, the object moved while looking at the common space Images to be grouped by using a point of interest viewed by a subject of interest, such as a photographed person, or clustering spatial reference images acquired by a mobile device according to a photographed space. The present invention relates to a method for measuring trajectory similarity between spatial reference images using a maximum common view, which is configured to be processed more quickly and accurately than the conventional LCSS algorithm.

계속해서, 도면을 참조하여, 본 발명에 따른 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법의 구체적인 내용에 대하여 설명한다. Subsequently, a detailed description of a trajectory similarity measuring method between spatial reference images using the maximum common view according to the present invention will be described with reference to the drawings.

먼저, 도 1을 참조하면, 도 1은 궤적 유사성을 가지는 공간참조 영상(GeoVideo)의 예를 나타내는 도면이다. First, referring to FIG. 1, FIG. 1 is a diagram illustrating an example of a spatial reference image (GeoVideo) having trajectory similarity.

도 1에 있어서, geovideo 1과 geovideo 2 및 geovideo 3은 서로 비슷한 궤적을 가지는 서로 다른 geovideo들의 예를 나타내고 있으며, 이는, 예를 들면, 어떤 관광명소(attraction)에서 세명의 사람이 동일한 방향으로 움직이며 비디오를 촬영하는 것으로 가정할 수 있다. In FIG. 1, geovideo 1, geovideo 2 and geovideo 3 show examples of different geovideos with similar trajectories, for example, where three people move in the same direction at an attraction. It can be assumed to shoot video.

여기서, Hausdorff나 LCSS와 같은 기존의 거리기반 유사성 알고리즘에서는 단순히 궤적간의 거리만을 고려하므로 geovideo 1과 가장 유사한 궤적은 geovideo 2인 것으로 판단하게 되나, 영상의 시선 뷰(FoV)를 고려하면, geovideo 1과 좀 더 의미적인 유사성을 가지는 것은 geovideo 3이 된다. Here, in the existing distance-based similarity algorithms such as Hausdorff and LCSS, only the distance between the trajectories is taken into consideration. Therefore, the most similar trajectory to geovideo 1 is determined to be geovideo 2, but considering the video eye view (FoV), geovideo 1 and More semantic similarity is geovideo 3.

또한, 예를 들면, 쇼핑몰에서 손을 잡고 이동하는 다수의 엄마와 어린이 그룹들이 촬영된 영상의 경우, 기존의 알고리즘은 동일 군집(group)을 발견하는데에는 유용한 반면, 보다 본질적인 특성인 엄마들과 어린이들을 구분하기는 매우 어려운 한계가 있으나, 영상의 시선 뷰(FoV)를 고려하면, 두 객체가 서로의 관심사에 따라 서로 다른 상점들을 보면서 지나간 공통 FoV를 이용하여 엄마들과 어린이들의 그룹을 구분할 수 있을 것으로 기대된다. Also, for example, in the case of images of a large number of mothers and children's groups moving hand in hand in a shopping mall, the existing algorithm is useful for finding the same group, while mothers and children are more essential characteristics. It is very difficult to distinguish between them, but considering the visual view (FoV) of the image, it is possible to distinguish the group of mothers and children using the common FoV passed by two objects while looking at different stores according to their interests. It is expected to be.

더 상세하게는, GeoVideo들간의 유사성을 측정하는 데 적용될 수 있는 가장 일반적인 알고리즘들은 거리 기반 유사성 측정 알고리즘으로서, 유클리디언 거리를 이용하거나, Hausdorff 거리기반 알고리즘을 이용하거나, LCSS(Longest Common SubSequence)를 이용한 방법, 동적 타임 워핑(Dynamic Time Warping ; DTW )을 이용한 방법들이 있으며, 이러한 궤적 유사성 척도들의 공통적인 문제점은 궤적을 구성하는 선들 간의 거리와 각도 등만을 고려하고, 영상의 시선 방향이나 카메라 각도 등이 고려되지 않는다는 것이다. More specifically, the most common algorithms that can be applied to measure similarity between GeoVideos are distance-based similarity measurement algorithms, such as Euclidean distance, Hausdorff distance-based algorithm, or Longest Common SubSequence (LCSS). There are methods using dynamic time warping (DTW), and the common problem of these trajectory similarity measures is considering only the distance and angle between the lines constituting the trajectory, and the visual direction of the image or the camera angle. This is not considered.

여기서, 상기한 알고리즘들 중 FoV를 적용할 수 있는 가장 근접한 것은 공통 서브시퀀스(common subsequence) 개념을 사용하는 LCSS 알고리즘으로, LCSS 알고리즘은 공통 서브시퀀스를 구성하는 조건으로 두 궤적상의 두 지점상의 거리한계 값(threshold) ε와 시간한계값 δ를 사용한다. Here, the closest to which FoV can be applied is the LCSS algorithm using a common subsequence concept. The LCSS algorithm is a condition that constitutes a common subsequence, and the distance limit between two points on two trajectories. Use the value ε and the time limit value δ.

그러나 LCSS 알고리즘은, 카메라에 의해 촬영될 예상거리를 거리한계값 ε 로 설정했을 때, 두 카메라의 FoV 지점간의 거리가 ε 이내에 있을 경우에는 무조건 1의 값이 반환된다는 문제점이 있다. However, the LCSS algorithm has a problem that when the estimated distance to be photographed by the camera is set to the distance limit value ε, the value 1 is unconditionally returned when the distance between the FoV points of the two cameras is within ε.

즉, 도 1에서 나타낸 바와 같이, geovideo 데이터가 일정한 거리 ε 이내에 있거나 심지어 동일한 궤적이라 해도 정반대의 공간을 포함한 영상일 수 있으며, 이러한 경우에는 0의 값이 반환되어야 한다. That is, as shown in FIG. 1, even if the geovideo data is within a certain distance ε or even the same trajectory, it may be an image including the opposite space, in which case a value of 0 should be returned.

이에, 본 발명에서는, 상기한 바와 같은 종래기술의 문제점을 개선하기 위해, geovideo 데이터간의 유사성 계산을 위하여 두 geovideo간의 공통 뷰 만큼의 가중치를 반환하도록 LCSS를 확장한 방법을 제안하였다. Accordingly, in the present invention, in order to improve the problems of the prior art as described above, a method of extending the LCSS to return a weight as much as a common view between two geovideo for calculating the similarity between geovideo data.

더 상세하게는, 도 2를 참조하면, 도 2는 GeoVideo에서의 FoV 모델의 예를 개략적으로 나타내는 도면이다. More specifically, referring to FIG. 2, FIG. 2 is a diagram schematically showing an example of a FoV model in GeoVideo.

즉, 일반적인 영상은 비디오 프레임들의 순서화된 모음으로 표현될 수 있는데 비해, Geovideo는 일반적인 비디오 프레임과 함께 각 프레임에 대한 공간참조 프레임 정보들로 구성된다. That is, a general video can be represented as an ordered collection of video frames, whereas Geovideo consists of spatial reference frame information for each frame along with a general video frame.

여기서, 공간참조 프레임 정보들의 집합을 GV라 할 때, 하나의 공간참조 비디오 정보 GV = { gvi|∀gvi∈GV} 이고, 이는 각 비디오 프레임에 공간참조값을 가지는 비디오 프레임인 공간 비디오 프레임 gv들의 순서화된 모음으로 표현될 수 있다. Here, when a set of spatial reference frame information is called GV, one spatial reference video information GV = {gv i | ∀gv i ∈GV}, which is a video frame having a spatial reference value in each video frame gv It can be expressed as an ordered collection of these.

즉, 어떤 공간참조 프레임 gvi가 있다고 할 때, gvi = (fi, fovi) 이며, 이 때, fi는 실제 비디오상의 특정 비디오 프레임을 포인팅하기 위한 정보이며, fovi = (pi, ri, θi, δi) 이다. That is, given a spatial reference frame gvi, gv i = (f i , fov i ), where f i is information for pointing to a specific video frame on the actual video, and fov i = (p i , r i , θ i , δ i ).

또한, 도 2에 있어서, pi는 카메라 위치로서 GPS에 의해 획득되는 공간참조 프레임이 촬영된 위치이고, ri는 시건거리로서 카메라에 의해 촬영된 영상에 포함될 수 있는 최대거리이며, θi는 카메라 시선각도로서 카메라가 바라보는 방향을 북쪽을 기준으로 표현한 각도이고, δi는 카메라 렌즈 수평각도로서 카메라 렌즈에 의해 촬영될 수 있는 수평 최대각도를 각각 의미한다. Also, in FIG. 2, p i is a location where a spatial reference frame acquired by GPS is captured as a camera location, r i is a maximum distance that can be included in an image photographed by the camera as a blind distance, and θ i is The camera viewing angle is an angle expressed by the north facing the camera, and δ i is a camera lens horizontal angle, which means a horizontal maximum angle that can be photographed by the camera lens.

여기서, 일반적으로, 카메라 렌즈는 수평뿐만 아니라 수직 최대각도도 가지나, 여기에서는 단순화를 위해 생략하여 표현하였음에 유념해야 한다. Here, in general, the camera lens has a vertical maximum angle as well as horizontal, it should be noted that it is omitted here for simplicity.

아울러, 어떤 fovi와 fovj들에 의해 생성되는 시선 뷰 영역을 도출하기 위한 함수를 각각 View(fovi)와 View(fovj)라 하면, 두 View(fovi)와 View(fovj) 사이의 공통 뷰 가중치(Common View Weight ; CVW)를 구하는 함수 CVW는 이하의 [수학식 1]과 같이 나타낼 수 있다. In addition, a function for deriving the gaze view area generated by certain fov i and fov j is called View (fov i ) and View (fov j ), respectively, between two View (fov i ) and View (fov j ). The function CVW for obtaining the common view weight (CVW) of may be expressed by Equation 1 below.

[수학식 1] [Equation 1]

Figure 112018116373475-pat00005
Figure 112018116373475-pat00005

여기서, 상기한 [수학식 1]에 있어서, |View(fovi))∪View(fovj)|는 두 공간에 대한 합영역(union) 연산에 의해 생성된 공간의 면적이며, |(View(fovi))∩View(fovj)|의 결과는 두 공간에 대한 교차영역(intersection) 연산에 의해 생성된 공간의 면적을 각각 의미한다. Here, in the above Equation 1, | View (fov i )) ovView (fov j ) | is the area of the space generated by the union operation for the two spaces, and | (View ( The result of fov i )) ∩View (fov j ) | means the area of space created by the intersection operation on two spaces.

만약, 두 View(fovi)와 View(fovj) 사이에 공통영역이 전혀 없다면 CVW(fovi, fovj)는 0이 될 것이며, 공통 뷰가 존재한다면 공통 뷰의 비율 만큼 가중치를 갖게 된다. If there is no common area between two View (fov i ) and View (fov j ), CVW (fov i , fov j ) will be 0. If there is a common view, it will be weighted by the ratio of the common view.

또한, 두 개의 공간참조 비디오 정보 GVa와 GVb가 있고, A와 B가 각각 GVa 와 GVb로부터 도출된 m개와 n개의 fov을 가진다고 가정하면, A = {fov1, …, fovm)} 이고, B = {fov1, …, fovn)} 이며, Head(A)는 Head(A) = {fov1, …, fovm-1)}이 되도록 하는 함수이다. Further, assuming that there are two spatial reference video information GVa and GVb, and A and B have m and n fovs derived from GVa and GVb, respectively, A = {fov 1 ,... , fov m )} and B = (fov 1 ,... , fov n )}, and Head (A) is Head (A) = {fov 1 ,... , fov m-1 )}.

아울러, 최소 시간 한계값 σ가 주어졌을 때 A와 B에 대한 최대 공통 뷰 기반 유사도 거리 알고리즘 LCVSσ(A,B)는 이하의 [수학식 2]와 같이 정의될 수 있다. In addition, when the minimum time limit value σ is given, the maximum common view based similarity distance algorithm LCVSσ (A, B) for A and B may be defined as Equation 2 below.

[수학식 2] [Equation 2]

Figure 112018116373475-pat00006
Figure 112018116373475-pat00006

여기서, 상기한 [수학식 2]에 있어서, 상수 σ는 두 개의 geovideo들이 시간적으로 얼마나 멀리 떨어져 있을 때까지 매칭을 위해 사용될 수 있는지를 제어하기 위한 상수이다. Here, in Equation 2 above, the constant σ is a constant for controlling how far apart two geovideos can be used for matching until in time.

또한, 최소 시간 한계값 σ가 주어졌을 때 두 개의 geovideo들의 FoV의 A, B 사이의 유사도(Similarity) 함수는 이하의 [수학식 3]과 같이 정의될 수 있다. In addition, when a minimum time limit value σ is given, a similarity function between A and B of FoV of two geovideos may be defined as in Equation 3 below.

[수학식 3] [Equation 3]

Figure 112018116373475-pat00007
Figure 112018116373475-pat00007

즉, 상기한 [수학식 3]에 있어서, LCVSσ(A,B)가 반환할 수 있는 최대값은 min(m,n)이므로, 기본적인 Similarity 함수는 LCVSσ(A,B)를 m과 n 중에서 작은 수로 나눈 값이다. That is, in the above Equation 3, since the maximum value that LCVSσ (A, B) can return is min (m, n), the basic Similarity function has LCVSσ (A, B) smaller than m and n. Divided by number.

이러한 Similarity 함수는 LCSS에서 공간적 이동(shift)을 지원하기 위해 확장된 것과 같이 약간의 수정을 거쳐 확장될 수 있으며, 아울러, 최소 시간 한계값 σ가 주어졌을 때 이러한 Similarity 함수를 기반으로 한 공통 뷰 서브시퀀스 거리함수 Distance는 이하의 [수학식 4]와 같이 정의될 수 있다. This Similarity function can be extended with some modifications, such as extended to support spatial shift in LCSS, and, given the minimum time limit σ, a common view sub-based on this Similarity function. The sequence distance function Distance may be defined as shown in Equation 4 below.

[수학식 4] [Equation 4]

Figure 112018116373475-pat00008
Figure 112018116373475-pat00008

상기한 [수학식 4]에 있어서, LCVSσ(A,B)와 LCVSσ(B,A)는 동일하므로, 상기한 거리함수 Distance는 순서와 상관없이 대칭적으로 동작한다. In the above Equation 4, since LCVSσ (A, B) and LCVSσ (B, A) are the same, the distance function Distance operates symmetrically regardless of the order.

계속해서, 도 3을 참조하면, 도 3은 ViewTraingle(fovi)을 이용한 View(fovi) 영역 연산의 단순화에 대한 개념을 개략적으로 나타낸 도면이다. Subsequently, referring to FIG. 3, FIG. 3 schematically illustrates a concept of simplification of view (fov i ) region calculation using ViewTraingle (fov i ).

더 상세하게는, 상기한 바와 같은 알고리즘에서 가장 많은 계산비용을 필요로 하는 것은 각 fov들을 이용하여 활꼴(segment) 모양의 FoV 영역을 만드는 View(fovi)와 교차영역연산 View(fovi)∩View(fovj) 및 합영역연산 View(fovi)∪View(fovj) 연산을 수행하는 것이다. More specifically, the most computational cost in the algorithm described above is that View (fov i ) and cross-domain computation View (fov i ) View (fov j ) and summation operation View (fov i ) ∪View (fov j )

이에, 본 발명에서는, 이러한 계산비용을 최소화하기 위해, 도 3에 나타낸 바와 같이, ViewTriangle(fovi)을 사용하여 활꼴 영역이 아닌 최소 바운딩 삼각형(minimum bounding triangle ; MBT) 영역을 도출하도록 구성될 수 있다. Accordingly, in the present invention, in order to minimize such a calculation cost, as shown in FIG. 3, it may be configured to derive a minimum bounding triangle (MBT) region rather than an arcuate region using ViewTriangle (fov i ). have.

따라서 상기한 바와 같은 내용으로부터 본 발명의 실시예에 따른 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법을 구현할 수 있으며, 그것에 의해, 본 발명에 따르면, 약간 다른 궤적을 이동했더라도 공통 공간을 보면서 이동한 객체들에게 더 높은 유사성 값을 부여하도록 구성됨으로써, 비디오상에 촬영된 사람 등의 관심대상이 보고 있는 관심지점을 이용하여 그룹핑하거나, 모바일 기기에 의해 획득된 공간참조 비디오들을 촬영된 공간에 따라 클러스터링하는 등의 영상처리에 매우 유용하게 적용될 수 있다. Therefore, it is possible to implement a method for measuring trajectory similarity between spatial reference images using the maximum common view according to the embodiment of the present invention, whereby, according to the present invention, even if a slightly different trajectory is moved, the common space can be implemented. It is configured to give a higher similarity value to the moved objects while viewing the video, thereby grouping by using a point of interest viewed by the subject of interest, such as a person photographed on the video, or by recording spatial reference videos acquired by the mobile device. It can be very usefully applied to image processing such as clustering according to space.

더 상세하게는, 도 4를 참조하면, 도 4는 본 발명의 실시예에 따른 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법의 전체적인 구성을 각각 개략적으로 나타내는 도면이다. More specifically, referring to FIG. 4, FIG. 4 is a diagram schematically illustrating an overall configuration of a method for measuring trajectory similarity between spatial reference images using a maximum common view according to an exemplary embodiment of the present invention.

더 상세하게는, 도 4에 나타낸 바와 같이, 본 발명의 실시예에 따른 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법은, 크게 나누어, 먼저, 두 개의 공간참조 영상(geovideo)에 대하여 각각의 시선 뷰(Field of View ; FoV)에 대한 공통 뷰 가중치(CVW)를 산출하는 공통 뷰 가중치(CVW) 산출단계(S10)와, 두 개의 공간참조 영상에 대한 최대 공통 뷰 기반 유사도 거리를 산출하는 최대 공통 뷰 기반 유사도 거리 산출단계(S20)와, 두 개의 공간참조 영상에 대한 유사도(Similarity) 함수를 산출하는 유사도 함수 산출단계(S30) 및 상기한 유사도(Similarity) 함수에 근거하여 두 개의 공간참조 영상에 대한 공통 뷰 서브시퀀스 거리함수(Distance)를 산출하는 공통 뷰 서브시퀀스 거리함수(Distance) 산출단계(S40)를 포함하여 구성될 수 있다. In more detail, as shown in FIG. 4, a method of measuring trajectory similarity between spatial reference images using a maximum common view according to an embodiment of the present invention is divided into two categories. First, two spatial reference images are geovideo. A common view weight (CVW) calculating step (S10) for calculating a common view weight (CVW) for each field of view (FoV) and a maximum common view based similarity distance for two spatial reference images are calculated. A maximum common view based similarity distance calculation step (S20), a similarity function calculating step (S30) for calculating a similarity (Similarity) function for two spatial reference images, and two spatial based on the similarity (Similarity) function described above And calculating a common view subsequence distance function (Distance) for calculating a common view subsequence distance function (Distance) for the reference image.

여기서, 상기한 공통 뷰 가중치(CVW) 산출단계(S10)는, 상기한 [수학식 1]을 참조하여 상기한 바와 같이 하여 두 View(fovi)와 View(fovj) 사이의 공통 뷰 가중치(CVW)를 구하는 처리가 수행되도록 구성될 수 있다. Here, the common view weight (CVW) calculating step (S10), as described above with reference to the above [Equation 1], the common view weight between the two views (fov i ) and View (fov j ) ( CVW) can be configured to be performed.

또한, 상기한 최대 공통 뷰 기반 유사도 거리 산출단계(S20)는, 상기한 [수학식 2]를 참조하여 상기한 바와 같이 하여, 최소 시간 한계값 σ가 주어졌을 때 두 공간참조 영상의 A와 B에 대한 최대 공통 뷰 기반 유사도 거리를 산출하는 처리가 수행되도록 구성될 수 있다. In addition, the maximum common view-based similarity distance calculation step (S20), as described above with reference to [Equation 2], when the minimum time limit value σ is given A and B of two spatial reference images Processing to calculate the maximum common view based similarity distance for may be configured to be performed.

아울러, 상기한 유사도 함수 산출단계(S30)는, 상기한 [수학식 3]을 참조하여 상기한 바와 같이 하여, 최소 시간 한계값 σ가 주어졌을 때 두 공간참조 영상의 A와 B 사이의 유사도 함수를 산출하는 처리가 수행되도록 구성될 수 있다. In addition, the similarity function calculating step (S30), as described above with reference to [Equation 3], when the minimum time limit value σ is given, the similarity function between A and B of two spatial reference images May be configured to be performed.

더욱이, 상기한 거리함수(Distance) 산출단계(S40)는, 상기한 [수학식 4]를 참조하여 상기한 바와 같이 하여, 최소 시간 한계값 σ가 주어졌을 때 유사도 함수를 이용하여 거리함수(Distance)를 산출하는 처리가 수행되도록 구성될 수 있다. Further, the distance calculation step (S40), as described above with reference to [Equation 4], when the minimum time limit value σ is given, the distance function (Distance) using the similarity function May be configured to be performed.

여기서, 상기한 각 단계(S10 ~ S40)의 처리는 컴퓨터나 전용의 하드웨어를 통하여 수행되도록 구성될 수 있으며, 이를 위해, 본 발명은, 상기한 바와 같은 각 단계의 처리과정을 컴퓨터에 실행시키도록 구성되는 프로그램 또는 그러한 프로그램이 기록된 기록매체의 형태로 구성될 수도 있다. Here, the processing of each step (S10 ~ S40) can be configured to be performed through a computer or dedicated hardware, for this purpose, the present invention, to the computer to execute the processing of each step as described above It may be configured in the form of a program to be configured or a recording medium on which such a program is recorded.

따라서 상기한 바와 같이 하여 본 발명에 따른 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법을 구현할 수 있다. Accordingly, as described above, a trajectory similarity measuring method between spatial reference images using the maximum common view can be implemented.

또한, 상기한 바와 같이 하여 본 발명에 따른 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법을 구현하는 것에 의해, 본 발명에 따르면, 공간참조 영상의 시선 뷰(FoV) 까지 고려하여 약간 다른 궤적을 이동했더라도 공통 공간을 보면서 이동한 객체들에게 더 높은 유사성 값을 부여하도록 구성되는 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법이 제공됨으로써, 촬영된 사람 등의 관심대상이 보고 있는 관심지점을 이용하여 그룹핑하거나, 모바일 기기에 의해 획득된 공간참조 영상들을 촬영된 공간에 따라 클러스터링하는 등과 같은 영상처리가 기존의 LCSS 알고리즘에 비해 보다 신속하고 정확하게 이루어질 수 있다. In addition, by implementing the method of measuring the trajectory similarity between the spatial reference images using the maximum common view as described above, according to the present invention, slightly different in view of the eye view of the spatial reference image (FoV) Even if the trajectory is moved, a method of measuring trajectory similarity between spatial reference images using the maximum common view configured to give higher similarity values to the moved objects while looking at the common space can be reported by an interested person such as a photographed person. Image processing such as grouping by using a point of interest, or clustering spatial reference images obtained by the mobile device according to the photographed space may be performed more quickly and accurately than the conventional LCSS algorithm.

아울러, 본 발명에 따르면, 상기한 바와 같이 시선 뷰(FoV)를 고려하는 것에 의해 관심대상이 보고 있는 관심지점을 이용하여 그룹핑하거나 촬영된 공간에 따라 클러스터링하는 처리가 신속하고 정확하게 이루어질 수 있도록 구성되는 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법이 제공됨으로써, 단순히 이동궤적간의 유사성만을 고려함으로 인해 의미적으로 유사도를 가지는 영상분류가 이루어지기 어려운 한계가 있었던 종래기술의 하우스도르프(Hausdorff) 및 LCSS 등과 같은 유사도 측정 알고리즘들의 문제점을 해결하고, 기존의 알고리즘을 더욱 확장 및 개선시킬 수 있다. In addition, according to the present invention, by considering the gaze view (FoV) as described above, by using the point of interest that the interested point of view or grouping according to the photographed space can be configured to be quickly and accurately By providing a method for measuring trajectory similarity between spatial reference images using the maximum common view, Hausdorff of the prior art had a limitation in that image classification with semantically similarity was difficult to be achieved simply by considering similarity between moving trajectories. And solve the problems of similarity measurement algorithms, such as LCSS, and can further extend and improve the existing algorithm.

이상, 상기한 바와 같은 본 발명의 실시예를 통하여 본 발명에 따른 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법의 상세한 내용에 대하여 설명하였으나, 본 발명은 상기한 실시예에 기재된 내용으로만 한정되는 것은 아니며, 따라서 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 설계상의 필요 및 기타 다양한 요인에 따라 여러 가지 수정, 변경, 결합 및 대체 등이 가능한 것임은 당연한 일이라 하겠다. As described above, the details of the method for measuring the trajectory similarity between spatial reference images using the maximum common view according to the present invention have been described through the embodiments of the present invention. However, the present invention is not limited, and therefore, it is obvious that various modifications, changes, combinations, and substitutions may be made by those skilled in the art according to design needs and various other factors. I will call it work.

Claims (7)

공간참조 영상(geo-referenced video ; GeoVideo)의 시선 뷰(Field of View ; FoV)를 고려하여 공간참조 영상들간의 유사성(similarity)을 판별하기 위한 처리가 컴퓨터나 전용의 하드웨어에 의해 수행되도록 구성되는 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법에 있어서,
상기 처리는,
두 개의 공간참조 영상(GeoVideo)에 대하여 각각의 시선 뷰(FoV)에 대한 공통 뷰 가중치(Common View Weight ; CVW)를 산출하는 공통 뷰 가중치(CVW) 산출단계;
상기 공통 뷰 가중치(CVW)를 이용하여, 상기 두 개의 공간참조 영상에 대한 최대 공통 뷰 기반 유사도 거리를 산출하는 유사도 거리 산출단계;
상기 유사도 거리를 이용하여, 상기 두 개의 공간참조 영상에 대한 최대 공통 뷰 기반 유사도 함수를 산출하는 유사도(Similarity) 함수 산출단계; 및
상기 유사도(Similarity) 함수를 이용하여, 상기 두 개의 공간참조 영상에 대한 공통 뷰 서브시퀀스 거리함수(Distance)를 산출하는 거리함수(Distance) 산출단계를 포함하여 구성되는 것을 특징으로 하는 공간참조 영상들간의 궤적 유사도 측정방법.
A process for determining similarity between spatially-referenced images in consideration of a field of view (FoV) of geo-referenced video (GeoVideo) is configured to be performed by a computer or dedicated hardware. In the method for measuring trajectory similarity between spatial reference images using maximum common view,
The processing is
Calculating a common view weight (CVW) for calculating a common view weight (CVW) for each gaze view FoV for two spatial reference images GeoVideo;
A similarity distance calculating step of calculating a maximum common view based similarity distance with respect to the two spatial reference images using the common view weight CVW;
Calculating a similarity function using the similarity distance to calculate a maximum common view based similarity function for the two spatial reference images; And
And a distance function calculating step of calculating a common view subsequence distance function for the two spatial reference images using the similarity function. How to measure trajectory similarity of.
제 1항에 있어서,
상기 공통 뷰 가중치(CVW) 산출단계는,
이하의 수학식을 이용하여 View(fovi)와 View(fovj) 사이의 공통 뷰 가중치(CVW)를 산출하는 처리가 수행되도록 구성되는 것을 특징으로 하는 공간참조 영상들간의 궤적 유사도 측정방법.

Figure 112018116373475-pat00009


(여기서, View(fovi) 및 View(fovj)는 각각 fovi 및 fovj에 의해 생성되는 시선 뷰 영역을 나타내는 함수이며, fovi = (pi, ri, θi, δi) 이고, fovj = (pj, rj, θj, δj) 이며, pi 및 pj는 각각 GPS에 의해 획득되는 공간참조 프레임이 촬영된 카메라 위치이고, ri 및 rj는 각각 카메라에 의해 촬영된 영상에 포함될 수 있는 최대거리이며, θi 및 θj는 각각 카메라가 바라보는 방향을 북쪽을 기준으로 표현한 카메라 시선각도이고, δi 및 δi는 각각 카메라 렌즈에 의해 촬영될 수 있는 수평 최대각도를 나타냄)
The method of claim 1,
The common view weight (CVW) calculating step,
A method of measuring trajectory similarity between spatial reference images, wherein a process of calculating a common view weight CVW between View (fov i ) and View (fov j ) is performed by using the following equation.

Figure 112018116373475-pat00009


(Where View (fov i ) and View (fov j ) are functions representing the gaze view area generated by fov i and fov j , respectively, and fov i = (p i , r i , θ i , δ i ) , fov j = (p j , r j , θ j , δ j ), p i and p j are the camera positions at which the spatial reference frames obtained by GPS are taken, and r i and r j are respectively The maximum distance that can be included in the image taken by the camera, θ i and θ j are the angles of view of the camera expressing the direction of the camera with respect to the north, respectively, and δ i and δ i are respectively photographed by the camera lens. Indicates the maximum horizontal angle)
제 2항에 있어서,
상기 유사도 거리 산출단계는,
이하의 수학식을 이용하여 상기 두 개의 공간참조 영상에 대한 최대 공통 뷰 기반 유사도 거리를 산출하는 처리가 수행되도록 구성되는 것을 특징으로 하는 공간참조 영상들간의 궤적 유사도 측정방법.

Figure 112018116373475-pat00010


(여기서, 두 개의 공간참조 영상 GVa와 GVb가 각각 m개와 n개의 fov을 가지는 것으로 할 때, A = {fov1, …, fovm)} 이고, B = {fov1, …, fovn)} 이며, Head(A) = {fov1, …, fovm-1)} 이고, Head(B) = {fov1, …, fovn-1)} 이며, σ는 최소 시간 한계값을 나타내는 상수임)
The method of claim 2,
The similarity distance calculating step,
And a process for calculating a maximum common view based similarity distance for the two spatial reference images is performed using the following equation.

Figure 112018116373475-pat00010


(Where, when two spatial reference images GVa and GVb have m and n fovs, respectively, A = {fov 1 , ..., fov m )} and B = {fov 1 ,... , fov n )}, Head (A) = {fov 1 ,... , fov m-1 )} and Head (B) = {fov 1 ,... , fov n-1 )}, where σ is a constant representing the minimum time limit)
제 3항에 있어서,
상기 유사도 함수 산출단계는,
이하의 수학식을 이용하여 상기 두 개의 공간참조 영상의 A와 B 사이의 최대 공통 뷰 기반 유사도 함수를 산출하는 처리가 수행되도록 구성되는 것을 특징으로 하는 공간참조 영상들간의 궤적 유사도 측정방법.

Figure 112018116373475-pat00011

The method of claim 3, wherein
The similarity function calculating step,
And a process for calculating a maximum common view based similarity function between A and B of the two spatial reference images is performed using the following equation.

Figure 112018116373475-pat00011

제 4항에 있어서,
상기 거리함수(Distance) 산출단계는,
이하의 수학식을 이용하여 상기 거리함수(Distance)를 산출하는 처리가 수행되도록 구성되는 것을 특징으로 하는 공간참조 영상들간의 궤적 유사도 측정방법.

Figure 112018116373475-pat00012

The method of claim 4, wherein
The distance function calculation step,
A method for measuring trajectory similarity between spatially-referenced images according to the following equation, wherein the processing for calculating the distance function is performed.

Figure 112018116373475-pat00012

제 5항에 있어서,
상기 측정방법은,
상기 공통 뷰 가중치(CVW) 산출단계에서, 상기 View(fovi) 및 View(fovj) 대신에, 상기 View(fovi) 및 View(fovj)에 대하여 각각 도출된 최소 바운딩 삼각형(minimum bounding triangle ; MBT) 영역에 대한 시선 뷰 영역을 나타내는 함수(ViewTraingle(fovi) 및 ViewTraingle(fovj))를 이용하여 상기 공통 뷰 가중치(CVW)를 산출하는 것에 의해 연산을 단순화하도록 구성되는 것을 특징으로 하는 공간참조 영상들간의 궤적 유사도 측정방법.
The method of claim 5,
The measuring method,
In step calculates said common view weight (CVW), and the View (fov i) and the View (fov j) Alternatively, the View (fov i) and the View (fov j) respectively deriving the minimum bounding triangles (minimum bounding triangle with respect to the (B) calculating the common view weight CVW using the functions representing the gaze view region for the MBT region (ViewTraingle (fov i ) and ViewTraingle (fov j )). A method for measuring trajectory similarity between spatial reference images.
청구항 1항 내지 청구항 6항 중 어느 한 항에 기재된 공간참조 영상들간의 궤적 유사도 측정방법을 컴퓨터나 전용의 하드웨어에 실행시키도록 구성되는 프로그램이 기록된 컴퓨터에서 판독 가능한 기록매체.
A computer-readable recording medium having recorded thereon a program configured to execute a method of measuring the trajectory similarity between spatial reference images according to any one of claims 1 to 6 on a computer or dedicated hardware.
KR1020180144898A 2018-11-21 2018-11-21 Method for measuring trajectory similarity between geo-referenced videos using largest common view KR102043366B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180144898A KR102043366B1 (en) 2018-11-21 2018-11-21 Method for measuring trajectory similarity between geo-referenced videos using largest common view

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180144898A KR102043366B1 (en) 2018-11-21 2018-11-21 Method for measuring trajectory similarity between geo-referenced videos using largest common view

Publications (1)

Publication Number Publication Date
KR102043366B1 true KR102043366B1 (en) 2019-12-05

Family

ID=69002391

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180144898A KR102043366B1 (en) 2018-11-21 2018-11-21 Method for measuring trajectory similarity between geo-referenced videos using largest common view

Country Status (1)

Country Link
KR (1) KR102043366B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113239037A (en) * 2021-05-06 2021-08-10 西安电子科技大学 Method for solving large-scale longest public subsequence problem based on branch and bound
CN113776431A (en) * 2021-08-09 2021-12-10 宁波银河自控设备有限公司 On-line hydraulic synchronous lifting weighing method, system and storage medium thereof
CN114513741A (en) * 2020-10-28 2022-05-17 华为技术有限公司 Method and device for positioning terminal equipment based on measurement report
CN114973060A (en) * 2022-04-22 2022-08-30 山东省计算中心(国家超级计算济南中心) Similarity calculation method and system for mobile video

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090121309A (en) * 2007-02-08 2009-11-25 비헤이버럴 레코그니션 시스템즈, 인코포레이티드 Behavioral recognition system
KR20150100141A (en) * 2014-02-24 2015-09-02 주식회사 케이티 Apparatus and method for analyzing behavior pattern
KR20160074500A (en) * 2013-10-21 2016-06-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Mobile video search
KR101731461B1 (en) * 2015-12-09 2017-05-11 고려대학교 산학협력단 Apparatus and method for behavior detection of object

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090121309A (en) * 2007-02-08 2009-11-25 비헤이버럴 레코그니션 시스템즈, 인코포레이티드 Behavioral recognition system
KR20160074500A (en) * 2013-10-21 2016-06-28 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 Mobile video search
KR20150100141A (en) * 2014-02-24 2015-09-02 주식회사 케이티 Apparatus and method for analyzing behavior pattern
KR101731461B1 (en) * 2015-12-09 2017-05-11 고려대학교 산학협력단 Apparatus and method for behavior detection of object

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114513741A (en) * 2020-10-28 2022-05-17 华为技术有限公司 Method and device for positioning terminal equipment based on measurement report
CN114513741B (en) * 2020-10-28 2024-01-30 华为技术有限公司 Method and device for positioning terminal equipment based on measurement report
CN113239037A (en) * 2021-05-06 2021-08-10 西安电子科技大学 Method for solving large-scale longest public subsequence problem based on branch and bound
CN113776431A (en) * 2021-08-09 2021-12-10 宁波银河自控设备有限公司 On-line hydraulic synchronous lifting weighing method, system and storage medium thereof
CN114973060A (en) * 2022-04-22 2022-08-30 山东省计算中心(国家超级计算济南中心) Similarity calculation method and system for mobile video

Similar Documents

Publication Publication Date Title
KR102043366B1 (en) Method for measuring trajectory similarity between geo-referenced videos using largest common view
US9646212B2 (en) Methods, devices and systems for detecting objects in a video
CN112567201B (en) Distance measuring method and device
EP3164811B1 (en) Method for adding images for navigating through a set of images
US11062475B2 (en) Location estimating apparatus and method, learning apparatus and method, and computer program products
US20170228585A1 (en) Face recognition system and face recognition method
EP2704056A2 (en) Image processing apparatus, image processing method
WO2019057197A1 (en) Visual tracking method and apparatus for moving target, electronic device and storage medium
Atzori et al. Indoor navigation system using image and sensor data processing on a smartphone
EP3093822B1 (en) Displaying a target object imaged in a moving picture
Piciarelli Visual indoor localization in known environments
JPWO2019204118A5 (en)
KR20170036747A (en) Method for tracking keypoints in a scene
JP2018120283A (en) Information processing device, information processing method and program
Müller et al. Squeezeposenet: Image based pose regression with small convolutional neural networks for real time uas navigation
JP2019082959A (en) Information processing apparatus, information processing method, and program
Wang et al. iNavigation: an image based indoor navigation system
Kang et al. People detection method using graphics processing units for a mobile robot with an omnidirectional camera
Cakır et al. Classifier-based offline feature selection and evaluation for visual tracking of sea-surface and aerial targets
Geniviva et al. Automatic georeferencing of imagery from high-resolution, low-altitude, low-cost aerial platforms
Neves et al. A calibration algorithm for multi-camera visual surveillance systems based on single-view metrology
Takahisa et al. A fast and precise hog-adaboost based visual support system capable to recognize pedestrian and estimate their distance
Malviya et al. Tracking vehicle and faces: towards socialistic assessment of human behaviour
Saito et al. Pedestrian detection using a LRF and a small omni-view camera for outdoor personal mobility robot
US20230222686A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant