KR101255729B1 - Method on Sub Image Retrieval Using Local Alignment - Google Patents
Method on Sub Image Retrieval Using Local Alignment Download PDFInfo
- Publication number
- KR101255729B1 KR101255729B1 KR1020110077451A KR20110077451A KR101255729B1 KR 101255729 B1 KR101255729 B1 KR 101255729B1 KR 1020110077451 A KR1020110077451 A KR 1020110077451A KR 20110077451 A KR20110077451 A KR 20110077451A KR 101255729 B1 KR101255729 B1 KR 101255729B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- query
- region
- reference image
- partial
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
Abstract
본 발명은 지역 정렬을 이용한 부분 이미지 검색으로 간단한 연산과 적은 계산 양으로 이미지 특성 변화에 효과적으로 대응할 수 있도록 한 지역 정렬을 이용한 부분 이미지 검색 방법에 관한 것으로, 질의로 사용하는 작은 이미지가 참조 되는 큰 이미지의 영역에 포함되어 있는지와 어느 영역에 위치하는지를 검색하는 부분 이미지 검색에 있어서,이미지 특성 요인을 기준으로 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값을 구하는 단계;상기 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값을 기반으로 상기 질의 이미지의 화소 개수의 이미지 특성값에 대응되는 질의 이미지의 길이 n, 상기 참조 이미지의 화소 개수의 이미지 특성값에 대응되는 참조 이미지의 길이 m를 이용하여 n*m의 크기를 갖는 행렬을 생성하는 단계;상기 n*m의 크기를 갖는 행렬을 지역 정렬하고 특징점을 생성하기 위하여 도트 매트릭스를 생성하는 단계;상기 생성된 도트 매트릭스에서 지역 특징 영역의 대응점이 되는 직선을 추출하는 단계;부분 이미지 영역 검색을 위하여 상기 대응점을 참조 이미지에 정합하는 단계;를 포함하는 것이다.The present invention relates to a partial image retrieval method using a local alignment, which enables the partial image retrieval using a local alignment to effectively respond to changes in image characteristics with a simple calculation and a small amount of calculation. In the partial image search for searching to determine whether included in the region of the region and the region of the region of the image, obtaining a characteristic value of each pixel of the query image and the reference image based on the image characteristic factor; N * using the length n of the query image corresponding to the image characteristic value of the number of pixels of the query image and the length m of the reference image corresponding to the image characteristic value of the number of pixels of the reference image based on the image characteristic value of each pixel generating a matrix having a size of m; Generating a dot matrix to locally align the matrix having a feature point and to generate a feature point; Extracting a straight line that is a corresponding point of the local feature region from the generated dot matrix; The corresponding point to the reference image for partial image area search Matching; to include.
Description
본 발명은 이미지 검색에 관한 것으로, 구체적으로 지역 정렬을 이용한 부분 이미지 검색으로 간단한 연산과 적은 계산 양으로 이미지 특성 변화에 효과적으로 대응할 수 있도록 한 지역 정렬을 이용한 부분 이미지 검색 방법에 관한 것이다.The present invention relates to an image retrieval, and more particularly, to a partial image retrieval method using a local alignment, which enables a partial image retrieval using a local alignment to effectively respond to changes in image characteristics with a simple calculation and a small amount of calculation.
이미지 검색에 관한 연구는 텍스트 기반 이미지 검색(Text Based Image Re-trieval)을 시작으로 내용 기반 이미지 검색, 영역발견, 부분 이미지 검색 방법 등 다양한 연구가 이루어지고 있다.Starting with text based image retrieval, research on image retrieval is being conducted in various ways such as content based image retrieval, area discovery and partial image retrieval.
텍스트 기반 이미지 검색은 질의로 이미지에 메타정보인 주석을 달아 이용하는 방법으로 검색 엔진의 기본이 되는 방법이다. 텍스트 기반 이미지 검색은 질의에 대한 응답 시간이 빠르지만 질의가 되는 주석이 주관적인 관점에서 부착되기 때문에 정확한 질의에 대한 응답을 기대하기는 어렵다.Text-based image retrieval is a basic method of a search engine by using an annotation, which is meta information, in a query. Text-based image retrieval has a fast response time for a query, but it is difficult to expect a precise response to a query because a comment is attached from a subjective point of view.
이러한 문제를 해결하기 위한 방법으로 이미지 그 자체를 질의 및 검색 대상으로 하는 내용 기반 이미지 검색 방법이 제안되었다. As a solution to this problem, a content-based image retrieval method has been proposed, which uses the image itself as a query and retrieval target.
부분 이미지 검색(Sub-Image Retrieval)은 내용 기반 이미지 검색(Content-Based Image Retrieval;CBIR)의 한 분야로서 객체 발견(Object Detection)과 함께 중요한 연구 문제로 다루어지고 있다.Sub-Image Retrieval is a field of Content-Based Image Retrieval (CBIR) that has been addressed as an important research issue along with Object Detection.
부분 이미지 검색은 질의로 사용하는 작은 이미지가 참조 되는 큰 이미지의 영역에 포함되어있는지를 판단하는 문제와 어느 영역에 위치하는지를 검사하는 문제로 정의한다.Partial image retrieval is defined as the problem of judging whether the small image used as a query is included in the region of the referenced large image, and the problem of examining in which region.
부분 이미지의 검색 범위는 포괄적으로 복사된 이미지(Near-Duplicated Im-age)와 조작된 이미지(Forged Image) 그리고 유사한 이미지(Similar Image)를 검색하는 문제로 분류한다.The search range of partial images is categorized into a problem of searching for comprehensively duplicated images, forged images, and similar images.
도 1은 질의로 사용한 작은 이미지가 참조 되는 큰 이미지의 영역에 복사, 유사한(확대, 축소, 명암도 변화) 형태로 포함되어 있고 그 영역을 검색하는 경우를 표현한 것이다.FIG. 1 illustrates a case where a small image used as a query is included in a copy, similar (enlargement, reduction, change in contrast) form of a large image to which a reference is made, and the area is searched.
부분 이미지 검색에서 질의로 작은 이미지를 사용한 경우 참조 되는 큰 이미지에서 부분 이미지의 영역이 표시되는 것을 표현한 부분 이미지 검색의 질의는 내용기반 이미지 검색에서 사용하는 이미지 내용(Image Content)을 사용하는 방법에 기반을 두고 있다.In the case of using a small image as a query in the partial image search, the query of the partial image search expressing the display of the region of the partial image in the referenced large image is based on the method of using the image content used in the content-based image search. Leave.
이미지 내용은 이미지 형질(Image Characteristics)로 표현하고 이미지 전역 특징영역(Global Feature Region)과 지역 특징영역(Local Feature Region)으로 분류한다. 이미지 형질에서 추출한 특징값을 수치화하여 유사도를 비교하는 유사성 비교(Image Sim-ilarities Comparison)의 문제로 귀착된다.Image contents are expressed as image characteristics and classified into global feature region and local feature region. This results in a problem of Image Sim-ilarities Comparison, which compares similarity by quantifying feature values extracted from image traits.
이와 같이 내용 기반 이미지 검색은 이미지를 대표할 수 있는 이미지 내용을 수치화하여 유사도를 비교하는 방법이다.As such, content-based image retrieval is a method of comparing the similarity by digitizing the image contents that can represent the image.
이미지 내용은 이미지의 전역 특징 영역과 지역특징 영역에서 이미지를 표현하는 특징값이다. 전역 영역 특징값을 추출하는 방법으로 이미지의 색상, 형태, 질감 등을 이용한다. 색상은 히스토그램, 대표색상, 색상 계층으로 구분하고 형태는 윤곽선, 방향성을 가진 윤곽선, 형태학적 영역으로 구분한다. 질감은 동질성 질감, 이질성 질감, 윤곽선 히스토그램 등이 있다. The image content is a feature value representing the image in the global feature region and the local feature region of the image. This method uses the color, shape, and texture of the image to extract global region feature values. Colors are divided into histograms, representative colors, and color layers, and shapes are divided into outlines, directional outlines, and morphological areas. Textures include homogeneous textures, heterogeneous textures, and contour histograms.
지역 특징영역은 전역 특징영역에서 사용하는 방법을 블록단위, 지역단위(Localized regions)로 나누어 추출하는 방법과 지역 특징영역이 되는 대응점을 추출하는 방법으로 구분한다. 대응점을 추출하는 과정은 2단계의 처리 과정을 가진다.The local feature area is divided into the method used in the global feature area by dividing it into block units and localized regions, and the method of extracting the corresponding point that becomes the local feature area. The process of extracting the corresponding points has a two-step process.
첫 번째, 이미지의 환경변화 요소인 확대, 축소, 회전, 명암도 등의 변화에도 강인한 성질을 가지는 특징점을 찾는다. 두 번째, 추출한 특징점을 이미지의 대응점으로 표현할 수 있는 기술자를 생성하는 것이다. First, we find feature points that are robust to changes in the environment's changing factors such as enlargement, reduction, rotation, and contrast. Second, to create a descriptor that can represent the extracted feature point as the corresponding point of the image.
위에서 설명한 지역 특징영역의 대응점을 추출하는 방법은 헤리스코너 검출기(Harris Corner Detector), 헤이시안 검출기(Hessian Detector), 가우시안 차분 검출기 등이 있다. 헤리스코너 검출기는 대표적으로 사용하는 특징점추출 방법으로이미지의 코너점이 곡률값이 크다는 점을 이용하여 고유 값과 코너 응답함수를 사용하여 회전에 강인한 성질을 가지는 특징점을 찾는다.Methods of extracting the corresponding points of the region feature region described above include a Harris Corner Detector, a Hessian Detector, and a Gaussian Difference Detector. Here, the corner detector detects feature points that are robust to rotation by using eigenvalues and corner response functions using the point of curvature of the corner points of the image.
헤이시안 검출기는 능선성분(Ridge)와 작은방울 성분(Blob)추출에 강인한 헤이시안 행렬식(Hessian Matrix) 를 이용하여 특징점을 찾는다. 가우시안 차분검출기(Difference of Gaussian, DoG) 는 가우시안 2차 미분검출기(Laplacian of Gaussian, LoG)를 근사화과정을 거쳐 연산속도를 향상시킨 방법으로 특징점에서 이웃하는 픽셀의 극대점, 극소점을 찾는다.The Hessian detector finds feature points using Hessian Matrix, which is robust to Ridge and Blob extraction. The Gaussian Difference Detector (Difference of Gaussian, DoG) improves the computational speed by approximating the Laplacian of Gaussian (LoG) and finds the maximum and minimum points of neighboring pixels at the feature points.
그리고 윤곽선 특성과 명암도 대비를 고려하여 불필요한 성분은 제거하여 특징점을 찾는다. And the feature points are found by eliminating unnecessary components in consideration of contour characteristics and contrast.
특징점을 이미지의 대응점으로 표현하는 기술자를 생성하는 방법은 Lowe가 제안한 SIFT(Scale Invariant Feature Transform) 방법, Bay 의 SURF(Speed up Robust Features), Mikolajczyk가 제안한 기울기 위치 방향 히스토그램 GLOH(Gradient Location and Orientation Histogram) 등이 있다.The methods for generating descriptors that represent feature points as corresponding points in an image include Lowe's Scale Invariant Feature Transform (SIFT) method, Bay's Speed up Robust Features (SURF), and Mikolajczyk's gradient location and orientation histogram GLOH (Gradient Location and Orientation Histogram). ).
SIFT 방법은 특징점을 중심으로 4x4의 블록 단위를 구성하여 각블록 영역의 픽셀들의 기울기 방향 히스토그램을 8개의 방향으로 구분하여 총 128차원의 벡터를 구성하는 방법이다. 블록영역의 특징점이 고차원의 벡터를 구성하기 때문에 특징점 추출 및 이미지 정합 과정에서 계산 양이 많아지는 단점이 있다. The SIFT method is a method of constructing a total of 128-dimensional vectors by forming 4x4 block units based on feature points and dividing the gradient histogram of pixels of each block region into eight directions. Since the feature points of the block region form a high-dimensional vector, there is a disadvantage in that the amount of calculation increases during the feature point extraction and the image registration process.
SURF 방법은 SIFT와 비슷한 성능을 보이면서 속도를 개선한 방법으로 특징점을 중심으로 4x4의 블록영역을 구성하고 각블록 영역에서 Harr 웨이블릿특징(Harr Wavelet Feature)를 이용하여 2, 4, 8 개의 특징점을 추출하고 각 특징점에 따른 32, 64, 128 차원의 벡터를 구성하는 방법이다. The SURF method improves speed while showing similar performance to SIFT, and constructs 4x4 block area around the feature points and
GLOH 방법은 SIFT를 개선한 알고리즘으로 특징점을 중심으로 로그폴라정합(Log-Polar Mapping)을 이용하여 3개의 원의 반경과 8개의 방향에 대한 17개의 블록단위를 구성하고 각블록에서 16방향의 기울기 히스토그램을 생성하여 총 272차원의 벡터를 구성한다.The GLOH method is an algorithm that improves the SIFT and forms 17 block units for 3 circles radius and 8 directions by using log-polar mapping based on the feature points. A histogram is generated to construct a vector of 272 dimensions.
높은 차원을 줄이기 위해서 얼굴 인식 등에 대표적으로 사용하는 주성분 분석기법(Principal Component Analysis;PCA)을 사용하여 128차원의 벡터로 정규화하여 대응점을 표현하는 방법이다. In order to reduce the high dimension, the principal component analysis method (PCA), which is typically used for face recognition, is used to express corresponding points by normalizing them into 128-dimensional vectors.
이와 같은 종래 기술의 특징점을 이미지의 대응점으로 표현하는 기술자를 생성하는 방법들은 다수의 특징점이 고차원의 벡터 성분을 갖기 때문에 기술자 생성과정에 많은 계산 양과 시간이 필요하다. The methods for generating descriptors representing the feature points of the prior art as corresponding points of an image require a large amount of computation and time for the descriptor generation process because many feature points have high-dimensional vector components.
본 발명은 종래 기술의 이미지 검색 방법의 문제를 해결하기 위한 것으로, 지역 정렬을 이용한 부분 이미지 검색으로 간단한 연산과 적은 계산 양으로 이미지 특성 변화에 효과적으로 대응할 수 있도록 한 지역 정렬을 이용한 부분 이미지 검색 방법을 제공하는데 그 목적 있다.The present invention is to solve the problem of the conventional image retrieval method, and the partial image retrieval method using a local alignment to effectively cope with changes in the image characteristics with a simple operation and a small amount of calculation by partial image retrieval using a local alignment The purpose is to provide.
본 발명은 지역 정렬을 이용한 부분 이미지 검색으로 간단한 연산과 적은 계산 양으로 이미지 크기 변화, 명암도 변화, 색상 정보값, 영상의 윤곽선 추출값, 영상의 웨이블릿 변환값, 영상의 주파수 필터 변환값 등의 이미지 특성 변화에 효과적으로 대응할 수 있도록 한 지역 정렬을 이용한 부분 이미지 검색 방법을 제공하는데 그 목적이 있다.The present invention is a partial image retrieval using local alignment, such as image size change, contrast change, color information value, image contour extraction value, wavelet transform value of image, frequency filter transform value of image, etc. It is an object of the present invention to provide a partial image retrieval method using local alignment to effectively cope with characteristic changes.
본 발명은 지역 정렬을 이용하여 복사된 형태의 질의 이미지가 되는 부분 이미지(작은 이미지)가 참조 이미지(큰 이미지) 영역에 포함되어 있는지를 판단하고, 만약에 포함되어 있다면 그 위치를 찾아서 표시하는 것에 의해 적은 연산 량으로 이미지 검색의 정확도를 높일 수 있도록 한 지역 정렬을 이용한 부분 이미지 검색 방법을 제공하는데 그 목적이 있다.According to the present invention, it is possible to determine whether a partial image (small image), which is a query image of a copied form, is included in a reference image (large image) area by using a local alignment, and if so, find and display the position thereof. The purpose of the present invention is to provide a partial image retrieval method using local alignment to increase the accuracy of image retrieval with a small amount of computation.
본 발명은 이미지 전처리 과정, 지역 정렬을 이용하여 부분 이미지 검색에 필요한 요소들을 생성하는 과정, 부분 이미지 후보 영역과 최종 영역을 생성하는 과정을 포함하는 지역 정렬을 이용한 부분 이미지 검색 방법을 제공하는데 그 목적이 있다.An object of the present invention is to provide a partial image retrieval method using local alignment, which includes image preprocessing, generating elements necessary for partial image retrieval using regional alignment, and generating partial image candidate regions and final regions. There is this.
본 발명은 생물정보학(Bio Informatics)에서 사용하는 DNA 유전자 서열을 비교하기 위한 방법인 지역 정렬(Local Alignment)을 부분 이미지 검색에 응용하여 간단한 연산으로 프로그램 구현상의 용이함과 선형시간 내에 이미지 크기 변화와 명암도 변환에 강인한 성질을 지니는 요소(특징점)을 찾고 이미지 정합에 필요한 요소(대응점)을 생성하여 부분 이미지 검색에 사용할 수 있도록 한 지역 정렬을 이용한 부분 이미지 검색 방법을 제공하는데 그 목적이 있다.The present invention applies local alignment, which is a method for comparing DNA gene sequences used in bioinformatics, to partial image retrieval. The purpose of this method is to provide a partial image retrieval method using local alignment that finds an element (feature point) that is robust to transformation, creates an element (corresponding point) necessary for image matching, and uses it for partial image retrieval.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.
이와 같은 목적을 달성하기 위한 본 발명에 따른 지역 정렬을 이용한 부분 이미지 검색 방법은 질의로 사용하는 작은 이미지가 참조 되는 큰 이미지의 영역에 포함되어 있는지와 어느 영역에 위치하는지를 검색하는 부분 이미지 검색에 있어서, 부분 이미지 검색 전처리 모듈을 통하여 이미지 특성 요인을 기준으로 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값을 구하는 단계 및 상기 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값을 기반으로 상기 질의 이미지의 화소 개수의 이미지 특성값에 대응되는 질의 이미지의 길이 n, 상기 참조 이미지의 화소 개수의 이미지 특성값에 대응되는 참조 이미지의 길이 m를 이용하여 n*m의 크기를 갖는 행렬을 생성하는 단계;지역 정렬 모듈을 통하여 상기 n*m의 크기를 갖는 행렬을 지역 정렬하고, 도트 매트릭스 생성 모듈을 통하여 특징점을 생성하기 위하여 도트 매트릭스를 생성하는 단계;특징점 추출 모듈 및 대응점 생성 모듈을 통하여 상기 생성된 도트 매트릭스에서 지역 특징 영역의 대응점이 되는 직선을 추출하는 단계;부분 이미지 영역 검색을 위하여 후보 영역 생성 모듈 및 부분 이미지 영역 생성 모듈을 통하여 상기 대응점을 참조 이미지에 정합하는 단계;를 포함하는 것을 특징으로 한다.The partial image retrieval method using the local alignment according to the present invention for achieving the above object is in the partial image retrieval to search whether the small image to be used as a query is included in the region of the large image referenced and in which region Obtaining image characteristic values for each pixel of the query image and the reference image based on image characteristic factors through a partial image retrieval preprocessing module; and based on the image characteristic values of each pixel of the query image and the reference image. Generating a matrix having a size of n * m using a length n of a query image corresponding to an image characteristic value of the number of pixels and a length m of a reference image corresponding to an image characteristic value of the number of pixels of the reference image; Geo-align the matrix of size n * m through an alignment module, Generating a dot matrix to generate a feature point through a matrix matrix generation module; extracting a straight line that corresponds to a local feature area from the generated dot matrix through a feature point extraction module and a corresponding point generation module; partial image area search And matching the corresponding points to the reference image through the candidate region generation module and the partial image region generation module.
여기서, 상기 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값을 구하는 단계는 상기 질의 이미지와 참조 이미지를 각 화소별 이미지 특성값으로 변환하는 단계 및 상기 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값을 1차원으로 배열하는 단계를 포함하고, 상기 1차원으로 배열된 상기 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값이 상기 질의 이미지의 길이 n 및 상기 참조 이미지의 길이 m이 되는 것을 특징으로 한다.Here, the step of obtaining image characteristic values of each pixel of the query image and the reference image may include converting the query image and reference image into image characteristic values of each pixel, and the image characteristic values of each pixel of the query image and the reference image. And arranging the data in one dimension, wherein the image characteristic values for each pixel of the query image and the reference image arranged in the one-dimensional form are the length n of the query image and the length m of the reference image. .
또한, 상기 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값을 구하는 단계는 상기 질의 이미지와 참조 이미지를 화소 별로 나열되는 1차원 이미지로 변환하는 단계 및 상기 1차원 이미지로 변환된 상기 질의 이미지와 참조 이미지를 각 화소별 이미지 특성값으로 변환하는 단계를 포함하고, 상기 1차원으로 배열된 상기 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값이 상기 질의 이미지의 길이 n 및 상기 참조 이미지의 길이 m이 되는 것을 특징으로 한다.In addition, obtaining image characteristic values for each pixel of the query image and the reference image may include converting the query image and the reference image into a one-dimensional image arranged for each pixel, and referencing the query image and the converted one-dimensional image. And converting the image into image characteristic values for each pixel, wherein the image characteristic values for each pixel of the query image and the reference image arranged in one dimension are equal to the length n of the query image and the length m of the reference image. It is characterized by.
여기서, 상기 이미지 특성 요인은 상기 이미지의 크기, 명암도, 색상 정보, 영상의 윤곽선, 영상의 웨이블릿, 영상의 주파수 중 적어도 어느 하나를 포함하고, 상기 이미지 특성값은 이미지 크기 변화, 명암도 변화, 색상 정보값, 영상의 윤곽선 추출값, 영상의 웨이블릿 변환값, 영상의 주파수 필터 변환값 중 적어도 어느 하나를 포함하는 것을 특징으로 한다.Here, the image characteristic factor may include at least one of the size of the image, the intensity, the color information, the contour of the image, the wavelet of the image, and the frequency of the image. And at least one of a value, a contour extraction value of the image, a wavelet transform value of the image, and a frequency filter transform value of the image.
그리고 상기 생성한 n * m의 행렬을 스미스 워터맨(Smith-Waterman) 알고리즘을 사용하여 지역 정렬을 수행하는 것을 특징으로 한다.The alignment of the generated n * m matrices is performed using a Smith-Waterman algorithm.
그리고 상기 도트 매트릭스를 생성하는 단계에서, 같은 이미지 2개를 질의 이미지와 참조 이미지로 사용했을 경우 Match가 되는 부분의 점들이 연결되어 일정한 기울기를 가지는 직선과 점들의 형태로 나타나고, 상기 직선들은 기울기의 크기에 관계없이 일정한 기울기를 갖는 모든 직선들을 포함하는 것을 특징으로 한다.In the step of generating the dot matrix, when two identical images are used as the query image and the reference image, the points of the matching parts are connected to each other to form a straight line and points having a predetermined slope, and the straight lines of the slope It is characterized by including all the straight lines having a constant slope regardless of the size.
그리고 상기 지역 특징 영역의 대응점이 되는 직선을 추출하는 단계에서,지역 특징영역의 대응점으로 도트 매트릭스에서 생성되는 직선을 이용하고, 직선이 아닌 점과 블록들은 잡음으로 정의하는 것을 특징으로 한다.In the step of extracting a straight line that is a corresponding point of the local feature area, a straight line generated in a dot matrix is used as a corresponding point of the local feature area, and points and blocks that are not straight lines are defined as noise.
그리고 상기 지역 특징 영역의 대응점이 되는 직선을 추출하는 단계에서,도트 매트릭스에서 생성되는 직선의 길이는 질의 이미지의 넓이(Width)가 되고 직선의 총 개수는 이미지의 높이(Height) 만큼 생성되는 것을 이용하여 지역 특징 영역의 대응점이 되는 직선을 추출하는 것을 특징으로 한다.In the step of extracting a straight line that is a corresponding point of the local feature area, the length of the straight line generated in the dot matrix is the width of the query image and the total number of the straight lines is generated by the height of the image. To extract a straight line that corresponds to the local feature region.
그리고 상기 지역 특징 영역의 대응점이 되는 직선을 추출하는 단계에서,이미지의 인접한 화소에는 모두 같은 번호(Label)를 붙이고 연결되지 않는 화소에는 다른 번호를 붙여 블록 단위의 객체를 생성하고, 질의 이미지의 넓이만큼의 크기를 가지는 객체를 지역 특징 영역의 대응점이 되는 직선이라고 판단하여 객체로 만드는 것을 특징으로 한다.In the step of extracting a straight line that is a corresponding point of the local feature region, all adjacent pixels of the image are labeled with the same number and a different number is assigned to non-connected pixels, thereby creating an object in a block unit, and width of the query image. It is characterized in that the object having as much size as the straight line that is the corresponding point of the local feature area to make an object.
그리고 상기 질의 이미지가 참조 이미지에 축소 또는 확대되어 포함되어 있는 경우에는,도트 매트릭스에서 대응점이 되는 직선을 만들기 위하여 이웃한 화소의 정보를 이용해서 이미지 크기 변화(Image Resize)를 수행하는 것을 특징으로 한다.When the query image is reduced or enlarged in the reference image, an image resize is performed by using information of neighboring pixels to make a straight line corresponding to the corresponding point in the dot matrix. .
그리고 지역 특징 영역의 대응점이 되는 직선을 만들기 위하여, 부분적으로 Match된 영역들이 일정한 직선의 기울기 방향을 가지는 특징을 이용하여 이웃한 화소를 일정한 기울기를 가지는 직선으로 연결하는 방법을 사용하는 것을 특징으로 한다.In addition, in order to make a straight line that is a corresponding point of the local feature region, a method of connecting neighboring pixels to a straight line having a constant slope by using a feature in which the partially matched regions have a constant slope direction is used. .
그리고 이미지 특성 요인인 명암도 값의 변화가 있는 질의 이미지가 참조 이미지에 포함되어 있다면, Smith-Waterman 알고리즘을 이용하여 지역 정렬을 수행할 때 임계치(Threshold)를 허용하는 것을 특징으로 한다.In addition, if a query image having a change in intensity value, which is an image characteristic factor, is included in the reference image, a threshold may be allowed when performing local alignment using the Smith-Waterman algorithm.
그리고 상기 대응점을 참조 이미지에 정합하는 단계는,도트 매트릭스에서 생성한 대응점을 참조 이미지에 정합하여 부분 이미지 후보 영역을 생성하는 과정,부분 이미지 후보 영역을 군집화 과정을 거쳐 하나의 객체로 인식하여 최종적으로 부분 이미지 영역을 생성하는 과정을 포함하는 것을 특징으로 한다.The matching of the corresponding point to the reference image may include: generating a partial image candidate region by matching the corresponding point generated in the dot matrix with the reference image, recognizing the partial image candidate region as one object through a clustering process, and finally And generating a partial image area.
그리고 상기 부분 이미지 후보영역 생성은, 도트 매트릭스에서 생성한 대응점인 직선의 시작위치(start p )와 끝 위치(end p )를 찾고,
그리고 상기 군집화 과정에서, Blob Labeling 방법으로 객체를 생성할 때의 위치 정보를 이용해서 객체 크기만큼의 사각형 영역을 만들고,이 사각형 영역이 최종적으로 참조 이미지에 포함되어 있는 질의 이미지의 위치가 되는 부분 이미지 영역이 되는 것을 특징으로 한다.In the clustering process, a rectangular region equal to the size of the object is created by using the position information when the object is created by the blob labeling method, and the partial image that becomes the position of the query image finally included in the reference image. It is characterized by being an area.
이와 같은 본 발명에 따른 지역 정렬을 이용한 부분 이미지 검색 방법은 다음과 같은 효과를 갖는다.The partial image retrieval method using the regional alignment according to the present invention has the following effects.
첫째, 지역 정렬을 이용한 부분 이미지 검색으로 간단한 연산과 적은 계산 양으로 이미지 특성 변화에 효과적으로 대응할 수 있다.First, partial image retrieval using local alignment can effectively cope with changes in image characteristics with simple calculation and small amount of calculation.
둘째, 지역 정렬을 이용한 부분 이미지 검색으로 이미지 크기 변화, 명암도 변화, 색상 정보값, 영상의 윤곽선 추출값, 영상의 웨이블릿 변환값, 영상의 주파수 필터 변환값 등의 이미지 특성 변화에 효과적으로 대응할 수 있다.Second, partial image retrieval using local alignment can effectively respond to changes in image characteristics such as image size change, contrast change, color information value, image contour extraction value, image wavelet transform value, and image frequency filter transform value.
셋째, 다양한 명암도와 환경하에서 질의 이미지가 축소되어있어도 부분 이미지 영역의 검색이 가능하다.Third, the partial image area can be searched even if the query image is reduced under various contrasts and environments.
넷째, 지역 정렬에서 임계치 값을 이용하여 정렬 후 도트 매트릭스(Dot-Matrix)에서 특징점을 추출하고 대응점을 생성하는 것에 의해 명암도 변화가 생긴 부분 이미지 영역을 검색할 수 있다.Fourth, it is possible to search for a partial image region having a change in contrast by extracting feature points and generating corresponding points in a dot matrix after the alignment using the threshold value in the region alignment.
다섯째, 지역 정렬(Local Alignment)을 부분 이미지 검색에 응용하는 것에 의해 간단한 연산으로 프로그램 구현상의 용이성을 높이고, 선형시간 내에 부분 이미지 검색이 이루어지도록 한다.
Fifth, by applying local alignment to partial image retrieval, it is easy to implement a program by simple operation, and partial image retrieval is performed within linear time.
도 1은 부분 이미지 검색에서 질의로 작은 이미지를 사용한 경우 참조 되는 큰 이미지에서 부분 이미지의 영역이 표시되는 것을 나타낸 구성도
도 2a와 도 2b는 본 발명에 따른 지역 정렬을 이용한 부분 이미지 검색 방법을 나타낸 플로우 차트 및 부분 이미지 검색 모듈 구성도
도 3은 명암도 값을 이용하여 지역 정렬을 수행하여 나타낸 행렬H의 결과값
도 4는 지역 정렬을 이용하여 생성한 행렬을 도트 매트릭스로 변환한 상태를 나타낸 구성도
도 5는 질의 이미지와 참조 이미지를 지역 정렬 후 도트 매트릭스를 생성한 상태의 구성도
도 6은 레이블링(Blob Labeling) 알고리즘으로 인접한 화소가 연결되는 것을 나타낸 구성도
도 7은 레이블링(Blob Labeling) 알고리즘 구성도
도 8은 징검다리 알고리즘의 방법을 설명하기 위한 구성도
도 9는 노이즈 제거 및 라인 생성을 위한 징검다리 알고리즘 구성도
도 10은 크기 변화가 있는 질의 이미지와 참조 이미지의 도트 매트릭스 구성도
도 11은 징검다리 알고리즘을 적용한 후의 도트 매트릭스 구성도
도 12는 부분 이미지 후보 영역에 대응점이 되는 직선들이 참조 이미지에 정합되는 과정 및 최종적으로 부분 이미지 영역을 검색한 결과를 나타낸 구성도1 is a block diagram showing the area of the partial image in the large image referenced when the small image is used as a query in the partial image search
2A and 2B are a flowchart illustrating a partial image retrieval method using local alignment according to the present invention and a partial image retrieval module configuration diagram
3 is a result of matrix H shown by performing local alignment using intensity values.
4 is a diagram illustrating a state in which a matrix generated using local alignment is converted into a dot matrix;
5 is a block diagram of a state in which a dot matrix is generated after aligning a query image and a reference image
6 is a block diagram illustrating that adjacent pixels are connected by a blob labeling algorithm.
7 is a block diagram of a blob labeling algorithm configuration
8 is a block diagram for explaining the method of the stepping leg algorithm
9 is a diagram illustrating a stepping algorithm for removing noise and generating lines
10 is a dot matrix configuration diagram of a query image and a reference image having a change in size;
11 is a block diagram of the dot matrix after the stepping algorithm is applied.
12 is a block diagram showing a process of matching the straight lines corresponding to the partial image candidate region with the reference image and finally searching the partial image region;
이하, 본 발명에 따른 지역 정렬을 이용한 부분 이미지 검색 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.Hereinafter, a preferred embodiment of a partial image retrieval method using local alignment according to the present invention will be described in detail.
본 발명에 따른 지역 정렬을 이용한 부분 이미지 검색 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.Features and advantages of the partial image retrieval method using the local alignment according to the present invention will be apparent from the detailed description of each embodiment below.
도 2a와 도 2b는 본 발명에 따른 지역 정렬을 이용한 부분 이미지 검색 방법을 나타낸 플로우 차트 및 부분 이미지 검색 모듈 구성도이다.2A and 2B are a flowchart illustrating a partial image retrieval method using local alignment according to the present invention and a partial image retrieval module configuration diagram.
본 발명은 간단한 연산과 적은 계산 양으로 이미지 크기 변화, 명암도 변화, 색상 정보값, 영상의 윤곽선 추출값, 영상의 웨이블릿 변환값, 영상의 주파수 필터 변환값 등의 이미지 특성 변화에 효과적으로 대응할 수 있도록 한 것이다.The present invention can effectively cope with image characteristic changes such as image size change, contrast change, color information value, image contour extraction value, image wavelet transform value, image frequency filter transform value, etc. will be.
이를 위하여 본 발명은 생물정보학(Bio Informatics)에서 사용하는 DNA 유전자 서열을 비교하기 위한 방법인 지역 정렬(Local Alignment)을 부분 이미지 검색에 응용한 것이다.To this end, the present invention applies local alignment, which is a method for comparing DNA gene sequences used in bioinformatics, to partial image retrieval.
이하의 본 발명에 따른 바람직한 실시 예의 설명에서는 이미지 특성 요인 중에서 이미지 크기 변화, 명암도 변화를 중심으로 설명하였으나, 색상 정보값, 영상의 윤곽선 추출값, 영상의 웨이블릿 변환값, 영상의 주파수 필터 변환값 등의 다른 이미지 특성 요인을 지역 정렬(Local Alignment)을 이용한 부분 이미지 검색에 적용할 수 있음은 당연하다.In the following description of the preferred embodiment according to the present invention, the image characteristic factors, the image size change, the contrast was described mainly on the change, but the color information value, the image contour extraction value, the wavelet transform value of the image, the frequency filter conversion value of the image, etc. Naturally, other image characteristic factors of can be applied to partial image retrieval using local alignment.
본 발명에서의 이미지 접근 방법은 생물정보학에서 사용하는 지역정렬(Local Alignment)과 도트 매트릭스(Dot-Matrix) 방법을 이용한다. 지역 정렬은 두 개의 시퀀스의 서열을 비교하여 유사도를 계산하는 방법이고, 도트 매트릭스 방법은 정렬된 시퀀스의 유사도를 시각화하는 방법이다.The image access method of the present invention uses a local alignment and dot matrix method used in bioinformatics. Regional alignment is a method of calculating similarity by comparing sequences of two sequences, and dot matrix method is a method of visualizing similarity of aligned sequences.
지역 정렬 방법은 시퀀스의 서열이 변이(Motation)되어도 서열 정보를 잃어버리지 않고 유사도를 비교할 수 있는 장점이 있다. 따라서 지역 정렬을 이용하여 이미지의 크기 변화에도 강인한 성질을 유지하는 특징점을 추출한다. The local alignment method has an advantage of comparing similarity without losing sequence information even if the sequence of the sequence is modified. Therefore, feature alignment is extracted using local alignment to maintain the robustness of image size changes.
본 발명에 따른 지역 정렬을 이용한 부분 이미지 검색은 도 2a에서와 같이 크게, 질의 이미지와 참조 이미지의 전처리 과정 후 지역 정렬을 수행하고 도트 매트릭스를 변환해서 특징점을 추출하는 단계와, 특징점을 레이블링(Blob Labeling) 방법과 징검다리 알고리즘(Milestone Algorithm)을 이용하여 대응점으로 만드는 단계와, 대응점을 이용하여 부분 이미지 후보 영역을 구성하고 최종적으로 부분 이미지 영역을 검색하는 단계로 이루어진다.The partial image retrieval using the local alignment according to the present invention is performed by performing local alignment after preprocessing the query image and the reference image, extracting the feature points by converting the dot matrix, and labeling the feature points as shown in FIG. 2A. The method includes a step of forming a corresponding point by using a labeling method and a milestone algorithm, and constructing a partial image candidate area by using the corresponding point and finally searching for the partial image area.
이와 같은 부분 이미지 검색을 위한 처리 모듈들의 구성은 도 2b에서와 같다.The configuration of processing modules for such partial image retrieval is the same as in FIG. 2B.
부분 이미지 검색을 위한 전처리를 수행하는 부분 이미지 검색 전처리 모듈(200)과, 전처리 과정에서 생성한 n * m의 행렬을 스미스 워터맨(Smith-Waterman) 알고리즘을 사용하여 지역 정렬을 수행하는 지역 정렬 모듈(210)과, 특징점 추출을 위한 도트 매트릭스를 생성하는 도트 매트릭스 생성 모듈(220)과, 도트 매트릭스를 변환하여 특징점 추출을 수행하는 특징점 추출 모듈(230)과, 특징점을 레이블링(Blob Labeling) 방법과 징검다리 알고리즘(Milestone Algorithm)을 이용하여 대응점으로 만드는 대응점 생성 모듈(240)과, 대응점을 이용하여 부분 이미지 후보 영역을 구성하는 후보 영역 생성 모듈(250)과, 최종적으로 부분 이미지 영역을 검색하는 부분 이미지 영역 생성 모듈(260)을 포함한다.
A partial image
(1) 먼저, 지역 정렬을 이용한 특징점 생성에 관하여 설명하면 다음과 같다.(1) First, feature point generation using local alignment will be described.
본 발명에 따른 지역 정렬을 이용한 부분 이미지 검색 방법은 간단한 연산과 선형 시간 안에 이미지 크기변화와 명암도 변화에 강인한 성질을 유지하는 특징점을 찾고 이미지 정합에 필요한 대응점을 생성한다.The partial image retrieval method using the local alignment according to the present invention finds a feature point that is robust to image size change and contrast change in a simple operation and linear time, and generates a corresponding point for image matching.
이를 위하여, 부분 이미지 영역을 검색하기 위한 전처리 과정으로 질의 이미지와 참조 이미지를 수학식 1을 이용하여 명암도 영상으로 변환한다. 그리고 이미지의 넓이(Width)*높이(Height)의 길이(Lenth)를 가지는 1차원 이미지로 변환한다.To this end, the query image and the reference image are converted into the contrast
1차원 이미지의 각 화소에 해당하는 명암도 값 Gray는 수학식 1의 r,g,b 의 합으로 획득하고 명암도 값을 이용하여 n * m의 크기를 가지는 명암도 행렬을 생성한다. The intensity value Gray corresponding to each pixel of the one-dimensional image is obtained by the sum of r, g, and b in
이와 달리, 질의 이미지와 참조 이미지를 각 화소별로 명암도 값 Gray로 변환한 다음, 각 화소별 명암도 값을 1차원으로 나열할 수 있다. 그리고, 1차원으로 나열된 각 화소별 명암도 값이 질의 이미지의 길이인 n 및 참조 이미지의 m이 된다.In contrast, the query image and the reference image may be converted to the intensity values Gray for each pixel, and then the intensity values for each pixel may be arranged in one dimension. The intensity values for each pixel arranged in one dimension become n of the query image length and m of the reference image.
여기서, n은 질의 이미지의 길이, m은 참조 이미지의 길이다. Where n is the length of the query image and m is the length of the reference image.
질의 이미지와 참조 이미지를 각 화소별로 명암도 값 Gray로 변환하기 위한 수학식 1은 일 예를 나타낸 것으로 상기한 수학식 1로 한정되지 않고 다른 수식 및 방법을 사용할 수 있음은 당연하다.
전처리 과정에서 생성한 n * m의 행렬을 스미스 워터맨(Smith-Waterman) 알고리즘을 사용하여 지역 정렬을 한다. Smith-Waterman의 지역 정렬은 생물정보학에서 두 개의 시퀀스를 비교하여 유사도를 찾는 방법이다.The matrix of n * m generated during the preprocessing is local aligned using the Smith-Waterman algorithm. Smith-Waterman's local alignment is a method of comparing two sequences in bioinformatics to find similarities.
본 발명에서는 이 방법을 응응하여 시퀀스에 해당하는 부분 이미지, 참조 이미지의 명암도 행렬을 수학식 2, 수학식 3을 이용하여 지역 정렬에 적용한다.In the present invention, the intensity matrix of the partial image and the reference image corresponding to the sequence is applied to the local alignment by using
어떤 i,j 화소 H(i,j)는 수학식 2와 같고 Match = 1, Mismatch = 0의 값을 적용한다. Some i, j pixels H (i, j) are equal to
수학식 2와 수학식 3을 이용하여 부분 이미지 영역 검색을 위한 질의 이미지, 참조 이미지의 명암도 행렬의 지역 정렬 방법은 다음과 같다.Using
예를 들어, 질의 이미지의 길이 n=10, 참조 이미지의 길이 m=10이고 각 화소에 해당하는 명암도 값을 표 1과 같이 정의한다. 표 1의 명암도 값을 이용하여 지역정렬을 수행하면 도 3의 행렬 H의 결과값으로 나타난다.For example, the length n = 10 of the query image and the length m = 10 of the reference image are defined as shown in Table 1 below. Performing the local alignment using the intensity values shown in Table 1 shows the result of the matrix H of FIG. 3.
도 3은 명암도 값을 이용하여 지역 정렬을 수행하여 나타낸 행렬H의 결과값이다.3 is a result of matrix H shown by performing local alignment using intensity values.
(2) 그리고 특징점 추출을 위한 도트 매트릭스 생성 과정은 다음과 같다.(2) The dot matrix generation process for feature point extraction is as follows.
도 4는 지역 정렬을 이용하여 생성한 행렬을 도트 매트릭스로 변환한 상태를 나타낸 구성도이다.4 is a diagram illustrating a state in which a matrix generated using local alignment is converted into a dot matrix.
수학식 2와 수학식 3을 이용하여 계산한 도 3의 행렬값을 지역 특징 영역의 특징점으로 사용하기 위해서 도트 매트릭스로 변환한다.The matrix values in FIG. 3 calculated using
도 4에서와 같이 도트 매트릭스에서 생성되는 검정색 부분이 행렬값에서 Match가 되는 부분이고 하얀색 부분이 Mismatch된 부분이다. 지역 특징 영역의 특징점이 되는 부분은 Match가 되는 검정색 부분이고 대응점으로 변환하기 위한 값이 된다.Part of the black portion is generated in the dot matrix in which the matrix Match value, as shown in Figure 4, and a part of the white part Mismatch. The part that becomes the feature point of the local feature area is the black part that becomes a match and the value to convert to the corresponding point.
도트 매트릭스의 특징은 같은 이미지 2개를 질의 이미지와 참조 이미지로 사용했을 경우 Match가 되는 검정색 부분의 점들이 연결되어 일정한 기울기를 가지는 직선과 점들의 형태로 나타난다.The characteristic of dot matrix is that when two identical images are used as a query image and a reference image, the dots of the matching black part are connected and appear in the form of straight lines and dots having a constant slope.
여기서, 직선들은 기울기의 크기에 관계없이 일정한 기울기를 갖는 모든 직선들을 포함한다.Here, the straight lines include all straight lines having a constant slope regardless of the magnitude of the slope.
도 5는 질의 이미지와 참조 이미지를 지역 정렬 후 도트 매트릭스를 생성한 상태의 구성도이다.5 is a diagram illustrating a state in which a dot matrix is generated after aligning a query image and a reference image.
마찬가지로 질의 이미지가 참조 이미지에 복사된 형태로 영역에 존재할 경우 Match가 되는 부분이 일정한 기울기를 가지는 다수의 직선과 점이 생성된다. 이러한 도트 매트릭스의 특징을 이용하여 지역 특징영역의 대응점으로 도트 매트릭스에서 생성되는 직선을 이용한다. Similarly, the portion where the query image that Match when present in a region to form the copy in the reference image to generate a plurality of points and a straight line having a constant slope. By using the characteristics of the dot matrix, a straight line generated in the dot matrix is used as a corresponding point of the local feature region.
도트 매트릭스로 변환한 도 5의 참조 이미지는 질의 이미지가 복사된 형태로 포함되어 있는 이미지이다. 그리고 도 5의 도트 매트릭스는 질의 이미지와 참조 이미지를 지역 정렬 후 생성한 결과이다.The reference image of FIG. 5 converted to a dot matrix is an image in which the query image is copied. The dot matrix of FIG. 5 is a result of regional alignment of the query image and the reference image.
도 5의 결과처럼 복사된 형태의 질의 이미지는 도트 매트릭스에서 Match가 되는 부분이 일정한 기울기를 가지는 직선과 점으로 나타난다. 지역 특징 영역의 대응점이 되는 부분은 직선이기 때문에 직선이 아닌 점과 블록들은 잡음으로 정의한다.
Also image quality of the copy form as a result of 5, the portion where the Match in a dot matrix when the lines and dots having a constant gradient. Since the corresponding point of the local feature area is a straight line, the non-linear points and blocks are defined as noise.
(3) 그리고 대응점 생성을 위한 레이블링 알고리즘에 관하여 설명하면 다음과 같다.(3) The labeling algorithm for generating correspondence points is described as follows.
도 6은 레이블링(Blob Labeling) 알고리즘으로 인접한 화소가 연결되는 것을 나타낸 구성도이고, 도 7은 레이블링(Blob Labeling) 알고리즘 구성도이다.FIG. 6 is a block diagram showing adjacent pixels connected by a blob labeling algorithm, and FIG. 7 is a block diagram of a blob labeling algorithm.
도트 매트릭스에서는 지역 특징영역의 대응점이 되는 직선과 함께 잡음으로 정의하는 점과 블록 영역이 같이 생성된다. 대응점으로 사용할 직선을 검출하기 위해서 직선과 잡음 부분을 구분하는 방법이 필요하다.In the dot matrix, a point and a block region defined as noise are generated together with a straight line serving as a corresponding point of the local feature region. In order to detect a straight line to be used as a corresponding point, a method of distinguishing a straight line and a noise part is required.
도트 매트릭스에서 생성되는 직선의 길이는 질의 이미지의 넓이(Width)가 되고 직선의 총 개수는 이미지의 높이(Height)만큼 생성된다. 이러한 정보를 기반으로 지역 특징 영역의 대응점이 되는 직선을 Blob Labeling 알고리즘을 이용하여 추출한다.The length of the straight lines generated in the dot matrix is the width of the query image and the total number of the straight lines is generated by the height of the image. Based on this information, a straight line that is a corresponding point of the local feature area is extracted using the Blob Labeling algorithm.
Blob Labeling 알고리즘은 이미지의 인접한 화소에는 모두 같은 번호(Label)를 붙이고 연결되지 않는 화소에는 다른 번호를 붙여 블록 단위의 객체를 생성하는 방법이다.The blob labeling algorithm is a method of creating an object in units of blocks by attaching the same label to all adjacent pixels of the image and attaching different numbers to non-connected pixels.
도 6은 Blob Labeling 알고리즘으로 인접한 화소가 연결되는 방법을 설명한 것이고, 도 7은 Blob Labeling 알고리즘의 의사 코드이다.FIG. 6 illustrates a method in which adjacent pixels are connected by the blob labeling algorithm, and FIG. 7 is a pseudo code of the blob labeling algorithm.
Blob Labeling 알고리즘을 이용하여 도트 매트릭스에서 생성되는 직선에 번호를 붙여 하나의 객체로 만든다. 이때 직선과 잡음 부분을 구분하기 위한 방법으로 질의 이미지의 넓이 정보를 이용한다. 질의 이미지의 넓이 이하의 크기를 가지는 부분은 잡음이라고 판단하여 번호를 붙이지 않는다.Using the blob labeling algorithm, the straight lines generated from the dot matrix are numbered to form a single object. At this time, the width information of the query image is used as a method for distinguishing the straight line and the noise part. Portions having a size less than or equal to the width of the query image are considered noise and are not numbered.
그리고 질의 이미지의 넓이만큼의 크기를 가지는 객체는 지역 특징 영역의 대응점이 되는 직선이라고 판단하여 객체로 만든다.
The object having the size of the query image is made into an object by determining that it is a straight line corresponding to the local feature area.
(4) 그리고 이미지의 대응점 생성을 설명하면 다음과 같다.(4) And the generation of the correspondence point of the image is as follows.
도 8은 징검다리 알고리즘의 방법을 설명하기 위한 구성도이고, 도 9는 노이즈 제거 및 라인 생성을 위한 징검다리 알고리즘 구성도이다.FIG. 8 is a diagram illustrating a method of a stepping algorithm and FIG. 9 is a diagram illustrating a stepping algorithm for removing noise and generating lines.
그리고 도 10은 크기 변화가 있는 질의 이미지와 참조 이미지의 도트 매트릭스 구성도이고, 도 11은 징검다리 알고리즘을 적용한 후의 도트 매트릭스 구성도이다.10 is a diagram illustrating a dot matrix configuration of a query image and a reference image having a change in size, and FIG. 11 is a diagram illustrating a dot matrix configuration after applying a stepping algorithm.
질의 이미지가 참조 이미지에 복사된 형태로 포함되어 있는 경우는 도트 매트릭스에서 Blob Labeling 알고리즘을 이용하여 직선을 추출하면 된다. 하지만 질의 이미지가 참조 이미지에 축소 또는 확대되어 포함되어 있다면 도트 매트릭스에서 대응점이 되는 직선이 생성되지 않는다.If the query image is copied to the reference image, straight lines can be extracted from the dot matrix using the Blob Labeling algorithm. However, if the query image is reduced or enlarged in the reference image, no straight line that corresponds to the dot in the dot matrix is generated.
따라서 본 발명에서 사용하는 지역 특징영역의 대응점은 직선이기 때문에 도트 매트릭스에서 직선을 만드는 방법이 필요하다. Therefore, since the corresponding point of the local feature region used in the present invention is a straight line, a method of making a straight line in the dot matrix is required.
대응점이 되는 직선을 만들기 위한 방법은 이미지의 크기 변환 이론을 기반으로 한다. 이미지가 축소되거나 확대될 때는 이웃한 화소의 정보를 이용해서 이미지 크기변화(Image Resize)를 한다. 이웃한 화소 정보를 이용해서 크기 변화를 하기 때문에 변화되기 이전의 명암도 값이 유지되는 특징이 있다. The method for creating a straight line that is a corresponding point is based on the theory of size transformation of images. When the image is reduced or enlarged, image resize is performed using information of neighboring pixels. Since the size is changed by using neighboring pixel information, the intensity value before the change is maintained.
크기 변화가 있는 이미지의 대응점 생성 방법은 다음과 같다.The method of generating a corresponding point of an image having a change in size is as follows.
크기 변화가 있는 이미지의 대응점 생성 이미지 크기 변화이론을 바탕으로 크기 변화가 있는 질의 이미지를 지역 정렬을 사용하면 참조 이미지에 부분적으로 Match가 되는 특징이 있다.When the query image size changes based on the corresponding points generated image size change image size change theory of using local alignment is characterized in that the reference image partly Match.
지역 정렬에서 부분적으로 Match가 되는 특징을 도트 매트릭스에서 살펴보면 도 10에서와 같은 특징이 있다.In the dot matrix, the feature that is partially matched in the local alignment is as shown in FIG. 10.
사각형 영역처럼 부분적으로 Match된 점 또는 블록들이 일정한 직선의 기울기 방향을 가지는 것을 볼 수 있다. You can see that the partially matched points or blocks, like the rectangular area, have a constant straight line slope.
지역 특징 영역의 대응점이 되는 직선을 만들기 위한 방법으로 부분적으로 Match된 영역들이 일정한 직선의 기울기 방향을 가지는 특징을 이용한다.As a method for creating a straight line that is a corresponding point of a local feature area, a feature in which partially matched areas have a constant slope direction is used.
부분적으로 Match된 영역을 직선으로 만들기 위한 방법으로 본 발명에서는 징검다리(Milestone Algorithms) 알고리즘을 사용한다. As a method for making a partially matched region into a straight line, the present invention uses a Milestone Algorithms algorithm.
잡음 제거 및 징검다리 방법은 3*3 크기의 윈도우W와 윈도우W의 좌상단(0,0)인 참조 화소H를 이용한다.The noise elimination and detection leg method uses a 3 * 3 size window W and a reference pixel H which is the upper left end (0,0) of the window W.
이 방법의 진행 과정은 2가지의 경우로 구분한다.The process of this method is divided into two cases.
첫 번째, 윈도우W가 도트 매트릭스의 좌에서 우의 진행 방향으로 스캔하면서 참조 화소H에 검정색 화소가 발견되는 지를 검사한다.First, the window W scans in the advancing direction from left to right of the dot matrix and checks whether black pixels are found in the reference pixel H.
윈도우W의 참조 화소H에 검정색 화소가 발견되면 윈도우W 안에 다른 검정색 화소가 있는지 검사한다. 다른 검정색 화소가 없다면 참조 화소H의 검정색 화소를 지움으로써 잡음 제거 역할을 한다. If a black pixel is found in the reference pixel H of the window W, it is checked to see if there is another black pixel in the window W. If there is no other black pixel, the black pixel of the reference pixel H is erased to remove noise.
두 번째, 참조 화소H에 검정색 화소가 발견되고 참조 화소H를 기준으로 아래방향(Bottom)영역에 검정색 화소가 있는 경우이다. 이 경우 참조 화소H와 아래 방향 영역의 화소 사이에 새로운 검정색 화소를 만들어 참조 화소H와 아래 방향 영역의 화소를 연결하는 방법이다. Second, a black pixel is found in the reference pixel H and a black pixel is located in the bottom area with respect to the reference pixel H. In this case, a new black pixel is created between the reference pixel H and the pixels in the downward area to connect the reference pixel H and the pixels in the downward area.
윈도우W가 도트 매트릭스의 모든 영역을 스캔하고 나면 부분적으로 Match 된 영역들이 잡음 제거 및 징검다리 방법에 의해서 일정한 기울기를 가지는 직선이 만들어진다.Partially match after Windows scans all areas of the dot matrix The straight lines with constant slope are made by the noise reduction and the stepping method.
도 8은 징검다리 알고리즘의 방법을 설명하기 위한 구성도이고 도 11은 징검다리 알고리즘 적용 후의 도트 매트릭스를 나타낸 것이다.8 is a diagram illustrating the method of the stepping algorithm, and FIG. 11 illustrates a dot matrix after the stepping algorithm is applied.
그리고 명암도 변화가 있는 이미지의 대응점 생성 방법에 관하여 설명하면 다음과 같다.A method of generating a corresponding point of an image having a change in contrast is as follows.
부분 이미지 검색을 위한 지역특징 영역의 특징점은 명암도 값을 기반으로 만들어진다.The feature points of the local feature region for partial image retrieval are created based on the intensity values.
명암도 값의 변화가 있는 질의 이미지가 참조 이미지에 포함되어 있다면 정확한 특징점을 추출하기 어렵다. 특징점을 추출할 수 없다면 대응점이 되는 직선을 생성하지 못하기 때문에 부분 이미지 영역을 검색하지 못하는 문제점이 발생한다. If a query image with a change in intensity value is included in the reference image, it is difficult to extract the exact feature points. If the feature point cannot be extracted, a problem occurs in that the partial image area cannot be searched because a straight line that corresponds to the corresponding point cannot be generated.
이러한 문제를 해결하기 위한 방법으로 Smith-Waterman 알고리즘을 이용하여 지역 정렬을 수행할 때 임계치(Threshold)를 허용하는 방법을 사용한다.To solve this problem, we use a method that allows a threshold when performing local alignment using the Smith-Waterman algorithm.
수학식 2를 수학식 4와 같이 변경하여 Match와 Mismatch의 조건을 임계치 범위까지 확대하여 조건을 검사한다.
수학식 4의 결과를 이용하여 지역 정렬을 수행한 후 지역 특징영역의 특징점과 대응점을 생성하여 부분 이미지 영역 검색에 적용한다. After region alignment is performed using the result of
(5) 부분 이미지 영역 검색에 관하여 설명 다음과 같다.(5) Description of partial image area search is as follows.
도 12는 부분 이미지 후보 영역에 대응점이 되는 직선들이 참조 이미지에 정합되는 과정 및 최종적으로 부분 이미지 영역을 검색한 결과를 나타낸 구성도이다.FIG. 12 is a diagram illustrating a process of matching straight lines corresponding to a partial image candidate region with a reference image and finally searching a partial image region.
부분 이미지 영역 검색을 위해서는 도트 매트릭스에서 생성한 대응점을 참조 이미지에 정합(Matching)하는 과정이 필요하다. 대응점을 참조 이미지에 정합하는 과정은 2단계의 과정으로 이루어진다.In order to search the partial image area, a process of matching the corresponding point generated in the dot matrix with the reference image is required. Matching the corresponding point to the reference image is a two-step process.
첫 번째, 도트 매트릭스에서 생성한 대응점을 참조 이미지에 정합하여 부분 이미지 후보 영역을 생성한다.First, a partial image candidate region is generated by matching a corresponding point generated in a dot matrix with a reference image.
두 번째, 부분 이미지 후보 영역을 군집화과정을 거쳐 하나의 객체로 인식하여 최종적으로 부분 이미지 영역을 생성한다.Second, the partial image candidate region is recognized as one object through the clustering process, and finally the partial image region is generated.
부분 이미지 후보영역 생성은 도트 매트릭스에서 생성한 대응점인 직선의 시작위치(start p )와 끝 위치(end p )를 찾는다. 직선의 시작 위치와 끝 위치는 Blob Labeling 방법으로 추출한 직선의 위치 정보를 참조한다.The partial image candidate region generation finds the start position ( start p ) and the end position ( end p ) of a straight line which are corresponding points generated from a dot matrix. For the start position and end position of the straight line, refer to the position information of the straight line extracted by Blob Labeling method.
직선의 위치 정보를 수학식 5를 이용하여 참조 이미지의 위치에 부분 이미지 후보영역으로 정합한다. The position information of the straight line is matched with the partial image candidate region at the position of the reference
수학식 5에서 X는 참조 이미지의 위치에 정합되는 x 좌표이고 Y 는 참조 이미지의 위치y 좌표이다.In
여기서, dw는 도트 매트릭스의 넓이이고, rw는 참조 이미지의 넓이가 된다. Where dw is the width of the dot matrix and rw is the width of the reference image.
Xw는 Blob Labeling에서 추출한 직선의 시작위치와 끝 위치에서 계산한 직선의 총길이가 된다. Xw is the total length of the straight line calculated from the start and end positions of the straight line extracted from blob labeling.
도 12는 이와 같은 과정으로 대응점이 참조 이미지에 정합되는 위치를 찾아서 나타낸 것이다. FIG. 12 shows the position where the corresponding point matches the reference image by the above process.
참조 이미지에 정합시킨 대응점이 되는 직선들을 하나의 객체 단위로 군집화하는 방법으로 Blob Labeling 방법을 이용한다. 대응점이 되는 직선들은 참조 이미지위치에 정합되어서 블록 단위를 형성해서 연결되는 특징이 있다. 이러한 특징을 이용하여 부분 이미지 후보 영역인 블록 단위를 형성하고 있는 직선들을 Blob Labeling 방법을 이용해서 하나의 객체 단위로 군집화한다. The Blob Labeling method is used to group the straight lines corresponding to the reference image into one object unit. The straight lines corresponding to the corresponding points are matched to the reference image position and are connected in a block unit. Using these features, the straight lines forming the block unit, which is the partial image candidate region, are clustered into one object unit by using the Blob Labeling method.
군집화 과정에서 Blob Labeling 방법으로 객체를 생성할 때 위치 정보를 이용해서 객체 크기만큼의 사각형 영역을 만든다. 이 사각형 영역이 최종적으로 참조 이미지에 포함되어 있는 질의 이미지의 위치가 되는 부분 이미지 영역이 된다. When creating an object by the Blob Labeling method in the clustering process, a rectangular area equal to the size of the object is created using the location information. This rectangular area becomes a partial image area which becomes the position of the query image finally included in the reference image.
이와 같은 본 발명에 따른 지역 정렬을 이용한 부분 이미지 검색 방법의 설명을 이미지 특성 요인 중에서 이미지 크기 변화, 명암도 변화를 중심으로 설명하였으나, 다른 이미지 특성 요인을 지역 정렬(Local Alignment)을 이용한 부분 이미지 검색에 적용할 수 있음은 당연하다.Although the description of the partial image retrieval method using the local alignment according to the present invention has been described based on the change in the image size and the contrast of the image characteristic factors, the other image characteristic factors are used for the partial image retrieval using the local alignment. Naturally, it can be applied.
즉, 이미지를 수치화 할 수 있는 값들로 색상정보 RGB에서 변환될 수 있는 모든 색상정보 값(HSI(Hue Intensity Saturation),HSV(Hue Saturation Value), CMY(Cyan Magenta Yellow),CMYK(Cyan Magenta Yellow K(pure black)) 등등)과 색상정보 값을 이용한 히스토그램, 영상의 윤곽선(엣지)에서 추출 할 수 있는 모든 수치 값(에지 히스토그램, 에지 방향성 히스토그램, 헤리스 코너 검출 등등), 영상의 웨이블릿 변환값(1차 웨이블릿 변환값, 2차 웨이블릿 변환값), 영상을 주파수 필터를 사용하여 변환 한 모든 수치 값(Fourier 변환, 고주파 필터, 저주파 필터 등등) 등을 지역 정렬(Local Alignment)을 이용한 부분 이미지 검색에 적용할 수 있다.That is, all color information values (HSI (Hue Intensity Saturation), HSV (Hue Saturation Value), CMY (Cyan Magenta Yellow), CMYK (Cyan Magenta Yellow K) can be converted into color information RGB values (pure black)) and histograms using color information values, all numerical values (edge histograms, edge directional histograms, Harris corner detections, etc.) that can be extracted from image outlines (edges), and wavelet transform values (1). Apply sub-wavelet transform value, 2nd wavelet transform value), and all numerical values (Fourier transform, high frequency filter, low frequency filter, etc.) converted from image using frequency filter to local image search using local alignment can do.
이와 같은 본 발명에 따른 지역 정렬을 이용한 부분 이미지 검색 방법은 지역 정렬을 이용한 부분 이미지 검색으로 간단한 연산과 적은 계산 양으로 이미지 특성 변화에 효과적으로 대응할 수 있도록 한 것이다.The partial image retrieval method using the regional alignment according to the present invention is to enable the partial image retrieval using the local alignment to effectively respond to the change in the image characteristics with a simple operation and a small amount of calculation.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.It will be understood that the present invention is implemented in a modified form without departing from the essential features of the present invention as described above.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.It is therefore to be understood that the specified embodiments are to be considered in an illustrative rather than a restrictive sense and that the scope of the invention is indicated by the appended claims rather than by the foregoing description and that all such differences falling within the scope of equivalents thereof are intended to be embraced therein It should be interpreted.
200. 부분 이미지 검색 전처리 모듈 210. 지역 정렬 모듈
220. 도트 매트릭스 생성 모듈 230. 특징점 추출 모듈
240. 대응점 생성 모듈 250. 후보 영역 생성 모듈
260. 부분 이미지 영역 생성 모듈200. Partial Image
220. Dot
240. Correspondence
260. Partial Image Area Generation Module
Claims (15)
부분 이미지 검색 전처리 모듈을 통하여 이미지 특성 요인을 기준으로 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값을 구하는 단계 및 상기 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값을 기반으로 상기 질의 이미지의 화소 개수의 이미지 특성값에 대응되는 질의 이미지의 길이 n, 상기 참조 이미지의 화소 개수의 이미지 특성값에 대응되는 참조 이미지의 길이 m를 이용하여 n*m의 크기를 갖는 행렬을 생성하는 단계;
지역 정렬 모듈을 통하여 상기 n*m의 크기를 갖는 행렬을 지역 정렬하고, 도트 매트릭스 생성 모듈을 통하여 특징점을 생성하기 위하여 도트 매트릭스를 생성하는 단계;
특징점 추출 모듈 및 대응점 생성 모듈을 통하여 상기 생성된 도트 매트릭스에서 지역 특징 영역의 대응점이 되는 직선을 추출하는 단계;
부분 이미지 영역 검색을 위하여 후보 영역 생성 모듈 및 부분 이미지 영역 생성 모듈을 통하여 상기 대응점을 참조 이미지에 정합하는 단계;를 포함하는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.In the partial image search for searching whether the small image used in the query is included in the region of the large image to be referred to and in which region,
Obtaining image characteristic values for each pixel of the query image and the reference image based on image characteristic factors through a partial image retrieval preprocessing module, and pixels of the query image based on the image characteristic values of each pixel of the query image and the reference image Generating a matrix having a size of n * m using a length n of a query image corresponding to a number of image feature values and a length m of a reference image corresponding to an image feature value of the number of pixels of the reference image;
Regionally aligning the matrix having a size of n * m through a local alignment module, and generating a dot matrix to generate a feature point through a dot matrix generation module;
Extracting a straight line which is a corresponding point of a local feature area from the generated dot matrix through a feature point extracting module and a corresponding point generating module;
And matching the corresponding points to a reference image through a candidate region generation module and a partial image region generation module for partial image region retrieval.
상기 질의 이미지와 참조 이미지를 각 화소별 이미지 특성값으로 변환하는 단계; 및
상기 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값을 1차원으로 배열하는 단계를 포함하고,
상기 1차원으로 배열된 상기 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값이 상기 질의 이미지의 길이 n 및 상기 참조 이미지의 길이 m이 되는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The method of claim 1, wherein the obtaining of the image characteristic value of each pixel of the query image and the reference image comprises:
Converting the query image and the reference image into image characteristic values for each pixel; And
Arranging image property values of each pixel of the query image and the reference image in one dimension;
And the image characteristic values for each pixel of the query image and the reference image arranged in the one-dimensional form are the length n of the query image and the length m of the reference image.
상기 질의 이미지와 참조 이미지를 화소 별로 나열되는 1차원 이미지로 변환하는 단계; 및
상기 1차원 이미지로 변환된 상기 질의 이미지와 참조 이미지를 각 화소별 이미지 특성값으로 변환하는 단계를 포함하고,
상기 1차원으로 배열된 상기 질의 이미지와 참조 이미지의 각 화소별 이미지 특성값이 상기 질의 이미지의 길이 n 및 상기 참조 이미지의 길이 m이 되는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The method of claim 1, wherein the obtaining of the image characteristic value of each pixel of the query image and the reference image comprises:
Converting the query image and the reference image into a one-dimensional image arranged for each pixel; And
Converting the query image and the reference image converted into the one-dimensional image into image characteristic values for each pixel,
And the image characteristic values for each pixel of the query image and the reference image arranged in the one-dimensional form are the length n of the query image and the length m of the reference image.
상기 이미지 특성 요인은 상기 이미지의 크기, 명암도, 색상 정보, 영상의 윤곽선, 영상의 웨이블릿, 영상의 주파수 중 적어도 어느 하나를 포함하고,
상기 이미지 특성값은 이미지 크기 변화, 명암도 변화, 색상 정보값, 영상의 윤곽선 추출값, 영상의 웨이블릿 변환값, 영상의 주파수 필터 변환값 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The method of claim 1,
The image characteristic factor includes at least one of the size, contrast, color information, contour of the image, wavelet of the image, and frequency of the image.
The image characteristic value may include at least one of an image size change, a change in contrast, a color information value, an image contour extraction value, an image wavelet transform value, and an image frequency filter transform value. How to search for images.
같은 이미지 2개를 질의 이미지와 참조 이미지로 사용했을 경우 Match가 되는 부분의 점들이 연결되어 일정한 기울기를 가지는 직선과 점들의 형태로 나타나고,
상기 직선들은 기울기의 크기에 관계없이 일정한 기울기를 갖는 모든 직선들을 포함하는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The method of claim 1, wherein in generating the dot matrix:
When two identical images are used as a query image and a reference image, the points of the matching part are connected to each other and appear in the form of straight lines and points having a constant slope.
And the straight lines include all straight lines having a constant slope regardless of the magnitude of the slope.
지역 특징영역의 대응점으로 도트 매트릭스에서 생성되는 직선을 이용하고, 직선이 아닌 점과 블록들은 잡음으로 정의하는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The method of claim 1, wherein in the step of extracting a straight line that is a corresponding point of the regional feature region,
A partial image retrieval method using local alignment, wherein a straight line generated from a dot matrix is used as a corresponding point of a local feature area, and points and blocks which are not straight lines are defined as noise.
도트 매트릭스에서 생성되는 직선의 길이는 질의 이미지의 넓이(Width)가 되고 직선의 총 개수는 이미지의 높이(Height) 만큼 생성되는 것을 이용하여 지역 특징 영역의 대응점이 되는 직선을 추출하는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The method of claim 1, wherein in the step of extracting a straight line that is a corresponding point of the regional feature region,
The length of the straight lines generated in the dot matrix is the width of the query image, and the total number of the straight lines is generated by the height of the image to extract the straight lines that correspond to the local feature areas. Partial image retrieval using local alignment.
이미지의 인접한 화소에는 모두 같은 번호(Label)를 붙이고 연결되지 않는 화소에는 다른 번호를 붙여 블록 단위의 객체를 생성하고,
질의 이미지의 넓이만큼의 크기를 가지는 객체를 지역 특징 영역의 대응점이 되는 직선이라고 판단하여 객체로 만드는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The method of claim 8, wherein in the step of extracting a straight line which is a corresponding point of the regional feature region,
Create an object in block units by attaching the same label to all adjacent pixels in the image, and assigning different numbers to pixels that are not connected.
A partial image retrieval method using local alignment, wherein an object having a size corresponding to the width of a query image is determined to be an object by determining that the object is a straight line corresponding to a local feature area.
도트 매트릭스에서 대응점이 되는 직선을 만들기 위하여 이웃한 화소의 정보를 이용해서 이미지 크기 변화(Image Resize)를 수행하는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The method of claim 1, wherein the query image is reduced or enlarged in the reference image.
A partial image retrieval method using local alignment, wherein image resize is performed using information of neighboring pixels to form a straight line corresponding to a corresponding point in a dot matrix.
부분적으로 Match된 영역들이 일정한 직선의 기울기 방향을 가지는 특징을 이용하여 이웃한 화소를 일정한 기울기를 가지는 직선으로 연결하는 방법을 사용하는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The method of claim 10, wherein in order to make a straight line that is a corresponding point of the local feature area,
A method of partial image retrieval using local alignment, comprising using a method of connecting a neighboring pixel to a straight line having a constant slope by using a feature in which partially matched regions have a constant straight line slope direction.
Smith-Waterman 알고리즘을 이용하여 지역 정렬을 수행할 때 임계치(Threshold)를 허용하는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The reference image of claim 1, wherein the reference image includes a query image having a change in intensity value, which is an image characteristic factor.
A partial image retrieval method using local alignment, which allows a threshold when performing local alignment using the Smith-Waterman algorithm.
상기 후보 영역 생성 모듈을 통하여 도트 매트릭스에서 생성한 대응점을 참조 이미지에 정합하여 부분 이미지 후보 영역을 생성하는 과정,
상기 부분 이미지 영역 생성 모듈을 통하여 부분 이미지 후보 영역을 군집화 과정을 거쳐 하나의 객체로 인식하여 최종적으로 부분 이미지 영역을 생성하는 과정을 포함하는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The method of claim 1, wherein matching the corresponding point to a reference image comprises:
Generating a partial image candidate region by matching corresponding points generated in a dot matrix with a reference image through the candidate region generating module;
And generating a partial image region by recognizing the partial image candidate region as a single object through a clustering process through the partial image region generating module.
도트 매트릭스에서 생성한 대응점인 직선의 시작위치(start p )와 끝 위치(end p )를 찾고,
여기서, X는 참조 이미지의 위치에 정합되는 x 좌표이고 Y 는 참조 이미지의 위치 y 좌표이고, dw는 도트 매트릭스의 넓이이고, rw는 참조 이미지의 넓이,
Xw는 Blob Labeling에서 추출한 직선의 시작위치와 끝 위치에서 계산한 직선의 총길이인 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The method of claim 13, wherein the partial image candidate area generation comprises:
Find the start position ( start p ) and end position ( end p ) of the straight line, the corresponding point created in the dot matrix,
Where X is the x coordinate to match the position of the reference image, Y is the position y coordinate of the reference image, dw is the width of the dot matrix, rw is the width of the reference image,
Xw is a partial image retrieval method using a local alignment, characterized in that the total length of the straight line calculated from the start position and the end position of the straight line extracted from blob labeling.
Blob Labeling 방법으로 객체를 생성할 때의 위치 정보를 이용해서 객체 크기만큼의 사각형 영역을 만들고,
이 사각형 영역이 최종적으로 참조 이미지에 포함되어 있는 질의 이미지의 위치가 되는 부분 이미지 영역이 되는 것을 특징으로 하는 지역 정렬을 이용한 부분 이미지 검색 방법.The method of claim 13, wherein in the clustering process,
Using the location information when creating an object by Blob Labeling method, create a rectangular area as large as the object size.
A partial image retrieval method using local alignment, wherein the rectangular region is a partial image region which is finally the position of the query image included in the reference image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110077451A KR101255729B1 (en) | 2011-08-03 | 2011-08-03 | Method on Sub Image Retrieval Using Local Alignment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110077451A KR101255729B1 (en) | 2011-08-03 | 2011-08-03 | Method on Sub Image Retrieval Using Local Alignment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130015452A KR20130015452A (en) | 2013-02-14 |
| KR101255729B1 true KR101255729B1 (en) | 2013-04-18 |
Family
ID=47895263
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110077451A KR101255729B1 (en) | 2011-08-03 | 2011-08-03 | Method on Sub Image Retrieval Using Local Alignment |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101255729B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101554421B1 (en) | 2014-04-16 | 2015-09-18 | 한국과학기술원 | Method and apparatus for image expansion using image structure |
| KR20160001896A (en) | 2014-06-27 | 2016-01-07 | 서강대학교산학협력단 | Keypoint detection method based on higer order scale derivative and Image retrieval method using the keypoint detection method |
| KR20210086836A (en) * | 2019-12-30 | 2021-07-09 | 동국대학교 산학협력단 | Image data processing method for searching images by text |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103514606B (en) * | 2013-10-14 | 2016-07-06 | 武汉大学 | A kind of allos Remote Sensing Image Matching method |
| KR101489216B1 (en) * | 2013-10-21 | 2015-02-06 | 한양대학교 산학협력단 | Apparatus and method for recognizing a place based on a straight line |
| KR101952622B1 (en) * | 2016-12-27 | 2019-05-17 | 경희대학교 산학협력단 | Method, apparatus, system and computer program for image retrieval based on local color difference |
| CN113658080B (en) * | 2021-08-23 | 2023-12-22 | 宁波棱镜空间智能科技有限公司 | Linear scanning cylinder geometric correction method and device based on characteristic point matching |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010105893A (en) * | 2000-05-19 | 2001-11-29 | 구자홍 | Content-based multimedia searching system using color distortion data |
| KR20040005895A (en) * | 2001-03-23 | 2004-01-16 | 인텔 코오퍼레이션 | Image retrieval using distance measure |
-
2011
- 2011-08-03 KR KR1020110077451A patent/KR101255729B1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20010105893A (en) * | 2000-05-19 | 2001-11-29 | 구자홍 | Content-based multimedia searching system using color distortion data |
| KR20040005895A (en) * | 2001-03-23 | 2004-01-16 | 인텔 코오퍼레이션 | Image retrieval using distance measure |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101554421B1 (en) | 2014-04-16 | 2015-09-18 | 한국과학기술원 | Method and apparatus for image expansion using image structure |
| KR20160001896A (en) | 2014-06-27 | 2016-01-07 | 서강대학교산학협력단 | Keypoint detection method based on higer order scale derivative and Image retrieval method using the keypoint detection method |
| KR20210086836A (en) * | 2019-12-30 | 2021-07-09 | 동국대학교 산학협력단 | Image data processing method for searching images by text |
| KR102373884B1 (en) * | 2019-12-30 | 2022-03-15 | 동국대학교 산학협력단 | Image data processing method for searching images by text |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20130015452A (en) | 2013-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101255729B1 (en) | Method on Sub Image Retrieval Using Local Alignment | |
| Yi et al. | Text extraction from scene images by character appearance and structure modeling | |
| Yi et al. | Text string detection from natural scenes by structure-based partition and grouping | |
| US8452108B2 (en) | Systems and methods for image recognition using graph-based pattern matching | |
| İlsever et al. | Two-dimensional change detection methods: remote sensing applications | |
| Mehri et al. | Texture feature benchmarking and evaluation for historical document image analysis | |
| Wang et al. | An effective method for plate number recognition | |
| US8687886B2 (en) | Method and apparatus for document image indexing and retrieval using multi-level document image structure and local features | |
| US8320665B2 (en) | Document image segmentation system | |
| Hua et al. | Content-based image retrieval using color volume histograms | |
| Fabrizio et al. | Textcatcher: a method to detect curved and challenging text in natural scenes | |
| CN112329756A (en) | Method and device for extracting seal and recognizing characters | |
| JP3851742B2 (en) | Form processing method and apparatus | |
| CN113011426A (en) | Method and device for identifying certificate | |
| Song et al. | Robust and parallel Uyghur text localization in complex background images | |
| Anantharatnasamy et al. | Fusion of colour, shape and texture features for content based image retrieval | |
| EP1930852B1 (en) | Image search method and device | |
| Chen et al. | Efficient text localization in born-digital images by local contrast-based segmentation | |
| CN111444907A (en) | Character recognition method, device, equipment and storage medium | |
| Droby et al. | Unsupervised deep learning for handwritten page segmentation | |
| Mishchenko et al. | Model-based chart image classification | |
| Chen et al. | Effective candidate component extraction for text localization in born-digital images by combining text contours and stroke interior regions | |
| CN116503848B (en) | Intelligent license plate recognition method, device, equipment and storage medium | |
| Shinde et al. | Street view text detection methods | |
| Höhn | Detecting arbitrarily oriented text labels in early maps |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |