KR102176787B1 - Method and apparatus for classifying image - Google Patents
Method and apparatus for classifying image Download PDFInfo
- Publication number
- KR102176787B1 KR102176787B1 KR1020180103632A KR20180103632A KR102176787B1 KR 102176787 B1 KR102176787 B1 KR 102176787B1 KR 1020180103632 A KR1020180103632 A KR 1020180103632A KR 20180103632 A KR20180103632 A KR 20180103632A KR 102176787 B1 KR102176787 B1 KR 102176787B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- classification
- original
- processed
- unit
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000012545 processing Methods 0.000 claims abstract description 58
- 230000008859 change Effects 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims description 14
- 238000003672 processing method Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 9
- 230000009466 transformation Effects 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 4
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 239000000470 constituent Substances 0.000 description 6
- 238000004590 computer program Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000973887 Takayama Species 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000010224 classification analysis Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G06K9/00718—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G06K9/00744—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
본 발명은 영상분류 방법 및 장치에 관한 것이다. 개시된 영상분류 방법 및 장치는, 입력된 원본영상에 인위적인 영상가공처리를 하는 영상가공부, 상기 영상가공부에서 가공된 영상의 사전정보를 이용하여 가공된 영상을 원본영상으로 재생 또는 회복을 시도하는 영상복원부 및 상기 입력된 원본영상, 상기 가공된 영상 혹은 상기 복원된 영상을 기반으로 특징을 추출하여 영상을 분류하는 영상분류부를 포함하는 것을 특징으로 하는 영상분류 장치 및 방법을 제공한다. 본 발명에 의하면, 물체의 크기변화, 회전 또는 강체 변화 등 물체의 특성변화가 있는 경우에도 성능이 향상된 영상분류 방법 및 장치를 제공할 수 있다는 이점이 있다. The present invention relates to an image classification method and apparatus. The disclosed image classification method and apparatus includes an image processing unit that performs artificial image processing on an input original image, and an image restoration that attempts to reproduce or recover a processed image as an original image using the prior information of the image processed by the image processing unit. It provides an image classification apparatus and method, comprising: an image classification unit for classifying an image by extracting a feature based on the unit and the input original image, the processed image or the reconstructed image. According to the present invention, there is an advantage in that it is possible to provide an image classification method and apparatus with improved performance even when there is a change in characteristics of an object such as a change in size, rotation, or rigid body change.
Description
본 발명은 영상분류 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상을 인위적으로 가공하고 가공된 정보를 복원하여 복원된 영상을 기반으로 영상을 분류하는 영상분류 방법 및 장치에 관한 것이다.The present invention relates to an image classification method and apparatus, and more particularly, to an image classification method and apparatus for classifying an image based on a reconstructed image by artificially processing an image and restoring the processed information.
이 부분에 기술된 내용은 단순히 본 실시 예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The content described in this section merely provides background information on the present embodiment and does not constitute the prior art.
영상분석 기술은 화상 데이터가 가지고 있는 정보를 바탕으로 여러 가지 화상 처리를 함으로써 필요한 정보를 꺼내서 해석하는 것을 말한다. 최근 영상 기술이 산업 전반에 활용됨에 따라 영상을 분석하는 기술에 대한 수요가 점점 증가하고 있다. 특히 영상을 분류하는 기술이 중요해짐에 따라 영상의 특징을 추출하는 기술이 중요해지고 있다. Image analysis technology refers to extracting and analyzing necessary information by performing various image processing based on the information contained in image data. Recently, as image technology is used throughout the industry, the demand for image analysis technology is increasing. In particular, as a technology for classifying an image becomes important, a technology for extracting features of an image is becoming more important.
영상분류(Image Classification)는 각각의 픽셀의 특성을 분석하여 몇 개의 종류 중 하나로 묶어줌으로써 영상의 내용을 쉽게 이해할 수 있도록 하는 기법이다. 영상에서 실제 물체가 무엇인지 일일이 인간의 시각을 통하지 않고 컴퓨터에 의하여 분류하는 방법으로서, 특별한 특성에 대한 정보의 범주를 포함하는 하나 또는 그 이상의 공간적인, 시각적인 분광대 주파수대의 관계들을 포함한 수치 영상의 수치 분석이다.Image Classification is a technique that makes it easy to understand the contents of an image by analyzing the characteristics of each pixel and grouping it into one of several types. A method of classifying what the actual object is in an image by a computer rather than through human vision, and a numerical image including one or more spatial and visual spectral frequency band relations including a category of information on a particular characteristic Is a numerical analysis.
종래 기술에 의한 영상분류 기술에서는 일반적으로 영상에서 물체의 크기 변화, 회전, 강체 변화 등 물체의 특징이 지속적으로 변화하기 때문에 정확한 영상분류에 어려움이 있다. In the image classification technology according to the prior art, it is difficult to accurately classify an image because the characteristics of an object such as a change in size, rotation, and a rigid body change continuously in an image.
이에, 본 발명에서는, 전술한 기술적 제약을 해소시킬 수 있는 영상분류 방법 및 장치를 제안하고자 한다.Accordingly, in the present invention, an image classification method and apparatus capable of solving the technical limitations described above are proposed.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 물체의 크기변화, 회전 또는 강체 변화 등 물체의 특성변화가 있는 경우에도 성능이 향상된 영상분류 방법 및 장치를 제공하는데 주된 목적이 있다.The present invention has been proposed in order to solve the problems of the prior art described above, and has a main object to provide an image classification method and apparatus with improved performance even when there is a change in characteristics of an object such as a change in size, rotation, or rigid body change. .
또한, 본 발명의 다른 목적은 일반적인 컬러영상 뿐 아니라 깊이 영상 또는 레이더 영상같이 이기종의 영상에서도 향상된 영상분류 방법 및 장치를 제공하는데 있다.In addition, another object of the present invention is to provide an improved image classification method and apparatus not only for general color images but also for heterogeneous images such as depth images or radar images.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved of the present invention is not limited to those mentioned above, and another problem to be solved that is not mentioned will be clearly understood by those of ordinary skill in the art from the following description.
전술한 목적을 달성하기 위한 본 발명의 일 양상은, 입력된 원본영상에 인위적인 영상가공처리를 하는 영상가공부; 상기 영상가공부에서 가공된 영상의 사전정보를 이용하여 가공된 영상을 원본영상으로 재생 또는 회복을 시도하는 영상복원부; 및 상기 입력된 원본영상, 상기 가공된 영상 혹은 상기 복원된 영상을 기반으로 특징을 추출하여 영상을 분류하는 영상분류부를 포함하는 것을 특징으로 하는 영상분류 장치를 제공한다. An aspect of the present invention for achieving the above object is an image processing unit for artificial image processing on the input original image; An image restoration unit that attempts to reproduce or recover an image processed as an original image using the prior information of the image processed by the image processing unit; And an image classification unit for classifying an image by extracting features based on the input original image, the processed image, or the reconstructed image.
상기 영상가공부는, 상기 원본영상에 노이즈의 추가, 상기 원본영상의 특정 신호를 추출, 상기 원본영상의 기하학적 변환 및 필터링 중 어느 하나 이상의 처리를 포함할 수 있다. The image processing unit may include any one or more processing of adding noise to the original image, extracting a specific signal of the original image, geometric transformation and filtering of the original image.
상기 영상가공부는, 상기 원본영상에 여러 강도의 가우시안 필터링을 취한 후 상기 원본영상과 차분하여 여러 필터링 강도에 따라 강한 텍스처부터 약한 텍스처까지 여러가지 텍스처를 선별하여 추출할 수 있다.The image processing unit may perform Gaussian filtering of various intensities on the original image, differentiate from the original image, and select and extract various textures from strong to weak textures according to various filtering strengths.
상기 입력 원본영상은, 일반적인 컬러 영상, 깊이영상 및 레이더 영상 중 어느 하나 이상인 것일 수 있다.The input original image may be one or more of a general color image, a depth image, and a radar image.
상기 영상복원부를 통하여 영상이 복원된 정도는 수치화되어 상기 영상분류부에서 특징값으로 사용될 수 있다.The degree to which the image is reconstructed through the image restoration unit is converted into a number and used as a feature value in the image classification unit.
상기 수치화하는 방법은, 평균제곱오차법(Mean squared error, MSE), L-p norm 방식 중 어느 하나 이상인 것일 수 있다. The numerical method may be at least one of a mean squared error (MSE) and an L-p norm method.
상기 영상분류부는, 상기 원본영상에 강도가 서로 다른 하나 이상의 가우시안 노이즈를 추가하여 영상을 가공하고, 노이즈가 포함된 영상을 복원한 후 상기 원본 영상과의 차이를 비교하고 차분영상들을 생성함으로써, 복수의 경계강도를 가지고 있는 차분영상들을 활용하여 영상분류를 하는 것일 수 있다.The image classification unit processes an image by adding one or more Gaussian noises having different intensities to the original image, restores an image containing noise, and then compares the difference with the original image and generates difference images. It may be to classify the image by using the difference images with the boundary strength of.
상기 영상분류부는, 특정 가공방법에 대하여 상기 원본영상이 상기 영상가공부에서 변형된 정도와 상기 영상복원부에서 복원된 정도의 특징들을 순서쌍 값으로 하여 특징벡터들을 생성하고, 이를 바탕으로 영상의 분류를 하는 것일 수 있다. The image classification unit generates feature vectors based on the characteristics of the degree to which the original image is deformed in the image processing unit and the degree to be restored by the image restoration unit as an order pair value for a specific processing method, and classifies the image based on this. It can be.
본 발명의 다른 일 양상은, 입력된 원본영상에 대한 인위적인 영상가공처리를 하는 영상가공단계; 상기 영상가공단계를 거쳐 가공된 영상의 사전 정보를 이용하여 가공된 영상을 원본으로 재생 또는 회복을 시도하는영상복원단계; 및 상기 입력 원본영상 자체의 정보만을 이용하여 직접 분류하거나, 상기 영상가공단계를 거친 가공영상 혹은 상기 영상복원단계를 거친 복원영상으로부터 특징을 추출하여 영상을 분류하는 영상분류단계를 포함하는 것을 특징으로 하는 영상분류 방법을 제공한다.Another aspect of the present invention is an image processing step of artificially processing an input original image; An image restoration step of reproducing or attempting to recover the processed image as an original using the prior information of the image processed through the image processing step; And an image classification step of directly classifying the input original image using only the information itself, or classifying the image by extracting features from the processed image that has undergone the image processing step or the reconstructed image that has undergone the image restoration step. Provides an image classification method.
상기 영상분류단계는, 상기 원본영상에 강도가 서로 다른 하나 이상의 가우시안 노이즈를 추가하여 영상을 가공하고, 노이즈가 포함된 영상을 복원한 후 상기 원본 영상과의 차이를 비교하고 차분영상들을 생성함으로써, 복수의 경계강도를 가지고 있는 차분영상들을 활용하여 영상분류를 하는 것일 수 있다. In the image classification step, the image is processed by adding one or more Gaussian noises of different intensities to the original image, and after restoring the image containing noise, comparing the difference with the original image and generating difference images, Image classification may be performed by using differential images having a plurality of boundary intensities.
상기 영상분류단계는, 특정 가공방법에 대하여 입력영상이 상기 영상가공단계에서 변형된 정도와 상기 영상복원단계에서 복원된 정도의 특징들을 순서쌍 값으로 만든 특징벡터들을 형성하고, 이 값을 바탕으로 영상의 분류를 하는 것일 수 있다. In the image classification step, for a specific processing method, feature vectors are formed as an ordered pair value of the degree to which the input image is deformed in the image processing step and the degree to be restored in the image restoration step, and based on this value It may be a classification of.
본 발명의 다른 일 양상은, 상기 영상분류 방법을 실행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공한다.Another aspect of the present invention provides a computer-readable recording medium in which a program for executing the image classification method is recorded.
본 발명의 영상분류 방법 및 장치에 의하면, 물체의 크기변화, 회전 또는 강체 변화 등 물체의 특성변화가 있는 경우에도 성능이 향상된 영상분류 방법 및 장치를 제공할 수 있다는 효과가 있다.According to the image classification method and apparatus of the present invention, it is possible to provide an image classification method and apparatus with improved performance even when there is a change in characteristics of an object such as a change in size, rotation, or rigid body of the object.
또한, 일반적인 컬러영상 뿐 아니라 깊이 영상 또는 레이더 영상같이 이기종의 영상에서도 향상된 영상분류 방법 및 장치를 제공할 수 있다는 효과가 있다.In addition, there is an effect of providing an improved image classification method and apparatus not only for general color images but also for heterogeneous images such as depth images or radar images.
본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The effects that can be obtained in the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those of ordinary skill in the art from the following description. .
본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부 도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 특징을 설명한다.
도 1은 본 발명의 일 실시예에 따른 영상분류 장치의 개략적인 구성도를 예시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상분류 방법을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 영상분류 장치에 따른 실험결과를 비교한 도면이다. BRIEF DESCRIPTION OF THE DRAWINGS The accompanying drawings, which are included as part of the detailed description to aid in understanding of the present invention, provide embodiments of the present invention, and together with the detailed description, the technical features of the present invention are described.
1 is a diagram illustrating a schematic configuration diagram of an image classification apparatus according to an embodiment of the present invention.
2 is a diagram illustrating an image classification method according to an embodiment of the present invention.
3 is a view comparing experimental results according to an image classification apparatus according to an embodiment of the present invention.
이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다. 이하의 상세한 설명은 본 발명의 완전한 이해를 제공하기 위해서 구체적 세부사항을 포함한다. 그러나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 이러한 구체적 세부사항 없이도 실시될 수 있음을 안다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. The detailed description to be disclosed hereinafter together with the accompanying drawings is intended to describe exemplary embodiments of the present invention, and is not intended to represent the only embodiments in which the present invention may be practiced. The following detailed description includes specific details to provide a thorough understanding of the present invention. However, those of ordinary skill in the art to which the present invention pertains knows that the present invention may be practiced without these specific details.
몇몇 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다.In some cases, in order to avoid obscuring the concept of the present invention, well-known structures and devices may be omitted, or may be shown in a block diagram form centering on core functions of each structure and device.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.Throughout the specification, when a part is said to "comprising or including" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary. do. In addition, terms such as "... unit", "... group", and "module" described in the specification mean units that process at least one function or operation, which can be implemented by hardware or software or a combination of hardware and software. have. In addition, "a or an", "one", "the" and similar related words are different from this specification in the context of describing the present invention (especially in the context of the following claims). Unless otherwise indicated or clearly contradicted by context, it may be used in a sense encompassing both the singular and the plural.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In describing embodiments of the present invention, if it is determined that a detailed description of a known function or configuration may unnecessarily obscure the subject matter of the present invention, a detailed description thereof will be omitted. In addition, terms to be described later are terms defined in consideration of functions in an embodiment of the present invention and may vary according to the intention or custom of users or operators. Therefore, the definition should be made based on the contents throughout this specification.
이하, 첨부된 도면들을 참조하여 본 발명의 실시예에 대해 살펴보기로 한다.Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 영상분류 장치의 개략적인 구성도를 예시한 도면이다. 1 is a diagram illustrating a schematic configuration diagram of an image classification apparatus according to an embodiment of the present invention.
도 1에 나타난 각 구성부들은 영상분류 장치에서 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시한 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다. Each of the components shown in FIG. 1 is shown independently to represent different characteristic functions in the image classification apparatus, and does not mean that each component is formed of separate hardware or a single software component. That is, each constituent part is listed and included as a constituent part for convenience of explanation, and at least two of the constituent parts are combined to form a single constituent part, or one constituent part is divided into a plurality of constituent parts to perform a function Integrated embodiments and separate embodiments of the components are also included in the scope of the present invention unless departing from the essence of the present invention.
또한, 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.In addition, some of the components are not essential components that perform essential functions in the present invention, but may be optional components only for improving performance. The present invention can be implemented by including only the components essential to implement the essence of the present invention excluding components used for performance improvement, and a structure including only essential components excluding optional components used for performance improvement Also included in the scope of the present invention.
영상가공부(110)는 입력된 원본영상에 인위적인 가공처리를 하는 기능부이다. The
원본영상의 가공은 단순히 노이즈를 추가하거나 원본영상에서 특정 신호를 추출하는 것에 국한되지 않고, 원본영상의 기하학적 변환, 필터링 등을 모두 포함한다. 본 발명의 일 실시예에 있어서, 상기 영상가공은 노이즈 추가, 필터링, 퓨리에(Fourier) 변환, 아핀(Affine) 변환 등의 예들에서 어느 하나 이상을 선택하여 실행할 수 있으나, 이에 제한되지 않고 적합한 영상가공은 어느 것이든 이용할 수 있다. 예를 들어 입력 원본영상에 여러 강도의 가우시안 필터링을 취한 후 원본영상과 차분하면 필터링 강도에 따라 강한 텍스처부터 약한 텍스처까지 여러가지 텍스처를 선별하여 추출할 수 있다. 또한, 영상가공부(110)는 하나의 가공방법 뿐 아니라 여러 개의 가공방법을 동시에 적용하여 입력 원본영상을 가공할 수도 있다.The processing of the original image is not limited to simply adding noise or extracting a specific signal from the original image, but includes all geometric transformation and filtering of the original image. In one embodiment of the present invention, the image processing may be performed by selecting any one or more from examples such as noise addition, filtering, Fourier transformation, and affine transformation, but is not limited thereto and suitable image processing You can use either. For example, if different strengths of Gaussian filtering are applied to the input original image and then different from the original image, various textures from strong to weak textures can be selected and extracted according to the filtering strength. In addition, the
영상가공부(110)는 일반적인 컬러 영상에 국한되지 않고 깊이 영상 또는 레이더 영상과 같은 이기종의 영상을 입력 원본영상으로 하여 가공하는 것도 포함한다.The
영상복원부(130)는 영상가공부(110)에서 가공된 영상의 사전 정보를 이용하여 가공된 영상을 원본으로 재생 또는 회복을 시도하는 기능부이다. 영상복원기술은 원본 영상을 회복하기 위해 가공된 영상의 모형화와 열처리에 중점을 두며, 또한 영상 복원은 요구되는 결과를 평가할 수 있는 적절한 기준이 필요하다. 영상복원은 탐측기 내 각 영상소들의 감지 특성이나 성능 저하에 의해 발생된 오차를 제거, 보정하는 것을 말하며, 예를 들어 Destriping과 Drop Line Correction 2가지 과정이 있다. 하지만 영상복원은 이러한 예에 한정되는 것은 아니고, 상기 영상가공 방법과 관련되어 적절하게 선택될 수 있다. 영상복원부(130)는 가공된 영상에 따른 최적의 복원방식을 택하는 방법, 혹은 일반적인 복원방식을 사용하는 방법 등을 사용할 수 있다. The
영상복원부(130)에서 복원된 정도는 하나의 변수로 추가되어 수치화될 수 있으며 영상분류부(150)에서 특징값으로 사용할 수 있다. 수치화하는 방법은 평균제곱오차법(Mean squared error, MSE), L-p norm 방식 등을 사용할 수 있다.The degree restored by the
영상분류부(150)는 입력된 영상, 가공된 영상 혹은 복원된 영상을 기반으로 특징을 추출하여 분류하는 기능부이다. The
영상분류부(150)에서 영상분류는 입력영상 자체의 정보만을 이용할 수도 있지만 영상을 가공하고 이를 복원하는 과정에서 특징을 추출할 수 있다. 예를 들어 영상에 가우시안 노이즈를 추가하여 영상을 가공하고 노이즈가 포함된 영상을 복원한 후 원본 영상과의 차이를 비교해보면 노이즈 강도보다 강한 경계는 보존되고 노이즈 강도보다 약한 경계는 노이즈와 함께 사라지게 된다. 따라서 원본 영상과 노이즈가 추가된 후 복원된 영상의 차분 영상은 특정 강도 이하의 경계만을 포함하는 영상이다. 이와 같은 방법으로 노이즈의 강도를 변화시키면서 차분 영상을 모으면 각 차분 영상은 서로 다른 경계 강도를 가지고 있는 영상이 된다. 이들 다양한 경계강도를 가지고 있는 영상들을 활용하여 보다 성능이 향상된 영상분류 결과를 얻을 수 있는 것이다. 이때 입력영상은 컬러 영상에 국한되지 않고 깊이 영상 또는 레이더 영상 같이 이기종의 영상을 모두 포함한다The
한편, 특정 가공방법에 대하여 입력영상이 영상가공부(110)에서 변형된 정도와 영상복원부(130)에서 복원된 정도의 특징들을 순서쌍 값으로 만들게 되면, 영상분류부(150)에서 여러가지 가공방식에 대한 특징벡터들을 형성할 수 있고, 이 값을 바탕으로 영상의 분류를 진행할 수 있다. 이들 특징벡터를 활용하여 보다 성능이 향상된 영상분류 결과를 얻을 수 있다. 본 발명의 일 실시예에 있어서, 영상의 가공 및 복원후 복원도 값을 영상분류부(150)의 예컨대 머신러닝 또는 딥러닝 모듈에 변수로 추가하여 연산시켜줌으로써 영상분류의 성능이 개선될 수 있다. 향상된 영상분류 테스트 결과는 도 3의 설명 부분에서 예시하도록 한다. On the other hand, for a specific processing method, when the characteristics of the degree to which the input image is deformed by the
영상분류부(150)에서 특징벡터 등을 형성하는 데에 딥러닝과 같은 기계학습(Machine Learning) 기법을 활용한 알고리즘을 적용하여 보다 성능을 향상할 수 있다. 기계학습 알고리즘에는 의사결정나무(Decision Tree), 베이지안 망(Bayesian network), 지지벡터머신(Support Vector Machine, SVM), 합성공 신경망(Convolutional Neural Network), 인공 신경망(Artificial Neural Network), 딥러닝, 강화러닝 등이 있다. 지지벡터머신 모델은 패턴분류에 있어서 각광받고 있는 통계적 학습이론으로, 패턴인식과 자료 분석을 위한 지도(감독/교사) 학습의 모델로 주로 분류와 회귀분석을 위해 사용하고 있다. 다시 말하면 학습데이터와 범주 정보의 학습 진단을 대상으로 학습과정에서 얻어진 확률분포를 이용하여 의사결정함수를 추정한 후 이 함수에 따라 새로운 데이터를 이원 분류하는 것이다. 지도 학습은 컴퓨터에 먼저 정보를 가르치는 방법으로 컴퓨터는 미리 학습된 결과를 바탕으로 정보를 구분하는 것이다. 딥러닝은 컴퓨터가 여러 데이터를 이용해 마치 사람처럼 스스로 학습할 수 있게 하기 위해 인공 신경망(ANN: artificial neural network)을 기반으로 구축한 한 기계 학습 기술로서, 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시킨다. 딥 러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지·추론·판단할 수 있게 된다The
도 2는 본 발명의 일 실시예에 따른 영상분류 방법을 예시한 도면이다.2 is a diagram illustrating an image classification method according to an embodiment of the present invention.
입력된 원본영상에 대한 영상가공단계(S201)는 단순히 노이즈를 추가하거나 영상에서 특정 신호를 추출하는 것에 국한되지 않고 영상의 기하학적 변환, 필터링 등을 모두 포함한다. 예를 들어 입력 영상에 여러 강도에 가우시안 필터링을 취한 후 원본 영상과 차분하면 필터링 강도에 따라 강한 텍스처부터 약한 텍스처까지 여러가지 텍스처를 선별하여 추출할 수 있다. 또한, 영상가공단계(S201)는 하나의 가공방법 뿐 아니라 여러 개의 가공방법을 동시에 적용하여 입력영상을 가공할 수도 있다. The image processing step (S201) for the input original image is not limited to simply adding noise or extracting a specific signal from the image, but includes all geometric transformation and filtering of the image. For example, if Gaussian filtering is applied to the input image at various intensities and then differentiated from the original image, various textures from strong to weak textures can be selected and extracted according to the filtering strength. In addition, in the image processing step S201, not only one processing method but also several processing methods may be applied at the same time to process the input image.
영상복원단계(S203)는 영상가공단계(S201)를 거쳐 가공된 영상의 사전 정보를 이용하여 가공된 영상을 원본으로 재생 또는 회복을 시도한다. In the image restoration step S203, the processed image is reproduced or restored as an original by using the prior information of the image processed through the image processing step S201.
영상분류단계(S205)는 입력 원본영상 자체의 정보만을 이용하여 직접 분류할 수도 있지만, 영상가공단계(S201)를 거친 가공영상 혹은 영상복원단계(S203)를 거친 복원영상으로부터 특징을 추출하여 분류할 수 있다. 예를 들어 원본영상에 가우시안 노이즈를 추가하여 가공영상을 생성하고, 노이즈가 포함된 가공영상을 복원한 후 복원영상과 원본영상과의 차이를 비교해보면, 노이즈 강도보다 강한 경계는 보존되고 노이즈 강도보다 약한 경계는 노이즈와 함께 사라지게 된다. 따라서 원본 영상과 노이즈가 추가된 후 복원된 영상의 차분 영상은 특정강도 이하의 경계만을 포함하는 영상이다. 이와 같은 방법으로 노이즈의 강도를 변화시키면서 차분 영상을 모으면 각 차분 영상은 서로 다른 경계 강도를 가지고 있는 영상들이 된다. 이때 입력 원본영상은 컬러 영상에 국한되지 않고 깊이 영상 또는 레이더 영상 같이 이기종의 영상을 모두 포함한다The image classification step (S205) may be directly classified using only the information of the input original image itself, but the features are extracted and classified from the processed image that has passed through the image processing step (S201) or the reconstructed image that has gone through the image restoration step (S203). I can. For example, if you add Gaussian noise to the original image to create a processed image, restore the processed image containing noise, and compare the difference between the reconstructed image and the original image, the boundary stronger than the noise intensity is preserved and is less than the noise intensity. Weak boundaries disappear with noise. Therefore, the difference image between the original image and the image reconstructed after adding noise is an image including only a boundary less than a certain intensity. When the difference images are collected while changing the intensity of noise in this way, each difference image becomes images having different boundary strengths. In this case, the input original image is not limited to a color image, but includes all heterogeneous images such as a depth image or a radar image.
한편, 특정 가공방법에 대하여 입력영상이 영상가공단계(S201)에서 변형된 정도와 영상복원단계(S203)에서 복원된 정도의 특징들을 순서쌍 값으로 만들게 되면, 영상분류단계(S205)에서 여러가지 가공방식에 대한 특징벡터들을 형성할 수 있고, 이 값을 바탕으로 영상의 분류를 진행할 수 있다. 예컨대, 영상 가공 및 복원후 추출된 복원도 값을 영상분류단계(S205)에서 예컨대, 머신러닝 또는 딥러닝 모듈에 변수로 추가하여 줌으로써, 영상 분류의 성능을 개선할 수 있다.On the other hand, for a specific processing method, if the characteristics of the degree to which the input image is deformed in the image processing step (S201) and the degree restored in the image restoration step (S203) are made into ordered pair values, various processing methods in the image classification step (S205) Feature vectors for can be formed, and image classification can be performed based on this value. For example, by adding a reconstruction degree value extracted after image processing and restoration as a variable to, for example, a machine learning or deep learning module in the image classification step S205, the performance of image classification may be improved.
영상분류단계(S205)에서 특징벡터 등을 형성하는 데에 기계학습 기법을 활용한 알고리즘을 적용하여 보다 성능을 향상할 수 있다. In the image classification step (S205), an algorithm using a machine learning technique may be applied to form a feature vector and the like to further improve performance.
도 2에서는 단계 S201 내지 단계 S205을 순차적으로 실행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 2에 기재된 순서를 변경하여 실행하거나 단계 S201 내지 단계 S205 중 하나 이상의 단계를 병렬적으로 실행하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이므로, 도 2는 시계열적인 순서로 한정되는 것은 아니다. 예컨대, S201을 거쳐 S205단계가 수행될 수 있으며, S203을 거친 이후 S205가 수행될 수 있다. In FIG. 2, steps S201 to S205 are described as sequentially executing, but this is merely illustrative of the technical idea of the present embodiment, and those of ordinary skill in the technical field to which the present embodiment pertains, In the range not departing from the essential characteristics, the order shown in FIG. 2 may be changed and executed, or at least one of steps S201 to S205 may be executed in parallel, and thus various modifications and modifications may be applied. It is not limited. For example, step S205 may be performed through S201, and S205 may be performed after passing through S203.
도 3은 종래기술과 본 발명의 일 실시예에 따른 영상분류 장치에 따른 실험결과를 비교한 도면이다.3 is a view comparing experimental results according to the prior art and the image classification apparatus according to an embodiment of the present invention.
도 3의 좌측의 방식에 비하여, 도 3의 우측의 도면은 본 발명의 일 실시예에 따라 입력영상을 노이즈 추가, 변형 등 영상가공부(110)를 거쳐서 영상복원부(130)로 복원한 영상을 17가지 채널로 입력하여 분류한 예시이다.Compared to the method on the left side of FIG. 3, the diagram on the right side of FIG. 3 shows an image restored by the
본 발명에 따른 테스트에 따르면, 복원된 영상의 복원된 정도를 영상의 형태로 수치화 하여 머신러닝 혹은 딥러닝 모듈에 입력영상과 함께 넣었을때 영상의 분류 성능이 48.94%에서 49.41%로 향상됨을 보여준다. 가공 및 복원의 샘플을 증가할 경우 영상 분류 성능은 더욱 향상될 것이다. According to the test according to the present invention, it is shown that the classification performance of the image is improved from 48.94% to 49.41% when the reconstructed degree of the reconstructed image is quantified in the form of an image and put together with the input image in a machine learning or deep learning module. The image classification performance will be further improved if the number of processed and reconstructed samples is increased.
본 명세서에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다. Combinations of each block in the block diagram attached to the present specification and each step in the flowchart may be performed by computer program instructions. Since these computer program instructions can be mounted on a processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, the instructions executed by the processor of the computer or other programmable data processing equipment are shown in each block or flow chart of the block diagram. Each step creates a means to perform the functions described. These computer program instructions can also be stored in computer-usable or computer-readable memory that can be directed to a computer or other programmable data processing equipment to implement a function in a particular way, so that the computer-usable or computer-readable memory It is also possible to produce an article of manufacture in which the instructions stored in the block diagram contain instruction means for performing the functions described in each block or flow chart. Computer program instructions can also be mounted on a computer or other programmable data processing equipment, so that a series of operating steps are performed on a computer or other programmable data processing equipment to create a computer-executable process to create a computer or other programmable data processing equipment. It is also possible for the instructions to perform the processing equipment to provide steps for performing the functions described in each block of the block diagram and each step of the flowchart.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.In addition, each block or each step may represent a module, segment, or part of code comprising one or more executable instructions for executing the specified logical function(s). In addition, it should be noted that in some alternative embodiments, functions mentioned in blocks or steps may occur out of order. For example, two blocks or steps shown in succession may in fact be performed substantially simultaneously, or the blocks or steps may sometimes be performed in the reverse order depending on the corresponding function.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those of ordinary skill in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention. Accordingly, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention, but to explain the technical idea, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
본 발명의 영상분류 방법 및 장치에 따르면, 물체의 크기변화, 회전 또는 강체 변화 등 물체의 특성변화가 있는 경우에도 성능이 향상된 영상분류 방법 및 장치를 제공할 수 있는 솔루션으로 활용 가능하다는 점에서, 기존 기술의 한계를 뛰어 넘음에 따라 관련 기술에 대한 이용만이 아닌 적용되는 장치의 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.According to the image classification method and apparatus of the present invention, even when there is a change in the characteristics of an object, such as a change in size, rotation, or rigid body, it can be utilized as a solution that can provide an image classification method and apparatus with improved performance, As it goes beyond the limitations of the existing technology, it is an invention that has industrial applicability because not only the use of the related technology, but also the possibility of marketing or sales of the applied device is sufficient, and it can be practically and clearly implemented.
100: 영상분류 장치 110: 영상가공부 130: 영상복원부 150: 영상분류부100: image classification device 110: image processing unit 130: image restoration unit 150: image classification unit
Claims (12)
상기 영상가공부에서 가공된 영상의 사전정보를 이용하여 가공된 영상을 원본영상으로 재생 또는 회복을 시도하는 영상복원부; 및
상기 입력된 원본영상, 상기 가공된 영상 혹은 복원된 영상을 기반으로 특징을 추출하여 영상을 분류하는 영상분류부를 포함하고,
상기 영상가공부는, 상기 원본영상에 여러 강도의 가우시안 필터링을 취한 후 상기 원본영상과 차분하여 여러 필터링 강도에 따라 강한 텍스처부터 약한 텍스처까지 여러가지 텍스처를 선별하여 추출하고,
상기 영상복원부를 통하여 영상이 복원된 정도는 수치화되어 상기 영상분류부에서 특징값으로 사용되고,
상기 영상분류부는, 특정 가공방법에 대하여 상기 원본영상이 상기 영상가공부에서 변형된 정도와 상기 영상복원부에서 복원된 정도의 특징들을 순서쌍 값으로 하여 특징벡터들을 생성하고, 이를 바탕으로 영상의 분류를 하고,
상기 영상분류부는, 상기 원본영상에 대한 여러 강도의 가우시안 필터링을 한 가공영상과, 이를 복원한 복원영상 간의 차분영상을 활용하고, 상기 차분영상은 노이즈 강도 변화에 따라 각각 서로 다른 경계 강도를 가지고 있는 것을 특징으로 하는 영상분류 장치.An image processing unit that performs artificial image processing on the input original image;
An image restoration unit that attempts to reproduce or recover an image processed as an original image using the prior information of the image processed by the image processing unit; And
An image classification unit for classifying an image by extracting features based on the input original image, the processed image or the reconstructed image,
The image processing unit selects and extracts various textures from strong textures to weak textures according to various filtering strengths by differentiating from the original image after taking Gaussian filtering of various strengths on the original image,
The degree of restoration of the image through the image restoration unit is converted into a number and used as a feature value in the image classification unit
The image classification unit generates feature vectors based on the characteristics of the degree to which the original image is deformed in the image processing unit and the degree to be restored by the image restoration unit as an order pair value for a specific processing method, and classifies the image based on this. and,
The image classification unit utilizes a difference image between a processed image subjected to Gaussian filtering of various strengths of the original image and a reconstructed image, and the difference image has different boundary strengths according to a change in noise intensity. Video classification device, characterized in that.
상기 영상가공부는,
상기 원본영상에 노이즈의 추가, 상기 원본영상의 특정 신호를 추출, 상기 원본영상의 기하학적 변환 및 필터링 중 어느 하나 이상의 처리를 포함하는 것을 특징으로 하는 영상분류 장치.The method of claim 1,
The image processing unit,
And processing at least one of adding noise to the original image, extracting a specific signal from the original image, and performing geometric transformation and filtering of the original image.
상기 입력된 원본영상은,
일반적인 컬러 영상, 깊이영상 및 레이더 영상 중 어느 하나 이상인 것을 특징으로 하는 영상분류 장치.The method of claim 1,
The input original image,
An image classification apparatus, characterized in that at least one of a general color image, a depth image, and a radar image.
상기 수치화하는 방법은,
평균제곱오차법(Mean squared error, MSE), L-p norm 방식 중 어느 하나 이상인 것을 특징으로 하는 영상분류 장치.The method of claim 1,
How to quantify the above,
An image classification apparatus, characterized in that at least one of a mean squared error (MSE) and an Lp norm method.
상기 영상분류부는,
상기 원본영상에 강도가 서로 다른 하나 이상의 가우시안 노이즈를 추가하여 영상을 가공하고, 노이즈가 포함된 영상을 복원한 후 상기 원본 영상과의 차이를 비교하고 차분영상들을 생성함으로써, 복수의 경계강도를 가지고 있는 차분영상들을 활용하여 영상분류를 하는 것을 특징으로 하는 영상분류 장치.The method of claim 1,
The video classification unit,
The image is processed by adding one or more Gaussian noises of different intensities to the original image, and after restoring the image including noise, the difference with the original image is compared and differential images are generated, thereby having a plurality of boundary intensities. An image classification device, characterized in that the image classification is performed by using the existing differential images.
상기 영상가공단계를 거쳐 가공된 영상의 사전 정보를 이용하여 가공된 영상을 원본으로 재생 또는 회복을 시도하는 영상복원단계; 및
상기 입력된 원본영상 자체의 정보만을 이용하여 직접 분류하거나, 상기 영상가공단계를 거친 가공영상 혹은 상기 영상복원단계를 거친 복원영상으로부터 특징을 추출하여 영상을 분류하는 영상분류단계를 포함하고,
상기 영상분류단계는,상기 원본영상에 강도가 서로 다른 하나 이상의 가우시안 노이즈를 추가하여 영상을 가공하고, 노이즈가 포함된 영상을 복원한 후 상기 원본 영상과의 차이를 비교하고 차분영상들을 생성함으로써, 복수의 경계강도를 가지고 있는 차분영상들을 활용하여 영상분류를 하고,
상기 영상분류단계는, 특정 가공방법에 대하여 입력영상이 상기 영상가공단계에서 변형된 정도와 상기 영상복원단계에서 복원된 정도의 특징들을 순서쌍 값으로 만든 특징벡터들을 형성하고, 이 값을 바탕으로 영상의 분류를 하는 것을 특징으로 하는 영상분류 방법. An image processing step of artificially processing the input original image;
An image restoration step of attempting to reproduce or recover the processed image as an original using the prior information of the image processed through the image processing step; And
An image classification step of classifying an image by directly classifying the inputted original image using only the information itself, or by extracting features from the processed image that has undergone the image processing step or the reconstructed image that has undergone the image restoration step,
In the image classification step, processing an image by adding at least one Gaussian noise of different intensity to the original image, restoring an image containing noise, comparing the difference with the original image, and generating difference images, Classify images using differential images with multiple boundary strengths,
In the image classification step, for a specific processing method, feature vectors are formed as an ordered pair value of the degree to which the input image is deformed in the image processing step and the degree to be restored in the image restoration step, and based on this value Image classification method, characterized in that the classification of.
.A computer-readable recording medium on which a program for executing the image classification method according to claim 9 is recorded.
.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180103632A KR102176787B1 (en) | 2018-08-31 | 2018-08-31 | Method and apparatus for classifying image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020180103632A KR102176787B1 (en) | 2018-08-31 | 2018-08-31 | Method and apparatus for classifying image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200026409A KR20200026409A (en) | 2020-03-11 |
| KR102176787B1 true KR102176787B1 (en) | 2020-11-10 |
Family
ID=69809906
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180103632A KR102176787B1 (en) | 2018-08-31 | 2018-08-31 | Method and apparatus for classifying image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102176787B1 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102159052B1 (en) | 2020-05-12 | 2020-09-23 | 주식회사 폴라리스쓰리디 | Method and apparatus for classifying image |
| KR102315427B1 (en) * | 2020-05-14 | 2021-10-20 | 아주대학교산학협력단 | Data processing method and apparatus for deep learning |
| KR102327060B1 (en) * | 2021-07-01 | 2021-11-16 | 국방과학연구소 | Method, apparatus, computer-readable storage medium and computer program for extracting region of interest for identifying target |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100545742B1 (en) | 2003-12-19 | 2006-01-24 | 한국전자통신연구원 | Automatic Classification of Multispectral Image Using Network |
| KR100849691B1 (en) | 2007-01-16 | 2008-07-31 | 광주과학기술원 | Method and Apparatus for Analyzing Image Texture, and Method and Apparatus for Image classification Using the Method and Apparatus |
| KR100924690B1 (en) * | 2007-12-17 | 2009-11-03 | 한국전자통신연구원 | System for managing digital image features and its method |
| KR101174048B1 (en) | 2010-12-10 | 2012-08-16 | 경북대학교 산학협력단 | Apparatus for recognizing a subject and method using thereof |
| KR101653038B1 (en) * | 2014-05-12 | 2016-09-12 | 주식회사 칩스앤미디어 | An apparatus for scaling a resolution using an image patch and method for using it |
| KR20160082199A (en) * | 2014-12-31 | 2016-07-08 | 인천대학교 산학협력단 | Method for verifying a performance of different color filter array |
-
2018
- 2018-08-31 KR KR1020180103632A patent/KR102176787B1/en active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20200026409A (en) | 2020-03-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kindermans et al. | Learning how to explain neural networks: Patternnet and patternattribution | |
| Akhtar et al. | Defense against universal adversarial perturbations | |
| Bautista et al. | Convolutional neural network for vehicle detection in low resolution traffic videos | |
| Pachitariu et al. | Extracting regions of interest from biological images with convolutional sparse block coding | |
| KR102176787B1 (en) | Method and apparatus for classifying image | |
| Freitas et al. | No-reference image quality assessment based on statistics of local ternary pattern | |
| JP5706647B2 (en) | Information processing apparatus and processing method thereof | |
| KR101890538B1 (en) | Method and apparatus for transforming image | |
| CN105404846A (en) | Image processing method and apparatus | |
| Barata et al. | Color identification in dermoscopy images using gaussian mixture models | |
| CN109543760A (en) | Confrontation sample testing method based on image filters algorithm | |
| CN110263872B (en) | Training data processing method and device | |
| Xavierarockiaraj et al. | Brain tumor detection using modified histogram thresholding-quadrant approach | |
| De Souza et al. | Detection of violent events in video sequences based on census transform histogram | |
| CN113269103A (en) | Abnormal behavior detection method and system based on space map convolutional network | |
| CN111539320A (en) | Multi-view gait recognition method and system based on mutual learning network strategy | |
| CN112836755A (en) | Sample image generation method and system based on deep learning | |
| Kamalakannan et al. | Surface defect detection and classification in mandarin fruits using fuzzy image thresholding, binary wavelet transform and linear classifier model | |
| Sharif et al. | Real time face detection | |
| CN104200194A (en) | Face recognition method | |
| KR102120453B1 (en) | Method and Apparatus for Generating Scene Situation Information of Video Using Differentiation of Image Feature and Supervised Learning | |
| Abid et al. | A novel neural network approach for image edge detection | |
| Sharma et al. | Anti-forensic technique for median filtering using L 1-L 2 TV model | |
| Prema et al. | A review: face recognition techniques for differentiate similar faces and twin faces | |
| Bae et al. | Fingerprint image denoising and inpainting using convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |