KR102215811B1 - Method of analyzing image for improving object recognition speed using particle image and icp-algorithm based on pyramid image and Apparatus thereof - Google Patents
Method of analyzing image for improving object recognition speed using particle image and icp-algorithm based on pyramid image and Apparatus thereof Download PDFInfo
- Publication number
- KR102215811B1 KR102215811B1 KR1020200113423A KR20200113423A KR102215811B1 KR 102215811 B1 KR102215811 B1 KR 102215811B1 KR 1020200113423 A KR1020200113423 A KR 1020200113423A KR 20200113423 A KR20200113423 A KR 20200113423A KR 102215811 B1 KR102215811 B1 KR 102215811B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- information
- particle
- region
- matching
- Prior art date
Links
- 239000002245 particle Substances 0.000 title claims abstract description 304
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000004422 calculation algorithm Methods 0.000 title claims description 57
- 238000010191 image analysis Methods 0.000 claims abstract description 82
- 238000003703 image analysis method Methods 0.000 claims abstract description 13
- 238000012545 processing Methods 0.000 claims description 90
- 230000003044 adaptive effect Effects 0.000 claims description 48
- 238000003708 edge detection Methods 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 description 13
- 238000001514 detection method Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 5
- 230000014509 gene expression Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003071 parasitic effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 208000006930 Pseudomyxoma Peritonei Diseases 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 235000021110 pickles Nutrition 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 229920000306 polymethylpentene Polymers 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G06K9/00147—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/56—Particle system, point based geometry or rendering
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
Description
본 발명은 영상 분석 방법 및 이를 위한 영상 분석 장치에 관한 것으로써, 보다 상세하게는, 영상데이터를 분석하는 경우에 파티클 이미지와 ICP매칭을 이용하여 오브젝트 인식속도를 향상시킴으로써 영상데이터 내에 포함된 타겟 오브젝트 인식에 요구되는 정확도를 만족하면서도 처리속도를 높일 수 있어 효율적으로 타겟 오브젝트와 유사한 이미지를 검출할 수 있는 피라미드 이미지 기반의 영상 분석 방법 및 이를 위한 영상 분석 장치에 관한 것이다.The present invention relates to an image analysis method and an image analysis apparatus therefor, and more particularly, when analyzing image data, a target object included in image data is increased by increasing the object recognition speed by using particle image and ICP matching. The present invention relates to a pyramid image-based image analysis method capable of efficiently detecting an image similar to a target object by satisfying the accuracy required for recognition and increasing a processing speed, and an image analysis apparatus therefor.
종래기술에 따른 영상 데이터 내 오브젝트 인식을 위한 영상 분석 장치는 영상 데이터가 입력되면, 기학습된 복수의 소스 오브젝트에 대한 특징 정보를 참조하여 입력된 영상 데이터에 포함된 적어도 하나의 오브젝트(이하 타겟 오브젝트라 함)를 인식할 수 있다 . In the image analysis apparatus for recognizing objects in image data according to the prior art, when image data is input, at least one object included in the input image data by referring to feature information on a plurality of previously learned source objects (hereinafter, target object (Referred to as) can be recognized .
여기서, 종래의 영상 분석 장치는 학습된 소스 오브젝트의 각도 및 위치를 사전에 설정된 최소 기준 단위로 변화시키면서, 입력된 영상 데이터 전체에 대해서 소스 오브젝트와 매칭되는 오브젝트가 존재하는 여부를 판단하여 영상 데이터 내 포함된 오브젝트를 인식할 수 있었다.Here, the conventional image analysis apparatus determines whether an object matching the source object exists for the entire input image data while changing the angle and position of the learned source object in a preset minimum standard unit. The included object could be recognized.
그러나, 이와 같이 종래기술에 따라 입력된 영상 데이터 전체에 대해 기학습된 소스 오브젝트의 위치와 각도를 최소 기준단위로 변화시키면서 일일이 하나하나 비교 분석하는 경우에는, 영상 데이터 내 포함된 오브젝트를 인식하기 위한 처리 속도가 현저히 떨어지는 문제가 있으며, 이로 인해 저사양의 영상 분석장치를 사용하기에 어려움이 있었다.However, in the case of comparing and analyzing one by one while changing the position and angle of the previously learned source object for the entire image data input according to the prior art by the minimum reference unit, the object included in the image data is recognized. There is a problem that the processing speed is significantly lowered, and for this reason, it is difficult to use a low-spec image analysis device.
따라서, 입력되는 영상 데이터 내에 포함된 타켓 오브젝트를 인식하기 위한 정확도를 만족하면서도 처리 효율을 높일 수 있는 현실적이고도 적용이 가능한 기술이 절실한 실정이다.Accordingly, there is an urgent need for a realistic and applicable technology capable of improving processing efficiency while satisfying the accuracy for recognizing a target object included in input image data.
본 발명은 상술한 필요성에 따라 안출된 것으로서, 본 발명의 목적은 입력된 영상 데이터에 포함된 타겟 오브젝트 인식의 정확성을 만족하면서 처리속도를 신속히 하도록 함을 목적으로 한다.The present invention has been devised in accordance with the above-described necessity, and an object of the present invention is to speed up the processing speed while satisfying the accuracy of recognizing the target object included in the input image data.
나아가, 본 발명은 저사양의 처리 속도에서도 영상 데이터에 포함된 타겟 오브젝트의 인식이 보다 신속하게 이루어지도록 함을 목적으로 한다.Further, an object of the present invention is to make the recognition of the target object included in the image data faster even at a low specification processing speed.
이상과 같은 목적을 달성하기 위한 본 발명의 일 실시 예에 따른 영상 분석 방법은 영상 이미지로부터 적어도 하나의 피라미드 이미지를 생성하는 단계, 상기 적어도 하나의 피라미드 이미지 중 최소 사이즈를 갖는 피라미드 이미지의 에지 정보에 기초하여 상기 영상 이미지에 포함된 오브젝트와 관련된 관심 영역을 검출하는 단계, 상기 관심 영역의 위치 정보 및 사이즈 정보를 포함하는 이미지 정보에 기초하여 상기 오브젝트와 관련하여 학습된 학습 이미지를 포함하는 파티클 이미지를 생성하고, 상기 파티클 이미지와 상기 관심 영역 간의 거리 정보에 기초하여 상기 파티클 이미지를 상기 관심 영역과 매칭되도록 조정하는 단계, 상기 영상 이미지와 대응되는 사이즈의 피라미드 이미지로부터 상기 관심 영역과 관련된 오브젝트 영역을 획득하고, 상기 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나에 기초하여 생성된 파티클 이미지와 상기 오브젝트 영역 간의 거리 정보에 기초하여 상기 파티클 이미지를 상기 오브젝트 영역과 매칭되도록 조정하는 단계 및 상기 조정된 파티클 이미지와 상기 오브젝트 영역 간의 매칭 결과에 기초하여 상기 오브젝트를 인식하는 단계를 포함한다.Image analysis according to an embodiment of the present invention to achieve the above object The method includes generating at least one pyramid image from an image image, detecting a region of interest related to an object included in the image image based on edge information of a pyramid image having a minimum size among the at least one pyramid image, A particle image including a training image learned in relation to the object is generated based on image information including location information and size information of the ROI, and the particle image is based on distance information between the particle image and the ROI. Adjusting an image to match the region of interest, obtaining an object region related to the region of interest from a pyramid image having a size corresponding to the image image, and using at least one of image information, angle information, and scale information of the object region Adjusting the particle image to match the object area based on distance information between the particle image generated based on the object area, and recognizing the object based on a matching result between the adjusted particle image and the object area Includes steps.
그리고, 상기 생성하는 단계는, 상기 영상 이미지를 HSV(hue saturation value) 이미지로 변환하는 단계, 상기 HSV 이미지의 명도(V) 값을 이용하여 그레이 이미지를 생성하는 단계, 상기 그레이 이미지로부터 상기 영상 이미지와 대응되는 해상도를 갖는 제1 레벨의 피라미드 이미지를 생성하는 단계 및 상기 제1 레벨의 피라미드 이미지보다 1/2 해상도를 갖는 제2 레벨의 피라미드 이미지를 생성하는 단계를 포함할 수 있다.In addition, the generating may include converting the video image to a hue saturation value (HSV) image, generating a gray image using a brightness (V) value of the HSV image, and the video image from the gray image And generating a pyramid image of a first level having a resolution corresponding to and generating a pyramid image of a second level having a 1/2 resolution than the pyramid image of the first level.
또한, 상기 관심 영역을 검출하는 단계는, 상기 제2 레벨의 피라미드 이미지에서 블러 노이즈를 제거하는 단계, 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 제2 레벨의 피라미드 이미지에 포함된 적어도 하나의 오브젝트에 대한 에지 정보를 획득하고, 상기 획득한 에지 정보에 기초하여 상기 적어도 하나의 오브젝트에 대한 에지 이미지를 생성하는 단계. 형태 연산 알고리즘을 이용하여 상기 적어도 하나의 에지 이미지로부터 모폴로지 이미지를 생성하는 단계 및 상기 적어도 하나의 모폴로지 이미지 중 기설정된 사이즈 이상의 모폴로지 이미지를 포함하는 영역을 상기 관심 영역으로 검출하는 단계를 포함할 수 있다.In addition, the detecting of the region of interest may include removing blur noise from the second level pyramid image, at least one included in the second level pyramid image using a Kenny Edge Detection algorithm. Obtaining edge information on the object of and generating an edge image for the at least one object based on the obtained edge information. Generating a morphology image from the at least one edge image using a shape calculation algorithm, and detecting a region including a morphology image of a predetermined size or more among the at least one morphology image as the region of interest. .
그리고, 상기 관심 영역과 매칭되도록 조정하는 단계는, 상기 관심 영역의 이미지 정보에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성하는 단계, 템플릿(Template) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지와 상기 관심 영역 간의 유사도를 판단하는 단계, ICP(Iterative Closest Point) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지 중 유사도가 가장 높은 매칭 후보 파티클 이미지의 픽셀 정보와 상기 관심 영역의 픽셀 정보로부터 상기 매칭 후보 파티클 이미지와 상기 관심 영역 간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 매칭 스코어를 산출하는 단계 및 상기 매칭 스코어와 기설정된 제1 임계 스코어를 비교하여 상기 매칭 스코어가 상기 제1 임계 스코어보다 작으면, 상기 관심 영역과 매칭되도록 상기 매칭 후보 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나를 조정하는 단계를 포함할 수 있다.And, the step of adjusting to match the region of interest may include generating a plurality of particle images having different angles based on image information of the region of interest, and the plurality of particle images using a template matching algorithm The step of determining the similarity between the ROI, using an ICP (Iterative Closest Point) matching algorithm, the matching candidate particle from pixel information of a matching candidate particle image with the highest similarity among the plurality of particle images and pixel information of the ROI Obtaining distance information between an image and the region of interest, calculating a matching score based on the obtained distance information, and comparing the matching score with a preset first critical score so that the matching score is greater than the first critical score. If it is small, it may include adjusting at least one of the position, angle, and scale of the matching candidate particle image to match the region of interest.
또한, 상기 산출하는 단계는, 상기 매칭 후보 파티클 이미지와 관련하여 조정된 적응 파티클 이미지와 상기 관심 영역간 매칭 스코어를 산출하며, 상기 적응 파티클 이미지와 상기 관심 영역 간의 매칭 스코어가 상기 제1 임계 스코어 보다 크면, 상기 적응 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 상기 관심 영역의 정보로 판단하는 단계를 더 포함할 수 있다.In addition, the calculating may include calculating a matching score between the adaptive particle image adjusted in relation to the matching candidate particle image and the region of interest, and if the matching score between the adaptive particle image and the region of interest is greater than the first threshold score And determining image information, angle information, and scale information of the adaptive particle image as information of the ROI.
그리고, 상기 관심 영역에 대한 블러 노이즈를 제거하는 단계 및 상기 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 관심 영역 내 포함된 오브젝트에 대한 에지 정보를 획득하는 단계;를 더 포함하며, 상기 관심 영역은, 상기 에지 정보에 기초하여 생성된 에지 이미지를 포함할 수 있다.And, removing the blur noise of the region of interest and obtaining edge information on the object included in the region of interest by using the Kenny Edge Detection algorithm; further comprising, the interest. The region may include an edge image generated based on the edge information.
또한, 상기 오브젝트 영역과 매칭되도록 조정하는 단계는, 기판단된 상기 관심 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나를 이용하여 상기 제1 레벨의 피라미드 이미지로부터 상기 오브젝트 영역을 획득하는 단계, 상기 획득한 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성하는 단계, 상기 템플릿(Template) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지와 상기 오브젝트 영역 간의 유사도를 판단하는 단계, ICP(Iterative Closest Point) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지 중 유사도가 가장 높은 매칭 후보 파티클 이미지의 픽셀 정보와 상기 오브젝트 영역 간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 매칭 스코어를 산출하는 단계 및 상기 매칭 스코어와 기설정된 제2 임계 스코어를 비교하여 상기 매칭 스코어가 상기 제2 임계 스코어보다 작으면, 상기 오브젝트 영역과 매칭되도록 상기 매칭 후보 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나를 조정하는 단계를 포함하며, 상기 제2 임계 스코어는, 상기 제1 임계 스코어보다 높은 값일 수 있다.In addition, the adjusting to match the object region may include obtaining the object region from the pyramid image of the first level using at least one of image information, angle information, and scale information of the region of interest that has been cut, Generating a plurality of particle images having different angles based on at least one of image information, angle information, and scale information of the obtained object area, the plurality of particle images and the plurality of particle images using the template matching algorithm Determining the degree of similarity between object regions, obtaining pixel information of a matching candidate particle image with the highest similarity among the plurality of particle images and distance information between the object regions using an ICP (Iterative Closest Point) matching algorithm, and obtaining the obtained Calculating a matching score based on one distance information, and comparing the matching score with a preset second critical score, and if the matching score is less than the second critical score, the matching candidate particle image is matched with the object region. And adjusting at least one of a position, an angle, and a scale of, and the second threshold score may be a value higher than the first threshold score.
그리고, 상기 산출하는 단계는, 상기 매칭 후보 파티클 이미지와 관련하여 조정된 적응 파티클 이미지와 상기 오브젝트 영역간 매칭 스코어를 산출하며, 상기 적응 파티클 이미지와 상기 오브젝트 영역 간의 매칭 스코어가 상기 제2 임계 스코어 보다 크면, 상기 적응 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 상기 오브젝트 영역의 정보로 판단하는 단계를 더 포함할 수 있다.In the calculating, the matching score between the adaptive particle image adjusted in relation to the matching candidate particle image and the object region is calculated, and if a matching score between the adaptive particle image and the object region is greater than the second threshold score And determining image information, angle information, and scale information of the adaptive particle image as information of the object region.
또한, 상기 오브젝트 영역에 대한 블러 노이즈를 제거하는 단계 및 상기 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 오브젝트 영역 내 포함된 오브젝트에 대한 에지 정보를 획득하는 단계를 더 포함하며, 상기 오브젝트 영역은, 상기 에지 정보에 기초하여 생성된 에지 이미지를 포함할 수 있다.In addition, the step of removing blur noise on the object area and obtaining edge information on the object included in the object area using the Canny Edge Detection algorithm, the object area May include an edge image generated based on the edge information.
그리고, 상기 오브젝트를 인식하는 단계는, 상기 조정된 파티클 이미지에 포함된 학습 이미지의 좌표값과 상기 오브젝트 영역에 포함된 상기 오브젝트의 좌표값 간의 차이를 분석하여 상기 오브젝트를 인식할 수 있다.In the recognizing of the object, the object may be recognized by analyzing a difference between a coordinate value of a training image included in the adjusted particle image and a coordinate value of the object included in the object area.
한편, 본 발명의 또다른 실시 예에 따르면, 영상 분석 장치는 영상 이미지로부터 적어도 하나의 피라미드 이미지를 생성하는 피라미드 이미지 처리부, 상기 적어도 하나의 피라미드 이미지 중 최소 사이즈를 갖는 피라미드 이미지의 에지 정보에 기초하여 상기 영상 이미지에 포함된 오브젝트와 관련된 관심 영역을 검출하는 전처리부, 상기 관심 영역의 위치 정보 및 사이즈 정보를 포함하는 이미지 정보에 기초하여 상기 오브젝트와 관련하여 학습된 학습 이미지를 포함하는 파티클 이미지를 생성하고, 상기 파티클 이미지와 상기 관심 영역 간의 거리 정보에 기초하여 상기 파티클 이미지를 상기 관심 영역과 매칭되도록 조정하는 제1 파티클 이미지 처리부, 상기 영상 이미지와 대응되는 사이즈의 피라미드 이미지로부터 상기 관심 영역과 관련된 오브젝트 영역을 획득하고, 상기 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나에 기초하여 생성된 파티클 이미지와 상기 오브젝트 영역 간의 거리 정보에 기초하여 상기 파티클 이미지를 상기 오브젝트 영역과 매칭되도록 조정하는 제2 파티클 이미지 처리부 및 상기 제2 파티클 이미지 처리부에서 조정된 파티클 이미지와 상기 오브젝트 영역 간의 매칭 결과에 기초하여 상기 오브젝트를 인식하는 오브젝트 인식부를 포함한다.Meanwhile, according to another embodiment of the present invention, the image analysis apparatus includes a pyramid image processing unit that generates at least one pyramid image from an image image, based on edge information of a pyramid image having a minimum size among the at least one pyramid image. Generates a particle image including a learning image learned in relation to the object based on image information including a preprocessor for detecting an ROI related to an object included in the video image, and location information and size information of the ROI And a first particle image processing unit configured to adjust the particle image to match the ROI based on distance information between the particle image and the ROI, and an object related to the ROI from a pyramid image having a size corresponding to the video image A second method for acquiring an area and adjusting the particle image to match the object area based on distance information between the object area and a particle image generated based on at least one of image information, angle information, and scale information of the object area. 2 A particle image processing unit and an object recognition unit for recognizing the object based on a result of matching between the particle image adjusted by the second particle image processing unit and the object area.
그리고, 상기 피라미드 이미지 처리부는, 상기 영상 이미지를 HSV(hue saturation value) 이미지로 변환하고, 상기 HSV 이미지의 명도(V) 값을 이용하여 그레이 이미지로 변환하는 이미지 변환부 및 상기 그레이 이미지로부터 상기 영상 이미지와 대응되는 사이즈를 갖는 제1 레벨의 피라미드 이미지를 생성하고, 상기 제1 레벨의 피라미드 이미지보다 1/2 해상도를 갖는 제2 레벨의 피라미드 이미지를 생성하는 피라미드 이미지 생성부를 포함할 수 있다.In addition, the pyramid image processing unit may include an image conversion unit that converts the image image into a hue saturation value (HSV) image, and converts the image into a gray image using a brightness (V) value of the HSV image, and the image from the gray image The pyramid image generator may include a pyramid image generator that generates a pyramid image of a first level having a size corresponding to the image and generates a pyramid image of a second level having a 1/2 resolution than the pyramid image of the first level.
또한, 상기 전처리부는, 상기 제2 레벨의 피라미드 이미지에서 블러 노이즈를 제거하는 블러 처리부, 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 제2 레벨의 피라미드 이미지에 포함된 적어도 하나의 오브젝트에 대한 에지 정보를 획득하는 에지 검출부, 상기 획득한 에지 정보에 기초하여 상기 적어도 하나의 오브젝트에 대한 에지 이미지가 생성되면, 형태 연산 알고리즘을 이용하여 상기 적어도 하나의 에지 이미지로부터 모폴로지 이미지를 생성하는 모폴리지 변환부 및 상기 적어도 하나의 모폴로지 이미지 중 기설정된 사이즈 이상의 모폴로지 이미지를 포함하는 영역을 상기 관심 영역으로 검출하는 관심 영역 검출부를 포함할 수 있다.In addition, the pre-processor includes a blur processor for removing blur noise from the second-level pyramid image, and at least one object included in the second-level pyramid image using a Canny Edge Detection algorithm. An edge detection unit that acquires edge information, when an edge image of the at least one object is generated based on the acquired edge information, a morphology that generates a morphology image from the at least one edge image using a shape calculation algorithm A conversion unit and a region of interest detection unit for detecting a region including a morphology image of a predetermined size or more among the at least one morphology image as the region of interest.
그리고, 상기 제1 파티클 이미지 처리부는, 상기 관심 영역의 이미지 정보에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성하는 파티클 이미지 생성부, 템플릿(Template) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지와 상기 관심 영역 간의 유사도를 판단하는 유사도 판단부, ICP(Iterative Closest Point) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지 중 유사도가 가장 높은 매칭 후보 파티클 이미지의 픽셀 정보와 상기 관심 영역의 픽셀 정보로부터 상기 매칭 후보 파티클 이미지와 상기 관심 영역 간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 매칭 스코어를 산출하는 스코어 산출부, 상기 매칭 스코어와 기설정된 제1 임계 스코어를 비교하여 상기 매칭 스코어가 상기 제1 임계 스코어보다 작으면, 상기 관심 영역과 매칭되도록 상기 매칭 후보 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나를 조정하는 매칭 처리부를 포함할 수 있다.In addition, the first particle image processing unit may include a particle image generation unit generating a plurality of particle images having different angles based on image information of the region of interest, and the plurality of particle images using a template matching algorithm. A similarity determination unit that determines the similarity between the ROI and the matching from the pixel information of the matching candidate particle image with the highest similarity among the plurality of particle images and the pixel information of the ROI using an ICP (Iterative Closest Point) matching algorithm A score calculation unit that obtains distance information between a candidate particle image and the region of interest, and calculates a matching score based on the obtained distance information, and compares the matching score with a preset first threshold score to obtain the matching score. If it is less than 1 threshold score, it may include a matching processor that adjusts at least one of the position, angle, and scale of the matching candidate particle image to match the region of interest.
또한, 상기 스코어 산출부, 상기 매칭 후보 파티클 이미지와 관련하여 조정된 적응 파티클 이미지와 상기 관심 영역간 매칭 스코어를 산출하며, 상기 매칭 처리부는, 상기 적응 파티클 이미지와 상기 관심 영역 간의 매칭 스코어가 상기 제1 임계 스코어 보다 크면, 상기 적응 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 상기 관심 영역의 정보로 판단할 수 있다.In addition, the score calculation unit calculates a matching score between the adaptive particle image adjusted in relation to the matching candidate particle image and the region of interest, and the matching processing unit, wherein the matching score between the adaptive particle image and the region of interest is the first If it is greater than the threshold score, image information, angle information, and scale information of the adaptive particle image may be determined as information of the ROI.
그리고, 상기 제1 파티클 이미지 처리부는, 상기 관심 영역에 대한 블러 노이즈를 제거하는 블러 처리부 및 상기 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 관심 영역 내 포함된 오브젝트에 대한 에지 정보를 획득하는 에지 검출부를 더 포함하며, 상기 관심 영역은, 상기 에지 정보에 기초하여 생성된 에지 이미지를 포함할 수 있다.In addition, the first particle image processor is configured to obtain edge information on the object included in the ROI using a blur processor that removes blur noise for the ROI and the Kenny Edge Detection algorithm. It further includes an edge detector, and the ROI may include an edge image generated based on the edge information.
또한, 상기 제2 파티클 이미지 처리부는, 기판단된 상기 관심 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나를 이용하여 상기 제1 레벨의 피라미드 이미지로부터 상기 오브젝트 영역을 획득하는 오브젝트 영역 검출부, 상기 획득한 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성하는 파티클 이미지 생성부, 상기 템플릿(Template) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지와 상기 오브젝트 영역 간의 유사도를 판단하는 유사도 판단부, ICP(Iterative Closest Point) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지 중 유사도가 가장 높은 매칭 후보 파티클 이미지의 픽셀 정보와 상기 오브젝트 영역 간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 매칭 스코어를 산출하는 스코어 산출부 및 상기 매칭 스코어와 기설정된 제2 임계 스코어를 비교하여 상기 매칭 스코어가 상기 제2 임계 스코어보다 작으면, 상기 오브젝트 영역과 매칭되도록 상기 매칭 후보 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나를 조정하는 매칭 처리부를 포함하며, 상기 제2 임계 스코어는, 상기 제1 임계 스코어보다 높은 값일 수 있다.In addition, the second particle image processing unit may include an object region detection unit that obtains the object region from the pyramid image of the first level using at least one of image information, angle information, and scale information of the region of interest that has been cut, A particle image generator that generates a plurality of particle images having different angles based on at least one of the obtained object area image information, angle information, and scale information, and the plurality of particle images using the template matching algorithm A similarity determination unit that determines the similarity between the and the object region, using an ICP (Iterative Closest Point) matching algorithm to obtain pixel information of a matching candidate particle image with the highest similarity among the plurality of particle images and distance information between the object region And, a score calculator that calculates a matching score based on the obtained distance information, and the matching score is compared with a preset second critical score, and if the matching score is less than the second critical score, the object area is matched. And a matching processor configured to adjust at least one of a position, an angle, and a scale of the matching candidate particle image so that the second threshold score may be higher than the first threshold score.
그리고, 상기 스코어 산출부는, 상기 매칭 후보 파티클 이미지와 관련하여 조정된 적응 파티클 이미지와 상기 오브젝트 영역간 매칭 스코어를 산출하며, 상기 매칭 처리부는, 상기 적응 파티클 이미지와 상기 오브젝트 영역 간의 매칭 스코어가 상기 제2 임계 스코어 보다 크면, 상기 적응 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 상기 오브젝트 영역의 정보로 판단할 수 있다.In addition, the score calculation unit calculates a matching score between the adaptive particle image adjusted in relation to the matching candidate particle image and the object region, and the matching processing unit, the matching score between the adaptive particle image and the object region is the second If it is greater than the threshold score, image information, angle information, and scale information of the adaptive particle image may be determined as information of the object region.
또한, 상기 제2 파티클 이미지 처리부는, 상기 오브젝트 영역에 대한 블러 노이즈를 제거하는 블러 처리부 및 상기 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 오브젝트 영역 내 포함된 오브젝트에 대한 에지 정보를 에지 검출부를 더 포함하며, 상기 오브젝트 영역은, 상기 에지 정보에 기초하여 생성된 에지 이미지를 포함할 수 있다.In addition, the second particle image processing unit may include a blur processing unit that removes blur noise on the object area, and an edge detection unit that detects edge information on the object included in the object area using the Canny Edge Detection algorithm. It further includes, wherein the object area may include an edge image generated based on the edge information.
그리고, 상기 오브젝트 인식부는, 상기 조정된 파티클 이미지에 포함된 학습 이미지의 좌표값과 상기 오브젝트 영역에 포함된 상기 오브젝트의 좌표값 간의 차이를 분석하여 상기 오브젝트를 인식할 수 있다.In addition, the object recognition unit may recognize the object by analyzing a difference between a coordinate value of a training image included in the adjusted particle image and a coordinate value of the object included in the object area.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 본 발명은 입력된 영상 데이터에 포함된 타겟 오브젝트 인식을 보다 신속하게 할 수 있다. 나아가, 본 발명은 저사양의 처리 속도에서도 영상 데이터에 포함된 오브젝트의 인식이 보다 신속하게 이루어질 수 있는 효과가 있다.As described above, according to various embodiments of the present invention, the present invention can more quickly recognize a target object included in the input image data. Furthermore, the present invention has an effect that recognition of an object included in image data can be made more quickly even at a low specification processing speed.
또한, 본 발명은, 영상데이터를 분석하는 경우에 파티클 이미지와 ICP매칭을 이용하여 오브젝트 인식속도를 향상시킴으로써 영상데이터 내에 포함된 타겟 오브젝트 인식에 요구되는 정확도를 만족하면서도 처리속도를 높일 수 있어 저사양 장치에서도 효율적으로 타겟 오브젝트와 유사한 이미지를 검출할 수 있는 피라미드 이미지 기반의 영상 분석 방법 및 이를 위한 영상 분석 장치를 제공하는 효과가 있다.In addition, the present invention improves the object recognition speed by using particle image and ICP matching when analyzing image data, thereby satisfying the accuracy required for recognizing target objects included in the image data and increasing the processing speed. Also, there is an effect of providing an image analysis method based on a pyramid image that can efficiently detect an image similar to a target object and an image analysis device therefor.
도 1은 본 발명의 일 실시예에 따른 영상 분석 장치의 블록도,
도 2는 본 발명의 일 실시예에 따른 피라미드 이미지 처리부의 블록도,
도 3은 본 발명의 일 실시예에 따른 피라미드 이미지에 대한 예시도,
도 4는 본 발명의 일 실시예에 따른 전처리부의 블록도,
도 5는 본 발명의 일 실시예에 따른 제1 파티클 이미지 처리부의 블록도,
도 6은 본 발명의 일 실시예에 따른 제1 파티클 이미지 처리부에서 매칭 후보 파티클 이미지를 획득하는 예시도,
도 7은 본 발명의 일 실시예에 따른 제1 파티클 이미지 처리부의 블록도,
도 8은 본 발명의 일 실시예에 따른 영상 분석 장치에서 영상을 분석하는 방법에 대한 흐름도,
도 9는 본 발명의 일 실시예에 따른 영상 분석 장치에서 피라미드 이미지를 생성하는 방법의 흐름도,
도 10은 본 발명의 일 실시예에 따른 영상 분석 장치에서 피라미드 이미지로부터 관심 영역을 검출하는 방법의 흐름도,
도 11은 본 발명의 일 실시예에 따른 영상 분석 장치에서 관심 영역을 분석하는 흐름도,
도 12는 본 발명의 일 실시예에 따른 영상 분석 장치에서 오브젝트 영역을 분석하는 흐름도이다.1 is a block diagram of an image analysis apparatus according to an embodiment of the present invention;
2 is a block diagram of a pyramid image processing unit according to an embodiment of the present invention;
3 is an exemplary view of a pyramid image according to an embodiment of the present invention,
4 is a block diagram of a preprocessor according to an embodiment of the present invention;
5 is a block diagram of a first particle image processing unit according to an embodiment of the present invention;
6 is an exemplary diagram of obtaining a matching candidate particle image in a first particle image processing unit according to an embodiment of the present invention;
7 is a block diagram of a first particle image processing unit according to an embodiment of the present invention;
8 is a flowchart of a method of analyzing an image in an image analysis apparatus according to an embodiment of the present invention;
9 is a flowchart of a method for generating a pyramid image in an image analysis device according to an embodiment of the present invention;
10 is a flowchart of a method of detecting an ROI from a pyramid image in an image analysis apparatus according to an embodiment of the present invention;
11 is a flowchart of analyzing an ROI in an image analysis device according to an embodiment of the present invention;
12 is a flowchart illustrating an object area analysis in an image analysis apparatus according to an exemplary embodiment of the present invention.
이하, 본 문서의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시 예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.Hereinafter, various embodiments of the present document will be described with reference to the accompanying drawings. However, this is not intended to limit the technology described in this document to a specific embodiment, it should be understood to include various modifications, equivalents, and/or alternatives of the embodiments of this document. . In connection with the description of the drawings, similar reference numerals may be used for similar elements.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this document, expressions such as "have," "may have," "include," or "may contain" are the presence of corresponding features (eg, elements such as numbers, functions, actions, or parts). And does not exclude the presence of additional features.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.In this document, expressions such as "A or B," "at least one of A or/and B," or "one or more of A or/and B" may include all possible combinations of the items listed together. . For example, "A or B," "at least one of A and B," or "at least one of A or B" includes (1) at least one A, (2) at least one B, Or (3) it may refer to all cases including both at least one A and at least one B.
본 문서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. Expressions such as "first," "second," "first," or "second," used in this document can modify various elements regardless of their order and/or importance, and It is used to distinguish it from other components and does not limit the components.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.Some component (eg, a first component) is "(functionally or communicatively) coupled with/to)" to another component (eg, a second component) or " When referred to as "connected to", it should be understood that the certain component may be directly connected to the other component or may be connected through another component (eg, a third component). On the other hand, when a component (eg, a first component) is referred to as being “directly connected” or “directly connected” to another component (eg, a second component), the component and the It may be understood that no other component (eg, a third component) exists between the different components.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다. The expression "configured to" as used in this document is, for example, "suitable for," "having the capacity to" depending on the situation. ," "designed to," "adapted to," "made to," or "capable of." The term "configured to (or set)" may not necessarily mean only "specifically designed to" in hardware. Instead, in some situations, the expression "a device configured to" may mean that the device "can" along with other devices or parts. For example, the phrase “a processor configured (or configured) to perform A, B, and C” means a dedicated processor (eg, an embedded processor) for performing the operation, or by executing one or more software programs stored in a memory device. , May mean a generic-purpose processor (eg, a CPU or an application processor) capable of performing corresponding operations.
본 문서의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.Electronic devices according to various embodiments of the present document include, for example, smart phones, tablet PCs, mobile phones, video phones, e-book readers, desktop PCs, laptop PCs, netbook computers, workstations, servers, PDAs, and PMPs. It may include at least one of (portable multimedia player), MP3 player, medical device, camera, or wearable device. Wearable devices can be accessory types (e.g. watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted-devices (HMD)), fabric or clothing integrals (e.g. electronic clothing), It may include at least one of a body-attached type (eg, a skin pad or a tattoo), or a bio-implantable circuit. Audio, refrigerator, air conditioner, vacuum cleaner, oven, microwave, washing machine, air purifier, set-top box, home automation control panel, security control panel, media box (e.g. Samsung HomeSyncTM, Apple TVTM, or Google TVTM), game console (Eg, XboxTM, PlayStationTM), an electronic dictionary, an electronic key, a camcorder, or an electronic frame.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. In another embodiment, the electronic device includes various medical devices (e.g., various portable medical measuring devices (blood glucose meter, heart rate meter, blood pressure meter, or body temperature meter, etc.), magnetic resonance angiography (MRA), magnetic resonance imaging (MRI), CT (computed tomography), camera, or ultrasound), navigation device, global navigation satellite system (GNSS), event data recorder (EDR), flight data recorder (FDR), automobile infotainment device, marine electronic equipment (E.g., navigation devices for ships, gyro compasses, etc.), avionics, security devices, vehicle head units, industrial or home robots, drones, ATMs in financial institutions, point of sale (POS) in stores of sales), or IoT devices (eg, light bulbs, various sensors, sprinkler devices, fire alarms, temperature controllers, street lights, toasters, exercise equipment, hot water tanks, heaters, boilers, etc.).
본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.In this document, the term user may refer to a person using an electronic device or a device (eg, an artificial intelligence electronic device) using an electronic device.
이하, 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 영상 분석 장치의 블록도이다.1 is a block diagram of an image analysis apparatus according to an embodiment of the present invention.
영상 분석 장치(100)는 입력 혹은 외부로부터 수신된 영상 데이터를 분석하여 영상 데이터 내에 포함된 복수의 오브젝트에 대한 정보를 학습하고, 학습된 정보에 기초하여 영상 데이터 내에 포함된 복수의 오브젝트를 판단 및 검출한다.The
이 같은 영상 분석 장치(100)는 인공 지능 로봇, 자율 주행이 가능한 차량 등에 탑재될 수 있다. 그러나, 본 발명은 이에 한정되지 않으며, 주변 환경을 분석 및 파악하고, 그에 따른 처리 결과에 기초하여 동작을 수행하는 모든 기기에 탑재될 수 있다.Such an
이 같은 영상 분석 장치(100)는 도 1에 도시된 바와 같이, 입력부(110), 피라미드 이미지 처리부(120), 전처리부(130), 제1 파티클 이미지 처리부(140), 제2 파티클 이미지 처리부(150), 오브젝트 인식부(160)를 포함한다.As shown in FIG. 1, the
입력부(110)는 영상 이미지를 입력받는다. 그러나, 본 발명은 이에 한정되지 않으며, 영상 분석 장치(100)는 통신부(미도시)를 통해 스마트 폰, 태블릿 PC 등의 주변 기기(미도시) 혹은 중계 단말 장치(미도시)를 통해 외부 서버(미도시)로부터 영상 이미지를 수신할 수 있다.The
피라미드 이미지 처리부(120)는 입력부(110)를 통해 영상 이미지가 수신되면, 수신된 영상 이미지로부터 적어도 하나의 피라미드 이미지를 생성한단.When an image image is received through the
여기서, 적어도 하나의 피라미드 이미지는 RGB(Red, Green, Blue)로 이루어진 영상 이미지를 색상(H), 채도(S) 및 명도(V)로 변경한 후, 변경된 명도(V) 값에 기초하여 생성된 이미지이다.Here, at least one pyramid image is generated based on the changed brightness (V) value after changing the image image composed of RGB (Red, Green, Blue) to color (H), saturation (S), and brightness (V). It is an image.
이 같은 적어도 하나의 피라미드 이미지는 기설정된 조건에 대응하는 사이즈로 이루어질 수 있다. 예를 들어, 적어도 하나의 피라미드 이미지 중 제1 피라미드 이미지는 수신된 영상 이미지와 대응되는 사이즈로 이루어질 수 있으며, 제2 피라미드 이미지는 제1 피라미드 이미지의 사이즈에서 1/2 만큼 축소된 사이즈로 이루어질 수 있으며, 제3 파리마드 이미지는 제2 피라미드 이미지의 사이즈에서 1/2 만큼 축소된 사이즈로 이루어질 수 있다.Such at least one pyramid image may have a size corresponding to a preset condition. For example, of the at least one pyramid image, the first pyramid image may have a size corresponding to the received image image, and the second pyramid image may be reduced by 1/2 from the size of the first pyramid image. In addition, the third parimade image may be reduced in size by 1/2 from the size of the second pyramid image.
전처리부(130)는 적어도 하나의 피라미드 이미지 중 최소 사이즈를 갖는 피라미드 이미지의 에지 정보에 기초하여 입력된 영상 이미지에 포함된 오브젝트와 관련된 관심 영역을 검출한다.The
예를 들어, 영상 이미지에 제1 및 제2 오브젝트가 포함된 경우, 전처리부(130)는 제1 및 제2 오브젝트와 관련된 제1 및 제2 관심 영역을 검출할 수 있다.For example, when first and second objects are included in the image image, the
제1 파티클 이미지 처리부(140)는 전처리부(130)를 통해 검출된 관심 영역의 위치 정보 및 사이즈 정보를 포함하는 이미지 정보에 기초하여 오브젝트와 관련하여 학습된 학습 이미지를 포함하는 파티클 이미지를 생성한다. 이후, 제1 파티클 이미지 처리부(140)는 파티클 이미지와 관심 영역 간의 거리 정보에 기초하여 파티클 이미지를 관심 영역과 매칭되도록 조정한다.The first particle image processing unit 140 generates a particle image including a learning image learned in relation to the object based on image information including location information and size information of the ROI detected through the
제2 파티클 이미지 처리부(150)는 영상 이미지와 대응되는 사이즈의 피라미드 이미지로부터 관심 영역과 관련된 오브젝트 영역을 획득한다. 이후, 제2 파티클 이미지 처리부(150)는 기획득한 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나에 기초하여 생성된 파티클 이미지와 오브젝트 영역 간의 거리 정보에 기초하여 파티클 이미지를 오브젝트 영역과 매칭되도록 조정한다.The second particle image processing unit 150 obtains an object area related to the ROI from a pyramid image having a size corresponding to the image image. Thereafter, the second particle image processing unit 150 matches the particle image with the object area based on the distance information between the particle image and the object area generated based on at least one of image information, angle information, and scale information of the planned object area. Adjust as much as possible.
오브젝트 인식부(160)는 제2 파티클 이미지 처리부(150)에서 조정된 파티클 이미지와 오브젝트 영역 간의 매칭 결과에 기초하여 영상 이미지에 포함된 오브젝트를 인식한다.The object recognition unit 160 recognizes an object included in the image image based on a result of matching between the particle image adjusted by the second particle image processing unit 150 and the object region.
즉, 오브젝트 인식부(160)는 제2 파티클 이미지 처리부(150)에서 조정된 파티클 이미지에 포함된 학습 이미지의 좌표값과 오브젝트 영역에 포함된 오브젝트의 좌표값 간의 차이를 분석하고, 분석된 차이값을 보상하여 조정된 파티클 이미지가 오브젝트 영역과 매칭되도록 미세조정한다.That is, the object recognition unit 160 analyzes the difference between the coordinate value of the training image included in the particle image adjusted by the second particle image processing unit 150 and the coordinate value of the object included in the object area, and analyzes the difference value. By compensating for, the adjusted particle image is finely adjusted to match the object area.
한편, 전술한 입력부(110), 피라미드 이미지 처리부(120), 전처리부(130), 제1 파티클 이미지 처리부(140), 제2 파티클 이미지 처리부(150) 및 오브젝트 인식부(160)는 제어부(미도시)의 제어 명령에 따라 동작을 수행하는 것이 바람직하다.Meanwhile, the
이하에서는, 전술한 각 구성에 대해서 보다 상세히 설명하도록 한다.Hereinafter, each configuration described above will be described in more detail.
도 2는 본 발명의 일 실시예에 따른 피라미드 이미지 처리부의 블록도이다.2 is a block diagram of a pyramid image processing unit according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 피라미드 이미지 처리부(120)는 이미지 변환부(121) 및 피라미드 이미지 생성부(122)를 포함한다.As shown in FIG. 2, the pyramid
이미지 변환부(121)는 영상 이미지를 HSV(hue saturation value) 이미지로 변환하고, 상기 HSV 이미지의 명도(V) 값을 이용하여 그레이 이미지로 변환한다.The image conversion unit 121 converts the video image into a hue saturation value (HSV) image, and converts the image into a gray image using the brightness (V) value of the HSV image.
전술한 바와 같이, 입력된 영상 이미지는 RGB로 이루어진 이미지가 될 수 있다. 따라서, 이미지 변환부(121)는 이 같은 RGB 이미지를 HSV 이미지로 변환하고, 변환된 HSV 이미지의 명도 값을 이용하여 그레이 이미지로 변환할 수 있다.As described above, the input video image may be an image made of RGB. Accordingly, the image conversion unit 121 may convert such an RGB image into an HSV image and convert it into a gray image using the brightness value of the converted HSV image.
피라미드 이미지 생성부(122)는 이미지 변환부(121)를 통해 변환된 그레이 이미지로부터 영상 이미지와 대응되는 사이즈를 갖는 제1 레벨의 피라미드 이미지를 생성한다. 제1 레벨의 피라미드 이미지가 생성되면, 피라미드 이미지 생성부(122)는 제1 레벨의 피라미드 이미지보다 1/2 해상도를 갖는 제2 레벨의 피라미드 이미지를 생성한다.The pyramid image generator 122 generates a first level pyramid image having a size corresponding to the image image from the gray image converted through the image conversion unit 121. When a pyramid image of the first level is generated, the pyramid image generator 122 generates a pyramid image of the second level having 1/2 resolution than the pyramid image of the first level.
그러나, 본 발명은 이에 한정되지 않으며, 피라미드 이미지 생성부(122)는 사용자 명령에 따라, 제2 레벨의 피라미드 이미지보다 1/2 해상도를 갖는 제3 레벨의 피라미드 이미지 및 제3 레벨의 피라미드 이미지보다 1/2 해상도를 갖는 제4 레벨의 피라미드 이미지를 생성할 수 있다.However, the present invention is not limited thereto, and according to a user command, the pyramid image generating unit 122 is more than a pyramid image of a third level and a pyramid image of the third level having a 1/2 resolution than It is possible to generate a pyramid image of the fourth level with 1/2 resolution.
도 3은 본 발명의 일 실시예에 따른 피라미드 이미지에 대한 예시도이다.3 is an exemplary diagram for a pyramid image according to an embodiment of the present invention.
도 3에 도시된 바와 같이, 피라미드 이미지 생성부(122)는 제1 내지 제5 레벨의 피라미드 이미지를 이미지를 생성할 수 있다.As shown in FIG. 3, the pyramid image generator 122 may generate images of pyramid images of the first to fifth levels.
구체적으로, 피라미드 이미지 생성부(122)는 영상 이미지와 대응되는 해상도를 갖는 제1 레벨의 피라미드 이미지를 생성할 수 있다. 이후, 피라미드 이미지 생성부(122)는 기생성된 제1 레벨의 피라미드 이미지보다 1/2 해상도를 갖는 제2 레벨의 피라미드 이미지를 생성한다. 이후, 피라미드 이미지 생성부(122)는 제1 레벨의 피라미드 이미지를 기준으로 1/4 해상도를 갖는 제3 레벨의 피라미드 이미지를 생성할 수 있다. 또한, 피라미드 이미지 생성부(122)는 제1 레벨의 피라미드 이미지를 기준으로 1/8 해상도 및 1/16 해상도를 갖는 제4 레벨의 피라미드 이미지와 제5 레벨의 피라미드 이미지를 생성할 수 있다.Specifically, the pyramid image generator 122 may generate a pyramid image of a first level having a resolution corresponding to the image image. Thereafter, the pyramid image generating unit 122 generates a pyramid image of the second level having 1/2 resolution than the pyramid image of the first level that is generated. Thereafter, the pyramid image generator 122 may generate a pyramid image of a third level having a 1/4 resolution based on the pyramid image of the first level. In addition, the pyramid image generator 122 may generate a pyramid image of a fourth level and a pyramid image of a fifth level having 1/8 resolution and 1/16 resolution based on the pyramid image of the first level.
도 4는 본 발명의 일 실시예에 따른 전처리부의 블록도이다.4 is a block diagram of a preprocessor according to an embodiment of the present invention.
도 4에 도시된 바와 같이, 전처리부(130)는 블러 처리부(131), 에지 검출부(132), 모폴리지 변환부(133) 및 관심 영역 검출부(134)를 포함한다.As shown in FIG. 4, the
블러 처리부(132)는 제2 레벨의 피라미드 이미지에서 블러(Blur) 노이즈를 제거한다. 여기서, 제2 레벨의 피라미드 이미지는 기생성된 복수의 피라미드 이미지 중 최소 해상도를 가지는 이미지가 될 수 있다.The
이 같은 최소 해상도를 가지는 제2 레벨의 피라미드 이미지에서 블로 노이즈가 제거되면, 에지 검출부(132)는 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 제2 레벨의 피라미드 이미지에 포함된 적어도 하나의 오브젝트에 대한 에지 정보를 획득한다.When the blow noise is removed from the pyramid image of the second level having the minimum resolution, the
모폴리지 변환부(133)는 에지 검출부(132)를 통해 획득한 에지 정보에 기초하여 적어도 하나의 오브젝트에 대한 에지 이미지가 생성되면, 형태 연산(Morphology Operation) 알고리즘을 이용하여 모폴로지(Morphology) 이미지를 생성한다.When an edge image for at least one object is generated based on the edge information acquired through the
모폴로지 변환부(133)를 통해 적어도 하나의 모폴로지 이미지가 생성되면, 관심 영역 검출부(134)는 적어도 하나의 모폴로지 이미지 중 기설정된 사이즈 이상의 모폴로지 이미지를 포함하는 영역을 오브젝트를 포함하는 관심 영역으로 검출한다.When at least one morphology image is generated through the morphology conversion unit 133, the region of interest detection unit 134 detects a region including a morphology image of a predetermined size or more among at least one morphology image as a region of interest including an object. .
구체적으로, 관심 영역 검출부(134)는 복수의 모폴로지 이미지가 생성되면, 복수의 모폴로지 이미지 중 오브젝트와 연관된 모폴로지 이미지들을 그룹핑한다. 이후, 관심 영역 검출부(134)는 그룹핑된 모폴로지 이미지 중 기설정된 사이즈 이상을 충족하는 그룹의 모폴로지 이미지를 포함하는 영역을 관심 영역으로 검출할 수 있다.Specifically, when a plurality of morphology images are generated, the ROI detector 134 groups morphology images associated with an object among the plurality of morphology images. Thereafter, the region of interest detection unit 134 may detect a region including a morphology image of a group satisfying a predetermined size or more among the grouped morphology images as the region of interest.
이 같은 실시예를 통해 적어도 하나의 관심 영역이 검출되면, 영상 분석 장치(100)는 제1 및 제2 파티클 이미지 처리부(140,150)와 오브젝트 인식부(160)를 통해 영상 이미지 내 포함된 오브젝트를 인식할 수 있다.When at least one region of interest is detected through this embodiment, the
도 5는 본 발명의 일 실시예에 따른 제1 파티클 이미지 처리부의 블록도이며, 도 6은 본 발명의 일 실시예에 따른 제1 파티클 이미지 처리부에서 매칭 후보 파티클 이미지를 획득하는 예시도이다.5 is a block diagram of a first particle image processing unit according to an embodiment of the present invention, and FIG. 6 is an exemplary diagram of obtaining a matching candidate particle image by a first particle image processing unit according to an embodiment of the present invention.
도 5에 도시된 바와 같이, 제1 파티클 이미지 처리부(140)는 파티클 이미지 생성부(141), 유사도 판단부(142), 스코어 산출부(143), 매칭 처리부(144)를 포함한다.As shown in FIG. 5, the first particle image processing unit 140 includes a particle image generation unit 141, a similarity determination unit 142, a
파티클 이미지 생성부(141)는 관심 영역의 이미지 정보에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성한다. 여기서, 이미지 정보는 관심 영역의 위치 정보(x,y) 사이즈 정보(w,h)를 포함하는 것이 바람직하다.The particle image generator 141 generates a plurality of particle images having different angles based on image information of the region of interest. Here, the image information preferably includes location information (x,y) and size information (w,h) of the region of interest.
따라서, 파티클 이미지 생성부(141)는 관심 영역의 위치 정보 및 사이즈 정보를 포함하는 이미지 정보에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성할 수 있다. 실시예에 따라, 파티클 이미지 생성부(141)는 관심 영역의 위치 정보 및 사이즈 정보에 기초하여 관심 영역과 대응하는 사이즈를 가지며, 360도 전방향으로 기설정된 각도 단위만큼 회전시킨 복수의 파티클이미지를 생성할 수 있다.Accordingly, the particle image generator 141 may generate a plurality of particle images having different angles based on image information including location information and size information of the ROI. According to an embodiment, the particle image generator 141 has a size corresponding to the region of interest based on location information and size information of the region of interest, and rotates a plurality of particle images rotated by a predetermined angle unit in all directions of 360 degrees. Can be generated.
유사도 판단부(142)는 템플릿(Template) 매칭 알고리즘을 이용하여 상이한 각도로 회전된 복수의 파티클 이미지와 관심 영역 간의 유사도를 판단한다. 즉, 유사도 판단부(142)는 템플릿 매칭 알고리즘을 이용하여 복수의 파티클 이미지과 관심 영역 간의 유사도를 판단하고, 그 판단된 유사도 정보에 기초하여 관심 영역과 가장 유사한 파티클 이미지(이하 매칭 후보 파티클 이미지라 함)를 획득할 수 있다.The similarity determining unit 142 determines a similarity between a plurality of particle images rotated at different angles and an ROI using a template matching algorithm. That is, the similarity determination unit 142 determines the similarity between the plurality of particle images and the ROI using a template matching algorithm, and based on the determined similarity information, the particle image most similar to the ROI (hereinafter referred to as a matching candidate particle image). ) Can be obtained.
구체적으로, 도 6에 도시된 바와 같이, 복수의 피라미드 이미지 중 최소 해상도를 갖는 제2 레벨의 피라미드 이미지(600) 상에는 관심 영역(620)이 존재할 수 있다. 이 경우, 제1 파티클 이미지 처리부(140)의 파티클 이미지 생성부(141)는 관심 영역(620)의 위치 정보 및 사이즈 정보에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지(610)를 생성할 수 있다.Specifically, as shown in FIG. 6, the region of
이 같은 복수의 파티클 이미지(610)가 생성되면, 유사도 판단부(142)는 템플릿(Template) 매칭 알고리즘을 이용하여 복수의 파티클 이미지(610)와 관심 영역(620) 간의 유사도를 판단할 수 있으며, 관심 영역과 가장 유사도가 높은 파티클 이미지를 매칭 후보 파티클 이미지(630)로 획득할 수 있다.When such a plurality of
이 같은 실시예를 통해 매칭 후보 파티클 이미지가 생성되면, 스코어 산출부(143)는 ICP(Iterative Closest Point) 매칭 알고리즘을 이용하여 유사도가 가장 높은 매칭 후보 파티클 이미지의 픽셀 정보와 관심 영역의 픽셀 정보로부터 매칭 후보 파티클 이미지와 관심 영역 간의 거리 정보를 획득한다. 이후, 스코어 산출부(143)는 획득한 거리 정보에 기초하여 매칭 스코어를 산출한다.When a matching candidate particle image is generated through this embodiment, the
매칭 처리부(매칭 처리부)는 스코어 산출부(143)를 통해 산출된 매칭 스코어와 기설정된 제1 임계 스코어를 비교하여 매칭 스코어가 제1 임계 스코어보다 작으면, 관심 영역과 매칭되도록 매칭 후보 파티클 이미지의 위치(x,y), 각도(θ) 및 스케일 중 적어도 하나를 조정한다.The matching processing unit (matching processing unit) compares the matching score calculated through the
실시예에 따라, 매칭 처리부(매칭 처리부)는 x,y 좌표, 각도 및 스케일 각각에 대해서 (0 ~ image width), (0 ~ image heigh), (0 ~ 360) 및 (0.8 ~ 1.2) 범위 내애서 값을 조정할 수 있다.Depending on the embodiment, the matching processing unit (matching processing unit) is in the range of (0 ~ image width), (0 ~ image heigh), (0 ~ 360) and (0.8 ~ 1.2) for each of the x,y coordinates, angle and scale. You can adjust the value.
예를 들어, 최초 매칭 후보 파티클 이미지(Initial_Pi)의 위치, 각도 및 스케일이 (initial_x, initial_y, initial_θ, initial_s)인 경우, initial_x, initial_y, initial_θ, initial_s 각각은 아래와 같이 조정될 수 있다.For example, when the position, angle, and scale of the initial matching candidate particle image (Initial_P i ) are (initial_x, initial_y, initial_θ, initial_s), each of initial_x, initial_y, initial_θ, and initial_s may be adjusted as follows.
initial_x = Pyramid_L2_ROIi·x + (Random(0.0,1.0)*Pyramid_L2_ROIi·width)initial_x = Pyramid_L2_ROI i· x + (Random(0.0,1.0)*Pyramid_L2_ROI i· width)
initial_y = Pyramid_L2_ROIi·y + (Random(0.0,1.0)*Pyramid_L2_ROIi·height)initial_y = Pyramid_L2_ROI i·y + (Random(0.0,1.0)*Pyramid_L2_ROI i· height)
initial_θi = Random(0,360)initial_θ i = Random(0,360)
initial_si = Random(0.8,1.2)initial_s i = Random(0.8,1.2)
이 같이, 매칭 후보 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나가 조정되면, 파티클 이미지 생성부(141)는 조정된 위치, 각도 및 스케일에 기초하여 적응 파티클 이미지를 생성한다.In this way, when at least one of the position, angle, and scale of the matching candidate particle image is adjusted, the particle image generator 141 generates an adaptive particle image based on the adjusted position, angle, and scale.
적응 파티클 이미지가 생성되면, 스코어 산출부(143)는 적응 파티클 이미와 관심 영역 간의 매칭 스코어를 산출한다.When the adaptive particle image is generated, the
이후, 매칭 처리부(144)는 적응 파티클 이미지와 관심 영역 간의 매칭 스코어가 제1 임계 스코어 보다 크면, 적응 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 관심 영역의 정보로 판단할 수 있다.Thereafter, if the matching score between the adaptive particle image and the ROI is greater than the first threshold score, the matching processor 144 may determine image information, angle information, and scale information of the adaptive particle image as the ROI information.
그러나, 본 발명은 이에 한정되지 않으며, 매칭 처리부(144)는 매칭 후보 파티클 이미지와 관련하여 최초 산출된 매칭 스코어가 제1 임계 스코어보다 크면, 매칭 후보 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 관심 영역의 정보로 판단할 수 있다.However, the present invention is not limited thereto, and if the matching score initially calculated in relation to the matching candidate particle image is greater than the first threshold score, the matching processing unit 144 stores image information, angle information, and scale information of the matching candidate particle image. It can be determined by information on the region of interest.
한편, 매칭 처리부(144)는 적응 파티클 이미지과 관련하여 산출된 매칭 스코어와 제1 임계 스코어 간의 비교 횟수가 기설정된 임계 횟수를 초과하면, 관심 영역과 적응 파티클 이미지 간의 매칭이 되지 않는 것으로 판단할 수 있다.Meanwhile, if the number of comparisons between the matching score calculated in relation to the adaptive particle image and the first threshold score exceeds a preset threshold number, the matching processing unit 144 may determine that there is no match between the region of interest and the adaptive particle image. .
본 발명의 추가적인 양상에 따라, 제1 파티클 이미지 처리부(140)는 블러 처리부(145) 및 에지 검출부(146)를 더 포함할 수 있다.According to an additional aspect of the present invention, the first particle image processing unit 140 may further include a blur processing unit 145 and an edge detection unit 146.
블러 처리부(145)는 기획득한 관심 영역에 대한 블러 노이즈를 제거한다.The blur processing unit 145 removes blur noise for the planned ROI.
에지 검출부(146)는 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 관심 영역 내 포함된 오브젝트에 대한 에지 정보를 획득한다.The edge detection unit 146 acquires edge information on an object included in the ROI using a Canny Edge Detection algorithm.
따라서, 유사도 판단부(142)는 템플릿(Template) 매칭 알고리즘을 이용하여 상이한 각도로 회전된 복수의 파티클 이미지에 포함된 학습 이미지와 관심 영역 내 포함된 에지 이미지 간의 유사도를 판단할 수 있다.Accordingly, the similarity determination unit 142 may determine the similarity between the training image included in the plurality of particle images rotated at different angles and the edge image included in the ROI using a template matching algorithm.
도 7은 본 발명의 일 실시예에 따른 제1 파티클 이미지 처리부의 블록도이다.7 is a block diagram of a first particle image processing unit according to an embodiment of the present invention.
도 7에 도시된 바와 같이, 제2 파티클 이미지 처리부(150)는 오브젝트 영역 검출부(151), 파티클 이미지 생성부(152), 유사도 판단부(153), 스코어 산출부(154), 매칭 처리부(155)를 포함한다.As shown in FIG. 7, the second particle image processing unit 150 includes an object region detection unit 151, a particle
오브젝트 영역 검출부(151)는 기판단된 관심 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나를 이용하여 제1 레벨의 피라미드 이미지로부터 오브젝트 영역을 획득한다. 여기서, 제1 레벨의 피라미드 이미지는 입력된 영상 이미지와 대응되는 해상도를 갖는 이미지가 될 수 있다.The object region detection unit 151 acquires an object region from the pyramid image of the first level by using at least one of image information, angle information, and scale information of the region of interest that has been cut. Here, the pyramid image of the first level may be an image having a resolution corresponding to the input image image.
전술한 바와 같이, 제1 파티클 이미지 처리부(140)를 통해 관심 영역에 대한 정보(x,y,width,hight,θ,s)가 획득되면, 오브젝트 영역 검출부(151)는 기획득된 관심 영역에 대한 정보(x,y,width,hight,θ,s)에 기초하여 제1 레벨의 피라미드 이미지로부터 오브젝트 영역을 획득한다. 이때, 오브젝트 영역 검출부(151)는 제1 파티클 이미지 처리부(140)를 통해 획득한 관심 영역에 대한 정보와 함께 제1 레벨의 피라미드 이미지에 대한 해상도 정보를 추가로 이용하여 제1 레벨의 피라미드 이미지로부터 오브젝트 영역을 획득할 수 있다.As described above, when information (x,y,width,hight,θ,s) on the region of interest is obtained through the first particle image processing unit 140, the object region detection unit 151 An object area is obtained from the pyramid image of the first level based on the information (x,y,width,hight,θ,s). In this case, the object region detection unit 151 additionally uses the resolution information on the first level pyramid image together with information on the region of interest obtained through the first particle image processing unit 140, from the first level pyramid image. The object area can be acquired.
제1 레벨의 피라미드 이미지로부터 오브젝트 영역이 획득되면, 파티클 이미지 생성부(152)는 상이한 각도를 가지는 복수의 파티클 이미지를 생성한다.When the object region is obtained from the pyramid image of the first level, the
구체적으로, 파티클 이미지 생성부(152)는 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성할 수 있다. 즉, 파티클 이미지 생성부(152)는 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보에 기초하여 오브젝트 영역과 대응하는 사이즈를 가지며, 360도 전방향으로 기설정된 각도 단위만큼 회전시킨 복수의 파티클 이미지를 생성할 수 있다.3Specifically, the
이 같은 복수의 파티클 이미지가 생성되면, 유사도 판단부(153)는 템플릿(Template) 매칭 알고리즘을 이용하여 복수의 파티클 이미지와 오브젝트 영역 간의 유사도를 판단하고, 판단된 유사도에 기초하여 복수의 파티클 이미지 중 오브젝트 영역과 가장 유사한 파티클 이미지(이하 매칭 후보 파티클 이미지라 함)를 결정할 수 있다.When such a plurality of particle images are generated, the
스코어 산출부(154)는 ICP(Iterative Closest Point) 매칭 알고리즘을 이용하여 유사도가 가장 높은 매칭 후보 파티클 이미지의 픽셀 정보와 오브젝트 영역 간의 거리 정보를 획득하고, 기획득한 거리 정보에 기초하여 매칭 스코어를 산출한다.The
매칭 처리부(155)는 스코어 산출부(154)를 통해 매칭 스코어가 산출되면, 해당 매칭 스코어와 기설정된 제2 임계 스코어를 비교한다. 비교 결과 매칭 스코어가 상기 제2 임계 스코어보다 작으면, 매칭 처리부(155)는 오브젝트 영역과 매칭되도록 매칭 후보 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나를 조정한다.When the matching score is calculated through the
여기서, 제2 임계 스코어는 전술한 제1 임계 스코어보다 높은 값이 될 수 있다.Here, the second threshold score may be higher than the above-described first threshold score.
예를 들어, 복수이 파티클 이미지 중 유사도가 가장 높은 매칭 후보 파티클 이미지의 정보가 (initial_x, initial_y, initial_θ, initial_s)인 경우, initial_x, initial_y, itial_θ, initial_s 각각은 아래와 같이 조정될 수 있다.For example, if the information of the matching candidate particle image with the highest similarity among the plurality of particle images is (initial_x, initial_y, initial_θ, initial_s), each of initial_x, initial_y, itial_θ, and initial_s may be adjusted as follows.
initial_x = Pyramid_L1_ROIi·x + (Random(-0.5,0.5)*Pyramid_L2_ROIi·width)initial_x = Pyramid_L1_ROI i· x + (Random(-0.5,0.5)*Pyramid_L2_ROI i· width)
initial_y = Pyramid_L1_ROIi·y + (Random(-0.5,0.5)*Pyramid_L2_ROIi·height)initial_y = Pyramid_L1_ROI i· y + (Random(-0.5,0.5)*Pyramid_L2_ROI i· height)
initial_θi = Pyramid_L1_ROIi·θ·+ Random(-3,3)initial_θ i = Pyramid_L1_ROI i· θ ·+ Random(-3,3)
initial_si = Pyramid_L1_ROIi·s * Random(-0.05,0.05)initial_s i = Pyramid_L1_ROI i· s * Random(-0.05,0.05)
이 같은 매칭 후보 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나가 조정되면, 파티클 이미지 생성부(152)는 조정된 위치, 각도 및 스케일에 기초하여 적응 파티클 이미지를 생성한다.When at least one of the position, angle, and scale of the matching candidate particle image is adjusted, the
적응 파티클 이미지가 생성되면, 스코어 산출부(154)는 적응 파티클 이미와 관심 영역 간의 매칭 스코어를 산출한다.When the adaptive particle image is generated, the
이후, 매칭 처리부(155)는 적응 파티클 이미지와 오브젝트 영역 간의 매칭 스코어가 제2 임계 스코어 보다 크면, 적응 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 오브젝트 영역의 정보로 판단할 수 있다.Thereafter, if the matching score between the adaptive particle image and the object region is greater than the second threshold score, the matching processing unit 155 may determine image information, angle information, and scale information of the adaptive particle image as the object region information.
그러나, 본 발명은 이에 한정되지 않으며, 매칭 처리부(155)는 매칭 후보 파티클 이미지와 관련하여 최초 산출된 매칭 스코어가 제2 임계 스코어보다 크면, 매칭 후보 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 관심 영역의 정보로 판단할 수 있다.However, the present invention is not limited thereto, and if the matching score initially calculated in relation to the matching candidate particle image is greater than the second threshold score, the matching processing unit 155 stores image information, angle information, and scale information of the matching candidate particle image. It can be determined by information on the region of interest.
한편, 매칭 처리부(155)는 적응 파티클 이미지과 관련하여 산출된 매칭 스코어와 제2 임계 스코어 간의 비교 횟수가 기설정된 임계 횟수를 초과하면, 관심 영역과 적응 파티클 이미지 간의 매칭이 되지 않는 것으로 판단할 수 있다.Meanwhile, if the number of comparisons between the matching score calculated in relation to the adaptive particle image and the second threshold score exceeds a preset threshold number, the matching processing unit 155 may determine that there is no match between the region of interest and the adaptive particle image. .
본 발명의 추가적인 양상에 따라, 제2 파티클 이미지 처리부(150)는 블러 처리부(156) 및 에지 검출부(157)를 더 포함할 수 있다.According to an additional aspect of the present invention, the second particle image processing unit 150 may further include a blur processing unit 156 and an
블러 처리부(156)는 기획득한 오브젝트 영역에 대한 블러 노이즈를 제거한다.The blur processing unit 156 removes blur noise on the planned object area.
에지 검출부(157)는 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 오브젝트 영역 내 포함된 오브젝트에 대한 에지 정보를 획득한다.The
따라서, 유사도 판단부(153)는 템플릿(Template) 매칭 알고리즘을 이용하여 상이한 각도로 회전된 복수의 파티클 이미지에 포함된 학습 이미지와 오브젝트 영역 내 포함된 에지 이미지 간의 유사도를 판단할 수 있다.Accordingly, the
이하에서는, 본 발명에 따른 영상 분석 장치에서 영상 이미지 내 포함된 오브젝트를 인식하는 방법에 대해서 상세히 설명하도록 한다.Hereinafter, a method of recognizing an object included in an image image in the image analysis apparatus according to the present invention will be described in detail.
도 8은 본 발명의 일 실시예에 따른 영상 분석 장치에서 영상을 분석하는 방법에 대한 흐름도이다.8 is a flowchart illustrating a method of analyzing an image in an image analyzing apparatus according to an embodiment of the present invention.
도 8에 도시된 바와 같이, 영상 분석 장치(100)는 영상 이미지가 입력되면, 입력된 영상 이미지로부터 적어도 하나의 피라미드 이미지를 생성한다(S810).As illustrated in FIG. 8, when an image image is input, the
여기서, 적어도 하나의 피라미드 이미지는 RGB(Red, Green, Blue)로 이루어진 영상 이미지를 색상(H), 채도(S) 및 명도(V)로 변경한 후, 변경된 명도(V) 값에 기초하여 생성된 이미지이다.Here, at least one pyramid image is generated based on the changed brightness (V) value after changing the image image composed of RGB (Red, Green, Blue) to color (H), saturation (S), and brightness (V). It is an image.
이 같은 적어도 하나의 피라미드 이미지는 기설정된 조건에 대응하는 사이즈로 이루어질 수 있다. 예를 들어, 적어도 하나의 피라미드 이미지 중 제1 피라미드 이미지는 수신된 영상 이미지와 대응되는 해상도로 이루어질 수 있으며, 제2 피라미드 이미지는 제1 피라미드 이미지 보다 1/2 해상도로 이루어진 이미지가 될 수 있다.Such at least one pyramid image may have a size corresponding to a preset condition. For example, of the at least one pyramid image, a first pyramid image may have a resolution corresponding to the received image image, and the second pyramid image may be an image having a resolution of 1/2 than the first pyramid image.
이 같은 적어도 하나의 피라미드 이미지가 생성되면, 영상 분석 장치(100)는 적어도 하나의 피라미드 이미지 중 최소 사이즈를 갖는 피라미드 이미지의 에지 정보에 기초하여 영상 이미지에 포함된 오브젝트와 관련된 관심 영역을 검출한다(S820).When such at least one pyramid image is generated, the
예를 들어, 영상 이미지에 제1 및 제2 오브젝트가 포함된 경우, 영상 분석 장치(100)는 제1 및 제2 오브젝트와 관련된 제1 및 제2 관심 영역을 검출할 수 있다.For example, when the image image includes first and second objects, the
관심 영역이 검출되면, 영상 분석 장치(100)는 검출된 관심 영역의 위치 정보 및 사이즈 정보를 포함하는 이미지 정보에 기초하여 오브젝트와 관련하여 학습된 학습 이미지를 포함하는 파티클 이미지를 생성하고, 파티클 이미지와 관심 영역 간의 거리 정보에 기초하여 파티클 이미지를 관심 영역과 매칭되도록 조정한다(S830).When the region of interest is detected, the
이후, 영상 분석 장치(100)는 영상 이미지와 대응되는 사이즈의 피라미드 이미지로부터 관심 영역과 관련된 오브젝트 영역을 획득하고, 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나에 기초하여 생성된 파티클 이미지와 오브젝트 영역 간의 거리 정보에 기초하여 파티클 이미지를 오브젝트 영역과 매칭되도록 조정한다(S840).Thereafter, the
이후, 영상 분석 장치(100)는 조정된 파티클 이미지와 오브젝트 영역 간의 매칭 결과에 기초하여 오브젝트를 인식한다(S850).Thereafter, the
도 9는 본 발명의 일 실시예에 따른 영상 분석 장치에서 피라미드 이미지를 생성하는 방법의 흐름도이다.9 is a flowchart of a method of generating a pyramid image in an image analysis apparatus according to an embodiment of the present invention.
도 9에 도시된 바와 같이, 영상 분석 장치(100)는 입력된 영상 이미지를 HSV(hue saturation value) 이미지로 변환한다(S910). 이후, 영상 분석 장치(100)는 이미지의 명도(V) 값을 이용하여 그레이 이미지를 생성한다(S920). As illustrated in FIG. 9, the
전술한 바와 같이, 입력된 영상 이미지는 RGB로 이루어진 이미지가 될 수 있다. 따라서, 영상 분석 장치(100)는 이 같은 RGB 이미지를 색상(H), 채도(S) 및 명도(V)를 갖는 HSV 이미지로 변환하고, 변환된 HSV 이미지의 색상, 채도 및 명도 중 명도(V) 값을 이용하여 그레이 이미지로 변환할 수 있다.As described above, the input video image may be an image made of RGB. Accordingly, the
이후, 영상 분석 장치(100)는 그레이 이미지로부터 영상 이미지와 대응되는 해상도를 갖는 제1 레벨의 피라미드 이미지를 생성하고, 제1 레벨의 피라미드 이미지보다 1/2 해상도를 갖는 제2 레벨의 피라미드 이미지를 생성한다(S930,S940).Thereafter, the
그러나, 본 발명은 이에 한정되지 않으며, 영상 분석 장치(100)는 사용자 명령에 따라, 제2 레벨의 피라미드 이미지보다 1/2 해상도를 갖는 제3 레벨의 피라미드 이미지 및 제3 레벨의 피라미드 이미지보다 1/2 해상도를 갖는 제4 레벨의 피라미드 이미지를 생성할 수 있다.However, the present invention is not limited thereto, and the
도 10은 본 발명의 일 실시예에 따른 영상 분석 장치에서 피라미드 이미지로부터 관심 영역을 검출하는 방법의 흐름도이다.10 is a flowchart of a method of detecting an ROI from a pyramid image in an image analysis apparatus according to an embodiment of the present invention.
도 10에 도시된 바와 같이, 영상 분석 장치(100)는 기생성된 복수의 피라미드 이미지 중 최소 해상도를 갖는 제2 레벨의 피라미드 이미지에서 블러 노이즈를 제거한다(S1010).As shown in FIG. 10, the
제2 레벨의 피라미드 이미지로부터 블러 노이즈가 제거되면, 영상 분석 장치(100)는 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 제2 레벨의 피라미드 이미지에 포함된 적어도 하나의 오브젝트에 대한 에지 정보를 획득하고, 획득한 에지 정보에 기초하여 적어도 하나의 오브젝트에 대한 에지 이미지를 생성한다(S1020)When the blur noise is removed from the pyramid image of the second level, the
이후, 영상 분석 장치(100)는 형태 연산 알고리즘을 이용하여 적어도 하나의 에지 이미지로부터 모폴로지 이미지를 생성하고, 생성된 적어도 하나의 모폴로지 이미지 중 기설정된 사이즈 이상의 모폴로지 이미지를 포함하는 영역을 관심 영역으로 검출한다(S1030,S1040).Thereafter, the
구체적으로, 영상 분석 장치(100)는 복수의 모폴로지 이미지가 생성되면, 복수의 모폴로지 이미지 중 오브젝트와 연관된 모폴로지 이미지들을 그룹핑한다. 이후, 영상 분석 장치(100)는 그룹핑된 모폴로지 이미지 중 기설정된 사이즈 이상을 충족하는 그룹의 모폴로지 이미지를 포함하는 영역을 관심 영역으로 검출할 수 있다.Specifically, when a plurality of morphology images are generated, the
이 같은 실시예를 통해 적어도 하나의 관심 영역이 검출되면, 영상 분석 장치(100)는 하기와 같은 방법을 통해 영상 이미지 내 포함된 오브젝트를 인식할 수 있다. 먼저, 영상 분석 장치(100)는 도 11과 같은 방법을 통해 영상 이미지 보다 작은 해상도를 갖는 피라미드 이미지의 관심 영역으로부터 오브젝트를 인식할 수 있다.When at least one region of interest is detected through this embodiment, the
도 11은 본 발명의 일 실시예에 따른 영상 분석 장치에서 관심 영역을 분석하는 흐름도이다.11 is a flowchart for analyzing a region of interest in an image analysis apparatus according to an exemplary embodiment of the present invention.
도 11에 도시된 바와 같이, 영상 분석 장치(100)는 관심 영역의 위치 정보 및 사이즈 정보를 포함하는 이미지 정보에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성한다(S1110). As illustrated in FIG. 11, the
실시예에 따라, 영상 분석 장치(100)는 관심 영역의 위치 정보 및 사이즈 정보에 기초하여 관심 영역과 대응하는 사이즈를 가지며, 360도 전방향으로 기설정된 각도 단위만큼 회전시킨 복수의 파티클이미지를 생성할 수 있다.According to an embodiment, the
이 같은 복수의 파티클 이미지가 생성되면, 영상 분석 장치(100)는 템플릿(Template) 매칭 알고리즘을 이용하여 복수의 파티클 이미지와 관심 영역 간의 유사도를 판단한다(S1120).When such a plurality of particle images are generated, the
구체적으로, 영상 분석 장치(100)는 템플릿 매칭 알고리즘을 이용하여 복수의 파티클 이미지과 관심 영역 간의 유사도를 판단하고, 그 판단된 유사도 정보에 기초하여 관심 영역과 가장 유사한 파티클 이미지(이하 매칭 후보 파티클 이미지라 함)를 획득할 수 있다.Specifically, the
복수의 파티클 이미지 중 관심 영역과 가장 유사한 매칭 후보 파티클 이미지가 획득되면, 영상 분석 장치(100)는 ICP(Iterative Closest Point) 매칭 알고리즘을 이용하여 매칭 후보 파티클 이미지의 픽셀 정보와 관심 영역의 픽셀 정보로부터 매칭 후보 파티클 이미지와 관심 영역 간의 거리 정보를 획득하고, 획득한 거리 정보에 기초하여 유사도가 가장 높은 매칭 후보 파티클 이미지와 관심 영역간의 매칭 스코어를 산출한다(S1130).When a matching candidate particle image that is most similar to the region of interest among the plurality of particle images is obtained, the
이후, 영상 분석 장치(100)는 기산출된 매칭 스코와와 기설정된 제1 임계 스코어를 비교한다(S1140). 비교 결과, 매칭 스코어가 상기 제1 임계 스코어보다 작으면, 영상 분석 장치(100)는 매칭 스코어와 제1 임계 스코어 간의 비교 횟수를 카운팅하고, 카운팅된 비교 횟수가 기설정된 임계 횟수를 초과하는지 여부를 판단한다(S1150). Thereafter, the
판단 결과, 비교 횟수가 기설정된 임계 횟수를 초과하지 않으면, 영상 분석 장치(100)는 관심 영역과 매칭되도록 매칭 후보 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나를 조정한다(S1160).As a result of the determination, if the number of comparisons does not exceed a preset threshold number, the
이후, 영상 분석 장치(100)는 조정된 매칭 후보 파티클 이미지의 위치, 각도 및 스케일에 기초하여 적응 파티클 이미지를 생성한다(S1170).Thereafter, the
이후, 영상 분석 장치(100)는 전술한 단계 S1130을 통해 적응 파티클 이미지의 픽셀 정보와 관심 영역의 픽셀 정보에 기초하여 적응 파티클 이미지와 관심 영역 간의 거리 정보를 획득하고, 획득한 거리 정보에 기초하여 매칭 스코어를 산출한다.Thereafter, the
이후, 영상 분석 장치(100)는 전술한 단계 S1140을 통해 매칭 스코어와 제1 임계 스코어와 비교한다. 비교 결과, 매칭 스코어가 제1 임계 스코어를 초과하면, 영상 분석 장치(100)는 적응 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 관심 영역의 정보로 판단하여 획득한다(S1180).Thereafter, the
한편, 영상 분석 장치(100)는 전술한 일련의 동작을 수행하기 전, 기획득한 관심 영역에 대한 블러 노이즈를 제거한 후, 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 관심 영역 내 포함된 오브젝트에 대한 에지 정보를 획득할 수 있다.Meanwhile, before performing the above-described series of operations, the
따라서, 영상 분석 장치(100)는 전술한 단계 S1120에서 템플릿(Template) 매칭 알고리즘을 이용하여 상이한 각도로 회전된 복수의 파티클 이미지에 포함된 학습 이미지와 관심 영역 내 포함된 에지 이미지 간의 유사도를 판단할 수 있다.Accordingly, the
이 같은 방법을 통해 관심 영역의 이미지 정보, 각도 정보 및 스케일 정보가 획득되면, 영상 분석 장치(100)는 하기와 같은 방법을 통해 영상 이미지와 대응되는 해상도를 갖는 피라미드 이미지의 오브젝트 영역으로부터 오브젝트를 인식할 수 있다.When image information, angle information, and scale information of the region of interest are acquired through this method, the
도 12는 본 발명의 일 실시예에 따른 영상 분석 장치에서 오브젝트 영역을 분석하는 흐름도이다.12 is a flowchart illustrating an object area analysis in an image analysis apparatus according to an exemplary embodiment of the present invention.
전술한 바와 같이, 관심 영역의 이미지 정보, 각도 정보 및 스케일 정보가 획득되면, 영상 분석 장치(100)는 획득된 정보 중 적어도 하나를 이용하여 제1 레벨의 피라미드 이미지로부터 상기 오브젝트 영역을 획득한다(S1210). 여기서, 제1 레벨의 피라미드 이미지는 영상 이미지와 대응되는 해상도를 갖는 이미지가 될 수 있다.As described above, when image information, angle information, and scale information of a region of interest are obtained, the
이때, 영상 분석 장치(100)는 관심 영역에 대한 정보와 함께 제1 레벨의 피라미드 이미지에 대한 해상도 정보를 추가로 이용하여 제1 레벨의 피라미드 이미지로부터 오브젝트 영역을 획득할 수 있다.In this case, the
이 같은 제1 레벨의 피라미드 이미지로부터 오브젝트 영역이 획득되면, 영상 분석 장치(100)는 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성한다(S1220).When the object region is acquired from the pyramid image of the first level, the
이후, 영상 분석 장치(100)는 템플릿(Template) 매칭 알고리즘을 이용하여 복수의 파티클 이미지와 상기 오브젝트 영역 간의 유사도를 판단한다(S1230).Thereafter, the
구체적으로, 영상 분석 장치(100)는 템플릿 매칭 알고리즘을 이용하여 복수의 파티클 이미지과 관심 영역 간의 유사도를 판단하고, 그 판단된 유사도 정보에 기초하여 관심 영역과 가장 유사한 파티클 이미지(이하 매칭 후보 파티클 이미지라 함)를 획득할 수 있다.Specifically, the
유사도가 가장 높은 매칭 후보 파티클 이미지가 획득되면, 영상 분석 장치(100)는 ICP(Iterative Closest Point) 매칭 알고리즘을 이용하여 매칭 후보 파티클 이미지의 픽셀 정보와 오브젝트 영역 간의 거리 정보를 획득하고, 획득한 거리 정보에 기초하여 매칭 스코어를 산출한다(S1240).When the matching candidate particle image with the highest similarity is obtained, the
매칭 스코어가 산출되면, 영상 분석 장치(100)는 매칭 스코어와 제2 임계 스코어를 비교한다(S1250). 비교 결과, 매칭 스코어가 제2 임계 스코어보다 작으면, 영상 분석 장치(100)는 매칭 스코어와 제2 임계 스코어 간의 비교 횟수를 카운팅하고, 카운팅된 비교 횟수가 기설정된 임계 횟수를 초과하는지 여부를 판단한다(S1260). When the matching score is calculated, the
판단 결과, 비교 횟수가 기설정된 임계 횟수를 초과하지 않으면, 영상 분석 장치(100)는 오브젝트 영역과 매칭되도록 매칭 후보 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나를 조정한다(S1270).As a result of the determination, if the number of comparisons does not exceed a preset threshold number, the
이후, 영상 분석 장치(100)는 조정된 매칭 후보 파티클 이미지의 위치, 각도 및 스케일에 기초하여 적응 파티클 이미지를 생성한다(S1280).Thereafter, the
이후, 영상 분석 장치(100)는 전술한 단계 S1240을 통해 적응 파티클 이미지의 픽셀 정보와 관심 영역의 픽셀 정보에 기초하여 적응 파티클 이미지와 관심 영역 간의 거리 정보를 획득하고, 획득한 거리 정보에 기초하여 매칭 스코어를 산출한다.Thereafter, the
이후, 영상 분석 장치(100)는 전술한 단계 S1250을 통해 매칭 스코어와 제2 임계 스코어와 비교한다. 비교 결과, 매칭 스코어가 제2 임계 스코어를 초과하면, 영상 분석 장치(100)는 적응 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 오브젝트 영역의 정보로 판단하여 획득한다(S1290).Thereafter, the
한편, 영상 분석 장치(100)는 전술한 일련의 동작을 수행하기 전, 기획득한 오브젝트 영역에 대한 블러 노이즈를 제거한 후, 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 오브젝트 영역 내 포함된 오브젝트에 대한 에지 정보를 획득할 수 있다.Meanwhile, before performing the above-described series of operations, the
따라서, 영상 분석 장치(100)는 전술한 단계 S1230에서 템플릿(Template) 매칭 알고리즘을 이용하여 상이한 각도로 회전된 복수의 파티클 이미지에 포함된 학습 이미지와 관심 영역 내 포함된 에지 이미지 간의 유사도를 판단할 수 있다.Accordingly, the
상기와 같이, 본 발명은 입력된 영상 데이터에 포함된 타겟 오브젝트 인식을 보다 신속하게 할 수 있다. 나아가, 본 발명은 저사양의 처리 속도에서도 영상 데이터에 포함된 오브젝트의 인식이 보다 신속하게 이루어질 수 있는 효과가 있다.As described above, the present invention can more quickly recognize a target object included in the input image data. Furthermore, the present invention has an effect that recognition of an object included in image data can be made more quickly even at a low specification processing speed.
또한, 본 발명은, 영상데이터를 분석하는 경우에 파티클 이미지와 ICP매칭을 이용하여 오브젝트 인식속도를 향상시킴으로써 영상데이터 내에 포함된 타겟 오브젝트 인식에 요구되는 정확도를 만족하면서도 처리속도를 높일 수 있어 저사양 장치에서도 효율적으로 타겟 오브젝트와 유사한 이미지를 검출할 수 있는 피라미드 이미지 기반의 영상 분석 방법 및 이를 위한 영상 분석 장치를 제공하는 효과가 있다.In addition, the present invention improves the object recognition speed by using particle image and ICP matching when analyzing image data, thereby satisfying the accuracy required for recognizing target objects included in the image data and increasing the processing speed. Also, there is an effect of providing an image analysis method based on a pyramid image that can efficiently detect an image similar to a target object and an image analysis device therefor.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안 될 것이다.In the above, preferred embodiments of the present invention have been illustrated and described, but the present invention is not limited to the specific embodiments described above, and is generally used in the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. Of course, various modifications may be made by those skilled in the art, and these modifications should not be understood individually from the technical idea or perspective of the present invention.
100 : 영상 분석 장치 110 : 입력부
120 : 피라미드 이미지 처리부 121 : 이미지 변환부
122 : 피라미드 이미지 생성부 130 : 전처리부
131,145,156 : 블러 처리부 132,146,157 : 에지 검출부
133 : 모폴로지 변환부 134 : 관심 영역 검출부
140 : 제1 파티클 이미지 처리부 141,152 : 파티클 이미지 생성부
142,153 : 유사도 판단부 143,154 : 스코어 산출부
144,155 : 매칭 처리부 150 : 제2 파피클 이미지 처리부100: image analysis device 110: input unit
120: pyramid image processing unit 121: image conversion unit
122: pyramid image generating unit 130: preprocessing unit
131,145,156: blur processing unit 132,146,157: edge detection unit
133: morphology conversion unit 134: region of interest detection unit
140: first particle image processing unit 141,152: particle image generation unit
142,153: similarity determination unit 143,154: score calculation unit
144,155: matching processing unit 150: second wave pickle image processing unit
Claims (20)
입력된 영상 이미지로부터 적어도 하나의 피라미드 이미지를 생성하는 단계;
상기 적어도 하나의 피라미드 이미지 중 최소 사이즈를 갖는 피라미드 이미지의 에지 정보에 기초하여 상기 영상 이미지에 포함된 오브젝트와 관련된 관심 영역을 검출하는 단계;
상기 관심 영역의 위치 정보 및 사이즈 정보를 포함하는 이미지 정보에 기초하여 상기 오브젝트와 관련하여 학습된 학습 이미지를 포함하는 적어도 하나의 파티클 이미지를 생성하고, 상기 적어도 하나의 파티클 이미지 중 상기 관심 영역과 유사한 제1 파티클 이미지와 상기 관심 영역 간의 거리 정보에 기초하여 상기 제1 파티클 이미지를 상기 관심 영역과 매칭되도록 조정하는 단계;
상기 영상 이미지와 대응되는 사이즈의 피라미드 이미지로부터 상기 관심 영역과 관련된 오브젝트 영역을 획득하고, 상기 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나에 기초하여 생성된 적어도 하나의 파티클 이미지 중 상기 오브젝트 영역과 유사한 제2 파티클 이미지와 상기 오브젝트 영역 간의 거리 정보에 기초하여 상기 제2 파티클 이미지를 상기 오브젝트 영역과 매칭되도록 조정하는 단계; 및
상기 조정된 제2 파티클 이미지와 상기 오브젝트 영역 간의 매칭 결과에 기초하여 상기 오브젝트를 인식하는 단계;
를 포함하는 영상 분석 방법.
In the image analysis method,
Generating at least one pyramid image from the input image image;
Detecting a region of interest related to an object included in the video image based on edge information of a pyramid image having a minimum size among the at least one pyramid image;
Generates at least one particle image including a training image learned in relation to the object based on image information including location information and size information of the ROI, and is similar to the ROI among the at least one particle image. Adjusting the first particle image to match the region of interest based on distance information between the first particle image and the region of interest;
The object from among at least one particle image generated based on at least one of image information, angle information, and scale information of the object area by acquiring an object area related to the ROI from a pyramid image having a size corresponding to the image image Adjusting the second particle image to match the object area based on distance information between a second particle image similar to an area and the object area; And
Recognizing the object based on a matching result between the adjusted second particle image and the object area;
Image analysis method comprising a.
상기 영상 이미지를 HSV(hue saturation value) 이미지로 변환하는 단계;
상기 HSV 이미지의 명도(V) 값을 이용하여 그레이 이미지를 생성하는 단계;
상기 그레이 이미지로부터 상기 영상 이미지와 대응되는 해상도를 갖는 제1 레벨의 피라미드 이미지를 생성하는 단계; 및
상기 제1 레벨의 피라미드 이미지보다 1/2 해상도를 갖는 제2 레벨의 피라미드 이미지를 생성하는 단계;
를 포함하는 것을 특징으로 하는 영상 분석 방법.
The method of claim 1, wherein generating at least one pyramid image from the image image comprises:
Converting the video image into a hue saturation value (HSV) image;
Generating a gray image using the brightness (V) value of the HSV image;
Generating a pyramid image of a first level having a resolution corresponding to the image image from the gray image; And
Generating a second level pyramid image having a resolution of 1/2 than that of the first level pyramid image;
Image analysis method comprising a.
상기 제2 레벨의 피라미드 이미지가 최소 사이즈를 갖는 이미지이면, 상기 제2 레벨의 피라미드 이미지에서 블러 노이즈를 제거하는 단계;
케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 제2 레벨의 피라미드 이미지에 포함된 적어도 하나의 오브젝트에 대한 에지 정보를 획득하고, 상기 획득한 에지 정보에 기초하여 상기 적어도 하나의 오브젝트에 대한 에지 이미지를 생성하는 단계;
형태 연산 알고리즘을 이용하여 상기 적어도 하나의 에지 이미지로부터 모폴로지 이미지를 생성하는 단계; 및
상기 적어도 하나의 모폴로지 이미지 중 기설정된 사이즈 이상의 모폴로지 이미지를 포함하는 영역을 상기 관심 영역으로 검출하는 단계;
를 포함하는 것을 특징으로 하는 영상 분석 방법.
The method of claim 2, wherein detecting the region of interest,
If the second level pyramid image has a minimum size, removing blur noise from the second level pyramid image;
Using a Kenny Edge Detection algorithm, edge information on at least one object included in the second level pyramid image is obtained, and edge information on the at least one object is obtained based on the obtained edge information. Generating an image;
Generating a morphology image from the at least one edge image using a shape calculation algorithm; And
Detecting a region including a morphology image of a predetermined size or more among the at least one morphology image as the region of interest;
Image analysis method comprising a.
상기 관심 영역의 이미지 정보에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성하는 단계;
템플릿(Template) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지와 상기 관심 영역 간의 유사도를 판단하는 단계;
ICP(Iterative Closest Point) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지 중 유사도가 가장 높은 상기 제1 파티클 이미지를 매칭 후보 파티클 이미지로 결정하고, 상기 매칭 후보 파티클 이미지로 결정된 상기 제1 파티클 이미지의 픽셀 정보와 상기 관심 영역의 픽셀 정보로부터 상기 매칭 후보 파티클 이미지와 상기 관심 영역 간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 매칭 스코어를 산출하는 단계; 및
상기 매칭 스코어와 기설정된 제1 임계 스코어를 비교하여 상기 매칭 스코어가 상기 제1 임계 스코어보다 작으면, 상기 관심 영역과 매칭되도록 상기 매칭 후보 파티클 이미지로 결정된 상기 제1 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나를 조정하는 단계;
를 포함하는 것을 특징으로 하는 영상 분석 방법.
The method of claim 3, wherein adjusting the first particle image to match the region of interest,
Generating a plurality of particle images having different angles based on image information of the region of interest;
Determining a degree of similarity between the plurality of particle images and the ROI using a template matching algorithm;
The first particle image with the highest similarity among the plurality of particle images is determined as a matching candidate particle image using an Iterative Closest Point (ICP) matching algorithm, and pixel information of the first particle image determined as the matching candidate particle image And obtaining distance information between the matching candidate particle image and the ROI from pixel information of the ROI, and calculating a matching score based on the acquired distance information; And
When the matching score is smaller than the first critical score by comparing the matching score with a preset first critical score, the position, angle, and scale of the first particle image determined as the matching candidate particle image to match the region of interest Adjusting at least one of;
Image analysis method comprising a.
상기 매칭 후보 파티클 이미지로 결정된 상기 제1 파티클 이미지와 관련하여 조정된 적응 파티클 이미지와 상기 관심 영역간 매칭 스코어를 산출하며,
상기 적응 파티클 이미지와 상기 관심 영역 간의 매칭 스코어가 상기 제1 임계 스코어 보다 크면, 상기 적응 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 상기 관심 영역의 정보로 판단하는 단계;
를 더 포함하는 것을 특징으로 하는 영상 분석 방법.
The method of claim 4, wherein calculating the matching score comprises:
Calculating a matching score between the adaptive particle image adjusted in relation to the first particle image determined as the matching candidate particle image and the ROI,
If a matching score between the adaptive particle image and the region of interest is greater than the first threshold score, determining image information, angle information, and scale information of the adaptive particle image as information of the region of interest;
Image analysis method further comprising a.
상기 관심 영역에 대한 블러 노이즈를 제거하는 단계; 및
상기 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 관심 영역 내 포함된 오브젝트에 대한 에지 정보를 획득하는 단계;를 더 포함하며,
상기 관심 영역은,
상기 제2 레벨의 피라미드 이미지에 포함된 적어도 하나의 오브젝트에 대한 에지 정보에 기초하여 생성된 에지 이미지를 포함하는 것을 특징으로 하는 영상 분석 방법.
The method of claim 4,
Removing blur noise for the region of interest; And
The step of obtaining edge information on the object included in the region of interest using the Canny Edge Detection algorithm; further comprising,
The region of interest,
And an edge image generated based on edge information on at least one object included in the second level pyramid image.
기판단된 상기 관심 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나를 이용하여 상기 영상 이미지의 사이즈와 대응되는 상기 제1 레벨의 피라미드 이미지로부터 상기 오브젝트 영역을 획득하는 단계;
상기 획득한 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성하는 단계;
상기 템플릿(Template) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지와 상기 오브젝트 영역 간의 유사도를 판단하는 단계;
ICP(Iterative Closest Point) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지 중 유사도가 가장 높은 상기 제2 파티클 이미지를 매칭 후보 파티클 이미지로 결정하고, 상기 매칭 후보 파티클 이미지로 결정된 상기 제2 파티클 이미지의 픽셀 정보와 상기 오브젝트 영역 간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 매칭 스코어를 산출하는 단계; 및
상기 제2 파티클 이미지의 픽셀 정보와 상기 오브젝트 영역 간의 거리 정보에 기초하여 산출된 상기 매칭 스코어와 기설정된 제2 임계 스코어를 비교하여 상기 매칭 스코어가 상기 제2 임계 스코어보다 작으면, 상기 오브젝트 영역과 매칭되도록 상기 매칭 후보 파티클 이미지로 결정된 상기 제2 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나를 조정하는 단계;를 포함하며,
상기 제2 임계 스코어는,
상기 제1 임계 스코어보다 높은 값인 것을 특징으로 하는 영상 분석 방법.
The method of claim 5, wherein adjusting the second particle image to match the object area,
Acquiring the object region from the pyramid image of the first level corresponding to the size of the image image by using at least one of image information, angle information, and scale information of the cut-out region of interest;
Generating a plurality of particle images having different angles based on at least one of image information, angle information, and scale information of the obtained object area;
Determining a similarity between the plurality of particle images and the object area using the template matching algorithm;
The second particle image having the highest similarity among the plurality of particle images is determined as a matching candidate particle image using an Iterative Closest Point (ICP) matching algorithm, and pixel information of the second particle image determined as the matching candidate particle image Obtaining distance information between the and the object area, and calculating a matching score based on the obtained distance information; And
The matching score calculated based on the distance information between the pixel information of the second particle image and the object region is compared with a preset second threshold score, and if the match score is less than the second threshold score, the object region and Including; adjusting at least one of the position, angle, and scale of the second particle image determined as the matching candidate particle image to be matched; and
The second critical score,
The image analysis method, characterized in that the value higher than the first threshold score.
상기 매칭 후보 파티클 이미지로 결정된 상기 제2 파티클 이미지와 관련하여 조정된 적응 파티클 이미지와 상기 오브젝트 영역간 매칭 스코어를 산출하며,
상기 제2 파티클 이미지와 관련하여 조정된 상기 적응 파티클 이미지와 상기 오브젝트 영역 간의 매칭 스코어가 상기 제2 임계 스코어 보다 크면, 상기 적응 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 상기 오브젝트 영역의 정보로 판단하는 단계;
를 더 포함하는 것을 특징으로 하는 영상 분석 방법.
The method of claim 7, wherein calculating the matching score comprises:
Calculating a matching score between the adaptive particle image and the object region adjusted in relation to the second particle image determined as the matching candidate particle image,
If the matching score between the adaptive particle image adjusted in relation to the second particle image and the object region is greater than the second threshold score, image information, angle information, and scale information of the adaptive particle image are converted into information of the object region. Judging;
Image analysis method further comprising a.
상기 오브젝트 영역에 대한 블러 노이즈를 제거하는 단계; 및
상기 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 오브젝트 영역 내 포함된 오브젝트에 대한 에지 정보를 획득하는 단계;를 더 포함하며,
상기 제1 레벨의 피라미드 이미지로부터 획득된 상기 오브젝트 영역은,
상기 오브젝트 영역 내 포함된 상기 오브젝트에 대한 에지 정보에 기초하여 생성된 에지 이미지를 포함하는 것을 특징으로 하는 영상 분석 방법.
The method of claim 7,
Removing blur noise on the object area; And
The step of obtaining edge information on an object included in the object area using the Canny Edge Detection algorithm; further comprising,
The object area obtained from the pyramid image of the first level,
And an edge image generated based on edge information on the object included in the object area.
상기 오브젝트를 인식하는 단계는,
상기 제2 파티클 이미지와 관련하여 조정된 상기 적응 파티클 이미지에 포함된 학습 이미지의 좌표값과 상기 오브젝트 영역에 포함된 상기 오브젝트의 좌표값 간의 차이를 분석하여 상기 오브젝트를 인식하는 것을 특징으로 하는 영상 분석 방법.
The method of claim 8,
Recognizing the object,
An image analysis, characterized in that the object is recognized by analyzing a difference between the coordinate value of the training image included in the adaptive particle image adjusted in relation to the second particle image and the coordinate value of the object included in the object area Way.
영상 이미지로부터 적어도 하나의 피라미드 이미지를 생성하는 피라미드 이미지 처리부;
상기 적어도 하나의 피라미드 이미지 중 최소 사이즈를 갖는 피라미드 이미지의 에지 정보에 기초하여 상기 영상 이미지에 포함된 오브젝트와 관련된 관심 영역을 검출하는 전처리부;
상기 관심 영역의 위치 정보 및 사이즈 정보를 포함하는 이미지 정보에 기초하여 상기 오브젝트와 관련하여 학습된 학습 이미지를 포함하는 적어도 하나의 파티클 이미지를 생성하고, 상기 적어도 하나의 파티클 이미지 중 상기 관심 영역과 유사한 제1 파티클 이미지와 상기 관심 영역 간의 거리 정보에 기초하여 상기 제1 파티클 이미지를 상기 관심 영역과 매칭되도록 조정하는 제1 파티클 이미지 처리부;
상기 영상 이미지와 대응되는 사이즈의 피라미드 이미지로부터 상기 관심 영역과 관련된 오브젝트 영역을 획득하고, 상기 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나에 기초하여 생성된 적어도 하나의 파티클 이미지 중 상기 오브젝트 영역과 유사한 제2 파티클 이미지와 상기 오브젝트 영역 간의 거리 정보에 기초하여 상기 제2 파티클 이미지를 상기 오브젝트 영역과 매칭되도록 조정하는 제2 파티클 이미지 처리부; 및
상기 제2 파티클 이미지 처리부에서 조정된 제2 파티클 이미지와 상기 오브젝트 영역 간의 매칭 결과에 기초하여 상기 오브젝트를 인식하는 오브젝트 인식부;
를 포함하는 영상 분석 장치.
In the image analysis device,
A pyramid image processing unit generating at least one pyramid image from the image image;
A preprocessor configured to detect a region of interest related to an object included in the image image based on edge information of a pyramid image having a minimum size among the at least one pyramid image;
Generates at least one particle image including a training image learned in relation to the object based on image information including location information and size information of the ROI, and is similar to the ROI among the at least one particle image. A first particle image processing unit configured to adjust the first particle image to match the region of interest based on distance information between the first particle image and the region of interest;
The object from among at least one particle image generated based on at least one of image information, angle information, and scale information of the object area by acquiring an object area related to the ROI from a pyramid image having a size corresponding to the image image A second particle image processor configured to adjust the second particle image to match the object area based on distance information between a second particle image similar to an area and the object area; And
An object recognition unit that recognizes the object based on a result of matching between the second particle image adjusted by the second particle image processing unit and the object area;
Image analysis device comprising a.
상기 피라미드 이미지 처리부는,
상기 영상 이미지를 HSV(hue saturation value) 이미지로 변환하고, 상기 HSV 이미지의 명도(V) 값을 이용하여 그레이 이미지로 변환하는 이미지 변환부; 및
상기 그레이 이미지로부터 상기 영상 이미지와 대응되는 사이즈를 갖는 제1 레벨의 피라미드 이미지를 생성하고, 상기 제1 레벨의 피라미드 이미지보다 1/2 해상도를 갖는 제2 레벨의 피라미드 이미지를 생성하는 피라미드 이미지 생성부;
를 포함하는 것을 특징으로 하는 영상 분석 장치.
The method of claim 11,
The pyramid image processing unit,
An image conversion unit converting the video image into a hue saturation value (HSV) image and converting the image into a gray image using a brightness (V) value of the HSV image; And
Pyramid image generator for generating a pyramid image of a first level having a size corresponding to the image image from the gray image, and generating a pyramid image of a second level having a 1/2 resolution than the pyramid image of the first level ;
An image analysis device comprising a.
상기 전처리부는,
상기 제2 레벨의 피라미드 이미지가 최소 사이즈를 갖는 이미지이면, 상기 제2 레벨의 피라미드 이미지에서 블러 노이즈를 제거하는 블러 처리부;
케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 제2 레벨의 피라미드 이미지에 포함된 적어도 하나의 오브젝트에 대한 에지 정보를 획득하는 에지 검출부;
상기 획득한 에지 정보에 기초하여 상기 적어도 하나의 오브젝트에 대한 에지 이미지가 생성되면, 형태 연산 알고리즘을 이용하여 상기 적어도 하나의 에지 이미지로부터 모폴로지 이미지를 생성하는 모폴리지 변환부; 및
상기 적어도 하나의 모폴로지 이미지 중 기설정된 사이즈 이상의 모폴로지 이미지를 포함하는 영역을 상기 관심 영역으로 검출하는 관심 영역 검출부;
를 포함하는 영상 분석 장치.
The method of claim 12,
The pretreatment unit,
A blur processing unit configured to remove blur noise from the second level pyramid image if the second level pyramid image has a minimum size;
An edge detection unit that obtains edge information on at least one object included in the second level pyramid image by using a Canny Edge Detection algorithm;
A morphology transform unit that generates a morphology image from the at least one edge image using a shape calculation algorithm when an edge image of the at least one object is generated based on the obtained edge information; And
A region of interest detector configured to detect a region including a morphology image of a predetermined size or more among the at least one morphology image as the region of interest;
Image analysis device comprising a.
상기 제1 파티클 이미지 처리부는,
상기 관심 영역의 이미지 정보에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성하는 파티클 이미지 생성부;
템플릿(Template) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지와 상기 관심 영역 간의 유사도를 판단하는 유사도 판단부;
ICP(Iterative Closest Point) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지 중 유사도가 가장 높은 상기 제1 파티클 이미지를 매칭 후보 파티클 이미지로 결정하고, 상기 매칭 후보 파티클 이미지로 결정된 상기 제1 파티클 이미지의 픽셀 정보와 상기 관심 영역의 픽셀 정보로부터 상기 매칭 후보 파티클 이미지와 상기 관심 영역 간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 매칭 스코어를 산출하는 스코어 산출부;
상기 매칭 스코어와 기설정된 제1 임계 스코어를 비교하여 상기 매칭 스코어가 상기 제1 임계 스코어보다 작으면, 상기 관심 영역과 매칭되도록 상기 매칭 후보 파티클 이미지로 결정된 상기 제1 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나를 조정하는 매칭 처리부;
를 포함하는 것을 특징으로 하는 영상 분석 장치.
The method of claim 13,
The first particle image processing unit,
A particle image generator configured to generate a plurality of particle images having different angles based on image information of the region of interest;
A similarity determination unit determining a similarity between the plurality of particle images and the ROI using a template matching algorithm;
The first particle image with the highest similarity among the plurality of particle images is determined as a matching candidate particle image using an Iterative Closest Point (ICP) matching algorithm, and pixel information of the first particle image determined as the matching candidate particle image And a score calculator for obtaining distance information between the matching candidate particle image and the ROI from pixel information of the ROI and calculating a matching score based on the acquired distance information;
When the matching score is smaller than the first critical score by comparing the matching score with a preset first critical score, the position, angle, and scale of the first particle image determined as the matching candidate particle image to match the region of interest A matching processor for adjusting at least one of the;
An image analysis device comprising a.
상기 스코어 산출부는,
상기 매칭 후보 파티클 이미지로 결정된 상기 제1 파티클 이미지와 관련하여 조정된 적응 파티클 이미지와 상기 관심 영역간 매칭 스코어를 산출하며,
상기 매칭 처리부는,
상기 적응 파티클 이미지와 상기 관심 영역 간의 매칭 스코어가 상기 제1 임계 스코어 보다 크면, 상기 적응 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 상기 관심 영역의 정보로 판단하는 것을 특징으로 하는 영상 분석 장치.
The method of claim 14,
The score calculation unit,
Calculating a matching score between the adaptive particle image adjusted in relation to the first particle image determined as the matching candidate particle image and the ROI,
The matching processing unit,
When a matching score between the adaptive particle image and the region of interest is greater than the first threshold score, image information, angle information, and scale information of the adaptive particle image are determined as information of the region of interest.
상기 제1 파티클 이미지 처리부는,
상기 관심 영역에 대한 블러 노이즈를 제거하는 블러 처리부; 및
상기 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 관심 영역 내 포함된 오브젝트에 대한 에지 정보를 획득하는 에지 검출부;를 더 포함하며,
상기 관심 영역은,
상기 제2 레벨의 피라미드 이미지에 포함된 적어도 하나의 오브젝트에 대한 에지 정보에 기초하여 생성된 에지 이미지를 포함하는 것을 특징으로 하는 영상 분석 장치.
The method of claim 14,
The first particle image processing unit,
A blur processing unit that removes blur noise for the region of interest; And
An edge detection unit that obtains edge information on an object included in the ROI using the Canny Edge Detection algorithm; further comprising,
The region of interest,
And an edge image generated based on edge information on at least one object included in the second level pyramid image.
상기 제2 파티클 이미지 처리부는,
기판단된 상기 관심 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나를 이용하여 상기 영상 이미지의 사이즈와 대응되는 상기 제1 레벨의 피라미드 이미지로부터 상기 오브젝트 영역을 획득하는 오브젝트 영역 검출부;
상기 획득한 오브젝트 영역의 이미지 정보, 각도 정보 및 스케일 정보 중 적어도 하나에 기초하여 상이한 각도를 가지는 복수의 파티클 이미지를 생성하는 파티클 이미지 생성부;
상기 템플릿(Template) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지와 상기 오브젝트 영역 간의 유사도를 판단하는 유사도 판단부;
ICP(Iterative Closest Point) 매칭 알고리즘을 이용하여 상기 복수의 파티클 이미지 중 유사도가 가장 높은 상기 제2 파티클 이미지를 매칭 후보 파티클 이미지로 결정하고, 상기 매칭 후보 파티클 이미지로 결정된 상기 제2 파티클 이미지의 픽셀 정보와 상기 오브젝트 영역 간의 거리 정보를 획득하고, 상기 획득한 거리 정보에 기초하여 매칭 스코어를 산출하는 스코어 산출부; 및
상기 제2 파티클 이미지의 픽셀 정보와 상기 오브젝트 영역 간의 거리 정보에 기초하여 산출된 상기 매칭 스코어와 기설정된 제2 임계 스코어를 비교하여 상기 매칭 스코어가 상기 제2 임계 스코어보다 작으면, 상기 오브젝트 영역과 매칭되도록 상기 매칭 후보 파티클 이미지로 결정된 상기 제2 파티클 이미지의 위치, 각도 및 스케일 중 적어도 하나를 조정하는 매칭 처리부;를 포함하며,
상기 제2 임계 스코어는,
상기 제1 임계 스코어보다 높은 값인 것을 특징으로 하는 영상 분석 장치.
The method of claim 15,
The second particle image processing unit,
An object region detector configured to acquire the object region from the pyramid image of the first level corresponding to the size of the image image by using at least one of image information, angle information, and scale information of the region of interest that has been cut;
A particle image generator configured to generate a plurality of particle images having different angles based on at least one of image information, angle information, and scale information of the acquired object area;
A similarity determination unit determining a similarity between the plurality of particle images and the object region using the template matching algorithm;
The second particle image having the highest similarity among the plurality of particle images is determined as a matching candidate particle image using an Iterative Closest Point (ICP) matching algorithm, and pixel information of the second particle image determined as the matching candidate particle image A score calculator for obtaining distance information between the and the object region and calculating a matching score based on the obtained distance information; And
The matching score calculated based on the distance information between the pixel information of the second particle image and the object region is compared with a preset second threshold score, and if the match score is less than the second threshold score, the object region and And a matching processor configured to adjust at least one of a position, angle, and scale of the second particle image determined as the matching candidate particle image to be matched, and
The second critical score,
The image analysis apparatus, characterized in that the value higher than the first threshold score.
상기 제2 파티클 이미지 처리부에 포함된 상기 스코어 산출부는,
상기 매칭 후보 파티클 이미지로 결정된 상기 제2 파티클 이미지와 관련하여 조정된 적응 파티클 이미지와 상기 오브젝트 영역간 매칭 스코어를 산출하며,
상기 제2 파티클 이미지 처리부에 포함된 매칭 처리부는,
상기 제2 파티클 이미지와 관련하여 조정된 상기 적응 파티클 이미지와 상기 오브젝트 영역 간의 매칭 스코어가 상기 제2 임계 스코어 보다 크면, 상기 적응 파티클 이미지의 이미지 정보, 각도 정보 및 스케일 정보를 상기 오브젝트 영역의 정보로 판단하는 것을 특징으로 하는 영상 분석 장치.
The method of claim 17,
The score calculation unit included in the second particle image processing unit,
Calculating a matching score between the adaptive particle image and the object region adjusted in relation to the second particle image determined as the matching candidate particle image,
A matching processing unit included in the second particle image processing unit,
If the matching score between the adaptive particle image adjusted in relation to the second particle image and the object region is greater than the second threshold score, image information, angle information, and scale information of the adaptive particle image are converted into information of the object region. Image analysis device, characterized in that to determine.
상기 제2 파티클 이미지 처리부는,
상기 오브젝트 영역에 대한 블러 노이즈를 제거하는 블러 처리부; 및
상기 케니 에지 디텍션(Canny Edge Detection) 알고리즘을 이용하여 상기 오브젝트 영역 내 포함된 오브젝트에 대한 에지 정보를 획득하는 에지 검출부;를 더 포함하며,
상기 제1 레벨의 피라미드 이미지로부터 획득된 상기 오브젝트 영역은,
상기 오브젝트 영역 내 포함된 상기 오브젝트에 대한 에지 정보에 기초하여 생성된 에지 이미지를 포함하는 것을 특징으로 하는 영상 분석 장치.
The method of claim 17,
The second particle image processing unit,
A blur processing unit that removes blur noise from the object area; And
An edge detection unit that obtains edge information on an object included in the object area by using the Canny Edge Detection algorithm; further comprising,
The object area obtained from the pyramid image of the first level,
And an edge image generated based on edge information on the object included in the object area.
상기 오브젝트 인식부는,
상기 제2 파티클 이미지와 관련하여 조정된 상기 적응 파티클 이미지에 포함된 학습 이미지의 좌표값과 상기 오브젝트 영역에 포함된 상기 오브젝트의 좌표값 간의 차이를 분석하여 상기 오브젝트를 인식하는 것을 특징으로 하는 영상 분석 장치.
The method of claim 18,
The object recognition unit,
An image analysis, characterized in that the object is recognized by analyzing a difference between the coordinate value of the training image included in the adaptive particle image adjusted in relation to the second particle image and the coordinate value of the object included in the object area Device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200113423A KR102215811B1 (en) | 2020-09-04 | 2020-09-04 | Method of analyzing image for improving object recognition speed using particle image and icp-algorithm based on pyramid image and Apparatus thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200113423A KR102215811B1 (en) | 2020-09-04 | 2020-09-04 | Method of analyzing image for improving object recognition speed using particle image and icp-algorithm based on pyramid image and Apparatus thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102215811B1 true KR102215811B1 (en) | 2021-02-16 |
Family
ID=74687088
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200113423A KR102215811B1 (en) | 2020-09-04 | 2020-09-04 | Method of analyzing image for improving object recognition speed using particle image and icp-algorithm based on pyramid image and Apparatus thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102215811B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409193A (en) * | 2023-12-14 | 2024-01-16 | 南京深业智能化系统工程有限公司 | Image recognition method, device and storage medium under smoke scene |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1785914A1 (en) * | 2005-11-14 | 2007-05-16 | Sony Corporation | Image processing for object detection |
| US20090028385A1 (en) * | 2007-07-27 | 2009-01-29 | Sportvision, Inc. | Detecting an object in an image using edge detection and morphological processing |
| KR20140028809A (en) * | 2012-08-30 | 2014-03-10 | 삼성테크윈 주식회사 | Adaptive image processing apparatus and method in image pyramid |
| KR20150111641A (en) * | 2014-03-26 | 2015-10-06 | 포항공과대학교 산학협력단 | Method for generating hierarchical structured pattern-based descriptor and method for recognizing object using the descriptor and device therefor |
| KR20160071781A (en) * | 2014-12-12 | 2016-06-22 | 삼성전자주식회사 | Method of detecting object in image and image processing device |
-
2020
- 2020-09-04 KR KR1020200113423A patent/KR102215811B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1785914A1 (en) * | 2005-11-14 | 2007-05-16 | Sony Corporation | Image processing for object detection |
| US20090028385A1 (en) * | 2007-07-27 | 2009-01-29 | Sportvision, Inc. | Detecting an object in an image using edge detection and morphological processing |
| KR20140028809A (en) * | 2012-08-30 | 2014-03-10 | 삼성테크윈 주식회사 | Adaptive image processing apparatus and method in image pyramid |
| KR20150111641A (en) * | 2014-03-26 | 2015-10-06 | 포항공과대학교 산학협력단 | Method for generating hierarchical structured pattern-based descriptor and method for recognizing object using the descriptor and device therefor |
| KR20160071781A (en) * | 2014-12-12 | 2016-06-22 | 삼성전자주식회사 | Method of detecting object in image and image processing device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117409193A (en) * | 2023-12-14 | 2024-01-16 | 南京深业智能化系统工程有限公司 | Image recognition method, device and storage medium under smoke scene |
| CN117409193B (en) * | 2023-12-14 | 2024-03-12 | 南京深业智能化系统工程有限公司 | Image recognition method, device and storage medium under smoke scene |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11068697B2 (en) | Methods and apparatus for video-based facial recognition, electronic devices, and storage media | |
| CN108875833B (en) | Neural network training method, face recognition method and device | |
| CN108229297B (en) | Face recognition method and device, electronic equipment and computer storage medium | |
| US9721387B2 (en) | Systems and methods for implementing augmented reality | |
| JP7230939B2 (en) | Information processing device, information processing method and information processing program | |
| US20210124928A1 (en) | Object tracking methods and apparatuses, electronic devices and storage media | |
| US11361587B2 (en) | Age recognition method, storage medium and electronic device | |
| US8090151B2 (en) | Face feature point detection apparatus and method of the same | |
| CN108229301B (en) | Eyelid line detection method and device and electronic equipment | |
| KR20190098858A (en) | Method and apparatus for pose-invariant face recognition based on deep learning | |
| WO2019100886A1 (en) | Method and apparatus for determining external frame of target object, medium, and device | |
| US11138464B2 (en) | Image processing device, image processing method, and image processing program | |
| KR20100098641A (en) | Invariant visual scene and object recognition | |
| JP6071002B2 (en) | Reliability acquisition device, reliability acquisition method, and reliability acquisition program | |
| CN108229494B (en) | Network training method, processing method, device, storage medium and electronic equipment | |
| US20190066311A1 (en) | Object tracking | |
| US10417487B2 (en) | Pattern recognition apparatus, pattern recognition method, and storage medium | |
| KR20220100810A (en) | Method and apparatus for detecting living face, electronic device and storage medium | |
| KR102215811B1 (en) | Method of analyzing image for improving object recognition speed using particle image and icp-algorithm based on pyramid image and Apparatus thereof | |
| JP2007025902A (en) | Image processor and image processing method | |
| US10304258B2 (en) | Human feedback in 3D model fitting | |
| US10013602B2 (en) | Feature vector extraction device based on cell positioning | |
| JP2007026308A (en) | Image processing method and image processor | |
| CN110197100B (en) | Object positioning method and device | |
| CN110598647A (en) | Head posture recognition method based on image recognition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |