KR20160041250A - Apparatus for Recognizing Object in Video by Using User Interaction - Google Patents
Apparatus for Recognizing Object in Video by Using User Interaction Download PDFInfo
- Publication number
- KR20160041250A KR20160041250A KR1020140134832A KR20140134832A KR20160041250A KR 20160041250 A KR20160041250 A KR 20160041250A KR 1020140134832 A KR1020140134832 A KR 1020140134832A KR 20140134832 A KR20140134832 A KR 20140134832A KR 20160041250 A KR20160041250 A KR 20160041250A
- Authority
- KR
- South Korea
- Prior art keywords
- recognition
- unit
- user
- input unit
- information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
Description
본 실시예는 대화형 객체 인식 장치에 관한 것이다.The present embodiment relates to an interactive object recognition apparatus.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the present embodiment and do not constitute the prior art.
객체 인식 기술은 특정 객체의 계수 또는 동선 추적 등에 널리 활용되는 기술이다. 객체를 인식하는 전통적인 방법은 사람이 직접 눈으로 확인하고 인식하는 것이다. 객체 인식 알고리즘의 한계로 인하여 컴퓨터로는 완벽한 객체 인식이 어려우므로 인식할 객체의 수가 적은 경우에는 사람이 직접 객체를 인식하는 것이 바람직하다.Object recognition technology is widely used for counting or tracking a specific object. The traditional way of recognizing an object is to recognize and recognize it with the naked eye. Because of limitation of object recognition algorithm, it is difficult for computer to recognize perfect object. Therefore, it is desirable for human to directly recognize object when there are few objects to be recognized.
사람이 직접 객체를 인식하게 되면 인식할 객체의 수가 늘어날수록 집중력이 떨어져서 정확도가 낮아지는 단점이 있다. 예컨대 장시간 객체를 인식하고 추적하여야 하거나 수백개에서 수천개에 이르는 객체를 한번에 인식할 필요가 있는 경우에는 사람이 직접 객체를 인식하기보다 컴퓨터를 이용하여 객체를 인식하는 것이 바람직하다. When a person directly recognizes an object, the concentration of the object increases as the number of objects to be recognized increases. For example, when it is necessary to recognize and track an object for a long time or to recognize several hundreds to thousands of objects at a time, it is preferable that a person recognizes the object by using a computer rather than directly recognizing the object.
컴퓨터는 카메라로부터 취득한 영상을 객체 인식 알고리즘으로 분석하여 객체를 인식한다. 그러나 컴퓨터의 객체 인식 알고리즘에만 의존하게 되면 인식하고자 하는 객체의 특성을 완전히 반영하지 못함으로 인해 객체를 올바로 인식하지 못하는 문제가 생길 수 있다.The computer recognizes the object by analyzing the image acquired from the camera with the object recognition algorithm. However, if it depends only on the object recognition algorithm of the computer, the object may not be correctly recognized because it does not fully reflect the characteristics of the object to be recognized.
본 실시예는 컴퓨터를 이용한 객체 인식에 있어서, 사용자대화(User Interaction)를 이용하여 주위 환경의 변화 또는 객체의 움직임에 의해 발생하는 객체 인식의 오차를 실시간으로 수정할 수 있는 대화형 객체 인식 장치를 제공하는 데 그 목적이 있다.The present embodiment provides an interactive object recognizing device that can correct errors of object recognition caused by a change of the surrounding environment or an object motion using a user interaction in a computer-based object recognition The purpose is to do.
본 실시예의 일 측면에 의하면, 영상을 분석하여 객체를 인식하는 장치에 있어서, 연속된 영상 프레임을 입력받는 영상 입력부; 사용자로부터 인식 대상 객체의 정보를 입력받는 정보 입력부; 및 상기 정보 입력부에 입력된 인식 대상 객체의 정보를 이용하여 상기 인식 대상 객체의 특징을 분석한 후 객체 인식 알고리즘에 반영함으로써 영상 프레임 내에 있는 상기 인식 대상 객체를 인식하는 객체 인식부를 포함하는 것을 특징으로 하는 객체 인식 장치를 제공한다.According to an aspect of the present invention, there is provided an apparatus for analyzing an image to recognize an object, the apparatus comprising: a video input unit receiving a continuous video frame; An information input unit for receiving information of a recognition target object from a user; And an object recognition unit for recognizing the recognition target object in the image frame by analyzing the characteristic of the recognition target object using the information of the recognition target object inputted to the information input unit and reflecting the characteristic of the recognition target object to the object recognition algorithm. The object recognition apparatus comprising:
본 실시예에 의하면 컴퓨터를 이용한 객체 인식에 있어서, 사용자대화(User Interaction)를 이용하여 주위 환경의 변화 또는 객체의 움직임에 의해 발생하는 객체 인식의 오차를 실시간으로 수정함으로써 정확한 객체 인식이 가능해진다.According to the present embodiment, in the object recognition using a computer, accurate object recognition becomes possible by correcting the error of object recognition caused by a change of the surrounding environment or the movement of the object in real time by using user interaction.
도 1은 본 실시예에 따른 대화형 객체 인식 장치의 구조를 나타낸 블록도이다.
도 2는 여행객이 여행용 캐리어를 들고 이동하는 장면을 촬영한 탑 뷰 영상에서, 본 실시예에 의한 사용자대화를 수행하는 과정을 예시한 도면이다.
도 3은 본 실시예에 따른 대화형 객체 인식 장치의 훈련모드를 간략하게 예시한 순서도이다.
도 4는 본 실시예에 따른 대화형 객체 인식 장치의 인식모드를 간략하게 예시한 순서도이다. 1 is a block diagram illustrating a structure of an interactive object recognition apparatus according to an embodiment of the present invention.
2 is a view illustrating a process of performing a user conversation according to the present embodiment in a top view image of a scene in which a traveler moves with carrying a travel carrier.
3 is a flowchart briefly illustrating a training mode of the interactive object recognition apparatus according to the present embodiment.
4 is a flowchart briefly illustrating a recognition mode of the interactive object recognition apparatus according to the present embodiment.
이하 본 발명의 일부 실시예를 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 실시예를 설명함에 있어서 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 실시예의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that, in the drawings, like reference numerals are used to denote like elements in the drawings, even if they are shown in different drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present disclosure rather unclear.
본 실시예의 구성요소를 설명하는 데 있어서 제1, 제2, ?), ?), a), b) 등의 부호를 사용할 수 있다. 이러한 부호는 그 구성요소를 다른 구성요소와 구별하기 위한 것일 뿐, 그 부호에 의해 해당 구성요소의 본질 또는 차례 또는 순서 등이 한정되지 않는다. 또한 명세서에서 어떤 부분이 어떤 구성요소를 '포함' 또는 '구비'한다고 할 때, 이는 명시적으로 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한 명세서에 기재된 '~부', '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 '하드웨어' 또는 '소프트웨어' 또는 '하드웨어 및 소프트웨어의 결합'으로 구현될 수 있다.In describing the constituent elements of this embodiment, first, second,?),?), A), b) and the like can be used. Such a code is intended to distinguish the constituent element from other constituent elements, and the nature of the constituent element, the order or the order of the constituent element is not limited by the code. It is also to be understood that when an element is referred to as being "comprising" or "comprising", it should be understood that it does not exclude other elements unless explicitly stated to the contrary, do. Also, the terms 'module', 'module' and the like described in the specification mean a unit for processing at least one function or operation, which can be implemented as 'hardware' or 'software' or 'combination of hardware and software' have.
영상에서 객체를 인식하는 방법은 영상에서 배경을 제거하여 객체를 분리해낸 후, 인식하고자 하는 객체의 특정한 특징 또는 형태가 검출되면 해당 객체를 인식하는 원리를 이용하게 된다.A method of recognizing an object in an image is to separate the object by removing the background from the image and use the principle of recognizing the object when a specific feature or form of the object to be recognized is detected.
한국 특허공개공보 제2003-0018487호는 촬영된 영상을 메모리에 저장되어 있는 레퍼런스 영상과 비교함으로써 객체의 출현을 감지하고 추적하는 발명을 개시하고 있다. 해당 발명은 연속된 영상 프레임에서 현재 영상과 메모리에 저장되어 있는 이전 영상을 서로 비교함으로써 객체의 출입여부 및 객체의 움직임을 추적한다.Korean Patent Laid-Open Publication No. 2003-0018487 discloses an invention for detecting and tracking the appearance of an object by comparing the captured image with a reference image stored in a memory. The present invention keeps track of whether or not the object is in the moving object by comparing the current image and the previous image stored in the memory in the continuous image frame.
한국 특허등록공보 제10-0885418호는 인식하고자 하는 객체의 형태가 가지는 특징을 이용하여 객체를 인식하는 발명을 개시하고 있다. 해당 발명은 방문자 계수에 있어서, 객체의 에지(Edge)를 검출한 후, 에지가 사람의 머리의 형태와 유사한 타원형이면 해당 객체를 사람으로 인식하고 계수를 진행한다. 다만, 해당 발명은 객체의 다양한 외형에서 비롯되는 비선형성에 대응하기 어렵다는 문제가 있다. 예컨대 사람이 아닌 타원형의 객체를 사람으로 인식한다거나, 특이한 형태의 모자를 착용하고 있는 사람을 사람으로 인식하지 못하는 등의 문제가 발생할 수 있다.Korean Patent Registration No. 10-0885418 discloses an invention for recognizing an object using a feature of a shape of an object to be recognized. The present invention detects an edge of an object in a visitor coefficient, and if the edge is an elliptical shape similar to the shape of a human head, the object is recognized as a person and the count proceeds. However, the present invention has a problem that it is difficult to cope with the non-linearity resulting from various external shapes of the object. For example, problems may arise such as recognizing an oval-shaped object, not a person, as a person, or failing to recognize a person wearing a unique hat as a person.
한국 특허등록공보 제10-1064927호는 인식하고자 하는 객체의 색깔이 가진 특징을 이용하여 객체를 인식하는 발명을 개시하고 있다. 해당 발명은 영상 프레임에서 배경을 제거한 후, 유사한 색상값을 가지는 픽셀에 대해 하나의 색상값을 부여함으로써 객체의 색상정보를 줄이는 단계(슈퍼 픽셀 처리 단계), 슈퍼 픽셀 처리를 거친 영상에서 객체의 중심의 밝기와 유사한 밝기 범위에 있는 픽셀들만 남기고 비유사 범위의 픽셀들을 제거하는 단계(1차 필터링 단계), 일정 크기 이하인 객체를 노이즈(Noise)로 간주하여 제거하는 단계(2차 필터링 단계)를 거쳐 객체를 인식한다. 해당 발명은 촬영 장소의 밝기 변화, 물체의 반사광, 조명 등에 의해 객체 인식의 오류가 발생할 수 있다.Korean Patent Registration No. 10-1064927 discloses an invention for recognizing an object using a characteristic of a color of an object to be recognized. The present invention relates to a method of reducing color information of an object by removing a background from an image frame and giving a single color value to pixels having similar color values (a super pixel processing step) (Primary filtering step) of removing pixels in a non-similar range leaving only pixels in a brightness range similar to the brightness of the original image, and removing an object having a size smaller than the predetermined size as noise (second filtering step) Recognize objects. The present invention may cause an error in object recognition due to a change in brightness of a photographing place, reflected light of an object, illumination, and the like.
컴퓨터의 객체 인식 알고리즘은 인간의 판단과정에 비할 바가 아니어서 발생가능한 모든 경우의 수를 고려하지 못한다. 특히 카메라와 객체와의 상대적 위치에 따라 객체의 크기가 달라지기도 하고, 시야각이 넓은 렌즈를 사용함으로써 영상이 왜곡되기도 한다. 컴퓨터에 의한 알고리즘만으로는 객체 인식 중에 나타나는 예외적인 상황을 객체 인식에 반영하기 어려우며, 이러한 경우에 있어서 인간의 판단과정의 도움을 받을 필요가 있다.The object recognition algorithm of the computer is not comparable to the human judgment process and thus does not take into account all possible cases. In particular, the size of an object varies depending on the relative position of the camera and the object, and the image is distorted by using a lens having a wide viewing angle. It is difficult to reflect the exceptional situations that appear during object recognition with object recognition by computer alone, and it is necessary to help human judgment process in this case.
기존 특허나 상용제품은 카메라를 설치하기 전에 미리 카메라의 높이, 카메라의 각도, 객체 인식을 할 위치, 인식할 객체의 특징, 객체 인식 알고리즘의 민감도 등을 설정한다. 이하, 객체 인식을 위해 필요한 정보를 '인식 대상 객체의 정보'라고 하고, 복수의 인식 대상 객체의 정보가 저장된 데이터를 '기준데이터'라고 한다.Prior to installing the camera, the existing patent or commercial product sets the height of the camera, the angle of the camera, the position to recognize the object, the characteristics of the object to be recognized, and the sensitivity of the object recognition algorithm. Hereinafter, information necessary for object recognition is referred to as 'information of the object to be recognized', and data in which information of a plurality of objects to be recognized are stored is referred to as 'reference data'.
기존 특허나 상용제품은 카메라를 설치하기 전에 미리 설정된 기준데이터를 이용하여 객체를 인식한다. 즉, 기존의 객체 인식 알고리즘에서는 카메라 설치 전에 인식하고자 하는 객체의 기준데이터가 설정된다. 인식하고자 하는 객체의 기준데이터가 카메라 설치 전에 미리 설정됨으로 인해, 사용자가 영상을 보고 직접 객체 인식의 오류를 수정할 수 없다. 영상에서 나타난 객체의 특징을 객체 인식에 반영할 수 없음으로 인해 사용자가 인식하고자 하는 객체를 정확히 인식하지 못할 수가 있다.Conventional patents or commercial products recognize objects using preset reference data before installing the camera. That is, in the conventional object recognition algorithm, the reference data of the object to be recognized before the camera is installed is set. Since the reference data of the object to be recognized is set in advance before the camera is installed, the user can not see the image and directly correct the object recognition error. It is not possible to accurately recognize the object to be recognized by the user because the feature of the object displayed in the image can not be reflected in the object recognition.
본 실시예에 따른 사용자대화를 이용한 객체 인식 장치(이하, '대화형 객체 인식 장치'라고 한다) 또는 사용자대화를 이용한 객체 인식 방법(이하, '대화형 객체 인식 방법'이라고 한다)은 영상을 분석하여 객체를 인식함에 있어서, 영상분석 중에 사용자가 기준데이터를 입력, 수정 또는 삭제(이하, '기준데이터 업데이트'라고 한다)할 수 있는 기능을 포함한다. (Hereinafter, referred to as an 'interactive object recognition apparatus') using a user dialog or a user recognition method using a user dialog (hereinafter, referred to as 'interactive object recognition method' (Hereinafter, referred to as "reference data update") by the user during image analysis in recognizing the object.
사용자대화(User Interaction)란 컴퓨터와 사용자 사이에 서로 대화 형식으로 데이터를 주고받거나 통신하는 방식을 의미하는데, 대화형 객체 인식 장치에 의하면 사용자가 직접 영상을 보고 인식하고자 하는 사람 또는 물체(이하, '인식 대상 객체'라고 한다)에 대한 기준데이터를 업데이트할 수 있음으로 인해 객체 인식 알고리즘을 최적화시킬 수 있을 뿐만 아니라, 실 영상에 근거한 정확한 객체 인식이 가능해진다. 기준데이터의 업데이트는 사용자대화를 통해 이루어지며, 컴퓨터에 의한 알고리즘에 인간의 판단과정을 더함으로써 객체 인식의 정확도가 높아지게 된다.According to the interactive object recognition apparatus, a user or an object (hereinafter, referred to as a " user " Since it is possible to update the reference data for the object recognition object, the object recognition algorithm can be optimized and accurate object recognition based on the real image becomes possible. The updating of the reference data is performed through a user dialog, and the accuracy of object recognition is improved by adding a human judgment process to the algorithm by the computer.
도 1은 본 실시예에 따른 대화형 객체 인식 장치의 구조를 나타낸 블록도이다.1 is a block diagram illustrating a structure of an interactive object recognition apparatus according to an embodiment of the present invention.
본 실시예에 따른 대화형 객체 인식 장치는 연속된 영상 프레임을 입력받는 영상 입력부(110), 사용자대화를 이용하여 인식 대상 객체의 정보를 입력받는 정보 입력부(120), 인식 대상 객체의 정보를 이용하여 영상 프레임 내에 있는 인식 대상 객체를 인식하는 객체 인식부(130) 및 객체 인식 결과를 표시하는 표시부(140)을 포함한다.The interactive object recognizing apparatus according to the present embodiment includes an
영상 입력부(110)에서 취득하는 영상은 탑 뷰(Top View) 영상인 것이 바람직하다. 탑 뷰 영상이 아닌 경우 영상 내에서 객체가 겹쳐서 표현되어 정확한 객체 인식이 어렵기 때문이다. The image acquired by the
정보 입력부(120)는 제1 입력부(121) 및 제2 입력부(122)를 포함한다.The
제1 입력부는 사용자로부터 객체를 포함하는 특정 영역을 입력받는다. 사용자는 마우스, 키보드, 스타일러스펜, 터치스크린 등의 입력도구를 이용하여 영상 프레임 내에서 객체를 포함하는 특정 영역을 선택할 수 있다.The first input unit receives a specific area including an object from a user. A user can select a specific area including an object in an image frame using an input tool such as a mouse, a keyboard, a stylus pen, or a touch screen.
제2 입력부는 사용자로부터 인식 대상 객체에 대한 정보를 입력받는다. 사용자는 마우스, 키보드, 스타일러스펜, 터치스크린 등의 입력도구를 이용하여 인식하고자 하는 객체에 대한 정보를 입력할 수 있다.The second input unit receives information about the object to be recognized from the user. The user can input information about an object to be recognized by using an input tool such as a mouse, a keyboard, a stylus pen, or a touch screen.
정보 입력부(120)는 제3 입력부(123)를 더 포함할 수 있다. 제3 입력부는 사용자로부터 인식 대상 객체의 계수값을 입력받는다. 사용자는 마우스, 키보드, 스타일러스펜, 터치스크린 등의 입력도구를 이용하여 인식하고자 하는 객체의 계수값을 입력할 수 있다.The
객체 인식부(130)는 정보 입력부(131)에 입력된 인식 대상 객체의 정보를 이용하여 인식 대상 객체의 특징을 분석한 후, 분석된 인식 대상 객체의 특징을 객체 인식 알고리즘에 반영함으로써 영상 프레임에서 인식하고자 하는 객체를 인식한다. The object recognition unit 130 analyzes the characteristics of the object to be recognized using the information of the object to be recognized and inputs the characteristics of the object to be analyzed into the object recognition algorithm, Recognizes the object to be recognized.
객체 인식부(130)는 연산부(131) 및 오차 수정부(132)를 포함한다. The object recognition unit 130 includes an
연산부(131)는 배경 제거부(131a), 객체 탐색부(131b) 및 객체 추적부(131c)를 포함한다.The
배경 제거부(131a)는 영상 입력부(110)으로부터 입력받은 연속된 영상 프레임에서 프레임 차이(Frame Difference)를 찾아내어 지속적인 변화가 없는 부분을 배경으로 간주하여 제거한다.The
객체 탐색부(131b)는 배경이 제거된 영상 프레임에서 인식 대상 객체를 탐색한다. 객체 탐색부(131b)는 인식 대상 객체의 모양, 색깔 및 유형 중 어느 하나에 의해 정해지는 정보를 이용하여 인식 대상 객체를 탐색하는 1차 탐색부(미도시) 및 인식 대상 객체의 크기를 이용하여 인식 대상 객체를 탐색하는 2차 탐색부(미도시)를 포함할 수 있다.The object searching unit 131b searches the object to be recognized in the image frame from which the background is removed. The object search unit 131b searches for a target object by using a first search unit (not shown) and a size of a target object by using information determined by the shape, color, and type of the target object, And a secondary search unit (not shown) for searching the recognition target object.
객체 추적부(131c)는 인식 대상 객체의 이동을 추적한다.The
오차 수정부(132)는 사용자가 제3 입력부(122)에 입력한 계수값과, 인식 대상 객체의 정보 및 객체 인식 알고리즘을 이용하여 계수된 계수값을 비교하여, 두 값이 일치하도록 인식 대상 객체의 정보의 오차를 수정한다.The
표시부(140)는 객체 인식의 결과를 CCTV, 컴퓨터 모니터, 스마트폰 화면 등의 디스플레이에 표시한다.The
도 2는 여행객(220)이 여행용 캐리어(230)를 들고 이동하는 장면을 촬영한 탑 뷰 영상에서, 본 실시예에 의한 사용자대화를 수행하는 과정을 예시한 도면이다.2 is a diagram illustrating a process of performing a user conversation according to the present embodiment in a top view image of a scene in which a
대화형 객체 인식 장치는 카메라에 의해 촬영된 연속된 영상 프레임에서 지속적인 변화가 없는 부분을 배경으로 간주하여 제거한다. 도 2는 배경제거 결과 사람(220) 및 여행용 캐리어(230)만이 객체로 추출되었음을 나타내고 있다.The interactive object recognition apparatus removes a portion of a continuous image frame photographed by a camera, which does not have a continuous change, as a background. 2 shows that only the
도 2에서 사용자는 사람(220)을 나타내는 영역을 원(221)으로 지정함으로써 사람(220)에 대한 기준데이터를 업데이트하였다. 또한 도 2에서 사용자는 여행용 캐리어(230)를 나타내는 영역을 사각형(231)으로 지정함으로써 여행용 캐리어(230)에 대한 기준데이터를 업데이트하였다. In FIG. 2, the user has updated the reference data for the
대화형 객체 인식 장치에서 사용자는 기준선(210)을 설정할 수 있다. 기준선(210)은 사용자대화의 편의를 위해 사용될 수도 있고, 객체의 계수를 위한 카운팅 라인(Counting Line)으로 사용될 수도 있다. In the interactive object recognition apparatus, the user can set the
기준선(210)이 사용자대화의 편의를 위해 사용되는 경우, 객체가 기준선(210)을 지나는 순간 영상이 정지되도록 함으로써, 사용자가 인식하고자 하는 객체의 영역 또는 정보를 용이하게 입력할 수 있다.When the
기준선(210)이 객체의 계수를 위해 사용되는 경우, 객체가 기준선(210)을 지날 때마다 계수하도록 할 수 있다. 기준선(210)을 설정하면 출입구로 들어간 방문자의 수, 출입구에서 나온 방문자의 수 등을 계수하기 편리하다.When the
대화형 객체 인식 장치는 훈련모드 및 인식모드를 포함한다.The interactive object recognition apparatus includes a training mode and a recognition mode.
도 3은 본 실시예에 따른 대화형 객체 인식 장치의 훈련모드를 간략하게 예시한 순서도이고, 도 4는 본 실시예에 따른 대화형 객체 인식 장치의 인식모드를 간략하게 예시한 순서도이다. FIG. 3 is a flowchart briefly illustrating a training mode of the interactive object recognition apparatus according to the present embodiment, and FIG. 4 is a flowchart illustrating a recognition mode of the interactive object recognition apparatus according to the present embodiment.
훈련모드(Training Mode)는 컴퓨터의 객체 인식 중에 사용자가 사용자대화를 통해 기준데이터를 업데이트하고, 업데이트된 기준데이터를 이용하여 다시 객체 인식을 수행하는 모드이다. 인식모드(Recognizing Mode)는 컴퓨터가 기존에 저장된 기준데이터를 이용하여 객체 인식을 수행하는 모드이다.The training mode is a mode in which the user updates the reference data through user interaction during the object recognition of the computer and performs the object recognition again using the updated reference data. Recognizing Mode is a mode in which the computer performs object recognition using existing stored reference data.
훈련모드와 인식모드에 공통적인 사항으로서, 대화형 객체 인식 장치의 객체 인식은 다음과 같은 과정을 거쳐 이루어진다.As a matter common to the training mode and the recognition mode, the object recognition of the interactive object recognition device is performed through the following process.
대화형 객체 인식 장치는 카메라로부터 특정 공간의 영상을 실시간으로 입력받는다(S110, S210). 이 때 사용되는 카메라는 오버헤드 카메라(Overhead Camera)인 것이 바람직하고, 이 때 입력받는 영상은 탑 뷰(Top View) 영상인 것이 바람직하다. 오버헤드 카메라는 천정에 부착되어 지면을 향해 설치되어 있는 카메라로서, 객체 인식 장치에서 오버헤드 카메라가 바람직한 이유는 탑 뷰(Top View)에서 물체 간의 겹침 현상이 최소화되므로 객체의 인식 및 추적이 용이하기 때문이다.The interactive object recognition apparatus receives images of a specific space from a camera in real time (S110, S210). It is preferable that the camera used at this time is an overhead camera. In this case, the input image is preferably a top view image. The overhead camera is attached to the ceiling and is installed toward the ground. The reason why the overhead camera is preferable in the object recognition device is that it is easy to recognize and track the object because the overlapping of objects is minimized in the top view Because.
대화형 객체 인식 장치는 카메라에 의해 촬영된 연속된 영상 프레임에서 프레임 차이(Frame Difference)를 찾아내어 지속적인 변화가 없는 부분을 배경으로 간주하여 제거한다(S121, S221). 인식하고자 하는 객체는 한 자리에 고정되어 있지 않고 이동하는 경우가 대부분이므로, 연속된 영상 프레임에서 변화가 없는 부분은 인식하고자 하는 객체와 무관한 것으로 보고 판단에서 제외시킴으로써 인식 성능을 향상시킬 수 있다.The interactive object recognizing device finds a frame difference in successive image frames photographed by the camera, and removes the frame difference as a background (S121, S221). Since the object to be recognized is not fixed in one place but is mostly moved, the portion without change in the continuous image frame is considered to be irrelevant to the object to be recognized, and it is possible to improve the recognition performance by excluding it from the judgment.
대화형 객체 인식 장치는 배경을 제거한 영역에서 객체를 추출한 후(S122, S222) 추출한 객체의 특징을 분석한다(S123, S223). 영상 내에서 객체는 픽셀들이 뭉쳐진 형태로 표현되며, 픽셀들의 위치, 구조, 색깔 등을 분석함으로써 객체의 특징을 파악할 수 있게 된다.The interactive object recognizing apparatus extracts the object from the background-removed region (S122, S222), and analyzes the extracted feature of the object (S123, S223). In an image, an object is represented by a cluster of pixels, and the characteristics of the object can be grasped by analyzing the positions, structures, and colors of the pixels.
대화형 객체 인식 장치는 1차적으로 인식 대상 객체의 특징 정보를 이용하여 추출한 객체 중에서 인식 대상 객체로 추정되는 객체를 선별한다(S124, S224)(이하, '1차 분류'). 1차 분류 과정에서는 객체의 픽셀에서 유사한 색상을 단일한 색상으로 간주하여 처리속도를 높이는 방법, 객체의 픽셀에서 중심 픽셀의 밝기와 유사한 밝기의 픽셀만 남기는 방법, 객체의 에지(Edge)를 검출한 후 에지의 형태가 인식하고자 하는 대상의 특징적인 모양을 가지고 있는지 판단하는 방법 등을 사용한다. 예컨대 인식하고자 하는 대상이 사람인 경우, 탑 뷰 영상에서 사람의 머리 모양에 해당하는 타원형 모양만을 나누어 분류할 수 있다.The interactive object recognizing apparatus firstly selects an object estimated as a recognition target object among the extracted objects using the feature information of the recognition target object (S124, S224) (hereinafter referred to as 'primary classification'). In the first classification process, the processing speed is increased by considering similar colors in a pixel of an object as a single color, a method of leaving pixels having brightness similar to the brightness of the center pixel in the pixels of the object, And a method of determining whether the shape of the posterior edge has a characteristic shape of the object to be recognized. For example, if the object to be recognized is a person, only the elliptical shape corresponding to the human head shape can be divided and classified in the top view image.
대화형 객체 인식 장치는 1차 분류를 거친 객체를 크기를 기준으로 다시 분류한다(S125, S225)(이하, '2차 분류'). 2차 분류 과정에서는 특정 크기 이상의 물체를 제거할 수도 있고, 특정 크기 이하의 물체를 제거할 수도 있으며, 특정 범위 내의 물체만을 남겨놓을 수도 있다. 예컨대 인식하고자 하는 객체가 사람이고, 검은 타원형의 형태를 특징으로 1차 분류가 수행된 경우, 사람이 신고 있는 구두는 사람의 머리와 마찬가지로 검은 타원형의 형태를 하고 있으므로, 1차 분류를 거친 후에도 그대로 남아 있을 수 있다. 이 경우 구두는 사람의 머리 부분과 떨어져서 움직이므로, 머리, 왼쪽 구두 및 오른쪽 구두가 각자 사람으로 인식됨으로 인해, 한 명의 사람이 세 명의 사람으로 인식될 수 있다. 따라서 1차 분류를 거친 객체 중에서 일정 크기 이하인 객체를 제거하여야 정확한 객체 인식이 가능해진다.The interactive object recognition apparatus re-classifies objects that have undergone the primary classification on the basis of size (S125, S225) (hereinafter referred to as " secondary classification "). In the secondary classification process, objects larger than a specific size may be removed, objects smaller than a specific size may be removed, or only objects within a specific range may be left. For example, when the object to be recognized is a person and the first classification is performed, which is characterized by a black elliptical shape, the shoes that a person wears are in the form of a black oval like a human head, Can remain. In this case, since the shoes move away from the head of the person, the head, the left shoes and the right shoes are perceived as persons, so that one person can be recognized as three persons. Therefore, accurate object recognition becomes possible by removing objects that are smaller than a certain size among the objects classified through the first classification.
대화형 객체 인식 장치는 1차 분류 및 2차 분류를 거친 객체를 인식 대상 객체로 확정하고 ID를 부여한 후 객체 추적을 시작할 수 있다(S126, S226). 부여하는 ID에 사람, 차, 카트 등 인식 대상 객체의 유형에 대한 정보를 삽입할 수 있으며, 이를 통해 각 객체에 대한 개별적인 추적 또는 계수가 가능해진다.The interactive object recognition apparatus can identify the object subjected to the first classification and the second classification as the recognition target object, assign the ID, and then start the object tracking (S126, S226). It is possible to insert information about the type of the object to be recognized, such as a person, a car, a cart, etc., into the ID to be given, thereby enabling individual tracking or counting for each object.
대화형 객체 인식 장치를 이용하여 객체를 계수하고자 하는 경우, ID가 부여된 객체가 특정 공간 내에 몇 개 있는지 확인하는 방식으로 계수할 수도 있고, ID가 부여된 객체가 임의의 기준선을 지나가는 경우에 한해 계수할 수도 있다. 예컨대 출입구를 통과하는 방문자의 수를 계수하는 경우, 출입구를 나타내는 기준선을 설정하고 '사람' 유형의 ID를 가진 객체가 기준선을 지나갈 때마다 계수할 수 있다. 이 때 '사람' 유형의 ID를 가진 객체가 기준선을 지나가는 방향에 따라 방문자가 입장한 것인지 퇴장한 것인지를 알 수 있다. When an object is to be counted by using an interactive object recognition apparatus, it may be counted by checking how many objects are assigned in the specific space, or when an object to which an ID is assigned passes through an arbitrary baseline It may be counted. For example, when counting the number of visitors passing through the doorway, you can set a baseline indicating the doorway and count each time an object with an ID of type 'person' passes the baseline. At this time, it is possible to know whether an object having the ID of 'human' type enters or exits the visitor according to the direction of passing through the baseline.
도 3은 본 실시예에 따른 대화형 객체 인식 장치의 훈련모드를 간략하게 예시한 순서도이다.3 is a flowchart briefly illustrating a training mode of the interactive object recognition apparatus according to the present embodiment.
인식모드에서는 인식 대상 객체의 특징에 대한 기준데이터 업데이트 없이 저장되어 있는 데이터를 그대로 이용하나(S227), 훈련모드에서는 인식 대상 객체의 특징에 대한 기준데이터가 사용자대화를 통해 실시간으로 업데이트되어 사용자의 의도 및 판단이 객체 인식에 반영된다(S127). In the recognition mode, the data stored without updating the reference data of the characteristic of the recognition target object is used as is (S227). In the training mode, the reference data of the characteristic of the recognition target object is updated in real time through the user conversation, And judgment are reflected in object recognition (S127).
또한 인식모드에서는 인식 대상 객체의 크기에 대한 기준데이터 업데이트 없이 저장되어 있는 데이터를 그대로 이용하나(S228), 훈련모드에서는 인식 대상 객체의 크기에 대한 기준데이터가 사용자대화를 통해 실시간으로 업데이트되어 사용자의 의도 및 판단이 객체 인식에 반영된다(S128). In the recognition mode, the data stored without updating the reference data about the size of the recognition target object is used as it is (S228). In the training mode, the reference data about the size of the recognition target object is updated in real- Intention and judgment are reflected in object recognition (S128).
카메라와 인식 대상 객체 사이의 거리에 따라 인식 대상 객체의 크기가 달라질 수 있는데, 이러한 경우 기준데이터를 업데이트하지 않으면 객체 인식의 오류가 발생할 수 있다. 대화형 객체 인식 장치를 이용하면 카메라와 인식 대상 객체 사이의 거리의 변화에 따른 객체 인식의 오류를 방지할 수 있다. The size of the target object may be changed according to the distance between the camera and the target object. In such a case, if the target data is not updated, an object recognition error may occur. By using the interactive object recognition device, it is possible to prevent the object recognition error due to the change of the distance between the camera and the recognition object.
두 사람의 머리 크기가 동일하더라도 오버헤드 카메라에 의해 촬영된 영상에서는 키가 큰 사람의 머리 크기가 키가 작은 사람의 머리 크기보다 크게 나타난다. 또한 같은 사람이라도 서 있을 때와 의자에 앉아 있을 때와 바닥에 앉아 있을 때 오버헤드 카메라에 의해 촬영된 영상에서 나타나는 머리 크기는 모두 다르다. Even though the head size of the two people is the same, the head size of a person with a bigger key is larger than that of a person with a smaller key in an image shot by an overhead camera. Also, the head size of the same person is different from that of the image taken by the overhead camera when standing, sitting on the chair, and sitting on the floor.
대화형 객체 인식 장치를 이용하면 인식 대상 객체의 크기에 대한 기준데이터를 실시간으로 업데이트할 수 있음으로 인해 인식 대상 객체를 정확하게 인식할 수 있다는 장점이 있다. The use of the interactive object recognition apparatus can update the reference data about the size of the recognition target object in real time, and thus it is possible to accurately recognize the recognition target object.
예컨대 행사장에 온 참가자의 수를 계수하고자 할 때, 참가자들이 서 있으면 참가자들이 의자에 앉아 있는 경우에 비해 인식 대상 객체의 크기를 더 크게 설정하여야 한다. 반면 참가자들이 의자에 앉아 있으면 참가자들이 서 있는 경우에 비해 인식 대상 객체의 크기를 더 작게 설정하여야 한다.For example, when counting the number of participants who come to the event site, the size of the object to be recognized should be set to be larger than that when the participants are sitting on the chair. On the other hand, when the participants are sitting on the chair, the size of the object to be recognized should be set smaller than the case where the participants are standing.
행사장에 서 있는 사람, 의자에 앉아 있는 사람이 함께 있을 수도 있으며, 이 경우에는 인식 대상 객체의 크기 범위를 넓게 설정하거나 객체 인식 알고리즘의 민감도를 낮추어야 정확한 계수가 가능해진다. In this case, it is necessary to set the size range of the object to be recognized to be wide or to reduce the sensitivity of the object recognition algorithm to enable accurate counting.
기존의 객체 인식 알고리즘은 이러한 구체적인 상황을 모두 고려하지 못하므로 객체 인식에 오차가 발생할 수 있으나, 대화형 객체 인식 장치는 사용자대화를 통해 현장의 변수를 객체 인식에 반영함으로써 정확한 객체 인식이 이루어지도록 할 수 있다.The existing object recognition algorithm can not take into account all of these specific situations, so that it may cause errors in object recognition. However, the interactive object recognition device allows accurate object recognition by reflecting the variables on the field through user dialog .
대화형 객체 인식 장치는 훈련모드에서 사용자대화를 시작하기 전에 영상에서 배경을 제거하여 영상에서 객체를 추출해낸다(S122, S222). 사용자는 대화형 객체 인식 장치가 추출해낸 객체 중에서 인식 대상 객체의 영역을 지정한 후 해당 객체의 특징 정보를 입력한다.The interactive object recognition apparatus extracts the object from the image by removing the background from the image before starting the user dialog in the training mode (S122, S222). The user designates an area of the object to be recognized out of the objects extracted by the interactive object recognition apparatus, and then inputs the feature information of the object.
도 2의 210 및 도 3의 S131에 나타난 것과 같이, 사용자는 마우스, 키보드, 스타일러스펜, 터치스크린 등의 입력도구를 이용하여 영상 위 임의의 위치에 기준선(210)을 그릴 수 있다. 기준선(210)은 대화형 객체 인식 장치에서 사용자대화의 편의를 위해 사용되거나 계수의 기준선으로 사용된다. As shown in 210 of FIG. 2 and
기준선(210)이 사용자대화의 편의를 위해 사용되는 경우, 기준선(210)은 영상을 정지시키는 기능을 수행한다. 대화형 객체 인식 장치는 사용자의 정확한 입력을 보조하기 위하여 영상을 일시적으로 정지시키는 기능을 포함하는데, 이 때 사용자가 수동으로 영상을 정지시킬 수도 있지만, 대화형 객체 인식 장치가 추출해낸 객체가 사용자가 설정한 기준선을 지나가면 자동으로 영상이 정지되도록 할 수도 있다.When the
기준선(210)이 계수의 기준선으로 사용되는 경우, 객체가 기준선(210)을 지날 때마다 계수를 수행한다. 특히 기준선(210)에 입장 방향과 퇴장 방향을 정함으로써, 특정 객체가 들어온 것인지 나간 것인지를 판단할 수도 있다.When the
도 2의 221, 231 및 도 3의 S132에 나타난 것과 같이, 사용자는 실시간 영상화면 또는 정지된 영상화면에서 마우스, 키보드, 스타일러스펜, 터치스크린 등의 입력도구를 이용하여 인식 대상 객체의 유형, 위치, 크기 등의 특징을 입력함으로써 인식 대상 객체의 정보를 업데이트할 수 있다. As shown in 221 and 231 of FIG. 2 and S132 of FIG. 3, the user can input the type of the recognition target object, the position of the recognition target object, and the position of the recognition target object by using input tools such as a mouse, a keyboard, a stylus pen, , Size, and the like, thereby updating the information of the object to be recognized.
사용자는 마우스를 드래그(Drag)하여 인식 대상 객체를 둘러싸는 크기의 원, 사각형 등의 도형을 그림으로써 영상에 나타난 인식 대상 객체의 영역을 지정할 수 있다. 사용자는 인식 대상 객체를 둘러싸는 영역을 지정한 후, '사람', '카트', '자동차' 등의 텍스트를 입력함으로써 인식 대상 객체의 유형을 지정할 수 있다.The user can designate the area of the object to be recognized displayed on the image by dragging a mouse to draw a figure such as a circle or a rectangle sized to surround the object to be recognized. The user can designate the type of the object to be recognized by inputting text such as 'person', 'cart', 'car', etc. after designating an area surrounding the object to be recognized.
대화형 객체 인식 장치는 사용자가 입력한 유형에 따라, 사용자가 지정한 영역 내에 있는 객체의 크기, 색깔, 형태 등을 분석함으로써, 해당 유형과 관련된 기준데이터를 업데이트한다.The interactive object recognition apparatus updates the reference data related to the type by analyzing the size, color, shape, and the like of the object in the area designated by the user according to the type inputted by the user.
카메라의 위치, 카메라의 각도, 카메라의 해상도, 조명의 세기 등에 따라 영상에 나타나는 인식 대상 객체의 모양, 색깔 등의 특징이 달라질 수 있다. 대화형 객체 인식 장치를 이용하면, 이러한 주위 환경의 변화를 반영한 정확한 객체 인식이 가능해진다. 즉, 사용자대화를 통해 카메라의 위치, 카메라의 각도, 카메라의 해상도, 조명의 세기 등에 따라 달라지는 인식 대상 객체의 특징에 대한 기준데이터를 실시간으로 업데이트함으로써 인식 대상 객체에 대한 정확한 인식이 가능해진다.The characteristics of the object, such as the shape and color of the object to be recognized, may vary depending on the camera position, camera angle, camera resolution, and illumination intensity. By using the interactive object recognition apparatus, it becomes possible to accurately recognize the object reflecting the change of the surrounding environment. That is, the user can accurately recognize the recognition target object by updating the reference data about the recognition target object characteristic that varies according to the camera position, the camera angle, the camera resolution, the illumination intensity, and the like in real time.
도 3의 S125, S126에 나타난 것과 같이, 사용자대화를 통해 인식 대상 객체에 대한 기준데이터가 업데이트되면 대화형 객체 인식 장치는 업데이트된 기준데이터를 이용하여 다시 객체 인식을 수행한다.As shown in S125 and S126 of FIG. 3, when the reference data of the object to be recognized is updated through the user dialog, the interactive object recognition apparatus performs the object recognition again using the updated reference data.
도 3의 S129에 나타난 것과 같이, 대화형 객체 인식 장치는 객체 인식 알고리즘을 이용하여 구한 인식 대상 객체의 계수값과, 사용자가 직접 입력한 인식 대상 객체의 비교값을 비교하여, 기준데이터의 오차를 수정한다.As shown in S129 of FIG. 3, the interactive object recognizing device compares the count value of the recognition target object obtained using the object recognition algorithm with the comparison value of the recognition target object directly input by the user, Modify it.
예를 들어 대화형 객체 인식 장치가 5명의 '사람'과 5개의 '여행용 캐리어'가 출입구를 통과한 것으로 판단하였으나, 사용자가 확인한 바로는 7명의 '사람'과 3개의 '여행용 캐리어'가 출입구를 통과하였다면, 사용자는 대화형 객체 인식 장치에 7명의 '사람'과 3개의 '여행용 캐리어'를 입력할 수 있다. For example, if the interactive object recognition device determines that five persons and five travel carriers have passed through the doorway, the seven persons and three travel carriers identified by the user are the entrances Once passed, the user can enter seven 'people' and three 'travel carriers' into the interactive object recognition device.
사용자의 입력에 따르면 '사람'이 아닌 2개의 객체가 '사람'으로 잘못 인식된 것이므로, 대화형 계수장치는 '사람'에 대한 객체 인식 알고리즘의 민감도를 높이거나, '사람'의 크기에 대한 기준데이터를 수정하는 등의 방식으로 '사람'에 대한 기준데이터의 오차를 수정한다. According to the input of the user, since two objects other than 'person' are mistakenly recognized as 'person', the interactive counter may increase the sensitivity of the object recognition algorithm for 'person' Corrects the error of the reference data for 'person' by modifying the data or the like.
또한 사용자의 입력에 따르면 '여행용 캐리어'에 해당하는 2개의 객체가 '여행용 캐리어'로 인식되지 못한 것이므로, 대화형 계수장치는 '여행용 캐리어'에 대한 객체 인식 알고리즘의 민감도를 낮추거나 '여행용 캐리어'의 크기에 대한 기준데이터를 수정하는 등의 방식으로 '여행용 캐리어'에 대한 기준데이터의 오차를 수정한다.Also, according to the input of the user, since the two objects corresponding to the 'travel carrier' are not recognized as 'travel carrier', the interactive counter may reduce the sensitivity of the object recognition algorithm for 'travel carrier' And corrects the error of the reference data for the 'travel carrier' by modifying the reference data for the size of the 'travel carrier'.
인식 대상 객체에 대하여, 사용자가 직접 입력한 계수값과 사용자대화를 거쳐 수정된 기준데이터로 구한 계수값이 일치하면 훈련모드가 종료되게 할 수 있다. 다만 이 경우에도 사용자가 원하는 경우 훈련모드를 다시 시작할 수 있으며, 사용자가 종료 명령을 내릴 때까지 훈련모드가 계속 반복되도록 할 수도 있다.The training mode can be terminated when the coefficient value directly inputted by the user and the coefficient value obtained from the modified reference data by the user dialog are matched with respect to the recognition target object. In this case, however, the user may resume the training mode if desired, and the training mode may be repeated until the user issues a termination command.
도 4는 본 실시예에 따른 대화형 객체 인식 장치의 인식모드를 간략하게 예시한 순서도이다. 4 is a flowchart briefly illustrating a recognition mode of the interactive object recognition apparatus according to the present embodiment.
대화형 객체 인식 장치의 인식모드에서는 인식 대상 객체에 대한 기준데이터 업데이트 없이 기존에 저장된 기준데이터를 이용하여 객체 인식을 수행한다. 인식모드에서의 객체 인식 과정은 기준데이터의 업데이트가 없다는 점만 제외하면 훈련모드에서의 객체 인식 과정과 동일하다.In the recognition mode of the interactive object recognition apparatus, the object recognition is performed using the previously stored reference data without updating the reference data of the recognition object. The object recognition process in the recognition mode is the same as the object recognition process in the training mode except that there is no updating of the reference data.
본 실시예는 본 발명의 기술 사상을 예시적으로 설명한 것에 불과하고, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 본 실시예의 다양한 수정 및 변형이 가능할 것이다. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the invention as defined by the appended claims. It will be possible.
본 실시예는 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 따라서 본 실시예에 의하여 본 발명의 권리범위가 한정되는 것은 아니다. 본 발명의 보호범위는 청구범위에 의하여 해석되어야 하며, 그와 동등하거나 균등하다고 인정되는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 한다.The present invention is not intended to limit the scope of the present invention but to limit the scope of the present invention. The scope of protection of the present invention should be construed according to the claims, and all technical ideas considered to be equivalent or equivalent thereto should be construed as being included in the scope of the present invention.
110: 영상 입력부
120: 정보 입력부
121: 제1 입력부
122: 제2 입력부
123: 제3 입력부
130: 객체 인식부
131: 연산부
131a: 배경 제거부
131b: 객체 탐색부
131c: 객체 추적부
132: 오차 수정부
140: 표시부
210: 기준선
220: 사람
221: 사람에 대한 지정 영역
230: 여행용 캐리어
231: 여행용 캐리어에 대한 지정 영역110: image input unit 120: information input unit
121: first input unit 122: second input unit
123: third input unit 130: object recognition unit
131:
131b:
132: error correction unit 140: display unit
210: Baseline 220: Person
221: Designation area for a person 230: Travel carrier
231: Designated area for travel carrier
Claims (7)
연속된 영상 프레임을 입력받는 영상 입력부;
사용자로부터 인식 대상 객체의 정보를 입력받는 정보 입력부; 및
상기 정보 입력부에 입력된 인식 대상 객체의 정보를 이용하여 상기 인식 대상 객체의 특징을 분석한 후 객체 인식 알고리즘에 반영함으로써 영상 프레임 내에 있는 상기 인식 대상 객체를 인식하는 객체 인식부
를 포함하는 것을 특징으로 하는 객체 인식 장치.An apparatus for recognizing an object by analyzing an image,
A video input unit receiving a continuous video frame;
An information input unit for receiving information of a recognition target object from a user; And
An object recognizing unit for recognizing the object to be recognized in the image frame by analyzing the characteristic of the object to be recognized by using the information of the object to be recognized inputted to the information input unit,
And an object recognition device for recognizing the object.
상기 정보 입력부는
상기 사용자로부터 상기 영상 프레임 내의 특정 영역의 선택을 입력받는 제1 입력부; 및
상기 사용자로부터 상기 특정 영역에 포함된 상기 인식 대상 객체의 정보를 입력받는 제2 입력부
를 포함하는 것을 특징으로 하는 객체 인식 장치.The method according to claim 1,
The information input unit
A first input unit receiving a selection of a specific area within the image frame from the user; And
A second input unit for receiving information of the recognition target object included in the specific area from the user,
And an object recognition device for recognizing the object.
상기 객체 인식부는 상기 특정 영역에 포함된 상기 인식 대상 객체의 특징을 분석하여 상기 객체 인식 알고리즘에 반영함으로써 상기 영상 프레임에서 상기 인식 대상 객체를 인식하는 것을 특징으로 하는 객체 인식 장치.3. The method of claim 2,
Wherein the object recognition unit recognizes the recognition target object in the image frame by analyzing the characteristic of the recognition target object included in the specific region and reflecting the characteristic of the recognition target object to the object recognition algorithm.
상기 정보 입력부는
상기 사용자로부터 상기 영상 프레임 내에 있는 상기 인식 대상 객체의 계수값을 입력받는 제3 입력부를 더 포함하는 것을 특징으로 하는 객체 인식 장치.3. The method of claim 2,
The information input unit
Further comprising a third input unit for receiving a count value of the recognition target object in the image frame from the user.
상기 객체 인식부는 오차 수정부를 포함하되,
상기 오차 수정부는 상기 객체 인식 알고리즘을 이용하여 계수된 제1 계수값과 상기 제3 입력부에서 입력된 제2 계수값을 비교하여 상기 제2 계수값을 기준으로 상기 제1 계수값이 일치되도록 상기 인식 대상 객체의 정보의 오차를 수정하는 것을 특징으로 하는 객체 인식 장치.5. The method of claim 4,
Wherein the object recognition unit includes an error correction unit,
Wherein the error correcting unit compares the first coefficient value counted using the object recognition algorithm with the second coefficient value input from the third input unit and outputs the recognition result so that the first coefficient value matches the second coefficient value, And corrects an error of information of the target object.
상기 객체 인식부는 연산부를 포함하되,
상기 연산부는
상기 영상 프레임에서 배경을 제거하는 배경 제거부;
배경이 제거된 영상 프레임에서 상기 인식 대상 객체를 탐색하는 객체 탐색부; 및
탐색된 인식 대상 객체의 이동을 추적하는 객체 추적부
를 포함하는 것을 특징으로 하는 객체 인식 장치.The method according to claim 1,
Wherein the object recognition unit includes an operation unit,
The operation unit
A background removing unit configured to remove a background from the image frame;
An object searching unit searching the recognition object in an image frame whose background is removed; And
An object tracking unit for tracking the movement of the detected target object
And an object recognition device for recognizing the object.
상기 객체 탐색부는
상기 인식 대상 객체의 모양, 색깔 및 유형 중 어느 하나의 특징에 의해 정해지는 정보를 이용하여 상기 인식 대상 객체를 탐색하는 1차 탐색부; 및
상기 인식 대상 객체의 크기를 이용하여 상기 인식 대상 객체를 탐색하는 2차 탐색부
를 포함하는 것을 특징으로 하는 객체 인식 장치.The method according to claim 6,
The object search unit
A primary search unit for searching the recognition object using information determined by a feature of the shape, color and type of the recognition object; And
A second search unit for searching the recognition object using the size of the recognition object,
And an object recognition device for recognizing the object.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140134832A KR102112840B1 (en) | 2014-10-07 | 2014-10-07 | Apparatus for Recognizing Object in Video by Using User Interaction |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140134832A KR102112840B1 (en) | 2014-10-07 | 2014-10-07 | Apparatus for Recognizing Object in Video by Using User Interaction |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160041250A true KR20160041250A (en) | 2016-04-18 |
| KR102112840B1 KR102112840B1 (en) | 2020-05-19 |
Family
ID=55916400
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140134832A KR102112840B1 (en) | 2014-10-07 | 2014-10-07 | Apparatus for Recognizing Object in Video by Using User Interaction |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102112840B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200021398A (en) * | 2019-07-16 | 2020-02-28 | (주)제이엘케이인스펙션 | Image processing apparatus and method |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004152099A (en) * | 2002-10-31 | 2004-05-27 | Matsushita Electric Ind Co Ltd | Object selection method and terminal device |
| KR20100077505A (en) * | 2008-12-29 | 2010-07-08 | 삼성전자주식회사 | Robot and method thereof |
| JP2011145791A (en) * | 2010-01-13 | 2011-07-28 | Hitachi Ltd | Classifier learning image production program, method and system |
-
2014
- 2014-10-07 KR KR1020140134832A patent/KR102112840B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004152099A (en) * | 2002-10-31 | 2004-05-27 | Matsushita Electric Ind Co Ltd | Object selection method and terminal device |
| KR20100077505A (en) * | 2008-12-29 | 2010-07-08 | 삼성전자주식회사 | Robot and method thereof |
| JP2011145791A (en) * | 2010-01-13 | 2011-07-28 | Hitachi Ltd | Classifier learning image production program, method and system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200021398A (en) * | 2019-07-16 | 2020-02-28 | (주)제이엘케이인스펙션 | Image processing apparatus and method |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102112840B1 (en) | 2020-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11232326B2 (en) | System and process for detecting, tracking and counting human objects of interest | |
| EP2365420B1 (en) | System and method for hand gesture recognition for remote control of an internet protocol TV | |
| US9939909B2 (en) | Gesture manipulation device and method, program, and recording medium | |
| EP2860663B1 (en) | Eye part detection apparatus | |
| JP5665401B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2001216515A (en) | Method and device for detecting face of person | |
| EP2335405A2 (en) | Pixel-level based micro-feature extraction | |
| JP2008250746A (en) | Mobile object tracking device | |
| US20180307896A1 (en) | Facial detection device, facial detection system provided with same, and facial detection method | |
| WO2017035025A1 (en) | Engagement analytic system and display system responsive to user's interaction and/or position | |
| JP4821355B2 (en) | Person tracking device, person tracking method, and person tracking program | |
| US20210004967A1 (en) | Object tracking device, object tracking method, and object tracking program | |
| KR20120007850A (en) | Apparatus and method for object recognition based on part-template matching | |
| KR102112840B1 (en) | Apparatus for Recognizing Object in Video by Using User Interaction | |
| US20230091536A1 (en) | Camera Placement Guidance | |
| KR101539944B1 (en) | Object identification method | |
| CN114257800A (en) | Intelligent projection method and system and intelligent projection equipment | |
| US11386707B2 (en) | Techniques for detecting a three-dimensional face in facial recognition | |
| KR101734809B1 (en) | Apparatus and method for eye-tracking using web-camera, and apparatus for controlling light using the same | |
| JP5985327B2 (en) | Display device | |
| WO2020175085A1 (en) | Image processing apparatus and image processing method | |
| US9927523B2 (en) | Event filtering device and motion recognition device thereof | |
| KR101200560B1 (en) | Image analysis apparatus, system and method of wide angle surveillance camera | |
| Kubanek | Automatic methods for determining the characteristic points in face image | |
| CN105740848A (en) | Fast human eye positioning method based on credibility |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |