KR20210097415A - Method and apparatus of detecting object based on real time video - Google Patents

Method and apparatus of detecting object based on real time video Download PDF

Info

Publication number
KR20210097415A
KR20210097415A KR1020200011079A KR20200011079A KR20210097415A KR 20210097415 A KR20210097415 A KR 20210097415A KR 1020200011079 A KR1020200011079 A KR 1020200011079A KR 20200011079 A KR20200011079 A KR 20200011079A KR 20210097415 A KR20210097415 A KR 20210097415A
Authority
KR
South Korea
Prior art keywords
template
real
object detection
time image
matching
Prior art date
Application number
KR1020200011079A
Other languages
Korean (ko)
Inventor
이승익
서범수
마셀라
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020200011079A priority Critical patent/KR20210097415A/en
Publication of KR20210097415A publication Critical patent/KR20210097415A/en

Links

Images

Classifications

    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G06K9/46—
    • G06K9/6201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

A real-time image-based object detection method and a device thereof are disclosed. The real-time image-based object detection method according to one embodiment of the present invention includes the steps of: receiving an image frame; extracting features from the image frame; detecting an object based on the extracted features; matching with a template based on the extracted features; matching the object detection result with the template matching result; and outputting the matching result.

Description

실시간 영상기반 객체 탐지 방법 및 장치{METHOD AND APPARATUS OF DETECTING OBJECT BASED ON REAL TIME VIDEO}Real-time image-based object detection method and apparatus {METHOD AND APPARATUS OF DETECTING OBJECT BASED ON REAL TIME VIDEO}

본 발명은 실시간 영상기반 객체 탐지 방법 및 장치에 관한 것으로써, 드론이나 로봇과 같이 카메라를 탐재한 시스템에서 실시간으로 입력되는 영상스트림(이하 비디오)에서 객체를 효율적으로 탐지할 수 있는 기술에 관한 것이다.The present invention relates to a method and apparatus for detecting a real-time image-based object, and to a technology capable of efficiently detecting an object in a video stream (hereinafter referred to as video) input in real time from a system including a camera such as a drone or a robot. .

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.Unless otherwise indicated herein, the material described in this section is not prior art to the claims of this application, and inclusion in this section is not an admission that it is prior art.

최근 딥러닝 기술의 발달에 기인하여 영상에서 객체를 탐지하는 기술에 대한 요구와 연구가 증가하고 있다.Due to the recent development of deep learning technology, the demand for and research on the technology for detecting objects in images is increasing.

기존의 객체 탐지 기술은 주로 한장의 이미지를 기반으로 주어진 이미지에서 나타나는 객체를 탐지하는 기술이 주를 이루었으나, 최근에는 이를 확장하여 비디오에서의 객체탐지에 대한 요구가 증대되고 있다.The existing object detection technology mainly consists of a technology that detects an object appearing in a given image based on a single image.

그러나, 기존의 객체 탐지 기법은 입력으로 주어지는 이미지가 서로 완전히 독립적이라는 가정하에 동작하는데, 이는 기존의 스틸 이미지 기반 객체탐지에는 적합하나, 실시간 영상 또는 비디오에서는 프레임이 연속적으로 존재하며 각 프레임의 상관관계가 극히 높아 기존의 객체 탐지 방법처럼 각 이미지를 독립적으로 처리하는 것은 비효율적이다.However, the existing object detection method operates on the assumption that the input images are completely independent of each other, which is suitable for the existing still image-based object detection, but in real-time image or video, frames exist continuously and the correlation of each frame is very high, so it is inefficient to process each image independently like the existing object detection method.

또한, 아직까지는 스틸 이미지 기반의 이미지 탐색 기법을 활용하는 수준에 그치고 있어, 객체 오검출 또는 객체 미검출의 문제가 발생하고 있다.In addition, since the still image-based image search technique is still used only at the level, the problem of object erroneous detection or object non-detection occurs.

상기 문제를 해결하기 위하여, 비디오 특성상 한 번 나타난 객체가 이후의 여러 프레임에 걸쳐서 나타난다는 특성을 충분히 활용하여 비디오에서의 객체 탐지를 효율적으로 수행하는 방법과 시스템을 제안한다.In order to solve the above problem, a method and a system for efficiently performing object detection in a video are proposed by fully utilizing the characteristic that an object that appears once appears over several frames thereafter due to the characteristics of the video.

한국공개특허 제10-2015-0067193호, 2015년 06월 17일 공개(명칭: 비디오 내의 객체들을 탐지하기 위한 방법들, 장치들 및 시스템들)Korean Patent Application Laid-Open No. 10-2015-0067193, published on June 17, 2015 (Title: Methods, apparatuses and systems for detecting objects in video)

본 발명의 목적은 실시간 영상에서 딥러닝을 이용한 객체 인식 기술을 제공하는 것이다.An object of the present invention is to provide an object recognition technology using deep learning in real-time images.

또한, 본 발명의 목적은 실시간 영상에서 객체 미검출 문제를 해결할 수 있는 객체 인식 기술을 제공하는 것이다.Another object of the present invention is to provide an object recognition technology capable of solving the problem of object non-detection in a real-time image.

또한, 본 발명의 목적은 검출하고자 하는 객체에 대한 특징을 동적으로 구축하여 객체를 검출하는 것이다.It is also an object of the present invention to detect an object by dynamically constructing a characteristic of an object to be detected.

또한, 본 발명의 목적은 기존의 스틸이미지 기반 객체 탐지 기법에 추가적인 탐지 경로를 활용하여 효율적으로 객체를 탐지하고자 하는 것이다.Another object of the present invention is to efficiently detect an object by utilizing an additional detection path to the existing still image-based object detection technique.

또한, 본 발명의 목적은 검출할 객체에 대한 특징을 템플릿으로 관리하고, 검출 이력에 따라 상기 템플릿의 추가 및 삭제를 제어하는 것이다.Another object of the present invention is to manage features of an object to be detected as a template, and to control addition and deletion of the template according to a detection history.

또한 상술한 바와 같은 목적들로 한정되지 않으며, 이하의 설명으로부터 또 다른 목적이 도출될 수도 있음은 자명하다.In addition, it is not limited to the above-described objects, and it is obvious that other objects may be derived from the following description.

상기한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 먼저 영상프레임을 입력받는다.In order to achieve the above object, a real-time image-based object detection method according to an embodiment of the present invention first receives an image frame.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 상기 영상프레임에서 특징을 추출한다.In addition, the real-time image-based object detection method according to an embodiment of the present invention extracts a feature from the image frame.

이 때, 상기 특징을 추출하는 단계는, 사용자의 설정에 의한 디자인 또는 딥러닝망을 통한 디자인에 기반하여 추출할 수 있다.In this case, the step of extracting the feature may be extracted based on a design set by a user or a design through a deep learning network.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 추출된 상기 특징에 기반하여 객체를 탐지한다.In addition, the real-time image-based object detection method according to an embodiment of the present invention detects an object based on the extracted feature.

이 때, 상기 객체를 탐지하는 단계는, 추출된 상기 특징을 기반으로 딥러닝망을 이용하여 상기 객체를 탐지할 수 있다.In this case, the detecting of the object may include detecting the object using a deep learning network based on the extracted feature.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 추출된 상기 특징에 기반하여 템플릿과 매칭한다.In addition, the real-time image-based object detection method according to an embodiment of the present invention matches a template based on the extracted features.

이 때, 상기 템플릿과 매칭하는 단계는, 딥러닝망을 이용하여 매칭하되, 추출된 상기 특징과 상기 템플릿을 입력으로, 컨볼루션(Convolution) 연산을 수행하고, 코릴레이션 필터링(Correlation filtering)을 수행하여 매칭할 수 있다.In this case, the step of matching with the template includes matching using a deep learning network, using the extracted features and the template as inputs, performing a convolution operation, and performing correlation filtering can be matched.

이 때, 상기 템플릿과 매칭하는 단계는, 상기 템플릿에 지정된 객체의 영역을 찾기 위한 제1 코릴레이션 필터(Correlation filter)와 상기 객체의 종류를 분류하기 위한 제2 코릴레이션 필터(Correlation filter)를 생성하고, 상기 제1 코릴레이션 필터 및 제2 코릴레이션 필터를 통하여 코릴레이션 필터링(Correlation filtering)을 수행하여 매칭할 수 있다.In this case, the step of matching with the template generates a first correlation filter for finding a region of the object specified in the template and a second correlation filter for classifying the type of the object. Then, correlation filtering may be performed through the first correlation filter and the second correlation filter to be matched.

이 때, 상기 템플릿은 이전 영상프레임에서 탐지된 객체의 특징 또는 영역 중 어느 하나 이상인 것일 수 있다.In this case, the template may be any one or more of the features or regions of the object detected in the previous image frame.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 상기 객체 탐지 결과와 상기 템플릿 매칭 결과를 정합한다.In addition, the real-time image-based object detection method according to an embodiment of the present invention matches the object detection result and the template matching result.

이 때, 상기 정합하는 단계는, 상기 객체 탐지 결과에 포함된 객체와 상기 템플릿 매칭 결과에 포함된 객체를 합집합 방식으로 정합할 수 있다.In this case, the matching may include matching the object included in the object detection result with the object included in the template matching result in a union method.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 상기 정합 결과를 출력한다.In addition, the real-time image-based object detection method according to an embodiment of the present invention outputs the matching result.

이 때, 상기 출력하는 단계는, 상기 정합 결과에 기반하여 탐지된 객체 또는 영역에 관한 시각적인 표시와 탐지된 객체의 종류 등에 대한 시각적인 표시를 상기 영상 프레임에 오버레이하여 출력할 수 있다.In this case, the outputting may include overlaying a visual display on the detected object or region and a visual display on the type of the detected object on the image frame based on the matching result.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 상기 정합 결과와 기존에 저장된 템플릿을 비교하여, 신규로 탐지된 객체에 관한 정보를 템플릿으로 저장할 수 있다.In addition, the real-time image-based object detection method according to an embodiment of the present invention may compare the matching result with a previously stored template, and store information on a newly detected object as a template.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 임의로 설정된 일정 시간 또는 프레임 동안 탐지되지 않은 템플릿을 제거할 수 있다.In addition, the real-time image-based object detection method according to an embodiment of the present invention may remove a template that is not detected for a predetermined time or frame arbitrarily set.

또한, 상기한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치는, 하나 이상의 프로세서 및 상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리를 포함하고, 상기 적어도 하나 이상의 프로그램은, 영상프레임을 입력받고, 상기 영상프레임에서 특징을 추출하고, 추출된 상기 특징에 기반하여 객체를 탐지하고, 추출된 상기 특징에 기반하여 템플릿과 매칭하고, 상기 객체 탐지 결과와 상기 템플릿 매칭 결과를 정합하고, 상기 정합 결과를 출력한다.In addition, in order to achieve the above object, a real-time image-based object detection apparatus according to an embodiment of the present invention includes one or more processors and an execution memory for storing at least one or more programs executed by the one or more processors, The at least one program receives an image frame, extracts a feature from the image frame, detects an object based on the extracted feature, matches a template based on the extracted feature, and the object detection result and the template matching result, and output the matching result.

이 때, 상기 템플릿은, 이전 영상프레임에서 탐지된 객체의 특징 또는 영역 중 어느 하나 이상일 수 있다.In this case, the template may be any one or more of a feature or an area of an object detected in a previous image frame.

이 때, 상기 적어도 하나 이상의 프로그램은, 상기 정합 결과와 기존에 저장된 템플릿을 비교하여, 신규로 탐지된 객체에 관한 정보를 템플릿으로 저장할 수 있다.In this case, the at least one program may compare the matching result with a previously stored template, and store information on a newly detected object as a template.

이 때, 상기 적어도 하나 이상의 프로그램은, 임의로 설정된 일정 시간 또는 프레임 동안 탐지되지 않은 템플릿을 제거할 수 있다.In this case, the at least one program may remove a template that is not detected for a predetermined time or frame arbitrarily set.

이 때, 상기 적어도 하나 이상의 프로그램은, 사용자의 설정에 의한 디자인 또는 딥러닝망을 통한 디자인에 기반하여, 상기 영상프레임에서 특징을 추출할 수 있다.In this case, the at least one program may extract features from the image frame based on a design set by a user or a design through a deep learning network.

이 때, 상기 적어도 하나 이상의 프로그램은, 추출된 상기 특징을 기반으로 딥러닝망을 이용하여 상기 객체를 탐지할 수 있다.In this case, the at least one program may detect the object using a deep learning network based on the extracted features.

이 때, 상기 적어도 하나 이상의 프로그램은, 추출된 상기 특징을 기반으로 상기 템플릿과 딥러닝망을 이용하여 매칭하되, 추출된 상기 특징과 상기 템플릿을 입력으로, 컨볼루션(Convolution) 연산을 수행하고, 코릴레이션 필터링(Correlation filtering)을 수행하여 매칭할 수 있다.At this time, the at least one or more programs are matched using the template and the deep learning network based on the extracted features, and perform a convolution operation with the extracted features and the template as inputs, Correlation filtering may be performed to match.

이 때, 상기 적어도 하나 이상의 프로그램은, 상기 템플릿에 지정된 객체의 영역을 찾기 위한 제1 코릴레이션 필터(Correlation filter)와 상기 객체의 종류를 분석하기 위한 제2 코릴레이션 필터(Correlation filter)를 생성하고, 상기 제1 코릴레이션 필터 및 제2 코릴레이션 필터를 통하여 코릴레이션 필터링(Correlation filtering)을 수행하여 매칭할 수 있다.At this time, the at least one program generates a first correlation filter for finding the region of the object specified in the template and a second correlation filter for analyzing the type of the object, and , may be matched by performing correlation filtering through the first correlation filter and the second correlation filter.

이 때, 상기 적어도 하나 이상의 프로그램은, 상기 객체 탐지 결과에 포함된 객체와 상기 템플릿 매칭 결과에 포함된 객체를 합집합 방식으로 정합할 수 있다.In this case, the at least one program may match the object included in the object detection result with the object included in the template matching result in a union method.

이 때, 상기 적어도 하나 이상의 프로그램은, 상기 정합 결과에 기반하여 객체 또는 영역에 관한 시각적인 표시와 탐지된 객체의 종류 등에 대한 시각적인 표시를 상기 영상프레임에 오버레이하여 출력할 수 있다.In this case, the at least one program may overlay a visual display of an object or region and a visual display of a detected object type on the image frame based on the matching result and output it.

본 발명에 따르면, 실시간 영상에서 딥러닝을 이용한 객체 인식 기술을 제공할 수 있다.According to the present invention, it is possible to provide an object recognition technology using deep learning in a real-time image.

또한, 본 발명에 따르면, 실시간 영상에서 객체 미검출 문제를 해결할 수 있는 객체 인식 기술을 제공할 수 있다.In addition, according to the present invention, it is possible to provide an object recognition technology capable of solving the problem of not detecting an object in a real-time image.

또한, 본 발명에 따르면, 검출하고자 하는 객체에 대한 특징을 동적으로 구축하여 객체를 검출할 수 있다.In addition, according to the present invention, it is possible to detect an object by dynamically constructing a characteristic of an object to be detected.

또한, 본 발명에 따르면, 기존의 스틸이미지 기반 객체 탐지 기법에 추가적인 탐지 경로를 활용하여 효율적으로 객체를 탐지하고자 하는 것이다.In addition, according to the present invention, an object is efficiently detected by using an additional detection path to the existing still image-based object detection technique.

또한, 본 발명에 따르면, 검출할 객체에 대한 특징을 템플릿으로 관리하고, 검출 이력에 따라 상기 템플릿의 추가 및 삭제를 제어할 수 있다.In addition, according to the present invention, it is possible to manage the characteristics of the object to be detected as a template, and control the addition and deletion of the template according to the detection history.

본 실시 예들의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present embodiments are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the description of the claims.

도 1은 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치의 사용예시도이다.
도 2는 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치의 블록도이다.
도 3은 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치의 동작흐름도이다.
도 4는 본 발명의 일실시예에 따른 딥러닝망을 적용한 실시간 영상기반 객체 탐지 장치의 예시도이다.
도 5는 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법의 흐름도이다.
도 6은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.1 is an exemplary diagram of a real-time image-based object detection apparatus according to an embodiment of the present invention.
2 is a block diagram of a real-time image-based object detection apparatus according to an embodiment of the present invention.
3 is an operation flowchart of a real-time image-based object detection apparatus according to an embodiment of the present invention.
4 is an exemplary diagram of a real-time image-based object detection apparatus to which a deep learning network is applied according to an embodiment of the present invention.
5 is a flowchart of a real-time image-based object detection method according to an embodiment of the present invention.
6 is a diagram illustrating a computer system according to an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will be described in detail with reference to the accompanying drawings as follows. Here, repeated descriptions, well-known functions that may unnecessarily obscure the gist of the present invention, and detailed descriptions of configurations will be omitted. The embodiments of the present invention are provided in order to more completely explain the present invention to those of ordinary skill in the art. Accordingly, the shapes and sizes of elements in the drawings may be exaggerated for clearer description.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치 또는 시스템은 CCTV와 같은 고정형 카메라나 이동 로봇과 같이 이동형 카메라를 탑재한 시스템에서 비디오 영상을 기반으로 영상에 나타나는 객체를 탐지하는 것이다.A real-time image-based object detection apparatus or system according to an embodiment of the present invention detects an object appearing in an image based on a video image in a system equipped with a fixed camera such as a CCTV or a mobile camera such as a mobile robot.

상기 탐지는 객체의 종류(ex. 사람, 개, 고양이 등)와 객체의 영역(ex. 객체를 둘러싸는 사각형 영역 또는 바운딩 박스)을 탐지하는 것을 말한다.The detection refers to detecting a type of an object (eg, a person, a dog, a cat, etc.) and an area of the object (eg, a rectangular area or a bounding box surrounding the object).

도 1은 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치(100)의 사용예시도이고, 도 2는 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치(100)의 블록도이다.1 is a diagram showing an example of using a real-time image-based object detection apparatus 100 according to an embodiment of the present invention, and FIG. 2 is a block diagram of a real-time image-based object detection apparatus 100 according to an embodiment of the present invention. .

도 1 및 도 2를 참조하면, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치(100)는 특징추출부(210), 객체검출부(220), 객체정합부(230), 템플릿 관리부(240) 및 템플릿 매칭부(250)를 포함하며, 로봇 또는 CCTV 등의 카메라로부터 받은 연속된 비디오 프레임을 입력받아, 각 프레임 내에 나타나는 객체에 대한 탐지 결과를 출력할 수 있다.1 and 2, the real-time image-based object detection apparatus 100 according to an embodiment of the present invention includes a feature extraction unit 210, an object detection unit 220, an object matching unit 230, and a template management unit ( 240) and a template matching unit 250, may receive a continuous video frame received from a camera such as a robot or CCTV, and output a detection result for an object appearing in each frame.

이 때, 특징추출부(210)는, 입력받은 영상프레임(비디오 프레임)에서 객체 탐지를 위한 특징을 추출할 수 있다.In this case, the feature extraction unit 210 may extract a feature for object detection from the input image frame (video frame).

이 때, 상기 특징은 사람이 손으로 디자인한 특징일 수도 있고, 딥러닝망을 활용한 특징일 수도 있다.In this case, the feature may be a feature designed by a human hand or a feature using a deep learning network.

이 때, 객체검출부(220)는 특징추출부(210)에서 추출된 특징에 기반하여 입력된 영상프레임 내에 나타나는 객체를 검출할 수 있다.In this case, the object detecting unit 220 may detect an object appearing in the input image frame based on the features extracted by the feature extracting unit 210 .

이 때, 객체검출부(220)는 상기 특징에 기반하여 객체를 검출하는 알고리즘일 수 있으며, 일 실시예로는 딥러닝망일 수 있다.In this case, the object detection unit 220 may be an algorithm for detecting an object based on the characteristics, and in one embodiment may be a deep learning network.

또한, 도 2에는 특징추출부(210)와 객체검출부(220)가 별도로 도시되어 있으나, 실시예에 따라 하나로 결합된 딥러닝망일 수도 있다.In addition, although the feature extraction unit 210 and the object detection unit 220 are separately illustrated in FIG. 2 , it may be a deep learning network combined into one according to an embodiment.

이 때, 일반적인 스틸이미지 기반 객체 검출 방법은 객체 오검출 및 객체 미검출 등의 오류가 발생한다.In this case, errors such as object erroneous detection and object non-detection occur in a general still image-based object detection method.

상기 객체 오검출은 객체에 대한 부정확한 검출(객체의 종류나 영역)이 이루어지는 것을 의미하고, 객체 미검출은 영상프레임에 객체가 존재하기는 하나 알고리즘이 해당 객체를 검출하지 못하는 것을 의미한다.The object erroneous detection means that the object is incorrectly detected (type or region of the object), and object non-detection means that the object is present in the image frame but the algorithm fails to detect the object.

특히, 객체 미검출과 관련하여, 기존의 스틸이미지 기반 객체 탐지 기술은 입력받는 모든 이미지를 독립적으로 판단하기 때문에 연속된 영상프레임 상에서 특정 객체가 검출과 미검출이 반복되는 문제점이 쉽게 발생한다.In particular, with respect to object non-detection, the existing still image-based object detection technology independently determines all input images, so that detection and non-detection of a specific object are repeated in successive image frames easily.

상술한 문제점을 해결하기 위하여, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치(100)는 템플릿 매칭부(250)를 통하여, 이전 영상프레임의 객체를 템플릿으로 관리하고, 템플릿 매칭 결과와 객체 검출 결과를 정합하여 객체 미검출을 해결할 수 있다. 상세한 내용은 후술하도록 한다.In order to solve the above problem, the real-time image-based object detection apparatus 100 according to an embodiment of the present invention manages the object of the previous image frame as a template through the template matching unit 250, Object non-detection can be resolved by matching the object detection results. Details will be described later.

이 때, 객체정합부(230)는 객체검출부(220)를 통해 영상프레임에서 검출된 객체와 후술하는 템플릿 매칭부(250)를 통해 검출된 객체를 전달받아 정합을 수행할 수 있다.In this case, the object matching unit 230 may receive the object detected from the image frame through the object detection unit 220 and the object detected through the template matching unit 250 to be described later and perform registration.

이 때, 정합은 객체검출부(220)와 템플릿 매칭부(250)의 객체 검출 결과를 합집합의 방식으로 합치도록 수행될 수 있다.In this case, the matching may be performed so that the object detection results of the object detection unit 220 and the template matching unit 250 are combined in a union method.

따라서, 이전 영상프레임에서 탐지된 결과는 템플릿 매칭부(250)를 통하여 재탐지될 수 있고, 현재 영상프레임에 존재하는 기존 객체 및/또는 신규 객체는 객체검출부(220)를 통하여 검출될 수 있으며, 양 결과를 정합함으로써, 하나의 통합된 탐지 결과를 생성할 수 있다.Accordingly, the result detected in the previous image frame may be re-detected through the template matching unit 250, and existing objects and/or new objects existing in the current image frame may be detected through the object detection unit 220, By matching both results, one unified detection result can be generated.

이를 통하여, 이전 영상프레임에 존재했던 객체가 다음 영상프레임에서 미검출되는 객체 미검출 문제를 해결할 수 있다.Through this, it is possible to solve the object non-detection problem in which an object existing in the previous image frame is not detected in the next image frame.

객체정합부(230)에서 정합된 객체 탐지 결과는 템플릿 관리부(240)에 전달하고, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지의 결과로써 출력될 수 있다.The object detection result matched by the object matching unit 230 may be transmitted to the template management unit 240 and output as a result of real-time image-based object detection according to an embodiment of the present invention.

템플릿 관리부(240)는 템플릿을 관리하는 역할을 수행하며, 상기 템플릿은 탐지된 객체에 대한 정보를 의미할 수 있다.The template manager 240 serves to manage a template, and the template may mean information on a detected object.

이 때, 상기 탐지된 객체에 대한 정보는 해당 객체에 대한 특징 및 영역 중 적어도 어느 하나일 수 있다.In this case, the information on the detected object may be at least one of a feature and an area for the object.

또한, 템플릿 관리부(240)는 객체정합부(230)로부터 전달받은 객체 탐지 결과를 이용하여 기존의 객체 템플릿과 비교하고, 비교결과 신규로 탐지된 것이라면, 해당 객체 또는 객체에 대한 정보를 템플릿으로 추가할 수 있다.In addition, the template management unit 240 compares with an existing object template using the object detection result received from the object matching unit 230 , and if the comparison result is newly detected, the corresponding object or information on the object is added as a template can do.

또한, 템플릿 관리부(240)는 객체정합부(230)로부터 전달받은 객체 탐지 결과를 이용하여 기존의 객체 템플릿과 비교하고, 비교결과 기존의 객체 템플릿에 있는 객체가 탐지된 것이라면, 탐지된 객체 또는 객체에 대한 정보에 기반하여 기존의 객체 템플릿을 갱신할 수 있다.In addition, the template management unit 240 compares with an existing object template using the object detection result received from the object matching unit 230 , and if an object in the existing object template is detected as a result of the comparison, the detected object or object Existing object templates can be updated based on the information on .

또한, 템플릿 관리부(240)는 관리되고 있는 템플릿 중에 일정기간 재탐지되지 않은 템플릿은 영상 내에서 해당 객체가 사라진 것으로 판단하고 이를 삭제할 수 있다.In addition, the template manager 240 may determine that a corresponding object has disappeared from the image of a template that has not been re-detected for a certain period of time among the managed templates, and may delete it.

템플릿 매칭부(250)는 기존에 이미 탐지가 한 번 이루어진 객체에 대한 특징에 기반하여 영상프레임과 매칭을 수행한다.The template matching unit 250 matches the image frame based on the characteristics of the object that has already been detected once.

상기 템플릿은 이미 탐지 또는 검출이 이루어진 객체에 관한 것으로써, 새로운 객체보다 더 신속하고 정확하게 탐지될 수 있다.The template relates to an object that has already been detected or detected, and can be detected more quickly and accurately than a new object.

따라서, 객체검출부(220)에서 현재 영상프레임에서 검출하지 못한 객체, 다시 말하면 이미 객체검출부(220)에서 한번 검출되었지만 현재 영상프레임에서 검출되지 않은 객체의 경우에도 템플릿 매칭부(250)를 통하여 검출될 수 있다.Therefore, even in the case of an object not detected in the current image frame by the object detection unit 220, that is, an object that has already been detected once by the object detection unit 220 but not detected in the current image frame, it will be detected through the template matching unit 250. can

이 때, 템플릿 매칭부(250)는 입력으로 주어진 템플릿들과 추출된 특징을 비교하여 영상프레임 내에서 해당 템플릿이 존재하는지 검사할 수 있다.In this case, the template matching unit 250 may check whether a corresponding template exists in the image frame by comparing the extracted features with templates given as input.

상기 템플릿은 특징추출부에서 추출된 특징을 정보로 할 수 있다.The template may use features extracted by the feature extraction unit as information.

또한, 템플릿 매칭부(250)는 주어진 템플릿을 사용하여 상기 템플릿과 특징추출부에서 추출된 특징맵을 매칭하는 코릴레이션 필터링(Correlation filtering)일 수도 있다.Also, the template matching unit 250 may be a correlation filtering that matches the template and the feature map extracted by the feature extraction unit using a given template.

이 때, 템플릿 매칭부(250)는 주어진 모든 템플릿에 대하여 템플릿 매칭작업을 수행한 후 탐지 결과를 객체 정합부(230)에 전달할 수 있다.In this case, the template matching unit 250 may transmit the detection result to the object matching unit 230 after performing a template matching operation for all given templates.

도 3은 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치의 동작흐름도이다.3 is an operation flowchart of a real-time image-based object detection apparatus according to an embodiment of the present invention.

도 3을 참조하여 실시간 영상기반 객체 탐지 장치의 동작을 살펴보면, 먼저 실시간 영상기반 객체 탐지 장치의 동작이 시작되면 카메라로부터 하나의 영상 프레임을 입력으로 받을 수 있다(S310).Referring to the operation of the real-time image-based object detection apparatus with reference to FIG. 3 , when the operation of the real-time image-based object detection apparatus starts, one image frame may be received as an input from the camera (S310).

이 때, 상기 영상 프레임은 비디오 프레임, 이미지 프레임 또는 이미지와 동일한 의미일 수 있다.In this case, the image frame may have the same meaning as a video frame, an image frame, or an image.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치는 상기 영상 프레임에서 특징을 추출할 수 있고(S320), 추출된 특징으로부터 객체를 탐지(객체의 종류 및 영역)하고(S330), 동시 또는 나중에 기 관리되고 있는 템플릿과의 매칭을 수행할 수 있다(S340).In addition, the real-time image-based object detection apparatus according to an embodiment of the present invention may extract a feature from the image frame (S320), detect an object (type and area of the object) from the extracted feature (S330), At the same time or later, matching with a previously managed template may be performed (S340).

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치는 객체 탐지 과정과 템플릿 매칭 과정에 의해 생성된 두 개의 독립된 탐지 결과를 정합하여 하나의 합집합으로 정합할 수 있다(S350).Also, the real-time image-based object detection apparatus according to an embodiment of the present invention may match two independent detection results generated by the object detection process and the template matching process into one union ( S350 ).

상기 정합하는 단계(S350)는 동일한 객체가 두 개의 과정에서 동시에 탐지되는 경우 하나로 합쳐질 수 있으며, 객체 탐지부에서 탐지하지 못하였으나, 템플릿 매칭부에서 탐지된 경우(객체 탐지 미검출)나 객체 탐지부에서는 탐지되었으나 템플릿 매칭부에서 탐지하지 못한 경우(신규 객체)는 그대로 유지될 수 있다.The matching step (S350) may be combined into one when the same object is detected simultaneously in two processes, and is not detected by the object detection unit, but is detected by the template matching unit (no object detection detected) or by the object detection unit , but not detected by the template matching unit (new object) may be maintained as it is.

정합된 탐지 결과는 사용자에게 출력(S370)될 수 있으며, 템플릿으로써 관리되도록 템플릿 관리부에 전달될 수 있다(S360).The matched detection result may be output to the user (S370), and may be transmitted to the template manager to be managed as a template (S360).

이 때, 상기 출력은 탐지된 영역에 대한 표시(ex. 탐지 객체 영역에 바운딩 박스)와 탐지된 객체의 종류를 표시할 수 있다.In this case, the output may display an indication of the detected area (eg, a bounding box in the detection object area) and the type of the detected object.

이 때, 템플릿 관리는 기존의 템플릿과 비교하여 신규 객체가 탐지된 경우 이를 기존의 템플릿 리스트에 추가할 수 있고, 일정 기간 혹은 일정 프레임 동안 기존의 템플릿이 탐지되지 않았으면 해당 템플릿을 상기 템플릿 리스트에서 삭제할 수 있으며(객체가 비디오 또는 영상에서 사라진 경우에 해당), 기존의 템플릿 리스트에 존재하는 객체가 탐지된 경우라면, 탐지된 객체 또는 객체에 대한 정보에 기반하여 기존의 템플릿 리스트를 갱신할 수 있다(S360).In this case, the template management can add a new object to the existing template list when a new object is detected compared to the existing template. It can be deleted (corresponding to the case where the object has disappeared from the video or video), and if an object existing in the existing template list is detected, the existing template list can be updated based on the detected object or information about the object. (S360).

도 4는 본 발명의 일실시예에 따른 딥러닝망을 적용한 실시간 영상기반 객체 탐지 장치의 예시도이다.4 is an exemplary diagram of a real-time image-based object detection apparatus to which a deep learning network is applied according to an embodiment of the present invention.

도 4를 참조하면, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치는 특징 추출부(410), 객체 검출부(420) 및 템플릿 매칭부(430)는 모두 딥러닝망을 이용하여 구축될 수 있다.4, in the real-time image-based object detection apparatus according to an embodiment of the present invention, the feature extraction unit 410, the object detection unit 420, and the template matching unit 430 are all to be built using a deep learning network. can

특히, 템플릿 매칭부(430)는 템플릿을 입력으로 받아, 다수의 컨볼루션 연산 등을 수행하여 입력이미지에서 상기 템플릿을 찾기 위한 코릴레이션 필터링(Correalation filtering)을 수행할 수 있는 필터를 생성할 수 있다.In particular, the template matching unit 430 receives a template as an input, performs a plurality of convolution operations, etc. to generate a filter capable of performing correlation filtering to find the template in the input image. .

상기 필터는 하나의 템플릿에 지정된 객체의 영역을 찾기 위한 코릴레이션 필터와 객체의 종류를 분류하기 위한 코릴레이션 필터를 구분하여 포함할 수 있다.The filter may include a correlation filter for finding a region of an object specified in one template and a correlation filter for classifying the type of object.

객체 정합부(440)는 상기 템플릿 매칭 과정을 거쳐서 나온 결과(영역, 종류)와 객체 검출부(420)를 통해서 얻은 결과(영역, 종류)를 병합하여 하나의 합집합 현태의 객체 검출 결과를 얻을 수 있고, 상기 객체 검출 결과를 출력으로 보냄과 동시에 템플릿 관리부(450)에도 송부할 수 있다.The object matching unit 440 merges the result (region, type) obtained through the template matching process with the result (region, type) obtained through the object detection unit 420 to obtain an object detection result of one union state, , the object detection result may be transmitted to the template management unit 450 at the same time as output.

템플릿 관리부(450)는 전달받은 객체 검출 결과를 분석하여 신규 템플릿의 경우 템플릿 리스트에 추가하거나 더 이상 탐지되지 않는 템플릿을 템플릿 리스트에서 삭제할 수 있다.The template manager 450 may analyze the received object detection result and add a new template to the template list or delete a template that is no longer detected from the template list.

또한, 템플릿 관리부(450)는 기존 템플릿 리스트에 존재하는 객체가 탐지 또는 매칭된 경우, 상기 기존 템플릿 리스트를 탐지된 객체 또는 객체에 대한 정보에 기반하여 갱신할 수 있다.Also, when an object existing in the existing template list is detected or matched, the template manager 450 may update the existing template list based on the detected object or information on the object.

도 5는 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법의 흐름도이다.5 is a flowchart of a real-time image-based object detection method according to an embodiment of the present invention.

도 5를 참조하면, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 먼저 영상프레임을 입력받는다(S510).Referring to FIG. 5 , the real-time image-based object detection method according to an embodiment of the present invention first receives an image frame ( S510 ).

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 상기 영상프레임에서 특징을 추출한다(S520).In addition, the real-time image-based object detection method according to an embodiment of the present invention extracts a feature from the image frame (S520).

이 때, 단계(S520)는, 사용자의 설정에 의한 디자인 또는 딥러닝망을 통한 디자인에 기반하여 추출할 수 있다.In this case, step S520 may be extracted based on a design set by a user or a design through a deep learning network.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 추출된 상기 특징에 기반하여 객체를 탐지한다(S530).In addition, the real-time image-based object detection method according to an embodiment of the present invention detects an object based on the extracted feature (S530).

이 때, 단계(S530)는, 추출된 상기 특징을 기반으로 딥러닝망을 이용하여 상기 객체를 탐지할 수 있다.In this case, step S530 may detect the object using a deep learning network based on the extracted features.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 추출된 상기 특징에 기반하여 템플릿과 매칭한다(S540).In addition, the real-time image-based object detection method according to an embodiment of the present invention matches a template based on the extracted features (S540).

이 때, 단계(S540)는, 딥러닝망을 이용하여 매칭하되, 추출된 상기 특징과 상기 템플릿을 입력으로, 컨볼루션(Convolution) 연산을 수행하고, 코릴레이션 필터링(Correlation filtering)을 수행하여 매칭할 수 있다.At this time, in step S540, matching using a deep learning network, using the extracted features and the template as inputs, performing a convolution operation, and performing correlation filtering to match can do.

이 때, 단계(S540)는, 상기 템플릿에 지정된 객체의 영역을 찾기 위한 제1 코릴레이션 필터(Correlation filter)와 상기 객체의 종류를 분류하기 위한 제2 코릴레이션 필터(Correlation filter)를 생성하고, 상기 제1 코릴레이션 필터 및 제2 코릴레이션 필터를 통하여 코릴레이션 필터링(Correlation filtering)을 수행하여 매칭할 수 있다.At this time, in step S540, a first correlation filter for finding the region of the object specified in the template and a second correlation filter for classifying the type of the object are generated, Correlation filtering may be performed through the first correlation filter and the second correlation filter to be matched.

이 때, 상기 템플릿은 이전 영상프레임에서 탐지된 객체의 특징 또는 영역 중 어느 하나 이상일 수 있다.In this case, the template may be any one or more of a feature or an area of an object detected in a previous image frame.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 상기 객체 탐지 결과와 상기 템플릿 매칭 결과를 정합한다(S550).Also, in the real-time image-based object detection method according to an embodiment of the present invention, the object detection result and the template matching result are matched (S550).

이 때, 단계(S550)는, 상기 객체 탐지 결과에 포함된 객체와 상기 템플릿 매칭 결과에 포함된 객체를 합집합 방식으로 정합할 수 있다.In this case, in step S550, the object included in the object detection result and the object included in the template matching result may be matched in a union method.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 상기 정합 결과를 출력한다(S560).In addition, the real-time image-based object detection method according to an embodiment of the present invention outputs the matching result (S560).

이 때, 단계(S560)는, 상기 정합 결과에 기반하여 탐지된 객체 또는 영역에 관한 시각적인 표시와 탐지된 객체의 종류 등에 대한 시각적인 표시를 상기 영상 프레임에 오버레이하여 출력할 수 있다.In this case, in step S560, a visual display of a detected object or region and a visual display of a type of the detected object may be overlaid on the image frame and output based on the matching result.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 상기 정합 결과와 기존에 저장된 템플릿을 비교하여, 신규로 탐지된 객체인 경우 해당 객체에 관한 정보를 템플릿으로 저장하고, 기존에 저장된 템플릿에 상응하는 객체인 경우 상기 정합 결과에 기반한 신규 정보로 기존에 저장된 템플릿을 갱신할 수 있다.In addition, the real-time image-based object detection method according to an embodiment of the present invention compares the matching result with a previously stored template, and if it is a newly detected object, stores information about the object as a template, and stores the previously stored information as a template. In the case of an object corresponding to the template, the previously stored template may be updated with new information based on the matching result.

또한, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 방법은 임의로 설정된 일정 시간 또는 프레임 동안 탐지되지 않은 템플릿을 제거할 수 있다.In addition, the real-time image-based object detection method according to an embodiment of the present invention may remove a template that is not detected for a predetermined time or frame arbitrarily set.

도 6은 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 도면이다.6 is a diagram illustrating a computer system according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템에서 구현될 수 있다. 도 6에 도시된 바와 같이, 컴퓨터 시스템(600)은 버스(620)를 통하여 서로 통신하는 하나 이상의 프로세서(610), 메모리(630), 사용자 인터페이스 입력 장치(640), 사용자 인터페이스 출력 장치(650) 및 스토리지(660)를 포함할 수 있다. 또한, 컴퓨터 시스템(600)은 네트워크(680)에 연결되는 네트워크 인터페이스(670)를 더 포함할 수 있다. 프로세서(610)는 중앙 처리 장치 또는 메모리(630)나 스토리지(660)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(630) 및 스토리지(660)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(631)이나 RAM(632)을 포함할 수 있다.Referring to FIG. 6 , an embodiment of the present invention may be implemented in a computer system such as a computer-readable recording medium. As shown in FIG. 6 , the computer system 600 includes one or more processors 610 , a memory 630 , a user interface input device 640 , and a user interface output device 650 that communicate with each other via a bus 620 . and storage 660 . In addition, computer system 600 may further include a network interface 670 coupled to network 680 . The processor 610 may be a central processing unit or a semiconductor device that executes processing instructions stored in the memory 630 or the storage 660 . The memory 630 and the storage 660 may be various types of volatile or non-volatile storage media. For example, the memory may include ROM 631 or RAM 632 .

이 때, 본 발명의 일실시예에 따른 실시간 영상기반 객체 탐지 장치는, 하나 이상의 프로세서(610) 및 상기 하나 이상의 프로세서(610)에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리(630)를 포함하고, 상기 적어도 하나 이상의 프로그램은, 영상프레임을 입력받고, 상기 영상프레임에서 특징을 추출하고, 추출된 상기 특징에 기반하여 객체를 탐지하고, 추출된 상기 특징에 기반하여 템플릿과 매칭하고, 상기 객체 탐지 결과와 상기 템플릿 매칭 결과를 정합하고, 상기 정합 결과를 출력한다.At this time, the real-time image-based object detection apparatus according to an embodiment of the present invention includes one or more processors 610 and an execution memory 630 for storing at least one or more programs executed by the one or more processors 610 . wherein the at least one program receives an image frame, extracts a feature from the image frame, detects an object based on the extracted feature, matches a template based on the extracted feature, and The object detection result and the template matching result are matched, and the matching result is output.

이 때, 상기 템플릿은, 이전 영상프레임에서 탐지된 객체의 특징 또는 영역 중 어느 하나 이상일 수 있다.In this case, the template may be any one or more of a feature or an area of an object detected in a previous image frame.

이 때, 상기 적어도 하나 이상의 프로그램은, 상기 정합 결과와 기존에 저장된 템플릿을 비교하여, 신규로 탐지된 객체인 경우 해당 객체에 관한 정보를 템플릿으로 저장하고, 기존에 저장된 템플릿에 상응하는 객체인 경우 상기 정합 결과에 기반한 신규 정보로 기존에 저장된 템플릿을 갱신할 수 있다.In this case, the at least one program compares the matching result with a previously stored template, and stores information about the object as a template in the case of a newly detected object, The previously stored template may be updated with new information based on the matching result.

이 때, 상기 적어도 하나 이상의 프로그램은, 임의로 설정된 일정 시간 또는 프레임 동안 탐지되지 않은 템플릿을 제거할 수 있다.In this case, the at least one program may remove a template that is not detected for a predetermined time or frame arbitrarily set.

이 때, 상기 적어도 하나 이상의 프로그램은, 사용자의 설정에 의한 디자인 또는 딥러닝망을 통한 디자인에 기반하여, 상기 영상프레임에서 특징을 추출할 수 있다.In this case, the at least one program may extract features from the image frame based on a design set by a user or a design through a deep learning network.

이 때, 상기 적어도 하나 이상의 프로그램은, 추출된 상기 특징을 기반으로 딥러닝망을 이용하여 상기 객체를 탐지할 수 있다.In this case, the at least one program may detect the object using a deep learning network based on the extracted features.

이 때, 상기 적어도 하나 이상의 프로그램은, 추출된 상기 특징을 기반으로 상기 템플릿과 딥러닝망을 이용하여 매칭하되, 추출된 상기 특징과 상기 템플릿을 입력으로, 컨볼루션(Convolution) 연산을 수행하고, 코릴레이션 필터링(Correlation filtering)을 수행하여 매칭할 수 있다.At this time, the at least one or more programs are matched using the template and the deep learning network based on the extracted features, and perform a convolution operation with the extracted features and the template as inputs, Correlation filtering may be performed to match.

이 때, 상기 적어도 하나 이상의 프로그램은, 상기 템플릿에 지정된 객체의 영역을 찾기 위한 제1 코릴레이션 필터(Correlation filter)와 상기 객체의 종류를 분석하기 위한 제2 코릴레이션 필터(Correlation filter)를 생성하고, 상기 제1 코릴레이션 필터 및 제2 코릴레이션 필터를 통하여 코릴레이션 필터링(Correlation filtering)을 수행하여 매칭할 수 있다.At this time, the at least one program generates a first correlation filter for finding the region of the object specified in the template and a second correlation filter for analyzing the type of the object, and , may be matched by performing correlation filtering through the first correlation filter and the second correlation filter.

이 때, 상기 적어도 하나 이상의 프로그램은, 상기 객체 탐지 결과에 포함된 객체와 상기 템플릿 매칭 결과에 포함된 객체를 합집합 방식으로 정합할 수 있다.In this case, the at least one program may match the object included in the object detection result with the object included in the template matching result in a union method.

이 때, 상기 적어도 하나 이상의 프로그램은, 상기 정합 결과에 기반하여 객체 또는 영역에 관한 시각적인 표시와 탐지된 객체의 종류 등에 대한 시각적인 표시를 상기 영상프레임에 오버레이하여 출력할 수 있다.In this case, the at least one program may overlay a visual display of an object or region and a visual display of a detected object type on the image frame based on the matching result and output it.

따라서, 본 발명의 실시예는 컴퓨터로 구현된 방법이나 컴퓨터에서 실행 가능한 명령어들이 기록된 비일시적인 컴퓨터에서 읽을 수 있는 매체로 구현될 수 있다. 컴퓨터에서 읽을 수 있는 명령어들이 프로세서에 의해서 수행될 때, 컴퓨터에서 읽을 수 있는 명령어들은 본 발명의 적어도 한 가지 측면에 따른 방법을 수행할 수 있다.Accordingly, the embodiment of the present invention may be implemented as a computer-implemented method or a non-transitory computer-readable medium in which computer-executable instructions are recorded. When the computer readable instructions are executed by a processor, the computer readable instructions may perform a method according to at least one aspect of the present invention.

이상에서와 같이 본 발명에 따른 실시간 영상기반 객체 탐지 방법 및 장치는 상기한 바와 같이 설명한 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, in the method and apparatus for detecting a real-time image-based object according to the present invention, the configuration and method of the above-described embodiments are not limitedly applicable, but the embodiments are each embodiment so that various modifications can be made. All or part of them may be selectively combined and configured.

100 : 실시간 영상 기반 객체 탐지 장치
210 : 특징추출부
220 : 객체검출부
230 : 객체정합부
240 : 템플릿 관리부
250 : 템플릿 매칭부100: real-time image-based object detection device
210: feature extraction unit
220: object detection unit
230: object matching unit
240: template management unit
250: template matching unit

Claims (20)

영상프레임을 입력받는 단계;
상기 영상프레임에서 특징을 추출하는 단계;
추출된 상기 특징에 기반하여 객체를 탐지하는 단계;
추출된 상기 특징에 기반하여 템플릿과 매칭하는 단계;
상기 객체 탐지 결과와 상기 템플릿 매칭 결과를 정합하는 단계; 및
상기 정합 결과를 출력하는 단계; 를 포함하는 실시간 영상기반 객체 탐지 방법.receiving an image frame;
extracting features from the image frame;
detecting an object based on the extracted features;
matching a template based on the extracted features;
matching the object detection result and the template matching result; and
outputting the matching result; A real-time image-based object detection method comprising a. 청구항 1에 있어서,
상기 템플릿은,
이전 영상프레임에서 탐지된 객체의 특징 또는 영역 중 어느 하나 이상인 것을 특징으로 하는 실시간 영상기반 객체 탐지 방법.The method according to claim 1,
The template is
A real-time image-based object detection method, characterized in that at least one of the features or regions of the object detected in the previous image frame. 청구항 1에 있어서,
상기 정합 결과와 기존에 저장된 템플릿을 비교하여, 신규로 탐지된 객체인 경우 해당 객체에 관한 정보를 템플릿으로 저장하고, 기존에 저장된 템플릿에 상응하는 객체인 경우 상기 정합 결과에 기반한 신규 정보로 기존에 저장된 템플릿을 갱신하는 단계; 를 더 포함하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 방법.The method according to claim 1,
By comparing the matching result with the previously stored template, information on the object is stored as a template in case of a newly detected object, and new information based on the matching result in the case of an object corresponding to the previously stored template. updating the stored template; Real-time image-based object detection method further comprising a. 청구항 1에 있어서,
임의로 설정된 일정 시간 또는 프레임 동안 탐지되지 않은 템플릿을 제거하는 단계; 를 더 포함하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 방법.The method according to claim 1,
removing templates that have not been detected for a predetermined time or frame arbitrarily set; Real-time image-based object detection method further comprising a. 청구항 1에 있어서,
상기 특징을 추출하는 단계는,
사용자의 설정에 의한 디자인 또는 딥러닝망을 통한 디자인에 기반하여 추출하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 방법.The method according to claim 1,
The step of extracting the feature is
A real-time image-based object detection method, characterized in that the extraction is based on a design by a user's setting or a design through a deep learning network. 청구항 1에 있어서,
상기 객체를 탐지하는 단계는,
추출된 상기 특징을 기반으로 딥러닝망을 이용하여 상기 객체를 탐지하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 방법.The method according to claim 1,
Detecting the object comprises:
A real-time image-based object detection method, characterized in that the object is detected using a deep learning network based on the extracted features. 청구항 1에 있어서,
상기 템플릿과 매칭하는 단계는,
딥러닝망을 이용하여 매칭하되, 추출된 상기 특징과 상기 템플릿을 입력으로, 컨볼루션(Convolution) 연산을 수행하고, 코릴레이션 필터링(Correlation filtering)을 수행하여 매칭하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 방법.The method according to claim 1,
The step of matching with the template is
A real-time image-based object, characterized in that matching using a deep learning network, performing a convolution operation with the extracted features and the template as inputs, and performing correlation filtering to match detection method. 청구항 7에 있어서,
상기 템플릿과 매칭하는 단계는,
상기 템플릿에 지정된 객체의 영역을 찾기 위한 제1 코릴레이션 필터(Correlation filter)와 상기 객체의 종류를 분류하기 위한 제2 코릴레이션 필터(Correlation filter)를 생성하고, 상기 제1 코릴레이션 필터 및 제2 코릴레이션 필터를 통하여 코릴레이션 필터링(Correlation filtering)을 수행하여 매칭하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 방법.8. The method of claim 7,
The step of matching with the template is
A first correlation filter for finding a region of the object specified in the template and a second correlation filter for classifying the type of the object are generated, and the first correlation filter and the second correlation filter are generated. A real-time image-based object detection method, characterized in that matching is performed by performing correlation filtering through a correlation filter. 청구항 1에 있어서,
상기 정합하는 단계는,
상기 객체 탐지 결과에 포함된 객체와 상기 템플릿 매칭 결과에 포함된 객체를 합집합 방식으로 정합하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 방법.The method according to claim 1,
The matching step is
A real-time image-based object detection method, characterized in that the object included in the object detection result and the object included in the template matching result are matched in a union method. 청구항 1에 있어서,
상기 출력하는 단계는,
상기 정합 결과에 기반하여 탐지된 객체 또는 영역에 관한 시각적인 표시와 탐지된 객체의 종류 등에 대한 시각적인 표시를 상기 영상 프레임에 오버레이하여 출력하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 방법.The method according to claim 1,
The output step is
A real-time image-based object detection method, characterized in that based on the matching result, a visual display of a detected object or region and a visual display of a type of the detected object are overlaid on the image frame and output. 하나 이상의 프로세서; 및
상기 하나 이상의 프로세서에 의해 실행되는 적어도 하나 이상의 프로그램을 저장하는 실행메모리;
를 포함하고,
상기 적어도 하나 이상의 프로그램은,
영상프레임을 입력받고, 상기 영상프레임에서 특징을 추출하고, 추출된 상기 특징에 기반하여 객체를 탐지하고, 추출된 상기 특징에 기반하여 템플릿과 매칭하고, 상기 객체 탐지 결과와 상기 템플릿 매칭 결과를 정합하고, 상기 정합 결과를 출력하는 실시간 영상기반 객체 탐지 장치.one or more processors; and
an execution memory for storing at least one or more programs executed by the one or more processors;
including,
The at least one program,
Receive an image frame, extract a feature from the image frame, detect an object based on the extracted feature, match a template based on the extracted feature, and match the object detection result with the template matching result And, a real-time image-based object detection device for outputting the matching result. 청구항 11에 있어서,
상기 템플릿은,
이전 영상프레임에서 탐지된 객체의 특징 또는 영역 중 어느 하나 이상인 것을 특징으로 하는 실시간 영상기반 객체 탐지 장치.12. The method of claim 11,
The template is
A real-time image-based object detection apparatus, characterized in that at least one of the features or regions of the object detected in the previous image frame. 청구항 11에 있어서,
상기 적어도 하나 이상의 프로그램은,
상기 정합 결과와 기존에 저장된 템플릿을 비교하여, 신규로 탐지된 객체인 경우 해당 객체에 관한 정보를 템플릿으로 저장하고, 기존에 저장된 템플릿에 상응하는 객체인 경우 상기 정합 결과에 기반한 신규 정보로 기존에 저장된 템플릿을 갱신하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 장치.12. The method of claim 11,
The at least one or more programs,
By comparing the matching result with the previously stored template, information on the object is stored as a template in case of a newly detected object, and new information based on the matching result in the case of an object corresponding to the previously stored template. Real-time image-based object detection apparatus, characterized in that for updating the stored template. 청구항 11에 있어서,
상기 적어도 하나 이상의 프로그램은,
임의로 설정된 일정 시간 또는 프레임 동안 탐지되지 않은 템플릿을 제거하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 장치.12. The method of claim 11,
The at least one or more programs,
A real-time image-based object detection device, characterized in that the undetected template is removed for a predetermined time or frame arbitrarily set. 청구항 11에 있어서,
상기 적어도 하나 이상의 프로그램은,
사용자의 설정에 의한 디자인 또는 딥러닝망을 통한 디자인에 기반하여, 상기 영상프레임에서 특징을 추출하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 장치.12. The method of claim 11,
The at least one or more programs,
A real-time image-based object detection device, characterized in that the feature is extracted from the image frame based on a design by a user's setting or a design through a deep learning network. 청구항 11에 있어서,
상기 적어도 하나 이상의 프로그램은,
추출된 상기 특징을 기반으로 딥러닝망을 이용하여 상기 객체를 탐지하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 장치.12. The method of claim 11,
The at least one or more programs,
A real-time image-based object detection apparatus, characterized in that the object is detected using a deep learning network based on the extracted characteristics. 청구항 11에 있어서,
상기 적어도 하나 이상의 프로그램은,
추출된 상기 특징을 기반으로 상기 템플릿과 딥러닝망을 이용하여 매칭하되, 추출된 상기 특징과 상기 템플릿을 입력으로, 컨볼루션(Convolution) 연산을 수행하고, 코릴레이션 필터링(Correlation filtering)을 수행하여 매칭하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 장치.12. The method of claim 11,
The at least one or more programs,
Based on the extracted features, matching using the template and a deep learning network, using the extracted features and the template as inputs, performing a convolution operation, and performing correlation filtering A real-time image-based object detection device, characterized in that matching. 청구항 17에 있어서,
상기 적어도 하나 이상의 프로그램은,
상기 템플릿에 지정된 객체의 영역을 찾기 위한 제1 코릴레이션 필터(Correlation filter)와 상기 객체의 종류를 분석하기 위한 제2 코릴레이션 필터(Correlation filter)를 생성하고, 상기 제1 코릴레이션 필터 및 제2 코릴레이션 필터를 통하여 코릴레이션 필터링(Correlation filtering)을 수행하여 매칭하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 장치.18. The method of claim 17,
The at least one or more programs,
A first correlation filter for finding the region of the object specified in the template and a second correlation filter for analyzing the type of the object are generated, and the first correlation filter and the second correlation filter are generated. A real-time image-based object detection apparatus, characterized in that matching is performed by performing correlation filtering through a correlation filter. 청구항 11에 있어서,
상기 적어도 하나 이상의 프로그램은,
상기 객체 탐지 결과에 포함된 객체와 상기 템플릿 매칭 결과에 포함된 객체를 합집합 방식으로 정합하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 장치.12. The method of claim 11,
The at least one or more programs,
The real-time image-based object detection apparatus, characterized in that the object included in the object detection result and the object included in the template matching result are matched in a union method. 청구항 11에 있어서,
상기 적어도 하나 이상의 프로그램은,
상기 정합 결과에 기반하여 객체 또는 영역에 관한 시각적인 표시와 탐지된 객체의 종류 등에 대한 시각적인 표시를 상기 영상프레임에 오버레이하여 출력하는 것을 특징으로 하는 실시간 영상기반 객체 탐지 장치.12. The method of claim 11,
The at least one or more programs,
A real-time image-based object detection apparatus, characterized in that based on the matching result, a visual display of an object or region and a visual display of a type of the detected object are overlaid on the image frame and output.
KR1020200011079A 2020-01-30 2020-01-30 Method and apparatus of detecting object based on real time video KR20210097415A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200011079A KR20210097415A (en) 2020-01-30 2020-01-30 Method and apparatus of detecting object based on real time video

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200011079A KR20210097415A (en) 2020-01-30 2020-01-30 Method and apparatus of detecting object based on real time video

Publications (1)

Publication Number Publication Date
KR20210097415A true KR20210097415A (en) 2021-08-09

Family

ID=77313320

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200011079A KR20210097415A (en) 2020-01-30 2020-01-30 Method and apparatus of detecting object based on real time video

Country Status (1)

Country Link
KR (1) KR20210097415A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150067193A (en) 2012-09-12 2015-06-17 아비질론 포트리스 코퍼레이션 Methods, devices and systems for detecting objects in a video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150067193A (en) 2012-09-12 2015-06-17 아비질론 포트리스 코퍼레이션 Methods, devices and systems for detecting objects in a video

Similar Documents

Publication Publication Date Title
WO2019218824A1 (en) Method for acquiring motion track and device thereof, storage medium, and terminal
WO2019047789A1 (en) Augmented reality scene related processing method, terminal device and system and computer storage medium
JP6446971B2 (en) Data processing apparatus, data processing method, and computer program
KR102433393B1 (en) Apparatus and method for recognizing character in video contents
CN106991395B (en) Information processing method and device and electronic equipment
KR101179497B1 (en) Apparatus and method for detecting face image
WO2016187888A1 (en) Keyword notification method and device based on character recognition, and computer program product
CN111382637B (en) Pedestrian detection tracking method, device, terminal equipment and medium
CN111695540A (en) Video frame identification method, video frame cutting device, electronic equipment and medium
CN110691202A (en) Video editing method, device and computer storage medium
US10360441B2 (en) Image processing method and apparatus
CN113052169A (en) Video subtitle recognition method, device, medium, and electronic device
EP3091507A1 (en) Object recognition apparatus and control method therefor
US20220301317A1 (en) Method and device for constructing object motion trajectory, and computer storage medium
US20110280442A1 (en) Object monitoring system and method
CN113283408A (en) Monitoring video-based social distance monitoring method, device, equipment and medium
CN110942456B (en) Tamper image detection method, device, equipment and storage medium
CN111881740A (en) Face recognition method, face recognition device, electronic equipment and medium
US9286707B1 (en) Removing transient objects to synthesize an unobstructed image
JP2020017136A (en) Object detection and recognition apparatus, method, and program
KR20210097415A (en) Method and apparatus of detecting object based on real time video
US9767347B2 (en) Analysis processing system
US11462040B2 (en) Distractor classifier
KR100434907B1 (en) Monitoring system including function of figure acknowledgement and method using this system
KR102285269B1 (en) Image analysis apparatus and method for utilizing the big data base GEO AI

Legal Events

Date Code Title Description
A201 Request for examination