KR102446832B1 - Object detection system in image and method thereof - Google Patents

Object detection system in image and method thereof Download PDF

Info

Publication number
KR102446832B1
KR102446832B1 KR1020210183052A KR20210183052A KR102446832B1 KR 102446832 B1 KR102446832 B1 KR 102446832B1 KR 1020210183052 A KR1020210183052 A KR 1020210183052A KR 20210183052 A KR20210183052 A KR 20210183052A KR 102446832 B1 KR102446832 B1 KR 102446832B1
Authority
KR
South Korea
Prior art keywords
interest
image
classifying
module
setting
Prior art date
Application number
KR1020210183052A
Other languages
Korean (ko)
Inventor
김승모
Original Assignee
김승모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김승모 filed Critical 김승모
Priority to KR1020210183052A priority Critical patent/KR102446832B1/en
Application granted granted Critical
Publication of KR102446832B1 publication Critical patent/KR102446832B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

Provided is an object detection system in an image, which includes: an image collection unit for collecting images from a photographing device; a DB for storing the collected images; an object detection unit for classifying and detecting objects from the collected images and setting an object of interest; and an image editing unit for generating a list of the set object of interest and a summary image. According to the present invention, the object of interest is set by detecting the object in an image and classifying the detected object, and a list of set objects of interest and a summary image can be generated.

Description

영상내 객체 검출 시스템 및 그 방법{Object detection system in image and method thereof}Object detection system in image and method thereof

본 발명은 영상내 객체 검출 시스템 및 그 방법에 관한 것으로, 특히 영상내 객체를 검출하고 검출된 객체를 분류하여 관심객체를 설정하고, 설정된 관심객체의 리스트 및 요약영상을 생성하는 시스템 및 방법에 관한 것이다The present invention relates to a system and method for detecting an object in an image, and more particularly, to a system and method for detecting an object in an image, classifying the detected object, setting an object of interest, and generating a list of set objects of interest and a summary image will be

최근 일상 생활 속에서 CCTV, 블랙박스 등의 영상 장비가 널리 사용되고 있다. 상기 영상 장비에 의해 촬영된 비디오는 다양한 분야에서 유용하게 사용되는 데, 특히 보안, 범죄 수사 등 치안 부분에서 활발히 이용되고 있다. 예를 들어, 용의자 혹은 실종자의 이동 경로 등을 효율적으로 파악하기 위해 다수의 영상 장비의 비디오를 이용한다. 그러나, 비디오의 길이가 긴 경우 촬영된 영상을 끝까지 모니터링해야하는 불편이 있다. Recently, video equipment such as CCTV and black box is widely used in daily life. The video captured by the imaging device is usefully used in various fields, and in particular, is actively used in the public order, such as security and criminal investigation. For example, video from multiple video equipment is used to efficiently identify the movement path of a suspect or missing person. However, when the length of the video is long, it is inconvenient to monitor the captured image until the end.

또한, 대규모의 입력 영상에서 사용자가 원하는 타겟 객체를 검색하기 위해서는 많은 시간이 소요되는 문제점이 있다.Also, there is a problem in that it takes a lot of time to search for a target object desired by a user from a large-scale input image.

특허공개공보 제10-2008-0082963호Patent Publication No. 10-2008-0082963

본 발명은 영상내 객체를 검출하고 검출된 객체를 분류하여 관심객체를 설정하고, 설정된 관심객체의 리스트 및 요약영상을 생성하는 것을 목적으로 한다.An object of the present invention is to detect an object in an image, classify the detected object, set an object of interest, and generate a list of the set object of interest and a summary image.

상기 과제를 달설하기 위한 본 발명에 따른 영상내 객체 검출 시스템은, 촬영장치로부터 영상을 수집하는 영상수집부; 상기 수집된 영상을 저장하는 DB; 상기 수집된 영상에서 객체를 분류하여 검출하고 관심객체를 설정하는 객체검출부;및 상기 설정된 관심객체의 리스트 및 요약영상을 생성하는 영상편집부;를 포함하는 점에 그 특징이 있다.In order to achieve the above object, an object detection system in an image according to the present invention includes: an image collecting unit for collecting an image from a photographing device; DB for storing the collected images; It is characterized in that it includes an object detection unit that classifies and detects objects from the collected images and sets an object of interest; and an image editing unit that generates a list of the set object of interest and a summary image.

여기서, 특히 상기 객체검출부는, 상기 검출된 객체를 설정된 분류로 분류하는 객체분류모듈;및 관심객체를 설정하는 객체선택모듈;을 포함하는 점에 그 특징이 있다.Here, in particular, the object detection unit is characterized in that it includes an object classification module for classifying the detected object into a set classification; and an object selection module for setting an object of interest.

여기서, 특히 상기 객체분류모듈은, 설정된 주객체 분류에 따라 주객체별로 분류하여 객체를 검출하는 주객체 분류수단; 상기 분류된 주객체를 설정된 세부객체 분류에 따라 세부객체별로 분류하여 주객체를 분류하는 세부객체 분류수단;및 상기 분류된 세부객체를 설정된 세부객체요소 분류에 따라 세부객체요소별로 분류하여 세부객체를 분류하는 세부객체요소 분류수단;을 포함하는 점에 그 특징이 있다.Here, in particular, the object classification module may include: main object classification means for classifying by main object according to the set main object classification and detecting the object; Detailed object classification means for classifying the main object by classifying the classified main object into sub-objects according to the set sub-object classification; It is characterized in that it includes a means for classifying sub-object elements.

여기서, 특히 상기 영상편집부는, 상기 설정된 관심객체의 리스트를 생성하는 리스트 생성 모듈;및 상기 설정된 관심객체의 요약영상을 생성하는 요약영상 생성 모듈;을 포함하는 점에 그 특징이 있다.Here, in particular, the image editing unit is characterized in that it includes a list generating module that generates a list of the set object of interest; and a summary image generation module that generates a summary image of the set object of interest.

여기서, 특히 상기 영상편집부는, 관심시간을 설정하는 시간설정 모듈; 상기 수집된 영상에서 관심영역을 지정하는 관심영역지정 모듈;및 상기 관심객체의 이동방향을 설정하는 이동방향 설정모듈;을 포함하는 점에 그 특징이 있다.Here, in particular, the image editing unit may include: a time setting module for setting an interest time; It is characterized in that it includes a region of interest designation module for designating a region of interest in the collected image; and a movement direction setting module for setting a moving direction of the object of interest.

또한, 상기 과제를 달성하기 위한 본 발명에 따른 영상내 객체 검출 방법은, 영상을 수집하는 단계; 객체를 검출하는 단계; 객체를 분류하는 단계; 관심객체를 설정하는 단계;및 관심객체의 리스트 및 요약영상을 생성하는 단계;를 포함하는 점에 그 특징이 있다.In addition, a method for detecting an object in an image according to the present invention for achieving the above object includes: collecting an image; detecting an object; classifying the object; It is characterized in that it includes; setting an object of interest; and generating a list of objects of interest and a summary image.

여기서, 특히 상기 객체를 분류하는 단계는, 주객체를 분류하는 단계; 세부객체를 분류하는 단계;및 세부객체요소를 분류하는 단계;를 포함하는 점에 그 특징이 있다.Here, in particular, the step of classifying the object may include: classifying a main object; It is characterized in that it includes the step of classifying the sub-object; and the step of classifying the sub-object element.

여기서, 특히 상기 관심객체의 리스트 및 요약영상을 생성하는 단계는, 관심시간을 설정하는 단계; 관심영역을 지정하는 단계; 관심객체의 이동방향을 설정하는 단계; 관심객체의 리스트를 생성하는 단계;및 관심객체의 요약영상을 생성하는 단계;를 포함하는 점에 그 특징이 있다.Here, in particular, the step of generating the list and summary image of the object of interest includes: setting an interest time; designating a region of interest; setting the moving direction of the object of interest; It is characterized in that it includes; generating a list of objects of interest; and generating a summary image of the objects of interest.

본 발명에 따르면, 영상내 객체를 검출하고 검출된 객체를 분류하여 관심객체를 설정하고, 설정된 관심객체의 리스트 및 요약영상을 생성할 수 있다.According to the present invention, it is possible to detect an object in an image, classify the detected object, set an object of interest, and generate a list of the set object of interest and a summary image.

도 1은 본 발명의 일 실시 예에 따른 영상내 객체 검출 시스템의 구성을 도시한 도면이다.
도 2는 도 1의 객체검출부의 구성을 도시한 도면이다.
도 3은 도 2의 객체분류모듈의 구성을 도시한 도면이다.
도 4는 도 1의 영상편집부의 구성을 도시한 도면이다.
도 5는 본 발명의 일 실시 예로, 수집된 영상을 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 영상내 객체 검출 방법의 순서도를 도시한 도면이다.1 is a diagram illustrating the configuration of a system for detecting an object in an image according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating the configuration of the object detection unit of FIG. 1 .
FIG. 3 is a diagram illustrating the configuration of the object classification module of FIG. 2 .
FIG. 4 is a diagram illustrating the configuration of the image editing unit of FIG. 1 .
5 is a diagram illustrating a collected image according to an embodiment of the present invention.
6 is a flowchart illustrating a method for detecting an object in an image according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Since the present invention can have various changes and can have various embodiments, specific embodiments are illustrated in the drawings and will be described in detail through the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it should be understood to include all modifications, equivalents and substitutes included in the spirit and scope of the present invention.

본 발명을 설명함에 있어 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.In describing the present invention, if it is determined that a detailed description of a related known technology may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, numbers (eg, first, second, etc.) used in the description process of the present specification are merely identification symbols for distinguishing one component from other components.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. In addition, in this specification, when a component is referred to as "connected" or "connected" with another component, the component may be directly connected or directly connected to the other component, but in particular It should be understood that, unless there is a description to the contrary, it may be connected or connected through another element in the middle.

이하, 본 발명의 바람직한 실시 예를 첨부한 도면에 의거하여 상세하게 설명하면 다음과 같다. Hereinafter, a preferred embodiment of the present invention will be described in detail based on the accompanying drawings.

도 1은 본 발명의 일 실시 예에 따른 영상내 객체 검출 시스템의 구성을 도시한 도면이다.1 is a diagram illustrating the configuration of a system for detecting an object in an image according to an embodiment of the present invention.

도 2는 도 1의 객체검출부의 구성을 도시한 도면이다.FIG. 2 is a diagram illustrating the configuration of the object detection unit of FIG. 1 .

도 3은 도 2의 객체분류모듈의 구성을 도시한 도면이다.FIG. 3 is a diagram illustrating the configuration of the object classification module of FIG. 2 .

도 4는 도 1의 영상편집부의 구성을 도시한 도면이다.FIG. 4 is a diagram illustrating the configuration of the image editing unit of FIG. 1 .

도 1 내지 도 4를 참조하면, 본 발명에 따른 영상내 객체 검출 시스템은, 촬영장치(10), 영상수집부(100), DB(200), 객체검출부(300), 영상편집부(400) 및 디스플레이부(500)를 포함하여 구성된다.1 to 4 , the object detection system in an image according to the present invention includes a photographing device 10 , an image collection unit 100 , a DB 200 , an object detection unit 300 , an image editing unit 400 and It is configured to include a display unit (500).

상기 촬영장치(10)는 카메라, CCTV와 같이 건물 내외부, 어린이집, 학교, 공원, 도로, 교차로, 횡단보도, 버스 정류장 등의 감시구역을 촬영하여 모니터링하는 장치로 그 종류에 제한을 두지 않는다.The photographing device 10 is a device for monitoring and photographing monitoring areas such as inside and outside buildings, daycare centers, schools, parks, roads, intersections, crosswalks, bus stops, etc., such as cameras and CCTVs, and the type is not limited.

상기 영상수집부(100)는 상기 촬영장치(10)로부터 영상을 수집한다. The image collection unit 100 collects images from the photographing device 10 .

상기 수집된 영상은 DB(200)에 저장된다.The collected images are stored in the DB 200 .

상기 객체검출부(300)는 상기 수집된 영상에서 객체를 분류하여 검출하고 관심객체를 설정한다.The object detection unit 300 classifies and detects objects from the collected images and sets an object of interest.

상기 객체검출부(300)는 객체분류모듈(310) 및 객체선택모듈(330)을 포함하여 구성된다.The object detection unit 300 includes an object classification module 310 and an object selection module 330 .

상기 객체분류모듈(310)은 상기 수집된 영상에서 검출된 객체를 분류할 수 있다. The object classification module 310 may classify objects detected in the collected images.

상기 객체분류모듈(310)은 주객체 분류수단(311), 세부객체 분류수단(313) 및 세부객체요소 분류수단(315)을 포함하여 구성된다.The object classification module 310 includes a main object classification means 311 , a detailed object classification means 313 , and a detailed object element classification means 315 .

상기 주객체 분류수단(311)은 설정된 주객체 분류에 따라 주객체별로 분류하여 객체를 검출할 수 있다. 상기 주객체 분류는 예를 들어, 차량, 사람, 나무 등으로 분류될 수 있다. 상기 분류는 일 실시 예이며 이에 한정되지 않고, 사용자는 설정으로 주객체 분류의 예시를 설정할 수 있다.The main object classification means 311 may detect an object by classifying it by main object according to a set main object classification. The main object classification may be, for example, a vehicle, a person, a tree, and the like. The classification is an embodiment and is not limited thereto, and the user may set an example of the main object classification by setting.

상기 세부객체 분류수단(313)은 상기 분류된 주객체를 설정된 세부객체 분류에 따라 분류하여 검출할 수 있다. 상기 주객체 '차량'을 버스, 승용차, 트럭과 같이 세부객체로 분류할 수 있다. 또한, 상기 주객체 '사람'을 여자, 남자, 성인, 아이와 같이 세부객체로 분류할 수 있다. 상기 분류는 일 실시 예이며 이에 한정되지 않고, 사용자는 설정으로 세부객체 분류의 예시를 설정할 수 있다.The sub-object classification means 313 may classify and detect the classified main object according to a set sub-object classification. The main object 'vehicle' may be classified into sub-objects such as a bus, a passenger car, and a truck. In addition, the main object 'person' may be classified into sub-objects such as women, men, adults, and children. The classification is an embodiment and is not limited thereto, and a user may set an example of a detailed object classification by setting.

상기 세부객체요소 분류수단(315)은 상기 세부객체를 설정된 세부객체요소에 따라 세부객체요소별 분류하여 검출할 수 있다. 상기 주객체 '차량' 세부객체 '버스'를 빨강, 파랑, 녹색과 같이 세부객체요소 칼라로 분류할 수 있다. 또한, 상기 주객체 '사람' 세부객체 '남자'를 세부객체요소1의 상의, 하의 중 상의, 세부객체요소2 칼라 중 녹색으로 분류할 수 있다. 상기 설명과 같이 세부객체요소는 하나 이상이 지정되어 분류될 수 있다. 상기 분류는 일 실시 예이며 이에 한정되지 않고, 사용자는 설정으로 세부객체요소 분류의 예시를 설정할 수 있다.The sub-object element classification means 315 may classify and detect the sub-object by sub-object element according to a set sub-object element. The main object 'vehicle' and the sub-object 'bus' may be classified into sub-object element colors such as red, blue, and green. In addition, the main object 'person' and the sub-object 'man' may be classified as green among the colors of the upper, lower, and upper of the sub-object element 1 and the sub-object element 2 color. As described above, one or more detailed object elements may be designated and classified. The classification is an embodiment and is not limited thereto, and the user may set an example of the classification of detailed object elements by setting.

상기 객체분류모듈(310)은 주객체 분류수단(311), 세부객체 분류수단(313) 및 세부객체요소 분류수단(315)을 이용하여 객체를 세분화하여 검출할 수 있게 된다.The object classification module 310 can subdivide and detect objects using the main object classification means 311 , the detailed object classification means 313 , and the detailed object element classification means 315 .

상기 분류된 영상은 DB(200)에 저장될 수 있다.The classified images may be stored in the DB 200 .

상기 객체선택모듈(330)은 관심객체를 설정할 수 있다.The object selection module 330 may set an object of interest.

일 실시 예로, 주객체 '사람', 세부객체 '남자', 세부객체요소1 '상의', 세부객체요소2 '녹색'인 관심객체를 설정할 수 있다. 즉, 수집된 영상내에서 '녹색 상의를 입은 남자 사람'만을 검출하고 싶은 경우, 상기에서 설명한 바와 같이 주객체 분류수단(311), 세부객체 분류수단(313) 및 세부객체요소 분류수단(315)을 순서대로 활용하여 관심객체를 설정할 수 있게 된다.As an embodiment, the object of interest that is the main object 'person', the detailed object 'man', the detailed object element 1 'top', and the detailed object element 2 'green' may be set. That is, if it is desired to detect only a 'male person in a green jacket' in the collected images, the main object classification means 311, the detailed object classification means 313, and the detailed object element classification means 315 as described above. can be used in order to set the object of interest.

상기 영상편집부(400)는 상기 설정된 관심객체에 관한 리스트 및 요약영상을 생성한다. The image editing unit 400 generates a list and a summary image of the set object of interest.

상기 리스트 및 요약영상은 DB(200)에 저장될 수 있다.The list and summary image may be stored in the DB 200 .

상기 영상편집부(400)는 시간설정 모듈(410), 관심영역지정 모듈(430), 이동방향 설정모듈(440), 리스트 생성 모듈(450) 및 요약영상 생성 모듈(470)을 포함하여 구성된다.The image editing unit 400 is configured to include a time setting module 410 , a region of interest designation module 430 , a movement direction setting module 440 , a list generating module 450 , and a summary image generating module 470 .

상기 시간설정 모듈(410)은 관심시간을 설정한다. 보다 구체적으로, 수집된 영상에서 설정된 관심객체를 검출시, 관심시간을 설정할 수 있다. 예를 들어, 2021년 12월 5일 17시 부터 18시까지 한시간을 관심시간으로 설정 할 수 있다.The time setting module 410 sets an interest time. More specifically, when an object of interest set in the collected image is detected, an interest time may be set. For example, one hour from 17:00 to 18:00 on December 5, 2021 can be set as the time of interest.

도 5는 본 발명의 일 실시 예로, 수집된 영상을 도시한 도면이다.5 is a diagram illustrating a collected image according to an embodiment of the present invention.

상기 관심영역지정 모듈(430)은 상기 수집된 영상에서 관심영역을 지정한다. 보다 구체적으로 도 5를 참조하면, 상기 관심영역지정 모듈(430)은 도 5의 영상에서 횡단보도 영역을 관심영역으로 설정할 수 있다. 관심영역의 설정은 다양한 방법이 사용될 수 있으며, 일 실시 예로, 포인트 지정으로 관심영역을 설정할 수 있다. 도 5에 도시된 바와 같이, 사용자는 설정하고자 하는 관심영역을 연속적인 동작으로 포인트를 지정하면 제1포인트와 제2포인트 사이 폐루프가 형성되고, 제2포인트와 제3포인트 사이 폐루프가 형성되어 지정한 포인트들 사이 폐루프가 형성되는 방법으로 관심영역 설정이 가능하다. 다만, 관심영역 설정방법은 이에 한정되지 않는다.The region of interest designation module 430 designates a region of interest in the collected images. More specifically, referring to FIG. 5 , the region of interest designation module 430 may set the crosswalk region as the region of interest in the image of FIG. 5 . Various methods may be used to set the region of interest, and in one embodiment, the region of interest may be set by designating a point. As shown in FIG. 5 , when the user designates a region of interest to be set by a continuous operation, a closed loop is formed between the first point and the second point, and a closed loop is formed between the second point and the third point. It is possible to set the region of interest in such a way that a closed loop is formed between the designated points. However, the method for setting the region of interest is not limited thereto.

상기 이동방향 설정모듈(440)은 관심객체의 이동방향을 설정할 수 있다. 이동방향이 설정되면 설정된 방향으로 이동하는 관심객체만을 검출할 수 있게 된다.The movement direction setting module 440 may set the movement direction of the object of interest. When the moving direction is set, only the object of interest moving in the set direction can be detected.

상기 리스트 생성 모듈(450)은 관심객체의 리스트를 생성할 수 있다. 예를들어, 2021년 12월 5일 17시 부터 18시까지 관심영역으로 지정된 횡단보도를 제1이동방향으로 건너는 녹색 상의를 입은 남자 사람을 검출하는 경우, 2021년 12월 5일 17시 부터 18시까지의 영상에서 관심영역으로 지정된 횡단보도를 제1이동방향으로 건너는 녹색 상의를 입은 남자 사람들만의 영상이 검출되고, 상기 관심시간 한시간동안 해당하는 관심객체가 10인 경우, 그에 관한 리스트 10개가 생성될 수 있다. The list generation module 450 may generate a list of objects of interest. For example, if a male person wearing a green shirt is detected crossing a crosswalk designated as an area of interest from 17:00 to 18:00 on December 5, 2021 in the first direction of movement, from 17:00 to 18 on December 5, 2021 In the image up to the time, an image of only men wearing green jackets crossing the crosswalk designated as the region of interest in the first movement direction is detected, and if the object of interest corresponding to the interest time is 10 during the one hour of interest, 10 related lists are generated. can be

상기 요약영상 생성 모듈(470)은 관심객체의 요약영상을 생성한다. 상기 요약영상은 영상수집부(100)에서 수집된 영상에서 설정된 관심객체를 검출하여 관심객체만으로 편집된 요약영상을 의미한다. 예를들어, 2021년 12월 5일 17시 부터 18시까지 한시간의 영상에서 관심영역으로 지정된 횡단보도를 제1이동방향으로 건너는 녹색 상의를 입은 남자 사람들만의 영상은 수분이내로 추려지게 되므로, 수집된 영상내에서 관심객체를 포함하는 필요한 영상을 짧은 시간으로 편집하여 볼 수 있게 된다.The summary image generating module 470 generates a summary image of the object of interest. The summary image means a summary image edited with only the object of interest by detecting the object of interest set in the image collected by the image collection unit 100 . For example, from the one-hour video from 17:00 to 18:00 on December 5, 2021, the video of only men in green shirts crossing the crosswalk designated as the area of interest in the first direction of movement will be selected within minutes, so it is collected It is possible to edit and view the necessary images including the object of interest in the edited image in a short time.

일 실시 예로, 상기 리스트 생성 모듈(450)에서 생성된 리스트 중 하나를 선택하면 해당 관심객체에 대한 요약영상을 스트리밍할 수 있다. As an embodiment, if one of the lists generated by the list generating module 450 is selected, a summary image for the corresponding object of interest may be streamed.

상기 디스플레이부(500)는 상기 리스트 및 요약영상을 디스플레이한다.The display unit 500 displays the list and the summary image.

도 6은 본 발명의 일 실시 예에 따른 영상내 객체 검출 방법의 순서도를 도시한 도면이다.6 is a flowchart illustrating a method for detecting an object in an image according to an embodiment of the present invention.

도 6을 참조하면, 상기 영상내 객체 검출 시스템을 이용한 본 발명에 따른 영상내 객체 검출 방법은, 먼저 촬영장치(100)로부터 영상을 수집하는 단계(S100)가 수행된다. 상기 S100단계는 상기 영상수집부(100)에서 수행된다. 상기 수집된 영상은 DB(200)에 저장된다. Referring to FIG. 6 , in the method for detecting an object in an image according to the present invention using the object detection system in the image, the step of collecting an image from the photographing apparatus 100 ( S100 ) is first performed. The step S100 is performed by the image collecting unit 100 . The collected images are stored in the DB 200 .

이어서, 상기 수집된 영상에서 객체를 검출하는 단계(S200)가 수행된다. S200 단계는 상기 영상수집부(100)에서 수집된 영상에서 객체를 검출한다. S200 단계는 객체검출부(300)에서 수행된다. Then, the step of detecting the object in the collected image (S200) is performed. In step S200, an object is detected in the image collected by the image collecting unit 100 . Step S200 is performed by the object detection unit 300 .

이어서, 객체를 분류하는 단계(S300)가 수행된다. 상기 객체 분류는 객체분류모듈(310)에서 수행된다. 상기 객체 분류는 설정된 객체 분류에 따라 분류될 수 있다. 보다 구체적으로, 상기 S300 단계는 주객체를 분류하는 단계(S310), 세부객체를 분류하는 단계(S330) 및 세부객체요소를 분류하는 단계(S350)를 포함할 수 있다. 상기 객체는 주객체로 분류되고, 상기 주객체는 세부객체로 분류되고, 상기 세부객체는 세부객체요소로 분류될 수 있다. 상기 세부객체요소는 하나이상으로 분류될 수 있다. 상기 주객체 분류는 주객체 분류수단(311), 세부객체 분류는 세부객체 분류수단(313), 세부객체요소는 세부객체요소 분류수단(315)에서 분류될 수 있다. 상세한 설명은 상기 객체분류모듈(310) 설명을 참조한다.Then, the step of classifying the object (S300) is performed. The object classification is performed by the object classification module 310 . The object classification may be classified according to a set object classification. More specifically, the step S300 may include the step of classifying the main object (S310), the step of classifying the sub-object (S330), and the step of classifying the sub-object element (S350). The object may be classified as a main object, the main object may be classified as a sub-object, and the sub-object may be classified as a sub-object element. The sub-object element may be classified into one or more. The main object classification may be performed by the main object classification means 311 , the detailed object classification may be performed by the detailed object classification means 313 , and the detailed object elements may be classified by the detailed object element classification means 315 . For a detailed description, refer to the description of the object classification module 310 .

이어서, 관심객체를 설정하는 단계(S400)가 수행된다. 상기 S400 단계는 객체선택모듈(330)에서 수행된다. 일 실시 예로, 주객체 '사람', 세부객체 '남자', 세부객체요소1 '상의', 세부객체요소2 '녹색'인 관심객체를 설정할 수 있다. 즉, 수집된 영상내에서 '녹색 상의를 입은 남자 사람'만을 검출하고 싶은 경우, 상기에서 설명한 바와 같이 주객체 분류수단(311), 세부객체 분류수단(313) 및 세부객체요소 분류수단(315)을 순서대로 활용하여 객체를 분류하고, 분류된 객체들 중 관심객체를 설정하여 검출할 수 있게 된다.Then, the step of setting the object of interest (S400) is performed. Step S400 is performed by the object selection module 330 . As an embodiment, the object of interest that is the main object 'person', the detailed object 'man', the detailed object element 1 'top', and the detailed object element 2 'green' may be set. That is, if it is desired to detect only a 'male person in a green jacket' in the collected images, the main object classification means 311, the detailed object classification means 313, and the detailed object element classification means 315 as described above. is used in order to classify objects, and among the classified objects, an object of interest can be set and detected.

이어서, 관심객체의 리스트 및 요약영상을 생성하는 단계(S500)가 수행된다. 상기 S500 단계는 영상편집부(400)에서 수행된다. Next, a step ( S500 ) of generating a list of objects of interest and a summary image is performed. The step S500 is performed by the image editing unit 400 .

상기 S500 단계는 관심시간을 설정하는 단계(S510), 관심영역을 지정하는 단계(S530), 관심객체의 이동방향을 설정하는 단계(S550), 관심객체의 리스트를 생성하는 단계(S570) 및 관심객체의 요약영상을 생성하는 단계(S590)을 포함할 수 있다. The step S500 includes the steps of setting a time of interest (S510), designating a region of interest (S530), setting a moving direction of an object of interest (S550), generating a list of objects of interest (S570), and It may include generating a summary image of the object (S590).

상기 관심시간을 설정하는 단계(S510)는 시간설정 모듈(410)에서 수행되고, 관심영역을 지정하는 단계(S530)는 관심영역지정 모듈(430)에서 수행되고, 관심객체의 이동방향을 설정하는 단계(S550)는 이동방향 설정모듈(440)에서 수행되고, 관심객체의 리스트를 생성하는 단계(S570)는 리스트 생성 모듈(450)에서 수행되고, 관심객체의 요약영상을 생성하는 단계(S590)는 요약영상 생성 모듈(470)에서 수해된다. 상세한 설명은 상기 영상편집부(400)의 설명을 참조한다.The step of setting the time of interest (S510) is performed by the time setting module 410, and the step of specifying the area of interest (S530) is performed by the area of interest designation module 430, and setting the moving direction of the object of interest. Step S550 is performed by the movement direction setting module 440, generating a list of the object of interest (S570) is performed by the list generation module 450, and generating a summary image of the object of interest (S590) is solved in the summary image generation module 470 . For a detailed description, refer to the description of the image editing unit 400 .

이어서, 상기 리스트 및 요약영상을 디스플레이하는 단계(S600)가 수행된다. 상기 S600 단계는 디스플레이부(500)에서 수행된다.Then, the step of displaying the list and the summary image (S600) is performed. Step S600 is performed in the display unit 500 .

본 발명의 권리범위는 상술한 실시 예에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시 예로 구현될 수 있다. 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 본다.The scope of the present invention is not limited to the above-described embodiments, but may be implemented in various types of embodiments within the scope of the appended claims. Without departing from the gist of the present invention claimed in the claims, it is considered to be within the scope of the claims of the present invention to the various extents that can be modified by any person skilled in the art to which the invention pertains.

100 촬영장치 200 영상수집부
300 객체검출부 310 객체분류모듈
311 주객체 분류수단 313 세부객체 분류수단
315 세부객체요소 분류수단 330 객체선택모듈
400 영상편집부 410 시간설정 모듈
430 관심영역지정 모듈 440 이동방향 설정모듈
450 리스트 생성 모듈 470 요약영상 생성 모듈
500 디스플레이부100 Recording device 200 Image collecting unit
300 object detection unit 310 object classification module
311 Main object classification means 313 Sub object classification means
315 Detailed object element classification means 330 Object selection module
400 Video editing unit 410 Time setting module
430 ROI designation module 440 Movement direction setting module
450 List creation module 470 Summary image creation module
500 display unit

Claims (8)

촬영장치로부터 영상을 수집하는 영상수집부;
상기 수집된 영상을 저장하는 DB;
상기 수집된 영상에서 객체를 분류하여 검출하고 관심객체를 설정하는 객체검출부;및
상기 설정된 관심객체의 리스트 및 요약영상을 생성하는 영상편집부;를 포함하고,
상기 객체검출부는,
상기 검출된 객체를 설정된 분류로 분류하는 객체분류모듈;및
관심객체를 설정하는 객체선택모듈;을 포함하고,
상기 객체분류모듈은,
설정된 주객체 분류에 따라 주객체별로 분류하여 객체를 검출하는 주객체 분류수단;
상기 분류된 주객체를 설정된 세부객체 분류에 따라 세부객체별로 분류하여 주객체를 분류하는 세부객체 분류수단;및
상기 분류된 세부객체를 설정된 세부객체요소 분류에 따라 세부객체요소별로 분류하여 세부객체를 분류하는 세부객체요소 분류수단;을 포함하고,
상기 영상편집부는,
상기 설정된 관심객체의 리스트를 생성하는 리스트 생성 모듈;
상기 설정된 관심객체의 요약영상을 생성하는 요약영상 생성 모듈;
관심시간을 설정하는 시간설정 모듈;
상기 수집된 영상에서 관심영역을 지정하는 관심영역지정 모듈;및
상기 관심객체의 이동방향을 설정하는 이동방향 설정모듈;을 포함하고,
상기 리스트 생성 모듈에서 생성된 리스트 중 하나를 선택하면 해당 관심객체에 대한 요약영상을 스트리밍하는,
영상내 객체 검출 시스템.an image collection unit for collecting images from a photographing device;
DB for storing the collected images;
An object detection unit for classifying and detecting an object in the collected image and setting an object of interest; And
Including; an image editing unit for generating the set list of interest and a summary image;
The object detection unit,
an object classification module for classifying the detected object into a set classification; and
Including; object selection module for setting the object of interest;
The object classification module,
a main object classification means for classifying the main object according to the set main object classification and detecting the object;
sub-object classification means for classifying the main object by classifying the classified main object into sub-objects according to a set sub-object classification; and
Detailed object element classification means for classifying the detailed object by classifying the classified detailed object by detailed object element according to the set detailed object element classification;
The video editing unit,
a list generating module for generating a list of the set objects of interest;
a summary image generation module for generating a summary image of the set object of interest;
a time setting module for setting an interest time;
A region of interest designation module for designating a region of interest in the collected images; And
Including; a movement direction setting module for setting the movement direction of the object of interest;
When one of the lists generated by the list generation module is selected, a summary image for the object of interest is streamed,
In-image object detection system. 삭제delete 삭제delete 삭제delete 삭제delete 영상을 수집하는 단계;
객체를 검출하는 단계;
객체를 분류하는 단계;
관심객체를 설정하는 단계;및
관심객체의 리스트 및 요약영상을 생성하는 단계;를 포함하고,
상기 객체를 분류하는 단계는,
주객체를 분류하는 단계;
세부객체를 분류하는 단계;및
세부객체요소를 분류하는 단계;를 포함하고,
상기 관심객체의 리스트 및 요약영상을 생성하는 단계는,
관심시간을 설정하는 단계;
관심영역을 지정하는 단계;
관심객체의 이동방향을 설정하는 단계;
관심객체의 리스트를 생성하는 단계;및
관심객체의 요약영상을 생성하는 단계;를 포함하고,
생성된 리스트 중 하나를 선택하면 해당 관심객체에 대한 요약영상을 스트리밍하는,
영상내 객체 검출 방법.collecting images;
detecting an object;
classifying the object;
setting an object of interest; and
Including; generating a list and summary image of the object of interest;
Classifying the object includes:
classifying the main object;
classifying sub-objects; and
Including; classifying the detailed object elements;
The step of generating the list and summary image of the object of interest comprises:
setting an interest time;
designating a region of interest;
setting the moving direction of the object of interest;
generating a list of objects of interest; and
Including; generating a summary image of the object of interest;
If you select one of the generated lists, the summary video for the object of interest is streamed.
A method for detecting objects in an image. 삭제delete 삭제delete
KR1020210183052A 2021-12-20 2021-12-20 Object detection system in image and method thereof KR102446832B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210183052A KR102446832B1 (en) 2021-12-20 2021-12-20 Object detection system in image and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210183052A KR102446832B1 (en) 2021-12-20 2021-12-20 Object detection system in image and method thereof

Publications (1)

Publication Number Publication Date
KR102446832B1 true KR102446832B1 (en) 2022-09-22

Family

ID=83445809

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210183052A KR102446832B1 (en) 2021-12-20 2021-12-20 Object detection system in image and method thereof

Country Status (1)

Country Link
KR (1) KR102446832B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080082963A (en) 2005-11-15 2008-09-12 이슘 리서치 디벨롭먼트 컴퍼니 오브 더 히브루 유니버시티 오브 예루살렘 Method and system for producing a video synopsis
JP2019505063A (en) * 2016-02-01 2019-02-21 シー−アウト プロプライアタリー リミティド Image classification and labeling
KR102336480B1 (en) * 2021-03-04 2021-12-07 주식회사 스누아이랩 Image Processing Apparatus for Automatic Segment Classification and Driving Method Thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080082963A (en) 2005-11-15 2008-09-12 이슘 리서치 디벨롭먼트 컴퍼니 오브 더 히브루 유니버시티 오브 예루살렘 Method and system for producing a video synopsis
JP2019505063A (en) * 2016-02-01 2019-02-21 シー−アウト プロプライアタリー リミティド Image classification and labeling
KR102336480B1 (en) * 2021-03-04 2021-12-07 주식회사 스누아이랩 Image Processing Apparatus for Automatic Segment Classification and Driving Method Thereof

Similar Documents

Publication Publication Date Title
JP5047007B2 (en) Imaging device
KR101935399B1 (en) Wide Area Multi-Object Monitoring System Based on Deep Neural Network Algorithm
KR100879623B1 (en) Automated wide area surveillance system using ptz camera and method therefor
US6900729B2 (en) Thermal signature intensity alarmer
US8687887B2 (en) Image processing method, image processing apparatus, and image processing program
TW201737134A (en) System and method for training object classifier by machine learning
CN101930611B (en) Multiple view face tracking
US20070116364A1 (en) Apparatus and method for feature recognition
CN109409186A (en) Driver assistance system and method for object detection and notice
JP3486229B2 (en) Image change detection device
US10970551B2 (en) Control apparatus and control method for determining relation of persons included in an image, and storage medium storing a program therefor
JP4618062B2 (en) Monitoring device, monitoring system, and monitoring method
US20120189161A1 (en) Visual attention apparatus and control method based on mind awareness and display apparatus using the visual attention apparatus
KR102446832B1 (en) Object detection system in image and method thereof
US20200311438A1 (en) Representative image generation device and representative image generation method
JP6405606B2 (en) Image processing apparatus, image processing method, and image processing program
Kalita et al. Real-time human detection with thermal camera feed using yolov3
KR101937582B1 (en) Safety System for Walkway Monitor
KR102030352B1 (en) Real time tracking system of vehicle base a cognition vehicles number
CN114359776A (en) Flame detection method and device integrating light imaging and thermal imaging
WO2005024726A1 (en) Method for detecting object traveling direction
KR101688910B1 (en) Method and apparatus for masking face by using multi-level face features
Cohen et al. Behavior recognition architecture for surveillance applications
Patil et al. Integrating Artificial Intelligence with Camera Systems for Automated Surveillance and Analysis
Connor et al. Scene understanding and task optimisation using multimodal imaging sensors and context: a real-time implementation