KR20200071799A - object recognition and counting method using deep learning artificial intelligence technology - Google Patents

object recognition and counting method using deep learning artificial intelligence technology Download PDF

Info

Publication number
KR20200071799A
KR20200071799A KR1020180151556A KR20180151556A KR20200071799A KR 20200071799 A KR20200071799 A KR 20200071799A KR 1020180151556 A KR1020180151556 A KR 1020180151556A KR 20180151556 A KR20180151556 A KR 20180151556A KR 20200071799 A KR20200071799 A KR 20200071799A
Authority
KR
South Korea
Prior art keywords
interest
object recognition
area
counting
region
Prior art date
Application number
KR1020180151556A
Other languages
Korean (ko)
Other versions
KR102197946B1 (en
Inventor
이재준
Original Assignee
(주)케이아이오티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)케이아이오티 filed Critical (주)케이아이오티
Priority to KR1020180151556A priority Critical patent/KR102197946B1/en
Publication of KR20200071799A publication Critical patent/KR20200071799A/en
Application granted granted Critical
Publication of KR102197946B1 publication Critical patent/KR102197946B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

According to the present invention, provided is an object recognition and counting method using deep learning artificial intelligence technology, which comprises the steps of: storing deep learning-based object recognition learning results for a plurality of targets of interest; acquiring an image of a space to be analyzed, extracting a frame to be analyzed at a predetermined analysis period, and setting a virtual region of interest including an object recognition region and an object tracking region divided by a counting line in the extracted frame; performing object recognition for the target of interest from the object recognition region through a convolution network, assigning a tracking ID to a predetermined pixel region of the recognized target of interest, tracking a position of the predetermined pixel region, and performing object tracking for the recognized target of interest; and counting the recognized target of interest as passing through the counting line when the predetermined pixel region is recognized from the object tracking region, and transmitting the counting result to a server.

Description

딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법{object recognition and counting method using deep learning artificial intelligence technology}Object recognition and counting method using deep learning artificial intelligence technology}

본 발명은 객체인식 방법에 관한 것으로, 보다 상세하게는, 딥러닝 인공지능 기술을 이용하여 빠르고 정확하게 객체를 인식하고 인식된 객체를 카운팅할 수 있는 방법에 관한 것이다.The present invention relates to an object recognition method, and more particularly, to a method of quickly and accurately recognizing an object and counting the recognized object using deep learning artificial intelligence technology.

스마트시티는 다양한 객체에 대한 인식과 통행량 정보의 등을 수집하여 빅데이터화하는 것을 기초로 하여 구현될 수 있다. 이러한 객체인식과 통행량 정보 등의 수집은 인원계수기, 자전거계수기, 차량계수기, 각종 지능형 CCTV 등을 통하여 이루어질 수 있다.Smart city can be implemented on the basis of collecting and recognizing various objects and traffic information. Collection of such object recognition and traffic information can be accomplished through a person counter, a bicycle counter, a vehicle counter, and various intelligent CCTVs.

인원계수기는 적외선 센서를 이용하는 방법, 2D 또는 3D 카메라를 이용하여 촬영된 영상을 분석하여 인원수를 카운팅하는 방법이 주로 이용되고 있다. 더 나아가서는 인원계수 분야에서는 안면인식 계수기능까지 부가되어 중복인원을 체크하거나 특정인에 대한 계수 등 다양한 기능이 추가되고 있다.A person counter is a method of using an infrared sensor, a method of counting the number of persons by analyzing an image captured using a 2D or 3D camera. Furthermore, in the field of personnel counting, a facial recognition counting function has been added, and various functions such as checking the number of duplicated persons or counting for a specific person are being added.

그리고 차량계수기는 현재 고속도로(특히, 톨게이트)와 국도 등의 도로에 설치된 CCTV를 통하여 획득되는 영상을 분석하여 차량을 카운팅하는 방식으로 이미 보편화되어 있으며, 자전거계수기는 최근 법률에 의하여 자전거 통행량 수집이 의무화되어 여러 곳에 설치되어 운영되고 있다.In addition, vehicle counters are already common in the way of counting vehicles by analyzing images obtained through CCTV installed on roads such as highways (especially toll gates) and national highways, and bicycle counters are required to collect bicycle traffic in accordance with recent laws. It is installed and operated in various places.

또한, 지능형 CCTV는 장애인 주차구역을 관리하는 자동감시 장치로 활용되거나, 로봇 작업반경 내로 객체가 접근하는 것을 알람하여 안전사고를 방지하거나, 우범지역에서의 범죄가능 여부를 분석하거나, 주요지점에서의 교통정보를 분석하는 등 다양한 용도로 실생활 및 산업현장에서 널리 이용되고 있다.In addition, the intelligent CCTV is used as an automatic monitoring device to manage the parking area for the disabled, or it prevents safety accidents by alarming the object approaching to the robot working radius, analyzes the possibility of crime in an offense area, It is widely used in real life and industrial sites for various purposes such as analyzing traffic information.

이러한 장치들을 통한 정보의 수집에서 중요한 점은 획득되는 정보의 실시간성과 빠른 속도 정보 획득의 최적화 또는 효율성에 있다고 할 것이다. 이를 위하여 다양한 실시간 객체인식 기술들이 개발되어 활용되고 있다. 그러나 이러한 객체인식 기술들은 인간의 비쥬얼 시스템(human visual system)과 같이 어떤 이미지를 보았을 때 이미지 내에 있는 객체들의 디테일(즉, 객체가 무엇인지, 객체가 어디에 위치하는지, 객체들은 어떤 관계에 있는지 등)을 한 번에 파악할 수 있는 기술의 구현은 쉽게 이루어지지 않고 있다.An important point in the collection of information through these devices is that the real-time performance of the acquired information and the optimization or efficiency of the fast-speed information acquisition. To this end, various real-time object recognition technologies have been developed and utilized. However, these object recognition techniques are the details of the objects in an image when viewing a certain image, such as the human visual system (that is, what the object is, where the object is located, how the objects are related, etc.) It is not easy to implement a technology that can grasp at a time.

이에 본 발명이 해결하고자 하는 기술적 과제는, 컨벌루션 신경 네트워크 아키텍처를 이용하는 딥러닝 인공지능 기술을 통하여 실시간으로 분석대상공간에서의 객체를 인식하고 인식된 객체에 대한 카운팅 기능을 빠르고 효율적으로, 인간의 비쥬얼 시스템에 준하여 한번에, 수행할 있는 방법을 제공하는 것이다.Accordingly, the technical problem to be solved by the present invention is to recognize objects in an analysis object space in real time through a deep learning artificial intelligence technology using a convolutional neural network architecture, and quickly and efficiently counting functions for the recognized objects. It is to provide a method that can be performed at a time according to the system.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The technical problems to be achieved by the present invention are not limited to the technical problems mentioned above, and other technical problems that are not mentioned can be clearly understood by those skilled in the art from the following description. There will be.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법은, 복수의 관심대상에 대한 딥러닝 기반의 객체인식 학습결과를 저장하는 단계; 분석대상공간의 영상을 획득하여 일정분석주기로 분석대상 프레임을 추출하고, 상기 추출된 프레임에 카운팅라인으로 구분되는 객체인식영역과 객체추적영역을 포함하는 가상의 관심영역을 설정하는 단계; 컨벌루션 네트워크(convolution network)를 통해 상기 객체인식영역에서 관심대상에 대한 객체인식을 수행하고, 상기 인식된 관심대상의 일정 픽셀영역에 추적 아이디를 할당하여 상기 일정 픽셀영역의 위치를 추적하여 상기 인식된 관심대상에 대한 객체추적을 수행하는 단계; 및 상기 일정 픽셀영역이 상기 객체추적영역에서 인식되면 상기 인식된 관심대상이 상기 카운팅 라인을 통과한 것으로 카운팅하고, 상기 카운팅 결과를 서버로 전송하는 단계를 포함할 수 있다.The object recognition and counting method using the deep learning artificial intelligence technology according to the present invention for solving the above technical problem comprises: storing a result of deep learning based object recognition learning for a plurality of interests; Acquiring an image of an analysis object space, extracting an analysis object frame at a predetermined analysis cycle, and setting a virtual region of interest including an object recognition area and an object tracking area separated by a counting line in the extracted frame; Object recognition for an object of interest is performed in the object recognition area through a convolution network, and a tracking ID is assigned to a predetermined pixel area of the recognized object of interest to track the position of the predetermined pixel area to recognize the recognized object. Performing object tracking for an object of interest; And when the predetermined pixel area is recognized in the object tracking area, counting the recognized object of interest as having passed the counting line, and transmitting the counting result to a server.

이때, 객체인식은 신경처리유닛(neural processing unit)에 의하여 수행되며, 객체추적 및 카운팅은 중앙처리유닛(central processing unit)에 의하여 수행되는 것이 바람직하다.At this time, object recognition is performed by a neural processing unit, and object tracking and counting are preferably performed by a central processing unit.

상기 관심대상에 대한 객체인식을 수행하는 단계는, 상기 추출된 프레임의 상기 객체인식영역을 복수의 그리드(grid)로 분할한 다음, 싱글(single) 컨벌루션 네트워크를 통해 복수의 경계박스(bounding box)와 상기 복수의 경계박스에 대한 신뢰도(confidence) 및 객체클래스에 대한 확률값(class probability)을 추정하는 YOLO(You Only Look Once) 네트워크 아키텍처(network architecture)에 의하여 실시간으로 수행하는 단계를 포함할 수 있다.In the step of performing object recognition for the object of interest, the object recognition area of the extracted frame is divided into a plurality of grids, and then a plurality of bounding boxes through a single convolutional network. And performing in real time by a You Only Look Once (YOLO) network architecture that estimates the reliability of the plurality of bounding boxes and the class probability for the object class. .

상기 객체인식 및 카운팅 방법은, 상기 분석대상 공간에서의 상기 복수의 관심대상의 통행량을 반영하여 상기 상기 추출된 프레임에 설정되는 상기 가상의 관심영역을 가변하는 단계를 더 포함할 수 있다. 그리고 상기 가상의 관심영역을 가변하는 단계는, 상기 객체인식영역과 상기 객체추적영역에 대해 선택가능한 복수의 영역 쌍의 패턴을 미리 설정하는 단계; 상기 객체인식영역에 상기 복수의 관심대상이 진입할 가능성을 판단하기 위한 객체감지영역을 설정하는 단계; 및 상기 객체감지영역에 객체가 인식되면, 상기 인식된 객체의 위치에 따라 상기 복수의 영역 쌍 중 상기 인식된 객체에 대응되는 영역 쌍을 선택하여 상기 가상의 관심영역을 가변하는 단계를 포함할 수 있다.The object recognition and counting method may further include changing the virtual region of interest set in the extracted frame by reflecting the traffic volume of the plurality of objects of interest in the analysis object space. And the step of varying the virtual region of interest may include: presetting a pattern of a plurality of region pairs selectable for the object recognition region and the object tracking region; Setting an object detection area for determining a possibility that the plurality of objects of interest enter the object recognition area; And when an object is recognized in the object detection area, selecting an area pair corresponding to the recognized object among the plurality of area pairs according to the recognized object position to vary the virtual region of interest. have.

이때, 상기 복수의 영역 쌍 중 가장 큰 영역 쌍의 카운팅 라인은, 상기 복수의 영역 쌍 중 나머지 영역 쌍들의 객체인식영역과 객체추적영역을 구분하는 카운팅 라인을 포함하는 것이 바람직하다.In this case, the counting line of the largest region pair among the plurality of region pairs preferably includes a counting line that separates the object recognition region and the object tracking region of the remaining region pairs among the plurality of region pairs.

본 발명에 따른 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법은, 딥러닝 인공지능 기술을 통하여 실시간으로 분석대상공간에서의 객체를 인식하고 인식된 객체에 대한 카운팅 기능을 빠르고 효율적으로 수행할 수 있는 효과를 제공할 수 있다.The object recognition and counting method using the deep learning artificial intelligence technology according to the present invention can recognize objects in the analysis target space in real time through the deep learning artificial intelligence technology and perform the counting function for the recognized objects quickly and efficiently. It can provide an effect.

도 1은 본 발명에 따른 객체인식 및 카운팅 시스템(10)의 구성도이다.
도 2는 본 발명에 따른 객체인식 및 카운팅 시스템(10)에서 수행하는 객체인식 방법을 설명하기 위한 개념도이다.
도 3은 본 발명에 따른 객체인식 및 카운팅 시스템(10)에서 수행되는 객체인식 및 카운팅 방법의 일예를 나타내는 흐름도이다.
도 4는 본 발명에 따른 객체인식 및 카운팅 시스템(10)이 실제로 구현되어 수행하는 객체인식 및 카운팅 방법의 과정을 나타내는 화면을 나타낸다.
도 5는 본 발명에 따른 객체인식 및 카운팅 시스템(10)에서 객체인식에 이용되는 YOLO 디텍팅을 설명하기 위한 개념도이다.
도 6은 본 발명에 따른 객체인식 및 카운팅 시스템(10)에서 가상의 관심영역을 설정하는 방법을 설명하기 위한 개념도이다.1 is a block diagram of an object recognition and counting system 10 according to the present invention.
2 is a conceptual diagram illustrating an object recognition method performed by the object recognition and counting system 10 according to the present invention.
3 is a flowchart illustrating an example of an object recognition and counting method performed in the object recognition and counting system 10 according to the present invention.
4 shows a screen showing a process of an object recognition and counting method performed by the object recognition and counting system 10 according to the present invention.
5 is a conceptual diagram for explaining YOLO detection used for object recognition in the object recognition and counting system 10 according to the present invention.
6 is a conceptual diagram illustrating a method of setting a virtual region of interest in the object recognition and counting system 10 according to the present invention.

본 발명과 본 발명의 동작상 또는 기능상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.In order to fully understand the present invention and the operational or functional advantages of the present invention and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the contents described in the accompanying drawings, which illustrate preferred embodiments of the present invention.

이하, 첨부한 도면들을 참조하여, 본 발명을 보다 상세하게 설명하고자 한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings. The present invention can be applied to various changes and may have various forms, and specific embodiments will be illustrated in the drawings and described in detail in the text. However, this is not intended to limit the present invention to a specific disclosure form, and it should be understood that it includes all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대 또는 축소하여 도시한 것일 수 있다.In describing each drawing, similar reference numerals are used for similar components. In the accompanying drawings, the dimensions of the structures may be enlarged or reduced than actual figures for clarity of the present invention.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from other components. For example, the first component may be referred to as a second component without departing from the scope of the present invention, and similarly, the second component may be referred to as a first component. Singular expressions include plural expressions unless the context clearly indicates otherwise.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.In this application, terms such as “include” or “have” are intended to indicate the presence of features, numbers, steps, actions, elements, parts or combinations thereof described in the specification, but one or more other features. It should be understood that the presence or addition possibilities of fields or numbers, steps, actions, components, parts or combinations thereof are not excluded in advance.

또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Also, unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by a person skilled in the art to which the present invention pertains. Terms, such as those defined in a commonly used dictionary, should be interpreted as having meanings consistent with meanings in the context of related technologies, and should not be interpreted as ideal or excessively formal meanings unless explicitly defined in the present application. Does not.

도 1은 본 발명에 따른 객체인식 및 카운팅 시스템(10)의 구성도이다. 도 1을 참조하면, 상기 객체인식 및 카운팅 시스템(10)은 카메라(20), 분석단말기(30) 및 통합서버(50)로 구성된다. 한편, 상기 객체인식 및 카운팅 시스템(10)의 구성요소들이 필수적인 것은 아니어서, 상기 객체인식 및 카운팅 시스템(10)은 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수도 있다. 이는 상기 객체인식 및 카운팅 시스템(10)을 구성하는 각 구성 요소들에 대해서도 마찬가지이다. 이하 각 구성요소들에 대해서 보다 상세히 살펴본다.1 is a block diagram of an object recognition and counting system 10 according to the present invention. Referring to Figure 1, the object recognition and counting system 10 is composed of a camera 20, an analysis terminal 30 and an integrated server 50. On the other hand, since the components of the object recognition and counting system 10 are not essential, the object recognition and counting system 10 may have more components or less components. This is the same for each component constituting the object recognition and counting system 10. Hereinafter, each component will be described in more detail.

상기 카메라(20)는 객체인식 및 카운팅에 필요한 분석대상공간에 대한 영상을 획득할 수 있다. 상기 분석단말기(30)는 본 시스템의 핵심 구성요소로써 상기 카메라(20)에 의하여 획득된 영상을 분석하여 관심대상에 대한 객체인식과 카운팅 기능을 수행할 수 있다. 상기 통합서버(50)는 상기 분석단말기(30)로부터 객체인식 및 카운팅 결과를 분석하고 관련 기관 또는 장치(예컨대, 상황실이나 담당자의 PC 등)으로 전송할 수 있다.The camera 20 may acquire an image of an analysis target space required for object recognition and counting. The analysis terminal 30 may perform an object recognition and counting function for an object of interest by analyzing an image acquired by the camera 20 as a core component of the system. The integrated server 50 may analyze the object recognition and counting results from the analysis terminal 30 and transmit them to a related institution or device (eg, a situation room or a person in charge of the PC).

상기 분석단말기(30)에는 복수의 관심대상에 대한 딥러닝(deep learning) 기반의 객체인식 학습결과를 저장하고 있어, 상기 분석단말기(30)는 상기 획득된 영상에서 인식되는 관심대상에 대한 객체인식 기능을 수행할 수 있다. 객체인식 방법은 YOLO(You Only Look Once) 신경 네트워크(neural network) 아키텍처에 의하여 수행될 수 있다. 이에 대해서는 향후 도 3 내지 도 6을 참조하여 보다 상세히 살펴본다.The analysis terminal 30 stores deep learning-based object recognition learning results for a plurality of objects of interest, so that the analysis terminal 30 recognizes objects of interests recognized in the acquired image. Can perform a function. The object recognition method may be performed by a You Only Look Once (YOLO) neural network architecture. This will be described in more detail with reference to FIGS. 3 to 6 in the future.

도 2는 본 발명에 따른 객체인식 및 카운팅 시스템(10)에서 수행하는 객체인식 방법을 설명하기 위한 개념도이다.2 is a conceptual diagram for explaining an object recognition method performed by the object recognition and counting system 10 according to the present invention.

먼저, 상기 분석단말기(30)에는 복수의 관심대상에 대한 이미지를 입력받아 딥러닝 기반으로 이들에 대한 객체인식 학습결과가 저장되어 있다. 이 상태에서 상기 분석단말기(30)는 상기 카메라(20)에 의하여 획득되는 영상에서 분석대상 프레임을 추출하여 컨벌루션 네트워크(convolution network) 기반의 객체인식을 수행한 다음, 가장 신뢰도 또는 가능성이 높은 관심객체를 상기 분석대상 프레임에서 인식되는 객체를 선택할 수 있다. 도 2에서는 객체인식 결과 가장 신뢰도 95%로 가장 높은 차량이 상기 분석대상 프레임에서 인식되는 것으로 판단되었다.First, the analysis terminal 30 receives images of a plurality of objects of interest and stores object recognition learning results for them based on deep learning. In this state, the analysis terminal 30 extracts a frame to be analyzed from the image obtained by the camera 20, performs object recognition based on a convolution network, and then the object of interest with the highest reliability or possibility The object recognized in the analysis target frame may be selected. In FIG. 2, it is determined that the vehicle having the highest reliability of 95% is recognized in the analysis target frame as a result of object recognition.

도 3은 본 발명에 따른 객체인식 및 카운팅 시스템(10)에서 수행되는 객체인식 및 카운팅 방법의 일예를 나타내는 흐름도이다. 도 4는 본 발명에 따른 객체인식 및 카운팅 시스템(10)이 실제로 구현되어 수행하는 객체인식 및 카운팅 방법의 과정을 나타내는 화면을 나타낸다. 이하 필요한 도면들을 참조하여 상기 객체인식 및 카운팅 방법을 살펴본다.3 is a flowchart illustrating an example of an object recognition and counting method performed in the object recognition and counting system 10 according to the present invention. 4 shows a screen showing a process of an object recognition and counting method performed by the object recognition and counting system 10 according to the present invention. Hereinafter, the object recognition and counting method will be described with reference to necessary drawings.

먼저, 상기 분석단말기(30)에는 복수의 관심대상에 대한 딥러닝 기반의 객체인식 학습결과가 저장된다(S100). 그리고 상기 분석단말기(30)는 상기 카메라(20)에 의하여 획득되는 영상에서 일정주기마다 분석대상 프레임을 추출하고, 상기 추출된 프레임에 카운팅 라인으로 구분되는 객체인식영역과 객체추적 영역을 포함하는 가상의 관심영역을 설정한다.First, deep learning-based object recognition learning results for a plurality of interests are stored in the analysis terminal 30 (S100). In addition, the analysis terminal 30 extracts a frame to be analyzed every period from an image obtained by the camera 20, and includes an object recognition area and an object tracking area separated by counting lines in the extracted frame. Set the region of interest.

상기 객체인식영역은 관심대상에 대한 객체인식이 이루어지는 영역이며 상기 객체추적영역은 관심대상에 대한 객체인식은 수행되지 않고 인식된 관심대상에 대한 추적만이 이루어지는 영역을 말한다. 도 4을 참조하면, 특정 도로의 한 차선을 분석대상공간으로 하여 가상의 관심영역(60)이 설정되어 있고, 상기 가상의 관심영역(60)의 상부는 객체인식영역(61)이며 상기 가상의 관심영역(60)의 하부는 객체추적영역(62)이며, 상기 객체인식영역(61)과 상기 객체추적영역(62)이 카운팅 라인(63)에 의하여 구분되어 있는 것을 알 수 있다.The object recognition area is an area in which object recognition for an object of interest is performed, and the object tracking area is an area in which object recognition for an object of interest is not performed but tracking of the recognized object of interest is performed. Referring to FIG. 4, a virtual region of interest 60 is set using one lane of a specific road as an analysis target space, and an upper portion of the virtual region of interest 60 is an object recognition region 61 and the virtual It can be seen that the lower part of the region of interest 60 is the object tracking area 62, and the object recognition area 61 and the object tracking area 62 are separated by a counting line 63.

상기 추출된 분석대상 프레임에 상기 가상의 관심영역이 설정된 다음에는, 상기 분석단말기(30)는 상기 객체인식영역에서 객체가 디텍팅되는지를 체크한다(S120). 객체가 디텍팅되면(YES), 상기 분석단말기(30)는 컨벌루션 네트워크를 통해 상기 객체인식영역에서 관심대상에 대한 객체인식을 수행하고, 상기 인식된 관심대상의 일정 픽셀영역(즉, 일부 픽셀)에 추적 아이디를 할당하고, 상기 일정 픽셀영역의 위치를 추적하여 상기 인식된 관심대상에 대한 객체추적을 수행한다(S130).After the virtual region of interest is set in the extracted analysis target frame, the analysis terminal 30 checks whether an object is detected in the object recognition region (S120). When an object is detected (YES), the analysis terminal 30 performs object recognition for the object of interest in the object recognition area through a convolutional network, and a predetermined pixel area (ie, some pixels) of the recognized object of interest. Assigns a tracking ID to the object, and tracks the position of the predetermined pixel area to perform object tracking for the recognized object of interest (S130).

즉, 상기 분석단말기(30)는 상기 인식된 관심대상에 대응되는 전체 픽셀이 아닌 그 일부에 대한 추적만을 수행하여 상기 인식된 관심대상에 대한 객체추적을 수행할 수 있어, 객체추적에 필요한 연산량을 감소시킴과 동시에 따른 객체추적을 수행할 수 있다. That is, the analysis terminal 30 can perform object tracking for the recognized object of interest by tracking only a portion of the pixel, not all pixels corresponding to the object of interest, so as to calculate the amount of computation required for object tracking. At the same time as reduction, object tracking can be performed.

상기 분석단말기(30)는 상기 인식된 관심대상에 대한 객체추적을 수행하면서 상기 일정 픽셀영역이 상기 객체추적영역에서 인식되는지를(즉, 상기 인식된 관심대상이 카운팅 라인을 통과하는지를) 판단한다(S140). 만약, 상기 일정 픽셀영역이 사기 객체추적영역에서 인식되면(YES), 상기 분석단말기(30)는 상기 인식된 관심대상이 상기 카운팅 라인을 통과한 것으로 카운팅한 다음, 카운팅 결과를 상기 통합서버(50)로 전송한다(S150).The analysis terminal 30 performs object tracking for the recognized object of interest and determines whether the predetermined pixel area is recognized in the object tracking area (ie, whether the recognized object of interest passes through the counting line) ( S140). If the predetermined pixel area is recognized in the fraud object tracking area (YES), the analysis terminal 30 counts that the recognized object of interest has passed the counting line, and then displays the counting result to the integrated server 50. ) (S150).

도 4의 (a)에서는 관심대상인 사람, 자전거, 차량 중 차량이 객체인식영역(61)에서 인식되었으나 아직 카운팅 라인(63)을 통과하지 않아 차량 카운팅이 수행되지 않은 상태를 나타낸다. 그리고 도 4의 (b)에서는 인식된 차량이 상기 카운팅 라인(63)을 통과하였으므로 차량 카운팅 넘버가 16에서 17로 증가한 것을 알 수 있다.In FIG. 4A, a vehicle among persons, bicycles, and vehicles of interest is recognized in the object recognition area 61, but the vehicle counting is not performed because the vehicle has not yet passed the counting line 63. In addition, it can be seen from FIG. 4B that the vehicle counting number has increased from 16 to 17 because the recognized vehicle has passed the counting line 63.

한편, 상기 분석단말기(30)는 객체인식은 신경처리유닛(neural processing unit, 미도시)을 통하여 수행하며, 객체추적 및 카운팅은 중앙처리유닛(central processing unit, 미도시)을 통하여 수행할 수 있다. 이는 상기 분석단말기(30)는 일정주기(예컨대, 0.1초)마다 상기 카메라(20)에 의하여 획득되는 영상에서 분석대상 프레임을 추출하여 객체인식을 수행하여야 하는데, 관심영역을 객체인식영역과 객체추적영역을 나누고, 데이터 처리를 객체인식과 추적 및 카운팅으로 이원화함으로써 효율적이면서도 빠른 객체인식 및 카운팅 기능을 수행하기 위함이다.Meanwhile, the analysis terminal 30 may perform object recognition through a neural processing unit (not shown), and object tracking and counting may be performed through a central processing unit (not shown). . This requires that the analysis terminal 30 performs object recognition by extracting an analysis object frame from an image obtained by the camera 20 at regular intervals (eg, 0.1 seconds). This is to perform efficient and fast object recognition and counting functions by dividing the area and dividing data processing into object recognition, tracking, and counting.

한편, 상기 관심대상에 대한 객체인식을 수행하는 단계는 상기 추출된 프레임의 상기 객체인식영역을 복수의 그리드(grid)로 분할한 다음, 싱글(single) 컨벌루션 네트워크를 통해 복수의 경계박스(bounding box)와 상기 복수의 경계박스에 대한 신뢰도(confidence) 객체클래스에 대한 확률값(class probability)을 추정하는 YOLO(You Only Look Once) 네트워크 아키텍처(network architecture)에 의하여 실시간으로 수행될 수 있다.Meanwhile, in the step of performing object recognition for the object of interest, the object recognition area of the extracted frame is divided into a plurality of grids, and then a plurality of bounding boxes through a single convolutional network. ) And the reliability of the plurality of bounding boxes (confidence) may be performed in real time by a YOLO (You Only Look Once) network architecture that estimates a class probability for an object class.

도 5는 본 발명에 따른 객체인식 및 카운팅 시스템(10)에서 객체인식에 이용되는 YOLO 디텍팅을 설명하기 위한 개념도이다.5 is a conceptual diagram for explaining YOLO detection used for object recognition in the object recognition and counting system 10 according to the present invention.

도 5에서 왼쪽의 그림은 분석대상 프레임을 추출한 다음 추출된 프레임이 복수의 그리드로 분할된 것을 나타낸다. 도 5에서 가운데 그림 2개는 싱글 컨벌루션 네트워크를 통해 다수의 경계박스와 상기 복수의 경계박스에 대한 신뢰도 및 객체클래스에 대한 확률값이 추정된 상태를 나타낸다. 도 5에서 오른쪽의 그림은 상기 복수의 경계박스에 대한 신뢰도 및 객체클래스에 대한 확률값에 기초하여 3개의 경계박스에서 개, 자전거 및 차량이 인식된 것을 나타낸다.The left figure in FIG. 5 shows that the extracted frame is divided into a plurality of grids after the frame to be analyzed is extracted. In FIG. 5, the middle figure 2 shows a state in which the reliability of the plurality of bounding boxes and the plurality of bounding boxes and the probability values for the object classes are estimated through a single convolutional network. The figure on the right in FIG. 5 shows that dogs, bicycles, and vehicles were recognized in the three boundary boxes based on the reliability values for the plurality of boundary boxes and the probability values for the object classes.

이와 같이, 본 발명에 따른 객체인식 및 카운팅 시스템(10)은 객체인식을 영상으로부터 경계박스의 좌표와 객체클래스에 대한 확률값을 추정하는 단순한 구조의 회귀(regression) 문제로 해결하는 YOLO 네트워크 아키텍처를 활용함으로써 실시간 객체인식을 빠르고 효율적으로 수행할 수 있다.As described above, the object recognition and counting system 10 according to the present invention utilizes the YOLO network architecture that solves object recognition as a regression problem of a simple structure that estimates the probability values for the coordinates and object classes of the bounding box from the image. By doing this, real-time object recognition can be performed quickly and efficiently.

한편, 본 발명에 따른 객체인식 및 카운팅 시스템(10)은 객체인식영역과 객체추적영역을 포함하는 가상의 관심영역을 분석대상 공간에서의 관심대상들의 통행량에 따라 가변함으로써 보다 효율적이고 빠른 객체인식 및 카운팅 기능을 수행할 수 있다. 이에 대해서는 아래에서 도 6을 참조하여 보다 상세히 살펴본다.On the other hand, the object recognition and counting system 10 according to the present invention is a more efficient and fast object recognition by varying the virtual area of interest including the object recognition area and the object tracking area according to the traffic volume of the objects of interest in the analysis target space and Can perform counting function. This will be described in more detail with reference to FIG. 6 below.

도 6은 본 발명에 따른 객체인식 및 카운팅 시스템(10)에서 가상의 관심영역을 설정하는 방법을 설명하기 위한 개념도이다.6 is a conceptual diagram for explaining a method of setting a virtual region of interest in the object recognition and counting system 10 according to the present invention.

미리 설정되어 있는 객체감지영역(DA1 내지 DA3) 중 1차선에 대응되는 객체감지영역(DA1)에 인식되면, 상기 분석단말기(30)는 다른 차선에 대해서는 객체인식을 수행할 필요가 없다고 판단하여, 객체인식영역 및 객체추적영역을 구성하는 영역 중 1차선에 대응되는 영역 쌍(RA1 및 TA1)을 선택하여 가상의 관심영역을 설정한다. 그러면, 상기 분석단말기(30)는 상기 선택된 영역 쌍(RA1 및 TA1)에 대해서만 객체인식과 추적기능을 수행하면 되므로, 연산량이 크게 줄어들 수 있어 더욱 빠르게 실시간 처리가 가능해진다.When recognized in the object detection area DA1 corresponding to the first lane among the object detection areas DA1 to DA3 set in advance, the analysis terminal 30 determines that there is no need to perform object recognition for other lanes, Among the regions constituting the object recognition region and the object tracking region, a region of interest (RA1 and TA1) corresponding to the first lane is selected to set a virtual region of interest. Then, since the analysis terminal 30 only needs to perform object recognition and tracking functions for the selected region pairs RA1 and TA1, the amount of computation can be greatly reduced, and real-time processing can be performed more quickly.

그리고 2차선과 3차선에 대응되는 객체감지영역(DA2 및 DA3)에 객체가 인식되는 경우, 상기 분석단말기(30)는 객체인식영역의 RA2, RA3, RA5 및 RA6로 구성되는 영역과 객체추적영역의 TA2, TA3, TA5 및 TA6로 구성되는 영역의 쌍을 선택하여 가상의 관심영역을 설정함으로써, 객체인식 및 추적에 소요되는 연산량을 줄일 수 있다.In addition, when objects are recognized in the object detection areas DA2 and DA3 corresponding to the second and third lanes, the analysis terminal 30 includes an object recognition area composed of RA2, RA3, RA5 and RA6 and an object tracking area. By selecting a pair of regions consisting of TA2, TA3, TA5, and TA6, and setting a virtual region of interest, it is possible to reduce the amount of computation required for object recognition and tracking.

그리고 1차선 내지 3차선 모두에 대해 객체인식 및 추적기능을 수행해야 하는 경우에는, 상기 분석단말기(30)는 객체인식영역 전체(RA1 내지 RA9) 및 객체추적영역 전체(TA1 내지 TA9)를 가상의 관심영역을 이루는 영역 쌍으로 선택할 수 있다. 이는 상기 객체감지영역(DA1 내지 DA3) 모두에서 특정객체가 인식되는 경우일 수 있다.And when it is necessary to perform object recognition and tracking functions for both the first and third lanes, the analysis terminal 30 simulates the entire object recognition area (RA1 to RA9) and the entire object tracking area (TA1 to TA9). It can be selected as a pair of regions that make up the region of interest. This may be the case that a specific object is recognized in all of the object detection areas DA1 to DA3.

한편, 경우에 따라서 상기 분석단말기(30)는 상기 객체감지영역(DA1 내지 DA3)에서 객체가 인식되지 않는 경우에도 상기 선택가능한 복수의 영역 쌍의 패턴 중 특정 영역 쌍의 패턴을 선택함으로써 가상의 관심영역을 가변할 수 있다. 이는 관리자가 가상의 관심영역을 강제로 변경하고자 하는 경우일 수 있다. 그러나 본 발명의 범위가 이에 한정되는 것은 아니다.On the other hand, in some cases, the analysis terminal 30 selects a pattern of a specific region pair among patterns of the plurality of selectable region pairs even when an object is not recognized in the object detection regions DA1 to DA3. The area can be varied. This may be the case that the administrator wants to forcibly change the virtual region of interest. However, the scope of the present invention is not limited thereto.

이상에서 살펴본 바와 같이, 상기 분석단말기(30)에서 가상의 관심영역을 상기 복수의 관심대상의 통행량을 반영하여 변경하는 단계는, 객체인식영역과 객체추적영역에 대해 선택가능한 복수의 영역 쌍의 패턴을 미리 설정하는 제1 단계, 상기 객체인식영역에 상기 복수의 관심대상이 진입할 가능성을 판단하기 위한 객체감지영역을 설정하는 제2 단계 및 상기 객체감지영역에 객체가 인식되면, 상기 인식된 객체의 위치에 따라 상기 복수의 영역 쌍 중 상기 인식된 객체에 대응되는 영역 쌍을 선택하여 상기 가상의 관심영역을 가변하는 제3 단계로 구현될 수 있다.As described above, the step of changing the virtual region of interest in the analysis terminal 30 by reflecting the traffic volume of the plurality of objects of interest is a pattern of a plurality of region pairs selectable for the object recognition region and the object tracking region. The first step of setting in advance, the second step of setting an object detection area for determining the possibility of the plurality of objects of interest entering the object recognition area, and when an object is recognized in the object detection area, the recognized object A third step of changing the virtual region of interest by selecting a region pair corresponding to the recognized object among the plurality of region pairs according to the location of the may be implemented.

한편, 동일한 분석대상 공간에 대해서는 가상의 관심영역을 구분하는 카운팅 라인은 서로 중첩됨이 바람직하다. 즉, 가상의 관심영역을 가변하기 위한 상기 복수의 영역 쌍 중 가장 큰 영역 쌍의 카운팅 라인은, 상기 복수의 영역 쌍 중 나머지 영역 쌍들의 객체인식영역과 객체추적영역을 구분하는 카운팅 라인을 포함하는 것이 바람직하다.On the other hand, for the same analysis target space, it is desirable that the counting lines that separate the virtual region of interest overlap each other. That is, the counting line of the largest region pair among the plurality of region pairs for changing the virtual region of interest includes a counting line that separates the object recognition region and the object tracking region of the remaining region pairs among the plurality of region pairs. It is preferred.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. As described above, although the present invention has been described with limited embodiments and drawings, the present invention is not limited to the above embodiments, and various modifications and variations from these descriptions will be made by those skilled in the art to which the present invention pertains. This is possible.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined not only by the following claims, but also by the claims and equivalents.

10: 객체인식 및 카운팅 시스템 20: 카메라
30: 분석단말기 40: 인터넷
50: 통합서버 60: 가상의 관심영역
61: 객체인식영역 62: 객체추적영역
63: 카운팅 라인10: object recognition and counting system 20: camera
30: analysis terminal 40: Internet
50: integrated server 60: virtual area of interest
61: object recognition area 62: object tracking area
63: counting line

Claims (3)

복수의 관심대상에 대한 딥러닝 기반의 객체인식 학습결과를 저장하는 단계;
분석대상공간의 영상을 획득하여 일정분석주기로 분석대상 프레임을 추출하고, 상기 추출된 프레임에 카운팅라인으로 구분되는 객체인식영역과 객체추적영역을 포함하는 가상의 관심영역을 설정하는 단계;
컨벌루션 네트워크(convolution network)를 통해 상기 객체인식영역에서 관심대상에 대한 객체인식을 수행하고, 상기 인식된 관심대상의 일정 픽셀영역에 추적 아이디를 할당하여 상기 일정 픽셀영역의 위치를 추적하여 상기 인식된 관심대상에 대한 객체추적을 수행하는 단계; 및
상기 일정 픽셀영역이 상기 객체추적영역에서 인식되면 상기 인식된 관심대상이 상기 카운팅 라인을 통과한 것으로 카운팅하고, 상기 카운팅 결과를 서버로 전송하는 단계를 포함하며,
객체인식은 신경처리유닛(neural processing unit)에 의하여 수행되며,
객체추적 및 카운팅은 중앙처리유닛(central processing unit)에 의하여 수행되는 것을 특징으로 하는, 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법.
Storing deep learning based object recognition learning results for a plurality of interests;
Acquiring an image of an analysis object space, extracting an analysis object frame at a predetermined analysis cycle, and setting a virtual region of interest including an object recognition area and an object tracking area separated by a counting line in the extracted frame;
Object recognition for an object of interest is performed in the object recognition area through a convolution network, and a tracking ID is assigned to a predetermined pixel area of the recognized object of interest to track the position of the predetermined pixel area to recognize the object. Performing object tracking for an object of interest; And
When the predetermined pixel area is recognized in the object tracking area, counting that the recognized object of interest has passed through the counting line, and transmitting the counting result to a server,
Object recognition is performed by a neural processing unit,
Object tracking and counting is characterized by being performed by a central processing unit (central processing unit), object recognition and counting method using deep learning artificial intelligence technology.
제1항에 있어서, 상기 관심대상에 대한 객체인식을 수행하는 단계는,
상기 추출된 프레임의 상기 객체인식영역을 복수의 그리드(grid)로 분할한 다음, 싱글(single) 컨벌루션 네트워크를 통해 복수의 경계박스(bounding box)와 상기 복수의 경계박스에 대한 신뢰도(confidence) 및 객체클래스에 대한 확률값(class probability)을 추정하는 YOLO(You Only Look Once) 네트워크 아키텍처(network architecture)에 의하여 실시간으로 수행하는 단계를 포함하는 것을 특징으로 하는, 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법.
According to claim 1, The step of performing object recognition for the object of interest,
After dividing the object recognition area of the extracted frame into a plurality of grids, a plurality of bounding boxes and confidences of the plurality of bounding boxes through a single convolutional network and And performing in real time by a YOLO (You Only Look Once) network architecture that estimates a class probability for an object class, object recognition using deep learning artificial intelligence technology, and Counting method.
제2항에 있어서, 상기 객체인식 및 카운팅 방법은,
상기 분석대상 공간에서의 상기 복수의 관심대상의 통행량을 반영하여 상기 상기 추출된 프레임에 설정되는 상기 가상의 관심영역을 가변하는 단계를 더 포함하며,
상기 가상의 관심영역을 가변하는 단계는,
상기 객체인식영역과 상기 객체추적영역에 대해 선택가능한 복수의 영역 쌍의 패턴을 미리 설정하는 단계;
상기 객체인식영역에 상기 복수의 관심대상이 진입할 가능성을 판단하기 위한 객체감지영역을 설정하는 단계; 및
상기 객체감지영역에 객체가 인식되면, 상기 인식된 객체의 위치에 따라 상기 복수의 영역 쌍 중 상기 인식된 객체에 대응되는 영역 쌍을 선택하여 상기 가상의 관심영역을 가변하는 단계를 포함하되,
상기 복수의 영역 쌍 중 가장 큰 영역 쌍의 카운팅 라인은,
상기 복수의 영역 쌍 중 나머지 영역 쌍들의 객체인식영역과 객체추적영역을 구분하는 카운팅 라인을 포함하는 것을 특징으로 하는, 딥러닝 인공지능 기술을 이용한 객체인식 및 카운팅 방법.According to claim 2, The object recognition and counting method,
Further comprising the step of varying the virtual region of interest set in the extracted frame by reflecting the traffic volume of the plurality of objects of interest in the analysis object space,
The step of varying the virtual region of interest,
Presetting a pattern of a plurality of area pairs selectable for the object recognition area and the object tracking area;
Setting an object detection area for determining a possibility that the plurality of objects of interest enter the object recognition area; And
When the object is recognized in the object detection area, comprising the step of selecting a region pair corresponding to the recognized object from the plurality of region pairs according to the position of the recognized object to vary the virtual region of interest,
The counting line of the largest region pair among the plurality of region pairs,
And a counting line separating the object recognition area and the object tracking area of the remaining area pairs among the plurality of area pairs, the object recognition and counting method using deep learning artificial intelligence technology.
KR1020180151556A 2018-11-30 2018-11-30 object recognition and counting method using deep learning artificial intelligence technology KR102197946B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180151556A KR102197946B1 (en) 2018-11-30 2018-11-30 object recognition and counting method using deep learning artificial intelligence technology

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180151556A KR102197946B1 (en) 2018-11-30 2018-11-30 object recognition and counting method using deep learning artificial intelligence technology

Publications (2)

Publication Number Publication Date
KR20200071799A true KR20200071799A (en) 2020-06-22
KR102197946B1 KR102197946B1 (en) 2021-01-04

Family

ID=71142402

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180151556A KR102197946B1 (en) 2018-11-30 2018-11-30 object recognition and counting method using deep learning artificial intelligence technology

Country Status (1)

Country Link
KR (1) KR102197946B1 (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220010374A (en) * 2020-07-17 2022-01-25 주식회사 쎄슬프라이머스 Growth analysis method based on smart edge device and apparatus and system therefor
KR20220012629A (en) * 2020-07-23 2022-02-04 강원대학교산학협력단 method for detecting estrus of cattle based on object detection algorithm
KR20220061312A (en) * 2020-11-05 2022-05-13 덕산메카시스 주식회사 Deep learning based building management system with rail robot device
US11335012B2 (en) 2020-10-21 2022-05-17 Samsung Electronics Co., Ltd. Object tracking method and apparatus
KR20220120211A (en) * 2021-02-23 2022-08-30 단국대학교 산학협력단 Drone image analysis system based on deep learning for traffic measurement
KR20220153808A (en) * 2021-05-12 2022-11-21 유에프엠시스템즈 주식회사 Control system of traffic flow with sensing of vehicle based on deep learning
KR20220156376A (en) * 2021-05-18 2022-11-25 한성대학교 산학협력단 Photo management device and method thereof
KR20220156292A (en) * 2021-05-18 2022-11-25 한국과학기술원 A traffic data processor, traffic controlling system and method of processing traffic data
US11570367B2 (en) 2021-01-06 2023-01-31 Samsung Electronics Co., Ltd. Method and electronic device for intelligent camera zoom
KR20230087691A (en) * 2021-12-09 2023-06-19 한국전자기술연구원 Remote control device and system for remotely controlling robot using various work contents in virtual space
KR20230138385A (en) * 2022-03-23 2023-10-05 주식회사 일루베이션 Object counting system utilizing multi-object tracking
KR102616571B1 (en) * 2022-12-15 2023-12-21 한국건설기술연구원 System and method for providing road traffic information based on image analysis using artificial intelligence

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102580715B1 (en) * 2021-08-19 2023-09-19 한국로봇융합연구원 Apparatus and method for counting number of visitors based on deep learning model
KR102532853B1 (en) * 2023-01-17 2023-05-17 주식회사 비즈데이터 Detection and counting method and apparatus for interior and exterior parts of automobile

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170107782A (en) * 2016-03-16 2017-09-26 에스케이텔레콤 주식회사 Method And Apparatus for Providing Adaptive Counting People
KR20180107757A (en) * 2017-03-22 2018-10-02 장지호 System for counting traffic volume using artificial intelligence

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170107782A (en) * 2016-03-16 2017-09-26 에스케이텔레콤 주식회사 Method And Apparatus for Providing Adaptive Counting People
KR20180107757A (en) * 2017-03-22 2018-10-02 장지호 System for counting traffic volume using artificial intelligence

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220010374A (en) * 2020-07-17 2022-01-25 주식회사 쎄슬프라이머스 Growth analysis method based on smart edge device and apparatus and system therefor
KR20220012629A (en) * 2020-07-23 2022-02-04 강원대학교산학협력단 method for detecting estrus of cattle based on object detection algorithm
US11335012B2 (en) 2020-10-21 2022-05-17 Samsung Electronics Co., Ltd. Object tracking method and apparatus
KR20220061312A (en) * 2020-11-05 2022-05-13 덕산메카시스 주식회사 Deep learning based building management system with rail robot device
US11570367B2 (en) 2021-01-06 2023-01-31 Samsung Electronics Co., Ltd. Method and electronic device for intelligent camera zoom
KR20220120211A (en) * 2021-02-23 2022-08-30 단국대학교 산학협력단 Drone image analysis system based on deep learning for traffic measurement
KR20220153808A (en) * 2021-05-12 2022-11-21 유에프엠시스템즈 주식회사 Control system of traffic flow with sensing of vehicle based on deep learning
KR20220156376A (en) * 2021-05-18 2022-11-25 한성대학교 산학협력단 Photo management device and method thereof
KR20220156292A (en) * 2021-05-18 2022-11-25 한국과학기술원 A traffic data processor, traffic controlling system and method of processing traffic data
KR20230087691A (en) * 2021-12-09 2023-06-19 한국전자기술연구원 Remote control device and system for remotely controlling robot using various work contents in virtual space
KR20230138385A (en) * 2022-03-23 2023-10-05 주식회사 일루베이션 Object counting system utilizing multi-object tracking
KR102616571B1 (en) * 2022-12-15 2023-12-21 한국건설기술연구원 System and method for providing road traffic information based on image analysis using artificial intelligence

Also Published As

Publication number Publication date
KR102197946B1 (en) 2021-01-04

Similar Documents

Publication Publication Date Title
KR102197946B1 (en) object recognition and counting method using deep learning artificial intelligence technology
Singh et al. Deep spatio-temporal representation for detection of road accidents using stacked autoencoder
Aboah A vision-based system for traffic anomaly detection using deep learning and decision trees
CN109686109B (en) Parking lot safety monitoring management system and method based on artificial intelligence
Rasouli et al. Are they going to cross? a benchmark dataset and baseline for pedestrian crosswalk behavior
CN106874863B (en) Vehicle illegal parking and reverse running detection method based on deep convolutional neural network
CN110738857B (en) Vehicle violation evidence obtaining method, device and equipment
US9704201B2 (en) Method and system for detecting uninsured motor vehicles
CN103986910A (en) Method and system for passenger flow statistics based on cameras with intelligent analysis function
JP2016027490A (en) Method, system, product and computer program for multi-cue object detection and analysis (multi-cue object detection and analysis)
EP2798578A2 (en) Clustering-based object classification
CN109740590B (en) ROI accurate extraction method and system based on target tracking assistance
KR102172239B1 (en) Method and system for abnormal situation monitoring based on video
TW200905575A (en) Method for finding paths in video
KR102282800B1 (en) Method for trackig multi target employing ridar and camera
KR101040049B1 (en) Fast and robust method for tracking the multiple moving objects in video-based surveillance system
KR102122850B1 (en) Solution for analysis road and recognition vehicle license plate employing deep-learning
Sun et al. Exploiting deeply supervised inception networks for automatically detecting traffic congestion on freeway in China using ultra-low frame rate videos
Chauhan et al. Study of moving object detection and tracking for video surveillance
CN116311166A (en) Traffic obstacle recognition method and device and electronic equipment
CN111339834A (en) Method for recognizing vehicle traveling direction, computer device, and storage medium
Neto et al. Computer-vision-based surveillance of intelligent transportation systems
Li et al. Real-time system for tracking and classification of pedestrians and bicycles
CN114241373A (en) End-to-end vehicle behavior detection method, system, equipment and storage medium
Khan et al. Multiple moving vehicle speed estimation using Blob analysis

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant