KR20170048108A - Method and system for recognizing object and environment - Google Patents
Method and system for recognizing object and environment Download PDFInfo
- Publication number
- KR20170048108A KR20170048108A KR1020150154231A KR20150154231A KR20170048108A KR 20170048108 A KR20170048108 A KR 20170048108A KR 1020150154231 A KR1020150154231 A KR 1020150154231A KR 20150154231 A KR20150154231 A KR 20150154231A KR 20170048108 A KR20170048108 A KR 20170048108A
- Authority
- KR
- South Korea
- Prior art keywords
- definition
- data
- analysis
- situation
- sensor data
- Prior art date
Links
Images
Classifications
-
- G06K9/6206—
-
- G06K9/6215—
-
- G06K9/6267—
Landscapes
- Image Analysis (AREA)
Abstract
Description
본 발명은 객체 및 상황 인지 방법 및 시스템에 관한 것이다. 보다 상세하게는, 본 발명은 깊이 센서(depth sensor)를 이용하여 관찰 영역으로부터 센싱된 깊이 데이터를 수신하고, 수신된 깊이 데이터를 분석하여 감시 영역 내에서의 객체를 인식하고 상황을 인지하는 방법 및 시스템에 관한 것이다.The present invention relates to an object and context aware method and system. More particularly, the present invention relates to a method of receiving depth data sensed from an observation area using a depth sensor, analyzing received depth data to recognize an object in the surveillance area and recognizing the situation, ≪ / RTI >
감시 영역 내에서 객체를 인식하기 위해서 다양한 방법들이 이용된다. 예를 들어, 관찰 영역 내에 광학 센서, 압력 센서 등의 센서를 이용하여 객체를 인식하는 방법들이 있다. 객체를 인식하기 위해 깊이 센서를 사용하여, 깊이 센서로부터 수집한 깊이 데이터를 이용하여 감시 영역 내에 객체를 인식할 수도 있다.Various methods are used to recognize objects in the surveillance area. For example, there are methods of recognizing an object by using sensors such as an optical sensor and a pressure sensor in an observation area. In order to recognize an object, a depth sensor may be used to recognize the object in the surveillance area by using the depth data collected from the depth sensor.
특히 깊이 센서를 이용하는 경우, 깊이 데이터를 이용하여 감시 영역에 객체가 존재하는지 여부를 판단함에 있어서, 보다 정밀하게 객체를 식별할 필요성이 대두된다. 예를 들어, 객체를 단순히 식별한 것은 넘어, 식별된 객체의 특징적인 부분을 인식하여 객체를 분류하거나, 감시 영역에 대한 상황까지 판단할 수 있는 기술이 요구된다.Particularly, when the depth sensor is used, it is necessary to identify the object more accurately in determining whether or not the object exists in the surveillance area using the depth data. For example, beyond simply identifying an object, there is a need for a technique that can classify an object by recognizing a characteristic portion of the identified object, or determine a situation for a surveillance area.
본 발명이 해결하고자 하는 기술적 과제는, 깊이 센서를 이용하여 감시 영역 내에서 객체를 인식할 뿐 아니라, 객체를 분류하고 감시 영역에 대한 상황 인식을 수행할 수 있는 객체 및 상황 인지 시스템을 제공하는 것이다.SUMMARY OF THE INVENTION The object of the present invention is to provide an object and a situational awareness system capable of not only recognizing an object in a surveillance area using a depth sensor but also classifying objects and performing a situation recognition on a surveillance area .
본 발명이 해결하고자 하는 다른 기술적 과제는, 깊이 센서를 이용하여 감시 영역 내에서 객체를 인식할 뿐 아니라, 객체를 분류하고 감시 영역에 대한 상황 인식을 수행할 수 있는 객체 및 상황 인지 방법을 제공하는 것이다.Another object of the present invention is to provide an object and a context recognition method capable of classifying objects and performing context recognition for a surveillance area in addition to recognizing objects in a surveillance area using a depth sensor will be.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.The technical problems of the present invention are not limited to the above-mentioned technical problems, and other technical problems which are not mentioned can be clearly understood by those skilled in the art from the following description.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템은, 관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 데이터 수신부; 상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부; 상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 데이터 분석부; 및 상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함한다.According to an aspect of the present invention, there is provided an object and situation recognition system including: a data receiving unit receiving sensor data from a depth sensor operating in an observation region and storing the received sensor data in a data container; An event definition unit for generating event flow information defining a process for recognizing an object and a situation of the observation area using the sensor data; A data analyzer for analyzing the sensor data stored in the data container according to the event flow information to identify an object in the observation area and generate analysis result data analyzing a situation associated with the object; And an event processor for performing a predefined operation according to the analysis result data.
본 발명의 몇몇의 실시예에서, 상기 데이터 수신부는, 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장할 수 있다.In some embodiments of the present invention, the data receiving unit may process the sensor data into processed data in the form of an array of values having predetermined units, and store the processed data in the data container.
본 발명의 몇몇의 실시예에서, 상기 어레이는 2차원 어레이를 포함하고, 상기 2차원 어레이의 사이즈는 상기 깊이 센서의 해상도에 따라 결정될 수 있다.In some embodiments of the present invention, the array includes a two-dimensional array, and the size of the two-dimensional array may be determined according to the resolution of the depth sensor.
본 발명의 몇몇의 실시예에서, 상기 이벤트 정의부는, 상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 객체 분석 정의 모듈, 상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 객체 추적 정의 모듈, 상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 상황 분석 정의 모듈 및 상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 상황 처리 정의 모듈을 포함할 수 있다.In some embodiments of the present invention, the event definition unit may include an object analysis definition module that generates an object analysis definition including a definition related to an appearance of an object to be identified from the sensor data, an object identified by the object analysis definition An object tracking definition module that generates an object tracking definition that includes a definition of a manner of tracking an object tracked by the object tracking definition, a context analysis definition module that generates a context analysis definition that includes a definition of the context associated with the object tracked by the object tracking definition, And a status processing definition module for generating event flow information defining a process for recognizing an object and a situation from the sensor data using the object analysis definition, the object trace definition, and the situation analysis definition.
본 발명의 몇몇의 실시예에서, 상기 객체 분석 정의는 상기 식별하고자 하는 객체의 높이, 너비, 깊이 및 형상 중 적어도 하나에 관한 정의를 포함할 수 있다.In some embodiments of the invention, the object analysis definition may include definitions of at least one of height, width, depth, and shape of the object to be identified.
본 발명의 몇몇의 실시예에서, 상기 객체 추적 정의는 상기 객체 분석 정의에 의해 식별되는 객체에 대한 추적 주기, 추적 라이프타임(lifetime) 및 추적에 이용되는 트래킹 기법 중 적어도 하나에 관한 정의를 포함할 수 있다.In some embodiments of the invention, the object tracking definition includes a definition as to at least one of a tracking period, a tracking lifetime, and a tracking technique used for tracking, as identified by the object analysis definition .
본 발명의 몇몇의 실시예에서, 상기 트래킹 기법은 평균 이동(mean shift) 기법, 캠 이동(cam shift) 기법, 특징점을 이용한 트래킹 기법 및 유클리드 거리(Euclidean distance)를 이용한 근접 트래킹 기법 중 적어도 하나를 포함할 수 있다.In some embodiments of the present invention, the tracking technique may include at least one of a mean shift technique, a cam shift technique, a tracking technique using feature points, and a proximity tracking technique using Euclidean distance .
본 발명의 몇몇의 실시예에서, 상기 상황 분석 정의는 상기 관찰 영역에 정의되는 하나 이상의 분석 영역에 관한 정의를 포함할 수 있다.In some embodiments of the present invention, the context analysis definition may include a definition of one or more analysis areas defined in the observation area.
본 발명의 몇몇의 실시예에서, 상기 데이터 분석부는, 상기 이벤트 플로우 정보에 따라 상기 센서 데이터로부터 상기 객체를 식별하는 객체 분석 모듈 및 상기 이벤트 플로우 정보에 따라 상기 식별된 객체를 추적하고, 상기 객체와 연관된 상황을 분석하는 상황 분석 모듈을 포함할 수 있다.In some embodiments of the present invention, the data analysis unit may include: an object analysis module that identifies the object from the sensor data according to the event flow information; and an object analysis module that tracks the identified object according to the event flow information, And a situation analysis module for analyzing the associated situation.
본 발명의 몇몇의 실시예에서, 상기 데이터 분석부는, 차분 기법 또는 GMM(gaussian mixture model) 기법을 이용하여 상기 센서 데이터로부터 전경 또는 배경을 분리하는 데이터 처리 모듈을 더 포함할 수 있다.In some embodiments of the present invention, the data analysis unit may further include a data processing module that separates the foreground or background from the sensor data using a difference technique or a gaussian mixture model (GMM) technique.
본 발명의 몇몇의 실시예에서, 상기 객체 분석 모듈은, 셰이프(shape) 분석 기법을 이용하여 상기 객체의 외형을 분석하는 기본 객체 분석 모듈을 더 포함할 수 있다.In some embodiments of the present invention, the object analysis module may further include a basic object analysis module for analyzing the appearance of the object using a shape analysis technique.
본 발명의 몇몇의 실시예에서, 상기 객체 분석 모듈은, 스켈레톤(Skeleton) 분석 기법을 이용하여 상기 객체의 강성(rigid) 및 연성(flexible) 여부를 분석하는 객체 종류 분석 모듈을 더 포함할 수 있다.In some embodiments of the present invention, the object analysis module may further include an object type analysis module for analyzing whether the object is rigid and flexible using a skeleton analysis technique .
본 발명의 몇몇의 실시예에서, 상기 객체 분석 모듈은, SVM(support vector machine) 또는 CNN(convolutional neural network)을 이용한 머신 러닝 기법을 이용하여 상기 객체를 식별하는 머신 러닝 분석 모듈을 더 포함할 수 있다.In some embodiments of the present invention, the object analysis module may further comprise a machine learning analysis module that identifies the object using a machine learning technique using a support vector machine (SVM) or a convolutional neural network (CNN) have.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함할 수 있다.In some embodiments of the present invention, the predefined actions may include transmitting an predefined message in accordance with the analysis result data to an output device provided within or external to the object and the context aware system have.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함할 수 있다.In some embodiments of the present invention, the predefined operations may include writing the analysis result data to a database provided within or outside the object and context aware system.
상기 기술적 과제를 달성하기 위한 본 발명의 다른 실시예에 따른 객체 및 상황 인지 시스템은, 관찰 영역의 제1 위치에서 동작하는 제1 깊이 센서(depth sensor)로부터 제1 데이터를 수신하고, 상기 관찰 영역의 상기 제1 위치와 다른 제2 위치에서 동작하는 제2 깊이 센서로부터 제2 데이터를 수신하고, 상기 제1 데이터 및 상기 제2 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 데이터 분석부; 상기 제1 데이터 및 상기 제2 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부; 및 상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함한다.According to another aspect of the present invention, there is provided an object and contextual recognition system for receiving first data from a first depth sensor operating at a first location in an observation area, Wherein the first data and the second data are received from a second depth sensor operating at a second location different from the first location of the object and the first data and the second data are analyzed to identify the object in the viewing area, A data analysis unit for generating analysis result data analyzing the situation; An event definition unit that generates event flow information that defines a process for recognizing an object and a situation of the observation area using the first data and the second data; And an event processor for performing a predefined operation according to the analysis result data.
본 발명의 몇몇의 실시예에서, 상기 데이터 분석부는, 상기 이벤트 플로우 정보에 따라 상기 센서 데이터로부터 상기 객체를 식별하는 객체 분석 모듈 및 상기 이벤트 플로우 정보에 따라 상기 식별된 객체를 추적하고, 상기 객체와 연관된 상황을 분석하는 상황 분석 모듈을 포함할 수 있다.In some embodiments of the present invention, the data analysis unit may include: an object analysis module that identifies the object from the sensor data according to the event flow information; and an object analysis module that tracks the identified object according to the event flow information, And a situation analysis module for analyzing the associated situation.
본 발명의 몇몇의 실시예에서, 상기 이벤트 정의부는, 상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 객체 분석 정의 모듈, 상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 객체 추적 정의 모듈, 상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 상황 분석 정의 모듈 및 상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 상황 처리 정의 모듈을 포함할 수 있다.In some embodiments of the present invention, the event definition unit may include an object analysis definition module that generates an object analysis definition including a definition related to an appearance of an object to be identified from the sensor data, an object identified by the object analysis definition An object tracking definition module that generates an object tracking definition that includes a definition of a manner of tracking an object tracked by the object tracking definition, a context analysis definition module that generates a context analysis definition that includes a definition of the context associated with the object tracked by the object tracking definition, And a status processing definition module for generating event flow information defining a process for recognizing an object and a situation from the sensor data using the object analysis definition, the object trace definition, and the situation analysis definition.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함할 수 있다.In some embodiments of the present invention, the predefined actions may include transmitting an predefined message in accordance with the analysis result data to an output device provided within or external to the object and the context aware system have.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함할 수 있다.In some embodiments of the present invention, the predefined operations may include writing the analysis result data to a database provided within or outside the object and context aware system.
상기 기술적 과제를 달성하기 위한 본 발명의 또 다른 실시예에 따른 객체 및 상황 인지 시스템은, 관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 데이터 수신부; 상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부; 상기 이벤트 플로우 정보 및 상기 센서 데이터를 분산 처리 시스템에 제공하고, 상기 분산 처리 시스템으로부터 분석 결과 데이터를 수신하는 데이터 분석부; 및 상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함하고, 상기 분석 결과 데이터는, 상기 센서 데이터가 상기 이벤트 플로우 정보에 따라 분석되어, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 데이터를 포함한다.According to another aspect of the present invention, there is provided an object and situation recognition system including: a data receiving unit for receiving sensor data from a depth sensor operating in an observation region and storing the received sensor data in a data container; An event definition unit for generating event flow information defining a process for recognizing an object and a situation of the observation area using the sensor data; A data analysis unit for providing the event flow information and the sensor data to a distributed processing system and receiving analysis result data from the distributed processing system; And an event processor for performing a predefined operation according to the analysis result data, wherein the analysis result data is obtained by analyzing the sensor data according to the event flow information to identify an object in the observation area, Includes data analyzing the associated situation.
본 발명의 몇몇의 실시예에서, 상기 데이터 수신부는, 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장할 수 있다.In some embodiments of the present invention, the data receiving unit may process the sensor data into processed data in the form of an array of values having predetermined units, and store the processed data in the data container.
본 발명의 몇몇의 실시예에서, 상기 이벤트 정의부는, 상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 객체 분석 정의 모듈, 상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 객체 추적 정의 모듈, 상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 상황 분석 정의 모듈 및 상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 상황 처리 정의 모듈을 포함할 수 있다.In some embodiments of the present invention, the event definition unit may include an object analysis definition module that generates an object analysis definition including a definition related to an appearance of an object to be identified from the sensor data, an object identified by the object analysis definition An object tracking definition module that generates an object tracking definition that includes a definition of a manner of tracking an object tracked by the object tracking definition, a context analysis definition module that generates a context analysis definition that includes a definition of the context associated with the object tracked by the object tracking definition, And a status processing definition module for generating event flow information defining a process for recognizing an object and a situation from the sensor data using the object analysis definition, the object trace definition, and the situation analysis definition.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함할 수 있다.In some embodiments of the present invention, the predefined actions may include transmitting an predefined message in accordance with the analysis result data to an output device provided within or external to the object and the context aware system have.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함할 수 있다.In some embodiments of the present invention, the predefined operations may include writing the analysis result data to a database provided within or outside the object and context aware system.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 객체 및 상황 인지 방법은, 관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 단계; 상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 단계; 상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 단계; 및 상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 단계를 포함한다.According to an aspect of the present invention, there is provided an object and situation recognition method comprising: receiving sensor data from a depth sensor operating in an observation area and storing the received sensor data in a data container; Defining a process for recognizing an object and a situation of the observation area using the sensor data; Analyzing the sensor data stored in the data container according to the event flow information to identify an object in the observation area and generating analysis result data analyzing a situation associated with the object; And performing a predefined operation according to the analysis result data.
본 발명의 몇몇의 실시예에서, 상기 데이터 컨테이너에 저장하는 단계는 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장하는 단계를 포함할 수 있다.In some embodiments of the invention, storing in the data container may comprise processing the sensor data into processed data in the form of arrays of values having predetermined units and storing the processed data in the data container. have.
본 발명의 몇몇의 실시예에서, 상기 프로세스를 정의하는 단계는, 상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 단계, 상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 단계, 상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 단계 및 상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 단계를 포함할 수 있다.In some embodiments of the invention, the step of defining the process further comprises the steps of: creating an object analysis definition that includes a definition of the appearance of the object to be identified from the sensor data; Generating a context analysis definition that includes a definition of a context associated with an object tracked by the object tracking definition; and analyzing the object analysis definition, Generating event flow information that defines a process for recognizing an object and a situation from the sensor data using the object tracking definition and the situation analysis definition.
본 발명의 몇몇의 실시예에서, 상기 분석 결과 데이터를 생성하는 단계는, 상기 이벤트 플로우 정보에 따라 상기 센서 데이터로부터 상기 객체를 식별하는 단계 및 상기 이벤트 플로우 정보에 따라 상기 식별된 객체를 추적하고, 상기 객체와 연관된 상황을 분석하는 단계를 포함할 수 있다.In some embodiments of the present invention, generating the analysis result data comprises: identifying the object from the sensor data according to the event flow information; and tracking the identified object according to the event flow information, And analyzing the situation associated with the object.
본 발명의 몇몇의 실시예에서, 상기 분석 결과 데이터를 생성하는 단계는, 차분 기법 또는 GMM(gaussian mixture model) 기법을 이용하여 상기 센서 데이터로부터 전경 또는 배경을 분리하는 단계를 더 포함할 수 있다.In some embodiments of the present invention, generating the analysis result data may further comprise separating the foreground or background from the sensor data using a difference technique or a gaussian mixture model (GMM) technique.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함할 수 있다.In some embodiments of the present invention, the predefined actions may include transmitting an predefined message in accordance with the analysis result data to an output device provided within or external to the object and the context aware system have.
본 발명의 몇몇의 실시예에서, 상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함할 수 있다.In some embodiments of the present invention, the predefined operations may include writing the analysis result data to a database provided within or outside the object and context aware system.
상기 기술적 과제를 달성하기 위한 본 발명의 일 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합하여, 관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 단계; 상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 단계; 상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 단계; 및 상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 단계를 실행시키기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된다.According to another aspect of the present invention, there is provided a computer program for causing a computer to execute the steps of: receiving sensor data from a depth sensor operating in a viewing area and storing the received sensor data in a data container; Defining a process for recognizing an object and a situation of the observation area using the sensor data; Analyzing the sensor data stored in the data container according to the event flow information to identify an object in the observation area and generating analysis result data analyzing a situation associated with the object; And performing a predefined operation according to the analysis result data.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.
도 1은 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략 구성도이다.
도 2는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 데이터 수신부를 설명하기 위한 개략도이다.
도 4는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 이벤트 정의부를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 데이터 분석부를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 데이터 분석부의 객체 분석 모듈을 설명하기 위한 도면이다.
도 7는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 이벤트 처리부를 설명하기 위한 도면이다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 동작례을 설명하기 위한 개략도이다.
도 10은 본 발명의 다른 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.
도 11은 본 발명의 또 다른 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.
도 12 및 도 13은 본 발명의 일 실시예에 따른 객체 및 상황 인지 방법을 설명하기 위한 순서도이다.
도 14는 본 발명의 또 다른 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.1 is a schematic block diagram illustrating an object and a context-aware system according to an embodiment of the present invention.
2 is a schematic diagram for explaining an object and a context-aware system according to an embodiment of the present invention.
3 is a schematic diagram for explaining a data receiving unit of an object and context aware system according to an embodiment of the present invention.
4 is a view for explaining an event definition unit of the object and context aware system according to an embodiment of the present invention.
5 is a diagram for explaining a data analysis unit of an object and a context-aware system according to an embodiment of the present invention.
6 is a diagram for explaining an object analysis module of a data analysis unit of an object and context aware system according to an embodiment of the present invention.
7 is a diagram for explaining an event processing unit of an object and a context-aware system according to an embodiment of the present invention.
8 and 9 are schematic diagrams for explaining an operation example of an object and a context-aware system according to an embodiment of the present invention.
10 is a schematic diagram for explaining an object and a context-aware system according to another embodiment of the present invention.
11 is a schematic diagram for explaining an object and a context-aware system according to another embodiment of the present invention.
12 and 13 are flowcharts for explaining an object and a situation recognition method according to an embodiment of the present invention.
14 is a schematic diagram for explaining an object and a context-aware system according to another embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout the specification.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.Unless defined otherwise, all terms (including technical and scientific terms) used herein may be used in a sense commonly understood by one of ordinary skill in the art to which this invention belongs. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise. The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.
도 1은 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략 구성도이다.1 is a schematic block diagram illustrating an object and a context-aware system according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템(100)은 관찰 영역(10)에서 동작하는 하나 이상의 깊이 센서(300, 310)와 함께 동작한다.Referring to FIG. 1, an object and
관찰 영역(100)은 하나 이상의 객체(20, 22, 24)를 포함한다. 본 발명의 몇몇의 실시예에서, 객체(20, 22, 24)는 깊이 센서(300, 310)에 의해 측정될 수 있는 위치와 외형을 갖는 모든 물체 또는 생명체를 포함한다. 예를 들어, 객체(20)는 접시와 같은 이동하지 않는 강성(rigid)의 물체일 수 있고, 객체(22)는 인간과 같이 이동할 수 있는 연성(flexible)의 생명체일 수 있다.The
객체 및 상황 인지 시스템(100)은 하나 이상의 프로세서를 구비한 컴퓨팅 장치일 수 있다. 본 발명의 몇몇의 실시예에서, 객체 및 상황 인지 시스템(100)은 개인용 컴퓨터, 서버, 범용 컴퓨터, 특수 목적용 컴퓨터, 휴대용 컴퓨터 등 다양한 컴퓨팅 장치로 구현될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.The object and context
본 실시예에서, 객체 및 상황 인지 시스템(100)은 네트워크(200)를 통해 하나 이상의 깊이 센서(300, 310)로부터 센싱된 깊이 데이터, 즉 센서 데이터(30)를 수신할 수 있다. 본 발명의 몇몇의 실시예에서, 네트워크(200)는 LAN(Local Area Network), WAN(Wide Area Network) 등의 유선 네트워크, 또는 WiFi 네트워크, 셀룰러 네트워크 등의 무선 네트워크를 포함할 뿐 아니라, 컴퓨팅 장치 간 또는 컴퓨터 장치의 구성 요소간에, 예컨대, 케이블을 통해 직접 또는 간접으로 연결되는 임의의 커넥션을 모두 포함할 수 있다.In this embodiment, the object and
한편, 도 1과 달리, 본 발명의 몇몇의 실시예에서, 객체 및 상황 인지 시스템(100)은 센서 데이터(30)를 이미 저장하고 있는 스토리지 장치로부터 센서 데이터(30)를 제공받을 수도 있다. 또한, 이와 다르게, 객체 및 상황 인지 시스템(100)은 센서 데이터(30)를 처리 및 저장할 수 있는 다른 컴퓨팅 장치로부터 센서 데이터(30)를 제공받을 수도 있다.On the other hand, unlike FIG. 1, in some embodiments of the invention, the object and
도 2는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.2 is a schematic diagram for explaining an object and a context-aware system according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템(100)은 데이터 수신부(110), 이벤트 정의부(120), 데이터 분석부(130) 및 이벤트 처리부(140)를 포함한다.2, the object and
데이터 수신부(110)는 관찰 영역(10)에서 동작하는 깊이 센서(300)로부터 센서 데이터(30)를 수신하고, 이를 후술할 데이터 분석부(130)에 전달한다.The
본 발명의 몇몇의 실시예에서, 데이터 수신부(110)는 관찰 영역(10)에서 동작하는 깊이 센서(300)로부터 센서 데이터(30)를 수신하자마자 바로 데이터 분석부(130)에 전달할 수도 있고, 이와 다르게 관찰 영역(10)에서 동작하는 깊이 센서(300)로부터 센서 데이터(30)를 도 3과 관련하여 상세하게 후술할 데이터 컨테이너(114)에 저장하고, 데이터 분석부(130)가 데이터 컨테이너(114)에 저장된 센서 데이터(30)를 리드(read)하는 방식으로 센서 데이터(30)를 전달할 수도 있다.In some embodiments of the present invention, the
이벤트 정의부(120)는 후술할 데이터 분석부(130)가 센서 데이터(30)를 분석하여, 관찰 영역(10)에서 객체를 식별하고 객체와 연관된 상황을 분석하기 위해 필요한 다양한 정의들(definition)을 포함하는 정의 데이터(34)를 생성한다.The
본 발명의 몇몇의 실시예에서, 정의 데이터(34)는 센서 데이터(30)를 이용하여 관찰 영역(10)으로부터 식별하고자 하는 객체의 외형, 예컨대 객체의 높이, 너비, 깊이, 형상 등에 관한 정의, 식별되는 객체를 추적하는 방식에 관한 정의, 추적되는 객체와 연관된 상황에 관한 정의, 이와 같은 정의들을 관찰 영역(10)의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보 등을 포함할 수 있다.In some embodiments of the present invention, the definition data 34 includes definitions of the appearance of the object to be identified, such as the height, width, depth, shape, etc., of the object to be identified from the
데이터 분석부(130)는 이벤트 정의부(120)에서 생성된 정의 데이터(34)에 따라 센서 데이터(30)를 분석하여, 관찰 영역(10)에서 객체를 식별하고 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성한다.The
이벤트 처리부는(140)는 데이터 분석부(130)에서 생성된 분석 결과 데이터에 따라 미리 정의된 동작을 수행한다.The
도 3은 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 데이터 수신부를 설명하기 위한 개략도이다.3 is a schematic diagram for explaining a data receiving unit of an object and context aware system according to an embodiment of the present invention.
도 3을 참조하면, 객체 및 상황 인지 시스템(100)의 데이터 수신부(110)는 데이터 수집 모듈(112) 및 데이터 컨테이너(114)를 포함한다.Referring to FIG. 3, the
데이터 수집 모듈(112)은 관찰 영역(10)에서 동작하는 깊이 센서(300)로부터 센서 데이터(30)를 수집한다. 또한, 데이터 수집 모듈(112)은 센서 데이터(300)를 미리 정해진 단위를 갖는 값들의 어레이(array) 형태의 가공 데이터(32)로 가공한다. 여기서 미리 정해진 단위는 m, cm, mm 등의 단위를 포함할 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.The
본 발명의 몇몇의 실시예에서, 이와 같은 어레이는 2차원 어레이이고, 그 사이즈는 깊이 센서(300)의 해상도에 따라 결정될 수 있다. 예를 들어, 깊이 센서(300)의 해상도가 640 픽셀 x 480 픽셀인 경우, 어레이는 640 x 480 사이즈의 2차원 어레이일 수 있다.In some embodiments of the invention, such an array is a two-dimensional array, and its size may be determined according to the resolution of the
한편, 데이터 수집 모듈(112)은 센서 데이터(30)를 수신하자마자 바로 데이터 분석부(130)에 전달할 수도 있고, 이와 다르게 센서 데이터(30)를 데이터 컨테이너(114)에 저장하고, 데이터 분석부(130)가 데이터 컨테이너(114)에 저장된 센서 데이터(30)를 리드(read)하는 방식으로 센서 데이터(30)를 전달할 수도 있다.Alternatively, the
센서 데이터(30)를 수집하는 데이터 수신부(110)와 수집된 센서 데이터(30)를 처리하는 데이터 분석부(130) 사이에 데이터 컨테이너(114)를 둠으로써, 데이터 수신부(110)와 데이터 분석부(130) 사이의 성능 차이로 인한 센서 데이터(30)의 손실을 방지할 수 있다. 이하에서는 데이터 수집 모듈(112)이 센서 데이터(30)를 데이터 컨테이너(114)에 저장하는 방식으로 센서 데이터(30)를 데이터 분석부(130)에 전달한다는 가정 하에 설명을 하도록 한다.A
도 4는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 이벤트 정의부를 설명하기 위한 도면이다.4 is a view for explaining an event definition unit of the object and context aware system according to an embodiment of the present invention.
도 4를 참조하면, 객체 및 상황 인지 시스템(100)의 이벤트 정의부(120)는 객체 분석 정의 모듈(122), 객체 추적 정의 모듈(124), 상황 분석 정의 모듈(126) 및 상황 처리 정의 모듈(128)을 포함할 수 있다.4, the
객체 분석 정의 모듈(122)은 센서 데이터로(30)부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성한다. 본 발명의 몇몇의 실시예에서, 객체 분석 정의는 식별하고자 하는 객체의 높이, 너비, 깊이 및 형상 중 적어도 하나에 관한 정의를 포함할 수 있다. 또한, 객체 분석 정의는 식별하고자 하는 객체가 고정된 것인지 아니면 이동하는 것인지 여부에 대한 정의도 포함할 수 있다.The object
한편, 객체 분석 정의는 객체를 식별하기 전에 센서 데이터로(30)부터 전경 또는 배경을 분리하기 위한 기법을 정의할 수 있다. 본 발명의 몇몇의 실시예에서, 상기 기법은 차분 기법 또는 GMM(gaussian mixture model) 기법 등을 포함할 수 있다. 한편, 객체 분석 정의는 식별할 객체가 강성(rigid)인지 연성(flexible)인지 여부를 분석하기 위한 기법을 정의할 수 있다. 본 발명의 몇몇의 실시예에서, 상기 기법은 스켈레톤(Skeleton) 분석 기법 등을 포함할 수 있다. 한편, 객체 분석 정의는 객체 식별의 정확도를 높이기 위해 사용할 머신 러닝 기법을 정의할 수도 있다. 본 발명의 몇몇의 실시예에서, 상기 기법은 SVM(support vector machine) 또는 CNN(convolutional neural network)을 이용한 머신 러닝 기법을 포함할 수 있다.On the other hand, the object analysis definition can define a technique for separating the foreground or background from the sensor data (30) before identifying the object. In some embodiments of the present invention, the technique may include a difference technique or a gaussian mixture model (GMM) technique. On the other hand, the object analysis definition can define a technique for analyzing whether the object to be identified is rigid or flexible. In some embodiments of the present invention, the technique may include skeleton analysis techniques and the like. On the other hand, an object analysis definition may define a machine learning technique to be used to improve the accuracy of object identification. In some embodiments of the present invention, the techniques may include machine learning techniques using a support vector machine (SVM) or a convolutional neural network (CNN).
객체 추적 정의 모듈(124)은 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성한다. 본 발명의 몇몇의 실시예에서, 객체 추적 정의는 객체 분석 정의에 의해 식별되는 객체에 대한 추적 주기(현재 시점만 고려할 것인지 과거 시점부터 현재 시점까지 고려할 것인지 여부 포함), 추적 라이프타임(lifetime)(현재 존재하는 객체들만 고려할 것인지 과거에 존재했던 객체들까지 고려할 것인지 여부 포함) 및 추적에 이용되는 트래킹 기법 중 적어도 하나에 관한 정의를 포함할 수 있다. 본 발명의 몇몇의 실시예에서, 트래킹 기법은 평균 이동(mean shift) 기법, 캠 이동(cam shift) 기법, 특징점을 이용한 트래킹 기법 및 유클리드 거리(Euclidean distance)를 이용한 근접 트래킹 기법 중 적어도 하나를 포함할 수 있다.The object
상황 분석 정의 모듈(126)은 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성한다. 본 발명의 몇몇의 실시예에서, 상황 분석 정의는 관찰 영역(30)에 정의되는 하나 이상의 분석 영역에 관한 정의를 포함할 수 있다. 여기서 분석 영역은 하나 이상의 영역을 포함할 수 있고, 그 영역은 임의의 외형을 갖는 다각형으로 설정될 수 있다. 또한, 상황 분석 정의는 상황 인식 종류, 예컨대, 침입 상황, 탈출 상황 등에 대한 정의를 포함할 수 있다.The situation
상황 처리 정의 모듈(128)은 객체 분석 정의, 객체 추적 정의 및 상황 분석 정의를 이용하여, 센서 데이터(30)로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성한다. 본 발명의 몇몇의 실시예에서, 이벤트 플로우 정보(34)는 관찰 영역(10)의 객체 및 상황을 인식하기 위한 프로세스를 흐름(flow)으로 정의한 것이다. 예를 들어, 이벤트 플로우 정보(34)는 "준비", "객체 인식", "객체 추적", "상황 분석", "결과 처리", "준비"의 사이클로 정의된 흐름을 포함할 수 있고, 이와 같은 흐름에는 특정 조건의 만족 여부에 따라 진행 여부를 달리 정의하는 조건이 부가될 수 있다.The event
객체 및 상황 인지 시스템(100)의 이벤트 정의부(120)는, 이와 같은 다양한 정의들을 포함하는 정의 데이터(34)를 생성할 수 있고, 정의 데이터(34)는 데이터 분석부(130)에 의해 관찰 영역(10)에서 객체를 식별하고 객체와 연관된 상황을 분석하기 위해 이용될 수 있다.The
도 5는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 데이터 분석부를 설명하기 위한 도면이고, 도 6은 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 데이터 분석부의 객체 분석 모듈을 설명하기 위한 도면이다.FIG. 5 is a view for explaining a data analysis unit of an object and context aware system according to an embodiment of the present invention. FIG. 6 is a diagram illustrating an object analysis module of an object analyzing unit of the object and context aware system according to an exemplary embodiment of the present invention. Fig.
도 5를 참조하면, 객체 및 상황 인지 시스템(100)의 데이터 분석부(130)는 데이터 처리 모듈(132), 객체 분석 모듈(134) 및 상황 분석 모듈(136)을 포함할 수 있다.5, the
데이터 처리 모듈(132)은 객체 분석 모듈(134)이 데이터 수집 모듈(112)에 의해 어레이 형태로 가공된 가공 데이터(32)로부터 객체를 식별하기 전에, 정의 데이터(34)의 이벤트 플로우 정보에 따라 가공 데이터(32)로부터 전경 또는 배경을 분리할 수 있다. 본 발명의 몇몇의 실시예에서, 데이터 처리 모듈(132)은 정의 데이터(34)의 객체 분석 정의에 따라 차분 기법 또는 GMM(gaussian mixture model) 기법을 이용하여 가공 데이터(32)로부터 전경 또는 배경을 분리할 수 있다.The
객체 분석 모듈(134)은 정의 데이터(34)의 이벤트 플로우 정보에 따라 가공 데이터(34)로부터 객체를 식별한다.The
도 6을 참조하면, 객체 분석 모듈(134)은 기본 객체 분석 모듈(134a), 객체 종류 분석 모듈(134b), 머신 러닝 분석 모듈(134c)을 포함할 수 있다.Referring to FIG. 6, the
기본 객체 분석 모듈(134a)은 정의 데이터(34)의 객체 분석 정의에 따라, 예컨대 셰이프(shape) 분석 기법을 이용하여 객체의 외형을 분석할 수 있다.The basic
객체 종류 분석 모듈(134b)은 정의 데이터(34)의 객체 분석 정의에 따라, 예컨대 스켈레톤(Skeleton) 분석 기법을 이용하여 객체의 강성 및 연성 여부를 분석할 수 있다.The object
머신 러닝 분석 모듈(134c)은 정의 데이터(34)의 객체 분석 정의에 따라, 예컨대 SVM(support vector machine) 또는 CNN(convolutional neural network)을 이용한 머신 러닝 기법을 이용하여 객체를 식별할 수 있다.The machine
다시 도 5를 참조하면, 상황 분석 모듈(134)은 정의 데이터(34)의 이벤트 플로우 정보에 따라, 객체 분석 모듈(134)에서 식별된 객체를 추적하고, 추적된 객체와 연관된 상황을 분석한다.Referring again to FIG. 5, the
데이터 분석부(130)는 이와 같은 방식으로 식별된 객체에 관한 정보 및 객체와 연관된 상황을 분석한 정보를 포함하는 결과 데이터(34)를 생성하여, 후술할 이벤트 처리부(140)에 전달한다.The
도 7는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 이벤트 처리부를 설명하기 위한 도면이다.7 is a diagram for explaining an event processing unit of an object and a context-aware system according to an embodiment of the present invention.
도 7을 참조하면, 객체 및 상황 인지 시스템(100)의 이벤트 처리부(140)는 메시지 처리 모듈(142) 및 DB 연계 모듈(144) 중 적어도 하나를 포함할 수 있다.7, the
메시지 처리 모듈(142)은 데이터 분석부(130)로부터 생성된 결과 데이터(36)에 따라 객체 및 상황 인지 시스템(100)의 내부 또는 외부에 구비된 출력 장치(200)에 결과 데이터(36)에 따라 미리 정의된 메시지, 예컨대 경고 메시지를 전송할 수 있다.The
DB 연계 모듈(144)은 데이터 분석부(130)로부터 생성된 결과 데이터(36)에 따라 객체 및 상황 인지 시스템(100)의 내부 또는 외부에 구비된 데이터베이스(210)에 결과 데이터(36)를 기록할 수 있다. 또한, 본 발명의 몇몇의 실시예에서, 데이터베이스(210)에는 감지 횟수와 같은 카운트 값이 기록될 수도 있다.The
도 8 및 도 9는 본 발명의 일 실시예에 따른 객체 및 상황 인지 시스템의 동작례을 설명하기 위한 개략도이다. 이들 도면을 참조하여, 감시 영역(10) 내 이동 물체(20)의 침입 상황을 감시하는 방법을 설명하도록 한다.8 and 9 are schematic diagrams for explaining an operation example of an object and a context-aware system according to an embodiment of the present invention. A method of monitoring the intruding state of the moving
데이터 수신부(110)의 경우, 깊이 센서(300)에서 데이터를 수신한다. 수신된 데이터는 mm 깊이 단위의 값을 가지는 2차원 배열 형태로 가공하여 데이터 컨테이너(114)로 이동된다. 본 실시예에서 수신하는 해상도 및 변환할 2차원 배열은 640 x 480의 크기를 가질 수 있다.In the case of the
이벤트 정의부(120)는 먼저 객체 추출 방법을 결정하고, 물체의 크기를 지정한다. 본 실시예에서, 해당 물체는 높이와 크기를 만족하면 추출하는 객체로 가정한다. 또한 이벤트 정의부(120)는 높이와 크기의 상/하한 값을 설정한다. 높이는 깊이 정보(depth), 크기는 사각형 정보를 가진다. 이동하는 물체를 감지하기 위하여 전경 추출로 GMM(gaussian mixture model)을 사용한다. 추출 방법은 셰이프(Shape) 분석 기법을 사용하여 형태 정보를 분석한다.The
또한, 이벤트 정의부(120)는 객체의 추적 방법을 결정한다. 본 실시 예에서는 해당 시점의 객체가 있는지 여부만 판단한다. 즉, 현재 존재하는 객체만 분석한다. 분석 방법은 유클리드 거리(Euclidean distance) 또는 유사한 방법을 이용한 근접 추적 방법을 사용한다.In addition, the
또한, 이벤트 정의부(120)는 객체 상황인식 종류를 결정한다. 본 실시 예에서는 움직이는 물체(20)의 침입 상황을 감지하는 것이기 때문에 상황 인식 종류는 침입 상황 감지에 한정한다. 분석 영역은 배열 크기 전체(640x480)영역으로 설정하며, 감지 조건으로 중앙(320,240)에 한 개의 침입 감지 위치(40)를 설정한다. In addition, the
또한, 이벤트 정의부(120)는 이벤트 흐름 및 결과 처리방법을 결정한다. 예를 들어, 이벤트 흐름은, "A | 객체추출 -> Y | 객체존재 -> Y | 추적된 객체존재 -> Y | 침입상황감지 -> A | 결과"와 같은 흐름으로 표현될 수 있다. 이벤트 결과는 DB에 침입 감지 카운트 값을 저장하는 것으로 한다.In addition, the
데이터 분석부(130)는, 이벤트 정의부(120)에서 설정된 이벤트 흐름(사이클)에 따라 데이터를 분석한다. 데이터 컨테이너(114)에서 가공된 데이터를 취득하여 객체 인식 -> 객체 추적 -> 상황분석 -> 결과 처리의 프로세스를 따른다. 물체로 인식되어 추출된 객체가 하나 존재하며 침입 감지 위치(40)는 점 형태일 경우, 해당 객체가 감지 위치에 자리할 경우 침입 상황인 것으로 간주하고 결과 데이터(36)를 이벤트 처리부로 전달한다.The
이벤트 처리부(140)는 데이터 분석부(130)로부터 전달받은 결과를 설정된 DB(210)의 테이블에 카운트 값으로 입력한다. 다른 실시 예로, 객체의 계수 등을 구현할 수도 있다.The
도 10은 본 발명의 다른 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.10 is a schematic diagram for explaining an object and a context-aware system according to another embodiment of the present invention.
도 10을 참조하면, 도 2의 실시예와 달리, 본 발명의 다른 실시예에 따른 객체 및 상황 인지 시스템(102)은 이벤트 정의부(120), 데이터 분석부(130) 및 이벤트 처리부(140)를 포함한다는 점이다.2, the object and
도 2의 실시예와는 달리, 데이터 수신부(110a)는 관찰 영역(10)의 제1 위치에서 동작하는 제1 깊이 센서(300)와 함께, 그리고 데이터 수신부(110b)는 관찰 영역(10)의 제2 위치에서 동작하는 제2 깊이 센서(310)와 함께, 객체 및 상황 인지 시스템(102)의 외부에 구현된다.2, the
데이터 분석부(130)는 제1 깊이 센서(300)로부터 데이터 수신부(110a)를 거쳐 제1 데이터를 수신하고, 또한, 제2 깊이 센서(310)로부터 데이터 수신부(110b)를 거쳐 제2 데이터를 수신한다. 그리고 데이터 분석부(130)는 제1 데이터 및 제2 데이터를 분석하여, 관찰 영역(10)에서 객체를 식별하고 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성한다.The
도 11은 본 발명의 또 다른 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.11 is a schematic diagram for explaining an object and a context-aware system according to another embodiment of the present invention.
도 11을 참조하면, 도 2의 실시예와 달리, 본 발명의 다른 실시예에 따른 객체 및 상황 인지 시스템은 분산 데이터 분석부(132)를 포함한다.Referring to FIG. 11, in contrast to the embodiment of FIG. 2, the object and contextual awareness system according to another embodiment of the present invention includes a distributed
분산 데이터 분석부(132)는 데이터 수신부(110)에 의해 데이터 컨테이너(114)에 저장된 센서 데이터(30)(또는 가공 데이터(32)) 및 이벤트 정의부(120)에 의해 생성된 정의 데이터(34)를 분산 처리 시스템에 제공한다. 또한, 분산 데이터 분석부(132)는 분산 처리 시스템이 객체 및 상황 인식 작업을 완료한 경우 그 분석 결과 데이터를 수신한다. 이와 같이 분석 위치를 분산화함으로써 분석 알고리즘의 운용 및 분석 방법을 다양화할 수 있다.The distributed
도 12 및 도 13은 본 발명의 일 실시예에 따른 객체 및 상황 인지 방법을 설명하기 위한 순서도이다.12 and 13 are flowcharts for explaining an object and a situation recognition method according to an embodiment of the present invention.
도 12를 참조하면, 본 발명의 일 실시예에 따른 객체 및 상황 인지 방법은, 관찰 영역에서 동작하는 깊이 센서로부터 센서 데이터를 수신 및 가공하여 데이터 컨테이너에 저장하는 단계(S1201)를 포함한다.Referring to FIG. 12, an object and a situation recognition method according to an exemplary embodiment of the present invention includes receiving (S1201) sensor data from a depth sensor operating in an observation area, storing and processing the sensor data in a data container (S1201).
다음으로, 상기 방법은, 객체의 추출 방법을 결정하기 위한, 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 단계(S1203), 객체의 추적 방법을 결정하기 위한, 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 단계(S1205), 및 객체와 연관된 상황을 정의하는 상황 분석 정의 및 객체 분석 정의, 객체 추적 정의 및 상황 분석 정의를 이용하여, 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하여, 결과 처리 방법을 결정하는 단계(S207)를 포함한다.Next, the method includes: generating an object analysis definition (S1203) for determining an object extraction method, the object analysis definition including a definition related to an external shape of an object to be identified from sensor data (S1203) A step (S 1205) of generating an object tracking definition including a definition of how to track the object identified by the object analysis definition (S1205); and a context analysis definition and an object analysis definition defining the context associated with the object, (S207) using the situation analysis definition to generate event flow information defining a process for recognizing an object and a situation from the sensor data, and determining a result processing method.
다음으로, 상기 방법은, 이벤트 플로우 정보에 따라 데이터 컨테이너에 저장된 센서 데이터를 분석하여, 관찰 영역에서 객체를 식별하고 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 단계(S1209) 및 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 단계(S1211)를 포함한다.Next, the method includes analyzing sensor data stored in the data container according to the event flow information, identifying the object in the observation area, and generating analysis result data analyzing a situation associated with the object (S1209) And performing a predefined operation in accordance with the step S1211.
도 13을 참조하면, 도 12의 단계(S1209)는, 이벤트 플로우 정보에 따라 센서 데이터로부터 객체를 식별하는 단계(S1301) 및 이벤트 플로우 정보에 따라 식별된 객체를 추적(S1303)하고, 객체와 연관된 상황을 분석하는 단계(S1305)를 포함한다.Referring to FIG. 13, step S1209 of FIG. 12 includes steps of identifying an object from sensor data (S1301) according to event flow information, tracking an object identified according to event flow information (S1303) And analyzing the situation (S1305).
도 14는 본 발명의 또 다른 실시예에 따른 객체 및 상황 인지 시스템을 설명하기 위한 개략도이다.14 is a schematic diagram for explaining an object and a context-aware system according to another embodiment of the present invention.
도 14를 참조하면, 본 발명의 다른 실시예에 따른 객체 및 상황 인지 시스템(2)은 하나 이상의 프로세서(500), 네트워크 인터페이스(520), 스토리지(530), 및 프로세서(500)에 의하여 수행 되는 컴퓨터 프로그램이 로드(load)된 메모리(RAM)(510)를 포함할 수 있다. 프로세서(500), 네트워크 인터페이스(520), 스토리지(530) 및 메모리(510)는 버스(540)를 통하여 데이터를 송수신한다.14, an object and
스토리지(530)는, 네트워크 인터페이스(520)를 통하여 객체 및 상황 분석 작업 중에 생성된 중간 데이터 및 결과 데이터(36) 등의 본 발명의 객체 및 상황 인지 방법을 수행하기 위해 요구되는 다양한 데이터들을 일시적으로 저장할 수 있다.The
상기 컴퓨터 프로그램은 데이터 분석 소프트웨어(512) 및 가공 데이터(514)를 포함할 수 있다. 데이터 분석 소프트웨어(512)는 상술한 바와 같은 객체 및 상황 인지 방법을 프로세서(500) 상에서 실행시킬 수 있다.The computer program may include data analysis software 512 and
본 발명의 다양한 실시예에 따른 객체 및 상황 인지 방법 및 시스템에 따르면, 1) 실시간으로 객체의 외적 유형(Shape) 및 내재적 유형(Rigid/Flexible)을 분류하고 계수할 수 있으며, 다양한 유형의 객체가 이동하는 상황을 인지하고 대응 할 수 있다. 2) 조도 및 색 등의 외부 영향 요인에 강건한 분석 환경확보가 가능하다. 3) 본 발명의 응용으로서 기존 설치된 CCTV등을 이용한 보안 감지기능과 융합하여 진입감지, 이동/고정 객체의 수를 확인, 주요 행동분석 등에 활용할 수 있다. 특히, 본 발명은 위와 같은 장점들을 통하여 상황인식의 정확성을 높이는 데에 기여할 수 있다.According to the object and context recognition method and system according to various embodiments of the present invention, it is possible to 1) classify and count the external shape (Shape) and the implicit type (Rigid / Flexible) of an object in real time, It is possible to recognize and cope with the moving situation. 2) It is possible to secure a robust analytical environment for external factors such as illumination and color. 3) As an application of the present invention, it can be used for detecting entrance, detecting the number of moving / fixed objects, and analyzing key behavior by merging with a security detection function using existing CCTV. Particularly, the present invention can contribute to improve the accuracy of the situation recognition through the above advantages.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였으나, 본 발명은 상기 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 제조될 수 있으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It is to be understood that the invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.
Claims (33)
상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부;
상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 데이터 분석부; 및
상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함하는
객체 및 상황 인지 시스템.A data receiving unit for receiving sensor data from a depth sensor operating in a viewing region and storing the received sensor data in a data container;
An event definition unit for generating event flow information defining a process for recognizing an object and a situation of the observation area using the sensor data;
A data analyzer for analyzing the sensor data stored in the data container according to the event flow information to identify an object in the observation area and generate analysis result data analyzing a situation associated with the object; And
And an event processor for performing a predefined operation according to the analysis result data
Object and situational awareness systems.
상기 데이터 수신부는, 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장하는
객체 및 상황 인지 시스템.The method according to claim 1,
Wherein the data receiving unit processes the sensor data into the data of an array of values having a predetermined unit and stores the processed data in the data container
Object and situational awareness systems.
상기 어레이는 2차원 어레이를 포함하고, 상기 2차원 어레이의 사이즈는 상기 깊이 센서의 해상도에 따라 결정되는
객체 및 상황 인지 시스템.3. The method of claim 2,
Wherein the array comprises a two-dimensional array, the size of the two-dimensional array being determined by the resolution of the depth sensor
Object and situational awareness systems.
상기 이벤트 정의부는,
상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 객체 분석 정의 모듈,
상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 객체 추적 정의 모듈,
상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 상황 분석 정의 모듈 및
상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 상황 처리 정의 모듈을 포함하는
객체 및 상황 인지 시스템.The method according to claim 1,
The event definition unit,
An object analysis definition module for generating an object analysis definition including a definition related to an appearance of an object to be identified from the sensor data,
An object tracking definition module that generates an object tracking definition that includes a definition of how to track an object identified by the object analysis definition,
A situation analysis definition module for generating a situation analysis definition including a definition of a situation associated with the object tracked by the object tracking definition;
And a situation definition module for generating event flow information defining a process for recognizing an object and a situation from the sensor data using the object analysis definition, the object trace definition and the situation analysis definition,
Object and situational awareness systems.
상기 객체 분석 정의는 상기 식별하고자 하는 객체의 높이, 너비, 깊이 및 형상 중 적어도 하나에 관한 정의를 포함하는
객체 및 상황 인지 시스템.5. The method of claim 4,
Wherein the object analysis definition includes a definition as to at least one of a height, a width, a depth, and a shape of the object to be identified
Object and situational awareness systems.
상기 객체 추적 정의는 상기 객체 분석 정의에 의해 식별되는 객체에 대한 추적 주기, 추적 라이프타임(lifetime) 및 추적에 이용되는 트래킹 기법 중 적어도 하나에 관한 정의를 포함하는
객체 및 상황 인지 시스템.5. The method of claim 4,
Wherein the object tracking definition includes a definition as to at least one of a tracking cycle for an object identified by the object analysis definition, a tracking lifetime, and a tracking technique used for tracking
Object and situational awareness systems.
상기 트래킹 기법은 평균 이동(mean shift) 기법, 캠 이동(cam shift) 기법, 특징점을 이용한 트래킹 기법 및 유클리드 거리(Euclidean distance)를 이용한 근접 트래킹 기법 중 적어도 하나를 포함하는
객체 및 상황 인지 시스템.The method according to claim 6,
The tracking technique may include at least one of a mean shift technique, a cam shift technique, a tracking technique using feature points, and a proximity tracking technique using an Euclidean distance
Object and situational awareness systems.
상기 상황 분석 정의는 상기 관찰 영역에 정의되는 하나 이상의 분석 영역에 관한 정의를 포함하는
객체 및 상황 인지 시스템.5. The method of claim 4,
Wherein the situation analysis definition includes a definition of one or more analysis areas defined in the observation area
Object and situational awareness systems.
상기 데이터 분석부는,
상기 이벤트 플로우 정보에 따라 상기 센서 데이터로부터 상기 객체를 식별하는 객체 분석 모듈 및
상기 이벤트 플로우 정보에 따라 상기 식별된 객체를 추적하고, 상기 객체와 연관된 상황을 분석하는 상황 분석 모듈을 포함하는
객체 및 상황 인지 시스템.The method according to claim 1,
The data analysis unit may include:
An object analysis module for identifying the object from the sensor data according to the event flow information;
And a situation analysis module for tracking the identified object according to the event flow information and analyzing a situation associated with the object
Object and situational awareness systems.
상기 데이터 분석부는, 차분 기법 또는 GMM(gaussian mixture model) 기법을 이용하여 상기 센서 데이터로부터 전경 또는 배경을 분리하는 데이터 처리 모듈을 더 포함하는
객체 및 상황 인지 시스템.10. The method of claim 9,
The data analyzer further includes a data processing module that separates the foreground or background from the sensor data using a difference technique or a gaussian mixture model (GMM) technique
Object and situational awareness systems.
상기 객체 분석 모듈은, 셰이프(shape) 분석 기법을 이용하여 상기 객체의 외형을 분석하는 기본 객체 분석 모듈을 더 포함하는
객체 및 상황 인지 시스템.10. The method of claim 9,
The object analysis module may further include a basic object analysis module for analyzing the appearance of the object using a shape analysis technique
Object and situational awareness systems.
상기 객체 분석 모듈은, 스켈레톤(Skeleton) 분석 기법을 이용하여 상기 객체의 강성(rigid) 및 연성(flexible) 여부를 분석하는 객체 종류 분석 모듈을 더 포함하는
객체 및 상황 인지 시스템.10. The method of claim 9,
The object analysis module may further include an object type analysis module for analyzing whether the object is rigid and flexible using a skeleton analysis technique
Object and situational awareness systems.
상기 객체 분석 모듈은, SVM(support vector machine) 또는 CNN(convolutional neural network)을 이용한 머신 러닝 기법을 이용하여 상기 객체를 식별하는 머신 러닝 분석 모듈을 더 포함하는
객체 및 상황 인지 시스템.10. The method of claim 9,
The object analysis module may further comprise a machine learning analysis module for identifying the object using a machine learning technique using a support vector machine (SVM) or a convolutional neural network (CNN)
Object and situational awareness systems.
상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함하는
객체 및 상황 인지 시스템.The method according to claim 1,
Wherein the predefined operation comprises transmitting a predefined message according to the analysis result data to an output device provided inside or outside the object and the context aware system
Object and situational awareness systems.
상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함하는
객체 및 상황 인지 시스템.The method according to claim 1,
Wherein the predefined operations include writing the analysis result data to a database provided within or outside the object and context aware system
Object and situational awareness systems.
상기 제1 데이터 및 상기 제2 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부; 및
상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함하는
객체 및 상황 인지 시스템.Receiving first data from a first depth sensor operating at a first location in the viewing area and second data from a second depth sensor operating in a second location different from the first location of the viewing area, A data analyzer for analyzing the first data and the second data to identify an object in the observation area and generate analysis result data analyzing a situation associated with the object;
An event definition unit that generates event flow information that defines a process for recognizing an object and a situation of the observation area using the first data and the second data; And
And an event processor for performing a predefined operation according to the analysis result data
Object and situational awareness systems.
상기 데이터 분석부는,
상기 이벤트 플로우 정보에 따라 상기 센서 데이터로부터 상기 객체를 식별하는 객체 분석 모듈 및
상기 이벤트 플로우 정보에 따라 상기 식별된 객체를 추적하고, 상기 객체와 연관된 상황을 분석하는 상황 분석 모듈을 포함하는
객체 및 상황 인지 시스템.17. The method of claim 16,
The data analysis unit may include:
An object analysis module for identifying the object from the sensor data according to the event flow information;
And a situation analysis module for tracking the identified object according to the event flow information and analyzing a situation associated with the object
Object and situational awareness systems.
상기 이벤트 정의부는,
상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 객체 분석 정의 모듈,
상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 객체 추적 정의 모듈,
상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 상황 분석 정의 모듈 및
상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 상황 처리 정의 모듈을 포함하는
객체 및 상황 인지 시스템.17. The method of claim 16,
The event definition unit,
An object analysis definition module for generating an object analysis definition including a definition related to an appearance of an object to be identified from the sensor data,
An object tracking definition module that generates an object tracking definition that includes a definition of how to track an object identified by the object analysis definition,
A situation analysis definition module for generating a situation analysis definition including a definition of a situation associated with the object tracked by the object tracking definition;
And a situation definition module for generating event flow information defining a process for recognizing an object and a situation from the sensor data using the object analysis definition, the object trace definition and the situation analysis definition,
Object and situational awareness systems.
상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함하는
객체 및 상황 인지 시스템.17. The method of claim 16,
Wherein the predefined operation comprises transmitting a predefined message according to the analysis result data to an output device provided inside or outside the object and the context aware system
Object and situational awareness systems.
상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함하는
객체 및 상황 인지 시스템.17. The method of claim 16,
Wherein the predefined operations include writing the analysis result data to a database provided within or outside the object and context aware system
Object and situational awareness systems.
상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우(event flow) 정보를 생성하는 이벤트 정의부;
상기 이벤트 플로우 정보 및 상기 센서 데이터를 분산 처리 시스템에 제공하고, 상기 분산 처리 시스템으로부터 분석 결과 데이터를 수신하는 데이터 분석부; 및
상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 이벤트 처리부를 포함하고,
상기 분석 결과 데이터는, 상기 센서 데이터가 상기 이벤트 플로우 정보에 따라 분석되어 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 데이터를 포함하는
객체 및 상황 인지 시스템.A data receiving unit for receiving sensor data from a depth sensor operating in a viewing region and storing the received sensor data in a data container;
An event definition unit for generating event flow information defining a process for recognizing an object and a situation of the observation area using the sensor data;
A data analysis unit for providing the event flow information and the sensor data to a distributed processing system and receiving analysis result data from the distributed processing system; And
And an event processor for performing a predefined operation according to the analysis result data,
Wherein the analysis result data includes data in which the sensor data is analyzed according to the event flow information to identify an object in the observation area and analyze a situation associated with the object
Object and situational awareness systems.
상기 데이터 수신부는, 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장하는
객체 및 상황 인지 시스템.22. The method of claim 21,
Wherein the data receiving unit processes the sensor data into the data of an array of values having a predetermined unit and stores the processed data in the data container
Object and situational awareness systems.
상기 이벤트 정의부는,
상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 객체 분석 정의 모듈,
상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 객체 추적 정의 모듈,
상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 상황 분석 정의 모듈 및
상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 상황 처리 정의 모듈을 포함하는
객체 및 상황 인지 시스템.22. The method of claim 21,
The event definition unit,
An object analysis definition module for generating an object analysis definition including a definition related to an appearance of an object to be identified from the sensor data,
An object tracking definition module that generates an object tracking definition that includes a definition of how to track an object identified by the object analysis definition,
A situation analysis definition module for generating a situation analysis definition including a definition of a situation associated with the object tracked by the object tracking definition;
And a situation definition module for generating event flow information defining a process for recognizing an object and a situation from the sensor data using the object analysis definition, the object trace definition and the situation analysis definition,
Object and situational awareness systems.
상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함하는
객체 및 상황 인지 시스템.22. The method of claim 21,
Wherein the predefined operation comprises transmitting a predefined message according to the analysis result data to an output device provided inside or outside the object and the context aware system
Object and situational awareness systems.
상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함하는
객체 및 상황 인지 시스템.22. The method of claim 21,
Wherein the predefined operations include writing the analysis result data to a database provided within or outside the object and context aware system
Object and situational awareness systems.
상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 단계;
상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 단계; 및
상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 단계를 포함하는
객체 및 상황 인지 방법.Receiving sensor data from a depth sensor operating in an observation area and storing the sensor data in a data container;
Generating event flow information that defines a process for recognizing an object and a situation of the observation area using the sensor data;
Analyzing the sensor data stored in the data container according to the event flow information to identify an object in the observation area and generating analysis result data analyzing a situation associated with the object; And
And performing a predefined operation according to the analysis result data
Object and context aware methods.
상기 데이터 컨테이너에 저장하는 단계는 상기 센서 데이터를 미리 정해진 단위를 갖는 값들의 어레이(array) 형태의 가공 데이터로 가공하여 상기 데이터 컨테이너에 저장하는 단계를 포함하는
객체 및 상황 인지 방법.27. The method of claim 26,
Wherein the step of storing the data in the data container includes processing the sensor data into processed data in the form of an array of values having a predetermined unit and storing the processed data in the data container
Object and context aware methods.
상기 프로세스를 정의하는 단계는,
상기 센서 데이터로부터 식별하고자 하는 객체의 외형에 관한 정의를 포함하는 객체 분석 정의를 생성하는 단계,
상기 객체 분석 정의에 의해 식별되는 객체를 추적하는 방식에 관한 정의를 포함하는 객체 추적 정의를 생성하는 단계,
상기 객체 추적 정의에 의해 추적되는 객체와 연관된 상황에 관한 정의를 포함하는 상황 분석 정의를 생성하는 단계 및
상기 객체 분석 정의, 상기 객체 추적 정의 및 상기 상황 분석 정의를 이용하여, 상기 센서 데이터로부터 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 단계를 포함하는
객체 및 상황 인지 방법.27. The method of claim 26,
Wherein defining the process comprises:
Generating an object analysis definition including a definition of an appearance of an object to be identified from the sensor data,
Generating an object tracking definition that includes a definition of how to track the object identified by the object analysis definition,
Generating a context analysis definition comprising a contextual definition associated with an object tracked by the object tracking definition; and
Generating event flow information defining a process for recognizing an object and a situation from the sensor data using the object analysis definition, the object tracking definition and the situation analysis definition,
Object and context aware methods.
상기 분석 결과 데이터를 생성하는 단계는,
상기 이벤트 플로우 정보에 따라 상기 센서 데이터로부터 상기 객체를 식별하는 단계 및
상기 이벤트 플로우 정보에 따라 상기 식별된 객체를 추적하고, 상기 객체와 연관된 상황을 분석하는 단계를 포함하는
객체 및 상황 인지 방법.27. The method of claim 26,
The step of generating the analysis result data comprises:
Identifying the object from the sensor data according to the event flow information;
Tracking the identified object in accordance with the event flow information, and analyzing the situation associated with the object
Object and context aware methods.
상기 분석 결과 데이터를 생성하는 단계는,
차분 기법 또는 GMM(gaussian mixture model) 기법을 이용하여 상기 센서 데이터로부터 전경 또는 배경을 분리하는 단계를 더 포함하는 객체 및 상황 인지 방법.30. The method of claim 29,
The step of generating the analysis result data comprises:
Further comprising separating foreground or background from the sensor data using a difference technique or a gaussian mixture model (GMM) technique.
상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 출력 장치에 상기 분석 결과 데이터에 따라 미리 정의된 메시지를 전송하는 동작을 포함하는
객체 및 상황 인지 방법.27. The method of claim 26,
Wherein the predefined operation comprises transmitting a predefined message according to the analysis result data to an output device provided inside or outside the object and the context aware system
Object and context aware methods.
상기 미리 정의된 동작은, 상기 객체 및 상황 인지 시스템의 내부 또는 외부에 구비된 데이터베이스에 상기 분석 결과 데이터를 기록하는 동작을 포함하는
객체 및 상황 인지 방법.27. The method of claim 26,
Wherein the predefined operations include writing the analysis result data to a database provided within or outside the object and context aware system
Object and context aware methods.
관찰 영역에서 동작하는 깊이 센서(depth sensor)로부터 센서 데이터를 수신하여 데이터 컨테이너에 저장하는 단계;
상기 센서 데이터를 이용하여 상기 관찰 영역의 객체 및 상황을 인식하기 위한 프로세스를 정의하는 이벤트 플로우 정보를 생성하는 단계;
상기 이벤트 플로우 정보에 따라 상기 데이터 컨테이너에 저장된 상기 센서 데이터를 분석하여, 상기 관찰 영역에서 객체를 식별하고 상기 객체와 연관된 상황을 분석한 분석 결과 데이터를 생성하는 단계; 및
상기 분석 결과 데이터에 따라 미리 정의된 동작을 수행하는 단계를 실행시키기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된,
컴퓨터 프로그램.In combination with the computing device,
Receiving sensor data from a depth sensor operating in an observation area and storing the sensor data in a data container;
Generating event flow information that defines a process for recognizing an object and a situation of the observation area using the sensor data;
Analyzing the sensor data stored in the data container according to the event flow information to identify an object in the observation area and generating analysis result data analyzing a situation associated with the object; And
And performing a predefined operation according to the analysis result data,
Computer program.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20150148103 | 2015-10-23 | ||
| KR1020150148103 | 2015-10-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170048108A true KR20170048108A (en) | 2017-05-08 |
| KR102316799B1 KR102316799B1 (en) | 2021-10-25 |
Family
ID=60164058
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150154231A KR102316799B1 (en) | 2015-10-23 | 2015-11-04 | Method and system for recognizing object and environment |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102316799B1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101877294B1 (en) * | 2018-01-16 | 2018-07-11 | 한국비전기술주식회사 | Smart cctv system for crime prevention capable of setting multi situation and recognizing automatic situation by defining several basic behaviors based on organic relation between object, area and object's events |
| WO2020139478A1 (en) * | 2018-12-26 | 2020-07-02 | Intel Corporation | Technologies for fusing data from multiple sensors to improve object detection, identification, and localization |
| WO2021002722A1 (en) * | 2019-07-04 | 2021-01-07 | (주)넷비젼텔레콤 | Method for perceiving event tagging-based situation and system for same |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110130033A (en) * | 2010-05-27 | 2011-12-05 | 박용헌 | Active image monitoring system using motion pattern database, and method thereof |
| US8406470B2 (en) | 2011-04-19 | 2013-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Object detection in depth images |
| KR20150061745A (en) * | 2013-11-28 | 2015-06-05 | (주) 임베디드 솔루션 | Infrared depth camera based emergency detection system for elder people |
| KR20150092545A (en) * | 2014-02-05 | 2015-08-13 | 김세영 | Warning method and system using prompt situation information data |
-
2015
- 2015-11-04 KR KR1020150154231A patent/KR102316799B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110130033A (en) * | 2010-05-27 | 2011-12-05 | 박용헌 | Active image monitoring system using motion pattern database, and method thereof |
| US8406470B2 (en) | 2011-04-19 | 2013-03-26 | Mitsubishi Electric Research Laboratories, Inc. | Object detection in depth images |
| KR20150061745A (en) * | 2013-11-28 | 2015-06-05 | (주) 임베디드 솔루션 | Infrared depth camera based emergency detection system for elder people |
| KR20150092545A (en) * | 2014-02-05 | 2015-08-13 | 김세영 | Warning method and system using prompt situation information data |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101877294B1 (en) * | 2018-01-16 | 2018-07-11 | 한국비전기술주식회사 | Smart cctv system for crime prevention capable of setting multi situation and recognizing automatic situation by defining several basic behaviors based on organic relation between object, area and object's events |
| WO2020139478A1 (en) * | 2018-12-26 | 2020-07-02 | Intel Corporation | Technologies for fusing data from multiple sensors to improve object detection, identification, and localization |
| US11423570B2 (en) | 2018-12-26 | 2022-08-23 | Intel Corporation | Technologies for fusing data from multiple sensors to improve object detection, identification, and localization |
| US11887335B2 (en) | 2018-12-26 | 2024-01-30 | Intel Corporation | Technologies for fusing data from multiple sensors to improve object detection, identification, and localization |
| WO2021002722A1 (en) * | 2019-07-04 | 2021-01-07 | (주)넷비젼텔레콤 | Method for perceiving event tagging-based situation and system for same |
| KR20210004271A (en) | 2019-07-04 | 2021-01-13 | (주)넷비젼텔레콤 | Method and system for recognizing situation based on event tagging |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102316799B1 (en) | 2021-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11295139B2 (en) | Human presence detection in edge devices | |
| US9811721B2 (en) | Three-dimensional hand tracking using depth sequences | |
| US9008365B2 (en) | Systems and methods for pedestrian detection in images | |
| CN102163290B (en) | Method for modeling abnormal events in multi-visual angle video monitoring based on temporal-spatial correlation information | |
| JP2021513690A (en) | Article identification method and system, electronic equipment | |
| TWI438702B (en) | Method for setting dynamic enviromental image borders and method for instantly determining the content of staff member activities | |
| US10063843B2 (en) | Image processing apparatus and image processing method for estimating three-dimensional position of object in image | |
| CN109672863A (en) | A kind of construction personnel's safety equipment intelligent monitoring method based on image recognition | |
| JP6988790B2 (en) | Crowd type identification system, crowd type identification method and crowd type identification program | |
| CN111209774A (en) | Target behavior recognition and display method, device, equipment and readable medium | |
| KR20160118830A (en) | Method for recognizing object using pressure sensor | |
| CN116129350B (en) | Intelligent monitoring method, device, equipment and medium for safety operation of data center | |
| KR20220055378A (en) | On-device AI apparatus for detecting abnormal behavior automatically based on deep learning and operating method thereof | |
| KR102316799B1 (en) | Method and system for recognizing object and environment | |
| CN115862113A (en) | Stranger abnormity identification method, device, equipment and storage medium | |
| CN113313098B (en) | Video processing method, device, system and storage medium | |
| Akhavian et al. | Construction activity recognition for simulation input modeling using machine learning classifiers | |
| CN111832450B (en) | Knife holding detection method based on image recognition | |
| CN116311081B (en) | Medical laboratory monitoring image analysis method and system based on image recognition | |
| CN114463779A (en) | Smoking identification method, device, equipment and storage medium | |
| CN111753587B (en) | Ground falling detection method and device | |
| JP2008140093A (en) | Abnormal event extraction device, abnormal event extraction method, program for the method, and storage medium recording the program | |
| KR101340287B1 (en) | Intrusion detection system using mining based pattern analysis in smart home | |
| CN114494355A (en) | Trajectory analysis method and device based on artificial intelligence, terminal equipment and medium | |
| CN114067401A (en) | Target detection model training and identity verification method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |