KR101687296B1 - Object tracking system for hybrid pattern analysis based on sounds and behavior patterns cognition, and method thereof - Google Patents

Object tracking system for hybrid pattern analysis based on sounds and behavior patterns cognition, and method thereof Download PDF

Info

Publication number
KR101687296B1
KR101687296B1 KR1020160086015A KR20160086015A KR101687296B1 KR 101687296 B1 KR101687296 B1 KR 101687296B1 KR 1020160086015 A KR1020160086015 A KR 1020160086015A KR 20160086015 A KR20160086015 A KR 20160086015A KR 101687296 B1 KR101687296 B1 KR 101687296B1
Authority
KR
South Korea
Prior art keywords
event
sound
information
control device
frequency
Prior art date
Application number
KR1020160086015A
Other languages
Korean (ko)
Inventor
박은희
Original Assignee
에코아이넷 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에코아이넷 주식회사 filed Critical 에코아이넷 주식회사
Priority to KR1020160086015A priority Critical patent/KR101687296B1/en
Application granted granted Critical
Publication of KR101687296B1 publication Critical patent/KR101687296B1/en

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19654Details concerning communication with a camera
    • G08B13/1966Wireless systems, other than telephone systems, used to communicate with a camera
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/16Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00Burglar, theft or intruder alarms
    • G08B13/18Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19617Surveillance camera constructional details
    • G08B13/1963Arrangements allowing camera rotation to change view, e.g. pivoting camera, pan-tilt and zoom [PTZ]
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/0202Child monitoring systems using a transmitter-receiver system carried by the parent and the child
    • G08B21/028Communication between parent and child units via remote transmission means, e.g. satellite network
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18Status alarms
    • G08B21/182Level alarms, e.g. alarms responsive to variables exceeding a threshold
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016Personal emergency signalling and security systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/12Manually actuated calamity alarm transmitting arrangements emergency non-personal manually actuated alarm, activators, e.g. details of alarm push buttons mounted on an infrastructure
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/14Central alarm receiver or annunciator arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B27/00Alarm systems in which the alarm condition is signalled from a central station to a plurality of substations
    • G08B27/001Signalling to an emergency team, e.g. firemen
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Child & Adolescent Psychology (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Alarm Systems (AREA)

Abstract

The present invention relates to an object tracking system and an object tracking method capable of analyzing a hybrid pattern based on sound and behavior pattern recognition. The object tracking method includes: a first step of a single pronunciation of a frequency in a preset range; a second step of determining whether or not a sound event occurs; a third step of transmitting voice event occurrence information; a fourth step of receiving single pronunciation frequency information; a fifth step of receiving image event information; a sixth step of generating information related to a target area or a target object; a seventh step of transmitting the information related to the target area or the target object; an eighth step of generating event photographing information and retransferring the same to a control device; and a ninth step of outputting a message corresponding to an event analysis value.

Description

음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법{Object tracking system for hybrid pattern analysis based on sounds and behavior patterns cognition, and method thereof}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an object tracking system and an object tracking method capable of analyzing a hybrid pattern based on acoustic and behavior pattern recognition,

본 발명은 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법에 관한 것으로, 보다 구체적으로는, "주로 실내에서" 한 문장으로 말할 수 있는 2 내지 5초에 해당하는 단발음에 대한 음향 주파수를 기반으로 긴급상황에 높인 추적 대상을 1차적으로 선정하고, 이를 검증하기 위해 고정형 카메라에 의한 행동 패턴으로 필터링을 수행함으로써, 긴급상황에 놓인 추적 대상에 대한 선택 확률을 획기적으로 높여서 정밀한 추적이 가능하도록 하기 위한 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법에 관한 것이다. The present invention relates to an object tracking system and an object tracking method capable of analyzing a hybrid pattern based on acoustic and behavior pattern recognition, and more particularly, to an object tracking system and an object tracking method capable of analyzing an object corresponding to 2 to 5 seconds In this paper, we propose a method to select a tracking object based on the acoustic frequency of a speech and to perform a filtering with a behavioral pattern by a fixed camera in order to verify it. The present invention relates to an object tracking system and an object tracking method capable of performing hybrid pattern analysis based on acoustic and behavior pattern recognition for enabling high-precision tracking.

근래에 이르러 범죄 발생을 예방하기 위해 우범지역이나 한적한 장소에 감시 카메라가 설치되는 경우가 빈번해지고 있으며, 유동 인구가 많거나 차량 통행이 많아 사고 위험이 빈번한 장소에서도 사고 수습 목적으로 감시카메라가 설치되고 있다.In recent years, in order to prevent the occurrence of crime, surveillance cameras are frequently installed in the outskirts or in unseasonable places, and a surveillance camera is installed for the purpose of catching an accident even in a place where frequent traffic accidents are frequent have.

이러한 감시 카메라 설치 시에는 설치 비용에 비해 얼마나 많은 정보를 획득할 수 있는지에 대한 여부와 사각지역에 대한 해결 여부가 관건이 된다.When installing such a surveillance camera, it is important to know how much information can be obtained in comparison with the installation cost and whether to solve the square area.

이에 따라, 해당 기술분야에서는 자동으로 긴급상황을 인식하여 관제센터에 통지하기 위한 정밀 분석 기술이 요구되고 있다.Accordingly, there is a demand for precision analysis technology for automatically recognizing the emergency situation and notifying the control center in the related technical field.

한편, 종래의 기술 1에 해당하는 대한민국 특허등록공보 등록번호 제10-1291728호 "카메라의 상승 및 하강이 가능한 CCTV 폴 시스템(CCTV POLE SYSTEM CAPABLE OF MOVING CAMERA UP AND DOWN)"은 CCTV 카메라 등을 폴 상단부에 간편하게 설치하거나 폴 하단부로 내려 효율적으로 점검 및 보수할 수 있는 카메라의 상승 및 하강이 가능한 CCTV 폴 시스템에 관한 것이나, 이는 상부 하부에 대한 높이 조절을 통해 객체에 대한 효율적인 감시에 목적이 있을 뿐, 객체에 대한 효과적인 인식 및 추적에 대해서는 제시하지 못하는 한계점이 있다.Korean Patent Registration No. 10-1291728 "CCTV POLE SYSTEM CAPABLE OF MOVING CAMERA UP AND DOWN ", which is capable of raising and lowering a camera, The present invention relates to a CCTV pawl system which can be easily installed on the upper part or can be ascended and descended by a camera which can be downsized and efficiently checked and repaired. , There is a limit to the effective recognition and tracking of objects.

종래의 기술 2에 해당하는 대한민국 특허등록공보 등록번호 제10-1581795호 "CCTV 카메라가 내장된 LED 가로등 제조방법(MANUFACTURING METHOD OF LED STREET LIGHT WITH CCTV CAMERA)"은 차량이 주행하는 도로를 조명하기 위한 가로등 또는 주택가에 설치되어 보행자들이 보행하는 도로를 조명하기 위한 보안등을 비롯하여 소정의 피조물을 조명하는데 사용되는 LED(Light Emitting Diode) 조명등에 CCTV(Closed Circuit Television) 카메라를 구비하여 소정의 피사체를 촬영할 수 있도록 하는 CCTV 카메라가 내장된 LED 가로등에 관한 것이나, 이는 선명한 피사체의 영상을 획득하는 것에 목적이 있을 뿐, 객체에 대한 효과적인 인식 및 추적에 대해서는 제시하지 못하는 한계점이 있다.Korean Patent Registration No. 10-1581795, " MANUFACTURING METHOD OF LED STREET LIGHT WITH CCTV CAMERA ", which incorporates a CCTV camera, is used to illuminate a road on which a vehicle is traveling (Closed Circuit Television) camera installed in a street light or an LED (Light Emitting Diode) lighting used to illuminate a predetermined object including a security light for illuminating a road on which pedestrians are walking, and a predetermined subject can be photographed The present invention is directed to an LED street lamp having a built-in CCTV camera. However, the object of the present invention is to acquire an image of a clear object, and there is a limit to effectively recognize and track the object.

종래의 기술 3에 해당하는 대한민국 특허공개공보 공개번호 제10-2016-0070922호 "지하철 객실 감시 CCTV시스템 및 그것을 이용한 지하철 객실정보 전송방법(Surveillance CCTV system for subway cabin and transmission method for subway cabin information using the same)"은 지하철 객실 내의 상황을 역사에서 실시간으로 체크할 수 있도록 해상도 높은 정보를 끊김 없이 전송할 수 있도록 한 지하철 객실 감시 CCTV시스템 및 그것을 이용한 지하철 객실정보 전송방법에 관한 것이나, 지하철에 한정되어 외부의 도로에서의 광범위용 CCTV 시스템으로 사용할 수는 없는 한계점이 있다.Korean Patent Laid-Open Publication No. 10-2016-0070922 corresponding to the prior art 3 "Subway cabin surveillance CCTV system and subway cabin information transmission method using the same (Surveillance CCTV system for subway cabin information using the same ") relates to a subway room monitoring CCTV system and a subway room information transmission method using the same, which enable high-resolution information to be continuously transmitted so that the situation in a subway room can be checked in real time in history, There is a limitation that it can not be used as a wide range CCTV system on the road.

종래의 기술 4에 해당하는 대한민국 특허등록공보 등록번호 제10-1507978호 "다목적 CCTV 방범 시스템(VERSATILE CLOSED CIRCUIT TELEVISION SECURITY SYSTEM)"은 다목적 CCTV 방범 시스템에 관한 것으로, 화장실의 내부에 배치되어, 사용자의 푸시 명령에 상응하는 무선 신호를 송출하는 비상 버튼; 상기 화장실의 내부에 배치되어, 상기 비상 버튼으로부터의 상기 무선 신호를 수신하는 무선 비상벨 수신기; 상기 무선 비상벨 수신기로부터 상기 무선 신호를 수신하면, 비상시 무선 신호를 송신하도록 제어하는 신호 처리부; 상기 신호 처리부의 제어에 의해 상기 비상시 무선 신호를 송신하는 무선 송신부; 상기 송신된 상기 비상시 무선 신호를 수신하는 무선 수신부; 및 상기 무선 수신부가 설치되며, 상기 무선 수신부에 상기 비상시 무선 신호가 수신되면 동작하는 CCTV 카메라를 포함하는 CCTV 방범 폴;을 포함함으로써, 주로 실내에서 CCTV를 활용한 감시 방법으로 실외에서는 긴급상황을 감시할 수 없는 한계점이 있다.Korean Patent Registration No. 10-1507978 " VERSATILE CLOSED CIRCUIT TELEVISION SECURITY SYSTEM "corresponding to Conventional Technology 4 relates to a multipurpose CCTV crime prevention system and is disposed inside a toilet, An emergency button for transmitting a radio signal corresponding to a push command; A wireless emergency bell receiver disposed within the toilet, the wireless emergency bell receiver receiving the wireless signal from the emergency button; A signal processor for receiving a radio signal from the radio emergency bell receiver and transmitting a radio signal in an emergency; A radio transmission unit for transmitting the radio signal in the emergency state under the control of the signal processing unit; A radio receiver for receiving the transmitted emergency radio signal; And a CCTV security pole including the CCTV camera installed when the radio receiver is installed and the radio receiver receives the radio signal in the emergency. Thus, the CCTV security pole can be used as a surveillance method using indoor CCTV, There are limitations that can not be done.

대한민국 특허등록공보 등록번호 제10-1291728호 "카메라의 상승 및 하강이 가능한 CCTV 폴 시스템(CCTV POLE SYSTEM CAPABLE OF MOVING CAMERA UP AND DOWN)"Korean Patent Registration No. 10-1291728 entitled " CCTV POLE SYSTEM CAPABLE OF MOVING CAMERA UP AND DOWN " 대한민국 특허등록공보 등록번호 제10-1581795호 "CCTV 카메라가 내장된 LED 가로등 제조방법(MANUFACTURING METHOD OF LED STREET LIGHT WITH CCTV CAMERA)"Korean Patent Registration No. 10-1581795 entitled " MANUFACTURING METHOD OF LED STREET LIGHT WITH CCTV CAMERA " 대한민국 특허공개공보 공개번호 제10-2016-0070922호 "지하철 객실 감시 CCTV시스템 및 그것을 이용한 지하철 객실정보 전송방법(Surveillance CCTV system for subway cabin and transmission method for subway cabin information using the same)"Korean Patent Laid-Open Publication No. 10-2016-0070922 entitled " Surveillance CCTV System for Subway Cabin & Surveillance Method Using Subway Cabin Information Using the Same " 대한민국 특허등록공보 등록번호 제10-1507978호 "다목적 CCTV 방범 시스템(VERSATILE CLOSED CIRCUIT TELEVISION SECURITY SYSTEM)"Korean Patent Registration No. 10-1507978 entitled " VERSATILE CLOSED CIRCUIT TELEVISION SECURITY SYSTEM "

본 발명은 상기의 문제점을 해결하기 위한 것으로, 한 문장으로 말할 수 있는 2 내지 5초에 해당하는 단발음에 대한 음향 주파수를 기반으로 긴급상황에 높인 추적 대상을 1차적으로 선정하고, 이를 검증하기 위해 고정형 카메라에 의한 행동 패턴으로 필터링을 수행함으로써, 긴급상황에 놓인 추적 대상에 대한 선택 확률을 획기적으로 높여서 정밀한 추적이 가능하도록 하기 위한 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법을 제공하기 위한 것이다.In order to solve the above problems, the present invention primarily selects a tracking object that is raised in an emergency situation based on the acoustic frequency of a phoneme corresponding to 2 to 5 seconds, which can be expressed in one sentence, An object tracking system capable of performing hybrid pattern analysis based on acoustic and behavior pattern recognition in order to enable precise tracking by significantly increasing the probability of selection of an object to be traced in an emergency by performing filtering based on a behavior pattern by a fixed camera Object tracking method.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 방법은, 하나의 음향 주파수 인식 장치가 미리 설정된 범위의 주파수의 단발음을 감지하는 제 1 단계; 상기 음향 주파수 인식 장치가 단말음이 미리 설정된 임계치 데시벨(dB) 이상인지를 분석하여 음향 이벤트 발생 여부를 판단하는 제 2 단계; 음향 이벤트가 발생한 경우, 음향 주파수 인식 장치가 음성 이벤트 발생정보를 생성한 뒤 제어장치로 음성 이벤트 발생정보를 전송하는 제 3 단계; 상기 제어장치가 긴급 상황 발생 인지 분석을 개시하기 위해, 긴급 상황 발생 인지 분석을 위해 수신된 단발음을 감지한 음향 주파수 인식 장치로부터 단발음 주파수 정보를 수신하는 제 4 단계; 상기 제어장치가 단발음을 감지한 음향 주파수 인식 장치와 동일한 영역에 위치한 고정형 촬영장치로부터 영상 이벤트 정보를 수신하는 제 5 단계; 상기 제어장치가 상기 음성 이벤트 발생정보와 상기 영상 이벤트 정보를 통해 피사체의 긴급상황을 분석하고 긴급상황인 경우 회전형 카메라에 촬영되기 위한 대상 영역 또는 대상 객체에 관한 정보를 생성하는 제 6 단계; 상기 제어장치가 결정된 대상 영역 또는 대상 객체에 관한 정보를 단발음을 감지한 음향 주파수 인식 장치와 동일한 영역에 위치한 회전형 카메라로 전송하는 제 7 단계; 상기 회전형 카메라가 상기 제어장치로부터 결정된 대상 영역 또는 대상 객체가 촬영되도록 하여, 이벤트 촬영정보를 생성하여 상기 제어장치로 반송하는 제 8 단계; 및 상기 제어장치가 수신한 이벤트 촬영정보를 이용해 이벤트 분석값을 생성하여 이벤트 분석값과 맞는 메시지를 평판형 스피커로 출력하도록 제어하는 제 9 단계; 를 포함하며, 상기 제 5 단계는, 상기 제어장치가 긴급 상황 발생 인지 분석을 위해 수신된 단발음을 감지한 상기 음향 주파수 인식 장치로부터 단발음 주파수 정보를 수신하는 제 5-1 단계; 상기 제어장치가 수신된 단발음 주파수 정보를 분석하여 단발음이 도움 요청 음향 주파수에 해당하는지 여부를 판단하는 제 5-2 단계; 분석 결과 단발음이 도움 요청 음향 주파수에 해당하는 경우는 상기 제어장치가 제 1 영상 이벤트 감지를 수행하는데, 수신된 단발음 주파수 신호의 방향을 산출한 뒤, 방향과 매칭되는 영역에 배치된 고정형 카메라로부터 촬영된 영상으로부터 제 1 영상 이벤트(피사체 기반 긴급 상황 발생 증명 영상 이벤트 추출) 감지를 수행하며, 반대로 단발음이 도움 요청 음향 주파수에 해당하지 않는 경우 상기 제어장치가 수신된 단발음 주파수 정보를 분석하여 단발음이 도움 요청 도구에 의해 발생한 음향 주파수(호루라기 음향 주파수)에 해당하는지 여부를 판단하는 제 5-3 단계; 및 분석 결과 단발음이 도움 요청 도구에 의해 발생한 음향 주파수(호루라기 음향 주파수)에 해당하는 경우 상기 제어장치가 제 2 영상 이벤트 감지(피사체 및 도움 요청 도구 기반 긴급 상황 발생 증명 영상 이벤트 추출)를 수행하는데, 수신된 단발음 주파수 신호의 방향을 산출한 뒤, 방향과 매칭되는 영역에 배치된 고정형 카메라로부터 촬영된 영상으로부터 제 2 영상 이벤트 감지를 수행하며, 반대로 단발음이 호루라기 음향 주파수에 해당하지 않는 경우 상기 제어장치가 제 3 영상 이벤트 감지(두 개의 피사체 기반 긴급 상황 발생 증명 영상 이벤트 추출)를 수행하는 제 5-4 단계; 를 포함하며, 상기 제 6 단계는, 상기 제어장치가 상기 제 5 단계에서 단발음이 도움 요청 음향 주파수이며, 제 1 내지 제 3 영상 이벤트 중 적어도 하나 이상을 감지하는 경우 피사체의 긴급상황으로 분석한 뒤, 상기 회전형 카메라의 촬영 대상 영역 또는 대상 객체를 음향 주파수 신호 방향(즉, 음향 주파수 신호가 감지된 방향)으로 결정하며, 상기 제 9 단계는, 상기 제어장치가 상기 이벤트 촬영정보를 이용해 이벤트 분석값을 생성시, 이벤트 분석값은 제 1 영상 이벤트와 매칭되는 '도움 이벤트 분석값', 제 2 영상 이벤트와 매칭되는 '도움 요청 도구(호루라기) 이벤트 분석값', 제 3 영상 이벤트와 매칭되는 '폭력 행사 이벤트 분석값', 그 밖의 노멀 이벤트와 매칭되는 '노멀 이벤트 분석값'으로 구분되며, 노멀 이벤트 분석값은, 긴급 상황 가능성 있는 이벤트 촬영정보의 경우(출입통제지역의 주출입문 주변에서 이동 객체가 이동하다가 주출입문에서 이동 객체가 일정한 시간 동안 배회하거나 주출입문을 마주한 채 일정한 시간 동안 정지해 있는 경우의 도난 가능성이 있는 상황)에 생성되는 것을 특징으로 한다.
이때, 상기 제 9 단계는, 상기 제어장치가 생성된 이벤트 분석값이 복수개인지에 대한 여부를 판단하는 제 9-1 단계; 상기 제어장치가 촬영이 결정된 대상 영역에서 이동 객체가 복수개로 확인되는 경우, 복수의 이벤트 분석값 중 우선순위에 따라 최우선되는 이벤트 분석값을 선택하는 제 9-2 단계; 상기 제어장치가 선택된 이벤트 분석값에 대응되는 이벤트 분석값에 대응되는 메시지를 추출하는 제 9-3 단계; 상기 제어장치가 추출된 메시지에 대응되는 음향정보를 평판형 스피커로 전송하는 제 9-4 단계; 및 상기 평판형 스피커가 음향정보를 추신하여 음향정보가 음성 또는 경보음으로 출력하는 제 9-5 단계; 를 더 포함하며, 상기 우선순위는, '도움 이벤트 분석값', '도움 요청 도구(호루라기) 이벤트 분석값', 폭력 행사 이벤트 분석값', '노멀 이벤트 분석값'에 대한 순서를 통해 설정될 되는 것을 특징으로 한다.
또한, 고정형 카메라, 회전형 카메라, 스피커, 음향 주파수 인식 장치 및 비콘 무선 신호 송수신부가 셋트화되어 기확정된 감시 대상 영역의 주변의 현장에 설치되고, 상기 제어장치가 외부의 관제센터에 별도로 설치되는 경우, 상기 관제센터의 제어장치가 각 모바일단말 중 안전귀가 어플을 실행한 모바일단말로부터 비콘 무선 신호를 수신하도록 셋트화되어 기확정된 감시 대상 영역의 각 주변의 현장의 상기 비콘 무선 신호 송수신부를 제어하여 네트워크를 통해 수신한 뒤, 송출 귀가 위치를 미리 설정된 지인의 모바일단말로 송출하는 것을 특징으로 하는 한다.
According to another aspect of the present invention, there is provided an object tracking method capable of analyzing a hybrid pattern based on acoustic and behavior pattern recognition, Stage 1; A second step of determining whether or not an acoustic event is generated by analyzing whether the acoustic frequency recognition device determines that the terminal sound is equal to or greater than a preset threshold value dB; A third step of, when the acoustic event occurs, generating a voice event occurrence information by the acoustic frequency recognition device and transmitting the voice event occurrence information to the control device; A fourth step of receiving the monophonic sound frequency information from the sound frequency recognition device which senses the received monophonic sound for the purpose of analyzing whether the emergency situation occurs or not in order to start the analysis of the emergency situation; A fifth step of receiving the video event information from the fixed photographing device located in the same area as the acoustic frequency recognition device in which the control device senses the phoneme; A sixth step of analyzing an emergency situation of a subject through the voice event occurrence information and the video event information and generating information about a target area or a target object to be photographed by the rotary camera in an emergency situation; A seventh step of transmitting the information about the target area or the target object determined by the control device to a rotating camera located in the same area as the sound frequency recognizing device that senses the sound; An eighth step of causing the rotary camera to shoot an object area or a target object determined by the control device to generate event photographing information and return the event photographing information to the control device; And a control step of generating an event analysis value by using the event photographing information received by the control device and outputting a message corresponding to the event analysis value to the flat speaker. The fifth step of receiving the shortened sound frequency information from the acoustic frequency recognition device which senses the received short sound for analyzing whether the control device is in an emergency situation; A step 5-2 of analyzing the received monophonic sound frequency information to determine whether the monophonic sound corresponds to a sound frequency requested for assistance; When the monaural sound corresponds to the sound frequency requested for assistance, the control device performs the first image event detection. After calculating the direction of the received monaural sound frequency signal, Based event detection event image) from the image captured by the control unit. On the other hand, when the terminal sound does not correspond to the assist request sound frequency, the controller analyzes the received sound end frequency information (Step 5 - 3) of judging whether or not the singular pronunciation corresponds to the acoustic frequency (whistle sound frequency) generated by the help requesting tool; And when the analysis result corresponds to the sound frequency (whistle sound frequency) generated by the help requesting tool, the control device performs the second image event detection (event extraction of the event based on the subject and the help request tool) , Calculates the direction of the received end sound emission frequency signal, and performs a second image event detection from the image captured by the fixed camera disposed in the area matching the direction. On the contrary, if the end sound does not correspond to the whistle sound frequency (5) performing the third video event detection (two subject-based emergency occurrence event video event extraction) by the control device; And the sixth step includes analyzing an emergency situation of the subject when the control device senses at least one of the first to third video events and the monaural assisted sound frequency in the fifth step The control device determines an image pickup target area or object of the rotary camera as an acoustic frequency signal direction (i.e., a direction in which the acoustic frequency signal is sensed) When generating the analysis value, the event analysis value includes' help event analysis value 'matching with the first video event,' help request tool (whistle) event analysis value matching with the second video event ', and' , 'Violent event event analysis value', and 'normal event analysis value' matching with other normal events, and the normal event analysis value is classified into ' (A situation where a moving object moves around the main entrance of the access control area and there is a possibility that the moving object may be stolen when the moving object is wandering for a certain period of time or stopped for a predetermined time while facing the main entrance door) .
In this case, the ninth step may include determining whether the event analysis value generated by the controller is a plurality of event analysis values; (9-2) selecting a highest priority event analysis value according to a priority among a plurality of event analysis values when a plurality of moving objects are identified in a target area in which the control device is determined to be photographed; A step 9-3 of the controller extracting a message corresponding to an event analysis value corresponding to the selected event analysis value; The controller transmits the sound information corresponding to the extracted message to the flat speaker; And (9-5) the speaker outputs the acoustic information as a voice or an alarm sound by transmitting the acoustic information. , And the priority order is set through a sequence of 'help event analysis value', 'help request tool (whistle) event analysis value', violence event analysis value ', and' normal event analysis value ' .
In addition, a fixed camera, a rotary camera, a speaker, an acoustic frequency recognition device, and a beacon wireless signal transmission / reception unit are set and installed in the vicinity of the confirmed monitored area, and the control device is separately installed in an external control center The control unit of the control center is set to receive a beacon radio signal from a mobile terminal that has executed the safe-ear application in each mobile terminal, and controls the beacon radio signal transmitting and receiving unit in each surrounding area of the confirmed monitored area And transmits the position of the transmission ear to the mobile terminal of the predetermined destination after receiving it through the network.

삭제delete

삭제delete

삭제delete

본 발명의 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템 및 객체 추적 방법은, 한 문장으로 말할 수 있는 2 내지 5초에 해당하는 단발음에 대한 음향 주파수를 기반으로 긴급상황에 높인 추적 대상을 1차적으로 선정하고, 이를 검증하기 위해 고정형 카메라에 의한 행동 패턴으로 필터링을 수행함으로써, 긴급상황에 놓인 추적 대상에 대한 선택 확률을 획기적으로 높여서 정밀한 추적이 가능한 효과를 제공한다. The object tracking system and the object tracking method capable of analyzing hybrid patterns based on acoustic and behavior pattern recognition according to an embodiment of the present invention are based on the acoustic frequency for a single sound corresponding to 2 to 5 seconds which can be expressed in one sentence In order to verify the effectiveness of the tracking system, it is necessary to perform the filtering with the behavior pattern by the fixed camera to greatly improve the selection probability of the tracking object placed in the emergency situation and to perform precise tracking. do.

도 1은 본 발명의 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템을 나타내는 도면이다.
도 2 및 도 3은 본 발명의 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 방법 중 음향 인식 기반의 방식을 나타내는 흐름도이다.
도 4는 본 발명의 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 방법 중 음향 인식 기반의 방식을 나타내는 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템을 나타내는 도면이다.
FIG. 1 is a diagram illustrating an object tracking system capable of hybrid pattern analysis based on acoustic and behavior pattern recognition according to an embodiment of the present invention.
FIG. 2 and FIG. 3 are flowcharts illustrating an acoustic recognition-based method among object tracking methods capable of hybrid pattern analysis based on acoustic and behavior pattern recognition according to an embodiment of the present invention.
FIG. 4 is a flowchart illustrating an acoustic recognition-based method among object tracking methods capable of analyzing hybrid patterns based on acoustic and behavior pattern recognition according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating an object tracking system capable of hybrid pattern analysis based on acoustic and behavior pattern recognition according to another embodiment of the present invention.

이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, a detailed description of preferred embodiments of the present invention will be given with reference to the accompanying drawings. In the following description of the present invention, detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.In the present specification, when any one element 'transmits' data or signals to another element, the element can transmit the data or signal directly to the other element, and through at least one other element Data or signal can be transmitted to another component.

도 1은 본 발명의 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템을 나타내는 도면이다. 도 1을 참조하면, 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템은 획득한 영상 정보를 이용해 촬영된 대상 영역 또는 대상 객체를 추적하고, 대상 영역 또는 대상 객체의 패턴을 분석하여 분석된 결과값에 대응되는 음성 또는 경보음이 출력되도록 한다.FIG. 1 is a diagram illustrating an object tracking system capable of hybrid pattern analysis based on acoustic and behavior pattern recognition according to an embodiment of the present invention. Referring to FIG. 1, an object tracking system capable of analyzing a hybrid pattern based on acoustic and behavior pattern recognition tracks object regions or object objects captured using acquired image information, and analyzes patterns of object regions or object objects to analyze And outputs a voice or an alarm sound corresponding to the resultant value.

그리고 본 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템은 결과값에 따라 다른 음성 또는 경보임이 출력되도록 함으로써 응급상황이 발생되면 주변에서 응급상황을 인지할 수 있도록 하거나, 범죄 상황이 발생되면 주변에서 범죄 상황을 인지하도록 하여 응급상황에 대한 빠르게 대처하거나 범죄자의 범행을 사전에 방지할 수 있도록 한다.The object tracking system capable of analyzing the hybrid pattern based on the acoustic and behavior pattern recognition according to the present embodiment outputs different voice or alarm depending on the result value, thereby enabling the emergency situation to be recognized when the emergency occurs, If a crime situation occurs, it should be aware of the crime situation in the vicinity so that it can cope with the emergency quickly or prevent the crime from being committed in advance.

이를 위해 본 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템은 고정형 카메라 집합체(100G; 100-1 내지 100-N, N은 2 이상의 자연수), 회전형 카메라 집합체(200G; 200-1 내지 200-N), 제어장치(300), 지향성 평판형 스피커 집합체(400G; 400-1 내지 400-N), 음성 인식 주파수 장치 집합체(500G; 500-1 내지 500-N), 그리고 비콘 무선 신호 송수신부 집합체(600G; 600-1 내지 600-N)를 포함하도록 구성된다.For this, an object tracking system capable of analyzing hybrid patterns based on sound and behavior pattern recognition according to the present embodiment includes fixed camera assemblies 100G (100-1 to 100-N, where N is a natural number of 2 or more), rotating camera assemblies 200G 200-1 to 200-N), a control device 300, a directional flat plate type speaker assembly 400G (400-1 to 400-N), a speech recognition frequency device assembly 500G (500-1 to 500- And beacon radio signal transmission / reception subassemblies 600G (600-1 to 600-N).

고정형 카메라 집합체(100G)를 이루는 각 고정형 카메라(100)는 기설정된 영역을 촬영하고 특정 이벤트가 발생하는지에 대한 여부를 감지하기 위해 마련된다.Each fixed camera 100 constituting the fixed camera assembly 100G is provided to photograph a predetermined area and detect whether or not a specific event occurs.

이를 위해 고정형 카메라(100)는 기설정된 영역이 광범위하게 촬영될 수 있는 곳에 위치된다.For this purpose, the fixed camera 100 is positioned where the predetermined area can be widely photographed.

구체적으로, 본 실시예에 따른 객체 추적 시스템이 출입통제지역에 사용되는 경우라면 고정형 카메라(100)는 출입통제지역을 입출(入出)할 수 있는 문과 그 문 주변에 위치된 창문 등을 촬영할 수 있는 곳에 위치된다.Specifically, if the object tracking system according to the present embodiment is used in an access control area, the fixed camera 100 can capture a door that can enter and exit the access control area and windows positioned around the door .

그리고 고정형 카메라(100)는 기설정된 영역이 촬영되도록 하면서 특정 영상 이벤트인 제 1 내지 제 3 영상 이벤트, 노멀 이벤트가 감지되면 제 1 내지 제 3 영상 이벤트, 노멀 이벤트 발생정보를 생성하여 제어장치(300)로 전송한다.The fixed camera 100 generates the first to third video events and the normal event generation information when the first to third video events and the normal events, which are specific video events, are detected while the preset area is photographed, ).

여기에서, 제 1 영상 이벤트는 특정 영역 내에서 "피사체가 뛰어가는 것", "피사체가 손을 흔드는 것", "피사체가 넘어져 있는 것" 등과 같이 도움 요청이 감지되는 경우를 나타내며, 제 2 영상 이벤트는 특정 영역 내에서 "피사체가 호루라기를 물거나 들고 있는 것", "피사체가 호루라기를 물거나 들고 뛰어가는 것", "피사체가 호루라기를 물거나 들고 손을 흔드는 것", "피사체가 호루라기를 물거나 들고 넘어져 있는 것" 등과 같이 호루라기를 통해 도움 요청이 감지되는 경우를 나타내며, 제 3 영상 이벤트는 특정 영역 내에서 "두 개의 피사체가 엉켜있는 것", "두 개의 피사체가 미리 설정된 간격 미만에 위치하는 것", "두 개의 피사체가 엉켜있거나 미리 설정된 간격 미안에 위치한 상태에서 두 개의 피사체 중 적어도 하나 이상이 넘어져 있거나, 손을 흔드는 것" 등과 같이 제 1 영상 이벤트 및 제 2 영상 이벤트를 제외한 긴급상황의 개연성이 높은 경우를 나타내며, 마지막으로, 노멀 이벤트는 특정 영역 내에서 적어도 움직이는 피사체가 감지되는 경우를 나타낸다. 즉, 고정형 카메라(100)는 특정 영역 내에 움직이는 피사체의 존재 여부를 감지하는 기능을 수행하게 된다.Here, the first video event indicates a case in which a help request is detected in a specific area such as "a subject jumps," " a subject swings a hand, " An event can be defined as "a subject holding or holding a whistle" in a specific area, "a subject whistling or whistling a whistle", "a subject swinging a hand whistling or whistling", " Quot ;, " having ", " having ", and the like are detected through the whistle. The third video event indicates that two objects are entangled in a specific area, , "When at least one of two subjects falls over when two subjects are tangled or are positioned at a predetermined gap in the eyes, Quot; indicates that the probability of an emergency situation is high except for the first video event and the second video event. Finally, the normal event indicates a case where at least a moving subject is detected in a specific area. That is, the fixed camera 100 performs a function of detecting whether a moving object exists in a specific area.

이를 위해 고정형 카메라(100)는 도면에는 미도시 되었으나 이동객체를 감지하거나 소리를 인식할 수 있는 감지센서를 포함할 수 있다.To this end, the fixed camera 100 may include a sensing sensor, not shown in the figure, that can sense a moving object or recognize a sound.

그리고 고정형 카메라(100)에서 생성되는 제 1 내지 제 3 영상 이벤트, 노멀 이벤트 발생정보는 고정형 카메라(100) 고유의 식별정보, 시간정보, 소리정보, 영상정보 중 적어도 하나를 포함한다.The first to third video events and normal event generation information generated by the fixed camera 100 include at least one of identification information unique to the fixed camera 100, time information, sound information, and image information.

여기서 고유의 식별정보는 고정형 카메라(100)의 시리얼넘버, 고정형 카메라(100)가 촬영하고 있는 영역의 좌표 정보 등 고정형 카메라(100)에 미리 설정되어 있는 모든 종류의 정보들일 수 있다.The unique identification information may be any type of information preset in the fixed type camera 100, such as the serial number of the fixed type camera 100 and the coordinate information of the area taken by the fixed type camera 100.

또한, 고정형 카메라(100)는 도시된 바와 같이 복수개로 마련되어 제어장치(300)와 정보를 송수신할 수도 있다.In addition, the fixed camera 100 may be provided as a plurality of units as shown and may transmit / receive information to / from the control device 300. [

한편 회전형 카메라(200)는 결정된 대상 영역 또는 결정된 객체를 추적촬영하기 위해 사용되고, 회전형 카메라(200)는 대상 영역 또는 객체를 확대하거나 축소하기 위해 렌즈가 회전하거나 줌 인-아웃(zoom in-out)되도록 마련된다.Meanwhile, the rotary camera 200 is used to track the determined object area or the determined object, and the rotary camera 200 rotates or zooms in or out in order to enlarge or reduce the object area or object, out.

그리고, 회전형 카메라(200)는 고정형 카메라(100)에서 생성된 이벤트 발생정보에 따라 결정된 대상 영역 또는 결정된 객체 정보를 제어장치(300)로부터 수신한다.The rotary camera 200 receives the object area or the determined object information determined according to the event generation information generated in the fixed camera 100 from the controller 300. [

음향 주파수 인식 장치(500)에서 제어장치(300)로 음향 이벤트 발생정보를 전송하고, 고정형 카메라(100)에서 제어장치(300)로 제 1 내지 제 3 영상 이벤트, 노멀 이벤트 발생정보를 전송하면, 제어장치(300)는 음향 이벤트 발생정보와 제 1 내지 제 3 영상 이벤트, 노멀 이벤트 발생정보를 이용하여 종합적으로 판단하여 회전형 카메라(200)가 촬영해야 하는 영역 또는 촬영해야 하는 객체를 결정하고, 결정된 대상 영역 또는 결정된 객체에 대한 정보를 회전형 카메라(200)로 전송하게 되는데, 이와 관련해서는 후술할 제어장치(300)에서 보다 자세히 설명하기로 한다.When the acoustic frequency recognition apparatus 500 transmits sound event occurrence information to the control apparatus 300 and transmits the first to third video event and normal event occurrence information from the fixed camera 100 to the control apparatus 300, The controller 300 comprehensively determines the area to be photographed by the rotary camera 200 or the object to be photographed by using the acoustic event generation information, the first to third image events, and the normal event generation information, The controller 300 transmits information on the determined object area or the determined object to the rotary camera 200. The controller 300 will be described later in detail.

또한, 회전형 카메라(200)는 결정된 대상 영역 또는 결정된 객체를 촬영하여 이벤트 촬영정보를 생성하고, 촬영된 이벤트 촬영정보를 제어장치(300)로 전송한다.In addition, the rotary type camera 200 photographs the determined object area or the determined object to generate event shooting information, and transmits the photographed event shooting information to the control device 300.

이를 위해 회전형 카메라(200)는 제 1 내지 제 3 영상 이벤트, 노멀 이벤트 발생정보를 생성한 하나의 '고정형 카메라(100)', 그리고 음향 이벤트 발생정보를 생성한 하나의 '음향 주파수 인식 장치(500)'와 매칭되어 주변에 위치되어 결정된 대상 영역 또는 결정된 객체가 촬영되도록 한다.To this end, the rotary camera 200 includes a 'fixed camera 100' that generates first to third video events and normal event generation information, and a 'sound frequency recognition device 500) 'so that the determined object region or the determined object is photographed.

구체적으로, 이상에와 같이 출입통제구역에 본 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템이 사용되는 경우를 예로 들면, 이벤트 발생정보(음향 이벤트 발생정보, 그리고 제 1 내지 제 3, 노멀 이벤트 발생정보)에 따라 제어장치(300)로부터 수신된 결정된 객체가 출입통제구역에 형성된 문 주변에 위치한 사람이라면 회전형 카메라(200)는 사람을 인식하여 사람의 움직임에 따라 렌즈를 이동시켜 사람을 촬영함으로써 이벤트 촬영정보를 생성한다.For example, in the case where an object tracking system capable of analyzing a hybrid pattern based on sound and behavior pattern recognition according to the present embodiment is used in the access control area as described above, event occurrence information (sound event occurrence information, If the determined object received from the control device 300 according to the first to third normal event occurrence information is a person located near the door formed in the access control area, the rotating type camera 200 recognizes the person, And event shooting information is generated by photographing a person by moving the lens.

그리고 회전형 카메라(200)는 고정형 카메라(100) 및 음향 주파수 인식 장치(500)와 마찬가지로 도시된 바와 같이 복수개로 마련되어 제어장치(300)와 정보를 송수신할 수도 있다.The rotary type camera 200 may be provided in a plurality of ways as shown in the same manner as the fixed type camera 100 and the acoustic frequency recognition device 500, and may transmit and receive information to / from the control device 300.

이를 통해 최초로 제어장치(300)로부터 결정된 객체 정보를 수신한 회전형 카메라(200)가 더 이상 사람을 인식할 수 없는 경우에는, 제어장치(300)를 통해 최초의 회전형 카메라(200) 주변에 위치되되 객체의 이동방향에 위치된 다른 회전형 카메라(200)를 통해 객체의 추가 추적이 가능할 수도 있다.If the rotating type camera 200 receiving the object information determined from the control device 300 for the first time can not recognize the person any more, the control device 300 controls the first rotating camera 200 around the first rotating camera 200 Additional tracking of the object may be possible via another rotary camera 200 positioned in the direction of movement of the object.

한편, 제어장치(300)는 고정형 카메라(100), 회전형 카메라(200) 및 평판형 스피커(400), 음향 주파수 인식 장치(500)를 제어하고, 이벤트 발생시 음향 및 영상 이벤트를 분석하여 분석된 결과값에 따라 음성 또는 경보음이 자동으로 송출되도록 하기 위해 마련된다.The control device 300 controls the fixed camera 100, the rotary camera 200 and the flat speaker 400 and the acoustic frequency recognition device 500 and analyzes sound and video events when an event is generated, And a voice or an alarm sound is automatically transmitted according to the result value.

그리고 제어장치(300)는 고정형 카메라(100), 회전형 카메라(200), 평판형 스피커(400), 음향 주파수 인식 장치(500)의 주변에 설치되거나, 별도의 서버로 마련 되는데, 별도의 서버로 마련되는 경우에는 도시된 바와 같이 다수의 고정형 카메라(100-1 내지 100-N), 회전형 카메라(200-1 내지 200-N), 평판형 스피커(400-1 내지 400-N), 음향 주파수 인식 장치(500-1 내지 500-N)들과 정보를 송수신한다.The controller 300 is installed in the vicinity of the fixed camera 100, the rotating camera 200, the flat speaker 400, and the acoustic frequency recognizer 500, or is provided as a separate server. A plurality of fixed type cameras 100-1 to 100-N, rotating type cameras 200-1 to 200-N, flat type speakers 400-1 to 400-N, And transmits and receives information to and from the frequency identification devices 500-1 to 500-N.

또한, 제어장치(300)는 통신부(310), 이동객체 인식부(320), 패턴분석부(330), 메시지DB부(340) 및 제어부(350)를 포함하도록 구성된다.The control device 300 includes a communication unit 310, a moving object recognition unit 320, a pattern analysis unit 330, a message DB unit 340, and a control unit 350.

통신부(310)는 제어장치(300)가 고정형 카메라(100), 회전형 카메라(200) 및 평판형 스피커(400), 음향 주파수 인식 장치(500)와 정보를 송수신하기 위해 마련되는 것으로, 고정형 카메라(100)로부터 이벤트 발생정보를 수신하고, 이동객체 인식부(320)를 통해 결정된 촬영되어야 하는 대상 영역 또는 객체정보를 회전형 카메라(200)로 전송한다.The communication unit 310 is provided for transmitting and receiving information to and from the fixed type camera 100, the rotating type camera 200 and the flat type speaker 400 and the acoustic frequency recognition device 500, And transmits the determined object area or object information, which is determined through the moving object recognizing unit 320, to the rotating camera 200. The moving object recognizing unit 320 receives the event information from the moving object recognizing unit 320,

그리고 통신부(310)는 회전형 카메라(200)가 결정된 대상 영역 또는 결정된 객체를 추적촬영하여 생성한 이벤트 촬영정보를 수신하여 제어부(350)로 전송하고, 메시지DB부(340)에 저장된 소리정보를 평판형 스피커(400)로 전송한다.The communication unit 310 receives the event shooting information generated by tracking the object area or the determined object determined by the rotary camera 200 and transmits the event shooting information to the control unit 350 and stores the sound information stored in the message DB unit 340 And transmits it to the flat-panel speaker 400.

한편, 이동객체 인식부(320)는 통신부(310)를 통해 수신된 이벤트 발생정보를 통해 회전형 카메라(200)가 촬영해야 하는 대상 영역 또는 대상 객체를 결정하고, 이벤트 발생정보에서 결정된 대상 객체를 검지하여 결정된 대상 객체의 이동 좌표를 생성하기 위해 마련된다.Meanwhile, the moving object recognizing unit 320 determines a target area or a target object to be photographed by the rotary camera 200 through the event occurrence information received through the communication unit 310, and determines a target object determined in the event generation information And is provided for generating movement coordinates of the determined target object.

구체적으로, 출입통제구역의 주출입문에서 '음향'이 감지되는 경우를 예로 들면 이동객체 인식부(320)는 주출입문을 촬영 대상 영역으로 결정하고 움직임의 원인이 된 객체를 검지하여 촬영되어야 하는 객체를 결정하며, 결정된 객체의 이동이 지속적으로 감지되면 결정된 객체가 추적 촬영될 수 있도록 결정된 객체의 이동 방향 및 이동 좌표를 생성한다.Specifically, when a 'sound' is detected at the main entrance / exit of the access control area, the moving object recognizing unit 320 determines the main entrance and the object to be photographed, detects the object causing the movement, And when the movement of the determined object is continuously detected, the movement direction and the movement coordinates of the determined object are determined so that the determined object can be tracked.

그리고 이동객체 인식부(320)는 결정된 대상 영역 또는 대상 객체정보 및 객체의 이동 방향 및 이동 좌표가 통신부(310)를 통해 회전형 카메라(200)로 전송되도록 한다.Then, the moving object recognizing unit 320 causes the moving object and the object information to be determined, and the moving direction and the moving coordinate of the object to be transmitted to the rotating type camera 200 through the communication unit 310.

한편, 패턴분석부(330)는 회전형 카메라(200)를 통해 수신한 이벤트 촬영정보를 통해 대상 영역 또는 대상 객체의 상황 및 행동패턴을 분석하여 이벤트 분석값을 생성하기 위해 마련된다.Meanwhile, the pattern analyzer 330 is provided to generate event analysis values by analyzing a situation or a behavior pattern of the target area or the target object through the event shooting information received through the rotating camera 200. [

그리고 패턴분석부(330)에는 대상 영역 또는 대상 객체의 상황 및 행동패턴에 따른 이벤트 분석값이 미리 저장되어 있거나 생성된 이벤트 분석값을 저장하고, 이벤트 분석값은 기설정된 우선순위가 설정되어 저장된다.The pattern analysis unit 330 stores event analysis values in which the event analysis values according to the situation or action pattern of the target area or the target object are stored in advance or generated, and the event analysis values are set with predetermined priorities and stored .

여기서 우선순위는 응급상황도에 따라 설정되며 응급상황도는 자연재해, 위험물, 폭력, 대상 객체의 위급도, 도난 중 적어도 하나를 기준으로 설정된 순위일 수 있다.Here, the priority order is set according to the emergency situation, and the emergency situation may be set based on at least one of natural disaster, dangerous goods, violence, emergency of the target object, and theft.

자연재해라 함은 홍수, 해일, 폭우 등과 관련된 정보이고, 위험물은 폭발물, 총포류 등을 포함하는 무기와 관련된 정보이며, 폭력은 단일 또는 다수의 객체 간의 충돌 등을 의미할 수 있다. 물론 이는 예시적 사항에 불과할 뿐, 본 실시예에 따른 응급상황도는 더 세분화되어 분류될 수도 있다.Natural disasters are information related to floods, tidal waves, heavy rains, etc., and dangerous goods are information related to weapons including explosives, guns, etc., and violence may mean a collision between a single object or a plurality of objects. Of course, this is only an example, and the emergency situation according to the present embodiment may be further subdivided and classified.

그리고 본 실시예에서의 응급상황도는 단일의 카테고리로 설정될 수도 있지만 다수의 카테고리가 조합되어 설정될 수도 있다. 예를 들면 위험물과 관련된 분석값과 폭력과 관련된 분석값이 동시에 분석되었고, 폭력와 관련된 분석값과 도난과 관련된 분석값이 동시에 분석된 경우에는 위험물과 폭력의 조합이 폭력과 도난의 조합보다 응급상황도가 높게 설정되는 것이다.The emergency situation in this embodiment may be set to a single category, but a plurality of categories may be set in combination. For example, if analysis values related to dangerous goods and analytical values related to violence were analyzed at the same time, and analysis values related to violence and analysis values related to theft were analyzed at the same time, the combination of dangerous goods and violence was more likely to be an emergency situation than a combination of violence and theft It is set high.

또한, 패턴분석부(330)는 보다 정밀하게 상황을 판단하기 위해 정밀 패턴분석부를 더 포함할 수도 있을 것이며, 정밀 패턴분석부를 더 포함하게 되는 경우에는 패턴분석부(330)에서 생성된 분석값을 이용하여 분석값을 더 세분화된 카테고리별로 분류하도록 할 수도 있다.The pattern analyzer 330 may further include a precision pattern analyzer to more accurately determine the situation. When the pattern analyzer 330 further includes the precision pattern analyzer, the pattern analyzer 330 may calculate the analysis value generated by the pattern analyzer 330 And the analysis values may be classified according to further subdivided categories.

한편, 메시지DB부(340)는 패턴분석부(330)에서 생성한 이벤트 분석값에 대응되는 메시지 및 메시지에 따라 평판형 스피커(400)에서 출력되어야 하는 음향정보가 저장된다.The message DB unit 340 stores sound information to be output from the flat panel speaker 400 according to a message and a message corresponding to the event analysis value generated by the pattern analysis unit 330.

메시지DB부(340)에 저장되는 소리정보는 평판형 스피커(400)를 통해서 사람의 음성이나 사이렌과 같은 경보음으로 출력될 수 있는 정보이고, 메시지에 대응되어 저장된다.The sound information stored in the message DB unit 340 is information that can be outputted as a sound of a person or an alarm such as a siren through the flat speaker 400 and is stored in correspondence with the message.

한편 제어부(350)는 통신부(310), 이동객체 인식부(320), 패턴분석부(330) 및 메시지DB부(340)를 제어하여 제어장치(300)가 고정형 카메라(100), 회전형 카메라(200) 및 평판형 스피커(400), 음향 주파수 인식 장치(500)와 정보를 송수신하도록 한다.Meanwhile, the control unit 350 controls the communication unit 310, the moving object recognizing unit 320, the pattern analyzing unit 330, and the message DB unit 340 so that the control device 300 controls the fixed camera 100, The speaker 200, the flat-plate speaker 400, and the acoustic-frequency recognition device 500. [

구체적으로 제어부(350)는 고정형 카메라(100)로부터 제 1 내지 제 3 이벤트 발생정보, 노멀 이벤트 발생정보가 수신되고, 음향 주파수 인식 장치(500)로부터 음향 이벤트 발생정보를 수신하도록 통신부(310)를 제어하며, 이동객체 인식부(320)가 수신된 제 1 내지 제 3 이벤트 발생정보, 음향 이벤트 발생정보를 통해 회전형 카메라(200)가 촬영해야 하는 대상 영역 또는 대상 객체를 결정하고, 결정된 대상 객체를 검지하여 결정된 대상 객체의 이동 좌표를 생성하도록 한다.Specifically, the control unit 350 receives the first to third event generation information and the normal event generation information from the fixed camera 100 and receives the sound event generation information from the sound frequency recognition apparatus 500 through the communication unit 310 The moving object recognizing unit 320 determines a target area or a target object to be photographed by the rotary camera 200 through the received first to third event occurrence information and acoustic event occurrence information, And generates the moving coordinates of the determined target object.

그리고 제어부(350)는 이동객체 인식부(320)에서 결정된 대상 영역 또는 대상 객체와 이상에서 생성된 이동 좌표가 통신부(310)를 통해 회전형 카메라(200)로 전송되도록 하고, 통신부(310)를 통해 회전형 카메라(200)로부터 생성되는 이벤트 촬영정보를 수신하여 패턴분석부(330)로 전송한다.The control unit 350 controls the communication unit 310 to transmit the movement coordinates generated in the object region or the object determined by the moving object recognition unit 320 and the moving coordinate to the rotation type camera 200 through the communication unit 310, And transmits the event photographing information to the pattern analyzing unit 330. The pattern analyzing unit 330 receives the event photographing information from the rotating type camera 200,

또한 제어부(350)는 패턴분석부(330)에서 생성된 이벤트 분석값에 대응되는 메시지를 메시지DB부(340)에서 추출하고 추출된 메시지에 따라 출력되어야 하는 음향정보를 통신부(310)를 통해 평판형 스피커(400)로 전송되도록 한다.The control unit 350 extracts a message corresponding to the event analysis value generated by the pattern analysis unit 330 from the message DB unit 340 and outputs sound information to be output according to the extracted message to the reputation Type speaker 400 as shown in FIG.

한편 평판형 스피커(400)는 이벤트 분석값에 따른 음향정보를 사람의 음성 또는 경보음으로 출력하기 위해 마련되는 것으로, 제어장치(300)로부터 소리정보를 수신한다.Meanwhile, the flat speaker 400 is provided for outputting sound information according to the event analysis value as a human voice or an alarm sound, and receives sound information from the controller 300. [

도시된 예에서는 평판형 스피커(400)가 별도의 구성요소로 마련되는 것으로 상정하였으나, 이는 설명의 편의를 위한 예시적 사항에 불과하며, 평판형 스피커(400)는 제어장치(300)에 포함되도록 마련되거나 고정형 카메라(100) 또는 회전형 카메라(200)에 마련될 수도 있다.In the illustrated example, it is assumed that the flat speaker 400 is a separate component. However, the flat speaker 400 may be included in the controller 300, Or may be provided in the fixed type camera 100 or the rotary type camera 200. [

도 2 및 도 3은 본 발명의 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 방법 중 음향 인식 기반의 방식을 나타내는 흐름도이다. 먼저, 도 2를 참조하면, 다수의 음향 주파수 인식 장치(500-1 내지 500-N) 중 하나의 음향 주파수 인식 장치(500)는 미리 설정된 범위의 주파수의 단발음을 감지한다(S11).FIG. 2 and FIG. 3 are flowcharts illustrating an acoustic recognition-based method among object tracking methods capable of hybrid pattern analysis based on acoustic and behavior pattern recognition according to an embodiment of the present invention. Referring to FIG. 2, one of the acoustic frequency recognition apparatuses 500-1 to 500-N senses the pronunciation of a predetermined range of frequencies (S11).

단계(S11) 이후, 음향 주파수 인식 장치(500)는 단계(S21)의 단말음이 미리 설정된 임계치 데시벨(dB) 이상인지를 분석하여 음향 이벤트 발생 여부를 판단한다(S12).After step S11, the acoustic frequency recognition apparatus 500 determines whether an acoustic event is generated by analyzing whether the terminal sound of step S21 is equal to or greater than a predetermined threshold value dB (S12).

단계(S12)의 판단 결과 음향 이벤트가 발생한 경우, 음향 주파수 인식 장치(500)는 음성 이벤트 발생정보를 생성한 뒤(S13), 제어장치(300)로 음성 이벤트 발생정보를 전송한다(S14).If it is determined in step S12 that the sound event has occurred, the sound frequency recognition apparatus 500 generates the sound event occurrence information (S13) and transmits the sound event occurrence information to the control apparatus 300 (S14).

단계(S14) 이후, 제어장치(300)는 긴급 상황 발생 인지 분석을 개시하기 위해(S15), 긴급 상황 발생 인지 분석을 위해 단계(S14)에서 수신된 단발음을 감지한 음향 주파수 인식 장치(500)로부터 단발음 주파수 정보를 수신한다.After step S14, the control device 300 determines whether the acoustic frequency recognition device 500 senses the ending sound received in step S14 ) Of the sounding frequency information.

단계(S15) 이후, 제어장치(300)는 단계(S15)에서 수신된 단발음 주파수 정보를 분석하여 단발음이 도움 요청 음향 주파수에 해당하는지 여부를 판단한다(S16). 여기서 도움 요청 음향 주파수는 도움을 요청하는 '도와주세요', '살려주세요' 등과 같은 사람의 음성에 의한 문장으로 문장을 이루는 각 문자의 조합으로 주파수 출력이 가능한 모든 정보를 미리 저장함으로써, 제어장치(300)는 미리 저장된 문장의 각 문자별 주파수 출력 범위로부터 미리 설정된 범위의 오차 범위 내에서 인식을 수행한 뒤, 각 인식된 문자의 조합으로 도움 요청 음향 주파수와 매칭되는 문장이 인식되는지 여부를 분석하는 것이다. After step S15, the control device 300 analyzes the short-term phonetic frequency information received in step S15 to determine whether the monophonic sound corresponds to the help-requested sound frequency (step S16). Here, the sound frequency of the help request is stored in advance by storing all the information capable of frequency output by a combination of characters constituting a sentence by a sentence by a voice of a person such as 'help me' 300 performs recognition within a predetermined range of error range from the frequency output range of each character of a previously stored sentence and analyzes whether or not the sentence matched with the help request acoustic frequency is recognized by the combination of the recognized characters will be.

단계(S16)의 분석 결과 단발음이 도움 요청 음향 주파수에 해당하는 경우는 단계(S16a)로 진행하며, 반대로 단발음이 도움 요청 음향 주파수에 해당하지 않는 경우 단계(S13)으로 진행하여, 제어장치(300)는 단계(S15)에서 수신된 단발음 주파수 정보를 분석하여 단발음이 호루라기 음향 주파수에 해당하는지 여부를 판단한다(S17).If it is determined in step S16 that the monophonic sound corresponds to the assist request sound frequency, the process proceeds to step S16a. On the other hand, if the monophonic sound does not correspond to the assist request sound frequency, the process proceeds to step S13, The controller 300 analyzes the short-term sound frequency information received in step S15 and determines whether the short sound corresponds to the whistle sound frequency (S17).

보다 구체적으로 단계(S16a)에서는 제어장치(300)는 제 1 영상 이벤트 감지를 수행하는데, 단계(S15)에서 수신된 단발음 주파수 신호의 방향을 산출한 뒤, 방향과 매칭되는 영역에 배치된 고정형 카메라(100)로부터 촬영된 영상으로부터 제 1 영상 이벤트에 해당하는 "피사체가 뛰어가는 이미지", "피사체가 손을 흔드는 이미지", "피사체가 넘어져 있는 이미지" 등이 있는지 여부의 추출을 통해 판단한다(S16a).More specifically, in step S16a, the control device 300 performs the first image event detection. After calculating the direction of the single-phonetic frequency signal received in step S15, From the image photographed by the camera 100, whether or not there is an image in which a subject is running, an image in which a subject shakes his or her hand, an image in which a subject falls, etc. corresponding to a first image event (S16a).

단계(S16)에서 단발음이 도움 요청 음향 주파수인 것(제 1 판단)이며, 단계(S16a)의 판단 결과 제 1 영상 이벤트를 감지한 경우(제 2 판단)에 해당하는 것으로의 연속된 판단을 통해 최종적으로 제어장치(300)는 피사체의 긴급상황으로 분석한 뒤, 회전형 카메라(400)의 촬영 대상 영역 또는 대상 객체를 음향 주파수 신호 방향(즉, 음향 주파수 신호가 감지된 방향)으로 결정하게 된다(S19).If it is determined in step S16 that the monophonic sound is the assist request sound frequency (first judgment), and if it is determined in step S16a that the first image event is detected (second judgment) Finally, the control device 300 analyzes the state of the subject as an emergency situation, and then determines the region to be photographed or the target object of the rotary camera 400 as the direction of the acoustic frequency signal (that is, the direction in which the acoustic frequency signal is sensed) (S19).

그리고 제어장치(300)는 결정된 대상 영역 또는 대상 객체에 관한 정보를 회전형 카메라(200)로 전송한다(S20).Then, the control device 300 transmits information on the determined object area or object to the rotary camera 200 (S20).

회전형 카메라(200)는 제어장치(300)로부터 결정된 대상 영역 또는 대상 객체가 촬영되도록 한다(S21). 여기서 회전형 카메라(200)는 대상 영역 또는 대상 객체를 확대하거나 축소하여 촬영할 수 있음은 물론, 대상 객체가 이동하는 경우에는 대상 객체의 이동경로를 따라 대상 객체를 추적 촬영할 수 있다.The rotary type camera 200 causes the control device 300 to photograph the object area or the object determined (S21). In this case, the rotatable camera 200 can enlarge or reduce the target area or the target object, and can photograph the target object along the movement path of the target object when the target object moves.

또한, 대상 객체가 이동함에 따라 회전형 카메라(200)와 대상 객체의 거리가 멀어져 촬영이 어려운 경우에는 대상 객체의 이동 경로에 있는 다른 회전형 카메라(200)가 대상 객체를 추적 촬영할 수도 있다.When the distance between the rotary camera 200 and the object is distant as the object moves, the other rotary camera 200 in the movement path of the object may track the object.

그리고 회전형 카메라(200)는 대상 영역 또는 대상 객체를 촬영하여 이벤트 촬영정보를 생성한다(S22). 구체적으로 결정된 객체가 출입통제구역에 형성된 문 주변에 위치한 사람이라면 회전형 카메라(200)는 사람을 인식하여 사람의 움직임에 따라 렌즈를 이동시켜 사람을 촬영함으로써 이벤트 촬영정보를 생성한다. 이때 이벤트 촬영정보에는 영상정보와 함께 객체가 이동하는 경우에는 이동경로를 나타내기 위한 이동좌표가 포함될 수 있다.Then, the rotary camera 200 photographs the target area or the target object to generate event shooting information (S22). If the determined object is a person located near the door formed in the entrance control area, the rotary camera 200 recognizes the person and moves the lens according to the movement of the person to generate the event shooting information by shooting the person. At this time, the event shooting information may include image information and movement coordinates for indicating a movement path when the object moves.

이후 회전형 카메라(200)는 생성된 이벤트 촬영정보를 제어장치(300)로 전송한다(S23).Then, the rotary camera 200 transmits the generated event shooting information to the control device 300 (S23).

이에 따라, 제어장치(300)는 수신한 이벤트 촬영정보를 이용해 이벤트 분석값을 생성한다(S23a). 이벤트 분석값은 제어장치(300)의 패턴분석부(330)에서 이벤트 촬영정보를 이용해 이벤트의 상황을 감지하고 그에 맞는 메시지를 출력하기 위한 결과값이다.Accordingly, the control device 300 generates an event analysis value using the received event photographing information (S23a). The event analysis value is a result value for detecting a state of an event using the event shooting information in the pattern analysis unit 330 of the controller 300 and outputting a message corresponding thereto.

한편, 단계(S16)로 회귀하여 단발음이 도움 요청 음향 주파수가 아닌 경우, 제어장치(300) 단계(S15)에서 수신된 단발음 주파수 정보를 분석하여 단발음이 호루라기 음향 주파수에 해당하는지 여부를 판단한다(S17).On the other hand, if it is determined that the monaural pronunciation is not the assist requesting acoustic frequency, the control unit 300 analyzes the monophonic sound frequency information received in step S15 to determine whether the monaural sound corresponds to the whistle sound frequency (S17).

여기서 호루라기 음향 주파수는 시중에 유통되는 호루라기의 주파수 출력으로 가능한 모든 정보를 미리 저장함으로써, 제어장치(300)는 미리 저장된 호루라기 주파수 출력 범위로부터 미리 설정된 범위의 오차 범위 내에서 인식을 수행하며, 각 인식된 호루라기 주파수의 출력 강도의 경우의 수를 조합하여 호루라기 음향 주파수에 해당하는지 여부를 분석하는 것이다. Here, the whistler sound frequency is preliminarily stored in advance as all possible information on the frequency output of the whistle distributed on the market, so that the controller 300 performs recognition within a predetermined range of error range from the previously stored whistle frequency output range, The number of cases of the output intensity of the whistle frequency is combined to analyze whether it corresponds to the whistle acoustic frequency.

단계(S17)의 분석 결과 단발음이 호루라기 음향 주파수에 해당하는 경우 단계(S18a)로 진행하며, 반대로 단발음이 호루라기 음향 주파수에 해당하지 않는 경우 단계(S18)로 진행한다.If it is determined in step S17 that the monophonic sound corresponds to the whistle sound frequency, the process proceeds to step S18a. On the contrary, if the monophonic sound does not correspond to the whistle sound frequency, the process proceeds to step S18.

보다 구체적으로 단계(S18a)에서는 제어장치(300)는 제 2 영상 이벤트 감지를 수행하는데, 단계(S15)에서 수신된 단발음 주파수 신호의 방향을 산출한 뒤, 방향과 매칭되는 영역에 배치된 고정형 카메라(100)로부터 촬영된 영상으로부터 제 2 영상 이벤트에 해당하는 "피사체가 호루라기를 물거나 들고 있는 이미지", "피사체가 호루라기를 물거나 들고 뛰어가는 이미지", "피사체가 호루라기를 물거나 들고 손을 흔드는 이미지", "피사체가 호루라기를 물거나 들고 넘어져 있는 이미지" 등이 있는지 여부를 판단한다.More specifically, in step S18a, the controller 300 performs the second image event detection. After calculating the direction of the single-ended sound frequency signal received in step S15, Quot ;, " an image in which a subject whistles or whistles a whistle, "" an image in which a subject whistles or ran whistles," which corresponds to a second video event from an image photographed from the camera 100, Quot ;, "an image in which a subject whistles or whistles the whistle," or the like.

단계(S17)에서 단발음이 호루라기 음향 주파수인 것(제 1 판단)이며, 단계(S18a)의 판단 결과 제 2 영상 이벤트를 감지한 경우(제 2 판단)에 해당하는 것으로의 연속된 판단을 통해 최종적으로 제어장치(300)는 피사체의 긴급상황으로 분석한 뒤, 제어장치(300)는 회전형 카메라(200)의 촬영 대상 영역을 음향 주파수 신호 방향(즉, 음향 주파수 신호가 감지된 방향)으로 결정하게 된다(S19). 단계(S20) 내지 단계(S23a)의 과정은 상술한 바와 같다. If it is determined in step S17 that the monophonic sound is the whistle sound frequency (first judgment), and if it is determined in step S18a that the second video event is detected (second judgment) Finally, after analyzing the control device 300 as an emergency situation of the subject, the control device 300 controls the operation of the rotary camera 200 in the direction of the acoustic frequency signal (i.e., the direction in which the acoustic frequency signal is sensed) (S19). The processes of step S20 to step S23a are as described above.

다음으로 단계(S16)로 회귀하여 단계(S16)의 분석 결과 단발음이 도움 요청 음향 주파수가 아니고(제 1 판단), 이후의 단계(S17)의 분석 결과 단발음이 호루라기 음향 주파수도 아닌 경우(제 2 판단), 제어장치(300)는 고정형 카메라(100)에 의해 촬영된 피사체에 대한 영상을 통해 제 3 영상 이벤트에 대한 감지 여부를 판단한다(S18). 단계(S18)에서, 제 3 영상 이벤트에 대한 판단에 있어서, 제어장치 (300)는 단계(S15)에서 수신된 단발음 주파수 신호의 방향을 산출한 뒤, 방향과 매칭되는 영역에 배치된 고정형 카메라(100)로부터 촬영된 영상으로부터 제 3 영상 이벤트에 해당하는 "두 개의 피사체가 엉켜있는 이미지", "두 개의 피사체가 미리 설정된 간격 미만에 위치하는 이미지", "두 개의 피사체가 엉켜있거나 미리 설정된 간격 미안에 위치한 상태에서 두 개의 피사체 중 적어도 하나 이상이 넘어져 있거나, 손을 흔드는 이미지" 등 중 적어도 하나의 이미지가 있는지 여부를 통해 판단한다. Next, the flow returns to step S16, and if the analysis result of step S16 is that the monophonic sound is not the assist requesting sound frequency (first judgment), and the analysis result of the following step S17 is not the whistle sound frequency The control device 300 determines whether the third video event is detected through the video of the subject photographed by the fixed camera 100 in step S18. In step S18, in the determination of the third video event, the controller 300 calculates the direction of the phoneme frequency signal received in step S15, Quot; image in which two subjects are entangled ", "image in which two subjects are positioned at a predetermined interval "," An image of at least one of two subjects in a state of being in a state of being sad, or an image of waving their hand "or the like.

단계(S18)의 판단 결과, 제어장치(300)는 제 3 영상 이벤트를 감지하는 경우, 피사체의 긴급상황으로 분석한 뒤, 회전형 카메라(200)의 촬영 대상 영역을 음향 주파수 신호 방향(즉, 음향 주파수 신호가 감지된 방향)으로 결정하게 된다(S19). 단계(S20) 내지 단계(S23a)의 과정은 상술한 바와 같다. As a result of the determination in step S18, when the control device 300 detects the third video event, it analyzes the subject as an emergency situation and then sets the region to be photographed by the rotating camera 200 as the acoustic frequency signal direction The direction in which the acoustic frequency signal is sensed) (S19). The processes of step S20 to step S23a are as described above.

이후 회전형 카메라(200)는 생성된 이벤트 촬영정보를 제어장치(300)로 전송한다(S23).Then, the rotary camera 200 transmits the generated event shooting information to the control device 300 (S23).

한편, 단계(S23a)에서 제어장치(300)에 의한 수신한 이벤트 촬영정보를 이용해 이벤트 분석값을 생성시, 이벤트 분석값은 제 1 영상 이벤트와 매칭되는 '도움 이벤트 분석값', 제 2 영상 이벤트와 매칭되는 '호루라기 이벤트 분석값', 제 3 영상 이벤트와 매칭되는 '폭력 행사 이벤트 분석값', 그리고 도 4에서의 노멀 이벤트와 매칭되는 '노멀 이벤트 분석값'으로 구분될 수 있다. 노멀 이벤트에 대한 구체적인 예를 들면 출입통제지역의 주출입문 주변에서 이동 객체가 이동하다가 주출입문에서 이동 객체가 일정한 시간 동안 배회하거나 주출입문을 마주한 채 일정한 시간 동안 정지해 있는 경우 제어장치(300)는 이를 도난 가능성이 있는 상황으로 판단할 수 있다. 그러면 제어장치(300)는 '세분화된 노멀 이벤트 분석값'으로 도난 분석값을 생성하게 되는 것이다.Meanwhile, when the event analysis value is generated using the event shooting information received by the controller 300 in step S23a, the event analysis value includes 'help event analysis value' matching the first video event, A whistle event analysis value matching with the third video event, a 'violent event event analysis value' matching with the third video event, and a 'normal event analysis value' matching with the normal event in FIG. As a concrete example of the normal event, when the moving object moves around the main entrance door of the access control area and the moving object is stopped for a predetermined time or for a predetermined time while facing the main entrance door, the control device 300 This can be judged as a possibility of theft. Then, the control device 300 generates the theft analysis value using the subdivided normal event analysis value.

다음으로 도 3을 참조하면, 단계(S23a) 이후, 제어장치(300)는 단계(S23a)에서 생성된 이벤트 분석값이 복수개인지에 대한 여부를 판단한다(S24). 구체적으로 촬영이 결정된 대상 영역에서 이동 객체가 복수개로 확인되는 경우, 제어장치(300)는 각각의 이동 객체를 검지하여 이동 객체의 행동을 판단하게 된다. 예를 들어 이동 객체가 2명이면 제 1 이동 객체 및 제 2 이동 객체의 행동을 각각 판단하게 된다.Referring to FIG. 3, after step S23a, the control device 300 determines whether there are a plurality of event analysis values generated in step S23a (S24). Specifically, when a plurality of moving objects are identified in the target area in which shooting has been determined, the controller 300 detects each moving object and determines the behavior of the moving object. For example, if there are two moving objects, the behavior of the first moving object and the second moving object are respectively determined.

단계(S24)의 판단 결과 복수개인 경우 단계(S25)로 진행하며, 반대로 복수개가 아닌 경우 단계(S26)로 진행한다. As a result of the judgment in the step S24, if there are a plurality of items, the process goes to the step S25, and if not, the process goes to the step S26.

즉 단계(S25)에서 제어장치(300)는 우선순위에 따라 최우선되는 이벤트 분석값 선택한다(S25). 보다 구체적으로, 만약 이벤트 분석값이 복수개인 경우에는(S24-Yes), 제어장치(300)는 복수의 이벤트 분석값 중 우선순위에 따라 최우선되는 이벤트 분석값을 선택한다.That is, in step S25, the control device 300 selects the highest priority event analysis value according to the priority (S25). More specifically, if there are a plurality of event analysis values (S24-Yes), the control device 300 selects the highest priority event analysis value according to the priority among the plurality of event analysis values.

제어장치(300)는 이벤트 분석값을 생성하거나 저장할 때 우선순위정보가 이벤트 분석값에 포함되도록 하거나, 우선순위별로 카테고리화하여 해당 카테고리에 저장되도록 할 수 있다.The control device 300 may be configured such that priority information is included in the event analysis value when generating or storing event analysis values, or may be categorized by priority and stored in the corresponding category.

여기서 우선순위는 '도움 이벤트 분석값', '호루라기 이벤트 분석값', 폭력 행사 이벤트 분석값', '노멀 이벤트 분석값'에 대한 순서를 통해 설정될 수 있으며, 다른 실시예로, 노멀 이벤트 분석값을 이루는 세분화된 분석값에 대한 개별적인 순서 또는 다른 이벤트 분석값과 세분화된 노멀 이벤트 분석값 간의 순서를 통해 설정될 수 있다. 또한, 우선순위는, 세분화된 노멀 이벤트 분석값 중 응급상황도에 따라 설정될 수 있으며, 응급상황도는 자연재해, 위험물, 폭력, 대상 객체의 위급도, 도난 중 적어도 하나를 기준으로 설정된 순위일 수 있다.Here, the priority order may be set through a sequence of 'help event analysis value', 'whistle event analysis value', 'violent event event analysis value', and 'normal event analysis value'. In another embodiment, Or an order between the different event analysis values and the subdivided normal event analysis values. In addition, the priority order can be set according to the emergency situation among the subdivided normal event analysis values, and the emergency situation can be set based on at least one of natural disaster, dangerous goods, violence, emergency of the target object, .

구체적으로 위험물이 도난보다 우선순위가 높은 것으로 설정된 경우를 예로 들면, 제 1 이동 객체가 주출입문 입구에서 일정시간 배회하는 것으로 판단되어 이벤트 분석값이 도난으로 분류되고, 제 2 이동 객체가 주출입문 주변에 위험물을 방치한 것으로 판단되어 이벤트 분석값이 위험물로 분류되면, 우선순위가 높은 위험물로 분류된 제 2 이동 객체가 선택되는 것이다.Specifically, when the dangerous goods is set to have a higher priority than theft, for example, it is determined that the first moving object wanders at the entrance of the main entrance door for a certain period of time and the event analysis value is classified as theft. And the event analysis value is classified as a dangerous object, the second moving object classified as a dangerous object having a higher priority is selected.

단계(S25) 이후, 제어장치(300)는 선택된 이벤트 분석값에 대응되는 이벤트 석값에 대응되는 메시지를 추출한다(S26). 이벤트 분석값이 위험물인 경우에는 제어장치(300)가 메시지DB부(340)에 저장된 메시지 중 위험물과 관련된 메시지를 추출하게 되는 것이다. 이를 위해 메시지는 응급상황도에 대응되는 카테고리별로 저장될 수 있다.After step S25, the control device 300 extracts a message corresponding to the event value corresponding to the selected event analysis value (S26). If the event analysis value is a dangerous object, the control device 300 extracts a message related to the dangerous object among the messages stored in the message DB 340. To this end, the message may be stored for each category corresponding to the emergency situation.

반면 이벤트 분석값이 복수 개가 아닌 경우에는(S24-NO), 제어장치(300)는 이벤트 분석값을 선택할 필요없이 생성된 분석값 자체가 선택된 분석값이므로 이에 대응되는 메시지를 추출하게 된다(S26).On the other hand, when the number of event analysis values is not plural (S24-NO), the control device 300 extracts the corresponding message because the generated analysis value itself is the selected analysis value without need to select the event analysis value (S26) .

단계(S26) 이후, 제어장치(300)는 단계(S26)에서 추출된 메시지에 대응되는 음향정보를 지향성 평판형 스피커(400)로 전송한다(S27).After step S26, the control device 300 transmits the sound information corresponding to the message extracted in step S26 to the directional flat speaker 400 (S27).

단계(S27) 이후, 평판형 스피커(400)는 음향정보를 추신하여 음향정보가 음성 또는 경보음으로 출력되도록 한다(S28). 만약 위험물과 관련된 노멀 이벤트 분석값과 매칭되는 메시지가 추출되었고, 해당 메시지에 대응되는 음향정보가 화재경보음인 경우 평판형 스피커(400)에서는 화재경보음이 울리게 되는 것이다.After step S27, the flat speaker 400 transmits the sound information and outputs the sound information as a sound or an alarm sound (S28). If a message matching the normal event analysis value associated with the dangerous object is extracted and the acoustic information corresponding to the message is a fire alarm sound, the flat speaker 400 sounds a fire alarm sound.

한편, 단계(S28) 이후, 제어장치(300)는 다른 음향 주파수 인식 장치(500)에서 다른 음향 이벤트 발생정보를 수신했는지를 판단한다(S29). On the other hand, after step S28, the control device 300 determines whether another acoustic-frequency-generating device 500 has received another acoustic-event generating information (S29).

단계(S29)의 판단 결과 제어장치(300)는 다른 음향 이벤트 발생정보를 수신하는 경우 단계(S30)로 진행하고, 반대로 다른 음향 이벤트 발생정보를 수신하지 않는 경우는 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 방법 프로세스를 종료한다.As a result of the determination in step S29, the control device 300 receives other sound event occurrence information The process proceeds to step S30. On the contrary, if no other acoustic event occurrence information is received, the object tracking method process is completed which can perform hybrid pattern analysis based on acoustic and behavior pattern recognition.

즉 단계(S30)에 따라 다른 음향 주파수 인식 장치(500)에서 다른 음향 이벤트 발생정보를 수신하는 경우(S29-YES)에는, 제어장치(300)는 다른 회전형 카메라(200)로부터 다른 음향 이벤트 발생정보를 수신한다. 이 과정에서 제어장치(300)가 촬영되어야 하는 대상 영역 또는 대상 객체를 결정하여{단계(S15) 내지 단계(S19)} 다른 회전형 카메라(200)에 전송하고 다른 회전형 카메라(200)에서 다른 이벤트 촬영정보를 생성하여 전송하는 과정{단계(S21) 내지 단계(S23)}은 전술한 바와 동일하거나 충분히 유추가능한바 자세한 내용은 생략하기로 한다.That is, when receiving another sound event occurrence information from another acoustic frequency recognition device 500 in accordance with step S30 (S29-YES), the control device 300 generates another sound event from another rotation type camera 200 Information is received. In this process, the controller 300 determines an object area or a target object to be photographed (step S15 to step S19) and transmits it to the other rotatable camera 200, The steps of generating and transmitting the event shooting information (steps S21 to S23) are the same as those described above or can be sufficiently inferred, and detailed description will be omitted.

반면, 다른 음향 주파수 인식 장치(500)에서 다른 음향 이벤트 발생정보를 수신하지 않은 경우(S29-N))에는 처음 단계로 회귀하거나 종료된다.On the other hand, if no other acoustic event occurrence information is received from another acoustic frequency recognition device 500 (S29-N), the process returns to the first step or ends.

단계(S30) 이후, 제어장치(300)는 다른 이벤트 분석값을 생성한다(S31).After step S30, the control device 300 generates another event analysis value (S31).

단계(S31) 이후, 제어장치(300)는 단계(S27) 및 단계(S28)의 과정에 따라 평판형 스피커(400)에서 출력중인 이벤트 분석값보다 우선순위가 높은지 여부를 판단한다(S32).After step S31, the control device 300 determines whether the priority level of the event analysis value output from the flat speaker 400 is higher than that of the event analysis value output in step S27 or S28 in step S32.

단계(S32)의 판단 결과 만약 평판형 스피커(400)에서 출력중인 음성 또는 경보음에 대응되는 이벤트 분석값보다 다른 이벤트 분석값의 우선순위가 높으면(S32-Yes), 제어장치(300)는 다른 이벤트 분석값에 대응되는 메시지를 추출한다(S33).If it is determined in step S32 that the priority of the event analysis value other than the event analysis value corresponding to the voice or alarm sound being output from the flat speaker 400 is high (S32-Yes) A message corresponding to the event analysis value is extracted (S33).

단계(S33) 이후, 제어장치(300)는 평판형 스피커(400)로 출력중인 음성 또는 경보음 중단을 요청한다(S34).After step S33, the control device 300 requests the flat speaker 400 to stop outputting a sound or an alarm sound (S34).

단계(S4) 이후, 제어장치(300)는 추출된 다른 메시지에 대응되는 음향정보를 평판형 스피커(400)로 전송한다(S35).After step S4, the control device 300 transmits the acoustic information corresponding to the extracted other message to the flat speaker 400 (S35).

단계(S35) 이후, 평판형 스피커(400)는 다른 음성 또는 경보음을 출력한다(S36).After step S35, the flat speaker 400 outputs another voice or alarm sound (S36).

반면, 만약 평판형 스피커(400)에서 출력중인 음성 또는 경보음에 대응되는 이벤트 분석값보다 다른 이벤트 분석값의 우선순위가 낮으면(S190-Y), 제어장치(300)는 평판형 스피커(400)에서 출력중인 음성 또는 경보음의 송출이 유지되도록 한다.On the other hand, if the priority of the event analysis value other than the event analysis value corresponding to the voice or alarm sound output from the flat speaker 400 is low (S190-Y), the controller 300 determines that the flat panel speaker 400 So that the transmission of the voice or alarm sound being output is maintained.

이때, 음성 또는 경보음은 평판형 스피커(400)에서 출력되어야 하는 시간이 미리 설정되어 제어장치(300)에 저장될 수 있으며, 평판형 스피커(400)에서 출력중인 음성 또는 경보음이 미리 설정된 시간만큼 출력이 되었다면 자동으로 설정된 시간이 경과되면 중단될 수 있다.At this time, the time to output the sound or the alarm sound from the flat-type speaker 400 may be preset and stored in the controller 300, and the sound or alarm sound output from the flat- , It can be stopped when the set time has elapsed automatically.

도 4는 본 발명의 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 방법 중 음향 인식 기반의 방식을 나타내는 흐름도이다. 도 4의 방법에 따른 흐름은, 도 3에서 단계(S16a, NO), 도 3에서 단계(S18, NO), 도 3에서 단계(S18a, NO) 외에 독자적으로 수행될 수 있다.FIG. 4 is a flowchart illustrating an acoustic recognition-based method among object tracking methods capable of analyzing hybrid patterns based on acoustic and behavior pattern recognition according to an embodiment of the present invention. The flow according to the method of Fig. 4 can be performed independently in addition to the step S18a, NO in Fig. 3, the step S16a, NO in Fig. 3, the step S18, NO in Fig.

여기서 도 3에서 단계(S16a, NO)는, "단계(S16)에서 단발음이 도움 요청 음향 주파수인 것(제 1 판단)이며, 단계(S16a)의 판단 결과 제 1 영상 이벤트를 감지하지 못한 경우(제 2 판단)에 해당하는 경우"로 다음 과정으로 도 4의 단계(S100)로 진행한다.Here, the step S16a, NO in FIG. 3 is a step S16a, in which, if it is determined that the pronunciation of the monophone is the assist request sound frequency (first judgment) in step S16 and the first video event is not detected (Second judgment) ", the process proceeds to step S100 of FIG. 4 by the following process.

또한, 도 3에서 단계(S18, NO)는, 단발음이 도움 요청 음향 주파수 및 호루라기 음향 주파수가 아닌 것(제 1 판단)이며, 제 3 영상 이벤트를 감지하는 경우가 아닌 경우"로 다음 과정으로 도 4의 단계(S100)로 진행한다. 3, step S18, NO), the case where the sound is not the assist sound frequency and the whistle sound frequency (first judgment), and the third image event is not detected The process proceeds to step S100 of FIG.

한편, 여기서 제 3 영상 이벤트는 제어장치(300)가 감지를 수행하는데, 제 3 영상 이벤트에 대한 판단에 있어서, 제어장치(300)는 단계(S15)에서 수신된 단발음 주파수 신호의 방향을 산출한 뒤, 방향과 매칭되는 영역에 배치된 고정형 카메라(100)로부터 촬영된 영상으로부터 제 3 영상 이벤트에 해당하는 "두 개의 피사체가 엉켜있는 이미지", "두 개의 피사체가 미리 설정된 간격 미만에 위치하는 이미지", "두 개의 피사체가 엉켜있거나 미리 설정된 간격 미안에 위치한 상태에서 두 개의 피사체 중 적어도 하나 이상이 넘어져 있거나, 손을 흔드는 이미지" 등 중 적어도 하나의 이미지가 있는지 여부를 통해 판단한다. Here, in the third video event, the control device 300 performs the detection. In the determination of the third video event, the controller 300 calculates the direction of the shortest sound emission frequency signal received in step S15 &Quot; an image in which two subjects are entangled " corresponding to a third image event from an image photographed from the fixed camera 100 arranged in an area matching with the direction, " Quot ;, " image ", "image of at least one of two subjects falling or shaking hands"

마지막으로, 도 3에서 단계(S18a, NO)는, "단계(S17)의 판단 결과 단발음이 호루라기 음향 주파수인 것(제 1 판단)이며, 단계(S18a)의 판단 결과 제 2 영상 이벤트를 감지하는 경우가 아닌 경우"로 도 4의 단계(S100)로 진행한다. 3, the step S18a is NO. If the result of the judgment in the step S17 is that the monophonic sound is the whistle sound frequency (the first judgment), and if it is judged in the step S18a that the second video event is detected , The process proceeds to step S100 of FIG.

보다 구체적으로, 단계(S100)에 대해서 살펴보도록 한다. More specifically, step S100 will be described.

먼저, 제어장치(300)는 다수의 고정형 카메라(100) 중 하나로부터 노멀 이벤트를 감지한다(S110). 여기에서, 노멀 이벤트는 특정 영역 내에서 적어도 움직이는 피사체가 감지되는 경우를 나타낸다. 즉, 고정형 카메라(100)는 특정 영역 내에 움직이는 피사체의 존재 여부를 감지하는 기능을 수행하게 된다.First, the control device 300 detects a normal event from one of the plurality of fixed cameras 100 (S110). Here, the normal event indicates a case where at least a moving subject is detected within a specific area. That is, the fixed camera 100 performs a function of detecting whether a moving object exists in a specific area.

단계(S110) 이후, 제어장치(300)는 '단발음 dB(데시벨)≥제 1 dB(데시벨)값'인지 여부를 판단한다(S120). 즉, 제어장치(300)는 다수의 음향 주파수 인식 장치(500) 중 단계(S110)에서 노멀 이벤트를 감지한 고정형 카메라(100)가 매칭되는 영역에 배치된 음향 주파수 인식 장치(500)를 통해 수신된 단발음의 음향 주파수 신호의 크기인 단발음 데시벨(dB)를 분석한 뒤, 미리 설정된 제 1 데시벨(dB)값보다 큰지 여부를 판단한다. After step S110, the control device 300 determines whether the value is a single-ended dB (decibel) ≥1 dB (decibel) value (S120). That is, the control device 300 receives (or receives) the sound data through the acoustic frequency recognition device 500 disposed in the area where the fixed camera 100 sensing the normal event is matched in step S110 among the plurality of acoustic frequency recognition devices 500 (DB), which is the magnitude of the sound frequency signal of the single-ended sound, and then determines whether or not it is larger than a preset first decibel (dB) value.

여기에서, 제 1 dB값은 주변에서 평상시에 발생되는 소음보다 큰 음향 주파수 신호 dB값을 나타낸다. 즉, 제 1 dB값 이상의 음향 주파수 신호가 발생되는 것은 평소와 다른 사건이 발생된 것으로 인식할 수 있는 것이다. 따라서, 제어장치(300)는 제 1 dB값 이상의 음향 주파수 신호가 인식된 경우에, 음향 주파수 신호가 발생된 영역을 촬영할 수 있도록 회전형 카메라(200)를 제어하게 되는 것이다.Here, the first dB value represents the dB value of the acoustic frequency signal which is larger than the noise normally generated in the surroundings. That is, it can be recognized that the occurrence of an acoustic frequency signal having a frequency higher than the first dB value occurs as usual. Accordingly, when the acoustic frequency signal of the first dB value or more is recognized, the controller 300 controls the rotary camera 200 to photograph the area where the acoustic frequency signal is generated.

이러한 경우는 주로, 고정형 카메라(100)의 사각지대에서 발생되는 범죄나 사고 현장을 음향 주파수 신호로 판단하여 촬영하기 위한 방안으로 사용되게 될 것이다.Such a case will mainly be used as a method for judging the crime or accident scene occurring in the blind spot of the fixed type camera 100 as an acoustic frequency signal.

한편, 단계(S120)의 판단 결과 단발음 dB가 제 1 dB값 이상인 경우, 제어장치(300)는 '단발음 dB≥제 2 dB값'인지 여부를 판단한다(S130). On the other hand, if it is determined in step S120 that the monophonic sounding dB is equal to or greater than the first sounding sounding amount value, the controller 300 determines whether the sounding sounding level is the second sounding sounding level.

단계(S130)의 판단 결과 단말음 dB가 제 2 dB값 이상인 경우, 제어장치(300)는 단계(S170)로 진행하여 단발음 방향으로 회전형 카메라의 대상 영역을 결정하며, 반대로 단말음 dB가 제 2 dB값 미만인 경우, 단계(S140)로 진행하여 기설정된 우선순위에 따라 대상영역을 결정한다. If it is determined in step S130 that the terminal sound dB is equal to or greater than the second dB value, the control device 300 proceeds to step S170 to determine the object area of the rotating camera in the step sound direction, If it is less than the second dB value, the process proceeds to step S140, where the target area is determined according to the predetermined priority.

즉, 단계(S130)의 판단 결과 단말음 dB가 제 2 dB값 이상인 경우, 제어장치(300)는 회전형 카메라(200)의 촬영 대상 영역을 음향 주파수 신호 방향(즉, 음향 주파수 신호가 감지된 방향)으로 결정하게 된다.That is, if it is determined in step S130 that the terminal sound dB is equal to or greater than the second dB value, the controller 300 sets the imaging object area of the rotary camera 200 to the sound frequency signal direction Direction).

보다 구체적으로 살펴보면, 단발음의 음향 주파수 신호의 세기가 제 2 dB값 이상인 경우, 제어장치(300)는 인식된 음향 주파수 신호 정보를 이용하여 음향 주파수 신호의 방향을 산출하고, 음향 주파수 신호의 방향을 대상 영역으로 곧바로 결정할 수도 있다. 이후, 제어장치(300)는 회전형 카메라(200)가 해당 음향 주파수 신호가 감지된 방향을 촬영하게 함으로써, 음향 주파수 신호의 발생 원인을 촬영하도록 제어하게 된다. 즉, 고정형 카메라(100)에서 노멀 이벤트가 발생된 경우라도 이러한 이벤트를 무시하고 곧바로 음향 주파수 신호의 방향을 대상 영역으로 결정할 수 있는 것이다.More specifically, when the strength of the sound frequency signal of the single sound is equal to or greater than the second dB value, the controller 300 calculates the direction of the sound frequency signal using the recognized sound frequency signal information, To the target area. Thereafter, the controller 300 causes the rotary camera 200 to photograph the direction in which the acoustic frequency signal is sensed, thereby controlling the photographing of the cause of the acoustic frequency signal. That is, even when the fixed camera 100 generates a normal event, the direction of the acoustic frequency signal can be directly determined as the target area by ignoring the event.

여기에서, 제 2 dB값은 위험에 처했을 때 발생되는 고음(예를 들면, 비명음향 주파수 신호) 또는 충격음(예를 들면, 총음향 주파수 신호, 폭탄 음향 주파수 신호 등)의 세기에 해당되는 것이다. 즉, 제 2 dB값은 제 1 dB값보다 큰 값이 된다. 따라서, 제어 장치(300)가 제 2 dB값 이상의 음향 주파수 신호를 인식한 경우, 위험 상황에 해당되므로 해당 음향 주파수 신호가 감지된 영역을 우선적으로 촬영하도록 회전형 카메라(200)를 제어하게 된다.Here, the second dB value corresponds to the intensity of the treble (e.g., screaming acoustic frequency signal) or impact sound (e.g., total acoustic frequency signal, bomb sound frequency signal, etc.) . That is, the second dB value is larger than the first dB value. Therefore, when the control device 300 recognizes the acoustic frequency signal of the second dB value or more, the control unit 300 controls the rotating type camera 200 to preferentially photograph the area where the acoustic frequency signal is sensed because it is in a dangerous situation.

단계(S130)의 판단 결과 반대로, 음향 주파수 신호 세기에 해당하는 단발음 dB가 제 2 dB값보다 작은 경우, 제어장치(300)는 미리 설정된 우선 순위에 따라 회전형 카메라(200)가 피사체를 촬영하기 위한 대상영역을 결정하게 된다(S140).As a result of the determination in step S130, if the single-sounding dB corresponding to the sound frequency signal intensity is smaller than the second dB value, the controller 300 controls the rotary camera 200 to photograph the object (S140).

이런 우선 순위에는, 음향 주파수 신호의 방향이 노멀 이벤트가 발생된 특정 영역에 포함되는지 여부도 포함될 수 있으며, 만약 음향 주파수 신호의 방향이 이벤트가 발생된 특정 영역에 포함되는 경우 최우선 순위로 하여 회전형 카메라(200)가 촬영할 방향을 결정할 수 있다. 또한, 만약 음향 주파수 신호의 방향이 이벤트가 발생된 특정 영역에 포함되지 않는 경우, 사용자에 의해 미리 설정된 다양한 우선순위에 따라 촬영할 방향이 결정되도록 할 수 있을 것이다.This priority may include whether or not the direction of the acoustic frequency signal is included in a specific area where the normal event is generated. If the direction of the acoustic frequency signal is included in the specific area in which the event is generated, The camera 200 can determine the direction in which it is to be photographed. In addition, if the direction of the sound frequency signal is not included in the specific area in which the event is generated, the direction to be photographed may be determined according to various priorities set by the user.

즉, 제어장치(300)는 고정형 카메라(100)에서 복수 개의 노멀 이벤트가 감지된 경우, 복수 개의 노멀 이벤트 중 우선 순위가 가장 높은 하나의 이벤트가 감지된 카메라가 촬영하는 특정 영역을 회전형 카메라(200)가 자세하게 촬영하도록 제어할 수도 있다.That is, when a plurality of normal events are detected in the fixed camera 100, the control device 300 transmits a specific area, which is captured by the camera in which one event having the highest priority is detected, 200 may be controlled so as to photograph in detail.

예를 들어, 제어장치(300)는 사용자의 설정이나 조작에 따라, "제 1 dB값과 제 2 dB값 사이의 범위 중 음향 주파수 신호 dB값 A > 움직임 이벤트 a > 제 1 dB값과 제 2 dB값 사이의 범위 중 음향 주파수 신호 dB값 B > 움직임 이벤트 b > …"와 같은 우선 순위를 정할 수 있고, 여기서 음향 주파수 신호 dB값 A는 음향 주파수 신호 dB값 B보다 크며, 움직임 이벤트 a는 팔이 빠르게 움직이는 이벤트이고, 움직임 이벤트 b는 다리가 빠르게 움직이는 이벤트로 설정될 수 있다. 음향 주파수 신호가 작은 경우보다 음향 주파수 신호가 큰 경우가, 그리고, 다리가 빠르게 움직이는 경우보다 팔이 빠르게 움직이는 경우가 범죄 발생 가능성이나 사고 발생 가능성이 높기 때문이다.For example, the control device 300 determines whether or not the sound frequency signal dB value A in the range between the first and second dB values is greater than the first and second dB values, a motion frequency signal dB value B is greater than a sound frequency signal dB value B, and a motion event a is an arm frequency b Is a fast-moving event, and the motion event b can be set as a fast-moving event. The reason is that when the sound frequency signal is bigger than when the sound frequency signal is small, and when the arm moves faster than when the leg is moving quickly, there is a high possibility of a crime or an accident.

한편, 단계(S120)의 판단 결과 단발음 dB가 제 1 dB값 미만인 경우, 제어장치(300)는 단계(S150)로 진행하여 노멀 이벤트 영역으로 회전형 카메라(200)의 대상영역을 결정한다(S150).On the other hand, if it is determined in step S120 that the stepped sound dB is less than the first dB value, the controller 300 proceeds to step S150 and determines the target area of the rotary camera 200 as the normal event area S150).

그리고 단계(S110)의 판단 결과 노멀 이벤트가 감지되지 않은 경우, 단계(S160)으로 진행하여, 제어장치(300)는 "단발음 dB≥제 1 dB값" 인지 여부를 판단한 뒤(S160), 단발음 dB가 제 1 dB값보다 작은 경우는 도 2의 단계(S11)로 회귀하며, 반대로 단발음 dB가 제 1 dB값 이상인 경우는 단발음 방향으로 회전형 카메라의 대상 영역을 결정한다(S170).If it is determined in step S110 that the normal event is not detected, the control device 300 proceeds to step S160 to determine whether or not the sound level is dB_dec1 dB (step S160) If the sounding dB is smaller than the first dB value, the flow returns to step S11 in FIG. 2. Conversely, if the sounding dB is greater than or equal to the first dB value, the object area of the rotating camera is determined in the sounding direction (step S170) .

또한, 단계(S130)의 판단 결과 단말음 dB가 제 2 dB값 이상인 경우도 단계(S170)로 진행하여 제어장치(300)는 단발음 방향으로 회전형 카메라의 대상 영역을 결정한다(S170).Also, if it is determined in step S130 that the terminal sound dB is equal to or greater than the second dB value, the controller 300 proceeds to step S170 and determines the object area of the rotary camera in the step sound direction in step S170.

인식된 단발음의 음향 주파수 신호의 세기가 제 1 dB값과 제 2 dB값의 사이인 경우{단계(S130, NO)}의 제어장치(300)에 의한 회전형 카메라(200)의 제어에 대해서 좀 더 살펴보면, 제어장치(300)는 음향 주파수 신호 정보와 제 1 내지 제 3 이벤트 정보, 노멀 이벤트 정보를 조합하거나 비교하여 우선순위에 따라 촬영 대상을 결정하게 된다. If the strength of the recognized sound frequency signal is between the first dB value and the second dB value (step S130, NO), the control device 300 controls the rotary camera 200 In more detail, the controller 300 combines or compares the audio frequency signal information, the first to third event information, and the normal event information, and determines an object to be photographed according to the priority.

이를 위해 제어장치(300)는 단발음의 음향 주파수 신호 정보를 이용하여 음향 주파수 신호의 방향을 산출하고, 적어도 하나의 고정형 카메라(100)가 촬영하는 영역에서 노멀 이벤트가 감지되는지 여부를 판단하게 된다. 그리고, 고정형 카메라(100)가 촬영하는 특정 영역에서 노멀 이벤트가 감지된 경우, 제어장치(300)는 산출된 음향 주파수 신호의 방향이 이벤트가 감지된 고정형 카메라(100)가 촬영하는 특정영역에 포함되는지 여부를 판단하게 된다.To this end, the control device 300 calculates the direction of the acoustic frequency signal using the monophonic sound frequency signal information, and determines whether or not the normal event is sensed in an area photographed by at least one fixed camera 100 . When a normal event is detected in a specific area captured by the fixed camera 100, the control device 300 determines whether the direction of the calculated sound frequency signal is included in a specific area captured by the fixed camera 100 in which the event is sensed Or not.

만약, 산출된 음향 주파수 신호의 방향이 이벤트가 발생된 고정형 카메라(100)가 촬영하는 특정 영역에 포함되는 경우, 제어장치(300)는 회전형 카메라(200)가 산출된 음향 주파수 신호의 방향에 대응되는 특정 영역을 촬영하도록 제어하게 된다.If the direction of the calculated acoustic frequency signal is included in a specific region captured by the fixed camera 100 where the event is generated, the controller 300 determines whether the direction of the calculated acoustic frequency signal corresponds to the direction of the calculated acoustic frequency signal And controls to shoot the corresponding specific area.

반면, 산출된 음향 주파수 신호의 방향이 이벤트가 감지된 고정형 카메라(100)가 촬영하는 특정 영역에 포함되지 않는 경우, 제어장치(300)는 이벤트가 감지된 고정형 카메라(100)가 촬영하는 특정 영역을 촬영하게 된다. On the other hand, when the direction of the calculated sound frequency signal is not included in the specific region captured by the fixed camera 100 in which the event is detected, the control device 300 determines whether or not the specific region .

또한, 이 경우, 제어장치(300)는 노멀 이벤트 정보의 우선순위와 음향 주파수 신호 정보의 우선순위를 서로 비교하여 우선순위가 높은 것에 대응되는 방향을 촬영하도록 회전형 카메라(200)를 제어할 수도 있다.In this case, the control device 300 may control the rotating type camera 200 to compare the priority order of the normal event information with the priority order of the sound frequency signal information to photograph the direction corresponding to the higher priority order have.

이를 위해, 제어장치(300)는 이벤트를 다양한 레벨로 우선순위를 할당할 수도 있고, 음향 주파수 신호 정보를 세기별로 다양한 레벨을 두어 우선순위를 할당할 수도 있다. 그리고, 제어장치(300)는 복수 개의 고정형 카메라(100)에서 복수 개의 이벤트가 감지된 경우, 복수 개의 노멀 이벤트 중 우선 순위가 가장 높은 하나의 노멀 이벤트가 감지된 카메라가 촬영하는 특정 영역을 회전형 카메라(200)가 자세하게 촬영하도록 제어할 수도 있다.For this purpose, the control device 300 may assign priorities to various levels of events, or assign different priorities to various levels of sound frequency signal information by intensity. When a plurality of events are detected in the plurality of fixed cameras 100, the control device 300 may be configured to rotate the specific area captured by the camera, which detects one normal event having the highest priority among the plurality of normal events, It is possible to control the camera 200 to photograph in detail.

한편, 고정형 카메라(100)가 촬영하는 특정 영역에서 노멀 이벤트가 감지되지 않은 경우, 제어장치(300)는 인식된 음향 주파수 신호 정보를 이용하여 음향 주파수 신호의 방향을 산출하고, 음향 주파수 신호의 방향을 대상 영역으로 결정하게 된다.On the other hand, when the normal event is not detected in the specific area captured by the fixed camera 100, the control device 300 calculates the direction of the sound frequency signal using the recognized sound frequency signal information, As a target area.

또한, 음향 주파수 인식 장치(500)에 음향 주파수 신호가 인식되지 않고 고정형 카메라(100)에서 이벤트가 감지된 경우, 제어장치(300)는 이벤트가 감지된 고정형 카메라(100)에서 촬영 중인 특정 영역을 대상 영역을 결정하고 결정된 대상 영역을 촬영하도록 회전형 카메라(200)의 렌즈 방향을 제어하게 된다.When the sound frequency signal is not recognized in the acoustic frequency recognition device 500 and an event is detected in the fixed type camera 100, the control device 300 determines the specific region being photographed in the fixed type camera 100 in which the event is detected And controls the lens direction of the rotating type camera 200 so as to photograph the determined target area.

이와 같은 구성의 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템은 고정형 카메라(100)의 이벤트 감지정보뿐만 아니라 음향 주파수 신호 정보까지 인식하여 감시를 하게 되므로, 사각 지역 없이 다양한 영역을 감시할 수 있게 된다.The object tracking system capable of analyzing the hybrid pattern based on acoustic and behavior pattern recognition based on this configuration recognizes not only the event detection information but also the acoustic frequency signal information of the fixed camera 100, .

도 5는 본 발명의 다른 실시예에 따른 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 시스템을 나타내는 도면이다. 도 5를 참조하면, 고정형 카메라(100), 회전형 카메라(200), 평판형 스피커(400), 음향 주파수 인식 장치(500) 및 비콘 무선 신호 송수신부(600)는 셋트화되어 기확정된 감시 대상 영역의 주변의 현장(1-1 ,1-2, …, 1-m; m은 2 이상의 자연수)에 설치되고, 제어장치(300)는 외부의 관제센터(3)에 별도로 설치될 수 있으며, 이 경우 외부의 관제센터(3) 또는 제어장치(300)는 복수의 셋트를 개별적으로 모두 관리하거나 제어할 수 있게 된다.FIG. 5 is a diagram illustrating an object tracking system capable of hybrid pattern analysis based on acoustic and behavior pattern recognition according to another embodiment of the present invention. 5, the stationary camera 100, the rotary camera 200, the flat speaker 400, the acoustic frequency recognition device 500, and the beacon wireless signal transceiver 600 are set up, The control device 300 may be installed separately in the external control center 3 and the control device 300 may be installed in the external control center 3 In this case, the external control center 3 or the control device 300 can manage or control all of the plurality of sets individually.

이로 인해, 불필요한 리소스의 중복을 막을 수 있고 일괄적인 관리 및 현장의 이동에 따라 발생되는 범죄나 사고에 대한 연속적이고 총체적인 관리가 가능하게 된다.This prevents duplication of unnecessary resources and enables continuous and total management of crimes and accidents caused by the collective management and movement of the sites.

한편, 네트워크(2)는 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다. 네트워크(2)가 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 네트워크(2)는 RNC(Radio Network Controller)을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다. 네트워크(2)는 관제센터(3)와 셋트화되어 기확정된 감시 대상 영역의 주변의 현장(1-1, 1-2, …, 1-m)의 고정형 카메라(100), 회전형 카메라(200), 평판형 스피커(400), 음향 주파수 인식 장치(500) 및 비콘 무선 신호 송수신부(600), 제 1 내지 제 m 모바일단말(4-1 내지 4-m, m은 2 이상의 자연수) 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다. Meanwhile, the network 2 is a communication network which is a high-speed period network of a large communication network capable of a large-capacity, long-distance voice and data service, and may be a next generation wired and wireless network for providing Internet or high-speed multimedia service. When the network 2 is a mobile communication network, it may be a synchronous mobile communication network or an asynchronous mobile communication network. As an embodiment of the asynchronous mobile communication network, a WCDMA (Wideband Code Division Multiple Access) communication network is exemplified. In this case, although not shown in the drawings, the network 2 may include a Radio Network Controller (RNC). Meanwhile, although the WCDMA network is exemplified, it may be a next generation communication network such as a 3G LTE network or a 4G network, or an IP network based on other IP. The network 2 is connected to the control center 3 and is connected to the stationary camera 100 of the sites 1-1, 1-2, ..., 1-m around the monitored area, The first to m-th mobile terminals 4-1 to 4-m, m are natural numbers of 2 or more), and the beacon signal transmitting / And transmits signals and data between the external systems.

이러한 구성을 통해 관제센터(3)의 제어장치(300)는 긴급상황 인식이 발생한 위치의 영상을 이동형 카메라(200)를 통해 확대하고 그 영역으로 지향성 평판형 스피커(400)를 통해 경고 방송을 송출함으로써, 인근 주민들의 민원을 줄일 수 있다. The controller 300 of the control center 3 enlarges the image of the position where the emergency situation has occurred through the portable camera 200 and sends warning broadcast through the directional flat speaker 400 to the area This can reduce the complaints of nearby residents.

또한, 관제센터(3)의 제어장치(300)는 각 모바일단말(1-1 내지 1-m) 중 안전귀가 어플을 실행한 모바일단말로부터 비콘 무선 신호를 수신하도록 셋트화되어 기확정된 감시 대상 영역의 각 주변의 현장(1-1 , 1-2, …, 1-m)의 비콘 무선 신호 송수신부(600)를 제어하여 네트워크(2)를 통해 수신한 뒤, 송출 귀가 위치를 미리 설정된 지인의 모바일단말로 송출할 수 있다.The control device 300 of the control center 3 is set so as to receive a beacon radio signal from the mobile terminal that has executed the safety-restricting application among the mobile terminals 1-1 to 1-m, The beacon radio signal transmitting and receiving unit 600 of each of the peripheral sites 1-1, 1-2, ..., 1-m of the area is received via the network 2, To the mobile terminal.

또한, 관제센터(3)의 제어장치(300)는 각 모바일단말(4-1 내지 4-m) 중 안전귀가 어플을 실행한 모바일단말로 긴급상황 버튼이 입력된 경우, 버튼 입력에 따라 비콘 무선 신호를 수신한 비콘 무선 신호 송수신부(600)의 식별번호를 추출한 뒤, 동일한 식별번호를 갖는 셋트화되어 기확정된 동일한 감시 대상 영역에 위치한 평판형 스피커(400)를 제어하여 경고 방송 출력과 함께 가장 인접한 방범 센터로 긴급상황 신고를 수행한다. When the emergency terminal is input to the mobile terminal that has executed the safe e-mail application among the mobile terminals 4-1 to 4-m, the control device 300 of the control center 3 transmits a beacon signal And outputs the beacon signal to the beacon radio signal transmitting and receiving unit 600. The beacon radio signal transmitting and receiving unit 600 extracts the identification number of the beacon radio signal transmitting and receiving unit 600, Perform emergency reporting to the nearest crime prevention center.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.The present invention can also be embodied as computer-readable codes on a computer-readable recording medium. A computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. Examples of the computer-readable recording medium include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device and the like, and also implemented in the form of a carrier wave (for example, transmission over the Internet) .

또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The computer readable recording medium may also be distributed over a networked computer system so that computer readable code can be stored and executed in a distributed manner. And functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers skilled in the art to which the present invention pertains.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.As described above, preferred embodiments of the present invention have been disclosed in the present specification and drawings, and although specific terms have been used, they have been used only in a general sense to easily describe the technical contents of the present invention and to facilitate understanding of the invention , And are not intended to limit the scope of the present invention. It is to be understood by those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

1-1 내지 1-m : 현장
2 : 네트워크
3 : 관제센터
4-1 내지 4-m : 제 1 내지 제 m 모바일단말
100 : 고정형 카메라
100G(100-1 내지 100-N) : 고정형 카메라 집합체
200 : 회전형 카메라
200G(200-1 내지 200-N) : 회전형 카메라 집합체
300 : 제어장치
310 : 통신부
320 : 이동객체 인식부
330 : 패턴분석부
340 : 메시지DB부
350 : 제어부
400 : 지향성 평판형 스피커
400G(400-1 내지 400-N) : 지향성 평판형 스피커 집합체
500 : 음성 인식 주파수 장치
500G(500-1 내지 500-N) : 음성 인식 주파수 장치 집합체
600 : 비콘 무선 신호 송수신부
600G(600-1 내지 600-N) : 비콘 무선 신호 송수신부 집합체
1-1 to 1-m: field
2: Network
3: Control center
4-1 to 4-m: first to mth mobile terminals
100: Fixed type camera
100G (100-1 to 100-N): fixed camera aggregate
200: Rotating camera
200G (200-1 to 200-N): a rotatable camera assembly
300: Control device
310:
320: Moving object recognition unit
330: pattern analysis unit
340: Message DB section
350:
400: directional flat speaker
400G (400-1 to 400-N): directional flat panel speaker assembly
500: Speech recognition frequency device
500G (500-1 to 500-N): Speech recognition frequency device aggregate
600: Beacon radio signal transmitting /
600G (600-1 to 600-N): beacon radio signal transmitting / receiving subunit

Claims (5)

하나의 음향 주파수 인식 장치가 미리 설정된 범위의 주파수의 단발음을 감지하는 제 1 단계;
상기 음향 주파수 인식 장치가 단말음이 미리 설정된 임계치 데시벨(dB) 이상인지를 분석하여 음향 이벤트 발생 여부를 판단하는 제 2 단계;
음향 이벤트가 발생한 경우, 음향 주파수 인식 장치가 음성 이벤트 발생정보를 생성한 뒤 제어장치로 음성 이벤트 발생정보를 전송하는 제 3 단계;
상기 제어장치가 긴급 상황 발생 인지 분석을 개시하기 위해, 긴급 상황 발생 인지 분석을 위해 수신된 단발음을 감지한 음향 주파수 인식 장치로부터 단발음 주파수 정보를 수신하는 제 4 단계;
상기 제어장치가 단발음을 감지한 음향 주파수 인식 장치와 동일한 영역에 위치한 고정형 촬영장치로부터 영상 이벤트 정보를 수신하는 제 5 단계;
상기 제어장치가 상기 음성 이벤트 발생정보와 상기 영상 이벤트 정보를 통해 피사체의 긴급상황을 분석하고 긴급상황인 경우 회전형 카메라에 촬영되기 위한 대상 영역 또는 대상 객체에 관한 정보를 생성하는 제 6 단계;
상기 제어장치가 결정된 대상 영역 또는 대상 객체에 관한 정보를 단발음을 감지한 음향 주파수 인식 장치와 동일한 영역에 위치한 회전형 카메라로 전송하는 제 7 단계;
상기 회전형 카메라가 상기 제어장치로부터 결정된 대상 영역 또는 대상 객체가 촬영되도록 하여, 이벤트 촬영정보를 생성하여 상기 제어장치로 반송하는 제 8 단계; 및
상기 제어장치가 수신한 이벤트 촬영정보를 이용해 이벤트 분석값을 생성하여 이벤트 분석값과 맞는 메시지를 평판형 스피커로 출력하도록 제어하는 제 9 단계; 를 포함하며,
상기 제 5 단계는, 상기 제어장치가 수신된 단발음 주파수 정보를 분석하여 단발음이 도움 요청 음향 주파수에 해당하는지 여부를 판단하는 제 5-1 단계;
분석 결과 단발음이 도움 요청 음향 주파수에 해당하는 경우는 상기 제어장치가 제 1 영상 이벤트 감지를 수행하는데, 수신된 단발음 주파수 신호의 방향을 산출한 뒤, 방향과 매칭되는 영역에 배치된 고정형 카메라로부터 촬영된 영상으로부터 제 1 영상 이벤트(피사체 기반 긴급 상황 발생 증명 영상 이벤트 추출) 감지를 수행하며, 반대로 단발음이 도움 요청 음향 주파수에 해당하지 않는 경우 상기 제어장치가 수신된 단발음 주파수 정보를 분석하여 단발음이 도움 요청 도구에 의해 발생한 음향 주파수(호루라기 음향 주파수)에 해당하는지 여부를 판단하는 제 5-2 단계; 및
분석 결과 단발음이 도움 요청 도구에 의해 발생한 음향 주파수(호루라기 음향 주파수)에 해당하는 경우 상기 제어장치가 제 2 영상 이벤트 감지(피사체 및 도움 요청 도구 기반 긴급 상황 발생 증명 영상 이벤트 추출)를 수행하는데, 수신된 단발음 주파수 신호의 방향을 산출한 뒤, 방향과 매칭되는 영역에 배치된 고정형 카메라로부터 촬영된 영상으로부터 제 2 영상 이벤트 감지를 수행하며, 반대로 단발음이 호루라기 음향 주파수에 해당하지 않는 경우 상기 제어장치가 제 3 영상 이벤트 감지(두 개의 피사체 기반 긴급 상황 발생 증명 영상 이벤트 추출)를 수행하는 제 5-3 단계; 를 포함하며,
상기 제 6 단계는,
상기 제어장치가 상기 제 5 단계에서 단발음이 도움 요청 음향 주파수이며, 제 1 내지 제 3 영상 이벤트 중 적어도 하나 이상을 감지하는 경우 피사체의 긴급상황으로 분석한 뒤, 상기 회전형 카메라의 촬영 대상 영역 또는 대상 객체를 음향 주파수 신호 방향(즉, 음향 주파수 신호가 감지된 방향)으로 결정하며,
상기 제 9 단계는,
상기 제어장치가 상기 이벤트 촬영정보를 이용해 이벤트 분석값을 생성시, 이벤트 분석값은 제 1 영상 이벤트와 매칭되는 '도움 이벤트 분석값', 제 2 영상 이벤트와 매칭되는 '도움 요청 도구(호루라기) 이벤트 분석값', 제 3 영상 이벤트와 매칭되는 '폭력 행사 이벤트 분석값', 그 밖의 노멀 이벤트와 매칭되는 '노멀 이벤트 분석값'으로 구분되며, 노멀 이벤트 분석값은, 긴급 상황 가능성 있는 이벤트 촬영정보의 경우(출입통제지역의 주출입문 주변에서 이동 객체가 이동하다가 주출입문에서 이동 객체가 일정한 시간 동안 배회하거나 주출입문을 마주한 채 일정한 시간 동안 정지해 있는 경우의 도난 가능성이 있는 상황)에 생성되는 것을 특징으로 하는 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 방법.
A first step in which one acoustic frequency recognition device senses a step sound of a predetermined range of frequencies;
A second step of determining whether or not an acoustic event is generated by analyzing whether the acoustic frequency recognition device determines that the terminal sound is equal to or greater than a preset threshold value dB;
A third step of, when the acoustic event occurs, generating a voice event occurrence information by the acoustic frequency recognition device and transmitting the voice event occurrence information to the control device;
A fourth step of receiving the monophonic sound frequency information from the sound frequency recognition device which senses the received monophonic sound for the purpose of analyzing whether the emergency situation occurs or not in order to start the analysis of the emergency situation;
A fifth step of receiving the video event information from the fixed photographing device located in the same area as the acoustic frequency recognition device in which the control device senses the phoneme;
A sixth step of analyzing an emergency situation of a subject through the voice event occurrence information and the video event information and generating information about a target area or a target object to be photographed by the rotary camera in an emergency situation;
A seventh step of transmitting the information about the target area or the target object determined by the control device to a rotating camera located in the same area as the sound frequency recognizing device that senses the sound;
An eighth step of causing the rotary camera to shoot an object area or a target object determined by the control device to generate event photographing information and return the event photographing information to the control device; And
Generating an event analysis value by using the event shooting information received by the control device, and outputting a message matching the event analysis value to the flat speaker; / RTI >
The fifth step includes a step 5-1) of analyzing the received monophonic sound frequency information by the controller to determine whether the monophonic sound corresponds to the sound frequency of the help request;
When the monaural sound corresponds to the sound frequency requested for assistance, the control device performs the first image event detection. After calculating the direction of the received monaural sound frequency signal, Based event detection event image) from the image captured by the control unit. On the other hand, when the terminal sound does not correspond to the assist request sound frequency, the controller analyzes the received sound end frequency information (5-2) judging whether or not the monophonic sound corresponds to an acoustic frequency (whistle sound frequency) generated by the help requesting tool; And
If the monaural sound corresponds to the acoustic frequency (whistle sound frequency) generated by the help requesting tool, the control device performs the second image event detection (event extraction of the emergency event image based on the subject and the help request tool) The second image event detection is performed from the image captured by the fixed camera disposed in the area matched with the direction after calculating the direction of the received end sound emission frequency signal. On the contrary, if the sound emission does not correspond to the whistle sound frequency, A fifth step of the controller performing the third video event detection (two subject-based emergency situation occurrence video event extraction); / RTI >
In the sixth step,
Wherein when the control device senses at least one of the first to third video events and the sound source is a monaural assisted sound frequency in the fifth step, the controller analyzes the emergency scene of the subject, Or determines the target object as the direction of the acoustic frequency signal (i.e., the direction in which the acoustic frequency signal is sensed)
In the ninth step,
When the control device generates the event analysis value using the event shooting information, the event analysis value includes a 'help event analysis value' matching the first video event, a 'help request tool (whistle) event matching the second video event Analytic value ', a' violent event event analysis value 'matching with the third video event, and a' normal event analysis value 'matching with other normal events, and the normal event analysis value is classified into' (A situation where the moving object moves around the main entrance of the access control area and there is a possibility that the moving object may be stolen when the moving object is wandering for a certain period of time or stopped for a predetermined time while facing the main entrance) A method of object tracking capable of hybrid pattern analysis based on acoustic and behavior pattern recognition.
청구항 1에 있어서, 상기 제 9 단계는,
상기 제어장치가 생성된 이벤트 분석값이 복수개인지에 대한 여부를 판단하는 제 9-1 단계;
상기 제어장치가 촬영이 결정된 대상 영역에서 이동 객체가 복수개로 확인되는 경우, 복수의 이벤트 분석값 중 우선순위에 따라 최우선되는 이벤트 분석값을 선택하는 제 9-2 단계;
상기 제어장치가 선택된 이벤트 분석값에 대응되는 메시지를 추출하는 제 9-3 단계;
상기 제어장치가 추출된 메시지에 대응되는 음향정보를 평판형 스피커로 전송하는 제 9-4 단계; 및
상기 평판형 스피커가 음향정보를 수신하여 음향정보가 음성 또는 경보음으로 출력하는 제 9-5 단계; 를 더 포함하며,
상기 우선순위는, '도움 이벤트 분석값', '도움 요청 도구(호루라기) 이벤트 분석값', 폭력 행사 이벤트 분석값', '노멀 이벤트 분석값'에 대한 순서를 통해 설정되는 것을 특징으로 하는 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 방법.
The method of claim 1,
(9-1) determining whether the event analysis value generated by the controller is plural or not;
(9-2) selecting a highest priority event analysis value according to a priority among a plurality of event analysis values when a plurality of moving objects are identified in a target area in which the control device is determined to be photographed;
A step 9-3 of the controller extracting a message corresponding to the selected event analysis value;
The controller transmits the sound information corresponding to the extracted message to the flat speaker; And
(9-5) the speaker receiving the sound information and outputting the sound information as a sound or an alarm sound; Further comprising:
Wherein the priority is set through a sequence of 'help event analysis value', 'help request tool (whistle) event analysis value', violence event analysis value ', and' normal event analysis value ' An object tracking method capable of hybrid pattern analysis based on behavior pattern recognition.
청구항 1에 있어서,
고정형 카메라, 회전형 카메라, 스피커, 음향 주파수 인식 장치 및 비콘 무선 신호 송수신부가 셋트화되어 기확정된 감시 대상 영역의 주변의 현장에 설치되고, 상기 제어장치가 외부의 관제센터에 별도로 설치되는 경우,
상기 관제센터의 제어장치가 각 모바일단말 중 안전귀가 어플을 실행한 모바일단말로부터 비콘 무선 신호를 수신하도록 셋트화되어 기확정된 감시 대상 영역의 각 주변의 현장의 상기 비콘 무선 신호 송수신부를 제어하여 네트워크를 통해 수신한 뒤, 송출 귀가 위치를 미리 설정된 지인의 모바일단말로 송출하는 것을 특징으로 하는 음향 및 행동 패턴 인식 기반의 하이브리드 패턴 분석이 가능한 객체 추적 방법.
The method according to claim 1,
When a fixed camera, a rotary camera, a speaker, an acoustic frequency recognition device, and a beacon wireless signal transmission / reception unit are set and installed at a site in the vicinity of a confirmed monitored area, and the control device is installed separately in an external control center,
The controller of the control center is set so as to receive a beacon radio signal from a mobile terminal that has executed a safe-ear application of each mobile terminal, and controls the beacon radio signal transmitting / receiving unit in each of the surrounding areas of the monitored area, And then transmitting a transmission ear position to a mobile terminal of a predetermined destination. The object tracking method according to claim 1,
삭제delete 삭제delete
KR1020160086015A 2016-07-07 2016-07-07 Object tracking system for hybrid pattern analysis based on sounds and behavior patterns cognition, and method thereof KR101687296B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160086015A KR101687296B1 (en) 2016-07-07 2016-07-07 Object tracking system for hybrid pattern analysis based on sounds and behavior patterns cognition, and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160086015A KR101687296B1 (en) 2016-07-07 2016-07-07 Object tracking system for hybrid pattern analysis based on sounds and behavior patterns cognition, and method thereof

Publications (1)

Publication Number Publication Date
KR101687296B1 true KR101687296B1 (en) 2016-12-16

Family

ID=57735822

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160086015A KR101687296B1 (en) 2016-07-07 2016-07-07 Object tracking system for hybrid pattern analysis based on sounds and behavior patterns cognition, and method thereof

Country Status (1)

Country Link
KR (1) KR101687296B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180045610A (en) * 2016-10-26 2018-05-04 현대자동차주식회사 Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same
KR20190046220A (en) * 2017-10-25 2019-05-07 한화테크윈 주식회사 Method for determining events
KR20210065639A (en) * 2019-11-27 2021-06-04 넥서스텍(주) Cctv system using sensor of motion and sensitivity and for the same control method
KR20210120710A (en) * 2020-03-27 2021-10-07 동명대학교산학협력단 System and method for context awareness using sound source based on empirical learning
KR102472369B1 (en) * 2022-08-05 2022-11-30 에코아이넷 주식회사 Object tracking system based on sound source asking for emegency help and tracking method using the same
KR102513372B1 (en) 2023-01-12 2023-03-23 에코아이넷 주식회사 Hybrid type object tracking system based on sound and image and control method using the same

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130039844A (en) * 2011-10-13 2013-04-23 주식회사 나임코리아 Intelligent camera appartus and intelligent surveillance metod using the same
KR101291728B1 (en) 2010-12-17 2013-07-31 김응욱 Cctv pole system capable of moving camera up and down
KR101485022B1 (en) * 2014-10-20 2015-01-21 에코아이넷 주식회사 Object tracking system for behavioral pattern analysis and method thereof
KR101506120B1 (en) * 2014-08-21 2015-03-31 안양시 Security cctv integrated control system using smart phone and safety map
KR101507978B1 (en) 2014-10-17 2015-04-07 주식회사 신관산업 Versatile closed circuit television security system
KR101581795B1 (en) 2015-06-17 2015-12-31 영남엘이디 주식회사 Manufacturing method of led street light with cctv camera
KR20160070922A (en) 2014-12-10 2016-06-21 (주)위아이티 Surveillance CCTV system for subway cabin and transmission method for subway cabin information using the same

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101291728B1 (en) 2010-12-17 2013-07-31 김응욱 Cctv pole system capable of moving camera up and down
KR20130039844A (en) * 2011-10-13 2013-04-23 주식회사 나임코리아 Intelligent camera appartus and intelligent surveillance metod using the same
KR101506120B1 (en) * 2014-08-21 2015-03-31 안양시 Security cctv integrated control system using smart phone and safety map
KR101507978B1 (en) 2014-10-17 2015-04-07 주식회사 신관산업 Versatile closed circuit television security system
KR101485022B1 (en) * 2014-10-20 2015-01-21 에코아이넷 주식회사 Object tracking system for behavioral pattern analysis and method thereof
KR20160070922A (en) 2014-12-10 2016-06-21 (주)위아이티 Surveillance CCTV system for subway cabin and transmission method for subway cabin information using the same
KR101581795B1 (en) 2015-06-17 2015-12-31 영남엘이디 주식회사 Manufacturing method of led street light with cctv camera

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180045610A (en) * 2016-10-26 2018-05-04 현대자동차주식회사 Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same
KR101892028B1 (en) 2016-10-26 2018-08-27 현대자동차주식회사 Method for providing sound detection information, apparatus detecting sound around vehicle, and vehicle including the same
US10810881B2 (en) 2016-10-26 2020-10-20 Hyundai Motor Company Method of providing sound tracking information, sound tracking apparatus for vehicles, and vehicle having the same
KR20190046220A (en) * 2017-10-25 2019-05-07 한화테크윈 주식회사 Method for determining events
KR102402882B1 (en) * 2017-10-25 2022-05-27 한화테크윈 주식회사 Method for determining events
KR20210065639A (en) * 2019-11-27 2021-06-04 넥서스텍(주) Cctv system using sensor of motion and sensitivity and for the same control method
KR102330346B1 (en) * 2019-11-27 2021-11-29 넥서스텍(주) Cctv system using sensor of motion and sensitivity and for the same control method
KR20210120710A (en) * 2020-03-27 2021-10-07 동명대학교산학협력단 System and method for context awareness using sound source based on empirical learning
KR102354035B1 (en) 2020-03-27 2022-01-20 동명대학교 산학협력단 System and method for context awareness using sound source based on empirical learning
KR102472369B1 (en) * 2022-08-05 2022-11-30 에코아이넷 주식회사 Object tracking system based on sound source asking for emegency help and tracking method using the same
KR102513372B1 (en) 2023-01-12 2023-03-23 에코아이넷 주식회사 Hybrid type object tracking system based on sound and image and control method using the same

Similar Documents

Publication Publication Date Title
KR101687296B1 (en) Object tracking system for hybrid pattern analysis based on sounds and behavior patterns cognition, and method thereof
KR101445367B1 (en) Intelligent cctv system to recognize emergency using unusual sound source detection and emergency recognition method
KR101566184B1 (en) Navigation system for generating a safety route
KR101700395B1 (en) Security drone and mobile security system thereof
AU2014101406A4 (en) A portable alerting system and a method thereof
US10616396B2 (en) Danger detection system
KR101248054B1 (en) Object tracking system for tracing path of object and method thereof
US20060227237A1 (en) Video surveillance system and method with combined video and audio recognition
KR102390405B1 (en) Doorbell
MX2009001254A (en) Video surveillance system and method with combined video and audio recognition.
KR101899436B1 (en) Safety Sensor Based on Scream Detection
JP5173471B2 (en) Evacuation route deriving device and evacuation route deriving method
KR20180066509A (en) An apparatus and method for providing visualization information of a rear vehicle
KR20030033127A (en) System and method for informing a critical situation by using network
KR101384781B1 (en) Apparatus and method for detecting unusual sound
EP1875449B1 (en) Security system, and alarm verification system
KR101321447B1 (en) Site monitoring method in network, and managing server used therein
KR102472369B1 (en) Object tracking system based on sound source asking for emegency help and tracking method using the same
CN110634506A (en) Voice data processing method and device
KR101002130B1 (en) Method for identifing location of mobile station based on image using linkage of rfid and network cctv, and portable rfid tag for mobile station
KR102513372B1 (en) Hybrid type object tracking system based on sound and image and control method using the same
JP2021180374A (en) Drone security system, program for drone security system, mobile security system, and program for mobile security system
KR101882309B1 (en) safety light and safety system using voice recognition
KR101651158B1 (en) C c t v security system for emergency situation notice based on sound and hybrid cognition, and method for providing thereof
KR101794260B1 (en) safety light and safety system using voice recognition

Legal Events

Date Code Title Description
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant