KR102259637B1 - Broadcasting Transmission System Based on Artificial Intelligence for Unmanned Broadcasting - Google Patents

Broadcasting Transmission System Based on Artificial Intelligence for Unmanned Broadcasting Download PDF

Info

Publication number
KR102259637B1
KR102259637B1 KR1020200132064A KR20200132064A KR102259637B1 KR 102259637 B1 KR102259637 B1 KR 102259637B1 KR 1020200132064 A KR1020200132064 A KR 1020200132064A KR 20200132064 A KR20200132064 A KR 20200132064A KR 102259637 B1 KR102259637 B1 KR 102259637B1
Authority
KR
South Korea
Prior art keywords
unit
image
information
broadcasting
image information
Prior art date
Application number
KR1020200132064A
Other languages
Korean (ko)
Inventor
홍두영
함익기
조은규
Original Assignee
(주)와이즈콘
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)와이즈콘 filed Critical (주)와이즈콘
Priority to KR1020200132064A priority Critical patent/KR102259637B1/en
Application granted granted Critical
Publication of KR102259637B1 publication Critical patent/KR102259637B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G06K9/00711—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

An artificial intelligence-based broadcasting transmission system for automated broadcasting has cameras placed in a detection area in which automated broadcasting is to be performed, and broadcasts video information (pets, animals and plant habitats, landscapes, construction sites, green tide, red tide, disaster sites, etc.) in a real-time live broadcasting manner and a periodic manner. The system can automatically track, zoom-in, and observe an object in a sound direction, by radar, and in a movement direction through artificial intelligence fusion, can label a focused object and determine whether to transmit a signal to a client, can classify videos, and can search for videos. The system has the cameras placed in the detection area in which automated broadcasting is to be performed, and can provide the video information in a real-time live broadcasting manner and the periodic manner to perform the broadcast without a broadcasting manager and without having multiple broadcasting devices, thus greatly reducing the overall cost of broadcasting devices, thereby building an automated broadcasting system at low cost.

Description

무인 방송을 위한 인공지능 기반 방송 송출 시스템{Broadcasting Transmission System Based on Artificial Intelligence for Unmanned Broadcasting}Broadcasting Transmission System Based on Artificial Intelligence for Unmanned Broadcasting

본 발명은 방송 송출 시스템에 관한 것으로서, 더욱 상세하게는 무인 방송하고자 하는 탐지 영역에 카메라를 거치하고, 실시간 생방송 및 주기적 방식으로 영상 정보(애완동물, 동물, 식물 서식지, 경관, 건설 현장, 녹조, 적조, 재난 현장 등)를 방송하기 위한 것으로 인공 지능을 융합하여 소리 방향, 레이더, 움직임 방향으로 자동 추적 줌인 관찰하며, 포커싱한 객체를 라벨링하여 클라이언트로 신호 송출 여부, 영상 분류, 영상 검색할 수 있는 무인 방송을 위한 인공지능 기반 방송 송출 시스템에 관한 것이다.The present invention relates to a broadcast transmission system, and more particularly, a camera is mounted in a detection area to be broadcast unmanned, and image information (pets, animals, plant habitats, landscapes, construction sites, green algae, Red tide, disaster scene, etc.) by fusion of artificial intelligence, automatic tracking zoom-in observation in the sound direction, radar, and movement direction, and labeling the focused object to send a signal to the client, image classification, and image search It relates to an artificial intelligence-based broadcasting transmission system for unmanned broadcasting.

방송 시스템은 스튜디오 내에 메인 카메라, 서브 카메라, 모니터, 조명 등과 같은 방송 장비를 설치하여 방송 진행자를 촬영하고, 스튜디오 밖의 방송 운영실에서 스튜디오 내의 촬영된 영상을 외부로 송출하며, 방송이 진행되는 동안 스튜디오 내의 방송 장비들을 제어하게 된다.Broadcasting system installs broadcasting equipment such as main camera, sub-camera, monitor, lighting, etc. in the studio to photograph the broadcast host, and transmits the captured image in the studio from the broadcasting operation room outside the studio to the outside. control the broadcasting equipment.

이와 같이 기존의 방송 시스템은 방송 진행자를 촬영하여 제어 콘솔을 통해 촬영된 영상을 외부로 송출한다.As described above, in the existing broadcasting system, the broadcast host is photographed and the photographed image is transmitted to the outside through the control console.

방송 관리자는 바옹 운영실의 제어 콘솔을 통해 스튜디오 내의 방송 장비들을 제어하게 된다.The broadcast manager will control the broadcast equipment in the studio through the control console of the Baong operating room.

그러나 학원, 학교, 직장, 교회 등의 소규모 방송국에서는 상주하는 별도의 방송 관리자를 둘 수 없는 경우가 많고, 다큐멘터리의 경우, 한 장소에서 장시간 꾸준하게 촬영해야 하므로 현실적으로 사람을 고용해서 방송 영상을 촬영하기 어려운 문제점이 있다.However, in small broadcasting stations such as academies, schools, workplaces, and churches, it is often not possible to have a separate resident broadcasting manager, and in the case of documentaries, it is difficult to hire a person to shoot broadcast images because it is necessary to shoot continuously for a long time in one place. There is a problem.

또한, 소규모 방송국에서는 방송 관리자 없이 방송을 진행해야 하거나, 음향장비, 조명장비, 편집장비, 송출장비 등의 여러 대의 방송 장비를 구비하고, 방송 관리자를 고용하는 비용에 대한 경제적 부담으로 무인 방송 시스템을 고려해야 할 필요성이 있다.In addition, in small broadcasting stations, broadcasting must be conducted without a broadcasting manager, or multiple broadcasting equipment such as sound equipment, lighting equipment, editing equipment, and transmission equipment are provided, and the unmanned broadcasting system is not installed due to the economic burden of the cost of hiring a broadcasting manager. there is a need to consider

한국 등록특허번호 제10-1263881호Korean Patent No. 10-1263881

이와 같은 문제점을 해결하기 위하여, 본 발명은 무인 방송하고자 하는 탐지 영역에 카메라를 거치하고, 실시간 생방송 및 주기적 방식으로 영상 정보(애완동물, 동물, 식물 서식지, 경관, 건설 현장, 녹조, 적조, 재난 현장 등)를 방송하기 위한 것으로 인공 지능을 융합하여 소리 방향, 레이더, 움직임 방향으로 자동 추적 줌인 관찰하며, 포커싱한 객체를 라벨링하여 클라이언트로 신호 송출 여부, 영상 분류, 영상 검색할 수 있는 무인 방송을 위한 인공지능 기반 방송 송출 시스템을 제공하는데 그 목적이 있다.In order to solve this problem, the present invention mounts a camera in a detection area to be broadcast unmanned, and provides video information (pets, animals, plant habitats, landscapes, construction sites, green algae, red tides, disasters) in real-time live broadcasting and periodic manner. field, etc.), by fusion of artificial intelligence, automatic tracking and zoom-in observation in the direction of sound, radar, and movement, and labeling the focused object to provide unmanned broadcasting that can transmit signals to clients, classify images, and search images It aims to provide an artificial intelligence-based broadcasting transmission system for

상기 목적을 달성하기 위한 본 발명의 특징에 따른 무인 방송을 위한 인공지능 기반 방송 송출 시스템은,An artificial intelligence-based broadcasting transmission system for unmanned broadcasting according to a feature of the present invention for achieving the above object,

무인 방송하고자 하는 탐지 영역에 장기간 거치하고, 탐지 영역 내에서 이동하는 객체를 촬영하여 객체 영상 정보를 생성하는 하나 이상의 카메라 장치; 및one or more camera devices mounted in a detection area to be broadcast unattended for a long period of time and generating object image information by photographing an object moving within the detection area; And

상기 각각의 카메라 장치로부터 획득한 객체 영상 정보를 기저장된 학습된 객체 데이터 세트의 각 셀의 제1 영상 특징과 상기 객체 영상 정보의 각 셀의 제2 영상 특징을 비교하여 상기 제1 영상 특징과 상기 제2 영상 특징이 동일하다는 영상 분석 처리 결과를 생성 및 저장하고, 상기 획득한 객체 영상 정보를 실시간 스트림 전송 프로토콜을 이용하여 라이브 방송하고자 하는 복수의 클라이언트로 다중 분배하여 전송하는 클라우드 서버를 포함하는 것을 특징으로 한다.The first image feature and the second image feature of each cell of the object image information are compared with the first image feature of each cell of the pre-stored learned object data set with the object image information obtained from the respective camera devices. A cloud server that generates and stores an image analysis processing result indicating that the second image characteristic is the same, and multi-distributes and transmits the acquired object image information to a plurality of clients that want to broadcast live using a real-time stream transmission protocol. characterized.

각각의 카메라 장치는 탐지 영역 내에 설치되어 이동 객체를 촬영하여 해당 촬영한 영상을 영상 정보로 생성하는 카메라;Each camera device includes: a camera installed in the detection area to photograph a moving object and generate a corresponding photographed image as image information;

이동 객체의 소리를 획득하여 해당 획득한 소리를 소리 정보로 생성하는 하나 이상의 음향 센서를 구비한 사운드 감지부; 및a sound sensing unit having one or more acoustic sensors for acquiring a sound of a moving object and generating the acquired sound as sound information; And

레이더를 이용하여 탐지 영역의 이동 객체를 탐지하여 3차원 레이더 데이터를 생성하는 레이더 감지부를 포함하는 것을 특징으로 한다. and a radar detection unit that detects a moving object in a detection area using a radar and generates 3D radar data.

클라우드 서버는 각각의 카메라 장치로부터 획득한 라이브 스트리밍 방식의 영상 정보를 포함한 무선 데이터 스트림을 수신하여 저장하는 RDS(Relational Database Service) 데이터베이스부와, 상기 RDS 데이터베이스부에 저장된 영상 정보를 분석하고, 카메라 장치에서 포커싱한 객체 영상 정보를 라벨링하여 해당 클라이언트로 방송 송출 여부 및 영상 분류, 검색하는 영상 분석부로 이루어진 스트리밍 서버를 더 포함하는 것을 특징으로 한다.The cloud server includes an RDS (Relational Database Service) database unit for receiving and storing a wireless data stream including live streaming image information obtained from each camera device, and analyzing the image information stored in the RDS database unit, and the camera device It is characterized in that it further comprises a streaming server consisting of an image analysis unit for labeling the object image information focused in the broadcast transmission to the corresponding client, image classification, and search.

영상 분석부는 카메라 장치로부터 취득한 영상 정보를 이용하여 관심영역(Region Of Interest)을 검출하고, 관심 영역 내에 위치하는 특정한 객체 영역을 검출하여 좌표를 측정한 다음, 특정 영역을 대상 객체 영상으로 인식하는 객체 인식부;The image analyzer detects a region of interest using image information obtained from the camera device, detects a specific object region located in the region of interest, measures coordinates, and then recognizes the specific region as a target object image. recognition unit;

객체 인식부에서 객체 영상 정보를 획득하여 합성곱 신경망(Convolutional Neural Network, CNN)을 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하여 학습하며, 학습한 객체 데이터 세트를 저장부의 해당 클래스 필드에 저장하고, 객체 영상 정보에 라벨링을 수행하여 저장부에 저장 처리하고, 객체 영상 정보를 합성곱 신경망을 이용하여 컨볼루션하여 객체 좌표별 특징점을 추출한 후, 추출한 특징점을 참조하여 저장부에 저장된 학습한 객체 데이터 세트와 비교하여 객체 좌표별 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 생성하는 딥러닝 학습부; 및It acquires object image information from the object recognition unit and uses a convolutional neural network (CNN) to convert it into data that can be classified in advance and learns it, and stores the learned object data set in the corresponding class field of the storage unit After performing labeling on the object image information, storing the processing in the storage unit, convolving the object image information using a convolutional neural network to extract feature points for each object coordinates, and referring to the extracted feature points, the learned object stored in the storage unit a deep learning learning unit that classifies into a class corresponding to each object coordinate compared to a data set, and generates a classified class result value; And

각각의 카메라 장치로부터 획득한 객체 영상 정보를 기저장된 학습된 객체 데이터 세트의 각 셀의 제1 영상 특징과 객체 영상 정보의 각 셀의 제2 영상 특징을 비교하여 영상 분석 처리 결과를 수신하고, 영상 분석 처리 결과에 따라 객체의 종류를 판단하는 영상 처리부를 포함하는 것을 특징으로 한다.Receive an image analysis processing result by comparing the object image information obtained from each camera device with the first image feature of each cell of the pre-stored learned object data set and the second image feature of each cell of the object image information, and an image processing unit that determines the type of the object according to the analysis processing result.

전술한 구성에 의하여, 본 발명은 무인 방송하고자 하는 탐지 영역에 카메라를 거치하고, 실시간 생방송 및 주기적 방식으로 영상 정보를 제공할 수 있어 여러 대의 방송 장비를 구비하지 않고, 방송 관리자 없이 방송을 진행할 수 있고, 이로 인하여 방송 관리자, 방송 장비에 대한 제반 비용을 크게 줄일 수 있으며, 저렴한 비용으로 무인 방송 시스템을 구축할 수 있는 효과가 있다.According to the above configuration, the present invention can provide video information in a real-time live broadcast and periodic manner by mounting a camera in a detection area to be broadcast unattended, so that broadcasting can be conducted without a broadcast manager without having to have multiple broadcast equipment. Thereby, it is possible to greatly reduce the overall cost of a broadcast manager and broadcast equipment, and there is an effect that an unmanned broadcast system can be built at a low cost.

도 1은 본 발명의 실시예에 따른 실시간 무인 방송을 위한 인공지능 기반 방송 송출 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 카메라 장치의 내부 구성을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 클라우드 서버의 내부 구성을 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 스트리밍 서버와 영상 분석부의 내부 구성을 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 영상 분석 결과의 일례를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 스트리밍 서버에서 장애 발생 시 장애 대응을 위한 이중화 서버 구조를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따른 RTMP 송출 서버의 내부 구성을 나타낸 도면이다.1 is a diagram showing the configuration of an artificial intelligence-based broadcasting transmission system for real-time unmanned broadcasting according to an embodiment of the present invention.
2 is a diagram illustrating an internal configuration of a camera device according to an embodiment of the present invention.
3 is a diagram illustrating an internal configuration of a cloud server according to an embodiment of the present invention.
4 is a diagram showing the internal configuration of a streaming server and an image analysis unit according to an embodiment of the present invention.
5 is a diagram illustrating an example of an image analysis result according to an embodiment of the present invention.
6 is a diagram illustrating a redundant server structure for responding to a failure when a failure occurs in a streaming server according to an embodiment of the present invention.
7 is a diagram illustrating an internal configuration of an RTMP transmission server according to an embodiment of the present invention.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.Throughout the specification, when a part "includes" a certain component, it means that other components may be further included rather than excluding other components unless specifically stated to the contrary.

본 발명은 무인 방송하고자 하는 탐지 영역에 장기간 거치하고, 실시간 생방송 및 주기적(타임랩스) 방식으로 영상 정보(애완동물, 동물, 식물 서식지, 경관, 건설 현장, 녹조, 적조, 재난 현장 등)를 방송하기 위한 것으로 인공 지능을 융합하여 소리 방향(위상 2축), 레이더(3축), 움직임 방향(객체 트래킹)으로 자동 추적 줌인 관찰하며, 포커싱한 객체를 라벨링하여 신호 송출 여부, 분류, 검색할 수 있도록 한다.The present invention broadcasts video information (pets, animals, plant habitats, landscapes, construction sites, green algae, red tides, disaster sites, etc.) in real-time live broadcasting and periodic (time-lapse) method by being mounted in a detection area to be broadcast unmanned for a long time. In order to do this, by fusion of artificial intelligence, automatic tracking zoom-in observation in the sound direction (phase 2 axes), radar (3 axes), and movement direction (object tracking), and whether to send a signal, classify, or search by labeling the focused object let it be

도 1은 본 발명의 실시예에 따른 실시간 무인 방송을 위한 인공지능 기반 방송 송출 시스템의 구성을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 카메라 장치의 내부 구성을 나타낸 도면이다.1 is a diagram showing the configuration of an AI-based broadcast transmission system for real-time unmanned broadcasting according to an embodiment of the present invention, and FIG. 2 is a diagram showing the internal configuration of a camera device according to an embodiment of the present invention.

본 발명의 실시예에 따른 실시간 무인 방송을 위한 인공지능 기반 방송 송출 시스템(100)은 하나 이상의 카메라 장치(200), 클라우드 서버(300) 및 클라이언트(400)를 포함한다.The artificial intelligence-based broadcasting transmission system 100 for real-time unmanned broadcasting according to an embodiment of the present invention includes one or more camera devices 200 , a cloud server 300 , and a client 400 .

클라우드 서버(300)는 카메라 장치(200)로부터 촬영된 영상 정보를 클라이언트(400)로 전송하여 무인 방송하도록 제어하며, 클라이언트(400)와 실시간 연동 방송서비스를 제공한다.The cloud server 300 transmits the image information photographed from the camera device 200 to the client 400 to control unmanned broadcasting, and provides a real-time interworking broadcasting service with the client 400 .

클라이언트(400)는 유튜브, 네이버 TV, 카카오 TV, 아프리카 TV 등 라이브 방송을 수행할 수 있는 방송 출력 기기, 방송 서버를 모두 포함할 수 있다.The client 400 may include all of a broadcast output device capable of performing live broadcast, such as YouTube, Naver TV, Kakao TV, and Afreeca TV, and a broadcast server.

각각의 카메라 장치(200)는 무인 방송하고자 하는 탐지 영역에 장기간 거치하고, 영상 센서부(210), 제어부(220), 사운드 감지부(230) 및 레이더 감지부(240), 무선 통신부(250) 및 이벤트 저장부(260)를 포함한다.Each camera device 200 is mounted on a detection area to be broadcast unmanned for a long period of time, and an image sensor unit 210 , a control unit 220 , a sound sensing unit 230 and a radar sensing unit 240 , and a wireless communication unit 250 . and an event storage unit 260 .

영상 센서부(210)는 탐지 영역 내에서 이동하는 객체를 촬영하여 객체 영상 정보를 획득하기 위한 것으로 CCD 카메라(211)와 열화상 카메라(212) 및 리시버(Receiver)(213)로 구성된다. CCD 카메라(211)는 고해상도의 영상을 출력을 가지며 야간에도 촬영이 가능한 특징을 가진다.The image sensor unit 210 is configured to acquire object image information by photographing an object moving within a detection area, and includes a CCD camera 211 , a thermal imaging camera 212 , and a receiver 213 . The CCD camera 211 outputs a high-resolution image and has a feature that can be photographed even at night.

영상 센서부(210)는 입력되는 제어 신호에 따라 24시간 작동하며, 사운드 감지부(230)와 레이더 감지부(240)와 연동하여 객체를 촬영하게 되는데, 주간이나 평상시 기후 환경에서는 CCD 카메라(211)가 작동하고, 야간이나 안개, 강우, 및 강설 등의 악천후로 CCD 카메라(211)의 촬영이 불리할 경우에는 열화상 카메라(212)가 작동하게 된다.The image sensor unit 210 operates for 24 hours according to an input control signal, and interlocks with the sound detection unit 230 and the radar detection unit 240 to photograph an object. In the daytime or normal climatic environment, the CCD camera 211 ) is operated, and when the CCD camera 211 is unfavorable for shooting at night or in bad weather such as fog, rain, and snow, the thermal imaging camera 212 is operated.

또한, CCD 카메라(211)와 열화상 카메라(212)에는 줌 렌즈(Zoom Lens)가 장착되어 원거리의 물체를 확대된 영상으로 촬영하는 것이 가능하다.In addition, the CCD camera 211 and the thermal imaging camera 212 are equipped with a zoom lens, so that it is possible to photograph a distant object as an enlarged image.

CCD 카메라(211) 및 열화상 카메라(212)에는 제어부(220)의 제어 신호에 응답하여 카메라의 구동과 전원을 제어하는 리시버(213)가 결합 되어있다. 리시버(213)는 CCD 카메라 및 열화상 카메라(212)를 상하(Tilt)/좌우(Pan)로 움직이는 기능과, 확대, 축소 기능(Zoom), 촛점 조절 기능 및 사전 감시 구역 설정 기능 등 각종 제어가 가능하다.The CCD camera 211 and the thermal imaging camera 212 are coupled to a receiver 213 for controlling the driving and power of the camera in response to a control signal from the controller 220 . The receiver 213 has a function of moving the CCD camera and the thermal imaging camera 212 up/down (Tilt)/left/right (Pan), enlargement/reduction function (Zoom), focus adjustment function, and a function to set the pre-monitoring area, etc. It is possible.

CCD 카메라(211) 및 열화상 카메라(212)는 탐지 영역 내에 설치되어 이동 객체를 촬영하여 해당 촬영한 영상을 영상 정보로 생성하여 제어부(220)로 전달한다.The CCD camera 211 and the thermal imaging camera 212 are installed in the detection area to photograph a moving object, generate the photographed image as image information, and transmit it to the controller 220 .

CCD 카메라(211) 및 열화상 카메라(212)는 이동 객체의 움직임을 식별할 수 있는 카메라일 수 있으며, 탐지 영역 내에서 이동하는 객체를 식별하여 촬영할 수 있다. 이때, CCD 카메라(211) 및 열화상 카메라(212)는 팬, 틸트 기능을 수행하기 위한 구동 수단이 구비된 것으로, 제어부(220)의 제어에 따라 구동 수단이 팬, 틸트의 기능을 수행하여 이동하는 이동 객체를 따라 추적 촬영할 수 있다. 여기서, 이동 객체는 사람, 자동차, 동물 등 다양한 객체를 포함할 수 있다.The CCD camera 211 and the thermal imaging camera 212 may be cameras capable of identifying the movement of a moving object, and may identify and photograph the moving object within the detection area. At this time, the CCD camera 211 and the thermal imaging camera 212 are provided with driving means for performing pan and tilt functions, and the drive means performs pan and tilt functions according to the control of the controller 220 to move. You can track and shoot moving objects that are moving. Here, the moving object may include various objects such as a person, a car, and an animal.

사운드 감지부(230)는 이동 객체의 소리가 나는 음원 신호를 입력받는 복수의 음향 센서(231)와, 각각의 음향 센서(231)에 연결되며, 입력된 아날로그 음원 신호를 일정 레벨로 증폭하는 증폭기(미도시) 및 증폭기에 연결되어 증폭기로부터 증폭된 아날로그 음원 신호를 A/D 변환하는 디지털 음원 신호를 제공하는 ADC(미도시)와, 노이즈 제거부(233), 도달 시간차 계산부(234) 및 음원 방향 추정부(235)를 포함한다.The sound sensing unit 230 includes a plurality of sound sensors 231 that receive a sound source signal of a moving object, and an amplifier connected to each sound sensor 231 and amplifying the input analog sound source signal to a predetermined level. (not shown) and an ADC (not shown) connected to the amplifier and providing a digital sound source signal for A/D conversion of the analog sound source signal amplified from the amplifier, a noise removing unit 233, an arrival time difference calculating unit 234 and and a sound source direction estimation unit 235 .

하나 이상의 음향 센서(231)는 가청음을 전기적인 에너지 변환기나 센서로 전달하여 소리를 전기 신호로 변환하는 마이크로폰으로 객체의 소리 음원으로부터 발생된 음향 신호를 수신한다. 음향 센서(231)의 개수는 2개, 3개, 5개 등 다양한 개수로 구성할 수 있다.The one or more acoustic sensors 231 transmit audible sounds to an electrical energy converter or sensor to convert the sound into an electrical signal, and receive the acoustic signal generated from the sound source of the object. The number of the acoustic sensors 231 may be configured in various numbers such as two, three, five, and the like.

음향 센서(231)는 이동 객체의 소리를 획득하여 해당 획득한 소리를 소리 정보로 생성하여 소리 저장부(232)에 저장한다.The acoustic sensor 231 acquires the sound of the moving object, generates the acquired sound as sound information, and stores it in the sound storage unit 232 .

소리 저장부(232)는 반려동물의 비정상적인 짖음 상태로 판단하기 위한 한계 짖음 시간을 미리 설정하여 저장하며, 주파수의 음, 세기에 따른 소리정보의 속성과 보호자의 음성을 저장한다.The sound storage unit 232 sets and stores a threshold barking time for determining the abnormal barking state of the companion animal in advance, and stores the properties of sound information according to the sound and intensity of the frequency and the voice of the guardian.

노이즈 제거부(233)는 복수의 음향 센서(231)로부터 수신된 음향 신호를 입력 받고 입력 받은 음향 신호를 필터링하여 그 필터링한 결과로 음향 신호의 노이즈를 제거한다. 이때, 노이즈 제거부(233)는 LPF(Low Pass Filter)를 사용하는 것이 바람직하다.The noise removing unit 233 receives the acoustic signals received from the plurality of acoustic sensors 231 , filters the received acoustic signals, and removes noise from the acoustic signals as a result of the filtering. In this case, the noise removing unit 233 preferably uses a low pass filter (LPF).

도달 시간차 계산부(234)는 노이즈 제거부(233)에 의해 노이즈가 제거된 음향 신호를 입력 받고 입력 받은 음향 신호들이 음원 발생위치로부터 각 음향 센서(231)들에 도달하는 시간차인 도달 시간차(Time Delay of Arrival, TDoA)를 산출한다.The arrival time difference calculation unit 234 receives the sound signal from which the noise has been removed by the noise removal unit 233, and the arrival time difference (Time), which is the time difference at which the input sound signals arrive at each of the sound sensors 231 from the sound source generation position. Delay of Arrival (TDoA) is calculated.

본 발명에 따른 음향 신호들 간의 도달 시간차 산출 과정은 우선적으로 음원의 발생 여부를 판단한다. 제어부(220)는 음원 발생 여부 판단을 다수의 음향 센서(231) 각각으로부터 수신된 음향 신호 중 가장 먼저 수신된 음향 신호의 크기가 기설정된 임계치 이상인지를 확인하고, 그 확인한 결과로 임계치 이상이면 음원으로부터 음향 신호가 발생하였다고 판단한다.In the process of calculating the arrival time difference between sound signals according to the present invention, it is first determined whether a sound source is generated. The control unit 220 determines whether the sound source is generated or not, and checks whether the first sound signal among the sound signals received from each of the plurality of sound sensors 231 is greater than or equal to a preset threshold, and as a result of the check, if the sound source is greater than or equal to the threshold, the sound source It is determined that an acoustic signal is generated from

음원 방향 추정부(235)는 산출된 음향 신호들 간의 도달 시간차를 이용하여 음원의 발생 방향을 추정하는데, 이러한 음원의 방향은 공지된 다양한 방법으로 추정할 수 있다, 대표적인 알고리즘으로는 Talor 식을 이용한 Least Square 알고리즘, Maximum Likelihood 알고리즘, Closed-Form 알고리즘, 칼만 필터 알고리즘 등이 있다.The sound source direction estimator 235 estimates the generation direction of the sound source using the arrival time difference between the calculated sound signals, and the direction of the sound source can be estimated by various known methods. There are Least Square algorithm, Maximum Likelihood algorithm, Closed-Form algorithm, and Kalman filter algorithm.

제어부(220)는 음원 방향 추정부(235)로부터 음향 센서(231)의 각각에서 수신된 음향 신호들 간의 도달 시간차를 이용하여 음원 발생 위치 및 이격 거리 정보를 추정한다.The control unit 220 estimates the sound source generation location and separation distance information by using the arrival time difference between the sound signals received from each of the sound sensors 231 from the sound source direction estimator 235 .

제어부(220)는 음원 방향 추정부(235)로부터 수신한 음원 발생 방향을 기초로 구동부(미도시)를 제어하여 CCD 카메라(211) 및 열화상 카메라(212)를 회전시키며, 음원이 발생한 방향으로 회전된 CCD 카메라(211) 및 열화상 카메라(212)를 이용하여 영상을 촬영하도록 제어한다.The control unit 220 controls the driving unit (not shown) based on the sound source generation direction received from the sound source direction estimation unit 235 to rotate the CCD camera 211 and the thermal imaging camera 212 in the direction in which the sound source is generated. It controls to take an image using the rotated CCD camera 211 and the thermal imaging camera 212 .

제어부(220)는 복수의 음향 센서(231)로부터 수신한 음향 신호에 대한 Noise Tracking, Noise Canceling 알고리즘을 적용하여 표준화된 데이터를 추출한다.The controller 220 extracts standardized data by applying noise tracking and noise canceling algorithms to the acoustic signals received from the plurality of acoustic sensors 231 .

제어부(220)는 노이즈가 제거된 음향 신호를 디지털 신호로 변환하고, 디지털 신호로 변환된 음원 신호를 주파수 영역의 신호로 변환하고, 주파수 영역에서의 음원 구간을 검출하여 음원 구간의 음압, 음조, 음속, 주파수를 포함한 제1 음원 특징 정보를 분석한다.The control unit 220 converts the noise-removed sound signal into a digital signal, converts the sound source signal converted into a digital signal into a signal in the frequency domain, detects the sound source section in the frequency domain, Analyze the first sound source characteristic information including sound speed and frequency.

제어부(220)는 분석한 제1 음원 특징 정보를 음원 데이터베이스부(236)에 기저장된 이동 객체의 제2 음원 특징 정보를 음원 구간별로 비교하고, 기설정된 음원 정보 및 임계 설정 데이터와 비교를 통하여 이동 객체의 종류를 판단한다.The control unit 220 compares the analyzed first sound source characteristic information with the second sound source characteristic information of the moving object pre-stored in the sound source database unit 236 for each sound source section, and moves through comparison with preset sound source information and threshold setting data Determine the type of object.

여기서, 음원 데이터베이스부(236)는 조류, 고라니, 맷돼지, 쥐 등의 야생 동물, 짖는 소리(새, 동물), 재난용 소리(비명, 파손음, 폭발음, 충돌음), 자동차, 사람 등으로 판정된 이동 객체의 구간별 음압, 음속, 주파수의 제2 음원 특징 정보가 저장되어 있다.Here, the sound source database unit 236 is determined as wild animals such as birds, elk, wild boar, and rats, barking sounds (birds, animals), disaster sounds (screams, breakage sounds, explosion sounds, crash sounds), cars, people, etc. Second sound source characteristic information of sound pressure, sound speed, and frequency of each section of the moving object is stored.

레이더 감지부(240)는 레이더(242)를 이용하여 탐지 영역의 이동 객체를 탐지하여 3차원 레이더 데이터를 생성할 수 있다. 여기서, 3차원 레이더 데이터는 이동 객체의 좌표값, 속도값 등을 포함할 수 있다.The radar detector 240 may generate 3D radar data by detecting a moving object in the detection area using the radar 242 . Here, the 3D radar data may include a coordinate value, a velocity value, and the like of a moving object.

레이더(242)는 60GHz 주파수 대역을 사용하고, 전자파 송신부, 전자파 수신부 및 전자파 송신부 및 전자파 수신부와 전기적으로 연결되어 수신되는 신호를 처리하고, 처리되는 신호에 기초하여 이동 객체에 대한 데이터를 생성하는 적어도 하나의 프로세서를 포함할 수 있다.The radar 242 uses a 60 GHz frequency band, is electrically connected to an electromagnetic wave transmitter, an electromagnetic wave receiver, and an electromagnetic wave transmitter and an electromagnetic wave receiver to process a received signal, and generate data about a moving object based on the processed signal. It may include one processor.

레이더(242)는 전파 발사 원리상 펄스 레이다(Pulse Radar) 방식 또는 연속파 레이다(Continuous Wave Radar) 방식으로 구현될 수 있다. 레이더(242)는 연속파 레이더 방식 중에서 신호 파형에 따라 FMCW(Frequency Modulated Continuous Wave)방식 또는 FSK(Frequency Shift Keyong) 방식으로 구현될 수 있다. 레이다는 전자파를 매개로, TOF(Time of Flight) 방식 또는 페이즈 쉬프트(phase-shift) 방식에 기초하여 이동 객체를 검출하고, 검출된 이동 객체의 위치, 검출된 이동 객체와의 거리 및 상대 속도를 검출할 수 있다.The radar 242 may be implemented in a pulse radar method or a continuous wave radar method in view of a radio wave emission principle. The radar 242 may be implemented in a frequency modulated continuous wave (FMCW) method or a frequency shift keyong (FSK) method according to a signal waveform among continuous wave radar methods. The radar detects a moving object based on a time of flight (TOF) method or a phase-shift method using electromagnetic waves, and calculates the position of the detected moving object, the distance to the detected moving object, and the relative speed. can be detected.

제어부(220)는 레이더 감지부(240)로부터 수신한 3차원 레이더 데이터를 기초로 이동 객체의 좌표값을 계산하고, 이동 객체의 좌표값을 기초로 구동부(미도시)를 제어하여 CCD 카메라(211) 및 열화상 카메라(212)를 회전시키며, 회전된 CCD 카메라(211) 및 열화상 카메라(212)를 이용하여 영상을 촬영하도록 제어한다.The control unit 220 calculates a coordinate value of the moving object based on the 3D radar data received from the radar detector 240 , and controls a driving unit (not shown) based on the coordinate value of the moving object to control the CCD camera 211 . ) and the thermal imaging camera 212 are rotated, and an image is captured using the rotated CCD camera 211 and the thermal imaging camera 212 .

무선 통신부(250)는 제어부(220)의 제어에 따라 각각의 카메라 장치(200)로부터 타임랩스(Timelapse) 방식으로 촬영된 영상 정보를 포함한 무선 데이터 스트림(Radio Data Stream, RDS)를 스트리밍 서버(310)로 전송한다.The wireless communication unit 250 transmits a wireless data stream (Radio Data Stream, RDS) including image information photographed in a timelapse method from each camera device 200 under the control of the control unit 220 to the streaming server 310 ) is sent to

이벤트 저장부(260)는 제어부(220)의 제어에 따라 음향 센서(231), 레이더 감지부(240)에 이벤트 신호가 발생하면, 레이더 감지부(240)로부터 수신한 3차원 레이더 데이터와, 영상 센서부(210)에서 탐지 영역 내에서 이동하는 객체를 촬영한 영상 정보를 저장한다.When an event signal is generated in the acoustic sensor 231 and the radar detection unit 240 under the control of the control unit 220 , the event storage unit 260 includes 3D radar data received from the radar detection unit 240 and an image The sensor unit 210 stores image information of an object moving within the detection area.

제어부(220)는 사운드 감지부(230) 및 레이더 감지부(240)를 통해 이동 객체의 방향, 각도 및 거리를 계산하고, 카메라의 줌인 시 필요한 포커싱을 정밀하게 제어한다.The control unit 220 calculates the direction, angle, and distance of the moving object through the sound sensing unit 230 and the radar sensing unit 240 , and precisely controls the focusing required when the camera is zoomed in.

영상 센서부(210)로부터 영상 정보를 입력받아 영상의 특징점을 추출하여 이벤트 저장부(260)에 저장하고, 특징점 간 특징 벡터를 계산하고, 계산된 특징 벡터를 이용하여 특징점 간의 이동을 추정한다.It receives image information from the image sensor unit 210, extracts feature points of an image, stores it in the event storage unit 260, calculates a feature vector between the feature points, and estimates movement between the feature points using the calculated feature vectors.

제어부(220)는 특징점 간의 이동이 추정되면, 객체로 판단하여 영상 센서부(210)에서 촬영된 영상 정보를 포함한 무선 데이터 스트림(Radio Data Stream, RDS)를 스트리밍 서버(310)로 전송한다.When the movement between the feature points is estimated, the controller 220 transmits a radio data stream (RDS) including image information captured by the image sensor unit 210 to the streaming server 310 by determining it as an object.

도 3은 본 발명의 실시예에 따른 클라우드 서버의 내부 구성을 나타낸 도면이고, 도 4는 본 발명의 실시예에 따른 스트리밍 서버와 영상 분석부의 내부 구성을 나타낸 도면이고, 도 5는 본 발명의 실시예에 따른 영상 분석 결과의 일례를 나타낸 도면이다.3 is a diagram showing the internal configuration of a cloud server according to an embodiment of the present invention, FIG. 4 is a diagram showing the internal configuration of a streaming server and an image analysis unit according to an embodiment of the present invention, and FIG. 5 is an embodiment of the present invention It is a diagram showing an example of the image analysis result according to the example.

본 발명의 실시예에 따른 클라우드 서버(300)는 스트리밍 서버(310), 웹 어플리케이션 서버(Web Application Server, WAS)(320), 영상 분석부(330) 및 RTMP 송출 서버(340)를 포함한다.The cloud server 300 according to an embodiment of the present invention includes a streaming server 310 , a web application server (Web Application Server, WAS) 320 , an image analysis unit 330 , and an RTMP transmission server 340 .

WAS(320)는 카메라 장치(200) 및 방송 서버인 클라이언트(400)의 등록 관리와, 등록된 카메라 장치(200)별 방송 스케줄 및 동작 상태 정보의 표시 기능을 제어하고, 영상, 사운드 및 레이더 스캔 데이터를 모니터링하며, 시스템 설정 및 제어 기능을 수행한다.The WAS 320 controls the registration management of the camera device 200 and the client 400 that is a broadcast server, and controls the display function of the broadcast schedule and operation state information for each registered camera device 200, and scans images, sounds, and radar. It monitors data and performs system setting and control functions.

WAS(320)는 클라이언트(400)로 서비스 화면을 제공하는 서버로 웹 기반 서비스 UI를 통해 영상 이벤트 정보를 실시간으로 보여준다.The WAS 320 is a server that provides a service screen to the client 400 and displays video event information in real time through a web-based service UI.

WAS(320)는 각 서비스의 기능들을 웹 기반으로 제공하고, 카메라 장치(200)를 등록 관리하고, 카메라 장치(200)의 동작 상태 및 이벤트 알람 조건을 설정하며, 카메라 장치(200)의 개별 동작 설정을 할 수 있도록 카메라 장치(200)의 원격 설정이 가능한 웹 UI를 제공한다.The WAS 320 provides web-based functions of each service, registers and manages the camera device 200 , sets the operating state and event alarm conditions of the camera device 200 , and individual operations of the camera device 200 . A web UI capable of remote setting of the camera device 200 is provided for setting.

WAS(320)는 카메라 장치(200)에서 주기적으로 전송된 영상 정보를 스트리밍 서버(310)에 저장하고, 이를 클라이언트(400)에 재생 서비스를 제공하기 위하 영상 재생 뷰어를 제공한다.The WAS 320 stores image information periodically transmitted from the camera device 200 in the streaming server 310 , and provides an image playback viewer to provide a playback service to the client 400 .

스트리밍 서버(310)는 라이브 스트리밍 방식의 영상 정보를 포함한 동영상 컨텐츠를 RTMP(Real Time Messaging Protocol) 송출 서버(340)로 전송하는 서버이다.The streaming server 310 is a server that transmits video content including video information of a live streaming method to a Real Time Messaging Protocol (RTMP) transmission server 340 .

스트리밍 서버(310)는 Web 서버(311) 및 RDS(RDS(Relational Database Service) 데이터베이스부(312)를 포함한다.The streaming server 310 includes a Web server 311 and a Relational Database Service (RDS) database unit 312 .

스트리밍 서버(310)는 무선 데이터 스트림의 수신 허락 인증을 수행하고, 데이터 스트림의 스트리밍 전송을 위해 설정된 카메라 장치와의 통신 세션을 연결 및 해제하는 기능을 수행한다.The streaming server 310 performs reception permission authentication of a wireless data stream, and performs a function of connecting and disconnecting a communication session with a camera device set for streaming transmission of the data stream.

스트리밍 서버(310)는 복수의 클라이언트(400)와 라이브 방송 중계를 위한 유/무선 네트워크를 형성할 수 있다.The streaming server 310 may form a wired/wireless network for relaying live broadcasting with a plurality of clients 400 .

스트리밍 서버(310)는 각각의 카메라 장치(200a, 200b, 200c, 200n)로부터 타임랩스(Timelapse) 방식으로 촬영된 영상 정보를 포함한 무선 데이터 스트림을 수신하여 저장하는 RDS 데이터베이스부(312)를 포함한다.The streaming server 310 includes an RDS database unit 312 for receiving and storing a wireless data stream including image information photographed in a timelapse method from each of the camera devices 200a, 200b, 200c, and 200n. .

스트리밍 서버(310)는 웹 서버(Web Server)(311)로 구현되며, 카메라 장치(200a, 200b, 200c, 200n)로부터 송출되는 동영상 콘텐츠를 스트리밍 서비스 방식으로 클라이언트(400)로 전송한다.The streaming server 310 is implemented as a web server 311 , and transmits video content transmitted from the camera devices 200a , 200b , 200c , and 200n to the client 400 in a streaming service method.

RDS 데이터베이스부(312)는 무선 데이터 스트림을 오디오 방송과 동기화하고, 무선 데이터 스트림에 서비스 세팅 정보를 포함시켜 RTMP 송출 서버(340)로 전송한다.The RDS database unit 312 synchronizes the wireless data stream with the audio broadcast, includes service setting information in the wireless data stream, and transmits it to the RTMP transmission server 340 .

스트리밍 서버(310)는 RDS 데이터베이스부(312)에 저장된 영상 정보를 분석하고, 카메라 장치(200)에서 포커싱한 객체 영상 정보를 라벨링하여 해당 클라이언트(400)로 방송 송출 여부 및 영상 분류, 검색하는 영상 분석부(330)를 포함한다.Streaming server 310 analyzes the image information stored in the RDS database unit 312, labels the object image information focused by the camera device 200, and whether to broadcast to the corresponding client 400, image classification, search image and an analysis unit 330 .

영상 분석부(330)는 RDS 데이터베이스부(312)에 저장된 영상 정보의 영상 분석 결과를 저장 및 전송할 수 있다.The image analysis unit 330 may store and transmit an image analysis result of the image information stored in the RDS database unit 312 .

웹 서버(Web Server)(311)는 카메라 장치(200)의 상세 정보, 타임랩스 설정 주기, 등록된 카메라 장치(200)의 목록을 저장한다.The web server 311 stores detailed information of the camera device 200 , a time-lapse setting period, and a list of registered camera devices 200 .

RDS 데이터베이스부(312)는 회원 정보, 웹 서버(311)로부터 가져온 등록된 카메라 장치(200)의 목록, 웹 서버(311)에서 설정한 타임랩스 주기로 영상 정보 저장, 카메라 장치(200)로부터 취득한 영상 정보, 영상 정보 중 대상 객체 영상 정보, 인공지능으로 분석한 영상 분석 처리 결과와, 이에 매칭되는 객체 영상 정보를 저장한다.The RDS database unit 312 stores member information, a list of registered camera devices 200 fetched from the web server 311 , image information at a time-lapse period set by the web server 311 , and images acquired from the camera device 200 . The target object image information among the information and image information, the image analysis processing result analyzed by artificial intelligence, and the object image information matching it are stored.

영상 분석부(330)는 객체 인식부(331), 딥러닝 학습부(332), 영상 처리부(333), 저장부(334) 및 메모리부(335)를 포함한다.The image analysis unit 330 includes an object recognition unit 331 , a deep learning learning unit 332 , an image processing unit 333 , a storage unit 334 , and a memory unit 335 .

객체 인식부(331)는 각각의 카메라 장치(200)를 통해 취득한 영상 정보를 메모리부(335)에 저장하고, 카메라 장치(200)로부터 취득한 영상 정보를 이용하여 관심영역(Region Of Interest)을 검출하고, 관심 영역 내에 위치하는 특정한 객체 영역을 검출하여 좌표를 측정한 다음, 특정 영역을 대상 객체 영상으로 인식할 수 있다. 이때, 객체 인식부(331)는 객체 영상 정보로부터 할라이크 특징(Haar-like feature)을 이용하여 특정 영역을 검출하고, 아다부스트(AdaBoost) 학습 알고리즘을 이용하여 검출된 특정 영역의 판단율을 높이며, 검출된 특정 영역에 대응되는 윈도우의 좌표를 설정하여 대상 객체로 인식할 수 있다. 여기서, 할라이크 특징과 아다부스트 학습 알고리즘은 본 발명의 실시예에 적용되는 객체 검출 알고리즘의 하나이다.The object recognition unit 331 stores image information acquired through each camera device 200 in the memory unit 335 , and detects a region of interest using the image information acquired from the camera device 200 . Then, a specific object region located within the ROI may be detected, coordinates may be measured, and the specific region may be recognized as a target object image. At this time, the object recognition unit 331 detects a specific area using a Haar-like feature from the object image information, and increases the determination rate of the detected specific area using the AdaBoost learning algorithm. , by setting the coordinates of the window corresponding to the detected specific area, it is possible to recognize as a target object. Here, the Halike feature and the Adaboost learning algorithm are one of the object detection algorithms applied to the embodiment of the present invention.

딥러닝 학습부(332)는 객체 인식부(331)에서 객체 영상 정보를 획득하여 합성곱 신경망(Convolutional Neural Network, CNN)을 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하고, 변환한 데이터를 클래스 분류가 가능한 데이터로 변환하고, Softmax 함수를 이용하여 사전에 설정된 클래스의 합이 1이 되도록 변경하고, Argmax 함수를 이용하여 가장 높은 수치를 가진 클래스를 판단하여 학습하며, 학습한 객체 데이터 세트를 저장부(334)의 해당 클래스 필드에 저장한다.The deep learning learning unit 332 obtains object image information from the object recognition unit 331, converts it into data that can be classified in advance using a convolutional neural network (CNN), and converts the converted data Convert to data that can be classified into classes, use the Softmax function to change the sum of the preset classes to 1, use the Argmax function to determine and learn the class with the highest value, and use the learned object data set It is stored in the corresponding class field of the storage unit 334 .

딥러닝 학습부(332)는 객체 영상 정보에 라벨링을 수행하여 저장부(334)에 저장 처리하고, 객체 영상 정보를 합성곱 신경망을 이용하여 컨볼루션하여 객체 좌표별 특징점을 추출한 후, 추출한 특징점을 참조하여 저장부(334)에 저장된 학습한 객체 데이터 세트와 비교하여 객체 좌표별 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 생성하여 영상 처리부(333)로 전송한다.The deep learning learning unit 332 performs labeling on the object image information, stores it in the storage unit 334, and convolves the object image information using a convolutional neural network to extract feature points for each object coordinates, and then extracts the extracted feature points. It is compared with the learned object data set stored in the storage unit 334 with reference to classify it into a class corresponding to each object coordinate, and a class result value is generated and transmitted to the image processor 333 .

영상 처리부(333)는 딥러닝 학습부(332)로부터 학습된 객체 데이터 세트의 각 셀의 제1 객체 영상 특징과 상기 객체 영상 정보의 각 셀의 제2 객체 영상 특징을 비교하여 동일하다는 영상 분석 처리 결과를 수신하는 경우, 영상 분석 처리 결과에 따라 해당 객체의 종류를 판단할 수 있다.The image processing unit 333 compares the first object image feature of each cell of the object data set learned from the deep learning learning unit 332 with the second object image feature of each cell of the object image information, and performs image analysis processing that is the same When the result is received, the type of the corresponding object may be determined according to the image analysis processing result.

영상 분석부(330)는 WAS(320)에 설정된 클라이언트(400)의 방송 요청 정보(스케줄)에 따라 RDS 데이터베이스부(312)에 저장된 영상 정보를 분석하여 송출 여부를 판단한다.The image analysis unit 330 analyzes the image information stored in the RDS database unit 312 according to the broadcast request information (schedule) of the client 400 set in the WAS 320 and determines whether to transmit it.

예를 들어, 방송 출력 기기인 클라이언트(400)는 특정 객체에 대한 방송 서비스(예를 들어, 강아지만 방송하는 방송 서비스)를 제공한다. RDS 데이터베이스부(312)는 영상 분석부(330)에서 분석된 객체 영상 정보가 클라이언트(400)의 방송 요청 정보와 일치하는 경우, 해당 객체 영상 정보를 라벨링하고, 해당 객체 영상 정보의 방송 서비스를 제공하는 방송 송출 신호를 생성하여 RDS 데이터베이스부(312)로 전송한다.For example, the client 400, which is a broadcast output device, provides a broadcast service for a specific object (eg, a broadcast service that broadcasts only dogs). When the object image information analyzed by the image analysis unit 330 matches the broadcast request information of the client 400, the RDS database unit 312 labels the object image information and provides a broadcast service of the object image information. A broadcast transmission signal is generated and transmitted to the RDS database unit 312 .

RDS 데이터베이스부(312)는 라벨링된 객체 영상 정보를 저장하거나, 실시간으로 RTMP 송출 서버(340)를 통해 해당 클라이언트(400)로 제공할 수 있다.The RDS database unit 312 may store the labeled object image information or provide it to the corresponding client 400 through the RTMP transmission server 340 in real time.

또한, RDS 데이터베이스부(312)는 라벨링된 객체 영상 정보를 시간대별로 분류하여 저장하고 있다가 기설정된 방송 송출 예약에 RTMP 송출 서버(340)를 통해 해당 클라이언트(400)로 제공할 수도 있다.In addition, the RDS database unit 312 may classify and store labeled object image information by time period and provide it to the corresponding client 400 through the RTMP transmission server 340 in a preset broadcast transmission reservation.

도 5에 도시된 바와 같이, 영상 분석부(330)는 영상 분석 처리 결과에 따라 객체의 종류를 판단하고, 시간대별 객체 감지 개수를 카운트하고, 상기 카운트한 객체 감지 개수가 기설정된 개수 이상인 경우의 영상 분석 처리 결과인 객체 영상 정보를 라벨링하고, 상기 라벨링한 객체 영상 정보의 방송 서비스를 제공하는 방송 송출 신호를 생성하여 RDS 데이터베이스부(312)로 전송한다.As shown in FIG. 5 , the image analysis unit 330 determines the type of object according to the image analysis processing result, counts the number of detected objects for each time period, and the counted number of detected objects is greater than or equal to a preset number. The object image information, which is the result of the image analysis processing, is labeled, and a broadcast transmission signal for providing a broadcast service of the labeled object image information is generated and transmitted to the RDS database unit 312 .

영상 분석부(330)는 영상 분석 처리 결과에 따라 객체의 종류를 판단하고, 시간대별 객체 감지 개수를 카운트하여 저장하고, 시간대별 객체 감지 개수를 영상 분석 통계 정보로 생성하여 그래픽 UI를 통해 영상 뷰어로 제공할 수 있다.The image analysis unit 330 determines the type of object according to the image analysis processing result, counts and stores the number of object detections per time period, generates the number of object detections per time period as image analysis statistical information, and uses the graphic UI to view the image can be provided as

영상 분석부(330)는 클라이언트의 기설정된 객체 우선 순위 정보에 따라 RDS 데이터베이스부(312)에 저장된 객체 영상 정보를 분석하고, 영상 분석 처리 결과에 따라 객체의 종류를 판단하고, 시간대별 객체 감지 개수를 카운트하고, 가장 높은 객체 우선 순위 정보에 대응하는 객체 영상 정보를 라벨링하고, 상기 라벨링한 객체 영상 정보의 방송 서비스를 제공하는 방송 송출 신호를 생성하여 RDS 데이터베이스부(312)로 전송한다. 여기서, 객체 우선 순위 정보는 상기 카운트한 객체 감지 개수에 따라 변경 가능하며, 가장 높은 객체 감지 개수를 최우선 객체로 설정할 수 있다(예를 들어, 강아지>새>돼지 등등).The image analysis unit 330 analyzes the object image information stored in the RDS database unit 312 according to the client's preset object priority information, determines the type of object according to the image analysis processing result, and detects the number of objects per time period. counts, labels object image information corresponding to the highest object priority information, generates a broadcast transmission signal providing a broadcast service of the labeled object image information, and transmits it to the RDS database unit 312 . Here, the object priority information may be changed according to the counted number of object detections, and the highest object detection number may be set as the highest priority object (eg, puppy>bird>pig, etc.).

영상 분석부(330)는 영상 분석 처리 결과에 따라 객체의 종류를 판단하고, 2개 이상의 객체가 감지되는 경우, 클라이언트(400)의 기설정된 객체 우선 순위 정보에 따라 가장 높은 객체 우선 순위 정보에 대응하는 객체 영상 정보에 사각형 마커를 표시하고, 사각형 마커의 연속적인 움직임을 추정하며, 상기 사각형 마커에 해당하는 객체를 확대하도록 제어할 수 있다.The image analysis unit 330 determines the type of object according to the image analysis processing result, and when two or more objects are detected, the image analysis unit 330 corresponds to the highest object priority information according to the predetermined object priority information of the client 400 . It is possible to display a rectangular marker on object image information to be used, estimate a continuous motion of the rectangular marker, and control to enlarge an object corresponding to the rectangular marker.

다른 실시예로서, 도 6에 도시된 바와 같이, 본 발명의 스트리밍 서버(310)는 Web 서버(311) 및 RDS(Relational Database Service) 데이터베이스부(312)를 방송 서비스의 장애 발생 시 장애 대응을 위한 마스터 슬레이브 방식의 서버 이중화 구조를 운영할 수 있다.As another embodiment, as shown in FIG. 6 , the streaming server 310 of the present invention provides a Web server 311 and a Relational Database Service (RDS) database unit 312 to respond to failures in broadcast service failures. A master-slave server duplication structure can be operated.

스트리밍 서버(310)는 제1 Web 서버(311a)와 제2 Web 서버(311b), 제1 RDS 데이터베이스부(312a)와 제2 RDS 데이터베이스부(312b), 제1 RDS 데이터베이스부(312a)와 연동하는 제1 영상 분석부(330a) 및 제2 RDS 데이터베이스부(312b)와 연동하는 제2 영상 분석부(330b), 제1 RTMP 송출 서버(340a)와 제2 RTMP 송출 서버(340b)로 이루어져 있다.Streaming server 310 is interlocked with a first Web server 311a and a second Web server 311b, a first RDS database unit 312a and a second RDS database unit 312b, and a first RDS database unit 312a. It consists of a first image analysis unit 330a and a second image analysis unit 330b interworking with the second RDS database unit 312b, a first RTMP transmission server 340a and a second RTMP transmission server 340b. .

예를 들어, 제1 RDS 데이터베이스부(312a)는 활성화(Active) 상태로 제1 Web 서버(311a)와 제2 Web 서버(311b)에 연결되어 있고, 제2 RDS 데이터베이스부(312b)가 대기(Standby) 상태로 제1 RDS 데이터베이스부(312a)의 정상 작동 여부를 주기적으로 모니터링한다.For example, the first RDS database unit 312a is connected to the first Web server 311a and the second Web server 311b in an active state, and the second RDS database unit 312b is standby ( Standby), it periodically monitors whether the first RDS database unit 312a operates normally.

슬레이브 서버인 제2 RDS 데이터베이스부(312b)는 마스터 서버인 제1 RDS 데이터베이스부(312a)를 모니터링한 결과, 제1 RDS 데이터베이스부(312a)가 고장, 장애 상태로 판단될 경우 자동으로 마스터 서버로 전환되어 제1 Web 서버(311a)와 제2 Web 서버(311b)에 연결되어 방송 서비스를 제공한다As a result of monitoring the first RDS database unit 312a, which is the master server, the second RDS database unit 312b, which is a slave server, is automatically converted to the master server when the first RDS database unit 312a is determined to be in failure or faulty state. It is switched and connected to the first Web server 311a and the second Web server 311b to provide a broadcast service

도 7은 본 발명의 실시예에 따른 RTMP 송출 서버의 내부 구성을 나타낸 도면이다.7 is a diagram illustrating an internal configuration of an RTMP transmission server according to an embodiment of the present invention.

본 발명의 실시예의 RTMP 송출 서버(340)는 스트림 수신부(341), 스트림 듀플렉서(342), 코덱부(343), RTMP 혼합기(344), 스케줄 및 송출제어부(345) 및 품질 제어부(346)를 포함한다.The RTMP transmission server 340 of the embodiment of the present invention includes a stream receiving unit 341, a stream duplexer 342, a codec unit 343, an RTMP mixer 344, a schedule and transmission control unit 345, and a quality control unit 346. include

스트림 수신부(341)는 스트리밍 서버(310)로부터 수신된 객체 영상 정보의 무선 데이터 스트림을 처리하는 기능을 수행한다. The stream receiving unit 341 performs a function of processing a wireless data stream of object image information received from the streaming server 310 .

스트림 듀플렉서(342)는 무선 데이터 스트림에서 비디오 정보와 오디오 정보를 분리한다.A stream duplexer 342 separates video information and audio information in a wireless data stream.

코덱부(343)는 스트림 듀플렉서(342)에서 분리된 비디오 정보와 오디오 정보를 방송 서버인 클라이언트(400)의 규격에 맞게 변환 부호화(Transcoding)를 수행한다.The codec unit 343 transcodes the video information and audio information separated by the stream duplexer 342 according to the standard of the client 400, which is a broadcast server.

RTMP 혼합기(344)는 코덱부(343)에서 변환 부호화를 수행한 비디오 정보와 오디오 정보를 혼합한 영상 정보를 RTMP(Real Time Messaging Protocol) 등 실시간 스트림 전송 프로토콜을 이용하여 라이브 방송하고자 하는 복수의 클라이언트로 다중 분배하여 전송한다.The RTMP mixer 344 uses a real-time stream transmission protocol such as RTMP (Real Time Messaging Protocol) to broadcast live video information obtained by mixing video information and audio information, which has been transcoded by the codec unit 343, to a plurality of clients. It is transmitted by multiple distribution.

스케줄 및 송출제어부(345)는 WAS(320)와 연동하여 카메라 장치(200)별 방송 스케줄을 제어하고, 방송 송출 예약(24시간 시간대별) 기능을 수행할 수 있다.The schedule and transmission control unit 345 may interwork with the WAS 320 to control a broadcast schedule for each camera device 200 and perform a broadcast transmission reservation (24 hour time zone) function.

품질 제어부(346)는 WAS(320)와 연동하여 영상 해상도, 전송 Bitrate, 해상도에 따른 Bitrate 범위(1080P: 3000 내지 6000Kbps, 720P: 1500 내지 4000Kbps, 480P: 500 내지 2000Kbps)을 제어하고, 오디오 128Kbps, 샘플링 44.1KHz 등의 영상 품질을 제어할 수 있다.The quality control unit 346 interworks with the WAS 320 to control the video resolution, the transmission bitrate, and the bitrate range according to the resolution (1080P: 3000 to 6000Kbps, 720P: 1500 to 4000Kbps, 480P: 500 to 2000Kbps), audio 128Kbps, You can control the image quality such as sampling 44.1KHz.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements by those skilled in the art using the basic concept of the present invention defined in the following claims are also provided. It belongs to the scope of rights.

100: 방송 송출 시스템 200: 카메라 장치
300: 클라우드 서버 400: 클라이언트100: broadcast transmission system 200: camera device
300: cloud server 400: client

Claims (12)

무인 방송하고자 하는 탐지 영역에 장기간 거치하고, 탐지 영역 내에서 이동하는 객체를 촬영하여 객체 영상 정보를 생성하는 하나 이상의 카메라 장치; 및
상기 각각의 카메라 장치로부터 획득한 객체 영상 정보를 기저장된 학습된 객체 데이터 세트의 각 셀의 제1 영상 특징과 상기 객체 영상 정보의 각 셀의 제2 영상 특징을 비교하여 상기 제1 영상 특징과 상기 제2 영상 특징이 동일하다는 영상 분석 처리 결과를 생성 및 저장하고, 상기 획득한 객체 영상 정보를 실시간 스트림 전송 프로토콜을 이용하여 라이브 방송하고자 하는 복수의 클라이언트로 다중 분배하여 전송하는 클라우드 서버를 포함하고,
상기 클라우드 서버는 상기 각각의 카메라 장치로부터 획득한 라이브 스트리밍 방식의 영상 정보를 포함한 무선 데이터 스트림을 수신하여 저장하는 RDS(Relational Database Service) 데이터베이스부와, 상기 RDS 데이터베이스부에 저장된 영상 정보를 분석하고, 상기 카메라 장치에서 포커싱한 객체 영상 정보를 라벨링하여 해당 클라이언트로 방송 송출 여부 및 영상 분류, 검색하는 영상 분석부로 이루어진 스트리밍 서버를 포함하고,
상기 영상 분석부는,
상기 클라이언트의 기설정된 객체 우선 순위 정보에 따라 상기 RDS 데이터베이스부에 저장된 객체 영상 정보를 분석하고, 상기 영상 분석 처리 결과에 따라 객체의 종류를 판단하고, 시간대별 객체 감지 개수를 카운트하고, 가장 높은 객체 우선 순위 정보에 대응하는 객체 영상 정보를 라벨링하고, 상기 라벨링한 객체 영상 정보의 방송 서비스를 제공하는 방송 송출 신호를 생성하여 상기 RDS 데이터베이스부로 전송하고, 상기 객체 우선 순위 정보는 상기 카운트한 객체 감지 개수에 따라 변경 가능하고,
상기 영상 분석부는 상기 영상 분석 처리 결과에 따라 객체의 종류를 판단하고, 2개 이상의 객체가 감지되는 경우, 상기 클라이언트의 기설정된 객체 우선 순위 정보에 따라 가장 높은 객체 우선 순위 정보에 대응하는 객체 영상 정보에 사각형 마커를 표시하고, 상기 사각형 마커의 연속적인 움직임을 추정하며, 상기 사각형 마커에 해당하는 객체를 확대하도록 제어하며,
상기 영상분석부는,
상기 시간대별 객체 감지 개수를 영상 분석 통계 정보로 생성하여 그래픽 UI를 통해 영상 뷰어로 제공하는 것을 특징으로 하는 실시간 무인 방송을 위한 인공지능 기반 송출 시스템.

one or more camera devices mounted in a detection area to be broadcast unattended for a long period of time and generating object image information by photographing an object moving within the detection area; and
The first image feature and the second image feature of each cell of the object image information are compared with the first image feature of each cell of the pre-stored learned object data set with the object image information obtained from the respective camera devices. A cloud server that generates and stores an image analysis processing result indicating that the second image characteristic is the same, and multi-distributes and transmits the acquired object image information to a plurality of clients that want to broadcast live using a real-time stream transmission protocol,
The cloud server includes a Relational Database Service (RDS) database unit that receives and stores a wireless data stream including live streaming image information obtained from each camera device, and analyzes the image information stored in the RDS database unit, and a streaming server comprising an image analysis unit for labeling the object image information focused by the camera device, and classifying and searching whether or not broadcasting is transmitted to the corresponding client,
The image analysis unit,
Analyzes the object image information stored in the RDS database unit according to the client's preset object priority information, determines the type of object according to the image analysis processing result, counts the number of objects detected by time period, and the highest object The object image information corresponding to the priority information is labeled, and a broadcast transmission signal for providing a broadcast service of the labeled object image information is generated and transmitted to the RDS database unit, and the object priority information is the counted number of object detections. can be changed according to
The image analysis unit determines the type of object according to the image analysis processing result, and when two or more objects are detected, object image information corresponding to the highest object priority information according to the client's preset object priority information displaying a square marker on the , estimating the continuous movement of the square marker, and controlling to enlarge the object corresponding to the square marker,
The image analysis unit,
Artificial intelligence-based transmission system for real-time unmanned broadcasting, characterized in that the number of objects detected for each time period is generated as image analysis statistical information and provided to an image viewer through a graphic UI.

 제1항에 있어서,
상기 각각의 카메라 장치는 탐지 영역 내에 설치되어 이동 객체를 촬영하여 해당 촬영한 영상을 영상 정보로 생성하는 카메라;
상기 이동 객체의 소리를 획득하여 해당 획득한 소리를 소리 정보로 생성하는 하나 이상의 음향 센서를 구비한 사운드 감지부; 및
레이더를 이용하여 탐지 영역의 이동 객체를 탐지하여 3차원 레이더 데이터를 생성하는 레이더 감지부를 포함하는 것을 특징으로 하는 실시간 무인 방송을 위한 인공지능 기반 송출 시스템.The method of claim 1,
Each of the camera devices includes: a camera installed in the detection area to photograph a moving object and generate the photographed image as image information;
a sound sensing unit having one or more acoustic sensors for acquiring the sound of the moving object and generating the acquired sound as sound information; and
An artificial intelligence-based transmission system for real-time unmanned broadcasting, characterized in that it includes a radar detector that detects a moving object in a detection area using a radar and generates three-dimensional radar data. 제2항에 있어서,
상기 사운드 감지부는 상기 각각의 음향 센서로부터 수신된 음향 신호를 입력 받고, 입력 받은 음향 신호를 필터링하여 그 필터링한 결과로 음향 신호의 노이즈를 제거하는 노이즈 제거부와, 상기 노이즈 제거부에 의해 노이즈가 제거된 음향 신호를 입력 받고 입력 받은 음향 신호들이 음원 발생위치로부터 각 음향 센서들에 도달하는 시간차인 도달 시간차(Time Delay of Arrival, TDoA)를 산출하는 도달 시간차 계산부와, 상기 산출된 음향 신호들 간의 도달 시간차를 이용하여 음원의 발생 방향을 추정하는 음원 방향 추정부를 포함하며,
상기 음원 방향 추정부로부터 수신한 음원 발생 방향을 기초로 구동부를 제어하여 상기 카메라를 회전시키며, 음원이 발생한 방향으로 회전된 카메라를 이용하여 영상을 촬영하도록 제어하는 제어부를 더 포함하는 것을 특징으로 하는 실시간 무인 방송을 위한 인공지능 기반 송출 시스템.The method of claim 2,
The sound sensing unit receives the sound signal received from each of the sound sensors, filters the received sound signal, and as a result of the filtering, a noise remover for removing noise from the sound signal; An arrival time difference calculator that receives the removed sound signal and calculates a time difference of arrival (Time Delay of Arrival, TDoA), which is a time difference at which the input sound signals arrive at each of the sound sensors from a sound source generation location, and the calculated sound signals and a sound source direction estimator for estimating the generation direction of the sound source using the arrival time difference between
Controlling the driving unit based on the sound source generation direction received from the sound source direction estimation unit to rotate the camera, and further comprising a control unit for controlling to take an image using the camera rotated in the direction in which the sound source is generated AI-based transmission system for real-time unmanned broadcasting. 제2항에 있어서,
상기 레이더 감지부로부터 수신한 3차원 레이더 데이터를 기초로 이동 객체의 좌표값을 계산하고, 상기 이동 객체의 좌표값을 기초로 구동부를 제어하여 상기 카메라를 회전시키며, 상기 회전된 카메라를 이용하여 영상을 촬영하도록 제어하는 제어부를 더 포함하는 것을 특징으로 하는 실시간 무인 방송을 위한 인공지능 기반 송출 시스템.The method of claim 2,
The coordinate value of the moving object is calculated based on the three-dimensional radar data received from the radar sensing unit, the driving unit is controlled based on the coordinate value of the moving object to rotate the camera, and the image is obtained using the rotated camera. Artificial intelligence-based transmission system for real-time unmanned broadcasting, characterized in that it further comprises a control unit for controlling to shoot. 삭제delete 제1항에 있어서,
상기 영상 분석부는 상기 카메라 장치로부터 취득한 영상 정보를 이용하여 관심영역(Region Of Interest)을 검출하고, 관심 영역 내에 위치하는 특정한 객체 영역을 검출하여 좌표를 측정한 다음, 특정 영역을 대상 객체 영상으로 인식하는 객체 인식부;
상기 객체 인식부에서 객체 영상 정보를 획득하여 합성곱 신경망(Convolutional Neural Network, CNN)을 이용하여 사전에 설정된 클래스 분류가 가능한 데이터로 변환하여 학습하며, 학습한 객체 데이터 세트를 저장부의 해당 클래스 필드에 저장하고, 상기 객체 영상 정보에 라벨링을 수행하여 저장부에 저장 처리하고, 객체 영상 정보를 합성곱 신경망을 이용하여 컨볼루션하여 객체 좌표별 특징점을 추출한 후, 추출한 특징점을 참조하여 저장부에 저장된 학습한 객체 데이터 세트와 비교하여 객체 좌표별 해당하는 클래스로 분류하며, 분류된 클래스 결과값을 생성하는 딥러닝 학습부; 및
상기 각각의 카메라 장치로부터 획득한 객체 영상 정보를 기저장된 학습된 객체 데이터 세트의 각 셀의 제1 영상 특징과 상기 객체 영상 정보의 각 셀의 제2 영상 특징을 비교하여 영상 분석 처리 결과를 수신하고, 상기 영상 분석 처리 결과에 따라 객체의 종류를 판단하는 영상 처리부를 포함하는 것을 특징으로 하는 실시간 무인 방송을 위한 인공지능 기반 송출 시스템.The method of claim 1,
The image analyzer detects a region of interest using the image information acquired from the camera device, detects a specific object region located in the region of interest, measures coordinates, and recognizes the specific region as a target object image an object recognition unit;
It acquires object image information from the object recognition unit, converts it into data that can be classified in advance using a convolutional neural network (CNN), and learns it, and stores the learned object data set in the corresponding class field of the storage unit. Learning stored in the storage unit by storing the object image information by labeling the object image information, storing the processing in the storage unit, convolving the object image information using a convolutional neural network to extract feature points for each object coordinates, and referring to the extracted feature points a deep learning learning unit that compares one object data set and classifies it into a corresponding class for each object coordinate, and generates a classified class result value; and
Receive an image analysis processing result by comparing the object image information obtained from each camera device with the first image feature of each cell of the pre-stored learned object data set and the second image feature of each cell of the object image information, , AI-based transmission system for real-time unmanned broadcasting, characterized in that it comprises an image processing unit for determining the type of object according to the image analysis processing result. 제6항에 있어서,
상기 영상 분석부는 상기 클라이언트의 기설정된 방송 요청 정보에 따라 상기 RDS 데이터베이스부에 저장된 객체 영상 정보를 분석하고, 상기 영상 분석 처리 결과가 상기 클라이언트의 방송 요청 정보와 일치하는 경우, 해당 객체 영상 정보를 라벨링하고, 상기 라벨링한 객체 영상 정보의 방송 서비스를 제공하는 방송 송출 신호를 생성하여 상기 RDS 데이터베이스부로 전송하는 것을 특징으로 하는 실시간 무인 방송을 위한 인공지능 기반 송출 시스템.The method of claim 6,
The image analysis unit analyzes the object image information stored in the RDS database unit according to the client's preset broadcast request information, and when the image analysis processing result matches the client's broadcast request information, the corresponding object image information is labeled and generating a broadcast transmission signal for providing a broadcast service of the labeled object image information and transmitting the generated broadcast signal to the RDS database unit. 삭제delete 삭제delete 제1항에 있어서,
상기 클라우드 서버는 상기 카메라 장치의 상세 정보, 타임랩스 설정 주기, 등록된 카메라 장치의 목록을 저장하는 웹 서버와, 상기 웹 서버에 연결된 상기 RDS 데이터베이스부와, 상기 RDS 데이터베이스부에 연동하는 상기 영상 분석부로 이루어져 있는 스트리밍 서버; 및
상기 스트리밍 서버로부터 수신된 객체 영상 정보의 무선 데이터 스트림을 처리하고, 상기 무선 데이터 스트림에서 비디오 정보와 오디오 정보를 분리하고, 상기 분리된 비디오 정보와 오디오 정보를 상기 클라이언트의 규격에 맞게 변환 부호화(Transcoding)를 수행하고, 상기 변환 부호화를 수행한 비디오 정보와 오디오 정보를 혼합한 영상 정보를 RTMP(Real Time Messaging Protocol) 등 실시간 스트림 전송 프로토콜을 이용하여 라이브 방송하고자 하는 복수의 클라이언트로 다중 분배하여 전송하는 RTMP 송출 서버를 더 포함하는 것을 특징으로 하는 실시간 무인 방송을 위한 인공지능 기반 송출 시스템.The method of claim 1,
The cloud server includes a web server that stores detailed information of the camera device, a time-lapse setting period, and a list of registered camera devices, the RDS database unit connected to the web server, and the image analysis interworking with the RDS database unit streaming server consisting of a wealth; and
Processes a wireless data stream of object image information received from the streaming server, separates video information and audio information from the wireless data stream, and transcodes the separated video information and audio information to meet the standards of the client. ), and multi-distributing and transmitting video information mixed with the transcoding video information and audio information to a plurality of clients who want to broadcast live using a real-time stream transmission protocol such as RTMP (Real Time Messaging Protocol). Artificial intelligence-based transmission system for real-time unmanned broadcasting, characterized in that it further comprises an RTMP transmission server. 제10항에 있어서,
상기 스트리밍 서버는 상기 웹 서버와 상기 RDS 데이터베이스부와, 상기 RDS 데이터베이스부에 연동하는 상기 영상 분석부를 2개 이상의 복수개로 구성하여 하나의 제1 RDS 데이터베이스부를 마스터 서버로 하고, 나머지 제2 RDS 데이터베이스부를 슬레이브 서버로 동작하는 이중화 구조의 서버를 운용하고,
상기 제2 RDS 데이터베이스부는 상기 제1 RDS 데이터베이스부가 고장, 장애 상태로 판단될 경우 자동으로 마스터 서버로 전환되어 상기 복수의 Web 서버에 연결되어 방송 서비스를 제공하는 것을 특징으로 하는 실시간 무인 방송을 위한 인공지능 기반 송출 시스템.The method of claim 10,
The streaming server comprises two or more of the web server, the RDS database unit, and the video analysis unit interworking with the RDS database unit, so that one first RDS database unit serves as a master server, and the remaining second RDS database unit is configured as a master server. Operates a server with a redundant structure that operates as a slave server,
The second RDS database unit is automatically switched to the master server when it is determined that the first RDS database unit is faulty or faulty, and is connected to the plurality of web servers to provide a broadcasting service. Intelligence-based transmission system. 삭제delete
KR1020200132064A 2020-10-13 2020-10-13 Broadcasting Transmission System Based on Artificial Intelligence for Unmanned Broadcasting KR102259637B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200132064A KR102259637B1 (en) 2020-10-13 2020-10-13 Broadcasting Transmission System Based on Artificial Intelligence for Unmanned Broadcasting

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200132064A KR102259637B1 (en) 2020-10-13 2020-10-13 Broadcasting Transmission System Based on Artificial Intelligence for Unmanned Broadcasting

Publications (1)

Publication Number Publication Date
KR102259637B1 true KR102259637B1 (en) 2021-06-02

Family

ID=76372724

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200132064A KR102259637B1 (en) 2020-10-13 2020-10-13 Broadcasting Transmission System Based on Artificial Intelligence for Unmanned Broadcasting

Country Status (1)

Country Link
KR (1) KR102259637B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101263881B1 (en) 2012-07-20 2013-05-13 주식회사 나우시스템 System for controlling unmanned broadcasting
KR20170013720A (en) * 2015-07-28 2017-02-07 김형욱 Contents service platform
KR20180001429A (en) * 2016-06-24 2018-01-04 한국산업기술대학교산학협력단 Vermin Prevention System based on IoT Technology with Sound Detection
KR102001594B1 (en) * 2018-10-11 2019-07-17 (주)와이즈콘 Radar-camera fusion disaster tracking system and method for scanning invisible space
KR102104088B1 (en) * 2019-11-25 2020-04-23 주식회사 시큐인포 Uwb-based location tracking and ai combined intelligent object tracking video monitoring system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101263881B1 (en) 2012-07-20 2013-05-13 주식회사 나우시스템 System for controlling unmanned broadcasting
KR20170013720A (en) * 2015-07-28 2017-02-07 김형욱 Contents service platform
KR20180001429A (en) * 2016-06-24 2018-01-04 한국산업기술대학교산학협력단 Vermin Prevention System based on IoT Technology with Sound Detection
KR102001594B1 (en) * 2018-10-11 2019-07-17 (주)와이즈콘 Radar-camera fusion disaster tracking system and method for scanning invisible space
KR102104088B1 (en) * 2019-11-25 2020-04-23 주식회사 시큐인포 Uwb-based location tracking and ai combined intelligent object tracking video monitoring system

Similar Documents

Publication Publication Date Title
CN101119482B (en) Overall view monitoring method and apparatus
CN109040709B (en) Video monitoring method and device, monitoring server and video monitoring system
KR101793636B1 (en) Image processing system
Wheeler et al. Face recognition at a distance system for surveillance applications
KR102104088B1 (en) Uwb-based location tracking and ai combined intelligent object tracking video monitoring system
US9041800B2 (en) Confined motion detection for pan-tilt cameras employing motion detection and autonomous motion tracking
EP2966852B1 (en) Video monitoring method, device and system
US10740887B2 (en) Method and system for automated video image focus change detection and classification
CN109040693B (en) Intelligent alarm system and method
CN108073577A (en) A kind of alarm method and system based on recognition of face
KR101328246B1 (en) Apparatus for tracking of moving target and the method thereof
KR102241529B1 (en) Unmanned multi surveillance system capable of setting zone
KR102001594B1 (en) Radar-camera fusion disaster tracking system and method for scanning invisible space
WO2007015631A1 (en) Smart video monitoring system and method communicating with auto-tracking radar system
KR101290782B1 (en) System and method for Multiple PTZ Camera Control Based on Intelligent Multi-Object Tracking Algorithm
CN112804454A (en) Wide area warning system and warning method thereof
RU2595532C1 (en) Radar system for protection of areas with small-frame video surveillance system and optimum number of security guards
KR102104351B1 (en) Cctv camera for detecting moving object using radar module and cctv system including thereof
US20200125879A1 (en) Apparatus and method for capturing flying objects
CN114973564A (en) Remote personnel intrusion detection method and device under non-illumination condition
KR20150019230A (en) Method and apparatus for tracking object using multiple camera
KR102259637B1 (en) Broadcasting Transmission System Based on Artificial Intelligence for Unmanned Broadcasting
KR102111162B1 (en) Multichannel camera home monitoring system and method to be cmmunicated with blackbox for a car
CN116614710A (en) Near-ultrasonic positioning and camera linkage system and method thereof
KR101653820B1 (en) System for sensing object and emergency based on thermal detective operation, and method for tracking object using the same

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant