KR102304477B1 - Adaptive Context Sharing and the Autonomous Collaboration System between Edge Servers for Intelligent Video Security - Google Patents

Adaptive Context Sharing and the Autonomous Collaboration System between Edge Servers for Intelligent Video Security Download PDF

Info

Publication number
KR102304477B1
KR102304477B1 KR1020200155398A KR20200155398A KR102304477B1 KR 102304477 B1 KR102304477 B1 KR 102304477B1 KR 1020200155398 A KR1020200155398 A KR 1020200155398A KR 20200155398 A KR20200155398 A KR 20200155398A KR 102304477 B1 KR102304477 B1 KR 102304477B1
Authority
KR
South Korea
Prior art keywords
edge server
context
worker
edge
sharing
Prior art date
Application number
KR1020200155398A
Other languages
Korean (ko)
Inventor
정광수
김민선
박진호
김민수
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020200155398A priority Critical patent/KR102304477B1/en
Application granted granted Critical
Publication of KR102304477B1 publication Critical patent/KR102304477B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/64—Hybrid switching systems
    • H04L12/6418—Hybrid transport
    • H04L65/607—
    • H04L65/608—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/289—Intermediate processing functionally located close to the data consumer application, e.g. in same machine, in same home or in same sub-network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

Disclosed is an adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security. According to the present invention, the adaptive context sharing and autonomous collaboration system between edge servers comprises: a terminal including a wired/wireless communication unit; a worker edge server extracting and formalizing context of the connected terminal and edge server in real-time and adaptively sharing the context with a master edge server; and the master edge server collecting and managing the context shared from the worker edge server and performing autonomous collaboration between edge servers through terminal connection control. To solve a problem of overload of video security technology based on one VMS server, context recognition, real-time video analysis, and autonomous collaboration between edge servers are performed by using intelligent video security technology utilizing a number of distributed edge servers. Accordingly, autonomous collaboration in a direction of minimizing unnecessary context sharing and balancing resource load of the edge servers is performed in a video security environment where a large number of distributed edge servers and terminals exist, thereby increasing efficiency of intelligent video security service based on real-time video analysis.

Description

지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템{Adaptive Context Sharing and the Autonomous Collaboration System between Edge Servers for Intelligent Video Security}Adaptive Context Sharing and the Autonomous Collaboration System between Edge Servers for Intelligent Video Security}

본 발명은 지능형 영상 보안을 위해 하나의 Master 엣지 서버와 다수의 Worker 엣지 서버(Edge Server)를 구비하고, 각 Worker 엣지 서버는 무선으로 다수의 단말들이 연결되며, 단말 및 엣지 서버로부터 추출되는 컨텍스트를 다수의 Worker 엣지 서버와 하나의 Master 엣지 서버에 적응적으로 공유하고, 공유된 컨텍스트(Context)를 기반으로 엣지 서버간 자율협업(Autonomous Collaboration)을 수행하는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템에 관한 것이다.The present invention includes one master edge server and a plurality of worker edge servers for intelligent video security, and each worker edge server is wirelessly connected to a plurality of terminals, and the context extracted from the terminal and the edge server is provided. Adaptive context sharing for intelligent video security that adaptively shares multiple worker edge servers and one master edge server, and performs autonomous collaboration between edge servers based on the shared context It is about an autonomous collaboration system between edge servers.

클라우드 컴퓨팅(cloud computing)은 서버의 중앙 집중식으로 데이터를 처리하며. 이와 달리, 엣지(Edge) 컴퓨팅은 클라우드 컴퓨팅과 대조적 개념의 컴퓨팅 방식으로, 클라우드나 중앙 집중식이 아닌 네트워크 종단(Edge)에서 컴퓨팅이 이루어진다. 엣지 컴퓨팅은 클라우드나 중앙 집중 방식으로 대용량 데이터의 부하(load)가 집중되는 중앙 서버에서 데이터를 처리하지 않고, 도 1에 도시된 바와 같이 모바일 기기와 IoT 디바이스 자체 또는 물리적으로 근거리 위치한 엣지 서버(edge server)를 사용하여 데이터 분석과 기기 동작이 이루어진다. Cloud computing processes data centrally on a server. In contrast, edge computing is a computing method in contrast to cloud computing, and computing is performed at the edge of the network rather than in the cloud or centralized. Edge computing does not process data in the cloud or a central server where a large data load is concentrated in a centralized manner, but as shown in FIG. 1, the mobile device and the IoT device itself or an edge server located physically close server) for data analysis and device operation.

클라우딩 컴퓨팅이 중앙 집중식으로 데이터를 처리해주는 것과는 반대로, 모바일 엣지 컴퓨팅(Mobile Edge Computing, MEC) 기술은 분산된 엣지 서버를 통해 모바일 기기의 주변에서 개별로 데이터를 수집, 빅 데이터 분석, 처리한다. 최근, LTE 4G/5G 이동통신 기술, 드론, IoT 기술이 발전하면서, 인공지능과 기계학습(Machine Learning, ML)을 사용한 빅 데이터 분석을 사용하는 지능형 Edge 컴퓨팅 기술로 발전하고 있다. In contrast to cloud computing, which processes data centrally, mobile edge computing (MEC) technology collects, analyzes, and processes big data individually from the periphery of mobile devices through distributed edge servers. Recently, with the development of LTE 4G/5G mobile communication technology, drones, and IoT technology, it is developing into an intelligent edge computing technology that uses big data analysis using artificial intelligence and machine learning (ML).

예를 들면, CCTV 지능형 영상 처리는 중앙 서버에 저장되는 대용량 영상 데이터의 과부하와 대용량 영상 데이터 처리를 위해 지역별로 분산된 다수의 엣지 서버를 사용한 지능형 엣지 컴퓨팅 기술이 필요하다. For example, CCTV intelligent image processing requires intelligent edge computing technology using multiple edge servers distributed by region for overload of large-capacity image data stored in the central server and processing large-capacity image data.

이와 관련된 선행기술1로써, 특허 공개번호 10-2018-0119162에서는 "모바일 엣지에서의 컴퓨팅을 위한 플랫폼"이 공개되어 있다. As a related prior art 1, Patent Publication No. 10-2018-0119162 discloses a "platform for computing at the mobile edge".

모바일 엣지에서의 컴퓨팅을 위한 플랫폼은 A platform for computing at the mobile edge

무선 네트워크 내에서의 컴퓨팅을 위한 플랫폼으로서,A platform for computing within a wireless network, comprising:

사적인 관리 네트워크의 엣지에 또는 그 부근에 위치하며, 상기 사적인 관리 네트워크상에서 제3자 제공자와 연계된 프로그램들을 실행하기 위한 보안 메커니즘들 및 데이터 서비스들을 제공할 수 있는 하드웨어 장치를 포함하는 MEC(Mobile Edge Compute) 어플라이언스;Mobile Edge (MEC), located at or near the edge of a private management network, comprising a hardware device capable of providing security mechanisms and data services for executing programs associated with a third-party provider on the private management network. Compute) appliance;

MNO(Mobile Network Operator)의 코어 네트워크 내에 상주하며, 상기 MEC 어플라이언스의 컨트롤 및 명령을 할 수 있는 MEC 컨트롤러; 및a MEC controller residing in the core network of a Mobile Network Operator (MNO) and capable of controlling and commanding the MEC appliance; and

상기 MEC 컨트롤러의 기능에 필수적이며 상기 MEC 어플라이언스 전체에 걸쳐 연장되며, 복수의 레이어들을 확립하는 복수의 구성요소들을 - 각 구성요소는 각 레이어에서의 다양한 공격 벡터 및 잠재적 침입(potential exploit)을 처리하도록(address) 구성됨 - 포함하는 보안 모듈을 포함하며,A plurality of components essential to the functioning of the MEC controller and extending throughout the MEC appliance, establishing multiple layers - each component handling various attack vectors and potential exploits at each layer. (address) configured - contains the containing security module;

상기 플랫폼은 상기 사적인 관리 네트워크의 네트워크 주변부(perimeter) 및 상기 사적인 관리 네트워크의 상기 네트워크 주변부 부근 중 적어도 하나인 환경 내에서 적어도 하나의 제3자 애플리케이션을 호스팅하기 위한 컴퓨팅 리소스를 제공하고,the platform provides computing resources for hosting at least one third-party application in an environment that is at least one of a network perimeter of the private management network and a network perimeter of the private management network;

상기 보안 모듈은 상기 사적인 관리 네트워크에 대한 액세스가 승인되기 이전에 상기 사적인 관리 네트워크의 상기 네트워크 주변부 및 상기 사적인 관리 네트워크의 상기 네트워크 주변부 부근 중 적어도 하나인 상기 환경내의 임의의 플랫폼 구성요소에 의한 임의의 동작을 유효화하도록 구성된다. The security module is configured to enable any platform component in the environment that is at least one of the network perimeter of the private management network and the vicinity of the network perimeter of the private management network before being granted access to the private management network. configured to validate the action.

이와 관련된 선행기술2로써, 특허등록번호 10-2110592에서는 "IoT 컴퓨팅 환경에서의 클라우드와 엣지간의 분산 처리 시스템"이 등록되어 있다. As a related prior art 2, "a distributed processing system between the cloud and the edge in an IoT computing environment" is registered in Patent Registration No. 10-2110592.

IoT 컴퓨팅 환경에서의 클라우드와 엣지간의 분산 처리 시스템은 The distributed processing system between the cloud and the edge in the IoT computing environment is

사물측에 연결되어 데이터를 수집하고 사물측으로 제어신호를 보내주는 다수의 엣지와, 각 엣지로부터 데이터를 받아 처리하고 처리 결과를 엣지로 전달하는 클라우드를 포함하는, IoT 컴퓨팅 환경에서의 상기 클라우드 및 엣지간의 분산 처리 시스템으로서,The cloud and edge in an IoT computing environment, including a plurality of edges that are connected to the object side to collect data and send control signals to the object side, and a cloud that receives data from each edge, processes it, and delivers the processing result to the edge As a distributed processing system between

상기 클라우드는, 상기 수집한 데이터의 처리를 위해 모델을 생성하는 모델 생성부, 상기 클라우드와 엣지 간의 분산처리를 위한 모델분배 규칙, 및 상기 모델 분배규칙에 따라 모델을 엣지로 분배하는 모델분배부를 포함하며,The cloud includes a model generation unit that generates a model for processing the collected data, a model distribution rule for distributed processing between the cloud and the edge, and a model distribution unit that distributes the model to the edge according to the model distribution rule and

상기 모델 분배규칙은 각 엣지의 프로세싱 성능 및 메모리용량 중 적어도 하나에 따라 결정되고, 이 결정된 분배규칙에 따라 상기 클라우드로부터 각 엣지에 분배되는 모델의 종류와 수가 상이한 것을 특징으로 한다. The model distribution rule is determined according to at least one of processing performance and memory capacity of each edge, and the type and number of models distributed from the cloud to each edge according to the determined distribution rule are different.

이와 관련된 선행기술3로써, 특허등록번호 10-2163280에서는 "엣지 컴퓨팅 기반 네트워크 모니터링 방법, 장치 및 시스템"이 등록되어 있다. As a related prior art 3, "Edge computing-based network monitoring method, apparatus and system" is registered in Patent Registration No. 10-2163280.

엣지 컴퓨팅 기반 네트워크 모니터링 방법, 장치 및 시스템은 제 1 엔티티 (entity) 와 제 2 엔티티, 상기 제 1 엔티티 및 제 2 엔티티 간에 구비되는 스위칭 장치를 포함하는 네트워크에 포함된, 제 2 엔티티가 제공된다. 제 2 엔티티는, 제 1 엔티티와 패킷을 송수신하기 위한 송수신부를 포함하고, 제 2 엔티티는, 프로세서를 구비하여 엣지 컴퓨팅 (Edge computing) 을 수행하거나, 프로세서를 구비하는 엣지 컴퓨팅 장치를 경유하여 상기 스위칭 장치에 연결되며, An edge computing-based network monitoring method, apparatus and system are provided with a first entity and a second entity, and a second entity included in a network including a switching device provided between the first entity and the second entity. The second entity includes a transceiver for transmitting and receiving packets to and from the first entity, and the second entity includes a processor to perform edge computing, or the switching via an edge computing device including a processor. connected to the device,

프로세서는, 제 2 엔티티로 수신되거나 제 2 엔티티에서 송신되는 적어도 하나의 패킷들에 포함된 정보들 중 적어도 일부를 기반으로 제 1 엔티티와 제 2 엔티티와 연관된 네트워크에 대한 보안 문제 발생 여부를 결정하도록 구성된다.The processor is configured to determine whether a security problem has occurred with respect to a network associated with the first entity and the second entity based on at least a part of information included in at least one packet received to or transmitted from the second entity. is composed

상기 패킷 정보를 기반으로 보안 문제 발생 여부를 결정하는 것은,Determining whether a security problem occurs based on the packet information is,

미리 결정한 제 1 소스 IP 로부터 제 1 목적지 IP 까지의 구간의 접속의 수가 미리 결정한 임계값 이상이라는 결정, 미리 결정한 제 1 URL 에 대한 요청이 미리 결정한 임계값 이상이라는 결정, 미리 결정한 제 1 서버의 BPS (Bit Per Second) 가 미리 결정한 임계값 이상이라는 결정, 미리 결정한 제 2 소스 IP 로부터의 PPS(Packet Per Second) 가 미리 결정한 임계값 이상이라는 결정, 미리 결정한 제 3 소스 IP 로부터의 동기신호 (SYN) 패킷의 수가 미리 결정한 임계값 이상이라는 결정, 및 미리 결정한 제 4 소스 IP 가 미리 결정한 임계값 이상의 개수의 서버 IP 로 동시에 접속을 시도한다는 결정 중 적어도 하나를 기반으로 상기 네트워크에 보안 문제가 발생하였다고 결정한다. Determination that the number of connections in the section from the first source IP to the first destination IP determined in advance is greater than or equal to a predetermined threshold, determination that requests to the predetermined first URL are greater than or equal to the predetermined threshold, BPS of the first server determined in advance Determination that (Bit Per Second) is greater than or equal to a predetermined threshold, determination that Packet Per Second (PPS) from the second source IP determined in advance is greater than or equal to a predetermined threshold, and a synchronization signal (SYN) from the third source IP determined in advance. Determining that a security problem has occurred in the network based on at least one of a determination that the number of packets is equal to or greater than a predetermined threshold, and a determination that a predetermined fourth source IP simultaneously attempts to connect to a number of server IPs greater than or equal to a predetermined threshold do.

네트워크 처리 기술 및 스마트 단말의 발전에 따라 동시 연결된 단말의 수가 증가하고 다양한 형태의 서비스가 등장하면서 엣지 서버를 활용한 지능형 영상 보안 기술이 주목받고 있다. 기존 VMS (Video Management System) 기반의 영상 보안 기술의 경우 다수의 단말이 VMS와 같은 클라우드를 통해 모든 정보를 공유하기 때문에 리소스 부하와 지연으로 인해 서비스 처리 효율성이 떨어지는 문제가 있다. With the development of network processing technology and smart terminals, the number of simultaneously connected terminals increases and various types of services appear, intelligent video security technology using edge servers is attracting attention. In the case of the existing VMS (Video Management System)-based video security technology, since a large number of terminals share all information through the cloud such as VMS, there is a problem in that service processing efficiency is lowered due to resource load and delay.

엣지 서버를 활용한 지능형 영상 보안 기술은 VMS 기반의 영상 보안 기술의 문제를 해결하기 위해 단말과 위치적으로 가까운 엣지 서버에서 컨텍스트 인지, 실시간 영상 분석, 그리고 엣지 서버간 자율협업을 수행한다. 이를 위해 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템을 통해 다수의 엣지 서버 및 단말이 존재하는 영상 보안 환경에서 불필요한 컨텍스트 공유를 최소화하고 엣지 서버 리소스 부하의 균형을 이루는 방향으로 자율협업을 수행함으로써 실시간 영상 분석 기반의 지능형 영상 보안 서비스가 필요하다. Intelligent video security technology using edge servers performs context recognition, real-time video analysis, and autonomous collaboration between edge servers in an edge server that is geographically close to the terminal to solve the problem of VMS-based video security technology. To this end, through an adaptive context sharing for intelligent video security and an autonomous collaboration system between edge servers, it minimizes unnecessary context sharing in a video security environment in which multiple edge servers and terminals exist and is autonomous in the direction of balancing the edge server resource load. By performing collaboration, an intelligent video security service based on real-time video analysis is required.

특허 공개번호 10-2018-0119162 (공개일자 2018년 11월 01일), "모바일 엣지에서의 컴퓨팅을 위한 플랫폼", 에이씨에스 (유에쓰), 인코포레이티드Patent Publication No. 10-2018-0119162 (published on November 01, 2018), "Platform for Computing at the Mobile Edge", ACS (US), Inc. 특허 등록번호 10-2110592 (등록일자 2020년 05월 07일), "IoT 컴퓨팅 환경에서의 클라우드와 엣지간의 분산 처리 방법 및 시스템", 전자부품연구원Patent registration number 10-2110592 (registration date May 07, 2020), "Distributed processing method and system between cloud and edge in IoT computing environment", Electronic Components Research Institute 특허 등록번호 10-2163280 (등록일자 2020년 09월 29일), "엣지 컴퓨팅 기반 네트워크 모니터링 방법, 장치 및 시스템", 주식회사 맥데이타Patent registration number 10-2163280 (registration date September 29, 2020), "Edge computing-based network monitoring method, device and system", McData Co., Ltd.

상기 문제점을 해결하기 위한 본 발명의 목적은 VMS 기반의 영상 보안 기술의 문제를 해결하기 위해 엣지 서버를 활용한 지능형 영상 보안 기술을 사용하여 단말과 위치적으로 가까운 엣지 서버에서 컨텍스트 인지, 실시간 영상 분석, 그리고 엣지 서버간 자율협업을 수행한다. 본 발명에서 제안하는 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템을 통해 다수의 엣지 서버 및 단말이 존재하는 영상 보안 환경에서 불필요한 컨텍스트 공유를 최소화하고 엣지 서버 리소스 부하의 균형을 이루는 방향으로 자율협업을 수행함으로써 실시간 영상 분석 기반의 지능형 영상 보안 서비스를 제공하는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템을 제공한다. An object of the present invention to solve the above problem is to use an intelligent video security technology using an edge server to solve the problem of VMS-based video security technology, context recognition and real-time video analysis in an edge server that is locationally close to the terminal , and autonomous collaboration between edge servers. Through the adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security proposed in the present invention, it is possible to minimize unnecessary context sharing in a video security environment in which multiple edge servers and terminals exist and to balance the edge server resource load. It provides an adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security that provides intelligent video security service based on real-time video analysis by performing autonomous collaboration in the direction of

본 발명의 목적을 달성하기 위해, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템은, 유무선 통신부를 구비한 단말; 연결된 단말과 엣지 서버의 컨텍스트를 실시간으로 추출 및 정형화하고 Master 엣지 서버로 적응적으로 컨텍스트를 공유하는 적어도 하나 이상의 Worker 엣지 서버; 및 상기 적어도 하나 이상의 Worker 엣지 서버로부터 공유된 컨텍스트(Context)를 취합 및 관리하고 단말 연결 제어를 통해 엣지 서버간 자율협업을 수행되도록 하는 Master 엣지 서버를 포함하며,
상기 적응적 컨텍스트 공유는 컨텍스트 특성을 분류하고 분류된 컨텍스트 특성을 기반으로 공유 시점을 결정하는 방식으로 수행되며, "컨텍스트를 적응적으로 공유"는 각 Worker 엣지 서버가 자신이 가지고 있는 또는 추출한 단말 및 엣지 서버 컨텍스트를 상기 Master 엣지 서버로 전송하는 과정이 컨텍스트 공유한다는 의미이며,
상기 컨텍스트의 특성은 Worker 엣지 서버간 자율협업에서 자율협업이 필요한 엣지 서버와 자율협업을 수행할 엣지 서버를 결정할 때, 핵심적으로 고려해야 할 컨텍스트인지, 아니면 보조 역할을 하는 컨텍스트인지를 나타내는 특성이며, 상기 컨텍스트 특성은 자율협업형 연계에 직접적으로 관여하는 요소[컴퓨팅 리소스(CPU clock, CPU 점유율, RAM 점유율)]와 간접적으로 관여하는 요소[엣지 서버로 전송되는 비디오의 품질(비트율), 비디오 인코딩 방식, 단말의 GPS 위치 정보, 엣지 서버의 저장 공간 크기, 연결된 단말의 개수, 엣지 서버의 IP 주소]에 따라 분류된다. In order to achieve the object of the present invention, an autonomous collaboration system between adaptive context sharing and edge servers for intelligent video security includes: a terminal having a wired/wireless communication unit; at least one worker edge server that extracts and formalizes the context of the connected terminal and edge server in real time and adaptively shares the context with the master edge server; and a Master edge server that collects and manages a context shared from the at least one or more worker edge servers and performs autonomous collaboration between edge servers through terminal connection control,
The adaptive context sharing is performed by classifying context characteristics and determining a sharing time based on the classified context characteristics. The process of transmitting the edge server context to the master edge server means that the context is shared,
The above context characteristic is a characteristic that indicates whether it is a context to be considered as a core or a context that plays an auxiliary role when determining an edge server that requires autonomous collaboration and an edge server that performs autonomous collaboration in autonomous collaboration between worker edge servers. Context characteristics include factors directly involved in autonomous collaboration (computing resources (CPU clock, CPU share, RAM share)] and indirectly related factors [quality (bit rate) of video transmitted to edge server, video encoding method, It is classified according to the GPS location information of the terminal, the size of the storage space of the edge server, the number of connected terminals, and the IP address of the edge server].

본 발명의 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템은 하나의 VMS 서버 기반의 영상 보안 기술의 과부하 문제를 해결하기 위해 분산된 다수의 엣지 서버를 활용한 지능형 영상 보안 기술을 사용하여 단말과 위치적으로 가까운 엣지 서버에서 컨텍스트 인지, 실시간 영상 분석, 그리고 엣지 서버간 자율협업을 수행한다. 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템을 통해 다수의 엣지 서버 및 단말이 존재하는 영상 보안 환경에서 불필요한 컨텍스트 공유를 최소화하고 엣지 서버 리소스 부하의 균형을 이루는 방향으로 자율협업을 수행함으로써 실시간 영상 분석 기반의 지능형 영상 보안 서비스의 효율성을 높일 수 있을 것으로 예상된다.The adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security of the present invention is an intelligent video security technology using a number of distributed edge servers to solve the overload problem of video security technology based on one VMS server. Context recognition, real-time video analysis, and autonomous collaboration between edge servers are performed on an edge server that is geographically close to the terminal. Through the adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security, we minimize unnecessary context sharing in a video security environment in which multiple edge servers and terminals exist and autonomous collaboration in the direction of balancing the edge server resource load. It is expected to increase the efficiency of intelligent video security service based on real-time video analysis.

제안하는 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 자율협업 시스템을 통해 자율협업형 연계에 관여하는 요소별로 컨텍스트 특성을 분류하고 분류된 컨텍스트 특성을 기반으로 적응적으로 컨텍스트 공유를 수행함으로써 불필요한 컨텍스트 공유를 최소화할 수 있다. 또한, 공유된 컨텍스트를 기반으로 전체적인 Worker 엣지 서버의 컴퓨팅 리소스 분산이 최소화되는 방향으로 자율협업을 수행할 Worker 엣지 서버를 결정함으로써 각 엣지 서버의 리소스 부하가 발생하는 상황을 최소화하여 실시간 영상 분석을 통한 지능형 영상 보안 서비스의 효율성을 높일 수 있다.Through the proposed adaptive context sharing and self-collaboration system for intelligent video security, unnecessary context sharing is eliminated by classifying context characteristics for each element involved in self-collaborative linkage and performing context sharing adaptively based on the classified context characteristics. can be minimized In addition, based on the shared context, the worker edge server to perform autonomous collaboration is determined in a direction that minimizes the distribution of computing resources of the overall worker edge server, thereby minimizing the resource load of each edge server through real-time video analysis. It is possible to increase the efficiency of intelligent video security service.

본 기술은 지능형 영상 보안 서비스, 스마트 시티를 위한 엣지 서버간 자율협업 플랫폼, 다종 컨텍스트 인지 기반의 지능형 서비스, 엣지 서버간 자율협업 기반의 지능형 서비스This technology is an intelligent video security service, an autonomous collaboration platform between edge servers for a smart city, an intelligent service based on multi-context recognition, and an intelligent service based on autonomous collaboration between edge servers.

도 1은 지능형 엣지 컴퓨팅 개념도이다.
도 2는 본 발명의 엣지 서버 클러스터 구조 및 리소스 기반의 엣지 서버간 자율협업(자율협업형 연계) 시나리오를 나타낸 도면이다.
도 3은 본 발명에서 제안하는 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템의 구조를 나타내며, 하나의 Master 엣지 서버에 다수의 다수의 Worker 엣지 서버가 연결되고, 각 Worker 엣지 서버는 다수의 단말이 연결되는 구조를 나타낸 도면이다.
도 4는 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템 프레임워크를 나타낸 도면이다.
도 5는 자율협업형 연계에 관여하는 요소에 따른 컨텍스트 특성 분류를 나타낸다.
도 6은 Main Context에 대한 공유 시점을 결정하기 위한 연결 단말별 요구 리소스 기반의 리소스 임계 결정을 나타낸다.
도 7은 리소스 임계 기반의 컨텍스트 공유 시점 결정에 대한 순서도를 나타낸다.
도 8은 엣지 서버간 리소스 부하 균형을 위한 컴퓨팅 리소스 예측 기반의 자율협업 개념도를 나타낸다.
도 9는 엣지 서버간 리소스 부하 균형 기반의 자율협업 결정 순서도를 나타낸다.1 is a conceptual diagram of intelligent edge computing.
2 is a diagram illustrating an edge server cluster structure and resource-based autonomous collaboration (autonomous collaboration type linkage) scenario between edge servers according to the present invention.
3 shows the structure of an autonomous collaboration system between edge servers and adaptive context sharing for intelligent video security proposed in the present invention, a plurality of worker edge servers are connected to one master edge server, and each worker edge server is a diagram showing a structure in which a plurality of terminals are connected.
4 is a diagram illustrating an adaptive context sharing and autonomous collaboration system framework between edge servers.
5 shows the classification of context characteristics according to factors involved in autonomous collaboration type association.
6 illustrates resource threshold determination based on a resource required for each connection terminal for determining a sharing time point for the Main Context.
7 is a flowchart for determining a time point of sharing a context based on a resource threshold.
8 shows a conceptual diagram of autonomous collaboration based on computing resource prediction for balancing resource load between edge servers.
9 is a flowchart illustrating an autonomous collaboration decision based on resource load balancing between edge servers.

이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. 본 발명의 설명에 있어서 관련된 공지의 기능 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 자세한 설명을 생략한다. 또한, 첨부된 도면 번호는 동일한 구성을 표기할 때에 다른 도면에서 동일한 도면번호를 부여한다. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the description of the present invention, if it is determined that a detailed description of a related well-known function or a known configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, when the accompanying drawing numbers indicate the same configuration, the same reference numbers are assigned in different drawings.

도 2는 본 발명에서 정의하는 엣지 서버 클러스터 구조 및 리소스 기반의 엣지 서버간 자율협업(자율협업형 연계) 시나리오를 나타낸 도면이다. 2 is a diagram illustrating an edge server cluster structure and resource-based autonomous collaboration (autonomous collaboration type linkage) scenario between edge servers defined in the present invention.

지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템은 하나의 VMS 서버 기반의 영상 보안 기술의 과부하 문제를 해결하기 위해 엣지 서버를 활용한 지능형 영상 보안 기술을 사용하여 단말과 위치적으로 가까운 엣지 서버에서 컨텍스트 인지, 실시간 영상 분석, 그리고 엣지 서버간 자율협업을 수행한다. The adaptive context sharing and edge server autonomous collaboration system for intelligent video security uses intelligent video security technology using edge servers to solve the overload problem of video security technology based on one VMS server, Context recognition, real-time video analysis, and autonomous collaboration between edge servers are performed on a nearby edge server.

지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템을 통해 다수의 엣지 서버 및 단말이 존재하는 영상 보안 환경에서 불필요한 컨텍스트 공유를 최소화하고 엣지 서버 리소스 부하의 균형을 이루는 방향으로 자율협업을 수행함으로써 실시간 영상 분석 기반의 지능형 영상 보안 서비스의 효율성을 높이기 위한 것이다. Through the adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security, we minimize unnecessary context sharing in a video security environment in which multiple edge servers and terminals exist and autonomous collaboration in the direction of balancing the edge server resource load. This is to increase the efficiency of intelligent video security service based on real-time video analysis.

도 3은 본 발명에서 제안하는 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템의 구조를 나타낸다. 3 shows the structure of an autonomous collaboration system between adaptive context sharing and edge servers for intelligent video security proposed by the present invention.

본 발명은 지능형 영상 보안을 위해 단말 및 엣지 서버(Edge Server)로부터 추출되는 컨텍스트를 적응적으로 공유하고 공유된 컨텍스트(Context)를 기반으로 엣지 서버간 자율협업(Autonomous Collaboration)을 수행하는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템에 관한 것이다. The present invention adaptively shares a context extracted from a terminal and an edge server for intelligent video security and performs autonomous collaboration between edge servers based on the shared context, intelligent video It relates to an adaptive context sharing for security and an autonomous collaboration system between edge servers.

지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템의 엣지 서버 구조는 클러스터 형태이며, 하나의 Master 엣지 서버(900)와 다수의 Worker 엣지 서버(700)로 구성된다. The edge server structure of the adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security is in the form of a cluster, and is composed of one master edge server 900 and a plurality of worker edge servers 700 .

하나의 Master 엣지 서버(900)에 다수의 Worker 엣지 서버(700)가 연결되고, 각 Worker 엣지 서버(700)는 다수의 단말(300)이 연결된다. 이하, Worker 엣지 서버는 엣지 서버로 칭한다. A plurality of worker edge servers 700 are connected to one master edge server 900 , and each worker edge server 700 is connected to a plurality of terminals 300 . Hereinafter, the worker edge server is referred to as an edge server.

단말(300)은 유무선 통신부를 구비한 스마트폰, CCTV 카메라, 자동차, 드론 등이 사용된다. As the terminal 300, a smart phone equipped with a wired/wireless communication unit, a CCTV camera, a car, a drone, etc. are used.

Worker 엣지 서버(700)는 연결된 단말(300)과 엣지 서버의 컨텍스트를 실시간으로 추출 및 정형화하고 Master 엣지 서버(900)로 공유한다. The worker edge server 700 extracts and formalizes the context of the connected terminal 300 and edge server in real time, and shares it with the master edge server 900 .

Master 엣지 서버(900)는 Worker 엣지 서버(700)로부터 공유된 컨텍스트(Context)를 취합 및 관리하고 단말 연결 제어를 통해 엣지 서버간 자율협업을 수행되도록 한다. The master edge server 900 collects and manages the context shared from the worker edge server 700 and enables autonomous collaboration between edge servers through terminal connection control.

단말 컨텍스트는 엣지 서버로 전송되는 비디오의 품질(비트율, bit rate), 비디오 인코딩 방식(H.264, H.265...), 단말의 GPS 위치 정보를 포함한다. The terminal context includes the video quality (bit rate, bit rate) transmitted to the edge server, the video encoding method (H.264, H.265...), and GPS location information of the terminal.

엣지 서버 컨텍스트는 컴퓨팅 리소스(CPU clock, CPU 점유율, RAM 점유율), 저장 공간 크기, 연결된 단말의 개수, IP 주소를 포함한다. Edge server context includes computing resources (CPU clock, CPU share, RAM share), storage space size, number of connected terminals, and IP address.

적응적 컨텍스트 공유는 컨텍스트 특성을 분류하고 분류된 컨텍스트 특성을 기반으로 공유 시점을 결정하는 방식으로 수행된다. Adaptive context sharing is performed by classifying context characteristics and determining a sharing point based on the classified context characteristics.

"컨텍스트를 적응적으로 공유"한다는 의미는 각 Worker 엣지 서버가 자신이 가지고 있는 (또는 추출한) 단말 및 엣지 서버 컨텍스트를 Master 엣지 서버로 전송하는 과정이 컨텍스트 공유한다는 의미이다. The meaning of “adaptively sharing the context” means that the process of transmitting the terminal and edge server context that each worker edge server owns (or extracted) to the master edge server shares the context.

"적응적으로 공유한다"는 의미는 단순히 주기적으로 단말로부터 엣지 서버로 전송한다는 것이 아니라 엣지 서버간 자율협업에서 중요하게 사용되는 컨텍스트와 상대적으로 중요도가 낮은 컨텍스트를 전송하는 시점을 다르게 하겠다는 것이다. 예를들면, 컴퓨팅 리소스 컨텍스트의 경우 즉시 공유, 나머지 컨텍스트의 경우 값의 변화가 발생하였을 때만 공유한다. “Adaptive sharing” does not simply mean that the terminal is periodically transmitted from the terminal to the edge server, but that the time point for transmitting a context that is important in autonomous collaboration between edge servers and a context that is relatively low in importance is different. For example, in the case of a computing resource context, it is shared immediately, and in the case of the rest of the context, it is shared only when a value change occurs.

컨텍스트 특성은 엣지 서버간 자율협업에서 자율협업이 필요한 엣지 서버와 자율협업을 수행할 엣지 서버를 결정할 때 핵심적으로 고려해야 할 컨텍스트인지, 아니면 보조 역할을 하는 컨텍스트인지를 나타내는 특성이다. The context characteristic is a characteristic that indicates whether it is a context that should be considered as a key factor when deciding between an edge server that needs autonomous collaboration and an edge server that will perform autonomous collaboration in autonomous collaboration between edge servers or a context that plays a secondary role.

컨텍스트 특성은 자율협업형 연계에 직접적으로 관여하는 요소[컴퓨팅 리소스(CPU clock, CPU 점유율, RAM 점유율)]와 간접적으로 관여하는 요소[엣지 서버로 전송되는 비디오의 품질 (비트율), 비디오 인코딩 방식 (H.264, H.265...), 단말의 GPS 위치 정보, 엣지 서버의 저장 공간 크기, 연결된 단말의 개수, 엣지 서버의 IP 주소]에 따라 분류된다. 자율협업형 연계에 직접적으로 관여하는 컨텍스트의 경우 엣지 서버 리소스와 리소스 임계를 비교하여 공유 시점을 결정한다. 자율협업형 연계에 간접적으로 관여하는 컨텍스트의 경우 컨텍스트 값의 변화가 발생한 경우(예를들면, 엣지 서버에 연결된 단말의 개수가 기존 2개에서 3개로 변화, 특정 단말의 GPS 값 변화) 공유한다. Context characteristics include factors directly involved in autonomous collaboration [computing resource (CPU clock, CPU share, RAM share)] and indirectly related factors [quality (bit rate) of video transmitted to edge server, video encoding method ( H.264, H.265...), GPS location information of the terminal, the size of the storage space of the edge server, the number of connected terminals, the IP address of the edge server]. In the case of a context that is directly involved in self-collaboration-type linkage, the point of sharing is determined by comparing the edge server resource and the resource threshold. In the case of a context that is indirectly involved in the autonomous collaboration type connection, when a change in the context value occurs (eg, the number of terminals connected to the edge server changes from two to three, a change in the GPS value of a specific terminal) is shared.

엣지 서버간 자율협업은 컨텍스트 특성에 따라 적응적으로 공유된 컨텍스트를 기반으로 수행되며, Master 엣지 서버에서 엣지 서버별 리소스 부하의 균형을 이룰 수 있는 방향으로 단말 연결 제어 형태의 협업(예를들면, Master 엣지 서버에서 Worker 엣지 서버에 연결된 단말에게로 다른 Worker 엣지 서버로 연결을 이동하라는 명령을 내리는 형태의 협업)을 수행할 Worker 엣지 서버를 결정한다.Autonomous collaboration between edge servers is performed based on a shared context adaptively according to context characteristics, and collaboration in the form of terminal connection control (e.g., Determines which Worker Edge Server to perform collaboration in the form of issuing a command to move the connection from the Master Edge Server to the terminal connected to the Worker Edge Server to another Worker Edge Server.

참고로, 자율협업형 연계에 직접적으로 관여하는 요소는 컴퓨팅 리소스(CPU clock, CPU 점유율, RAM 점유율)를 포함한다. For reference, factors directly involved in autonomous collaboration include computing resources (CPU clock, CPU share, RAM share).

자율협업형 연계에 간접적으로 관여하는 요소는 엣지 서버로 전송되는 비디오의 품질(비트율), 비디오 인코딩 방식 (H.264, H.265...), 단말의 GPS 위치 정보, 엣지 서버의 저장 공간 크기, 연결된 단말의 개수, 엣지 서버의 IP 주소를 포함한다. Factors that are indirectly involved in autonomous collaboration are the video quality (bit rate) transmitted to the edge server, the video encoding method (H.264, H.265...), the GPS location information of the terminal, and the storage space of the edge server. It includes the size, the number of connected terminals, and the IP address of the edge server.

본 발명에서 정의하는 "엣지 서버간 자율협업"은 도 2에 도시된 것과 같이 각 Worker 엣지 서버가 단말 및 엣지 서버 컨텍스트를 분류 및 추출하고 Master 엣지 서버로 공유하며, Master 엣지 서버에서 컨텍스트 모니터링을 통해 실시간 영상 분석을 위한 컴퓨팅 리소스가 부족한 엣지 서버에 연결된 단말을 상대적으로 컴퓨팅 리소스가 여유로운 엣지 서버로 연결을 이동시키는 과정 전부를 의미한다. "Autonomous collaboration between edge servers" as defined in the present invention, as shown in FIG. 2, each worker edge server classifies and extracts terminal and edge server contexts and shares them with the master edge server, and through context monitoring in the master edge server It refers to the whole process of moving a terminal connected to an edge server that lacks computing resources for real-time video analysis to an edge server that has relatively more computing resources.

본 발명에서 제안하는 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템은 하나의 Master 엣지 서버와 다수의 Worker 엣지 서버, 그리고 각 Worker 엣지 서버에 다수의 단말이 연결된 엣지 서버 클러스터 구조를 기반으로 동작한다. The adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security proposed in the present invention has a single master edge server, multiple worker edge servers, and an edge server cluster structure in which multiple terminals are connected to each worker edge server. works based on

도 2를 참조하면, 엣지 서버간 자율협업(자율협업형 연계) 시나리오는 특정 Worker 엣지 서버에서 연결된 단말로부터 전송되는 영상에 대한 실시간 분석이 컴퓨팅 리소스 부족에 의해 어려울 경우 Master 엣지 서버가 상대적으로 컴퓨팅 리소스가 여유로운(CPU 점유율 및 RAM 점유율이 실시간 영상 분석을 수행할 수 있을 정도로 충분히 남아있는) Worker 엣지 서버로 단말 연결을 이동시키는 시나리오를 의미한다. Referring to FIG. 2 , in the autonomous collaboration (autonomous collaboration type linkage) scenario between edge servers, when real-time analysis of images transmitted from a terminal connected from a specific worker edge server is difficult due to lack of computing resources, the master edge server has relatively computing resources. refers to a scenario in which terminal connections are moved to a worker edge server with a spare (CPU usage and RAM usage remaining sufficient to perform real-time video analysis).

Worker 엣지 서버에 연결된 단말은 영상 보안 상황에 대응하기 위해 실시간으로 영상과 메타데이터를 포함하는 동영상 스트림을 실시간으로 해당 Worker 엣지 서버로 전송하며, 즉 RTP(Real-time Transport Protocol) 및 RTCP(RTP Control Protocol)를 이용하여 영상과 메타데이터[영상의 데이터 속도, 인코딩 방식, 화질, 영상 길이, 프레임 속도, 영상 제목, 설명 및 영상 데이터 크기 등]를 해당 Worker 엣지 서버로 전송한다. A terminal connected to a worker edge server transmits a video stream including video and metadata in real time to the worker edge server in real time to respond to video security situations, that is, RTP (Real-time Transport Protocol) and RTCP (RTP Control) Protocol) to transmit the image and metadata [image data rate, encoding method, image quality, image length, frame rate, image title, description, and image data size, etc.] to the worker edge server.

상기 메타데이타는 영상 데이터 속도(비트율, bit rate), 인코딩 방식 (H.264,H.265...), 화질(1080P, 720P,...), 영상 길이, 프레임 속도(30FPS,...), 영상 제목, 설명, 및 영상 데이터 크기(100MB,...) 등을 포함한다. The metadata includes image data rate (bit rate), encoding method (H.264, H.265...), image quality (1080P, 720P,...), image length, frame rate (30FPS,... .), image title, description, and image data size (100MB,...), etc.

영상과 메터데이터를 수신한 Worker 엣지 서버는 컴퓨팅 리소스를 활용하여 실시간으로 영상을 분석하며 연결된 단말의 정보, 분석 중인 영상과 관련된 정보, 그리고 영상 분석에 의해 변화하는 엣지 서버 리소스와 관련된 정보 등“다종 컨텍스트”를 분류 및 추출한다. The Worker edge server that receives the video and metadata analyzes the video in real time by utilizing the computing resources, and includes information about the connected terminal, information related to the video being analyzed, and information related to the edge server resource that is changed by video analysis. Context” is classified and extracted.

"다종 컨텍스트"는 "단말 컨텍스트", "엣지 서버 컨텍스트"와 같은 모든 컨텍스트를 포함한다. "Multiple context" includes all contexts such as "terminal context" and "edge server context".

- 단말 컨텍스트 : 엣지 서버로 전송되는 비디오의 품질 (비트율), 비디오 인코딩 방식(H.264, H.265...), 단말의 GPS 위치 정보- Terminal context: video quality (bit rate) transmitted to the edge server, video encoding method (H.264, H.265...), GPS location information of the terminal

- 엣지 서버 컨텍스트 : 컴퓨팅 리소스 (CPU clock, CPU 점유율, RAM 점유율), 저장 공간 크기, 연결된 단말의 개수, IP 주소- Edge server context: computing resources (CPU clock, CPU share, RAM share), storage space size, number of connected devices, IP address

Worker 엣지 서버는 분류 및 추출된 "다종 컨텍스트"를 자율협업형 연계에 관여하는 요소별로 정형화하며 정형화된 다종 컨텍스트는 하나의 Master 엣지 서버로 공유된다. 하나의 Master 엣지 서버는 해당 Worker 엣지 서버로부터 공유된 다종 컨텍스트에 대한 실시간 모니터링과 다종 컨텍스트 기반의 엣지 서버간 자율협업을 수행한다. 특정 Worker 엣지 서버에서 연결된 단말로부터 전송되는 영상 분석에 필요한 리소스가 부족할 경우 Master 엣지 서버는 각 Worker 엣지 서버로부터 공유된 다종 컨텍스트를 고려하여 상대적으로 리소스가 여유로운 Worker 엣지 서버로 연결된 단말을 이동시키는 방식으로 자율협업을 수행한다.The worker edge server formalizes the classified and extracted "multi-species context" by elements involved in autonomous collaboration type connection, and the standardized multi-species context is shared by one master edge server. One master edge server performs real-time monitoring of multiple contexts shared from the worker edge server and autonomous collaboration between edge servers based on multiple contexts. When the resources required for video analysis transmitted from the terminal connected from a specific worker edge server are insufficient, the master edge server moves the terminal connected to the worker edge server with relatively free resources in consideration of the various contexts shared from each worker edge server. Carry out self-collaboration.

도 3에 도시된 바와 같이, 본 발명에서 제안하는 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템의 구조를 참조하면, 하나의 Master 엣지 서버(900)에 다수의 Worker 엣지 서버(700)가 연결되고, 각 Worker 엣지 서버(700)는 다수의 단말(300)이 연결된다.
본 발명의 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템은
유무선 통신부를 구비한 단말;
연결된 단말과 엣지 서버의 컨텍스트를 실시간으로 추출 및 정형화하고 Master 엣지 서버로 적응적으로 컨텍스트를 공유하는 적어도 하나 이상의 Worker 엣지 서버(700); 및
상기 적어도 하나 이상의 Worker 엣지 서버(700)로부터 공유된 컨텍스트(Context)를 취합 및 관리하고 단말 연결 제어를 통해 엣지 서버간 자율협업을 수행되도록 하는 Master 엣지 서버(900)를 포함하며,
상기 적응적 컨텍스트 공유는 컨텍스트 특성을 분류하고 분류된 컨텍스트 특성을 기반으로 공유 시점을 결정하는 방식으로 수행되며, "컨텍스트를 적응적으로 공유"는 각 Worker 엣지 서버가 자신이 가지고 있는 또는 추출한 단말 및 엣지 서버 컨텍스트를 상기 Master 엣지 서버로 전송하는 과정이 컨텍스트 공유한다는 의미이며,
상기 컨텍스트의 특성은 Worker 엣지 서버간 자율협업에서 자율협업이 필요한 엣지 서버와 자율협업을 수행할 엣지 서버를 결정할 때, 핵심적으로 고려해야 할 컨텍스트인지, 아니면 보조 역할을 하는 컨텍스트인지를 나타내는 특성이며, 상기 컨텍스트 특성은 자율협업형 연계에 직접적으로 관여하는 요소[컴퓨팅 리소스(CPU clock, CPU 점유율, RAM 점유율)]와 간접적으로 관여하는 요소[엣지 서버로 전송되는 비디오의 품질(비트율), 비디오 인코딩 방식, 단말의 GPS 위치 정보, 엣지 서버의 저장 공간 크기, 연결된 단말의 개수, 엣지 서버의 IP 주소]에 따라 분류된다. Referring to the structure of the autonomous collaboration system between edge servers and adaptive context sharing for intelligent video security proposed in the present invention, as shown in FIG. 3 , a plurality of worker edge servers ( 700) is connected, and each worker edge server 700 is connected to a plurality of terminals 300.
The adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security of the present invention is
a terminal having a wired/wireless communication unit;
At least one worker edge server 700 that extracts and formalizes the context of the connected terminal and edge server in real time and adaptively shares the context with the master edge server; and
A master edge server 900 that collects and manages the shared context from the at least one worker edge server 700 and performs autonomous collaboration between edge servers through terminal connection control,
The adaptive context sharing is performed by classifying context characteristics and determining a sharing time based on the classified context characteristics. The process of transmitting the edge server context to the master edge server means that the context is shared,
The above context characteristic is a characteristic that indicates whether it is a context to be considered as a core or a context that plays an auxiliary role when determining an edge server that requires autonomous collaboration and an edge server that performs autonomous collaboration in autonomous collaboration between worker edge servers. Context characteristics include factors directly involved in autonomous collaboration (computing resources (CPU clock, CPU share, RAM share)] and indirectly related factors [quality (bit rate) of video transmitted to edge server, video encoding method, It is classified according to the GPS location information of the terminal, the size of the storage space of the edge server, the number of connected terminals, and the IP address of the edge server].

단말(300)은 유무선 통신부를 구비한 스마트폰, CCTV 카메라, 자동차, 드론 등이 사용된다. As the terminal 300, a smart phone equipped with a wired/wireless communication unit, a CCTV camera, a car, a drone, etc. are used.

하나의 Master 엣지 서버(900)와 다수의 Worker 엣지 서버(700)는 중간의 Router를 통해 유선으로 연결되며, 각 Worker 엣지 서버(700)는 다수의 단말(300)이 연결되어 있어 실시간으로 동영상 스트림이 전송된다. 제안하는 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템은 기본적으로 엣지 서버간 연결은 유선(LAN. Ethernet, WAN)으로 연결되고, 각 엣지 서버(700)와 단말들(300)의 연결은 무선(Wi-Fi, LTE 4G/5G, IoT 통신망)으로 연결된다고 가정한다.One master edge server 900 and a plurality of worker edge servers 700 are connected by wire through an intermediate router, and each worker edge server 700 is connected to a plurality of terminals 300 to stream video in real time. this is sent In the proposed adaptive context sharing and autonomous collaboration system between edge servers, the connection between edge servers is basically wired (LAN, Ethernet, WAN), and the connection between each edge server 700 and terminals 300 is wireless ( Wi-Fi, LTE 4G/5G, IoT communication network) is assumed.

도 4는 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템 프레임워크를 나타낸다. 4 shows an adaptive context sharing and autonomous collaboration system framework between edge servers.

Worker 엣지 서버는 서비스 분석 모듈, 다종 컨텍스트 분류 및 추출 모듈, 다종 컨텍스트 공유 모듈, 그리고 HTTP(HyperText Transfer Protocol) 모듈을 포함한다. 서비스 분석 모듈은 연결된 단말로부터 실시간으로 전송되는 영상 (서비스)에 따라 요구되는 컴퓨팅 리소스를 분석한다. 다종 컨텍스트 분류 및 추출 모듈은 엣지 서버 또는 단말로부터 생성되는 다종 컨텍스트를 분류 및 추출한다. 다종 컨텍스트 공유 모듈은 자율협업형 연계 관여 요소에 따라 분류된 컨텍스트 특성을 기반으로 컨텍스트 공유 시점을 결정한다. HTTP 모듈은 Master 엣지 서버로 컨텍스트를 전송하거나 Master 엣지 서버로부터 자율협업 결정에 대한 정보를 수신하기 위해 사용된다. The Worker Edge Server includes a service analysis module, a multi-context classification and extraction module, a multi-context sharing module, and a HyperText Transfer Protocol (HTTP) module. The service analysis module analyzes a computing resource required according to an image (service) transmitted in real time from a connected terminal. The multiple context classification and extraction module classifies and extracts multiple contexts generated from an edge server or terminal. The multi-variety context sharing module determines the context sharing timing based on the context characteristics classified according to the self-collaborative linkage involvement factor. The HTTP module is used to send context to the master edge server or to receive information about autonomous collaboration decisions from the master edge server.

Master 엣지 서버는 부하 균형 분석 모듈, 협업 결정 모듈, 모니터링 모듈, 그리고 HTTP 모듈을 포함한다. 부하 균형 분석 모듈은 Master 엣지 서버로 다종 컨텍스트를 공유하는 Worker 엣지 서버별 컴퓨팅 리소스 부하의 변화를 파악하고 자율협업 결정 모듈로 관련 정보를 전달한다. 협업 결정 모듈은 공유된 컨텍스트와 분석된 Worker 엣지 서버별 컴퓨팅 리소스 부하의 변화를 기반으로 단말 연결 제어를 수행할 Worker 엣지 서버를 결정한다. 모니터링 모듈은 Worker 엣지 서버로부터 공유된 다종 컨텍스트를 실시간으로 취합 및 관리하며 변화가 발생했을 경우 해당 컨텍스트에 대한 정보를 업데이트한다. HTTP 모듈은 Worker 엣지 서버로부터 공유된 컨텍스트를 수신하거나 Worker 엣지 서버로 협업 결정에 대한 정보를 전송하기 위해 사용된다. The Master Edge Server includes a load balancing analysis module, a collaborative decision module, a monitoring module, and an HTTP module. The load balancing analysis module identifies the change in computing resource load for each edge server of the worker sharing various contexts with the master edge server, and delivers the relevant information to the autonomous collaboration decision module. The collaboration decision module determines the worker edge server to perform terminal connection control based on the shared context and changes in the compute resource load for each worker edge server analyzed. The monitoring module collects and manages multiple contexts shared from the worker edge server in real time, and updates information about the context when a change occurs. The HTTP module is used to receive a shared context from a worker edge server or to send information about a collaboration decision to a worker edge server.

도 5는 자율협업형 연계에 관여하는 요소에 따른 컨텍스트 특성 분류를 나타낸다. 5 shows the classification of context characteristics according to factors involved in autonomous collaboration type association.

본 발명에서 제안하는 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템에서는 자율협업 결정에 직접적으로 관여하는 컨텍스트를 Main Context, 자율협업 결정에 간접적으로 관여하는 컨텍스트를 Sub Context로 정의한다. In the autonomous collaboration system between adaptive context sharing and edge servers for intelligent video security proposed in the present invention, the context directly involved in the autonomous collaboration decision is defined as the Main Context, and the context indirectly involved in the autonomous collaboration decision is defined as the Sub Context. .

Main Context는 엣지 서버 리소스와 관련된 CPU clock과 CPU 점유율 등이 포함된다. Sub Context는 자율협업 결정에 직접적으로 관여하지는 않지만, Main Context 변화에 영향을 주는 단말로부터 실시간으로 전송되는 영상의 품질(비트율, bit rate), 엣지 서버에 연결된 단말 개수 등이 포함된다. Main Context includes CPU clock and CPU share related to edge server resources. Sub Context is not directly involved in autonomous collaboration decision, but includes the quality (bit rate, bit rate) of the video transmitted in real time from the terminal that affects the change of the Main Context, the number of terminals connected to the edge server, etc.

제안하는 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템에서 적응적 컨텍스트 공유의 경우 컨텍스트 특성에 따라 분류된 Main Context와 Sub Context에 대해 다른 공유 방식을 적용한다. Main Context의 경우 엣지 서버 리소스와 연결된 단말별로 요구되는 컴퓨팅 리소스에 따라 결정된 리소스 임계를 비교하여 공유 시점을 결정하며, Sub Context의 경우 컨텍스트 값의 변화가 발생한 컨텍스트를 Main Context와 같이 공유하는 방식이 적용된다.In the case of adaptive context sharing in the proposed adaptive context sharing and autonomous collaboration system between edge servers, different sharing methods are applied to Main Context and Sub Context classified according to context characteristics. In the case of the Main Context, the sharing timing is determined by comparing the resource threshold determined according to the computing resources required for each terminal connected to the edge server resource. do.

도 6은 Main Context에 대한 공유 시점을 결정하기 위한 연결 단말별 요구 리소스 기반의 리소스 임계 결정을 나타낸다. 6 illustrates resource threshold determination based on a resource required for each connection terminal for determining a sharing time point for the Main Context.

Worker 엣지 서버의 컴퓨팅 리소스는 단말로부터 전송된 영상에 대한 실시간 분석 외에도 Worker 엣지 서버에서 이미 실행되고 있는 어플리케이션 및 서비스에 영향을 받는다. 따라서, 엣지 서버 컴퓨팅 리소스의 급격한 변화에 따라 발생할 수 있는 불필요한 컨텍스트 공유를 최소화하기 위해 엣지 서버 컴퓨팅 리소스를 컨텍스트가 분류 및 추출될 때마다 EWMA(Exponential Weight Moving Average) 방식을 적용하여 평탄화한다. The computing resources of the worker edge server are affected by the applications and services already running on the worker edge server in addition to real-time analysis of the video transmitted from the terminal. Therefore, in order to minimize unnecessary context sharing that may occur due to a sudden change in edge server computing resources, the edge server computing resources are flattened by applying the Exponential Weight Moving Average (EWMA) method whenever a context is classified and extracted.

EWMA(Exponential Weighted Moving Average) 방식은 값 예측 방식 중의 하나로 잡음이나 오류에 의해 순간적으로 예측이 잘못될 경우를 보완하기 위해 과거의 값과 현재 측정된 값을 가중치(Weight)를 통해 조합하여 다음 값을 예측하는 방식이다. EWMA (Exponential Weighted Moving Average) method is one of the value prediction methods. In order to compensate for a momentary incorrect prediction due to noise or error, the next value is calculated by combining the past value and the current measured value through weight. a way to predict.

Figure 112020124269662-pat00001
Figure 112020124269662-pat00001

Figure 112020124269662-pat00002
: EWMA에 의해 예측된 다음 값
Figure 112020124269662-pat00002
: Next value predicted by EWMA

Figure 112020124269662-pat00003
: 가중치(Weight)
Figure 112020124269662-pat00003
: Weight

Figure 112020124269662-pat00004
: 과거에 EWMA에 의해 예측된 값
Figure 112020124269662-pat00004
: The value predicted by EWMA in the past

Figure 112020124269662-pat00005
: 현재 측정된 값
Figure 112020124269662-pat00005
: Current measured value

공유 시점 결정을 위한 리소스 임계는

Figure 112021098350798-pat00006
식을 통해 계산된다.
Figure 112021098350798-pat00007
는 엣지 서버에서 실시간으로 처리 중인 영상 (서비스),
Figure 112021098350798-pat00008
는 영상 분석에 요구되는 컴퓨팅 리소스를 기반으로 결정된 리소스 임계,
Figure 112021098350798-pat00009
는 엣지 서버의 최대 컴퓨팅 리소스, 그리고
Figure 112021098350798-pat00010
는 엣지 서버의 현재 컴퓨팅 리소스 사용량을 나타낸다.
Figure 112021098350798-pat00011
는 엣지 서버 컴퓨팅 리소스 변화량, 그리고
Figure 112021098350798-pat00012
는 엣지 서버에서 처리 중인 영상에 대해 요구되는 컴퓨팅 리소스를 나타낸다. 엣지 서버 컴퓨팅 리소스의 변화가 큰 경우(CPU 점유율 또는 RAM 점유율 값의 변화가 큰 경우) 리소스 임계의 값은 증가하며, 일정 시간 동안 엣지 서버 컴퓨팅 리소스의 변화가 없는 경우 초기에 설정했던 리소스 임계에 따라 공유 시점을 결정한다.The resource threshold for determining when to share is
Figure 112021098350798-pat00006
It is calculated through the formula
Figure 112021098350798-pat00007
is the video (service) being processed in real time on the edge server,
Figure 112021098350798-pat00008
is a resource threshold determined based on the computing resources required for image analysis,
Figure 112021098350798-pat00009
is the maximum computing resource of the edge server, and
Figure 112021098350798-pat00010
represents the current computing resource usage of the edge server.
Figure 112021098350798-pat00011
is the change in edge server computing resources, and
Figure 112021098350798-pat00012
represents the computing resource required for the image being processed by the edge server. When the edge server computing resource changes large (the change in CPU occupancy or RAM occupancy value is large), the resource threshold value increases. Decide when to share.

즉, 엣지 서버 컴퓨팅 리소스의 변화가 큰 경우(CPU 점유율 또는 RAM 점유율 값의 변화가 큰 경우) 해당 값들의 변화가 클 경우 엣지 서버에서 처리 중인 영상에 대해 요구되는 컴퓨팅 리소스와의 차이가 증가하기 때문에 컨텍스트 공유 시점을 결정하기 위해 계산하는 리소스 임계의 값 역시 증가한다.In other words, if the change in the edge server computing resources is large (the change in CPU occupancy or RAM occupancy value is large), the difference from the computing resources required for the image being processed in the edge server increases if the changes in the values are large. The value of the resource threshold calculated to determine when to share the context is also increased.

도 7은 리소스 임계 기반의 컨텍스트 공유 시점 결정에 대한 순서도를 나타낸다. Worker 엣지 서버는 연결된 단말별로 요구되는 컴퓨팅 리소스를 계산하고 평탄화 과정을 통해 컴퓨팅 리소스 변화를 예측한다. 리소스 임계는 예측된 컴퓨팅 리소스 변화를 기반으로 결정되며, Worker 엣지 서버는 현재 컴퓨팅 리소스와 리소스 임계를 비교하여 컨텍스트 공유 시점을 결정한다. 리소스 임계는 엣지 서버 컴퓨팅 리소스의 변화량을 기반으로 주기적으로 재설정된다. 엣지 서버 컴퓨팅 리소스는 도 6에서 설명한 과정을 통해 결정된 리소스 임계에 따라 여러 구간으로 나뉘며, 불필요한 컨텍스트 공유를 최소화하기 위해 Worker 엣지 서버는 엣지 서버에서 현재 사용 중인 컴퓨팅 리소스가 위치한 구간이 이전에 위치했던 구간과 다를 경우에만 컨텍스트 공유를 수행한다.7 is a flowchart for determining a time point of sharing a context based on a resource threshold. The worker edge server calculates the computing resources required for each connected terminal and predicts the change in computing resources through the flattening process. The resource threshold is determined based on the predicted computing resource change, and the worker edge server compares the current computing resource with the resource threshold to determine when to share the context. Resource thresholds are periodically reset based on changes in edge server computing resources. The edge server computing resource is divided into several sections according to the resource threshold determined through the process described in FIG. 6, and in order to minimize unnecessary context sharing, the worker edge server has the section where the computing resource currently being used in the edge server is located. Context sharing is performed only when it is different from .

도 8은 엣지 서버간 리소스 부하 균형을 위한 컴퓨팅 리소스 예측 기반의 자율협업 개념도를 나타낸다. Worker 엣지 서버에서 연결된 단말로부터 전송되는 영상에 대한 실시간 분석이 시작된 이후에 Master 엣지 서버는 Worker 엣지 서버로부터 컨텍스트 공유를 통해 연결 단말 및 엣지 서버의 컨텍스트를 취득한다. 취득된 다종 컨텍스트를 기반으로 Master 엣지 서버는 Worker 엣지 서버간 리소스 부하 균형을 위해 자율협업이 필요한 Worker 엣지 서버와 자율협업을 수행할 Worker 엣지 서버를 결정한다. 자율협업이 필요한 Worker 엣지 서버의 경우 연결된 단말에 대한 실시간 영상 분석을 위해 필요한 전체 컴퓨팅 리소스가 가용한 컴퓨팅 리소스를 초과하는 Worker 엣지 서버로 결정된다. 자율협업을 수행할 Worker 엣지 서버의 경우 Master 엣지 서버에서 전체 Worker 엣지 서버의 컴퓨팅 리소스에 대한 분산을 계산한 후, 단말 연결 제어가 가능한 모든 경우(특정 단말의 연결 이동, 특정 Worker 엣지 서버로 연결 이동)에 대해 컴퓨팅 리소스 분산의 변화를 예측하여 전체적인 분산이 가장 낮아지는 Worker 엣지 서버로 결정된다.8 shows a conceptual diagram of autonomous collaboration based on computing resource prediction for balancing resource load between edge servers. After the real-time analysis of the video transmitted from the terminal connected to the worker edge server is started, the master edge server acquires the context of the connected terminal and the edge server through context sharing from the worker edge server. Based on the acquired multiple contexts, the master edge server determines the worker edge server that needs autonomous collaboration and the worker edge server that performs autonomous collaboration to balance the resource load between the worker edge servers. In the case of worker edge servers that require autonomous collaboration, the total computing resources required for real-time video analysis of connected terminals are determined as worker edge servers exceeding the available computing resources. In the case of a worker edge server to perform autonomous collaboration, after calculating the distribution of computing resources of all worker edge servers in the master edge server, in all cases where terminal connection control is possible (connection movement of a specific terminal, connection movement to a specific worker edge server) ), the change in computing resource distribution is predicted and the worker edge server with the lowest overall distribution is determined.

도 9는 엣지 서버간 리소스 부하 균형 기반의 자율협업 결정 순서도를 나타낸다.

Figure 112021098350798-pat00013
는 Worker 엣지 서버의 컴퓨팅 리소스 예측에 따라 계산되는 분산 중 최소값, E는 Worker 엣지 서버의 수, N은 각 Worker 엣지 서버에 연결된 단말의 수, 그리고
Figure 112021098350798-pat00014
는 전체 Worker 엣지 서버의 컴퓨팅 리소스에 대한 분산을 나타낸다.9 is a flowchart illustrating an autonomous collaboration decision based on resource load balancing between edge servers.
Figure 112021098350798-pat00013
is the minimum value of variance calculated according to the computing resource prediction of the worker edge server, E is the number of worker edge servers, N is the number of terminals connected to each worker edge server, and
Figure 112021098350798-pat00014
represents the distribution of computing resources of all Worker edge servers.

Figure 112021098350798-pat00015
는 해당 엣지 서버
Figure 112021098350798-pat00016
로 단말 연결이 이동되었을 때 EWMA 방식을 적용해 예측된 엣지 서버의 컴퓨팅 리소스 값(CPU 점유율 및 RAM 점유율), 그리고
Figure 112021098350798-pat00015
is the corresponding edge server
Figure 112021098350798-pat00016
When the terminal connection is moved to

Figure 112021098350798-pat00017
는 엣지 서버
Figure 112021098350798-pat00018
의 최대 컴퓨팅 리소스(CPU 점유율 및 RAM 점유율) 용량이다.
Figure 112021098350798-pat00017
is the edge server
Figure 112021098350798-pat00018
is the maximum computing resource (CPU share and RAM share) capacity of

Master 엣지 서버는 자율협업 결정을 위해 우선 Worker 엣지 서버의 컴퓨팅 리소스 예측에 따라 계산되는 분산 중 최소값 인

Figure 112021098350798-pat00019
값을 초기화한다. The master edge server is the minimum value among the variances calculated according to the computing resource prediction of the worker edge server first for autonomous collaboration decisions.
Figure 112021098350798-pat00019
Initialize the value.

이후 Master 엣지 서버와 연결된 모든 Worker 엣지 서버에 대한 컴퓨팅 리소스 분산

Figure 112021098350798-pat00020
을 계산한다. After that, computing resources are distributed to all worker edge servers connected to the master edge server.
Figure 112021098350798-pat00020
to calculate

Master 엣지 서버는 계산된 컴퓨팅 리소스 분산을 기반으로 각 Worker 엣지 서버, 그리고 Worker 엣지 서버별로 연결된 각 단말에 대해 자율협업이 수행될 경우의 Worker 엣지 서버의 컴퓨팅 리소스 변화와 전체 컴퓨팅 리소스에 대한 분산의 변화를 예측한다. 자율협업이 수행되었을 때 단말 연결이 이동된 Worker 엣지 서버의 컴퓨팅 리소스가 가용한 컴퓨팅 리소스를 초과하였을 경우 다른 Worker 엣지 서버에 대해 동일한 과정을 반복한다. Master 엣지 서버는 연결된 모든 Worker 엣지 서버와 단말에 대해 각 Worker 엣지 서버의 가용한 컴퓨팅 리소스는 초과하지 않으면서도 전체적인 Worker 엣지 서버의 컴퓨팅 리소스 분산을 최소화할 수 있는 경우를 찾아 자율협업을 수행한다. Based on the calculated computing resource distribution, the master edge server changes the computing resource of the worker edge server and the variance of the total computing resource when autonomous collaboration is performed for each worker edge server and each terminal connected to each worker edge server. predict When autonomous collaboration is performed, if the computing resource of the worker edge server to which the terminal connection is moved exceeds the available computing resources, the same process is repeated for the other worker edge servers. The master edge server performs autonomous collaboration for all connected worker edge servers and terminals by finding a case that can minimize the distribution of computing resources of the entire worker edge server without exceeding the available computing resources of each worker edge server.

자율협업이 수행된 후, Worker 엣지 서버의 컨텍스트 공유에 따라 Master 엣지 서버가 각 Worker 엣지 서버의 컴퓨팅 리소스 변화를 인지하며, 실시간 컨텍스트 모니터링을 통해 자율협업이 필요한 Worker 엣지 서버가 발생했을 경우 위에서 설명한 엣지 서버간 리소스 부하 균형 기반의 자율협업 결정 알고리즘을 통해 자율협업을 수행할 Worker 엣지 서버를 다시 결정한다.After autonomous collaboration is performed, the master edge server recognizes the change in computing resources of each worker edge server according to the context sharing of the worker edge servers. Through the autonomous collaboration decision algorithm based on resource load balancing between servers, the worker edge server to perform autonomous collaboration is re-determined.

그 결과, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템은 하나의 VMS 서버 기반의 영상 보안 기술의 과부하 문제를 해결하기 위해 엣지 서버(Edge Server)를 활용한 지능형 영상 보안 기술을 사용하여 단말(Device)과 위치적으로 가까운 엣지 서버에서 컨텍스트 인지, 실시간 영상 분석, 그리고 엣지 서버간 자율협업을 수행한다. As a result, the adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security is an intelligent video security technology using an edge server to solve the overload problem of video security technology based on one VMS server. Context recognition, real-time image analysis, and autonomous collaboration between edge servers are performed on an edge server that is geographically close to the device.

지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템을 통해 다수의 엣지 서버 및 단말이 존재하는 영상 보안 환경에서 불필요한 컨텍스트 공유를 최소화하고 엣지 서버 리소스 부하의 균형을 이루는 방향으로 자율협업을 수행함으로써 실시간 영상 분석 기반의 지능형 영상 보안 서비스의 효율성을 높이게 되었다. Through the adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security, we minimize unnecessary context sharing in a video security environment in which multiple edge servers and terminals exist and autonomous collaboration in the direction of balancing the edge server resource load. By doing so, the efficiency of intelligent video security service based on real-time video analysis was increased.

본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되고 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 저장 매체에 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.　프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드 뿐만아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.　상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.Embodiments according to the present invention may be implemented in the form of program instructions that can be executed by various computer means and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, and data structures alone or in combination. Computer-readable recording media include storage, hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - A hardware device configured to store and execute program instructions in magneto-optical media, and storage media such as ROM, RAM, flash memory, and the like may be included. Examples of program instructions may include those generated by a compiler and not only machine language code but also high-level language code that can be executed by a computer using an interpreter. The hardware device may be configured to operate as one or more software modules to perform the operations of the present invention.

이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다. As described above, the method of the present invention is implemented as a program and can be read using computer software in a form that can be read on a recording medium (CD-ROM, RAM, ROM, memory card, hard disk, magneto-optical disk, storage device, etc.). ) can be stored in

본 발명의 구체적인 실시예를 참조하여 설명하였지만, 본 발명은 상기와 같이 기술적 사상을 예시하기 위해 구체적인 실시 예와 동일한 구성 및 작용에만 한정되지 않고, 본 발명의 기술적 사상과 범위를 벗어나지 않는 한도 내에서 다양하게 변형하여 실시될 수 있으며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.Although described with reference to a specific embodiment of the present invention, the present invention is not limited only to the same configuration and operation as the specific embodiment to illustrate the technical idea as described above, and within the limit not departing from the technical spirit and scope of the present invention. It can be implemented with various modifications, and the scope of the present invention should be determined by the claims to be described later.

300: 단말
700: 워커 엣지 서버
900: 마스터 엣지 서버300: terminal
700: Walker Edge Server
900: master edge server

Claims (14)

유무선 통신부를 구비한 단말;
연결된 단말과 엣지 서버의 컨텍스트를 실시간으로 추출 및 정형화하고 Master 엣지 서버로 적응적으로 컨텍스트를 공유하는 적어도 하나 이상의 Worker 엣지 서버; 및
상기 적어도 하나 이상의 Worker 엣지 서버로부터 공유된 컨텍스트(Context)를 취합 및 관리하고 단말 연결 제어를 통해 엣지 서버간 자율협업을 수행되도록 하는 Master 엣지 서버를 포함하며,
상기 적응적 컨텍스트 공유는 컨텍스트 특성을 분류하고 분류된 컨텍스트 특성을 기반으로 공유 시점을 결정하는 방식으로 수행되며, "컨텍스트를 적응적으로 공유"는 각 Worker 엣지 서버가 자신이 가지고 있는 또는 추출한 단말 및 엣지 서버 컨텍스트를 상기 Master 엣지 서버로 전송하는 과정이 컨텍스트 공유한다는 의미이며,
상기 컨텍스트의 특성은 Worker 엣지 서버간 자율협업에서 자율협업이 필요한 엣지 서버와 자율협업을 수행할 엣지 서버를 결정할 때, 핵심적으로 고려해야 할 컨텍스트인지, 아니면 보조 역할을 하는 컨텍스트인지를 나타내는 특성이며, 상기 컨텍스트 특성은 자율협업형 연계에 직접적으로 관여하는 요소[컴퓨팅 리소스(CPU clock, CPU 점유율, RAM 점유율)]와 간접적으로 관여하는 요소[엣지 서버로 전송되는 비디오의 품질(비트율), 비디오 인코딩 방식, 단말의 GPS 위치 정보, 엣지 서버의 저장 공간 크기, 연결된 단말의 개수, 엣지 서버의 IP 주소]에 따라 분류되는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.a terminal having a wired/wireless communication unit;
at least one worker edge server that extracts and formalizes the context of the connected terminal and edge server in real time and adaptively shares the context with the master edge server; and
A master edge server that collects and manages the context shared from the at least one worker edge server and performs autonomous collaboration between edge servers through terminal connection control,
The adaptive context sharing is performed by classifying context characteristics and determining a sharing time based on the classified context characteristics. The process of transmitting the edge server context to the master edge server means that the context is shared,
The above context characteristic is a characteristic that indicates whether it is a context to be considered as a core or a context that plays an auxiliary role when determining an edge server that requires autonomous collaboration and an edge server that performs autonomous collaboration in autonomous collaboration between worker edge servers. Context characteristics include factors directly involved in autonomous collaboration (computing resources (CPU clock, CPU share, RAM share)] and indirectly related factors [quality (bit rate) of video transmitted to edge server, video encoding method, An adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security classified according to the GPS location information of the device, the size of the storage space of the edge server, the number of connected devices, and the IP address of the edge server]. 제1항에 있어서,
상기 유무선 통신부를 구비한 단말은 유무선 통신부를 구비한 스마트폰, CCTV 카메라, 자동차, 드론이 사용되는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.According to claim 1,
The terminal having the wired/wireless communication unit uses a smart phone, a CCTV camera, a car, and a drone equipped with a wired/wireless communication unit, an adaptive context sharing and edge server autonomous collaboration system for intelligent video security. 제1항에 있어서,
상기 단말 컨텍스트는 엣지 서버로 전송되는 비디오의 품질(비트율), 비디오 인코딩 방식, 단말의 GPS 위치 정보를 포함하고,
상기 엣지 서버 컨텍스트는 컴퓨팅 리소스(CPU clock, CPU 점유율, RAM 점유율), 저장 공간 크기, 연결된 단말의 개수, IP 주소를 포함하는 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.According to claim 1,
The terminal context includes the quality (bit rate) of the video transmitted to the edge server, the video encoding method, and GPS location information of the terminal,
The edge server context includes computing resources (CPU clock, CPU share, RAM share), storage space size, number of connected terminals, and adaptive context sharing for intelligent video security and autonomous collaboration system between edge servers. 제1항에 있어서,
적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템은 기본적으로 엣지 서버간 연결은 유선(LAN. Ethernet, WAN)으로 연결되고, 각 Worker 엣지 서버와 단말들의 연결은 무선(Wi-Fi, LTE 4G/5G, IoT 통신망)으로 연결되는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.According to claim 1,
In the adaptive context sharing and autonomous collaboration system between edge servers, the connection between edge servers is basically wired (LAN, Ethernet, WAN), and the connection between each worker edge server and terminals is wireless (Wi-Fi, LTE 4G/5G) , IoT network), an adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security. 삭제delete 제1항에 있어서,
상기 자율협업형 연계에 직접적으로 관여하는 컨텍스트의 경우 엣지 서버 리소스와 리소스 임계를 비교하여 공유 시점을 결정하고, 상기 자율협업형 연계에 간접적으로 관여하는 컨텍스트의 경우 컨텍스트 값의 변화가 발생한 경우(엣지 서버에 연결된 단말의 개수의 변화, 특정 단말의 GPS 값 변화) 공유하고,
상기 Worker 엣지 서버간 자율협업은 상기 컨텍스트 특성에 따라 적응적으로 공유된 컨텍스트를 기반으로 수행되며, 상기 Master 엣지 서버에서 엣지 서버별 리소스 부하의 균형을 이룰 수 있는 방향으로 단말 연결 제어 형태의 협업(Master 엣지 서버에서 Worker 엣지 서버에 연결된 단말로 다른 Worker 엣지 서버로 연결을 이동하라는 명령을 내리는 형태의 협업)을 수행할 Worker 엣지 서버를 결정하는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.According to claim 1,
In the case of a context directly involved in the autonomous collaboration type connection, the sharing point is determined by comparing the edge server resource and the resource threshold. changes in the number of terminals connected to the server, changes in the GPS value of a specific terminal),
The autonomous collaboration between the worker edge servers is performed based on a shared context adaptively according to the context characteristics, and the terminal connection control type collaboration ( Adaptive context sharing for intelligent video security and adaptive context sharing for intelligent video security that determines the worker edge server to perform (collaboration in the form of issuing a command to move the connection from the master edge server to the terminal connected to the worker edge server to another worker edge server) Autonomous Collaboration System. 제1항에 있어서,
상기 Worker 엣지 서버에 연결된 단말은 영상 보안 상황에 대응하기 위해 실시간으로 영상과 메타데이터를 포함하는 동영상 스트림을 실시간으로 RTP(Real-time Transport Protocol) 및 RTCP(RTP Control Protocol)를 이용하여 해당 Worker 엣지 서버로 전송하고, 상기 메타데이타는 영상 데이터 속도(비트율), 인코딩 방식, 화질, 영상 길이, 프레임 속도, 영상 제목, 설명, 영상 데이터 크기를 포함하며,
상기 영상과 메터데이터를 수신한 Worker 엣지 서버는 컴퓨팅 리소스를 활용하여 실시간으로 영상을 분석하며 연결된 단말의 정보, 분석 중인 영상과 관련된 정보, 그리고 영상 분석에 의해 변화하는 엣지 서버 리소스와 관련된 정보 등“다종 컨텍스트”를 분류 및 추출하며, 상기 "다종 컨텍스트"는 "단말 컨텍스트", "엣지 서버 컨텍스트"와 같은 모든 컨텍스트를 포함하며,
상기 Worker 엣지 서버는 분류 및 추출된 "다종 컨텍스트"를 자율협업형 연계에 관여하는 요소별로 정형화하며, 정형화된 다종 컨텍스트는 상기 Master 엣지 서버로 공유되며, 상기 Master 엣지 서버는 해당 Worker 엣지 서버로부터 공유된 다종 컨텍스트에 대한 실시간 모니터링과 다종 컨텍스트 기반의 엣지 서버간 자율협업을 수행하며, 특정 Worker 엣지 서버에서 연결된 단말로부터 전송되는 영상 분석에 필요한 리소스가 부족할 경우 상기 Master 엣지 서버는 각 Worker 엣지 서버로부터 공유된 다종 컨텍스트를 고려하여 상대적으로 리소스가 여유로운 Worker 엣지 서버로 연결된 단말을 이동시키는 방식으로 자율협업을 수행하는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.According to claim 1,
The terminal connected to the worker edge server uses RTP (Real-time Transport Protocol) and RTCP (RTP Control Protocol) to transmit a video stream including video and metadata in real time in real time to respond to video security situations. transmitted to the server, and the metadata includes image data rate (bit rate), encoding method, image quality, image length, frame rate, image title, description, and image data size,
The worker edge server that has received the video and metadata analyzes the video in real time using computing resources, and includes information on the connected terminal, information related to the video being analyzed, and information related to edge server resources that are changed by video analysis.” Classify and extract “multiple contexts”, and the “multiple contexts” include all contexts such as “terminal context” and “edge server context”,
The worker edge server formalizes the classified and extracted "multiple contexts" for each element involved in autonomous collaboration type connection, and the standardized multispecies context is shared with the master edge server, and the master edge server is shared from the worker edge server Real-time monitoring of multiple contexts and autonomous collaboration between edge servers based on multiple contexts are performed. An adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security that performs autonomous collaboration by moving a terminal connected to a worker edge server with relatively free resources in consideration of the multiple contexts. 제1항에 있어서,
상기 Worker 엣지 서버는
연결된 단말로부터 실시간으로 전송되는 영상 (서비스)에 따라 요구되는 컴퓨팅 리소스를 분석하는 서비스 분석 모듈;
Worker 엣지 서버 또는 단말로부터 생성되는 다종 컨텍스트를 분류 및 추출하는 다종 컨텍스트 분류 및 추출 모듈;
자율협업형 연계 관여 요소에 따라 분류된 컨텍스트 특성을 기반으로 컨텍스트 공유 시점을 결정하는 다종 컨텍스트 공유 모듈; 및
상기 Master 엣지 서버로 컨텍스트를 전송하거나 또는 Master 엣지 서버로부터 자율협업 결정에 대한 정보를 수신하기 위해 사용되는 HTTP 모듈을 포함하는 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.According to claim 1,
The Worker Edge Server is
a service analysis module for analyzing a computing resource required according to an image (service) transmitted in real time from a connected terminal;
Multiple context classification and extraction module for classifying and extracting multiple contexts generated from a worker edge server or terminal;
A multi-species context sharing module for determining a context sharing time based on context characteristics classified according to self-collaboration-type linkage involvement factors; and
An adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security, including an HTTP module used to transmit a context to the master edge server or receive information about autonomous collaboration decisions from the master edge server. 제1항에 있어서,
상기 Master 엣지 서버는
상기 Master 엣지 서버로 다종 컨텍스트를 공유하는 Worker 엣지 서버별 컴퓨팅 리소스 부하의 변화를 파악하고 자율협업 결정 모듈로 관련 정보를 전달하는 부하 균형 분석 모듈;
공유된 컨텍스트와 분석된 Worker 엣지 서버별 컴퓨팅 리소스 부하의 변화를 기반으로 단말 연결 제어를 수행할 Worker 엣지 서버를 결정하는 협업 결정 모듈;
Worker 엣지 서버로부터 공유된 다종 컨텍스트를 실시간으로 취합 및 관리하며 변화가 발생했을 경우 해당 컨텍스트에 대한 정보를 업데이트하는 모니터링 모듈; 및
Worker 엣지 서버로부터 공유된 컨텍스트를 수신하거나 Worker 엣지 서버로 협업 결정에 대한 정보를 전송하기 위해 사용되는 HTTP 모듈;
을 포함하는 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.According to claim 1,
The Master Edge Server is
a load balance analysis module for identifying changes in computing resource load for each worker edge server sharing multiple contexts with the master edge server and delivering relevant information to the autonomous collaboration decision module;
a collaboration decision module for determining a worker edge server to perform terminal connection control based on a shared context and a change in computing resource load for each analyzed worker edge server;
a monitoring module that collects and manages multiple contexts shared from the worker edge server in real time and updates information on the context when a change occurs; and
an HTTP module used to receive a shared context from a worker edge server or send information about a collaboration decision to a worker edge server;
An adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security that includes. 제1항에 있어서,
지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템에서는 자율협업 결정에 직접적으로 관여하는 컨텍스트를 Main Context, 자율협업 결정에 간접적으로 관여하는 컨텍스트를 Sub Context로 정의하며,
상기 Main Context는 엣지 서버 리소스와 관련된 CPU clock과 CPU 점유율이 포함되고,
상기 Sub Context는 자율협업 결정에 직접적으로 관여하지는 않지만, Main Context 변화에 영향을 주는 단말로부터 실시간으로 전송되는 영상의 품질(비트율, bit rate), Worker 엣지 서버에 연결된 단말 개수가 포함되며,
적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템에서 적응적 컨텍스트 공유의 경우 컨텍스트 특성에 따라 분류된 상기 Main Context와 상기 Sub Context에 대해 다른 공유 방식을 적용하고, 상기 Main Context의 경우 엣지 서버 리소스와 연결된 단말별로 요구되는 컴퓨팅 리소스에 따라 결정된 리소스 임계를 비교하여 공유 시점을 결정하며, 상기 Sub Context의 경우 컨텍스트 값의 변화가 발생한 컨텍스트를 Main Context와 같이 공유하는 방식이 적용되는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.According to claim 1,
In the autonomous collaboration system between adaptive context sharing and edge servers for intelligent video security, the context directly involved in the autonomous collaboration decision is defined as the Main Context, and the context indirectly involved in the autonomous collaboration decision is defined as the Sub Context.
The Main Context includes the CPU clock and CPU share related to edge server resources,
The Sub Context is not directly involved in the autonomous collaboration decision, but includes the quality (bit rate) of the video transmitted in real time from the terminal that affects the change of the Main Context, the number of terminals connected to the worker edge server,
In the case of adaptive context sharing and autonomous collaboration system between edge servers, different sharing methods are applied to the Main Context and the Sub Context classified according to context characteristics, and in the case of the Main Context, connected to edge server resources The sharing timing is determined by comparing the resource threshold determined according to the computing resources required for each terminal, and in the case of the Sub Context, the method of sharing the context in which the context value change occurs as the Main Context is applied, adaptation for intelligent video security Autonomous collaboration system between enemy context sharing and edge servers. 제10항에 있어서,
상기 Main Context에 대한 공유 시점을 결정하기 위한 연결 단말별 요구 리소스 기반의 리소스 임계 결정 시에,
상기 Worker 엣지 서버의 컴퓨팅 리소스는 단말로부터 전송된 영상에 대한 실시간 분석 외에도 상기 Worker 엣지 서버에서 이미 실행되고 있는 어플리케이션 및 서비스에 영향을 받으며, 상기 Worker 엣지 서버 컴퓨팅 리소스의 급격한 변화에 따라 발생할 수 있는 불필요한 컨텍스트 공유를 최소화하기 위해 엣지 서버 컴퓨팅 리소스를 컨텍스트가 분류 및 추출될 때마다 EWMA(Exponential Weight Moving Average) 방식을 적용하여 평탄화하며,
Figure 112021098350798-pat00021

Figure 112021098350798-pat00022
: EWMA에 의해 예측된 다음 값
Figure 112021098350798-pat00023
: 가중치(Weight)
Figure 112021098350798-pat00024
: 과거에 EWMA에 의해 예측된 값
Figure 112021098350798-pat00025
: 현재 측정된 값
공유 시점 결정을 위한 리소스 임계는
Figure 112021098350798-pat00026
식을 통해 계산되며,
Figure 112021098350798-pat00027
는 엣지 서버에서 실시간으로 처리 중인 영상 (서비스),
Figure 112021098350798-pat00028
는 영상 분석에 요구되는 컴퓨팅 리소스를 기반으로 결정된 리소스 임계,
Figure 112021098350798-pat00029
는 엣지 서버의 최대 컴퓨팅 리소스, 그리고
Figure 112021098350798-pat00030
는 엣지 서버의 현재 컴퓨팅 리소스 사용량을 나타내고,
Figure 112021098350798-pat00031
는 엣지 서버 컴퓨팅 리소스 변화량, 그리고
Figure 112021098350798-pat00032
는 엣지 서버에서 처리 중인 영상에 대해 요구되는 컴퓨팅 리소스를 나타내고, 엣지 서버 컴퓨팅 리소스의 변화가 큰 경우(CPU 점유율 또는 RAM 점유율 값의 변화가 큰 경우) 리소스 임계의 값은 증가하며, 일정 시간 동안 엣지 서버 컴퓨팅 리소스의 변화가 없는 경우 초기에 설정했던 리소스 임계에 따라 공유 시점을 결정하며,
즉, 엣지 서버 컴퓨팅 리소스의 변화가 큰 경우(CPU 점유율 또는 RAM 점유율 값의 변화가 큰 경우) 해당 값들의 변화가 클 경우 엣지 서버에서 처리 중인 영상에 대해 요구되는 컴퓨팅 리소스와의 차이가 증가하기 때문에 컨텍스트 공유 시점을 결정하기 위해 계산하는 리소스 임계의 값 역시 증가하는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.11. The method of claim 10,
When determining the resource threshold based on the resource required for each connection terminal for determining the sharing time for the Main Context,
The computing resource of the worker edge server is affected by applications and services already running on the worker edge server in addition to real-time analysis of the image transmitted from the terminal, and unnecessary unnecessary that may occur due to a sudden change in the worker edge server computing resource To minimize context sharing, edge server computing resources are flattened by applying the Exponential Weight Moving Average (EWMA) method whenever a context is classified and extracted.
Figure 112021098350798-pat00021

Figure 112021098350798-pat00022
: Next value predicted by EWMA
Figure 112021098350798-pat00023
: Weight
Figure 112021098350798-pat00024
: The value predicted by EWMA in the past
Figure 112021098350798-pat00025
: Current measured value
The resource threshold for determining when to share is
Figure 112021098350798-pat00026
It is calculated through the formula,
Figure 112021098350798-pat00027
is the video (service) being processed in real time on the edge server,
Figure 112021098350798-pat00028
is a resource threshold determined based on the computing resources required for image analysis,
Figure 112021098350798-pat00029
is the maximum computing resource of the edge server, and
Figure 112021098350798-pat00030
represents the current computing resource usage of the edge server,
Figure 112021098350798-pat00031
is the change in edge server computing resources, and
Figure 112021098350798-pat00032
represents the computing resource required for the image being processed by the edge server, and when the edge server computing resource changes are large (the change in the CPU occupancy or RAM occupancy value is large), the resource threshold increases, and the edge If there is no change in server computing resources, the timing of sharing is determined according to the resource threshold set initially.
In other words, when the change in edge server computing resources is large (the change in CPU occupancy or RAM occupancy values is large), if the changes in the values are large, the difference from the computing resources required for the image being processed in the edge server increases. An adaptive context sharing and edge server autonomous collaboration system for intelligent video security that also increases the resource threshold value calculated to determine the context sharing time point. 제11항에 있어서,
리소스 임계 기반의 컨텍스트 공유 시점 결정시에, 상기 Worker 엣지 서버는 연결된 단말별로 요구되는 컴퓨팅 리소스를 계산하고 평탄화 과정을 통해 컴퓨팅 리소스 변화를 예측하고, 리소스 임계는 예측된 컴퓨팅 리소스 변화를 기반으로 결정되며, Worker 엣지 서버는 현재 컴퓨팅 리소스와 리소스 임계를 비교하여 컨텍스트 공유 시점을 결정하며, 리소스 임계는 엣지 서버 컴퓨팅 리소스의 변화량을 기반으로 주기적으로 재설정되며, 엣지 서버의 컴퓨팅 리소스는 결정된 리소스 임계에 따라 여러 구간으로 나뉘며, 불필요한 컨텍스트 공유를 최소화하기 위해 상기 Worker 엣지 서버는 엣지 서버에서 현재 사용 중인 컴퓨팅 리소스가 위치한 구간이 이전에 위치했던 구간과 다를 경우에만 컨텍스트 공유를 수행하는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.12. The method of claim 11,
When determining the time to share the context based on the resource threshold, the worker edge server calculates the computing resources required for each connected terminal and predicts the computing resource change through the flattening process, and the resource threshold is determined based on the predicted computing resource change, The worker edge server compares the current computing resource with the resource threshold to determine when to share the context, and the resource threshold is periodically reset based on the amount of change in the edge server computing resource. In order to minimize unnecessary context sharing, the Worker edge server performs context sharing only when the section where the computing resource currently being used in the edge server is located is different from the section where it was previously located. Adaptive context for intelligent video security Autonomous collaboration system between shared and edge servers. 제12항에 있어서,
엣지 서버간 리소스 부하 균형을 위한 컴퓨팅 리소스 예측 기반의 자율협업은
상기 Worker 엣지 서버에서 연결된 단말로부터 전송되는 영상에 대한 실시간 분석이 시작된 이후에 상기 Master 엣지 서버는 상기 Worker 엣지 서버로부터 컨텍스트 공유를 통해 연결 단말 및 엣지 서버의 컨텍스트를 취득하며, 취득된 다종 컨텍스트를 기반으로 상기 Master 엣지 서버는 상기 Worker 엣지 서버간 리소스 부하 균형을 위해 자율협업이 필요한 Worker 엣지 서버와 자율협업을 수행할 Worker 엣지 서버를 결정하며, 자율협업이 필요한 상기 Worker 엣지 서버의 경우 연결된 단말에 대한 실시간 영상 분석을 위해 필요한 전체 컴퓨팅 리소스가 가용한 컴퓨팅 리소스를 초과하는 Worker 엣지 서버로 결정되고, 자율협업을 수행할 Worker 엣지 서버의 경우 상기 Master 엣지 서버에서 전체 Worker 엣지 서버의 컴퓨팅 리소스에 대한 분산을 계산한 후, 단말 연결 제어가 가능한 모든 경우(특정 단말의 연결 이동, 특정 Worker 엣지 서버로 연결 이동)에 대해 컴퓨팅 리소스 분산의 변화를 예측하여 전체적인 분산이 가장 낮아지는 Worker 엣지 서버로 결정되는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.13. The method of claim 12,
Autonomous collaboration based on computing resource prediction for resource load balancing between edge servers
After the real-time analysis of the image transmitted from the terminal connected to the worker edge server is started, the master edge server acquires the context of the connected terminal and the edge server through context sharing from the worker edge server, and based on the acquired multiple contexts In order to balance the resource load between the worker edge servers, the master edge server determines a worker edge server that requires autonomous collaboration and a worker edge server to perform autonomous collaboration, and in the case of the worker edge server that requires autonomous collaboration, The total computing resources required for real-time video analysis are determined as worker edge servers that exceed the available computing resources, and in the case of worker edge servers that will perform autonomous collaboration, the distribution of computing resources of all worker edge servers from the master edge server is determined. After calculation, it predicts the change in computing resource distribution for all cases where terminal connection control is possible (connection movement of a specific terminal, connection movement to a specific worker edge server), and is determined as the worker edge server with the lowest overall variance. Adaptive context sharing and autonomous collaboration system between edge servers for video security. 제13항에 있어서,
엣지 서버간 리소스 부하 균형 기반의 자율협업 결정 시에
Figure 112021098350798-pat00033
는 상기 Worker 엣지 서버의 컴퓨팅 리소스 예측에 따라 계산되는 분산 중 최소값, E는 Worker 엣지 서버의 수, N은 각 Worker 엣지 서버에 연결된 단말의 수, 그리고
Figure 112021098350798-pat00034
는 전체 Worker 엣지 서버의 컴퓨팅 리소스에 대한 분산을 나타내며,
Figure 112021098350798-pat00035
는 해당 엣지 서버
Figure 112021098350798-pat00036
로 단말 연결이 이동되었을 때 EWMA 방식을 적용해 예측된 엣지 서버의 컴퓨팅 리소스 값(CPU 점유율 및 RAM 점유율),
Figure 112021098350798-pat00037
는 엣지 서버
Figure 112021098350798-pat00038
의 최대 컴퓨팅 리소스(CPU 점유율 및 RAM 점유율) 용량이며,
상기 Master 엣지 서버는 자율협업 결정을 위해 우선 Worker 엣지 서버의 컴퓨팅 리소스 예측에 따라 계산되는 분산 중 최소값
Figure 112021098350798-pat00039
을 초기화하며,
이후 상기 Master 엣지 서버와 연결된 모든 Worker 엣지 서버에 대한 컴퓨팅 리소스 분산
Figure 112021098350798-pat00040
을 계산하며, 상기 Master 엣지 서버는 계산된 컴퓨팅 리소스 분산을 기반으로 각 Worker 엣지 서버, 그리고 Worker 엣지 서버별로 연결된 각 단말에 대해 자율협업이 수행될 경우의 엣지 서버의 컴퓨팅 리소스 변화와 전체 컴퓨팅 리소스에 대한 분산의 변화를 예측하며, 자율협업이 수행되었을 때 단말 연결이 이동된 Worker 엣지 서버의 컴퓨팅 리소스가 가용한 컴퓨팅 리소스를 초과하였을 경우 다른 Worker 엣지 서버에 대해 동일한 과정을 반복하며, 상기 Master 엣지 서버는 연결된 모든 Worker 엣지 서버와 단말에 대해 각 Worker 엣지 서버의 가용한 컴퓨팅 리소스는 초과하지 않으면서도 전체적인 Worker 엣지 서버의 컴퓨팅 리소스 분산을 최소화할 수 있는 경우를 찾아 자율협업을 수행하며, 자율협업이 수행된 이후에는 Worker 엣지 서버의 컨텍스트 공유에 따라 Master 엣지 서버가 각 Worker 엣지 서버의 컴퓨팅 리소스 변화를 인지하며, 실시간 컨텍스트 모니터링을 통해 자율협업이 필요한 Worker 엣지 서버가 발생했을 경우 엣지 서버간 리소스 부하 균형 기반의 자율협업 결정 알고리즘을 통해 자율협업을 수행할 Worker 엣지 서버를 다시 결정하는, 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템.
14. The method of claim 13,
When deciding autonomous collaboration based on resource load balancing between edge servers
Figure 112021098350798-pat00033
is the minimum value of variance calculated according to the computing resource prediction of the worker edge server, E is the number of worker edge servers, N is the number of terminals connected to each worker edge server, and
Figure 112021098350798-pat00034
represents the distribution of computing resources of the entire worker edge server,
Figure 112021098350798-pat00035
is the corresponding edge server
Figure 112021098350798-pat00036
When the terminal connection is moved to
Figure 112021098350798-pat00037
is the edge server
Figure 112021098350798-pat00038
is the maximum computing resource (CPU share and RAM share) capacity of
The master edge server is the minimum value among the variances calculated according to the computing resource prediction of the worker edge server first for autonomous collaboration decision.
Figure 112021098350798-pat00039
to initialize,
After that, computing resources are distributed to all worker edge servers connected to the master edge server.
Figure 112021098350798-pat00040
Calculates , and the Master edge server is based on the calculated computing resource distribution based on the change in computing resources of the edge server and the total computing resources when autonomous collaboration is performed for each worker edge server and each terminal connected to each worker edge server. predicts the change in distribution of the user, and if the computing resource of the worker edge server to which the terminal connection is moved exceeds the available computing resources when autonomous collaboration is performed, the same process is repeated for the other worker edge servers, and the master edge server performs autonomous collaboration for all connected worker edge servers and terminals by finding a case where the distribution of computing resources of the overall worker edge server can be minimized without exceeding the available computing resources of each worker edge server. After that, the master edge server recognizes the change in computing resources of each worker edge server according to the context sharing of the worker edge servers. An adaptive context sharing and autonomous collaboration system between edge servers for intelligent video security that re-determines which worker edge server to perform autonomous collaboration through the autonomous collaboration decision algorithm of
KR1020200155398A 2020-11-19 2020-11-19 Adaptive Context Sharing and the Autonomous Collaboration System between Edge Servers for Intelligent Video Security KR102304477B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200155398A KR102304477B1 (en) 2020-11-19 2020-11-19 Adaptive Context Sharing and the Autonomous Collaboration System between Edge Servers for Intelligent Video Security

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200155398A KR102304477B1 (en) 2020-11-19 2020-11-19 Adaptive Context Sharing and the Autonomous Collaboration System between Edge Servers for Intelligent Video Security

Publications (1)

Publication Number Publication Date
KR102304477B1 true KR102304477B1 (en) 2021-09-17

Family

ID=77924175

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200155398A KR102304477B1 (en) 2020-11-19 2020-11-19 Adaptive Context Sharing and the Autonomous Collaboration System between Edge Servers for Intelligent Video Security

Country Status (1)

Country Link
KR (1) KR102304477B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023075013A1 (en) * 2021-10-29 2023-05-04 한국전자기술연구원 Ar streaming device, method, and system linked to edge server
WO2023128085A1 (en) * 2021-12-27 2023-07-06 주식회사 이노그리드 System and method for collection of edge cloud monitoring data using artificial intelligence
KR20240016572A (en) 2022-07-29 2024-02-06 광운대학교 산학협력단 Cloud-Multiple Edge Server Collaboration System and Method Based on Service Classification in Intelligent Video Security Environments

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180119162A (en) 2016-02-25 2018-11-01 에이씨에스 (유에쓰), 인코포레이티드 Platform for computing on mobile edge
KR20200044200A (en) * 2018-10-10 2020-04-29 전자부품연구원 Method and system for distributed operation between cloud and edge in IoT comuting environment
KR20200078385A (en) * 2018-12-21 2020-07-01 폭스바겐 악티엔 게젤샤프트 Method for operating a decentralized computing network, in particular an edge cloud computer of the decentralized computing network
KR102163280B1 (en) 2018-09-19 2020-10-08 주식회사 맥데이타 An apparatus for network monitoring based on edge computing and method thereof, and system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180119162A (en) 2016-02-25 2018-11-01 에이씨에스 (유에쓰), 인코포레이티드 Platform for computing on mobile edge
KR102163280B1 (en) 2018-09-19 2020-10-08 주식회사 맥데이타 An apparatus for network monitoring based on edge computing and method thereof, and system
KR20200044200A (en) * 2018-10-10 2020-04-29 전자부품연구원 Method and system for distributed operation between cloud and edge in IoT comuting environment
KR102110592B1 (en) 2018-10-10 2020-06-08 전자부품연구원 Method and system for distributed operation between cloud and edge in IoT comuting environment
KR20200078385A (en) * 2018-12-21 2020-07-01 폭스바겐 악티엔 게젤샤프트 Method for operating a decentralized computing network, in particular an edge cloud computer of the decentralized computing network

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Roberto Beraldi, Abderrahmen Mtibaa, Hussein Alnuweiri, "Cooperative Load Balancing Scheme for Edge Computing Resources", 2017 FMEC, 8-11 May 2017(2017.05.08.) 1부.* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023075013A1 (en) * 2021-10-29 2023-05-04 한국전자기술연구원 Ar streaming device, method, and system linked to edge server
WO2023128085A1 (en) * 2021-12-27 2023-07-06 주식회사 이노그리드 System and method for collection of edge cloud monitoring data using artificial intelligence
KR20240016572A (en) 2022-07-29 2024-02-06 광운대학교 산학협력단 Cloud-Multiple Edge Server Collaboration System and Method Based on Service Classification in Intelligent Video Security Environments

Similar Documents

Publication Publication Date Title
KR102304477B1 (en) Adaptive Context Sharing and the Autonomous Collaboration System between Edge Servers for Intelligent Video Security
US20200007409A1 (en) INTELLIGENT INTERNET OF EVERYTHING (IoE) EDGE COMPUTIING SYSTEM FOR HIGH RELIABLE INTERNET OF THINGS (IoT) SERVICE
US11108993B2 (en) Predictive network management for real-time video with varying video and network conditions
KR101943530B1 (en) Systems and methods for placing virtual serving gateways for mobility management
TW202131661A (en) Device and method for network optimization and non-transitory computer-readable medium
US20140071290A1 (en) Tiered Storage for Video Surveillance
US20150063349A1 (en) Programmable switching engine with storage, analytic and processing capabilities
Apostolopoulos et al. Satisfaction-aware data offloading in surveillance systems
CN113766576B (en) Quality of service management method, electronic device, and storage medium
US9438498B2 (en) Resource optimization method, IP network system and resource optimization program
CN116980569A (en) Security monitoring system and method based on cloud computing
KR20190030589A (en) Method and apparatus for analyzing image of unmanned aerial vehicle through offloading system
CN113678415A (en) System for optimizing data communication
WO2021028063A1 (en) Predicting congestion levels in a communications network
Jung et al. Adaptive and stabilized real-time super-resolution control for UAV-assisted smart harbor surveillance platforms
Qian et al. On the design of edge-assisted mobile IoT augmented and mixed reality applications
CN114531478A (en) Method, apparatus and computer program product for edge resource aggregation
US9225650B2 (en) Network system, gateway, and packet delivery method
CN109640357B (en) Priority-based wireless sensor network optimal resource reservation method suitable for electric power Internet of things environment
KR20200071012A (en) Method and Apparatus for IoT Camera Virtualization Based on Multiple Service Request and Context-awareness
US20230123074A1 (en) Machine learning-based approaches for service function chain selection
KR102510258B1 (en) Collaboration system between edge servers based on computing resource prediction in intelligent video security environment
KR102500352B1 (en) System and method for processing super-resolution images based on deep learning and computer program for the same
CN107181929A (en) Method and apparatus for video monitoring
JP2022177077A (en) Communication terminal and program

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant