KR102510258B1 - 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템 - Google Patents

지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템 Download PDF

Info

Publication number
KR102510258B1
KR102510258B1 KR1020210115167A KR20210115167A KR102510258B1 KR 102510258 B1 KR102510258 B1 KR 102510258B1 KR 1020210115167 A KR1020210115167 A KR 1020210115167A KR 20210115167 A KR20210115167 A KR 20210115167A KR 102510258 B1 KR102510258 B1 KR 102510258B1
Authority
KR
South Korea
Prior art keywords
context
worker
edge server
terminal
computing resource
Prior art date
Application number
KR1020210115167A
Other languages
English (en)
Other versions
KR20230032383A (ko
Inventor
정광수
윤현준
박진호
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020210115167A priority Critical patent/KR102510258B1/ko
Publication of KR20230032383A publication Critical patent/KR20230032383A/ko
Application granted granted Critical
Publication of KR102510258B1 publication Critical patent/KR102510258B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004—Server selection for load balancing
    • H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083—Techniques for rebalancing the load in a distributed system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1087—Peer-to-peer [P2P] networks using cross-functional networking aspects
    • H04L67/1089—Hierarchical topologies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/2866—Architectures; Arrangements
    • H04L67/288—Distributed intermediate devices, i.e. intermediate devices for interaction with other intermediate devices on the same level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H04L67/63—Routing a service request depending on the request content or context

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Computer And Data Communications (AREA)

Abstract

지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템이 개시된다. 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템은 하나의 Master 엣지 서버와 다수의 Worker 엣지 서버, 그리고 각 Worker 엣지 서버에 연결된 하나 이상의 단말들을 포함하며, 자율협업형 연계에 관여하는 요소별로 컨텍스트를 분류하고 분류된 컨텍스트 특성을 기반으로 부하 균형을 이루도록 전체적인 Worker 엣지 서버의 컴퓨팅 리소스 분산이 최소화되는 방향으로 임계치보다 컴퓨팅 리소스의 사용량이 적은 자율협업을 수행할 Worker 엣지 서버와 단말을 연결 제어를 결정하면, Master 엣지 서버로부터 결정된 해당 Worker 엣지 서버와 단말을 연결하며, 각 Worker 엣지 서버의 컴퓨팅 리소스(CPU 점유율, RAM 점유율, storage 사용량)의 부하가 발생하는 상황을 최소화하여 부하 균형을 제공하여 자율협업을 수행하고, 실시간 영상 분석을 통한 지능형 영상 보안 서비스의 효율을 향상시키게 되었다. Worker 엣지 서버는 컨텍스트 추출 모듈, 컨텍스트 정형화 모듈, 컨텍스트 공유 모듈, 단말 제어 모듈, 그리고 연계 결과 공유 모듈을 포함한다. Master 엣지 서버는 컨텍스트 취합 모듈, 실시간 컨텍스트 모니터링 모듈, 연결 제어 리소스 예측 모듈, 자율협업 결정 모듈, 단말 제어 결과 취합 모듈, 단말 제어 결과 모니터링 모듈을 포함한다.

Description

지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템{Collaboration system between edge servers based on computing resource prediction in intelligent video security environment}
본 발명은 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템에 관한 것으로, 보다 상세하게는 Master 엣지 서버와 분석 지능을 구비하는 다수의 Worker 엣지 서버, 및 다수의 단말들로 구성되며, 지능형 영상 보안을 위해 단말, 엣지 서버 및 분석 지능 관련 컨텍스트(context)와 연계 결과 컨텍스트를 주기적으로 공유하고 공유된 컨텍스트를 이용하여 단말 연결 제어에 따른 컴퓨팅 리소스 예측 기반으로 엣지 서버간 자율협업을 수행하는 시스템에 관한 것이다.
상기 시스템은 자율협업형 연계에 관여하는 요소별로 컨텍스트를 분류하고 분류된 컨텍스트 특성을 기반으로 부하 균형(load balancing)을 이루도록 전체적인 Worker 엣지 서버의 컴퓨팅 리소스 분산이 최소화되는 방향으로 임계치보다 컴퓨팅 리소스의 사용량이 적은 자율협업을 수행할 Worker 엣지 서버와 단말을 연결 제어를 결정하면, Master 엣지 서버로부터 결정된 해당 Worker 엣지 서버와 단말을 연결하며, 각 Worker 엣지 서버의 컴퓨팅 리소스(CPU 점유율, RAM 점유율, storage 사용량)의 부하가 발생하는 상황을 최소화하여 부하 균형(load balancing)을 제공하여 자율협업을 수행하고, 실시간 영상 분석을 통한 지능형 영상 보안 서비스의 효율을 향상시킨다.
클라우드 컴퓨팅(Cloud computing)은 서버의 중앙 집중식으로 클라이언트/서버 방식으로 트랜잭션 데이터를 처리하며, 이와 달리, 엣지 컴퓨팅(Edge computing)은 클라우드 컴퓨팅과 대조적 개념의 컴퓨팅 방식으로, 클라우드 컴퓨팅이나 중앙 집중식이 아닌 네트워크 종단(Edge)에서 컴퓨팅이 이루어진다. 엣지 컴퓨팅은 클라우드 컴퓨팅이나 중앙 집중식으로 대용량 데이터의 부하(load)가 집중되는 중앙 서버에서 데이터를 처리하지 않고, 도 1에 도시된 바와 같이 모바일 기기와 IoT 디바이스 자체 또는 물리적으로 근거리 위치한 엣지 서버(edge server)를 사용하여 데이터 분석과 기기 동작이 이루어진다.
도 1은 지능형 엣지 컴퓨팅 개념도이다.
클라우딩 컴퓨팅이 중앙 집중식으로 데이터를 처리해주는 것과는 반대로, 모바일 엣지 컴퓨팅(Mobile Edge Computing, MEC) 기술은 분산된 엣지 서버를 통해 모바일 기기의 주변에서 개별로 데이터를 수집, 빅 데이터 분석, 처리한다. 최근, LTE 4G/5G 이동통신 기술, 드론, IoT 기술이 발전하면서, 인공지능과 기계학습(Machine Learning, ML)을 사용한 빅 데이터 분석을 사용하는 지능형 Edge 컴퓨팅 기술로 발전하고 있다.
예를 들면, CCTV 지능형 영상 처리는 중앙 서버에 저장되는 대용량 영상 데이터의 과부하와 대용량 영상 데이터 처리를 위해 지역별로 분산된 다수의 엣지 서버를 사용한 지능형 엣지 컴퓨팅 기술이 필요하다.
이와 관련된 선행기술1로써, 특허 공개번호 10-2018-0119162에서는 "모바일 엣지에서의 컴퓨팅을 위한 플랫폼"이 공개되어 있다.
모바일 엣지에서의 컴퓨팅을 위한 플랫폼은
무선 네트워크 내에서의 컴퓨팅을 위한 플랫폼으로서,
사적인 관리 네트워크의 엣지에 또는 그 부근에 위치하며, 상기 사적인 관리 네트워크상에서 제3자 제공자와 연계된 프로그램들을 실행하기 위한 보안 메커니즘들 및 데이터 서비스들을 제공할 수 있는 하드웨어 장치를 포함하는 MEC(Mobile Edge Compute) 어플라이언스;
MNO(Mobile Network Operator)의 코어 네트워크 내에 상주하며, 상기 MEC 어플라이언스의 컨트롤 및 명령을 할 수 있는 MEC 컨트롤러; 및
상기 MEC 컨트롤러의 기능에 필수적이며 상기 MEC 어플라이언스 전체에 걸쳐 연장되며, 복수의 레이어들을 확립하는 복수의 구성요소들을 - 각 구성요소는 각 레이어에서의 다양한 공격 벡터 및 잠재적 침입(potential exploit)을 처리하도록(address) 구성됨 - 포함하는 보안 모듈을 포함하며,
상기 플랫폼은 상기 사적인 관리 네트워크의 네트워크 주변부(perimeter) 및 상기 사적인 관리 네트워크의 상기 네트워크 주변부 부근 중 적어도 하나인 환경 내에서 적어도 하나의 제3자 애플리케이션을 호스팅하기 위한 컴퓨팅 리소스를 제공하고,
상기 보안 모듈은 상기 사적인 관리 네트워크에 대한 액세스가 승인되기 이전에 상기 사적인 관리 네트워크의 상기 네트워크 주변부 및 상기 사적인 관리 네트워크의 상기 네트워크 주변부 부근 중 적어도 하나인 상기 환경내의 임의의 플랫폼 구성요소에 의한 임의의 동작을 유효화하도록 구성된다.
이와 관련된 선행기술2로써, 특허등록번호 10-2110592에서는 "IoT 컴퓨팅 환경에서의 클라우드와 엣지간의 분산 처리 시스템"이 등록되어 있다.
IoT 컴퓨팅 환경에서의 클라우드와 엣지간의 분산 처리 시스템은
사물측에 연결되어 데이터를 수집하고 사물측으로 제어신호를 보내주는 다수의 엣지와, 각 엣지로부터 데이터를 받아 처리하고 처리 결과를 엣지로 전달하는 클라우드를 포함하는, IoT 컴퓨팅 환경에서의 상기 클라우드 및 엣지간의 분산 처리 시스템으로서,
상기 클라우드는, 상기 수집한 데이터의 처리를 위해 모델을 생성하는 모델 생성부, 상기 클라우드와 엣지 간의 분산처리를 위한 모델분배 규칙, 및 상기 모델 분배규칙에 따라 모델을 엣지로 분배하는 모델분배부를 포함하며,
상기 모델 분배규칙은 각 엣지의 프로세싱 성능 및 메모리용량 중 적어도 하나에 따라 결정되고, 이 결정된 분배규칙에 따라 상기 클라우드로부터 각 엣지에 분배되는 모델의 종류와 수가 상이한 것을 특징으로 한다.
이와 관련된 선행기술3로써, 특허등록번호 10-2163280에서는 "엣지 컴퓨팅 기반 네트워크 모니터링 방법, 장치 및 시스템"이 등록되어 있다.
엣지 컴퓨팅 기반 네트워크 모니터링 방법, 장치 및 시스템은 제 1 엔티티 (entity) 와 제 2 엔티티, 상기 제 1 엔티티 및 제 2 엔티티 간에 구비되는 스위칭 장치를 포함하는 네트워크에 포함된, 제 2 엔티티가 제공된다. 제 2 엔티티는, 제 1 엔티티와 패킷을 송수신하기 위한 송수신부를 포함하고, 제 2 엔티티는, 프로세서를 구비하여 엣지 컴퓨팅 (Edge computing) 을 수행하거나, 프로세서를 구비하는 엣지 컴퓨팅 장치를 경유하여 상기 스위칭 장치에 연결되며,
프로세서는, 제 2 엔티티로 수신되거나 제 2 엔티티에서 송신되는 적어도 하나의 패킷들에 포함된 정보들 중 적어도 일부를 기반으로 제 1 엔티티와 제 2 엔티티와 연관된 네트워크에 대한 보안 문제 발생 여부를 결정하도록 구성된다.
상기 패킷 정보를 기반으로 보안 문제 발생 여부를 결정하는 것은,
미리 결정한 제 1 소스 IP 로부터 제 1 목적지 IP 까지의 구간의 접속의 수가 미리 결정한 임계값 이상이라는 결정, 미리 결정한 제 1 URL 에 대한 요청이 미리 결정한 임계값 이상이라는 결정, 미리 결정한 제 1 서버의 BPS (Bit Per Second) 가 미리 결정한 임계값 이상이라는 결정, 미리 결정한 제 2 소스 IP 로부터의 PPS(Packet Per Second) 가 미리 결정한 임계값 이상이라는 결정, 미리 결정한 제 3 소스 IP 로부터의 동기신호 (SYN) 패킷의 수가 미리 결정한 임계값 이상이라는 결정, 및 미리 결정한 제 4 소스 IP 가 미리 결정한 임계값 이상의 개수의 서버 IP 로 동시에 접속을 시도한다는 결정 중 적어도 하나를 기반으로 상기 네트워크에 보안 문제가 발생하였다고 결정한다.
네트워크 처리 기술 및 스마트 단말의 발전에 따라 동시 연결된 단말의 수가 증가하고 다양한 형태의 서비스가 등장하면서 엣지 서버를 활용한 지능형 영상 보안 기술이 주목받고 있다. 기존 VMS(Video Management System) 기반의 영상 보안 기술의 경우 다수의 단말이 VMS와 같은 클라우드를 통해 모든 정보를 공유하기 때문에 리소스 부하와 지연에 의해 서비스 처리 효율성이 떨어지는 문제가 있다.
엣지 서버를 활용한 지능형 영상 보안 기술은 VMS 기반의 영상 보안 기술의 문제를 해결하기 위해 단말과 위치적으로 가까운 엣지 서버에서 컨텍스트 인지, 실시간 영상 분석, 그리고 엣지 서버간 자율협업을 수행한다.
그러나, 지능형 영상 보안을 위해, 적응적 컨텍스트 공유 및 Master 엣지 서버와 다수의 Worker 엣지 서버의 자율협업 시스템에 의해 다수의 Worker 엣지 서버 및 단말들이 존재하는 지능형 영상 보안 환경에서 Master 엣지 서버와 다수의 Worker 엣지 서버의 불필요한 컨텍스트 공유를 최소화하고 Worker 엣지 서버의 컴퓨팅 리소스(CPU 점유율, RAM 점유율, storage 사용량)의 부하의 균형을 이루도록 제어하는 자율협업을 수행함으로써 실시간 영상 분석 기반의 지능형 영상 보안 서비스의 효율성을 높이는 시스템을 아직 제공하지 않았다.
특허 공개번호 10-2018-0119162 (공개일자 2018년 11월 01일), "모바일 엣지에서의 컴퓨팅을 위한 플랫폼", 에이씨에스 (유에쓰), 인코포레이티드 특허 등록번호 10-2110592 (등록일자 2020년 05월 07일), "IoT 컴퓨팅 환경에서의 클라우드와 엣지간의 분산 처리 방법 및 시스템", 전자부품연구원 특허 등록번호 10-2163280 (등록일자 2020년 09월 29일), "엣지 컴퓨팅 기반 네트워크 모니터링 방법, 장치 및 시스템", 주식회사 맥데이타
상기 문제점을 해결하기 위한 본 발명의 목적은 Master 엣지 서버와 다수의 Worker 엣지 서버, 및 단말들로 구성되며, 지능형 영상 보안을 위해 단말, 엣지 서버 및 분석 지능 관련 컨텍스트와 연계 결과 컨텍스트를 주기적으로 공유하고 공유된 컨텍스트를 이용하여 단말 연결 제어에 따른 컴퓨팅 리소스 예측 기반으로 엣지 서버간 자율협업을 수행하며, 자율협업형 연계에 관여하는 요소별로 컨텍스트를 분류하고 분류된 컨텍스트 특성을 기반으로 부하 균형(load balancing)을 이루도록 전체적인 Worker 엣지 서버의 컴퓨팅 리소스 분산이 최소화되는 방향으로 임계치보다 컴퓨팅 리소스의 사용량이 적은 자율협업을 수행할 Worker 엣지 서버와 단말을 연결 제어를 결정하면, Master 엣지 서버로부터 결정된 해당 Worker 엣지 서버와 단말을 연결하며, 각 Worker 엣지 서버의 컴퓨팅 리소스(CPU 점유율, RAM 점유율, storage 사용량)의 부하가 발생하는 상황을 최소화하여 부하 균형(load balancing)을 제공하여 자율협업을 수행하고, 실시간 영상 분석을 통한 지능형 영상 보안 서비스의 효율을 향상시키는, 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템을 제공한다.
본 발명의 목적을 달성하기 위해, 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템은, 무선 통신부를 구비한 단말; 상기 단말로부터 영상을 수신받아 이를 분석하는 분석 지능을 구비하고, 단말 연결 제어를 하며, 엣지 서버의 컨텍스트를 실시간으로 추출 및 정형화하고 Master 엣지 서버로 적응적으로 정형화된 컨텍스트를 주기적으로 Master 엣지 서버에 전송하는 다수의 Worker 엣지 서버; 및 상기 다수의 Worker 엣지 서버로부터 공유된 컨텍스트(Context)를 취합하여 저장하고, 신뢰도를 계산하여 기준치 보다 신뢰도가 높은 경우 Worker 엣지 서버의 부하 균형을 이루도록 컴퓨팅 리소스 임계값(Th) 보다 컴퓨팅 리소스의 사용량이 적은 Worker 엣지 서버로 단말 연결 제어를 하도록 결정하며, 해당 Worker 엣지 서버가 신규 단말과 연결 제어를 통해 자율협업을 하도록 제어하는 Master 엣지 서버를 포함하며,
상기 컨텍스트가 추출되는 위치에 따라 Worker 엣지 서버 관련 컨텍스트, 분석 지능 컨텍스트, 단말 관련 컨텍스트, 그리고 협업 결과 관련 컨텍스트로 분류되고,
상기 신뢰도는 단말 연결 제어에 따른 컴퓨팅 리소스의 사용량의 예측값과 실제 사용 컴퓨팅 리소스 사용량으로 계산되며, 상기 신뢰도는 컴퓨팅 리소스 사용량의 예측 값과 실제 사용 리소스 사용량의 차이가 적을수록 높은 값을 가진다.
본 발명의 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템은 Master 엣지 서버와 다수의 Worker 엣지 서버, 및 단말들로 구성되며, 지능형 영상 보안을 위해 단말, 엣지 서버 및 분석 지능 관련 컨텍스트와 연계 결과 컨텍스트를 주기적으로 공유하고 공유된 컨텍스트를 이용하여 단말 연결 제어에 따른 컴퓨팅 리소스 예측 기반으로 엣지 서버간 자율협업을 수행하며, 자율협업형 연계에 관여하는 요소별로 컨텍스트를 분류하고 분류된 컨텍스트 특성을 기반으로 부하 균형(load balancing)을 이루도록 전체적인 Worker 엣지 서버의 컴퓨팅 리소스 분산이 최소화되는 방향으로 임계치보다 컴퓨팅 리소스의 사용량이 적은 자율협업을 수행할 Worker 엣지 서버와 단말을 연결 제어를 결정하면, Master 엣지 서버로부터 결정된 해당 Worker 엣지 서버와 단말을 연결하며, 각 Worker 엣지 서버의 컴퓨팅 리소스(CPU 점유율, RAM 점유율, storage 사용량)의 부하가 발생하는 상황을 최소화하여 부하 균형(load balancing)을 제공하여 자율협업을 수행하고, 실시간 영상 분석을 통한 지능형 영상 보안 서비스의 효율을 높이게 되었다.
지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템을 통해 Master 엣지 서버와 다수의 Worker 엣지 서버 및 단말들이 존재하는 영상 보안 환경(스마트폰 영상, CCTV 영상, 자동차 블랙박스 영상, 드론의 카메라 영상)에서 Master 엣지 서버와 다수의 Worker 엣지 서버의 불필요한 컨텍스트 공유를 최소화하고 Worker 엣지 서버의 컴퓨팅 리소스 부하의 균형(load balancing)을 제공하여 자율협업을 수행함으로써 실시간 영상 분석 기반의 지능형 영상 보안 서비스의 효율성을 높일 것으로 예상된다.
도 1은 지능형 엣지 컴퓨팅 개념도이다.
도 2는 본 발명의 엣지 서버간 자율 협업 시나리오를 나타낸다.
도 3은 본 발명에 따른 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템의 구조를 나타낸다.
도 4는 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템에 관여하는 요소에 따른 컨텍스트 분류를 나타낸다.
도 5는 Worker 엣지 서버에서 단말 연결 제어에 따른 컴퓨팅 리소스의 사용량의 예측 예시를 나타낸다.
도 6은 컴퓨팅 리소스 예측 기반의 엣지 서버간 자율 협업 시스템의 협업 결정 순서도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 발명의 구성 및 동작을 상세하게 설명한다. 본 발명의 설명에 있어서 관련된 공지의 기술 또는 공지의 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 자세한 설명을 생략한다. 또한, 도면 번호는 동일한 구성을 표기할 때에 다른 도면에서 동일한 도면 번호를 부여한다.
본 발명의 지능형 영상 보안 환경(스마트폰 영상, CCTV 영상, 자동차 블랙박스 영상, 드론의 카메라 영상)에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템은 Master 엣지 서버와 다수의 Worker 엣지 서버, 및 다수의 단말들로 구성되며, 지능형 영상 보안을 위해 단말, 엣지 서버 및 분석 지능 관련 컨텍스트와 연계 결과 컨텍스트를 주기적으로 공유하고 공유된 컨텍스트를 이용하여 단말 연결 제어에 따른 컴퓨팅 리소스 예측 기반으로 엣지 서버간 자율협업을 수행하며,
자율협업형 연계에 관여하는 요소별로 컨텍스트를 분류하고 분류된 컨텍스트 특성을 기반으로 부하 균형(load balancing)을 이루도록 전체적인 Worker 엣지 서버의 컴퓨팅 리소스 분산이 최소화되는 방향으로 임계치보다 컴퓨팅 리소스의 사용량이 적은 자율협업을 수행할 Worker 엣지 서버와 단말을 연결 제어를 결정하면, Master 엣지 서버로부터 결정된 해당 Worker 엣지 서버와 단말을 연결하며, 각 Worker 엣지 서버의 컴퓨팅 리소스(CPU 점유율, RAM 점유율, storage 사용량)의 부하가 발생하는 상황을 최소화하여 부하 균형(load balancing)을 제공하여 자율협업을 수행하고, 실시간 영상 분석을 통한 지능형 영상 보안 서비스의 효율을 높일 수 있다.
Worker 엣지 서버의 컴퓨팅 리소스는 CPU 점유율, RAM 점유율, storage 사용량을 포함한다.
지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템은 Master 엣지 서버(100)와 다수의 Worker 엣지 서버(200), 그리고 카메라와 GPS 수신기와 무선통신부(Wi-Fi 통신부, LTE 4G 통신부 또는 5G 통신부, IoT 통신부)가 구비된 단말들(300)로 구성된다.
예를 들면, 상기 단말들(300)은 카메라와 GPS 수신기와 무선통신부(Wi-Fi 통신부, LTE 4G 통신부 또는 5G 통신부, IoT 통신부)를 구비하는 스마트폰, 카메라와 GPS 수신기와 무선통신부가 구비된 CCTV 카메라, 카메라와 GPS 수신기와 무선통신부가 구비된 블랙박스가 장착된 자동차, 및 카메라와 GPS 수신기와 무선통신부가 구비된 드론 중 어느 하나의 단말을 사용하고,
상기 무선통신부는 Wi-Fi 통신부, LTE 4G 통신부 또는 5G 통신부, IoT 통신부 중 어느 하나를 포함한다.
상기 단말들(300)은 보안 위험(교통 사고, 화재 등)이 발생할 수 있는 대상을 감시하고 있다. 또한, 상기 단말(300)은 감시하고 있는 대상에 대한 영상을 무선 네트워크를 통해 연결되어 있는 Worker 엣지 서버(200)로 전송한다. Master 엣지 서버(100)와 다수의 Worker 엣지 서버(200)를 이용하여 엣지 서버 클러스터를 구성한다. Worker 엣지 서버(200)는 다수의 단말들로부터 통신망을 통해 영상을 수신받고, 보안 위험을 인지하는 분석 지능을 가지고 있다. 또한, Worker 엣지 서버(200)는 충분한 컴퓨팅 리소스(CPU 점유율, RAM 점유율, storage 사용량)를 가지고 있으며 단말로부터 수신된 영상을 분석하는 분석 지능을 사용할 수 있다. 분석 지능은 Worker 엣지 서버(200)에 연결된 하나 이상의 단말(300)로부터 영상을 수신할 때마다, 영상을 분석하고 이를 통해 다양한 보안 위험(교통사고, 화재 등)을 인지한다. 또한, Worker 엣지 서버(200)는 엣지 서버간 자율협업을 위한 다종 컨텍스트를 추출 및 정형화한다. 추출 및 정형화한 컨텍스트는 Worker 엣지 서버(200)와 Master 엣지 서버(100)간 다종 컨텍스트 공유를 수행한다. Master 엣지 서버(100)는 공유된 컨텍스트를 기반으로 엣지 서버간 자율협업을 수행한다. 제안하는 시스템은 컴퓨팅 리소스(CPU, RAM, storage)의 예측을 기반으로 부하 균형(load balancing)을 위한 엣지 서버간 협업이 수행된다. Master 엣지 서버(100)는 Worker 엣지 서버(200)에 연결된 단말 관련 컨텍스트가 변화할 때마다 협업을 결정한다. 엣지 서버간 협업은 단말의 연결 제어에 따른 컴퓨팅 리소스 변화를 예측한다. 예측한 컴퓨팅 리소스의 변화를 이용하여 부하 균형이 향상되는 단말 및 엣지 서버를 결정한다. 또한, 단말 및 엣지 서버 결정을 위해 Worker 엣지 서버의 컴퓨팅 리소스(CPU 점유율, RAM 점유율, storage 사용량)의 예측 및 실제 사용량을 기반으로 계산한 신뢰도를 반영한다
도 2는 본 발명에서 제안하는 엣지 서버간 자율 협업 시나리오를 나타낸다.
지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템은 하나의 Master 엣지 서버(100)와 다수의 Worker 엣지 서버(200), 및 각 Worker 엣지 서버에 하나 이상의 단말(300)이 연결된 구조로 구성된다.
본 발명에 따른 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템은, 무선 통신부를 구비한 단말(300);
상기 무선 통신부를 구비한 단말(300)로부터 영상을 수신받아 이를 분석하는 분석 지능을 구비하고, 단말 연결 제어를 하며, Worker 엣지 서버의 컨텍스트를 실시간으로 추출 및 정형화하고 Master 엣지 서버(100)로 적응적으로 정형화된 컨텍스트를 주기적으로 Master 엣지 서버에 전송하는 다수의 Worker 엣지 서버(200); 및
상기 다수의 Worker 엣지 서버(200)로부터 공유된 컨텍스트(Context)를 취합하여 저장하고, 신뢰도를 계산하여 기준치 보다 상기 신뢰도가 높은 경우 Worker 엣지 서버의 부하 균형(load balancing)을 이루도록 모니터링 되고 있는 컴퓨팅 리소스 임계값(Th) 보다 Worker 엣지 서버(200)의 컴퓨팅 리소스의 사용량이 적은 Worker 엣지 서버로 신규 단말 연결 제어를 하도록 결정하며, 결정된 해당 Worker 엣지 서버가 단말과 연결 제어를 통해 자율협업을 하도록 제어하는 Master 엣지 서버(100)를 포함하며,
상기 컨텍스트가 추출되는 위치에 따라 Worker 엣지 서버 관련 컨텍스트, 분석 지능 컨텍스트, 단말 관련 컨텍스트, 그리고 협업 결과 관련 컨텍스트로 분류되고,
상기 신뢰도는 단말 연결 제어에 따른 컴퓨팅 리소스의 사용량의 예측값과 실제 사용 컴퓨팅 리소스 사용량으로 계산되며, 상기 신뢰도는 컴퓨팅 리소스 사용량의 예측 값과 실제 사용 리소스 사용량의 차이가 적을수록 높은 값을 가진다.
상기 단말(300)은 무선 네트워크를 기반으로 Worker 엣지 서버(200)와 연결된다. 또한, 단말(300)은 보안 위험을 인지하기 위해 대상을 촬영하여 Worker 엣지 서버(200)로 전송한다. Worker 엣지 서버(200)는 엣지 서버간 자율 협업을 위해 다종 컨텍스트를 추출 및 정형화한다. 다종 컨텍스트는 엣지 서버의 컴퓨팅 리소스, 단말, 그리고 분석 지능을 포함한다. Worker 엣지 서버(200)는 추출 및 정형화된 컨텍스트를 Master 엣지 서버(100)와 공유한다. 또한, Worker 엣지 서버(200)는 보안 위험을 인지할 수 있는 분석 지능을 가지고 있어 단말(300)로부터 수신한 영상을 이용하여 보안 위험을 감지한다. Master 엣지 서버(100)는 Worker 엣지 서버(200)와 공유한 다종 컨텍스트를 기반으로 엣지 서버간 자율 협업을 수행한다. 엣지 서버간 자율협업은 Worker 엣지 서버(200)에 연결된 단말(300)의 수가 변경되거나 단말(300)이 인지하는 대상이 변화한 경우 수행된다. 예를 들면, Worker 엣지 서버(200)에 새롭게 단말이 연결되어 수신한 영상을 분석하기에 해당 Worker 엣지 서버의 컴퓨팅 리소스가 부족한 경우 Master 엣지 서버(100)는 Worker 엣지 서버간 협업을 결정한다. Worker 엣지 서버간 협업 결정은 Master 엣지 서버(100)가 인지한 다종 컨텍스트를 기반으로 Worker 엣지 서버(200)간 부하 균형의 향상을 위해 다른 Worker 엣지 서버 중 상대적으로 컴퓨팅 리소스(CPU 점유율, RAM 점유율, storage 사용량)의 사용량이 적은 Worker 엣지 서버와 Worker 엣지 서버가 연결된 단말들이 전송한 영상을 처리할 수 있으며 부하 균형에 적절한 단말을 선택한다.
도 3은 본 발명에서 제안하는 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템의 구조를 나타낸다.
Worker 엣지 서버(200)는 다수의 단말들(300)로부터 수신된 영상을 분석하는 분석 지능을 포함하고, 컨텍스트 추출 모듈, 컨텍스트 정형화 모듈, 컨텍스트 공유 모듈, 단말 제어 모듈, 및 연계 결과 공유 모듈을 포함한다.
컨텍스트 추출 모듈은 Worker 엣지 서버간 자율협업을 위해 단말, Worker 엣지 서버, 분석 지능으로부터 컨텍스트를 분류 및 추출하고, 분류 및 추출한 컨텍스트는 컨텍스트 정형화 모듈로 전송된다.
컨텍스트 정형화 모듈은 분류 및 추출된 컨텍스트를 정형화한다. 그 이유는 엣지 서버간 자율협업에 활용하기 위한 것이다.
컨텍스트 공유 모듈은 정형화된 컨텍스트를 주기적으로 Master 엣지 서버(100)로 전송한다.
단말 제어 모듈은 Master 엣지 서버(100)에 의해 결정된 자율협업을 수행한다.
연계 결과 공유 모듈은 Worker 엣지 서버(200)간 자율협업에 따라 생성된 컨텍스트를 Master 엣지 서버(100)로 전송한다. 연계 결과를 Master 엣지 서버(100)로 전송하여 엣지 서버간 연계에 활용된다.
Master 엣지 서버(100)는 컨텍스트 취합 모듈, 실시간 컨텍스트 모니터링 모듈, 연결 제어 리소스 예측 모듈, 자율협업 결정 모듈, 단말 제어 결과 취합 모듈, 및 단말 제어 결과 모니터링 모듈을 포함한다.
Master 엣지 서버(100)의 컨텍스트 취합 모듈은 다수의 Worker 엣지 서버로부터 수신한 다종 컨텍스트를 취합하여 저장 관리한다.
실시간 컨텍스트 모니터링 모듈은 컨텍스트 취합 모듈에서 수집한 컨텍스트를 웹 페이지를 이용해 확인할 수 있도록 한다.
연결 제어 리소스 예측 모듈은 컨텍스트 취합 모듈로부터 수신한 다종 컨텍스트 정보를 바탕으로 Worker 엣지 서버(200)에 연결된 단말(300)의 수가 변하거나 단말이 인지하는 대상이 바뀌는 경우 단말(300)에 따른 Worker 엣지 서버(200)의 컴퓨팅 리소스 사용량을 예측한다.
자율협업 결정 모듈은 연결 제어 리소스 예측 모듈에서 수신한 컴퓨팅 리소스 예측 값을 이용하여 Worker 엣지 서버간에 부하 균형(load balancing)을 위한 협업 대상이 되는 Worker 엣지 서버(200)와 제어할 단말(300)을 결정한다.
단말 제어 결과 취합 모듈은 Worker 엣지 서버(100)가 전송한 연계 결과 컨텍스트를 수집 및 관리하여 Worker 엣지 서버간 연계 결정에 반영한다.
단말 제어 결과 모니터링 모듈은 해당 Worker 엣지 서버의 단말 제어 결과를 모니터링한다.
도 4는 리소스 예측 기반의 엣지 서버간 협업 시스템에 관여하는 요소에 따른 컨텍스트 분류를 나타낸다.
지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템에서는 컨텍스트가 추출되는 위치에 따라 Worker 엣지 서버 관련 컨텍스트, 분석 지능 컨텍스트, 단말 관련 컨텍스트, 및 엣지 서버간 협업 결과 관련 컨텍스트로 분류된다.
Worker 엣지 서버 관련 컨텍스트는 네트워크 컨텍스트, 컴퓨팅 리소스 컨텍스트, 분석지능 컨텍스트 그리고 연결 단말 컨텍스트로 분류된다.
네트워크 컨텍스트는 Worker 엣지 서버를 나타내는 IP 주소 컨텍스트로 구성된다. 컴퓨팅 리소스 컨텍스트는 분석지능 실행을 위한 컨텍스트로 CPU, RAM, 및 storage 사용량으로 구성된다. 분석지능 컨텍스트는 분석 대상 컨텍스트와 분석 대상에 따른 요구 컴퓨팅 리소스 컨텍스트로 분류된다. 분석 대상 컨텍스트는 분석 지능이 인지 가능한 보안 위험 컨텍스트로 구성된다. 요구 컴퓨팅 리소스(CPU 점유율, RAM 점유율, storage 사용량)는 보안 위험 인지에 따른 CPU, RAM, storage 컨텍스트로 구성된다.
연결 단말 컨텍스트는 네트워크 컨텍스트, 위치 컨텍스트, 그리고 비디오 컨텍스트로 분류된다. 네트워크 컨텍스트는 단말이 가지고 있는 고유 IP 주소로 구성된다. 위치 컨텍스트는 GPS 정보에 기초한 단말의 위도와 경도로 구성된다. 비디오 컨텍스트는 단말(300)로부터 Worker 엣지 서버(200)로 전송하는 비디오에 대한 품질, 비트율, 그리고 분석 대상으로 구성된다.
엣지 서버간 협업 결과 컨텍스트는 분석 대상과 컴퓨팅 리소스(CPU 점유율, RAM 점유율, storage 사용량)의 차이로 분류된다. 분석 대상은 제어된 단말이 촬영하는 대상에 대한 컨텍스트로 구성된다. 컴퓨팅 리소스의 차이는 예측된 컴퓨팅 리소스와 실제로 사용한 컴퓨팅 리소스의 차이로 CPU 점유율, RAM 점유율, storage 사용량에 대한 컨텍스트로 구성된다.
도 5는 Worker 엣지 서버에서 단말 연결 제어에 따른 컴퓨팅 리소스의 사용량의 예측 예시를 나타낸다.
Master 엣지 서버(100)와 다수의 Worker 엣지 서버(200) 및 다수의 단말들(300)이 존재하는 지능형 영상 보안 환경에서, 단말(300)의 카메라 영상(스마트폰 영상, CCTV 영상, 자동차 블랙박스 영상, 드론의 카메라 영상)을 Worker 엣지 서버(200)로 전송하고, Worker 엣지 서버(200)는 분석 지능에 의해 영상을 분석하며, Worker 엣지 서버(200)의 컴퓨팅 리소스의 사용량(CPU 점유율, RAM 점유율, storage 사용량)을 계산한다.
Worker 엣지 서버(200)의 컴퓨팅 리소스의 사용량(CPU 점유율, RAM 점유율, storage 사용량)은 Worker 엣지 서버에 연결된 하나 이상의 단말로부터 전송받은 영상에 따라 결정된다. 연결된 단말이 전송하는 영상의 품질(비트율), 그리고 단말이 감지하는 대상에 따라 보안 위험을 인지하기 위한 컴퓨팅 리소스 사용량이 다르다.
Master 엣지 서버(100)는 단말(300)에 연결된 수가 달라지거나 단말이 인지하는 대상이 변하는 경우, Worker 엣지 서버간 부하 균형을 위해 단말 연결 제어에 따른 컴퓨팅 리소스의 사용량을 예측한다. 하지만, 서로 다른 Worker 엣지 서버의 컴퓨팅 리소스의 사용량(CPU 점유율, RAM 점유율, storage 사용량) 컴퓨팅 파워가 다르다. 이에 따라, 단말의 연결 제어에 따른 컴퓨팅 리소스가 다르게 예측된다. Worker 엣지 서버(200)간 부하 균형을 위해 선택되는 단말(300)은 Worker 엣지 서버(200)에 새롭게 연결된 단말이 선택되는게 아니라 Worker 엣지 서버(200)에 연결된 단말들(300)의 제어에 따른 Worker 엣지 서버(200)의 컴퓨팅 리소스의 사용량(CPU 점유율, RAM 점유율, storage 사용량)을 예측하여 정형화된 컨텍스트를 수신한 Master 엣지 서버(100)에 의해 선택된다.
도 6은 컴퓨팅 리소스 예측 기반의 엣지 서버간 자율 협업 시스템의 협업 결정 순서도를 나타낸다.
Master 엣지 서버(100)는 Worker 엣지 서버(200)에 연결된 단말의 수가 변화하거나 단말이 감지하고 있는 분석 대상의 변화에 따라 Worker 엣지 서버(200)간 연계를 수행한다. Master 엣지 서버(100)는 단말 관련 컨텍스트의 변화의 발생에 따라 Worker 엣지 서버간 연계에 따라 부하 균형의 향상을 판단한다. Master 엣지 서버(100)는 Worker 엣지 서버간 연계의 필요성을 판단하기 위해 단말 연결에 따른 컴퓨팅 리소스 예측값(
Figure 112022102907704-pat00001
) 및 엣지 서버들의 평균 컴퓨팅 리소스(
Figure 112022102907704-pat00002
)를 계산한다.
Master 엣지 서버(100)는 Worker 엣지 서버의 상기 컴퓨팅 리소스 예측 값이 컴퓨팅 리소스 임계값(Th)보다 낮은 경우, Worker 엣지 서버의 부하(load)가 낮기 때문에 Worker 엣지 서버간 연계를 수행하지 않는다.
Worker 엣지 서버(200)의 컴퓨팅 리소스 사용량(CPU 점유율, RAM 점유율, storage 사용량)의 예측 값이 임계값(Th)보다 높더라도, Worker 엣지 서버들의 컴퓨팅 리소스 사용량보다 낮으면 Worker 엣지 서버간 연계에 따라 부하 균형을 수행하지 못한다. 그러므로, Master 엣지 서버(100)는 단말 연결 제어를 수행하지 않는다.
Master 엣지 서버(100)는 Worker 엣지 서버(200)의 연계 필요성을 판단한 이후 불필요한 Worker 엣지 서버간 협업을 줄이기 위해 확률적 협업 모델에 따라 연계를 결정한다. 확률적 협업 모델은 Worker 엣지 서버(200)의 컴퓨팅 리소스 양과 컴퓨팅 리소스 사용량의 예측값을 기반으로 계산되며, 무작위 값(R)과 비교하여 결정한다. 각 Worker 엣지 서버의 컴퓨팅 리소스의 양과 컴퓨팅 리소스 사용량의 예측값의 비율이 1에 가까울수록 엣지 서버간 협업 확률이 증가한다. Worker 엣지 서버간 협업을 위한 제어 단말과 협업 대상은 단말 연결 제어에 따른 Worker 엣지 서버의 컴퓨팅 리소스의 변화와 컴퓨팅 리소스의 사용량의 신뢰도를 기반으로 결정된다. Worker 엣지 서버의 단말 연결 제어에 따른 컴퓨팅 리소스의 변화는 단말과 Worker 엣지 서버간 연결 생성(
Figure 112022102907704-pat00003
) 및 연결 종료(
Figure 112022102907704-pat00004
)에 따라 계산된다. Worker 엣지 서버의 단말 연결 제어에 따른 컴퓨팅 리소스의 변화를 계산한 이후 Worker 엣지 서버간 부하 균형을 판단한다. Worker 엣지 서버간 부하 균형은
Figure 112022102907704-pat00005
가 작을수록 부하 균형의 향상도가 높은 것을 나타낸다. 뿐만 아니라 단말 연결 제어에 따른 컴퓨팅 리소스의 사용량의 예측값과 실제 사용 컴퓨팅 리소스 사용량으로 계산되는 신뢰도
Figure 112022102907704-pat00006
를 이용한다. 신뢰도
Figure 112022102907704-pat00007
는 컴퓨팅 리소스 사용량의 예측 값과 실제 사용 리소스 사용량의 차이가 적을수록 높은 값을 가지며, 예측의 정확도를 나타낸다. 또한, 단말 연결 제어에 따른 신뢰도의 변동을 줄이기 위해 EWMA(Exponential Weight Moving Average)를 사용하여
Figure 112022102907704-pat00008
과 같이 계산한다.
Figure 112022102907704-pat00009
가 낮아 부하 균형의 향상이 높더라도 신뢰도가 낮으면 선택된 협업 대상 및 단말이 선택되지 않는다.
상기 Master 엣지 서버는 상기 다수의 Worker 엣지 서버로부터 공유된 컨텍스트(Context)에 기초하여 신뢰도
Figure 112022112611695-pat00010
를 계산하고, 기준치 보다 상기 신뢰도가 높은 경우 Worker 엣지 서버의 부하 균형을 이루도록 임계값(Th) 보다 컴퓨팅 리소스의 사용량이 적은 Worker 엣지 서버로 선택된 단말 연결 제어를 하도록 결정하면, 해당 Worker 엣지 서버가 선택된 단말과 연결 제어를 통해 자율 협업을 한다.
지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템은 지능형 영상 보안을 위해 단말, Master와 Worker 엣지 서버 및 분석 지능 관련 컨텍스트와 연계 결과 컨텍스트를 주기적으로 공유하고, 공유된 컨텍스트를 이용하여 단말 연결 제어에 따른 컴퓨팅 리소스 예측 기반으로 엣지 서버간 자율협업을 수행하며,
자율협업형 연계에 관여하는 요소별로 컨텍스트를 분류하고 분류된 컨텍스트 특성을 기반으로 부하 균형(load balancing)을 이루도록 전체적인 Worker 엣지 서버의 컴퓨팅 리소스 분산이 최소화되는 방향으로 임계치보다 컴퓨팅 리소스의 사용량이 적은 자율 협업을 수행할 Worker 엣지 서버와 단말을 연결 제어를 결정하면, Master 엣지 서버로부터 결정된 해당 Worker 엣지 서버와 단말을 연결하며, 각 Worker 엣지 서버의 컴퓨팅 리소스(CPU 점유율, RAM 점유율, storage 사용량)의 부하가 발생하는 상황을 최소화하여 부하 균형(load balancing)을 제공하여 자율협업을 수행하고, 실시간 영상 분석을 통한 지능형 영상 보안 서비스의 효율을 높이는 효과가 있다.
지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템을 통해 Master 엣지 서버와 다수의 Worker 엣지 서버 및 단말들이 존재하는 영상 보안 환경(스마트폰 영상, CCTV 영상, 자동차 블랙박스 영상, 드론의 카메라 영상)에서 Master 엣지 서버와 다수의 Worker 엣지 서버의 불필요한 컨텍스트 공유를 최소화하고 Worker 엣지 서버의 컴퓨팅 리소스 부하의 균형(load balancing)을 제공하여 자율협업을 수행함으로써 실시간 영상 분석 기반의 지능형 영상 보안 서비스의 효율성을 높일 것으로 예상된다.
본 발명에 따른 실시예들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되고 컴퓨터 판독 가능 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조를 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 기록 매체는 스토리지, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 저장 매체에 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함될 수 있다.　프로그램 명령의 예는 컴파일러에 의해 만들어지는 것과, 기계어 코드 뿐만아니라 인터프리터를 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.　상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로써 작동하도록 구성될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 방법은 프로그램으로 구현되어 컴퓨터의 소프트웨어를 이용하여 읽을 수 있는 형태로 기록매체(CD-ROM, RAM, ROM, 메모리 카드, 하드 디스크, 광자기 디스크, 스토리지 디바이스 등)에 저장될 수 있다.
본 발명의 구체적인 실시예를 참조하여 설명하였지만, 본 발명은 상기와 같이 기술적 사상을 예시하기 위해 구체적인 실시 예와 동일한 구성 및 작용에만 한정되지 않고, 본 발명의 기술적 사상과 범위를 벗어나지 않는 한도 내에서 다양하게 변형하여 실시될 수 있으며, 본 발명의 범위는 후술하는 특허청구범위에 의해 결정되어야 한다.
100: Master 엣지 서버
200: Worker 엣지 서버
300: 단말

Claims (11)

  1. 무선 통신부를 구비한 단말;
    상기 단말로부터 영상을 수신받아 이를 분석하는 분석 지능을 구비하며 단말 연결 제어를 하며, Worker 엣지 서버의 컨텍스트를 실시간으로 추출 및 정형화하고 Master 엣지 서버로 적응적으로 정형화된 컨텍스트를 주기적으로 Master 엣지 서버에 전송하는 다수의 Worker 엣지 서버; 및
    상기 다수의 Worker 엣지 서버로부터 공유된 컨텍스트를 취합하여 저장하고, 신뢰도를 계산하여 기준치 보다 상기 신뢰도가 높은 경우 Worker 엣지 서버의 부하 균형을 이루도록 컴퓨팅 리소스 임계값(Th) 보다 컴퓨팅 리소스의 사용량이 적은 Worker 엣지 서버로 단말 연결 제어를 하도록 결정하며, 해당 Worker 엣지 서버가 선택된 단말과 연결 제어를 통해 자율협업을 하도록 제어하는 Master 엣지 서버를 포함하며,
    상기 컨텍스트가 추출되는 위치에 따라 Worker 엣지 서버 관련 컨텍스트, 분석 지능 컨텍스트, 단말 관련 컨텍스트, 그리고 협업 결과 관련 컨텍스트로 분류되고,
    상기 신뢰도는 단말 연결 제어에 따른 컴퓨팅 리소스의 사용량의 예측값과 실제 사용 컴퓨팅 리소스 사용량으로 계산되며, 상기 신뢰도는 컴퓨팅 리소스 사용량의 예측 값과 실제 사용 리소스 사용량의 차이가 적을수록 높은 값을 가지는, 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템.
  2. 제1항에 있어서,
    상기 무선 통신부를 구비한 단말은
    카메라와 GPS 수신기와 무선통신부를 구비하는 스마트폰, 카메라와 GPS 수신기와 무선통신부가 구비된 CCTV 카메라, 카메라와 GPS 수신기와 무선통신부가 구비된 블랙박스가 장착된 자동차, 및 카메라와 GPS 수신기와 무선통신부가 구비된 드론 중 어느 하나의 단말을 사용하고,
    상기 무선통신부는 Wi-Fi 통신부, LTE 4G 통신부 또는 5G 통신부, IoT 통신부 중 어느 하나를 포함하는 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템.
  3. 제1항에 있어서,
    상기 Worker 엣지 서버의 컴퓨팅 리소스는 CPU 점유율, RAM 점유율, 및 storage 사용량을 포함하는 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템.
  4. 제1항에 있어서,
    상기 Worker 엣지 서버는 단말들로부터 수신된 영상을 분석하는 분석 지능을 포함하고,
    Worker 엣지 서버간 자율협업을 위해 단말, Worker 엣지 서버, 상기 분석 지능으로부터 컨텍스트를 분류 및 추출하고, 분류 및 추출한 컨텍스트는 컨텍스트 정형화 모듈로 전송하는 컨텍스트 추출 모듈;
    상기 분류 및 추출된 컨텍스트를 정형화하는 컨텍스트 정형화 모듈;
    상기 정형화된 컨텍스트를 주기적으로 Master 엣지 서버에 전송하는 컨텍스트 공유 모듈;
    상기 Master 엣지 서버에 의해 결정된 자율협업을 수행하는 단말 제어 모듈; 및
    Worker 엣지 서버간 자율협업에 따라 생성된 컨텍스트를 상기 Master 엣지 서버로 전송하고, 연계 결과를 상기 Master 엣지 서버로 전송하여 엣지 서버간 연계에 활용되는 연계 결과 공유 모듈;
    을 포함하는 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템.
  5. 제1항에 있어서,
    상기 Master 엣지 서버는
    다수의 Worker 엣지 서버로부터 수신한 다종 컨텍스트를 취합하여 저장 관리하는 컨텍스트 취합 모듈;
    상기 컨텍스트 취합 모듈에서 수집한 컨텍스트를 웹 페이지를 이용해 확인할 수 있도록 하는 실시간 컨텍스트 모니터링 모듈;
    상기 컨텍스트 취합 모듈로부터 수신한 다종 컨텍스트 정보를 바탕으로 상기 Worker 엣지 서버에 연결된 단말의 수가 변하거나 단말이 인지하는 대상이 바뀌는 경우 단말에 따른 해당 Worker 엣지 서버의 컴퓨팅 리소스 사용량을 예측하는 연결 제어 리소스 예측 모듈;
    연결 제어 리소스 예측 모듈에서 수신한 컴퓨팅 리소스 예측 값을 이용하여 Worker 엣지 서버간에 부하 균형을 위한 협업 대상이 되는 Worker 엣지 서버와 제어할 단말을 결정하는 자율협업 결정 모듈;
    상기 Worker 엣지 서버가 전송한 연계 결과 컨텍스트를 수집 및 관리하여 엣지 서버간 연계 결정에 사용하는 단말 제어 결과 취합 모듈; 및
    해당 Worker 엣지 서버의 단말 제어 결과를 모니터링하는 단말 제어 결과 모니터링 모듈;
    을 포함하는 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템.
  6. 삭제
  7. 제1항에 있어서,
    상기 Worker 엣지 서버 관련 컨텍스트는 네트워크 컨텍스트, 컴퓨팅 리소스 컨텍스트, 분석지능 컨텍스트 그리고 연결 단말 컨텍스트로 분류되며,
    상기 네트워크 컨텍스트는 Worker 엣지 서버를 나타내는 IP 주소 컨텍스트로 구성되고,
    상기 컴퓨팅 리소스 컨텍스트는 분석지능 실행을 위한 컨텍스트로 CPU 점유율, RAM 점유율, 및 storage 사용량으로 구성되며,
    상기 분석지능 컨텍스트는 분석 대상 컨텍스트와 분석 대상에 따른 요구 컴퓨팅 리소스 컨텍스트로 분류되며, 상기 분석 대상 컨텍스트는 분석 지능이 인지 가능한 보안 위험 컨텍스트로 구성되고, 상기 요구 컴퓨팅 리소스는 보안 위험 인지에 따른 CPU, RAM, storage 컨텍스트로 구성되며,
    상기 연결 단말 컨텍스트는 네트워크 컨텍스트, 위치 컨텍스트, 그리고 비디오 컨텍스트로 분류되고, 상기 네트워크 컨텍스트는 단말이 가지고 있는 고유 IP 주소로 구성되며, 상기 위치 컨텍스트는 GPS 정보에 기초한 단말의 위도와 경도로 구성되고, 상기 비디오 컨텍스트는 단말로부터 Worker 엣지 서버로 전송하는 비디오의 품질, 그리고 분석 대상으로 구성되며, 상기 비디오의 품질은 비트율을 의미하며,
    상기 엣지 서버간 협업 결과 컨텍스트는 분석 대상과 컴퓨팅 리소스의 차이로 분류되고, 상기 컴퓨팅 리소스는 CPU 점유율, RAM 점유율, 및 storage 사용량을 포함하며,
    분석 대상은 제어된 단말이 촬영하는 대상에 대한 컨텍스트로 구성되며, 컴퓨팅 리소스의 차이는 예측된 컴퓨팅 리소스와 실제로 사용한 컴퓨팅 리소스의 차이로 CPU, RAM, 및 storage에 대한 컨텍스트로 구성되는, 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템.
  8. 제1항에 있어서,
    상기 Master 엣지 서버와 상기 다수의 Worker 엣지 서버 및 상기 다수의 단말들이 존재하는 지능형 영상 보안 환경에서, 상기 단말의 카메라 영상(스마트폰 영상, CCTV 영상, 자동차 블랙박스 영상, 드론의 카메라 영상)을 상기 Worker 엣지 서버로 전송하고, 상기 Worker 엣지 서버는 분석 지능에 의해 영상을 분석하며, 상기 Worker 엣지 서버의 컴퓨팅 리소스의 사용량을 계산하고, 상기 컴퓨팅 리소스의 사용량은 CPU 점유율, RAM 점유율, storage 사용량을 포함하며, 상기 Worker 엣지 서버의 컴퓨팅 리소스의 사용량은 Worker 엣지 서버에 연결된 하나 이상의 단말로부터 전송받은 영상에 따라 결정되며, 연결된 단말이 전송하는 영상의 품질 인 비트율과, 단말이 감지하는 대상에 따라 보안 위험을 인지하기 위한 컴퓨팅 리소스 사용량이 다르며,
    상기 Master 엣지 서버는 단말에 연결된 수가 달라지거나 단말이 인지하는 대상이 변하는 경우 Worker 엣지 서버간 부하 균형을 위해 단말 연결 제어에 따른 컴퓨팅 리소스의 사용량을 예측하며, 하지만 서로 다른 Worker 엣지 서버의 컴퓨팅 리소스의 사용량 컴퓨팅 파워가 다르므로, 이에 따라, 단말의 연결 제어에 따른 컴퓨팅 리소스가 다르게 예측되고,
    상기 Worker 엣지 서버간 부하 균형을 위해 선택되는 단말은 Worker 엣지 서버에 새롭게 연결된 단말이 선택되는게 아니라 상기 Worker 엣지 서버에 연결된 단말들의 제어에 따른 상기 Worker 엣지 서버의 컴퓨팅 리소스의 사용량을 예측하여 정형화된 컨텍스트를 수신한 상기 Master 엣지 서버에 의해 선택되는, 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템.
  9. 제1항에 있어서,
    상기 Master 엣지 서버는 Worker 엣지 서버에 연결된 단말의 수가 변화하거나 단말이 감지하고 있는 분석 대상의 변화에 따라 Worker 엣지 서버간 연계를 수행하며, 상기 Master 엣지 서버는 단말 관련 컨텍스트의 변화의 발생에 따라 Worker 엣지 서버간 연계에 따라 부하 균형의 향상을 판단하며, 상기 Master 엣지 서버는 Worker 엣지 서버간 연계의 필요성을 판단하기 위해 단말 연결에 따른 컴퓨팅 리소스 예측값(
    Figure 112022102907704-pat00011
    ) 및 엣지 서버들의 평균 컴퓨팅 리소스(
    Figure 112022102907704-pat00012
    )를 계산하며,
    상기 Master 엣지 서버는 Worker 엣지 서버의 컴퓨팅 리소스 예측 값이 컴퓨팅 리소스 임계값(Th)보다 낮은 경우, Worker 엣지 서버의 부하(load)가 낮기 때문에 Worker 엣지 서버간 연계를 수행하지 않으며,
    상기 Worker 엣지 서버의 컴퓨팅 리소스 사용량의 예측 값이 임계값(Th)보다 높더라도, Worker 엣지 서버들의 컴퓨팅 리소스 사용량보다 낮으면 Worker 엣지 서버간 연계에 따라 부하 균형을 수행하지 못하며 그러므로 상기 Master 엣지 서버는 단말 연결 제어를 수행하지 않는, 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템.
  10. 제1항에 있어서,
    상기 Master 엣지 서버는 Worker 엣지 서버간 연계 필요성을 판단한 이후 불필요한 Worker 엣지 서버간 협업을 줄이기 위해 확률적 협업 모델에 따라 연계를 결정하며, 상기 확률적 협업 모델은 Worker 엣지 서버의 컴퓨팅 리소스의 양과 컴퓨팅 리소스 사용량의 예측값을 기반으로 계산되며, 무작위 값(R)과 비교하여 결정하고,
    각 Worker 엣지 서버의 컴퓨팅 리소스의 양과 컴퓨팅 리소스 사용량의 예측값의 비율이 1에 가까울수록 엣지 서버간 협업 확률이 증가하며, Worker 엣지 서버간 협업을 위한 제어 단말과 협업 대상은 단말 연결 제어에 따른 Worker 엣지 서버의 컴퓨팅 리소스의 변화와 컴퓨팅 리소스의 사용량의 신뢰도를 기반으로 결정되며, Worker 엣지 서버의 단말 연결 제어에 따른 컴퓨팅 리소스의 변화는 단말과 Worker 엣지 서버간 연결 생성(
    Figure 112022102907704-pat00013
    ) 및 연결 종료(
    Figure 112022102907704-pat00014
    )에 따라 계산되고, Worker 엣지 서버의 단말 연결 제어에 따른 컴퓨팅 리소스의 변화를 계산한 이후 Worker 엣지 서버간 부하 균형을 판단하며, Worker 엣지 서버간 부하 균형은
    Figure 112022102907704-pat00015
    가 작을수록 부하 균형의 향상도가 높은 것을 나타내며, 뿐만아니라 단말 연결 제어에 따른 컴퓨팅 리소스의 사용량의 예측과 실제 사용 컴퓨팅 리소스 사용량으로 계산되는 신뢰도
    Figure 112022102907704-pat00016
    를 이용하며, 상기 신뢰도
    Figure 112022102907704-pat00017
    는 컴퓨팅 리소스 사용량의 예측과 실제 사용 컴퓨팅 리소스 사용량의 차이가 적을수록 높은 값을 가지고, 예측의 정확도를 가지며, 또한, 단말 연결 제어에 따른 신뢰도의 변동을 줄이기 위해 EWMA(Exponential Weight Moving Average)를 사용하여
    Figure 112022102907704-pat00018
    과 같이 계산하고,
    Figure 112022102907704-pat00019
    가 낮아 부하 균형의 향상됨이 높더라도 신뢰도가 낮으면 선택된 협업 대상 및 단말이 선택되지 않는, 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템.
  11. 제10항에 있어서,
    상기 Master 엣지 서버는 상기 다수의 Worker 엣지 서버로부터 공유된 컨텍스트(Context)에 기초하여 상기 신뢰도
    Figure 112022112611695-pat00020
    를 계산하고, 기준치 보다 상기 신뢰도가 높은 경우 Worker 엣지 서버의 부하 균형을 이루도록 컴퓨팅 리소스 임계값(Th) 보다 컴퓨팅 리소스의 사용량이 적은 Worker 엣지 서버로 선택된 단말 연결 제어를 하도록 결정하면, 해당 Worker 엣지 서버가 선택된 단말과 연결 제어를 통해 자율 협업을 하는, 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템.
KR1020210115167A 2021-08-31 2021-08-31 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템 KR102510258B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210115167A KR102510258B1 (ko) 2021-08-31 2021-08-31 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210115167A KR102510258B1 (ko) 2021-08-31 2021-08-31 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템

Publications (2)

Publication Number Publication Date
KR20230032383A KR20230032383A (ko) 2023-03-07
KR102510258B1 true KR102510258B1 (ko) 2023-03-14

Family

ID=85502826

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210115167A KR102510258B1 (ko) 2021-08-31 2021-08-31 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템

Country Status (1)

Country Link
KR (1) KR102510258B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018148477A (ja) * 2017-03-08 2018-09-20 日本電気株式会社 選択装置、装置選択方法、プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10341868B2 (en) 2016-02-25 2019-07-02 Smart-Edge.Com, Inc. Platform for computing at the mobile edge
KR102183897B1 (ko) 2018-09-19 2020-11-27 주식회사 맥데이타 네트워크에 대한 인공지능 기반 이상 징후 검출 방법, 장치 및 시스템
KR102110592B1 (ko) * 2018-10-10 2020-06-08 전자부품연구원 IoT 컴퓨팅 환경에서의 클라우드와 엣지간의 분산 처리 방법 및 시스템
US11669368B2 (en) * 2019-09-28 2023-06-06 Intel Corporation Multi-tenant data protection in edge computing environments

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018148477A (ja) * 2017-03-08 2018-09-20 日本電気株式会社 選択装置、装置選択方法、プログラム

Also Published As

Publication number Publication date
KR20230032383A (ko) 2023-03-07

Similar Documents

Publication Publication Date Title
KR102304477B1 (ko) 지능형 영상 보안을 위한 적응적 컨텍스트 공유 및 엣지 서버간 자율협업 시스템
US11057495B2 (en) Selecting where to process data associated with Internet of Things (IoT) devices
US20200007409A1 (en) INTELLIGENT INTERNET OF EVERYTHING (IoE) EDGE COMPUTIING SYSTEM FOR HIGH RELIABLE INTERNET OF THINGS (IoT) SERVICE
EP3509025A1 (en) Automated multi-domain operational services
Callegaro et al. Optimal computation offloading in edge-assisted UAV systems
CN110855564B (zh) 路由路径智能选择方法、装置、设备及可读存储介质
CN113766576B (zh) 服务质量管理方法、电子设备以及存储介质
KR20190030589A (ko) 오프로딩 시스템을 통해 무인 비행체의 영상을 분석하기 위한 방법 및 장치
EP2701067A1 (en) Content distribution system, control device, and content distribution method
Jung et al. Adaptive and stabilized real-time super-resolution control for UAV-assisted smart harbor surveillance platforms
KR102300124B1 (ko) 코어 vms와 엣지 vms를 구비한 모바일 엣지 컴퓨팅 기반의 영상 관제 시스템
Qian et al. On the design of edge-assisted mobile IoT augmented and mixed reality applications
KR102510258B1 (ko) 지능형 영상 보안 환경에서 컴퓨팅 리소스 예측 기반의 엣지 서버간 협업 시스템
Ahmed et al. Predicting high delays in mobile broadband networks
Lee et al. Optimal flow rate control for SDN-based naval systems
CN107181929A (zh) 用于视频监控的方法和装置
CN115379456A (zh) 电力5g网络风险评估方法、装置、电子设备及存储介质
US11558722B2 (en) Management apparatus, communication apparatus, system, method, and non-transitory computer readable medium
CN111480349A (zh) 用于确定数据格式的控制设备和方法
KR20220111111A (ko) 딥러닝 기반의 초해상화 이미지 처리 시스템과 방법 및 이를 위한 컴퓨터 프로그램
US20210316759A1 (en) Systems and methods to enable reciprocation in vehicular micro cloud
KR20240016572A (ko) 지능형 영상 보안 환경에서 서비스 분류 기반의 클라우드-다중 엣지 서버간 협업 시스템 및 방법
EP4079035A1 (en) System and method for managing quality of service provided by a communication system to an unmanned autonomus vehicle
CN114245067A (zh) 一种数据传输控制方法、装置、设备及可读存储介质
Grislin-Le Strugeon et al. A multi-agent approach for vehicle-to-fog fair computation offloading

Legal Events

Date Code Title Description
GRNT Written decision to grant