KR102334888B1 - 디스플레이 기반 비디오 분석 - Google Patents

디스플레이 기반 비디오 분석 Download PDF

Info

Publication number
KR102334888B1
KR102334888B1 KR1020197023548A KR20197023548A KR102334888B1 KR 102334888 B1 KR102334888 B1 KR 102334888B1 KR 1020197023548 A KR1020197023548 A KR 1020197023548A KR 20197023548 A KR20197023548 A KR 20197023548A KR 102334888 B1 KR102334888 B1 KR 102334888B1
Authority
KR
South Korea
Prior art keywords
video
display
video stream
network
stream
Prior art date
Application number
KR1020197023548A
Other languages
English (en)
Other versions
KR20190116978A (ko
Inventor
마이클 에스. 웬그로비츠
조셉 알. 마짜렐라
Original Assignee
뮤츄얼링크, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 뮤츄얼링크, 인크. filed Critical 뮤츄얼링크, 인크.
Publication of KR20190116978A publication Critical patent/KR20190116978A/ko
Application granted granted Critical
Publication of KR102334888B1 publication Critical patent/KR102334888B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/00718—
    • G06K9/46—
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2381—Adapting the multiplex stream to a specific network, e.g. an Internet Protocol [IP] network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43622—Interfacing an external recording device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43632—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wired protocol, e.g. IEEE 1394
    • H04N21/43635—HDMI
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/10—Adaptations for transmission by electrical cable
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Alarm Systems (AREA)

Abstract

본 개시내용은 IP 네트워크 상에서 인터넷 프로토콜(IP) 카메라들 및/또는 비디오 관리 시스템(VMS)에 의해 제공된 비디오 스트림들에 대한 디스플레이 기반 비디오 분석을 수행하기 위한 비디오 감시 시스템 및 방법에 관한 것이다. 디스플레이 기반 비디오 분석은 IP 네트워크로의 직접적인 접속 없이, 비디오 스트림들에 대한 비디오 분석을 수행할 수 있다. 디스플레이 기반 비디오 분석은 IP 네트워크에 직접적으로 접속되지 않고도, 비디오 스트림들에 대한 비디오 분석을 수행할 수 있으므로, 디스플레이 기반 비디오 분석은 보안 IP 네트워크들을 갖는 비디오 감시 시스템들에서 더 용이하게 구현될 수 있다.

Description

디스플레이 기반 비디오 분석
이 출원은 일반적으로 비디오 감시 시스템(video surveillance system)들에 관한 것으로, 더 상세하게는, 비디오 감시 시스템들에서의 비디오 분석의 구현 및 이용에 관한 것이다.
비디오 감시는 비디오 카메라들을 이용하여 공적 또는 사적 공간들을 원격으로 주시(watch)하는 것을 수반한다. 비디오 감시에 대한 수요는 공항들, 해양 영역들, 철로들, 도로들, 점포들, 은행들, 및 주차장들과 같은 많은 영역들에서의 안전 및 보안 목적들을 위하여 계속 강력하다. 안전 및 보안 목적들을 위하여 유용하도록, 감시 비디오의 실시간 분석이 전형적으로 요구된다. 인간 조작자들은 카메라들을 실시간으로 모니터링하고 중요한 이벤트들을 보고하기 위하여 이용될 수 있다. 그러나, 연구들은 인간들이 그 반복적인 성질로 인해 이 업무를 수행하기 위하여 적합하지 않고, 일부 경우들에는, 일부 감시 시스템들에 의한 이용 시에 큰 수의 비디오 카메라들로 인해 전혀 적합하지 않다는 것을 보여주었다.
인간 조작자들의 이 제한을 다루기 위하여, 비디오 분석이 비디오 감시 시스템에 추가될 수 있다. 일반적으로, 비디오 분석은, 관심 있는 객체들(예컨대, 사람들 또는 차량들)을 검출하고, 그 다음으로, 관심 있는 객체들을 인식하고 및/또는 추적하는 알고리즘들을 이용하여 비디오를 분석하는 것을 수반한다. 비디오 분석은 이 객체들을 수반하는 잠재적으로 중요한 이벤트들의 존재를 표시하기 위하여 또한 이용될 수 있다. 예를 들어, 비디오 분석의 통상적인 목적은 다양한 유형들의 이벤트들에 대응하는 경보들을 조작자들에게 제공하기 위한 것이다.
하나의 연관된 도전은 비디오 감시 시스템에서 비디오 분석 시스템을 어떻게 도입하거나 구현하는지이다. 전형적인 비디오 감시 시스템은 다수의 인터넷 프로토콜(internet protocol; IP) 카메라들, 비디오 관리 시스템(Video Management System; VMS), 및 디스플레이 상에서 IP 카메라들 중의 하나 이상 또는 VMS로부터의 실시간 및/또는 레코딩된 비디오 스트림들을 렌더링(render)하는 비디오 수신 디바이스로 이루어진다. IP 카메라들, VMS, 및 비디오 수신 디바이스는 비디오 스트림들을 IP 카메라들 및/또는 VMS로부터 비디오 수신 디바이스로 반송(carry)하기 위하여 적당한 IP 네트워크 상에서 상호작용한다. 비디오 분석 시스템은 IP 카메라들 및/또는 VMS로부터의 비디오 스트림들을 반송하는 IP 패킷들이 프로세싱을 위하여 비디오 분석 시스템으로 라우팅될 수 있도록, IP 네트워크에 직접적으로 접속될 수 있다.
그러나, 이 형태의 직접적인 접속은 번거로울 수 있고, 특히, IP 네트워크가 보안 IP 네트워크일 경우에, 보안 도전들을 제기할 수 있다. 전형적으로, 디바이스가 보안 IP 네트워크에 연결될 수 있기 전에, 디바이스는 보안 IP 네트워크의 지배 보안 정책으로 준수성(compliance)에 대하여 체크되어야 하고, 이탈(deviation)들이 발견될 경우에, 준수성에 이르도록 해야 한다. 또한, 디바이스가 인터넷에 직접적으로 또는 간접적으로 중의 어느 하나로 접속될 경우에, 디바이스는 평가되어야 하고 어드레싱되어야 하는 보안 IP 네트워크에 대해 다른 잠재적인 위험들을 제기한다. 다음의 설명은 비디오 분석 시스템들 및 비디오 감시 시스템들의 통합을 단순화할 수 있는 대안적인 수단을 다룬다.
본원에 편입되고 명세서의 일부를 형성하는 동반 도면들은 본 개시내용을 예시하고, 설명과 함께, 개시내용의 원리들을 설명하고, 당해 분야의 당업자가 개시내용을 제조하고 이용하는 것을 가능하게 하도록 작용한다.
도 1은 본 개시내용의 실시형태들이 구현될 수 있는 예시적인 비디오 감시 시스템을 예시한다.
도 2는 비디오 분석을 구현하는 비디오 감시 시스템을 예시한다.
도 3은 본 개시내용의 실시형태들에 따라, 디스플레이 기반 비디오 분석을 구현하는 비디오 감시 시스템을 예시한다.
도 4는 본 개시내용의 실시형태들에 따라, 비디오 스트림에 대한 비디오 분석을 수행하기 위한 일 예의 방법의 플로우차트를 예시한다.
도 5는 본 개시내용의 실시형태들에 따라, 디스플레이 기반 비디오 분석 시스템을 위한 로컬 출력 옵션들을 예시한다.
도 6은 본 개시내용의 실시형태들에 따라, 디스플레이 기반 비디오 분석 시스템을 위한 비-로컬 출력 옵션을 예시한다.
도 7은 본 개시내용의 실시형태들에 따라, 디스플레이 기반 비디오 분석 시스템을 위한 또 다른 비-로컬 출력 옵션들을 예시한다.
도 8은 본 개시내용의 실시형태들에 따라, 멀티 채널 디스플레이 기반 비디오 분석을 구현하는 비디오 감시 시스템을 예시한다.
도 9는 본 개시내용의 실시형태들에 따라, 멀티 채널 디스플레이 기반 비디오 분석을 구현하는 또 다른 비디오 감시 시스템을 예시한다.
도 10은 본 개시내용의 실시형태들에 따라, 디스플레이 기반 비디오 분석 시스템의 일 예의 구현예를 예시한다.
도 11은 본 개시내용의 양태들을 구현하기 위하여 이용될 수 있는 일 예의 컴퓨터 시스템의 블록도를 예시한다.
본 개시내용은 동반 도면들을 참조하여 설명될 것이다. 구성요소가 최초로 나타나는 도면은 대응하는 참조 번호에서의 가장 좌측 숫자(들)에 의해 전형적으로 표시된다.
다음의 설명에서, 수 많은 특정 세부사항들은 개시내용의 철저한 이해를 제공하기 위하여 기재된다. 그러나, 구조들, 시스템들, 및 방법들을 포함하는 개시내용은 이 특정 세부사항들 없이 실시될 수도 있다는 것이 당해 분야의 당업자들에게 분명할 것이다. 본원에서의 설명 및 표현은 그 작업의 실체를 당해 분야의 당업자들에게 가장 효과적으로 전달하기 위하여 당해 분야에서 경험되거나 숙련된 당업자들에 의해 이용된 통상적인 수단들이다. 다른 사례들에서, 잘 알려진 방법들, 절차들, 컴포넌트들, 및 회로부는 개시내용의 양태들을 불필요하게 모호하게 하는 것을 회피하기 위하여 상세하게 설명되지 않았다.
"하나의 실시형태", "실시형태", "일 예의 실시형태" 등에 대한 명세서에서의 참조들은, 설명된 실시형태가 특정한 특징, 구조, 또는 특성을 포함할 수도 있지만, 모든 실시형태가 특정한 특징, 구조, 또는 특성을 반드시 포함하지는 않을 수도 있다는 것을 표시한다. 또한, 이러한 어구들은 동일한 실시형태를 반드시 지칭하고 있지는 않다. 또한, 특정한 특징, 구조, 또는 특성이 실시형태와 관련하여 설명될 때, 명시적으로 설명되든지 또는 그렇지 않든지, 다른 실시형태들과 관련하여 이러한 특징, 구조, 또는 특성에 영향을 미치는 것은 당해 분야의 당업자의 지식 내에 있는 것으로 사료된다.
본원에서 설명된 바와 같은 본 개시내용의 다양한 구성요소들 및 특징들은 아날로그 및/또는 디지털 회로들을 이용하는 하드웨어로, 하나 이상의 일반 목적 또는 특수 목적 프로세서들에 의한 명령들의 실행을 통해 소프트웨어로, 또는 하드웨어 및 소프트웨어의 조합으로서 구현될 수 있다는 것이 관련 분야(들)에서의 당업자들에게 분명할 것이다.
1. 개요
본 개시내용은 IP 네트워크 상에서 인터넷 프로토콜(IP) 카메라들 및/또는 비디오 관리 시스템(VMS)에 의해 제공된 비디오 스트림들에 대한 디스플레이 기반 비디오 분석을 수행하기 위한 비디오 감시 시스템 및 방법에 관한 것이다. 디스플레이 기반 비디오 분석은 IP 네트워크로의 직접적인 접속 없이, 비디오 스트림들에 대한 비디오 분석을 수행할 수 있다. 디스플레이 기반 비디오 분석은 IP 네트워크에 직접적으로 접속되지 않고도, 비디오 스트림들에 대한 비디오 분석을 수행할 수 있으므로, 디스플레이 기반 비디오 분석은 보안 IP 네트워크들을 갖는 비디오 감시 시스템들에서 더 용이하게 구현될 수 있다. 본 개시내용의 이러한 그리고 다른 특징들은 이하에서 또한 설명된다.
2. 예시적인 동작 환경
도 1은 본 개시내용의 실시형태들이 구현될 수 있는 예시적인 비디오 감시 시스템(100)을 예시한다. 비디오 감시 시스템(100)은 인터넷 프로토콜(IP) 네트워크(102), 적어도 하나의 IP 카메라(104), 비디오 관리 시스템(VMS)(106), 비디오 수신 디바이스(108), 및 케이블(112)을 통해 비디오 수신 디바이스(108)에 결합된 디스플레이(110)를 포함한다.
동작 시에, 비디오 감시 시스템(100)은 안전 및/또는 보안 목적들을 위하여 공적 또는 사적 공간을 원격으로 주시하기 위하여 이용될 수 있다. 예를 들어, 비디오 감시 시스템(100)은 공항, 해양 영역, 철로, 도로, 점포, 은행, 또는 주차장에서의 안전 및/또는 보안 목적들을 위하여 이용될 수 있다. IP 카메라(104)는 이 환경들 중의 하나에서 비디오를 캡처(capture)할 수 있고, 캡처된 비디오에 기초한 비디오 스트림을 IP 네트워크(102) 상에서 VMS(106) 및/또는 비디오 수신 디바이스(108)로 송신할 수 있다.
IP 네트워크(102)는 데이터가 네트워크에 결합된 하나 이상의 디바이스들 사이에서 전송되는 것을 허용하는 통신 네트워크이다. 예를 들어, IP 카메라(104)는 IP 카메라(104)가 캡처하는 비디오의 비디오 스트림을 IP 네트워크(102) 상에서 VMS(106)로 전송할 수 있다. 비디오 스트림은 IP 네트워크(102)에 결합된 다른 디바이스들 중에서 VMS(106)를 고유하게 식별하는 목적지 IP 어드레스를 포함하는 일련의 IP 패킷들로 캡슐화(encapsulate)된다. 일반적으로, IP 네트워크(102)에 결합된 각각의 디바이스는 전형적으로, IP 패킷들이 디바이스로/디바이스로부터 라우팅되는 것을 허용하기 위하여 고유한 IP 어드레스를 배정받는다. 도 1에서의 디바이스들은 단일 케이블을 이용하여 IP 네트워크(102)에 직접적으로 결합되는 것으로서 도시되지만, 다른 실시형태들에서, 도 1에서의 디바이스들 중의 하나 이상은 추가적인 케이블들을 이용하여, (예컨대, IEEE 802.11 네트워크를 통한) 무선 접속들을 이용하여, 그리고 하나 이상의 스위치들 및/또는 라우터들을 이용하여 결합될 수 있다는 것이 주목되어야 한다.
VMS(106)는 IP 네트워크(102) 상에서 IP 카메라(104)로부터 비디오 스트림들을 수신할 수 있고, 하나 이상의 메모리 저장 유닛들(도시되지 않음)에서 비디오 스트림들을 저장할 수 있고, 하나 이상의 뷰어(viewer)들, 또는 비디오 수신 디바이스(108)와 같은 비디오 수신 디바이스들로의 하나 이상의 메모리 저장 유닛들에서 저장된 비디오 스트림들의 분배(distribution)를 관리할 수 있다.
하나의 실시형태에서, VMS(106) 및 비디오 수신 디바이스(108)는 도 1에서 도시된 바와 같은 2 개의 별도의 디바이스들과 반대로, 하나의 디바이스를 형성한다. 또 다른 실시형태에서, 비디오 수신 디바이스(108)는 VMS(106)와는 별도의 디바이스이고, VMS(106)로부터 IP 카메라(104)에 의해 캡처된 비디오의 비디오 스트림을 수신하거나, IP 카메라(104)로부터 직접적으로 비디오 스트림을 수신한다. 비디오 수신 디바이스는 예를 들어, 비디오 수신 디바이스(108)의 조작자가 비디오 스트림들을 수신하기 위하여 IP 카메라(104) 및/또는 VMS(106)와 상호작용하는 것을 허용하는 메모리에서 저장된 소프트웨어를 실행하는 하나 이상의 프로세서들을 갖는 개인용 컴퓨터(personal computer; PC)일 수 있다.
비디오 수신 디바이스(108)는 디스플레이를 위한 포맷으로 비디오 스트림을 제공하기 위하여 IP 카메라(104)에 의해 캡처된 비디오의 비디오 스트림을 프로세싱하도록 구성된다. 예를 들어, 도 1에서 도시된 바와 같이, 비디오 수신 디바이스(108)는 포맷팅된 비디오 스트림을 케이블(112)을 통해 디스플레이(110)에 제공할 수 있다. 케이블(112)은 예를 들어, 고해상도 멀티미디어 인터페이스(High-Definition Multimedia Interface; HDMI) 디스플레이 케이블, 디지털 시각적 인터페이스(Digital Visual Interface; DVI) 디스플레이 케이블, 또는 비디오 그래픽 어레이(Video Graphics Array; VGA) 디스플레이 케이블일 수 있다. 비디오 감시 시스템(100)의 조작자는 디스플레이(110) 상에서 렌더링된 비디오 스트림을 관측(view)할 수 있다. 비디오 수신 디바이스(108)는 구체적으로, IP 네트워크(102) 상에서 IP 패킷들 내의 비디오 스트림을 수신하고, 디스플레이(110)에 의한 디스플레이를 위하여 수신된 비디오 스트림을 재포맷팅(reformat)한다. 재포맷팅된 비디오 스트림은 HDMI, DVI, 및 VGA와 같은 인터페이스들 상에서의 전송을 위하여 적당한 포맷일 수 있다.
다수의 IP 카메라들(104)이 비디오 감시 시스템(100)에 의해 이용되는 실시형태에서, 비디오 수신 디바이스(108)는 디스플레이(110)에 의한 타일링된 포맷(tiled format)으로의 디스플레이를 위하여 다수의 IP 카메라들(104) 중의 2 개 이상으로부터의 비디오 스트림들을 포맷팅할 수 있다. 예를 들어, 비디오 수신 디바이스(108)는 디스플레이(110) 상에서 별도의 비디오 타일(114)에서의 각각의 비디오 스트림을 동시에 디스플레이할 수 있다.
위에서 언급된 바와 같이, 비디오 감시 시스템(100)이 많은 안전 및 보안 목적들을 위하여 유용하도록 하기 위하여, IP 카메라(104)에 의해 캡처된 감시 비디오의 실시간 분석이 전형적으로 요구된다. 인간 조작자들은 비디오 카메라들을 실시간으로 모니터링하고 중요한 이벤트들을 보고하기 위하여 이용될 수 있다. 그러나, 연구들은 인간들이 그 반복적인 성질로 인해 이 업무를 수행하기 위하여 적합하지 않고, 일부 경우들에는, 일부 감시 시스템들에 의한 이용 시에 큰 수의 비디오 카메라들로 인해 전혀 적합하지 않다는 것을 보여주었다.
인간 조작자들에서의 이 문제를 해결하기 위하여, 비디오 분석이 비디오 감시 시스템(100)에 추가될 수 있다. 일반적으로, 비디오 분석은, 관심 있는 객체들(예컨대, 사람들 또는 차량들)을 검출하고, 그 다음으로, 관심 있는 객체들을 인식하고 및/또는 추적하는 알고리즘들을 이용하여 비디오를 분석하는 것을 수반한다. 비디오 분석은 이 객체들을 수반하는 잠재적으로 중요한 이벤트들(예컨대, 의심스러운 거동 또는 긴급 상황들)의 존재를 표시하기 위하여 또한 이용될 수 있다. 예를 들어, 비디오 분석의 통상적인 목적은 경보들을 이 이벤트들의 조작자들에게 제공하기 위한 것이다.
비디오 분석에서의 하나의 쟁점은 비디오 감시 시스템(100)과 같은 비디오 감시 시스템에서 비디오 분석 시스템을 어떻게 도입하거나 구현하는지이다. 도 2에서 도시된 바와 같이, 비디오 분석 시스템(202)은 IP 카메라(104) 또는 VMS(106)로부터의 비디오 스트림을 반송하는 IP 패킷들이 프로세싱을 위하여 비디오 분석 시스템(202)으로 라우팅될 수 있도록, IP 네트워크(102)에 직접적으로 접속될 수 있다. 그러나, 이 형태의 직접적인 접속은 번거로울 수 있고, 및/또는 IP 네트워크(102)가 보안 IP 네트워크일 경우에, 도전적인 보안 암시(security implication)들을 제기할 수 있다.
3. 디스플레이 기반 비디오 분석
도 3은 본 개시내용의 실시형태들에 따라, 디스플레이 기반 비디오 분석을 구현하는 비디오 감시 시스템(300)을 예시한다. 비디오 감시 시스템(300)은 비디오 감시 시스템(300)이 디스플레이 기반 비디오 분석 시스템(302)을 더 포함한다는 것을 제외하고는, 도 1과 관련하여 위에서 설명된 비디오 감시 시스템(100)과 유사한 구성 및 동작 모드를 가진다.
디스플레이 기반 비디오 분석 시스템(302)은 IP 네트워크(102)로의 직접적인 접속 없이, IP 카메라(104) 및/또는 VMS(106)로부터 비디오 수신 디바이스(108)에 의해 수신된 비디오 스트림에 대한 비디오 분석을 수행하기 위하여 이용될 수 있다. 위에서 설명된 바와 같이, 비디오 수신 디바이스(108)는 디스플레이(110)를 위한 포맷으로 비디오 스트림을 제공하기 위하여 IP 카메라(104)에 의해 캡처된 비디오의 비디오 스트림을 프로세싱한다. 예를 들어, 비디오 수신 디바이스(108)는 포맷팅된 비디오 스트림을 케이블(112)을 통해 디스플레이(110)에 제공할 수 있다. 케이블(112)은 몇몇 예를 들면, 고해상도 멀티미디어 인터페이스(HDMI) 디스플레이 케이블, 디지털 시각적 인터페이스(DVI) 디스플레이 케이블, 또는 비디오 그래픽 어레이(VGA) 디스플레이 케이블일 수 있다. 디스플레이 기반 비디오 분석 시스템(302)은 추후에, 비디오 수신 디바이스(108)로부터 케이블(112)을 통해 디스플레이(110)를 위한 포맷으로 비디오 스트림을 수신한다. 디스플레이(110)를 위한 포맷으로 비디오 스트림을 수신한 후에, 디스플레이 기반 비디오 분석 시스템(302)은 비디오 스트림에 대한 비디오 분석을 수행할 수 있다. 비디오 스트림은 케이블(112)로부터 분할될 수 있어서, 디스플레이(110)는 디스플레이 기반 비디오 분석 시스템(302)이 비디오 스트림을 수신하고 프로세싱하는 동안에, 비디오 스트림을 디스플레이하는 것을 계속할 수 있다는 것이 주목되어야 한다.
디스플레이 기반 비디오 분석 시스템(302)은 도 3에서 도시된 바와 같이 IP 네트워크(102)에 직접적으로 접속되지 않고도, 비디오 스트림에 대한 비디오 분석을 수행하므로, 디스플레이 기반 비디오 분석(302)은 특히, IP 네트워크(102)가 보안 IP 네트워크인 실시형태들에서, 비디오 감시 시스템(300)에서 더 용이하게 구현될 수 있다. 예를 들어, 디스플레이 기반 비디오 분석 시스템(302)은 비디오 감시 시스템(300)의 IP 네트워크(102)로부터 결합해제되므로, 디스플레이 기반 비디오 분석 시스템(302)은 IP 네트워크(102) 상에서 IP 패킷들을 직접적으로 수신하거나 송신할 수 없고, 이것은 전형적으로, 디스플레이 기반 비디오 분석 시스템(302)이 IP 네트워크(102)의 동작 및 보안을 방해하는 것을 방지한다.
도 4는 본 개시내용의 실시형태들에 따라, 비디오 스트림에 대한 비디오 분석을 수행하기 위한 일 예의 방법의 플로우차트(400)를 예시한다. 하나의 실시형태에서, 플로우차트(400)는 디스플레이 기반 비디오 분석 시스템(302)에 의해 구현된다.
플로우차트(400)의 방법은 임의적인 단계(402)에서 시작되고, 이 단계(402)에서, 프로세싱되어야 할 비디오 스트림은 또한 분석되어야 하는 비디오 스트림의 프레임들을 결정하기 위하여 필터링된다. 예를 들어, 비디오 스트림은 비디오 스트림의 비디오에 의해 캡처된 환경에서의 변화(예컨대, 객체 이동)가 발생한 것으로 결정되는 비디오 스트림에서의 프레임들을 결정하기 위하여, 이 임의적인 단계(402)에서 필터링될 수 있다. 비디오 스트림의 비디오에 의해 캡처된 환경에서의 변화는 일시적으로 인접한 또는 일시적으로 근접한 비디오 프레임들(예컨대, 서로의 1 초 내에서 캡처된 비디오 프레임들) 사이의 컬러 빈도 분포(color frequency distribution)에서의 변화에 기초하여 결정될 수 있다. 환경에서의 이러한 변화들을 캡처하는 비디오 프레임들은 추가의 분석을 위하여 순방향으로 통과될 수 있는 반면, 다른 프레임들은 프로세싱 수요들을 감소시키기 위하여 플로우차트(400)의 나머지 단계들에서 수행된 추가적인 분석으로부터 필터링될 수 있다.
임의적인 단계(402) 후에, 플로우차트(400)의 방법은 단계(404)로 진행한다. 단계(404)에서, 비디오 스트림의 비디오 프레임들은 객체를 검출하기 위하여 분석된다. 예를 들어, 비디오 스트림에 의해 캡처된 비디오에서의 이동하는 객체들은 비디오에서의 이동하는 객체들을 검출하기 위한 하나 이상의 알려진 방법들을 이용하여 검출될 수 있다.
단계(404) 후에, 플로우차트(400)의 방법은 단계(406)로 진행한다. 단계(406)에서는, 단계(404)에서의 검출된 객체의 특징들이 하나 이상의 알려진 방법들을 이용하여 인식 및/또는 분류를 위하여 추출될 수 있다. 예를 들어, 검출된 객체가 번호판(license plate)일 경우에, 번호판의 번호들이 추출되고 인식될 수 있다. 단계(404)에서의 검출된 객체의 특징들을 추출하는 것에 추가적으로, 또는 이에 대한 대안으로서, 검출된 객체는 하나 이상의 알려진 방법들을 이용하여, 단계(406)에서는, 비디오 스트림에서 추적될 수 있다. 검출된 객체를 추적하는 것은 객체의 위치 및 속력을 추적하는 것을 포함할 수 있다.
단계(406) 후에, 플로우차트(400)의 방법은 임의적인 단계(408)로 진행한다. 단계(408)에서, 비디오 스트림은 검출된 객체와 연관되는 비디오 스트림에서의 이벤트의 발생을 검출하기 위하여 분석된다. 예를 들어, 이벤트는 감시 하의 환경에서 남겨지는 검출된 객체와 같은 검출된 객체와 연관된 의심스러운 거동일 수 있다. 이벤트들은 예를 들어, 잘 알려진 규칙 기반 또는 학습 기반 이벤트 검출 기법들을 이용하여 검출될 수 있다.
단계(408) 후에, 플로우차트(400)의 방법은 임의적인 단계(410)로 진행한다. 단계(410)에서, 경보는 단계(408)에서 인식된 이벤트의 발생의 비디오 감시 시스템의 조작자에게 발행된다. 경보는 몇몇 예들을 제공하면, 이벤트를 설명하는 (예컨대, 비디오 스트림의 비디오에서 내장된) 텍스트, 이벤트를 비디오 감시 조작자에게 표시하거나 강조하는 비디오 스트림의 비디오에서 내장된 시각적 큐(visual cue), 및/또는 비디오 스트림에 링크된 메타데이터(metadata)의 형태일 수 있다.
도 5를 지금부터 참조하면, 디스플레이 기반 비디오 분석 시스템(302)을 위한 로컬 출력 옵션들은 본 개시내용의 실시형태들에 따라 비디오 감시 시스템(300)에 대하여 도시된다.
제 1 실시형태에서, 디스플레이 기반 비디오 분석 시스템(302)은 비디오 분석의 결과들과 함께, 디스플레이 기반 비디오 분석 시스템(302)이 비디오 분석을 수행하였던 원래의 비디오 스트림을 디스플레이(500)로 출력할 수 있다. 비디오 분석 결과들은 (예컨대, 비디오 스트림의 비디오에서 내장된) 텍스트, 또는 비디오 분석에 의해 인식된 이벤트를 표시하거나 강조하는 비디오 스트림의 비디오에서 내장된 시각적 큐의 형태일 수 있다. 원래의 비디오 스트림 및 비디오 분석 결과들은 케이블(502)을 통해 디스플레이(500)로 출력될 수 있다. 케이블(502)은 예를 들어, 고해상도 멀티미디어 인터페이스HDMI) 디스플레이 케이블, 디지털 시각적 인터페이스(DVI) 디스플레이 케이블, 또는 비디오 그래픽 어레이(VGA) 디스플레이 케이블일 수 있다.
다수의 IP 카메라들(104)이 비디오 감시 시스템(300)에 의해 이용되는 실시형태에서, 디스플레이 기반 비디오 분석 시스템(302)은 각각의 비디오 스트림에 대한 대응하는 비디오 분석 결과들과 함께 디스플레이(500)에 의한 타일링된 포맷으로의 디스플레이를 위하여, 다수의 IP 카메라들(104) 중의 2 개 이상으로부터의 분석된 비디오 스트림들을 포맷팅할 수 있다. 예를 들어, 디스플레이 기반 비디오 분석 시스템(302)은 그 대응하는 비디오 분석 결과들과 함께 각각의 비디오 스트림을 별도의 비디오 타일(504)에서 동시에 디스플레이할 수 있다.
제 2 실시형태에서, 디스플레이 기반 비디오 분석 시스템(302)은 비디오 분석의 결과들과 함께, 디스플레이 기반 비디오 분석 시스템(302)이 비디오 분석을 수행하였던 원래의 비디오 스트림을 밀집형 메모리 스토리지(dense memory storage)(506)로 출력할 수 있다. 밀집형 메모리 스토리지(506)는 예를 들어, 비디오 데이터를 저장하기 위한 하나 이상의 하드 디스크 드라이브들을 포함할 수 있다.
제 3 실시형태에서, 디스플레이 기반 비디오 분석 시스템(302)은 비디오 분석의 결과들과 함께, 디스플레이 기반 비디오 분석 시스템(302)이 비디오 분석을 수행하였던 원래의 비디오 스트림을 가상 IP 카메라 스트림(510)에서의 표준 IP 카메라로서 출력할 수 있다. 가상 IP 카메라 스트림(510)은 VMS와 같은 또 다른 비디오 수신 디바이스(508)에 의해 수신될 수 있다. 또 다른 실시형태에서, 디스플레이 기반 비디오 분석 시스템(302)은 가상 IP 카메라 스트림(510)와 함께, 가상 IP 카메라 메타데이터(512)를 또한 출력할 수 있다. 가상 IP 카메라 메타데이터는 차량 유형들, 번호판 번호들, 및 디스플레이 기반 비디오 분석 시스템(302)에 의해 검출되거나 인식된 다른 객체들의 식별 정보와 같은 정보를 포함할 수 있다. 다른 실시형태들에서, 비디오 수신 디바이스(508)는 디스플레이 기반 비디오 분석 시스템(302)에 비-로컬(non-local)일 수 있다는 것이 주목되어야 한다.
도 6은 본 개시내용의 실시형태들에 따라, 디스플레이 기반 비디오 분석 시스템(302)을 위한 비-로컬 출력 옵션을 예시한다. 도 6에서 도시된 바와 같이, 디스플레이 기반 비디오 분석 시스템(302)은 비디오 분석의 결과들과 함께, 디스플레이 기반 비디오 분석 시스템(302)이 비디오 분석을 수행하였던 원래의 비디오 스트림을 비디오 공유 게이트웨이(video sharing gateway)(602)로 출력할 수 있다. 비디오 공유 게이트웨이(602)는 출력이 비디오 공유 게이트웨이 클라이언트(604)(예컨대, PC, 랩톱, 태블릿, 이동 전화 등)와 공유될 수 있도록, 디스플레이 기반 비디오 분석 시스템(302)의 출력을 외부 네트워크(606) 상에서의 수송을 위하여 적당한 포맷으로 변환할 수 있다. 외부 네트워크(606)는 예를 들어, 인터넷과 같은 광역 네트워크(wide area network)일 수 있다. 하나의 실시형태에서, 비디오 공유 게이트웨이(602)는 참조로 본원에 편입되는 공동 양도된 미국 특허 제8,320,874호에서 설명된 라디오 네트워크 인터페이스 제어기(Radio Network Interface Controller; RNIC)(20)와 유사한 방식으로 그리고 유사한 세팅들로 구현될 수 있다.
실시형태에서, 비디오 공유 게이트웨이 클라이언트(604)는 비디오 공유 게이트웨이 클라이언트(604)가 외부 네트워크(606) 상에서 비디오 공유 게이트웨이(602)로부터 수신하는 비디오 스트림 및 분석 결과들을 디스플레이하기 위한 디스플레이(도시되지 않음)를 포함한다. 비디오 분석 결과들은 (예컨대, 비디오 스트림의 비디오에서 내장된) 텍스트, 또는 비디오 분석에 의해 인식된 이벤트를 표시하거나 강조하는 비디오 스트림의 비디오에서 내장된 시각적 큐의 형태일 수 있다.
도 7은 본 개시내용의 실시형태들에 따라, 디스플레이 기반 비디오 분석 시스템(302)을 위한 또 다른 비-로컬 출력 옵션을 예시한다. 특히, 디스플레이 기반 비디오 분석 시스템(302)은 외부 네트워크(702) 상에서의 수송을 위하여, 비디오 분석의 결과들과 함께, 디스플레이 기반 비디오 분석 시스템(302)이 비디오 분석을 수행하였던 원래의 비디오 스트림을 인코딩할 수 있다. 인코딩 프로세스는 비디오 스트림 및 분석 결과들을 압축하여 외부 네트워크(702) 상에서의 더 효율적이고 및/또는 더 고속의 수송을 제공하기 위하여 이용될 수 있다. 디스플레이 기반 비디오 분석 시스템(302)은 외부 네트워크(702) 상에서 비디오 스트림 및 분석 결과들을 전송하기 전에, 비디오 분석의 결과들과 함께, 디스플레이 기반 비디오 분석 시스템(302)이 수행하였던 원래의 비디오 스트림을 또한 암호화할 수 있다. 외부 네트워크(702)는 예를 들어, 인터넷과 같은 광역 네트워크일 수 있다.
외부 네트워크(702)의 다른 종단(end) 상에서, 디코더(704)는 디스플레이 기반 비디오 분석 시스템(302)으로부터 인코딩된 비디오 스트림 및 분석 결과들을 수신할 수 있다. 디코더(704)는 비디오 스트림 및 분석 결과들을 디코딩할 수 있고, 필요한 경우에, 복호화할 수 있다. 비디오 분석 결과들은 (예컨대, 비디오 스트림의 비디오에서 내장된) 텍스트, 또는 비디오 분석에 의해 인식된 이벤트를 표시하거나 강조하는 비디오 스트림의 비디오에서 내장된 시각적 큐의 형태일 수 있다. 디코더(704)는 원래의 비디오 스트림 및 비디오 분석 결과들을 케이블(708)을 통해 디스플레이(706)로 출력할 수 있다. 케이블(708)은 고해상도 멀티미디어 인터페이스HDMI) 디스플레이 케이블, 디지털 시각적 인터페이스(DVI) 디스플레이 케이블, 또는 비디오 그래픽 어레이(VGA) 디스플레이 케이블일 수 있다.
다수의 IP 카메라들(104)이 비디오 감시 시스템(300)에 의해 이용되는 실시형태에서, 디코더(704)는 각각의 비디오 스트림에 대한 대응하는 비디오 분석 결과들과 함께 디스플레이(706)에 의한 타일링된 포맷으로의 디스플레이를 위하여, 다수의 IP 카메라들(104) 중의 2 개 이상으로부터의 분석된 비디오 스트림들을 포맷팅할 수 있다. 예를 들어, 디코더(704)는 그 대응하는 비디오 분석 결과들과 함께 각각의 비디오 스트림을 디스플레이(706)의 별도의 비디오 타일(710)에서 동시에 디스플레이할 수 있다.
4. 멀티 채널 디스플레이 기반 비디오 분석
도 8을 지금부터 참조하면, 본 개시내용의 실시형태들에 따라 디스플레이 기반 비디오 분석을 구현하는 비디오 감시 시스템(800)이 예시된다. 비디오 감시 시스템(800)은 비디오 감시 시스템(800)이 다수의 비디오 수신 디바이스들(108(1) 내지 108(n)) 및 멀티 채널 디스플레이 기반 비디오 분석 시스템(802)을 적어도 포함한다는 것을 제외하고는, 도 3과 관련하여 위에서 설명된 비디오 감시 시스템(300)과 유사한 구성 및 동작 모드를 가진다.
다수의 비디오 수신 디바이스들(108(1) 내지 (108(n))의 각각은 IP 카메라들(104) 중의 적어도 하나로부터의 캡처된 비디오의 개개의 비디오 스트림을 프로세싱하도록 구성된다. 도 8에서 또한 도시된 바와 같이, 각각의 비디오 수신 디바이스(108(1) 내지 108(n))는 임의적인 디스플레이들(110(1) 내지 110(n)) 중의 하나 이상 상에서의 디스플레이를 위한 포맷으로 비디오 스트림을 제공하기 위하여 그 개개의 비디오 스트림을 프로세싱하도록 구성된다. 예를 들어, 도 8에서 도시된 바와 같이, 비디오 수신 디바이스(108(1))는 그 포맷팅된 비디오 스트림을 케이블(112(1))을 통해 임의적인 디스플레이(110(1))에 제공할 수 있다. 케이블들(112(1) 내지 112(n))은 예를 들어, 고해상도 멀티미디어 인터페이스(HDMI) 디스플레이 케이블들, 디지털 시각적 인터페이스(DVI) 디스플레이 케이블들, 또는 비디오 그래픽 어레이(VGA) 디스플레이 케이블들일 수 있다.
멀티 채널 디스플레이 기반 비디오 분석 시스템(802)은 케이블들(112(1) 내지 112(n))을 통해 디스플레이들(110(1) 내지 110(n))을 위한 개개의 포맷들로 비디오 스트림들을 수신한다. 디스플레이들(110(1) 내지 110(n))을 위한 개개의 포맷들로 비디오 스트림들을 수신한 후에, 멀티 채널 디스플레이 기반 비디오 분석 시스템(802)은 비디오 스트림들에 대한 비디오 분석을 수행할 수 있다. 예를 들어, 멀티 채널 디스플레이 기반 비디오 분석 시스템(802)은 도 4와 관련하여 위에서 설명된 방법에 따라 비디오 스트림들의 각각에 대한 비디오 분석을 수행할 수 있다.
실시형태에서, 멀티 채널 디스플레이 기반 비디오 분석 시스템(802)은 케이블들(112(1) 내지 112(n))을 통해 수신된 비디오 스트림들 중의 2 개 이상에 대한 비디오 분석을 수행하도록 구성된 프로세서(예컨대, 특수 목적 또는 일반 목적 프로세서)를 포함한다. 멀티 채널 디스플레이 기반 비디오 분석 시스템(802)의 프로세서는 시간 내에 비디오 스트림들 사이를 순환(cycling)함으로써 2 개 이상의 비디오 스트림들에 대한 비디오 분석을 수행할 수 있다. 예를 들어, 멀티 채널 비디오 분석 시스템(802)의 프로세서는 제 1 시간 기간에 대하여 2 개 이상의 비디오 스트림들 중의 제 1 비디오 스트림에 대한 비디오 분석을 수행할 수 있고, 그 다음으로, 제 2 시간 기간에 대하여 2 개 이상의 비디오 스트림들 중의 제 2 비디오 스트림을 프로세싱하는 것으로 전환할 수 있다. 제 2 시간 기간에 대하여 2 개 이상의 비디오 스트림들 중의 제 2 비디오 스트림을 프로세싱한 후에, 멀티 채널 비디오 분석 시스템(802)의 프로세서는 제 1 시간 기간에 대하여 제 1 비디오 스트림을 다시 프로세싱하고, 그 다음으로, 제 2 시간 기간에 대하여 제 2 비디오 스트림을 프로세싱하는 것으로 전환함으로써, 프로세스를 무한정하게 반복할 수 있다.
멀티 채널 비디오 분석 시스템(802)의 프로세서가 비디오 스트림들 사이를 전환하는 것을 계속하는 레이트(rate)는 비디오 분석에 관련된 정보가 영향받지 않도록 충분히 빠를 수 있다. 예를 들어, 레이트는 멀티 채널 비디오 분석 시스템(802)의 프로세서가 대략 초 당 한번(예컨대, 5 초로부터 2 초까지) 케이블들(112(1) 내지 112(n))을 통해 수신된 각각의 관련된 비디오 스트림을 순환하도록 설정될 수 있다. 일부 실시형태들에서, 각각의 케이블(112(1) 내지 112(n))은 비디오 분석이 수행되어야 하는 하나 이상의 비디오 스트림들을 반송할 수 있다.
도 9는 본 개시내용의 실시형태들에 따라, 디스플레이 기반 비디오 분석을 구현하는 비디오 감시 시스템(900)을 예시한다. 비디오 감시 시스템(900)은 비디오 수신 디바이스들(108(1) 내지 108(n))이 그 자신의 IP 네트워크(102(1) 내지 102(n))를 갖는 별도의 비디오 감시 시스템의 각각의 일부인 것을 제외하고는, 도 8과 관련하여 위에서 설명된 비디오 감시 시스템(800)과 유사한 구성 및 동작 모드를 가진다.
실시형태에서, 멀티 채널 비디오 분석 시스템(802)은 멀티 채널 비디오 분석 시스템(802)이 케이블들(112(1) 내지 112(n))을 통해 수신하는 상이한 비디오 스트림들 중의 2 개 이상에 걸쳐 단일 객체를 검출할 수 있다. 객체를 검출한 후에, 멀티 채널 비디오 분석 시스템(802)은 객체를 추적할 수 있고, 및/또는 비디오 스트림들의 양자로부터 객체의 특징들을 추출할 수 있다. 멀티 채널 비디오 분석 시스템(802)은 검출된 객체와 연관된 비디오 스트림들 중의 하나 이상에서의 이벤트의 발생을 또한 인식할 수 있고, 위에서 설명된 바와 같이, 비디오 감시 시스템의 조작자에게 이벤트를 경보할 수 있다.
5. 디스플레이 기반 비디오 분석 장치
도 10을 지금부터 참조하면, 디스플레이 기반 비디오 분석 시스템(302)의 일 예의 구현예(1000)는 본 개시내용의 실시형태들에 따라 예시된다. 도 10에서 도시된 바와 같이, 일 예의 구현예(1000)는 라인 인터페이스 변환기(line interface converter)(1002) 및 비디오 분석 프로세서(1004)를 포함한다.
라인 인터페이스 변환기(1002)는 입력 비디오 스트림을 제 1 라인 인터페이스 포맷으로부터, 비디오 분석 프로세서(1004)에 의한 수신을 위하여 적당한 제 2 라인 인터페이스 포맷으로 변환할 수 있다. 예를 들어, 라인 인터페이스 변환기는 UDMI, DVI, 또는 VGA 라인 인터페이스 포맷으로 입력 비디오 스트림을 수신할 수 있고, 비디오 스트림을 이 입력 라인 포맷으로부터, 비디오 분석 프로세서(1004)에 의해 이용된 라인 인터페이스 포맷(예컨대, 유니버셜 직렬 버스(universal serial bus; USB) 라인 인터페이스 포맷)으로 변환할 수 있다.
비디오 분석 프로세서(1004)는 위에서 설명된 바와 같이, 라인 인터페이스 변환기(1002)로부터 수신된 비디오 스트림에 대한 비디오 분석을 수행할 수 있고, 분석 프로세싱의 결과들과 함께, 출력 비디오 스트림을 출력으로서 제공할 수 있다. 몇몇 상이한 출력 포맷들은 위의 도 5 내지 도 7과 관련하여 위에서 설명된 바와 같이 가능하다. 비디오 분석 프로세서(1004)는 입력 비디오 스트림에 대한 비디오 분석을 수행하기 위한 하나 이상의 일반 및/또는 특수 목적들 프로세서들을 포함할 수 있다. 비디오 분석 프로세서(1004)의 하나 이상의 프로세서들은 하나 이상의 주문형 칩(application specific chip; ASIC)들로서, 및/또는 필드 프로그래밍가능 게이트 어레이(field programmable gate array; FPGA)들과 같은 하나 이상의 프로그래밍가능 로직 디바이스들에서 구현될 수 있다.
일 예의 구현예(1000)는 프로세싱되어야 할 멀티 채널들을 수용하기 위한 추가의 입력들/출력들의 추가로, 도 8 및 도 9에서의 멀티 채널 디스플레이 기반 비디오 분석 시스템(802)을 구현하기 위하여 또한 이용될 수 있다는 것이 주목되어야 한다.
6. 일 예의 컴퓨터 시스템 환경
본원에서 설명된 바와 같은 본 개시내용의 다양한 구성요소들 및 특징들은 아날로그 및/또는 디지털 회로들을 이용하는 하드웨어로, 하나 이상의 일반 목적 또는 특수 목적 프로세서들에 의한 명령들의 실행을 통해 소프트웨어로, 또는 하드웨어 및 소프트웨어의 조합으로서 구현될 수 있다는 것이 관련 분야(들)에서의 당업자들에게 분명할 것이다.
일반 목적 컴퓨터 시스템의 다음의 설명은 완전함을 위하여 제공된다. 본 개시내용의 실시형태들은 하드웨어로, 또는 하드웨어 및 소프트웨어의 조합으로서 구현될 수 있다. 결과적으로, 개시내용의 실시형태들은 컴퓨터 시스템 또는 다른 프로세싱 시스템의 환경에서 구현될 수도 있다. 이러한 컴퓨터 시스템(1100)의 예는 도 11에서 도시된다. 도 1 내지 도 3과 도 5 내지 도 10에서 도시된 블록들은 하나 이상의 컴퓨터 시스템들(1100) 상에서 실행될 수도 있다. 또한, 도 4에서 도시된 방법의 단계들의 각각은 하나 이상의 컴퓨터 시스템들(1100) 상에서 구현될 수 있다.
컴퓨터 시스템(1100)은 프로세서(1104)와 같은 하나 이상의 프로세서들을 포함한다. 프로세서(1104)는 특수 목적 또는 일반 목적 디지털 신호 프로세서일 수 있다. 프로세서(1104)는 통신 기반구조(1102)(예를 들어, 버스 또는 네트워크)에 접속된다. 다양한 소프트웨어 구현예들은 이 예시적인 컴퓨터 시스템의 측면에서 설명된다. 이 설명을 판독한 후에, 다른 컴퓨터 시스템들 및/또는 컴퓨터 아키텍처들을 이용하여 개시내용을 어떻게 구현할 것인지는 관련 분야(들)에서의 당업자에게 분명해질 것이다.
컴퓨터 시스템(1100)은 주 메모리(1106), 바람직하게는, 랜덤 액세스 메모리(random access memory; RAM)를 또한 포함하고, 보조 메모리(508)를 또한 포함할 수도 있다. 보조 메모리(1108)는 예를 들어, 하드 디스크 드라이브(1110), 및/또는 플로피 디스크 드라이브, 자기 테이프 드라이브, 광학 디스크 드라이브 등을 나타내는 분리가능 저장 드라이브(1112)를 포함할 수도 있다. 분리가능 저장 드라이브(1112)는 잘 알려진 방식으로 분리가능 저장 유닛(1116)으로부터 판독하고 및/또는 분리가능 저장 유닛(1116)으로 기입한다. 분리가능 저장 유닛(1116)은 분리가능 저장 드라이브(1112)에 의해 판독되고 기입되는 플로피 디스크, 자기 테이프, 광학 디스크 등을 나타낸다. 관련 분야(들)의 당업자들에 의해 인식되는 바와 같이, 분리가능 저장 유닛(1116)은 컴퓨터 소프트웨어 및/또는 데이터를 그 안에 저장한 컴퓨터 이용가능 저장 매체를 포함한다.
대안적인 구현예들에서, 보조 메모리(1108)는 컴퓨터 프로그램들 또는 다른 명령들이 컴퓨터 시스템(1100)으로 로딩되는 것을 허용하기 위한 다른 유사한 수단을 포함할 수도 있다. 이러한 수단은 예를 들어, 분리가능 저장 유닛(1118) 및 인터페이스(1114)를 포함할 수도 있다. 이러한 수단의 예들은 (비디오 게임 디바이스들에서 발견된 것들과 같은) 프로그램 카트리지(program cartridge) 및 카트리지 인터페이스, (EPROM 또는 PROM과 같은) 분리가능 메모리 칩 및 연관된 소켓(socket), 썸 드라이브(thumb drive) 및 USB 포트, 및 소프트웨어 및 데이터가 분리가능 저장 유닛(1118)으로부터 컴퓨터 시스템(1100)으로 전송되는 것을 허용하는 다른 분리가능 저장 유닛들(1118) 및 인터페이스들(1114)을 포함할 수도 있다.
컴퓨터 시스템(1100)은 통신 인터페이스(1120)를 또한 포함할 수도 있다. 통신 인터페이스(1120)는 소프트웨어 및 데이터가 컴퓨터 시스템(1100)과 외부 디바이스들 사이에서 전송되는 것을 허용한다. 통신 인터페이스(1120)의 예들은 모뎀, (이더넷 카드(Ethernet card)와 같은) 네트워크 인터페이스, 통신 포트, PCMCIA 슬롯 및 카드 등을 포함할 수도 있다. 통신 인터페이스(1120)를 통해 전송된 소프트웨어 및 데이터는 통신 인터페이스(1120)에 의해 수신될 수 있는 전자, 전자기, 광학, 또는 다른 신호들일 수도 있는 신호들의 형태이다. 이 신호들은 통신 경로(1122)를 통해 통신 인터페이스(1120)에 제공된다. 통신 경로(1122)는 신호들을 반송하고, 와이어 또는 케이블, 광섬유들, 전화 라인, 셀룰러 전화 링크, RF 링크, 및 다른 통신 채널들을 이용하여 구현될 수도 있다.
본원에서 이용된 바와 같이, 용어들 "컴퓨터 프로그램 매체" 및 "컴퓨터 판독가능 매체"는 분리가능 저장 유닛들(1116 및 1118) 또는 하드 디스크 드라이브(1110)에서 설치된 하드 디스크와 같은 유형의(tangible) 저장 매체들을 일반적으로 지칭하기 위하여 이용된다. 이 컴퓨터 프로그램 제품들은 소프트웨어를 컴퓨터 시스템(1100)에 제공하기 위한 수단이다.
컴퓨터 프로그램들(또한 컴퓨터 제어 로직으로 칭해짐)은 주 메모리(1106) 및/또는 보조 메모리(1108)에서 저장된다. 컴퓨터 프로그램들은 통신 인터페이스(1120)를 통해 또한 수신될 수도 있다. 이러한 컴퓨터 프로그램들은, 실행될 때, 컴퓨터 시스템(1100)이 본원에서 논의된 바와 같이 본 개시내용을 구현하는 것을 가능하게 한다. 특히, 컴퓨터 프로그램들은, 실행될 때, 프로세서(1104)가 본원에서 설명된 방법들 중의 임의의 것과 같은 본 개시내용의 프로세스들을 구현하는 것을 가능하게 한다. 따라서, 이러한 컴퓨터 프로그램들은 컴퓨터 시스템(1100)의 제어기들을 나타낸다. 개시내용이 소프트웨어를 이용하여 구현될 경우에, 소프트웨어는 컴퓨터 프로그램 제품에서 저장될 수도 있고, 분리가능 저장 드라이브(1112), 인터페이스(1114), 또는 통신 인터페이스(1120)를 이용하여 컴퓨터 시스템(1100)으로 로딩될 수도 있다.
또 다른 실시형태에서, 개시내용의 특징들은 예를 들어, 주문형 집적 회로(application-specific integrated circuit; ASIC)들 및 게이트 어레이들과 같은 하드웨어 컴포넌트들을 이용하여 주로 하드웨어로 구현된다. 본원에서 설명된 기능들을 수행하기 위한 하드웨어 상태 머신(state machine)의 구현예는 관련 분야(들)의 당업자들에게 또한 분명할 것이다.
7. 결론
실시형태들은 특정된 기능들 및 그 관계들의 구현예를 예시하는 기능적인 구성 블록들의 도움으로 위에서 설명되었다. 이 기능적인 구성 블록들의 경계들은 설명의 편의성을 위하여 본원에서 임의적으로 정의되었다. 특정된 기능들 및 그 관계들이 적절하게 수행되는 한, 대안적인 경계들이 정의될 수 있다.
특정 실시형태들의 상기한 설명은 다른 사람들이 본 개시내용의 일반적인 개념으로부터 이탈하지 않으면서, 과도한 실험 없이, 당해 분야의 기술 내에서 지식을 적용함으로써, 이러한 특정 실시형태들을 용이하게 변형할 수 있고 및/또는 다양한 응용들을 위하여 개조할 수 있다는 개시내용의 일반적인 성질을 아주 완전히 드러낼 것이다. 그러므로, 이러한 개조들 및 변형들은 본원에서 제시된 교시사항 및 안내에 기초하여, 개시된 실시형태들의 등가물들의 의미 및 범위 내에 있도록 의도된다. 본원에서의 어구 또는 용어는 제한이 아니라 설명의 목적을 위한 것이어서, 본 명세서의 용어 또는 어구는 교시사항들 및 안내를 고려하여 숙력된 기술자에 의해 해독되어야 한다는 것이 이해되어야 한다.

Claims (20)

  1. 비디오 감시 시스템에 있어서,
    인터넷 프로토콜(internet protocol; IP) 카메라 - 상기 IP 카메라는,
    비디오를 캡처(capture)하고;
    상기 캡처된 비디오에 기초한 비디오 스트림을 보안 IP 네트워크를 통해 송신하도록 구성되고, 상기 보안 IP 네트워크는 제1 보안 정책을 준수함 - ;
    비디오 수신 디바이스; 및
    디스플레이 기반 비디오 분석 시스템
    을 포함하고,
    상기 비디오 수신 디바이스는,
    상기 비디오 스트림을 상기 보안 IP 네트워크를 통해 수신하며;
    디스플레이 케이블을 통해 상기 디스플레이 기반 비디오 분석 시스템에게, 상기 비디오 스트림을 디스플레이를 위한 포맷으로 제공하도록 구성되고;
    상기 디스플레이 기반 비디오 분석 시스템은,
    상기 디스플레이 케이블을 통해 상기 비디오 수신 디바이스로부터, 상기 디스플레이를 위한 포맷으로 있는 상기 비디오 스트림을 수신하고 - 상기 디스플레이를 위한 포맷은 제2 보안 정책을 준수하고, 상기 제2 보안 정책은 상기 제1 보안 정책을 준수하지 않음 - ;
    상기 디스플레이 케이블을 통해 수신된 상기 비디오 스트림의 제1 비디오 프레임과 제2 비디오 프레임을 비교하고;
    상기 제1 비디오 프레임과 상기 제2 비디오 프레임 간의 컬러 빈도 분포(color frequency distribution)의 변화를 결정하며;
    상기 결정에 응답하여, 상기 디스플레이를 위한 포맷으로 있는 상기 비디오 스트림에 대해 비디오 분석을 수행하도록 구성되며,
    상기 디스플레이 기반 비디오 분석 시스템은, 상기 디스플레이 기반 비디오 분석 시스템이 상기 보안 IP 네트워크를 통해 IP 패킷들을 직접적으로 수신하거나 송신할 수 없도록, 상기 보안 IP 네트워크로부터 결합해제된 것인, 비디오 감시 시스템.
  2. 제1항에 있어서,
    상기 디스플레이 케이블은 고해상도 멀티미디어 인터페이스(High-Definition Multimedia Interface; HDMI) 케이블, 디지털 시각적 인터페이스(Digital Visual Interface; DVI) 케이블, 또는 비디오 그래픽 어레이(Video Graphics Array; VGA) 케이블인 것인, 비디오 감시 시스템.
  3. 제1항에 있어서,
    상기 디스플레이 기반 비디오 분석 시스템은 또한, 상기 비디오 분석의 결과들과 함께, 상기 비디오 스트림을 디스플레이 또는 비디오 공유 게이트웨이에 출력하도록 구성되고, 상기 출력은 이벤트를 나타내거나 또는 하이라이트 표시하는 시각적 큐(visual cue) 또는 내장된 텍스트를 포함한 것인, 비디오 감시 시스템.
  4. 제1항에 있어서,
    상기 디스플레이 기반 비디오 분석 시스템은 또한, 가상 IP 카메라 스트림 내에서 상기 비디오 스트림을 출력하도록 구성되고, 상기 비디오 분석의 결과들은 상기 가상 IP 카메라 스트림 내에서의 상기 비디오 스트림에 적용되거나, 또는 상기 가상 IP 카메라 스트림과 함께, 메타데이터(metadata)로서 제공되는 것인, 비디오 감시 시스템.
  5. 제1항에 있어서,
    상기 디스플레이 기반 비디오 분석 시스템은 또한,
    외부 네트워크를 통한 송신을 위해 상기 비디오 스트림에 적용된 상기 비디오 분석의 결과들과 상기 비디오 스트림을 인코딩하고 암호화하거나; 또는
    상기 외부 네트워크를 통한 송신을 위해 상기 비디오 스트림에 적용된 상기 비디오 분석의 결과들과 상기 비디오 스트림을 암호화하도록 구성된 것인, 비디오 감시 시스템.
  6. 제1항에 있어서,
    상기 보안 IP 네트워크에 결합된 비디오 관리 시스템(video management system; VMS)
    을 더 포함하고,
    상기 VMS는,
    상기 비디오 스트림을 상기 보안 IP 네트워크를 통해 상기 IP 카메라로부터 수신하고;
    상기 비디오 스트림을 저장하며;
    상기 비디오 스트림을 분배하도록 구성된 것인, 비디오 감시 시스템.
  7. 제6항에 있어서,
    상기 비디오 수신 디바이스는 또한, 상기 보안 IP 네트워크를 통해 상기 VMS로부터 상기 비디오 스트림을 수신하도록 구성된 것인, 비디오 감시 시스템.
  8. 제1항에 있어서,
    상기 디스플레이를 위한 포맷으로 있는 상기 비디오 스트림에 대해 비디오 분석을 수행하기 위해, 상기 디스플레이 기반 비디오 분석 시스템은,
    상기 디스플레이를 위한 포맷으로 있는 상기 비디오 스트림에서 객체를 검출하며;
    상기 디스플레이를 위한 포맷으로 있는 상기 비디오 스트림에서 상기 객체를 추적하도록 구성된 것인, 비디오 감시 시스템.
  9. 제1항에 있어서,
    상기 디스플레이를 위한 포맷으로 있는 상기 비디오 스트림에 대해 비디오 분석을 수행하기 위해, 상기 디스플레이 기반 비디오 분석 시스템은,
    상기 디스플레이를 위한 포맷으로 있는 상기 비디오 스트림에서 객체를 검출하며;
    상기 객체의 분류를 위해 또는 상기 객체의 하나 이상의 특징을 인식하기 위해 상기 객체의 상기 하나 이상의 특징을 추출하도록 구성된 것인, 비디오 감시 시스템.
  10. 제1항에 있어서,
    상기 디스플레이를 위한 포맷으로 있는 상기 비디오 스트림에 대해 비디오 분석을 수행하기 위해, 상기 디스플레이 기반 비디오 분석 시스템은,
    상기 디스플레이를 위한 포맷으로 있는 상기 비디오 스트림에서 객체를 검출하며;
    상기 디스플레이를 위한 포맷으로 있는 상기 비디오 스트림에서, 상기 객체와 연관된 이벤트의 발생을 인식하도록 구성된 것인, 비디오 감시 시스템.
  11. 비디오 감시 시스템에 있어서,
    제1 보안 인터넷 프로토콜(IP) 네트워크를 통해 제1 비디오 스트림을 송신하도록 구성된 제1 IP 카메라 - 상기 제1 보안 IP 네트워크는 제1 보안 정책을 준수함 - ;
    제1 비디오 수신 디바이스;
    제2 보안 IP 네트워크를 통해 제2 비디오 스트림을 송신하도록 구성된 제2 IP 카메라;
    제2 비디오 수신 디바이스; 및
    상기 제1 보안 IP 네트워크와 상기 제2 보안 IP 네트워크로부터 결합해제된 디스플레이 기반 비디오 분석 시스템
    을 포함하고,
    상기 제1 비디오 수신 디바이스는,
    상기 제1 비디오 스트림을 상기 제1 보안 IP 네트워크를 통해 수신하며;
    상기 디스플레이 기반 비디오 분석 시스템에게, 상기 제1 비디오 스트림을 제1 디스플레이 케이블을 통해 제1 디스플레이를 위한 제1 포맷으로 제공하도록 구성되고;
    상기 제2 비디오 수신 디바이스는,
    상기 제2 비디오 스트림을 상기 제2 보안 IP 네트워크를 통해 수신하며;
    상기 제2 비디오 스트림을 제2 디스플레이 케이블을 통해 제2 디스플레이를 위한 제2 포맷으로 제공하며;
    상기 디스플레이 기반 비디오 분석 시스템은,
    상기 제1 디스플레이 케이블을 통해 상기 제1 비디오 수신 디바이스로부터, 상기 제1 디스플레이를 위한 제1 포맷으로 있는 상기 제1 비디오 스트림을 수신하고 - 상기 제1 디스플레이를 위한 제1 포맷은 제2 보안 정책을 준수하고, 상기 제2 보안 정책은 상기 제1 보안 정책을 준수하지 않음 - ;
    상기 제2 디스플레이를 위한 제2 포맷으로 있는 상기 제2 비디오 스트림을 상기 제2 디스플레이 케이블을 통해 수신하며;
    상기 제1 디스플레이 케이블을 통해 수신된 상기 제1 비디오 스트림의 제1 비디오 프레임과 제2 비디오 프레임을 비교하고;
    상기 제1 비디오 프레임과 상기 제2 비디오 프레임 간의 컬러 빈도 분포의 변화를 결정하며;
    상기 결정에 응답하여, 상기 제1 비디오 스트림과 상기 제2 비디오 스트림 둘 다에 대해 비디오 분석을 수행하도록 구성된 것인, 비디오 감시 시스템.
  12. 제11항에 있어서,
    상기 제1 디스플레이 케이블은 고해상도 멀티미디어 인터페이스(HDMI) 케이블, 디지털 시각적 인터페이스(DVI) 케이블, 또는 비디오 그래픽 어레이(VGA) 케이블인 것인, 비디오 감시 시스템.
  13. 제11항에 있어서,
    상기 비디오 분석을 수행하기 위해, 상기 디스플레이 기반 비디오 분석 시스템은,
    상기 제2 비디오 스트림 및 상기 제1 비디오 스트림의 상기 제1 비디오 프레임과 상기 제2 비디오 프레임에 걸쳐 객체를 검출하며;
    상기 제1 비디오 스트림과 상기 제2 비디오 스트림 둘 다의 객체를 추적하도록 구성된 것인, 비디오 감시 시스템.
  14. 제13항에 있어서,
    상기 비디오 분석을 수행하기 위해, 상기 디스플레이 기반 비디오 분석 시스템은 또한, 상기 객체의 특징들의 분류 및 인식을 위해 상기 제1 비디오 스트림과 상기 제2 비디오 스트림 둘 다로부터 상기 객체의 특징들을 추출하도록 구성된 것인, 비디오 감시 시스템.
  15. 제11항에 있어서,
    상기 비디오 분석을 수행하기 위해, 상기 디스플레이 기반 비디오 분석 시스템은, 상기 제1 비디오 스트림과 상기 제2 비디오 스트림 사이를 시간적으로 순환하도록 구성되며, 상기 순환은 0.5초 내지 2초의 범위를 포함한 것인, 비디오 감시 시스템.
  16. 디스플레이 기반 비디오 분석 시스템을 위한 방법에 있어서,
    디스플레이 케이블을 통해 비디오 수신 디바이스로부터, 디스플레이를 위한 포맷으로 있는 제1 비디오 스트림을 수신하는 단계 - 상기 제1 비디오 스트림은 제1 보안 인터넷 프로토콜(IP) 네트워크에 결합된 IP 카메라에 의해 캡처된 비디오를 포함하고, 상기 제1 보안 IP 네트워크는 제1 보안 정책을 준수하고, 상기 디스플레이를 위한 포맷은 제2 보안 정책을 준수하고, 상기 제2 보안 정책은 상기 제1 보안 정책을 준수하지 않으며, 상기 디스플레이 기반 비디오 분석 시스템은, 상기 디스플레이 기반 비디오 분석 시스템이 상기 제1 보안 IP 네트워크를 통해 IP 패킷들을 직접적으로 수신하거나 송신할 수 없도록, 상기 제1 보안 IP 네트워크로부터 결합해제되어 있음 - ;
    상기 제1 보안 IP 네트워크로부터 결합해제되어 있는 프로세서에 의해, 상기 디스플레이 케이블을 통해 수신된 상기 제1 비디오 스트림의 제1 비디오 프레임과 제2 비디오 프레임을 비교하는 단계;
    상기 프로세서에 의해, 상기 제1 비디오 프레임과 상기 제2 비디오 프레임 간의 컬러 빈도 분포의 변화를 결정하는 단계; 및
    상기 결정에 응답하여, 상기 프로세서에 의해, 상기 디스플레이 케이블을 통해 수신된 상기 제1 비디오 스트림에 대해 비디오 분석을 수행하는 단계
    를 포함하는, 디스플레이 기반 비디오 분석 시스템을 위한 방법.
  17. 제16항에 있어서,
    상기 디스플레이 케이블은 고해상도 멀티미디어 인터페이스(HDMI) 케이블, 디지털 시각적 인터페이스(DVI) 케이블, 또는 비디오 그래픽 어레이(VGA) 케이블인 것인, 디스플레이 기반 비디오 분석 시스템을 위한 방법.
  18. 제16항에 있어서,
    제2 디스플레이 케이블을 통해 제2 비디오 수신 디바이스로부터, 제2 디스플레이를 위한 제2 포맷으로 있는 둘 이상의 비디오 스트림들을 수신하는 단계 - 상기 둘 이상의 비디오 스트림들은 제2 보안 IP 네트워크에 결합된 각각의 IP 카메라들에 의해 캡처된 비디오를 포함함 - ;
    상기 제1 및 제2 디스플레이 케이블들을 통해 수신된 상기 제1 비디오 스트림과 상기 둘 이상의 비디오 스트림들의 비디오 스트림들 간을 시간적으로 순환하는 단계; 및
    상기 제1 비디오 스트림과 상기 둘 이상의 비디오 스트림들에 걸쳐 객체를 검출하는 단계
    를 더 포함하는, 디스플레이 기반 비디오 분석 시스템을 위한 방법.
  19. 제18항에 있어서,
    상기 제1 및 제2 디스플레이 케이블들을 통해 수신된 상기 제1 비디오 스트림과 상기 둘 이상의 비디오 스트림들에 걸쳐 상기 객체의 특징들을 추적하고 추출하는 단계;
    상기 제1 비디오 스트림과 상기 둘 이상의 비디오 스트림들의 비디오 스트림에서 상기 검출된 객체와 연관된 이벤트의 발생을 인식하는 단계; 및
    상기 제1 비디오 스트림과 상기 둘 이상의 비디오 스트림들의 비디오 스트림에 내장되어 있고 상기 이벤트를 하이라이트 표시하는 비디오 큐, 또는 상기 제1 비디오 스트림과 상기 둘 이상의 비디오 스트림들의 비디오 스트림들에 링크된 메타데이터를 포함하는 경고를 발행하는 단계
    를 더 포함하는, 디스플레이 기반 비디오 분석 시스템을 위한 방법.
  20. 디스플레이 기반 비디오 분석 시스템에 있어서,
    메모리; 및
    상기 메모리에 결합된 하나 이상의 프로세서
    를 포함하고,
    상기 하나 이상의 프로세서는,
    디스플레이 케이블을 통해 비디오 수신 디바이스로부터, 디스플레이를 위한 포맷으로 있는 비디오 스트림을 수신하고 - 상기 비디오 스트림은 보안 인터넷 프로토콜(IP) 네트워크에 결합된 IP 카메라에 의해 캡처된 비디오를 포함하고, 상기 보안 IP 네트워크는 제1 보안 정책을 준수하고, 상기 디스플레이를 위한 포맷은 제2 보안 정책을 준수하고, 상기 제2 보안 정책은 상기 제1 보안 정책을 준수하지 않으며, 상기 디스플레이 기반 비디오 분석 시스템은, 상기 디스플레이 기반 비디오 분석 시스템이 상기 보안 IP 네트워크를 통해 IP 패킷들을 직접적으로 수신하거나 송신할 수 없도록, 상기 보안 IP 네트워크로부터 결합해제되어 있음 - ;
    상기 디스플레이 케이블을 통해 수신된 상기 비디오 스트림의 제1 비디오 프레임과 제2 비디오 프레임을 비교하고;
    상기 제1 비디오 프레임과 상기 제2 비디오 프레임 간의 컬러 빈도 분포의 변화를 결정하며;
    상기 결정에 응답하여, 상기 비디오 스트림에 대해 비디오 분석을 수행하도록 구성된 것인, 디스플레이 기반 비디오 분석 시스템.
KR1020197023548A 2017-01-09 2018-01-09 디스플레이 기반 비디오 분석 KR102334888B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/401,862 2017-01-09
US15/401,862 US10943123B2 (en) 2017-01-09 2017-01-09 Display-based video analytics
PCT/US2018/012987 WO2018129538A2 (en) 2017-01-09 2018-01-09 Display-based video analytics

Publications (2)

Publication Number Publication Date
KR20190116978A KR20190116978A (ko) 2019-10-15
KR102334888B1 true KR102334888B1 (ko) 2021-12-07

Family

ID=61258587

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197023548A KR102334888B1 (ko) 2017-01-09 2018-01-09 디스플레이 기반 비디오 분석

Country Status (7)

Country Link
US (2) US10943123B2 (ko)
EP (1) EP3566414A2 (ko)
KR (1) KR102334888B1 (ko)
AU (1) AU2018205386B2 (ko)
CA (1) CA3049675C (ko)
NZ (1) NZ756191A (ko)
WO (1) WO2018129538A2 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2632473C1 (ru) * 2016-09-30 2017-10-05 ООО "Ай Ти Ви групп" Способ обмена данными между ip видеокамерой и сервером (варианты)
US10943123B2 (en) 2017-01-09 2021-03-09 Mutualink, Inc. Display-based video analytics
JP6838148B2 (ja) * 2017-05-30 2021-03-03 シャープＮｅｃディスプレイソリューションズ株式会社 表示装置、表示方法、及びプログラム
US10987543B2 (en) * 2017-09-12 2021-04-27 Fred Quillin Dual monitoring instruction system and method
TWI714021B (zh) * 2019-03-12 2020-12-21 緯創資通股份有限公司 推論方法、推論裝置與顯示器
US20220279254A1 (en) * 2019-07-17 2022-09-01 Koninklijke Kpn N.V. Facilitating Video Streaming and Processing By Edge Computing
CN110753052A (zh) * 2019-10-22 2020-02-04 南京信息工程大学 一种基于多通道通信的通信管理设备
CN110958431A (zh) * 2019-12-11 2020-04-03 武汉迅检科技有限公司 多路视频压缩后传系统及方法
KR20220087843A (ko) * 2020-12-18 2022-06-27 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
KR102410308B1 (ko) * 2022-04-26 2022-06-23 주식회사 제노시스 영상 감시 장치
CN117676264B (zh) * 2024-01-24 2024-04-30 南京仁芯科技有限公司 数据发送装置、数据接收装置及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090125954A1 (en) 2007-11-13 2009-05-14 Siemens Medical Solutions Usa, Inc. Streaming video transmission from pc to remote monitor
US20090189981A1 (en) 2008-01-24 2009-07-30 Jon Siann Video Delivery Systems Using Wireless Cameras

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040075738A1 (en) * 1999-05-12 2004-04-22 Sean Burke Spherical surveillance system architecture
US7148917B2 (en) * 2001-02-01 2006-12-12 Motorola Inc. Method and apparatus for indicating a location of a person with respect to a video capturing volume of a camera
US7034679B2 (en) * 2001-12-31 2006-04-25 Ncr Corporation System and method for enhancing security at a self-checkout station
EP1472869A4 (en) * 2002-02-06 2008-07-30 Nice Systems Ltd SYSTEM AND METHOD FOR DETECTION, MONITORING AND ALARM MANAGEMENT BASED ON VIDEO CONTENT ANALYSIS
US7643445B2 (en) 2005-07-18 2010-01-05 Mutualink, Inc. Interoperable communications system and method of use
US20070024705A1 (en) * 2005-08-01 2007-02-01 Richter Roger K Systems and methods for video stream selection
JP4634349B2 (ja) * 2006-08-22 2011-02-16 株式会社日立製作所 ＩＰＳｅｃ処理装置、ネットワークシステム、及びＩＰＳｅｃ処理プログラム
US9141859B2 (en) * 2008-11-17 2015-09-22 Liveclips Llc Method and system for segmenting and transmitting on-demand live-action video in real-time
US8272029B2 (en) * 2008-11-25 2012-09-18 At&T Intellectual Property I, L.P. Independent role based authorization in boundary interface elements
US20130321623A1 (en) * 2009-02-27 2013-12-05 Barracuda Networks, Inc. Internet Camera Which Caches References to Untransmitted Full Resolution Video
US8937658B2 (en) * 2009-10-15 2015-01-20 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US20110211069A1 (en) * 2010-02-26 2011-09-01 Bryan Sybesma Virtual internet protocol modulator
US8922658B2 (en) * 2010-11-05 2014-12-30 Tom Galvin Network video recorder system
US8873642B2 (en) 2010-12-22 2014-10-28 Verizon Patent And Licensing Inc. Video content analysis methods and systems
US8887276B2 (en) * 2012-11-21 2014-11-11 Owl Computing Technologies, Inc. System for providing a secure video display
CN103686195B (zh) * 2013-11-22 2017-04-05 华为技术有限公司 视频信息处理方法及设备
US20150161452A1 (en) 2013-12-11 2015-06-11 Echostar Technologies, Llc Home Monitoring and Control
US10943123B2 (en) 2017-01-09 2021-03-09 Mutualink, Inc. Display-based video analytics

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090125954A1 (en) 2007-11-13 2009-05-14 Siemens Medical Solutions Usa, Inc. Streaming video transmission from pc to remote monitor
US20090189981A1 (en) 2008-01-24 2009-07-30 Jon Siann Video Delivery Systems Using Wireless Cameras

Also Published As

Publication number Publication date
NZ756191A (en) 2022-04-29
WO2018129538A2 (en) 2018-07-12
CA3049675C (en) 2022-10-18
AU2018205386B2 (en) 2021-04-08
US11281913B2 (en) 2022-03-22
AU2018205386A1 (en) 2019-08-29
US20210264158A1 (en) 2021-08-26
US10943123B2 (en) 2021-03-09
EP3566414A2 (en) 2019-11-13
WO2018129538A3 (en) 2018-08-23
CA3049675A1 (en) 2018-07-12
KR20190116978A (ko) 2019-10-15
US20180197012A1 (en) 2018-07-12

Similar Documents

Publication Publication Date Title
KR102334888B1 (ko) 디스플레이 기반 비디오 분석
US10123051B2 (en) Video analytics with pre-processing at the source end
US10249022B2 (en) Systems and methods for dewarping images
US10937290B2 (en) Protection of privacy in video monitoring systems
AU2009243916B2 (en) A system and method for electronic surveillance
US20180144439A1 (en) Systems and methods for dewarping images
US10116910B2 (en) Imaging apparatus and method of providing imaging information
US20150161449A1 (en) System and method for the use of multiple cameras for video surveillance
US9628874B2 (en) Imaging apparatus and method of providing video summary
CN113228586A (zh) 用于安全访问相机系统的系统和方法
US9076268B2 (en) Method and system for analyzing multi-channel images
US11032262B2 (en) System and method for providing security monitoring
KR20140052243A (ko) 네트워크 데이터 서비스 장치 및 방법, 네트워크 데이터 서비스를 위한 클라이언트 단말 장치
JPWO2018037665A1 (ja) 情報処理装置、情報処理システム、制御方法、及びプログラム
US20120134534A1 (en) Control computer and security monitoring method using the same
US20190371142A1 (en) Pathway determination based on multiple input feeds
CN203673545U (zh) 一种智能的多业务云终端
US20210152782A1 (en) Data Transmission Method, Camera and Electronic Device
Bigdeli et al. Vision processing in intelligent CCTV for mass transport security
CN112419638A (zh) 一种告警视频的获取方法及装置
CN112218054A (zh) 视频信息融合处理设备
CN110519562A (zh) 移动侦测方法、装置和系统
KR101482227B1 (ko) 속성정보를 이용한 cctv 모니터링이 가능한 영상 감시 장치 및 이를 이용한 통합관제시스템
Mustafah et al. Smart cameras enabling automated face recognition in the crowd for intelligent surveillance system
KR20150121773A (ko) 지능형 분산 영상 분석 시스템 및 방법

Legal Events

Date Code Title Description
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant