KR101033238B1 - Video surveillance system and recording medium recording in which video surveillance program is recorded - Google Patents

Video surveillance system and recording medium recording in which video surveillance program is recorded Download PDF

Info

Publication number
KR101033238B1
KR101033238B1 KR1020100082910A KR20100082910A KR101033238B1 KR 101033238 B1 KR101033238 B1 KR 101033238B1 KR 1020100082910 A KR1020100082910 A KR 1020100082910A KR 20100082910 A KR20100082910 A KR 20100082910A KR 101033238 B1 KR101033238 B1 KR 101033238B1
Authority
KR
South Korea
Prior art keywords
surveillance
area
information
motion
recorded
Prior art date
Application number
KR1020100082910A
Other languages
Korean (ko)
Inventor
김재명
Original Assignee
주식회사 대덕지에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 대덕지에스 filed Critical 주식회사 대덕지에스
Priority to KR1020100082910A priority Critical patent/KR101033238B1/en
Application granted granted Critical
Publication of KR101033238B1 publication Critical patent/KR101033238B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PURPOSE: An image monitoring apparatus and recording medium recorded in an image monitoring program are provided to easily search for a specific image in a monitoring region that is photographed by a plurality of cameras. CONSTITUTION: A motion detection unit(30) detects a motion region from a monitoring region image of a photographed monitoring region. A motion data generation unit(40) generates motion data about the detected motion region. A monitoring control unit(50) generates monitoring region image data as a monitoring region image file. The monitoring control unit stores the monitoring region image data in an image storage unit(20).

Description

영상 감시 장치와 영상 감시 프로그램이 기록된 기록매체{VIDEO SURVEILLANCE SYSTEM AND RECORDING MEDIUM RECORDING IN WHICH VIDEO SURVEILLANCE PROGRAM IS RECORDED}VIDEO SURVEILLANCE SYSTEM AND RECORDING MEDIUM RECORDING IN WHICH VIDEO SURVEILLANCE PROGRAM IS RECORDED}

본 발명은 영상 감시 장치와 영상 감시 프로그램이 기록된 기록매체에 관한 것으로서, 보다 상세하게는 다수의 카메라로부터 촬영된 감시 지역에 대한 감시 지역 영상에서 특정 영상을 검색하는데 용이하면서도, 카메라를 통해 촬영된 영상을 기록한 파일의 관리가 용이하고, 일부 영상의 손상에 따른 영향을 최소화할 수 있는 영상 감시 장치와 영상 감시 프로그램이 기록된 기록매체에 관한 것이다.
The present invention relates to a recording medium on which a video surveillance apparatus and a video surveillance program are recorded. More particularly, the present invention provides an easy-to-use search for a specific image in a surveillance region image of a surveillance region photographed by a plurality of cameras, The present invention relates to a recording medium on which an image surveillance apparatus and an image surveillance program are recorded, which can easily manage a file recording an image and minimize the effects of damage to some images.

다수의 감시 카메라를 이용하여 촬영된 영상 정보를 저장하는 시스템으로는 VCR을 이용한 아날로그 방식의 CCTV 감시 시스템이 있다. 아날로그 방식의 CCTV 감시 시스템은 여러 대의 감시 카메라가 멀티플렉서에 연결되고 멀티플렉서에서 송출된 영상신호가 모니터에 분할 화면을 통해 디스플레이되도록 마련된다.An analog CCTV surveillance system using a VCR is a system for storing image information captured by a plurality of surveillance cameras. In the analog CCTV surveillance system, multiple surveillance cameras are connected to the multiplexer, and video signals from the multiplexer are displayed on the monitor in divided screens.

멀티플렉서는 여러 대의 카메라에서 보내는 영상을 캡쳐하고 분할 화면으로 만들어서 모니터로 전송하는 역할을 한다. 이때 멀티플렉서에서 모니터로 영상을 전송하는 것은 분할 화면을 전송하는 것이 아니라 각 카메라에서 전송된 영상을 한 장씩 순차적으로 모니터에 전송하는 것이다.The multiplexer captures the video from multiple cameras, creates a split screen, and sends it to the monitor. In this case, the image transmission from the multiplexer to the monitor is not to transmit the divided screen, but to sequentially transmit the images transmitted from each camera to the monitor one by one.

또한, 영상 신호는 VCR로도 전송되어 멀티플랙서에 의해 분할화면으로 만들어진 영상을 전송받아 녹화하게 되는데, 통상 마그네틱테이프에 저장하는 방식으로 이루어진다. 또한, VCR은 이렇게 녹화된 영상을 재생할 수 있는 것으로 VCR의 재생 버튼을 누르면 마그네틱테이프에 녹화된 영상이 재생 채널을 통하여 멀티플렉서로 전송되고, 멀티플렉서는 순차적으로 녹화된 영상을 분할 화면으로 재구성하여 모니터에 전송함으로써, 녹화된 영상의 재생이 이루어진다.In addition, the video signal is also transmitted to the VCR to receive and record an image made of a split screen by the multiplexer, and is usually stored in a magnetic tape. In addition, the VCR can play back the recorded video. When the playback button on the VCR is pressed, the video recorded on the magnetic tape is transmitted to the multiplexer through the playback channel. By transmitting, the recorded video is reproduced.

근래에는 아날로그 방식의 감시 시스템에서 나타난 단점을 해소하고 보다 향상된 기능을 제공하는 DVR(Digital Video Recorder)을 포함한 디지털 감시 시스템이 새롭게 개발되어 상용되고 있다.In recent years, digital surveillance systems including digital video recorders (DVRs) are being newly developed and commercialized to solve the shortcomings of analog surveillance systems and provide improved functions.

디지털 감시 시스템에서는 여러 감시 카메라로부터 촬영되어 전송된 영상을 아날로그의 마그네틱테이프보다 저장성이 우수한 HDD 등의 디지털 저장매체에 저장하는 것으로 많은 양의 영상을 저장할 수 있다. 또한, 이렇게 저장된 영상을 쉽게 검색 및 편집하여 재생할 수 있고 수 회의 반복 재생에 있어서도 양호한 화질을 지속적으로 유지할 수 있다.In the digital surveillance system, a large amount of images can be stored by storing images captured and transmitted from various surveillance cameras on a digital storage medium such as an HDD having better storage than analog magnetic tapes. In addition, the stored video can be easily searched, edited and reproduced, and good image quality can be continuously maintained even for repeated playback several times.

그리고, 디지털 감시 시스템은 네트워크를 이용하여 다수의 카메라를 통해 촬영된 영상 데이터를 네트워크를 통해 전송하고, 중앙 서버에서는 이를 통합하여 저장하고 관리하는 NVR(Network Video Recorder)가 상용화되고 있다.In addition, the digital surveillance system has been commercialized NVR (Network Video Recorder) for transmitting the image data taken through a plurality of cameras via the network, the central server to integrate and store and manage it.

이와 같은 디지털 감시 시스템은 일반 도로나 골목 등과 같이 방범용으로 널리 사용될 뿐만 아니라, 대학교나 관공서 등에서 주차장 출입구, 주차장 내부, 교내나 관공서 내의 각 도로를 촬영하는데에도 널리 활용되고 있다.Such a digital surveillance system is not only widely used for security purposes such as general roads or alleys, but also widely used for photographing entrances and exits of parking lots, interiors of parking lots, campuses, and public offices in universities and government offices.

특히, 주차 감시 시스템에의 적용에 있어 주차된 차량에 인위적인 파손이 가해졌을 때, 그 책임의 소재를 파악하는 데에도 활용되고 있다. 예를 들어, 주차장에 진입할 때 촬영된 영상에서는 차량이 파손되지 않은 경우에는 주차장 내에서 파손되었음을 유추할 수 있고, 반대로 주차장에 진입할 때 이미 해당 부분이 파손된 것이 확인되는 경우에는 주차장 내에서의 파손이 아니라는 결론을 내릴 수 있게 된다.In particular, when an artificial damage is applied to a parked vehicle in application to a parking monitoring system, it is also used to grasp the location of the responsibility. For example, the image taken when entering the parking lot can be inferred that the vehicle is damaged in the parking lot if the vehicle is not damaged. On the contrary, when it is confirmed that the part is already damaged when entering the parking lot, It can be concluded that is not a breakage of.

상기와 같이, 특정 사건이나 사고, 또는 인물을 저장된 영상 데이터로부터 검색하는 상황은 자주 발생할 수 있게 된다. 예를 들어, 도로를 촬영하는 감시 카메라로부터의 영상 데이터에서 차량의 접촉 사고 상황을 찾기 위해 저장된 영상 데이터를 검색하거나, 차량이 주차장 내에서 파손이 발생한 것으로 파악되었을 때 차량이 주차되었던 감시 영역을 촬영하는 카메라로부터의 영상 데이터를 검색하게 된다.As described above, a situation of searching for a specific event, accident, or person from stored image data may occur frequently. For example, you can search the stored video data to find the contact situation of the vehicle from the video data from the surveillance camera photographing the road, or capture the surveillance area where the vehicle was parked when the vehicle was found to be damaged in the parking lot. The video data from the camera is searched.

그런데, 차량의 접촉 사고 상황과 같이, 특정 상황이 발생한 대략적인 시간을 알 수 있는 경우에는 저장된 영상 데이터로부터 해당 시간 전후를 검색하여 찾고자 하는 영상을 찾는 것이 가능하나, 이와 같이 대략적인 시간이 확인되지 않은 상태, 예를 들어 주차된 차량이 파손되는 상황을 전체 영상 데이터에서 검색하는 것은 해당 차량이 주차된 시간 구간 전체를 검색하여야 하는 불편함이 있다.However, when the approximate time at which a specific situation occurs such as a contact accident situation of a vehicle can be known, it is possible to search for the image to be searched by searching before and after the corresponding time from the stored image data, but the approximate time is not confirmed. In a non-state state, for example, a situation in which a parked vehicle is damaged is searched in the entire image data, which is inconvenient to search the entire time section in which the vehicle is parked.

특히, 특정 차량이나 인물이 해당 감시 지역을 지나갔는지 여부를 확인하는 작업은 그 검색 시간 구간의 길이에 따라 전체 영상 데이터를 검색하여야 하므로 현실적으로 많은 시간을 요구하게 된다.In particular, the task of checking whether a specific vehicle or a person has passed the surveillance area requires a lot of time since the entire image data must be searched according to the length of the search time section.

일 예로, 검색자는 저장된 영상 데이터를 2배속에서 16배속으로 빨리 감기나 되감기를 통해 전체 영상 데이터를 검색하게 되어 장시간이 소요되는 단점이 있을 뿐만 아니라, 검색 자체가 검색자의 육안에 의존하게 되어 그 정확성을 보장하기 어려운 단점이 있다. 특히, 장시간의 검색은 검색자의 눈과 육체적인 피로를 유발하게 되고, 이는 검색자의 집중력 저하로 연결되어 검색의 정확성을 저해하는 문제점이 있다.
For example, the searcher can search the entire video data by fast forwarding or rewinding the stored video data from 2x to 16x speed, which can take a long time, and the search itself is dependent on the searcher's eyes. There are disadvantages that are difficult to guarantee. In particular, prolonged searches cause eyes and physical fatigue of the searcher, which leads to a decrease in the concentration of the searcher, thereby impairing the accuracy of the search.

이에, 본 발명은 다수의 카메라로부터 촬영된 감시 지역에 대한 감시 지역 영상에서 특정 영상을 검색하는데 용이한 영상 감시 장치와 영상 감시 프로그램이 기록된 기록매체를 제공하는데 그 목적이 있다.Accordingly, an object of the present invention is to provide an image monitoring apparatus and a recording medium on which an image surveillance program is recorded, which is easy to search for a specific image in a surveillance region image of a surveillance region photographed from a plurality of cameras.

또한, 카메라를 통해 촬영된 영상을 기록한 파일의 관리가 용이하고, 일부 영상의 손상에 따른 영향을 최소화할 수 있는 영상 감시 장치와 영상 감시 프로그램이 기록된 기록매체를 제공하는데 그 목적이 있다.
In addition, an object of the present invention is to provide a video recording apparatus and a recording medium on which an image surveillance program is recorded, which can easily manage a file recording an image photographed through a camera and minimize the effects of damage to some images.

상기 목적은 본 발명에 따라, 각각의 감시 지역에 설치되어 상기 감시 지역을 촬영하는 적어도 하나의 카메라를 이용한 영상 감시 장치에 있어서, 영상 저장부와; 상기 각 카메라에 의해 촬영된 상기 감시 지역에 대한 감시 지역 영상으로부터 움직임 영역을 검출하는 움직임 검출부와; 상기 움직임 검출부에 의해 검출된 움직임 영역에 대한 움직임 데이터를 생성하는 움직임 데이터 생성부와; 상기 감시 지역 영상에 대한 감시 지역 영상 데이터와 상기 움직임 데이터를 하나의 감시 지역 영상 파일로 생성하여 상기 영상 저장부에 저장하는 감시 제어부를 포함하는 것을 특징으로 하는 영상 감시 장치에 의해서 달성된다.According to the present invention, the video surveillance apparatus using at least one camera installed in each surveillance zone to shoot the surveillance zone, the image storage unit; A motion detector for detecting a motion region from the surveillance region image of the surveillance region photographed by the cameras; A motion data generator for generating motion data for the motion area detected by the motion detector; And a surveillance controller configured to generate the surveillance region image data and the motion data of the surveillance region image as one surveillance region image file and store the image data in the image storage unit.

여기서, 상기 감시 제어부는 상기 감시 지역 데이터와 상기 움직임 데이터를 기 설정된 시간 단위로 분할하여 상기 감시 지역 영상 파일을 생성할 수 잇다.Here, the surveillance controller may generate the surveillance region image file by dividing the surveillance region data and the movement data by a predetermined time unit.

그리고, 상기 시간 단위로 생성되는 하나의 감시 지역 영상 파일은 촬영 시간이 기록되는 시각 정보 영역과, 이전 시간 단위의 감시 지역 영상 파일에 대한 정보가 기록되는 이전 파일 정보 영역과, 이후 시간 단위의 감시 지역 영상 파일에 대한 정보가 기록되는 이후 파일 정보 영역을 갖는 파일 헤더와; 해당 프레임의 재생 시간에 대한 정보가 기록되는 재생 시간 정보 영역과, 해당 프레임의 저장 주소에 대한 정보가 기록되는 주소 정보 영역과, 해당 프레임의 크기에 대한 정보가 기록되는 프레임 크기 정보 영역을 갖는 인덱스 필드와; 현재 시간 단위의 감시 지역 영상 파일의 프레임 수가 기록되는 프레임 수 정보 영역과, 해당 감시 지역 영상 파일 내의 인덱스 필드 개수에 대한 정보가 기록되는 인덱스 개수 정보 영역을 갖는 정보 헤더와; 상기 감시 지역 영상 데이터가 기록되는 감시 지역 데이터 영역과, 상기 움직임 데이터가 기록되는 움직임 데이터 영역을 갖는 데이터 필드를 포함하여 구성될 수 있다.The one surveillance area image file generated by the time unit includes a time information area in which a shooting time is recorded, a previous file information area in which information about a monitoring area image file in a previous time unit is recorded, and a subsequent time unit monitoring. A file header having a file information area after information about the local video file is recorded; An index having a play time information area in which information on the reproduction time of the frame is recorded, an address information area in which information on a storage address of the frame is recorded, and a frame size information area in which information on the size of the frame is recorded; Field; An information header having a frame number information area in which the number of frames of the surveillance region image file in the current time unit is recorded, and an index number information region in which information on the number of index fields in the surveillance region image file is recorded; And a data field having a surveillance region data area in which the surveillance region image data is recorded and a movement data region in which the motion data is recorded.

그리고, 상기 움직임 데이터는 상기 움직임 영역의 대표 색상 정보와, 상기 움직임 영역의 대상 객체를 구분하는 객체 구분 정보와, 상기 움직임 영역의 상기 감시 지역 영상 내에서의 위치에 대한 움직임 위치 정보와, 상기 움직임 영역의 상기 감시 지역 영상 내에서의 움직임 방향에 대한 방향 정보 중 적어도 어느 하나를 포함하며; 상기 움직임 데이터 영역은 상기 움직임 데이터의 사이즈에 대한 정보가 기록되는 데이터 사이즈 정보 영역과, 상기 움직임 데이터가 기록되는 데이터 기록 영역을 포함할 수 있다.The motion data may include representative color information of the motion area, object classification information for distinguishing a target object of the motion area, motion location information for a location in the surveillance area image of the motion area, and the motion. At least one of direction information on a direction of movement in the surveillance area image of the area; The motion data area may include a data size information area in which information on the size of the motion data is recorded, and a data recording area in which the motion data is recorded.

여기서, 상기 움직임 데이터 생성부는 상기 움직임 영역의 종횡비에 대한 정보와, 상기 움직임 위치 정보에 기초하여, 상기 움직임 영역을 차량 또는 사람으로 구분하여 상기 객체 구분 정보로 기록할 수 있다.Here, the motion data generation unit may classify the motion area into a vehicle or a person and record the object classification information based on information on an aspect ratio of the motion area and the motion position information.

또한, 상기 움직임 데이터 생성부는 상기 움직임 위치 정보에 기초한 상기 움직임 영역의 상기 감시 지역 영상 내에서의 위치에 따라 상기 움직임 영역의 종횡비에 기 설정된 가중치를 부여하여 상기 움직임 영역을 차량 또는 사람으로 구분할 수 있다.The motion data generator may classify the motion area into a vehicle or a person by assigning a preset weight to an aspect ratio of the motion area according to a position in the surveillance area image of the motion area based on the motion location information. .

여기서, 상기 감시 제어부는 검색 조건의 입력을 위한 그래픽 유저 인터페이스 화면을 제공하며; 상기 그래픽 유저 인터페이스 화면을 통해 입력되는 상기 검색 조건에 기초하여 상기 영상 저장부로부터 상기 검색 조건을 충족하는 상기 움직임 데이터가 포함된 상기 감시 지역 영상 파일을 추출하여 상기 그래픽 유저 인터페이스 화면에 표시할 수 있다.Here, the monitoring controller provides a graphical user interface screen for inputting a search condition; The surveillance area image file including the motion data satisfying the search condition may be extracted from the image storage unit and displayed on the graphic user interface screen based on the search condition input through the graphic user interface screen. .

한편, 상기 목적은 본 발명의 다른 실시 형태에 따라, 각각의 감시 지역에 설치되어 상기 감시 지역을 촬영하는 적어도 하나의 카메라로부터 제공되는 상기 감시 지역에 대한 감시 지역 영상을 관리하는 영상 감시 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체에 있어서, 상기 영상 감시 프로그램은 (a) 상기 감시 지역 영상으로부터 움직임 영역을 검출하는 단계와; (b) 상기 검출된 움직임 영역에 대한 움직임 데이터를 생성하는 단계와; (c) 상기 감시 지역 영상에 대한 감시 지역 영상 데이터와 상기 움직임 데이터를 하나의 감시 지역 영상 파일로 생성하는 단계와; (d) 상기 감시 지역 영상 파일을 저장하는 단계를 수행하는 것을 특징으로 하는 영상 감시 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체에 의해서도 달성될 수 있다.On the other hand, the above object is recorded according to another embodiment of the present invention, the video surveillance program for managing the surveillance region image for the surveillance region provided from at least one camera installed in each surveillance region to photograph the surveillance region is recorded A computer readable recording medium, comprising: (a) detecting a motion region from the surveillance area image; (b) generating motion data for the detected motion region; (c) generating the surveillance region image data and the motion data of the surveillance region image into one surveillance region image file; and (d) storing the surveillance region image file, which may be achieved by a computer-readable recording medium having recorded thereon an image surveillance program.

여기서, 상기 (c) 단계에서는 상기 감시 지역 데이터와 상기 움직임 데이터가 기 설정된 시간 단위로 분할되어 하나의 감시 지역 영상 파일로 생성될 수 있다.Here, in step (c), the surveillance region data and the motion data may be divided into predetermined time units to be generated as one surveillance region image file.

그리고, 상기 시간 단위로 생성되는 하나의 감시 지역 영상 파일은 촬영 시간이 기록되는 시각 정보 영역과, 이전 시간 단위의 감시 지역 영상 파일에 대한 정보가 기록되는 이전 파일 정보 영역과, 이후 시간 단위의 감시 지역 영상 파일에 대한 정보가 기록되는 이후 파일 정보 영역을 갖는 파일 헤더와; 해당 프레임의 재생 시간에 대한 정보가 기록되는 재생 시간 정보 영역과, 해당 프레임의 저장 주소에 대한 정보가 기록되는 주소 정보 영역과, 해당 프레임의 크기에 대한 정보가 기록되는 프레임 크기 정보 영역을 갖는 인덱스 필드와; 현재 시간 단위의 감시 지역 영상 파일의 프레임 수가 기록되는 프레임 수 정보 영역과, 해당 감시 지역 영상 파일 내의 인덱스 필드 개수에 대한 정보가 기록되는 인덱스 개수 정보 영역을 갖는 정보 헤더와; 상기 감시 지역 영상 데이터가 기록되는 감시 지역 데이터 영역과, 상기 움직임 데이터가 기록되는 움직임 데이터 영역을 갖는 데이터 필드를 포함하여 구성될 수 있다.The one surveillance area image file generated by the time unit includes a time information area in which a shooting time is recorded, a previous file information area in which information about a monitoring area image file in a previous time unit is recorded, and a subsequent time unit monitoring. A file header having a file information area after information about the local video file is recorded; An index having a play time information area in which information on the reproduction time of the frame is recorded, an address information area in which information on a storage address of the frame is recorded, and a frame size information area in which information on the size of the frame is recorded; Field; An information header having a frame number information area in which the number of frames of the surveillance region image file in the current time unit is recorded, and an index number information region in which information on the number of index fields in the surveillance region image file is recorded; And a data field having a surveillance region data area in which the surveillance region image data is recorded and a movement data region in which the motion data is recorded.

여기서, 상기 움직임 데이터는 상기 움직임 영역의 대표 색상 정보와, 상기 움직임 영역의 대상 객체를 구분하는 객체 구분 정보와, 상기 움직임 영역의 상기 감시 지역 영상 내에서의 위치에 대한 움직임 위치 정보와, 상기 움직임 영역의 상기 감시 지역 영상 내에서의 움직임 방향에 대한 방향 정보 중 적어도 어느 하나를 포함하며; 상기 움직임 데이터 영역은 상기 움직임 데이터의 사이즈에 대한 정보가 기록되는 데이터 사이즈 정보 영역과, 상기 움직임 데이터가 기록되는 데이터 기록 영역을 포함할 수 있다.Here, the motion data includes representative color information of the motion area, object classification information for distinguishing a target object of the motion area, motion location information on a position in the surveillance area image of the motion area, and the motion. At least one of direction information on a direction of movement in the surveillance area image of the area; The motion data area may include a data size information area in which information on the size of the motion data is recorded, and a data recording area in which the motion data is recorded.

또한, 상기 (b) 단계는 상기 움직임 영역의 종횡비에 대한 정보와, 상기 움직임 위치 정보에 기초하여, 상기 움직임 영역이 차량 또는 사람으로 구분되어 상기 객체 구분 정보로 생성되는 단계를 포함할 수 있다.In addition, the step (b) may include generating the object classification information by dividing the movement area into a vehicle or a person based on the information on the aspect ratio of the movement area and the movement position information.

여기서, 상기 (b) 단계에서는 상기 움직임 위치 정보에 기초한 상기 움직임 영역의 상기 감시 지역 영상 내에서의 위치에 따라 상기 움직임 영역의 종횡비에 기 설정된 가중치가 부여되어 상기 움직임 영역이 차량 또는 사람으로 구분될 수 있다.Here, in the step (b), a preset weight is given to an aspect ratio of the movement area according to a position in the surveillance area image of the movement area based on the movement position information so that the movement area is classified as a vehicle or a person. Can be.

그리고, (e) 검색 조건의 입력을 위한 그래픽 유저 인터페이스 화면이 표시되는 단계와; (f) 상기 그래픽 유저 인터페이스 화면을 통해 입력되는 상기 검색 조건에 기초하여, 상기 입력된 검색 조건을 충족하는 움직임 데이터가 포함된 감시 지역 영상 파일을 추출하는 단계와; (g) 상기 추출된 감시 지역 영상 파일에 기초한 감시 지역 영상 및 움직임 영상 중 적어도 어느 하나가 상기 그래픽 유저 인터페이스 화면에 표시되는 단계를 더 포함할 수 있다.
And (e) displaying a graphic user interface screen for inputting a search condition; (f) extracting a surveillance area image file including motion data satisfying the input search condition based on the search condition input through the graphic user interface screen; (g) The method may further include displaying at least one of a surveillance region image and a motion image based on the extracted surveillance region image file on the graphic user interface screen.

상기와 같은 구성을 통해, 다수의 카메라로부터 촬영된 감시 지역에 대한 감시 지역 영상에서 특정 영상을 검색하는데 용이하면서도, 카메라를 통해 촬영된 영상을 기록한 파일의 관리가 용이하고, 일부 영상의 손상에 따른 영향을 최소화할 수 있는 영상 감시 장치와 영상 감시 프로그램이 기록된 기록매체가 제공된다.
Through the above configuration, it is easy to search for a specific image in the surveillance region image of the surveillance region photographed from a plurality of cameras, and it is easy to manage the file recording the image captured by the camera, There is provided a video surveillance apparatus and a recording medium on which video surveillance programs are recorded.

도 1은 본 발명에 따른 영상 감시 시스템의 구성을 도시한 도면이고,
도 2는 본 발명에 따른 영상 감시 장치의 구성을 도시한 도면이고,
도 3은 본 발명에 따른 영상 감시 장치의 감시 지역 영상 파일의 파일 포맷을 설명하기 위한 도면이고,
도 4 내지 도 6은 본 발명에 영상 감시 장치가 제공하는 그래픽 유저 인터페이스 화면의 예들을 도시한 도면이고,
도 7은 본 발명에 따른 영상 감시 장치가 컴퓨터 서버와 같은 정보 처리 장치로 마련되는 구성의 예를 도시한 도면이다.
1 is a view showing the configuration of a video surveillance system according to the present invention,
2 is a view showing the configuration of a video surveillance apparatus according to the present invention,
3 is a view for explaining a file format of a surveillance video image file of a video surveillance apparatus according to the present invention;
4 to 6 are diagrams showing examples of the graphical user interface screen provided by the video surveillance apparatus according to the present invention.
7 is a diagram showing an example of a configuration in which the video surveillance apparatus according to the present invention is provided with an information processing apparatus such as a computer server.

이하에서는 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail the present invention.

도 1은 본 발명에 따른 영상 감시 시스템(100)의 구성을 도시한 도면이다. 도 1을 참조하여 설명하면, 본 발명에 따른 영상 감시 시스템(100)은 다수의 카메라(5a,5b,5c)와, 다수의 카메라(5a,5b,5c)와 네트워크(3)를 통해 연결된 영상 감시 장치(1)를 포함한다.1 is a diagram illustrating a configuration of a video surveillance system 100 according to the present invention. Referring to Figure 1, the video surveillance system 100 according to the present invention is a plurality of cameras (5a, 5b, 5c), a plurality of cameras (5a, 5b, 5c) and the image connected through the network (3) And a monitoring device 1.

다수의 카메라(5a,5b,5c)는 각각의 감시 지역에 설치되어 감시 지역을 촬영한다. 그리고, 각 카메라(5a,5b,5c)는 감시 지역의 촬영을 통해 획득된 영상(이하, '감시 지역 영상'이라 함)을 네트워크(3)를 통해 영상 감시 장치(1)로 전송한다.A plurality of cameras 5a, 5b, 5c are installed in each surveillance area to photograph the surveillance area. Each of the cameras 5a, 5b, and 5c transmits an image (hereinafter, referred to as a “monitoring area image”) obtained through photographing a surveillance area to the video monitoring device 1 through the network 3.

영상 감시 장치(1)는 각 카메라(5a,5b,5c)로부터 네트워크(3)를 통해 전송되는 감시 지역 영상을 저장 및 관리한다. 도 2는 본 발명에 따른 영상 감시 장치(1)의 구성을 도시한 도면이다. 도 2를 참조하여 설명하면, 본 발명에 따른 영상 감시 장치(1)는 영상 저장부(20), 움직임 검출부(30), 움직임 데이터 생성부(40) 및 감시 제어부(50)를 포함한다. 또한, 영상 감시 장치(1)는 네트워크부(10), 디스플레이부(70) 및 사용자 입력부(60)를 포함할 수 있다.The video surveillance apparatus 1 stores and manages a surveillance region image transmitted from each camera 5a, 5b, 5c via the network 3. 2 is a diagram showing the configuration of the video surveillance apparatus 1 according to the present invention. Referring to FIG. 2, the video surveillance apparatus 1 according to the present invention includes an image storage unit 20, a motion detector 30, a motion data generator 40, and a surveillance controller 50. In addition, the video surveillance apparatus 1 may include a network unit 10, a display unit 70, and a user input unit 60.

네트워크부(10)는 네트워크(3)를 통해 각 카메라(5a,5b,5c)와 연결되어 각 카메라(5a,5b,5c)로부터 네트워크(3)를 통해 전송된 감시 지역 영상을 수신한다. 여기서, 네트워크부(10)는 각 카메라(5a,5b,5c)와 TCP/IP를 통해 연결되는 것을 예로 한다.The network unit 10 is connected to each of the cameras 5a, 5b, and 5c through the network 3 to receive the surveillance region image transmitted through the network 3 from each of the cameras 5a, 5b and 5c. Here, for example, the network unit 10 is connected to each of the cameras 5a, 5b, and 5c through TCP / IP.

영상 저장부(20)는 감시 제어부(50)에 의해 생성되는 후술할 감시 지역 영상 파일을 저장한다. 여기서, 본 발명에 따른 영상 저장부(20)는 하드디스크 드라이브(HDD : Hard Disk Drive) 등과 같은 디지털 저장장치 형태로 마련되는 것을 예로 한다.The image storage unit 20 stores a surveillance region image file, which will be described later, generated by the surveillance controller 50. Here, the image storage unit 20 according to the present invention is an example that is provided in the form of a digital storage device, such as a hard disk drive (HDD).

움직임 검출부(30)는 각 카메라(5a,5b,5c)로부터 네트워크부(10)를 통해 수신되는 감시 지역에 대한 감시 지역 영상으로부터 움직임 영역을 검출한다. 여기서, 움직임 검출부(30)는 감시 지역 영상을 구성하는 각 프레임 간의 차이를 이용하여 움직임을 검출하는 것을 예로 한다. 즉, 움직임 검출부(30)는 인접 프레임 간에 상호 대응하는 화소의 화소값들의 차이를 비요하여 감시 지역 영상에서 움직임이 발생하였는지 여부를 판단하게 된다. 이외에도, 특정 영상으로부터 움직임이 발생한 영역을 검출하는 방법은 기 공지된 다양한 형태가 적용 가능하며, 그 상세한 설명은 생략한다.The motion detector 30 detects the motion region from the surveillance region image of the surveillance region received from the cameras 5a, 5b, and 5c through the network unit 10. Here, the motion detector 30 detects motion by using the difference between the frames constituting the surveillance area image. That is, the motion detector 30 determines whether motion has occurred in the surveillance area image by comparing the difference between pixel values of pixels corresponding to each other between adjacent frames. In addition, various methods known in the art may be applied to a method for detecting a region where a motion occurs from a specific image, and a detailed description thereof will be omitted.

움직임 데이터 생성부(40)는 움직임 검출부(30)에 의해 검출된 움직임 영역에 대한 움직임 데이터를 생성한다. 본 발명에 따른 움직임 데이터는 대표 색상 정보, 객체 구분 정보, 움직임 위치 정보 및 방향 정보를 포함할 수 있다.The motion data generator 40 generates motion data for the motion area detected by the motion detector 30. The motion data according to the present invention may include representative color information, object classification information, motion position information, and direction information.

대표 색상 정보는 움직임 영역의 전체 화소를 대표하는 색상, 예를 들어 가장 많이 분포하는 색상에 대한 정보를 포함한다. 그리고, 움직임 위치 정보는 움직임 영상의 감시 지역 영상 내에서의 위치에 대한 정보를 포함한다. 또한, 방향 정보는 움직임 영역의 감시 지역 영상 내에서의 움직임 방향에 대한 정보를 포함한다.The representative color information includes information on colors representing all pixels of the moving area, for example, the most distributed color. The motion position information includes information about a position in the surveillance area image of the motion image. In addition, the direction information includes information on the direction of movement in the surveillance region image of the movement area.

한편, 객체 구분 정보는 움직임 영역의 대상 객체를 구분하는 정보를 포함한다. 본 발명에 따른 움직임 데이터 생성부(40)는 움직임 영역의 종횡비에 대한 정보와, 움직임 위치 정보에 기초하여, 움직임 영역을 차량 또는 사람으로 구분하여 객체 구분 정보를 생성하는 것을 예로 한다.Meanwhile, the object classification information includes information for identifying a target object of the movement area. The motion data generator 40 according to the present invention generates object classification information by dividing the motion area into a vehicle or a person based on the information on the aspect ratio of the motion area and the motion position information.

보다 구체적으로 설명하면, 움직임 데이터 생성부(40)는 움직임 위치 정보에 기초한 움직임 영역의 감시 지역 영상 내에서의 위치에 따라 움직임 영역의 종횡비에 기 설정된 가중치를 부여하여 움직임 영역을 차량 또는 사람으로 구분할 수 있다.In more detail, the motion data generator 40 may classify the motion area into a vehicle or a person by assigning a predetermined weight to the aspect ratio of the motion area according to the position in the surveillance area image of the motion area based on the motion position information. Can be.

예를 들어, 사람으로 판단하는 움직임 영역의 종횡비의 범위를 1:3에서 1:1로 설정하고, 차량으로 판단하는 움직임 영역의 종횡비의 범위를 3:1에서 1:1로 설정하는 경우, 종횡비의 범위가 1:1의 범위에서 사람과 차량이 중복된다. 이 때, 움직임 위치 정보에 기초하여, 움직임 영역에 감시 지역 내의 차도 영역에서 검출되는 경우에는 차량으로, 인도 영역에서 검출되는 경우에는 사람으로 판단하게 된다.For example, when the aspect ratio of the movement region judged by a person is set from 1: 3 to 1: 1, and the aspect ratio range of the movement region determined by the vehicle is set to 3: 1 to 1: 1, the aspect ratio People and vehicles overlap in the range of 1: 1. At this time, based on the movement position information, it is judged as a vehicle when it is detected in the driveway area in the monitoring area and as a person when it is detected in the delivery area.

한편, 감시 제어부(50)는 카메라(5a,5b,5c)로부터 전송되는 감시 지역 영상에 대한 감시 지역 영상 데이터와, 움직임 데이터 생성부(40)에 의해 생성된 움직임 데이터를 하나의 감시 지역 영상 파일로 생성한다. 그리고, 감시 제어부(50)는 감시 지역 영상 파일을 영상 저장부(20)에 저장한다.On the other hand, the monitoring controller 50 monitors the surveillance region image data for the surveillance region image transmitted from the cameras 5a, 5b, and 5c, and the movement data generated by the motion data generator 40 as one surveillance region image file. To create. The surveillance controller 50 stores the surveillance region image file in the image storage unit 20.

여기서, 감시 제어부(50)는 움직임 검출부(30)에 의해 감시 지역 영상에서 움직임이 검출되는 경우에만 감시 지역 영상 파일을 생성할 수 있다. 즉, 본 발명에 따른 영상 감시 장치(1)는 감시 지역에 대한 감시 지역 영상을 저장하는데 있어, 감시 지역에서 움직임이 발생하는 경우에만 영상을 저장함으로써, 영상 저장부(20)의 저장 공간을 효율적으로 활용할 수 있다.Here, the monitoring controller 50 may generate the surveillance region image file only when the motion is detected by the movement detector 30 in the surveillance region image. That is, the image surveillance apparatus 1 according to the present invention stores the surveillance region image for the surveillance region, and stores the image only when a movement occurs in the surveillance region, thereby efficiently saving the storage space of the image storage unit 20. Can be used as

또한, 감시 제어부(50)는 감시 지역 영상 데이터와 움직임 데이터를 기 설정된 시간 단위로 분할하여 감시 지역 영상 파일을 생성할 수 있다. 즉, 감시 지역 영상 파일은 시간 단위로 감시 지역 영상 데이터와 움직임 데이터가 통합된 하나의 감시 지역 데이터 파일을 생성하여 데이터 저장부에 저장한다. 본 발명에서는 감시 지역 영상 파일이 생성되는 시간 단위가 5 분으로 설정되는 것을 예로 한다. 이와 같이, 감시 지역 영상 파일을 시간 단위로 생성함으로써, 파일의 관리가 용이해지고, 하나의 감시 지역 영상 파일에 손상이 발생하더라도 전체 파일의 손상을 방지할 수 있다.In addition, the surveillance controller 50 may generate the surveillance region image file by dividing the surveillance region image data and the motion data by a predetermined time unit. That is, the surveillance region video file generates one surveillance region data file in which the surveillance region image data and the motion data are integrated in a time unit and stored in the data storage unit. In the present invention, it is assumed that the time unit for generating the surveillance area image file is set to 5 minutes. In this way, by generating the surveillance area video file in units of time, management of the file becomes easy, and even if damage occurs in one surveillance area video file, damage to the entire file can be prevented.

이하에서는 도 3을 참조하여 본 발명에 따른 감시 지역 영상 파일의 파일 포맷에 대해 상세히 설명한다.Hereinafter, a file format of a surveillance video image file according to the present invention will be described in detail with reference to FIG. 3.

하나의 시간 단위로 생성되는 하나의 감시 지역 영상 파일은, 도 3에 도시된 바와 같이, 파일 헤더, 정보 헤더, 인덱스 필드 및 데이터 필드를 포함하여 구성된다.One surveillance area video file generated in one time unit includes a file header, an information header, an index field, and a data field, as shown in FIG. 3.

파일 헤더는 감시 지역 영상 파일에 대한 기본 정보가 기록되는데, 본 발명에 따른 파일 헤더는 이전 파일 정보 영역과, 이후 파일 정보 영역, 그리고 시간 정보 영역을 포함한다.The file header records basic information on the surveillance region video file. The file header includes a previous file information area, a subsequent file information area, and a time information area.

시간 정보 영역에는 해당 감시 지역 영상 파일에 기록되는 영상의 촬영 시간이 기록된다. 그리고, 이전 파일 정보 영역은 이전 시간 단위의 감시 지역 영상 파일에 대한 정보가 기록되고, 이후 파일 정보 영역에는 이후 시간 단위의 감시 지역 영상 파일에 대한 정보가 기록된다.In the time information area, a recording time of an image recorded in the surveillance region image file is recorded. In the previous file information area, information about the surveillance region image file in a previous time unit is recorded, and in the file information region, information about the surveillance region image file in a subsequent time unit is recorded.

이에 따라, 파일 헤더를 참조하게 되면, 현재 감시 지역 영상 파일 내에 기록된 영상의 촬영 시간과, 이전 감시 지역 영상 파일과 이후 감시 지역 영상 파일을 인식할 수 있게 되어 시간 단위로 분할 저장되는 전체 감시 지역 영상 파일을 연속하여 재생 가능하게 된다.Accordingly, referring to the file header, it is possible to recognize the shooting time of the image recorded in the current surveillance zone video file, the previous surveillance zone video file and the subsequent surveillance zone video file, so that the entire surveillance zone is divided and stored by time unit. Video files can be played back continuously.

정보 헤더는 프레임 수 정보 영역과 인덱스 개수 정보 영역을 포함할 수 있다. 또한, 정보 헤더는 영상 폭 정보 영역, 영상 높이 정보 영역, 및 코덱 정보 영역을 포함할 수 있다.The information header may include a frame number information area and an index number information area. In addition, the information header may include an image width information area, an image height information area, and a codec information area.

프레임 수 정보 영역에는 현재 시간 단위의 감시 지역 영상 파일의 전체 프레임 수가 기록된다. 그리고, 인덱스 개수 정보 영역에는 해당 감시 지역 데이터 파일 내의 인덱스 필드 개수에 대한 정보가 기록된다.In the frame number information area, the total number of frames of the surveillance area image file in the current time unit is recorded. In the index number information area, information on the number of index fields in the surveillance area data file is recorded.

또한, 영상 폭 정보 영역 및 영상 높이 정보 영역에는 해당 감시 지역 영상 파일에 기록되는 영상 데이터의 폭과 높이, 즉 사이즈에 대한 정보가 기록되며, 코덱 정보 영역에는 영상 데이터의 재생을 위한 코덱 정보가 기록된다.In addition, the information about the width and height of the video data recorded in the surveillance video image file is recorded in the video width information area and the video height information area, and the codec information for reproducing the video data is recorded in the codec information area. do.

한편, 인덱스 필드는 재생 시간 정보 영역, 주소 정보 영역, 프레임 크기 정보 영역을 포함할 수 있다. 재생 시간 정보 영역에는 해당 프레임의 재생 시간에 대한 정보가 기록된다. 그리고, 주소 정보 영역에는 해당 프레임의 저장 주소에 대한 정보가 기록된다. 그리고, 프레임 크기 정보 영역에는 해당 프레임의 크기에 대한 정보가 기록된다. 이와 같이, 해당 프레임의 재생 시간, 저장 주소 및 사이즈에 대한 정보기 인덱스 필드에 기록됨으로써, 영상 데이터의 재생이 가능하게 된다.The index field may include a reproduction time information area, an address information area, and a frame size information area. In the reproduction time information area, information on the reproduction time of the frame is recorded. The information on the storage address of the frame is recorded in the address information area. In the frame size information area, information on the size of the frame is recorded. In this way, by recording in the information index field for the reproduction time, storage address and size of the frame, video data can be reproduced.

데이터 필드는 감시 지역 데이터 영역과 움직임 데이터 영역을 포함할 수 있다. 움직임 데이터 영역에는 움직임 데이터, 즉, 상술한 바와 같이, 대표 색상 정보, 객체 구분 정보, 움직임 위치 정보 및 방향 정보가 기록된다. 그리고, 감시 지역 데이터 영역에는 상술한 감시 지역 데이터, 즉 카메라(5a,5b,5c)에 의해 촬영된 실제 영상과 관련된 프레임 데이터가 기록된다.The data field may include a surveillance area data area and a motion data area. In the motion data area, motion data, that is, as described above, representative color information, object classification information, motion position information, and direction information are recorded. In the surveillance area data area, the surveillance area data described above, that is, frame data related to the actual image photographed by the cameras 5a, 5b, and 5c is recorded.

여기서, 데이터 필드의 움직임 데이터 영역은, 도 3에 도시된 바와 같이, 움직임 데이터의 사이즈에 대한 정보가 기록되는 데이터 사이즈 정보 영역과, 실제 움직임 데이터, 즉 대표 색상 정보, 객체 구분 정보, 움직임 위치 정보 및 방향 정보가 기록되는 데이터 기록 영역으로 구분될 수 있다. 이에 대응하여, 데이터 필드의 감시 지역 데이터 영역도, 도 3에 도시된 바와 같이, 감시 지역 데이터의 사이즈에 대한 정보와 실제 감시 지역 데이터가 각각 기록되는 데이터 사이즈 정보 영역과 데이터 기록 영역으로 구분될 수 있다.As shown in FIG. 3, the motion data area of the data field includes a data size information area in which information about the size of the motion data is recorded, and actual motion data, that is, representative color information, object classification information, and motion position information. And a data recording area in which direction information is recorded. Correspondingly, the monitoring area data area of the data field may also be divided into a data size information area and a data recording area in which information on the size of the monitoring area data and actual monitoring area data are recorded, respectively, as shown in FIG. 3. have.

상기와 같이, 감시 제어부(50)가 움직임 데이터 생성부(40)에 의해 생성된 움직임 데이터와, 카메라(5a,5b,5c)에 의해 촬영된 영상에 대한 감시 지역 데이터가 기록되는 하나의 파일, 즉 감시 지역 영상 파일로 생성하여 저장함으로써, 영상과 움직임 관련 정보를 따로 저장하는데 따르는 관리의 불편함을 해소할 수 있게 된다.As described above, the monitoring control unit 50 records the motion data generated by the motion data generating unit 40 and the monitoring area data for the image photographed by the cameras 5a, 5b, and 5c, In other words, by creating and storing the surveillance area image file, it is possible to solve the inconvenience of managing separately storing the image and the motion-related information.

한편, 본 발명에 따른 감시 제어부(50)는 검색 조건의 입력을 위한 그래픽 유저 인터페이스 화면을 제공하며, 이를 디스플레이부(70)의 화면 상에 표시할 수 있다. 그리고, 감시 제어부(50)는 그래픽 유저 인터페이스 화면을 통해 입력되는 검색 조건에 기초하여, 영상 저장부(20)로부터 그래픽 유저 인터페이스 화면을 통해 입력된 검색 조건을 충족하는 움직임 데이터를 감시 지역 영상 파일을 통해 검색한다.Meanwhile, the monitoring controller 50 according to the present invention may provide a graphic user interface screen for inputting a search condition, and display it on the screen of the display unit 70. In addition, the monitoring controller 50 may monitor the local image file by monitoring the motion data satisfying the search condition input from the image storage unit 20 through the graphic user interface screen based on the search condition input through the graphic user interface screen. Search through.

이 때, 감시 제어부(50)는 감시 지역 영상 파일의 데이터 필드에 기록된 움직임 데이터를 참조하여 검색 조건을 충족하는 감시 지역 영상 파일을 검색하게 된다. 그리고, 감시 제어부(50)는 검색 조건을 충족한 감시 지역 영상 파일을 추출하여 그래픽 유저 인터페이스 화면을 통해 표시할 수 있다.At this time, the surveillance controller 50 searches for the surveillance region image file that satisfies the search condition by referring to the motion data recorded in the data field of the surveillance region image file. The monitoring controller 50 may extract the surveillance region image file that satisfies the search condition and display the same through the graphic user interface screen.

도 4 내지 도 6은 본 발명에 따른 감시 제어부(50)가 제공하는 그래픽 유저 인터페이스의 예를 도시한 도면이다. 도 4는 검색 조건의 입력을 위한 화면의 예를 도시한 도면이고, 도 5 및 도 6은 검색 조건에 따라 검색된 영상을 표시한 화면의 예를 도시한 도면이다.4 to 6 are diagrams showing examples of the graphical user interface provided by the monitoring control unit 50 according to the present invention. 4 is a diagram illustrating an example of a screen for inputting a search condition, and FIGS. 5 and 6 are diagrams of an example of a screen displaying an image searched according to a search condition.

도 4를 참조하여 설명하면, 검색자는 영상 감시 장치(1)의 사용자 입력부(60, 도 2 참조)를 통해 그래픽 유저 인터페이스 화면 상에 검색 조건으로 검색 기간, 검색 대상, 이동 방향 등을 입력하게 된다.Referring to FIG. 4, the searcher inputs a search period, a search target, a moving direction, and the like as a search condition on the graphic user interface screen through the user input unit 60 (see FIG. 2) of the video surveillance apparatus 1. .

이 때, 감시 제어부(50)는 검색 조건으로 입력된 검색 기간 내의 감시 지역 영상 파일에서 검색 대상, 예를 들어, 사람이 선택된 경우 객체 구분 정보로 사람이 기록된 감시 지역 영상 파일을 검색하게 된다. 그리고, 이동 방향도 선택되는 경우에는 선택된 이동 방향과 일치하는 이동 방향이 방향 정보에 기록된 감시 지역 영상 파일을 검색하게 된다.At this time, the monitoring controller 50 searches for the surveillance region image file in which a person is recorded as object classification information when a search target, for example, a person, is selected from the surveillance region image file within a search period input as a search condition. When the moving direction is also selected, the surveillance region video file whose moving direction coincides with the selected moving direction is recorded in the direction information.

상기와 같이 방식으로 검색된 감시 지역 영상 파일은 그래픽 유저 인터페이스 화면 상에 표시되는데, 도 5는 카메라(5a,5b,5c)에 의해 촬영된 영상 전체가 표시되는 예를 도시한 도면이고, 도 6은 검색 조건을 통해 찾고자 하는 움직임 영역 만이 표시되는 예를 도시한 도면이다. 이 때, 감시 제어부(50)는 움직임 데이터의 움직임 위치 정보를 이용하여 전체 감시 지역 영상으로부터 움직임 영역 만을 추출하여 표시하게 된다.The surveillance region image file searched in the above manner is displayed on the graphical user interface screen. FIG. 5 is a diagram showing an example in which the entire image photographed by the cameras 5a, 5b, and 5c is displayed. FIG. 4 is a diagram illustrating an example in which only a motion area to be searched for is displayed through a search condition. At this time, the monitoring controller 50 extracts and displays only the motion region from the entire surveillance region image by using the motion position information of the motion data.

한편, 도 7은 본 발명에 따른 영상 감시 장치(1)가 서버 컴퓨터와 같은 정보 처리 장치 형태로 마련되는 구성의 예를 도시한 도면이다. 도 6에 도시된 바와 같이, 영상 감시 장치(1)는 정보 처리 장치로서의 하드웨어적 시스템부(80), 예를 들어, 중앙 처리 장치인 CPU(Central Processing Unit, 81), 구성 요소들 간의 데이터 교환을 중계하는 칩셋(82), 메인 메모리인 램(83) 등을 포함할 수 있다.7 is a diagram showing an example of a configuration in which the video surveillance apparatus 1 according to the present invention is provided in the form of an information processing apparatus such as a server computer. As illustrated in FIG. 6, the video surveillance apparatus 1 is a hardware system unit 80 as an information processing apparatus, for example, a central processing unit (CPU) 81 which is a central processing unit, and data exchange between components. It may include a chipset 82 for relaying the RAM, RAM 83 as the main memory.

그리고, 상술한 감시 제어부(50), 움직임 검출부(30) 및 움직임 데이터 생성부(40)는 정보처리 장치의 운영체계(OS : Operating System)와 연동하여 동작하는 영상 감시 프로그램(200) 형태로 마련될 수 있다.In addition, the above-described monitoring controller 50, the motion detector 30, and the motion data generator 40 are provided in the form of an image monitoring program 200 that operates in conjunction with an operating system (OS) of the information processing apparatus. Can be.

여기서, 도 6에 도시된 각 구성요소의 제 기능은 상술한 도 2에 도시된 구성요소의 기능에 대응하는 바, 그 상세한 설명은 생략한다.Here, the first function of each component illustrated in FIG. 6 corresponds to the function of the component illustrated in FIG. 2, and a detailed description thereof will be omitted.

비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 별명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.
Although several embodiments of the present invention have been shown and described, those skilled in the art will appreciate that various modifications may be made without departing from the principles and spirit of the invention . The scope of the alias will be defined by the appended claims and their equivalents.

100 : 영상 감시 시스템 1 : 영상 감시 장치
3 : 네트워크 5a,5b,5c : 카메라
10 : 네트워크부 20 : 영상 저장부
30 : 움직임 검출부 40 : 움직임 데이터 생성부
50 : 감시 제어부 60 : 사용자 입력부
70 : 디스플레이부
100: video surveillance system 1: video surveillance
3: network 5a, 5b, 5c: camera
10: network unit 20: video storage unit
30: motion detector 40: motion data generator
50: monitoring control unit 60: user input unit
70: display unit

Claims (14)

각각의 감시 지역에 설치되어 상기 감시 지역을 촬영하는 적어도 하나의 카메라를 이용한 영상 감시 장치에 있어서,
영상 저장부와,
상기 각 카메라에 의해 촬영된 상기 감시 지역에 대한 감시 지역 영상으로부터 움직임 영역을 검출하는 움직임 검출부와,
상기 움직임 검출부에 의해 검출된 움직임 영역에 대한 움직임 데이터를 생성하는 움직임 데이터 생성부와,
상기 감시 지역 영상에 대한 감시 지역 영상 데이터와 상기 움직임 데이터를 하나의 감시 지역 영상 파일로 생성하여 상기 영상 저장부에 저장하는 감시 제어부를 포함하며;
상기 시간 단위로 생성되는 하나의 감시 지역 영상 파일은,
촬영 시간이 기록되는 시각 정보 영역과, 이전 시간 단위의 감시 지역 영상 파일에 대한 정보가 기록되는 이전 파일 정보 영역과, 이후 시간 단위의 감시 지역 영상 파일에 대한 정보가 기록되는 이후 파일 정보 영역을 갖는 파일 헤더와,
해당 프레임의 재생 시간에 대한 정보가 기록되는 재생 시간 정보 영역과, 해당 프레임의 저장 주소에 대한 정보가 기록되는 주소 정보 영역과, 해당 프레임의 크기에 대한 정보가 기록되는 프레임 크기 정보 영역을 갖는 인덱스 필드와,
현재 시간 단위의 감시 지역 영상 파일의 프레임 수가 기록되는 프레임 수 정보 영역과, 해당 감시 지역 영상 파일 내의 인덱스 필드 개수에 대한 정보가 기록되는 인덱스 개수 정보 영역을 갖는 정보 헤더와,
상기 감시 지역 영상 데이터가 기록되는 감시 지역 데이터 영역과, 상기 움직임 데이터가 기록되는 움직임 데이터 영역을 갖는 데이터 필드를 포함하여 구성되는 것을 특징으로 하는 영상 감시 장치.
In the video surveillance apparatus using at least one camera installed in each surveillance zone to photograph the surveillance zone,
Video storage unit,
A motion detector for detecting a motion region from the surveillance region image of the surveillance region photographed by the cameras;
A motion data generator for generating motion data for the motion area detected by the motion detector;
And a surveillance controller configured to generate surveillance region image data and the motion data of the surveillance region image as one surveillance region image file and store them in the image storage unit.
One surveillance area video file generated by the time unit,
It has a time information area in which the shooting time is recorded, a previous file information area in which information on the surveillance area image file in the previous time unit is recorded, and a file information area in which information on the surveillance area image file in the subsequent time unit is recorded. File header,
An index having a play time information area in which information on the reproduction time of the frame is recorded, an address information area in which information on a storage address of the frame is recorded, and a frame size information area in which information on the size of the frame is recorded; Fields,
An information header having a frame number information area in which the number of frames of the surveillance region image file in the current time unit is recorded, and an index number information region in which information about the number of index fields in the surveillance region image file is recorded;
And a data field having a surveillance region data region in which the surveillance region image data is recorded and a movement data region in which the motion data is recorded.
제1항에 있어서,
상기 감시 제어부는 상기 감시 지역 데이터와 상기 움직임 데이터를 기 설정된 시간 단위로 분할하여 상기 감시 지역 영상 파일을 생성하는 것을 특징으로 하는 영상 감시 장치.
The method of claim 1,
And the surveillance controller generates the surveillance region image file by dividing the surveillance region data and the movement data by a predetermined time unit.
삭제delete 제2항에 있어서,
상기 움직임 데이터는
상기 움직임 영역의 대표 색상 정보와,
상기 움직임 영역의 대상 객체를 구분하는 객체 구분 정보와,
상기 움직임 영역의 상기 감시 지역 영상 내에서의 위치에 대한 움직임 위치 정보와,
상기 움직임 영역의 상기 감시 지역 영상 내에서의 움직임 방향에 대한 방향 정보 중 적어도 어느 하나를 포함하며;
상기 움직임 데이터 영역은
상기 움직임 데이터의 사이즈에 대한 정보가 기록되는 데이터 사이즈 정보 영역과,
상기 움직임 데이터가 기록되는 데이터 기록 영역을 포함하는 것을 특징으로 하는 영상 감시 장치.
The method of claim 2,
The motion data is
Representative color information of the movement region,
Object classification information for identifying a target object of the movement area;
Motion position information about a position in the surveillance area image of the movement area,
At least one of direction information on a movement direction in the surveillance area image of the movement area;
The motion data area is
A data size information area in which information on the size of the motion data is recorded;
And a data recording area in which the motion data is recorded.
제4항에 있어서,
상기 움직임 데이터 생성부는 상기 움직임 영역의 종횡비에 대한 정보와, 상기 움직임 위치 정보에 기초하여, 상기 움직임 영역을 차량 또는 사람으로 구분하여 상기 객체 구분 정보로 기록하는 것을 특징으로 하는 영상 감시 장치.
The method of claim 4, wherein
And the motion data generating unit divides the motion area into a vehicle or a person and records the object area as information based on information on an aspect ratio of the motion area and the motion position information.
제5항에 있어서,
상기 움직임 데이터 생성부는 상기 움직임 위치 정보에 기초한 상기 움직임 영역의 상기 감시 지역 영상 내에서의 위치에 따라 상기 움직임 영역의 종횡비에 기 설정된 가중치를 부여하여 상기 움직임 영역을 차량 또는 사람으로 구분하는 것을 특징으로 하는 영상 감시 장치.
The method of claim 5,
The motion data generation unit divides the motion area into a vehicle or a person by assigning a preset weight to an aspect ratio of the motion area according to a position in the surveillance area image of the motion area based on the motion location information. Video monitoring device.
제1항, 제2항, 또는 제4항 내지 제6항 중 어느 한 항에 있어서,
상기 감시 제어부는,
검색 조건의 입력을 위한 그래픽 유저 인터페이스 화면을 제공하며;
상기 그래픽 유저 인터페이스 화면을 통해 입력되는 상기 검색 조건에 기초하여 상기 영상 저장부로부터 상기 검색 조건을 충족하는 상기 움직임 데이터가 포함된 상기 감시 지역 영상 파일을 추출하여 상기 그래픽 유저 인터페이스 화면에 표시하는 것을 특징으로 하는 영상 감시 장치.
The method according to any one of claims 1, 2, or 4 to 6,
The monitoring control unit,
Providing a graphical user interface screen for input of a search condition;
Extracting the surveillance region image file including the motion data that satisfies the search condition from the image storage unit and displaying the image on the graphic user interface screen based on the search condition input through the graphic user interface screen; Video monitoring device.
각각의 감시 지역에 설치되어 상기 감시 지역을 촬영하는 적어도 하나의 카메라로부터 제공되는 상기 감시 지역에 대한 감시 지역 영상을 관리하는 영상 감시 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체에 있어서,
상기 영상 감시 프로그램은
(a) 상기 감시 지역 영상으로부터 움직임 영역을 검출하는 단계와,
(b) 상기 검출된 움직임 영역에 대한 움직임 데이터를 생성하는 단계와,
(c) 상기 감시 지역 영상에 대한 감시 지역 영상 데이터와 상기 움직임 데이터를 하나의 감시 지역 영상 파일로 생성하는 단계와,
(d) 상기 감시 지역 영상 파일을 저장하는 단계를 수행하며;
상기 시간 단위로 생성되는 하나의 감시 지역 영상 파일은
촬영 시간이 기록되는 시각 정보 영역과, 이전 시간 단위의 감시 지역 영상 파일에 대한 정보가 기록되는 이전 파일 정보 영역과, 이후 시간 단위의 감시 지역 영상 파일에 대한 정보가 기록되는 이후 파일 정보 영역을 갖는 파일 헤더와,
해당 프레임의 재생 시간에 대한 정보가 기록되는 재생 시간 정보 영역과, 해당 프레임의 저장 주소에 대한 정보가 기록되는 주소 정보 영역과, 해당 프레임의 크기에 대한 정보가 기록되는 프레임 크기 정보 영역을 갖는 인덱스 필드와,
현재 시간 단위의 감시 지역 영상 파일의 프레임 수가 기록되는 프레임 수 정보 영역과, 해당 감시 지역 영상 파일 내의 인덱스 필드 개수에 대한 정보가 기록되는 인덱스 개수 정보 영역을 갖는 정보 헤더와,
상기 감시 지역 영상 데이터가 기록되는 감시 지역 데이터 영역과, 상기 움직임 데이터가 기록되는 움직임 데이터 영역을 갖는 데이터 필드를 포함하여 구성되는 것을 특징으로 하는 영상 감시 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체.
A computer-readable recording medium having recorded thereon a video surveillance program for managing a surveillance zone image for the surveillance zone provided at each surveillance zone and provided from at least one camera photographing the surveillance zone,
The video surveillance program
(a) detecting a movement region from the surveillance region image;
(b) generating motion data for the detected motion region;
(c) generating surveillance area image data and the motion data of the surveillance area image as one surveillance area image file;
(d) storing the surveillance area image file;
One surveillance area video file generated by the time unit is
It has a time information area in which the shooting time is recorded, a previous file information area in which information on the surveillance area image file in the previous time unit is recorded, and a file information area in which information on the surveillance area image file in the subsequent time unit is recorded. File header,
An index having a play time information area in which information on the reproduction time of the frame is recorded, an address information area in which information on a storage address of the frame is recorded, and a frame size information area in which information on the size of the frame is recorded; Fields,
An information header having a frame number information area in which the number of frames of the surveillance region image file in the current time unit is recorded, and an index number information region in which information about the number of index fields in the surveillance region image file is recorded;
And a data field having a surveillance region data region in which the surveillance region image data is recorded, and a movement data region in which the movement data is recorded.
제8항에 있어서,
상기 (c) 단계에서는 상기 감시 지역 데이터와 상기 움직임 데이터가 기 설정된 시간 단위로 분할되어 하나의 감시 지역 영상 파일로 생성되는 것을 특징으로 하는 영상 감시 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체.
The method of claim 8,
In the step (c), the surveillance area data and the motion data are divided into predetermined time units to be generated as a surveillance area image file.
삭제delete 제9항에 있어서,
상기 움직임 데이터는
상기 움직임 영역의 대표 색상 정보와,
상기 움직임 영역의 대상 객체를 구분하는 객체 구분 정보와,
상기 움직임 영역의 상기 감시 지역 영상 내에서의 위치에 대한 움직임 위치 정보와,
상기 움직임 영역의 상기 감시 지역 영상 내에서의 움직임 방향에 대한 방향 정보 중 적어도 어느 하나를 포함하며;
상기 움직임 데이터 영역은
상기 움직임 데이터의 사이즈에 대한 정보가 기록되는 데이터 사이즈 정보 영역과,
상기 움직임 데이터가 기록되는 데이터 기록 영역을 포함하는 것을 특징으로 하는 영상 감시 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체.
10. The method of claim 9,
The motion data is
Representative color information of the movement region,
Object classification information for identifying a target object of the movement area;
Motion position information about a position in the surveillance area image of the movement area,
At least one of direction information on a movement direction in the surveillance area image of the movement area;
The motion data area is
A data size information area in which information on the size of the motion data is recorded;
And a data recording area in which the motion data is recorded.
제11항에 있어서,
상기 (b) 단계는
상기 움직임 영역의 종횡비에 대한 정보와, 상기 움직임 위치 정보에 기초하여, 상기 움직임 영역이 차량 또는 사람으로 구분되어 상기 객체 구분 정보로 생성되는 단계를 포함하는 것을 특징으로 하는 영상 감시 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체.
The method of claim 11,
Step (b) is
And generating the object classification information by dividing the movement area into a vehicle or a person based on the information on the aspect ratio of the movement area and the movement position information. Readable recording medium.
제12항에 있어서,
상기 (b) 단계에서는
상기 움직임 위치 정보에 기초한 상기 움직임 영역의 상기 감시 지역 영상 내에서의 위치에 따라 상기 움직임 영역의 종횡비에 기 설정된 가중치가 부여되어 상기 움직임 영역이 차량 또는 사람으로 구분되는 것을 특징으로 하는 영상 감시 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체.
The method of claim 12,
In step (b)
The video surveillance program is characterized in that the movement region is divided into a vehicle or a person by giving a preset weight to an aspect ratio of the movement region according to the position in the surveillance region image of the movement region based on the movement position information. Recorded computer-readable recording medium.
제8항, 제9항, 또는 제11항 내지 제13항 중 어느 한 항에 있어서,
(e) 검색 조건의 입력을 위한 그래픽 유저 인터페이스 화면이 표시되는 단계와;
(f) 상기 그래픽 유저 인터페이스 화면을 통해 입력되는 상기 검색 조건에 기초하여, 상기 입력된 검색 조건을 충족하는 움직임 데이터가 포함된 감시 지역 영상 파일을 추출하는 단계와;
(g) 상기 추출된 감시 지역 영상 파일에 기초한 감시 지역 영상 및 움직임 영상 중 적어도 어느 하나가 상기 그래픽 유저 인터페이스 화면에 표시되는 단계를 더 포함하는 것을 특징으로 하는 영상 감시 프로그램이 기록된 컴퓨터가 판독 가능한 기록매체.
The method according to any one of claims 8, 9, or 11 to 13,
(e) displaying a graphical user interface screen for inputting a search condition;
(f) extracting a surveillance area image file including motion data satisfying the input search condition based on the search condition input through the graphic user interface screen;
and (g) displaying at least one of a surveillance region image and a motion image based on the extracted surveillance region image file on the graphic user interface screen. Record carrier.
KR1020100082910A 2010-08-26 2010-08-26 Video surveillance system and recording medium recording in which video surveillance program is recorded KR101033238B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100082910A KR101033238B1 (en) 2010-08-26 2010-08-26 Video surveillance system and recording medium recording in which video surveillance program is recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100082910A KR101033238B1 (en) 2010-08-26 2010-08-26 Video surveillance system and recording medium recording in which video surveillance program is recorded

Publications (1)

Publication Number Publication Date
KR101033238B1 true KR101033238B1 (en) 2011-05-06

Family

ID=44365713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100082910A KR101033238B1 (en) 2010-08-26 2010-08-26 Video surveillance system and recording medium recording in which video surveillance program is recorded

Country Status (1)

Country Link
KR (1) KR101033238B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101350561B1 (en) * 2012-01-04 2014-01-24 한양대학교 산학협력단 Apparatus for storing driving video data in-vehicle system
KR20150022292A (en) * 2013-08-22 2015-03-04 삼성테크윈 주식회사 Method and apparatus of processing image, and surveillance system
KR20150115286A (en) * 2014-04-03 2015-10-14 한화테크윈 주식회사 Apparatus of generating header of surveillance image and apparatus of playing the surveillance image
KR20190026625A (en) * 2017-09-04 2019-03-13 이정무 Image displaying method, Computer program and Recording medium storing computer program for the same
CN116894103A (en) * 2023-07-24 2023-10-17 安徽云图信息技术有限公司 Data classification storage system for specific scene
US11921774B2 (en) 2019-07-19 2024-03-05 Korea Institute Of Science And Technology Method for selecting image of interest to construct retrieval database and image control system performing the same

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050102325A (en) * 2004-04-21 2005-10-26 박호영 A multi function video phone system and a visitor image recording method thereof
KR20090121796A (en) * 2008-05-23 2009-11-26 (주)인네이터 A image recording apparatus of videophone contained function of wireless transmission and detection sence of body

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050102325A (en) * 2004-04-21 2005-10-26 박호영 A multi function video phone system and a visitor image recording method thereof
KR20090121796A (en) * 2008-05-23 2009-11-26 (주)인네이터 A image recording apparatus of videophone contained function of wireless transmission and detection sence of body

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101350561B1 (en) * 2012-01-04 2014-01-24 한양대학교 산학협력단 Apparatus for storing driving video data in-vehicle system
KR20150022292A (en) * 2013-08-22 2015-03-04 삼성테크윈 주식회사 Method and apparatus of processing image, and surveillance system
KR102146098B1 (en) * 2013-08-22 2020-08-19 한화테크윈 주식회사 Method and apparatus of processing image, and surveillance system
KR20150115286A (en) * 2014-04-03 2015-10-14 한화테크윈 주식회사 Apparatus of generating header of surveillance image and apparatus of playing the surveillance image
KR102083929B1 (en) * 2014-04-03 2020-04-14 한화테크윈 주식회사 Apparatus of generating header of surveillance image and apparatus of playing the surveillance image
KR20190026625A (en) * 2017-09-04 2019-03-13 이정무 Image displaying method, Computer program and Recording medium storing computer program for the same
KR102119215B1 (en) 2017-09-04 2020-06-04 이정무 Image displaying method, Computer program and Recording medium storing computer program for the same
US11921774B2 (en) 2019-07-19 2024-03-05 Korea Institute Of Science And Technology Method for selecting image of interest to construct retrieval database and image control system performing the same
CN116894103A (en) * 2023-07-24 2023-10-17 安徽云图信息技术有限公司 Data classification storage system for specific scene
CN116894103B (en) * 2023-07-24 2024-02-09 安徽云图信息技术有限公司 Data classification storage system for specific scene

Similar Documents

Publication Publication Date Title
KR100896949B1 (en) Image Monitoring System for Object Identification
US10116910B2 (en) Imaging apparatus and method of providing imaging information
US10645344B2 (en) Video system with intelligent visual display
KR102146042B1 (en) Method and system for playing back recorded video
KR101033238B1 (en) Video surveillance system and recording medium recording in which video surveillance program is recorded
KR100883632B1 (en) System and method for intelligent video surveillance using high-resolution video cameras
US20170163941A1 (en) Video analytics based control of video data storage
CN105323657B (en) Imaging apparatus and method for providing video summary
US20030228128A1 (en) High-speed search of recorded video information to detect motion
JP2003069987A (en) Event video recording/reproducing system, event management device, and local recorder
CN105871872A (en) Movable video investigation method
TW201519649A (en) Method to accelerate history playback and event locking for network video recorder
JP4325541B2 (en) Image processing apparatus, reproduction image processing apparatus, image processing method, and reproduction image processing apparatus
JP6214762B2 (en) Image search system, search screen display method
JP2009296207A (en) Monitored video recording system, and monitored video reproducing and displaying method
KR101029730B1 (en) Video surveillance system discriminating between human and vehicle
KR101362630B1 (en) Method for chasing object moving path in digital video recorder
KR101289798B1 (en) Video recording system and backup control method thereof
US11172159B2 (en) Monitoring camera system and reproduction method
KR101299005B1 (en) The monitering system about user of digital video recorder
JP2010093323A (en) Monitoring system
Akoma et al. Intelligent video surveillance system
KR101096666B1 (en) Digital video record system for detecting specific object, and method for detecting specific object in the digital video record system
KR200316100Y1 (en) Recording system for security
KR100506293B1 (en) Digital video recorder for storing video data according to type of video data

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150209

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160222

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180212

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 9