KR102268596B1 - Apparatus for changing transmission condition of video data based on metedata and method thereof - Google Patents
Apparatus for changing transmission condition of video data based on metedata and method thereof Download PDFInfo
- Publication number
- KR102268596B1 KR102268596B1 KR1020140175374A KR20140175374A KR102268596B1 KR 102268596 B1 KR102268596 B1 KR 102268596B1 KR 1020140175374 A KR1020140175374 A KR 1020140175374A KR 20140175374 A KR20140175374 A KR 20140175374A KR 102268596 B1 KR102268596 B1 KR 102268596B1
- Authority
- KR
- South Korea
- Prior art keywords
- video data
- data
- transmission
- moving object
- original video
- Prior art date
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 148
- 238000000034 method Methods 0.000 title claims abstract description 143
- 230000033001 locomotion Effects 0.000 claims description 65
- 238000013075 data extraction Methods 0.000 claims description 16
- 238000000926 separation method Methods 0.000 claims description 15
- 238000010586 diagram Methods 0.000 description 14
- 238000001514 detection method Methods 0.000 description 11
- 239000000284 extract Substances 0.000 description 9
- 230000006835 compression Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 8
- 238000007726 management method Methods 0.000 description 8
- 241000282412 Homo Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8549—Creating video summaries, e.g. movie trailer
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Computer Security & Cryptography (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명의 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법은, 전송될 비디오 데이터의 메타데이터에 따라서, 전송될 비디오 데이터의 종류나 화질 등을 변경하여 수신단에 전송함으로써, 네트워크 대역폭을 효율적으로 사용할 수 있고, 네트워크 대역폭의 효율적인 사용에 따른 네트워크 비용의 감소를 기대할 수 있다.The apparatus and method for changing a transmission condition of video data based on metadata according to the present invention change the type or quality of video data to be transmitted according to the metadata of the video data to be transmitted and transmit it to the receiving end, thereby efficiently transmitting network bandwidth. It can be used, and a reduction in network cost can be expected due to efficient use of network bandwidth.
Description
본 발명은 비디오 데이터의 전송조건 변경장치에 관한 것으로서, 보다 구체적으로는 카메라에서 단말기로 전송되는 비디오 데이터의 전송조건을 메타데이터를 기반으로 변경하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus for changing a transmission condition of video data, and more particularly, to an apparatus and method for changing a transmission condition of video data transmitted from a camera to a terminal based on metadata.
종래는 비디오 데이터를 유무선 네트워크를 통해 송수신할 때, 네트워크 대역폭을 감소시키기 위해서 H.264 및 H.265와 같은 비디오 코덱과 G.711 및 G.726와 같은 오디오 코덱을 이용하여 비디오 데이터를 인코딩(enconding)하여, 그 인코딩된 데이터를 송수신했다.Conventionally, when video data is transmitted/received through a wired/wireless network, in order to reduce network bandwidth, video data is encoded using video codecs such as H.264 and H.265 and audio codecs such as G.711 and G.726. encoding), and the encoded data was transmitted and received.
또한, 무선 환경의 모바일 단말기에서는 출력할 수 있는 비디오의 화질이나 해상도가 제한되기 때문에, 종래에는 비디오 데이터를 전송하는 측에서, 비디오 데이터를 수신할 모바일 단말기의 설정값을 확인하여, 해당 설정에 따른 저해상도, 낮은 프레임레이트(Framerate) 및 비트레이트(Bitrate)로, 원본 비디오 데이터를 인코딩하여 송신하는 방식을 이용했다.In addition, since the video quality or resolution that can be output is limited in a mobile terminal in a wireless environment, in the related art, the video data transmitting side checks the setting value of the mobile terminal to receive the video data, and according to the setting A method of encoding and transmitting the original video data at a low resolution, low framerate and bitrate was used.
이러한 방식은 모바일 단말기에 설정되어 있는 사용자 설정에 전적으로 의존하므로, 비디오 데이터의 전송단의 네트워크 대역폭의 사용량을, 전송하는 비디오 데이터의 속성에 따라 유동적으로 변경시킬 수 없어서 네트워크 비용의 불필요한 증가를 가져오는 한계가 있다.Since this method completely depends on the user settings set in the mobile terminal, the network bandwidth usage of the video data transmission end cannot be flexibly changed according to the properties of the video data to be transmitted, resulting in unnecessary increase in network cost. There are limits.
본 발명이 이루고자 하는 기술적 과제는, 비디오 데이터를 전송하는 전송단에서 판단한 비디오 데이터에 포함된 내용 및 속성에 따라 비디오 데이터를 전송하는 조건을 변화시켜서, 네트워크 대역폭의 사용량을 유동적으로 변경할 수 있게 하는 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법을 제공하는 데에 있다.The technical problem to be achieved by the present invention is to change the conditions for transmitting video data according to the contents and properties included in the video data determined by the transmitting end that transmits the video data, so that the usage of network bandwidth can be flexibly changed. An object of the present invention is to provide an apparatus and method for changing data-based video data transmission conditions.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치는, 네트워크 카메라의 이미지 센서 정보 및 상기 네트워크 카메라에 의해 생성된 원본 비디오 데이터에 포함된 이동물체의 움직임에 대한 이동물체 움직임 정보에 따라, 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정하는 비디오 프로파일 결정부; 및 상기 비디오 프로파일 결정부가 결정한 상기 재생 방식 및 상기 전송 방식에 따라 상기 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 상기 전송 비디오 데이터를 상기 단말기로 전송하는 비디오 데이터 전송부를 포함한다.In order to solve the above technical problem, an apparatus for changing a transmission condition of metadata-based video data according to an embodiment of the present invention includes image sensor information of a network camera and a moving object included in original video data generated by the network camera. a video profile determining unit that determines a reproduction method and a transmission method of video data to be transmitted to the terminal according to the movement information of the moving object; and a video data transmission unit that calculates transmission video data from the original video data according to the reproduction method and the transmission method determined by the video profile determiner, and transmits the transmission video data to the terminal.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경방법은, 네트워크 카메라의 이미지 센서 정보 및 상기 네트워크 카메라에 의해 생성된 원본 비디오 데이터에 포함된 이동물체의 움직임에 대한 이동물체 움직임 정보에 따라, 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정하는 비디오 프로파일 결정 단계; 및 상기 비디오 프로파일 결정부가 결정한 상기 재생 방식 및 상기 전송 방식에 따라 상기 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 상기 전송 비디오 데이터를 상기 단말기로 전송하는 비디오 데이터 전송 단계를 포함한다.In a method for changing a transmission condition of metadata-based video data according to another embodiment of the present invention for solving the above technical problem, a moving object included in image sensor information of a network camera and original video data generated by the network camera a video profile determining step of determining a reproduction method and a transmission method of video data to be transmitted to the terminal according to the movement information of the moving object; and a video data transmission step of calculating transmission video data from the original video data according to the reproduction method and the transmission method determined by the video profile determiner, and transmitting the transmission video data to the terminal.
본 발명에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치 및 방법에 의하면, 비디오 데이터를 전송하는 전송측에서 네트워크 대역폭을 효율적으로 사용할 수 있고, 네트워크 대역폭의 효율적인 사용에 따른 네트워크 비용의 절감을 기대할 수 있다.According to the apparatus and method for changing the transmission condition of metadata-based video data according to the present invention, the network bandwidth can be efficiently used at the transmitting side transmitting video data, and network cost can be expected to be reduced due to the efficient use of the network bandwidth. have.
도 1은 본 발명의 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치에 대한 블록도를 도시한 도면이다.
도 2는 본 발명의 다른 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경방법에 대한 흐름도를 도시한 도면이다.
도 3은 본 발명의 또 다른 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치에 대한 블록도를 도시한 도면이다.
도 4는 원본 비디오 데이터로부터 비디오 서머리를 생성하는 방법을 도식적으로 나타낸 도면이다.
도 5는 아이-프레임 전송 방식에서 있어서, 참조 프레임과 피참조 프레임을 설명하기 위한 도면이다.
도 6은 피-프레임에 포함되는 데이터를 도식적으로 표현한 도면이다.
도 7a 내지 도 7d는 원본 비디오 데이터에서 배경 데이터와 이동물체 데이터를 추출하는 일련의 과정을 도시한 도면이다.
도 8은 데이터 추출부 및 데이터 분리 전송부에 의해 배경 데이터 및 이동물체 데이터가 단말기로 전송되는 과정을 흐름도로 나타낸 도면이다.
도 9는 본 발명의 또 다른 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경방법에 대한 흐름도를 도시한 도면이다.1 is a diagram illustrating a block diagram of an apparatus for changing a transmission condition of metadata-based video data according to an embodiment of the present invention.
2 is a flowchart illustrating a method of changing a transmission condition of metadata-based video data according to another embodiment of the present invention.
3 is a block diagram of an apparatus for changing a transmission condition of metadata-based video data according to another embodiment of the present invention.
4 is a diagram schematically illustrating a method of generating a video summary from original video data.
5 is a diagram for explaining a reference frame and a referenced frame in an i-frame transmission method.
6 is a diagram schematically representing data included in a to-be-frame.
7A to 7D are diagrams illustrating a series of processes of extracting background data and moving object data from original video data.
8 is a flowchart illustrating a process in which background data and moving object data are transmitted to a terminal by a data extraction unit and a data separation transmission unit.
9 is a flowchart illustrating a method of changing a transmission condition of metadata-based video data according to another embodiment of the present invention.
이하 본 발명의 바람직한 실시 예가 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 참조번호들 및 부호들로 나타내고 있음에 유의해야 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that the same components in the drawings are indicated by the same reference numbers and symbols as much as possible even though they are indicated in different drawings.
본 발명을 설명함에 있어서 관련된 공지 기능 혹은 구성에 대해 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하거나 간략하게 설명하는 것으로 한다.In the description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted or briefly described.
한편, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.On the other hand, when a part "includes" a certain component, this means that other components may be further included, rather than excluding other components, unless otherwise stated.
후술하는 "카메라"는 이미지 또는 비디오를 촬영할 수 있는 장치로서, 유선으로 데이터를 송수신할 수 있는 카메라뿐만 아니라, 무선 네트워크로 데이터를 송수신할 수 있는 네트워크 카메라를 포함한다.A “camera” to be described below is a device capable of capturing an image or video, and includes a network camera capable of transmitting and receiving data through a wireless network as well as a camera capable of transmitting and receiving data through a wired network.
후술하는 "입력 비디오 데이터"는 카메라의 렌즈를 통해 입력되는 빛에 포함된 데이터를 의미한다. 카메라의 렌즈를 통과한 빛은 이미지 센서 전면에 있는 컬러 필터를 거쳐 이미지 센서 표면의 픽셀에 닿게 되고, 픽셀에 입사되는 빛의 양에 따라 생성된 전자는 촬영 대상에 대한 전기신호를 발생시키게 된다."Input video data" to be described later means data included in light input through a lens of a camera. The light passing through the lens of the camera passes through the color filter on the front of the image sensor and hits the pixel on the surface of the image sensor, and electrons generated according to the amount of light incident on the pixel generate an electrical signal for the object to be photographed.
후술하는 "원본 비디오 데이터"는 입력 비디오 데이터가 카메라의 이미지 센서를 거치면서 산출된 비디오 데이터로서, 미가공 데이터(Raw Data)이므로, 카메라가 촬영한 내용을 모두 압축하지 않고 포함하고 있다. 원본 비디오 데이터는 카메라의 저장 장치에서 차지하는 용량을 최소화하거나, 단말기로 전송할 때 네트워크 대역폭의 사용을 최소화하기 위해서 인코딩될 수 있다."Original video data" to be described later is video data calculated while input video data passes through an image sensor of a camera. Since it is raw data, it includes all content captured by the camera without compression. The original video data may be encoded in order to minimize the capacity occupied by the storage device of the camera or to minimize the use of network bandwidth when transmitted to the terminal.
도 1은 본 발명의 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치에 대한 블록도를 도시한 도면이다.1 is a diagram illustrating a block diagram of an apparatus for changing a transmission condition of metadata-based video data according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치(100)는 비디오 프로파일 결정부(110)와 비디오 데이터 전송부(130)를 포함할 수 있다.Referring to FIG. 1 , an
비디오 프로파일 결정부(110)는 네트워크 카메라의 이미지 센서 정보 및 네트워크 카메라에 의해 생성된 원본 비디오 데이터에 포함된 이동물체의 움직임에 대한 이동물체 움직임 정보에 따라, 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정한다. 후술하는 이미지 센서 정보 및 이동물체 움직임 정보는 원본 비디오 데이터의 내용 및 속성을 결정하는 데이터이므로, 원본 비디오 데이터의 메타데이터로 통칭할 수 있다.The
네트워크 카메라의 이미지 센서는 CMOS(complementary metal-oxide semiconductor) 센서나 CCD(Charge-coupled device) 센서와 같이 센서에 도달된 빛을 전기신호로 변환할 수 있는 모든 종류의 센서를 포함한다. 이미지 센서 정보란, 이미지 센서가 센서에 도달된 빛을 전기신호로 변환할 때, 결과값인 전기신호에 영향을 줄 수 있는 이미지 센서 자체의 설정값 및 이미지 센서와 연결된 구성의 설정값을 모두 포함하는 의미이다. 예를 들어, 이미지 센서 정보에는 AGC(Auto Gain Control), 조도, 셔터 스피드 등이 있다.The image sensor of a network camera includes all types of sensors that can convert light reaching the sensor into an electrical signal, such as a complementary metal-oxide semiconductor (CMOS) sensor or a charge-coupled device (CCD) sensor. The image sensor information includes both the setting value of the image sensor itself and the setting value of the configuration connected to the image sensor, which can affect the electrical signal that is the result when the image sensor converts the light reaching the sensor into an electrical signal. it means to For example, the image sensor information includes Auto Gain Control (AGC), illuminance, shutter speed, and the like.
이동물체 움직임 정보란, 원본 비디오 데이터에서 동물 또는 생물이 아니어도 동력장치를 구비하거나 중력에 의해 낙하운동을 하는 물체의 움직임에 대한 정보를 의미한다. 비디오 프로파일 결정부(110)는 원본 비디오 데이터에 모션 디텍션(Motion Detection)을 적용하여 원본 비디오 데이터에서 움직이고 있는 이동물체를 특정할 수 있다. 특정된 물체가 어떠한 움직임을 보이는지, 그 움직임이 얼마나 지속되는 지에 대한 정보는 모두 이동물체 움직임 정보에 포함될 수 있다.The moving object motion information refers to information on the motion of an object equipped with a power device or falling by gravity even if it is not an animal or a living organism in the original video data. The
단말기에 전송할 비디오 데이터의 재생 방식에는 일반 비디오 데이터 방식와 비디오 서머리(Video Summary)방식이 있다. 일반 비디오 데이터는 원본 비디오 데이터에서 사람의 눈으로 인식하기 어려운 부분이나 중복되는 부분을 제거하고, FPS(Frame Per Second), BPS(Bit Per Second), 해상도(Resolution)를 낮춰서 단말기에 전송하기 용이하도록 되어있는 비디오 데이터로 정의될 수 있다. 일반 비디오 데이터의 재생 방식은 각각의 고정된 이미지를 나타내는 프레임들을 1초당 수십, 수백 장을 연속적으로 연결하여 보여줌으로써, 사용자로 하여금 고정된 이미지가 아닌 움직임이 있는 비디오로 인식하도록 하는 방식이다.There are a general video data method and a video summary method as a reproduction method of video data to be transmitted to the terminal. General video data is designed to be easily transmitted to the terminal by removing parts that are difficult to recognize or overlapping in the original video data, and lowering FPS (Frame Per Second), BPS (Bit Per Second), and Resolution. It can be defined as video data. The general video data reproduction method is a method in which tens or hundreds of frames representing each fixed image are continuously connected and displayed per second, so that the user can recognize it as a moving video rather than a fixed image.
일반 비디오 데이터의 재생 시간은 원본 비디오 데이터의 재생 시간과 동일하다. 예를 들어, 네트워크 카메라로 5분동안 촬영한 것이 원본 비디오 데이터로 처리되었다면, 원본 비디오 데이터의 재생 시간 및 일반 비디오 데이터의 재생 시간은 모두 5분이 된다. 일반 비디오 데이터는 원본 비디오 데이터를 전송하기에 알맞게 인코딩한 데이터이므로, 원본 비디오 데이터에 비해서 용량이 작고, 화질이 같거나 낮다.The playback time of general video data is the same as that of the original video data. For example, if an image taken for 5 minutes by a network camera is processed as original video data, the reproduction time of the original video data and the reproduction time of the general video data are all 5 minutes. Since general video data is encoded data suitable for transmitting the original video data, the capacity is smaller and the quality is the same or lower than that of the original video data.
비디오 서머리는 비디오 시놉시스(Video Synopsis)라고도 하며, 원본 비디오 데이터를 이동물체 움직임 정보에 따라 요약한 비디오 데이터이다. 비디오 서머리는 원본 비디오 데이터를 요약한 비디오 데이터이므로, 원본 비디오 데이터보다 짧은 재생시간을 갖게 되며, 원본 비디오 데이터에서 이동물체가 나타나지 않은 구간에 대한 정보를 일부만을 포함하거나 전혀 포함하지 않을 수 있다. 비디오 서머리의 생성 방법과 실시 예에 대해서는 도 4를 참조하여 후술하도록 한다.A video summary, also called a video synopsis, is video data summarizing original video data according to movement information of a moving object. Since the video summary is video data that summarizes the original video data, it has a shorter playback time than the original video data, and may include only some or no information about a section in which a moving object does not appear in the original video data. A method and an embodiment of the video summary will be described later with reference to FIG. 4 .
비디오 프로파일 결정부(110)는 이미지 센서 정보 및 이동물체 움직임 정보에 따라서, 원본 비디오 데이터를 일반 비디오 데이터로 인코딩할지, 비디오 서머리로 인코딩할지 결정한다. 비디오 프로파일 결정부(110)는 원본 비디오 데이터를 어떻게 인코딩할지 결정하기 위해서 이미지 센서 정보 및 이동물체 움직임 정보를 기초로 원본 비디오 데이터의 중요도를 산출할 수 있다.The video profile determiner 110 determines whether to encode the original video data as general video data or a video summary according to the image sensor information and the moving object motion information. The
예를 들어, 조도가 높은 상태에서 촬영된 입력 비디오 데이터를 전기신호로 변환한 원본 비디오 데이터는 중요도가 높게 산출될 수 있다. 다른 예로서, 원본 비디오 데이터에 이동물체가 기설정된 숫자보다 적은 수가 검출되었다면 해당 원본 비디오 데이터는 중요도가 낮게 산출될 수 있다. 원본 비디오 데이터의 중요도가 높게 산출된 경우, 인코딩된 원본 비디오 데이터가 카메라에서 단말기로 전송되는 과정에서 발생할 수 있는 전송오류를 최소화하기 위해서, 원본 비디오 데이터는 일반 비디오 데이터로 인코딩될 수 있다. 반면, 원본 비디오 데이터의 중요도가 낮게 산출된 경우, 인코딩된 원본 비디오 데이터가 카메라에서 단말기로 전송되는 과정에서 발생할 수 있는 전송오류보다 네트워크 비용의 최소화가 더 우선시되어 원본 비디오 데이터는 비디오 서머리로 인코딩될 수 있다.For example, original video data obtained by converting input video data photographed in a high illuminance state into an electrical signal may be calculated with high importance. As another example, if fewer than a preset number of moving objects are detected in the original video data, the importance of the original video data may be calculated to be low. When the importance of the original video data is calculated to be high, the original video data may be encoded as general video data in order to minimize transmission errors that may occur in the process of transmitting the encoded original video data from the camera to the terminal. On the other hand, when the importance of the original video data is calculated to be low, the minimization of network cost takes priority over transmission errors that may occur in the process of transmitting the encoded original video data from the camera to the terminal, so that the original video data is encoded as a video summary. can
일반 비디오 데이터 및 비디오 서머리 중 어느 한 가지로 재생 방식이 결정된 원본 비디오 데이터는, 비디오 프로파일 결정부(110)에 의해 원본 비디오 데이터의 중요도에 따라 전송 방식이 결정된다.For the original video data whose reproduction method is determined by any one of the general video data and the video summary, the transmission method is determined by the video profile determiner 110 according to the importance of the original video data.
단말기에 전송할 비디오 데이터의 전송 방식에는 풀-프레임(Full-Frame) 전송 방식과 아이-프레임(I-Frame) 전송 방식이 있다. 풀-프레임 전송 방식은 원본 비디오 데이터를 구성하는 각각의 프레임의 내용을 모두 단말기로 전송한다. 풀-프레임 전송 방식을 이용하더라도 전송되는 비디오 데이터의 용량을 최소화하기 위해서, 원본 비디오 데이터는 인코딩을 거쳐서 압축된다. 여기서, 압축된 데이터에는 원본 비디오 데이터의 모든 프레임에 대한 데이터가 포함되어 있으므로, 카메라에서 단말기로 압축된 데이터를 전송할 때, 전송오류가 발생하여 일부 프레임에 대한 데이터가 손실되어도, 압축된 데이터로부터 손실된 일부 프레임에 대한 데이터를 제외한 나머지 데이터를 복원해낼 수 있으므로, 단말기에서는 원본 비디오 데이터와 크게 다르지 않은 내용을 포함하는 비디오 데이터를 복원해낼 수 있다.Video data to be transmitted to the terminal is transmitted into a full-frame transmission method and an I-frame transmission method. In the full-frame transmission method, the contents of each frame constituting the original video data are all transmitted to the terminal. Even if the full-frame transmission method is used, in order to minimize the amount of transmitted video data, the original video data is encoded and compressed. Here, since the compressed data includes data for all frames of the original video data, when the compressed data is transmitted from the camera to the terminal, even if data for some frames is lost due to a transmission error, the data is lost from the compressed data. Since the data other than the data for some of the frames can be restored, the terminal can restore video data including content not significantly different from the original video data.
아이-프레임 전송 방식은 원본 데이터를 구성하는 각각의 프레임을, 다른 프레임의 데이터를 참조하는 참조 프레임과 참조 프레임으로부터 참조되는 피참조 프레임으로 구별하여 단말기로 전송하는 방식이다.In the i-frame transmission method, each frame constituting the original data is divided into a reference frame referring to data of another frame and a referenced frame referenced from the reference frame, and transmitted to the terminal.
피참조 프레임은 참조 프레임으로부터 참조되는 프레임으로서, 원본 비디오 데이터에서 움직임이 감지되는 부분과 움직임이 감지되지 않는 부분에 대한 정보를 모두 포함한다. 참조 프레임은 피참조 프레임을 참조하는 프레임으로서, 원본 비디오 데이터에서 움직임이 감지되는 부분에 대한 정보만을 포함한다.The referenced frame is a frame referenced from the reference frame, and includes information on both a motion-detected portion and a non-motion-detected portion of the original video data. The reference frame is a frame that refers to the referenced frame, and includes only information about a portion in which motion is detected in the original video data.
참조 프레임은 피참조 프레임에서 움직임이 감지되지 않는 부분에 대한 정보를 참조하고, 움직임이 감지되는 부분에 대한 정보만 포함하므로, 피참조 프레임보다 작은 크기의 데이터 용량을 갖는다. 피참조 프레임에 포함되는 움직임이 감지되지 않는 부분은, 시간과 관계없이 일정하게 변하지 않는 배경에 해당하는 부분이므로, 참조 프레임이 피참조 프레임을 제대로 참조할 수만 있다면, 피참조 프레임과 참조 프레임이 결합된 데이터는 피참조 프레임으로만 구성된 데이터에 비해 적은 용량을 가지고도 동일한 내용을 표현할 수 있는 비디오 데이터가 될 수 있다.Since the reference frame refers to information on a portion in which motion is not detected in the referenced frame and includes only information on a portion in which motion is detected, the reference frame has a smaller data capacity than the referenced frame. The part in which the motion of the referenced frame is not detected corresponds to the background that does not change constantly regardless of time. Therefore, as long as the referenced frame can properly refer to the referenced frame, the referenced frame and the referenced frame are combined. The converted data may be video data capable of expressing the same content even with a smaller capacity compared to data composed only of referenced frames.
원본 비디오 데이터는 피참조 프레임과 참조 프레임의 집합으로 표현된 후, 데이터의 용량을 최소화하기 위해서, 풀-프레임 전송 방식과 마찬가지로 인코딩을 거쳐서 압축된 후 단말기로 전송된다. 단말기로 전송된 비디오 데이터는 압축이 해제된 후, 참조 프레임과 피참조 프레임과의 관계를 해석하여 비디오 데이터로 복원되며, 복원된 비디오 데이터는 전술한 일반 비디오 데이터 또는 비디오 서머리 중 어느 하나가 된다. 아이-프레임 전송 방식에 대한 도식적인 설명은 도 5 및 도 6을 통해 추가적으로 후술하기로 한다.After the original video data is expressed as a referenced frame and a set of reference frames, in order to minimize the data capacity, it is compressed through encoding as in the full-frame transmission method and then transmitted to the terminal. After the video data transmitted to the terminal is decompressed, the relationship between the reference frame and the referenced frame is analyzed to be restored as video data, and the restored video data becomes either the above-described general video data or a video summary. A schematic description of the i-frame transmission scheme will be additionally described later with reference to FIGS. 5 and 6 .
비디오 프로파일 결정부(110)는 이미지 센서 정보 및 이동물체 움직임 정보에 따라서, 일반 비디오 데이터 및 비디오 서머리 중 어느 하나로 결정된 재생 방식의 비디오 데이터를 단말기로 풀-프레임 전송 방식으로 보낼지, 아이-프레임 전송 방식으로 보낼지 여부를 결정한다. 비디오 프로파일 결정부(110)는 원본 비디오 데이터의 재생 방식을 결정할 때에 이용한 원본 비디오 데이터의 중요도를, 원본 비디오 데이터의 전송 방식을 결정하는 데에 이용할 수도 있다.The video
예를 들어, 비디오 프로파일 결정부(110)는 원본 비디오 데이터에 많은 이동물체의 움직임이 포함된 경우에는 중요도가 높은 것으로 판단하여, 전송 방식을 풀-프레임 전송 방식으로 결정할 수 있다. 다른 예로서, 비디오 프로파일 결정부(110)는 카메라의 설정에서 셔터 스피드가 느리게 설정된 상태에서 촬영된 입력 비디오 데이터로부터 산출된 원본 비디오 데이터는 중요도가 낮은 것으로 판단하여, 전송 방식을 아이-프레임 전송 방식으로 결정할 수 있다.For example, when the motion of many moving objects is included in the original video data, the
비디오 데이터 전송부(130)는 비디오 프로파일 결정부(110)가 결정한 재생 방식 및 전송 방식에 따라서 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 전송 비디오 데이터를 단말기로 전송한다.The video
비디오 데이터 전송부(130)에 의해 단말기로 전송되는 전송 비디오 데이터의 재생 방식은 일반 비디오 데이터 및 비디오 서머리 중 어느 하나 방식이고, 전송 방식은 풀-프레임 및 아이-프레임 중 어느 하나 방식에 따라 원본 비디오 데이터로부터 산출된 비디오 데이터이다.A reproduction method of the transmitted video data transmitted to the terminal by the video
도 2는 본 발명의 다른 일 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경방법에 대한 흐름도를 도시한 도면이다.2 is a flowchart illustrating a method of changing a transmission condition of metadata-based video data according to another embodiment of the present invention.
비디오 프로파일 결정부가 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정한다(S210). 보다 구체적으로는, 비디오 프로파일 결정부는 네트워크 카메라의 이미지 센서 정보 및 네트워크 카메라에 의해 생성된 원본 비디오 데이터에 포함된 이동물체의 움직임에 대한 이동물체 움직임 정보에 따라, 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정한다. The video profile determining unit determines a reproduction method and a transmission method of video data to be transmitted to the terminal (S210). More specifically, the video profile determining unit determines a reproduction method of video data to be transmitted to the terminal according to the image sensor information of the network camera and the moving object motion information on the movement of the moving object included in the original video data generated by the network camera, and Determine the transmission method.
이미지 센서 정보에는 카메라의 AGC, 조도, 셔터 스피드와 같은 센서 정보가 포함되며, 이동물체 움직임 정보에는 원본 비디오 데이터에 모션 디텍션을 적용하여 산출된 정보가 포함될 수 있다. 단말기에 전송할 비디오 데이터의 재생 방식에는 일반 비디오 데이터 및 비디오 서머리가 포함될 수 있고, 단말기에 전송할 비디오 데이터의 전송 방식에는 풀-프레임 및 아이-프레임 방식이 포함될 수 있다.The image sensor information may include sensor information such as AGC, illuminance, and shutter speed of the camera, and the moving object motion information may include information calculated by applying motion detection to original video data. A reproduction method of video data to be transmitted to the terminal may include general video data and a video summary, and a transmission method of video data to be transmitted to the terminal may include a full-frame and an i-frame method.
비디오 데이터 전송부는 비디오 프로파일 결정부가 결정한 재생 방식 및 전송 방식에 따라 비디오 데이터를 단말기에 전송한다(S230). 비디오 데이터 전송부에 의해 단말기로 전송되는 전송 비디오 데이터의 재생 방식은 일반 비디오 데이터 및 비디오 서머리 중 어느 하나 방식이고, 비디오 데이터 전송부에 의해 단말기로 전송되는 전송 비디오 데이터의 전송 방식은 풀-프레임 및 아이-프레임 중 어느 하나 방식에 따라 원본 비디오 데이터로부터 산출된 비디오 데이터이다.The video data transmission unit transmits the video data to the terminal according to the reproduction method and transmission method determined by the video profile determination unit (S230). The reproduction method of the transmission video data transmitted to the terminal by the video data transmission unit is any one of general video data and video summary, and the transmission method of the transmission video data transmitted to the terminal by the video data transmission unit is full-frame and It is video data calculated from original video data according to any one of the i-frame methods.
도 3은 본 발명의 또 다른 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치에 대한 블록도를 도시한 도면이다.3 is a block diagram of an apparatus for changing a transmission condition of metadata-based video data according to another embodiment of the present invention.
도 3를 참조하면, 본 발명의 또 다른 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경장치(300)는 비디오 프로파일 결정부(310)와 비디오 데이터 전송부(330)를 포함할 수 있다.Referring to FIG. 3 , the
비디오 프로파일 결정부(310)는 네트워크 카메라의 이미지 센서 정보 및 네트워크 카메라에 의해 생성된 원본 비디오 데이터에 포함된 이동물체의 움직임에 대한 이동물체 움직임 정보에 따라, 단말기에 전송할 비디오 데이터의 재생 방식 및 전송 방식을 결정하며, 이미지 센서 정보부(311), 비디오 분석부(312), 비디오 코덱 관리부(313), 센서 이벤트 관리부(314), 비디오 설정부(315), 비디오 프로파일 관리부(316), 및 네트워크 대역폭 측정부(317)를 포함할 수 있다.The
이미지 센서 정보부(311)는 카메라의 사용자가 자동 또는 수동 중 어느 하나로 설정한 AGC(Auto Gain Control), 조도, 셔터 스피드(Shutter Speed) 등에 대한 정보를 비디오 프로파일 관리부(316)로 전달한다. 이미지 센서 정보부(311)는 카메라를 통해 실제로 입력되는 영상에 대해서 사전에 설정된 정보를 이용하여, 원본 비디오 데이터의 프로파일과 코덱을 결정할 수 있는 결과값을 산출한다.The image
비디오 분석부(312)는 원본 비디오 데이터를 어드밴스드 모션 디텍션(Advanced Motion Detection)정보, 사람계수(People Count)정보 , 라인 디텍션(Line Detection)정보, 오디오 디텍션(Audio Detection) 정보 등과 같은 다양한 이벤트 정보에 따라 분석하고, 분석 결과를 비디오 프로파일 관리부(316)에 전달하여, 비디오 프로파일 관리부(316)가 원본 비디오 데이터의 프로파일을 결정하기 위한 정보로 활용하도록 한다.The
어드밴드스 모션 디텍션 정보는 원본 비디오 데이터로부터 움직임을 검출하여 사람, 동물, 자동차 등의 객체를 추출하고, 추출된 객체의 종류, 크기, 움직임 정도, 색상, 방향 등에 대한 모든 정보를 의미한다.The advanced motion detection information extracts objects such as people, animals, and cars by detecting motion from the original video data, and refers to all information about the type, size, degree of motion, color, direction, etc. of the extracted object.
사람계수 정보는 원본 비디오 데이터에 포함되어 있는 사람을 추출하고, 사람의 숫자를 결과로 나타낸 정보이다. 비디오 분석부(312)가 원본 비디오 데이터로부터 사람의 수를 검출하는 방식의 일 예로서, 뎁스 카메라(Depth Camera)나 거리 센서 등으로 인체의 부위를 각각 특정하는 스켈레톤(Skeleton) 방식이 있으며, 비디오 분석부(312)는 원본 비디오 데이터에 포함된 사람의 수를 검출하는 데에 있어서 특정한 방법으로 한정하지 않는다.The person count information is information that extracts people included in the original video data and displays the number of people as a result. As an example of a method in which the
라인 디텍션 정보는 원본 비디오 데이터의 특정 지점에 선을 배치하여, 그 선을 경계로 하여 이동물체의 움직임을 특정한 정보를 의미한다. 오디오 디텍션 정보는 사전에 저장되어 있는 오디오 데이터와 동일하거나 유사한 주파수를 갖는 오디오를 검출하는 방식으로 저장되는 정보이다.The line detection information refers to information specifying the movement of a moving object by arranging a line at a specific point of the original video data and using the line as a boundary. Audio detection information is information stored in a manner of detecting audio having the same or similar frequency to audio data stored in advance.
비디오 코덱 관리부(313)는 원본 비디오 데이터를 인코딩할 때에 추출될 수 있는 정보를 관리하고, 해당 정보를 비디오 프로파일 관리부(316)에 전달한다. 비디오 코덱 관리부(313)는 원본 비디오 데이터를 H.264, MPEG-4 와 같은 비디오 코덱으로 인코딩할 때 생성되는 모션 벡터(Motion Vector) 정보로부터 원본 비디오 데이터에 포함된 이동물체의 이동 거리(픽셀), 크기, 방향 정보를 추출해내고, 추출된 정보를 비디오 프로파일 관리부(316)로 전달한다.The
센서 이벤트 관리부(314)는 카메라에 장착되어 있는 센서 기기의 이벤트 정보를 비디오 프로파일 관리부(316)에 전달하여, 비디오 프로파일을 결정하는 데에 활용하도록 한다. 카메라에 장착될 수 있는 센서로서는 PIR(Passive Infrared Ray)센서나 근접 센서(Proximity Sensor) 등이 있으며, 이 센서는 카메라가 향하고 있는 방향에서 물체의 움직임을 감지하여 카메라의 영상 촬영 기능을 활성화하거나, 카메라의 영상 촬영 기능을 물체의 움직임을 촬영하는 데에 최적화하는 데에 활용할 수 있는 정보를 제공할 수 있으며, 센서 이벤트 관리부(314)는 센서 이벤트 정보를 종합하여 비디오 프로파일 관리부(316)에 전달하여, 비디오 프로파일을 결정하는 데에 활용할 수 있도록 한다.The
비디오 설정부(315)는 원본 비디오 데이터 및 전송 비디오 데이터의 비디오 프로파일의 속성값을 저장한다. 비디오 설정부(315)는 원본 비디오 데이터 및 전송 비디오 프로파일의 속성값을 저장하고 있다가, 후술할 비디오 프로파일 관리부(316)로부터 속성변경 명령을 전달받아서, 저장되어 있던 비디오 프로파일의 속성값을 변경할 수 있다. 비디오 설정부(315)에 저장될 수 있는 비디오 프로파일의 속성값으로는, 프레임레이트(Framerate), 비트레이트(Bitrate), 해상도(Resolution), 및 GOV(Group Of Video) 등이 있다.The
프레임레이트는 기준시간당 비디오 데이터에서 처리되는 프레임의 수를 의미하며, 단위로는 FPS(Frame Per Second)를 사용한다. 예를 들어, 60 FPS의 비디오 데이터는, 1초당 60장의 고정된 이미지(프레임)를 연결하는 방식으로 구성되어 있다. 비디오 설정부(315)는 FPS단위로 표현된 원본 비디오 데이터 및 전송 비디오 데이터의 프레임레이트를 각각 저장한다.The frame rate refers to the number of frames processed in video data per reference time, and uses FPS (Frame Per Second) as a unit. For example, 60 FPS video data is configured in a way that 60 fixed images (frames) are connected per second. The
비트레이트는 기준시간당 비디오 데이터의 양을 의미하며, 단위로서 BPS(Bit Per Second)를 사용한다.The bit rate means the amount of video data per reference time, and BPS (Bit Per Second) is used as a unit.
해상도는 비디오 데이터의 각 프레임을 구성하는 픽셀의 개수를 의미하며, 가로 픽셀 수와 세로 픽셀 수의 곱으로 표현된다. 예를 들어, 해상도 1920 * 1080 의 비디오 데이터의 각 프레임은, 가로가 1920개의 픽셀, 세로가 1080개의 픽셀로 구성된다.The resolution means the number of pixels constituting each frame of video data, and is expressed as a product of the number of horizontal pixels and the number of vertical pixels. For example, each frame of video data having a resolution of 1920 * 1080 is composed of 1920 pixels horizontally and 1080 pixels vertically.
전술한 프레임레이트, 비트레이트, 및 해상도는 비디오 데이터가 얼마나 세밀한 색감 및 움직임을 오류없이 표현할 수 있는지를 수치적으로 알려준다. 비디오 설정부(315)는 원본 비디오 데이터 및 전송 비디오 데이터의 해상도를 각각 저장한다.The above-mentioned frame rate, bit rate, and resolution numerically indicate how detailed color and movement of video data can be expressed without error. The
GOV는 H.264와 같은 비디오 코덱에 있어서, 차등 코딩을 할 때에 산출될 수 있는 수치로, 한 그룹을 구성하는 참조 프레임과 피참조 프레임의 개수의 합을 의미한다. 예를 들어, 비디오 데이터로부터 30개의 프레임을 추출했을 때, 독립 프레임인 아이-프레임이 각각 첫 번째, 16번째에 있고, 각 아이-프레임을 참조하는 피-프레임이 각각 2~15번째, 17~30번째에 위치하는 비디오 데이터 A는, 독립 프레임인 아이-프레임이 첫 번째에 있고, 아이-프레임을 참조하는 피-프레임이 각각 2~30번째에 위치하는 비디오 데이터 B보다 GOV가 더 낮다.GOV is a number that can be calculated when differential coding is performed in a video codec such as H.264, and means the sum of the number of reference frames and referenced frames constituting a group. For example, when 30 frames are extracted from video data, i-frames that are independent frames are in the first and 16th positions, respectively, and the p-frames referencing each i-frame are in the 2nd to 15th and 17th, respectively. The video data A located in the 30th has a lower GOV than the video data B in which the i-frame, which is an independent frame, is in the first, and the to-be-frames referencing the i-frame are located in the 2nd to 30th positions, respectively.
GOV는 비디오 데이터에 포함된 아이-프레임의 개수와 반비례하게 되며, 비디오 데이터를 전송하는 데에 있어서, 비디오 데이터의 용량과 비디오 데이터의 전송 오류 발생 여부를 예측하는 데에 이용될 수 있다. 중요도가 높은 비디오 데이터는 GOV를 낮게 설정하여 전송함으로써, 해당 비디오 데이터의 전송 오류의 확률을 더 낮출 수 있다.The GOV is in inverse proportion to the number of i-frames included in the video data, and in transmitting the video data, it can be used to predict the capacity of the video data and whether or not a transmission error of the video data has occurred. By transmitting video data with high importance by setting the GOV to be low, the probability of a transmission error of the corresponding video data can be further reduced.
비디오 프로파일 관리부(316)는 이미지 센서 정보부(311), 비디오 분석부(312), 비디오 코덱 관리부(313), 및 센서 이벤트 관리부(314)로부터 원본 비디오 데이터에 대한 각종 정보를 수신하여, 원본 비디오 데이터의 중요도를 설정한다. The
수학식 1은 비디오 프로파일 관리부(316)가 원본 비디오 데이터의 중요도를 설정하는 방법의 일 예를 나타낸 수식이다.Equation 1 is an equation showing an example of how the
P는 원본 비디오 데이터의 중요도, x는 원본 비디오 데이터를 의미하고, fa(x)는 원본 비디오 데이터의 이미지 센서 정보, fb(x)는 원본 비디오 데이터의 비디오 분석 정보, fc(x)는 원본 비디오 데이터의 비디오 코덱 정보, fd(x)는 원본 비디오 데이터의 센서 이벤트 정보를 의미한다.P is the importance of the original video data, x is the original video data, fa(x) is the image sensor information of the original video data, fb(x) is the video analysis information of the original video data, and fc(x) is the original video The video codec information of data, fd(x), means sensor event information of the original video data.
수학식 1을 참조하면, 원본 비디오 데이터의 중요도는 전술한 이미지 센서 정보, 비디오 분석 정보, 비디오 코덱 정보, 및 센서 이벤트 정보의 합에 의해 결정될 수 있다. 수학식 1의 해석에 따라, 원본 비디오 데이터의 중요도는 한 가지 정보에 의해 바로 결정되지 않고, 여러 가지 정보를 모두 종합하여 산출된다는 것을 이해할 수 있다. 예를 들어, 이미지 센서 정보 중 하나인 조도가 높을 때, 원본 비디오 데이터에 포함된 이동물체의 움직임이 없거나 극히 적었다면, fa(x)는 높지만, fb(x) 또는 fc(x)가 낮게 되어 종합했을 때, 원본 비디오 데이터의 중요도는 높지 않은 값으로 산출될 수 있다.Referring to Equation 1, the importance of the original video data may be determined by the sum of the above-described image sensor information, video analysis information, video codec information, and sensor event information. According to the interpretation of Equation 1, it can be understood that the importance of the original video data is not directly determined by one piece of information, but is calculated by synthesizing all pieces of information. For example, when the illuminance, which is one of the image sensor information, is high, and there is no or very little movement of a moving object included in the original video data, fa(x) is high but fb(x) or fc(x) becomes low. Taken together, the importance of the original video data may be calculated as a value that is not high.
비디오 프로파일 관리부(316)는 수학식 1과 같이 여러 가지의 정보를 종합적으로 고려하여 원본 비디오 데이터의 중요도를 산출하게 되며, 원본 비디오 데이터의 중요도를 산출하기 위해 사용한 수학식 1은 일 예에 불과하므로, 다른 수식으로 원본 비디오 데이터의 이미지 센서 정보, 비디오 분석 정보, 비디오 코덱 정보, 및 센서 이벤트 정보로부터 원본 비디오 데이터의 중요도를 산출하는 것이 가능하다.The
네트워크 대역폭 측정부(317)는 카메라와 단말기와의 네트워크 전송 대역폭을 측정한다. 네트워크 대역폭 측정부(317)에 의해 측정된 네트워크 전송 대역폭은, 원본 비디오 데이터의 중요도를 산출하는 데에 필요한 일 정보로 이용될 수도 있고, 원본 비디오 데이터의 중요도와 별개로 작용하여, 카메라로부터 단말기로 전송하는 비디오 데이터의 전송 조건을 변경할 수도 있다.The network
예를 들어, 네트워크 대역폭 측정부(317)에 의해 측정된 카메라와 단말기간의 네트워크 전송 대역폭이 원본 비디오 데이터를 풀-프레임 전송 방식으로 전송하기에 충분하고, 원본 비디오 데이터의 중요도가 높은 경우, 카메라는 단말기에 일반 비디오 데이터를 풀-프레임 전송 방식으로 전송할 수 있다.For example, when the network transmission bandwidth between the camera and the terminal measured by the network
다른 예로서, 네트워크 대역폭 측정부(317)에 의해 측정된 카메라와 단말기간의 네트워크 전송 대역폭이 원본 비디오 데이터의 풀-프레임을 전송하기에 충분하지 않고, 원본 비디오 데이터의 중요도가 높은 경우, 카메라는 단말기에 일반 비디오 데이터를 아이-프레임 전송 방식을 통해 전송하거나, 비디오 서머리를 풀-프레임 전송 방식을 통해 전송할 수 있다.As another example, when the network transmission bandwidth between the camera and the terminal measured by the network
일반 비디오 데이터를 아이-프레임 전송 방식을 통해 전송하는 경우에는 전송 방식을 통해서 단말기로 전송하는 데이터양을 줄일 수 있고, 비디오 서머리를 풀-프레임 전송 방식을 통해 전송하는 경우에는 재생 방식을 통해서, 단말기로 전송하는 데이터양을 줄일 수 있으므로, 카메라와 단말기간의 충분하지 않은 네트워크 전송 대역폭을 통해서도, 원본 비디오 데이터의 중요 내용을 모두 포함하는 비디오 데이터를 단말기로 전송할 수 있게 된다.When general video data is transmitted through the i-frame transmission method, the amount of data transmitted to the terminal through the transmission method can be reduced, and when the video summary is transmitted through the full-frame transmission method, through the playback method, the terminal Since it is possible to reduce the amount of data transmitted to the terminal, video data including all important contents of the original video data can be transmitted to the terminal even through an insufficient network transmission bandwidth between the camera and the terminal.
비디오 데이터 전송부(330)는 비디오 프로파일 결정부(310)가 결정한 재생 방식 및 전송 방식에 따라서 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 전송 비디오 데이터를 단말기로 전송하며, 비디오 서머리 생성부(331), 아이-프레임 변환부(333), 데이터 추출부(335), 및 데이터 분리 전송부(337)를 포함할 수 있다.The video
비디오 서머리 생성부(331)는 비디오 프로파일 결정부(310)가 원본 비디오 데이터의 재생 방식을 비디오 서머리로 결정한 경우, 원본 비디오 데이터로부터 비디오 서머리를 생성한다.The
도 4는 원본 비디오 데이터로부터 비디오 서머리를 생성하는 방법을 도식적으로 나타낸 도면이다.4 is a diagram schematically illustrating a method of generating a video summary from original video data.
원본 비디오 데이터는 원본 비디오 데이터 구간을 참조하면, t1에서 t3사이에서는 한 명의 사람이 움직이고 있으며, t4에서 t6사이에서는 한 마리의 새가 날고 있다. 설명의 편의를 위해서, t1와 t3 사이의 시간차이와 t4와 t6 사이의 시간차이는 같다고 가정한다.In the original video data, referring to the original video data section, one person is moving from t1 to t3, and one bird is flying from t4 to t6. For convenience of explanation, it is assumed that the time difference between t1 and t3 and the time difference between t4 and t6 are the same.
비디오 서머리 생성부(331)는 원본 비디오 데이터로부터, 이동물체인 사람과 새가 있었던 t1, t2, t3, t4, t5, t6의 프레임에 대한 데이터를 추출하여 같은 시간대에서 출력되도록 구성한다.The
비디오 서머리 생성부(331)는 비디오 서머리 구간을 참조했을 때, t'1에서 t'3 사이에 원본 비디오 데이터의 t1에서 t3사이의 프레임 데이터 및 t4에서 t6사이의 프레임 데이터를 모두 투사하여 출력할 수 있게 하는 비디오 서머리를 생성함으로써, 원본 비디오 데이터에서 각각 다른 시간대에 존재했던 사람과 새가 비디오 서머리에서는 동 시간대에 존재했던 것처럼 보여지도록 할 수 있다.When referring to the video summary section, the video
원본 비디오 데이터에서 사람과 새의 움직임을 모두 관찰하기 위해서는, 적어도 t1에서 t6 사이의 시간동안 원본 비디오 데이터를 재생해야 하는 반면, 비디오 서머리에서 사람과 새의 움직임을 모두 관찰하기 위해서 t'1에서 t'3 사이의 시간동안 비디오 서머리를 재생하기만 하면 되는 장점이 있다. In order to observe both human and bird movements in the original video data, it is necessary to reproduce the original video data for at least t1 to t6, while in the video summary, to observe both human and bird movements, t'1 to t The advantage is that you only need to play the video summary for the time between '3.
단말기는 비디오 서머리를 재생할 때, 사람과 새가 출현한 시점을 메타데이터로 저장했다가, 비디오 서머리의 재생할 때, 원본 비디오 데이터 기준으로 사람과 새가 출현한 시점(t1~t3, t4~r6)을 자막이나 PIP(Picture In Picture)형태로 출력할 수도 있다. 비디오 서머리가 재생될 때 같이 출력되는 이동물체(사람, 새)의 출현시점에 대한 정보는 비디오 서머리를 본 단말기의 사용자가, 비디오 서머리가 아닌 일반 비디오 데이터에서 이동물체가 출현한 부분을 직접 확인하려고 할 때, 각 시점을 찾는 데에 있어서 편의성을 제공할 수 있다.When the terminal plays the video summary, the time when humans and birds appear is stored as metadata, and when the video summary is played back, the time when humans and birds appear based on the original video data (t1 to t3, t4 to r6) can also be output in the form of subtitles or PIP (Picture In Picture). When the video summary is played, the information on the appearance time of the moving object (person, bird) is displayed when the user of the terminal who viewed the video summary wants to directly check the part where the moving object appears in the general video data, not the video summary. When doing so, it is possible to provide convenience in finding each viewpoint.
도 4에서 전술한 것과 같이, 비디오 서머리 생성부(331)는 원본 비디오 데이터에서 이동물체의 움직임을 감지하여, 해당 이동물체가 포함된 프레임만을 추출한 후, 추출된 프레임에 새로운 구간정보(예를 들어 t'1, t'3 등)를 삽입하여 그 구간정보에 따라 재생될 수 있는 비디오 서머리를 생성할 수 있다.As described above in FIG. 4 , the
아이-프레임 변환부(333)는 재생 방식이 결정된 원본 비디오 데이터를 구성하는 각 프레임을, 다른 프레임의 데이터를 참조하는 참조 프레임과 참조 프레임으로부터 참조되는 피참조 프레임으로 구별한다. 보다 상세하게는, 아이-프레임 변환부(333)는 원본 비디오 데이터의 재생 방식이 일반 비디오 데이터 또는 비디오 서머리 중 어느 하나로 결정되면, 그 결정된 비디오 데이터를 구성하는 모든 프레임을 참조 프레임 또는 피참조 프레임으로 구별하도록 한다.The i-
도 5는 아이-프레임 전송 방식에서 있어서, 참조 프레임과 피참조 프레임을 설명하기 위한 도면이다.5 is a diagram for explaining a reference frame and a referenced frame in an i-frame transmission method.
아이-프레임은 인트라 픽쳐 프레임(Intra Picture Frame)의 약칭으로서, 다른 프레임에 포함된 이미지를 참조하지 않고 독립적으로 해독이 가능한 독립형 프레임을 의미한다. 각각의 아이-프레임은 다른 프레임에 포함된 이미지를 참조하지 않으므로, 이동물체의 움직임을 포함하지 않는 원본 비디오 데이터의 배경과, 이동물체의 움직임을 포함하는 원본 비디오 데이터의 이동물체에 대한 정보를 모두 포함한다. 카메라에서 단말기로 전송되는 비디오 데이터는 첫 번째 프레임은 항상 아이-프레임이다. 아이-프레임은 후술하는 피-프레임 또는 비-프레임에 의해서 참조되는 피참조 프레임이다.The i-frame is an abbreviation of an intra picture frame, and refers to an independent frame that can be independently read without referring to images included in other frames. Since each i-frame does not refer to an image included in another frame, both the background of the original video data that does not include the motion of the moving object and the information on the moving object of the original video data that includes the motion of the moving object are included. include The first frame of video data transmitted from the camera to the terminal is always an i-frame. An i-frame is a referenced frame referenced by a to-be-framed or a non-frame, which will be described later.
피-프레임은 프레딕티브 프레임(Predictive Frame)의 약칭으로서, 이전의 아이-프레임 또는 피-프레임에 포함된 이미지를 참조하는 프레임의 한 종류이다. 피-프레임은 이전의 아이-프레임에 포함된 이미지를 참조하는 참조 프레임이면서, 동시에 이후의 피-프레임 또는 비-프레임에 의해 참조될 수도 있는 피참조 프레임의 특성을 갖고 있다. 피-프레임은 움직임을 수반하지 않는 배경에 대한 데이터는 아이-프레임을 참조하고, 움직임을 보이는 이동물체에 대한 데이터만 포함하게 되어 아이-프레임보다 적은 비트를 요구하는 특성을 갖는다.(더 작은 용량을 차지한다)A to-frame is an abbreviation of a predictive frame, and is a type of frame that refers to an image included in a previous i-frame or to-frame. A to-be-framed is a reference frame that refers to an image included in a previous i-frame, and at the same time has the characteristics of a referenced frame that may be referenced by a subsequent to-be-frame or non-frame. The to-frame has a characteristic that requires fewer bits than the i-frame because the data for the background that does not involve motion refers to the i-frame and includes only the data for the moving object showing motion. (Small capacity occupies)
비-프레임은 바이 프레딕티브 인터프레임(Bi-predictive Inter Frame)의 약칭으로서, 이전, 이후의 모든 피참조 프레임에 포함된 이미지를 참조하는 프레임을 의미한다.The non-frame is an abbreviation of a bi-predictive inter frame and refers to a frame that refers to an image included in all previous and subsequent referenced frames.
카메라에서 단말기로 전송되는 비디오 데이터는, 도 5에서와 같이 각각의 프레임으로 나뉜 후, 각 프레임은 비트 스트림(bit stream)으로 부호화(coding)되어 전송된다. 단말기로 전송된 비트 스트림은, 단말기에 내장된 비디오 디코더에 의해 각각의 프레임으로 복원되며, 복원은 항상 피참조 프레임인 아이-프레임에 대한 비트 스트림을 시작으로 한다.Video data transmitted from the camera to the terminal is divided into frames as shown in FIG. 5, and then each frame is encoded into a bit stream and transmitted. The bit stream transmitted to the terminal is restored to each frame by the video decoder built into the terminal, and the restoration always starts with a bit stream for an i-frame, which is a referenced frame.
아이-프레임 변환부(333)는 도 5에서 도시된 것과 같이 재생 방식이 결정된 원본 비디오 데이터를 구성하는 각 프레임을 참조 프레임과 피참조 프레임으로 구별한다. 여기서, 아이-프레임 변환부(333)는 지연을 막기 위해서, 이전과 이후의 프레임을 모두 참조하는 비-프레임은 배제하고, 아이-프레임과 피-프레임만으로 재생 방식이 결정된 원본 비디오 데이터를 구성하는 모든 프레임을 구별시킬 수도 있다.As shown in FIG. 5 , the i-
도 6은 피-프레임에 포함되는 데이터를 도식적으로 표현한 도면이다.6 is a diagram schematically representing data included in a to-be-frame.
피-프레임은 아이-프레임과 같이 이전의 피참조 프레임에 포함된 이미지 중 시간에 흐름에 따라 변화하는 부분에 대한 정보를 모션 벡터(Motion Vector)의 형태로 저장한다. 즉, 모션 벡터는 각 비디오 프레임에서 움직임을 보이는 이동물체의 이동거리(픽셀), 크기, 방향에 대한 정보를 포함할 수 있다.The target-frame stores information about a part that changes over time among images included in a previous referenced frame, such as an i-frame, in the form of a motion vector. That is, the motion vector may include information on the moving distance (pixel), size, and direction of a moving object that moves in each video frame.
피-프레임은 피참조 프레임에 포함된 복수개의 매크로 블록 중 피-프레임의 타겟 블록에 포함된 데이터와 가장 많이 일치하는 매칭 블록을 찾고, 피참조 프레임의 매칭 블록이 피-프레임의 타겟 블록으로 표현되기 위해 필요한 정보를 모션 벡터로 저장한다. 이때 피참조 프레임에서 매칭 블록을 효율적으로 찾기 위해서, 피참조 프레임의 포함된 매크로 블록 중 일부를 서치 윈도우(Search Window)로 묶고, 서치 윈도우 내의 매크로 블록에서 매칭 블록을 찾는 방식을 이용할 수도 있다.The frame to be referenced finds a matching block that most closely matches data included in the target block of the frame among a plurality of macro blocks included in the frame to be referenced, and the matching block of the frame to be referenced is expressed as the target block of the frame to be referenced. The information necessary to become a motion vector is stored as a motion vector. In this case, in order to efficiently find the matching block in the referenced frame, a method may be used in which some of the macroblocks included in the referenced frame are bundled with a search window and a matching block is found in the macroblocks in the search window.
데이터 추출부(335)는 비디오 프로파일 결정부(310)에 의해 결정된 재생 방식에 따른 비디오 데이터로부터, 배경 데이터와 이동물체 데이터를 각각 추출한다. 원본 비디오 데이터는 시간의 흐름에 따라 움직임이 없거나, 움직임이 적은 배경 데이터와 시간의 흐름에 따라 움직임이 많은 이동물체 데이터를 포함한다. 배경 데이터는 카메라의 촬영 방향, 배율에 따라서 달라질 수 있고, 이동물체 데이터는 사람을 포함한 움직임이 예정되어 있는 물체에 대한 데이터이므로, 시간의 흐름에 따라 계속 달라질 수 있다.The
도 7a 내지 도 7d는 원본 비디오 데이터에서 배경 데이터와 이동물체 데이터를 추출하는 일련의 과정을 도시한 도면이다.7A to 7D are diagrams illustrating a series of processes of extracting background data and moving object data from original video data.
도 7a 내지 도 7d에 대한 설명을 용이하게 하기 위해서, 도 3에 도시된 데이터 추출부(335)를 참조하도록 한다.In order to facilitate the description of FIGS. 7A to 7D , reference is made to the
도 7a는 원본 비디오 데이터가 재생되고 있는 화면을 도시한다. 도 7a를 참조하면, 원본 비디오 데이터는 여러 명의 사람이 각각 다른 방향으로 움직이는 모습에 대한 내용을 포함한다.7A shows a screen on which original video data is being reproduced. Referring to FIG. 7A , the original video data includes information about how several people move in different directions.
도 7b는 원본 비디오 데이터로부터 추출된 배경 데이터가 재생되고 있는 화면을 도시한다. 도 7b에 도시된 배경 데이터는, 데이터 추출부(335)에 의해 원본 비디오 데이터로부터 추출될 수 있다. 데이터 추출부(335)가 원본 비디오 데이터로부터 배경 데이터를 추출하는 방법은, 원본 비디오 데이터에서 이동물체(사람)가 출현하기 전의 프레임의 이미지를 참조하여 추출하는 방법과 전술한 비디오 서머리를 생성하는 과정에서 움직임을 보이는 이동물체만을 추출하는 방법이 있다.7B shows a screen in which background data extracted from original video data is being reproduced. The background data shown in FIG. 7B may be extracted from the original video data by the
도 7c는 원본 비디오 데이터에서 이동물체의 움직임을 감지하고, 원본 비디오 데이터로부터 이동물체 데이터를 추출하는 과정을 도시한다. 데이터 추출부(335)는 직전 프레임과 비교하여, 움직임이 감지된 부분을 원본 비디오 데이터로부터 특정할 수 있으며, 이동물체 데이터로 추출되는 부분은 여러 가지 크기의 모양이 될 수 있다. 도 7c를 참조하면, 원본 비디오 데이터에 3가지의 각각 다른 크기의 블록으로 각각 다른 그룹이 이동물체 데이터로서 특정된 것을 알 수 있다.7C illustrates a process of detecting a movement of a moving object in the original video data and extracting the moving object data from the original video data. The
도 7d는 원본 비디오 데이터로부터 추출된 이동물체 데이터를 도시한다. 도 7d를 참조하면, 원본 비디오 데이터로부터 추출된 이동물체 데이터는 원본 비디오 데이터에서 이동물체(사람)가 있는 부분을 중심으로 사각형의 블록형태로 추출된다. 원본 비디오 데이터로부터 이동물체로 추출되는 부분은 사격형의 블록형태뿐만 아니라 다른 형태가 될 수도 있다.7D shows moving object data extracted from original video data. Referring to FIG. 7D , the moving object data extracted from the original video data is extracted in the form of a rectangular block centered on the part where the moving object (person) is located in the original video data. The part extracted as a moving object from the original video data may be not only in the form of a shooting-type block, but also in other forms.
데이터 분리 전송부(337)는 배경 데이터를 단말기로 전송 후, 카메라의 위치나 방향이 이동되어 배경 데이터에 변경이 있을 때까지 이동물체 데이터만 단말기로 전송한다. 데이터 분리 전송부(337)가 배경 데이터와 이동물체 데이터를 전송하는 것은 분리 전송 방식으로서, 원본 비디오 데이터의 전송 방식 중 하나이다.After transmitting the background data to the terminal, the
데이터 분리 전송부(337)는 데이터 추출부(335)에 의해 원본 비디오 데이터로부터 추출된 배경 데이터를 압축하고 단말기로 전송한다. 데이터 분리 전송부(337)는 배경 데이터를 단말기로 전송한 후에는, 이동물체 데이터를 압축하여 단말기로 전송한다. 데이터 분리 전송부(337)가 이동물체 데이터를 단말기로 전송하는 것은 카메라의 위치나 방향이 이동되어, 배경 데이터에 변경이 있을 때까지 계속 되며, 데이터 추출부(335)에서 배경 데이터가 변경되었다고 판단하여, 배경 데이터를 추출하면, 데이터 분리 전송부(337)는 이동물체 데이터를 단말기로 전송하는 것을 멈추고, 변경된 배경 데이터를 압축하여 단말기로 전송한다.The data
데이터 추출부(335)에서 배경 데이터가 변경되었다고 판단하는 방법의 일 예로서, 카메라가 PTZ(Pan Tilt Zoom)카메라이고, PTZ 정보 중 어느 하나의 정보라도 바뀌면 데이터 추출부(335)는 배경 데이터가 변경된 것으로 판단할 수 있다.As an example of how the
단말기로 전송된 이동물체 데이터는, 해당 이동물체 데이터보다 먼저 전송된 배경 데이터 위에 투사되는 방식으로 원본 비디오 데이터를 복원할 수 있게 되며, 단말기에서 복원된 원본 비디오 데이터는 전술한 일반 비디오 데이터 또는 비디오 서머리 중 어느 하나가 될 수 있다. 즉, 이동물체 데이터는 이동물체에 대한 정보만을 포함하고, 중복되는 배경에 대해서는 배경 데이터로부터 참조한다는 점에서 전술한 아이-프레임 전송방식과 유사한 부분도 있으나, 배경 데이터 및 이동물체 데이터가 원본 비디오 데이터로부터 산출되는 부분 데이터인 특성상, 원본 비디오 데이터보다 데이터 크기가 작으므로, 이와 같은 전송 방식에 의하면 네트워크의 비용을 최소화하면서도 원본 비디오 데이터를 카메라에서 단말기로 전송할 수 있게 된다.The moving object data transmitted to the terminal can restore the original video data in a way that is projected onto the background data transmitted earlier than the moving object data, and the original video data restored from the terminal is the above-mentioned general video data or video summary. can be any one of That is, the moving object data includes only information about the moving object, and there is a part similar to the above-described i-frame transmission method in that the overlapping background is referenced from the background data, but the background data and the moving object data are the original video data. Since the data size is smaller than the original video data due to the nature of partial data calculated from , the original video data can be transmitted from the camera to the terminal while minimizing the network cost according to this transmission method.
선택적 실시 예로서, 데이터 분리 전송부(337)는 배경 데이터와 이동물체 데이터를 차등 압축하여 단말기에 전송함으로써, 전송 네트워크 대역폭의 효율적인 사용이 가능하다. 예를 들어, 배경 데이터가 파란색 하늘과 초록색 동산만을 표현한다면, 배경 데이터를 구성하는 색깔이 한정적인 특성에 따라 압축률이 높은 손실압축을 하고, 이동물체 데이터는 압축률이 낮은 무손실압축을 하여 단말기에 각각 전송할 수 있다. 이 경우, 원본 비디오 데이터에서 중요한 내용을 포함하는 이동물체 데이터의 전송오류를 최소화하면서도 네트워크 대역폭을 보다 효율적으로 사용할 수 있다.As an optional embodiment, the data separation and
도 8은 데이터 추출부 및 데이터 분리 전송부에 의해 배경 데이터 및 이동물체 데이터가 단말기로 전송되는 과정을 흐름도로 나타낸 도면이다.8 is a flowchart illustrating a process in which background data and moving object data are transmitted to a terminal by a data extraction unit and a data separation transmission unit.
도 8에 대한 설명을 용이하게 하기 위해서, 도 3에 도시된 데이터 추출부(335) 및 데이터 분리 전송부(337)를 참조하도록 한다.In order to facilitate the description of FIG. 8 , reference is made to the
데이터 추출부(335)는 원본 비디오 데이터에서 이동물체가 있는 프레임을 추출하고, 이동물체를 특정한다(S810). 원본 비디오 데이터에서 이동물체를 특정하는 방법은 모션 디텍션(Motion Detection), 어드밴스드 모션 디텍션(Advanced Motion Detection)정보, 사람계수(People Count)정보 , 라인 디텍션(Line Detection)정보 중 어느 하나를 이용할 수 있으며, 이동물체의 위치는 좌표형태로 데이터 추출부(335)에 의해 특정될 수 있다.The
데이터 추출부(335)는 원본 비디오 데이터로부터 배경 데이터 및 이동물체 데이터를 각각 추출한다(S830). 데이터 분리 전송부(337)는 배경 데이터 및 이동물체 데이터를 각각 압축한다(S850). 단계 850에서, 배경 데이터 및 이동물체 데이터의 압축은 배경 데이터만 손실압축을 하는 차등 압축 방식이 적용될 수 있다. 데이터 분리 전송부(337)는 압축된 배경 데이터를 먼저 단말기에 전송 후 배경 데이터가 바뀔 때까지, 이미 전송한 배경 데이터를 참조하는 이동물체 데이터를 압축시켜 전송한다(S870).The
도 9는 본 발명의 또 다른 실시 예에 따른 메타데이터 기반 비디오 데이터의 전송조건 변경방법에 대한 흐름도를 도시한 도면이다.9 is a flowchart illustrating a method of changing a transmission condition of metadata-based video data according to another embodiment of the present invention.
명세서의 간명화를 위해서, 도 2와 중복되는 단계에 대한 설명은 생략하기로 한다.For simplification of the specification, descriptions of steps overlapping those of FIG. 2 will be omitted.
비디오 프로파일 결정부는 단말기에 전송할 비디오 데이터의 재생 방식을 결정한다(S910). 비디오 프로파일 결정부는 단말기에 전송할 비디오 데이터의 재생 방식으로서, 일반 비디오 데이터 및 비디오 서머리 중 어느 하나를 결정할 수 있다.The video profile determiner determines a reproduction method of video data to be transmitted to the terminal (S910). The video profile determiner may determine any one of general video data and video summary as a reproduction method of video data to be transmitted to the terminal.
비디오 프로파일 결정부는 일반 비디오 데이터 및 비디오 서머리 중 어느 하나인 비디오 데이터를 풀-프레임 전송 방식, 아이-프레임 전송 방식, 및 분리 전송 방식 중 어느 하나의 방식으로 전송할지 결정한다(S930)The video profile determiner determines whether to transmit the video data, which is one of the general video data and the video summary, by any one of the full-frame transmission method, the i-frame transmission method, and the separate transmission method (S930)
비디오 데이터 전송부는 일반 비디오 데이터 및 비디오 서머리 중 어느 하나인 비디오 데이터로부터 배경 데이터와 이동물체 데이터를 추출한다(S950).The video data transmitter extracts background data and moving object data from video data, which is one of general video data and video summary (S950).
비디오 데이터 전송부는 일반 비디오 데이터 및 비디오 서머리 중 어느 하나인 비디오 데이터로부터 추출된 배경 데이터와 이동물체 데이터를 분리하여 전송한다(S970). 비디오 데이터 전송부는 배경 데이터와 이동물체 데이터를 동시에 전송하지 않으며, 비디오 데이터 전송부는 배경 데이터가 먼저 단말기로 전송한 후, 배경 데이터에 변경이 있을 때까지 이동물체 데이터만 단말기로 전송한다. 단말기는 배경 데이터 및 이동물체 데이터를 수신하여 비디오 프로파일 결정부가 결정한 비디오 데이터의 재생 방식에 따른 비디오 데이터를 복원할 수 있다.The video data transmitter separates and transmits the background data and the moving object data extracted from the video data, which is one of the general video data and the video summary (S970). The video data transmitter does not transmit the background data and the moving object data at the same time, and the video data transmitter transmits the background data to the terminal first and then only transmits the moving object data to the terminal until the background data is changed. The terminal may receive the background data and the moving object data and restore the video data according to the video data reproduction method determined by the video profile determiner.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.The present invention can also be implemented as computer-readable codes on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices in which data that can be read by a computer system is stored. Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, and optical data storage device. In addition, the computer-readable recording medium is distributed in a computer system connected through a network, so that the computer-readable code can be stored and executed in a distributed manner. In addition, functional programs, codes, and code segments for implementing the present invention can be easily inferred by programmers in the art to which the present invention pertains.
본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되지 아니하고, 첨부된 청구범위에 의해 권리범위를 한정하고자 하며, 청구범위에 기재된 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 형태의 치환, 변형 및 변경할 수 있다는 것은 당 기술분야의 통상의 지식을 가진 자에게 자명할 것이다.The present invention is not limited by the above-described embodiments and the accompanying drawings, but is intended to limit the scope of the rights by the appended claims, and replaces various forms within the scope that does not depart from the technical spirit of the present invention described in the claims; It will be apparent to those skilled in the art that variations and modifications may be made.
100 : 메타데이터 기반 비디오 데이터의 전송조건 변경장치
110 : 비디오 프로파일 결정부
130 : 비디오 데이터 전송부100: Metadata-based video data transmission condition change device
110: video profile determining unit
130: video data transmission unit
Claims (6)
상기 비디오 프로파일 결정부가 결정한 상기 재생 방식 및 상기 전송 방식에 따라 상기 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 상기 전송 비디오 데이터를 상기 단말기로 전송하는 비디오 데이터 전송부;를 포함하고,
상기 재생 방식에 따른 비디오 데이터는,
상기 원본 비디오 데이터와 동일한 재생 시간을 가지는 일반 비디오 데이터 및 상기 원본 비디오 데이터를 상기 이동물체 움직임 정보에 따라 요약한 비디오 서머리(Video Summary) 중 어느 하나이고,
상기 전송 방식은,
상기 재생 방식에 따른 비디오 데이터를 구성하는 모든 프레임을 전송하는 풀-프레임(Full-Frame) 전송 방식 및 다른 프레임의 데이터를 참조하는 참조 프레임과 상기 참조 프레임으로부터 참조되는 피참조 프레임으로 구별하여 전송하는 아이-프레임(I-Frame) 전송 방식 중 어느 하나인 것을 특징으로 하는 메타데이터 기반 비디오 데이터의 전송조건 변경장치.Calculate the importance of the original video data according to the image sensor information of the network camera and the moving object motion information on the movement of the moving object included in the original video data generated by the network camera, and according to the importance of the original video data a video profile determining unit that determines a reproduction method and a transmission method of video data to be transmitted to the terminal; and
a video data transmission unit that calculates transmission video data from the original video data according to the reproduction method and the transmission method determined by the video profile determiner and transmits the transmission video data to the terminal;
Video data according to the playback method,
Any one of general video data having the same playback time as the original video data and a video summary summarizing the original video data according to the moving object motion information,
The transmission method is
A full-frame transmission method for transmitting all frames constituting video data according to the reproduction method, and a reference frame referring to data of other frames and a referenced frame referenced from the reference frame. An apparatus for changing a transmission condition of metadata-based video data, characterized in that it is any one of an I-frame transmission method.
상기 비디오 프로파일 결정부가 결정한 상기 재생 방식 및 상기 전송 방식에 따라 상기 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 상기 전송 비디오 데이터를 상기 단말기로 전송하는 비디오 데이터 전송부;를 포함하고,
상기 재생 방식에 따른 비디오 데이터는,
상기 원본 비디오 데이터와 동일한 재생 시간을 가지는 일반 비디오 데이터 및 상기 원본 비디오 데이터를 상기 이동물체 움직임 정보에 따라 요약한 비디오 서머리(Video Summary) 중 어느 하나이고,
상기 전송 방식은,
상기 재생 방식에 따른 비디오 데이터를 배경 데이터와 이동물체 데이터로 나누어 전송하는 분리 전송 방식이고,
상기 비디오 데이터 전송부는,
상기 재생 방식에 따른 비디오 데이터로부터 배경 데이터와 이동물체 데이터를 각각 추출하는 데이터 추출부; 및
상기 배경 데이터를 상기 단말기로 전송 후, 상기 네트워크 카메라의 위치나 방향이 이동되어 상기 배경 데이터에 변경이 있을 때까지 상기 이동물체 데이터만 상기 단말기로 전송하는 데이터 분리 전송부를 포함하는 메타데이터 기반 비디오 데이터의 전송조건 변경장치.Calculate the importance of the original video data according to the image sensor information of the network camera and the moving object motion information on the movement of the moving object included in the original video data generated by the network camera, and according to the importance of the original video data a video profile determining unit that determines a reproduction method and a transmission method of video data to be transmitted to the terminal; and
a video data transmission unit that calculates transmission video data from the original video data according to the reproduction method and the transmission method determined by the video profile determiner and transmits the transmission video data to the terminal;
Video data according to the playback method,
Any one of general video data having the same playback time as the original video data and a video summary summarizing the original video data according to the moving object motion information,
The transmission method is
It is a separate transmission method in which video data according to the playback method is divided into background data and moving object data and transmitted;
The video data transmission unit,
a data extracting unit for extracting background data and moving object data from the video data according to the reproduction method, respectively; and
and a data separation transmitter for transmitting only the moving object data to the terminal until the background data is changed by moving the position or direction of the network camera after transmitting the background data to the terminal; transmission condition change device.
상기 비디오 프로파일 결정부가 결정한 상기 재생 방식 및 상기 전송 방식에 따라 상기 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 상기 전송 비디오 데이터를 상기 단말기로 전송하는 비디오 데이터 전송 단계;를 포함하고,
상기 재생 방식에 따른 비디오 데이터는,
상기 원본 비디오 데이터와 동일한 재생 시간을 가지는 일반 비디오 데이터 및 상기 원본 비디오 데이터를 상기 이동물체 움직임 정보에 따라 요약한 비디오 서머리(Video Summary) 중 어느 하나이고,
상기 전송 방식은,
상기 재생 방식에 따른 비디오 데이터를 구성하는 모든 프레임을 전송하는 풀-프레임(Full-Frame) 전송 방식 및 다른 프레임의 데이터를 참조하는 참조 프레임과 상기 참조 프레임으로부터 참조되는 피참조 프레임으로 구별하여 전송하는 아이-프레임(I-Frame) 전송 방식 중 어느 하나인 것을 특징으로 하는 메타데이터 기반 비디오 데이터의 전송조건 변경방법.Calculate the importance of the original video data according to the image sensor information of the network camera and the moving object motion information on the movement of the moving object included in the original video data generated by the network camera, and according to the importance of the original video data a video profile determining step of determining a reproduction method and a transmission method of video data to be transmitted to the terminal; and
a video data transmission step of calculating transmission video data from the original video data according to the reproduction method and the transmission method determined by the video profile determiner and transmitting the transmission video data to the terminal;
Video data according to the playback method,
Any one of general video data having the same playback time as the original video data and a video summary summarizing the original video data according to the moving object motion information,
The transmission method is
A full-frame transmission method for transmitting all frames constituting video data according to the reproduction method, and a reference frame referring to data of other frames and a referenced frame referenced from the reference frame. A method of changing a transmission condition of metadata-based video data, characterized in that it is any one of an I-frame transmission method.
상기 비디오 프로파일 결정부가 결정한 상기 재생 방식 및 상기 전송 방식에 따라 상기 원본 비디오 데이터로부터 전송 비디오 데이터를 산출하고, 상기 전송 비디오 데이터를 상기 단말기로 전송하는 비디오 데이터 전송 단계;를 포함하고,
상기 재생 방식에 따른 비디오 데이터는,
상기 원본 비디오 데이터와 동일한 재생 시간을 가지는 일반 비디오 데이터 및 상기 원본 비디오 데이터를 상기 이동물체 움직임 정보에 따라 요약한 비디오 서머리(Video Summary) 중 어느 하나이고,
상기 전송 방식은,
상기 재생 방식에 따른 비디오 데이터를 배경 데이터와 이동물체 데이터로 나누어 전송하는 분리 전송 방식이고,
상기 비디오 데이터 전송 단계는,
상기 재생 방식에 따른 비디오 데이터로부터 배경 데이터와 이동물체 데이터를 각각 추출하는 데이터 추출 단계; 및
상기 배경 데이터를 상기 단말기로 전송 후, 상기 네트워크 카메라의 위치나 방향이 이동되어 상기 배경 데이터에 변경이 있을 때까지 상기 이동물체 데이터만 상기 단말기로 전송하는 데이터 분리 전송 단계를 포함하는 메타데이터 기반 비디오 데이터의 전송조건 변경방법.Calculate the importance of the original video data according to the image sensor information of the network camera and the moving object motion information on the movement of the moving object included in the original video data generated by the network camera, and according to the importance of the original video data a video profile determining step of determining a reproduction method and a transmission method of video data to be transmitted to the terminal; and
a video data transmission step of calculating transmission video data from the original video data according to the reproduction method and the transmission method determined by the video profile determiner and transmitting the transmission video data to the terminal;
Video data according to the playback method,
Any one of general video data having the same playback time as the original video data and a video summary summarizing the original video data according to the moving object motion information,
The transmission method is
It is a separate transmission method in which video data according to the playback method is divided into background data and moving object data and transmitted;
The video data transmission step comprises:
a data extraction step of extracting background data and moving object data from the video data according to the reproduction method, respectively; and
after transmitting the background data to the terminal, a data separation transmission step of transmitting only the moving object data to the terminal until the position or direction of the network camera is moved and there is a change in the background data; How to change data transmission conditions.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140175374A KR102268596B1 (en) | 2014-12-08 | 2014-12-08 | Apparatus for changing transmission condition of video data based on metedata and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140175374A KR102268596B1 (en) | 2014-12-08 | 2014-12-08 | Apparatus for changing transmission condition of video data based on metedata and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160069429A KR20160069429A (en) | 2016-06-16 |
| KR102268596B1 true KR102268596B1 (en) | 2021-06-23 |
Family
ID=56354922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140175374A KR102268596B1 (en) | 2014-12-08 | 2014-12-08 | Apparatus for changing transmission condition of video data based on metedata and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102268596B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020213932A1 (en) * | 2019-04-15 | 2020-10-22 | Samsung Electronics Co., Ltd. | Method and system for encoding, decoding and playback of video content in client-server architecture |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100612083B1 (en) * | 2004-05-12 | 2006-08-14 | (주) 멀티비아 | Methods and Systems of Monitoring Images Using Mobile Communication Terminals |
| KR101391370B1 (en) | 2013-12-31 | 2014-05-02 | (주)진명아이앤씨 | System for multi-transmitting images by using an image collection and distribution server and the method thereof |
| US20140161367A1 (en) | 2012-12-12 | 2014-06-12 | Apple Inc. | Lossless Image Compression using Differential Transfer |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006319643A (en) | 2005-05-12 | 2006-11-24 | Fuji Photo Film Co Ltd | Moving picture communication system |
| BRPI0620497B1 (en) * | 2005-11-15 | 2018-09-25 | Yissum Research Development Company Of The Hebrew Univ Of Jerusalem | method for creating a video synopsis, and system for transforming a source sequence of video frames from a first dynamic scene into a synopsis sequence of at least two video frames illustrating a second dynamic scene. |
| KR20080035891A (en) * | 2006-10-20 | 2008-04-24 | 포스데이타 주식회사 | Image playback apparatus for providing smart search of motion and method of the same |
-
2014
- 2014-12-08 KR KR1020140175374A patent/KR102268596B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100612083B1 (en) * | 2004-05-12 | 2006-08-14 | (주) 멀티비아 | Methods and Systems of Monitoring Images Using Mobile Communication Terminals |
| US20140161367A1 (en) | 2012-12-12 | 2014-06-12 | Apple Inc. | Lossless Image Compression using Differential Transfer |
| KR101391370B1 (en) | 2013-12-31 | 2014-05-02 | (주)진명아이앤씨 | System for multi-transmitting images by using an image collection and distribution server and the method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160069429A (en) | 2016-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2653464C2 (en) | Image processing device and method of image processing | |
| US8315481B2 (en) | Image transmitting apparatus, image receiving apparatus, image transmitting and receiving system, recording medium recording image transmitting program, and recording medium recording image receiving program | |
| US10986338B2 (en) | Thermal-image based video compression systems and methods | |
| KR101960006B1 (en) | Video encoding method and video encoder system | |
| JP4799438B2 (en) | Image recording apparatus, image recording method, image encoding apparatus, and program | |
| JP6573673B2 (en) | High frame rate-low frame rate transmission technology | |
| KR20140034149A (en) | Adaptive bit rate control based on scenes | |
| KR101585022B1 (en) | Streaming Data Analysis System for Motion Detection in Image Monitering System and Streaming Data Analysis Method for Motion detection | |
| JP2007194928A (en) | Remote monitoring device and method | |
| US20200162735A1 (en) | Image processing apparatus and method | |
| WO2013011671A1 (en) | Transmission device and transmission method | |
| US9779099B2 (en) | Method of processing data, and photographing apparatus using the method | |
| KR102268596B1 (en) | Apparatus for changing transmission condition of video data based on metedata and method thereof | |
| US10783670B2 (en) | Method for compression of 360 degree content and electronic device thereof | |
| CN114422798A (en) | Image processing apparatus, camera and method for encoding a sequence of video images | |
| JP5165084B2 (en) | Image encoding device | |
| JP4157661B2 (en) | Method and apparatus for detecting moving object in moving image | |
| JP2008124626A (en) | Apparatus and method for controlling record of image | |
| KR101585951B1 (en) | Image monitoring system and method for determining storage period | |
| KR101313525B1 (en) | Method and system for improving performance of intelligent surveill system using psnr | |
| JP5924262B2 (en) | Image processing apparatus and image processing program | |
| JP5244625B2 (en) | Image compression / decompression device | |
| KR101634342B1 (en) | Cctv monitoring system using event image overlayed background image | |
| JP2017225068A (en) | Imaging apparatus and imaging method | |
| KR101324229B1 (en) | Security system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| N231 | Notification of change of applicant | ||
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) | ||
| GRNT | Written decision to grant |