KR102500923B1 - Stream video playback device and stream video playback system - Google Patents

Stream video playback device and stream video playback system Download PDF

Info

Publication number
KR102500923B1
KR102500923B1 KR1020210071873A KR20210071873A KR102500923B1 KR 102500923 B1 KR102500923 B1 KR 102500923B1 KR 1020210071873 A KR1020210071873 A KR 1020210071873A KR 20210071873 A KR20210071873 A KR 20210071873A KR 102500923 B1 KR102500923 B1 KR 102500923B1
Authority
KR
South Korea
Prior art keywords
stream
stream image
image
video
analysis server
Prior art date
Application number
KR1020210071873A
Other languages
Korean (ko)
Other versions
KR20220163574A (en
Inventor
한준섭
윤태형
Original Assignee
주식회사 지미션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 지미션 filed Critical 주식회사 지미션
Priority to KR1020210071873A priority Critical patent/KR102500923B1/en
Publication of KR20220163574A publication Critical patent/KR20220163574A/en
Application granted granted Critical
Publication of KR102500923B1 publication Critical patent/KR102500923B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4666—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms using neural networks, e.g. processing the feedback provided by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

실시예에 따른 스트림 영상 재생 장치는 디스플레이부; 및 스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제1 스트림 영상을 생성하고, 상기 스트리밍 서버로부터 전송된 상기 스트림 영상이 분석 서버에서 디코딩되어 생성된 제2 스트림 영상에 포함된 소정의 객체의 좌표 정보를 상기 분석 서버로부터 수신하며, 상기 제1 스트림 영상에 포함된 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력하기 위한 제어부;를 포함할 수 있다.A stream image reproducing apparatus according to an embodiment includes a display unit; And the stream image received from the streaming server is decoded to generate a first stream image, and the stream image transmitted from the streaming server is decoded by the analysis server to obtain coordinate information of a predetermined object included in the generated second stream image. It may include a controller for receiving from the analysis server and rendering the coordinate information of the predetermined object included in the first stream image to the display unit and outputting the coordinate information of the predetermined object received from the analysis server.

Description

스트림 영상 재생 장치 및 스트림 영상 재생 시스템{Stream video playback device and stream video playback system}Stream video playback device and stream video playback system {Stream video playback device and stream video playback system}

본 발명은 스트림 영상 재생 장치 및 스트림 영상 재생 시스템에 관한 것으로, 보다 구체적으로 실시간 스트림 영상을 재생하는 장치와 동일 스트림 영상에 대한 분석을 수행하는 장치가 별개인 경우에도 스트림 영상이 끊기지 않고 연속적으로 재생될 수 있는 환경을 제공하기 위한, 스트림 영상 재생 장치 및 스트림 영상 재생 시스템에 관한 것이다.The present invention relates to a stream video reproducing apparatus and a stream video reproducing system, and more specifically, stream video is continuously reproduced without interruption even when a device for reproducing a real-time stream video and a device for analyzing the same stream video are separate. It relates to a stream video reproducing device and a stream video reproducing system for providing an environment that can be used.

현재 보안용 CCTV가 전국 곳곳에 설치되어 객체를 촬영한 영상으로부터 사람, 차량 등 찾고자 하는 특정 객체를 검출할 수 있다. Currently, CCTVs for security are installed all over the country and can detect specific objects such as people and vehicles to be found from images taken of objects.

이러한 CCTV의 영상 제공으로 경찰청, 국정원 등 모든 종류의 단체에서 해당 영상으로부터 검출된 특정 객체에 대한 정보를 유용하게 제공받을 수 있게 된다.By providing such CCTV images, all kinds of organizations such as the National Police Agency and the National Intelligence Service can usefully receive information about a specific object detected from the corresponding image.

그런데, 일반적으로 CCTV에서 제공되는 영상은 실시간 스트리밍 영상으로 제공되어 재생 단말단에서 재생하는 과정에서 해당 영상이 일부 끊기거나 오류가 발생하는 등의 문제가 종종 있어왔다.However, in general, the video provided by CCTV is provided as a real-time streaming video, and in the process of reproducing at the playback terminal, there have been problems such as part of the video being cut off or an error occurring.

특히, CCTV에서 제공되는 실시간 스트리밍 영상은 그 성격상 용량이 매우 방대하므로, 객체를 검출하기 위해서 별도의 분석 서버가 구비되어야 하는 필요성이 있다.In particular, since the real-time streaming video provided by CCTV has a very large capacity due to its nature, there is a need for a separate analysis server to be provided to detect an object.

그런데, 만일 재생 단말단과 별개로 분석 서버가 구비되도록 하게 된다면, 위와 같은 영상의 끊김 형상은 보다 자주 발생할 것이다.However, if an analysis server is provided separately from the playback terminal, the above video disconnection will occur more often.

이와 같이 실시간 재생되는 스트리밍 영상에 있어서 영상의 불연속 재생을 경험하게 되면 사용자는 불편함을 호소하게 되는 문제점이 있게 된다.In this way, there is a problem in that the user complains of inconvenience when experiencing discontinuous reproduction of the video in the streaming video played in real time.

따라서, 별도의 분석 서버에서 객체를 검출하는 환경을 제공하면서도, 이와 함께 해당 검출 정보를 재생 단말단에서 정확한 타이밍에 수신하여 영상이 연속적으로 재생될 수 있도록 해야하는 니즈가 있다. Therefore, there is a need to provide an environment for detecting an object in a separate analysis server, and to receive the detection information at the correct timing at the playback terminal so that the video can be continuously reproduced.

본 발명에 따르면, 위와 같은 니즈가 반영되어 도출된 것으로, 별도의 분석 서버를 마련하여 해당 분석 서버를 통해 객체에 대한 특성 정보를 생성하도록 하면서도, 스트림 영상 재생 장치가 해당 특성 정보를 참조하여 스트림 영상을 재생하는 데 있어서 연속적으로 재생될 수 있도록 하는 데에 그 목적이 있다.According to the present invention, it was derived by reflecting the above needs, and a separate analysis server is prepared to generate characteristic information about an object through the analysis server, while a stream video reproducing apparatus refers to the corresponding characteristic information to perform stream video The purpose is to enable continuous reproduction in reproducing.

구체적으로, 스트림 영상 재생 장치가 스트리밍 서버로부터 직접 수신한 영상과 분석 서버를 경유하여 획득된 영상의 특성 정보를 참조하는데 있어서, 각 영상간 타임 스탬프 정보의 일치 여부를 참조하여 영상 간 동기화를 수행할 수 있게 되어, 실시간 스트림 영상이 끊기지 않고 재생될 수 있도록 하는 데에 그 목적이 있다.Specifically, when the stream video reproducing apparatus refers to the characteristic information of the video directly received from the streaming server and the video obtained via the analysis server, synchronization between the videos is performed by referring to whether the timestamp information between the videos matches. Its purpose is to enable real-time stream video to be reproduced without interruption.

본 발명에 따르면, 1차적으로 동기화를 수행하고, 상황에 따라 2차적으로 다시 사용자에 의한 조정 명령이 반영된 결과로 동기화를 수행하도록 함으로써, 사용자는 끊기지 않는 스트림 영상을 제공받을 수 있도록 하는 데에 그 목적이 있다.According to the present invention, synchronization is performed primarily, and synchronization is performed secondarily as a result of the user's adjustment command being reflected again according to the situation, so that the user can be provided with an uninterrupted stream image. There is a purpose.

본 발명에 따르면, 스트림 영상을 객체 단위로 구별하여 생성하고, 각 객체별 종류에 따라 상이한 분석 서버에서 분석이 수행되도록 하여 분석 속도가 보다 빨라질 수 있도록 하는 데에 그 목적이 있다.According to the present invention, an object of the present invention is to differentiate and generate stream images by object unit, and to speed up the analysis by enabling analysis to be performed in different analysis servers according to the type of each object.

실시예에 따른 스트림 영상 재생 장치는 디스플레이부; 및 스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제1 스트림 영상을 생성하고, 상기 스트리밍 서버로부터 전송된 상기 스트림 영상이 분석 서버에서 디코딩되어 생성된 제2 스트림 영상에 포함된 소정의 객체의 좌표 정보를 상기 분석 서버로부터 수신하며, 상기 제1 스트림 영상에 포함된 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력하기 위한 제어부;를 포함할 수 있다.A stream image reproducing apparatus according to an embodiment includes a display unit; And the stream image received from the streaming server is decoded to generate a first stream image, and the stream image transmitted from the streaming server is decoded by the analysis server to obtain coordinate information of a predetermined object included in the generated second stream image. It may include a controller for receiving from the analysis server and rendering the coordinate information of the predetermined object included in the first stream image to the display unit and outputting the coordinate information of the predetermined object received from the analysis server.

상기 제어부는, 상기 제1 스트림 영상의 제1 타임 스탬프와 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력할 수 있다.When the control unit determines that the difference between the first time stamp of the first stream image and the second time stamp of the second stream image is less than a predetermined value, the controller displays the predetermined object included in the first stream video as The coordinate information of the predetermined object received from the analysis server may be rendered and output to the display unit.

상기 제어부는, 사용자로부터 상기 제1 스트림 영상의 재생 시간을 변경하기 위한 제어 명령을 수신하면, 상기 제1 스트림 영상의 제1 타임 스탬프에 상기 제어 명령을 반영하여 결과값을 생성하고, 상기 결과값과 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력할 수 있다.When receiving a control command for changing the playback time of the first stream video from the user, the control unit generates a result value by reflecting the control command to a first time stamp of the first stream video, and generates the result value. If it is determined that the difference between the second time stamp of the second stream video and the second time stamp is less than a predetermined value, the coordinate information of the predetermined object received from the analysis server is assigned to the predetermined object included in the first stream video. It can be rendered and output to the display unit.

상기 스트림 영상은 객체 단위로 구별되어 생성된 것일 수 있다.The stream image may be generated by being differentiated in object units.

다른 실시예에 따른 스트림 영상 재생 시스템은 영상을 스트리밍 형태로 제공하는 스트리밍 서버; 상기 스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제2 스트림 영상을 생성하고, 상기 제2 스트림 영상에 포함된 소정의 객체의 좌표 정보를 출력하는 분석 서버; 및 상기 스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제1 스트림 영상을 생성하고, 상기 제2 스트림 영상에 포함된 상기 소정의 객체의 좌표 정보를 상기 분석 서버로부터 수신하며, 상기 제1 스트림 영상에 포함된 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 렌더링하여 출력하는 스트림 영상 재생 장치;를 포함할 수 있다.A stream video playback system according to another embodiment includes a streaming server providing video in a streaming form; an analysis server that decodes the stream image received from the streaming server to generate a second stream image and outputs coordinate information of a predetermined object included in the second stream image; And decoding the stream image received from the streaming server to generate a first stream image, receiving the coordinate information of the predetermined object included in the second stream image from the analysis server, and including it in the first stream image and a stream image playback device that renders and outputs the coordinate information of the predetermined object received from the analysis server to the predetermined object.

상기 스트림 영상 재생 장치는, 상기 제1 스트림 영상의 제1 타임 스탬프와 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 렌더링하여 출력할 수 있다.The stream video reproducing apparatus determines that the difference between the first time stamp of the first stream video and the second time stamp of the second stream video is less than a predetermined value, the predetermined value included in the first stream video. The coordinate information of the predetermined object received from the analysis server may be rendered and outputted to the object.

상기 스트림 영상 재생 장치는, 사용자로부터 상기 제1 스트림 영상의 재생 시간을 변경하기 위한 제어 명령을 수신하면, 상기 제1 스트림 영상의 제1 타임 스탬프에 상기 제어 명령을 반영하여 결과값을 생성하고, 상기 결과값과 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력할 수 있다.When receiving a control command for changing the reproduction time of the first stream image from the user, the stream image reproducing apparatus generates a result value by reflecting the control command to a first time stamp of the first stream image, If it is determined that the difference between the resultant value and the second time stamp of the second stream video is less than a predetermined value, the coordinates of the predetermined object received from the analysis server are assigned to the predetermined object included in the first stream video. Information may be rendered and output to the display unit.

상기 스트림 영상은 객체 단위로 구별되어 생성된 것일 수 있다.The stream image may be generated by being differentiated in object units.

상기 분석 서버는 복수 개이고, 상기 복수 개의 분석 서버마다 상이한 종류의 객체에 대응하는 좌표 정보를 출력할 수 있다.There are a plurality of analysis servers, and each of the plurality of analysis servers may output coordinate information corresponding to different types of objects.

상기 분석 서버는, 신경망을 학습하여 생성된 스트림 영상 분석 모델을 통해 상기 제2 스트림 영상을 이용하여 상기 제2 스트림 영상에 포함된 상기 객체의 좌표 정보를 출력할 수 있다.The analysis server may output coordinate information of the object included in the second stream image using the second stream image through a stream image analysis model generated by learning a neural network.

본 발명에 따르면, 스트림 영상 재생 장치가 스트리밍 서버로부터 직접 수신한 영상과 분석 서버를 경유하여 획득된 영상의 특성 정보를 참조하는데 있어서, 각 영상간 타임 스탬프 정보의 일치 여부를 참조하여 영상 간 동기화를 수행할 수 있게 되어, 실시간 스트림 영상이 끊기지 않고 재생될 수 있게 된다.According to the present invention, when a stream video reproducing apparatus refers to characteristic information of a video directly received from a streaming server and an video obtained via an analysis server, synchronization between videos is performed by referring to whether time stamp information between the respective videos matches. As a result, real-time stream video can be played without interruption.

본 발명에 따르면, 1차적으로 동기화를 수행하고, 상황에 따라 2차적으로 다시 사용자에 의한 조정 명령이 반영된 결과로 동기화를 수행하도록 함으로써, 사용자는 끊기지 않는 스트림 영상을 제공받을 수 있게 된다.According to the present invention, the user can be provided with an uninterrupted stream image by first synchronizing and secondarily synchronizing according to the situation as a result of the user's adjustment command being reflected.

본 발명에 따르면, 스트림 영상을 객체 단위로 구별하여 생성하고, 각 객체별 종류에 따라 상이한 분석 서버에서 분석이 수행되도록 하여 분석 속도가 보다 빨라질 수 있게 된다. According to the present invention, the analysis speed can be increased by distinguishing and generating stream images in object units and performing analysis in different analysis servers according to the type of each object.

도 1은 실시예에 따른 스트림 영상 재생 시스템을 설명하기 위한 도면이다.
도 2는 실시예에 따른 스트림 영상 재생 시스템을 통한 스트림 영상 재생 방법을 설명하기 위한 도면이다.
도 3은 실시예에 따른 스트리밍 서버(20)의 블록도이다.
도 4는 실시예에 따른 스트림 영상 재생 장치(30)의 블록도이다.
도 5는 실시예에 따른 스트림 영상 재생 장치(30)의 재생 방법을 설명하기 위한 순서도이다.
도 6 및 도 7은 실시예에 따라 객체 별로 생성되는 스트림 영상을 설명하기 위해 참조되는 도면이다.
도 8은 실시예에 따른 분석 서버(40)의 블록도이다.
도 9는 실시예에 따른 분석 서버(40)의 동작 수행을 설명하기 위한 도면이다.
도 10은 실시예에 따른 스트림 영상 재생 장치(30)를 통해 출력되는 렌더링 화면의 예시이다.1 is a diagram for explaining a stream video reproducing system according to an embodiment.
2 is a diagram for explaining a method of reproducing a stream image through a stream image reproducing system according to an embodiment.
3 is a block diagram of a streaming server 20 according to an embodiment.
4 is a block diagram of a stream video playback device 30 according to an embodiment.
5 is a flowchart illustrating a playback method of the stream video reproducing apparatus 30 according to an embodiment.
6 and 7 are diagrams referenced to describe a stream image generated for each object according to an embodiment.
8 is a block diagram of an analysis server 40 according to an embodiment.
9 is a diagram for explaining the operation of the analysis server 40 according to the embodiment.
10 is an example of a rendering screen output through the stream video playback device 30 according to an embodiment.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The detailed description of the present invention which follows refers to the accompanying drawings which illustrate, by way of illustration, specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable one skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different from each other but are not necessarily mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented in one embodiment in another embodiment without departing from the spirit and scope of the invention. Additionally, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the invention. Accordingly, the detailed description set forth below is not to be taken in a limiting sense, and the scope of the present invention, if properly described, is limited only by the appended claims, along with all equivalents as claimed by those claims. Like reference numbers in the drawings indicate the same or similar function throughout the various aspects.

도 1은 실시예에 따른 스트림 영상 재생 시스템을 설명하기 위한 도면이다.1 is a diagram for explaining a stream video reproducing system according to an embodiment.

도 1에 도시한 바와 같이, 스트림 영상 재생 시스템은 IP 카메라(10), 스트리밍 서버(20), 스트림 영상 재생 장치(30), 및 분석 서버(40) 사이의 데이터 송수신으로 구성된다.As shown in FIG. 1, the stream video playback system is composed of data transmission and reception between the IP camera 10, the streaming server 20, the stream video playback device 30, and the analysis server 40.

IP 카메라(10)는 객체를 촬영하여 실시간 스트림 영상을 생성할 수 있다. 실시예에 따르면, IP 카메라(10)는 CCTV 용 카메라, 스마트폰 카메라, 웹캠(webcam) 등 실시간 영상을 생성하여 제공할 수 있는 모든 종류의 네트워크 카메라를 포함할 수 있다.The IP camera 10 may capture an object and generate a real-time stream image. According to the embodiment, the IP camera 10 may include all types of network cameras capable of generating and providing real-time images, such as CCTV cameras, smart phone cameras, and webcams.

스트리밍 서버(20)는 영상을 스트리밍 형태로 제공할 수 있다.The streaming server 20 may provide images in a streaming form.

스트리밍 서버(20)는 통신부(230)를 통해 IP 카메라(10), 분석 서버(40), 및 스트림 영상 재생 장치(30)와 데이터 송수신을 수행할 수 있다. The streaming server 20 may transmit/receive data with the IP camera 10 , the analysis server 40 , and the stream video playback device 30 through the communication unit 230 .

스트리밍 서버(20)는 IP 카메라(10)로부터 제공되는 실시간 스트림 영상을 인코딩하여 분석 서버(40) 및 스트림 영상 재생 장치(30)로 전송할 수 있다.The streaming server 20 may encode the real-time stream video provided from the IP camera 10 and transmit it to the analysis server 40 and the stream video playback device 30 .

분석 서버(40)는 통신부(430)를 통해 스트리밍 서버(20), 분석 중개 서버(50), 및 스트림 영상 재생 장치(30)와 데이터 송수신을 수행할 수 있다.The analysis server 40 may perform data transmission and reception with the streaming server 20, the analysis mediation server 50, and the stream video playback device 30 through the communication unit 430.

분석 서버(40)는 스트리밍 서버(20)로부터 수신한 인코딩된 스트림 영상을 디코딩하여 제2 스트림 영상을 생성하고, 제2 스트림 영상으로부터 스트림 영상 분석 모델을 통해 제2 스트림 영상에 포함된 특정 객체의 좌표 정보를 출력할 수 있다.The analysis server 40 decodes the encoded stream image received from the streaming server 20 to generate a second stream image, and analyzes the specific object included in the second stream image through a stream image analysis model from the second stream image. Coordinate information can be output.

스트림 영상 재생 장치(30)는 영상을 재생하는 플레이어 어플리케이션을 구동할 수 있는 개인용 컴퓨터, 스마트폰 등 모든 종류의 장치를 포함할 수 있다.The stream video playback device 30 may include all types of devices such as personal computers and smart phones capable of driving a player application for playing video.

스트림 영상 재생 장치(30)는 통신부(340)를 통해 스트리밍 서버(20), 분석 서버(40), 및 분석 중개 서버(50)와 데이터 송수신을 수행할 수 있다.The stream video playback device 30 may perform data transmission and reception with the streaming server 20, the analysis server 40, and the analysis mediation server 50 through the communication unit 340.

스트림 영상 재생 장치(30)는 스트리밍 서버(20)로부터 수신한 인코딩된 스트림 영상을 디코딩하여 제1 스트림 영상을 생성하고, 분석 서버(40)로부터 제2 스트림 영상에 포함된 특정 객체의 좌표 정보를 수신하여, 제1 스트림 영상에 포함된 객체에 분석 서버(40)로부터 수신한 객체의 좌표 정보를 렌더링하여 출력할 수 있다.The stream image reproducing device 30 decodes the encoded stream image received from the streaming server 20 to generate a first stream image, and receives coordinate information of a specific object included in the second stream image from the analysis server 40. Upon reception, the coordinate information of the object received from the analysis server 40 may be rendered and output to the object included in the first stream image.

도 2는 실시예에 따른 스트림 영상 재생 시스템을 통한 스트림 영상 재생 방법을 설명하기 위한 도면이다.2 is a diagram for explaining a method of reproducing a stream image through a stream image reproducing system according to an embodiment.

도 2에 도시한 바와 같이, 스트리밍 서버(20)는 IP 카메라(10)로부터 스트림 영상을 수신하여 저장부(220)에 저장할 수 있다(S1). 그리고, 저장된 스트림 영상 에 대하여 블록화하여 병렬 인코딩 처리를 수행한 후, 처리 결과를 스트림 영상 재생 장치(30) 및 분석 서버(40)에 전송할 수 있다.As shown in FIG. 2, the streaming server 20 may receive a stream image from the IP camera 10 and store it in the storage unit 220 (S1). In addition, after performing parallel encoding processing by block-coding the stored stream images, the processing result may be transmitted to the stream image reproducing device 30 and the analysis server 40.

구체적으로 도 3을 함께 참조하면, 인코딩 모듈(211)은 IP 카메라(10)로부터 전송되는 스트림 영상들을 실시간 스트리밍 프로토콜(Real-Time Streaming Protocol, RTSP), 라우팅 테이블 프로토콜(Routing Table Protocol, RTP), 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP), 전송 제어 프로토콜/인터넷 프로토콜(Transport Control Protocol / Internet Protocol, TCP/IP), 하이퍼텍스트 전송 규약(HyperText Transfer Protocol, HTTP), H.264(동영상 압축 규격의 하나로, 비디오 데이터의 기록, 압축 및 배포를 위한 포맷), H.265(ITU-T VCEG에서 추진 중인 차세대 비디오 부호화 표준) 및 MPEG4(Moving Picture Experts Group 4) 중 적어도 하나의 표준 방식을 이용하여 스트림 영상들을 패킷 단위로 수신한 후, 수신된 스트림 영상 패킷에서 헤더를 제외한 페이로드에서 바이트 단위로 구분하는 디코딩을 수행할 수 있다.Specifically, referring to FIG. 3 , the encoding module 211 converts stream images transmitted from the IP camera 10 into a Real-Time Streaming Protocol (RTSP), a Routing Table Protocol (RTP), User Datagram Protocol (UDP), Transport Control Protocol / Internet Protocol (TCP/IP), HyperText Transfer Protocol (HTTP), H.264 (video compression standard) As one of, using at least one standard method among a format for recording, compressing and distributing video data), H.265 (a next-generation video encoding standard promoted by ITU-T VCEG) and MPEG4 (Moving Picture Experts Group 4) After the stream images are received in packet units, decoding may be performed to classify the received stream image packets in byte units from the payload excluding the header.

인코딩 모듈(211)은 디코딩된 스트림 영상 데이터에 해당하는 영상의 프레임에 대해서 미리 설정된 단위 화소 면적(예, 64×64)으로 블록화하고 블록화된 데이터에 대한 인코딩을 병렬 처리 수단을 통해서 수행함으로써, 인코딩 처리 속도를 개선하여 고속으로 움직이는 객체가 출현 시 프레임 누락 현상을 방지할 수 있게 된다.The encoding module 211 blocks an image frame corresponding to the decoded stream image data into a preset unit pixel area (eg, 64×64) and encodes the blocked data through parallel processing means, thereby encoding the image. By improving the processing speed, it is possible to prevent frame drop when a high-speed moving object appears.

참고로, 본 발명의 스트림 영상은 오디오 및 비디오 정보를 함께 포함하는 것으로 정의될 수 있다.For reference, the stream image of the present invention may be defined as including both audio and video information.

영상 전송 제어 모듈(212)는 인코딩된 스트림 영상을 스트림 영상 재생 장치(30) 및 분석 서버(40) 각각에 대한 전송을 제어할 수 있다. The video transmission control module 212 may control transmission of the encoded stream video to each of the stream video reproducing device 30 and the analysis server 40 .

즉, 본 발명에 따르면, 인코딩된 스트림 영상을 스트림 영상 재생 장치(30) 및 분석 서버(40)에 함께 전송하고, 이를 수신한 스트림 영상 재생 장치(30)에서 영상에 포함된 객체의 좌표 정보를 추출하는 것이 아닌, 별도의 분석 서버(40)에서 객체의 좌표 정보를 추출한 후에 해당 결과를 스트림 영상 재생 장치(30)에 전송하여, 스트림 영상 재생 장치(30)를 통해 추출된 객체의 좌표 정보가 스트림 영상에 렌더링되어 출력되는 것을 특징으로 한다. That is, according to the present invention, the encoded stream video is transmitted to the stream video reproducing apparatus 30 and the analysis server 40 together, and the received stream video reproducing apparatus 30 converts the coordinate information of the object included in the video. Rather than extracting, after extracting the coordinate information of the object in a separate analysis server 40, the result is transmitted to the stream video playback device 30, so that the coordinate information of the object extracted through the stream video playback device 30 It is characterized in that it is rendered and output to the stream image.

이로써, 객체의 좌표 정보 등의 특성 정보 추출은 별도의 서버 장비에서 인공 지능을 이용해 빠르게 이루어지도록 하여, 스트림 영상 재생 장치(30)의 작업 로드가 줄어들고 보다 빠른 처리가 가능해진다. As a result, extraction of characteristic information such as coordinate information of an object is performed quickly using artificial intelligence in a separate server equipment, thereby reducing the work load of the stream video reproducing apparatus 30 and enabling faster processing.

특히, 스트림 영상의 특성 상 많은 용량의 영상과 객체의 좌표 정보를 추출해서 객체를 식별하게 되므로, 이는 스트림 영상 재생 장치(30)보다 분석 서버(40)에서 별도로 이루어짐이 바람직하다. 더욱이, 본 발명의 경우, 분석 서버(40)도 식별 대상이 되는 객체의 종류마다 별도로 구비되도록 함으로써, 보다 빠르고 효율적인 작업 처리가 가능해진다. In particular, since the object is identified by extracting a large amount of image and coordinate information of the object due to the characteristics of the stream image, it is preferable that the analysis server 40 separately performs this process rather than the stream image reproducing device 30 . Moreover, in the case of the present invention, the analysis server 40 is also provided separately for each type of object to be identified, so that faster and more efficient work processing is possible.

다만, 객체의 좌표 정보 추출이 스트림 영상 재생 장치(30)에서 직접 수행되는 것이 아니므로, 영상 간 타임 스탬프를 확인하여 서로 간에 동기화를 시키는 과정이 필요하며, 이에 대한 자세한 내용은 후술한다. However, since the coordinate information extraction of the object is not directly performed by the stream video reproducing apparatus 30, a process of synchronizing each other by checking time stamps between images is required, which will be described in detail later.

한편, 실시예에 따라 도 6 및 도 7을 참조하면, 복수의 IP 카메라(10, 10-1, …, 10-n)가 복수의 위치에 배치되어 동일 객체를 촬영하는 경우, 스트리밍 서버(20)는 복수의 위치에서 획득된 복수의 영상을 함께 인코딩할 수 있다. (여기서, 복수의 위치란 객체의 이동에 따른 상이한 장소를 의미한다.) 즉, 복수의 영상 각각은 객체의 위치 정보를 출력할 수 있고, 실시예에 따라 해당 객체의 위치 정보를 자막의 형태로 출력할 수 있다. On the other hand, referring to FIGS. 6 and 7 according to an embodiment, when a plurality of IP cameras 10, 10-1, ..., 10-n are arranged in a plurality of locations to photograph the same object, the streaming server 20 ) can encode a plurality of images obtained from a plurality of locations together. (Here, a plurality of locations means different places according to the movement of the object.) That is, each of the plurality of images can output location information of the object, and according to the embodiment, the location information of the object in the form of a subtitle. can be printed out.

실시예에 따르면, 스트리밍 서버(20)는 영상을 객체별로 구분하여 생성할 수 있다. 즉, 영상을 관심 대상인 사람, 차량 등 객체별로 구분하여 별개로 생성할 수 있다. 예를 들어, 도 7의 객체는 관심 대상인 특정 사람일 수 있고, 동일 사람에 대해 복수의 장소에서 생성되는 복수의 영상을 먹싱하여 인코딩을 수행할 수 있다. 이에 따라 객체 단위로 인코딩 영상이 생성될 수 있다. 그리고, 객체 단위로 생성된 인코딩 영상은 객체가 이동한 복수의 장소 정보를 출력할 수 있다.According to the embodiment, the streaming server 20 may generate images by classifying them according to objects. That is, the image may be separately generated by dividing the image according to an object of interest, such as a person or a vehicle. For example, the object of FIG. 7 may be a specific person of interest, and encoding may be performed by muxing a plurality of images of the same person generated in a plurality of places. Accordingly, an encoded image may be generated in units of objects. Also, the encoded image generated in object units may output information on a plurality of places where the object has moved.

한편, 객체 단위로 생성된 인코딩 영상은 스트림 영상 재생 장치(30) 및 분석 서버(40)에 각각 전송될 수 있고, 분석 서버(40)는 해당 인코딩 영상을 디코딩하여 후술할 s2의 과정을 수행하고, 스트림 영상 재생 장치(30)는 해당 인코딩 영상을 디코딩하여 후술할 s4를 수행할 수 있다.On the other hand, the encoded video generated in object units may be transmitted to the stream video playback device 30 and the analysis server 40, respectively, and the analysis server 40 decodes the encoded video to perform a process of s2 to be described later, , The stream image reproducing apparatus 30 may decode the corresponding encoded image and perform s4 to be described later.

한편, 분석 서버(40)는 스트리밍 서버(20)로부터 인코딩된 스트림 영상을 수신하여 처리할 수 있다.(s2)Meanwhile, the analysis server 40 may receive and process the encoded stream image from the streaming server 20. (s2)

구체적으로, 분석 서버(40)는 스트리밍 서버(20)로부터 수신한 인코딩된 스트림 영상을 디코딩하여 제2 스트림 영상을 생성하고, 제2 스트림 영상을 이용해 제2 스트림 영상에 포함된 특정 객체의 좌표 정보를 출력할 수 있다. Specifically, the analysis server 40 decodes the encoded stream image received from the streaming server 20 to generate a second stream image, and uses the second stream image to generate coordinate information of a specific object included in the second stream image. can output

여기서, 특정 객체는 검출 대상이 되는 것으로 미리 정해진 객체를 의미한다.Here, the specific object means a predetermined object to be detected.

구체적으로, 분석 서버(40)는 제2 스트림 영상에 포함된 해당 특정 객체가 메모리(420)에 기 저장된 특정 객체와 매핑하는 지 여부를 판단하여, 매핑할 경우 해당 특정 객체의 좌표 정보를 출력하여 스트림 영상 재생 장치(30)로 제공할 수 있다.Specifically, the analysis server 40 determines whether the specific object included in the second stream image is mapped with a specific object pre-stored in the memory 420, and if so, outputs coordinate information of the specific object. It can be provided to the stream video playback device 30.

도 8을 참조하면, 제어부(410)는 제2 스트림 영상으로부터 스트림 영상 분석 모델을 통해 특정 객체의 좌표 정보를 출력할 수 있다.Referring to FIG. 8 , the controller 410 may output coordinate information of a specific object from a second stream image through a stream image analysis model.

도 9를 함께 참조하면, 제어부(410)는 신경망에 대한 학습을 통해 스트림 영상 분석 모델을 생성하고, 생성한 스트림 영상 분석 모델을 이용해 객체로부터 객체의 좌표값을 출력하는 추론 과정을 수행할 수 있다.Referring to FIG. 9 together, the controller 410 may generate a stream image analysis model through learning on a neural network and perform an inference process of outputting coordinate values of an object from an object using the generated stream image analysis model. .

실시예에 따라 객체의 좌표값, 객체의 식별 정보, 객체의 크기 정보, 및 검출의 신뢰도 값 중 적어도 하나(이하, 특성 정보로 정의한다.)를 출력할 수 있다.According to an embodiment, at least one of object coordinate values, object identification information, object size information, and detection reliability value (hereinafter, defined as characteristic information) may be output.

이를 위하여, 우선 제어부(410)는 미리 제2 스트림 영상에 대한 데이터 셋트를 생성할 수 있다. To this end, first, the controller 410 may create a data set for the second stream image in advance.

제어부(410)는 생성한 데이터 셋트를 딥러닝 알고리즘에 적용 가능하도록 전처리할 수 있다.The controller 410 may pre-process the generated data set so that it can be applied to a deep learning algorithm.

예를 들어, 이미지 자르기(crop), 평행 이동 하기(shift), 뒤집기(flipping), 색상 조정 등의 전처리를 수행할 수 있다.For example, preprocessing such as image cropping, shifting, flipping, and color adjustment can be performed.

제어부(410)는 전처리된 데이터 셋트를 미리 준비된 신경망에 입력시키고, 특정 객체의 특성 정보를 신경망으로부터 출력시키는 기계 학습을 반복적으로 수행하여 스트림 영상 분석 모델을 구축할 수 있다. The controller 410 may build a stream image analysis model by inputting the preprocessed data set to a previously prepared neural network and repeatedly performing machine learning to output characteristic information of a specific object from the neural network.

실시예에 따르면 전처리된 데이터 셋트를 입력으로 하는 합성곱 신경망(Convolutional Neural Networks)과, 합성곱 신경망의 출력을 입력으로 하는 완전 연결 심층 신경망(Fully Connected Neural Networks)에 대한 기계 학습을 통해 스트림 영상 분석 모델을 구축할 수 있다. According to the embodiment, stream image analysis through machine learning for convolutional neural networks that take a preprocessed data set as input and fully connected deep neural networks that take the output of the convolutional neural network as input model can be built.

실시예에 따르면, 전처리된 데이터 셋트를 합성곱 신경망이 입력받아 객체의 특징을 분석한 특징 패턴 정보를 출력할 수 있다. According to an embodiment, a convolutional neural network may receive a preprocessed data set and output feature pattern information obtained by analyzing features of an object.

또한, 합성곱 신경망에서 출력된 특징 패턴 정보는 완전 연결 심층 신경망에 입력되어 학습을 수행함으로써 분류된 객체에 해당하는 특성 정보를 출력하는 스트림 영상 분석 모델이 구축될 수 있다.In addition, feature pattern information output from the convolutional neural network is input to a fully connected deep neural network and learning is performed, thereby constructing a stream image analysis model that outputs feature information corresponding to a classified object.

구체적으로, 합성곱 신경망은 제2 스트림 영상에 커널을 이용해 특징 패턴 정보를 나타내는 피쳐맵을 출력할 수 있고, 이 과정에서 제2 스트림 영상에 대한 풀링과 드롭아웃을 수행할 수 있다.Specifically, the convolutional neural network may output a feature map representing feature pattern information using a kernel to the second stream image, and in this process, pull and dropout of the second stream image may be performed.

그리고, 전처리된 데이터 셋트를 이용해 상기 신경망들을 통해 출력된 결과와 트레이닝 데이터를 상기 신경망들을 통해 출력한 결과와의 오차를 비교하여 신경망의 가중치를 점차적으로 변화시켜주는 역전파(backpropagation) 과정을 통해 학습될 수 있다. And, learning through a backpropagation process that gradually changes the weight of the neural network by comparing the error between the result output through the neural networks using the preprocessed data set and the result output through the training data through the neural networks It can be.

즉, 특징 패턴 정보가 완전 연결 심층 신경망에 입력되어 상기 학습을 통해 분류된 객체에 해당하는 특성 정보가 출력될 수 있다.That is, feature pattern information may be input to the fully connected deep neural network, and feature information corresponding to an object classified through learning may be output.

참고로, 도 9를 참조하면, 합성곱 신경망을 이용해 제2 스트림 영상으로부터 커널을 이용해 특징 패턴 정보를 출력하고, 특징 패턴 정보가 완전 연결 심층 신경망에 입력되어 트럼프 얼굴, 워싱턴 얼굴, 클린턴 얼굴.. 중 분류된 트럼프 얼굴에 대응하는 특성 정보(트럼프 얼굴 식별 정보, 2차원 좌표값(X,Y 좌표값, Width, Height)..)가 출력될 수 있다.For reference, referring to FIG. 9 , feature pattern information is output using a kernel from a second stream image using a convolutional neural network, and the feature pattern information is input to a fully-connected deep neural network to generate faces of Trump, Washington, and Clinton. Characteristic information (trump face identification information, two-dimensional coordinate values (X, Y coordinate values, width, height), etc.) corresponding to the classified Trump face may be output.

실시예에 따르면, 상기 학습의 경우, 제2 스트림 영상으로부터 특정 객체가 사람인지 여부를 1차적으로 검출하고, 사람으로 판별되면 2차적으로 사람의 얼굴, 자세, 이동 방향 등의 사람 관련 정보를 검출하도록 구현될 수도 있다.According to the embodiment, in the case of the learning, whether a specific object is a person is firstly detected from the second stream video, and if it is determined as a person, person-related information such as a person's face, posture, and movement direction is secondarily detected. may be implemented to do so.

한편, 미도시 하였으나, 도 9의 과정을 이용해 제2 스트림 영상으로부터 차량 번호에 대응하는 특성 정보가 출력될 수 있다. Meanwhile, although not shown, characteristic information corresponding to a license plate number may be output from the second stream image using the process of FIG. 9 .

이 경우, 제2 스트림 영상으로부터 특정 객체가 차량인지 여부를 1차적으로 검출하고, 차량으로 판별되면 2차적으로 차량의 번호를 검출하도록 구현될 수도 있다. In this case, it may be implemented to firstly detect whether a specific object is a vehicle from the second stream image, and to secondarily detect the vehicle number if it is determined as a vehicle.

본 발명에서는 신경망으로 CNN과 FCNN을 이용한 것을 예시하였으나, 이는 일 실시예에 불과하고, DNN(Deep Neural Network)이나 RNN(Recurrent Neural Network) 등 다양한 신경망을 이용하는 경우에도 본 발명이 동일/유사하게 적용될 수 있다. Although CNN and FCNN are used as neural networks in the present invention, this is only an example, and the present invention can be applied in the same/similar way even when various neural networks such as DNN (Deep Neural Network) or RNN (Recurrent Neural Network) are used. can

제어부(410)는 제2 스트림 영상 속 특정 객체가 검출하고자 하는 객체가 맞을 경우, 구축된 스트림 영상 분석 모델을 통해 추론 과정을 수행하여 특정 객체에 대한 특성 정보를 출력할 수 있다. If the specific object in the second stream video matches the object to be detected, the controller 410 may output characteristic information about the specific object by performing an inference process through the constructed stream video analysis model.

실시예에 따르면, 제어부(410)는 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 분석 서버(40)에 탑재될 수 있다. According to an embodiment, the control unit 410 may be implemented as a software module or manufactured in the form of at least one hardware chip and mounted in the analysis server 40 .

예를 들어, NPU(Neural Processing Unit)와 같은 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작되거나, 기존의 범용 프로세서(예: CPU 또는 Application Processor) 또는 그래픽 전용 프로세서(예: GPU(Graphic Processing Unit) 또는 VPU(Visual Processing Unit))의 일부로 제작되어 분석 서버(40)에 탑재될 수도 있다.For example, it is manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), such as a Neural Processing Unit (NPU), or a conventional general-purpose processor (such as a CPU or Application Processor) or a dedicated graphics processor (such as a GPU). It may be manufactured as a part of (Graphic Processing Unit) or VPU (Visual Processing Unit) and mounted in the analysis server 40.

한편, 실시예에 따르면, 스트림 영상 재생 시스템은 복수의 분석 서버(40)를 포함할 수 있고, 각 분석 서버마다 상이한 종류의 객체에 대응하는 특성 정보를 생성하도록 구현할 수 있다. Meanwhile, according to an embodiment, the stream video playback system may include a plurality of analysis servers 40, and may be implemented to generate characteristic information corresponding to different types of objects for each analysis server.

즉, 제1 분석 서버는 제2 스트림 영상 중 사람만을 분석하도록 구현되고, 제2 분석 서버는 제2 스트림 영상 중 차량만을 분석하도록 구현될 수도 있다. That is, the first analysis server may be implemented to analyze only people among the second stream images, and the second analysis server may be implemented to analyze only vehicles among the second stream images.

이에 따르면, 제1 분석 서버를 통해 제2 스트림 영상 중 특정 객체인 사람에 대한 좌표값이 추출되고, 제2 분석 서버를 통해 제2 스트림 영상 중 특정 객체인 차량에 대한 좌표값이 추출되도록 구현할 수 있다.According to this, it is possible to implement such that coordinate values for a person, which is a specific object, are extracted through the first analysis server, and coordinate values for a vehicle, which is a specific object, are extracted through the second analysis server. there is.

즉, 스트리밍 서버(20)에서 스트림 영상이 객체 단위로 생성되고, 상기 객체별 대응하는 분석 서버(40)가 해당 객체에 대한 특성 정보를 출력하도록 구현하는 것이다. 그리고, 스트리밍 서버(20)로부터 객체 단위로 생성된 스트림 영상을 수신한 스트림 영상 재생 장치(30)는 해당 스트림 영상을 재생 시, 객체별 대응하는 분석 서버(40)에서 분석된 특성 정보를 함께 출력할 수 있는 것이다. That is, stream images are generated in units of objects in the streaming server 20, and the analysis server 40 corresponding to each object outputs characteristic information about the object. In addition, the stream video reproducing apparatus 30 that has received the stream video generated in units of objects from the streaming server 20 outputs the characteristic information analyzed by the analysis server 40 corresponding to each object together when reproducing the stream video. It can be done.

본 발명에 따르면, 이와 같이 스트림 영상을 객체 단위로 구별하여 생성하고, 각 객체별 별도의 분석 서버(40)에서 분석이 수행되도록 하여 분석 속도가 보다 빨라질 수 있게 된다.According to the present invention, in this way, the stream image can be generated by distinguishing each object, and the analysis can be performed at a separate analysis server 40 for each object, so that the analysis speed can be increased.

한편, 분석 서버(40)에서 출력된 특성 정보는 분석 중개 서버(50)를 통해 스트림 영상 재생 장치(30)로 전송될 수 있다(s3). Meanwhile, the characteristic information output from the analysis server 40 may be transmitted to the stream video playback device 30 through the analysis mediation server 50 (s3).

실시예에 따르면, 분석 서버(40)에서 출력된 특성 정보는 별도의 저장 서버(70)에 DB로 저장될 수 있고, 스틸컷 이미지나 크롭된 객체별 이미지 등은 별도의 스토리지(NAS, 60)에 저장될 수 있다. 그리고, 별도의 저장 서버(70)와 별도의 스토리지(NAS, 60)에 저장된 정보들은 실시간 스트리밍 영상 재생 프로세스와 별개로 추후 사용자 요청에 의해 영상을 다시 반복하여 재생하기 위해 활용될 수 있다. 그리고, 이에 대한 자세한 내용은 후술한다.According to the embodiment, the characteristic information output from the analysis server 40 may be stored as a DB in a separate storage server 70, and still cut images or images for each cropped object may be stored in a separate storage (NAS, 60). can be stored in In addition, the information stored in the separate storage server 70 and the separate storage (NAS, 60) can be used to repeatedly play the video again at a later user request, separate from the real-time streaming video playback process. And, details about this will be described later.

한편, 스트림 영상 재생 장치(30)는 스트리밍 서버(20)로부터 인코딩된 스트림 영상을 수신하여 처리할 수 있다.(s4)Meanwhile, the stream video reproducing apparatus 30 may receive and process the encoded stream video from the streaming server 20. (s4)

도 4와 도 5를 함께 참조하면, 제어부(310)는 인코딩된 스트림 영상을 스트리밍 서버(20)로부터 수신할 수 있다(s310). 구체적으로, 제어부(310)는 스트림 영상 패킷에 대한 수신 완료 패킷을 스트리밍 서버(20)ㄹ쟈ㅕ로 전송하여 스트림 영상 패킷이 재전송되지 않도록 할 수 있다.Referring to FIGS. 4 and 5 together, the controller 310 may receive the encoded stream image from the streaming server 20 (s310). Specifically, the control unit 310 may prevent the stream video packet from being retransmitted by transmitting the reception completion packet for the stream video packet to the streaming server 20 .

제어부(310)는 수신한 인코딩된 스트림 영상을 디코딩하여 제1 스트림 영상을 생성할 수 있다(s320).The controller 310 may generate a first stream image by decoding the received encoded stream image (S320).

구체적으로, 제어부(310)는 소정의 시간 이후에 재생될 제1 스트림 영상을 메모리(320)에 버퍼링할 수 있다. 즉, 제어부(310)는 소정의 시간 이후부터 버퍼링된 제1 스트림 영상의 재생을 제어할 수 있다. Specifically, the controller 310 may buffer the first stream image to be reproduced after a predetermined time in the memory 320 . That is, the control unit 310 may control reproduction of the buffered first stream image after a predetermined time.

제어부(310)는 재생될 제1 스트림 영상의 디코딩 시각을 결정하여 각 영상마다 결정된 시간 정보를 삽입할 수 있다.The controller 310 may determine the decoding time of the first stream image to be reproduced and insert the determined time information for each image.

여기서, 결정된 시간 정보는 타임 스탬프(Time Stamp) 정보로 관리할 수 있다. 타임 스탬프 정보는 UTC (Coordinated Universal Time)를 참조하여 제공될 수 있다.Here, the determined time information can be managed as time stamp information. Time stamp information may be provided with reference to Coordinated Universal Time (UTC).

제어부(310)는 분석 서버(40)로부터 제2 스트림 영상에 포함된 객체의 좌표 정보를 수신할 수 있다.(s330)The controller 310 may receive coordinate information of an object included in the second stream image from the analysis server 40 (s330).

여기서, 제2 스트림 영상은 분석 서버(40)가 스트리밍 서버(20)로부터 수신한 인코딩된 스트림 영상을 디코딩하여 생성된 것일 수 있다.Here, the second stream image may be generated by decoding the encoded stream image received by the analysis server 40 from the streaming server 20 .

실시예에 따르면, 분석 서버(40)는 제2 스트림 영상의 디코딩 시각을 결정하여 각 영상마다 결정된 시간 정보를 삽입할 수 있다. According to the embodiment, the analysis server 40 may determine the decoding time of the second stream image and insert the determined time information for each image.

여기서, 결정된 시간 정보는 타임 스탬프(Time Stamp) 정보로 관리할 수 있다. 타임 스탬프 정보는 UTC (Coordinated Universal Time)를 참조하여 제공될 수 있다.Here, the determined time information can be managed as time stamp information. Time stamp information may be provided with reference to Coordinated Universal Time (UTC).

분석 서버(40)가 스트림 영상 분석 모델을 통해 제2 스트림 영상으로부터 객체의 좌표 정보를 추출하여 스트림 영상 재생 장치(30)로 전송하면, 스트림 영상 재생 장치(30)는 해당 객체의 좌표 정보를 분석 서버(40)로부터 수신할 수 있다.When the analysis server 40 extracts object coordinate information from the second stream image through a stream image analysis model and transmits the object's coordinate information to the stream image playback device 30, the stream image playback device 30 analyzes the object's coordinate information. It can be received from the server 40.

실시예에 따르면, 제2 스트림 영상의 타임 스탬프 정보도 함께 스트림 영상 재생 장치(30)로 전송될 수 있다.According to the embodiment, time stamp information of the second stream image may also be transmitted to the stream image reproducing apparatus 30 .

실시예에 따르면, 분석 서버(40)로부터 수신한 제2 스트림 영상에 포함된 객체의 좌표 정보 및/또는 타임 스탬프 정보는 스트림 영상 재생 장치(30)에 소정 시간 버퍼링될 수 있다.According to the embodiment, the object coordinate information and/or time stamp information included in the second stream image received from the analysis server 40 may be buffered in the stream image reproducing device 30 for a predetermined time.

제어부(310)는 제1 스트림 영상에 포함된 객체에 분석 서버(40)로부터 수신한 객체의 좌표 정보를 디스플레이부(330)를 통해 렌더링하여 출력할 수 있다.(s340)The control unit 310 may render and output the object coordinate information received from the analysis server 40 to the object included in the first stream image through the display unit 330 (s340).

제어부(310)는 제1 스트림 영상에 포함된 특정 객체에 분석 서버(40)로부터 수신한 제2 스트림 영상에 포함된 상기 특정 객체의 좌표 정보를 출력할 수 있다.The controller 310 may output coordinate information of the specific object included in the second stream image received from the analysis server 40 to the specific object included in the first stream image.

참고로, 여기서 특정 객체는 검출 대상이 되는 것으로 미리 정해진 객체를 의미한다.For reference, here, a specific object means a predetermined object to be detected.

제어부(310)는 상기 제1 스트림 영상의 제1 타임 스탬프와 상기 제2 스트림 영상의 제2 타임 스탬프를 서로 비교하여, 제1 타임 스탬프와 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 제1 스트림 영상에 포함된 객체에 제2 스트림 영상에 포함된 상기 객체의 좌표 정보를 출력할 수 있다. The controller 310 compares the first time stamp of the first stream image with the second time stamp of the second stream image and determines that the difference between the first time stamp and the second time stamp is less than a predetermined value. , Coordinate information of the object included in the second stream image may be output to the object included in the first stream image.

바람직하게는, 두 타임 스탬프 정보가 일치하거나 거의 근사치인 경우 상기 과정을 수행할 수 있다.Preferably, the above process may be performed when the two timestamp information matches or is close to each other.

본 발명에 따르면, 이와 같이 스트림 영상 재생 장치(30)가 스트리밍 서버(20)로부터 직접 수신한 영상과 분석 서버(40)를 경유하여 획득된 영상의 특성 정보를 참조하는데 있어서, 각 영상간 타임 스탬프 정보의 일치 여부를 참조하여 영상 간 동기화를 수행할 수 있게 되어, 실시간 스트림 영상이 끊기지 않고 재생될 수 있게 된다.According to the present invention, in referring to the characteristic information of the video directly received by the stream video reproducing apparatus 30 from the streaming server 20 and the video obtained via the analysis server 40, the time stamp between each video It is possible to perform synchronization between images by referring to whether the information matches, so that real-time stream images can be played without interruption.

특히, 실시예에 따르면, 제어부(310)는 사용자로부터 상기 제1 스트림 영상의 재생 시간을 변경하기 위한 제어 명령을 수신하면, 상기 제1 스트림 영상의 제1 타임 스탬프에 상기 제어 명령을 반영하여 결과값을 생성할 수 있다.In particular, according to the embodiment, when receiving a control command for changing the playback time of the first stream video from the user, the control unit 310 reflects the control command to the first time stamp of the first stream video and results in the result. value can be created.

스트림 영상 재생 장치(30)가 스트림 영상을 재생하는 과정에서 간혹 스트림 영상의 객체가 분석 서버(40)로부터 수신한 객체의 좌표 정보와 매핑하지 않는 경우가 발생할 수 있을 수 있다. 예를 들어, 시스템을 재부팅하거나 시스템에 오류가 생기는 등 기타 외부 환경적인 요인에 의해 동기화가 잘 이루어지지 않는 경우가 발생할 수 있는 것이다.In the course of the stream image reproducing apparatus 30 reproducing the stream image, there may occasionally occur a case in which the object of the stream image does not map to the coordinate information of the object received from the analysis server 40 . For example, synchronization may not be performed well due to other external environmental factors such as system reboot or system error.

본 발명에 따르면, 이 경우, 스트림 영상 재생 장치(30)에 제공되는 영상 재생 어플리케이션을 통해 사용자로부터 이러한 동기화를 다시 수행하기 위한 소정의 조정 명령을 입력받을 수 있고, 이에 따라 제어부(310)가 제1 스트림 영상의 제1 타임 스탬프에 상기 조정 명령을 반영하여 새로운 디코딩 타임에 대응하는 결과값을 생성할 수 있다.According to the present invention, in this case, a predetermined adjustment command for performing such synchronization again may be input from the user through a video playback application provided to the stream video playback device 30, and accordingly, the control unit 310 controls the A result value corresponding to a new decoding time may be generated by reflecting the adjustment command to the first time stamp of one stream image.

이어서, 제어부(310)는 상기 결과값과 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 객체에 상기 분석 서버(40)로부터 수신한 상기 객체의 좌표 정보를 상기 디스플레이부(330)에 렌더링하여 출력할 수 있다.Subsequently, when the controller 310 determines that the difference between the result value and the second time stamp of the second stream video is less than a predetermined value, the object included in the first stream video is sent from the analysis server 40 The received coordinate information of the object may be rendered and output on the display unit 330 .

이 때, 도 10과 같이 객체 상에 해당 좌표값에 대응하는 바운딩 박스를 렌더링하여 출력할 수 있다. At this time, as shown in FIG. 10, a bounding box corresponding to the corresponding coordinate value may be rendered and output on the object.

실시예에 따르면, 바운딩 박스와 함께 특성 정보(객체의 좌표값(즉, 바운딩 박스에 대응하는 2차원 좌표값(X,Y 좌표값, Width, Height)), 객체의 식별 정보, 객체의 크기 정보, 검출의 신뢰도 값 등)도 함께 렌더링되어 디스플레이부(330)에 출력될 수 있다.According to the embodiment, along with the bounding box, characteristic information (object coordinate values (ie, 2-dimensional coordinate values (X, Y coordinate values, Width, Height) corresponding to the bounding box), object identification information, and object size information) , detection reliability value, etc.) may also be rendered and output to the display unit 330 .

본 발명에 따르면, 이와 같이 1차적으로 동기화를 수행하고, 상황에 따라 2차적으로 다시 사용자에 의한 조정 명령이 반영된 결과로 동기화를 수행하도록 함으로써, 사용자는 끊기지 않는 스트림 영상을 제공받을 수 있게 된다. According to the present invention, the user can be provided with an uninterrupted stream image by first synchronizing as described above and secondarily synchronizing according to the situation as a result of the user's adjustment command being reflected.

한편, 지금까지는 실시간 스트림 영상 재생(s1 내지 s4)에 대하여 기술하였으며, 저장 서버(70)와 스토리지(60)에 저장된 정보들을 이용하여 스트림 영상 재생이 종료된 이후에도 사용자 요청에 의해 동일 영상을 다시 재생할 수 있다. Meanwhile, real-time stream video playback (s1 to s4) has been described so far, and the same video can be played back at the user's request even after stream video playback is terminated using the information stored in the storage server 70 and the storage 60. can

다시 도 2를 참조하여 설명하면, 구체적으로, 저장 서버(70)는 분석 서버(40)에서 출력된 특성 정보를 별도로 보관하고, 스토리지(60)는 스틸컷 이미지나 크롭된 객체별 이미지를 보관할 수 있다. Referring again to FIG. 2, in detail, the storage server 70 separately stores the characteristic information output from the analysis server 40, and the storage 60 may store still cut images or images for each cropped object. there is.

그리고, 사용자가 이미 실시간으로 재생되었던 스트림 영상이나 특정 객체에 대해 다시 재생하고자 하는 경우, 해당 요청 정보가 스트림 영상 재생 장치(30)를 통해 WAS(Web Application Server, 80)를 경유하여 스토리지(60)와 저장 서버(70)로 전송되고, 스트림 영상 재생 장치(30)는 스토리지(60)와 저장 서버(70)로부터 상기 요청 정보에 대응하는 스틸컷 이미지나 객체별 이미지, 그리고 특성 정보를 수신하여 동일 영상을 필요에 의해 다시 재생할 수 있다.In addition, when the user wants to replay a stream video or a specific object that has already been played in real time, the request information is sent to the storage 60 via the WAS (Web Application Server, 80) through the stream video playback device 30. and is transmitted to the storage server 70, and the stream video playback device 30 receives a still cut image or an image for each object and characteristic information corresponding to the requested information from the storage 60 and the storage server 70, and the same The video can be played back as needed.

이상에서 실시예들에 설명된 특징, 구조, 효과 등은 본 발명의 하나의 실시예에 포함되며, 반드시 하나의 실시예에만 한정되는 것은 아니다. 나아가, 각 실시예에서 예시된 특징, 구조, 효과 등은 실시예들이 속하는 분야의 통상의 지식을 가지는 자에 의해 다른 실시예들에 대해서도 조합 또는 변형되어 실시 가능하다. 따라서 이러한 조합과 변형에 관계된 내용들은 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.Features, structures, effects, etc. described in the embodiments above are included in one embodiment of the present invention, and are not necessarily limited to only one embodiment. Furthermore, the features, structures, and effects illustrated in each embodiment can be combined or modified with respect to other embodiments by those skilled in the art in the field to which the embodiments belong. Therefore, contents related to these combinations and variations should be construed as being included in the scope of the present invention.

또한, 이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.In addition, although the above has been described with a focus on the embodiments, these are only examples and do not limit the present invention, and those skilled in the art to which the present invention belongs can exemplify the above to the extent that does not deviate from the essential characteristics of the present embodiment. It will be seen that various variations and applications that have not been made are possible. For example, each component specifically shown in the embodiment can be modified and implemented. And differences related to these modifications and applications should be construed as being included in the scope of the present invention as defined in the appended claims.

Claims (10)

디스플레이부; 및
스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제1 스트림 영상을 생성하고, 상기 스트리밍 서버로부터 전송된 상기 스트림 영상이 분석 서버에서 디코딩되어 생성된 제2 스트림 영상에 포함된 소정의 객체의 좌표 정보를 상기 분석 서버로부터 수신하며, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 제2 스트림 영상에 포함된 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력하기 위한 제어부;를 포함하고,
상기 제어부는,
사용자로부터 상기 제1 스트림 영상의 재생 시간을 변경하기 위한 조정 명령을 수신하면, 상기 제1 스트림 영상의 제1 타임 스탬프에 상기 조정 명령을 반영하여 결과값을 생성하고,
상기 결과값과 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 상기 디스플레이부에 렌더링하여 출력하는,
스트림 영상 재생 장치.
display unit; and
The stream image received from the streaming server is decoded to generate a first stream image, and the stream image transmitted from the streaming server is decoded by the analysis server to generate coordinate information of a predetermined object included in the second stream image generated. For receiving from an analysis server and rendering coordinate information of the predetermined object included in the second stream video received from the analysis server to the predetermined object included in the first stream video to the display unit Including; control unit;
The control unit,
When an adjustment command for changing the playback time of the first stream video is received from the user, a result value is generated by reflecting the adjustment command to a first time stamp of the first stream video;
If it is determined that the difference between the resultant value and the second time stamp of the second stream video is less than a predetermined value, the coordinates of the predetermined object received from the analysis server are assigned to the predetermined object included in the first stream video. Rendering and outputting information to the display unit,
Stream video playback device.
 삭제delete 삭제delete 제 1항에 있어서,
상기 제1 스트림 영상 및 상기 제2 스트림 영상 중 적어도 하나는 객체 단위로 구별되어 생성된 것인,
스트림 영상 재생 장치.
According to claim 1,
At least one of the first stream image and the second stream image is generated by being distinguished in an object unit,
Stream video playback device.
 영상을 스트리밍 형태로 제공하는 스트리밍 서버;
상기 스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제2 스트림 영상을 생성하고, 상기 제2 스트림 영상에 포함된 소정의 객체의 좌표 정보를 출력하는 분석 서버; 및
상기 스트리밍 서버로부터 수신한 스트림 영상을 디코딩하여 제1 스트림 영상을 생성하고, 상기 제2 스트림 영상에 포함된 상기 소정의 객체의 좌표 정보를 상기 분석 서버로부터 수신하며, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 렌더링하여 출력하는 스트림 영상 재생 장치;를 포함하고,
상기 스트림 영상 재생 장치는,
사용자로부터 상기 제1 스트림 영상의 재생 시간을 변경하기 위한 조정 명령을 수신하면, 상기 제1 스트림 영상의 제1 타임 스탬프에 상기 조정 명령을 반영하여 결과값을 생성하고,
상기 결과값과 상기 제2 스트림 영상의 제2 타임 스탬프의 차이값이 소정값 미만인 것으로 판단하면, 상기 제1 스트림 영상에 포함된 상기 소정의 객체에 상기 분석 서버로부터 수신한 상기 소정의 객체의 좌표 정보를 렌더링하여 출력하는,
스트림 영상 재생 시스템.
A streaming server that provides video in a streaming form;
an analysis server that decodes the stream image received from the streaming server to generate a second stream image and outputs coordinate information of a predetermined object included in the second stream image; and
The stream image received from the streaming server is decoded to generate a first stream image, the coordinate information of the predetermined object included in the second stream image is received from the analysis server, and the first stream image included in the first stream image is generated. A stream image playback device for rendering and outputting the coordinate information of the predetermined object received from the analysis server to the predetermined object; includes,
The stream video playback device,
When an adjustment command for changing the playback time of the first stream video is received from the user, a result value is generated by reflecting the adjustment command to a first time stamp of the first stream video;
If it is determined that the difference between the resultant value and the second time stamp of the second stream video is less than a predetermined value, the coordinates of the predetermined object received from the analysis server are assigned to the predetermined object included in the first stream video. rendering and outputting information,
Stream video playback system.
 삭제delete 삭제delete 제 5항에 있어서,
상기 제1 스트림 영상 및 상기 제2 스트림 영상 중 적어도 하나는 객체 단위로 구별되어 생성된 것인,
스트림 영상 재생 시스템.
According to claim 5,
At least one of the first stream image and the second stream image is generated by being distinguished in an object unit,
Stream video playback system.
 제 5항에 있어서,
상기 분석 서버는 복수 개이고,
상기 복수 개의 분석 서버마다 상이한 종류의 객체에 대응하는 좌표 정보를 출력하는,
스트림 영상 재생 시스템.
According to claim 5,
The analysis server is plural,
For outputting coordinate information corresponding to different types of objects for each of the plurality of analysis servers,
Stream video playback system.
 제 5항에 있어서,
상기 분석 서버는,
신경망을 학습하여 생성된 스트림 영상 분석 모델을 통해 상기 제2 스트림 영상을 이용하여 상기 제2 스트림 영상에 포함된 상기 객체의 좌표 정보를 출력하는,
스트림 영상 재생 시스템.
According to claim 5,
The analysis server,
Outputting coordinate information of the object included in the second stream image using the second stream image through a stream image analysis model generated by learning the neural network,
Stream video playback system.
KR1020210071873A 2021-06-03 2021-06-03 Stream video playback device and stream video playback system KR102500923B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210071873A KR102500923B1 (en) 2021-06-03 2021-06-03 Stream video playback device and stream video playback system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210071873A KR102500923B1 (en) 2021-06-03 2021-06-03 Stream video playback device and stream video playback system

Publications (2)

Publication Number Publication Date
KR20220163574A KR20220163574A (en) 2022-12-12
KR102500923B1 true KR102500923B1 (en) 2023-02-17

Family

ID=84391499

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210071873A KR102500923B1 (en) 2021-06-03 2021-06-03 Stream video playback device and stream video playback system

Country Status (1)

Country Link
KR (1) KR102500923B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718373B1 (en) * 2012-12-25 2017-03-21 후아웨이 테크놀러지 컴퍼니 리미티드 Video play method, terminal, and system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101221540B1 (en) * 2011-02-25 2013-01-11 주식회사 틴로봇 Interactive media mapping system and method thereof
KR102105510B1 (en) * 2017-08-17 2020-04-28 주식회사 케이티 Server, method and user device for providing time slice video
KR20200079697A (en) * 2018-12-26 2020-07-06 삼성전자주식회사 Image processing apparatus and image processing method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101718373B1 (en) * 2012-12-25 2017-03-21 후아웨이 테크놀러지 컴퍼니 리미티드 Video play method, terminal, and system

Also Published As

Publication number Publication date
KR20220163574A (en) 2022-12-12

Similar Documents

Publication Publication Date Title
CN108073890B (en) Method and system for motion recognition in video sequences captured by a camera
US9305331B2 (en) Image processor and image combination method thereof
US20210097667A1 (en) Video quality measurement for virtual cameras in volumetric immersive media
US20190045119A1 (en) Generating Output Video from Video Streams
CN104777912B (en) A kind of barrage methods of exhibiting, apparatus and system
US20200388068A1 (en) System and apparatus for user controlled virtual camera for volumetric video
JP2018129790A (en) Method and system for playing recorded video
JP2009542124A (en) Embedded devices for capturing multimedia
KR102308604B1 (en) Method, apparatus and stream for formatting immersive video for legacy and immersive rendering devices
US11282169B2 (en) Method and apparatus for processing and distributing live virtual reality content
US20180213185A1 (en) Method and system for monitoring a scene based on a panoramic view
CN113572975B (en) Video playing method, device and system and computer storage medium
US11546556B2 (en) Redundant array of inexpensive cameras
KR102500923B1 (en) Stream video playback device and stream video playback system
US10783670B2 (en) Method for compression of 360 degree content and electronic device thereof
KR102549073B1 (en) Analysis video relay method and analysis relay system of analysis relay server
CN114827617B (en) Video coding and decoding method and system based on perception model
CN106973307A (en) A kind of video equipment access method and device
TWI482470B (en) Digital signage playback system, real-time monitoring system, and real-time monitoring method thereof
WO2018120857A1 (en) Streaming media technology-based method and apparatus for processing video data
US20240062385A1 (en) Method, apparatus, and non-transitory computer-readable storage medium storing a program for monitoring motion in video stream
CN116708389B (en) Multi-terminal monitoring method, terminal equipment and readable storage medium for online examination
KR102540817B1 (en) Real-time evaluation method, apparatus and program of video broadcasting quality based on machime leaning
KR20180058155A (en) The Dynaminc Adaptive Streaming CCTV System and technique based Pattern Recognition
Wang Low-Latency Adaptive Media Streaming: From 2D to 6-DoF

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant