KR102129462B1

KR102129462B1 - Method and apparatus for configuring and displaying combined image file where image streams with different resolutions are continuously recorded

Info

Publication number: KR102129462B1
Application number: KR1020180112282A
Authority: KR
Inventors: 임현철; 이태윤; 윤동찬
Original assignee: (주)피타소프트
Priority date: 2018-09-19
Filing date: 2018-09-19
Publication date: 2020-07-03
Also published as: JP2020048182A; KR20200032973A; JP6736726B2

Abstract

서로 다른 화질의 영상스트림들이 연속으로 기록된 통합 영상 파일을 구성하는 방법은, 전방을 촬영한 영상으로부터 제1 화질의 제1 영상스트림을 생성하는 단계; 상기 영상 또는 상기 제1 영상스트림을 가공하여 제2 화질의 제2 영상스트림을 생성하는 단계; 소정의 제1 시간을 주기로, 상기 제1 영상스트림에 제1 메타데이터를 결합시켜 제1 서브파일을 구성하고, 동시에 상기 제2 영상스트림에 제2 메타데이터를 결합시켜 제2 서브파일을 구성하는 단계; 상기 제1 서브파일의 끝에 상기 제2 서브파일을 연결하여 기록하여 통합 영상 파일을 구성하는 단계를 포함한다.A method of constructing an integrated video file in which video streams of different picture quality are continuously recorded includes: generating a first video stream of the first picture quality from an image taken in front; Processing the video or the first video stream to generate a second video stream of a second quality; The first sub-file is configured by combining the first metadata with the first video stream at a predetermined first time period, and the second sub-file is configured by combining the second metadata with the second video stream at the same time. step; And concatenating and recording the second subfile at the end of the first subfile to form an integrated video file.

Description

METHOD AND APPARATUS FOR CONFIGURING AND DISPLAYING COMBINED IMAGE FILE WHERE IMAGE STREAMS WITH DIFFERENT RESOLUTIONS ARE CONTINUOUSLY RECORDED}

본 발명은 서로 다른 화질의 영상스트림들을 하나의 영구저장매체에 연속으로 기록하여 통합 영상 파일을 구성하는 방법 및 이렇게 기록된 통합 영상 파일을 디스플레이 장치에서 표시하는 방법, 그리고 이러한 통합 영상 파일을 표시하는 장치에 관한 것이다. The present invention provides a method of configuring an integrated video file by continuously recording video streams of different image quality on a permanent storage medium, a method of displaying the recorded integrated video file on a display device, and displaying the integrated video file It is about the device.

최근, 블랙박스와 같은 차량용 영상 녹화 장치는 4K UHD의 높은 해상도, 높은 비트레이트, 높은 프레임레이트의 고화질 영상을 녹화할 수 있다. 이로 인해서, 녹화된 고화질 영상을 디스플레이 장치에서 확인하기 위해서는, 이를 재생할 수 있는 고사양의 장치(예를 들면, PC, 스마트폰, 태블릿 등)가 필요하게 된다. Recently, a vehicle video recording apparatus such as a black box can record high-definition images of high resolution, high bit rate, and high frame rate of 4K UHD. For this reason, in order to check the recorded high-definition image on the display device, a high specification device (for example, a PC, a smartphone, a tablet, etc.) capable of reproducing it is required.

또한, 이러한 고사양의 장치에서 고화질 영상을 재생하기 위해서는, 차량용 영상 녹화 장치에서 녹화한 고화질 영상을 특정의 상기 고사양 장치로 전송해야 하는데, 이를 위해서는, 대용량의 고화질 영상을 전송하는 네트워크 사용 비용 및 전송 시간이 소요될 수 있다. In addition, in order to reproduce a high-definition image in such a high-spec device, it is necessary to transmit a high-definition image recorded in a vehicle video recording device to a specific high-spec device. To this end, a network use cost and transmission time for transmitting a large-capacity high-definition image This can take.

따라서, 저장된 고화질 영상을 차량용 영상 녹화 장치 자체에 내장된 표시면에서 표시하고자 한다. Therefore, the stored high-definition image is intended to be displayed on the display surface built in the vehicle video recording device itself.

하지만, 차량용 영상 녹화 장치는 비교적 저사양이고, 촬영되는 영상을 녹화하는 기능에 하드웨어/소프트웨어 파워가 집중되어 있어서, 고화질 영상을 녹화하는 데에는 문제가 없으나, 고화질로 녹화된 영상을 표시면에 표시하기 위한 디코딩 처리는 원활하지 않을 수 있다. 따라서, 표시되는 영상이 끊기거나 느려지는 문제점이 있었다. However, the video recording device for a vehicle is relatively low specification, and there is no problem in recording a high-definition image because the hardware/software power is concentrated in the function of recording the image being photographed, but for displaying a high-definition image on the display surface. Decoding processing may not be smooth. Therefore, there is a problem that the displayed image is cut off or slowed down.

더욱, 최근의 차량용 영상 녹화 장치는 복수의 채널(예를 들면, 전방 촬영 채널 및 후방 촬영 채널)로부터 영상을 입력받아서 각각 별도의 영상 파일로 저장하는 기능을 제공한다. Moreover, the recent vehicle video recording apparatus provides a function of receiving an image from a plurality of channels (for example, a front shooting channel and a rear shooting channel) and storing them as separate video files.

따라서, 하나의 영상 녹화 장치의 표시면에서 복수 채널의 영상들을 동시에 표시하고자 할 때에는, 영상이 끊기거나 느려지는 문제가 더욱 심각하게 나타날 수 있고, 심지어는, 표시되고 있는 복수 채널 각각의 싱크가 맞지 않게 표시될 수도 있다. Therefore, when multiple channels of images are to be displayed simultaneously on the display surface of one video recording apparatus, the problem that the video is cut off or slowed down may appear more seriously, and even, the sync of each of the plurality of channels being displayed may not match. It may not be displayed.

본 발명은, 상기한 문제점들을 해결하기 위한 것으로서, 녹화된 영상을 비교적 저사양인 차량용 영상 녹화 장치에서 원활하게 표시할 수 있도록 하고자 한다. The present invention is to solve the above problems, and is intended to enable smooth display of a recorded image in a relatively low specification vehicle video recording apparatus.

더욱, 본 발명은, 복수 채널의 영상들을 하나의 차량용 영상 녹화 장치에서 동시에 원활하게 표시할 수 있도록 하고자 한다. Furthermore, the present invention is to enable smooth display of multiple channels of images simultaneously in one vehicle video recording apparatus.

본 발명의 일 실시예에서 구현하는 서로 다른 화질의 영상스트림들이 연속으로 기록된 통합 영상 파일을 구성하는 방법은, (i) 전방을 촬영한 영상으로부터 제1 화질의 제1 영상스트림을 생성하는 단계; (ii) 상기 영상 또는 상기 제1 영상스트림을 가공하여 제2 화질의 제2 영상스트림을 생성하는 단계; (iii) 소정의 제1 시간(ex. 60초)을 주기로, 상기 제1 영상스트림에 제1 메타데이터를 결합시켜 제1 서브파일을 구성하고, 동시에 상기 제2 영상스트림에 제2 메타데이터를 결합시켜 제2 서브파일을 구성하는 단계; (iv) 상기 제1 서브파일의 끝에 상기 제2 서브파일을 연결하여 기록하여 통합 영상 파일을 구성하는 단계를 포함한다.A method of constructing an integrated image file in which image streams of different image quality implemented in one embodiment of the present invention are continuously recorded includes: (i) generating a first image stream of a first image quality from an image taken in front; ; (ii) processing the video or the first video stream to generate a second video stream of a second quality; (iii) Combining the first metadata with the first video stream to form a first subfile at a predetermined first time (ex. 60 seconds), and simultaneously generating the second metadata with the second video stream. Combining to form a second subfile; (iv) configuring the integrated video file by connecting and recording the second subfile at the end of the first subfile.

여기서, 상기 제1 메타데이터는, 적어도, 상기 제1 영상스트림의 끝 또는 상기 제1 서브파일의 끝을 가리키는 정보를 포함하고, 상기 제2 메타데이터는, 적어도, 상기 제2 서브파일이 상기 제2 화질의 제2 영상스트림임을 표시하는 정보를 포함할 수 있다.Here, the first metadata, at least, includes information indicating the end of the first video stream or the end of the first subfile, and the second metadata includes, at least, the second subfile is the first It may include information indicating that it is a second video stream of 2 image quality.

또한, 상기 제2 화질은 상기 제1 화질보다 낮은 화질일 수 있다.Also, the second image quality may be lower than the first image quality.

또한, 상기 (i) 단계는: 상기 제1 영상스트림을 버퍼메모리에 기록하는 것, 영구저장매체에서 상기 제1 서브파일을 시작하고, 상기 제1 시간보다 짧은 소정의 제2 시간(ex. 1초)마다 상기 버퍼메모리에 기록되는 상기 제1 영상스트림을 상기 영구저장매체의 상기 제1 서브파일에 연속으로 기록하는 것을 더 포함할 수 있고, 상기 (iii) 단계는: 상기 제1 시간에서, 상기 제1 서브파일을 상기 영구저장매체 내에서 마감하고, 또한 상기 제2 파일을 상기 버퍼메모리 내에서 마감하는 것을 더 포함할 수 있고, 상기 (iv) 단계는: 상기 영구저장매체 내의 상기 제1 서브파일의 끝에 상기 버퍼메모리 내에서 마감된 상기 제2 서브파일을 연결하여 기록한 후, 상기 제1 서브파일의 시작에서 시작하여 상기 제2 서브파일의 끝에서 끝나는 상기 통합 영상 파일을 구성하는 것을 더 포함할 수 있다.In addition, step (i) includes: recording the first video stream in a buffer memory, starting the first subfile in a permanent storage medium, and a predetermined second time shorter than the first time (ex. 1 Second) may further include continuously recording the first video stream recorded in the buffer memory to the first subfile of the permanent storage medium, wherein step (iii) comprises: at the first time, The first sub-file may be closed in the permanent storage medium, and may further include closing the second file in the buffer memory, wherein step (iv) includes: the first in the permanent storage medium. After concatenating and recording the second subfile closed in the buffer memory at the end of the subfile, further configuring the integrated video file starting at the beginning of the first subfile and ending at the end of the second subfile It can contain.

본 발명의 또 하나의 실시예에서 구현하는 서로 다른 화질의 영상스트림들이 연속으로 기록된 통합 영상 파일을 구성하는 장치는, 전방을 촬영한 영상을 수신하는 영상수신부; 수신한 상기 영상으로부터 제1 화질의 제1 영상스트림을 구성하고, 상기 영상 또는 상기 제1 영상스트림을 가공하여 제2 화질의 제2 영상스트림을 구성하는 스트림확장부; 소정의 제1 시간(ex. 60초)의 주기로, 상기 제1 영상스트림에 제1 메타데이터를 결합시켜 제1 서브파일을 구성하고, 동시에, 상기 제2 영상스트림에 제2 메타데이터를 결합시켜 제2 서브파일을 구성하고, 상기 제1 서브파일의 끝에 상기 제2 서브파일을 연속으로 연결하여 통합 영상 파일을 구성하는 파일생성부를 포함한다. An apparatus for constructing an integrated image file in which image streams of different image quality, which are implemented in another embodiment of the present invention are continuously recorded, includes: an image receiving unit that receives an image taken in front; A stream extension unit for constructing a first video stream of a first quality from the received image, and processing the video or the first video stream to form a second video stream of a second quality; At a predetermined first time (ex. 60 seconds), a first subfile is formed by combining first metadata with the first video stream, and at the same time, a second metadata is combined with the second video stream. And a file generator configured to configure a second sub-file and continuously connect the second sub-file to the end of the first sub-file to form an integrated video file.

여기서, 상기 장치는: 상기 제1 및 제2 영상스트림을 저장하는 버퍼메모리; 상기 통합 영상 파일이 저장되는 영구저장매체를 더 포함할 수 있고, 상기 파일생성부는, 상기 영구저장매체에 상기 제1 서브파일을 생성하고, 상기 제1 시간보다 짧은 소정의 제2 시간(ex. 1초)마다 상기 버퍼메모리에 기록되는 상기 제1 영상스트림을 상기 영구저장매체의 상기 제1 서브파일에 기록하고, 상기 제1 시간에서, 상기 제1 서브파일을 상기 영구저장매체 내에서 마감하고, 그리고, 상기 버퍼메모리 내에서 상기 제2 서브파일을 마감하고, 상기 영구저장매체 내의 상기 제1 서브파일의 끝에 연속으로 상기 버퍼메모리 내에서 마감된 상기 제2 서브파일을 기록함으로써, 상기 통합 영상 파일을 구성하는 것을 특징으로 한다.Here, the apparatus includes: a buffer memory for storing the first and second video streams; The integrated video file may further include a permanent storage medium in which the integrated video file is stored, and the file generation unit generates the first subfile in the permanent storage medium, and a predetermined second time shorter than the first time (ex. Every second) the first video stream recorded in the buffer memory is recorded in the first subfile of the permanent storage medium, and at the first time, the first subfile is closed in the permanent storage medium And, by closing the second sub-file in the buffer memory, and continuously recording the second sub-file closed in the buffer memory at the end of the first sub-file in the permanent storage medium, the integrated image It is characterized by organizing files.

또한, 상기 제2 화질은 상기 제1 화질보다 낮은 화질이고, 또한, 상기 제1 메타데이터는, 상기 제1 영상스트림의 끝 또는 상기 제1 서브파일의 끝을 가리키는 정보를 포함하고, 상기 제2 메타데이터는, 적어도, 상기 제2 서브파일이 상기 제2 화질의 제2 영상스트림임을 표시하는 정보를 포함하는 것을 특징으로 한다.Further, the second image quality is lower than the first image quality, and the first metadata includes information indicating the end of the first video stream or the end of the first subfile, and the second The metadata may include at least information indicating that the second subfile is the second video stream of the second image quality.

본 발명의 또 다른 실시예에서 구현하는 서로 다른 화질의 영상스트림들이 연속으로 기록된 통합 영상 파일을 표시하는 장치는, 전방을 촬영한 영상이 제1 화질의 제1 영상스트림으로 기록된 제1 서브파일과 상기 제1 영상이 제2 화질의 제2 영상스트림으로 기록된 제2 서브파일이 서로 연속으로 연결되어 구성된 통합 영상 파일을 입력받는 파일획득부; 상기 입력된 통합 영상 파일에 상기 제2 서브파일이 포함되어 있는지 조사하는 파일분석부; 상기 파일분석부에서 상기 제2 서브파일이 식별되면, 디스플레이 장치의 표시면에 상기 제2 서브파일의 상기 제2 영상스트림을 표시하는 영상표시부를 포함한다. In another embodiment of the present invention, an apparatus for displaying an integrated image file in which image streams of different image quality are continuously recorded includes: a first sub in which an image photographed in the front is recorded as a first image stream of the first image quality; A file acquiring unit for receiving an integrated image file in which a file and a second sub-file in which the first image is recorded as a second image stream of a second quality are continuously connected to each other; A file analysis unit that checks whether the second subfile is included in the inputted integrated video file; When the second subfile is identified by the file analysis unit, an image display unit displaying the second image stream of the second subfile on a display surface of a display device.

여기서, 상기 제1 서브파일은, 상기 제1 영상스트림의 끝 또는 상기 제1 서브파일의 끝을 가리키는 제1 메타데이터를 더 포함할 수 있고, 상기 제2 서브파일은, 적어도, 상기 제2 서브파일이 상기 제2 화질의 제2 영상스트림임을 표시하는 제2 메타데이터를 더 포함할 수 있고, 상기 파일분석부는, 상기 통합 영상 파일의 상기 제1 메타데이터로부터 상기 제1 서브파일의 끝을 식별하고, 상기 제1 서브파일의 끝에서 상기 제2 서브파일이 시작하고 있는지를 조사하고, 또한 상기 제2 서브파일의 상기 제2 메타데이터를 판독하여 상기 제2 영상스트림을 식별할 수 있다. Here, the first subfile may further include first metadata indicating the end of the first video stream or the end of the first subfile, and the second subfile may include at least the second subfile. A second metadata indicating that the file is the second video stream of the second image quality may be further included, and the file analysis unit identifies the end of the first subfile from the first metadata of the integrated video file. Then, it is possible to check whether the second subfile is starting at the end of the first subfile, and also to read the second metadata of the second subfile to identify the second video stream.

본 발명의 더욱 또 다른 실시예에서 구현하는 서로 다른 화질의 영상스트림들이 연속으로 기록된 통합 영상 파일을 표시하는 방법은, 제1 채널로부터의 제1 영상이 제1 화질의 제1 영상스트림으로 기록된 제1 서브파일과 상기 제1 영상이 제2 화질의 제2 영상스트림으로 기록된 제2 서브파일이 서로 연속으로 연결되어 구성된 통합 영상 파일, 및 제2 채널로부터의 제2 영상이 기록된 임의의 영상 파일을 하나의 디스플레이 장치에서 동시에 표시하는 방법을 제공한다. 상기 방법은, (i) 디스플레이 장치의 표시면에 메인 영역과 서브 영역을 설정하는 단계; (ii) 상기 임의의 영상 파일에 포함된 영상스트림을 상기 메인 영역에 표시하는 단계; (iii) 상기 서브 영역에 표시할 영상 파일로서 상기 통합 영상 파일을 선택하고, 상기 통합 영상 파일을 조사하여 상기 제2 서브파일이 검색되는 경우, 상기 제2 영상스트림을 상기 서브 영역에 표시하는 단계를 포함한다. According to another embodiment of the present invention, a method of displaying an integrated video file in which video streams of different picture quality are continuously recorded is recorded in a first video stream of a first picture quality from a first channel. An integrated video file consisting of a first sub-file and a second sub-file in which the first video is recorded as a second video stream of a second image quality, and a second video from a second channel is recorded. Provides a method of simultaneously displaying video files on one display device. The method includes: (i) setting a main area and a sub area on a display surface of a display device; (ii) displaying a video stream included in the arbitrary video file on the main area; (iii) selecting the integrated image file as an image file to be displayed in the sub-region, and displaying the second image stream in the sub-region when the second sub-file is searched by examining the integrated image file It includes.

여기서, 상기 제1 메타데이터는, 상기 제1 영상스트림의 끝 또는 상기 제1 서브파일의 끝을 가리키는 정보를 포함할 수 있고, 상기 제2 메타데이터는, 적어도, 상기 제2 서브파일이 상기 제2 화질의 제2 영상스트림임을 표시하는 정보를 포함할 수 있고, 상기 (iii) 단계는: 상기 통합 영상 파일의 상기 제1 메타데이터로부터 상기 제1 서브파일의 끝을 검색하고, 상기 제1 서브파일의 끝에서 상기 제2 서브파일이 시작하고 있는지를 조사하고, 상기 제2 서브파일의 상기 제2 메타데이터를 판독하여 상기 제2 영상스트림을 식별하고, 상기 제2 영상스트림을 상기 서브 영역에 표시하는 것을 포함할 수 있다.Here, the first metadata may include information indicating the end of the first video stream or the end of the first subfile, and the second metadata may include at least the second subfile as the first metadata. It may include information indicating that it is a second video stream of 2 image quality, and step (iii): search for the end of the first subfile from the first metadata of the integrated video file, and the first sub At the end of the file, it is checked whether the second subfile is starting, the second metadata of the second subfile is read to identify the second videostream, and the second videostream is assigned to the subregion. It may include displaying.

또한, 상기 제2 화질은 상기 제1 화질보다 낮은 화질이고, 상기 서브 영역은 상기 메인 영역에 PIP 방식으로 구성될 수 있다. In addition, the second image quality is lower than the first image quality, and the sub-region may be configured in a PIP manner on the main region.

또한, 상기 통합 영상 파일은, (a) 전방을 촬영한 상기 제1 영상으로부터 제1 화질의 상기 제1 영상스트림을 생성하여 버퍼메모리에 기록하고, (b) 상기 제1 영상 또는 상기 제1 영상스트림을 가공하여 제2 화질의 상기 제2 영상스트림을 생성하여 버퍼메모리에 기록하고, (c) 영구저장매체 내에 상기 제1 서브파일을 생성하고, 소정의 제2 시간(ex. 1초)마다 상기 버퍼메모리에 기록되는 상기 제1 영상스트림을 상기 영구저장매체의 상기 제1 서브파일에 기록하고, (d) 상기 제2 시간보다 긴 소정의 제1 시간(ex. 60초)의 주기로, 상기 영구저장매체 내의 상기 제1 영상스트림에 제1 메타데이터를 결합시켜 제1 서브파일을 구성하고, 동시에 상기 버퍼메모리 내의 상기 제2 영상스트림에 제2 메타데이터를 결합시켜 상기 버퍼메모리 내에서 제2 서브파일을 마감하고, (e) 상기 영구저장매체 내의 상기 제1 서브파일의 끝에 상기 버퍼메모리 내에서 마감된 제2 서브파일을 연속으로 기록함으로써, 구성될 수 있다. In addition, the integrated image file, (a) generates the first image stream of the first image quality from the first image taken in the front and records it in a buffer memory, and (b) the first image or the first image By processing the stream, the second video stream of the second image quality is generated and recorded in a buffer memory, (c) the first subfile is generated in the permanent storage medium, and every predetermined second time (ex. 1 second) The first video stream recorded in the buffer memory is recorded in the first subfile of the permanent storage medium, and (d) at a predetermined first time period (ex. 60 seconds) longer than the second time, the A first sub-file is formed by combining first metadata with the first video stream in the permanent storage medium, and second metadata is combined with the second video stream in the buffer memory, and the second in the buffer memory. It can be configured by closing a subfile and (e) continuously writing a second subfile closed in the buffer memory at the end of the first subfile in the permanent storage medium.

본 발명의 더욱 또 다른 실시예에서 구현하는 서로 다른 화질의 영상스트림들이 연속으로 기록된 통합 영상 파일을 표시하는 장치는, 제1 채널로부터의 제1 영상이 제1 화질의 제1 영상스트림으로 기록된 제1 서브파일과 상기 제1 영상이 제2 화질의 제2 영상스트림으로 기록된 제2 서브파일이 서로 연속으로 연결되어 구성된 통합 영상 파일, 그리고, 제2 채널로부터의 제2 영상이 기록된 임의의 영상 파일을 입력받는 파일획득부; 상기 서브 영역에 표시할 영상 파일로서 상기 통합 영상 파일을 선택하고, 상기 선택된 통합 영상 파일에 제2 서브파일이 포함되어 있는지 조사하는 파일분석부; 상기 파일분석부에서 상기 제2 서브파일이 식별되면, 디스플레이 장치의 표시면에 메인 영역과 서브 영역을 설정하고, 상기 메인 영역에 상기 임의의 영상 파일에 포함된 영상스트림을 표시하고, 상기 서브 영역에 상기 제2 서브파일의 상기 제2 영상스트림을 표시하는 영상표시부를 포함한다. In another embodiment of the present invention, an apparatus for displaying an integrated image file in which image streams of different image quality are successively recorded is recorded in a first image stream of a first image quality from a first channel. An integrated video file consisting of a first sub-file and a second sub-file in which the first video is recorded as a second video stream of a second image quality are continuously connected to each other, and a second video from the second channel is recorded. A file acquisition unit that receives an arbitrary video file; A file analysis unit for selecting the integrated video file as an image file to be displayed in the sub-region, and examining whether the selected integrated video file includes a second sub-file; When the second sub-file is identified by the file analysis unit, a main area and a sub-area are set on a display surface of a display device, an image stream included in the arbitrary video file is displayed on the main area, and the sub-area is displayed. And an image display unit displaying the second image stream of the second subfile.

이때, 상기 제1 서브파일은, 상기 제1 영상스트림의 끝 또는 상기 제1 서브파일의 끝을 가리키는 제1 메타데이터를 포함하고, 상기 제2 서브파일은, 적어도, 상기 제2 서브파일이 상기 제2 화질의 제2 영상스트림임을 표시하는 제2 메타데이터를 더 포함하고, 상기 파일분석부는, 상기 통합 영상 파일의 상기 제1 메타데이터로부터 상기 제1 서브파일의 끝을 검색하고, 상기 제1 서브파일의 끝에서 상기 제2 서브파일이 시작하고 있는지를 조사하고, 상기 제2 서브파일의 상기 제2 메타데이터를 판독하여 상기 제2 영상스트림을 식별하는 것을 특징으로 한다.In this case, the first subfile includes first metadata indicating the end of the first video stream or the end of the first subfile, and the second subfile includes, at least, the second subfile is the Further comprising a second metadata indicating that the second video stream of the second image quality, the file analysis unit searches for the end of the first sub-file from the first metadata of the integrated video file, the first It is characterized in that it is checked whether the second subfile is starting at the end of the subfile, and the second video stream is identified by reading the second metadata of the second subfile.

상기한 바와 같은 구성에 따른 본 발명에 의하면, 촬영되어 생성된 영상을 고화질 스트림 및 저화질 스트림으로 동시에 하나의 파일에 저장하고 추후에 저장된 상기 파일을 재생할 때에는 고화질 스트림 및 저화질 스트림 중에서 선택하여 표시할 수 있게 됨으로써, 저사양의 장치에서도 영상이 원활하게 표시될 수 있다. According to the present invention according to the above-described configuration, when the captured and generated image is simultaneously stored in a single file as a high-definition stream and a low-definition stream, and later played back the stored file, a high-definition stream and a low-definition stream can be selected and displayed. As a result, an image can be smoothly displayed even on a low-spec device.

또한, 복수 채널의 영상들을 하나의 표시면에서 함께 표시할 때에도, 적어도 하나의 영상은 저화질 스트림으로 표시함으로써, 저사양의 장치에서도 영상이 원활하게 표시될 수 있다. In addition, even when multiple channels of images are displayed together on one display surface, at least one image is displayed as a low-quality stream, so that an image can be smoothly displayed even on a low-spec device.

도 1은 본 발명의 영상 녹화 장치를 차량용으로 사용하는 방식을 개략적으로 도시한 도면이다.
도 2a는 통합 영상 파일을 구성하는 방식을 설명하는 도면이다.
도 2b는 MP4 파일 형식으로 구현된 통합 영상 파일의 구성을 보여주는 도면이다.
도 3은 본 발명의 일 실시예에 따른, 통합 영상 파일을 구성하는 장치의 주요부를 개략적으로 도시한 블록도이다.
도 4는 본 발명의 또 하나의 실시예에 따른, 통합 영상 파일을 포함하는 복수 채널의 영상 파일을 하나의 표시면에 표시할 수 있는 장치의 주요부 및 복수 채널의 영상을 PIP 방식으로 표시하는 예를 보여주는 도면이다.
도 5는 통합 영상 파일을 포함하는 복수 채널의 영상 파일을 하나의 표시면에 표시하는 방법의 흐름도이다.
도 6은 도 5의 방법에 있어서, 제2 영상스트림의 유무를 조사하는 방법에 대한 흐름도이다. 1 is a view schematically showing a method of using the video recording apparatus of the present invention for a vehicle.
2A is a diagram illustrating a method of configuring an integrated video file.
2B is a diagram showing the configuration of an integrated video file implemented in the MP4 file format.
3 is a block diagram schematically showing a main part of an apparatus constituting an integrated video file according to an embodiment of the present invention.
4 is an example of displaying a main part of a device capable of displaying a multi-channel video file including an integrated video file on a single display surface and a multi-channel video in a PIP method according to another embodiment of the present invention. It is a drawing showing.
5 is a flowchart of a method of displaying a video file of multiple channels including an integrated video file on one display surface.
6 is a flowchart of a method of examining the presence or absence of a second video stream in the method of FIG. 5.

이하, 첨부된 도면을 참조하여 본 발명에 따른, 서로 다른 화질의 영상스트림들을 하나의 영구저장매체에 연속으로 기록하여 통합 영상 파일을 구성하는 방법 및 이렇게 기록된 통합 영상 파일을 디스플레이 장치에서 표시하는 방법, 그리고 이러한 통합 영상 파일을 표시하는 장치의 바람직한 실시예를 설명한다. 참고로, 본 발명의 각 구성 요소를 지칭하는 용어들은 그 기능을 고려하여 예시적으로 명명된 것이므로, 용어 자체에 의하여 본 발명의 기술 내용을 예측하고 한정하여 이해해서는 안될 것이다.Hereinafter, a method of configuring an integrated video file by continuously recording video streams of different image quality in one permanent storage medium according to the present invention with reference to the accompanying drawings, and displaying the recorded integrated video file on the display device A method and a preferred embodiment of an apparatus for displaying such an integrated video file will be described. For reference, since the terms referring to each component of the present invention are exemplarily named in consideration of their functions, the technical contents of the present invention should not be predicted and limited by the terms themselves.

먼저, 본 발명의 일 실시예에 따른 영상 녹화 장치를 차량용으로 사용하는 방식, 즉, 블랙박스로 사용하는 예를 도 1을 참조하여 설명한다. 한편, 일반적인 블랙박스는, 자체로 영상 표시 수단을 구비할 수 있으며, 녹화되어 저장된 영상을 디코딩하여 시각적으로 표시할 수 있다. 따라서, 본 발명에서 제안하는 서로 다른 화질의 영상스트림들을 하나의 영구저장매체에 연속으로 기록하여 통합 영상 파일을 구성하는 장치 및 이렇게 기록된 통합 영상 파일을 표시하는 장치는, 이하에서 "차량용 블랙박스" 또는 "블랙박스"라고 기재될 수 있다. 또한, 서로 다른 화질의 영상스트림들을 하나의 영구저장매체에 연속으로 기록하여 통합 영상 파일을 구성하는 방법 및 이렇게 기록된 통합 영상 파일을 디스플레이 장치에서 표시하는 방법 역시 차량용 블랙박스에서 실행되는 것으로 이해될 수 있다. First, a method of using a video recording apparatus according to an embodiment of the present invention for a vehicle, that is, an example of using a black box will be described with reference to FIG. 1. On the other hand, a typical black box may include an image display means itself, and may decode and display recorded images to visually display them. Therefore, the apparatus for constituting the integrated video file by continuously recording video streams of different image quality proposed by the present invention in one permanent storage medium and the device for displaying the recorded integrated video file are hereinafter referred to as "vehicle black box." Or "black box". In addition, it is understood that a method of constructing an integrated video file by continuously recording video streams of different image quality on a single permanent storage medium and a method of displaying the recorded integrated video file on a display device is also executed in a vehicle black box. Can.

도면을 참조하면, 블랙박스는 본체(101)와 추가 카메라(102)로 구성될 수 있다. Referring to the drawings, the black box may be composed of a main body 101 and an additional camera 102.

블랙박스 본체(101)는 예를 들면 차량(C)의 전방에 배치되며, 전방을 바라보는 전방 카메라(도시하지 않음)를 포함할 수 있다. 전방 카메라에서 촬영된 영상은 본체(101) 내에서 처리되어 디지털 영상 스트림을 구성하고, 이러한 영상 스트림은 소정의 시간 단위로 분할되어(예를 들면, 60초 주기) 본체(101) 내에 또는 외부에 구비될 수 있는 영구저장매체(130)에 영상 파일로 기록되어 저장될 수 있다. 본체(101)는 또한 표시면(D)을 구비할 수 있으며, 촬영된 영상을 실시간으로 표시하거나 또는 영구저장매체(130)에 저장된 임의의 영상을 표시할 수 있다. The black box body 101 is disposed in front of the vehicle C, for example, and may include a front camera (not shown) facing the front. The image captured by the front camera is processed in the main body 101 to form a digital image stream, and the image stream is divided into predetermined time units (for example, a 60-second cycle) in or outside the main body 101 It may be recorded and stored as an image file on the permanent storage medium 130 that may be provided. The main body 101 may also include a display surface D, and display the captured image in real time or any image stored in the permanent storage medium 130.

이때, 블랙박스 본체(101)에 구비된 표시면(D)은 비교적 작은 크기이며 화소수도 비교적 적은(예를 들면, CGA, VGA, SVGA 등) 저성능 장치로 구현될 수 있다. 따라서, 상대적으로 고화질(예를 들면, HD, FHD 등)로 인코딩된 영상을 여기에 표시하기 위해서는 오히려 화질을 낮추기 위한 영상 처리가 필요할 수 있다. 블랙박스는 촬영된 영상을 저장하는 것을 주 목적으로 설계되었기 때문에, 촬영된 영상을 인코딩하여 저장하는 기능을 수행할 수 있는 최소한의 하드웨어/소프트웨어 처리능력을 구비할 것이다. 따라서, 영상을 표시하기 위한 처리, 특히 화질을 낮추기 위한 변환 처리를 수행하면서 동시에 표시면(D)에 표시하는 처리를 수행하기에는, 자체의 처리능력이 다소 부족할 수 있다. At this time, the display surface D provided in the black box main body 101 may be implemented as a low performance device having a relatively small size and a relatively small number of pixels (eg, CGA, VGA, SVGA, etc.). Accordingly, in order to display an image encoded with relatively high image quality (for example, HD, FHD, etc.), image processing may be required to lower the image quality. Since the black box is designed for the main purpose of storing the captured image, it will have a minimum hardware/software processing capability capable of performing the function of encoding and storing the captured image. Accordingly, in order to perform the processing for displaying an image, particularly the conversion processing for lowering the image quality, and at the same time to perform the processing for displaying on the display surface D, its own processing capability may be somewhat insufficient.

따라서, 본 발명에서는, 촬영되는 영상을 저장할 때, 고화질의 영상을 저장하여 하나의 영상 파일(예를 들면, 제1 서브파일)을 구성하고, 촬영되는 영상을 추가로 저화질의 영상으로 변환하여 또 하나의 영상 파일(예를 들면, 제2 서브파일)을 구성한 후, 이들을 하나의 파일로 결합하여 저장하는 방식을 사용한다. 이로써, 저장된 영상 파일을 자체의 표시면에 표시할 때, 저화질의 영상을 이용하여 표시하게 되면, 영상 처리의 부담이 적어져서 원활하게 영상을 표시할 수 있게 되는 것이다. 또한, 저화질의 영상을 이용함으로써, 영상의 구간 탐색이나 고속 재생 등에 대해서도 원활하게 대응할 수 있게 된다. Therefore, in the present invention, when storing a captured image, a high quality image is stored to form a single image file (eg, a first subfile), and the captured image is further converted into a low quality image, and After configuring one video file (for example, a second subfile), a method of combining and storing them as one file is used. As a result, when displaying the stored image file on its own display surface, if the image is displayed using a low-quality image, the burden of image processing is reduced, so that the image can be displayed smoothly. In addition, by using a low-quality image, it is possible to smoothly cope with the section search of the image or high-speed playback.

이러한 기능의 구현을 위하여, 본 발명에 따른 블랙박스 본체(101)는, 촬영되는 영상을 바탕으로 서로 다른 화질의 개별적인 영상 파일을 구성하고, 이렇게 구성된 서로 다른 화질의 영상들을 연결시켜 하나의 통합 영상 파일을 구성하는 기능을 구현할 수 있어야 한다. 또한, 필요에 따라서는, 본 발명에 따른 블랙박스 본체(101)는, 이렇게 구성된 통합 영상 파일에서 어느 하나의 영상 파일(예를 들면, 저화질의 영상 파일)을 선택하고 해당 영상 파일의 영상스트림을 표시면에 표시하는 기능을 구현할 수 있어야 한다. In order to implement such a function, the black box body 101 according to the present invention configures individual image files of different image quality based on the captured image, and connects the images of different image quality thus configured to form a single integrated image. You should be able to implement the functions that make up the file. In addition, if necessary, the black box main body 101 according to the present invention selects any one video file (for example, a low-quality video file) from the integrated video file configured as described above and selects the video stream of the video file. It should be possible to implement the function to display on the display surface.

한편, 본 발명에 따른 블랙박스는 전방 카메라가 바라보는 방향 이외의 방향을 향하는 또하나의 카메라(102)를 포함할 수 있다. Meanwhile, the black box according to the present invention may include another camera 102 facing in a direction other than the direction viewed by the front camera.

전방 카메라에 의해 촬영된 영상으로부터 구성된 영상 파일과 추가 카메라(102)에 의해 촬영된 영상으로부터 구성된 영상 파일은, 동일한 영구저장매체(130)에 함께 저장될 수 있다. The image file constructed from the image captured by the front camera and the image file constructed from the image captured by the additional camera 102 may be stored together in the same permanent storage medium 130.

이때, 블랙박스(101)는, 전방 카메라에 의해서 촬영되는 영상(예를 들면, 제1 채널의 영상, 즉, 제1 영상 또는 전방 영상)을 고화질 및 저화질 영상스트림으로 구성하고, 고화질 영상스트림의 서브파일과 저화질 영상스트림의 서브파일을 통합하여 통합 영상 파일로서 저장할 수 있다. 또한, 블랙박스(101)는, 후방 카메라(102)에 의해서 촬영되는 영상(예를 들면, 제2 채널의 영상, 즉, 제2 영상 또는 후방 영상)을 고화질 및 저화질 영상스트림으로 구성하고, 고화질 영상스트림의 서브파일과 저화질 영상스트림의 서브파일을 통합하여 또 하나의 통합 영상 파일로 저장할 수 있다. In this case, the black box 101 configures an image (eg, a first channel image, that is, a first image or a front image) captured by a front camera into high-quality and low-quality video streams, and The subfile and the subfile of the low-quality video stream can be integrated and stored as an integrated video file. In addition, the black box 101 configures an image (eg, a second channel image, that is, a second image or a rear image) captured by the rear camera 102 into a high-quality and low-quality video stream, and A sub-file of the video stream and a sub-file of the low-quality video stream can be integrated and stored as another integrated video file.

그리고 하나의 표시면(D)에서 제1 채널의 영상과 제2 채널의 영상을 동시에 표시하고자 할 때에는, 표시면(D)에 PIP 방식으로 메인 영역(M)과 서브 영역(S)을 구성하고, 메인 영역(M)에 표시할 채널의 영상은 고화질 영상으로 표시하고, 서브 영역(S)에 표시할 채널의 영상은 저화질 영상으로 표시할 수 있다. In addition, when simultaneously displaying the image of the first channel and the image of the second channel on one display surface D, the main area M and the sub area S are formed on the display surface D in a PIP manner. , An image of a channel to be displayed in the main region M may be displayed as a high-definition image, and an image of a channel to be displayed in the sub-region S may be displayed as a low quality image.

이로써, 고화질 영상에 최소한의 영상처리를 가한 후 표시면(D)의 대부분을 차지하는 메인 영역(M)에 표시할 수 있고, 저화질 영상에 최소한의 영상처리를 가한 후 표시면의 작은 부분인 서브 영역(S)에 표시할 수 있게 되므로, 블랙박스(101)의 영상 처리 부하가 줄어들어 2채널 각자의 영상들을 동시에 원활하게 표시할 수 있게 되는 것이다. Accordingly, after applying minimal image processing to a high-definition image, it can be displayed in the main area M that occupies most of the display surface D, and after applying minimal image processing to a low-quality image, a sub-region that is a small portion of the display surface Since it can be displayed in (S), the image processing load of the black box 101 is reduced, so that it is possible to display the images of each of the two channels simultaneously and smoothly.

이러한 기능의 구현을 위하여, 본 발명의 블랙박스(101)는, 표시면(D)을 PIP 방식으로 구분하고, 메인 영역(M)에는 영상 파일에 저장된 고화질 영상스트림을 표시하고, 서브 영역(S)에는 통합 영상 파일에서 저화질로 저장된 영상스트림을 선택하고 이를 표시하는 기능을 구현할 수 있어야 한다. To implement such a function, the black box 101 of the present invention divides the display surface D into a PIP method, displays a high-definition video stream stored in an image file in the main area M, and sub-areas S ) Must be able to implement the function to select and display the video stream stored in low quality from the integrated video file.

한편, 다른 방식으로는, 메인 영역과 서브 영역 모두 저화질 영상을 이용하여 표시할 수도 있을 것이다. Meanwhile, in another method, both the main region and the sub region may be displayed using a low-quality image.

도 2a는 본 발명에서 통합 영상 파일을 구성하는 방식을 설명하는 도면이다. 2A is a diagram illustrating a method of configuring an integrated video file in the present invention.

본 발명에서 제안하는 통합 영상 파일은, 각각 독립적으로 동작할 수 있는 제1 서브파일과 제2 서브파일이 서로 연속으로 연결된 형태로 구성된다. The integrated video file proposed in the present invention is configured in a form in which the first subfile and the second subfile, which can operate independently, are continuously connected to each other.

제1 서브파일은, 촬영되는 영상을 고화질 영상으로 인코딩하여 저장하는 부분으로서, 헤더(Header)(또는, 제1 메타데이터)와, 고화질 영상의 프레임들이 연결된 제1 영상스트림(Video st1 #1 frame, Video st1 #2 frame, .. , Video st1 #N frame)을 포함한다. 제1 서브파일은 그 자체로 하나의 완전한 영상 파일로서 기능할 수 있다. The first sub-file is a part that encodes and stores a captured image as a high-definition image, and includes a header (or first metadata) and a first video stream in which frames of the high-definition image are connected (Video st1 #1 frame) , Video st1 #2 frame, .., Video st1 #N frame). The first subfile can itself function as one complete video file.

마찬가지로, 제2 서브파일은, 촬영되는 영상을 저화질 영상으로 인코딩하여 저장하는 부분으로서, 자체의 헤더(Header)(예를 들면, 제2 메타데이터)와, 저화질 영상의 프레임들이 연결된 제2 영상스트림(Video st2 #1 frame, Video st2 #2 frame, .. , Video st2 #N frame)을 포함한다. 제2 서브파일 역시, 그 자체로 하나의 완전한 영상 파일로 기능할 수 있다.Likewise, the second sub-file is a portion that encodes and stores a captured image as a low-quality image, and has a header (eg, second metadata) of its own and a second image stream in which frames of the low-quality image are connected. (Video st2 #1 frame, Video st2 #2 frame, .., Video st2 #N frame). The second subfile can also function as a complete video file by itself.

도 2b는 MP4 파일 형식으로 구현된 통합 영상 파일의 구성을 보여주는 도면이다. 본 발명에서의 영상 파일은, 도 2b에 도시된 바와 같이, MPEG-4(또는, MP4) 파일 타입을 사용하는 것을 예로 들 수 있다. MP4 파일 타입은, 하나 이상의 박스(box)로 구성되며, 기본적으로 FTYP, MOOV, MDAT 박스를 가질 수 있다. 각 박스는, 박스의 크기 및 종류를 표시하는 부분과, 데이터 또는 하위 박스의 데이터를 기록하는 부분으로 구성된다. 2B is a diagram showing the configuration of an integrated video file implemented in the MP4 file format. As shown in Fig. 2B, the video file in the present invention is exemplified by using an MPEG-4 (or MP4) file type. The MP4 file type is composed of one or more boxes, and may basically have FTYP, MOOV, and MDAT boxes. Each box is composed of a part that displays the size and type of the box, and a part that records data or data of the lower box.

여기서, 영상을 재생하기 위한 데이터, 예를 들면, 영상 스트림은 MDAT 박스에 기록된다. FTYP 박스는 파일의 시작에 항상 우선적으로 위치해야 하며, 파일의 호환성을 확인할 수 있는 정보가 기록되어 있다. MOOV 박스는 MP4 영상 파일에 기록된 영상 스트림에 관련한 모든 정보가 기록되어 있다. 추가로, USER 박스가 구비될 수도 있으나, 본 발명에서는 없는 것으로 설명한다.Here, data for reproducing an image, for example, an image stream, is recorded in an MDAT box. The FTYP box should always be placed at the beginning of the file, and information to check the compatibility of the file is recorded. In the MOOV box, all information related to the video stream recorded in the MP4 video file is recorded. In addition, a USER box may be provided, but it will be described as not present in the present invention.

도 2a에서 헤더라고 표시된 부분은, 예를 들면, 도 2b의 FTYP 박스, MOOV 박스에 해당할 수 있다. 또한, 일련의 Video frame들은 MDAT 박스에 포함된 실제 영상 프레임들에 대응할 수 있다. The portion marked with a header in FIG. 2A may correspond to, for example, the FTYP box and the MOOV box in FIG. 2B. Also, a series of video frames may correspond to actual video frames included in the MDAT box.

이처럼, 본 발명에서 제안하는 통합 영상 파일은, 서로 다른 화질의 개별적인 2개의 영상 파일이 연속으로 연결되어 있는 형태로 구성된다. 따라서, 블랙박스는, 연속된 2개의 서브파일 중 하나를 선택하고, 선택된 서브파일의 영상스트림을을 그대로 사용할 수 있게 된다. As described above, the integrated video file proposed in the present invention is configured in a form in which two separate video files of different image quality are continuously connected. Accordingly, the black box can select one of two consecutive subfiles and use the video stream of the selected subfile as it is.

참고로 비교하면, 종래의 영상 파일에서도, 하나의 MDAT 박스에 서로 다른 화질의 영상을 동시에 저장하는 방식이 존재한다. 하지만, 이 종래의 방식에서는, 완전한 영상 스트림을 연속시키는 것이 아니라, 프레임 단위로 교대로 저장하고 있다. 즉, 고화질의 영상 프레임 #1 - 저화질의 영상 프레임 #1 - 고화질의 영상 프레임 #2 - 저화질의 영상 프레임 #2 .. 의 방식으로 프레임 유닛을 교대로 배치하여 저장하고 있다. 따라서, 블랙박스에서 원하는 화질의 영상을 활용하기 위해서는, 각 영상 프레임을 하나씩 건너뛰어서 추출하여야 하는 처리가 필요하므로 처리능력에 부담이 되었다. For comparison, even in a conventional image file, there is a method of simultaneously storing images of different image quality in one MDAT box. However, in this conventional method, complete video streams are not continuous, but are alternately stored in units of frames. That is, the frame units are alternately arranged and stored in the manner of high quality video frame #1-low quality video frame #1-high quality video frame #2-low quality video frame #2 .. Therefore, in order to utilize the image of the desired image quality in the black box, processing is required to skip each image frame one by one, and thus burdens processing power.

이에 비하여, 본 발명의 상기한 방식으로 구성된 통합 영상 파일에 의하면, 같은 화질의 영상 프레임들은 연속으로 연결되어 완전한 단일의 영상 스트림을 구성하고 있으며, 이러한 완전한 단일의 영상 스트림으로 단일의 서브파일이 구성되고, 이러한 서브파일이 연결되어 통합 영상 파일이 구성되는 것이므로, 블랙박스는 원하는 서브파일을 선택하여 영상스트림을 그대로 사용할 수 있게 되는 것이다. On the other hand, according to the integrated video file constructed in the above-described manner of the present invention, video frames of the same quality are continuously connected to form a complete single video stream, and a single subfile is composed of the complete single video stream. In addition, since these subfiles are connected to form an integrated video file, the black box can select a desired subfile and use the video stream as it is.

이러한 기능을 구현하기 위하여, 각 메타데이터는 영상스트림 끝의 위치 및/또는 거기까지의 길이(또는, 각 서브파일의 맨 끝의 위치 및/또는 거기까지의 길이)를 표시하는 정보를 포함하여야 한다. In order to implement this function, each metadata must include information indicating the position of the end of the video stream and/or the length to the end (or the position of the end of each subfile and/or the length to the end). .

또한, 적어도 제2 서브파일의 메타데이터에는, 제1 서브파일과 관련된 서브파일임을 표시하는 정보를 포함하여야 한다. In addition, at least the metadata of the second subfile should include information indicating that it is a subfile related to the first subfile.

그리고 블랙박스에서는, 통합 영상 파일의 시작에 존재하는 메타데이터를 검사하여(파일의 앞쪽에 위치하게 되는 제1 서브파일의 제1 메타데이터를 검사하게 될 것임) 제1 서브파일의 끝을 조사하고, 그 끝의 또 하나의 영상 파일의 메타데이터(예를 들면, FTYP 박스)를 검사하고, 검사되는 메타데이터가 상기 제1 서브파일에 종속되는 제2 서브파일인지를 식별할 수 있어야 한다. Then, in the black box, the metadata existing at the beginning of the integrated video file is inspected (the first metadata of the first subfile located at the front of the file will be examined), and the end of the first subfile is examined. , It should be possible to check the metadata (eg, FTYP box) of another image file at the end, and to identify whether the inspected metadata is a second subfile subordinate to the first subfile.

본 명세서에서, 제1 서브파일과 제2 서브파일이 하나의 통합 영상 파일을 구성하는 것으로 설명하였지만, 이들이 명시적으로 하나의 통합 파일을 구성한다고 파일 자체에 표시될 필요는 없다. 즉, 제1 서브파일과 제2 서브파일을 영구저장매체의 논리적(또는, 물리적) 주소상에서 서로 연속으로 기록하고, 제1 서브파일에 관련된 제2 서브파일임을 표시하는 정보를 제2 서브파일의 제2 메타데이터에 기록하여 두면, 추후에 블랙박스에서 어느 하나의 서브파일을 판독할 때 바로 다음번 논리적/물리적 주소를 조사하여 관련된 제2 서브파일이 존재하는 것으로 확인될 때, 앞서 판독한 서브파일과 거기에 연결된 제2 서브파일을 하나의 통합 영상 파일이라고 판단할 수도 있다. In this specification, although the first subfile and the second subfile are described as constituting one integrated video file, they do not have to be explicitly indicated in the file itself as constituting one integrated file. That is, the first subfile and the second subfile are continuously recorded to each other on the logical (or physical) address of the persistent storage medium, and information indicating that the second subfile is related to the first subfile is the second subfile. If it is recorded in the second metadata, when the next subfile is read from the black box, the next logical/physical address is checked, and when it is determined that the related second subfile exists, the previously read subfile And the second subfile connected thereto may be determined as one integrated video file.

따라서, 본 명세서에, "통합 영상 파일을 구성한다."라는 것은, 제1 서브파일의 제1 메타데이터 또는 별도의 박스에, 관련된 제2 서브파일이 존재함을 명시적으로 기록할 수도 있고 또는 기록하지 않을 수도 있을 것이다. Thus, in this specification, "constituting the integrated video file" may explicitly record that the related second subfile exists in the first metadata or the separate box of the first subfile, or It may not be recorded.

다음으로, 도 3을 참조하여 본 발명의 일 실시예에 따른, 통합 영상 파일을 구성하는 영상 녹화 장치의 주요부를 개략적으로 설명한다. 영상 녹화 장치(101)는 블랙박스의 일부일 수 있다. 영상 녹화 장치(101)는, 촬영부(110)와, 시스템부(120)와 영구저장매체(130)를 포함할 수 있다. Next, a main part of the video recording apparatus constituting the integrated video file according to an embodiment of the present invention will be schematically described with reference to FIG. 3. The video recording device 101 may be part of a black box. The video recording apparatus 101 may include a photographing unit 110, a system unit 120, and a permanent storage medium 130.

촬영부(110)는 카메라를 포함하여 전방을 촬영한다. 촬영된 영상은 프레임 단위로 출력될 수 있다. The photographing unit 110 photographs the front, including the camera. The captured image may be output in units of frames.

영구저장매체(130)는, 비휘발성 데이터 저장장치를 통칭하는 것으로서, SD 메모리, SSD, HDD 등을 포함할 수 있다. 물론, 영구저장매체(130)는 휘발성 메모리를 사용하여 구현될 수도 있다. The permanent storage medium 130 is a non-volatile data storage device, and may include an SD memory, an SSD, and an HDD. Of course, the permanent storage medium 130 may be implemented using volatile memory.

시스템부(120)는 촬영부(110)에서 촬영된 영상을 인코딩하여 디지털 영상 데이터로 변환하여 영구저장매체(130)에 기록하는 기능을 수행한다. The system unit 120 encodes an image captured by the photographing unit 110 and converts it into digital image data to record the image on the permanent storage medium 130.

영상획득부(121)는 촬영부(110)에서 출력하는 영상을 수신한다. The image acquisition unit 121 receives an image output from the photographing unit 110.

스트림확장부(122)는 수신된 영상을 2개의 스트림으로 구성한다. 즉, 수신된 영상을 제1 화질(또는, 고화질)의 영상으로 변환하여 제1 영상스트림을 생성하고, 수신된 영상을 제2 화질(또는, 저화질)의 영상으로 변환하여 제2 영상스트림을 생성한다. The stream extension unit 122 configures the received image into two streams. That is, a first image stream is generated by converting the received image into a first quality (or high quality) image, and a second image stream is generated by converting the received image into a second quality (or low quality) image. do.

인코딩부(123)는, 각 영상스트림을 영상 파일로서 저장하기 위한 형식으로 인코딩한다. 예를 들면, MP4 파일 형식으로 인코딩할 수 있다. The encoding unit 123 encodes each video stream in a format for storing as a video file. For example, it can be encoded in MP4 file format.

버퍼메모리(124)는, 실시간으로 촬영되어 생성되는 영상스트림을 임시 저장하는 버퍼를 제공한다. The buffer memory 124 provides a buffer for temporarily storing an image stream generated and photographed in real time.

파일생성부(125)는, 영상 녹화 장치(101)가 영상 녹화를 시작하면, 제1 영상스트림을 저장할 제1 서브파일을 생성할 수 있다. 본 발명에서 제1 서브파일은 영구저장매체(130) 내에 즉시 생성될 수 있다. 이때, 제1 서브파일은 예를 들면 제1 시간(예를 들면, 60초)마다 마감될 것이므로, 영구저장매체(130)에 생성된 제1 서브파일은 제1 메타데이터의 일부가 기록되고 MDAT 박스에 영상스트림이 추가될 수 있는 상태로 생성될 수 있다. When the video recording apparatus 101 starts recording a video, the file generation unit 125 may generate a first sub-file to store the first video stream. In the present invention, the first sub-file may be immediately created in the permanent storage medium 130. At this time, since the first sub-file will be closed every first time (for example, 60 seconds), a portion of the first metadata is recorded in the first sub-file created in the permanent storage medium 130 and MDAT The video stream may be generated in a state in which a video stream can be added to the box.

그리고 파일생성부(125)는, 제1 영상스트림을 제2 시간 주기(예를 들면, 1초)마다 버퍼메모리(124)로부터 가져와서 MDAT 박스에 추가로 기록하여 제1 서브파일을 기록한다. Then, the file generating unit 125 records the first sub-file by taking the first video stream from the buffer memory 124 every second time period (for example, 1 second) and further recording it in the MDAT box.

한편, 파일생성부(125)는 아직 제2 서브파일은 생성하지 않았으며, 제2 영상스트림은 버퍼메모리(124) 내에서 추가되고 있는 상태이다. Meanwhile, the file generation unit 125 has not yet generated a second subfile, and the second image stream is being added in the buffer memory 124.

이후, 제1 시간 동안 기록이 수행된 후(즉, 제1 영상스트림은 영구저장매체 내에서 프레임이 추가되고 있고, 제2 영상스트림은 버퍼메모리 내에서 프레임이 추가되고 있는 상태임), 파일생성부(125)는 영구저장매체(130)의 제1 서브파일의 MDAT 박스를 마감함으로써 제1 메타데이터를 마감하여 제1 서브파일을 마감한다. 한편, 파일생성부(125)는, 제1 시간 동안 생성된 제2 영상스트림을 버퍼메모리(124)로부터 독출하고, 제2 메타데이터를 구성하여 제2 서브파일을 생성하고, 생성된 제2 서브파일을 영구저장매체(130)의 제1 서브파일에 논리적/물리적 주소가 연속하는 위치로부터 기록한다. Then, after recording is performed for a first time (ie, the first video stream is a frame being added in the permanent storage medium, and the second video stream is a frame being added in the buffer memory), creating a file The unit 125 closes the first metadata by closing the MDAT box of the first subfile of the permanent storage medium 130 to close the first subfile. Meanwhile, the file generation unit 125 reads the second video stream generated during the first time from the buffer memory 124, constructs the second metadata to generate the second subfile, and generates the second subfile. The file is recorded from the location where the logical/physical address is consecutive in the first subfile of the permanent storage medium 130.

이처럼, 제1 서브파일에 종속된 제2 서브파일의 위치가, 제1 서브파일의 논리적으로(또는, 물리적으로) 연속하는 위치이기 때문에, 어느 하나의 서브파일을 판독할 때, 연속된 다음 위치의 서브파일의 메타데이터를 검사하면, 다음 위치의 서브파일이 바로 앞의 서브파일에 종속된 제2 서브파일인지 여부를 바로 판단할 수 있게 된다. As such, since the position of the second subfile dependent on the first subfile is a logically (or physically) contiguous position of the first subfile, when reading any one subfile, the next consecutive position By examining the metadata of the subfile of, it is possible to immediately determine whether the subfile at the next location is the second subfile subordinate to the previous subfile.

다음으로, 상기한 방식으로 구성된 통합 영상 파일, 즉, 서로 다른 화질의 영상스트림들의 개별적인 서브파일이 연속으로 기록된 통합 영상 파일을 표시면에 표시할 수 있는 장치에 대해서 설명한다. 이처럼, 통합 영상 파일을 표시면에 표시할 수 있는 영상 표시 장치, 예를 들면, 표시면을 구비한 블랙박스는, 파일 획득부, 파일 분석부, 디코딩부, 영상표시부를 포함할 수 있다. 본 실시예의 블랙박스의 구성은, 도 4의 블록도를 참고할 수 있다. Next, a description will be given of a device capable of displaying an integrated video file constructed in the above-described manner, that is, an integrated video file in which individual sub-files of different image streams are continuously recorded on a display surface. As such, a video display device capable of displaying an integrated video file on a display surface, for example, a black box having a display surface, may include a file acquisition unit, a file analysis unit, a decoding unit, and a video display unit. For the configuration of the black box of this embodiment, the block diagram of FIG. 4 may be referred to.

파일 획득부는, 전방을 촬영한 영상이 제1 화질의 제1 영상스트림으로 기록된 제1 서브파일과 상기 제1 영상이 제2 화질의 제2 영상스트림으로 기록된 제2 서브파일이 서로 연속으로 연결되어 구성된 통합 영상 파일을 입력받는다. 즉, 파일 획득부는 영구저장매체에 접근하여 저장된 영상 파일들을 판독할 수 있다. In the file acquisition unit, a first sub-file in which an image photographing the front is recorded as a first video stream of a first quality and a second sub-file in which the first image is recorded as a second video stream of a second quality is successive to each other. Connected and configured integrated video files are received. That is, the file acquiring unit may read the stored image files by accessing the permanent storage medium.

파일분석부는, 입력된 영상 파일에 제2 서브파일이 포함되어 있는지 조사한다. 즉, 파일분석부는 표시할 어느 하나의 영상 파일을 판독할 때, 해당 영상 파일의 메타데이터를 판독하여 영상 파일의 끝을 식별하고, 식별된 끝 위치에 또 하나의 영상 파일이 시작하고 있는지 확인하고, 확인된 영상 파일의 메타데이터를 검사하여 해당 파일이 바로 앞에 위치한 영상 파일에 종속된 제2 서브파일인지 여부를 식별할 수 있다. The file analysis unit checks whether the second subfile is included in the input video file. That is, when reading any one image file to be displayed, the file analysis unit reads metadata of the image file to identify the end of the image file, checks whether another image file is starting at the identified end position, and , By checking the metadata of the identified image file, it is possible to identify whether the corresponding file is the second sub-file dependent on the image file located in front.

디코딩부는, 각 영상 파일에서 영상스트림을 판독하여 시각적으로 표시할 수 있도록 디코딩한다. The decoding unit decodes an image stream from each image file so that it can be visually displayed.

영상표시부는, 디코딩된 영상스트림을 표시면에 시각적으로 표시한다. 이때, 파일분석부에서 상기 제2 서브파일이 식별되었다면, 영상표시부는, 제2 서브파일의 제2 영상스트림을 표시면에 표시할 수 있다. The video display unit visually displays the decoded video stream on the display surface. At this time, if the second subfile is identified in the file analysis unit, the image display unit may display the second image stream of the second subfile on the display surface.

이러한 영상 표시 장치는, 전방을 촬영한 동일한 영상이면서 서로 화질이 다른 2개의 영상스트림 중에서 원하는 화질의 영상스트림을 선택하여 표시할 수 있는데, 저화질의 영상스트림을 선택하여 표시하는 경우에 제2 서브파일을 선택하여 일련의 영상스트림을 그대로 사용할 수 있으므로, 영상 프레임을 추출하여 표시하는 처리능력이 부족하더라도 영상을 원활하게 표시할 수 있게 된다. 또한, 저화질의 프레임이 일렬로 연속되어 구성된 영상스트림을 사용하게 되므로, 구간 탐색시 지연이 거의 없고 고속 재생 등에 대해서도 원활하게 대응할 수 있게 된다. Such a video display device may select and display a video stream having a desired picture quality from two video streams having the same picture taken in the front and different picture quality. When a low-quality video stream is selected and displayed, the second subfile By selecting, a series of video streams can be used as they are, so that even if the processing capability to extract and display video frames is insufficient, the video can be displayed smoothly. In addition, since an image stream composed of low-quality frames in a row is used, there is almost no delay when searching for a section, and it is possible to respond smoothly to high-speed playback.

도 4는 본 발명의 또 하나의 실시예에 따른, 통합 영상 파일을 포함하는 복수 채널의 영상 파일을 하나의 표시면에 표시할 수 있는 장치의 주요부 및 복수 채널의 영상을 PIP 방식으로 표시하는 예를 보여주는 도면이다. 4 is an example of displaying a main part of a device capable of displaying a multi-channel video file including an integrated video file on a single display surface and a multi-channel video in a PIP method according to another embodiment of the present invention. It is a drawing showing.

도 4의 (a)를 참조하면, 통합 영상 파일을 포함하는 복수 채널의 영상 파일을 하나의 표시면에 표시할 수 있는 장치(201)는, 역시 블랙박스일 수 있으며, 영상파일 획득부(210), 파일 분석부(220), 디코딩부(230), 영상표시부(240)를 포함할 수 있다. Referring to (a) of FIG. 4, a device 201 capable of displaying a plurality of channel image files including an integrated image file on a single display surface may be a black box, and the image file acquisition unit 210 ), a file analysis unit 220, a decoding unit 230, and an image display unit 240.

여기서는, 예를 들면 차량의 임의의 방향을 촬영하여 생성된 제1 영상이 제1 채널로서 출력되고, 상기 제1 영상을 제1 화질의 제1 영상스트림으로 기록하여 제1 서브파일을 구성하고, 상기 제1 채널의 제1 영상이 제2 화질의 제2 영상스트림으로 기록된 제2 서브파일을 구성하고, 제1 서브파일과 제2 서브파일이 서로 연속으로 연결되어 구성된 통합 영상 파일이 구성되는 것으로 한다.Here, for example, a first image generated by photographing an arbitrary direction of a vehicle is output as a first channel, and a first subfile is configured by recording the first image as a first image stream of a first quality, The first video of the first channel constitutes a second sub-file recorded as a second video stream of a second quality, and the first sub-file and the second sub-file are continuously connected to each other to form an integrated video file. It is assumed.

또한, 예를 들면 차량의 다른 방향을 촬영하여 생성된 제2 영상이 제2 채널로서 출력되고, 상기 제2 영상을 임의의 화질로 기록된 또 하나의 영상 파일이 구성되는 것으로 한다. 여기서, 또 하나의 영상 파일도 제1 화질의 제1 영상스트림이 기록된 제1 서브파일과 제2 화질의 제2 영상스트림으로 기록된 제2 서브파일을 포함할 수도 있다. In addition, it is assumed that, for example, a second image generated by photographing a different direction of the vehicle is output as a second channel, and another image file in which the second image is recorded in an arbitrary image quality is configured. Here, another image file may also include a first subfile in which a first image stream of the first quality is recorded and a second subfile recorded in a second image stream of the second quality.

영상파일 획득부(210)는, 예를 들면, 영구저장매체(130)로부터 채널별 영상 파일을 판독하여 획득할 수 있다.The image file acquisition unit 210 may obtain, for example, a video file for each channel by reading it from the permanent storage medium 130.

파일분석부(220)는, 블랙박스(101)의 표시면(D)에 표시할 제1 채널의 영상 파일과 제2 채널의 영상 파일을 선택하고, 선택된 파일들이 제2 서브파일을 포함하는 통합 영상 파일인지 분석한다. 통합 영상 파일인지의 분석은, 선택된 영상 파일의 메타데이터로부터 영상 스트림의 끝 또는 영상 파일의 끝(통합 영상 파일인 경우에는, 제1 서브파일의 끝이 될 것임)을 검색하고, 상기 끝에서 또 하나의 영상 파일이 시작하고 있는지 조사하고, 조사된 또 하나의 영상 파일의 메타데이터를 검사하여 또 하나의 영상 파일이 바로 앞의 영상 파일의 제2 서브파일이라고 표시하고 있는지 식별함으로써, 이루어질 수 있다. The file analysis unit 220 selects a video file of the first channel and a video file of the second channel to be displayed on the display surface D of the black box 101, and the selected files include a second subfile. Analyze if it is a video file. The analysis of whether it is an integrated video file searches for the end of the video stream or the end of the video file (in the case of an integrated video file, it will be the end of the first subfile) from the metadata of the selected video file. This can be achieved by examining whether one image file is starting, and examining the metadata of another irradiated image file to identify whether another image file is indicated as the second subfile of the immediately preceding image file. .

영상표시부(240)는, 제1 채널의 제1 영상과 제2 채널의 제2 영상을 동시에 표시하고자 하는 명령을 수신하면, 표시면(D)을 2개의 영역으로 구분하고 각 영역에 각자의 영상을 표시할 수 있다. 특히, 본 발명에서는, 하나의 표시면을 PIP 방식으로 메인 영역(M)과 서브 영역(S)으로 구분할 수 있다. When receiving an instruction to simultaneously display the first image of the first channel and the second image of the second channel, the image display unit 240 divides the display surface D into two regions and separates images in each region. Can be displayed. Particularly, in the present invention, one display surface may be divided into a main region M and a sub region S in a PIP method.

영상표시부(240)는, 파일분석부(220)에서 상기 제2 서브파일이 식별되면, 표시면(D)에 메인 영역(M)과 서브 영역(S)을 설정하고, 상기 메인 영역(M)에 상기 임의의 영상 파일에 포함된 영상스트림을 표시하고, 상기 서브 영역(S)에 상기 제2 서브파일의 상기 제2 영상스트림을 표시할 수 있다. When the second sub-file is identified in the file analysis unit 220, the image display unit 240 sets the main region M and the sub-region S on the display surface D, and the main region M The video stream included in the arbitrary video file may be displayed, and the second video stream of the second sub file may be displayed in the sub-region S.

즉, 표시면(D)의 작은 부분인 서브 영역(S)에 표시할 영상은, 통합 영상 파일의 저화질로 저장된 제2 영상스트림인 것이 바람직하다. That is, it is preferable that the image to be displayed on the sub-region S which is a small portion of the display surface D is a second image stream stored in low quality of the integrated image file.

이렇게, 작은 서브 영역에 저화질의 영상 스트림을 표시하게 되면, 영상의 크기를 서브 영역에 맞추어 변환하기 위한 처리부하가 적어서 메인 영역(M)의 영상과 서브 영역(S)의 영상이 서로 동기를 잃지않고 원활하게 표시될 수 있게 된다. When a low-quality video stream is displayed in a small sub-area, the processing load for converting the size of the video to fit the sub-area is small, so that the video in the main area M and the video in the sub-area S lose synchronization with each other. It can be displayed smoothly.

도 4의 (b)는 PIP 방식으로 구분된 표시면(D)을 보여준다. 메인 영역(M)에는 사용자가 자세히 보기를 원하는 전방을 촬영한 영상이 크게 표시되고 있으며, 서브 영역(S)에는 사용자가 참고로서 볼 후방을 촬영한 영상이 작게 표시되고 있다. 여기서, 후방을 촬영한 영상은 저화질로 저장된 영상스트림이 표시될 수 있으며, 이로써, 2개 채널의 영상이 하나의 표시면(D)에서 동시에 원활하게 표시될 수 있게 된다. FIG. 4B shows a display surface D divided by a PIP method. In the main area M, an image photographing the front, which the user wants to view in detail, is largely displayed, and in the sub area S, an image photographing the rear of the ball as a reference for the user is displayed small. Here, an image stream photographed in the rear may be displayed in a low-quality image stream, whereby two channels of images can be smoothly displayed simultaneously on one display surface D.

도 5는 상기 도 4를 참조하여 설명된 바와 같은 통합 영상 파일을 포함하는 복수 채널의 영상 파일을 하나의 표시면에 표시하는 장치에서 실행될 수 있는, 통합 영상 파일을 포함하는 복수 채널의 영상 파일을 하나의 표시면에 표시하는 방법을 설명하는 흐름도이다. FIG. 5 illustrates a multi-channel video file including an integrated video file, which can be executed on a device that displays a multi-channel video file including the integrated video file as described with reference to FIG. 4 on one display surface. It is a flowchart for explaining a method of displaying on one display surface.

사용자에 의해 표시할 영상이 선택될 수 있다(S10). 예를 들면, 사용자는 전방을 촬영하여 생성된 제1 채널로부터의 영상(또는, 전방 영상)과 후방을 촬영하여 생성된 제2 채널로부터의 영상(또는, 후방 영상)을 하나의 표시면에 동시에 표시하고자 선택할 수 있다. An image to be displayed may be selected by the user (S10). For example, the user can simultaneously display an image (or front image) from the first channel generated by shooting the front and an image (or rear image) from the second channel generated by shooting the rear on the same display surface. You can choose to display.

그리고 사용자는 메인 영역에 및/또는 서브 영역에 표시될 영상을 선택할 수 있다(S12). 예를 들면, 사용자는, 전방을 촬영한 영상을 메인 영역에 크게 표시하고, 후방을 촬영하여 생성된 영상을 서브 영역에 작게 표시하고자 할 수 있다. And the user can select an image to be displayed in the main area and/or in the sub area (S12). For example, the user may want to display an image photographed in the front in a large area on the main area, and an image generated by photographing the back in a small area on the sub area.

각 영역별로 표시될 영상이 선택되면, 메인 영역에 표시되도록 선택된 채널의 영상 파일에서는, 영상 파일에 저장된 영상스트림이 그대로 선택되어(S18) 메인 영역에 표시될 수 있다(S19). 만일 제1 서브파일과 제2 서브파일을 구비한 통합 영상 파일이 메인 영역에 표시되도록 선택된 경우에는, 통합 영상 파일의 맨 앞에 오는 서브파일의 영상을 그대로 표시하도록 구현되거나, 제1 영상스트림과 제2 영상스트림의 영상 중에서 임의의 영상스트림을 선택하여 표시하도록 구현될 수도 있다. When an image to be displayed for each region is selected, in a video file of a channel selected to be displayed in the main region, an image stream stored in the image file may be selected as it is (S18) and displayed in the main region (S19). If the integrated video file having the first sub-file and the second sub-file is selected to be displayed in the main area, it is implemented to display the video of the sub-file that comes before the integrated video file as it is, or the first video stream and the first video stream It may be implemented to select and display an arbitrary video stream from the video of the 2 video streams.

한편, 서브 영역에 표시하도록 선택된 채널의 영상 파일에 대해서는, 저화질로 저장된 서브파일이 존재하는지 검사할 수 있다(S13). 즉, 영상 파일에 제2 영상스트림이 존재하는지 검사한다. 이러한 검사는, 영상 파일의 메타데이터를 조사하여 영상 파일의 끝을 검사하고, 파일의 끝에 연결된 또 하나의 영상 파일의 메타데이터를 조사하여 바로 앞의 영상 파일에 종속된 제2 서브파일임을 나타내고 있는지 검사하는 방식으로 이루어진다. Meanwhile, for a video file of a channel selected to be displayed in a sub-region, it may be checked whether a sub-file stored in low quality exists (S13). That is, it is checked whether a second video stream exists in the video file. This check checks whether the image file metadata is examined to check the end of the image file, and the metadata of another image file connected to the end of the file is examined to indicate that it is a second subfile subordinate to the previous image file. This is done by inspection.

여기서, 만일, 서브 영역에 표시하도록 선택된 채널의 영상 파일에 제2 서브파일의 제2 영상스트림이 존재한다면, 제2 영상스트림을 선택 및 디코딩하여(S14) 표시면의 서브 영역에 영상을 표시하게 된다(S15). Here, if the second video stream of the second subfile exists in the video file of the channel selected to be displayed in the sub area, the second video stream is selected and decoded (S14) to display the video in the sub area of the display surface. It becomes (S15).

반면에, 서브 영역에 표시하도록 선택된 채널의 영상 파일에 제2 서브파일이 존재하지 않은 것으로 확인되면, 포함된 영상스트림을 그대로 사용하여(S16) 서브 영역의 크기에 맞게 디코딩한 후(S17), 서브 영역에 표시할 수 있다(S15).On the other hand, if it is determined that the second sub-file does not exist in the video file of the channel selected to be displayed in the sub-region, the included video stream is used as it is (S16) and decoded according to the size of the sub-region (S17), It can be displayed in the sub-region (S15).

이러한 방식으로, 메인 영역에는 별도의 선택절차 없이 구비한 영상스트림을 그대로 사용하여 표시할 수 있고, 서브 영역에는 저화질로 저장된 제2 영상스트림이 존재한다면 그 제2 영상스트림을 사용하여 표시할 수 있다. In this way, an image stream provided without a separate selection procedure may be displayed on the main area as it is, and if a second image stream stored in low quality exists in the sub-region, the second image stream may be displayed. .

다음으로, 도 5의 방법의 절차 중에서, 제2 영상스트림의 제2 서브파일이 존재하는지 조사하는 방법에 대해서, 도 6을 참조하여 설명한다. Next, in the procedure of the method of FIG. 5, a method for examining whether a second sub-file of the second video stream exists will be described with reference to FIG.

먼저, 임의의 영상 파일(예를 들면, 제1 서브파일)이 선택되면, 영상 파일의 메타데이터(제1 메타데이터)를 조사하여 영상스트림(제1 영상스트림)의 크기 또는 해당 영상 파일(제1 서브파일)의 크기를 파악한다(S21). 제1 영상스트림의 크기를 파악하면, 제1 영상스트림의 끝으로 이동하여 연결된 또 하나의 영상 파일이 있는지 검사한다(S22). First, when an arbitrary video file (for example, a first sub-file) is selected, the size of the video stream (first video stream) or the corresponding video file (first 1 subfile) is determined (S21). When the size of the first video stream is determined, it is checked whether there is another video file connected to the end of the first video stream (S22).

연결된 또 하나의 영상 파일이 존재하면, 상기 영상 파일의 메타데이터를 검사한다(S23). 상기 영상 파일이 메타데이터를 가지고 있고(S24의 "유"), 이 영상 파일이 만일 바로 앞의 영상 파일(즉, 제1 서브파일)에 관련된 제2 서브파일이라고 표시하고 있다면, 상기 제1 서브파일과 상기 제2 서브파일은 하나의 통합 영상 파일로 간주될 수 있다. If another linked video file exists, the metadata of the video file is checked (S23). If the image file has metadata ("Y" in S24), and this image file is indicated as a second subfile related to the immediately preceding image file (ie, the first subfile), the first sub The file and the second subfile may be regarded as one integrated video file.

한편, 이어서, 제2 서브파일에서 제2 메타데이터를 조사하여 제2 영상스트림의 크기를 파악한다(S25). 그리고 파악된 크기를 참고하여 제2 영상스트림이 완전하게 존재하는지 확인한 후(S26). 제2 영상스트림을 판독하여(S27), 서브 영역에 표시될 수 있도록 제2 영상스트림이 선택될 수 있다(S28). Meanwhile, the size of the second video stream is determined by examining the second metadata in the second subfile (S25). And after confirming whether the second video stream is completely present by referring to the determined size (S26). By reading the second video stream (S27), the second video stream may be selected to be displayed in the sub-region (S28).

한편, 제2 영상스트림이 완전하지 않거나 없는 경우에는, 제2 서브파일의 선택이 취소되고, 제1 서브파일의 제1 영상스트림이 표시되도록 선택될 수 있을 것이다(S29). On the other hand, if the second video stream is incomplete or absent, the selection of the second subfile is canceled and the first videostream of the first subfile may be selected to be displayed (S29).

이상에서 설명된 본 발명의 실시예들은 본 발명의 기술 사상을 예시적으로 보여준 것에 불과하며, 본 발명의 보호 범위는 이하 특허청구범위에 의하여 해석되어야 마땅할 것이다. 또한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것인 바, 본 발명과 균등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The embodiments of the present invention described above are merely illustrative of the technical idea of the present invention, and the protection scope of the present invention should be interpreted by the claims below. In addition, those skilled in the art to which the present invention pertains will be able to make various modifications and variations without departing from the essential characteristics of the present invention, and all technical ideas within the scope equivalent to the present invention are the present invention. It should be interpreted as being included in the scope of the rights of.

Claims

(i) generating a first video stream of a first quality from an image taken in front, recording the first video stream in a buffer memory, generating a first sub-file on a permanent storage medium, and a predetermined second time Recording the first video stream recorded in the buffer memory every time to the first subfile of the permanent storage medium;
(ii) processing the video or the first video stream to generate a second video stream of a second image quality, and recording the second video stream to the buffer memory;
(iii) closing the first sub-file in the permanent storage medium at a first time longer than the second time, and simultaneously closing the second sub-file with the second video stream in the buffer memory. ;
(iv) starting at the beginning of the first subfile in the permanent storage medium by concatenating and recording the finished second subfile in the buffer memory at the end of the first subfile in the permanent storage medium. 2 A method of constructing an integrated video file in which video streams of different image quality are continuously recorded, comprising the step of constructing an integrated video file ending at the end of the subfile.

According to claim 1,
The first subfile includes at least first metadata indicating the end of the first video stream or the end of the first subfile,
The second subfile includes at least, second metadata indicating that the second subfile is the second video stream of the second quality, and video streams of different quality are continuously recorded. How to organize integrated video files.

According to claim 1,
The second picture quality is characterized in that the picture quality is lower than the first picture quality, a method of configuring an integrated video file in which video streams of different picture quality are continuously recorded.

delete

An image receiving unit that receives an image taken in front;
A stream extension unit for constructing a first video stream of a first quality from the received image, and processing the video or the first video stream to form a second video stream of a second quality;
A buffer memory for storing the first video stream and the second video stream;
A permanent storage medium where integrated video files are stored;
A first sub-file is created in the permanent storage medium, and the first video stream recorded in the buffer memory is stored in the first sub-file in the permanent storage medium every predetermined second time, compared to the second time. With a long first period of time, the first subfile is closed in the permanent storage medium and at the same time the second subfile is closed with the second video stream in the buffer memory, and at the end of the closed first subfile And a file generator configured to configure the integrated video file starting at the start of the first sub-file and ending at the end of the second sub-file in the permanent storage medium by continuously connecting and recording the closed second sub-file. , An apparatus for constructing an integrated video file in which video streams of different image quality are recorded continuously.

delete

The method of claim 5,
The second image quality is lower than the first image quality, and
The first subfile includes first metadata indicating the end of the first video stream or the end of the first subfile,
The second subfile includes at least, second metadata indicating that the second subfile is the second video stream of the second quality, and video streams of different quality are continuously recorded. A device that composes an integrated video file.

An integrated video file consisting of a first sub-file in which an image taken in the front is recorded as a first video stream of a first quality and a second sub-file in which the image is recorded as a second video stream in a second quality in continuous connection File acquisition unit that receives the input;
A file analysis unit that checks whether the second subfile is included in the inputted integrated video file;
When the second subfile is identified in the file analysis unit, video streams of different image quality are continuously recorded, including an image display unit that displays the second image stream of the second subfile on a display surface of a display device. As a device for displaying the integrated video file,
The integrated video file is:
(a) recording the first video stream in a buffer memory,
(b) recording the second video stream in the buffer memory,
(c) generating the first subfile in a permanent storage medium, and recording the first video stream recorded in the buffer memory every second predetermined time in the first subfile of the permanent storage medium,
(d) At a predetermined first time period longer than the second time, the first subfile in the permanent storage medium is closed, and at the same time, the second subfile is closed as the second video stream in the buffer memory. ,
(e) by continuously writing a second subfile closed in the buffer memory at the end of the first subfile in the permanent storage medium, starting at the beginning of the first subfile and at the end of the second subfile A device for displaying an integrated video file in which video streams of different image quality are continuously recorded.

The method of claim 8,
The first subfile further includes first metadata indicating the end of the first video stream or the end of the first subfile,
The second subfile further includes at least second metadata indicating that the second subfile is the second video stream of the second quality,

The file analysis unit,
Identify the end of the first subfile from the first metadata of the integrated video file, check whether the second subfile is starting at the end of the first subfile, and also check the And reading the second metadata to identify the second video stream, and displaying an integrated video file in which video streams of different image quality are continuously recorded.

A first subfile in which a first image from a first channel is recorded as a first image stream of a first quality and a second subfile in which the first image is recorded as a second image stream of a second quality is continuously connected to each other. A method of simultaneously displaying an integrated video file composed of files and an arbitrary video file in which a second video from a second channel is recorded on a display device,
(i) setting a main area and a sub area on the display surface of the display device;
(ii) displaying a video stream included in the arbitrary video file on the main area;
(iii) selecting the integrated image file as an image file to be displayed in the sub-region, and displaying the second image stream in the sub-region when the second sub-file is searched by examining the integrated image file A method of displaying an integrated video file in which video streams of different image quality are continuously recorded, comprising:
The integrated video file is:
(a) recording the first video stream in a buffer memory,
(b) recording the second video stream in the buffer memory,
(c) generating the first subfile in a permanent storage medium, and recording the first video stream recorded in the buffer memory every second predetermined time in the first subfile of the permanent storage medium,
(d) At a predetermined first time period longer than the second time, the first subfile in the permanent storage medium is closed, and at the same time, the second subfile is closed as the second image stream in the buffer memory. ,
(e) by continuously writing a second subfile closed in the buffer memory at the end of the first subfile in the permanent storage medium, starting at the beginning of the first subfile and at the end of the second subfile A method of displaying an integrated video file in which video streams of different image quality are continuously recorded.

The method of claim 10,
The first subfile includes first metadata that is information indicating the end of the first video stream or the end of the first subfile,
The second subfile includes at least second metadata that is information indicating that the second subfile is the second video stream of the second image quality,

Step (iii) is:
Search for the end of the first subfile from the first metadata of the integrated video file, check whether the second subfile is starting at the end of the first subfile, and check the A method of displaying an integrated video file in which video streams of different image quality are continuously recorded, comprising reading the second metadata to identify the second video stream and displaying the second video stream in the sub-region. .

The method of claim 10,
The second image quality is lower than the first image quality,
The sub-area is characterized in that the main area is configured in a PIP method, a method for displaying an integrated video file in which video streams of different image quality are continuously recorded.

delete

A first subfile in which a first image from a first channel is recorded as a first image stream of a first quality and a second subfile in which the first image is recorded as a second image stream of a second quality is continuously connected to each other. An integrated video file composed of files, and a file acquiring unit that receives an arbitrary video file in which a second video from a second channel is recorded;
A file analysis unit for selecting the integrated image file as an image file to be displayed on a display surface of a display device and examining whether the selected integrated image file includes a second sub-file;
When the second subfile is identified in the file analysis unit, a main area and a sub area are set on a display surface of the display device, and the video stream included in the arbitrary video file is displayed on the main area, and the sub An image display unit for displaying the second video stream of the second sub-file in an area, the apparatus for displaying an integrated video file in which video streams of different image quality are continuously recorded,

The integrated video file is:
(a) recording the first video stream in a buffer memory,
(b) recording the second video stream in the buffer memory,
(c) generating the first subfile in a permanent storage medium, and recording the first video stream recorded in the buffer memory every second predetermined time in the first subfile of the permanent storage medium,
(d) At a predetermined first time period longer than the second time, the first subfile in the permanent storage medium is closed, and at the same time, the second subfile is closed as the second image stream in the buffer memory. ,
(e) by continuously writing the second subfile closed in the buffer memory at the end of the first subfile in the permanent storage medium, starting at the beginning of the first subfile and at the end of the second subfile A device for displaying an integrated video file in which video streams of different image quality are continuously recorded.

The method of claim 14,
The first subfile includes first metadata indicating the end of the first video stream or the end of the first subfile,
The second subfile further includes at least second metadata indicating that the second subfile is the second video stream of the second image quality,

The file analysis unit,
Search for the end of the first subfile from the first metadata of the integrated video file, check whether the second subfile is starting at the end of the first subfile, and check the And reading the second metadata to identify the second video stream, and displaying an integrated video file in which video streams of different image quality are continuously recorded.