KR100411587B1 - Apparatus and method of storing position information and motion picture synchronizingly and applying that in geographic information system - Google Patents

Apparatus and method of storing position information and motion picture synchronizingly and applying that in geographic information system Download PDF

Info

Publication number
KR100411587B1
KR100411587B1 KR10-2001-0086270A KR20010086270A KR100411587B1 KR 100411587 B1 KR100411587 B1 KR 100411587B1 KR 20010086270 A KR20010086270 A KR 20010086270A KR 100411587 B1 KR100411587 B1 KR 100411587B1
Authority
KR
South Korea
Prior art keywords
image
video
location information
synchronized
time stamp
Prior art date
Application number
KR10-2001-0086270A
Other languages
Korean (ko)
Other versions
KR20030056109A (en
Inventor
권형진
안충현
안치득
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR10-2001-0086270A priority Critical patent/KR100411587B1/en
Publication of KR20030056109A publication Critical patent/KR20030056109A/en
Application granted granted Critical
Publication of KR100411587B1 publication Critical patent/KR100411587B1/en

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 동영상 및 위치 정보의 동기 처리 방법 및 장치, 그리고 이를 이용한 지리 정보 시스템에 관한 것이다.The present invention relates to a method and apparatus for synchronizing video and location information, and a geographic information system using the same.

본 발명은 IMT-2000으로 대표되는 차세대 무선 통신 기술을 응용한 휴대용 단말에 부착되기 시작한 GPS와 같은 위치 정보 획득 장치 및 디지털 카메라와 같은 영상 획득 장치로부터 획득된 정지 영상 및 동영상을 자체 신호나 타임 스탬프 생성기를 통하여 동기화 시키고, 이를 동영상의 형태로 저장 장치에 저장한다. 이후에, 재생시 역부호화된 위치정보를 이용하여 데이터베이스에 접근, 동일 위치에서의 동영상과 지리 공간 정보를 동기화 시켜 화면에 표시한다.The present invention provides a self-signal or time stamp of a still image and a video obtained from a location information acquisition device such as GPS and an image acquisition device such as a digital camera, which are beginning to be attached to a portable terminal using the next generation wireless communication technology represented by IMT-2000. Synchronizes through the generator, and stores it in the form of a video in the storage device. Subsequently, the database is accessed using the decoded location information during playback, and the video and the geospatial information at the same location are synchronized and displayed on the screen.

이러한 본 발명에 따르면, 동영상과 위치정보를 동기화하고 다중화시켜 저장 관리할 수 있으며, 재생하는 경우에도 영상으로부터 지도의 내용을 실시간으로 확인할 수 있다.According to the present invention, the video and the location information can be synchronized, multiplexed, stored and managed, and even in the case of playback, the contents of the map can be confirmed in real time.

Description

동영상 및 위치 정보의 동기 처리 방법 및 장치, 그리고 이를 이용한 지리 정보 시스템{APPARATUS AND METHOD OF STORING POSITION INFORMATION AND MOTION PICTURE SYNCHRONIZINGLY AND APPLYING THAT IN GEOGRAPHIC INFORMATION SYSTEM}A method and apparatus for synchronizing video and location information, and a geographic information system using the same, and a geographical information system using the same.

본 발명은 하나 이상의 영상 시퀀스와 이 영상의 위치 정보(예: GPS신호)를 동기화 및 다중화하는 방법 및 장치, 그리고 다중화된 정보를 이용하여 지리 정보르 제공하는 지리 정보 시스템(GIS)에 관한 것이다.The present invention relates to a method and apparatus for synchronizing and multiplexing one or more video sequences with location information (eg, GPS signals) of the video, and to a geographic information system (GIS) for providing geographic information using multiplexed information.

지금까지 영상, 오디오, 텍스트 등의 멀티미디어 데이터들을 동기화 시켜 저장하는 다양한 방법들이 있으며, MPEG(Moving Picture Experts Group)이 대표적인 표준이라 할 수 있다.Until now, there are various methods of synchronizing and storing multimedia data such as video, audio, and text, and MPEG (Moving Picture Experts Group) is a representative standard.

이와 관련 있는 선행 기술로는 DGPS(differential global positioning system) 장치 및 컴퓨터 수치지도의 데이터베이스와 연속적인 비트맵의 형태로 저장되어 있는 파일를 이용하여 컴퓨터 수치지도의 데이터베이스와 연계시켜 구축시킴으로써 컴퓨터 수치지도와 비트맵 영상을 지원하면서 상호 호출 가능하게 구성한, 명칭이 "위성항법장치를 이용한 컴퓨터 수치지도 상에의 동영상 지원방법과 디스플레이하는 방법 및 그 동영상의 지원 시스템"인 대한민국 특허 제1996-28756호(1996. 7. 16)가 있다.Prior art related to this is a computer digital map and a bit by using the DGPS (differential global positioning system) device and a database of computer digital maps and a file stored in the form of a continuous bitmap in association with a database of computer digital maps. Korean Patent No. 1996-28756 (1996.) entitled "Method of Supporting and Displaying Video on Computer Numerical Map Using Satellite Navigation System, and Supporting System of Video", which is constructed so as to be mutually callable while supporting a map image. 7. There is 16).

또한, 이 기술은 위성항법장치를 이용한 컴퓨터 수치지도상 비트맵 영상 지원방법을 실시한 결과 얻어지는 컴퓨터 수치지도의 도로선형 및 지형지물과 비트맵 영상의 도로선형 및 지형지물 사이의 관계형 데이터베이스를 이용함으로써, 컴퓨터 수치지도와 비트맵 영상 사이에 상호간의 지형지물 및 도로 링크를 호출할 수 있도록 하는 순차적 비트맵 영상 디스플레이 방법을 기재하고 있다.In addition, this technique uses a relational database between the road linearity and features of a computer digital map and the roadlinearity and features of a bitmap image obtained by performing a method of supporting a bitmap image on a computer digital map using a satellite navigation device. A method for displaying a sequential bitmap image for calling a feature and a road link between a computer digital map and a bitmap image is described.

그러나, 이 선행 기술을 비롯한 GIS(Geographic Information System)에서의 멀티미디어는 단지 속성정보를 사진과 비트맵 형태의 영상을 파일 상에서 연결하여보여주는 정도이고, 하나 혹은 둘 이상의 입력소스로부터 얻어진 하나의 파일형태로 묶여져 있는 동영상과 위치정보를 연결 저장하여 그 주변상황과 공간정보를 연결하여 분석하는 시도는 아직 이루어지지 않고 있다.However, multimedia in the Geographic Information System (GIS) including this prior art merely shows the attribute information by connecting images and images in the form of bitmaps on a file, and in the form of a file obtained from one or more input sources. Attempts have not been made to connect and store the bundled video and location information to analyze the surrounding situation and spatial information.

본 발명이 이루고자 하는 기술적 과제는 이러한 종래의 문제점을 해결하기 위한 것으로, 현장의 동영상과 이와 일치된 지역을 나타내는 지도 데이터를 연동하여 볼 수 있도록 하여 보다 현실적이고 사실적인 정보를 제공하는 데 그 목적이 있다.The technical problem to be achieved by the present invention is to solve such a conventional problem, the purpose of providing a more realistic and realistic information to be able to view the map data representing the region and the matched with the video of the field. have.

특히, 본 발명이 이루고자 하는 기술적 과제는 하나 이상의 영상 획득 장치로부터 얻은 영상 시퀀스와 영상 획득 장치의 위치정보를 동기화 및 다중화하는데 있다.In particular, the technical problem to be achieved by the present invention is to synchronize and multiplex the image sequence obtained from at least one image acquisition device and the position information of the image acquisition device.

또한, 본 발명이 이루고자 하는 기술적 과제는 동기화 및 다중화된 정보를 지리 데이터와 연계하여 재생처리하여, 영상으로부터 지도의 내용을 실시간으로 확인할 수 있도록 하는데 있다.In addition, the technical problem to be achieved by the present invention is to reproduce the synchronization and multiplexed information in conjunction with the geographic data, so that the contents of the map from the image can be confirmed in real time.

도 1은 본 발명의 실시예에 따른 동영상 및 위치정보의 동기 처리 장치의 구조를 나타낸 도면이다.1 is a view showing the structure of a video processing apparatus and a synchronization information processing device according to an embodiment of the present invention.

도 2는 도 1의 동기화 장치의 블록 구성도이다.FIG. 2 is a block diagram of the synchronization device of FIG. 1.

도 3은 시계열(time sequence) 영상을 비디오 규격으로 저장할 때의 위치정보 데이터를 비디오 신호에 삽입하기 위한 장치의 구성 블록도이다.3 is a block diagram illustrating an apparatus for inserting location information data into a video signal when a time sequence image is stored in a video standard.

도 4는 도 1의 다중화 장치의 블록 구성도이다.4 is a block diagram illustrating the multiplexing apparatus of FIG. 1.

도 5는 도 4의 패킷화부의 상세 블록 구성도이다.5 is a detailed block diagram illustrating the packetization unit of FIG. 4.

도 6은 시계열 영상과 이에 동기된 특정위치의 지도를 같이 재생하는 지리 정보 시스템의 구조를 나타낸 도이다.6 is a diagram illustrating a structure of a geographic information system that reproduces a time series image and a map of a specific location synchronized with the time series image.

도 7은 위치 정보와 동영상이 동기화된 정보를 GIS의 지도 데이터와 같이 활용하여 디스플레이할 경우에 사용자측 뷰어 구성의 일례를 나타낸 도면이다.FIG. 7 is a diagram illustrating an example of a configuration of a user side viewer when displaying information synchronized with location information and a video using GIS map data.

상기 목적을 달성하기 위한 본 발명의 특징에 따른 동기 처리 방법은, 적어도 하나 이상의 영상획득장치로부터 획득환 동영상과 위치획득장치가 획득한 상기 영상획득장치의 위치정보를 동기 처리하는 방법으로서, 상기 영상획득장치와 상기 위치획득장치에 동일한 동기신호를 제공하여 상기 영상 및 위치정보를 동시에 획득하여 동기화하는 단계; 상기 획득된 영상 및 위치정보 비트열에 상기 동기 신호에동기하여 생성되는 타임 스탬프(time stamp)를 부가하는 단계; 및 상기 동기화된 영상 및 위치 비트열을 저장하는 단계를 포함한다.A synchronization processing method according to an aspect of the present invention for achieving the above object is a method of synchronizing the position information of the image acquisition device obtained by the position acquisition device and the acquired video from at least one image acquisition device, the image Acquiring and synchronizing the image and the location information simultaneously by providing the same synchronization signal to the acquisition device and the location acquisition device; Adding a time stamp generated in synchronization with the synchronization signal to the obtained image and location information bit stream; And storing the synchronized image and the position bit string.

여기서, 저장 단계는,상기 동기화된 영상 및 위치정보를 하드디스크에 저장하는 경우, 상기 타임 스탬프를 키로 하여 인덱싱 파일의 형태로 저장한다.Here, in the storing step, when the synchronized image and the location information are stored in the hard disk, the storing is performed in the form of an indexing file using the time stamp as a key.

또한, 저장 단계는, 상기 동기화된 영상 및 위치정보를 비월주사 방식으로 아날로그 비디오 규격에 맞추어 비디오 테이프에 저장하는 경우, 상기 위치정보를 필드사이의 블랭킹 구간(blanking period)에 저장한다.In the storing step, when the synchronized image and the location information are stored in a video tape according to an analog video standard by interlaced scanning, the location information is stored in a blanking period between fields.

또한, 저장 단계는, 상기 동기화된 영상 및 위치정보를 압축 동영상으로 저장하는 경우, 하나의 프레임을 부호화 하여 압축된 비트열에, 그 프레임에 동기화된 위치정보를 PUD(Picture User Data)에 삽입하여 하나의 비트열을 만드는 제1 단계; 및 상기 타임 스탬프를 패킷의 헤더에 부가하고, 위치정보가 삽입된 상기 압축된 영상 비트열을 패킷의 유료부하에 부가하여 비트열의 패킷화 및 다중화하는 제2 단계를 포함한다.In the storing step, when storing the synchronized video and the location information as a compressed video, one frame is encoded and the location information synchronized to the compressed bit stream is inserted into a PUD (Picture User Data). A first step of creating a bit string of the first; And a second step of adding the time stamp to the header of the packet and adding the compressed video bit string including the location information to the payload of the packet to packetize and multiplex the bit string.

본 발명의 다른 특징에 따른 동기 처리 장치는, 적어도 하나 이상의 영상획득장치로부터 획득환 동영상과 위치획득장치가 획득한 상기 영상획득장치의 위치정보를 동기 처리하는 장치로서, 상기 영상획득장치장치와 위치획득장치로 동기 신호를 생성하여 상기 영상획득장치의 영상과 위치획득장치의 위치 정보가 동시에 획득되도록 동기신호 발생장치, 상기 동기신호에 따라 절대 시간인 타임 스탬프를 생성하고, 상기 획득된 영상 및 위치정보 비트열에 상기 타임 스탬프를 부가하는 타임 스탬프 생성장치를 포함하는 동기화 장치; 및 상기 동기화된 영상 및 위치정보를저장하는 저장장치를 포함한다. 여기서, 저장장치는, 상기 동기화된 영상 및 위치정보 비트열을 상기 타임 스탬프를 인덱스(index)로 하여 파일 형태로 저장한다.In accordance with another aspect of the present invention, a synchronization processing device is a device for synchronizing position information of an acquired video and a position acquisition device acquired by at least one or more image acquisition devices. A synchronizing signal is generated by an acquiring device to generate a synchronizing signal generator and a time stamp of absolute time according to the synchronizing signal so that the image of the image acquiring device and the position information of the position acquiring device are simultaneously acquired. A synchronization device including a time stamp generator for adding the time stamp to an information bit string; And a storage device for storing the synchronized image and location information. Here, the storage device stores the synchronized image and the location information bit string in a file form using the time stamp as an index.

이외에도, 상기 동기화 장치에서 동기화된 영상 및 위치정보 비트열을 비월주사 방식으로 아날로그 비디오 규격에 맞추어 비디오 테이프에 기록하는 기록 장치를 추가로 포함할 수 있다.In addition, the recording apparatus may further include a recording device for recording the image and position information bit stream synchronized by the synchronization device on a video tape in accordance with the analog video standard by interlaced scanning.

상기 기록 장치는, 상기 영상 비트열의 소정 주사라인에 상기 타임 스탬프 생성장치에서 생성된 타임 스탬프를 삽입하는 VITC(Vertical Interval Time Code) 삽입장치; 상기 위치획득장치가 획득한 위치정보를 일시적으로 저장하는 장치; 상기 타임 스탬프가 삽입된 영상 비트열의 소정 주사라인에 상기 위치정보를 텍스트 형식으로 삽입하는 캡션(caption) 삽입장치; 및 상기 타임 스탬프와 위치정보가 삽입된 영상 비트열을 비디오 테이프에 저장하는 영상기록장치를 포함한다.The recording apparatus may include a vertical interval time code (VITC) inserting apparatus for inserting a time stamp generated by the time stamp generating apparatus into a predetermined scan line of the video bit string; A device for temporarily storing the location information acquired by the location acquisition device; A caption insertion device for inserting the position information in a text format into a predetermined scan line of the image bit string into which the time stamp is inserted; And an image recording device for storing the image bit string into which the time stamp and the position information are inserted, on a video tape.

또한, 이러한 특징을 가지는 동기 처리 장치는, 동기화 장치에서 동기화된 영상과 위치정보 비트열을 부호화하여 다중화하는 다중화 장치를 추가로 포함할 수 있으며, 상기 다중화 장치는, 상기 동기화된 위치정보를 동기화된 프레임(frame)의 압축된 비트열의 PUD(Private User Data) 영역에 삽입하여 비디오 ES(Elementary Stream)로 출력하는 부호화 장치; 및 상기 타임 스탬프, 영상 데이터 및 위치정보 데이터를 하나의 비디오 PES로 패킷화, 다중화하여 파일 형태로 출력하는 패킷화 장치를 포함한다.In addition, the synchronization processing device having such a feature may further include a multiplexing device for encoding and multiplexing the synchronized image and the location information bit string in the synchronization device, wherein the multiplexing device is configured to synchronize the synchronized location information. An encoding device inserted into a private user data (PUD) region of a compressed bit string of a frame and outputting the same as a video elementary stream (ES); And a packetizer for packetizing and multiplexing the time stamp, the image data, and the location information data into one video PES, and outputting them in a file form.

여기서, 패킷화 장치는, 비디오 ES에서 AU(Access Unit)를 검출하는 AU 검출장치; 상기 타임 스탬프를 부호화하는 PES 헤더 생성장치; 상기 AU 검출을 거친 ES가 일정한 크기의 유료부하로 재구성 될 때까지 저장하는 저장장치; 및 상기 PES 헤더에 상기 유료부하를 덧붙여 하나의 PES 패킷을 완성하는 패킷 조합장치를 포함한다.Here, the packetizing apparatus includes an AU detecting apparatus for detecting an AU (Access Unit) in the video ES; A PES header generating device for encoding the time stamp; A storage device for storing the AU detected until the ES is reconfigured to a payload of a predetermined size; And a packet combiner configured to complete one PES packet by adding the payload to the PES header.

본 발명의 다른 특징에 따른 지리 정보 시스템은, 동영상과 동기화된 위치정보를 토대로 지리 정보를 제공하는 지리 정보 시스템으로서, 상기 영상과 동기화된 위치정보와 다중화된 동영상을 역다중화하고 복호화하여 영상과 위치정보로 분리하는 역다중화 장치; 상기 역다중화 장치에서 출력하는 영상을 일시 저장하는 장치; 지도 데이터가 저장되어 있는 데이터베이스; 상기 역다중화된 위치정보를 이용하여 상기 데이터베이스로부터 지도 데이터를 가져와 상기 저장장치에 저장된 영상을 동기화하여 연계 출력하는 디스플레이장치를 포함하며, 상기 동영상 및 위치 정보는 동일한 동기 신호에 동기하여 적어도 하나 이상의 영상획득장치와 위치획득장치에 의하여 각각 획득되어 동기화되고, 상기 동기 신호에 동기하여 생성되는 타임 스탬프가 부가되어 있다.According to another aspect of the present invention, a geographic information system is a geographic information system that provides geographic information based on location information synchronized with a video. The geographic information system demultiplexes and decodes the location information and the multiplexed video, which are synchronized with the video. A demultiplexer for separating information; A device for temporarily storing an image output from the demultiplexer; A database in which map data is stored; And a display device for fetching map data from the database using the demultiplexed location information and synchronizing and outputting an image stored in the storage device, wherein the video and the location information are synchronized with at least one image in synchronization with the same synchronization signal. A time stamp, which is acquired and synchronized by the acquisition device and the location acquisition device, respectively, is generated in synchronization with the synchronization signal.

또한, 본 발명의 다른 특징에 따른 지리 정보 시스템은, 적어도 하나 이상의 영상획득장치로부터 획득환 동영상과 위치획득장치가 획득한 상기 영상획득장치의 위치정보를 토대로 지리 정보를 제공하는 지리 정보 시스템으로서, 상기 영상획득장치장치와 위치획득장치로 동기 신호를 생성하여 상기 영상획득장치의 영상과 위치획득장치의 위치 정보가 동시에 획득되도록 동기신호 발생장치, 상기 동기신호에 따라 절대 시간인 타임 스탬프를 생성하고, 상기 획득된 영상 및 위치정보 비트열에 상기 타임 스탬프를 부가하는 타임 스탬프 생성장치를 포함하는 동기화 장치;상기 동기화 장치에서 동기화된 영상과 위치정보 비트열을 부호화하여 다중화하는 다중화 장치; 상기 영상과 동기화된 위치정보와 다중화된 동영상을 역다중화하고 복호화하여 영상과 위치정보로 분리하는 역다중화 장치; 상기 역다중화 장치에서 출력하는 영상을 일시 저장하는 장치; 지도 데이터가 저장되어 있는 데이터베이스; 상기 역다중화된 위치정보를 이용하여 상기 데이터베이스로부터 지도 데이터를 가져와 상기 저장장치에 저장된 영상을 동기화하여 연계 출력하는 디스플레이장치를 포함한다.In addition, a geographic information system according to another aspect of the present invention is a geographic information system for providing geographic information on the basis of position information of the video acquisition device obtained by the acquisition video and the position acquisition device from at least one image acquisition device, Generating a synchronization signal by the image acquisition device and the position acquisition device to generate a synchronization signal generator and a time stamp of absolute time according to the synchronization signal to simultaneously acquire the image of the image acquisition device and the position information of the location acquisition device And a time stamp generator for adding the time stamp to the obtained image and location information bit streams; a multiplexing device for encoding and multiplexing the image and location information bit streams synchronized by the synchronization device; A demultiplexer for demultiplexing and decoding the location information and the multiplexed video synchronized with the video and separating the image and the location information; A device for temporarily storing an image output from the demultiplexer; A database in which map data is stored; And a display device for fetching map data from the database using the demultiplexed location information and synchronizing and outputting an image stored in the storage device.

이러한 특징을 가지는 지리 정보 시스템에서, 상기 디스플레이 장치는, 역다중화 과정을 거쳐 추출된 영상의 각 프레임의 위치정보를 기초로 질의어를 생성한 다음에, 상기 생성된 질의어를 이용하여 데이터베이스에 저장되어 있는 지도 데이터를 가져와서 지도 데이터와 동영상을 동기화하여 화면에 같이 재생한다.In the geographic information system having such a feature, the display apparatus generates a query based on the location information of each frame of the image extracted through the demultiplexing process, and is then stored in a database using the generated query. Import the map data and synchronize the map data with the video to play on the screen.

또한, 상기 디스플레이 장치는, 상기 화면에 재생된 지도에서 특정 위치가 지정되면, 지정된 위치에 대응하는 영상을 타임 스탬프를 인덱스로 하여 상기 저장 장치로부터 찾아서 화면에 나타낸다.In addition, when a specific position is designated in the reproduced map on the screen, the display apparatus searches for the image corresponding to the designated position from the storage device using the time stamp as an index and displays it on the screen.

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

먼저, 본 발명에서 적용될 동기화 및 다중화 방법에 대해 설명한다.First, a synchronization and multiplexing method to be applied in the present invention will be described.

동영상은 비디오, 오디오, 데이터를 동기를 맞추면서 다중화한다. 비디오나 오디오의 부호화된 비트열(stream) 그리고 그 밖의 비트열을 묶어 응용에 적용하는경우, 동기신호를 포함하는 통합된 하나의 비트열로 만들어 그 비트열을 저장 미디어나 네트워크 등이 갖는 고유한 물리 포맷이나 프로토콜에 적합한 형식으로 만들 필요가 있고 응용에 따라서는 어떤 보조 데이터를 부가하여 사용할 수도 있다.Video multiplexes video, audio, and data in sync. When the encoded bitstream and other bitstreams of video or audio are combined and applied to an application, the integrated bitstream including the synchronization signal is made into a unique bitstream that is stored in a storage media or a network. It may be necessary to make it in a format suitable for a physical format or a protocol, and some auxiliary data may be added and used depending on the application.

본 발명은 이러한 동영상 시스템의 한 응용으로써 위치정보와 영상을 PTS(Presentation Time Stamp)를 주어 동기화하고 다중화하는 방법 및 장치에 관한 것이다. 여기에서는 대표적이라 할 수 있는 MPEG-2 시스템을 예로 설명한다.The present invention relates to a method and apparatus for synchronizing and multiplexing a location information and an image with a PTS (Presentation Time Stamp) as an application of the video system. Here, a representative MPEG-2 system is described as an example.

비디오, 오디오 신호는 각각 부호화기에 의해 압축 부호화 된 후 다음 단계로 전송이 이루어진다. 이 압축된 신호를 MPEG-2 규격에서는 ES(Elementary Stream)이라고 한다. ES는 전송을 위한 첫번째 단계로 PES(Packetized Elementary Stream)패킷으로 만들어지는데, 영상의 경우에는 보통 한 장의 화면이 압축된 것을 하나의 PES로 만들어지게 된다. 비디오의 PES 헤더에서 동기화를 위한 부분은 PTS(Presentation Time Stamp)와 DTS(Decoding Time Stamp)필드이다. PTS는 각 액세스 유닛(비디오의 경우는 하나의 프레임을 나타낸다)의 재생 시각을 나타내고, DTS는 디코더에서 디코딩이 시작되어야 하는 시각을 나타낸다. 기준 시간이 PTS와 DTS로 지정된 시각과 일치하면 액세스 유닛의 재생이나 디코딩이 시작한다. 오디오 패킷 헤더에 DTS필드가 없는 이유는 오디오 데이터의 경우 일반적으로 디코딩 시간과 재생시간이 같기 때문이다.The video and audio signals are respectively compressed and coded by the encoder and then transmitted to the next stage. This compressed signal is called ES (Elementary Stream) in the MPEG-2 standard. ES is a packetized elementary stream (PES) packet as the first step for transmission. In the case of video, an image is usually compressed into a single PES. The parts for synchronization in the PES header of the video are the Presentation Time Stamp (PTS) and Decoding Time Stamp (DTS) fields. The PTS represents the playback time of each access unit (in the case of video, one frame), and the DTS represents the time when decoding should start at the decoder. If the reference time coincides with the times specified by the PTS and DTS, playback or decoding of the access unit starts. The reason for the absence of the DTS field in the audio packet header is that audio data generally has the same decoding time and reproduction time.

하지만, 비디오 데이터의 경우에는 두 가지 이유로 인해 PTS와 DTS에 차이가 발생한다. 첫째는 비디오 데이터 스트림의 경우 프레임의 전송 순서와 재생 순서가 같지 않기 때문이다. MPEG 비디오 데이터의 경우 I 프레임(Intracoded-frame)과 P 프레임(Predictive-frame), B 프레임(Bidirectionally-coded-frame)으로 구성되는데, B 프레임이 디코딩되기 위해서는 이전의 I/P 프레임 외에도 이후 I/P 프레임 정보가 필요하다. 따라서, 이후 I/P 프레임이 비록 재생 순서는 뒤일지라도 미리 전송되어 디코딩되어 있어야 한다. 자신의 DTS정보에 맞춰 미리 디코딩된 I/P 프레임은 버퍼 내에서 기준 시간이 PTS필드의 시각과 일치될 때까지 기다려야 하는 것이다. 비디오 데이터에 있어서 PTS와 DTS에 차이가 발생하는 또 한 가지 이유는 디코더의 계산 오버헤드 때문이다.However, in the case of video data, a difference occurs between PTS and DTS for two reasons. First, the video data stream does not have the same order of transmission and reproduction of frames. MPEG video data consists of I-frames (Intracoded-frame), P-frames (Predictive-frame), and B-frames (Bidirectionally-coded-frame). P frame information is required. Therefore, the I / P frame must then be transmitted and decoded in advance, even though the playback order is behind. An I / P frame decoded in advance according to its own DTS information has to wait until the reference time matches the time of the PTS field in the buffer. Another reason for the difference between PTS and DTS in video data is the computational overhead of the decoder.

본 발명에서는 오디오 신호는 고려하지 않고, 비디오와 위치정보의 동기화만을 고려하며, 비디오의 경우는 다수의 비디오로 확장해도 무관하다. 비디오 신호의 저장방식에 따라 그것과 위치정보의 동기화하는 방법에는 여러 가지가 있을 수 있으나, 가장 보편적인 압축된 비디오 스트림과 위치정보의 동기화에 관하여 먼저 설명한다.In the present invention, only the synchronization of the video and the location information is considered without considering the audio signal, and the video may be extended to a plurality of videos. Although there may be various ways of synchronizing the location information with the storage method of the video signal, the most common synchronization of the compressed video stream and the location information will be described first.

비디오 스트림과 위치정보를 동기화 하는 가장 쉬운 방법 중 하나는 위치정보 스트림을 하나의 비트열로 간주하고, 두 비트열의 동기는 PTS로 맞추는 것이다. 즉, 비디오와 위치정보에 각각에 동기신호를 부여해 동기화 시키는 경우이다. 다른 방법으로 비디오, 위치정보, 동기신호를 다중화하여 하나의 동기화된 비트열로 만드는 것이다. 위치정보는 데이터 양이 수십 바이트(byte)로 작고, 각 정보도 비디오의 프레임당 하나씩 나오게 되므로 비디오 비트열로 삽입하기에 용이하다. MPEG은 각 픽처(picture)당 사용자가 임의로 데이터를 넣을 수 있게 규정하고 있다. TV 프로그램의 경우 이 사용자 데이터 영역에 자막 정보를 싣게 되는데, 본발명에서는 위치정보를 넣어 별도의 동기화 없이 하나의 비트열로 구성한다.One of the easiest ways to synchronize the video stream with the location information is to consider the location information stream as one bit stream and synchronize the two bit streams with the PTS. In other words, a synchronization signal is given to each of the video and the location information for synchronization. Another method is to multiplex video, location information, and sync signals into a single synchronized bit stream. The location information has a small amount of data of several tens of bytes, and each information comes out one frame per video, so it is easy to insert a video bit stream. MPEG stipulates that a user can arbitrarily insert data into each picture. In the case of a TV program, subtitle information is put in this user data area. In the present invention, location information is put into one bit string without any synchronization.

또한 동영상 스트림을 압축하지 않고 비디오 스트림 상태로 저장하는 경우를 고려하는 경우에는 PTS, DTS등의 타임 스탬프가 필요없이 비디오 신호 획득 순서대로 저장되어 있을 것이다. 이때의 동기 정보는 프레임이나 필드마다 타임 코드를 넣어 각 프레임이나 필드를 식별할 수 있다. 또한 타임 코드와 함께 위치정보도 부가하면 하나의 압축되지 않은 비디오 스트림으로도 가능해 진다. 즉, 비디오 테이프로 녹화 할 때, 이런 위치정보도 같이 손쉽게 넣을 수 있을 것이다.In addition, in case of storing the video stream in the video stream state without compressing the video stream, the time stamps such as PTS and DTS may be stored in the order of acquiring the video signals. In this case, the synchronization information may be identified by inserting a time code for each frame or field. Adding location information along with the time code also enables a single uncompressed video stream. In other words, when recording on videotape, this location information can be easily inserted.

TV나 필름에 삽입되는 타임 코드 규격에는 LTC(Longitudinal Time Code)와 VITC(Vertical Interval Time Code) 두 가지가 있다. 둘 다 프레임마다 시, 분, 초 포맷으로 숫자를 붙인다. VITC는 필드마다 그것을 붙일 수 있으며 에러 검출을 위해 8bit CRC도 포함한다. 두 규격은 타임 코드를 저장하는 방법에 차이가 있다. LTC는 80bit의 코드를 비디오신호와 동시에 오디오 트랙에 저장한다. 반면, 90bit로 구성된 VITC는 각 필드의 블랭킹 구간(blanking period)(10번째부터 20번째까지의 스캔라인)중 두개의 수평 스캔라인에 저장한다. 각 필드마다 90bit의 코드를 두번씩 저장한다. 자세한 규격은 SMPTE 12M을 참조하고 여기서는 생략하겠다.There are two types of time codes that are inserted into TVs or films: Longitudinal Time Code (LTC) and Vertical Interval Time Code (VITC). Both are numbered per hour in the format of hours, minutes, and seconds. VITC can attach it to each field and also include an 8-bit CRC for error detection. The two specifications differ in how they store timecode. LTC stores an 80-bit code in an audio track simultaneously with a video signal. On the other hand, the VITC composed of 90 bits stores two horizontal scan lines among the blanking periods (the 10th to the 20th scanlines) of each field. Each field stores a 90-bit code twice. Refer to SMPTE 12M for details.

이 타임 코드는 위치정보와 영상을 획득할 당시의 시간을 나타내며, 하나 이상의 영상을 동기화 시킬 때에도 영상들을 동시에 획득한 시간을 각 영상마다 타임 코드로 부가함으로써 쉽게 확장될 수 있다. 보통 컴퓨터 비전 분야에서 3차원 위치를 알아내기 위해 2개 이상의 위치가 다른 영상이 필요하게 되는데, 이런 경우에 이 타임 코드는 영상들의 동기화를 손쉽게 한다.This time code represents the time at the time of acquiring the location information and the image, and can be easily extended by adding a time code for each image to the time when the images are simultaneously acquired even when synchronizing one or more images. Normally in computer vision, two or more different images are needed to determine the three-dimensional position. In this case, this time code makes it easy to synchronize the images.

또한 TV에 음성과 동기되어 자막을 보내는 자막 방송이 있다. EIA 608의 경우 자막은 필드의 21번째 스캔라인에 실려 전송되며, 1 스캔라인에 2바이트의 정보를 담는다. 각 바이트의 MSB(최상위 비트)는 패리티 비트이므로 필드당 14비트의 정보를 담을 수 있다. 자막방송은 이곳에 캡션(caption)이나 텍스트(text)정보를 실어 보낸다. EIA 708B의 경우는 608의 NTSC방식과 호환 가능하며 36바이트의 정보를 담을 수 있다. 본 발명에서는 이곳에 위치정보를 실어 자막방송처럼 TV NTSC로 전송도 가능케 하며, NTSC 방식으로 비디오 테이프에 저장도 가능하다. 이 위치정보는 공간지리정보시스템(GIS)과 연계하여 지도에 표시될 수 있으며, 이렇게 저장된 비디오 비트열을 재생할 때는 연속적으로 지도에 프레임 영상과 동기된 위치를 나타낼 수 있게 된다.There is also a closed captioning program in which TVs send captions in synchronization with voice. In the case of EIA 608, the subtitle is transmitted on the 21st scanline of the field and contains 2 bytes of information in one scanline. Since the MSB (most significant bit) of each byte is a parity bit, it can contain 14 bits of information per field. Closed captions carry caption or text information here. The EIA 708B is compatible with the NTSC method of the 608 and can hold 36 bytes of information. In the present invention, the location information is loaded on the TV NTSC like a caption broadcasting, and can be stored on a video tape in the NTSC method. The location information may be displayed on a map in association with a spatial geographic information system (GIS). When reproducing the stored video bit stream, the location information may continuously indicate a location synchronized with the frame image on the map.

일반적으로 지리정보시스템에서는 속성 및 지도데이터를 데이터베이스에 넣고 관리를 한다. 대개의 경우 위치와 지리범위를 질의 형태로 구성하여 데이터베이스에 접근하고 해당 지역의 지도 및 속성정보를 꺼내어 화면출력을 위한 데이터를 준비한다. 따라서 동영상과 함께 동기화된 위치정보와 화면에 나타난 지역을 지정하면 데이터베이스로부터 해당 지역을 지도의 형태로 화면에 출력하는 것이 가능하다.Generally, geographic information system puts property and map data into database and manages it. In most cases, the location and geographic ranges are constructed in the form of a query to access a database, take out maps and attribute information of the area, and prepare data for display. Therefore, by designating the location information synchronized with the video and the region shown on the screen, it is possible to output the region in the form of a map from the database.

이를 이용하여, 본 발명에서는 다중화되어 저장된 동영상을 역다중화 과정을 거쳐 영상과 위치정보를 분리한 후 해당 프레임의 위치정보를 이용하여 미리 데이터베이스에 저장되어 있는 지도데이터의 일정 부분을 가져온다. 지도데이터는 동영상과 동기화 되어 화면에 출력되며, 지도로부터 임의 위치를 지정하는 경우 타임 스탬프정보를 이용하여 동영상에서의 해당프레임으로 이동 재생시킬 수 있도록 한다.Using this, in the present invention, the multiplexed and stored video is subjected to a demultiplexing process to separate the image and the location information, and then obtain a predetermined portion of the map data stored in the database in advance using the location information of the corresponding frame. The map data is synchronized with the video and output on the screen. When specifying an arbitrary position from the map, the map data can be moved and played back to the corresponding frame in the video using time stamp information.

이제, 상술한 동기화, 다중화 방법을 적용하여 GIS에 활용하기 위한 동영상과 위치정보의 동기 처리 장치를 먼저 설명한 다음, 이를 활용하는 GIS 시스템에 대하여 설명한다.Now, a synchronization processing apparatus for moving pictures and location information for use in a GIS by applying the above-described synchronization and multiplexing method will be described first, and then a GIS system using the same will be described.

도 1은 본 발명의 실시예에 따른 동영상 및 위치 정보의 동기 처리 장치의 전체 구조도이다.1 is an overall structural diagram of an apparatus for synchronizing video and location information according to an embodiment of the present invention.

도 1에 도시된 동영상 및 위치정보의 동기 처리 장치는 카메라(110), 위치획득장치(120), 동기화 장치(130), 다중화 장치(140) 및 저장부(150)를 포함한다.The synchronization processing device of the moving picture and the location information shown in FIG. 1 includes a camera 110, a location acquisition device 120, a synchronization device 130, a multiplexing device 140, and a storage unit 150.

여기서, 카메라(110)는 하나 이상 구비될 수 있으며, 사용자가 원하는 영상을 획득한다. 위치획득장치(120)는 카메라(110)가 영상을 획득할 때의 위치 정보를 획득하는 장치로서, IMT-2000으로 대표되는 차세대 무선 통신 기술을 응용한 휴대용 단말에 부착되기 시작한 GPS 등이 사용될 수 있다.Here, one or more cameras 110 may be provided to obtain an image desired by a user. The position acquisition device 120 is a device for acquiring position information when the camera 110 acquires an image. The position acquisition device 120 may use GPS, etc., which has begun to be attached to a portable terminal to which the next generation wireless communication technology represented by IMT-2000 is applied. have.

본 발명의 실시예에서는 카메라(110)에서 획득한 영상과 위치획득장치(120)에서 획득한 위치정보를 동기화시켜 저장부(150)에 저장하거나, 상기 영상과 위치 정보 그리고 동기 신호를 다중화 처리하여 저장부(150)에 저장한다.In the exemplary embodiment of the present invention, the image acquired from the camera 110 and the position information acquired from the position acquisition apparatus 120 are synchronized and stored in the storage unit 150, or the image and position information and the synchronization signal are multiplexed. The storage unit 150 stores.

동기화 장치(130)는 카메라(110)와 위치획득장치(120)를 동기시켜 동영상(시계열 영상)과 위치정보를 동시에 획득하여 저장부()로 제공하며, 동기화하여 다중화 장치(140)로 제공하며, 도 2에 그 세부적인 구조가 도시되어 있다.The synchronizing device 130 acquires a video (time series image) and location information at the same time by synchronizing the camera 110 and the position acquiring device 120 to the storage unit and synchronizes and provides the multiplexing device 140. 2, the detailed structure is shown.

도 2에 도시한 바와 같이, 동기화 장치(130)는 동기신호 발생기(131)와 타임스탭프 발생기(132)로 이루어진다. 기화 장치(130)의 동기신호 발생기(131)는 동기신호를 위치획득장치(120)와 카메라(110)에 동시에 보냄으로써 영상과 위치정보가 동일한 절대시간에 획득되도록 한다. 동기 신호 발생기(131)에서 생성된 동기신호는 타임 스탬프 생성기에(132)에도 입력되며, 타임 스탬프 생성기(132)는 동기 신호에 동기하여 절대 시간을 나타내는 타임 스탬프를 생성한다.As shown in FIG. 2, the synchronization device 130 includes a synchronization signal generator 131 and a time step generator 132. The synchronization signal generator 131 of the vaporization device 130 simultaneously transmits the synchronization signal to the position acquisition apparatus 120 and the camera 110 so that the image and the position information are acquired at the same absolute time. The synchronization signal generated by the synchronization signal generator 131 is also input to the time stamp generator 132, and the time stamp generator 132 generates a time stamp indicating an absolute time in synchronization with the synchronization signal.

타임 스탬프를 이용하여 다수의 카메라(100)를 동기화하는 경우에도 확장시켜 적용할 수 있다. 이와 같이 생성된 타임 스탬프는 이후에 각 영상과 위치정보마다 부가되어 두 정보를 연결하며, 이 타임 스탬프를 이용하여 비디오 스트림에서 같은 시간에 얻어진 위치정보를 찾을 수 있다.In the case of synchronizing a plurality of cameras 100 using a time stamp, it may be extended and applied. The time stamp generated as described above is added to each image and the location information, thereby connecting the two pieces of information, and the time stamp can be used to find the location information obtained at the same time in the video stream.

동기화된 영상 비트열 및 위치정보 비트열은 최종적으로 타임 스탬프를 인덱스로 하고, 위치정보와 영상의 파일이름으로 데이터베이스(DB)를 구성하여 저장부(150)에 저장된다. 저장부(150)로는 하드디스크 등의 저장매체가 사용될 수 있다.The synchronized video bit stream and the location information bit stream are finally stored in the storage unit 150 by constructing a database DB using the time stamp as an index, and constructing a database DB using the location information and the file name of the video. As the storage unit 150, a storage medium such as a hard disk may be used.

카메라로부터 실시간으로 영상이 입력되는 경우에는 상기한 바와 같이 동기화된 영상 비트열 및 위치정보 비트열을 인덱싱 파일 형태로 저장하는 대신에, 비디오의 캡션영역과 같은 사용자 데이터 영역을 활용하여 위치정보를 저장할 수 있다. 즉, 도 3에 도시한 바와 같은 구성을 갖는 장치를 추가로 구비하여 비월 주사(interlaced scan) 방식으로 아날로그 비디오 규격에 맞추어 비디오 테이프에 저장할 수도 있다.When the image is input in real time from the camera, as described above, instead of storing the synchronized image bit stream and the location information bit stream in the form of an indexing file, the location information is stored using a user data area such as a caption area of the video. Can be. That is, an apparatus having the configuration as shown in FIG. 3 may be further provided and stored in a videotape according to an analog video standard by an interlaced scan method.

도 3에 도시한 동영상과 위치정보를 동기화하여 비디오 테이프에 저장하기위한 기록 장치(160)는 비디오(영상 비트열) 신호의 소정 주사라인에 타임 스탬프를 삽`입하는 VITC 삽입기(161), 위치정보를 일시적으로 저장하는 버퍼(162), 타임 스탬프가 삽입된 비디오 신호의 소정 주사라인에 위치정보를 텍스트 형식으로 삽입하는 캡션(caption) 삽입기(163) 및 타임 스탬프와 위치정보가 삽입된 비디오 신호를 비디오 테이프에 저장하는 VTR(164)를 포함한다.The recording device 160 for synchronizing and storing the moving picture and the positional information shown in FIG. 3 on a video tape includes a VITC inserter 161 for inserting a time stamp into a predetermined scan line of a video (video bit string) signal; A buffer 162 for temporarily storing the position information, a caption inserter 163 for inserting the position information in a text format on a predetermined scan line of the time stamped video signal, and a time stamp and position information inserted therein. And a VTR 164 that stores the video signal on a video tape.

여기서, 비디오 신호에 삽입되는 타임 스탬프는 VITC 삽입기(161)에 의해 VITC(vertical interval time code) 형태로 10~20 번째 주사라인 중에 비디오 신호에 삽입된다. 그리고 위치정보는 일단 버퍼(162)에 저장된 후에, 캡션 삽입기(163)에 의해 타임 스탬프가 삽입된 비디오 신호의 자막을 넣는 21번째 주사라인에 텍스트 형태로 부호화되어 삽입된다. 최종 비트열은 VTR(164)에 의해 비디오 테이프에 저장된다.Here, the time stamp inserted into the video signal is inserted into the video signal during the 10-20 th scan line in the form of a vertical interval time code (VITC) by the VITC inserter 161. After the location information is stored in the buffer 162, the caption inserter 163 encodes and inserts the text into the 21st scan line in which the caption of the video signal with the time stamp is inserted. The final bit string is stored on the video tape by the VTR 164.

한편, 동기화된 위치정보 비트열과 영상 비트열을 하나의 비트 스트림으로 처리하고 타임 스탬프를 부가할 수 있다.Meanwhile, the synchronized location information bit stream and the video bit stream may be processed into one bit stream and a time stamp may be added.

도 4는 동기화된 위치정보 비트열과 영상 비트열을 부호화하고 다중화하여 저장하는 다중화 장치(140)를 구체적으로 도시한 것으로, 부호화부(141) 및 패킷화부(142)를 구비한다.4 illustrates a multiplexing device 140 that encodes, multiplexes, and stores the synchronized location information bit stream and the image bit stream, and includes an encoder 141 and a packetizer 142.

일반적으로 동영상은 데이터를 줄이기 위하여 압축하므로, 도 4에서는 압축 비트열을 만든다. 본 실시예에서는 압축 규격은 MPEG-2의 규격을 따랐으나, 이에 한정되지는 않는다.In general, since a video is compressed to reduce data, a compressed bit string is created in FIG. 4. In the present embodiment, the compression standard follows the standard of MPEG-2, but is not limited thereto.

도 4에 도시된 바와 같이, 동기화된 영상 비트열(비디오 신호)과 위치정보비트열은 부호화부(141)에서 부호화되어 비디오 압축 스트림으로 출력된다. 이때, 위치정보는 동기화된 프레임(frame)의 압축된 비트열의 PUD(Private User Data) 영역에 삽입되어 비디오 ES(Elementary Stream)로 만들어진다. 한편, 동기정보는 타임 스탬프를 PTS(Presentation Time Stamp)로 전달하여 PES(Packetized Elementary Stream) 패킷 헤더에 들어가고, 타임 스탬프, 비디오 데이터, 위치정보 데이터는 패킷화부(142)에서 하나의 비디오 PES로 패킷화, 다중화하여 비트열로 생성되고 파일형태로 기록매체인 저장부(150)에 저장된다.As shown in FIG. 4, the synchronized video bit stream (video signal) and the location information bit stream are encoded by the encoder 141 and output as a video compressed stream. At this time, the location information is inserted into a private user data (PUD) region of the compressed bit string of the synchronized frame to make a video elementary stream (ES). On the other hand, the synchronization information is delivered to the packetized elementary stream (PES) packet header by transmitting the time stamp to a presentation time stamp (PTS), and the time stamp, video data, and location information data are packetized from the packetizer 142 to one video PES. The data is generated in a bit string by multiplexing and multiplexing and stored in a storage unit 150 which is a recording medium in a file form.

도 5는 도 4의 패킷화부를 구체적으로 도시한다. 패킷화부(140)는 AU 검출기(Access Unit Detector)(142a), PES 헤더 생성기(142b), ES 버퍼(142c) 및 패킷 조합부(MUX)(142d)를 포함한다.5 illustrates in detail the packetization unit of FIG. 4. The packetizer 140 includes an access unit detector (AU) 142a, a PES header generator 142b, an ES buffer 142c, and a packet combiner (MUX) 142d.

먼저 AU 검출기(142a)는 비디오 ES에서 AU(프레임 단위)를 검출하고, PES 헤더 생성기(142b)에서 타임 스탬프를 부호화한다. 한편 AU 검출을 거친 ES는 일정한 크기의 유료부하로 재구성 될 때까지 ES 버퍼(142c)에 저장된다. 패킷 조합부(MUX)(142d)는 PES 헤더에 이 유료부하를 덧붙여 하나의 PES 패킷을 완성한다.First, the AU detector 142a detects an AU (frame unit) in the video ES, and encodes a time stamp in the PES header generator 142b. On the other hand, the ES that has been detected by the AU is stored in the ES buffer 142c until reconfigured to payload of a certain size. The packet combining unit (MUX) 142d adds this payload to the PES header to complete one PES packet.

이러한 구조로 이루어지는 다중화 장치(140)는 한 대 혹은 여러대의 카메라(110)로부터 입력되는 영상이 시계열적으로 복수의 파일로 이미 하드디스크 등의 외부기억장치에 저장되어 있는 경우에는 시간 인덱스, 위치정보 영상을 테이블로 구성하여 저장 관리할 수 있다.The multiplexing device 140 having such a structure has a time index and position information when images input from one or more cameras 110 are already stored in an external storage device such as a hard disk as a plurality of files in time series. Images can be organized into tables for storage management.

도 6은 도 1의 동기 처리 장치를 이용하여 동기화/다중화한 데이터를 활용하는 장치인 GIS 즉, 지리 정보 시스템의 구조도이다. 도 6에 도시되어 있듯이 지리정보 시스템은, 역다중화기와 복호기를 포함하는 역다중화부(210), 버퍼(220), GIS 데이터베이스(230) 및 디스플레이부(240)로 이루어져 시계열 영상과 이에 동기된 특정 위치의 지도를 같이 재생한다.6 is a structural diagram of a GIS, that is, a geographic information system, which is a device that utilizes data synchronized / multiplexed using the synchronization processing device of FIG. 1. As shown in FIG. 6, the geographic information system includes a demultiplexer 210, a buffer 220, a GIS database 230, and a display 240, which include a demultiplexer and a decoder, to identify a time-series image and synchronize the same. Play the map of the location together.

여기서 입력되는 동영상은 위에 기술된 바와 같이, 위치정보 데이터와 영상이 동기화되어 다중화된 것으로 가정한다.As described above, the input video is assumed to be multiplexed by synchronizing the location information data and the image.

동영상과 위치정보가 동기화된 동영상은 역다중화부(210)에서 역다중화기(211)와 복호화기(212)를 거치면서 위치정보 데이터와 영상으로 분리되고 복호화된다.The video in which the video and the location information are synchronized is separated and decoded into the location information data and the image while passing through the demultiplexer 211 and the decoder 212 in the demultiplexer 210.

복호된 신호 중 영상 신호는 버퍼(220)에 저장되어 지도 데이터와의 동기될 때까지 대기한다. 분리된 위치정보는 필요시 화면에 출력할 수도 있으나 본 실시예에서는 변수로 저장하고, GIS 데이터베이스(230)로부터 지도 데이터를 가져오는 기초 파라미터(질의 정보)로 활용한다.The video signal of the decoded signal is stored in the buffer 220 and waits until it is synchronized with the map data. The separated location information may be output on the screen if necessary, but in the present embodiment, the separated location information is stored as a variable and used as a basic parameter (query information) for obtaining map data from the GIS database 230.

위치정보를 기초로 하여 GIS 데이터베이스(230)에서 검색된 해당 위치의 지도 데이터는 디스플레이부(240)에 의해 버퍼(220)의 영상과 연동되고 동기화되어 화면에 출력되는데, 이 때 동영상 플레이어와 지도 뷰어(map viewer)가 각각 동영상과 지도 데이터를 화면에 출력하기 위하여 사용된다.Based on the location information, the map data of the corresponding location retrieved from the GIS database 230 is output to the screen in synchronization with the image of the buffer 220 by the display unit 240, and at this time, the video player and the map viewer ( map viewer) is used to display video and map data respectively.

도 7은 위치 정보와 동영상이 동기화된 정보를 GIS의 지도 데이터와 같이 디스플레이할 경우에 사용자측 뷰어 구성의 일례를 나타낸 도면이다.FIG. 7 is a diagram illustrating an example of a configuration of a user side viewer when displaying location information and video synchronized information together with map data of a GIS.

동영상이 순차적으로 진행됨에 따라 지도데이터는 지속적으로 갱신되어 나타나며, 필요한 경우, 지도 위에서 임의 위치를 지정하면 인덱스 테이블의 타임 스탬프, 위치정보를 기초로 하여 동영상의 해당 프레임으로 제어를 변경하여 실행하며, 임의 구간을 반복적으로 재생하거나 재생 속도를 변경시킬 수 있다.As the video progresses sequentially, the map data is continuously updated and displayed.If necessary, if a random location is specified on the map, the control is changed to the corresponding frame of the video based on the time stamp and location information of the index table. Any section can be played repeatedly or the playback speed can be changed.

상기와 같은 본 발명의 실시예에 따라, 이동 물체에 CCD카메라와 위치를 측정할 수 있는 GPS를 장착하여 도로를 따라 이동함과 동시에 주위의 시설물과 위치 정보를 취득할 수 있다. 이 경우 순차적으로 촬영된 영상과 위치 신호는 내부적으로 동기화 및 다중화되어 저장하거나 유/무선을 이용하여 비트스트림의 전송이 가능하다.According to the embodiment of the present invention as described above, a CCD camera and a GPS capable of measuring a position can be mounted on a moving object to move along a road and acquire surrounding facilities and location information. In this case, the sequentially photographed image and the position signal may be internally synchronized and multiplexed and stored, or the bitstream may be transmitted by using wired or wireless.

다중화되어 저장되거나 전송된 비트스트림은 역다중화부를 통하여 영상과 위치정보가 분리된 후 독립적으로 디스플레이 되거나 지도데이터가 준비되어 있는 경우 지도와 동기화되어 화면에 나타내는 것이 가능하다. 지도와 동기화하여 화면에 출력하는 경우는 위치정보를 모르거나 텍스쳐의 형태로 화면에 나타내는 경우 보다 훨씬 더 사용자 혹은 업무 담당자로 하여금 현장감을 느끼게 할 수 있으며, 동영상에서 확인한 내용을 실시간적으로 비교 분석이 가능해진다.The multiplexed, stored or transmitted bitstream can be displayed independently after image and location information is separated through the demultiplexer, or synchronized with the map when the map data is ready. In the case of outputting on the screen in synchronization with the map, the user or the person in charge of the work can feel a lot more real than the case of not knowing the location information or displaying it on the screen in the form of a texture. It becomes possible.

이상에서 본 발명의 실시예에 대하여 설명하였으나, 본 발명은 상기한 실시예에 한정되는 것은 아니며, 그 외의 다양한 변형이나 변경이 가능한 것은 물론이다. 예컨데, 위의 GIS는 동기 처리 장치에 의하여 영상과 위치 정보가 동기처리되어 저장된 정보를 이용하여 지도 정보를 재생하는 것으로 기술되었으나, 위의 동기 처리 장치와, 역다중화기와 복호기를 포함하는 역다중화부, 버퍼 및 디스플레이부, 그리고 지도 데이터베이스를 모두 포함하는 형태로 구현될 수도 있다.While the embodiments of the present invention have been described above, the present invention is not limited to the above embodiments, and various other modifications and changes are, of course, possible. For example, the GIS is described as reproducing map information using information stored by synchronizing image and position information by a synchronization processing device. However, the demultiplexer including the synchronization processing device, the demultiplexer, and the decoder is described. It may be implemented in a form including a buffer, a display and a map database.

이상에서 설명한 본 발명에 의하면, 동영상과 위치정보를 동기화하고 다중화시켜 저장 관리할 수 있으며, 재생하는 경우에도 GIS 데이터베이스의 지도 데이터와 연동하여 화면에 출력함으로써 영상으로부터 지도의 내용을 실시간으로 확인할 수 있다.According to the present invention described above, the video and the location information can be synchronized, multiplexed and stored and managed, and even in the case of playback, it is possible to check the contents of the map in real time by outputting it on the screen in conjunction with the map data of the GIS database. .

Claims (15)

적어도 하나 이상의 영상획득장치로부터 획득환 동영상과 위치획득장치가 획득한 상기 영상획득장치의 위치정보를 동기 처리하는 방법으로서,A method for synchronizing the acquired video from at least one image acquisition device and the position information of the image acquisition device obtained by the position acquisition device, 상기 영상획득장치와 상기 위치획득장치에 동일한 동기신호를 제공하여 상기 영상 및 위치정보를 동시에 획득하여 동기화하는 단계;Providing the same synchronization signal to the image acquisition device and the location acquisition device to simultaneously acquire and synchronize the image and location information; 상기 획득된 영상 및 위치정보 비트열에 상기 동기 신호에 동기하여 생성되는 타임 스탬프(time stamp)를 부가하는 단계; 및Adding a time stamp generated in synchronization with the synchronization signal to the obtained image and location information bit stream; And 상기 동기화된 영상 및 위치 비트열을 저장하는 단계Storing the synchronized image and location bit stream 를 포함하는 동기 처리 방법.Synchronization processing method comprising a. 제1항에 있어서,The method of claim 1, 상기 저장 단계는,The storing step, 상기 동기화된 영상 및 위치정보를 하드디스크에 저장하는 경우, 상기 타임 스탬프를 키로 하여 인덱싱 파일의 형태로 저장하는 동기 처리 방법.And storing the synchronized image and the location information in the form of an indexing file using the time stamp as a key. 제1항에 있어서,The method of claim 1, 상기 저장 단계는,The storing step, 상기 동기화된 영상 및 위치정보를 비월주사 방식으로 아날로그 비디오 규격에 맞추어 비디오 테이프에 저장하는 경우, 상기 위치정보를 필드사이의 블랭킹 구간(blanking period)에 저장하는 동기 처리 방법.And storing the positional information in a blanking period between fields when the synchronized image and the positional information are stored on a videotape in accordance with an analog video standard by interlaced scanning. 제1항에 있어서,The method of claim 1, 상기 저장 단계는,The storing step, 상기 동기화된 영상 및 위치정보를 압축 동영상으로 저장하는 경우,When storing the synchronized image and location information as a compressed video, 하나의 프레임을 부호화 하여 압축된 비트열에, 그 프레임에 동기화된 위치정보를 PUD(Picture User Data)에 삽입하여 하나의 비트열을 만드는 제1 단계; 및A first step of encoding one frame into a compressed bit string and inserting position information synchronized to the frame into a picture user data (PUD) to form one bit string; And 상기 타임 스탬프를 패킷의 헤더에 부가하고, 위치정보가 삽입된 상기 압축된 영상 비트열을 패킷의 유료부하에 부가하여 비트열의 패킷화 및 다중화하는 제2 단계를 포함하는 동기 처리 방법.And a second step of adding the time stamp to a header of a packet and adding and compressing the compressed video bit string including the position information to the payload of the packet to packetize and multiplex the bit string. 적어도 하나 이상의 영상획득장치로부터 획득환 동영상과 위치획득장치가 획득한 상기 영상획득장치의 위치정보를 동기 처리하는 장치에 있어서,An apparatus for synchronizing the acquired video from at least one image acquisition device and the position information of the image acquisition device obtained by the position acquisition device, 상기 영상획득장치장치와 위치획득장치로 동기 신호를 생성하여 상기 영상획득장치의 영상과 위치획득장치의 위치 정보가 동시에 획득되도록 동기신호 발생장치, 상기 동기신호에 따라 절대 시간인 타임 스탬프를 생성하고, 상기 획득된 영상 및 위치정보 비트열에 상기 타임 스탬프를 부가하는 타임 스탬프 생성장치를 포함하는 동기화 장치; 및Generating a synchronization signal by the image acquisition device and the position acquisition device to generate a synchronization signal generator and a time stamp of absolute time according to the synchronization signal to simultaneously acquire the image of the image acquisition device and the position information of the location acquisition device And a time stamp generator for adding the time stamp to the obtained image and location information bit streams; And 상기 동기화된 영상 및 위치정보를 저장하는 저장장치Storage device for storing the synchronized image and location information 를 포함하는 동기 처리 장치.Synchronous processing apparatus comprising a. 제5항에 있어서,The method of claim 5, 상기 저장장치는, 상기 동기화된 영상 및 위치정보 비트열을 상기 타임 스탬프를 인덱스(index)로 하여 파일 형태로 저장하는 동기 처리 장치.And the storage device stores the synchronized image and the location information bit string in a file form using the time stamp as an index. 제5항에 있어서,The method of claim 5, 상기 동기화 장치에서 동기화된 영상 및 위치정보 비트열을 비월주사 방식으로 아날로그 비디오 규격에 맞추어 비디오 테이프에 기록하는 기록 장치를 추가로 포함하는 동기 처리 장치.And a recording device for recording the synchronized image and the positional information bit stream in the synchronizing device on a videotape in accordance with an analog video standard in an interlaced scanning manner. 제7항에 있어서,The method of claim 7, wherein 상기 기록 장치는,The recording device, 상기 영상 비트열의 소정 주사라인에 상기 타임 스탬프 생성장치에서 생성된 타임 스탬프를 삽입하는 VITC(Vertical Interval Time Code) 삽입장치;A vertical interval time code (VITC) insertion device for inserting a time stamp generated by the time stamp generator into a predetermined scan line of the image bit stream; 상기 위치획득장치가 획득한 위치정보를 일시적으로 저장하는 장치;A device for temporarily storing the location information acquired by the location acquisition device; 상기 타임 스탬프가 삽입된 영상 비트열의 소정 주사라인에 상기 위치정보를 텍스트 형식으로 삽입하는 캡션(caption) 삽입장치; 및A caption insertion device for inserting the position information in a text format into a predetermined scan line of the image bit string into which the time stamp is inserted; And 상기 타임 스탬프와 위치정보가 삽입된 영상 비트열을 비디오 테이프에 저장하는 영상기록장치를 포함하는 동기 처리 장치.And an image recording device for storing the video bit string into which the time stamp and position information are inserted, on a video tape. 제5항에 있어서,The method of claim 5, 상기 동기화 장치에서 동기화된 영상과 위치정보 비트열을 부호화하여 다중화하는 다중화 장치를 추가로 포함하는 동기 처리 장치.And a multiplexing device for encoding and multiplexing the image synchronized with the location information bit string in the synchronization device. 제9항에 있어서,The method of claim 9, 상기 다중화 장치는,The multiplexing device, 상기 동기화된 위치정보를 동기화된 프레임(frame)의 압축된 비트열의 PUD(Private User Data) 영역에 삽입하여 비디오 ES(Elementary Stream)로 출력하는 부호화 장치; 및An encoding apparatus for inserting the synchronized position information into a private user data (PUD) region of a compressed bit string of a synchronized frame and outputting the synchronized position information as a video elementary stream (ES); And 상기 타임 스탬프, 영상 데이터 및 위치정보 데이터를 하나의 비디오 PES로 패킷화, 다중화하여 파일 형태로 출력하는 패킷화 장치를 포함하는 동기 처리 장치.And a packetizer for packetizing, multiplexing, and outputting the time stamp, the image data, and the location information data into one video PES. 제10항에 있어서,The method of claim 10, 상기 패킷화 장치는,The packetizing device, 비디오 ES에서 AU(Access Unit)를 검출하는 AU 검출장치;An AU detector for detecting an access unit (AU) in the video ES; 상기 타임 스탬프를 부호화하는 PES 헤더 생성장치;A PES header generating device for encoding the time stamp; 상기 AU 검출을 거친 ES가 일정한 크기의 유료부하로 재구성 될 때까지 저장하는 저장장치; 및A storage device for storing the AU detected until the ES is reconfigured to a payload of a predetermined size; And 상기 PES 헤더에 상기 유료부하를 덧붙여 하나의 PES 패킷을 완성하는 패킷조합장치를 포함하는 동기 처리 장치.And a packet combining device that completes one PES packet by adding the payload to the PES header. 동영상과 동기화된 위치정보를 토대로 지리 정보를 제공하는 지리 정보 시스템에서 있어서,In a geographic information system that provides geographic information based on location information synchronized with a video, 상기 영상과 동기화된 위치정보와 다중화된 동영상을 역다중화하고 복호화하여 영상과 위치정보로 분리하는 역다중화 장치;A demultiplexer for demultiplexing and decoding the location information and the multiplexed video synchronized with the video and separating the image and the location information; 상기 역다중화 장치에서 출력하는 영상을 일시 저장하는 장치;A device for temporarily storing an image output from the demultiplexer; 지도 데이터가 저장되어 있는 데이터베이스;A database in which map data is stored; 상기 역다중화된 위치정보를 이용하여 상기 데이터베이스로부터 지도 데이터를 가져와 상기 저장장치에 저장된 영상을 동기화하여 연계 출력하는 디스플레이장치A display device for fetching map data from the database using the demultiplexed location information and synchronizing and outputting an image stored in the storage device; 를 포함하며,Including; 상기 동영상 및 위치 정보는 동일한 동기 신호에 동기하여 적어도 하나 이상의 영상획득장치와 위치획득장치에 의하여 각각 획득되어 동기화되고, 상기 동기 신호에 동기하여 생성되는 타임 스탬프가 부가되어 있는 것을 특징으로 하는 지리 정보 시스템.The video and the location information are acquired by the at least one image acquisition device and the location acquisition device, respectively, in synchronization with the same synchronization signal, and geographic information, characterized in that a time stamp generated in synchronization with the synchronization signal is added. system. 적어도 하나 이상의 영상획득장치로부터 획득환 동영상과 위치획득장치가 획득한 상기 영상획득장치의 위치정보를 토대로 지리 정보를 제공하는 지리 정보 시스템에 있어서,A geographic information system for providing geographic information based on location information of an image acquisition device acquired by a position acquisition device and a moving image acquired from at least one image acquisition device, 상기 영상획득장치장치와 위치획득장치로 동기 신호를 생성하여 상기 영상획득장치의 영상과 위치획득장치의 위치 정보가 동시에 획득되도록 동기신호 발생장치, 상기 동기신호에 따라 절대 시간인 타임 스탬프를 생성하고, 상기 획득된 영상 및 위치정보 비트열에 상기 타임 스탬프를 부가하는 타임 스탬프 생성장치를 포함하는 동기화 장치;Generating a synchronization signal by the image acquisition device and the position acquisition device to generate a synchronization signal generator and a time stamp of absolute time according to the synchronization signal to simultaneously acquire the image of the image acquisition device and the position information of the location acquisition device And a time stamp generator for adding the time stamp to the obtained image and location information bit streams; 상기 동기화 장치에서 동기화된 영상과 위치정보 비트열을 부호화하여 다중화하는 다중화 장치;A multiplexing device encoding and multiplexing the image synchronized with the location information bit string in the synchronization device; 상기 영상과 동기화된 위치정보와 다중화된 동영상을 역다중화하고 복호화하여 영상과 위치정보로 분리하는 역다중화 장치;A demultiplexer for demultiplexing and decoding the location information and the multiplexed video synchronized with the video and separating the image and the location information; 상기 역다중화 장치에서 출력하는 영상을 일시 저장하는 장치;A device for temporarily storing an image output from the demultiplexer; 지도 데이터가 저장되어 있는 데이터베이스;A database in which map data is stored; 상기 역다중화된 위치정보를 이용하여 상기 데이터베이스로부터 지도 데이터를 가져와 상기 저장장치에 저장된 영상을 동기화하여 연계 출력하는 디스플레이장치A display device for fetching map data from the database using the demultiplexed location information and synchronizing and outputting an image stored in the storage device; 를 포함하는 지리 정보 시스템.Geographic information system comprising a. 제12항 또는 제13항에 있어서,The method according to claim 12 or 13, 상기 디스플레이 장치는, 역다중화 과정을 거쳐 추출된 영상의 각 프레임의 위치정보를 기초로 질의어를 생성한 다음에, 상기 생성된 질의어를 이용하여 데이터베이스에 저장되어 있는 지도 데이터를 가져와서 지도 데이터와 동영상을 동기화하여 화면에 같이 재생하는 것을 특징으로 하는 지리 정보 시스템.The display device generates a query based on the location information of each frame of the image extracted through the demultiplexing process, and then imports map data stored in a database using the generated query and map data and video. Geographic information system, characterized in that for playing on the screen by synchronizing. 제12항 또는 제13항에 있어서,The method according to claim 12 or 13, 상기 디스플레이 장치는, 상기 화면에 재생된 지도에서 특정 위치가 지정되면, 지정된 위치에 대응하는 영상을 타임 스탬프를 인덱스로 하여 상기 저장 장치로부터 찾아서 화면에 나타내는 지리 정보 시스템.And the display apparatus, when a specific position is designated on the reproduced map on the screen, searches for the image corresponding to the designated position from the storage device using the time stamp as an index and displays the image on the screen.
KR10-2001-0086270A 2001-12-27 2001-12-27 Apparatus and method of storing position information and motion picture synchronizingly and applying that in geographic information system KR100411587B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0086270A KR100411587B1 (en) 2001-12-27 2001-12-27 Apparatus and method of storing position information and motion picture synchronizingly and applying that in geographic information system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0086270A KR100411587B1 (en) 2001-12-27 2001-12-27 Apparatus and method of storing position information and motion picture synchronizingly and applying that in geographic information system

Publications (2)

Publication Number Publication Date
KR20030056109A KR20030056109A (en) 2003-07-04
KR100411587B1 true KR100411587B1 (en) 2003-12-18

Family

ID=32214329

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0086270A KR100411587B1 (en) 2001-12-27 2001-12-27 Apparatus and method of storing position information and motion picture synchronizingly and applying that in geographic information system

Country Status (1)

Country Link
KR (1) KR100411587B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101364534B1 (en) 2006-11-16 2014-02-18 삼성전자주식회사 System for inputting position information in image and method thereof

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100926231B1 (en) * 2007-12-28 2009-11-09 주식회사 케이티 Spatial information construction system and method using spherical video images
KR100947581B1 (en) * 2008-03-13 2010-03-15 주식회사 와일드퓨전소프트 Method and apparatus for tagging location data into multimedia data
KR101915199B1 (en) * 2012-12-14 2018-11-05 한화테크윈 주식회사 Apparatus and method of searching image based on imaging area of the PTZ camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101364534B1 (en) 2006-11-16 2014-02-18 삼성전자주식회사 System for inputting position information in image and method thereof

Also Published As

Publication number Publication date
KR20030056109A (en) 2003-07-04

Similar Documents

Publication Publication Date Title
KR101362647B1 (en) System and method for generating and palying three dimensional image file including two dimensional image
JP4332365B2 (en) METADATA DISPLAY SYSTEM, VIDEO SIGNAL RECORDING / REPRODUCING DEVICE, IMAGING DEVICE, METADATA DISPLAY METHOD
US7633551B2 (en) Compressed timing indicators for media samples
JP4515465B2 (en) Moving picture photographing apparatus and moving picture photographing method, moving picture reproducing apparatus and moving picture reproducing method for reproducing a video signal recorded on a recording medium
JP4332364B2 (en) Video recording system and video recording method
JP2012507968A (en) Apparatus and method for synchronizing stereoscopic images, and stereoscopic image providing apparatus and method using the same
JP2004508777A (en) Combining video material and data
JP6320366B2 (en) System and method for generating and playing 3D stereoscopic video files based on 2D video media standards
US8045836B2 (en) System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization
US5867229A (en) Video effects using a video record/playback device
JP4161773B2 (en) Video editing apparatus and processing method of video editing apparatus
JP4339524B2 (en) DATA TRANSMISSION METHOD, DATA TRANSMISSION DEVICE, DATA RECEPTION METHOD, DATA RECEPTION DEVICE, DATA RECORDING METHOD, AND DATA RECORDING DEVICE
EP1042921A1 (en) Device for demultiplexing coded data
KR100411587B1 (en) Apparatus and method of storing position information and motion picture synchronizingly and applying that in geographic information system
WO1998045959A1 (en) A method for compressing an audio-visual signal
EP1643767A1 (en) Recording device, information recording medium and recording method
JP4664173B2 (en) Transmitting apparatus, reproducing apparatus, and methods for subtitle concealment broadcasting
JP3039472B2 (en) Image and audio playback device
KR100240331B1 (en) Apparatus for synchronizing a video and an audio signals for a decoder system
KR100631783B1 (en) System and method for synchronizing multimedia data with metadata
JP6977707B2 (en) Information processing equipment, information processing methods, and programs
JP2006180315A (en) Moving picture photographing device and moving picture reproducing device, and moving picture photographing method and moving picture reproducing method
KR20070021164A (en) Moving-image shooting device, method of shooting moving-image, recording medium in which video signals are recorded by the same shooting device, moving-image reproducing device for reproducing the video signals recorded in the same medium, and method of reproducing the moving-image
JP2011103617A (en) Video processing apparatus
JP3401505B2 (en) Time encoding method for VOP

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 16