KR20010037642A - A portable music video system - Google Patents

A portable music video system Download PDF

Info

Publication number
KR20010037642A
KR20010037642A KR1019990045288A KR19990045288A KR20010037642A KR 20010037642 A KR20010037642 A KR 20010037642A KR 1019990045288 A KR1019990045288 A KR 1019990045288A KR 19990045288 A KR19990045288 A KR 19990045288A KR 20010037642 A KR20010037642 A KR 20010037642A
Authority
KR
South Korea
Prior art keywords
music video
video
file
terminal
data
Prior art date
Application number
KR1019990045288A
Other languages
Korean (ko)
Other versions
KR100630109B1 (en
Inventor
최건영
이영렬
Original Assignee
윤종용
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자 주식회사 filed Critical 윤종용
Priority to KR1019990045288A priority Critical patent/KR100630109B1/en
Publication of KR20010037642A publication Critical patent/KR20010037642A/en
Application granted granted Critical
Publication of KR100630109B1 publication Critical patent/KR100630109B1/en

Links

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1632External expansion units, e.g. docking stations
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • G11B2020/00014Time or data compression or expansion the compressed signal being an audio signal
    • G11B2020/00057MPEG-1 or MPEG-2 audio layer III [MP3]
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007Time or data compression or expansion
    • G11B2020/00072Time or data compression or expansion the compressed signal including a video signal

Abstract

PURPOSE: A portable system for a music video is provided to save and carry several music video contents by compressing and minimizing a size of a music video file. CONSTITUTION: A serial interface(238) interfaces a compressed AV file stream transmitting between a PC(300) or a portable terminal(100) and a docking station(200). The compressed AV file stream is saved to a flash memory(236) through a saving medium interface(234). A video codec unit comprises a CPU(212) and a codec exclusive use for an MPEG and manages a video compression and a restoration. The docking station(200) makes, saves, and decodes a music video file and comprises an AV input/output interface(228) and an AV output terminal. Additionally the docking station(200) is equipped with a stereo speaker(218) to output a voice data, a keypad/volume key(222), a user interface(220), and a portable terminal power supply unit(210) to supply a power source to a portable terminal.

Description

휴대형 뮤직 비디오 시스템{A PORTABLE MUSIC VIDEO SYSTEM}Portable music video system {A PORTABLE MUSIC VIDEO SYSTEM}

본 발명은 휴대형 뮤직 비디오 시스템에 관한 것으로, 특히 디지털 압축된 뮤직 비디오 콘텐츠(contents)를 휴대하면서 감상할 수 있는 뮤직 비디오 플레이어 단말기와, 통신기기로부터 다운로드 받은 뮤직 비디오 파일을 상기 플레이어 단말기로 전송하여 주는 도킹 스테이션에 관한 것이다.The present invention relates to a portable music video system, and more particularly, to a music video player terminal capable of carrying digitally compressed music video contents while carrying a music video file downloaded from a communication device to the player terminal. Relates to a docking station.

현재 PC통신이나 인터넷상에서 유통되고 있는 뮤직 비디오 콘텐츠들은 대부분 엠펙(MPEG)1의 데이터 포맷으로 되어 있다. 엠펙1의 형식은 비디오 및 오디오 데이터를 1.5Mbps정도의 양으로 압축하는 기술로 약 5분 정도의 뮤직 비디오를 56MB정도로 압축한다. 56MB나 되는 5분 분량의 뮤직 비디오 파일을 PC통신으로 연결하여 다운받거나 전송하려면 56kbps속도의 모뎀을 사용할 경우 약 2시간 15분이 소요된다. 또한 한곡에 56MB 크기를 갖는 파일을 10곡 정도 하드 디스크에 저장해 놓고 PC에서 감상하는 경우 최소한 560MB 크기의 하드 디스크 저장매체가 필요하기 때문에 보조기억장치의 낭비가 아닐 수 없다. 또한 휴대형 통신기기 및 전자기기가 보편화되어 가고 있는 현실을 고려해 볼때, 엠펙1 형태로 압축되어 있는 뮤직 비디오 콘텐츠를 휴대형 단말기를 통해 감상하기에는 파일 사이즈가 방대해진다는 제약사항이 수반된다.Currently, music video contents distributed in PC communication and the Internet are mostly in MPEG1 data format. MPEG1 format is a technology that compresses video and audio data in the amount of 1.5Mbps. It compresses music video of about 5 minutes to 56MB. It takes about two hours and fifteen minutes using a 56kbps modem to download or transfer a five-minute music video file that is as large as 56MB. Also, if you store about 10 files of 56MB in size on a hard disk and watch them on a PC, you need a hard disk storage medium of at least 560MB. In addition, considering the reality that portable communication devices and electronic devices are becoming more common, a limitation of file size is entailed in order to view music video contents compressed in the form of MPEG1 through a portable terminal.

따라서 본 발명의 목적은 다수의 뮤직 비디오 콘텐츠를 저장하고 이를 휴대하면서 감상할 수 있는 뮤직 비디오 플레이어 단말기와, 통신기기로부터 다운로드 받은 뮤직 비디오 파일을 상기 플레이어 단말기로 전송하여 주는 도킹 스테이션으로 구성되는 휴대형 뮤직 비디오 시스템을 제공함에 있다.Accordingly, an object of the present invention is to provide a music video player terminal for storing a plurality of music video contents and carrying them, and a portable music device comprising a docking station for transmitting music video files downloaded from a communication device to the player terminal. In providing a video system.

본 발명의 또 다른 목적은 뮤직 비디오 파일 사이즈를 최소화하여 뮤직 비디오 단말기에 제공할 수 있는 휴대형 뮤직 비디오 시스템을 제공함에 있다.Another object of the present invention is to provide a portable music video system that can be provided to a music video terminal by minimizing the size of the music video file.

상기 목적을 달성하기 위한 본 발명은 휴대형 뮤직 비디오 시스템에 있어서,The present invention for achieving the above object is a portable music video system,

인터페이스부를 통해 뮤직 비디오 콘텐츠들을 다운 받아 저장하고 임의의 뮤직 비디오 콘텐츠 선택 재생시 해당 뮤직 비디오 콘텐츠에서 비디오 데이터와 텍스트 데이터 및 오디오 데이터를 분리하여 디코딩한후 이들의 동기를 맞추어 외부로 출력하여 주는 뮤직 비디오 플레이어와,Download and store music video contents through the interface unit. When selecting and playing any music video contents, the music video separates and decodes the video data, text data and audio data from the music video contents, and outputs them in synchronization with their synchronization. With the player,

뮤직 비디오 콘텐츠 제공자인 퍼스널 컴퓨터와,A personal computer that is a music video content provider,

인터페이스부를 통해 임의의 포맷형태로 되어 있는 뮤직 비디오 콘텐츠를 상기 퍼스널 컴퓨터로부터 다운받고, 이를 실시간으로 엠펙 4와 MP3로 구성되는 파일포맷으로 변환시켜 상기 인터페이스부를 통해 상기 뮤직 비디오 플레이어로 전송하는 도킹 스테이션으로 구성함을 특징으로 한다.A docking station which downloads music video contents in an arbitrary format through an interface unit from the personal computer, converts it into a file format consisting of MPEG 4 and MP3 and transmits it to the music video player through the interface unit in real time. It is characterized by the configuration.

도 1은 본 발명의 실시예에 따른 뮤직 비디오 플레이어(100)와 도킹 스테이션(200) 및 PC(300)로 구성되는 휴대형 뮤직 비디오 시스템 구성도.1 is a configuration of a portable music video system composed of a music video player 100, a docking station 200, and a PC 300 according to an embodiment of the present invention.

도 2는 도 1중 뮤직 비디오 플레이어(100) 단말기의 상세 구성도.2 is a detailed configuration diagram of the music video player 100 terminal of FIG. 1.

도 3은 도 1중 도킹 스테이션(Docking Station)의 상세 구성도.FIG. 3 is a detailed configuration diagram of a docking station of FIG. 1.

이하 첨부한 도면을 참조하여 본 발명의 실시예에 따른 휴대형 뮤직 비디오 시스템의 구성 및 동작을 상세히 설명하기로 한다.Hereinafter, the configuration and operation of a portable music video system according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 휴대형 뮤직 비디오 플레이어(100)와 도킹 스테이션(200) 및 PC(300)로 구성되는 휴대형 뮤직 비디오 시스템 구성도를 도시한 것이며, 도 2는 도 1중 뮤직 비디오 플레이어(100) 단말기의 상세 구성도를 그리고도 3은 도 1중 도킹 스테이션(Docking Station)의 상세 구성도를 각각 도시한 것이다.1 is a block diagram of a portable music video system including a portable music video player 100, a docking station 200, and a PC 300 according to an exemplary embodiment of the present invention, and FIG. 2 is a music video of FIG. 1. The detailed configuration diagram of the player 100 terminal and Figure 3 shows a detailed configuration diagram of the docking station (Docking Station) of FIG.

우선 본 발명의 실시예에 따른 휴대형 뮤직 비디오 시스템은 도 1에 도시한 바와 같이 휴대형 뮤직 비디오 플레이어(100)와 도킹 스테이션(200) 및 뮤직 비디오 콘텐츠 제공자인 PC(300)로 이루어진다. 상기 뮤직 비디오 플레이어(100)는 PC(300) 혹은 도킹 스테이션(200)에서 만들어진 뮤직 비디오 콘텐츠를 다운 받아서 저장하고, 사용자가 휴대하면서 재생해 볼 수 있도록 뮤직 비디오 콘텐츠를 디코딩하고 이를 외부로 출력하는 기능을 수행한다. 이러한 뮤직 비디오 플레이어(100)에는 소형 마이크(MIC)가 내장되어 있기 때문에 디지털 처리된 음성을 녹음할 수 있으며, 또한 녹음된 내용을 청취할 수 있는 음성 녹음기의 기능까지 포함하고 있다.First, a portable music video system according to an exemplary embodiment of the present invention includes a portable music video player 100, a docking station 200, and a PC 300, a music video content provider, as shown in FIG. 1. The music video player 100 downloads and stores the music video contents created in the PC 300 or the docking station 200, and decodes the music video contents so that the user can carry and play them and outputs them to the outside. Do this. Since the music video player 100 has a built-in small microphone (MIC), it can record a digitally processed voice and also includes a function of a voice recorder that can listen to the recorded contents.

한편 도킹 스테이션(200)은 엠펙1 혹은 엠펙2, 기타 다양한 포맷형태로 되어 있는 뮤직 비디오 파일을 USB포트를 통해 PC(300)로부터 다운받고, 이를 실시간으로 엠펙 4와 MP3로 구성되는 파일포맷으로 변환시켜 USB포트를 통해 상기 뮤직 비디오 플레이어(100)로 전송하는 역할을 수행한다. 또한 상기 도킹 스테이션(200)은 외부 A/V 입력단자가 구비되어 있기 때문에 캠코더나 TV, VTR 등으로 부터 입력되는 오디오/비디오 데이터를 직접 인코딩하면서 뮤직 비디오 콘텐츠를 만들 수 있다. 그리고 도킹 스테이션(200)에는 스피커가 구비되어 있기 때문에 재생되는 오디오 파일을 증폭하여 청취할 수가 있으며, A/V 출력단자를 통해 뮤직 비디오 플레이어(100)에 저장되어 있는 뮤직 비디오를 TV 혹은 모니터를 통해 감상할 수도 있다.Meanwhile, the docking station 200 downloads music video files in MPEG 1 or MPEG 2 and other various formats from the PC 300 through the USB port, and converts them into a file format composed of MPEG 4 and MP3 in real time. To the music video player 100 through a USB port. In addition, since the docking station 200 is provided with an external A / V input terminal, music video content can be produced while directly encoding audio / video data input from a camcorder, a TV, a VTR, or the like. Since the docking station 200 is equipped with a speaker, the amplified audio file can be amplified and listened to, and the music video stored in the music video player 100 can be listened to through the TV or monitor through the A / V output terminal. You can also appreciate it.

이하 도 2를 참조하여 뮤직 비디오 플레이어(100)의 구성과 동작을 함께 설명하면, 우선 본 발명의 실시예에 따른 뮤직 비디오 플레이어(100)는 시리얼(serial) 인터페이스(USB 인터페이스 사용)(134) 혹은 패러랠(parallel) 인터페이스를 통해 압축된 AV 파일 스트림을 PC(300)로부터 다운받는다. 이러한 AV파일 스트림은 저장매체 인터페이스(130)를 통해 플래쉬 메모리(132)에 저장된다. 외부 저장매체인 상기 플래쉬 메모리(132)로는 16MB/32MB 혹은 그 이상의 용량을 가지는 스마트 미디어 카드(smart media card)를 사용할 수 있다. 압축되어 있는 뮤직 비디오 콘텐츠들은 반드시 PC(300)로부터 시리얼 혹은 패러랠 인터페이스를 통해 전송받을 필요는 없고, 외부 저장장치에 의해서 별도로 플래쉬 메모리(132)에 저장할 수도 있다.Hereinafter, the configuration and operation of the music video player 100 will be described with reference to FIG. 2. First, the music video player 100 according to the embodiment of the present invention may have a serial interface (using a USB interface) 134 or The compressed AV file stream is downloaded from the PC 300 through a parallel interface. The AV file stream is stored in the flash memory 132 through the storage medium interface 130. The flash memory 132, which is an external storage medium, may use a smart media card having a capacity of 16MB / 32MB or more. The compressed music video contents do not necessarily need to be transmitted from the PC 300 through a serial or parallel interface, and may be separately stored in the flash memory 132 by an external storage device.

상기 플래쉬 메모리(132)에 저장된 AV 파일 스트림은 RISC계열 CPU(112)의 제어에 의해 독출되고, 독출된 AV 파일 스트림은 상기 CPU(112)의 제어에 의해 비디오, 오디오 및 텍스트 데이터로 분리된다. 이와 같이 분리된 MP3 오디오 데이터는 MP3 디코더(124)로 전송되어 디코딩이 이루어지며 오디오 입출력 인터페이스(116)를 통해 최종적으로 헤드폰(118)을 통해 외부로 출력된다. 한편 엠펙 4 비디오 데이터는 상기 CPU(112)에 의해 수행되는 엠펙 4 디코딩 알고리즘에 의해 복원되며 텍스트 데이터와 함께 LCD 컨트롤러(126)의 제어를 통해 컬러 LCD(128)상에 표시된다. 이때 상기 LCD컨트롤러(126)는 상기 컬러 LCD(128)상에 표시되는 데이터와 디코딩 완료된 오디오 데이터의 동기를 맞추어 준다. 그리고 키패드/볼륨키(122) 조작에 따라 발생하는 키데이터는 사용자 인터페이스부(120)를 통해 CPU(112)로 전송되며, CPU(112)는 조작명령에 응답하여 플레이어 각 부의 동작을 제어한다.The AV file stream stored in the flash memory 132 is read by the control of the RISC series CPU 112, and the read AV file stream is divided into video, audio, and text data under the control of the CPU 112. The separated MP3 audio data is transmitted to the MP3 decoder 124 to be decoded, and finally outputted to the outside through the headphone 118 through the audio input / output interface 116. Meanwhile, the MPEG 4 video data is restored by the MPEG 4 decoding algorithm performed by the CPU 112 and displayed on the color LCD 128 through the control of the LCD controller 126 along with the text data. At this time, the LCD controller 126 synchronizes the data displayed on the color LCD 128 with the decoded audio data. The key data generated according to the manipulation of the keypad / volume key 122 is transmitted to the CPU 112 through the user interface 120, and the CPU 112 controls the operation of each player in response to the manipulation command.

이하 상술한 구성을 갖는 뮤직 비디오 플레이어(100)에서 재생할 수 있는 비디오 파일의 포맷에 대하여 설명하기로 한다.Hereinafter, a format of a video file that can be played back in the music video player 100 having the above-described configuration will be described.

우선 뮤직 비디오 플레이어(100)에서 재생하여 감상할 수 있는 비디오 파일의 포맷은 엠펙 4의 심플 프로파일(simple profile) 형태로 압축한 비디오 데이터와, MP3 형태로 압축되어 있는 오디오 데이터, 그리고 텍스트 데이터를 시간적으로 동기가 맞도록 먹싱(muxing)해 놓은 파일 포맷이다. 일반적으로 많이 사용되고 있는 AVI(Audio-Video Interleaved)파일 포맷에 비디오, 오디오 및 텍스트 데이터를 먹싱하여 사용할 수 있는데 이를 좀 더 구체적으로 설명하면 다음과 같다.First of all, the format of a video file that can be played and viewed in the music video player 100 includes video data compressed in the form of a simple profile of MPEG 4, audio data compressed in the form of MP3, and text data. This is a file format muxed for synchronization. Video, audio, and text data can be muxed into the AVI (Audio-Video Interleaved) file format, which is widely used.

AVI파일은 동화상과 음성정보를 저장하기 위해 만드는 RIFF(Resource Interchange File Format) 파일이다. RIFF는 각종 포맷의 영상 정보와 midi나 wave 등의 오디오 정보, 문자 정보 등 다양한 정보를 하나의 파일에 저장하고 그 안에서 관리하도록 고안되었다. RIFF의 기본 구성 단위는 Chunk(조각)이다. 즉, RIFF는 Chunk 단위로 각종 형태의 정보를 저장해 놓고 이를 다루는 방식으로 작업의 복잡함을 어느 정도 해소한다. Chunk의 구조를 살펴보면 Chunk ID와 그 크기(바이트 수), Chunk의 실제 데이터가 위치하는 부분으로 이루어진다. Chunk ID는 4바이트로 구성된 문자로써 파일내에서 Chunk 식별정보로 사용된다. 그 다음으로 Chunk의 크기가 얼마나 되는지 알려 주어야 다른 Chunk와의 경계선이 어디까지인줄 알 수 있으므로 ID 바로 다음에 4바이트를 할당하여 그 크기를 기록한다. 결국 이론상으로는 하나의 Chunk가 4GB까지의 크기를 가질 수 있다.An AVI file is a RIFF (Resource Interchange File Format) file created to store moving picture and audio information. RIFF is designed to store and manage various information such as video information of various formats, audio information such as midi or wave, and text information in a single file. The basic building block of a RIFF is Chunk. In other words, RIFF saves some of the complexity of work by storing various types of information in chunks and handling them. Looking at Chunk's structure, it consists of the Chunk ID, its size (bytes), and the location of Chunk's actual data. The Chunk ID is a 4-byte character used to identify the Chunk in a file. Next, we need to tell how big the chunk is, so we know how far it is from the other chunks, so record the size by allocating 4 bytes immediately after the ID. After all, one chunk can theoretically be up to 4GB in size.

한편 Chunk에는 RIFF Chunk와 LIST Chunk가 있는데, RIFF Chunk는 이것이 RIFF를 따르는 어떤 종류의 파일인지를 먼저 알려 주어야 한다. 예를 들어 AVI파일만 RIFF를 따르는 것이 아니고, wave 파일도 RIFF를 따르고 있고, 앞으로 어떤 파일이 RIFF를 따를지는 알 수 없으므로 어떤 파일인지 알려 주기 위해 이러한 포맷 Chunk를 사용하고 있는 것이다. 만약 AVI 파일이라면 'AVI'라고 4문자가 적혀 있을 것이다.Chunks, on the other hand, have RIFF Chunks and LIST Chunks. RIFF Chunks must first tell it what kind of file it follows. For example, not only AVI files follow RIFF, but wave files follow RIFF, and you don't know which file will follow RIFF. If it is an AVI file, it will contain four characters, 'AVI'.

LIST Chunk 는 또한 하나의 포맷내에 공존하는 여러 데이터를 묶기 위한 Chunk인데, AVI파일의 경우에는 여러가지 헤더를 나타내는 LIST와 실제 영상정보를 나타내는 LIST로 이루어진다. AVI는 RIFF의 특별한 형태로써 다음과 같이 설명될 수 있다.LIST Chunk is also a chunk for grouping multiple data in one format. In the case of AVI file, it consists of LIST representing various headers and LIST representing actual video information. AVI is a special form of RIFF that can be described as follows.

'RIFF' + 4바이트 파일 길이 + 'AVI' // 파일 헤더(a RIFF form)'RIFF' + 4 byte file length + 'AVI' // file header (a RIFF form)

'LIST' + 4바이트 리스트 길이 + 'hdrl' // AVI 파일용 헤더 리스트'LIST' + 4-byte list length + 'hdrl' // header list for AVI file

hdrl 리스트는 다음을 포함한다.The hdrl list contains:

'avih' + 4바이트 chunk size + 데이터 // 상기 AVI 헤더(chunk)'avih' + 4 bytes chunk size + data // above AVI header

'strl'은 각 오디오, 비디오 스트림에 대한 스트림 헤더를 리스트한다.'strl' lists the stream headers for each audio and video stream.

'LIST' + 4바이트 리스트 길이 + 'strl' // 비디오 스트림 리스트'LIST' + 4-byte list length + 'strl' // video stream list

비디오 'strl' 리스트는 다음을 포함한다.The video 'strl' list contains:

'strh' + 4바이트 chunk 데이터 + 데이터 // 비디오 스트림 헤더'strh' + 4 byte chunk data + data // video stream header

'strf' + 4바이트 chunk 데이터 + 데이터 // 비디오 스트림 포맷'strf' + 4 byte chunk data + data // video stream format

'LIST' + 4바이트 리스트 길이 + 'strl' // 오디오 스트림 리스트'LIST' + 4-byte list length + 'strl' // list of audio streams

오디오 'strl' 리스트는 다음을 포함한다.The audio 'strl' list contains:

'strh' + 4바이트 chunk 데이터 + 데이터 // 오디오 스트림 헤더'strh' + 4 byte chunk data + data // audio stream header

'strf' + 4바이트 chunk 데이터 + 데이터 // 오디오 스트림 포맷'strf' + 4 byte chunk data + data // audio stream format

'JUNK' + 4바이트 chunk 데이터 + 데이터 // align on 2K byte boundary'JUNK' + 4 byte chunk data + data // align on 2K byte boundary

'LIST' + 4바이트 리스트 길이 + 'movi' // 무비 데이터 리스트'LIST' + 4-byte list length + 'movi' // movie data list

'movi' 리스트는 실제 오디오, 비디오 데이터를 포함한다.The 'movi' list contains the actual audio and video data.

'LIST' + 4바이트 리스트 길이 + 'rec' // 무비 레코드 리스트'LIST' + 4-byte list length + 'rec' // movie record list

'##wb' + 4바이트 chunk 데이터 + 데이터 // 사운드 데이터'## wb' + 4 byte chunk data + data // sound data

'##dc' + 4바이트 chunk 데이터 + 데이터 // 비디오 데이터'## dc' + 4 byte chunk data + data // video data

'##db' + 4바이트 chunk 데이터 + 데이터 // 비디오 데이터'## db' + 4-byte chunk data + data // video data

위에서 '##dc'의 ##는 스트림 넘버를 의미한다. 일반적으로 '##dc' chunk는 압축된 데이터를 위해서 쓰이고, '##db' chunk는 압축되지 않은 DIB를 위해 사용된다. 원칙적으로, 한 개의 비디오 chunk는 비디오 한 프레임을 포함한다. 설계시 비디오 chunk는 그 비디오 프레임과 관련된 오디오 chunk와 인터리브되어야 한다. 데이터는 비디오와 오디오 chunk의 쌍을 구성한다. 이러한 쌍들은 'rec'리스트에 싸여 있다. 전술한 'avih', 'strh', 비디오를 위한 'strf', 오디오를 위한 'strf'는 다음과 같은 정보를 포함한다.In the above, ## of '## dc' means a stream number. In general, the '## dc' chunk is used for compressed data, and the '## db' chunk is used for uncompressed DIBs. In principle, one video chunk contains one frame of video. In design, a video chunk must be interleaved with the audio chunk associated with that video frame. The data constitutes a pair of video and audio chunks. These pairs are wrapped in the 'rec' list. The aforementioned 'avih', 'strh', 'strf' for video, and 'strf' for audio include the following information.

The 'avih'(AVI Header) chunk:The 'avih' (AVI Header) chunk:

토탈 프레임, 스트림, 초기프레임, 최대 바이트, 버퍼사이즈, 마이크로 세컨드/프레임, 프레임/초, 사이즈, 플래그.Total Frame, Stream, Initial Frame, Maximum Bytes, Buffer Size, Microsecond / Frame, Frame / sec, Size, Flag.

The 'strh' (Stream Header) chunk:The 'strh' (Stream Header) chunk:

스트림 타입, 스트림 핸들러, 샘플/초, 순위, 초기프레임, 스타트, 길이, 길이(초), 플래그, 버퍼사이즈, 속성(quality), 샘플 사이즈.Stream type, stream handler, sample / second, rank, initial frame, start, length, length in seconds, flag, buffer size, quality, sample size.

비디오 'strf'(Stream Format) chunk :Video 'strf' (Stream Format) chunk:

사이즈, 비트 깊이, 사용 컬러, 압축.Size, bit depth, color used, compression.

오디오 'strf'(Stream Format) chunk :Audio 'strf' (Stream Format) chunk:

wFormatTag, 채널 수, 초당 샘플, 초당 평균 바이트, nBlock Align, 샘플당 비트.wFormatTag, number of channels, samples per second, average bytes per second, nBlock Align, bits per sample.

텍스트 'strf' (Stream Format) chunk :Text 'strf' (Stream Format) chunk:

텍스트 시작위치 Y, 텍스트 시작위치 X, 텍스트 끝 위치 Y, 오버레이, 알파값, 폰트사이즈.Text Start Y, Text Start X, Text End Y, Overlay, Alpha, Font Size.

상술한 바와 같은 형태로 AVI 스트림 포맷에 맞추어 비디오, 오디오, 텍스트 데이터들을 먹싱하여 파일 형태로 만들 수 있다.In the form as described above, video, audio, and text data can be muxed according to the AVI stream format to form a file.

한편 뮤직 비디오 플레이어(100)의 도킹 스테이션(200)은 도 3에 도시한 바와 같은 구성을 갖는다. 도 3을 참조하면, 시리얼(serial) 인터페이스(USB 인터페이스 사용)(238)는 PC(300) 혹은 휴대형 단말기(100)와 도킹 스테이션(200) 사이에 전송되는 압축된 AV 파일 스트림을 인터페이싱한다. 상기 시리얼 인터페이스(238)를 통해 PC(300)로부터 다운된 압축 AV파일 스트림은 저장매체 인터페이스(234)를 통해 플래쉬 메모리(236)에 저장된다. 비디오 코덱부는 RISC계열의 CPU(212)와 엠펙 4 전용 코덱(226)으로 구성되어 엠펙 4 심플 프로파일 혹은 H.263 등의 비디오 압축, 복원 처리를 담당한다. 현재 엠펙 4를 처리할 수 있는 상용 엠펙 4 칩이 출시되어 있지 않기 때문에 엠펙 4 코덱으로는 고성능 DSP를 사용하여 엠펙 4 코덱의 일부 기능을 처리하고, 나머지 기능은 CPU(212)가 소프트웨어 알고리즘으로 처리하는 소프트웨어-하드웨어 코드사인(codesign) 형태로 구현할 수 있다. 일반적으로 H.263이나 엠펙 4 등의 저속 비트율의 비디오 코덱에서는 화면크기가 QCIF(176 ×144)이고 Y/Cb/Cr의 컬러 성분들로 구성된 디지털 이미지 포맷을 사용하며, QCIF 크기의 동영상을 5프레임/초 의 프레임 레이트 및 64Kbps 이하의 압축률을 가지는 H.263방식으로 압축 복원하기 위해서는 최소 130MIPS의 계산량이 필요한 것으로 알려져 있다. 뮤직 비디오를 자연스럽게 재생해 보기 위해서는 QCIF 화면으로 30프레임/초, 64Kbps 이상으로 압축복원해야 할 필요가 있다. 더구나 엠펙 4 압축복원 방식은 H.263 보다 복잡한 방식으로 H.263이 필요로 하는 계산량의 1.5배 가량 소요된다고 보면 될것이다. 따라서 엠펙 4 방식을 사용하여 QCIF 30프레임/초, 64Kbps의 압축복원을 위해서는 최소한 1GOPS(130MIPS ×6 ×1.5=1170MIPS)의 계산량이 필요하다고 볼 수 있다. H.263이나 엠펙 4에서 모션 추정부의 계산량이 전체 계산량의 85% 이상 차지하는 것으로 알려져 있다.Meanwhile, the docking station 200 of the music video player 100 has a configuration as shown in FIG. 3. Referring to FIG. 3, a serial interface (using a USB interface) 238 interfaces a compressed AV file stream transmitted between the PC 300 or the portable terminal 100 and the docking station 200. The compressed AV file stream downloaded from the PC 300 through the serial interface 238 is stored in the flash memory 236 through the storage medium interface 234. The video codec unit includes a RISC-based CPU 212 and an MPEG-4 codec 226 that is responsible for video compression and decompression processing such as MPEG4 simple profile or H.263. Since there is no commercial MPEG 4 chip that can handle MPEG 4, the MPEG 4 codec uses a high-performance DSP to process some functions of the MPEG 4 codec, while the remaining functions are handled by the CPU 212 by a software algorithm. Can be implemented in the form of a software-hardware codesign. In general, low bit-rate video codecs such as H.263 and MPEG-4 use a digital image format with a QCIF (176 × 144) screen size and color components of Y / Cb / Cr. It is known that at least 130 MIPS of computation is required to decompress with H.263, which has a frame rate of 2 frames / sec and a compression rate of 64 Kbps or less. In order to play music videos naturally, it is necessary to restore the video to a QCIF screen at 30 frames / sec and 64 Kbps or more. Furthermore, the MPEG-4 compression restore method is more complex than H.263 and takes about 1.5 times the computation required by H.263. Therefore, it is considered that at least 1GOPS (130MIPS × 6 × 1.5 = 1170 MIPS) is required for compression restoration of QCIF 30 frames / sec and 64 Kbps using the MPEG-4 method. In H.263 and MPEG 4, it is known that the computation of the motion estimation unit accounts for more than 85% of the total computation.

따라서 모션 추정부는 전용 DSP 혹은 전용 에이직으로 만들어 처리하고, 모션 추정 기능을 제외한 나머지 코덱부는 상기 CPU(212)에서 소프트웨어적으로 처리하면 약 200MIPS 이상의 성능을 가지는 CPU로 처리 가능하다. 본원 출원인에 의해 대한민국 특허청에 선출원된 특허 98-6718호 "실시간 동영상부호화를 위한 초고속 움직임 추정기법" 및 특허 98-49474 "움직임 추정장치", 특허 98-49473 "동영상부호화방법"을 사용하면 약 100MIPS 이하의 CPU 계산량 및 10만 게이트 이하의 에이직에 의한 모션 추정 처리 칩으로 H.263 및 엠펙 4 비디오 코덱을 QCIF 30프레임/초, 64Kbps 속도로 구현가능하다.Therefore, the motion estimation unit may be made of a dedicated DSP or dedicated AI and processed, and the remaining codec except for the motion estimation function may be processed by a CPU having a performance of about 200 MIPS or more when processed in software by the CPU 212. Applicant Patent No. 98-6718 "Ultra-Speed Motion Estimation Method for Real-Time Video Encoding" and Patent 98-49474 "Motion Estimation Device" and Patent 98-49473 "Video Encoding Method" filed by the Korean Patent Office by the applicant of the present application The H.263 and MPEG 4 video codecs can be implemented at QCIF 30 frames / sec and 64 Kbps with the following CPU calculations and motion estimation processing chips by AIZ of less than 100,000 gates.

한편 도킹 스테이션(200)은 뮤직 비디오 파일을 직접 만들어 저장하고 동시에 디코딩을 하면서 TV 모니터(232)와 같은 외부기기에 표시하도록 하기 위해 AV 입출력 인터페이스(228)와 A/V 출력단자를 구비한다. 또한 휴대형 단말기와는 달리 스테레오 스피커(218)를 구비하여 복원된 MP3파일에 따른 음성데이터를 외부로 출력할 수 있는 구성을 가지며, 도킹 스테이션의 조작을 위한 키패트/볼륨키(222) 및 사용자 인터페이스(220)를 구비한다. 그리고 도킹 스테이션(200)은 휴대 단말기에 전원을 공급하기 위한 휴대 단말기 전원공급부(210)를 구비한다.Meanwhile, the docking station 200 includes an AV input / output interface 228 and an A / V output terminal for displaying and displaying a music video file directly on an external device such as a TV monitor 232 while simultaneously storing and decoding the music video file. In addition, unlike the portable terminal, the stereo speaker 218 has a configuration that can output the audio data according to the restored MP3 file to the outside, the keypad / volume key 222 and the user interface for the operation of the docking station 220. The docking station 200 includes a portable terminal power supply 210 for supplying power to the portable terminal.

상술한 바와 같은 구성을 갖는 도킹 스테이션(200)은 PC(300)에 저장되어 있는 혹은 스마트 미디어 등의 저장매체에 저장되어 있는 기존의 뮤직 비디오 데이터(엠펙1 혹은 엠펙2 등의 방식을 사용하여 만든 뮤직 비디오 데이터 파일)를 실시간으로 엠펙 4 및 MP3로 먹싱되는 적은 용량의 뮤직 비디오 파일로 트랜스코딩해 준다. 이때 가사 등의 텍스를 같이 먹싱하여 뮤직 비디오 데이터 안에 삽입해 줄 수도 있다. 이러한 트랜스코딩을 PC(300)상에서 소프트웨어만으로 처리할 수 있는 트랜스코딩 소프트웨어도 제공한다. 이러한 경우 도킹 스테이션(200)에서 실시간으로 처리해 주는 것에 비하면 PC 소프트웨어 처리만으로는 엠펙 4 비디오 압축에 처리시간이 다소 소요되는 불편한 점은 있지만, 도킹 스테이션이 없을 경우 PC에서 직접 뮤직 비디오 파일을 만들어 뮤직 비디오 플레이어(100)로 직접 전송할 수도 있다.The docking station 200 having the above-described configuration is made by using existing music video data (MPEG1 or MPEG2, etc.) stored in the PC 300 or stored in a storage medium such as smart media. Music video data files) in real time, and transcode them into smaller music video files that are muxed into MPEG 4 and MP3. In this case, the texts such as lyrics can also be muxed and inserted into the music video data. Transcoding software that can process such transcoding with software on the PC 300 is also provided. In this case, compared to processing in the docking station 200 in real time, processing of the MPEG 4 video may be a little inconvenient to process only by PC software processing. However, when there is no docking station, a music video player is created by creating a music video file directly on the PC. It can also be sent directly to (100).

한편 본 발명의 실시예에 따른 휴대형 뮤직 비디오 플레이어 파일 형식에 맞추어 외국어 교육 프로그램 콘텐츠을 만들면 본 발명의 실시예에 따른 단말기를 외국어 공부에 이용할 수 있으며, 디코딩 완료된 텍스트 데이터를 디스플레이하는 경우 이를 키조작에 의해 선택 제어함으로써 외국어 공부의 효율성을 높일 수도 있다.On the other hand, if the foreign language education program content is made in accordance with the portable music video player file format according to the embodiment of the present invention, the terminal according to the embodiment of the present invention can be used for studying a foreign language, and when the decoded text data is displayed, the key operation is performed. Choice control can also increase the efficiency of foreign language study.

상술한 바와 같이 본 발명은 뮤직 비디오 파일의 사이즈를 압축하여 최소화함으로써 다수의 뮤직 비디오 콘텐츠를 저장하고 이를 휴대하면서 감상할 수 있는 장점이 있으며, 뮤직 비디오 플레이어 단말기 자체를 외국어 자막이 표시되는 교육기기로도 사용할 수 있는 장점이 있다. 또한 도킹 스테이션을 통해 단말기에 저장된 혹은 도킹 스테이션 내부에 저장된 뮤직 비디오 파일들을 감상할 수 있는 장점이 있다.As described above, the present invention has a merit of compressing and minimizing the size of a music video file to store a plurality of music video contents and enjoying them while being carried. There is also an advantage that can be used. In addition, the docking station has the advantage of viewing music video files stored in the terminal or stored in the docking station.

Claims (7)

휴대형 뮤직 비디오 단말기에 있어서,In the portable music video terminal, 뮤직 비디오 콘텐츠들을 전송받기 위한 인터페이스부와,An interface unit for receiving music video contents, 상기 인터페이스부를 통해 전송되는 뮤직 비디오 콘텐츠들을 저장하기 위한 메모리부와,A memory unit for storing music video contents transmitted through the interface unit; 상기 메모리부에 저장된 뮤직 비디오 콘텐츠들을 독출하여 비디오 데이터와 텍스트 데이터를 분리하고 분리된 비디오 및 텍스트 데이터를 디코딩하기 위한 제어부와,A controller for reading music video contents stored in the memory unit to separate video data and text data and to decode the separated video and text data; 상기 독출된 뮤직 비디오 콘텐츠에서 분리된 오디오 데이터를 디코딩하여 외부로 출력하기 위한 MP3 디코더와,An MP3 decoder for decoding the audio data separated from the read music video content and outputting the decoded audio data; 외부로 출력되는 상기 오디오 데이터와 동기를 맞추어 상기 비디오 및 텍스트 데이터를 디스플레이 장치에 표시하여 주는 디스플레이 컨트롤러와,A display controller which displays the video and text data on a display device in synchronization with the audio data output to the outside; 단말기 각 부에 동작 전원을 공급하는 전원공급부와,A power supply unit supplying operation power to each unit of the terminal; 상기 단말기를 조작하기 위한 컨트롤 키패드로 구성함을 특징으로 하는 휴대형 뮤직 비디오 단말기.Portable music video terminal, characterized in that configured as a control keypad for operating the terminal. 제1항에 있어서, 상기 단말기는 외부 음을 디지털 음성녹음하기 위한 마이크를 더 구비함을 특징으로 하는 휴대형 뮤직 비디오 단말기.The portable music video terminal of claim 1, wherein the terminal further comprises a microphone for digitally recording an external sound. 제1항에 있어서, 상기 인터페이스부와, 제어부, MP3 디코더 및 디스플레이 컨트롤러를 원(one) 칩화함을 특징으로 하는 휴대형 뮤직 비디오 단말기.The portable music video terminal of claim 1, wherein the interface unit, the controller, the MP3 decoder, and the display controller are one-chiped. 제1항에 있어서, 상기 제어부는 상기 비디오 데이터를 엠펙 4 디코딩 알고리즘에 따라 디코딩 수행함을 특징으로 하는 휴대형 뮤직 비디오 단말기.The portable music video terminal of claim 1, wherein the controller decodes the video data according to an MPEG 4 decoding algorithm. 휴대형 뮤직 비디오 단말기의 도킹 스테이션에 있어서,In a docking station of a portable music video terminal, 통신기기로부터 뮤직 비디오 콘텐츠들을 전송받고 전송된 뮤직 비디오 콘텐츠들을 단말기로 전송하기 위한 인터페이스부와,An interface unit for receiving music video contents from a communication device and transmitting the transmitted music video contents to a terminal; 상기 인터페이스부를 통해 전송되는 뮤직 비디오 콘텐츠들에서 분리된 비디오 파일을 엠펙 4 방식에 따르는 비디오 파일로 트랜스코딩하는 엠펙 4 코덱과,An MPEG 4 codec for transcoding a video file separated from the music video contents transmitted through the interface unit into a video file according to the MPEG 4 scheme; 상기 뮤직 비디오 콘텐츠들에서 분리된 오디오 파일을 MP3 파일 형식으로 트랜스코딩하는 MP3 코덱과,An MP3 codec for transcoding an audio file separated from the music video contents into an MP3 file format; 트랜스코딩된 비디오 파일 및 오디오 파일을 먹싱하여 뮤직 비디오 파일로 만들고, 먹싱된 상기 뮤직 비디오 파일을 비디오, 텍스트 및 오디오 데이터로 분리하여 디코딩 수행하는 제어부와,A control unit which muxes the transcoded video file and the audio file into a music video file, and separates and decodes the muxed music video file into video, text, and audio data; 상기 트랜스코딩된 뮤직 비디오 파일을 저장하기 위한 메모리부와,A memory unit for storing the transcoded music video file; 상기 디코딩 데이터들을 외부로 출력하기 위한 영상 및 음성출력부와,An image and audio output unit for outputting the decoded data to the outside; 단말기 각 부에 동작 전원을 공급하는 전원공급부와,A power supply unit supplying operation power to each unit of the terminal; 상기 도킹 스테이션을 조작하기 위한 컨트롤 키패드로 구성함을 특징으로 하는 휴대형 뮤직 비디오 단말기의 도킹 스테이션.Docking station of the portable music video terminal, characterized in that configured as a control keypad for operating the docking station. 제5항에 있어서, 상기 도킹 스테이션은 외부 음을 디지털 음성녹음하기 위한 마이크를 더 구비함을 특징으로 하는 휴대형 뮤직 비디오 단말기의 도킹 스테이션.The docking station of claim 5, wherein the docking station further comprises a microphone for digitally recording an external sound. 휴대형 뮤직 비디오 시스템에 있어서,In the portable music video system, 인터페이스부를 통해 뮤직 비디오 콘텐츠들을 다운 받아 저장하고 임의의 뮤직 비디오 콘텐츠 선택 재생시 해당 뮤직 비디오 콘텐츠에서 비디오 데이터와 텍스트 데이터 및 오디오 데이터를 분리하여 디코딩한후 이들의 동기를 맞추어 외부로 출력하여 주는 뮤직 비디오 플레이어와,Download and store music video contents through the interface unit. When selecting and playing any music video contents, the music video separates and decodes the video data, text data and audio data from the music video contents, and outputs them in synchronization with their synchronization. With the player, 뮤직 비디오 콘텐츠 제공자인 퍼스널 컴퓨터와,A personal computer that is a music video content provider, 인터페이스부를 통해 임의의 포맷형태로 되어 있는 뮤직 비디오 콘텐츠를 상기 퍼스널 컴퓨터로부터 다운받고, 이를 실시간으로 엠펙 4와 MP3로 구성되는 파일포맷으로 변환시켜 상기 인터페이스부를 통해 상기 뮤직 비디오 플레이어로 전송하는 도킹 스테이션으로 구성함을 특징으로 하는 휴대형 뮤직 비디오 시스템.A docking station which downloads music video contents in an arbitrary format through an interface unit from the personal computer, converts it into a file format consisting of MPEG 4 and MP3 and transmits it to the music video player through the interface unit in real time. Portable music video system characterized by the configuration.
KR1019990045288A 1999-10-19 1999-10-19 A portable music video system KR100630109B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990045288A KR100630109B1 (en) 1999-10-19 1999-10-19 A portable music video system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990045288A KR100630109B1 (en) 1999-10-19 1999-10-19 A portable music video system

Publications (2)

Publication Number Publication Date
KR20010037642A true KR20010037642A (en) 2001-05-15
KR100630109B1 KR100630109B1 (en) 2006-09-28

Family

ID=19615900

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990045288A KR100630109B1 (en) 1999-10-19 1999-10-19 A portable music video system

Country Status (1)

Country Link
KR (1) KR100630109B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030035377A (en) * 2001-10-31 2003-05-09 엘지전자 주식회사 Data write and play apparatus capable of data communication with a host and data communication method thereof
US8271713B2 (en) 2006-10-13 2012-09-18 Philips Electronics North America Corporation Interface systems for portable digital media storage and playback devices
US9918039B2 (en) 2006-10-13 2018-03-13 Koninklijke Philips N.V. Interface systems for portable digital media storage and playback devices
US10037781B2 (en) 2006-10-13 2018-07-31 Koninklijke Philips N.V. Interface systems for portable digital media storage and playback devices

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59188A (en) * 1982-06-24 1984-01-05 シャープ株式会社 Portable general-purpose electronic apparatus
JP3293946B2 (en) * 1992-04-29 2002-06-17 キヤノン インフォメーション システムズ リサーチ オーストラリア プロプライエタリー リミテツド Image processing device
JPH09319686A (en) * 1996-05-30 1997-12-12 Hitachi Ltd Information display system, memory card and information terminal
KR100312713B1 (en) * 1998-02-20 2001-12-28 윤종용 Device for caption broadcasting using digital broadcasting satellite
KR19980072068A (en) * 1998-07-20 1998-10-26 최규남 Portable video player using MPEG
KR20000032561A (en) * 1998-11-16 2000-06-15 구자홍 Portable multimedia file player
KR20000032949A (en) * 1998-11-18 2000-06-15 김상순 Portable multimedia player and its control methods
KR20010002185A (en) * 1999-06-11 2001-01-05 유병선 Aaaaa

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030035377A (en) * 2001-10-31 2003-05-09 엘지전자 주식회사 Data write and play apparatus capable of data communication with a host and data communication method thereof
US8271713B2 (en) 2006-10-13 2012-09-18 Philips Electronics North America Corporation Interface systems for portable digital media storage and playback devices
US9918039B2 (en) 2006-10-13 2018-03-13 Koninklijke Philips N.V. Interface systems for portable digital media storage and playback devices
US10037781B2 (en) 2006-10-13 2018-07-31 Koninklijke Philips N.V. Interface systems for portable digital media storage and playback devices

Also Published As

Publication number Publication date
KR100630109B1 (en) 2006-09-28

Similar Documents

Publication Publication Date Title
US20060274835A1 (en) Method and apparatus for coding information
US10511884B2 (en) Method and apparatus for playing multimedia audio-visual presentations
CN101119428A (en) Image recording apparatus, image reproducing apparatus, image recording method, and image reproducing method
CN102819851B (en) Method for implementing sound pictures by using computer
JP2003032617A (en) Data record reproducing device and method therefor
CN101312460A (en) Method for converting media file of multiple formats into target device supported media file
CN109040818B (en) Audio and video synchronization method, storage medium, electronic equipment and system during live broadcasting
KR100630109B1 (en) A portable music video system
US7039112B2 (en) Moving picture mailing system and method
US7721180B2 (en) Information management system, information management apparatus and information management method
CN101018308A (en) Making method of AMV audio and video file and AMV audio and video file player
US20030091325A1 (en) Device for audio and video playback
CN1980368A (en) Multi-media document generating method of media playing apparatus and apparatus thereof
JP4254297B2 (en) Image processing apparatus and method, and image processing system and program using the same
KR20000031335A (en) Portable digital device
KR0129565B1 (en) Mpeg/cd audio processing apparatus in multimedia system
JP4234029B2 (en) Image recording / playback device
KR20050041603A (en) Method for producing oudio contents having video data and system for decoding the same
TWI235359B (en) Electronic anti-shock system and performance improvement method thereof
JP2009122609A (en) Acoustic signal coder and acoustic signal decoder, their method, program and recording medium
KR200268775Y1 (en) campact disk player
KR100424473B1 (en) Method for parsing audio header in mobile terminal provided multimedia service
KR100826175B1 (en) A private video recorder and a method for transforming its file
KR100694434B1 (en) Contents reproducing method
JP2006235322A (en) Device and method for reproduction

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120830

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20130829

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140828

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee