KR100426127B1 - Transmission system for moving pictures - Google Patents
Transmission system for moving pictures Download PDFInfo
- Publication number
- KR100426127B1 KR100426127B1 KR10-2001-0043575A KR20010043575A KR100426127B1 KR 100426127 B1 KR100426127 B1 KR 100426127B1 KR 20010043575 A KR20010043575 A KR 20010043575A KR 100426127 B1 KR100426127 B1 KR 100426127B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- data
- video
- voice
- image data
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Abstract
본 발명은 동영상 전송시스템에 관한 것으로, 특히 양방향 동영상 통신에 있어서 사용자 화면을 캡춰링한 영상, PIP 영상, 사용자에 의해 렌더링된 영상, 마이크에 의해 입력된 음성 등 다양한 영상 및 음성 소스를 송신자의 선택에 의해 전송할 수 있도록 구성함으로써 수신자가 다양한 영상 및 음성 데이타를 전송받을 수 있어, 송신자의 통신 의도 및 다양한 표현을 쉽게 수신자가 인식할 수 있도록 한 것이다.The present invention relates to a video transmission system, and in particular, in a two-way video communication, a user selects various video and audio sources such as a video captured by a user screen, a PIP video, a video rendered by a user, and a voice input by a microphone. The receiver can receive various video and audio data so that the receiver can easily recognize the sender's communication intention and various expressions.
Description
본 발명은 동영상 전송시스템에 관한 것으로, 카메라로부터 촬영된 영상정보 및 마이크로부터 입력된 음성정보를 수신하고, 부호화 처리하여 네트워크로 송출하는 동영상 전송 기술 중 특히 양방향 동영상 통신 기술에 관련되는 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a video transmission system, and more particularly, to a video transmission technology of receiving video information from a camera and audio information input from a microphone, encoding the same, and transmitting the same to a network.
도 1 은 일반적인 인터넷 기반 양방향 통신에 대한 개요도이다.1 is a schematic diagram of a general Internet-based two-way communication.
양방향 동영상 통신은 개인과 개인간에 자신의 단말기를 통해 서로 동영상 정보를 교류할 수 있도록 하는 기술로, 카메라에 비친 송신자의 영상과 마이크로부터 입력된 음성을 캡춰하고 이를 압축하여 상대방에게 전송하고, 수신자는 이를 수신하고 압축해제하여 플레이(Play)하되, 송신과 수신이 동시에 실시간으로 진행되는 기술이다.Two-way video communication is a technology that allows individuals and individuals to exchange video information with each other through their terminals. It captures the video of the sender and the voice input from the microphone, compresses it, and transmits it to the other party. It is a technology that receives and decompresses this to play, but simultaneously transmits and receives in real time.
이러한 양방향 동영상 전송 기술을 채용한 종래의 양방향 동영상 전송시스템을 도 2 에 도시하였다.2 illustrates a conventional bidirectional video transmission system employing the bidirectional video transmission technology.
도면에 도시한 바에 따르면, 종래의 동영상 전송시스템은 영상수신부(110)와, 음성수신부(220)와, 영상부호화부(150)와, 음성부호화부(160)와, 통신인터페이스부(170)를 포함하고 있다.As shown in the figure, a conventional video transmission system includes an image receiver 110, an audio receiver 220, an image encoder 150, an audio encoder 160, and a communication interface 170. It is included.
상기 영상수신부(110)는 카메라로부터 촬영된 동영상 정보를 수신한다.The image receiver 110 receives video information photographed from a camera.
상기 음성수신부(220)는 마이크로부터 입력되는 음성 정보를 수신한다.The voice receiver 220 receives voice information input from a microphone.
상기 영상부호화부(150)는 상기 영상수신부(110)에 수신된 영상데이타를 영상부호화한다.The image encoder 150 encodes the image data received by the image receiver 110.
상기 음성부호화부(160)는 상기 음성수신부(220)에 의해 수신된 음성데이타를 음성부호화한다.The voice encoder 160 voice-codes the voice data received by the voice receiver 220.
상기 통신인터페이스부(170)는 영상부호화부(150) 및 음성부호화부(160)에 의해 부호화된 영상데이타 및 음성데이타를 네트워크로 송출한다.The communication interface unit 170 transmits the video data and the audio data encoded by the video encoding unit 150 and the audio encoding unit 160 to the network.
도 3 은 종래의 양방향 동영상 전송시스템의 전송동작을 도시한 것이다.3 illustrates a transmission operation of a conventional bidirectional video transmission system.
종래의 양방향 동영상 전송시스템은 카메라에 의해 촬영되는 동영상 정보를 상기 영상수신부(110)를 통해 수신하고, 마이크로부터 입력되는 음성정보를 상기 음성수신부(220)를 통해 수신하여, 이 수신된 동영상데이타 및 음성데이타를 각각 상기 영상부호화부(150) 및 음성부호화부(160)를 통해 영상 및 음성부호화하여 상기 통신인터페이스부(170)를 통해 각각 송신 동영상 채널 및 송신 음성 채널을 이용하여 네트워크로 송출한다.The conventional two-way video transmission system receives the video information captured by the camera through the image receiver 110, and receives the audio information input from the microphone through the voice receiver 220, the received video data and The audio data is video and audio encoded through the video encoder 150 and the audio encoder 160, respectively, and is transmitted to the network using the transmission video channel and the transmission audio channel through the communication interface 170, respectively.
이렇게 전송된 영상 및 음성데이타는 수신자의 수신 동영상 채널 및 수신 음성 채널을 통해 각각 수신되어 수신자의 단말기내에서 소프트웨어적으로 구현된 동영상 플레이어를 통해 복호화되어 플레이(Play)된다.The video and audio data thus transmitted are received through the receiver's video channel and the audio channel respectively, and are decoded and played through a video player implemented in software in the receiver's terminal.
그러나, 종래의 양방향 동영상 전송시스템은 송신자의 영상과 음성을 캡춰링하고 이를 부호화하여 송신자에게 전송하고, 송신자는 이를 수신하여 플레이하는 단순한 시스템으로, 동영상 전송시 카메라에 비친 영상과 마이크로부터 입력된 음성만을 전송함으로써 대개는 송신자의 얼굴위주의 영상만을 전송하게 되므로 수신자에게 다양한 정보를 제공할 수 없어, 네트워크에서 차지하는 용량 대비 활용성에서 크게 떨어지는 문제점이 있었다.However, the conventional two-way video transmission system is a simple system that captures the video and audio of the sender, encodes it, transmits the encoded video to the sender, and the sender receives and plays the video. Since only the transmission of only the face-oriented image of the sender usually transmits only the sender, various information cannot be provided to the receiver.
본 발명은 상기와 같은 문제점을 해결하기 위하여 발명된 것으로, 카메라에 의해 획득한 영상외에 송신자의 선택에 의해 다양한 영상 데이타 소스를 동영상 신호로 캡춰링하여 이를 압축하여 전송할 수 있게 한 동영상 전송시스템을 제공함을 그 목적으로 한다.The present invention has been invented to solve the above problems, and provides a video transmission system capable of capturing and compressing various video data sources into a video signal by the sender's selection in addition to the video obtained by the camera to compress and transmit them. For that purpose.
본 발명의 또 다른 목적은 음성데이타를 영상데이타와 별도로 분리하여, 이 음성데이타에 자신이 보유한 다양한 음성 데이타 소스를 합성하여 전송할 수 있도록 한 동영상 전송시스템을 제공하는 것이다.It is still another object of the present invention to provide a video transmission system in which audio data is separated from video data, so that various audio data sources possessed by the audio data can be synthesized and transmitted.
도 1 은 일반적인 인터넷 기반 양방향 통신에 대한 개요도1 is a schematic diagram of a general Internet-based two-way communication
도 2 는 종래의 양방향 동영상 전송시스템의 구성도2 is a block diagram of a conventional bidirectional video transmission system
도 3 은 종래의 양방향 동영상 전송시스템의 전송동작의 예시도3 is an exemplary diagram of a transmission operation of a conventional bidirectional video transmission system.
도 4 는 본 발명에 따른 동영상 전송시스템의 일 실시예를 도시한 블럭도4 is a block diagram showing an embodiment of a video transmission system according to the present invention.
도 5 는 사용자 화면 일부를 캡춰링하여 전송하는 경우의 일 실시예FIG. 5 illustrates an embodiment of capturing and transmitting a portion of a user screen; FIG.
도 6 은 PIP 영상을 전송하는 경우의 일 실시예6 illustrates an embodiment of transmitting a PIP image
도 7 은 PIP 영상 생성에 대한 일실시예7 illustrates an embodiment for generating a PIP image
도 8 은 사용자에 의해 렌더링된 영상을 전송하는 경우의 일 실시예8 illustrates an example of transmitting an image rendered by a user
도 9 는 본 발명에 따른 동영상 전송시스템에서의 음성합성에 대한 일 실시예9 illustrates an embodiment of speech synthesis in a video transmission system according to the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
110 : 영상수신부 120 : 영상/음성분리부110: video receiver 120: video / audio separation unit
130 : 영상데이타베이스 140 : 음성데이타베이스130: video database 140: audio database
150 : 영상부호화부 160 : 음성부호화부150: video encoding unit 160: audio encoding unit
170 : 통신인터페이스부 180 : 사용자 화면 캡춰부170: communication interface unit 180: user screen capture unit
190 : PIP 영상생성부 200 : 영상합성부190: PIP image generation unit 200: image synthesis unit
210 : 렌더링부 220 : 음성수신부210: renderer 220: voice receiver
230 : 음성합성부 240 : 제어부230: speech synthesis unit 240: control unit
상기한 바와같은 목적을 달성하기 위한 본 발명의 일 양상에 따른 동영상 전송시스템은 사용자 단말기의 화면출력수단에 표시되는 화면을 캡쳐하여 소정의 동영상 데이터를 생성하는 사용자 화면 캡춰부와, 상기 생성된 동영상 데이터를 영상 또는 음성으로 분리하여 제1 영상 데이터 또는 제1 음성 데이터를 추출하는 영상/음성 분리부와, 상기 사용자 화면 캡춰부의 상기 동영상 데이터 또는 상기 영상/음성분리부의 상기 제1 영상 데이터를 입력받아 PIP(Picture in Picture) 영상데이터를 생성하는 PIP 영상생성부와, 소정의 카메라로부터 입력되는 제2 영상데이터와 상기 PIP 영상데이터를 조합하여 조합 영상데이터를 생성하는 영상합성부와, 소정 마이크로부터 입력되는 제2 음성데이터와 상기 제1 음성데이터를 조합하여 조합 음성데이터를 생성하는 음성합성부, 및 상기 생성된 조합 영상데이터 또는 상기 생성된 조합 음성데이터를 네트워크로 송출하는 통신인터페이스를 포함하며, 상기 영상합성부는 상기 제2 영상데이터에 상기 PIP 영상데이터가 삽입되도록 하거나 상기 PIP 영상데이터에 상기 제2 영상데이터가 삽입되도록 하는 것을 특징으로 하는 동영상 전송시스템을 특징으로 한다.The video transmission system according to an aspect of the present invention for achieving the above object is a user screen capture unit for capturing the screen displayed on the screen output means of the user terminal to generate a predetermined video data, the generated video A video / audio separator for extracting first image data or first audio data by separating data into an image or audio, and receiving the video data of the user screen capture unit or the first image data of the video / audio separator A PIP image generation unit for generating picture in picture (PIP) image data, an image synthesis unit for generating a combination image data by combining the second image data input from a predetermined camera and the PIP image data, and inputting from a predetermined microphone A voice for generating a combination voice data by combining the second voice data and the first voice data And a communication interface for transmitting the generated combined image data or the generated combined voice data to a network, wherein the image synthesis unit allows the PIP image data to be inserted into the second image data or to the PIP image data. And a video transmission system, characterized in that the second image data is inserted.
본 발명의 부가적인 양상에 따른 동영상 전송시스템은 상기 동영상데이터를 Fa, 상기 제2 영상데이터를 Fc, 소정 영상데이터베이스의 제3 영상데이터를 Ff라고 정의하는 경우, 영상합성부는 상기 PIP 영상데이터 Fp가,Fp = Fc + M(Z(Ff),n),Fp = Fc + M(Z(Fa),n),Fp = Ff + M(Z(Fc),n),Fp = Fa + M(Z(Fc),n)을 만족하도록 설정하는 것을 특징으로 한다.In a video transmission system according to an additional aspect of the present invention, when the video data is defined as Fa, the second video data as Fc, and the third video data of a predetermined video database as Ff, the video synthesis unit may include the PIP video data Fp. , Fp = Fc + M (Z (Ff), n), Fp = Fc + M (Z (Fa), n), Fp = Ff + M (Z (Fc), n), Fp = Fa + M (Z (Fc), n) is set to be satisfied.
본 발명의 부가적인 양상에 따른 동영상 전송시스템의 상기 통신인터페이스는, 상기 조합 영상데이터를 렌더링하여 렌더링 영상데이터로 편집하는 렌더링부를 더 포함하며 상기 렌더링부는 최종 출력 영상데이터 Fr이,Fr = Fc 또는 Fc + T(Fu),Fr = Ff 또는 Ff + T(Fu),Fr = Fa 또는 Fa + T(Fu),Fr = Fp 또는 Fp + T(Fu)을 만족하도록 설정하는 것을 특징으로 특징으로 한다.The communication interface of the video transmission system according to an additional aspect of the present invention further includes a rendering unit for rendering the combined image data and editing the rendered image data, wherein the rendering unit is the final output image data Fr, where Fr = Fc or Fc. + T (Fu), Fr = Ff or Ff + T (Fu), Fr = Fa or Fa + T (Fu), Fr = Fp or Fp + T (Fu).
본 발명의 부가적인 양상에 따른 동영상 전송시스템의 상기 음성 합성부는,소정 음성데이터베이스의 제3 음성데이터를 더 입력받고, 상기 제1 음성데이터 내지 상기 제3 음성데이터 중 둘 이상의 음성데이터가 조합되도록 하는 것을 특징으로 한다.The voice synthesizer of the video transmission system according to an additional aspect of the present invention further receives third voice data of a predetermined voice database, and combines two or more voice data of the first voice data to the third voice data. It is characterized by.
이하, 첨부된 도면을 참조하여 기술되는 본 발명의 바람직한 실시예를 통해 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily understand and reproduce the present invention.
도 4 는 본 발명에 따른 동영상 전송시스템의 일 실시예를 도시한 블럭도이다.4 is a block diagram showing an embodiment of a video transmission system according to the present invention.
이 실시예에 따른 동영상 전송시스템은 개인용 컴퓨터, PDA 등의 동영상 송수신이 가능한 단말기내에서 소프트웨어적으로 구현되고, 개인과 개인간에 양방향으로 상기 각 개인이 소지한 단말기를 통해 양방향 통신하도록 하는 것으로, 영상수신부(110)와, 영상/음성분리부(120)와, 영상데이타베이스(130)와, 음성데이타베이스(140)와, 영상부호화부(150)와, 음성부호화부(160)와, 통신인터페이스부(170)와, 사용자 화면 캡춰부(180)와, PIP 영상생성부(190)와, 영상합성부(200)와, 렌더링부(210)와, 음성수신부(220)와, 음성합성부(230) 및 제어부(240)를 포함하고 있다.The video transmission system according to this embodiment is implemented in software in a terminal capable of transmitting and receiving video such as a personal computer, a PDA, and the like so that two-way communication is performed between the individual and the individual through the terminal possessed by the individual. Receiver 110, video / audio separation unit 120, video database 130, audio database 140, video encoder 150, audio encoder 160, communication interface The unit 170, the user screen capture unit 180, the PIP image generator 190, the image synthesizer 200, the renderer 210, the voice receiver 220, and the voice synthesizer ( 230 and the control unit 240.
상기 영상수신부(110)는 카메라로부터 촬영된 영상 정보를 수신한다.The image receiver 110 receives image information photographed from a camera.
상기 음성수신부(220)는 마이크로부터 입력된 음성 정보를 수신한다.The voice receiver 220 receives voice information input from a microphone.
상기 영상데이타베이스(130)는 상기 영상수신부(110)에 의해 수신된 영상데이타를 저장한다.The image database 130 stores image data received by the image receiving unit 110.
상기 음성데이타베이스(140)는 상기 음성수신부(220)에 의해 수신된 음성데이타를 저장한다.The voice database 140 stores the voice data received by the voice receiver 220.
이때, 상기 영상데이타베이스(130) 및 음성데이타베이스(140)는 카메라 및 마이크로부터 수신한 영상 및 음성데이타 뿐 만 아니라, 네트워크를 통해 수신한 다양한 영상 및 음성데이타를 더 저장하는 것이 가능하다.In this case, the video database 130 and the audio database 140 may further store not only video and audio data received from a camera and a microphone, but also various video and audio data received through a network.
상기 영상/음성분리부(120)는 상기 영상데이타베이스(130)에 저장된 음성정보가 포함된 동영상데이타로부터 영상데이타와 음성데이타를 분리한다.The video / audio separator 120 separates the video data and the audio data from the video data including the audio information stored in the video database 130.
이 동영상데이타로부터 영상데이타와 음성데이타를 분리하는 기술은 이 출원 이전에 다양하게 공지되어 실시되고 있는 공지의 기술로, 본원 발명의 요지와는 연관성이 미약하므로 이에 대한 자세한 설명은 생략하고자 한다.The technique of separating the video data and the audio data from the video data is a well-known technique that has been widely known and practiced prior to this application, and thus the detailed description thereof will be omitted since it is weakly related to the gist of the present invention.
상기 영상부호화부(150)는 상기 카메라로부터 상기 영상수신부(110)를 통해 수신되거나 또는 상기 영상/음성분리부(120)에 의해 분리된 영상데이타를 각각 영상부호화한다.The image encoder 150 encodes image data received from the camera through the image receiver 110 or separated by the image / audio separator 120.
이 영상부호화에 관련된 기술 역시 이 출원 이전에 다양하게 공지되어 실시되고 있는 공지의 기술로, 본원 발명의 요지와는 연관성이 미약하므로 이에 대한 자세한 설명은 생략하고자 한다. 본원 발명에서는 이미 영상압축 분야에서 표준으로 정립된 H.261 및 H.263, MPEG4 등의 실시간 영상압축 알고리즘을 사용하나, 이외의 영상압축 알고리즘 사용에 제한성을 두지 않는다.The technique related to the image encoding is also a well-known technique that has been widely known and practiced prior to this application, and thus a detailed description thereof will be omitted since it is weakly related to the gist of the present invention. In the present invention, H.261, H.263, MPEG4, etc., which are already established as standards in the field of image compression, use real-time image compression algorithms, but do not limit the use of other image compression algorithms.
상기 음성부호화부(160)는 상기 마이크로부터 상기 음성수신부(220)를 통해 수신되어 상기 음성데이타베이스(140)에 저장된 음성데이타를 음성부호화한다.The voice encoder 160 voice-codes the voice data received from the microphone through the voice receiver 220 and stored in the voice database 140.
이 음성부호화에 관련된 기술 역시 이 출원 이전에 다양하게 공지되어 실시되고 있는 공지의 기술로, 본원 발명의 요지와는 연관성이 미약하므로 이에 대한 자세한 설명은 생략하고자 한다. 본원 발명에서는 이미 음성압축 분야에서 표준으로 정립된 G.711, G.712, G.723.1, G.728, G.729 등의 압축 알고리즘을 사용하나, 이외의 음성압축 알고리즘 사용에 제한성을 두지 않는다.The technology related to this voice encoding is also a well-known technique that has been widely known and practiced prior to this application, and thus a detailed description thereof will be omitted since it is weakly related to the gist of the present invention. The present invention uses compression algorithms such as G.711, G.712, G.723.1, G.728, G.729, etc. already established as standards in the field of speech compression, but does not limit the use of other speech compression algorithms. .
상기 통신인터페이스부(170)는 영상부호화부(150) 및 음성부호화부(160)에 의해 부호화된 영상데이타 및 음성데이타를 네트워크로 송출한다.The communication interface unit 170 transmits the video data and the audio data encoded by the video encoding unit 150 and the audio encoding unit 160 to the network.
이 통신인터페이스부(170)에 의해 네트워크로 부호화된 영상데이타 및 음성데이타를 송출시 본원 발명에서는 실시간 압축 영상데이타 또는 압축 음성데이타를 RTP(Realtime Transport Protocol) 또는 RTCP(Realtime Transport Control Protocol) 등을 사용하여 전송하는 것이 바람직하나, 이외의 전송 프로토콜 사용에 제한성을 두지 않는다.When transmitting the video data and audio data encoded by the communication interface unit 170 into the network, the present invention uses real time compressed video data or compressed audio data using RTP (Realtime Transport Protocol) or RTCP (Realtime Transport Control Protocol). It is preferable to transmit by using the above protocol, but there is no restriction on using other transmission protocols.
상기 사용자 화면 캡춰부(180)는 사용자 단말기의 화면출력수단을 통해 표시되는 사용자 화면을 캡춰링한다.The user screen capture unit 180 captures a user screen displayed through the screen output means of the user terminal.
이 때, 상기 영상데이타베이스(130)는 상기 사용자 화면 캡춰부(180)에 의해 캡춰링된 영상데이타를 저장하는 것을 더 포함할 수 있다.In this case, the image database 130 may further include storing image data captured by the user screen capture unit 180.
또한, 상기 영상부호화부(150)는 상기 사용자 화면 캡춰부(180)에 의해 캡춰링된 영상데이타 또는 상기 영상데이타베이스(130)에 저장된 캡춰링된 영상데이타를 영상부호화하는 것을 더 포함한다.In addition, the image encoder 150 further includes image encoding the image data captured by the user screen capture unit 180 or the captured image data stored in the image database 130.
또한, 상기 통신인터페이스부(170)는 상기 영상부호화부(150)에 의해 부호화된 캡춰링된 영상데이타를 네트워크로 송출하는 것을 더 포함한다.In addition, the communication interface unit 170 further includes transmitting the captured image data encoded by the image encoder 150 to the network.
즉, 이 경우에는 카메라로부터 수신되거나 영상데이타베이스에 저장된 영상데이타를 부호화하여 네트워크로 송출하는 것이 아니라, 사용자에 의한 선택에 따라 사용자 화면을 캡춰링한 영상이 네트워크로 송출된다.That is, in this case, the image data received from the camera or stored in the image database is not transmitted to the network by being encoded, but the image capturing the user screen is transmitted to the network according to the selection by the user.
상기 사용자 화면 캡춰부(180)는 사용자의 선택에 따라 현재 단말기의 화면상에 실행되는 전체 영상 또는 소정 범위내의 선택된 영상을 캡춰링한다.The user screen capturer 180 captures an entire image or a selected image within a predetermined range currently executed on the screen of the terminal according to a user's selection.
현재 단말기의 화면상에 실행되는 영상은 바탕화면, 응용프로그램 화면, 응용프로그램에 로드되거나 편집 중인 화면 등의 단말기의 화면상에 디스플레이되는 모든 화면을 지칭한다.The image currently executed on the screen of the terminal refers to all screens displayed on the screen of the terminal, such as a background screen, an application program screen, and a screen being loaded or edited in the application program.
전체 영상 또는 소정 범위내의 영상을 캡춰링하는 알고리즘 및 기술은 이건 출원전에 이미 다양하게 공지되어 실행되고 있으므로, 이에 대한 자세한 설명은 생략한다.Algorithms and techniques for capturing an entire image or an image within a predetermined range have been widely known and executed before application, and thus detailed description thereof will be omitted.
도 5 는 사용자 화면 일부를 캡춰링하여 전송하는 경우의 일 실시예를 도시한 것이다.FIG. 5 is a diagram for one embodiment of capturing and transmitting a portion of a user screen.
도면에서 소프트웨어적으로 이동통신 단말기 형상으로 구현한 양방향 통신 가능한 동영상 플레이어의 상단의 화면은 수신되는 영상을 플레이(Play)하는 화면이고, 하단은 송신하는 영상을 플레이(Play)하는 화면이다.In the drawing, the upper screen of the video player capable of bidirectional communication implemented in software as a mobile communication terminal is a screen for playing the received video, and the lower screen is a screen for playing the transmitted video.
도시한 바와같이, 송신자가 선택범위의 영상을 전송하는 선택버튼(1)을 선택하고, 사용자 단말기 화면으로부터 소정 범위를 선택(2)하면, 이 선택된 화면이 송신 영상을 플레이하는 전송화면으로 줌인 또는 줌아웃(3)되어 전송된다.As shown, when the sender selects the selection button 1 for transmitting the video of the selected range and selects (2) a predetermined range from the user terminal screen, the selected screen is zoomed in or forwarded to the transmission screen for playing the transmitted video. Zoomed out 3 is transmitted.
상기 PIP 영상생성부(190)는 PIP(Picture in Picture) 영상을 생성한다.The PIP image generator 190 generates a picture in picture (PIP) image.
상기 영상합성부(200)는 상기 PIP 영상생성부에 의해 생성된 PIP 영상을 기본영상과 조합한다.The image synthesizer 200 combines the PIP image generated by the PIP image generator with the base image.
이 때, 상기 영상합성부(200)를 통해 PIP 영상과 기본영상이 합성된 영상데이타는 영상부호화부(150)을 통해 영상부호화되어 상기 통신인터페이스부(170)를 통해 네트워크로 송출된다.At this time, the image data synthesized with the PIP image and the basic image through the image synthesizing unit 200 is image-encoded through the image encoder 150 is transmitted to the network through the communication interface unit 170.
상기에서 기본영상 및 PIP 영상은 카메라에 의해 캡춰된 카메라 영상, 상기 영상데이타베이스(130)에 저장된 파일영상, 상기 사용자 화면 캡춰부(180)에 의해 캡춰링된 사용자 화면 영상 중 어느 하나를 말한다.The basic image and the PIP image refer to any one of a camera image captured by a camera, a file image stored in the image database 130, and a user screen image captured by the user screen capture unit 180.
도 6 은 PIP 영상을 전송하는 경우의 일 실시예를 도시한 것이다.6 illustrates an embodiment of transmitting a PIP image.
도면에 도시한 바와같이 PIP 제어버튼(1)을 이용하여 소정의 영상을 선택하면 양방향 통신하는 두 단말기내에 각각 PIP 영상(2)이 플레이(Play)된다.As shown in the figure, when a predetermined image is selected using the PIP control button 1, the PIP image 2 is played in each of the two terminals which communicate in both directions.
도 7 은 PIP 영상 생성에 대한 일실시예를 도시한 것이다.7 illustrates an embodiment of generating a PIP image.
도면에 도시한 바와같이, 카메라에 의해 캡춰 되는 카메라 영상을 Fc, 영상데이타베이스(130)에 저장된 파일 영상을 Ff, 사용자 화면 캡춰부(180)에 의해 캡춰링된 사용자 화면 영상을 Fa, 렌더링부(210)에 의해 렌더링된 렌더링 영상을 Fu, PIP 영상을 Fp, 최종출력 영상을 Fr 이라고 하면, PIP 영상 Fp 는 사용자의 선택에 따라 다음 식들 중 하나에 의해 얻어진다.As shown in the figure, the camera image captured by the camera is Fc, the file image stored in the image database 130 is Ff, the user screen image captured by the user screen capture unit 180 is Fa, the rendering unit If the rendered image rendered by 210 is Fu, the PIP image is Fp, and the final output image is Fr, the PIP image Fp is obtained by one of the following equations according to a user's selection.
Fp = Fc + M(Z(Ff),n),Fp = Fc + M (Z (Ff), n),
Fp = Fc + M(Z(Fa),n),Fp = Fc + M (Z (Fa), n),
Fp = Ff + M(Z(Fc),n),Fp = Ff + M (Z (Fc), n),
Fp = Fa + M(Z(Fc),n)Fp = Fa + M (Z (Fc), n)
상기 식에서 + 기호는 앞의 영상 프레임(Frame)에 뒤의 영상 프레임을 오버랩(Overlap)하라는 것을 나타내며, Z(f)는 f 영상 프레임을 원하는 크기에 맞게 변경하는 줌(Zoom) 기능을 통해 얻은 영상 프레임을 의미하며, M(f,n)은 f 영상 프레임을 n = 1, 2, 3, 4 값에 따라 각각 좌상, 좌하, 우상, 우하로 이동시킨 영상 프레임을 의미한다. 상기 n 값은 사용자의 선택에 의해 결정된다.In the above formula, the + symbol indicates overlapping the previous image frame with the previous image frame, and Z (f) indicates the image obtained through the zoom function of changing the f image frame to a desired size. M (f, n) refers to an image frame in which the f image frame is moved to the upper left, lower left, upper right and lower right according to n = 1, 2, 3, and 4 values, respectively. The n value is determined by the user's choice.
상기 렌더링부(210)는 사용자 단말기의 화면출력수단을 통해 출력되는 화면을 사용자 단말기의 입력수단을 통해 렌더링하여 편집한다.The rendering unit 210 renders and edits the screen output through the screen output means of the user terminal through the input means of the user terminal.
이 렌더링부(210)를 통해 사용자는 단말기의 화면출력수단을 통해 출력되는 화면, 예컨데 송신되는 영상을 플레이하는 화면을 텍스트 입력도구, 펜도구, 지우개 도구 등의 소정의 입력수단을 통해 편집한다.Through the rendering unit 210, the user edits the screen output through the screen output means of the terminal, for example, the screen for playing the transmitted image through a predetermined input means such as a text input tool, a pen tool, an eraser tool.
상기 텍스트 입력도구, 펜도구, 지우개 도구 등의 소정의 입력수단을 통해 화면을 편집하는 렌더링에 관련된 알고리즘 및 기술은 이건 출원전에 이미 다양하게 공지되어 실행되고 있으므로, 이에 대한 자세한 설명은 생략한다.Algorithms and techniques related to rendering for editing the screen through predetermined input means such as the text input tool, the pen tool, and the eraser tool are already known and executed before the application, and thus detailed description thereof will be omitted.
이 렌더링부(210)에 의해 편집된 영상은 상기 영상부호화부(150)를 통해 영상부호화되어 상기 통신인터페이스부(170)를 통해 네트워크로 송출된다.The image edited by the renderer 210 is encoded by the video encoder 150 and transmitted to the network through the communication interface 170.
도 8 은 사용자에 의해 렌더링된 영상을 전송하는 경우의 일 실시예를 도시한 것이다.8 is a diagram for one embodiment of transmitting a rendered image by a user.
도시한 바와같이 사용자가 팔레트 도구(1)을 사용하여 색상을 선택하고, 그리기 도구(2)를 사용하여 네트워크 연결된 타 단말기로 송신되는 영상에 그림을 그리고, 문자입력 도구(3)를 통해 문자를 입력하면, 이 렌더링된 영상이 실시간으로 네트워크로 송출되게 된다.As shown in the figure, a user selects a color using a palette tool (1), draws a picture on an image transmitted to another network connected terminal using a drawing tool (2), and draws text using a text input tool (3). When input, the rendered image is transmitted to the network in real time.
도 7 을 참조하면, 본 발명에 따른 동영상 전송시스템의 최종 출력영상 Fr 은 다음 식들 중 하나에 의해 얻어진다.Referring to FIG. 7, the final output image Fr of the video transmission system according to the present invention is obtained by one of the following equations.
Fr = Fc 또는 Fc + T(Fu),Fr = Fc or Fc + T (Fu),
Fr = Ff 또는 Ff + T(Fu),Fr = Ff or Ff + T (Fu),
Fr = Fa 또는 Fa + T(Fu),Fr = Fa or Fa + T (Fu),
Fr = Fp 또는 Fp + T(Fu)Fr = Fp or Fp + T (Fu)
상기 식에서 T(f)는 f 영상 프레임에서 0이 아닌 실제의 데이타값이 있는 영상만을 추출하는 알고리즘을 통해 얻어진 프레임을 의미한다.In the above equation, T (f) means a frame obtained through an algorithm for extracting only an image having an actual non-zero data value in an f image frame.
따라서, T(Fu) 영상은 사용자가 실제 렌더링한 영상만을 담고 있는 프레임이다.Therefore, the T (Fu) image is a frame containing only the image actually rendered by the user.
상기 음성합성부(230)는 상기 영상/음성 분리부(120)에 의해 분리된 음성데이타 또는 상기 음성수신부(220)에 의해 수신된 음성데이타 또는 상기 음성데이타베이스(140)에 저장된 음성데이타 중 2 이상을 합성한다.The voice synthesizing unit 230 includes two of voice data separated by the image / audio separating unit 120 or voice data received by the voice receiving unit 220 or voice data stored in the voice database 140. The above is synthesized.
이 때, 상기 음성데이타베이스(140)는 상기 음성수신부(220)에 의해 수신된 음성데이타를 저장하는 것을 더 포함할 수 있다.In this case, the voice database 140 may further include storing the voice data received by the voice receiver 220.
또한, 상기 음성부호화부(160)는 상기 음성합성부(230)에 의해 합성된 음성데이타를 음성부호화하는 것을 더 포함한다.In addition, the voice encoder 160 further includes voice encoding the voice data synthesized by the voice synthesizer 230.
또한, 상기 통신인터페이스부(170)는 상기 음성부호화부(160)에 의해 부호화된 음성데이타를 네트워크로 송출하는 것을 더 포함한다.In addition, the communication interface unit 170 further includes transmitting the voice data encoded by the voice encoder 160 to the network.
도 9 는 본 발명에 따른 동영상 전송시스템에서의 음성합성에 대한 일 실시예를 도시한 것이다.9 illustrates an embodiment of speech synthesis in a video transmission system according to the present invention.
상기 영상/음성분리부(120) 또는/및 음성데이타베이스(140)에 저장된 음성데이타는 이를 플레이하는 소프트웨어를 통해 시스템 메모리에 PCM(Pulse Code Modulation) 방식의 데이타로 추출된다.The voice data stored in the video / audio separator 120 or / and the voice database 140 is extracted as PCM (Pulse Code Modulation) data into the system memory through software for playing the same.
한편, 상기 마이크로부터 상기 음성수신부(220)를 통해 수신된 음성데이타는 사운드 캡춰보드를 통해 역시 PCM(Pulse Code Modulation) 방식의 데이타로 추출된다.On the other hand, the voice data received from the microphone through the voice receiver 220 is also extracted as a PCM (Pulse Code Modulation) data through the sound capture board.
따라서, 상기 음성합성부(230)가 이 PCM 데이타들을 평균 합성하고, 이 합성된 음성데이타를 상기 음성부호화부(160)를 통해 부호화하여 상기 통신인터페이스부(170)를 통해 네트워크로 송출하게 된다.Accordingly, the voice synthesizer 230 synthesizes the PCM data on average, encodes the synthesized voice data through the voice encoder 160, and transmits the synthesized voice data to the network through the communication interface 170.
상기 제어부(240)는 카메라로부터 수신되는 동영상 데이타를 저장하고 이를 영상 및 음성부호화하여 네트워크로 전송하도록 처리하거나, 사용자 화면을 캡춰하고 이를 영상부호화하여 네트워크로 전송하도록 처리하거나, PIP 영상을 생성하고 이를 영상부호화하여 네트워크로 전송하도록 처리하거나, 사용자에 의해 렌더링되는 영상을 영상부호화하여 네트워크로 전송하도록 처리하거나, 마이크로부터 입력되는 음성과 저장된 음성을 합성하고 이를 음성부호화하여 네트워크로 전송하도록 처리하는 등 장치 전반을 제어한다.The controller 240 stores the video data received from the camera and processes it to be transmitted to the network by video and audio encoding, or captures the user screen and processes it to be transmitted to the network by encoding the video, or generates a PIP image The device encodes the image and transmits it to the network, or processes the image rendered by the user to encode the image and transmits it to the network, or synthesizes the voice input from the microphone and the stored voice, and processes the encoded signal to be transmitted to the network. Control the panel.
본 발명에 따른 동영상 전송시스템은 카메라로부터 영상수신부(110)를 통해 수신한 동영상데이타 또는 마이크로부터 음성수신부(220)를 통해 수신한 음성데이타 또는 상기 영상/음성분리부(120)를 통해 분리한 영상데이타와 음성데이타를 각각 상기 영상부호화부(150)를 통해서는 영상부호화하고 상기 음성부호화부(160)를 통해서는 음성부호화하여, 상기 통신인터페이스부(170)를 통해 각각 네트워크로 송출하여 쌍방향 통신 하는 상대방에게 전송하는 통상의 동영상 전송동작을 포함한다.In the video transmission system according to the present invention, the video data received through the video receiver 110 from the camera or the audio data received through the voice receiver 220 from the microphone or the image separated through the video / audio separator 120 Data and audio data are respectively encoded through the video encoding unit 150 and the audio encoding through the audio encoding unit 160, respectively, and sent out to the network through the communication interface unit 170 for bidirectional communication. It includes a normal video transmission operation to send to the other party.
본 발명에 따른 동영상 전송시스템의 사용자 화면 캡춰 영상 전송동작을 설명해 보면, 사용자 단말기의 화면에 디스플레이되는 사용자 화면을 상기 사용자 화면 캡춰부(180)를 통해 캡춰하고, 이 캡춰된 영상을 상기 영상데이타베이스(130)에 저장하고, 상기 사용자 화면 캡춰부(180)를 통해 캡춰되거나 상기 영상데이타베이스(130)에 저장된 캡춰 영상을 상기 영상부호화부(150)를 통해 영상부호화하고, 이를 상기 통신인터페이스부(170)를 통해 네트워크로 송출하여 쌍방향 통신 하는 상대방에게 전송한다.Referring to the user screen capture image transmission operation of the video transmission system according to the present invention, the user screen displayed on the screen of the user terminal is captured through the user screen capture unit 180, the captured image is the image database Stored in the 130, the image captured by the user screen capture unit 180 or stored in the image database 130, the image encoding through the image encoding unit 150, and the communication interface unit ( 170 is transmitted to the network and transmitted to the counterpart in bidirectional communication.
본 발명에 따른 동영상 전송시스템의 PIP 영상 전송동작을 설명해 보면, 상기 PIP 영상생성부(190)에 의해 생성된 PIP 영상을 상기 영상합성부(200)를 통해 기준영상과 합성하여 이를 상기 영상부호화부(150)를 통해 영상부호화하고 상기 통신인터페이스부(170)를 통해 네트워크로 송출하여 쌍방향 통신 하는 상대방에게 전송한다.Referring to the PIP image transmission operation of the video transmission system according to the present invention, by combining the PIP image generated by the PIP image generator 190 with the reference image through the image synthesis unit 200 and the image encoding unit The video is encoded through the 150 and transmitted to the network through the communication interface 170 and transmitted to the counterpart in bidirectional communication.
본 발명에 따른 동영상 전송시스템의 렌더링 영상 전송동작을 설명해 보면, 상기 렌더링부(210)를 통해 사용자가 렌더링한 렌더링 영상을 기준영상인 카메라에 의해 촬영되는 카메라 영상 또는 영상데이타베이스에 저장된 파일영상 또는 사용자 화면을 캡춰링한 사용자 화면 영상 또는 PIP 영상에 렌더링 작업하여 이를 상기 영상부호화부(150)를 통해 영상부호화하고 상기 통신인터페이스부(170)를 통해 네트워크로 송출하여 쌍방향 통신 하는 상대방에게 전송한다.Referring to the rendering image transmission operation of the video transmission system according to the present invention, the rendered image rendered by the user through the rendering unit 210 is a video image stored in the camera image or the image database is taken by the camera as a reference image or Rendering a user screen image or a PIP image capturing a user screen, the image is encoded by the image encoding unit 150, and sent to the network via the communication interface unit 170 to transmit to the other party to the two-way communication.
본 발명에 따른 동영상 전송시스템의 음성 전송동작을 설명해 보면, 상기 음성데이타베이스(140)에 저장되어 상기 영상/음성분리부를 통해 분리된 음성데이타를와 상기 마이크로부터 상기 음성수신부(220)를 통해 수신된 음성데이타와 상기 음성데이타베이스에 저장된 음성데이타 중 2 이상을 상기 음성합성부(230)를 통해 합성하고, 이를 상기 음성부호화부(160)를 통해 음성부호화하여 상기 통신인터페이스부(170)를 통해 네트워크로 송출하여 쌍방향 통신 하는 상대방에게 전송한다.Referring to the voice transmission operation of the video transmission system according to the present invention, the voice data stored in the voice database 140 and separated through the video / audio separation unit and received from the microphone through the voice receiver 220 Two or more of voice data and voice data stored in the voice database are synthesized through the voice synthesizer 230, and then voice-encoded through the voice encoder 160 to network through the communication interface 170. Send it to the other party and send it to the other party.
따라서, 위와같이 함에 의해 상기에서 제시한 본원 발명의 목적을 달성할 수 있게 된다.Thus, by the above it can be achieved the object of the present invention presented above.
본 발명에 따른 동영상 전송시스템은 네트워크 연결된 상대방에게 준비된 영상 및 음성 데이타를 전송하면서 원하는 자료를 안내받을 수 있도록 하는 영상 ARS(Video Automatic Response System) 등에서 사용될 수 있다.The video transmission system according to the present invention can be used in a video ARS (Video Automatic Response System) or the like that can receive a desired data while transmitting the prepared video and audio data to a network-connected counterpart.
이상에서 설명한 바와 같은 본원 발명에 따른 동영상 전송시스템은 카메라에의해 획득한 영상외에 송신자의 선택에 의해 다양한 영상 데이타 소스를 동영상 신호로 캡춰링하여 이를 압축하여 전송할 수 있으며, 음성데이타를 영상데이타와 별도로 분리하여, 이 음성데이타에 자신이 보유한 다양한 음성 데이타 소스를 합성하여 전송할 수 있어 송신자의 통신 의도 및 다양한 표현을 쉽게 수신자가 인식할 수 있는 유용한 효과가 있다.As described above, the video transmission system according to the present invention can capture and compress various video data sources as a video signal and transmit them by selecting the sender in addition to the video acquired by the camera, and compressing the audio data separately from the video data. Separately, it is possible to synthesize and transmit various voice data sources owned by this voice data, so that the receiver can easily recognize the sender's communication intention and various expressions.
본 발명은 첨부된 도면을 참조하여 바람직한 실시예를 중심으로 기술되었지만 당업자라면 이러한 기재로부터 후술하는 특허청구범위에 의해 포괄되는 본 발명의 범주를 벗어남이 없이 다양한 변형이 가능하다는 것은 명백하다.Although the present invention has been described with reference to the accompanying drawings, it will be apparent to those skilled in the art that various modifications may be made therein without departing from the scope of the invention, which is covered by the following claims.
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0043575A KR100426127B1 (en) | 2001-07-19 | 2001-07-19 | Transmission system for moving pictures |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2001-0043575A KR100426127B1 (en) | 2001-07-19 | 2001-07-19 | Transmission system for moving pictures |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20030008721A KR20030008721A (en) | 2003-01-29 |
| KR100426127B1 true KR100426127B1 (en) | 2004-04-08 |
Family
ID=27715804
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2001-0043575A KR100426127B1 (en) | 2001-07-19 | 2001-07-19 | Transmission system for moving pictures |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100426127B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101328926B1 (en) * | 2006-10-20 | 2013-11-14 | 엘지전자 주식회사 | Method of video telephony in Mobile Terminal |
| JP5819731B2 (en) * | 2008-12-23 | 2015-11-24 | スリーエム イノベイティブ プロパティズ カンパニー | Sound insulation method and apparatus for transportation vehicles |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999004567A2 (en) * | 1997-07-21 | 1999-01-28 | U S West, Inc. | System and method for automated audio/video archive and distribution |
| KR20000006242A (en) * | 1998-06-18 | 2000-01-25 | 이데이 노부유끼 | Information transmitting apparatus and method, information receiving apparatus and method, provider, and broadcasting system |
| KR20000054715A (en) * | 2000-06-20 | 2000-09-05 | 김광섭 | Method and system for servicing by using the internet, method for producing and transmitting moving picture files and recording medium thereof |
| KR20000058837A (en) * | 1999-07-01 | 2000-10-05 | 조인호 | A manufacturing method and manufacturing apparatus for video matter having a picture in picture type advertisement data and, transmtting system and transmitting method thereof |
| KR20010025388A (en) * | 2000-12-21 | 2001-04-06 | 박상훈 | Internet live relay broadcasting method by using a server for integrating |
| KR20010107298A (en) * | 2000-05-26 | 2001-12-07 | 이활건 | Screen communication method through the internet |
| KR20020006983A (en) * | 2000-07-14 | 2002-01-26 | 전상권 | Methods and its System for Broadcasting Through Internet |
-
2001
- 2001-07-19 KR KR10-2001-0043575A patent/KR100426127B1/en active IP Right Grant
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1999004567A2 (en) * | 1997-07-21 | 1999-01-28 | U S West, Inc. | System and method for automated audio/video archive and distribution |
| KR20000006242A (en) * | 1998-06-18 | 2000-01-25 | 이데이 노부유끼 | Information transmitting apparatus and method, information receiving apparatus and method, provider, and broadcasting system |
| KR20000058837A (en) * | 1999-07-01 | 2000-10-05 | 조인호 | A manufacturing method and manufacturing apparatus for video matter having a picture in picture type advertisement data and, transmtting system and transmitting method thereof |
| KR20010107298A (en) * | 2000-05-26 | 2001-12-07 | 이활건 | Screen communication method through the internet |
| KR20000054715A (en) * | 2000-06-20 | 2000-09-05 | 김광섭 | Method and system for servicing by using the internet, method for producing and transmitting moving picture files and recording medium thereof |
| KR20020006983A (en) * | 2000-07-14 | 2002-01-26 | 전상권 | Methods and its System for Broadcasting Through Internet |
| KR20010025388A (en) * | 2000-12-21 | 2001-04-06 | 박상훈 | Internet live relay broadcasting method by using a server for integrating |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20030008721A (en) | 2003-01-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4842033B2 (en) | Image display apparatus and method for portable terminal | |
| JP3784289B2 (en) | Media editing method and apparatus | |
| JP5026785B2 (en) | Mixing media streams | |
| JP2009044510A (en) | Mobile unit, server, and video reproduction method in mobile unit | |
| JP2006262484A (en) | Method and apparatus for composing images during video communication | |
| JP2007527128A5 (en) | ||
| EP1347646A2 (en) | Communication terminal for transmission of facial information | |
| JP2005094696A (en) | Video telephone set | |
| JP2008288974A (en) | Video conference system and video conference device | |
| KR20060118838A (en) | Method for displaying special effect to image data | |
| KR100426127B1 (en) | Transmission system for moving pictures | |
| JP2000324463A (en) | Video conference system | |
| JPH11355747A (en) | Video/sound communication equipment and video conference equipment using the same equipment | |
| JP4504216B2 (en) | Image processing apparatus and image processing program | |
| JP3031320B2 (en) | Video conferencing equipment | |
| US20060244858A1 (en) | Method and system for changing image state in wireless terminal | |
| JP4275629B2 (en) | Data transmission / reception device, image processing device, and image processing method | |
| KR100775190B1 (en) | Method for multimedia synthesis and terminal using the same | |
| JP3589702B2 (en) | Communication terminal device | |
| JP2010224782A (en) | Moving image generation device, moving image generating method, and moving image generation program | |
| JP2004120269A (en) | Portable image pickup device and its control method | |
| JP2005057362A (en) | Transmitting/receiving and recording system for voice and picture | |
| JP2000203193A (en) | Displaying device of electronic white board and conferential terminal using it and television conference system | |
| JP2023026844A (en) | Video recording system, video recording playback device and image processing method | |
| JP2006217187A (en) | Telephone system and its telephone call method, telephone terminal, telephone system control program, and recording medium with same program recorded thereon |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130321 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20140326 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20170213 Year of fee payment: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20180326 Year of fee payment: 15 |
|
| FPAY | Annual fee payment |
Payment date: 20190408 Year of fee payment: 16 |
|
| FPAY | Annual fee payment |
Payment date: 20200128 Year of fee payment: 17 |