KR100557120B1 - Method of multipoint voice conference in the svd mobile phone - Google Patents

Method of multipoint voice conference in the svd mobile phone Download PDF

Info

Publication number
KR100557120B1
KR100557120B1 KR1020030066514A KR20030066514A KR100557120B1 KR 100557120 B1 KR100557120 B1 KR 100557120B1 KR 1020030066514 A KR1020030066514 A KR 1020030066514A KR 20030066514 A KR20030066514 A KR 20030066514A KR 100557120 B1 KR100557120 B1 KR 100557120B1
Authority
KR
South Korea
Prior art keywords
voice
data
channel
conference
call
Prior art date
Application number
KR1020030066514A
Other languages
Korean (ko)
Other versions
KR20050030301A (en
Inventor
서상욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020030066514A priority Critical patent/KR100557120B1/en
Publication of KR20050030301A publication Critical patent/KR20050030301A/en
Application granted granted Critical
Publication of KR100557120B1 publication Critical patent/KR100557120B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40Support for services or applications
    • H04L65/403Arrangements for multi-party communication, e.g. for conferences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1083In-session procedures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066Session management
    • H04L65/1096Supplementary features, e.g. call forwarding or call holding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 SVD 단말기를 통한 다자간 음성회의 방법에 있어서, 데이터 채널을 통한 다자간 음성회의중 보이스(Voice) 채널을 통한 콜이 착신되었는가를 판단하여 상기 보이스 콜이 착신되면 보이스 콜의 발신자와 통화하는 과정과; 상기 보이스 콜한 발신자의 참가 희망여부에 따라 상기 보이스 콜한 발신자를 상기 음성회의에 참가시키는 과정과; 상기 보이스 채널을 통한 다자간 음성회의 참가자의 음성 데이터를 저장한후 데이터 채널로 포워딩하거나 필요에 따라 변환한 데이터 채널의 음성 데이터를 상기 다자간 음성회의 참가자에게 전송하는 과정과; 상기 데이터 채널을 통해 음성회의에 참가한 참가자의 음성 데이터를 저장한후 보이스 채널로 포워딩하거나 필요에 따라 변환한 보이스 채널의 음성데이터를 상기 보이스 채널을 통한 음성회의 참가자에게 전송하는 과정으로 이루어진 것을 특징으로 한다.The present invention provides a multi-way voice conference method using an SVD terminal, determining whether a call is received through a voice channel during a multi-way voice conference through a data channel, and when the voice call is received, a process of calling with a caller of a voice call. and; Joining the voice call originator to the voice conference according to whether the voice call originator wants to participate; Storing voice data of a multi-party voice conference participant via the voice channel and forwarding the voice data of the data channel converted or forwarded to a data channel to the multi-party voice conference participant as necessary; Storing voice data of the participant who participated in the voice conference through the data channel and forwarding the voice channel to the voice channel or transmitting voice data of the converted voice channel to the voice conference participant through the voice channel. .

SVD 단말기, 다자간 음성 회의, 음성채팅, 데이터 콜, 보이스 콜SVD terminal, multi-party voice conference, voice chat, data call, voice call

Description

SVD 단말기를 통한 다자간 음성회의 방법{METHOD OF MULTIPOINT VOICE CONFERENCE IN THE SVD MOBILE PHONE}Multi-way voice conferencing method through SVD terminal {METHOD OF MULTIPOINT VOICE CONFERENCE IN THE SVD MOBILE PHONE}

도 1은 본 발명의 실시예에 따른 SVD 단말기의 구성을 보인 구성도.1 is a block diagram showing the configuration of an SVD terminal according to an embodiment of the present invention.

도 2는 본 발명의 실시예에 따라 SVD 단말기를 통한 다자간 음성회의 방법을 보인 흐름도.2 is a flowchart illustrating a multi-party voice conference method through an SVD terminal according to an embodiment of the present invention.

도 3은 본 발명의 실시예에 따른 SVD 단말기를 통한 다자간 음성회의 방법을 보인 예시도.3 is an exemplary view showing a multi-party voice conference method through an SVD terminal according to an embodiment of the present invention.

도 4는 도 3에 있어서, 제1 SVD 단말기의 음성 데이터 처리과정을 보인 예시도.4 is an exemplary view illustrating a voice data processing process of a first SVD terminal in FIG. 3.

***도면의 주요부분에 대한 부호의 설명****** Explanation of symbols for main parts of drawing ***

10a:제1 SVD 단말기 10b: 제2 SVD 단말기10a: first SVD terminal 10b: second SVD terminal

10: 제어부 21: RF부10: control unit 21: RF unit

23: 데이터 처리부 25: 오디오 처리부23: data processor 25: audio processor

27: 키패드 29: 메모리부27: keypad 29: memory

29a: 프로그램 메모리 29b: 데이터 메모리29a: program memory 29b: data memory

31: 센서 50: 카메라31: sensor 50: camera

60: 신호처리부 70: 영상처리부60: signal processor 70: image processor

80: 표시부 80: display unit

본 발명은 이동 단말기에 관한 것으로, 보다 상세하게는 SVD(Simultaneous Voice and Data)기능이 탑재된 이동 단말기와 SIP(Session Initiation Protocol), VoIP(Voice Over Internet Protocol)를 통해 SVD기능이 지원되지 않는 단말도 다자간의 메신저를 이용할 수 있는 SVD 단말기를 통한 다자간 음성회의 방법에 관한 것이다.The present invention relates to a mobile terminal, and more particularly, a mobile terminal equipped with a SVD (Simultaneous Voice and Data) function and a terminal that does not support an SVD function through a Session Initiation Protocol (SIP) and a Voice Over Internet Protocol (VoIP). The present invention also relates to a multi-party voice conference method through an SVD terminal that can use a multi-party messenger.

일반적으로, SIP는 세션초기화 프로토콜로서 현재 인터넷 전화등과 같은 다양한 분야에서 콜 셋업(Call Set Up)을 위해 사용되는 차세대 프로토콜로서 HTTP(Hypertext Transfer Protocol)와 같은 텍스트 기반 프로토콜이다.In general, SIP is a session initialization protocol and is a next-generation protocol used for call set up in various fields such as Internet telephony and the like and is a text-based protocol such as Hypertext Transfer Protocol (HTTP).

상기 SIP는 이메일(E-mail)과 유사한 주소체계 형태의 동일 식별자(Same Identifier)를 이용하여 언제, 어디서나 음성 통화 서비스를 비롯한 이메일, 인스턴트 메시지등을 제공받을 수 있으며, 하나 이상의 참가자들이 회의, 거리 학습, 인터넷 전화 및 유사한 애플리케이션들과 같은 멀티미디어 세션이나 호출을 설정, 변경 및 종료할 수 있다. 또한 세션을 설정할 때 SIP메시지 포맷(Head와 Body로 구성)중 Body부의 세션 파라미터의 사용 능력에 따라 사용자의 능력별 서비스가 지원되고, SIP사용자는 자신의 이동 단말기 번호, 사무실 전화 번호, 집 전화 번호, 이메일 주소등을 서버에 등록할 수 있으며 모든 콜에 대한 처리 내용등을 서버에 저장할 수 있다. 이러한 상기 SIP를 이용한 것이, 예를 들면, 메신저 회의 혹은 음성 채팅이 가능한 메신저(Messenger)이다. The SIP can be provided with a voice call service, an email, an instant message, and the like anytime, anywhere using the same identifier (Same Identifier) in the form of an e-mail-like address system. Set up, change, and terminate multimedia sessions or calls, such as learning, Internet telephony, and similar applications. In addition, according to the ability of the session parameter in the body part of SIP message format (consisting of head and body) to set up sessions, services by user's capabilities are supported. You can register e-mail addresses on the server and save the contents of all calls on the server. Such SIP is used, for example, a messenger capable of a messenger conference or a voice chat.

최근 이동 단말기의 기술발달로 인해 무선 인터넷을 통한 데이터 통신(이하, "데이터 콜"이라 칭함)을 하면서 동시에 음성 통화를 할 수 있는 SVD(Simultaneous Voice and Data)가 지원되는 이동 단말기(이하, "SVD 단말기"라 칭함)가 개발되고 있다. 이에, 상기 SVD 단말기들과 PC간 상기 데이터 콜의 메신저 회의나 음성 채팅이 가능하다. 이와 같은 SVD 단말기를 이용하여 메신저가 지원되는 단말기간 혹은 PC간의 다자간 회의나 채팅이 가능하다.Recently, due to technology development of mobile terminals, mobile terminals (hereinafter referred to as "SVD") that support SVD (Simultaneous Voice and Data), which can simultaneously make a voice call while performing data communication (hereinafter, referred to as "data call") through the wireless Internet Terminal ") is being developed. Thus, a messenger conference or voice chat of the data call is possible between the SVD terminals and the PC. By using the SVD terminal, it is possible to carry out a multi-party conference or chat between terminals supported by a messenger or a PC.

그러나, 이러한 종래의 상기 다자간 회의 혹은 음성채팅은 참가자가 인터넷에 접속을 한 상태여야 하고 데이터 채널을 통해 SIP 혹은 VoIP를 이용한 데이터 콜을 할 수 없는 단말기로는 메신저 회의 참석이나 음성 채팅등은 불가능한 문제점이 있었다.However, such a conventional multi-party conference or voice chat is a problem that a participant must be connected to the Internet and cannot participate in a messenger conference or voice chat with a terminal that cannot make a data call using SIP or VoIP through a data channel. There was this.

따라서, 본 발명은 상기와 같은 문제점을 해결하기 위하여 창출한 것으로, SVD 단말기를 이용하여 현재 사용자의 이동 단말기로 보이스 콜을 걸어온 상대방을 사용자가 접속해 있는 메신저 회의방이나 음성 채팅에 참가시킬 수 있고, 그에 대한 회의 결과나 음성 채팅 상대의 음성을 포워딩하거나 필요에 따라서 음성 데이터를 변환하여 상기 메신저 회의방이나 음성 채팅 참가자에게 전송함으로써, 메신저를 사용할 수 없는 이동 단말기와 일반 전화기에서도 회의나 음성 채팅을 할 수 있도록 한 SVD 단말기를 통한 다자간 음성회의 방법을 제공함에 그 목적이 있다. Therefore, the present invention has been created to solve the above problems, it is possible to participate in the instant messenger conference room or voice chat that the user is connected to the voice call to the mobile terminal of the current user using the SVD terminal By forwarding the results of the conference or voice chat partner's voice, or converting the voice data as necessary and transmitting the voice data to the messenger conference room or the voice chat participant, the conference or voice chat can be performed even in a mobile terminal and a regular phone where a messenger cannot be used. The object of the present invention is to provide a multi-party voice conference method through an SVD terminal.                         

상기와 같은 목적을 달성하기 위한 본 발명은 SVD 단말기를 통한 다자간 음성회의 방법에 있어서, 데이터 채널을 통한 다자간 음성회의중 보이스(Voice) 채널을 통한 콜이 착신되었는가를 판단하여 상기 보이스 콜이 착신되면 보이스 콜의 발신자와 통화하는 과정과; 상기 보이스 콜한 발신자의 참가 희망여부에 따라 상기 음성회의에 참가시키는 과정과; 상기 보이스 채널을 통한 다자간 음성회의 참가자의 음성 데이터를 저장한후 데이터 채널로 포워딩하거나 필요에 따라 변환한 데이터 채널의 음성 데이터를 상기 음성회의 참가자에게 전송하는 과정과; 상기 데이터 채널을 통해 음성회의에 참가한 참가자의 음성 데이터를 저장한후 보이스 채널로 포워딩하거나 필요에 따라 변환한 보이스 채널의 음성데이터를 상기 보이스 채널을 통한 음성회의 참가자에게 전송하는 과정으로 이루어진 것을 특징으로 한다.
According to the present invention for achieving the above object, in the multi-way voice conference method through an SVD terminal, when the voice call is received by determining whether a call through a voice channel is received during a multi-way voice conference through a data channel. Talking to the caller of the voice call; Participating in the voice conference according to whether or not the voice call originator wants to participate; Storing voice data of a multi-party voice conference participant through the voice channel and forwarding the voice data of the data channel converted or forwarded to a data channel to the voice conference participant; Storing voice data of the participant who participated in the voice conference through the data channel and forwarding the voice channel to the voice channel or transmitting voice data of the converted voice channel to the voice conference participant through the voice channel. .

이하, 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서 구체적인 SVD 단말기를 통한 다자간 음성처리흐름들의 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description specific details of the multiparty speech processing flows through specific SVD terminals are presented to provide a more general understanding of the present invention. It will be apparent to one of ordinary skill in the art that the present invention may be readily practiced without these specific details and also by their modifications.

도 1은 본 발명의 실시예에 따른 SVD 단말기의 구성을 보인 구성도이다.1 is a block diagram showing the configuration of an SVD terminal according to an embodiment of the present invention.

상기 도 1을 참조하면, RF부21은 SVD 단말기의 통신을 수행한다. 상기 RF부21은 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF송신기와, 수신되는 신호를 저잡음 증폭하고 주파수를 하강변환하는 RF수신기등을 포함한다. 데이터 처리부23은 상기 송신되는 신호를 부호화 및 변조하는 송신기 및 상기 수신되는 신호를 복조 및 복호화하는 수신기등을 구비한다. 즉, 상기 데이터 처리부23은 모뎀(MODEM) 및 코덱(CODEC)으로 구성될 수 있다. 또한, 상기 데이터 처리부23은 본 발명의 실시예에 따라 데이터 채널을 통해 수신한 음성 데이터를 데이터 채널의 음성 데이터로 변환하거나, 상기 보이스 채널을 통해 수신한 음성 데이터를 상기 보이스 채널의 음성 데이터로 변환한다.Referring to FIG. 1, the RF unit 21 performs communication of an SVD terminal. The RF unit 21 includes an RF transmitter for upconverting and amplifying a frequency of a transmitted signal, and an RF receiver for low noise amplifying and downconverting a received signal. The data processor 23 includes a transmitter for encoding and modulating the transmitted signal and a receiver for demodulating and decoding the received signal. That is, the data processor 23 may include a modem and a codec. In addition, the data processor 23 converts voice data received through a data channel into voice data of a data channel or converts voice data received through the voice channel into voice data of the voice channel according to an embodiment of the present invention. do.

오디오 처리부25는 상기 데이터 처리부23에서 출력되는 수신 오디오신호를 재생하거나 또는 마이크로부터 발생되는 송신 오디오신호를 상기 데이터 처리부23에 전송하는 기능을 수행한다. 키패드27은 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능 들을 설정하기 위한 기능키들을 구비한다. 또한 상기 키패드27은 본 발명의 실시예에 따라 회의 참가 승낙키와 회의 참가 요구키 등을 구비할 수 있다. 여기서, 상기 회의 참가 요구키는 통화키가 될 수도 있다. 메모리부29는 프로그램 메모리29a및 데이터 메모리29b들로 구성될 수 있다. 상기 프로그램 메모리29a에는 SVD 단말기의 일반적인 동작을 제어하기 위한 프로그램들이 저장된다. 또한 상기 데이터 메모리29b는 제1, 제2 버퍼(Buffer)로 구비되어 음성 데이터를 일시 저장하는 기능을 수행한다. 제어부10은 SVD 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 또한 상기 제어부10은 상기 데이터처리부23을 포함할 수도 있다. 또한 상기 제어부10은 본 발명의 실시예에 따라 메신저 회의나 혹은 음성 채팅의 참가 희망에 따라 보이스 콜한 상대방의 음성 데이터를 상기 제1 버퍼에 저장한후 데이터 채널로 포워딩하거나 필요에 따라 데이터 처리부23을 통해 데이터 채널의 음성데이터로 변환하여 데이터 콜을 사용하는 메신저 회의 혹은 음성 채팅 참가자에게 전송하도록 하고, 상기 메신저 회의나 혹은 음성 채팅을 통한 데이터 콜의 음성신호를 상기 제2 버퍼에 저장한후 보이스 채널로 포워딩하거나 필요에 따라 상기 데이터 처리부23을 통해 보이스 채널의 음성데이터로 변환하여 전송하도록 제어한다. 카메라50은 영상 데이터를 촬영하며, 촬영된 광신호를 전기적 신호로 변환하는 카메라 센서를 구비한다. 여기서 상기 카메라 센서는 CCD센서라 가정한다. 신호처리부60은 상기 카메라50으로부터 출력되는 영상신호를 이미지신호로 변환한다. 여기서 상기 신호처리부60은 DSP(Digital Signal Processor: DSP)로 구현할 수 있다. 영상처리부70은 상기 신호처리부60에서 출력되는 영상신호를 표시하기 위한 화면 데이터를 발생하는 기능을 수행한다. 상기 영상처리부70은 상기 제어부10의 제어하에 수신되는 영상신호를 상기 표시부80의 규격에 맞춰하는 전송하며, 또한 상기 영상데이터를 압축 및 신장하는 기능을 수행한다. 표시부80은 상기 제어부10의 제어하에 프로그램 수행중에 발생되는 메시지들을 표시한다. 또한 상기 표시부80은 카메라 촬영 모드시 상기 영상처리부70에서 출력되는 영상신호를 화면으로 표시하며, 상기 제어부10에서 출력되는 사용자 데이터를 표시한다. 또한, 상기 표시부80은 본 발명의 실시예에 따라 메신저 회의중에 착신된 보이스 콜의 발신자 정보를 표시한다. 여기서 상기 표시부80은 LCD를 사용할 수 있으며, 이런 경우 상기 표시부80은 LCD제어부(LCD controller), 영상데이터를 저장할 수 있는 메모리 및 LCD표시소자 등을 구비할 수 있다. 여기서 상기 LCD를 터치스크린(touch screen) 방식으로 구현 하는 경우, 상기 키패드27과 상기 LCD는 입력부가 될 수 있다.The audio processor 25 plays a function of reproducing a received audio signal output from the data processor 23 or transmitting a transmission audio signal generated from a microphone to the data processor 23. The keypad 27 has keys for inputting numeric and text information and function keys for setting various functions. In addition, the keypad 27 may include a conference participation accept key, a conference join request key, and the like according to an embodiment of the present invention. Here, the meeting participation request key may be a call key. The memory unit 29 may be composed of a program memory 29a and a data memory 29b. The program memory 29a stores programs for controlling general operations of the SVD terminal. In addition, the data memory 29b is provided with first and second buffers to temporarily store voice data. The controller 10 performs a function of controlling the overall operation of the SVD terminal. In addition, the controller 10 may include the data processor 23. In addition, the control unit 10 stores the voice data of the voice caller in the first buffer in response to the desire to participate in a messenger conference or voice chat according to an embodiment of the present invention and forwards the data to a data channel or through the data processor 23 as necessary. It converts the voice data of the data channel to a messenger conference or voice chat participant using the data call, stores the voice signal of the messenger conference or data call via voice chat in the second buffer, and then forwards it to the voice channel. Alternatively, if necessary, the data processor 23 converts the voice data of the voice channel and transmits the voice data. The camera 50 photographs image data and includes a camera sensor that converts the photographed optical signal into an electrical signal. It is assumed here that the camera sensor is a CCD sensor. The signal processor 60 converts the video signal output from the camera 50 into an image signal. The signal processor 60 may be implemented with a digital signal processor (DSP). The image processor 70 performs a function of generating screen data for displaying an image signal output from the signal processor 60. The image processor 70 transmits an image signal received under the control of the controller 10 to meet the standard of the display unit 80, and also compresses and decompresses the image data. The display unit 80 displays messages generated during program execution under the control of the controller 10. In addition, the display unit 80 displays an image signal output from the image processor 70 on a screen in the camera photographing mode, and displays user data output from the controller 10. In addition, the display unit 80 displays caller information of a voice call received during a messenger conference according to an embodiment of the present invention. The display unit 80 may use an LCD. In this case, the display unit 80 may include an LCD controller, a memory capable of storing image data, and an LCD display device. In this case, when the LCD is implemented using a touch screen method, the keypad 27 and the LCD may be input units.

상기 도 1을 참조하여 SVD 단말기의 동작을 살펴보면, 발신시 사용자가 키패드27을 통해 다이알링 동작을 수행한 후 발신모드를 설정하면, 상기 제어부10은 이를 감지하고 데이터 처리부23을 통해 수신되는 다이알정보를 처리한 후 RF부21을 통해 RF신호로 변환하여 출력한다. 이후 상대 가입자가 응답신호를 발생하면, 상기 RF부21 및 데이터 처리부23을 통해 이를 감지한다. 이후 사용자는 오디오처리부25를 통해 음성 통화로가 형성되어 통신 기능을 수행하게 된다. 또한 착신모드시 상기 제어부10은 데이터 처리부23을 통해 착신모드임을 감지하고, 오디오처리부25를 통해 링신호를 발생한다. 이후 사용자가 응답하면 상기 제어부10은 이를 감지하고, 역시 오디오처리부25를 통해 음성 통화로가 형성되어 통신 기능을 수행하게 된다. 상기 발신 및 착신모드에서는 보이스 채널을 예로들어 설명하고 있지만, 상기 보이스 채널 이외에 데이터 채널을 통해 패킷 데이터 및 영상데이터를 통신하는 데이터 통신 및 SIP 혹은 VoIP을 이용하여 메신저 회의나 음성채팅의 기능을 수행한다. 또한 대기모드 또는 문자 통신을 수행하는 경우, 상기 제어부10은 데이터 처리부23을 통해 처리되는 문자데이터를 표시부80에 표시한다.Looking at the operation of the SVD terminal with reference to FIG. 1, when the user performs a dialing operation through the keypad 27 during transmission, and sets the transmission mode, the control unit 10 detects this and dial information received through the data processor 23 After processing the RF signal through the RF unit 21 to output. Thereafter, when the other subscriber generates the response signal, the counter subscriber detects it through the RF unit 21 and the data processor 23. Thereafter, a user establishes a voice call path through the audio processor 25 to perform a communication function. In addition, in the incoming mode, the controller 10 detects the incoming mode through the data processor 23 and generates a ring signal through the audio processor 25. Thereafter, when the user responds, the controller 10 detects this, and a voice call path is formed through the audio processor 25 to perform a communication function. In the outgoing and incoming modes, a voice channel is described as an example. However, in addition to the voice channel, a data communication for communicating packet data and video data through a data channel and a messenger conference or voice chat are performed using SIP or VoIP. . In addition, when performing the standby mode or text communication, the controller 10 displays the text data processed by the data processor 23 on the display 80.

또한 상기 SVD 단말기는 인물 또는 주변 환경을 촬영하여 영상화면으로 표시 또는 전송하는 동작을 수행할 수 있다. 먼저 카메라50은 SVD 단말기에 장착되거나 또는 외부의 소정 위치에 연결될 수 있다. 즉, 상기 카메라50은 외장형 또는 내장형 카메라일 수 있다. 상기 카메라50은 CCD(Charge Coupled Device) 센서를 사용할 수 있다. 상기 카메라50에 촬영되는 영상은 내부의 CCD 센서에서 전기적신호로 변 환된 후 신호처리부60에 인가된다. 그러면 상기 신호처리부60은 상기 영상신호를 디지털 영상 데이터로 변환하여 영상처리부70에 출력한다.Also, the SVD terminal may perform an operation of capturing a person or an environment and displaying or transmitting the image screen. First, the camera 50 may be mounted on the SVD terminal or connected to a predetermined position outside. That is, the camera 50 may be an external camera or an internal camera. The camera 50 may use a charge coupled device (CCD) sensor. The image captured by the camera 50 is converted into an electrical signal by an internal CCD sensor and then applied to the signal processor 60. Then, the signal processor 60 converts the image signal into digital image data and outputs the image signal to the image processor 70.

상기와 같은 SVD 단말기를 통한 다자간 음성처리 과정을 살펴보면, 상기 메모리부29에는 제1, 제2 버퍼가 구비되어 데이터 채널을 통해 메신저를 이용한 회의 혹은 음성채팅중에 보이스 채널을 통해 보이스 콜이 착신되면 제어부10은 상기 보이스 콜한 발신자의 회의 혹은 음성채팅의 참가여부에 따라 상기 보이스 채널을 통한 음성 데이터를 상기 제1 버퍼에 저장한후 데이터 채널로 포워딩하거나 필요에 따라 데이터 처리부23을 통해 데이터 채널의 음성 데이터로 변환한후, 상기 회의 혹은 음성채팅의 참석자들 전원에게 실시간으로 전송한다. 또한, 상기 데이터 채널을 통한 상기 회의 혹은 음성채팅의 참석자들의 음성 데이터를 제2 버퍼에 저장한후 보이스 채널로 포워딩하거나 필요에 따라 상기 데이터 처리부23을 통해 보이스 채널의 음성 데이터로 변환한후, 상기 데이터 채널을 통한 회의 또는 음성채팅 참가자에게 전송한다.Referring to the multi-way voice processing process through the SVD terminal as described above, the memory unit 29 is provided with a first and a second buffer when a voice call is received through a voice channel during a conference or voice chat using a messenger through a data channel. In step 10, voice data through the voice channel is stored in the first buffer and forwarded to a data channel according to whether or not the voice call caller participates in a conference or voice chat. After the conversion, all participants in the conference or voice chat are transmitted in real time. The voice data of the participants of the conference or voice chat through the data channel may be stored in a second buffer and forwarded to a voice channel, or, if necessary, converted into voice data of the voice channel through the data processor 23. Send to meeting or voice chat participants through the channel.

이하, SVD 단말기가 데이터 채널 또는 보이스 채널을 통해 상대방의 음성을 수신하면 데이터 처리부23과 오디오 처리부25를 통해 스피커(SPK)로 출력되는 기본적인 과정은 생략하기로 한다.Hereinafter, when the SVD terminal receives the voice of the other party through the data channel or the voice channel, a basic process of outputting the speaker SPK through the data processor 23 and the audio processor 25 will be omitted.

도 2는 본 발명의 실시예에 따라 SVD 단말기를 통한 다자간 음성회의 방법을 보인 흐름도이다. 2 is a flowchart illustrating a multi-party voice conference method through an SVD terminal according to an embodiment of the present invention.

도 2를 참조하면, 211단계에서, SVD 단말기는 SIP 혹은 VoIP를 이용하여 데이터 채널을 통해 SVD 단말기간, 또는 SVD 단말기와 PC간의 데이터 콜을 통한 다자 간 메신저 회의나 혹은 음성채팅을 실시한다.Referring to FIG. 2, in step 211, the SVD terminal performs a multi-party messenger conference or voice chat through a data call between the SVD terminals or between the SVD terminal and the PC through a data channel using SIP or VoIP.

상기 다자간 메신저 회의나 혹은 음성채팅중, 212단계를 통해 상기 SVD 단말기의 제어부10은 보이스 채널을 통한 일반 전화나 혹은 SIP나 VoIP가 지원되는 않는 일반 SVD 단말기의 보이스 콜이 착신되었는가를 판단한다.During the multi-party messenger conference or voice chat, the control unit 10 of the SVD terminal determines whether a voice call of a general telephone through a voice channel or a general SVD terminal not supported by SIP or VoIP is received through step 212.

상기 제어부10은 212단계를 통해 보이스 콜이 착신되면 213단계에서 상기 제어부10은 상기 보이스 콜의 발신자 정보, 즉, 발신자의 번호를 표시부80에 표시한다. 이후, SVD 단말기10a의 사용자는 상기 발신자와 통화를 하고자 하면 상기 메신저 회의나 혹은 음성채팅중 키패드27의 '통화키'를 누르고 보이스 채널을 통한 음성통화를 시작한다. 이에, 상기 제어부10은 214단계로 진행하여 상기 통화키가 입력되었는지를 판단하여 상기 통화키가 입력되면 215단계에서 상기 SVD 단말기10a의 사용자와 발신자간의 음성통화가 이루어진다.When the voice call is received through step 212, the controller 10 displays the caller information of the voice call, that is, the caller's number on the display unit 80 in step 213. Subsequently, when the user of the SVD terminal 10a wants to talk to the caller, the user presses the 'call key' on the keypad 27 during the messenger conference or voice chat and starts a voice call through the voice channel. In step 214, the controller 10 determines whether the call key is input. When the call key is input, the controller 10 makes a voice call between the user and the caller of the SVD terminal 10a.

상기 보이스 채널을 통해 음성 통화중 SVD 단말기10a의 사용자는 발신자에게 메신저 회의중임을 말하고, 그 발신자에게 메신저 회의 혹은 음성채팅의 참여의사를 묻는다. 상기 보이스 콜의 발신자가 음성채팅에 참여하고자 하면 상기 SVD 단말기의 사용자는 '참가 승낙키'를 입력한다.During the voice call through the voice channel, the user of the SVD terminal 10a tells the caller that he is in a messenger meeting, and asks the caller to participate in a messenger meeting or voice chat. When the caller of the voice call wants to participate in the voice chat, the user of the SVD terminal inputs an entry consent key.

이에, 216단계에서 상기 제어부10은 상기 참가 승낙키가 입력되었는지를 판단하여 상기 판단결과, 상기 참가 승낙키가 입력되지 않으면 217단계에서, 상기 제어부10은 상기 보이스 콜의 발신자를 상기 다자간 메신저 회의 또는 음성채팅에 참가시키지 않는다.Accordingly, in step 216, the controller 10 determines whether the entry acceptance key is input. If the entry acceptance key is not input, in step 217, the control unit 10 sends a caller of the voice call to the multi-party messenger conference. Do not join voice chat.

반면, 상기 216단계에서 참가 승낙키가 입력되면 217단계에서 상기 보이스 채널의 발신자를 데이터 채널을 통한 다자간 메신저 회의 또는 음성 채팅에 참가할 수 있게 된다. 이에의해, 218단계에서, 상기 SVD 단말기10a는 보이스 채널을 통해 발신자와 음성통화를 하면서 아울러, 데이터 채널을 통해 회의 혹은 음성채팅에 참가한 참가자들과 음성통화를 한다.On the other hand, if a participant acceptance key is input in step 216, the caller of the voice channel may participate in a multi-party messenger conference or voice chat through a data channel in step 217. Accordingly, in step 218, the SVD terminal 10a makes a voice call with the caller through the voice channel and makes a voice call with the participants who participated in the conference or voice chat through the data channel.

이후, 상기 제어부10은 219단계의 수행결과 상기 다자간 메신저 회의 또는 음성 채팅중 보이스 채널을 통해 음성 데이터를 수신하면 상기 제어부10은 220단계로 진행하여 보이스 채널을 통한 참가자의 상기 음성 데이터를 제1 버퍼에 임시 저장후 데이터 채널로 포워딩 하거나 필요에 따라서 데이터 처리부23을 통해 데이터 채널의 음성 데이터로 변환하여 데이터 채널을 통한 메신저 회의 또는 음성 채팅에 참가한 참가자들의 SVD 단말기 혹은 PC로 전송한다.Thereafter, when the controller 10 receives voice data through the voice channel during the multi-party messenger conference or voice chat, the controller 10 proceeds to step 220 and performs a first buffer of the voice data of the participant through the voice channel. After temporary storage, forward to the data channel, or if necessary, the data processing unit 23 converts the voice data of the data channel and transmits it to the SVD terminal or PC of the participants in the messenger conference or voice chat through the data channel.

또한, 상기 제어부10은 219단계를 통해 상기 데이터 채널을 이용하여 데이터 채널을 통한 참가자로부터 음성 데이터를 수신하면 221단계로 진행하여 상기 음성 데이터를 제2 버퍼에 임시 저장한후 보이스 채널로 포워딩하거나 필요에 따라 데이터 처리부23을 통해 보이스 채널의 음성 데이터로 변환하여 상기 보이스 채널을 통해 참가한 참가자의 일반 전화기 혹은 이동 단말기로 전송할 수 있도록 한 과정으로, 상기한 220단계와 함께 본 발명과 관련된 단계라는 것을 인식해야 할 것이다.In addition, if the controller 10 receives voice data from the participant through the data channel using the data channel in step 219, the controller 10 temporarily stores the voice data in a second buffer and forwards the voice data to a voice channel. Accordingly, the process of converting the voice data of the voice channel through the data processor 23 to be transmitted to the general phone or the mobile terminal of the participant who participates through the voice channel. something to do.

또한, 222단계에서, 상기 제어부10은 마이크(MIC)를 통해 입력되는 SVD 단말기 사용자의 음성을 상기 데이터 채널과 보이스 채널을 통한 참가자들에게 동시에 전송한다.In operation 222, the controller 10 simultaneously transmits the voice of the SVD terminal user input through the microphone to the participants through the data channel and the voice channel.

도 3은 본 발명의 실시예에 따른 SVD 단말기를 통한 다자간 음성회의 방법을 보인 예시도이다.3 is an exemplary view illustrating a multi-party voice conference method through an SVD terminal according to an embodiment of the present invention.

도 3에 도시한 바와 같이 먼저, 제1 SVD 단말기10a와 제2 SVD 단말기10b는 기지국(BS 1, BS 2)을 통해 PC20과 인터넷(Internet) 메신저로 서로 음성채팅을 하고 있는 상태이다. 이때, (1)과정을 통해 상기 제1 SVD 단말기10a로 이동 단말기30 또는 일반 전화기40이 보이스 채널을 통해 음성통화를 요구하면 상기 제1 SVD 단말기10a의 제어부10은 상기 제1 SVD 단말기10a의 사용자가 입력하는 통화키를 감지하여 상기 음성통화를 수락한다.As shown in FIG. 3, first, the first SVD terminal 10a and the second SVD terminal 10b are in a state of voice chatting with each other via a base station BS 1 and BS 2 through a PC20 and an Internet messenger. In this case, when the mobile terminal 30 or the general telephone 40 requests a voice call through the voice channel through step (1), the control unit 10 of the first SVD terminal 10a is a user of the first SVD terminal 10a. Detects the call key entered and accepts the voice call.

상기 제1 SVD 단말기10a의 사용자는 상기 이동 단말기30 또는 일반 전화기40의 사용자에게 자신이 음성채팅중임을 알린후 그 이동 단말기30 또는 일반 전화기40의 사용자에게 상기 음성채팅 참가여부를 묻게 된다. 그러면, 상기 이동 단말기30 또는 일반 전화기40의 사용자는 (2)과정을 거쳐 음성채팅에 참가하고자 함을 밝힌다. 상기 제1 SVD 단말기10a의 사용자는 참가 승낙키를 눌러 상기 이동 단말기30 또는 일반 전화기40의 사용자를 상기 음성채팅에 참여시킨다.The user of the first SVD terminal 10a notifies the user of the mobile terminal 30 or the general phone 40 that he is in the voice chat, and then asks the user of the mobile terminal 30 or the general phone 40 whether the voice chat is participating. Then, the user of the mobile terminal 30 or the general telephone 40 reveals that they want to participate in the voice chat through the process (2). The user of the first SVD terminal 10a presses the participation acceptance key to engage the user of the mobile terminal 30 or the general telephone 40 in the voice chat.

이때, 상기 제1 SVD 단말기10a는 이동 단말기30 또는 일반 전화기40의 사용자도 상기 음성채팅중인 사용자와 음성채팅을 할 수 있도록 참가자들 사이에서 중계역할을 하게 된다. 즉, 도 4에 도시한 바와 같이 제1 SVD 단말기10a는 보이스 채널을 통해 일반 전화기40의 마이크(MIC 3)로부터 출력되는 아날로그 음성 데이터를 입력받아 스피커(SPK1)로 출력함과 동시에 그 아날로그 음성 데이터를 제1 버퍼11a에 임시저장후 데이터 채널로 포워딩하거나 필요에 따라서 데이터 처리부23을 통해 데이터 채널의 음성 데이터로 변환하여 데이터 채널을 통해 음성채팅을 하고 있는 제2 SVD 단말기10b로 전송함으로써, 그 제2 SVD 단말기10b의 사용자는 스피커(SPK 2)를 통해 상기 일반 전화기40의 음성 데이터를 들을수 있다.In this case, the first SVD terminal 10a plays a role of relaying between participants so that the user of the mobile terminal 30 or the general telephone 40 can also have a voice chat with the user who is in the voice chat. That is, as shown in FIG. 4, the first SVD terminal 10a receives analog voice data output from the microphone MIC 3 of the general telephone 40 through the voice channel, outputs the same to the speaker SPK1, and simultaneously outputs the analog voice data. Is temporarily stored in the first buffer 11a and forwarded to the data channel, or, if necessary, converted to voice data of the data channel through the data processor 23 and transmitted to the second SVD terminal 10b that is voice chatting through the data channel. 2 The user of the SVD terminal 10b can listen to the voice data of the general telephone 40 through the speaker SPK 2.

또한, 상기 제1 SVD 단말기10a는 데이터 채널로 제2 SVD 단말기10b의 마이크(MIC2)를 통해 입력되는 디지털 음성 데이터를 입력받아 스피커(SPK1)로 출력함과 동시에 그 디지털 음성 데이터를 제2 버퍼11b에 임시 저장한후 보이스 채널로 포워딩하거나 필요에 따라 상기 데이터 처리부23을 통해 보이스 채널의 음성 데이터로 변환하여 보이스 채널을 통해 상기 일반 전화기40로 전송함으로써, 그 일반 전화기40의 사용자는 스피커(SPK3)를 통해 상기 제2 SVD의 음성 데이터를 들을 수 있다. The first SVD terminal 10a receives digital voice data input through the microphone MIC2 of the second SVD terminal 10b as a data channel, outputs the digital voice data to the speaker SPK1, and simultaneously outputs the digital voice data to the second buffer 11b. After temporarily storing the data in the voice channel, or if necessary, the data processing unit 23 converts the voice data of the voice channel through the voice channel and transmits it to the general telephone 40 through the voice channel. Through the voice data of the second SVD can be heard.

이러한, 상기 도 4에 관한 내용은 도 3의 (3)과정 내지 (6)과정을 설명한 것으로, 제1 SVD 단말기10a의 제어부10은 데이터 채널과 보이스 채널을 통해 메신저 회의 혹은 음성 채팅시 이동 단말기30 혹은 일반 전화기40의 음성 데이터를 제1 버퍼11a 또는 제2 버퍼11b에 임시 저장한후 포워딩을 하거나 필요에 따라 데이터 처리부23을 통해 음성 데이터를 변환한후 데이터 채널과 보이스 채널을 이용하여 메신저 회의나 음성채팅을 하는 참가자 즉, 제2 SVD 단말기10b와 PC20 그리고 이동 단말기30과 일반 전화기40으로 전송한다.Such a description of FIG. 4 has been described with reference to (3) to (6) of FIG. 3, wherein the controller 10 of the first SVD terminal 10a is a mobile terminal 30 during a messenger conference or a voice chat through a data channel and a voice channel. Alternatively, the voice data of the general telephone 40 may be temporarily stored in the first buffer 11a or the second buffer 11b and then forwarded or, if necessary, converted into voice data through the data processor 23, and then the messenger conference or voice may be performed using the data channel and the voice channel. A participant who chats is transmitted to the second SVD terminal 10b and the PC20, and the mobile terminal 30 and the general telephone 40.

또한, 상기 제1 SVD 단말기10a의 사용자 음성은 상기 데이터 채널과 보이스 채널을 통해 동시에 메신저 회의나 음성채팅의 참가자 전원에게 전송한다.In addition, the user voice of the first SVD terminal 10a is simultaneously transmitted to all participants of a messenger conference or voice chat through the data channel and the voice channel.

한편 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도내에서 여러 가지 변형이 가능함은 물론이 다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Meanwhile, in the detailed description of the present invention, specific embodiments have been described, but various modifications are possible without departing from the scope of the present invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined not only by the scope of the following claims, but also by the equivalents of the claims.

이상에서 상세히 설명한 바와 같이 본 발명은 데이터 채널을 통해 SVD 단말기와 단말기 혹은 PC간의 다자간회의나 음성채팅중 보이스 채널을 통해 상기 SVD 단말기로 걸려온 보이스 콜의 음성을 변환하여 상기 데이터 채널을 통해 다자간회의나 음성채팅중인 사용자에게 전송하고, 상기 데이터 채널을 통해 회의나 음성 채팅중인 사용자의 음성을 변환하여 상기 보이스 채널을 통해 다자간회의나 음성채팅에 참가한 참가자에게 전송함으로써, SIP나 VoIP를 이용하여 메신저를 사용할 수 없는 환경의 단말에서도 다자간회의나 음성 채팅을 할 수 있는 이점이 있다.As described in detail above, the present invention converts the voice of the voice call to the SVD terminal through the voice channel during the multi-party conference or voice chat between the SVD terminal and the PC through the data channel. Send the message to the user who is in the voice chat and convert the voice of the user who is in the conference or voice chat through the data channel and transmit the voice to the participant who participated in the multi-party conference or voice chat through the voice channel. Even in a terminal that cannot be used, there is an advantage that a multi-party conference or voice chat can be performed.

Claims (3)

SVD 단말기를 통한 다자간 음성회의 방법에 있어서, In the multi-party voice conference method through the SVD terminal, 데이터 채널을 통한 다자간 음성회의중 보이스(Voice) 채널을 통한 콜이 착신되었는가를 판단하여 상기 보이스 콜이 착신되면 보이스 콜의 발신자와 통화하는 과정과;Determining whether a call through a voice channel is received during a multi-party voice conference through a data channel, and when the voice call is received, calling the caller of the voice call; 상기 보이스 콜한 발신자의 참가 희망여부에 따라 상기 보이스 콜한 발신자를 상기 음성회의에 참가시키는 과정과;Joining the voice call originator to the voice conference according to whether the voice call originator wants to participate; 상기 보이스 채널을 통한 다자간 음성회의 참가자의 음성 데이터를 저장한후 데이터 채널로 포워딩하거나 필요에 따라 변환한 데이터 채널의 음성 데이터를 데이터 채널을 통한 상기 음성회의 참가자에게 전송하는 과정과;Storing voice data of a multi-party voice conference participant via the voice channel and then forwarding the voice data of the data channel to a data channel or transmitting the voice channel of the converted data channel to the voice conference participant via a data channel; 상기 데이터 채널을 통해 음성회의에 참가한 참가자의 디지털 음성 데이터를 저장한후 보이스 채널로 포워딩하거나 필요에 따라 변환한 보이스 채널의 음성데이터를 상기 보이스 채널을 통한 음성회의 참가자에게 전송하는 과정으로 이루어진 것을 특징으로 하는 상기 방법.Storing the digital voice data of the participant who participated in the voice conference through the data channel and forwarding the voice channel to the voice channel or transmitting the voice data of the converted voice channel to the voice conference participant through the voice channel. Said method. 제1 항에 있어서, 상기 보이스 채널을 통한 회의참가자의 음성 데이터는 메모리에 임시저장되는 것을 특징으로 하는 상기 방법.The method as claimed in claim 1, wherein voice data of a participant through the voice channel is temporarily stored in a memory. 제1 항에 있어서, 상기 데이터 채널을 통한 회의참가자의 음성 데이터는 메모리에 임시저장되는 것을 특징으로 하는 상기 방법The method as claimed in claim 1, wherein the voice data of the participants through the data channel is temporarily stored in a memory.
KR1020030066514A 2003-09-25 2003-09-25 Method of multipoint voice conference in the svd mobile phone KR100557120B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020030066514A KR100557120B1 (en) 2003-09-25 2003-09-25 Method of multipoint voice conference in the svd mobile phone

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020030066514A KR100557120B1 (en) 2003-09-25 2003-09-25 Method of multipoint voice conference in the svd mobile phone

Publications (2)

Publication Number Publication Date
KR20050030301A KR20050030301A (en) 2005-03-30
KR100557120B1 true KR100557120B1 (en) 2006-03-03

Family

ID=37386649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020030066514A KR100557120B1 (en) 2003-09-25 2003-09-25 Method of multipoint voice conference in the svd mobile phone

Country Status (1)

Country Link
KR (1) KR100557120B1 (en)

Also Published As

Publication number Publication date
KR20050030301A (en) 2005-03-30

Similar Documents

Publication Publication Date Title
US7603412B2 (en) System and method for collaborating using instant messaging in multimedia telephony-over-LAN conferences
US7283154B2 (en) Systems and methods for videoconference and/or data collaboration initiation
KR101417002B1 (en) A mobile communication terminal having multilateral image communication function and multilateral method for converting image communication mode thereof
US8583729B2 (en) Handling an audio conference related to a text-based message
EP2991325A1 (en) Remote conference realizing method and apparatus
US8098599B2 (en) Method and system for multiple party telephone call
KR20070110537A (en) Method and server for a push-to-talk service
WO2006007587A2 (en) Method and appartus for automatically sending a captured image to a phone call participant
KR20070027942A (en) System for service sharing and controling contents in voice session and thereof method
KR20060016373A (en) Method for display an image of a speaker in the push to talk portable terminal
US20040068648A1 (en) Multimedia communication management
KR20090019849A (en) System, mehtod and handset for sharing a call in a voip system
JP2012019416A (en) Information processing terminal, call control method, and program
KR100557120B1 (en) Method of multipoint voice conference in the svd mobile phone
JP2006319779A (en) Video conference control apparatus, video conference control method, and computer program thereof
JP4644813B2 (en) Multi-party call system, call terminal and call server in multi-party call system, multi-party call method
US20060135151A1 (en) Cordless IP telephone
JP2007096486A (en) Mobile communication system selection method and mobile communication terminal used for the same
KR20070011722A (en) Telephone user video conference attend system
JP2007053527A (en) Ip exchanger, ip communication terminal, and ip exchange system
KR100940982B1 (en) System and Method of surveillance services using VoIP systems
JP4684240B2 (en) Multi-person call terminal, multi-person call system, multi-person call method, multi-person call program and recording medium storing program
JP2006100968A (en) Communication terminal device with speaker notifying function and speaker notifying method
CN118042049A (en) Multi-party call realization method, device, equipment, chip and storage medium
KR100590488B1 (en) System and method for providing trs service by using multimodal interface for use in mobile communication network

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130130

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20140128

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee