KR100833106B1 - Mobile communication terminal and its operating method - Google Patents

Mobile communication terminal and its operating method Download PDF

Info

Publication number
KR100833106B1
KR100833106B1 KR1020060119111A KR20060119111A KR100833106B1 KR 100833106 B1 KR100833106 B1 KR 100833106B1 KR 1020060119111 A KR1020060119111 A KR 1020060119111A KR 20060119111 A KR20060119111 A KR 20060119111A KR 100833106 B1 KR100833106 B1 KR 100833106B1
Authority
KR
South Korea
Prior art keywords
image data
call
light amount
input
mode
Prior art date
Application number
KR1020060119111A
Other languages
Korean (ko)
Inventor
서상철
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020060119111A priority Critical patent/KR100833106B1/en
Application granted granted Critical
Publication of KR100833106B1 publication Critical patent/KR100833106B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/10—Photometry, e.g. photographic exposure meter by comparison with reference light or electric value provisionally void
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/3827—Portable transceivers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/60—Substation equipment, e.g. for use by subscribers including speech amplifiers
    • H04M1/6033—Substation equipment, e.g. for use by subscribers including speech amplifiers for providing handsfree use or a loudspeaker mode in telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Telephone Function (AREA)

Abstract

A mobile communication terminal and an operation method thereof are provided to analyze a distance between a user and the mobile communication terminal by analyzing an inputted image signal of a camera, so that the current mode can be automatically operated as a speaker phone mode. An image processor(20) analyzes an image signal inputted from a camera(10), calculates lightness in accordance with the image signal, and compare image data in accordance with the image signal with reference image data. A controller(30) compares the calculated lightness with reference lightness, and if the lightness is less than the reference lightness, the controller enables a call to be performed in one of a general speech mode and a speaker phone mode according to a matching rate between the image data and the reference image data.

Description

이동통신 단말기 및 그 동작방법{Mobile communication terminal and its operating method}Mobile communication terminal and its operating method

도 1 은 본 발명에 따른 이동통신 단말기의 구성이 도시된 블록도,1 is a block diagram showing the configuration of a mobile communication terminal according to the present invention;

도 2 는 본 발명에 따른 이동통신 단말기의 통화모드 전환 설정에 따른 실시예가 도시된 예시도, 2 is an exemplary view showing an embodiment according to a call mode switching setting of a mobile communication terminal according to the present invention;

도 3 은 본 발명에 따른 이동통신 단말기의 화상통화에 따른 화면의 예가 도시된 예시도, 3 is an exemplary view showing an example of a screen according to a video call of the mobile communication terminal according to the present invention;

도 4 는 본 발명에 따른 이동통신 단말기의 동작방법이 도시된 순서도, 그리고4 is a flowchart illustrating a method of operating a mobile communication terminal according to the present invention; and

도 5 는 본 발명에 따른 이동통신 단말기의 모드 판단방법이 도시된 순서도이다. 5 is a flowchart illustrating a mode determination method of a mobile communication terminal according to the present invention.

<도면의 주요 부분에 관한 부호의 설명><Explanation of symbols on main parts of the drawings>

10: 카메라 20: 영상처리부10: camera 20: image processing unit

30: 제어부 40: 통신부30: control unit 40: communication unit

50: 입력부 60: 표시부50: input unit 60: display unit

70: 메모리 80: 오디오부70: memory 80: audio portion

MIC: 마이크 SPK: 스피커MIC: Microphone SPK: Speaker

RCV: 리시버 RCV: Receiver

본 발명은 이동통신 단말기 및 그 동작방법에 관한 것으로서, 특히 카메라를 통해 입력되는 영상신호를 분석하여 자동으로 통화모드가 변경되도록 하는 이동통신 단말기 및 그 동작방법에 관한 것이다. The present invention relates to a mobile communication terminal and an operation method thereof, and more particularly, to a mobile communication terminal and an operation method of changing a call mode automatically by analyzing a video signal input through a camera.

이동통신 단말기는 사용자가 이동 중에도 통화가능 하도록 하는 이동식 통신장치로서, 최근 그 기술의 발달에 따라 통화 이외에도, 근거리에 위치하는 타 장치와의 통신 및 이동 중 인터넷을 포함하는 데이터 통신이 가능하여 그 이용이 크게 증대되고 있는 추세이다. A mobile communication terminal is a mobile communication device that allows a user to make a call even while on the move. As a result of recent advances in technology, a mobile communication terminal is capable of communicating with other devices located at a short distance and data communication including the Internet while moving, in addition to a call. This is a growing trend.

특히 이동통신 단말기는 음악재생 장치 및 카메라가 구비되고, 대용량의 데이터 저장이 가능하게 되므로서, 언제 어디서나 원하는 음악을 재생하고, 주변의 영상을 사진 또는 동영상으로 촬영 할 수 있게 되었다. In particular, the mobile communication terminal is provided with a music playback device and a camera, it is possible to store a large amount of data, it is possible to play the desired music anytime, anywhere, and to take a picture or video of the surrounding video.

또한. 상기와 같이 음악 재생을 위한 스피커가 구비됨으로서, 통화 중 구비된 스피커를 통해 수신된 음성이 출력되도록 하는 스피커폰 모드가 구비되는 추세이다. 스피커폰 모드는 이동통신 단말기를 통한 통화 수행 시, 사용자가 이동통신 단말기를 직접 들고 이동통신 단말기를 귀에 가까이 대지 않아도, 테이블 위에 올려둔 이동통신 단말기를 통한 음성 통화가 가능하도록 한다. Also. As the speaker for reproducing music as described above, the speakerphone mode for outputting the voice received through the speaker provided during the call is a trend is provided. The speakerphone mode enables a voice call through a mobile communication terminal placed on a table even when a user performs a call through a mobile communication terminal without having to hold the mobile communication terminal directly to the ear.

상기와 같은 이동통신 단말기는 통화중 스피커를 통해 수신된 음성이 증폭되어 출력되는데, 종래의 이동통신 단말기는 스피커폰 모드로 전환하기 위한 버튼이 구비되어, 버튼 조작 시 통화 모드가 전환된다. The mobile communication terminal as described above is amplified and output the voice received through the speaker during the call, the conventional mobile communication terminal is provided with a button for switching to the speakerphone mode, the call mode is switched when the button operation.

이러한 이동통신 단말기는 구비된 버튼 조작을 통해 스피커폰 모드로 전환되므로 통화모드 전환에 따른 불편함이 있다. 특히 사용자가 양손을 모두 사용하는 경우, 이동통신 단말기를 조작할 수 없으므로 스피커폰모드로의 전환이 용이하지 못하다는 문제점이 있다. The mobile communication terminal is switched to the speakerphone mode through a button operation provided, there is an inconvenience in switching the call mode. In particular, when the user uses both hands, there is a problem in that switching to the speakerphone mode is not easy because the user cannot operate the mobile communication terminal.

본 발명의 목적은 입력되는 카메라의 영상신호를 분석하여 사용자와 이동통신 단말기 간의 거리를 분석하여 자동으로 스피커폰 모드로 동작되도록 하는 이동통신 단말기 및 그 동작방법을 제공하는데 있다. An object of the present invention is to provide a mobile communication terminal and a method of operating the same by analyzing a video signal of an input camera to analyze a distance between a user and a mobile communication terminal to automatically operate in a speakerphone mode.

상기한 과제를 해결하기 위한 본 발명에 따른 이동통신 단말기는 카메라, 상기 카메라로부터 입력되는 영상신호를 분석하여, 상기 영상신호에 따른 광량을 산출하고, 상기 영상신호에 따른 이미지 데이터를 기준영상데이터와 비교하는 영상처리부 및 상기 영상처리부로부터 산출된 상기 광량을 기준광량과 비교하고, 상기 광량이 상기 기준광량 이하인 경우, 상기 이미지 데이터와 상기 기준영상데이터의 일치율에 대응하여, 일반통화모드 및 스피커폰모드 중 어느 하나의 통화모드로 통화가 수행되도록 하는 제어부를 포함한다. The mobile communication terminal according to the present invention for solving the above problems is to analyze the video signal input from the camera, the camera, to calculate the amount of light according to the video signal, and to compare the image data according to the video signal with the reference video data Comparing the light amount calculated from the image processing unit and the image processing unit with a reference light amount, and when the light amount is less than the reference light amount, corresponding to the matching ratio of the image data and the reference image data, in the general call mode and speaker phone mode It includes a control unit to make a call in any one call mode.

또한, 본 발명에 따른 이동통신 단말기의 동작방법은 통화 수신 시, 카메라를 구동하는 단계, 상기 카메라를 통해 입력된 영상신호의 광량을 기준광량과 비교하여, 상기 광량이 상기 기준광량 이하이면, 상기 영상신호에 따른 이미지 데이터를 기준영상데이터와 비교하는 단계, 상기 이미지 데이터와 상기 기준영상데이터의 일치율에 대응하여 스피커폰 모드 및 일반통화모드 중 어느 하나의 통화모드를 설정하는 단계 및 상기 설정된 통화모드에 따라 스피커 및 리시버를 제어하여, 수신된 음성신호가 스피커 및 리시버 중 어느 하나를 통해 출력되도록 하여 통화가 수행되도록 하는 단계;를 포함하는 것을 특징으로 한다. In addition, the method of operating a mobile communication terminal according to the present invention includes driving a camera when receiving a call, and comparing the light amount of an image signal input through the camera with a reference light amount, if the light amount is equal to or less than the reference light amount, Comparing the image data according to the video signal with the reference video data, setting a call mode of any one of a speaker phone mode and a general call mode in response to the matching ratio of the image data and the reference video data; and And controlling the speaker and the receiver accordingly, so that the received voice signal is output through any one of the speaker and the receiver so that a call is performed.

이하, 첨부된 도면을 참조하여 본 발명의 실시예를 설명하면 다음과 같다. 도 1 은 본 발명에 따른 이동통신 단말기의 구성이 도시된 블록도이다.Hereinafter, exemplary embodiments of the present invention will be described with reference to the accompanying drawings. 1 is a block diagram showing the configuration of a mobile communication terminal according to the present invention.

본 발명에 따른 이동통신 단말기는 도 1에 도시된 바와 같이, 소정의 영상신호가 입력되는 카메라(10), 카메라(10)를 통해 입력되는 영상신호에 대응하여 소정의 이미지 또는 동영상 데이터를 생성하는 영상처리부(20), 이동통신 또는 무선 망을 통해 데이터를 송수신하는 통신부(40), 다수의 버튼이 구비되어 데이터를 입력받는 입력부(50), 동작상태가 화면에 출력되는 표시부(60), 데이터가 저장되는 메모리(70), 입출력되는 데이터를 제어하고, 카메라(10)를 통해 입력되는 영상신호에 대응하여 통화모드를 변경하는 제어부(30)를 포함한다. As shown in FIG. 1, the mobile communication terminal according to the present invention generates a predetermined image or video data corresponding to the camera 10 to which a predetermined video signal is input and the video signal input through the camera 10. Image processing unit 20, the communication unit 40 for transmitting and receiving data through a mobile communication or wireless network, the input unit 50 is provided with a plurality of buttons to receive data, the display unit 60, the operation state is output on the screen, data The control unit 30 controls the data stored in the memory 70, input and output, and changes the call mode in response to the video signal input through the camera 10.

또한, 이동통신 단말기는 통신부(40)를 통해 송수신되는 음성데이터가 출력되는 스피커(SPK) 및 리시버(RCV), 주변의 소리 및 음성을 수집하여 입력하는 마이크(MIC), 입출력되는 오디오신호를 변환하는 오디오부(80)를 더 포함한다.In addition, the mobile communication terminal converts the speaker (SPK) and the receiver (RCV) to output the voice data transmitted and received through the communication unit 40, the microphone (MIC) to collect and input the surrounding sound and voice, and the audio signal input and output The audio unit 80 further includes.

리시버(RCV)는 통화중, 수신되는 음성신호가 출력되는 저출력의 스피커로서, 통화중 음성이 출력되고, 스피커(SPK)는 소정의 증폭수단을 통해 증폭된 음성신호 또는 오디오신호가 출력된다. 이때, 일반 통화모드에서는 리시버(RCV)를 통해 음성이 출력되고, 음악재생 또는 스피커폰 모드 설정 시에는 음성 및 오디오신호가 스피커(SPK)를 통해 출력된다. The receiver RCV is a low-power speaker for outputting a received voice signal during a call. The voice is output during a call, and the speaker SPK outputs an amplified voice signal or an audio signal through a predetermined amplification means. At this time, the voice is output through the receiver (RCV) in the normal call mode, the voice and audio signals are output through the speaker (SPK) when the music playback or speakerphone mode is set.

오디오부(80)는 소정의 스위칭 수단을 포함하여, 제어부(30)의 제어신호에 따라 음성이 리시버(RCV) 및 스피커(SPK) 중 어느 하나를 통해 출력되도록 스위칭한다. The audio unit 80 includes a predetermined switching means to switch the voice to be output through any one of the receiver RCV and the speaker SPK according to a control signal of the controller 30.

여기서, 본발명은 스피커(SPK)와 리시버(RCV)가 각각 구비되는 것을 예로 하여 설명하나, 스피커(SPK)와 리시버(RCV)가 각각 구비되지 않고 하나의 스피커(SPK)가 구비되어 증폭율의 가변을 통해 스피커모드 또는 리시버모드로 동작될 수 있으며, 스피커의 종류 및 수는 상세한 설명 및 도면에 의해 한정되지 아니한다. Here, the present invention will be described with an example that the speaker (SPK) and the receiver (RCV) is provided, respectively, but the speaker (SPK) and the receiver (RCV) is not provided, respectively, one speaker (SPK) is provided so that the amplification factor The variable mode may be operated in a speaker mode or a receiver mode, and the type and number of speakers are not limited by the detailed description and the drawings.

카메라(10)는 렌즈와 이미지센서를 포함하며, 렌즈를 통해 입사되는 빛이 이미지센서에 의해 전기전신호로 변환되어 영상신호가 입력된다. 이때 이미지센서는 CCD 또는 CMOS, 그 외 빛을 전기적 신호로 변환하는 장치가 사용될 수 있다. 또한, 카메라(10)는 소정의 렌즈 이동수단이 구비되어 초절조절기능이 포함될 수 있다.The camera 10 includes a lens and an image sensor, and the light incident through the lens is converted into an electric signal by the image sensor and an image signal is input thereto. At this time, the image sensor may be a CCD or CMOS, and other devices for converting light into an electrical signal. In addition, the camera 10 may be provided with a predetermined lens moving means may include an ultra-thin adjustment function.

영상처리부(20)는 카메라(10)로부터 입력된 영상신호를 분석하고, 영상신호에 따른 광량을 판단하여 카메라(10)의 노출시간, 영상신호의 프레임 레이트를 가변제어하고 그에 따른 카메라(10)의 동작을 제어한다. 또한, 카메라(10)의 이미지센서를 통해 입력된 영상신호를 변환하여 소정의 이미지 데이터 또는 동영상 데이터를 생성한다. The image processor 20 analyzes the image signal input from the camera 10, determines the amount of light according to the image signal, and variably controls the exposure time of the camera 10 and the frame rate of the image signal, and accordingly the camera 10. To control the operation. In addition, the image signal input through the image sensor of the camera 10 is converted to generate predetermined image data or video data.

통신부(40)는 안테나를 통해 이동통신망 및 무선망을 이용한 신호 및 데이터를 송수신하여, 이동통신 단말기의 음성통화 및 데이터 통화가 가능하도록 한다. 입력부(50)는 구비되는 다수의 버튼 조작에 대응하는 소정의 데이터를 입력받아 제어부(30)로 인가한다. 이때, 입력부(50)는 기능키, 이동키, 문자입력키를 포함하 며, 다수의 버튼 중 임의의 버튼이 통화모드 전화버튼으로 설정될 수 있다.The communication unit 40 transmits and receives signals and data using a mobile communication network and a wireless network through an antenna to enable voice communication and data communication of the mobile communication terminal. The input unit 50 receives predetermined data corresponding to a plurality of button operations provided to the control unit 30. At this time, the input unit 50 includes a function key, a moving key, a text input key, and any button of the plurality of buttons may be set as a call mode telephone button.

표시부(60)는 입력부(50)를 통해 입력된 데이터에 대응되는 소정의 메뉴 및 설정 데이터가 화면에 출력되고, 제어부(30)에 의해 제어되는 소정의 동작에 대한 상태 데이터가 화면에 출력된다. The display unit 60 outputs a predetermined menu and setting data corresponding to the data input through the input unit 50 on the screen, and outputs state data on a predetermined operation controlled by the controller 30 on the screen.

메모리(70)는 사용자 데이터, 폰북데이터, 외부로부터 수신되거나 카메라(10)를 통해 촬영되어, 영상처리부(20)에 의해 생성되는 소정의 이미지데이터, 동영상 데이터가 저장된다. 또한 메모리(70)는 외부로부터 수신되거나 마이크(MIC)를 통해 입력된 음향 데이터가 저장된다. The memory 70 stores user data, phone book data, predetermined image data and video data received from the outside or photographed through the camera 10 and generated by the image processor 20. In addition, the memory 70 stores sound data received from the outside or input through a microphone MIC.

특히, 메모리(70)는 이동통신 단말기 동작을 위한 설정데이터, 통화 모드 전환을 위한 기준데이터가 저장된다. 이때, 메모리(70)는 기준광량 데이터와, 기준영상 데이터를 저장한다. 이때, 기준광량 데이터는 통화 시 이동통신 단말기가 사용자에 근접한 경우 측정되는 광량이고, 기준영상 데이터 또한 통화를 위해 이동통신 단말기가 사용자에 근접한 경우 촬영된 영상 데이터이다.In particular, the memory 70 stores setting data for operating the mobile communication terminal and reference data for switching the call mode. In this case, the memory 70 stores reference light amount data and reference image data. In this case, the reference light quantity data is the light quantity measured when the mobile communication terminal is close to the user during the call, and the reference image data is also image data photographed when the mobile communication terminal is close to the user for the call.

제어부(30)는 입출력되는 데이터 및, 그에 따른 이동통신 단말기의 전반적인 동작을 제어한다. 제어부(30)는 입력부(50)로부터 입력된 신호에 따라 소정의 동작을 실행하고, 그에 따른 동작상태 데이터가 표시부(60)를 통해 출력되도록 제어한다. 특히, 제어부(30)는 카메라(10) 및 영상처리부(20)로부터 입력되는 영상신호에 대응하여 통화모드를 자동으로 판단하고, 그에 따라 일반통화모드와 스피커폰모드가 전환되도록 제어신호를 생성하여 음성신호가 스피커(SPK) 및 리시버(RCV) 중 어느 하나를 통해 출력되도록 한다. The controller 30 controls the input / output data and the overall operation of the mobile communication terminal. The controller 30 executes a predetermined operation according to the signal input from the input unit 50, and controls the operation state data to be output through the display unit 60. In particular, the controller 30 automatically determines a call mode in response to the video signals input from the camera 10 and the image processor 20, and generates a control signal to switch between the general call mode and the speakerphone mode accordingly. The signal is output through either the speaker SPK and the receiver RCV.

이때, 제어부(30)는 통신부(40)를 통해 통화수신 신호가 인가되면, 메모리(70)에 저장된 모드전환 기준데이터를 바탕으로 카메라(10) 및 영상처리부(20)로부터 입력되는 영상신호를 분석하고, 그에 따라 일반통화모드와 스피커폰모드를 설정한다. 제어부(30)는 설정된 모드에 대한 제어신호를 오디오부(80)로 인가하여, 설정된 통화모드에 따라 통화중 음성신호가 스피커(SPK) 또는 리시버(RCV)를 통해 출력되도록 한다. In this case, when the call reception signal is applied through the communication unit 40, the controller 30 analyzes the image signals input from the camera 10 and the image processor 20 based on the mode change reference data stored in the memory 70. Set the general call mode and speakerphone mode accordingly. The controller 30 applies a control signal for the set mode to the audio unit 80 so that the voice signal during a call is output through the speaker SPK or the receiver RCV according to the set call mode.

제어부(30)는 이동통신 단말기가 화상통화모드 및 스피커폰모드 중 어느 하나의 모드로 동작되는 경우, 음성신호가 스피커(SPK)를 통해 출력되도록 제어신호를 생성하여 오디오부(80)로 인가하여, 리시버(RCV)의 동작은 정지시키고, 스피커(SPK)가 동작되도록 한다. 제어부(30)는 일반통화모드로 동작되는 경우, 음성신호가 리시버(RCV)를 통해 출력되도록 오디오부(80)로 제어신호를 인가한다.The controller 30 generates a control signal and outputs the control signal to the audio unit 80 when the mobile communication terminal is operated in any one of a video call mode and a speakerphone mode. The operation of the receiver RCV is stopped and the speaker SPK is operated. The controller 30 applies a control signal to the audio unit 80 so that the voice signal is output through the receiver RCV when operating in the general call mode.

영상처리부(20)는 카메라(10)를 통해 입력되는 영상신호를 분석하여, 영상신호에 따른 광량을 산출하여 제어부(30)로 인가한다. 또한, 영상처리부(20)는 제어부(30)로부터 인가되는 제어신호에 따라, 영상신호로부터 생성된 이미지데이터를 메모리(70)에 저장된 기준영상 데이터와 비교하여 비교결과를 제어부(30)로 인가한다. The image processor 20 analyzes an image signal input through the camera 10, calculates an amount of light corresponding to the image signal, and applies it to the controller 30. In addition, the image processor 20 compares the image data generated from the image signal with the reference image data stored in the memory 70 and applies the comparison result to the controller 30 according to a control signal applied from the controller 30. .

제어부(30)는 통신부(40)를 통해 통화수신신호가 인가되는 경우, 영상처리부(20)로부터 입력되는 광량을 메모리(70)에 저장된 기준광량과 비교하여, 입력되는 광량이 기준광량 이하인지 판단한다. 또한, 입력된 광량이 기준광량 이하인 경우에는 영상처리부(20)로부터 인가되는 비교결과데이터에 대응하여, 통화모드를 스피커폰모드 또는 일반통화모드 중 어느 하나의 통화모드로 수신된 통화가 연결되어 통화가 수행되도록 한다. When the call reception signal is applied through the communication unit 40, the controller 30 compares the amount of light input from the image processor 20 with the reference light amount stored in the memory 70 to determine whether the input light amount is equal to or less than the reference light amount. do. In addition, when the input light amount is less than the reference light amount, in response to the comparison result data applied from the image processing unit 20, a call received in either one of the speakerphone mode and the general call mode is connected to the call mode. To be performed.

즉, 제어부(30)는 입력된 광량이 기준광량 이하이고, 영상처리부(20)의 비교결과 입력된 이미지 데이터와, 기준영상 데이터가 기준값 이상으로 일치하는 경우, 스피커폰 모드로 자동 전환하여 통화가 연결되도록 한다. That is, when the amount of light input is equal to or less than the reference light amount and the image data inputted as a result of the comparison by the image processor 20 and the reference image data match or exceed the reference value, the controller 30 automatically switches to the speakerphone mode to connect the call. Be sure to

여기서, 제어부(30)는 통화모드가 자동으로 설정된 경우에는 대기시간 경과후, 설정된 통화모드로 통화가 연결되도록 하고, 수동으로 설정된 경우에는 입력부(50)의 '통화'버튼이 입력된 이후, 설정된 통화모드로 통화가 연결되도록 한다. Here, if the call mode is automatically set, after the waiting time has elapsed, the control unit 30 connects the call to the set call mode. If the call mode is set manually, the controller 30 is set after the 'call' button is input. The call is connected in the call mode.

이때, 제어부(30)는 통화모드 전환이 수동으로 설정된 경우에는 '통화'버튼 입력 후, 카메라(10)를 구동시켜 입력되는 영상신호에 따라 통화모드를 판단 및 설정한다. At this time, when the call mode switching is set manually, the controller 30 determines the call mode according to the input video signal by driving the camera 10 after inputting the 'call' button.

도 2 는 본 발명에 따른 이동통신 단말기의 통화모드 전환 설정에 따른 실시예가 도시된 예시도이다. 2 is an exemplary view illustrating an embodiment according to a call mode switching setting of a mobile communication terminal according to the present invention.

도2에 도시된 바와 같이, 이동통신 단말기는 입력부(50)의 버튼 조작에 따라 통화중 스피커폰 모드 전환에 따른 설정데이터가 입력된다. 스피커폰 모드로 자동 전환 또는 수동 전환되도록 설정하고, 모드전환까지의 대기시간이 입력될 수 있다. As shown in FIG. 2, in the mobile communication terminal, setting data according to a speakerphone mode change during a call is input according to a button operation of the input unit 50. It may be set to automatically switch or manually switch to the speakerphone mode, and the waiting time until the mode switch may be input.

제어부(30)는 도2에 도시된 바와 같이, 표시부(60)를 통해 설정화면이 출력되도록 제어하고, 입력부(50)의 버튼 조작에 따라 입력되는 신호에 대응하여 통화중 일반통화모드 및 스피커폰모드가 자동 또는 수동으로 전환되도록 제어한다. 이때 대기시간은 자동으로 스피커폰 모드가 전환되는 경우, 모드가 전환되기 전 대기 시간이다.As shown in FIG. 2, the controller 30 controls the display screen to be output through the display unit 60, and responds to a signal input according to a button operation of the input unit 50. Control to switch automatically or manually. At this time, when the speakerphone mode is automatically switched, the waiting time is the waiting time before the mode is switched.

도 3 은 본 발명에 따른 이동통신 단말기의 화상통화에 따른 화면의 예가 도시된 예시도이다.3 is an exemplary view showing an example of a screen according to a video call of the mobile communication terminal according to the present invention.

도 3에 도시된 바와 같이, 제어부(30)는 통화중 스피커폰 모드로 수동 또는 자동으로 전환되는 경우, 모드전환에 따른 상태정보가 화면에 출력되도록 표시부(60)를 제어한다. As shown in FIG. 3, the controller 30 controls the display unit 60 to output the status information according to the mode change when the speaker phone mode is manually or automatically switched to the speakerphone mode during a call.

이때, 제어부(30)는 화상통화모드가 설정된 경우에는 카메라(10)를 구동하고, 카메라(10)를 통해 입력되는 영상신호가 영상처리부(20)에의해 변환되어 통신부(40)를 통해 통화 상대방에게 전송되도록 한다. 또한, 통신부(40)를 통해 수신되는 영상데이터가 영상처리부(20)를 통해 변환되어 표시부(60)를 통해 출력되도록 제어한다. In this case, when the video call mode is set, the control unit 30 drives the camera 10, and the video signal input through the camera 10 is converted by the image processing unit 20 to communicate with the other party through the communication unit 40. To be sent to. In addition, the image data received through the communication unit 40 is controlled to be converted through the image processing unit 20 and output through the display unit 60.

상기와 같이 구성된 본 발명의 동작을 살펴보면 다음과 같다. Looking at the operation of the present invention configured as described above are as follows.

도 4 는 본 발명에 따른 이동통신 단말기의 동작방법이 도시된 순서도이다.4 is a flowchart illustrating a method of operating a mobile communication terminal according to the present invention.

도4에 도시된 바와 같이, 이동통신 단말기는 입력부(50)의 버튼 조작에 대응하여 통화모드 설정모드가 표시부(60) 화면에 출력되고, 입력부(50)의 버튼 조작에 대응하여 통화모드의 전환설정이 입력된다(S100). 또한, 통화수신에 따른 대기시간이 입력될 수 있다. As shown in FIG. 4, the mobile communication terminal outputs a call mode setting mode on the display unit 60 in response to a button operation of the input unit 50, and switches the call mode in response to a button operation of the input unit 50. The setting is input (S100). In addition, a waiting time according to a call reception may be input.

통신부(40)를 통해 통화수신 신호가 인가되면(S110), 제어부(30)는 통화모드 전환설정을 확인하여 통화모드 전환설정이 '수동'또는 '자동' 여부를 판단한다(S120). 이때, 통화모드 전환설정이 '수동'으로 설정된 경우에는 통화수신에 따른 벨소리 또는 진동이 출력되고, '통화' 버튼이 입력되면(S130), 카메라(10)를 동작시킨다(S140).When a call reception signal is applied through the communication unit 40 (S110), the controller 30 checks the call mode switching setting and determines whether the call mode switching setting is 'manual' or 'automatic' (S120). In this case, when the call mode switching setting is set to 'manual', a ring tone or vibration is output according to the call reception, and when the 'call' button is input (S130), the camera 10 is operated (S140).

한편, 통화모드 전환설정이 '자동'으로 설정된 경우에는 별도의 '통화'버튼 입력 없이도, 기 설정된 대기시간 경과 후, 자동으로 카메라(10)를 구동시킨다(S140).On the other hand, when the call mode switching setting is set to 'auto', the camera 10 is automatically driven after the preset waiting time has elapsed even without a separate 'call' button input (S140).

영상처리부(20)는 제어부(30)의 제어신호에 따라 카메라(10)를 통해 영상신호를 입력받고(S150), 입력되는 영상신호를 분석하여, 영상신호에 대한 광량을 제어부(30)로 인가한다(S160). 또한, 영상처리부(20)는 카메라(10)를 통해 촬영된 이미지데이터를 메모리(70)에 저장된 기준영상 데이터와 비교하여 일치율을 판단한다. 예를 들어 영상처리부(20)는 카메라(10)를 통해 촬영된 이미지데이터가 기준영상 데이터와 80%이상 일치하는 경우, 결과를 제어부(30)로 인가한다. The image processor 20 receives an image signal through the camera 10 according to a control signal of the controller 30 (S150), analyzes the input image signal, and applies the light amount of the image signal to the controller 30. (S160). In addition, the image processor 20 compares the image data photographed by the camera 10 with the reference image data stored in the memory 70 to determine the matching rate. For example, the image processor 20 applies the result to the controller 30 when the image data photographed by the camera 10 matches 80% or more of the reference image data.

제어부(30)는 영상처리부(20)로부터 입력되는 광량과 촬영된 이미지데이터와 기준영상 데이터의 비교결과에 대응하여 통화모드를 일반통화모드 또는 스피커폰 모드 중 어느 하나로 설정한다.The controller 30 sets the call mode to either the general call mode or the speakerphone mode in response to a result of comparing the amount of light input from the image processor 20 with the photographed image data and the reference image data.

스피커폰 모드가 설정되면(S170), 제어부(30)는 스피커(SPK)를 동작시키고, 리시버(RCV)의 동작은 정지되도록 제어신호를 생성하여 오디오부(80)로 인가한다(S180). 오디오부(80)는 인가되는 제어신호에 따라 스피커(SPK)와 리시버(RCV)를 스위칭하여 통화중 음성신호가 스피커(SPK)를 통해 증폭되어 출력되도록 한다. When the speakerphone mode is set (S170), the controller 30 operates the speaker SPK and generates a control signal to stop the operation of the receiver RCV and applies it to the audio unit 80 (S180). The audio unit 80 switches the speaker SPK and the receiver RCV according to an applied control signal so that a voice signal during a call is amplified and output through the speaker SPK.

한편, 일반통화모드가 설정된 경우, 제어부(30)는 스피커(SPK)를 동작정지시키고, 리시버(RCV)가 동작되도록 제어신호를 생성하여 오디오부(80)로 인가한다 (S190). 오디오부(80)는 인가되는 제어신호에 따라 스피커(SPK)와 리시버(RCV)를 스위칭하여 통화중 음성신호가 리시버(RCV)를 통해 출력되도록 한다. On the other hand, when the general call mode is set, the controller 30 stops the operation of the speaker SPK, generates a control signal to operate the receiver (RCV), and applies it to the audio unit 80 (S190). The audio unit 80 switches the speaker SPK and the receiver RCV according to an applied control signal so that a voice signal during a call is output through the receiver RCV.

설정된 통화모드로 통화가 연결되어 통화가 수행된다(S200).The call is connected to the set call mode and the call is performed (S200).

여기서, 통화모드 판단방법을 설명하면 다음과 같다. Here, the call mode determination method will be described.

도 5 는 본 발명에 따른 이동통신 단말기의 모드 판단방법이 도시된 순서도이다. 5 is a flowchart illustrating a mode determination method of a mobile communication terminal according to the present invention.

도 5에 도시된 바와 같이, 카메라(10)를 통해 입력된 영상신호가 영상처리부(20)에 의해 분석되면(S210), 제어부(30)는 영상처리부(20)로부터 입력되는 광량과, 메모리(70)에 저장된 기준광량을 비교한다(S220). 이때, 입력된 영상신호의 광량이 기준광량 이하인 경우, 영상처리부(20)로부터 입력된 이미지데이터와 기준영상데이터의 비교결과에 따라 통화모드를 설정한다(S230).As shown in FIG. 5, when an image signal input through the camera 10 is analyzed by the image processor 20 (S210), the controller 30 controls the amount of light input from the image processor 20 and a memory ( The reference light quantity stored in 70 is compared (S220). At this time, when the light amount of the input video signal is less than the reference light amount, the call mode is set according to the comparison result of the image data input from the image processing unit 20 and the reference video data (S230).

여기서, 제어부(30)는 영상처리부(20)로부터 입력된 비교결과에 따라 입력된 이미지 데이터와 기준영상데이터의 일치율이 기준값 이상인 경우 스피커폰모드로 설정한다(S240). 한편, 입력된 광량이 기준광량 이상이거나, 입력된 이미지 데이터와 기준영상 데이터간의 일치율이 기준값 이하인 경우에는 일반통화모드로 설정한다. 즉, 기준광량과 기준영상 데이터는 사용자가 통화시 이동통신 단말기를 귀에 대는 경우에 측정되는 광량과, 촬영된 영상데이터이므로, 제어부(30)는 입력되는 영상신호의 광량과 이미지 데이터를 기준광량과 기준영상데이터와 비교함으로서, 사용자가 이동통신 단말기간의 위치를 판단하는 것이다. Here, the controller 30 sets the speaker phone mode when the matching ratio between the input image data and the reference image data is greater than or equal to the reference value according to the comparison result input from the image processor 20 (S240). On the other hand, when the input light amount is equal to or greater than the reference light amount, or when the coincidence ratio between the input image data and the reference image data is equal to or less than the reference value, the normal call mode is set. That is, since the reference light quantity and the reference image data are the light quantity measured when the user touches the mobile communication terminal at the time of the call and the captured image data, the controller 30 compares the light quantity and the image data of the input image signal with the reference light quantity. By comparing with the reference image data, the user determines the position between the mobile communication terminal.

제어부(30)는 통화모드가 설정되면, 설정된 통화모드에 따라 스피커(SPK) 및 리시버(RCV)를 제어하고, 통화 연결 후, 설정된 통화모드로 통화가 수행되도록 한다(S250). When the call mode is set, the controller 30 controls the speaker SPK and the receiver RCV according to the set call mode, and after the call is connected, the call is performed in the set call mode (S250).

이상과 같이 본 발명에 의한 이동통신 단말기 및 그 동작방법을 예시된 도면을 참조로 설명하였으나, 본 명세서에 개시된 실시예와 도면에 의해 본 발명은 한정되지 않고, 기술사상이 보호되는 범위 이내에서 응용될 수 있다. As described above, the mobile communication terminal and its operation method according to the present invention have been described with reference to the illustrated drawings. However, the present invention is not limited by the embodiments and drawings disclosed herein, and the application is within the scope of the technical idea. Can be.

상기와 같이 구성되는 본 발명에 따른 이동통신 단말기 및 그 동작방법은 통화모드 전환을 위한 별도의 입력 없이도, 카메라를 통해 입력되는 영상신호에 대응하여 일반통화모드 또는 스피커폰 모드로 통화가 이루어지도록 함으로서, 이동통신 단말기 조작 및 통화모드 설정이 용이하고 특히 사용자가 양손을 모두 사용하기 어려운 경우에 유용하게 사용될 수 있으며, 화상통화 시 그 활용도가 높아 사용자의 편의성이 크게 향상되는 효과가 있다. The mobile communication terminal and its operation method according to the present invention configured as described above by making a call in the general call mode or speakerphone mode corresponding to the video signal input through the camera, without a separate input for switching the call mode, It is easy to operate a mobile communication terminal and set a call mode, and it can be particularly useful when the user is difficult to use both hands, and there is an effect of greatly improving the convenience of the user due to the high utilization of the video call.

Claims (10)

카메라;camera; 상기 카메라로부터 입력되는 영상신호를 분석하여, 상기 영상신호에 따른 광량을 산출하고, 상기 영상신호에 따른 이미지 데이터를 기준영상데이터와 비교하는 영상처리부; 및An image processor which analyzes an image signal input from the camera, calculates an amount of light according to the image signal, and compares image data according to the image signal with reference image data; And 상기 영상처리부로부터 산출된 상기 광량을 기준광량과 비교하고, 상기 광량이 상기 기준광량 이하인 경우, When the light amount calculated from the image processor is compared with a reference light amount, and the light amount is equal to or less than the reference light amount, 상기 이미지 데이터와 상기 기준영상데이터의 일치율에 대응하여, 일반통화모드 및 스피커폰모드 중 어느 하나의 통화모드로 통화가 수행되도록 하는 제어부를 포함하는 것을 특징으로 하는 이동통신 단말기.And a controller configured to perform a call in any one of a general call mode and a speakerphone mode in response to a matching rate of the image data and the reference video data. 제 1 항에 있어서, The method of claim 1, 상기 통화모드 판단을 위한 기준데이터 인 상기 기준광량, 상기 기준영상데이터 및 데이터 일치율에 대한 기준값이 저장되는 메모리를 더 포함하는 것을 특징으로 하는 이동통신 단말기.And a memory for storing reference values for the reference light quantity, the reference image data, and a data matching rate, which are reference data for determining the call mode. 삭제delete 제 2 항에 있어서, The method of claim 2, 상기 제어부는 상기 입력된 광량이 상기 기준광량 이하이고, 상기 입력된 이미지 데이터와 기준영상 데이터의 일치율이 상기 기준값 이상인 경우, 통화모드를 스피커폰모드로 설정하는 것을 특징으로 하는 이동통신 단말기.And the control unit sets the call mode to the speakerphone mode when the input light amount is equal to or less than the reference light amount and the matching ratio between the input image data and the reference image data is equal to or greater than the reference value. 삭제delete 통화 수신 시, 카메라를 구동하는 단계;Driving a camera when a call is received; 상기 카메라를 통해 입력된 영상신호의 광량을 기준광량과 비교하여, 상기 광량이 상기 기준광량 이하이면, 상기 영상신호에 따른 이미지 데이터를 기준영상데이터와 비교하는 단계;Comparing the light amount of the image signal input through the camera with the reference light amount, and comparing the image data according to the video signal with the reference image data if the light amount is less than the reference light amount; 상기 이미지 데이터와 상기 기준영상데이터의 일치율에 대응하여 스피커폰 모드 및 일반통화모드 중 어느 하나의 통화모드를 설정하는 단계; 및Setting one call mode among a speakerphone mode and a general call mode in response to a matching ratio between the image data and the reference video data; And 상기 설정된 통화모드에 따라 스피커 및 리시버를 제어하여, 수신된 음성신호가 스피커 및 리시버 중 어느 하나를 통해 출력되도록 하여 통화가 수행되도록 하는 단계;를 포함하는 것을 특징으로 하는 이동통신 단말기의 동작방법.And controlling the speaker and the receiver according to the set call mode, so that the received voice signal is output through any one of the speaker and the receiver to perform a call. 제 6 항에 있어서, The method of claim 6, 상기 카메라 구동단계는 통화수신 시, 통화모드 전환 설정이 수동인 경우, 소정의 버튼 입력 후 상기 카메라가 구동되도록 하고, 통화모드 전환설정이 자동인 경우 설정된 대기시간 경과 후 자동으로 상기 카메라가 구동되는 것을 특징으로 하는 이동통신 단말기의 동작방법.In the camera driving step, when the call is received, if the call mode switching setting is manual, the camera is driven after a predetermined button input, and when the call mode switching setting is automatic, the camera is automatically driven after the set waiting time elapses. Method of operation of a mobile communication terminal, characterized in that. 제 6 항에 있어서, The method of claim 6, 상기 통화모드 설정단계는 입력된 영상신호에 따른 광량과, 기준광량을 비교하여, 입력된 광량이 기준광량 이하이고, 입력된 이미지 데이터와 기준영상 데이터간의 일치율이 기준값 이상인 경우, 통화모드를 스피커폰 모드로 설정하는 것을 특징으로 하는 이동통신 단말기의 동작방법.In the call mode setting step, when the light amount according to the input video signal and the reference light amount are compared and the input light amount is lower than the reference light amount, and the coincidence rate between the input image data and the reference image data is higher than the reference value, the call mode is the speakerphone mode. Operating method of a mobile communication terminal, characterized in that set to. 제 6 항에 있어서, The method of claim 6, 상기 통화모드 설정단계는 입력된 광량이 기준광량 이상, 및 이미지 데이터와 기준영상 데이터간의 일치율이 기준값 미만인 경우 중 적어도 어느 하나의 경우, 통화모드를 일반통화모드로 설정하는 것을 특징으로 하는 이동통신 단말기의 동작방법.The communication mode setting step may include setting a call mode to a general call mode when at least one of the input light quantity is greater than or equal to the reference light quantity and a match rate between the image data and the reference image data is less than the reference value. How to operate. 제 8항 또는 제 9항에 있어서, The method according to claim 8 or 9, 상기 기준광량 및 상기 기준영상 데이터는 이동통신 단말기가 사용자의 귀에 근접한 때 측정된 광량과, 촬영된 영상데이터인 것을 특징으로 하는 이동통신 단말기의 동작방법.And the reference light quantity and the reference image data are light quantity measured when the mobile communication terminal is close to the user's ear and photographed image data.
KR1020060119111A 2006-11-29 2006-11-29 Mobile communication terminal and its operating method KR100833106B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060119111A KR100833106B1 (en) 2006-11-29 2006-11-29 Mobile communication terminal and its operating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060119111A KR100833106B1 (en) 2006-11-29 2006-11-29 Mobile communication terminal and its operating method

Publications (1)

Publication Number Publication Date
KR100833106B1 true KR100833106B1 (en) 2008-05-28

Family

ID=39665475

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060119111A KR100833106B1 (en) 2006-11-29 2006-11-29 Mobile communication terminal and its operating method

Country Status (1)

Country Link
KR (1) KR100833106B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101392917B1 (en) 2007-07-24 2014-05-09 엘지전자 주식회사 Portable terminal and its image transfer and screen display method
US8725207B2 (en) 2010-10-25 2014-05-13 Samsung Electronics Co., Ltd. Method and apparatus for determining posture of mobile terminal
KR101848282B1 (en) * 2017-01-13 2018-05-28 백기옥 Mobile phone with call connection/end function
CN109088983A (en) * 2018-07-12 2018-12-25 奇酷互联网络科技（深圳）有限公司 Screen backlight adjusting method, device, readable storage medium storing program for executing and mobile terminal
US10298733B2 (en) 2015-11-12 2019-05-21 Samsung Electronics Co., Ltd. Method for executing function of electronic device using bio-signal and electronic device therefor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000037543A (en) * 1998-12-01 2000-07-05 구자홍 Apparatus for controlling automatic connection of video phone and method thereof
KR20010010527A (en) * 1999-07-21 2001-02-15 서평원 Method of Transformating Automatically Speaker Phone Mode in the Telephone

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000037543A (en) * 1998-12-01 2000-07-05 구자홍 Apparatus for controlling automatic connection of video phone and method thereof
KR20010010527A (en) * 1999-07-21 2001-02-15 서평원 Method of Transformating Automatically Speaker Phone Mode in the Telephone

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101392917B1 (en) 2007-07-24 2014-05-09 엘지전자 주식회사 Portable terminal and its image transfer and screen display method
US8725207B2 (en) 2010-10-25 2014-05-13 Samsung Electronics Co., Ltd. Method and apparatus for determining posture of mobile terminal
US10298733B2 (en) 2015-11-12 2019-05-21 Samsung Electronics Co., Ltd. Method for executing function of electronic device using bio-signal and electronic device therefor
KR101848282B1 (en) * 2017-01-13 2018-05-28 백기옥 Mobile phone with call connection/end function
CN109088983A (en) * 2018-07-12 2018-12-25 奇酷互联网络科技（深圳）有限公司 Screen backlight adjusting method, device, readable storage medium storing program for executing and mobile terminal

Similar Documents

Publication Publication Date Title
JP4685450B2 (en) Apparatus, system, method and mobile terminal for controlling acoustic source of mobile terminal
US6775361B1 (en) Recording/playback apparatus with telephone and its control method, video camera with telephone and its control method, image communication apparatus, and storage medium
JP2007221744A (en) Mobile device capable of regulating dynamically volume thereof and its related method
JPH07264280A (en) Cordless telephone set
CN101640720A (en) Mobile communication terminal and switching method of answer mode thereof
US8346236B2 (en) Method for switching call mode of a mobile device and related mobile device capable of switching call mode automatically
KR100833106B1 (en) Mobile communication terminal and its operating method
KR100678166B1 (en) Method setting up a output volume of audio signal to prevent acoustic shock and the mobile terminal therefor
JP2001054085A (en) Portable terminal device
JP2009004959A (en) Mobile terminal
CN114125616A (en) Low power consumption method and device of wireless earphone, wireless earphone and readable storage medium
US11388281B2 (en) Adaptive method and apparatus for intelligent terminal, and terminal
JPH10126466A (en) Portable telephone set
JP6372078B2 (en) Wireless device and control method thereof
KR100606092B1 (en) Method for preventing howling in wireless terminal
JP5324984B2 (en) Intercom system
CN111386693A (en) Adjusting system and method for automatically switching audio modes in call
KR100456738B1 (en) Method for improving transmission rate of data in mobile telephone
KR100242410B1 (en) Device and method for controlling volume in a telephone terminal
JPS62269452A (en) Reception sound quantity automatic regulation type telephone set
US20200098363A1 (en) Electronic device
JP4039368B2 (en) Intercom equipment
KR100688176B1 (en) Mobile communication terminal with external input/output and its operating method
JP2005244579A (en) Telephone
JP2010154005A (en) Hands-free intercom device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130424

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140424

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150424

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160422

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20170424

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee