KR100883467B1 - Mobile telephone supporting device and mobile telephone tracking face of caller and operating method thereof - Google Patents

Mobile telephone supporting device and mobile telephone tracking face of caller and operating method thereof Download PDF

Info

Publication number
KR100883467B1
KR100883467B1 KR1020070069429A KR20070069429A KR100883467B1 KR 100883467 B1 KR100883467 B1 KR 100883467B1 KR 1020070069429 A KR1020070069429 A KR 1020070069429A KR 20070069429 A KR20070069429 A KR 20070069429A KR 100883467 B1 KR100883467 B1 KR 100883467B1
Authority
KR
South Korea
Prior art keywords
mobile communication
communication terminal
face
caller
rotation signal
Prior art date
Application number
KR1020070069429A
Other languages
Korean (ko)
Other versions
KR20090006261A (en
Inventor
김창한
Original Assignee
(주)케이티에프테크놀로지스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)케이티에프테크놀로지스 filed Critical (주)케이티에프테크놀로지스
Priority to KR1020070069429A priority Critical patent/KR100883467B1/en
Publication of KR20090006261A publication Critical patent/KR20090006261A/en
Application granted granted Critical
Publication of KR100883467B1 publication Critical patent/KR100883467B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/02Constructional features of telephone sets
    • H04M1/04Supports for telephone transmitters or receivers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/50Telephonic communication in combination with video communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)

Abstract

이동통신단말기의 화상통화용 카메라에서 영상신호를 받아들이는 영상 입력 단계, 영상신호에서 통화자 얼굴의 적어도 일부를 필터링하는 영상 필터링 단계, 필터링된 통화자 얼굴의 적어도 일부의 이동 방향을 검출하는 얼굴 추적 단계, 검출된 이동방향에 따른 이동통신단말기의 화상통화용 카메라의 회전값을 연산하여 회전신호를 생성하는 회전신호 생성 단계 및 회전신호에 대응하여 이동통신단말기 거치대에서 상기 이동통신단말기의 방향을 제어하는 이동통신단말기 방향 제어 단계를 포함하여 이동통신단말기와 이동통신단말기 거치대의 동작방법을 구성한다. 따라서, 통화자의 얼굴을 자동으로 추적하여 화상통화를 가능하도록 구성가능함으로써 간편한 영상회의 용도 등으로 이동통신단말기를 이용가능하도록 할 수 있다.A video input step of receiving a video signal from a video call camera of a mobile communication terminal, a video filtering step of filtering at least a part of a caller's face from the video signal, and a face tracking detecting a moving direction of at least a part of the filtered caller's face A rotation signal generation step of generating a rotation signal by calculating a rotation value of the video call camera of the mobile communication terminal according to the detected movement direction and controlling the direction of the mobile communication terminal in the holder of the mobile communication terminal in response to the rotation signal. Including the direction control step of the mobile communication terminal to configure the operation method of the mobile communication terminal and the mobile terminal holder. Accordingly, the mobile communication terminal can be used for easy video conferencing by configuring the video call by automatically tracking the caller's face.

이동통신단말기, 거치대, 화상통화, 얼굴추적 Mobile terminal, cradle, video call, face tracking

Description

통화자 얼굴 추적 이동통신단말기 거치대 및 이동통신단말기{MOBILE TELEPHONE SUPPORTING DEVICE AND MOBILE TELEPHONE TRACKING FACE OF CALLER AND OPERATING METHOD THEREOF}Caller Face Tracking Mobile Terminal Cradle and Mobile Terminal {MOBILE TELEPHONE SUPPORTING DEVICE AND MOBILE TELEPHONE TRACKING FACE OF CALLER AND OPERATING METHOD THEREOF}

본 발명은 이동통신단말기 거치대 및 이동통신단말기에 관한 것으로, 더욱 상세하게는 화상통화중에 통화자의 얼굴을 자동으로 추적하여 이동통신단말기의 카메라 방향을 제어할 수 있도록 구성된 이동통신단말기 거치대 및 이동통신단말기에 관한 것이다.The present invention relates to a mobile communication terminal holder and a mobile communication terminal, and more particularly, a mobile communication terminal holder and a mobile communication terminal configured to automatically track the caller's face during a video call to control the camera direction of the mobile communication terminal. It is about.

이동통신단말기의 급격한 확산은 다양한 사용자의 요구를 적절히 파악하고 파악된 요구를 명확히 반영한 제품화에 힘입은 바가 크다. 특히, 최근의 경향은 이동통신 대역폭의 증대에 따라 대량의 멀티미디어 데이터를 통화자간에 전송할 수 있는 새로운 통신방식의 도입으로 종래의 음성통화 위주의 이동통신 사용 유형을 급격히 변화시키고 있다. The rapid proliferation of mobile communication terminals is largely due to the fact that various users' needs are properly grasped and the products are clearly reflected. In particular, the recent trend is rapidly changing the conventional voice call usage type of mobile communication with the introduction of a new communication method capable of transmitting a large amount of multimedia data between the callers as the mobile communication bandwidth increases.

예컨대, 3세대 통신(3G)의 범주에 속하는 WCDMA(wideband code division multiple access) 기술에 의한 영상통화 기능이 그것이다. 3세대 통신은 2GHz대의 주파수를 사용하며, 전송속도가 128Kbps에서 2Mbps에 달한다. 이동통신단말기 사용 자가 정지하거나 걷는 정도로 움직일 때는 최고 384Kbps, 달리는 자동차 안에서는 128Kbps, 고정 또는 장착된 경우 2Mbps의 속도를 낼 수 있다. 이것은 동영상을 주고받을 수 있는 속도이므로 2세대 이동통신과는 이용형태에 있어서 근본적인 차이를 가져올 수 있다. 즉, 뮤직비디오나 인터넷방송,만화,뉴스 등 다양한 동영상 콘텐츠의 주문형 비디오(VOD) 서비스뿐만 아니라 상대방의 모습을 확인하면서 통화를 하는 영상통화를 실시간으로 이용할 수 있다. For example, the video call function by the wideband code division multiple access (WCDMA) technology, which belongs to the category of 3G communication (3G). Third generation communication uses frequencies of 2GHz and transfer speeds of up to 2Mbps at 128Kbps. It can reach speeds of up to 384 Kbps when a mobile terminal user stops or moves enough to walk, 128 Kbps in a running car, or 2 Mbps when fixed or mounted. This is the speed at which video can be sent and received, which can bring a fundamental difference in the form of use from the 2nd generation mobile communication. That is, not only the video-on-demand (VOD) service of various video contents such as music video, internet broadcasting, comics, news, etc. but also the video call to make a call while checking the appearance of the other party can be used in real time.

이러한 영상통화 기능을 포함하는 이동통신단말기의 기능확대는 이동통신단말기의 사용 영역에 큰 변화를 가져다 줄 수 있다. 예컨대, 고가의 영상회의장치등을 대신하여 간이적으로 영상회의를 가능하게 해줄 수 있다.Expanding the function of the mobile communication terminal including the video call function can bring a big change in the use area of the mobile communication terminal. For example, it is possible to simplify video conferencing in place of expensive video conferencing devices.

전용의 영상회의장치등은 대화면, 동시에 많은 사용자 지원, 광케이블등을 통한 광대역의 통신을 지원하는 등의 장점이 있기는 하나, 이를 위해서 고가의 인프라를 구비하여야 하며, 장비 자체의 규모 또한 커지게 되는 문제점이 있다. 반면에, 영상통화를 지원하는 이동통신단말기를 영상회의 등에 이용하게 될 경우에는 간편한 구성으로 영상회의 등의 목적으로 활용 가능하다. 그러나, 일반적인 영상통화 지원 이동통신단말기는 통화자가 손에 쥐고 통화를 하는 방식으로 동작하게 되므로, 장시간 사용시에는 화면의 흔들림이나 사용상의 불편을 줄 수 있다.Dedicated video conferencing device has advantages such as large screen, support for many users at the same time, support of broadband communication through optical cable, etc., but for this purpose, expensive infrastructure must be provided and the size of the equipment itself is also increased. There is a problem. On the other hand, when a mobile communication terminal supporting a video call is used for a video conference or the like, it can be utilized for the purpose of a video conference with a simple configuration. However, since a general video call supporting mobile communication terminal operates in a manner in which a caller holds a hand in a call, it may cause a shake of the screen or inconvenience in using it for a long time.

이를 해결하기 위해서 한국등록특허 제413267호(‘얼굴의 특정부위 인식을 이용한 카메라의 자동추적장치를 구비하는 이동통신 단말기’) 및 한국공개특허 제2006-0083762호(‘카메라 피사체 자동 추적 시스템과, 이를 탑재한 이동통신단말기 및 카메라 피사체 자동 추적 방법’) 등에서는 통화자의 얼굴을 자동으로 추적 하여 이동통신단말기에 장착된 카메라 방향을 모터 구동부로 제어하도록 된 구성을 개시하고 있다.In order to solve this problem, Korean Patent No. 413267 ('Mobile communication terminal having an automatic tracking device of a camera using recognition of a specific part of the face') and Korean Patent Publication No. 2006-0083762 ('Automatic tracking of the camera subject, The mobile communication terminal equipped with the same and a method for automatically tracking the camera subject ') disclose a configuration in which the face of the caller is automatically tracked to control the camera direction mounted on the mobile communication terminal by the motor driver.

하지만, 소형화된 이동통신단말기 내부에서 화상통화용 카메라를 구동시킨다는 것은 구동의 자유도에 제약을 가져온다. 예를 들면, 통화자의 얼굴 움직임을 추적한다할지라도 이동통신단말기 내부에서 화상통화용 카메라를 통화자의 얼굴을 추적하여 움직일 수 있는 각도에는 한계가 있을 수 있다. 또한, 이동통신단말기 내부에서 화상통화용 카메라를 통화자의 얼굴을 향하여 구동시킨다 하여도 이동통신단말기 자체의 흔들림을 막기는 어렵다. 실질적으로, 이동통신단말기의 흔들림은 화상통화 동영상의 화질 또한 크게 저하시킬 수 있는데, 급격한 화면의 변화로 인해 동영상 압축 효율이 떨어지게 되므로 통화자에게 보여지는 동영상의 화질을 크게 저해시킬 수 있다.However, driving a video call camera in a miniaturized mobile communication terminal has a limitation in driving freedom. For example, even if the caller's face movement is tracked, there may be a limit in the angle at which the video call camera can be tracked and moved within the mobile communication terminal. In addition, it is difficult to prevent shaking of the mobile communication terminal itself even if the video call camera is driven toward the caller's face inside the mobile communication terminal. Substantially, the shaking of the mobile communication terminal can greatly reduce the quality of the video call video, but the video compression efficiency is lowered due to the sudden change of the screen, which can greatly impair the quality of the video shown to the caller.

상기 문제점을 해결하기 위한 본 발명의 목적은 화상통화중에 통화자의 얼굴을 자동으로 추적하여 이동통신단말기의 카메라 방향을 제어할 수 있도록 구성된 이동통신단말기 거치대와 이동통신단말기의 동작방법을 제공하는 것이다.An object of the present invention for solving the above problems is to provide a mobile communication terminal holder and a method of operating the mobile communication terminal configured to automatically track the caller's face during the video call to control the camera direction of the mobile communication terminal.

상기 문제점을 해결하기 위한 본 발명의 다른 목적은 화상통화중에 통화자의 얼굴을 자동으로 추적하여 이동통신단말기의 카메라 방향을 제어할 수 있도록 구성된 이동통신단말기 거치대와 이동통신단말기를 제공하는 것이다.Another object of the present invention for solving the above problems is to provide a mobile communication terminal holder and a mobile communication terminal configured to automatically track the caller's face during a video call to control the camera direction of the mobile communication terminal.

상술한 본 발명의 목적을 해결하기 위해 본 발명은 이동통신단말기의 화상통화용 카메라에서 영상신호를 받아들이는 영상 입력 단계, 상기 영상신호에서 통화자 얼굴의 적어도 일부를 필터링하는 영상 필터링 단계, 상기 필터링된 통화자 얼굴의 적어도 일부의 이동 방향을 검출하는 얼굴 추적 단계, 상기 검출된 이동방향에 따른 상기 이동통신단말기의 화상통화용 카메라의 회전값을 연산하여 회전신호를 생성하는 회전신호 생성 단계 및 상기 회전신호에 대응하여 이동통신단말기 거치대에서 상기 이동통신단말기의 방향을 제어하는 이동통신단말기 방향 제어 단계를 포함하여 구성된 것을 특징으로 하는 이동통신단말기 거치대 및 이동통신단말기의 동작방법을 제공한다. In order to solve the above object of the present invention, the present invention provides an image input step of receiving a video signal from a video call camera of a mobile communication terminal, an image filtering step of filtering at least a part of a caller's face from the video signal, and the filtering. A face tracking step of detecting a movement direction of at least a part of the caller's face, a rotation signal generation step of generating a rotation signal by calculating a rotation value of the video call camera of the mobile communication terminal according to the detected movement direction; It provides a method for operating a mobile terminal and the mobile communication terminal, characterized in that it comprises a mobile communication terminal direction control step of controlling the direction of the mobile communication terminal in the mobile communication terminal cradle in response to the rotation signal.

여기에서, 상기 영상 필터링 단계에서 필터링되는 상기 통화자 얼굴의 적어도 일부는 상기 통화자 얼굴의 눈, 코, 귀 및 입 중 적어도 어느 하나를 포함할 수 있다.Here, at least a part of the caller's face filtered in the image filtering step may include at least one of eyes, nose, ears, and mouth of the caller's face.

여기에서, 상기 얼굴 추적 단계에서 상기 이동 방향의 검출은 상기 필터링된 통화자 얼굴의 적어도 일부의 이동을 순차적인 프레임간의 비교를 통하여 움직임 벡터로서 산출해낼 수 있다. 또한, 상기 회전신호 생성 단계에서 생성되는 상기 회전신호는 상기 움직임 벡터를 토대로 상기 이동통신단말기의 방향을 제어하기 위한 각속도 및 각벡터값을 포함하여 구성될 수 있다.Here, the detection of the movement direction in the face tracking step may calculate the movement of at least a part of the filtered caller's face as a motion vector through sequential interframe comparison. The rotation signal generated in the rotation signal generating step may include an angular velocity and an angular vector value for controlling the direction of the mobile communication terminal based on the motion vector.

상술한 본 발명의 다른 목적을 해결하기 위해 본 발명은 이동통신단말기와 이동통신단말기 거치대의 구성을 제공한다.The present invention to solve the other object of the present invention provides a configuration of the mobile communication terminal and the mobile terminal holder.

여기에서, 이동통신단말기는 화상을 캡쳐하여 영상신호를 출력하는 화상통화용 카메라, 상기 영상신호에서 통화자 얼굴의 적어도 일부를 필터링하는 영상 필터링부, 상기 필터링된 통화자 얼굴의 적어도 일부의 이동방향을 검출하는 얼굴 추적부, 상기 이동방향에 따른 상기 화상통화용 카메라의 회전값을 연산하여 회전신호로서 출력하는 회전신호 생성부 및 상기 회전신호를 외부로 출력하는 회전신호 출력부를 포함하여 구성될 수 있다. 이 때, 이동통신단말기 거치대는 상기 이동통신단말기를 거치시킬 수 있는 이동통신단말기의 거치대로서, 상기 이동통신단말기의 회전신호 출력부로부터 상기 이동통신단말기의 방향을 제어하기 위한 회전신호를 입력받는 회전신호 입력부 및 상기 회전신호에 대응하여 상기 이동통신단말기의 방향을 제어하는 이동통신단말기 구동부를 구비하여 구성될 수 있다.Here, the mobile communication terminal is a video call camera for capturing an image and outputting a video signal, an image filtering unit for filtering at least a portion of the caller's face in the video signal, the movement direction of at least a portion of the filtered caller's face It may include a face tracking unit for detecting a, a rotation signal generation unit for calculating a rotation value of the video call camera according to the moving direction and outputs it as a rotation signal and a rotation signal output unit for outputting the rotation signal to the outside. have. In this case, the mobile communication terminal holder is a holder of a mobile communication terminal capable of mounting the mobile communication terminal, and receives a rotation signal for controlling the direction of the mobile communication terminal from the rotation signal output of the mobile communication terminal. It may be configured to include a signal input unit and a mobile communication terminal driver for controlling the direction of the mobile communication terminal in response to the rotation signal.

또한, 이동통신단말기는 화상을 캡쳐하여 영상신호를 출력하는 화상통화용 카메라 및 상기 영상신호를 외부로 출력하는 영상신호 출력부를 포함하여 구성될 수도 있다. 이 때, 이동통신단말기 거치대는 상기 이동통신단말기의 영상신호 출력부로부터 영상신호를 입력받는 영상신호 입력부, 상기 영상신호에서 통화자 얼굴의 적어도 일부를 필터링하는 영상 필터링부, 상기 필터링된 통화자 얼굴의 적어도 일부의 이동방향을 검출하는 얼굴 추적부, 상기 이동방향에 따른 상기 화상통화용 카메라의 회전값을 연산하여 회전신호로서 출력하는 회전신호 생성부 및 상기 회전신호에 대응하여 상기 이동통신단말기의 방향을 제어하는 이동통신단말기 구동부를 포함하여 구성될 수 있다.The mobile communication terminal may include a video call camera for capturing an image and outputting a video signal, and a video signal output unit for outputting the video signal to the outside. At this time, the mobile communication terminal holder is a video signal input unit for receiving a video signal from the video signal output unit of the mobile communication terminal, an image filtering unit for filtering at least a part of the caller's face in the video signal, the filtered caller face A face tracking unit for detecting a movement direction of at least a portion of the mobile communication terminal; a rotation signal generator for calculating and outputting a rotation value of the video call camera according to the movement direction as a rotation signal; It may be configured to include a mobile communication terminal driver for controlling the direction.

여기에서, 상기 영상 필터링부에서 필터링되는 상기 통화자 얼굴의 적어도 일부는 상기 통화자 얼굴의 눈, 코, 귀 및 입 중 적어도 어느 하나를 포함할 수 있다.Here, at least a part of the caller's face filtered by the image filtering unit may include at least one of eyes, nose, ears, and mouth of the caller's face.

여기에서, 상기 얼굴 추적부에서 상기 이동 방향의 검출은 상기 필터링된 통화자 얼굴의 적어도 일부의 이동을 순차적인 프레임간의 비교를 통하여 움직임 벡터로서 산출해내도록 구성될 수 있다.Here, the detection of the movement direction in the face tracker may be configured to calculate a movement of at least a part of the filtered caller's face as a motion vector through sequential interframe comparison.

여기에서, 상기 회전신호 생성부에서 생성되는 상기 회전신호는 상기 움직임 벡터를 토대로 상기 이동통신단말기의 방향을 제어하기 위한 각속도 및 각벡터값을 포함하여 구성될 수 있다.Here, the rotation signal generated by the rotation signal generator may include an angular velocity and an angular vector value for controlling the direction of the mobile communication terminal based on the motion vector.

상기와 같은 이동통신단말기 거치대와 이동통신단말기의 동작방법을 이용하면, 이동통신단말기가 통화자의 얼굴을 자동으로 추적하여 화상통화를 가능하도록 구성가능함으로써 간편한 영상회의 용도로 화상통화 지원 이동통신단말기를 사용할 수 있도록 할 수 있다.Using the above method of operating the mobile communication terminal holder and the mobile communication terminal, the mobile communication terminal can be configured to automatically track the caller's face to enable the video call, so that the video call support mobile communication terminal can be used for easy video conferencing purposes. You can make it available.

또한, 단말기 거치대에 이동통신단말기가 통화자의 얼굴 방향을 향할 수 있도록 하는 구동부를 마련함으로써, 이동통신단말기를 손에 쥐고 장시간 화상통화를 할 경우의 이동통신단말기의 흔들림을 방지할 수 있다. 이동통신단말기의 흔들림으로 방지함으로써 동영상 압축 기술을 이용하는 화상통화시의 화질 저하를 방지할 수 있는 효과도 가져올 수 있다.In addition, by providing a driving unit for allowing the mobile communication terminal to face the face of the caller in the terminal holder, it is possible to prevent shaking of the mobile communication terminal when making a video call for a long time with the mobile communication terminal in hand. By preventing the shaking of the mobile communication terminal, it is also possible to bring about an effect of preventing the deterioration of the image quality during the video call using the video compression technology.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.As the present invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description.

그러나, 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.However, this is not intended to be limited to the specific embodiment of the present invention, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, it will be described in detail a preferred embodiment of the present invention. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.

본 발명의 이동통신단말기 거치대 및 이동통신단말기의 동작방법은 도 1 및 도 2를 통하여 설명될 수 있다. The operating method of the mobile communication terminal holder and the mobile communication terminal of the present invention can be described with reference to FIGS. 1 and 2.

도 1은 본 발명의 이동통신단말기 거치대 및 이동통신단말기의 동작방법을 설명하기 위한 순서도이다.1 is a flowchart illustrating a method of operating a mobile communication terminal holder and a mobile communication terminal of the present invention.

또한, 도 2는 본 발명의 이동통신단말기 거치대 및 이동통신단말기의 동작방 법을 설명하기 위한 개념도이다. In addition, Figure 2 is a conceptual diagram for explaining the operation method of the mobile communication terminal holder and the mobile communication terminal of the present invention.

도 1 및 도 2를 참조하면, 본 발명의 이동통신단말기(100) 및 이동통신단말기 거치대(200)의 동작방법은 영상 입력 단계(S100), 영상 필터링 단계(S110), 얼굴 추적 단계(S120), 회전신호 생성 단계(S130) 및 이동통신 단말기 방향 제어 단계(S140)를 포함하여 구성될 수 있다.1 and 2, the operation method of the mobile communication terminal 100 and the mobile terminal holder 200 of the present invention is an image input step (S100), image filtering step (S110), face tracking step (S120) It may be configured to include a rotation signal generation step (S130) and a mobile communication terminal direction control step (S140).

첫째로, 영상 입력 단계(S100)는 이동통신단말기(100)의 화상통화용 카메라(110)에서 영상신호를 받아들이는 단계이다. 일반적으로 화상통화를 지원하는 이동통신단말기의 경우는 기존의 고화소의 외부전경 촬영용 카메라와는 별도로 통화자의 화상을 촬영할 수 있는 화상통화용 저화소 카메라를 디스플레이가 장비된 측면에 배치하고 있다. 화상통화용 카메라(110)는 통화자의 영상을 촬영하여 영상신호를 생성하게 된다. First, the video input step (S100) is a step of receiving a video signal from the video call camera 110 of the mobile communication terminal 100. In general, in the case of a mobile communication terminal that supports a video call, a video call low-pixel camera capable of capturing a caller's image separately from a conventional high-pixel external foreground camera is disposed on a side equipped with a display. The video call camera 110 generates a video signal by capturing an image of the caller.

둘째로, 영상 필터링 단계(S110)는 상기 영상 입력 단계(S100)에서 생성된 영상신호에서 통화자 얼굴의 적어도 일부를 필터링하는 단계이다. 예컨대, 통화자의 얼굴중, 눈, 코, 귀 및 입에서 적어도 하나를 이용하여 영상신호에서 통화자 얼굴의 적어도 일부를 분리해낼 수 있다. 여기에서, 촬영된 영상신호에서 통화자 얼굴의 적어도 일부를 필터링하는 방법론으로는 다양한 방법론이 채택될 수 있으며 이러한 영상 필터링 방법론은 당업자에게 있어 공지 기술의 영역이므로 설명은 생략된다.Secondly, the image filtering step S110 is a step of filtering at least a part of the caller's face from the video signal generated in the video input step S100. For example, at least a part of the caller's face may be separated from the video signal using at least one of the caller's face, eyes, nose, ears, and mouth. Here, various methodologies may be adopted as a methodology for filtering at least a part of a caller's face in the captured video signal, and the description of the video filtering methodology is omitted since the video filtering methodology is well known to those skilled in the art.

셋째로, 얼굴 추적 단계(S120)는 상기 영상 필터링 단계(S110)에서 필터링된 통화자 얼굴의 적어도 일부의 이동 방향을 검출하는 단계이다.Third, the face tracking step (S120) is a step of detecting a moving direction of at least a part of the caller's face filtered in the image filtering step (S110).

여기에서, 통화자 얼굴의 적어도 일부의 이동방향을 검출해내는 방법론은 상기 영상 필터링 단계(S110)에서 영상신호로부터 통화자 얼굴의 적어도 일부를 필터링하는 것과 마찬가지로 다양한 방법론이 채택될 수 있다.Here, the methodology for detecting the movement direction of at least a part of the caller's face may be adopted in the same manner as the method for filtering at least a part of the caller's face from the video signal in the image filtering step (S110).

예컨대, 상기 영상 필터링 단계(S110)에서 통화자 얼굴의 적어도 일부를 필터링하였다면, 필터링된 통화자 얼굴의 적어도 일부가 동영상을 구성하는 순차적인 프레임들간의 비교를 통하여 이동방향을 산출할 수 있다. 즉, 현재의 프레임에서 분리된 통화자 얼굴의 적어도 일부의 기준점과 직전 프레임에서 분리된 통화자 얼굴의 적어도 일부의 기준점과 비교하여 프레임내에서 움직이는 방향을 움직임 벡터(motion vector)로서 산출해낼 수가 있다. For example, if at least a part of the caller's face is filtered in the image filtering step (S110), the moving direction may be calculated through comparison between sequential frames in which at least a part of the filtered caller's face constitutes a video. That is, the direction of movement in the frame can be calculated as a motion vector compared to at least some reference points of the caller face separated in the current frame and at least some reference points of the caller face separated in the previous frame. .

넷째로, 회전신호 생성 단계(S130)는 상기 얼굴 추적 단계(S120)에서 검출된 통화자 얼굴의 이동방향에 대응하여 이동통신단말기(100)의 회전값을 연산하고 회전신호를 생성하기 위한 단계이다.Fourthly, the rotation signal generation step S130 is a step for calculating a rotation value of the mobile communication terminal 100 and generating a rotation signal corresponding to the movement direction of the caller's face detected in the face tracking step S120. .

얼굴 추적 단계(S120)에서 생성된 움직임 벡터값으로부터 이동통신단말기(100)를 회전시키기 위한 각속도(angle velocity) 및 각벡터(angle vector)값이 연산될 수 있다. 이때, 이동통신단말기의 크기, 이동통신단말기내의 화상통화용 카메라의 위치, 이동통신단말기 거치대의 크기 등을 고려되어, 이동통신단말기의 화상통화용 카메라의 방향이 통화자 얼굴을 향할 수 있도록 회전값이 연산되어야 한다.An angle velocity and an angle vector value for rotating the mobile communication terminal 100 may be calculated from the motion vector value generated in the face tracking operation S120. At this time, considering the size of the mobile communication terminal, the position of the video call camera in the mobile communication terminal, the size of the cradle of the mobile communication terminal, the rotation value so that the direction of the video call camera of the mobile communication terminal can face the caller's face. Should be computed.

예컨대, 이동통신단말기 거치대(200)에 거치된 상태에서의 이동통신단말기(100)내 화상통화용 카메라(110)의 높이 및 구동축과의 관계를 감안하여 구동부 의 회전량에 따른 화상통화용 카메라의 회전량을 종합적으로 고려한 회전값이 연산되어야 하며, 이를 이용하여 회전신호가 생성되어야 한다. For example, in consideration of the relationship between the height of the video call camera 110 in the mobile communication terminal 100 and the driving shaft in the state of being mounted on the mobile communication terminal holder 200, The rotation value considering the amount of rotation should be calculated and the rotation signal should be generated using this.

다섯째로, 이동통신단말기 방향 제어 단계(S140)는 상기 회전신호에 대응하여 이동통신단말기 거치대(200)에서 상기 이동통신단말기(100)의 방향을 제어하는 단계이다. Fifth, the mobile communication terminal direction control step (S140) is a step of controlling the direction of the mobile communication terminal 100 in the mobile communication terminal cradle 200 in response to the rotation signal.

이동통신단말기 거치대(200)에는 이동통신단말기(100)가 탑재되어 이동통신단말기(100)를 좌우 회전(280) 또는 이동통신단말기(100)를 상하 방향(290)으로 기울이기 위한 구동장치가 탑재된다. 회전신호 생성단계(S130)에서 생성된 회전신호에는 구동장치를 제어하기 위한 각속도 및 각벡터 값이 포함되어 있으므로, 이동통신단말기 방향 제어 단계(S140)에서는 수신한 회전신호에 대응하여 이동통신단말기(100)의 방향을 제어할 수 있다.The mobile communication terminal cradle 200 is equipped with a mobile communication terminal 100, and a driving device for tilting the mobile communication terminal 100 left and right 280 or tilting the mobile communication terminal 100 in the vertical direction 290 is mounted. do. Since the rotation signal generated in the rotation signal generation step S130 includes an angular velocity and an angular vector value for controlling the driving device, the mobile communication terminal direction control step S140 corresponds to the received rotation signal in response to the received rotation signal. The direction of 100 may be controlled.

도 3a는 본 발명의 이동통신단말기의 제 1 실시예를 예시하는 블록도이다.3A is a block diagram illustrating a first embodiment of a mobile communication terminal of the present invention.

도 3a를 참조하면, 본 발명의 이동통신단말기(100-1)는 화상통화용 카메라(110), 영상 필터링부(120), 얼굴 추적부(130), 회전신호 생성부(140) 및 회전신호 출력부(150)를 포함하여 구성될 수 있다.Referring to FIG. 3A, the mobile communication terminal 100-1 of the present invention includes a video call camera 110, an image filtering unit 120, a face tracking unit 130, a rotation signal generator 140, and a rotation signal. It may be configured to include an output unit 150.

화상통화용 카메라(110)는 화상을 캡쳐하여 영상신호를 출력하기 위한 구성요소로서, 화상통화를 지원하는 이동통신단말기의 경우에는 통상적으로 구비하여야 하는 구성요소에 해당된다. 이때, 화상통화용 카메라로는 CCD(Charge-Coupled Device) 또는 CMOS(Complementary Metal-Oxide Semiconductor)식의 카메라 모듈이 포함되어 구성될 수 있음은 당업자에게 있어 자명할 것이다.The video call camera 110 is a component for capturing an image and outputting a video signal. In the case of a mobile communication terminal that supports a video call, the video call camera 110 is a component that should typically be provided. At this time, it will be apparent to those skilled in the art that the video call camera may include a camera module of a charge-coupled device (CCD) or a complementary metal-oxide semiconductor (CMOS) type.

영상 필터링부(120)는 화상통화용 카메라(110)로부터 입력된 상기 영상신호에서 통화자 얼굴의 적어도 일부를 필터링하기 위한 구성요소이다. 여기에서, 통화자 얼굴의 적어도 일부로는 통화자 얼굴의 눈, 코, 귀 및 입에서 적어도 하나를 포함할 수 있다. 전체 얼굴이 촬영된 영상신호로부터 눈, 코, 귀 및 입의 특징점을 파악하여 이들중 적어도 하나를 분리해낼 수 있는 알고리즘은 다양하게 구성될 수 있다.The image filtering unit 120 is a component for filtering at least a part of a caller's face from the video signal input from the video call camera 110. Here, at least a part of the caller's face may include at least one of eyes, nose, ears, and mouth of the caller's face. Various algorithms may be configured to grasp feature points of the eyes, nose, ears, and mouth from the image signal captured by the entire face and separate at least one of them.

한편, 영상 필터링부(120)는 프로그램 코드와 프로그램 코드를 실행시킬 수 있는 프로세서 유닛(예컨대, 이동통신단말기 내부에 구비된 메인 프로세서 유닛)에 의하여 구현될 수 있다. 또는, 영상 필터링부(120)는 영상 필터링을 전담하여 처리하는 별도의 하드웨어 구성의 일부로서 주문형 반도체(ASIC:Application Specific Integrated Circuit)의 일부로서 구현될 수도 있을 것이며, 이 경우는 상기 프로세서 유닛 및 프로그램 코드를 이용한 구성과 대비하여 이동통신단말기의 메인 프로세서 유닛의 처리 부담을 줄일 수 있을 것이다.The image filtering unit 120 may be implemented by a program unit and a processor unit capable of executing the program code (eg, a main processor unit provided in the mobile communication terminal). Alternatively, the image filtering unit 120 may be implemented as part of an application specific integrated circuit (ASIC) as part of a separate hardware configuration dedicated to processing image filtering, in this case, the processor unit and the program. In contrast to the configuration using the code, the processing burden of the main processor unit of the mobile communication terminal may be reduced.

얼굴 추적부(130)는 상기 영상 필터링부(120)로부터 필터링된 통화자 얼굴의 적어도 일부의 이동방향을 검출하기 위한 구성요소이다.The face tracking unit 130 is a component for detecting a moving direction of at least a part of the caller's face filtered from the image filtering unit 120.

상기 영상 필터링부(120)에서 통화자 얼굴의 적어도 일부(눈, 코, 귀 및 입)를 필터링하였다면, 이를 기준점으로 하여 동영상을 구성하는 순차적인 프레임내에서 이 기준점의 움직임을 파악할 수 있다.If the image filtering unit 120 filters at least a part (eye, nose, ear, and mouth) of the caller's face, the movement of the reference point may be identified within the sequential frames constituting the video using the reference point.

예컨대, 현재의 프레임과 이전 프레임간에 상기 기준점의 위치 이동을 프레임내에서의 움직임 벡터(motion vector)로서 산출해내도록 구성될 수 있다. 이때, 얼굴 추적부(130)는 상기 영상 필터링부(120)와 마찬가지로, 프로그램 코드 및 프로세서 유닛으로 구성될 수도 있으며, 하드웨어 구성의 일부로서 주문형 반도체의 일부로서 구현될 수도 있음은 당업자에게 있어 자명할 것이다. For example, the positional movement of the reference point between the current frame and the previous frame may be configured as a motion vector in the frame. In this case, like the image filtering unit 120, the face tracking unit 130 may be composed of a program code and a processor unit, and may be implemented as part of a custom semiconductor as part of a hardware configuration. will be.

회전신호 생성부(140)는 상기 얼굴 추적부(130)에서 출력된 상기 이동방향에 따른 상기 화상통화용 카메라(110)의 방향을 제어할 수 있는 회전값을 연산하여 회전신호로서 출력하기 위한 구성요소이다.The rotation signal generation unit 140 is configured to calculate a rotation value capable of controlling the direction of the video call camera 110 according to the moving direction output from the face tracking unit 130 and output as a rotation signal. Element.

상기 이동방향을 나타내기 위한 움직임 벡터값으로부터 이동통신단말기(100-1)를 회전시키기 위한 각속도 및 각벡터 값이 연산될 수 있다. 이때, 이동통신단말기의 크기, 이동통신단말기내의 화상통화용 카메라의 위치, 이동통신단말기 거치대의 크기 등을 고려되어, 이동통신단말기의 화상통화용 카메라의 방향이 통화자 얼굴을 향할 수 있도록 회전값이 연산되어야 한다. 예컨대, 거치대에 거치된 상태에서의 이동통신단말기내 화상통화용 카메라의 높이 및 구동축과의 관계를 감안하여 구동부의 회전량에 따른 화상통화용 카메라의 회전량을 종합적으로 고려한 회전값이 연산되어야 하며, 이를 이용하여 회전신호가 생성되어야 한다. 이때, 회전신호 생성부(140) 역시 상기 영상 필터링부(120) 및 얼굴 추적부(130)와 마찬가지로, 프로그램 코드 및 프로세서 유닛으로 구성될 수도 있으며, 하드웨어 구성의 일부로서 주문형 반도체의 일부로서 구현될 수도 있음은 당업자에게 있어 자명할 것이다. An angular velocity and an angular vector value for rotating the mobile communication terminal 100-1 may be calculated from the motion vector value indicating the moving direction. At this time, considering the size of the mobile communication terminal, the position of the video call camera in the mobile communication terminal, the size of the cradle of the mobile communication terminal, the rotation value so that the direction of the video call camera of the mobile communication terminal can face the caller's face. Should be computed. For example, in consideration of the relationship between the height of the video call camera in the mobile communication terminal and the driving shaft in the state of being mounted on the cradle, the rotation value considering the rotation amount of the video call camera according to the rotation amount of the driving unit should be calculated. The rotation signal should be generated using this. In this case, the rotation signal generator 140 may also be composed of a program code and a processor unit, similar to the image filtering unit 120 and the face tracking unit 130, and may be implemented as part of an on-demand semiconductor as part of a hardware configuration. It will be apparent to one skilled in the art.

회전신호 출력부(150)는 상기 회전신호 생성부(140)로부터 생성된 회전신호를 외부로 출력하기 위한 구성요소이다.The rotation signal output unit 150 is a component for outputting the rotation signal generated from the rotation signal generator 140 to the outside.

회전신호 생성부(140)가 생성한 회전신호는 회전신호 출력부(150)를 통하여 외부로 출력될 수 있으며, 회전신호 출력부(150)는 통상적인 커넥터를 통하여 구성될 수 있다. 예컨대, 이동통신단말기가 통상적으로 구비하는 커넥터일 예로서, 대한민국내의 이동통신단말기라면 TTA(Telecommnunication Technology Association) 24 핀 통합커넥터, 20 핀 통합커넥터, 이동통신단말기에 특화된 다 종의 커넥터를 이용하여 구성될 수 있으며, 상기 커넥터에 포함된 일부 핀들을 이용하여 회전신호를 외부로 출력할 수 있다. 한편, 회전신호출력부가 외부로 출력하는 회전신호는 일반적으로 도 3a에서 구성이 예시된 이동통신단말기가 거치되는 이동통신단말기 거치대로 입력된다. 이동통신단말기(100-1)에 대응되는 이동통신단말기 거치대(200-1)의 구성은 도 3b를 통하여 설명된다.The rotation signal generated by the rotation signal generator 140 may be output to the outside through the rotation signal output unit 150, and the rotation signal output unit 150 may be configured through a conventional connector. For example, as a connector typically provided by a mobile communication terminal, a mobile communication terminal in Korea may be configured by using a telecommnunication technology association (TTA) 24-pin integrated connector, a 20-pin integrated connector, and a variety of connectors specialized for a mobile communication terminal. The rotation signal may be output to the outside using some pins included in the connector. On the other hand, the rotation signal output to the outside of the rotation signal output unit is generally input to the mobile communication terminal cradle equipped with the mobile communication terminal illustrated in Figure 3a. The configuration of the mobile communication terminal holder 200-1 corresponding to the mobile communication terminal 100-1 is described with reference to FIG. 3B.

도 3b는 본 발명의 이동통신단말기 거치대의 제 1 실시예를 예시하는 블록도이다.3B is a block diagram illustrating a first embodiment of a mobile terminal holder of the present invention.

도 3b를 참조하면, 본 발명의 이동통신단말기 거치대(200-1)는 회전신호 입력부(210) 및 이동통신단말기 구동부(220)를 포함하여 구성될 수 있다.Referring to FIG. 3B, the mobile communication terminal holder 200-1 of the present invention may include a rotation signal input unit 210 and a mobile communication terminal driver 220.

회전신호 입력부(210)는 도 3a에 예시된 이동통신단말기(100-1)의 회전신호 출력부(150)로부터 상기 이동통신단말기(100-1)의 방향을 제어하기 위한 회전신호를 입력받는 구성요소이다. 따라서, 회전신호 출력부(150)가 외부로 회전신호를 출력하기 위하여 사용하는 인터페이스와 동일한 인터페이스가 사용되어야 한다.The rotation signal input unit 210 receives a rotation signal for controlling the direction of the mobile communication terminal 100-1 from the rotation signal output unit 150 of the mobile communication terminal 100-1 illustrated in FIG. 3A. Element. Therefore, the same interface as that used by the rotation signal output unit 150 to output the rotation signal to the outside should be used.

이동통신단말기 구동부(220)는 상기 회전신호 입력부(210)를 통하여 입력된 회전신호에 대응하여 상기 이동통신단말기(100-1)의 방향을 제어하는 구성요소이다.The mobile communication terminal driver 220 controls the direction of the mobile communication terminal 100-1 in response to the rotation signal input through the rotation signal input unit 210.

상기 회전신호가 이동통신단말기(100-1)의 방향을 제어하기 위한 각속도 및 각벡터를 포함하고 있다면, 상기 이동통신단말기 구동부(220)는 상기 회전신호를 받아들여서 상기 이동통신단말기 거치대(200-1)에 거치된 이동통신단말기(100-1)의 방향을 제어한다.If the rotation signal includes an angular velocity and an angular vector for controlling the direction of the mobile communication terminal 100-1, the mobile communication terminal driver 220 receives the rotation signal and supports the mobile communication terminal cradle 200-. 1) controls the direction of the mobile communication terminal (100-1) mounted on.

이를 위하여, 상기 이동통신단말기 구동부(220)는 펄스(pulse)를 통하여 제어되는 스텝모터(step motor) 또는 직류(DC: Direct Current) 모터 등을 포함하여 상기 이동통신단말기를 좌우방향 및 상하로 기울일 수 있는 동작을 구현할 수 있다.To this end, the mobile communication terminal driver 220 includes a step motor or a direct current (DC) motor controlled through a pulse to tilt the mobile communication terminal in left and right directions and up and down. Can implement the operation.

따라서, 회전신호가 포함하고 있는 각속도 및 각벡터 값들을 이용하여 상기 이동통신단말기 구동부(220)가 포함하고 있는 모터들을 제어할 수 있는 컨트롤러를 포함하여 구성될 수 있다.Therefore, the controller may be configured to control a motor included in the mobile communication terminal driver 220 by using the angular velocity and the angular vector values included in the rotation signal.

한편, 도 3a와 도 3b를 통하여 예시된 본 발명의 이동통신단말기(100-1)와 이동통신단말기 거치대(200-1)의 구성에서는 이동통신단말기(100-1)에 영상 필터링부(120), 얼굴 추적부(130) 및 회전신호 생성부(140)가 포함되어 구성된다. 하지만, 구성예에 따라서는 많은 연산처리량을 필요로 하는 상기 영상 필터링부(120), 얼굴 추적부(130) 및 회전신호 생성부(140)를 이동통신단말기 거치대(200-1)와 이동통신단말기(100-1)에 분산하여 구성할 수도 있다. Meanwhile, in the configurations of the mobile communication terminal 100-1 and the mobile terminal cradle 200-1 of the present invention illustrated through FIGS. 3A and 3B, the image filtering unit 120 is connected to the mobile communication terminal 100-1. The face tracking unit 130 and the rotation signal generator 140 are included. However, according to the configuration example, the image filtering unit 120, the face tracking unit 130, and the rotation signal generating unit 140 which require a large amount of computational processing are connected to the mobile communication terminal holder 200-1 and the mobile communication terminal. It may also be configured to be dispersed in (100-1).

도 4a 및 도 4b를 통하여 설명되는 본 발명의 이동통신단말기(100-2)와 이동통신단말기 거치대(200-2)의 제 2 실시예는 이동통신단말기(100-2)로부터 출력되는 영상신호를 이용하여, 상술한 영상 필터링부(120), 얼굴 추적부(130) 및 회전신호 생성부(140)에 대응되는 처리를 이동통신단말기 거치대(200-2)에서 처리하는 구성 을 예시한 것이다. 영상 필터링부(120), 얼굴 추적부(130) 및 회전신호 생성부(140)의 처리 연산량이 이동통신단말기내에 포함된 프로세서 유닛이 처리하기 어려울 정도인 경우에는 도 4a 및 도 4b의 구성이 보다 더 바람직할 수 있다. 그러나, 이동통신단말기와 이동통신단말기 거치대의 구성에 따라서는 더 다양하게 이동통신단말기와 이동통신단말기 거치대에 처리를 분산시킬 수 있다.A second embodiment of the mobile communication terminal 100-2 and the mobile communication terminal cradle 200-2 of the present invention described with reference to FIGS. 4A and 4B provides an image signal output from the mobile communication terminal 100-2. By using the above, the configuration of processing the processing corresponding to the above-described image filtering unit 120, face tracking unit 130 and the rotation signal generating unit 140 in the mobile communication terminal holder 200-2. When the processing amount of the image filtering unit 120, the face tracking unit 130, and the rotation signal generating unit 140 is difficult to process by the processor unit included in the mobile communication terminal, the configuration of FIGS. 4A and 4B may be better. More preferred. However, depending on the configuration of the mobile communication terminal and the mobile terminal holder, it is possible to distribute the processing to the mobile communication terminal and the mobile terminal holder in more various ways.

도 4a는 본 발명의 이동통신단말기의 제 2 실시예를 예시하는 블록도이다.4A is a block diagram illustrating a second embodiment of a mobile communication terminal of the present invention.

도 4a를 참조하면, 본 발명의 이동통신단말기(100-2)의 다른 구성은 화상통화용 카메라(110) 및 영상신호 출력부(160)를 포함하여 구성될 수 있다.Referring to FIG. 4A, another configuration of the mobile communication terminal 100-2 may include a video call camera 110 and an image signal output unit 160.

화상통화용 카메라(110)는 화상을 캡쳐하여 영상신호를 출력하기 위한 구성요소로서, 도 3a에서 예시한 본 발명의 이동통신단말기(100-1)의 화상통화용카메라(110)와 동일한 구성요소이다.The video call camera 110 is a component for capturing an image and outputting a video signal, the same as the video call camera 110 of the mobile communication terminal 100-1 of the present invention illustrated in FIG. 3A. to be.

영상신호 출력부(160)는 상기 화상통화용 카메라(110)로부터 출력되는 영상신호를 외부로 출력하기 위한 구성요소이다. 영상신호 출력부(160)는 상기 도 3a를 통하여 설명된 본 발명의 이동통신단말기(100-1)의 회전신호 출력부(150)와 유사하게 통상적인 커넥터를 통하여 구성될 수 있다. 예컨대, 이동통신단말기가 통상적으로 구비하는 커넥터(일 예로서, TTA 24 핀 통합커넥터, 20 핀 통합커넥터, 이동통신단말기에 특화된 다 종의 커넥터)를 이용하여 구성될 수 있으며, 상기 커넥터에 포함된 일부 핀들을 이용하여 영상신호를 외부로 출력할 수 있다. 다만, 회전신호 출력부(150)가 출력하는 회전신호와는 달리 영상신호 출력부(160)가 전달해야 하는 영상신호의 데이터 량은 비교할 수 없이 클 수 있으므로 영상신호 출력부(160)의 인터페이스는 회전신호 출력부(150)의 인터페이스에 비해 고속의 인터페이스가 선택되어야 할 것이다. 최근에는 이동통신단말기내에 별도의 TV-Out 출력 단자가 장비되는 경우가 있으므로 구성에 따라서는 이와 같은 TV-Out 출력단자를 영상신호 출력부(160)가 이용하도록 구성될 수도 있을 것이다.The video signal output unit 160 is a component for outputting the video signal output from the video call camera 110 to the outside. The video signal output unit 160 may be configured through a conventional connector similarly to the rotation signal output unit 150 of the mobile communication terminal 100-1 of the present invention described with reference to FIG. 3A. For example, the mobile communication terminal may be configured using a connector (for example, a TTA 24-pin integrated connector, a 20-pin integrated connector, and a variety of connectors specialized for a mobile communication terminal) that are typically provided by the mobile communication terminal. Some pins may be used to output the video signal to the outside. However, unlike the rotation signal output from the rotation signal output unit 150, the data amount of the video signal to be transmitted by the video signal output unit 160 may be incomparably large, so that the interface of the video signal output unit 160 Compared to the interface of the rotation signal output unit 150, a high speed interface should be selected. Recently, since a separate TV-Out output terminal may be equipped in the mobile communication terminal, the video signal output unit 160 may be configured to use such a TV-Out output terminal depending on the configuration.

도 4b는 본 발명의 이동통신단말기 거치대의 제 2 실시예를 예시하는 블록도이다.Figure 4b is a block diagram illustrating a second embodiment of the mobile terminal holder of the present invention.

도 4b를 참조하면, 본 발명의 이동통신단말기 거치대(200-2)의 다른 구성은 영상신호 입력부(230), 영상 필터링부(240), 얼굴 추적부(250), 회전신호 생성부(260) 및 이동통신단말기 구동부(270)를 포함하여 구성될 수 있다.Referring to FIG. 4B, another configuration of the mobile communication terminal holder 200-2 of the present invention includes an image signal input unit 230, an image filtering unit 240, a face tracking unit 250, and a rotation signal generation unit 260. And it may be configured to include a mobile communication terminal driver 270.

영상신호 입력부(230)는 상기 도 4a에 도시된 이동통신단말기(100-2)의 영상신호 출력부(160)에 대응되는 구성요소로서 상기 영상신호 출력부(160)에 출력하는 영상신호를 입력받는 구성요소이다. 영상신호 입력부(230)가 입력받은 영상신호는 영상 필터링부(240)에 입력된다. The video signal input unit 230 is a component corresponding to the video signal output unit 160 of the mobile communication terminal 100-2 shown in FIG. 4A, and inputs a video signal output to the video signal output unit 160. The receiving component. The image signal input by the image signal input unit 230 is input to the image filtering unit 240.

이하, 영상 필터링부(240), 얼굴 추적부(250) 및 회전신호 생성부(260)는 상기 도 3a에 도시된 이동통신단말기(100-1)에 상응하는 구성요소들, 영상 필터링부(120), 얼굴 추적부(130) 및 회전신호 생성부(140)와 동일한 역할을 수행하는 구성요소이다.Hereinafter, the image filtering unit 240, the face tracking unit 250, and the rotation signal generation unit 260 may correspond to components corresponding to the mobile communication terminal 100-1 shown in FIG. 3A and the image filtering unit 120. ), The face tracker 130 and the rotation signal generator 140 performs the same role as the component.

마찬가지로, 이동통신단말기 구동부(220)는 상기 도 3b에 도시된 이동통신단말기 거치대(200-1)의 이동통신단말기 구동부(220)와 동일한 구성요소로서 회전신호 생성부(260)에서 출력하는 회전신호에 응답하여 이동통신단말기(100-2)의 방향 을 제어하도록 구성될 수 있다.Similarly, the mobile communication terminal driver 220 has the same components as the mobile communication terminal driver 220 of the mobile communication terminal holder 200-1 shown in FIG. 3B, and the rotation signal output from the rotation signal generator 260. In response to the control may be configured to control the direction of the mobile communication terminal (100-2).

이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described with reference to the embodiments above, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the spirit and scope of the invention as set forth in the claims below. Could be.

도 1은 본 발명의 이동통신단말기 거치대 및 이동통신단말기의 동작방법을 설명하기 위한 순서도이다.1 is a flowchart illustrating a method of operating a mobile communication terminal holder and a mobile communication terminal of the present invention.

도 2는 본 발명의 이동통신단말기 거치대 및 이동통신단말기의 동작방법을 설명하기 위한 개념도이다. 2 is a conceptual diagram illustrating an operation method of a mobile communication terminal holder and a mobile communication terminal of the present invention.

도 3a는 본 발명의 이동통신단말기의 제 1 실시예를 예시하는 블록도이다.3A is a block diagram illustrating a first embodiment of a mobile communication terminal of the present invention.

도 3b는 본 발명의 이동통신단말기 거치대의 제 1 실시예를 예시하는 블록도이다.3B is a block diagram illustrating a first embodiment of a mobile terminal holder of the present invention.

도 4a는 본 발명의 이동통신단말기의 제 2 실시예를 예시하는 블록도이다.4A is a block diagram illustrating a second embodiment of a mobile communication terminal of the present invention.

도 4b는 본 발명의 이동통신단말기 거치대의 제 2 실시예를 예시하는 블록도이다.Figure 4b is a block diagram illustrating a second embodiment of the mobile terminal holder of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

100 : 이동통신단말기 110 : 화상통화용 카메라100: mobile communication terminal 110: video call camera

200 : 이동통신단말기 거치대 280 : 회전방향200: mobile communication terminal holder 280: direction of rotation

290 : 상하방향290: up and down direction

Claims (14)

이동통신단말기와 이동통신단말기 거치대로 구성된 화상통화 시스템에 있어서,In a video call system consisting of a mobile communication terminal and a mobile communication terminal holder, 상기 이동통신단말기에서, 상기 이동통신단말기에 구비된 화상통화용 카메라를 이용하여 영상신호를 받아들이는 영상 입력 단계;A video input step of receiving a video signal by using the video call camera provided in the mobile communication terminal in the mobile communication terminal; 상기 이동통신단말기에서, 상기 화상통화용 카메라로부터 입력된 영상신호에서 통화자 얼굴의 적어도 일부를 필터링하는 영상 필터링 단계;An image filtering step of filtering at least a part of a caller's face from an image signal input from the video call camera in the mobile communication terminal; 상기 이동통신단말기에서, 상기 필터링된 통화자 얼굴의 적어도 일부의 이동방향을 검출하는 얼굴 추적 단계;A face tracking step of detecting a moving direction of at least a part of the filtered caller's face in the mobile communication terminal; 상기 이동통신단말기에서, 상기 검출된 이동방향에 따른 상기 이동통신단말기의 화상통화용 카메라의 회전값을 연산하여 회전신호를 생성하고, 상기 회전신호를 상기 이동통신단말기 거치대로 출력하는, 회전신호 생성 단계; 및In the mobile communication terminal, a rotation signal is generated by calculating a rotation value of the video call camera of the mobile communication terminal according to the detected movement direction, and outputting the rotation signal to the holder of the mobile communication terminal. step; And 상기 이동통신단말기 거치대에서, 상기 회전신호에 대응하여 상기 이동통신단말기의 방향을 제어하는 이동통신단말기 방향 제어 단계를 포함하여 구성된 것을 특징으로 하는 화상통화 시스템 동작방법.And a mobile communication terminal direction control step of controlling the direction of the mobile communication terminal in response to the rotation signal in the mobile communication terminal holder. 제 1 항에 있어서,The method of claim 1, 상기 영상 필터링 단계에서 필터링되는 상기 통화자 얼굴의 적어도 일부는 상기 통화자 얼굴의 눈,코,귀 및 입 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 화상통화 시스템 동작방법.And at least a part of the caller's face to be filtered in the image filtering step includes at least one of eyes, nose, ears, and mouth of the caller's face. 제 1 항에 있어서,The method of claim 1, 상기 얼굴 추적 단계에서 상기 이동방향의 검출은 상기 필터링된 통화자 얼굴의 적어도 일부의 이동을 순차적인 프리임간의 비교를 통하여 움직임 벡터로서 산출해내는 것을 특징으로 하는 화상통화 시스템 동작방법.And detecting the movement direction in the face tracking step to calculate movement of at least a portion of the filtered caller's face as a motion vector through sequential pre-comparison. 제 3 항에 있어서,The method of claim 3, wherein 상기 회전신호 생성 단계에서 생성되는 상기 회전신호는 상기 움직임 벡터를 토대로 상기 이동통신단말기의 방향을 제어하기 위한 각속도 및 각 벡터값을 포함하여 구성되는 것을 특징으로 하는 화상통화 시스템 동작방법.And the rotation signal generated in the rotation signal generation step includes an angular velocity and each vector value for controlling the direction of the mobile communication terminal based on the motion vector. 화상을 캡쳐하여 영상신호를 출력하는 화상통화용 카메라;A video call camera for capturing an image and outputting a video signal; 상기 영상신호에서 통화자 얼굴의 적어도 일부를 필터링하는 영상 필터링부;An image filtering unit filtering at least a part of a caller's face in the video signal; 상기 필터링된 통화자 얼굴의 적어도 일부의 이동방향을 검출하는 얼굴 추적부;A face tracking unit detecting a moving direction of at least a part of the filtered caller's face; 상기 이동방향에 따른 상기 화상통화용 카메라의 회전값을 연산하여 회전신호로서 출력하는 회전신호 생성부; 및A rotation signal generator for calculating a rotation value of the video call camera according to the moving direction and outputting the rotation value as a rotation signal; And 상기 회전신호를 외부로 출력하는 회전신호 출력부를 포함한 것을 특징으로 하는 이동통신단말기.Mobile communication terminal comprising a rotation signal output unit for outputting the rotation signal to the outside. 제 5 항에 있어서,The method of claim 5, wherein 상기 영상 필터링부에서 필터링되는 상기 통화자 얼굴의 적어도 일부는 상기 통화자 얼굴의 눈, 코, 귀 및 입 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 이동통신단말기.At least a part of the caller's face filtered by the image filtering unit includes at least one of eyes, nose, ears, and mouth of the caller's face. 제 5 항에 있어서, The method of claim 5, wherein 상기 얼굴 추적부에서 상기 이동 방향의 검출은 상기 필터링된 통화자 얼굴의 적어도 일부의 이동을 순차적인 프레임간의 비교를 통하여 움직임 벡터로서 산출해내는 것을 특징으로 하는 이동통신단말기.The face tracking unit detects the movement direction and calculates movement of at least a part of the filtered caller's face as a motion vector through sequential interframe comparison. 제 7 항에 있어서, The method of claim 7, wherein 상기 회전신호 생성부에서 생성되는 상기 회전신호는 상기 움직임 벡터를 토대로 상기 이동통신단말기의 방향을 제어하기 위한 각속도 및 각벡터값을 포함하여 구성되는 것을 특징으로 하는 이동통신단말기.The rotation signal generated by the rotation signal generator comprises an angular velocity and an angular vector value for controlling the direction of the mobile communication terminal based on the motion vector. 제 5 항에 기재된 이동통신단말기를 거치시킬 수 있는 이동통신단말기의 거치대로서,A cradle of a mobile communication terminal capable of mounting the mobile communication terminal of claim 5, 상기 이동통신단말기의 회전신호 출력부로부터 상기 이동통신단말기의 방향을 제어하기 위한 회전신호를 입력받는 회전신호 입력부; 및A rotation signal input unit for receiving a rotation signal for controlling the direction of the mobile communication terminal from the rotation signal output unit of the mobile communication terminal; And 상기 회전신호에 대응하여 상기 이동통신단말기의 방향을 제어하는 이동통신 단말기 구동부를 구비한 것을 특징으로 하는 이동통신단말기 거치대. And a mobile communication terminal driver for controlling the direction of the mobile communication terminal in response to the rotation signal. 화상을 캡쳐하여 영상신호를 출력하는 화상통화용 카메라; 및A video call camera for capturing an image and outputting a video signal; And 상기 영상신호를 외부로 출력하는 영상신호 출력부를 포함한 것을 특징으로 하는 이동통신단말기.And a video signal output unit for outputting the video signal to the outside. 제 10 항에 기재된 이동통신단말기를 거치시킬 수 있는 이동통신단말기의 거치대로서,A cradle of a mobile communication terminal capable of mounting the mobile communication terminal of claim 10, 상기 이동통신단말기의 영상신호 출력부로부터 영상신호를 입력받는 영상신호 입력부;A video signal input unit for receiving a video signal from the video signal output unit of the mobile communication terminal; 상기 영상신호에서 통화자 얼굴의 적어도 일부를 필터링하는 영상 필터링부;An image filtering unit filtering at least a part of a caller's face in the video signal; 상기 필터링된 통화자 얼굴의 적어도 일부의 이동방향을 검출하는 얼굴 추적부;A face tracking unit detecting a moving direction of at least a part of the filtered caller's face; 상기 이동방향에 따른 상기 화상통화용 카메라의 회전값을 연산하여 회전신호로서 출력하는 회전신호 생성부; 및A rotation signal generator for calculating a rotation value of the video call camera according to the moving direction and outputting the rotation value as a rotation signal; And 상기 회전신호에 대응하여 상기 이동통신단말기의 방향을 제어하는 이동통신단말기 구동부를 포함한 것을 특징으로 하는 이동통신단말기 거치대.And a mobile communication terminal driver for controlling the direction of the mobile communication terminal in response to the rotation signal. 제 11 항에 있어서,The method of claim 11, 상기 영상 필터링부에서 필터링되는 상기 통화자 얼굴의 적어도 일부는 상기 통화자 얼굴의 눈, 코, 귀 및 입 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 이동통신단말기 거치대.At least a part of the caller's face filtered by the image filtering unit includes at least one of eyes, nose, ears, and mouth of the caller's face. 제 11 항에 있어서, The method of claim 11, 상기 얼굴 추적부에서 상기 이동 방향의 검출은 상기 필터링된 통화자 얼굴의 적어도 일부의 이동을 순차적인 프레임간의 비교를 통하여 움직임 벡터로서 산출해내는 것을 특징으로 하는 이동통신단말기 거치대.The face tracking unit detects the movement direction and calculates movement of at least a part of the filtered caller's face as a motion vector through sequential comparison between frames. 제 13 항에 있어서, The method of claim 13, 상기 회전신호 생성부에서 생성되는 상기 회전신호는 상기 움직임 벡터를 토대로 상기 이동통신단말기의 방향을 제어하기 위한 각속도 및 각벡터값을 포함하여 구성되는 것을 특징으로 하는 이동통신단말기 거치대.And the rotation signal generated by the rotation signal generator comprises an angular velocity and an angular vector value for controlling the direction of the mobile communication terminal based on the motion vector.
KR1020070069429A 2007-07-11 2007-07-11 Mobile telephone supporting device and mobile telephone tracking face of caller and operating method thereof KR100883467B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070069429A KR100883467B1 (en) 2007-07-11 2007-07-11 Mobile telephone supporting device and mobile telephone tracking face of caller and operating method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070069429A KR100883467B1 (en) 2007-07-11 2007-07-11 Mobile telephone supporting device and mobile telephone tracking face of caller and operating method thereof

Publications (2)

Publication Number Publication Date
KR20090006261A KR20090006261A (en) 2009-01-15
KR100883467B1 true KR100883467B1 (en) 2009-02-16

Family

ID=40487505

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070069429A KR100883467B1 (en) 2007-07-11 2007-07-11 Mobile telephone supporting device and mobile telephone tracking face of caller and operating method thereof

Country Status (1)

Country Link
KR (1) KR100883467B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102427469B1 (en) 2021-02-10 2022-07-29 한남대학교 산학협력단 Face-focusing smartphone holder

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101626828B1 (en) * 2013-12-26 2016-06-02 금오공과대학교 산학협력단 Smart Phone Holder for Movement Control
KR102238530B1 (en) * 2014-01-27 2021-04-09 엘지전자 주식회사 A mobile device, a cradle for mobile device, and a method of photographing using them
KR102546714B1 (en) * 2015-12-15 2023-06-23 삼성전자주식회사 Electronic Device and Cradle
KR102537543B1 (en) 2016-03-24 2023-05-26 삼성전자주식회사 Intelligent electronic device and operating method thereof
WO2022092746A1 (en) * 2020-10-29 2022-05-05 주식회사 원더풀플랫폼 Method for tracking face of subject displayed on display area of smart device
WO2022092745A1 (en) * 2020-10-29 2022-05-05 주식회사 원더풀플랫폼 Facial recognition-based face tracking method
KR102514203B1 (en) * 2021-01-06 2023-03-24 윤희준 Apparatus for exercising eyeball
WO2022244920A1 (en) * 2021-05-18 2022-11-24 주식회사 쓰리아이 Mobile terminal and control method for terminal holder
KR102506732B1 (en) * 2021-09-15 2023-03-06 김영건 Intelligent cradle for a device

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100413267B1 (en) 2001-11-14 2004-01-03 에스케이텔레텍주식회사 Mobile Communication Device including Camera-direction Automatic Control Apparatus using Recognition of Specific Part of Face
KR20060083762A (en) * 2005-01-18 2006-07-21 주식회사 팬택앤큐리텔 Automatic tracking system for a photographic subject, and mobile phone used it, and automatic tracking method for a photographic subject

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100413267B1 (en) 2001-11-14 2004-01-03 에스케이텔레텍주식회사 Mobile Communication Device including Camera-direction Automatic Control Apparatus using Recognition of Specific Part of Face
KR20060083762A (en) * 2005-01-18 2006-07-21 주식회사 팬택앤큐리텔 Automatic tracking system for a photographic subject, and mobile phone used it, and automatic tracking method for a photographic subject

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102427469B1 (en) 2021-02-10 2022-07-29 한남대학교 산학협력단 Face-focusing smartphone holder

Also Published As

Publication number Publication date
KR20090006261A (en) 2009-01-15

Similar Documents

Publication Publication Date Title
KR100883467B1 (en) Mobile telephone supporting device and mobile telephone tracking face of caller and operating method thereof
US9325905B2 (en) Generating a zoomed image
US7697024B2 (en) Method and system of tracking and stabilizing an image transmitted using video telephony
JP5718248B2 (en) System and method for autofocus assisted by automatic exposure control
EP2306706B1 (en) Mobile terminal having photographing control function and photographing control system
US20070177025A1 (en) Method and apparatus minimizing die area and module size for a dual-camera mobile device
EP1143694A2 (en) Image capture and processing accessory
WO2011071917A1 (en) Face detection as a metric to stabilize video during video chat session
JP5880210B2 (en) COMMUNICATION DEVICE, IMAGING DEVICE, IMAGING SYSTEM, AND PROGRAM
US8259157B2 (en) Teleconference terminal apparatus and image transmitting method
KR20180119157A (en) Motion Adaptive Stream Processing for Time Noise Reduction
EP4016987A1 (en) Photographing method and electronic device
JP6721084B2 (en) Zoom control device, zoom control method, and program
CN113726815B (en) Method for dynamically adjusting video, electronic equipment, chip system and storage medium
KR102058860B1 (en) Apparatus and mehod for processing a image in camera device
JP2007049375A (en) Image processor, camera, communication equipment, and program for realizing image processor
CN114285978A (en) Video processing method, video processing device and electronic equipment
KR101276874B1 (en) Mobile communication terminal having a camera and method of controlling the same
KR100697627B1 (en) Method and apparatus for photography using motion sensing
EP4258661A1 (en) Encoding/decoding method, electronic device, communication system, and storage medium
JP2010232828A (en) Image processing apparatus
WO2022004573A1 (en) Imaging device, imaging method, and imaging program
JP2001160958A (en) Photographed image data correction method for mobile video phone and system thereof
KR100683998B1 (en) Capture apparatus and method of digital image
JP4293358B2 (en) Mobile phone terminal with image communication function

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130201

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20140203

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150202

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180326

Year of fee payment: 10