KR20030039664A - Mobile Communication Device including Camera-direction Automatic Control Apparatus using Recognition of Specific Part of Face - Google Patents

Mobile Communication Device including Camera-direction Automatic Control Apparatus using Recognition of Specific Part of Face Download PDF

Info

Publication number
KR20030039664A
KR20030039664A KR1020010070676A KR20010070676A KR20030039664A KR 20030039664 A KR20030039664 A KR 20030039664A KR 1020010070676 A KR1020010070676 A KR 1020010070676A KR 20010070676 A KR20010070676 A KR 20010070676A KR 20030039664 A KR20030039664 A KR 20030039664A
Authority
KR
South Korea
Prior art keywords
camera
face
image
specific part
terminal
Prior art date
Application number
KR1020010070676A
Other languages
Korean (ko)
Other versions
KR100413267B1 (en
Inventor
손세정
Original Assignee
에스케이텔레텍주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레텍주식회사 filed Critical 에스케이텔레텍주식회사
Priority to KR10-2001-0070676A priority Critical patent/KR100413267B1/en
Publication of KR20030039664A publication Critical patent/KR20030039664A/en
Application granted granted Critical
Publication of KR100413267B1 publication Critical patent/KR100413267B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)

Abstract

PURPOSE: A mobile communication terminal having an automatic tracking device of a camera by using specific part recognition function on face is provided to recognize a specific part of a face from an image captured by the camera, and to calculate a central face position from position information of the specific part, then to automatically control a position of the camera, thereby preventing a user from manually controlling a camera direction. CONSTITUTION: A camera unit(310) is composed of a camera lens, a camera housing surrounding the lens and an image signal extractor, and is detachably mounted on a portion of a mobile communication terminal. The camera housing converts directions with a 2-directional degree of freedom. A camera driver receives an image captured by a camera, decides whether an image is the same as a reference image pre-stored in a terminal storage space, extracts position information of the image, calculates a central face position and position information of the image, and delivers a control signal to a camera direction driver(320) by generating the control signal, in order that a direction of the camera unit(310) goes toward a calculated central face. A terminal memory(340) stores basic images on a face and other setup information.

Description

얼굴의 특정부위 인식을 이용한 카메라의 자동 추적장치를 구비하는 이동통신 단말기 {Mobile Communication Device including Camera-direction Automatic Control Apparatus using Recognition of Specific Part of Face}Mobile communication device including camera-direction Automatic Control Apparatus using Recognition of Specific Part of Face}

본 발명은 얼굴의 특정부위 인식을 이용한 카메라 위치추적장치를 구비하는 이동통신 단말기, 더 상세하게는 이동통신 단말기의 카메라가 캡쳐한 영상으로부터 얼굴의 특정부위를 인식하고 그 특정부위의 위치를 기초로 카메라의 방향이 사용자의 얼굴을 자동추적할 수 있는 장치를 구비하는 이동통신 단말기에 관한 것이다.The present invention relates to a mobile communication terminal having a camera location tracking device using a specific location recognition of a face, and more particularly, to recognize a specific area of a face from an image captured by a camera of the mobile communication terminal and based on the location of the specific area. The direction of the camera relates to a mobile communication terminal having a device capable of automatically tracking a user's face.

최근 개발되는 셀룰러폰, PCS, cdma-2000, IMT-2000 등의 이동통신 단말기에서는, 화상촬영 및 전송, 실시간 화상통신 등을 구현하기 위한 부가장치로 카메라가 부착되어 있다. 이러한 카메라는 잭(jack)을 이용하여 착탈할 수 있는 방식에서부터, 단말기 본체내에 내장되어 있는 형식 등 다양하게 개발되어 있다.In a recently developed mobile communication terminal such as a cellular phone, PCS, cdma-2000, IMT-2000, a camera is attached as an additional device for implementing image capturing and transmission, real-time video communication. Such cameras have been developed in various ways, such as being detachable using a jack, a type built in the terminal body, and the like.

현재까지의 이동통신 단말기용 카메라는 그 방향이 고정되어 있거나, 사용자가 수동으로 방향을 상하로 변환하는 정도의 방향성을 가지고 있다. 따라서, 화상통신 또는 화상촬영은 카메라가 사용자 얼굴을 비추도록 단말기를 위치한 상태에서만 가능하다.The cameras for mobile communication terminals up to now have a direction that is fixed in the direction or the user manually converts the direction up and down. Therefore, video communication or image capturing is possible only when the terminal is positioned so that the camera illuminates the user's face.

그러나, 이동 또는 운전중에 통화하는 등의 특수한 경우에는 사용자의 얼굴이 움직일 가능성이 많으며, 이 경우 얼굴이 카메라 앵글내에 있도록 하기 위하여 얼굴이 이동할 때마다 카메라의 방향을 조정하여야 하므로 번거롭다.However, in a special case such as making a call while moving or driving, the user's face is likely to move, and in this case, it is cumbersome because the direction of the camera must be adjusted every time the face moves so that the face is within the camera angle.

따라서, 원활한 화상통신을 위하여 얼굴 위치를 추적하여 항상 카메라의 방향을 조정해주는 카메라 자동추적장치의 필요성이 대두되고 있다.Therefore, there is a need for a camera automatic tracking device that always adjusts the direction of the camera by tracking the face position for smooth video communication.

카메라의 얼굴 자동추적장치를 구현할 수 있는 종래 기술로, 인터넷등의 통신망에서 상대방 사용자가 카메라 방향을 원격에서 조정하는 원격제어방식등을 이용할 수 있으나, 인터넷망과 달리 전송채널용량이 크지 않은 이동통신망에서는 원격제어신호를 추가적으로 송수신하여야 하므로 통신속도의 저하를 가져올 수 있다는 단점이 있다.Conventional technology that can realize the automatic tracking device of the camera, it is possible to use a remote control method such that the other user remotely adjust the camera direction in the communication network, such as the Internet, but unlike the Internet network, a mobile communication network that does not have a large transmission channel capacity In this case, the remote control signal needs to be additionally transmitted and received, which may cause a decrease in communication speed.

본 발명은 이러한 점에 착안한 것으로, 카메라가 캡처한 영상으로부터 얼굴의 특정부위를 인식하고 그를 기초로 사용자 얼굴중심의 위치를 자동파악하고, 그 방향으로 카메라의 방향을 자동 구동하는 장치를 제공할 수 있다.SUMMARY OF THE INVENTION The present invention has been made in view of the above, and provides a device for recognizing a specific part of a face from an image captured by a camera, automatically determining the position of the center of the user's face based on the image, and automatically driving the direction of the camera in that direction. Can be.

본 발명의 목적은 카메라의 얼굴위치 자동추적장치를 구비하는 이동통신 단말기를 제공하는 것이다.An object of the present invention is to provide a mobile communication terminal having a device for automatically tracking the face position of the camera.

본 발명의 다른 목적은 카메라가 캡처한 영상으로부터 얼굴의 특정부위를 인식하고, 그 특정부위의 위치정보로부터 얼굴중심위치를 산출하며, 그에 따라 카메라의 위치를 자동으로 조정할 수 있는 장치를 구비한 이동통신 단말기를 제공하는 것이다.Another object of the present invention is to recognize a specific part of the face from the image captured by the camera, calculate the location of the center of the face from the location information of the specific part, and move with a device that can automatically adjust the position of the camera accordingly It is to provide a communication terminal.

도 1은 종래 방식에 의한 카메라를 구비한 이동통신 단말기를 도시한다.1 illustrates a mobile communication terminal having a camera according to the related art.

도 2는 본 발명에 의한 카메라 자동추적장치를 구비한 이동통신 단말기의 외부 구성을 도시한다.2 illustrates an external configuration of a mobile communication terminal having an automatic camera tracking device according to the present invention.

도 3는 본 발명에 의한 이동통신 단말기에 구비된 카메라 자동추적장치의 구성을 기능별 블록으로 도시한다.3 is a block diagram of a function of the automatic camera tracking device provided in the mobile communication terminal according to the present invention.

도 4는 본 발명에 의한 자동추적장치를 이용하여 카메라의 방향을 자동 제어하는 과정을 도시한다.Figure 4 shows a process for automatically controlling the direction of the camera using the automatic tracking device according to the present invention.

*도면의 주요부분에 대한 부호의 설명** Description of the symbols for the main parts of the drawings *

110 : 카메라부120 : 카메라방향 구동부110: camera unit 120: camera direction drive unit

130 : 제어부140 : 단말기 메모리130: control unit 140: terminal memory

전술한 바와 같은 목적을 달성하기 위한 본 발명에 의한 이동통신 단말기의 카메라 자동추적장치는 카메라부와, 카메라방향 구동부, 및 제어부로 이루어져 있으며, 상기 제어부는 소정 시간마다 카메라가 캡처한 영상으로부터 얼굴의 특정부위를 인식하고, 그 특정부위의 화면상 위치를 파악하며, 특정부위의 화면상 위치정보를 기초로 상기 카메라부가 얼굴중심방향으로 향하도록 하는 제어신호를 생성하여 상기 카메라방향 구동부로 송출한다.Camera automatic tracking device of the mobile communication terminal according to the present invention for achieving the above object is composed of a camera unit, a camera direction drive unit, and a control unit, the control unit of the face from the image captured by the camera every predetermined time Recognizing a specific portion, grasping the position on the screen of the specific portion, and generates a control signal for directing the camera portion in the face center direction based on the position information on the screen of the specific portion, and transmits it to the camera direction driver.

본 발명에서 이용될 수 있는 얼굴의 특정부위는 눈썹, 눈, 코, 입 등이 될 수 있으나, 인식률이 가장 높고 데이터 저장에 필요한 용량이 가장 적은 눈썹을 이용하는 것이 바람직하다.Specific parts of the face that can be used in the present invention may be eyebrows, eyes, noses, mouths, etc., but it is preferable to use eyebrows having the highest recognition rate and the smallest dose required for data storage.

제어부의 얼굴중심 위치 산출방법은, 특정 부위의 형상에 대한 이미지 정보를 단말기의 저장공간에 저장하는 단계와, 카메라부에 캡처된 영상에 상기 저장된 이미지정보와 일치하는 특정부위 이미지가 있는지 확인하는 단계와, 특정부위 이미지의 화면상의 위치정보를 추출하는 단계와, 미리 설정되어 있는 특정부위-얼굴중심 상대위치정보를 기초로 얼굴중심 위치를 산출하는 단계로 이루어진다.The method for calculating a face center position of a controller may include storing image information about a shape of a specific part in a storage space of a terminal, and checking whether an image captured by a camera unit has a specific part image that matches the stored image information. And extracting position information on the screen of the specific portion image and calculating a face center position on the basis of preset specific portion-face center relative position information.

이하에서는 첨부되는 도면을 참고로 본 발명의 실시예에 대하여 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail an embodiment of the present invention.

도 1은 종래 방식에 의한 카메라를 구비한 이동통신 단말기를 도시한다.1 illustrates a mobile communication terminal having a camera according to the related art.

본 도면에서의 카메라(10)는 착탈식으로, 카메라잭(11)을 단말기 본체(20)측면의 카메라잭 삽입구에 삽입함으로써 장착된다. 이 상태에서 카메라를 상하방향으로 회전시킬 수 있을 뿐이므로, 화상통신 또는 화상촬영을 위해서는 사용자가 항상 카메라 방향을 얼굴쪽으로 향하도록 조정하여야 한다.The camera 10 in this figure is detachably mounted by inserting the camera jack 11 into the camera jack insertion opening of the terminal main body 20 side. In this state, only the camera can be rotated in the up and down direction. Therefore, the user should always adjust the camera direction toward the face for video communication or image capturing.

도 2는 본 발명에 의한 이동통신 단말기의 외부 구성을 도시한다.2 illustrates an external configuration of a mobile communication terminal according to the present invention.

도시된 이동통신 단말기는 통상의 단말기와 같이 디스플레이부(210) 및 수화부(스피커; 220)를 구비하는 상폴더(200)와, 데이터 입력을 위한 키패드(230)와 송화부(마이크로폰; 240) 및 내부의 회로기판(미도시)을 구비하는 하폴더(250)로 이루어져 있으며, 상폴더의 디스플레이부 아래에 카메라부(310)가 내장되어 있다. 카메라부는 소정 각도만큼 2방향으로 자유롭게 방향을 전환할 수 있는 구조로 되어 있다.The illustrated mobile communication terminal includes an upper folder 200 having a display unit 210 and a receiver unit (speaker; 220), a keypad 230 and a transmitter unit (microphone; 240) for data input, and the like. It consists of a lower folder 250 having a circuit board (not shown) therein, the camera unit 310 is embedded under the display unit of the upper folder. The camera unit has a structure capable of freely changing directions in two directions by a predetermined angle.

카메라부(310)의 위치는 반드시 도시된 것에 한정되는 것은 아니며, 구조상 또는 제작편의상 다른 곳에 위치할 수도 있다. 또한, 카메라부 근처의 단말기 내부에는 카메라부의 렌즈방향을 제어하기 위한 카메라방향 구동부(미도시)가 구비되어 있다.The location of the camera unit 310 is not necessarily limited to that shown, and may be located elsewhere in structure or fabrication. In addition, a camera direction driving unit (not shown) for controlling the lens direction of the camera unit is provided inside the terminal near the camera unit.

도면에서는 폴더형 이동통신 단말기를 예로 들었으나, 이에 한정되는 것은 아니며, 방향전환을 할 수 있는 카메라 어셈블리와 제어부를 구비하고 있는 한 어떠한 형태의 단말기에도 적용될 수 있다.In the drawing, although the folder type mobile communication terminal is taken as an example, the present invention is not limited thereto and may be applied to any type of terminal as long as it has a camera assembly and a control unit that can change direction.

도 3은 본 발명에 의한 이동통신 단말기에 구비된 카메라 자동추적장치의 구성을 기능별 블록으로 도시한다.3 is a block diagram of a function of the automatic camera tracking device provided in the mobile communication terminal according to the present invention.

본 발명에 의한 카메라방향 자동 추적장치는 2방향 자유도를 가지는 카메라부(310)와, 카메라 구동부(320), 및 제어부(330)로 이루어져 있다. 또한, 특정부위에대한 기본 이미지와 기타 필요한 정보 및 소프트웨어를 저장하기 위한 단말기 메모리(340)를 추가로 구비한다.The automatic camera tracking apparatus according to the present invention includes a camera unit 310 having a two-way degree of freedom, a camera driver 320, and a controller 330. In addition, a terminal memory 340 for storing the basic image and other necessary information and software for the specific portion is further provided.

카메라부(310)는 카메라렌즈부와 렌즈부를 둘러싸는 카메라하우징부, CCD와 같은 영상신호추출부로 이루어져 있으며, 이러한 소형기기용 카메라는 웹카메라, 각종 감시카메라 등에 널리 이용되는 것 중 소형의 것을 이용하면 된다. 이러한 카메라부는 이동통신 단말기의 일부에 고정식 또는 착탈식으로 장착되며, 전술한 바와 같이 카메라 하우징은 2방향 자유도를 가지고 방향을 전환할 수 있다.The camera unit 310 includes a camera lens unit, a camera housing unit surrounding the lens unit, and an image signal extraction unit such as a CCD. The camera for such a small device uses a small one among those widely used in web cameras and various surveillance cameras. Just do it. The camera unit may be fixedly or detachably mounted to a part of the mobile communication terminal, and as described above, the camera housing may change direction with two degrees of freedom.

카메라 구동부(320)는 카메라 하우징부와 연결되어 있고, 통상의 웹카메라, 감시카메라에서 이용되는 팬/틸트(Pan/Tilt) 카메라 구동부를 이용하면 되며, 제어부의 제어신호에 따라 카메라부의 방향을 2방향(팬방향, 틸트방향)로 조절할 수 있도록 구성되어 있다.The camera driver 320 is connected to the camera housing part, and may be a pan / tilt camera driver used in a normal web camera or a surveillance camera. The camera driver 320 may change the direction of the camera part according to a control signal of the controller. It is configured to be adjustable in the direction (pan direction, tilt direction).

제어부(330)는 이동통신 단말기의 ROM 또는 RAM에 저장되어 있는 소프트웨어로 구현될 수 있는 것으로, 카메라가 캡처한 영상을 수신하는 기능과, 수신한 영상 중에서 단말기 저장공간에 미리 저장되어 있는 특정부위 기준이미지와 일치하는 이미지가 있는지 판별하는 기능, 해당 특정부위 이미지의 단말기 화면상 위치정보를 추출하는 기능, 상기 특정부위 이미지의 위치정보와 소정의 알고리즘을 이용하여 얼굴중심의 위치를 산출하는 기능, 카메라부의 방향이 산출된 얼굴중심으로 향하도록 하는 제어신호를 생성하여 카메라방향 구동부로 송출하는 기능을 구비하여야 한다.The controller 330 may be implemented by software stored in a ROM or RAM of a mobile communication terminal. The controller 330 may receive a captured image of the camera and reference a specific portion previously stored in the terminal storage space among the received images. A function of determining whether there is an image that matches the image, a function of extracting location information on the terminal screen of the specific part image, a function of calculating the position of the center of the face using the location information of the specific part image and a predetermined algorithm, and a camera It should be provided with a function of generating a control signal for directing the negative direction toward the calculated face center and sending it to the camera direction driver.

또한, 단말기의 메모리(340)에는 인식할 얼굴의 특정부위에 대한 기본 이미지(예를 들면, 사용자의 눈썹 이미지)와, 기타 설정정보가 저장되어 있다. 여기서 설정정보란 특정부위의 위치와 얼굴중심의 상대적 위치를 계산하기 위한 정보등이 될 수있다.In addition, the memory 340 of the terminal stores a basic image (eg, an eyebrow image of a user) and other setting information on a specific portion of a face to be recognized. Here, the setting information may be information for calculating the position of the specific part and the relative position of the face center.

도 4는 본 발명에 의한 자동추적장치를 이용하여 카메라의 방향을 자동 제어하는 과정을 도시한다.Figure 4 shows a process for automatically controlling the direction of the camera using the automatic tracking device according to the present invention.

우선 도 4a에서 카메라의 영상신호 추출부에서 캡처된 영상이미지를 블록으로 나누어 각 블록별 이미지를 저장된 특정위치 기본 이미지와 일치하는 지 판단한다. 영상을 블록으로 나누어 분석하고 저장된 기본 이미지와 비교하는 기술은 종래의 얼굴인식(특정인의 얼굴인식) 기술에서 사용하는 방식을 유사하게 이용하면 된다. 본 실시예에서는 특정부위를 왼쪽 눈썹으로 정하였다. 눈썹은 다른 부위에 비하여 식별이 용이하고, 기본 이미지의 용량도 크지 않으며 사람마다 비슷한 형태를 하고 있기 때문에 본 발명에 이용되기에 가장 적합한 부위이다.First, in FIG. 4A, the video image captured by the video signal extracting unit of the camera is divided into blocks, and it is determined whether the image of each block matches the stored specific location base image. The technique of dividing the image into blocks for analysis and comparing the stored images with the basic image may be similarly used in the conventional face recognition technology. In this example, the specific part was defined as the left eyebrow. The eyebrows are most suitable for use in the present invention because they are easier to identify than other parts, do not have a large base image, and have similar shapes for each person.

본 발명에서는 얼굴영상으로부터 특정인의 신원을 식별하기 위한 것이 아니므로, 통상의 얼굴인식 기술에서 얼굴윤곽비교, 여러 개의 부위 이미지 비교, 특이점(얼굴의 이미지를 구분할 수 있는 포인트)들의 연결좌표비교 등의 고급 기술들은 이용하지 아니한다. 실제로 이러한 식별수단으로서의 얼굴인식기술은 상당한 용량의 CPU와 계산량 및 메모리를 소요하기 때문에, 종래의 소프트웨어를 비교적 용량이 적은 이동통신 단말기에 탑재하는 것은 거의 불가능하다. 따라서, 종래의 얼굴인식 기술 중에서 특정부위(눈썹)에 대한 이미지 추출 및 비교방식만 도입하면 충분하다.In the present invention, since it is not intended to identify the identity of a specific person from the face image, in the conventional face recognition technology, such as facial contour comparison, comparison of several site images, comparison of joint coordinates of singular points (points that can distinguish the image of the face), etc. Do not use advanced technologies. In fact, such a face recognition technology as an identification means requires a large amount of CPU, calculation amount, and memory, and therefore it is almost impossible to mount conventional software in a relatively small mobile communication terminal. Therefore, it is sufficient to introduce only the image extraction and comparison method for a specific part (eyebrow) of the conventional face recognition technology.

이러한 특정부위(눈썹) 기본 이미지는 단말기 제작시 메모리에 저장되는 정형화된 눈썹 이미지를 이용할 수도 있으며, 사용자가 직접 자신의 눈썹이미지를 촬영하여 저장할 수도 있을 것이다.The specific part (eyebrow) basic image may use a standardized eyebrow image stored in memory when the terminal is manufactured, and the user may directly photograph and store his eyebrow image.

도 4b에서는 눈썹 이미지의 화면상 위치를 확인하고, 이미지 까지의 거리를 산출한다. 이미지까지의 거리는 별도의 센서를 이용하거나, 대상 이미지의 상대적인 크기를 이용하여 산출할 수도 있다. 예를 들어, 촬영거리를 알고 있는 기본 이미지와 촬영된 이미지의 상대적인 크기비율과 카메라 렌즈의 배율 등을 기초로 거리를 산출할 수 있을 것이다. 도면에서는 왼쪽 눈썹 중앙부의 화면상 좌표가 (160, 120)으로 되어 있다.In FIG. 4B, the position on the screen of the eyebrow image is checked, and the distance to the image is calculated. The distance to the image may be calculated by using a separate sensor or by using a relative size of the target image. For example, the distance may be calculated based on the relative size ratio of the base image and the captured image and the magnification of the camera lens. In the drawing, the coordinates on the screen of the center of the left eyebrow are (160, 120).

그 다음으로는 제어부에서 미리 설정된 정보, 즉 눈썹 좌표로부터 얼굴중심좌표를 산출해낸다. 이 경우 앞에서 미리 계산한 거리(d)와 왼쪽 눈썹부터 얼굴중심까지의 상대적 거리 등을 이용한다. 예를 들어 다음과 같은 수학식을 이용할 수 있을 것이다.Next, the face center coordinates are calculated from the information preset in the control unit, that is, the eyebrow coordinates. In this case, the distance (d) previously calculated and the relative distance from the left eyebrow to the center of the face are used. For example, the following equation may be used.

중심 x 좌표 = 특정부위 x 좌표-(10×거리/기준거리),Center x coordinate = specific area x coordinate- (10 × distance / reference distance),

중심 y 좌표 = 특정부위 y 좌표-(15×거리/기준거리)Center y coordinate = specific area y coordinate-(15 × distance / reference distance)

기준거리란 기본 이미지의 촬영거리로서 본 실시예에서는 거리와 기준거리가 동일하다고 가정한다. 이 경우 도 4c와 같이 얼굴중심의 좌표는 (150, 105)가 된다.The reference distance is a photographing distance of the basic image and assumes that the distance and the reference distance are the same in this embodiment. In this case, as shown in FIG. 4C, the coordinates of the center of the face are (150, 105).

도 4d에서는 얼굴중심좌표를 이용하여 카메라의 방향을 제어하여, 얼굴중심의 위치를 화면중심인 좌표(90, 90)상에 위치시킨 상태를 도시한다. 즉, 도 4c의 상태에서 카메라의 방향을 x방향으로 +60, y방향으로 +15만큼 이동시키면 될 것이다.In FIG. 4D, the direction of the camera is controlled by using the face center coordinates, and the state of the face center is positioned on the coordinates 90 and 90, which are screen centers. That is, in the state of FIG. 4C, the direction of the camera may be moved by +60 in the x direction and +15 in the y direction.

이러한 특정부위 이미지 분석 및 카메라방향 제어는 소정시간마다 수행하며, 시간 간격은 단말기 CPU와 메모리용량에 따라 적절하게 변화될 수 있을 것이다.Such specific part image analysis and camera direction control are performed every predetermined time, and the time interval may be appropriately changed according to the terminal CPU and memory capacity.

이상과 같은 설명은 본 발명의 실시를 위하여 예시적으로 기재된 것으로, 본 발명의 범위를 한정하거나 제한하는 것은 아니다.The above description has been exemplarily described for the practice of the present invention, and does not limit or limit the scope of the present invention.

이상과 같이 본 발명에 의한 카메라방향 자동추적장치를 구비한 이동통신 단말기를 이용하면, 화상통화 또는 화상촬영시 카메라의 방향을 항상 사용자 얼굴쪽으로 향하도록 자동조절함으로써, 얼굴을 카메라방향에 위치시키거나 일일이 수동으로 방향을 조정하지 않아도 되므로 편리하다.As described above, when the mobile communication terminal having the automatic camera tracking apparatus according to the present invention is used, the face is positioned in the camera direction by automatically adjusting the camera direction toward the user's face at the time of video call or image capturing. This is convenient because you do not have to manually adjust the direction manually.

따라서, 이후에 활성화될 이동통신 단말기를 이용한 화상통신, 화상회의 등에 유용하게 적용될 수 있을 것이다.Therefore, it may be usefully applied to video communication, video conferencing, etc. using a mobile communication terminal to be activated later.

Claims (3)

이동통신 단말기에 장착되는 카메라부와, 카메라방향 구동부, 및 제어부로 이루어져 있으며,It consists of a camera unit mounted on the mobile communication terminal, a camera direction drive unit, and a control unit, 상기 제어부는 소정 시간마다 카메라가 캡처한 영상으로부터 얼굴의 특정부위를 인식하고, 그 특정부위의 단말기 화면상 위치를 파악하며, 특정부위의 화면상 위치정보를 기초로 상기 카메라부가 얼굴중심방향으로 향하도록 하는 제어신호를 생성하여 상기 카메라방향 구동부로 송출하는 카메라방향 자동추적장치를 구비하는 이동통신 단말기.The controller recognizes a specific part of the face from the image captured by the camera every predetermined time, grasps the location on the terminal screen of the specific part, and moves the camera toward the face center based on the location information on the screen of the specific part. And a camera direction automatic tracking device for generating a control signal to be transmitted to the camera direction driving unit. 제 1 항에 있어서,The method of claim 1, 상기 얼굴의 특정부위는 눈썹, 눈, 코, 입 중 하나가 될 수 있으며,Part of the face may be one of the eyebrows, eyes, nose, mouth, 상기 제어부의 얼굴 특정부위 인식은 카메라가 캡처한 영상의 분할 이미지와 단말기 메모리에 미리 저장되어 있는 특정부위 기본 이미지의 일치여부를 비교함으로써 수행되는 것을 특징으로 하는 카메라방향 자동추적장치를 구비하는 이동통신 단말기.Recognition of the specific region of the face of the controller is performed by comparing whether the divided image of the image captured by the camera matches the basic image of the specific region previously stored in the terminal memory. terminal. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2, 상기 제어부의 특정부위 화면상 위치 및 얼굴중심 위치 산출은,The calculation of the position on the screen and the face center of the specific part of the controller, 특정 부위의 형상에 대한 기본 이미지를 단말기의 메모리에 저장하는 단계;Storing a basic image of a shape of a specific part in a memory of the terminal; 카메라가 캡처한 영상의 분할 이미지와 상기 특정부위 기본 이미지의 일치여부를 비교하여 해당 특정부위를 인식하는 단계;Comparing the divided image of the image captured by the camera with the base image of the specific part, and recognizing the specific part; 상기 특정부위의 화면상 위치정보를 추출하는 단계; 및,Extracting location information on the screen of the specific part; And, 미리 설정되어 있는 특정부위-얼굴중심 상대위치정보 및 카메라-특정부위 사이의 거리정보를 기초로 얼굴중심 위치를 산출하는 단계;로 이루어지는 것을 특징으로 하는 카메라방향 자동추적장치를 구비하는 이동통신 단말기.Calculating a face center position on the basis of preset specific part-face center relative position information and distance information between the camera-specific position; and a camera direction automatic tracking device, comprising: a camera direction automatic tracking device.
KR10-2001-0070676A 2001-11-14 2001-11-14 Mobile Communication Device including Camera-direction Automatic Control Apparatus using Recognition of Specific Part of Face KR100413267B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2001-0070676A KR100413267B1 (en) 2001-11-14 2001-11-14 Mobile Communication Device including Camera-direction Automatic Control Apparatus using Recognition of Specific Part of Face

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2001-0070676A KR100413267B1 (en) 2001-11-14 2001-11-14 Mobile Communication Device including Camera-direction Automatic Control Apparatus using Recognition of Specific Part of Face

Publications (2)

Publication Number Publication Date
KR20030039664A true KR20030039664A (en) 2003-05-22
KR100413267B1 KR100413267B1 (en) 2004-01-03

Family

ID=29569343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2001-0070676A KR100413267B1 (en) 2001-11-14 2001-11-14 Mobile Communication Device including Camera-direction Automatic Control Apparatus using Recognition of Specific Part of Face

Country Status (1)

Country Link
KR (1) KR100413267B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100648017B1 (en) * 2005-12-09 2006-11-23 삼성전자주식회사 Photographing apparatus and method for accomplishing cutting prevention function
KR101056207B1 (en) * 2004-06-21 2011-08-11 에스케이 텔레콤주식회사 Automatic Tracking Method for Face of Video Communication Camera
KR101146077B1 (en) * 2006-09-06 2012-05-15 엘지이노텍 주식회사 Method and system for recognizing biotic information in mobile phone
US8379984B2 (en) 2007-10-12 2013-02-19 Samsung Electronics Co., Ltd. Method of controlling digital image processing apparatus for face detection, and digital image processing apparatus employing the method
US8587710B2 (en) 2009-09-24 2013-11-19 Pantech Co., Ltd. Apparatus and method for controlling picture using image recognition

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060083762A (en) * 2005-01-18 2006-07-21 주식회사 팬택앤큐리텔 Automatic tracking system for a photographic subject, and mobile phone used it, and automatic tracking method for a photographic subject
KR100883467B1 (en) 2007-07-11 2009-02-16 (주)케이티에프테크놀로지스 Mobile telephone supporting device and mobile telephone tracking face of caller and operating method thereof
KR101387852B1 (en) * 2012-10-17 2014-04-22 조봉미 Vidio capture, transmission method for accessor before come close

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04177410A (en) * 1990-11-08 1992-06-24 Sumitomo Heavy Ind Ltd Automatic tracking device for mobile object
KR960039968A (en) * 1995-04-06 1996-11-25 구자홍 Method and device for adjusting camera angle of moving picture phone
KR970014328A (en) * 1995-08-31 1997-03-29 배순훈 Camera focus auto control device and auto control method
JP2001078160A (en) * 1999-09-02 2001-03-23 Matsushita Electric Ind Co Ltd Video phone and image pickup method
KR20010055464A (en) * 1999-12-10 2001-07-04 서평원 A Direction Adjustment Camera Apparatus Of A Picture Communication For Personal Computer Terminal There Of
KR200224061Y1 (en) * 2000-12-28 2001-05-15 엘지전자주식회사 Camera controlling apparatus for image mobile communication device

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101056207B1 (en) * 2004-06-21 2011-08-11 에스케이 텔레콤주식회사 Automatic Tracking Method for Face of Video Communication Camera
KR100648017B1 (en) * 2005-12-09 2006-11-23 삼성전자주식회사 Photographing apparatus and method for accomplishing cutting prevention function
KR101146077B1 (en) * 2006-09-06 2012-05-15 엘지이노텍 주식회사 Method and system for recognizing biotic information in mobile phone
US8379984B2 (en) 2007-10-12 2013-02-19 Samsung Electronics Co., Ltd. Method of controlling digital image processing apparatus for face detection, and digital image processing apparatus employing the method
US8587710B2 (en) 2009-09-24 2013-11-19 Pantech Co., Ltd. Apparatus and method for controlling picture using image recognition

Also Published As

Publication number Publication date
KR100413267B1 (en) 2004-01-03

Similar Documents

Publication Publication Date Title
JP7075995B2 (en) Mobile information terminal
US9906725B2 (en) Portable video communication system
KR101006668B1 (en) Apparatus for switching picked-up image processings of tv telephone function
KR100869952B1 (en) Method and apparatus for panorama photography
KR100469727B1 (en) Communication terminal and method capable of displaying face image of user at the middle part of screen
EP1659782A2 (en) Videophone with automatic zooming, centring and scaling
US20200329202A1 (en) Image capturing apparatus, control method, and recording medium
JP2008504760A (en) Face image correction
KR100413267B1 (en) Mobile Communication Device including Camera-direction Automatic Control Apparatus using Recognition of Specific Part of Face
US6628320B2 (en) Communication device having an image transmission function
US11503213B2 (en) Image capturing apparatus, control method, and recording medium
US5940128A (en) Object imaging apparatus with object slant correction facility
JP2000156849A (en) Portable information terminal equipment
CN111626924B (en) Image blurring processing method and device, electronic equipment and readable storage medium
KR20080073896A (en) Mobile terminal and shooting method thereof
KR20180068508A (en) Capturing drone system using hand gesture recognition
KR20170023494A (en) Scheme for supporting taking picture in apparatus equipped with camera
JP7286838B2 (en) Personal digital assistant
JP2020188326A (en) Imaging management system
KR100413268B1 (en) Mobile Communication Device including Camera-direction Automatic Control Apparatus using Location of Hands-free-Set
KR20010055464A (en) A Direction Adjustment Camera Apparatus Of A Picture Communication For Personal Computer Terminal There Of
CN113691727B (en) Photographing system based on motion control
US11540045B2 (en) Audio transducer system and audio transducer device of the same
CN213522118U (en) Display device, dressing table and mirror
JP2022140417A (en) Image pickup apparatus, calibration system, control method for the image pickup apparatus, and program

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121130

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20131129

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20141212

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20151201

Year of fee payment: 13

LAPS Lapse due to unpaid annual fee