KR100705177B1

KR100705177B1 - Mobile communication terminal and method for classifying photograph using the same

Info

Publication number: KR100705177B1
Application number: KR1020060002165A
Authority: KR
Inventors: 이일용; 변성찬; 이은실; 기현종; 김성현
Original assignee: 엘지전자 주식회사
Priority date: 2006-01-09
Filing date: 2006-01-09
Publication date: 2007-04-06

Abstract

본 발명은 카메라를 구비하는 이동 통신 단말기에 관한 것으로, 특히 카메라를 통해 촬영된 사진영상을 분류하기 위한 이동통신 단말기 및 이를 이용한 사진영상 분류 방법에 관한 것이다.The present invention relates to a mobile communication terminal having a camera, and more particularly, to a mobile communication terminal for classifying photographic images photographed through a camera and a method of classifying photographic images using the same.

본 발명에 따른 사진영상 분류 방법은, 기준 사진을 촬영하여 얼굴영역을 검출하고 전처리 과정을 수행하는 단계; 상기 전처리 과정을 통해 특징을 추출하고 사진 분류를 위한 학습 DB를 생성하는 단계; 이후, 사진이 촬영되면, 촬영된 사진의 얼굴영역을 검출하고 전처리 과정을 수행하는 단계; 상기 전처리 과정을 통해 특징을 추출하고 학습 DB와 유사성을 비교하여 사진을 자동으로 분류하는 단계를 포함하는 것을 특징으로 한다.In accordance with another aspect of the present invention, there is provided a method of classifying photographic images, the method comprising: detecting a face region by performing a reference photo and performing a preprocessing process; Extracting a feature through the preprocessing and generating a learning DB for classifying a photo; Thereafter, when the picture is taken, detecting a face area of the taken picture and performing a preprocessing process; Extracting a feature through the preprocessing process and comparing the similarity with the learning DB to automatically classify the picture.

사진 검색, SVM Photo Search, SVM

Description

Mobile communication terminal and method for classifying photographic images using same {mobile communication terminal and method for classifying photograph using the same}

도 1은 본 발명의 실시 예에 따른 이동통신 단말기의 구성을 보여주는 도면이다.1 is a view showing the configuration of a mobile communication terminal according to an embodiment of the present invention.

도 2는 본 발명의 실시 예에 따른 학습방법을 나타내는 플로우 차트.2 is a flowchart illustrating a learning method according to an exemplary embodiment of the present invention.

도 3은 본 발명의 실시 예에 따른 학습모드 촬영을 보여주는 도면.3 is a view showing a learning mode shooting according to an embodiment of the present invention.

도 4는 본 발명의 실시 예에 따른 학습을 위해 촬영된 사진을 보여주는 도면.4 is a view showing a picture taken for learning according to an embodiment of the present invention.

도 5는 본 발명의 실시 예에 따른 사진의 전처리 과정을 보여주는 도면.5 is a view showing a preprocessing process of a picture according to an embodiment of the present invention.

도 6은 본 발명의 실시 예에 따른 학습을 위해 미리 가공된 사진을 보여주는 도면. 6 is a view showing a pre-processed picture for learning according to an embodiment of the present invention.

도 7은 같이 본 발명의 실시 예에 따른 SVM을 통한 분류를 보여주는 도면.7 is a view showing a classification through the SVM in accordance with an embodiment of the present invention.

도 8은 본 발명의 실시 예에 따른 인식방법을 나타내는 플로우 차트.8 is a flowchart illustrating a recognition method according to an embodiment of the present invention.

도 9는 본 발명의 실시 예에 따른 분류방법을 나타내는 플로우 차트.9 is a flowchart illustrating a classification method according to an exemplary embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

11...무선 처리부 12...키 입력부11 ... Wireless processing unit 12 ... Key input unit

13...카메라 14...표시부13 Camera 14 Display

15...저장부 16...영상 인식부15 ... storage 16 ... image recognition

17...제어부17.Control part

카메라 폰은 일반 휴대폰에 디지털 카메라의 기능을 부가한 이동 통신 단말기로서, 사용자는 디지털 카메라를 이용해 촬영한 사진 영상들을 카메라 폰의 액정을 통해 직접 확인하거나, 혹은 PC상에 업로드하여 기호에 맞게 편집 및 가공할 수있고, 촬영된 사진영상들을 전자 메일 등 편리한 수단을 통해 다른 사람에게 제공할 수 있다는 측면에서 그 보급이 급속도로 신장되고 있다.The camera phone is a mobile communication terminal that adds the function of a digital camera to a general mobile phone. The user can directly check the photographs taken with the digital camera through the LCD of the camera phone or upload it on a PC to edit and customize it according to his / her preferences. The prevalence is rapidly expanding in that it can be processed and provided to others by convenient means such as e-mail.

또한 상기 카메라 폰에서 사진영상이 저장될 수 있는 저장 용량이 커짐에 따라 카메라로 촬영된 사진 또한 그 수를 헤아릴 수 없을 정도로 많아지게 되었으다.In addition, as the storage capacity for storing a photographic image in the camera phone increases, the number of photographs taken by the camera also increases innumerably.

따라서 기 저장된 사진영상들을 일일이 검색하는 대신 화면창에 다수의 사진을 미리보여주는 형태인 멀티 보기 기능을 통해 보다 편리하게 사진 검색을 할 수 있도록 했다.Therefore, instead of searching for previously stored photo images one by one, the multi-view function, which shows a number of photos in the screen window, makes it easier to search photos.

하지만 저장 용량이 더욱 커지고 저장할 수 있는 사진의 수가 많아지게 되면 사진 검색을 위해 상기 기술한 방법은 큰 효과를 보기 어렵다. However, as the storage capacity becomes larger and the number of pictures that can be stored increases, the above-described method for retrieving a picture does not have a great effect.

본 발명은 상기 문제점을 해결하기 위해 안출된 것으로서, 촬영된 사진을 학습하고 이를 이용하여 사진이 자동 분류되도록 하여 쉽게 검색할 수 있도록 하는 이동통신 단말기 및 이를 이용한 사진영상 분류 방법을 제공함에 있다.The present invention has been made to solve the above problems, to provide a mobile communication terminal and a method for classifying a photographic image using the same, which enables the user to easily search by learning the photographed photograph and automatically sort the photograph using the photograph.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 사진영상 분류 방법은,Photo image classification method according to the present invention for achieving the above object,

기준 사진을 촬영하여 얼굴영역을 검출하고 전처리 과정을 수행하는 단계;Taking a reference picture to detect a face region and performing a preprocessing process;

상기 전처리 과정을 통해 특징을 추출하고 사진 분류를 위한 학습 DB를 생성하는 단계;Extracting a feature through the preprocessing and generating a learning DB for classifying a photo;

이후, 사진이 촬영되면, 촬영된 사진의 얼굴영역을 검출하고 전처리 과정을 수행하는 단계;Thereafter, when the picture is taken, detecting a face area of the taken picture and performing a preprocessing process;

상기 전처리 과정을 통해 특징을 추출하고 학습 DB와 유사성을 비교하여 사진을 자동으로 분류하는 단계를 포함하는 것을 특징으로 한다.Extracting a feature through the preprocessing process and comparing the similarity with the learning DB to automatically classify the picture.

본 발명에서, 상기 학습을 위한 기준 사진은 갱신되는 것을 특징으로 한다.In the present invention, the reference picture for the learning is characterized in that is updated.

본 발명에서, 상기 기준 사진은 사용자 중심의 얼굴 사진인 것을 특징으로 한다.In the present invention, the reference picture is characterized in that the user-centered face picture.

본 발명에서, 상기 기준 사진은 서로 다른 표정, 조명, 포즈를 포함하여 적어도 하나 이상 촬영되는 것을 특징으로 한다.In the present invention, the reference picture is characterized in that at least one or more are taken, including different expressions, lighting, poses.

본 발명에서, 상기 전처리 과정은 검출된 얼굴영역을 그레이 스케일 영상으로 처리하는 단계;In the present invention, the preprocessing step comprises the steps of: processing the detected face region as a gray scale image;

상기 전환된 영상을 히스토그램 평활화를 이용하여 조명 보정된 영상으로 처리하는 단계;Processing the converted image into a light-corrected image using histogram smoothing;

상기 조명 보정된 영상을 소정의 크기로 줄이는 단계를 더 포함하는 것을 특징으로 하는 한다.The method may further include reducing the illumination corrected image to a predetermined size.

본 발명에서, 상기 특징 추출은 직접 선형 판별식 해석 방법(D-LDA)을 이용하는 것을 특징으로 한다.In the present invention, the feature extraction is characterized by using a direct linear discriminant analysis method (D-LDA).

본 발명에서, 상기 사진 분류는 서포트 벡터 머신을 이용하는 것을 특징으로한다.In the present invention, the picture classification is characterized by using a support vector machine.

본 발명에서, 상기 사진 분류는 사용자 중심의 얼굴사진과 타인의 얼굴사진으로 자동 분류되는 것을 특징으로 한다.In the present invention, the picture classification is characterized in that it is automatically classified into a user-centered face picture and another person's face picture.

본 발명에서, 상기 사진 분류결과, 사용자 얼굴 사진으로 분류되면 JPEG의 리저버 비트를 체크하여 저장하는 단계를 더 포함하는 것을 특징으로 한다.The method may further include checking and storing a reservoir bit of a JPEG when the photograph classification result is classified as a user face photograph.

또한, 상기와 같은 목적을 달성하기 위한 본 발명에 따른 이동통신 단말기는, In addition, the mobile communication terminal according to the present invention for achieving the above object,

사진을 촬영하고 그 사진과 비교하기 위한 기준 사진을 촬영하는 카메라;A camera which takes a picture and takes a reference picture for comparing with the picture;

상기 기준 사진을 분석하고 학습과정을 수행하여 얻어진 학습 DB를 저장하는 저장부;A storage unit for storing a learning DB obtained by analyzing the reference picture and performing a learning process;

상기 촬영된 사진과 학습된 기준 사진을 비교하여 사진을 자동으로 분류하는영상 인식부를 포함하는 것을 특징으로 한다.And a video recognition unit for automatically classifying the photographs by comparing the photographed photographs with the learned reference photographs.

본 발명에서, 상기 영상 인식부는 기준 사진과 촬영된 사진을 처리하고 얼굴의 특징을 추출하는 것을 특징으로 한다.In the present invention, the image recognition unit is characterized in that for processing the reference picture and the photographed picture and extract the features of the face.

본 발명에서, 상기 영상 인식부는 서포트 벡터 머신을 이용하여 사진을 자동으로 분류하는 것을 특징으로 한다.In the present invention, the image recognition unit is characterized in that to automatically classify the photograph using a support vector machine.

본 발명에서, 상기 저장부는 기준 사진의 특징을 추출하기 위해 적어도 하나 이상의 비교 대상 사진을 저장하는 것을 특징으로 한다.In the present invention, the storage unit is characterized in that for storing at least one or more comparison picture to extract the characteristics of the reference picture.

이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하면 다음과 같다.Hereinafter, an embodiment of the present invention will be described with reference to the accompanying drawings.

도 1을 참조하면, 본 발명에 따른 이동통신 단말기는 기지국과의 무선통신을 위한 무선 처리부(11)와, 통신 단말기의 사용을 위한 키조작을 할 수 있도록 하는 키패드와 각종 버튼을 포함하는 키 입력부(12)와, 사진 영상 등을 촬영하는 카메라(13)와, 상기 사진 영상을 표시하는 표시부(14)와, 상기 사진 영상을 저장하는 저장부(15)와, 상기 촬영된 사진 영상을 인식하고 이를 처리하는 영상 인식부(16)와, 상기 이동통신 단말기의 각부 및 전체 동작을 제어하는 제어부(17)를 포함하여 구성되며, 상기 영상 인식부(16)는 상기 제어부에(17)에 일체로 포함 구성될 수 있다.Referring to FIG. 1, a mobile communication terminal according to the present invention includes a wireless processing unit 11 for wireless communication with a base station, a key input unit including a keypad and various buttons to enable key manipulation for use of the communication terminal. 12, a camera 13 for photographing photographic images, a display unit 14 for displaying the photographic image, a storage unit 15 for storing the photographic image, and the photographed photographic image are recognized. And a control unit 17 for controlling the unit and the overall operation of the mobile communication terminal, and the image recognition unit 16 is integrally connected to the control unit 17. It can be configured to include.

상기 무선 처리부(11)는 이동통신 기지국으로부터 무선 신호(예를 들어, 음성데이터, 영상데이터 등)를 수신하고 통화를 위한 음성 신호 및 문자 데이터 등을 기지국으로 전송하는 등 기지국과의 무선통신을 수행한다.The wireless processor 11 performs wireless communication with the base station by receiving a wireless signal (for example, voice data, video data, etc.) from the mobile communication base station and transmitting voice signals and text data for a call to the base station. do.

키 입력부(12)는 사용자로부터 사용자 제어 명령을 입력받는 장치로서, 통신 단말기의 키패드와 같은 장치로 구현될 수 있으며, 학습을 위해 사용될 사진을 촬영하기 위한 학습모드 촬영이나 일반적인 사진모드 촬영 등의 모드 를 선택할 수 있는 명령을 입력한다.The key input unit 12 is a device that receives a user control command from a user. The key input unit 12 may be implemented as a device such as a keypad of a communication terminal. The key input unit 12 may be a mode such as taking a learning mode or taking a general picture mode for taking a picture to be used for learning. Enter a command to select.

카메라(13)는 사용자로부터 얼굴영상 등 사용자가 촬영하기 원하는 피사체를 촬영하여 입력받는 장치로서, 조명 등 카메라 보조 장치를 포함하여 구성될 수 있다.The camera 13 is a device that receives and inputs a subject that the user wants to photograph, such as a face image, from the user, and may include a camera auxiliary device such as lighting.

표시부(14)는 상기 카메라(13)에 의해 촬영된 사진 등의 영상 데이터를 디스플레이하거나 이미 저장되어 있는 영상 데이터를 디스플레이할 수 있도록 출력한다. 또한 상기 무선 처리부(11)를 통해 전송된 영상 데이터를 디스플레이할 수 있도록 출력한다.The display unit 14 displays image data such as a photograph taken by the camera 13 or outputs image data that is already stored. In addition, it outputs so that the image data transmitted through the wireless processor 11 can be displayed.

저장부(15)는 상기 카메라(13)를 통해 촬영된 사진을 저장하고 학습을 위해 필요한 사진 등을 저장하고 상기 사진의 학습정보를 저장한다.The storage unit 15 stores a picture taken by the camera 13, a picture required for learning, and the like, and stores learning information of the picture.

영상 인식부(16)는 상기 카메라(13)로부터 학습모드에서 촬영된 사진을 입력받으면, 이를 전처리한 후 학습을 위해 미리 저장부에 저장되어 있는 사진DB들과 함께 0에서 1사이로 정규화시키고 특징추출을 수행한다.When the image recognition unit 16 receives a photograph taken in the learning mode from the camera 13, after preprocessing it, the image recognition unit 16 normalizes between 0 and 1 together with the photo DBs stored in the storage unit for learning and extracts features. Do this.

여기서, 상기 특징추출을 위해 직접 선형 판별식 해석(Direct Linear Discriminant Analysis:이하 D-LDA) 등 이미 공지된 다양한 기술을 적용하는 것이 가능하다.Here, for the feature extraction, it is possible to apply various known techniques such as direct linear discriminant analysis (D-LDA).

이후, 상기 D-LDA로 추출된 특징 벡터들은 서포트 벡터 머신(Support Vector Machine:이하 SVM)을 통해 학습모드에서 촬영된 사진과 다른 사진들을 구분 할 수 있는 학습된 DB가 생성된다.Thereafter, the extracted feature vectors extracted by the D-LDA are generated through a support vector machine (hereinafter referred to as SVM), where a trained DB can be distinguished from a photograph taken in a learning mode and another photograph.

예를 들면, 상기 학습모드에서 촬영된 사진이 사용자 자신의 사진이라면 사용자의 사진과 타인의 사진을 구분할 수 있는 학습 DB가 생성되는 것이다.For example, if the picture taken in the learning mode is the user's own picture, a learning DB for distinguishing the user's picture from the picture of another person is generated.

다음으로, 상기 카메라(13)로부터 사진모드에서 사용자 자신의 사진이 촬영되어 입력되면, 학습모드에서와 마찬가지로 상기 촬영된 사진을 전처리한 후 특징추출을 수행한다.Next, when the user's own picture is taken and input in the picture mode from the camera 13, the feature extraction is performed after preprocessing the taken picture as in the learning mode.

이때 SVM을 이용하여 상기 학습된 DB와 유사성을 비교하여 촬영된 사진이 사용자의 사진인지 타인의 사진인지 분류할 수 있으며, 상기 분류된 사용자 사진에 태그를 두어 상기 저장부(14)에 저장된다.At this time, by comparing the similarity with the learned DB by using the SVM can be classified whether the photograph taken is a user's picture or another person's picture, and the tag is stored in the storage unit 14 with a tag on the classified user picture.

상기 태그는 예를 들어, 사진이 JPEG으로 저장될 때, JPEG의 리저브 비트를 체크하여 저장함으로써 사용자 사진만을 쉽게 검색할 수 있게 하는 것이다.The tag is such that when a picture is stored as a JPEG, only the user picture can be easily retrieved by checking and storing a reserve bit of the JPEG.

제어부(17)는 호 연결, 데이터 통신, 멀티미디어 컨텐츠의 실행 등의 처리를 제어하는 것은 물론 촬영된 사진을 저장부(14)에 저장하고, 사진을 학습과정 및 인식과정으로 처리하는 영상 인식부(16)를 제어하는 등 이동통신 단말기의 전체 동작을 제어하는 역할을 한다.The control unit 17 controls the processing of call connection, data communication, multimedia content, etc., as well as storing the captured picture in the storage unit 14, and an image recognition unit for processing the picture as a learning process and a recognition process ( 16) to control the overall operation of the mobile communication terminal.

도 2는 본 발명의 실시 예에 따른 학습방법을 나타내는 플로우 차트이다.2 is a flowchart illustrating a learning method according to an exemplary embodiment of the present invention.

본 발명의 실시 예를 설명하기 위해 촬영된 사진은 인물 사진으로 정의한다.The photograph taken to explain an embodiment of the present invention is defined as a portrait photograph.

도 2를 참조하면, 사진을 자동으로 분류하기 위해 본 발명에서는 학습과정과 인식과정으로 나누어 촬영된 사진을 처리하며, 상기 학습과정을 통해 분류할 사 진의 특징을 추출하고 이를 수렴하도록 조정하여 기준 데이터를 만들어 학습DB를 생성하게 된다.Referring to FIG. 2, in order to automatically classify pictures, the present invention processes photographed pictures by dividing them into a learning process and a recognition process, extracts a feature of a picture to be classified through the learning process, and adjusts to converge the reference data. Create a learning DB.

먼저 학습과정을 설명하면, 도 3과 같이 이동통신 단말기를 이용하여 학습모드를 선택하고 학습할 사진을 촬영한다(S11).First, the learning process will be described. As shown in FIG. 3, a learning mode is selected using a mobile communication terminal and a picture to be learned is taken (S11).

예를 들면, 사용자 자신의 사진을 학습시켜 분류하기 원한다고 하면, 학습모드 메뉴를 이용하여 언제든지 학습하기 원하는 사용자의 얼굴을 촬영할 수 있다.For example, if a user wants to learn and classify his or her own picture, the user may take a picture of a user's face to be learned at any time using the learning mode menu.

그 이유는, 사람의 얼굴은 시간이 지남에 따라 그 형태가 조금식 변하게 되며, 머리 스타일, 성형 등으로 변화를 줄 수 있기 때문이며, 본 발명에서는 언제든지 학습하기 원하는 사진을 촬영할 수 있는 장점이 있다.The reason is that the face of the person is changed slightly over time, the shape can be changed by the hair style, molding, etc., the present invention has the advantage of taking a picture that you want to learn at any time.

또한 상기 학습에 사용될 사진은 적어도 10장 이상 촬영되어야 하며 사용자 본인의 사진을 학습한다고 하면, 도 4와 같이 사용자는 표정, 조명, 포즈 등을 다양하게하여 자신을 얼굴을 촬영하고 이는 학습을 위해 사용되게 된다.In addition, at least 10 pictures to be used in the learning should be taken and if the user's own pictures to learn, as shown in FIG. Will be.

이후, 상기 촬영된 사진에서 얼굴의 특징을 추출하기 위해 전처리 과정을 수행하게 된다(S12).Subsequently, a preprocessing process is performed to extract a feature of a face from the taken photo (S12).

상기 촬영된 사진에서 얼굴 영역을 추출하기 위해 도 3의 학습모드 화면창(21)에서 점선으로 표시된 화면창(22)을 기준으로 얼굴 영역을 추출하거나, 눈 영역 또는 눈동자의 중심 영역을 기준으로 하여 학습에 사용될 얼굴영역을 추출할 수 있다.In order to extract the face region from the photographed picture, the face region is extracted based on the screen window 22 indicated by the dotted line in the learning mode screen window 21 of FIG. 3, or the eye region or the center region of the pupil is referred to. Facial regions to be used for learning can be extracted.

또한, 여기서 상기 얼굴영역 검출을 위해 에이다부스트 알고리즘(AdaBoost algorithm) 등을 사용할 수 있다.In addition, an AdaBoost algorithm may be used to detect the face region.

도 5는 본 발명의 실시 예에 따른 전처리 과정을 보여주는 도면이다. 5 is a view showing a pretreatment process according to an embodiment of the present invention.

도 5를 참조하면, 학습모드에서 촬영된 영상(31,31-1)에서 검출된 얼굴영역(32,32-1)을 그레이 스케일(gray scale)영상(33,33-1)으로 전환한다.Referring to FIG. 5, the face areas 32 and 32-1 detected in the images 31 and 31-1 photographed in the learning mode are converted into gray scale images 33 and 33-1.

또한 히스토그램 평활화(histogram equalization)를 수행하여 조명보정된 영상(34,34-1)으로 전환하고, 다시 특징 추출을 위해 1024(32*32) 차원의 영상(35, 35-1)으로 크기를 줄인다.In addition, histogram equalization is performed to convert the image to the light compensated image 34, 34-1, and to reduce the size to 1024 (32 * 32) dimension image 35, 35-1 for feature extraction. .

이후, 도 6과 같이 학습을 위해 미리 가공되어 단말기의 저장부에 저장되어있는 인물 사진들과 촬영된 인물사진을 0에서 1사이로 정규화시키고 상기 인물사진의 특징을 추출한다(S13).Thereafter, as illustrated in FIG. 6, the portrait pictures and the taken portrait pictures stored in the storage unit of the terminal are pre-processed for learning to be normalized from 0 to 1, and features of the portrait picture are extracted (S13).

상기 정규화를 할때는 동일한 픽셀들끼리 정규화를 실시하여 각 픽셀당 최대값과 최소값을 저장하게 된다. 예를 들면, 1024차원의 사진에서는 1024개의 최대값, 최소값을 구할 수 있다.In the normalization, the same pixels are normalized to store the maximum value and the minimum value for each pixel. For example, in a 1024-dimensional photograph, 1024 maximum and minimum values can be obtained.

또한 상기 특징추출 방법으로는 어떠한 얼굴 특징 추출 알고리즘도 사용 가능하지만, 본 실시 예에서는 직접 선형 판별식 해석(D-LDA:Direct Linear Discriminant Analysis:이하 D-LDA) 방법을 사용하고 상기 D-LDA로 추출되는 벡터는 50차원으로 한정되어 D-LDA 행렬을 생성한다.In addition, although any facial feature extraction algorithm can be used as the feature extraction method, in this embodiment, a direct linear discriminant analysis (D-LDA) method is used and the D-LDA method is used. The extracted vector is limited to 50 dimensions to generate a D-LDA matrix.

상기 D-LDA 방법은 클래스별 구별이 뛰어나게끔 특징을 추출해줄 뿐만아니라 처리 속도가 빠르기 때문에 이동통신 단말기 등에 사용하기 적합하며, 이미 널리 공지된바 더 이상 자세히 설명하지 않는다.The D-LDA method is suitable for use in mobile communication terminals and the like because it not only extracts features to distinguish between classes but also has a fast processing speed, and is well known and will not be described in detail anymore.

한편, 상기 D-LDA로 추출된 특징벡터들을 입력으로 하여 이진 패턴 분류기 인 서포트 벡터 머신(SVM:Support Vector Machine:이하 SVM)로 학습을 실시한다.On the other hand, by using the feature vectors extracted by the D-LDA as an input, a learning is performed by a support vector machine (SVM), which is a binary pattern classifier.

즉, 입력된 특징벡터들의 차이에 따라 SVM에 의하여 사용자의 사진과 타인의 사진을 구분할 수 있게 된다.That is, the user's photo and another person's photo can be distinguished by the SVM according to the difference of the input feature vectors.

상기 SVM은 입력 공간의 비선형적인 높은 차수를 특징 공간(feature space)에서 선형적으로 투영하여 해석함으로써 도 7과 같이 각 특징벡터 사이에 최적의 경계(즉, 최적분리면)(41)를 제시하는 방법으로서 이미 널리 공지된바 자세히 설명하지 않는다.The SVM analyzes the nonlinear high order of the input space by linearly projecting it in the feature space, thereby presenting an optimal boundary (that is, an optimal separation plane) 41 between the feature vectors as shown in FIG. 7. The method is already well known and will not be described in detail.

상기 SVM 학습이 완료되면 SV(support vector)와 라그랑지안 승수, 바이어스 값이 구해지고 상기 값들은 이동통신 단말기에 저장된다. 상기 과정을 거쳐 사진 인식에 사용하기 위해 촬영된 사용자 본인의 얼굴 학습이 끝이 나게 되고 학습 DB가 생성되고 이를 저장하게 된다(S14).When the SVM learning is completed, a support vector (SV), a Lagrangian multiplier, and a bias value are obtained, and the values are stored in the mobile communication terminal. Through the above process, the user's face learning to be photographed for use in photo recognition is ended, and a learning DB is generated and stored (S14).

다음으로, 이동통신 단말기를 이용하여 사진을 촬영하게 되면, 상기 학습 DB와 비교하여 자동적으로 사용자 자신의 사진인지 아닌지 분류할 수 있게 된다.Next, when taking a picture using a mobile communication terminal, it is possible to automatically classify whether or not the user's own photo compared to the learning DB.

도 8은 본 발명의 실시 예에 따른 인식방법을 나타내는 플로우 차트이다.8 is a flowchart illustrating a recognition method according to an exemplary embodiment of the present invention.

도 8을 참조하면, 이동통신 단말기의 카메라를 이용하여 사진을 촬영하고(S21), 상기 학습 과정과 마찬가지로 촬영된 사진에서 얼굴 영역을 검출한다.Referring to FIG. 8, a picture is taken using a camera of a mobile communication terminal (S21), and a face region is detected from the taken picture as in the learning process.

여기서 상기 얼굴영역 검출을 위해 에이다부스트 알고리즘(AdaBoost algorithm) 등을 사용할 수 있다.The AdaBoost algorithm may be used to detect the face region.

또한 상기 검출된 얼굴영역은 학습과정과 마찬가지로 그레이 스케일(gray scale) 영상으로 전환되고 조명 보정을 위해 히스토그램 평활화(histogram equalization)를 수행한 후 다시 영상을 1024(32*32) 차원으로 축소하는 전처리 과정을 수행 후 사진의 특징을 추출한다(S22, S23).In addition, the detected face region is converted to a gray scale image as in the learning process, and subjected to histogram equalization for light correction, and then pre-processed to reduce the image to 1024 (32 * 32) dimensions. After performing the extraction of the features of the picture (S22, S23).

이때 학습과정에서 구해진 픽셀의 최대값, 최소값을 이용하여 정규화를 실시하고 D-LDA를 이용하여 추출된 50차원의 특징벡터는 SVM에 의하여 유사성이 비교되어 자동으로 사용자 자신의 사진인지 아닌지 분류할 수 있게 된다(S24).At this time, the normalization is performed using the maximum and minimum values of the pixels obtained in the learning process, and the 50-dimensional feature vectors extracted using the D-LDA can be classified similarly by the SVM to automatically classify whether they are photographs of the user or not. It becomes (S24).

또한 상기 자신의 사진으로 판명된 사진이 JPEG으로 저장될 때, 사용자에 의해 정의될 수 있는 리저브 비트(reserved bit)를 태그로 사용하여 상기 분류된 사용자 사진임을 체크하게 된다(S25).In addition, when the picture identified as the own picture is stored as a JPEG, the classified user picture is checked using a reserved bit that can be defined by the user as a tag (S25).

예를 들면, 촬영된 사진이 사용자 자신의 사진으로 인식되면 리저브 비트가 '1'이 된다. For example, the reserved bit becomes '1' when the captured picture is recognized as the user's own picture.

상기와 같은 방법을 취하는 이유는 분류된 사진을 검색하기 쉽게 하기 위해 저장시 단말기에서 지정해주는 파일이름을 사용하지 않고 사용자가 파일이름을 바꾸어 저장시키는 경우가 생길 수 있다. 이와같은 경우를 위해 상기 리저브 비트에 체크를 하고 자신의 사진을 쉽게 검색할 수 있게 한다.The reason for using the above method may be that the user may change the file name and store the file without using the file name designated by the terminal when storing the classified picture so as to easily search for the classified picture. For this case, check the reserve bit and make it easier to retrieve your own photos.

도 9는 본 발명의 실시 예에 따른 분류 방법을 나타내는 플로우 차트이다.9 is a flowchart illustrating a classification method according to an exemplary embodiment of the present invention.

도 9를 참조하면, 카메라 모듈을 이용하여 학습될 사진을 촬영하고(S31), 전처리 과정을 거쳐 특징을 추출한다(S32). 여기서 본 발명에서는 상기 학습될 사진을 사용자가 촬영하고 이를 학습시킬수 있는 특징이 있다.Referring to FIG. 9, a photograph to be learned is taken by using a camera module (S31), and a feature is extracted through a preprocessing process (S32). In the present invention, there is a feature that allows the user to take the picture to be learned and learn it.

상기 추출된 특징은 SVM에 의해 본인과 타인으로 판별할 수 있도록 하는 파라미터들을 저장하여 학습 DB를 생성한다(S33).The extracted feature generates a learning DB by storing parameters that enable the SVM to identify the person and others (S33).

상기 파라미터는 SV(support vector)와 라그랑지안 승수, 바이어스 값 등을 포함하여 구성되며 특징벡터로 사용된다.The parameter includes a support vector (SV), a Lagrangian multiplier, a bias value, and the like, and is used as a feature vector.

한편, 사용자가 자신뿐만 아니라 타인의 사진 등을 카메라 모듈을 이용하여 촬영하면(S41), 학습과정과 마찬가지로 전처리 과정을 거쳐 촬영된 사진에 대해 특징을 추출하게 된다(S42).On the other hand, if the user photographs not only himself or another person's photos using the camera module (S41), the feature is extracted from the photographed pictures through the preprocessing process as in the learning process (S42).

이후, 상기 추출된 특징은 SVM에 의해 학습 DB에 저장된 얼굴 영상들의 특징 벡터들로 이루어지는 얼굴 특징 벡터 공간에서 각 개인에 대해 상기 특징벡터가 자신의 영역에 속하는지, 타인의 영역에 속하는지를 판단하여 자신의 사진을 분류하고 저장된다(S43,44).Then, the extracted feature is determined by the SVM for each individual in the face feature vector space consisting of feature vectors of face images stored in a learning DB, whether the feature vector belongs to its own region or another's region. His pictures are classified and stored (S43, 44).

이와 같이, 본 발명에서는 촬영된 사진을 자동으로 분류할 수 있도록 학습과정과 인식과정을 거쳐 간단히 사진을 검색할 수 있도록 하는 효과가 있다.As described above, the present invention has an effect of simply searching for a picture through a learning process and a recognition process to automatically classify the taken picture.

이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been described with reference to the embodiments, and those skilled in the art to which the present invention pertains may implement embodiments of the present invention in a different form from the detailed description of the present invention within the essential technical scope of the present invention. Could be. Here, the essential technical scope of the present invention is shown in the claims, and all differences within the equivalent range will be construed as being included in the present invention.

본 발명에 따른 이동통신 단말기 및 이를 이용한 사진영상 분류 방법에 의하면, 촬영된 사진을 자동으로 분류하여 저장함으로써 사용자가 특정 사진의 검색을 편리하게 할 수 있도록 하는 효과가 있다.According to the mobile communication terminal according to the present invention and a method of classifying photographic images using the same, the user can conveniently search for a specific photograph by automatically classifying and storing the photographed photograph.

또한 본 발명에 따르면, 자동으로 분류되기 원하는 사진을 사용자가 언제든지 촬영하여 저장하고 학습시킬 수 있는 효과가 있다.In addition, according to the present invention, there is an effect that the user can always take a picture that you want to be automatically sorted, stored and learned.

Claims

Taking a reference picture to detect a face region and performing a preprocessing process;

Extracting a feature through the preprocessing and generating a learning DB for classifying a photo;

Thereafter, when the picture is taken, detecting a face area of the taken picture and performing a preprocessing process;

Extracting a feature through the preprocessing process, and comparing the similarity with a learning DB to automatically classify the picture.

The method of claim 1,

The reference picture for the learning is a picture image classification method using a mobile communication terminal, characterized in that for updating.

The method of claim 1,

The reference picture is a picture image classification method using a mobile communication terminal, characterized in that the user-centered face picture.

The method of claim 1,

The reference picture is a picture image classification method using a mobile communication terminal, characterized in that at least one or more including a different expression, lighting, poses.

The method of claim 1,

The preprocessing process may include processing the detected face region into a gray scale image;

Processing the converted image into a light-corrected image using histogram smoothing;

And reducing the illumination corrected image to a predetermined size.

The method of claim 1,

The feature extraction is a method for classifying photographic images using a mobile communication terminal (D-LDA).

The method of claim 1,

The picture classification is a picture image classification method using a mobile communication terminal, characterized in that using a support vector machine.

The method of claim 1,

The picture classification is classified into a picture image using a mobile communication terminal, characterized in that automatically classified into a user-centered face pictures and other people's face pictures.

The method of claim 1,

And classifying and storing a reservoir bit of JPEG when the photograph classification result is classified as a user face photograph.

A camera which takes a picture and takes a reference picture for comparing with the picture;

A storage unit for storing a learning DB obtained by analyzing the reference picture and performing a learning process;

And a video recognition unit for automatically classifying pictures by comparing the taken pictures with the learned reference pictures.

The method of claim 10,

The image recognition unit is a mobile communication terminal, characterized in that for processing the reference picture and the photographed picture and extract the features of the face.

The method of claim 10,

The image recognition unit is a mobile communication terminal for retrieving a picture image, characterized in that to automatically classify the picture using a support vector machine.

The method of claim 10,

And the storage unit stores at least one photo to be compared to extract features of the reference photo.