KR102195922B1 - Internet-based facial beautification system - Google Patents
Internet-based facial beautification system Download PDFInfo
- Publication number
- KR102195922B1 KR102195922B1 KR1020197000965A KR20197000965A KR102195922B1 KR 102195922 B1 KR102195922 B1 KR 102195922B1 KR 1020197000965 A KR1020197000965 A KR 1020197000965A KR 20197000965 A KR20197000965 A KR 20197000965A KR 102195922 B1 KR102195922 B1 KR 102195922B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- beautification
- image
- facial
- unit
- Prior art date
Links
- 230000001815 facial effect Effects 0.000 title claims abstract description 60
- 238000001514 detection method Methods 0.000 claims abstract description 43
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000013135 deep learning Methods 0.000 claims abstract description 15
- 238000005516 engineering process Methods 0.000 claims abstract description 12
- 238000000034 method Methods 0.000 claims description 33
- 238000003860 storage Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 11
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 230000008859 change Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 238000009826 distribution Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 claims description 2
- 210000000056 organ Anatomy 0.000 claims description 2
- 230000036548 skin texture Effects 0.000 claims description 2
- 230000005477 standard model Effects 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000005034 decoration Methods 0.000 claims 1
- 238000013507 mapping Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000003796 beauty Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012797 qualification Methods 0.000 description 1
- 238000004445 quantitative analysis Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G06K9/00228—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G06T3/0012—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/04—Context-preserving transformations, e.g. by using an importance map
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 이미지와 동영상 획득유닛, 얼굴 검출 유닛과 미화 처리 유닛을 포함하는 인터넷에 기반하는 얼굴 미화 시스템을 공개하고, 인터넷 플랫폼에 기반하여, ‘딥러닝’기술을 적용하는 얼굴 미화 시스템을 제공하여, 얼굴 외모지수 예측과 자동 미화를 융합하여 얼굴 이미지를 미화하고, 이미지 손상을 방지하여, 사용자가 수동으로 복잡한 이미지 미화 조작을 해야 하는 불편함을 해소할 수 있는 동시에 사용자들 간의 교류, 견해를 공유하는 커뮤니티 및 자신을 보여주는 개인 홈페이지를 제공하여 사용자의 다방면의 수요를 충족시킨다.The present invention discloses an Internet-based face beautification system including an image and video acquisition unit, a face detection unit and a beautification processing unit, and provides a face beautification system that applies'deep learning' technology based on the Internet platform. , By fusing facial appearance index prediction and automatic beautification, the facial image is beautified, and image damage is prevented, eliminating the inconvenience of having to manually manipulate complex image beautification, while at the same time sharing exchanges and views among users. It meets the needs of users in various fields by providing a personal homepage showing the community and themselves.
Description
본 발명은 인터넷, 머신 러닝과 생체 특징 인식 시스템 분야에 관한 것으로, 특히 인터넷에 기반하는 얼굴 미화 시스템에 관한 것이다. The present invention relates to the field of Internet, machine learning and biometric feature recognition systems, and more particularly, to a face beautification system based on the Internet.
현재, 스마트폰과 인터넷 기술이 발전함에 따라, 소셜 미디어는 점점 사람들의 주목을 받게 되는데, 소셜 미디어에 개인 생활 사진, 여행사진을 업로드하는 것은 사람들의 생활에서 없어서는 안될 부분으로 되었으나, 원본 이미지의 이미징 품질에 대한 불만족 또는 개인 외모에 대한 '자신없음'으로 인해, 이미지를 소셜 미디어에 업로드하기 전에 흔히 먼저 포토샵을 하여 이미지의 시각적 효과를 개선하도록 한다. 우선, 사람들이 자기 자신의 아름다움(뷰티풀) 정도에 대한 인식이 부족하고, 정량적인 분석과 비교가 없어, 소프트웨어 툴을 사용하여 이미지를 미화하여 관상효과를 개선할 수 있을지라도, 통상적으로 하나의 포토샵 소프트웨어를 숙련되게 장악하고 완벽한 포토샵을 구현하는 작업량이 너무 크기에, 대량의 시간과 노력을 투입해야 되고, 이미지가 미화 처리된 후, 국부적인 디테일 처리가 이상적이지 못하고 전반적으로 왜곡되게 표시되는 등 문제가 자주 존재한다. 기존의 해결수단에서 얼굴 이미지 미화와 얼굴 외모지수 예측은 서로 다른 소프트웨어에서 구현된다. 그리고, 기존의 외모지수 채점 소프트웨어는 얼굴 이미지에 대해서만 채점 예측하고, 구체적인 얼굴과 예측 점수에 대하여 평점 높고 낮음의 판단근거를 제공하지 않았고 시각적 효과를 개선하는 미화 방안을 제공하지 않았으며, 미화 소프트웨어를 사용하여 포토샵할 때, 여전히 개인의 주관적인 인식에 의거하여 부단히 안면의 미적 감각을 조절해야 한다. 얼굴 외모지수 예측과 얼굴 미화를 어떻게 함께 융합하는지에 있어서, 예측 점수의 높고 낮음에 의하여 시스템은 맞춤성이 있는 미화방안을 제공하여 얼굴을 자동적으로 미화하고, 이미지 품질의 손상을 야기하는 것을 방지하는 것이 가장 급선무로 해결해야 할 과제이다.Currently, with the development of smartphones and internet technology, social media is getting more and more attention from people. Uploading personal life photos and travel photos on social media has become an indispensable part of people's lives, but imaging of original images Due to dissatisfaction with the quality or'confidence' of the personal appearance, it is often the first time to photoshop the image before uploading it to social media to improve the visual effect of the image. First of all, although people lack awareness of the degree of their own beauty (beauty), and there is no quantitative analysis and comparison, although it is possible to improve the coronal effect by beautifying the image using a software tool, usually one Photoshop Problems such as the task of mastering the software skillfully and implementing a perfect Photoshop is too large, requiring a large amount of time and effort, and after the image has been beautified, local detail processing is not ideal and the overall display is distorted. Often exists. In the existing solution, face image beautification and face appearance index prediction are implemented in different software. In addition, the existing appearance index scoring software did not provide scoring predictions for face images only, did not provide the basis for judgment of high and low ratings for specific faces and prediction scores, did not provide beautification measures to improve visual effects, and beautification software. When using Photoshop, you still have to constantly adjust the aesthetic sense of your face based on your subjective perception. In how to fuse the face appearance index prediction and face beautification together, the system provides a tailored beautification plan by the high and low prediction scores to automatically beautify the face and prevent damage to the image quality. This is the most urgent task to be solved.
상기 내용을 해결하기 위하여, 본 발명은 얼굴 외모지수 예측과 자동 미화를 융합하여 얼굴 이미지를 미화하고, 이미지 손상을 방지하는 인터넷 플랫폼에 기반하는 얼굴 미화 시스템을 제공하는데 그 목적이 있다.In order to solve the above, an object of the present invention is to provide a face beautification system based on an internet platform that beautifies a face image by fusing facial appearance index prediction and automatic beautification, and prevents image damage.
본 발명이 기술적 과제를 해결하는데 사용되는 기술적 해결수단은 다음과 같다.The technical solutions used to solve the technical problem of the present invention are as follows.
인터넷에 기반하는 얼굴 미화 시스템은, The Internet-based facial beautification system,
클라이언트단에서 이미지와 동영상을 획득하고 처리하여 서버단에 업로드하기 위한 이미지와 동영상 획득유닛; An image and video acquisition unit for acquiring and processing images and videos at the client end and uploading them to the server end;
상기 이미지와 동영상 획득유닛이 업로드한 정보를 검출하여, 결과를 클라이언트단 또는 미화 처리 유닛에 피드백하기 위한 얼굴 검출 유닛; A face detection unit configured to detect information uploaded by the image and video acquisition unit and feed back a result to a client end or a beautification processing unit;
얼굴 검출 유닛이 검출한 얼굴 정보를 처리하여, 결과를 얼굴 검출 유닛 또는 클라이언트단에 피드백하기 위한 미화 처리 유닛을 포함한다. And a beautification processing unit for processing the face information detected by the face detection unit and feeding the result back to the face detection unit or the client end.
더 나아가, 상기 이미지와 동영상 획득유닛이 촬영한 원본 이미지를 RAW 고화질 포맷으로 저장하고, 이미지 처리 알고리즘을 호출하여 이의 해상도를 낮추고, 선명화를 향상시키고 콘트라스트를 증가하여, 저선명도 이미지를 얻어, 소프트웨어 처리가 완료된 후, 두 폭의 이미지를 인터넷으로 서버에 업로드하고, 서버가 이미지를 수신한 후, 저선명도 이미지는 얼굴 검출, 얼굴 인증과 얼굴 키포인트 검출을 위한 것이고, 고선명도 이미지는 얼굴을 미화하기 위한 것이다.Furthermore, the image and the original image captured by the moving picture acquisition unit are stored in RAW high-definition format, and the image processing algorithm is called to lower its resolution, improve sharpness and increase the contrast, thereby obtaining a low-definition image. After the processing is complete, the image of two widths is uploaded to the server through the Internet, and after the server receives the image, the low-definition image is for face detection, face authentication and face keypoint detection, and the high-definition image is for beautifying the face. For.
더 나아가, 상기 이미지와 동영상 획득유닛은 이미지 자원을 저장하기 위한 것으로, 로컬 저장과 서버단 저장인 두가지 방식을 포함하되, 로컬 저장은 이미지를 클라이언트단의 저장 매체에 저장하기 위한 것이고, 서버단 저장은 이미지 자원을 공용 클라우드 저장 플랫폼과 서버 저장 플랫폼에 저장하기 위한 것이며, 여기서 네트워크 클라우드에 저장되는 클라우드 플랫폼 저장 자원을 1000M으로 한정하고, 서버에 저장되는 플랫폼 저장 자원을 200M으로 한정한다.Further, the image and video acquisition unit is for storing image resources, and includes two methods of local storage and server-side storage, but local storage is for storing images in a storage medium at the client side, and server side storage. Is for storing image resources in a common cloud storage platform and server storage platform, where the cloud platform storage resources stored in the network cloud are limited to 1000M, and the platform storage resources stored in the server are limited to 200M.
더 나아가, 상기 얼굴 검출 유닛은 장거리 원격 얼굴 이미지 검출을 포함하고, 얼굴 검출 알고리즘을 원격 서버에 배치하여, 로컬 클라이언트단에서 알고리즘에 미리 남겨둔 API 인터페이스를 호출하여 원격 서버에서 처리하고, 클라이언트단 이미지 업로드, 클라우드 얼굴 검출과 서버 이미지 다운로드인 3 개 과정을 포함하고, 상기 클라이언트단 이미지 업로드는 클라이언트단에서 이미지를 서버에 업로드하기 위한 것이고, 상기 얼굴 검출 유닛은 서버에 배치된 얼굴 검출 알고리즘을 호출하여 수신된 이미지에 대하여 얼굴 검출 처리를 진행하기 위한 것이며, 상기 서버 이미지 다운로드는 서버가 처리된 이미지, 얼굴 좌표를 클라이언트단에 피드백하도록 하기 위한 것이다.Further, the face detection unit includes long-distance remote face image detection, deploys a face detection algorithm to a remote server, calls an API interface left in advance in the algorithm at the local client end, processes it at the remote server, and uploads the image at the client end. , Cloud face detection and server image download, and the client-side image upload is for uploading the image to the server at the client-side, and the face detection unit calls and receives a face detection algorithm arranged on the server. A face detection process is performed on the image, and the server image download is for causing the server to feed back the processed image and face coordinates to the client end.
더 나아가, 상기 얼굴 검출 유닛은 클라우드 얼굴 키포인트 검출을 포함하되, 얼굴 안면 형상을 나타내는 68 개 관건 특징점을 장거리 원격 검출하여, 얼굴 안면 오관영역을 결정하고 특징을 추출하도록 하기 위한 것인 바, 상기 알고리즘은 저선명도 이미지에서 진행되고, 추출된 키포인트 좌표를 클라이언트단에 피드백하고 얼굴 미화 알고리즘에 전송한다.Further, the face detection unit includes cloud face keypoint detection, and is for remotely detecting 68 key feature points representing facial facial shape over a long distance to determine facial facial ocular area and extract features, the algorithm Is processed on the low-definition image, and the extracted keypoint coordinates are fed back to the client end and transmitted to the face beautification algorithm.
더 나아가, 상기 얼굴 검출 유닛은 클라우드 얼굴 인증 기능을 포함하되, 원시 얼굴 이미지와 얼굴 미화 유닛으로 미화된 이미지가 동일한 사람인지를 판단하기 위한 것인 바, 얼굴 미화 파라미터를 너무 크게 조절하여 유사도가 너무 낮고, 시스템 기본값인 유사도 역치 0.4보다 낮으면, 다시 미화 처리를 진행하는 것이다.Furthermore, the face detection unit includes a cloud face authentication function, but is for determining whether the raw face image and the image beautified by the face beautification unit are the same person. The similarity is too large by adjusting the face beautification parameter too large. If it is low and is lower than the system default similarity threshold of 0.4, the beautification process is performed again.
더 나아가, 상기 미화 처리 유닛은 ‘딥러닝’에 기반하는 얼굴 뷰티풀 예측 알고리즘을 사용하여 얼굴 이미지의 뷰티풀 정도를 예측하여, 얼굴 뷰티풀 정도를 나타내는 예측 점수를 획득하고, 뷰티풀 예측 점수는 백점제를 사용하되, 1 점으로부터 100 점까지 100 개의 점수로 분할하고, 1 점일 경우 가장 못생겼다고 평가하고, 100 점일 경우 가장 아름답다고 평가하여, 점수가 높을수록 뷰티풀 정도가 더욱 높고 반대일 경우 더욱 낮다.Furthermore, the beautification processing unit predicts the beautiful degree of a face image by using a facial beautiful prediction algorithm based on'deep learning', obtains a prediction score indicating the beautiful face degree, and uses a white point system for the beautiful prediction score. However, from 1 point to 100 points, it is divided into 100 points, and if it is 1 point, it is evaluated as the ugly, and if it is 100 points, it is evaluated as the most beautiful. The higher the score, the higher the degree of beautifulness and the lower the opposite case.
더 나아가, 상기 미화 처리 유닛은 오관 뷰티풀 외모지수 예측을 포함하고, 상기의 오관 뷰티풀 외모지수 예측은 얼굴 외모지수를 예측하는 기초상에서, 오관 뷰티풀 예측 알고리즘을 통하여, 추출된 얼굴 특징과 안면의 68 개 관건 특징점에 의하여 얼굴 오관 형상을 추출하고, 뷰티풀 정도를 예측하며, 뷰티풀 예측은 백점제를 사용하되, 1 점으로부터 100 점까지 100 개의 점수로 분할하고, 1 점일 경우 가장 못생겼다고 평가하고, 100 점일 경우 가장 아름답다고 평가하여, 점수가 높을 수록 뷰티풀 정도가 더욱 높고 반대일 경우 더욱 낮다. 여기서 안면 오관(五官) 중의 눈, 눈섭, 입, 코인 사관（四官）에 대해서만 평가를 진행한다. Furthermore, the beautification processing unit includes prediction of the beautiful appearance index of the five-view, and the prediction of the beautiful appearance index of the five-view is based on the prediction of the facial appearance index, and the extracted facial features and 68 facial features are obtained through the beautiful prediction algorithm. The facial shape is extracted by the key feature points, the beautiful degree is predicted, and the beautiful prediction is performed using a white point system, but divided into 100 points from 1 point to 100 points, and if it is 1 point, it is evaluated as the uglyest, 100 points. The case is evaluated as the most beautiful, and the higher the score, the higher the beautiful degree and the lower the opposite. Here, only the eyes, brows, mouths, and coin officers among the five facial features are evaluated.
더 나아가, 상기 미화 처리 유닛은 얼굴 뷰티풀 데이터 베이스를 포함하고, 상기 얼굴 뷰티풀 데이터 베이스에는 아시아 각 주요국가와 지역의 얼굴 구조 형상, 오관 분포, 피부색, 피부가 매끄러운 정도, 남성 얼굴 뷰티풀 표준 템플릿, 여성 얼굴 뷰티풀 표준 템플릿, 남성 오관 뷰티풀 표준 템플릿과 여성 오관 뷰티풀 표준 템플릿 등의 데이터를 저장되고, 얼굴 뷰티풀 예측 평가에 대한 사전학습으로서, 데이터 베이스에는 상이한 지역의 수많은 얼굴 이미지 트레이닝에 기반하는 예측 모델이 저장되었다. Further, the beautification processing unit includes a beautiful facial database, and the facial beautiful database includes facial structure shapes, five-view distribution, skin color, smoothness of the skin, beautiful standard templates for men's faces, and women's faces. Data such as the beautiful face standard template, the male five-view beautiful standard template, and the female five-view beautiful standard template are stored, and as a pre-learning for the beautiful facial prediction evaluation, the database stores prediction models based on numerous facial image training in different regions. Became.
더 나아가, 상기 미화 처리 유닛은 미화 실시 유닛과 자동 미화 유닛을 포함하고, 상기 미화 실시 유닛은 얼굴 미화 알고리즘이 얼굴 뷰티풀 데이터 베이스로부터 뷰티풀 표준 모델을 선택하도록 이끌어주기 위한 것이다. 상기 자동 미화 유닛은 시스템이 미화 실시 방안에 의하여 자동적으로 얼굴 오관을 매끄럽게 조절하고, 얼굴 표면의 피부결 원모습을 변화시키지 않는 것이다.Further, the beautification processing unit includes a beautification execution unit and an automatic beautification unit, and the beautification execution unit is for guiding a facial beautification algorithm to select a beautiful standard model from a facial beautiful database. In the automatic beautification unit, the system automatically adjusts the facial cavities smoothly and does not change the original shape of the skin texture on the face surface according to the beautification implementation method.
더 나아가, 상기 시스템은,Furthermore, the system,
사용자 회원가입, 로그인과 개인화 앱 설정기능을 포함하여, 얼굴 인식 기술과 지문 인식 기술에 의하여 소프트웨어 계정에 대한 로그인과 유지보수를 구현하는 소프트웨어 기초기능 유닛; A software basic function unit that implements login and maintenance for a software account using face recognition technology and fingerprint recognition technology, including user registration, login and personalization app setting functions;
제 3 자 소셜 미디어 계정 로그인을 포함하고, 즉시 채팅은 네트워크 친구사귀기 채팅을 위한 것으로, 기타 사용자를 친구로 추가하여, 그룹별 관리 모드를 사용하여 시스템 정보와 친구가 사용자 개인 네트워크 공간에 남긴 댓글 정보를 수신하는 즉시 통신 유닛; Including third-party social media account login, instant chat is for network make-up chat, adding other users as friends, using group management mode, system information and comments information left by friends in the user's personal network space A communication unit upon receipt of;
개인 홈페이지와 EXE 네트워크 갤러리 전시를 포함하여, 개별적인 공간 꾸미기, 글자 입력, EXE 네트워크 갤러리를 자동적으로 플레이할 수 있고, EXE 네트워크 갤러리 온라인 제작과 온라인 다운로드 기능을 지원하는 개인 홈페이지 유닛을 더 포함한다.Including personal homepage and EXE network gallery exhibition, it can decorate individual spaces, enter text, and play EXE network gallery automatically, and further includes a personal homepage unit that supports EXE network gallery online creation and online download functions.
본 발명의 유리한 효과는 아래와 같다.Advantageous effects of the present invention are as follows.
본 발명은 인터넷 플랫폼에서 ‘딥러닝’의 얼굴 미화를 구현하고, 클라이언트단에 의하여 사용자의 얼굴 이미지를 수집하여 압축 처리한 후, 인터넷으로 서버에 업로드하고, 서버에서 얼굴 검출, 얼굴 인증, 얼굴 키포인트 검출과 얼굴 미화 알고리즘 처리를 진행하여, 핸드폰 성능이 부족하여 딥러닝 네트워크를 실행할 수 없는 폐단을 방지하였다. 아울러, 얼굴 뷰티풀 예측과 얼굴 미화를 융합하여 뷰티풀을 예측하는 동시에, 사용자가 설정한 해당 파라미터에 의하여, 시스템에 의해 자동적으로 최적화 방안을 추천하고, 아핀 등 이미지 처리기술과 딥러닝, 매니폴드 러닝 등 머신 러닝 알고리즘에 의하여, 얼굴 형, 오관의 일부를 매끄럽게 조절하여, 얼굴을 더욱 높은 뷰티풀 평점값으로 변화시킨다. 모든 과정은 시스템에 의하여 자동으로 완성되고, 안면 위치에 대해서만 일부 미학적으로 매끄럽게 조절하여, 이미지 전체에 영향을 주지 않고, 처리 완료 후, 처리 흔적을 남기지 않는다. The present invention implements the face beautification of'deep learning' on the Internet platform, collects and compresses the user's face image by the client end, uploads it to a server through the Internet, and detects faces, faces authentication, and face key points from the server. By processing the detection and facial beautification algorithm, we prevented the disruption in which the deep learning network could not be executed due to insufficient mobile phone performance. In addition, while predicting beautiful by fusion of beautiful facial prediction and facial beautification, the system automatically recommends an optimization method according to the corresponding parameter set by the user, and image processing technology such as affine, deep learning, manifold learning, etc. By using a machine learning algorithm, the face shape and part of the five senses are smoothly adjusted to change the face to a higher beautiful score. All processes are automatically completed by the system, and only partially aesthetically smoothly adjusted for the facial position, so as not to affect the entire image and leave no trace of processing after processing.
본 발명은 하나의 소프트웨어로서, 인터넷과 생체 특징 인식 기술을 결합하여, 지능화와 전자동 처리기능을 구비하여 이미지의 처리 속도와 미화 품질을 향상시킬 수 있다.The present invention, as one piece of software, combines the Internet and biometric feature recognition technology to provide intelligent and fully automatic processing functions to improve image processing speed and beautification quality.
도 1은 본 발명의 시스템 블록도이다.
도 2는 본 발명에 도시된 이미지 미화 흐름도이다. 1 is a system block diagram of the present invention.
2 is a flow chart of image beautification shown in the present invention.
본 발명이 해결하고자 하는 기술적 과제, 기술적 해결수단 및 유리한 효과가 더욱 명확해지도록 하기 위하여, 이하 실시예를 결합하여, 본 발명을 상세하게 설명한다. 여기서 기술되는 구체적인 실시예는 본 발명을 해석하기 위한 것일 뿐, 본 발명을 한정하기 위한 것이 아니다. In order to further clarify the technical problems, technical solutions, and advantageous effects to be solved by the present invention, the present invention will be described in detail by combining the following examples. The specific examples described herein are only for interpreting the present invention, but not for limiting the present invention.
본 출원의 실시예에서는 인터넷에 기반하는 시스템, 이동단말기에 적용되는 얼굴 미화 APP을 제공하는 바, 본 얼굴 미화 APP은 이미지 촬영과 동영상 녹화, 이미지와 동영상 저장, 클라우드 얼굴 검출, 클라우드 얼굴 키포인트 검출, 클라우드 얼굴 인증, 클라우드 얼굴 외모지수 예측, 클라우드 오관 외모지수 예측, 얼굴 뷰티풀 데이터 베이스, 얼굴 미화 방안과 얼굴 자동 미화, 즉시 채팅과 개인 네트워크 공간 기능을 포함하고; 상기 얼굴 미화 APP은 소프트웨어 회원가입, 로그인과 개인화 앱 설정기능을 더 포함하며, In the embodiment of the present application, a face beautification APP applied to an Internet-based system and a mobile terminal is provided. The face beautification APP is used for image capture and video recording, image and video storage, cloud face detection, cloud face keypoint detection, Cloud facial authentication, cloud facial appearance index prediction, cloud false appearance index prediction, facial beautiful database, facial beautification plan and automatic facial beautification, instant chat and personal network space functions; The face beautification APP further includes software membership registration, login and personalization app setting functions,
소프트웨어를 실행한 후, 시스템 로그인과 회원가입 화면을 기본적으로 열되, 본 소프트웨어를 처음 사용할 경우, 회원가입해야 시스템에 들어갈 수 있고, 그렇지 않을 경우 시스템의 어떠한 기능도 사용할 수 없게 되며, 상기 소프트웨어는 제 3 자 소셜 미디어 계정 회원가입과 로그인을 지원한다. 기본적으로 전화번호를 사용하여 회원가입할 수도 있고, 전자 이메일을 사용하여 회원가입할 수도 있다. 성공적으로 회원가입되면, 시스템에 들어간 후, 설정화면에서 소프트웨어 PIN 코드, 도형 비밀번호, 지문 인식과 얼굴 인식 로그인 방식을 설정할 수 있고, 소프트웨어는 로그인 계정과 비밀번호를 자동으로 기록한다.After running the software, the system login and membership screens are opened by default. However, when using this software for the first time, you must register as a member to enter the system, otherwise you will not be able to use any functions of the system. Supports 3rd party social media account membership and login. Basically, you can sign up for membership using your phone number, or you can sign up for membership using e-mail. Upon successful membership registration, after entering the system, you can set the software PIN code, figure password, fingerprint recognition, and face recognition login method on the setting screen, and the software automatically records the login account and password.
더 나아가, 상기 소프트웨어의 부분적 기능은 ‘딥러닝’기술로 개발된 알고리즘으로 구현되는 바, 핸드폰 성능이 부족하여 딥러닝 네트워크를 실행할 수 없기에, 상기 소프트웨어는 클라우드 서버에 배치된 얼굴 검출, 얼굴 인증, 얼굴 키포인트 검출과 얼굴 미화 알고리즘을 사용하여, 클라이언트단에서 이미지를 수집하고, 알고리즘에 미리 남겨둔 API 인터페이스를 호출하여 이미지를 클라우드 서버에 전송하여 알고리즘을 구현하고, 검출 알고리즘 처리가 완료된 후, 서버는 결과를 클라이언트단에 피드백하고, 클라이언트단에 표시한다. 알고리즘이 서버에서 구현되어 이미지 업로드와 다운로드의 과정과 연관되기에, 좋은 네트워크 조건으로 소프트웨어의 사용체험도를 향상하는 것이 매우 중요하다. Furthermore, the partial function of the software is implemented with an algorithm developed with'deep learning' technology, and since the deep learning network cannot be executed due to lack of mobile phone performance, the software is used for face detection, face authentication, and Using face keypoint detection and face beautification algorithm, the client side collects the image, calls the API interface left in the algorithm, and transmits the image to the cloud server to implement the algorithm, and after the detection algorithm processing is completed, the server returns the result. Is fed back to the client side and displayed on the client side. Since the algorithm is implemented in the server and is related to the process of uploading and downloading images, it is very important to improve the experience of using the software with good network conditions.
더 나아가, 클라이언트단은 이미지를 수집하여 서버에 업로드한 후, 서버에서 ‘딥러닝’알고리즘을 사용하여 얼굴을 검출하되, 얼굴이 검출가능하면, 알고리즘은 얼굴 ROI 좌표로 리턴되고, 서버에 의해 클라이언트단으로 리턴되어, 클라이언트단이 드로잉 알고리즘을 호출하여, 이미지에서 빨간 네모꼴 형식으로 얼굴 영역을 선택하고; 얼굴이 검출되지 않을 경우, 시스템은 에러 메시지로 리턴되어, 이미지를 교환하여 다시 테스트하도록 요구한다. 검출 알고리즘에 의하여 얼굴이 검출되는 동시에 얼굴의 68 개 특징점도 검출되고, 서버는 검출된 정보를 클라이언트단에 피드백하고 기타 알고리즘에 전송한다. 얼굴 미화 단계에서, 클라이언트로 리턴된 68 개 키포인트는 얼굴 이미지에서 나타나지 않는 바, 보기가 필요할 경우, 소프트웨어 설정에서 상응한 기능을 실행해야 된다. Furthermore, the client side collects the image and uploads it to the server, and then detects the face using the'deep learning' algorithm in the server. If the face is detectable, the algorithm is returned to the face ROI coordinates, and the server Returning to the stage, the client stage calls the drawing algorithm, and selects the face area in the form of a red square from the image; If a face is not detected, the system returns with an error message, requesting that the image be exchanged and tested again. The face is detected by the detection algorithm, and 68 feature points of the face are also detected, and the server feeds the detected information back to the client and transmits it to other algorithms. In the face beautification step, the 68 keypoints returned to the client do not appear in the face image, so if viewing is required, the corresponding function must be executed in the software settings.
더 나아가, ‘딥러닝’ 얼굴 검출 알고리즘에 의하여 얼굴과 68 개 특징점이 검출된 후, 이어서 이미지 처리기술을 사용하여, 얼굴 오관영역을 분할하여, 오관의 구체적인 위치와 영역을 위치결정하고, 사용자가 제출한 이미지 파라미터 예를 들어 출생지, 성별, 나이 등에 의하여, 시스템은 데이터 베이스로부터 대응 영역, 성별과 나이 대에서 트레이닝된 ‘딥러닝’ 뷰티풀 모델을 검색하여, 얼굴 뷰티풀 예측과 오관 뷰티풀 예측을 진행하되, 사용자가 개인의 이미지 파라미터를 제공하지 않을 경우, 시스템은 기본적으로 성별과 나이를 테스트하고, 공용 트레이닝 모델을 호출하여 퍼즈 시험을 진행하고, 서로 다른 국가와 지역의 사람들의 용모와 심미(美)관념에서 차이가 나기에 퍼즈 알고리즘으로 예측되는 뷰티풀 결과는 비교적 큰 편차가 생길 수 있고, 시스템이 향후 제공하는 미화 방안도 매칭되지 않을 수 있는 바, 예를 들어 신장(新疆) 사람의 오관 미화 방안을 강소성과 절강성 사람에게 추천하게 된다. Furthermore, after the face and 68 feature points are detected by the'deep learning' face detection algorithm, the face is then segmented using image processing technology to determine the specific location and area of the face, and the user can Based on the submitted image parameters, for example, place of birth, gender, age, etc., the system searches for a'deep learning' beautiful model trained in the corresponding domain, gender and age group from the database, and proceeds with beautiful face prediction and five-view beautiful prediction. , If the user does not provide individual image parameters, the system basically tests gender and age, calls a common training model to conduct a fuzz test, and the appearance and aesthetics of people in different countries and regions. Because there is a difference in conception, the beautiful result predicted by the fuzz algorithm may have relatively large deviations, and the beautification method provided by the system in the future may not match. For example, the mistaken beautification method of Xinjiang. It is recommended to people in Jiangsu Province and Zhejiang Province.
더 나아가, 시스템이 얼굴과 오관의 뷰티풀 정도를 예측한 후, 정보를 클라이언트단에 피드백하고, 클라이언트단의 화면에 표시하며, 얼굴과 오관의 뷰티풀 예측 점수는 백점제를 사용하되, 여기서, 1 점일 경우 가장 못생겼다고 표시되고, 100 점일 경우, 가장 아름답다고 표시되며, 점수가 높을 수록, 뷰티풀 정도는 더욱 높고, 반대일 경우 더욱 낮다. 사용자가 뷰티풀 평점을 받은 후, 이어서 얼굴 미화 파라미터를 설정할 수 있는 바, 예를 들어 달성하고자 하는 뷰티풀 점수, 달성하고자 하는 나이대 등을 설정하여 시스템이 설정된 파라미터에 의하여 최적화 모델을 자동적으로 선택하고 최적화 참조방안을 제공하도록 한다. 시스템은 사용자가 제출한 파라미터를 획득한 후, 뷰티풀 분석 데이터 베이스 중의 뷰티풀 모델을 호출하고, 매니폴드 러닝방법, 딥러닝과 이미지 처리 중의 아핀 변환기술을 사용하여, 오관을 설정된 뷰티풀 정도 모델에 매핑한 후, 딥러닝 방법으로 빛의 밝기 등 디테일을 융합하여, 처리된 안면 기관과 얼굴을 완벽하게 융합시키고, 사용자는 파라미터를 설정하지 않아도 되는 바, 알고리즘은 기본적으로 표준화 처리를 진행하여, 표준 뷰티풀 정도보다 낮은 오관을 미세조절한다. Furthermore, after the system predicts the beautiful degree of the face and the five senses, the information is fed back to the client side and displayed on the screen of the client side, and the beautiful prediction score of the face and the five senses uses a 100 point system, where: 1 point. If the score is 100 points, it is marked as the most beautiful. The higher the score, the higher the beautiful degree, and the opposite is the lower. After the user has received the Beautiful Rating, the facial beautification parameter can be set, for example, the beautiful score to be achieved, the age group to be achieved, etc., and the system automatically selects the optimization model according to the set parameters and refers to the optimization. Provide a solution. After acquiring the parameters submitted by the user, the system calls the beautiful model in the beautiful analysis database, and maps the error to the set beautiful degree model using the manifold learning method, deep learning and affine transformation technology during image processing. After that, by fusion of details such as brightness of light using a deep learning method, the processed facial organs and faces are perfectly fused, and the user does not need to set parameters.The algorithm basically proceeds with standardization processing to achieve a standard beautiful degree. Fine-tune the lower five canals.
더 나아가, 이미지를 미화 처리한 후, 이어서 ‘딥러닝’ 얼굴 인증 알고리즘을 사용하여 미화 처리된 이미지와 원본 이미지가 여전히 동일한 사람인 지를 판단한다. 알고리즘은 유사도로 측정하되, 얼굴 오관은 조절된 후, 얼굴 안면 특징 디테일이 변화되어, 다시 측정되어 추출된 특징점은 차이가 있어, 알고리즘은 동일한 사람에 대한 판단결과를 직접 제공할 수 없고, 하나의 판정 유사도를 제공하는 바, 유사도는 백점제를 사용하고, 0으로부터 100 점까지 100 개의 점수로 분할하되, 여기서 0은 완전히 다를 경우를 나타내고, 100은 완전히 같은 경우를 나타내며, 점수가 높을 수록 유사도 또한 더욱 높고, 반대일 경우 더욱 낮다. 시스템은 기본적으로 하나의 얼굴 유사도 역치를 설정하는 바, 즉 0.4로 설정하되, 이미지가 처리된 후, 유사도가 이 역치보다 낮으면, 다시 미화 처리를 진행한다. 이 역치는 시스템 설정에서 수정할 수 있다. 상기 소프트웨어에는 얼굴 인증 기능 또한 집적되어, 사용자가 동시에 두 장의 이미지를 업로드하여 인증할 수 있고, 이때 시스템 처리 후, 동일한 사람이거나 또는 동일한 사람이 아닌지에 대한 판단결과를 제공한다. Furthermore, after beautifying the image, it is then determined whether the beautified image and the original image are still the same person using a "deep learning" face authentication algorithm. The algorithm is measured by similarity, but after the facial error is adjusted, the facial feature details of the face are changed, and the feature points extracted after being measured again are different, so the algorithm cannot directly provide the judgment result for the same person. Determination similarity is provided, and similarity is divided into 100 scores from 0 to 100 points, where 0 indicates completely different cases, 100 indicates completely the same cases, and higher scores indicate similarity. Higher, and lower if vice versa. The system basically sets one face similarity threshold, that is, 0.4, but after the image is processed, if the similarity is lower than this threshold, the beautification process proceeds again. This threshold can be modified in the system settings. A face authentication function is also integrated in the software, so that a user can simultaneously upload and authenticate two images. At this time, after system processing, a determination result of whether the user is the same person or not the same person is provided.
더 나아가, 사용자는 자신의 원본 이미지와 처리된 이미지를 소프트웨어 공용 플랫폼에 업로드하여 보여주어, 기타 사용자의 평점을 받게 되는 바, 평점 시스템은 10 개의 점수를 설정하되, 1 부터 10 까지 이고, 여기서 1 은 가장 못생겼다고 표시되고, 10 은 가장 아름답다고 표시되며, 점수가 높을 수록 뷰티풀 정도가 더욱 높고, 반대일 경우 더욱 낮으며, 친구는 채점하는 동시에 시스템에 설정된 얼굴 뷰티풀 판단에 관련된 문제에 대답할 수도 있고, 이미지 하단에 댓글을 남길 수도 있다. 시스템은 친구의 참여상황, 평점 수치, 평점 계산 통계 히스토그램, 외모지수 평균치와 평점 수치 분산에 의하여, 사용자가 참조하기 편리하도록 하여 평점의 효율성을 고찰하도록 한다. 사용자는 기타 사용자와의 PK에도 참여가능하여, '좋아요' 받기 형식으로 제한된 시간 내에 '좋아요'를 많이 받으면 승리로 인정되어 한 라운드가 더 높은 PK 시합에 진입하게 된다. Furthermore, users upload their original images and processed images to the software common platform and show them, and receive ratings from other users. The rating system sets 10 points, but from 1 to 10, where 1 Is marked as the ugliest, 10 is marked as the most beautiful, and the higher the score, the higher the beautiful degree, and the lower the opposite, and the friend can score and answer questions related to the facial beautiful judgment set in the system. , You can also leave a comment at the bottom of the image. The system considers the efficiency of the rating by making it convenient for the user to refer to the friend's participation status, rating value, rating calculation statistics histogram, appearance index average value and rating value distribution. Users can also participate in PK with other users, so if they receive a lot of'Like' within a limited time in the form of receiving'Like', it is recognized as a victory and one round enters a higher PK match.
더 나아가, 사용자는 자신의 개인공간에 이미지, 동영상과 EXE 전자 갤러리를 업로드할 수도 있되, 전자 갤러리는 온라인 제작과 로컬 업로드가 지원되고, 온라인으로 제작된 전자 갤러리는 다운로드가 지원된다. 개인 공간 갤러리에 있는 이미지는 대량으로 외모지수 채점과 미화 처리 조작을 지원하고, 사용자는 평점 흔적을 보류하는 것을 선택할 수 있다. Furthermore, users can upload images, videos, and EXE electronic galleries to their personal space, but online production and local upload are supported for electronic galleries, and download is supported for electronic galleries created online. Images in the personal space gallery support scoring and beautification processing in a large amount, and the user can choose to hold the rating trail.
더 나아가, 사용자들 간의 소통과 교류의 편리를 도모하기 위하여, 상기 소프트웨어는 즉시 채팅 기능을 개통하되, 사용자는 공용 보여주기 플랫폼에서 투표 채점된 이미지에 대한 새로운 투표와 평가를 받은 후, 투표 정보와 평가 정보는 시스템에 의해 채팅 기능 영역에 전달되어, 사용자는 관련 자문 정보를 수시로 획득할 수 있다.Furthermore, in order to facilitate communication and exchange between users, the software immediately opens the chat function, but the user receives a new vote and evaluation for the vote-scored image on the public display platform, The evaluation information is transmitted to the chat function area by the system, so that the user can obtain related advisory information from time to time.
더 나아가, 상기 포스팅과 댓글 달기 자격 심사는 규범화된 소프트웨어를 사용하고, 문명한 발언을 장려하고 국가이익에 해롭고 타인의 합법적 권익을 침해하는 언론을 금지발표하기 위한 것인 바, 제 3 자 알고리즘에 의해 검출되어, 소프트웨어 사용규칙을 위반하는 언론이 발견되면, 줄거리의 엄중한 상황에 따라 삭제하기와 발언 금지 등 처벌을 준다. Furthermore, the above posting and commenting qualification screening is for prohibiting the press using standardized software, encouraging civilized remarks, harming national interests, and infringing upon the legitimate rights and interests of others. If a media that violates the software usage rules is detected, it is subject to punishment such as deletion and prohibition of speech according to the severe situation of the plot.
상술한 바와 같이, 이는 본 발명의 바람직한 실시예일 뿐, 본 발명을 한정하기 위한 것이 아니며, 본 발명의 원칙과 취지 내에서 진행한 어떠한 수정, 등가적 대체와 개선 등이든지, 모두 본 발명의 보호범위에 속할 것이다.As described above, this is only a preferred embodiment of the present invention, and is not intended to limit the present invention, and any modifications, equivalent replacements, and improvements made within the principles and spirit of the present invention, all are the scope of the present invention. Will belong to
Claims (11)
상기 이미지와 동영상 획득유닛이 업로드한 정보를 검출하여, 결과를 클라이언트단 또는 미화 처리 유닛에 피드백하기 위한 얼굴 검출 유닛;
상기 얼굴 검출 유닛이 검출한 얼굴 정보를 처리하는 미화 처리 유닛으로서, 상기 얼굴 검출 유닛에 의해 검출된 얼굴 정보에 대응하는 모델을 획득하고, 매니폴드 러닝방법, 딥러닝 방법과 아핀 변환기술을 사용하여, 얼굴 검출 유닛에 의해 검출된 얼굴 정보를 상기 모델에 매핑시키고, 상기 얼굴 검출 유닛이 검출한 상기 얼굴 정보 및 상기 모델에 대한 디테일을 딥러닝 방법에 의해 융합시키는 것에 의해 상기 얼굴 검출 유닛이 검출한 상기 얼굴 정보를 미화처리 하고, 그 결과를 상기 얼굴 검출 유닛 또는 클라이언트단에 피드백하기 위한 미화 처리 유닛; 을 포함하는 것을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
An image and video acquisition unit for acquiring, processing, and uploading images and videos to a server;
A face detection unit configured to detect information uploaded by the image and video acquisition unit and feed back a result to a client end or a beautification processing unit;
As a beautification processing unit that processes the face information detected by the face detection unit, a model corresponding to the face information detected by the face detection unit is obtained, and a manifold learning method, a deep learning method and an affine transformation technology are used. , By mapping the face information detected by the face detection unit to the model, and fusing the face information detected by the face detection unit and the details of the model by a deep learning method, the face detection unit detects A beautification processing unit for processing the face information to beautify and feeding the result back to the face detection unit or a client end; Internet-based facial beautification system comprising a.
상기 이미지와 동영상 획득유닛이 촬영한 원본 이미지를 RAW 고화질 포맷으로 저장하고, 이미지 처리 알고리즘을 호출하여 이의 해상도를 낮추고, 선명화를 향상시키고 콘트라스트를 증가하여, 저선명도 이미지를 얻어, 소프트웨어 처리가 완료된 후, 두 폭의 이미지를 인터넷으로 서버에 업로드하고, 서버가 이미지를 수신한 후, 저선명도 이미지는 얼굴을 검출하기 위한 것이고, 고선명도 이미지는 얼굴을 미화하기 위한 것임을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
The method of claim 1,
The image and the original image captured by the moving picture acquisition unit are stored in RAW high-definition format, and the resolution thereof is lowered by calling an image processing algorithm, sharpening is improved and contrast is increased to obtain a low-definition image, and software processing is completed. After that, the two-width image is uploaded to the server through the Internet, and after the server receives the image, the low-definition image is for detecting a face, and the high-definition image is for beautifying the face. Facial beautification system.
상기 이미지와 동영상 획득유닛은 또한 이미지 자원을 저장하기 위한 것으로, 로컬 저장과 서버단 저장인 두가지 방식을 포함하되, 로컬 저장은 이미지를 클라이언트단의 저장 매체에 저장하기 위한 것이고, 서버단 저장은 이미지 자원을 공용 클라우드 저장 플랫폼과 서버 저장 플랫폼에 저장하기 위한 것임을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
The method of claim 2,
The image and video acquisition unit is also for storing image resources, and includes two methods of local storage and server-side storage, and local storage is for storing images in a storage medium at the client side, and server-side storage is for storing images. Internet-based facial beautification system, characterized in that for storing resources in a common cloud storage platform and a server storage platform.
상기 얼굴 검출 유닛은 얼굴 검출 알고리즘을 원격 서버에 배치하고, 로컬 클라이언트단에서 알고리즘에 미리 남겨둔 API 인터페이스를 호출하여, 원격 서버에서 이미지를 처리하고, 상기 얼굴 검출 유닛은 클라이언트단 이미지 업로드 유닛, 클라우드 얼굴 검출 유닛과 서버 이미지 다운로드 유닛을 포함하고, 상기 클라이언트단 이미지 업로드 유닛은 클라이언트단에서 이미지를 서버에 업로드하기 위한 것이고, 상기 클라우드 얼굴 검출 유닛은 서버에 배치된 얼굴 검출 알고리즘을 호출하여 수신된 이미지에 대하여 얼굴 검출 처리를 진행하기 위한 것이며, 상기 서버 이미지 다운로드 유닛은 서버가 처리된 이미지, 얼굴 좌표를 클라이언트단에 피드백하도록 하기 위한 것임을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
The method according to any one of claims 1 to 3,
The face detection unit arranges a face detection algorithm on a remote server, calls an API interface left in advance in the algorithm at a local client end, and processes an image at the remote server, and the face detection unit is a client side image upload unit, a cloud face. A detection unit and a server image download unit are included, and the client-side image upload unit is for uploading an image to the server at the client-side, and the cloud face detection unit calls a face detection algorithm disposed on the server to transmit the received image. The face beautification system based on the Internet, characterized in that for performing a face detection process, and wherein the server image download unit feeds back the processed image and face coordinates to the client end by the server.
상기 얼굴 검출 유닛은 클라우드 얼굴 키포인트 검출유닛을 더 포함하되, 얼굴 안면 형상을 나타내는 68 개 관건 특징점을 장거리 원격 검출하여, 얼굴 안면 오관영역을 결정하고 특징을 추출하도록 하기 위한 것인 바, 상기 얼굴 검출 과정은 저선명도 이미지에서 진행되고, 추출된 키포인트 좌표를 클라이언트단에 피드백하고 얼굴 미화 알고리즘에 전송하는 것을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
The method of claim 4,
The face detection unit further includes a cloud face keypoint detection unit, for remotely detecting 68 key feature points representing the facial facial shape over a long distance to determine a facial facial ocular area and extract features, the face detection An Internet-based face beautification system, characterized in that the process is performed on a low-definition image, and the extracted keypoint coordinates are fed back to the client end and transmitted to a face beautification algorithm.
상기 얼굴 검출 유닛은 클라우드 얼굴 인증 유닛을 더 포함하되, 원시 얼굴 이미지와 얼굴 미화 유닛으로 미화된 이미지가 동일한 사람인지를 판단하기 위한 것인 바, 유사도가 너무 낮고, 시스템 기본값인 유사도 역치보다 낮으면, 다시 미화 처리를 진행하는 것을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
The method of claim 5,
The face detection unit further includes a cloud face authentication unit, which is for determining whether the raw face image and the image beautified by the face beautification unit are the same person.If the similarity is too low and is lower than the system default similarity threshold , Internet-based facial beautification system, characterized in that the beautification process is performed again.
상기 미화 처리 유닛은 얼굴 검출 알고리즘을 사용하여 얼굴 이미지의 뷰티풀 정도를 예측하여, 얼굴 뷰티풀 정도를 나타내는 예측 점수를 획득하고, 뷰티풀 예측 점수는 백점제를 사용하되, 1 점으로부터 100 점까지 100개의 점수로 분할하고, 1 점일 경우 가장 못생겼다고 평가하고, 100 점일 경우 가장 아름답다고 평가하여, 점수가 높을 수록 뷰티풀 정도가 더욱 높고 반대일 경우 더욱 낮음을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
The method of claim 4,
The beautification processing unit predicts the beautiful degree of the face image using a face detection algorithm to obtain a prediction score representing the beautiful degree of the face, and the beautiful prediction score uses a white point system, but 100 points from 1 point to 100 points An Internet-based facial beautification system characterized by the fact that the score is divided into 1 and the score is the ugly, and the score is 100 as the most beautiful. The higher the score, the higher the degree of beautifulness and the lower the opposite.
상기 미화 처리 유닛은 오관 뷰티풀 외모지수 예측유닛을 더 포함하고, 상기의 오관 뷰티풀 외모지수 예측유닛은 얼굴 외모지수를 예측하는 기초상에서, 오관 뷰티풀 예측 알고리즘을 통하여, 추출된 얼굴 특징과 안면의 68 개 관건 특징점에 의하여 얼굴 오관 형상을 추출하고, 뷰티풀 정도를 예측하며, 뷰티풀 예측은 백점제를 사용하되, 1 점으로부터 100 점까지 100개의 점수로 분할하고, 1 점일 경우 가장 못생겼다고 평가하고, 100 점일 경우 가장 아름답다고 평가하여, 점수가 높을 수록 뷰티풀 정도가 더욱 높고 반대일 경우 더욱 낮음을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
The method of claim 7,
The beautification processing unit further includes a five-view beautiful appearance index prediction unit, and the five-view beautiful appearance index prediction unit includes 68 facial features and facial features extracted through the five-view beautiful prediction algorithm on the basis of predicting the facial appearance index. By extracting the shape of the facial five pipes by key feature points, predicting the degree of beautifulness, and using a white point system for beautiful prediction, divided into 100 points from 1 point to 100 points, and if it is 1 point, it is evaluated as the uglyest, 100 points. An Internet-based facial beautification system characterized by the fact that it is evaluated as the most beautiful in the case, and the higher the score, the higher the degree of beautifulness and the lower the opposite.
상기 미화 처리 유닛은 얼굴 뷰티풀 데이터 베이스를 더 포함하고, 상기 얼굴 뷰티풀 데이터 베이스는 아시아 각 주요국가와 지역의 얼굴 구조 형상, 오관 분포, 피부색, 피부가 매끄러운 정도, 남성 얼굴 뷰티풀 표준 템플릿, 여성 얼굴 뷰티풀 표준 템플릿, 남성 오관 뷰티풀 표준 템플릿과 여성 오관 뷰티풀 표준 템플릿 데이터를 저장하는 것을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
The method of claim 8,
The beautification processing unit further includes a beautiful facial database, and the beautiful facial database includes facial structure shapes in major Asian countries and regions, distribution of five organs, skin color, smoothness of skin, beautiful standard template for male face, beautiful female face. Internet-based facial beautification system, characterized by storing data of a standard template, a beautiful standard template for a male five-view and a beautiful standard template for a female five-view.
상기 미화 처리 유닛은 미화 실시 유닛과 자동 미화 유닛을 포함하고, 상기 미화 실시 유닛은 얼굴 미화 알고리즘이 얼굴 뷰티풀 데이터 베이스로부터 뷰티풀 표준 모델을 선택하도록 이끌어 주기 위한 것이고, 상기 자동 미화 유닛은 시스템이 미화 실시 방안에 의하여 자동적으로 얼굴 오관을 매끄럽게 조절하고, 얼굴 표면의 피부결 원모습을 변화시키지 않는 것임을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.
The method of claim 9,
The beautification processing unit includes a beautification execution unit and an automatic beautification unit, the beautification execution unit is for guiding the facial beautification algorithm to select a beautiful standard model from the facial beautiful database, and the automatic beautification unit is the system beautification execution An Internet-based facial beautification system, characterized in that it automatically smoothes the facial five canals and does not change the original appearance of the skin texture on the surface of the face.
상기 시스템은,
사용자 회원가입, 로그인과 개인화 앱 설정기능을 포함하여, 얼굴 인식 기술과 지문 인식 기술에 의하여 소프트웨어 계정에 대한 로그인과 유지보수를 구현하는 소프트웨어 기초기능 유닛;
제 3 자 소셜 미디어 계정 로그인을 포함하고, 즉시 채팅은 네트워크 친구사귀기 채팅을 위한 것으로, 기타 사용자를 친구로 추가하여, 그룹별 관리 모드를 사용하여 시스템 정보와 친구가 사용자 개인 네트워크 공간에 남긴 댓글 정보를 수신하는 즉시 통신 유닛;
개인 홈페이지와 EXE 네트워크 갤러리 전시를 포함하여, 개별적인 공간 꾸미기, 글자 입력, EXE 네트워크 갤러리를 자동적으로 플레이할 수 있고, EXE 네트워크 갤러리 온라인 제작과 온라인 다운로드 기능을 지원하는 개인 홈페이지 유닛; 을 더 포함하는 것을 특징으로 하는 인터넷에 기반하는 얼굴 미화 시스템.The method of claim 1,
The system,
A software basic function unit that implements login and maintenance for a software account using face recognition technology and fingerprint recognition technology, including user registration, login and personalization app setting functions;
Including third-party social media account login, instant chat is for network make-up chat, adding other users as friends, using group management mode, system information and comments information left by friends in the user's personal network space A communication unit upon receipt of;
Personal homepage unit that can automatically play individual space decoration, text input, EXE network gallery, including personal homepage and EXE network gallery exhibition, and supports EXE network gallery online creation and online download functions; Internet-based facial beautification system, characterized in that it further comprises.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710498941.6 | 2017-06-27 | ||
| CN201710498941.6A CN107392110A (en) | 2017-06-27 | 2017-06-27 | Beautifying faces system based on internet |
| PCT/CN2017/109834 WO2019000777A1 (en) | 2017-06-27 | 2017-11-08 | Internet-based face beautification system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190018483A KR20190018483A (en) | 2019-02-22 |
| KR102195922B1 true KR102195922B1 (en) | 2020-12-29 |
Family
ID=60333671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197000965A KR102195922B1 (en) | 2017-06-27 | 2017-11-08 | Internet-based facial beautification system |
Country Status (4)
| Country | Link |
|---|---|
| JP (1) | JP6773883B2 (en) |
| KR (1) | KR102195922B1 (en) |
| CN (1) | CN107392110A (en) |
| WO (1) | WO2019000777A1 (en) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107995428B (en) * | 2017-12-21 | 2020-02-07 | Oppo广东移动通信有限公司 | Image processing method, image processing device, storage medium and mobile terminal |
| CN108040296B (en) * | 2017-12-25 | 2020-08-28 | 北京奇虎科技有限公司 | Live-broadcast dress decorating method and device based on self-adaptive tracking frame segmentation |
| CN108629296A (en) * | 2018-04-17 | 2018-10-09 | 广州视源电子科技股份有限公司 | Image processing method and device |
| CN109508620A (en) * | 2018-08-01 | 2019-03-22 | 上海晨鱼网络科技有限公司 | Cosmetic method, system, electric terminal and storage medium based on augmented reality |
| CN109145865A (en) * | 2018-09-07 | 2019-01-04 | 北京相貌空间科技有限公司 | Face standard level calculating method and device |
| CN109712082B (en) * | 2018-12-05 | 2020-08-07 | 厦门美图之家科技有限公司 | Method and device for collaboratively repairing picture |
| CN110188652A (en) * | 2019-05-24 | 2019-08-30 | 北京字节跳动网络技术有限公司 | Processing method, device, terminal and the storage medium of facial image |
| CN110414489A (en) * | 2019-08-21 | 2019-11-05 | 五邑大学 | A kind of face beauty prediction technique based on multi-task learning |
| CN110688946A (en) * | 2019-09-26 | 2020-01-14 | 上海依图信息技术有限公司 | Public cloud silence in-vivo detection device and method based on picture identification |
| CN110889352A (en) * | 2019-11-18 | 2020-03-17 | 珠海全志科技股份有限公司 | Image blurring processing method, computer device, and computer-readable storage medium |
| CN110933354B (en) * | 2019-11-18 | 2023-09-01 | 深圳传音控股股份有限公司 | Customizable multi-style multimedia processing method and terminal thereof |
| CN111274919A (en) * | 2020-01-17 | 2020-06-12 | 桂林理工大学 | Method, system, server and medium for detecting five sense organs based on convolutional neural network |
| CN111343472B (en) * | 2020-02-21 | 2023-05-26 | 腾讯科技（深圳）有限公司 | Image processing effect adjusting method, device, equipment and medium |
| CN111489311B (en) * | 2020-04-09 | 2023-08-08 | 北京百度网讯科技有限公司 | Face beautifying method and device, electronic equipment and storage medium |
| CN111598818B (en) * | 2020-04-17 | 2023-04-28 | 北京百度网讯科技有限公司 | Training method and device for face fusion model and electronic equipment |
| CN113554557A (en) * | 2020-04-26 | 2021-10-26 | 华为技术有限公司 | Method for displaying skin details in augmented reality mode and electronic equipment |
| WO2021237736A1 (en) * | 2020-05-29 | 2021-12-02 | 深圳市大疆创新科技有限公司 | Image processing method, apparatus and system, and computer-readable storage medium |
| CN112991155A (en) * | 2020-10-16 | 2021-06-18 | 陈晶晶 | Human face beautifying instruction processing method based on big data and artificial intelligence |
| CN113421197B (en) * | 2021-06-10 | 2023-03-10 | 杭州海康威视数字技术股份有限公司 | Processing method and processing system of beautifying image |
| CN113688708A (en) * | 2021-08-12 | 2021-11-23 | 北京数美时代科技有限公司 | Face recognition method, system and storage medium based on probability characteristics |
| CN113643417B (en) * | 2021-08-17 | 2023-06-27 | 腾讯科技（深圳）有限公司 | Image adjustment method, device, electronic equipment and storage medium |
| CN116074618B (en) * | 2023-03-31 | 2023-07-25 | 广州翼拍联盟网络技术有限公司 | Intelligent photographing service method, system and storage medium for preventing portrait information leakage |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100596498B1 (en) * | 2004-06-30 | 2006-07-03 | 전자부품연구원 | Online face recognition system based on multi frame |
| KR101254177B1 (en) * | 2011-10-07 | 2013-04-19 | 위아코퍼레이션 주식회사 | A system for real-time recognizing a face using radial basis function neural network algorithms |
| KR101634701B1 (en) * | 2011-11-15 | 2016-06-29 | 페이스북, 인크. | Facial recognition using social networking information |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004246673A (en) * | 2003-02-14 | 2004-09-02 | Fuji Photo Film Co Ltd | Face image processing device and system |
| KR101901591B1 (en) * | 2011-11-01 | 2018-09-28 | 삼성전자주식회사 | Face recognition apparatus and control method for the same |
| CN104346136B (en) * | 2013-07-24 | 2019-09-13 | 腾讯科技（深圳）有限公司 | A kind of method and device of picture processing |
| CN103761536B (en) * | 2014-01-28 | 2017-03-22 | 五邑大学 | Human face beautifying method based on non-supervision optimal beauty features and depth evaluation model |
| CN104537612A (en) * | 2014-08-05 | 2015-04-22 | 华南理工大学 | Method for automatically beautifying skin of facial image |
| JP2016085579A (en) * | 2014-10-24 | 2016-05-19 | 大学共同利用機関法人情報・システム研究機構 | Image processing apparatus and method for interactive device, and the interactive device |
| CN104503749B (en) * | 2014-12-12 | 2017-11-21 | 广东欧珀移动通信有限公司 | Photo processing method and electronic equipment |
| CN104574306A (en) * | 2014-12-24 | 2015-04-29 | 掌赢信息科技（上海）有限公司 | Face beautifying method for real-time video and electronic equipment |
| CN106507021A (en) * | 2015-09-07 | 2017-03-15 | 腾讯科技（深圳）有限公司 | Method for processing video frequency and terminal device |
| CN106558025B (en) * | 2015-09-29 | 2021-02-09 | 腾讯科技（深圳）有限公司 | Picture processing method and device |
| CN105469081B (en) * | 2016-01-15 | 2019-03-22 | 成都品果科技有限公司 | A kind of face key independent positioning method and system for U.S. face |
| CN105787878B (en) * | 2016-02-25 | 2018-12-28 | 杭州格像科技有限公司 | A kind of U.S. face processing method and processing device |
| CN105931211A (en) * | 2016-04-19 | 2016-09-07 | 中山大学 | Face image beautification method |
| CN105979194A (en) * | 2016-05-26 | 2016-09-28 | 努比亚技术有限公司 | Video image processing apparatus and method |
| CN106296701A (en) * | 2016-08-15 | 2017-01-04 | 北京小米移动软件有限公司 | Image processing method and device |
-
2017
- 2017-06-27 CN CN201710498941.6A patent/CN107392110A/en active Pending
- 2017-11-08 KR KR1020197000965A patent/KR102195922B1/en active IP Right Grant
- 2017-11-08 WO PCT/CN2017/109834 patent/WO2019000777A1/en active Application Filing
- 2017-11-08 JP JP2019501994A patent/JP6773883B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100596498B1 (en) * | 2004-06-30 | 2006-07-03 | 전자부품연구원 | Online face recognition system based on multi frame |
| KR101254177B1 (en) * | 2011-10-07 | 2013-04-19 | 위아코퍼레이션 주식회사 | A system for real-time recognizing a face using radial basis function neural network algorithms |
| KR101634701B1 (en) * | 2011-11-15 | 2016-06-29 | 페이스북, 인크. | Facial recognition using social networking information |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190018483A (en) | 2019-02-22 |
| CN107392110A (en) | 2017-11-24 |
| WO2019000777A1 (en) | 2019-01-03 |
| JP2019523489A (en) | 2019-08-22 |
| JP6773883B2 (en) | 2020-10-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102195922B1 (en) | Internet-based facial beautification system | |
| WO2020151489A1 (en) | Living body detection method based on facial recognition, and electronic device and storage medium | |
| US11321385B2 (en) | Visualization of image themes based on image content | |
| EP3338217B1 (en) | Feature detection and masking in images based on color distributions | |
| CN106778664B (en) | Iris image iris area segmentation method and device | |
| CN112651348B (en) | Identity authentication method and device and storage medium | |
| US9286706B1 (en) | Editing image regions based on previous user edits | |
| CN107423661A (en) | Method for obtaining maintenance information, method for sharing maintenance information and electronic device thereof | |
| CN108108012B (en) | Information interaction method and device | |
| US20140341442A1 (en) | Image masks for face-related selection and processing in images | |
| CN107146198A (en) | A kind of intelligent method of cutting out of photo and device | |
| CN101390128B (en) | Detecting method and detecting system for positions of face parts | |
| CN104063150A (en) | Mobile terminal capable of entering corresponding scene modes by means of face recognition and implementation method thereof | |
| CN104364798A (en) | Systems and method for facial verification | |
| CN109284733A (en) | A kind of shopping guide's act of omission monitoring method based on yolo and multitask convolutional neural networks | |
| CN106557726A (en) | A kind of band is mourned in silence the system for face identity authentication and its method of formula In vivo detection | |
| CN105684038A (en) | Image cache for replacing portions of images | |
| WO2021098486A1 (en) | Garment color recognition processing method, device, apparatus, and storage medium | |
| KR102455966B1 (en) | Mediating Apparatus, Method and Computer Readable Recording Medium Thereof | |
| CN110119719A (en) | Biopsy method, device, equipment and computer readable storage medium | |
| CN104780308A (en) | Information processing method and electronic device | |
| CN105849685A (en) | Editing options for image regions | |
| CN110235169A (en) | Evaluation system of making up and its method of operating | |
| WO2022227393A1 (en) | Image photographing method and apparatus, electronic device, and computer readable storage medium | |
| CN105684046B (en) | Generate image composition |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |