KR101677426B1 - Method and system for providing application feedback user interface based face recognition - Google Patents
Method and system for providing application feedback user interface based face recognition Download PDFInfo
- Publication number
- KR101677426B1 KR101677426B1 KR1020150046990A KR20150046990A KR101677426B1 KR 101677426 B1 KR101677426 B1 KR 101677426B1 KR 1020150046990 A KR1020150046990 A KR 1020150046990A KR 20150046990 A KR20150046990 A KR 20150046990A KR 101677426 B1 KR101677426 B1 KR 101677426B1
- Authority
- KR
- South Korea
- Prior art keywords
- state
- unlock
- interface
- pattern
- feedback
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008921 facial expression Effects 0.000 claims description 16
- 230000014509 gene expression Effects 0.000 claims description 6
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 claims description 2
- 230000006855 networking Effects 0.000 claims description 2
- 230000008451 emotion Effects 0.000 description 11
- 230000001939 inductive effect Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G06K9/00268—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Tourism & Hospitality (AREA)
- Computer Hardware Design (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Marketing (AREA)
- Economics (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과, 상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 한다.The method includes the steps of displaying an unlock interface through a user interrupt, receiving an unlock pattern entered through the unlock interface, detecting the received unlock pattern, Measuring a degree of state of the object corresponding to the detected unlock pattern; measuring a degree of accuracy of the type according to the type of object previously classified and calling the matched look-up table Determining the state of the measured object, and feeding back the determination result through the unlock interface.
Description
본 발명은 얼굴 표정 인식 기반 웃음 유발 어플리케이션의 피드백 UI에 관한 것이다.The present invention relates to a feedback UI of a facial expression recognition based laughter inducing application.
최근 인공지능과 패턴인식 기술이 발전함에 따라서 얼굴 표정 인식은 HCI(Human Computer Interface)에서 중요한 기술 중 하나이며, 이에 관련된 많은 연구가 진행되고 있으며, 표정 인식 기술을 통한 표정 진단과 관련해서 기술적인 연구가 활발히 이루어졌지만[1, 2] 실제적인 사용을 고려한 인터렉션 설계가 미비하여 이를 활용한 프로그램 상용화도 미지수인 실정이다. Recently, as artificial intelligence and pattern recognition technologies are developed, facial expression recognition is one of the important technologies in HCI (Human Computer Interface), and many studies related thereto have been carried out. Technological researches related to facial expression diagnosis [1], [2], [3], and [4].
또한, 사람의 얼굴 표정을 세밀하게 측정하여 사람의 감성을 진단하는 기술이 연구되고 있다[3]. 이런 기술은 얼굴 표정으로 나타나는 감정을 통해 이해 및 흥미를 파악하여 인터렉션을 도와줄 수 있어 지속적으로 발전하고 있다[4].In addition, techniques for diagnosing human emotions by measuring human facial expressions are studied [3]. This technique is continuously evolving as it helps understanding interaction and understanding through emotions expressed by facial expressions [4].
이와 관련하여, 한국공개특허 제2013-0082980호(2013. 07. 22 공개)에는 사용자의 얼굴을 인식하고 얼굴 식별을 위한 식별정보를 생성하여 생성된 사용자별 식별정보를 DB에 저장 후 잠금 해제를 시도하는 사용자의 얼굴이 상기 DB 존재하는지 여부 판단을 통해 검증된 사용자에게 기저장된 정보를 통해 맞춤형 추천 서비스를 수행하는 방법을 개시하고 있다.In this regard, Korean Patent Laid-Open Publication No. 2013-0082980 (published on Mar. 23, 2013) discloses a method for recognizing a user's face, generating identification information for identifying a face, storing identification information for each user generated in the DB, Discloses a method for performing a customized recommendation service through information previously stored in a verified user by judging whether or not the DB of the user who is attempting is present in the DB.
이러한 선행문헌은 단지 최초 저장된 고정된 사용자 얼굴을 기반으로 고정적인 서비스만을 수행하므로 변화 무쌍한 얼굴 표정을 기반으로 적응적인 서비스는 불가능하다.These prior art documents perform only fixed services based on the initially stored fixed user face, so adaptive services based on varying facial expressions are impossible.
더불어 사용자가 스스로 표정을 진단할 수 있도록 하는 기술도 연구되고 있는데[5] 기존의 연구들은 웃음의 정도를 측정할 뿐 웃음 훈련 혹은 웃음 유발을 위한 효과적 설계 방식을 논하지 않아 실용성에 의문을 남겨둔 상황이다.In addition, techniques that enable users to diagnose facial expressions themselves are being studied. [5] Existing studies have questioned practicality because they do not discuss effective design methods for laughter or laughter, .
따라서 본 발명은 사용자의 웃음의 정도를 판단하여 웃음 유형 및 레벨 범위에 따라 설정되어 특화된 UI를 사용자에게 피드백함으로써 사용자의 감정 변화에 따른 피드백이 가능하여 사용자의 감성을 진단 가능할 뿐만 아니라, 얼굴 표정으로 나타나는 감정을 통해 이해 및 흥미를 파악하여 물품, 어플리케이션, 여행지, 맛집 등을 추천하여 감성 기반 인터렉션(interaction) 메커니즘을 통해 사용자의 접근성이 높고, 자신을 점검 가능한 자기 표현의 매체 어플리케이션 기술을 제공하고자 한다.Therefore, the present invention judges the degree of laughter of the user and is set according to the laughing type and the level range, and by feeding the specialized UI to the user, the feedback according to the change of the user's emotions can be made and not only the user's emotions can be diagnosed, We intend to provide a media application technique of self-expression that can be checked by users with high accessibility through user-friendly interaction mechanism by recommending items, applications, travel destinations, restaurants, etc. by grasping understanding and interest through appearing emotions .
본 발명의 일 견지에 따르면, 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하는 과정과, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과, 상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 한다.According to an aspect of the present invention, there is provided a method for controlling an unlocking device, the method comprising: displaying an unlocking interface through a user interrupt; receiving an unlocking pattern input through the unlocking interface; Determining a state of the object corresponding to the detected unlock pattern by executing a mode corresponding to the detected unlock pattern; determining a matching degree range of the type according to the previously set classified object type, Determining a state of the measured object by calling a lookup table, and feeding back the determination result through the unlock interface.
본 발명의 다른 견지에 따르면, 사용자의 얼굴을 포함하는 영상을 획득하는 카메라부와, 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력하는 터치 스크린, 상기 터치 스크린으로부터 출력된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백되도록 제어하는 제어부를 포함함을 특징으로 한다.According to another aspect of the present invention, there is provided an image processing apparatus including a camera unit for acquiring an image including a face of a user, a display unit for displaying an unlocking interface via a user interruption and outputting an unlocking pattern input through the unlocking interface A touch screen, detecting a lock release pattern output from the touch screen, executing a mode corresponding to the detected lock release pattern, measuring a state of the object corresponding to the detected lock release pattern, And a control unit for calling the matched lookup table to determine the state of the measured object and controlling the feedback of the determination result through the unlocking interface .
본 발명은 사용자의 감정 변화에 따른 피드백이 가능하여 사용자의 감성을 진단 가능할 뿐만 아니라, 얼굴 표정으로 나타나는 감정을 통해 이해 및 흥미를 파악하여 물품, 어플리케이션, 여행지, 맛집 등을 추천하여 감성 기반 인터렉션(interaction) 메커니즘을 통해 사용자의 접근성이 높고, 자신을 점검 가능한 자기 표현의 매체 어플리케이션 제공이 가능한 효과가 있다.The present invention is not only capable of diagnosing a user's emotions by providing feedback according to a user's emotional change, but also recognizing understanding and interest through emotions expressed by facial expressions, and recommending items, applications, travel destinations, restaurants, interaction mechanism, it is possible to provide a media application with a high accessibility of the user and self-checking capable of checking the self.
도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 관한 전체 흐름도.
도 2는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 잠금 해제 패턴에 대응하는 모드의 동작을 보인 상세 흐름도.
도 3은 본 발명의 일 실시 예에 따라 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 오브젝트 유형별 기설정된 피드백 UI 프로토타입(prototype)에 관한 예시도.
도 4는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치에 관한 상세 블록도.1 is an overall flowchart of a method of providing a feedback UI of a face recognition based application according to an embodiment of the present invention.
2 is a detailed flowchart illustrating an operation of a mode corresponding to an unlock pattern in a method of providing a feedback UI of a face recognition based application according to an exemplary embodiment of the present invention.
3 is a diagram illustrating an example of a feedback UI prototype according to an object type in a feedback UI providing service method of a face recognition based application according to an embodiment of the present invention.
4 is a detailed block diagram of a feedback UI providing service device of a face recognition based application according to an embodiment of the present invention.
이하 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 구성 소자 등과 같은 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. It will be appreciated that those skilled in the art will readily observe that certain changes in form and detail may be made therein without departing from the spirit and scope of the present invention as defined by the appended claims. To those of ordinary skill in the art.
본 발명은 얼굴 표정 인식 기반 웃음 유발 어플리케이션의 피드백 UI에 관한 것으로, 더욱 상세하게는 터치스크린이 구비된 단말이 화면 잠금 상태에 들어간 후, 작동 상태로 하기 위한 잠금 해제(shortcut unlocking) 인터페이스가 디스플레이된 화면에서 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 검출하고, 검출된 잠금 해제 패턴이 기설정된 패턴임을 검증 후 검증된 상기 패턴에 해당하는 오브젝트의 상태 정도를 룩업(look-up) 테이블을 통해 판단하여 오브젝트 관련 유형 및 레벨 범위에 따라 설정되어 특화된 UI를 사용자에게 피드백함으로써 사용자의 감정 변화에 따른 피드백이 가능하여 사용자의 감성을 진단 가능할 뿐만 아니라, 얼굴 표정으로 나타나는 감정을 통해 이해 및 흥미를 파악하여 물품, 어플리케이션, 여행지, 맛집 등을 추천하여 감성 기반 인터렉션(interaction) 메커니즘을 통해 사용자의 접근성이 높고, 자신을 점검 가능한 자기 표현의 매체 어플리케이션 기술을 제공하고자 한다.
BACKGROUND OF THE INVENTION 1. Field of the Invention [0002] The present invention relates to a feedback UI of a facial expression recognition-based laugh inducing application, and more particularly, to a shortcut unlocking interface for displaying an operation state after a terminal equipped with a touch screen enters a screen- The unlocking pattern inputted through the unlocking interface is detected on the screen, and the state of the object corresponding to the verified pattern is verified through a look-up table after verifying that the detected unlocking pattern is a predetermined pattern Based on the object type and level range, it is determined according to the object type and level, and feedback is provided according to the change of the user's emotions by feedback of the UI to the user. Thus, not only the user's emotions can be diagnosed, but also the emotions expressed by the facial expressions grasp understanding and interest Add items, applications, travel destinations, restaurants, etc. And to provide a media application technique of self-expression that can be checked by users with high accessibility through emotion-based interaction mechanism.
이하, 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 관해 도 1 내지 도 3을 참조하여 자세히 살펴보기로 한다.Hereinafter, a method of providing a feedback UI for a face recognition-based application according to an exemplary embodiment of the present invention will be described in detail with reference to FIGS. 1 to 3. FIG.
먼저, 도 1은 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 관한 전체 흐름도이다.1 is an overall flowchart of a method of providing a feedback UI of a face recognition based application according to an embodiment of the present invention.
도 1을 참조하면, 먼저 110 과정에서는 사용자 인터럽트(interrupt)를 통해 잠금 해제 기능이 구비된 단말의 초기 화면에 잠금 해제 인터페이스를 디스플레이하고, 112 과정에서는 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하여 수신된 잠금 해제 패턴을 검출한다.Referring to FIG. 1, in step 110, an unlocking interface is displayed on an initial screen of a terminal equipped with an unlock function through a user interrupt, and in step 112, an unlocking pattern input through the unlocking interface And detects the received unlock pattern.
이때, 상기 초기 화면에 잠금 해제 인터페이스는 잠금 수단 즉, 잠금 어플리케이션 형성을 의미하는 것으로, 상기 잠금 수단은 기설정된 시간 내 숫자 암호를 입력하여 잠금을 해제하는 방식 혹은 패턴을 입력하는 방식 등에 의해 잠금을 해제하는 방식 등이 사용자로부터 미리 설정되어 선택 사용된다. 또한, 상기 패턴을 입력하는 방식에는 이미지, 문자, 음성 등 다양한 타입의 패턴 선택 사용이 가능하며 타입별 특징 추출과 패턴 정합 부분으로 분류되어 인식된다. 본 발명에서는 카메라를 통해 입력되는 얼굴을 인식하여 잠금 해제 패턴으로 미리 설정된 패턴과 일치하는지 여부를 판정하여 일치하는 경우 화면을 잠금 해제하여 실행 화면을 제공한다.In this case, the unlocking interface on the initial screen means forming a lock means, that is, a lock application. The lock means inputs a predetermined number of numeric passwords to release the lock, or a pattern input method, And a method of releasing it are selected and used from the user in advance. In addition, various types of patterns such as images, texts, and voices can be selected for the pattern input method, and classified into feature extraction and pattern matching by type. According to the present invention, a face inputted through a camera is recognized, and it is determined whether or not it matches a preset pattern in an unlock pattern. If they match, the screen is unlocked to provide an execution screen.
또한, 상기 잠금 해제 인터페이스는 복수의 분할된 영역을 갖고, 각 분할된 영역에는 대응하는 아이템이 형성되고, 상기 분할된 영역 내의 제1 위치에는 상기 아이템과 관련된 제1 서비스를 제공하는 제1 메뉴가 미리 설정되고, 상기 제1 위치와 다른 제2 위치에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련되며 상기 제1 서비스와 다른 제2 서비스를 제공하는 제2 메뉴가 미리 설정된다.In addition, the unlocking interface has a plurality of divided areas, corresponding items are formed in each of the divided areas, and a first menu providing a first service related to the item is stored in a first position in the divided area And a second menu related to the item formed in the divided area and providing a second service different from the first service is preset in a second position different from the first position.
상기 제1 위치에는 오브젝트 유형별 피드백 UI가 제공되는 서비스인 제1 메뉴가 미리 설정되고, 상기 제2 위치에는 상기 제1 위치에 표시되는 피드백 UI에 연계된 메시지가 소정 프레임이 표시되는 서비스인 제2 메뉴가 미리 설정된다.A first menu, which is a service in which a feedback UI for each object type is provided, is preset in the first position, and a second menu, which is a service in which a message associated with the feedback UI displayed in the first position is displayed, The menu is preset.
114 과정에서는 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여, 116 과정에서 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정한다.In step 114, a mode corresponding to the detected unlock pattern is executed. In step 116, the state of the object corresponding to the detected unlock pattern is measured.
여기서, 상기 잠금 해제 패턴에 대응하는 모드는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 동작을 수행하는 모드로서, 상세히는 후술 되는 도 2의 동작 설명을 통해 상기 모드의 동작을 자세히 살펴보도록 한다.Here, the mode corresponding to the unlock pattern is a mode for performing a feedback UI providing service operation of the face recognition based application according to an exemplary embodiment of the present invention, and more specifically, .
계속해서, 118 과정에서는 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하고, 120 과정에서는 호출된 룩업 테이블을 통해 상기 측정된 오브젝트의 상태 정도를 판단한다.Subsequently, in step 118, the appropriate state accuracy range for each type is determined according to the previously set object types, and the matched lookup table is called. In step 120, the state of the measured object is determined through the called lookup table .
상기 118 과정에서 기설정되어 분류된 오브젝트 유형은, 사용자에게 웃음을 유발하는 피드백 방식을 설계하기 위해 사용 맥락을 고려하여 정의되어 분류된 것으로, 웃음 훈련을 필요로 하거나 순간의 표정관리를 원하는 목적형, 웃으려는 의도가 있으나 웃을 수 없는 상황에서 마음의 변화를 요구하는 동기형, 웃으려는 의도가 없을 때에도 자극을 받아 웃으려는 의지를 갖게 되는 수동형을 포함한다.The object types previously classified in step 118 are defined and classified in consideration of the context of use in order to design a feedback method that induces laughter to the user. The object type is classified into a target type that requires laughter training, It includes a motivational motive that demands a change of mind in a situation where there is an intention to smile but can not smile, and a passive mode that has a willingness to smile even when there is no intention to smile.
상기 목적형에 대응하는 피드백은 웃음을 정확히 평가하기 위해 웃음의 수치 정보를 제공한다.The feedback corresponding to the target type provides numerical information of laughter to accurately evaluate laughter.
상기 동기형에 대응하는 피드백은 자연스런 웃음 동기 형성을 위해 위로 및 공감의 메시지들을 제공한다.The feedback corresponding to the synchronous type provides up and empathy messages for natural laugh sync formation.
상기 수동형에 대응하는 피드백은 사용자의 표정을 가시화하는 이미지들로 웃음 의지를 부여한다.The feedback corresponding to the passive type grants the laughing will to the images that visualize the user's facial expression.
122 과정에서는 상기 120 과정에서의 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백한다.In step 122, the determination result in step 120 is fed back through the unlock interface.
여기서, 상기 피드백은 잠금 해제 인터페이스를 통해 서로 상이하게 디스플레이되는 피드백 UI가 오브젝트의 유형별로 기설정되어, 모드에 미리 설정된 유형에 따라 해당 피드백 UI를 측정된 상태 정도와 매칭되어 표시된다.Here, the feedback is displayed for different types of objects by the type of the object, and the corresponding feedback UI is matched with the measured state according to the type set in the mode.
예컨대, 상기 모드에 설정된 유형이 목적형일 경우 목적형에 해당하는 오브젝트의 상태 정도를 수치화 및 시각화하여 레벨별로 분류하여 테이블화된 룩업 테이블을 통해 레벨별 기설정되어 매칭된 피드백 UI를 확인하고, 이를 사용자에게 잠금 해제 인터페이스를 통해 도 3의 a)에서와 같이 가이드한다.For example, when the type set in the mode is a target type, the degree of state of the object corresponding to the target type is numerically expressed and visualized, classified according to the level, checked in the feedback UI previously set for each level through the tabulated lookup table, Through the unlocking interface as shown in FIG. 3 (a).
본 발명에서 피드백 UI는 오브젝트의 유형별로 분류되어 각 웃음 유발 피드백 방식에 따른 잠금 화면에 적합한 피드백 UI 방식을 묘사한다.In the present invention, the feedback UI is classified according to the object type, and describes a feedback UI method suitable for a lock screen according to each laugh-inducing feedback scheme.
이를 살펴보면, 원형 그래프로 오브젝트의 상태 정도를 시각화 및 수치화하여 표시하는 목적형, 원형 그래프로 오브젝트의 상태 정도를 시각화하거나 혹은 상태 정도별 기설정되어 매칭된 메시지가 출력되는 동기형, 잠금 해제 패턴의 상태 정도에 해당하는 기등록된 이미지 및 상기 이미지 관련 메시지를 연계하여 소정 프레임에 표시하는 수동형 피드백 UI를 포함한다.In this case, it is possible to visualize the degree of state of the object by a circular graph, to display the degree of the state of the object by a visualization and numerical representation of the state of the object, or to synchronize the output of the matched message, And a passive feedback UI for displaying the pre-registered image and the image related message in association with each other in a predetermined frame.
이때, 상기 원형 그래프는 도 3의 a) 및 b)에 각각 도시된 바와 같이 잠금 해제 인터페이스가 디스플레이되는 영역 중앙에 표시되어 상태 정도에 따라 상태 정도가 수치화된 숫자가 서로 상이하게 채색되어 표시된다.At this time, the circular graph is displayed at the center of the area where the unlocking interface is displayed as shown in FIGS. 3A and 3B, respectively, and numerals in which the degree of state is numerically displayed are colored differently from each other according to the state.
여기서, 도 3을 참조하면, 도 3은 본 발명의 일 실시 예에 따라 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 오브젝트 유형별 기설정된 피드백 UI 프로토타입(prototype)에 관한 것으로, 도 3의 a)는 원형 그래프로 웃음 정도를 시각화하고 수치를 보여주는 정량 수치화(목적형)에 관한 것으로, 좌로부터 우 방향으로 사용자의 웃음 정도에 따라서 그래프 및 숫자의 색을 붉은색-노란색-녹색 단계로 표시된다.3, a method of providing a feedback UI of a face recognition-based application according to an exemplary embodiment of the present invention includes a feedback UI prototype previously set for each object type, a) is a quantitative (objective) visualization of the degree of laughter in a circle graph and shows the numerical value. The color of the graph and the number is displayed in red-yellow-green phase according to the degree of the user's laughter from left to right .
도 3의 b)는 원형 그래프로 웃음 정도를 시각화하나 수치 없이 위로 및 공감의 메시지를 보여주는 동기 유발 메시지(동기형)에 관한 것으로, 웃음의 정도에 따라 기설정된 메시지를 보여주어 사용자의 공감을 이끌어 낸다. 사용자의 웃음 정도에 따라 그래프 및 숫자의 색을 붉은색-노란색-녹색 단계로 표시된다.FIG. 3B shows an example of an incentive message (synchronous type) that visualizes the degree of laughter in a circular graph but shows a message of up and sympathy without a numerical value. It shows a predetermined message according to the degree of laughter, I will. Depending on the degree of user laughter, the colors of the graphs and numbers are displayed in red, yellow, and green levels.
도 3의 c)에서는 그래프나 수치 표현 없이 원형 틀 안에 사용자 표정과 가장 유사한 이미지 및 보조 멘트를 보여 주는 것으로, 여기서, 이미지는 동물 이미지, 연예인 이미지 등을 활용한다.FIG. 3C shows the images and assistants most similar to the user's facial expression in a circular frame without a graph or numerical representation, wherein the image utilizes an animal image, a celebrity image, and the like.
이와 같이, 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법은 단말의 잠금 해제와 동시에 얼굴의 표정을 인식하여 웃음의 정도를 측정하고 측정된 결과를 사용자 선택에 따라 유형 및 피드백 UI 타입 기반 피드백 방식을 설정하고, 또한 웃음의 정도를 수치화 즉, 점수 방식 혹은 메시지 방식 혹은 형상화 방식으로 피드백함으로써 웃음 유발 어플리케이션의 피드백 UI를 제공한다.
As described above, the service UI providing service method of the face recognition-based application according to the embodiment of the present invention measures the degree of laughter by recognizing facial expressions at the same time when the terminal is unlocked, Feedback UI-based feedback method is set up, and the feedback UI of the laughing-inducing application is provided by feedbacking the degree of laughter to a numerical value, that is, a score method, a message method, or a formative method.
이어서, 도 2는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 있어서, 잠금 해제 패턴에 대응하는 모드의 동작을 보인 상세 흐름도이다.2 is a detailed flowchart illustrating an operation of a mode corresponding to an unlock pattern in a feedback UI providing service method of a face recognition based application according to an embodiment of the present invention.
도 2를 참조하면, 210 과정에서는 본 발명이 적용된 단말에 구비된 카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득한다.Referring to FIG. 2, in
상기 획득된 영상을 기설정된 서로 상이한 프레임 수를 갖는 프레임별로 각각 분할한다.And divides the obtained image by each frame having a predetermined number of different frames.
이때, 상기 기설정된 거리는 본 발명의 실시 예에서는 얼굴 표정을 인식 가능한 정도의 거리를 의미하는 것이고, 상기 기설정된 프레임 수는 기설정된 거리별 얼굴 영상의 생성을 위해 사용되는 프레임이 할당되는 것이지만, 본 발명이 이에 한정되지는 않는다. 기설정된 거리 내에서 서로 다른 프레임 수를 갖는 각 분할된 프레임은 얼굴 영상의 자동 생성을 위해 상기 기설정된 거리에서 촬영된 실제 영상으로부터 획득된다.Here, the preset distance means a distance in which the facial expression can be recognized in the embodiment of the present invention, and the predetermined number of frames is a frame used for generation of a predetermined distance-based face image, The invention is not limited thereto. Each segmented frame having a different number of frames within a predetermined distance is obtained from the actual image photographed at the predetermined distance for automatic generation of the facial image.
212 과정에서는 분할된 프레임별 영상으로부터 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출한다.In
여기서, 상기 얼굴 인식 알고리즘은 전체 영상 공간에서 얼굴의 윤곽, 눈, 턱 및 입의 위치 인식을 통하여 얼굴을 인식하는 기술로서, 상기 획득된 얼굴 영상으로부터 사용자의 얼굴들에 해당하는 얼굴 영역을 검출하기 위한 공지된 다양한 방법들이 사용될 수 있다. 예를 들어, 얼굴의 구성 요소인 눈, 코, 입 등의 크기 및 위치 등의 기하학적 특징으로 인식하는 방법과 주성분 분석 기법(PCA : Principal Component Analysis), 선형 판별 분석 기법(LDA : Linear Discriminant Analysis)와 같은 얼굴 전체의 통계적인 값을 특징으로 인식하는 방법이 있다. Here, the face recognition algorithm is a technique of recognizing a face through recognition of a face contour, an eye, a jaw, and a mouth in a whole image space, and detects a face region corresponding to a user's face from the obtained face image Various known methods can be used. For example, it is possible to recognize geometric features such as the size and position of eyes, nose, and mouth, which are face components, Principal Component Analysis (PCA), Linear Discriminant Analysis (LDA) And a method of recognizing a statistical value of the entire face as a feature.
214 과정에서는 상기 추출된 얼굴 영상으로부터 오브젝트 상태 정도를 결정짓는 기설정된 특징점을 추출하고, 216 과정에서 추출된 상기 특징점으로부터 해당 오브젝트의 상태 정도를 측정하여 218 과정에서 기설정된 피드백 UI를 표시한다.In
이때, 상기 오브젝트는 웃음 정도가 측정 가능한 웃음 표정이고, 상기 상태 정도는 상기 웃음 표정에 대응되는 웃음량이 측정되어 레벨화된 것이다.At this time, the object is a laughing expression capable of measuring the degree of laughter, and the degree of state is a level of laughter measured corresponding to the laughing expression.
상기 기설정된 특징점은, 얼굴 근육 움직임 정보를 이용하여 표정을 인식하여 웃음 정도를 측정하기 위한 것으로, 사용자로부터 등록된 얼굴 영상을 기준으로 상기 얼굴의 소정 위치를 특징점으로 미리 설정하고, 설정된 특징점에 해당하는 현재 입력된 영상 내 위치의 움직임 정보를 추정하여 오브젝트의 상태 정도를 측정한다. 예를 들어, 미간 사이의 특징점들이 중앙으로 모인 경우 눈썹의 안쪽에 부여된 특징점들이 하측으로 내려간 경우 또는 입술의 양쪽 끝에 부여된 특징점들이 내려간 경우에 특징점이 변화하였다고 판단한다.The predetermined feature point is used to measure the degree of laughter by recognizing facial expressions using the facial muscle motion information. The predetermined feature point is set in advance as a feature point on the basis of the face image registered by the user, And estimates the state of the object by estimating motion information of the currently input intra-image position. For example, if the feature points between the eyes are gathered at the center, it is judged that the feature points are changed when the feature points given to the inner side of the eyebrow go downward or the feature points given to both ends of the lips go down.
이후, 본 발명에서는 상기 잠금 해제 패턴에 대응하는 모드에 설정된 서브 모드에 따라 제1 혹은 제2 서브 모드로 모드 전환되어 해당 서브 모드에 따른 동작을 수행한다.Thereafter, in the present invention, the mode is switched to the first or second sub mode according to the sub mode set in the mode corresponding to the unlock pattern, and the operation according to the sub mode is performed.
더욱 상세하게는 220 과정에서 제1 서브 모드로 모드 전환된 경우 222 과정에서는 상기 피드백 서비스 수행 후 잠금이 해제된 인터페이스를 통해 해당 피드백 UI별 사용자의 만족도를 수집한다.More specifically, if the mode is switched from the first sub mode to the first sub mode in
상기 만족도는 잠금 해제된 실행 화면에서 별도의 윈도우를 통해 수집되는 것으로, 기설정된 주기별 혹은 잠금 해제 발생별 상기 잠금 해제를 위한 잠금 해제 패턴에 대응하는 상태 정도 관련 피드백 UI의 만족도를 수집하여 저장하고, 네트워크를 통해 연동된 서빙(serving) 서비스 서버로 전송한다.The satisfaction level is collected through a separate window on the unlocked execution screen. The satisfaction level of the feedback UI related to the unlock pattern for unlocking is collected and stored for each predetermined period or unlocking occurrence , And transmits it to a serving service server linked through a network.
이때, 상기 서빙 서비스 서버는 224 과정의 동작을 통해 오브젝트의 유형별 매칭된 피드백 UI별 해당 사용자의 만족도를 수집하여 상기 피드백 UI별 선호도에 대한 이력을 추가로 저장, 관리한다.At this time, the serving service server collects the satisfaction of the corresponding user by the feedback UI matched according to the type of the object through the operation of the
226 과정에서는 네트워크를 통해 단말로부터 요청된 오브젝트 유형별 매칭된 UI별 선호 이력을 표시하여 실행 화면 초기에 피드백 UI별 이력을 토대로 사용자 평판을 동시에 표시하여 이를 참고로 모드에 웃음을 유발하는 피드백 UI를 선별하여 적응적으로 설정한다.In
한편, 228 과정에서는 제2 서브 모드로 모드 전환되어 그 이후의 동작을 수행한다. 230 과정에서는 상기 검출된 잠금 해제 패턴의 오브젝트를 잠금이 해제된 인터페이스 즉, 실행 화면의 별도의 윈도우를 통해 표시한다.On the other hand, in
232 과정에서는 표시된 오브젝트를 해당 시간 정보와 함께 저장한다.In
234 과정의 동작을 통해 사용자 호출 여부를 체크하고, 사용자 호출이 발생된 경우 236 과정으로 이동하여 시간 순 순차 축적된 오브젝트를 표시한다.In
238 과정에서는 시간별 오브젝트에 대응하는 상태 정도에 따라 기설정된 서비스를 제공한다.In
이때, 상기 기설정된 서비스는, 상기 오브젝트에 대응하는 상태 정도별 출력되는 수치 데이터를 기반으로 연계된 SNS(social networking service) 서비스 서버를 통해 연동된 서비스를 추천하는 것으로, 이를 통해 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법은 단말의 잠금 해제와 동시에 측정된 얼굴 인식 기반 웃음의 상태 정도 데이터를 통해 사용자에게 필요한 것들을 추천해주기 때문에 사용자의 접근성이 좋고, 수시로 웃음을 측정하기 때문에 사용자가 자신을 점검하기 유용하다.
At this time, the preset service recommends a service linked through a social networking service (SNS) service server based on the numerical data output for each state level corresponding to the object. The feedback UI providing service method of the face recognition based application according to the example recommends the user through the state degree data of the laughter based on the measured face recognition at the same time when the terminal is unlocked so that the user's accessibility is good and the laughter is measured occasionally This is useful for users to check themselves.
이상, 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법에 관해 살펴보았다.Hereinabove, a method of providing a feedback UI for a face recognition based application according to an embodiment of the present invention has been described.
이하, 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치에 관해 도 4를 참조하여 자세히 살펴보기로 한다.Hereinafter, a feedback UI providing service device of a face recognition based application according to an embodiment of the present invention will be described in detail with reference to FIG.
도 4는 본 발명의 일 실시 예에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치에 관한 상세 블록도이다.4 is a detailed block diagram of a feedback UI providing service device of a face recognition based application according to an embodiment of the present invention.
도 4를 참조하면, 본 발명이 적용된 장치는 카메라부(410), 터치스크린(412), 검출부(414), 모드 실행부(416), 제어부(418), 피드백 UI(420), 상태 정도 측정부(422), 얼굴 인식 알고리즘(424) 및 룩업 테이블(426)을 포함한다.4, the apparatus to which the present invention is applied includes a
상기 카메라부(410)은 사용자의 얼굴을 포함하는 영상을 획득한다.The
상기 터치스크린(412)는 본 발명이 적용된 장치의 전반적인 동작 실행 화면을 표시하고, 사용자로부터 발생되는 데이터를 입력받는다. 또한, 상기 터치스크린(412)는 사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력한다.The
상기 제어부(418)는 터치 스크린(412)으로부터 출력된 잠금 해제 패턴을 검출부(414)를 통해 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 모드 실행부(416)를 제어하여 실행한다.The
또한, 상기 제어부(418)는 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 상태 정도 측정부(422)를 통해 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블(426)을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 대응하는 피드백 UI가 피드백되도록 제어한다.In addition, the
이때, 상기 기설정되어 분류된 오브젝트 유형은, 웃음 훈련을 필요로 하거나 순간의 표정관리를 원하는 목적형, 웃으려는 의도가 있으나 웃을 수 없는 상황에서 마음의 변화를 요구하는 동기형, 웃으려는 의도가 없을 때에도 자극을 받아 웃으려는 의지를 갖게 되는 수동형을 포함한다.At this time, the pre-set classified object types are motivational type requiring a change of mind in a situation in which laughter training is required, a purpose-oriented person who wants to manage the expression of the moment, a person who intends to laugh but can not laugh, It also includes a passive type that has the will to smile when stimulated.
그리고, 상기 제어부(418)는 잠금 해제 인터페이스를 통해 서로 상이하게 디스플레이되는 피드백 UI가 오브젝트의 유형별로 기설정되어 모드에 설정된 유형에 따라 해당 피드백 UI를 측정된 상태 정도와 매칭하여 표시하여 터치스크린(412)를 통해 피드백한다.The
여기서, 상기 피드백 UI는 원형 그래프로 오브젝트의 상태 정도를 시각화 및 수치화하여 표시하는 목적형, 원형 그래프로 오브젝트의 상태 정도를 시각화하거나 혹은 상태 정도별 기설정되어 매칭된 메시지가 출력되는 동기형, 잠금 해제 패턴의 상태 정도에 해당하는 기등록된 이미지 및 상기 이미지 관련 메시지를 연계하여 소정 프레임에 표시하는 수동형 피드백 UI를 포함한다.Herein, the feedback UI is a circular graph, which is a target or circular graph that visualizes and quantifies the state of the object, and visualizes the state of the object, or synchronously outputs a matched message, And a passive feedback UI that displays a pre-registered image corresponding to the state of the pattern and the image related message in association with each other in a predetermined frame.
상기 원형 그래프는, 잠금 해제 인터페이스가 디스플레이되는 영역에 표시되어 상태 정도에 따라 상태 정도가 수치화된 숫자가 서로 상이하게 채색되어 표시된다.The circle graph is displayed in an area in which the unlocking interface is displayed, and the numerical values of the degree of state are colored differently according to the degree of state.
상기 모드 실행부(416)은 제어부(418)의 제어 하에 모드를 스위칭하여 해당 모드를 실행하는 것으로, 카메라부(410)를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하고, 기설정된 얼굴 인식 알고리즘(424)을 이용하여 얼굴을 인식 및 추출하여 추출된 얼굴 영상으로부터 오브젝트 상태 정도를 결정짓는 기설정된 특징점을 추출하고, 추출된 상기 특징점으로부터 해당 오브젝트의 상태 정도 측정이 실행되는 모드를 실행한다.
The
상기와 같이 본 발명에 따른 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법 및 장치에 관한 동작이 이루어질 수 있으며, 한편 상기한 본 발명의 설명에서는 구체적인 실시 예에 관해 설명하였으나 여러 가지 변형이 본 발명의 범위를 벗어나지 않고 실시될 수 있다. 따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 청구범위와 청구범위의 균등한 것에 의하여 정하여져야 할 것이다.As described above, the operation of the feedback UI providing service method and apparatus of the face recognition based application according to the present invention can be performed, while the specific embodiments have been described in the above description of the present invention. However, Without departing from the scope of the present invention. Accordingly, the scope of the present invention should not be limited by the illustrated embodiments, but should be determined by equivalents of the claims and the claims.
410: 카메라부 412: 터치스크린
414: 검출부 416: 모드 실행부
418: 제어부 420: 피드백 UI
422: 상태 정도 측정부 424: 얼굴 인식 알고리즘
426: 룩업 테이블
414: Detection unit 416:
418: control unit 420: feedback UI
422: State-of-state measuring unit 424: Face recognition algorithm
426: Lookup table
Claims (16)
상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하며,
상기 기설정되어 분류된 오브젝트 유형은,
웃음 훈련을 필요로 하거나 순간의 표정관리를 원하는 목적형,
웃으려는 의도가 있으나 웃을 수 없는 상황에서 마음의 변화를 요구하는 동기형,
웃으려는 의도가 없을 때에도 자극을 받아 웃으려는 의지를 갖게 되는 수동형을 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.Displaying an unlock interface through a user interrupt;
Receiving an unlock pattern input via the unlock interface;
Detecting a received unlock pattern and executing a mode corresponding to the detected unlock pattern to measure a state of the object corresponding to the detected unlock pattern;
Determining a degree of state of the measured object by calling a matched lookup table by measuring an appropriate range of degree of accuracy for each type according to a previously set classified object type, and feeding back the determination result through the unlocking interface And,
The pre-classified classified object type includes:
It is a purpose-oriented type that needs laughter training or wants to manage the expression of the moment,
A motivational style that demands a change of mind in a situation where there is an intention to laugh but can not smile,
And a passive type that has a willingness to smile upon being stimulated even when there is no intention to smile.
상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하며,
상기 잠금 해제 패턴에 대응하는 모드는,
카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하는 과정과,
기설정된 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출하는 과정과,
상기 추출된 얼굴 영상으로부터 오브젝트 상태 정도를 결정짓는 기설정된 특징점을 추출하는 과정과,
추출된 상기 특징점으로부터 해당 오브젝트의 상태 정도를 측정하는 과정을 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.Displaying an unlock interface through a user interrupt;
Receiving an unlock pattern input via the unlock interface;
Detecting a received unlock pattern and executing a mode corresponding to the detected unlock pattern to measure a state of the object corresponding to the detected unlock pattern;
Determining a degree of state of the measured object by calling a matched lookup table by measuring an appropriate range of degree of accuracy for each type according to a previously set classified object type, and feeding back the determination result through the unlocking interface And,
The mode corresponding to the unlock pattern may include:
Acquiring an image including the user's face at a predetermined distance through a camera;
Recognizing and extracting a face using a predetermined face recognition algorithm,
Extracting a predetermined feature point that determines an object state from the extracted face image;
And measuring the state of the corresponding object from the extracted feature points.
상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하며,
상기 피드백하는 과정은,
잠금 해제 인터페이스를 통해 서로 상이하게 디스플레이되는 피드백 UI가 오브젝트의 유형별로 기설정되어 모드에 설정된 유형에 따라 해당 피드백 UI를 측정된 상태 정도와 매칭하여 표시됨을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.Displaying an unlock interface through a user interrupt;
Receiving an unlock pattern input via the unlock interface;
Detecting a received unlock pattern and executing a mode corresponding to the detected unlock pattern to measure a state of the object corresponding to the detected unlock pattern;
Determining a degree of state of the measured object by calling a matched lookup table by measuring an appropriate range of degree of accuracy for each type according to a previously set classified object type, and feeding back the determination result through the unlocking interface And,
The feedback process includes:
The feedback UI displayed differently through the unlock interface is preliminarily set for each type of object and is displayed by matching the corresponding feedback UI with the measured state according to the type set in the mode. Service method.
원형 그래프로 오브젝트의 상태 정도를 시각화 및 수치화하여 표시하는 목적형,
원형 그래프로 오브젝트의 상태 정도를 시각화하거나 혹은 상태 정도별 기설정되어 매칭된 메시지가 출력되는 동기형,
잠금 해제 패턴의 상태 정도에 해당하는 기등록된 이미지 및 상기 이미지 관련 메시지를 연계하여 소정 프레임에 표시하는 수동형 피드백 UI를 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.5. The method according to claim 4,
A circular graph is used to visualize and quantify the state of an object,
A circular graph is used to visualize the state of the object, or synchronous,
And a passive feedback UI for displaying a pre-registered image corresponding to a state of the unlock pattern and the image related message in association with each other in a predetermined frame.
잠금 해제 인터페이스가 디스플레이되는 영역에 표시되어 상태 정도에 따라 상태 정도가 수치화된 숫자가 서로 상이하게 채색되어 표시됨을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.6. The method according to claim 5,
Wherein the unlocking interface is displayed in an area in which the unlocking interface is displayed, and numerical values of the degree of state are displayed in different color and displayed according to the degree of the state.
상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하며,
상기 잠금 해제 인터페이스는,
복수의 분할된 영역을 갖고, 각 분할된 영역에는 대응하는 아이템이 형성되고, 상기 분할된 영역 내의 제1 위치에는 상기 아이템과 관련된 제1 서비스를 제공하는 제1 메뉴가 미리 설정되고, 상기 제1 위치와 다른 제2 위치에는 상기 분할된 영역 내에 형성된 상기 아이템과 관련되며 상기 제1 서비스와 다른 제2 서비스를 제공하는 제2 메뉴가 미리 설정됨을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.Displaying an unlock interface through a user interrupt;
Receiving an unlock pattern input via the unlock interface;
Detecting a received unlock pattern and executing a mode corresponding to the detected unlock pattern to measure a state of the object corresponding to the detected unlock pattern;
Determining a degree of state of the measured object by calling a matched lookup table by measuring an appropriate range of degree of accuracy for each type according to a previously set classified object type, and feeding back the determination result through the unlocking interface And,
Wherein the unlocking interface comprises:
Wherein a first menu for providing a first service related to the item is preset in a first position in the divided area, the first menu having a plurality of divided areas is formed in each divided area, And a second menu related to the item formed in the divided area and providing a second service different from the first service is preset in a second position different from the first service. .
상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하며,
상기 오브젝트는 웃음 표정이고,
상기 상태 정도는 상기 웃음 표정에 대응되는 웃음량이 측정되어 레벨화된 것임을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.Displaying an unlock interface through a user interrupt;
Receiving an unlock pattern input via the unlock interface;
Detecting a received unlock pattern and executing a mode corresponding to the detected unlock pattern to measure a state of the object corresponding to the detected unlock pattern;
Determining a degree of state of the measured object by calling a matched lookup table by measuring an appropriate range of degree of accuracy for each type according to a previously set classified object type, and feeding back the determination result through the unlocking interface And,
The object is a laughing expression,
Wherein the state degree is a level of a laugh amount corresponding to the laughing facial expression measured and leveled.
상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 수신하는 과정과,
상기 수신된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하는 과정과,
기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백하는 과정을 포함함을 특징으로 하며,
상기 잠금 해제 패턴에 대응하는 모드는,
상기 피드백 서비스 수행 후 잠금이 해제된 인터페이스를 통해 해당 피드백 UI별 사용자의 만족도를 수집하여 상기 피드백 UI에 대한 만족도 이력을 추가로 저장, 관리하고, 사용자 요청 시 오브젝트 유형별 매칭된 피드백 UI별 선호 이력을 표시하는 제1 서브 모드와,
상기 검출된 잠금 해제 패턴의 오브젝트를 잠금이 해제된 인터페이스를 통해 표시하고, 표시된 오브젝트를 해당 시간 정보와 함께 저장하여 사용자 호출 시 시간 순 순차 축적된 오브젝트를 표시하고, 시간별 오브젝트에 대응하는 상태 정도에 따라 기설정된 서비스를 제공하는 제2 서브 모드를 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.Displaying an unlock interface through a user interrupt;
Receiving an unlock pattern input via the unlock interface;
Detecting a received unlock pattern and executing a mode corresponding to the detected unlock pattern to measure a state of the object corresponding to the detected unlock pattern;
Determining a degree of state of the measured object by calling a matched lookup table by measuring an appropriate range of degree of accuracy for each type according to a previously set classified object type, and feeding back the determination result through the unlocking interface And,
The mode corresponding to the unlock pattern may include:
The satisfaction history of the feedback UI is collected and managed by collecting the satisfaction of the user for each feedback UI through the unlocked interface after the execution of the feedback service and the preference history of each feedback UI matched by the object type at the time of user request A first sub mode for displaying an image,
Displays the objects of the unlock pattern detected through the unlocked interface and stores the displayed objects together with the corresponding time information to display the objects in order of time at the time of the user call, And a second sub mode for providing a predetermined service.
상기 오브젝트에 대응하는 상태 정도별 출력되는 수치 데이터를 기반으로 연계된 SNS(social networking service) 서비스 서버를 통해 연동된 서비스를 추천함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 방법.The method as claimed in claim 9,
And recommending a service interworked through a social networking service (SNS) service server based on numerical data output by each state level corresponding to the object.
사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력하는 터치 스크린,
상기 터치 스크린으로부터 출력된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백되도록 제어하는 제어부를 포함함을 특징으로 하며,
상기 기설정되어 분류된 오브젝트 유형은,
웃음 훈련을 필요로 하거나 순간의 표정관리를 원하는 목적형, 웃으려는 의도가 있으나 웃을 수 없는 상황에서 마음의 변화를 요구하는 동기형, 웃으려는 의도가 없을 때에도 자극을 받아 웃으려는 의지를 갖게 되는 수동형을 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치.A camera unit for acquiring an image including a user's face,
A touch screen for displaying an unlock interface via a user interrupt and outputting an unlock pattern input via the unlock interface,
Detecting a lock release pattern output from the touch screen, executing a mode corresponding to the detected lock release pattern to measure a degree of state of the object corresponding to the detected lock release pattern, And a control unit for calling the matched lookup table to determine the state of the measured object and controlling the feedback of the determined result through the unlocking interface.
The pre-classified classified object type includes:
It is a passive type that needs laughter training or wants to manage the expression of the moment, motivated to change the mind in a situation where there is an intention to laugh but can not smile, a will to have a willingness to smile even when there is no intention to laugh And a feedback UI providing service of the face recognition based application.
사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력하는 터치 스크린,
상기 터치 스크린으로부터 출력된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백되도록 제어하는 제어부를 포함함을 특징으로 하며,
상기 제어부의 제어 하에 모드를 스위칭하여 해당 모드를 실행하는 모드 실행부를 더 포함하고,
상기 모드 실행부는,
카메라를 통하여 기설정된 거리에서 상기 사용자의 얼굴을 포함하는 영상을 획득하고, 기설정된 얼굴 인식 알고리즘을 이용하여 얼굴을 인식 및 추출하여 추출된 얼굴 영상으로부터 오브젝트 상태 정도를 결정짓는 기설정된 특징점을 추출하고, 추출된 상기 특징점으로부터 해당 오브젝트의 상태 정도 측정이 실행되는 모드를 실행함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치.A camera unit for acquiring an image including a user's face,
A touch screen for displaying an unlock interface via a user interrupt and outputting an unlock pattern input via the unlock interface,
Detecting a lock release pattern output from the touch screen, executing a mode corresponding to the detected lock release pattern to measure a degree of state of the object corresponding to the detected lock release pattern, And a control unit for calling the matched lookup table to determine the state of the measured object and controlling the feedback of the determined result through the unlocking interface.
And a mode execution unit for switching the mode under the control of the control unit to execute the corresponding mode,
The mode-
The image including the user's face is acquired at a predetermined distance from the camera, a face is recognized and extracted using a predetermined face recognition algorithm, and predetermined feature points for determining the degree of an object state are extracted from the extracted face image And executing a mode in which the state of the object is measured from the extracted minutiae.
사용자 인터럽트(interrupt)를 통해 잠금 해제 인터페이스를 디스플레이하고, 상기 잠금 해제 인터페이스를 통해 입력된 잠금 해제 패턴을 출력하는 터치 스크린,
상기 터치 스크린으로부터 출력된 잠금 해제 패턴을 검출하고 검출된 잠금 해제 패턴에 대응하는 모드를 실행하여 상기 검출된 잠금 해제 패턴에 대응하는 오브젝트의 상태 정도를 측정하고, 기설정되어 분류된 오브젝트 유형에 따라 유형별 적정 상태 정도 범위가 측정되어 매칭된 룩업 테이블을 호출하여 상기 측정된 오브젝트의 상태 정도를 판단하고, 판단 결과를 상기 잠금 해제 인터페이스를 통해 피드백되도록 제어하는 제어부를 포함함을 특징으로 하며,
상기 제어부는,
잠금 해제 인터페이스를 통해 서로 상이하게 디스플레이되는 피드백 UI가 오브젝트의 유형별로 기설정되어 모드에 설정된 유형에 따라 해당 피드백 UI를 측정된 상태 정도와 매칭하여 표시하여 피드백함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치.A camera unit for acquiring an image including a user's face,
A touch screen for displaying an unlock interface via a user interrupt and outputting an unlock pattern input via the unlock interface,
Detecting a lock release pattern output from the touch screen, executing a mode corresponding to the detected lock release pattern to measure a degree of state of the object corresponding to the detected lock release pattern, And a control unit for calling the matched lookup table to determine the state of the measured object and controlling the feedback of the determined result through the unlocking interface.
Wherein,
The feedback UI displayed differently from each other through the unlocking interface is preliminarily set for each type of object, and the feedback UI is matched with the measured state according to the type set in the mode, A feedback UI providing service device.
원형 그래프로 오브젝트의 상태 정도를 시각화 및 수치화하여 표시하는 목적형,
원형 그래프로 오브젝트의 상태 정도를 시각화하거나 혹은 상태 정도별 기설정되어 매칭된 메시지가 출력되는 동기형,
잠금 해제 패턴의 상태 정도에 해당하는 기등록된 이미지 및 상기 이미지 관련 메시지를 연계하여 소정 프레임에 표시하는 수동형 피드백 UI를 포함함을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치.15. The method of claim 14,
A circular graph is used to visualize and quantify the state of an object,
A circular graph is used to visualize the state of the object, or synchronous,
And a passive feedback UI for displaying a pre-registered image corresponding to a state of the unlock pattern and the image related message in association with each other in a predetermined frame.
잠금 해제 인터페이스가 디스플레이되는 영역에 표시되어 상태 정도에 따라 상태 정도가 수치화된 숫자가 서로 상이하게 채색되어 표시됨을 특징으로 하는 얼굴 인식 기반 어플리케이션의 피드백 UI 제공 서비스 장치.16. The method of claim 15,
Wherein the unlocking interface is displayed in an area in which the unlocking interface is displayed, and the digitized numbers are displayed in different colors according to the degree of the state.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150046990A KR101677426B1 (en) | 2015-04-02 | 2015-04-02 | Method and system for providing application feedback user interface based face recognition |
| US15/563,448 US20180121715A1 (en) | 2015-04-02 | 2015-06-18 | Method and system for providing feedback ui service of face recognition-based application |
| PCT/KR2015/006181 WO2016159443A1 (en) | 2015-04-02 | 2015-06-18 | Method and system for providing feedback ui service of face recognition-based application |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150046990A KR101677426B1 (en) | 2015-04-02 | 2015-04-02 | Method and system for providing application feedback user interface based face recognition |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160118610A KR20160118610A (en) | 2016-10-12 |
| KR101677426B1 true KR101677426B1 (en) | 2016-11-21 |
Family
ID=57004463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150046990A KR101677426B1 (en) | 2015-04-02 | 2015-04-02 | Method and system for providing application feedback user interface based face recognition |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20180121715A1 (en) |
| KR (1) | KR101677426B1 (en) |
| WO (1) | WO2016159443A1 (en) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102386299B1 (en) * | 2015-07-03 | 2022-04-14 | 삼성전자주식회사 | Method and apparatus for providing help guide |
| KR102401170B1 (en) * | 2015-10-21 | 2022-05-24 | 삼성전자주식회사 | Method and device for complex authentication |
| US10698998B1 (en) * | 2016-03-04 | 2020-06-30 | Jpmorgan Chase Bank, N.A. | Systems and methods for biometric authentication with liveness detection |
| CN107317927A (en) * | 2017-06-22 | 2017-11-03 | 深圳市沃特沃德股份有限公司 | With the method and intelligent terminal of user interaction |
| CN109145195A (en) * | 2017-06-28 | 2019-01-04 | 南宁富桂精密工业有限公司 | Information recommendation method, electronic device and computer readable storage medium |
| CN107784114A (en) * | 2017-11-09 | 2018-03-09 | 广东欧珀移动通信有限公司 | Recommendation method, apparatus, terminal and the storage medium of facial expression image |
| CN115203555B (en) * | 2022-07-15 | 2024-03-19 | 重庆工商大学 | Scenic spot recommendation method and system based on big data |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101443960B1 (en) * | 2012-02-22 | 2014-11-03 | 주식회사 팬택 | Electronic device and method for user identification |
| AU2013205535B2 (en) * | 2012-05-02 | 2018-03-15 | Samsung Electronics Co., Ltd. | Apparatus and method of controlling mobile terminal based on analysis of user's face |
| KR20140071802A (en) * | 2012-12-04 | 2014-06-12 | 주식회사 엘지유플러스 | Shortcut information execution system and method of mobile terminal based face recognition |
| KR102166041B1 (en) * | 2013-07-18 | 2020-10-16 | 삼성전자 주식회사 | Method And Apparatus For Performing Authentication Based On Biometrics |
-
2015
- 2015-04-02 KR KR1020150046990A patent/KR101677426B1/en active IP Right Grant
- 2015-06-18 WO PCT/KR2015/006181 patent/WO2016159443A1/en active Application Filing
- 2015-06-18 US US15/563,448 patent/US20180121715A1/en not_active Abandoned
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160118610A (en) | 2016-10-12 |
| WO2016159443A1 (en) | 2016-10-06 |
| US20180121715A1 (en) | 2018-05-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101677426B1 (en) | Method and system for providing application feedback user interface based face recognition | |
| US10264870B2 (en) | Makeup application assistance device, makeup application assistance system, and makeup application assistance method | |
| JP6809226B2 (en) | Biometric device, biometric detection method, and biometric detection program | |
| CN102890776B (en) | The method that expression figure explanation is transferred by facial expression | |
| CN106682473A (en) | Method and device for identifying identity information of users | |
| Lozano-Monasor et al. | Facial expression recognition from webcam based on active shape models and support vector machines | |
| JP5225870B2 (en) | Emotion analyzer | |
| CN110741377A (en) | Face image processing method and device, storage medium and electronic equipment | |
| KR20110090731A (en) | Fake video detecting apparatus and method | |
| WO2015019573A1 (en) | Control method for information processing device, and image processing method | |
| WO2018154098A1 (en) | Method and system for recognizing mood by means of image analysis | |
| Werner et al. | Pain recognition and intensity rating based on comparative learning | |
| WO2022024354A1 (en) | Reaction analysis system | |
| Hossain et al. | Facial emotion verification by infrared image | |
| JP2007300185A (en) | Image monitoring apparatus | |
| CN113435353A (en) | Multi-mode-based in-vivo detection method and device, electronic equipment and storage medium | |
| Khryashchev et al. | Age estimation from face images: challenging problem for audience measurement systems | |
| CN108804893A (en) | A kind of control method, device and server based on recognition of face | |
| Rhue | Beauty’s in the AI of the beholder: how AI anchors subjective and objective predictions | |
| US11935140B2 (en) | Initiating communication between first and second users | |
| JP2020087305A (en) | Information processing apparatus, information processing method and program | |
| WO2021112048A1 (en) | Driving analysis device, and driving analysis method | |
| Khanna et al. | Rule based system for recognizing emotions using multimodal approach | |
| KR101703690B1 (en) | Apparatus for recognizing iris and operating method thereof | |
| KR20230077560A (en) | Appartus of providing service customized on exhibit hall and controlling method of the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |