KR102045575B1 - Smart mirror display device - Google Patents

Smart mirror display device Download PDF

Info

Publication number
KR102045575B1
KR102045575B1 KR1020170168252A KR20170168252A KR102045575B1 KR 102045575 B1 KR102045575 B1 KR 102045575B1 KR 1020170168252 A KR1020170168252 A KR 1020170168252A KR 20170168252 A KR20170168252 A KR 20170168252A KR 102045575 B1 KR102045575 B1 KR 102045575B1
Authority
KR
South Korea
Prior art keywords
user
beauty
image
makeup
content
Prior art date
Application number
KR1020170168252A
Other languages
Korean (ko)
Other versions
KR20190068146A (en
Inventor
김보성
Original Assignee
주식회사 매직내니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 매직내니 filed Critical 주식회사 매직내니
Priority to KR1020170168252A priority Critical patent/KR102045575B1/en
Priority to JP2018088522A priority patent/JP2019103772A/en
Publication of KR20190068146A publication Critical patent/KR20190068146A/en
Application granted granted Critical
Publication of KR102045575B1 publication Critical patent/KR102045575B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H04N2005/2726—Means for inserting a foreground image in a background image, i.e. inlay, outlay for simulating a person's appearance, e.g. hair style, glasses, clothes

Abstract

본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치가 개시된다. 상기 스마트 미러 디스플레이 장치는 사용자를 촬영하는 카메라부; 상기 카메라부에서 촬영된 사용자의 영상 및 뷰티(beauty) 컨텐츠를 디스플레이 하는 디스플레이부; 및 상기 카메라부에서 촬영된 사용자의 영상에서 상기 사용자의 뷰티 상태를 인식하고, 상기 인식된 뷰티 상태에 적어도 부분적으로 기초하여 상기 뷰티 컨텐츠의 서브 뷰티 컨텐츠를 전환하는 제어부를 포함하고, 상기 뷰티 컨텐츠는, 사용자에게 화장 방법에 대한 정보를 제공하는 뷰티 크리에이터(beauty creator)의 영상을 포함하며, 하나 이상의 서브 뷰티 컨텐츠를 포함할 수 있다. According to an embodiment of the present invention, a smart mirror display device is disclosed. The smart mirror display device includes a camera unit for photographing a user; A display unit configured to display an image and beauty content of the user photographed by the camera unit; And a controller configured to recognize the beauty state of the user in the image of the user captured by the camera unit, and to switch the sub beauty content of the beauty content based at least in part on the recognized beauty state. It may include an image of a beauty creator that provides information about a makeup method to a user, and may include one or more sub-beauty contents.

Description

스마트 미러 디스플레이 장치{SMART MIRROR DISPLAY DEVICE}Smart Mirror Display Device {SMART MIRROR DISPLAY DEVICE}

본 발명은 스마트 미러 디스플레이 장치에 관한 것으로, 보다 구체적으로 사용자의 영상과 상호작용 할 수 있는 스마트 미러 디스플레이 장치에 관한 것이다. The present invention relates to a smart mirror display device, and more particularly to a smart mirror display device that can interact with the user's image.

거울의 발명 이전에도 사람들은 물가에 비친 자신의 모습을 확인하고 싶어하였다. 거울의 발명 이후에는 사람들은 거울을 통해 자신의 모습을 확인하고 자신의 모습을 더 아름답게 꾸미고자 한다. Even before the invention of the mirror, people wanted to see themselves in the water. After the invention of the mirror, people try to identify themselves through the mirror and make themselves more beautiful.

아름다워지고자 하는 사람들의 욕망은 다양한 화장 방법, 아름다워 지기 위한 방법들을 탄생시켰다. 최근에는 동영상 공유 플랫폼 등에서 아름다워 지기 위한 방법에 관한 정보를 제공하는 컨텐츠들이 유행하고 있다. People's desire to be beautiful gave birth to various makeup methods and ways to be beautiful. Recently, contents providing information on how to be beautiful on a video sharing platform, etc. have been popular.

사용자는 아름다워 지기 위한 방법에 관한 정보를 제공하는 컨텐츠를 제공하여, 해당 컨텐츠에 포함된 정보를 자신에게 시도해 볼 수 있다. 예를 들어, 사용자는 뷰티 크리에이터(beauty creator)의 화장 방법에 관한 동영상 컨텐츠를 따라하여 자신도 동일한 화장 방법을 시도해 볼 수 있다. 그러나, 이러한 과정에서 뷰티 크리에이터와 사용자와의 숙련도 차이로 인하여 상이한 결과가 도출될 수 있다. The user may provide content that provides information on how to be beautiful, and try the information included in the content to himself. For example, the user may try the same makeup method by following the video content regarding the makeup method of the beauty creator. However, in this process, different results may be obtained due to differences in proficiency between beauty creators and users.

따라서, 사용자가 뷰티 크리에이터의 아름다워 지기 위한 방법에 관한 정보를 제공하는 컨텐츠를 편리하게 따라할 수 있는 장치에 관한 수요가 존재한다. Thus, there is a need for a device that allows a user to conveniently follow content that provides information about how to beautify a beauty creator.

본 발명은 전술한 배경기술에 대응하여 안출된 것으로 뷰티 크리에이터의 뷰티 컨텐츠를 사용자가 용이하게 시도하도록 하기 위한 장치를 제공하기 위함이다.An object of the present invention is to provide an apparatus for allowing a user to easily attempt beauty contents of a beauty creator, which is devised in response to the above-described background art.

전술한 바와 같은 과제를 실현하기 위한 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치가 개시된다. 상기 스마트 미러 디스플레이 장치는 사용자를 촬영하는 카메라부; 상기 카메라부에서 촬영된 사용자의 영상 및 뷰티(beauty) 컨텐츠를 디스플레이 하는 디스플레이부; 및 상기 카메라부에서 촬영된 사용자의 영상에서 상기 사용자의 뷰티 상태를 인식하고, 상기 인식된 뷰티 상태에 적어도 부분적으로 기초하여 상기 뷰티 컨텐츠의 서브 뷰티 컨텐츠를 전환하는 제어부를 포함하고, 상기 뷰티 컨텐츠는, 사용자에게 화장 방법에 대한 정보를 제공하는 뷰티 크리에이터(beauty creator)의 영상을 포함하며, 하나 이상의 서브 뷰티 컨텐츠를 포함할 수 있다. A smart mirror display apparatus is disclosed according to an embodiment of the present invention for realizing the above problems. The smart mirror display device includes a camera unit for photographing a user; A display unit configured to display an image and beauty content of the user photographed by the camera unit; And a controller configured to recognize the beauty state of the user in the image of the user photographed by the camera unit, and to switch the sub beauty content of the beauty content based at least in part on the recognized beauty state. It may include an image of a beauty creator that provides information about a makeup method to a user, and may include one or more sub-beauty contents.

바람직하게는, 상기 제어부는 추가적으로, 상기 뷰티 컨텐츠를 시간 단위, 화장에 따른 얼굴 이미지 변화 단위, 화장 도구 단위 또는 화장 스킬 단위에 따라 영상을 분리하여 상기 하나 이상의 서브 뷰티 컨텐츠를 생성할 수 있다. Preferably, the controller may generate the one or more sub-beauty contents by separating the beauty content according to a time unit, a face image change unit according to makeup, a makeup tool unit, or a makeup skill unit.

또한, 바람직하게는, 상기 사용자의 뷰티 상태는, 상기 사용자가 상기 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행하였는지에 관련한 정보를 포함하며, 상기 제어부는, 상기 사용자의 영상의 이미지 변화 값에 기초하여 상기 사용자의 뷰티 상태를 인식하고, 상기 인식된 뷰티 상태에 기초하여 상기 사용자가 상기 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행하였는지 여부를 판단하고, 상기 사용자가 상기 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행한 경우, 다음 서브 뷰티 컨텐츠를 디스플레이 할 것을 결정할 수 있다. Preferably, the beauty state of the user includes information related to whether the user has performed a makeup step included in the sub-beauty content, and the controller is further configured to perform the control based on the image change value of the image of the user. Recognize the beauty state of the user, determine whether the user performed the makeup step included in the sub beauty content based on the recognized beauty state, and the user performs the makeup step included in the sub beauty content In one case, it may be decided to display the next sub-beauty content.

또한, 바람직하게는, 상기 제어부는 추가적으로, 상기 카메라부에서 촬영된 사용자의 영상에서 사용자의 피부 상태를 인식하고, 상기 인식된 피부 상태에 적어도 부분적으로 기초하여 상기 뷰티 컨텐츠를 선택할 수 있다. Also, preferably, the controller may additionally recognize the skin condition of the user in the image of the user photographed by the camera, and select the beauty content based at least in part on the recognized skin condition.

또한, 바람직하게는, 상기 사용자로부터 상기 사용자의 뷰티 목표에 대한 입력을 수신하기 위한 사용자 입력부를 더 포함하고, 상기 제어부는 추가적으로, 사용자로부터 입력된 뷰티 목표에 대한 입력에 기초하여, 상기 뷰티 목표에 대응되는 뷰티 컨텐츠를 선택할 수 있다. In addition, preferably, further comprising a user input unit for receiving an input for the beauty goal of the user from the user, wherein the control unit is further based on the input to the beauty goal input from the user, The corresponding beauty content may be selected.

또한, 바람직하게는, 상기 뷰티 목표는, 상기 사용자의 피부 상태, 상기 사용자의 뷰티 지향점, 상기 사용자가 참석하고자 하는 사회적 이벤트 및 상기 사용자의 개인정보 중 적어도 하나에 기초한 뷰티 목표일 수 있다. The beauty target may be a beauty target based on at least one of a skin condition of the user, a beauty orientation point of the user, a social event that the user intends to attend, and personal information of the user.

또한, 바람직하게는, 상기 제어부가 상기 사용자의 피부 상태를 인식하도록 하기 위한 정보를 획득하기 위한 피부 상태 인식부를 더 포함할 수 있다. In addition, preferably, the control unit may further include a skin condition recognition unit for obtaining information for recognizing the skin condition of the user.

또한, 바람직하게는, 상기 제어부는, 상기 카메라부에서 촬영된 사용자의 영상에서 상기 사용자의 얼굴의 각 부분을 인식하고, 상기 인식된 각 부분에 상기 서브 뷰티 컨텐츠의 화장 단계가 적용되었는지 여부를 판단할 수 있다. Preferably, the controller recognizes each part of the face of the user in the image of the user photographed by the camera unit, and determines whether the makeup step of the sub-beauty content is applied to each of the recognized parts. can do.

또한, 바람직하게는, 상기 제어부는 추가적으로, 상기 카메라부에서 촬영된 상기 사용자의 영상을 상기 사용자의 화장 단계에 따라 저장하고, 저장된 상기 사용자의 영상의 공유 여부를 결정할 수 있다. Preferably, the controller may additionally store the image of the user photographed by the camera unit according to the make-up step of the user, and determine whether to share the stored image of the user.

본 발명의 다른 일 실시예에 따라 스마트 미러 디스플레이 장치에서 수행되는 스마트 미러 디스플레이 방법이 개시된다. 상기 스마트 미러 디스플레이 방법은, 사용자의 영상을 촬영하는 단계; 촬영된 사용자의 영상 및 뷰티 컨텐츠를 디스플레이 하는 단계; 촬영된 사용자의 영상에서 상기 사용자의 뷰티 상태를 인식하는 단계; 및 상기 인식된 뷰티 상태에 적어도 부분적으로 기초하여 상기 뷰티 컨텐츠의 서브 뷰티 컨텐츠를 전환하는 단계를 포함하고, 상기 뷰티 컨텐츠는, 사용자에게 화장 방법에 대한 정보를 제공하는 뷰티 크레에이터의 영상을 포함하며, 하나 이상의 서브 뷰티 컨텐츠를 포함할 수 있다. Disclosed is a smart mirror display method performed in a smart mirror display apparatus according to another embodiment of the present invention. The smart mirror display method may include: capturing an image of a user; Displaying the photographed user's image and beauty content; Recognizing a beauty state of the user in the captured image of the user; And switching the sub-beauty content of the beauty content based at least in part on the recognized beauty state, wherein the beauty content includes an image of a beauty creator that provides information about a makeup method to a user. It may include one or more sub-beauty content.

본 발명의 또 다른 일 실시예에 따라 인코딩된 명령들을 포함하는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램이 개시된다. 상기 컴퓨터 프로그램은 컴퓨팅 장치의 하나 이상의 프로세서들에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 스마트 미러 디스플레이를 제공하기 위한 이하의 단계들을 수행하도록 하며, 상기 단계들은: 사용자의 영상을 촬영하는 단계; 촬영된 사용자의 영상 및 뷰티 컨텐츠를 디스플레이 하는 단계; 촬영된 사용자의 영상에서 상기 사용자의 뷰티 상태를 인식하는 단계; 및 상기 인식된 뷰티 상태에 적어도 부분적으로 기초하여 상기 뷰티 컨텐츠의 서브 뷰티 컨텐츠를 전환하는 단계를 포함하고, 상기 뷰티 컨텐츠는, 사용자에게 화장 방법에 대한 정보를 제공하는 뷰티 크레에이터의 영상을 포함하며, 하나 이상의 서브 뷰티 컨텐츠를 포함할 수 있다. In accordance with yet another embodiment of the present invention, a computer program stored in a computer readable storage medium comprising encoded instructions is disclosed. When the computer program is executed by one or more processors of a computing device, the computer program causes the one or more processors to perform the following steps for providing a smart mirror display, the steps of: photographing an image of a user ; Displaying the photographed user's image and beauty content; Recognizing a beauty state of the user in the captured image of the user; And switching the sub-beauty content of the beauty content based at least in part on the recognized beauty state, wherein the beauty content includes an image of a beauty creator providing information about a makeup method to a user. It may include one or more sub-beauty content.

본 발명은 뷰티 크리에이터의 뷰티 컨텐츠를 사용자가 용이하게 시도하도록 하기 위한 장치를 제공할 수 있다. The present invention may provide an apparatus for allowing a user to easily attempt beauty contents of a beauty creator.

도 1은 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치의 블록 구성도이다.
도 2 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치에서 디스플레이 되는 영상의 예시이다.
도 3은 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치에서 수행되는 스마트 미러 디스플레이 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법을 구현하기 위한 수단을 도시한 블록 구성도이다.
도 5는 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법을 구현하기 위한 모듈을 도시한 블록 구성도이다.
도 6은 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법을 구현하기 위한 회로를 도시한 블록 구성도이다.
도 7은 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법을 구현하기 위한 로직을 도시한 블록 구성도이다.
도 8은 본 발명의 일 실시예에 따른 컴퓨팅 장치의 블록 구성도이다. 1 is a block diagram of a smart mirror display device according to an embodiment of the present invention.
2 is an example of an image displayed on a smart mirror display device according to an embodiment of the present invention.
3 is a flowchart of a smart mirror display method performed in a smart mirror display apparatus according to an embodiment of the present invention.
4 is a block diagram showing a means for implementing a smart mirror display method according to an embodiment of the present invention.
5 is a block diagram illustrating a module for implementing a smart mirror display method according to an embodiment of the present invention.
6 is a block diagram illustrating a circuit for implementing a smart mirror display method according to an embodiment of the present invention.
7 is a block diagram illustrating logic for implementing a smart mirror display method according to an embodiment of the present invention.
8 is a block diagram of a computing device according to an embodiment of the present invention.

다양한 실시예들이 이제 도면을 참조하여 설명된다. 본 명세서에서, 다양한 설명들이 본 발명의 이해를 제공하기 위해서 제시된다. 그러나 이러한 실시예들은 이러한 구체적인 설명 없이도 실행될 수 있음이 명백하다. 다른 예들에서, 공지된 구조 및 장치들은 실시예들의 설명을 용이하게 하기 위해서 블록 다이어그램 형태로 제공된다.Various embodiments are now described with reference to the drawings. In this specification, various descriptions are presented to provide an understanding of the present invention. It is evident, however, that such embodiments may be practiced without these specific details. In other instances, well-known structures and devices are provided in block diagram form in order to facilitate describing the embodiments.

본 명세서에서 사용되는 용어 "컴포넌트", "모듈", "시스템" 등은 컴퓨터-관련 엔티티, 하드웨어, 펌웨어, 소프트웨어, 소프트웨어 및 하드웨어의 조합, 또는 소프트웨어의 실행을 지칭한다. 예를 들어, 컴포넌트는 프로세서상에서 실행되는 처리과정(procedure), 프로세서, 객체, 실행 스레드, 프로그램, 및/또는 컴퓨터일 수 있지만, 이들로 제한되는 것은 아니다. 예를 들어, 컴퓨팅 장치에서 실행되는 애플리케이션 및 컴퓨팅 장치 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트는 프로세서 및/또는 실행 스레드 내에 상주할 수 있고, 일 컴포넌트는 하나의 컴퓨터 내에 로컬화될 수 있고, 또는 2개 이상의 컴퓨터들 사이에 분배될 수 있다. 또한, 이러한 컴포넌트들은 그 내부에 저장된 다양한 데이터 구조들을 갖는 다양한 컴퓨터 판독가능한 매체로부터 실행할 수 있다. 컴포넌트들은 예를 들어 하나 이상의 데이터 패킷들을 갖는 신호(예를 들면, 로컬 시스템, 분산 시스템에서 다른 컴포넌트와 상호작용하는 하나의 컴포넌트로부터의 데이터 및/또는 신호를 통해 다른 시스템과 인터넷과 같은 네트워크를 통해 전송되는 데이터)에 따라 로컬 및/또는 원격 처리들을 통해 통신할 수 있다. As used herein, the terms “component”, “module”, “system” and the like refer to computer-related entities, hardware, firmware, software, a combination of software and hardware, or the execution of software. For example, a component may be, but is not limited to being, a process running on a processor, a processor, an object, a thread of execution, a program, and / or a computer. For example, both an application running on a computing device and the computing device can be a component. One or more components can reside within a processor and / or thread of execution, and a component can be localized within one computer or distributed between two or more computers. In addition, these components can execute from various computer readable media having various data structures stored thereon. The components may, for example, via a network such as the Internet and other systems via signals with one or more data packets (e.g., data and / or signals from one component interacting with other components in a local system, distributed system). Data transmitted) may be communicated via local and / or remote processes.

더불어, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나 이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다. 또한, 달리 특정되지 않거나 단수 형태를 지시하는 것으로 문맥상 명확하지 않은 경우에, 본 명세서와 청구범위에서 단수는 일반적으로 "하나 또는 그 이상"을 의미하는 것으로 해석되어야 한다.In addition, the terms "comprises" and / or "comprising" mean that such features and / or components are present, but exclude the presence or addition of one or more other features, components, and / or groups thereof. It should be understood that it does not. Also, unless otherwise specified or in the context of indicating a singular form, the singular in the specification and claims should generally be interpreted as meaning "one or more."

제시된 실시예들에 대한 설명은 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.The description of the presented embodiments is provided to enable any person skilled in the art to make or use the present invention. Various modifications to these embodiments will be apparent to those skilled in the art, and the generic principles defined herein may be applied to other embodiments without departing from the scope of the invention. Thus, the present invention should not be limited to the embodiments set forth herein but should be construed in the broadest scope consistent with the principles and novel features set forth herein.

도 1 은 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치의 블록 구성도이다. 1 is a block diagram of a smart mirror display device according to an embodiment of the present invention.

스마트 미러 디스플레이 장치(100)는 카메라부(110), 피부 상태 인식부(120), 디스플레이부(130), 사용자 입력부(140), 제어부(150), 통신부(160), 메모리(170)를 포함할 수 있다. 도 1 에 도시된 컴포넌트들은 스마트 미러 디스플레이 장치(100)의 구성의 전부는 아니며 스마트 미러 디스플레이 장치(100)는 필요에 따라 임의의 컴포넌트들을 더 포함할 수 있다. The smart mirror display apparatus 100 includes a camera unit 110, a skin condition recognition unit 120, a display unit 130, a user input unit 140, a control unit 150, a communication unit 160, and a memory 170. can do. The components shown in FIG. 1 are not all of the configuration of the smart mirror display apparatus 100, and the smart mirror display apparatus 100 may further include arbitrary components as necessary.

카메라부(110)는 하나 이상의 카메라 모듈로 구성될 수 있으며, 사용자의 영상을 촬영할 수 있다. 카메라부(110)는 임의의 카메라 모듈을 포함할 수 있다. 카메라부(110)는 제어부(150)가 사용자의 뷰티 상태를 인식할 수 있도록 사용자의 영상을 촬영할 수 있다. 카메라부(110)는 또한 제어부(150)가 사용자의 피부 상태를 인식할 수 있도록 사용자를 촬영할 수 있다. 사용자의 뷰티 상태는 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행하였는지에 관한 정보를 포함한다. 예를 들어, 사용자의 뷰티 상태는 사용자가 화장 방법의 어떠한 단계를 수행하였는지에 관한 정보를 포함할 수 있다. 즉, 카메라부(110)에서 촬영된 촬영 영상에 기초하여 제어부(150)는 사용자가 현재 눈화장을 수행하였는지, 볼터치를 완료하였는지 등의 사용자의 뷰티 상태를 인식할 수 있다. 전술한 화장 단계에 관한 기재는 예시일 뿐이며 본 발명은 이에 제한되지 않는다. The camera unit 110 may be configured of one or more camera modules, and may capture an image of a user. The camera unit 110 may include any camera module. The camera unit 110 may capture an image of the user so that the controller 150 may recognize the beauty state of the user. The camera unit 110 may also photograph the user so that the controller 150 can recognize the skin condition of the user. The beauty state of the user includes information about whether the makeup step included in the sub beauty content is performed. For example, the beauty state of the user may include information regarding what steps of the makeup method the user performed. That is, based on the captured image photographed by the camera unit 110, the controller 150 may recognize the beauty state of the user, such as whether the user currently performs eye makeup or completes a ball touch. The description of the above-described makeup step is merely an example and the present invention is not limited thereto.

피부 상태 인식부(120)는 제어부(150)가 사용자의 피부 상태를 인식하도록 하기 위한 정보를 획득할 수 있다. 예를 들어, 피부 상태 인식부(120)는 카메라부(110)에서 획득할 수 있는 사용자의 영상보다 확대된 사용자의 피부 상태 영상을 획득할 수 있다. 또한, 피부 상태 인식부(120)는 피부 표면의 거칠기, 사용자 피부의 촉촉함의 정도, 피부결, 피부 나이 등을 제어부(150)가 판단할 수 있도록 사용자의 피부 표면을 확대 촬영할 수 있다. 또한, 피부 상태 인식부(120)는 전기자극을 이용하여 피부 수분 상태를 측정할 수 도 있다. 즉, 피부 상태 인식부(120)는 사용자의 전반적인 영상을 촬영하는 카메라부(110)보다 확대된 영상을 통해 제어부(150)가 사용자의 피부 상태를 인식하도록 할 수 있다. 또한, 피부 상태 인식부(120)는 영상뿐만 아니라 피부 상태를 판단하기 위한 임의의 정보를 획득할 수 있다.The skin condition recognizer 120 may acquire information for causing the controller 150 to recognize the skin condition of the user. For example, the skin condition recognizer 120 may acquire a skin condition image of the user enlarged than the image of the user that may be acquired by the camera 110. In addition, the skin condition recognizer 120 may enlarge and photograph the skin surface of the user so that the controller 150 may determine the roughness of the skin surface, the degree of moisture of the user's skin, the skin texture, the skin age, and the like. In addition, the skin condition recognition unit 120 may measure the skin moisture state using the electrical stimulation. That is, the skin condition recognizer 120 may allow the controller 150 to recognize the skin condition of the user through an enlarged image of the camera 110 that captures the overall image of the user. In addition, the skin condition recognizer 120 may obtain arbitrary information for determining the skin condition as well as the image.

디스플레이부(130)는 카메라부에서 촬영된 사용자의 영상(131) 및 뷰티 컨텐츠(133)를 디스플레이할 수 있다. 뷰티 컨텐츠(133)는 사용자에게 화장 방법에 관한 정보를 제공하는 뷰티 크리에이터(beauty creator)의 영상을 포함한다. 뷰티 컨텐츠(133)는 시간 단위, 화장에 따른 얼굴 이미지 변화 단위, 화장 도구 단위 또는 화장 스킬 단위에 따라 분리된 서브 뷰티 컨텐츠를 포함할 수 있다. 도 2는 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치에서 디스플레이 되는 영상의 예시이다. 도 2 를 참조하여 설명하면, 디스플레이부(130)는 사용자의 영상(131)과 뷰티 영상(133)을 디스플레이 할 수 있다. 도 2는 예시일 뿐이며, 디스플레이부(130)는 사용자의 영상(131)과 뷰티 영상(133)을 한 화면에 함께 표시할 수도 있고, 사용자의 영상(131) 또는 뷰티 영상(133)을 서로 전환하며 표시할 수도 있다.The display 130 may display the user's image 131 and the beauty content 133 captured by the camera unit. The beauty content 133 includes an image of a beauty creator that provides information about a makeup method to a user. The beauty content 133 may include sub beauty content separated according to a time unit, a face image change unit according to makeup, a makeup tool unit, or a makeup skill unit. 2 is an example of an image displayed on a smart mirror display device according to an embodiment of the present invention. Referring to FIG. 2, the display 130 may display the user's image 131 and the beauty image 133. 2 is only an example, and the display 130 may display the user's image 131 and the beauty image 133 together on one screen, and switch the user's image 131 or the beauty image 133 to each other. Can be displayed.

사용자 입력부(140)는 사용자로부터 사용자의 뷰티 목표에 대한 입력을 수신할 수 있다. 뷰티 목표는 사용자의 피부 상태, 사용자의 뷰티 지향점, 사용자가 참석하고자 하는 사회적 이벤트 및 사용자의 개인정보 중 적어도 하나에 기초한 뷰티 목표일 수 있다. 사용자는 자신이 하고자 하는 화장 방법을 선택하기 위한 임의의 정보를 입력할 수 있다. 예를 들어, 사용자는 자신의 피부 상태가 건성이고 피부 톤이 하얗다는 것을 사용자 입력부를 통해 입력할 수 있다. 제어부(150)는 이 경우, 건성 피부의 하얀 톤에 어울리는 뷰티 컨텐츠를 선택할 수 있다. 또한 예를 들어, 사용자는 친한 친구의 결혼식 참석을 뷰티 목표로 입력할 수 있다. 이 경우, 제어부(150)는 친한 친구의 결혼식 참석에 적합한 화장 방법을 포함하는 뷰티 컨텐츠를 선택할 수 있다. 또한 사용자는 자신의 나이를 입력할 수 있고, 이 경우 제어부(150)는 사용자의 나이대에 알맞은 화장 방법을 포함하는 뷰티 컨텐츠를 선택할 수 있다. 사용자 입력부(140)는 또한 서브 뷰티 컨텐츠를 전환하기 위한 입력을 수신할 수 있다. 예를 들어, 사용자가 눈화장, 볼화장, 입술화장 순서로 진행되는 뷰티 컨텐츠를 디스플레이부(130)로 확인하며 화장을 따라하는 경우, 사용자는 볼화장이 자신에게 불필요한 경우 사용자 입력부(140)를 통해 눈화장에 관련한 서브 뷰티 컨텐츠를 스킵(skip)할 수 있다. 사용자 입력부(140)는 사용자의 서브 뷰티 컨텐츠 스킵에 관한 사용자 입력을 수신하고, 제어부(150)는 다음 서브 뷰티 컨텐츠인 입술화장을 디스플레이 할 것을 결정할 수 있다.The user input unit 140 may receive an input for the beauty goal of the user from the user. The beauty goal may be a beauty goal based on at least one of the skin condition of the user, the beauty orientation of the user, the social event the user wishes to attend, and the user's personal information. The user may input arbitrary information for selecting a makeup method to be desired by the user. For example, the user may input through the user input that his skin condition is dry and the skin tone is white. In this case, the controller 150 may select beauty content suitable for the white tone of the dry skin. Also, for example, a user may enter a close friend's wedding attendance as a beauty goal. In this case, the controller 150 may select beauty content including a makeup method suitable for attending a wedding of a close friend. In addition, the user may input his or her age, and in this case, the controller 150 may select beauty content including a makeup method suitable for the age of the user. The user input unit 140 may also receive an input for switching the sub beauty content. For example, when the user checks beauty content that proceeds in the order of eye makeup, cheek makeup, and lip makeup with the display 130 and follows the makeup, the user uses the user input unit 140 when the makeup is unnecessary for the user. The sub beauty content related to the eye makeup may be skipped. The user input unit 140 may receive a user input regarding skipping of the sub beauty content of the user, and the controller 150 may determine to display a lip makeup that is the next sub beauty content.

사용자 입력부(140)는 터치 디스플레이, 키보드, 마우스 등의 임의의 입력 장치를 포함할 수 있으며, 제스처 입력 또한 처리할 수 있다. 예를 들어, 사용자가 화장 중에 손을 화면 왼쪽에서 오른쪽으로 두 번 빠르게 움직이는 경우 사용자 입력부(140)는 해당 사용자의 제스처를 서브 뷰티 컨텐츠 스킵에 관한 제스처로 인식할 수 있다. 전술한 사용자 입력부의 구체적인 구성과 제스처는 예시일 뿐이며 본 발명은 이에 제한되지 않는다. The user input unit 140 may include any input device such as a touch display, a keyboard, a mouse, and the like, and may also process a gesture input. For example, when the user moves the hand twice quickly from the left side of the screen to the right side during the makeup, the user input unit 140 may recognize the user's gesture as a gesture regarding the sub beauty content skip. Specific configurations and gestures of the above-described user input unit are only examples, and the present invention is not limited thereto.

제어부(150)는 하나 이상의 코어를 포함하는 프로세서로 구성될 수 있으며, 컴퓨팅 장치의 중앙 처리 장치(CPU: central processing unit), 범용 그래픽 처리 장치(GPGPU: general purpose graphics processing unit), 텐서 처리 장치(TPU: tensor processing unit) 등의 프로세서를 포함할 수 있다. 제어부(150)는 메모리(170)에 저장된 컴퓨터 프로그램을 판독하여 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 방법을 수행할 수 있다. 제어부(150)는 스마트 미러 디스플레이 장치(100)의 전반적인 동작을 제어할 수 있다. The controller 150 may be configured as a processor including one or more cores, and may include a central processing unit (CPU), a general purpose graphics processing unit (GPGPU), and a tensor processing unit (CPU) of a computing device. And a processor such as a tensor processing unit (TPU). The controller 150 may read the computer program stored in the memory 170 to perform the smart mirror display method according to an embodiment of the present invention. The controller 150 may control the overall operation of the smart mirror display apparatus 100.

제어부(150)는 카메라부(110)에서 촬영된 사용자의 영상에서 사용자의 뷰티 상태를 인식하고, 인식된 뷰티 상태에 적어도 부분적으로 기초하여 뷰티 컨텐츠의 서브 뷰티 컨텐츠를 전환할 수 있다. 뷰티 컨텐츠는 사용자에게 화장 방법에 대한 정보를 제공하는 뷰티 크리에이터(beauty creator)의 영상을 포함하며, 하나 이상의 서브 뷰티 컨텐츠를 포함할 수 있다. 사용자의 뷰티 상태는 사용자가 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행하였는지에 관련한 정보를 포함할 수 있다. 예를 들어, 사용자의 뷰티 상태는 사용자가 화장 방법의 어떠한 단계를 수행하였는지에 관한 정보를 포함할 수 있다. 즉, 카메라부(110)에서 촬영된 촬영 영상에 기초하여 제어부(150)는 사용자가 현재 눈화장을 수행하였는지, 볼터치를 완료하였는지 등의 사용자의 뷰티 상태를 인식할 수 있다. 전술한 화장 단계에 관한 기재는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.The controller 150 may recognize the beauty state of the user in the image of the user captured by the camera unit 110, and may change the sub beauty content of the beauty content based at least in part on the recognized beauty state. The beauty content may include an image of a beauty creator that provides information about a makeup method to a user, and may include one or more sub-beauty content. The beauty state of the user may include information related to whether the user has performed a makeup step included in the sub beauty content. For example, the beauty state of the user may include information regarding what steps of the makeup method the user performed. That is, based on the captured image photographed by the camera unit 110, the controller 150 may recognize the beauty state of the user, such as whether the user currently performs eye makeup or completes a ball touch. The description of the above-described makeup step is merely an example and the present invention is not limited thereto.

제어부(150)는 사용자의 영상의 이미지 변화 값에 기초하여 사용자의 뷰티 상태를 인식하고, 인식된 뷰티 상태에 기초하여 사용자가 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행하였는지 여부를 판단하고, 사용자가 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행한 경우, 다음 서브 뷰티 컨텐츠를 디스플레이 할 것을 결정할 수 있다. 예를 들어, 사용자가 눈화장, 볼화장, 입술화장 순서로 진행되는 뷰티 컨텐츠를 디스플레이부(130)로 확인하며 화장을 따라하는 경우, 제어부(150)는 카메라부(110)에서 촬영되는 사용자의 영상을 인식하여 사용자가 눈화장을 완료한 것으로 판단되는 경우, 볼화장에 관련한 서브 뷰티 컨텐츠를 디스플레이 할 것을 결정할 수 있다. The controller 150 recognizes the user's beauty state based on the image change value of the user's image, and determines whether the user has performed a make-up step included in the sub beauty content based on the recognized beauty state. When the makeup step included in the sub beauty content is performed, it may be determined to display the next sub beauty content. For example, when the user checks beauty content that proceeds in the order of eye makeup, cheek makeup, and lip makeup with the display 130 and follows the makeup, the controller 150 displays an image of the user captured by the camera 110. If it is determined that the user has completed the eye makeup, it may be determined to display the sub-beauty content related to the bowl makeup.

제어부(150)는 카메라부(110)에서 촬영된 사용자의 영상에서 사용자의 얼굴의 각 부분을 인식하고, 인식된 각 부분에 서브 뷰티 컨텐츠의 화장 단계가 적용되었는지 여부를 판단할 수 있다. 제어부(150)는 촬영된 영상에서 먼저 사용자의 얼굴 부분을 인식할 수 있다. 제어부(150)는 이미지 처리기술, CNN(Convolutional Neural Network) 등의 이미지 프로세싱 알고리즘을 이용하여 사용자의 얼굴의 윤곽(edge)을 인식할 수 있다. 그리고 제어부(150)는 이미지 프로세싱 알고리즘을 이용하여 얼굴의 눈, 코, 입, 귀 등의 특징부분들을 인식할 수 있다. 제어부(150)는 얼굴의 특징 부분들의 위치관계에 기초하여 얼굴의 각 부분을 인식할 수 있다. 예를 들어 제어부(150)는 볼화장에 관련한 서브 뷰티 컨텐츠가 디스플레이 되는 경우에 촬영된 사용자의 영상에서 볼 부분의 색상 변경을 인식하고 이에 따라 사용자가 볼 화장을 완료했는지 여부를 감지하여 다음 서브 뷰티 컨텐츠로 전환할 것을 결정할 수 있다.The controller 150 may recognize each part of the user's face in the image of the user photographed by the camera unit 110, and determine whether the makeup step of the sub beauty content is applied to each of the recognized parts. The controller 150 may first recognize a face part of the user in the captured image. The controller 150 may recognize an edge of the user's face using an image processing algorithm such as an image processing technology or a convolutional neural network (CNN). In addition, the controller 150 may recognize features such as eyes, nose, mouth, and ears of the face using an image processing algorithm. The controller 150 may recognize each part of the face based on the positional relationship of the feature parts of the face. For example, when the sub-beauty content related to the bowl makeup is displayed, the controller 150 recognizes a color change of the ball part in the captured user's image, and accordingly detects whether the user has completed the ball makeup, and then detects the next sub-beauty. You can decide to switch to content.

제어부(150)는 뷰티 컨텐츠를 분리하여 하나 이상의 서브 뷰티 컨텐츠를 생성할 수 있다. 제어부(150)는 뷰티 컨텐츠를 시간 단위, 화장에 따른 얼굴 이미지 변화 단위, 화장 도구 단위 또는 화장 스킬 단위에 따라 분리할 수 있다. 제어부(150)는 뷰티 컨텐츠에 이미지 프로세싱 알고리즘을 적용하여 뷰티 컨텐츠의 이미지를 판독하여 해당 프레임이 어떠한 화장 단계를 수행하는지 여부를 인식할 수 있다. 예를 들어, 제어부(150)는 뷰티 컨텐츠를 3분 단위로 분할하여 서브 뷰티 컨텐츠를 생성할 수 있다. 이렇게 분할된 서브 뷰티 컨텐츠는 시간이 중요한 분야에서 사용자에게 화장 방법을 훈련시키도록 사용될 수 있다. 예를 들어, 연예인의 메이크업을 하는 메이크업 아티스트의 경우 촬영 중간에 연예인의 화장을 고치기에 시간 제한이 있을 수 있다. 이런 메이크업 아티스트의 경우 본 발명의 일 실시예의 시간별로 분리된 서브 뷰티 컨텐츠를 따라하며 훈련하여 시간 제한 하에서 메이크업 퍼포먼스를 향상시킬 수 있다. 제어부(150)는 화장에 따른 얼굴 이미지 변화 단위, 예를 들어, 눈화장, 볼화장, 입술화장 등으로 뷰티 컨텐츠를 분리하여 서브 뷰티 컨텐츠를 생성할 수 있다. 또한 제어부(150)는 뷰티 컨텐츠에서 화장 도구를 인식하여 화장 도구 단위로 뷰티 컨텐츠를 분리할 수 있다. 예를 들어, 제어부(150)는 마스카라를 인식하여 마스카라를 사용하는 단계, 아이라이너를 인식하여 아이라이너를 사용하는 단계로 뷰티 컨텐츠를 분리할 수 있다. 또한, 제어부(150)는 뷰티 컨텐츠에서 화장 스킬을 인식하여 화장 스킬 단위로 뷰티 컨텐츠를 분리할 수 있다. 예를 들어, 제어부(150)는 뷰티 컨텐츠에서 피부 물광을 위한 화장 동작들을 인식하여 이를 단위로 뷰티 컨텐츠를 분리할 수도 있다. 전술한 뷰티 컨텐츠 분할 단위의 구체적인 기재는 예시일 뿐이며 본 발명은 이에 제한되지 않는다. The controller 150 may separate beauty content to generate one or more sub-beauty content. The controller 150 may separate the beauty content according to a time unit, a face image change unit according to makeup, a makeup tool unit, or a makeup skill unit. The controller 150 may read an image of the beauty content by applying an image processing algorithm to the beauty content and recognize whether a corresponding makeup step is performed by the corresponding frame. For example, the controller 150 may generate the sub beauty content by dividing the beauty content into units of 3 minutes. The divided sub-beauty content may be used to train a makeup method to a user in an area where time is important. For example, a makeup artist who wears a celebrity's makeup may have a time limit to correct the makeup of the celebrity in the middle of shooting. In the case of such a makeup artist, training by following sub-beauty content separated by time of one embodiment of the present invention may improve makeup performance under a time limit. The controller 150 may generate sub-beauty content by separating beauty content into a face image change unit according to makeup, for example, eye makeup, ball makeup, and lip makeup. In addition, the controller 150 may recognize the makeup tool from the beauty content, and may separate the beauty content by the makeup tool. For example, the controller 150 may recognize beauty mascara and separate beauty content by using mascara and recognizing eyeliner. In addition, the controller 150 may recognize the makeup skill in the beauty content to separate the beauty content in units of makeup skills. For example, the controller 150 may recognize makeup operations for skin lightening from beauty content and may separate beauty content by the unit. The specific description of the above-described beauty content division unit is only an example and the present invention is not limited thereto.

제어부(150)는 사용자의 피부 상태에 적어도 부분적으로 기초하여 뷰티 컨텐츠를 선택할 수 있다. 제어부(150)는 카메라부에서 촬영된 사용자의 영상, 피부 상태 인식부(120)에서 획득된 정보, 사용자 입력부(140)에 입력된 사용자 입력 중 적어도 하나에 적어도 부분적으로 기초하여 사용자의 피부 상태를 판단할 수 있다. 제어부(150)는 예를 들어, 사용자의 피부가 건성 피부인 경우, 건성 피부에 추천할 수 있는 수분공급 화장 방법을 포함하는 뷰티 컨텐츠를 디스플레이 할 것을 결정할 수 있다. 또한, 제어부(150)는 예를 들어, 사용자의 피부 톤이 까무잡잡한 톤인 경우, 화이트닝 화장 방법을 포함하는 뷰티 컨텐츠를 디스플레이 할 것을 결정할 수 있다. 또한, 제어부(150)는 사용자가 설정한 뷰티 목표에 기초하여 이에 대응되는 뷰티 컨텐츠를 선택할 수 있다. 예를 들어, 사용자가 친구의 결혼식에 참석하고자 하는 경우, 제어부(150)는 결혼식 참석에 적절한 화장 방법을 포함하는 뷰티 컨텐츠를 선택할 수 있다. 또한, 예를 들어 사용자가 상꺼풀이 없는 눈을 가진 경우, 제어부(150)는 사용자의 뷰티 목표를 “눈매 강조”로 인식하여 눈매를 강조하는 화장법이 포함된 뷰티 컨텐츠를 선택할 수도 있다. 본 발명은 전술한 예시에 의하여 제한되지 않는다. The controller 150 may select beauty content based at least in part on the skin condition of the user. The controller 150 may determine the skin state of the user based at least in part on at least one of an image of the user photographed by the camera unit, information acquired by the skin condition recognition unit 120, and a user input input to the user input unit 140. You can judge. For example, when the user's skin is dry skin, the controller 150 may determine to display beauty content including a moisturizing makeup method that may be recommended for dry skin. In addition, the controller 150 may determine to display beauty content including a whitening makeup method, for example, when the skin tone of the user is a complex tone. In addition, the controller 150 may select beauty content corresponding to the beauty goal set by the user. For example, when a user wants to attend a friend's wedding, the controller 150 may select beauty content including a makeup method suitable for attending the wedding. In addition, for example, when the user has eyes without upper eyelids, the controller 150 may recognize beauty targets of the user as “eye enhancement” and select beauty content including a makeup method for emphasizing the eyes. The present invention is not limited by the above examples.

제어부(150)는 카메라부(110)에서 촬영된 사용자의 영상을 사용자의 화장 단계에 따라 저장할 것을 결정할 수 있다. 또한, 제어부(150)는 저장된 사용자의 영상의 공유 여부를 결정할 수 있다. 예를 들어, 사용자가 뷰티 컨텐츠를 보며 화장을 수행하는 경우, 카메라부(110)는 이를 촬영할 수 있다. 제어부(150)는 사용자가 화장을 수행하는 영상을 메모리(170)에 저장할 것을 결정할 수 있다. 이 경우, 제어부(150)는 사용자가 화장을 수행하는 영상을 서브 뷰티 컨텐츠를 만드는 기준과 유사한 기준을 적용하여 분할하거나, 편집점을 설정할 수 있다. 제어부(150)는 사용자의 입력 등에 기초하여 저장된 사용자가 화장을 수행하는 영상을 영상 공유 플랫폼 등에 공유할 것을 결정할 수 있다. The controller 150 may determine to store the image of the user photographed by the camera unit 110 according to the make-up stage of the user. In addition, the controller 150 may determine whether to share the stored user's image. For example, when a user performs makeup while viewing beauty content, the camera unit 110 may photograph it. The controller 150 may determine to store an image in which the user performs makeup in the memory 170. In this case, the controller 150 may divide the image for which the user performs makeup by applying a similar standard to a standard for making sub-beauty content, or set an edit point. The controller 150 may determine that the stored user shares the makeup image based on the user's input or the like to the image sharing platform.

통신부(160)는 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 방법을 수행하기 위한 데이터 등을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 통신부(160)는 뷰티 크리에이터의 뷰티 컨텐츠, 사용자의 뷰티 영상 등 본 발명의 실시예에 필요한 데이터들을 다른 컴퓨팅 장치, 서버 등과 송수신할 수 있다. 예를 들어, 통신부(160)는 소셜 네트워크 서비스, 동영상 공유 플랫폼(예를 들어, youtube) 등에서 뷰티 컨텐츠를 수신할 수 있다. 통신부(160)는 촬영된 사용자의 뷰티 영상을 소셜 네트워크 서비스, 동영상 공유 플랫폼 등에 전송할 수 있다. The communication unit 160 may transmit / receive data for performing the smart mirror display method according to an embodiment of the present invention to another computing device, a server, and the like. The communicator 160 may transmit / receive data necessary for an embodiment of the present invention, such as beauty contents of a beauty creator and beauty images of a user, to another computing device, a server, and the like. For example, the communicator 160 may receive beauty content from a social network service, a video sharing platform (eg, youtube), or the like. The communicator 160 may transmit the captured beauty image of the user to a social network service or a video sharing platform.

메모리(170)는 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 방법을 수행하기 위한 컴퓨터 프로그램을 저장할 수 있으며, 저장된 컴퓨터 프로그램은 제어부(150)의 프로세서에 의하여 판독되어 구동될 수 있다.The memory 170 may store a computer program for performing the smart mirror display method according to an embodiment of the present invention, and the stored computer program may be read and driven by a processor of the controller 150.

스마트 미러 디스플레이 장치(100)는 뷰티 컨텐츠를 디스플레이 하여 사용자가 이를 따라 할 수 있도록 하며, 뷰티 컨텐츠를 서브 뷰티 컨텐츠로 분할하여 사용자가 단계별로 따라할 수 있도록 할 수 있다. 또한 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 장치(100)는 사용자의 뷰티 상태를 인식하여 서브 뷰티 컨텐츠를 전환함으로써 사용자가 편리하게 뷰티 컨텐츠를 따라할 수 있도록 할 수 있다. 또한, 본 발명의 일 실시예에 따른 스마트 미러 디스플레이 장치(100)는 사용자의 뷰티 목표에 따라 참고할 수 있는 뷰티 컨텐츠를 추천하여 사용자가 자신의 뷰티 지향점에 따른 화장 방법을 배울 수 있도록 할 수 있다. The smart mirror display apparatus 100 may display the beauty content so that the user can follow it, and divide the beauty content into sub-beauty content so that the user can follow it step by step. In addition, the smart mirror display device 100 according to an embodiment of the present invention can recognize the beauty state of the user to switch the sub-beauty content so that the user can conveniently follow the beauty content. In addition, the smart mirror display device 100 according to an embodiment of the present invention can recommend beauty content that can be referred to according to a user's beauty goal so that the user can learn a makeup method according to his beauty orientation.

도 2는 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치에서 디스플레이 되는 영상의 예시이다. 2 is an example of an image displayed on a smart mirror display device according to an embodiment of the present invention.

도 2의 (a) 및 (b)에서 도시되는 바와 같이, 사용자가 스마트 미러 디스플레이 장치(100) 전방에 위치하면, 스마트 미러 디스플레이 장치(100)는 사용자를 촬영하여 사용자의 영상(131)을 생성하고, 사용자의 영상(131)을 뷰티 컨텐츠(133)와 함께 디스플레이 할 수 있다.As shown in (a) and (b) of FIG. 2, when the user is located in front of the smart mirror display device 100, the smart mirror display device 100 photographs the user to generate an image 131 of the user. In addition, the image 131 of the user may be displayed together with the beauty content 133.

도시되는 바와 같이, 디스플레이 되고 있는 뷰티 컨텐츠(133)는 코에 하이라이트 화장 수행하는 단계의 서브 뷰티 컨텐츠 일 수 있다. 이때, 제어부(150)는 사용자의 영상(131)에서 코 부분(201)을 인식하여 뷰티 컨텐츠(133)의 코 부분(203)과 비교하여 사용자가 해당 서브 뷰티 컨텐츠의 화장 단계를 수행하였는지 여부를 인식할 수 있다.As shown, the beauty content 133 being displayed may be sub-beauty content in the step of performing highlight makeup on the nose. In this case, the controller 150 recognizes the nose portion 201 in the image 131 of the user and compares it with the nose portion 203 of the beauty content 133 to determine whether the user performed the make-up step of the sub-beauty content. I can recognize it.

제어부(150)는 사용자의 영상(131)에 이미지 프로세싱 알고리즘을 적용하여 사용자의 얼굴에서 코 부분(201)을 인식할 수 있다. 제어부(150)는 인식된 사용자의 얼굴의 코 부분(201)의 색상 값의 변화를 감지하여 사용자가 해당 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행하였는지 여부를 감지할 수 있다. 제어부(150)는 사용자가 해당 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행한 것으로 감지한 경우, 다음 서브 뷰티 컨텐츠가 디스플레이부(130)에 표시되도록 서브 뷰티 컨텐츠를 전환할 수 있다.  The controller 150 may apply an image processing algorithm to the image 131 of the user to recognize the nose portion 201 on the face of the user. The controller 150 may detect a change in the color value of the recognized nose portion 201 of the user's face to detect whether the user has performed a makeup step included in the sub-beauty content. When the controller 150 detects that the user has performed the makeup step included in the corresponding sub beauty content, the controller 150 may switch the sub beauty content so that the next sub beauty content is displayed on the display 130.

도 2 에서 도시되는 스마트 미러 디스플레이 장치(100) 및 이에 의해 표시되는 영상들은 예시일 뿐이며 본 발명은 이에 제한되지 않는다. The smart mirror display apparatus 100 shown in FIG. 2 and the images displayed thereby are only examples and the present invention is not limited thereto.

도 3 은 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 장치에서 수행되는 스마트 미러 디스플레이 방법의 순서도이다. 3 is a flowchart of a smart mirror display method performed in a smart mirror display apparatus according to an embodiment of the present invention.

스마트 미러 디스플레이 장치(100)는 사용자의 영상을 촬영할 수 있다(S310 단계). 스마트 미러 디스플레이 장치(100)는 사용자의 뷰티 상태를 인식할 수 있도록 사용자를 촬영하여 사용자 영상을 생성할 수 있다. The smart mirror display apparatus 100 may capture an image of a user in operation S310. The smart mirror display apparatus 100 may generate a user image by photographing the user to recognize the beauty state of the user.

스마트 미러 디스플레이 장치(100)는 촬영된 사용자의 영상 및 뷰티 영상을 디스플레이 할 수 있다(S320 단계). 뷰티 컨텐츠(133)는 사용자에게 화장 방법에 관한 정보를 제공하는 뷰티 크리에이터(beauty creator)의 영상을 포함한다. 뷰티 컨텐츠(133)는 시간 단위, 화장에 따른 얼굴 이미지 변화 단위, 화장 도구 단위 또는 화장 스킬 단위에 따라 분리된 서브 뷰티 컨텐츠를 포함할 수 있다.The smart mirror display apparatus 100 may display the captured user's image and the beauty image in operation S320. The beauty content 133 includes an image of a beauty creator that provides information about a makeup method to a user. The beauty content 133 may include sub beauty content separated according to a time unit, a face image change unit according to makeup, a makeup tool unit, or a makeup skill unit.

스마트 미러 디스플레이 장치(100)는 촬영된 사용자의 영상에서 사용자의 뷰티 상태를 인식할 수 있다(S330 단계). 사용자의 뷰티 상태는 사용자가 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행하였는지에 관련한 정보를 포함할 수 있다. 예를 들어, 사용자의 뷰티 상태는 사용자가 화장 방법의 어떠한 단계를 수행하였는지에 관한 정보를 포함할 수 있다. 즉, 스마트 미러 디스플레이 장치(100)에서 촬영된 촬영 영상에 기초하여 스마트 미러 디스플레이 장치(100)는 사용자가 현재 눈화장을 수행하였는지, 볼터치를 완료하였는지 등의 사용자의 뷰티 상태를 인식할 수 있다. 전술한 화장 단계에 관한 기재는 예시일 뿐이며 본 발명은 이에 제한되지 않는다.The smart mirror display apparatus 100 may recognize the beauty state of the user from the photographed image of the user (S330). The beauty state of the user may include information related to whether the user has performed a makeup step included in the sub beauty content. For example, the beauty state of the user may include information regarding what steps of the makeup method the user performed. That is, based on the captured image photographed by the smart mirror display apparatus 100, the smart mirror display apparatus 100 may recognize the beauty state of the user, such as whether the user currently performs eye makeup or completes a ball touch. The description of the above-described makeup step is merely an example and the present invention is not limited thereto.

스마트 미러 디스플레이 장치(100)는 인식된 뷰티 상태에 적어도 부분적으로 기초하여 뷰티 영상의 서브 영상을 전환할 수 있다(S340 단계). 스마트 미러 디스플레이 장치(100)는 예를 들어, 사용자의 뷰티 상태를 인식하여 사용자가 눈 화장을 수행하였는지 여부를 판단할 수 있고, 판단 결과에 적어도 부분적으로 기초하여 서브 뷰티 영상을 눈 화장 다음 단계의 화장 방법을 포함하는 서브 뷰티 영상으로 전환하여 디스플레이 할 수 있다. The smart mirror display apparatus 100 may switch the sub image of the beauty image based at least in part on the recognized beauty state (S340). For example, the smart mirror display apparatus 100 may determine whether the user has performed eye makeup by recognizing the beauty state of the user, and based on the determination result, the smart mirror display apparatus 100 may perform the sub-beauty image of the next step of the eye makeup. The sub beauty image including the makeup method may be converted and displayed.

스마트 미러 디스플레이 장치(100)는 뷰티 컨텐츠를 디스플레이 하여 사용자가 이를 따라 할 수 있도록 하며, 뷰티 컨텐츠를 서브 뷰티 컨텐츠로 분할하여 사용자가 단계별로 따라할 수 있도록 할 수 있다. 또한 스마트 미러 디스플레이 장치(100)는 사용자의 뷰티 상태를 인식하여 서브 뷰티 컨텐츠를 전환함으로써 사용자가 편리하게 뷰티 컨텐츠를 따라할 수 있도록 할 수 있다. 또한, 스마트 미러 디스플레이 장치(100)는 사용자의 뷰티 목표에 따라 참고할 수 있는 뷰티 컨텐츠를 추천하여 사용자가 자신의 뷰티 지향점에 따른 화장 방법을 배울 수 있도록 할 수 있다. The smart mirror display apparatus 100 may display the beauty content so that the user can follow it, and divide the beauty content into sub-beauty content so that the user can follow it step by step. In addition, the smart mirror display apparatus 100 may recognize the beauty state of the user to switch the sub beauty content so that the user can conveniently follow the beauty content. In addition, the smart mirror display apparatus 100 may recommend beauty content that can be referred to according to a user's beauty goal so that the user may learn a makeup method according to his beauty orientation.

도 4는 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법을 구현하기 위한 수단을 도시한 블록 구성도이다. 4 is a block diagram showing a means for implementing a smart mirror display method according to an embodiment of the present invention.

본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법은 다음과 같은 수단에 의하여 구현될 수 있다. According to an embodiment of the present invention, the smart mirror display method may be implemented by the following means.

본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법은 사용자의 영상을 촬영하기 위한 수단(410); 촬영된 사용자의 영상 및 뷰티 영상을 디스플레이 하기 위한 수단(420); 촬영된 사용자의 영상에서 사용자의 뷰티 상태를 인식하기 위한 수단(430); 및 인식된 뷰티 상태에 적어도 부분적으로 기초하여 뷰티 영상의 서브 뷰티 영상을 전환하기 위한 수단(440)에 의하여 구현될 수 있다.According to an embodiment of the present invention, a smart mirror display method includes: means (410) for capturing an image of a user; Means (420) for displaying the captured user's image and beauty image; Means (430) for recognizing a beauty state of the user in the captured image of the user; And means 440 for converting the sub-beauty image of the beauty image based at least in part on the recognized beauty state.

도 5는 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법을 구현하기 위한 모듈을 도시한 블록 구성도이다. 5 is a block diagram illustrating a module for implementing a smart mirror display method according to an embodiment of the present invention.

본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법은 다음과 같은 모듈에 의하여 구현될 수 있다.According to an embodiment of the present invention, the smart mirror display method may be implemented by the following module.

본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법은 사용자의 영상을 촬영하기 위한 모듈(510); 촬영된 사용자의 영상 및 뷰티 영상을 디스플레이 하기 위한 모듈(520); 촬영된 사용자의 영상에서 사용자의 뷰티 상태를 인식하기 위한 모듈(530); 및 인식된 뷰티 상태에 적어도 부분적으로 기초하여 뷰티 영상의 서브 뷰티 영상을 전환하기 위한 모듈(540)에 의하여 구현될 수 있다. According to an embodiment of the present invention, a smart mirror display method includes a module 510 for capturing an image of a user; A module 520 for displaying a captured image of the user and a beauty image; A module 530 for recognizing a beauty state of the user in the captured image of the user; And a module 540 for converting the sub-beauty image of the beauty image based at least in part on the recognized beauty state.

도 6은 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법을 구현하기 위한 회로를 도시한 블록 구성도이다. 6 is a block diagram illustrating a circuit for implementing a smart mirror display method according to an embodiment of the present invention.

본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법은 다음과 같은 회로에 의하여 구현될 수 있다. According to an embodiment of the present invention, the smart mirror display method may be implemented by the following circuit.

본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법은 사용자의 영상을 촬영하기 위한 회로(610); 촬영된 사용자의 영상 및 뷰티 영상을 디스플레이 하기 위한 회로(620); 촬영된 사용자의 영상에서 사용자의 뷰티 상태를 인식하기 위한 회로(630); 및 인식된 뷰티 상태에 적어도 부분적으로 기초하여 뷰티 영상의 서브 뷰티 영상을 전환하기 위한 회로(640)에 의하여 구현될 수 있다. According to an embodiment of the present invention, a smart mirror display method includes a circuit 610 for capturing an image of a user; A circuit 620 for displaying an image and a beauty image of the captured user; A circuit 630 for recognizing a beauty state of the user in the captured image of the user; And circuitry 640 for converting the sub-beauty image of the beauty image based at least in part on the recognized beauty state.

도 7은 본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법을 구현하기 위한 로직을 도시한 블록 구성도이다. 7 is a block diagram illustrating logic for implementing a smart mirror display method according to an embodiment of the present invention.

본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법은 다음과 같은 로직에 의하여 구현될 수 있다. According to an embodiment of the present invention, the smart mirror display method may be implemented by the following logic.

본 발명의 일 실시예에 따라 스마트 미러 디스플레이 방법은 사용자의 영상을 촬영하기 위한 로직(710); 촬영된 사용자의 영상 및 뷰티 영상을 디스플레이 하기 위한 로직(720); 촬영된 사용자의 영상에서 사용자의 뷰티 상태를 인식하기 위한 로직(730); 및 인식된 뷰티 상태에 적어도 부분적으로 기초하여 뷰티 영상의 서브 뷰티 영상을 전환하기 위한 로직(740)에 의하여 구현될 수 있다. According to an embodiment of the present invention, a smart mirror display method includes logic 710 for capturing an image of a user; Logic 720 for displaying the captured user's image and beauty image; Logic 730 for recognizing a beauty state of the user in the captured image of the user; And logic 740 for converting the sub-beauty image of the beauty image based at least in part on the recognized beauty state.

당업자들은 추가적으로 여기서 개시된 실시예들과 관련되어 설명된 다양한 예시적 논리적 블록들, 구성들, 모듈들, 회로들, 수단들, 로직들, 및 알고리즘 단계들이 전자 하드웨어, 컴퓨터 소프트웨어, 또는 양쪽 모두의 조합들로 구현될 수 있음을 인식해야 한다. 하드웨어 및 소프트웨어의 상호교환성을 명백하게 예시하기 위해, 다양한 예시적 컴포넌트들, 블록들, 구성들, 수단들, 로직들, 모듈들, 회로들, 및 단계들은 그들의 기능성 측면에서 일반적으로 위에서 설명되었다. 그러한 기능성이 하드웨어로 또는 소프트웨어로서 구현되는지 여부는 전반적인 시스템에 부과된 특정 어플리케이션(application) 및 설계 제한들에 달려 있다. 숙련된 기술자들은 각각의 특정 어플리케이션들을 위해 다양한 방법들로 설명된 기능성을 구현할 수 있으나, 그러한 구현의 결정들이 본 발명내용의 영역을 벗어나게 하는 것으로 해석되어서는 안된다.Those skilled in the art will further appreciate that the various illustrative logical blocks, configurations, modules, circuits, means, logics, and algorithm steps described in connection with the embodiments disclosed herein may be electronic hardware, computer software, or a combination of both. It should be appreciated that it can be implemented with To clearly illustrate the interchangeability of hardware and software, various illustrative components, blocks, configurations, means, logics, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented in hardware or as software depends on the particular application and design constraints imposed on the overall system. Skilled artisans may implement the described functionality in varying ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present invention.

도 8 은 본 발명의 일 실시예에 따른 컴퓨팅 장치의 블록 구성도이다. 8 is a block diagram of a computing device according to an embodiment of the present invention.

도 8 은 본 발명의 실시예들이 구현될 수 있는 예시적인 컴퓨팅 환경에 대한 간략하고 일반적인 개략도를 도시한다.8 shows a brief, general schematic diagram of an exemplary computing environment in which embodiments of the invention may be implemented.

본 발명이가 일반적으로 하나 이상의 컴퓨터 상에서 실행될 수 있는 컴퓨터 실행가능 명령어와 관련하여 전술되었지만, 당업자라면 본 발명이가 기타 프로그램 모듈들과 결합되어 및/또는 하드웨어와 소프트웨어의 조합으로서 구현될 수 있다는 것을 잘 알 것이다.Although the present invention has been described above generally with respect to computer executable instructions that may be executed on one or more computers, those skilled in the art will recognize that the present invention may be implemented in combination with other program modules and / or as a combination of hardware and software. You will know well.

일반적으로, 프로그램 모듈은 특정의 태스크를 수행하거나 특정의 추상 데이터 유형을 구현하는 루틴, 프로그램, 컴포넌트, 데이터 구조, 기타 등등을 포함한다. 또한, 당업자라면 본 발명의 방법이 단일-프로세서 또는 멀티프로세서 컴퓨터 시스템, 미니컴퓨터, 메인프레임 컴퓨터는 물론 퍼스널 컴퓨터, 핸드헬드 컴퓨팅 장치, 마이크로프로세서-기반 또는 프로그램가능 가전 제품, 기타 등등(이들 각각은 하나 이상의 연관된 장치와 연결되어 동작할 수 있음)을 비롯한 다른 컴퓨터 시스템 구성으로 실시될 수 있다는 것을 잘 알 것이다.Generally, program modules include routines, programs, components, data structures, etc. that perform particular tasks or implement particular abstract data types. In addition, those skilled in the art will appreciate that the methods of the present invention may be used in uniprocessor or multiprocessor computer systems, minicomputers, mainframe computers, as well as personal computers, handheld computing devices, microprocessor-based or programmable consumer electronics, and the like (each of which And other computer system configurations, including one or more associated devices, which may operate in conjunction with one or more associated devices.

본 발명의 설명된 실시예들은 또한 어떤 태스크들이 통신 네트워크를 통해 연결되어 있는 원격 처리 장치들에 의해 수행되는 분산 컴퓨팅 환경에서 실시될 수 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치 모두에 위치할 수 있다.The described embodiments of the invention can also be practiced in distributed computing environments where certain tasks are performed by remote processing devices that are linked through a communications network. In a distributed computing environment, program modules may be located in both local and remote memory storage devices.

컴퓨터는 통상적으로 다양한 컴퓨터 판독가능 매체를 포함한다. 컴퓨터에 의해 액세스 가능한 매체는 그 어떤 것이든지 컴퓨터 판독가능 매체가 될 수 있고, 이러한 컴퓨터 판독가능 매체는 휘발성 및 비휘발성 매체, 일시적(transitory) 및 비일시적(non-transitory) 매체, 이동식 및 비-이동식 매체를 포함한다. 제한이 아닌 예로서, 컴퓨터 판독가능 매체는 컴퓨터 판독가능 저장 매체 및 컴퓨터 판독가능 전송 매체를 포함할 수 있다. 컴퓨터 판독가능 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보를 저장하는 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성 매체, 일시적 및 비-일시적 매체, 이동식 및 비이동식 매체를 포함한다. 컴퓨터 저장 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 기타 메모리 기술, CD-ROM, DVD(digital video disk) 또는 기타 광 디스크 저장 장치, 자기 카세트, 자기 테이프, 자기 디스크 저장 장치 또는 기타 자기 저장 장치, 또는 컴퓨터에 의해 액세스될 수 있고 원하는 정보를 저장하는 데 사용될 수 있는 임의의 기타 매체를 포함하지만, 이에 한정되지 않는다.Computers typically include a variety of computer readable media. Any medium that can be accessed by a computer can be a computer readable medium, which can be volatile and nonvolatile media, transitory and non-transitory media, removable and non-transitory media. Removable media. By way of example, and not limitation, computer readable media may comprise computer readable storage media and computer readable transmission media. Computer-readable storage media are volatile and nonvolatile media, temporary and non-transitory media, removable and non-removable implemented in any method or technology for storing information such as computer readable instructions, data structures, program modules or other data. Media. Computer storage media may include RAM, ROM, EEPROM, flash memory or other memory technology, CD-ROMs, digital video disks or other optical disk storage devices, magnetic cassettes, magnetic tapes, magnetic disk storage devices or other magnetic storage devices, Or any other medium that can be accessed by a computer and used to store desired information.

컴퓨터 판독가능 전송 매체는 통상적으로 반송파(carrier wave) 또는 기타 전송 메커니즘(transport mechanism)과 같은 피변조 데이터 신호(modulated data signal)에 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터등을 구현하고 모든 정보 전달 매체를 포함한다. 피변조 데이터 신호라는 용어는 신호 내에 정보를 인코딩하도록 그 신호의 특성들 중 하나 이상을 설정 또는 변경시킨 신호를 의미한다. 제한이 아닌 예로서, 컴퓨터 판독가능 전송 매체는 유선 네트워크 또는 직접 배선 접속(direct-wired connection)과 같은 유선 매체, 그리고 음향, RF, 적외선, 기타 무선 매체와 같은 무선 매체를 포함한다. 상술된 매체들 중 임의의 것의 조합도 역시 컴퓨터 판독가능 전송 매체의 범위 안에 포함되는 것으로 한다.Computer-readable transmission media typically embody computer readable instructions, data structures, program modules or other data in a modulated data signal, such as a carrier wave or other transport mechanism, and the like. Includes all information delivery media. The term modulated data signal means a signal that has one or more of its characteristics set or changed to encode information in the signal. By way of example, and not limitation, computer readable transmission media includes wired media such as a wired network or direct-wired connection, and wireless media such as acoustic, RF, infrared, or other wireless media. Combinations of any of the above should also be included within the scope of computer readable transmission media.

컴퓨터(1102)를 포함하는 본 발명의 여러가지 측면들을 구현하는 예시적인 환경(1100)이 나타내어져 있으며, 컴퓨터(1102)는 처리 장치(1104), 시스템 메모리(1106) 및 시스템 버스(1108)를 포함한다. 시스템 버스(1108)는 시스템 메모리(1106)(이에 한정되지 않음)를 비롯한 시스템 컴포넌트들을 처리 장치(1104)에 연결시킨다. 처리 장치(1104)는 다양한 상용 프로세서들 중 임의의 프로세서일 수 있다. 듀얼 프로세서 및 기타 멀티프로세서 아키텍처도 역시 처리 장치(1104)로서 이용될 수 있다.An exemplary environment 1100 is illustrated that implements various aspects of the present invention, including a computer 1102, which includes a processing unit 1104, a system memory 1106, and a system bus 1108. do. System bus 1108 connects system components, including but not limited to system memory 1106, to processing unit 1104. Processing unit 1104 may be any of a variety of commercial processors. Dual processor and other multiprocessor architectures may also be used as the processing unit 1104.

시스템 버스(1108)는 메모리 버스, 주변장치 버스, 및 다양한 상용 버스 아키텍처 중 임의의 것을 사용하는 로컬 버스에 추가적으로 상호 연결될 수 있는 몇가지 유형의 버스 구조 중 임의의 것일 수 있다. 시스템 메모리(1106)는 판독 전용 메모리(ROM)(1110) 및 랜덤 액세스 메모리(RAM)(1112)를 포함한다. 기본 입/출력 시스템(BIOS)은 ROM, EPROM, EEPROM 등의 비휘발성 메모리(1110)에 저장되며, 이 BIOS는 시동 중과 같은 때에 컴퓨터(1102) 내의 구성요소들 간에 정보를 전송하는 일을 돕는 기본적인 루틴을 포함한다. RAM(1112)은 또한 데이터를 캐싱하기 위한 정적 RAM 등의 고속 RAM을 포함할 수 있다.System bus 1108 may be any of several types of bus structures that may be further interconnected to a memory bus, a peripheral bus, and a local bus using any of a variety of commercial bus architectures. System memory 1106 includes read only memory (ROM) 1110 and random access memory (RAM) 1112. The basic input / output system (BIOS) is stored in nonvolatile memory 1110, such as ROM, EPROM, EEPROM, etc., and the BIOS provides a basic aid for transferring information between components in the computer 1102, such as during startup. Contains routines. RAM 1112 may also include fast RAM, such as static RAM, for caching data.

컴퓨터(1102)는 또한 내장형 하드 디스크 드라이브(HDD)(1114)(예를 들어, EIDE, SATA)―이 내장형 하드 디스크 드라이브(1114)는 또한 적당한 섀시(도시 생략) 내에서 외장형 용도로 구성될 수 있음―, 자기 플로피 디스크 드라이브(FDD)(1116)(예를 들어, 이동식 디스켓(1118)으로부터 판독을 하거나 그에 기록을 하기 위한 것임), 및 광 디스크 드라이브(1120)(예를 들어, CD-ROM 디스크(1122)를 판독하거나 DVD 등의 기타 고용량 광 매체로부터 판독을 하거나 그에 기록을 하기 위한 것임)를 포함한다. 하드 디스크 드라이브(1114), 자기 디스크 드라이브(1116) 및 광 디스크 드라이브(1120)는 각각 하드 디스크 드라이브 인터페이스(1124), 자기 디스크 드라이브 인터페이스(1126) 및 광 드라이브 인터페이스(1128)에 의해 시스템 버스(1108)에 연결될 수 있다. 외장형 드라이브 구현을 위한 인터페이스(1124)는 USB(Universal Serial Bus) 및 IEEE 1394 인터페이스 기술 중 적어도 하나 또는 이 모두를 포함한다.Computer 1102 also includes an internal hard disk drive (HDD) 1114 (eg, EIDE, SATA) —this internal hard disk drive 1114 may also be configured for external use within a suitable chassis (not shown). Yes, magnetic floppy disk drive (FDD) 1116 (eg, for reading from or writing to removable diskette 1118), and optical disk drive 1120 (eg, CD-ROM Disk 1122 for reading from or writing to or reading from other high capacity optical media such as DVD). The hard disk drive 1114, the magnetic disk drive 1116, and the optical disk drive 1120 are connected to the system bus 1108 by the hard disk drive interface 1124, the magnetic disk drive interface 1126, and the optical drive interface 1128, respectively. ) Can be connected. The interface 1124 for external drive implementation includes at least one or both of Universal Serial Bus (USB) and IEEE 1394 interface technologies.

이들 드라이브 및 그와 연관된 컴퓨터 판독가능 매체는 데이터, 데이터 구조, 컴퓨터 실행가능 명령어, 기타 등등의 비휘발성 저장을 제공한다. 컴퓨터(1102)의 경우, 드라이브 및 매체는 임의의 데이터를 적당한 디지털 형식으로 저장하는 것에 대응한다. 상기에서의 컴퓨터 판독가능 매체에 대한 설명이 HDD, 이동식 자기 디스크, 및 CD 또는 DVD 등의 이동식 광 매체를 언급하고 있지만, 당업자라면 집 드라이브(zip drive), 자기 카세트, 플래쉬 메모리 카드, 카트리지, 기타 등등의 컴퓨터에 의해 판독가능한 다른 유형의 매체도 역시 예시적인 운영 환경에서 사용될 수 있으며 또 임의의 이러한 매체가 본 발명의 방법들을 수행하기 위한 컴퓨터 실행가능 명령어를 포함할 수 있다는 것을 잘 알 것이다.These drives and their associated computer readable media provide nonvolatile storage of data, data structures, computer executable instructions, and the like. In the case of computer 1102, drives and media correspond to storing any data in a suitable digital format. Although the description of computer readable media above refers to HDDs, removable magnetic disks, and removable optical media such as CDs or DVDs, those skilled in the art will appreciate zip drives, magnetic cassettes, flash memory cards, cartridges, and the like. Other types of computer readable media may also be used in the exemplary operating environment and it will be appreciated that any such media may include computer executable instructions for performing the methods of the present invention.

운영 체제(1130), 하나 이상의 애플리케이션 프로그램(1132), 기타 프로그램 모듈(1134) 및 프로그램 데이터(1136)를 비롯한 다수의 프로그램 모듈이 드라이브 및 RAM(1112)에 저장될 수 있다. 운영 체제, 애플리케이션, 모듈 및/또는 데이터의 전부 또는 그 일부분이 또한 RAM(1112)에 캐싱될 수 있다. 본 발명이가 여러가지 상업적으로 이용가능한 운영 체제 또는 운영 체제들의 조합에서 구현될 수 있다는 것을 잘 알 것이다.Multiple program modules may be stored in the drive and RAM 1112, including operating system 1130, one or more application programs 1132, other program modules 1134, and program data 1136. All or a portion of the operating system, applications, modules and / or data may also be cached in RAM 1112. It will be appreciated that the present invention may be implemented in various commercially available operating systems or combinations of operating systems.

사용자는 하나 이상의 유선/무선 입력 장치, 예를 들어, 키보드(1138) 및 마우스(1140) 등의 포인팅 장치를 통해 컴퓨터(1102)에 명령 및 정보를 입력할 수 있다. 기타 입력 장치(도시 생략)로는 마이크, IR 리모콘, 조이스틱, 게임 패드, 스타일러스 펜, 터치 스크린, 기타 등등이 있을 수 있다. 이들 및 기타 입력 장치가 종종 시스템 버스(1108)에 연결되어 있는 입력 장치 인터페이스(1142)를 통해 처리 장치(1104)에 연결되지만, 병렬 포트, IEEE 1394 직렬 포트, 게임 포트, USB 포트, IR 인터페이스, 기타 등등의 기타 인터페이스에 의해 연결될 수 있다.A user may enter commands and information into the computer 1102 via one or more wired / wireless input devices, such as a keyboard 1138 and a mouse 1140. Other input devices (not shown) may include a microphone, IR remote control, joystick, game pad, stylus pen, touch screen, and the like. These and other input devices are often connected to the processing unit 1104 via an input device interface 1142, which is connected to the system bus 1108, but the parallel port, IEEE 1394 serial port, game port, USB port, IR interface, Etc. can be connected by other interfaces.

모니터(1144) 또는 다른 유형의 디스플레이 장치도 역시 비디오 어댑터(1146) 등의 인터페이스를 통해 시스템 버스(1108)에 연결된다. 모니터(1144)에 부가하여, 컴퓨터는 일반적으로 스피커, 프린터, 기타 등등의 기타 주변 출력 장치(도시 생략)를 포함한다.A monitor 1144 or other type of display device is also connected to the system bus 1108 via an interface such as a video adapter 1146. In addition to the monitor 1144, the computer generally includes other peripheral output devices (not shown) such as speakers, printers, and the like.

컴퓨터(1102)는 유선 및/또는 무선 통신을 통한 원격 컴퓨터(들)(1148) 등의 하나 이상의 원격 컴퓨터로의 논리적 연결을 사용하여 네트워크화된 환경에서 동작할 수 있다. 원격 컴퓨터(들)(1148)는 워크스테이션, 컴퓨팅 디바이스 컴퓨터, 라우터, 퍼스널 컴퓨터, 휴대용 컴퓨터, 마이크로프로세서-기반 오락 기기, 피어 장치 또는 기타 통상의 네트워크 노드일 수 있으며, 일반적으로 컴퓨터(1102)에 대해 기술된 구성요소들 중 다수 또는 그 전부를 포함하지만, 간략함을 위해, 메모리 저장 장치(1150)만이 도시되어 있다. 도시되어 있는 논리적 연결은 근거리 통신망(LAN)(1152) 및/또는 더 큰 네트워크, 예를 들어, 원거리 통신망(WAN)(1154)에의 유선/무선 연결을 포함한다. 이러한 LAN 및 WAN 네트워킹 환경은 사무실 및 회사에서 일반적인 것이며, 인트라넷 등의 전사적 컴퓨터 네트워크(enterprise-wide computer network)를 용이하게 해주며, 이들 모두는 전세계 컴퓨터 네트워크, 예를 들어, 인터넷에 연결될 수 있다.Computer 1102 may operate in a networked environment using logical connections to one or more remote computers, such as remote computer (s) 1148, via wired and / or wireless communications. Remote computer (s) 1148 may be a workstation, computing device computer, router, personal computer, portable computer, microprocessor-based entertainment device, peer device, or other conventional network node, and typically is associated with computer 1102. Although many or all of the components described above are included, for simplicity, only memory storage 1150 is shown. The logical connections shown include wired / wireless connections to a local area network (LAN) 1152 and / or a larger network, such as a telecommunications network (WAN) 1154. Such LAN and WAN networking environments are commonplace in offices and businesses, facilitating enterprise-wide computer networks such as intranets, all of which may be connected to worldwide computer networks, such as the Internet.

LAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 유선 및/또는 무선 통신 네트워크 인터페이스 또는 어댑터(1156)를 통해 로컬 네트워크(1152)에 연결된다. 어댑터(1156)는 LAN(1152)에의 유선 또는 무선 통신을 용이하게 해줄 수 있으며, 이 LAN(1152)은 또한 무선 어댑터(1156)와 통신하기 위해 그에 설치되어 있는 무선 액세스 포인트를 포함하고 있다. WAN 네트워킹 환경에서 사용될 때, 컴퓨터(1102)는 모뎀(1158)을 포함할 수 있거나, WAN(1154) 상의 통신 컴퓨팅 디바이스에 연결되거나, 또는 인터넷을 통하는 등, WAN(1154)을 통해 통신을 설정하는 기타 수단을 갖는다. 내장형 또는 외장형 및 유선 또는 무선 장치일 수 있는 모뎀(1158)은 직렬 포트 인터페이스(1142)를 통해 시스템 버스(1108)에 연결된다. 네트워크화된 환경에서, 컴퓨터(1102)에 대해 설명된 프로그램 모듈들 또는 그의 일부분이 원격 메모리/저장 장치(1150)에 저장될 수 있다. 도시된 네트워크 연결이 예시적인 것이며 컴퓨터들 사이에 통신 링크를 설정하는 기타 수단이 사용될 수 있다는 것을 잘 알 것이다.When used in a LAN networking environment, the computer 1102 is connected to the local network 1152 via a wired and / or wireless communication network interface or adapter 1156. Adapter 1156 may facilitate wired or wireless communication to LAN 1152, which also includes a wireless access point installed therein for communicating with wireless adapter 1156. When used in a WAN networking environment, the computer 1102 may include a modem 1158, connect to a communication computing device on the WAN 1154, or establish communications over the WAN 1154, such as over the Internet. Other means. The modem 1158, which may be an internal or external and wired or wireless device, is connected to the system bus 1108 via the serial port interface 1142. In a networked environment, program modules or portions thereof described with respect to computer 1102 may be stored in remote memory / storage device 1150. It will be appreciated that the network connections shown are exemplary and other means of establishing a communications link between the computers can be used.

컴퓨터(1102)는 무선 통신으로 배치되어 동작하는 임의의 무선 장치 또는 개체, 예를 들어, 프린터, 스캐너, 데스크톱 및/또는 휴대용 컴퓨터, PDA(portable data assistant), 통신 위성, 무선 검출가능 태그와 연관된 임의의 장비 또는 장소, 및 전화와 통신을 하는 동작을 한다. 이것은 적어도 Wi-Fi 및 블루투스 무선 기술을 포함한다. 따라서, 통신은 종래의 네트워크에서와 같이 미리 정의된 구조이거나 단순하게 적어도 2개의 장치 사이의 애드혹 통신(ad hoc communication)일 수 있다.Computer 1102 is associated with any wireless device or entity disposed and operating in wireless communication, such as a printer, scanner, desktop and / or portable computer, portable data assistant, communications satellite, wireless detectable tag. Communicate with any equipment or location and telephone. This includes at least Wi-Fi and Bluetooth wireless technology. Thus, the communication can be a predefined structure as in a conventional network or simply an ad hoc communication between at least two devices.

Wi-Fi(Wireless Fidelity)는 유선 없이도 인터넷 등으로의 연결을 가능하게 해준다. Wi-Fi는 이러한 장치, 예를 들어, 컴퓨터가 실내에서 및 실외에서, 즉 기지국의 통화권 내의 아무 곳에서나 데이터를 전송 및 수신할 수 있게 해주는 셀 전화와 같은 무선 기술이다. Wi-Fi 네트워크는 안전하고 신뢰성있으며 고속인 무선 연결을 제공하기 위해 IEEE 802.11(a,b,g, 기타)이라고 하는 무선 기술을 사용한다. 컴퓨터를 서로에, 인터넷에 및 유선 네트워크(IEEE 802.3 또는 이더넷을 사용함)에 연결시키기 위해 Wi-Fi가 사용될 수 있다. Wi-Fi 네트워크는 비인가 2.4 및 5 GHz 무선 대역에서, 예를 들어, 11Mbps(802.11a) 또는 54 Mbps(802.11b) 데이터 레이트로 동작하거나, 양 대역(듀얼 대역)을 포함하는 제품에서 동작할 수 있다.Wireless Fidelity (Wi-Fi) allows you to connect to the Internet without wires. Wi-Fi is a wireless technology such as a cell phone that allows such a device, for example, a computer, to transmit and receive data indoors and outdoors, ie anywhere within the coverage area of a base station. Wi-Fi networks use a wireless technology called IEEE 802.11 (a, b, g, etc.) to provide secure, reliable, high-speed wireless connections. Wi-Fi may be used to connect computers to each other, to the Internet, and to a wired network (using IEEE 802.3 or Ethernet). Wi-Fi networks can operate in unlicensed 2.4 and 5 GHz wireless bands, for example, at 11 Mbps (802.11a) or 54 Mbps (802.11b) data rates, or in products that include both bands (dual band). have.

본 발명의 기술 분야에서 통상의 지식을 가진 자는 정보 및 신호들이 임의의 다양한 상이한 기술들 및 기법들을 이용하여 표현될 수 있다는 것을 이해할 것이다. 예를 들어, 위의 설명에서 참조될 수 있는 데이터, 지시들, 명령들, 정보, 신호들, 비트들, 심볼들 및 칩들은 전압들, 전류들, 전자기파들, 자기장들 또는 입자들, 광학장들 또는 입자들, 또는 이들의 임의의 결합에 의해 표현될 수 있다.One of ordinary skill in the art will understand that information and signals may be represented using any of a variety of different technologies and techniques. For example, data, instructions, instructions, information, signals, bits, symbols, and chips that may be referenced in the above description may include voltages, currents, electromagnetic waves, magnetic fields or particles, optical fields. Or particles, or any combination thereof.

본 발명의 기술 분야에서 통상의 지식을 가진 자는 여기에 개시된 실시예들과 관련하여 설명된 다양한 예시적인 논리 블록들, 모듈들, 프로세서들, 수단들, 회로들 및 알고리즘 단계들이 전자 하드웨어, (편의를 위해, 여기에서 "소프트웨어"로 지칭되는) 다양한 형태들의 프로그램 또는 설계 코드 또는 이들 모두의 결합에 의해 구현될 수 있다는 것을 이해할 것이다. 하드웨어 및 소프트웨어의 이러한 상호 호환성을 명확하게 설명하기 위해, 다양한 예시적인 컴포넌트들, 블록들, 모듈들, 회로들 및 단계들이 이들의 기능과 관련하여 위에서 일반적으로 설명되었다. 이러한 기능이 하드웨어 또는 소프트웨어로서 구현되는지 여부는 특정한 애플리케이션 및 전체 시스템에 대하여 부과되는 설계 제약들에 따라 좌우된다. 본 발명의 기술 분야에서 통상의 지식을 가진 자는 각각의 특정한 애플리케이션에 대하여 다양한 방식들로 설명된 기능을 구현할 수 있으나, 이러한 구현 결정들은 본 발명의 범위를 벗어나는 것으로 해석되어서는 안 될 것이다.One of ordinary skill in the art would appreciate that the various exemplary logical blocks, modules, processors, means, circuits and algorithm steps described in connection with the embodiments disclosed herein may be implemented in electronic hardware, It will be appreciated that for purposes of the present invention, various forms of program or design code, or combinations thereof, may be implemented. To clearly illustrate this interchangeability of hardware and software, various illustrative components, blocks, modules, circuits, and steps have been described above generally in terms of their functionality. Whether such functionality is implemented as hardware or software depends on the particular application and design constraints imposed on the overall system. Those skilled in the art may implement the described functionality in various ways for each particular application, but such implementation decisions should not be interpreted as causing a departure from the scope of the present invention.

여기서 제시된 다양한 실시예들은 방법, 장치, 또는 표준 프로그래밍 및/또는 엔지니어링 기술을 사용한 제조 물품(article)으로 구현될 수 있다. 용어 "제조 물품"은 임의의 컴퓨터-판독가능 장치로부터 액세스 가능한 컴퓨터 프로그램, 캐리어, 또는 매체(media)를 포함한다. 예를 들어, 컴퓨터-판독가능 매체는 자기 저장 장치(예를 들면, 하드 디스크, 플로피 디스크, 자기 스트립, 등), 광학 디스크(예를 들면, CD, DVD, 등), 스마트 카드, 및 플래쉬 메모리 장치(예를 들면, EEPROM, 카드, 스틱, 키 드라이브, 등)를 포함하지만, 이들로 제한되는 것은 아니다. 또한, 여기서 제시되는 다양한 저장 매체는 정보를 저장하기 위한 하나 이상의 장치 및/또는 다른 기계-판독가능한 매체를 포함한다. The various embodiments presented herein may be embodied in a method, apparatus, or article of manufacture using standard programming and / or engineering techniques. The term "article of manufacture" includes a computer program, carrier, or media accessible from any computer-readable device. For example, computer-readable media may include magnetic storage devices (eg, hard disks, floppy disks, magnetic strips, etc.), optical discs (eg, CDs, DVDs, etc.), smart cards, and flash memory. Devices, such as, but not limited to, EEPROM, cards, sticks, key drives, and the like. In addition, various storage media presented herein include one or more devices and / or other machine-readable media for storing information.

제시된 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조는 예시적인 접근들의 일례임을 이해하도록 한다. 설계 우선순위들에 기반하여, 본 발명의 범위 내에서 프로세스들에 있는 단계들의 특정한 순서 또는 계층 구조가 재배열될 수 있다는 것을 이해하도록 한다. 첨부된 방법 청구항들은 샘플 순서로 다양한 단계들의 엘리먼트들을 제공하지만 제시된 특정한 순서 또는 계층 구조에 한정되는 것을 의미하지는 않는다.It is to be understood that the specific order or hierarchy of steps in the processes presented is an example of exemplary approaches. Based upon design priorities, it is understood that the specific order or hierarchy of steps in the processes may be rearranged within the scope of the present invention. The accompanying method claims present elements of the various steps in a sample order, but are not meant to be limited to the specific order or hierarchy presented.

제시된 실시예들에 대한 설명은 임의의 본 발명의 기술 분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.The description of the presented embodiments is provided to enable any person skilled in the art to make or use the present invention. Various modifications to these embodiments will be apparent to those skilled in the art, and the generic principles defined herein may be applied to other embodiments without departing from the scope of the invention. Thus, the present invention should not be limited to the embodiments set forth herein but should be construed in the broadest scope consistent with the principles and novel features set forth herein.

Claims (11)

스마트 미러 디스플레이 장치로서,
사용자를 촬영하는 카메라부;
상기 카메라부에서 촬영된 사용자의 영상 및 뷰티(beauty) 컨텐츠를 디스플레이 하는 디스플레이부; 및
상기 카메라부에서 촬영된 상기 사용자의 영상에서 상기 사용자의 뷰티 상태를 인식하고, 상기 인식된 뷰티 상태에 적어도 부분적으로 기초하여 상기 뷰티 컨텐츠의 서브 뷰티 컨텐츠를 전환하는 제어부를 포함하고,
상기 뷰티 컨텐츠는, 상기 사용자에게 화장 방법에 대한 정보를 제공하기 위해 다른 사용자가 상기 화장 방법을 수행하는 과정이 기록된 동영상으로서, 상기 동영상이 분할되어 생성되는 하나 이상의 서브 뷰티 컨텐츠를 포함하며,
상기 디스플레이부는, 상기 사용자가 상기 뷰티 컨텐츠에 기록된 상기 화장 방법을 따라 할 수 있도록 상기 사용자의 영상이 표시되는 영역과 상이한 영역에 상기 뷰티 컨텐츠를 디스플레이 하고,
상기 제어부는, 상기 동영상을 시간 단위, 화장에 따른 얼굴 이미지 변화 단위, 화장 도구 단위 또는 화장 스킬 단위에 따라 분할하여 상기 하나 이상의 서브 뷰티 컨텐츠를 생성하고,
상기 제어부는 추가적으로, 상기 카메라부에서 촬영된 상기 사용자의 영상을 상기 사용자의 화장 단계에 따라 저장하고, 상기 사용자의 입력에 기초하여 상기 저장된 사용자의 영상을 영상 공유 플랫폼에 공유할 것을 결정하는,
스마트 미러 디스플레이 장치.As a smart mirror display device,
A camera unit for photographing a user;
A display unit configured to display an image and beauty content of the user photographed by the camera unit; And
A control unit for recognizing a beauty state of the user in the image of the user photographed by the camera unit, and switching sub beauty content of the beauty content based at least in part on the recognized beauty state;
The beauty content is a video in which a process of performing the makeup method by another user is provided to provide information about a makeup method to the user, and includes one or more sub-beauty content generated by splitting the video.
The display unit displays the beauty content in an area different from an area where the image of the user is displayed so that the user can follow the makeup method recorded in the beauty content.
The controller generates the one or more sub-beauty contents by dividing the video according to a time unit, a face image change unit according to a makeup, a makeup tool unit, or a makeup skill unit,
The controller additionally stores the image of the user photographed by the camera unit according to the make-up step of the user, and determines to share the stored user image to the image sharing platform based on the user input.
Smart mirror display device. 삭제delete 제 1 항에 있어서,
상기 사용자의 뷰티 상태는, 상기 사용자가 상기 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행하였는지에 관련한 정보를 포함하며,
상기 제어부는, 상기 사용자의 영상의 이미지 변화 값에 기초하여 상기 사용자의 뷰티 상태를 인식하고, 상기 인식된 뷰티 상태에 기초하여 상기 사용자가 상기 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행하였는지 여부를 판단하고, 상기 사용자가 상기 서브 뷰티 컨텐츠에 포함된 화장 단계를 수행한 경우, 다음 서브 뷰티 컨텐츠를 디스플레이 할 것을 결정하는,
스마트 미러 디스플레이 장치. The method of claim 1,
The beauty state of the user includes information related to whether the user performed the makeup step included in the sub-beauty content,
The controller recognizes a beauty state of the user based on an image change value of the image of the user, and determines whether the user performs a make-up step included in the sub-beauty content based on the recognized beauty state. And when the user performs a make-up step included in the sub beauty content, determining to display the next sub beauty content,
Smart mirror display device. 제 1 항에 있어서,
상기 제어부는 추가적으로, 상기 카메라부에서 촬영된 상기 사용자의 영상에서 상기 사용자의 피부 상태를 인식하고, 상기 인식된 피부 상태에 적어도 부분적으로 기초하여 상기 뷰티 컨텐츠를 선택하는,
스마트 미러 디스플레이 장치.The method of claim 1,
The control unit additionally recognizes the skin condition of the user from the image of the user photographed by the camera unit, and selects the beauty content based at least in part on the recognized skin condition.
Smart mirror display device. 제 1 항에 있어서,
상기 사용자로부터 상기 사용자의 뷰티 목표에 대한 입력을 수신하기 위한 사용자 입력부를 더 포함하고,
상기 제어부는 추가적으로, 상기 사용자로부터 입력된 상기 사용자의 뷰티 목표에 적어도 부분적으로 기초하여 상기 뷰티 컨텐츠를 선택하는,
스마트 미러 디스플레이 장치.The method of claim 1,
Further comprising a user input unit for receiving an input for the beauty goal of the user from the user,
The controller may further select the beauty content based at least in part on the beauty goal of the user input from the user.
Smart mirror display device. 제 5 항에 있어서,
상기 뷰티 목표는, 상기 사용자의 피부 상태, 상기 사용자의 뷰티 지향점, 상기 사용자가 참석하고자 하는 사회적 이벤트 및 상기 사용자의 개인정보 중 적어도 하나에 기초한 뷰티 목표인,
스마트 미러 디스플레이 장치. The method of claim 5,
The beauty goal is a beauty goal based on at least one of a skin condition of the user, a beauty orientation point of the user, a social event the user wishes to attend, and personal information of the user,
Smart mirror display device. 제 1 항에 있어서,
상기 제어부가 상기 사용자의 피부 상태를 인식하도록 하기 위한 정보를 획득하기 위한 피부 상태 인식부를 더 포함하는,
스마트 미러 디스플레이 장치.The method of claim 1,
The apparatus may further include a skin condition recognition unit for obtaining information for allowing the controller to recognize the skin condition of the user.
Smart mirror display device. 제 1 항에 있어서,
상기 제어부는, 상기 카메라부에서 촬영된 상기 사용자의 영상에서 상기 사용자의 얼굴의 각 부분을 인식하고, 상기 인식된 각 부분에 상기 서브 뷰티 컨텐츠의 화장 단계가 적용되었는지 여부를 판단하는,
스마트 미러 디스플레이 장치.The method of claim 1,
The controller recognizes each part of the face of the user from the image of the user photographed by the camera unit, and determines whether the makeup step of the sub-beauty content is applied to each of the recognized parts.
Smart mirror display device. 삭제delete 스마트 미러 디스플레이 장치에서 수행되는 스마트 미러 디스플레이 방법으로서,
사용자의 영상을 촬영하는 단계;
촬영된 사용자의 영상 및 뷰티 컨텐츠를 디스플레이 하는 단계;
상기 촬영된 사용자의 영상에서 상기 사용자의 뷰티 상태를 인식하는 단계; 및
상기 인식된 뷰티 상태에 적어도 부분적으로 기초하여 상기 뷰티 컨텐츠의 서브 뷰티 컨텐츠를 전환하는 단계;
동영상을 시간 단위, 화장에 따른 얼굴 이미지 변화 단위, 화장 도구 단위 또는 화장 스킬 단위에 따라 분할하여 하나 이상의 서브 뷰티 컨텐츠를 생성하는 단계; 및
카메라부에서 촬영된 상기 사용자의 영상을 상기 사용자의 화장 단계에 따라 저장하고, 상기 사용자의 입력에 기초하여 상기 저장된 사용자의 영상을 영상 공유 플랫폼에 공유할 것을 결정하는 단계를 포함하고,
상기 뷰티 컨텐츠는, 상기 사용자에게 화장 방법에 대한 정보를 제공하기 위해 다른 사용자가 상기 화장 방법을 수행하는 과정이 기록된 동영상으로서, 동영상이 분할되어 생성되는 하나 이상의 서브 뷰티 컨텐츠를 포함하고,
상기 촬영된 사용자의 영상 및 뷰티 컨텐츠를 디스플레이 하는 단계는, 상기 사용자가 상기 뷰티 컨텐츠에 기록된 상기 화장 방법을 따라 할 수 있도록 상기 촬영된 사용자의 영상이 표시되는 영역과 상이한 영역에 상기 뷰티 컨텐츠를 디스플레이 함으로써 수행되는,
스마트 미러 디스플레이 장치에서 수행되는 스마트 미러 디스플레이 방법.A smart mirror display method performed in a smart mirror display device,
Photographing an image of a user;
Displaying the photographed user's image and beauty content;
Recognizing a beauty state of the user in the captured image of the user; And
Switching sub-beauty content of the beauty content based at least in part on the recognized beauty state;
Generating at least one sub-beauty content by dividing the video according to a time unit, a face image change unit according to makeup, a makeup tool unit, or a makeup skill unit; And
Storing the image of the user photographed by the camera unit according to the make-up step of the user, and determining to share the stored user image to the image sharing platform based on the user input;
The beauty content is a video in which a process of performing the makeup method by another user is provided to provide information about the makeup method to the user, and includes one or more sub-beauty content generated by splitting the video.
The displaying of the photographed user's image and beauty content may include displaying the beauty content in an area different from a region where the photographed user's image is displayed so that the user can follow the makeup method recorded in the beauty content. Performed by display,
Smart mirror display method performed on the smart mirror display device. 인코딩된 명령들을 포함하는 컴퓨터 판독 가능 저장 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은 컴퓨팅 장치의 하나 이상의 프로세서들에 의해 실행되는 경우, 상기 하나 이상의 프로세서들로 하여금 스마트 미러 디스플레이를 제공하기 위한 이하의 단계들을 수행하도록 하며, 상기 단계들은:
사용자의 영상을 촬영하는 단계;
촬영된 사용자의 영상 및 뷰티 컨텐츠를 디스플레이 하는 단계;
상기 촬영된 사용자의 영상에서 상기 사용자의 뷰티 상태를 인식하는 단계; 및
상기 인식된 뷰티 상태에 적어도 부분적으로 기초하여 상기 뷰티 컨텐츠의 서브 뷰티 컨텐츠를 전환하는 단계;
동영상을 시간 단위, 화장에 따른 얼굴 이미지 변화 단위, 화장 도구 단위 또는 화장 스킬 단위에 따라 분할하여 상기 하나 이상의 서브 뷰티 컨텐츠를 생성하는 단계; 및
카메라부에서 촬영된 상기 사용자의 영상을 상기 사용자의 화장 단계에 따라 저장하고, 상기 사용자의 입력에 기초하여 상기 저장된 사용자의 영상을 영상 공유 플랫폼에 공유할 것을 결정하는 단계를 포함하고,
상기 뷰티 컨텐츠는, 상기 사용자에게 화장 방법에 대한 정보를 제공하기 위해 다른 사용자가 상기 화장 방법을 수행하는 과정이 기록된 동영상으로서, 동영상이 분할되어 생성되는 하나 이상의 서브 뷰티 컨텐츠를 포함하고,
상기 촬영된 사용자의 영상 및 뷰티 컨텐츠를 디스플레이 하는 단계는, 상기 사용자가 상기 뷰티 컨텐츠에 기록된 상기 화장 방법을 따라 할 수 있도록 상기 촬영된 사용자의 영상이 표시되는 영역과 상이한 영역에 상기 뷰티 컨텐츠를 디스플레이 함으로써 수행되는,
컴퓨터 판독가능 저장 매체에 저장된 컴퓨터 프로그램.A computer program stored in a computer readable storage medium containing encoded instructions, wherein the computer program, when executed by one or more processors of a computing device, causes the one or more processors to provide the following: To perform the steps, which steps are:
Photographing an image of a user;
Displaying the photographed user's image and beauty content;
Recognizing a beauty state of the user in the captured image of the user; And
Switching sub-beauty content of the beauty content based at least in part on the recognized beauty state;
Generating at least one sub-beauty content by dividing a video according to a time unit, a face image change unit according to makeup, a makeup tool unit, or a makeup skill unit; And
Storing the image of the user photographed by the camera unit according to the make-up step of the user, and determining to share the stored user image to the image sharing platform based on the user input;
The beauty content is a video in which a process of performing the makeup method by another user is provided to provide information about the makeup method to the user, and includes one or more sub-beauty content generated by splitting the video.
The displaying of the photographed user's image and beauty content may include displaying the beauty content in an area different from a region where the photographed user's image is displayed so that the user can follow the makeup method recorded in the beauty content. Performed by display,
Computer program stored on a computer readable storage medium.
KR1020170168252A 2017-12-08 2017-12-08 Smart mirror display device KR102045575B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170168252A KR102045575B1 (en) 2017-12-08 2017-12-08 Smart mirror display device
JP2018088522A JP2019103772A (en) 2017-12-08 2018-05-02 Smart mirror display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170168252A KR102045575B1 (en) 2017-12-08 2017-12-08 Smart mirror display device

Publications (2)

Publication Number Publication Date
KR20190068146A KR20190068146A (en) 2019-06-18
KR102045575B1 true KR102045575B1 (en) 2019-12-05

Family

ID=67061129

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170168252A KR102045575B1 (en) 2017-12-08 2017-12-08 Smart mirror display device

Country Status (2)

Country Link
JP (1) JP2019103772A (en)
KR (1) KR102045575B1 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200144821A (en) 2019-06-19 2020-12-30 인하대학교 산학협력단 Smart mirror
KR20210094247A (en) * 2020-01-21 2021-07-29 삼성전자주식회사 Display apparatus and method for controlling the same
KR20220036712A (en) 2020-09-16 2022-03-23 (주)아모레퍼시픽 Smart mirror, controlling method thereof and system for purchasing a cosmetic
KR20220152144A (en) 2021-05-07 2022-11-15 아이콘에이아이 주식회사 Voice recogniton based smart mirror device
US20220354279A1 (en) 2021-05-07 2022-11-10 Icon Ai Inc. Voice recognition based smart mirror device
WO2023054736A1 (en) * 2021-09-28 2023-04-06 주식회사 타키온비앤티 System for selectively applying makeup effect through facial recognition of user
CN114212036A (en) * 2021-12-20 2022-03-22 浙江吉利控股集团有限公司 Cosmetic mirror display method, system, medium, device, and program product

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153739A (en) 2001-09-05 2003-05-27 Fuji Photo Film Co Ltd Makeup mirror device, and makeup method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160130085A (en) * 2015-04-30 2016-11-10 모다정보통신 주식회사 Exercising Method and System Using a Smart Mirror
KR20160142742A (en) * 2015-06-03 2016-12-13 삼성전자주식회사 Device and method for providing makeup mirror
KR101985438B1 (en) * 2016-02-24 2019-06-03 이용국 Smart Apparatus for Measuring And Improving Physical Ability

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003153739A (en) 2001-09-05 2003-05-27 Fuji Photo Film Co Ltd Makeup mirror device, and makeup method

Also Published As

Publication number Publication date
JP2019103772A (en) 2019-06-27
KR20190068146A (en) 2019-06-18

Similar Documents

Publication Publication Date Title
KR102045575B1 (en) Smart mirror display device
CN109819313B (en) Video processing method, device and storage medium
US11410457B2 (en) Face reenactment
WO2018153267A1 (en) Group video session method and network device
US20210392296A1 (en) Predicting behavior changes of a participant of a 3d video conference
US9478054B1 (en) Image overlay compositing
US10938725B2 (en) Load balancing multimedia conferencing system, device, and methods
US20210392175A1 (en) Sharing content during a virtual 3d video conference
US10719695B2 (en) Method for pushing picture, mobile terminal, and storage medium
US11790535B2 (en) Foreground and background segmentation related to a virtual three-dimensional (3D) video conference
US11558561B2 (en) Personalized videos featuring multiple persons
CN110472558B (en) Image processing method and device
JP2022518520A (en) Image deformation control method, equipment and hardware equipment
US11721046B2 (en) Customizing soundtracks and hairstyles in modifiable videos of multimedia messaging application
CN108701355A (en) GPU optimizes and the skin possibility predication based on single Gauss online
US20220385808A1 (en) Selfie setup and stock videos creation
CN112449098B (en) Shooting method, device, terminal and storage medium
US20230107555A1 (en) Facial Expression Editing Method and Electronic Device
US20080122867A1 (en) Method for displaying expressional image
JP5550447B2 (en) Electronic apparatus and method
US20230289919A1 (en) Video stream refinement for dynamic scenes
US20220217430A1 (en) Systems and methods for generating new content segments based on object name identification
WO2022238908A2 (en) Method and system for virtual 3d communications

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant