KR20160095464A - Contents Recommend Apparatus For Digital Signage Using Facial Emotion Recognition Method And Method Threof - Google Patents

Contents Recommend Apparatus For Digital Signage Using Facial Emotion Recognition Method And Method Threof Download PDF

Info

Publication number
KR20160095464A
KR20160095464A KR1020150016751A KR20150016751A KR20160095464A KR 20160095464 A KR20160095464 A KR 20160095464A KR 1020150016751 A KR1020150016751 A KR 1020150016751A KR 20150016751 A KR20150016751 A KR 20150016751A KR 20160095464 A KR20160095464 A KR 20160095464A
Authority
KR
South Korea
Prior art keywords
information
user
concentration
environment
emotional
Prior art date
Application number
KR1020150016751A
Other languages
Korean (ko)
Inventor
박영수
류원
이용태
이원재
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150016751A priority Critical patent/KR20160095464A/en
Publication of KR20160095464A publication Critical patent/KR20160095464A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0251—Targeted advertisements
    • G06Q30/0269—Targeted advertisements based on user profile or attribute
    • G06Q30/0271—Personalized advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations

Landscapes

  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Engineering & Computer Science (AREA)
  • Development Economics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Game Theory and Decision Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

The present invention relates to an emotional ICT technology field and, more specifically, relates to a device and a method thereof to provide a content recommending service for digital signage. The method includes: a step of collecting environment information and object information of a user through a sensor, and then transmitting the information to a screen terminal; a step of delivering the object information and the environment information to a cognitive processing module if the screen terminal does not have a computing ability to preprocess the object information and the environment information; a step of delivering self-performance and position information from the screen terminal to the cognitive processing module; a step of measuring bio emotional information such as the commitment and concentration of the user and collecting situational information through the cognitive processing module, and then transmitting the information to a storage device; a step of recognizing the bio emotional information and the situational information; and a step of generating suitable content recommendation information for the user based on the recognized bio emotional information and the situational information.

Description

얼굴 감정 인식 방법을 적용한 사이니지용 콘텐츠 추천 장치 및 그 동작 방법{Contents Recommend Apparatus For Digital Signage Using Facial Emotion Recognition Method And Method Threof}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a content recommendation apparatus and a method thereof,

이하의 실시예는 감성 ICT 기술 분야에 관련된 것으로, 디지털 사이니지(Digital Signage)용 콘텐츠 추천 서비스를 제공하는 장치 및 그 방법에 관한 것이다.
The following embodiments relate to the field of emotional ICT technology, and an apparatus and method for providing content recommendation service for digital signage.

감성 ICT(Information and Communications Technologies)는 인간의 감성을 자동으로 인지하고, 사용 상황에 맞게 감성 정보를 처리하여 사용자 감성 맞춤형 제품과 서비스를 제공하는 기술이다.Emotional ICT (Information and Communications Technologies) is a technology that automatically senses human emotions and processes emotional information according to usage situation to provide personalized emotional products and services.

이는 외부 환경에 의해 인간을 자극했을 때 뇌를 통하여 나타나는 신체적인 반응인 감성을 인지하여 전송하고, 이렇게 전달된 정보를 바탕으로 환경/상황신호와(또는 타 분야의 기술과) 융합하여 사용자에게 유용한 환경으로 조절하거나 개선된 감성 상태를 일으키는데 영향을 미치기 위해 필요한 기술로, 맥박이나 뇌파, 언어, 표정, 생활 습관 등을 센싱하여 사용자의 기분을 파악한 뒤 여러 제품 및 서비스의 기능을 제어한다. It recognizes and transmits the emotional response, which is a physical response through the brain when stimulated by the external environment. Based on the information thus transmitted, it is possible to use the environment / situation signals (or technologies of other fields) It is a technology required to control the environment or to affect the development of improved emotional state. It senses pulse, EEG, language, facial expression, lifestyle, etc., and grasps user's feeling and controls functions of various products and services.

예를 들어, 컴퓨터에 부착된 무선 센서를 통해 생체 신호 등을 측정하여 스트레스를 추정하는 기술, 인간의 감성을 측정하기 위한 웨어러블 컴퓨팅 기술, 감성 인식 디바이스 기술 등의 관련 기술의 연구 진행과 함께 이를 이용하는 다양한 부가 서비스가 개발되고 있다.For example, research on related technologies such as a technology for estimating stress by measuring a biological signal or the like through a wireless sensor attached to a computer, a wearable computing technology for measuring human emotion, Various additional services are being developed.

감성 신호는 인간의 감성 변화에 의한 자율신경계의 활동에 의해 나타나는 생리적 반응인 생체 신호(심전도, 호흡, 체온, 체중, 혈압, 맥박, 체지방 등) 및 환경 상황 신호(수질, 대기, 공기질, 온도 습도, 조도, 먼지, 풍향, 풍량 등, 형태적 반응 신호, 음성 신호, 영상 신호(피부 영상 등) 등을 일상 생활의 무구속/무지각 상태에서 센싱할 필요가 있다.Emotional signals are signals of physiological responses (electrocardiogram, respiration, body temperature, body weight, blood pressure, pulse, body fat, etc.) and environmental condition signals (water quality, atmosphere, air quality, temperature and humidity It is necessary to sense morphological response signals, sound signals, and video signals (skin images, etc.) such as illumination, roughness, dust, wind direction,

이러한 감성 신호의 센싱 즉, 감성 측정은 외적 자극으로 인한 개인의 이상적(異常的) 변화에 대해 인지함으로 이를 긍정적 상태(교육 관점에서 학교생활에 원만하게 적응, 학업에서의 집중도, 이해도, 만족도 등이 높음 등)로 회복 혹은 유지하도록 유도하거나 이상적 변화(의학적 관점에서 정신 질환을 유발하거나 일반적인 생활을 하지 못하게 방해하는 우울, 불안, 화, 집착, 혐오 등; 사회적 관점에서 과중한 업무와 경쟁적 인간 관계에서 오는 스트레스)를 인지하여 휴식, 운동 등을 통해 긍정적 상태로 유도할 수 있다.The sensation of the emotional signal, that is, the emotional measurement, recognizes the abnormal change of the individual due to the external stimulus, and recognizes it as a positive state (adaptation to the school life from the viewpoint of education, concentration in the study, understanding degree, (Such as depression, anxiety, anger, obsession, and disgust) that lead to a mental illness or a general illness from a medical point of view; Stress), and can lead to a positive state through rest and exercise.

센싱된 생체 신호 및 환경 상황 신호를 신호 처리, 보정하여 이를 기반으로 인간의 감성은 인식, 검증, 규격화하여 정보화하는 감성 인지가 적용되어, 인지된 감성 정보 및 환경 정보를 서로 교환할 수 이도록 네트워크 및 감성 통신 프로토콜 지원이 필요하다.The sensed biosignal and the environmental situation signal are processed and corrected, and based on this, human sensibility is recognized, verified, and standardized so that emotional recognition, which is information, is applied. Thus, Emotional communication protocol support is needed.

감성 서비스는 생활 환경인 감성 지능 공간을 구축하고 인간의 감성에 자율적으로 반응하여 인간의 개입을 최소화하며, 인간의 감성 기반 오감을 자극하는 생활 융합 제품/서비스를 제공할 필요가 있다.The emotional service needs to provide a living convergence product / service that establishes the emotional intelligence space that is the living environment, responds autonomously to human emotions, minimizes human intervention, and stimulates the five senses based on human emotion.

현재, 많이 사용되는 시각, 청각과 같은 단일 인공감각 인식 기술은 특징 추출, 특징 선택, 인식 기술의 한계에서 나타나는 정보의 불확실성으로 인해 그 한계를 드러내고 있어, 그 해결 방안으로 인간의 오감을 모방한 컴퓨터 기술에 접목함으로써 다중 감각 추론 및 인지 향상 기술의 개발이 요구되고 있고, 이는 인식 시스템을 사용하는 사용자에게 과도한 인식 정보가 제공되는 것을 차단하고, 인식 시스템이 처리하는 데이터의 양을 관심 영역 내로 줄여 처리 속도를 향상시킬 필요가 있다.Currently, a single artificial sensory recognition technology such as vision and hearing is widely used due to the uncertainty of information extracted from feature extraction, feature selection, and recognition technology. Therefore, Technology, it is required to develop a multi-sensory reasoning and cognition improvement technology. This prevents the recognition information from being provided to a user who uses the cognition system, reduces the amount of data processed by the cognition system into the area of interest There is a need to improve speed.

또한, 얼굴에서의 감성 인식은 현재 연구되는 여러 가지 감정 인식 중에서 효율적이고 자연스러운 휴먼 인터페이스로 기대되고 있다. 심리학 분야에서도 얼굴 분석과 인식에 대한 연구가 수년간 이루어졌으며, 사람의 여섯 가지 감정, 기쁨, 슬픔, 화남, 놀람, 혐오, 공포는 문화의 영향을 받지 않고 공통으로 이식되는 기본 감정으로 분류하였다. 이러한 감정은 얼굴 표정을 비롯하여 뇌파, 맥박, 체온 등 생체 데이터로부터도 인식한다.In addition, emotional perception in the face is expected as an efficient and natural human interface among various emotional perceptions currently studied. In the field of psychology, research on face analysis and recognition has been carried out for many years, and the six emotions, joys, sadness, anger, surprise, disgust, and fear of a person are classified as basic emotions that are commonly implanted without being influenced by culture. These emotions are recognized from facial expressions as well as biometric data such as brain waves, pulse and body temperature.

그러나, 얼굴 감성 인식은 얼굴 이미지나 이미지 시퀀스(Image Sequence)에서 얼굴을 검출해야 하고, 검출한 얼굴에서 얼굴 표정 데이터를 추출해야 하며, 추출한 데이터를 가지고 얼굴 표정 분류를 해야 하는 어려움 때문에, 얼굴 표정 인식에서 입력 데이터의 전처리, 특징점 추출 및 분류, 사후 처리 등의 단계가 필요하다.However, facial emotion recognition needs to detect faces in a facial image or an image sequence, extract facial expression data from the detected facial expressions, and it is difficult to classify facial expressions with the extracted data, , Preprocessing of input data, extraction and classification of feature points, and post-processing are required.

더불어, 생체 정보뿐만 아니라, 환경 상황 정보를 더 이용하여 사용자의 집중도 등의 감성을 측정함으로써, 궁극적으로 사용자에 전해지는 광고 등의 콘텐츠 정보 제공 효과를 극대화하기 위한 기술이 요구된다.
In addition, techniques for maximizing the effect of providing contents information such as advertisements ultimately transmitted to users are required by measuring emotions such as concentration of users by using not only biometric information but also environmental situation information.

본 발명의 실시예는, 시선 패턴 분석을 통해 시각적인 자극에 대한 사용자의 집중도를 체크하여 사용자가 집중상태인지 또는 비 집중 상태인지 등과 같은 자극에 대한 효과를 분석할 수 있게 한 사용자 집중도 분석 장치 및 방법을 제공하고자 한다.Embodiments of the present invention include a user concentration analyzer that analyzes a user's concentration on a visual stimulus through line-of-sight pattern analysis and analyzes an effect on a stimulus such as whether the user is in a concentrated state or a non-concentrated state, Method.

또한, 인간의 개입을 최소화하며, 인간의 감성기반 오감을 자극하는 생활융합 제품/서비스를 제공하고자 한다.In addition, we want to provide a life-convergence product / service that minimizes human intervention and stimulates the five senses based on human emotion.

더불어, 사용자 집중도 등의 감성 정보를 이용한 광고 등의 콘텐츠 정보 제공 장치를 제공하는데, 특히, 사용자의 시각적인 자극과 같은 생체 정보, 사용자, 환경 및 주변 지역 정보 등의 상황 정보를 감지 및 센싱할 수 있는 객체 인식 모듈 및 환경 인식 모듈로부터 수신되는 정보를 이용하여, 사용자의 감성 및 상황 정보를 지표화 할 수 있는 장치를 제공하는 것이며, 궁극적으로 사용자를 고려하여 추천된 광고 등의 콘텐츠 정보를 제공하고자 한다.
In addition, the present invention provides a content information providing device such as advertisement using emotion information such as user concentration, and more particularly, it is possible to detect and sense situation information such as biometric information such as a user's visual stimulation, user, environment, The present invention provides a device capable of indexing emotional and contextual information of a user using information received from an object recognition module and an environment recognition module, and ultimately provides content information such as a recommended advertisement in consideration of a user .

사이니지용 콘텐츠 추천 장치의 동작 방법에 있어서, 센서를 통하여 사용자의 객체 정보 및 환경 정보를 수집하고 스크린 단말로 전송하는 단계; 상기 스크린 단말이 상기 객체 정보 및 상기 환경 정보를 전처리할 컴퓨팅 능력이 없는 경우, 상기 객체 정보 및 상기 환경 정보를 인지 처리 모듈로 전달하는 단계; 상기 스크린 단말에서 자체 성능 및 위치 정보를 인지 처리 모듈로 전달하는 단계; 인지 처리 모듈에서, 상기 사용자의 집중도, 몰입도 등의 생체 감성 정보를 측정하고, 상황 정보를 수집하여 저장 장치로 전송하는 단계; 상기 생체 감성 정보 및 상기 상황 정보를 인식하는 단계; 및 상기 인식된 생체 감성 정보 및 상기 상황 정보를 기반으로 상기 사용자에 적합한 콘텐츠 추천 정보를 생성하는 단계를 포함하는, 사이니지용 콘텐츠 추천 장치의 동작 방법이 제공될 수 있다.
A method of operating a content recommendation apparatus for a communication, the method comprising: collecting object information and environment information of a user through a sensor and transmitting the collected object information and environment information to a screen terminal; Transmitting the object information and the environment information to the recognition processing module when the screen terminal does not have the object information and the computing ability to preprocess the environment information; Transmitting performance and location information of the screen terminal to the recognition processing module; Measuring the biometric information such as the concentration of the user, the degree of immersion, etc., and collecting the situation information and transmitting the collected information to a storage device; Recognizing the biometric information and the status information; And generating content recommendation information suitable for the user based on the recognized biometric information and the context information.

본 발명의 실시예를 통해, 감성 맞춤형의 서비스 장치는 본 발명에 의한 인지 처리 장치로부터 수신되는 집중도에 기반하여 사용자에게 적합한 콘텐츠를 추천하여 광고 효과를 증대 시킬 수 있다.Through the embodiments of the present invention, the service apparatus of the emotional customization can increase the advertisement effect by recommending contents suitable for the user based on the concentration degree received from the perception processing apparatus according to the present invention.

특히, 사용자의 시각적인 자극과 같은 생체 정보, 사용자, 환경 및 주변 지역 정보 등의 상황 정보를 감지 및 센싱할 수 있는 객체 인식 모듈 및 환경 인식 모듈로부터 수신되는 정보를 이용하여, 사용자의 감성 및 상황 정보를 지표화 할 수 있는 장치를 제공하며, 본 발명의 실시예에 해당하는 장치는 궁극적으로 다양한 플랫폼에서 동작하는 광고 효과 향상 시스템에 공통적으로 적용될 수 있다.Particularly, by using information received from an object recognition module and an environment recognition module capable of sensing and sensing status information such as biometric information, user, environment, and surrounding area information such as a user's visual stimulation, And an apparatus according to an embodiment of the present invention can be commonly applied to an advertisement effect enhancement system operating on various platforms.

따라서, 본 발명에 의한 인지 처리 장치를 이용하는 광고 효과 향상 시스템의 개발 비용이 절감될 뿐만 아니라, 다양한 응용 분야에도 본 발명에 의한 인지 처리 장치가 적용될 수 있다.
Therefore, not only the development cost of the advertisement effect enhancement system using the cognitive processing apparatus according to the present invention is reduced, but also the cognitive processing apparatus according to the present invention can be applied to various application fields.

도 1은 본 발명의 일실시예에 있어서, 사이니지용 콘텐츠 추천 장치의 동작 방법을 설명하기 위한 흐름도이다.
도 2는 본 발명의 일실시예에 있어서, 사이니지용 콘텐츠 추천 장치의 구성을 설명하기 위한 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 사이니지용 콘텐츠 추천 장치의 동작에 대한 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 있어서, 사이니지용 콘텐츠 추천 장치의 동작에 대한 다른 실시예를 설명하기 위한 도면이다.1 is a flowchart for explaining an operation method of a content recommendation apparatus for a display according to an embodiment of the present invention.
Fig. 2 is a block diagram for explaining a configuration of a content recommendation apparatus for a display according to an embodiment of the present invention. Fig.
3 is a diagram for explaining an embodiment of an operation of a content recommendation apparatus for a display according to an embodiment of the present invention.
FIG. 4 is a diagram for explaining another embodiment of the operation of the content recommendation apparatus for societies in an embodiment of the present invention. FIG.

이하, 사이니지용 콘텐츠 추천 장치 및 그 동작 방법에 대해서 첨부된 도면을 참조하여 자세히 설명하도록 한다.Hereinafter, a content recommendation apparatus and its operation method will be described in detail with reference to the accompanying drawings.

아래 설명하는 실시예들에는 다양한 변경이 가해질 수 있다. 아래 설명하는 실시예들은 실시 형태에 대해 한정하려는 것이 아니며, 이들에 대한 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.Various modifications may be made to the embodiments described below. It is to be understood that the embodiments described below are not intended to limit the embodiments, but include all modifications, equivalents, and alternatives to them.

실시예에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 실시예를 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the examples are used only to illustrate specific embodiments and are not intended to limit the embodiments. The singular expressions include plural expressions unless the context clearly dictates otherwise. In this specification, the terms "comprises" or "having" and the like refer to the presence of stated features, integers, steps, operations, elements, components, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this embodiment belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted as either ideal or overly formal in the sense of the present application Do not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. In the following description of the embodiments, a detailed description of related arts will be omitted if it is determined that the gist of the embodiments may be unnecessarily blurred.

본 발명에 의한 얼굴 감정 인식 기반 디지털 사이니지용 콘텐츠 추천 장치는, 사용자에게 제공되는 광고 등의 콘텐츠 정보와 함께 수신된 생체 감성 정보, 집중도 및 상황 정보에 기반을 두어 사용자의 집중도를 판단하는 동작 및 판단된 집중도에 따라서, 사용자에게 신규의 광고 콘텐츠를 제공하거나 제공되는 광고 콘텐츠를 변경하는 동작을 수행하도록 적용될 수 있다.
The apparatus for recommending contents for facial emotion recognition based on facial emotion recognition according to the present invention includes an operation of determining a user's concentration based on received biometric information, concentration and context information together with content information such as an advertisement provided to a user, Depending on the determined concentration, it may be applied to provide new advertisement content to the user or to perform an operation of changing the provided advertisement content.

도 1은 본 발명의 일실시예에 있어서, 사이니지용 콘텐츠 추천 장치의 동작 방법을 설명하기 위한 흐름도이다.1 is a flowchart for explaining an operation method of a content recommendation apparatus for a display according to an embodiment of the present invention.

단계(110)에서, 사이니지용 콘텐츠 추천 장치는, 센서를 통하여 사용자의 객체 정보 및 환경 정보를 스크린 단말로 전송한다.In step 110, the content recommendation apparatus for a communication transmits object information and environment information of a user to a screen terminal through a sensor.

실시예에서, 장치 주변에 구비된 센서를 통해 사용자의 얼굴이나 외관에 대한 객체 정보 및 주변의 환경 정보를 수집하고, 수집된 정보를 스크린 단말로 전송할 수 있다.In an embodiment, object information and surrounding environmental information about a user's face or appearance can be collected through a sensor provided around the device, and the collected information can be transmitted to the screen terminal.

단계(120)에서, 사이니지용 콘텐츠 추천 장치는 스크린 단말에서 센서로부터 수신된 정보를 전처리할 수 있는 컴퓨팅 능력(PC 기반)dl 없는 경우, 객체 정보 및 환경 정보를 인지 처리 모듈로 전달한다.In step 120, if there is no computing capability (PC-based) dl capable of preprocessing the information received from the sensor at the screen terminal, the display content recommendation device delivers object information and environment information to the cognitive processing module.

단계(130)에서, 사이니지용 콘텐츠 추천 장치는 스크린 단말에서 자체 성능 및 위치 정보를 인지 처리 모듈로 전달한다.In step 130, the content recommendation device for communication transmits its own performance and location information to the cognitive processing module in the screen terminal.

단계(140)에서, 사이니지용 콘텐츠 추천 장치는, 인지 처리 모듈에서 사용자의 집중도, 몰입도 등의 생체 감성 정보를 측정하고, 상황 정보를 수집하여 데이터베이스 등의 저장 장치로 전송할 수 있다.In step 140, the device for recommending content for communication measures biometric information such as the user's concentration and immersion level in the recognition processing module, and collects the situation information and transmits it to a storage device such as a database.

생체 감성 정보란 여러 사용자의 생체 신호(뇌파, 심박 등) 및 감성 인식 간의 관련성을 나타내는 데이터를 의미한다. 따라서, 생체 감성 정보, 예컨대 집중도, 안정도, 몰입도, 맥파, 스트레스, 집중, 이완, 부하, 주의 등은, 객체 정보, 환경 정보로부터 용이하고 정확하게 측정할 수 있다.Biometric information refers to data indicating the relationship between the bio-signals (brain waves, heartbeats, etc.) of various users and emotion recognition. Therefore, biometric information such as concentration, stability, immersion, pulse waves, stress, concentration, relaxation, load, and attention can be easily and accurately measured from object information and environment information.

실시예에서, 생체 감성 정보는 사용자의 실시간 집중도와 같이 제공하는 콘텐츠 정보와 직접 관련되는 정보를 나타낸다. 본 발명에 따르는 얼굴 감정 인식 기반 디지털 사이니지용 콘텐츠 추천 장치의 주된 동작은 사용자의 생체 감성 정보를 측정하고 이에 기반하여 능동적으로 사용자에게 제공되는 서비스를 변경하도록 유도할 수 있다.In an embodiment, the biometric information represents information that is directly related to the content information to provide, such as the real time concentration of the user. The main operation of the apparatus for recommending contents for facial emotion recognition based on the present invention is to measure the user's biometric information and actively guide the user to change the service provided to the user.

실시예에 따른 상황 정보는, 디지털 사이니지와 관련하여 사용자와 다른 사용자, 어플리케이션 작용에 영향을 미치는 사람, 장소, 환경, 시간 등 상황의 특징을 규정하는 정보를 가리킬 수 있다. 구체적으로는 네트워크 연결 상태, 통신 대역폭과 같은 컴퓨팅 상황, 사용자의 프로파일, 위치, 주변의 사람들을 비롯한 사용자 상황, 조명, 온도 등 물리적 상황, 시간, 계절 등 시간적 상황 등이 상황 정보에 포함될 수 있다.The context information according to an embodiment may point to information that defines the characteristics of a situation, such as a person, a place, an environment, a time, etc. affecting the user and other users, application operation in relation to digital signage. Specifically, the situation information may include a physical situation such as a network connection state, a computing state such as a communication bandwidth, a user's profile, a location, a user's surroundings including people nearby, lighting, temperature, and the like.

또한, 상황 정보란 사용자의 성별, 연령, 외관 등과 같은 개인적인 정적 상황 정보 및 현재 사용자가 제공되는 광고 등의 콘텐츠 대한 응시, 집중도 등의 동적 상황 정보를 포함할 수 있다. 실시예에서, 이러한 상황 정보는 사용자의 상태로부터 실시간으로 획득되는 정보에 관련될 수 있다.In addition, the situation information may include dynamic situation information such as personal static situation information such as sex, age, appearance, etc. of the user and contents such as advertisements provided by the current user. In an embodiment, such context information may be related to information obtained in real time from the user ' s status.

단계(150)에서, 사이니지용 콘텐츠 추천 장치는 생체 감성 정보 및 상황 정보를 인식한다.In step 150, the content recommendation apparatus for a session recognizes biometric information and context information.

실시예에서, 생체 감성 정보 및 상황 정보는 데이터베이스 등의 저장 장치로부터 수신된 집중도, 객체, 환경 정보 등의 생체 감성 정보를 인식하기 위한 인식 모듈에서 생체 감성 정보를 인식할 수 있으며, 인식 모듈의 분석 결과와 정보 데이터를 기반으로 상황 인식 모듈에서 상황 정보를 인식할 수 있다.In the embodiment, the biometric information and the context information can recognize biometric information in a recognition module for recognizing biometric information such as concentration, object, and environmental information received from a storage device such as a database, Based on the results and information data, context information can be recognized in the context recognition module.

상황 인식 모듈은 실시예에서, 생체 감성 정보 및 상황 정보를 이용하여 사용자의 얼굴 감정 인식 기반의 콘텐츠를 추천할 수 있도록 콘텐츠 추천 모듈로 해당 정보를 전달할 수 있다.In the embodiment, the context recognition module may transmit the corresponding information to the content recommendation module so that the content based on the user's facial emotion recognition can be recommended using the biometric information and the context information.

단계(160)에서, 사이니지용 콘텐츠 추천 장치는 인식된 생체 감성 정보 및 상황 정보를 기반으로 사용자에 적합한 콘텐츠 추천 정보를 생성한다.In step 160, the content recommendation apparatus for societies generates content recommendation information suitable for the user based on the recognized biometric information and the context information.

실시예에서, 사용자에게 제공되는 새로운 콘텐츠를 제공하거나 콘텐츠를 변경하는 등의 콘텐츠 추천 정보를 생성할 수 있다.
In an embodiment, it may generate content recommendation information, such as providing new content or changing content provided to a user.

도 2는 본 발명의 일실시예에 있어서, 사이니지용 콘텐츠 추천 장치의 구성을 설명하기 위한 블록도이다.Fig. 2 is a block diagram for explaining a configuration of a content recommendation apparatus for a display according to an embodiment of the present invention. Fig.

실시예에 따른 사이니지용 콘텐츠 추천 장치(200)는, 센서(210), 인지 처리 모듈(220), 데이터베이스(230), 집중도 인식 모듈(240), 객체 인식 모듈(250), 환경 인식 모듈(260), 상황 인식 모듈(270), 콘텐츠 추천 모듈(280) 및 통신 모듈(290)을 포함하여 구성될 수 있다.The device for recommending contents for sneaking 200 according to the embodiment includes a sensor 210, a recognition processing module 220, a database 230, a concentration recognition module 240, an object recognition module 250, 260, a situation recognition module 270, a content recommendation module 280, and a communication module 290.

실시예에 따르면, 센서(210)는, 객체 정보(생체 신호 등), 환경 정보를 센싱할 수 있다. 또한, 인지 처리 모듈(220)은, 센싱된 객체 정보 및 환경 정보를 처리, 분석할 수 있다.According to the embodiment, the sensor 210 can sense object information (biological signals, etc.) and environment information. Also, the recognition processing module 220 can process and analyze the sensed object information and environment information.

실시예에서, 인지 처리 모듈(220)은, 실시간으로 사용자의 생체 감성 정보 및 상황 정보를 모니터링하고, 생체 감성 정보의 변화량을 측정할 수 있다. 측정된 변화량을 참조하여 생체 감성 정보 및 상황 정보를 분석하고, 분석 결과에 기반하여 사용자의 집중도 정보를 생성할 수 있다.In the embodiment, the recognition processing module 220 can monitor the biometric emotional information and the status information of the user in real time and measure the amount of change of the biometric emotional information. The biometric information and the situation information can be analyzed with reference to the measured change amount, and the concentration information of the user can be generated based on the analysis result.

사용자의 집중도 상태 및 사용자의 제스쳐 등을 실시간으로 검출하기 위한 집중도 어댑터를 통해 생성된 집중도에 기반을 두어 사용자가 집중하는 콘텐츠에 대해서 수정 또는 변경할 수 있도록 한다. 집중도에 대한 일례로, 집중도, 산만도 및 졸림 정도 중 적어도 하나를 집중도로서 생성할 수 있다.Based on the degree of concentration generated by the concentration adapter for detecting the concentration state of the user and the gesture of the user in real time. As an example of concentration, at least one of concentration, distraction, and sleepiness degree can be generated as concentration.

사용자의 뇌파, 안전도 심박 변이도 중 적어도 하나를 포함하는 생체 신호를 이용하여 사용자의 생체 감성 정보를 연산할 수 있으며, 생체 감성 정보는 집중, 이완, 부하, 주의, 좌뇌 또는 우뇌 활성도 중 적어도 하나를 포함할 수 있다.The biometric information can be calculated using the biometric signal including at least one of the user's brain waves, safety and heart beat variability, and the biometric information can be used to calculate at least one of concentration, relaxation, load, .

데이터베이스(230)는, 분석된 결과를 인간의 감성과 상관 관계를 나타내어 데이터로 저장할 수 있고, 이후 감성 인식 모듈, 예컨대 집중도 인식 모듈(240), 객체 인식 모듈(250), 환경 인식 모듈(260)로 분석 결과에 해당하는 데이터를 전달할 수 있다.The database 230 may store the analyzed result as data indicating a correlation with the human emotion and may be stored in the emotion recognition module such as the concentration recognition module 240, the object recognition module 250, the environment recognition module 260, The data corresponding to the analysis result can be transmitted.

실시예에서, 집중도 인식 모듈(240)은, 사람의 여섯 가지 기본 감성, 예컨대 기쁨, 슬픔, 놀람, 공포, 화남, 혐오에 대한 각각의 이미지 별 감성 판단을 위한 얼굴 요소(이마, 눈썹, 눈, 코, 입)의 변화 및 빈도 중 적어도 하나를 집중도 인식을 판단하기 위한 요소로 생성할 수 있다.In an embodiment, the concentration awareness module 240 determines the degree of emotion of each of the six basic emotions of a person, such as joy, sadness, surprise, horror, anguish, Nose, mouth), and the frequency of the change in the degree of concentration, as an element for determining the degree of concentration recognition.

실시예에서, 객체 인식 모듈(250)은, 사용자의 연령대, 성별, 외관 중 적어도 하나를 이용하여 사용자를 분석하며, 사용자 정보로 사용자의 이동 시 추적 가능한 ID 부여하고, 사용자 및 사용자 그룹을 인지할 수 있다.In an embodiment, the object recognition module 250 analyzes a user using at least one of the age, sex, and appearance of the user, gives an ID that can be tracked when the user moves with the user information, .

실시예에서, 환경 인식 모듈(260)은, 센서(210)를 이용하여 수신된 온도 정보, 습도 정보, 사용자 자세 정보 및 GPS를 이용한 위치 정보 중 적어도 하나에 해당할 수 있고, 해당 정보를 환경 상황 정보로 제공할 수 있다.In an embodiment, the environment recognition module 260 may correspond to at least one of received temperature information, humidity information, user attitude information, and location information using GPS, using the sensor 210, Information can be provided.

상황 인식 모듈(270)은, 집중도 인식 모듈(240), 객체 인식 모듈(250) 및 환경 인식 모듈(260)에서 인식된 정보를 기반으로 사용자 또는 사용자 그룹에 맞는 콘텐츠 추천 정보를 제공할 수 있다.The context recognition module 270 may provide content recommendation information suitable for a user or a user group based on information recognized by the concentration recognition module 240, the object recognition module 250, and the environment recognition module 260.

콘텐츠 추천 모듈(280)은, 상황 인식 모듈(270)에서 인지된 정보를 기반으로 사용자 및 사용자 그룹에 맞게 생성된 콘텐츠 추천 정보를 이용하여 생활 융합 제품 또는 서비스에 관련한 광고 등의 콘텐츠 정보를 제공할 수 있다.The content recommendation module 280 provides content information such as advertisements related to the life-convergence product or the service using the content recommendation information generated according to the user and the user group based on the information recognized by the situation recognition module 270 .

또한, 사용자의 피부색, 집중도 등의 신체 상태 또는 감성 정보에 따라서 휴식, 운동 및 병원 진료 등을 권고/경고하는 메시지를 제공할 수 있다.Also, it is possible to provide a message for recommending / warning for rest, exercise, and hospital treatment in accordance with a physical condition such as a user's skin color, concentration, or emotion information.

실시예에 따른 콘텐츠 추천 모듈(280)은 디스플레이를 통해 사용자에게 콘텐츠와 더불어 생체 감성 정보 및 상황 정보 및/또는 생체 감성 정보 및 상황 정보에 기반하여 사용자의 집중도를 표시할 수도 있다.The content recommendation module 280 according to the embodiment may display the concentration of the user based on the biometric information, the context information, and / or the biometric information and the context information in addition to the content to the user through the display.

통신 모듈(290)은, 콘텐츠 정보를 맞춤형의 광고 서비스 시스템으로 유,무선 네트워크를 통해 전송하여 활용하도록 할 수 있다.
The communication module 290 can transmit the contents information to a customized advertisement service system through a wired or wireless network for utilization.

도 3은 본 발명의 일실시예에 있어서, 사이니지용 콘텐츠 추천 장치의 동작에 대한 실시예를 설명하기 위한 도면이다.3 is a diagram for explaining an embodiment of an operation of a content recommendation apparatus for a display according to an embodiment of the present invention.

도 3의 실시예에 따른 사이니지용 콘텐츠 추천 장치(300)는, 센서(310), 스크린(320), 인지 처리 모듈(330), 데이터베이스(340), 집중도 인식 모듈(350), 객체 인식 모듈(360), 환경 인식 모듈(370), 상황 인식 모듈(380), 및 콘텐츠 추천 모듈(390)을 포함할 수 있으며, 도 2를 통해 설명한 사이니지용 콘텐츠 추천 장치(200)의 동작의 일례를 설명한다.The content recommending apparatus 300 for a display according to the embodiment of FIG. 3 includes a sensor 310, a screen 320, a recognition processing module 330, a database 340, a concentration recognition module 350, An environment recognition module 370, a situation recognition module 380 and a content recommendation module 390. The content recommendation apparatus 200 may include an example of the operation of the content recommendation apparatus 200 shown in FIG. Explain.

실시예에서, 사용자가 센서(310)가 설치된 공간 내로 접근하면, 사용자 및 환경 센싱을 통하여 다양한 생체 신호 및 상황 정보 수집하여 필요로 하는 객체 정보 및 환경 정보를 스크린(320)으로 전달할 수 있다.In the embodiment, when the user approaches the space in which the sensor 310 is installed, various types of biological signals and situation information may be collected through user and environment sensing, and the required object information and environment information may be transmitted to the screen 320.

스크린(320)은 콘텐츠 정보를 재생하는 콘텐츠 플레이어와 디스플레이를 의미할 수 있다. 또한, 콘텐츠 플레이어는 PC기반으로 구성될 수 있다. 이에, 전달된 신호는 스크린의 컴퓨팅 능력을 이용하여 전처리한 데이터와 스크린의 자체 성능(해상도, 지원 영상/음향 타입 - 영상 S/W 등) 및 위치 정보를 인지 처리 모듈(330)로 전달한다.The screen 320 may refer to a content player and a display that reproduce the content information. Also, the content player can be configured on a PC basis. Accordingly, the transmitted signal transmits the preprocessed data and the self-performance (resolution, supported video / sound type-image S / W, etc.) of the screen and the position information to the cognitive processing module 330 using the computing capability of the screen.

실시예에서, 인지 처리 모듈(330)은 수신된 신호들을 분석하여, 집중도, 몰입도 등의 생체 감성 정보를 생성할 수 있으며, 상황 정보를 수집하고, 생체 감성 정보 및 상황 정보를 데이터베이스(340)로 전송할 수 있다.In an embodiment, the recognition processing module 330 analyzes the received signals to generate biometric information such as concentration, immersion, etc., collects contextual information, and transmits biometric information and contextual information to the database 340, Lt; / RTI >

생체 감성 정보는 여섯 가지 기본 감성에 해당하는 기쁨, 슬픔, 놀람, 공포, 화남, 혐오의 표정에 대한 감성 판단을 위한 얼굴 요소(예컨대, 이마, 눈썹, 눈, 코, 입) 별 변화 빈도를 백분율로 나타낸 수치이다. Biometric information is used to calculate the percentage change frequency of facial factors (for example, forehead, eyebrow, eye, nose, mouth) for emotion judgment on the expressions of joy, sorrow, surprise, fear, Respectively.

실시예에서, 생체 감성 정보를 판단할 때, 입과 눈이 감성 판단 시 가장 큰 영향력을 미칠 수 있고, 그 외 눈썹, 이마, 코 순으로 나타나며, 감성 별 판단 시 영향을 주는 얼굴 요소로 분노는 이마, 슬픔과 분노는 눈썹, 혐오는 눈과 코 그리고 슬픔은 입을 주로 확인할 수 있다. 따라서, 얼굴 표정을 통한 감성 판단 시 한 가지 얼굴 영역만 참고하는 것은 판단 오류를 일으킬 수 있으며, 표정의 인식률을 높이기 위해서는 시선 추적 및 집중도 등을 사용하여 보다 객관적인 결과를 얻을 수 있다.In the embodiment, when the biometric information is judged, the mouth and the eye may have the greatest influence when judging the emotion, and the other is the eyebrow, forehead, and nose. Forehead, sorrow and anger are eyebrows, dislike eyes and noses, and sorrows are mostly mouths. Therefore, it is possible to refer to only one face region when making an emotion determination through facial expression, and it is possible to obtain more objective result by using eye tracking and concentration in order to increase the recognition rate of facial expression.

집중도 인식 모듈(350)은, 데이터베이스(340)에 저장된 생체 감성 정보 데이터 및 상황 정보 데이터를 이용하여 사용자의 집중도를 측정한다. 상기 집중도의 판단은 동공 크기, 눈 깜박임, 응시 시간 및 PPG(Photo PlethysmoGram, 맥파), GSR(Galvanic Skin Response, 피부전기반응) 및 SKT(Skin Temperature, 피부 온도) 등의 자율 신경계 반응으로 판단할 수 있다.The concentration information recognizing module 350 measures the concentration of the user using the biometric information data and the situation information data stored in the database 340. [ The determination of the concentration can be judged by autonomic nervous system responses such as pupil size, eye flicker, gaze time, PPG (Photo PlethysmoGram), GSR (Galvanic Skin Response) and SKT (Skin Temperature) have.

실시예에서, 동공의 크기가 확장하거나 수축하는 것은 무의식적인 반응으로서 인지적인 방법으로 통제할 수 없으며, 사용자가 거부감을 느끼는 경우 동공의 크기(동공의 평균 크기 및 단위 시간당 동공의 기울기 변화량)가 줄어들고, 호감을 느끼는 경우 동공의 크기는 확장하게 된다. 눈 깜박임은 사용자가 지루함을 느낄 때 눈 깜박임 속도가 느려지며, 흥미로움을 느낄 때 속도가 증가한다. 따라서, 사용자가 동공의 크기가 확장되고 눈 깜박임 속도가 느려질 때를 집중 상태로 판단할 수 있다.In the embodiment, the pupil size expansion or contraction is unconscious and can not be controlled by a cognitive method. If the user feels rejection, the pupil size (pupil average size and pupil slope change per unit time) is reduced , The size of the pupil will expand if you feel favorable. Eye blinking slows the eye when the user feels bored, and increases when the user is interested. Therefore, the user can determine that the pupil is in a concentrated state when the pupil size is expanded and the blinking speed is slow.

객체 인식 모듈(360)은, 데이터베이스(340)에 저장된 생체 감성 정보 데이터 및 상황 정보 데이터를 이용하여 사용자의 연령대, 성별, 외관을 분석하고, 사용자가 이동할 시 추적 가능한 ID 부여하여 사용자 그룹을 인지할 수 있다.The object recognition module 360 analyzes the age range, sex, and appearance of the user using the biometric emotional information data and the situational information data stored in the database 340, identifies the user group by giving an ID traceable when the user moves .

환경 인식 모듈(370)은 데이터베이스(340)에 저장된 생체 감성 정보 데이터 및 상황 정보 데이터를 이용하여 사용자가 위치한 공간 또는 주변 환경에 대한 온도 및 습도, 조도, 날씨 등을 인지할 수 있다.The environment recognition module 370 can recognize the temperature, humidity, illuminance, weather, and the like of the space or the surrounding environment where the user is located by using the biometric emotional information data and the situation information data stored in the database 340.

상황 인식 모듈(380)은, 집중도 인식 모듈(350), 객체 인식 모듈(360) 및 환경 인식 모듈(370)에서 인지한 정보를 통합할 수 있으며, 사용자 또는 사용자 그룹에 맞는 콘텐츠 추천 정보를 제공할 수 있다.The context recognition module 380 may integrate information perceived by the concentration awareness module 350, the object recognition module 360 and the environment recognition module 370 and may provide content recommendation information appropriate for the user or user group .

이에, 콘텐츠 추천 모듈(390)은, 콘텐츠 추천 정보를 이용하여, 생활 융합 제품 및 서비스에 관련한 광고 등의 콘텐츠 정보를 생성할 수 있으며, 생활 융합 제품/서비스에 관련된 정보 이외에도 사용자의 신체 상태(피부색, 집중도 등) 및 감성 정보에 따라서, 예컨대 판단된 집중도와 생체 감성 정보가 소정치 이하인 경우, 휴식, 운동 및 병원 진료 등을 권고/경고하는 메시지를 제공할 수도 있다.Accordingly, the content recommendation module 390 can generate content information such as advertisements related to the life-convergence product and the service, using the content recommendation information, and can acquire information on the user's physical condition , Concentration, etc.) and emotional information, for example, when the determined concentration and the biometric emotional information are equal to or less than a predetermined value, a recommendation / warning message for rest, exercise, and hospital treatment may be provided.

도 3을 통해 추출된 콘텐츠 정보는 통신 모듈(미도시)을 통해 감성 맞춤형의 광고 서비스 시스템으로 전달되어 활용될 수 있다.
The content information extracted through FIG. 3 can be transmitted to the advertisement service system of the emotional customized through the communication module (not shown) and utilized.

도 4는 본 발명의 일실시예에 있어서, 사이니지용 콘텐츠 추천 장치의 동작에 대한 다른 실시예를 설명하기 위한 도면이다. 실시예에 따른 사이니지용 콘텐츠 추천 장치(400)의 내부 구성은 도 3의 사이니지용 콘텐츠 추천 장치(300)에 대응할 수 있다.FIG. 4 is a diagram for explaining another embodiment of the operation of the content recommendation apparatus for societies in an embodiment of the present invention. FIG. The internal configuration of the content recommendation apparatus 400 according to the embodiment can correspond to the apparatus 300 for recommending content for display in FIG.

사용자가 센서(410)가 설치된 공간 내 접근하면, 사용자 및 환경 센싱을 통하여 다양한 생체 신호 및 상황 정보 수집하여 필요로 하는 객체 정보 및 환경 정보를 인지 처리 모듈(430)로 전달한다.When the user approaches the space in which the sensor 410 is installed, various bio-signals and situation information are collected through user and environment sensing, and the necessary object information and environment information are transmitted to the recognition processing module 430.

실시예에서, 스크린(420)이 컴퓨팅 능력이 없는 단순 디스플레이 기능을 수행하는 경우, 스크린(420)의 자체 성능 예컨대, 해상도, 지원 영상/음향 타입 - 영상 S/W 등과 위치 정보를 인지 처리 모듈(430)로 전달할 수 있다.In an embodiment, when the screen 420 performs a simple display function without computing capability, the screen 420 may include its own performance, e.g., resolution, supported video / audio type-video S / W, 430).

이하의, 인지 처리 모듈(430), 데이터베이스(440), 집중도 인식 모듈(450), 객체 인식 모듈(460), 환경 인식 모듈(470), 상황 인식 모듈(480) 및 콘텐츠 추천 모듈(490)은, 도 3을 통해 앞서 설명한 인지 처리 모듈(330), 데이터베이스(340), 집중도 인식 모듈(350), 객체 인식 모듈(360), 환경 인식 모듈(370), 상황 인식 모듈(380), 및 콘텐츠 추천 모듈(390)과 동일한 방식으로 동작할 수 있다.The recognition processing module 430, the database 440, the concentration recognition module 450, the object recognition module 460, the environment recognition module 470, the situation recognition module 480 and the content recommendation module 490 3, the recognition processing module 330, the database 340, the concentration recognition module 350, the object recognition module 360, the environment recognition module 370, the situation recognition module 380, Module 390 in the same manner.

실시예에 따라, 사용자 및 사용자 그룹에 적합한 콘텐츠 추천 정보를 생성하고, 콘텐츠 정보를 제공할 수 있다.
According to an embodiment, content recommendation information suitable for users and user groups can be generated and content information can be provided.

본 발명의 실시예를 통해, 감성 맞춤형의 서비스 장치는 본 발명에 의한 인지 처리 장치로부터 수신되는 집중도에 기반하여 사용자에게 적합한 콘텐츠를 추천하여 광고 효과를 증대 시킬 수 있다.Through the embodiments of the present invention, the service apparatus of the emotional customization can increase the advertisement effect by recommending contents suitable for the user based on the concentration degree received from the perception processing apparatus according to the present invention.

특히, 사용자의 시각적인 자극과 같은 생체 정보, 사용자, 환경 및 주변 지역 정보 등의 상황 정보를 감지 및 센싱할 수 있는 객체 인식 모듈 및 환경 인식 모듈로부터 수신되는 정보를 이용하여, 사용자의 감성 및 상황 정보를 지표화 할 수 있는 장치를 제공하며, 본 발명의 실시예에 해당하는 장치는 궁극적으로 다양한 플랫폼에서 동작하는 광고 효과 향상 시스템에 공통적으로 적용될 수 있다.Particularly, by using information received from an object recognition module and an environment recognition module capable of sensing and sensing status information such as biometric information, user, environment, and surrounding area information such as a user's visual stimulation, And an apparatus according to an embodiment of the present invention can be commonly applied to an advertisement effect enhancement system operating on various platforms.

따라서, 본 발명에 의한 인지 처리 장치를 이용하는 광고 효과 향상 시스템의 개발 비용이 절감될 뿐만 아니라, 다양한 응용 분야에도 본 발명에 의한 인지 처리 장치가 적용될 수 있다.
Therefore, not only the development cost of the advertisement effect enhancement system using the cognitive processing apparatus according to the present invention is reduced, but also the cognitive processing apparatus according to the present invention can be applied to various application fields.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(Magnetic media), CD-ROM, DVD와 같은 광기록 매체(Optical media), 플롭티컬 디스크(Floptical disk)와 같은 자기-광 매체(Magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as a hard disk, a floppy disk and a magnetic tape, optical media such as CD-ROM and DVD, magnetic disks such as a floppy disk, - Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등한 것들에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents thereof, the appropriate results may be achieved.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

200: 사이니지용 콘텐츠 추천 장치
210: 센서
220: 인지 처리 모듈
230: 데이터베이스
240: 집중도 인식 모듈
250: 객체 인식 모듈
260: 환경 인식 모듈
270: 상황 인식 모듈
280: 콘텐츠 추천 모듈
290: 통신 모듈200: Suggested content for singer
210: Sensor
220: Cognitive processing module
230: Database
240: Intensity awareness module
250: object recognition module
260: environment recognition module
270: Situation Aware Module
280: Content recommendation module
290: Communication module

Claims (1)

사이니지용 콘텐츠 추천 장치의 동작 방법에 있어서,
센서를 통하여 사용자의 객체 정보 및 환경 정보를 수집하고 스크린 단말로 전송하는 단계;
상기 스크린 단말이 상기 객체 정보 및 상기 환경 정보를 전처리할 컴퓨팅 능력이 없는 경우, 상기 객체 정보 및 상기 환경 정보를 인지 처리 모듈로 전달하는 단계;
상기 스크린 단말에서 자체 성능 및 위치 정보를 인지 처리 모듈로 전달하는 단계;
인지 처리 모듈에서, 상기 사용자의 집중도, 몰입도 등의 생체 감성 정보를 측정하고, 상황 정보를 수집하여 저장 장치로 전송하는 단계;
상기 생체 감성 정보 및 상기 상황 정보를 인식하는 단계; 및
상기 인식된 생체 감성 정보 및 상기 상황 정보를 기반으로 상기 사용자에 적합한 콘텐츠 추천 정보를 생성하는 단계
를 포함하는,
사이니지용 콘텐츠 추천 장치의 동작 방법.
A method of operating a content recommendation apparatus for a content,
Collecting object information and environment information of a user through a sensor and transmitting the information to a screen terminal;
Transmitting the object information and the environment information to the recognition processing module when the screen terminal does not have the object information and the computing ability to preprocess the environment information;
Transmitting performance and location information of the screen terminal to the recognition processing module;
Measuring the biometric information such as the concentration of the user, the degree of immersion, etc., and collecting the situation information and transmitting the collected information to a storage device;
Recognizing the biometric information and the status information; And
Generating content recommendation information suitable for the user based on the recognized biometric information and the context information
/ RTI >
A method of operation of a content recommendation apparatus for a content.
KR1020150016751A 2015-02-03 2015-02-03 Contents Recommend Apparatus For Digital Signage Using Facial Emotion Recognition Method And Method Threof KR20160095464A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150016751A KR20160095464A (en) 2015-02-03 2015-02-03 Contents Recommend Apparatus For Digital Signage Using Facial Emotion Recognition Method And Method Threof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150016751A KR20160095464A (en) 2015-02-03 2015-02-03 Contents Recommend Apparatus For Digital Signage Using Facial Emotion Recognition Method And Method Threof

Publications (1)

Publication Number Publication Date
KR20160095464A true KR20160095464A (en) 2016-08-11

Family

ID=56714139

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150016751A KR20160095464A (en) 2015-02-03 2015-02-03 Contents Recommend Apparatus For Digital Signage Using Facial Emotion Recognition Method And Method Threof

Country Status (1)

Country Link
KR (1) KR20160095464A (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180020963A1 (en) * 2016-07-21 2018-01-25 Comcast Cable Communications, Llc Recommendations Based On Biometric Feedback From Wearable Device
WO2018106008A1 (en) * 2016-12-09 2018-06-14 주식회사 옴니씨앤에스 Method, system and non-transitory computer-readable recording medium for mental health care using biometric data
WO2018106007A1 (en) * 2016-12-09 2018-06-14 주식회사 옴니씨앤에스 Method, system and non-transitory computer-readable recording medium for mental health care using virtual reality
KR20180087630A (en) * 2017-01-25 2018-08-02 주식회사 에스,엠,엔터테인먼트 A Smart Digital Frame and Contents Providing System Using this
WO2018151363A1 (en) * 2017-02-16 2018-08-23 (주)이지위드 Content determination method for controlling emotion of experiencer so as to develop interactive crowd participation content
WO2019132158A1 (en) * 2017-09-14 2019-07-04 주식회사 스무디 Method and system for controlling flow of advertisement content on basis of video chat, and non-transitory computer-readable recording medium
KR20190125961A (en) * 2019-10-25 2019-11-07 주식회사 아이메디신 Neckband type healthcare service method and system
CN110570283A (en) * 2019-09-11 2019-12-13 炫盛(上海)科技有限公司 shopping method and system based on block chain
KR20210032824A (en) * 2019-09-17 2021-03-25 에스케이브로드밴드주식회사 Supporting apparatus for voice guidance, and control method thereof
KR102232957B1 (en) * 2020-12-22 2021-03-26 주식회사 채움씨앤아이 Library member customized book recommendation kiosk device and system using emotion recognition
KR102285482B1 (en) * 2020-08-28 2021-08-03 주식회사 마블러스 Method and apparatus for providing content based on machine learning analysis of biometric information
KR20210132915A (en) 2020-04-28 2021-11-05 주식회사 이노스피치 Advertising curation system using face recognition and IoT technology
US11294457B2 (en) 2018-11-28 2022-04-05 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
CN116522280A (en) * 2023-05-11 2023-08-01 深圳市恒必达电子科技有限公司 Emotion grading recognition method and system based on virtual reality simulation acquisition

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11707216B2 (en) * 2016-07-21 2023-07-25 Comcast Cable Communications, Llc Recommendations based on biometric feedback from wearable device
US20180020963A1 (en) * 2016-07-21 2018-01-25 Comcast Cable Communications, Llc Recommendations Based On Biometric Feedback From Wearable Device
WO2018106008A1 (en) * 2016-12-09 2018-06-14 주식회사 옴니씨앤에스 Method, system and non-transitory computer-readable recording medium for mental health care using biometric data
WO2018106007A1 (en) * 2016-12-09 2018-06-14 주식회사 옴니씨앤에스 Method, system and non-transitory computer-readable recording medium for mental health care using virtual reality
KR20180066765A (en) * 2016-12-09 2018-06-19 주식회사 옴니씨앤에스 Method, system and non-transitory computer-readable recording medium for managing mental health using virtual reality
KR20180087630A (en) * 2017-01-25 2018-08-02 주식회사 에스,엠,엔터테인먼트 A Smart Digital Frame and Contents Providing System Using this
WO2018151363A1 (en) * 2017-02-16 2018-08-23 (주)이지위드 Content determination method for controlling emotion of experiencer so as to develop interactive crowd participation content
WO2019132158A1 (en) * 2017-09-14 2019-07-04 주식회사 스무디 Method and system for controlling flow of advertisement content on basis of video chat, and non-transitory computer-readable recording medium
US11294457B2 (en) 2018-11-28 2022-04-05 Samsung Electronics Co., Ltd. Display apparatus and controlling method thereof
CN110570283A (en) * 2019-09-11 2019-12-13 炫盛(上海)科技有限公司 shopping method and system based on block chain
KR20210032824A (en) * 2019-09-17 2021-03-25 에스케이브로드밴드주식회사 Supporting apparatus for voice guidance, and control method thereof
KR20190125961A (en) * 2019-10-25 2019-11-07 주식회사 아이메디신 Neckband type healthcare service method and system
KR20210132915A (en) 2020-04-28 2021-11-05 주식회사 이노스피치 Advertising curation system using face recognition and IoT technology
KR20230044382A (en) 2020-04-28 2023-04-04 주식회사 이노스피치 Advertising curation system using face recognition and IoT technology
KR102285482B1 (en) * 2020-08-28 2021-08-03 주식회사 마블러스 Method and apparatus for providing content based on machine learning analysis of biometric information
KR102232957B1 (en) * 2020-12-22 2021-03-26 주식회사 채움씨앤아이 Library member customized book recommendation kiosk device and system using emotion recognition
CN116522280A (en) * 2023-05-11 2023-08-01 深圳市恒必达电子科技有限公司 Emotion grading recognition method and system based on virtual reality simulation acquisition
CN116522280B (en) * 2023-05-11 2024-03-22 深圳市恒必达电子科技有限公司 Emotion grading recognition method and system based on virtual reality simulation acquisition

Similar Documents

Publication Publication Date Title
KR20160095464A (en) Contents Recommend Apparatus For Digital Signage Using Facial Emotion Recognition Method And Method Threof
US10901509B2 (en) Wearable computing apparatus and method
US10524715B2 (en) Systems, environment and methods for emotional recognition and social interaction coaching
KR102282961B1 (en) Systems and methods for sensory and cognitive profiling
KR102277820B1 (en) The psychological counseling system and the method thereof using the feeling information and response information
Bulling et al. What's in the Eyes for Context-Awareness?
JP2019519053A (en) Method and system for acquiring, analyzing and generating visual function data and modifying media based on the data
US11723568B2 (en) Mental state monitoring system
JP2009508553A (en) System and method for determining human emotion by analyzing eyeball properties
KR20150098607A (en) Configuration and spatial placement of frontal electrode sensors to detect physiological signals
US20130096397A1 (en) Sensitivity evaluation system, sensitivity evaluation method, and program
US20220280085A1 (en) System and Method for Patient Monitoring
Nie et al. SPIDERS: Low-cost wireless glasses for continuous in-situ bio-signal acquisition and emotion recognition
Shu et al. Emotion sensing for mobile computing
Nie et al. SPIDERS+: A light-weight, wireless, and low-cost glasses-based wearable platform for emotion sensing and bio-signal acquisition
Kosmyna et al. AttentivU: Designing EEG and EOG compatible glasses for physiological sensing and feedback in the car
Rafique et al. Towards estimation of emotions from eye pupillometry with low-cost devices
Dehzangi et al. Wearable brain computer interface (BCI) to assist communication in the intensive care unit (ICU)
CN116568204A (en) Method and system for sensor signal dependent dialog generation during a medical imaging procedure
Wache Implicit Human-computer Interaction: Two complementary Approaches
de Weert Modality face off
Monica Dynamics of positive affective responses identified through behavioral and electrophysiological measures
Hernandez Dynamics of Positive Affective Responses Identified through Behavioral and Electrophysiological Measures
ASGHAR et al. Towards Estimation of Emotions From Eye Pupillometry With Low-Cost Devices
KR20160134109A (en) Learining management apparatus for online lecture

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination