KR20110100061A - Apparatus for displaying image and and method for operationg the same - Google Patents
Apparatus for displaying image and and method for operationg the same Download PDFInfo
- Publication number
- KR20110100061A KR20110100061A KR1020100019141A KR20100019141A KR20110100061A KR 20110100061 A KR20110100061 A KR 20110100061A KR 1020100019141 A KR1020100019141 A KR 1020100019141A KR 20100019141 A KR20100019141 A KR 20100019141A KR 20110100061 A KR20110100061 A KR 20110100061A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- content
- network
- information
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 230000008451 emotion Effects 0.000 claims abstract description 96
- 230000002996 emotional effect Effects 0.000 description 96
- 230000005236 sound signal Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 239000000470 constituent Substances 0.000 description 4
- 210000001508 eye Anatomy 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000000994 depressogenic effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 210000001331 nose Anatomy 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000029058 respiratory gaseous exchange Effects 0.000 description 2
- 231100000430 skin reaction Toxicity 0.000 description 2
- 235000019640 taste Nutrition 0.000 description 2
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010040914 Skin reaction Diseases 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 239000000969 carrier Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000035483 skin reaction Effects 0.000 description 1
- 210000000106 sweat gland Anatomy 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/482—End-user interface for program selection
- H04N21/4826—End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Acoustics & Sound (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
본 발명은 영상표시장치 및 그 동작 방법에 관한 것이다. 본 발명의 실시예에 따른 영상표시장치의 동작방법은, 컨텐츠 리스트 또는 영상을 표시하는 단계와, 사용자의 감정 정보를 획득하는 단계와, 사용자의 감정 정보에 따라, 적어도 하나의 소정 컨텐츠를 추천하는 단계를 포함한다. 이에 의해, 사용자의 감정 정보에 따라 컨텐츠를 추천할 수 있게 된다. The present invention relates to an image display apparatus and an operation method thereof. According to an embodiment of the present invention, a method of operating an image display apparatus includes displaying a content list or an image, obtaining emotion information of a user, and recommending at least one predetermined content according to the emotion information of the user. Steps. As a result, the content can be recommended according to the emotion information of the user.
Description
본 발명은 영상표시장치 및 그 동작 방법에 관한 것이며, 더욱 상세하게는 사용자의 감정 정보에 따라 컨텐츠를 추천하는 영상표시장치 및 그 동작 방법에 관한 것이다.The present invention relates to an image display apparatus and an operation method thereof, and more particularly, to an image display apparatus for recommending content in accordance with user's emotion information and an operation method thereof.
영상표시장치는 사용자가 시청할 수 있는 영상을 표시하는 기능을 갖춘 장치이다. 또한, 영상표시장치는 방송국에서 송출되는 방송 신호 중 사용자가 선택한 방송을 디스플레이에 표시할 수 있다. 현재 전세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다. The image display device is a device having a function of displaying an image that a user can watch. In addition, the image display apparatus may display a broadcast selected by the user among the broadcast signals transmitted from the broadcasting station on the display. Currently, the trend is shifting from analog broadcasting to digital broadcasting worldwide.
이러한 디지털 방송은 디지털 영상 및 음성 신호를 송출하여, 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송의 시행에 따라, 양방향 서비스가 가능해지고 있다. 이러한 디지털 방송 환경에서, 사용자의 편의를 증대하기 위한 다양한 노력이 시도되고 있다. Such digital broadcasts transmit digital video and audio signals, and are more resistant to external noise than analog broadcasts, and thus have low data loss, are advantageous for error correction, provide high resolution, and provide a clear picture. In addition, with the implementation of digital broadcasting, interactive services have become possible. In such a digital broadcasting environment, various efforts have been made to increase user convenience.
따라서, 본 발명의 목적은, 사용자의 감정 정보에 따라 컨텐츠를 추천하는 영상 표시 장치 및 그 동작 방법을 제공함에 있다.Accordingly, an object of the present invention is to provide a video display device for recommending content based on user's emotion information and an operation method thereof.
또한, 본 발명의 목적은, 사용자의 이용 편의성을 향상시킬 수 있는 영상표시장치 및 그 동작 방법을 제공함에 있다.In addition, an object of the present invention is to provide an image display apparatus and an operation method thereof that can improve user convenience.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치의 동작 방법은, 컨텐츠 리스트 또는 영상을 표시하는 단계와, 사용자의 감정 정보를 획득하는 단계와, 사용자의 감정 정보에 따라, 적어도 하나의 소정 컨텐츠를 추천하는 단계를 포함한다. According to an aspect of the present invention, there is provided a method of operating an image display apparatus, including displaying a content list or an image, acquiring emotion information of a user, and at least one of emotion information of the user. Recommending a predetermined content of the.
또한, 상기 목적을 달성하기 위한 본 발명의 실시예에 따른 영상표시장치는, 컨텐츠 리스트 또는 영상을 표시하는 디스플레이와, 사용자의 감정 정보에 따라 적어도 하나의 소정 컨텐츠를 추천하도록 제어하는 제어부를 포함한다. In addition, the image display apparatus according to an embodiment of the present invention for achieving the above object includes a display for displaying a content list or image, and a control unit for controlling to recommend at least one predetermined content according to the user's emotion information. .
본 발명의 실시예에 따르면, 사용자의 감정 정보에 따라 컨텐츠를 사용자에게 추천할 수 있게 되어, 사용자의 이용 편의성이 증대된다.According to an embodiment of the present invention, the content can be recommended to the user according to the emotion information of the user, thereby increasing the user's ease of use.
또한, 네트워크 상의 다른 사용자에게 컨텐츠를 추천을 하거나 컨텐츠를 추천받을 수 있게 되어, 사용자 친화적인 다양한 서비스를 제공할 수 있게 된다.In addition, it is possible to recommend content or to recommend content to other users on the network, it is possible to provide a variety of user-friendly services.
또한, 사용자의 감정 정보 또는 네트워크 상의 다른 사용자의 감정 정보를 표시함으로써, 직관적으로 사용자의 또는 다른 사용자의 감정 상태를 인식할 수 있게 된다.In addition, by displaying the emotion information of the user or the emotion information of the other user on the network, it is possible to intuitively recognize the emotional state of the user or the other user.
또한, 촬영된 영상, 녹음된 음성, 및 감지된 신체 신호 중 적어도 하나에 기초하여, 신뢰성 높은 감정 정보를 생성할 수 있게 된다. 이에 따라, 사용자 친화적인 다양한 서비스 제공이 가능하게 된다.In addition, based on at least one of the photographed image, the recorded voice, and the sensed body signal, reliable emotion information may be generated. Accordingly, it is possible to provide a variety of user-friendly services.
도 1은 본 발명의 실시예에 따른 감정 정보에 따라 컨텐츠를 추천하는 영상 표시 장치를 나타내는 블록도이다.
도 2는 도 1의 영상표시장치의 외관을 간략히 나타내는 도면이다.
도 3은 휴대 단말기의 외관을 간략히 나타내는 도면이다.
도 4는 도 1의 휴대 음성 재생 장치의 외관을 간략히 나타내는 도면이다.
도 5는 도 1의 저장부 내부의 감정 테이블을 간략히 나타낸 내부 블록도이다.
도 6은 내지 도 13은 본 발명의 실시예에 따른 감정 정보에 따라 컨텐츠를 추천하는 영상 표시 장치의 설명에 참조되는 도면이다.
도 14는 본 발명의 실시예에 따른 영상표시장치의 동작 방법의 순서도이다.
도 15는 도 14의 감정 정보 획득의 일 예를 나타내는 순서도이다.
도 16 내지 도 17은 도 14의 영상표시장치의 동작 방법의의 설명에 참조되는 도면이다. 1 is a block diagram illustrating a video display device recommending content based on emotion information according to an embodiment of the present invention.
FIG. 2 is a diagram schematically illustrating an appearance of the image display device of FIG. 1.
3 is a view schematically showing the appearance of a portable terminal.
FIG. 4 is a diagram schematically illustrating an appearance of the portable audio player of FIG. 1.
FIG. 5 is an internal block diagram schematically illustrating an emotion table in the storage of FIG. 1.
6 to 13 are views referred to for describing a video display device recommending content based on emotion information according to an embodiment of the present invention.
14 is a flowchart illustrating a method of operating an image display apparatus according to an exemplary embodiment of the present invention.
FIG. 15 is a flowchart illustrating an example of obtaining emotion information of FIG. 14.
16 to 17 are views referred to for describing an operating method of the image display device of FIG. 14.
따라서, 본 발명의 목적은, 사용자 친화적인 서비스를 제공할 수 있는 감정 정보에 따라 컨텐츠를 추천하는 영상 표시 장치를 제공함에 있다.Accordingly, an object of the present invention is to provide a video display device for recommending content in accordance with emotion information that can provide a user-friendly service.
상기 목적을 달성하기 위한 본 발명의 실시예에 따른 감정 정보에 따라 영상을 재생하는 영상 표시 장치는, 디스플레이와, 영상을 촬영하는 영상 촬영부와, 음성을 녹음하는 음성 녹음부와, 신체 신호를 감지하는 신체 신호 감지부와, 촬영된 영상, 녹음된 음성, 감지된 신체 신호 중 적어도 하나에 기초하여 감정 정보를 생성하며, 생성된 감정 정보 또는 기저장된 감정 정보에 따라 컨텐츠를 추천하도록 제어하는 제어부를 포함한다. According to an embodiment of the present invention, an image display apparatus for reproducing an image according to emotion information includes a display, an image capturing unit for capturing an image, a voice recording unit for recording voice, and a body signal. A control unit for generating emotion information based on at least one of a body signal detection unit for sensing, a captured image, a recorded voice, and a detected body signal, and recommends content based on the generated emotion information or previously stored emotion information. It includes.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. Hereinafter, with reference to the drawings will be described the present invention in more detail.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.The suffixes "module" and "unit" for components used in the following description are merely given in consideration of ease of preparation of the present specification, and do not impart any particular meaning or role by themselves. Therefore, the "module" and "unit" may be used interchangeably.
도 1은 본 발명의 실시예에 따른 감정 정보에 따라 컨텐츠를 추천하는 영상 표시 장치를 나타내는 블록도이며, 도 2는 도 1의 영상표시장치의 외관을 간략히 나타내는 도면이며, 도 3은 휴대 단말기의 외관을 간략히 나타내는 도면이고, 도 4는 도 1의 휴대 음성 재생 장치의 외관을 간략히 나타내는 도면이며, 도 5는 도 1의 저장부 내부의 감정 테이블을 간략히 나타낸 내부 블록도이다. FIG. 1 is a block diagram illustrating a video display device recommending content based on emotion information according to an embodiment of the present invention. FIG. 2 is a diagram briefly illustrating an appearance of the video display device of FIG. 1, and FIG. 4 is a schematic view of the external appearance, and FIG. 4 is a schematic view of the external appearance of the portable voice reproduction apparatus of FIG. 1, and FIG. 5 is an internal block diagram briefly illustrating an emotion table in the storage of FIG. 1.
도 1을 참조하면, 본 발명의 실시예에 따른 영상표시장치(100)는, 튜너(120), 외부신호입출력부(128), 복조부(130), 영상 촬영부(140), 음성 녹음부(135), 인터페이스부(150), 제어부(160), 저장부(175), 디스플레이(180), 및 오디오 출력부(185)를 포함할 수 있다. 또한, 네트워크 인터페이스부(165)를 더 포함할 수 있다.Referring to FIG. 1, an
튜너(120)는, 안테나를 통해 수신되는 RF (Radio Frequency) 방송 신호 중 사용자에 의해 선택된 채널 또는 기저장된 모든 채널에 해당하는 RF 방송 신호를 선택한다. 또한, 선택된 RF 방송 신호를 중간 주파수 신호 혹은 베이스 밴드 영상/음성신호로 변환한다. The
예를 들어, 선택된 RF 방송 신호가 디지털방송 신호이면 디지털 IF 신호(DIF)로 변환하고, 아날로그 방송 신호이면 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)로 변환한다. 튜너(120)에서 출력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는, 바로 제어부(160)로 입력되는 것이 가능하다.For example, if the selected RF broadcast signal is a digital broadcast signal, it is converted into a digital IF signal (DIF). If the analog broadcast signal is converted into an analog baseband video / audio signal (CVBS / SIF). The analog baseband video / audio signal CVBS / SIF output from the
또한, 튜너(120)는, 후술하는 바와 같이, ATSC(Advanced Television Systems Committee) 방식에 따른 단일 캐리어의 RF 방송 신호 또는 DVB(Digital Video Broadcasting) 방식에 따른 복수 캐리어의 RF 방송 신호를 수신하는 것도 가능하다.In addition, the
영상 촬영부(125)는, 사용자의 신체의 적어도 일부를 촬영할 수 있다. 예를 들어, 사용자의 얼굴을 촬영할 수 있다. 특히, 얼굴 중에서도 특정 부위만을 측정하는 것도 가능하다. 예를 들어, 눈과 눈썹 부위를 촬영할 수 있다.The
촬영된 영상은 제어부(160)로 전송된다. 영상 촬영부(125)는, 예를 들어, 카메라, 캠코더, 캠 등일 수 있다. 또한, 영상 촬영부(125)는, TV 등의 영상표시장치(도 2 참조), 휴대 단말기(도 3 참조), MP3 플레이어 등의 휴대 음성 재생 장치(도 4 참조), 영상표시장치 등의 각종 전자기기를 제어하는 원격제어장치(remote controller)(도 2의 200) 등에 부착되는 것이 가능하다. 촬영된 영상은, 정지 영상 또는 동영상일 수 있다. The captured image is transmitted to the
음성 녹음부(135)는, 사용자의 음성을 녹음한다. 이를 위해, 음성 녹음부(135)는, 일예로, 마이크 등일 수 있다. 녹음된 음성은 제어부(160)에 전송된다. 음성 녹음부(135)는, 예를 들어, 마이크일 수 있다. 또한, 음성 녹음부(135)는, TV 등의 영상표시장치(도 2 참조), 휴대 단말기(도 3 참조), MP3 플레이어 등의 휴대 음성 재생 장치(도 4 참조), 영상표시장치 등의 각종 전자기기를 제어하는 원격제어장치(remote controller)(도 2의 200), 카메라, 캠코더 등에 부착되는 것이 가능하다. The
신체 신호 감지부(145)는, 사용자의 신체 신호를 감지한다. 이를 위해, 신체 신호 감지부(145)는, 사용자의 신체에 부착될 수 있다. 예를 들어, 영상표시장치 등 각종 전자기기를 제어하는 원격제어장치(remote controller)(도 2의 200), 휴대 단말기(도 3 참조), MP3 플레이어 등의 휴대 음성 재생 장치(도 4 참조), 손목 시계, 반지, 목걸이의 펜던트, 팔찌의 펜던트, 헤드셋, 이어폰, 각종 전자기기의 입력버튼 등에 부착되는 것이 가능하다. 즉, 사용자가 원격제어장치를 통해, 전자기기의 원격 제어를 수행하는 도중에 신체 신호를 감지할 수 있다. 또는 다른 기기가 신체에 부착되어 있는 동안에, 신체 신호를 감지할 수 있다. 감지된 신체 신호는 유선 또는 무선으로 네트워크 인터페이스부(165)를 통해 제어부(160)에 입력되게 된다. 한편, 도 4에 도시된 바와 같이, 휴대 음성 재생 장치의 헤드셋을 통해 뇌파를 측정할 수 있다. The
예를 들어, 신체 신호 감지부(145)는, 전기피부반응(GSR), 피부온도(SKT), 심전도(ECG), 근전도(EMG), 뇌파, 호흡 등을 감지할 수 있다. 이를 통해, 긴장 상태, 집중도 등을 포함하는 감정 상태 정보를 감지할 수 있다.For example, the
전기피부반응(GSR)은, 자극에 대한 감정반응에 의해 일어나는 피부의 전기 전도 변화, 예를 들어 신체에 있는 땀샘의 활동을 반영하며, 피부온도(SKT)는, 체표면 온도 변화이며, 심전도(ECG)는, 심장의 극히 작은 전기적 활동을 포착하여 심전계를 통하여 증폭된 신호로써 추출되는 P, Q, R, S, T파의 패턴이며, 근전도(EMG)는, 근수축에 따른 신경근육활동을 전기신호로 나타낸 것이다. 한편, 뇌파는 α파, β파, 서파, 속파 등으로 나뉜다. Electrical skin response (GSR) reflects changes in the electrical conduction of the skin caused by an emotional response to stimuli, for example, the activity of sweat glands in the body, and skin temperature (SKT) is a change in body surface temperature, ECG) is a pattern of P, Q, R, S, and T waves that are extracted as signals amplified through the electrocardiograph by capturing extremely small electrical activity of the heart, and EMG (EMG) is a neuromuscular activity associated with muscle contraction. It is represented by an electrical signal. On the other hand, the brain waves are divided into α waves, β waves, slow waves, and fast waves.
한편, 뇌파, 호흡의 빠르기 또는 깊이 등의 감지를 위해, 신체 신호 감지부(145)는, 헤드 마운트(HM) 타입일 수도 있다. On the other hand, in order to detect the EEG, the speed or depth of breathing, the body
한편, 도 2 내지 도 4의 영상 촬영부(125)에서 촬영된 영상, 음성 녹음부(135)에서 녹음된 음성, 및 신체 신호 감지부(145)에서 감지된 신체 신호는, 제어부(160)에 입력되는 것과 별개로, 네트워크 인터페이스부(165)를 통해, 외부 네트워크로 전송되는 것이 가능하다. 예를 들어, 외부 서버에 전송될 수 있다. 또한, 근방은 다른 전자 기기에 전송되는 것도 가능하다. 이 중 서버 역할을 하는 메인 전자기기에서, 이러한 신호를 처리하는 것도 가능하다.Meanwhile, the image captured by the
외부신호입출력부(128)는, 외부 장치와의 신호 입력 등을 수행한다. 이를 위해 외부신호입출력부(128)는, A/V 입출력부(미도시) 등을 포함할 수 있다.The external signal input /
외부신호입출력부(128)는, DVD(Digital Versatile Disk) 플레이어, 블루레이(Blu ray) 플레이어, 게임기기, 캠코더, 컴퓨터(노트북) 등과 같은 외부 장치와 연결되어 외부 입력 영상 신호, 외부 입력 음성 신호, 및 외부 입력 데이터 신호를 영상표시장치(100) 내의 제어부(160)로 전달한다. 또한, 제어부(160) 내에서 처리된 영상 신호, 음성 신호, 및 데이터 신호를 다른 외부 장치로 출력할 수 있다. The external signal input /
복조부(130)는, 튜너(120)에서 변환된 디지털 IF 신호(DIF)를 수신하여 복조 동작을 수행한다.The
예를 들어, 튜너(120)에서 출력되는 디지털 IF 신호(DIF)가 ATSC 방식 또는 DVB 방식인 경우, 복조부(130)는, 8-VSB (1-Vestigal Side Band) 복조 또는 OFDMA(Coded Orthogonal Frequency Division Modulation) 복조를 수행한다. 또한, 복조부(130)는, 채널 복호화를 수행할 수도 있다. For example, when the digital IF signal DIF output from the
복조부(130)는, 복조 및 채널 복호화를 수행하고, 스트림 신호(TS)를 출력할 수 있다. 이때의 스트림 신호(TS)는, 영상 신호, 음성 신호 및 데이터 신호가 다중화된 신호일 수 있다. 또한, 본 발명의 실시예에 따라, 감정 상태 정보가 포함된 메타 데이터를 포함하는 신호일 수 있다. The
예를 들어, 스트림 신호(TS)는, MPEG-2 규격의 영상 신호, 돌비(Dolby) AC-3 규격의 음성 신호 등이 다중화된 MPEG-2 TS(Transport Stream)일 수 있다. 구체적으로 MPEG-2 TS는, 4 바이트(byte)의 헤더와 184 바이트의 페이로드(payload)를 포함할 수 있다.For example, the stream signal TS may be an MPEG-2 Transport Stream (TS) multiplexed with an MPEG-2 standard video signal, a Dolby AC-3 standard audio signal, and the like. Specifically, the MPEG-2 TS may include a header of 4 bytes and a payload of 184 bytes.
인터페이스부(150)는, 사용자로부터의 입력 신호를 제어부(160)로 전달하거나, 제어부(160)로부터의 신호를 사용자에게 전달한다.The
특히, 원격제어장치(200) 내에 구비되는 신체 신호 감지부(145)에서 감지된 신체 신호를 제어부(160)으로 전달한다. In particular, the body signal detected by the body
제어부(160)는, 입력되는 스트림을 역다중화하고 역다중화된 신호들을 신호 처리하여, 영상 및 음성 출력을 위한 신호를 생성하여 출력할 수 있다. 그 외 영상표시장치(100) 내의 전반적인 동작을 제어할 수 있다.The
도면에서는 도시하지 않았지만, 제어부(160)는, 역다중화부, 영상 처리부, 음성 처리부, OSD 생성부, 감정 정보 처리부 등을 포함할 수 있다.Although not illustrated in the drawing, the
또한, 제어부(160)는, 본 발명의 실시예와 관련하여, 영상 촬영부(125)에서 촬영된 영상, 음성 녹음부(135)에서 녹음된 음성, 및 신체 신호 감지부(145)에서 감지된 감지된 신체 신호 중 적어도 하나에 기초하여, 감정 상태를 판별할 수 있다. 바람직하게는, 적어도 두개에 기초하여 감정 상태를 판별할 수 있다.In addition, the
먼저, 제어부(160)는, 촬영된 영상으로부터 얼굴 정보를 추출할 수 있다. 얼굴 정보를 추출하는 알고리즘을 이용하여 얼굴 영역을 검출할 수 있다. 얼굴 추출 알고리즘으로는 다양한 방법이 사용될 수 있으며, 본 명세서에서는 그 예를 생략한다.First, the
한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상을 수신하면서, 촬영된 영상을 기준 영상과 비교하여, 감정 상태를 판별할 수 있다. 예를 들어, 기준 영상은, 저장부(175)에 저장된 것으로서, 다양한 감정 상태에 따른 얼굴 영상일 수 있다. 또한, 기준 영상은, 저장부가 아닌, 별도의 네트워크 상의 서버에 저장된 것으로서, 다양한 감정 상태에 따른 얼굴 영상일 수 있다.The
제어부(160)는, 촬영된 영상 중 얼굴 영상을 추출하고, 추출된 얼굴 영상과, 기준 영상을 비교할 수 있다. 또는 추출된 얼굴 영상 내의 복수개의 포인트를 추출하고, 각 포인트 간의 상호 거리와, 기준 영상에서의 각 포인트 간의 상호 거리를 비교할 수 있다. 여기서, 복수개의 포인트는, 얼굴 중 눈,눈썹,코,입,귀,인중 중 적어도 일부일 수 있다. 결국, 제어부(160)는, 촬영된 영상과 기준 영상을 비교하여, 가장 유사한 기준영상을 바탕으로, 다양한 감정 상태를 판별할 수 있다.The
여기서, 감정 상태는, 사용자의 감정 상태는, 기쁨, 슬픔, 분노, 놀람, 공포, 혐오, 평상, 불안, 온화, 차가움, 흥분 등 으로 분류될 수 있다. Here, the emotional state, the emotional state of the user may be classified into joy, sadness, anger, surprise, fear, disgust, ordinary, anxiety, mild, cold, excitement.
한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상을 수신하면서, 그 변화가 감지되는 경우에만, 신호 처리를 수행하여 감정 상태를 판별할 수도 있다. Meanwhile, the
예를 들어, 사용자의 얼굴 중 눈,눈썹,코,입,귀,인중 중 적어도 일부가 이전 영상에 비해 그 크기, 위치, 형태, 색상, 움직임 등이 가변되는 경우, 이를 감지하고, 그에 따라 변화된 크기 정보, 위치 정보, 형태 정보, 색상 정보 등에 기초하여, 사용자의 감정 상태를 판별할 수도 있다. For example, if at least some of the eyes, eyebrows, noses, mouths, ears, and humans of the user's face have a variable size, position, shape, color, and movement compared to the previous image, the detected face is changed and changed accordingly. The emotional state of the user may be determined based on the size information, location information, shape information, color information, and the like.
한편, 제어부(160)는, 촬영된 영상이 얼굴 정면인 경우에만 유효할 수 있으므로, 복수의 영상 촬영부로부터 전송되는 영상을 촬영하거나, 녹음된 음성 또는 감지된 신호를 참조하여 감정 정보를 생성할 수 있다.Meanwhile, since the captured image may be valid only when the captured image is in front of the face, the
제어부(160)는, 음성 녹음부(135)에서 녹음된 음성을 수신하면서, 녹음된 음성을 기준 음성과 비교하여, 감정 상태를 판별할 수 있다. 또한, 음성 녹음부(135)에서 녹음된 음성을 수신하면서, 그 변화가 감지되는 경우에만, 신호 처리를 수행하여 감정 상태를 판별할 수도 있다. 특히, 음성의 피치, 세기, 빠르기 등을 이용하여 감정 상태를 판별할 수 있다. The
한편, 제어부(160)는, 영상 촬영부(125)에서 촬영된 영상과, 음성 녹음부(135)에서 녹음된 음성과 신체 신호 감지부(145)에서 감지된 신체 신호를 수신하여, 이를 종합적으로 고려하여 감정 상태를 판별할 수 있다. Meanwhile, the
특히, 복수 사용자인 경우, 음성 인식율이 떨어질 수 있으며, 사용자의 이동시에는 촬영된 영상 및 감지된 신체 신호의 정확성이 떨어질 수 있으므로, 제어부(160)는, 촬영된 영상, 녹음된 음성, 감지된 신체 신호 중 적어도 하나에 기초하여 감정 정보를 생성할 수 있다.In particular, in the case of a plurality of users, the speech recognition rate may be reduced, and the accuracy of the captured image and the detected body signal may be degraded when the user moves, so that the
예를 들어, 촬영된 영상 및 녹음된 음성을 바탕으로, 각각 감정 정보를 생성한 후, 이를 서로 비교할 수 있다. 그리고 이들의 비교에 의해, 공통의 감정 정보를 추출할 수 있다. 이렇게 함으로써, 생성되는 감정 정보의 정확성이 향상될 수 있게 된다.For example, based on the captured image and the recorded voice, emotion information may be generated and then compared with each other. By comparing these, common emotion information can be extracted. By doing so, the accuracy of the generated emotional information can be improved.
그 외, 촬영된 영상 및 감지된 신호를 바탕으로 각각 감정 정보를 생성하여조합하거나, 녹음된 음성 및 감지된 신호를 각각 정보를 생성하여 조합할 수 있다. In addition, the emotion information may be generated and combined based on the captured image and the detected signal, or the recorded voice and the detected signal may be generated and combined, respectively.
한편, 촬영된 영상, 녹음된 음성 및 신체 신호 사이에는 각각 가중치가 할당되고, 할당된 가중치에 비례하여, 감정 정보를 생성할 수 있다.Meanwhile, weights are assigned to the captured images, the recorded voices, and the body signals, respectively, and emotion information may be generated in proportion to the assigned weights.
예를 들어, 복수 사용자가 있는 경우, 녹음된 음성은 그 정확성이 떨어질 수 있으므로, 가중치를 촬영된 영상의 가중치 보다 낮게 설정할 수 있다.For example, when there are a plurality of users, the recorded voice may be less accurate, and thus the weight may be set lower than the weight of the photographed image.
그 외, 사용자가 이동 중인 경우, 녹음된 음성의 가중치가 다른 요소(영상 또는 신체 신호) 보다 가중치가 더 높을 수 있다. 이에 의해, 사용자의 상황을 고려하여, 정확한 감정 상태를 판별할 수 있게 된다.In addition, when the user is moving, the weight of the recorded voice may be higher than other elements (video or body signal). This makes it possible to determine the correct emotional state in consideration of the user's situation.
한편, 복수의 사용자가 있는 경우, 각 사용자의 감정 상태를 생성하고, 이들의 조합에 의해, 대표 감정 상태를 산출할 수도 있다. 복수의 사용자가 있는 경우는, 주로 음성 보다는 촬영된 영상 또는 감지된 신체 신호를 통해, 각 개인의 감정 상태를 생성할 수 있다. 예를 들어, 각 개인의 감정 상태의 평균값을 대표 감정 상태로 산출할 수 있다. On the other hand, when there are a plurality of users, the emotional state of each user can be generated, and the representative emotional state can be calculated by the combination thereof. When there are a plurality of users, an emotional state of each individual may be generated mainly through a captured image or a sensed body signal rather than a voice. For example, the average value of the emotional state of each individual may be calculated as the representative emotional state.
또한, 소정 컨텐츠가 재생되는 상태에서, 복수의 사용자가 있는 경우, 각 사용자의 감정 정보를 생성하고, 생성된 감정 정보들에 기초하여, 재생되는 컨텐츠에 대한 대표 감정 정보를 생성하는 것도 가능하다,In addition, when there are a plurality of users in a state in which the predetermined content is reproduced, it is also possible to generate emotion information of each user and to generate representative emotion information on the reproduced content based on the generated emotion information.
또한, 복수의 사용자가 있는 경우, 음성 정보의 가중치를 영상 정보 또는 신체 정보의 가중치보다 낮게 설정하고, 설정된 가중치 및 획득된 정보에 기초하여, 사용자의 감정 정보를 생성할 수도 있다.In addition, when there are a plurality of users, the weight of the voice information may be set lower than the weight of the image information or the body information, and the emotion information of the user may be generated based on the set weight and the obtained information.
또한, 시간대 별로, 동일한 사용자의 감정 상태를 파악하고, 이를 평균화하여 대표 감정 상태로 산출하는 것도 가능하다. 즉, 특정 개인의 대표 감정 곡선(ECF)을 산출할 수도 있다.In addition, for each time zone, it is possible to grasp the emotional state of the same user and average it and calculate the representative emotional state. That is, a representative emotional curve (ECF) of a specific individual may be calculated.
이와 같이 생성된 감정 상태 정보를 바탕으로, 제어부(160)는, 사용자에게 컨텐츠를 추천하도록 제어할 수 있다. Based on the emotional state information generated as described above, the
예를 들어, 제어부(160)는, 재생하고자 하는 컨텐츠 리스트 중 사용자의 감정 상태 등을 고려하여, 소정 컨텐츠를 추천할 수 있다. 구체적으로, 사용자의 감정 상태가 우울한 감정으로 판별되면, 우울 모드로 기록된 컨텐츠를 추천할 수 있다. 여기서 추천되는 컨텐츠는 영상표시장치(100) 내의 저장부(175)에 저장된 컨텐츠이거나, 영상표시장치(100)에 접속되는 외부장치 내의 컨텐츠 일 수 있다. 또한, 네크워크 인터페이스부(165)를 통한, 외부 네트워크 상의 컨텐츠일 수 있다. 이를 위해, 각 컨텐츠는 감정 상태 정보가 메타 데이터 형태로 결합되던지 할 수 있다. 또는 리스트로 구성될 수도 있다.For example, the
한편, 제어부(160)는, 후술하는 도 9와 같이, 방송 시청 중 방송 프로그램 안내 정보인 EPG 정보가 표시되는 경우, 방송 프로그램 안내 정보 중 사용자의 감정 상태에 부합하는 방송 프로그램을 추천할 수도 있다.Meanwhile, as shown in FIG. 9, when the EPG information, which is broadcast program guide information, is displayed during broadcasting, the
또한, 제어부(160)는, 후술하는 도 8과 같이, 소정 영상 시청 중, 사용자의 감정 상태에 부합하는 영상을 썸네일 영상으로 픽쳐 인 픽쳐(Picture In Picture; PIP) 형태로 표시하도록 제어할 수도 있다.In addition, as shown in FIG. 8 to be described later, the
또한, 제어부(160)는, 사용자의 감정 상태에 부합하는 다른 채널의 방송 영상을 추천하면서, 후술하는 도 10과 같이, 이를 썸네일 영상으로 표시하거나, 후술하는 도 11과 같이 썸네일 리스트로 표시할 수도 있다.In addition, the
또한, 제어부(160)는, 후술하는 도 12와 도 13과 같이, 사용자의 감정 정보를 나타내는 오브젝트를 표시하도록 제어할 수 있다. 이때의 오브젝트는, 사용자의 감정 상태에 부합하는 아이콘 또는 아바타 등일 수 있다. In addition, the
또한, 제어부(160)는, 후술하는 도 12와 도 13과 같이, 네트워크에 접속된 상태에서, 네트워크 또는 네트워크에 링크된 다른 네트워크의, 적어도 하나의 다른 사용자의 감정 정보를 나타내는 오브젝트를 표시하도록 제어할 수도 있다. In addition, as shown in FIGS. 12 and 13 to be described later, the
그리고, 제어부(160)는, 후술하는 도 12와 같이, 네트워크 또는 네트워크에 링크된 다른 네트워크의, 다른 사용자 또는 컨텐츠 제공자로부터 컨텐츠를 추천받고, 이를 표시하도록 제어할 수 있다. In addition, as shown in FIG. 12 to be described later, the
또한, 제어부(160)는, 후술하는 도 13과 같이, 네트워크 또는 네트워크에 링크된 다른 네트워크의, 다른 사용자에게 컨텐츠를 추천하도록 제어할 수도 있다. In addition, as shown in FIG. 13 to be described later, the
그 외, 제어부(160)는, 네트워크 상의 컨텐츠 제공자(CP)에게 현재 사용자의 감정 상태를 전송하고, 그에 따른 추천 컨텐츠를 제공받을 수도 있다.In addition, the
그 외, 제어부(160)는, 현재 사용자의 감정 상태에 따라, 표시되는 영상 내의, 장소, 상품, 인물 등 중 추천 장소, 추천 상품, 추천 인물 등에 대한 정보를 디스플레이 상에 표시하도록 제어할 수도 있다.In addition, the
한편, 제어부(160)는, 튜너(120)를 제어하여, 선택되는 채널 또는 기저장된 채널에 해당하는 RF 방송 신호를 선택(tuning)하도록 제어할 수 있다. The
제어부(160)는, 입력되는 스트림 신호, 예를 들어 MPEG-2 TS 를 역다중화하여, 각각 영상 신호, 음성 신호 및 데이터 신호로 분리할 수 있다. 여기서, 제어부(160)에 입력되는 스트림 신호는 복조부(130) 또는 외부 신호 입력부(128)로부터의 스트림 신호일 수 있다.The
한편, 제어부(160)는, 생성된 사용자의 감정 상태를 나타내는 아이콘 또는 아바타를 생성하도록 제어하고, 해당 아이콘 또는 아바타를 디스플레이(180)에 표시하도록 제어할 수 있다.Meanwhile, the
또한, 제어부(160)는, 역다중화된 영상 신호의 영상 처리를 수행할 수 있다. 이를 위해, MPEG-2 디코더, H.264 디코더, AVS 디코더를 통해 복호화될 수 있다. In addition, the
또한, 제어부(160)는, 영상 신호의 밝기(brightness), 틴트(Tint) 및 색조(Color) 조절 등을 처리할 수 있다. In addition, the
제어부(160)에서 영상 처리된 영상 신호는 디스플레이(180)로 입력되어 디스플레이 되게 된다. 또한, 외부 출력 장치와 연결된 외부 출력 단자로 입력되는 것도 가능하다.The image signal processed by the
또한, 제어부(160)는, 역다중화된 음성 신호의 음성 처리를 수행할 수 있다. 예를 들어, 역다중화된 음성 신호가 부호화된 음성 신호인 경우, 이를 복호화할 수 있다. 또한, 제어부(160)는, 베이스(Base), 트레블(Treble), 음량 조절 등을 처리할 수 있다.In addition, the
제어부(160)에서 처리된 음성 신호는 오디오 출력부(185), 예를 들어 스피커로 입력되어 음성 출력되게 된다. The voice signal processed by the
또한, 제어부(160)는, 역다중화된 데이터 신호의 데이터 처리를 수행할 수 있다. 예를 들어, 역다중화된 데이터 신호가 부호화된 데이터 신호인 경우, 이를 복호화할 수 있다. 부호화된 데이터 신호는, 각 채널에서 방영되는 방송 프로그램의 제목, 내용, 시작시간, 종료시간 등의 프로그램 정보를 포함하는 EPG(Electronic Program Guide) 정보일 수 있다. 예를 들어, EPG 정보는, ATSC방식인 경우, ATSC-PSIP(ATSC-Program and System Information Protocol) 정보일 수 있으며, DVB 방식인 경우, DVB-SI(DVB-Service Information) 정보를 포함할 수 있다. ATSC-PSIP 정보 또는 DVB-SI 정보는, 상술한 스트림, 즉 MPEG-2 TS의 헤더(4 byte)에 포함되는 정보일 수 있다.In addition, the
또한, 제어부(160)는, OSD(On Screen Display) 처리를 수행할 수 있다. 구체적으로, 제어부(160)는, 영상 처리된 영상 신호와, 데이터 처리된 데이터 신호 중 적어도 하나 및 원격제어장치(200)로부터의 사용자 입력신호에 기초하여, 디스플레이(180) 상에 각종 정보를 그래픽(Graphic)이나 텍스트(Text)로 디스플레이하기 위한 신호를 생성할 수 있다. 생성된 신호는 영상 처리된 영상 신호 및 데이터 처리된 데이터 신호와 함께, 디스플레이(180)에 입력될 수 있다.In addition, the
상술한, 그래픽 또는 텍스트 디스플레이를 위하여 생성된 신호는, 영상표시장치(100)의 사용자 인터페이스 화면, 다양한 메뉴 화면, 위젯, 아이콘 등의 다양한 데이터를 포함할 수 있다.The signal generated for the graphic or text display described above may include various data such as a user interface screen, various menu screens, widgets, and icons of the
또한, 제어부(160)는, 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)를 입력받아, 신호 처리를 수행한다. 여기서, 제어부(160)에 입력되는 아날로그 베이스 밴드 영상/음성신호(CVBS/SIF)는 튜너(120) 또는 외부 신호 입력부(128)로부터의 아날로그 베이스 밴드 영상/음성신호일 수 있다. 신호 처리된 영상 신호는 디스플레이(180)로 입력되어 디스플레이 되며, 신호 처리된 음성 신호는 오디오 출력부(185), 예를 들어 스피커로 입력되어 음성 출력되게 된다. In addition, the
또한, 제어부(160)는, 저장부(175)에 저장된 얼굴 정보 및 음성 정보와, 추출된 얼굴 정보 및 음성 정보를 비교하여, 시청 등급을 설정할 수 있다. 한편, 제어부(160)는, 사용자의 입력에 따라 시청 등급을 설정할 수도 있다. 또한, 시청 등급을 업데이트도 할 수 있다.In addition, the
네트워크 인터페이스부(165)는, 유/무선 통신을 통해 데이터를 송신/수신할 수 있다. 예를 들어, 근거리의 다른 전자기기와의 데이터를 송신 또는 수신할 수 있으며, 인터넷 접속 등을 수행할 수도 있다. 특히, 본 발명의 실시예에 관련하여, 다른 전자 기기 또는 외부 서버 등의 네트워크를 통해 감정 상태 정보 등이 송/수신될 수 있다. 이러한 송신 및 수신 등은 제어부(160)의 제어 동작에 따라 수행될 수 있다.The
네트워크 인터페이스부(165)는, 외부 서버와의 접속을 위해, 예를 들어, WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. The
또한, 네트워크 인터페이스부(165)는, 다른 전자기기와 근거리 무선 통신을 위해, 예를 들어, 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등이 이용될 수 있다.In addition, the
저장부(175)는, 제어부(160) 내의 각 신호 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 신호 처리된 영상 신호, 음성 신호 및 데이터 신호를 저장할 수도 있다. The
저장부(175)는 생성된 감정 상태를 저장한다. 예를 들어, 다양한 형태의 얼굴 정보, 다양한 형상의 음성 정보, 다양한 형태의 신체 감지 신호 등을 저장할 수 있다. 이러한, 기저장된 얼굴 정보, 음성 정보, 및 신체 감지 신호 정보 등은 제어부(160)에 전달되어, 사용자의 감정 상태 정보의 생성에 사용될 수 있다.The
한편, 제어부(160)에서 생성된 감정 상태 정보는 저장부(175)에 저장될 수 있다. 생성된 감정 상태 정보는, 테이블화된 수치를 이용하여 저장될 수 있다.Meanwhile, the emotional state information generated by the
이때, 사용자가 시청하는 컨텐츠의 제목, 종류, 시청 시간, 함께 시청한 시청자 수, 시청자의 연령대, 취향, 취미 등을 감정 상태와 함께 저장할 수 있다. 예를 들어, 컨텐츠에 메타 데이터(meta data) 형태로 함꼐 저장될 수 있다. 또는, 별도로 저장될 수도 있다.In this case, the title, type, viewing time, number of viewers watched together, age group of viewers, tastes, hobbies, and the like, may be stored together with the emotional state. For example, the content may be stored together in the form of metadata. Alternatively, it may be stored separately.
도 5를 참조하면, 저장부(175)는, 감정 맵(emotional map)(500)을 포함할 수 있다. 감정 맵(500)은, 감정 종류 테이블(510)을 포함할 수 있다. 그 외, 사용자별 테이블(520), 장소별 테이블(530), 컨텐츠별 테이블(540), 상품별 테이블(550), 및 배우별 테이블(560) 등을 더 포함할 수 있다. Referring to FIG. 5, the
감정 종류 테이블(510)은, 사용자의 다양한 감정 상태를 데이터로 수치화한 것이다. 예를 들어, 각 수치는, 얼굴 정보, 음성 신호, 감지된 신체 신호를 종합적적으로 고려하여, 수치화된 값일 수 있다.The emotion type table 510 quantifies various emotion states of the user with data. For example, each value may be a numerical value in consideration of face information, voice signal, and sensed body signal.
제어부(160)는, 기 저장된 감정 종류 테이블(510)을 호출하여, 생성된 감정 상태 정보를 수치화하고, 이를 저장부(175)에 저장되도록 할 수 있다. The
한편, 저장부(175)는, 감정 종류 테이블(510)에 기초하여 생성된 감정 상태 정보와, 사용자 테이블(520)로부터의 사용자 정보, 장소별 테이블(530)로부터의 장소 정보, 컨텐츠별 테이블(540)로부터의 컨텐츠 정보, 상품별 테이블(550)로부터의 상품 정보, 배우별 테이블(560)로부터의 배우 정보 등 중 적어도 하나를 결합하여 저장할 수 있다. 또한, 컨텐츠 시청 중, 생성된 감정 상태 정보와 생성된 시간 등이 결합되어 저장될 수도 있다. 또한, 컨텐츠 별 대표 감정 정보가 저장될 수 있다. 또한, 사용자의 연령별, 성별, 지역별, 취미별 등 중 적어도 어느 하나가 결합되어 저장될 수도 있다. 또한, 복수의 사용자인 경우, 해당 연령의 평균 정보도 결합되어 저장될 수 있다. 이러한 결합 정보는, 컨텐츠 내에 포함되거나, 아니면 별도로 저장되는 것도 가능하다.Meanwhile, the
한편, 각 테이블은, 다른 전자기기와의 호환을 위해, 표준화된 테이블일 수 있다. 또한, 서로 다른 규격의 테이블일 경우, 이를 변환하는 것도 가능하다. 예를 들어, 네트워크 상으로부터 수신되는 테이블을 변환하여, 이를 저장부(175)에 저장하는 것도 가능하다. Meanwhile, each table may be a standardized table for compatibility with other electronic devices. In the case of tables of different standards, it is also possible to convert them. For example, it is also possible to convert a table received from the network and store it in the
한편, 저장부(175)는, 네트워크 인터페이스부(165)를 통해, 다른 전자기기 또는 네트워크를 통한 서버 등에, 저장된 감정 상태 정보 등을 전송하거나, 다른 전자기기 또는 서버 등으로부터 감정 상태 정보 등을 수신하여 저장할 수 있다. 예를 들어, 컨텐츠 제공자들은 해당 서버에, 컨텐츠 별로, 사용자 별로, 취향 별로, 사용자의 연령, 지역별, 성별 등으로, 해당 감정 상태 정보 등을 데이터 베이스화하여 저장할 수 있다. On the other hand, the
이렇게 다른 전자 기기 또는 외부 서버 등에 공유함으로써, 컨텐츠 별 사용자의 감정 상태가 취합될 수 있다. 또한, 해당 컨텐츠의 대표 감정 상태가 확정될 수 있다. 이러한 컨텐츠의 대표 감정 상태 정보는, 다양한 사용자의 감정 상태 업데이트를 통해, 수시로 변경될 수도 있다. 이러한 컨텐츠의 대표 감정 상태 정보는, 다시 각 전자기기 별로 전송되어, 해당 컨텐츠를 시청하는 시청자에게 제공되거나, 비교 대상으로 사용될 수도 있다.In this way, by sharing with other electronic devices or an external server, the emotional state of the user for each content can be collected. In addition, the representative emotional state of the corresponding content may be determined. Representative emotional state information of such content may be changed from time to time through various emotional state updates. Representative emotional state information of such content may be transmitted to each electronic device again and provided to a viewer who views the corresponding content, or may be used as a comparison target.
또한, 네트워크 인터페이스부(165)를 통해, 컨텐츠 제공자들은 상술한 감정 상태 정보 등을 수신할 수 있으며, 이와 같이, 촬영된 영상, 녹음된 음성, 감지된 신체 신호 중 적어도 하나에 기초하여, 감정 상태 정보를 생성하므로, 신뢰성 높은 감정 상태 정보를 생성할 수 있게 된다. 또한, 저장부(175)는, 채널 기억 기능을 통해 해당하는 방송 채널을 저장할 수 있다. In addition, through the
저장부(175)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, 롬(EEPROM 등) 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. The
도면에서는 저장부(175)가 제어부(160)와 별도로 마련되는 것으로 도시하나, 이에 한정되지 않으며, 제어부(160) 내에 포함되어 마련되는 것도 가능하다.In the drawing, the
한편, 영상표시장치(100)는, 저장부(175) 내에 저장되어 있는 파일(동영상 파일, 정지영상 파일, 음악 파일, 문서 파일 등)을 재생하여 사용자에게 제공할 수도 있다.On the other hand, the
디스플레이(180)는, 제어부(160)에서 처리된 영상 신호, 데이터 신호, OSD 신호 또는 외부신호입출력부(128)에서 수신되는 영상 신호, 데이터 신호 등을 각각 R,G,B 신호로 변환하여 구동 신호를 생성한다. 디스플레이(180)는 PDP, LCD, OLED, 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display)등 다양한 형태로 구현되는 것이 가능하다. 또한, 디스플레이(180)는, 터치 스크린으로 구성되어 출력 장치 이외에 입력 장치로 사용되는 것도 가능하다.The
오디오 출력부(185)는, 제어부(160)에서 음성 처리된 신호, 예를 들어, 스테레오 신호, 3.1 채널 신호 또는 5.1 채널 신호를 입력 받아 음성으로 출력한다. 오디오 출력부(185)로는 다양한 형태의 스피커로 구현되는 것이 가능하다.The
원격제어장치(200)는, 사용자 입력을 인터페이스부(150)로 송신한다. 이를 위해, 원격제어장치(200)는, 블루투스(Bluetooth), RF(Radio Frequency) 통신, 적외선(IR) 통신, UWB(Ultra Wideband), 지그비(ZigBee) 방식 등을 사용할 수 있다.The
또한, 원격제어장치(200)는, 상술한 바와 같이, 신체 신호 감지부(145)를 포함한다.In addition, the
또한, 원격제어장치(200)는, 인터페이스부(150)로부터의 영상 신호, 음성 신호, 데이터 신호 등을 수신하여, 이를 출력할 수도 있다.In addition, the
한편, 도면에서는 1개의 튜너를 도시하고 있으나, 복수개의 튜너를 사용하는 것이 가능하다. Meanwhile, although one tuner is shown in the drawing, it is possible to use a plurality of tuners.
상술한 영상표시장치(100)는, 고정형으로서 ATSC 방식(1-VSB 방식)의 디지털 방송, DVB-T 방식(COFDM 방식)의 디지털 방송, ISDB-T 방식(BST-OFDM방식)의 디지털 방송, DTMB-T 방식의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있으며, 또한, 이동형으로서 지상파 DMB 방식의 디지털 방송, 위성 DMB 방식의 디지털 방송, ATSC-M/H 방식의 디지털 방송, DVB-H 방식(COFDM 방식)의 디지털 방송, 미디어플로(Media Foward Link Only) 방식의 디지털 방송 등 중 적어도 하나를 수신 가능한 디지털 방송 수신기일 수 있다. 또한, 케이블, 위성통신, IPTV 용 디지털 방송 수신기일 수도 있다.The above-described
한편, 본 명세서에서 기술되는 영상표시장치(100)는, TV 수상기, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(notebook computer), 디지털 방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 휴대 음성 재생 장치(MP3 player) 등이 포함될 수 있다. 특히, 도 2 내지 도 4에 예시된 영상표시장치들 중 적어도 하나에는, 방송 신호 수신을 위한, 튜너, 및 복조부가 생략되는 것도 가능하다.On the other hand, the
도 1에 도시된 영상표시장치(100)의 블록도는 본 발명의 일실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 영상표시장치(100)의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 즉, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 본 발명의 실시예를 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.A block diagram of the
도 6은 내지 도 13은 본 발명의 실시예에 따른 감정 정보에 따라 컨텐츠를 추천하는 영상 표시 장치의 설명에 참조되는 도면이다.6 to 13 are views referred to for describing a video display device recommending content based on emotion information according to an embodiment of the present invention.
먼저, 도 6은 영상표시장치(100)가 네트워크 상에서 다른 외부 장치(610,620 등)와 접속되는 것을 보여준다. 이에 따라, 영상표시장치(100)와 외부 장치(610,620) 간에, 서로 컨텐츠를 공유하거나, 컨텐츠를 추천할 수 있다. 이러한 외부 장치(610,620)는, 영상표시장치(100)와 근거리의 전자기기일 수 있으며, 또는 외부 서버 또는 컨텐츠 제공자일 수 있다.First, FIG. 6 shows that the
다음, 도 7과 같이, 사용자가 원격제어장치(200)를 가지고, 원격 제어 동작을 수행하는 경우, 영상 촬영부(125), 음성 녹음부(135), 신체 신호 감지부(145)에서 각각 영상, 음성, 신체 신호를 감지하게 된다. Next, as shown in FIG. 7, when the user performs the remote control operation with the
이에 따라 제어부(160)는 사용자의 감정 상태를 판별할 수 있게 된다.Accordingly, the
그리고, 사용자가 컨텐츠 리스트(710)를 선택한 경우, 영상표시장치(100)는, 도 7(b)와 같이, 판별된 사용자의 감정 상태에 따라, 데이터를 추천할 지 여부를 나타내는 오브젝트를 화면에 표시할 수 있다. When the user selects the
사용자의 감정 상태가, 즐거운 감정 모드인 경우, 도 7(c)와 같이, “영화 1”을 추천하는 화면(730)이 표시될 수 있다. 이때, “영화 1”의 감정 상태 정보를 나타내는 아이콘이 함께 표시되는 것도 가능하다.When the emotional state of the user is in the pleasant emotion mode, as shown in FIG. 7C, a
한편, 사용자의 현재 감정 상태에 따른 것이 아닌, 이전 컨텐츠 시청시 기록되었던 감정 상태에 따라, 컨텐츠 리스트 중 어느 하나를 추천하는 것도 가능하다. 예를 들어, 지난 컨텐츠 시청시 즐거운 감정 모드였던, 컨텐츠를 추천 컨텐츠로 표시하는 것도 가능하다. 즉, 현재 사용자의 감정에 관계없이, 이미 기록되었던 감정 상태 중 가장 좋은 감정 상태에 해당하는 컨텐츠를 추천하는 것도 가능하다.On the other hand, it is also possible to recommend any one of the content list according to the emotional state recorded when viewing the previous content, not according to the current emotional state of the user. For example, it is also possible to display the content as the recommended content, which was a pleasant emotion mode when viewing the past content. That is, regardless of the current user's emotion, it is also possible to recommend content corresponding to the best emotional state that has already been recorded.
한편, 도 7에서는 컨텐츠 목록으로, 영화, 드라마, 음악 등을 예시하나, 이외에, 텍스트 문서, 전자책 등의 컨텐츠도 이와 같이 적용될 수 있다.In FIG. 7, a content list includes a movie, a drama, music, and the like. In addition, content such as a text document and an e-book may be applied in this manner.
이러한 컨텐츠들은, 저장부(175)에 저장되거나, 컨텐츠 제공자로부터 제공되거나, 영상표시장치(100)에 접속된 외부장치 내에 저장된 컨텐츠일 수 있다. 그리고 각각 컨텐츠에 대한 감정 상태 정보가 메타 데이터 형태로 부가된 것을 수 있다. Such contents may be contents stored in the
다음, 도 8은 해당 컨텐츠가 기 저장된 컨텐츠 등이 아닌 실시간으로 수신되는 채널(Ch11-1)의 방송 영상(810)이라는 점에서 그 차이가 있다. 이에 따라, 현재 사용자의 감정 상태에 따라, 실시간으로 해당 컨텐츠를 추천할 수 있다. 즉, 사용자의 감정 상태를 파악하고, 그에 따른 컨텐츠를 PIP 형태로 추천할 수 있다. 이때의 컨텐츠는 다른 채널의 영상 또는 저장된 컨텐츠일 수도 있다. Next, FIG. 8 has a difference in that the corresponding content is a
한편, 방송 영상의 경우, 감정 상태 정보는, 원 방송 신호에 메타 데이터 형태로 부가되거나, 외부 서버에서 다양한 사용자에 의해 실시간으로 수집되거나 할 수 있다. 도면에서는, 추천 컨텐츠를 방송 영상(820,830)으로 예시한다. 그리고 각각의 방송 영상에 대한 감정 상태 정보를 나타내는 아이콘도 함께 표시될 수 있다. Meanwhile, in the case of a broadcast video, emotion state information may be added to the original broadcast signal in the form of metadata or collected in real time by various users in an external server. In the drawing, the recommended content is illustrated as
다음, 도 9는 방송 영상(910)이 표시된 상태에서, 방송 프로그램 안내 정보인 EPG 정보가 표시되는 경우, 방송 프로그램 안내 화면(920) 중 사용자의 감정 상태에 부합하는 방송 프로그램을 추천하는 것을 예시한다. 상술한 바와 같이, 방송 영상에 대한 감정 상태 정보는, 방송국에서 미리 제작하여 함께 송신할 수도 있고, 그 외 인테넛 상에서, 수 많은 시청자들의 시청시의 감정 상태를 취합한 정보일 수도 있다. 이러한 정보를 바탕으로, 사용자의 감정 상태에 부합하는 채널의 프로그램을 추천할 수 있다. 도면에서는, 즐거운 모드의 사용자에 맞추어, 즐거운 모드의 프로그램들이 추천(포커싱)되는 것을 예시한다. 이에 따라, 사용자는 직관적으로 해당 채널들을 선택할 수 있게 된다.Next, FIG. 9 exemplarily recommends a broadcast program corresponding to an emotional state of a user on the broadcast
다음, 도 10 및 도 11은, 도 8과 유사하게, 방송 시청 중 사용자의 감정 상태(사용자의 감정 상태는, 영상 촬영부(125), 음성 녹음부(135), 및 신체 신호 감지부(145에 기초하여 파악함)에 부합하는 다른 방송 채널을 추천하는 것을 예시한다. 이를 위해, 디스플레이의 하단에, 썸네일 리스트가 표시될 수 있다. 썸네일 리스트는, 영상표시장치(100) 내의 별도의 채널 브라우징 처리부(미도시)에서 생성된 방송 영상의 썸네일 영상을 기반으로 작성될 수 있다. 즉, 수신되는 방송 영상을 포맷 변화시켜, 썸네일 영상을 생성할 수 있다. 이때, 감정 상태 정보도 함께, 썸네일 영상에 포함시킬 수 있다. 도 10에서는 사용자의 즐거운 감정 상태에 따라, 썸네일 리스트(1030) 중 제1 썸네일 영상(1040)과 제2 썸네일 영상(1050)이 추천되는 것을 예시한다.Next, FIGS. 10 and 11 are similar to those of FIG. 8, wherein the user's emotional state (the user's emotional state is the
한편, 도 11은 도 10과 유사하게, 사용자의 감정 상태에 따라, 썸네일 리스트 내(1130)의 추천 썸네일 영상(1140,1150)을 포커싱하는 것을 예시한다. 다만, 도 10과 달리 별도의 제2 디스플레이에 썸네일 리스트(1130)를 도시한다는 점에서 그 차이가 있다. 이에 의해 시청 중인 영상(1120)의 방해 없이 별도의 디스플레이를 통해 추천 컨텐츠 등이 표시될 수 있다. 한편, 별도의 디스플레이를 제어하는 제2 제어부가 더 구비되는 것도 가능하며, 이러한 제2 제어부는, 메인 제어부의 신호 처리 부담을 덜어줄 수 있게 된다.Meanwhile, similar to FIG. 10, FIG. 11 illustrates focusing the recommended
다음, 도 12 및 도 13은, 사용자가 컨텐츠를 시청하는 도중 네트워크 상의 다른 사용자와 서로 컨텐츠를 추천하고 추천받는 것을 예시하는 도면이다.Next, FIGS. 12 and 13 are diagrams illustrating that a user recommends content and is recommended with another user on a network while watching the content.
컨텐츠 시청 중, 디스플레이(180)의 일부 화면(1220,1320)에는, 해당 컨텐츠를 시청하고 있는 다른 사용자가 표시될 수 있다. 접속 상태에 따라 다른 사용자를 나타내는 오브젝트, 예를 들어, 아이콘 또는 아바타의 형상, 색상 등이 가변할 수 있다. 이때, 사용자 본인이 시청 중인 컨텐츠의 감정 상태를 나타내는 오브젝트가 표시될 수 있다. 즉, 사용자 본인의 현재 감정 상태는 물론, 네트워크 상의 다른 사용자의 감정 상태도 함께 표시될 수 있다. 이를 바탕으로, 동일한 감정 상태의 사용자들은 동질감을 느낄 수 있게 된다. 그리고, 서로 관심 있어 하거나 감정 동조율이 높은 컨텐츠 또는 컨텐츠 내의 일부 장면들을 추천하는 것도 가능하다. 유사 감정을 느끼는 사용자들은 취미, 관심 분야 등이 유사할 수 있으므로, 이러한 사용자들끼리 친구 등록 리스트에 서로 포함되는 것도 가능하다. During viewing of content,
도 12에서는 상대방 사용자로부터 추천된 컨텐츠가 있는 경우를 예시하며, 도 13에서는 사용자가 상대방 사용자에게, 자신이 선택한 컨텐츠(1340)를 추천하는 것을 예시한다. 추천 항목 이외에, 바로 상대방에게 전송하는 것도 가능하다. FIG. 12 illustrates a case where there is content recommended by the counterpart user, and FIG. 13 illustrates that the user recommends the selected
도 12(b)에서는 다른 사용자가 추천한 컨텐츠를 저장 또는 재생할 지 여부를 나타내는 오브젝트(1230)가 디스플레이(180)에 표시되는 것을 예시하며, 도 13(b)에서는 다른 사용자에게 본인이 선택한 컨텐츠(1340)를 추천할 것인지를 나타내는 오브젝트(1330)가 디스플레이(180)에 표시되는 것을 예시한다.In FIG. 12B, an
이와 같이, 감정 상태가 유사한 다양한 사용자들끼리, 컨텐츠를 공유하는 것이 가능하게 된다. In this manner, it is possible to share content among various users having similar emotional states.
한편, 네트워크 상의 컨텐츠 제공자(CP)에게 현재 사용자의 감정 상태를 전송하고, 그에 따른 추천 컨텐츠를 제공받을 수도 있다. Meanwhile, the emotional state of the current user may be transmitted to the content provider CP on the network, and the recommended content may be provided accordingly.
그 외, 현재 사용자의 감정 상태에 따라, 표시되는 영상 내의, 장소, 상품, 인물 등 중 사용자의 감정 상태에 부합하는 장소, 상품, 인물 등에 대한 정보를 추천하는 것도 가능하다. In addition, according to the current emotional state of the user, it is also possible to recommend information about a place, a product, a person, etc. that match the emotional state of the user among the places, goods, and people in the displayed image.
예를 들어, 홈쇼핑 채널 또는 소정 채널의 광고의 경우, 사용자의 감정 상태를 기록하였다가, 이후 사용자가 관심 있어하는 물폼 등이 판매되는 경우, 추천할 수 있다. 이 경우, 사용자가 해당 채널을 시청하지 않더라도, EPG 등의 방송 정보를 이용하여, 자동적으로 도 8 이나, 도 10, 도 11과 같이 해당 채널의 방송 영상을 썸네일 영상으로 변환하여 디스플레이(180)의 하단에 표시할 수 있다. 또한, 사용자가 "관심 쇼핑하기" 메뉴에 진입하는 경우, 사용자가 관심을 보인 물품들에 대한 최신 업데이트 정보를 제공할 수도 있다. For example, in the case of an advertisement of a home shopping channel or a predetermined channel, the emotional state of the user may be recorded, and then, if a product or a product of interest is sold, it may be recommended. In this case, even if the user does not watch the corresponding channel, the broadcast image of the corresponding channel is automatically converted into a thumbnail image as shown in FIG. 8, 10, or 11 by using broadcast information such as EPG. It can be displayed at the bottom. In addition, when the user enters the "shopping interest" menu, the user may provide the latest update information on items of interest.
이러한 관심 물품은, 다른 사용자의 감정 상태에 따라 추천하는 것도 가능하다. 도 13과 같이, 다른 사용자의 감정 상태 화면(1320)이 표시되는 경우, 본인과 감정 동조율이 높은 다른 사용자에게, 관심 물품을 추천하는 것도 가능하다. Such an article of interest may be recommended according to the emotional state of another user. As shown in FIG. 13, when the
또한, 컨텐츠 시청 중 좋은 감정을 사용자가 느끼는 경우, 그에 대한 회상을 할 수 있도록 배경 음악(back ground music)을 저장하고, 이후 추천하는 것도 가능하다. 이러한 추천은 다른 사용자에게 추천하는 것도 가능하다. In addition, when the user feels a good feeling while watching the content, it is also possible to store the background music (back ground music) so that he can recall and recommend it later. This recommendation can also be recommended to other users.
또한, 도 13에 예시된 바와 같이, 네트워크 상의 다른 사용자와 감정 동조율이 높은 장면을 영상으로 추출하고, 이를 상대방에게 전송하는 것도 가능하다.In addition, as illustrated in FIG. 13, it is also possible to extract a scene having a high emotional coordination with another user on the network as an image, and transmit it to the counterpart.
또한, 도 13에 예시된 바와 같이, 네트워크 상의 감정 동조율이 높은 다른 사용자에게, 자동으로 현 사용자가 시청하고 있는 컨텐츠 정보를 전송하는 것도 가능하다.In addition, as illustrated in FIG. 13, it is also possible to automatically transmit content information that the current user is watching to another user having high emotion tuning rate on the network.
이에 따라, 상술한 바에 따라, 컨텐츠를 추천함으로써, 사용자 친화적으로 컨텐츠를 시청할 할 수 있게 된다.Accordingly, as described above, by recommending the content, the content can be viewed in a user-friendly manner.
도 14는 본 발명의 실시예에 따른 영상표시장치의 동작 방법의 순서도이고, 도 15는 도 14의 감정 정보 획득의 일 예를 나타내는 순서도이며, 도 16 내지 도 17은 도 14의 영상표시장치의 동작 방법의의 설명에 참조되는 도면이다. 14 is a flowchart illustrating a method of operating an image display apparatus according to an exemplary embodiment of the present invention, FIG. 15 is a flowchart illustrating an example of acquiring emotion information of FIG. 14, and FIGS. 16 to 17 are views of the image display apparatus of FIG. 14. It is a drawing referred to for description of the operation method.
도면을 참조하여 설명하면, 먼저, 컨텐츠 리스트 또는 영상을 표시한다(S1405). 도 7(a)는 컨텐츠 리스트(710)의 일예를 예시한다. 컨텐츠 리스트는 영화, 드라마, 음악 등 다양한 컨텐츠를 포함할 수 있다. 도 8(a), 도 9(a), 도 10(a), 도 11(a) 등은 영상표시장치에 방송 영상(810,910,1010,1110)이 표시되는 것을 예시한다. 영상은 방송 영상 외에, 외부장치로부터 입력되는 외부 입력 영상 또는 저장부 내에 저장된 영상일 수 있다.Referring to the drawings, first, a content list or an image is displayed (S1405). 7A illustrates an example of the
다음, 감정 정보 적용 모드인 지 여부를 판단한다(S1410). 감정 정보 적용 모드인 경우, 사용자의 감정 정보를 획득한다(S1415).Next, it is determined whether the emotion information application mode (S1410). In the emotion information application mode, the emotion information of the user is acquired (S1415).
감정 정보 적용 모드는, 도 7(b)와 같이 사용자의 감정 정보에 따라 컨텐츠츠를 추천할 지 여부를 나타내는 오브젝트가 표시된 상태에서 사용자의 선택에 의해 진입할 수 있다.The emotion information application mode may be entered by the user's selection in a state where an object indicating whether to recommend the contents according to the emotion information of the user is displayed as shown in FIG. 7B.
또는, 자동으로 사용자의 감성 상태를 파악하다가, 평소와 다른 감정 상태를 보이는 경우, 사용자의 컨텐츠 리스트 보기시 또는 다른 방송 채널 검색시 또는 시청 중인 방송의 종료시 또는 새로운 외부 장치 연결시에, 자동으로 감정 정보 적용 모드로 진입하는 것도 가능하다.Or, if the user's emotional state is automatically detected and the emotion state is different from the usual, the emotion is automatically displayed when viewing the user's content list or searching for another broadcast channel, or when the broadcasting is terminated or when a new external device is connected. It is also possible to enter the information application mode.
감정 정보 획득은, 사용자의 현재 상태를 실시간으로 직접 파악하여 획득하거나, 인접 전자 기기 또는 네트워크 상의 서버로 부터 수신하거나 또는 저장부(175)에 기 저장된 감정 정보룰 호출하는 것도 가능하다.The emotion information may be acquired by directly grasping the current state of the user in real time, received from a server on a neighboring electronic device or a network, or calling the emotion information previously stored in the
도 15는 사용자의 감정 정보를 생성하는 것을 예시한다. 참조하여 설명하면, 먼저, 사용자의 영상 정보, 음성 정보 및 신체 정보 중 적어도 하나를 획득하고(S1510), 획득된 정보에 기초하여 사용자의 감정 정보를 생성하며(S1520), 생성된 감정 정보를 저장한다(S1530).15 illustrates generating emotion information of a user. Referring to this, first, at least one of the user's image information, audio information, and body information is acquired (S1510), the user's emotion information is generated based on the obtained information (S1520), and the generated emotion information is stored. (S1530).
상술한 바와 같이, 사용자의 영상 정보는 영상 촬영부(125)로부터, 음성 정보는 음성 녹음부(135)로부터, 신체 정보는 신체 신호 감지부(145)로부터 획득할 수 있다. 이러한 정보는 제어부(160)에 입력되며, 제어부(160)는 이들의 조합에 의해 사용자의 감정 정보를 생성한다.As described above, the user's image information may be obtained from the
제어부(160)는, 감정 정보 생성시, 상술한 바와 같이, 영상 정보, 음성 정보 및 신체 정보의 가중치를 달리하여 생성할 수 있으며, 복수의 사용자가 있는 경우, 각각의 감정 정보를 생성하고, 이를 참조하여 대표 감정 정보를 산출할 수도 있다. When generating the emotion information, as described above, the
도 16은 복수의 사용자(1620,1630)가 방송 영상(1610)을 시청하는 것을 예시한다. 이때, 도 16(b)와 같이, 사용자의 감정 정보에 따라 컨텐츠를 추천할 지 여부를 나타내는 오브젝트가 표시된 상태에서, 사용자의 선택에 의해 감정 정보 적용 모드로 진입한 경우, 복수 사용자의 대표 감정 정보를 산출할 수 있다. FIG. 16 illustrates a plurality of
한편, 복수의 사용자는, 도 16과 같이 동일한 영상표시장치로부터의 방송 영상(1610)을 시청하는 것 외에, 다른 영상표시장치를 통해 동일한 방송 영상(1610)을 시청하는 사용자도 가능하다. 이러한 사용자들은 도 6에 예시된 네트워크 등을 통해, 각각의 감정 상태를 교환할 수 있으며, 이중 어느 특정 영상표시장치는 이를 취합하여, 대표 감정 상태를 생성할 수도 있다. On the other hand, a plurality of users may be a user watching the
다음, 획득된 감정 정보에 따라, 컨텐츠를 추천한다(S1420).Next, the content is recommended according to the obtained emotion information (S1420).
추천되는 컨텐츠는 영화, 드라마, 스포츠, 다큐멘터리, 이미지 등의 영상 컨텐츠와, 음악 등의 다양한 음성 컨텐츠와, 문서 등의 텍스트 컨텐츠를 포함할 수 있다. The recommended content may include video content such as movies, dramas, sports, documentaries, images, various voice content such as music, and text content such as documents.
도 7(c)는 사용자의 감정에 따라, 컨텐츠 추천 리스트(180)가 디스플레이(730)에 표시되는 것을 예시한다. 도면에서는 하나의 컨텐츠 만을 추천하나, 이에 한정되지 않고 다양한 컨텐츠를 추천하는 것이 가능하다.FIG. 7C illustrates that the
한편, 도 16(c)는 복수의 사용자의 대표 감정에 따라, 컨텐츠 추천 리스트(1650)가 디스플레이(180)에 표시되는 것을 예시한다. Meanwhile, FIG. 16C illustrates that the
한편, 컨텐츠의 추천은, 해당 컨텐츠를 썸네일 영상으로 표시하는 것도 가능하다. 도 8(b)는, 추천 컨텐츠, 즉 추천 방송 영상을 썸네일 영상(820,830)으로 표시하는 것을 예시한다. 한편, 도 10(d)와 같이, 추천 컨텐츠로, 썸네일 영상을 구비하는 썸네일 리스트(1030)를 표시하는 것도 가능하다.On the other hand, the recommendation of the content can also display the content as a thumbnail image. FIG. 8B illustrates displaying the recommended content, that is, the recommended broadcast video, as
한편, 컨텐츠의 추천은, 방송 프로그램 안내(EPG) 정보가 표시되는 경우, 방송 프로그램 안내 정보 중 사용자의 감정 정보에 따라, 소정 방송 프로그램을 추천하는 것도 가능하다. 도 9(b)는, 방송 프로그램 안내(EPG) 정보가 표시된 상태에서, 사용자의 감정 정보에 따라 소정 방송 프로그램들을 추천하는 것을 예시한다. 추천 방송들은 포커싱되어 표시될 수 있다. On the other hand, when the program information (EPG) information is displayed, the content recommendation may recommend a predetermined broadcast program according to the emotion information of the user among the program guide information. FIG. 9B illustrates recommendation of predetermined broadcast programs according to emotion information of a user in a state where broadcast program guide (EPG) information is displayed. Recommended broadcasts may be displayed focused.
이와 같이, 사용자의 감정 상태에 따라 적합한 컨텐츠를 추천함으로써, 사용자의 이용 편의성이 증대되게 된다. As such, by recommending suitable content according to the emotional state of the user, the user's convenience of use is increased.
다음, 추천 컨텐츠를 재생한다(S1425). 추천되는 컨텐츠가 영상인 경우, 해당 영상을 선택하여 이를 재생할 수 있다. 도 8(b), 도 10(b), 도 11(b)에는 해당 방송 영상을 나타내는 썸네일 영상들이 표시되며, 이 중 사용자의 선택에 의해, 선택된 썸네일 영상에 대응하는 방송 영상이 디스플레이(180)에 표시되게 된다.Next, the recommended content is played back (S1425). If the recommended content is an image, the corresponding image may be selected and played. 8 (b), 10 (b) and 11 (b) show thumbnail images representing a corresponding broadcast image, and among these, a broadcast image corresponding to the selected thumbnail image is displayed by the user. Will be displayed on.
한편, 재생되는 컨텐츠는, 영화, 드라마, 스포츠, 다큐멘터리, 이미지 등의 영상 컨텐츠외에, 음악 등의 다양한 음성 컨텐츠 또는 문서 등의 텍스트 컨텐츠 등도 가능하다. On the other hand, the content to be reproduced may be a variety of audio contents such as music, text contents such as documents, etc., in addition to video contents such as movies, dramas, sports, documentaries, and images.
이에 의해, 사용자는 간단하게, 사용자의 감정 상태에 적합한 컨텐츠를 취사 선택하여 시청하거나 청취할 수 있게 된다.Accordingly, the user can simply select and watch or listen to content suitable for the emotional state of the user.
한편, 컨텐츠 재생시, 재생되는 컨텐츠의 제목, 종류, 재생 시간, 컨텐츠 내의 장소, 컨텐츠 내의 배우, 배우의 최근 뉴스, 컨텐츠 내의 상품 중 적어도 하나를 포함하는 컨텐츠 정보가 함께 표시될 수도 있다. 이러한 컨텐츠 정보는, 상술한 저장부 내의 감정 종류 테이블(510)을 이용하여 저장된 것으로서, 재생되는 컨텐츠가 관심 컨텐츠로 등록된 것인 경우에 표시될 수도 있다. Meanwhile, when the content is played back, content information including at least one of a title, a type, a playback time, a place in the content, an actor in the content, a recent news of the actor, and a product in the content may be displayed together. Such content information is stored using the emotion type table 510 in the above-described storage unit, and may be displayed when the reproduced content is registered as the content of interest.
다음, 타 사용자 또는 주변 전자기기로의 추천 모드인 지 여부를 판단하고(S1430), 해당하는 경우, 타 사용자 또는 주변 전자 기기에 소정 컨텐츠를 추천한다(S1435).Next, it is determined whether the user is in the recommended mode to another user or the surrounding electronic device (S1430), and if applicable, predetermined content is recommended to the other user or the surrounding electronic device (S1435).
영상표시장치(100)에서의 컨텐츠 추천 외에, 네트워크 또는 네트워크에 링크된 다른 사용자에게 컨텐츠 추천하는 것도 가능하다. In addition to the content recommendation in the
도 13(a)는 네트워크 상의 다른 사용자를 나타내는 오브젝트와, 각 사용자의 감정 상태를 나타내는 오브젝트가 디스플레이(180)에 표시되는 것을 예시한다. 이때, 본인의 감정 상태를 나타내는 오브젝트가 디스플레이(180)에 표시되는 것도 가능하다. 이에 따라, 다른 사용자와 본인과의 감정 상태의 일치 여부를 손쉽게 확인할 수 있으며, 본인이 선호하는 컨텐츠를 다른 사용자에게 추천시 이를 활용할 수 있게 된다.FIG. 13A illustrates that an object representing another user on a network and an object representing an emotional state of each user are displayed on the
도 13(b)는, 사용자 본인이 선택한 컨텐츠(1340)를 다른 사용자에게 추천하는 것을 예시한다. 추천의 예로는, 컨텐츠 항목을 다른 사용자에게 전송하거나, 아예 컨텐츠 자체를 전송하는 것도 가능하다.FIG. 13B illustrates that the user selects the
한편, 도 12와 같이, 네트워크 상의 다른 사용자로부터 사용자 본인에게 소정 컨텐츠가 추천되는 것을 표시하는 것도 가능하다.On the other hand, as shown in Figure 12, it is also possible to display that the predetermined content is recommended to the user himself from another user on the network.
한편, 도 17은 영상표시장치의 주변 전자기기(예를 들어, 노트북 컴퓨터)에 소정 컨텐츠를 추천하는 것을 예시한다. 17 illustrates recommendation of predetermined content to peripheral electronic devices (eg, notebook computers) of the image display apparatus.
도 17(a)와 같이, 방송 영상(1710)이 표시된 상태에서, 영상표시장치 주변의 통신 가능한 주변 기기 목록(1720)이 표시될 수 있다. As illustrated in FIG. 17A, when the
도 17(b)와 같이, 사용자(1750)가 다양한 컨텐츠들 중 어느 하나의 컨텐츠(1740)를 선택하는 경우, 디스플레이(180)의 일부에, 어느 하나의 전자기기(1700)에 추천할 지 여부를 나타내는 오브젝트(1730)가 표시될 수 있다. 이에 의해, 사용자는 인접 전자기기에 컨텐츠 추천을 수행할 수 있다.As shown in FIG. 17B, when the
한편, 역으로 인접 전자기기(1700)로부터 영상표시장치로의 컨텐츠 추천도 가능하다.On the other hand, it is also possible to recommend content from the adjacent
이와 같이, 사용자의 감정 정보를 기반으로하여 컨텐츠의 추천이 가능함으로써, 다른 전자기기 또는 다른 사용자와의 상호 감정 기반의 교류가 가능할 수 있게 된다. 이에 따라, 사용자의 이용 편의성이 증대될 수 있게 된다.As described above, the content can be recommended based on the emotion information of the user, thereby enabling mutual emotion-based exchange with other electronic devices or other users. Accordingly, the user's ease of use can be increased.
본 발명에 따른 영상표시장치 및 그 동작방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.The image display apparatus and the operation method thereof according to the present invention are not limited to the configuration and method of the embodiments described above, but the embodiments may be applied to all or some of the embodiments May be selectively combined.
한편, 본 발명의 영상표시장치의 동작방법은 영상표시장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.Meanwhile, the operation method of the image display apparatus of the present invention can be implemented as a code that can be read by a processor on a recording medium readable by a processor included in the image display apparatus. The processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and may also be implemented in the form of a carrier wave such as transmission over the Internet. . The processor-readable recording medium can also be distributed over network coupled computer systems so that the processor-readable code is stored and executed in a distributed fashion.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.
Claims (20)
사용자의 감정 정보를 획득하는 단계; 및
상기 사용자의 감정 정보에 따라, 적어도 하나의 소정 컨텐츠를 추천하는 단계;를 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.Displaying a content list or an image;
Obtaining emotion information of the user; And
Recommending at least one predetermined content according to the emotion information of the user.
상기 추천 단계는,
상기 컨텐츠 리스트 또는 영상이 표시된 상태에서, 상기 사용자의 감정 정보에 따라 상기 적어도 하나의 컨텐츠를 썸네일 영상으로 표시하여 추천하는 것을 특징으로 하는 영상표시장치의 동작 방법.The method of claim 1,
The recommendation step is
And displaying the at least one content as a thumbnail image in accordance with the emotion information of the user while the content list or the image is displayed.
소정 네트워크에 접속된 상태에서, 상기 접속된 네트워크 또는 상기 접속된 네트워크에 링크된 다른 네트워크의, 다른 사용자 또는 컨텐츠 제공자로부터 추천된 적어도 하나의 컨텐츠를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.The method of claim 1,
Displaying at least one content recommended from another user or a content provider of the connected network or another network linked to the connected network while connected to a predetermined network; Operation method of display device.
소정 네트워크에 접속된 상태에서, 상기 접속된 네트워크 또는 상기 접속된 네트워크에 링크된 다른 네트워크의, 다른 사용자에게 적어도 하나의 컨텐츠를 추천하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.The method of claim 1,
Recommending at least one content to another user of the connected network or another network linked to the connected network while connected to a predetermined network. .
인접 전자기기로부터 상기 영상표시장치로 추천된 적어도 하나의 컨텐츠를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.The method of claim 1,
And displaying at least one content recommended by the image display apparatus from a neighboring electronic device.
상기 사용자의 감정 정보에 따른 상기 적어도 하나의 컨텐츠를 인접 전자기기로 추천하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.The method of claim 1,
Recommending the at least one content according to the emotion information of the user to an adjacent electronic device.
상기 추천된 적어도 하나의 컨텐츠를 선택하여 재생하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.The method of claim 1,
And selecting and playing the recommended one or more contents.
사용자의 감정 정보를 나타내는 오브젝트를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.The method of claim 1,
And displaying an object representing the emotion information of the user.
소정 네트워크에 접속된 상태에서, 상기 네트워크 또는 상기 네트워크에 링크된 다른 네트워크의, 적어도 하나의 다른 사용자의 감정 정보를 나타내는 오브젝트를 표시하는 단계;를 더 포함하는 것을 특징으로 하는 영상표시장치의 동작 방법.The method of claim 1,
Displaying an object representing emotion information of at least one other user of the network or another network linked to the network while connected to a predetermined network; .
상기 사용자의 감정 정보를 획득하는 단계는,
상기 사용자의 영상 정보, 음성 정보 및 신체 정보 중 적어도 하나에 기초하여 감정 정보를 생성하는 것을 특징으로 하는 영상표시장치의 동작 방법.The method of claim 1,
Acquiring the emotion information of the user,
And generating emotion information based on at least one of the user's image information, voice information, and body information.
상기 추천 단계는,
방송 프로그램 안내 정보가 표시되는 경우, 방송 프로그램 안내 정보 중 상기 사용자의 감정 정보에 따라, 소정 방송 프로그램을 추천하는 것을 특징으로 하는 영상표시장치의 동작 방법.The method of claim 1,
The recommendation step is
And when the broadcast program guide information is displayed, recommending a predetermined broadcast program according to the emotion information of the user among the broadcast program guide information.
사용자의 감정 정보에 따라 적어도 하나의 소정 컨텐츠를 추천하도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 영상표시장치.A display for displaying a content list or an image; And
And a controller configured to recommend at least one predetermined content according to the emotion information of the user.
상기 제어부는,
상기 컨텐츠 리스트 또는 영상이 표시된 상태에서, 상기 사용자의 감정 정보에 따라 상기 적어도 하나의 컨텐츠를 썸네일 영상으로 표시하여 추천하도록 제어하는 것을 특징으로 하는 영상표시장치.The method of claim 12,
The control unit,
And displaying the at least one content as a thumbnail image in accordance with the emotion information of the user while the content list or the image is displayed.
네크워크와 데이터를 송신 또는 수신하는 네트워크 인터페이스부;를 더 포함하고,
상기 제어부는,
접속된 네트워크 또는 상기 접속된 네트워크에 링크된 다른 네트워크의, 다른 사용자로부터 추천된 적어도 하나의 컨텐츠를 표시하도록 제어하는 것을 특징으로 하는 영상표시장치.The method of claim 12,
It further comprises a network interface unit for transmitting or receiving the network and data,
The control unit,
And display at least one content recommended by another user of the connected network or another network linked to the connected network.
네크워크와 데이터를 송신 또는 수신하는 네트워크 인터페이스부;를 더 포함하고,
상기 제어부는,
상기 접속된 네트워크 또는 상기 접속된 네트워크에 링크된 다른 네트워크의, 다른 사용자에게 적어도 하나의 컨텐츠를 추천하도록 제어하는 것을 특징으로 하는 영상표시장치.The method of claim 12,
It further comprises a network interface unit for transmitting or receiving the network and data,
The control unit,
And controlling recommendation of at least one content to other users of the connected network or another network linked to the connected network.
상기 제어부는,
인접 전자기기로부터 추천된 적어도 하나의 컨텐츠를 표시하도록 제어하는 것을 특징으로 하는 영상표시장치. The method of claim 12,
The control unit,
And display at least one content recommended from a neighboring electronic device.
상기 제어부는,
상기 사용자의 감정 정보에 따른 상기 적어도 하나의 컨텐츠를 인접 전자기기로 추천하도록 제어하는 것을 특징으로 하는 영상표시장치. The method of claim 12,
The control unit,
And controlling the recommendation of the at least one content according to the emotion information of the user to an adjacent electronic device.
상기 제어부는,
상기 사용자의 감정 정보를 나타내는 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 영상표시장치.The method of claim 12,
The control unit,
And display an object representing the emotion information of the user.
네크워크와 데이터를 송신 또는 수신하는 네트워크 인터페이스부;를 더 포함하고,
상기 제어부는,
네트워크에 접속된 상태에서, 상기 네트워크 또는 상기 네트워크에 링크된 다른 네트워크의, 적어도 하나의 다른 사용자의 감정 정보를 나타내는 오브젝트를 표시하도록 제어하는 것을 특징으로 하는 영상표시장치. The method of claim 12,
It further comprises a network interface unit for transmitting or receiving the network and data,
The control unit,
And controlling to display an object representing emotion information of at least one other user of the network or another network linked to the network while connected to the network.
사용자의 신체의 적어도 일부를 촬영하는 영상 촬영부;
상기 사용자의 음성을 녹음하는 음성 녹음부;
상기 사용자의 신체 신호를 감지하는 신체 신호 감지부;를 더 포함하며,
상기 제어부는,
사용자의 촬영된 영상으로부터의 영상 정보, 상기 녹음된 음성으로부터의 음성 정보, 상기 감지된 신체 신호로부터의 신체 정보 중 적어도 하나에 기초하여, 상기 사용자의 감정 정보를 생성하는 것 특징으로 하는 영상표시장치.The method of claim 12,
An image photographing unit photographing at least a part of a user's body;
A voice recording unit for recording the voice of the user;
Further comprising: a body signal detecting unit for detecting a body signal of the user,
The control unit,
And based on at least one of image information from a photographed image of a user, voice information from the recorded voice, and body information from the sensed body signal, generating image information of the user. .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100019141A KR101708682B1 (en) | 2010-03-03 | 2010-03-03 | Apparatus for displaying image and and method for operationg the same |
US12/959,557 US8704760B2 (en) | 2009-12-04 | 2010-12-03 | Image display apparatus capable of recommending contents according to emotional information |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100019141A KR101708682B1 (en) | 2010-03-03 | 2010-03-03 | Apparatus for displaying image and and method for operationg the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110100061A true KR20110100061A (en) | 2011-09-09 |
KR101708682B1 KR101708682B1 (en) | 2017-02-21 |
Family
ID=44081533
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100019141A KR101708682B1 (en) | 2009-12-04 | 2010-03-03 | Apparatus for displaying image and and method for operationg the same |
Country Status (2)
Country | Link |
---|---|
US (1) | US8704760B2 (en) |
KR (1) | KR101708682B1 (en) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101336338B1 (en) * | 2012-01-17 | 2013-12-06 | 주식회사 포키비언 | Image displaying device and method for determining watching state of viewer based on image inputted from camera |
KR20140089454A (en) * | 2013-01-04 | 2014-07-15 | 삼성전자주식회사 | Method and apparatus for providing emotion information of user in an electronic device |
WO2014119900A1 (en) * | 2013-01-29 | 2014-08-07 | Lee Jong Sik | Smart device having user interface based on human emotions or inclinations, and user interface method |
KR20140140310A (en) * | 2013-05-29 | 2014-12-09 | 엘지전자 주식회사 | Display device and the method for controlling the same |
WO2017078205A1 (en) * | 2015-11-04 | 2017-05-11 | 엘지전자 주식회사 | Mobile terminal and method of controlling same |
KR20180062221A (en) * | 2016-11-30 | 2018-06-08 | 주식회사 트라이캐치미디어 | Game Managing Method through Face Recognition of Game Player |
KR101964438B1 (en) * | 2018-07-09 | 2019-04-01 | 넷마블 주식회사 | Method and apparatus for providing content service |
KR20200019801A (en) * | 2018-08-14 | 2020-02-25 | 대진대학교 산학협력단 | System To Provide Brand Value and Experience Using Autonomous Vehicle Sharing Platform |
KR20200020014A (en) * | 2012-01-10 | 2020-02-25 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Consumption of content with reactions of an individual |
Families Citing this family (161)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110283189A1 (en) * | 2010-05-12 | 2011-11-17 | Rovi Technologies Corporation | Systems and methods for adjusting media guide interaction modes |
US20110279359A1 (en) * | 2010-05-12 | 2011-11-17 | Rovi Technologies Corporation | Systems and methods for monitoring motion sensor signals and adjusting interaction modes |
US9313318B2 (en) * | 2010-05-26 | 2016-04-12 | Sony Corporation | Adaptive media object reproduction based on social context |
US10111611B2 (en) | 2010-06-07 | 2018-10-30 | Affectiva, Inc. | Personal emotional profile generation |
US11232290B2 (en) | 2010-06-07 | 2022-01-25 | Affectiva, Inc. | Image analysis using sub-sectional component evaluation to augment classifier usage |
US11318949B2 (en) | 2010-06-07 | 2022-05-03 | Affectiva, Inc. | In-vehicle drowsiness analysis using blink rate |
US11587357B2 (en) | 2010-06-07 | 2023-02-21 | Affectiva, Inc. | Vehicular cognitive data collection with multiple devices |
US10482333B1 (en) | 2017-01-04 | 2019-11-19 | Affectiva, Inc. | Mental state analysis using blink rate within vehicles |
US11430561B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Remote computing analysis for cognitive state data metrics |
US11056225B2 (en) | 2010-06-07 | 2021-07-06 | Affectiva, Inc. | Analytics for livestreaming based on image analysis within a shared digital environment |
US11073899B2 (en) | 2010-06-07 | 2021-07-27 | Affectiva, Inc. | Multidevice multimodal emotion services monitoring |
US11292477B2 (en) | 2010-06-07 | 2022-04-05 | Affectiva, Inc. | Vehicle manipulation using cognitive state engineering |
US11430260B2 (en) | 2010-06-07 | 2022-08-30 | Affectiva, Inc. | Electronic display viewing verification |
US11700420B2 (en) | 2010-06-07 | 2023-07-11 | Affectiva, Inc. | Media manipulation using cognitive state metric analysis |
US10204625B2 (en) | 2010-06-07 | 2019-02-12 | Affectiva, Inc. | Audio analysis learning using video data |
US11067405B2 (en) | 2010-06-07 | 2021-07-20 | Affectiva, Inc. | Cognitive state vehicle navigation based on image processing |
US11393133B2 (en) | 2010-06-07 | 2022-07-19 | Affectiva, Inc. | Emoji manipulation using machine learning |
US10614289B2 (en) | 2010-06-07 | 2020-04-07 | Affectiva, Inc. | Facial tracking with classifiers |
US11887352B2 (en) | 2010-06-07 | 2024-01-30 | Affectiva, Inc. | Live streaming analytics within a shared digital environment |
US10869626B2 (en) | 2010-06-07 | 2020-12-22 | Affectiva, Inc. | Image analysis for emotional metric evaluation |
US11704574B2 (en) | 2010-06-07 | 2023-07-18 | Affectiva, Inc. | Multimodal machine learning for vehicle manipulation |
US11657288B2 (en) | 2010-06-07 | 2023-05-23 | Affectiva, Inc. | Convolutional computing using multilayered analysis engine |
US10799168B2 (en) | 2010-06-07 | 2020-10-13 | Affectiva, Inc. | Individual data sharing across a social network |
US10401860B2 (en) | 2010-06-07 | 2019-09-03 | Affectiva, Inc. | Image analysis for two-sided data hub |
US11017250B2 (en) | 2010-06-07 | 2021-05-25 | Affectiva, Inc. | Vehicle manipulation using convolutional image processing |
US10592757B2 (en) | 2010-06-07 | 2020-03-17 | Affectiva, Inc. | Vehicular cognitive data collection using multiple devices |
US10517521B2 (en) | 2010-06-07 | 2019-12-31 | Affectiva, Inc. | Mental state mood analysis using heart rate collection based on video imagery |
US11935281B2 (en) | 2010-06-07 | 2024-03-19 | Affectiva, Inc. | Vehicular in-cabin facial tracking using machine learning |
US11151610B2 (en) | 2010-06-07 | 2021-10-19 | Affectiva, Inc. | Autonomous vehicle control using heart rate collection based on video imagery |
US9723992B2 (en) | 2010-06-07 | 2017-08-08 | Affectiva, Inc. | Mental state analysis using blink rate |
US10074024B2 (en) | 2010-06-07 | 2018-09-11 | Affectiva, Inc. | Mental state analysis using blink rate for vehicles |
US10897650B2 (en) | 2010-06-07 | 2021-01-19 | Affectiva, Inc. | Vehicle content recommendation using cognitive states |
US11410438B2 (en) | 2010-06-07 | 2022-08-09 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation in vehicles |
US9959549B2 (en) | 2010-06-07 | 2018-05-01 | Affectiva, Inc. | Mental state analysis for norm generation |
US10143414B2 (en) | 2010-06-07 | 2018-12-04 | Affectiva, Inc. | Sporadic collection with mobile affect data |
US10843078B2 (en) | 2010-06-07 | 2020-11-24 | Affectiva, Inc. | Affect usage within a gaming context |
US10627817B2 (en) | 2010-06-07 | 2020-04-21 | Affectiva, Inc. | Vehicle manipulation using occupant image analysis |
US11823055B2 (en) | 2019-03-31 | 2023-11-21 | Affectiva, Inc. | Vehicular in-cabin sensing using machine learning |
US9934425B2 (en) | 2010-06-07 | 2018-04-03 | Affectiva, Inc. | Collection of affect data from multiple mobile devices |
US10922567B2 (en) | 2010-06-07 | 2021-02-16 | Affectiva, Inc. | Cognitive state based vehicle manipulation using near-infrared image processing |
US11484685B2 (en) | 2010-06-07 | 2022-11-01 | Affectiva, Inc. | Robotic control using profiles |
US10474875B2 (en) | 2010-06-07 | 2019-11-12 | Affectiva, Inc. | Image analysis using a semiconductor processor for facial evaluation |
US10108852B2 (en) | 2010-06-07 | 2018-10-23 | Affectiva, Inc. | Facial analysis to detect asymmetric expressions |
US10628741B2 (en) | 2010-06-07 | 2020-04-21 | Affectiva, Inc. | Multimodal machine learning for emotion metrics |
US10289898B2 (en) | 2010-06-07 | 2019-05-14 | Affectiva, Inc. | Video recommendation via affect |
US10796176B2 (en) | 2010-06-07 | 2020-10-06 | Affectiva, Inc. | Personal emotional profile generation for vehicle manipulation |
US11465640B2 (en) | 2010-06-07 | 2022-10-11 | Affectiva, Inc. | Directed control transfer for autonomous vehicles |
US10911829B2 (en) | 2010-06-07 | 2021-02-02 | Affectiva, Inc. | Vehicle video recommendation via affect |
US11511757B2 (en) | 2010-06-07 | 2022-11-29 | Affectiva, Inc. | Vehicle manipulation with crowdsourcing |
US10779761B2 (en) | 2010-06-07 | 2020-09-22 | Affectiva, Inc. | Sporadic collection of affect data within a vehicle |
US9329767B1 (en) * | 2010-06-08 | 2016-05-03 | Google Inc. | User-specific customization based on characteristics of user-interaction |
SG2014013619A (en) * | 2010-10-21 | 2014-07-30 | Holybrain Bvba | Method and apparatus for neuropsychological modeling of human experience and purchasing behavior |
WO2012068193A2 (en) * | 2010-11-17 | 2012-05-24 | Affectiva, Inc. | Sharing affect across a social network |
US9244545B2 (en) | 2010-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Touch and stylus discrimination and rejection for contact sensitive computing devices |
WO2012089906A1 (en) * | 2010-12-30 | 2012-07-05 | Nokia Corporation | Method, apparatus and computer program product for emotion detection |
US9201520B2 (en) | 2011-02-11 | 2015-12-01 | Microsoft Technology Licensing, Llc | Motion and context sharing for pen-based computing inputs |
US20130013685A1 (en) * | 2011-04-04 | 2013-01-10 | Bagooba, Inc. | Social Networking Environment with Representation of a Composite Emotional Condition for a User and/or Group of Users |
US8845429B2 (en) * | 2011-05-27 | 2014-09-30 | Microsoft Corporation | Interaction hint for interactive video presentations |
US20120324491A1 (en) * | 2011-06-17 | 2012-12-20 | Microsoft Corporation | Video highlight identification based on environmental sensing |
US9015746B2 (en) | 2011-06-17 | 2015-04-21 | Microsoft Technology Licensing, Llc | Interest-based video streams |
KR101839406B1 (en) * | 2011-09-27 | 2018-03-19 | 삼성전자 주식회사 | Display apparatus and control method thereof |
JP5857722B2 (en) * | 2011-12-20 | 2016-02-10 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
WO2014002415A1 (en) * | 2012-06-28 | 2014-01-03 | パナソニック株式会社 | Imaging device |
KR101978743B1 (en) * | 2012-10-19 | 2019-08-29 | 삼성전자주식회사 | Display device, remote controlling device for controlling the display device and method for controlling a display device, server and remote controlling device |
KR101984590B1 (en) * | 2012-11-14 | 2019-05-31 | 엘지전자 주식회사 | Display device and controlling method thereof |
US10528135B2 (en) | 2013-01-14 | 2020-01-07 | Ctrl-Labs Corporation | Wearable muscle interface systems, devices and methods that interact with content displayed on an electronic display |
KR20140096935A (en) * | 2013-01-29 | 2014-08-06 | 이종식 | Smart device having a user interface based on human emotion or tendency and user interface method |
KR102330889B1 (en) | 2013-02-22 | 2021-11-26 | 페이스북 테크놀로지스, 엘엘씨 | Methods and devices that combine muscle activity sensor signals and inertial sensor signals for gesture-based control |
US11483432B2 (en) | 2013-03-06 | 2022-10-25 | David A. Taylor | Media sharing and communication system |
US11503378B2 (en) | 2013-03-06 | 2022-11-15 | David A. Taylor | Media sharing and communication system |
US11831960B2 (en) | 2013-03-06 | 2023-11-28 | David A. Taylor | Media sharing and communication system |
US10694255B2 (en) * | 2013-03-06 | 2020-06-23 | David A. Taylor | Media sharing and communication system |
US11457284B2 (en) | 2013-03-06 | 2022-09-27 | David A. Taylor | Media sharing and communication system |
US11582526B2 (en) | 2013-03-06 | 2023-02-14 | David A. Taylor | Media sharing and communication system |
US11456982B2 (en) | 2013-03-06 | 2022-09-27 | David A. Taylor | Media sharing and communication system |
US11483624B2 (en) | 2013-03-06 | 2022-10-25 | David A. Taylor | Media sharing and communication system |
WO2014186370A1 (en) | 2013-05-13 | 2014-11-20 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices that accommodate different user forms |
US20150029087A1 (en) | 2013-07-24 | 2015-01-29 | United Video Properties, Inc. | Methods and systems for adjusting power consumption in a user device based on brain activity |
US20150124566A1 (en) | 2013-10-04 | 2015-05-07 | Thalmic Labs Inc. | Systems, articles and methods for wearable electronic devices employing contact sensors |
US11921471B2 (en) | 2013-08-16 | 2024-03-05 | Meta Platforms Technologies, Llc | Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source |
US11426123B2 (en) | 2013-08-16 | 2022-08-30 | Meta Platforms Technologies, Llc | Systems, articles and methods for signal routing in wearable electronic devices that detect muscle activity of a user using a set of discrete and separately enclosed pod structures |
US10042422B2 (en) | 2013-11-12 | 2018-08-07 | Thalmic Labs Inc. | Systems, articles, and methods for capacitive electromyography sensors |
JP5787949B2 (en) * | 2013-08-28 | 2015-09-30 | ヤフー株式会社 | Information processing apparatus, identification method, and identification program |
US10325457B2 (en) | 2013-08-29 | 2019-06-18 | Sony Corporation | Wristband-type information processing device, information processing system, and information processing method |
US9788789B2 (en) | 2013-08-30 | 2017-10-17 | Thalmic Labs Inc. | Systems, articles, and methods for stretchable printed circuit boards |
US9372535B2 (en) * | 2013-09-06 | 2016-06-21 | Thalmic Labs Inc. | Systems, articles, and methods for electromyography-based human-electronics interfaces |
US9483123B2 (en) | 2013-09-23 | 2016-11-01 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
EP3055754B1 (en) * | 2013-10-11 | 2023-08-02 | InterDigital Patent Holdings, Inc. | Gaze-driven augmented reality |
KR102268052B1 (en) * | 2013-11-11 | 2021-06-22 | 삼성전자주식회사 | Display apparatus, server apparatus and user interface screen providing method thereof |
KR20150055528A (en) * | 2013-11-13 | 2015-05-21 | 삼성전자주식회사 | display apparatus and user interface screen providing method thereof |
GB201320485D0 (en) | 2013-11-20 | 2014-01-01 | Realeyes O | Method of benchmarking media content based on viewer behaviour |
WO2015081113A1 (en) | 2013-11-27 | 2015-06-04 | Cezar Morun | Systems, articles, and methods for electromyography sensors |
JP6356963B2 (en) * | 2013-12-27 | 2018-07-11 | 株式会社ニコン | Machinery |
WO2015123445A1 (en) | 2014-02-14 | 2015-08-20 | Thalmic Labs Inc. | Systems, articles, and methods for elastic electrical cables and wearable electronic devices employing same |
US9681166B2 (en) * | 2014-02-25 | 2017-06-13 | Facebook, Inc. | Techniques for emotion detection and content delivery |
US20150271571A1 (en) * | 2014-03-18 | 2015-09-24 | Vixs Systems, Inc. | Audio/video system with interest-based recommendations and methods for use therewith |
US9449221B2 (en) * | 2014-03-25 | 2016-09-20 | Wipro Limited | System and method for determining the characteristics of human personality and providing real-time recommendations |
US10199008B2 (en) | 2014-03-27 | 2019-02-05 | North Inc. | Systems, devices, and methods for wearable electronic devices as state machines |
US10368802B2 (en) | 2014-03-31 | 2019-08-06 | Rovi Guides, Inc. | Methods and systems for selecting media guidance applications based on a position of a brain monitoring user device |
CN105163139B (en) * | 2014-05-28 | 2018-06-01 | 青岛海尔电子有限公司 | Information-pushing method, Information Push Server and smart television |
US9531708B2 (en) | 2014-05-30 | 2016-12-27 | Rovi Guides, Inc. | Systems and methods for using wearable technology for biometric-based recommendations |
US9727161B2 (en) | 2014-06-12 | 2017-08-08 | Microsoft Technology Licensing, Llc | Sensor correlation for pen and touch-sensitive computing device interaction |
US9870083B2 (en) * | 2014-06-12 | 2018-01-16 | Microsoft Technology Licensing, Llc | Multi-device multi-user sensor correlation for pen and computing device interaction |
US9880632B2 (en) | 2014-06-19 | 2018-01-30 | Thalmic Labs Inc. | Systems, devices, and methods for gesture identification |
KR20160004851A (en) * | 2014-07-04 | 2016-01-13 | 지유철 | A Control Station Utilizing User's State Information Provided by a Mobile Device and a Control System Including the Same |
US9807221B2 (en) | 2014-11-28 | 2017-10-31 | Thalmic Labs Inc. | Systems, devices, and methods effected in response to establishing and/or terminating a physical communications link |
KR20160065670A (en) * | 2014-12-01 | 2016-06-09 | 삼성전자주식회사 | Method and device for providing contents |
US10764424B2 (en) | 2014-12-05 | 2020-09-01 | Microsoft Technology Licensing, Llc | Intelligent digital assistant alarm system for application collaboration with notification presentation |
US9754416B2 (en) * | 2014-12-23 | 2017-09-05 | Intel Corporation | Systems and methods for contextually augmented video creation and sharing |
CN107210830B (en) * | 2015-02-05 | 2020-01-10 | 华为技术有限公司 | Object presenting and recommending method and device based on biological characteristics |
US9852355B2 (en) * | 2015-04-21 | 2017-12-26 | Thales Avionics, Inc. | Facial analysis for vehicle entertainment system metrics |
US10078435B2 (en) | 2015-04-24 | 2018-09-18 | Thalmic Labs Inc. | Systems, methods, and computer program products for interacting with electronically displayed presentation materials |
US10191920B1 (en) * | 2015-08-24 | 2019-01-29 | Google Llc | Graphical image retrieval based on emotional state of a user of a computing device |
KR20170025400A (en) * | 2015-08-28 | 2017-03-08 | 삼성전자주식회사 | Display apparatus and control method thereof |
WO2017058733A1 (en) * | 2015-09-29 | 2017-04-06 | BinaryVR, Inc. | Head-mounted display with facial expression detecting capability |
US10021459B2 (en) * | 2015-10-07 | 2018-07-10 | Oath Inc. | Computerized system and method for determining media based on selected motion video inputs |
CN105245957A (en) * | 2015-11-05 | 2016-01-13 | 京东方科技集团股份有限公司 | Video recommendation method, device and system |
FR3048522B1 (en) | 2016-03-02 | 2018-03-16 | Bull Sas | SYSTEM FOR SUGGESTION OF A LIST OF ACTIONS TO A USER AND ASSOCIATED METHOD |
US10990174B2 (en) | 2016-07-25 | 2021-04-27 | Facebook Technologies, Llc | Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors |
US20190121306A1 (en) | 2017-10-19 | 2019-04-25 | Ctrl-Labs Corporation | Systems and methods for identifying biological structures associated with neuromuscular source signals |
US11216069B2 (en) | 2018-05-08 | 2022-01-04 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
CN106484760B (en) * | 2016-08-10 | 2020-06-23 | 网易传媒科技(北京)有限公司 | News recommendation method and equipment |
US11755172B2 (en) * | 2016-09-20 | 2023-09-12 | Twiin, Inc. | Systems and methods of generating consciousness affects using one or more non-biological inputs |
WO2018061346A1 (en) * | 2016-09-27 | 2018-04-05 | ソニー株式会社 | Information processing device |
KR102252298B1 (en) * | 2016-10-21 | 2021-05-14 | 삼성전자주식회사 | Method and apparatus for recognizing facial expression |
US9866904B1 (en) | 2016-11-10 | 2018-01-09 | Roku, Inc. | Interaction recognition of a television content interaction device |
JP6846606B2 (en) * | 2016-11-28 | 2021-03-24 | パナソニックIpマネジメント株式会社 | Video output device and video output method |
US10631029B1 (en) * | 2017-01-26 | 2020-04-21 | Cox Communications, Inc. | Viewing recommendations based on sensor data |
US10922566B2 (en) | 2017-05-09 | 2021-02-16 | Affectiva, Inc. | Cognitive state evaluation for vehicle navigation |
CN107193571A (en) | 2017-05-31 | 2017-09-22 | 广东欧珀移动通信有限公司 | Method, mobile terminal and storage medium that interface is pushed |
US20190138095A1 (en) * | 2017-11-03 | 2019-05-09 | Qualcomm Incorporated | Descriptive text-based input based on non-audible sensor data |
US20190172458A1 (en) | 2017-12-01 | 2019-06-06 | Affectiva, Inc. | Speech analysis for cross-language mental state identification |
US10636419B2 (en) * | 2017-12-06 | 2020-04-28 | Sony Interactive Entertainment Inc. | Automatic dialogue design |
US11150730B1 (en) | 2019-04-30 | 2021-10-19 | Facebook Technologies, Llc | Devices, systems, and methods for controlling computing devices via neuromuscular signals of users |
US10937414B2 (en) | 2018-05-08 | 2021-03-02 | Facebook Technologies, Llc | Systems and methods for text input using neuromuscular information |
US11481030B2 (en) | 2019-03-29 | 2022-10-25 | Meta Platforms Technologies, Llc | Methods and apparatus for gesture detection and classification |
US11961494B1 (en) | 2019-03-29 | 2024-04-16 | Meta Platforms Technologies, Llc | Electromagnetic interference reduction in extended reality environments |
US11907423B2 (en) | 2019-11-25 | 2024-02-20 | Meta Platforms Technologies, Llc | Systems and methods for contextualized interactions with an environment |
US11493993B2 (en) | 2019-09-04 | 2022-11-08 | Meta Platforms Technologies, Llc | Systems, methods, and interfaces for performing inputs based on neuromuscular control |
US10592001B2 (en) | 2018-05-08 | 2020-03-17 | Facebook Technologies, Llc | Systems and methods for improved speech recognition using neuromuscular information |
JP7134751B2 (en) * | 2018-07-04 | 2022-09-12 | シャープ株式会社 | Communication terminal, content server, content recommendation system, control device, and control method executed by communication terminal |
US10842407B2 (en) | 2018-08-31 | 2020-11-24 | Facebook Technologies, Llc | Camera-guided interpretation of neuromuscular signals |
KR102579452B1 (en) * | 2018-09-05 | 2023-09-15 | 삼성전자주식회사 | Image display device and operating method for the same |
CN112789577B (en) | 2018-09-20 | 2024-04-05 | 元平台技术有限公司 | Neuromuscular text input, writing and drawing in augmented reality systems |
US11097078B2 (en) | 2018-09-26 | 2021-08-24 | Cary Kochman | Method and system for facilitating the transition between a conscious and unconscious state |
CN113423341A (en) | 2018-11-27 | 2021-09-21 | 脸谱科技有限责任公司 | Method and apparatus for automatic calibration of wearable electrode sensor system |
CN109842813A (en) * | 2019-01-03 | 2019-06-04 | 百度在线网络技术(北京)有限公司 | User interface interaction method, apparatus, equipment and storage medium |
US20200275875A1 (en) * | 2019-02-28 | 2020-09-03 | Social Health Innovations, Inc. | Method for deriving and storing emotional conditions of humans |
US11887383B2 (en) | 2019-03-31 | 2024-01-30 | Affectiva, Inc. | Vehicle interior object management |
FR3094856B1 (en) | 2019-04-02 | 2021-04-30 | Unique Entertainment Experience | PROCESS FOR GENERATING A MULTIMEDIA ELEMENT DURING PLAYING A MEDIA, TERMINAL, SYSTEM |
CN112034977B (en) * | 2019-06-04 | 2022-07-19 | 陈涛 | Method for MR intelligent glasses content interaction, information input and recommendation technology application |
CN113924542A (en) * | 2019-06-14 | 2022-01-11 | 惠普发展公司, 有限责任合伙企业 | Headset signal for determining emotional state |
CN110353705B (en) * | 2019-08-01 | 2022-10-25 | 秒针信息技术有限公司 | Method and device for recognizing emotion |
KR102192027B1 (en) * | 2019-12-27 | 2020-12-16 | 쿨클라우드(주) | Method for providing contents based on inference engine and electronic device using the same |
US11769056B2 (en) | 2019-12-30 | 2023-09-26 | Affectiva, Inc. | Synthetic data for neural network training using vectors |
WO2021193086A1 (en) * | 2020-03-25 | 2021-09-30 | ソニーグループ株式会社 | Information processing device, method, and program |
CN113806620B (en) * | 2020-05-30 | 2023-11-21 | 华为技术有限公司 | Content recommendation method, device, system and storage medium |
US11849177B2 (en) * | 2020-11-11 | 2023-12-19 | Rovi Guides, Inc. | Systems and methods for providing media recommendations |
US11641506B2 (en) | 2020-11-11 | 2023-05-02 | Rovi Guides, Inc. | Systems and methods for providing media recommendations |
US11868531B1 (en) | 2021-04-08 | 2024-01-09 | Meta Platforms Technologies, Llc | Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof |
US11831938B1 (en) * | 2022-06-03 | 2023-11-28 | Safran Passenger Innovations, Llc | Systems and methods for recommending correlated and anti-correlated content |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040042280A (en) * | 2002-11-13 | 2004-05-20 | 엘지.필립스 엘시디 주식회사 | Apparatus for attaching liquid crystal display device substrate and fabrication method thereof using the same |
US20090133064A1 (en) * | 2007-11-19 | 2009-05-21 | Tetsuo Maruyama | Information providing device, information acquisition terminal, broadcast receiving terminal, information providing system, information providing method, and program |
KR20090112535A (en) * | 2008-04-24 | 2009-10-28 | 삼성전자주식회사 | Method for recommending broadcasting contents in media contents reproducing device and apparatus thereof |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20020085023A1 (en) * | 2001-01-02 | 2002-07-04 | Zustak Fred J. | Display of ancillary data on local network appliance |
US6927694B1 (en) * | 2001-08-20 | 2005-08-09 | Research Foundation Of The University Of Central Florida | Algorithm for monitoring head/eye motion for driver alertness with one camera |
US20030063222A1 (en) * | 2001-10-03 | 2003-04-03 | Sony Corporation | System and method for establishing TV setting based on viewer mood |
US20030128389A1 (en) * | 2001-12-26 | 2003-07-10 | Eastman Kodak Company | Method for creating and using affective information in a digital imaging system cross reference to related applications |
US20040001616A1 (en) * | 2002-06-27 | 2004-01-01 | Srinivas Gutta | Measurement of content ratings through vision and speech recognition |
JP2006157697A (en) * | 2004-11-30 | 2006-06-15 | Orion Denki Kk | Recording and reproducing apparatus |
JP5069687B2 (en) * | 2005-09-26 | 2012-11-07 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Method and apparatus for analyzing emotional state of user who is provided with content information |
US20090222867A1 (en) * | 2005-12-22 | 2009-09-03 | Toshihiko Munetsugu | Broadcast receiving apparatus, video storing apparatus, and multimedia delivering system |
JP4085130B2 (en) * | 2006-06-23 | 2008-05-14 | 松下電器産業株式会社 | Emotion recognition device |
US20080294012A1 (en) * | 2007-05-22 | 2008-11-27 | Kurtz Andrew F | Monitoring physiological conditions |
US8327272B2 (en) * | 2008-01-06 | 2012-12-04 | Apple Inc. | Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars |
US8581954B2 (en) * | 2008-09-05 | 2013-11-12 | Sk Telecom Co., Ltd. | Mobile communication terminal that delivers vibration information, and method thereof |
-
2010
- 2010-03-03 KR KR1020100019141A patent/KR101708682B1/en active IP Right Grant
- 2010-12-03 US US12/959,557 patent/US8704760B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20040042280A (en) * | 2002-11-13 | 2004-05-20 | 엘지.필립스 엘시디 주식회사 | Apparatus for attaching liquid crystal display device substrate and fabrication method thereof using the same |
US20090133064A1 (en) * | 2007-11-19 | 2009-05-21 | Tetsuo Maruyama | Information providing device, information acquisition terminal, broadcast receiving terminal, information providing system, information providing method, and program |
KR20090112535A (en) * | 2008-04-24 | 2009-10-28 | 삼성전자주식회사 | Method for recommending broadcasting contents in media contents reproducing device and apparatus thereof |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200020014A (en) * | 2012-01-10 | 2020-02-25 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | Consumption of content with reactions of an individual |
KR101336338B1 (en) * | 2012-01-17 | 2013-12-06 | 주식회사 포키비언 | Image displaying device and method for determining watching state of viewer based on image inputted from camera |
KR20140089454A (en) * | 2013-01-04 | 2014-07-15 | 삼성전자주식회사 | Method and apparatus for providing emotion information of user in an electronic device |
WO2014119900A1 (en) * | 2013-01-29 | 2014-08-07 | Lee Jong Sik | Smart device having user interface based on human emotions or inclinations, and user interface method |
KR20140140310A (en) * | 2013-05-29 | 2014-12-09 | 엘지전자 주식회사 | Display device and the method for controlling the same |
WO2017078205A1 (en) * | 2015-11-04 | 2017-05-11 | 엘지전자 주식회사 | Mobile terminal and method of controlling same |
KR20180062221A (en) * | 2016-11-30 | 2018-06-08 | 주식회사 트라이캐치미디어 | Game Managing Method through Face Recognition of Game Player |
KR101964438B1 (en) * | 2018-07-09 | 2019-04-01 | 넷마블 주식회사 | Method and apparatus for providing content service |
KR20200019801A (en) * | 2018-08-14 | 2020-02-25 | 대진대학교 산학협력단 | System To Provide Brand Value and Experience Using Autonomous Vehicle Sharing Platform |
Also Published As
Publication number | Publication date |
---|---|
US20110134026A1 (en) | 2011-06-09 |
US8704760B2 (en) | 2014-04-22 |
KR101708682B1 (en) | 2017-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101708682B1 (en) | Apparatus for displaying image and and method for operationg the same | |
US8634701B2 (en) | Digital data reproducing apparatus and corresponding method for reproducing content based on user characteristics | |
US20200014979A1 (en) | Methods and systems for providing relevant supplemental content to a user device | |
US9264770B2 (en) | Systems and methods for generating media asset representations based on user emotional responses | |
KR102104355B1 (en) | Image display device and operating method thereof | |
KR101668246B1 (en) | Apparatus for displaying image and and method for operationg the same | |
KR101268133B1 (en) | Method for displaying program information and display apparatus thereof | |
US9538251B2 (en) | Systems and methods for automatically enabling subtitles based on user activity | |
US9167188B2 (en) | Display device and control method thereof | |
KR20140108928A (en) | Digital display device and method for controlling the same | |
CN104581413B (en) | TV and its operating method | |
US11758234B2 (en) | Systems and methods for creating an asynchronous social watching experience among users | |
JP7305647B2 (en) | Systems and methods for dynamically enabling and disabling biometric devices | |
JP2012009957A (en) | Evaluation information report device, content presentation device, content evaluation system, evaluation information report device control method, evaluation information report device control program, and computer-readable recording medium | |
WO2011118836A1 (en) | Display apparatus, television receiver, method of controlling display apparatus, remote control device, method of controlling remote control device, control program, and computer readable recording medium with control program stored therein | |
US9099019B2 (en) | Image display device, image display system, and method for analyzing the emotional state of a user | |
US9525918B2 (en) | Systems and methods for automatically setting up user preferences for enabling subtitles | |
KR101649158B1 (en) | Method for generating emotion imformation, apparatus for generating motion imformation, and image display apparatus including the same | |
KR20140108927A (en) | Digital display device and method for controlling the same | |
US20150088908A1 (en) | Information processing apparatus, information processing method, and program | |
KR20140094132A (en) | Image display apparatus and Method for the same | |
US20180330153A1 (en) | Systems and methods for determining meaning of cultural gestures based on voice detection | |
KR20170045829A (en) | Digital device and method of processing data the same | |
KR102618748B1 (en) | display device | |
US20230328319A1 (en) | Information processing device and information processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right |