CN109416834A - 吸引度值处理系统及吸引度值处理装置 - Google Patents

吸引度值处理系统及吸引度值处理装置 Download PDF

Info

Publication number
CN109416834A
CN109416834A CN201780038108.1A CN201780038108A CN109416834A CN 109416834 A CN109416834 A CN 109416834A CN 201780038108 A CN201780038108 A CN 201780038108A CN 109416834 A CN109416834 A CN 109416834A
Authority
CN
China
Prior art keywords
user
angle value
face
attraction
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780038108.1A
Other languages
English (en)
Inventor
平出隆
平出隆一
村山正美
八谷祥
八谷祥一
西尾诚
西尾诚一
冈崎干夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kaia Systems Solution Co Ltd
GAIA SYSTEM SOLUTIONS Inc
Original Assignee
Kaia Systems Solution Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kaia Systems Solution Co Ltd filed Critical Kaia Systems Solution Co Ltd
Publication of CN109416834A publication Critical patent/CN109416834A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
    • H04H60/33—Arrangements for monitoring the users' behaviour or opinions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30076—Plethysmography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明提供一种吸引度值处理系统，只使用从摄像装置得到的影像数据，就能够同时取得吸引度值以及脉搏等生物信息。摄像装置所输出的图像数据流，通过特征点提取部生成表示脸部特征点的特征点数据。从特征点数据计算用于计算用户的针对内容的吸引度值的脸部方向向量与视线方向向量。另一方面，特征点数据能够用于检测脉搏时的部分图像数据的切出与用户的情感的推定。因此，只要用摄像装置拍摄用户，就能够同时取得收看内容的用户的针对内容的吸引度值、脉搏、以及情感。

Description

吸引度值处理系统及吸引度值处理装置
技术区域
本发明涉及针对由计算机或电子设备等向利用者提供的内容，检测并利用与利用者对内容所显示的吸引度值有关的信息的吸引度值处理系统及吸引度值处理装置。
背景技术
作为表示在电视播送(以下简称为“TV播送”)中被播送的影像内容究竟被多少收看者收看了的指标，以往以来是使用“每户收看率”。TV播送的每户收看率的计测是在作为样本的家庭内设置用于测定收看率所需的机器，该机器将与电视接收机(以下简称为“TV”)在电源开启状态下显示的频道有关的信息，大体实时地发送至统计基地。即，所谓的每户收看率是对与收看时间和收看频道有关的信息进行统计的结果，无法从每户收看率这样的信息了解收看者是在什么样的状态下收看了节目(影像内容)。
例如，在收看者对于TV节目没有注视画面而只是当成收音机那样地听过去就算了的收看方式的情况下，该节目对收看者而言是没有在专心的状态下收看。在这样的收看方式下，TV节目中所夹带的广告(以下简称为“CM”)的宣传效果就无法太过期待。
用于掌握收看者究竟专心到什么程度来收看TV节目所需的技术，已有数种被研讨。
专利文献1中公开了如下的技术：将收看者对TV节目专心到何种程度定义成“专心度”，掌握并利用专心度。
专利文献2中公开了如下的技术：从用摄像机拍摄到的用户的脸部的图像数据，使用短时间傅立叶变换(short-time Fourier transform，short-term Fourier transform，STFT)来检测脉搏。
专利文献3中公开了如下的技术：使用离散小波变换(Discrete wavelettransform,DWT)来检测脉搏。
现有技术文献
专利文献
专利文献1：日本专利公开公报特开2003-111106号
专利文献2：日本专利公开公报特开2015-116368号
专利文献3：日本专利公开公报特开平10-216096号
发明内容
本发明要解决的技术问题
如前述的专利文献3所示的，与收看者的专心度相关连，作为对象的内容(contents)并不一定限于TV节目。所有的内容都成为对象。在此，所谓的内容是指：以在线或离线方式，通过计算机或电子设备提供的字符串、声音、静止图像、影像(动画)、或将它们组合成的演示或游戏等用让对象者可以理解的内容来享受的信息的总称。在此后，在本说明书中，将享受和/或利用内容的人，不称为收看者而总称为用户。
本发明人一直以来都在开发测定专心度的设备。此外，在设备的开发过程中，本发明人注意到，人对于某个事象专心这样的状态，不只有主动的要因，还有被动的要因。
例如，人在面对某个问题，为了解决该问题而专心这样的行为，是主动的要因。即，该行为起因于“必须要专心于该事象”这样的意识。相对于此，人在看到有趣或快乐等事象而产生兴趣这样的行为，在某种意义上是被动的要因。即，该行为起因于“无意间被该事象所吸引”这样的情感。
本发明人认为，将这样起因于相反的意识或情感的行动，用“专心度”这样的用语来表现，并不一定适当。于是本发明人将某个对象者不管主动的或被动的要因如何都对某个事象呈现注目的状态，用“吸引度(Engagement)”这样的用语来进行定义。此外，本发明人将到目前为止所开发的设备，不叫做测定专心度的设备，而是定义为测定吸引度的设备。
尤其是娱乐性高的影像内容，通常都是具有能够让用户想起各种各样的情感的效果。除了吸引度值以外，如果能够同时取得用于检测用户的情感的生物信息，则能够用于内容的评价和改良，能够成为有用的信息。
此外，用户所浏览的内容不一定限于以娱乐为对象的内容。也存在有在补习班等中被利用的、用于教育和学习等的内容。在用于教育和学习等用途的内容中，吸引度值成为重要的内容评价指标。用户不注目的内容，就无法期待有效的学习。
本发明是鉴于所述的问题而做出的发明，本发明的目的在于提供一种只使用从摄像装置得到的影像数据，就能够同时取得吸引度值以及脉搏等生物信息的吸引度值处理系统及吸引度值处理装置。
解决技术问题的技术方案
为了解决上述的问题，本发明的吸引度值处理系统，其包括：显示部，显示内容；摄像装置，设置在能够拍摄观看所述显示部的用户的脸部的方向上；脸部检测处理部，从由所述摄像装置输出的图像数据流，检测所述用户的脸部的存在，输出对所述用户的脸部进行提取而得到的脸部提取图像数据；特征点提取部，从所述脸部提取图像数据输出特征点数据，所述特征点数据是包含所述用户的脸部的轮廓且具有二维空间内的坐标信息的特征点的集合体；向量分析部，从所述特征点数据，以规定的采样率生成表示所述用户的脸部的朝向的脸部方向向量和表示所述用户的脸部的视线的朝向的视线方向向量；吸引度计算部，从所述脸部方向向量与所述视线方向向量，计算所述用户的针对所述内容的吸引度值；以及数据库，存储唯一识别所述用户的用户ID、所述用户收看所述内容的收看日期时间、唯一识别所述内容的内容ID、表示所述内容的播放位置的播放位置信息、以及所述吸引度计算部输出的所述用户的针对所述内容的所述吸引度值。
发明效果
通过本发明，只使用从摄像装置得到的影像数据，就能够同时取得吸引度值以及脉搏等生物信息。
上述以外的问题、构成及效果，可以通过以下的实施方式的说明而明了。
附图说明
图1是表示本发明的实施方式的吸引度值处理系统的整体情况的概略图。
图2是说明本发明的实施方式的吸引度值处理系统的用户的吸引度值的构成的概略图。
图3是表示显示器的种类与摄像机的变化的图。
图4是表示横型与纵型的显示器的摄像机的最佳配置位置的区域的图。
图5是表示吸引度值处理系统的硬件构成的框图。
图6是表示本发明的第一实施方式的吸引度值处理系统的软件功能的框图。
图7是吸引度计算部的功能块图。
图8是表示本发明的第二实施方式的吸引度值处理系统的软件功能的框图。
图9是表示从摄像装置输出的图像数据流的一个例子的概略图、表示脸部检测处理部输出的脸部提取图像数据的一个例子的概略图、表示特征点提取部输出的特征点数据的一个例子的概略图。
图10是示意性地表示脉搏检测区域提取部从用户的脸部的图像数据切出作为部分图像数据的区域的图。
图11是说明情感推定部实施的情感的分类的概略图。
图12是表示本发明的第三实施方式的吸引度值处理装置的硬件构成的框图。
图13是表示本发明的第三实施方式的吸引度值处理装置的软件功能的框图。
图14是表示基于播放控制部向内容播放处理部提供的控制信息而产生的、吸引度值与内容的播放速度的对应关系的一个例子的图。
附图标记说明
101：吸引度值处理系统
102：用户
103：客户端
104：显示部
105：内容
106：摄像装置
107：因特网
108：服务器
301：LCD显示器
302：USB型网络摄像机
303：笔记本电脑
304：LCD显示器
305：网络摄像机
306：携带型无线终端
307：LCD显示器
308：自拍用内置摄像头
501：CPU
502：ROM
503：RAM
504：非易失性存储器
505：RTC
506：操作部
507：总线
508：NIC
511：CPU
512：ROM
513：RAM
514：非易失性存储器
515：NIC
516：总线
601：脸部检测处理部
602：特征点提取部
603：向量分析部
604：吸引度计算部
605：脉搏检测区域提取部
606：脉搏计算部
607：情感推定部
608：输入输出控制部
609：网络存储器
610：本地存储器
611：内容播放处理部
612：用户ID
613：发送数据
614：数据库
615：聚类分析处理部
616：特征量
701：向量加算部
702：注视方向判断部
703：初始修正值
704：第一平滑化处理部
705：第二平滑化处理部
706：样本数
707：吸引度计算处理部
708：斜视判断部
709：闭眼判断部
710：加权系数
801：吸引度值处理系统
802：服务器
803：亮度平均值计算部
804：输入输出控制部
805：发送数据
806：数据库
1201：吸引度值处理装置
1301：输入输出控制部
1302：播放控制部
1303：内容播放处理部
具体实施方式
本发明的实施方式的吸引度值处理系统测定用户的针对内容的吸引度值，并将其上传至服务器，用于各钟各样的分析等。
一般而言，吸引度值处理系统用摄像机拍摄用户的脸部，检测用户的脸部与视线的朝向，测定这些朝向是以何种程度朝向显示内容的显示器，由此计算用户的针对内容的吸引度值。
另一方面，如专利文献2所示，根据用摄像机拍摄到的用户的脸部的图像数据检测脉搏的技术已为人知。可是，为了从脸部的图像数据检测出脉搏，作为其前提，必须在脸部的图像数据中，提取用于检测脉搏的适当的区域。在本发明的实施方式的吸引度值处理系统中，基于用于测定吸引度值而取得的、表示用户的脸部的轮廓的向量数据，提取用于检测脉搏的适当的区域。
此外，在本发明的实施方式的吸引度值处理系统中，以利用视觉的内容为对象。因此，只有声音的内容不在本发明的实施方式所述的吸引度值处理系统中的吸引度值的测定及利用的对象内。
[整体构成]
图1是表示本发明的实施方式的吸引度值处理系统101的整体情况的概略图。
用户102收看具有内容播放功能的客户端103的显示部104所显示的内容105。在由液晶显示器等构成的显示部104的上部，设有被称为网络摄像机的摄像装置106。摄像装置106拍摄用户102的脸部并输出图像数据流。
客户端103在其内部具有吸引度值处理功能。此外，包含用户102的针对内容105的吸引度值的各种各样的信息，被客户端103的吸引度值处理功能计算，通过因特网107被上传至服务器108。
[关于吸引度值]
图2A及图2B是说明本发明的实施方式的吸引度值处理系统101的用户102的吸引度值的构成的概略图。
在图2A中，用户102注视着显示有内容105的显示部104。在显示部104的正上方安装有摄像装置106。摄像装置106朝向可拍摄位于显示部104之前的用户102的脸部的方向。作为未图示的信息处理装置的客户端103(参照图1)与摄像装置106连接。客户端103根据从摄像装置106得到的图像数据，检测用户102的脸部的朝向和/或视线是否朝向显示部104的方向，将用户102是否注视内容105输出为具有0至1、或0至255、或0至1023等规定范围的值的数据。从该客户端103输出的值是吸引度值。
在图2B中，用户102没有注视显示有内容105的显示部104。与摄像装置106连接的客户端103根据从摄像装置106得到的图像数据，输出比图2A中的吸引度值更低的值的吸引度值。
这样，本实施方式的吸引度值处理系统101能够根据从摄像装置106得到的图像数据计算用户102的脸部的朝向和/或视线是否朝向显示有内容105的显示部104。
图3A、图3B及图3C是表示显示部104的种类与摄像装置106的变化的图。
图4A及图4B是表示显示部104的种类与摄像装置106被安装的配置关系的图。
图3A是在台式LCD显示器301上安装有外带的USB型网络摄像机302的例子。
图3B是在笔记本电脑303的LCD显示器304的边框上埋设有网络摄像机305的例子。
图3C是在智能手机等携带型无线终端306的LCD显示器307的边框上埋设有自拍用内置摄像头308的例子。
这些图3A、图3B及图3C的共通点为：摄像装置106设在显示部104的中心线附近。
图4A是表示对应于图3A及图3B的、横型的显示部104a上的摄像装置106的最佳配置位置的区域的图。
图4B是表示对应于图3C的、纵型的显示部104b上的摄像装置106的最佳配置位置的区域的图。
图4A的显示部104a及图4B的显示部104b亦即无论在显示器为横型、纵型的哪种情况下，只要在显示部104a及104b的上下的边的、通过中心线L402及L404的区域401a、401b、403a及403b配置摄像装置106，则摄像装置106能够无调整地正确地捕捉用户102的脸部与视线。
此外，在摄像装置106配置在这些区域以外的位置的情况下，为了检测用户102的脸部与视线是否正确地朝向显示部104，优选的是，预先在用户102的脸部与视线正确地朝向显示部104时检测从摄像装置106看到的用户102的脸部与视线的朝向的信息，并存储在非易失性存储器504(参照图5)等中。
[吸引度值处理系统101：硬件构成]
图5是表示吸引度值处理系统101的硬件构成的框图。
客户端103为通常的计算机，CPU501、ROM502、RAM503、非易失性存储器504、输出当前日期时间信息的实时时钟(以下简称为“RTC”)505、操作部506与总线507连接。此外，在吸引度值处理系统101中具有重要作用的显示部104与摄像装置106与总线507连接。
客户端103通过与总线507连接的NIC(网卡(Network Interface Card))508并通过因特网107与服务器108进行通讯。
服务器108也是通常的计算机，CPU511、ROM512、RAM513、非易失性存储器514、NIC515与总线516连接。
[第一实施方式：吸引度值处理系统101的软件功能]
接着说明吸引度值处理系统101的软件功能。吸引度值处理系统101，其功能的大部分是由软件的功能所构成。软件的功能的一部分，包含有需要高负荷的计算处理的内容，因此，由于执行软件的硬件的计算处理能力不同，在客户端103能够处理的功能有时会有不同。
在以下说明的第一实施方式中设想了主要假想了个人计算机等计算处理能力(资源)比较丰富的硬件的、吸引度值处理系统101的软件功能。相对于此，在后述的第二实施方式的吸引度值处理系统101中说明设想了携带型无线终端或内嵌用途的微电脑等被称为低资源装置的、计算处理能力贫乏的硬件的软件功能。
图6是表示本发明的第一实施方式的吸引度值处理系统101的软件功能的框图。
摄像装置106拍摄收看内容105的用户102的脸部而得到的图像数据流，被供给至脸部检测处理部601。所述图像数据流也可以暂时地存储在非易失性存储器504等中，在内容105的播放后进行以后的处理。
脸部检测处理部601将从摄像装置106输出的图像数据流视为在时间轴上连续的静止图像，对该在时间轴上连续的静止图像的各图像数据，使用例如Viola-Jones法等众所周知的算法，来检测用户102的脸部的存在。此外，将只提取用户102的脸部得到的脸部提取图像数据输出。
脸部检测处理部601所输出的脸部提取图像数据被供给至特征点提取部602。
特征点提取部602对脸部提取图像数据中所含的用户102的脸部的图像，实施多边形分析等处理。此外，生成特征点数据，所述特征点数据由表示用户102的脸部整体、眉、眼睛、鼻、口等的轮廓以及瞳孔的脸部的特征点构成。关于特征点数据的详细内容，在图9中会后述。
特征点提取部602所输出的特征点数据，对应于客户端103的CPU501的计算处理能力，以例如100msec等规定的时间间隔(采样率)输出。
特征点提取部602所输出的特征点数据和脸部检测处理部601所输出的脸部提取图像数据，被供给至向量分析部603。
向量分析部603从基于连续的2个脸部提取图像数据的特征点数据，与特征点提取部602同样地，以规定的采样率生成表示用户102的脸部的朝向的向量(以下简称为“脸部方向向量”)。
此外，向量分析部603使用基于连续的2个脸部提取图像数据的特征点数据、和从脸部提取图像数据通过特征点数据切出的用户102的眼部的图像数据，与特征点提取部602同样地，以规定的采样率生成用户102的脸部的、表示视线的朝向的向量(以下简称为“视线方向向量”)。
向量分析部603所输出的脸部方向向量与视线方向向量被供给至吸引度计算部604。吸引度计算部604从脸部方向向量与视线方向向量，计算吸引度值。
图7是吸引度计算部604的功能块图。
向量分析部603所输出的脸部方向向量与视线方向向量被输入至向量加算部701。向量加算部701对脸部方向向量与视线方向向量进行加法计算，计算出注视方向向量。该注视方向向量是表示用户102注视包含显示内容的显示部104与摄像装置106的三维空间内的何处的向量。
向量加算部701计算出的注视方向向量被输入至注视方向判断部702。注视方向判断部702判断指示用户102所注视的对象的注视方向向量是否朝向显示部104，输出2值的注视方向判断结果。
此外，在摄像装置106设置在远离显示部104的附近的位置的情况下，通过存储于非易失性存储器504的初始修正值703，对注视方向判断部702的判断处理施加修正。在初始修正值703中，为了检测用户102的脸部与视线是否正确地朝向显示部104，预先将在用户102的脸部与视线是正确地朝向显示部104时从摄像装置106看到的用户102的脸部与视线的朝向的信息，存储在非易失性存储器504中。
注视方向判断部702所输出的2值的注视方向判断结果被输入至第一平滑化处理部704。注视方向判断部702所输出的注视方向判断结果中，偶而会产生来源于特征点提取部602所生成的特征点数据中所含的噪声的干扰。因此，通过第一平滑化处理部704来抑制噪声的影响，能够获得表示极其接近用户102的举动的状态的“现场吸引度值”。
第一平滑化处理部704计算例如包含当前的注视方向判断结果的多个样本的移动平均，并输出现场吸引度值。
第一平滑化处理部704所输出的现场吸引度值被输入至第二平滑化处理部705。第二平滑化处理部705针对输入的现场吸引度值，基于预先指定的样本数706的数量进行平滑化处理，输出“吸引度基础值”。例如，如果样本数706中记作“5”，则对5个现场吸引度值计算移动平均。此外，在平滑化处理中，也可以使用加权移动平均、指数加权移动平均等其它的算法。根据适用本发明的实施方式的吸引度值处理系统101的应用，适当地设定所述样本数706及平滑化处理的算法。
第二平滑化处理部705所输出的吸引度基础值被输入至吸引度计算处理部707。
另一方面，脸部方向向量也被输入至斜视判断部708。斜视判断部708生成2值的斜视判断结果，所述2值的斜视判断结果判断表示用户102的脸部的朝向的脸部方向向量是否朝向显示部104。此外，按照向量分析部603所输出的脸部方向向量与视线方向向量的采样率，用内置的2个计数器对所述斜视判断结果进行计数。
第一计数器计数用户102进行了斜视的判断结果，第二计数器计数用户102没有进行斜视的判断结果。如果第二计数器达到规定的计数值，则第一计数器被重置。如果第一计数器达到规定的计数值，则第二计数器被重置。第一计数器与第二计数器的逻辑值被输出为表示用户102是否斜视的判断结果。
此外，通过按照方向设置多个第一计数器，根据应用，能够将例如拿手边的笔记本的情况不判断为斜视。
此外，视线方向向量也被输入至闭眼判断部709。闭眼判断部709生成2值的闭眼判断结果，所述2值的闭眼判断结果判断是否能够检测到表示用户102的视线的朝向的视线方向向量。
虽然在图9C中进行描述，但是视线方向向量可在用户102的眼睛张开的状态下进行检测。即，如果用户102闭上眼睛，则变成无法检测到视线方向向量。于是，闭眼判断部709生成表示用户102是否闭眼的2值的闭眼判断结果。此外，按照向量分析部603所输出的脸部方向向量与视线方向向量的采样率，用内置的2个计数器对所述闭眼判断结果进行计数。
第一计数器计数用户102闭上眼睛的判断结果，第二计数器计数用户102张开眼睛(没有闭眼)的判断结果。如果第二计数器达到规定的计数值，则第一计数器被重置。如果第一计数器达到规定的计数值，则第二计数器被重置。第一计数器与第二计数器的逻辑值被输出为表示用户102是否闭眼的判断结果。
第二平滑化处理部705所输出的吸引度基础值、斜视判断部708所输出的斜视判断结果以及闭眼判断部709所输出的闭眼判断结果，被输入至吸引度计算处理部707。
吸引度计算处理部707针对吸引度基础值、斜视判断结果以及闭眼判断结果，在乘上对应于应用的加权系数710后进行加法计算，输出最终的吸引度值。
通过调整样本数706及加权系数710，能够使吸引度值处理系统101对应于各种各样的应用。例如，如果将样本数706设定成“0”并将针对斜视判断部708及闭眼判断部709的加权系数710也都设定成“0”，则第一平滑化处理部704所输出的现场吸引度本身能够直接作为吸引度值从吸引度计算处理部707输出。
尤其是，通过样本数706的设定，能够使第二平滑化处理部705无效化。于是，第一平滑化处理部704与第二平滑化处理部705可视为单一的平滑化处理部的上位概念。
回到图6，继续吸引度值处理系统101的软件功能的说明。
脸部检测处理部601所输出的脸部提取图像数据和特征点提取部602所输出的特征点数据也被供给至脉搏检测区域提取部605。
脉搏检测区域提取部605基于从脸部检测处理部601输出的脸部提取图像数据和特征点提取部602所输出的特征点数据，执行相当于用户102的脸部的一部分的图像数据的切出，将得到的部分图像数据向脉搏计算部606输出。虽然详细内容将在图10中描述，但是脉搏检测区域提取部605在用户102的脸部之中，将眼睛的正下方的相当于颧骨的区域，作为用于检测脉搏所需的区域，进行图像数据的切出。作为用于检测脉搏的区域，可以考虑嘴唇、眉间的稍微上方、颧骨附近等，但在本实施方式中，使用被胡须或头发遮住而看不到皮肤的可能性较低的颧骨附近的情况来做说明。此外，决定脉搏检测区域的方法，可以考虑各种各样的应用。例如，也可以是嘴唇、或眉间的稍微上方。此外，也可以采用下述的方法：设成能够对嘴唇、眉间的稍微上方、颧骨附近等多个候选区域进行分析，如果嘴唇被胡须遮住则用下个候选(例如眉间正上方)，如果下个候选也被遮住就再用下个候补(颧骨附近)，这样依序缩小候选，决定适当的切出区域。
脉搏计算部606从脉搏检测区域提取部605生成的部分图像数据，摘录绿色的成分，获得每个像素的亮度的平均值。此外，针对该平均值的变动，使用例如专利文献2等中所记载的短时间傅立叶变换、或是专利文献3等中所记载的离散小波变换等，来检测用户102的脉搏。此外，本实施方式的脉搏计算部606获得每个像素的亮度的平均值，但是除了平均值以外也可以采用众数值或中央值。
血液中所含的血红蛋白具有吸收绿光的特性已为人所知。众所周知的脉搏血氧计利用该血红蛋白的特性，对皮肤照射绿光，检测反射光，基于其强度变化来检测脉搏。在利用该血红蛋白的特性这点上脉搏计算部606也是相同的。但是，作为成为检测的根据的数据是图像数据这点，与脉搏血氧计不同。
特征点提取部602所输出的特征点数据也被供给至情感推定部607。
情感推定部607将特征点提取部602所生成的特征点数据，参照特征量616，使用例如贝叶斯估计或支持向量机等有教师的学习算法，推定用户102是否从平常时的表情怎么样地进行了表情变化亦即推定用户102的情感。
如图6所示，向输入输出控制部608供给从由摄像装置106得到的图像数据流得到的用户102的吸引度值、表示用户102的情感的情感数据、表示用户102的脉搏的脉搏数据。
另一方面，用户102收看显示于显示部104的规定的内容105。内容105从网络存储器609通过因特网107或是从本地存储器610，被供给至内容播放处理部611。内容播放处理部611按照操作部506的操作信息，将内容105播放并显示于显示部104。此外，内容播放处理部611将用于唯一识别内容105的内容ID和表示内容105的播放位置的播放位置信息，输出至输入输出控制部608。
在此，内容105的播放位置信息根据内容105的种类不同，其内容也不同。例如，如果内容105是动画数据，则相当于播放时间信息。此外，如果内容105是演示数据或游戏等数据或程序，则相当于“页”、“场景号码”、“章”、“节”等用于区分内容105的信息。
从内容播放处理部611向输入输出控制部608供给内容ID和播放位置信息。此外，除了这些信息以外，向输入输出控制部608供给从RTC505输出的内容收看时点的当前日期时间信息亦即收看日期时间信息、以及存储在非易失性存储器504等中的用户ID612。在此，所谓的用户ID612是用于唯一识别用户102的信息，但是从保护用户102个人信息的观点出发，所述用户ID612优选的是用于众所周知的横幅广告等的、基于随机数等制作的匿名ID。
输入输出控制部608接收用户ID612、收看日期时间、内容ID、播放位置信息、脉搏数据、吸引度值、情感数据，构成发送数据613。该发送数据613通过用户ID612被唯一识别，存储在服务器108的数据库614中。此时，在数据库614中设置有未图示的表，该表具有用户ID字段、收看日期时间字段、内容ID字段、播放位置信息字段、脉搏数据字段、吸引度值字段、情感数据字段，发送数据613存储在该表中。
此外，也可以将输入输出控制部608所输出的发送数据613，暂时存储在RAM503或非易失性存储器504中，实施可逆的数据压缩处理后，向服务器108发送。服务器108中的聚类分析处理部615等的数据处理功能，在大多数的情况下，不需要与内容105的播放同时。因此，例如，也可以采用下述方式：用户102结束内容105的收看后，把将发送数据613压缩得到的数据上传至服务器108。
服务器108除了多数匿名用户102收看内容105时的播放位置信息的吸引度值以外，还可以取得脉搏和情感，存储在数据库614中。用户102的数量越是增加，或是内容105的数量越是增加，数据库614的数据作为适合于聚类分析处理部615等的统计的分析处理的大数据的利用价值就越高。
[第二实施方式：吸引度值处理系统801的软件功能]
图8是表示本发明的第二实施方式的吸引度值处理系统801的软件功能的框图。
在图8所示的本发明的第二实施方式的吸引度值处理系统801中，与图6所示的本发明的第一实施方式所述的吸引度值处理系统101的不同点，为以下的4点。
(1)客户端103中的向量分析部603、吸引度计算部604、情感推定部607及脉搏计算部606存在于服务器802中。
(2)脉搏计算部606被置换成亮度平均值计算部803，所述亮度平均值计算部803从脉搏检测区域提取部605所生成的部分图像数据，摘录出绿色的成分，计算每个像素的亮度的平均值。
(3)根据上述的(1)及(2)，作为输入输出控制部804所生成的发送数据805，不是发送脉搏数据而是替换为发送亮度平均值，不是发送吸引度值及情感数据而是替换为发送特征点数据。
(4)根据上述的(3)，在服务器802的数据库806中，制作有未图示的表，该表具有用户ID字段、收看日期时间字段、内容ID字段、播放位置信息字段、亮度平均值字段及特征点字段，在服务器802的数据库806中存储有发送数据805。
即，第二实施方式的吸引度值处理系统801将在第一实施方式中存在于客户端103的功能块中的计算处理负荷高的吸引度计算部604、情感推定部607及脉搏计算部606，移设至服务器802。
吸引度计算部604需要大量的矩阵计算处理，情感推定部607需要学习算法的计算处理，脉搏计算部606需要短时间傅立叶变换或离散小波变换等，因此计算处理的负荷高。于是，将这些功能块(软件功能)，由计算资源丰富的服务器802具有，在服务器802上执行这些计算处理，由此即使客户端103为低资源装置，也能够实现吸引度值处理系统801。
此外，为了削减通过网络的数据量，亮度平均值计算部803设在客户端103侧。
此外，最终与第一实施方式的数据库614同样地，第二实施方式的服务器802的数据库806也存储有用户ID612、收看日期时间、内容ID、播放位置信息、脉搏数据、吸引度值、情感数据。
此外，吸引度计算部604在计算处理时所参照的客户端103的显示部104的大小和摄像装置106的设置位置等信息，也需要与用户ID612建立关联，预先从客户端103发送至服务器802，保持在服务器802的数据库806中。
如以上说明的，在本发明的第二实施方式的吸引度值处理系统801中，将在本发明的第一实施方式的吸引度值处理系统101中位于客户端103的吸引度计算部604、情感推定部607及脉搏计算部606，移设至服务器802。因此，如图8所示，从输入输出控制部804输出的发送数据805由用户ID612、收看日期时间、内容ID、播放位置信息、亮度平均值、特征点数据构成。特征点数据是吸引度计算部604与情感推定部607所参照的数据。亮度平均值是脉搏计算部606所参照的数据。
[关于特征点数据]
关于脸部检测处理部601、特征点提取部602、以及向量分析部603的动作，以下进行说明。
图9A是表示从摄像装置106输出的图像数据流的一个例子的概略图。图9B是表示脸部检测处理部601输出的脸部提取图像数据的一个例子的概略图。图9C是表示特征点提取部602输出的特征点数据的一个例子的概略图。
首先，从摄像装置106实时地输出包含用户102的图像数据流。其为图9A的图像数据P901。
接着，脸部检测处理部601根据从摄像装置106输出的图像数据P901，使用例如Viola-Jones法等众所周知的算法，检测用户102的脸部的存在。此外，输出只提取了用户102的脸部所得到的脸部提取图像数据。其为图9B的脸部提取图像数据P902。
此外，特征点提取部602对脸部提取图像数据P902中所含的用户102的脸部的图像，实施多边形分析等处理。此外，生成特征点数据，所述特征点数据由表示用户102的脸部整体、眉、眼睛、鼻、口等的轮廓以及瞳孔的脸部的特征点构成。其为图9C的特征点数据P903。该特征点数据P903由具有二维空间内的坐标信息的特征点的集合体构成。
如果在时间轴上的不同时间取得2组二维的特征点数据，则由于用户102的脸部的稍微移动，各个特征点数据会发生偏差。基于该偏差，能够计算用户102的脸部的方向。其为脸部方向向量。
此外，瞳孔相对于眼睛的轮廓的配置可以计算用户102的视线相对于脸部的大致方向。其为视线方向向量。
向量分析部603通过如上的处理，从特征点数据生成脸部方向向量与视线方向向量。接着，向量分析部603对这些脸部方向向量与视线方向向量进行加法计算。即，为了得知用户102把脸部朝向何方、此外把视线朝向何方而对脸部方向向量与视线方向向量进行加法计算，最终计算出注视方向向量，所述注视方向向量表示用户102注视包含显示部104与摄像装置106的三维空间内的何处。此外，向量分析部603也计算注视方向向量的时间轴上的变动量亦即向量变动量。
如图9C所示，在相当于用户102的眼睛的位置，存在有表示眼睛的轮廓部分与瞳孔中心的点。向量分析部603根据表示瞳孔中心的点位于轮廓之中，能够检测视线方向向量。反之，如果轮廓之中没有表示瞳孔中心的点，则向量分析部603就无法检测视线方向向量。即，如果用户102闭眼，则特征点提取部602变成不能在眼睛的轮廓部分之中检测到表示瞳孔中心的点，因此向量分析部603变成不能检测视线方向向量。图7的闭眼判断部709基于所述的视线方向向量的有无，来检测用户102的闭眼状态。
闭眼的判断处理，除了上述方法以外，也有直接辨识眼睛图像等方法，可以根据应用所要求的必要的精度而进行适当地变更。
[关于脉搏的检测区域]
图10是示意性地表示脉搏检测区域提取部605从用户102的脸部的图像数据切出作为部分图像数据的区域的图。
专利文献2中也有记载，为了从脸部的皮肤颜色正确地检测脉搏，必须在脸部的图像数据的中尽可能地排除眼睛、鼻孔、唇、头发和胡须等与肤色无关的要素。尤其是，由于眼睛剧烈运动、眼睑闭上或张开，会导致图像数据中瞳孔一会存在一会不存在这样的短时间内会发生剧烈的亮度变化，因此在计算亮度的平均值时会造成不良影响。此外，虽然有个体差异，但是头发与胡须的存在会对皮肤颜色的检测造成很大的阻碍。
如果考虑以上的情况，则如图10所示，眼睛下方的区域1001a及1001b是比较难以受到眼睛、头发、胡须的存在的影响且可以比较稳定地检测皮肤颜色的区域的一个例子。
在本发明的实施方式的吸引度值处理系统101中，将用户102的脸部向量化，并具有辨识用户102的脸部的功能，因此脉搏检测区域提取部605能够实现从脸部特征点计算出眼睛下方的区域的坐标信息。
[关于情感的推定]
图11是说明情感推定部607所实施的情感的分类的概略图。
根据保罗·艾克曼(Paul Ekman)的研究，人类无论隶属于哪种语言圈和文化圈，都具有普遍的情感。此外，艾克曼所做的情感的分类也被称为“艾克曼的基本六情绪”。相对于平常时的无表情(F1101)，人类的表情会在惊讶(F1102)、恐惧(F1103)、厌恶(F1104)、愤怒(F1105)、快乐(F1106)、悲伤(F1107)的六种情感中变化。表情的变化变成脸部特征点的变化而呈现。情感推定部607检测时间轴上的脸部特征点的相对变动，将其按照艾克曼的基本六情绪，推定内容105的播放位置信息或收看日期时间中的用户102的表情是属于哪种情感。
[第三实施方式：吸引度值处理装置1201的硬件构成]
吸引度值作为控制内容的播放状态的信息也是有用的。图12是表示本发明的第三实施方式的吸引度值处理装置1201的硬件构成的框图。
图12所示的吸引度值处理装置1201的硬件构成与图5所示的本发明的第一实施方式的吸引度值处理系统101的客户端103相同。因此，同一构成的要素附加相同的附图标记并省略对其的说明。
与本发明的第一实施方式的吸引度值处理系统101不同，吸引度值处理装置1201是独立的构成。可是，也不一定必须是独立的构成，可以根据需要，与第一实施方式同样地，将已计算出的吸引度值等上传至服务器108。
[第三实施方式：吸引度值处理装置1201的软件功能]
图13是表示本发明的第三实施方式的吸引度值处理装置1201的软件功能的框图。在图13中所示的吸引度值处理装置1201中，对于和图6所示的第一实施方式的吸引度值处理系统101相同的功能块，附加相同的附图标记并省略说明。此外，图13的吸引度计算部604具有和第一实施方式的吸引度值处理系统101的吸引度计算部604相同功能，因此是用和图7所示的吸引度计算部604相同的功能块构成。
图13所示的吸引度值处理装置1201与图6所示的第一实施方式的吸引度值处理系统101的不同点在于：在输入输出控制部1301中包含播放控制部1302；内容播放处理部1303基于播放控制部1302的控制信息，执行内容的播放/停止/播放速度的变更。
即，将用户102对内容的专心的程度，反映至内容的播放速度及播放状态上。
在用户102对内容不专心(吸引度值低)的状态下暂停播放，由此能够让用户102可靠地浏览内容。反之，在用户102对内容专心(吸引度值高)的状态下，通过提高播放速度，能够让用户102更快地浏览内容。
该播放速度变更功能尤其是对学习用内容特别有效。
图14是表示根据播放控制部1302向内容播放处理部1303提供的控制信息而产生的吸引度值与内容的播放速度的对应关系的一个例子的图。横轴为吸引度值，纵轴为内容播放速度。
播放控制部1302将从吸引度计算部604输出的吸引度值与多个规定的阈值进行比较，对内容播放处理部1303指示内容的播放或暂停，并在播放内容时指示其播放速度。
在图14中作为一个例子，
·如果用户102的吸引度值小于30％，则暂停內容的播放，
·如果用户102的吸引度值为30％以上且小于40％，则以0.8倍速播放內容，
·如果用户102的吸引度值为40％以上且小于50％，则以0.9倍速播放內容，
·如果用户102的吸引度值为50％以上且小于60％，则以1.0倍速播放內容，
·如果用户102的吸引度值为60％以上且小于70％，则以1.2倍速播放內容，
·如果用户102的吸引度值为70％以上且小于80％，则以1.3倍速播放內容，
·如果用户102的吸引度值为80％以上且小于90％，则以1.4倍速播放內容，
·如果用户102的吸引度值为90％以上，则以1.5倍速播放內容
以如上的方式进行内容播放处理部1303的控制。
此外，优选的是，在播放控制部1302设定的阈值和播放速度，能够由用户102使用规定的GUI(图形用户界面(Graphical User Interface))进行任意变更。
在本发明的实施方式中，公开了吸引度值处理系统101、吸引度值处理系统801及吸引度值处理装置1201。
设置在显示部104附近的摄像装置106拍摄收看内容105的用户102的脸部，输出图像数据流。从该图像数据流，通过特征点提取部602生成作为脸部的特征点的集合体的特征点数据。此外，从该特征点数据，计算注视方向向量与向量变动量。吸引度计算部604从这些数据计算用户102的针对内容105的吸引度值。
另一方面，特征点数据也能够用于检测脉搏时的部分图像数据的切出。此外，特征点数据也可以用于用户102的情感的推定。因此，只要用摄像装置106拍摄用户102，就能够同时取得收看内容105的用户102的针对内容105的吸引度值、脉搏、情感，不仅能够掌握用户102是以何种程度注意内容，而且能够掌握包含抱有多少程度的兴趣等的综合性的用户102的行动和情感。
此外，通过将吸引度值用于内容的播放与暂停、以及播放速度的控制，能够期待对用户102提高学习效果。
以上虽然说明了本发明的实施方式，但本发明并不限定于上述实施方式，只要不脱离权利要求范围所记载的本发明的要旨，也包含其它的变形例、应用例。
例如，上述的实施方式为了容易说明本发明而对装置及系统的构成做了详细且具体的说明，但并不一定限定为必须具备所说明过的全部构成。此外，可以将某个实施方式的构成的一部分置换成其它实施方式的构成，此外可以对某个实施方式的构成加入其它实施方式的构成。此外，关于各实施方式的构成的一部分，也可以进行其它构成的追加、删除、置换。
此外，例如也可以利用集成电路通过设计等而用硬件来实现上述的各构成、功能、处理部等的一部分或全部。此外，可以通过用于由处理器解释实现各个功能的程序并执行的软件来实现上述的各构成、功能等。实现各功能的程序、表、文件等信息可保存在内存、硬盘、SSD(固态硬盘(Solid State Drive))等易失性或非易失性的存储器、或IC卡、光盘等存储介质上。
此外，控制线和信息线考虑说明上的必要而进行了表示，在产品上未必会标示所有的控制线和信息线。实际上可以认为几乎全部的构成是相互连接的。

Claims (8)

1.一种吸引度值处理系统，其特征在于：
所述吸引度值处理系统包括：
显示部，显示内容；
摄像装置，设置在能够拍摄观看所述显示部的用户的脸部的方向上；
脸部检测处理部，从由所述摄像装置输出的图像数据流，检测所述用户的脸部的存在，输出对所述用户的脸部进行提取而得到的脸部提取图像数据；
特征点提取部，从所述脸部提取图像数据输出特征点数据，所述特征点数据是包含所述用户的脸部的轮廓且具有二维空间内的坐标信息的特征点的集合体；
向量分析部，从所述特征点数据，以规定的采样率生成表示所述用户的脸部的朝向的脸部方向向量和表示所述用户的脸部的视线的朝向的视线方向向量；
吸引度计算部，从所述脸部方向向量与所述视线方向向量，计算所述用户的针对所述内容的吸引度值；以及
数据库，存储唯一识别所述用户的用户ID、所述用户收看所述内容的收看日期时间、唯一识别所述内容的内容ID、表示所述内容的播放位置的播放位置信息、以及所述吸引度计算部输出的所述用户的针对所述内容的所述吸引度值。
2.根据权利要求1所述的吸引度值处理系统，其特征在于，
所述吸引度计算部包括：
向量加算部，对所述脸部方向向量与所述视线方向向量进行加法计算，计算出注视方向向量，所述注视方向向量表示所述用户注视三维空间内的何处，所述三维空间包含显示内容的所述显示部与所述摄像装置；
注视方向判断部，判断所述注视方向向量是否朝向所述显示部，输出注视方向判断结果；以及
平滑化处理部，用规定的样本数对所述注视方向判断结果进行平滑化。
3.根据权利要求2所述的吸引度值处理系统，其特征在于，
所述吸引度计算部还包括：
斜视判断部，判断所述脸部方向向量是否朝向所述显示部；
闭眼判断部，判断所述用户是否闭眼；以及
吸引度计算处理部，将所述平滑化处理部输出的吸引度基础值、所述斜视判断部输出的斜视判断结果、以及所述闭眼判断部输出的闭眼判断结果乘以规定的加权系数后进行加法计算。
4.根据权利要求3所述的吸引度值处理系统，其特征在于，
所述吸引度值处理系统还包括：
脉搏检测区域提取部，基于所述特征点数据，执行所述脸部提取图像数据中所含的相当于所述用户的脸部的一部分的图像数据的切出，并将得到的部分图像数据输出；以及
脉搏计算部，从所述部分图像数据的确定的色彩成分的亮度在时间轴上的变动量，计算所述用户的脉搏；
所述数据库还存储所述脉搏计算部输出的所述用户的脉搏数据。
5.根据权利要求4所述的吸引度值处理系统，其特征在于，
所述吸引度值处理系统还包括情感推定部，所述情感推定部基于所述特征点数据，推定用户的情感，
所述数据库存储情感数据，所述情感数据表示所述情感推定部推定的所述用户的情感。
6.一种吸引度值处理装置，其特征在于：
所述吸引度值处理装置包括：
内容播放处理部，播放内容；
显示部，显示所述内容；
摄像装置，设置在能够拍摄观看所述显示部的用户的脸部的方向上；
脸部检测处理部，从所述摄像装置输出的图像数据流，检测所述用户的脸部的存在，输出对所述用户的脸部进行提取而得到的脸部提取图像数据；
特征点提取部，从所述脸部提取图像数据输出特征点数据，所述特征点数据是包含所述用户的脸部的轮廓且具有二维空间内的坐标信息的特征点的集合体；
向量分析部，从所述特征点数据，以规定的采样率生成表示所述用户的脸部的朝向的脸部方向向量和表示所述用户的脸部的视线的朝向的视线方向向量；
吸引度计算部，从所述脸部方向向量与所述视线方向向量，计算所述用户的针对所述内容的吸引度值；以及
播放控制部，根据所述吸引度值的大小，对所述内容播放处理部指示所述内容的播放、暂停、播放速度的变更。
7.根据权利要求6所述的吸引度值处理装置，其特征在于，
所述吸引度计算部包括：
向量加算部，对所述脸部方向向量与所述视线方向向量进行加法计算，计算出注视方向向量，所述注视方向向量表示所述用户注视三维空间内的何处，所述三维空间包含显示所述内容的所述显示部与所述摄像装置；
注视方向判断部，判断所述注视方向向量是否朝向所述显示部，输出注视方向判断结果；以及
平滑化处理部，用规定的样本数对所述注视方向判断结果进行平滑化。
8.根据权利要求7所述的吸引度值处理装置，其特征在于，
所述吸引度计算部还包括：
斜视判断部，判断所述脸部方向向量是否朝向所述显示部；
闭眼判断部，判断所述用户是否闭眼；以及
吸引度计算处理部，将所述平滑化处理部输出的吸引度基础值、所述斜视判断部输出的斜视判断结果、以及所述闭眼判断部输出的闭眼判断结果乘以规定的加权系数后进行加法计算。
CN201780038108.1A 2016-06-23 2017-05-02 吸引度值处理系统及吸引度值处理装置 Pending CN109416834A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016124611 2016-06-23
JP2016-124611 2016-06-23
PCT/JP2017/017260 WO2017221555A1 (ja) 2016-06-23 2017-05-02 エンゲージメント値処理システム及びエンゲージメント値処理装置

Publications (1)

Publication Number Publication Date
CN109416834A true CN109416834A (zh) 2019-03-01

Family

ID=60783447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780038108.1A Pending CN109416834A (zh) 2016-06-23 2017-05-02 吸引度值处理系统及吸引度值处理装置

Country Status (6)

Country Link
US (1) US20190340780A1 (zh)
JP (1) JP6282769B2 (zh)
KR (1) KR20190020779A (zh)
CN (1) CN109416834A (zh)
TW (1) TW201810128A (zh)
WO (1) WO2017221555A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6872742B2 (ja) * 2016-06-30 2021-05-19 学校法人明治大学 顔画像処理システム、顔画像処理方法及び顔画像処理プログラム
JP7075237B2 (ja) * 2018-02-23 2022-05-25 ラピスセミコンダクタ株式会社 操作判定装置及び操作判定方法
KR102479049B1 (ko) * 2018-05-10 2022-12-20 한국전자통신연구원 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법
KR102073940B1 (ko) * 2018-10-31 2020-02-05 가천대학교 산학협력단 스마트 단말을 이용한 ar hmd의 통합 인터페이스를 구축하는 장치 및 방법
JP2020086921A (ja) * 2018-11-26 2020-06-04 アルパイン株式会社 画像処理装置
WO2020170083A1 (en) * 2019-02-22 2020-08-27 Semiconductor Energy Laboratory Co., Ltd. Glasses-type electronic device
KR102333976B1 (ko) * 2019-05-24 2021-12-02 연세대학교 산학협력단 사용자 인식 기반의 영상 제어 장치 및 그 동작방법
KR102204743B1 (ko) * 2019-07-24 2021-01-19 전남대학교산학협력단 시선 움직임 분석에 의한 감정 인식 장치 및 방법
JP6945693B2 (ja) * 2019-08-31 2021-10-06 グリー株式会社 動画再生装置、動画再生方法、及び動画配信システム
CN111597916A (zh) * 2020-04-24 2020-08-28 深圳奥比中光科技有限公司 一种专注度检测方法、终端设备及系统
US11381730B2 (en) * 2020-06-25 2022-07-05 Qualcomm Incorporated Feature-based image autofocus
CN111726689B (zh) * 2020-06-30 2023-03-24 北京奇艺世纪科技有限公司 一种视频播放控制方法及装置
WO2023032057A1 (ja) * 2021-08-31 2023-03-09 株式会社I’mbesideyou ビデオセッション評価端末、ビデオセッション評価システム及びビデオセッション評価プログラム
KR102621990B1 (ko) * 2021-11-12 2024-01-10 한국전자기술연구원 영상 기반의 생체 및 행태 데이터 통합 검출 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277192A (ja) * 2005-03-29 2006-10-12 Advanced Telecommunication Research Institute International 映像表示システム
CN102301316A (zh) * 2009-12-14 2011-12-28 松下电器产业株式会社 用户界面装置以及输入方法
JP2012222464A (ja) * 2011-04-05 2012-11-12 Hitachi Consumer Electronics Co Ltd 自動録画機能を有する映像表示装置および録画装置並びに自動録画方法
JP2016063525A (ja) * 2014-09-22 2016-04-25 シャープ株式会社 映像表示装置及び視聴制御装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10216096A (ja) 1997-02-04 1998-08-18 Matsushita Electric Ind Co Ltd 生体信号解析装置
JP2003111106A (ja) 2001-09-28 2003-04-11 Toshiba Corp 集中度取得装置並びに集中度を利用した装置及びシステム
US6937745B2 (en) * 2001-12-31 2005-08-30 Microsoft Corporation Machine vision system and method for estimating and tracking facial pose
JP3797253B2 (ja) * 2002-03-14 2006-07-12 日産自動車株式会社 視線方向検出装置
JP2007036846A (ja) * 2005-07-28 2007-02-08 Nippon Telegr & Teleph Corp <Ntt> 動画再生装置およびその制御方法
EP2395420B1 (en) * 2009-02-05 2018-07-11 Panasonic Intellectual Property Corporation of America Information display device and information display method
JP2013070155A (ja) * 2011-09-21 2013-04-18 Nec Casio Mobile Communications Ltd 動画スコアリングシステム、サーバ装置、動画スコアリング方法、動画スコアリングプログラム
JP5771127B2 (ja) * 2011-11-15 2015-08-26 日本放送協会 注目度推定装置およびそのプログラム
US9100685B2 (en) * 2011-12-09 2015-08-04 Microsoft Technology Licensing, Llc Determining audience state or interest using passive sensor data
US20140078039A1 (en) * 2012-09-19 2014-03-20 United Video Properties, Inc. Systems and methods for recapturing attention of the user when content meeting a criterion is being presented
US20140258268A1 (en) * 2013-03-11 2014-09-11 United Video Properties, Inc. Systems and methods for browsing content stored in the viewer's video library
JP6236875B2 (ja) * 2013-05-24 2017-11-29 富士通株式会社 コンテンツ提供プログラム，コンテンツ提供方法及びコンテンツ提供装置
KR20150062647A (ko) * 2013-11-29 2015-06-08 삼성전자주식회사 영상처리장치 및 그 제어방법
JP6393984B2 (ja) * 2013-12-19 2018-09-26 富士通株式会社 脈拍計測装置、脈拍計測方法及び脈拍計測プログラム
KR20170136160A (ko) * 2016-06-01 2017-12-11 주식회사 아이브이티 시청자 몰입도 평가 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006277192A (ja) * 2005-03-29 2006-10-12 Advanced Telecommunication Research Institute International 映像表示システム
CN102301316A (zh) * 2009-12-14 2011-12-28 松下电器产业株式会社 用户界面装置以及输入方法
JP2012222464A (ja) * 2011-04-05 2012-11-12 Hitachi Consumer Electronics Co Ltd 自動録画機能を有する映像表示装置および録画装置並びに自動録画方法
JP2016063525A (ja) * 2014-09-22 2016-04-25 シャープ株式会社 映像表示装置及び視聴制御装置

Also Published As

Publication number Publication date
TW201810128A (zh) 2018-03-16
JP6282769B2 (ja) 2018-02-21
KR20190020779A (ko) 2019-03-04
JP2018005892A (ja) 2018-01-11
US20190340780A1 (en) 2019-11-07
WO2017221555A1 (ja) 2017-12-28

Similar Documents

Publication Publication Date Title
CN109416834A (zh) 吸引度值处理系统及吸引度值处理装置
JP7041763B2 (ja) ユーザの感情状態を用いて仮想画像生成システムを制御するための技術
JP7184914B2 (ja) 対話型コンテンツにおけるイベントの発見及び検出
Sundstedt Gazing at games: An introduction to eye tracking control
CN110201398A (zh) 统计上定义的游戏频道
CN109478097A (zh) 用于提供关于用户行为的基于眼睛追踪的信息的方法和系统、客户端设备、服务器和计算机程序产品
US20160144278A1 (en) Affect usage within a gaming context
WO2023273500A1 (zh) 数据展示方法、装置、电子设备、计算机程序以及计算机可读存储介质
US20150186912A1 (en) Analysis in response to mental state expression requests
Sundstedt et al. Visual attention and gaze behavior in games: An object-based approach
Jiang et al. Fantastic answers and where to find them: Immersive question-directed visual attention
Leroy et al. Second screen interaction: an approach to infer tv watcher's interest using 3d head pose estimation
Mancini et al. How is your laugh today?
Masmoudi et al. Meltdowncrisis: Dataset of autistic children during meltdown crisis
Goudé et al. Multi-map Saliency-driven Gaze Behavior for Virtual Characters
Sharma et al. Face saliency in various human visual saliency models
TWI823577B (zh) 可辨識使用者疲勞的運動訓練系統
Tawari et al. Distributed multisensory signals acquisition and analysis in dyadic interactions
Guo et al. Using face and object detection to quantify looks during social interactions
Zdziarski Visual Attention Using 2D & 3D Displays
Song et al. Posture Recognition for Human-robot Interaction Based on High Speed Camera
Utsumi et al. Attention monitoring based on temporal signal-behavior structures
Taschner The Impact of Interaction and Agency on Eliciting Fear in Virtual Reality
Sjöblom Investigating Gaze Attraction to Bottom-Up Visual Features for Visual Aids in Games
CN115299945A (zh) 一种注意力及疲劳程度的评估方法以及可穿戴设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190301