CN108293150A - 情绪定时媒体回放 - Google Patents
情绪定时媒体回放 Download PDFInfo
- Publication number
- CN108293150A CN108293150A CN201680068140.XA CN201680068140A CN108293150A CN 108293150 A CN108293150 A CN 108293150A CN 201680068140 A CN201680068140 A CN 201680068140A CN 108293150 A CN108293150 A CN 108293150A
- Authority
- CN
- China
- Prior art keywords
- content
- emotional
- label
- data
- wearable device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000036651 mood Effects 0.000 title claims abstract description 68
- 230000002996 emotional effect Effects 0.000 claims abstract description 82
- 208000027534 Emotional disease Diseases 0.000 claims abstract description 34
- 238000000034 method Methods 0.000 claims abstract description 32
- 230000036772 blood pressure Effects 0.000 claims description 15
- 238000012545 processing Methods 0.000 claims description 15
- 230000008451 emotion Effects 0.000 claims description 13
- 230000008921 facial expression Effects 0.000 claims description 13
- 238000005516 engineering process Methods 0.000 description 23
- 230000004044 response Effects 0.000 description 15
- 238000004458 analytical method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 239000003550 marker Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000006116 polymerization reaction Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 239000012634 fragment Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000007670 refining Methods 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- SBMYBOVJMOVVQW-UHFFFAOYSA-N 2-[3-[[4-(2,2-difluoroethyl)piperazin-1-yl]methyl]-4-[2-(2,3-dihydro-1H-inden-2-ylamino)pyrimidin-5-yl]pyrazol-1-yl]-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)ethanone Chemical compound FC(CN1CCN(CC1)CC1=NN(C=C1C=1C=NC(=NC=1)NC1CC2=CC=CC=C2C1)CC(=O)N1CC2=C(CC1)NN=N2)F SBMYBOVJMOVVQW-UHFFFAOYSA-N 0.000 description 1
- 241001269238 Data Species 0.000 description 1
- 206010027940 Mood altered Diseases 0.000 description 1
- MKYBYDHXWVHEJW-UHFFFAOYSA-N N-[1-oxo-1-(2,4,6,7-tetrahydrotriazolo[4,5-c]pyridin-5-yl)propan-2-yl]-2-[[3-(trifluoromethoxy)phenyl]methylamino]pyrimidine-5-carboxamide Chemical compound O=C(C(C)NC(=O)C=1C=NC(=NC=1)NCC1=CC(=CC=C1)OC(F)(F)F)N1CC2=C(CC1)NN=N2 MKYBYDHXWVHEJW-UHFFFAOYSA-N 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000009532 heart rate measurement Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010181 skin prick test Methods 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 235000011888 snacks Nutrition 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000004243 sweat Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
- H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/34—Indicating arrangements
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
-
- G—PHYSICS
- G11—INFORMATION STORAGE
- G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
- G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
- G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
- G11B27/11—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information not detectable on the record carrier
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/4508—Management of client data or end-user data
- H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
- H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
- H04N21/4667—Processing of monitored end-user data, e.g. trend analysis based on the log file of viewer selections
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Computer Security & Cryptography (AREA)
- Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Neurosurgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Networks & Wireless Communication (AREA)
- User Interface Of Digital Computer (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Information Transfer Between Computers (AREA)
Abstract
本文大体描述用于情绪标记的系统和方法的实施例。一种方法可以包括:在设备处接收生物计量数据和时间戳,分析生物计量数据以确定发生情绪反应,基于情绪反应使用情绪内容标签来标记内容的部分,其中内容的部分在对应于时间戳的时间期间被播放,并且将所述内容的部分和情绪内容标签发送到服务器。一种方法可以包括将被标记为情绪内容的内容进行聚合,生成情绪内容视频片段,以及提供情绪内容视频片段。
Description
优先权要求
本申请要求享有于2015年12月22日提交的标题为“EMOTIONAL TIMED MEDIAPLAYBACK”的美国专利申请序号14/978,870的优先权的权益,其全部内容通过引用合并于此。
背景技术
人们观看媒体的方式已经从围绕电视节目制定个人日程的时代巨大变化到当今在互联网上的媒体流式传输占据主导(通常以小的媒体片段,正如在线服务所流行的那样)。人们经常登录带有视频媒体服务的网站以观看小视频片段(通常少于5分钟),做一些媒体专家称之为“吃媒体零食”的行为。由于人们忙碌的生活以及他们对提供精神和情绪缓解的小憩的需求,这种消费方式受到欢迎。
附图说明
在不一定按比例绘制的附图中,相似的数字可以在不同的视图中描述相似的组件。具有不同字母后缀的相似数字可以表示相似组件的不同实例。附图通常以举例的方式而非限制性地说明本文档中所讨论的各种实施例。
图1示出了示出根据一些实施例的情绪标记系统的图。
图2示出了根据一些实施例的示出随着时间的传感器数据的图。
图3示出了根据一些实施例的可穿戴设备标记系统。
图4示出了示出根据一些实施例的用于情绪标记的技术的流程图。
图5一般地示出了根据一些实施例的本文所讨论的技术(例如,方法)中的任何一个或多个可以执行的机器的框图的示例。
图6示出了根据一些实施例的示出用于聚合情绪内容的技术的流程图。
具体实施方式
观看短视频片段变得越来越普遍。这些视频可能是用户的真实的新作品,也可能是从流行电影、电视节目、音乐会、体育游戏等中提取的小块(chunk)。这些小块可能是由于它们唤起的某种强烈情绪而引人注目的有价值块(nugget),如笑声和快乐、悲伤、同情、激励会谈、胜利或类似的。这些有价值块的提取目前是手动完成的,并且可能导致具有稍微不同的时间窗口的相同事件的数十或数百个副本。例如,使得球队夺得非常重要胜利的篮球得分可能在未来几年一遍又一遍地播放,并且在哪里开始该剪辑以及记录多长时间可能在不同的副本中有所不同。得分可能是由于抢球而发生的,并且该剪辑的一个版本可能包括从抢到球到得分的那20秒。然而,由另一个球迷制作的另一个版本可能包括2分钟的回放,其中在抢球之前他们的明星球员可能已被犯规抢断并受伤,这导致球员和球迷的情绪冲动,并最终导致决定性的得分。另一个不同的剪辑可能会从得分开始,然后延长以显示球队的庆祝和对主要球员的采访。相同的组块(chunking)可能适用于其他视频,如演讲、电影等。对于最终用户来说,针对回放哪个视频做出选择可能是随机的和不知情的,并且可能会在找到“正确”(至少是针对用户)视频之前包括多次尝试。
使用可穿戴设备、情境感知系统或HTML5视频回放(定时媒体回放)中的进步,可以创建用于视频标记/组块和个性化回放的更自适应的自动化系统。
在示例中,由万维网联盟(W3C)定义的诸如HTML5的标准媒体文件类型可用于播放媒体。HTML5的一个组件包括定时媒体(Timed Media),它定义了带有音频及视频流、字幕和其他同步信息的媒体对象。这些元素允许开发人员为媒体对象指定外部轨。
技术可以包括在视频回放期间使用用户的心率签名来识别用于回放的指定的视频块。该技术可以迭代并使用众包来匿名化情绪的个人数据并创建具有很大吸引力的时间窗口(例如,归一化和平均化)。数据可以保存在对应于视频块的定时媒体流中。当第二用户请求播放视频(或播放对应于事件的视频)时,可以动态地生成多个可能的视频块用于回放。该技术可以包括基于第二用户、用户的情境和时间表自行选择适当的视频块来播放,或者向第二用户提供不同选项以进行选择。
图1示出了示出根据一些实施例的情绪标记系统100的图。情绪标记系统100包括用户102和一个或多个显示设备104-106。一个或多个显示设备104-106可以包括能够显示媒体的任何设备。在另一个示例中,用户102可以在情绪标记系统100中的设备上收听音频。用户102穿戴包括传感器(例如用于心率监测的传感器)的可穿戴设备108。当用户102在一个或多个显示设备104-106上观看媒体时,可穿戴设备108可以监测用户102的属性。在示例中,可穿戴设备108分析对显示在一个或多个显示设备104-106上的媒体的情绪反应。在该示例中,可穿戴设备108可以将情绪反应发送到内容控制器110。情绪标记系统100包括与可穿戴设备108无线通信的内容控制器110。内容控制器110可以包括计算机、平板电脑、移动电话等。内容控制器110可用于分析和比较所接收的情绪反应与基线,诸如通用基线或用户特定基线。当内容控制器110确定已经发生情绪反应时,诸如当所接收的情绪反应适合情绪反应模型或超过基线时,内容控制器110可以用情绪内容标签来标记内容。内容控制器110可以与一个或多个显示设备104-106进行通信。当可穿戴设备108检测到情绪反应发生时,内容控制器110可以标记在一个或多个显示设备104-106上播放的媒体。内容控制器110可以使用HTML5媒体文件中的定时回放标签来标记媒体。在示例中,情绪分析可以包括使用心率、面部表情、音频解释(例如,音量、词、改变等)、分心水平(例如,眼睛接触)等。在另一个示例中,情绪分析可以包括使用血压或皮肤电导,例如通过测量汗水,来区分情绪响应类型,例如愤怒或紧张。
情绪标记系统100包括与内容控制器110通信并且可选地与一个或多个显示设备104-106通信的情绪标记服务器112。情绪标记服务器112可将情绪定时回放标记媒体与其他情绪标记媒体进行聚合。具有情绪标签(或多个情绪标签)的多个媒体剪辑可由情绪标记服务器112创建。情绪标记服务器112可将定时回放情绪标签、媒体剪辑或二者发送到情绪标记系统100的内容服务器114。内容服务器114可以从情绪标记服务器112请求聚合的内容标记物。在一个示例中,内容服务器114可以生成剪辑,诸如一组视频片段或者用于视频的起始和结束标记物。生成的剪辑可能包括定时回放标签。情绪标记系统100可以诸如在内容服务器114处接收对媒体的请求。该请求可以包括期望的情绪标签或与事件相关的媒体。该请求可以在设备116处进行。设备116可以从内容服务器114接收包括情绪内容标签的媒体,以便诸如第二用户或用户102的用户观看、从中选择并且然后观看、或者请求细化。设备116可以在对内容服务器114的内容请求中包括媒体的时间限制或时间范围。
在示例中,内容控制器110、情绪标记服务器112和内容服务器114中的一个或多个可以被组合在单个服务器或设备上。一个或多个显示设备104-106可以与内容控制器110、情绪标记服务器112和内容服务器114中的一个或多个组合。在另一个示例中,一个或多个显示设备104-106可以包括设备116。
在使用情绪标记系统100的示例技术中,在回放视频的原始片段期间,用户102可以从服务器流式传输内容。可穿戴设备108捕捉用户102的情绪状态,以找到自对于用户102特定的基线的变化。基线可由可穿戴设备108在短时间段内(例如,在训练期间)学习。可穿戴设备108可以是个人设备,并且所学习的数据可以是对于用户102特定的。基线可以包括情绪的强度和用户102的反应的变化。在另一个示例中,来自可穿戴设备108的传感器数据可以通过诸如安装在面向用户102的一个或多个显示设备104-106上的相机的其他输入来增强,以分析用户102的面部表情。从内容服务器114向用户的输出可以是基于观看内容的用户的人口统计。例如,可以将元数据、先前的用户反应、或用户偏好(诸如政治观点、演员偏好、电视或电影偏好的类型、媒体的先前观看等)用作人口统计。
图2示出了根据一些实施例的示出随着时间推移的传感器数据的图200。图200示出了在一段时间内显示用户的兴奋的几个传感器流之间的相关性。这些流包括对应时间的峰值和谷值,表明所显示的兴奋以可测量的方式重复。在示例中,可以将流标准化为模型,并且标准化的模型可以用作未来测量的基线,例如以确定用户是否显示出兴奋。例如,来自传感器的测量的流可以测量显示出兴奋的用户,这可以通过比较流(并且可以将流标准化)与基线来确定。在示例中,可以从心率、面部识别或面部表情、电流皮肤响应等中提取传感器数据。
如图200所示,测量最终在强度上减小并随时间推移逐渐减小。当确定何处开始和停止对应于兴奋的媒体片段时,可以使用图200。例如,该片段可能会在第一测量峰值之前几秒钟开始,直到测量开始逐渐减小之后的几秒钟。
在另一个示例中,图200可以表示来自第一用户的测量。第二用户的图可能包括一组不同的峰值和谷值,这些峰值和谷值可用于创建不同的基线。第一用户的基线可以与第二用户的基线进行比较,以查看第二用户是否展示了相同种类的情绪响应。这可以针对多个用户重复以确定标准情绪响应。在示例中,可以使用最强烈的情绪响应来确定该片段的定时。在另一个示例中,可以创建片段的多个不同版本,并且可以基于观看用户的人口统计与基线用户的人口统计如何相比来进行排名。人口统计可以包括性别、位置、过去的观看、用户提交的偏好(例如,用户偏好看到没有情境的最精彩的部分,用户偏好看事件之后的引导和庆祝等)、浏览器历史等。
在示例中,图200可以表示正面情绪反应。在另一个示例中,负面情绪反应可能对应于用于创建负面基线的不同图。例如,心率监测可用于确定情绪反应是正面还是负面。在这个示例中,快乐或兴奋的用户可能代表正面情绪反应,而悲伤或愤怒的用户可能代表负面情绪反应。其他传感器监测、相机情绪检测或用户输入可用于进一步细化正面或负面情绪反应。在示例中,例如图200所示的一个示例中,正面的情绪反应可以通过具有缓和的长峰然后快速下降的流来说明。在另一个示例中,负面的情绪反应可以通过具有强烈尖峰伴随长尾的流来说明。
图3示出了根据一些实施例的可穿戴设备标记系统300。可穿戴设备标记系统300包括可穿戴设备302和设备301。设备301可以包括移动设备,诸如电话或平板电脑、计算机或服务器。可穿戴设备302可以包括处理电路304、存储器306、显示器308、传感器310、按钮312或相机314。
在示例中,传感器310可以用于测量心率、血压或皮肤电导。可以使用血压、皮肤电导或心率测量来确定穿戴可穿戴设备302的用户感觉到情绪或强烈情绪的时间段。处理电路304可以使用模型或预定医学研究结果作出该确定。例如,悲伤和快乐(例如,负面情绪和正面情绪)可能会增加心率。在负面情绪和正面情绪中,改变的周期和响应时间可以不同,从而允许以高准确度使用心率来识别情绪的极性(例如,正面或负面)的能力。
在另一示例中,当可穿戴设备308在媒体回放期间检测到情绪事件时,可穿戴设备308可将那些事件或关于那些事件的信息转发到设备301,诸如用于观看媒体的设备或内容提供者和可穿戴设备308两者可达的设备。设备301可将从可穿戴设备308接收到的情绪事件的流同步到情绪事件期间正在播放的媒体内容。在示例中,可以使用同步来创建具有定时回放标记数据的HTML5媒体文件。
设备301可以将数据上传到情绪标记服务器。服务器可以聚合来自多个用户的情绪数据。这种聚合可以允许情绪标记服务器提供对于敏感数据的隐私的水平,例如个人的情绪,并且它可以给情绪标记服务器提供平滑数据中异常值的机会。异常值可能包括媒体回放过程中发生的情绪响应,其是由除了媒体之外的因素引起的,如来电、房间中的活动或人们有情绪响应的许多其他原因。在另一个示例中,异常值可能是由于具有特别糟糕的一天的带有歪斜情绪的用户造成的。情感标记服务器可以拒绝异常值,除非其他聚合内容显示用户在大约相同的回放时间的情绪体验。
可穿戴设备308可以向可以编译的设备301发送可能有助于表征用户的情绪流的关于用户的其他细节和特征。该组特征可以包括人口统计、典型的基线、典型的情绪变化、最爱的艺术家、团队、政党、意识形态等。在示例中,可以显式指示数据或者通过行为检测或识别来学习数据。情绪标记服务器可以接收数据并且可以使用机器学习来检测来自多个用户的一系列模式以创建全局情绪流。全局情绪流可能包括可能附加到媒体上的情绪内容标签。在另一个示例中,媒体的唯一标识符可以用来创建唯一的散列。散列可用于与媒体服务器进行通信,并用情绪数据指示存在定时回放流。当用户请求媒体时,内容服务器可以请求流。内容服务器可以接收情感流或其片段。
在示例中,用户可以与用于在飞行中(on the fly)对流进行组块并向用户提供具有不同回放时间的多个版本的一般情感标记物集合匹配。如果用户与内容服务器共享简档数据,例如由可穿戴设备308本地收集和维护的数据,则用户可以接收基于具有类似特征的其他用户更精确地与用户个性相匹配的不同流。用户的情绪状态可以上传到服务器以进一步细化数据。
在另一个示例中,根据用户偏好,情绪标记物可以用于基于不合适的内容从流中移除场景或跳过场景。例如,家长可基于其他用户对内容的情绪反应(例如,其他父母将内容标记为不适合低于特定年龄的儿童)而自动地限制针对儿童的内容而不预览内容。在另一个示例中,情绪免责声明可以在内容播放之前显示或响起。例如,基于用户的反应,可能指示电影包括恐怖或悲伤的场景。个人场景可能包括情绪免责声明。例如,观看电影的用户可以接收下一场景会使用户感到悲伤、开心、愤怒、快乐、害怕等的情绪免责声明。情绪免责声明可以包括显示的警报、可听警报或触觉警报。情绪免责声明可以由显示内容的设备、移动设备或可穿戴设备308作出。例如,可穿戴设备308可以响应于接收到下一场景具有情绪内容的指示而点亮或振动。这可以允许用户在不中断当前场景的情况下处理警告。在另一个示例中,情绪免责声明可以允许用户或父母跳过下一个场景、将其静音、静音并显示文本、创建图像总结以汇总下一个场景,例如在场景对于情节重要时,或者类似的。在又一示例中,如果用户戴着个性化的眼镜或护目镜来观看内容,则下一个场景可以针对用户被滤除或者针对用户显示而针对其他用户以不同的方式采取动作。
图4图示了示出根据一些实施例的用于情绪标记的技术400的流程图。
技术400包括接收生物计量数据和时间戳的操作402。生物计量数据和时间戳可以在诸如可穿戴设备的设备处被接收。在示例中,生物计量数据和时间戳可以由可穿戴设备生成。生物计量数据可以包括心率数据、血压数据、皮肤电导数据、照相机数据等。
技术400包括用于分析生物计量数据以确定发生情绪反应的操作404。分析生物计量数据可以包括分析心率数据以确定心率数据是否匹配正或负分布(profile),诸如用户的基线。当心率数据匹配正分布时,情绪内容标签可以包括正面情绪内容标签,并且当心率数据匹配负分布时,情绪内容标签可以包括负面情绪内容标签。
技术400包括基于情绪反应,用情绪内容标签来标记内容的部分的操作406。在示例中,内容的部分可以是在对应于时间戳的时间期间正在播放的内容的部分。在另一个示例中,标记内容的部分可以包括将诸如定时媒体标签的标签添加到HTML5媒体文件。HTML5媒体文件可能包含内容的部分。在又一示例中,情绪内容标签可以基于设备的用户的预定义的人口统计。
技术400包括将内容的部分和情绪内容标签发送到服务器的操作408。技术400可以进一步包括根据内容文件创建内容的部分。内容的部分可以使用时间戳和检测到的场景开始而被创建。在另一个示例中,可以使用两个时间戳,对应于情绪反应的开始的第一时间戳和对应于情绪反应的结束的第二时间戳。可以使用两个时间戳创建内容部分,诸如通过在第一和第二时间戳或者在几秒钟之前或之后开始和结束内容部分。
图5大致示出了根据一些实施例的本文所讨论的技术(例如,方法)中的任何一个或多个技术可以在其上执行的机器500的框图的示例。在替代实施例中,机器500可以作为独立设备操作或者可以连接(例如联网)到其他机器。在联网部署中,机器500可以在服务器机器、客户端机器、或服务器-客户端网络环境中的能力下运行。在示例中,机器500可以用作对等(P2P)(或其他分布式)网络环境中的对等机器。机器500可以是个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、移动电话、web设备、网络路由器、交换机或网桥、或者任何能够执行指定该机器要执行的动作的指令(顺序或其他)的机器。此外,尽管仅示出单个机器,但术语“机器”也应被理解为包括单独或联合执行一组(或多组)指令以执行本文讨论的任何一种或多种方法的任何机器集合,如云计算、软件即服务(SaaS)、其他计算机集群配置。
如本文所述,示例可以包括逻辑或多个组件、模块或机构或可以对其进行操作。模块是在操作时能够执行指定操作的有形实体(例如,硬件)。模块包括硬件。在示例中,硬件可以被具体配置为执行特定操作(例如,硬连线)。在示例中,硬件可以包括可配置执行单元(例如晶体管、电路等)和包含指令的计算机可读介质,其中指令配置执行单元以在操作中执行特定操作。配置可能在执行单元或加载机制的引导下发生。因此,当设备运行时,执行单元通信地耦合到计算机可读介质。在这个示例中,执行单元可能是多于一个模块的成员。例如,在操作下,执行单元可以由第一组指令配置为在一个时间点实现第一模块并且由第二组指令重新配置以实现第二模块。
机器(例如,计算机系统)500可以包括硬件处理器502(例如,中央处理单元(CPU)、图形处理单元(GPU)、硬件处理器核心、或其任何组合)、主存储器504和静态存储器506,其中的一些或全部可以经由互连(例如,总线)508彼此通信。机器500还可以包括显示单元510、字母数字输入设备512(例如,键盘)和用户界面(UI)导航设备514(例如,鼠标)。在示例中,显示单元510、字母数字输入设备512和UI导航设备514可以是触摸屏显示器。机器500可以另外包括存储设备(例如驱动单元)516、信号发生设备518(例如扬声器)、网络接口设备520以及一个或多个传感器521,诸如全球定位系统(GPS)传感器、指南针、加速计或其他传感器。机器500可以包括诸如串行(例如,通用串行总线(USB))、并行、或其他有线或无线(例如,红外(IR)、近场通信(NFC)等)连接以与一个或多个外围设备(例如,打印机、读卡器等)通信或控制一个或多个外围设备(例如,打印机、读卡器等)的输出控制器528。
存储设备516可以包括非暂时性的机器可读介质522,在该机器可读介质522上存储体现本文描述的技术或功能中的任何一个或多个技术或功能或者被本文描述的技术或功能中的任何一个或多个技术或功能利用的一组或多组数据结构或指令524(例如,软件)。指令524还可以在由机器500执行期间完全或至少部分地驻留在主存储器504内、在静态存储器506内、或在硬件处理器502内。在示例中,硬件处理器502、主存储器504、静态存储器506、或存储设备516中的一个或任意组合可以构成机器可读介质。
虽然机器可读介质522被示为单个介质,但术语“机器可读介质”可以包括被配置为存储一个或多个指令524的单个介质或多个介质(例如,集中式或分布式数据库,或相关联的高速缓存和服务器)。
术语“机器可读介质”可以包括能够存储、编码或承载供机器500执行并且使机器500执行本公开的技术中的任何一个或多个的指令或者能够存储、编码或承载由这些指令使用或与这些指令相关联的数据结构的任何介质。非限制性机器可读介质示例可以包括固态存储器以及光学和磁性介质。机器可读介质的具体示例可以包括:非易失性存储器,诸如半导体存储器设备(例如,电可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM))和闪存设备;磁盘,诸如内部硬盘和可移动盘;磁光盘;以及CD-ROM和DVD-ROM盘。
指令524可以进一步使用多种传输协议中的任一种(例如,帧中继、因特网协议(IP)、传输控制协议(TCP)、用户数据报协议(UDP)、超文本传输协议(HTTP)等)经由网络接口设备520在使用传输介质的通信网络526上发送或接收。示例性的通信网络可以包括局域网(LAN)、广域网(WAN)、分组数据网络(例如因特网)、移动电话网络(例如蜂窝网络)、普通老式电话(POTS)网络和无线数据网络(例如称为的电气和电子工程师协会(IEEE)802.11系列标准、被称为的IEEE 802.16系列标准)、IEEE 802.15.4系列标准、对等(P2P)网络等。在示例中,网络接口设备520可以包括一个或多个物理插孔(例如,以太网、同轴、或电话插孔)或一个或多个天线以连接到通信网络526。在示例中,网络接口设备520可以包括多个天线,以使用单输入多输出(SIMO)、多输入多输出(MIMO)或多输入单输出(MISO)技术中的至少一个来进行无线通信。术语“传输介质”应被理解为包括能够存储、编码或携带供机器500执行的指令的任何无形介质,并且包括数字或模拟通信信号或用于促进此类软件的通信的其他无形介质。
图6示出了根据一些实施例的示出用于聚合情绪内容的技术600的流程图。技术600包括操作602,用于接收基于生物计量数据而被标记为情绪内容的内容。例如,生物计量数据可以来自连接的可穿戴设备。生物计量数据可以说明对诸如标记为情绪内容的内容的视频内容的情绪反应。生物计量数据可以包括心率数据、血压数据、皮肤电导数据等。技术600包括聚合标记的内容的操作604。在示例中,聚合标记的内容可以包括基于来自标记的内容的元数据将标记的内容与其他接收到的内容进行聚合。
技术600包括用于生成情绪内容视频的操作606。情绪内容视频可以响应于接收到对情绪内容的请求而生成。接收请求可以包括接收对正面或负面情绪内容的请求。该请求可以包括特定的情绪反应,诸如用户期望的情绪反应(例如,“我想感到高兴”)。技术600包括例如响应于接收到请求而提供情绪内容视频的操作608。所提供的情绪内容视频可以包括HTML5视频文件。例如,用户可能处于悲伤的情绪并希望看到催泪节目。用户可以基于众包的元数据或基于用户的过去偏好来请求剪辑的列表或推荐。在另一个示例中,用户可能想要动力。技术600可以返回引起最强的众包响应的特定视频,其可以被显示给用户。
各种注释和示例
这些非限制性示例中的每一个可以独立存在,或者可以以与一个或多个其他示例的各种排列或组合进行组合。
示例1是一种可穿戴设备,包括:处理电路,用于:接收生物计量数据和时间戳;分析生物计量数据以确定发生情绪反应;基于情绪反应使用情绪内容标签来标记内容的部分,其中所述内容的部分在对应于时间戳的时间期间被播放;并将该内容的部分和情绪内容标签发送到服务器。
在示例2中,示例1的主题可选地包括,其中生物计量数据包括心率数据。
在示例3中,示例2的主题可选地包括,其中为了分析生物计量数据,处理电路将分析心率数据以确定心率数据是匹配正分布还是负分布。
在示例4中,示例3的主题可选地包括,其中当心率数据匹配正分布时,情绪内容标签包括正面情绪内容标签,并且当心率数据匹配负分布时,情绪内容标签包括负面情绪内容标签。
在示例5中,示例1-4中的任何一个或多个的主题可选地包括,其中为了标记内容的部分,处理电路将标签添加到HTML5媒体文件。
在示例6中,示例1-5中的任何一个或多个的主题可选地包括,其中处理电路用于根据内容文件创建内容的部分,内容的部分基于时间戳和检测到的场景开始而被创建。
在示例7中,示例1-6中的任何一个或多个的主题可选地包括,其中情绪内容标签进一步基于设备的用户的预定义的人口统计。
在示例8中,示例1-7中的任何一个或多个的主题可选地包括,还包括用于测量生物计量数据的传感器。
在示例9中,示例8的主题可选地包括,其中生物计量数据包括面部表情数据。
在示例10中,示例8-9中的任何一个或多个的主题可选地包括,其中生物计量数据包括血压数据。
在示例11中,示例8-10中的任何一个或多个的主题可选地包括,其中生物计量数据包括皮肤电导数据。
示例12是一种方法,包括:在设备处接收生物计量数据和时间戳;分析生物计量数据以确定发生情绪反应;基于情绪反应使用情绪内容标签来标记内容的部分,其中该内容的部分在对应于时间戳的时间期间被播放;以及将内容的该部分和情绪内容标签发送到服务器。
在示例13中,示例12的主题可选地包括,其中该设备是可穿戴设备。
在示例14中,示例12-13中的任何一个或多个的主题可选地包括,其中生物计量数据包括心率数据。
在示例15中,示例14的主题可选地包括,其中分析生物计量数据包括分析心率数据以确定心率数据是匹配正分布还是负分布。
在示例16中,示例15的主题可选地包括,其中,当心率数据匹配正分布时,情绪内容标签包括正面情绪内容标签,并且当心率数据匹配负分布时,情绪内容标签包括负面情绪内容标签。
在示例17中,示例12-16中的任何一个或多个的主题可选地包括,其中标记内容的部分包括将标签添加到HTML5媒体文件。
在示例18中,示例12-17中的任何一个或多个的主题可选地包括,还包括:根据内容文件创建内容的部分,内容的部分基于时间戳和检测到的场景开始而被创建。
在示例19中,示例12-18中的任何一个或多个的主题可选地包括,其中情绪内容标签进一步基于设备的用户的预定义的人口统计。
在示例20中,示例12-19中的任何一个或多个的主题可选地包括,其中生物计量数据包括面部表情数据。
在示例21中,示例12-20中的任何一个或多个的主题可选地包括,其中生物计量数据包括血压数据。
在示例22中,示例12-21中的任何一个或多个的主题可选地包括,其中生物计量数据包括皮肤电导数据。
示例23是包括用于计算系统的操作的指令的至少一个机器可读介质,所述指令在由机器执行时使所述机器执行示例12-22的任何方法的操作。
示例24是包括用于执行示例12-22的任何方法的单元的装置。
示例25是包括用于计算系统的操作的指令的至少一个机器可读介质,所述指令在由机器执行时使所述机器执行操作,所述操作包括:在设备处接收生物计量数据和时间戳;分析生物计量数据以确定发生情绪反应;基于情绪反应使用情绪内容标签来标记内容的部分,其中内容的部分在对应于时间戳的时间期间被播放;以及将内容的部分和情绪内容标签发送到服务器。
在示例26中,示例25的主题可选地包括,其中该设备是可穿戴设备。
在示例27中,示例25-26中的任何一个或多个的主题可选地包括,其中生物计量数据包括心率数据。
在示例28中,示例27的主题可选地包括,其中分析生物计量数据包括分析心率数据以确定心率数据是匹配正分布还是负分布。
在示例29中,示例28的主题可选地包括,其中,当心率数据匹配正分布时,情绪内容标签包括正面情绪内容标签,并且当心率数据匹配负分布时,情绪内容标签包括负面情绪内容标签。
在示例30中,示例25-29中的任何一个或多个的主题可选地包括,其中标记内容的部分包括将标签添加到HTML5媒体文件。
在示例31中,示例25-30中的任何一个或多个的主题可选地包括,还包括:根据内容文件创建内容的部分,内容的部分基于时间戳和检测到的场景开始而被创建。
在示例32中,示例25-31中的任何一个或多个的主题可选地包括,其中情绪内容标签进一步基于设备的用户的预定义的人口统计。
在示例33中,示例25-32中的任何一个或多个的主题可选地包括,其中生物计量数据包括面部表情数据。
在示例34中,示例25-33中的任何一个或多个的主题可选地包括,其中生物计量数据包括血压数据。
在示例35中,示例25-34中的任何一个或多个的主题可选地包括,其中生物计量数据包括皮肤电导数据。
示例36是一种装置,包括:用于在设备处接收生物计量数据和时间戳的单元;用于分析生物计量数据以确定发生情绪反应的单元;用于基于所述情绪反应使用情绪内容标签来标记内容的部分的单元,其中所述内容的部分在对应于所述时间戳的时间期间被播放;以及用于将内容的部分和情绪内容标签发送到服务器的单元。
在示例37中,示例36的主题可选地包括,其中该设备是可穿戴设备。
在示例38中,示例36-37中的任何一个或多个示例的主题可选地包括,其中生物计量数据包括心率数据。
在示例39中,示例38的主题可选地包括,其中,用于分析生物计量数据的单元包括用于分析心率数据以确定心率数据是匹配正分布还是负分布的单元。
在示例40中,示例39的主题可选地包括,其中,当心率数据匹配正分布时,情绪内容标签包括正面情绪内容标签,并且当心率数据匹配负分布时,情绪内容标签包括负面情绪内容标签。
在示例41中,示例36-40中的任何一个或多个的主题可选地包括,其中用于标记内容的部分的单元包括用于将标签添加到HTML5媒体文件的单元。
在示例42中,示例36-41中的任何一个或多个的主题可选地包括,还包括用于根据内容文件创建内容的部分的单元,内容的部分基于时间戳和检测到的场景开始而被创建。
在示例43中,示例36-42中的任何一个或多个的主题可选地包括,其中情绪内容标签进一步基于设备的用户的预定义的人口统计。
在示例44中,示例36-43中的任何一个或多个的主题可选地包括,其中生物计量数据包括面部表情数据。
在示例45中,示例36-44中的任何一个或多个的主题可选地包括,其中生物计量数据包括血压数据。
在示例46中,示例36-45中的任何一个或多个的主题可选地包括,其中生物计量数据包括皮肤电导数据。
示例47是一种方法,包括:在服务器处接收基于由可穿戴设备测量的生物计量数据而被标记为情绪内容的内容;将标记的内容与其他接收的内容进行聚合;使用聚合内容来生成情绪内容视频片段;接收对情绪内容的请求;以及响应于接收到请求而提供情绪内容视频片段。
在示例48中,示例47的主题可选地包括,其中接收对情绪内容的请求包括接收对正面情绪内容的用户请求。
在示例49中,示例47-48中的任何一个或多个的主题可选地包括,其中情绪内容视频片段是HTML5视频文件。
在示例50中,示例47-49中的任何一个或多个的主题可选地包括,其中生物计量数据包括心率数据。
在示例51中,示例47-50中的任何一个或多个的主题可选地包括,其中聚合标记的内容包括基于来自标记的内容的元数据将标记的内容与其他接收到的内容进行聚合。
在示例52中,示例47-51中的任何一个或多个的主题可选地包括,其中生物计量数据包括面部表情数据。
在示例53中,示例47-52中的任何一个或多个的主题可选地包括,其中生物计量数据包括血压数据。
在示例54中,示例47-53中的任何一个或多个的主题可选地包括,其中生物计量数据包括皮肤电导数据。
示例55是包括用于计算系统的操作的指令的至少一个机器可读介质,所述指令在由机器执行时使所述机器执行操作,所述操作包括:在服务器处接收基于由可穿戴设备测量的生物计量数据而被标记为情绪内容的内容;将标记的内容与其他接收的内容进行聚合;使用聚合内容来生成情绪内容视频片段;接收对情绪内容的请求;以及响应于接收到请求而提供情绪内容视频片段。
在示例56中,示例55的主题可选地包括,其中接收对情绪内容的请求包括接收对正面情绪内容的用户请求。
在示例57中,示例55-56中的任何一个或多个的主题可选地包括,其中情绪内容视频片段是HTML5视频文件。
在示例58中,示例55-57中的任何一个或多个的主题可选地包括,其中生物计量数据包括心率数据。
在示例59中,示例55-58中的任何一个或多个的主题可选地包括,其中聚合标记的内容包括基于来自标记的内容的元数据将标记的内容与其他接收的内容进行聚合。
在示例60中,示例55-59中的任何一个或多个的主题可选地包括,其中生物计量数据包括面部表情数据。
在示例61中,示例55-60中的任何一个或多个的主题可选地包括,其中生物计量数据包括血压数据。
在示例62中,示例55-61中的任何一个或多个的主题可选地包括,其中生物计量数据包括皮肤电导数据。
示例63是一种装置,包括:用于在服务器处接收基于由可穿戴设备测量的生物计量数据而被标记为情绪内容的内容的单元;用于将标记的内容与其他接收的内容进行聚合的单元;用于使用聚合的内容来产生情绪内容视频片段的单元;用于接收对情绪内容的请求的单元;以及用于响应于接收到所述请求而提供所述情绪内容视频片段的单元。
在示例64中,示例63的主题可选地包括,其中用于接收对情绪内容的请求的单元包括用于接收对正面情绪内容的用户请求的单元。
在示例65中,示例63-64中的任何一个或多个的主题可选地包括,其中情绪内容视频片段是HTML5视频文件。
在示例66中,示例63-65中的任何一个或多个的主题可选地包括,其中生物计量数据包括心率数据。
在示例67中,示例63-66中的任何一个或多个的主题可选地包括,其中,用于聚合标记的内容的单元包括用于基于来自标记的内容的元数据将标记的内容与其他接收的内容进行聚合的单元。
在示例68中,示例63-67中的任何一个或多个的主题可选地包括,其中生物计量数据包括面部表情数据。
在示例69中,示例63-68中的任何一个或多个的主题可选地包括,其中生物计量数据包括血压数据。
在示例70中,示例63-69中的任何一个或多个的主题可选地包括,其中生物计量数据包括皮肤电导数据。
示例71是一种设备,包括:处理电路,用于:接收基于由可穿戴设备测量的生物计量数据而被标记为情绪内容的内容;将标记的内容与其他接收的内容进行聚合;使用聚合内容来生成情绪内容视频片段;接收对情绪内容的请求;并且响应于接收到请求而提供情绪内容视频片段。
在示例72中,示例71的主题可选地包括,其中为了接收对情绪内容的请求,处理电路接收对正面情绪内容的用户请求。
在示例73中,示例71-72中的任何一个或多个的主题可选地包括,其中情绪内容视频片段是HTML5视频文件。
在示例74中,示例71-73中的任何一个或多个的主题可选地包括,其中生物计量数据包括心率数据。
在示例75中,示例71-74中的任何一个或多个的主题可选地包括,其中为了聚合被标记的内容,处理电路基于来自被标记的内容的元数据将被标记的内容与其他接收到的内容进行聚合。
在示例76中,示例71-75中的任何一个或多个的主题可选地包括,其中生物计量数据包括面部表情数据。
在示例77中,示例71-76中的任何一个或多个的主题可选地包括,其中生物计量数据包括血压数据。
在示例78中,示例71-77中的任何一个或多个的主题可选地包括,其中生物计量数据包括皮肤电导数据。
这里描述的方法示例可以至少部分地是机器或计算机实现的。一些示例可以包括用指令编码的计算机可读介质或机器可读介质,所述指令可操作来配置电子设备执行如以上示例中所述的方法。这种方法的实现可以包括代码,诸如微码、汇编语言代码、高级语言代码等。这种代码可以包括用于执行各种方法的计算机可读指令。该代码可以形成计算机程序产品的一部分。此外,在示例中,代码可以有形地存储在一个或多个易失性、非暂时性或非易失性有形计算机可读介质上,诸如在执行期间或在其他时间。这些有形计算机可读介质的示例可以包括但不限于硬盘、可移动磁盘、可移动光盘(例如,光盘和数字视频盘)、磁带盒、存储卡或棒、随机存取存储器(RAM)、只读存储器(ROM)等。
Claims (24)
1.一种可穿戴设备,包括:
处理电路,用于:
接收生物计量数据和时间戳;
分析所述生物计量数据以确定发生情绪反应;
基于所述情绪反应使用情绪内容标签来标记内容的部分,其中所述内容的部分在对应于所述时间戳的时间期间被播放;以及
将所述内容的部分和所述情绪内容标签发送到服务器。
2.根据权利要求1所述的可穿戴设备,其中所述生物计量数据包括心率数据。
3.根据权利要求2所述的可穿戴设备,其中为了分析所述生物计量数据,所述处理电路分析所述心率数据以确定所述心率数据是匹配正分布还是负分布。
4.根据权利要求3所述的可穿戴设备,其中当所述心率数据匹配所述正分布时,所述情绪内容标签包括正面情绪内容标签,并且当所述心率数据匹配所述负分布时,所述情绪内容标签包括负面情绪内容标签。
5.根据权利要求1所述的可穿戴设备,其中为了标记所述内容的部分,所述处理电路将标签添加到HTML5媒体文件。
6.根据权利要求1所述的可穿戴设备,其中所述处理电路用于根据内容文件来创建所述内容的部分,所述内容的部分基于所述时间戳和检测到的场景开始而被创建。
7.根据权利要求1所述的可穿戴设备,其中所述情绪内容标签进一步基于所述设备的用户的预定义的人口统计。
8.根据权利要求1所述的可穿戴设备,还包括用于测量所述生物计量数据的传感器。
9.根据权利要求8所述的可穿戴设备,其中所述生物计量数据包括面部表情数据。
10.根据权利要求8所述的可穿戴设备,其中所述生物计量数据包括血压数据。
11.根据权利要求8所述的可穿戴设备,其中所述生物计量数据包括皮肤电导数据。
12.一种方法,包括:
在设备处接收生物计量数据和时间戳;
分析所述生物计量数据以确定发生情绪反应;
基于所述情绪反应使用情绪内容标签来标记内容的部分,其中所述内容的部分在对应于所述时间戳的时间期间被播放;以及
将所述内容的部分和所述情绪内容标签发送到服务器。
13.根据权利要求12所述的方法,其中所述设备是可穿戴设备。
14.根据权利要求12所述的方法,其中所述生物计量数据包括心率数据。
15.根据权利要求14所述的方法,其中分析所述生物计量数据包括分析所述心率数据以确定所述心率数据是匹配正分布还是负分布。
16.根据权利要求15所述的方法,其中当所述心率数据匹配所述正分布时,所述情绪内容标签包括正面情绪内容标签,并且当所述心率数据匹配所述负分布时,所述情绪内容标签包括负面情绪内容标签。
17.根据权利要求12所述的方法,其中标记所述内容的部分包括将标签添加到HTML5媒体文件。
18.根据权利要求12所述的方法,还包括根据内容文件来创建所述内容的部分,所述内容的部分基于所述时间戳和检测到的场景开始而被创建。
19.根据权利要求12所述的方法,其中所述情绪内容标签进一步基于所述设备的用户的预定义的人口统计。
20.根据权利要求12所述的方法,其中所述生物计量数据包括面部表情数据。
21.根据权利要求12所述的方法,其中所述生物计量数据包括血压数据。
22.根据权利要求12所述的方法,其中所述生物计量数据包括皮肤电导数据。
23.至少一个机器可读介质,其包括用于计算系统的操作的指令,所述指令在由机器执行时使所述机器执行根据权利要求12-22中任一项所述的方法的操作。
24.一种装置,其包括用于执行根据权利要求12-22中任一项所述的方法的单元。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/978,870 US9916866B2 (en) | 2015-12-22 | 2015-12-22 | Emotional timed media playback |
US14/978,870 | 2015-12-22 | ||
PCT/US2016/062783 WO2017112181A1 (en) | 2015-12-22 | 2016-11-18 | Emotional timed media playback |
Publications (1)
Publication Number | Publication Date |
---|---|
CN108293150A true CN108293150A (zh) | 2018-07-17 |
Family
ID=59067255
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680068140.XA Pending CN108293150A (zh) | 2015-12-22 | 2016-11-18 | 情绪定时媒体回放 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9916866B2 (zh) |
CN (1) | CN108293150A (zh) |
DE (1) | DE112016005931T5 (zh) |
WO (1) | WO2017112181A1 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111586493A (zh) * | 2020-06-01 | 2020-08-25 | 联想(北京)有限公司 | 一种多媒体文件的播放方法及装置 |
CN112655177A (zh) * | 2018-06-27 | 2021-04-13 | 脸谱公司 | 异步共同观看 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10250940B2 (en) * | 2016-08-12 | 2019-04-02 | International Business Machines Corporation | System, method, and recording medium for providing notifications in video streams to control video playback |
US11218775B2 (en) * | 2016-09-08 | 2022-01-04 | Comcast Cable Communications, Llc | Content schedule detection and adjustment |
KR20180108341A (ko) * | 2017-03-24 | 2018-10-04 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 컨텐츠 캡쳐 방법 |
EP3503565B1 (en) * | 2017-12-22 | 2022-03-23 | Vestel Elektronik Sanayi ve Ticaret A.S. | Method for determining of at least one content parameter of video data |
US11477525B2 (en) | 2018-10-01 | 2022-10-18 | Dolby Laboratories Licensing Corporation | Creative intent scalability via physiological monitoring |
US11803590B2 (en) * | 2018-11-16 | 2023-10-31 | Dell Products L.P. | Smart and interactive book audio services |
US10798425B1 (en) * | 2019-03-24 | 2020-10-06 | International Business Machines Corporation | Personalized key object identification in a live video stream |
US11228624B1 (en) * | 2019-11-13 | 2022-01-18 | Amazon Technologies, Inc. | Overlay data during communications session |
US11277663B2 (en) * | 2020-05-18 | 2022-03-15 | Mercury Analytics, LLC | Systems and methods for providing survey data |
US11470368B2 (en) * | 2020-10-02 | 2022-10-11 | Hulu, LLC | Ascription based modeling of video delivery system data in a database |
US11729480B2 (en) * | 2021-08-27 | 2023-08-15 | Rovi Guides, Inc. | Systems and methods to enhance interactive program watching |
US11570523B1 (en) | 2021-08-27 | 2023-01-31 | Rovi Guides, Inc. | Systems and methods to enhance interactive program watching |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101853259A (zh) * | 2009-03-31 | 2010-10-06 | 国际商业机器公司 | 添加和处理带有情感数据的标签的方法和设备 |
US20110169603A1 (en) * | 2008-02-05 | 2011-07-14 | International Business Machines Corporation | Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream |
CN103609128A (zh) * | 2011-06-17 | 2014-02-26 | 微软公司 | 基于环境传感的视频精彩片段标识 |
CN103703465A (zh) * | 2011-08-08 | 2014-04-02 | 谷歌公司 | 与媒体内的对象相关联的情感信息 |
CN103826160A (zh) * | 2014-01-09 | 2014-05-28 | 广州三星通信技术研究有限公司 | 获取视频的信息的方法及设备及播放视频的方法及设备 |
CN104008764A (zh) * | 2014-04-30 | 2014-08-27 | 小米科技有限责任公司 | 多媒体信息标记方法及相关装置 |
US20150178915A1 (en) * | 2013-12-19 | 2015-06-25 | Microsoft Corporation | Tagging Images With Emotional State Information |
CN104994409A (zh) * | 2015-06-30 | 2015-10-21 | 北京奇艺世纪科技有限公司 | 一种媒体数据的剪辑方法和装置 |
CN105009599A (zh) * | 2012-12-31 | 2015-10-28 | 谷歌公司 | 精彩时刻的自动标识 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6934461B1 (en) * | 1999-01-05 | 2005-08-23 | Interval Research Corporation | Low attention recording, with particular application to social recording |
JP2008067219A (ja) * | 2006-09-08 | 2008-03-21 | Sony Corp | 撮像装置、撮像方法 |
KR100828371B1 (ko) | 2006-10-27 | 2008-05-08 | 삼성전자주식회사 | 컨텐츠의 메타 데이터 생성 방법 및 장치 |
US8897820B2 (en) * | 2010-11-16 | 2014-11-25 | Jack L. Marovets | System, method, and apparatus for storing, transmitting, receiving, and using structured data using un-structured text message bodies |
US20120143693A1 (en) | 2010-12-02 | 2012-06-07 | Microsoft Corporation | Targeting Advertisements Based on Emotion |
WO2014075087A2 (en) * | 2012-11-12 | 2014-05-15 | Moontunes, Inc. | Systems and methods for communicating a live event to users using the internet |
CN103064958A (zh) | 2012-12-31 | 2013-04-24 | 乐视致新电子科技(天津)有限公司 | 一种基于html5视频标签的浏览器自动识别与解析的方法 |
EP2972678A4 (en) * | 2013-03-15 | 2016-11-02 | Interaxon Inc | CLOTHING COMPUTER APPARATUS AND ASSOCIATED METHOD |
US10091419B2 (en) | 2013-06-14 | 2018-10-02 | Qualcomm Incorporated | Computer vision application processing |
-
2015
- 2015-12-22 US US14/978,870 patent/US9916866B2/en active Active
-
2016
- 2016-11-18 DE DE112016005931.0T patent/DE112016005931T5/de not_active Withdrawn
- 2016-11-18 CN CN201680068140.XA patent/CN108293150A/zh active Pending
- 2016-11-18 WO PCT/US2016/062783 patent/WO2017112181A1/en active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110169603A1 (en) * | 2008-02-05 | 2011-07-14 | International Business Machines Corporation | Distinguishing between user physical exertion biometric feedback and user emotional interest in a media stream |
CN101853259A (zh) * | 2009-03-31 | 2010-10-06 | 国际商业机器公司 | 添加和处理带有情感数据的标签的方法和设备 |
CN103609128A (zh) * | 2011-06-17 | 2014-02-26 | 微软公司 | 基于环境传感的视频精彩片段标识 |
CN103703465A (zh) * | 2011-08-08 | 2014-04-02 | 谷歌公司 | 与媒体内的对象相关联的情感信息 |
CN105009599A (zh) * | 2012-12-31 | 2015-10-28 | 谷歌公司 | 精彩时刻的自动标识 |
US20150178915A1 (en) * | 2013-12-19 | 2015-06-25 | Microsoft Corporation | Tagging Images With Emotional State Information |
CN103826160A (zh) * | 2014-01-09 | 2014-05-28 | 广州三星通信技术研究有限公司 | 获取视频的信息的方法及设备及播放视频的方法及设备 |
CN104008764A (zh) * | 2014-04-30 | 2014-08-27 | 小米科技有限责任公司 | 多媒体信息标记方法及相关装置 |
CN104994409A (zh) * | 2015-06-30 | 2015-10-21 | 北京奇艺世纪科技有限公司 | 一种媒体数据的剪辑方法和装置 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112655177A (zh) * | 2018-06-27 | 2021-04-13 | 脸谱公司 | 异步共同观看 |
CN111586493A (zh) * | 2020-06-01 | 2020-08-25 | 联想(北京)有限公司 | 一种多媒体文件的播放方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
US9916866B2 (en) | 2018-03-13 |
DE112016005931T5 (de) | 2019-01-10 |
US20170178692A1 (en) | 2017-06-22 |
WO2017112181A1 (en) | 2017-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108293150A (zh) | 情绪定时媒体回放 | |
US11393209B2 (en) | Generating a video segment of an action from a video | |
US20200405213A1 (en) | Content generation and control using sensor data for detection of neurological state | |
US20210005224A1 (en) | System and Method for Determining a State of a User | |
US11847260B2 (en) | System and method for embedded cognitive state metric system | |
CN106605218B (zh) | 收集和处理与基于网络的内容的交互过程中的计算机用户数据的方法 | |
KR101197978B1 (ko) | 웃음 탐지기 및 미디어 프리젠테이션에 대한 감정 반응을 추적하기 위한 시스템 및 방법 | |
CN103718166B (zh) | 信息处理设备、信息处理方法 | |
US9861895B2 (en) | Apparatus and methods for multimedia games | |
CN104486649B (zh) | 视频内容评级方法及装置 | |
US20180115802A1 (en) | Methods and systems for generating media viewing behavioral data | |
CN103237248A (zh) | 基于媒体反应来控制媒体节目 | |
JP2016503919A (ja) | 電子文書内でのユーザーエンゲージメントのレベルを分析する方法及びシステム | |
US20180109828A1 (en) | Methods and systems for media experience data exchange | |
GB2528156A (en) | Methods and systems for establishing communication with users based on biometric data | |
US20230021945A1 (en) | Systems and methods for dynamically generating exercise playlist | |
KR20130110852A (ko) | 긴장-이완 감성상태 측정 기반의 영상 저작물 스토리 분석 시스템 및 분석 방법 | |
US11775739B2 (en) | Visual tagging and heat-mapping of emotion | |
JP7031812B1 (ja) | プログラム、方法、およびシステム | |
US20180246578A1 (en) | Method of device for identifying and analyzing spectator sentiment | |
CN112188290B (zh) | 缓解压力方法、电视机、集成系统及存储介质 | |
WO2016031363A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR101746287B1 (ko) | 실감미디어 평가 방법 및 이를 이용한 실감 평가 시스템 | |
CN111930280A (zh) | 一种进度变更响应方法、系统及计算机存储介质 | |
JP2017205632A5 (zh) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180717 |