CN105829995A - 根据观看者表情捕捉媒体内容 - Google Patents

根据观看者表情捕捉媒体内容 Download PDF

Info

Publication number
CN105829995A
CN105829995A CN201480070203.6A CN201480070203A CN105829995A CN 105829995 A CN105829995 A CN 105829995A CN 201480070203 A CN201480070203 A CN 201480070203A CN 105829995 A CN105829995 A CN 105829995A
Authority
CN
China
Prior art keywords
beholder
media content
items
expression
feelings
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201480070203.6A
Other languages
English (en)
Inventor
郑影
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN201911356018.4A priority Critical patent/CN111522432A/zh
Publication of CN105829995A publication Critical patent/CN105829995A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/32—Fiducial marks and measuring scales within the optical system
    • G02B27/34—Fiducial marks and measuring scales within the optical system illuminated
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00326—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus
    • H04N1/00328—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information
    • H04N1/00336—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a data reading, recognizing or recording apparatus, e.g. with a bar-code apparatus with an apparatus processing optically-read information with an apparatus performing pattern recognition, e.g. of a face or a geographic feature
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12—Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Optics & Photonics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Educational Technology (AREA)
  • Artificial Intelligence (AREA)
  • Developmental Disabilities (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Business, Economics & Management (AREA)
  • Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

用于当观看特定媒体内容时捕捉用户情绪的系统和方法。在具有一个或多个处理器以及存储器的计算机系统上实施的方法包括检测例如视频片段、音频片段、照片或者文本消息的媒体内容项的显示。在媒体内容项正被显示时，检测对应于预定义的观看者表情的观看者表情，例如情绪，即通过使用数据库将表情进行相互比较；并且识别与观看者的表情即情绪相对应的媒体内容项的一部分(例如视频片段的场景)。观看者表情或者情绪基于以下之一：面部表情、身体运动、语音或者手臂、腿部或手指姿势，并且被推定为观看者对媒体内容项的该部分的反应。

Description

根据观看者表情捕捉媒体内容
技术领域
本公开的实施方式大体上涉及根据观看者表情捕捉媒体内容。
背景技术
目前，人们对识别和捕捉个人用户特别感兴趣的媒体内容时刻的兴趣日益增加。例如，观看者可能想要保存他或她正在看的电影中令人难忘或者经典的时刻，然后再经由社交媒体应用共享那些时刻或者给它们加书签以备日后参考。此外，观看者有时可能希望回顾对应于特定情绪响应的那些时刻的快照。例如，观看者也许想要回顾/保存用户发现特别悲怆、励志或者有趣的媒体时刻。
然而，难点在于，在捕捉电影时刻以及相关联的观看者反应的同时识别并且保存这样的时刻的过程中通常要求重播该时刻(因为观看者的反应仅在那些电影时刻被观看之后才变得可用)。这种对重播媒体内容的需求能够造成观看体验中断以及观看者反应的自发性消失(即观看者对重播时刻的响应可能与原始时刻不一样)。
通过本文所公开的系统和方法会减少或者消除上述难点。
发明内容
本文公开了用于根据观看者表情捕捉媒体内容的系统、方法以及计算机可读存储介质。
在本公开的一个方面，一种用于根据观看者表情捕捉媒体内容的方法包括检测媒体内容项的显示，并且在该媒体内容项正被显示时检测对应于预定义的观看者表情的观看者表情。所述方法进一步包括，响应于检测到所述观看者表情，识别在时间上对应于所述观看者表情的所述媒体内容项的一部分。在一些实施方式中，所述方法在计算机系统处来执行，该计算机系统具有一个或多个处理器以及存储用于由所述一个或多个处理器来执行的一个或多个程序的存储器。
在一些实施方式中，所述观看者表情被推定为观看者对所述媒体内容项的所述部分的反应。
在一些实施方式中，所述方法进一步包括将(i)所述观看者表情或者(ii)对所述观看者表情的引用捕捉到第二媒体内容项中。
在一些实施方式中，所述方法进一步包括接收在所述观看者表情中所识别的来自观看者的传达；并且响应于接收到所述传达：使得所述第二媒体内容项与一个或多个其他用户共享。
在一些实施方式中，所述预定义的观看者表情选自面部表情、身体运动、语音或者手臂、腿部或手指姿势中的一个。
在一些实施方式中，所述媒体内容的所述部分是视频或音频片段、文本或者照片中的一个。
在一些实施方式中，所述方法进一步包括将(i)所述媒体内容项的所述部分或者(ii)对所述媒体内容项的所述部分的引用上传到服务器。
在一些实施方式中，所述方法进一步包括将识别所述观看者表情的信息传送至服务器。
在本公开的另一方面，一种根据观看者表情捕捉媒体内容的系统包括一个或多个处理器、存储器以及一个或多个程序。所述一个或多个程序被存储在所述存储器中并且被配置成由所述一个或多个处理器来执行。所述一个或多个程序包括指令，用于检测媒体内容项的显示，并且在所述媒体内容项正被显示时，检测对应于预定义的观看者表情的观看者表情。所述一个或多个程序还包括指令，用于响应于检测到所述观看者表情而识别在时间上对应于所述观看者表情的所述媒体内容项的一部分。
在一些实施方式中，所述观看者表情被推定为观看者对所述媒体内容项的所述部分的反应。
在一些实施方式中，所述一个或多个程序进一步包括指令，用于：将(i)所述观看者表情或者(ii)对所述观看者表情的引用捕捉到第二媒体内容项中。
在一些实施方式中，所述一个或多个程序进一步包括指令，用于：接收在所述观看者表情中所识别的来自观看者的传达；并且响应于接收到所述传达：使得所述第二媒体内容项与一个或多个其他用户共享。
在一些实施方式中，所述预定义的观看者表情选自面部表情、身体运动、语音或者手臂、腿部或手指姿势中的一个。
在一些实施方式中，所述媒体内容的所述部分是视频或音频片段、文本或者照片中的一个。
在一些实施方式中，所述一个或多个程序进一步包括指令，用于：将(i)所述媒体内容项的所述部分或者(ii)对所述媒体内容项的所述部分的引用上传到所述服务器。
在一些实施方式中，所述一个或多个程序进一步包括指令，用于：将识别所述观看者表情的信息传送至服务器。
在本公开的又一方面，用于根据观看者表情捕捉媒体内容的非暂时性计算机可读存储介质包括具有可执行指令的一个或多个程序。所述指令当由具有一个或多个处理器的计算机系统来执行时使得所述计算机系统检测媒体内容项的显示，并且在所述媒体内容项正被显示时，检测对应于预定义的观看者表情的观看者表情。所述指令还使得所述计算机系统响应于检测到所述观看者表情而识别在时间上对应于所述观看者表情的所述媒体内容项的一部分。
在一些实施方式中，所述观看者表情被推定为观看者对所述媒体内容项的所述部分的反应。
在一些实施方式中，所述一个或多个程序进一步包括指令，用于：将(i)所述观看者表情或者(ii)对所述观看者表情的引用捕捉到第二媒体内容项中。
在一些实施方式中，所述一个或多个程序进一步包括指令，用于：接收在所述观看者表情中所识别的来自观看者的传达；并且响应于接收到所述传达，使得所述第二媒体内容项与一个或多个其他用户共享。
在一些实施方式中，所述预定义的观看者表情选自面部表情、身体运动、语音或者手臂、腿部或手指姿势中的一个。
在一些实施方式中，所述媒体内容的所述部分是视频或音频片段、文本或者照片中的一个。
在一些实施方式中，所述一个或多个程序进一步包括指令，用于：将(i)所述媒体内容项的所述部分或者(ii)对所述媒体内容项的所述部分的引用上传到所述服务器。
在一些实施方式中，所述一个或多个程序还包括指令，用于：将识别所述观看者表情的信息传送至服务器。
附图说明
本文所公开的实施方式在附图中的各图中通过示例而不通过限制而图示。在全部附图中，类似的附图标记是指对应的部分。
图1A是图示出根据一些实施方式的计算机系统的框图。
图1B是图示出根据一些实施方式的电子设备的框图。
图2是图示出根据一些实施方式的电子设备的框图。
图3是图示出根据一些实施方式的社交网络服务器的框图。
图4是图示出根据一些实施方式的媒体内容服务器的框图。
图5是图示出根据一些实施方式的用于在计算机系统中根据观看者表情捕捉媒体内容的方法的流程图。
图6A-6B是图示出根据一些实施方式的用于在计算机系统处根据观看者表情捕捉媒体内容的方法的流程图。
图7是示出根据一些实施方式的示例用户界面的屏幕图像。
图8是示出根据一些实施方式的示例用户界面的屏幕图像。
具体实施方式
本文所述的实施方式提供了用于根据观看者的表情捕捉媒体内容项或其一部分(例如快照或者视频片段)的技术。例如，在一些实施方式中，在捕捉(例如用相机)示出可识别情绪/表情的观看者的图像之后，机顶盒或者连接的电视机在观看者没有介入但观看者事先同意的情况下自动捕捉情绪捕捉时观看者正在看的媒体内容(例如电影或者电视节目)的简短(例如5秒)片段。例如，捕捉的表情可能是观看者正看诸如Psycho(惊魂记)的惊悚片时出现的一种惊悚。在一些实施方式中，观看者的一个或多个所捕捉的表情连同对应的媒体内容片段一起被存储。因此，在观看完媒体项之后，观看者能够回顾他/她的反应(例如惊悚面孔)以及与惊悚表情相关联的相关联的电影片段(例如恐怖的电影场景)。类似地，在不干扰观看体验的情况下，观看者可以回顾已录制的单口相声表演的一部分以及捕捉他们在收看或收听单口相声表演的那些部分时的大笑、微笑、咯咯笑、轻笑或者打呵欠的照片或者声音片段。观看者还能够与其朋友们共享有关这些电视/电影剧集以及他们的反应(例如大笑、惊悚或者恐惧)的信息。在一些实施方式中，这样的共享能够使用社交媒体帖子、文本消息或者电子邮件消息来完成。一些实施方式被配置成基于用户输入以及媒体片段和相关联的用户表情的先前记录来创建这样的帖子或者消息。
因为只要观看者已给予其事先同意，观看者在观看媒体内容项时就毋须采取任何额外动作来捕捉其表情(例如，发现和定位相机并且拍照)，因此观看体验得到保证并且捕捉的观看者表情中的自发性得到保证。更具体地，因为观看者表情在其发生时被自动捕捉，所以所捕捉的观看者表情不太可能出现编排或者人为假装。通过要求明示或默示的事先用户同意，观看者表情被捕捉和/或检测，并且然后再被使用于各种社交目的，但仅依照用户的授权，以便保护用户的隐私并且符合相关的隐私法或者合同规定。
作为结果，在观看者同意的情况下(例如，借由用户/观看者开启相机的自动捕捉模式或者明确预先同意捕捉其图像并且潜在可用于传输至服务器以便可能在社交媒体帖子、文本或者电子邮件消息等中共享)，观看者的表情和/或反应被捕捉，而不会牺牲自发性。
下面参照附图来描述实施方式的更多细节。
图1A是图示出根据一些实施方式的计算机系统100的框图。
在一些实施方式中，计算机系统100包括电子设备102(例如连接的电视机或者谷歌电视设备)、通信网络104、内容源106、显示设备108、社交网络服务器110以及媒体内容服务器112。在一些实施方式中，电子设备102包括或者连接至：相机114以及可选的麦克风116。
在一些实施方式中，电子设备102检测(例如在显示设备108上)正显示的媒体内容项(例如电影、MP3歌曲或者诸如电子邮件或者网页等文档)。在一些实施方式中，例如，当正在显示媒体内容项时，电子设备102检测对应于预定义的观看者表情的观看者表情。例如，电子设备102将观看者表情识别为微笑，这是通过：(i)捕捉观看者面部的图像(例如使用相机114)；然后(ii)将所捕捉的面部表情与图像模板(例如图2中的预定义的表情240)进行相似性或者缺乏性的比较，该图像模板包括确认或验证为微笑的用户表情。在一些实施方式中，电子设备102响应于检测到观看者表情，识别在时间上对应于观看者表情的媒体内容项的一部分。例如，在将观看者识别为微笑或者哭泣之后，电子设备102捕捉当观看者118笑或哭时该观看者正在看的电影或电视剧的音频和/或视频片段。
在一些实施方式中，检测观看者表情需要极其微量的处理时间，如此电子设备102将正在显示设备108上显示的媒体内容项的一部分(例如，前30秒或者前2分钟)存储(或者缓存)在暂时或永久储存区中。在一些实施方式中，在检测到预定义的观看者表情之后，电子设备102检索先前缓存在暂时或永久存储设备中的媒体内容项的对应部分。
在一些实施方式中，电子设备102包括或者可通信地与相机114以及可选的麦克风116连接。在一些实施方式中，相机114采集观看者的图像或者音频或视频片段(例如观看者表情115)，诸如笑脸、抬起手臂或腿部以及观看者蒙眼、点头或者摇头。在一些实施方式中，麦克风116采集观看者的音频片段(例如观看者表情)，诸如高声大笑或者表达的言语爆发，诸如“GOODNESS！(天哪)”“No！(不)”或者“Yes！(对的)”。在一些实施方式中，电子设备102通过将所捕捉的图像/视频/音频片段(例如图2中的预定义的表情240)与已知包括某些类型的观看者表情的保存片段(例如包括轻笑的片段或者具有震惊面孔的图像)进行比较，确定观看者118是否正在大笑、哭泣或者惊悚。
在一些实施方式中，通信网络104可选择地包括因特网、一个或多个局域网(LAN)、一个或多个广域网(WAN)、其他类型的网络或者这样的网络的组合。
在一些实施方式中，内容源106提供用于在显示设备108上显示的一个或多个媒体内容项(例如电影、电视剧、电子邮件、网页以及照片)。在一些实施方式中，内容源106是电视广播系统、有线电视提供者、卫星电视提供者、诸如GOOGLEPLAY的内容购买/共享/下载服务或者诸如因特网服务提供者的网络服务提供者。
在一些实施方式中，显示设备108是电视显示器、计算机显示器、LED/LCD显示器或者显示墙。
在一些实施方式中，社交网络服务器110给观看者提供到一个或多个社交网络应用的访问，诸如GOOGLE+的CIRCLE应用或者GOOGLE的HANGOUT应用。例如，当电子设备102捕捉观看者在看有关自然灾害的记录影片后哭泣的图像时，观看者118能够与他/她在GOOGLE+的CIRCLE的朋友们共享图像并且在适当的版权许可下共享记录影片的一部分，或者将图像以及影片部分(在适当的版权许可下)上传到网络博客以供发表，例如在WORDPRESS.COM的博客。
在一些实施方式中，媒体内容服务器112使得观看者能够共享观看者表情以及媒体内容项，诸如在YOUTUBE.COM上共享音频/视频片段。例如，当电子设备102捕捉观看者在电视现场直播中看到主场足球队赢得对长期竞争队的历史性胜利后的欢呼和尖叫的照片时，观看者能够(在适当的版权许可下)将欢呼和尖叫的照片以及现场电视直播的一部分上传到YOUTUBE.COM或者DROPBOX.COM上，以供分享和/或存储。
图1B是图示出根据一些实施方式的电子设备102的框图。
在一些实施方式中，电子设备102包括表情处理模块216、比较模块218、表情数据库220、内容处理模块222以及内容数据库224。
在一些实施方式中，表情处理模块216使用相机114和/或麦克风116来检测和捕捉观看者表情，并且选择性将所捕捉的观看者表情存储在表情数据库220中。
在一些实施方式中，比较模块218将所捕捉的观看者表情与已知或确认包括特定类型的观看者表情的观看者表情进行比较，所述特定类型的观看者表情例如笑脸照片以及包括高声大笑或者一串轻笑的音频片段。在一些实施方式中，在确定所捕捉的观看者表情匹配特定类型的已知观看者表情(例如微笑、哭泣或者落泪)后，比较模块218确定(或者识别)捕捉到何种类型的观看者表情，例如观看者被捕捉到大笑、微笑、惊悚或者震惊。
在一些实施方式中，上传处理模块226应用户请求将观看者正消费的媒体内容项(或其一部分)上传到社交网络服务器110(例如GOOGLE+的CIRCLE的服务器)或者媒体内容服务器112(YOUTUBE.COM的服务器)。
在一些实施方式中，内容处理模块222准备在显示设备108上显示从内容源106接收的媒体内容项。在一些实施方式中，内容处理模块222也将所捕捉的观看者表情和/或所捕捉的媒体内容项或其一部分存储在内容数据库224中。在一些实施方式中，内容处理模块222将观看者已看过的媒体内容项的一部分(例如观看者正在看的电影的前10秒)缓存(或者缓冲)在内容数据库224中，以便缓冲的媒体内容项稍后视需要能够被检索到。
在一些实施方式中，内容数据库224存储所捕捉的观看者表情或者对应的媒体内容项，以供存储、共享以及上传到媒体内容服务器112或者社交网络服务器110。
图2是图示出根据一些实施方式的电子设备102的框图。电子设备102在一些实施方式中包括一个或多个处理单元CPU202(也被称作处理器)、一个或多个网络接口204、观看者界面205、存储器206以及用于使这些组件互联的一个或多个通信总线208。通信总线208可选地包括互联和控制系统组件间通信的电路(有时称作芯片组)。存储器206通常包括高速随机存取存储器，诸如DRAM、SRAM、DDRRAM或者其他随机存取的固态存储器设备；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、快闪存储器设备或者其他非易失性固态存储设备。存储器206可选地包括位置上距CPU202远程的一个或多个存储设备。存储器206或者替选的存储器206内的非易失性存储器设备包括非暂时性计算机可读存储介质。在一些实施方式中，存储器206或者替选的非暂时性计算机可读存储介质存储下列程序、模块以及数据结构或其子集：
·操作系统210，其包括用于处理各种基本系统服务以及执行硬件相关任务的程式；
·网络通信模块(或者指令)212，用于使电子设备102与其他设备(例如内容源106或者社交网络服务器110)经由一个或多个网络接口204(有线或无线)或者通信网络104(图1)相连接；
·用户界面模块214，用于将用户界面组件或者控件(文本框、按钮、单选按钮、下拉列表)显示给用户/观看者；
·表情处理模块216，用于采集和处理(例如图像调整，诸如面部识别、裁剪和旋转)在图像或者音频/视频片段中包含或者捕捉的观看者表情或者其一部分：例如，识别在相同照片中所捕捉的两个不同观看者的不同表情；
·比较模块218，用于将所捕捉的观看者表情与预定义的表情进行比较(例如，将在图像中所捕捉的观看表情与已知或者确认包括微笑面孔或者惊悚面孔的另一图像进行比较，将视频片段的音频部分与确认包括高声大笑或者一串轻笑的声音片段进行比较)，并且确定所捕捉的观看者表情所属的类别或者类型(例如微笑、惊悚、镇静或者面无表情)；
·内容处理模块222，用于准备在显示设备108上显示从内容源106所接收的媒体内容项；
·上传处理模块226，用于准备将例如在图像或者音频/视频片段中所捕捉的观看者表情上传到社交网络服务器或者内容媒体服务器，以供分享或者存储；
·多个用户应用228中的一个，用于在电子设备102上执行，所述用户应用228包括：
■内容编辑应用230，用于编辑所捕捉的观看者表情(或者其一部分)和/或捕捉的媒体内容项(或者其一部分)；
■内容共享应用232，用于与一个或多个其他用户共享所捕捉的观看者表情(或者其一部分)和/或捕捉的媒体内容项(或者其一部分)，诸如DROPBOX应用以及GOOGLE的YOUTUBE应用；
■社交网络应用234，用于给观看者提供到一个或多个社交网络的访问，诸如GOOGLE+的CIRCLE应用；以及
■电子邮件应用236，用于向用户提供电子邮件访问以便与其他用户通信，诸如GOOGLE的GMAIL应用；以及
·存储在电子设备102上的数据238，该数据238包括：
■一个或多个预定义的表情240，例如已知描述/图示一组表情(诸如人物哭或笑)的视频帧和/或静态照片以及/或者确认与相同表情相关联的相关联的声音片段或者视频帧；这些预定义的表情240用作旨在与所捕捉的用户表情进行比较的模板；
■一个或多个观看者表情与媒体内容对242，其中每一对包括：
ο媒体内容项244-i，其包括曾在显示设备108上显示并且再关联特定的观看者表情246-i而被捕捉的媒体内容或者其一部分。例如，媒体内容项可能是观看者正在在显示设备108上看的电视剧的10个视频帧和/或5秒声音片段；以及
ο观看者表情246-i，其在时间上对应于媒体内容项244-i并且由此被推定为观看者对媒体内容项244-i的反应，例如用户在看单口相声表演时大笑的声音片段；请注意：同示出表情的实际捕捉的声音片段或者视频帧相比，表情246-i可能只是表情的描述。
ο
·地址簿248(例如GMAIL的通讯录)，其包括：
■一个或多个用户联系人250，例如电子邮件地址、手机号码、家庭住址以及工作地址；以及
·媒体内容项缓冲器，用于例如在自当前时间起的预定义的时间段内，诸如10秒或者5秒内，存储过去曾被显示给观看者的媒体内容项。
在一些实施方式中，用户界面205包括输入设备207(例如键盘、鼠标、小型键盘、跟踪板以及触摸屏)，以供用户与电子设备102交互。
在一些实施方式中，上述元素中的一个或多个被存储在前述存储器设备中的一个或多个内，并且对应于用于执行上述功能的指令集。上述模块或者程序(例如指令集)不必被实现为单独的软件程序、程式或者模块，并且由此这些模块的各种子集可以被组合或以其他方式在各种实施方式中重新布置。在一些实施方式中，存储器206可选地存储上述模块和数据结构的子集。另外，存储器206可以存储以上未述的附加模块和数据结构。
图3是图示出根据一些实施方式的社交网络服务器110的框图。社交网络服务器110通常包括一个或多个处理单元CPU302(也被称作处理器)、一个或多个网络接口304、存储器306以及用于使这些组件互联的一个或多个通信总线308。通信总线308可选地包括互联和控制系统组件间通信的电路(有时称作芯片组)。存储器306包括高速随机存取存储器，诸如DRAM、SRAM、DDRRAM或者其他随机存取的固态存储器设备；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、快闪存储器设备或者其他非易失性固态存储设备。存储器306可选地包括位置上距CPU302远程的一个或多个存储设备。存储器306或者替选的存储器306内的非易失性存储器设备包括非暂时性计算机可读存储介质。在一些实施方式中，存储器306或者替选的非暂时性计算机可读存储介质存储下列程序、模块以及数据结构或其子集：
·操作系统310，其包括用于处理各种基本系统服务以及执行硬件相关任务的程式；
·网络通信模块(或者指令)312，用于使社交网络服务器110与其他设备(例如电子设备102)经由一个或多个网络接口304(有线或无线)或者通信网络104(图1)相连接；
·一个或多个社交网络应用或者其他通信应用，用于使得用户(例如媒体内容项的观看者)能够与朋友们或者联系人通信，例如GOOGLE+的CIRCLE应用或者GMAIL应用，所述通信应用可选地包括：
■一个或多个内容共享应用，用于共享媒体内容项244-i(图2)和/或与其对应(例如在时间上)的观看者表情(246-i)，例如GOOGLE的DRIVE应用；以及
·存储在社交网络服务器110上的数据318，该数据318包括：
■一个或多个观看者表情与媒体内容对242，其中每一对包括：
ο如参照图2所述的媒体内容项244-i；以及
ο如参照图2所述的观看者表情246-i。
图4是图示出根据一些实施方式的媒体内容服务器112的另一框图。媒体内容服务器112通常包括一个或多个处理单元CPU402(也被称作处理器)、一个或多个网络接口404、存储器406以及用于使这些组件互联的一个或多个通信总线408。通信总线408可选地包括互联和控制系统组件间通信的电路(有时称作芯片组)。存储器406包括高速随机存取存储器，诸如DRAM、SRAM、DDRRAM或者其他随机存取的固态存储器设备；并且可选地包括非易失性存储器，诸如一个或多个磁盘存储设备、光盘存储设备、快闪存储器设备或者其他非易失性固态存储设备。存储器406可选地包括位置上距CPU402远程的一个或多个存储设备。存储器406或者替选的存储器406内的非易失性存储器设备包括非暂时性计算机可读存储介质。在一些实施方式中，存储器406或者替选的非暂时性计算机可读存储介质存储下列程序、模块以及数据结构或其子集：
·操作系统410，其包括用于处理各种基本系统服务以及执行硬件相关任务的程式；
·网络通信模块(或者指令)412，用于使社交网络服务器110与其他设备(例如电子设备102)经由一个或多个网络接口304(有线或无线)或者通信网络104(图1)相连接；
·内容识别模块414，用于识别从电子设备102获得的媒体内容项(例如暂时性或者永久性存储在谷歌电视设备上的音频/视频片段)或者从内容源106获得的媒体内容项(例如在有线电视网络上播放的电视剧)，该内容识别模块414可选地包括：
·指纹模块416，用于例如通过对视频片段应用散列函数，或者通过将视频片段的一部分取样，获得或者生成媒体内容项的内容指纹(例如散列值)；以及
·存储在媒体内容服务器112上的数据418，该数据418包括：
·一个或多个观看者表情与媒体内容对242，其中每一对包括：
ο如参照图2所述的媒体内容项244-i；以及
ο如参照图2所述的观看者表情246-i；
ο可选地，观看者表情识别信息418-i，用于唯一识别观看者表情(例如引用包括观看者惊悚面孔的照片的URL)或者存储在社交媒体服务器112、电子设备102或者其他计算设备上与其对应的文件(例如示出人的惊悚面孔的JPEG文件Viewer1_HorrifiedFace_May_15_2012.jpg)；以及
ο可选地，媒体内容项识别信息420-i，用于唯一识别媒体内容项(例如引用存储在媒体内容服务器112上的电视剧的一部分的URL)或者存储在社交媒体服务器112、电子设备102或者其他计算设备上与其对应的文件(例如JPEG文件LawAndOrder_Episodel_May_15_2012.jpg，包括已存储的LawandOrder(法律与秩序)剧集)。
在一些实施方式中，上述元素中的一个或多个被存储在前述存储器设备中的一个或多个内，并且对应于用于执行上述功能的指令集。上述模块或者程序(例如指令集)不必被实现为单独的软件程序、程式或者模块，并且由此这些模块的各种子集可以被组合或以其他方式在各种实施方式中重新布置。在一些实施方式中，存储器406可选地存储上述模块和数据结构的子集。另外，存储器406可选地存储以上未述的附加模块和数据结构。
尽管图3和4分别示出“社交网络服务器110”以及“媒体内容服务器112”，但与作为本文所述实施方式的结构性示意相比，图3和4更旨在作为对服务器系统中可能存在的各种特征的功能性描述。实际上，如本领域普通技术人员公认，单独示出的项能够被组合并且一些项能够被分开。
图5是图示出根据一些实施方式的用于在例如电子设备102、社交网络服务器110或者媒体内容服务器112处实现的根据观看者表情捕捉媒体内容的方法的流程图。
在一些实施方式中，电子设备102首先使得(502)媒体内容项(例如电视剧)能够被显示在显示设备108上。
在一些实施方式中，电子设备102检测(504)观看者表情是否对应于(例如匹配)预定义的观看者表情。例如，谷歌电视设备或者机顶盒检测(由附连至谷歌电视设备的相机)捕捉的观看者表情是否包括观看者的大笑或者微笑面孔。在一些实施方式中，所述检测包括：(A)使用图像比较技术针对相似性或者缺乏相似性将所捕捉的观看者表情与已知或者确认为包括特定类别(或类型)的观看者表情(例如已知包括人的微笑面孔的照片)的图像或视频进行比较；以及(B)基于比较结果，确定捕捉到何种类型的观看者表情，例如大笑面孔或者震惊面孔。在一些实施方式中，在确定显示设备108上目前正显示媒体内容项之后实施检测，以确保所捕捉的观看者表情可推定为对收看/收听媒体内容项的反应，而不是对无关事件(例如阅读杂志)的反应。
在一些实施方式中，如果所捕捉的观看者表情并不(“否”，506)对应于(即匹配)预定义的观看者表情，则电子设备102循环回到步骤502。在一些实施方式中，在随机的基础上或者根据预定义的时间排程(例如每2秒或者每隔400毫秒)再次实施检测(504)。
在一些实施方式中，如果所捕捉的观看者表情确实(“是”，508)对应于(即匹配)预定义的观看者表情，则电子设备102识别在时间上对应于观看者表情的媒体内容项的一部分。例如，在检测到观看者看到LawandOrder剧集中的枪击场景后被震惊时，电子设备102捕捉或者存储该枪击场景，例如存储为MPEG文件。
在一些实施方式中，当所捕捉的观看者表情确实(“是”，508)对应于(即匹配)预定义的观看者表情时，电子设备102还将观看者表情捕捉(512)到第二媒体内容项中。例如，当检测到观看者看到枪击场景后被震惊时，电子设备102不仅存储枪击场面(来自电视剧)，还存储观看者的震惊面孔(使用相机114捕捉)，并且将枪击场景与包括观看者的震惊面孔的图像关联，例如使用观看者表情与媒体内容对242(图3和4)。
在一些实施方式中，响应于用户请求，电子设备102将第二媒体内容项编辑(514)成包括所捕捉的观看者表情或者对其的引用。例如，当观看者表情以高分辨率被捕捉(例如使用24兆像素的SLR相机)时，当包括观看者表情的文件超过预定义的尺寸(例如大于8MB)时，或者当包括观看者表情的文件被远程存储(例如存储在不同于电子设备102的设备上)时，谷歌电视设备在本地文件中创建对包括所捕捉的观看者表情的文件的引用或者指针(例如URL或者目录路径名)。
在一些实施方式中，电子设备102再将识别媒体内容项的该部分的信息(例如URL或者目录路径名)传送(516)至服务器。例如，在验证用户具有适当版权以及其他必要许可之后，应用户请求，谷歌电视设备将用户在观看时笑过或者哭过的自制视频的一部分上传到YOUTUBE.com或者FACEBOOK.com，以便与用户的朋友们或者其他联系人共享。
在一些实施方式中，社交网络服务器110或者媒体内容服务器112存储(518)识别媒体内容项的该部分的信息，例如用于分析观看者的偏好和/或观看历史。
在一些实施方式中，在适当的版权许可下，电子设备102将媒体内容项的该部分上传(520)到服务器(例如媒体内容服务器112)。例如，在验证(例如经由距电子设备远程的版权验证服务器或者居于电子设备上的软件模块)自制视频免版权声明(例如，结合媒体内容服务器112或者其他联网的版权许可资源)之后，电子设备102应用户请求将自制视频或其一部分上传到内容共享网站，诸如YOUTUBE.COM网站，以便与其他用户共享。在一些实施方式中，在接收到所上传的媒体内容项的该部分并且验证版权许可后，例如YOUTUBE服务器的媒体内容服务器112与用户的社交网络朋友们或者职业网络联系人共享(522)媒体内容项的该部分(例如自制视频)。
在一些实施方式中，电子设备102将识别观看者表情的信息传送(524)至服务器，例如用于数据挖掘。在一些实施方式中，识别观看者表情的信息包括：观看表情是何种类型(例如哭泣、大笑或者咯咯笑)，观看者表情何时被捕捉(例如在周五晚上、工作日早上或者在周末期间)，在单个表情文件中捕捉有多少用户(例如在同一照片中将Tom和Jerry都捕捉为震惊)。
在一些实施方式中，媒体内容服务器112存储(526)识别观看者表情的信息。在一些实施方式中，信息被聚合和分析以预测用户的观看偏好。例如，如果在过去的三个月中，服务器仅接收到来自用户Tom的震惊面孔的表情，则能够预测用户Tom喜欢惊悚或悬疑电影多过其他类型的电影。
图6A-6B是图示出根据一些实施方式的用于根据观看者表情捕捉媒体内容的方法600的示例流程图，该方法600例如在计算机系统100处来实现。
在一些实施方式中，电子设备102(例如谷歌电视设备、机顶盒或者电视机)检测(602)媒体内容项的显示。例如，谷歌电视设备周期性地按预定义排程或者随机地检查正被显示在例如电视屏幕的显示设备上的媒体内容(例如电视剧、电影、YOUTUBE片段、声音片段、网页以及文档)。
在一些实施方式中，在媒体内容项正被显示时(例如在电视剧仍正被显示或者歌曲仍正被播放时，或者换言之，当观看者仍在观看电视剧或者收听歌曲时)；电子设备102检测(604)对应于预定义的观看者表情的观看者表情。例如，谷歌电视设备首先捕捉照片或者观看者运动(例如转动眼睛、伸展手臂或腿部、点头或者摇头)的视频片段，然后将所捕捉的照片或者视频帧与已知或确认包括某种类型的观看者表情的照片或者视频帧进行比较(使用图像或者视频帧的比较技术)，以确定所捕捉的照片/视频片段是否包括特定类型的观看者表情，诸如观看者的微笑面孔或者通过伸展手臂和腿部或者没有直视电视机(其上正在显示电视剧)表现出不耐烦的观看者。在一些实施方式中，所捕捉的观看者表情包括观看者的连续运动，例如来回踱步、反复摇头、诸多头部运动。在一些实施方式中，所捕捉的观看者表情包括观看者的面部印象(例如微笑面孔或者转动眼睛)，这被推定为是观看者对媒体内容项的反应的准确预测。在一些实施方式中，观看者表情也包括身体运动(例如伸展手臂/腿部以及点头或摇头)。
在一些实施方式中，预定义的观看者表情(将所捕捉的观看者表情与其进行比较)选自(608)面部表情、身体运动、语音或者手臂、腿部或手指姿势中的一个。在一些实施方式中，预定义的观看者表情包括不同类型的身体运动(抬起手臂/腿部、起立/坐下、摇头/点头、直视或斜视电视机、微笑面孔、大笑或轻笑、哭泣以及示出观看者恐惧、震惊、沮丧、忙碌、悠闲以及烦乱的面部表情。
在一些实施方式中，响应于检测(604)观看者表情，电子设备识别(610)在时间上对应于观看者表情(例如一个或多个观看者表情(例如对应于回放位置、时间窗的表情出现))的媒体内容项的一部分(例如捕捉电视或电影剧集的5秒片段)。
在一些实施方式中，因为(1)观看者表情在媒体内容项仍正被显示时而被捕捉或者(2)所捕捉的表情在时间上对应于(例如同时或并行或者在阈值延迟内)正被显示的媒体内容项，所以所捕捉的观看者表情被推定(606)为观看者对(观看者正/曾观看的)媒体内容项的一部分的反应。例如，示出观看者被震惊的面部表情(例如由相机114捕捉)可被推定为观看者对3秒前看到可怕的杀戮场景的反应(相对于当前正显示的内容)，例如因由将所捕捉的观看者表情与预定义的观看者表情进行比较所引起的延迟。当在用户明确同意下观看者表情被捕捉或者检测时，以保护用户隐私并且符合相关的隐私法或者合同规定。
在一些实施方式中，媒体内容的该部分(例如由相机114或者由麦克风116捕捉的)是视频或音频片段、文本(例如来自观看者曾浏览或者阅读的网页或者WORD文档)或者照片(例如图像)中的一个。
在一些实施方式中，电子设备102将(i)观看者表情或者(ii)对观看者表情的引用捕捉(612)到第二媒体内容项中。例如，在捕捉观看者的面部表情之后，谷歌电视设备将观看者表情存储在文件(例如音频/视频片段)中。对于另一示例，在捕捉观看者的面部表情之后，谷歌电视设备将对观看者表情的引用(诸如URL或者目录路径)存储在文件(例如日志文件、电子表格、RSS流)中，以便日后参考或者以便在几个用户之间共享。
在一些实施方式中，电子设备102接收(614)在观看者表情中所识别的来自观看者的传达(例如，用户选择“共享”按钮来肯定指示用户对于与一个或多个其他用户共享所捕捉的观看者表情的意图)；并且响应于接收到传达(例如用户选择“共享”按钮)，电子设备与一个或多个其他用户共享已编辑的第二媒体内容项(例如包括观看者表情的音频/视频片段)或者使得(616)已编辑的第二媒体内容项与一个或多个其他用户共享，所述一个或多个其他用户例如观看者在GOOGLE+的CIRCLE网络或者GOOGLE的HANGOUT上的朋友们或者联系人。
在一些实施方式中，在获得用户请求后，电子设备102将媒体内容项的该部分(例如LawandOrder剧集的5秒片段)或者对其的引用上传到服务器，例如用于共享、用于存储、用于簿记以及用于分析。例如，在用户请求上传之后，谷歌电视设备或者其软件组件使得能够访问5秒的LawandOrder片段的URL(例如“www.nbc.com/48_hours/LawOrder_episode_5_Second_Clip”)被传送至服务器(例如媒体内容服务器112或者社交网络服务器110)，以便该URL能够与其他用户共享(例如由其他用户来访问)。
在一些实施方式中，识别媒体内容项的信息(例如电视剧的名称)、频道号以及演职人员的一个或多个名字以及识别媒体内容项或者其一部分的信息(而不是媒体内容项本身的一部分，其可能具有相对较大的尺寸)被上传到服务器。在一些实施方式中，识别媒体内容项的该部分的信息包括：频道号、电视或电影剧集的名称、电视节目标识符。
在一些实施方式中，在接收到识别媒体内容项的信息(例如，观看者在过去三个月中曾经看过的不同电视剧的名称)之后，服务器采集并且分析信息以预测用户偏好(例如观看偏好、诸如用户是否喜欢动作电影多过爱情电影，或者用户是否宁愿支付无广告版电影而不愿观看广告或者宣传材料以便获得免费访问权限)，并且形成用户简档(例如基于用户在过去三年中曾经看过哪些电视或者电影剧集来预测用户的位置、教育水平或者收入水平)。
在一些实施方式中，电子设备102将识别所捕捉的观看者表情的信息传送(620)至服务器，例如以供与其他用户共享。在一些实施方式中，识别观看者表情的信息包括：观看者表情所属类别或者类型的指示(例如哭泣、大笑、咯咯笑)，观看者表情何时被捕捉(例如在周五晚上、工作日早上或者在周末期间)，在单个表情文件中捕捉有多少用户(例如在同一照片中将Tom和Jerry都捕捉为震惊)。在一些实施方式中，信息被聚合和分析以预测用户的观看偏好。例如，如果在过去的三个月中，服务器已接收到来自用户Tom的90个以上的大笑面孔的表情，则能够预测用户Tom喜欢喜剧电影多过惊悚或悬疑电影。
图7是示出根据一些实施方式的内容编辑应用的示例用户界面700的屏幕图像。在用户界面700中，一个或多个观看者表情(例如观看者表情702-1……观看者表情702-n)以及对应的电视或电影时刻(例如电视和电影时刻704-1……电视和电影时刻704-n)被捕捉并且显示在内容编辑应用中。(I)所捕捉的观看者表情以及(II)对应的电视或电影时刻通过媒体内容项和观看者表情对的方式来示出。例如，观看者表情702-1邻近电视或电影时刻704-1(观看者表情702-1在时间上与其对应或者被推定为反应)被示出。用户界面700也包括几个菜单项，诸如共享706、上传708、删除710、编辑712以及聊天714。菜单项使得观看者能够共享、编辑并且与其他用户交流所捕捉的观看者表情和/或对应的电视或电影时刻(在适当的版权许可下)。
图8是示出根据一些实施方式的内容共享应用的示例用户界面800的屏幕图像。在用户界面800中，消息(例如电子邮件或者即时消息)为观看者准备用于共享所捕捉的观看者表情以及电视和电影时刻。
如图8所示，在一些情况下，消息的一部分(例如主题行和/或其内容)被自动填充有(例如不需要用户录入)从表情处理模块216和/或比较模块218收集的信息。例如，主题行801被自动填充有(i)指示所捕捉的观看者表情的类型的信息(例如“ahorrorphotoofmyself(我自己的惊悚照片)”以及(ii)识别正被显示的媒体内容项的信息(例如“TexasChainSaw3D(德州电锯杀人狂3D)”)。如图所示，消息也包括媒体内容项和观看者表情对，例如观看者表情806和出自TexasChainSaw3D的场景#1808。
还提供用于从所选的(例如优选的)内容提供者(例如YOUTUBE.COM)访问(例如免费或者收费)媒体内容项(例如TexasChainSaw3D)的链接。还提供使得用户能够上传他/她自己的音频/视频片段的另一链接812。
对于本文中描述为单个实例的组件、操作或者结构，可以提供多个实例。最后，各种组件、操作以及数据存储区之间的界限在某种程度上是任意的，并且在具体的例示性配置环境下图示特定的操作。可以设想功能性的其他分配并且其可以落入所述实施方式的范围内。一般而言，在示例配置中呈现为单独组件的结构和功能性可以被实现为组合的结构或组件。类似地，呈现为单个组件的结构和功能性可以被实现为单独的组件。这些和其他变型、修改、添加以及改进落入所述实施方式的范围内。
还会理解的是，尽管在本文中可以使用术语“第一”、“第二”等来描述各种元素，但这些元素不应受这些术语的限制。这些术语仅用于使一个元素区别于另一元素。例如，第一媒体内容项可能被称作第二媒体内容项，并且类似地，第二媒体内容项可能被称作第一媒体内容项，这改变了描述的含义，只要所有出现的“第一媒体内容项”都一致地被重新命名并且所有出现的“第二媒体内容项”都一致地被重新命名即可。第一媒体内容项以及第二媒体内容项都是媒体内容项，但它们不是相同的媒体内容项。
本文所用术语的目的仅在于，描述特定的实施方式，并不旨在对权利要求做出限定。如具体实施方式以及所附权利要求中所用，单数形式“一种”、“一个”和“该”旨在同样包括复数形式，除非上下文另有明确说明。还会理解的是，如本文所用的术语“和/或”涉及并且包含相关联列出术语中的一个或多个的任意和全部可能组合。进一步会理解的是，术语“包括”在用于本说明书时指定存在所述的特征、整数、步骤、操作、元素和/或组件，但不排除存在或者添加一个或多个其他的特征、整数、步骤、操作、元素、组件和/或其群组。
如本文所用，术语“如果”根据上下文可以被解释成表示“当”或者“在…后”或者“响应于确定”或者“根据确定”或者“响应于检测”所述先决条件为真。类似地，短语“如果确定(所述先决条件为真)”或者“如果(所述先决条件为真)”或者“当(所述先决条件为真)时”根据上下文可以被解释成表示“在确定…后”或者“响应于确定”或者“根据确定”或者“在检测到…后”“响应于检测”所述先决条件为真。
前述说明包括体现例示性实施方式的示例系统、方法、技术、指令序列以及计算机器程序产品。为了解释目的，阐述数个具体细节，以便提供对本发明主题的各种实施方式的理解。然而，本领域技术人员会显而易知，本发明主题的实施方式可以在不具备这些具体细节的情况下实践。一般而言，并未详细示出公知的指令实例、协议、结构以及技术。
为了解释目的，参照具体实施方式来描述前述说明。然而，以上例示性讨论并不旨在穷举或者将实施方式限定成所公开的精确形式。鉴于以上教导，可能有许多修改和变型。选择并描述了所述实施方式，以便最好地阐释原理及其实际运用，由此使得本领域其他技术人员能够充分利用实施方式以及适于特定用途所设想的具有各种修改的各种实施方式。

Claims (21)

1.一种方法，包括：
在具有一个或多个处理器以及存储用于由所述一个或多个处理器来执行的一个或多个程序的存储器的计算机系统处：
检测媒体内容项在与所述计算机系统相关联的显示设备上的显示；以及
在所述媒体内容项正被显示时：
自动用与所述计算机系统相关联的相机捕捉所述媒体内容项的观看者的图像，所述图像中的每一个都与所述媒体内容项中的时间相关联；
从所述相机接收所述图像；
访问预定义的表情的数据库，其中所述预定义的表情包括面部表情、身体运动、语言表达以及肢体姿势中的一个或多个；
在所述图像中检测对应于来自所述数据库的预定义的观看者表情的特定观看者表情；以及
响应于检测到所述特定观看者表情：
识别在时间上对应于所述特定观看者表情的所述媒体内容项的一部分。
2.如权利要求1所述的方法，进一步包括：识别与所述特定观看者表情相关联的情绪。
3.如权利要求1所述的方法，进一步包括：
将所述观看者表情或者对所述观看者表情的引用捕捉到第二媒体内容文件中。
4.如权利要求3所述的方法，进一步包括：
从所述观看者接收预定义的传达；以及
响应于接收到所述预定义的传达：
使得所述第二媒体内容项以及所述媒体内容项的所识别的部分或者对所述媒体内容项的所识别的部分的引用被使用社交媒体帖子、文本消息以及电子邮件消息中的一个或多个而共享。
5.如权利要求1-4中任一项所述的方法，其中，所述肢体姿势包括手臂、腿部和手指姿势。
6.如权利要求1-4中任一项所述的方法，其中，所述媒体内容的所述部分是视频片段、音频片段、文本消息以及照片中的一个。
7.如权利要求1和2中任一项所述的方法，进一步包括：
将所述特定观看者表情以及所述媒体内容项的所识别的部分或者对所述媒体内容项的所识别的部分的引用上传到服务器，所述观看者能够使用社交媒体帖子、文本消息以及电子邮件消息中的一个或多个来从所述服务器共享所述特定表情以及所述部分或者所述引用。
8.如权利要求2所述的方法，进一步包括：
将识别与所述观看者表情相关联的所述情绪的信息传送至服务器，所述观看者能够使用社交媒体帖子、文本消息以及电子邮件消息中的一个或多个来从所述服务器共享识别所述情绪的所述信息。
9.如权利要求1所述的方法，进一步包括：
在所述图像中检测对应于相应的预定义的观看者表情的多个特定观看者表情；以及
响应于检测到所述特定观看者表情：
识别对应于所述特定观看者表情的所述媒体内容项的相应部分；
显示对应于所述特定观看者表情的多个图像以及所述相应部分的对应图像；以及
使得所述观看者能够选择所述特定观看者表情以及所述相应部分的多个已显示的图像的至少一个子集；以及
使得所述观看者能够经由社交媒体帖子、文本消息以及电子邮件消息中的一个或多个共享所述特定观看者表情以及所述相应部分的所述多个已显示的图像的所选子集。
10.一种计算机系统，包括：
一个或多个处理器；
存储器；以及
一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中并且被配置成由所述一个或多个处理器来执行，所述一个或多个程序包括指令，用于：
检测媒体内容项在与所述计算机系统相关联的显示设备上的显示；以及
在所述媒体内容项正被显示时：
自动用与所述计算机系统相关联的相机捕捉所述媒体内容项的观看者的图像，所述图像中的每一个都与所述媒体内容项中的时间相关联；
从所述相机接收所述图像；
访问预定义的表情的数据库，其中所述预定义的表情包括面部表情、身体运动、语言表达以及肢体姿势中的一个或多个；
在所述图像中检测对应于来自所述数据库的预定义的观看者表情的特定观看者表情；以及
响应于检测到所述特定观看者表情：
识别在时间上对应于所述特定观看者表情的所述媒体内容项的一部分。
11.如权利要求10所述的系统，其中，所述一个或多个程序进一步包括指令，用于识别与所述特定观看者表情相关联的情绪。
12.如权利要求10所述的系统，其中，所述一个或多个程序进一步包括指令，用于将所述观看者表情或者对所述观看者表情的引用捕捉到第二媒体内容项中。
13.如权利要求12所述的系统，其中，所述一个或多个程序进一步包括指令，用于：
从所述观看者接收预定义的传达；以及
响应于接收到所述预定义的传达：
使得所述第二媒体内容项以及所述媒体内容项的所识别的部分或者对所述媒体内容项的所识别的部分的引用被使用社交媒体帖子、文本消息以及电子邮件消息中的一个或多个而共享。
14.如权利要求10-13中任一项所述的系统，其中，所述肢体姿势包括手臂、腿部和手指姿势。
15.如权利要求10-13中任一项所述的系统，其中，所述媒体内容的所述部分是视频片段、音频片段、文本消息以及照片中的一个。
16.如权利要求10所述的系统，其中，所述一个或多个程序进一步包括指令，用于：将所述特定观看者表情以及所述媒体内容项的所识别的部分或者对所述媒体内容项的所识别的部分的引用上传到服务器，所述观看者能够使用社交媒体帖子、文本消息以及电子邮件消息中的一个或多个来从所述服务器共享所述特定表情以及所述部分或者所述引用。
17.如权利要求10所述的系统，其中，所述一个或多个程序进一步包括指令，用于：将识别与所述观看者表情相关联的所述情绪的信息传送至服务器，所述观看者能够使用社交媒体帖子、文本消息以及电子邮件消息中的一个或多个来从所述服务器共享识别所述情绪的所述信息。
18.一种存储一个或多个程序的非暂时性计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由具有一个或多个处理器的计算机系统来执行时使得所述计算机系统：
检测媒体内容项在与所述计算机系统相关联的显示设备上的显示；以及
在所述媒体内容项正被显示时：
自动用与所述计算机系统相关联的相机捕捉所述媒体内容项的观看者的图像，所述图像中的每一个都与所述媒体内容项中的时间相关联；
从所述相机接收所述图像；
访问预定义的表情的数据库，其中所述预定义的表情包括面部表情、身体运动、语言表达以及肢体姿势中的一个或多个；
在所述图像中检测对应于来自所述数据库的预定义的观看者表情的特定观看者表情；以及
响应于检测到所述特定观看者表情：
识别在时间上对应于所述特定观看者表情的所述媒体内容项的一部分。
19.如权利要求18所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序进一步包括指令，所述指令当由所述计算机系统来执行时使得所述计算机系统识别与所述特定观看者表情相关联的情绪。
20.如权利要求18所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序进一步包括指令，所述指令当由所述计算机系统来执行时使得所述计算机系统将所述观看者表情或者对所述观看者表情的引用捕捉到第二媒体内容项中。
21.如权利要求20所述的非暂时性计算机可读存储介质，其中，所述一个或多个程序进一步包括指令，所述指令当由所述计算机系统来执行时使得所述计算机系统：
从所述观看者接收预定义的传达；以及
响应于接收到所述预定义的传达：
使得所述第二媒体内容项以及所述媒体内容项的所识别的部分或者对所述媒体内容项的所识别的部分的引用被使用社交媒体帖子、文本消息以及电子邮件消息中的一个或多个而共享。
CN201480070203.6A 2013-10-22 2014-10-22 根据观看者表情捕捉媒体内容 Pending CN105829995A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911356018.4A CN111522432A (zh) 2013-10-22 2014-10-22 根据观看者表情捕捉媒体内容

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/060,515 US9516259B2 (en) 2013-10-22 2013-10-22 Capturing media content in accordance with a viewer expression
US14/060,515 2013-10-22
PCT/US2014/061803 WO2015061476A1 (en) 2013-10-22 2014-10-22 Capturing media content in accordance with a viewer expression

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201911356018.4A Division CN111522432A (zh) 2013-10-22 2014-10-22 根据观看者表情捕捉媒体内容

Publications (1)

Publication Number Publication Date
CN105829995A true CN105829995A (zh) 2016-08-03

Family

ID=51894224

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201911356018.4A Pending CN111522432A (zh) 2013-10-22 2014-10-22 根据观看者表情捕捉媒体内容
CN201480070203.6A Pending CN105829995A (zh) 2013-10-22 2014-10-22 根据观看者表情捕捉媒体内容

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201911356018.4A Pending CN111522432A (zh) 2013-10-22 2014-10-22 根据观看者表情捕捉媒体内容

Country Status (5)

Country Link
US (3) US9516259B2 (zh)
EP (1) EP3060970A1 (zh)
KR (2) KR102015067B1 (zh)
CN (2) CN111522432A (zh)
WO (1) WO2015061476A1 (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446912A (zh) * 2016-09-14 2017-02-22 珠海市魅族科技有限公司 一种媒体处理的方法及媒体处理装置
CN107071534A (zh) * 2017-03-17 2017-08-18 深圳市九洲电器有限公司 一种用户与机顶盒互动方法及系统
CN107809674A (zh) * 2017-09-30 2018-03-16 努比亚技术有限公司 一种基于视频的用户反应获取、处理方法、终端及服务器
CN108200282A (zh) * 2017-12-28 2018-06-22 广东欧珀移动通信有限公司 应用启动方法、装置、存储介质及电子设备
CN108632450A (zh) * 2017-03-24 2018-10-09 三星电子株式会社 用于捕获内容的电子设备和方法
CN108664288A (zh) * 2018-05-14 2018-10-16 维沃移动通信有限公司 一种图像截取方法及移动终端
CN109271599A (zh) * 2018-08-13 2019-01-25 百度在线网络技术（北京）有限公司 数据分享方法、设备和存储介质
CN109766759A (zh) * 2018-12-12 2019-05-17 成都云天励飞技术有限公司 情绪识别方法及相关产品
CN109791558A (zh) * 2016-09-23 2019-05-21 微软技术许可有限责任公司 微动图的自动选择
CN109963180A (zh) * 2017-12-25 2019-07-02 上海全土豆文化传播有限公司 视频信息统计方法及装置
CN110166844A (zh) * 2019-04-12 2019-08-23 北京搜狗科技发展有限公司 一种数据处理方法和装置、一种用于数据处理的装置
CN110868634A (zh) * 2019-11-27 2020-03-06 维沃移动通信有限公司 一种视频处理方法及电子设备
CN111666249A (zh) * 2020-05-11 2020-09-15 上海连尚网络科技有限公司 一种在阅读应用中获取目标阅读模式的方法与设备
CN111816279A (zh) * 2019-12-23 2020-10-23 谷歌有限责任公司 基于媒体消费来识别由计算设备的用户执行的身体活动
CN112655177A (zh) * 2018-06-27 2021-04-13 脸谱公司 异步共同观看
CN113254677A (zh) * 2021-07-06 2021-08-13 北京达佳互联信息技术有限公司 多媒体信息处理方法、装置、电子设备及存储介质
CN113656638A (zh) * 2021-08-16 2021-11-16 咪咕数字传媒有限公司 一种观看直播的用户信息处理方法、装置及设备

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10440432B2 (en) * 2012-06-12 2019-10-08 Realnetworks, Inc. Socially annotated presentation systems and methods
US10762582B2 (en) * 2012-07-19 2020-09-01 Comcast Cable Communications, Llc System and method of sharing content consumption information
CN104093078B (zh) * 2013-11-29 2019-04-16 腾讯科技（北京）有限公司 一种播放视频文件的方法及装置
KR20150090930A (ko) * 2014-01-28 2015-08-07 엔에이치엔엔터테인먼트 주식회사 게임 장면을 공유하는 게임 방법 및 게임 시스템
KR20150136314A (ko) * 2014-05-27 2015-12-07 삼성전자주식회사 디스플레이 장치, 사용자 단말 장치, 서버 및 그 제어 방법
US20150346932A1 (en) * 2014-06-03 2015-12-03 Praveen Nuthulapati Methods and systems for snapshotting events with mobile devices
CN104023250B (zh) * 2014-06-13 2015-10-21 腾讯科技（深圳）有限公司 基于流媒体的实时互动方法和系统
US9288303B1 (en) * 2014-09-18 2016-03-15 Twin Harbor Labs, LLC FaceBack—automated response capture using text messaging
US10425459B2 (en) * 2015-03-27 2019-09-24 Intel Corporation Technologies for a seamless data streaming experience
US9967618B2 (en) * 2015-06-12 2018-05-08 Verizon Patent And Licensing Inc. Capturing a user reaction to media content based on a trigger signal and using the user reaction to determine an interest level associated with a segment of the media content
US9918662B2 (en) * 2015-07-13 2018-03-20 Victoria Anna Breitner Measuring cervical spine posture using nostril tracking
US9652676B1 (en) 2015-12-21 2017-05-16 International Business Machines Corporation Video personalizing system, method, and recording medium
US10445481B1 (en) * 2016-03-10 2019-10-15 Symantec Corporation Systems and methods for performing human-verification procedures
CN107241622A (zh) * 2016-03-29 2017-10-10 北京三星通信技术研究有限公司 视频定位处理方法、终端设备及云端服务器
US10474422B1 (en) 2016-04-18 2019-11-12 Look Sharp Labs, Inc. Music-based social networking multi-media application and related methods
KR20180006137A (ko) * 2016-07-08 2018-01-17 엘지전자 주식회사 단말기 및 그 제어 방법
US9805766B1 (en) * 2016-07-19 2017-10-31 Compal Electronics, Inc. Video processing and playing method and video processing apparatus thereof
US11616990B2 (en) * 2016-11-22 2023-03-28 Guangzhou Baiguoyuan Information Technology Co., Ltd. Method for controlling delivery of a video stream of a live-stream room, and corresponding server and mobile terminal
US11328159B2 (en) 2016-11-28 2022-05-10 Microsoft Technology Licensing, Llc Automatically detecting contents expressing emotions from a video and enriching an image index
US10558697B2 (en) * 2017-02-21 2020-02-11 International Business Machines Corporation Segmenting a set of media data using a set of social networking data
US11601715B2 (en) 2017-07-06 2023-03-07 DISH Technologies L.L.C. System and method for dynamically adjusting content playback based on viewer emotions
US10904615B2 (en) * 2017-09-07 2021-01-26 International Business Machines Corporation Accessing and analyzing data to select an optimal line-of-sight and determine how media content is distributed and displayed
US10511888B2 (en) 2017-09-19 2019-12-17 Sony Corporation Calibration system for audience response capture and analysis of media content
US10171877B1 (en) 2017-10-30 2019-01-01 Dish Network L.L.C. System and method for dynamically selecting supplemental content based on viewer emotions
CN113395416A (zh) * 2017-12-29 2021-09-14 深圳市大疆创新科技有限公司 视频数据处理方法、设备、系统及存储介质
US10237615B1 (en) * 2018-02-15 2019-03-19 Teatime Games, Inc. Generating highlight videos in an online game from user expressions
US20190266282A1 (en) * 2018-02-28 2019-08-29 Ent. Services Development Corporation Lp Systems and methods for constrained directed media searches
WO2019191708A1 (en) 2018-03-30 2019-10-03 Realnetworks, Inc. Socially annotated audiovisual content
US20190379920A1 (en) * 2018-06-07 2019-12-12 Tp Vision Holding B.V. Method and system for creating a customized video associated with an advertisement
CN108737872A (zh) * 2018-06-08 2018-11-02 百度在线网络技术（北京）有限公司 用于输出信息的方法和装置
US11336968B2 (en) * 2018-08-17 2022-05-17 Samsung Electronics Co., Ltd. Method and device for generating content
US11364894B2 (en) 2018-10-29 2022-06-21 Hyundai Motor Company Vehicle and method of controlling the same
US11481434B1 (en) 2018-11-29 2022-10-25 Look Sharp Labs, Inc. System and method for contextual data selection from electronic data files
US11134288B2 (en) * 2018-12-14 2021-09-28 At&T Intellectual Property I, L.P. Methods, devices and systems for adjusting presentation of portions of video content on multiple displays based on viewer reaction
US11064255B2 (en) * 2019-01-30 2021-07-13 Oohms Ny Llc System and method of tablet-based distribution of digital media content
US11586952B2 (en) 2019-02-22 2023-02-21 Aerial Technologies Inc. Robotic H matrix creation
US11913970B2 (en) 2019-02-22 2024-02-27 Aerial Technologies Inc. Wireless motion detection using multiband filters
US11082109B2 (en) 2019-02-22 2021-08-03 Aerial Technologies Inc. Self-learning based on Wi-Fi-based monitoring and augmentation
US11593837B2 (en) 2019-02-22 2023-02-28 Aerial Technologies Inc. Advertisement engagement measurement
US11218769B2 (en) * 2019-02-22 2022-01-04 Aerial Technologies Inc. Smart media display
WO2020170221A1 (en) 2019-02-22 2020-08-27 Aerial Technologies Inc. Handling concept drift in wi-fi-based localization
US20200288204A1 (en) * 2019-03-05 2020-09-10 Adobe Inc. Generating and providing personalized digital content in real time based on live user context
US11589094B2 (en) * 2019-07-22 2023-02-21 At&T Intellectual Property I, L.P. System and method for recommending media content based on actual viewers
US11190840B2 (en) * 2019-07-23 2021-11-30 Rovi Guides, Inc. Systems and methods for applying behavioral-based parental controls for media assets
US11448726B2 (en) 2019-08-28 2022-09-20 Aerial Technologies Inc. System and method for presence and pulse detection from wireless signals
US11523253B2 (en) 2019-09-06 2022-12-06 Aerial Technologies Inc. Monitoring activity using Wi-Fi motion detection
US11645578B2 (en) 2019-11-18 2023-05-09 International Business Machines Corporation Interactive content mobility and open world movie production
CN111131744B (zh) * 2019-12-26 2021-04-20 杭州当虹科技股份有限公司 一种基于视频通讯隐私保护的方法
KR102398848B1 (ko) * 2020-01-31 2022-05-17 박동욱 시청자 반응에 따른 컨텐츠 변환 장치
US11425470B2 (en) * 2020-02-21 2022-08-23 Rovi Guides, Inc. Graphically animated audience
JP7083380B2 (ja) * 2020-09-28 2022-06-10 グリー株式会社 コンピュータプログラム、方法及びサーバ装置
US11503090B2 (en) 2020-11-30 2022-11-15 At&T Intellectual Property I, L.P. Remote audience feedback mechanism
CN112911391A (zh) * 2020-12-28 2021-06-04 珠海格力电器股份有限公司 一种空调系统及其控制方法
US20230019723A1 (en) * 2021-07-14 2023-01-19 Rovi Guides, Inc. Interactive supplemental content system
TWI815495B (zh) * 2022-06-06 2023-09-11 仁寶電腦工業股份有限公司 動態影像之處理方法、電子裝置及其連接之終端裝置與行動通訊裝置
CN115269886A (zh) * 2022-08-15 2022-11-01 北京字跳网络技术有限公司 媒体内容处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020032689A1 (en) * 1999-12-15 2002-03-14 Abbott Kenneth H. Storing and recalling information to augment human memories
EP2402839A2 (en) * 2010-06-30 2012-01-04 Sony Ericsson Mobile Communications AB System and method for indexing content viewed on an electronic device
CN102346898A (zh) * 2010-09-20 2012-02-08 微软公司 自动定制广告生成系统
CN102842327A (zh) * 2012-09-03 2012-12-26 深圳市迪威视讯股份有限公司 一种多媒体数据流的剪辑方法及系统
WO2013022156A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6931147B2 (en) * 2001-12-11 2005-08-16 Koninklijke Philips Electronics N.V. Mood based virtual photo album
AU2003219328A1 (en) * 2002-04-08 2003-10-27 Sleepydog Limited System and method of sharing viewer reactions
CN1521967A (zh) * 2003-02-11 2004-08-18 北京三星通信技术研究有限公司 时分复用移动通信系统终端到终端直接通信的同步方法
JP4232100B2 (ja) * 2003-12-26 2009-03-04 ソニー株式会社 再生装置及びコンテンツ評価方法
JP4543694B2 (ja) * 2004-02-17 2010-09-15 富士ゼロックス株式会社 コミュニケーションシステム、コミュニケーションシステムのサーバー、及びサーバーの処理方法
JP4380524B2 (ja) * 2004-12-17 2009-12-09 ソニー株式会社 情報処理装置及び情報処理方法
JP3862027B2 (ja) * 2005-01-25 2006-12-27 船井電機株式会社 放送信号受信システム
US7698660B2 (en) * 2006-11-13 2010-04-13 Microsoft Corporation Shared space for communicating information
US7889073B2 (en) * 2008-01-31 2011-02-15 Sony Computer Entertainment America Llc Laugh detector and system and method for tracking an emotional response to a media presentation
US8566353B2 (en) * 2008-06-03 2013-10-22 Google Inc. Web-based system for collaborative generation of interactive videos
US8925001B2 (en) * 2008-09-12 2014-12-30 At&T Intellectual Property I, L.P. Media stream generation based on a category of user expression
US8856641B2 (en) * 2008-09-24 2014-10-07 Yahoo! Inc. Time-tagged metainformation and content display method and system
US20100086204A1 (en) * 2008-10-03 2010-04-08 Sony Ericsson Mobile Communications Ab System and method for capturing an emotional characteristic of a user
US8161504B2 (en) * 2009-03-20 2012-04-17 Nicholas Newell Systems and methods for memorializing a viewer's viewing experience with captured viewer images
KR102112973B1 (ko) * 2009-07-16 2020-05-19 블루핀 랩스, 인코포레이티드 컴퓨터 실행 방법, 시스템 및 컴퓨터 판독 가능 매체
US8488942B2 (en) * 2010-06-28 2013-07-16 Cox Communications, Inc. Bookmark exchange
US9015281B2 (en) * 2010-10-08 2015-04-21 Brian Lee Moffat Private data sharing system
US8799300B2 (en) * 2011-02-10 2014-08-05 Microsoft Corporation Bookmarking segments of content
KR20130022434A (ko) * 2011-08-22 2013-03-07 (주)아이디피쉬 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
KR101839406B1 (ko) * 2011-09-27 2018-03-19 삼성전자 주식회사 디스플레이장치 및 그 제어방법
US20160098169A1 (en) * 2012-03-15 2016-04-07 Ronaldo Luiz Lisboa Herdy Apparatus, system, and method for providing social content
US9301016B2 (en) * 2012-04-05 2016-03-29 Facebook, Inc. Sharing television and video programming through social networking
US20130304820A1 (en) * 2012-05-11 2013-11-14 Samsung Electronics Co., Ltd. Network system with interaction mechanism and method of operation thereof
US20130305158A1 (en) * 2012-05-11 2013-11-14 Samsung Electronics Co. Ltd. Network system with reaction mechanism and method of operation thereof
CN103530788A (zh) * 2012-07-02 2014-01-22 纬创资通股份有限公司 多媒体评价系统、多媒体评价装置以及多媒体评价方法
US9746990B2 (en) * 2012-09-28 2017-08-29 Intel Corporation Selectively augmenting communications transmitted by a communication device
US9077647B2 (en) * 2012-10-05 2015-07-07 Elwha Llc Correlating user reactions with augmentations displayed through augmented views
US9104467B2 (en) * 2012-10-14 2015-08-11 Ari M Frank Utilizing eye tracking to reduce power consumption involved in measuring affective response
US20140137144A1 (en) * 2012-11-12 2014-05-15 Mikko Henrik Järvenpää System and method for measuring and analyzing audience reactions to video
US9721010B2 (en) * 2012-12-13 2017-08-01 Microsoft Technology Licensing, Llc Content reaction annotations
US10275136B2 (en) * 2013-01-05 2019-04-30 Duvon Corporation System and method for management of digital media
US10986063B2 (en) * 2013-02-27 2021-04-20 Comcast Cable Communications, Llc Methods and systems for providing supplemental data
US20140250175A1 (en) * 2013-03-01 2014-09-04 Robert M. Baldwin Prompted Sharing of Photos
US9100694B1 (en) * 2013-03-14 2015-08-04 Google Inc. TV mode change in accordance with number of viewers present
US10289265B2 (en) * 2013-08-15 2019-05-14 Excalibur Ip, Llc Capture and retrieval of a personalized mood icon
US10319049B2 (en) * 2016-02-24 2019-06-11 Sony Interactive Entertainment LLC Re-sharing media content on a network

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020032689A1 (en) * 1999-12-15 2002-03-14 Abbott Kenneth H. Storing and recalling information to augment human memories
EP2402839A2 (en) * 2010-06-30 2012-01-04 Sony Ericsson Mobile Communications AB System and method for indexing content viewed on an electronic device
CN102346898A (zh) * 2010-09-20 2012-02-08 微软公司 自动定制广告生成系统
WO2013022156A1 (en) * 2011-08-08 2013-02-14 Samsung Electronics Co., Ltd. Life-logging and memory sharing
CN102842327A (zh) * 2012-09-03 2012-12-26 深圳市迪威视讯股份有限公司 一种多媒体数据流的剪辑方法及系统

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446912A (zh) * 2016-09-14 2017-02-22 珠海市魅族科技有限公司 一种媒体处理的方法及媒体处理装置
CN109791558B (zh) * 2016-09-23 2023-08-04 微软技术许可有限责任公司 微动图的自动选择
CN109791558A (zh) * 2016-09-23 2019-05-21 微软技术许可有限责任公司 微动图的自动选择
CN107071534A (zh) * 2017-03-17 2017-08-18 深圳市九洲电器有限公司 一种用户与机顶盒互动方法及系统
CN107071534B (zh) * 2017-03-17 2019-12-10 深圳市九洲电器有限公司 一种用户与机顶盒互动方法及系统
CN108632450A (zh) * 2017-03-24 2018-10-09 三星电子株式会社 用于捕获内容的电子设备和方法
US11191439B2 (en) 2017-03-24 2021-12-07 Samsung Electronics Co., Ltd. Electronic device and method for capturing contents
CN107809674A (zh) * 2017-09-30 2018-03-16 努比亚技术有限公司 一种基于视频的用户反应获取、处理方法、终端及服务器
CN109963180A (zh) * 2017-12-25 2019-07-02 上海全土豆文化传播有限公司 视频信息统计方法及装置
CN108200282A (zh) * 2017-12-28 2018-06-22 广东欧珀移动通信有限公司 应用启动方法、装置、存储介质及电子设备
CN108664288A (zh) * 2018-05-14 2018-10-16 维沃移动通信有限公司 一种图像截取方法及移动终端
CN112655177A (zh) * 2018-06-27 2021-04-13 脸谱公司 异步共同观看
CN109271599A (zh) * 2018-08-13 2019-01-25 百度在线网络技术（北京）有限公司 数据分享方法、设备和存储介质
CN109766759A (zh) * 2018-12-12 2019-05-17 成都云天励飞技术有限公司 情绪识别方法及相关产品
CN110166844A (zh) * 2019-04-12 2019-08-23 北京搜狗科技发展有限公司 一种数据处理方法和装置、一种用于数据处理的装置
CN110166844B (zh) * 2019-04-12 2022-05-31 北京搜狗科技发展有限公司 一种数据处理方法和装置、一种用于数据处理的装置
CN110868634B (zh) * 2019-11-27 2023-08-22 维沃移动通信有限公司 一种视频处理方法及电子设备
CN110868634A (zh) * 2019-11-27 2020-03-06 维沃移动通信有限公司 一种视频处理方法及电子设备
CN111816279A (zh) * 2019-12-23 2020-10-23 谷歌有限责任公司 基于媒体消费来识别由计算设备的用户执行的身体活动
CN111816279B (zh) * 2019-12-23 2024-04-05 谷歌有限责任公司 基于媒体消费来识别由计算设备的用户执行的身体活动
US12008485B2 (en) 2019-12-23 2024-06-11 Google Llc Identifying physical activities performed by a user of a computing device based on media consumption
CN111666249A (zh) * 2020-05-11 2020-09-15 上海连尚网络科技有限公司 一种在阅读应用中获取目标阅读模式的方法与设备
CN111666249B (zh) * 2020-05-11 2024-02-09 上海连尚网络科技有限公司 一种在阅读应用中获取目标阅读模式的方法与设备
CN113254677A (zh) * 2021-07-06 2021-08-13 北京达佳互联信息技术有限公司 多媒体信息处理方法、装置、电子设备及存储介质
CN113656638A (zh) * 2021-08-16 2021-11-16 咪咕数字传媒有限公司 一种观看直播的用户信息处理方法、装置及设备
WO2023020509A1 (zh) * 2021-08-16 2023-02-23 咪咕数字传媒有限公司 一种观看直播的用户信息处理方法、装置及设备
CN113656638B (zh) * 2021-08-16 2024-05-07 咪咕数字传媒有限公司 一种观看直播的用户信息处理方法、装置及设备

Also Published As

Publication number Publication date
EP3060970A1 (en) 2016-08-31
US20150110471A1 (en) 2015-04-23
US20170078743A1 (en) 2017-03-16
WO2015061476A1 (en) 2015-04-30
KR102015067B1 (ko) 2019-08-27
US9516259B2 (en) 2016-12-06
KR20190100452A (ko) 2019-08-28
US10623813B2 (en) 2020-04-14
US20180103292A1 (en) 2018-04-12
KR20160074616A (ko) 2016-06-28
KR102097098B1 (ko) 2020-04-03
CN111522432A (zh) 2020-08-11
US9866903B2 (en) 2018-01-09

Similar Documents

Publication Publication Date Title
CN105829995A (zh) 根据观看者表情捕捉媒体内容
US20210099690A1 (en) Video production sharing apparatus and method
US20190253474A1 (en) Media production system with location-based feature
US10333767B2 (en) Methods, systems, and media for media transmission and management
CN109118290B (zh) 方法、系统和计算机可读非暂时性存储介质
US20100158391A1 (en) Identification and transfer of a media object segment from one communications network to another
KR20140037874A (ko) 관심 기반 비디오 스트림 선택 기법
CN105519123A (zh) 实况众包的媒体流
US9565477B2 (en) Bookmarking prospective media content on computer network
US20150147045A1 (en) Computer ecosystem with automatically curated video montage
US20150120870A1 (en) Media distribution network, associated program products, and methods of using the same
KR101334127B1 (ko) 클라이언트 단말기를 이용한 동영상 콘텐츠 공유 서비스 제공 시스템 및 방법
KR102492022B1 (ko) 다중 채널 네트워크의 컨텐츠 관리 방법, 장치 및 시스템
US20150295959A1 (en) Augmented reality tag clipper
KR101481996B1 (ko) 행동기반 실감영상환경 제어 시스템
KR101805618B1 (ko) 컨텐트에 대한 코멘트 공유 방법 및 그 장치
KR102492014B1 (ko) 다중 채널 네트워크의 컨텐츠 관리 방법, 장치 및 시스템
KR20220132391A (ko) 다중 채널 네트워크의 컨텐츠 관리 방법, 장치 및 시스템
Palaiokrassas et al. Video annotation with aggregate social network data
CN117093745A (zh) 视频记录的展示方法、装置、电子设备、介质和程序产品
KR20180132185A (ko) 실시간기반 및 컨텐츠 기반 실시간 공연공유 서비스 제공시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20160803

RJ01 Rejection of invention patent application after publication