JP6984083B2 - 視聴者エンゲージメントを評価するためのシステム - Google Patents
視聴者エンゲージメントを評価するためのシステム Download PDFInfo
- Publication number
- JP6984083B2 JP6984083B2 JP2018536185A JP2018536185A JP6984083B2 JP 6984083 B2 JP6984083 B2 JP 6984083B2 JP 2018536185 A JP2018536185 A JP 2018536185A JP 2018536185 A JP2018536185 A JP 2018536185A JP 6984083 B2 JP6984083 B2 JP 6984083B2
- Authority
- JP
- Japan
- Prior art keywords
- people
- processor
- video
- viewing area
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008451 emotion Effects 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 19
- 238000012549 training Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 5
- 230000008921 facial expression Effects 0.000 claims description 4
- 230000005236 sound signal Effects 0.000 claims description 4
- 238000011144 upstream manufacturing Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 175
- 238000010586 diagram Methods 0.000 description 26
- 238000012545 processing Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 20
- 238000004458 analytical method Methods 0.000 description 18
- 230000001815 facial effect Effects 0.000 description 17
- 238000003860 storage Methods 0.000 description 11
- 238000003066 decision tree Methods 0.000 description 10
- 230000033001 locomotion Effects 0.000 description 10
- 238000013517 stratification Methods 0.000 description 10
- 238000002474 experimental method Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 7
- 230000036651 mood Effects 0.000 description 7
- 238000007405 data analysis Methods 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 5
- 239000000463 material Substances 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 239000000872 buffer Substances 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 210000003128 head Anatomy 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000003121 nonmonotonic effect Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000007621 cluster analysis Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 230000002996 emotional effect Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000000717 retained effect Effects 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000013079 data visualisation Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004445 quantitative analysis Methods 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007417 hierarchical cluster analysis Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000005291 magnetic effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/29—Arrangements for monitoring broadcast services or broadcast-related services
- H04H60/33—Arrangements for monitoring the users' behaviour or opinions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
- H04H60/45—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying users
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25883—Management of end-user data being end-user demographical data, e.g. age, family status or address
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/4223—Cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44213—Monitoring of end-user related data
- H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
- H04N21/44224—Monitoring of user activity on external systems, e.g. Internet browsing
- H04N21/44226—Monitoring of user activity on external systems, e.g. Internet browsing on social networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/65—Transmission of management data between client and server
- H04N21/658—Transmission by the client directed to the server
- H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
- G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/172—Classification, e.g. identification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/178—Human faces, e.g. facial parts, sketches or expressions estimating age from face image; using age information for improving recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04H—BROADCAST COMMUNICATION
- H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
- H04H60/56—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
- H04H60/58—Arrangements characterised by components specially adapted for monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 of audio
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
- H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Social Psychology (AREA)
- Databases & Information Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
[0001]本出願は、その全体が参照により本明細書に組み込まれる、2016年1月6日に出願された「SYSTEMS AND METHODS FOR ASSESSING VIEWER ENGAGEMENT」と題する米国出願第62/275,699号の優先権を主張する。
[0042]図1は、ディスプレイをもつ世帯、スポーツバー、または他の空間における視聴者エンゲージメントを評価するためのシステム100の概略図を示す。システム100は、視聴者エンゲージメントデータを収集するために各世帯に配設されたローカルデバイス105と、データを記憶するためのメモリおよびデータを分析するための(リモートプロセッサとも呼ばれる)プロセッサを含む、クラウドストレージおよびコンピューティングデバイスなど、リモートサーバ170とを含む。ローカルデバイス105は、インターネット接続などのネットワーク接続172を介して、リモートサーバ170に通信可能に結合される。たとえば、ローカルデバイス105は、家庭用ローカルエリアネットワーク(LAN)に接続するための、WiFiアンテナまたはイーサネット(登録商標)ポートなど、ネットワークインターフェース165を含み得る。このLANは、たとえば、インターネットサービスプロバイダ(ISP)によって提供されるケーブルまたは光ファイバー接続を介して、ワイドエリアネットワーク(WAN)に接続される。
[0053]図2Aは、図1に示されているシステム100のようなシステムを用いて取得された画像およびオーディオデータを収集および処理するためのプロセス200を示す。上記で説明されたように、システムは、ディスプレイの前の視聴エリアの画像に対し、可視センサ、IRセンサ、またはその両方を含めることができる(202)。一例では、RGBセンサ130およびIRセンサ120は、互いに独立して動作し、すなわち、センサは非同期的に画像を取得する。別の例では、RGBセンサ130およびIRセンサ120による画像取得は、実質的に同期される。RGBセンサ130が可視画像を取得するたびに、たとえば、同時にまたは交互に、IRセンサ120がIR画像を取得する。
[0080]動作中、リモートサーバ170は、異なる世帯に配設された異なるローカルデバイス105から送信されたデータを収集する。リモートサーバ170は、定期的に着信データを読み取ることができる。リモートサーバ170はまた、受信データを構文解析し、各々が保存されたときのタイムスタンプを使用して、ビデオ認識データをオーディオ認識データと結びつけることができる。
[0084]図3A〜図6は、視聴可能性インデックスおよび注意インデックスなどの尺度を使用して、ビデオとの視聴者エンゲージメントを定量化する方法を示す。以下の定義は、ビデオとの視聴者エンゲージメントを定量化するための本発明の方法および装置を理解するのに役立ち得る。
[0104]図4Aは、視聴可能性インデックスを使用して視聴者エンゲージメントを定量化する方法401を示す。方法401はプロセッサによって実装され得る。方法401は、たとえば、図1に示されているシステムにおけるローカルデバイス105を取り付けるかまたは使用することを介して本方法に参加する複数の世帯中の各世帯において、プロセッサによって画像データが取得される、ステップ411において開始する。画像データは、ビデオ(たとえば、TV番組、広告、ユーザリクエストビデオ、または他の任意のビデオ)を再生することができるディスプレイの前の視聴エリアの画像を含む。さらに、プロセッサはまた、ステップ411において、ディスプレイがビデオを示しているかどうかを決定する。ステップ421において、プロセッサは、ディスプレイによって再生される各ビデオについて、視聴レートおよびウォッチングレートを推定する。視聴レートは、上記で定義したように、ビデオを示しているディスプレイの合計数に対する、視聴エリア中の人々の合計数の比を表す。同様に、ウォッチングレートは、上記で定義したように、複数の世帯中の人々の合計数に対する、ディスプレイがビデオを示している世帯中の人々の合計数の比を表す。
[0114]図5は、顔認識技法および他の人工知能技法を使用して、ビデオとの視聴者エンゲージメントを評価する方法を示す。方法500は、(たとえば、図1に示されているシステムを使用して)ディスプレイの前の視聴エリアの画像がキャプチャされる、ステップ510において開始する。取得された各画像について、視聴エリア中の人々の数がステップ520において推定される。一例では、推定は、たとえば、顔認識技法を使用して実行され得る。別の例では、推定は、身体骨格検出に基づいて実行され得る。
[0117]図6は、骨格、顔、識別情報、感情、およびエンゲージメントを検出する方法600を示すフローチャートであり、これは、上記で説明された視聴者エンゲージメント評価のために使用され得る。方法600は、プロセッサ(たとえば、プロセッサ150またはリモートサーバ170中のプロセッサ)によって実装され得る。方法600は、(たとえば、メモリによって、または図1に示されているRGBセンサ130など、画像撮影デバイスから直接)ディスプレイの前の視聴エリアの画像データが与えられる、ステップ610において開始する。ステップ620において、プロセッサは、画像データから骨格フレーム(すなわち、可能性のある少なくとも1の視聴者の画像を含む画像フレーム、たとえば、図2A中の230を参照)を取得する。ステップ630において、処理ループが開始され、ここで、プロセッサは、顔認識、感情分析、およびエンゲージメント決定を含む、さらなる処理のために、各骨格フレームについて6つの個々の骨格データポイント/セットを使用する。骨格データが処理されると、方法600は、リフレッシュステップ625を介して、ステップ620における骨格フレーム取得に戻る。
[0126]このセクションは、コマーシャルメッセージ(CM)効果管理を考察するための、精確な視聴データ収集および分析について説明する。「視聴可能性」と呼ばれるインデックスは、人物が「TVの前に」いるときを示す。視聴可能性インデックスは、この説明のためにおよびデータを生成する調査のために作成された。調査は、30世帯からの84人のサンプルを用いて、2週間行われた。CM曲線は、2つのシーン間の視聴可能性レートの時系列曲線を示すパターンとして定義される。シーン間のCMのパーソナル視聴レートは一定であり得るが、視聴可能性レートは変化し得る。調査結果は、CM曲線の7つのパターンがあることを示す。CMの長さおよび視聴可能性レートの変数は、CM曲線の形状に有意に寄与することがある。さらに、多項ロジットモデル(multinomial logit model)が、CM曲線を決定するのに役立ち得る。
[0158]図13は、本明細書で説明される方法およびシステムを使用して取得されたデータの通信のシステムを示す。システム1300は、動き検知デバイスを通してTVオーディエンスパネルからキャプチャされた未処理データ1310を記憶および処理し、これは、限定はしないが、デスクトップマシンなど、コンピューティングデバイス1320に転送される。次いで、視聴者エンゲージメントを評価する方法が、たとえば、データを分析および処理するためのデスクトップマシン上で実行され得る。本方法は、分析後のデータを、(1)誰がTVを実際に見ているか(誰がオーディエンスでいるか)と、(2)オーディエンスメンバはどのくらいの頻度でTVを見るかと、(3)TV番組および広告に対するオーディエンスの反応とを決定するために使用され得る、パフォーマンスベースのTVレーティングデータに変換する。この処理されたおよび/または集約されたデータは、次いで、サーバなど、クラウド上の中央ストレージロケーション1330に転送され、ここで、限定はしないが、TV広告代理店1340、TVネットワーク1350、およびデータが有用であると発見し得る他の潜在的クライアント1360を含むサードパーティが、収集エンティティのクライアントのために特別に開発された、収集エンティティのソフトウェア、アプリケーションプログラミングインターフェース、またはウェブポータルを通して、いつでも好都合にデータにアクセスすることができる。代替的に、ハードウェア構成要素のセンサによって収集された未処理データ1310は、インターネット接続を通して直接または間接的にクラウド上の中央ストレージ1330に転送され、ここで、ソフトウェア構成要素によって分析され、関係するサードパーティ1340〜1360にとって利用可能になる。サードパーティは、オプションにより、システムを通して未処理データにアクセスし得る。
[0165]様々な本発明の実施形態が本明細書で説明および図示されているが、機能を実行するための、ならびに/あるいは結果および/または本明細書で説明される利点のうちの1つまたは複数を得るための、様々な他の手段および/または構造を、当業者は容易に想定され、そのような変形および/または変更の各々は、本明細書で説明される本発明の実施形態の範囲内であると見なされる。より一般的には、本明細書で説明されるすべてのパラメータ、寸法、材料、および構成が例示的なものであることを意味し、実際のパラメータ、寸法、材料、および/または構成が、本発明の教示が使用される特定の1つまたは複数の適用例に依存することを、当業者は容易に諒解されよう。当業者は、通常の実験だけを使用して、本明細書で説明される特定の発明の実施形態の多くの均等物を認識し、または確認することが可能であろう。したがって、上記の実施形態は単に例として提示され、添付の特許請求の範囲およびそれの均等物の範囲内で、本発明の実施形態は、特に説明および請求された以外の他の方法で実施され得ることを理解されたい。本開示の発明の実施形態は、本明細書で説明されるそれぞれ個々の特徴、システム、物品、材料、キット、および/または方法を対象とするものである。さらに、2つまたはそれ以上のそのような特徴、システム、物品、材料、キット、および/または方法の任意の組合せは、そのような特徴、システム、物品、材料、キット、および/または方法が相互に矛盾しない場合、本開示の発明の範囲内に含まれる。
以下に、出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
ディスプレイ上で再生しているビデオとの視聴者エンゲージメントを定量化するためのシステムであって、
前記ディスプレイの前の視聴エリアを撮像するように配設された、前記視聴エリアの画像データを取得するための少なくとも1つのカメラと、
前記ディスプレイに近接して配設された、前記ディスプレイに結合されたスピーカによって発せられたオーディオデータを取得するためのマイクロフォンと、
前記少なくとも1つのカメラおよび前記マイクロフォンに動作可能に結合された、プロセッサ実行可能命令を記憶するためのメモリと、
前記少なくとも1つのカメラ、前記マイクロフォン、および前記メモリに動作可能に結合されたプロセッサとを備え、ここにおいて、前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記少なくとも1つのカメラからの前記画像データ、および前記マイクロフォンからの前記オーディオデータを受信することと、
前記オーディオデータに少なくとも一部基づいて、前記ディスプレイ上に表示された前記ビデオの識別情報を決定することと、
前記画像データに少なくとも一部基づいて、前記視聴エリア中に存在する人々の第1の数、および前記視聴エリア中の前記ビデオにエンゲージしている人々の第2の数を推定することと、
人々の前記第1の数および人々の前記第2の数に少なくとも一部基づいて、前記ビデオの前記視聴者エンゲージメントを定量化することと
を行う、システム。
[C2]
前記ビデオは、セットトップボックスを介して提供されるテレビ番組を含み、前記プロセッサは、前記セットトップボックスに接続されない、上記C1に記載のシステム。
[C3]
前記少なくとも1つのカメラは、可視カメラと赤外線カメラとを含み、前記画像データは、前記可視カメラによって取得された第1の画像と、前記赤外線カメラによって取得された第2の画像とを含む、上記C1に記載のシステム。
[C4]
前記プロセッサ実行可能命令の実行時に、前記プロセッサはさらに、
前記第1の画像から人々の第1の未処理の数、および前記第2の画像から人々の第2の未処理の数を推定することと、
前記第1の未処理の数または前記第2の未処理の数のうちの少なくとも一方における、可能性のあるエラーを検出するために、前記第1の未処理の数を前記第2の未処理の数と比較することと
を行う、上記C3に記載のシステム。
[C5]
前記少なくとも1つのカメラは、実質的に毎秒1フレーム以上のフレームレートで前記画像データを取得する、上記C1に記載のシステム。
[C6]
前記プロセッサは、身体骨格検出に基づいて、前記視聴エリア中に存在する人々の前記第1の数を推定する、上記C1に記載のシステム。
[C7]
前記プロセッサは、視線追跡に基づいて、前記ビデオにエンゲージしている人々の前記第2の数を推定する、上記C1に記載のシステム。
[C8]
前記マイクロフォンは、約0.1Hzの取得レートで前記オーディオデータを取得する、上記C1に記載のシステム。
[C9]
前記プロセッサは、オーディオ信号フィンガープリンティングを使用して、前記ビデオの前記識別情報を決定する、上記C1に記載のシステム。
[C10]
前記プロセッサは、
前記ビデオについての注意レートを推定することによって前記視聴者エンゲージメントを定量化し、前記注意レートは、所与の時間期間にわたる、前記視聴エリア中の人々の前記第1の数に対する、前記ビデオにエンゲージしている人々の前記第2の数の比を表す、上記C1に記載のシステム。
[C11]
前記ビデオは、複数のビデオ中の一意のビデオであり、前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データと前記視聴エリア中に潜在的に存在する人々に関する人口統計学的情報とに基づいて、視聴者カウントとポジティブ持続時間比とを推定し、前記視聴者カウントは、各一意のビデオにエンゲージしている人々の前記第2の数を表し、前記ポジティブ持続時間比は、前記一意のビデオの持続時間に対する、前記視聴エリア中の人々が前記一意のビデオを見ることによって費やされた合計時間の比を表す、
上記C10に記載のシステム。
[C12]
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データに少なくとも一部基づいて、前記視聴エリア中に存在する各人物の識別情報を決定することと、
識別された各人物についての前記視聴者エンゲージメントを定量化することと
を行う、上記C1に記載のシステム。
[C13]
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
人々の前記第1の数および人々の前記第2の数を前記メモリに記憶することと、
前記画像データを消去および/または上書きすることと
を行う、上記C1に記載のシステム。
[C14]
前記プロセッサに動作可能に結合された、人々の前記第1の数と人々の前記第2の数とをリモートサーバに送信するためのネットワークインターフェース
をさらに備える、上記C1に記載のシステム。
[C15]
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記視聴エリア中に存在する各人物の感情を推定する
上記C1に記載のシステム。
[C16]
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記オーディオデータに少なくとも一部基づいて、前記複数のビデオ中のあらかじめ決定されたビデオが前記ディスプレイ上に表示されているかどうかを決定し、ここにおいて、前記視聴者エンゲージメントを定量化することは、前記あらかじめ決定されたビデオが表示されているかどうかに少なくとも一部基づく、
上記C1に記載のシステム。
[C17]
前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データから前記視聴エリア中の各人物についての人口統計学的情報を推定すること
を行う、上記C1に記載のシステム。
[C18]
前記人口統計学的情報は、年齢、性別、民族グループ、および顔の表情を含む、上記C17に記載のシステム。
[C19]
ディスプレイ上に示されるビデオとの視聴者エンゲージメントを定量化する方法であって、
少なくとも1つのカメラを用いて、前記ビデオが前記ディスプレイ上に示されている間、前記ディスプレイの前の視聴エリアの画像を取得することと、
マイクロフォンを用いて、前記ディスプレイに結合されたスピーカによって発せられた前記ビデオのサウンドトラックを表すオーディオデータを取得することと、
前記少なくとも1つのカメラおよびプロセッサに動作可能に結合された前記プロセッサを用いて、前記オーディオデータに少なくとも一部基づいて、前記ビデオの識別情報を決定することと、
前記プロセッサを用いて、前記画像データに少なくとも一部基づいて、前記ビデオが前記ディスプレイ上に示されている間の前記視聴エリア中に存在する人々の第1の数、および前記視聴エリア中の前記ビデオにエンゲージしている人々の第2の数を推定することと、
前記プロセッサによって、前記ビデオの前記識別情報、人々の前記第1の数、および人々の前記第2の数をリモートサーバに送信することと
を備える、方法。
[C20]
前記画像を取得することは、可視カメラを使用して前記視聴エリアの第1の画像を取得することと、赤外線(IR)カメラを使用して前記視聴エリアの第2の画像を取得することとを含む、上記C19に記載の方法。
[C21]
前記視聴エリア中の人々の前記第1の数を推定することは、
前記第1の画像データから人々の第1の未処理の数、および前記第2の画像データから人々の第2の未処理の数を推定することと、
前記第1の未処理の数または前記第2の未処理の数のうちの少なくとも一方における、可能性のあるエラーを検出するために、前記第1の未処理の数を前記第2の未処理の数と比較することと
を含む、上記C20に記載の方法。
[C22]
前記画像データを取得することは、実質的に毎秒20フレーム以上のフレームレートで前記視聴エリアの画像を取得することを含む、上記C19に記載の方法。
[C23]
前記オーディオデータを取得することは、約0.1Hzの取得レートで前記オーディオデータを取得することを含む、上記C19に記載の方法。
[C24]
前記ビデオの前記識別情報を決定することは、オーディオ信号フィンガープリンティングに基づく、上記C19に記載の方法。
[C25]
前記視聴エリア中に存在する人々の前記第1の数を推定することは、身体骨格検出に基づく、上記C19に記載の方法。
[C26]
前記少なくともオンビデオにエンゲージしている人々の前記第2の数を推定することは、視線追跡に基づく、上記C19に記載の方法。
[C27]
複数の世帯中の各家世帯において、人々の前記第1の数および人々の前記第2の数に少なくとも一部基づいて、前記ビデオの前記視聴者エンゲージメントを定量化することをさらに備える、上記C19に記載の方法。
[C28]
前記視聴者エンゲージメントを定量化することは、
前記ビデオについての注意レートを推定することであって、前記注意レートは、前記視聴エリア中の人々の前記第1の数に対する、前記ビデオにエンゲージしている人々の前記第2の数の比を表す、推定することと、
複数のビデオ中の各一意のビデオについて、前記複数のビデオ中の前記ビデオの前記注意レートに基づいて注意インデックスを決定することと
を含む、上記C27に記載の方法。
[C29]
前記ビデオは、複数のビデオ中の一意のビデオであり、前記方法は、
前記画像データと前記複数の世帯中の各世帯に関する人口統計学的情報とに基づいて、視聴者カウントとポジティブ持続時間比とを推定することをさらに備え、前記視聴者カウントは、各一意のビデオにエンゲージしている人々の前記第2の数を表し、前記ポジティブ持続時間比は、前記一意のビデオの持続時間に対する、前記複数の世帯中の人々が前記一意のビデオを見ることによって費やされた合計時間の比を表す、
上記C28に記載の方法。
[C30]
前記画像データに少なくとも一部基づいて、前記視聴エリア中に存在する各人物の識別情報を決定することをさらに備え、
ここにおいて、前記ビデオの前記視聴者エンゲージメントを定量化することは、識別された各人物についての前記視聴者エンゲージメントを定量化することを含む、
上記C27に記載の方法。
[C31]
人々の前記第1の数と人々の前記第2の数とをリモートサーバに送信することをさらに備え、ここにおいて、前記視聴者エンゲージメントを定量化することは、前記リモートサーバにおいて行われる、上記C27に記載の方法。
[C32]
前記オーディオデータに少なくとも一部基づいて、前記複数のビデオ中のあらかじめ決定されたビデオが前記ディスプレイ上に表示されているかどうかを決定することをさらに備え、ここにおいて、前記視聴者エンゲージメントを定量化することは、前記あらかじめ決定されたビデオが表示されているかどうかに少なくとも一部基づく、
上記C27に記載の方法。
[C33]
人々の前記第1の数および人々の前記第2の数を、前記プロセッサに動作可能に結合されたメモリに記憶することと、
前記画像データを消去および/または上書きすることと
をさらに備える、上記C19に記載の方法。
[C34]
前記視聴エリア中に存在する各人物の感情を推定することをさらに備える、上記C19に記載の方法。
[C35]
前記画像データから前記視聴エリア中の各人物についての人口統計学的情報を推定すること
をさらに備える、上記C19に記載の方法。
[C36]
前記人口統計学的情報を推定することは、年齢、性別、民族グループ、および顔の表情を推定することを含む、上記C35に記載の方法。
[C37]
ディスプレイ上で再生しているビデオとの視聴者エンゲージメントを評価するためのシステムであって、前記ディスプレイは、前記ビデオのサウンドトラックを発するスピーカに結合され、前記システムは、
第1のサンプルレートで、前記ビデオが前記ディスプレイ上で再生している間、前記ディスプレイの前の視聴エリアの可視画像を取得するための可視カメラと、
前記第1のサンプルレートで、前記ビデオが前記ディスプレイ上で再生している間、前記ディスプレイの前の前記視聴エリアの赤外線画像を取得するための赤外線カメラと、
前記ディスプレイに近接して配設された、前記第1のサンプルレートよりも低い第2のサンプルレートで、前記ビデオが前記ディスプレイ上で再生している間、前記スピーカによって発せられた前記サウンドトラックのサンプルを取得するためのマイクロフォンと、
前記可視カメラ、前記赤外線カメラ、および前記マイクロフォンに動作可能に結合されたプロセッサであって、
(i)前記サウンドトラックの前記サンプルに基づいて前記ビデオを識別すること、
(ii)前記可視画像および前記赤外線画像に基づいて、前記ビデオが前記ディスプレイ上で再生している間の前記視聴エリア中の人々の数、および前記ビデオにエンゲージしている人々の数を推定すること、ならびに
(iii)前記サウンドトラックの前記サンプル、前記可視画像、および前記赤外線画像を上書きおよび/または消去すること
を行うためのプロセッサと、
前記プロセッサに動作可能に結合された、前記ビデオの識別情報、前記ビデオが前記ディスプレイ上で再生している間の前記視聴エリア中の人々の前記数、および前記ビデオにエンゲージしている人々の前記数の表現を記憶するためのメモリと、
前記プロセッサに動作可能に結合された、前記表現をサーバに送信するためのネットワークインターフェースと
を備える、システム。
[C38]
複数のビデオ中の一意のビデオについての視聴者エンゲージメントを定量化する方法であって、
複数の世帯中の各世帯において、ディスプレイの前の視聴エリアの画像データを取得することと、
前記ディスプレイが前記複数のビデオ中のビデオを示しているかどうかを決定することと、
前記複数のビデオ中の各一意のビデオについて、前記画像データおよび前記複数の世帯中の各世帯に関する人口統計学的情報に基づいて、(i)視聴レートおよび(ii)ウォッチングレートを推定することであって、前記視聴レートは、ビデオを示しているディスプレイの合計数に対する、前記視聴エリア中の人々の合計数の比を表し、前記ウォッチングレートは、前記複数の世帯中の人々の合計数に対する、ディスプレイがビデオを示している世帯中の人々の合計数の比を表す、推定することと、
前記複数のビデオ中の各一意のビデオについて、前記視聴レートおよび前記ウォッチングレートに基づいて、視聴可能性インデックスを決定することと
を備える、方法。
[C39]
前記複数のビデオ中の各一意のビデオについて、前記画像データおよび前記複数の世帯中の各世帯に関する人口統計学的情報に基づいて、(iii)視聴者カウントおよび(iv)ポジティブ持続時間比を推定することであって、前記視聴者カウントは、各一意のビデオにエンゲージしている人々の合計数を表し、前記ポジティブ持続時間比は、前記一意のビデオの持続時間に対する、前記複数の世帯中の人々が前記一意のビデオを見ることによって費やされた合計時間の比を表す、推定することと、
前記視聴者カウントおよび前記ポジティブ持続時間比に基づいて、前記視聴可能性インデックスを重み付けすることと
をさらに備える、上記C38に記載の方法。
[C40]
前記複数のビデオ中の前記一意のビデオにわたる前記視聴可能性インデックスを正規化することをさらに備える、上記C39に記載の方法。
[C41]
前記画像データを取得することは、光学カメラを使用して前記視聴エリアの第1の画像を取得することと、赤外線(IR)カメラを使用して前記視聴エリアの第2の画像を取得することとを含む、上記C38に記載の方法。
[C42]
前記ディスプレイが前記ビデオを示しているかどうかを決定することは、信号フィンガープリンティング技法を介した前記視聴エリアのオーディオデータに少なくとも一部基づく、上記C38に記載の方法。
[C43]
前記視聴レートと前記ウォッチングレートとをリモートサーバに送信することをさらに備え、ここにおいて、前記視聴可能性インデックスは、前記リモートサーバによって推定される、
上記C38に記載の方法。
Claims (20)
- セットトップボックスまたはケーブル接続に接続されたテレビジョン上で再生しているビデオとの視聴者エンゲージメントを定量化するためのシステムであって、
前記テレビジョンの前の視聴エリアを撮像するように配設された、前記視聴エリアの画像データを取得するための少なくとも1つのカメラと、
前記テレビジョンに近接して配設された、前記テレビジョンに結合されたスピーカによって発せられたオーディオデータを取得するためのマイクロフォンと、
前記少なくとも1つのカメラおよび前記マイクロフォンに動作可能に結合された、プロセッサ実行可能命令を記憶し、前記画像データをサードパーティに送信する可能性をなくすために、前記画像データおよび前記オーディオデータが前記少なくとも1つのカメラからの後続の画像データおよび前記マイクロフォンからの後続のオーディオデータで上書きされる前に100ミリ秒以下の間、前記画像データおよび前記オーディオデータを記憶するためのメモリと、
前記少なくとも1つのカメラ、前記マイクロフォン、および前記メモリに動作可能に結合され、前記テレビジョン、前記セットトップボックス、またはケーブル接続への接続を有さないプロセッサと、ここにおいて、前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記少なくとも1つのカメラからの前記画像データ、および前記マイクロフォンからの前記オーディオデータを受信することと、
前記オーディオデータに少なくとも一部基づいて、テレビジョン上に表示された前記ビデオの識別情報を決定することと、
前記画像データおよび前記画像データに現れる顔の識別情報に少なくとも一部基づいて、前記視聴エリア中に存在する人々を識別するためのコンピュータビジョンモデルをトレーニングすることと、
前記コンピュータビジョンモデルを使用して、前記後続の画像データに基づいて前記視聴エリアにいる各人物についての一意の識別子を決定することと、
前記後続の画像データに少なくとも一部基づいて、前記視聴エリア中に存在する人々の第1の数、および前記視聴エリア中の前記ビデオにエンゲージしている人々の第2の数を推定することと、
人々の前記第1の数および人々の前記第2の数に少なくとも一部基づいて、前記ビデオの前記視聴者エンゲージメントを定量化することと
を行い、
前記プロセッサに動作可能に結合された、利用可能なアップストリーム帯域幅または送信されるデータの量のうちの少なくとも1つに基づいて選択された送信ウィンドウ中にバースト送信で、人々の前記第1の数、人々の前記第2の数、前記ビデオの前記識別情報、および前記視聴エリア中の前記人々のための前記一意の識別子をリモートサーバに送信するためのネットワークインターフェースと、
を備え、
前記プロセッサは、人々の前記第1の数または人々の前記第2の数に基づいて、オーディオサンプリングレートを調整する、
システム。 - 前記少なくとも1つのカメラは、実質的に毎秒1フレーム以上のフレームレートで前記画像データを取得する、請求項1に記載のシステム。
- 前記プロセッサは、身体骨格検出に基づいて、前記視聴エリア中に存在する人々の前記第1の数を推定する、請求項1に記載のシステム。
- 前記プロセッサは、視線追跡に基づいて、前記ビデオにエンゲージしている人々の前記第2の数を推定する、請求項1に記載のシステム。
- 前記マイクロフォンは、約0.1Hzの取得レートで前記オーディオデータを取得する、請求項1に記載のシステム。
- 前記プロセッサは、オーディオ信号フィンガープリンティングを使用して、前記ビデオの前記識別情報を決定する、請求項1に記載のシステム。
- 前記プロセッサは、
前記ビデオについての注意レートを推定することによって前記視聴者エンゲージメントを定量化し、前記注意レートは、所与の時間期間にわたる、前記視聴エリア中の人々の前記第1の数に対する、前記ビデオにエンゲージしている人々の前記第2の数の比を表す、請求項1に記載のシステム。 - 前記ビデオは、複数のビデオ中の一意のビデオであり、前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データと前記視聴エリア中に潜在的に存在する人々に関する人口統計学的情報とに基づいて、視聴者カウントとポジティブ持続時間比とを推定し、前記視聴者カウントは、各一意のビデオにエンゲージしている人々の前記第2の数を表し、前記ポジティブ持続時間比は、前記一意のビデオの持続時間に対する、前記視聴エリア中の人々が前記一意のビデオを見ることによって費やされた合計時間の比を表す、
請求項7に記載のシステム。 - 前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記リモートサーバへの送信のために、人々の前記第1の数および人々の前記第2の数を前記メモリに記憶する、
請求項1に記載のシステム。 - 前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記視聴エリア中に存在する各人物の感情を推定する
請求項1に記載のシステム。 - 前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記オーディオデータに少なくとも一部基づいて、複数のビデオ中のあらかじめ決定されたビデオが前記テレビジョン上に表示されているかどうかを決定し、ここにおいて、前記視聴者エンゲージメントを定量化することは、前記あらかじめ決定されたビデオが表示されているかどうかに少なくとも一部基づく、
請求項1に記載のシステム。 - 前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データから前記視聴エリア中の各人物についての人口統計学的情報を推定する、請求項1に記載のシステム。 - 前記人口統計学的情報は、年齢、性別、民族グループ、および顔の表情を含む、請求項12に記載のシステム。
- 前記ビデオはストリーミングコンテンツを含む、請求項1に記載のシステム。
- セットトップボックスを介してテレビジョン上で再生しているテレビ番組との視聴者エンゲージメントを定量化するためのシステムであって、
前記テレビジョンの前の視聴エリアを撮像するように配設された、実質的に毎秒1フレーム以上のフレームレートで前記視聴エリアの画像データを取得するための少なくとも1つのカメラと、
前記テレビジョンに近接して配設された、約0.1Hzの取得レートで前記テレビジョンによって発せられたオーディオデータを取得するためのマイクロフォンと、
前記少なくとも1つのカメラおよび前記マイクロフォンに動作可能に結合された、プロセッサ実行可能命令を記憶するためのメモリと、
前記少なくとも1つのカメラ、前記マイクロフォン、および前記メモリに動作可能に結合され、前記テレビジョンにも前記セットトップボックスにも接続されないプロセッサと、ここにおいて、前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記少なくとも1つのカメラからの前記画像データ、および前記マイクロフォンからの前記オーディオデータを受信することと、
オーディオ信号フィンガープリンティングを使用して前記オーディオデータに少なくとも一部基づいて、前記テレビジョン上に表示された前記テレビ番組の識別情報を決定することと、
前記画像データに少なくとも一部基づいて、前記視聴エリア中に存在する人々の第1の数を推定することと、
前記視聴エリア中の前記テレビ番組にエンゲージしている人々の第2の数を推定することと、
人々の前記第1の数および人々の前記第2の数に少なくとも一部基づいて、前記テレビ番組の前記視聴者エンゲージメントを定量化することと
を行い、
前記プロセッサに動作可能に結合された、人々の前記第1の数、人々の前記第2の数、および前記テレビ番組の前記識別情報をリモートサーバに送信するためのネットワークインターフェースと、
を備え、
前記プロセッサは、人々の前記第1の数または人々の前記第2の数に基づいて、オーディオサンプリングレートを調整する、
システム。 - 前記プロセッサは、
前記テレビ番組についての注意レートを推定することによって前記視聴者エンゲージメントを定量化し、前記注意レートは、所与の時間期間にわたる、前記視聴エリア中の人々の前記第1の数に対する、前記テレビ番組にエンゲージしている人々の前記第2の数の比を表す、請求項15に記載のシステム。 - 前記テレビ番組は、複数のテレビ番組中の一意のテレビ番組であり、前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データと前記視聴エリア中に潜在的に存在する人々に関する人口統計学的情報とに基づいて、視聴者カウントとポジティブ持続時間比とを推定し、前記視聴者カウントは、各一意のテレビ番組にエンゲージしている人々の前記第2の数を表し、前記ポジティブ持続時間比は、前記一意のテレビ番組の持続時間に対する、前記視聴エリア中の人々が前記一意のテレビ番組を見ることによって費やされた合計時間の比を表す、
請求項16に記載のシステム。 - 前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記画像データに少なくとも一部基づいて、前記視聴エリア中に存在する各人物の識別情報を決定することと、
識別された各人物についての前記視聴者エンゲージメントを定量化することと
を行う、請求項15に記載のシステム。 - 前記プロセッサ実行可能命令の実行時に、前記プロセッサは、
前記オーディオデータに少なくとも一部基づいて、複数のテレビ番組中のあらかじめ決定されたテレビ番組が前記テレビジョン上に表示されているかどうかを決定し、ここにおいて、前記視聴者エンゲージメントを定量化することは、前記あらかじめ決定されたテレビ番組が表示されているかどうかに少なくとも一部基づく、
請求項15に記載のシステム。 - 前記プロセッサに動作可能に結合された、人物によって装着されたワイヤレス信号送信機からのワイヤレス信号を検出するための少なくとも1つのワイヤレス信号受信機をさらに備え、
前記プロセッサは、前記ワイヤレス信号に基づいて、前記人物と前記テレビジョンとの間の距離および前記テレビジョンに対する前記人物のロケーションを測定する、
請求項15に記載のシステム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021135077A JP7207836B2 (ja) | 2016-01-06 | 2021-08-20 | 視聴者エンゲージメントを評価するためのシステム |
JP2022211300A JP7451673B2 (ja) | 2016-01-06 | 2022-12-28 | 視聴者エンゲージメントを評価するためのシステムおよび方法 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201662275699P | 2016-01-06 | 2016-01-06 | |
US62/275,699 | 2016-01-06 | ||
PCT/US2017/012531 WO2017120469A1 (en) | 2016-01-06 | 2017-01-06 | Systems and methods for assessing viewer engagement |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021135077A Division JP7207836B2 (ja) | 2016-01-06 | 2021-08-20 | 視聴者エンゲージメントを評価するためのシステム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019507533A JP2019507533A (ja) | 2019-03-14 |
JP2019507533A5 JP2019507533A5 (ja) | 2021-02-04 |
JP6984083B2 true JP6984083B2 (ja) | 2021-12-17 |
Family
ID=59274356
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018536185A Active JP6984083B2 (ja) | 2016-01-06 | 2017-01-06 | 視聴者エンゲージメントを評価するためのシステム |
JP2021135077A Active JP7207836B2 (ja) | 2016-01-06 | 2021-08-20 | 視聴者エンゲージメントを評価するためのシステム |
JP2022211300A Active JP7451673B2 (ja) | 2016-01-06 | 2022-12-28 | 視聴者エンゲージメントを評価するためのシステムおよび方法 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021135077A Active JP7207836B2 (ja) | 2016-01-06 | 2021-08-20 | 視聴者エンゲージメントを評価するためのシステム |
JP2022211300A Active JP7451673B2 (ja) | 2016-01-06 | 2022-12-28 | 視聴者エンゲージメントを評価するためのシステムおよび方法 |
Country Status (4)
Country | Link |
---|---|
US (3) | US20180007431A1 (ja) |
EP (2) | EP4080794A1 (ja) |
JP (3) | JP6984083B2 (ja) |
WO (1) | WO2017120469A1 (ja) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10945011B2 (en) * | 2010-12-29 | 2021-03-09 | Comcast Cable Communications, Llc | Measuring video viewing |
US10440428B2 (en) | 2013-01-13 | 2019-10-08 | Comcast Cable Communications, Llc | Measuring video-program-viewing activity |
US10097888B2 (en) * | 2017-02-06 | 2018-10-09 | Cisco Technology, Inc. | Determining audience engagement |
US10587800B2 (en) * | 2017-04-10 | 2020-03-10 | Intel Corporation | Technology to encode 360 degree video content |
US10674206B1 (en) * | 2017-05-16 | 2020-06-02 | Integal Ad Science, Inc. | Methods, systems, and media for generating a media quality score associated with the presentation of a content item |
CN108932451A (zh) * | 2017-05-22 | 2018-12-04 | 北京金山云网络技术有限公司 | 音视频内容分析方法及装置 |
US10536542B1 (en) * | 2017-09-05 | 2020-01-14 | Amazon Technologies, Inc. | Dynamic social content exploring systems and methods |
US20230319348A1 (en) * | 2017-09-12 | 2023-10-05 | Dental Imaging Technologies Corporation | Systems and methods for assessing viewer engagement |
CN107770590B (zh) * | 2017-09-15 | 2018-12-07 | 广州广府通信息科技有限公司 | 一种通过数据采集来自适应选择信息输入方式的方法 |
TWI647954B (zh) * | 2018-01-04 | 2019-01-11 | 中華電信股份有限公司 | 動態調整串流播放的系統及方法 |
CN108594987A (zh) * | 2018-03-20 | 2018-09-28 | 中国科学院自动化研究所 | 基于多模态交互的多人机协同行为监控系统及其操控方法 |
CN108536418A (zh) * | 2018-03-26 | 2018-09-14 | 深圳市冠旭电子股份有限公司 | 一种无线音箱播放模式切换的方法、装置及无线音箱 |
GB201809388D0 (en) | 2018-06-07 | 2018-07-25 | Realeyes Oue | Computer-Implemented System And Method For Determining Attentiveness of User |
US10506275B1 (en) | 2018-07-16 | 2019-12-10 | Gracenote, Inc. | Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content |
US11477525B2 (en) * | 2018-10-01 | 2022-10-18 | Dolby Laboratories Licensing Corporation | Creative intent scalability via physiological monitoring |
WO2020136784A1 (ja) * | 2018-12-27 | 2020-07-02 | Necディスプレイソリューションズ株式会社 | 表示システム、表示方法およびプログラム |
US10979769B2 (en) | 2019-02-25 | 2021-04-13 | PreTechnology, Inc. | Method and apparatus for monitoring and tracking consumption of digital content |
US11722805B1 (en) * | 2019-04-10 | 2023-08-08 | Alarm.Com Incorporated | Electrical appliance power monitoring |
WO2020240976A1 (ja) | 2019-05-27 | 2020-12-03 | ソニー株式会社 | 人工知能情報処理装置及び人工知能情報処理方法 |
USD922400S1 (en) * | 2019-06-13 | 2021-06-15 | Tata Consultancy Services Limited | Display screen with animated graphical user interface |
USD922401S1 (en) * | 2019-06-17 | 2021-06-15 | Tata Consultancy Services Limited | Display screen with animated graphical user interface |
USD921651S1 (en) * | 2019-06-17 | 2021-06-08 | Tata Consultancy Services Limited | Display screen with animated graphical user interface |
USD921650S1 (en) * | 2019-06-17 | 2021-06-08 | Tata Consultancy Services Limited | Display screen with animated graphical user interface |
US11979633B2 (en) * | 2019-12-12 | 2024-05-07 | Kovue Systems Llc | Hybrid data collection system to create an integrated database of connected and detailed consumer video viewing data in real-time |
TWI722872B (zh) * | 2020-04-17 | 2021-03-21 | 技嘉科技股份有限公司 | 人臉辨識裝置以及人臉辨識方法 |
US11166069B1 (en) * | 2020-05-04 | 2021-11-02 | International Business Machines Corporation | Video content conversion |
US11395232B2 (en) * | 2020-05-13 | 2022-07-19 | Roku, Inc. | Providing safety and environmental features using human presence detection |
US11202121B2 (en) | 2020-05-13 | 2021-12-14 | Roku, Inc. | Providing customized entertainment experience using human presence detection |
US11736767B2 (en) * | 2020-05-13 | 2023-08-22 | Roku, Inc. | Providing energy-efficient features using human presence detection |
US11122341B1 (en) * | 2020-11-24 | 2021-09-14 | International Business Machines Corporation | Contextual event summary annotations for video streams |
JP2022090692A (ja) | 2020-12-08 | 2022-06-20 | Tvision Insights株式会社 | 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法 |
JP7042543B1 (ja) | 2020-12-08 | 2022-03-28 | Tvision Insights株式会社 | 制御プログラム、制御装置および制御方法、ならびに、視聴質出力プログラム、視聴質出力装置および視聴質出力方法 |
Family Cites Families (136)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2612204B2 (ja) * | 1989-04-24 | 1997-05-21 | 株式会社 ビデオ・リサーチ | テレビ個人視聴率測定装置 |
US7260837B2 (en) | 2000-03-22 | 2007-08-21 | Comscore Networks, Inc. | Systems and methods for user identification, user demographic reporting and collecting usage data usage biometrics |
US8561095B2 (en) | 2001-11-13 | 2013-10-15 | Koninklijke Philips N.V. | Affective television monitoring and control in response to physiological data |
JP2005514827A (ja) * | 2001-12-21 | 2005-05-19 | シンキング ピクチャーズ, インコーポレイテッド | メディア配信および/または聴視確認のための方法、システムおよび装置 |
US7296286B2 (en) * | 2002-01-31 | 2007-11-13 | Hitachi Kokusai Electric Inc. | Method and apparatus for transmitting image signals of images having different exposure times via a signal transmission path, method and apparatus for receiving thereof, and method and system for transmitting and receiving thereof |
CA2509644A1 (en) | 2002-12-11 | 2004-06-24 | Nielsen Media Research, Inc. | Detecting a composition of an audience |
US7203338B2 (en) | 2002-12-11 | 2007-04-10 | Nielsen Media Research, Inc. | Methods and apparatus to count people appearing in an image |
US20050289582A1 (en) * | 2004-06-24 | 2005-12-29 | Hitachi, Ltd. | System and method for capturing and using biometrics to review a product, service, creative work or thing |
CA2581982C (en) | 2004-09-27 | 2013-06-18 | Nielsen Media Research, Inc. | Methods and apparatus for using location information to manage spillover in an audience monitoring system |
US8488023B2 (en) | 2009-05-20 | 2013-07-16 | DigitalOptics Corporation Europe Limited | Identifying facial expressions in acquired digital images |
JP4932161B2 (ja) | 2005-01-14 | 2012-05-16 | 三菱電機株式会社 | 視聴者情報測定装置 |
US8235725B1 (en) | 2005-02-20 | 2012-08-07 | Sensory Logic, Inc. | Computerized method of assessing consumer reaction to a business stimulus employing facial coding |
US20060259923A1 (en) * | 2005-05-12 | 2006-11-16 | Fu-Sheng Chiu | Interactive multimedia interface display |
JP4603974B2 (ja) * | 2005-12-28 | 2010-12-22 | 株式会社春光社 | コンテンツ注目評価装置及びコンテンツ注目評価方法 |
US20090030780A1 (en) | 2006-01-03 | 2009-01-29 | Ds-Iq, Inc. | Measuring effectiveness of marketing campaigns presented on media devices in public places using audience exposure data |
US20070233759A1 (en) | 2006-03-28 | 2007-10-04 | The Regents Of The University Of California | Platform for seamless multi-device interactive digital content |
US20070271580A1 (en) | 2006-05-16 | 2007-11-22 | Bellsouth Intellectual Property Corporation | Methods, Apparatus and Computer Program Products for Audience-Adaptive Control of Content Presentation Based on Sensed Audience Demographics |
US20120245978A1 (en) | 2006-07-12 | 2012-09-27 | Arbitron, Inc. | System and method for determinimg contextual characteristics of media exposure data |
US8427979B1 (en) | 2006-07-27 | 2013-04-23 | Mobitrum Corporation | Method and system for dynamic information exchange on location aware mesh network devices |
US7985134B2 (en) | 2006-07-31 | 2011-07-26 | Rovi Guides, Inc. | Systems and methods for providing enhanced sports watching media guidance |
US7751599B2 (en) | 2006-08-09 | 2010-07-06 | Arcsoft, Inc. | Method for driving virtual facial expressions by automatically detecting facial expressions of a face image |
US9514436B2 (en) | 2006-09-05 | 2016-12-06 | The Nielsen Company (Us), Llc | Method and system for predicting audience viewing behavior |
US7953595B2 (en) * | 2006-10-18 | 2011-05-31 | Polycom, Inc. | Dual-transform coding of audio signals |
JP2008263524A (ja) | 2007-04-13 | 2008-10-30 | Sharp Corp | テレビジョン受像機 |
US10091345B2 (en) | 2007-09-04 | 2018-10-02 | Apple Inc. | Media out interface |
US8456293B1 (en) | 2007-10-22 | 2013-06-04 | Alarm.Com Incorporated | Providing electronic content based on sensor data |
US8014345B2 (en) | 2007-10-31 | 2011-09-06 | Motorola Solutions, Inc. | Incumbent spectrum hold device |
CN101925916B (zh) | 2007-11-21 | 2013-06-19 | 高通股份有限公司 | 基于媒体偏好控制电子设备的方法和系统 |
US20090160731A1 (en) | 2007-12-20 | 2009-06-25 | Motorola, Inc. | Method for clustering displays of display devices |
JP2009188670A (ja) | 2008-02-05 | 2009-08-20 | Sony Corp | 情報処理装置および方法、プログラム、並びに、記録媒体 |
JP4883046B2 (ja) | 2008-03-31 | 2012-02-22 | ヤマハ株式会社 | 視聴確認システム |
US20100066485A1 (en) | 2008-09-15 | 2010-03-18 | Sony Ericsson Mobile Communications Ab | Remote control of mobile phone camera |
US20100107184A1 (en) | 2008-10-23 | 2010-04-29 | Peter Rae Shintani | TV with eye detection |
JP2010191723A (ja) * | 2009-02-18 | 2010-09-02 | Seiko Epson Corp | 位置検出方法、携帯端末及びプログラム |
US9014546B2 (en) | 2009-09-23 | 2015-04-21 | Rovi Guides, Inc. | Systems and methods for automatically detecting users within detection regions of media devices |
US9201627B2 (en) | 2010-01-05 | 2015-12-01 | Rovi Guides, Inc. | Systems and methods for transferring content between user equipment and a wireless communications device |
JP5115763B2 (ja) | 2010-03-02 | 2013-01-09 | Necソフト株式会社 | 画像処理装置、コンテンツ配信システム、画像処理方法、及びプログラム |
US8447139B2 (en) | 2010-04-13 | 2013-05-21 | International Business Machines Corporation | Object recognition using Haar features and histograms of oriented gradients |
JP5272213B2 (ja) | 2010-04-30 | 2013-08-28 | 日本電信電話株式会社 | 広告効果測定装置、広告効果測定方法およびプログラム |
US20110313849A1 (en) | 2010-06-18 | 2011-12-22 | Klaus Brueck | Method and system for effective market research |
US9516352B2 (en) | 2010-06-22 | 2016-12-06 | Livetv, Llc | Registration of a personal electronic device (PED) with an aircraft IFE system using a PED generated registration identifier and associated methods |
US8763060B2 (en) | 2010-07-11 | 2014-06-24 | Apple Inc. | System and method for delivering companion content |
US20130014137A1 (en) | 2011-07-06 | 2013-01-10 | Manish Bhatia | User impression media analytics platform apparatuses and systems |
US8667519B2 (en) * | 2010-11-12 | 2014-03-04 | Microsoft Corporation | Automatic passive and anonymous feedback system |
US8863196B2 (en) | 2010-11-30 | 2014-10-14 | Sony Corporation | Enhanced information on mobile device for viewed program and control of internet TV device using mobile device |
JP2012123727A (ja) * | 2010-12-10 | 2012-06-28 | Hitachi Solutions Ltd | 広告効果測定サーバ、広告効果測定装置、プログラム、広告効果測定システム |
JP2012198797A (ja) | 2011-03-22 | 2012-10-18 | Nec Corp | 広告閲覧システムおよび広告閲覧方法 |
EP2691915A4 (en) | 2011-03-31 | 2015-04-29 | Intel Corp | METHOD FOR DETECTING FACE POINTS |
US9363519B2 (en) | 2011-04-01 | 2016-06-07 | Google Inc. | Detecting displayed channel using audio/video watermarks |
US20130027613A1 (en) | 2011-05-03 | 2013-01-31 | Lg Electronics Inc. | Image display apparatus, portable terminal, and methods for operating the same |
KR101248844B1 (ko) | 2011-07-25 | 2013-04-01 | 주식회사 아이플래테아코리아 | 방송콘텐츠의 부가정보 제공 방법 및 그 시스템 |
US8732275B2 (en) | 2011-08-01 | 2014-05-20 | Verizon Patent And Licensing Inc. | Methods and systems for delivering a personalized version of an executable application to a secondary access device associated with a user |
US9176214B2 (en) | 2011-08-10 | 2015-11-03 | Microsoft Technology Licensing, Llc | Proximity detection for shared computing experiences |
US20130061257A1 (en) * | 2011-09-02 | 2013-03-07 | Sony Corporation | Verbally communicating facially responsive television apparatus |
US9083988B1 (en) | 2011-11-28 | 2015-07-14 | Google Inc. | System and method for identifying viewers of television programs |
US20130138499A1 (en) * | 2011-11-30 | 2013-05-30 | General Electric Company | Usage measurent techniques and systems for interactive advertising |
US9137559B2 (en) | 2011-12-05 | 2015-09-15 | At&T Intellectual Property I, Lp | Apparatus and method for providing media programming |
US9218122B2 (en) | 2011-12-29 | 2015-12-22 | Rovi Guides, Inc. | Systems and methods for transferring settings across devices based on user gestures |
US20130173765A1 (en) | 2011-12-29 | 2013-07-04 | United Video Properties, Inc. | Systems and methods for assigning roles between user devices |
US8737745B2 (en) | 2012-03-27 | 2014-05-27 | The Nielsen Company (Us), Llc | Scene-based people metering for audience measurement |
US20130276012A1 (en) * | 2012-04-11 | 2013-10-17 | 2Nd Screen Limited | Method, Apparatus and Computer Program for Triggering an Event |
CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
US20130339433A1 (en) | 2012-06-15 | 2013-12-19 | Duke University | Method and apparatus for content rating using reaction sensing |
US9113203B2 (en) | 2012-06-28 | 2015-08-18 | Google Inc. | Generating a sequence of audio fingerprints at a set top box |
US20140026156A1 (en) | 2012-07-18 | 2014-01-23 | David Deephanphongs | Determining User Interest Through Detected Physical Indicia |
US9215022B2 (en) | 2012-07-18 | 2015-12-15 | Google Inc. | Logging individuals for TV measurement compliance |
US9699485B2 (en) | 2012-08-31 | 2017-07-04 | Facebook, Inc. | Sharing television and video programming through social networking |
US9288387B1 (en) | 2012-09-11 | 2016-03-15 | Amazon Technologies, Inc. | Content display controls based on environmental factors |
JP2014086955A (ja) | 2012-10-25 | 2014-05-12 | Switch Media Lab Inc | プログラム、携帯端末、視聴分析システム、及び視聴分析方法 |
SG11201504601XA (en) * | 2012-12-11 | 2015-07-30 | Ami Klin | Systems and methods for detecting blink inhibition as a marker of engagement and perceived stimulus salience |
US20150026708A1 (en) | 2012-12-14 | 2015-01-22 | Biscotti Inc. | Physical Presence and Advertising |
US20140359647A1 (en) * | 2012-12-14 | 2014-12-04 | Biscotti Inc. | Monitoring, Trend Estimation, and User Recommendations |
US20150070516A1 (en) | 2012-12-14 | 2015-03-12 | Biscotti Inc. | Automatic Content Filtering |
US20140172579A1 (en) * | 2012-12-17 | 2014-06-19 | United Video Properties, Inc. | Systems and methods for monitoring users viewing media assets |
US20140181910A1 (en) | 2012-12-21 | 2014-06-26 | Jim Fingal | Systems and methods for enabling parental controls based on user engagement with a media device |
US8769557B1 (en) | 2012-12-27 | 2014-07-01 | The Nielsen Company (Us), Llc | Methods and apparatus to determine engagement levels of audience members |
US9146990B2 (en) | 2013-01-07 | 2015-09-29 | Gracenote, Inc. | Search and identification of video content |
US20140245335A1 (en) | 2013-02-25 | 2014-08-28 | Comcast Cable Communications, Llc | Environment Object Recognition |
EP2965228A4 (en) | 2013-03-06 | 2016-12-14 | Arthur J Zito Jr | MULTIMEDIA PRESENTATION SYSTEM |
US9161066B1 (en) | 2013-03-14 | 2015-10-13 | Google Inc. | Methods, systems, and media for generating and presenting supplemental content based on contextual information |
US20140282665A1 (en) | 2013-03-15 | 2014-09-18 | Nick Salvatore ARINI | Set top box cookies |
US9015737B2 (en) * | 2013-04-18 | 2015-04-21 | Microsoft Technology Licensing, Llc | Linked advertisements |
US9560149B2 (en) | 2013-04-24 | 2017-01-31 | The Nielsen Company (Us), Llc | Methods and apparatus to create a panel of media device users |
US20140363059A1 (en) | 2013-06-07 | 2014-12-11 | Bby Solutions, Inc. | Retail customer service interaction system and method |
US9307355B2 (en) | 2013-06-27 | 2016-04-05 | Bluecats Australia Pty Limited | Location enabled service for enhancement of smart device and enterprise software applications |
US9183841B2 (en) | 2013-07-22 | 2015-11-10 | Disney Enterprises, Inc. | Identification of watermarked content |
US9544650B1 (en) | 2013-08-20 | 2017-01-10 | Google Inc. | Methods, systems, and media for presenting news items corresponding to media content |
US9264770B2 (en) | 2013-08-30 | 2016-02-16 | Rovi Guides, Inc. | Systems and methods for generating media asset representations based on user emotional responses |
US9137558B2 (en) | 2013-11-26 | 2015-09-15 | At&T Intellectual Property I, Lp | Method and system for analysis of sensory information to estimate audience reaction |
KR20150108028A (ko) | 2014-03-16 | 2015-09-24 | 삼성전자주식회사 | 컨텐츠의 재생 제어 방법 및 이를 수행하기 위한 컨텐츠 재생 장치 |
US9525911B2 (en) * | 2014-03-27 | 2016-12-20 | Xcinex Corporation | Techniques for viewing movies |
JP6133812B2 (ja) | 2014-04-03 | 2017-05-24 | 株式会社スイッチ・メディア・ラボ | 視聴情報取得装置 |
CN104159136B (zh) | 2014-05-29 | 2016-01-13 | 腾讯科技(深圳)有限公司 | 互动信息的获取方法、终端、服务器及系统 |
US9894413B2 (en) | 2014-06-12 | 2018-02-13 | Google Llc | Systems and methods for locally detecting consumed video content |
US9368105B1 (en) | 2014-06-26 | 2016-06-14 | Amazon Technologies, Inc. | Preventing false wake word detections with a voice-controlled device |
US9609385B2 (en) * | 2014-08-28 | 2017-03-28 | The Nielsen Company (Us), Llc | Methods and apparatus to detect people |
US10129312B2 (en) * | 2014-09-11 | 2018-11-13 | Microsoft Technology Licensing, Llc | Dynamic video streaming based on viewer activity |
KR102276023B1 (ko) | 2014-09-19 | 2021-07-12 | 엘지전자 주식회사 | 이동 단말기 및 그의 움직임 기반의 저전력 구현 방법 |
US20160165409A1 (en) | 2014-12-03 | 2016-06-09 | Koninklijke Philips N.V. | Method and device for wearable display |
US20160182955A1 (en) | 2014-12-23 | 2016-06-23 | Rovi Guides, Inc. | Methods and systems for recommending media assets |
WO2016111993A1 (en) | 2015-01-05 | 2016-07-14 | Skullcandy, Inc. | Human performance optimization and training methods and systems |
US10904617B1 (en) | 2015-02-19 | 2021-01-26 | Amazon Technologies, Inc. | Synchronizing a client device with media content for scene-specific notifications |
US9986289B2 (en) * | 2015-03-02 | 2018-05-29 | The Nielsen Company (Us), Llc | Methods and apparatus to count people |
WO2016183047A1 (en) | 2015-05-11 | 2016-11-17 | Google Inc. | Systems and methods of updating user identifiers in an image-sharing environment |
US20160345062A1 (en) | 2015-05-19 | 2016-11-24 | Rovi Guides, Inc. | Systems and methods for determining temporally popular content for presentation on a common display |
US10412232B2 (en) | 2015-05-21 | 2019-09-10 | Verizon Patent And Licensing Inc. | Converged family network usage insights and actions |
EP3311581A1 (en) | 2015-06-16 | 2018-04-25 | THOMSON Licensing | Wireless audio/video streaming network |
CA2990184A1 (en) | 2015-06-25 | 2016-12-29 | Websafety, Inc. | Management and control of mobile computing device using local and remote software agents |
WO2017004241A1 (en) | 2015-07-02 | 2017-01-05 | Krush Technologies, Llc | Facial gesture recognition and video analysis tool |
US20170055118A1 (en) | 2015-08-18 | 2017-02-23 | Brendan Ciecko | Location and activity aware content delivery system |
US9743154B2 (en) | 2015-09-09 | 2017-08-22 | Sorenson Media, Inc | Dynamic video advertisement replacement |
US10542315B2 (en) | 2015-11-11 | 2020-01-21 | At&T Intellectual Property I, L.P. | Method and apparatus for content adaptation based on audience monitoring |
CN105491427B (zh) | 2015-11-24 | 2019-01-29 | 深圳创维-Rgb电子有限公司 | 一种智能电视的控制系统及其实现方法 |
CN112333524B (zh) | 2015-12-16 | 2024-02-02 | 六科股份有限公司 | 动态视频覆盖 |
WO2017102988A1 (en) | 2015-12-17 | 2017-06-22 | Thomson Licensing | Method and apparatus for remote parental control of content viewing in augmented reality settings |
WO2017111234A1 (en) | 2015-12-23 | 2017-06-29 | Samsung Electronics Co., Ltd. | Method for electronic device to control object and electronic device |
WO2017111858A1 (en) | 2015-12-24 | 2017-06-29 | Intel Corporation | Techniques to provide wireless storage and processing capabilities |
KR102102453B1 (ko) | 2016-01-08 | 2020-04-20 | 주식회사 아이플래테아 | 시청률 산출 서버, 시청률 산출 방법, 및 시청률 산출 리모트 장치 |
US10839417B2 (en) | 2016-03-17 | 2020-11-17 | Adobe Inc. | Gauging consumer interest of in-person visitors |
US10057772B2 (en) | 2016-03-29 | 2018-08-21 | Microsoft Technology Licensing, Llc | Projection via a device |
US10356142B1 (en) | 2016-05-13 | 2019-07-16 | Amazon Technologies, Inc. | Media streaming devices with noise mitigation |
US11707216B2 (en) | 2016-07-21 | 2023-07-25 | Comcast Cable Communications, Llc | Recommendations based on biometric feedback from wearable device |
US10115400B2 (en) | 2016-08-05 | 2018-10-30 | Sonos, Inc. | Multiple voice services |
US10419558B2 (en) | 2016-08-24 | 2019-09-17 | The Directv Group, Inc. | Methods and systems for provisioning a user profile on a media processor |
US10193981B2 (en) | 2016-12-23 | 2019-01-29 | Centurylink Intellectual Property Llc | Internet of things (IoT) self-organizing network |
US10631029B1 (en) | 2017-01-26 | 2020-04-21 | Cox Communications, Inc. | Viewing recommendations based on sensor data |
US10467509B2 (en) | 2017-02-14 | 2019-11-05 | Microsoft Technology Licensing, Llc | Computationally-efficient human-identifying smart assistant computer |
US9838755B1 (en) | 2017-04-04 | 2017-12-05 | Alphonso Inc. | System and method for determining TV tune-in attribution |
US10362346B2 (en) | 2017-04-20 | 2019-07-23 | Apple Inc. | Simultaneous playback for multiple audience members with different visual and audio needs |
US10205988B1 (en) | 2017-08-10 | 2019-02-12 | Rovi Guides, Inc. | Systems and methods for automatically resuming appropriate paused content when there are multiple users at a media device |
US10841651B1 (en) | 2017-10-10 | 2020-11-17 | Facebook, Inc. | Systems and methods for determining television consumption behavior |
US11303967B2 (en) | 2018-01-05 | 2022-04-12 | Xirgo Technologies, Llc | Scrub and playback of video buffer over wireless |
US20190220669A1 (en) | 2018-01-12 | 2019-07-18 | International Business Machines Corporation | Content presentation based on video interaction |
US10885092B2 (en) | 2018-04-17 | 2021-01-05 | International Business Machines Corporation | Media selection based on learning past behaviors |
US11316861B2 (en) | 2019-06-27 | 2022-04-26 | AVAST Software s.r.o. | Automatic device selection for private network security |
US11316912B2 (en) | 2020-05-26 | 2022-04-26 | Grass Valley Canada | System and method for synchronizing transmission of media content using timestamps |
-
2017
- 2017-01-06 JP JP2018536185A patent/JP6984083B2/ja active Active
- 2017-01-06 WO PCT/US2017/012531 patent/WO2017120469A1/en active Application Filing
- 2017-01-06 EP EP22172630.0A patent/EP4080794A1/en active Pending
- 2017-01-06 EP EP17736432.0A patent/EP3400661A4/en not_active Ceased
- 2017-09-12 US US15/702,229 patent/US20180007431A1/en not_active Abandoned
-
2021
- 2021-08-20 JP JP2021135077A patent/JP7207836B2/ja active Active
-
2022
- 2022-02-07 US US17/650,193 patent/US11509956B2/en active Active
- 2022-10-18 US US18/047,513 patent/US20230106115A1/en active Pending
- 2022-12-28 JP JP2022211300A patent/JP7451673B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP7451673B2 (ja) | 2024-03-18 |
JP2023036898A (ja) | 2023-03-14 |
JP7207836B2 (ja) | 2023-01-18 |
US20180007431A1 (en) | 2018-01-04 |
JP2019507533A (ja) | 2019-03-14 |
EP3400661A4 (en) | 2019-04-24 |
US20230106115A1 (en) | 2023-04-06 |
WO2017120469A1 (en) | 2017-07-13 |
EP3400661A1 (en) | 2018-11-14 |
JP2021184644A (ja) | 2021-12-02 |
EP4080794A1 (en) | 2022-10-26 |
US20220159341A1 (en) | 2022-05-19 |
US11509956B2 (en) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7451673B2 (ja) | 視聴者エンゲージメントを評価するためのシステムおよび方法 | |
US11430260B2 (en) | Electronic display viewing verification | |
US10869626B2 (en) | Image analysis for emotional metric evaluation | |
US20180365711A1 (en) | Audience Attendance Monitoring through Facial Recognition | |
US20190034706A1 (en) | Facial tracking with classifiers for query evaluation | |
US11064257B2 (en) | System and method for segment relevance detection for digital content | |
CN105229629B (zh) | 用于估计对媒体内容的用户兴趣的方法、电子设备和介质 | |
US8543454B2 (en) | Generating audience response metrics and ratings from social interest in time-based media | |
US20170238859A1 (en) | Mental state data tagging and mood analysis for data collected from multiple sources | |
KR101094119B1 (ko) | 양방향 비디오 디스플레이 시스템 운용 방법 및 시스템 | |
CA3041557C (en) | Estimating and displaying social interest in time-based media | |
US20160191995A1 (en) | Image analysis for attendance query evaluation | |
US10841651B1 (en) | Systems and methods for determining television consumption behavior | |
JP6807389B2 (ja) | メディアコンテンツのパフォーマンスの即時予測のための方法及び装置 | |
US20230122126A1 (en) | Audience attendance monitoring through facial recognition | |
US20120140069A1 (en) | Systems and methods for gathering viewership statistics and providing viewer-driven mass media content | |
US11540009B2 (en) | Systems and methods for assessing viewer engagement | |
US10425687B1 (en) | Systems and methods for determining television consumption behavior | |
CN105874423A (zh) | 检测对可穿戴媒体设备上呈现的媒体的参与的方法和设备 | |
US9301019B1 (en) | Media correlation by feature matching | |
CN104281516A (zh) | 用媒体测量仪数据表征家庭的方法和设备 | |
JP7291445B1 (ja) | 視聴者関与度を評価するためのシステムおよび方法 | |
Amali et al. | Automatic User-Video Metrics Creations From Emotion Detection | |
JP2023519608A (ja) | ユーザデバイスからデータを収集するシステム及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20190110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20190110 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200106 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200106 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201214 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20201214 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210126 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210202 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210326 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20210420 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210820 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20210820 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20210830 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20210831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211026 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211028 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6984083 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |