JP2020514922A - メディアコンテンツの追跡 - Google Patents

メディアコンテンツの追跡 Download PDF

Info

Publication number
JP2020514922A
JP2020514922A JP2019552041A JP2019552041A JP2020514922A JP 2020514922 A JP2020514922 A JP 2020514922A JP 2019552041 A JP2019552041 A JP 2019552041A JP 2019552041 A JP2019552041 A JP 2019552041A JP 2020514922 A JP2020514922 A JP 2020514922A
Authority
JP
Japan
Prior art keywords
user
gaze
media content
display
display screen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019552041A
Other languages
English (en)
Other versions
JP6865297B2 (ja
Inventor
ホフマン,グスタフ
ムルシー,ガナパ・サシドハラ
Original Assignee
ケロッグ カンパニー
ケロッグ カンパニー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ケロッグ カンパニー, ケロッグ カンパニー filed Critical ケロッグ カンパニー
Publication of JP2020514922A publication Critical patent/JP2020514922A/ja
Application granted granted Critical
Publication of JP6865297B2 publication Critical patent/JP6865297B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241Advertisements
    • G06Q30/0242Determining effectiveness of advertisements
    • G06Q30/0246Traffic
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114Tracking parts of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/02Marketing; Price estimation or determination; Fundraising
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41415Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance involving a public display, viewable by several users in a public space outside their home, e.g. movie theatre, information kiosk
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44218Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213Monitoring of end-user related data
    • H04N21/44222Analytics of user selections, e.g. selection of programs or purchase activity
    • H04N21/44224Monitoring of user activity on external systems, e.g. Internet browsing
    • H04N21/44226Monitoring of user activity on external systems, e.g. Internet browsing on social networks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508Management of client data or end-user data
    • H04N21/4532Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/12Healthy persons not otherwise provided for, e.g. subjects of a marketing survey
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • General Engineering & Computer Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • Finance (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)

Abstract

メディアコンテンツを追跡するための方法(600)は、ユーザ識別子(12)を受信することと、ユーザ識別子に基づいてメディアコンテンツ(20)を表示するように表示システム(120)に指示することとを含む。各表示システムは、対応する表示画面(122)を有する。また、方法は、ユーザ(10)の画像(310)を撮影するように構成された視野(FV)を有する撮影システム(300)から、画像データ(312)を受信することを含む。さらに、方法は、ユーザの注視対象(GT)を含むユーザの注視特性を決定することと、注視対象が表示画面のうち1つに対応するか否かを判断することとを含む。注視対象が表示画面のうち1つに対応する場合、方法は、対応する表示画面に注視する注視時間(tGE)を決定することを含む。また、方法は、注視特性と、注視対象に対応する表示画面に表示されたメディアコンテンツとのうち少なくとも1つを格納することを含む。

Description

技術分野
本開示は、様々なメディアコンテンツに注視する視聴者の視線を追跡することに関する。
背景
世間では、メディアコンテンツの効果は、しばしば、人または視聴者の注意力を引くメディアコンテンツの能力によって評価される。例えば、映画は、切符の売り上げによって評価される。本は、販売された部数によって評価される。インターネットは、好きおよびコメントによってソーシャルメディアを評価する。一般的に、デジタル広告は、クリック数および行動の応答に応じて追跡される。これらの理由によって、一部の企業は、現在の時代を広告の時代として考え、メディアコンテンツの魅力的な性質を理解してもらうために、数十億ドルを費やして広告する。メディアコンテンツを追跡するための既知のシステムおよび方法は、意図した目的を達成したが、関連技術を継続的に改善する必要性がまだ残っている。
概要
本開示の一態様は、メディアコンテンツを追跡するための方法を提供する。この方法は、データ処理ハードウェアを用いて、ユーザに関連付けられたユーザ識別子を受信することと、データ処理ハードウェアを用いて、ユーザ識別子に基づいてメディアコンテンツを表示するように表示システムに指示することとを含む。各表示システムは、対応する表示画面を有する。方法は、データ処理ハードウェアを用いて、ユーザの画像を撮影するように構成された視野を有する撮影システムから、画像データを受信することをさらに含む。方法は、データ処理ハードウェアを用いて、画像データに基づいて、ユーザの注視特性を決定することをさらに含み、注視特性は、ユーザの注視対象を含む。方法は、データ処理ハードウェアを用いて、注視対象が表示画面のうち1つに対応するか否かを判断することをさらに含む。注視対象が表示画面のうち1つに対応する場合、方法は、データ処理ハードウェアを用いて、ユーザの注視特性に基づいて、対応する表示画面に注視する注視時間を決定することを含む。方法は、データ処理ハードウェアを用いて、ユーザの注視特性または対応する表示画面に注視する注視時間と、注視対象に対応する表示画面に表示されたメディアコンテンツまたはメディアコンテンツの識別子との少なくとも1つをメモリハードウェアに格納することをさらに含む。
本開示の実現例は、以下の選択的な特徴のうち1つ以上を含んでもよい。いくつかの実現例において、注視対象が表示画面のうち1つに対応する場合、方法は、データ処理ハードウェアを用いて、注視対象に対応する表示画面に表示されたメディアコンテンツを表示するように、表示画面のうち、注視対象から離れた別の表示画面を有する表示システムに指示することと、データ処理ハードウェアを用いて、ユーザの注視特性が、注視対象が表示画面のうち別の表示画面に変更したことを示しているか否かを判断することとをさらに含む。ユーザの注視特性を決定することは、ユーザの注視方向と、ユーザの注視方向に基づいたユーザの注視対象とを決定することを含んでもよい。メディアコンテンツを表示するように表示システムに指示することは、時間間隔において一種類のメディアコンテンツを表示するように各表示システムに指示することを含んでもよい。同一の時間間隔において、少なくとも2つの表示システムは、異なる種類のメディアコンテンツを表示する。
いくつかの実現例において、方法は、データ処理ハードウェアを用いて、対応する種類のメディアコンテンツに注視するユーザの任意の注視時間に基づいて、ある種類のメディアコンテンツに注視するユーザの合計注視時間を決定することを含む。方法は、(i)ユーザの注視回数の閾値と、(ii)ユーザの合計注視時間の閾値とのうち少なくとも1つを受信した場合、データ処理ハードウェアを用いて、任意種類のメディアコンテンツを識別することをさらに含んでもよい。方法は、データ処理ハードウェアを用いて、画像データに基づいて、ユーザ識別子を決定することをさらに含むことができる。方法は、データ処理ハードウェアを用いて、画像データに基づいて、ユーザ識別子の顔特徴を識別することと、データ処理ハードウェアを用いて、ユーザの顔特徴に基づいて、ユーザ識別子を決定することとをさらに含む。
撮影システムは、カメラと、三次元体積型点群画像センサと、立体カメラと、光検出および測距(LIDAR)システムと、レーザ検出および測距(LADAR)システムとのうち少なくとも1つを含んでもよい。ユーザ識別子を受信することは、電磁近接場走査装置から近接場測定値を受信することを含んでもよい。
本開示の別の態様は、メディアコンテンツを追跡するための方法を提供する。この方法は、データ処理ハードウェアを用いて、複数のユーザに関連付けられたユーザ識別子を受信することと、データ処理ハードウェアを用いて、ユーザ識別子に基づいてメディアコンテンツを表示するように表示システムに指示することとを含み、表示システムは、対応する表示画面を有する。方法は、データ処理ハードウェアを用いて、ユーザの画像を撮影するように構成された視野を有する撮影システムから、画像データを受信することと、データ処理ハードウェアを用いて、画像データに基づいてユーザの注視特性を決定することとを含み、注視特性は、各ユーザに対応する注視対象を含む。方法は、データ処理ハードウェアを用いて、各ユーザに対して、ユーザに対応する注視対象が表示画面のうち1つに対応するか否かを判断することを含む。ユーザに対応する注視対象が表示画面のうち1つに対応する場合、方法は、データ処理ハードウェアを用いて、ユーザに対応する注視対象に基づいて、対応する表示画面に注視する注視時間を決定し、データ処理ハードウェアを用いて、注視時間を、対応する表示画面に表示されたメディアコンテンツに関連付け、データ処理ハードウェアを用いて、ユーザの注視時間と対応するメディアコンテンツとの関連付けに基づいて、ユーザによって注視された種類のメディアコンテンツを識別し、データ処理ハードウェアを用いて、識別された種類のメディアコンテンツをメモリハードウェアに格納することをさらに含む。
この態様は、以下の選択的な特徴のうち1つ以上を含んでもよい。いくつかの実現例において、ユーザに対応する注視対象が表示画面のうち1つに対応する場合、方法は、データ処理ハードウェアを用いて、各ユーザに対して、ユーザの注視特性またはユーザに対応する注視時間と、注視対象に対応する表示画面に表示されたメディアコンテンツまたはメディアコンテンツの識別子との少なくとも1つをメモリハードウェアに格納することをさらに含む。メディアコンテンツを表示するように表示システムに指示することは、時間間隔において一種類のメディアコンテンツを表示するように各表示システムに指示することを含んでもよい。同一の時間間隔において、少なくとも2つの表示システムは、異なる種類のメディアコンテンツを表示する。方法は、データ処理ハードウェアを用いて、ユーザの注視時間と対応するメディアコンテンツとの関連付けに基づいて、一種類のメディアコンテンツに注視するユーザの合計注視の集中度閾値を決定することをさらに含んでもよい。
いくつかの例において、方法は、ユーザの注視回数の閾値と、1人以上のユーザの注視時間の閾値と、ユーザの合計注視の集中度閾値とのうち少なくとも1つに受信した場合、データ処理ハードウェアを用いて、任意種類のメディアコンテンツを識別することをさらに含む。方法は、データ処理ハードウェアを用いて、画像データに基づいて、ユーザ識別子を決定することをさらに含んでもよい。方法は、データ処理ハードウェアを用いて、画像データに基づいて、ユーザ識別子の顔特徴を識別することと、データ処理ハードウェアを用いて、ユーザの顔特徴に基づいて、ユーザ識別子を決定することとをさらに含んでもよい。
撮影システムは、カメラと、三次元体積型点群画像センサと、立体カメラと、光検出および測距(LIDAR)システムと、レーザ検出および測距(LADAR)システムとのうち少なくとも1つを含んでもよい。ユーザ識別子を受信することは、電磁近接場走査装置から近接場測定値を受信することを含んでもよい。
本開示のさらに別の態様は、メディアコンテンツを追跡するためのシステムを提供する。このシステムは、複数のディスプレイと通信するデータ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアとを備えている。メモリハードウェアは、データ処理ハードウェア上で実行されると、データ処理ハードウェアに動作を実行させる命令を格納する。動作は、ユーザに関連付けられたユーザ識別子を受信することと、ユーザ識別子に基づいてメディアコンテンツを表示するように表示システムに指示することとを含み、各表示システムは、対応する表示画面を有し、ユーザの画像を撮影するように構成された視野を有する撮影システムから、画像データを受信することとを含む。動作は、画像データに基づいてユーザの注視特性を決定することとを含み、注視特性は、ユーザの注視対象を含み、注視対象が表示画面のうち1つに対応するか否かを判断することを含む。注視対象が表示画面のうち1つに対応する場合、動作は、ユーザの注視特性に基づいて、対応する表示画面に注視する注視時間を決定することを含む。動作は、ユーザの注視特性または対応する表示画面に注視する注視時間と、注視対象に対応する表示画面に表示されたメディアコンテンツまたはメディアコンテンツの識別子との少なくとも1つをメモリハードウェアに格納することを含む。
この態様は、以下の選択的な特徴のうち1つ以上を含んでもよい。いくつかの実現例において、注視対象が表示画面のうち1つに対応するとき、動作は、注視対象に対応する表示画面に表示されたメディアコンテンツを表示するように、表示画面のうち、注視対象から離れた別の表示画面を有する表示システムに指示することと、ユーザの注視特性が、注視対象が表示画面のうち別の表示画面に変更したことを示しているか否かを判断することとをさらに含む。ユーザの注視特性を決定することは、ユーザの注視方向と、ユーザの注視方向に基づいたユーザの注視対象とを決定することを含んでもよい。
いくつかの例において、メディアコンテンツを表示するように表示システムに指示することは、時間間隔において一種類のメディアコンテンツを表示するように各表示システムに指示することを含んでもよい。同一の時間間隔において、少なくとも2つの表示システムは、異なる種類のメディアコンテンツを表示する。動作は、対応する種類のメディアコンテンツに注視するユーザの任意の注視時間に基づいて、ある種類のメディアコンテンツに注視するユーザの合計注視時間を決定することをさらに含んでもよい。動作は、ユーザの注視回数の閾値と、ユーザの合計注視時間の閾値とのうち少なくとも1つを受信した場合、任意種類のメディアコンテンツを識別することをさらに含んでもよい。動作は、画像データに基づいてユーザ識別子を決定することをさらに含んでもよい。
いくつかの実現例において、動作は、画像データに基づいてユーザ識別子の顔特徴を識別することと、ユーザの顔特徴に基づいてユーザ識別子を決定することとをさらに含む。撮影システムは、カメラと、三次元体積型点群画像センサと、立体カメラと、光検出および測距(LIDAR)システムと、レーザ検出および測距(LADAR)システムとのうち少なくとも1つを含むことができる。ユーザ識別子を受信する動作は、電磁近接場走査装置から近接場測定値を受信することを含んでもよい。
本開示のさらに別の態様は、メディアコンテンツを追跡するためのシステムを提供する。このシステムは、複数のディスプレイと通信するデータ処理ハードウェアと、データ処理ハードウェアと通信するメモリハードウェアとを備えている。メモリハードウェアは、データ処理ハードウェア上で実行されると、データ処理ハードウェアに動作を実行させる命令を格納する。動作は、複数のユーザに関連付けられたユーザ識別子を受信することと、ユーザ識別子に基づいてメディアコンテンツを表示するように表示システムに指示することとを含み、表示システムは、対応する表示画面を有する。動作は、ユーザの画像を撮影するように構成された視野を有する撮影システムから、画像データを受信することと、画像データに基づいてユーザの注視特性を決定することとをさらに含み、注視特性は、各ユーザに対応する注視対象を含む。動作は、各ユーザに対して、ユーザに対応する注視対象が表示画面のうち1つに対応するか否かを判断することを含む。ユーザに対応する注視対象が表示画面のうち1つに対応する場合、動作は、ユーザに対応する注視対象に基づいて、対応する表示画面に注視する注視時間を決定し、注視時間を、対応する表示画面に表示されたメディアコンテンツに関連付け、ユーザの注視時間と対応するメディアコンテンツとの関連付けに基づいて、ユーザによって注視された種類のメディアコンテンツを識別し、識別された種類のメディアコンテンツをメモリハードウェアに格納することを含む。
この態様は、以下の選択的な特徴のうち1つ以上を含んでもよい。いくつかの実現例において、ユーザに対応する注視対象が表示画面のうち1つに対応する場合、動作は、各ユーザに対して、ユーザの注視特性またはユーザに対応する注視時間と、注視対象に対応する表示画面に表示されたメディアコンテンツまたはメディアコンテンツの識別子との少なくとも1つをメモリハードウェアに格納することをさらに含む。メディアコンテンツを表示するように表示システムに指示することは、時間間隔において一種類のメディアコンテンツを表示するように各表示システムに指示することを含むことができる。同一の時間間隔において、少なくとも2つの表示システムは、異なる種類のメディアコンテンツを表示する。動作は、ユーザの注視時間と対応するメディアコンテンツとの関連付けに基づいて、種類のメディアコンテンツに注視するユーザの合計注視の集中度閾値を決定することをさらに含んでもよい。
いくつかの実現例において、動作は、前記ユーザの注視回数の閾値と、1人以上の前記ユーザの注視時間の閾値と、前記ユーザの合計注視の集中度閾値とのうち少なくとも1つに受信した場合、任意種類のメディアコンテンツを識別することをさらに含む。動作は、画像データに基づいて、ユーザ識別子を決定することをさらに含んでもよい。いくつかの例において、動作は、画像データに基づいて、ユーザ識別子の顔特徴を識別することと、ユーザの顔特徴に基づいて、ユーザ識別子を決定することとをさらに含んでもよい。
撮影システムは、カメラと、三次元体積型点群画像センサと、立体カメラと、光検出および測距(LIDAR)システムと、レーザ検出および測距(LADAR)シスとのうち少なくとも1つを含んでもよい。ユーザ識別子を受信することは、電磁近接場走査装置から近接場測定値を受信することを含んでもよい。
本開示の1つ以上の実現例の詳細は、添付の図面および以下の説明に記載されている。他の態様、特徴および利点は、以下の説明および図面並びに特許請求の範囲から明らかになるであろう。
例示的なメディアコンテンツ追跡環境を示す概略図である。 別の例示的なメディアコンテンツ追跡環境を示す概略図である。 メディアコンテンツ追跡環境の例示的な識別システムを示す概略図である。 メディアコンテンツ追跡環境の例示的な撮影システムを示す概略図である。 第1の時間間隔における例示的なメディアコンテンツ追跡環境を示す概略図である。 第2の時間間隔におけるメディアコンテンツ追跡環境を示す概略図である。 第3の時間間隔におけるメディアコンテンツ追跡環境を示す概略図である。 メディアコンテンツ追跡環境のグラフィカルユーザインターフェイスの例示的なダッシュボードビューを示す概略図である。 メディアコンテンツ追跡環境のグラフィカルユーザインターフェイスの例示的なダッシュボードビューを示す概略図である。 様々なメディアコンテンツの視聴者の視線を追跡するための方法の動作を示す例示的なフロー図である。 本明細書に記載されたシステムおよび方法を実装するために使用され得る例示的なコンピューティング装置を示す概略図である。
詳細な説明
様々な図面において、同様の参照記号は、同様の要素を示す。
企業は、商品およびサービスに金銭および時間を投入した後、ツールを用いて、消費者の注意力を商品およびサービスに引く方法を決定することができる。従来では、企業は、消費者のフィードバックおよび意見を受け取る消費者調査の手段として、フォーカスグループおよびアンケートを用いて、消費者の習慣および行動を研究してきた。しかしながら、これらの従来の方法は、質の低い問題の考案または研究者の偏見などの固有偏見に遭遇する。また、消費者は、公衆に注意されるように、自分自身の反応を改ざんすることがある。消費者調査は、これらの従来の手段を用いて、系統的な消費者の習慣および行動を把握するのに取り組んでいる。メディアコンテンツ追跡環境によって、企業は、従来の偏見を軽減しながら、メディアコンテンツに関連する消費者調査を実施することができる。メディアコンテンツ追跡環境において、消費者またはユーザは、一定の期間に亘って視聴セッションに参加する。視聴セッションにおいて、メディアコンテンツ追跡環境は、ユーザにメディアコンテンツを与えると共に、ユーザとメディアコンテンツとの相互作用に関する画像データを観察、収集および保存する。
図1Aおよび1Bは、例示的なメディアコンテンツ追跡環境100に参加している少なくとも1名のユーザ10を示す。メディアコンテンツ追跡環境100は、処理システム110と、識別システム200と、撮影システム300とを含む。メディアコンテンツ追跡環境100内の少なくとも1名のユーザ10は、n名のユーザであってもよい。各々のユーザ10、10a−n(図面には、例示として3人のユーザ10a−cのみが示されている)は、ユーザ識別子12、12a−nを有する。識別システム200は、ユーザ10に対応するユーザ識別子12を受信し、ユーザ識別子12を処理システム110に送信する。いくつかの例において、ユーザ10は、例えば、ユーザインターフェイス(例えば、キーボード、タッチ画面)にユーザ識別子12を入力することによって、カードリーダにバッジまたはカードをスキャンすることによって、顔認識システムの視野に顔を置くことによって、ユーザ識別子12を識別システム200に能動的に送信する。別の例において、ユーザ10は、例えば、携帯している無線周波数(RF)識別カードがRFリーダによって受動的に読み取られることによって、またはメディアコンテンツ追跡環境100内のユーザ10、10a−nの顔特徴を識別および撮影するように構成された顔認識システムによる顔認識によって、ユーザ識別子12を識別システム200に受動的に送信する。ユーザ10を識別する他の方法も可能である。
処理システム110は、ユーザ識別子12に基づいて、表示システム120を用いて、メディアコンテンツ20をユーザ10に表示するように構成されている。表示システム120の各表示システム120、120a−nは、メディアを表示するための表示画面122を有する。いくつかの例として、表示システム120は、テレビ、モニタ、またはプロジェクタと表示画面との組み合わせを含む。
各ユーザ10、10a−nは、注視特性を有する。撮影システム300は、注視特性を識別することによって、ユーザ10が表示されたメディアコンテンツ20に興味を有するか否かを判断する。注視特性は、ユーザ10の視野F内の注目対象(すなわち、興味の対象)に対応する注視対象Gを含む。例えば、図1Aおよび1Bを参照して、表示システム120は、第1のユーザ10、10aの視野Fに配置され、第1のユーザ10、10aの注視対象G、GTaは、第1の表示画面122、122aに表示されたメディアコンテンツ20である。いくつかの実現例において、注視特性は、ユーザ10の注視方向Gを含む。ユーザ10の注視方向Gは、処理システム110によるユーザ10の注視対象Gの決定を支援することができる。例えば、処理システム110は、撮影システム300によって撮影された少なくとも1つの画像310から、注視方向Gを決定する。いくつかの例において、注視方向Gは、処理システム110によって決定されたベクトルである。処理システム110は、ユーザ10の少なくとも1つの顔特徴14に従って、注視方向Gのベクトルを決定することができる。ユーザ10の少なくとも1つの顔特徴14は、少なくとも1つの目E、鼻、口、耳、または処理システム110が注視方向Gを決定できる位置にある任意の顔特徴14であってもよい。処理システム110は、ユーザ10の姿勢P、例えば、肩の位置、頭の傾き、または頭の位置などに従って、注視方向Gのベクトルを決定することもできる。処理システム110は、注視方向Gおよび入力された表示画面の位置などのパラメータを用いて、注視方向Gのベクトルと表示システム120の表示画面122に対応する平面との交点を近似することによって、ユーザ10の注視対象Gに対応する表示画面122を決定することができる。
引き続き図1Aおよび1Bを参照して、メディアコンテンツ追跡環境100の処理システム110は、データ処理ハードウェア112と、メモリハードウェア114とを含む。いくつかの実現例において、データ処理ハードウェア112および/またはメモリハードウェア114は、サーバ118に関連するネットワーク116と通信する。いくつかの実現例において、データ処理ハードウェア112は、ユーザ10に関連付けられたユーザ識別子12を受信し、(例えば、ユーザ識別子12に基づいて)メディアコンテンツ20を表示するように表示システム120に指示し、ユーザ10の注視対象Gが表示システム120の表示画面122、112a−hのうち1つに対応するか否かを判断する。注視対象Gが表示システム120の表示画面122、112a−hのうち1つに対応する場合、データ処理ハードウェア112は、ユーザ10の注視特性をメモリハードウェア114に格納し、必要に応じて注視対象Gに対応するメディアコンテンツ20または注視対象Gに対応するメディアコンテンツ特性(例えば、メディアコンテンツの識別子22、メディアコンテンツ20に関連する関連付け24、またはメディアコンテンツ20の種類26)をメモリハードウェア114に格納する。例えば、メディアコンテンツの識別子22は、メディアコンテンツのプロバイダ、メディアコンテンツの種類、メディアコンテンツの視聴対象、または他の特定のメディアコンテンツの識別など、少なくとも1つのメディアコンテンツ特性を含む情報タグであってもよい。同様に、メディアコンテンツ20に関連する関連付け24は、メディアコンテンツ追跡環境100に提供されたメディアコンテンツ20に関連する日付コードまたはセッションコードであってもよい。追加的にまたは代替的に、処理システム110は、ユーザ10の注視特性の一部、例えば注視対象G、注視方向G、注視時間tGE、または合計注視時間TGEを決定することができる。注視時間tは、ユーザ10の注視対象Gが種類26のメディアコンテンツ20に対応する時間である。合計注視時間Tは、ユーザ10がメディアコンテンツ追跡環境100にいる間にユーザ10の注視時間tGEの合計である。例えば、ユーザ10は、メディアコンテンツ追跡環境100内の視聴セッション中に、一種類26のメディアコンテンツ20を表示している表示画面122(例えば、第1の表示画面122a)を注視し、その後視線を変更して、異なる表示画面122(例えば、第2、第3、第4、第5、第6、第7、または第8の表示画面122b−h)を数回注視することができる。
追加的にまたは代替的に、メディアコンテンツ追跡環境100に複数のユーザ10(例えば、第1、第2および第3のユーザ10a−c)がいる場合、処理システム110は、複数のユーザ10からなるグループ11の注視特性を決定することができる。グループ11の注視特性は、グループの合計注視特性または複数のユーザ10からなるグループに関連する単一のユーザ10の注視特性であってもよい。例えば、処理システム110は、ユーザ10の注視特性と同様に、グループの合計注視特性、例えば、グループの合計注視時間TGE(すなわち、全てのユーザが種類26のメディアコンテンツ20または特定の表示画面122に注視する時間の合計)を決定することができる。いくつかの実現例において、処理システム110は、合計注視の集中度Cを決定する。合計注視の集中度Cは、合計注視時間Tと、メディアコンテンツ追跡環境100内の合計時間(例えば、ユーザ10の合計時間または全てのユーザ10a−nの合計時間)との比率である。この比率は、特定の表示画面122、特定の種類26のメディアコンテンツ20、特定のユーザ10(CEユーザ)、または複数のユーザ10のグループ11(CEグループ)に関連する。比率の例は、以下の式1および式2によって示される。
Figure 2020514922
Figure 2020514922
いくつかの実現例において、処理システム110は、注視特性を注視特性データとしてメモリハードウェア114に格納する。いくつかの例において、処理システム110は、生成された全ての注視特性をメモリハードウェア114に格納する。他の例において、エンティティ(entity)、例えばエンドユーザ、処理システムプログラマー、またはメディアコンテンツ追跡環境プロバイダは、閾値として機能するパラメータを提供し、提供された閾値に合格した注視特性データを格納する。エンティティは、生成された全ての注視特性よりも、閾値に従って格納されたより意味のある注視特性データを検討または評価する場合がある。例えば、エンティティは、閾値に従って、メディアコンテンツ追跡環境100に提供されたメディアコンテンツ20を効率的且つ効果的に評価することができる。メディアコンテンツプロバイダは、メディアコンテンツ追跡環境100を用いて、ある種類のメディアコンテンツ20が他の種類のメディアコンテンツ20よりもユーザ10の関心をより効果的に引くか否かを評価することができる。エンティティは、閾値を用いて、エンティティが興味を示す注視レベルを簡単に識別することができる。例えば、エンティティは、閾値より大きい注視レベルに対応する注視特性を受け取るように、閾値に従って注視レベルを設定することができる。処理システム110は、デフォルトの閾値を含むことができ、またはエンティティから閾値を受け取ることができる。処理システム110が受信および/または識別できるいくつかの例示的な閾値は、少なくとも1人のユーザ10による注視回数の閾値、少なくとも1人のユーザ10による合計注視時間Tの閾値、少なくとも1人のユーザ10による合計注視の集中度閾値C、表示時間の閾値(すなわち、メディアコンテンツ20を表示した時間の長さ)、またはユーザ10の人数の閾値を含む。
追加的にまたは代替的に、処理システム110は、全ての注視特性データまたは閾値に対応する注視特性データを注視特性データベースに保存することができる。注視特性データベースは、メモリハードウェア114内、ネットワーク116上、またはサーバ118上に配置されてもよい。特性データベースは、エンティティがフィルタリング閾値に従って注視特性データをフィルタリングできるように構成されてもよい。例えば、フィルタリング閾値は、エンティティが全ての注視特性データよりも少ない注視特性データまたは閾値に対応する全ての注視特性データを検討および評価できるために、他の注視特性データを削除または非表示にするようにエンティティによって定義された値である。
図1Aおよび1Bの例において、メディアコンテンツ追跡環境100は、8つ表示画面122、122a−hを各々備える8つの表示システム120、120a−hを含む。他の構成も可能である。メディアコンテンツ追跡環境100は、表示システム120を用いて、ユーザ10の注視対象を介して、ユーザ10が興味を示した表示システム120を判断することができる。いくつかの実現例において、1つの表示システム120(例えば、第1の表示システム120a)は、対応する表示画面122(例えば、第1の表示画面122a)にメディアコンテンツ20を表示すると共に、当該表示システム120、120aから離れた別の表示システム120(例えば、第8の表示システム120h)は、対応する表示画面122(例えば、第8の表示画面122h)に同じメディアコンテンツ20を表示している。これらの例において、メディアコンテンツ追跡環境100は、ユーザ10の注視特性が、注視対象Gが他の表示システム120(例えば、第1の表示システム120aから第8の表示システム120h)に変更したことを示しているか否かを判断する。例えば、注視対象Gが第1の表示画面122、122aから第8の表示画面122、122hに変更したときに、ユーザ10の注視対象Gは、変化を示す。また、表示システム120は、種類26のメディアコンテンツ20に興味を示したユーザ10の時間間隔tを決定することができる。例えば、少なくとも2つの表示システム120(例えば、第1の表示システム120aおよび第2の表示システム120b)は、同じ時間間隔tで、各々の表示画面122(例えば、第1の表示画面122aおよび第2の表示画面122b)に、異なる種類26のメディアコンテンツ20を表示している。メディアコンテンツ追跡環境100は、撮影システム300からの少なくとも1つの画像310に従って、ユーザ10の注視対象Gを決定する。図1Aおよび1Bの例示において、図1Aに示されたメディアコンテンツ追跡環境100は、単一の撮影システム300を備え、図1Bに示されたメディアコンテンツ追跡環境100は、複数の撮影システム300、300a−hを備える。異なる数の撮影システム300を備えるようにメディアコンテンツ追跡環境100を構成する一つの理由は、特に複数のユーザ10がメディアコンテンツ追跡環境100にいる場合、メディアコンテンツ追跡環境100がより高い追跡精度を必要とするからである。他の理由は、メディアコンテンツ追跡環境100が広いサイズを有する場合に、単一の撮影システム300が不精確になる可能性があるからである。したがって、メディアコンテンツ追跡環境100は、注視特性を精確に追跡するために、メディアコンテンツ追跡環境100内のユーザ10の人数に応じて、複数の撮影システム300を含むことができる。
図2は、例示的な識別システム200を示す。各識別システム200は、ユーザ10に関連付けられたユーザ識別子12を受信し、ユーザ識別子12に含まれたユーザ情報を処理システム110に送信する。ユーザ情報は、基本的なユーザ情報から、メディアコンテンツに対するユーザ10の嗜好に影響を与える可能性のあるより複雑なユーザ情報までのものを含むことができる。例えば、基本的なユーザ情報は、ユーザ10の名前、年齢、性別、または性別の少なくとも1つを含む。より複雑な情報は、例えば、物件の住所、収入、物件の大きさ、物件の状態(例えば、賃貸または所有)、商品および/またはサービスの購入履歴、党派、またはメディアコンテンツに対するユーザ10の嗜好に影響を与える可能性のあるユーザ10の他の情報を含む。
さらに図2を参照して、ユーザ識別子12のいくつかの例として、識別カード12、12、12または顔認識12、12を含む。例えば、第1の識別カード12は、近接したときに別の近距離無線通信チップと通信するように構成された近距離無線通信チップを埋め込んでいる近距離無線通信カードである。いくつかの例において、第1の識別カード12、12は、近接場走査装置200、200aに関連する磁場を通って移動するときに、電磁誘導の近接場測定値202を介して、電磁近接場走査装置200、200aと通信する。第1の識別カード12、12が電磁近接場走査装置200、200aに近接している場合、電磁近接場走査装置200、200aは、第1の識別カード12、12からユーザ情報を読み取るように構成されている。いくつかの実現例において、第2の識別カード12、12は、ユーザ10を識別するおよび/またはユーザ情報を転送するための磁気ストリップを備えた磁気カードである。第2の識別カード12、12は、ユーザ情報を磁気ストリップに格納するように予めプログラムされてもよい。よって、ユーザ10が第2の識別カード12、12をスワイプすると、磁気カードリーダ200、200bは、磁気ストリップからユーザ情報を読み出すことができる。
追加的にまたは代替的に、撮影システム300は、ユーザ識別子12として顔認識12、12を実行する。撮影システム300は、ユーザ10の注視対象Gを決定するために使用された撮影システム300と同様であってもよく、顔認識12、12を実行するための専用の撮影システム300、300aであってもよい。撮影システム300は、ユーザ10の顔特徴14に基づいて、顔認識12、12を実行する。顔認識12、12を実行するために、撮影システム300は、少なくとも1つの顔認識画像310、310aを撮影し、対応する画像データ312を生成し、画像データ312を処理システム110に送信する。処理システム110は、少なくとも1つの顔認識画像310、310aによって捕捉されたユーザ10の顔特徴14に基づいて、画像データ312からユーザ識別子12を識別および決定するように構成されている。いくつかの例において、処理システム110は、顔認識データベースと通信することによって、顔認識データベースから取得した画像データ312と、撮影システム300から処理システム110に送信された画像データ312とを比較する。一般的に、顔認識12、12用の画像データ312は、ユーザ10の顔特徴14に関連するいくつかの節点、例えば口の周りの凹凸、鼻、目、顎、あご線、生え際に対応する。処理システム110は、顔認識12、12を実行するための顔認識ソフトウェアを含むことができる。
いくつかの例において、識別システム200は、メディアコンテンツ20を自動的に起動する。例えば、ユーザ10のユーザ識別子12(例えば、12、121−3)は、ユーザ10に関連する種類26のメディアコンテンツ20に対応するユーザ情報を含む。識別システム200は、(例えば、識別カード12、121−2、または顔認識12、12を介して)ユーザ識別子12を識別すると、ユーザ情報内のユニフォームリソースロケータ(URL)を処理システム110に送信する。処理システム110は、ユーザ識別子12内のURLに基づいて、ユーザ10に関連する種類26のメディアコンテンツ20を表示するように表示システム120に指示する。
図3は、撮影システム300の一例を提供する。撮影システム300は、メディアコンテンツ追跡環境100の少なくとも一部を撮影するための視野Fを備えている。したがって、撮影システム300は、少なくとも1人のユーザを撮影することができる。少なくとも1人のユーザ10を撮影するために、撮影システム300は、カメラ(例えば、ビデオカメラ、静止カメラ、または立体カメラ)もしくはセンサ、またはカメラとセンサの組み合わせであってもよい。いくつかの例において、センサは、視野F内の表面に関する画像データ312を収集するための三次元体積型点群画像センサ(例えば、3D走査装置)である。追加的にまたは代替的に、撮影システム300は、光またはレーザを用いて、光またはレーザの飛行時間に従って撮影システム300からの距離を決定するための光検出および測距(LIDAR)システムまたはレーザ検出および測距(LADAR)システムであってもよい。撮影システム300は、少なくとも1つの画像310を撮影する。処理システム110は、少なくとも1つの画像310から、ユーザ10の注視対象Gを決定することができる。ユーザ10の注視対象Gを決定するために、撮影システム300は、少なくとも1つの画像310を画像データとして処理システム110に送信する。いくつかの例において、少なくとも1つの画像310は、ユーザ10の少なくとも1つの顔特徴14(例えば、目、耳、鼻、顎、口、あご線、生え際)を含む。撮影システム300は、少なくとも1つの顔特徴14を含む少なくとも1つの画像310を撮影すると、少なくとも1つの顔特徴14の態様、例えば湾曲および凹凸に対応する画像データ312を生成する。よって、画像データは、顔特徴14を表す立体的な地形図とも言える。いくつかの例において、画像データ312は、撮影システム300の位置に対する3次元深度座標である。システム300が画像データを処理システム110に送信すると、処理システム110は、画像データに基づいて、1人のユーザ10または複数のユーザ10の注視特性を決定する。
図3に示された少なくとも1つの画像310は、ユーザ10の少なくとも1つの目Eを含む。撮影システム300は、ユーザ10の少なくとも1つの目Eの少なくとも1つの画像310を用いて、目Eの球面湾曲(例えば、瞳孔、強膜、虹彩を含む目Eの角膜)に対応する画像データ312を生成する。処理システム110は、他の顔特徴14(例えば、耳、鼻、顎、口、あご線、生え際)または少なくとも1つの画像310の画像データ312から取得されたユーザ10の姿勢Pに関する物理的な特徴(例えば、肩、胴体)に基づいて、目Eの球面湾曲を決定してもよい。処理システム110は、目Eの球面湾曲を用いて、注視方向Gおよび注視対象Gを決定することができる。例えば、処理システム110は、目Eの中心点を目Eの瞳孔Eに接近させる。
追加的にまたは代替的に、メディアコンテンツ追跡環境100は、較正プロセスを含む。較正プロセスにおいて、ユーザ10は、メディアコンテンツ追跡環境100の表示システム120の異なる表示画面12に表示されている一列の注視対象Gを追跡する。この列を事前にプログラムすることによって、処理システム110は、較正から得られた列内の各注視対象Gに対応する画像データを、較正後にユーザ10が非較正メディアコンテンツ20を受信したときに生成された画像データに関連付ける。この関連付けによって、処理システム110は、ユーザ10の注視特性をより精確に決定することができる。
図4A〜4Cは、期間tにおけるメディアコンテンツ追跡環境100の例を提供する。図4A〜4Cは、対応するユーザ識別子12、12a−cを有する3人のユーザ10、10a−cを含む。メディアコンテンツ追跡環境100は、図1A〜1Bのものと同様に、8つの表示画面122、122a−hを各々備える8つの表示システム120、120a−hと、1つの撮影システム300とを含む。また、図4A〜4Cのメディアコンテンツ追跡環境100は、処理システム110と、ネットワーク116と、サーバ118とを含む。
図4Aは、期間t内の第1の時間間隔tにおけるメディアコンテンツ追跡環境100の例を示している。第1の時間間隔tにおいて、ユーザ10、10aは、表示画面122、122aに対応する注視対象GT1、GTaを有する。よって、表示画面122、122aに表示されたメディアコンテンツ20は、ユーザ10、10aの注意力を引く。同様に、第1の時間間隔tにおいて、ユーザ10、10bは、表示システム120、120gの表示画面122、122gに対応する注視対象GT1、GTbを有する。よって、表示画面122、122gに表示されたメディアコンテンツ20は、ユーザ10、10bの注意力を引く。第1の時間t間隔において、ユーザ10、10cは、表示システム120、120dの表示画面122、122dに対応する注視対象GT1、GTcを有する。
図4Bは、期間t内の第2の時間間隔tにおけるメディアコンテンツ追跡環境100の例を示している。この時間間隔tにおいて、各ユーザ10、10a−cは、注意力を第1の時間間隔tの注視対象GT1から第2の時間間隔tの注視対象GT2に移した。図4Bに示すように、各ユーザ10、10a−cは、第2の時間間隔tにおいて、表示システム120、120eの表示画面122、122eに対応する注視対象GT2、GTa−cを有する。注視対象GT1に対応する表示画面122がメディアコンテンツ20を変更したかまたは表示画面122、122eがより面白いメディアコンテンツ20、tに変更したため、各ユーザ10、10a−cは、注視対象GT1を変更した。例えば、より面白いメディアコンテンツ20、tは、異なる種類26のメディアコンテンツ20である。
図4Cは、期間t内の第3の時間間隔tにおけるメディアコンテンツ追跡環境100の例を示している。第3の時間間隔tにおいて、処理システム110は、表示画面122、122eに対応するメディアコンテンツ20を変更した。よって、各ユーザ10、10a−cは、第3の時間間隔tにおいて、第2の時間間隔tの注視対象GT2と異なる注視対象GT3を有する。第3の時間間隔tにおいて、ユーザ10、10aの注視対象GT3、GTaは、表示画面122、122cに表示されたメディアコンテンツ20であり、ユーザ10、10b−cの注視対象GT3、GTb−cは、表示画面122、122fに表示されたメディアコンテンツ20である。
図5Aおよび5Bは、処理システム110によって出力されたユーザインターフェイス500の例示的なダッシュボードビューを示している。ユーザインターフェイス500は、少なくとも1人のユーザ10の視聴セッションに対応する注視特性を表示するように構成されている。いくつかの実現例において、ユーザインターフェイス500は、視聴セッション中に少なくとも1人のユーザ10に興味を持たせたメディアコンテンツ20に関する詳細を含む。図5Aは、処理システム110、ネットワーク116またはサーバ118のいずれかがメディアコンテンツ追跡環境データをユーザインターフェイス500にリンクする前のユーザインターフェイス500の例示的なテンプレートを示している。図5Bは、メディアコンテンツ追跡環境データにリンクされたユーザインターフェイス500の一例を示している。図5Bに示すように、エンティティは、日付セレクタ510から日付として「11−21−2016」を選択し、タイムライン520からデータポイント522、522bを選択した。
図5Aおよび5Bは、エンティティによって選択可能な日付セレクタ510を含む例示的なユーザインターフェイス500を示している。ユーザインターフェイス500は、日付の選択に応じて、エンティティによって選択された日付における少なくとも1人のユーザ10の視聴セッションに対応するタイムライン520を表示するように構成されている。エンティティがタイムライン520からデータポイント522を選択した場合、ユーザインターフェイス500は、人数532、セッション中に注視が有るか否か、注視の開始時間、注視の終了時間および/または合計注視時間を含むセッション特性530を表示する。いくつかの実現例において、ユーザインターフェイス500は、エンティティによってタイムライン520から選択されたデータポイント522に対応する注視特性を表示する。
図6は、メディアコンテンツを追跡するための方法600の動作の例示的な構成である。動作602において、方法600は、ユーザ10に関連付けられたユーザ識別子12を受信することを含む。いくつかの実現例において、方法600は、複数のユーザ10に関連付けられたユーザ識別子12を受信することができる。動作604において、方法600は、ユーザ識別子12に基づいてメディアコンテンツ20を表示するように、表示システム120に指示することをさらに含む。各表示システム120は、対応する表示画面122を含む。動作606において、処理システム110がユーザ10の画像310を撮影するように構成された視野Fを有する撮影システム300から画像データを受信した場合、方法600は、動作608に進む。そうでない場合、処理システム110は、撮影システム300からの画像データを待ち受ける。
動作608において、方法600は、画像データに基づいて、ユーザ10の注視特性を決定することを含む。動作608において、方法600は、ユーザ10の注視対象Gを含む注視特性を決定することをさらに含む。いくつかの例において、方法600はまた、ユーザ10の注視方向Gを決定することを含む。動作610において、方法600は、注視対象Gが表示画面122のうち1つに対応するか否かを判断する。注視対象が表示画面122のうち1つに対応する場合、方法600は、動作612に進む。注視対象が表示画面122の1つに対応していない場合、方法600は、動作を終了する。動作612において、方法600は、ユーザ10の注視特性に基づいて、対応する表示画面122に注視する注視時間を決定することを含む。動作612において、方法600は、ユーザの注視特性または対応する表示画面122に注視する注視時間tと、注視対象Gに対応する表示画面122上に表示されたメディアコンテンツ20またはメディアコンテンツ20の識別子22との少なくとも1つを格納することをさらに含む。追加的にまたは代替的に、方法600は、ユーザ10の注視時間と対応するメディアコンテンツ20との関連付けに基づいて、ユーザ10によって注視された種類26のメディアコンテンツ20を識別することをさらに含んでもよい。必要に応じて、方法600は、識別された種類26のメディアコンテンツ20を格納することを含んでもよい。
図7は、本明細書に記載のシステムおよび方法を実装するために使用され得る例示的なコンピューティング装置700を示す概略図である。コンピューティング装置700は、ラップトップ、デスクトップ、ワークステーション、PDA(Personal Digital Assistant)、サーバ、ブレードサーバ、メインフレームおよび他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すように意図されている。図示された要素、それらの接続および関係並びにそれらの機能は、例示的なものに過ぎず、本明細書に記載および/または請求される発明の実施を限定するものではない。
コンピューティング装置700は、プロセッサ710と、メモリ720と、記憶装置730と、メモリ720および高速拡張ポート750に接続する高速インターフェイス/コントローラ740と、低速バス770および記憶装置730に接続する低速インターフェイス/コントローラ760とを含む。要素710、720、730、740、750および760は、様々なバスを使用して相互に接続され、共通のマザーボード上に実装されてもよく、または適切な他の方法で実装されてもよい。プロセッサ710は、メモリ720または記憶装置730に記憶された命令を含むコンピューティング装置700内に実行される命令を処理することによって、外部入力/出力装置のグラフィカルユーザインターフェイス(GUI)に、例えば高速インターフェイス740に接続されたディスプレイ780にグラフィック情報を表示することができる。他の実施態様において、複数のプロセッサおよび/または複数のバスは、複数のメモリおよび複数種類のメモリと共に、適切に使用されることができる。また、各装置が(例えば、サーババンク、一群のブレードサーバ、またはマルチプロセッサシステムとして)必要な動作の一部を実行するように、複数のコンピューティング装置700を接続することができる。
メモリ720は、情報をコンピューティング装置700に非一時的に格納する。メモリ720は、コンピュータ可読媒体、揮発性メモリユニット、または不揮発性メモリユニットであってもよい。非一時的メモリ720は、コンピューティング装置700によって使用されるように、プログラム(例えば、一連の命令)またはデータ(例えば、プログラム状態情報)を一時的または永続的に格納するための物理装置であってもよい。不揮発性メモリの例として、フラッシュメモリおよび読み取り専用メモリ(ROM)/プログラマブル読み取り専用メモリ(PROM)/消去可能なプログラマブル読み取り専用メモリ(EPROM)/(通常ブートプログラムなどのファームウェアに使用される)電子的に消去可能なプログラマブル読み取り専用メモリ(EEPROM)を含むが、これらに限定されない。揮発性メモリの例として、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)、相変化メモリ(PCM)およびディスクまたはテープを含むが、これらに限定されない。
記憶装置730は、コンピューティング装置700に大容量の記憶を提供することができる。いくつかの実現形態において、記憶装置730は、コンピュータ可読媒体である。様々な異なる実現例において、記憶装置730は、例えば、フロッピー(登録商標)ディスク装置、ハードディスク装置、光学ディスク装置、テープディスク装置、フラッシュメモリまたは他の同様の固体メモリ装置、または記憶エリアネットワークまたは他の構成内の装置を含むアレイ記憶装置などのコンピュータ可読媒体を含むことができる。追加の実現例において、コンピュータプログラム製品は、情報担体に有形的に具体化される。また、コンピュータプログラム製品は、命令を含むことができる。これらの命令は、実行されると、上述したような1つ以上の方法を実行することができる。情報担体は、例えば、メモリ720、記憶装置730、またはプロセッサ710上のメモリなどのコンピュータ可読媒体または機械可読媒体である。
高速コントローラ740は、コンピューティング装置700の高速の帯域幅集約動作を管理し、低速コントローラ760は、低速の帯域幅集約動作を管理する。このような機能の割り当ては、例示に過ぎない。いくつかの実現例において、高速コントローラ740は、メモリ720に、(例えば、グラフィックプロセッサまたはアクセラレータを介して)ディスプレイ780に、および様々な拡張カード(図示せず)を挿入できる高速拡張ポート710に連結される。いくつかの実現例において、低速コントローラ760は、記憶装置730および低速拡張ポート790に連結される。様々な通信ポート(例えば、USB、ブルートゥース(登録商標)、イーサネット(登録商標)、無線イーサネット)を含み得る低速拡張ポート790は、例えば、キーボード、ポインティング装置、スキャナなどの1つ以上の入出力装置に連結されてもよく、またはネットワークアダプタを介して、スイッチまたはルータなどのネットワーキング装置に連結されてもよい。
図示のように、コンピューティング装置700は、いくつかの異なる形態で実装されてもよい。例えば、コンピューティング装置700は、標準サーバ700aとして実装されてもよく、またはラップトップコンピュータ700bとしてまたはラックサーバシステム700cの一部として標準サーバ700aのの群内に複数回実装されてもよい。
本明細書に記載のシステムおよび技術の様々な実装は、デジタル電子および/または光回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェアおよび/またはそれらの組み合わせで実現することができる。これらの様々な実装は、プログラム可能なシステム上で実行可能および/または解釈可能な1つ以上のコンピュータプログラムにおける実装を含むことができる。このプログラム可能なシステムは、記憶システムからデータおよび命令を受信し、データおよび命令を記憶システムに送信するように記憶システムに連結された少なくとも1つのプログラム可能な専用または汎用のプロセッサ、少なくとも1つの入力要素、および少なくとも1つの出力装置を含む。
(プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている)これらのコンピュータプログラムは、プログラム可能なプロセッサ用の機械命令を含み、高度な手続き型プログラミング言語および/または高度な目標物指向プログラミング言語で実装することができ、および/またはアセンブリ言語/機械言語で実装することができる。「機械可読媒体」および「コンピュータ可読媒体」という用語は、本明細書に使用された場合、プログラム可能なプロセッサに機械命令および/またはデータを提供するために使用された機械可読信号としての機械命令を受け取る機械可読媒体を含む任意のコンピュータプログラム製品、非一時的コンピュータ可読媒体、機械および/または装置(例えば、磁気ディスク、光学ディスク、メモリ、プログラム可能な論理装置(PLD))を指す。「機械可読信号」という用語は、機械命令および/またはデータをプログラム可能なプロセッサに提供するために使用された任意の信号を指す。
本明細書に記載のプロセスおよびロジックフローは、1つ以上のコンピュータプログラムを実行する1つ以上のプログラム可能なプロセッサによって、入力データを処理して出力を生成する機能を実行することによって実行されてもよい。プロセスおよびロジックフローは、専用ロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって実行されてもよい。コンピュータプログラムの実行に適したプロセッサは、例として、汎用マイクロプロセッサ、専用マイクロプロセッサ、およびあらゆる種類のデジタルコンピュータの1つ以上のプロセッサを含む。一般的に、プロセッサは、読み取り専用メモリまたはランダムアクセスメモリもしくはその両方から、命令およびデータを受け取る。コンピュータの重要な要素は、命令を実行するためのプロセッサと、命令およびデータを格納するための1つ以上のメモリ装置である。一般的に、コンピュータは、データを格納するための1つ以上の大容量記憶装置、例えば磁気ディスク、光磁気ディスクまたは光ディスクを含むまたはデータを受信または転送するように動作可能に結合される。しかしながら、コンピュータは、このような装置を備えなくてもよい。コンピュータプログラム命令およびデータの格納に適したコンピュータ可読媒体は、例として、例えばEPROM、EEPROMおよびフラッシュメモリ装置などの半導体メモリ装置、内蔵ハードディスクまたはリムーバブルディスクなどの磁気ディスク、光磁気ディスク、CD ROMおよびDVD−ROMディスクを包括する全ての不揮発性メモリ、媒体およびメモリ装置を含む。プロセッサおよびメモリは、専用ロジック回路によって補足されてもよく、または専用ロジック回路に組み込まれてもよい。
ユーザとの情報交換を行うために、本開示の1つ以上の態様は、例えばCRT(ブラウン管)モニタ、LCD(液晶ディスプレイ)モニタ、またはタッチ画面などの、ユーザに情報を表示するためのディスプレイ素子、および必要に応じて、ユーザがコンピュータに入力を提供することができるキーボードおよびポインティング装置(例えば、マウスまたはトラックボール)を含むコンピュータ上で実装することができる。他の種類の装置を使用して、ユーザと情報交換を行うこともできる。例えば、ユーザに与えるフィードバックは、任意の形の感覚フィードバック(例えば、視覚フィードバック、聴覚フィードバック、または触覚フィードバック)であってもよく、ユーザから受け入れる入力は、音響入力、音声入力、または触覚入力を含む任意の形態であってもよい。さらに、コンピュータは、ユーザが使用している装置との間で文書を送受信することによって、例えば、Webブラウザから受信した要求に応答して、ユーザのクライアント装置上のWebブラウザにWebページを送信することによって、ユーザと情報交換することができる。
複数の実施形態を説明したことにも拘わらず、本発明の精神および範囲から離脱することなく、様々な変更をなし得ることが理解されるであろう。したがって、他の実装は、添付の特許請求の範囲内に含まれる。

Claims (38)

  1. 方法(600)であって、
    データ処理ハードウェア(112)を用いて、ユーザ(10)に関連付けられたユーザ識別子(12)を受信することと、
    前記データ処理ハードウェア(112)を用いて、前記ユーザ識別子(12)に基づいてメディアコンテンツ(20)を表示するように表示システム(120)に指示することとを含み、各表示システム(120)は、対応する表示画面(122)を有し、
    前記データ処理ハードウェア(112)を用いて、前記ユーザ(10)の画像(310)を撮影するように構成された視野(F)を有する撮影システム(300)から、画像データ(312)を受信することと、
    前記データ処理ハードウェア(112)を用いて、前記画像データ(312)に基づいて、前記ユーザ(10)の注視特性を決定することとを含み、前記注視特性は、前記ユーザ(10)の注視対象(G)を含み、
    前記データ処理ハードウェア(112)を用いて、前記注視対象(G)が前記表示画面(122)のうち1つに対応するか否かを判断することを含み、
    前記注視対象(G)が前記表示画面(122)のうち1つに対応する場合、
    前記データ処理ハードウェア(112)を用いて、前記ユーザ(10)の前記注視特性に基づいて、前記対応する表示画面(122)に注視する注視時間(tGE)を決定し、
    前記データ処理ハードウェア(112)を用いて、前記ユーザ(10)の前記注視特性または前記対応する表示画面(122)に注視する前記注視時間(tGE)と、前記注視対象(G)に対応する前記表示画面(122)に表示された前記メディアコンテンツ(20)または前記メディアコンテンツ(20)の識別子(22)との少なくとも1つをメモリハードウェア(114)に格納することを含む、方法(600)。
  2. 前記注視対象(G)が前記表示画面(122)のうち1つに対応する場合、
    前記データ処理ハードウェア(112)を用いて、前記注視対象(G)に対応する前記表示画面(122)に表示された前記メディアコンテンツ(20)を表示するように、前記表示画面(122)のうち、前記注視対象(G)から離れた別の表示画面を有する前記表示システム(120)に指示することと、
    前記データ処理ハードウェア(112)を用いて、前記ユーザ(10)の前記注視特性が、前記注視対象(G)が前記表示画面(122)のうち別の表示画面に変更したことを示しているか否かを判断することとをさらに含む、請求項1に記載の方法(600)。
  3. 前記ユーザ(10)の前記注視特性を決定することは、前記ユーザ(10)の注視方向(G)と、前記ユーザ(10)の前記注視方向(G)に基づいた前記ユーザの注視対象とを決定することを含む、請求項1または2に記載の方法(600)。
  4. メディアコンテンツ(20)を表示するように前記表示システム(120)に指示することは、時間間隔(t)において一種類(26)のメディアコンテンツ(20)を表示するように各表示システム(120)に指示することを含み、同一の時間間隔(t)において、少なくとも2つの表示システム(120)は、異なる種類(26)のメディアコンテンツ(20)を表示する、請求項1〜3のいずれか1項に記載の方法(600)。
  5. 前記データ処理ハードウェア(112)を用いて、前記対応する種類(26)のメディアコンテンツ(20)に注視する前記ユーザ(10)の任意の注視時間(tGE)に基づいて、ある種類(26)のメディアコンテンツ(20)に注視する前記ユーザの合計注視時間(TGE)を決定することをさらに含む、請求項4に記載の方法(600)。
  6. 前記ユーザ(10)の注視回数の閾値と、前記ユーザ(10)の合計注視時間(TGE)の閾値とのうち少なくとも1つを受信した場合、前記データ処理ハードウェア(112)を用いて、任意種類(26)のメディアコンテンツ(20)を識別することをさらに含む、請求項4または5に記載の方法(600)。
  7. 前記データ処理ハードウェア(112)を用いて、前記画像データ(312)に基づいて、前記ユーザ識別子(12)を決定することをさらに含む、請求項1〜6のいずれか1項に記載の方法(600)。
  8. 前記データ処理ハードウェア(112)を用いて、前記画像データ(312)に基づいて、前記ユーザ識別子(12)の顔特徴(14)を識別することと、
    前記データ処理ハードウェア(112)を用いて、前記ユーザ(10)の前記顔特徴(14)に基づいて、前記ユーザ識別子(12)を決定することとをさらに含む、請求項7に記載の方法(600)。
  9. 前記撮影システム(300)は、カメラと、三次元体積型点群画像センサと、立体カメラと、光検出および測距(LIDAR)システムと、レーザ検出および測距(LADAR)システムとのうち少なくとも1つを含む、請求項1〜8のいずれか1項に記載の方法(600)。
  10. 前記ユーザ識別子(12)を受信することは、電磁近接場走査装置(200)から近接場測定値(202)を受信することを含む、請求項1〜9のいずれか1項に記載の方法(600)。
  11. 方法(600)であって、
    データ処理ハードウェア(112)を用いて、複数のユーザ(10)に関連付けられたユーザ識別子(12)を受信することと、
    前記データ処理ハードウェア(112)を用いて、前記ユーザ識別子(12)に基づいてメディアコンテンツ(20)を表示するように表示システム(120)に指示することとを含み、前記表示システム(120)は、対応する表示画面(122)を有し、
    前記データ処理ハードウェア(112)を用いて、前記ユーザ(10)の画像(310)を撮影するように構成された視野(F)を有する撮影システム(300)から、画像データ(312)を受信することと、
    前記データ処理ハードウェア(112)を用いて、前記画像データ(312)に基づいて前記ユーザ(10)の注視特性を決定することとを含み、前記注視特性は、各ユーザ(10)に対応する注視対象(G)を含み、
    前記データ処理ハードウェア(112)を用いて、各ユーザ(10)に対して、前記ユーザ(10)に対応する前記注視対象(G)が前記表示画面(122)のうち1つに対応するか否かを判断することを含み、
    前記ユーザ(10)に対応する前記注視対象(G)が前記表示画面(122)のうち1つに対応する場合、
    前記データ処理ハードウェア(112)を用いて、前記ユーザ(10)に対応する前記注視対象(G)に基づいて、前記対応する表示画面(122)に注視する注視時間(tGE)を決定し、
    前記データ処理ハードウェア(112)を用いて、前記注視時間(tGE)を、前記対応する表示画面(122)に表示された前記メディアコンテンツ(20)に関連付け、
    前記データ処理ハードウェア(112)を用いて、前記ユーザ(10)の注視時間(tGE)と前記対応するメディアコンテンツ(20)との関連付けに基づいて、前記ユーザ(10)によって注視された種類(26)のメディアコンテンツ(20)を識別し、
    前記データ処理ハードウェア(112)を用いて、前記識別された種類(26)のメディアコンテンツ(20)をメモリハードウェア(114)に格納することを含む、方法(600)。
  12. 前記ユーザ(10)に対応する前記注視対象(G)が前記表示画面(122)のうち1つに対応する場合、
    前記データ処理ハードウェア(112)を用いて、各ユーザ(10)に対して、前記ユーザ(10)の注視特性または前記ユーザ(10)に対応する前記注視時間(tGE)と、前記注視対象(G)に対応する前記表示画面(122)に表示された前記メディアコンテンツ(20)または前記メディアコンテンツ(20)の識別子(22)との少なくとも1つをメモリハードウェア(114)に格納することをさらに含む、請求項11に記載の方法(600)。
  13. メディアコンテンツ(20)を表示するように表示システム(120)に指示することは、時間間隔(t)において一種類(26)のメディアコンテンツ(20)を表示するように各表示システム(120)に指示することを含み、同一の時間間隔(t)において、少なくとも2つの表示システム(120)は、異なる種類(26)のメディアコンテンツ(20)を表示する、請求項11または12に記載の方法(600)。
  14. 前記データ処理ハードウェア(112)を用いて、前記ユーザ(10)の前記注視時間(tGE)と前記対応するメディアコンテンツ(20)との関連付けに基づいて、一種類(26)のメディアコンテンツ(20)に注視する前記ユーザ(10)の合計注視の集中度閾値Cを決定することをさらに含む、請求項11〜13のいずれか1項に記載の方法(600)。
  15. 前記ユーザ(10)の注視回数の閾値と、1人以上の前記ユーザ(10)の注視時間(tGE)の閾値と、前記ユーザ(10)の合計注視の集中度閾値Cとのうち少なくとも1つに受信した場合、前記データ処理ハードウェア(112)を用いて、任意種類(26)のメディアコンテンツ(20)を識別することをさらに含む、請求項11〜14のいずれか1項に記載の方法(600)。
  16. 前記データ処理ハードウェア(112)を用いて、前記画像データ(312)に基づいて、前記ユーザ識別子(12)を決定することをさらに含む、請求項11〜15のいずれか1項に記載の方法(600)。
  17. 前記データ処理ハードウェア(112)を用いて、前記画像データ(312)に基づいて、前記ユーザ識別子(12)の顔特徴(14)を識別することと、
    前記データ処理ハードウェア(112)を用いて、前記ユーザ(10)の前記顔特徴(14)に基づいて、前記ユーザ識別子(12)を決定することとをさらに含む、請求項16に記載の方法(600)。
  18. 前記撮影システム(300)は、カメラと、三次元体積型点群画像センサと、立体カメラと、光検出および測距(LIDAR)システムと、レーザ検出および測距(LADAR)システムとのうち少なくとも1つを含む、請求項11〜17のいずれか1項に記載の方法(600)。
  19. 前記ユーザ識別子(12)を受信することは、電磁近接場走査装置(200)から近接場測定値(202)を受信することを含む、請求項11〜18のいずれか1項に記載の方法(600)。
  20. システムであって、
    複数のディスプレイ(122)と通信するデータ処理ハードウェア(112)と、
    前記データ処理ハードウェア(112)と通信するメモリハードウェア(114)とを備え、
    前記メモリハードウェア(114)は、前記データ処理ハードウェア(112)上で実行されると、前記データ処理ハードウェア(112)に以下の動作を実行させる命令を格納し、
    前記動作は、
    ユーザ(10)に関連付けられたユーザ識別子(12)を受信することと、
    前記ユーザ識別子(12)に基づいてメディアコンテンツ(20)を表示するように表示システム(120)に指示することとを含み、各表示システム(120)は、対応する表示画面(122)を有し、
    前記ユーザ(10)の画像(310)を撮影するように構成された視野(F)を有する撮影システム(300)から、画像データ(312)を受信することと、
    前記画像データ(312)に基づいて前記ユーザ(10)の注視特性を決定することとを含み、前記注視特性は、前記ユーザ(10)の注視対象(G)を含み、
    前記注視対象(G)が前記表示画面(122)のうち1つに対応するか否かを判断することを含み、
    前記注視対象(G)が前記表示画面(122)のうち1つに対応する場合、
    前記ユーザ(10)の前記注視特性に基づいて、前記対応する表示画面(122)に注視する注視時間(tGE)を決定し、
    前記ユーザ(10)の前記注視特性または前記対応する表示画面(122)に注視する前記注視時間(tGE)と、前記注視対象(G)に対応する前記表示画面(122)に表示された前記メディアコンテンツ(20)または前記メディアコンテンツ(20)の識別子(22)との少なくとも1つを前記メモリハードウェア(114)に格納することを含む、システム。
  21. 前記動作は、前記注視対象(G)が前記表示画面(122)のうち1つに対応する場合、
    前記注視対象(G)に対応する前記表示画面(122)に表示された前記メディアコンテンツ(20)を表示するように、前記表示画面(122)のうち、前記注視対象(G)から離れた別の表示画面を有する前記表示システム(120)に指示することと、
    前記ユーザ(10)の前記注視特性が、前記注視対象(G)が前記表示画面(122)のうち別の表示画面に変更したことを示しているか否かを判断することとをさらに含む、請求項20に記載のシステム。
  22. 前記ユーザ(10)の前記注視特性を決定することは、前記ユーザ(10)の注視方向(G)と、前記ユーザ(10)の前記注視方向(G)に基づいた前記ユーザの注視対象とを決定することを含む、請求項20または21に記載のシステム。
  23. メディアコンテンツ(20)を表示するように前記表示システム(120)に指示することは、時間間隔(t)において一種類(26)のメディアコンテンツ(20)を表示するように各表示システム(120)に指示することを含み、同一の時間間隔(t)において、少なくとも2つの表示システム(120)は、異なる種類(26)のメディアコンテンツ(20)を表示する、請求項20〜22のいずれか1項に記載のシステム。
  24. 前記動作は、前記対応する種類(26)のメディアコンテンツ(20)に注視する前記ユーザ(10)の任意の注視時間(tGE)に基づいて、ある種類(26)のメディアコンテンツ(20)に注視する前記ユーザの合計注視時間(TGE)を決定することをさらに含む、請求項23に記載ののシステム。
  25. 前記動作は、前記ユーザ(10)の注視回数の閾値と、前記ユーザ(10)の合計注視時間(TGE)の閾値とのうち少なくとも1つを受信した場合、任意種類(26)のメディアコンテンツ(20)を識別することをさらに含む、請求項23または24に記載のシステム。
  26. 前記動作は、前記画像データ(312)に基づいて前記ユーザ識別子(12)を決定することをさらに含む、請求項20〜25のいずれか1項に記載のシステム。
  27. 前記動作は、
    前記画像データ(312)に基づいて前記ユーザ識別子(12)の顔特徴(14)を識別することと、
    前記ユーザ(10)の前記顔特徴(14)に基づいて前記ユーザ識別子(12)を決定することとをさらに含む、請求項26に記載のシステム。
  28. 前記撮影システム(300)は、カメラと、三次元体積型点群画像センサと、立体カメラと、光検出および測距(LIDAR)システムと、レーザ検出および測距(LADAR)システムとのうち少なくとも1つを含む、請求項20〜27のいずれか1項に記載のシステム。
  29. 前記ユーザ識別子(12)を受信する動作は、電磁近接場走査装置(200)から近接場測定値(202)を受信することを含む、請求項20〜28のいずれか1項に記載のシステム。
  30. システムであって、
    複数のディスプレイ(122)と通信する前記データ処理ハードウェア(112)と、
    前記データ処理ハードウェア(112)と通信するメモリハードウェア(114)とを備え、
    前記メモリハードウェア(114)は、前記データ処理ハードウェア(112)上で実行されると、前記データ処理ハードウェア(112)に以下の動作を実行させる命令を格納し、
    前記動作は、
    複数の前記ユーザ(10)に関連付けられたユーザ識別子(12)を受信することと、
    前記ユーザ識別子(12)に基づいてメディアコンテンツ(20)を表示するように表示システム(120)に指示することとを含み、前記表示システム(120)は、対応する表示画面(122)を有し、
    前記ユーザ(10)の画像(310)を撮影するように構成された視野(F)を有する撮影システム(300)から、画像データ(312)を受信することと、
    前記画像データ(312)に基づいて前記ユーザ(10)の注視特性を決定することとを含み、前記注視特性は、各ユーザ(10)に対応する注視対象(G)を含み、
    各ユーザ(10)に対して、前記ユーザ(10)に対応する前記注視対象(G)が前記表示画面(122)のうち1つに対応するか否かを判断することを含み、
    前記ユーザ(10)に対応する前記注視対象(G)が前記表示画面(122)のうち1つに対応する場合、
    前記ユーザ(10)に対応する前記注視対象(G)に基づいて、前記対応する表示画面(122)に注視する注視時間(tGE)を決定し、
    前記注視時間(tGE)を、前記対応する表示画面(122)に表示された前記メディアコンテンツ(20)に関連付け、
    前記ユーザ(10)の注視時間(tGE)と前記対応するメディアコンテンツ(20)との関連付けに基づいて、前記ユーザ(10)によって注視された種類(26)のメディアコンテンツ(20)を識別し、
    前記識別された種類(26)のメディアコンテンツ(20)をメモリハードウェア(114)に格納することを含む、システム。
  31. 前記ユーザ(10)に対応する前記注視対象(G)が前記表示画面(122)のうち1つに対応する場合、
    前記動作は、各ユーザ(10)に対して、前記ユーザ(10)の注視特性または前記ユーザ(10)に対応する前記注視時間(tGE)と、前記注視対象(G)に対応する前記表示画面(122)に表示された前記メディアコンテンツ(20)または前記メディアコンテンツ(20)の識別子(22)との少なくとも1つをメモリハードウェア(114)に格納することをさらに含む、請求項30に記載のシステム。
  32. メディアコンテンツ(20)を表示するように表示システム(120)に指示することは、時間間隔(t)において一種類(26)のメディアコンテンツ(20)を表示するように各表示システム(120)に指示することを含み、同一の時間間隔(t)において、少なくとも2つの表示システム(120)は、異なる種類(26)のメディアコンテンツ(20)を表示する、請求項30または31に記載のシステム。
  33. 前記動作は、前記ユーザ(10)の前記注視時間(tGE)と前記対応するメディアコンテンツ(20)との関連付けに基づいて、種類(26)のメディアコンテンツ(20)に注視する前記ユーザ(10)の合計注視の集中度閾値Cを決定することをさらに含む、請求項30〜32のいずれか1項に記載のシステム。
  34. 前記動作は、前記ユーザ(10)の注視回数の閾値と、1人以上の前記ユーザ(10)の注視時間(tGE)の閾値と、前記ユーザ(10)の合計注視の集中度閾値Cとのうち少なくとも1つに受信した場合、任意種類(26)のメディアコンテンツ(20)を識別することをさらに含む、請求項30〜33のいずれか1項に記載のシステム。
  35. 前記動作は、前記画像データ(312)に基づいて、前記ユーザ識別子(12)を決定することをさらに含む、請求項30〜34のいずれか1項に記載のシステム。
  36. 前記動作は、
    前記画像データ(312)に基づいて、前記ユーザ識別子(12)の顔特徴(14)を識別することと、
    前記ユーザ(10)の前記顔特徴(14)に基づいて、前記ユーザ識別子(12)を決定することとをさらに含む、請求項35に記載のシステム。
  37. 前記撮影システム(300)は、カメラと、三次元体積型点群画像センサと、立体カメラと、光検出および測距(LIDAR)システムと、レーザ検出および測距(LADAR)シスとのうち少なくとも1つを含む、請求項30〜36のいずれか1項に記載のシステム。
  38. 前記ユーザ識別子(12)を受信することは、電磁近接場走査装置(200)から近接場測定値(202)を受信することを含む、請求項30〜37のいずれか1項に記載のシステム。
JP2019552041A 2017-03-21 2018-03-15 メディアコンテンツの追跡 Active JP6865297B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/465,022 2017-03-21
US15/465,022 US10650405B2 (en) 2017-03-21 2017-03-21 Media content tracking
PCT/US2018/022676 WO2018175204A1 (en) 2017-03-21 2018-03-15 Media content tracking

Publications (2)

Publication Number Publication Date
JP2020514922A true JP2020514922A (ja) 2020-05-21
JP6865297B2 JP6865297B2 (ja) 2021-04-28

Family

ID=61899380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019552041A Active JP6865297B2 (ja) 2017-03-21 2018-03-15 メディアコンテンツの追跡

Country Status (9)

Country Link
US (2) US10650405B2 (ja)
EP (1) EP3602343B8 (ja)
JP (1) JP6865297B2 (ja)
CN (1) CN110603508B (ja)
AU (2) AU2018237571A1 (ja)
BR (1) BR112019019459A2 (ja)
CA (1) CA3056868C (ja)
MX (1) MX2019011178A (ja)
WO (1) WO2018175204A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10780897B2 (en) * 2019-01-31 2020-09-22 StradVision, Inc. Method and device for signaling present driving intention of autonomous vehicle to humans by using various V2X-enabled application
US11379877B2 (en) * 2019-08-29 2022-07-05 Skopus Media Inc. Measuring effectiveness of images displayed on a moving object

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009176254A (ja) * 2008-01-28 2009-08-06 Nec Corp 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。
JP2010519604A (ja) * 2006-12-01 2010-06-03 グーグル・インコーポレーテッド 広告の有効性の判断
JP2011070629A (ja) * 2009-08-25 2011-04-07 Dainippon Printing Co Ltd 広告効果測定システム及び広告効果測定装置
CN102129644A (zh) * 2011-03-08 2011-07-20 北京理工大学 一种具有受众特性感知与统计功能的智能广告系统
JP2011197276A (ja) * 2010-03-18 2011-10-06 Hitachi Solutions Ltd 広告画像表示装置、広告画像表示方法
JP2011210238A (ja) * 2010-03-10 2011-10-20 Dainippon Printing Co Ltd 広告効果測定装置及びコンピュータプログラム
JP2012047945A (ja) * 2010-08-26 2012-03-08 Hitachi Ltd コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示システム
JP2012098598A (ja) * 2010-11-04 2012-05-24 Yahoo Japan Corp 広告提供システム、広告提供管理装置、広告提供管理方法および広告提供管理プログラム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7783622B1 (en) * 2006-07-21 2010-08-24 Aol Inc. Identification of electronic content significant to a user
WO2008012716A2 (en) * 2006-07-28 2008-01-31 Koninklijke Philips Electronics N. V. Private screens self distributing along the shop window
DE102007022065A1 (de) * 2007-05-11 2008-11-27 Identec Solutions Ag Verfahren zum Betrieb eines RFID-Tags mit genauer Lokalisierung
US8401248B1 (en) 2008-12-30 2013-03-19 Videomining Corporation Method and system for measuring emotional and attentional response to dynamic digital media content
US20100191631A1 (en) 2009-01-29 2010-07-29 Adrian Weidmann Quantitative media valuation method, system and computer program
US20100295774A1 (en) 2009-05-19 2010-11-25 Mirametrix Research Incorporated Method for Automatic Mapping of Eye Tracker Data to Hypermedia Content
US9373123B2 (en) 2009-12-30 2016-06-21 Iheartmedia Management Services, Inc. Wearable advertising ratings methods and systems
WO2012083415A1 (en) * 2010-11-15 2012-06-28 Tandemlaunch Technologies Inc. System and method for interacting with and analyzing media on a display using eye gaze tracking
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
WO2012141700A1 (en) * 2011-04-13 2012-10-18 Empire Technology Development Llc Dynamic advertising content selection
US8879155B1 (en) 2011-11-09 2014-11-04 Google Inc. Measurement method and system
US9823742B2 (en) * 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9116926B2 (en) 2012-12-20 2015-08-25 Google Inc. Sharing photos
US20140316543A1 (en) 2013-04-19 2014-10-23 Qualcomm Incorporated Configuring audio for a coordinated display session between a plurality of proximate client devices
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
US20150106386A1 (en) * 2013-10-11 2015-04-16 Microsoft Corporation Eye tracking
US20150113454A1 (en) 2013-10-21 2015-04-23 Motorola Mobility Llc Delivery of Contextual Data to a Computing Device Using Eye Tracking Technology
US9244539B2 (en) * 2014-01-07 2016-01-26 Microsoft Technology Licensing, Llc Target positioning with gaze tracking
US10048749B2 (en) * 2015-01-09 2018-08-14 Microsoft Technology Licensing, Llc Gaze detection offset for gaze tracking models
US10303247B2 (en) * 2015-01-16 2019-05-28 Hewlett-Packard Development Company, L.P. User gaze detection
US10242379B2 (en) * 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
US10678897B2 (en) * 2015-04-16 2020-06-09 Tobii Ab Identification, authentication, and/or guiding of a user using gaze information
US20170139475A1 (en) * 2015-11-13 2017-05-18 Viomba Oy Method and apparatus for tracking user gaze and adapting content
US10775882B2 (en) * 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
US20180211285A1 (en) * 2017-01-20 2018-07-26 Paypal, Inc. System and method for learning from engagement levels for presenting tailored information

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010519604A (ja) * 2006-12-01 2010-06-03 グーグル・インコーポレーテッド 広告の有効性の判断
JP2009176254A (ja) * 2008-01-28 2009-08-06 Nec Corp 表示システム、表示方法、表示効果測定システム、及び、表示効果測定方法。
JP2011070629A (ja) * 2009-08-25 2011-04-07 Dainippon Printing Co Ltd 広告効果測定システム及び広告効果測定装置
JP2011210238A (ja) * 2010-03-10 2011-10-20 Dainippon Printing Co Ltd 広告効果測定装置及びコンピュータプログラム
JP2011197276A (ja) * 2010-03-18 2011-10-06 Hitachi Solutions Ltd 広告画像表示装置、広告画像表示方法
JP2012047945A (ja) * 2010-08-26 2012-03-08 Hitachi Ltd コンテンツ表示制御方法、コンテンツ表示制御装置およびコンテンツ表示システム
JP2012098598A (ja) * 2010-11-04 2012-05-24 Yahoo Japan Corp 広告提供システム、広告提供管理装置、広告提供管理方法および広告提供管理プログラム
CN102129644A (zh) * 2011-03-08 2011-07-20 北京理工大学 一种具有受众特性感知与统计功能的智能广告系统

Also Published As

Publication number Publication date
CN110603508B (zh) 2023-07-14
CA3056868C (en) 2022-04-19
US20200242659A1 (en) 2020-07-30
US10650405B2 (en) 2020-05-12
JP6865297B2 (ja) 2021-04-28
EP3602343B8 (en) 2024-04-24
MX2019011178A (es) 2020-02-07
EP3602343B1 (en) 2024-03-20
BR112019019459A2 (pt) 2020-04-22
AU2018237571A1 (en) 2019-10-10
CA3056868A1 (en) 2018-09-27
AU2021232718A1 (en) 2021-10-14
EP3602343A1 (en) 2020-02-05
CN110603508A (zh) 2019-12-20
US20180276706A1 (en) 2018-09-27
US11227307B2 (en) 2022-01-18
WO2018175204A1 (en) 2018-09-27

Similar Documents

Publication Publication Date Title
US11747898B2 (en) Method and apparatus with gaze estimation
KR102338407B1 (ko) 생체 인증 정보를 교환하도록 구성된 머리 장착 디스플레이 시스템
JP6594329B2 (ja) 顔表現のためのシステムおよび方法
US9183557B2 (en) Advertising targeting based on image-derived metrics
US8577087B2 (en) Adjusting a consumer experience based on a 3D captured image stream of a consumer response
US20200234444A1 (en) Systems and methods for the analysis of skin conditions
CN107967618B (zh) 电子内容交换中的在线欺诈检测系统
US20200320791A1 (en) Computerized system and method for providing a mobile augmented reality item display and selection experience
JP2016530593A (ja) イメージの鮮明性を評価すること
US10565432B2 (en) Establishing personal identity based on multiple sub-optimal images
US20220172276A1 (en) System for shopping mall service using eye tracking technology and computing device for executing same
AU2021232718A1 (en) Media content tracking
CN116208791A (zh) 一种计算机实现的方法及存储介质
Ho et al. Evaluating 2D flow visualization using eye tracking
EP3074844B1 (en) Estimating gaze from un-calibrated eye measurement points
Mochizuki et al. Visual attention prediction for images with leading line structure
WO2014153317A1 (en) Trend analysis using network-connected touch-screen generated signals
Asghari et al. Can eye tracking with pervasive webcams replace dedicated eye trackers? an experimental comparison of eye-tracking performance
US20240177519A1 (en) Digital Verification of Users Based On Real-time Video Stream
US20230177831A1 (en) Dynamic User Interface and Data Communications Via Extended Reality Environment
Akshay et al. UEye: Insights on User Interface Design Using Eye Movement Visualizations
US20170236151A1 (en) Systems, devices, and methods of providing targeted advertising
US20150088653A1 (en) Marketing management system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191114

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210405

R150 Certificate of patent or registration of utility model

Ref document number: 6865297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350