CN107577693A - 对用于内容选择系统的生物特征数据的本地处理 - Google Patents

对用于内容选择系统的生物特征数据的本地处理 Download PDF

Info

Publication number
CN107577693A
CN107577693A CN201710537739.XA CN201710537739A CN107577693A CN 107577693 A CN107577693 A CN 107577693A CN 201710537739 A CN201710537739 A CN 201710537739A CN 107577693 A CN107577693 A CN 107577693A
Authority
CN
China
Prior art keywords
content
computing device
configuration file
thesaurus
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710537739.XA
Other languages
English (en)
Inventor
斯特凡诺·巴尔加尼
达妮埃莱·塔索内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Senyi Co Ltd
Original Assignee
Senyi Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Senyi Co Ltd filed Critical Senyi Co Ltd
Publication of CN107577693A publication Critical patent/CN107577693A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/435Filtering based on additional data, e.g. user or group profiles
    • G06F16/436Filtering based on additional data, e.g. user or group profiles using biological or physiological data of a human being, e.g. blood pressure, facial expression, gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/432Query formulation
    • G06F16/434Query formulation using image data, e.g. images, photos, pictures taken by a user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43Querying
    • G06F16/438Presentation of query results
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本公开提供对用于内容选择系统的生物特征数据的本地处理。所提供的处理方法包括:在推荐确定内容的播放期间使用摄像头捕获图像,推荐确定内容被计算设备用来呈现响应于推荐确定内容的定制内容;基于被捕获的图像确定被捕获的图像中的主体的生物特征信息;确定在计算设备上播放的推荐确定内容的对象类别;在计算设备上本地存储将生物特征信息与推荐确定内容的对象类别相关联的配置文件;基于存储在计算设备上的配置文件确定预定内容访问类别,预定内容访问类别表示在计算设备处被播放时可能令人感兴趣的内容类型;基于预定内容访问类别并在没有用于生成预定内容访问类别的生物特征信息的情况下,引起对用于在计算设备上显示的定制内容的选择。

Description

对用于内容选择系统的生物特征数据的本地处理
优先权声明
本申请根据35U.S.C.§119(e)要求于2016年7月5日提交的临时申请62/358,399的优先权,出于所有目的,其全部内容通过引用并入本文,如同在本文中充分阐述一样。
技术领域
本公开总体在计算机程序、计算机实现的系统、以及用于处理生物特征数据的技术的技术领域中,更具体地,在本地处理生物特征数据的技术领域中。
背景技术
本节中描述的方法是可以探求的方法,而不一定是先前已设想过或探求过的方法。因此,除非另有说明,否则不应假定本节中描述的任何方法仅因被包括在本节中而被作为现有技术。
内容推荐系统可以选择高度相关的内容来呈现给用户。这些内容推荐系统可以使用所收集的关于用户的信息来选择相关内容。然而,可能存在非常有价值的类型的信息,这种类型的信息虽然会增加所选内容的相关性,但如果由于隐私或其他原因被滥用将会造成问题。因此,需要一种提供高度相关的所选内容并解决隐私和各种其他问题的技术过程。
发明内容
所附权利要求可以用作本发明的内容概要。
附图说明
以示例而非限制的方式在附图的图中示出了实施例,其中相同的标号表示相似的元件。
图1示出了被配置为选择定制内容以用于显示的本地内容选择系统。
图2示出了根据一个实施例的可用于本地内容选择系统的数据处理系统。
具体实施方式
以下的描述和附图是说明性的,而不应被解释为限制性的。描述了许多具体细节以提供透彻的理解。然而,在某些情况下,不描述公知的或常规的细节以避免模糊描述。对本公开中的一个或某一实施例的引用不一定是对同一实施例的引用;并且,这样的引用指至少一个。
本申请中使用的标题仅出于参考的目的而被提供。在每个标题之后讨论的特征不限于由每个标题标识的特定实施例所要求的特征,并且不限于仅属于由每个标题标识的任何特定实施例的特征。
1.概览
内容推荐系统被配置为向端用户建议他们可能喜欢的内容。内容推荐系统可以使用各种信息源来做出建议。一些示例包括分析的偏好信息,例如,年龄、性别或其他信息。
在实施例中,计算设备可以使用诸如年龄、性别、面部特征、或其他生物特征信息之类的生物特征信息来改进内容推荐。可以结合经分析的偏好信息使用生物特征信息来确定推荐的内容。用于推荐系统的经分析的偏好信息和生物特征信息通常被发送到服务器以进行分析。然而,这可能会导致可能的隐私问题,例如,向第三方出售端用户数据、涉及存储经分析的偏好信息和生物特征信息的远程服务器的安全漏洞的风险、以及与滥用端用户数据相关联的隐私侵犯。计算设备可以包括解决这些问题的本地内容选择系统。本地内容选择系统保护用户隐私,同时通过使用各种信息源(包括可能是敏感信息的那些信息)来提供强大的内容推荐特征。
在实施例中,在本地计算设备上实现的数据处理方法包括在:在推荐确定内容的播放期间使用摄像头捕获图像。例如,摄像头可以是本地计算设备所包括的组件。本地计算设备可以使用推荐确定内容来选择响应于推荐确定内容的定制内容。该方法包括:基于被捕获的图像来确定被捕获的图像内的主体的生物特征信息以及在本地计算设备上播放的推荐确定内容的对象类别。该方法包括:在本地计算设备上本地存储将生物特征信息和推荐确定内容的对象类别相关联的配置文件。例如,生物特征信息可被用于从存储在本地计算设备处的另一配置文件标识出该配置文件。
在各种实施例中,生物特征信息还可以包括确定被捕获的图像内的主体正在表达面部情绪,并且将面部情绪和对象类别之间的关联存储在配置文件中。主体的生物特征信息可以被用于将被捕获的图像内的主体与在计算设备上的另一配置文件相区分。
该方法包括:基于本地计算设备上的配置文件来确定预定的内容访问类别。预定的内容访问类别可以表示在本地计算设备上被播放时可能令人感兴趣的内容的类型。例如,预定的内容访问类别可以至少部分地基于用户偏好、年龄或性别。该方法包括:基于预定的内容访问类别并且在没有用于生成预定的内容访问类别的生物特征信息的情况下,引起对用于在计算设备上显示的定制内容的选择。所选择的定制内容可以被显示在本地计算设备上。
在各种实施例中,本地计算设备包括:维持存储库列表以提供用于在本地计算设备上显示的内容。本地计算设备可以选择存储库以提供用于显示的内容并且从该存储库请求所选择的内容。所选择的存储库可以响应于本地计算设备的请求而提供内容,且不在所选择的存储库处存储关于定制内容被提供的指示。预定的内容访问类别可以在存储库列表中被映射为对应于所选择的存储库。
该方法的实施例可以包括:在推荐确定内容的播放期间捕获图像发生在引起对定制内容的选择之前。确定针对推荐确定内容的对象类别可以包括:检索与推荐确定内容相关联的元数据,以及基于检索到的元数据确定对象类别。
该方法可以包括:基于行为信息来确定主体是否表达对对象类别的积极指示,并且将该积极指示与对象类别之间的关联存储在配置文件中。
实施例可以包括:在本地计算设备上呈现来自所存储的配置文件的信息,并且在本地计算设备上接收到指示之后,从本地计算设备移除该配置文件。
2.计算机系统
图1是可以在一个实施例中使用的计算机系统的框图。
在图1的示例中,计算机系统100包括用户设备101以及通过网络117通信地耦接的远程存储库119。用户设备101可以包括本地内容选择系统,其在允许处理用于选择内容的信息的任何合适的计算设备上执行。例如,用户设备101可以表示移动计算设备或台式计算机。
本地内容选择系统包括一种程序化方法,用于直接在用户设备101上侧写(profile)用户,并且以其他设备不可能获得的方式将私有或敏感数据本地存储在用户设备101上的本地数据库109中。
本地内容选择系统使用机器学习模块111来处理和确定私有信息和生物特征信息以生成用户的配置文件(profile)。该配置文件被存储在用户设备101上的本地数据库109处并在用户设备101上本地工作,以确定要通过网络117访问远程存储库119上的哪些内容。
本地内容选择系统通过以下方式来保护用户隐私,所述方式即在用户设备101上存储敏感数据(例如,用户偏好、年龄、性别、或其他数据),并且通过使用机器学习模块111来本地计算用户与各种内容之间的亲和度。这不要求通过网络117将敏感数据发送到远程服务器(例如,到远程存储库119)。
本地内容选择系统的实施例可以使用不同的技术来确定用户对特定内容的亲和度。例如,本地内容选择系统可以使用基于支持向量机(SVM)的面部识别和数据预测技术来确定适合于用户的内容。由于私有数据在本地设备上被存储和分析并且从不被发送到远程服务器,因此用户的隐私受到保护。
由在用户设备101上本地运行的机器学习模块111分析用户数据。由于机器学习模块111能够在不向远程服务器发送信息的情况下分析用户数据,所以本地内容选择系统可以保护用户的隐私,并同时提供定制的内容推荐。
在图1中,用户设备101具有用户信息提取器103,以获得与用户设备101的用户相关的私有数据。例如,用户信息提取器103在用户设备101上本地运行,以通过分析面部情绪、性别、年龄、或用户行为(例如,对内容的喜好)、鼠标移动、用户位置(例如,全球定位系统位置信息)、时间(例如,小时、分钟、秒、或其他单位时间)、或其他信息来识别用户信息。用户信息提取器103可以提供用于确定用户对内容的亲和度的信息。例如,用户信息提取器103检测用户响应于用户设备上呈现的内容的面部情绪,使得用户偏好控制器105可以推断出用户喜欢的内容和用户不喜欢的内容。作为另一示例,用户信息提取器103检测用户与所呈现的内容的交互,使得机器学习模块111可以推断出用户对不同类型的内容的亲和度。
在图1中,用户偏好控制器105构建来自用户信息提取器103的数据并将其存储到本地数据库109中。用户生物特征控制器107(例如,从用户设备101的多个用户之中)标识当前用户并且然后将对应的用户信息(例如,情绪、性别、年龄、响应、或其他信息)绑定到该用户的标识符上。因此,即使在不止一个用户共享同一用户设备101和/或同一账户时,也可以分别跟踪用户设备101的不同用户的行为。因此,同一用户设备101的多个用户可以被准确地侧写。
在图1中,本地数据库109存储来自用户偏好控制器105和用户生物特征控制器107的数据。
本地内容选择系统包括被配置为分析存储在本地数据库109中的信息的机器学习模块111。该信息被用于创建用户配置文件,该用户配置文件可用于选择要呈现给用户设备101的当前用户的适合内容。机器学习模块111被配置为基于用户属性学习如何对内容(类别)进行预测。这可以与其他信息相组合来确定用户可能感兴趣的内容。
本地内容选择系统的不同实施例可以通过机器学习模块111以不同的方式表达预测或预定的内容访问类别。在实施例中,本地内容选择系统以“年龄/性别/对象类别”的格式来表达机器学习预测。例如,如果预测是“24/女性/服装”,则来自机器学习模块111的预测使得存储库选择器113从存储库列表中选择存储库(例如,包括在存储库选择器113内的与预定的内容访问类别相匹配的存储库)。
在图1中,用户设备具有存储库115的本地副本。作为这种特定使用场景的示例,存储库115包括关于“服装”的内容。远程存储库119被配置为严格遵守服务内容中的预测模式(年龄/性别/对象类别)。
在实施例中,由于机器学习模块111将用户偏好和生物特征信息映射到预定的内容访问类别,所以用户的隐私被保护。存储库115使用预定的内容访问类别来服务对内容的一次性请求,并且不跟踪本地用户设备处的内容访问历史。因此,改进了用户的隐私保护。
在检索到内容(例如,视频、广告、或文章)之后,媒体播放器121呈现内容。
3.示例使用场景
以下是在实施例中本地内容选择系统可以如何工作的示例使用场景。该示例意在是说明性的,而不排除可能由本地内容选择系统提供的建议类型。以下在使用场景中所作的引用包括与图1中所使用的参考标号相对应的数字。
本地内容选择系统包括用户信息提取器103,其从在用户设备101(例如,智能电话、平板电脑、或个人计算机)上配置的摄像头捕获的用户图像中提取用户数据。用户信息提取器103提取诸如年龄、性别、面部表情(情绪)之类的信息,并(例如,通过使用面部形态)向所标识的用户分配标识符。在用户设备101上本地处理该图像,并且将所提取的信息本地存储在用户设备101上。可以使用各种技术来确定面部表情或面部情绪。作为示例,SVM、级联分类器、或其他技术可以与本地内容选择系统兼容。
用户偏好控制器105和用户生物特征控制器107对来自每个相应组件的信息进行合并,以将该信息与用户此刻正在观看的内容相绑定。例如,如果用户正在观看船并且正在微笑,则用户偏好控制器105和用户生物特征控制器107可以将该用户的情绪(微笑)与该对象(船)绑定。
为了在图像被捕获时确定在推荐确定内容中描述的是哪个对象,用户信息提取器103可以分析被包括在该图像中的元数据。元数据可以由内容创建者向推荐确定内容提供。
然后所提取的信息由用户偏好控制器105构建并被存储到本地数据库109中。例如,被存储的数据可以被表示为具有由本地内容选择系统确定的元素(例如,用户Id、被观看的对象、相关联的情绪、时间戳)的数据行。在实施例中,可以通过HTML5本地存储来实现本地数据库109。在一段时间内,本地数据库109在本地具有可由机器学习模块111处理的用户信息。
本地内容选择系统可以包括机器学习模块111,其从用户获取输入并提供用户可能感兴趣的内容。机器学习模块111可以在用户设备101上本地运行,并且直接与本地数据库109进行通信,以便对用户想要观看什么做出预测。机器学习模块111不通过网络共享来自本地数据库109的信息,以确保敏感数据始终被限制在本地。
在实施例中,机器学习模块111的输出被表示为年龄/性别/对象类别。例如,该输出可以包括“24/女性/船”。存储库选择器113分析由机器学习模块111提供的数据,并(从存储库列表)预测哪个存储库与该模式相匹配。查询存储库,在媒体播放器121中获取、下载并播放适当的内容。存储库可以包括第三方存储库。例如,如果第三方存储库遵守来自机器学习模块的输出(例如,在RESTful架构中),则其可以被包括在存储库列表内。
为了做出预测,机器学习模块111对用户偏好(例如,用户喜欢船)和生物特征数据(例如,年龄、性别、情绪)进行分析,然后通过采用该信息并且接下来将其与预先训练的模型进行比较的机器学习预测来给出答案。可以使用任何机器学习技术(例如,SVM、随机森林)做出该预测,但该预测不限于特定的方法。例如,可以使用深度学习技术或能够做出预测的任何其他计算算法。
由于整个用户数据集(例如,用户偏好、情绪、年龄、性别、和其他)被本地存储(例如,用HTML5本地存储),所以不存在对端用户的隐私侵犯。以这种方式,用户的个人数据和敏感数据在用户的专属控制下。数据管理器可以被提供作为用户接口,以允许用户管理、删除、更改存储在本地数据库109中的个人数据。用户是唯一被允许访问本地数据库109中的数据的人员。
本地内容选择系统可以访问服务器以从特殊存储库获得与用户配置文件匹配的内容。例如,当用户在观看帆船时表现出积极的情绪时,可以查询关于航海帆船对象的存储库。然而,本地内容选择系统不需要向服务器上传或提供生物特征信息(例如,被存储为本地内容选择系统可访问的cookie的信息),而是仅从包括所选择的对象的内容类别的存储库中抽取。
一旦内容被播放,就可以从设备中将其删除。
在用户设备101没有任何互联网接口的实施例中,用户也可以受益于该解决方案,因为所有的数据都是本地处理的。没有互联网接口的本地用户设备的一些示例可以包括通常不连接到互联网的SmartTV、机顶盒。
4.替代实施例
本地内容选择系统的替代实施例可以包括在确定向用户呈现什么内容时使用附加的数据源。例如,可以用以下任何数据源中的任一者来补充对生物特征数据的使用:
由本地设备的全球定位系统(GPS)单元、蓝牙、或蜂窝塔信息提供的位置数据;
使用本地设备的麦克风捕获的音频数据;
使用本地设备的陀螺仪捕获的轴和倾斜数据;
使用本地设备的摄像头、光传感器或其他传感器捕获的场景检测数据;
被包括在本地计算设备上或者通信地耦接到本地计算设备的其他生物特征传感器;
眼镜;
来自本地设备的浏览器的浏览器历史数据;
来自本地设备的浏览器的cookie数据;
由本地设备的应用提供的社交网络偏好;
或这些数据源的任何组合。
这些附加的信息源将附加数据添加到本地内容选择系统以推断用户可能享受观看什么。这些附加的信息源中的一些可以是来自本地设备101的用户的个人信息或敏感信息,类似于本申请中其他地方描述的生物特征数据。
可以针对这些附加的数据源实施本申请其他地方所描述的隐私保护功能中的全部或一些。例如,在预测用户可能在特定时刻享受观看什么时,本地内容系统可以收集位置数据。位置数据可以被用于推断用户所处的环境类型,从而确定他们最适合的内容类型。如果用户在大海附近,则包括船的内容可能对用户更具吸引力。如果用户在商场附近,则可以向用户呈现与商场出售的商品相关联的内容项目。在不从来自本地设备的这些附加信息源发送特定数据的情况下,本地内容选择系统可以做出这些确定。
在实施例中,本地内容选择系统可以使用元数据确定模型。元数据确定模型可以确定应与任何给定的图像相关联的元数据的类型。例如,用户信息提取器103可以向元数据确定模块请求用户正在观看的特定图像或视频的元数据。元数据可以由内容创建者针对推荐确定内容来提供,或者通过其他方法来提供,例如,对图像或视频的“即时”分析。该分析可以在服务器处被确定并被提供给本地用户设备,或者在播放图像或视频时在本地用户设备处被确定。在元数据在本地用户设备处被确定的实施例中,本地用户设备可以仅在需要用户偏好信息时在本地用户设备处确定元数据信息。例如,如果视频包括多个图像帧,则仅分析需要用户偏好信息的图像帧来确定针对图像帧的相应元数据。这允许本地内容选择系统通过根据需要选择性地确定元数据信息来节省诸如存储器和处理功率之类的计算资源。
5.实施例-硬件概览
图1的用户设备101可以通过使用图2的数据处理系统来实现。
图2示出了根据一个实施例的数据处理系统。图2示出了计算机系统的各种组件,但不旨在表示任何特定的架构或互连组件的方式。与图1示出的组件相比,一个实施例可以使用具有更少或更多个组件的其他系统。
在图2中,数据处理系统170包括互连(一个或多个)微处理器173和存储器167的互连171(例如,总线和系统核心逻辑)。在图2的示例中,微处理器173耦接到缓冲存储器179。
在一个实施例中,互连171将(一个或多个)微处理器173和存储器167互连在一起,并且还经由(一个或多个)I/O控制器177将它们互连到(一个或多个)输入/输出(I/O)设备175。I/O设备175可以包括显示设备和/或外围设备(例如,鼠标、键盘、调制解调器、网络接口、打印机、扫描器、摄像头和本领域已知的其他设备)。在一个实施例中,当数据处理系统是服务器系统时,I/O设备175中的一些(例如,打印机、扫描仪、鼠标、和/或键盘)是可选的。
在一个实施例中,互连171包括通过各种桥接器、控制器和/或适配器与彼此连接的一个或多个总线。在一个实施例中,I/O控制器177包括用于控制USB外围设备的USB(通用串行总线)适配器,和/或用于控制IEEE-1394外围设备的IEEE-1394总线适配器。
在一个实施例中,存储器167包括以下各项中的一个或多个:ROM(只读存储器)、易失性RAM(随机存取存储器)、和非易失性存储器(例如,硬盘驱动器、闪存等)。
易失性RAM通常被实现为动态RAM(DRAM),其需要连续的电力以便刷新或维持存储器中的数据。非易失性存储器通常是磁性硬盘驱动器、磁光驱动器、光驱动器(例如,DVDRAM)或即使在从系统移除电力之后也维持数据的其他类型的存储器系统。非易失性存储器也可以是随机存取存储器。
非易失性存储器可以是直接耦接到数据处理系统中其余组件的本地设备。也可以使用远离系统的非易失性存储器,例如,通过诸如调制解调器或以太网接口之类的网络接口耦接到数据处理系统的网络存储设备。
在本说明书中,一些功能和操作被描述为由软件代码执行或由软件代码引起,以简化描述。然而,这种表达也被用于指定:功能是因处理器(例如,微处理器)对代码/指令的执行而产生的。
可选地或组合地,可以使用具有或不具有软件指令的专用电路(例如,通过使用专用集成电路(ASIC)或现场可编程门阵列(FPGA))来实现这里描述的功能和操作。实施例可以通过使用不具有软件指令或与软件指令相组合的硬连线电路来实现。因此,这些技术既不限于硬件电路和软件的任何特定组合,也不限于由数据处理系统执行的指令的任何特定源。
虽然一个实施例可以在功能完全的计算机和计算机系统中实现,但是各种实施例能够作为各种形式的计算产品被分配,并且不论用于实际影响该分配的特定类型的机器或计算机可读介质如何,其能够被应用。
所公开的至少一些方面可以至少部分地在软件中实现。也就是说,可以在计算机系统或其他数据处理系统中实现这些技术,其中,计算机系统或其他数据处理系统响应于其处理器(例如,微处理器),执行包括在诸如ROM、易失性RAM、非易失性存储器、高速缓存或远程存储设备之类的存储器中的指令序列。
被执行以实现实施例的程序可以被实现为操作系统或被称为“计算机程序”的特定应用、组件、程序、对象、模块或指令序列的一部分。计算机程序通常包括在各种时间在计算机中的各种存储器和存储设备中的一个或多个指令集,并且当其被计算机中的一个或多个处理器读取和执行时,使得计算机实现执行涉及各个方面的元件所必需的操作。
机器可读介质可用于存储在被数据处理系统执行时使得系统执行各种方法的软件和数据。可执行软件和数据可以被存储在各种地方(包括例如ROM、易失性RAM、非易失性存储器、和/或缓存)。该软件和/或数据的一部分可以被存储在这些存储设备中的任一者中。此外,可以从集中式服务器或对等网络获得数据和指令。可以在不同的时间和不同的通信会话或同一通信会话中从不同的集中式服务器和/或对等网络获得数据和指令的不同部分。可以在执行应用之前完整地获得数据和指令。可以在需要执行时,及时地动态获得数据和指令的一部分。因此,不要求数据和指令在特定的实例时间整体都在机器可读介质上。
计算机可读介质的示例包括但不限于可记录和不可记录型介质,例如易失性和非易失性存储器设备、只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器设备、软盘和其他可移动磁盘、磁盘存储介质、光学存储介质(例如,光盘只读存储器(CD ROM)、数字通用磁盘(DVD)等)、等等。计算机可读介质可以存储指令。
指令还可以在用于电、光、声、或其他形式的传播信号(例如,载波、红外信号、数字信号等)的数字和模拟通信链路中实现。然而,诸如载波、红外信号、数字信号等之类的传播信号不是有形的机器可读介质,并且不被配置为存储指令。
通常,机器可读介质包括提供(即,存储和/或发送)机器(例如,计算机、网络设备、个人数字助理、制造工具、具有一组一个或多个处理器的任何设备等)可访问形式的信息的任何机制。
在各种实施例中,可以将硬连线电路与软件指令组合使用以实现技术。因此,这些技术既不限于硬件电路和软件的任何特定组合,也不限于数据处理系统执行的指令的任何特定源。
描述和附图是说明性的并且不被解释为限制性的。描述了许多具体细节以提供透彻的理解。然而,在某些情况下,不描述公知的或常规的细节以避免模糊描述。对本公开中的一个或某一实施例的引用不一定是对同一实施例的引用;并且这样的引用指至少一个。
本文中对标题的使用仅是为了便于参考而提供的,并且不以任何方式被解释为限制本公开或以下权利要求。
对“一个实施例”或“实施例”的引用指结合实施例描述的特定的特征、结构、特性被包括在本公开的至少一个实施例中。短语“一个实施例”或“实施例”在说明书的各种地方的出现不一定都指同一实施例,并且不一定都指与其他实施例相互排除的独立的或替代的实施例。此外,描述了各种特征,这些特征可以是由一个实施例而非其他实施例展现的。类似地,描述了各种要求,这些要求可以是针对一个实施例而非其他实施例的要求。除了通过明确描述和/或明显不兼容之外,这里也包括在本说明书中描述的各种特征的任何组合。
以上讨论的专利文献的公开内容通过引用并入本文。
在前面的说明书中,已参照本公开的具体示例性实施例描述了本公开。将显而易见的是,在不背离如所附权利要求中阐述的宽泛的精神和范围的情况下,可以对其进行各种修改。因此,说明书和附图被认为是说明性的而不是限制性的。

Claims (20)

1.一种在计算设备上实现的数据处理方法,所述方法包括:
在推荐确定内容的播放期间使用摄像头捕获图像,其中所述推荐确定内容被所述计算设备用来呈现响应于所述推荐确定内容的定制内容;
基于所述被捕获的图像确定在所述被捕获的图像中的主体的生物特征信息;
确定在所述计算设备上播放的所述推荐确定内容的对象类别;
基于使用所述生物特征信息从存储在所述计算设备上的另一配置文件标识出将所述生物特征信息与所述推荐确定内容的所述对象类别相关联的配置文件,在所述计算设备上本地存储所述配置文件;
基于存储在所述计算设备上的所述配置文件来确定预定的内容访问类别,其中所述预定的内容访问类别表示在所述计算设备处被播放时可能令人感兴趣的内容类型;
基于所述预定的内容访问类别并且在不从所述计算设备发送用于生成所述预定的内容访问类别的所述生物特征信息的情况下,引起对用于在所述计算设备上显示的定制内容的选择。
2.根据权利要求1所述的方法,还包括在所述计算设备处显示所选择的定制内容。
3.根据权利要求1所述的方法,还包括:
在所述计算设备处维持存储库列表以提供用于在所述计算设备上显示的内容;
其中引起对定制内容的选择包括:
在所述计算设备上本地选择用于显示的内容的存储库;
所述计算设备请求所选择的存储库提供用于在所述计算设备上显示的内容。
4.根据权利要求3所述的方法,还包括响应于所述计算设备的所述请求,从所选择的存储库接收内容,而不在所选择的存储库处存储关于所述定制内容被提供的指示。
5.根据权利要求3所述的方法,还包括所述存储库列表将所述预定的内容访问类别映射到所选择的存储库。
6.根据权利要求1所述的方法,还包括在引起对定制内容的选择之前,在推荐确定内容的播放期间捕获所述图像。
7.根据权利要求1所述的方法,还包括通过检索与所述推荐确定内容相关联的元数据来确定所述对象类别;
基于检索到的元数据确定所述对象类别。
8.根据权利要求1所述的方法,还包括:
基于所述生物特征信息确定所述被捕获的图像内的所述主体是否正在表达面部情绪;
在所述配置文件中存储所述面部情绪与所述对象类别之间的关联。
9.根据权利要求1所述的方法,还包括:
基于行为信息确定所述主体是否表达了对所述对象类别的积极指示;
在所述配置文件中存储所述积极指示与所述对象类别之间的关联。
10.根据权利要求1所述的方法,其中所述预定的内容访问类别至少部分地基于用户偏好、年龄或性别。
11.根据权利要求1所述的方法,其中所述主体的所述生物特征信息被用于将所述被捕获的图像内的所述主体与被存储为所述计算设备上的配置文件的另一主体相区分。
12.根据权利要求1所述的方法,其中所述摄像头包括被包括在所述计算设备上的摄像头。
13.根据权利要求1所述的方法,还包括:
在所述计算设备上呈现来自所存储的配置文件的信息;
在所述计算设备上接收到指示之后,从所述计算设备移除所述配置文件。
14.一种计算设备,包括:
一个或多个处理器;
存储指令的非暂态计算机可读存储介质,所述指令在由所述一个或多个处理器执行时使得执行下述操作:
在推荐确定内容的播放期间使用摄像头捕获图像,其中所述推荐确定内容被所述计算设备用来呈现响应于所述推荐确定内容的定制内容;
基于所述被捕获的图像确定在所述被捕获的图像中的主体的生物特征信息;
确定在所述计算设备上播放的所述推荐确定内容的对象类别;
基于使用所述生物特征信息从存储在所述计算设备上的另一配置文件标识出将所述生物特征信息与所述推荐确定内容的所述对象类别相关联的配置文件,在所述计算设备上本地存储所述配置文件;
基于存储在所述计算设备上的所述配置文件来确定预定的内容访问类别,其中所述预定的内容访问类别表示在所述计算设备处被播放时可能令人感兴趣的内容类型;
基于所述预定的内容访问类别并且在不从所述计算设备发送用于生成所述预定的内容访问类别的所述生物特征信息的情况下,引起对用于在所述计算设备上显示的定制内容的选择。
15.根据权利要求14所述的计算设备,还包括在被执行时使得在所述计算设备上显示所选择的定制内容的指令序列。
16.根据权利要求14所述的计算设备,还包括在被执行时还使得进行下述操作的指令序列:
在所述计算设备处维持存储库列表以提供用于在所述计算设备上显示的内容;
其中引起对定制内容的选择包括:
在所述计算设备上本地选择用于显示的内容的存储库;
所述计算设备请求来自所选择的存储库的用于在所述计算设备上显示的内容。
17.根据权利要求16所述的计算设备,还包括在被执行时使得所选择的存储库进行下述操作的指令序列:
响应于所述计算设备的所述请求提供内容,而不在所选择的存储库处存储关于所述定制内容被提供的指示。
18.根据权利要求16所述的计算设备,还包括在被执行时使得进行下述操作的指令序列:
在所述存储库列表中将所述预定的内容访问类别映射到所选择的存储库。
19.根据权利要求14所述的计算设备,还包括在被执行时使得进行下述操作的指令序列:
在引起对定制内容的选择之前,在推荐确定内容的播放期间捕获所述图像。
20.根据权利要求14所述的计算设备,还包括在被执行时使得进行下述操作的指令序列:
通过检索与所述推荐确定内容相关联的元数据来确定所述对象类别;基于检索到的元数据确定所述对象类别。
CN201710537739.XA 2016-07-05 2017-07-04 对用于内容选择系统的生物特征数据的本地处理 Pending CN107577693A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662358399P 2016-07-05 2016-07-05
US62/358,399 2016-07-05
US15/471,695 US20180232370A1 (en) 2016-07-05 2017-03-28 Local processing of biometric data for a content selection system
US15/471,695 2017-03-28

Publications (1)

Publication Number Publication Date
CN107577693A true CN107577693A (zh) 2018-01-12

Family

ID=59298185

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710537739.XA Pending CN107577693A (zh) 2016-07-05 2017-07-04 对用于内容选择系统的生物特征数据的本地处理

Country Status (3)

Country Link
US (1) US20180232370A1 (zh)
EP (1) EP3267333A1 (zh)
CN (1) CN107577693A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069991A (zh) * 2019-03-18 2019-07-30 深圳壹账通智能科技有限公司 反馈信息确定方法、装置、电子设备及存储介质
CN110825911A (zh) * 2019-09-25 2020-02-21 云知声智能科技股份有限公司 内容显示方法及装置
CN113656610A (zh) * 2021-08-13 2021-11-16 阿波罗智联(北京)科技有限公司 推荐多媒体信息的方法、装置、电子设备和存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082279A1 (en) * 2018-09-11 2020-03-12 Synaptics Incorporated Neural network inferencing on protected data
US11079911B2 (en) * 2018-12-26 2021-08-03 Synaptics Incorporated Enrollment-free offline device personalization
US11451642B1 (en) * 2021-12-24 2022-09-20 Fabfitfun, Inc. Econtent aggregation for socialization
GB2617385A (en) * 2022-04-07 2023-10-11 Sony Interactive Entertainment Inc Game launching system and method

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070276795A1 (en) * 2006-05-26 2007-11-29 Poulsen Andrew S Meta-configuration of profiles
CN101136873A (zh) * 2006-08-31 2008-03-05 腾讯科技(深圳)有限公司 一种即时通信平台上向用户发送广告的方法和系统
CN101681469A (zh) * 2007-03-31 2010-03-24 索尼德国有限责任公司 用于推荐内容项目的方法和系统
CN101945348A (zh) * 2009-02-27 2011-01-12 捷讯研究有限公司 提供个性化的移动无线通信设备通知的通信系统及相关方法
CN102289461A (zh) * 2010-07-07 2011-12-21 微软公司 基于引导请求活动和数据的推荐和有针对性的广告
US20120066253A1 (en) * 2010-09-15 2012-03-15 Cbs Interactive, Inc. Mapping Product Identification Information To A Product
US20150026708A1 (en) * 2012-12-14 2015-01-22 Biscotti Inc. Physical Presence and Advertising
US20150339381A1 (en) * 2014-05-22 2015-11-26 Yahoo!, Inc. Content recommendations

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007041988A (ja) * 2005-08-05 2007-02-15 Sony Corp 情報処理装置および方法、並びにプログラム
US9671862B2 (en) * 2014-10-15 2017-06-06 Wipro Limited System and method for recommending content to a user based on user's interest

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070276795A1 (en) * 2006-05-26 2007-11-29 Poulsen Andrew S Meta-configuration of profiles
CN101136873A (zh) * 2006-08-31 2008-03-05 腾讯科技(深圳)有限公司 一种即时通信平台上向用户发送广告的方法和系统
CN101681469A (zh) * 2007-03-31 2010-03-24 索尼德国有限责任公司 用于推荐内容项目的方法和系统
CN101945348A (zh) * 2009-02-27 2011-01-12 捷讯研究有限公司 提供个性化的移动无线通信设备通知的通信系统及相关方法
CN102289461A (zh) * 2010-07-07 2011-12-21 微软公司 基于引导请求活动和数据的推荐和有针对性的广告
US20120066253A1 (en) * 2010-09-15 2012-03-15 Cbs Interactive, Inc. Mapping Product Identification Information To A Product
US20150026708A1 (en) * 2012-12-14 2015-01-22 Biscotti Inc. Physical Presence and Advertising
US20150339381A1 (en) * 2014-05-22 2015-11-26 Yahoo!, Inc. Content recommendations

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110069991A (zh) * 2019-03-18 2019-07-30 深圳壹账通智能科技有限公司 反馈信息确定方法、装置、电子设备及存储介质
CN110825911A (zh) * 2019-09-25 2020-02-21 云知声智能科技股份有限公司 内容显示方法及装置
CN113656610A (zh) * 2021-08-13 2021-11-16 阿波罗智联(北京)科技有限公司 推荐多媒体信息的方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
EP3267333A1 (en) 2018-01-10
US20180232370A1 (en) 2018-08-16

Similar Documents

Publication Publication Date Title
CN107577693A (zh) 对用于内容选择系统的生物特征数据的本地处理
US10810633B2 (en) Generating a shoppable video
CN105934760B (zh) 利用计算机视觉辅助的适应性图像搜索
US10391633B1 (en) Systems and methods for inventorying objects
US20200379959A1 (en) Nested media container, panel and organizer
JP6984004B2 (ja) 自律パーソナルコンパニオンによってユーザの人工知能モデルが実行するためのユーザのコンテクスト環境を記述する識別タグに基づくシナリオの継続的選択
US10943111B2 (en) Method and apparatus for recognition and matching of objects depicted in images
US9443414B2 (en) Object tracking
JP2020535556A (ja) ユーザ用の人工知能(ai)モデルに基づく可動式の自律型パーソナルコンパニオン
CN105723325A (zh) 使用因用户而异的语法的媒体项选择
CN110235120A (zh) 用于媒体内容项目之间的转换的系统和方法
US11315354B2 (en) Method and apparatus that controls augmented reality (AR) apparatus based on action prediction
CN107909443A (zh) 信息推送方法、装置及系统
US10679054B2 (en) Object cognitive identification solution
KR102152970B1 (ko) 영상 분석을 이용한 개인화된 상품 추천 방법 및 장치
US11698707B2 (en) Methods and systems for provisioning a collaborative virtual experience of a building
EP3422145B1 (en) Provision of virtual reality content
Plizzari et al. An outlook into the future of egocentric vision
CN114764896A (zh) 适于视频游戏的直播中的自动内容辨识和信息
Schulz et al. The digitalization of motion picture production and its value chain implications
KR102522989B1 (ko) 멀티미디어 콘텐츠 내 상품 정보 제공 장치 및 방법
KR102135287B1 (ko) 개인 컨텐츠에 기반하여 동영상을 생성하는 컨텐츠 생성 서비스 장치, 개인 컨텐츠에 기반하여 동영상을 생성하는 방법 및 컴퓨터 프로그램이 기록된 기록매체
US11610365B2 (en) Methods and systems for provisioning a virtual experience of a building based on user profile data
US20240112408A1 (en) User-customized location based content presentation
US20230298244A1 (en) AI Curation and Customization of Artificial Reality

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination