CN101853390B - 媒介浏览者健康保护的方法和装置 - Google Patents
媒介浏览者健康保护的方法和装置 Download PDFInfo
- Publication number
- CN101853390B CN101853390B CN200910217272.6A CN200910217272A CN101853390B CN 101853390 B CN101853390 B CN 101853390B CN 200910217272 A CN200910217272 A CN 200910217272A CN 101853390 B CN101853390 B CN 101853390B
- Authority
- CN
- China
- Prior art keywords
- viewer
- medium
- image
- policy
- navigation patterns
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Abstract
媒介浏览者健康保护的方法和装置的发明涉及媒介浏览、健康保护和应用信息技术领域。它提供了一个评估媒介浏览者浏览行为的方法和装置。通过对浏览空间拍摄图像及分析,用机器视觉技术进行媒介浏览者的检测和行为评估。根据对媒介浏览者的浏览行为的评估结果,向其提供健康保护功能。
Description
技术领域
本项发明涉及向信息媒介的浏览者提供健康保护,其中的信息媒介的实施方式有书,电视、电脑和游戏机屏幕。更特别的是,它涉及媒介浏览者浏览行为的评估和恰当的媒介浏览政策的实施。
背景技术
直到近些年,纸一直是最常用的信息媒介。教科书、故事书、作业本和报纸是其中最见的例子。众所周知,不当的阅读、书写条件和习惯会造成严重的身体问题。这在儿童中尤其如此。比如,眼睛与纸距离过近、看书和写字时间过长以及室内照明不足都会造成近视。不正确的阅读和写字姿势可以造成脊柱后凸,表现为驼背,以及脊柱侧弯,表现为脊椎向一侧弯曲甚至扭曲。
近些年来,信息媒介迅速发展。常见的现代媒介的实施方式有电视屏幕,个人计算机显示屏,游戏机屏幕和其它可携式设备。现代媒介的使用越来越成为日常生活的一部分。跟纸上的阅读和书写类似,研究表明在现代媒介上不当的阅读习惯和阅读条件同样能造成严重的身体问题。最常见的有近视,肥胖,颈部和背部畸形和疼痛以及整体上疲劳。
在校的孩子常常有繁重的阅读和写作任务。过去,影响他们身体健康的有不当的阅读和书写习惯。今天,随着电视节目,网上内容和视频游戏的大量涌现,不当的媒介使用习惯使他们更有可能产生身体健康方面的问题。
现代媒介也已经触及学龄前儿童。有大量的电视节目和游戏产品定位于这些孩子。他们的自我控制意识最少,但又最有适应能力。他们认为他们看到的和怎样看都是正常的。另外,他们的视觉和身体正经历着重要的发育阶段。没有正确的媒介使用引导,他们可能很快出现象近视和背部畸形这样的健康问题。
在成年人群中,越来越多的人在工作和家里使用电脑。研究也表明成年媒介使用者也有养成不良的媒介浏览习惯的倾向。眼睛和媒介距离过近,不良的头和肩膀的姿态和长时间的阅读是其中常见的问题。这些问题会逐渐引起眼睛酸痛,颈部和背部疼痛,和身体疲劳。
显然,有良好的媒介使用习惯对所有年龄段的人们都重要。随着媒介使用人口的不断增加,提供一种辅助手段来帮助人们建立和保持良好的媒介使用习惯比以往更加紧迫。
一种理想的辅助手段应方便,有效和廉价。它应能自动地跟踪一个或多个人的各自看媒介的时间,距离和姿势。另外,若有必要,应能记录每个人的浏览历史,根据不同年龄组实施相应的政策。
提供这类相关的辅助手段的现有技术大致可以分成三类,分别面向三类常见的媒介,即纸,电视和电脑屏幕。
对传统的纸媒介,现有的技术着重帮助保持正确的坐姿和必要的眼睛和纸的距离。其中有代表性的有美国专利5,168,264和6,325,508。这些方法要求浏览者佩戴一定的设备或用一个物理屏障将身体和纸隔开。这些技术缺少方便性,因而没有被广泛采纳。
对于电视节目的浏览,现有的方法着重限制个人能看的节目的类型。比如,美国1996年通过的一个法案,这里称之为V-芯片法案。根据这一法案,联邦电信交通委员会(FCC)要求所有2001年1月以后制造的13英寸或更大的电视机必须有V-芯片功能。这一功能让家长通过电视机内的V-芯片的编程阻断他们不想让孩子看的节目。
近来,有些方法致力于限制每个用户可以在一个特定的时段打开一台电视的时间。相关的实施方式有美国专利7,098,772和7,362,213。方法是在电视机和电源间加一个开关。若一个用户还有规定的浏览时间剩余,开关可以打开。附近的一台电脑上有浏览者的帐户并用一个无线信号控制那个开关。这些方法也可以用来控制其他设备如游戏机的使用时间。
虽然上述方法的目的是控制浏览者的浏览时间,但是因为它们对浏览者的跟踪不一定准确而不能总是有效。比如,如果是浏览者B打开电视的开关,那么另一浏览者A同样可以看电视而其可看电视的时间不损失。这里,浏览者A的浏览时间被低估了。可见,家里的浏览者越多,这些方法有效性越低。
一个更加严重的问题是,这些方法可以高估浏览者的实际浏览时间。在电视的实施方式中,尽管浏览者临时走开一会,只要电视是打开的,它们就会把每一分秒都算成浏览时间。为了防止其浏览时间被多算,浏览者会有意地减少定期的休息次数而长时间连续观看电视。长此以往,就会危害浏览者的健康。
现有技术还包括利用人体感应器,如被动式热释电红外探测器和主动式距离传感器,检测是否有人进入电视机的预定收看范围以及测量人与电视机的距离(相关的实施方式有中国发明专利申请,公开号CN1738377A及CN 1648958A),以及根据上述检测到的结果发出警示信息(相关的实施方法有中国发明专利申请,公开号CN101071302A)。这类方法的一个重要缺点是难以确认看电视的个体,尤其当多个人在电视机附近时。因此,它们也存在上述其它技术在实际应用中的问题。
在浏览电脑屏幕浏览方面,现有的方法用软件手段限制每个用户的浏览时间。与限制看电视的时间类似,这些方法在计算实际看电脑屏幕时间上可能不精确。因此,它们也有上述因低估和高估浏览时间带来的类似问题。
在电脑屏幕浏览方面,现有技术还包括利用图像拍摄设备和机器视觉检测屏幕前的人眼或人脸。根据检测到的人眼在图像中的占据的像素个数来估计人眼与屏幕的距离(相关的实施方法有中国发明专利申请,公开号CN 101033955A),以及把人眼在图像中的时间作为人看屏幕的时间,根据上述估计的人眼与屏幕的距离来分析人头与屏幕的夹角或者根据人的双眼在图像中与预定方向如水平方向的夹角来估计头以及身体的侧斜程度(相关的实施方法有中国发明专利申请,公开号CN 101178769A)。跟上述其它方法类似,这类方法一旦检测到人后,就认识该人在看屏幕了,可能与事实不符,从而直接或间接地妨碍其对人看屏幕的健康评估的有效性。
另外,上述利用机器视觉的方法对图像拍摄设备相对于媒介的放置有苛刻的有求。对图像拍摄设备的成像平面与媒介夹角未知,或其两者的相对位置未事先确定的情况,该类方法的原理无法生效,因此也限制它们的引用范围。比如,这类方法难以拓展到传统的纸媒介。
总结起来,现有的方法在帮助媒介浏览者保持良好的浏览习惯方面存在重要缺陷。在对于纸媒介上的阅读和书写,现有的方法在帮助保持正确的姿态方面给浏览者带去不便。在对于现代的媒介如电视,电脑和游戏机上的浏览方面,现有的方法在控制浏览时间方面的有效性有待提高。须特别指出的是,无论是通过检测人眼、人脸、人体还是其它信号(如媒介的电源被打开等)来检测媒介前的人,现有的技术均忽略了检测到的媒介前的人未必再那该时间点上浏览该媒介的事实。由于对媒介浏览者的准确检测是评估浏览者行为是否健康的基础,现有技术因此而存在前述的各种严重缺陷。
本项发明克服了现有方法的缺陷。它提供一个方便而有效的方案去帮助广大浏览者保持健康的浏览行为。
发明内容
本项发明提供一个评估媒介浏览者浏览行为的方法和装置。通过对媒介的浏览空间进行图像拍摄和分析,采用机器视觉技术检测媒介浏览者并评估其浏览行为。根据对媒介浏览者行为的评估结果,实施相应的控制措施进而向其提供健康保护功能。
根据本项发明的其中一个实施方式,一个媒介浏览者行为评估系统用来分析浏览行为,其中的浏览行为包含浏览的时间长度,眼睛与媒介的距离,身体姿态和室内照明之中的一个或几个。根据本项发明的另外一个实施方式,一个媒介浏览者健康保护系统根据浏览者浏览行为的评估结果执行一些浏览政策,其中的每个政策包含一个浏览规则和一个相应的控制动作。浏览规则与一定的具体健康浏览行为有关。比如,某一个距离规则要求浏览者与电视机屏幕保持至少四倍于电视机屏幕对角宽度的距离。浏览政策可以是惩罚性的,当浏览者违反相应的规则时,系统就执行相应的控制动作。类似地,浏览政策可以是鼓励性的,当浏览者遵守相应的规则时,系统就执行相应的控制动作。
根据本项发明的其中一个实施方式,一个媒介浏览者行为评估系统用来分析浏览者在多个媒介上的浏览行为。根据本项发明的另外一个实施方式,一个媒介浏览者健康保护系统根据浏览者在多个媒介上的浏览行为的评估结果执行一些浏览政策。
对本项发明的更完整的理解,及其优点可以参照以下的详细说明和图示。
附图说明
图1描述媒介浏览者行为评估系统的一个实施方式。
图2是一个流程图,用来说明媒介浏览者行为评估系统中行为跟踪过程的一个实施方式。
图3是一个流程图,用来说明媒介浏览者行为评估系统中行为分析过程的一个实施方式。
图4是一个流程图,用来说明媒介浏览者检测过程的一个实施方式。
图5是一个流程图,用来说明媒介浏览者验证过程的一个实施方式。
图6是一个流程图,用来说明对人的视线范围的分析过程的一个实施方式。
图7是一个流程图,用来说明除视线范围外其它一些浏览行为分析过程的一个实施方式。
图8是一个流程图,用来说明浏览者辨认过程的一个实施方式。
图9是一个流程图,用来说明带有年龄估计的浏览者辨认过程的一个实施方式。
图10是一个流程图,用来说明媒介状态和浏览者行为跟踪过程的一个实施方式。
图11是一个流程图,用来说明媒介浏览者健康保护系统的一个实施方式。
图12A描述一些典型的浏览行为规则的一个实施方式。
图12B描述更多的浏览行为规则的一个实施方式。
图13描述一些典型的惩罚性的浏览行为政策的一个实施方式。
图14描述一些典型的奖励性的浏览行为政策的一个实施方式。
图15是一个流程图,用来说明浏览政策实施过程的一个实施方式。
图16是一个流程图,用来说明针对某一个浏览者的浏览政策实施过程的一个实施方式。
图17是一个流程图,用来说明执行某一浏览政策过程的一个实施方式。
图18描述可监控多个媒介的媒介浏览者健康保护系统的一个实施方式。
具体实施方式
分成两部分说明。第一部分着重描述媒介浏览者浏览行为自动评估的典型实例。第二部分着重描述向媒介浏览者自动提供健康保护功能的典型实施。第二部分中的实例应用了第一部分中说明的自动浏览行为评估原理。
作为实施方式之一,图1描述了一个典型的媒介142的浏览者浏览行为自动评估系统100。以下,只要上下文意义明确,上述浏览者浏览行为自动评估系统100,以下简称为浏览者行为评估系统100,系统100或系统。这个系统包括一个或多个照相机130-1至130-K用来对媒介142的浏览空间140进行图象拍摄。以下,这些照相机又统称为图像拍摄设备130。系统根据拍摄到的图像评估媒介浏览者的浏览行为。
这个典型的媒介浏览者的行为评估系统100包括一个浏览行为跟踪过程400。作为过程400的一个功能,系统100采用机器视觉(MV)检测媒介142的浏览者。这些媒介浏览者处在浏览空间140中,被标成144-1至144-M。而那些不在浏览媒介142的人被标成146-1至146-N,他们可能与媒介浏览者同时存在。浏览者的个数M和非浏览者的个数N可能随时间的变化而变化。特别地,在任一时刻,那里可能没有一个浏览者或没有一个非浏览者。这里提到的浏览者和非浏览者的检测中所用的视觉技术将在下面结合图5和图6进行描述。
作为过程400的另一功能,系统100识别每一个检测到的浏览者并将结果保存在浏览者识别数据库200中。浏览者识别数据库200又称为浏览者身份数据库。浏览者身份数据库的运作可能随媒介和浏览者类型的不同而有所不同,将在下面结合图8和图9进行描述。
作为过程400的又一功能,系统100对识别到的每一个浏览者进行浏览行为评估,并将结果保存在浏览者行为数据库300中。浏览行为的评估将在下面结合图5,图6和图7进行描述。
媒介浏览者健康保护系统100可以实施在任意形式的计算设备中,比如个人电脑和嵌入式系统,其中包含处理器110比如通用处理器或图形处理器,和存储器120比如随机存取记忆器(RAM)和只可读记忆器(ROM)。或者,系统可以实施在一个或多个专用集成电路(ASIC)中。
下面将对系统的不同实施方式中的可选的架构和功能给出进一步说明,其中根据使用者的意愿,可以实施或不实施前述的框架。必须明确强调的是,下面给出的信息完全是以说明本项发明的原理为目的具体实施方式,而不可理解成任何形式的对本项发明的限制。以下的任何功能可以单独或跟任何其它描述的功能一起实施。
图2是一个描述典型的浏览者行为跟踪过程400的流程图。这个过程的目的是检测处在媒介浏览空间140中的浏览者并确定他们的行为。这个过程是循环的。在每一个循环周期402,它调用浏览者行为分析过程500。
图3是一个描述典型的浏览者行为分析过程500的流程图。这个分析过程可以被上述浏览者行为跟踪过程400重复调用。该过程首先在步骤502中从图像拍摄设备140得到图像。步骤504调用一个典型的浏览者检测过程600,在所得到的图像中检测浏览者。这里所说的典型的浏览者检测过程600由图8描述。在过程600中,某些浏览行为如浏览者的视线范围、眼睛和媒介的距离也得以确定。如果没有检测到任何浏览者,该过程在浏览者数据库300中记录此刻没有浏览者,并返回调用过程,如步骤508所示。如果检测到至少一个浏览者,该过程在步骤510中进一步分析每一个检测到的浏览者的行为,而后返回调用过程。浏览者的进一步的行为分析实施方式将在图7中描述。
图4是一个描述一个典型的浏览者检测过程600的流程图。这个过程可分成两个主要阶段。第一阶段包括步骤602和604。在步骤602中,该过程收到一组浏览空间的图像。在一个实施方式中,这些图像可能由图像拍摄设备130在步骤502中获得。在步骤604,该过程在步骤602中得到的图像中检测是否有人。若没有检测到人,过程在步骤610返回。否则,过程执行第二阶段以确定每一个检测到的人是否是媒介浏览者。这个确定由步骤608调用浏览者验证过程700实现。如果验证通过,过程700赋给对应的浏览者一个唯一的身份号,而后在步骤610返回调用过程,通知调用过程所检测到的浏览者和它们的身份号。浏览者验证过程700将在后面结合图5,图6,图8和图9说明。
在浏览者检测过程600的步骤604中,机器视觉技术用来分析图像以检测是否有人。在关于检测图像中的物体的问题上有大量的文献。关于如何选择合适的视觉技术用来检测人的存在,可以参考Mohan等的文章[1],Viola等的文章[2],Ronfard等的文章[3]和Mikolajczyk等的文章[4],以上均列在本项发明的参考文献中。
图5是描述一个媒介浏览者验证过程700的典型实施的流程图。这个过程可以被浏览者检测过程600的步骤608调用以检测图像中是否有人。如图5所示,媒介浏览者验证过程700先在步骤702中收到人的图像片段,然后执行步骤704和708。在步骤704中,它先调用另一过程800估计人的视线范围。过程800在图6中描述。根据估计的视线范围,步骤706检查这个人是否在浏览媒介。若不是,过程确定这个人不是媒体浏览者,相应的在步骤714返回。但是,如果这个人被确定是在浏览媒介,过程将调用另一过程1000确定浏览者的身份号,这将结合图8进一步描述。之后,步骤704中估计的有关浏览行为数据包括眼睛和媒体的距离,头的姿态,视线范围被保存到浏览者行为数据库300中,计录在相应的在步骤708所确定的浏览者身份号和当前时间下。过程700在步骤712中返回浏览者的身份号。
图6是一个描述用机器视觉技术对图像中检测到的人进行视线范围分析的典型过程800。该过程可以被过程700调用,以确定一个人是否在浏览媒介。在步骤802中收到一个人的图像片段后,该过程先在步骤804中确定图像片段中人脸的位置,然后在步骤806中估计头的姿态,在步骤808中检测眼睛,然后再在步骤810中估计眼睛和媒介的距离。根据估计得到的头的姿态和眼睛与媒介的距离,步骤812估计人的视线方向,在步骤814,根据估计的视线方向和眼睛与媒介的距离,来估计人的视线范围,最后在步骤816将上述估计结果返回给调用过程。再次强调,图6中所描述的过程完全是以说明本项发明的原理为目的一个具体实施方式,而不可理解成任何形式的对本项发明的限制。比如,在看电视的时候,眼睛和媒介的距离,用头和媒介的距离就可以来充分估计,那么,就没有必要来估计眼睛和媒介的距离了。
步骤804中检测人脸的操作,期间用机器视觉技术对步骤802中收到的图形片段进行分析。有关人脸检测的问题有大量的文献。有关合适的人脸检测技术的讨论,可以参见Yang等[5],Sung等[6],Keren等[7],Viola等[8],Osadchy等[9],和Hiesele等[10],以上均列在本项发明的参考文献中。
如前所述,在步骤804中在每一个图形片段中检测人脸后,过程800接着分析检测到的包含人脸的图像区域,这些分析包括步骤806中的头的姿态的估计,步骤808中眼睛的检测和步骤810中眼睛和媒介距离的估计。根据这些分析结果,步骤802估计检测到的人的视线方向。有关头的姿态的分析有大量的使用机器视觉技术的文献,以确定人头部左右,上下转动和摇摆的角度。比如,有关合适的人头部姿态的估计技术的讨论,可参见Murphy-Chutorian等[11],Kruger等[12],Huang等[13],Matsumoto等[14],Sherrah等[15],Moon等[16],以上均列在本项发明的参考文献中。
步骤808用机器视觉技术在步骤804检测到人脸的图像区域中检测眼睛。在图像中检测眼睛也有大量的文献,有关合适的人的眼睛的检测技术的讨论,可参见Lam等[17],Huang等[18],Sirohey等[19]和Peng等[20],以上均列在本项发明的参考文献中。
步骤810根据步骤808检测到眼睛的图像区域,估计眼睛和媒介的距离。根据本项发明的一个实施方式,以上所说的这个距离可以用众所周知的三角形定位过程来确定物体在三维空间的位置。有关在三维度量系统中采用三角形定位过程的讨论,可以参见Teutsch[21]。检测到的眼睛在每一个图像中的位置,照相机的焦距和图像拍摄设备130的相互距离,以上三足以进行三角形定位,来确定眼睛相对于图像拍摄设备130的距离。根据本专利的其中一个实施方式,图形照相设备130相对于媒介的三维空间位置是固定的,且是预先知道的。如果,此媒介为电脑屏幕或电视屏幕,且图形拍摄设备130可以方便的放在媒介屏幕的旁边,那么眼睛和媒介的距离,可以简单的确定为眼睛相对于图形照相设备130的位置和照相设备130相对于媒介的位置的组合。
根据本专利的其中一个实施方式,图形照相设备130相对于媒介的位置是不固定的,或者是不预先确定的,比如,媒介是书本,笔记本,或者任何其他情形里图形拍摄设备130,不能被方便的放在相对于媒介的固定的位置上,眼睛和媒介的距离的估计可以通过步骤810进一步确定媒介相对于图像拍摄设备130的位置。媒介相对于图像拍摄设备130的位置的确定可以采用类似于眼睛相对于图像拍摄设备130的距离的确定方法,其中媒介可用机器视觉技术来检测,然后用三角形定位原理确定其与照相机的相对空间位置。用机器视觉进行一般物体的检测有大量的文献。有关合适检测技术的讨论,可参见Papageorgiou等[22],Viola等[23],Bochard等[24]和Fergus等[25],以上均列在本项发明的参考文献中。
步骤812估计在步骤802中所收到的图像片段中的人的视线方向。在一般情况下,可以认为人观看媒介时是直视前方的,那么人的眼睛的注视方向可以直接计算为与人脸垂直的角度,这可以由步骤806中所估计的头的左右,上下的姿态来确定。如果需要更精确的眼睛注视方向的估计,可以用机器视觉技术确定眼睛的虹膜和瞳孔的中心,而眼睛注视的方向的估计可以将虹膜的方向和头的左右,上下的角度相加来估计眼睛的注视方向,比如参见Daugman[26]其中对虹膜和瞳孔进行明确的模型和检测,和Tan等[27]其中对虹膜和瞳孔建立外观模型从而进行间接检测。
根据在步骤810中得到的人眼睛和媒介的距离以及在步骤812中得到的眼睛的注视方向,步骤814估计人的视线在由媒介所延伸的平面上的范围。特别地,该步骤确定视线范围是否和媒介重叠。若是,该人被认为在注意媒介,而因此被认为在浏览媒介。
最后,步骤816将对步骤802中所收到的图像片段中的人的眼睛和媒介的距离及其视觉范围的估计结果返回给调用过程。
图7中的流程图描述了过程900的一个典型实施方式。该过程用来分析媒体浏览者的有关浏览行为。它能被在浏览者行为分析过程500中的步骤510调用,用来分析一个被检测到的媒体浏览者的除了视觉范围外的其他一些浏览行为。其中,步骤902和904估计浏览空间周围的照明程度,步骤906和908估计浏览者的身体姿态。要强调的是这仅仅是其中一个实施方式,不可理解成任何形式的对本项发明的限制。
根据本项发明的一个实施方式,可以用一个专门的亮度传感器,比如由加州圣荷西Avago技术公司生产的APDS9300低压环境亮度传感器。步骤902收到来自于亮度传感器的测量信号,步骤904根据这个信号估计照明程度。
根据本项发明的另一实施方式,图像拍摄设备130代替专用亮度传感器,用来估计照明程度,从而节约成本。在这个实施方式中,步骤902中所指的亮度传感器就是图像拍摄设备130,而测量结果就是图像传感设备130对媒介浏览空间所拍摄的图像。在步骤904中,对所拍摄的图像进行分析来估计浏览空间的照明程度,比如,取图像中所有像素的亮度的均值。
在步骤906中,过程900收到浏览者的身份号和图像片段。步骤908采用机器视觉技术对收到的图像片段进行分析来估计浏览者的身体姿态。常见的应该避免的身体姿态包括躺着,肩膀倾斜和弓背。这些姿态需要检测。用机器视觉技术从图像中估计身体姿态有大量的文献,有关合适的估计身体姿态的机器视觉技术,可参见Taylor[28],Mori等[29],Sigal等[30],以上均列在本项发明的参考文献。
在步骤910中,过程900将估计的照明程度和浏览者的身体姿态按步骤906所收到的浏览者的身份号和当前时间保存到浏览者行为数据库300中,然后返回到调用过程。
图8描述了过程1000的一个典型实施方式,该过程用机器视觉技术识别浏览者身份。在媒介浏览者检测过程700中,过程1000可以被步骤708被调用,其中需识别的人已经被确定为是一个媒体浏览者,而调用过程1000所得到的是该媒体浏览者的身份号。根据其身份号,可以检索一个浏览者在不同的浏览阶段中的浏览行为并将其累计起来。
如图8所示,过程1000先在步骤1002中收到一个人的图像片段,然后在步骤1004中在浏览者身份数据库200中搜索该浏览者是否已经存在。在步骤1006中,根据所述的搜索结果决定是否使用一个原有的浏览者身份号或者赋一个新的浏览者身份号给该浏览者。如果在浏览者身份数据库200中找到一个匹配的浏览者,即所收到的该浏览者的图像片段和过去已经识别的一个浏览者相吻合,该过程在步骤1008中提取并返回那个已经识别的浏览者的身份号。否则,在步骤1010中指定一个新的浏览者身份号给该浏览者,然后在步骤1012中将新的身份号和该浏览者的图像片段一起保存到浏览者身份数据库200,以便将来浏览者身份的查找,最后在步骤1014中将新指定的浏览者身份号返回。
步骤1004采用机器视觉技术通过分析浏览者的图像片段来确定该浏览者是否与浏览者数据库200中的一个已知的浏览者图像片段匹配。这是一个众所周知的人的识别问题,在文献中被广泛地通过对人脸的识别来解决。有关合适的用于识别人脸的机器视觉技术,可参见Zhao[31],列在本项发明的参考文献中。
在上述浏览者身份识别过程1000的实施方式中,步骤1010自动地给一个新的浏览者赋予一个唯一的身份号,并将其登记到浏览者行为评估系统100中,而步骤2012将该浏览者的图像片段和其浏览者身份号一起存储在浏览者身份数据库200中。或者,一个新的浏览者可以以手动方式登记到系统中,比如,赋予该浏览者一个唯一的身份号,通过图像拍摄设备130得到其正面和有代表性的侧面图像,然后将得到的图像和所赋予的身份号一起存储到浏览者身份数据库200中。
如上所述,图8中的浏览者身份识别过程1000通过机器视觉技术直接识别媒介浏览者。这种做法可以用在需要跟踪同一浏览者在不同浏览阶段中的浏览行为或者有多个媒介的情形中。根据系统的具体应用情形,媒介浏览者的识别的实现可以采用或不采用机器视觉技术。在本项发明的另一实施方式中,媒介浏览空间中最多只有一个浏览者,就没有必要跟踪浏览者在不同浏览阶段的行为。在这种情形里,步骤708中的浏览者身份识别过程可以简单地返回一个任意固定的身份号。实际上,在这种情形下,在浏览者行为评估系统100中的媒介浏览者的身份识别过程可以被省略。在本项发明的又一实施方式中,同时可能有多个浏览者,但又没有必要跟踪浏览者在不同浏览阶段的行为。在这种情形里,浏览者身份识别系统可以简单的赋予每个检测到打浏览者一个身份号,然后跟踪每一个浏览者,直到该浏览者结束当前浏览阶段为止。用机器视觉跟踪人的身体有大量的文献,比如Wren等在[32]和Zhou等在[33]中讲解的技术,均列在本项发明的参考文献。在本项发明的又一实施方式中,有多个媒体浏览者,且他们的物理位置是已知的,比如有一个位置和身份号的对应表。在这种情形里,浏览者身份识别过程只要确定每一个检测到的浏览者的物理位置,然后按得到的位置在所说的表格中直接检索对应的浏览者身份号。
一般来说,媒介浏览者的身份识别可以被认为是根据某些具体的浏览者特征对媒体浏览者进行的归类。比如,在本项发明的一个实施方式中,一个浏览者可以被归类为某一个具体的年龄组。这样的归类结果可以用来分析一个浏览者的浏览行为是否适当,是否符合其相应的年龄段的某些浏览行为规则。浏览行为规则将在下面的媒介浏览者健康保护方法和系统的各种实施方式中介绍和描述。一个浏览者的年龄可以用手工方法确定。比如在该系统中登记一个新的浏览者时,可以直接指定该浏览者的年龄。浏览者本身或一个系统管理员可以直接将浏览者的年龄提供给系统,将该年龄数据储存在浏览者身份数据库200里。或者,当浏览者身份识别过程发现一个新的浏览者的时候,浏览者的年龄可以用机器视觉技术自动估计。图9所示的浏览者识别过程的实施方式描述了这种应用。浏览者验证过程700中的步骤708可以调用这一过程而不是前述的过程1000。如图9所示,过程1100跟过程1000有相同的流程图,唯一不同之处是它有额外的两个步骤,其中步骤1111根据步骤1102中所收到的浏览者的图像片段来估计浏览者的年龄,而步骤1113将所估计的浏览者的年龄保存到浏览者身份识别库200中。用机器视觉估计人的年龄有大量的文献,比如Guo等在[34]中所讲述的技术,列在本项发明的参考文献中。要再次强调的是,前述的媒介浏览者分类只是以说明本项发明的原理为目的具体实施方式,而不可理解成任何形式的对本项发明的限制。
在图2中的浏览者行为跟踪过程400的实施方式里,当人的视线集中在媒体上时,就认为人在浏览媒体。这个假定在通常情形下是成立的,比如,当一个人的视线集中在一本书上的时候,这个人通常是在看书或是写字。又比如,当一个人的视线集中在电脑屏幕上的时候,这个人通常是在浏览电脑屏幕上的内容,而当一个人的视线集中在电视屏幕的时候,这个人通常就是在看电视。如果需要将人的视线已集中在媒体上但媒体还未就绪的特例排除,比如一个人在看电视,但所说的电视是关的,那么在跟踪浏览者的行为时可以对媒体的运行状态进行检测,如图10所示。这样得到的是浏览者行为跟踪过程1200的另一实施方式。如图2和图10所示,浏览者行为跟踪过程400和1200都是循环的,而且两者都调用浏览者行为分析过程500。他们的区别在于过程400在每次循环里都调用浏览者行为分析过程500,而过程1200只有在步骤1202和1204确定媒介已准备就绪后才在一个循环里调用浏览者行为分析过程500。
有各种各样的技术可以用在步骤1202中确定媒介的运行状态。以下是这类技术的在本项发明的一些具体实施方式中的应用。需再次强调的是,这些只是用来以说明本项发明的原理,而不可理解成任何形式的对本项发明的限制。如果媒介浏览者行为评估系统100集成在媒介设备里面,如集成在电视机,电脑或游戏机里,那么确定媒介设备的运行状态是直接和简单的。否则,如果媒介设备是可以用来作通用编程的,如带有标准通信接口的电脑,那么可以直接编写一个程序将其运行在媒介设备里,通过所述的标准通信接口将媒介设备的运行状态传递给媒体浏览者行为评估系统100。比如,2008年3月颁发给Nelson等人美国专利7,343,615所讲述的技术,通过检测显示器中的变压器所发出的一个特定的音频信号来间接地确定显示器是否被打开。作为另一个测定媒介是否被打开的间接技术的实施方式,可以利用机器视觉技术对图像拍摄设备130所得到的图像,采用步骤604中所讨论的物体检测技术来确定媒介设备显示器在这些图像中的位置。然后,分析对应于媒介显示器的图像区域,将它们和相应的在显示器处在关闭时的背景图像值进行比较,来确定媒介设备是否被打开。
为了说明本项发明的媒介浏览者行为评估的基本原理,到目前为止所描述的实施方式采用的机器视觉技术绝大多数都局限在分析静态图像中的内容。更具体地说,在上述实施方式中,图像拍摄设备130在同一时刻拍摄的图像被一起分析,从而利用它们的空间相关性,但不同时刻所拍摄的图像被分别分析。
本专利的实施也可以采用各种基于视频的机器视觉技术,将图像拍摄设备130所获得的图像作为视频序列进行分析。通过利用物体在连续的图像中所体现的空间和时间的相关性,基于视频的机器视觉技术,通常可以在视频图像序列中跟踪物体,从而取得更好的分析结果,并减少分析中的计算量。文献中有很多基于视频的机器视觉技术可以用来实现前述的实施方式中视觉内容分析的各种任务。下面来说明一些具体的实施方式。
媒介浏览者检测过程600中的对人的检测步骤604可以采用比如Wren等[32]和Zhou等[35]中所讲述的基于视频的技术,均列在本项发明的参考文献中。
距离和视觉范围的分析过程800中的人脸检测步骤804可以采用比如Mkolajczyk等[36],Froba等[37]和Gorodniehy[38]所讲述的基于视频的技术,均列在本项发明的参考文献中。
距离和视觉范围的分析过程800中的头的姿态的估计步骤806可以采用例如Morency等[39],Huang等[40]和Oka等[41]所讲述的基于视频的技术,均列在本项发明的参考文献中。
距离和视觉范围的分析过程800中的眼睛的检测步骤808可以采用例如Stiefelhagen等[42]和Bakic等[43]所讲述的基于视频的技术,均列在本项发明的参考文献中。
进一步的浏览行为分析过程900中的身体姿态估计步骤908可以采用例如Lee在[44]所讲述的基于视频的技术,列在本项发明的参考文献中。
浏览者识别过程1000中的人的匹配步骤1004可以采用例如2001年10月颁发给Steffens等人的美国专利6,301,370和Goronichy[45]所讲述的基于视频的技术,均列在本项发明的参考文献中。
图像中像素的深度信息也可以用在本项发明的各个视觉处理任务中。图像中一个像素的深度信息是拍摄该图像的设备与对应于该像素的物体的在空间的距离。这个信息又称作范围信息。比如,在浏览者验证过程800中,一旦一个浏览者的眼睛在图像中被检测和定位,深度信息可以用在步骤810中来估计眼睛与媒介的距离。在图4中的浏览者检测过程600实施方式中,深度信息可以用来将物体和它们的背景分开并确定它们的形状,从而达到检测和识别物体的目的。有关用深度信息来检测物体的讨论,可参照比如Reeves等[46],列在本项发明的参考文献中。文献中有大量的关于用单个和多个图像来计算深度信息。有关合适的从图像中提取算深度信息的技术的讨论,可参照Adelson等[47]和Saxena等[48],均列在本项发明的参考文献中。深度信息可以用更新的范围相机直接获得,比如参见,Lang等[49]和Oggier等[50],均列在本项发明的参考文献中。
除了前面描述的利用可见光和飞行时间拍摄图像,其他照相技术也可以用来获得媒介浏览空间的图像。
比如,一个或多个图像拍摄设备130可以采用红外成像。又比如,一个或多个图像拍摄设备130可以采用高光谱成像,收集来自从红外到紫外的更宽的电磁频谱的信息。有关合适的采用红外成像的机器视觉技术来分析前述的浏览者行为,可参照比如Eveland等[51],Dowdall等[52],Socolinksy等[53]和Kong等[54]中讲述的技术来检测和识别浏览者,以及Trivedi等[55]中讲述的技术来估计浏览者的身体姿态,均列在本项发明的参考文献中。有关合适的采用高频谱成像的机器视觉技术的讨论,可参照Chou等[56],列在本项发明的参考文献中。
上面描述的媒介浏览者行为评估原理可以根据浏览者的行为评估结果向它们提供有意义的健康保护功能。下面,我们描述一个用来评估浏览者是否遵守一定的浏览行为规则的系统的一些具体实施方式,其中的浏览行为规则可以是预先设定的并且被认为是健康的浏览所必需的。一般地,当系统确定某个浏览者违反或遵守一个规则时,就执行相应的控制动作以便帮助该浏览者建立和保持健康的浏览习惯。
作为实施方式之一,图11描述了一个媒介浏览者健康保护系统100HC。该系统扩展了图1中的媒介浏览者行为评估系统100,能自动地向媒介142的浏览者提供健康保护功能。以下,该系统又被简称为健康保护系统100HC或系统100HC,而媒介浏览者行为评估系统100又被简称为行为评估系统100或系统100。
与图1中的行为评估系统100一样,健康保护系统100HC包含了聚焦在媒介浏览空间140的图像拍摄设备130,浏览者身份数据库200,浏览者行为数据库300,浏览行为跟踪过程500来检测和评估浏览浏览者的行为,其中浏览者144-1至144-M的个数和非浏览者146-1至146-N的个数都可能随时问变化。健康保护系统100HC又包含浏览政策数据库1300和浏览政策执行过程1600。
一般地,浏览政策数据库1300包含浏览行为规则以及这些规则被违反或遵守时须执行的动作,这些规则和动作可以由一个系统管理员预先定义或设置。图12A和图12B给出了几个浏览行为规则的实施方式。当系统确定一个浏览者没有遵守某个规则时,就执行一个或多个跟该规则有关的浏览政策中所规定的动作。以下,我们称这类政策为惩罚性政策。图13给出了几个典型的惩罚性政策的实施方式。相反地,当系统确定一个浏览者遵守某个规则时,如果有跟该规则有关的浏览政策,就执行这些政策中所规定的动作。以下,我们称这类政策为奖励性政策,图14给出了几个典型的奖励性政策的实施方式。
作为浏览政策执行过程1600的一个功能,根据保存在浏览者行为数据库300中他们的浏览行为,媒介浏览者健康保护系统100HC为各个浏览者在浏览政策数据库1300中检索和确认所有相应的政策。其中所述的相应的浏览政策的检索和确认将在下面结合图16和图17说明。
下面将对健康保护系统100HC的不同实施方式中的可选的架构和功能作进一步说明。根据使用者的意愿,这些实施方式可以实现或不实现前述的框架。必须强调的是,下面给出的实施方式完全是以说明本项发明原理为目的,而不可理解成任何形式的对本项发明的限制。以下的任何功能可以单独或跟任何其它描述的功能一起采纳。
浏览政策数据库1300可以通过定义什么是健康的浏览行为以及一个浏览行为被确认为健康或不健康时应执行的动作来建立。或者,可以通过定义什么是不健康的浏览行为以及一个行为被确认为不健康或健康时应执行的动作来建立。因为一个浏览行为要么是健康的,要么是不健康的,以上两种定义方式是对等的。以下,我们选用第一种方法来进一步说明浏览政策数据库1300。
根据本项发明的一个实施方式,一个健康的浏览行为可以用一组浏览行为规则来刻画,其中的每一个规则定义了该健康行为的一个方面。在本项发明的一个实施方式中,上述的这些规则是结合的,因而一个健康的浏览行为必须符合所有这些规则。在本项发明的另一实施方式中,上述的这些规则是选言的,因而一个健康的浏览行为只要符合其中的一个规则。基于逻辑学中的DeMorgan定律,这二种方式是可以互换的。以下,我们选用第一种方式来进一步描述一个健康的浏览行为的定义。
如图12A和12B所示,浏览政策数据库1300可以由一组表格来记录。一个表格的每一行定义一个浏览规则,它对应于一个浏览行为的一个具体的方面或属性。更具体地说,每一行包含一个某一规则所涉及的浏览行为的某个属性的字段,以及用来说明健康的浏览行为中该属性必须符合的一个或多个条件字段。
图12A描述了三个典型的浏览行为规则1320,1322和1324。它们都有二个条件字段,其中一个字段1312定义相应的行为属性值的允许范围,另一个字段1314定义可违反该允许范围的最长时间。浏览行为可以违反字段1312中规定的允许范围,只要单次连续违反的时间不超过字段1314的规定,可仍然被视为可接受的。比如,规则1320的行为属性是浏览者的眼睛与其所浏览的媒介的距离。如果该媒介是电视屏幕,根据其空间距离规定1312,该规则规定健康的浏览必须将眼睛和电视保持至少4倍于电视屏幕的对角宽度。根据其时间字段1312的说明,该规则进一步规定,一个浏览者可以与电视保持少于4倍于电视屏幕对角线宽度,但每次不能超过10秒钟。类似地,规则1320规定了可接受的眼睛离开电脑屏幕的距离,以及离开书本的距离,其中意义不言自明。作为本项发明的另一实施方式,规则1322定义健康的浏览行为中的头部姿态。该规则规定,浏览者头部左右旋转若超过45度,不应持续10秒钟以上;头部上下倾斜若超过45度,不应持续10秒钟以上;头部左右倾斜若超过30度,不应持续10秒钟以上。作为又一实施方式,规则1324定义健康的浏览行为中的肩膀姿态。该规则规定,浏览者肩膀左右旋转若超过15度,不应持续5秒钟以上,对肩膀的左右倾斜的规定也相同。
图12B给出更多的浏览行为规则,其中每个都有一个条件字段1316。规则1326规定在看电视时室内照明至少是100LUX,在看电脑屏幕时至少是200LUX,而在看书写字时至少是500LUX。规则1328规定,看电视,电脑屏幕和看书每次分别不能超过1小时,45分钟和30分钟。规则1330要求连续浏览阶段之间必须有至少5分钟的休息。规则1332规定浏览者在一天内看电视超过不应4小时,看电脑屏幕不超过2小时,看书写字不超过4小时。类似地,规则1334规定浏览者在一周内看电视不应超过12小时,看电脑屏幕不应超过10小时,看书写字不应超过20小时。规则1336规定浏览者不应在一个连续的浏览阶段里违反规则5次以上。类似地,规则1338和1340分别规定浏览者不应在一天和一周内违反规则10次和20次以上。
图13中的表格给出几个典型的惩罚性浏览行为政策的实施方式1420至1440,每行一个。每个政策包含两个字段1410和1412,其中1410指定被违反的浏览行为规则,而1412定义系统对违反该规则的浏览者所执行的动作。当系统确定某个浏览者违反了字段1410指定的规则时,就对该浏览者执行字段1412规定的动作。一般地,字段1412规定的动作有劝阻浏览者进一步违反浏览规则的作用。比如,根据政策1420,当确定浏览者违反距离规则1420时,系统每隔5秒钟向浏览者发出提醒并给其规则违反次数加一直到其遵守该距离规则为止。根据其中的一个实施方式,上述提醒可以是一个听见的信息,可以是一个看见的信息,可以是一个触觉的信息,比如一个物理震动,或者是这类信息的组合。作为另一个实施方式,根据浏览行为规则1326,如果室内照明太低,政策1426被激活,系统向浏览者发出提醒,要求提高室内照明,或许是通过打开一些灯来达到规则的要求。如果在15秒钟后室内照明还没有提高到规则1326的要求,系统给浏览者的规则违反次数加一。作为另一个实施方式,如果浏览者违反连续浏览时间的规则1328,政策1428被激活,系统向该浏览者发出提醒。另外,如果浏览者在看电视(电脑),并在上述提醒发出的15分钟后仍在继续看电视(电脑),那么系统将关闭电视机(锁住电脑屏幕)。关闭电视机和锁住电脑屏幕可以有各种途经实现,将在后面结合描述浏览政策实施过程1600图16和图17来说明。
图14中的表格给出两个典型的奖励性浏览行为政策的实施方式1420至1440,每行一个。当系统确定某个浏览者遵守字段1510所指定的规则,就对该浏览者执行字段1512定义的动作。更具体地说,政策1532规定,如果某个浏览者遵守规则1332,即该浏览者没有用完当天允许的浏览时间,系统就将其中剩余部分的一半加到其第二天允许的浏览时间里。类似地,政策1534规定如果某个浏览者遵守规则1334,即该浏览者没有用完一周允许的浏览时间,系统就将其剩余部分的四分之一加到其第二周允许的浏览时间里。
一个浏览行为规则和相应的政策也可以选择性地跟年龄有关。比如,一个浏览阶段的时间长度规则1228可以为每年龄段定义其恰当的时间长度。浏览者的年龄可以由图9中描述的浏览者行为评估系统100的实施方式可选择地确定。再次强调,上述浏览行为规则和政策只是一些具体地实施方式,以说明为目的,不可以将其理解为对本项发明的任何形式的限制。
图15的流程图描述了浏览政策执行过程1600的一个典型的实施方式。如前面概括的那样,该过程的目的是检查浏览者行为跟踪过程400所确定的每个浏览者的浏览行为是否违反或遵守浏览政策数据库1300中的有关行为规则,并执行相应的浏览政策所规定的动作。如图所示,在初始化后,该过程开始迭代。在每次迭代中,先由步骤1602检索当前所有浏览者的身份号,然后在步骤1604中,为每个浏览者调用浏览政策执行过程1700。
图16的流程图描述了浏览政策执行过程1700的一个典型的实施方式。该过程为一个给定的浏览者确定所有合适的浏览政策,并调用图17描述的浏览政策执行过程1800来执行相应的动作。
如图16所示,浏览政策执行过程1700先在步骤1702中收到一个浏览者的身份号,在步骤1704中从浏览政策数据库1300中检索所有跟该浏览者相关的政策,在步骤1706中,从浏览者行为数据库300中检索该浏览者的行为评估结果。然后,在步骤1708,对其中每个检索得到政策,先评估浏览者的浏览行为是否符合政策中规定的条件,然后将评估结果存储在行为数据库300中,以便将来参考。在步骤1710中,对其中每个检索得到政策,调用在图17所描述的政策执行过程1800。之后,返回调用过程。
图17的流程图描述了浏览政策执行过程1800的一个典型的实施方式。该过程先在步骤1802中接受一个浏览者的身份号和一个浏览政策编号。接着,从行为数据库300中检索对应的浏览政策的评估结果,比如,在浏览政策执行过程1700中,这个评估结果由步骤1708确定。步骤1806测试得到的评估结果。如果浏览者的行为没有满足该政策的条件,过程1800不执行该政策规定的动作而直接返回。
否则,过程1800在步骤1808中执行该政策规定的动作。作为一个例子,假定某个浏览者在看电视节目,电视机的对角线宽度为25英寸而所说的浏览政策是距离政策1420。如果根据步骤1804的评估结果,所说的浏览者的行为满足政策1420的条件,即浏览者违反距离规则1220,与所说的电视的距离少于4x25=100英寸超过10秒钟,那么步骤1806的测试获得通过。在这种情况下,系统执行政策1420中字段1412规定的动作,即每隔5秒钟,向该浏览者发出提醒并将其违反规则的次数加1,直到其遵守距离规则1220(离开电视机至少100英寸)为止。一般地,一个浏览政策规定的动作可以由一个独立的过程来执行。该过程记录该动作的执行历史。例如,为了执行上述距离政策1420规定的动作,可以采用一个定时器来计算自上次提醒发出后已经过去的时间。
根据本项发明的其中一个方面,由于媒介浏览健康保护系统100HC拥有浏览者识别能力,可以将浏览行为规则和政策个性化。利用其唯一的浏览者身份号,系统管理可以在浏览政策数据库1300中根据具体情况对特定的浏览者制定特别的行为规则和政策。同样地,根据浏览者身份号,浏览政策执行过程1700在步骤1704中将在浏览政策库1300中检索为该浏览者定义的所有政策。
在本项发明的另一个实施方式中,如图18所示,媒介浏览者评估系统100可以扩展,使其监控多个媒介的浏览空间,称之为媒介浏览系统100MHC。该系统有L个媒介,标作142-1至142-L,而图像拍摄设备130覆盖所述的L个媒介的浏览空间。在该系统的其中一个实施方式中,前述的媒介浏览者的行为评估原理可以重复地应用到图像拍摄设备130为所有L个媒介的浏览空间拍摄的每一组图像上。随着集成电路产品(如nVidia公司的GeForce图形处理器)的性价比不断提高,这样扩展后的媒介浏览健康保护系统100MHC的一个关键的优点是节约了成本。比如,可以用一个媒介浏览健康保护系统100MHC来监控一个教室中所有学生的看书、写字和坐姿。
根据以上所描述的利用机器视觉向媒介浏览者提供健康保护功能的基本原理,媒介浏览者健康保护系统100HC的具体实施可以有各种各样的变化。例如,一个媒介浏览健康保护系统100HC可以直接集成在媒介设备如电视机,电脑和游戏机中。在这种方式中,系统100HC和媒介设备可以共同设计。这个方式的一个好处是让两者共享计算资源和机械封装,从而节约成本。这个方式的另一个好处是可以方便灵活的执行某些浏览政策规定的动作,特别是那些需要控制媒介设备的动作,如关闭媒介设备的电源,将电脑锁屏或切换电视频道。
对于一个没有和媒介设备集成在一起的媒介浏览健康保护系统100HC,为了执行象上一段落提到的需要控制媒介设备的浏览政策中的动作,可以采用一些合适的外部方法来控制媒介设备。例如,对于一个带有遥控器的电视机,健康保护系统100HC可以采用与该遥控器匹配的遥控信号来控制该电视机。大多数电视机制造商公开其电视机产品所用的遥控信号。遥控信号也可以直接向摇控器学习得到,例如可以用2008年8月颁发给Hayes等人的美国专利6,097,309所讲解的技术。如果媒介设备是电脑,那么媒介浏览健康保护系统100HC可以用一个标准的接口如蓝牙或以太网与电脑建立链接。
类似地,一个媒介浏览健康保护系统100HC的实施也可以通过控制一个该媒介以外的设备来执行浏览政策的动作。例如,该媒介以外的设备可以是一盏学习用的台灯,系统可以通过自动地将它打开实施例如规则1226的室内照明规定。
应该理解的是以上讲述的所有具体实施方式及其变化都仅仅是用来说明本项发明的原理。那些熟练掌握相关技术的人们可以对它们进行各种各样的修改而不偏离本项发明的范围和精神。
引用的专利
U.S.Patent5,168,264,December1,1992,Decreton,et al.
U.S.Patent6,097,309,August1,2000,Hayes,et al.
U.S.Patent6,301,370,October9,2001,Steffens,et al.
U.S.Patent6,325,508,December4,2001,Agustin.
U.S.Patent7,098,772,August29,2006,Cohen.
U.S.Patent7,343,615,March11,2008,Nelson,et al.
U.S.Patent7,362,213,April22,2008,Cohen.
参考文献
[1]Mohan,et al.,“Example-based object detection in images bycomponents,”IEEETrans.on Pattern Analysis and Machine Intelligence,Vol.23,No.4,pp.349-361,Apr.2001.
[2]Viola,et al.,“Rapid object detection using a boosted cascade ofsimple features,”Proc.IEEE Conf.on Computer Vision and PatternRecognition,Kauai,HI,Dec.2001.
[3]Ronfard,et al.,“Learning to parse pictures of people,”in Proc.7th European Conf.on Computer Vi sion,Part IV,pp.700-714,Jun.2002.
[4]Mikolajczyk,et al.,“Human detection based on a probabilisticassembly ofrobust part detectors,”in Proc.8th European Conference onComputer Vision,Volume I,pp.69-81,May2004.
[5]Yang,et al.,“Detecting faces inimages:A survey,”IEEE Trans.onPattern Analysis and Machine Intelligence,Vol.24,No.1,pp.34-58,Jan.2002.
[6]Sung,et al.,“Example-based learningfor view based human facedetection,”IEEE Trans.on Pattern Analysis and Machine Intelligence,Vol.20,No.1,pp.39-51,Jan.1998.
[7]Keren,et al.,“Antifaces:A novel fast method for imagedetection,”IEEE Trans.on Pattern Analysis and Machine Intelligence,Vol.23,No.7,pp.747-761,Jul.2001.
[8]Viola,et al.,“Robust real-time face detection,”Int’l J.ofComputer Vision,Vol.57,No.2,pp.137-154,May2004.
[9]Osadchy,et al.,“Synergistic face detection and pose estimation withenergy-based models,”J.of Machine Learning Research,Vol.8,pp.1197-1214,May2007.
[10]Hiesele,et al.,“A component-based framework for face detectionand identification,”Int’l J.of Computer Vision,Vol.74,No.2,pp.167-181,Aug.2007.
[11]Murphy-Chutorian,etal.,“Head Pose Estimation in Computer Vision:A Survey,”IEEE Trans.on Pattern Analysis and Machine Intelligence,PrePrints,Apr.2008.
[12]Kruger,et al.,“Determination of face position and pose with alearned representation based on labeled graphs,”Imageand VisionComputing,Vol.15,No.8,pp.665-673,Aug.1997.
[13]Huang,et al.,“Face pose discrimination using support vectormachines(SVM), ”in Proc.Int’l.Conf.Pattern Recognition,pp.154-156,Aug.1998.
[14]Matsumoto,et al.,“An algorithm for real-time stereo visionimplementation of head pose and gaze direction measurement,”in Proc.IEEE4th Int.Conf.on Automatic Face and Gesture Recognition,pp.499-504,Mar.2000.
[15]Sherrah,et al.,“Face distributions in similarity space undervarying head pose,”Imageand Vision Computing,Vol.19,No.12,pp.807-819,Dec.2001.
[16]Moon,et al.,“Estimating facial pose from a sparserepresentation,”in Proc.Int’l Conf.on Image Processing,pp..75-78,Oct.2004.
[17]Lam,et al.,“Locating and extracting the eye in human faceimages,”Pattern Recognition,Vol.29,No.5,pp.771-779,May1996.
[18]Huang,et al.,“Eye detection using optimal wavelet packets andradial basis functions,”J.of Pattern Recognition and ArtificialIntelligence,Vol.13,No.7,pp.1009-1025,Jul.1999.
[19]Sirohey,et al.,“Eye detection in a face image using linear andnonlinear filters,”Pattern Recognition,Vol.34,No.7,pp.1367-1391,Jul.2001.
[20]Peng,et al.,“A Robust and Efficient Algorithm for Eye Detectionon Gray Intensity Face,”J.of Computer Science and Technology,Vol.5,No.3,pp.127-132,Oct.2005.
[21]Teutsch,Model-based analysis and evaluation of point sets fromoptical3D laser scanners,Ph.D.Thesis,Shaker Verlag,ISBN:978-3-8322-6775-9,2007.
[22]Papageorgiou,et al.,“A trainable system for objectdetection,”Int’l.J.of Computer Vision,Vol.38,No.1,pp.15-33,Jun.2000.
[23]Viola,et al.,“Robust real-time object detection,”Int’l J.ofComputer Vision,Vol.57,No.2,pp.137-154,May2004.
[24]Bochard,et al.,“A hierarchical part-based model for visual objectcategorization,”in Proc.IEEE Int’l Conf.on Computer Vision and PatternRecognition,pp.710-715,Jun.2005.
[25]Fergus,et al.,“A sparse object category model for efficientlearning and exhaustive recognition,”in Proc.IEEE Int’l Conf.onComputer Vision and Pattern Recognition,pp.710-715,Jun.2005.
[26]Daugman,“High confidence visual recognition of persons by a testof statistical independence,”IEEE Trans.on Pattern Recognition andMachine Intelligence,Vol.15,No.11,pp.1148-1161,Nov.1993.
[27]Tan,et al.,“Appearance-based eye gaze estimation,”in Proc.6thIEEE Workshop on Applications of Computer Vision,pp.191-195,Dec.2002.
[28]Taylor,“Reconstruction of articulated objects from pointcorrespondences in a single uncalibrated image,”Computer Vision andImage Understanding,Vol.80,No.3,pp.349-363,Dec.2000.
[29]Mori,et al.,“Estimating human body configurations using shapecontext matching,”in Proc.7th European Conf.on Computer Vision,PartIII,pp.660-668,Jun.2002.
[30]Sigal,et al.“Measure locally,reason globally:
Occlusion-sensitive articulated pose estimation,”in Proc.IEEE Conf.onComputer Vision and Pattern Recognition,pp.2041-2048,Jun.2006.
[31]Zhao,et al.,″Face recognition:A literature survey,”ACM ComputingSurveys,Vol.35,No.4,pp.399458,Dec.2003.
[32]Wren,et al.,“Pfinder:real-time tracking of the human body,”IEEETrans.on Pattern Analysis and Machine Intelligence,Vol.19,No.7,pp.780-785,Jul.1997.
[33]Zhou,et al.,“Real time robust human detection and trackingsystem,”Proc.IEEE Conf.on Computer Vision and Pattern Recognition,Vol.3,pp.149-149,Jun.2005.
[34]Guo,et al.,“Image-based human age estimation by manifold learningand locally adjusted robust regression,”IEEE Trans.on Image Processing,Vol.17,No.7,pp.1178-1188,Jul.2008.
[35]Zhou,et al.,“Real time robust human detection and trackingsystem,”in Proc.IEEE Conf.on Computer Vision and Pattern Recognition,Vol.3,pp.149-149,Jun.2005.
[36]Mkolajczyk,et al.,“Face detection in a video sequence-a temporalapproach,”in Proc.IEEE Conf.on Computer Vision and Pattern Recognition,Vol.II.,pp.96-101,Dec.2001.
[37]Froba,et al.,“Face Tracking by Means of Continuous Detection,”inProc.CVPR Workshop on Face Processing in Video,pp.65-66,Jun.2004.
[38]Gorodnichy,“Seeing faces in video by computers.Editorial forSpecial Issue on Face Processing in Video Sequences,”Image and VisionComputing,Vol.24,No.6,pp.551-556,Jun.2006.
[39]Morency,et al.,“Fast stereo-based head tracking for interactiveenvironments,”in Proc.Int’l.Conf.Automatic Face and GestureRecognition,pp.375-380,May2002.
[40]Huang,et al.,“Robust Real-Time Detection,Tracking,and PoseEstimation of Faces in Video Streams,”in Proc.IEEE Int’l Conf.PatternRecognition,pp.965-968,Aug.2004.
[41]Oka,et al.,“Head pose estimation system based on particlefiltering with adaptive diffusion control,”in Proc.Int’l Conf.onMachine Vision Applications,pp.586-589,May2005.
[42]Stiefelhagen,et al.,“Tracking eyes and monitoring eye gaze,”inProc.Workshop on Perceptual User Interfaces,pp.98-100,Oct.1997.
[43]Bakic,et al.,“Real-time tracking of face feature and gazedirection determination,”in Proc.4th IEEE Workshop on Applications ofComputer Vision,pp.256-257,Oct.1998.
[44]Lee,Model-based human pose estimation and tracking,Ph.D.Thesis,Univ.of Southern Calif.,Los Angeles,CA,2006.
[45]Gorodnichy,“Video-based framework for face recognition,”in Proc.2nd Workshop on Face Processing in Video within2nd Canadian Conf.onComputer and Robot Vision,pp.330338,May2005.
[46]Reeves,et al.,“Identification of three-dimensional objects usingrange information,”IEEE Trans.on Pattern Analysis and MachineIntelligence,pp.403-410,Vol.11,No.4,Apr.1989.
[47]Adelson,et al.,“Single lens stereo with plensoptic camera,”IEEETrans.on Pattern Analysis and Machine Intelligence,Vol.12,No.2,pp.99-106,Feb.1992.
[48]Saxena,et al.,“Depth estimation using monocular and stereocues,”in Proc.Int’l Joint Conf.on Artificial Intelligence,pp.2197-2203,Jan.2007.
[49]Lange,et al.,“Solid state time-of-flight range camera,”IEEE J.of Quantum Electronics,Val.37,No.3,pp.390-397,Mar.2001.
[50]Oggier,et al.,“An all-solid-state optical range camera for3Dreal-time imaging with sub-centimeter depth resolution(SwissRanger),”in Proc.SPIE,Vol.5249,pp.534-545,Feb.2004.
[51]Eveland,et al.,“Tracking human faces in infrared video,”Imageand Vision Computing,Vol.21,No.7,pp.579-590,Jul.2003.
[52]Dowdall,et al.,“Face detection in the near-IR spectrum,”ImageandVision Computing,Vol.21,No.7,pp.565-578,Jul.2003.
[53]Socolinsky,et al.,“Face recognition with visible and thermalinfrared imagery,”Computer Vision and Image Understanding,Vol.91,No.1-2,pp.72-114,Jul.-Aug.2003.
[54]Kong,et al.“Recent advances in visual and infrared face recognition:A review,”Computer Vision and Image Understanding,Vol.97,No.1,pp.103-135,Jan.2005.
[55]Trivedi,et al.,“Occupant posture analysis with stereo and thermalinfrared video:algorithms and experimental evaluation,”IEEE Trans.onVehicular Technology,Special Issue on In-Vehicle Vision Systems,Vol.53,No.6,pp.1698-1712,Nov.2004.
[56]Chou,et al.,“Toward face detection,pose estimation and humanrecognition from hyperspectral imagery,”Technical ReportNCSA-ALG04-0005,Automated Learning Group,National Center ofSupercomputing Applications,Univ.of Illinois at UrbanaChampion,Oct.2004.
Claims (12)
1.一个自动监控至少一个信息媒介的一个或多个浏览者的浏览行为的方法,包括:
获得至少一幅所述媒介的浏览空间的图像;
通过分析所述图像,检测是否有人,并确定所检测到的人是否为所述媒介的浏览者;
若检测到所述媒介的浏览者,通过分析所述图像,评估所述浏览者的浏览行为;
其特征在于:确定所检测到的人是否为所述媒介的浏览者,包括分析其眼睛相对于图像拍摄设备的三维空间位置及其注视的方向,确定其视觉范围是否与所述媒介重叠,若所述媒介相对于所述图像拍摄设备的三维空间位置非预先确定,在所述图像中监测所述媒介及确定其相对于所述图像拍摄设备的三维空间位置;
评估所述浏览者的浏览行为包括:
建立浏览者身份数据库、浏览行为数据库以及浏览政策数据库,若所检测到的人为浏览者,则根据图像片段在浏览者身份数据库中查到该浏览者的匹配;
若查到与该浏览者相匹配的身份号,则将该浏览者的行为按所匹配的身份号存储在浏览行为数据库中;
若查不到与该浏览者相匹配的身份号,则赋予该浏览者新的身份号,并将该浏览者的图像片段以及新的身份号存储在浏览者身份数据库中;
按浏览者的身份号在浏览政策数据库中查找适用于该浏览者的浏览行为政策,并根据所存储的该浏览者的行为,评估该浏览者的行为是否满足与该浏览者的身份号相对应的浏览行为政策,并根据评估结果做出执行动作。
2.如权利要求1所述的方法,进一步包括:通过分析所述图像,对一个所述的浏览者进行分类。
3.如权利要求2所述的方法,其中所述的对浏览者的分类包括至少下列操作中之一:
估算所述浏览者的年龄;
识别所述浏览者为一特定的个体;
跟踪所述浏览者;
确定所述浏览者在空间的位置;
识别所述浏览者视线所集中的媒介。
4.如权利要求1所述的方法,其中所述浏览行为包括至少以下之一:
所述浏览者的眼睛和所述媒介的距离;
所述浏览者的视线方向和所述媒介的角度;
所述浏览者在所述媒介所花的时间;
所述浏览者的身体姿态;
所述浏览者和所述媒介周围的照明情况;
显示在所述媒介上的内容。
5.如权利要求4所述的方法,其中所述照明情况采用至少下列途径之一来测量:
分析所述图像;
分析来自于至少一个光传感器的信号。
6.如权利要求1所述的方法,基于所述浏览行为的分析结果,进一步向至少一个所述浏览者提供健康保护功能。
7.如权利要求6所述的方法,其中所述的健康保护功能执行至少一个浏览政策。
8.如权利要求7所述的方法,其中所述浏览政策包括:一个跟健康有关的浏览行为规则。
9.如权利要求8所述的方法,其中所述浏览政策包括至少以下之一:
若所述规则被违反,对所述媒介浏览者执行一个实时或延时的动作;
若所述规则被遵守,对所述媒介浏览者执行一个实时或延时的动作。
10.如权利要求9所述的方法,其中所述动作包括至少以下之一:
一个对所述浏览者的劝阻行的提醒;
一个对所述浏览者的鼓励性的提醒。
11.如权利要求10所述的方法,其中所述提醒包括至少以下之一:
一个可见的反馈;
一个可听的反馈;
一个可触觉的反馈;
一个任何形式的有形反馈。
12.如权利要求9所述的方法,其中所述动作包括至少以下之一:
缩小对所述媒介的使用权限;
放宽对所述媒介的使用权限。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US20390008P | 2008-12-29 | 2008-12-29 | |
US61/203,900 | 2008-12-29 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101853390A CN101853390A (zh) | 2010-10-06 |
CN101853390B true CN101853390B (zh) | 2014-12-17 |
Family
ID=42284205
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN200910217272.6A Active CN101853390B (zh) | 2008-12-29 | 2009-12-28 | 媒介浏览者健康保护的方法和装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20100164731A1 (zh) |
CN (1) | CN101853390B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5640496B2 (ja) * | 2010-06-25 | 2014-12-17 | ソニー株式会社 | 情報処理システム並びに情報処理装置 |
US8363085B2 (en) * | 2010-07-06 | 2013-01-29 | DigitalOptics Corporation Europe Limited | Scene background blurring including determining a depth map |
TWI445511B (zh) * | 2010-07-30 | 2014-07-21 | Hon Hai Prec Ind Co Ltd | 化妝鏡調整系統、方法及具有該調整系統的化妝鏡 |
TW201205344A (en) * | 2010-07-30 | 2012-02-01 | Hon Hai Prec Ind Co Ltd | Adjusting system and method for screen, advertisement board including the same |
US8913005B2 (en) * | 2011-04-08 | 2014-12-16 | Fotonation Limited | Methods and systems for ergonomic feedback using an image analysis module |
US9363441B2 (en) * | 2011-12-06 | 2016-06-07 | Musco Corporation | Apparatus, system and method for tracking subject with still or video camera |
CN102522072A (zh) * | 2012-01-09 | 2012-06-27 | 南京数模微电子有限公司 | 防近视的电子装置 |
KR102025752B1 (ko) * | 2012-07-30 | 2019-11-05 | 삼성전자주식회사 | 사용자의 자세에 따라 콘텐트를 제공하는 전자기기 및 콘텐트 제공 방법 |
CN103295370B (zh) * | 2012-09-13 | 2015-07-22 | 上海凯融信息科技有限公司 | 监视人眼离屏幕距离防近视的方法和系统 |
CN104008040B (zh) * | 2014-06-04 | 2016-09-14 | 浙江工业大学 | 一种电脑上长时间玩键盘游戏的自动检测方法 |
US11024047B2 (en) * | 2015-09-18 | 2021-06-01 | The Regents Of The University Of California | Cameras and depth estimation of images acquired in a distorting medium |
CN106373347A (zh) * | 2016-11-28 | 2017-02-01 | 深圳市天克斯技术有限公司 | 一种姿势纠正器 |
CN107146479A (zh) * | 2017-06-25 | 2017-09-08 | 陕西学前师范学院 | 一种文化传播推广系统 |
CN107368808B (zh) * | 2017-07-20 | 2020-02-21 | 湖南科乐坊教育科技股份有限公司 | 一种儿童阅读状态检测方法及装置 |
US10694221B2 (en) | 2018-03-06 | 2020-06-23 | At&T Intellectual Property I, L.P. | Method for intelligent buffering for over the top (OTT) video delivery |
US11429891B2 (en) | 2018-03-07 | 2022-08-30 | At&T Intellectual Property I, L.P. | Method to identify video applications from encrypted over-the-top (OTT) data |
CN108881621A (zh) * | 2018-05-30 | 2018-11-23 | 上海与德科技有限公司 | 一种屏幕锁定方法、装置、终端和存储介质 |
CN111508210A (zh) * | 2020-04-17 | 2020-08-07 | 鲍晨成 | 一种提醒方法及系统 |
CN115956273A (zh) * | 2020-04-21 | 2023-04-11 | 视译公司 | 用于数字保健的系统和方法 |
CN113055746B (zh) * | 2021-04-19 | 2022-09-30 | 广州欢网科技有限责任公司 | 基于电视观看行为的老人监护方法、装置、服务器及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1648958A (zh) * | 2005-01-18 | 2005-08-03 | 张旭东 | 一种通过人体感应与电视机保持收视距离的视保方法 |
CN1738377A (zh) * | 2005-07-15 | 2006-02-22 | 四川长虹电器股份有限公司 | 电视机收看距离监控方法和装置 |
CN101071302A (zh) * | 2005-01-18 | 2007-11-14 | 张旭东 | 一种通过人体感应与电视机保持收视距离的方法 |
CN101178769A (zh) * | 2007-12-10 | 2008-05-14 | 北京中星微电子有限公司 | 健康保护装置及其实现方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4528989A (en) * | 1982-10-29 | 1985-07-16 | Weinblatt Lee S | Screening method for monitoring physiological variables |
US5550928A (en) * | 1992-12-15 | 1996-08-27 | A.C. Nielsen Company | Audience measurement system and method |
US8943527B2 (en) * | 1999-03-30 | 2015-01-27 | Tivo Inc. | Audience measurement system |
US8561095B2 (en) * | 2001-11-13 | 2013-10-15 | Koninklijke Philips N.V. | Affective television monitoring and control in response to physiological data |
WO2003079272A1 (en) * | 2002-03-15 | 2003-09-25 | University Of Washington | Materials and methods for simulating focal shifts in viewers using large depth of focus displays |
US7921036B1 (en) * | 2002-04-30 | 2011-04-05 | Videomining Corporation | Method and system for dynamically targeting content based on automatic demographics and behavior analysis |
US8081756B2 (en) * | 2005-09-26 | 2011-12-20 | Microsoft Corporation | Implementation of media-protection policies |
US20100070987A1 (en) * | 2008-09-12 | 2010-03-18 | At&T Intellectual Property I, L.P. | Mining viewer responses to multimedia content |
-
2009
- 2009-12-22 US US12/653,990 patent/US20100164731A1/en not_active Abandoned
- 2009-12-28 CN CN200910217272.6A patent/CN101853390B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1648958A (zh) * | 2005-01-18 | 2005-08-03 | 张旭东 | 一种通过人体感应与电视机保持收视距离的视保方法 |
CN101071302A (zh) * | 2005-01-18 | 2007-11-14 | 张旭东 | 一种通过人体感应与电视机保持收视距离的方法 |
CN1738377A (zh) * | 2005-07-15 | 2006-02-22 | 四川长虹电器股份有限公司 | 电视机收看距离监控方法和装置 |
CN101178769A (zh) * | 2007-12-10 | 2008-05-14 | 北京中星微电子有限公司 | 健康保护装置及其实现方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101853390A (zh) | 2010-10-06 |
US20100164731A1 (en) | 2010-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101853390B (zh) | 媒介浏览者健康保护的方法和装置 | |
Hsieh et al. | A real time hand gesture recognition system using motion history image | |
Zhang et al. | Everyday eye contact detection using unsupervised gaze target discovery | |
Kalka et al. | Estimating and fusing quality factors for iris biometric images | |
JP5008269B2 (ja) | 情報処理装置、情報処理方法 | |
CN102147856B (zh) | 图像识别设备及其控制方法 | |
Krishna et al. | A wearable face recognition system for individuals with visual impairments | |
Yun et al. | Automatic recognition of children engagement from facial video using convolutional neural networks | |
KR102092931B1 (ko) | 시선 추적 방법 및 이를 수행하기 위한 사용자 단말 | |
Tonsen et al. | A high-level description and performance evaluation of pupil invisible | |
JP5225870B2 (ja) | 情動分析装置 | |
KR102134476B1 (ko) | 인공신경망을 이용한 가상 피팅 시스템, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체 | |
CN105721936A (zh) | 一种基于情景感知的智能电视节目推荐系统 | |
Khowaja et al. | Facial expression recognition using two-tier classification and its application to smart home automation system | |
KR20200012355A (ko) | Clm과 가버 웨이블렛을 이용한 얼굴 인증 과정을 구비한 온라인 강의 모니터링 방법 | |
Terven et al. | Robust head gestures recognition for assistive technology | |
Lian et al. | Smart privacy-preserving screen based on multiple sensor fusion | |
Voth | Face recognition technology | |
Zhang et al. | Eye gaze estimation and its applications | |
Ishrat et al. | Image complexity analysis with scanpath identification using remote gaze estimation model | |
Wong et al. | Interactive quality-driven feedback for biometric systems | |
Dubey et al. | Echelon Based Pose Generalization of Facial Images Approaches | |
Youwei | Real-time eye blink detection using general cameras: a facial landmarks approach | |
JP2016111612A (ja) | コンテンツ表示装置 | |
CN106200873A (zh) | 一种移动终端的自动休眠方法及移动终端 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
DD01 | Delivery of document by public notice |
Addressee: Xie Aiguo Document name: Notification of Passing Examination on Formalities |
|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |