CN103024338B - 具有图像捕获和分析模块的显示设备 - Google Patents

Abstract

本发明涉及具有图像捕获和分析模块的显示设备。一种包括图像捕获和分析特征的电子显示器。该显示器可被配置为检测位于显示器前的用户的用户参数。该设备能够分析图像并动态调整字体和/或用户偏好设置，和/或提供人体工程学分析。一种包括相机的移动视频会议设备，该相机被构筑于设备外壳内并配置为捕获、检测和识别正在浏览显示器的用户的图像。红外(IR)光源和IR敏感图像传感器可被用于在低光照条件、无光照条件或不均匀光照的条件下捕获用户的图像，以增强并传送用户的脸部的图像到远程视频会议参会者。

Description

具有图像捕获和分析模块的显示设备

相关申请

本申请要求以下美国专利申请的优先权：(1)2011年8月29日提交的序列号13/220,612的美国专利申请(2)2011年11月11日提交的序列号13/294,977的美国专利申请；(3)2011年9月2日提交的序列号61/530,872的美国专利申请；(4)2011年11月11日提交的序列号13/294,964的美国专利申请；(5)2011年9月2日提交的序列号61/530,867的美国专利申请；以及(6)2011年4月8日提交的序列号13/082,568的美国专利申请。

技术领域

本发明涉及一种显示设备，并且更具体地，涉及具有图像捕获和分析部件的显示器。

背景技术

人们和企业持续期待从他们的手持移动智能手机设备上得到的越来越多。仅有音频的电话会议呼叫已经可获得并在移动电话上广泛使用了很多年。在移动设备上的视频会议处于它的初期。期望拥有一种移动设备来在移动中协助用户学习，交互，计划或检查针对旅行的细节以及其他的社交和专业需求。还期望拥有一种移动设备能够提供比当前可获得的移动视频会议体验更丰富的移动视频会议体验。图1图示了移动视频会议环境的示例。图1的移动智能手机显示器包含视频会议中的两个参会者的脸部图像。显示器的显著部分包含每个参会者位置的背景图像，对于如所期望的执行该视频会议并不需要该背景图像。参会者甚至可能明确希望在通话中不传送背景信息给其他参会者。美国专利申请12/883,183、12/883,191和12/883,192指派给同一受让人并由于有利地解决了该问题而通过引用包含于此。

使用合适的工具，有利的丰富视频会议将对在移动中持有智能手机设备的任何人都是可获得的。本申请的发明人已经认识到还存在对于用于无光照，低光照和/或不均匀照明条件以及用于其中持有该移动设备的人和/或车处于相对于背景的运动中的情形的丰富移动视频会议方案的特殊需要。

对于移动视频会议参会者，非常有可能处于具有低照明条件或不均匀照明条件的环境中，因为如果参会者有机会利用预先设置的用于该呼叫的视频会议环境，则他或她很可能不会选择使用智能手机用于该呼叫。图2所示的显示器包括在较低左边拐角的明显既不均匀也未充分照射的脸部。不均匀和低光照条件可能导致显示在视频会议中的用户的脸部图像的不期望效果，因为通常正是诸如人的微笑或沟通性脸部特征之类的小细节使得如此大地期望视频会议，但是处于低光照条件或不均匀光照条件下这经常难以解决。相应地，以下描述的实施例可提供对在这样的低照明条件或不均匀照明条件下在移动视频会议中显示的参会者的脸部的改进。

同样很可能的是，移动视频会议参会者在通话期间将正在走路、驾驶或其他移动，再次因为，如果参会者处于静态环境中，诸如会议室，办公或计算机桌，或甚至拥有膝上型笔记本、拥有具体的预先安置的照明、舒服的椅子和固定于地面或在桌子上的网络摄像机的固定位置，则他或她就不大可能使用智能手机用于该通话。随着参会者尝试保持电话相对于他或她的脸部静止，通常背景将迅速移动。因此，这里描述的实施例通过聚焦于参会者并减少或消除对背景图像的处理和/或传送来有效地使用移动智能手机环境的受限计算资源。

电子显示设备通常被用作电视机或与计算机一起使用来向用户显示二维图像。在计算的情况下，电子显示设备提供与计算机的操作系统的可视交互。

在大多数情形下，用户使用外部输入设备(最通常的是使用键盘和鼠标或轨迹球的组合)向计算机提供输入。但是最近，构筑于电子显示器中的触屏设备(例如，电容触屏或电阻触屏)作为用于向计算设备或电视显示器提供输入的备选装置已得到了流行

电子显示器已经从大的，重的阴极射线管监视器(CRT)演进为更轻的，更薄的液晶显示器(LCD)和有机发光二极管(OLED)显示器。现在许多显示器并入了附加的特征，诸如相机和通用串行总线(USB)接口，以提高计算或电视体验。

计算机用户经常花费他或她一天的主要时间与计算机交互。例如，办公室工作者可能花费数小时在由桌面计算机或其他计算机驱动的显示器前。如果用户以人体工程学不合适的方式使用计算机，诸如从非最佳位置和/或在可通过用户行为进行校正的其他不利的条件下浏览显示器，则他或她的健康可被负面地影响。已经提出了用于保证人体工程学合适的计算机使用的各种技术，但是还留有改进的空间。

发明内容

本发明的实施方式的目的在于解决现有技术显示设备中存在的上述问题中一个或者多个。

根据本发明的一个方面，提供了一种手持式支持相机的视频会议设备，包括：外壳，配置为在用户的手中持有；处理器，在外壳内；存储器，在外壳内，具有嵌入在其中的代码，用于对处理器进行，包括视频会议、脸部检测、脸部识别和相关联的图像处理部件，并且其中存储器进一步包含与一个或多个具体用户身份相关联的脸部数据；显示器，被构筑于外壳内并被配置为在视频会议期间对于用户是可浏览的；以及相机，被构筑于外壳内并被配置为当用户浏览显示器时捕获用户的图像，包括红外(IR)光源和用于在低光照条件或不均匀光照条件或两者都包括的条件下捕获用户的图像的IR敏感图像传感器，以允许脸部检测部件来检测用户的脸部；以及其中脸部检测部件被配置为把用户的具体身份与所检测的脸部相关联；以及其中图像处理部件依照用户的具体身份用存储在存储器中的脸部数据替换所检测到的脸部的脸部数据，以增强在低光照条件或不均匀光照条件或两者都包括的条件下捕获的所检测的脸部的图像并传送到远程视频会议参会者。

在本发明的一个可选实施方式中，脸部数据包括色度数据。

在本发明的一个可选实施方式中，脸部数据包括亮度数据。

在本发明的一个可选实施方式中，脸部检测或脸部识别部件，或两者全部，包括被训练为在低光照条件或不均匀光照条件或两者都包括的条件下，检测脸部或识别脸部或两者全部的分类器。

在本发明的一个可选实施方式中，IR光源包括一个或多个IRLED，耦合于外壳并被布置以在视频会议期间照亮用户的脸部。

在本发明的一个可选实施方式中，存储器进一步包括脸部跟踪部件以跟踪所检测的脸部以允许设备在视频会议期间传送用户的脸部的近似连续的视频图像。

在本发明的一个可选实施方式中，存储器进一步包括用于估计到用户的脸部的距离并基于所估计的距离来控制IR光源的输出功率的部件。

在本发明的一个可选实施方式中，距离的估计使用自动聚焦数据来确定。

在本发明的一个可选实施方式中，距离的估计基于用户的脸部的被检测的尺寸来确定。

在本发明的一个可选实施方式中，存储器进一步包括用于确定用户的脸部相对于设备的位置并且控制IR光源照亮用户的脸部的方向的部件。

根据本发明的另一方面，提供了一种手持式支持相机的视频会议设备，包括：外壳，配置为在用户的手中持有；处理器，在外壳内；存储器，在外壳内，具有嵌入在其中的代码，用于对处理器进行编程，包括视频会议、和前景/背景分割部件，或这两者的组合；显示器，被构筑于外壳内并被配置为在视频会议期间对于用户是可浏览的；相机，被构筑于外壳内并被配置为当用户浏览显示器时捕获用户的图像；以及通信接口，用以传送音频/可视信号到远程视频会议参会者；以及其中前景/背景分割部件被配置为通过辨别前景对比背景数据的不同运动矢量来提取没有背景数据的用户身份数据。

在本发明的一个可选实施方式中，用户身份数据包括脸部数据。

在本发明的一个可选实施方式中，前景/背景分割部件被校准为匹配具体用户身份数据作为前景数据。

根据本发明的又一方面，提供了一种手持式支持相机的视频会议设备，包括：外壳，配置为在用户的手中持有；处理器，在外壳内；存储器，在外壳内，具有嵌入在其中的代码，用于对处理器进行编程，包括视频会议，和前景/背景分割部件，或这两者的组合；显示器，被构筑于外壳内并被配置为在视频会议期间对于用户是可浏览的；相机，被构筑于外壳内并被配置为当用户浏览显示器时捕获用户的图像；以及通信接口，用以传送音频/视觉信号到远程视频会议参会者；以及其中前景/背景分割部件被配置为通过匹配所检测的脸部数据作为前景数据来提取没有背景数据的用户身份数据。

在本发明的一个可选实施方式中，相机包括红外(IR)光源和用于在低光照条件或不均匀光照条件或两者都包括的条件下捕获用户的图像的IR敏感图像传感器，以允许脸部检测部件来检测用户的脸部。

在本发明的一个可选实施方式中，图像处理部件依照用户的具体身份用存储在存储器中的脸部数据替换所检测的脸部的脸部数据，以增强在低光照条件或不均匀光照条件或两者都包括的条件下捕获的所检测的脸部的图像并传送到远程视频会议参会者。

在本发明的一个可选实施方式中，存储器进一步包括脸部跟踪部件以跟踪所检测的脸部以允许设备在视频会议期间传送用户的脸部的近似连续的视频图像。

在本发明的一个可选实施方式中，具体用户身份数据包括所检测的脸部的图像。

在本发明的一个可选实施方式中，具体用户身份数据进一步包括脖子、部分躯干或衬衫，或一个或两个胳膊，或上述的组合。

在本发明的一个可选实施方式中，存储器进一步包括与一个或多个具体用户身份相关联的脸部数据，并且设备被配置为基于匹配存储器中的脸部数据来提取具体用户身份数据。

根据本发明的再一方面，提供了一种动态改变显示参数的方法，包括：检测位于电子显示器前的用户的用户参数；以及基于所检测的用户参数，自动调整显示器上的用户偏好或显示指示符，或两者都有。

在本发明的一个可选实施方式中，用户参数包括用户的年龄。

在本发明的一个可选实施方式中，上述方法包括确定用户包括老年人并且因此增加可显示内容的数量。

在本发明的一个可选实施方式中，上述方法包括确定用户包括儿童或年轻人并且因此减少可显示内容的数量。

在本发明的一个可选实施方式中，上述方法包括确定用户包括儿童或年轻人并且因此增加隐私设置。

在本发明的一个可选实施方式中，上述方法包括确定用户包括成年人或老年人并且因此减少一个或多个隐私设置。

在本发明的一个可选实施方式中，用户参数包括从用户到电子显示器的距离。

在本发明的一个可选实施方式中，上述方法包括确定距离小于预先确定的距离并因此显示距离指示符。

在本发明的一个可选实施方式中，其中用户参数包括用户已经位于显示器前的时间。

在本发明的一个可选实施方式中，上述方法包括确定时间大于预先确定的时间限制并因此显示时间指示符。

在本发明的一个可选实施方式中，用户参数包括头部角度。

在本发明的一个可选实施方式中，上述方法包括确定头部角度是不合适的并因此显示人体工程学指示符。

在本发明的一个可选实施方式中，用户参数包括环境光水平。

在本发明的一个可选实施方式中，用户参数包括环境光水平和瞳孔闭合百分比。

在本发明的一个可选实施方式中，上述方法包括确定环境光水平为高并因此自动加亮显示器。

在本发明的一个可选实施方式中，上述方法包括确定瞳孔闭合百分比为低并因此减暗显示器。

在本发明的一个可选实施方式中，上述方法包括确定瞳孔闭合百分比为高并因此自动加亮显示器。

在本发明的一个可选实施方式中，上述方法包括确定环境光水平为低并因此自动减暗显示器。

在本发明的一个可选实施方式中，上述方法包括基于所检测的环境光水平自动减暗或加亮显示器。

在本发明的一个可选实施方式中，用户参数包括未知的用户。

在本发明的一个可选实施方式中，上述方法包括当未知的用户被检测到时，减暗或关闭显示器。

在本发明的一个可选实施方式中，上述方法包括当未知的用户被检测到时，锁定显示器并示出安全指示符。

在本发明的一个可选实施方式中，上述方法包括使用安全指示符通知未知的用户访问显示器被拒绝。

在本发明的一个可选实施方式中，检测包括使用布置于电子显示器上或附近的传感器检测用户参数。

在本发明的一个可选实施方式中，传感器包括相机。

在本发明的一个可选实施方式中，电子显示器包括计算机监视器。

在本发明的一个可选实施方式中，电子显示器包括蜂窝电话。

在本发明的一个可选实施方式中，自动调整包括使用控制器处理用户参数和基于所检测的用户参数自动调整显示器上的用户偏好或显示指示符，或两者都包括。

根据本发明的另一方面，提供了一种电子显示器，包括：传感器，被配置为检测位于显示器前的用户的用户参数；屏幕，被配置为向用户显示文本或图像或两者都有；以及处理器，被配置为基于所检测的用户参数调整用户偏好或显示指示符，或两者都有。

在本发明的一个可选实施方式中，用户参数包括年龄。

在本发明的一个可选实施方式中，用户参数包括从用户到电子显示器的距离。

在本发明的一个可选实施方式中，用户参数包括用户的头部角度。

在本发明的一个可选实施方式中，用户参数包括未知的用户。

在本发明的一个可选实施方式中，用户参数包括环境光水平。

在本发明的一个可选实施方式中，传感器包括相机。

在本发明的一个可选实施方式中，电子显示器包括计算机监视器。

在本发明的一个可选实施方式中，电子显示器包括蜂窝电话。

在本发明的一个可选实施方式中，电子显示器包括平板计算机。

根据本发明的再一方面，提供了一种动态调整显示参数的方法，包括：使用传感器确定用户的脸部是否位于电子显示器前；当用户的脸部被确定为没有位于电子显示器前时，使用传感器监视用户的脸部持续预先确定的时间段；以及当在预先确定的时间段期间用户的脸部没有位于电子显示器前时，在电子显示器上启动功率节省例程。

在本发明的一个可选实施方式中，功率节省例程包括用于减暗显示器的例程。

在本发明的一个可选实施方式中，功率节省例程包括用于关闭显示器的例程。

在本发明的一个可选实施方式中，上述方法包括在关闭显示器后，不时地对电子显示器的传感器加电以监视用户的解剖形态。

在本发明的一个可选实施方式中，上述方法进一步包括：使用传感器确定用户的眼睛是否朝向电子显示器凝视；当用户的眼睛被确定为未朝向电子显示器凝视时，在预先确定时间段期间，使用传感器监视用户的眼睛朝向显示器凝视；以及当在预先确定的时间段期间用户的眼睛未朝向电子显示器凝视时，在电子显示器上启动功率节省例程。

在本发明的一个可选实施方式中，预先确定的时间段包括用户可调整分量。

在本发明的一个可选实施方式中，用于减暗显示器的例程利用用户可调整减暗百分比。

根据本发明的又一方面，提供了一种电子显示器，包括：传感器，被配置为检测位于显示器前的用户的脸部；以及处理器，被配置为当在预先确定的时间段期间用户的脸部被确定为未位于显示器前时，实施功率节省例程。

在本发明的一个可选实施方式中，传感器包括相机。

在本发明的一个可选实施方式中，电子显示器包括计算机监视器。

在本发明的一个可选实施方式中，电子显示器包括蜂窝电话。

根据本发明的又一方面，提供了一种动态改变显示参数的方法，包括：检测位于电子显示器前的用户的用户参数；以及基于所检测的用户参数自动调整显示器上的文本的字体尺寸。

在本发明的一个可选实施方式中，用户参数是用户的近似年龄。

在本发明的一个可选实施方式中，上述方法包括当用户包括老年人时增大字体尺寸。

在本发明的一个可选实施方式中，上述方法包括当用户包括儿童或年轻人时减小字体尺寸。

在本发明的一个可选实施方式中，用户参数包括从用户到电子显示器的距离。

在本发明的一个可选实施方式中，上述方法包括当距离被检测为大于预先确定的距离时增大字体尺寸。

在本发明的一个可选实施方式中，上述方法包括当距离被检测为小于预先确定的距离时减小字体尺寸。

在本发明的一个可选实施方式中，上述方法包括随着从用户到电子显示器的距离改变实时动态改变字体尺寸。

在本发明的一个可选实施方式中，上述方法包括随着从用户到电子显示器的距离变得更小实时动态减小字体尺寸，或随着从用户到电子显示器的距离变得更大实时动态增大字体尺寸，或两者都包括。

在本发明的一个可选实施方式中，检测包括使用布置于电子显示器上或附近的传感器检测用户参数。

在本发明的一个可选实施方式中，传感器包括相机。

在本发明的一个可选实施方式中，电子显示器包括计算机监视器。

在本发明的一个可选实施方式中，电子显示器包括蜂窝电话。

在本发明的一个可选实施方式中，自动调整步骤包括使用控制器处理用户参数和使用控制器基于所检测的用户参数自动调整显示器上的文本的字体尺寸。

根据本发明的另一方面，还提供了一种动态改变显示参数的方法，包括：检测位于电子显示器前的用户的用户参数；以及基于所检测的用户参数自动调整显示器上的图标尺寸。

在本发明的一个可选实施方式中，用户参数包括用户的年龄。

在本发明的一个可选实施方式中，上述方法包括当用户是老年人时增大图标尺寸。

在本发明的一个可选实施方式中，上述方法包括当用户被检测为包括儿童或年轻人时减小图标尺寸。

在本发明的一个可选实施方式中，用户参数包括从用户到电子显示器的距离。

在本发明的一个可选实施方式中，上述方法包括当距离大于预先确定的距离时增大图标尺寸。

在本发明的一个可选实施方式中，上述方法包括当距离小于预先确定的距离时减小图标尺寸。

在本发明的一个可选实施方式中，检测包括使用布置于电子显示器上或附近的传感器检测用户参数。

在本发明的一个可选实施方式中，传感器包括相机。

在本发明的一个可选实施方式中，电子显示器包括计算机监视器。

在本发明的一个可选实施方式中，电子显示器包括蜂窝电话。

在本发明的一个可选实施方式中，自动调整步骤包括使用控制器处理用户参数和使用控制器基于所检测的用户参数自动调整显示器上的文本的字体尺寸。

在本发明的一个可选实施方式中，上述方法包括随着从用户到电子显示器的距离改变实时动态改变图标尺寸。

在本发明的一个可选实施方式中，上述方法包括随着从用户到电子显示器的距离变得更小实时减小图标尺寸，或随着从用户到电子显示器的距离变得更大实时增大图标尺寸，或两者都包括。

根据本发明的又一方面，提供了一种电子显示器，包括：传感器，被配置为确定位于电子显示器前的用户的用户参数；屏幕，被配置为向用户显示文本或图像或两者；以及处理器，被配置为基于所确定的用户参数调整文本或图像或两者的尺寸。

在本发明的一个可选实施方式中，用户参数包括年龄。

在本发明的一个可选实施方式中，用户参数包括从用户到电子显示器的距离。

在本发明的一个可选实施方式中，传感器包括相机。

在本发明的一个可选实施方式中，电子显示器包括计算机监视器。

在本发明的一个可选实施方式中，电子显示器包括蜂窝电话。

在本发明的一个可选实施方式中，电子显示器包括平板计算机。

附图说明

图1图示了移动视频会议环境的示例。

图2图示了包括从处于低光照条件下，例如30lux取得的脸部的图像的示例。

图3图示了具有一个或多个红外发射器(例如一圈红外发射器)的手持设备的示例。

图4图示了使用在40cm处的单一红外发射器而不使用任何外部可见光源检测的脸部，即在没有红外发射器的0lux时该脸部是完全暗的。

图5图示了从处于低光照条件(例如30lux)取得的、具有来自在更高的光照水平取得的校准图像的肤色补丁图画的图像的示例。

图6图示了在比图5的图像的光照水平高的光照水平下(理想地在最优光照水平)取得的校准图像的示例。

图7A-图7B图示了使用手持相机取得的，具有不同背景、但是具有通过两者都有的相似轮廓形状指示的相似脸部位置的两个图像的序列。

图8A-图8B图示了图7A-图7B的两个图像的序列，除去在示例性移动视频会议环境中此时具有指示相对于前景脸部对象的运动方向和背景的大小的运动矢量箭头。

图9是显示器的视场中的用户的图示。

图10是显示器的视场中的儿童用户的图示。

图11A-图11B是显示器的视场中的不同用户的图示。

图12是具有用户计时器的显示器的视场中的用户的图示。

图13图示了给显示器的视场中的用户的人体工程学指示符。

图14是当在显示器的视场中检测到两个用户时的隐私设置的图示。

图15图示了当用户未被显示器所识别时的指示符。

图16图示了显示器，其仅照亮了显示器的对应于用户的凝视的部分。

图17图示了给显示器的视场中的用户的距离指示符。

图18是显示器的视场中的用户的图示。

图19A-图19B图示了基于用户的年龄调整显示器上的文本尺寸。

图20A-图20B图示了基于用户的年龄调整显示器上的图标尺寸。

图21A-图21B图示了基于用户与显示器的距离调整显示器上的文本和/或图标的尺寸。

图22是示出了例示性人体工程学传感器模块的框图。

图23是示出了集成于显示器中的人体工程学传感器模块的示例的图。

图24是示出了在显示器外部使用的人体工程学传感器模块的示例的图。

图25是示出了当使用人体工程学传感器模块时执行的示例性处理方法中的步骤的流程图。

图26是示出了用户相对于显示器的偏航角的示例的图。

图27是示出了用户相对于显示器的俯仰角的示例的图。

具体实施方式

提供了一种手持式支持相机的视频会议设备，包括配置为在用户的手中持有的外壳。处理器和存储器包含在外壳内。存储器具有嵌入在其中的代码，用于对处理器进行编程，包括视频会议、脸部检测、脸部识别和相关联的图像处理部件。存储器进一步包含与一个或多个具体用户身份相关联的脸部数据。设备还包括显示器，被构筑于外壳内并被配置为在视频会议期间对于用户是可浏览的。相机也被构筑于外壳内并被配置为当用户浏览显示器时捕获用户的图像。相机包括红外(IR)光源和用于在低光照条件或不均匀光照条件或两者都包括的条件下捕获用户的图像的IR敏感图像传感器，以允许脸部检测部件来检测用户的脸部。脸部识别部件被配置为把用户的具体身份与所检测的脸部相关联。图像处理部件被配置为依照用户的具体身份用存储在存储器中的脸部数据替换所检测的脸部的脸部数据，以增强在低光照条件或不均匀光照条件或两者都包括的条件下捕获的所检测的脸部的图像并将其传送到远程视频会议参会者。

脸部数据可包括色度数据或亮度数据或两者全部。脸部检测或脸部识别部件，或两者全部，可包括被训练为在低光照条件或不均匀光照条件或两者都包括的条件下，分别检测脸部或识别脸部的分类器。IR光源可包括一个或多个IRLED，IRLED耦合于外壳并被布置来在视频会议期间照亮用户的脸部。存储器可包含脸部跟踪部件以跟踪所检测的脸部以允许设备在视频会议期间传送用户的脸部的近似连续的视频图像。

存储器可包括用来估计到用户的脸部的距离并基于所估计的距离来控制IR光源的输出功率的部件。距离的估计可使用自动聚焦数据来确定和/或可以基于用户的脸部的所检测的尺寸。存储器可包括用于确定用户的脸部相对于设备的位置并且控制IR光源的方向来照亮用户的脸部的部件。

提供了另一种手持式支持相机的视频会议设备，包括配置为在用户的单手或双手中持有的外壳，以及包含在外壳内的处理器和存储器。存储器具有嵌入在其中的代码，用于对处理器进行编程，包括视频会议和前景/背景分割部件，或它们的组合。显示器被构筑于外壳内并被配置为在视频会议期间对于用户是可浏览的。相机被构筑于外壳内并被配置为当用户浏览显示器时捕获用户的图像。通信接口传送音频/视觉数据到远程视频会议参会者。前景/背景分割部件被配置为通过辨别针对前景对背景数据的不同运动矢量来提取没有背景数据的用户身份数据。

用户身份数据可包括脸部数据。前景/背景分割部件可被校准为匹配具体用户身份数据作为前景数据。

提供了另一种手持式支持相机的视频会议设备，包括配置为在用户的单手或双手中持有的外壳和包含在外壳内部的处理器和存储器，存储器具有嵌入在其中的代码，用于对处理器进行编程，包括视频会议部件、和前景/背景分割部件、或它们的组合。显示器被构筑于外壳内并被配置为在视频会议期间对于用户是可浏览的。相机被构筑于外壳内并被配置为当用户浏览显示器时捕获用户的图像。通信接口传送音频/视觉数据到远程视频会议参会者。前景/背景分割部件被配置为通过匹配所检测的脸部数据作为前景数据来提取没有背景数据的用户身份数据。

相机可包括红外(IR)光源和用于在低光照条件或不均匀光照条件或两者都包括的条件下捕获用户的图像的IR敏感图像传感器，以允许脸部检测部件来检测用户的脸部。图像处理部件可依照用户的具体身份用存储在存储器中的脸部数据替换所检测的脸部的脸部数据，以增强在低光照条件或不均匀光照条件或两者都包括的条件下捕获的所检测的脸部的图像并将其传送到远程视频会议参会者。

存储器可包含脸部跟踪部件以跟踪所检测的脸部以允许设备在视频会议期间传送用户的脸部的近似连续的视频图像。

具体用户身份数据可包括所检测的脸部的图像。该数据可包括脖子，部分躯干或衬衫，或一个或两个胳膊，或它们的部分或组合。

存储器可包含与一个或多个具体用户身份相关联的脸部数据，从而使得基于匹配存储器中的脸部数据来提取具体用户身份数据。

提供一种动态改变显示参数的方法，包括检测位于电子显示器前的用户的用户参数，以及基于所检测的用户参数自动调整显示器上的用户偏好或显示指示符。

在一些实施例中，用户参数是用户的年龄。

在另一实施例中，当用户是老年人时增加可显示内容的数量。在另一实施例中，当用户是儿童或年轻人时减少可显示内容的数量。

在一些实施例中，当用户是儿童或年轻人时增加隐私设置。在其他实施例中，当用户是成年人或老年人时减少隐私设置。

在一些实施例中，用户参数是用户到电子显示器的距离。在一个实施例中，当距离小于最优距离时显示距离指示符。

在一个实施例中，用户参数是用户已经位于显示器前的时间。在一些实施例中，当时间大于预先确定的时间限制时显示时间指示符。

在一个实施例中，用户参数是头部角度。在一些实施例中，当头部角度不合适时，显示人体工程学指示符。

在一些实施例中，用户参数是环境光水平。在其他实施例中，用户参数是环境光水平和瞳孔闭合百分比。

在一个实施例中，如果环境光水平为低并且瞳孔闭合百分比为高，则自动加亮显示器。在另一实施例中，如果环境光水平为低并且瞳孔闭合百分比为低，则自动减暗显示器。在备选实施例中，如果环境光水平为高并且瞳孔闭合百分比为高，则自动加亮显示器。在又一实施例中，如果环境光水平为高并且瞳孔闭合百分比为低，则自动减暗显示器。

如权利要求13的方法，其中基于所检测的环境光水平自动减暗或加亮显示器。

在一些实施例中，用户参数是未知的用户。

在一个实施例中，当检测到未知的用户时，减暗或关闭显示器。在另一实施例中，当检测到未知的用户时，锁定显示器并示出安全指示符。在一些实施例中，安全指示符通知未知的用户访问显示器被拒绝。

在一些实施例中，检测步骤包括使用布置于电子显示器上或附近的传感器检测用户参数。在一个实施例中，传感器包含相机。

在一些实施例中，电子显示器包含计算机监视器(computermonitor)。在其他实施例中，电子显示器包含蜂窝电话。

在一个实施例中，自动调整步骤包含使用控制器处理用户参数和基于所检测的用户参数自动调整显示器上的用户偏好或显示指示符。

还提供了一种电子显示器，包括：传感器，被配置为检测位于显示器前的用户的用户参数，屏幕，被配置为向用户显示文本或图像，以及处理器，被配置为基于所检测的用户参数调整用户偏好或显示指示符。

在一个实施例中，用户参数是年龄。

在另一实施例中，用户参数是用户到电子显示器的距离。

在一些实施例中，用户参数是用户的头部角度。

在一个实施例中，用户参数是未知的用户。

在一些实施例中，用户参数是环境光水平。

在一些实施例中，传感器包含相机。

在一个实施例中，电子显示器包含计算机监视器。

在另一实施例中，电子显示器包含蜂窝电话。

在一些实施例中，电子显示器包含平板计算机。

提供了一种动态调整显示参数的方法，包括：使用传感器确定用户的脸部是否位于电子显示器前，如果用户的脸部没有位于电子显示器前，则使用传感器监视用户的脸部持续预先确定的时间段，以及如果在预先确定的时间段期间用户的脸部没有位于电子显示器前，则在电子显示器上启动功率节省例程。

在一些实施例中，功率节省例程包括减暗显示器。

在其他实施例中，功率节省例程包括关闭显示器。

在一些实施例中，在关闭显示器后，该方法包括不时地对电子显示器的传感器加电以监视用户的解剖形态。

本方法的一些实施例进一步包括使用传感器确定用户的眼睛是否朝向电子显示器凝视，如果用户的眼睛未朝向电子显示器凝视，则在预先确定的时间段期间，使用传感器监视用户的眼睛朝向电子显示器凝视，以及如果在预先确定的时间段期间用户的眼睛未朝向电子显示器凝视，则在电子显示器上启动功率节省例程。

在一些实施例中，预先确定的时间段是用户可调整的。

在其他实施例中，减暗百分比是用户可调整的。

提供了一种电子显示器，包括：传感器，被配置为检测位于显示器前的用户的脸部，以及处理器，被配置为如果在预先确定的时间段期间用户的脸部没有位于显示器前，则实施功率节省例程。

在一个实施例中，传感器包含相机。

在其他实施例中，电子显示器包含计算机监视器。

在一些实施例中，电子显示器包含蜂窝电话。

提供了一种动态改变显示参数的方法，包括：检测位于电子显示器前的用户的用户参数，以及基于所检测的用户参数自动调整显示器上的文本的字体尺寸。

在一些实施例中，用户参数是用户的年龄。

在一个实施例中，当用户是老年人时增大字体尺寸。在另一实施例中，当用户是儿童或年轻人时减小字体尺寸。

在一些实施例中，用户参数是用户到电子显示器的距离。

在一个实施例中，当距离大于最优距离时增大字体尺寸。在另一实施例中，当距离小于最优距离时减小字体尺寸。

在一些实施例中，随着从用户到电子显示器的距离改变实时动态改变字体尺寸。

在其他实施例中，随着从用户到电子显示器的距离变得更小实时减小字体尺寸，其中随着从用户到电子显示器的距离变得更大实时增大字体尺寸。

在一些实施例中，检测步骤包括使用布置于电子显示器上或附近的传感器检测用户参数。在一个实施例中，传感器包括相机。

在一些实施例中，电子显示器包括计算机监视器。在其他实施例中，显示器包括蜂窝电话。

在一个实施例中，自动调整步骤包括使用控制器处理用户参数和使用控制器基于所检测的用户参数自动调整显示器上的文本的字体尺寸。

还提供了一种动态改变显示参数的方法，包括：检测位于电子显示器前的用户的用户参数，以及基于所检测的用户参数自动调整显示器上的图标尺寸。

在一些实施例中，用户参数是用户的年龄。

在一个实施例中，当用户是老年人时增大图标尺寸。在另一实施例中，当用户是儿童或年轻人时减小图标尺寸。

在一些实施例中，用户参数是从用户到电子显示器的距离。

在一个实施例中，当距离大于最优距离时增大图标尺寸。在其他实施例中，当距离小于最优距离时减小图标尺寸。

在一些实施例中，检测步骤包括使用布置于电子显示器上或附近的传感器检测用户参数。在一个实施例中，传感器包括相机。

在一些实施例中，电子显示器包括计算机监视器。在其他实施例中，显示器包括蜂窝电话。

在一些实施例中，自动调整步骤包括使用控制器处理用户参数和使用控制器基于所检测的用户参数自动调整显示器上的文本的字体尺寸。

在其他实施例中，随着从用户到电子显示器的距离改变实时动态改变图标尺寸。

在一个实施例中，随着从用户到电子显示器的距离变得更小实时减小图标尺寸，其中随着从用户到电子显示器的距离变得更大实时增大图标尺寸。

提供了一种电子显示器，包括：传感器，被配置为确定位于显示器前的用户的用户参数，屏幕，被配置为向用户显示文本或图像，以及处理器，被配置为基于所确定的用户参数调整文本或图像的尺寸。

在一些实施例中，用户参数是年龄。

在另一实施例中，用户参数是从用户到电子显示器的距离。

在一些实施例中，传感器包括相机。

在另一实施例中，电子显示器包括计算机监视器。在附加实施例中，电子显示器包括蜂窝电话。在一些实施例中，电子显示器包括平板计算机。

一种显示设备可与包括成像设备的人体工程学传感器一起被使用，成像设备与处理硬件对接以获得和分析描绘显示设备的用户的图像数据。人体工程学传感器可用指示显示设备的人体工程学使用的数据预先配置，从而使得用户的图像可用最小量的用户校准或安置或无需用户校准或设置来分析。作为替换，人体工程学传感器能提供图像数据以被分析以用于提供实时反馈，诸如当用户的行为落在对于显示设备的人体工程学使用范围之外时报警或提供建议。在一些实现方式中，人体工程学传感器集成于显示设备中，尽管在其他实现方式中，可以使用独立元件或预先存在的成像设备。

讨论这个示例并非限制本主题而只是提供简明的介绍。下面在详细说明中描述附加示例。本主题的目的和优点可通过阅览说明书和/或实践依照这里的一个或多个教导的实现方式来确定。

处理低光照条件和非均匀光照条件

用于捕获数字图像的好的光照条件或自然光照条件提供看来像是被从所有方向均匀照亮并且没有太多或太少光的对象。不良照明条件可包括低光照条件，非均匀光照条件和无光照条件。非均匀光照包括来自这样的角度的光照，该角度使得对象(诸如脸部)的一侧比另一侧(例如，左-右，上-下，沿着对角线等)轻微更亮，或该角度简单包括在对象上某个地方处的一个或多个阴影。图2图示了包括从处于低光照条件(例如30lux)取得的脸部的图像的示例。图2所示的图像中的脸部既是昏暗照射的也被不均匀照射，即脸的一侧看起来比另一侧更暗。尽管黑暗，但包括前额，脖子，一个耳朵，鼻尖和一个面颊的区域是稍微可辨别的，但是其他的诸如眼睛，嘴巴和下巴，躯干或衬衫，头发和一个耳朵的区域是接近完全黑暗的。

一般地，低光照条件是这样的，即如果图像数据根本或不管怎样都包括少于期望信息的信息，则诸如脸部之类的对象可能是或可能不是可检测的并且对象/脸部跟踪可能难以锁定。例如，在低光照条件下，对象的仅仅某些区域可能是可辨别的而其他区域不是，诸如图2中所示。在另一个示例中，一个或多个参数可能是不足够可确定的，例如，诸如亮度、颜色、焦点、色调再现、或白平衡信息，或脸部特征信息(诸如参会者是否正在笑或者眨眼或部分屏蔽或以另外方式处于阴影下)。不良照明条件的一些描述，以及用于处理它们的某些解决方案，可在US20080219517和US20110102553中找到，其指派给同一受让人并通过引用并入于此。

在无光照条件下，对象(例如，脸部)甚至是不可解析或不可检测的。当没有可用可见光存在时，没有区域和对象的参数是由人视觉可辨别的。当照明条件低于最优时，提供申请人的包括依照某些实施例的并参考附图3-图4在下面描述的红外源和传感器的有利设备以增强移动视频会议。

在低光照条件或非均匀照明条件下捕获的图像通常将具有与更亮的区域相混合的遮蔽的/黑暗的区域，并且通常看起来不如在正常或最优光照条件下捕获的图像那样令人满意。实际上，与在专业摄影工作室中捕获的图像不同，人们利用智能手机和手持消费者数字相机取得的大部分图片是在具有不如最优照明条件的各种的地方取得的。在某些实施例中，由用户先前捕获的校准图像(例如在更好光照条件(诸如在正常或均匀最优光照水平)下)可以被有利地存储并且然后被用来增强、重构乃至替换某些图像区域、特征、参数或特点(诸如肤色、屏蔽的或遮蔽的特征、色彩平衡、白平衡、曝光等)，在重复被不良照射的视频流的所捕获图像内其不是足够可辨别的或期望的。

来自当前原始图像的某些信息(例如脸部尺寸、眼睛和嘴唇移动、焦点、色调、颜色、朝向、或相对的或整体的曝光)可以被接近地复制以使用肤色(参见，例如，美国专利7,844,076、7,460,695和7,315,631，其通过引用并入于此)和/或一个或多个来自校准图像的其他特点尽可能的提供足够接近自然脸部外观。US20080219581，US20110102638和US20090303343被指派给同一受让人，并通过引用并入于此以提供可与在此描述的某些实施例组合的对低光照图像有效以及增强低光照图像的进一步解决方案。在某些实施例中，也可使用人造背景，或使用从更好照明条件下取得的图像中提取的背景，或使用模糊的或任意的背景，来替换背景。

在此描述的多个实施例涉及来自之前存储的图像的数据和/或信息的使用以改善由位于任何地点的任何会议参会者在视频会议的任何端浏览的对象(诸如脸部图像)的肤色和/或其他特点。还描述了手持设备的有效的资源使用，例如，通过传送仅仅音频和具有或不具有外围数据的前景脸部数据，并且特别地，没有诸如依照在此所描述的实施例从前景数据中分辨的背景数据。

利用红外光照亮低光照或无光照对象

在某些实施例中，有利地增强移动视频会议，特别地关于在低光照条件和非均匀光照条件下捕获的图像。在某些实施例中，使用良好排布的发射红外(IR)光的IR光发射二极管(LED)的阵列(例如，环)改善使用来自脸部的所反射IR进行在低光照条件/无光照条件下用户脸部的检测。图3图示了具有一个或多个红外发射器(例如一圈红外发射器)的手持设备的示例。在其他实施例中，仅使用单个IR发射器，或两个IR反射器被布置在设备的左-右或上-下每侧一个，或提供四个，在设备的每一侧有一个。包括面向IR发射器布置在设备的六个侧的任意侧的各种布置是可能的，并且相对于设备，它们可以是固定的或可移动的。

这些IRLED可以已经控制了电流并因此根据诸如脸部离手持设备的距离之类的参数控制输出功率。这个特征还用于有利地减少现有基于闪光灯的相机的功率使用。在进一步的实施例中，IR发射器初始聚焦在搜索模式中，但一旦通过设备的脸部跟踪器模块跟踪到脸部，就在脸部维持持续焦距。

用一个或多个红外LED照亮脸部能在短距离内使用装配有捕获来自脸部或其他目标对象的所反射IR光的IR传感器的设备提供对脸部的改善的检测。图4图示了使用在40cm处的单个红外发射器而不使用任何外部可见光源检测的脸部，即没有红外发射器脸部是完全黑暗的0lux。

先前由用户在最优光照水平下捕获的校准图像(根据具体的指令)可被用于重建肤色。使用例如来自一个或多个校准图像的肤色，来自当前原始图像的信息(诸如脸部尺寸和眼睛和嘴唇移动)可以接近的被复制以尽可能的提供足够接近自然脸部外观。图5图示了从低光照条件(例如30lux)取得的图像的示例，该图像具有来自在更高的光照水平取得的校准图像的肤色的补丁图画。相似地，也可以使用人造背景和/或使用从在更好照明条件下取得的图像中提取的背景来替换背景。图6图示了在比图5的图像更高的光照水平(理想地在最优或正常光照水平)下取得的校准图像的示例。

背景运动对比前景运动

当移动视频会议参会者使用手持设备时，相对于相机镜头/传感器，背景的运动经常比前景的运动更剧烈或更快。前景可包括具有或不具有任何外围区域(诸如头发、脖子、躯干、衬衫、胳膊、帽子、围巾)或其他外围对象或区域的参会者的脸部，参见US20110081052和US20070269108，其通过引用并入于此。参会者通常尝试保持他或她的脸部相对于相机镜头/传感器静止。如果参会者在这种尝试中成功，那么参会者和相机镜头/传感器可基本一起静止或移动或处于平均，而背景可以是静止或作为替代地相对于相机镜头/传感器相对快速的移动。

通过分辨相对于相机快速移动的对象对比移动显著较慢的对象，依照某些实施例的设备能够在由设备捕获的图像中从背景对象和区域分割前景。依照某些实施例，通过仅仅传送前景给一个或多个其他视频会议参会者，设备会更加资源有效，并且模糊移动的背景的图像数据不需要除被简单抛弃外的另外处理。备选地，模糊背景图像可被传送且无需进一步处理，因为可能期望仅仅传送模糊背景，例如，以维持隐私(参见同一受让人的US序列号12/883,192，其通过引用并入于此)和/或避免在背景数据上花费处理资源。

图7a-图7b图示了使用手持相机取得的两者具有不同背景但是具有由相似轮廓形状指示的相似脸部位置的两个图像的序列。因为一个、一些或甚至所有会议参会者都可能不期望传送或浏览背景信息，于是设备可有利地放弃如下资源密集计算，该资源密集计算否则将在连续提供用于提供可浏览图像所期望的其他图像处理中的改变背景图像，改变背景图像包括去模糊、色彩和白平衡增强以及聚焦增强。这些图像增强被替代地更好地花费在实际期望的图像数据(例如，参会者的脸部)上。

图8a-图8b图示了图7a-图7b的两个图像的序列，除去在示例性移动视频会议环境中此时具有指示相对于前景脸部对象的运动方向和背景的大小的运动矢量箭头。相机能够使用运动矢量信息从背景中辨别出前景。

用于丰富移动视频会议的相对脸部的背景的分割的应用

在移动视频会议环境中，用户通常尝试尽可能保持移动设备稳定并朝向他或她的脸部。然而，随着设备和用户二者都在该环境中移动，背景经常将会从一帧到另一帧快速变化。因此，与背景相比，前景(例如脸部)通常相对稳定，除非人是静止的，在该情况中背景和前景二者将接近同样稳定。易变背景数据被从前景数据中分割以大大增强移动视频会议环境中的设备的效率。

使用对前景和背景的运动中的差异的这一理解，区分背景对比前景的稳定性以及可选地还使用关于用户的具体信息(诸如脸部识别、斑痕淡化、肤色、眼睛颜色、脸部美化、或其他用户选择的或专用于用户的自动的图像处理)，因为移动设备大部分是单个用户设备，因此依照有效并用于适应移动视频会议需要的实施例提供背景对比前景差分算法。下面是通过引用并入于此的描述这些技术中的一些技术的各种示例：US20100026831，US20090080796，US20110064329，US20110013043，US20090179998，US20100066822，US20100321537，US20110002506，US20090185753，US20100141786，US20080219517，US20070201726，US20110134287，US20100053368，US20100054592和US20080317378，以及由US20090189997的同一受让人在2010年12月2日提交的US序列号12/959,151。有利地，图像中的不同对象/像素的运动矢量被用来帮助决定对象属于背景还是前景，例如，从而使得资源可被有效的分配。

在某些实施例中，通过仅仅聚焦在候选区域，用于前景区域的候选可被用来加快脸部识别、脸部跟踪或脸部检测。此外，因为典型的移动设备大部分由单个用户使用，因此之前的校准图像可被用来加速脸部识别、脸部检测和图像增强以及加强背景分离，例如从非脸部数据分离前景脸部。

在某些实施例中，一旦前景(例如，脸部范围)被检测到，则可用背景的用户偏好来替代背景。这在移动视频会议应用的情况中使用有效的前景/背景分离方法提供了背景的有效实现方式。

因为与已知用户的脸部相比，相对不重要的背景信息通常将更快改变，因此背景信息将另外涉及更多带宽使用以传送到移动视频会议室的另一端。有利地，带宽的有效使用在这里通过检测并仅仅传送所压缩的脸部和/或其他前景信息被提供用于移动视频会议。

一旦前景被检测和传送，则可使用在接收端的用户的偏好或其他自动选择的数据来替代背景。背景替换的有效实现方式由于有利的分离方法而被提供。另外，改善的压缩性能由于脸部的肤色甚至当照明条件正在改变时也基本上维持恒定而被提供。这改善了用于移动视频会议的带宽效率。某些实施例中，背景对比脸部或其他前景的差异化基于分析在移动视频会议环境中取得的图像中的对象的运动矢量之间的差异的某些实施例。作为替代或与该技术组合，其他前景/背景分割技术可被使用，如在同一受让人的数个专利申请中所描述的，其通过引用并入于此。

美国专利7,953,287和7,469,071通过引用被并入于此并且包括对涉及前景/背景分割的实施例的描述并且考虑背景模糊。美国专利7,868,922，7,912,285，7,957,597，7,796,822，7,796,816，7,680,342，7,606,417和7,692,696和US20070269108，通过引用被并入于此，因为描述前景/背景分割技术。美国专利7,317,815和7,564,994涉及脸部工具和脸部图像工作流并且也通过引用并入于此。美国专利7,697,778和7,773,118，和US20090167893，US20090080796，US20110050919，US20070296833，US20080309769和US20090179999和USSN12/941,983通过引用被并入于此，因为包含涉及数字图像中的运动和/或低光照补偿或非均匀光照补偿的实施例的描述。US20080205712和US20090003661通过引用被并入于此，因为包含涉及基于纹理空间分解来划分统计脸部建模中的方向性光照可变性(directionallightingvariability)的描述，以及US20080219517通过引用被并入于此，因为包含涉及使用分类器链的亮度检测(illuminationdetection)的实施例的描述。

具有动态的、基于脸部的用户偏好设置的智能显示器[图9-图17]

提供了基于由电子显示器系统或监视器检测的参数或条件调整用户偏好设置的技术和方法。在一些实施例中，显示器系统能够检测和/或确定用户的年龄。在另一实施例中，显示器系统能够检测和/或确定用户和显示器之间的距离。在又一实施例中，显示器系统能够或是单独或是组合前面所检测的年龄或距离条件来检测和/或确定环境光或用户的脸上的光的量。在一些实施例中，显示器系统能够识别用户的脸部，并能附加地识别用户的凝视或确定用户的瞳孔直径。

任何数目的用户偏好或显示器设置可基于由显示器所检测的或所确定的参数或条件来动态调整。例如，在一个实施例中，可显示的内容或用户隐私设置可基于用户的所检测的年龄来调整。在另一个实施例中，可基于用户的所检测的年龄来限制能够被显示的内容或文件的类型。在一些实施例中，具体用户被独个识别，并且可显示的内容和/或隐私设置能被独个定制到由显示器识别的具体个人。在一些实施例中，用户定时器能确定什么时间预先确定的时间限制已经被超过，并指示给用户不继续使用显示器。附加地，当用户以一种能够导致受伤、疼痛、或不舒服的方式坐着或倾斜时显示器能指示用户。在一些实施例中，屏幕的亮度可基于用户的所检测的年龄、用户的瞳孔直径、环绕用户或在用户脸上的环境光、用户与显示器之间的距离或上述所有条件的任何逻辑组合而被自动调整。

图9图示了具有屏幕902和多个传感器904的显示器900，诸如计算机监视器、电视显示器、蜂窝电话显示器、平板显示器、或膝上型计算机显示器。传感器可包括，例如，成像传感器(诸如包括CCD或CMOS传感器的相机)、闪光灯或其他形式的照亮，和/或任何其他被配置来检测图像对象的传感器，诸如超声、红外(IR)、热传感器、或环境光传感器。这些传感器可被布置于或集成于显示器内，或备选的，传感器可与显示器分离。任意数目的传感器可被包括在显示器内。在一些实施例中，可使用传感器的组合。例如，在一个实施例中，相机，闪光灯和红外传感器都可被包括在显示器中。应理解的是，任何组合或数目的传感器可被包括在显示器上或附近。如图9中所示，用户906被示出为处于显示器900前，在传感器904的视场或检测范围内。

各种实施例涉及安装在显示器上或附近的相机，显示器与被编程以检测，跟踪和/或识别脸部或部分脸部，或脸部区域(诸如一个或两个眼睛，或嘴巴区域，或脸部表情或姿势(诸如微笑或眨眼))的处理器耦合。在一些实施例中，处理器被集成在显示器内或布置于显示器上。在其他实施例中，处理器与显示器分离。处理器可包括被配置为接收来自传感器的信号并处理信号的软件和存储器。某些实施例包括使用传感器感测用户或用户的特征并基于诸如朝向、姿态、倾斜、色调、色彩平衡、白平衡、相对或完全曝光、脸部尺寸或包括眼睛或眼睛区域(诸如瞳孔、虹膜、巩膜或眼睑)的尺寸的脸部区域尺寸、聚焦条件和/或相机或显示器与脸部之间的距离确定关于脸部的参数。在此方面，通过引用并入于此的下面内容公开了可与在此描述的实施例的特征或实施例组合的备选实施例和特征：每个都是同一受让人的2011年2月25日提交的美国专利申请13/035,907、2010年9月16日提交的12/883,183和2010年11月11日提交的12/944,701，以及美国专利7,853,043、7,844,135、7,715,597、7,620,218、7,587,068、7,565,030、7,564,994、7,558,408、7,555,148、7,551,755、7,460,695、7,460,694、7,403,643、7,317,815、7,315,631和7,269,292。

很多技术可被用来确定坐在显示器或监视器之前的用户的年龄。在一个实施例中，用户的年龄可基于用户的眼睛的尺寸、用户的虹膜的尺寸和/或用户瞳孔的尺寸来确定。

根据包括在显示器内的传感器，关于用户的图像或其他数据可由显示器使用传感器获取，例如用户的图像。关于获取日期的元数据，包括到用户或对象的距离、光圈、CCD或CMOS尺寸、镜头的聚焦长度和场的深度，可在获取时被记录在图像上或用图像记录。基于这个信息，显示器能确定眼睛、虹膜、瞳孔、红眼区域(如果使用闪光灯)的潜在尺寸的范围。

这种情况下的可变性不仅仅用于不同的个人，而且还用于基于年龄的可变性。幸运的是，在眼睛的情况下，眼睛的尺寸随着一个人从婴儿到成人的生长而相对恒定。这就是“大眼睛”的显著效果通常在婴儿或年轻儿童中被见到的原因。平均的婴儿的眼球测量从前到后大约在19.5毫米，并且如上所述，在人的一生中，平均长到24毫米。基于这一数据，在眼睛检测的情况下，视场中可能是瞳孔(其是虹膜的一部分)的对象的尺寸被限制，从而允许的一些可变性为：

9mm≤虹膜的尺寸≤13mm

如此，使用传感器904通过检测或确定用户的眼睛相对于其他脸部特征的尺寸，可以计算用户的年龄。关于用于基于眼睛、虹膜或瞳孔尺寸确定用户的年龄的方法和处理的进一步的细节可在DeLuca等人的美国专利7,630,006中找到。

在另一实施例中，人脸可被检测并依照研究对象的年龄分类(参见，例如Lobo等人的美国专利5,781,650)。多个图像处理技术可与关于脸部特征的人体测量数据组合以确定对特定脸部图像的年龄分类的估计。在优选的实施例中，脸部特征和/或眼睛区域使用数字图像内的人体测量数据验证。反分析法(reverseapproach)也可被采用并可涉及概率推理，也被称为贝叶斯统计。

除了确定用户的年龄外，显示器还能确定或检测用户到显示器的距离、凝视、或更具体地，用户看的位置和方向、用户的头部倾斜的姿势或量，和包括环境光和用户的脸部上的亮度的量的照明水平。关于如何确定用户与显示器的距离、用户的凝视、头部倾斜或方向和照明水平的细节也在DeLuca等人的美国专利7,630,006和美国申请13/035,907中被找到。

可使用IR传感器或超声传感器容易地确定距离。在其他实施例中，用户的图像可使用相机取得，并且用户的距离可通过比较所检测的脸部的相对尺寸与脸上的所检测的特征(诸如眼睛、鼻子、嘴唇等)的尺寸来确定。在另一实施例中，脸上特征的相对空间可与脸部的所检测尺寸进行比较以确定用户与传感器的距离。在又一实施例中，相机的焦距可被用来确定用户与显示器的距离，或备选地，焦距可与所检测的特征(诸如脸部的尺寸或用户的脸部特征的相对尺寸)组合以确定用户与显示器的距离。

在一些实施例中，确定用户的凝视可包括获取和检测包括含有一个或两个眼睛的脸部的至少一部分的数字图像。至少一个眼睛可被分析，并且可以确定眼球被眼睑的覆盖度。基于所确定的眼球被眼睑的覆盖度，可以确定垂直眼睛凝视的近似方向。对至少一个眼睛的分析可进一步包括确定水平凝视的近似方向。在一些实施例中，技术包括基于垂直凝视的至少部分的所确定的近似方向发起进一步动作或发起不同动作，或两者都包括。对一个或几个眼睛的分析可包括对来自该眼睛的光的反射的频谱分析。这可包括分析虹膜的至少一侧可见的巩膜的量。在其他实施例中，这可包括计算虹膜的相对一侧可见的巩膜的量的比例。

在一些实施例中，数字图像可被分析以确定脸部与正常时的角度偏移，并部分地基于角度偏移并部分地基于眼球被眼睑的覆盖度确定垂直眼睛凝视的近似方向。

一些实施例包括提取脸部的一个或多个相关的特征，其经常是高度可检测的。此类对象可包括眼睛和嘴唇，或鼻子、眉毛、眼睑，眼睛的特征(诸如瞳孔、虹膜和/或巩膜)、头发、前额、下巴、耳朵等。两个眼睛和嘴唇的中心的组合，例如可创建三角形，该三角形可被检测，不仅仅用于确定脸部的朝向(例如，头部倾斜)还确定相对于脸部拍摄的脸的旋转。可检测的特征的朝向可被用于确定脸部与正常时的角度偏移。图像的其他高度可检测部分可被贴标签，诸如鼻孔、眉毛、发线、鼻梁，和作为脸部的物理延伸的脖子。

环境光可使用环境光传感器或相机来确定。在其他实施例中，环境光可基于用户的瞳孔与他们的眼睛或其他面部特征的尺寸的相对尺寸来确定。

使用这些由显示器检测的包括年龄、眼睛、瞳孔以及虹膜尺寸、与显示器的距离、凝视、头部倾斜，和/或周围照明的设置或参数，可以动态调整或改变任何数目的用户偏好设置以适应具体的用户和设置。

在一个实施例中，可基于用户的所检测的年龄自动改变可显示的内容和隐私设置。参考图10，响应于检测到显示器1000前的儿童或年轻人，可以显示提示或符号1008以指示已检测到儿童或年轻人并且已经启用合适的可显示的内容和隐私设置以用于显示。在一个实施例中，如果在显示器前检测到儿童或年轻人，则可启用预设的隐私和过滤选项(即，由成人或管理员编程或选择的)以控制在显示器1000上所示的内容的类型。例如，可以加强web浏览器过滤以阻止年轻用户遭遇由家长或管理员视为年龄不合适的材料或内容(例如，色情，污秽语言，暴力等)。

确定什么年龄群组组成“儿童”、“年轻人”，和“成年人”，或“老年”人可由管理员预先编程或选择。无论如何，在一些实施例中，儿童可以是年龄低于15的人，年轻人可以是年龄从15-17的人，成年人可以是年龄从18-65的人，而老年人可以是年龄超过65的人。

附加地，根据所检测的用户的类别或年龄，已经包含在附接到显示器的计算机上的内容可被视为不可显示的。例如，如果显示器前的用户被确定为太年轻的话，则隐私财务文件、照片、视频，或其他敏感文档或数据可自动变为不可接入或不可显示的。如上所述，用于确定数据是否为不可接入或不可显示的年龄限制截止值可由管理员预先编程或选择。

除了基于用户的所检测的年龄改变可显示内容和/或隐私设置外，在一些实施例中，显示器可检测或识别具体独个用户并基于所检测的独个用户调整可显示内容，隐私设置和/或个人设置。参考图11A，第一用户(例如，用户1)被显示器识别并且用户的独个用户偏好、可显示内容和隐私设置将如由提示108所指示的自动被加载在显示器上。类似地，在图11B中，第二用户(例如，用户2)被显示器识别并且该用户的独个用户偏好、可显示内容和个人设定如由提示1108所指示的自动被加载在显示器上。鉴于这些设置可由用户或由其他人(例如父母或管理员)定制，应理解的是用户1的设置可能不同于用户2的设置。例如，管理员可改变对于系统的所有潜在用户的用户可显示内容和隐私设置，并且可输入每个用户的照片或每个潜在用户的其他可识别的特征。当用户处于显示器前时，显示器可取得用户的图像并与系统的已知用户比较，并基于所检测的用户自动调整可显示内容和隐私设置。

图12是具有用户计时器的显示器的视场中的用户的图示。在该实施例中，显示器可检测处于显示器前的用户的存在持续预先确定的时间限制，并使用提示或符号1208指示给用户用户在显示器前已经超过预先确定的时间限制。这可被使用，例如，以限制用户花费在显示器前的时间量，或鼓励频繁的休息(例如，用于锻炼，以减少眼睛疲劳等)。在一些实施例中，预先确定的时间限制可根据由显示器检测的用户的年龄而变化。例如，父母可能希望限制孩子花费在显示器前的时间量。在这个示例中，如果显示器检测到用户为儿童，则在预先确定的时间限制后，可显示指示符或符号以鼓励用户停止使用显示器。在另一实施例中，用户定时器指示符或符号1210能鼓励用户稍事休息，诸如以遵从要求雇员在某时间量后休息的本地、州或联邦规则。在一些实施例中，在到达预先确定的时间限制后，显示器可被自动关闭。附加地，显示器能保持关闭持续所编程的持续时间以阻止进一步的使用(例如，直到下一天，或直到在显示器可再被使用前已经过去预设时间段)。

除了确定用户在显示器前是否超过了预先确定的时间限制之外，显示器还可确定用户是否以一种可能导致受伤或不舒服的方式不合适地坐着或倾斜他或她的头。例如，参考图13，显示器可检测或确定用户1306正采用不良的姿势或倾斜着头凝视着显示器，其可潜在的导致疼痛、痉挛或其他不舒服。不合适的头部倾斜可被确定为与头部偏离于正常或垂直头部姿势的角度化的倾斜。在该实例中，显示器能示出人体工程学指示符或符号1312以通知或指示用户来纠正他或她的不合适的姿势或头部倾斜。该特征能够纠正否则将未察觉的用户中的不合适的姿势或头部倾斜，从而防止将来的疼痛、不舒服或受伤。

上述的脸部检测、眼睛检测、距离和年龄确定可被进一步用于与光照检测(例如，环境光检测或用户的脸部的照亮水平)组合以用于改变或调整附加用户偏好设置。在一个实施例中，可基于由显示器检测的环境光的量而改变显示亮度。进一步地，可被确定的是，年龄大的用户与年龄小的用户相比，要求更亮的屏幕，因此可根据用户的所检测的年龄自动调整屏幕的亮度。在另一实施例中，基于脸部的所检测亮度而检测环境光。在又一实施例中，显示器可检测瞳孔闭合比例并将其与脸部上的亮度水平和/或背景环境光水平相结合以确定屏幕的亮度水平。

例如，如果光在用户的脸部闪耀，那么用户的瞳孔将更加闭合并且他或她将需要更亮的屏幕。在这个示例中，可基于用户的脸部的亮度水平和/或用户的瞳孔尺寸自动加亮屏幕。另一方面，如果在用户的背景中存在高的环境光，但在用户的脸上不存在，那么用户的瞳孔将更加打开，但屏幕已经由背景光足够地照射并且不需要进行调整。在又一场景中，用户的脸部和用户的背景两者都黑暗或具有低的环境光，那么可能再次需要亮的屏幕并且可自动增加或调整显示器的亮度以进行补偿。

在又一实施例中，当附加的人进入传感器的视场时，或当未识别的用户进入视场时，可调整用户或屏幕私有性。在第一实施例中，如图14中所示，当第二用户1414和用户1406一起进入视场时，显示器1400的屏幕1402可被关闭。类似地，参考图15，如果用户1506未被显示器所识别，则可在显示器上显示指示符或符号1516以指示用户他或她未被识别。在该实施例中，显示器可被编程以在显示指示符1516后自动关闭，或备选地，可显示锁屏直到所识别的用户进入视场或直到未知的用户1506被给予到系统的访问权。

在又一附加实施例中，显示器可跟踪用户的凝视并仅仅照亮屏幕的对应于用户凝视的部分1518，如图16中所示。当读取多行文本时，显示器还能基于用户的眼睛跨屏幕的移动自我校准并基于用户的读取速度照亮屏幕的合适部分。

在又一实施例中，如图17中所示，当用户坐得太靠近显示器(即当显示器检测到与最优观看距离相比用户与显示器距离更近)时，显示器1700能使用指示符或图标1722指示给用户1706。

在一些实施例中，显示器能基于所检测的用户设置自动调整显示器的亮度或完全打开/关闭显示器以节省功率。

系统还能包括用于基于上述用户检测特征的功率节省的特征。功率节省处理可包括多个步骤。例如，如果经过预先确定的时间段显示器未识别显示器前的脸部和/或两个眼睛，则显示器可启动功率节省草案。在一个实施例中，可启动第一水平的功率节省。例如，当经过一个预先确定的时间段用户未被检测位于显示器的前面时，第一水平的功率节省可以是将显示器减暗设置的百分比。如果经过附加时间段，显示器持续未检测到用户的脸部和/或眼睛，则显示器可被完全关闭电源。该处理可具有多个中间功率水平步骤，其是系统管理员基于独个功率节省目标可配置的。

在另一实施例中，当显示器系统进入功率节省模式时，显示器系统的整个传感器系统和处理器可与显示器一起被关闭。传感器和处理器可被配置为偶尔打开一次(例如，在预先确定的时间段已经流逝后短暂地打开)，扫描脸部和/或眼睛，并且如果未检测到用户和/或眼睛就关闭。这在软件正运行在功耗大的处理器上的仅软件实现方式中非常有用。

具有动态字体管理的智能显示[图18-21]

提供基于由显示器系统或监视器设备检测的参数或条件调整用户偏好设置的技术和方法。在一些实施例中，显示器系统可检测和/或确定用户的年龄。在另一实施例中，显示器系统可检测和/或确定用户与显示器之间的距离。在又一实施例中，显示器系统可单独地或与上述所检测的年龄或距离条件相组合地检测和/或确定环境光或用户的脸部上的光的量。在一些实施例中，显示器系统可识别用户的脸部，并能附加地识别用户的凝视或确定用户的瞳孔直径。

可基于由显示器检测或确定的参数或条件动态调整任何数目的用户偏好或显示器设置。例如，在一个实施例中，可基于用户的所检测的年龄调整字体尺寸或图标尺寸。在另一实施例中，可基于用户与显示器之间的所检测的距离调整字体尺寸或图标尺寸。在一些实施例中，具体用户被独个识别，并且针对由显示器识别的具体个人可独个定制字体或图标尺寸。

图18图示了具有屏幕1802和多个传感器1804的显示器1800，诸如计算机监视器、电视显示器、蜂窝电话显示器、平板显示器、或膝上型计算机显示器。传感器例如可包括：诸如包括CCD或CMOS传感器的相机之类的成像传感器、闪光灯或其他形式的照明，和/或任何其他被配置用于检测图像对象(诸如超声、红外(IR))的传感器，或热传感器。这些传感器可被布置于显示器上或集成于显示器内，或备选地，传感器可与显示器分离。显示器内可包括任意数目的传感器。在一些实施例中，可使用传感器的组合。例如，在一个实施例中，相机、闪光灯和红外传感器都可被包括在显示器内。应理解的是，任何组合或数目的传感器可被包括在显示器上或附近。如图18中所示，用户1806被示出为位于显示器1800前，在传感器1804的视场或检测范围内。

各种实施例涉及安装在显示器上或附近的相机，显示器与被编程以检测，跟踪和/或识别脸部或部分脸部，或脸部区域(诸如一个或两个眼睛，或嘴巴区域)，或脸部表情或姿势(诸如微笑或眨眼)的处理器耦合。在一些实施例中，处理器被集成在显示器内或布置于显示器上。在其他实施例中，处理器与显示器分离。处理器可包括被配置为接收来自传感器的信号并处理信号的软件和存储器。某些实施例包括使用传感器感测用户或用户的特征并确定关于诸如朝向、姿态、倾斜、色调、色彩平衡、白平衡、相对或完全曝光、脸部尺寸或包括眼睛或眼睛区域(诸如瞳孔、虹膜、巩膜或眼睑)的尺寸的脸部的参数，聚焦条件和/或相机或显示器与脸部之间的距离。在这点上，通过引用并入于此的下面内容公开了可与在此描述的实施例的特征或实施例组合的备选实施例和特征：每个都是同一受让人的2011年2月25日提交的美国专利申请13/035,907，2010年9月16日提交的12/883,183和2010年11月11日提交的12/944,701，以及美国专利7,853,043、7,844,135、7,715,597、7,620,218、7,587,068、7,565,030、7,564,994、7,558,408、7,555,148、7,551,755、7,460,695、7,460,694、7,403,643、7,317,815、7,315,631和7,269,292。

很多技术可被用来确定坐在显示器或监视器之前的用户的年龄。在一个实施例中，可基于用户的眼睛的尺寸，用户的虹膜的尺寸和/或用户瞳孔的尺寸来确定用户的年龄。

根据包括在显示器内的传感器，关于用户的图像或其他数据可由显示器使用传感器获取，例如用户的图像。关于获取日期的元数据，包括到用户或对象的距离、光圈、CCD或COMS尺寸、镜头的焦距和场的深度，可在获取时被记录在图像上或用图像记录。基于这个信息，显示器能确定眼睛、虹膜、瞳孔、或红眼区域(如果使用闪光灯)的潜在尺寸的范围。

这种情况下的可变性不仅仅用于不同的个人，而是还用于基于年龄的可变性。幸运的是，在眼睛的情况下，眼睛的尺寸随着一个人从婴儿到成人的生长而相对恒定。这就是“大眼睛”的显著效果通常在婴儿或年轻儿童中被见到的原因。平均的婴儿的眼球的测量从前到后大约在19.5毫米，并且如上所述，在人的一生中，平均长到24毫米。基于该数据，在眼睛检测的情况下，当允许一些变化性为以下时，作为瞳孔(其是虹膜的一部分)的对象的尺寸被限制：

9mm≤虹膜的尺寸≤13mm

如此，通过使用传感器1804检测或确定用户的眼睛的尺寸，可计算用户的年龄。关于用于基于眼睛、虹膜或瞳孔尺寸确定用户的年龄的方法和处理的进一步的细节可在DeLuca等人的美国专利7,630,006中找到。

在另一实施例中，人脸可被检测并依照研究对象的年龄分类(参见，例如Lobo等人的美国专利5,781,650)。多个图像处理技术可与关于脸部特征的人体测量数据组合以确定对特定脸部图像的年龄分类的估计。在优选的实施例中，脸部特征和/或眼睛区域使用数字图像内的人体测量数据验证。反分析法也可被采用并可涉及概率推理，也被称为贝叶斯统计。

除了确定用户的年龄外，显示器还能确定或检测用户到显示器的距离、凝视、或更具体地，用户看的位置和方向、用户的头部倾斜的姿势或量，和包括环境光和用户的脸部上的亮度的量的照明水平。关于如何确定用户与显示器的距离、用户的凝视、头部倾斜或方向和照明水平的细节也在DeLuca等人的美国专利7,630,006和美国申请13/035,907中被找到。

可使用IR传感器或超声传感器容易地确定距离。在其他实施例中，用户的图像可使用相机取得，并且用户的距离可通过比较所检测的脸部的相对尺寸与脸上的所检测的特征(诸如眼睛、鼻子、嘴唇等)的尺寸来确定。在另一实施例中，脸上特征的相对空间可与脸部的所检测尺寸进行比较以确定用户与传感器的距离。在又一实施例中，相机的焦距可被用来确定用户与显示器的距离，或备选地，焦距可与所检测的特征(诸如脸部的尺寸或用户的脸部特征的相对尺寸)组合以确定用户与显示器的距离。

在一些实施例中，确定用户的凝视可包括获取和检测包括含有一个或两个眼睛的脸部的至少一部分的数字图像。至少一个眼睛可被分析，并且可以确定眼球被眼睑的覆盖度。基于所确定的眼球被眼睑的覆盖度，可以确定垂直眼睛凝视的近似方向。对至少一个眼睛的分析可进一步包括确定水平凝视的近似方向。在一些实施例中，技术包括基于垂直凝视的至少部分的所确定的近似方向发起进一步动作或发起不同动作，或两者都包括。对一个或几个眼睛的分析可包括对来自该眼睛的光的反射的频谱分析。这可包括分析虹膜的至少一侧可见的巩膜的量。在其他实施例中，这可包括计算虹膜的相对一侧可见的巩膜的量的比例。

在一些实施例中，数字图像可被分析以确定脸部与正常时的角度偏移，并部分地基于角度偏移并部分地基于眼球被眼睑的覆盖度确定垂直眼睛凝视的近似方向。

一些实施例包括提取脸部的一个或多个相关的特征，其经常是高度可检测的。此类对象可包括眼睛和嘴唇，或鼻子、眉毛、眼睑，眼睛的特征(诸如瞳孔、虹膜和/或巩膜)、头发、前额、下巴、耳朵等。两个眼睛和嘴唇的中心的组合，例如可创建三角形，该三角形可被检测，不仅仅用于确定脸部的朝向(例如，头部倾斜)还确定相对于脸部拍摄的脸的旋转。可检测的特征的朝向可被用于确定脸部与正常时的角度偏移。图像的其他高度可检测部分可被贴标签，诸如鼻孔、眉毛、发线、鼻梁，和作为脸部物理延伸的脖子。

环境光可使用环境光传感器或相机来确定。在其他实施例中，环境光可基于用户的瞳孔与他们的眼睛或其他面部特征的尺寸的相对尺寸来确定。

使用这些由显示器检测的包括年龄、眼睛、瞳孔以及虹膜尺寸、与显示器的距离、凝视、头部倾斜，和/或周围照明的设置或参数，可以动态调整或改变任何数目的用户偏好设置以适应具体的用户和设置。确定什么年龄群组组成“儿童”，“年轻人”，和“成年人”，或“老年”人可由管理员预先编程或选择。无论如何，在一些实施例中，儿童可以是年龄低于15的人，年轻人可以是年龄从15-17的人，成年人可以是年龄从18-65的人，而老年人可以是年龄超过65的人。

在一个实施例中，可基于用户的所检测的年龄动态改变显示器1800上显示的字体的尺寸。现在参考图19A-图19B，在图19A中，用户1906被检测为年龄大的用户，并且如此的话，可基于确定用户的年龄而自动增加字体1908的尺寸。类似地，在图19B中，用户被检测为年龄小的用户，并且因此，可基于确定用户的年龄而自动减小字体1908的尺寸。

类似地，除了基于用户的所检测的年龄动态改变字体的尺寸之外，显示器还可基于对用户的年龄确定自动改变系统图标的尺寸。参考图20A-图20B，在图20A中，用户2006被检测为年龄大的用户，并且如此的话，可基于对用户的年龄确定而自动增加系统图标2010的尺寸。类似地，在图20B中，用户被检测为年龄小的用户，并且因此，可基于对用户的年龄确定而自动减小系统图标2010的尺寸。

除了基于用户的所检测的年龄改变字体或图标的尺寸之外，显示器还可基于用户与显示器之间所检测的距离自动改变字体和/或图标尺寸。现在参考图21A-图21B，在图21A中，随着用户2106与显示器2100之间的距离2112增加，在显示器上的字体2108和/或图标2110的尺寸可增加以辅助可视化。类似地，在图21B中，随着用户2106与显示器2100之间的距离2112减小，在显示器上的字体2108和/或图标2110的尺寸可减小。在一个实施例中，用户与显示器的最优距离可被预编程(例如对于24″屏幕而言＞80cm)，并且显示器可被配置为对于用户远离或朝向显示器移动的每cm或inch，分别自动增加或减小字体尺寸预先确定的百分比。在一些实施例中，显示器可同时考虑用户的年龄和用户与显示器的距离以确定字体和/或图标的尺寸。在一些实施例中，显示器系统可检测用户对于浏览显示器是否存在困难，诸如通过用户的所检测年龄、他的更接近显示器的移动、他与显示器的距离、所检测的斜视等。一旦检测到浏览问题，则系统可在响应中自动增大字体和/或图标的尺寸。

字体和/或图标的尺寸被改变的量可由用户或管理员调整。例如，当独个用户坐在一定距离时其可优选比正常更大的字体，或当坐得靠近时选择更小的字体。图标基于距离和/或年龄改变的量可完全由用户或系统的管理员定制。

在此描述的实施例可适用于电视、台式计算机监视器、膝上型计算机监视器、平板设备、诸如智能手机之类的其他移动设备和具有显示器的其他电子设备上的使用。

使用图像分析模块的人体工程学反馈

在此后将参考附图更全面地描述示例性实现方式；然而，它们可以不同形式具体化并且本主题不应被解释为限制到在此阐明的示例。相反，提供这些示例使得本公开将更彻底和完整并且将完全向本领域技术人员表达本主题。

图22是示出了使用在与计算机系统2205一起使用的显示器2204中的示例性的人体工程学传感器模块2202的框图。计算机系统可包括台式计算机、膝上型计算机、服务器、游戏系统、移动设备，或其他计算设备驱动显示器2204。显示器2204当然可包括任何合适的显示器类型，包括但不限于LCD、等离子体、CRT，或其他显示器乃至电视机。传感器模块2202被定位以使得其能够产生显示设备2204的用户2206的图像数据。在该示例中，传感器模块2202处于显示器2204的构件2204A(诸如显示器前框或外壳)上或内部，。传感器模块2202可处于相对于显示器2204来说任何适合的位置并且甚至可以与显示器分开定位。用户2206可以是坐着、站着或以别的方式接近显示器2204。

如在插图中所示，传感器模块2202包括一个或多个图像感测设备(传感器2208)，处理单元2210和输入/输出接口2212。例如，传感器2208可包括CMOS或其他可用于提供静止和/或视频图像数据的图像感测技术。处理单元2210可包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)，或可配置用于从传感器2208采样数据并经由I/O接口2212提供输出的其他硬件逻辑。

处理单元2210被配置为从图像感测设备获得图像数据，并在该示例中，分析图像数据以基于访问定义显示设备的人体工程学使用范围的预定义数据确定图像数据是否指示显示器的用户正在人体工程学使用范围内使用显示器。在该示例中，处理单元2210进一步对接到存储器2214，其代表任何适合的非瞬时计算机可读介质并包括配置处理单元2210以获得并分析数据的人体工程学分析例程2216的程序代码。例如，存储器2214可包括RAM、ROM、高速缓冲存储器，或其他存储器或存储设备(例如磁盘、光盘、闪存等)。然而，如以上所提到的，实现方式可使用基于硬件的方法(例如ASIC、可编程逻辑阵列，或使得处理单元2210执行分析并生成输出的其他硬件逻辑)。

在一些实现方式中，I/O接口2212连接到显示设备2204并且处理单元2210进一步被配置为响应于确定图像数据指示显示器的用户未在人体工程学使用范围内使用显示器来使用显示设备输出反馈消息2218。例如，人体工程学分析例程2216能指引处理单元2210以使用I/O接口来显示报警消息2218而不由计算机2205干涉或处理。

计算机2205包括处理器2218、存储器2220和其他常规计算机组件(例如，总线、网络接口、显示器接口、存储介质等)。在一些实施例中，人体工程学分析例程2217由计算机2205附加地或替代人体工程学分析例程2216而执行。例如，包括传感器2208、处理单元2210和I/O接口2212的人体工程学传感器模块可简单地向人体工程学分析例程2217提供图像数据。在一些实施例中，网络摄像头或其他成像设备用作人体工程学传感器模块2202。

图23是示出了集成于显示器的构件中的人体工程学传感器模块2302的示例的图。在该示例中，传感器模块2302的部件安放在显示器2304的前框中并在显示器的前面具有孔以对用户成像。例如，人体工程学传感器模块2302可被配置为内置网络摄像头，其向在与显示器2304对接的计算机2305(未示出)处主控的人体工程学分析例程2317提供图像数据。然而，传感器模块2302可包括足以主控人体工程学分析例程2316并直接使用显示器2304提供输出的处理能力。尽管模块2302被集成于显示器前框内，模块2302也可被集成于其他构件中(例如显示器底座、屏幕自身中等)。

图24是示出了在与计算机2405对接的显示器2404外部使用的人体工程学传感器模块2402的示例的图。在该示例中，人体工程学传感器模块2402包括网络摄像头。例如，网络摄像头可通过USB或其他接口提供图像数据以由计算机2405的处理器使用来分析和确定合适的反馈。网络摄像头可被接附于或定位于显示设备2404上，诸如在显示设备的顶部、显示设备的前面等。当然，网络摄像头也可以位于显示设备的边上或其他地方。计算机2405可被提供有软件或固件(在非易失性计算机可读介质中具体化)从而使得计算机2405基于来自网络摄像头的图像数据执行一些或全部人体工程学分析。

上面所示的网络摄像头和集成形式因素和位置仅仅用于举例目的。成像设备可定位在任何合适的点来提供显示器2404的用户的图像。在一些实现方式中，成像设备被定位以捕获代表如从显示器2404看到的用户的图像的光(例如，使用捕获头朝向于显示器的前面的光的传感器或光学器件)。

图25是示出了当使用人体工程学传感器模块时执行的例示性方法2500的步骤的流程图。例如，方法2500可基于图像数据由模块2502实施的人体工程学分析例程2516执行和/或可由计算机2505实施的人体工程学分析例程2517执行。传感器模块可在执行软件或固件的过程中执行方法2500。然而，方法2500也可在基于硬件的实现方式中实施，诸如由硬件逻辑(诸如专用集成电路(ASIC)、可编程逻辑阵列(PLA)、逻辑门的排列)，或可获得输入值(例如像素值)并处理输入值以确定输出(例如，像素值是否指示人体工程学使用)的其他硬件实施。实际上，方法2500或其他图像分析方法可以在周期性或连续的基础上被执行以向一个或多个用户提供实时反馈。

块2502代表从图像感测设备(例如，图像传感器)获得图像数据。例如，该块可包括从图像感测设备存取图像数据，以及确定图像数据描绘了显示设备的用户。如果用户不存在，则例程的剩余部分不需要被执行。用户的存在可通过分析视场来确定，诸如使用运动检测算法、背景图像与图像数据的比较、脸部检测，或以一些其他方式。在一些实现方式中，可以例如通过使用脸部检测识别多个用户。

一般而言，块2504-块2508代表分析图像数据以基于定义显示设备的人体工程学使用范围的预定义数据确定图像数据是否指示了显示器的用户正在人体工程学使用范围内使用显示器。如果识别了多个用户，则例程可确定每个用户是否正在进行显示器的人体工程学使用。然而，在一些实施例中，分析图像包括选择用户之一(例如，主要用户)以确定那个用户是否正在进行人体工程学使用。例如，可通过确定在给定的瞬时成像系统所看到的最大脸部尺寸来选择用户。

块2504代表存取定义对于显示设备的一个或多个人体工程学使用范围的数据。人体工程学使用范围可被定义为人体工程学度量的各种参数的范围。人体工程学度量被用于对用户的姿态和周围使用条件进行特征化。在块2506，一个或多个图像分析算法被应用到图像数据以确定针对对应人体工程学度量的参数值，并且在块2508，将参数值与人体工程学使用范围比较以确定对于一个或多个人体工程学度量来说，用户是否在人体工程学使用范围内。

在一些实现方式中，分析数据以确定对于一个或多个以下人体工程学度量来说的参数值，参数值与下面所列的人体工程学使用范围进行比较。然而，提供这些度量和范围仅仅是为了示例的目的。实施例可使用附加的人体工程学度量和/或人体工程学使用范围以适合特定需要。

可以任何合适的方式分析图像数据以服从人体工程学度量的参数值。例如，在一些实现方式中，分析包括使用脸部识别算法以确定用户的脸部处于图像中的什么地方。使用脸部识别算法可允许传感器模块独立于用户的脸部的形状分析显示器的使用(例如，不考虑用户的脸是否是椭圆的、方形的，或一些其他形状)。算法寻找肤色和脸部特征的检测(诸如眼睛、嘴唇/嘴的位置)以确定人的存在并且因此独立于脸部自身的实际形状。基于用户的脸部的位置，图像的脸部部分可受附加分析算法的作用以确定各种人体工程学度量的参数值。

附加地，通过使用图像分析，人体工程学使用的问题可独立于用户的预捕获姿势数据或要求用户匹配一些预定义的姿势或位置而被解决。作为替代，图像数据自身被用于确定用户在图像中的可检测的特征和/或在图像中可检测的周围条件是否与人体工程学使用一致(或不一致)，不需要用户的复杂建模。算法使用对瞳孔间距离的测量(两个眼睛的中心之间的距离)以检测脸部与显示器的距离并使用相同的度量来确定脸部是否具有偏航/倾斜/滚转角。

例如，与监视器的距离可通过标识图像中的特征(例如，用户的眼睛)而被确定。基于指示传感器模块的位置的数据，用户的距离和角度可使用来自用户的眼睛或者甚至来自用户的整个脸部的视差或三角测量来估计。

在一个实现方式中，特征识别算法基于分析图像以标识用户眼睛下的阴影来定位用户的眼睛。特别地，可估计图像的像素强度值以标识可对应于阴影的更黑暗区域；如果更黑暗区域是形状类似的并且是隔开可接受的距离，那么特征识别算法可推断用户的眼睛处于阴影之上。

识别用户眼睛的图像分析可被用来确定用户是否已经盯视太久而未眨眼。例如，眨眼识别算法可分析一系列图像以确定用户的眼睛已经保持打开了多久(即在一系列图像中存在)。如果用户的眼睛在阈值时间段已经过去后还没有眨，则可提供报警或其他反馈。

在一些实现方式中，用户的眼睛、脸部，和/或其他区别特征可被用来确定同一用户是否已保持接近显示器(例如在显示器之前)而没有休息。例如，阈值时间段可被定义用于对显示器的人体工程学使用。通过分析用户持续存在的时间长度，传感器模块可确定用户是否超过了阈值并且应该稍事休息。算法还可寻找最小休息持续时间以保证用户离开显示器持续最小时间段。

在一些实现方式中，分析图像数据以确定关于用户脸部相对于显示器(例如，相对于显示器的平面)的空间位置的信息。例如，用户脸部相对于显示器的一个或多个滚转角、偏航角或倾斜角基于所确定的角度确定用户的脸部是否在人体工程学使用范围内。滚转角，倾斜角或偏航角可被定义为指示用户的脸部的平面相对于显示器的平面的转动的角度。

图26图示了用户相对于显示器的偏航角。偏航角测量用户向右或左偏离了显示器上的点有多远。如图26中所示，偏航角是当从显示器的顶部或底部看时在从用户到显示器上点延伸的线和从显示器的点延伸的垂直线之间的角度。例如，用户和显示器之间的线可包括接近于用户的眼睛之间的用户上的点和显示器的中点。

图27图示了用户相对于显示器的俯仰角。俯仰角测量用户向上或下偏离显示器上点有多远。如图27中所示，俯仰角是当从显示器的侧面看时在从用户到显示器上点延伸的线和从显示器上的点延伸的垂直线之间的角度。例如，用户和显示器之间的线可包括接近于用户的眼睛附近的点的用户上的点和显示器的顶部的点。

可使用搜索对应于太亮或太暗的强光和/或环境光的强度模式的图像的算法来识别强光和环境光。例如，图像的平均强度可被找到和衡量以确定环境光条件的参数值。来自监视器的强光可通过搜索图像中以下这样的区域而被标识，可分析在该区域中强度峰值(例如，用户的脸部的区域，诸如用户的面颊/前额)以确定用户的脸部是否反射大量的光。通过以持续基础分析跨整个图像的强度值，执行人体工程学分析例程的处理单元可独立于环境照明条件的改变而确定人体工程学使用。跨图像的所测量的强度被阈值化以确定低光照条件。算法拾取接近于用户的脸部的图像区域以及以上区域以移除降低平均强度值的用户的暗装效果。

朝向监视器的强光可通过分析图像传感器面向用户的高背光呈现的图像而被标识，如果用户是背光的(即脸部区域具有比环绕用户的脸部的区域更低的像素强度)，则朝向监视器的强光可能存在。强度差异可被用于确定参数值以与针对强光的人体工程学使用范围相比较。

如上所示，在块2708，人体工程学分析例程确定用户是否处于一个或多个人体工程学使用范围内，诸如通过比较根据图像计算的参数值与定义使用范围的所存取的数据，人体工程学分析例程可确定用户是在显示器的人体工程学使用限制内、外还是附近。

人体工程学分析例程使用具有多个朝向的显示器操作。例如，一些显示器允许用户旋转显示器大约90度从而使得在一个朝向上显示器比它是高时更宽，通常被称为横向，并且在第二朝向上显示器比它是宽时更高，通常被称为纵向。人体工程学分析例程确定显示器的朝向并且如果必要的话，基于该朝向进行调整。在一个实现方式中，人体工程学分析例程监视控制信号并从控制信号的状态或水平确定显示器的朝向。

块2710代表提供用于反馈消息的输出数据。用于反馈消息的格式，内容和触发标准可变化，并且在一些实现方式中向消息实时提供图像分析。作为一个示例，如果分析示出用户在人体工程学使用范围之外，则可提供反馈消息，消息指示哪个量度(例如距离、角度、缺乏眨眼、环境光等)或哪几个度量被“违反了”。这样可允许用户进行纠正动作。

还可提供反馈来指示何时用户靠近人体工程学使用范围的边缘。例如，如果用户几乎太接近于或远离显示器(例如，距离极限3-4cm)，则提供警告以允许纠正动作。再进一步，当用户在人体工程学使用范围内时也可提供反馈，例如为了加强有益的使用。

反馈消息的格式可如上所述进行的变化，在一个实现方式中，通过发送数据到显示器2704来提供视觉消息。例如，可生成具有文本或图形的弹出窗口或覆盖图。其他示例包括声音或其他反馈。

取决于特定的实现方式，反馈消息的数据可通过传感器模块2702自身或由计算机2705来提供。例如，在一个实现方式中，模块2702被集成于显示器内部并且可直接向显示器提供消息同时部分或完全隐藏由计算机2705提供的其他数据(例如，可以在来自计算机2705的所显示的数据(如果有)的上面渲染的覆盖图的方式提供消息)。然而，在一些实现方式中，由模块2702执行的人体工程学分析例程2716提供指示要生成的输出消息的数据并且计算机2705利用由计算机2705所主控的对应人体工程学分析例程2717来渲染窗口或以其他方式提供消息。再进一步，模块2702可简单地提供图像数据，由计算机2705所主控的分析例程2717分析图像数据，其也渲染窗口或以其他方式提供消息。

上述使用人体工程学传感器模块2702的几个示例利用一个传感器。将理解的是，可在一个模块2702中使用多个传感器，并且可针对单个显示器或同时针对多个显示器使用多个模块2702。

任何合适的一个或多个非瞬时计算机可读介质可被用于实施或实践当前公开的主题，它们包括，但不限于磁盘、驱动、基于磁的存储介质、光存储介质(例如，CD-ROM，DVD-ROM和其变形)、闪存、RAM、ROM、寄存器存储设备、高速缓冲存储器和其他存储器设备。例如，实现方式包括(但不限于)对使得处理器执行在此阐明的方法和/或在包括(但不限于)在此讨论的示例的实现方式的操作期间被执行的操作的指令进行具体化的非瞬时计算机可读介质。

本主题可由任何基于命令执行一系列操作的计算设备实施。这样的硬件电路或单元包括访问存储在计算机可读介质上的指令的通用和专用处理器，该指令使得处理器执行如在此讨论的操作和配置以执行在此讨论的操作的硬件逻辑(例如，专用集成电路(ASIC)、现场可编程门阵列(FPGA)、可编程逻辑阵列(PLA))。

尽管已经描述和图示了本发明的示例性图和具体实施例，可被理解的是，本发明的范围并不限于所讨论的特定实施例。因此，实施例将被认为是例示性的而不是限制性的，并且应该理解的是在那些实施例中可由本领域技术人员作出各种变形而不脱离如在随后的权利要求中所阐明的本发明和它们结构性和功能性等价物的范围。

此外，在可根据优选的和备选的实施例和这里的权利要求执行的方法中，已经在所选的印刷序列中描述了操作。然而，已经为了方便印刷对序列进行了选择和排序，但是并不旨在暗示任何用于执行操作的特定顺序，除非特定的顺序被清楚地指示为需要的或由本领域技术人员理解为是必要的。

Claims (1)

1.一种手持式支持相机的视频会议设备，包括：

外壳，配置为在用户的手中持有；

处理器，在所述外壳内；

存储器，在所述外壳内，具有嵌入在其中的代码，用于对所述处理器进行，包括视频会议、脸部检测、脸部识别和相关联的图像处理部件，并且其中所述存储器进一步包含与一个或多个具体用户身份相关联的脸部数据；

显示器，被构筑于所述外壳内并被配置为在视频会议期间对于用户是可浏览的；以及

相机，被构筑于所述外壳内并被配置为当所述用户浏览所述显示器时捕获所述用户的图像，包括红外(IR)光源和用于在低光照条件或不均匀光照条件或两者都包括的条件下捕获所述用户的图像的IR敏感图像传感器，以允许所述脸部检测部件来检测所述用户的脸部；以及

其中所述脸部检测部件被配置为把用户的具体身份与所检测的脸部相关联；以及

其中所述图像处理部件依照所述用户的所述具体身份用存储在所述存储器中的脸部数据替换所检测到的脸部的脸部数据，以增强在低光照条件或不均匀光照条件或两者都包括的条件下捕获的所述所检测的脸部的图像并传送到远程视频会议参会者。