CN102467661A

CN102467661A - 多媒体设备及其控制方法

Info

Publication number: CN102467661A
Application number: CN2011100826446A
Authority: CN
Inventors: 朴成洙; 金泰亨; 林京荣; 金相起; 姜敏九
Original assignee: LG Electronics Inc
Current assignee: LG Electronics Inc
Priority date: 2010-11-11
Filing date: 2011-04-01
Publication date: 2012-05-23
Anticipated expiration: 2031-04-01
Also published as: EP2453386A1; EP2453386B1; US9025023B2; US20120120271A1; CN102467661B

Abstract

一种多媒体设备及其控制方法，该多媒体设备包括：第一图像传感器，其获取第一图像；第二图像传感器，其获取第二图像；以及处理器，其确定所述第一图像中人的坐标信息，并基于所述坐标信息来提取所述第二图像中所述人的特征。所述第一图像传感器和所述第二图像传感器具有重叠的视场，所述坐标信息提供与所述人的距离的指示，并且所述处理器将提取的特征与参考信息进行比较，并基于所述比较识别所述人。

Description

多媒体设备及其控制方法

技术领域

这里描述的一个或更多个实施方式涉及显示设备。

背景技术

为了满足消费者需求并提供新产品和服务，提出了各种各样的显示设备。这些设备包括高清电视、计算机监视器和移动终端，以及无数其它设备。尽管它们在商业上很成功，但仍需许多改进。

发明内容

相应地，本发明致力于一种多媒体设备、具有不同类型的多个图像传感器及其控制方法，基本上排除了由于现有技术的限制和缺点导致的一个或更多个问题。

本发明的一个目的是提供一种通过利用多个异质图像传感器精确识别位于多媒体设备的周围的用户的技术方案。

本发明的另一个目的是提供了一种设计方法，该方法能同时考虑识别距离和识别性能，解决了与多媒体设备交互的摄像机的识别过程中出现的问题。

本发明的附加特征和优点将在下面的描述中进行阐述，并且部分内容在本领域技术人员阅读以下说明书后变得明显，或通过本发明的实践而获悉。本发明的目的和其它优点将通过书面说明书及其权利要求以及附图中具体指出的结构实现并得到。

为了实现这些和其它优点，并且根据本发明的目的，如实施和广义描述的，根据本发明的一种实施方式的用于控制使用多个异质图像传感器的多媒体设备的方法包括以下步骤：利用第一图像传感器拍摄位于多媒体设备周边的第一图像，从拍摄的第一图像提取深度数据，利用提取的深度数据检测至少一个用户的脸部，利用第二图像传感器拍摄关于被检测用户脸部的第二图像，从拍摄的第二图像提取特征信息，访问存储与提取的特征信息相对应的数据的存储器，并提取存储在存储器中的、用于识别特定用户的信息。

在本发明的另一方面，根据本发明一个实施方式的识别至少一个用户的多个异质图像传感器包括：发射器，将光发射到位于多媒体设备周边的至少一个用户；第一图像传感器，利用发射的光拍摄第一图像、从拍摄的第一图像提取深度数据、并利用提取的深度数据检测至少一个用户的脸部；第二图像传感器，拍摄关于被检测用户脸部的第二图像、并从拍摄的第二图像提取特征信息；以及接口，将提取的特征信息发送到多媒体设备。

根据本发明的一个实施方式，提供了一种利用多个异质图像传感器来精确地识别位于多媒体设备周边的用户的方案。

此外，根据本发明的另一实施方式，提供了一种设计方法，该方法能同时考虑识别距离和识别性能，解决了与多媒体设备交互的摄像机的识别过程中出现的问题。

应该理解，前面的一般描述和下面的详细描述是示例性和说明性的，意图如要求保护的那样提供对本发明的进一步说明。

附图说明

图1示出了多媒体系统的一种实施方式。

图2示出了系统中的多媒体设备的一个示例。

图3示出了使用多个异质图像传感器和摄像机拍摄画面的多媒体设备。

图4示出了结合多个异质图像传感器使用检测和识别数据的过程。

图5示出了数据库中存储的脸部矢量列表。

图6示出了根据硬件和软件与多媒体设备交互的多个异质图像传感器的操作。

图7示出了包括多个异质图像传感器和多媒体设备的一个实施方式。

图8示出了包括多个异质图像传感器和多媒体设备的另一实施方式。

图9示出了包括多个异质图像传感器的另一实施方式。

图10示出了图像传感器的一个示例。

图11示出了图像传感器的另一示例。

图12示出了用于使用图像传感器计算距离的方法。

图13示出了由图像传感器拍摄的图像。

图14示出了另一图像传感器。

图15示出了通过使用多个异质图像传感器的多媒体设备来识别用户的过程。

图16示出了执行为识别的用户定制的功能的过程。

图17示出了通过使用多个异质图像传感器的多媒体设备识别多个用户的过程。

图18示出了执行为多个识别的用户定制的功能的过程。

图19-图21示出了登记新用户的过程。

图22示出了使用多个异质图像传感器来识别用户的方法的一个实施方式。

图23示出了使用多个异质图像传感器来识别用户的方法的另一实施方式。

图24示出了通过多个异质图像传感器拍摄基于用户第一姿态的深度图像和彩色图像的场景。

图25示出了通过多个异质图像传感器拍摄基于用户第二姿态的深度图像和彩色图像的场景。

图26示出了通过多个异质图像传感器拍摄基于用户第三姿态的深度图像和彩色图像的场景。

图27示出了存储基于图24-图26的场景生成的根据姿态信息的各用户的特征信息的数据库。

图28示出了通过第一图像传感器拍摄用户的第一身体信息的场景。

图29示出了通过第一图像传感器拍摄用户的第二身体信息的场景。

图30示出了通过第一图像传感器拍摄用户的第三身体信息的场景。

图31示出了通过第一图像传感器拍摄特定用户的第四身体信息的场景。

图32示出了存储基于图28-图31拍摄的场景生成的多个用户的身体信息的数据库。

图33示出了使用多个异质图像传感器来识别用户的方法的一个实施方式。

图34示出了使用多个异质图像传感器来识别用户的方法的另一实施方式。

图35示出了使用多个异质图像传感器来识别用户的方法的另一实施方式。

图36示出了使用多个异质图像传感器来识别用户的方法的另一实施方式。

具体实施方式

图1示出包括形式为连接的电视的多媒体设备的多媒体系统的一个实施方式。该系统包括内容提供商(CP)10、服务提供商(SP)20、网络提供商(NP)30和家庭网络终端用户(HNED)40。HNED 40例如对应于作为多媒体设备的客户100。

内容提供商10生产各种内容并提供这些内容。如图1所示，内容提供商10的示例包括地面广播商、有线电视系统运营商(SO)、多系统运营商(MSO)、卫星广播商和互联网广播商。并且，内容提供商10可提供除广播内容之外的各种应用程序。

服务提供商20能通过对内容提供商10提供的内容进行服务包装来提供内容。例如，图1的服务提供商20能包装第一地面广播、第二地面广播、有线电视MSO、卫星广播、各种互联网广播、应用程序等，并将包装的内容提供给用户。

网络提供商30可提供用于向客户100提供服务的网络。客户100可构建家庭网络终端用户(HNED)来接收服务。

客户100可通过网络提供内容。在这种情况下，客户100可以是与前述情况相反的内容提供商。内容提供商10可从客户100接收内容。在这种情况下，有利于提供双向内容服务或数据服务。

图2示出多媒体设备的示例，其包括网络接口201、TCP/IP管理器202、服务传送管理器203、解复用器(Demux)205、PSI&(PSIP和/或SI)解码器204、音频解码器206、视频解码器207、显示A/V和OSD模块208、服务控制管理器209、服务发现管理器210、元数据管理器212、SI&元数据DB211、UI管理器214和服务管理器213。

此外，多个异质图像传感器260例如通过USB模式的连接模式与多媒体设备200连接。并且，尽管在图2中多个异质图像传感器260设计为单独的模块，但可用将多个异质图像传感器260容纳在多媒体设备200中的方式来设计多个异质图像传感器260。

网络接口201从网络接收分组，并将分组发送到网络。换句话说，网络接口201通过网络从服务提供商接收服务、内容等。

TCP/IP管理器202参与在多媒体设备200中接收分组和从多媒体设备200发送分组，即，从源到目标的分组传输。服务传送管理器203起到控制接收的服务数据的作用。例如，如果服务传送管理器203控制实时流数据，其能使用RTP/RTCP。如果服务传送管理器203利用RTP发送实时流数据，其在服务管理器213的控制下根据RTP解析接收的分组，并将解析的分组发送到解复用器205，或将解析的分组存储在SI&元数据DB211中。服务传送管理器203利用RTCP将接收的信息反馈回提供服务的服务器。

解复用器205将接收的分组解复用为音频、视频和PSI(节目专用信息)数据，然后将解复用的数据分别发送到音频解码器206、视频解码器207和PSI&(PSIP和/或SI)解码器204。

PSI&(PSIP和/或SI)解码器204接收由解复用器205解复用的PSI部分、PSIP(节目和服务信息协议)部分或SI(服务信息)部分并进行解码。

并且，PSI&(PSIP和/或SI)解码器204对接收的部分进行解码，以创建针对服务信息的数据库，并将针对服务信息的数据库存储在SI&元数据DB211中。

音频/视频解码器206/207对从解复用器205接收的视频数据和音频数据进行解码。

UI管理器214利用屏幕显示器(OSD)等为用户提供图形用户界面(GUI)，并基于来自用户的按键输入执行接收操作。例如，如果从用户输入用于频道选择的按键输入信号，UI管理器214将按键输入信号发送到服务管理器213。

服务管理器213控制与服务相关的管理器(例如服务传送管理器203、服务发现管理器210、服务控制管理器209和元数据管理器212)。

并且，服务管理器213产生频道映射，并根据从UI管理器214接收的按键输入信号利用频道映射来选择频道。服务发现管理器210提供选择提供服务的服务提供商所需的信息。如果从服务管理器213接收了与频道选择相关的信号，服务发现管理器210利用接收到的信息发现相应的服务。

服务控制管理器209起到选择并控制服务的作用。例如，如果用户选择类似现有广播模式的直播服务，则服务控制管理器209使用IGMP或RTSP。如果用户选择视频点播(VOD)服务，则服务控制管理器209利用RTSP选择并控制服务。元数据管理器212管理与服务相关的元数据并将元数据存储在SI&元数据DB211中。

SI&元数据DB211存储由PSI&(PSIP和/或SI)解码器204解码的服务信息、由元数据管理器212管理的元数据、以及选择由服务发现管理器210提供的服务提供商所需的信息。并且，SI&元数据DB211可存储针对系统的设置数据。

IG250是聚集接入基于IMS的IPTV服务所需的功能的网关。

图2所示的多个异质图像传感器260设计为拍摄位于多媒体设备200周边的人或对象的单个图像或多个图像。更具体地，如后面将详细描述的，多个异质图像传感器260设计为在选择的时间或仅在特定条件下连续、周期性地操作单个图像或多个图像。

图3示出基于多个异质图像传感器和摄像机拍摄画面的多媒体设备的一个实施方式。传感器包括与深度数据处理相关的、包括由于有限分辨率(例如，最大VGA级)和识别距离(例如，3.5m)而不适合远距离脸部识别的场的一个或更多个第一图像传感器。

传感器还包括与彩色数据处理相关的、具有识别速度低且对光照条件不健壮的缺点的一个或更多个第二图像传感器。相应地，为了解决图像传感器的缺点，多媒体设备设计为与混合型图像传感器模块(其是第一图像传感器和第二图像传感器的混合型)交互。

IR摄像机或深度摄像机用作第一图像传感器。更具体地，已讨论了飞行时间(TOF)型IR摄像机或深度摄像机以及结构光型IR摄像机或深度摄像机。TOF型IR摄像机或深度摄像机利用红外线发射导致的时间差异来计算距离信息。结构光型IR摄像机或深度摄像机通过向特定图案发射红外线并分析修改的图案来计算距离信息。第一图像传感器在深度数据识别和处理速度方面较佳，即使在黑暗的地方，也容易感测对象、人等。然而，第一图像传感器具有在远距离处分辨率低的缺陷。

此外，彩色摄像机或RGB摄像机用作第二图像传感器。更具体地，已经讨论了立体摄像机型彩色摄像机或RGB摄像机以及单摄像机型彩色摄像机或RGB摄像机。立体摄像机型彩色摄像机或RGB摄像机基于通过两个摄像机拍摄的图像时间比较信息来检测并跟踪手或脸部。单摄像机型彩色摄像机或RGB摄像机基于通过一个摄像机拍摄的形状和颜色信息来检测并跟踪手或脸部。第二图像传感器的优点是比第一图像传感器具有更加改进的分辨率，而第二图像传感器的缺点是对外围照明敏感，并且很难在黑暗的地方识别相应的对象。具体地，第二图像传感器的优点是很难识别精确深度。

如图3所示，多媒体设备设计为既具有第一图像传感器又具有第二图像传感器。可用将第一图像传感器和第二图像传感器嵌入到多媒体设备中的方式设计图像传感器，或可将其设计为单独的硬件模块。首先，如图3的(b)所示，第一图像传感器拍摄包括位于多媒体设备周边的用户的图像。按适当顺序在图3的(1)、(2)、(3)、(4)中示出详细的拍摄图像。

如果完成了第一图像传感器的图像拍摄和数据分析，如图3的(a)所示，第二图像传感器拍摄特定用户的脸部图像。按适当顺序在图3的(5)、(6)、(7)中示出详细的拍摄图像。

根据本发明一个实施方式的多个异质图像传感器的第一图像传感器拍摄位于多媒体设备周边的第一图像，并从拍摄的第一图像中提取深度数据。如图3的(1)所示，能用根据距离以不同的对比度显示各对象的场的方式设计第一图像传感器。

此外，第一图像传感器能利用提取的深度数据识别至少一个用户的脸部。换句话说，如图3的(2)所示，第一图像传感器利用数据库等提取用户的身体信息(例如，脸部、手、脚、关节等)，并且如图3的(3)所示，获取特定用户脸部的位置坐标和距离信息。更具体地，第一图像传感器设计为计算值x、y、z，这些值是关于用户脸部的位置信息，其中x表示拍摄的第一图像中脸部在横轴上的位置，y表示拍摄的第一图像中脸部在纵轴上的位置，z表示用户脸部和第一图像传感器之间的距离。

并且，在根据本发明一个实施方式的多个异质图像传感器中，用于提取彩色图像的第二图像传感器拍摄识别的用户脸部的第二图像，并在图3的(5)中示出。

如果图3所示的第一图像传感器和第二图像传感器设计为相互毗邻，可忽视由于物理位置差异导致的误差。然而，根据另一实施方式，第二图像传感器设计为利用关于物理位置差异的信息来补偿由第一图像传感器获取的坐标信息或距离信息，并利用补偿的坐标信息或距离信息拍摄用户。

并且，如果第一图像传感器和第二图像传感器设计为相对于地面水平排列，则能基于水平框架设置关于物理位置差异的信息。如图3的(7)所示，第二图像传感器从拍摄的第二图像中提取特征信息。特征信息是与用于识别使用多媒体设备的多个用户的特定部分(例如，嘴、鼻子、眼睛等)相对应的数据。此外，第二图像传感器可基于通过第一图像传感器的图像拍摄得到的坐标值(值x、y、z)放大对应于用户脸部的区域。这意味着从图3的(5)切换到图3的(6)的过程。

如果执行第一图像传感器和第二图像传感器的图像拍摄和分析完成，则根据本发明一个实施方式的多媒体设备访问存储与提取的特征信息相对应的数据的存储器，并提取存储在存储器中的、用于识别特定用户的信息。

如果存储器中存在用于识别特定用户的信息，多媒体设备提供预先为特定用户设置的服务。另一方面，如果存储器中不存在用于识别特定用户的信息，则多媒体设备设计为显示用于将识别的用户信息存储在存储器中的引导消息。

如上所述，根据一个实施方式，第一图像传感器设计为检测关于用户脸部的用户位置信息或坐标信息，而第二图像传感器设计为利用第一图像传感器获取的数据识别脸部。

此外，根据另一实施方式，用仅在特定条件下操作的方式设计第二图像传感器。例如，如果第一图像传感器的操作获取的用户和第一图像传感器之间的距离信息小于第一参考值，或者如果第一图像传感器的操作获取的关于用户脸部的识别率大于第二参考值，则仅由第一图像传感器检测并识别位于多媒体设备周边的用户的脸部。

另一方面，如果第一图像传感器的操作获取的距离信息超过第一参考值，或者如果第一图像传感器的操作获取的关于用户脸部的识别率小于第二参考值，则附加地使用第二图像传感器来识别用户脸部。

根据另一实施方式，第二图像传感器设计为利用在识别用户脸部的过程中由第一图像传感器获取的距离信息来执行放大，并且仅利用由第一图像传感器获取的脸部坐标信息来拍摄脸部。

相应地，如上使用不同类型的异质图像传感器，优点是使得改进了远距离脸部识别和数据处理速度。

图4示出在多个异质图像传感器和多媒体设备中使用检测数据和识别数据的过程一个实施方式。通过不同于脸部识别的处理来执行脸部检测。

脸部检测包括在一个图像内检测脸部区域的处理，而脸部识别是识别被检测脸部是否对应于特定用户的处理。具体地，将参照图4描述根据本发明一个实施方式的利用第一图像传感器执行脸部检测的过程和利用第二图像传感器执行脸部识别的过程。

如图4所示，多媒体设备包括检测模块301、识别模块302、数据库(DB)303、第一图像传感器304和第二图像传感器305。如果需要，多媒体设备使用检测数据306和识别数据307。例如可根据基于知识的检测技术、基于特征的检测技术、模板匹配技术和基于外观的检测技术来生成检测数据306。并且，识别数据307例如包括用于识别特定用户的数据，例如眼睛、鼻子、嘴、颚、区域、距离、形状和角度。

此外，检测模块301利用从第一图像传感器304接收的图像数据来确定用户脸部的存在。并且，在估计用户脸部所在区域的过程中，使用与前述基于知识的检测技术、基于特征的检测技术、模板匹配技术和基于外观的检测技术相关的数据。

识别模块302利用从第二图像传感器305接收的图像数据来识别所识别的用户是否是特定用户。此时，识别模块302基于前述识别数据307对接收的图像数据与DB303中存储的脸部矢量信息进行比较。将参照图5更详细地对此进行描述。

图5示出了数据库中存储的脸部矢量列表。脸部矢量是关于使用多媒体设备的用户的，矢量存储在数据库中。脸部矢量例如是显现在用户脸部上的特征信息的数据组，并且用于识别各个特定用户。

图6示出了根据硬件场和软件场与根据一个实施方式的多媒体设备交互的多个异质图像传感器的操作。

如图6所示，将根据图像传感器的硬件场360和处理从图像传感器接收的数据的多媒体设备的软件场350描述通过由多个异质图像传感器的图像输入执行的多媒体设备的操作。尽管在图6中硬件场360例示为单独的模块，但其可嵌入在处理软件场350的多媒体设备中。

首先，硬件场360包括数据收集场340和固件场330。数据收集场340从图像传感器接收由多媒体设备识别的原始数据，并且包括IR投光器、深度图像传感器、彩色图像传感器(RGB图像传感器)、麦克风和摄像机芯片。

并且，固件场330用于连接硬件场与软件场。并且，固件场330可用作特定应用所需的主机应用程序，并执行下采样和镜映(mirroring)。

相应地，数据收集场340和固件场330互相交互。数据收集场340和固件场330能通过它们的交互来控制硬件场360。并且，固件场能由摄像机芯片驱动。

并且，软件场350包括应用程序编程接口(API)场320和中间件场310。API场320能由多媒体设备的控制器实现。并且，如果摄像机模块配置为与多媒体设备分离的外部设备，则API场能由个人计算机、游戏机、机顶盒等实现。并且，API场320可以是允许多媒体设备驱动硬件场的传感器的简单的API。

中间件场310是识别算法场，并且可以包括深度处理中间件。并且，即使用户通过他(她)的手或他(她)的整个身体输入姿态，中间件场能提供应用程序以及明确的用户控制API。并且，中间件场能包括执行用于搜索用户手的位置的操作、用于跟踪用户位置的操作、用于提取用户骨架特征的操作、以及用于从输入的图像分别识别用户和背景的操作的算法。可以使用从硬件场获取的深度信息、颜色信息、IR信息和音频信息来操作该算法。

图7示出了具有多个异质图像传感器和多媒体设备的一个实施方式。尽管在此实施方式中示出图像传感器和多媒体设备是单独的，但在其它实施方式中可用将多个图像传感器/摄像机嵌入在多媒体设备中的方式进行设计。

如图7所示，根据本发明一个实施方式的多媒体设备400设计为包括诸如中央处理单元(CPU)401和图形处理单元404之类的模块，其中CPU 401包括应用程序402和脸部识别处理模块403。同时，多个异质图像传感器420设计为包括诸如专用集成电路(ASIC)421、发射器422、第一图像传感器423和第二图像传感器424之类的模块。

多媒体设备400通过有线或无线接口410与多个异质图像传感器420连接。例如，可使用通用串行总线(USB)接口作为有线或无线接口410。

发射器422向位于多媒体设备400周边的至少一个用户发射光。第一图像传感器423利用发射的光拍摄第一图像，从拍摄的第一图像提取深度数据，并利用提取的深度数据来检测该至少一个用户的脸部。并且，第二图像传感器424拍摄关于被检测用户脸部的第二图像，并从拍摄的第二图像提取特征信息。

通过接口410将提取的特征信息发送到多媒体设备的脸部识别处理模块403。尽管图7中未示出，但脸部识别处理模块403设计为包括接收器、存储器、提取器和控制器。

脸部识别处理模块403的接收器接收通过多个异质图像传感器420和接口410发送的特征信息。此外，脸部识别处理模块403的存储器存储关于至少一个用户的特征信息和对应于该特征信息的ID。

相应地，脸部识别处理模块403的提取器从存储器提取与接收的特征信息相对应的ID，并且脸部识别处理模块403的控制器设计为自动执行与ID相对应的、之前设置的功能。

如果脸部识别处理模块设计为如图7所示由多媒体设备的CPU执行，优点是降低了摄像机的设计成本，并且在诸如各种脸部识别和功能添加的可扩展性方面也是有利的。

图8示出了包括多个异质图像传感器和多媒体设备的另一实施方式。尽管在图8中以分立方式示出了图像传感器和多媒体设备，但在其它实施方式中可将多个图像传感器/摄像机嵌入在多媒体设备中。

如图8所示，多媒体设备500设计为包括诸如中央处理单元(CPU)501和图形处理单元503之类的模块，其中CPU501包括应用程序502。同时，多个异质图像传感器520设计为包括诸如脸部识别处理模块521、专用集成电路(ASIC)522、发射器523、第一图像传感器524和第二图像传感器525之类的模块。

多媒体设备500通过有线或无线接口510与多个异质图像传感器520连接。例如，可使用通用串行总线(USB)接口作为有线或无线接口510。应该理解，图8的模块仅是示例性的，本发明的范围应主要由权利要求限定。

图8与图7的不同在于，脸部识别模块521内置于多个异质图像传感器520中。如图8所示，如果脸部识别处理模块设计为由多个异质图像传感器520执行，则能通过独立平台设计各种类型的摄像机。

图9示出了具有多个异质图像传感器的一种实施方式。多个异质图像传感器包括第一图像传感器组610、第二图像传感器620、控制器630、存储器640和接口650，并设计为在控制器630的控制下从麦克风670和外部音源660接收音频数据。

存储器640例如可设计为闪存。接口650设计为USB接口，并与外部多媒体设备连接。第一图像传感器组610包括发射器680和第一图像传感器690。发射器例如能设计为红外(IR)发射器。

此外，发射器680的投光器682在控制器630的控制下向镜头681投射光，以向位于多媒体设备周边的至少一个用户发射光。

并且，在控制器630的控制下，第一图像传感器690利用通过镜头691接收的光拍摄第一图像，从拍摄的第一图像提取深度数据，并将提取的数据发送到控制器630。控制器630利用发送的深度数据检测至少一个用户的脸部，并控制第二图像传感器620。

第二图像传感器620在控制器630的控制下拍摄关于通过镜头621应用的被检测用户脸部的第二图像。此外，第二图像传感器620将从拍摄的第二图像提取的特征信息发送到控制器630。

控制器630设计为利用接口650将提取的特征信息发送到多媒体设备。相应地，接收到特征信息的多媒体设备能迅速识别存储在DB中的用户中的哪个用户是对应于该拍摄到的图像的用户。

图10示出了第一图像传感器的一个示例。在图10中，IR源710可对应于图9的发射器680，并且深度图像处理器720可对应于图9的第一图像传感器690。相应地，图9和图10的描述可互补地应用于此实施方式。并且，可按照前述结构光型设计图10所示的摄像机。

IR源710设计为连续将编码图案图像投射到目标用户730。深度图像处理器720利用由目标用户730变形的初始图案图像的信息来估计用户的位置。

图11示出第一图像传感器的另一示例。在图11中，LED 810可对应于图9的发射器680，并且深度图像处理器820可对应于图9的第一图像传感器690。相应地，图9和图11的描述可互补地应用于此实施方式。并且，可按照前述TOF型设计图11所示的摄像机。

LED 810发射的光被发送到目标用户830。由目标用户830反射的光被发送到深度图像处理器820。与图10不同，图11中所示的模块利用关于时间差异的信息来计算目标用户830的位置。将参照图12更详细地对此进行描述。

图12示出了使用图11中的第一图像传感器来计算距离的方法。如图12的左图所示，能通过发射光和反射光之间的时间差异得到由值t表示的到达时间。

如图12右侧的方程所示，通过将光速与值t相乘计算LED 810和目标用户830之间的距离以及目标用户830和深度图像处理器820之间的距离。相应地，估计LED810或深度图像处理器820与目标用户830之间的距离为1/d。

图13示出了由根据一个实施方式的多个异质图像传感器的第一图像传感器拍摄的图像。如图13所示，由第一图像传感器拍摄的图像不表示诸如RGB之类的颜色信息。然而，由第一图像传感器拍摄的图像的优点在于能根据距离通过差别对比快速识别个体对象的大致位置。

例如，如图13所示，用最深暗的对比度表示最远的走廊，并且注意，走廊在离第一图像传感器10m范围的距离处。此外，用中间色调的对比度表示位于中间距离级别的墙，并且注意，墙在离第一图像传感器5m范围的距离处。用最明亮色调的对比度表示位于相对最近距离的电视观众，并且应该注意，电视观众在离第一图像传感器4m范围的距离处。

图14示出了由根据一个实施方式的多个异质图像传感器的第二图像传感器拍摄的图像。与第一图像传感器不同，因为第二图像传感器使用明亮的RGB颜色，其优点在于能很容易地识别用户脸部的主要元素。

具体地，如图14所示，用将眼睛、鼻子和嘴周围的用于识别人的数据处理为用作脸部识别的特征信息的方式来设计第二图像传感器。尽管图14中示出了眼睛、鼻子和嘴，但还可以使用脸部的例如耳朵、前额、头发颜色、皱纹、肤色、脸型和脸部大小的其它元素。

图15示出了通过使用多个异质图像传感器的多媒体设备来识别用户的过程，并且图16示出了根据图15的识别结果执行为识别的用户定制的功能的过程。

如果根据本发明一个实施方式利用多个异质图像传感器识别出位于多媒体设备之前的特定用户，在拍摄的如图15所示的画面上，在特定用户周边显示相应的ID“父亲”1201。根据另一实施方式，可在输出特定用户当前观看的广播画面的同时显示已识别出特定用户“父亲”的引导消息，而不是拍摄的如图15所示的画面。

如图16所示，在正常显示当前频道1301的状态下，如果识别出特定用户“父亲”，则可用将广播画面转换为特定用户“父亲”喜欢的体育频道1302的方式设计多媒体设备。在这种情况下，假设关于特定用户“父亲”喜欢的频道是体育频道的信息预先存储在多媒体设备的DB中。

图17示出根据本发明一个实施方式的通过使用多个异质图像传感器的多媒体设备来识别多个特定用户的过程。并且，图18示出执行为多个识别的用户定制的功能的过程。在下文中，将参照图17和图18描述用于利用前述脸部识别结果的附加思想(具体地，识别多个用户的情况)。

如果根据本发明一个实施方式利用多个异质图像传感器识别出位于多媒体设备之前的三个特定用户，在拍摄的如图17所示的画面上，在特定用户周边显示相应的ID“儿子”1401、“女儿”1402和“父亲”1403。根据另一实施方式，可在输出特定用户当前观看的广播画面的同时显示已识别出三个特定用户的引导消息，而不是拍摄的如图17所示的画面。

此外，如图18所示，在正常显示当前频道1501的状态下，如果如上所述识别多个特定用户，则可用将广播画面转换为所有特定用户喜欢的电影频道1502的方式设计多媒体设备。在这种情况下，假设关于特定用户喜欢的频道是电影频道的信息预先存储在多媒体设备的DB中。

图19-图21示出了登记使用多个异质图像传感器的多媒体设备的新用户的过程。在如上所述的图15-图18中，假设根据本发明一个实施方式利用多个异质图像传感器识别的用户预先存储在存储器或DB中。然而，在从未对其进行脸部识别的用户的情况下，则需要登记用户的过程。

首先，如果与由多个异质图像传感器识别的数据相对应的信息不存在于多媒体设备的DB中，则显示指示未知用户的消息，如图19所示。

此外，如图20所示，显示登记初次拍摄用户的信息的引导消息，并且被拍摄用户能输入其识别信息，如图21所示。在这种情况下，不一定要求应该将名字用作识别信息。用户能可选地使用期望信息，例如职业、与家庭的关系和等级(rank)。

图22示出利用多个异质图像传感器识别用户的方法的一个实施方式。识别用户的方法包括利用第一图像传感器拍摄位于多媒体设备周边的第一图像(S1901)。该方法包括从拍摄的第一图像提取深度数据(S1902)。该方法包括利用提取的深度数据检测至少一个用户的脸部(S1903)。该方法包括利用第二图像传感器拍摄关于被检测用户脸部的第二图像(S1904)。

该方法包括从拍摄的第二图像提取特征信息(S1905)。该方法包括访问存储与提取的特征信息相对应的数据的存储器(S1906)。并且，该方法包括提取存储在存储器中的、用于识别特定用户的信息(S1907)。

图23示出了根据使用多个异质图像传感器的设备识别用户的方法的另一实施方式。在此实施方式中，发射器向位于多媒体设备周边的至少一个用户发射光(S2001)。第一图像传感器利用发射的光拍摄第一图像，从拍摄的第一图像提取深度数据，并利用提取的深度数据来检测该至少一个用户的脸部(S2002)。

第二图像传感器拍摄关于被检测用户的脸部的第二图像，从拍摄的第二图像提取特征信息(S2003)，并将提取的特征信息发送到多媒体设备。

相应地，多媒体设备利用接收的特征信息检测特定用户，并执行控制操作以允许自动执行被检测特定用户的功能(S2004)。

根据另一实施方式，第一图像传感器计算值x、y和z，这些值是关于用户脸部的位置信息，其中x表示拍摄的第一图像中脸部在横轴上的位置，y表示拍摄的第一图像中脸部在纵轴上的位置，而z表示用户脸部和第一图像传感器之间的距离。

此外，根据另一实施方式，第二图像传感器基于计算的值x、y和z通过放大拍摄用户脸部上的区域。

根据另一实施方式，包括发射器、第一图像传感器和第二图像传感器的多个异质图像传感器被设计为还包括补偿模块，该补偿模块基于第一图像传感器的位置和第二图像传感器的位置之间的物理距离来补偿拍摄的第二图像。

发射器例如对应于IR发射器，第一图像传感器例如对应于深度摄像机，且第二图像传感器例如对应于RGB摄像机。

图24示出了通过多个异质图像传感器拍摄基于用户第一姿态的深度图像和彩色图像的场景。如图24的<深度图像>所示，如果使用第一图像传感器拍摄图像，则除用户的脸部位置之外，还可以提取用户的身体、骨架、关节信息等。相应地，从图24的<深度图像>中拍摄的关节信息等可以注意，用户当前的姿态是躺着。如图24的<彩色图像>所示，近摄当前躺着的用户的脸部，并提取特征信息。

图25示出了通过多个异质图像传感器拍摄基于用户第二姿态的深度图像和彩色图像的场景。如图25的<深度图像>所示，如果使用第一图像传感器拍摄图像，则除用户的脸部位置之外，还可以提取用户的身体、骨架、关节信息等。相应地，从图25的<深度图像>中拍摄的关节信息等可以注意，用户当前的姿态是站着。如图25的<彩色图像>所示，近摄当前站着的用户的脸部，并提取特征信息。

图26示出了通过多个异质图像传感器拍摄基于特定用户第三姿态的深度图像和彩色图像的场景。如图26的<深度图像>所示，如果使用第一图像传感器拍摄图像，则除用户的脸部位置之外，还可以提取用户的身体、骨架、关节信息等。相应地，从图26的<深度图像>中拍摄的关节信息等可以注意，用户当前的姿态是坐着。如图26的<彩色图像>所示，近摄当前坐着的用户的脸部，并提取特征信息。

图27示出了包括基于图24-图26的场景生成的根据姿态信息的各用户的特征信息的数据库的内容。例如，姿态信息可以是被拍摄用户的脸部转动信息。换句话说，如果被拍摄的用户脸部基于多媒体设备朝左侧倾斜，则用负(-)信息表示。如果被拍摄的用户脸部基于多媒体设备朝右侧倾斜，则用正(+)信息表示。

如图27所示，对应于在图24-图26中拍摄和识别的姿态信息(-15，-30，+15，+30)的关于父亲脸部的特征信息(a，b，c，d)存储在DB中。并且，如图27所示，对应于在图24-图26中拍摄和识别的姿态信息(-15，-30，+15，+30)的关于母亲脸部的特征信息(e，f，g，h)存储在DB中。

此外，如图27所示，对应于在图24-图26中拍摄和识别的姿态信息(-15，-30，+15，+30)的关于儿子1脸部的特征信息(i，j，k，l)存储在DB中。如图27所示，对应于在图24-图26中拍摄和识别的姿态信息(-15，-30，+15，+30)的关于儿子2脸部的特征信息(m，n，o，p)存储在DB中。

相应地，即使位于多媒体设备前面的用户或观众更自由地改变他们的姿态，也能降低错误的可能性。并且，为了保证更加改进的性能，根据另一实施方式的多媒体设备能通过连续监视用户的姿态(例如，脸部转动角度等)来对用户的姿态进行更新。

图28示出了根据一个实施方式的利用第一图像传感器拍摄特定用户的第一身体信息的场景。如上所述，可以利用第一图像传感器预测关于特定用户的关节的信息。相应地，如图28所示，可以检测关于位于多媒体设备前面的特定用户的手臂长度的信息。

图29示出了根据一个实施方式的通过第一图像传感器拍摄用户的第二身体信息的场景。如上所述，可以利用第一图像传感器预测关于特定用户的关节的信息。相应地，如图29所示，可以检测关于位于多媒体设备前面的特定用户的肩膀宽度的信息。

图30示出了通过第一图像传感器拍摄用户的第三身体信息的场景，图31示出了通过第一图像传感器拍摄特定用户的第四身体信息的场景。

如上所述，可以利用第一图像传感器预测关于特定用户的关节的信息。相应地，如图31所示，可以检测关于位于多媒体设备前面的特定用户的脸部大小的信息。

图32示出了包括基于图28-图31中拍摄的场景生成的各用户的身体信息的数据库的内容。如图32所示，在图28-图31中拍摄并识别的各用户的身体信息存储在DB中。

换句话说，如果即使用前述特征信息和前述姿态信息(例如，脸部转动信息)也不能检测特定用户，或不能识别当前位于多媒体设备前面的用户，则可以使用图32所示的DB。具体地，位于多媒体设备前面的家庭成员在脸型方面可能彼此相似。在这种情况下，如果使用图20所示的DB，优点是能改进用户识别性能。并且，为了保证更加改进的性能，多媒体设备能通过连续监视用户的姿态信息来对用户的姿态信息进行更新。

在图28-图32中，可以使用与图像传感器和用户之间的距离成比例执行的方案来估计拍摄用户的身体信息(例如，cm单位)。然而，根据另一实施方式，可以用像素单位来计算并表示身体信息。例如，可以使用第一图像传感器来检测表示脸部、膝盖、踝、腕、手的手掌、骨盆等(它们是用户的特定身体部位)中每个的两个或更多点。

并且，可以通过计算检测点之间的距离来估计被拍摄用户的特定身体信息。并且，可以通过计算被拍摄用户两只眼睛之间的距离来估计使用第二图像传感器拍摄的用户的脸部大小。当然，即使在另一实施方式的情况下，也可以使用与图像传感器和用户之间的距离成比例地执行的方案来估计由像素之间的距离计算的特定身体信息。

图33示出了通过多个异质图像传感器识别用户的方法的一个实施方式。尽管图33-图36与方法描述相关，但是可以通过与前述产品描述的互补应用来分析它们的描述。

使用多个异质图像传感器的多媒体设备利用第一图像传感器拍摄位于多媒体设备前面的第一图像(S2201)。此外，多媒体设备从拍摄的第一图像提取深度数据(S2202)，并利用提取的深度数据来检测至少一个用户的脸部和姿态信息(例如，脸部角度)(S2203)。

并且，多媒体设备利用第二图像传感器拍摄关于被检测用户脸部的第二图像(S2204)，并从拍摄的第二图像提取特征信息(S2205)。

并且，多媒体设备基于通过第一图像传感器获取的姿态信息和通过第二图像传感器获取的特征信息来提取存储在存储器中的、用于识别特定用户的信息(S2206)。

此外，第二图像传感器设计为利用通过第一图像传感器获取的深度数据(例如，距离信息、位置信息等)通过放大来拍摄特定区域。相应地，优点在于第二图像传感器能精确地仅拍摄位于多媒体设备前面的用户的脸部。并且，特征信息对应于能识别每个拍摄用户的脸部信息。

具体地，因为多媒体设备设计为同时使用关于脸部的特征信息和对应于特征信息的姿态信息，因此其优点在于能改进脸部识别性能，并且用户无需限定到特定姿态。

图34示出了通过多个异质图像传感器识别用户的方法的另一实施方式。在此实施方式中，多媒体设备映射特定用户的姿态信息和对应于姿态信息的特征信息，并将特定用户的姿态信息和对应于姿态信息的特征信息存储在存储器中(S2301)。例如，存储器可以包括图27所示的数据库的存储器。

此外，多媒体设备将存储在存储器中的姿态信息和特征信息与通过第一图像传感器获取的姿态信息和通过第二图像传感器获取的特征信息进行比较(S2302)。并且，多媒体设备设计为利用比较结果将特定用户识别为观众(S2303)。

图35示出了通过多个异质图像传感器识别用户的方法的另一实施方式。在此实施方式中，多媒体设备映射特定用户的身体信息和对应于姿态信息的特征信息，并将特定用户的身体信息和对应于姿态信息的特征信息存储在存储器中(S2401)。例如，存储器可以包括图32所示的数据库的存储器。

此外，多媒体设备将存储在存储器中的身体信息和特征信息与通过第一图像传感器获取的身体信息和通过第二图像传感器获取的特征信息进行比较(S2402)。如果前面的存储在存储器中的身体信息和特征信息与后面的身体信息和特征信息相同，多媒体设备设计为将特定用户识别为观众(S2403)。

具体地，根据另一实施方式，因为多媒体设备设计为同时使用关于脸部的特征信息、以及身体信息，因此优点是能改进脸部识别性能，并能更完美地识别具有相似脸部的家庭成员。

图36示出了根据利用多个异质图像传感器的设备识别用户的方法的另一实施方式。在此实施方式中，第一图像传感器利用向位于多媒体设备前面的至少一个用户发射光的发射器拍摄第一图像，并从拍摄的第一图像提取深度数据。

相应地，执行至少一个用户的检测和跟踪(S2501)。并且，第一图像传感器利用提取的深度数据提取至少一个用户的脸部、身体信息和姿态信息(S2503)。具体地，将关于脸部位置的坐标信息发送到第二图像传感器(例如，彩色摄像机)。

第二图像传感器通过近摄被检测用户的脸部区域拍摄第二图像(S2502)。并且，第二图像传感器从拍摄的第二图像提取特征信息(S2504)。

通过诸如USB之类的接口将通过第一图像传感器获取的身体信息和姿态信息以及通过第二图像传感器获取的特征信息发送到多媒体设备。

多媒体设备访问与脸部识别相关的DB(例如，图18或图23)、搜索并认证与接收到的姿态信息和身体信息相对应的用户(S2505)。此外，多媒体设备更新DB中的认证信息(S2506)。在这种情况下，更新操作(S2506)可设计为与步骤S2505一起作为后台操作。

多媒体设备设计为提供针对认证用户定制的服务(S2507)。例如，可执行自动调台到由认证用户预先设置的喜欢的频道，或可自动实现喜欢的应用程序或内容。

另一实施方式可应用到游戏环境。例如，显示设备的第一和第二图像传感器可识别用户作出的各种手势或动作，然后处理器可将这些动作或手势解释为对应于特定命令或输入值。然后这些命令和/或值可用作用于控制在显示设备上操作的游戏应用程序的功能的基础，并且随着各种游戏画面的显示，相应的改变例如可出现在游戏中。

另一实施方式可包括一旦识别出特定用户则自动运行应用程序或程序。应用程序实质上可以是任何应用程序，包括但不限于时间表或日历应用程序、相册应用程序、对应于该用户的e-mail帐户的e-mail应用程序、即时消息应用程序、自动运行或接入社交网络、视频聊天、金融、投资、网络摄像头、或其它类型的网站、自动接入预定网页浏览器、以及其它互联网或基于应用程序的功能。

前述网络摄像头可远离显示设备而设置，或直接连接到显示设备。如果远离设置，则显示设备可基于特定用户识别而接入并显示网络摄像头视频。数据可被存储在将多个用户中的每个的识别链接到各应用程序和/或程序的显示设备包括的数据库中，或由该显示设备访问的数据库中。

另一实施方式涉及基于由多媒体系统的传感器和处理器识别的姿态来控制在视频游戏或其它游戏应用程序的画面上的移动、出现或其它动作。

这里描述的一个或更多个实施方式提供了一种具有多个不同类型的图像传感器的多媒体设备及其控制方法，其提供了用于利用多个异质图像传感器精确地识别位于多媒体设备周边的用户的方案。

这里描述的一个或更多个实施方式提供了一种设计方法，该方法能同时考虑识别距离和识别性能，解决了与多媒体设备交互的摄像机的识别过程中出现的问题。

根据一个实施方式，一种用于控制使用多个异质图像传感器的多媒体设备的方法包括以下步骤：利用第一图像传感器拍摄位于多媒体设备周边的第一图像，从拍摄的第一图像提取深度数据，利用提取的深度数据检测至少一个用户的脸部，利用第二图像传感器拍摄关于被检测用户脸部的第二图像，从拍摄的第二图像提取特征信息，访问存储与提取的特征信息相对应的数据的存储器，并提取存储在存储器中的、用于识别特定用户的信息。

根据另一实施方式，根据本发明一个实施方式的识别至少一个用户的多个异质图像传感器包括：发射器，将光发射到位于多媒体设备周边的至少一个用户；第一图像传感器，利用发射的光拍摄第一图像、从拍摄的第一图像提取深度数据、并利用提取的深度数据检测至少一个用户的脸部；第二图像传感器，拍摄关于被检测用户脸部的第二图像、并从拍摄的第二图像提取特征信息；以及接口，将提取的特征信息发送到多媒体设备。

根据另一实施方式，提供了一种利用多个异质图像传感器来精确地识别位于多媒体设备周边的用户的方案。

根据另一实施方式，提供了一种设计方法，该方法能同时考虑识别距离和识别性能，解决了与多媒体设备交互的摄像机的识别过程中出现的问题。

这里公开的一个或更多个实施方式还提供了基于3D深度摄像机和2D彩色摄像机的互补使用的改进的脸部识别性能、数据处理速度和远距离。

这里描述的各种实施方式可在能由各种计算机和/或处理架构运行的程序指令中实现，指令可记录在计算机可读记录介质上。计算机可读记录介质能包括单独或结合的程序指令、数据文件和数据结构。可为这里描述的实施方式专门设计记录在计算机可读记录介质上的程序指令。

计算机可读记录介质的示例包括配置为存储并执行程序指令的诸如硬盘、软盘和磁带的磁介质，诸如CD-ROM和DVD的光介质，诸如软盘的磁光介质，以及诸如ROM、RAM和闪存的硬件装置。程序指令的示例包括由编译器产生的机器语言代码以及由计算机使用解释器实现的高级语言代码。可以将硬件设备配置为执行本发明操作的至少一个软件模块，反之也可以将软件模块实现为执行本发明操作的至少一个的硬件设备。

这里，针对下面的描述中使用的元件的后缀“模块”和“单元”被共同给出或使用仅是考虑便于撰写此公开，并不具有互相区分的含义或作用。能在硬件或软件中设计“模块”和“单元”。

此说明书中描述的多媒体设备例如可对应于接收并处理广播数据的各种类型的设备。此外，多媒体设备可对应于连接的电视。除广播接收功能之外，连接的电视例如可设置有有线和无线通信设备。

相应地，连接的电视可设置有诸如手动输入单元的更方便的接口、触摸屏或动作识别遥控器。并且，根据有线或无线互联网功能的支持，连接的电视通过接入互联网或计算机实现发送e-mail、网页浏览、银行业务或游戏。对于这些各种功能，可以使用标准化的通用操作系统(OS)。

相应地，因为连接的电视可以在通用OS内核上自由设置或删除各种应用程序，因此其可执行用户友好的各种功能。连接的电视的更具体的示例包括网络电视、互联网电视、HBBTV、智能电视和DTV。连接的电视视情况可应用到智能电话。

本说明书中对于“一个实施方式”、“实施方式”、“示例实施方式”等的任何引用都是指结合实施方式描述的具体的特征、结构或特性被包含在本发明的至少一个实施方式中。出现在本说明书各处的这种术语并不一定全都指代同一实施方式。此外，当结合任何实施方式描述具体的特征、结构或特性时，应当承认，结合其它多种实施方式实现这种特征、结构或特性在本领域技术人员的知识范围内。

尽管已经参照本发明的多个示例性实施方式描述了本发明的实施方式，但是，应当理解的是，本领域技术人员能够设计将落入本发明的原理的精神和范围之内的多种其它修改例和实施方式。更具体地说，在本说明书、附图和所附权利要求的范围内，可以对主体组合装置中的组成部分和/或装置进行各种变化和修改。除了组成部分和/或装置的变化和修改以外，其它用途对于本领域技术人员也是明显的。

Claims

1.一种多媒体设备，该多媒体设备包括：

第一图像传感器，其获取第一图像；

第二图像传感器，其获取第二图像；以及

处理器，其检测所述第一图像中的人，并从所述第二图像中提取所述人的特征，其中所述处理器确定所述第一图像中的所述人的坐标信息，并基于所述坐标信息来提取所述第二图像中的所述人的特征，其中：

所述第一图像传感器和所述第二图像传感器具有重叠的视场；

所述坐标信息提供与所述人的距离的指示，并且

所述处理器将提取的特征与参考信息进行比较，并基于所述比较来识别所述人。

2.根据权利要求1所述的设备，其中所述特征是所述人的至少一个身体部位。

3.根据权利要求1所述的设备，其中所述处理器改变所述第二图像中包括所述特征的区域的大小，并基于改变后的大小来识别所述第二图像的所述区域中的所述特征。

4.根据权利要求3所述的设备，其中所述处理器增加包括所述特征的区域的大小。

5.根据权利要求1所述的设备，其中所述处理器从所述第二图像中提取骨架信息，并基于所述骨架信息来识别所述人。

6.根据权利要求1所述的设备，其中所述处理器：

基于所述第一图像传感器和所述第二图像传感器之间的距离来调整与所述第一图像中的所述人相对应的至少一个值，以及

基于调整后的值向所述第二图像传感器发送信号，所述第二图像传感器基于调整后的值来识别对象的特征。

7.根据权利要求1所述的设备，其中所述第二图像传感器是彩色传感器。

8.根据权利要求1所述的设备，其中所述处理器基于识别出的人来执行预定多媒体功能。

9.根据权利要求1所述的设备，其中，在未识别出所述人时，所述处理器控制在画面上显示消息，其中所述消息请求接收用于识别所述人的信息，将所述信息存储在存储设备中。

10.一种多媒体设备，该多媒体设备包括：

第一图像传感器，其获取第一图像；

第二图像传感器，其获取第二图像；以及

处理器，其检测所述第一图像中的人，并且当满足预定条件时，从所述第二图像中提取所述人的特征，其中：

所述处理器确定所述第一图像中的所述人的坐标信息，并基于从所述第一图像确定的所述坐标信息来提取所述第二图像中的所述人的所述特征，

所述坐标信息提供与所述人的距离的指示，并且

11.根据权利要求10所述的设备，其中所述预定条件是识别结果低于参考值。

12.根据权利要求10所述的设备，其中所述预定条件是对象的距离大于参考值。

13.根据权利要求10所述的设备，其中改变所述第二图像中的所述特征的大小，并且其中所述处理器基于改变后的大小来识别所述第二图像中的所述特征。

14.根据权利要求13所述的设备，其中所述改变大小是增加大小。

15.根据权利要求10所述的设备，其中所述处理器从所述第二图像中提取骨架信息，并基于所述骨架信息来识别所述人。

16.根据权利要求10所述的设备，其中所述处理器基于所述第一图像传感器和所述第二图像传感器之间的距离来调整与所述第一图像中的所述人相对应的至少一个值，并基于调整后的值向所述第二图像传感器发送信号，所述第二图像传感器基于调整后的值来识别对象的特征。

17.一种用于管理显示设备中的信息的方法，该方法包括以下步骤：

获取第一图像；

获取第二图像；

检测所述第一图像中的人；

确定所述第一图像中的所述人的坐标信息；

基于所述坐标信息从所述第二图像中提取所述人的特征；

将提取的特征与参考信息进行比较；以及

基于所述比较来识别所述人，其中从具有重叠视场的传感器获取所述第一图像和所述第二图像，并且其中所述坐标信息提供与所述人的距离的指示。

18.根据权利要求17所述的方法，其中所述特征是至少一个身体部位。

19.根据权利要求17所述的方法，该方法还包括以下步骤：

从所述第二图像中提取骨架信息，和

基于所述骨架信息来识别所述人。

20.根据权利要求17所述的方法，该方法还包括以下步骤：

基于第一图像传感器和第二图像传感器之间的距离来调整与所述第一图像中的所述人相对应的至少一个值，和