CN102859534A - 基于皮肤颜色区域和面部区域的视点检测器 - Google Patents

基于皮肤颜色区域和面部区域的视点检测器 Download PDF

Info

Publication number
CN102859534A
CN102859534A CN2011800201448A CN201180020144A CN102859534A CN 102859534 A CN102859534 A CN 102859534A CN 2011800201448 A CN2011800201448 A CN 2011800201448A CN 201180020144 A CN201180020144 A CN 201180020144A CN 102859534 A CN102859534 A CN 102859534A
Authority
CN
China
Prior art keywords
skin
people
viewpoint
value
colour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800201448A
Other languages
English (en)
Other versions
CN102859534B (zh
Inventor
毕宁
齐英勇
周清
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN102859534A publication Critical patent/CN102859534A/zh
Application granted granted Critical
Publication of CN102859534B publication Critical patent/CN102859534B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • G06V40/162Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)

Abstract

在特定说明性实施例中,揭示一种基于皮肤颜色区域和面部区域来确定人的视点的方法。所述方法包含接收对应于由摄影机俘获的图像的图像数据,所述图像包含将在耦合到所述摄影机的装置处显示的至少一个对象。所述方法进一步包含确定所述人相对于耦合到所述摄影机的所述装置的显示器的视点。可通过基于所述人的所确定的皮肤颜色区域来确定所述人的面部区域以及基于所述面部区域来跟踪所述人的面部位置来确定所述人的视点。在所述显示器处显示的一个或一个以上对象可响应于所述人的所确定的视点而移动。

Description

基于皮肤颜色区域和面部区域的视点检测器
技术领域
本发明大体涉及基于皮肤颜色区域和面部区域来检测视点。
背景技术
技术的进步已产生更小且更强大的计算装置。举例来说,当前存在多种便携式个人计算装置,包含无线计算装置,例如较小、轻重量且易于由用户携带的便携式无线电话、个人数字助理(PDA)和寻呼装置。更具体来说,便携式无线电话(例如,蜂窝式电话和因特网协议(IP)电话)可经由无线网络传递语音和数据包。此外,许多此类无线电话包含并入其中的其它类型的装置。举例来说,无线电话还可包含数字静态相机、数字摄像机和用以显示从观看者的视点来观看的图像的显示器。然而,通常仅可观察到相机所瞄向的方向上的图像。即,即使观看者移动他/她的视点,观看者也通常会看到相同的图像。
发明内容
当在二维(2D)显示屏上再造三维(3D)视觉效果时,来自观看者双眼的有立体感的视觉通常用作创造视觉效果的一个因素。然而,另一因素,即观看者的位置和/或观看方向,也可用于再造3D视觉效果。可基于面部跟踪、眼睛跟踪或通过在装置处使用相机而组合面部跟踪与眼睛跟踪来确定观看者相对于具有相机的装置的显示器的位置或视点。一旦确定了观看者的视点,就可基于观看者的所检测到的视点而移动由相机俘获且显示在显示器上的图像内的对象。通过应用观看者的位置和观看方向,可设计一种系统,其根据基于观看者的位置的不同视点来运行多媒体应用程序。
在特定说明性实施例中,揭示一种基于皮肤颜色区域和面部区域来确定人的视点的方法。所述方法包含接收对应于由相机俘获的图像的图像数据。所述方法进一步包含确定人相对于耦合到所述相机的装置的显示器的视点。可通过基于所述人的所确定的皮肤颜色区域来确定所述人的面部区域,以及通过基于所述面部区域来跟踪所述人的面部位置来确定所述人的视点。对象可能会响应于所述人的所确定的视点而在所述图像内移动。
在另一特定实施例中,揭示一种经配置以基于人的皮肤颜色区域和面部区域来确定所述人的视点的设备。所述设备包含皮肤颜色检测器,所述皮肤颜色检测器经配置以检测人在对应于由相机俘获的图像的图像数据内的皮肤颜色区域。所述设备进一步包含面部检测器,所述面部检测器经配置以基于所述人的所检测到的皮肤颜色区域来检测所述图像的面部区域。所述设备进一步包含视点检测器,所述视点检测器经配置以检测所述人相对于耦合到所述相机的装置的显示器的视点。所述人的视点可至少部分基于所检测到的皮肤颜色区域来确定,其中所述视点检测器进一步经配置以基于所述检测到的面部区域来跟踪所述人的面部位置。一个或一个以上对象可响应于所述人的所确定的视点而在所述图像内移动。
由所揭示实施例中的至少一些所提供的一个特定优点在于,可检测观看者的视点,使得显示器上的对象可基于所检测到的视点而移动,从而在不需要透镜状显示器或特殊眼镜的情况下在二维显示器上创造三维视觉效果。
在检视整个申请案后,将明白本发明的其它方面、优点和特征,申请案包含以下部分:附图说明、具体实施方式和权利要求书。
附图说明
图1为用以基于人的视点来显示图像数据的系统的特定说明性实施例的框图;
图2为用于基于人的视点显示图像数据的系统中的图像处理器管线的特定说明性实施例的框图;
图3为基于人的视点显示描绘似然值和所估计中心像素位置的图像数据的系统的特定说明性实施例;
图4为从不同视点显示的对象的特定说明性实施例;
图5为基于人的视点显示图像数据的方法的特定说明性实施例的框图;
图6为跟踪用于确定人的视点的面部的方法的特定说明性实施例的框图;
图7为包含具有基于皮肤颜色区域和面部区域的视点检测器的处理器的代表性无线通信装置的框图。
具体实施方式
可通过在装置处使用相机而基于观看者的皮肤颜色区域和面部区域来确定观看者相对于具有相机的装置的显示器的位置或视点。一旦确定了观看者的视点,就可基于观看者的所检测到的视点而移动由相机俘获且显示在显示器上的图像内的一个或一个以上对象。
参看图1,描绘且大体用100指定基于人的视角来显示图像数据的系统的特定说明性实施例。系统100包含电子装置101,所述电子装置101包含显示器124、相机120和耦合到显示器124和相机120的图像处理管线102。电子装置101展示为在人130附近。电子装置101还包含存储包含对象的图像数据116的存储器114。电子装置101经配置以确定人130相对于显示器124的视点128,且基于视点128的位置来调整显示在显示器124上的图像126的视角。
在特定实施例中,相机120配置在一个位置,使得人130在人130观看显示器124的同时处于相机120的视图内。详细地说,相机120可包含透镜和图像传感器(未展示)。所述图像传感器可经配置以获取图像数据121,且将图像数据121提供到图像处理器管线102。
在特定实施例中,图像处理器管线102经配置以接收图像数据121,且基于人130的所检测到的视点128来调整显示器124的图像126的视角。图像处理器管线102包含皮肤颜色检测器104、面部位置跟踪器106、视点检测器110和视角调整模块112。
在特定实施例中,皮肤颜色检测器104接收对应于由相机120俘获的图像的图像数据。举例来说,在皮肤颜色检测器104处所接收的图像数据可直接从相机120接收,例如图像数据121。或者,皮肤颜色检测器104可接收已经在图像处理器管线102内例如经由去马赛克、坏像素校正或其它图像处理而经过处理的图像数据。皮肤颜色检测器104可经配置以比较图像数据121的色度值,以确定图像数据121的每一特定像素是对应于皮肤颜色区还是非皮肤颜色区。为进行说明,皮肤颜色检测器104可比较特定像素的色度红色值与指示非皮肤区域的较高和较低色度红色阈值。另外,皮肤颜色检测器104可确定图像数据121的像素的色度蓝色值,且比较所述色度蓝色值与指示皮肤区域与非皮肤区域之间的边界的一个或一个以上色度蓝色阈值。皮肤颜色检测器104经配置以产生指示皮肤颜色区域105的输出。
在特定实施例中,面部位置跟踪器106可经配置以从皮肤颜色检测器104接收皮肤颜色区域105,且跟踪面部在图像数据121内的位置。举例来说,面部位置跟踪器106可检查所识别出的皮肤颜色区域105中的一者或一者以上以执行面部辨识,或以其它方式确定面部是否存在于图像数据121内。在特定实施例中,面部位置跟踪器106可经配置以从皮肤颜色检测器104接收包含像素的皮肤颜色区域105,所述像素具有在皮肤颜色区内的色度值。面部位置跟踪器106可经配置以根据第一一维搜索基于色度平均值和色度方差值来识别一行图像数据,且面部位置跟踪器106可经配置以根据第二一维搜索基于色度平均值和色度方差值来识别一列图像数据。在特定实施例中,对应于图像数据内的一行选定像素的像素的第一计数可响应于选定像素的色度值与色度平均值之间的比较满足差异阈值而递增,且图像数据内的选定像素的对应列可响应于选定像素的色度值与速度平均值之间的比较满足差异阈值而递增。可基于像素的第一计数和像素的第二计数来确定估计的中心像素位置。
在特定实施例中,视点检测器110经配置以从面部位置跟踪器106接收指示所定位的面部的信息,且基于人130的所定位的面部确定人130的视点,例如视点128。视点检测器110可经配置以将指示所检测到的视点的数据提供到视角调整模块112。
在特定实施例中,视角调整模块112经配置以从存储器114接收包含对象的图像数据116以供显示在显示器124上。视角调整模块112可进一步经配置以从视点检测器110接收指示所检测到的视点的数据,且根据人130的视点的移动来修改包含对象的图像数据116。举例来说,由于观看者130的所检测到的视点128的改变,图像数据116内的对象可能会在显示在显示器124处之前移动。举例来说,如果人的视点(例如图1的视点128)改变,那么图像内的对象可取决于已改变的视点而向左移动或旋转或向右移动或旋转。为进行说明,如果人的视点从中心向左改变,那么所检测到的视点在显示器124的中心处的对象(例如,图4的对象404)可向左移动或旋转。为进行说明,如果人的视点从中心向右改变,那么所检测到的视点在显示器124的中心处的对象(例如,图4的对象404)可能会向右移动或旋转。
在操作期间,人130可选择将在显示器124处显示的图像126。在人130正注视图像126的同时,相机120可能正反复地获取人的图像数据121,所述图像数据121被提供到图像处理器管线102。图像处理器管线102可通过在皮肤颜色检测器104处检测皮肤颜色区、在面部位置跟踪器106处跟踪人的面部位置、在视点检测器110处检测人的视点128,以及将所检测到的视点数据提供到视角调整模块112来跟踪人130的面部。视角调整模块112可基于人130的所检测到的视点128来更改将在显示器124处显示的图像126。对象响应于视点而移动的经更新的图像数据113被提供到显示器124,且图像126被更新。结果,人130相对于显示器124或相对于相机120的移动可导致对象在图像126内的移动,从而创造图像126的三维透视图的印象。举例来说,可通过将具有深度信息的二维内容显现为具有深度依赖性透视投影而将三维视觉效果添加到所述内容。
尽管包含相机120、显示器124、图像处理器管线102和存储器114的元件描绘为在单一电子装置101内,但在其它实施例中,所述元件可处于单独装置中。举例来说,相机可耦合到独立显示器,例如阴极射线管显示器、等离子显示器或液晶二极管显示器。
参看图2,描绘且大体上以200指示用于基于观看者的视角显示图像数据的系统中的图像处理器管线的特定说明性实施例。图像处理器管线202包含皮肤颜色检测电路204、面部检测电路206、眼睛检测电路208、响应皮肤颜色和面部检测电路的视点检测器210,以及面部位置历史电路212。
在特定实施例中,皮肤颜色检测电路204可经配置以接收对应于图像的图像数据221,且可经配置以比较图像数据的色度值以确定图像数据的每一特定像素对应于皮肤颜色区还是对应于非皮肤颜色区。在特定实施例中,皮肤颜色检测电路204包含色度蓝色(Cb)阈值233和色度红色(Cr)阈值235。举例来说,皮肤颜色检测电路204可比较特定像素的色度红色值与指示非皮肤区域的一个或一个以上色度红色阈值235(例如,上色度红色阈值和下色度红色阈值)。另外,皮肤颜色检测电路204可确定图像数据的像素的色度蓝色值且比较所述色度蓝色值与指示皮肤区域与非皮肤区域之间的边界的一个或一个以上色度蓝色阈值233。在特定实施例中,可(例如)通过满足皮肤颜色检测电路204的色度蓝色阈值233和色度红色阈值235来识别具有在皮肤颜色范围内的色度值的像素。皮肤颜色检测电路204可经配置以产生指示皮肤颜色区域的包含具有在皮肤颜色范围内的色度的像素的输出。
在特定实施例中,面部检测电路206经配置以从皮肤颜色检测电路204接收皮肤颜色区域输出且检测图像数据内的面部区域的位置。在特定实施例中,面部检测电路206包含动态阈值243、行面部检测电路245、列面部检测电路247,以及色度差电路249。
在特定实施例中,面部检测电路206经配置以接收皮肤颜色检测电路204的包含具有在皮肤颜色范围内的色度值的像素的输出。在特定实施例中,行面部检测电路245可经配置以识别图像数据的行且列面部检测电路247可经配置以识别图像数据的列。举例来说,行面部检测电路245可经配置以根据第一一维搜索基于色度平均值和色度方差值来识别图像数据的行,且列面部检测电路247可经配置以根据第二一维搜索基于色度平均值和色度方差值来识别图像数据的列。在特定实施例中,色度差电路249可经配置以比较所识别像素的色度值与色度平均值且响应于比较结果满足差阈值来选择所识别像素。差阈值可基于色度方差值。在特定实施例中,当扫描候选区域内的较多像素且在像素处满足差阈值时对应于图像数据内的选定像素的行的第一像素计数或与色度平均值的似然可增加,且当扫描候选区域内的较多像素且在像素处满足差阈值时对应于图像数据内的选定像素的列的第二像素计数或与色度平均值的似然可增加。在特定实施例中,可定位满足差阈值的具有最大像素计数或与色度平均值的似然的列片段,且可定位满足差阈值的具有最大像素计数或与色度平均值的似然的行片段。峰值列片段和峰值行片段的位置可用以确定面部区域的所估计中心像素位置,如参看图3更详细地描述。
在特定实施例中,眼睛检测电路208经配置以从面部检测电路206接收面部位置数据且检测图像数据内的人的眼睛。可利用眼睛检测电路208以进一步精化面部位置数据且确认面部区域内的面部的位置。
在特定实施例中,视点检测器210经配置以从眼睛检测电路208接收指示面部的所定位眼睛的信息且基于人的所定位面部确定人的视点。在特定实施例中,视点检测器210经配置以从面部位置历史212接收前一面部位置数据。举例来说,在特定实施例中,当在图像数据中搜索人的面部时,可基于由面部位置历史212提供的历史面部位置数据设立初始候选搜索区域。举例来说,电子装置可以前已受训练以通过人的肤色找到人的面部。在那种情况下,包含皮肤数据(例如,肤色的色度红色和色度蓝色阈值以及平均值和方差)的先前或历史面部位置数据可存储于电子装置的存储器中。
在操作期间,图像处理器管线202可通过在皮肤颜色检测电路204处检测皮肤颜色区来检测人的面部,在面部检测电路206处检测人的面部,在眼睛检测电路208处检测人的眼睛,且在视点检测器210处检测人的视点。在特定实施例中,可至少部分基于由面部位置历史212提供的历史面部位置数据来检测人的视点。
参看图3,描绘且大体上以300指示基于观看者的视角显示图像数据的系统的特定说明性实施例。候选区域302包含非皮肤区域304、面部区域306和皮肤区域308。为了说明的清晰起见,皮肤区域308在形状上描绘为矩形。然而,皮肤区域308可为不规则形状,且可含有落入肤色范围内的来自包含非皮肤对象的一个或一个以上对象的像素。皮肤区域308包含所估计中心像素322和测试中代表性像素345。候选区域302在X-Y坐标系中进行说明,其中x轴340安置于水平方向上且y轴330安置于垂直方向上。描绘沿着x轴340的水平似然值318(其不用以指示峰值位置)且描绘沿着y轴330的垂直似然值320(其不用以指示峰值位置)。每一水平似然值与众多像素342相关联,且每一垂直似然值与众多像素332相关联。基于水平似然值318,可定位峰值水平片段310,且基于垂直似然值320,可定位峰值垂直片段312。沿着x轴340设立第一动态阈值314且沿着y轴330设立第二动态阈值316。
在操作期间,扫描图像数据的与人的面部区域306有关的候选区域302。对于皮肤区域308内的每一像素样本,累加样本像素数据。在扫描候选区域302中的所有像素之后,计算肤色阈值且计算取样像素数据的所测量肤色的平均值和方差。对于在肤色阈值内的每一像素样本,通过测量取样像素与平均值的距离并比较所述距离与方差来选择性地累加似然值。如果所述距离在方差内,那么累加水平似然值318和垂直似然值320。在完成水平似然值318和垂直似然值320的选定累加之后,设立水平动态阈值314和垂直动态阈值316。在特定实施例中,当经取样像素与肤色的平均值的水平似然(例如,距离)测量在方差内时,对应于图像数据内一行选定像素的第一像素计数可递增,且当经取样像素与肤色的平均值的垂直似然测量在方差内时,对应于图像数据内一列选定像素的第二像素计数可递增。在设立水平动态阈值和垂直动态阈值之后,在634处检测从水平似然值开始的峰值水平片段和从垂直似然值开始的峰值垂直片段。在特定实施例中,可定位具有满足垂直似然测量的最大像素计数的列或峰值列,且可定位具有满足水平似然测量的最大像素计数的行或峰值行。峰值垂直片段312和峰值水平片段310的位置可用以确定面部区域306的所估计中心像素位置322。
参看图4,其描绘且大体上以400标示从不同视点显示的图像内的对象的特定说明性实施例。在402处展示具有在显示器的左侧的视点的对象,在404处展示具有在显示器的中心的视点的对象,且在406处展示具有在显示器的右侧的视点的对象。举例来说,如果人的视点改变(例如,图1的视点128),那么图像内的对象可取决于“新的”或已改变视点而移动或旋转到左侧或移动或旋转到右侧。为了说明,如果人的视点从中心改变到左侧,那么具有在显示器(例如,图1的显示器124)的中心的所检测视点的对象可移动或旋转到左侧,如402处所说明。类似地,如果人的视点从中心改变到右侧,那么具有在显示器的中心的所检测视点的对象可移动或旋转到右侧,如406处所说明。
参看图5,描绘且大体上以500指示基于人的视角显示图像数据的方法的特定说明性实施例的框图。在502处,接收对应于由相机(例如,图1的相机120)俘获的图像的图像数据。图像包含显示于耦合到相机的装置处的至少一个对象。前进到504,确定人相对于耦合到或并入有相机的装置的显示器(例如,图1的显示器124)的视点(例如,图1的视点128)。移动到506,通过基于所确定皮肤颜色区域(例如,图1的皮肤颜色区域105)确定人的面部区域来确定视点。继续到508,通过基于所确定面部区域跟踪人的面部位置来进一步确定视点。在特定实施例中,可通过面部跟踪模块(例如,图1的面部位置跟踪器106)来跟踪面部位置。进行到510,响应于人的所确定视点,移动显示于显示器处的一个或一个以上对象。
参看图6,描绘且大体上以600指示跟踪面部的方法的特定说明性实施例的框图。方法600可由无线电子装置(例如,图1的系统100的电子装置101)执行。
在602处,从相机取景器接收彩色空间中的输入数据,例如具有亮度分量(Y)、色度蓝色分量(Cb)和色度红色分量(Cr)的彩色空间(例如,YCbCr彩色空间)。举例来说,可从相机(例如,图1的相机120)接收图像数据(例如,图1的图像数据121)。在604处,可确定系统调适是否开始。举例来说,可确定是否进入用户辨识训练模式。在特定实施例中,可由用户(例如)通过按压耦合到电子装置的按键或按钮来人工地进入用户辨识训练模式中。或者,可自动进入用户辨识训练模式中。如果进入用户辨识训练模式,那么在606处可扫描候选区域。举例来说,可扫描图像数据的与人的面部区域有关的区域。
在608处,可确定候选区域中的像素是否在肤色范围内。对于在肤色范围内的每一像素,在610处可累加样本像素数据,且在612处可确定是否已扫描候选区域中的所有像素。如果未扫描候选区域中的所有像素,那么处理返回到606。
在扫描候选区域中的所有像素之后,在614处可计算肤色阈值,且在614处还可计算取样像素数据的所测量肤色的平均值和方差。在616处可复位Cb和Cr中的肤色的平均值和方差,且在618处可复位YCbCr中的肤色的阈值。因此,肤色阈值可与特定人(例如,用户)相关联。在面部跟踪过程中,在620处可确定像素样本是否在肤色阈值内。如果像素样本在肤色阈值内,那么在622处可进行像素样本与肤色的平均值相比的似然测量。在特定实施例中,可通过测量样本像素与肤色的平均值的距离(例如,样本像素与平均值之间的肤色值的差)来进行似然测量。
在624处可确定距离是否在方差内。在特定实施例中,对于在肤色阈值内的每一像素样本,通过测量取样像素与平均值的距离并比较所述距离与方差来累加似然值。如果所述距离在方差内,那么在626处可累加水平似然值和垂直似然值。在完成水平似然值和垂直似然值的累加之后,在632处可设立水平动态阈值和垂直动态阈值。在特定实施例中,当取样像素与肤色的平均值的水平似然(例如,距离)测量在方差内时对应于图像数据内的选定像素的行的第一像素计数或与色度平均值的似然可增加,且当取样像素与肤色的平均值的垂直似然测量在方差内时对应于图像数据内的选定像素的列的第二像素计数或与色度平均值的似然可增加。在设立水平动态阈值和垂直动态阈值之后,在634处可从水平似然值检测峰值水平片段且从垂直似然值检测峰值垂直片段。在特定实施例中,可定位满足垂直似然测量的具有最大像素计数的列或峰值列,且可定位满足水平似然测量的具有最大像素计数的行或峰值行。在636处,峰值垂直片段和峰值水平片段的位置可用以确定面部区域的所估计中心像素位置且确定所找到的面部区域是否为观看者的面部区域或有效面部区域。如果所找到的区域有效,那么在650处定位观看者的面部,且过程结束。如果所找到的区域无效,那么在638处可复位候选搜索区域,且过程可回复到630,其中搜索候选区域。
如果在604处系统调适不开始,那么在640处可确定面部跟踪系统是否开始。举例来说,电子装置可已受训练以通过人的肤色找到人的面部且可绕过系统调适或训练模式且直接转到面部跟踪模式。在特定实施例中,可由用户(例如)通过按压耦合到电子装置的按键或按钮来人工地进入面部跟踪系统中。或者,可自动进入面部跟踪系统中。如果面部跟踪系统开始,那么在642处设立初始候选搜索区域。在特定实施例中,可基于历史面部位置数据设立初始候选搜索区域。在特定实施例中,面部位置数据可由图2的面部位置历史212提供。在设立初始候选搜索区域之后,在630处可搜索候选区域。如果面部跟踪系统不开始,那么过程回复到604。
一旦确定观看者的视点,可基于观看者的所检测视点移动显示于显示器上的一个或一个以上对象。通过应用观看者的位置和观看方向,可设计基于观看者的位置从不同视点运行多媒体应用程序的系统。
图7为包含基于皮肤颜色区域和面部区域的视点检测器764的设备700的特定实施例的框图。装置700可在无线电子装置中实施且包含耦合到存储器732的处理器710,例如,数字信号处理器(DSP)。
相机接口控制器770耦合到处理器710且也耦合到相机772(例如,视频相机)。相机控制器770可响应于处理器710(例如)用于自动聚焦和自动曝光控制。显示器控制器726耦合到处理器710且耦合到显示器装置728。编码器/解码器(CODEC)734也可耦合到处理器710。扬声器736和麦克风738可耦合到CODEC 734。无线接口740可耦合到处理器710且耦合到无线天线742。
处理器710还可适于产生经处理的图像数据780。显示器控制器726经配置以接收经处理的图像数据780,且将经处理的图像数据780提供到显示装置728。存储器732可经配置以接收并存储经处理的图像数据780,且无线接口740可经配置以撷取经处理的图像数据780以经由天线742传输。另外,存储器732可经配置以接收并存储用户皮肤数据782,例如特定像素的色度红色值和色度蓝色值,色度红色和色度蓝色阈值,和肤色的平均值和方差,且无线接口740可经配置以接收用户皮肤数据782以经由天线742传输。
在特定实施例中,基于皮肤颜色区域和面部区域的视点检测器764实施为可在处理器710处执行的计算机代码,例如在计算机可读媒体处存储的计算机可执行指令。举例来说,程序指令782可包含用以基于人的所确定的皮肤颜色区域来确定人的面部区域的代码、用以基于所述面部区域来跟踪人的面部位置的代码,以及响应于所述人的所检测到的视点来移动图像内的对象的代码。
在特定实施例中,处理器710、显示器控制器726、存储器732、CODEC 734、无线接口740和相机控制器770包含于系统级封装或芯片上系统装置722中。在特定实施例中,输入装置730和电力供应器744耦合到芯片上系统装置722。此外,在特定实施例中,如图7中所说明,显示装置728、输入装置730、扬声器736、麦克风738、无线天线742、视频相机772和电力供应器744处于芯片上系统装置722外部。然而,显示装置728、输入装置730、扬声器736,、麦克风738、无线天线742、相机772和电力供应器744中的每一者可耦合到芯片上系统装置722的组件,例如接口或控制器。
所述领域的技术人员将进一步了解,结合本文所揭示的实施例描述的各种说明性逻辑块、配置、模块、电路和算法步骤可实施为电子硬件、由处理器执行的计算机软件,或其组合。上文已大体在功能性方面描述各种说明性组件、块、配置、模块、电路和步骤。这种功能性实施为硬件还是由处理器执行的软件取决于特定应用和外加于总体系统上的设计约束。所属领域的技术人员可针对每一特定应用以不同方式实施所描述功能性,但所述实施决策不应被解释为导致偏离本发明的范围。
在一个或一个以上示范性实施例中,所描述的功能可实施于硬件、由处理器执行的软件、固件,或其任何组合中。所揭示的功能可针对包括程序代码的计算机可读媒体,所述程序代码在装置中执行时使所述装置执行本文所述的技术中的一者或一者以上。在所述情况下,计算机可读媒体可包括有形存储媒体,例如随机存取存储器(RAM)、同步动态随机存取存储器(SDRAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、FLASH存储器,等等。
所述程序代码可以计算机可读指令的形式存储在存储器中。在所述情况下,例如DSP等处理器可执行存在在存储器中的指令,以执行图像处理技术中的一者或一者以上。在一些情况下,所述技术可由DSP执行,所述DSP调用各种硬件组件以加速图像处理。在其它情况下,本文所描述的单元可实施为微处理器、一个或一个以上专用集成电路(ASIC)、一个或一个以上现场可编程门阵列(FPGA),或一些其它硬件-软件组合。
可直接以硬件、以由处理器执行的软件模块或以上述两者的组合实施结合本文所揭示的实施例而描述的方法或算法的步骤。硬件模块可驻留于随机存取存储器(RAM)、闪存存储器、只读存储器(ROM)、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除可编程只读存储器(EEPROM)、寄存器、硬盘、可移动磁盘、压缩光盘只读存储器(CD-ROM),或先前技术中已知的任何其它形式的有形存储媒体。示范性存储媒体耦合到处理器,使得处理器可从存储媒体读取信息,且可将信息写入到存储媒体。在替代方案中,存储媒体可与处理器成一体式。处理器及存储媒体可驻留在专用集成电路(ASIC)中。ASIC可驻留在计算装置或用户终端中。在替代方案中,处理器及存储媒体可作为离散组件驻留在计算装置或用户终端中。
提供所揭示实施例的先前描述以使得所述领域的技术人员能够制作或使用所揭示的实施例。对于所属领域的技术人员来说,对这些实施例的各种修改将为显而易见的,且可在不偏离本发明的范围的情况下将本文中所定义的原理应用于其它实施例。因此,本发明无意限于本文中所展示的实施例,而是将赋予本发明与如由所附权利要求书界定的原理和新颖特征一致的可能的最广范围。

Claims (26)

1.一种方法,其包括:
接收对应于由摄影机俘获的图像的图像数据,所述图像包含将在耦合到所述摄影机的装置处显示的至少一个对象;
确定人相对于耦合到所述摄影机的所述装置的显示器的视点,其中确定所述视点包括基于所述人的所确定的皮肤颜色区域确定所述人的面部区域以及基于所述面部区域来跟踪所述人的面部位置;以及
响应于所述人的所述所确定的视点而移动在所述显示器处显示的所述至少一个对象。
2.根据权利要求1所述的方法,其中所述人的所述皮肤颜色区域是基于对应于皮肤颜色的色度平均值和色度方差值来确定的。
3.根据权利要求2所述的方法,其进一步包括执行用户辨识训练过程以确定对应于所述人的所述皮肤颜色的所述色度平均值和所述色度方差值。
4.根据权利要求1所述的方法,其中检测所述视点进一步包括检测所述面部区域内的眼睛以确认面部在所述面部区域内的位置。
5.根据权利要求1所述的方法,其中确定所述视点进一步包括基于面部的前一位置选择所述图像的第一区域来进行处理。
6.根据权利要求5所述的方法,其中响应于在所述选定区域内未检测到面部,选择比所述第一区域大的第二区域来进行处理。
7.根据权利要求1所述的方法,其中确定所述视点进一步包括识别具有在皮肤颜色范围内的色度值的像素。
8.根据权利要求1所述的方法,其中跟踪所述面部位置包含通过以下操作估计所述人的所述面部区域的中心像素位置:响应于用户辨识训练模式:
扫描与所述人的所述面部区域有关的所述图像数据的候选区域;
对于在肤色范围内的每一像素,累加样本像素数据;
在扫描所述候选区域中的所有像素之后:
计算肤色阈值;以及
计算所述经取样的像素数据的测量肤色的平均值和方差;
对于在所述肤色阈值内的每一像素样本,通过以下操作选择性地累加似然值:
测量所述样本像素到所述平均值的距离;
比较所述距离与所述方差;
当所述距离在所述方差内时:
累加水平和垂直似然值;
在完成所述似然值的所述选择性累加时:
配置动态阈值以找到所述水平和垂直似然值中的每一者中的峰值区段;
基于对所述动态阈值的评估来检测峰值水平区段和峰值垂直区段;以及
基于所述峰值水平区段和所述峰值垂直区段来确定所估计的中心像素位置。
9.根据权利要求8所述的方法,其进一步包括复位所述经取样的像素数据的所述所测量肤色的所述平均值和所述方差。
10.根据权利要求8所述的方法,其进一步包括证实所述中心像素位置在所述人的所述面部区域内。
11.根据权利要求8所述的方法,其进一步包括最初基于所述面部的前一位置来搜索所述候选区域。
12.根据权利要求8所述的方法,其中所述肤色阈值与特定人相关联。
13.一种设备,其包括:
皮肤颜色检测器,其经配置以检测人在对应于由摄影机俘获的图像的图像数据内的皮肤颜色区域;
面部检测器,其经配置以基于所述人的所述检测到的皮肤颜色区域来检测所述图
像的面部区域;以及
视点检测器,其经配置以至少部分基于所检测到的皮肤颜色区域来检测所述人相对于耦合到所述摄影机的装置的显示器的视点,其中所述视点检测器进一步经配置以基于所述检测到的面部区域来跟踪所述人的面部位置;
其中所述图像内的对象响应于所述人的所述检测到的视点而移动。
14.根据权利要求13所述的装置,其中所述皮肤颜色区域是基于对应于皮肤颜色的色度平均值和色度方差值来检测的。
15.根据权利要求13所述的装置,其进一步包括所述显示器和所述摄影机,且其中所述皮肤颜色检测器在图像处理管线内,所述图像处理管线经耦合以从所述摄影机接收所述图像数据且将显示内容提供到所述显示器。
16.根据权利要求13所述的装置,其中跟踪所述面部位置包含通过以下操作估计所述人的所述面部区域的中心像素位置:
响应于用户辨识训练模式:
扫描与所述人的所述面部区域有关的图像数据的候选区域;
对于在肤色范围内的每一像素,累加样本像素数据;
在扫描所述候选区域中的所有像素之后:
计算肤色阈值;以及
计算所述经取样的像素数据的测量肤色的平均值和方差;
对于在所述肤色阈值内的每一像素样本,通过以下操作选择性地累加似然值:
测量所述样本像素到所述平均值的距离;
比较所述距离与所述方差;
当所述距离在所述方差内时:
累加水平和垂直似然值;
在完成所述似然值的所述选择性累加时:
配置动态阈值以找到所述水平和垂直似然值中的每一者中的峰值区段;
基于对所述动态阈值的评估来检测峰值水平区段和峰值垂直区段;以及
基于所述峰值水平区段和所述峰值垂直区段来确定所估计的中心像素位置。
17.一种存储可由计算机执行的代码的计算机可读有形媒体,所述代码包括:
可由所述计算机执行以接收对应于由摄影机俘获的图像的图像数据的代码;
可由所述计算机执行以确定人相对于耦合到所述摄影机的装置的显示器的视点的代码,其中所述确定所述人的视点的代码包括可由所述计算机执行以基于所述人的所确定的皮肤颜色区域确定所述人的面部区域的代码以及基于所述面部区域来跟踪所述人的面部位置的代码;以及
可由所述计算机执行以响应于所述人的所述检测到的视点而移动所述图像内的对象的代码。
18.根据权利要求17所述的计算机可读有形媒体,其进一步包括可由所述计算机执行以执行用户辨识训练过程以基于所述人的皮肤颜色来确定对应于所述人的所述皮肤颜色的色度平均值和色度方差值的代码。
19.根据权利要求17所述的计算机可读有形媒体,其中确定所述人的所述视点的所述代码进一步包括可由所述计算机执行以检测所述面部区域内的眼睛以确认面部在所述面部区域内的位置的代码。
20.根据权利要求17所述的计算机可读有形媒体,其进一步包括用于通过以下操作估计所述人的所述面部区域的中心像素位置的代码:
响应于用户辨识训练模式:
扫描与所述人的所述面部区域有关的图像数据的候选区域;
对于在肤色范围内的每一像素,累加样本像素数据;
在扫描所述候选区域中的所有像素之后:
计算肤色阈值;以及
计算所述经取样的像素数据的测量肤色的平均值和方差;
对于在所述肤色阈值内的每一像素样本,通过以下操作选择性地累加似然值:
测量所述样本像素到所述平均值的距离;
比较所述距离与所述方差;
当所述距离在所述方差内时:
累加水平和垂直似然值;
在完成所述似然值的所述选择性累加时:
配置动态阈值以找到所述水平和垂直似然值中的每一者中的峰值区段;
基于对所述动态阈值的评估来检测峰值水平区段和峰值垂直区段;以及
基于所述峰值水平区段和所述峰值垂直区段来确定所估计的中心像素位置。
21.根据权利要求20所述的计算机可读有形媒体,其进一步包括可由所述计算机执行以复位所述经取样的像素数据的所述测量肤色的所述平均值和所述方差的代码。
22.根据权利要求20所述的计算机可读有形媒体,其进一步包括可由所述计算机执行以证实所述中心像素位置在所述人的所述面部区域内的代码。
23.根据权利要求20所述的计算机可读有形媒体,其进一步包括可由所述计算机执行以最初基于所述面部的前一位置搜索所述候选区域的代码。
24.一种设备,其包括:
用于接收对应于由摄影机俘获的图像的图像数据的装置;
用于确定人相对于耦合到所述摄影机的装置的显示器的视点的装置,其中所述用于确定所述视点的装置包括用于基于所述人的所确定的皮肤颜色区域确定所述人的面部区域的装置以及用于基于所述面部区域来跟踪所述人的面部位置的装置;以及
用于响应于所述人的所述检测到的视点而移动所述图像内的对象的装置。
25.根据权利要求24所述的装置,其中所述人的所述皮肤颜色区域是基于对应于皮肤颜色的色度平均值和色度方差值来确定的。
26.根据权利要求24所述的装置,其中所述用于跟踪所述面部位置的装置包含通过以下操作估计所述面部区域的中心像素位置:
响应于用户辨识训练模式:
扫描与所述人的所述面部区域有关的图像数据的候选区域;
对于在肤色范围内的每一像素,累加样本像素数据;
在扫描所述候选区域中的所有像素之后:
计算肤色阈值;以及
计算所述经取样的像素数据的测量肤色的平均值和方差;
对于在所述肤色阈值内的每一像素样本,通过以下操作选择性地累加似然值:
测量所述样本像素到所述平均值的距离;
比较所述距离与所述方差;
当所述距离在所述方差内时:
累加水平和垂直似然值;
在完成所述似然值的所述选择性累加时:
配置动态阈值以找到所述水平和垂直似然值中的每一者中的峰值区段;
基于对所述动态阈值的评估来检测峰值水平区段和峰值垂直区段;以及
基于所述峰值水平区段和所述峰值垂直区段来确定所估计的中心像素位置。
CN201180020144.8A 2010-04-22 2011-04-22 基于皮肤颜色区域和面部区域的视点检测器 Active CN102859534B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/765,292 US8315443B2 (en) 2010-04-22 2010-04-22 Viewpoint detector based on skin color area and face area
US12/765,292 2010-04-22
PCT/US2011/033543 WO2011133842A1 (en) 2010-04-22 2011-04-22 Viewpoint detector based on skin color area and face area

Publications (2)

Publication Number Publication Date
CN102859534A true CN102859534A (zh) 2013-01-02
CN102859534B CN102859534B (zh) 2016-01-27

Family

ID=44268139

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180020144.8A Active CN102859534B (zh) 2010-04-22 2011-04-22 基于皮肤颜色区域和面部区域的视点检测器

Country Status (6)

Country Link
US (1) US8315443B2 (zh)
EP (1) EP2561465A1 (zh)
JP (1) JP5911846B2 (zh)
KR (1) KR101560866B1 (zh)
CN (1) CN102859534B (zh)
WO (1) WO2011133842A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8325796B2 (en) 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8866809B2 (en) * 2008-09-30 2014-10-21 Apple Inc. System and method for rendering dynamic three-dimensional appearing imagery on a two-dimensional user interface
DE102010009737A1 (de) * 2010-03-01 2011-09-01 Institut für Rundfunktechnik GmbH Verfahren und Anordnung zur Wiedergabe von 3D-Bildinhalten
WO2012097503A1 (zh) * 2011-01-18 2012-07-26 青岛海信信芯科技有限公司 一种立体显示的控制方法及装置
US8984622B1 (en) * 2012-01-17 2015-03-17 Amazon Technologies, Inc. User authentication through video analysis
US9262670B2 (en) * 2012-02-10 2016-02-16 Google Inc. Adaptive region of interest
US9354748B2 (en) 2012-02-13 2016-05-31 Microsoft Technology Licensing, Llc Optical stylus interaction
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US9167201B2 (en) 2012-06-07 2015-10-20 Alcatel Lucent Feedback-system for managing video conferencing with a portable multimedia device comprising a frontal camera
US9256089B2 (en) 2012-06-15 2016-02-09 Microsoft Technology Licensing, Llc Object-detecting backlight unit
US20140009570A1 (en) * 2012-07-03 2014-01-09 Tourwrist, Inc. Systems and methods for capture and display of flex-focus panoramas
US20140063198A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Changing perspectives of a microscopic-image device based on a viewer' s perspective
US9230158B1 (en) 2012-12-18 2016-01-05 Amazon Technologies, Inc. Fraud detection for facial recognition systems
US10257414B2 (en) 2016-07-15 2019-04-09 Qualcomm Incorporated Method and system for smart group portrait
CN112655016A (zh) * 2018-09-11 2021-04-13 索尼公司 信息处理设备、信息处理方法和程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148092A (en) * 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
CN101069191A (zh) * 2004-12-02 2007-11-07 英国电讯有限公司 视频处理
US20100079449A1 (en) * 2008-09-30 2010-04-01 Apple Inc. System and method for rendering dynamic three-dimensional appearing imagery on a two-dimensional user interface

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07287761A (ja) 1994-04-19 1995-10-31 Canon Inc 画像処理装置及び画像処理方法
US6608622B1 (en) 1994-10-14 2003-08-19 Canon Kabushiki Kaisha Multi-viewpoint image processing method and apparatus
JP3561985B2 (ja) * 1994-11-28 2004-09-08 ソニー株式会社 画像処理装置
DE19516664C1 (de) * 1995-05-05 1996-08-29 Siemens Ag Verfahren zum Aufbau einer Farbtabelle in einer Computereinheit zur Klassifikation von Bildpunkten in einem Bild
US6188777B1 (en) 1997-08-01 2001-02-13 Interval Research Corporation Method and apparatus for personnel detection and tracking
JP2000311248A (ja) * 1999-04-28 2000-11-07 Sharp Corp 画像処理装置
US6972813B1 (en) 1999-06-09 2005-12-06 3M Innovative Properties Company Optical laminated bodies, lighting equipment and area luminescence equipment
KR20050042399A (ko) 2003-11-03 2005-05-09 삼성전자주식회사 게이즈 디텍션을 이용한 비디오 데이터 처리 장치 및 방법
GB2409028A (en) * 2003-12-11 2005-06-15 Sony Uk Ltd Face detection
JP2008506140A (ja) 2004-06-01 2008-02-28 マイケル エー. ベセリー 水平透視ディスプレイ
US7221366B2 (en) * 2004-08-03 2007-05-22 Microsoft Corporation Real-time rendering system and process for interactive viewpoint video
KR100695174B1 (ko) 2006-03-28 2007-03-14 삼성전자주식회사 가상 입체음향을 위한 청취자 머리위치 추적방법 및 장치
EP2045775A4 (en) * 2006-07-25 2017-01-18 Nikon Corporation Image processing method, image processing program, and image processing device
EP2116919A1 (en) 2008-05-09 2009-11-11 MBDA UK Limited display of 3-dimensional objects
US20090322671A1 (en) * 2008-06-04 2009-12-31 Cybernet Systems Corporation Touch screen augmented reality system and method
EP2305358B1 (en) * 2008-06-30 2019-01-02 Sony Interactive Entertainment Inc. Portable type game device and method for controlling portable type game device
US20100100853A1 (en) * 2008-10-20 2010-04-22 Jean-Pierre Ciudad Motion controlled user interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6148092A (en) * 1998-01-08 2000-11-14 Sharp Laboratories Of America, Inc System for detecting skin-tone regions within an image
CN101069191A (zh) * 2004-12-02 2007-11-07 英国电讯有限公司 视频处理
US20100079449A1 (en) * 2008-09-30 2010-04-01 Apple Inc. System and method for rendering dynamic three-dimensional appearing imagery on a two-dimensional user interface

Also Published As

Publication number Publication date
JP2013525906A (ja) 2013-06-20
US20110262001A1 (en) 2011-10-27
JP5911846B2 (ja) 2016-04-27
WO2011133842A1 (en) 2011-10-27
EP2561465A1 (en) 2013-02-27
CN102859534B (zh) 2016-01-27
KR20130027520A (ko) 2013-03-15
KR101560866B1 (ko) 2015-10-15
US8315443B2 (en) 2012-11-20

Similar Documents

Publication Publication Date Title
CN102859534B (zh) 基于皮肤颜色区域和面部区域的视点检测器
US8463002B2 (en) Rolled fingerprint acquisition apparatus and method for automatically detecting start and end of registration and synthesis
US20150055824A1 (en) Method of detecting a main subject in an image
US9838673B2 (en) Method and apparatus for adjusting viewing area, and device capable of three-dimension displaying video signal
US20120219227A1 (en) Computer-readable storage medium, image recognition apparatus, image recognition system, and image recognition method
CN103793918A (zh) 一种图像清晰度检测方法及装置
US20120219177A1 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US8571266B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
US9268408B2 (en) Operating area determination method and system
CN111801700B (zh) 支付过程中防止偷窥的方法及电子设备
KR20150059701A (ko) 비접촉식 지문 인식하는 방법 및 이를 수행하기 위한 전자 기기
US10574904B2 (en) Imaging method and electronic device thereof
US8718325B2 (en) Computer-readable storage medium, image processing apparatus, image processing system, and image processing method
KR102367648B1 (ko) 전 방향 시차 영상 합성 방법, 장치 및 저장 매체
EP3043539B1 (en) Incoming call processing method and mobile terminal
US20180041694A1 (en) Three-dimensional measurement method and three-dimensional measurement device using the same
JP6870474B2 (ja) 視線検出用コンピュータプログラム、視線検出装置及び視線検出方法
KR20130007950A (ko) 관심영역 검출 장치와 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
CN106919246A (zh) 一种应用界面的显示方法和装置
CN113225550A (zh) 偏移检测方法、装置、摄像头模组、终端设备及存储介质
CN105227948B (zh) 一种查找图像中畸变区域的方法及装置
CN115965653A (zh) 一种光斑追踪方法、装置、电子设备及存储介质
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
CN110602397A (zh) 图像处理方法、装置、终端及存储介质
TW201714010A (zh) 設定攝影機焦點之方法及器件

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant