CN104699237B - 辨识使用者操作的方法及相关互动装置与计算机可读介质 - Google Patents

辨识使用者操作的方法及相关互动装置与计算机可读介质 Download PDF

Info

Publication number
CN104699237B
CN104699237B CN201410552812.7A CN201410552812A CN104699237B CN 104699237 B CN104699237 B CN 104699237B CN 201410552812 A CN201410552812 A CN 201410552812A CN 104699237 B CN104699237 B CN 104699237B
Authority
CN
China
Prior art keywords
image
user
contour shape
interactive device
polygon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201410552812.7A
Other languages
English (en)
Other versions
CN104699237A (zh
Inventor
白金洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HTC Corp
Original Assignee
High Tech Computer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by High Tech Computer Corp filed Critical High Tech Computer Corp
Publication of CN104699237A publication Critical patent/CN104699237A/zh
Application granted granted Critical
Publication of CN104699237B publication Critical patent/CN104699237B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/162—Detection; Localisation; Normalisation using pixel segmentation or colour matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Abstract

一种辨识使用者操作的方法及相关互动装置与计算机可读介质，该方法包含：提取多个图像；根据一肤色模型来形成对应于被提取的该多个图像的多个多边形图像；以及藉由分析该多个多边形图像来执行一功能。

Description

辨识使用者操作的方法及相关互动装置与计算机可读介质
技术领域
本发明涉及一种使用者互动架构，尤其涉及一种用于辨识使用者的行为的方法、对应的互动装置，以及存储有对应指令的计算机可读介质(computer readable medium)。
背景技术
一般来说，在大部分的已知的使用者互动架构中，若不通过使用者对显示屏幕进行触碰来进行操作，则需基于辨识使用者独特的脸部特征来进行操作，例如辨识使用者独特的眼部或嘴部特征。这些已知的使用者互动架构需要密集的计算以及大量的存储器带宽，并且会导致大量的电源消耗。此外，环境噪声以及使用者的姿势(pose)也会对这些使用者互动架构的辨识成功率带来极大的影响，使得已知的使用者互动架构无法有效地检测使用者的独特特征。另外，这些已知的使用者互动架构无法持续检测装置与使用者之间的距离或相关的坐标。因此，有需要提出一种全新的使用者互动架构来取代已知的使用者互动架构。
发明内容
因此，本发明的一目的在于提供一种新的方法、一种对应的互动装置和/ 或一种存储有用以辨识使用者操作该互动装置的行为的相关指令的计算机可读介质，以解决上述已知技术的问题。
本发明的一实施例提供了一种使用于一互动装置并用于辨识使用者操作该互动装置的行为的方法。该方法包含：提取多个图像；根据一肤色模型来形成对应于所提取的该多个图像的多个多边形图像；以及藉由分析该多个多边形图像来执行一功能。
本发明的另一实施例提供了一种互动装置，用于辨识使用者操作该互动装置的行为，该互动装置包含一相机电路以及一处理单元。该相机电路用以提取多个图像。该处理单元耦接于该相机电路，用于根据一肤色模型来形成对应于所提取的该多个图像的多个多边形图像，以及藉由分析该多个多边形图像来执行一功能。
本发明的另一实施例提供了一种计算机可读介质，包含用于辨识使用者操作一互动装置的行为的多个指令，该多个指令被执行时会执行以下步骤：提取多个图像；根据一肤色模型来形成对应于被提取的该多个图像的多个多边形图像；以及藉由分析该多个多边形图像来执行一功能。
在上述实施例中，藉由计算以及分析关联于使用者的脸部的多边形图像相关的特征参数，该互动装置、该方法或该组指令不需要使用者对该互动装置的输入部分进行触碰，就能辨识使用者操作在该互动装置的行为。本发明提供一种新的架构，用以动态地建立使用者脸部的肤色模型。这个架构藉由使用以像素为主的(pixel-based)肤色分类来执行，以对应于提取的图像画面，持续地将像素分类为“肤色区域”或“非肤色区域”。经过上述分类的操作，互动装置、方法或指令可建立肤色的区域/几何图(territory/geometry map)，且接着可伴随着时间轴来进行分类，以使该互动装置可分析输入图像随时间的变化，进而了解使用者的行为及需求，并对该需求作出回应。所提出的新颖兼具智能型的架构为使用者控制/操作互动装置提供了另一选择。此外，所提出的架构也较不易受到环境噪声以及使用者的姿势所影响，故可提供更精确的操作以及更低的电源消耗。
附图说明
图1为根据本发明的一实施例的互动装置的功能方块图。
图2A为图1所示的互动装置的简化流程图。
图2B为说明图1所示的互动装置的操作的另一范例的流程图。
图3A为位图分布结果的一范例的示意图。
图3B为位图分布结果经过边缘压缩或反锯齿处理后的一范例的示意图。
图4A～图4D分别为多边形图像的四种不同范例的示意图。
图5A～图5C为多边形图像的其他不同范例的示意图。
图6为根据本发明的另一实施例的图1所示的互动装置的操作的示意图。
【符号说明】
100 互动装置
105 相机电路
110 存储单元
115 显示装置
120 处理单元
205A～215A、205B～240B、605～645 步骤
E1、E2 眼部
N1 鼻子
FN～FN+4 画面
具体实施方式
请参考图1，图1为根据本发明的一实施例的一互动装置100的功能方块图。互动装置100用以辨识使用者操作互动装置100的行为(behavior)，尤其是，互动装置100可在不需要使用者对互动装置100进行触碰之下，就能够辨识使用者操作互动装置100的行为。在本实施例中，互动装置100用来提取图像、从提取到的图像辨别出对应于使用者的特定图像，以及对特定图像进行估计以辨识出使用者的行为。在实作上，互动装置100包含一相机电路105(例如一前置(front-facing)相机)、一存储单元110(例如一存储器装置)、一显示装置115(例如一显示屏幕)以及一处理单元120(例如一处理器)。处理单元120分别耦接于相机电路105、存储单元110以及显示装置115。图2A为图1所示的互动装置100的简化流程图。在步骤205A中，相机电路105用以提取多个图像。处理单元120用以根据一肤色模型 (skin-tone model)来形成对应于被提取的多个图像的多个多边形图像 (polygon image)(步骤210A)，以及藉由分析该多个多边形图像来执行一功能(步骤215A)。
请一并参考图1以及图2B。图2B为说明图1所示的互动装置100的操作的另一范例的流程图。请注意，假若可获得实质上相同的结果，则这些步骤并不一定要遵照图2B所示的执行次序来执行，亦即其他步骤可被插入其中。在步骤205B中，相机电路105用以提取使用者的脸部的至少一参考图像。提取该至少一参考图像的操作可在互动装置100一被启用(亦即开机启动) 时便被执行，或者是互动装置100开机启动后并开始执行一预定程序时被执行，举例来说，该预定程序可为一电子邮件应用(email application)、一网页浏览器(Webbrowser)，或一文件编辑器应用(document editor application) 等等。当该至少一参考图像已被提取或产生时，在步骤210B中，处理单元 120用以根据该至少一参考图像来建立(build up)和/或产生一肤色模型，尤其是，处理单元120会基于包含在该至少一参考图像中的使用者脸部的肤色来产生该肤色模型。该肤色模型包含有用来指示出正在操作互动装置100的使用者的肤色的信息。所建立的该肤色模型后续会被存储或暂存在存储单元 110中。
在步骤215B中，相机电路105用以提取多个输入图像(亦即上述被提取的多个图像)。详细来说，当互动装置100被启用时和/或被使用者操作时，相机电路105可用来周期地/动态地提取输入图像。被提取的输入图像可包含部分关联于使用者脸部的图像以及部分并非关联于使用者脸部的图像。举例来说，并非关联于使用者脸部的图像可指出一背景图像、使用者的衣服和/或其他与使用者的肤色无关的部分。此外，若有二或多个使用者在相机电路105 的前面，该二或多个使用者可被相机电路105所拍摄。被提取的这些输入图像可包含部分对应于该二或多个使用者的图像，也就是说，被提取的这些输入图像的内容并不用以限定本发明的范围，且本发明并不局限于只提取及分析单一使用者的多边形图像。
在步骤220B中，处理单元120用来从被提取的这些输入图像中辨别出对应于使用者的图像。上述的辨别操作基于存储在存储单元110中的肤色模型来执行。如上所述，肤色模型由处理单元120所建立且被存储在存储单元110 中，此外，肤色模型也可被其他电路事先建立，此变化例亦属于本发明的范围。详细来说，在步骤220B中，处理单元120用来辨别在一输入图像中一像素的值是否对应于由肤色模型的信息所指出的人体的肤色(亦即使用者脸部的颜色)。若该像素的值对应于人体肤色，此像素会被处理单元120分类至一第一像素群组(group)；若该像素的值不对应于人体肤色，则像素会被处理单元120分类至一第二像素群组。依此原则，处理单元120会得知每一像素是被分类至关联于人体肤色的第一像素群组或是并非关联于人体肤色的第二像素群组。上述分类操作为随时间变化持续进行的像素层级分类，而对于每一输入图像，处理单元120皆会取得有一部分的像素被分类至第一像素群组且其他部分的像素被分类至第二像素群组的分类结果。
在步骤225B中，处理单元120用以基于步骤220B所产生的分类结果来执行一位图(bit-map)转换。对于每一像素，若分类结果指出该像素被分类至第一像素群组，处理单元120会用来将该像素的一标志(flag)设定为位“1”以指出该像素的图像内容是关联于人体肤色；若分类结果指出该像素被分类至第二像素群组，则处理单元120会用来将该标志设定为位“0”以指出该像素的图像内容并非关联于人体肤色。在依序设定好所有像素的标志后，处理单元120可取得指出位0/1分布(bit 0/1distribution)的一位图。对于被提取的输入图像，处理单元120会根据该肤色模型来将包含在被提取的该输入图像中的像素分类至位“0”或位“1”以产生该位图；对于被提取的多个输入图像，处理单元120会将包含在被提取的这些输入图像中的每一像素分类至位“0”或位“1”，以产生多个位图。
另一选择性的做 法是，在取得一位图后，处理单元120可对该位图执行边缘压缩(edge suppression)或反锯齿(anti-jaggy)的操作，来平滑化对应于位“1”的标志所形成的一类多边形(polygon-like)图像的形状(shape)。请注意，上述边缘压缩以及反锯齿的操作是选择性的，而非用以限定本发明的范围。请参考图3A以及图3B，图3A为位图分布结果的一范例的示意图。图3B为位图分布结果经过边缘压缩或反锯齿处理后的一范例的示意图。如图 3A所示，在输入图像中，细点(dot)表示关联于人体肤色的像素，而其他部分则表示与人体肤色无关的像素。处理单元120会对由关联于人体肤色的像素所形成的范围的形状(例如图3A所示的细点部分)执行边缘压缩或反锯齿的操作，以取得如图3B所示的多边形图像的处理后的形状。以图3B所示的输入图像来说，可看出处理单元120可取得具有类脸部(face-like)形状的多边型图像(其包含眼部E1、E2以及鼻子N1)的一样本。这个类脸部形状由具有孔洞的多边形图像所形成，其中孔洞包含眼部E1、E2以及鼻子N1。请再次参考图2B，在步骤225B中，处理单元120取得了具有孔洞的多边形图像，根据该具有孔洞的多边形图像，处理单元120可辨识或辨别出一输入图像的一部分(亦即具有孔洞的该多边形图像)是关联于人脸。因此，在处理过提取到的多个图像后，处理单元120会取得多个具有孔洞的多边形图像，其分别对应不同时间点的脸部。应注意的是，处理单元120也可取得不具有孔洞的关联于人脸的多边形图像，上述多边形图像的范例并不用以限定本发明的范围。此外，在其他实施例中，处理单元120可直接根据产生于步骤220B 中的分类结果来取得上述多边形图像，而不需执行位图转换。也就是说，虽然执行位图转换可以带来功效，但仅为一选择性的操作，而非一必要操作。
因此，通过步骤220B以及步骤225B的处理，处理单元120根据肤色模型产生用以指出对应于被提取的输入图像的多个位0/1分布的位图，并且根据这些位图来形成对应于被提取的这些图像的多个多边形图像。
在步骤230B中，基于所取得的这些多边形图像，处理单元120会计算以及分析关联于取得的这些多边形图像的至少一特征参数的时间变化(time variation)，以辨识/辨别使用者的行为。所谓至少一特征参数的时间变化即表示该至少一特征参数在不同时间点的变化，例如，该至少一特征参数包含该多个多边形图像的中位点(median point，或称核心(kernal))、该多个多边形图像的相似值(similarity)、该多个多边形图像的长度/宽度(例如平均 (mean)长度/宽度)，和/或该多个多边形图像的每一类脸部形状的比例中的任一或任何组合。请注意，上述特征参数的范例仅用作说明的目的，并不用以限定本发明的范围。在取得经计算及分析的特征参数后，处理单元120会基于所取得的特征参数来辨识或辨别使用者的行为，如此一来，处理单元120 便可决定或辨别使用者下达何种命令来操作互动装置100。举例来说，基于分析后的至少一特征参数，处理单元120可辨识或辨别使用者正在将其头部转向左或转向右、将其头部向上或向下移动、将其头部前倾或后仰、将互动装置100移动至靠近其脸部、将其脸部移动至靠近于互动装置100，和/或使其脸部以及互动装置100互相靠近。因此，互动装置100可得知使用者在未触碰互动装置100的输入部分的情况下，下达何种命令来操作互动装置100。此外，处理单元120可用各式各样的方式来计算出特征参数，举例来说，特征参数的中位点(即核心)可藉由使用位于多边形图像的孔洞(即分别对应于双眼的二孔洞)之间的重心(gravity center)来计算，和/或藉由参考每一多边形图像的多个边缘来计算。这些实施方式皆包含在本发明的范围。
在步骤235B中，在辨别出使用者下达何种命令之后，处理单元120会控制显示装置115或者与显示装置115一起被使用，以响应于使用者的命令(或使用者的行为)来执行一预定程序。
在步骤240B中，处理单元120用来执行一环境条件检测，以判断环境条件是否发生改变。详细来说，处理单元120可用来执行一光照条件(light condition)检测以判断光照条件是否发生改变。若光照条件已经改变，则流程由步骤240B进入步骤205B；若光照条件并未改变，则流程由步骤240B 进入步骤215B。上述环境条件检测用来决定是否要重建该肤色模型。当光照条件已经改变，则有需要基于新的参考图像来重建该肤色模型，以避免处理单元120所执行的像素层级分类中出现错误。反之，若光照条件并未改变，则不需要重建该肤色模型。依此原则，在本实施例中，互动装置100会基于以下条件所衍生的新参考图像来建立肤色模型：(a)互动装置被开启(turned on)、电源开启(powered on)或唤醒(waken up)；(b)互动装置开始执行一预定程序；以及(c)检测到光照条件发生改变。此外，描述在步骤240B中的步骤为一选择性的步骤，其可在本发明的其他实施例中被省略。
举例来说，在本发明的一实施例中，互动装置100可为一移动装置，例如一智能手机装置，而使用者可能会希望能够以不使用手指对显示屏幕(或触控面板)的输入部分进行触碰的方式，来对互动装置100进行操作。在此情况下，使用者可利用其头部来控制/操作互动装置100。例如，使用者可藉由将其头部转向左或转向右、将其头部向上或向下移动、将其头部前倾或后仰、将互动装置100移动至其脸部、将其脸部移动至靠近于互动装置100，和/或使其脸部以及互动装置100互相靠近等方式来操作互动装置100。当使用者做了以上动作之一时，使用者所做的动作会被相机电路105所拍摄并记录下来，以产生上述的输入图像。另外，处理单元120会根据肤色模型来进行像素层级分类、取得具有类脸部形状的多边形图像，以及计算并分析至少一特征参数的时间变化，以辨识使用者的行为，也就是说，处理单元120会分析类脸部形状在不同时间点的特征参数的变化来辨识使用者做出何种动作，以辨别使用者所下达的命令。
例如，当使用者正在操作包含一卷动轴(scrollbar)的软件应用(softwareapplication)时，使用者可移动将其头部向上或向下移动，或者将其头部向前或向后倾斜，来控制及移动该卷动轴。在此情况下，处理单元120会检测到中位点、相似值和/或长度/宽度(例如平均长度/宽度)等特征参数中至少一特征参数的时间变化有大幅改变，且处理单元120会接着将使用者的行为辨识或辨别为一卷动动作(scroll action)。若一特征参数的时间变化有大幅改变，则该特征参数即反应出表示使用者所迅速做的一种动作，举例来说，使用者可迅速地将其头部向上或向下移动，使得处理单元120可检测到关于中位点的特征参数的时间变化有大幅改变，并且将使用者的行为辨识为卷动动作。然而，时间变化的大幅改变并不用以限定本发明(亦即并非本发明唯一的判断条件)，若使用者缓慢地将其头部移动向上或向下移动，处理单元120也可检测到中位点的时间变化并且将使用者的行为辨识为卷动动作。据此，当使用者控制卷动轴向上、向下或跨页(across page)时，处理单元120可检测到中位点、相似性和/或长度/宽度的时间变化有大幅改变，因此处理单元120可辨别使用者是要控制卷动轴向上、向下或跨过当前页面/文件。
请参考图4A～图4B，图4A为多边形图像的第一范例的示意图，而图4B 为多边形图像的第二范例的示意图。举例来说，处理单元120对特征参数(如中位点(亦即核心))进行计算以及分析，并且取得该对特征参数(如中位点) 的时间变化。如图4A所示，画面FN～FN+4分别表示在不同时间点的多边形图像。处理单元120可检测到中位点向上移动至整个画面的上方，这表示使用者可能是将其头部向上移动或是将其头部后仰。在一默认设定(defaultsetting)中，处理单元120会根据使用者的习惯来判断使用者希望对屏幕的显示画面实施一向上卷动操作或一向上换页(page up)操作，而处理单元120 会控制显示装置115或与显示装置115一起被使用，来对显示屏幕的画面执行向上卷动操作/功能或向上换页操作/功能。然而，上述方式仅用以说明，并非用以限定本发明的范围。此外，如图4B所示，画面FN～FN+4分别表示在不同时间点的多边形图像。处理单元120可检测到中位点向下移动至整个图像的下方，这表示使用者可能是将其头部向下移动或是将其头部前倾。在一默认设定中，处理单元120会根据使用者的习惯来判断使用者希望对屏幕的显示画面实施一向下卷动操作或一向下换页(page down)操作，而处理单元 120会控制显示装置115或与显示装置115一起被使用，来对显示屏幕的画面执行向下卷动操作/功能或向下换页操作/功能。然而，上述方式仅用以说明，并非用以限定本发明的范围。
请参考图4C～图4D，图4C为多边形图像的第三范例的示意图，而图4D 为多边形图像的第四范例的示意图。如图4C所示，处理单元120可检测到中位点向左移动，这表示使用者可能是将其头部向左移动或是将其头部转向左。在一默认设定中，处理单元120会根据使用者的习惯来判断使用者希望对屏幕的显示画面实施一向左换页(page left)操作，而处理单元120会控制显示装置115或与显示装置115一起被使用，来对显示屏幕的画面执行向左换页的操作/功能。此外，如图4D 所示，处理单元120可检测到中位点向右移动，这表示使用者可能是将其头部向右移动或是转向右。在一默认设定中，处理单元120会根据使用者的习惯来判断使用者希望对屏幕的显示画面实施一向右换页(page right)操作，而处理单元120会控制显示装置115或与显示装置115一起被使用，来对显示屏幕的画面执行向右换页操作/功能。
请注意，在以上范例中，中位点这个特征参数可与其他特征参数(例如相似值和/或平均长度/宽度)一起被使用，来检测使用者下达何种命令。举例来说，藉由检测相似性、平均长度和/或平均宽度，处理单元120可检测到使用者可能向将其头部后仰或前倾，或是将其头部转向左或转向右，故可据以检测到使用者下达何种命令。为简洁之故，细节在此便不再赘述。
此外，举例来说，使用者可将互动装置100移近其脸部、主动将其脸部靠近互动装置100和/或使其脸部以及互动装置100互相靠近；另外，使用者可将互动装置100移远其脸部、主动将其脸部远离互动装置100和/或使其脸部以及互动装置100互相远离。在此情况下，处理单元120会检测到“比例 (ratio)”这个特征参数的时间变化有大幅改变，接着处理单元120会将使用者的行为辨识或辨别为一放大/缩小显示(zooming in/out)动作。当使用者希望对显示在显示屏幕上的内容做放大显示或缩小显示时，处理单元120可检测比例的时间变化，故可判断出使用者希望对显示屏幕上的内容做放大显示或做缩小显示。
请参考图5A～图5B，图5A为多边形图像的第五范例的示意图，而图5B 为多边形图像的第六范例的示意图。举例来说，处理单元120会对“比例”这个特征参数进行计算以及分析。如图5A所示，画面FN～FN+4分别表示在不同时间点的多边形图像，处理单元120可检测到多边形图像在整个画面所占的比例逐渐变大，这表示使用者可能是将互动装置100移近其脸部、主动将其脸部靠近互动装置100和/或使其脸部以及互动装置100互相靠近。在一默认设定中，处理单元120会根据视力良好或近视使用者的习惯来判断使用者希望进行的操作。在本实施例的情况下，处理单元120会判断使用者希望更清楚地浏览互动装置100上所显示的内容，而处理单元120会控制显示装置 115或是与显示装置115一起被使用，来对显示屏幕的画面执行放大显示的操作/功能。相反地，在另一替代性的(alternative)设定中，根据远视使用者的习惯，处理单元120会控制显示装置115或是与显示装置115一起被使用，来对显示屏幕的画面执行缩小显示的操作/功能。
如图5B所示，画面FN～FN+4分别表示在不同时间点的多边形图像。处理单元120可检测到多边形图像在整个画面所占的比例逐渐变小，这表示使用者可能是将互动装置100移远其脸部、主动将其脸部远离互动装置100和/ 或使其脸部以及互动装置100互相远离。在一默认设定中，处理单元120会根据视力良好或近视使用者的习惯来判断使用者希望进行的操作。在本实施例的情况下，处理单元120会判断使用者希望对互动装置100上所显示的内容作更大范围的浏览或想要看到更多内容，而处理单元120会控制显示装置 115或是与显示装置115一起被使用，来对显示屏幕的画面执行缩小显示的操作/功能。而在另一替代性的设定中，根据远视使用者的习惯，处理单元120 会判断使用者希望更清楚地浏览互动装置100上所显示的内容，而处理单元 120会控制显示装置115或是与显示装置115一起被使用，来对显示屏幕的画面执行放大显示的操作/功能。
此外，当检测到使用者的一预定行为或是检测到某些预定条件时，处理单元120可被设置来自动地暂停(pause)或中断正在被使用者操作的一程序 /软件应用。举例来说，处理单元120可与相机电路105一起被使用来检测当下使用者是否正与其他人说话。请参考图5C，图5C为多边形图像的第七范例的示意图。如图5C所示，画面FN～FN+4分别表示在不同时间点的多边形图像。处理单元120可检测到第二个类脸部多边形图像出现在画面FN+2中(也就是画面FN+2中一共出现二个多边形图像)，原始的类脸部多边形图像的宽度接下来在画面FN+3变得较窄，而到了画面FN+4时，两个多边形图像的宽度皆变得较窄，这表示使用者可能忽然地与另一人说话。藉由检测特征参数(例如本实施例中多边形图像的宽度)的时间变化，处理单元120可检测到使用者正在将其头部左转(在本范例中)或右转(在其他范例中)，并可一并检测到另一人正将其头部右转(在本范例中)或左转(在其他范例中)。当检测到至少一多边形图像的宽度变窄时，处理单元120会判断使用者忽然与另一人进行对话。在一默认设定中，处理单元120会判断使用者希望与另一人进行简短的对话，而处理单元120会控制显示装置115或是与显示装置115一起被使用，以执行一预定程序/功能，以自动地暂停或停止正在被使用者操作的程序/软件应用，直到处理单元120检测到使用者的脸部面向互动装置。例如，当处理单元120检测到使用者想要与另一人进行简短对话时，被使用者所观看的图像/电影可自动地被处理单元120暂停或停止。请注意，图5C所示的多边形图像仅作说明的用途，并非作为本发明的限制。
此外，图2B中的流程图所提及的操作可被设计为仅会在互动装置100 执行一特定软件应用/程序(例如一网页浏览器、一文件编辑器程序等等)时才执行，举例来说，特别是当互动装置100的显示屏幕所显示的内容为包含卷动轴的网页浏览器或文件编辑器程序时，处理单元120可用来将使用者的行为辨识或辨别为一卷动动作。此变化例可节省更多电源以避免不必要的电源消耗。
如此一来，根据以上描述，处理单元120可根据取得的特征参数的时间变化来将使用者的行为辨识或辨别为卷动动作或缩放动作。更确切来说，处理单元120可辨别使用者的动作对应到何种命令，以使得处理单元120可控制显示装置115或是与显示装置115一起被使用，以响应于使用者的行为或动作来执行一预定程序。
此外，在另一实施例中，互动装置100的操作可关联于不同的流程图步骤，此变化例亦符合本发明的精神。请参考图6，图6为根据本发明的另一实施例的图1所示的互动装置100的操作的示意图。请注意，假若可获得实质上相同的结果，则这些步骤并不一定要遵照图6所示的执行次序来执行，亦即其他步骤可被插入其中。图6的步骤如下：
步骤605：使用相机电路150来提取使用者脸部的至少一图像；
步骤610：根据使用者脸部的肤色来使用处理电路120建立一肤色模型；
步骤615：使用处理电路120来进行环境条件检测(例如光照条件检测)，以在等待一预定时段后检查环境条件是否改变，若环境条件已改变，执行步骤605；否则，继续执行步骤620；
步骤620：使用相机电路105来周期地/动态地提取输入图像；
步骤625：使用处理电路120来根据该肤色模型对每一像素进行像素层级分类，以产生一分类结果；
步骤630：使用处理电路120来基于该分类结果执行或进行一位图转换，以取得多边形图像；
步骤635：使用处理电路120来计算以及分析关于取得的多边形图像的至少一特征参数，以辨识/辨别使用者的行为；
步骤640：使用处理电路120来检查使用者是否触碰显示面板，若使用者正在触碰显示面板，回到步骤605；否则继续执行步骤645；以及
步骤645：使用处理电路120来控制显示装置115或是与显示装置115 一起被使用，以响应于使用者的行为来执行一预定程序。
此外，上述包含放大/缩小显示、向左/右换页、向上/下换页和/或向上/ 下卷动等操作/功能仅作为本发明的范例，这些操作/功能并不用以限定本发明的范围，其他操作/功能也可应用于本发明。例如，通过处理电路120响应使用者的行为来进行上述操作，互动装置100也可用来改变显示面板的色调亮度(hue brightness)/颜色/功率控制、以调高或调低显示画面帧(display frame)、调整电源消耗、自动地将互动装置100上锁/解锁、播放一图像和/或暂停/重播一图像应用。
另外，上述操作或步骤可被包含在一计算机可读介质中的软件指令、进程(thread，又称之为“执行绪”)或程序代码来执行，尤其是软件指令、进程或程序代码不需要使用者对一装置进行触碰，就可以被执行来辨识使用者操作此装置的行为。换句话说，本发明可被实施为用于计算机中的系统、方法或程序。上述指令、进程或程序代码可被记录在计算机可读介质，例如硬盘、光盘(CD-ROM/DVD-ROM)、光学存储装置或磁性存储装置。此外，上述指令、进程或程序代码可被记录在另一计算机中并且可藉由网络来读取。另外，本发明可被实施为硬件以及软件的组合。
以上所述仅为本发明的优选实施例，凡依本发明权利要求书所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (8)

1.一种使用于互动装置并用于辨识使用者操作该互动装置的行为的方法，包含：
提取多个图像；
根据肤色模型来形成对应于所提取的该多个图像的一个人脸轮廓形状的多个多边形图像以及形成另一个人脸轮廓形状的多个多边形图像，该人脸轮廓形状与所述另一个人脸轮廓形状出现在同一个画面；以及
藉由分析关联于该人脸轮廓形状的该多个多边形图像的至少一特征参数的时间变化以及关联于所述另一个人脸轮廓形状的该多个多边形图像的至少一特征参数的时间变化来辨识使用者操作该互动装置的行为以及相应于该使用者的行为执行自动地暂停或中断正在被用户操作的一程序/软件应用的功能，该人脸轮廓形状的该多个多边形图像的该至少一特征参数包含该人脸轮廓形状的该多个多边形图像的宽度，以及所述另一个人脸轮廓形状的该多个多边形图像的该至少一特征参数包含所述另一个人脸轮廓形状的该多个多边形图像的宽度。
2.如权利要求1所述的方法，还包含：
根据至少一参考图像来产生该肤色模型；
其中当该互动装置被启用、该互动装置开始执行预定程序或光照条件的改变被检测到时，该至少一参考图像会被提取。
3.如权利要求1所述的方法，其中根据该肤色模型来形成对应于所提取的该多个图像的步骤包含：
根据该肤色模型来产生多个位图，该多个位图指出对应于所提取的该多个图像的多个位0/1分布；以及
根据该多个位图来形成该人脸轮廓形状的该多个多边形图像以及形成所述另一个人脸轮廓形状的该多个多边形图像。
4.如权利要求3所述的方法，其中根据该肤色模型来形成对应于所提取的该多个图像的该多个多边形图像的步骤包含：
根据该肤色模型来将所提取的该多个图像中的位分类为位0或位1，以产生该多个位图。
5.一种互动装置，用于辨识使用者操作该互动装置的行为，该互动装置包含：
相机电路，用以提取多个图像；以及
处理单元，耦接于该相机电路，用于根据肤色模型来形成对应于所提取的该多个图像的一个人脸轮廓形状的多个多边形图像以及形成另一个人脸轮廓形状的多个多边形图像，该人脸轮廓形状与所述另一个人脸轮廓形状出现在同一个画面，以及藉由分析关联于该人脸轮廓形状的该多个多边形图像的至少一特征参数的时间变化以及关联于所述另一个人脸轮廓形状的该多个多边形图像的至少一特征参数的时间变化来辨识使用者操作该互动装置的行为以及相应于该使用者的行为执行自动地暂停或中断正在被用户操作的一程序/软件应用的功能，该人脸轮廓形状的该多个多边形图像的该至少一特征参数包含该人脸轮廓形状的该多个多边形图像的宽度，以及所述另一个人脸轮廓形状的该多个多边形图像的该至少一特征参数包含所述另一个人脸轮廓形状的该多个多边形图像的宽度。
6.如权利要求5所述的互动装置，其中该相机电路用以当该互动装置被启用、该互动装置开始执行预定程序或光照条件的改变被检测到时，提取至少一参考图像；以及该处理器用以根据该至少一参考图像来产生该肤色模型。
7.如权利要求5所述的互动装置，其中该处理单元用以根据该肤色模型来产生多个位图，该多个位图指出对应于所提取的该多个图像的多个位0/1分布，以及用以根据该多个位图来形成该人脸轮廓形状的该多个多边形图像以及形成所述另一个人脸轮廓形状的该多个多边形图像。
8.如权利要求7所述的互动装置，其中该处理单元用以根据该肤色模型来将所提取的该多个图像中的位分类为位0或位1，以产生该多个位图。
CN201410552812.7A 2013-12-10 2014-10-17 辨识使用者操作的方法及相关互动装置与计算机可读介质 Expired - Fee Related CN104699237B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/101,366 2013-12-10
US14/101,366 US9971411B2 (en) 2013-12-10 2013-12-10 Method, interactive device, and computer readable medium storing corresponding instructions for recognizing user behavior without user touching on input portion of display screen

Publications (2)

Publication Number Publication Date
CN104699237A CN104699237A (zh) 2015-06-10
CN104699237B true CN104699237B (zh) 2018-01-30

Family

ID=53271129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410552812.7A Expired - Fee Related CN104699237B (zh) 2013-12-10 2014-10-17 辨识使用者操作的方法及相关互动装置与计算机可读介质

Country Status (3)

Country Link
US (1) US9971411B2 (zh)
CN (1) CN104699237B (zh)
TW (1) TWI617994B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9767728B2 (en) 2015-10-30 2017-09-19 Essential Products, Inc. Light sensor beneath a dual-mode display
US10102789B2 (en) 2015-10-30 2018-10-16 Essential Products, Inc. Mobile device with display overlaid with at least a light sensor
US10331260B2 (en) 2015-10-30 2019-06-25 Essential Products, Inc. Variable transparency layers for electronic devices
US9864400B2 (en) 2015-10-30 2018-01-09 Essential Products, Inc. Camera integrated into a display
US9754526B2 (en) 2015-10-30 2017-09-05 Essential Products, Inc. Mobile device with display overlaid with at least a light sensor
JP6650738B2 (ja) * 2015-11-28 2020-02-19 キヤノン株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
WO2017147614A1 (en) 2016-02-26 2017-08-31 Essential Products, Inc. Image capture with a camera integrated display
CN109034399A (zh) * 2017-06-09 2018-12-18 丽宝大数据股份有限公司 保养评估方法及其电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108980A (ja) * 2001-09-28 2003-04-11 Mitsubishi Electric Corp 頭部領域抽出装置およびリアルタイム表情追跡装置
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN101226591A (zh) * 2008-01-31 2008-07-23 上海交通大学 基于手机摄像头结合人脸识别技术的身份识别方法
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN101751219A (zh) * 2008-12-05 2010-06-23 索尼爱立信移动通信日本株式会社 终端装置、显示控制方法和显示控制程序

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7574016B2 (en) 2003-06-26 2009-08-11 Fotonation Vision Limited Digital image processing using face detection information
US7315631B1 (en) * 2006-08-11 2008-01-01 Fotonation Vision Limited Real-time face tracking in a digital image acquisition device
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US8406482B1 (en) 2008-08-28 2013-03-26 Adobe Systems Incorporated System and method for automatic skin tone detection in images
TWI590098B (zh) 2012-05-09 2017-07-01 劉鴻達 以臉部表情為輸入的控制系統
CN103412647B (zh) 2013-08-13 2016-07-06 广东欧珀移动通信有限公司 一种人脸识别的页面显示控制方法及移动终端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108980A (ja) * 2001-09-28 2003-04-11 Mitsubishi Electric Corp 頭部領域抽出装置およびリアルタイム表情追跡装置
CN101032405A (zh) * 2007-03-21 2007-09-12 汤一平 基于全方位计算机视觉的安全驾驶辅助装置
CN101236599A (zh) * 2007-12-29 2008-08-06 浙江工业大学 基于多摄像机信息融合的人脸识别检测装置
CN101226591A (zh) * 2008-01-31 2008-07-23 上海交通大学 基于手机摄像头结合人脸识别技术的身份识别方法
CN101751219A (zh) * 2008-12-05 2010-06-23 索尼爱立信移动通信日本株式会社 终端装置、显示控制方法和显示控制程序

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肤色建模和肤色分割的人脸定位研究;沈常宇等;《光电工程》;20070930;第34卷(第9期);第2-3页 *

Also Published As

Publication number Publication date
TWI617994B (zh) 2018-03-11
US20150160730A1 (en) 2015-06-11
US9971411B2 (en) 2018-05-15
TW201523460A (zh) 2015-06-16
CN104699237A (zh) 2015-06-10

Similar Documents

Publication Publication Date Title
CN104699237B (zh) 辨识使用者操作的方法及相关互动装置与计算机可读介质
CN101697199B (zh) 头面部动作检测方法及应用该方法操控计算机的助残系统
JP4384240B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
CN104813258B (zh) 数据输入装置
US9921687B2 (en) Always-available input through finger instrumentation
CN105204351B (zh) 空调机组的控制方法及装置
EP1324269A1 (en) Image processing apparatus, image processing method, record medium, computer program, and semiconductor device
CN104424410A (zh) 移动智能终端分安全等级快捷启动应用的方法及其系统
CN105068748A (zh) 触屏智能设备的摄像头实时画面中用户界面交互方法
EP2980755A1 (en) Method for partitioning area, and inspection device
CN107193519A (zh) 显示控制方法及装置、计算机装置和计算机可读存储介质
CN102467345A (zh) 显示装置和显示方法
CN105868235A (zh) 智能终端的图片预览方法及装置
CN107454304A (zh) 一种终端控制方法、控制装置以及终端
CN112214112A (zh) 参数调节方法及装置
CN108520263A (zh) 一种全景图像的识别方法、系统及计算机存储介质
JP4945617B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
CN108388467A (zh) 一种界面显示的方法、装置和设备
CN105929946B (zh) 一种基于虚拟界面的自然交互方法
CN112860068A (zh) 人机交互方法、装置、电子设备、介质和计算机程序产品
Xu et al. Bare hand gesture recognition with a single color camera
US10742937B2 (en) Watching apparatus, watching method, and recording medium
CN112256190A (zh) 触控交互方法、装置、存储介质及电子设备
CN114416005A (zh) 界面显示方法、装置及计算机可读存储介质
CN110716678B (zh) 一种显示画面的局部删除方法及处理系统、显示设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180130

Termination date: 20191017