CN101661329A - 智能终端的操作控制方法及装置 - Google Patents
智能终端的操作控制方法及装置 Download PDFInfo
- Publication number
- CN101661329A CN101661329A CN200910093842A CN200910093842A CN101661329A CN 101661329 A CN101661329 A CN 101661329A CN 200910093842 A CN200910093842 A CN 200910093842A CN 200910093842 A CN200910093842 A CN 200910093842A CN 101661329 A CN101661329 A CN 101661329A
- Authority
- CN
- China
- Prior art keywords
- staff
- target
- palm
- image
- positional information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000004458 analytical method Methods 0.000 claims abstract description 20
- 230000008878 coupling Effects 0.000 claims description 21
- 238000010168 coupling process Methods 0.000 claims description 21
- 238000005859 coupling reaction Methods 0.000 claims description 21
- 238000009499 grossing Methods 0.000 claims description 17
- 238000012545 processing Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 13
- 230000009471 action Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 8
- 239000000284 extract Substances 0.000 claims description 7
- 230000003467 diminishing effect Effects 0.000 claims description 6
- 230000002452 interceptive effect Effects 0.000 claims description 5
- 230000013011 mating Effects 0.000 claims description 5
- 238000007689 inspection Methods 0.000 claims description 2
- 238000003672 processing method Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002045 lasting effect Effects 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000001154 acute effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种智能终端的操作控制方法及装置，智能终端采集包含人手的图像，分析采集到的图像，获取人手位置信息；根据预先设置的图像区域与屏幕区域的对应关系，以及获得的人手位置信息，确定人手所在按键，根据人手信息确定是否对人手所在按键进行操作。本发明这种通过采集人手图像，采用自动分析方法确定人手在屏幕上的操作按钮位置，并进而控制智能终端的方法。不需键盘和触摸屏幕，降低了设备成本。
Description
技术领域
本发明涉及智能终端控制技术，尤指一种智能终端的操作控制方法及装置。
背景技术
目前，对各种智能终端的操作，通常通过触摸屏或按键来实现。无疑，现有为了操作智能终端，需要安装额外的触摸屏和键盘，增加了智能终端的成本。
发明内容
有鉴于此，本发明的主要目的在于提供一种智能终端的操作控制方法、以及一种智能终端的操作控制装置，能够基于低成本实现对智能终端的控制。
为达到上述目的，本发明的技术方案具体是这样实现的：
一种智能终端的操作控制方法，为所述智能终端设置一摄像头，且该方法包括以下步骤：
a、基于所述摄像头，采集智能终端屏幕前方的包含人手目标的图像；
b、获取图像中人手目标的人手位置信息；
c、根据获得的人手目标的人手位置信息、以及预先设置的图像与智能终端屏幕中的位置对应关系，确定人手目标在智能终端屏幕中所对应的按键；
d、根据人手目标在连续多帧图像中的大小变化规律，判定是否需要对人手目标所对应的按键进行操作。
所述步骤b利用手掌/拳头检测方法(本文所出现的“/”表示“或”)来获取人手位置信息，具体包括：
b0、设定手掌/拳头目标的搜索区域；
b1、采用手掌/拳头检测器，在所述目标搜索区域中获得手掌/拳头区域；
b2、从手掌/拳头区域中获取人手目标的人手位置信息，所述人手位置信息包括手掌/拳头区域的中心在图像中的位置、以及手掌/拳头区域的大小。
步骤b0所述设定手掌/拳头目标的搜索区域的方式为：采用训练好的肤色模型滤除采集到的图像中的非肤色干扰区域，得到所述目标搜索区域。
所述步骤b0之前进一步包括训练所述手掌检测器的步骤：采集手掌样本，割取手掌/拳头区域图像并放缩到固定大小，提取手掌区域的边缘方向直方图，并采用自适应增强算法训练得到固定尺度的手掌/拳头检测器。
所述步骤b1之前，该方法进一步对得到的所述目标搜索区域进行连通域分析，将得到的每个目标搜索区域放缩得到不同大小的一系列图像区域；
所述步骤b1中，进一步采用固定尺度的手掌检测器依次对一系列图像区域进行检测，得到手掌/拳头位置、并转换到原始图像坐标，以获得手掌/拳头区域。
所述步骤b2之后，该方法进一步包括：b3、根据人手位置信息对获得的人手目标进行跟踪匹配，确定人手目标在采集到的多帧图像中的帧间对应关系。
该方法进一步预先设置人手跟踪目标队列，用于保存若干跟踪目标的人手位置信息、以及呈现次数和丢失帧数信息；且对于采集到的每一帧图像，所述步骤b3具体包括：
计算人手跟踪目标队列中的每个跟踪目标和当前采集到的图像中人手目标的匹配程度；
对于存在匹配对应关系的跟踪目标和人手目标，利用匹配的人手目标的人手位置信息更新匹配的跟踪目标的人手位置信息，并将该跟踪目标的呈现次数加1，丢失帧数置为0；
对于不存在匹配对应关系的跟踪目标和人手目标，将该跟踪目标的丢失帧数加1，将该人手目标作为新的跟踪目标添加到跟踪目标队列中，并将该新添加的跟踪目标的丢失帧数置为0，呈现次数置为1；
如果跟踪目标的呈现次数大于预设第一阈值，认为该跟踪目标是一个真实目标；如果跟踪目标的丢失帧数大于预设第二阈值，认为该跟踪目标已经丢失，对其进行丢帧处理并从跟踪目标队列中删除；
选定面积最大的真实目标作为当前关注跟踪目标，并将其匹配的人手目标的人手位置信息供所述步骤c处理。
该方法进一步对所述关注跟踪目标的人手位置信息进行平滑处理。
所述平滑处理方法为：采用对关注跟踪目标的中心点横纵坐标、以及宽度和高度参数中的一个或多个分别取多帧均值的方式来实现。
所述平滑处理为动态平均方式具体包括：
将所述关注跟踪目标的位置信息INF与匹配的人手目标的位置信息INFcur作差，如果差值的绝对值大于预设第三阈值，则确定关注跟踪目标的人手位置信息为INFcur；
如果差值的绝对值不大于预设阈值，则确定所述关注跟踪目标的人手位置信息为
其中，INF′为所述关注跟踪目标在前一帧中的人手位置信息、α为常数可以取为大于0的实数。
该方法进一步预先设置图像中各点的位置与屏幕中各点的位置之间的线性对应关系，所述步骤c进一步依据该线性对应关系确定人手目标在智能终端屏幕中所对应的按键。
所述步骤d进一步根据人手目标的宽度和高度中的一个或者多个来判定人手目标在连续多帧图像中的大小变化规律。
所述步骤d中，如果人手目标在连续多帧图像中逐渐变大，则对人手目标所对应的按键进行操作。
所述步骤d中，如果人手目标在连续多帧图像中先逐渐变小、后逐渐变大，则对人手目标所对应的按键进行操作。
根据人手目标在当前帧和前一帧中的宽度和/或高度之间的差值是否小于预设第三阈值，如果小于，则认为当前帧中的人手相对前一帧存在变小的情况；否则，认为当前帧中的人手相对前一帧存在变大的情况；且，如果连续多帧都判定该帧人手相对前帧存在变大的情况，则认为发生了按下动作。
一种智能终端的操作控制装置，其特征在于，该装置包括：
图像采集单元，用于采集智能终端屏幕前方的包含人手目标的图像；
人手分析单元，用于获取图像中人手目标的人手位置信息；
按键确定单元，用于根据获得的人手目标的人手位置信息、以及预先设置的图像与智能终端屏幕中的位置对应关系，确定人手目标在智能终端屏幕中所对应的按键；
动作分析单元，用于根据人手目标在连续多帧图像中的大小变化规律，判定是否需要对人手目标所对应的按键进行操作。
所述人手分析单元利用手掌/拳头检测方法来获取人手位置信息并包括：
滤除干扰子单元，用于采用训练好的肤色模型滤除采集到的图像中的非肤色干扰区域，得到目标搜索区域；
手掌/拳头检测器，用于在得到的目标搜索区域中获得手掌/拳头区域；
位置提取子单元，用于从手掌/拳头区域中获取人手目标的人手位置信息，所述人手位置信息包括手掌/拳头区域的中心在图像中的位置、以及手掌/拳头区域的大小。
所述人手分析单元进一步包括：区域缩放子单元，用于对得到的所述目标搜索区域进行连通域分析，将得到的每个目标搜索区域放缩得到不同大小的一系列图像区域；
所述手掌检/拳头测器依次对一系列图像区域进行检测，得到手掌/拳头位置、并转换到原始图像坐标，以获得手掌/拳头区域。
所述人手分析单元进一步包括：目标跟踪子单元，用于根据人手位置信息对获得的人手目标进行跟踪匹配，确定人手目标在采集到的多帧图像中的帧间对应关系。
所述人手分析单元进一步包括：平滑处理子单元，用于对所述关注跟踪目标的人手位置信息进行平滑处理。
所述按键确定单元中进一步设置有图像中各点的位置与屏幕中各点的位置之间的线性对应关系，且，所述按键确定单元进一步依据该线性对应关系确定人手目标在智能终端屏幕中所对应的按键。
所述动作分析单元进一步根据人手目标的宽度和高度中的一个或者多个来判定人手目标在连续多帧图像中的大小变化规律。
所述动作分析单元在人手目标在连续多帧图像中逐渐变大、或先逐渐变小后逐渐变大时，对人手目标所对应的按键进行操作。
由上述技术方案可见，本发明这种通过采集人手图像，采用自动分析方法确定人手在屏幕上的操作按钮位置，并进而控制智能终端的方法。不需键盘和触摸屏幕，降低了设备成本。
附图说明
图1是本发明实施例中智能终端的操作控制方法的流程示意图；
图2是本发明实施例中智能终端的操作控制装置的结构示意图。
具体实施方式
为使本发明的目的、技术方案及优点更加清楚明白，以下参照附图并举实施例，对本发明进一步详细说明。
图1是本发明实施例中智能终端的操作控制方法的流程示意图，如图1所示，本实施例中智能终端的操作控制方法包括以下步骤：
步骤100：智能终端采集包含人手的图像。
本步骤可以通过在智能终端上安装摄像头，该摄像头可以内嵌于智能终端、或通过任一种接口总线作为智能终端的外部设备，且摄像头的镜头指向智能终端屏幕前方的区域，以保证伸向智能终端屏幕的人手在摄像头的拍摄范围内自然地活动，即摄像头能够采集到包含人手目标的图像。智能终端可以是ATM取款机、信息查询终端等。
步骤101：分析采集到的图像，获取该图像中人手目标的人手位置信息。
为了得到人手的位置，可以有很多种人手检测方法，比如可以采用肤色区域检测得到候选区域，然后，对候选区域进行形状分析，判定其是否满足实现设定的形状参数的方法。较优的方法是采用手掌或者拳头检测的方法。而手掌检测相对拳头检测更加自然，为更优实施例。本发明实施例中给出一种手掌检测的实现方法，详细介绍如下：
首先，设定手掌/拳头目标的搜索区域，该搜索区域可以是采用肤色模型来滤除非肤色干扰区域后得到的。肤色模型是通过采集肤色样本并训练后得到的；利用训练好的肤色模型，确定采集到的图像中的肤色区域，以区分出与肤色模型相匹配的肤色区域、即目标搜索区域，从而滤除肤色区域之外的非肤色干扰区域。其中，如何建立肤色模型属于本领域技术人员惯用技术手段，这里不再赘述。
然后，采用手掌检测器、即能够识别手掌/非手掌的二类分类器，在得到的肤色区域中获得手掌区域。为了获得手掌检测器，首先采集手掌样本，割取手掌区域图像并放缩到固定大小，提取手掌区域的梯度方向直方图(Histogram of Oriented Gradient)，并采用自适应增强算法(adaboost)训练得到手掌模型。对得到的肤色区域进行连通域分析，将得到的每个肤色区域放缩得到一系列图像区域，采用固定大小的手掌检测器对其进行检测，得到手掌位置，并转换到原始图像坐标，以获得手掌区域。
得到肤色区域和预先训练得到的手掌模型后，对于每个得到的肤色区域，采用图像放缩得到金字塔型图像模型、该金字塔图像模型中各层的肤色区域的尺寸由上至下依次减小，然后，采用固定尺度的检测模型对于金字塔图像模型的每一层的每一个位置进行判定，如果符合模型，则记录其对应的位置和大小，最后，对通过模型的位置和大小进行合并处理得到最终的手掌位置和大小。
得到手掌区域后，可以容易获取人手位置信息中的手掌在图像中的中心位置和大小，中心位置包含中心点的横坐标和纵坐标，而大小可以包含宽度和/或高度。
最后，为了得到一个手掌持续多帧中的位置和大小，可选地进一步对获得的人手位置信息进行跟踪匹配，确定人手在图像中帧间的对应关系。匹配跟踪的方法很多，比如可以采用基于均值变换(mean shift)的跟踪方法。但是，基于mean shift的方法对于背景干扰比较敏感，如果跟踪物体存在较大范围的大小变换其效果也会损失。本发明采用检测和匹配相结合的方式来跟踪人手。
首先设置一个人手跟踪目标队列，用于保存之前若干帧图像中跟踪目标的人手位置信息、以及跟踪目标的呈现次数和丢失帧数信息，人手位置信息包括但不限于跟踪目标的位置和大小信息。初始化时，该人手跟踪目标队列为空。
对于每一帧图像，计算当前维持的人手跟踪目标队列中的每个人手跟踪目标和当前检测得到的人手检测区域的匹配程度，其中，当前检测得到的人手检测区域是指当前采集到的图像中包含的人手目标。可以采用跟踪目标的所在矩形区域外框和人手检测区域的矩形区域外框的交叠面积得出匹配程度。
如果当前跟踪目标队列为空，则认为所有的人手检测区域都没有对应的跟踪目标；
对于已确定匹配对应关系的跟踪目标与人手检测区域，用匹配的人手检测区域的人手位置信息更新匹配的跟踪目标的人手位置信息，并将该跟踪目标的呈现次数加1，丢失帧数置为0。
对于不存在匹配对应关系的人手检测区域和跟踪目标，将跟踪目标队列中没有匹配的跟踪目标的丢失帧数加1，将没有匹配的人手检测区域作为新的跟踪目标添加到跟踪目标队列中，并将该新添加的跟踪目标的丢失帧数置为0，呈现次数置为1。
如果跟踪目标的呈现次数大于其预设阈值，认为该跟踪目标是一个真实目标。如果跟踪目标的丢失帧数大于其预设阈值，认为该跟踪目标已经丢失，对其进行丢帧处理，即从跟踪目标队列中删除。
将上述得到的所有真实目标中，所占面积最大的一个作为当前关注跟踪目标，并将当前关注跟踪目标匹配的人手目标的人手位置信息作为本步骤中最终选定的人手目标的人手位置信息、供后续步骤处理。
为了滤除干扰和噪声，可以进一步对上述得到的关注跟踪目标信息进行平滑处理。平滑处理可以采用对关注跟踪目标的中心点横纵坐标、宽度和高度参数中的一个或多个分别取多帧均值的静态方式来实现。
也可以采用如下动态平均的方式进行，动态平均算法既能够保证对参数的平滑效果，克服噪声，又能够灵敏反映参数的突然变化。首先，假定上述前面输出的的当前关注跟踪目标的人手位置信息为INF，将其与当前帧获得的匹配检测目标人手目标的对应人手位置信息INFcur作差，如果差值的绝对值大于预设第一阈值，则认为当前关注跟踪目标的位置在连续两帧中发生了剧烈变化，那么，认为当前关注跟踪目标帧的人手位置信息为INF＝INFcur；如果差值的绝对值不大于预设阈值，则认为当前关注跟踪目标的位置在连续两帧中是连续变化的，那么，当前关注跟踪目标的人手位置信息为
其中INF′为该关注跟踪目标在前一帧中的人手位置信息，α为常数可以取为大于0的实数，较优的可以取为2。
当然，如果采用拳头检测方法来获取人手位置信息，则只需将手掌检测器替换为原理相同的拳头检测器即可获得拳头区域、并以此来确定人手位置信息。
步骤102：根据预先设置的图像区域与屏幕区域的对应关系、以及人手位置信息，确定人手所在按键。其中，图像区域与屏幕区域的对应关系可以是图像中各点的位置与屏幕中各点的位置之间的线性对应关系。
假设图像的分辨率为M*N，屏幕的分辨率为P*Q，并设置图像中的点和屏幕上的点存在线性对应关系。预先设置图像坐标系和屏幕坐标系，所述两个坐标系的坐标轴横轴正向相反，并根据图像的像素分辨率、屏幕的像素分辨率以及两个坐标系的原点位置映射关系，确定两个坐标系中像素点的映射关系，之后根据两个坐标系中像素点的映射关系以及人手位置信息，将人手在采集图像中的位置坐标转换为屏幕上的位置坐标。
例如，假设图像坐标系的原点在图像中心，水平右为坐标轴横轴正向，垂直下为坐标轴纵轴正向，假定屏幕坐标系的原点在屏幕中心，水平左为屏幕坐标轴横轴正向，垂直下为坐标轴纵轴正向，假定图像水平分辨率为M，垂直分辨率为N，屏幕水平分辨率为P，垂直分辨率为Q，已知图像中一点为O(m，n)，m为其图像坐标系中横坐标，
n为其在图像坐标系中纵坐标，其在屏幕上对应点为R(p，q)，p为其在屏幕坐标系中横坐标，
q为其在屏幕坐标系中纵坐标，
限定屏幕横向坐标只取决于图像横向坐标，屏幕纵向坐标只取决于图像纵向坐标，则得到
进一步限定图像坐标原点映射到屏幕坐标原点，则k2＝0，k4＝0。由于可能存在M，N与P，Q不成比例即
的情况，因而采用下面两种模式。
第一种模式是完全对应模式，图像坐标系的每一点都和屏幕坐标系的每一点对应，此时，
当
时，k1≠k3，即横坐标放缩比例和纵坐标放缩比例不同。
第二种模式是保持比例模式，即限定k1＝k3，如果认为水平方向完全对应，则
此时，为了防止得到的p，q超出范围，则限定
其中min(a，b)为取a，b中小者，max(a，b)为取a，b中大者。同理如果认为垂直方向完全对应，则
此时，为了防止得到的p，q超出范围，则限定
其中min(a，b)为取a，b中小者，max(a，b)为取a，b中大者。
确定了人手在屏幕上的位置坐标，便可以确定人手所操作的区域的位置，设定人手操作区域的大小，根据人手在屏幕的坐标位置和人手操作区域的大小，以及预先设置的屏幕上各按键的位置和大小，确定人手当前所处的按键。一种实施方法如下：
假定人手在屏幕上的坐标位置为(Xhs，Yhs)，人手操作区域的大小为(Whs，Hhs)，按键的中心位置为(Xbs，Ybs)，大小为(Wbs，Hbs)。则对于所有的操作按键，找到与人手屏幕区域的交叠面积最大的一个按键，如果该交叠面积大于零，则认为当前人手所处的按键为该交叠面积最大的按键，否则，认为人手没有要对任何按键进行操作。
步骤103：根据人手位置信息确定是否对人手所在按键进行操作，也就是说，根据人手目标在连续多帧图像中的大小变化规律，判定是否需要对人手目标所对应的按键进行操作。
具体来说，本步骤可根据步骤101得到的人手位置信息中的人手大小，采用宽度或者高度中的一个或者多个来判定人手目标在连续多帧图像中的大小变化规律，尔后再通过判定所述参数是否存在连续的大小变化来判定是否存在按下所处按键的动作。一种实施方案为采用判定人手的宽度和高度中的一个或者多个是否存在由大变小的持续变化来判定是否存在按下动作。例如，根据人手目标在当前帧和前一帧中的宽度和/或高度之间的差值是否小于预设第三阈值，如果小于，则认为当前帧中的人手相对前一帧存在变小的情况；否则，认为当前帧中的人手相对前一帧存在变大的情况；且，如果连续多帧都判定该帧人手相对前帧存在变大的情况，则认为发生了按下动作。具体如下：
设定判定帧数间隔为T，按下动作的最小持续时间为U帧，则当步骤102判断出人手处于某个按键上时，连续对该人手进行如下判定：
假定当前为第t帧，则计算Wt-W(t-T)(即人手操作区域前后时刻的差值)是否小于第三阈值，如果小于，则认为该帧人手相对前帧存在变小的情况；如果连续U帧都判定该帧人手相对前帧存在变大的情况，则认为发生了按下动作。
当然，也可以设置为人手持续存在变小变化时，对应按下动作。但是，定义变大更自然，为更优实施例。
进一步地，可以限定人手存在持续的变小后，又出现持续的变大变化时，才认为发生了按下动作。这样的优点是避免了动作误判的可能性，更加稳定可靠。
图2是本发明实施例中智能终端的操作控制装置的结构示意图。如图2所示，本实施例中智能终端的操作控制装置对应图1所示方法，并包括：图像采集单元201、人手分析单元202、按键确定单元203、动作分析单元204。
图像采集单元201，其可以采用摄像头来实现，并用于采集智能终端屏幕前方的包含人手目标的图像。
人手分析单元202，用于对采集到的图像进行分析，以获取图像中人手目标的人手位置信息。具体为采用人手检测算法检测图像中存在的人手，并采用跟踪匹配算法确定人手在帧间的对应关系，从而确定目标人手以获得人手位置信息。
按键确定单元203，用于根据获得的人手目标的人手位置信息、以及预先设置的图像与智能终端屏幕中的位置对应关系，确定人手目标在智能终端屏幕中所对应的按键。具体为根据当前人手在图像中的坐标确定人手在对应屏幕上的位置，并确认人手所处于的按钮区域。
动作分析单元204，用于根据人手目标在连续多帧图像中的大小变化规律，判定是否需要对人手目标所对应的按键进行操作。实际应用中，动作分析单元204可进一步根据人手目标的宽度和高度中的一个或者多个来判定人手目标在连续多帧图像中的大小变化规律，可选地，动作分析单元204可在人手目标在连续多帧图像中逐渐变大时，对人手目标所对应的按键进行操作。
此外，如图2所示的装置还可以进一步包括显示单元和操作执行单元(图中未示出)。
其中，显示单元205为可选的功能单元，用于在屏幕相应区域显示人手所处的按键，比如高亮，或者变换亮度或颜色显示该按键，以提醒操作者注意。
为了提醒操作者，进一步，可以在屏幕上设定一个显示区域，用于将按钮确定模块得到的人手在屏幕上的位置显示在屏幕上的该显示区域中，同时，用与手的大小成比例的图标显示手的大小变化。这样做虽然简单，但是却存在很大优点，即让用户清楚机器对自己的动作的理解，便于培训用户，避免用户总是无法按照机器要求进行动作的情况。
操作执行单元，则用于根据图像采集单元201、人手分析单元202、按钮确定单元203、动作分析单元204的处理结果，控制显示单元205显示人手所处的按键，并发出声音提示信息，在判定存在按下按键操作时，控制其它设备进行相应操作。以ATM为例，比如当用户按下取款按钮时，相应操作可以是进行密码比对，并在密码输入正确后控制出钞。
上述技术方案虽然以ATM为例说明，但是，基于人手的控制方法可以用于其它如电脑，以及信息查询终端中。
下面，再对上述装置中的人手分析单元202进行详细说明。人手分析单元202可以利用手掌检测方法来获取人手位置信息。这种情况下，人手分析单元202即可包括(图中未示出)：
滤除干扰子单元，用于采用训练好的肤色模型滤除采集到的图像中的干扰区域，得到肤色区域；
手掌检测器，用于在得到的肤色区域中获得手掌区域；该手掌检测器可以为利用从手掌样本割取的固定大小的手掌区域图像的边缘方向直方图、并基于自适应增强算法训练得到的固定尺度的手掌检测器；
位置提取子单元，用于从手掌区域中获取人手目标的人手位置信息，所述人手位置信息包括手掌区域的中心在图像中的位置、以及手掌区域的大小。
可选地，人手分析单元202可进一步包括区域缩放子单元，用于对得到的所述肤色区域进行连通域分析，将得到的每个肤色区域放缩得到不同大小的一系列图像区域；此时，固定尺度的手掌检测器可依次对一系列图像区域进行检测，得到手掌位置、并转换到原始图像坐标，以获得手掌区域。
为了得到一个手掌持续多帧中的位置和大小，人手分析单元202还可进一步包括目标跟踪子单元(图中未示出)，用于根据人手位置信息对获得的人手目标进行跟踪匹配，确定人手目标在采集到的多帧图像中的帧间对应关系。
具体实现中，该目标跟踪子单元中可进一步设置有人手跟踪目标队列，用于保存若干跟踪目标的人手位置信息、以及呈现次数和丢失帧数信息；且对于采集到的每一帧图像，该目标跟踪子单元计算人手跟踪目标队列中的每个跟踪目标和当前采集到的图像中人手目标的匹配程度；
此后，对于存在匹配对应关系的跟踪目标和人手目标，该目标跟踪子单元利用匹配的人手目标的人手位置信息更新匹配的跟踪目标的人手位置信息，并将该跟踪目标的呈现次数加1，丢失帧数置为0；
而对于不存在匹配对应关系的跟踪目标和人手目标，该目标跟踪子单元将该跟踪目标的丢失帧数加1，将该人手目标作为新的跟踪目标添加到跟踪目标队列中，并将该新添加的跟踪目标的丢失帧数置为0，呈现次数置为1；
如果跟踪目标的呈现次数大于预设第一阈值，认为该跟踪目标是一个真实目标；如果跟踪目标的丢失帧数大于预设第二阈值，认为该跟踪目标已经丢失，对其进行丢帧处理并从跟踪目标队列中删除；
此后，目标跟踪子单元还选定面积最大的真实目标作为当前关注跟踪目标，并将其匹配的人手目标的人手位置信息作为人手分析单元202最终选定的人手目标的人手位置信息、供按键确定单元203处理。
为了滤除干扰和噪声，人手分析单元202还可进一步包括平滑处理子单元(图中未示出)，用于对所述关注跟踪目标的人手位置信息进行平滑处理。
具体实现中，平滑处理子单元采用对关注跟踪目标的中心点横纵坐标、以及宽度和高度参数中的一个或多个分别取多帧均值的静态方式来实现；或者，采用动态平均方式进行处理。
平滑处理子单元还采用另一种动态平滑方式，即，将关注跟踪目标的位置信息INF与匹配的人手目标的位置信息INFcur作差，如果差值的绝对值大于预设第三阈值，则确定关注跟踪目标的人手位置信息为INFcur；如果差值的绝对值不大于预设阈值，则确定所述关注跟踪目标的人手位置信息为
其中，INF′为所述关注跟踪目标在前一帧中的人手位置信息、α为常数可以取为大于0的实数。
当然，人手分析单元202也可采用拳头检测方法来获取人手位置信息，此时，只需将手掌检测器替换为原理相同的拳头检测器即可获得拳头区域、并由位置提取子单元依据拳头区域此来确定人手位置信息。
如上可见，本发明方案的优势在于无需触摸屏和键盘等设备，仅仅需要一个摄像头，就实现了对终端设备操作的智能控制。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换以及改进等，均应包含在本发明的保护范围之内。
Claims (23)
1.一种智能终端的操作控制方法，其特征在于，为所述智能终端设置一摄像头，且该方法包括以下步骤：
a、基于所述摄像头，采集智能终端屏幕前方的包含人手目标的图像；
b、获取图像中人手目标的人手位置信息；
c、根据获得的人手目标的人手位置信息、以及预先设置的图像与智能终端屏幕中的位置对应关系，确定人手目标在智能终端屏幕中所对应的按键；
d、根据人手目标在连续多帧图像中的大小变化规律，判定是否需要对人手目标所对应的按键进行操作。
2.根据权利要求1所述的方法，其特征在于，所述步骤b利用手掌/拳头检测方法来获取人手位置信息，具体包括：
b0、设定手掌/拳头目标的搜索区域；
b1、采用手掌/拳头检测器，在所述搜索区域中获得手掌/拳头区域；
b2、从手掌/拳头区域中获取人手目标的人手位置信息，所述人手位置信息包括手掌/拳头区域的中心在图像中的位置、以及手掌/拳头区域的大小。
3.根据权利要求2所述的方法，其特征在于，步骤b0所述设定手掌/拳头目标的搜索区域的方式为：采用训练好的肤色模型滤除采集到的图像中的非肤色干扰区域，得到所述搜索区域。
4.根据权利要求3所述的方法，其特征在于，所述步骤b0之前进一步包括训练所述手掌检测器的步骤：采集手掌样本，割取手掌/拳头区域图像并放缩到固定大小，提取手掌区域的边缘方向直方图，并采用自适应增强算法训练得到固定尺度的手掌/拳头检测器。
5.根据权利要求4所述的方法，其特征在于，所述步骤b1之前，该方法进一步对得到的所述目标搜索区域进行连通域分析，将得到的每个目标搜索区域放缩得到不同大小的一系列图像区域；
所述步骤b1中，进一步采用固定尺度的手掌检测器依次对一系列图像区域进行检测，得到手掌/拳头位置、并转换到原始图像坐标，以获得手掌/拳头区域。
6.根据权利要求2至5中任一项所述的方法，其特征在于，所述步骤b2之后，该方法进一步包括：b3、根据人手位置信息对获得的人手目标进行跟踪匹配，确定人手目标在采集到的多帧图像中的帧间对应关系。
7.根据权利要求6所述的方法，其特征在于，该方法进一步预先设置人手跟踪目标队列，用于保存若干跟踪目标的人手位置信息、以及呈现次数和丢失帧数信息；且对于采集到的每一帧图像，所述步骤b3具体包括：
计算人手跟踪目标队列中的每个跟踪目标和当前采集到的图像中人手目标的匹配程度；
对于存在匹配对应关系的跟踪目标和人手目标，利用匹配的人手目标的人手位置信息更新匹配的跟踪目标的人手位置信息，并将该跟踪目标的呈现次数加1，丢失帧数置为0；
对于不存在匹配对应关系的跟踪目标和人手目标，将该跟踪目标的丢失帧数加1，将该人手目标作为新的跟踪目标添加到跟踪目标队列中，并将该新添加的跟踪目标的丢失帧数置为0，呈现次数置为1；
如果跟踪目标的呈现次数大于预设第一阈值，认为该跟踪目标是一个真实目标；如果跟踪目标的丢失帧数大于预设第二阈值，认为该跟踪目标已经丢失，对其进行丢帧处理并从跟踪目标队列中删除；
选定面积最大的真实目标作为当前关注跟踪目标，并将其匹配的人手目标的人手位置信息供所述步骤c处理。
8.根据权利要求7所述的方法，其特征在于，该方法进一步对所述关注跟踪目标的人手位置信息进行平滑处理。
9.根据权利要求8所述的方法，其特征在于，所述平滑处理方法为：采用对关注跟踪目标的中心点横纵坐标、以及宽度和高度参数中的一个或多个分别取多帧均值的方式来实现。
10.根据权利要求8所述的方法，其特征在于，所述平滑处理为动态平均方式具体包括：
将所述关注跟踪目标的位置信息INF与匹配的人手目标的位置信息INFcur作差，如果差值的绝对值大于预设第三阈值，则确定关注跟踪目标的人手位置信息为INFcur；
如果差值的绝对值不大于预设阈值，则确定所述关注跟踪目标的人手位置信息为
其中，INF′为所述关注跟踪目标在前一帧中的人手位置信息、α为常数可以取为大于0的实数。
11.根据权利要求1所述的方法，其特征在于，该方法进一步预先设置图像中各点的位置与屏幕中各点的位置之间的线性对应关系，所述步骤c进一步依据该线性对应关系确定人手目标在智能终端屏幕中所对应的按键。
12.根据权利要求1所述的方法，其特征在于，所述步骤d进一步根据人手目标的宽度和高度中的一个或者多个来判定人手目标在连续多帧图像中的大小变化规律。
13.根据权利要求12所述的方法，其特征在于，所述步骤d中，如果人手目标在连续多帧图像中逐渐变大，则对人手目标所对应的按键进行操作。
14.根据权利要求12所述的方法，其特征在于，所述步骤d中，如果人手目标在连续多帧图像中先逐渐变小、后逐渐变大，则对人手目标所对应的按键进行操作。
15.根据权利要求13或14所述的方法，其特征在于，根据人手目标在当前帧和前一帧中的宽度和/或高度之间的差值是否小于预设第三阈值，如果小于，则认为当前帧中的人手相对前一帧存在变小的情况；否则，认为当前帧中的人手相对前一帧存在变大的情况；且，如果连续多帧都判定该帧人手相对前帧存在变大的情况，则认为发生了按下动作。
16.一种智能终端的操作控制装置，其特征在于，该装置包括：
图像采集单元，用于采集智能终端屏幕前方的包含人手目标的图像；
人手分析单元，用于获取图像中人手目标的人手位置信息；
按键确定单元，用于根据获得的人手目标的人手位置信息、以及预先设置的图像与智能终端屏幕中的位置对应关系，确定人手目标在智能终端屏幕中所对应的按键；
动作分析单元，用于根据人手目标在连续多帧图像中的大小变化规律，判定是否需要对人手目标所对应的按键进行操作。
17.根据权利要求16所述的装置，其特征在于，所述人手分析单元利用手掌/拳头检测方法来获取人手位置信息并包括：
滤除干扰子单元，用于采用训练好的肤色模型滤除采集到的图像中的非肤色干扰区域，得到搜索区域；
手掌/拳头检测器，用于在得到的搜索区域中获得手掌/拳头区域；
位置提取子单元，用于从手掌/拳头区域中获取人手目标的人手位置信息，所述人手位置信息包括手掌/拳头区域的中心在图像中的位置、以及手掌/拳头区域的大小。
18.根据权利要求17所述的装置，其特征在于，所述人手分析单元进一步包括：区域缩放子单元，用于对得到的所述搜索区域进行连通域分析，将得到的每个搜索区域放缩得到不同大小的一系列图像区域；
所述手掌检/拳头测器依次对一系列图像区域进行检测，得到手掌/拳头位置、并转换到原始图像坐标，以获得手掌/拳头区域。
19.根据权利要求17或18所述的装置，其特征在于，所述人手分析单元进一步包括：目标跟踪子单元，用于根据人手位置信息对获得的人手目标进行跟踪匹配，确定人手目标在采集到的多帧图像中的帧间对应关系。
20.根据权利要求19所述的装置，其特征在于，所述人手分析单元进一步包括：平滑处理子单元，用于对所述关注跟踪目标的人手位置信息进行平滑处理。
21.根据权利要求16所述的装置，其特征在于，所述按键确定单元中进一步设置有图像中各点的位置与屏幕中各点的位置之间的线性对应关系，且，所述按键确定单元进一步依据该线性对应关系确定人手目标在智能终端屏幕中所对应的按键。
22.根据权利要求16所述的装置，其特征在于，所述动作分析单元进一步根据人手目标的宽度和高度中的一个或者多个来判定人手目标在连续多帧图像中的大小变化规律。
23.根据权利要求22所述的装置，其特征在于，所述动作分析单元在人手目标在连续多帧图像中逐渐变大、或先逐渐变小后逐渐变大时，对人手目标所对应的按键进行操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910093842.5A CN101661329B (zh) | 2009-09-22 | 2009-09-22 | 智能终端的操作控制方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN200910093842.5A CN101661329B (zh) | 2009-09-22 | 2009-09-22 | 智能终端的操作控制方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101661329A true CN101661329A (zh) | 2010-03-03 |
| CN101661329B CN101661329B (zh) | 2015-06-03 |
Family
ID=41789391
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200910093842.5A Expired - Fee Related CN101661329B (zh) | 2009-09-22 | 2009-09-22 | 智能终端的操作控制方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN101661329B (zh) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102253715A (zh) * | 2011-07-20 | 2011-11-23 | 康佳集团股份有限公司 | 一种移动终端智能图文人机交互方法及系统 |
| CN102467237A (zh) * | 2011-11-17 | 2012-05-23 | 厦门集芯科技有限公司 | 一种由非接触式手势动作实现鼠标功能的装置及其方法 |
| CN102749996A (zh) * | 2012-06-29 | 2012-10-24 | 华南理工大学 | 空中双手的控制方法及系统 |
| CN103106388A (zh) * | 2011-11-15 | 2013-05-15 | 中国科学院深圳先进技术研究院 | 图像识别方法和系统 |
| CN103329519A (zh) * | 2011-03-31 | 2013-09-25 | 株式会社尼康 | 图像显示装置及物体检测装置 |
| CN103366188A (zh) * | 2013-07-08 | 2013-10-23 | 中科创达软件股份有限公司 | 一种基于拳头检测作为辅助信息的手势跟踪方法 |
| CN104142741A (zh) * | 2013-05-08 | 2014-11-12 | 宏碁股份有限公司 | 电子装置及其触控检测方法 |
| CN104914985A (zh) * | 2014-03-13 | 2015-09-16 | 扬智科技股份有限公司 | 手势控制方法及系统与视频流处理装置 |
| CN105155153A (zh) * | 2015-08-28 | 2015-12-16 | 深圳思瑞普科技有限公司 | 一种电脑刺绣机局部花样显示的处理方法 |
| CN105307014A (zh) * | 2014-07-29 | 2016-02-03 | 冠捷投资有限公司 | 基于手势辨识的密码输入方法 |
| CN106022211A (zh) * | 2016-05-04 | 2016-10-12 | 北京航空航天大学 | 一种利用手势控制多媒体设备的方法 |
| CN107643821A (zh) * | 2016-07-22 | 2018-01-30 | 北京搜狗科技发展有限公司 | 一种输入控制方法、装置及电子设备 |
| CN108846854A (zh) * | 2018-05-07 | 2018-11-20 | 中国科学院声学研究所 | 一种基于运动预测与多特征融合的车辆跟踪方法 |
| CN109889720A (zh) * | 2018-11-15 | 2019-06-14 | 乐蜜有限公司 | 一种视频拍摄方法、装置、电子设备及存储介质 |
| CN110555876A (zh) * | 2018-05-30 | 2019-12-10 | 百度在线网络技术（北京）有限公司 | 用于确定位置的方法和装置 |
| CN112114732A (zh) * | 2020-09-18 | 2020-12-22 | 歌尔科技有限公司 | 屏幕内容的放大方法、设备及计算机可读存储介质 |
| CN113741690A (zh) * | 2021-08-23 | 2021-12-03 | 珠海格力电器股份有限公司 | 智能终端的控制方法、装置、电子设备和存储介质 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6346933B1 (en) * | 1999-09-21 | 2002-02-12 | Seiko Epson Corporation | Interactive display presentation system |
| CN2682483Y (zh) * | 2004-03-11 | 2005-03-02 | 钟煜曦 | 一种基于图像的互动输入控制系统 |
| CN1912816A (zh) * | 2005-08-08 | 2007-02-14 | 北京理工大学 | 一种基于摄像头的虚拟触摸屏系统 |
| CN101510121A (zh) * | 2009-03-12 | 2009-08-19 | 重庆大学 | 一种基于手势识别的界面漫游操作方法与装置 |
-
2009
- 2009-09-22 CN CN200910093842.5A patent/CN101661329B/zh not_active Expired - Fee Related
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103329519A (zh) * | 2011-03-31 | 2013-09-25 | 株式会社尼康 | 图像显示装置及物体检测装置 |
| CN102253715A (zh) * | 2011-07-20 | 2011-11-23 | 康佳集团股份有限公司 | 一种移动终端智能图文人机交互方法及系统 |
| CN103106388B (zh) * | 2011-11-15 | 2017-02-08 | 中国科学院深圳先进技术研究院 | 图像识别方法和系统 |
| CN103106388A (zh) * | 2011-11-15 | 2013-05-15 | 中国科学院深圳先进技术研究院 | 图像识别方法和系统 |
| CN102467237A (zh) * | 2011-11-17 | 2012-05-23 | 厦门集芯科技有限公司 | 一种由非接触式手势动作实现鼠标功能的装置及其方法 |
| CN102749996A (zh) * | 2012-06-29 | 2012-10-24 | 华南理工大学 | 空中双手的控制方法及系统 |
| CN104142741B (zh) * | 2013-05-08 | 2017-04-12 | 宏碁股份有限公司 | 电子装置及其触控检测方法 |
| CN104142741A (zh) * | 2013-05-08 | 2014-11-12 | 宏碁股份有限公司 | 电子装置及其触控检测方法 |
| CN103366188A (zh) * | 2013-07-08 | 2013-10-23 | 中科创达软件股份有限公司 | 一种基于拳头检测作为辅助信息的手势跟踪方法 |
| CN103366188B (zh) * | 2013-07-08 | 2017-07-07 | 中科创达软件股份有限公司 | 一种基于拳头检测作为辅助信息的手势跟踪方法 |
| CN104914985A (zh) * | 2014-03-13 | 2015-09-16 | 扬智科技股份有限公司 | 手势控制方法及系统与视频流处理装置 |
| CN105307014A (zh) * | 2014-07-29 | 2016-02-03 | 冠捷投资有限公司 | 基于手势辨识的密码输入方法 |
| CN105155153B (zh) * | 2015-08-28 | 2018-03-16 | 深圳思瑞普科技有限公司 | 一种电脑刺绣机局部花样显示的处理方法 |
| CN105155153A (zh) * | 2015-08-28 | 2015-12-16 | 深圳思瑞普科技有限公司 | 一种电脑刺绣机局部花样显示的处理方法 |
| CN106022211A (zh) * | 2016-05-04 | 2016-10-12 | 北京航空航天大学 | 一种利用手势控制多媒体设备的方法 |
| CN106022211B (zh) * | 2016-05-04 | 2019-06-28 | 北京航空航天大学 | 一种利用手势控制多媒体设备的方法 |
| CN107643821A (zh) * | 2016-07-22 | 2018-01-30 | 北京搜狗科技发展有限公司 | 一种输入控制方法、装置及电子设备 |
| CN107643821B (zh) * | 2016-07-22 | 2021-07-27 | 北京搜狗科技发展有限公司 | 一种输入控制方法、装置及电子设备 |
| CN108846854A (zh) * | 2018-05-07 | 2018-11-20 | 中国科学院声学研究所 | 一种基于运动预测与多特征融合的车辆跟踪方法 |
| CN110555876A (zh) * | 2018-05-30 | 2019-12-10 | 百度在线网络技术（北京）有限公司 | 用于确定位置的方法和装置 |
| CN109889720A (zh) * | 2018-11-15 | 2019-06-14 | 乐蜜有限公司 | 一种视频拍摄方法、装置、电子设备及存储介质 |
| CN112114732A (zh) * | 2020-09-18 | 2020-12-22 | 歌尔科技有限公司 | 屏幕内容的放大方法、设备及计算机可读存储介质 |
| US12039155B2 (en) | 2020-09-18 | 2024-07-16 | Goertek Inc. | Screen content magnification method and device, and computer readable storage medium |
| CN113741690A (zh) * | 2021-08-23 | 2021-12-03 | 珠海格力电器股份有限公司 | 智能终端的控制方法、装置、电子设备和存储介质 |
| CN113741690B (zh) * | 2021-08-23 | 2024-05-03 | 珠海格力电器股份有限公司 | 智能终端的控制方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN101661329B (zh) | 2015-06-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101661329A (zh) | 智能终端的操作控制方法及装置 | |
| EP3065033B1 (en) | Touch screen sensing method, device and computer program product | |
| US9582070B2 (en) | Detecting user input provided to a projected user interface | |
| EP2365420B1 (en) | System and method for hand gesture recognition for remote control of an internet protocol TV | |
| CN103389799B (zh) | 一种对手指尖运动轨迹进行跟踪的方法 | |
| CN102231093B (zh) | 一种屏幕定位控制方法及装置 | |
| CN105849673A (zh) | 基于自然三维手势的人机导览方法 | |
| US8648811B2 (en) | Remote control system for electronic device and remote control method thereof | |
| CN103150019A (zh) | 一种手写输入系统及方法 | |
| CN102096471B (zh) | 一种基于机器视觉的人机交互方法 | |
| JPWO2009139214A1 (ja) | 表示装置および制御方法 | |
| CA2424673A1 (en) | Multiple camera control system | |
| CN102306053B (zh) | 一种基于虚拟触摸屏的人机交互方法、装置及电子设备 | |
| CN104809387A (zh) | 基于视频图像手势识别的非接触式解锁方法及装置 | |
| CN103092334B (zh) | 虚拟鼠标驱动装置及虚拟鼠标仿真方法 | |
| CN101976330A (zh) | 手势识别方法和系统 | |
| CN101110102A (zh) | 基于玩家拳头的游戏场景和角色控制方法 | |
| US20180129875A1 (en) | Gesture identification with natural images | |
| CN103793056A (zh) | 基于距离向量的空中手势漫游控制方法 | |
| CN103761011B (zh) | 一种虚拟触摸屏的方法、系统及计算设备 | |
| CN105912126A (zh) | 一种手势运动映射到界面的增益自适应调整方法 | |
| US8355599B2 (en) | Methods and devices for detecting changes in background of images using multiple binary images thereof and hough transformation | |
| CN111831135B (zh) | 鼠标光标影像侦测比对与回馈状态判断方法 | |
| CN102073878A (zh) | 非穿戴指势视觉识别方法 | |
| CN107479713A (zh) | 一种移动设备的人机交互方法及移动设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20180115 Address after: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16 Patentee after: Zhongxing Technology Co.,Ltd. Address before: 100083, Haidian District, Xueyuan Road, Beijing No. 35, Nanjing Ning building, 15 Floor Patentee before: VIMICRO Corp. |
|
| TR01 | Transfer of patent right | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16 Patentee after: Zhongxing Technology Co.,Ltd. Address before: 100083 Haidian District, Xueyuan Road, No. 35, the world building, the second floor of the building on the ground floor, No. 16 Patentee before: Zhongxing Technology Co.,Ltd. |
|
| CP01 | Change in the name or title of a patent holder | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20150603 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |