CN107481267A - 一种基于双目视觉的摄像投影交互系统及方法 - Google Patents

一种基于双目视觉的摄像投影交互系统及方法 Download PDF

Info

Publication number
CN107481267A
CN107481267A CN201710692648.3A CN201710692648A CN107481267A CN 107481267 A CN107481267 A CN 107481267A CN 201710692648 A CN201710692648 A CN 201710692648A CN 107481267 A CN107481267 A CN 107481267A
Authority
CN
China
Prior art keywords
image
tiptoe
point
pixel
toe
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710692648.3A
Other languages
English (en)
Inventor
谢巍
何伶珍
张浪文
周忠太
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710692648.3A priority Critical patent/CN107481267A/zh
Publication of CN107481267A publication Critical patent/CN107481267A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于双目视觉的摄像投影交互系统及方法，USB摄像头采集包含脚部的垫子图像作为待检测图像，对图像进行畸变矫正及立体校正，得到校正后的图像，对校正后的图像进行运动目标前景分割，得到去除阴影后的运动目标图像，在分割后的二值图像上，进行脚尖点定位，得到脚尖点的坐标，利用上一步得到的脚尖点坐标向周围做一个矩形，然后进行脚尖模板特征提取及目标识别，脚尖动作识别，所述脚尖动作包括抬起与放下，将识别后的脚尖位置映射到PC机上，调用鼠标API，实现相应的功能。

Description

一种基于双目视觉的摄像投影交互系统及方法
技术领域
本发明涉及图像处理领域，具体涉及一种基于双目视觉的摄像投影交互系 统及方法。
背景技术
随着图像处理技术、计算机视觉算法等的日益成熟，基于不同应用场景的 投影交互系统研究与应用正当蓬勃发展。2010年，张正友、高睿等人设计一套 基于投影仪摄像并应用于移动电子设备的人机交互系统，实现了对3D交互投影 面的自由切换。该系统主要是利用目标物对平行光的反射信息，并结合高速摄 像机记录场景中目标物的深度数据，以实现目标的检测，其精确度可达1～2cm。 该系统使用的高速摄像机对场景的物体进行采样，它的造价高昂且精确度无法 达到毫米级，因此该方案的性价比较低，不利于产品化。2012年，意大利的Hiroki Goto等人提出利用手部肤色分别在HSV和YCbCr空间下的颜色聚类特性进行 前景手势和复杂背景的分离。同时，他使用了帧差法消除背景，并对交互手势 运动的频率进行学习，辅助去除复杂背景的干扰。最后，在上述的基础上结合 模板匹配法识别指尖，实现用户与投影场景之间的互动效果。然而，该系统所 识别的对象为用户手部在投影光线下的阴影区域。而阴影区域对比度的强弱， 直接影响了图像算法对其识别的准确度。在对比度较弱的情况下，算法难以分 辨阴影区域和投影背景区域。
发明内容
为了克服现有技术存在的缺点与不足，本发明提供一种基于双目视觉的摄 像投影交互系统及方法。
首先，基于Vibe结合阴影去除算法准确分割投影区域内的运动目标，同时， 每个摄像头的镜头添加红外滤光片以降低背景复杂度；其次，通过在二值图像 中计算运动目标纵坐标最大的点以定位脚尖点在图像中的像素坐标；再次，以 脚尖点作为一个矩形上底边的中点，在二值图像中从该点向左及向右取相等的 若干长度作为矩形的上底边，并以一个固定长度作为矩形的宽，计算该矩形区 域的模板特征参数，并使用模式识别方法中的最小错误率贝叶斯分类器识别运 动目标；最后，将脚尖点在图像中的像素坐标利用本发明设计的坐标映射方法 映射到PC机的鼠标坐标，并调用鼠标API，从而实现对鼠标事件的控制，达到 用户与系统交互的目的。
本发明采用如下技术方案：
一种基于双目视觉的摄像投影交互系统，包括投影仪、两个USB摄像头， PC机及一块垫子，所述投影仪与PC机连接，将PC机的屏幕图像投影在垫子上， 所述垫子在USB摄像头的视场内，所述两个USB摄像头并排设置在相机架上， 所述PC机分别与两个USB摄像头连接，所述两个USB摄像头添加红外滤光片。
所述红外滤光片为直径11mm且厚度为1mm的850nm红外滤光片。
一种基于双目视觉的摄像投影交互系统的方法，包括如下步骤：
S1USB摄像头采集包含脚部的垫子图像作为待检测图像；
S2对图像进行畸变矫正及立体校正，得到校正后的图像；
S3对校正后的图像进行运动目标前景分割，得到去除阴影后的运动目标图 像；
S4在分割后的二值图像上，进行脚尖点定位，得到脚尖点的坐标；
S5利用上一步得到的脚尖点坐标向周围做一个矩形，然后进行脚尖模板特 征提取及目标识别；
S6脚尖动作识别，所述脚尖动作包括抬起与放下；
S7将识别后的脚尖位置映射到PC机上，调用鼠标API，实现相应的功能。
所述S3对校正后的图像进行运动目标前景分割，具体为：
S3.1基于Vibe算法分割运动目标；
S3.2去除运动目标的阴影，具体为：
S3.2.1基于色度的方法从Vibe检测到的前景像素中选取可能得到的阴影 像素，记阴影像素集合为：
SPC＝{p1,p2,…,pn}；
其中，SP(x,y)＝1的像素被认为是阴影像素，分别表示像素p 在H,S,V3个空间中的值，表示背景像素在H,S,V3个空间中的 值，α,β,τs,τH表示根据实际设定的阈值，SPC表示阴影像素集合，SP表示阴 影像素；n为基于色度的方法取出图像中所有可能的阴影像素；
S3.2.2基于区域连通原理，将SPC分为不同的连通区域块，记为连通区域 块集合CB＝{cb1,cb2,…cbn}；
S3.2.3计算每一个连通区域块cbn内像素的梯度和梯度方向，由满足 的像素构成新的集合，τm是根据实际设定的阈值
cbsi∈[1,n]＝{p1,p2,…,pm}；
其中，θp分别表示像素p的梯度和梯度方向；
S3.2.4计算cbsi中的每个像素p(x,y)在当前帧F与背景图像B中的梯度之 差：
计算cbsi在当前图像与背景图 像之间的梯度相关系数C
其中，τα为一个阈值，H(·)表示单位阶跃函数，其函数值如下：
通过以上步骤即可求得每个cbi的梯度相关系数C，τc为梯度阈值，当C>τc时，则认为cbi为阴影区域，应该从前景检测结果中去除，得到去除阴影后的运 动目标图像，所述运动目标图像包括进入图像内的腿部和脚部部分。
所述S4中进行脚尖定位，具体步骤为：
以p(x,y)表示点(x,y)的像素值，记前景目标在二值图像中的像素集合为 WP：
WP＝{(x,y)|p(x,y)＝1}
由上式即可得到脚尖点的纵坐标y0，同时在图像中由y0得到脚尖点的坐标O(x0,y0)，脚尖点O(x0,y0)在前景目标中纵坐标最大的位置；
y0＝max{y|(x,y)∈WP}。
所述S5脚尖模板特征提取及目标识别，具体步骤为：
S5.1脚尖模板特征提取，具体为：
S5.1.1上一步骤得到脚尖点O(x0,y0)为ROI矩形底边的中点，选取一个大 小为Wr×Hr的ROI矩形；
S5.1.2将ROI矩形的长和宽等分成N等份，构成N×N个小区域；
S5.1.3计算每个小区域中白像素点的占比，并将该比值作为该小区域的 特征值；
其中Ri为每个小区域的特征值，Sw为白像素点个数，Sall为小区域的像素点 总数；
S5.1.4以脚尖点为中心的ROI矩形用N×N的特征矩阵进行表示；
S5.2利用最小错误率贝叶斯分类器实现运动目标的识别。
所述S 6脚尖动作识别，所述脚尖动作包括抬起与放下，具体采用一种基 于双目测距方法识别，步骤为：
将摄像头捕捉的图像等距离分成n行小区域，对每一行小区域的中心点计算 中心点与摄像头的距离得到深度值zc，并根据zc设置一个深度阈值τh，根据上一 步骤获得的脚尖点的坐标得到深度Z，与其所在小区域的深度阈值τh做比较即可 判断脚尖的抬起或者踩下状态；
本发明的有益效果：
(1)本发明提出的一种定位目标点的方法，使得搜索目标点的过程非常简 单。
(2)本发明在摄像头镜头背后加入红外滤光片，滤除可见光的成分，从而 降低了背景分割复杂度。
(3)本发明提出的基于vibe结合阴影去除模块算法使得前景目标得到有效 分割。
(4)本发明提出的对投影区域分行计算高度阈值，通过比较目标深度与该 行的高度阈值，从而判断目标点动作的方法，能够有效识别脚尖的点击动作。
附图说明
图1是本发明的工作流程图；
图2是本发明是结构示意图；
图3是2-D欧式空间像素分类图；
图4(a)是输入图，图4(b)基于Vibe的分割结果，图4(c)是基于Vibe 结合阴影去除算法的分割结果；
图5是本发明的双目测距原理图；
图6(a)及图6(b)是本发明的映射示意图
具体实施方式
下面结合实施例及附图，对本发明作进一步地详细说明，但本发明的实施 方式不限于此。
实施例
如图2所示，一种基于双目视觉的摄像投影系统，包括投影仪1、两个USB 摄像头3、PC机2及一块垫子4，投影仪本实施例采用丽讯D552型投影仪，USB 摄像头采用蓝色妖姬S11型USB2.0摄像头。投影仪以VGA接口与PC机连接， 接收PC机输出的屏幕图像数据投射到区域内，两个摄像头的接口均与PC机 连接，实时捕捉投影区域并将图像传送到PC机进行处理。
为了降低背景复杂度，在每个摄像头的镜头添加红外滤光片，红外滤光片 直径为11mm且厚度为1mm的850nm红外滤光片。
如图1、图3、图4(a)、图4(b)、图4(c)及图5所示，一种基于双目 视觉的摄像投影交互系统的方法，包括如下步骤：
S1USB摄像头采集包含脚部的垫子图像作为待检测图像，然后对摄像头的 图像进行畸变矫正以及双目立体矫正，具体为：
使用matlab标定工具箱为每个摄像头进行标定，获得摄像头的内参数矩阵 以及畸变矫正矩阵。本系统所采用的USB摄像头的内参数矩阵和畸变矫正矩阵 分别为：
Dl＝[-0.26 0.41 -0.006 0.001 0.000] (3)
Dr＝[-0.22 0.14 -0.007 0.001 0.000] (4)
其中，Ml和Dl分别为左摄像头的内参数矩阵和畸变矫正矩阵，Mr和Dr分别 为右摄像头的内参数矩阵和畸变矫正矩阵。
使用matlab标定工具箱对双目摄像头进行立体标定，获得两个摄像头的位 置关系，即旋转矩阵和平移向量。本系统的双目摄像头的旋转矩阵和平移向量 分别为：
R＝[-0.03602 0.12270 0.02892] (5)
T＝[-114.88893 -11.03289 13.19127] (6)
其中，R为左右两个摄像头之间的旋转矩阵，T为左右两个摄像头之间的平 移向量。
首先，调用OpenCV提供的cvUndistort2函数利用摄像头的内参数矩阵和畸 变矫正矩阵获得无畸变图像；其次，调用OpenCV提供的cvStereoRectify函数 对左右视图消除畸变和行对准，同时获得双目的矫正变换矩阵和重投影矩阵； 再次，调用cvInitUndistortRectifyMap函数计算左右视图的校正查找映射表；最 后，调用cvRemap函数利用查找映射表实现左右视图的重投影，从而得到校正 后的图像。
S2对校正后的图像进行运动目标前景分割，得到去除阴影后的运动目标图 像，具体为：
S2.1首先基于Vibe算法分割运动目标；
定义系统的背景模型：记背景模型为M(x)，每一个背景模型取20个背景 样本组成，记vi表示索引为i的背景样本值。背景模型M(x)的定义如式(7)所 示：
M(x)＝{v1,v2,…,vn-1,vn} (7)
背景初始化：从像素x的8邻域NG(x)中随机选取20个样本值用于初始化 系统的背景模型：
M0(x)＝{v0(y|y∈NG(x))} (8)
更新系统背景模型：如果像素v(x)是背景像素，则随机地从M(x)中选取一 个值采用v(x)代替；
分割系统背景像素：记像素x在t时刻的像素值为vt(x)，记SR(v(x))表示以 v(x)为中心，半径为R的2-D欧氏空间，若SR(v(x))与M(x)的交集 {SR(v(x))∩{v1,v2,…,vn-1,vn}的元素个数大于一个给定的阈值#min，本系统取R 为20，取#min为2，则认为v(x)是背景像素。
S2.2去除运动目标的阴影。
由于Vibe算法没有考虑脚尖由于遮挡光线产生的阴影，并将其直接判断为 运动目标的一部分，导致双脚“目标粘连”，这严重影响了脚尖点的准确定位与 脚尖识别。本发明在Vibe的基础上设计阴影检测算法来去除运动目标的阴影。
S2.2.1首先，基于色度的方法利用式(9)从Vibe检测到的前景像素中选取 可能的阴影像素，记阴影像素集合为SPC＝{p1,p2,…,pn}；
其中，SP(x,y)＝1的像素被认为是阴影像素，分别表示像素p在 H,S,V3个空间中的值，表示背景像素在H,S,V3个空间中的值， α,β,τs,τH表示根据实际设定的阈值。
基于区域连通原理，将SPC分为不同的连通区域块，记为连通区域块集合 CB＝{cb1,cb2,…cbn}；
根据式(10)计算每一个连通区域块(cbi)内像素的梯度和梯度方向，由 满足的像素构成新的集合(τm是根据实际设定的阈值)： cbsi∈[1,n]＝{p1,p2,…,pm}；
其中，θp分别表示像素p的梯度和梯度方向。
根据式(11)计算cbsi中的每个像素p(x,y)在当前帧F与背景图像B中的梯 度之差：
利用式(12)计算cbsi在当前图像与背景图像之间的梯度相关系数C：
其中，τα为一个阈值，H(·)表示单位阶跃函数，其函数值通过式(13)计算 得到：
通过以上步骤即可求得每个cbi的梯度相关系数C，当C>τc时，则认为cbi为 阴影区域，应该从前景检测结果中去除。
S3在获得准确运动目标分割的二值图像上，脚尖点O(x0,y0)在前景目标中 纵坐标最大的位置，以p(x,y)表示点(x,y)的像素值，记前景目标在二值图像中 的像素集合为WP：
WP＝{(x,y)|p(x,y)＝1} (14)
由式(15)即可得到脚尖点的纵坐标y0，同时在图像中由y0得到脚尖点的 坐标O(x0,y0)。
y0＝max{y|(x,y)∈WP} (15)
S4利用上一步得到的脚尖点坐标向周围做一个矩形，然后进行脚尖模板特 征提取及目标识别；
S4.1脚尖模板特征提取：
由于任意一个运动目标都能由式(15)返回一个坐标(x0,y0)，而脚尖在(x0,y0) 周围存在一个具有自身特征的弧形轮廓。基于此，本专利提出了一种脚尖周围 区域模板特征提取的方法，算法核心步骤如下所示：
以(x0,y0)为ROI矩形底边的中点，选取一个大小为Wr×Hr的ROI矩形；
将ROI矩形的长和宽等分成N等份，构成N×N个小区域；
计算每个小区域中白像素点的占比，并将该比值作为该小区域的特征值；
其中Ri为每个小区域的特征值，Sw为白像素点个数，Sall为小区域的像素点 总数。
通过特征提取，脚尖周围区域可用一个N×N的特征矩阵进行表征。
S4.2目标识别
基于模式识别的方法，利用最小错误率贝叶斯分类器实现运动目标的识别： 首先，采集100张人体脚部图像和50张非人体脚部图像，并利用本发明提出的 模板特征提取方法计算它们的模板特征，把这些特征分别保存成正样本库和负 样本库；然后根据贝叶斯推断原理，计算待测模板特征相对于各个样本库的贝 叶斯后验概率；最后，比较待测模板特征出现在各样本库的后验概率大小，认 为概率最大者(最小错误率)为待测样本的分类结果。
贝叶斯推断公式如下：
其中ωi表示第i(i＝1,2)类，P(X|ωi)为待测模板特征对于第i类样本库的后验概率，P(ωi)为样本库的先验概率，P(X|ωi)为类条件概率密度，X为待测样本 的模板特征向量。上式的思想是，利用某类的先验概率以及特征向量X在该类别 空间中的概率密度，计算出X属于该类的概率。分析式(17)，对于每个类别ωi而 言，分母的值都是相同的。因此特征向量X的后验概率可由：
Hi(x)＝P(X|ωi)P(ωi) (18)
决定。先验概率P(ωi)可从样本库中的每个样本量占总量的百分比计算：
其中ni为每个样本库中样本的数量，N为所有样本库的样本总数。因此再推 导类条件概率密度P(X|ωi)即可形成有效的判别函数。P(X|ωi)可通过正态分布 来近似，如下所示：
其中X为N维模板特征向量，为N维均值向量，为N维协方差矩阵。为简化计算，取Hi(x)的对数作为判别函数，由式(18)与(20)可得：
其中|Si|，P(ωi)、Si -1都可根据样本数据库计算得到。式(21)得到一个只关于未知变量X的判别函数。将待测样本X代入式(21)并计算：
取判别函数最大值所对应的类别i即为分类器的识别结果。
S5脚尖动作识别，本系统在运行过程中，需要识别脚尖的抬起与放下行为， 从而控制鼠标的左击事件，以实现PC机与人的互动。因为脚尖抬起与放下时， 脚尖到摄像头光心平面的距离即脚尖的深度信息不同，故可基于双目测距原理 计算脚尖的深度信息以判断脚尖的抬起与放下状态。双目测距的几何原理如附 图5所示。
在附图5中，P为目标点，Ol和Or为左右两个摄像头的光心，xl和xr为目 标点P在左右两个摄像头图像平面坐标系上所成像位置的横坐标，Tx为左右两个 摄像头光心之间的水平距离，|xl-xr|为目标点P在两个摄像头上成像的位置之差 (即视差)，f为摄像头光心到像平面的距离，即摄像头的焦距，Z为目标点P到 摄像头光心平面的距离，即为所求值。根据附图5所示的几何关系可知 △POlOr△Pxlxr，由相似三角形对应边成比例可得：
其中σp为每毫米长度所对应的像素点个数，|xl-xr|表示脚尖点在左右两个 摄像头图像平面上的横坐标之差的绝对值。由式(23)可以推导出目标点P到摄像 头光心平面的距离Z为：
其中f和Tx可以通过对摄像头标定来获取。由式(24)即可得到脚尖点的深度 信息。
然而，当脚尖相对摄像头在水平面上前移或者后移的时候，脚尖到摄像头 光心平面的距离也发生变化，故无法简单通过计算脚尖的深度信息来判断脚尖 的抬起与放下状态，还需结合脚尖在图像中的二维信息。因此，本专利提出了 一种基于双目测距原理对图像分行计算深度阈值来识别脚尖动作的方法。将摄 像头捕捉的图像等距离分成n行小区域，对每一行小区域的中心点根据式(24)计 算得到一个深度值zc，并根据zc设置一个深度阈值τc。将脚尖点的深度Z根据 式(25)与其所在小区域的深度阈值τc做比较即可判断脚尖的抬起或者踩下状态。 如果前一次的判断结果为抬起状态，后一次的为踩下状态，则认为脚尖完成了 一次点击动作。
S6脚尖点到PC机鼠标坐标的映射
图6(a)的四边形ABCD表示PC机屏幕图像投影画面，O点为脚尖点的 位置；图6(b)的A′,B′,C′,D′四个点是PC机屏幕的四个顶点，其坐标是PC坐 标系下的坐标，其中W和H分别表示PC机显示器的分辨率的宽和高，O′表示 鼠标的位置。为了将脚尖点从图像像素坐标O(x0,y0)映射到PC机鼠标的位置 O′(x′0,y′o)以实现控制鼠标位置和动作的功能，本专利提出了一种基于线性插值 原理的坐标映射方法。
在图6(a)中，容易得到A,B,C,D这四个边界点组成的四条边界方程：
根据式(26)-(29)和利用方法5)获得的脚尖点的坐标O(x0,y0)，可依次计算 出E(x0,y1)，F(x2,y0)，G(x0,y2)，H(x1,y0)。由于投影区域的各个像素点都是 PC机对应点的映射，故基于线性插值原理可得到脚尖点在图像坐标系下的坐标 到PC坐标系下鼠标位置的映射关系：
通过式(30)，可方便计算得到鼠标指针的坐标O′(x′0,y′o)。而后结合脚尖的 行为调用鼠标的相关API即可实现用户与系统的互动。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受所述实 施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、 替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (7)

1.一种基于双目视觉的摄像投影交互系统，其特征在于，包括投影仪、两个USB摄像头，PC机及一块垫子，所述投影仪与PC机连接，将PC机的屏幕图像投影在垫子上，所述垫子在USB摄像头的视场内，所述两个USB摄像头并排设置在相机架上，所述PC机分别与两个USB摄像头连接，所述两个USB摄像头添加红外滤光片。
2.根据权利要求1所述的摄像投影交互系统，其特征在于，所述红外滤光片为直径11mm且厚度为1mm的850nm红外滤光片。
3.根据权利要求1-2任一项所述的一种基于双目视觉的摄像投影交互系统的方法，其特征在于，包括如下步骤：
S1USB摄像头采集包含脚部的垫子图像作为待检测图像；
S2对图像进行畸变矫正及立体校正，得到校正后的图像；
S3对校正后的图像进行运动目标前景分割，得到去除阴影后的运动目标图像；
S4在分割后的二值图像上，进行脚尖点定位，得到脚尖点的坐标；
S5利用上一步得到的脚尖点坐标向周围做一个矩形，然后进行脚尖模板特征提取及目标识别；
S6脚尖动作识别，所述脚尖动作包括抬起与放下；
S7将识别后的脚尖位置映射到PC机上，调用鼠标API，实现相应的功能。
4.根据权利要求3所述的方法，其特征在于，所述S3对校正后的图像进行运动目标前景分割，具体为：
S3.1基于Vibe算法分割运动目标；
S3.2去除运动目标的阴影，具体为：
S3.2.1基于色度的方法从Vibe检测到的前景像素中选取可能得到的阴影像素，记阴影像素集合为：
SPC＝{p1,p2,…,pn}；
其中，SP(x,y)＝1的像素被认为是阴影像素，分别表示像素p在H,S,V3个空间中的值，表示背景像素在H,S,V3个空间中的值，α,β,τs,τH表示根据实际设定的阈值，SPC表示阴影像素集合，SP表示阴影像素；n为基于色度的方法取出图像中所有可能的阴影像素；
S3.2.2基于区域连通原理，将SPC分为不同的连通区域块，记为连通区域块集合CB＝{cb1,cb2,…cbn}；
S3.2.3计算每一个连通区域块cbn内像素的梯度和梯度方向，由满足的像素构成新的集合，τm是根据实际设定的阈值
cbsi∈[1,n]＝{p1,p2,…,pm}；
<mrow> <mo>{</mo> <mrow> <mtable> <mtr> <mtd> <mrow> <mo>|</mo> <msub> <mo>&amp;dtri;</mo> <mi>p</mi> </msub> <mo>|</mo> <mo>=</mo> <msqrt> <mrow> <msubsup> <mo>&amp;dtri;</mo> <mi>x</mi> <mn>2</mn> </msubsup> <mo>+</mo> <msubsup> <mo>&amp;dtri;</mo> <mi>y</mi> <mn>2</mn> </msubsup> </mrow> </msqrt> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>&amp;theta;</mi> <mi>p</mi> </msub> <mo>=</mo> <mi>a</mi> <mi>r</mi> <mi>c</mi> <mi>t</mi> <mi>a</mi> <mi>n</mi> <mrow> <mo>(</mo> <msub> <mo>&amp;dtri;</mo> <mi>y</mi> </msub> <mo>/</mo> <msub> <mo>&amp;dtri;</mo> <mi>x</mi> </msub> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> </mrow> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow> 1
其中， θp分别表示像素p的梯度和梯度方向；
S3.2.4计算cbsi中的每个像素p(x,y)在当前帧F与背景图像B中的梯度之差：
计算cbsi在当前图像与背景图像之间的梯度相关系数C
<mrow> <mi>C</mi> <mo>=</mo> <mo>&amp;lsqb;</mo> <munderover> <mo>&amp;Sigma;</mo> <mrow> <mi>q</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </munderover> <mi>H</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;tau;</mi> <mi>&amp;alpha;</mi> </msub> <mo>-</mo> <msub> <mi>&amp;Delta;&amp;theta;</mi> <mi>q</mi> </msub> <mo>)</mo> </mrow> <mo>&amp;rsqb;</mo> <mo>/</mo> <mi>n</mi> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>12</mn> <mo>)</mo> </mrow> </mrow>
其中，τα为一个阈值，H(·)表示单位阶跃函数，其函数值如下：
<mrow> <mi>H</mi> <mrow> <mo>(</mo> <msub> <mi>&amp;tau;</mi> <mi>&amp;alpha;</mi> </msub> <mo>-</mo> <msub> <mi>&amp;Delta;&amp;theta;</mi> <mi>q</mi> </msub> <mo>)</mo> </mrow> <mo>=</mo> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <mn>1</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <msub> <mi>&amp;tau;</mi> <mi>&amp;alpha;</mi> </msub> <mo>-</mo> <msub> <mi>&amp;Delta;&amp;theta;</mi> <mi>q</mi> </msub> <mo>&amp;GreaterEqual;</mo> <mn>0</mn> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mn>0</mn> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mi>o</mi> <mi>t</mi> <mi>h</mi> <mi>e</mi> <mi>r</mi> <mi>s</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
通过以上步骤即可求得每个cbi的梯度相关系数C，τc为梯度阈值，当C>τc时，则认为cbi为阴影区域，应该从前景检测结果中去除，得到去除阴影后的运动目标图像，所述运动目标图像包括进入图像内的腿部和脚部部分。
5.根据权利要求3所述的方法，其特征在于，所述S4中进行脚尖定位，具体步骤为：
以p(x,y)表示点(x,y)的像素值，记前景目标在二值图像中的像素集合为WP：
WP＝{(x,y)|p(x,y)＝1}
由上式即可得到脚尖点的纵坐标y0，同时在图像中由y0得到脚尖点的坐标O(x0,y0)，脚尖点O(x0,y0)在前景目标中纵坐标最大的位置；
y0＝max{y|(x,y)∈WP}。
6.根据权利要求5所述的方法，其特征在于，所述S5脚尖模板特征提取及目标识别，具体步骤为：
S5.1脚尖模板特征提取，具体为：
S5.1.1上一步骤得到脚尖点O(x0,y0)为ROI矩形底边的中点，选取一个大小为Wr×Hr的ROI矩形；
S5.1.2将ROI矩形的长和宽等分成N等份，构成N×N个小区域；
S5.1.3计算每个小区域中白像素点的占比，并将该比值作为该小区域的特征值；
<mrow> <msub> <mi>R</mi> <mi>i</mi> </msub> <mo>=</mo> <mfrac> <msub> <mi>S</mi> <mi>w</mi> </msub> <msub> <mi>S</mi> <mrow> <mi>a</mi> <mi>l</mi> <mi>l</mi> </mrow> </msub> </mfrac> </mrow>
其中Ri为每个小区域的特征值，Sw为白像素点个数，Sall为小区域的像素点总数；
S5.1.4以脚尖点为中心的ROI矩形用N×N的特征矩阵进行表示；
S5.2利用最小错误率贝叶斯分类器实现运动目标的识别。
7.根据权利要求3所述的方法，其特征在于，所述S 6脚尖动作识别，所述脚尖动作包括抬起与放下，具体采用一种基于双目测距方法识别，步骤为：
将摄像头捕捉的图像等距离分成n行小区域，对每一行小区域的中心点计算中心点与摄像头的距离得到深度值zc，并根据zc设置一个深度阈值τh，根据上一步骤获得的脚尖点的坐标得到深度Z，与其所在小区域的深度阈值τh做比较即可判断脚尖的抬起或者踩下状态；
CN201710692648.3A 2017-08-14 2017-08-14 一种基于双目视觉的摄像投影交互系统及方法 Pending CN107481267A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710692648.3A CN107481267A (zh) 2017-08-14 2017-08-14 一种基于双目视觉的摄像投影交互系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710692648.3A CN107481267A (zh) 2017-08-14 2017-08-14 一种基于双目视觉的摄像投影交互系统及方法

Publications (1)

Publication Number Publication Date
CN107481267A true CN107481267A (zh) 2017-12-15

Family

ID=60600401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710692648.3A Pending CN107481267A (zh) 2017-08-14 2017-08-14 一种基于双目视觉的摄像投影交互系统及方法

Country Status (1)

Country Link
CN (1) CN107481267A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447087A (zh) * 2018-02-27 2018-08-24 方建民 利用对象影像找寻适合对象尺寸的物品的方法
CN109407848A (zh) * 2018-11-01 2019-03-01 广州源创网络科技有限公司 一种脚步侦测方法及装置
CN109683719A (zh) * 2019-01-30 2019-04-26 华南理工大学 一种基于YOLOv3的视觉投影交互方法
CN110108269A (zh) * 2019-05-20 2019-08-09 电子科技大学 基于多传感器数据融合的agv定位方法
CN110363197A (zh) * 2019-06-22 2019-10-22 东北电力大学 基于改进视觉背景提取模型的视频感兴趣区域提取方法
CN110706334A (zh) * 2019-09-26 2020-01-17 华南理工大学 一种基于三目视觉的工业部件三维重构方法
CN111754549A (zh) * 2020-06-29 2020-10-09 华东师范大学 一种基于深度学习的羽毛球运动员轨迹提取方法
CN112529784A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 图像畸变校正方法及装置
CN112657176A (zh) * 2020-12-31 2021-04-16 华南理工大学 一种结合人像行为信息的双目投影人机交互方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN105225482A (zh) * 2015-09-02 2016-01-06 上海大学 基于双目立体视觉的车辆检测系统和方法
CN105956539A (zh) * 2016-04-27 2016-09-21 武汉大学 一种基于背景建模和双目视觉的人体身高测量方法
CN106023170A (zh) * 2016-05-13 2016-10-12 成都索贝数码科技股份有限公司 一种基于gpu处理器的双目3d畸变矫正方法
CN106991417A (zh) * 2017-04-25 2017-07-28 华南理工大学 一种基于模式识别的视觉投影交互系统及交互方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN105225482A (zh) * 2015-09-02 2016-01-06 上海大学 基于双目立体视觉的车辆检测系统和方法
CN105956539A (zh) * 2016-04-27 2016-09-21 武汉大学 一种基于背景建模和双目视觉的人体身高测量方法
CN106023170A (zh) * 2016-05-13 2016-10-12 成都索贝数码科技股份有限公司 一种基于gpu处理器的双目3d畸变矫正方法
CN106991417A (zh) * 2017-04-25 2017-07-28 华南理工大学 一种基于模式识别的视觉投影交互系统及交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
LINGZHEN HE ET AL.: "The design and implementation of camera-projection interactive system based on binocular vision" *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108447087A (zh) * 2018-02-27 2018-08-24 方建民 利用对象影像找寻适合对象尺寸的物品的方法
CN109407848B (zh) * 2018-11-01 2021-07-13 广东源创智能科技有限公司 一种脚步侦测方法及装置
CN109407848A (zh) * 2018-11-01 2019-03-01 广州源创网络科技有限公司 一种脚步侦测方法及装置
CN109683719A (zh) * 2019-01-30 2019-04-26 华南理工大学 一种基于YOLOv3的视觉投影交互方法
CN110108269A (zh) * 2019-05-20 2019-08-09 电子科技大学 基于多传感器数据融合的agv定位方法
CN110363197A (zh) * 2019-06-22 2019-10-22 东北电力大学 基于改进视觉背景提取模型的视频感兴趣区域提取方法
CN112529784A (zh) * 2019-09-18 2021-03-19 华为技术有限公司 图像畸变校正方法及装置
CN112529784B (zh) * 2019-09-18 2024-05-28 华为技术有限公司 图像畸变校正方法及装置
CN110706334A (zh) * 2019-09-26 2020-01-17 华南理工大学 一种基于三目视觉的工业部件三维重构方法
CN110706334B (zh) * 2019-09-26 2023-05-09 华南理工大学 一种基于三目视觉的工业部件三维重构方法
CN111754549A (zh) * 2020-06-29 2020-10-09 华东师范大学 一种基于深度学习的羽毛球运动员轨迹提取方法
CN111754549B (zh) * 2020-06-29 2022-10-04 华东师范大学 一种基于深度学习的羽毛球运动员轨迹提取方法
CN112657176A (zh) * 2020-12-31 2021-04-16 华南理工大学 一种结合人像行为信息的双目投影人机交互方法

Similar Documents

Publication Publication Date Title
CN107481267A (zh) 一种基于双目视觉的摄像投影交互系统及方法
US11703951B1 (en) Gesture recognition systems
TWI729995B (zh) 基於場景之拍攝圖像而產生合併、融合三維點雲
Wang et al. Image segmentation of overlapping leaves based on Chan–Vese model and Sobel operator
US10192313B2 (en) Networked capture and 3D display of localized, segmented images
WO2021097126A1 (en) Method and system for scene image modification
Zheng et al. Single-image vignetting correction
RU2426172C1 (ru) Способ и система выделения данных об изображении объекта переднего плана на основе данных о цвете и глубине
US9092665B2 (en) Systems and methods for initializing motion tracking of human hands
US8615108B1 (en) Systems and methods for initializing motion tracking of human hands
US9002099B2 (en) Learning-based estimation of hand and finger pose
US20160282953A1 (en) Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data
CN103035013B (zh) 一种基于多特征融合的精确运动阴影检测方法
CN110998659A (zh) 图像处理系统、图像处理方法、及程序
US20190220685A1 (en) Image processing apparatus that identifies object and method therefor
CN106651879B (zh) 一种指甲图像的提取方法及系统
CN105740945A (zh) 一种基于视频分析的人群计数方法
CN109272513B (zh) 基于深度相机的手与物体交互分割方法及装置
WO2022247162A1 (zh) 一种基于机器视觉的透明度检测方法
Cherian et al. Accurate 3D ground plane estimation from a single image
Lu et al. Color constancy using 3D scene geometry
CN111897433A (zh) 一种集成成像显示系统中实现动态手势识别与控制方法
CN117058183A (zh) 一种基于双摄像头的图像处理方法、装置、电子设备及存储介质
CN113361360B (zh) 基于深度学习的多人跟踪方法及系统
JP5051671B2 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20171215

WD01 Invention patent application deemed withdrawn after publication