CN106125941B - 多设备切换控制装置及多设备控制系统 - Google Patents

多设备切换控制装置及多设备控制系统 Download PDF

Info

Publication number
CN106125941B
CN106125941B CN201610665624.4A CN201610665624A CN106125941B CN 106125941 B CN106125941 B CN 106125941B CN 201610665624 A CN201610665624 A CN 201610665624A CN 106125941 B CN106125941 B CN 106125941B
Authority
CN
China
Prior art keywords
image
point
gaussian
background
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610665624.4A
Other languages
English (en)
Other versions
CN106125941A (zh
Inventor
王庆
冯悠扬
阳媛
马群
翟海洋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201610665624.4A priority Critical patent/CN106125941B/zh
Publication of CN106125941A publication Critical patent/CN106125941A/zh
Application granted granted Critical
Publication of CN106125941B publication Critical patent/CN106125941B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多设备切换控制装置及多设备控制系统,其中多设备切换控制装置包括一控制器、与控制器相连的输入设备,在控制器上设置有与多个输出设备连接的输入设备接口,在控制器上还连接有一图像采集装置,所述控制器根据所述图像采集装置获取的图像信息将所述输入设备与多个输出设备中的一个耦合控制;所述控制器包括图像处理分析模块和硬件驱动模块,所述图像处理分析模块对所述视频采集装置获取的图像信息进行处理得到所述硬件驱动模块的输入信号,所述硬件驱动模块根据输入信号控制所述输入设备与多个输出设备中的一个耦合。本发明使得多操作系统协同开发时工作效率提高,克服了硬件工程师频繁更换输入设备的缺点。

Description

多设备切换控制装置及多设备控制系统
技术领域:
本发明涉及I/O设备控制和多操作系统领域,尤其是涉及一种基于机器视觉的跨操作系统的I/O设备智能控制。
背景技术
目前被广泛使用的两个操作系统是linux操作系统和windows操作系统,windows操作系统因其友好简单的操作界面和优美的UI设计成为本世纪最为成功的软件商品,已经被社会广泛的接收和认同,同时windws操作系统因其固有的缺点,例如硬盘碎片化的管理方式,低效的内存管理方式等,使其在注重稳定性和实效性的工程中被使用的较少。面对windows操作系统面临的问题,同一年代的linux操作系统对于windows操作系统进行完美的补充。Linux操作系统最大的优势是开源不收取费用代码靠各个组织进行维护,降低了产品开发的成本。同时linux因其出色的内存管理方式能够有效地抵御病毒对系统的侵害,保证了系统长时间运行的稳定性。因此linux占有了嵌入式市场大部分的份额。因此针对linux嵌入式开发的硬件工程师,常常需要同时使用windows和linux两个操作系统进行项目的开发。
除了使用两台分别安装linux和windows操作系统的独立主机进行开发外,还可以选择使用虚拟机作为代替的解决方案。目前比较常用的虚拟机有Vmware、Virtual Box和VirtualPC,虚拟机允许在一台电脑上模拟出若干台机器,这些虚拟机如同真实机器一样各自拥有自己独立的操作系统。虚拟机拥有仿真程序高、资源共享方便、系统可重建等优点,但是因为虚拟机建立在主机之上文件很容易受到损坏造成开发过程中不必要的损失;虚拟机同时需要额外占用主机的系统资源造成主机整体运行效率降低,面对较大工程文件时会增加软件的编译读写时间。
目前,跨主机鼠标键盘操控产品主要有微软的“无界鼠标”和开源的“Synergy”。无界鼠标只能够实现windows平台下多机器共享一套鼠标和键盘的方式,并且可以实现不同机器间文件的拖拽。“Synergy”系统其优势体现在能够实现windows、Mac和linux操作系统下的互联而不仅仅局限于windows平台,但因其跨平台的特性导致其无法进行文件拖拽只能够实现文本文档和照片的复制功能。无论微软的“无界鼠标”还是“Synergy”都要求所有机器都在一个局域网之内,通过局域网进行信号的传输和解析从而达到一套鼠标键盘控制多台机器的目的。这两款产品都是根据控制局域网和鼠标硬件接口协议的方式实现,实现的方式都是在多个目标主机上安装相应的软件。此种方式如果脱离局域网都无法实现,同时软件的安装和设置也会耗费用户的大部分精力。
发明内容
本发明所要解决的技术问题是针对上述现有技术存在的不足,而提供一种快速精确进行设备切换的多设备切换控制装置及多设备控制系统。
为解决上述技术问题,本发明采用的技术方案是:
一种多设备切换控制装置,包括一控制器、与控制器相连的输入设备,在所述控制器上设置有与多个输出设备连接的输入设备接口,其特征在于:在所述控制器上还连接有一图像采集装置,所述控制器根据所述图像采集装置获取的图像信息将所述输入设备与多个输出设备中的一个耦合控制。
所述控制器包括图像处理分析模块和硬件驱动模块,所述图像处理分析模块对所述视频采集装置获取的图像信息进行处理得到所述硬件驱动模块的输入信号,所述硬件驱动模块根据输入信号控制所述输入设备与多个输出设备中的一个耦合。
舒适输入设备为键盘和或鼠标,所述输出设备为主机。
所述视频采集装置为单目摄像头。
所述图像处理分析模块对图像信息的处理方法是:
步骤一、图像处理模块接收到图像信息,通过从动态的图像中剔除掉背景图像,从而提取分割出运动区域;
步骤二、在步骤一剔除掉背景图像后,使用基于Haar特征的AdaBoost分类器方法进行人体头部检测;
步骤三、使用基于ASM模型的头姿态估计方法,计算出头部的转向角度。
采用背景减除法剔除背景图像,背景减除法将图像分成前景图像和背景图像,使用|I(x,y,t)-B(x,y,t)|>T(x,y,t)公式来估计当前像素点I(x,y,t)是否属于前景点,如果满足上述公式则当前坐标属于前景点,公式中B(x,y,t)是背景估计模型,T(x,y,t)为估计阈值,使用混合高斯背景模型作为对B(x,y,t)的估计:
Figure BDA0001076817470000021
其中σ为背景估计模型的方差,μ为背景估计模型的期望均值,f(x,y,t)为背景估计模型的像素值。
选择3个高斯模型来描述每个像素颜色值的分布,及遵守如下概率分布:
Figure BDA0001076817470000031
其中μi表示高斯分量的均值,σi表示高斯分量的方差,wi表示第i个高斯模型成分的权重,定义wii为适合度,根据适合度按照从大到小对3个高斯分布排序,取前C个分布来表示背景图像的分布模型,其中
Figure BDA0001076817470000032
TBG表示背景模型所占的最小比例阈值;
从C中根据下式进行估计:
|X(x,y,t)-ui(x,y,t-1)|<=3σi(x,y,t-1)
找到能够匹配的高斯模型,则认为此点是背景像素;否则认为是前景像素;
判定完像素点后需要对混合高斯模型的参数进行更新,如果像素点(x,y)判定为背景像素时,需要更新与该像素点(x,y)匹配的高斯分量参数,更新方程:
ui(x,y,t)=(1-α)×ui(x,y,t-1)+α×I(x,y,t)
Figure BDA0001076817470000033
当像素点被判别为前景像素点时就要删除当前高斯模型分量重权重最小的那个,并添加新的高斯分量,新的高斯分量是以当前像素的颜色值为均值,协方差由初始值确定;
最后需要更新各个高斯分量的权重,公式如下:
wi(x,y,t)=(1-β)×wi(x,y,t-1)+βi为匹配的分布
wi(x,y,t)=(1-β)×wi(x,y,t-1)其他
其中wi表示第i个高斯模型成分的权重,β为上一时刻权重与这一时刻的权重占比率。
进行人体头部检测的具体方法是:
(a)给定一系列训练样本(x1,y1),(x2,y2),…(xn,yn),其中yi=0表示其为非人体头部的负样本,yi=1表示其为人体头部的正样本,n为训练样本总数量,其中正样本总数目为l,负样本数目为m;
(b)初始化权重;
(c)t=1,…T,归一化权重
Figure BDA0001076817470000041
对每个特征f(k),训练一个弱分类器h(k);并计算所有弱分类器的加权错误率
Figure BDA0001076817470000049
(d)选取拥有最小错误率的最佳的弱分类器;
(e)按照这个最佳弱分类器,调整权重;
(f)最后的强分类器为:
Figure BDA0001076817470000042
其中ht(x)为弱分类器,at为各个弱分类器的权重。
步骤三头部姿态估计的具体方法是:
对坐标信息进行统一化处理:使用Procrustes方法:1)所有的样本与原点对齐;2)从样本中随意选择一个作为参考样本,并使其他的样本与之对齐;3)计算变换后所有样本的平均值
Figure BDA0001076817470000043
4)对
Figure BDA0001076817470000044
进行平移、旋转等操作使其
Figure BDA0001076817470000045
5)将所有样本与
Figure BDA0001076817470000046
对齐;6)如果
Figure BDA0001076817470000047
则算法停止,否则返回步骤二;
根据规格化的样本计算每幅图像中嘴位置的梯度值,按照从小到大排序,得到最小和最大的梯度值ψmin、ψmax
使用罗伯特边缘检测算子定位嘴的坐标:首先对图像中嘴的位置进行粗选,满足如下两个条件的位置入选为嘴坐标,入选的嘴坐标点灰度设置为1,其余设置为0,两个条件为:
1)当(x,y)处的梯度值<1.2*ψmax;2)当(x,y)处的梯度值>0.8ψmin
进行如下的搜索算法完成嘴的精确定位:1)使用8*8或者16*16模板对照片每行进行搜索;2)如果该点为1则将其作为模板的中心,计数器加1返回步骤一;3)如果计数大于阈值则将搜索到的点保留否则去掉;4)直到搜索结束;
过滤完毛刺点后,将相对分散的嘴位置坐标集中起来用一点表示,步骤如下:1)将8*8或者16*16模板为中心点搜索图中每个点;2)如果遇到1则记录该点坐标,并将其作为模板的中心并返回1);3)求得所有点的中心;4)直到所有点搜索结束;
根据上面两个步骤将人脸中嘴的位置定位出来后,计算头的朝向角度:
Figure BDA0001076817470000048
其中Pmouth为嘴在图像中的坐标,其中图像的原点设置为图像中心,计算出来的角度带有正负号,如果结果为正则表示用户在向右侧转向,如果结果为负则表示用户在向左侧转向。
本发明克服现有“无界鼠标”、“Synergy”和虚拟机工作方式上的缺点,提供一种以机器视觉为基础跨平台的I/O设备智能控制系统,解决了多机器多操作系统下键盘和鼠标等输入设备的归一化控制,通过使用安装在屏幕前方的摄像头捕捉用户头部的姿态,同时通过姿态算法和跟踪算法辨析出头部的朝向从而实现对多个屏幕的有效输入控制。
本发明的技术解决方案:多操作系统环境下I/O设备的视觉智能控制系统,包含通用USB鼠标、通用USB键盘、分别安装windows和linux操作系统的两台主机、单目高清摄像头、视频图像处理分析模块、硬件驱动模块;将两台主机的鼠标的USB接口和键盘的USB接口与硬件驱动模块相连,用于接收用户发送出的鼠标和键盘指令,USB键盘和USB鼠标同时也与硬件驱动模块相连,视频图像处理分析模块接收单目高清摄像头的实时图像数据,经过图像的分析判和别后将信号输送给硬件驱动模块,硬件驱动模块根据分析判别数据使能相应的鼠标和键盘的控制通道完成对平台的操作。用户将高清单目摄像头放置于两台屏幕的中间处,并且保证摄像头能够拍摄到用户的头部。通过摄像头实时采集到用户图像信息对用户头部进行实时的跟踪,为了提高系统的时效性同时为了减少硬件模块的性能开支,在选择跟踪算法时选择使时需要考虑算法复杂度,图像预处理阶段主要是将用户头部图像从背景图像中剥离出,此阶段使用混合高斯模型。将用户头部信息提取出后使用AdaBoost机器学习方法和Haar标定参数来完成人头的检测。根据检测到的人头轮廓和特征参数再使用ASM模型进行人头姿态估计,从而最终获得头部转动角度等信息。此时获得的头部姿态数据就是视频图像处理分析模块对于硬件驱动模块的输出,硬件驱动模块获得数据后将数据流推送给对应的主机鼠标和键盘的USB接口。文件系统方面:为了能够在windows和linux操作系统之间进行文件的交互,需要在linux平台上搭建基于SMB协议的Samba服务器。因为SMB协议因其构架在NetBIOS通信协议上因此可以允许linux与windows完成信息相互传递。
发明的优点:
本发明使得多操作系统协同开发时工作效率提高,克服了硬件工程师频繁更换输入设备的缺点。特别是因为加入了机器视觉和模式识别的内容使得跨平台的操作成为可能;同时发明将鼠标和键盘等输入设备的硬件驱动与视频处理模块集成于一体,提高了用户友好度完成了系统的优化与改造;嵌入式设备的图像处理与识别算法执行效率的改进与优化保障了为此智能设备的实时性;同时Samba服务器的引入,使得windows和linux操作系统下文件之间快速的交互成为可能。
附图说明
图1是本发明控制系统连接示意图;
图2是通过服务器构建的控制系统连接示意图;
图3是本发明控制系统控制方法流程图;
图4为人脸朝向示意图。
具体实施方式
下面结附图,对本发明作详细说明:
(1)首先要将IO智能控制硬件即单目高清摄像头安装在正确合适的位置,用户可以将摄像头安装在两个屏幕之间并同时确保在工作时摄像头镜头对准使用者的头部位置。将I/O智能控制硬件预留出的单目高清摄像头的视频流USB接口与工作主机相连,从主机屏幕中可以清晰看到摄像头所拍摄的画面从而方便用户调整摄像头的拍摄角度。
(2)确定好I/O智能控制硬件的摆放位置和角度后,将鼠标和键盘与I/O智能控制硬件的鼠标输入接口和键盘输入接口相连。
(3)分别把主机1与主机2的USB接口与I/O智能控制硬件对应的主机输入接口相连。
(4)如果用户需要实现两台主机文件的共享,将两台主机分别连接到同一个局域网中,并在linux主机上建立Samba服务器,如图2所示。
(5)在用户使用两台不同操作系统工作时,高清摄像头捕捉用户头部姿态并通过视频图像处理分析模块判别出用户在看哪一个主机的屏幕,同时通过硬件驱动模块使能鼠标和键盘对这台主机的控制,使得对于另一台主机的下达的鼠标和键盘命令失效。
图像处理分析模块对图像的处理步骤为:
步骤一、图像处理模块接收到图像信息,通过从动态的图像中剔除掉背景图像,从而提取分割出运动区域,本发明基于背景减除法同时使用混合高斯模型来对背景建模以提高鲁棒性。
背景减除法将图像分成前景图像和背景图像,使用|I(x,y,t)-B(x,y,t)|>T(x,y,t)公式来估计当前像素点I(x,y,t)是否属于前景点,如果满足上述公式则当前坐标属于前景点,公式中B(x,y,t)是背景估计模型,T(x,y,t)为估计阈值。本发明使用混合高斯背景模型作为对B(x,y,t)的估计。
混合高斯模型默认背景像素符合高斯分布即:
Figure BDA0001076817470000071
每个像素都用多个高斯模型来建模,为了在满足性能的基础上减少计算量,选择3个高斯模型来描述每个像素颜色值的分布,及遵守如下概率分布:
Figure BDA0001076817470000072
其中μi表示高斯分量的均值,σi表示高斯分量的方差,wi表示第i个高斯模型成分的权重,定义wii为适合度。根据适合度按照从大到小对3个高斯分布排序,取前C个分布来表示背景图像的分布模型,其中
Figure BDA0001076817470000073
TBG表示背景模型所占的最小比例阈值。从C中从高到低计根据:
|X(x,y,t)-ui(x,y,t-1)|<=3σi(x,y,t-1)
找到能够匹配的高斯模型,则认为此点是背景像素;否则认为是前景像素。
判定完像素点后需要对混合高斯模型的参数进行更新,如果像素点(x,y)判定为背景像素时,需要更新与该像素点(x,y)匹配的高斯分量参数,更新方程:
ui(x,y,t)=(1-α)×ui(x,y,t-1)+α×I(x,y,t)
Figure BDA0001076817470000074
当像素点被判别为前景像素点时就要删除当前高斯模型分量重权重最小的那个,并添加新的高斯分量,新的高斯分量是以当前像素的颜色值为均值,协方差由初始值确定。
最后需要更新各个高斯分量的权重,公式如下:
wi(x,y,t)=(1-β)×wi(x,y,t-1)+βi为匹配的分布
wi(x,y,t)=(1-β)×wi(x,y,t-1)其他
其中wi表示第i个高斯模型成分的权重,β为上一时刻权重与这一时刻的权重占比率。
步骤二、人头检测阶段。在从步骤一剔除掉背景图像后,使用基于Haar特征的AdaBoost分类器方法进行人体头部检测。
Haar特征对于边缘、线段等简单的图形结构比较敏感,Haar特征值为白色区域像素值总和减去黑色矩阵区域内像素值总和,训练时每一个Haar特征从样本的左上角开始遍历。为了减少计算量使用积分图模型来计算Haar特征值,积分图上任意一点(x,y)的值是以点(0,0)与(x,y)形成矩形框内所有像素点之和。Haar特征的计算表明,只要先遍历一遍图像,就可以计算出整副图像的积分图,从而达到简化计算量的目的。此处训练样本使用MUCT人头数据库作为正样本,同时选取3400张同样像素大小的负样本照片作为训练素材。
基于Haar特征的AdaBoost算法实现:
(a)给定一系列训练样本(x1,y1),(x2,y2),…(xn,yn),其中yi=0表示其为负样本(非人体头部),yi=1表示其为正样本(人体头部)。n为训练样本总数量,其中正样本总数目为l,负样本数目为m。
(b)初始化权重
(c)t=1,…T,归一化权重
Figure BDA0001076817470000081
对每个特征f(k),训练一个弱分类器h(k);并计算所有弱分类器的加权错误率
Figure BDA0001076817470000087
(d)选取拥有最小错误率的最佳的弱分类器
(e)按照这个最佳弱分类器,调整权重
(f)最后的强分类器为:
Figure BDA0001076817470000082
其中ht(x)为弱分类器,at为各个弱分类器的权重。
步骤三、头部姿态估计阶段。
此阶段使用基于ASM模型的头姿态估计方法。ASM模型基本思想是通过训练样本获得的训练图像样本特征点的分布统计信息来对目标区域进行有效的识别。通过现有的人脸数据库计算出人脸中眼睛区域进的特定阈值,将此阈值与罗伯特边缘检测算子进行比较从而确定该区域是否为嘴。最后根据计算得到的图像中嘴的坐标信息计算出头部的转向角度。
在建立ASM模型的过程中需要使用大量的人脸模型并人为的标定出嘴的区域。
为此选定使用MUCT数据库提供特的人脸模型作为训练对象,因MUCT数据库拥有图像特征点接口函数不需要对每幅图像人为标定,大大减少了工作量。
为了减少样本中特征点位置不同和人头姿态不同所造成的影响,需要对坐标信息进行统一化处理。在本发明中使用Procrustes方法:1)所有的样本与原点对齐。2)从样本中随意选择一个作为参考样本,并使其他的样本与之对齐。3)计算变换后所有样本的平均值
Figure BDA0001076817470000083
4)对
Figure BDA0001076817470000084
进行平移、旋转等操作使其
Figure BDA0001076817470000085
5)将所有样本与
Figure BDA0001076817470000086
对齐。6)如果
Figure BDA0001076817470000091
则算法停止,否则返回步骤二。
最后根据规格化的样本计算每幅图像中嘴位置的梯度值,按照从小到大排序,得到最小和最大的梯度值ψmin、ψmax
使用罗伯特边缘检测算子定位嘴的坐标。首先对图像中嘴的位置进行粗选,满足如下两个条件的位置入选为嘴坐标1)当(x,y)处的梯度值<1.2*ψmax。2)当(x,y)处的梯度值>0.8ψmin。入选的嘴坐标点灰度设置为1,其余设置为0。粗选之后会有一些噪声点影响实际的嘴位置,进行如下的搜索算法完成嘴的精确定位:1)使用8*8或者16*16模板对照片每行进行搜索。2)如果该点为1则将其作为模板的中心,计数器加1返回步骤一。3)如果计数大于阈值则将搜索到的点保留否则去掉。4)直到搜索结束。
过滤完毛刺点后,需要将相对分散的嘴位置坐标集中起来用一点表示,步骤如下:1)将8*8或者16*16模板为中心点搜索图中每个点。2)如果遇到1则记录该点坐标,并将其作为模板的中心并返回1)。3)求得所有点的中心。4)知道所有点搜索结束。
根据上面两个步骤将人脸中嘴的位置定位出来后,根据图4所示计算头的朝向角度。
Figure BDA0001076817470000092
其中Pmouth为嘴在图像中的坐标,其中图像的原点设置为图像中心,计算出来的角度带有正负号,如果结果为正则表示用户在向右侧转向,如果结果为负则表示用户在向左侧转向。

Claims (6)

1.一种多设备切换控制装置,包括一控制器、与控制器相连的输入设备,在所述控制器上设置有与多个输出设备连接的输入设备接口,其特征在于:在所述控制器上还连接有一图像采集装置,所述控制器根据所述图像采集装置获取的图像信息将所述输入设备与多个输出设备中的一个耦合控制;
所述控制器包括图像处理分析模块和硬件驱动模块,所述图像处理分析模块对所述图像 采集装置获取的图像信息进行处理得到所述硬件驱动模块的输入信号,所述硬件驱动模块根据输入信号控制所述输入设备与多个输出设备中的一个耦合;
所述图像处理分析模块对图像信息的处理方法是:
步骤一、图像处理模块接收到图像信息,通过从动态的图像中剔除掉背景图像,从而提取分割出运动区域;
步骤二、在步骤一剔除掉背景图像后,使用基于Haar特征的AdaBoost分类器方法进行人体头部检测;
步骤三、使用基于ASM模型的头姿态估计方法,计算出头部的转向角度;
步骤三头部姿态估计的具体方法是:
对坐标信息进行统一化处理:使用Procrustes方法:1)所有的样本与原点对齐;2)从样本中随意选择一个作为参考样本,并使其他的样本与之对齐;3)计算变换后所有样本的平均值
Figure FDA0004034974570000011
4)对
Figure FDA0004034974570000012
进行平移、旋转等操作使其
Figure FDA0004034974570000013
5)将所有样本与
Figure FDA0004034974570000014
对齐;6)如果
Figure FDA0004034974570000015
则算法停止,否则返回步骤二;
根据规格化的样本计算每幅图像中嘴位置的梯度值,按照从小到大排序,得到最小和最大的梯度值ψmin、ψmax
使用罗伯特边缘检测算子定位嘴的坐标:首先对图像中嘴的位置进行粗选,满足如下两个条件的位置入选为嘴坐标,入选的嘴坐标点灰度设置为1,其余设置为0,两个条件为:
1)当(x,y)处的梯度值<1.2*Ψmax;2)当(x,y)处的梯度值>0.8Ψmin
进行如下的搜索算法完成嘴的精确定位:1)使用8*8或者16*16模板对照片每行进行搜索;2)如果该点为1则将其作为模板的中心,计数器加1返回步骤一;3)如果计数大于阈值则将搜索到的点保留否则去掉;4)直到搜索结束;
过滤完毛刺点后,将相对分散的嘴位置坐标集中起来用一点表示,步骤如下:1)将8*8或者16*16模板为中心点搜索图中每个点;2)如果遇到1则记录该点坐标,并将其作为模板的中心并返回1);3)求得所有点的中心;4)直到所有点搜索结束;
根据上面两个步骤将人脸中嘴的位置定位出来后,计算头的朝向角度:
Figure FDA0004034974570000016
其中Pmouth为嘴在图像中的坐标,其中图像的原点设置为图像中心,计算出来的角度带有正负号,如果结果为正则表示用户在向右侧转向,如果结果为负则表示用户在向左侧转向。
2.根据权利要求1所述的多设备切换控制装置,其特征在于:所述输入设备为键盘和或鼠标,所述输出设备为主机。
3.根据权利要求1所述的多设备切换控制装置,其特征在于:所述图像 采集装置为单目摄像头。
4.根据权利要求1所述的多设备切换控制装置,其特征在于:采用背景减除法剔除背景图像,背景减除法将图像分成前景图像和背景图像,使用|I(x,y,t)-B(x,y,t)|>T(x,y,t)公式来估计当前像素点I(x,y,t)是否属于前景点,如果满足上述公式则当前坐标属于前景点,公式中B(x,y,t)是背景估计模型,T(x,y,t)为估计阈值,使用混合高斯背景模型作为对B(x,y,t)的估计:
Figure FDA0004034974570000021
其中σ为背景估计模型的方差,μ为背景估计模型的期望均值,f(x,y,t)为背景估计模型的像素值;
选择3个高斯模型来描述每个像素颜色值的分布,及遵守如下概率分布:
Figure FDA0004034974570000022
其中μi表示高斯分量的均值,σi表示高斯分量的方差,wi表示第i个高斯模型成分的权重,定义wii为适合度,根据适合度按照从大到小对3个高斯分布排序,取前C个分布来表示背景图像的分布模型,其中
Figure FDA0004034974570000023
TBG表示背景模型所占的最小比例阈值;
从C中根据下式进行估计:
|X(x,y,t)-ui(x,y,t-1)|<=3σi(x,y,t-1)
找到能够匹配的高斯模型,则认为此点是背景像素;否则认为是前景像素;
判定完像素点后需要对混合高斯模型的参数进行更新,如果像素点(x,y)判定为背景像素时,需要更新与该像素点(x,y)匹配的高斯分量参数,更新方程:
ui(x,y,t)=(1-α)×ui(x,y,t-1)+α×I(x,y,t)
Figure FDA0004034974570000024
当像素点被判别为前景像素点时就要删除当前高斯模型分量重权重最小的那个,并添加新的高斯分量,新的高斯分量是以当前像素的颜色值为均值,协方差由初始值确定;
最后需要更新各个高斯分量的权重,公式如下:
wi(x,y,t)=(1-β)×wi(x,y,t-1)+βi为匹配的分布
wi(x,y,t)=(1-β)×wi(x,y,t-1)其他
其中wi表示第i个高斯模型成分的权重,β为上一时刻权重与这一时刻的权重占比率。
5.根据权利要求4所述的多设备切换控制装置,其特征在于:进行人体头部检测的具体方法是:
(a)给定一系列训练样本(x1,y1),(x2,y2),…(xn,yn),其中yi=0表示其为非人体头部的负样本,yi=1表示其为人体头部的正样本,n为训练样本总数量,其中正样本总数目为l,负样本数目为m;
(b)初始化权重;
(c)t=1,…T,归一化权重
Figure FDA0004034974570000031
对每个特征f(k),训练一个弱分类器h(k);并计算所有弱分类器的加权错误率
Figure FDA0004034974570000032
(d)选取拥有最小错误率的最佳的弱分类器;
(e)按照这个最佳弱分类器,调整权重;
(f)最后的强分类器为:
Figure FDA0004034974570000033
其中ht(x)为弱分类器,at为各个弱分类器的权重。
6.一种多设备控制系统,包括多个输入设备及权利要求1-5任一所述多设备切换控制装置,所述多个输入设备连接至所述多设备切换控制装置的控制器上。
CN201610665624.4A 2016-08-12 2016-08-12 多设备切换控制装置及多设备控制系统 Active CN106125941B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610665624.4A CN106125941B (zh) 2016-08-12 2016-08-12 多设备切换控制装置及多设备控制系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610665624.4A CN106125941B (zh) 2016-08-12 2016-08-12 多设备切换控制装置及多设备控制系统

Publications (2)

Publication Number Publication Date
CN106125941A CN106125941A (zh) 2016-11-16
CN106125941B true CN106125941B (zh) 2023-03-10

Family

ID=57258936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610665624.4A Active CN106125941B (zh) 2016-08-12 2016-08-12 多设备切换控制装置及多设备控制系统

Country Status (1)

Country Link
CN (1) CN106125941B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108874166B (zh) * 2018-06-15 2021-08-03 西安微电子技术研究所 一种基于fpga和ps2协议的kvm控制器
CN118363466A (zh) * 2023-01-19 2024-07-19 华为终端有限公司 多设备之间共享键盘和鼠标的方法及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101776952A (zh) * 2010-01-29 2010-07-14 联动天下科技(大连)有限公司 一种新型互动投影系统
CN103324284A (zh) * 2013-05-24 2013-09-25 重庆大学 基于人脸和眼部检测的鼠标控制方法
CN103576854A (zh) * 2012-07-18 2014-02-12 三星电子株式会社 显示装置控制系统及用于控制多个显示器的方法和装置
CN103632129A (zh) * 2012-08-28 2014-03-12 腾讯科技(深圳)有限公司 一种人脸特征点定位方法及装置
CN104166840A (zh) * 2014-07-22 2014-11-26 厦门亿联网络技术股份有限公司 一种基于视频会议系统的聚焦实现方法
CN105159460A (zh) * 2015-09-10 2015-12-16 哈尔滨理工大学 基于眼动跟踪的智能家居控制器及其控制方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160210769A1 (en) * 2015-01-16 2016-07-21 Dell Products L.P. System and method for a multi-device display unit

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101776952A (zh) * 2010-01-29 2010-07-14 联动天下科技(大连)有限公司 一种新型互动投影系统
CN103576854A (zh) * 2012-07-18 2014-02-12 三星电子株式会社 显示装置控制系统及用于控制多个显示器的方法和装置
CN103632129A (zh) * 2012-08-28 2014-03-12 腾讯科技(深圳)有限公司 一种人脸特征点定位方法及装置
CN103324284A (zh) * 2013-05-24 2013-09-25 重庆大学 基于人脸和眼部检测的鼠标控制方法
CN104166840A (zh) * 2014-07-22 2014-11-26 厦门亿联网络技术股份有限公司 一种基于视频会议系统的聚焦实现方法
CN105159460A (zh) * 2015-09-10 2015-12-16 哈尔滨理工大学 基于眼动跟踪的智能家居控制器及其控制方法

Also Published As

Publication number Publication date
CN106125941A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
CN108701376B (zh) 三维图像的基于识别的对象分割
TWI395145B (zh) 手勢辨識系統及其方法
CN107251096B (zh) 图像捕获装置和方法
US8175384B1 (en) Method and apparatus for discriminative alpha matting
US6788809B1 (en) System and method for gesture recognition in three dimensions using stereo imaging and color vision
US9128528B2 (en) Image-based real-time gesture recognition
CN109753878B (zh) 一种恶劣天气下的成像识别方法及系统
US9721387B2 (en) Systems and methods for implementing augmented reality
CN109359514B (zh) 一种面向deskVR的手势跟踪识别联合策略方法
CN110175528B (zh) 人体跟踪方法及装置、计算机设备及可读介质
WO2020151299A1 (zh) 黄色禁停线识别方法、装置、计算机设备及存储介质
JP2021527256A (ja) ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法
CN116958584B (zh) 关键点检测方法、回归模型的训练方法、装置及电子设备
WO2020230244A1 (ja) 学習方法、学習プログラム、および、学習装置
Guo et al. Gesture recognition of traffic police based on static and dynamic descriptor fusion
Thabet et al. Fast marching method and modified features fusion in enhanced dynamic hand gesture segmentation and detection method under complicated background
CN113220114A (zh) 一种融合人脸识别的可嵌入非接触式电梯按键交互方法
CN106125941B (zh) 多设备切换控制装置及多设备控制系统
CN114333056B (zh) 一种手势控制的方法、系统、设备及存储介质
CN109919128B (zh) 控制指令的获取方法、装置及电子设备
Hoque et al. Computer vision based gesture recognition for desktop object manipulation
CN113454684A (zh) 一种关键点标定方法和装置
US20070223818A1 (en) Method and apparatus for predicting the accuracy of virtual Scene based on incomplete information in video
CN115019396A (zh) 一种学习状态监测方法、装置、设备及介质
JP2015187769A (ja) 物体検出装置、物体検出方法及びプログラム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant