CN106201173A - 一种基于投影的用户交互图标的交互控制方法及系统 - Google Patents
一种基于投影的用户交互图标的交互控制方法及系统 Download PDFInfo
- Publication number
- CN106201173A CN106201173A CN201610486050.4A CN201610486050A CN106201173A CN 106201173 A CN106201173 A CN 106201173A CN 201610486050 A CN201610486050 A CN 201610486050A CN 106201173 A CN106201173 A CN 106201173A
- Authority
- CN
- China
- Prior art keywords
- interactive
- user
- interaction
- picture
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 209
- 230000003993 interaction Effects 0.000 title claims abstract description 91
- 238000000034 method Methods 0.000 title claims abstract description 50
- 239000000284 extract Substances 0.000 claims description 19
- 230000000875 corresponding effect Effects 0.000 claims description 15
- 230000008859 change Effects 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 7
- 239000003086 colorant Substances 0.000 claims description 4
- 230000001186 cumulative effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 238000011410 subtraction method Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 230000009471 action Effects 0.000 claims description 2
- 230000008569 process Effects 0.000 abstract description 8
- 230000001276 controlling effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000000470 constituent Substances 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
Abstract
本发明公开了一种基于投影的用户交互图标的交互控制方法及其系统，在所述方法中，投影模块投影显示包含用户交互图标的交互图像；交互操作体执行交互操作；图像采集模块连续采集获取所述交互图像的信息；中央处理单元提取交互图像信息中的特征信息并进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令给投影模块；投影模块根据中央处理单元所输出的交互指令改变投影内容。本发明利用计算机视觉方法直接识别投影显示空间中的用户交互图标有无被交互操作体触摸或遮挡，与基于结构光或者手势识别的方法相比，本发明在强光或者弱光或者完全黑暗等投影环境下，均可以较为准确地对用户交互图标实行交互操作控制。
Description
技术领域
本发明涉及投影交互领域，尤其涉及一种基于投影的用户交互图标的交互控制方法及系统。
背景技术
21世纪以来，手机、计算机等电子设备的硬件性能和普及程度不断提高，触摸屏开始流行。触摸操作使人们脱离了键盘和鼠标的束缚，直接在屏幕上进行操作控制，更加人性化适用化。然而随着不同种类和规格的屏幕以及APP的出现，触摸操作的不便和局限性也渐渐显露出来：小尺寸触摸屏只不过是换了一种形式的鼠标和键盘，未能真正让用户摆脱硬件的束缚；相反地，挂在墙上的触摸大屏幕，操作时必须走近屏幕，使得操作控制不方便且不舒适。另外，个别应用场景中，用户不被允许或者不方便直接接触操作设备，例如正在手术的医生或者正在做饭的厨师等等。
互动投影是一种近年来比较流行的多媒体展示平台，采用计算机视觉技术和投影显示技术，用户可以直接使用脚或手与投影区域上的虚拟场景进行交互，来营造一种动感的交互体验。互动投影系统通过图像采集设备对目标影像进行采集拍摄，然后由影像数据处理系统处理，来识别、判断目标执行交互操作作用点的方法，具有自然、简洁、直接的特点，在虚拟现实、人机交互、视觉监控等领域均有着广泛的应用前景。
发明内容
本发明主要解决的技术问题是提供一种基于投影的用户交互图标的交互控制方法及系统，利用计算机视觉方法直接识别投影显示空间中交互操作体是否操作用户交互图标，从而能够容易实施本方法，且实施成本低、限制因素少，在强光或者弱光等投影环境下，均可以较为准确地对用户交互图标实行交互操作控制。
为解决上述技术问题，本发明采用的一个技术方案是：一种基于投影的用户交互图标的交互控制方法，包括以下步骤：(S1)向投影模块输入包含用户交互图标的交互图像，所述投影模块将所述交互图像投影显示在投影显示界面；(S2)交互操作体在投影显示界面上执行交互操作；(S3)图像采集模块连续采集获取投影显示界面上的交互图像信息，并将所述交互图像信息传输给中央处理单元；(S4)中央处理单元提取交互图像信息中的特征信息，将所提取的特征信息输入预先存储的训练好的分类器进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令；所述分类器存储于中央处理单元；(S5)投影模块根据中央处理单元所输出的交互指令改变投影内容，并且返回所述向投影模块输入交互图像的步骤；和/或由用户交互图标控制的电子设备根据交互指令执行对应的动作。
根据优选实施例，在所述交互控制方法中，连续获取交互图像序列，当图像数目小于预设阈值时，定位用户交互图标在交互图像中的位置并提取图标区域的灰度特征，存储所述位置以及灰度特征；当图像数目等于预设阈值时，对所存储的各帧交互图像的位置以及灰度特征赋予权值并分别累加求和，作为参考背景信息；当图像数目大于预设阈值时，根据上述参考背景信息，提取交互图像中交互图标区域的由灰度变化衍生的特征，以及颜色、形状特征。
另外，根据优选实施例，所述中央处理单元提取交互图像信息中的特征信息，具体步骤为：基于交互图像中用户交互图标的亮度、几何形状信息定位其在交互图像中的区域位置；每一个用户交互图标的区域位置能够由一个矩形框描述，记为recti(xi，yi，wi，hi，)；其次，提取每一个用户交互图标区域的特征，包括两类特征：第一类特征，基于背景减除法计算由像素灰度值发生变化所衍生出的特征，记为F1i(f1i1，f1i2，...，f1im)；第二类特征，基于交互操作体的颜色、纹理及形状轮廓特征，记为F2i(f2i1，f2i2，...，f2in)；每一个用户交互图标区域都由第一类特征(F1)、第二类特征(F2)组成的特征描述子表示，记为FTi(fti1，fti2，...，fti(m+n))。
而且，根据优选实施例，所述中央处理单元提取和识别交互图像信息中的特征信息，还可以为：在强光环境下，先利用运动目标检测或跟踪算法来检测与识别交互操作体在投影显示空间的位置，再与每一个用户交互图标在交互图像中的位置进行比较，来获取操作控制的用户交互图标编号；在弱光环境下，不用考虑第二类特征(F2)，而直接利用针对第一类特征(F1)训练得到的分类器识别第一类特征(F1)，以得到交互操作体所操作的用户交互图标编号。
根据优选实施例，所述对分类器的训练包括：在不同的光照环境下，投影模块将包含用户交互图标的交互图像投影在不同的投影显示界面；图像采集模块实时采集交互图像，提取交互图像中的特征信息，并给特征信息添加标签，利用机器学习算法对带标签的特征数据进行训练，寻找最优的模型参数，完成分类器的构建。
根据优选实施例，所述不同的投影显示界面是不同颜色背景或者不同纹理背景或者不同平整度背景；所述机器学习算法可以为神经网络或者支持向量机；一种所述用户交互图标对应一种交互指令；所述交互指令由中央处理单元输入到投影模块和/或直接输入到其他与中央处理单元相连接的设备。
另外，根据优选实施例，所述交互操作体执行交互操作时直接触摸投影交互图像中的用户交互图标区域，或者对交互图像中的用户交互图标区域进行遮挡；所述交互操作体是用户的手或者脚或者由用户控制的物体；所述交互图像的用户交互图标的信息包括其颜色亮度和/或几何形状；所述用户交互图标是用户界面的应用图标或者应用画面中的操作图标。
为解决上述技术问题，本发明采用的另一个技术方案是：一种基于投影的用户交互图标的交互控制系统，包括：中央处理单元、投影模块和图像采集模块，其中，所述中央处理单元分别与投影模块和图像采集模块连接；所述中央处理单元，用于：向投影模块输入包含用户交互图标的交互图像，使所述投影模块将所述交互图像投影显示在投影显示界面；当位于所述投影模块的投影画面与图像采集模块之间的交互操作体在投影显示界面上执行交互操作时，使图像采集模块连续采集获取投影显示界面上的交互图像信息，并将所述交互图像信息传输给中央处理单元，以提取交互图像信息中的特征信息，将所提取的特征信息输入预先存储的训练好的分类器进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令给投影模块或者其他与中央处理单元相连接的设备；使投影模块根据中央处理单元所输出的交互指令改变投影内容，并且再向所述投影模块输入交互图像；和/或使与中央处理单元相连接的设备根据交互指令执行相应的动作。
另外，根据优选实施例，所述交互控制系统还包括：音频输出装置和存储装置，所述音频输出装置和存储装置分别与中央处理单元连接，所述存储装置用于存储预设声频库；所述中央处理单元还用于从存储装置的预设声频库中，提取与所述用户交互图标相对应的音频文件，并且在调整所述投影模块的投影内容的过程中，向所述音频输出装置输出获取到的音频文件,以使所述音频输出装置根据所述获取到的音频文件输出交互音频。
根据优选实施例，所述图像采集模块为摄像头；所述交互图像中用户交互图标的特征信息包括其颜色亮度和/或几何形状；所述用户交互图标是用户界面的应用图标或者应用画面操作图标。
与现有技术相比，本发明具有如下有益效果：利用计算机视觉方法直接识别投影显示空间中交互操作体是否操作用户交互图标，因此本方法易于实施，且实施成本低，避免了常见的基于结构光或者手势识别的交互方法或系统中的相机标定所涉及的坐标转换等复杂计算过程，也避免了肤色分割、定位等环节；与基于结构光或者手势识别的方法相比，本发明在强光或者弱光或者完全黑暗等投影环境下，均可以较为准确地对用户交互图标实行交互操作控制。
附图说明
图1是根据本发明实施方式的基于投影的用户交互图标的交互控制系统的结构示意图；
图2是根据本发明实施方式的基于投影的用户交互图标的交互控制方法的流程图；
图3是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中提取交互图像特征信息的一例流程图；
图4是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中提取交互图像特征信息的另一例流程图；
图5a是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中用户交互图标的一例示意图；
图5b是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中用户交互图标的另一例示意图；
图5c是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中用户交互图标的又一例示意图；
图5d是根据本发明实施方式的基于投影的用户交互图标的交互控制方
法中交互过程的交互图像的示意图。
具体实施方式
下面结合附图，对本发明的具体实施方式进行详细说明，但应当理解本发明的保护范围并不受具体实施方式的限制。
请参阅图1，图1是根据本发明实施方式的基于投影的用户交互图标的交互控制系统的结构示意图，由图可知，基于投影的用户交互图标的交互控制系统10，包括：中央处理单元11、投影模块12和图像采集模块13，其中，所述中央处理单元11分别与投影模块12和图像采集模块13连接；所述中央处理单元11，用于：向投影模块12输入包含用户交互图标的交互图像，使所述投影模块12将所述交互图像投影显示在投影显示界面上；当位于所述投影模块12的投影画面14与图像采集模块13之间的交互操作体执行交互操作时，使图像采集模块13连续采集获取投影显示界面上的交互图像信息，并将所述交互图像信息传输给中央处理单元11，以提取交互图像信息中的特征信息，并将所提取的特征信息输入预先存储的训练好的分类器进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令，使投影模块12根据中央处理单元11所输出的交互指令改变投影内容，并且再向所述投影模块12输入交互图像。
其中，一种用户交互图标对应一种交互指令；所述交互指令可以由中央处理单元11输入到投影模块12，使投影模块12根据交互指令改变目前的投影内容；也可以直接输入到与中央处理单元11无线连接的外部智能电子设备20，这样本发明的所述基于投影的用户交互图标的交互控制系统10就可以充当遥控器的功能控制外部智能电子设备20进行与交互指令相关的操作，此处交互控制系统10与智能电子设备20之间建立无线连接，距离并不限定，所述无线连接可以是蓝牙或者WiFi方式进行连接。
此外，所述交互控制系统10还可以包括：音频输出装置和存储装置，所述音频输出装置和存储装置分别与中央处理单元11连接，所述存储装置用于存储预设声频库。所述中央处理单元11还用于从存储装置的预设声频库中，提取与所述用户交互图标相对应的音频文件，并且在调整所述投影模块12的投影内容的过程中，向所述音频输出装置输出获取到的音频文件,以使所述音频输出装置根据所述获取到的音频文件输出交互音频。
另外，所述图像采集模块13为摄像头；所述交互图像中用户交互图标的特征信息包括其颜色亮度和/或几何形状；所述用户交互图标可以是用户界面的应用图标或者应用画面中的操作图标。
本发明又提供了一种基于投影的用户交互图标的交互控制方法，请参阅图2，其包括：
步骤(S1)：向投影模块12输入包含用户交互图标的交互图像，所述投影模块12将所述交互图像投影显示在投影显示界面；
步骤(S2)：位于所述投影模块12的投影画面14与图像采集模块13之间的交互操作体在投影显示界面上执行交互操作；
步骤(S3)：图像采集模块13连续采集获取投影显示界面上的交互图像信息，并将所述交互图像信息传输给中央处理单元11；
步骤(S4)：中央处理单元11提取交互图像信息中的特征信息，将所提取的特征信息输入预先存储的训练好的分类器进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令给投影模块12；以及
步骤(S5)：投影模块12根据中央处理单元11所输出的交互指令改变投影内容，并且返回所述向投影模块12输入交互图像的步骤。
在本实施方式中所述图像采集模块13可为摄像头，其取景范围覆盖投影模块12的投影画面14，由于交互操作体位于图像采集模块13与投影画面14之间，并且交互操作体位于图像采集模块13的前方，因此，图像采集模块13采集到的图像包含交互操作体画面和投影画面14。当然，交互操作体画面与投影画面14可以部分或者全部重叠，也可以不重叠。
另外，一种用户交互图标对应一种交互指令；所述交互指令可以由中央处理单元11输入到投影模块12，使投影模块12根据交互指令改变目前的投影内容；也可以直接输入到与中央处理单元11无线连接的外部智能电子设备20，使外部智能电子设备20进行与用户交互图标对应的操作。当然，中央处理单元11也可以与外部智能电子设备20有线连接。
图3是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中提取交互图像特征信息的一例流程图；请参阅图3，在所述交互控制方法中：连续获取交互图像序列，当图像数目小于预设阈值时，定位用户交互图标在交互图像中的投影区域并提取所述区域的灰度特征，存储所述投影区域以及灰度特征；当图像数目等于预设阈值时，对所存储的各图像帧的投影区域以及灰度特征赋予权值并分别累加求和，作为参考背景信息；当图像数目大于预设阈值时，根据上述参考背景信息，获取交互图像中交互图标区域的由灰度变化衍生的特征，并提取交互图像中交互图标区域的颜色、形状特征。最后，将所提取的特征信息输入预先存储的训练好的分类器进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令。其中，所述分类器存储于中央处理单元11中。
本发明优选在步骤(S4)中所述中央处理单元11提取交互图像信息中的特征信息，具体步骤为：基于交互图像中用户交互图标的信息，例如亮度、几何形状等信息，定位其在交互图像中的区域位置；每一个用户交互图标的区域位置可由一个矩形框描述，记为recti(xi，yi，wi，hi，)；其次，提取每一个用户交互图标区域的特征，包括两类特征：第一类特征，基于背景减除法计算由像素灰度值发生变化所衍生出的特征，记为F1i(f1i1，f1i2，...，f1im)；第二类特征，基于交互操作体的纹理及形状轮廓、肤色特征，记为F2i(f2i1，f2i2，...，f2in)；每一个用户交互图标区域都由第一类特征(F1)、第二类特征(F2)组成的特征描述子表示，记为FTi(fti1，fti2，...，fti(m+n))。
图4是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中提取交互图像特征信息的另一例流程图；请参阅图4，与图3的例子不同的是，在强光投影环境下，利用运动目标检测或者跟踪算法来检测与识别交互操作体在投影显示空间的位置，与每一个用户交互图标的区域位置进行比较，来获取操作控制的用户交互图标编号；在弱光投影环境下，不用考虑第二类特征(F2)，而直接利用针对第一类特征(F1)训练得到的分类器识别第一类特征(F1)，以得到交互操作体期望操作的用户交互图标编号。
此外，所述对分类器的训练优选包括：在不同的光照环境下，投影模块12将包含用户交互图标的交互图像投影在不同的投影显示界面，由不同的交互操作体在投影显示界面执行交互操作，图像采集模块13实时采集交互图像，提取交互图像中的特征信息，并给特征信息添加标签，利用机器学习算法对带标签的特征数据进行训练，寻找最优的模型参数，完成分类器的构建。
在此，所述利用机器学习算法训练生成的分类器能够进行自适用特征融合：在强光投影环境下，投影显示画面对比度低，第一类特征F1不明显，但图像采集模块13可以清楚地采集交互操作体的几何形状信息，即第二类特征F2明显，这种情况下分类器对用户交互图标是否被交互操作体操作的识别更依赖于第二类特征F2；相反，在弱光投影环境下，图像采集模块13几乎采集摄不到交互操作体的几何形状信息，即第二类特征F2不明显，但所采集的交互图像对比度高，第一类特征F1明显，这种情况下分类器对用户交互图标是否被交互操作体操作的识别更依赖于第一类特征F1。
另外，所述不同的投影显示界面可以是不同颜色背景或者不同纹理背景或者不同平整度背景；所述机器学习算法可以为(深度)神经网络或者支持向量机。
另外，所述交互操作体执行交互操作时可以是直接触摸投影的交互图像上的用户交互图标区域，或者是交互操作体在投影模块12与投影画面14之间运动对交互图像中的用户交互图标区域进行遮挡；所述交互操作体可以是用户的手或者脚或者由用户控制的物体。
并且，所述交互图像中用户交互图标的特征信息包括其颜色亮度和/或几何形状；所述用户交互图标可以是用户界面的应用图标或者应用画面中的操作图标。
值得注意的是，本发明中所述的用户交互图标具有多种形式，只要可通过接触或遮挡图标来控制相关操作的用户交互图标均属于本发明的保护范围；请参阅图5a—5c，均为根据本发明实施方式的基于投影的用户交互图标的交互控制方法中用户交互图标的一例示意图；图5a为常规用户界面，每一个图标对应一种操作，所述图标可以对应一种应用APP或者对应某个设备；例如，可控制用户界面的图标打开游戏界面，也可以点击用户界面的图标去控制与其连接的设备。图5b表示的是游戏页面可交互图标，可控制某个图标进入相应的游戏关卡。图5c表示的是视频播放页面的可交互图标，可控制交互图标暂停/播放视频，或者视频的播放进程等等。
图5d是根据本发明实施方式的基于投影的用户交互图标的交互控制方法中交互过程的交互图像的示意图；如图5d所示，在交互操作体交互控制的区域，图像采集模块13采集的交互图像中被操作的用户交互图标区域的灰度信息相对图5a所示未发生交互操作时产生了变化，因此可提取由灰度变化衍生的特征。值得注意的是，交互操作体并不限于图示的手，也可以为脚或由交互操作体控制的物体。
通过上述构成，由于本发明利用计算机视觉方法直接识别投影显示空间中用户交互图标是否被交互操作体操作，所以本方法易于实施，且实施成本低，避免了常见的基于结构光或者手势识别的交互方法或系统中的相机标定所涉及的坐标转换等复杂计算过程，也避免了肤色分割、定位等环节；与基于结构光或者手势识别的方法相比，本发明在强光或者弱光或者完全黑暗等投影环境下，均可以较为准确地对用户交互图标实行交互操作控制。
以上结合本发明的优选实施方式对本发明进行了详细说明，但本发明并不局限于此。对本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，都应该视为包括在本发明的保护范围内。
Claims (10)
1.一种基于投影的用户交互图标的交互控制方法，其特征在于，包括以下步骤：
(S1)向投影模块输入包含用户交互图标的交互图像，所述投影模块将所述交互图像投影显示在投影显示界面；
(S2)交互操作体在投影显示界面上执行交互操作；
(S3)图像采集模块连续采集获取投影显示界面上的交互图像信息，并将所述交互图像信息传输给中央处理单元；
(S4)中央处理单元提取交互图像信息中的特征信息，将所提取的特征信息输入预先存储的训练好的分类器进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令；所述分类器存储于中央处理单元；
(S5)投影模块根据中央处理单元所输出的交互指令改变投影内容，并且返回所述向投影模块输入交互图像的步骤；和/或由用户交互图标控制的电子设备根据交互指令执行对应的动作。
2.根据权利要求1所述的交互控制方法，其特征在于，连续获取交互图像序列，当图像数目小于预设阈值时，定位用户交互图标在交互图像中的位置并提取图标区域的灰度特征，存储所述位置以及灰度特征；当图像数目等于预设阈值时，对所存储的各帧交互图像的位置以及灰度特征赋予权值并分别累加求和，作为参考背景信息；当图像数目大于预设阈值时，根据上述参考背景信息，提取交互图像中交互图标区域的由灰度变化衍生的特征，以及颜色、形状特征。
3.根据权利要求2所述的交互控制方法，其特征在于，所述中央处理单元提取交互图像信息中的特征信息，具体步骤为：基于交互图像中用户交互图标的亮度、几何形状信息定位其在交互图像中的区域位置；每一个用户交互图标的区域位置能够由一个矩形框描述，记为recti(xi，yi，wi，hi，)；其次，提取每一个用户交互图标区域的特征，包括两类特征：第一类特征，基于背景减除法计算由像素灰度值发生变化所衍生出的特征，记为F1i(f1i1，f1i2，…，f1im)；第二类特征，基于交互操作体的颜色、纹理及形状轮廓特征，记为F2i(f2i1，f2i2，...，f2in)；每一个用户交互图标区域都由第一类特征(F1)、第二类特征(F2)组成的特征描述子表示，记为FTi(fti1，fti2，...，fti(m+n))。
4.根据权利要求3所述的交互控制方法，其特征在于，所述中央处理单元提取和识别交互图像信息中的特征信息，还可以为：在强光环境下，先利用运动目标检测或跟踪算法来检测与识别交互操作体在投影显示空间的位置，再与每一个用户交互图标在交互图像中的位置进行比较，来获取操作控制的用户交互图标编号；在弱光环境下，不用考虑第二类特征(F2)，而直接利用针对第一类特征(F1)训练得到的分类器识别第一类特征(F1)，以得到交互操作体所操作的用户交互图标编号。
5.根据权利要求3所述的交互控制方法，其特征在于，所述对分类器的训练包括：在不同的光照环境下，投影模块将包含用户交互图标的交互图像投影在不同的投影显示界面；图像采集模块实时采集交互图像，提取交互图像中的特征信息并对特征信息添加标签，利用机器学习算法对带标签的特征数据进行训练，寻找最优的模型参数，完成分类器的构建。
6.根据权利要求5所述的交互控制方法，其特征在于，
所述不同的投影显示界面是不同颜色背景或者不同纹理背景或者不同平整度背景；所述机器学习算法可以为神经网络或者支持向量机；一种所述用户交互图标对应一种交互指令；所述交互指令由中央处理单元输入到投影模块和/或直接输入到其他与中央处理单元相连接的设备。
7.根据权利要求1所述的交互控制方法，其特征在于，
所述交互操作体执行交互操作时直接触摸投影交互图像中的用户交互图标区域，或者对交互图像中的用户交互图标区域进行遮挡；所述交互操作体是用户的手或者脚或者由用户控制的物体；
所述交互图像的用户交互图标的信息包括其颜色亮度和/或几何形状；所述用户交互图标是用户界面的应用图标或者应用画面中的操作图标。
8.一种基于投影的用户交互图标的交互控制系统，其特征在于，包括：中央处理单元、投影模块和图像采集模块，其中，所述中央处理单元分别与投影模块和图像采集模块连接；
所述中央处理单元，用于：向投影模块输入包含用户交互图标的交互图像，使所述投影模块将所述交互图像投影显示在投影显示界面；当位于所述投影模块的投影画面与图像采集模块之间的交互操作体在投影显示界面上执行交互操作时，使图像采集模块连续采集获取投影显示界面上的交互图像信息，并将所述交互图像信息传输给中央处理单元，以提取交互图像信息中的特征信息，并将所提取的特征信息输入预先存储的训练好的分类器进行识别，确定被操作控制的用户交互图标并输出与用户交互图标相对应的交互指令给投影模块或者其他与中央处理单元相连接的设备；使投影模块根据中央处理单元所输出的交互指令改变投影内容，并且再向所述投影模块输入交互图像；和/或使与中央处理单元相连接的设备根据交互指令执行相应的动作。
9.根据权利要求8所述的交互控制系统，其特征在于，所述交互控制系统还包括：音频输出装置和存储装置，所述音频输出装置和存储装置分别与中央处理单元连接，所述存储装置用于存储预设声频库；
所述中央处理单元还用于从存储装置的预设声频库中，提取与所述用户交互图标相对应的音频文件，并且在调整所述投影模块的投影内容的过程中，向所述音频输出装置输出获取到的音频文件,以使所述音频输出装置根据所述获取到的音频文件输出交互音频。
10.根据权利要求8或9所述的交互控制系统，其特征在于，所述图像采集模块为摄像头；所述交互图像中用户交互图标的特征信息包括其颜色亮度和/或几何形状；所述用户交互图标是用户界面的应用图标或者应用画面中的操作图标。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610486050.4A CN106201173B (zh) | 2016-06-28 | 2016-06-28 | 一种基于投影的用户交互图标的交互控制方法及系统 |
| PCT/CN2016/093423 WO2018000519A1 (zh) | 2016-06-28 | 2016-08-05 | 一种基于投影的用户交互图标的交互控制方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610486050.4A CN106201173B (zh) | 2016-06-28 | 2016-06-28 | 一种基于投影的用户交互图标的交互控制方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106201173A true CN106201173A (zh) | 2016-12-07 |
| CN106201173B CN106201173B (zh) | 2019-04-05 |
Family
ID=57460951
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610486050.4A Active CN106201173B (zh) | 2016-06-28 | 2016-06-28 | 一种基于投影的用户交互图标的交互控制方法及系统 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN106201173B (zh) |
| WO (1) | WO2018000519A1 (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107360407A (zh) * | 2017-08-09 | 2017-11-17 | 上海青橙实业有限公司 | 画面合成放映方法及主控设备、附属设备 |
| CN107656690A (zh) * | 2017-09-18 | 2018-02-02 | 上海斐讯数据通信技术有限公司 | 一种基于投影技术的智能路由器交互方法及系统 |
| CN108217353A (zh) * | 2016-12-14 | 2018-06-29 | 三菱电机上海机电电梯有限公司 | 层站图像解析按钮及使用该装置的电梯和方法 |
| CN109064795A (zh) * | 2018-07-16 | 2018-12-21 | 广东小天才科技有限公司 | 一种投影交互的方法及照明设备 |
| CN109561333A (zh) * | 2017-09-27 | 2019-04-02 | 腾讯科技（深圳）有限公司 | 视频播放方法、装置、存储介质和计算机设备 |
| CN111176521A (zh) * | 2019-11-25 | 2020-05-19 | 广东小天才科技有限公司 | 一种消息显示方法及智能音箱、存储介质 |
| CN111860142A (zh) * | 2020-06-10 | 2020-10-30 | 南京翱翔信息物理融合创新研究院有限公司 | 一种面向投影增强的基于机器视觉的手势交互方法 |
| CN112231023A (zh) * | 2019-07-15 | 2021-01-15 | 北京字节跳动网络技术有限公司 | 一种信息显示方法、装置、设备及存储介质 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110781734B (zh) * | 2019-09-18 | 2023-04-07 | 长安大学 | 一种基于纸笔交互的儿童认知游戏系统 |
| CN113696821A (zh) * | 2020-05-22 | 2021-11-26 | 上海海拉电子有限公司 | 一种车辆信息交互系统及信息交互方法 |
| CN114157846B (zh) * | 2021-11-11 | 2024-01-12 | 深圳市普渡科技有限公司 | 机器人、投影方法及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101943947A (zh) * | 2010-09-27 | 2011-01-12 | 鸿富锦精密工业（深圳）有限公司 | 交互显示系统 |
| US20110154249A1 (en) * | 2009-12-21 | 2011-06-23 | Samsung Electronics Co. Ltd. | Mobile device and related control method for external output depending on user interaction based on image sensing module |
| CN103999025A (zh) * | 2011-10-07 | 2014-08-20 | 高通股份有限公司 | 基于视觉的交互式投影系统 |
| CN104808800A (zh) * | 2015-05-21 | 2015-07-29 | 上海斐讯数据通信技术有限公司 | 智能眼镜设备、移动终端及移动终端操作方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102236408A (zh) * | 2010-04-23 | 2011-11-09 | 上海艾硕软件科技有限公司 | 基于图像识别、多投影机融合大屏幕的多点人机交互系统 |
-
2016
- 2016-06-28 CN CN201610486050.4A patent/CN106201173B/zh active Active
- 2016-08-05 WO PCT/CN2016/093423 patent/WO2018000519A1/zh active Application Filing
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110154249A1 (en) * | 2009-12-21 | 2011-06-23 | Samsung Electronics Co. Ltd. | Mobile device and related control method for external output depending on user interaction based on image sensing module |
| CN101943947A (zh) * | 2010-09-27 | 2011-01-12 | 鸿富锦精密工业（深圳）有限公司 | 交互显示系统 |
| CN103999025A (zh) * | 2011-10-07 | 2014-08-20 | 高通股份有限公司 | 基于视觉的交互式投影系统 |
| CN104808800A (zh) * | 2015-05-21 | 2015-07-29 | 上海斐讯数据通信技术有限公司 | 智能眼镜设备、移动终端及移动终端操作方法 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108217353A (zh) * | 2016-12-14 | 2018-06-29 | 三菱电机上海机电电梯有限公司 | 层站图像解析按钮及使用该装置的电梯和方法 |
| CN107360407A (zh) * | 2017-08-09 | 2017-11-17 | 上海青橙实业有限公司 | 画面合成放映方法及主控设备、附属设备 |
| CN107656690A (zh) * | 2017-09-18 | 2018-02-02 | 上海斐讯数据通信技术有限公司 | 一种基于投影技术的智能路由器交互方法及系统 |
| CN109561333A (zh) * | 2017-09-27 | 2019-04-02 | 腾讯科技（深圳）有限公司 | 视频播放方法、装置、存储介质和计算机设备 |
| CN109561333B (zh) * | 2017-09-27 | 2021-09-07 | 腾讯科技（深圳）有限公司 | 视频播放方法、装置、存储介质和计算机设备 |
| CN109064795A (zh) * | 2018-07-16 | 2018-12-21 | 广东小天才科技有限公司 | 一种投影交互的方法及照明设备 |
| CN109064795B (zh) * | 2018-07-16 | 2020-12-25 | 广东小天才科技有限公司 | 一种投影交互的方法及照明设备 |
| CN112231023A (zh) * | 2019-07-15 | 2021-01-15 | 北京字节跳动网络技术有限公司 | 一种信息显示方法、装置、设备及存储介质 |
| CN111176521A (zh) * | 2019-11-25 | 2020-05-19 | 广东小天才科技有限公司 | 一种消息显示方法及智能音箱、存储介质 |
| CN111176521B (zh) * | 2019-11-25 | 2021-10-01 | 广东小天才科技有限公司 | 一种消息显示方法及智能音箱、存储介质 |
| CN111860142A (zh) * | 2020-06-10 | 2020-10-30 | 南京翱翔信息物理融合创新研究院有限公司 | 一种面向投影增强的基于机器视觉的手势交互方法 |
| WO2021248686A1 (zh) * | 2020-06-10 | 2021-12-16 | 南京翱翔信息物理融合创新研究院有限公司 | 一种面向投影增强的基于机器视觉的手势交互方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018000519A1 (zh) | 2018-01-04 |
| CN106201173B (zh) | 2019-04-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106201173B (zh) | 一种基于投影的用户交互图标的交互控制方法及系统 | |
| US11531402B1 (en) | Bimanual gestures for controlling virtual and graphical elements | |
| US11546505B2 (en) | Touchless photo capture in response to detected hand gestures | |
| US11861070B2 (en) | Hand gestures for animating and controlling virtual and graphical elements | |
| US20220326781A1 (en) | Bimanual interactions between mapped hand regions for controlling virtual and graphical elements | |
| US10564731B2 (en) | Processing of gesture-based user interactions using volumetric zones | |
| CN107679497B (zh) | 视频面部贴图特效处理方法及生成系统 | |
| CN103530613B (zh) | 一种基于单目视频序列的目标人手势交互方法 | |
| CN106598227B (zh) | 基于Leap Motion和Kinect的手势识别方法 | |
| KR102266361B1 (ko) | 거울을 가상화하는 디바이스들, 시스템들 및 방법들 | |
| CN107004279A (zh) | 自然用户界面相机校准 | |
| KR20150103723A (ko) | 가상 또는 증강매개된 비전을 위한 엑스트라미시브 공간 이미징 디지털 아이 글래스 | |
| CN108234891A (zh) | 一种拍照方法及移动终端 | |
| EP2553656A2 (en) | A computing device interface | |
| CN102222342A (zh) | 人体运动跟踪及其识别方法 | |
| CN107102736A (zh) | 实现增强现实的方法 | |
| CN111199583B (zh) | 一种虚拟内容显示方法、装置、终端设备及存储介质 | |
| CN109839827B (zh) | 一种基于全空间位置信息的手势识别智能家居控制系统 | |
| CN106468917A (zh) | 一种可触摸现场实时视频图像的远程呈现交互方法和系统 | |
| CN106909871A (zh) | 手势指令识别方法 | |
| US10976829B1 (en) | Systems and methods for displaying augmented-reality objects | |
| Conci et al. | Natural human-machine interface using an interactive virtual blackboard | |
| Xu et al. | Bare hand gesture recognition with a single color camera | |
| KR101519589B1 (ko) | 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법 | |
| CN106796649A (zh) | 使用标记物的基于姿态的人机接口 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PP01 | Preservation of patent right |
Effective date of registration: 20231226 Granted publication date: 20190405 |
|
| PP01 | Preservation of patent right |