CN102346605A - 一种摄像式触摸控制方法及其系统 - Google Patents
一种摄像式触摸控制方法及其系统 Download PDFInfo
- Publication number
- CN102346605A CN102346605A CN2011103008459A CN201110300845A CN102346605A CN 102346605 A CN102346605 A CN 102346605A CN 2011103008459 A CN2011103008459 A CN 2011103008459A CN 201110300845 A CN201110300845 A CN 201110300845A CN 102346605 A CN102346605 A CN 102346605A
- Authority
- CN
- China
- Prior art keywords
- touch point
- hot spot
- area
- candidate touch
- candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
本发明提供一种摄像式触摸控制方法及其系统，通过每一摄像装置拍摄的光斑，计算每次选取的三个所述光斑的中轴线相交围成的三角形区域面积，并与所述第一预设值比较，初步判断出部分真实触摸点。然后对各个所述候选触摸点，通过重复将被遮挡的摄像装置拍摄的光斑逐次等分为两个子光斑，以划分的所述子光斑再次组合计算所述候选触摸点对应的三角形区域面积，再与所述第一预设值比较，判断各个所述候选触摸点是否被遮挡的真实触摸点。从而能够对被遮挡的触摸点进行较精确的定位，提高定位精度，使定位轨迹更加平滑。并且，对被遮挡的摄像装置拍摄的光斑设定搜索深度值，可以限制对每一被遮挡的摄像装置拍摄的光斑的划分搜索次数，提高定位效率。
Description
技术领域
本发明涉及触摸控制技术领域，尤其是涉及一种摄像式触摸控制方法，以及一种摄像式触摸控制系统。
背景技术
触摸控制技术作为一种新型的计算机输入技术，使人机交互更为直观，由于给用户带来极大的便利性，除了应用于个人便携式信息产品外，应用领域已遍及信息家电、公共信息、电子游戏、办公自动化设备等各个领域。
常见的触摸控制技术包括电容式触摸技术、电阻式触摸技术、红外触摸技术或者摄像式触摸技术等，其中摄像式触摸技术具有使用设备简单，安装方便等优点，成为触摸控制技术的一个越来越重要的部分。尤其是应用于大尺寸显示装置的触摸控制技术。大尺寸显示设备的触摸控制技术不同于小尺寸显示设备的触摸控制技术。小尺寸显示设备，如iPhone，iPAD，Galaxy Tab等，由于尺寸较小，电容式触摸屏的工艺效果可以做到非常好，成熟的表面电容技术能有效地实现多点触摸功能；但也正是由于工艺的限制，表面电容多点触摸技术无法有效地扩展至大尺寸显示设备。然而市场对于大尺寸显示设备的触摸控制有较大的需求，尤其是在会议、教育等领域。基于光学的摄像式触摸技术具有结构和安装调试简单，成本低，触摸尺寸无限制等优势，具有巨大的潜在市场。
现有技术的一种摄像式触摸技术的设备如图1所示，工作原理如图2所示：在显示装置的触摸控制区域边缘的不同位置设置至少三个摄像装置，对所述触摸控制区域进行拍摄；建立坐标系，当有触摸点时触摸点在各个摄像装置的拍摄图像中形成的光斑如图3所示，将所述光斑中心与所述摄像装置的位置坐标所确定的直线设为所述光斑的中轴线，则三个所述摄像装置拍摄的所述光斑的中轴线交点，即为触摸点的坐标，通过计算可得到所述触摸点的坐标，从而对触摸点进行定位。
但是，在上述摄像式触摸控制技术的应用中，当某个摄像装置拍摄的图像中，一个触摸点被另一个触摸点遮挡时，由于遮挡的触摸点在图像中形成的光斑(亮光斑或者暗光斑)比被遮挡的触摸点在图像中形成的光斑大，因此以遮挡的触摸点在图像中形成的光斑对被遮挡的触摸点进行定位，就会使被遮挡的触摸点的定位不准确。可能是中间的摄像头发生触摸点遮挡，如图4，图5所示，也可能是两边的摄像头被遮挡，如图6，图7所示。
由于受到多点触摸时触摸点互遮挡的限制，光学镜头无法获取视野中真实的触摸点的准确位置，致使被遮挡的触摸点在屏幕上的定位不准确。
发明内容
本发明的目的在于提供一种能够对被遮挡的触摸点进行较精确定位的摄像式触摸控制方法。
一种摄像式触摸控制方法，包括以下步骤：
S101，分别获取设置在显示装置的触摸控制区域边缘的三个摄像装置拍摄的所述触摸控制区域的图像；
S102，根据各个所述摄像装置拍摄的图像中的光斑数量，判断被遮挡的摄像装置；
S103，根据被遮挡的摄像装置拍摄的光斑数量，对每一被遮挡的摄像装置拍摄的光斑设定搜索深度值；
S104，分别从每一摄像装置拍摄的图像中选取一个光斑，组合成候选触摸点，计算每个所述候选触摸点对应的三个所述光斑的中轴线相交围成的三角形区域面积；其中，所述中轴线是由摄像装置对光斑的中心的拍摄角度和所述摄像装置的位置坐标所确定的直线；
S105，将每一候选触摸点对应的三角形区域的面积与第一预设值比较；如果小于所述第一预设值，则以所述候选触摸点对应的三角形区域的中心坐标作为所述真实触摸点的坐标；否则，储存所述候选触摸点；
S106，提取一个储存的所述候选触摸点，对所述候选触摸点中由被遮挡的摄像装置拍摄的光斑执行步骤S107至S110；
S107，将各个光斑以中轴线为界划分为两个子光斑；
S108，将划分后的各个所述子光斑与所述候选触摸点对应的其余光斑组合，分别计算每种组合中所述候选触摸点对应的三角形区域的面积；
S109，将各种组合计算的所述候选触摸点对应的三角形区域的面积最小的一个与所述第一预设值比较；如果小于所述第一预设值，则将面积最小的所述三角形区域的中心坐标作为真实触摸点的坐标；否则，则执行步骤S110；
S110，将所述候选触摸点的光斑的搜索深度值减1后，判断所述候选触摸点的每一光斑的搜索深度值是否为零；
若有光斑的搜索深度值不为零，则根据面积最小的三角形区域对应的光斑组合，对所述搜索深度不为零的光斑所划分的子光斑执行步骤S107至S109；
若所述候选触摸点的全部光斑的搜索深度值都为零，则结束对所述候选触摸点的处理。
与现有技术相比较，本发明的摄像式触摸控制方法中，逐次从每一摄像装置拍摄的图像中选取一个光斑，组成候选触摸点，计算每个所述候选触摸点对应的三个所述光斑的中轴线相交围成的三角形区域面积，并与所述第一预设值比较，进行所述候选触摸点的第一次筛选。通过比较结果判断各个所述候选触摸点是否真实触摸点，因为当触摸点发生遮挡时，对应被遮挡触摸点的三角形区域面积会比较大，因此有效区分出真实触摸点。
然后对筛选剩下的各个所述候选触摸点，通过重复将被遮挡的摄像装置拍摄的光斑逐次等分为两个子光斑，以划分的所述子光斑再次组合计算所述候选触摸点对应的三角形区域面积，如果根据所述子光斑计算的所述三角形区域面积不超过所述第一预设值，表明对所述被遮挡触摸点的定位比较准确，则以所述三角形区域的中心作为所述被遮挡触摸点的位置坐标，因此，能够在发生触摸点遮挡的情况下对被遮挡的触摸点进行较精确的定位，提高定位精度，使定位轨迹更加平滑。
并且，由于对每一被遮挡的摄像装置拍摄的光斑设定搜索深度值，可以有效限制对每一被遮挡的摄像装置拍摄的光斑的划分搜索次数，提高定位效率。
本发明的目的还在于提供一种能够对被遮挡的触摸点进行较精确定位的摄像式触摸控制系统。
一种摄像式触摸定位系统，包括：
图像获取模块，用于分别获取设置在显示装置的触摸控制区域边缘的三个摄像装置拍摄的所述触摸控制区域的图像；
遮挡判断模块，用于根据各个所述摄像装置拍摄的图像中的光斑数量，判断被遮挡的摄像装置；
搜索深度设定模块，用于根据被遮挡的摄像装置拍摄的光斑数量，设定对每一摄像装置拍摄的光斑的搜索深度值；
第一运算模块，用于分别从每一摄像装置拍摄的图像中选取一个光斑，组合成候选触摸点，计算每个所述候选触摸点对应的三个所述光斑的中轴线相交围成的三角形区域面积；其中，所述中轴线是由摄像装置对光斑的中心的拍摄角度和所述摄像装置的位置坐标所确定的直线；
第一比较模块，用于将每一候选触摸点对应的三角形区域的面积与第一预设值比较；
第一定位模块，用于在所述候选触摸点对应的三角形区域的面积小于所述第一预设值时，以所述候选触摸点对应的三角形区域的中心坐标作为所述真实触摸点的坐标；
储存模块，用于在所述候选触摸点对应的三角形区域的面积不小于所述第一预设值时，储存所述候选触摸点；
第一控制模块，用于从提取所述储存模块储存的所述候选触摸点，并将所述候选触摸点中由被遮挡的摄像装置拍摄的光斑送至等分处理模块中处理；
等分处理模块，用于将各个光斑以中轴线为界划分为两个子光斑；
第二运算模块，用于将划分后的各个所述子光斑与所述候选触摸点对应的其余光斑组合，分别计算每种组合中所述候选触摸点对应的三角形区域的面积；
第二比较模块，用于将各种组合计算的所述候选触摸点对应的三角形区域的面积最小的一个与所述第一预设值比较；
第二定位模块，用于所述第二比较模块的比较结果为小于所述第一预设值时，将面积最小的所述三角形区域的中心坐标作为真实触摸点的坐标；
第二控制模块，用于在所述第二比较模块的比较结果为不小于所述第一预设值时，将所述候选触摸点的光斑的搜索深度值减1后，判断所述候选触摸点的每一光斑的搜索深度值是否为零；若有光斑的搜索深度值不为零，则根据面积最小的三角形区域对应的光斑组合，将所述搜索深度不为零的光斑所划分的子光斑送至所述等分处理模块中处理；若所述候选触摸点的全部光斑的搜索深度值都为零，则结束对所述候选触摸点的处理。
与现有技术相比较，本发明的摄像式触摸控制系统中，逐次从每一摄像装置拍摄的图像中选取一个光斑，组成候选触摸点，计算每个所述候选触摸点对应的三个所述光斑的中轴线相交围成的三角形区域面积，并与所述第一预设值比较，进行所述候选触摸点的第一次筛选。通过比较结果判断各个所述候选触摸点是否真实触摸点，因为当触摸点发生遮挡时，对应被遮挡触摸点的三角形区域面积会比较大，因此有效区分出真实触摸点。
然后对筛选剩下的各个所述候选触摸点，通过重复将被遮挡的摄像装置拍摄的光斑逐次等分为两个子光斑，以划分的所述子光斑再次组合计算所述候选触摸点对应的三角形区域面积，如果根据所述子光斑计算的所述三角形区域面积不超过所述第一预设值，表明对所述被遮挡触摸点的定位比较准确，则以所述三角形区域的中心作为所述被遮挡触摸点的位置坐标，因此，能够在发生触摸点遮挡的情况下对被遮挡的触摸点进行较精确的定位，提高定位精度，使定位轨迹更加平滑。
并且，由于对每一被遮挡的摄像装置拍摄的光斑设定搜索深度值，可以有效限制对每一被遮挡的摄像装置拍摄的光斑的划分搜索次数，提高定位效率。
附图说明
图1是一种现有的摄像式触摸技术的设备结构示意图；
图2是图1所示的摄像式触摸技术的工作原理示意图；
图3是现有的摄像式触摸技术中摄像装置拍摄的图像示意图；
图4是现有的摄像式触摸技术中触摸点发生遮挡的示意图；
图5是图4所示的各个摄像装置拍摄的图像的示意图；
图6是现有摄像式触摸技术中触摸点发生遮挡另一种情形的示意图；
图7是图6所示的各个摄像装置拍摄的图像的示意图；
图8是本发明摄像式触摸控制方法的流程图；
图9是本发明中在触摸控制区域边缘设置三个摄像装置的示意图；
图10是本发明摄像式触摸控制方法的原理示意图；
图11是本发明摄像式触摸控制系统的结构示意图。
具体实施方式
请参阅图8，图8是本发明摄像式触摸控制方法的流程图。所述摄像式触摸控制方法的上半部分流程如图8(A)所示，所述摄像式触摸控制方法的下半部分流程如图8(B)所示。
所述摄像式触摸控制方法包括以下步骤：
S101，分别获取设置在显示装置的触摸控制区域边缘的三个摄像装置拍摄的所述触摸控制区域的图像；
其中，所述触摸控制区域是对用户的触摸控制进行拍摄定位的区域，优选为所述显示装置的正面上方的区域。在所述触摸控制区域的触摸操作将会被检测，作为触摸控制的信息进行处理。
每一所述摄像装置优选拍摄视角都包括整个所述触摸控制区域，保证每一摄像装置都能够拍摄到完整的所述显示装置的触摸控制区域的图像。每一所述摄像装置的拍摄轴优选平行于所述摄像装置的平面，从侧面对所述触摸控制区域进行拍摄，当有触摸点出现在所述触摸控制区域时，同样从侧面拍摄到所述触摸点出现在所述触摸控制区域的图像。
所述三个摄像装置的设置位置可以根据本领域技术人员的需要而设定在所述触摸控制区域边缘的各个位置上，本领域技术人员只需要获得所述三个摄像装置的位置坐标与所述显示装置的相对位置，就可以通过运算计算出各个摄像装置的拍摄图像与所述显示装置的触摸控制区域的位置关系，从而对所述触摸控制区域中出现的触摸点进行定位。
而作为一种优选的实施方式，三个所述摄像装置分别设置在所述显示装置一边的两端以及所述边的中点处，并且设置在所述显示装置一边的两端的两个所述摄像装置的拍摄角度为90度，设置在所述边中点处的摄像装置的拍摄角度为180度。因此可以利用三个摄像装置就对整个所述触摸控制区域进行拍摄，并且避免了触摸点出现在两个摄像装置之间的情况。
为了方便说明触摸点的检测定位计算，下面举例说明：
请参阅图9，在显示装置11所在的平面，以显示装置11所在的平面内的任何一点作为坐标原点，建立坐标系。所述显示装置11的触摸控制区域为与所述显示装置11的正面显示区域同样大小的区域。如以第一摄像装置A为坐标原点，则，该第一摄像装置A的坐标为(0，0)，设该显示装置11的一边111的长度为L，第二摄像装置B的坐标为(L，0)，第三摄像装置C的坐标为(L/2，0)，触摸点O的坐标为未知值(x，y)。分别从所述第一摄像装置A、所述第二摄像装置B和所述第三摄像装置C中获取其分别对所述显示装置11的触摸控制区域拍摄的图像。
S102，根据各个所述摄像装置拍摄的图像中的光斑数量，判断被遮挡的摄像装置；
每一摄像装置都被遮挡的可能性不大，因此，将拍摄的光斑数量最多的摄像装置的所拍摄的光斑数量N作为真实触摸点的数量，如果其他摄像装置拍摄的光斑数量不超过N，则说明所述摄像装置拍摄的图像中有触摸点被遮挡。
S103，根据被遮挡的摄像装置拍摄的光斑数量，对每一被遮挡的摄像装置拍摄的光斑设定搜索深度值；
所述搜索深度值为对每一被遮挡的摄像装置拍摄的光斑进行等份划分处理的最大次数，如果一个光斑的搜索深度值为零，则表明划分所述光斑对所述候选触摸点对应的三角形区域的面积的缩小并没有太大作用，对该光斑不再执行等份划分处理。如果所述候选触摸点对应的所有光斑的搜索深度值都为零，则结束对所述述候选触摸点的处理。
作为一种优选的实施方式举例，设定d＝N-K+1；其中，d为所述搜索深度值，K为所述被遮挡摄像装置拍摄的光斑数量；N为拍摄光斑最多的摄像装置拍摄到的光斑数量。
这样设置具有以下优点：
如果某一被遮挡摄像装置被遮挡越严重，则其成像图像中光斑数量越少，表明需要对该摄像装置中的光斑进行更多次的搜索才能较准确定位被遮挡触摸点的真实位置坐标。例如三点同时触摸，三个光学摄像装置A、B、C，如果A仅拍摄到一个光斑，B拍摄到两个光斑，C拍摄到三个光斑，则明显A拍摄的光斑的真实位置相对于B拍摄的光斑的位置更难确定，所以需要更多层次的分割搜索。
S104，分别从每一摄像装置拍摄的图像中选取一个光斑，组合成候选触摸点，计算每个所述候选触摸点对应的三个所述光斑的中轴线相交围成的三角形区域面积；其中，所述中轴线是由摄像装置对光斑的中心的拍摄角度和所述摄像装置的位置坐标所确定的直线；
从每一摄像装置拍摄的图像中选取一个光斑，即每次都选择三个分别对应不同摄像装置的光斑进行组合计算，计算出三个所述光斑的中轴线。在理想情况下，真实触摸点的对应的三个光斑的中轴线交点重叠成一个点。而在实际计算中，因为光斑有一定的宽度，因此会带来一定的误差，使三点不重叠。以所述三个交点为顶点的三角形区域，即为所述候选触摸点对应的三角形区域。
通过所述光斑的中心的拍摄角度和所述摄像装置的位置坐标，可以计算确定出所述中轴线的位置信息，从而计算出各个所述候选触摸点对应的三角形区域的面积，设为S0。
S105，将每一候选触摸点对应的三角形区域的面积与第一预设值比较；如果小于所述第一预设值，则以所述候选触摸点对应的三角形区域的中心坐标作为所述真实触摸点的坐标；否则，储存所述候选触摸点；
所述第一预设值的大小可根据实际精确度来确定，所述第一预设值越小，则精确度越高，对遮挡触摸点的定位的难度也越高，因此应该为所述第一预设值设定合适的数值。假设所述第一预设值为Si。
则当S0＜Si时，表明S0所述候选触摸点的定位精度已经满足预定要求，判断所述候选触摸点对应真实触摸点，并将直接根据所述候选触摸点对应的三角形区域计算真实触摸点的坐标。即以所述三角形区域的中心的坐标作为所述真实触摸点的坐标，所述中心可以是所述三角形区域的重心、质心或者几何中心等。
则当S0≥Si时，表明S0所述候选触摸点的定位精度低于阈值，此时所述候选触摸点对应的三角形区域的面积过大，无法准确对候选触摸点定位。储存所述候选触摸点，以便对其进行更精确的分割搜索定位处理。
S106，提取一个储存的所述候选触摸点，对所述候选触摸点中由被遮挡的摄像装置拍摄的光斑执行步骤S107至S110；
S107，将各个光斑以中轴线为界划分为两个子光斑；
在本步骤中，根据所述光斑的宽度，将所述光斑以所述中轴线为界划分为宽度相等的两个子光斑。
S108，将划分后的各个所述子光斑与所述候选触摸点对应的其余光斑组合，分别计算每种组合中所述候选触摸点对应的三角形区域的面积；
划分之后根据所述子光斑的宽度，原光斑的中轴线位置等信息，可以计算出每一所述子光斑的中轴线位置，以此为基础，再次计算各个子光斑与所述候选触摸点对应的其他光斑的每种组合中所述候选触摸点对应的三角形区域的面积。
S109，将各种组合计算的所述候选触摸点对应的三角形区域的面积最小的一个与所述第一预设值比较；如果小于所述第一预设值，则将面积最小的所述三角形区域的中心坐标作为真实触摸点的坐标；否则，则执行步骤S110；
根据所述子光斑的划分方式，再次计算每种组合中所述候选触摸点对应的三角形区域的面积之后，再与所述第一预设值比较，假设此时所述候选触摸点对应的三角形区域的面积为Sx。
如果Sx≤Si，表明所述候选触摸点的定位精度已经满足预定要求，将面积最小的所述三角形区域的中心坐标作为真实触摸点的坐标。
如果Sx＞Si，表明所述候选触摸点的定位精度低于临界值，此时还无法对所述候选触摸点精度定位，因此执行步骤S110。
S110，将所述候选触摸点的光斑的搜索深度值减1后，判断所述候选触摸点的每一光斑的搜索深度值是否为零；
若有光斑的搜索深度值不为零，则根据面积最小的三角形区域对应的光斑组合，对所述搜索深度不为零的光斑所划分的子光斑执行步骤S107至S109；再次将所述子光斑划分为更小的子光斑后，再次搜索定位。
若所述候选触摸点的全部光斑的搜索深度值都为零，则结束对所述候选触摸点的处理。
与现有技术相比较，本发明的摄像式触摸控制方法中，逐次从每一摄像装置拍摄的图像中选取一个光斑，组成候选触摸点，计算每个所述候选触摸点对应的三个所述光斑的中轴线相交围成的三角形区域面积，并与所述第一预设值比较，进行所述候选触摸点的第一次筛选。通过比较结果判断各个所述候选触摸点是否真实触摸点，因为当触摸点发生遮挡时，对应被遮挡触摸点的三角形区域面积会比较大，因此有效区分出真实触摸点。
然后对筛选剩下的各个所述候选触摸点，通过重复将被遮挡的摄像装置拍摄的光斑逐次等分为两个子光斑，以划分的所述子光斑再次组合计算所述候选触摸点对应的三角形区域面积，如果根据所述子光斑计算的所述三角形区域面积不超过所述第一预设值，表明对所述被遮挡触摸点的定位比较准确，则以所述三角形区域的中心作为所述被遮挡触摸点的位置坐标，因此，能够在发生触摸点遮挡的情况下对被遮挡的触摸点进行较精确的定位，提高定位精度，使定位轨迹更加平滑。
并且，由于对每一被遮挡的摄像装置拍摄的光斑设定搜索深度值，可以有效限制对每一被遮挡的摄像装置拍摄的光斑的划分搜索次数，提高定位效率。
作为本发明摄像式触摸控制方法的一种优选实施方式，步骤S109中，将计算出真实触摸点的坐标之后，进一步统计所述真实触摸点的个数；如果统计的真实触摸点的个数与各个摄像装置拍摄的光斑数量最多的一个相等，则结束定位。当统计的所述真实触摸点的个数与各个摄像装置拍摄的光斑数量最多的一个相等时，表明统计的真实触摸点个数等于实际的触摸点个数，因此结束定位，避免继续无意义地搜索，提高定位效率。
作为另一种优选实施方式，在步骤S109中，进一步将各种组合所对应的三角形区域的面积最小的一个与第二预设值比较；如果大于或等于所述第一预设值并且小于所述第二预设值，则执行步骤S110；如果大于或等于所述第二预设值，则结束对所述候选触摸点的处理。
通过设置所述第二预设值，同样可以判断是否提早基础对所述候选触摸点的处理，提高定位效率。
在本实施方式中，每次执行步骤S109时，设定所述第二预设值为
其中，Si是前一次执行步骤S108时计算的各个所述三角形区域的面积最小的一个。
作为另一种优选实施方式，在步骤S109中，在结束对所述候选触摸点的处理之后，判断是否已对所有的候选触摸点进行处理，是则结束定位，否则返回步骤S106，提取另一个候选触摸点进行处理。从而可以自动地对所述候选触摸点逐个处理，快速地对所有的候选触摸点进行搜索定位。
下面结合具体例子说明本发明的摄像式触摸控制方法的流程原理：
如图10所示，经过计算各个摄像装置的光斑数量，可知实际触摸点个数为3个，且摄像装置C中未出现遮挡状况；摄像装置A中只有1个光斑；摄像装置B中为2个光斑。
因此，可以首先确定被遮挡的摄像装置A、B中各光斑的相应搜索深度da和db。其中根据d＝N-K+1；da＝3-1+1＝3，da＝3-2+1＝2。
根据da和db可确定两层控制循环，其中，外循环为摄像装置A中的光斑，且搜索深度为3；内循环为摄像装置B中的光斑，且搜索深度为2。
因为da＞0和db＞0，所以对摄像装置A、B相应的光斑进行分割，得到相应的左、右子光斑，各左、右子光斑的中轴线在图8中由长短虚线表示。在每一种组合下，中轴线两两相交，形成一个三角形；由图8可知可形成4个三角形区域，通过面积比较，取其中三角形区域面积值最小的一种组合进行以下判断：
设此处面积最小者为Slr，第一预设值为Sri。
情况一：Slr＜Sri，则直接以该三角形区域的中心作为作为被遮挡的真实触摸点的坐标输出。并判断此时统计的真实触摸点的个数与各个摄像装置拍摄的光斑数量最多的一个是否相等，若相等，则退出程序，若不相等，则选取另一个候选触摸点进行处理。
情况二：若
则可获得相应的指导信息为：取摄像装置A的左子光斑，摄像装置B中的右子光斑，并与摄像装置C摄像头中与所述候选触摸点相应的光斑组合，进行下一次迭代搜索，直到满足退出条件为止，或者搜索深度值为零。程序自动退出当前候选触摸点计算，依序取下一个候选触摸点进行计算。
很明显，在情况一下，可以直接输出被遮挡的真实触摸点的位置坐标；在情况二下则只需要重复迭代进行搜索即可，若迭代搜索到了满足真实触摸点判断条件的点，则表明该处存在被遮挡的真实触摸点，可直接输出其位置坐标，若迭代搜索不能搜索到满足真实触摸点判断条件的点，或者达到外循环所控制的上限，则表明此处不包含被遮挡的真实触摸点，程序会自动退出对当前候选触摸点的搜索，进而按照候选触摸点对应的三角形区域的面积由小到大的顺序，依序取下一个候选触摸点进行同样的搜索处理过程，直至统计的真实触摸点个数与实际触摸点个数相等，或者对所有的候选触摸点都处理完毕为止，程序自动结束。
本发明能有效解决类似结构的摄像式触摸控制技术中，多个触摸点在一个摄像头中出现遮挡的情况，实际实验效果非常稳定和高效。本发明同样适用于多个点触摸的情况，不只限于三点触摸，所举实施例并不对本发明产生任何限定作用，仅是对本发明的一种实例列举。
请参阅图11，图11是本发明摄像式触摸控制系统的结构示意图。
所述摄像式触摸控制系统包括：
图像获取模块101，用于分别获取设置在显示装置的触摸控制区域边缘的三个摄像装置拍摄的所述触摸控制区域的图像；
遮挡判断模块102，用于根据各个所述摄像装置拍摄的图像中的光斑数量，判断被遮挡的摄像装置；
搜索深度设定模块103，用于根据被遮挡的摄像装置拍摄的光斑数量，设定对每一摄像装置拍摄的光斑的搜索深度值；
第一运算模块104，用于分别从每一摄像装置拍摄的图像中选取一个光斑，组合成候选触摸点，计算每个所述候选触摸点对应的三个所述光斑的中轴线相交围成的三角形区域面积；其中，所述中轴线是由摄像装置对光斑的中心的拍摄角度和所述摄像装置的位置坐标所确定的直线；
第一比较模块105，用于将每一候选触摸点对应的三角形区域的面积与第一预设值比较；
第一定位模块106，用于在所述候选触摸点对应的三角形区域的面积小于所述第一预设值时，以所述候选触摸点对应的三角形区域的中心坐标作为所述真实触摸点的坐标；
储存模块107，用于在所述候选触摸点对应的三角形区域的面积不小于所述第一预设值时，储存所述候选触摸点；
第一控制模块108，用于从提取所述储存模块储存的所述候选触摸点，并将所述候选触摸点中由被遮挡的摄像装置拍摄的光斑送至等分处理模块中处理；
等分处理模块109，用于将各个光斑以中轴线为界划分为两个子光斑；
第二运算模块110，用于将划分后的各个所述子光斑与所述候选触摸点对应的其余光斑组合，分别计算每种组合中所述候选触摸点对应的三角形区域的面积；
第二比较模块111，用于将各种组合计算的所述候选触摸点对应的三角形区域的面积最小的一个与所述第一预设值比较；
第二定位模块112，用于所述第二比较模块的比较结果为小于所述第一预设值时，将面积最小的所述三角形区域的中心坐标作为真实触摸点的坐标；
第二控制模块113，用于在所述第二比较模块的比较结果为不小于所述第一预设值时，将所述候选触摸点的光斑的搜索深度值减1后，判断所述候选触摸点的每一光斑的搜索深度值是否为零；若有光斑的搜索深度值不为零，则根据面积最小的三角形区域对应的光斑组合，将所述搜索深度不为零的光斑所划分的子光斑送至所述等分处理模块中处理；若所述候选触摸点的全部光斑的搜索深度值都为零，则结束对所述候选触摸点的处理。
与现有技术相比较，本发明的摄像式触摸控制系统中，所述第一运算模块104从每一摄像装置拍摄的图像中选取一个光斑，组成候选触摸点，计算每个所述候选触摸点对应的三个所述光斑的中轴线相交围成的三角形区域面积。所述第一比较模块105将所述三角形区域面积与所述第一预设值比较，进行所述候选触摸点的第一次筛选。所述第一定位模块106通过比较结果判断各个所述候选触摸点是否真实触摸点，因为当触摸点发生遮挡时，对应被遮挡触摸点的三角形区域面积会比较大，因此有效区分出真实触摸点。
然后所述第一控制模块108控制下对筛选剩下的各个所述候选触摸点，通过所述等分处理模块109重复将被遮挡的摄像装置拍摄的光斑逐次等分为两个子光斑，所述第二运算模块110以划分的所述子光斑再次组合计算所述候选触摸点对应的三角形区域面积，如果根据所述子光斑计算的所述三角形区域面积不超过所述第一预设值，表明对所述被遮挡触摸点的定位比较准确，则所述第二定位模块112以所述三角形区域的中心作为所述被遮挡触摸点的位置坐标，因此，能够在发生触摸点遮挡的情况下对被遮挡的触摸点进行较精确的定位，提高定位精度，使定位轨迹更加平滑。
并且，由于所述搜索深度设定模块103对每一被遮挡的摄像装置拍摄的光斑设定搜索深度值，因此，所述第二控制模块113可以根据所述搜索深度值有效限制对每一被遮挡的摄像装置拍摄的光斑的划分搜索次数，提高定位效率。
作为本发明摄像式触摸控制系统的一种优选实施方式，所述第二定位模块112定位出真实触摸点的坐标之后，进一步统计所述真实触摸点的个数；如果统计的真实触摸点的个数与各个摄像装置拍摄的光斑数量最多的一个相等，则结束定位。当统计的所述真实触摸点的个数与各个摄像装置拍摄的光斑数量最多的一个相等时，表明统计的真实触摸点个数等于实际的触摸点个数，因此结束定位，避免继续无意义地搜索，提高定位效率。
作为另一种优选实施方式，所述第二控制模块113进一步将各种组合所对应的三角形区域的面积最小的一个与第二预设值比较；如果大于或等于所述第一预设值并且小于所述第二预设值，则将所述候选触摸点的光斑的搜索深度值减1；如果大于或等于所述第二预设值，则结束对所述候选触摸点的处理。通过设置所述第二预设值，同样可以判断是否提早基础对所述候选触摸点的处理，提高定位效率。
在本实施方式中，所述第二控制模块113每次进行比较时，取所述第二预设值为
其中，Si是所述第二运算模块110前一次计算的各个所述三角形区域的面积最小的一个。
作为另一种优选实施方式，所述第一控制模块108在结束对所述候选触摸点的处理之后，判断是否已对所有的候选触摸点进行处理，是则结束定位，否则提取另一个候选触摸点进行处理。从而可以自动地对所述候选触摸点逐个处理，快速地对所有的候选触摸点进行搜索定位。
目前的基于光学成像的摄像式触摸控制技术多采用三个摄像头实现，也有采用四个光学成像设备的，虽然使用更多的摄像装置在一定程度上能解决被遮挡触摸点的定位不准确问题，但成本价格较高，处理算法更为复杂，并且也不能完全解决问题。而基于三个光学成像设备的摄像式触摸控制技术，目前根本无法解决被遮挡触摸点的定位不准确的问题，所以在多点书写时，可能会由于被遮挡触摸点而出现断笔现象。
通过本发明的摄像式触摸控制方法及其系统，可以对摄像式触摸控制技术中多点触摸时互相遮挡的情况下的断笔问题进行处理，对多个摄像装置出现遮挡的情况都具有较好的处理效果。
与现有技术相比较，本发明还具有以下优点：
1、自适应确定搜索层次；能够在每次对光斑划分迭代后自动判断是否达到了搜索结束的条件，进而避免了盲目的穷尽搜索，节省了计算时间；
2、基于知识推理的优先搜索。采用前一次的计算的结果，为当前的搜索进行优先排序，自动选择下一次进行划分迭代的光斑或子光斑，避免了平均搜索，提高了定位效率。
本发明的实测效果表明：能有效地解决多点触摸时互相遮挡的情况下，真实触摸点定位问题，且定位准确，补偿出的轨迹非常平滑。
本发明所述的坐标相同或重叠，皆是在考虑到摄像装置的拍摄过程中的误差，以及计算过程的适当误差的基础上定义的，并不时绝对意义上的完全相同或重叠。应在允许有一定误差范围内理解本发明所述的坐标相同或重叠和类似描述。
本发明并不限于以上实施方式，例如：应用本发明的摄像式触摸控制方法及其装置可以进行三点以上的多点定位。
另外，通过理解本发明的技术方案，本领域的技术人员将意识到，通过增加摄像装置的个数来增加拍摄的图像信息，可以使该本发明的本发明的摄像式触摸控制方法及其装置的定位更精确，也可更方便地实现三点以上的多点定位。
以上所述的本发明实施方式，并不构成对本发明保护范围的限定。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明的权利要求保护范围之内。
Claims (10)
1.一种摄像式触摸控制方法，其特征在于包括以下步骤：
S101，分别获取设置在显示装置的触摸控制区域边缘的三个摄像装置拍摄的所述触摸控制区域的图像；
S102，根据各个所述摄像装置拍摄的图像中的光斑数量，判断被遮挡的摄像装置；
S103，根据被遮挡的摄像装置拍摄的光斑数量，对每一被遮挡的摄像装置拍摄的光斑设定搜索深度值；
S104，分别从每一摄像装置拍摄的图像中选取一个光斑，组合成候选触摸点，计算每个所述候选触摸点对应的三个所述光斑的中轴线相交围成的三角形区域面积；其中，所述中轴线是由摄像装置对光斑的中心的拍摄角度和所述摄像装置的位置坐标所确定的直线；
S105，将每一候选触摸点对应的三角形区域的面积与第一预设值比较；如果小于所述第一预设值，则以所述候选触摸点对应的三角形区域的中心坐标作为所述真实触摸点的坐标；否则，储存所述候选触摸点；
S106，提取一个储存的所述候选触摸点，对所述候选触摸点中由被遮挡的摄像装置拍摄的光斑执行步骤S107至S110；
S107，将各个光斑以中轴线为界划分为两个子光斑；
S108，将划分后的各个所述子光斑与所述候选触摸点对应的其余光斑组合，分别计算每种组合中所述候选触摸点对应的三角形区域的面积；
S109，将各种组合计算的所述候选触摸点对应的三角形区域的面积最小的一个与所述第一预设值比较；如果小于所述第一预设值，则将面积最小的所述三角形区域的中心坐标作为真实触摸点的坐标；否则，则执行步骤S110；
S110，将所述候选触摸点的光斑的搜索深度值减1后，判断所述候选触摸点的每一光斑的搜索深度值是否为零；
若有光斑的搜索深度值不为零，则根据面积最小的三角形区域对应的光斑组合，对所述搜索深度不为零的光斑所划分的子光斑执行步骤S107至S109；
若所述候选触摸点的全部光斑的搜索深度值都为零，则结束对所述候选触摸点的处理。
2.如权利要求1所述的摄像式触摸控制方法，其特征在于，步骤S109中，将计算出真实触摸点的坐标之后，进一步统计所述真实触摸点的个数；如果统计的真实触摸点的个数与各个摄像装置拍摄的光斑数量最多的一个相等，则结束定位。
3.如权利要求1所述的摄像式触摸控制方法，其特征在于，在步骤S109中，在结束对所述候选触摸点的处理之后，判断是否已对所有的候选触摸点进行处理，是则结束定位，否则返回步骤S106，提取另一个候选触摸点进行处理。
4.如权利要求1至3任一项所述的摄像式触摸控制方法，其特征在于，在步骤S109中，进一步将各种组合所对应的三角形区域的面积最小的一个与第二预设值比较；
如果大于或等于所述第一预设值并且小于所述第二预设值，则执行步骤S110；
如果大于或等于所述第二预设值，则结束对所述候选触摸点的处理。
5.如权利要求4所述的摄像式触摸控制方法，其特征在于，每一次执行步骤S109时，取所述第二预设值为
其中，Si是前一次执行步骤S108时计算的各个所述三角形区域的面积最小的一个。
6.一种摄像式触摸定位系统，其特征在于，包括：
图像获取模块，用于分别获取设置在显示装置的触摸控制区域边缘的三个摄像装置拍摄的所述触摸控制区域的图像；
遮挡判断模块，用于根据各个所述摄像装置拍摄的图像中的光斑数量，判断被遮挡的摄像装置；
搜索深度设定模块，用于根据被遮挡的摄像装置拍摄的光斑数量，设定对每一摄像装置拍摄的光斑的搜索深度值；
第一运算模块，用于分别从每一摄像装置拍摄的图像中选取一个光斑，组合成候选触摸点，计算每个所述候选触摸点对应的三个所述光斑的中轴线相交围成的三角形区域面积；其中，所述中轴线是由摄像装置对光斑的中心的拍摄角度和所述摄像装置的位置坐标所确定的直线；
第一比较模块，用于将每一候选触摸点对应的三角形区域的面积与第一预设值比较；
第一定位模块，用于在所述候选触摸点对应的三角形区域的面积小于所述第一预设值时，以所述候选触摸点对应的三角形区域的中心坐标作为所述真实触摸点的坐标；
储存模块，用于在所述候选触摸点对应的三角形区域的面积不小于所述第一预设值时，储存所述候选触摸点；
第一控制模块，用于从提取所述储存模块储存的所述候选触摸点，并将所述候选触摸点中由被遮挡的摄像装置拍摄的光斑送至等分处理模块中处理；
等分处理模块，用于将各个光斑以中轴线为界划分为两个子光斑；
第二运算模块，用于将划分后的各个所述子光斑与所述候选触摸点对应的其余光斑组合，分别计算每种组合中所述候选触摸点对应的三角形区域的面积；
第二比较模块，用于将各种组合计算的所述候选触摸点对应的三角形区域的面积最小的一个与所述第一预设值比较；
第二定位模块，用于所述第二比较模块的比较结果为小于所述第一预设值时，将面积最小的所述三角形区域的中心坐标作为真实触摸点的坐标；
第二控制模块，用于在所述第二比较模块的比较结果为不小于所述第一预设值时，将所述候选触摸点的光斑的搜索深度值减1后，判断所述候选触摸点的每一光斑的搜索深度值是否为零；若有光斑的搜索深度值不为零，则根据面积最小的三角形区域对应的光斑组合，将所述搜索深度不为零的光斑所划分的子光斑送至所述等分处理模块中处理；若所述候选触摸点的全部光斑的搜索深度值都为零，则结束对所述候选触摸点的处理。
7.如权利要求6所述的摄像式触摸控制系统，其特征在于，所述第二定位模块定位出真实触摸点的坐标之后，进一步统计所述真实触摸点的个数；如果统计的真实触摸点的个数与各个摄像装置拍摄的光斑数量最多的一个相等，则结束定位。
8.如权利要求6所述的摄像式触摸控制系统，其特征在于，所述第一控制模块在结束对所述候选触摸点的处理之后，判断是否已对所有的候选触摸点进行处理，是则结束定位，否则提取另一个候选触摸点进行处理。
9.如权利要求6至8任一项所述的摄像式触摸控制系统，其特征在于，所述第二控制模块进一步将各种组合所对应的三角形区域的面积最小的一个与第二预设值比较；如果大于或等于所述第一预设值并且小于所述第二预设值，则将所述候选触摸点的光斑的搜索深度值减1；如果大于或等于所述第二预设值，则结束对所述候选触摸点的处理。
10.如权利要求9所述的摄像式触摸控制系统，其特征在于，所述第二控制模块每次进行比较时，取所述第二预设值为
其中，Si是所述第二运算模块前一次计算的各个所述三角形区域的面积最小的一个。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110300845.9A CN102346605B (zh) | 2011-10-08 | 2011-10-08 | 一种摄像式触摸控制方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201110300845.9A CN102346605B (zh) | 2011-10-08 | 2011-10-08 | 一种摄像式触摸控制方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102346605A true CN102346605A (zh) | 2012-02-08 |
| CN102346605B CN102346605B (zh) | 2014-02-19 |
Family
ID=45545332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201110300845.9A Expired - Fee Related CN102346605B (zh) | 2011-10-08 | 2011-10-08 | 一种摄像式触摸控制方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102346605B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662532A (zh) * | 2012-03-29 | 2012-09-12 | 广东威创视讯科技股份有限公司 | 多点触摸坐标定位方法及其装置 |
| CN106157293A (zh) * | 2015-04-24 | 2016-11-23 | 无锡北邮感知技术产业研究院有限公司 | 一种基于遮挡特征学习的深度次序推理方法 |
| CN106340038A (zh) * | 2015-07-07 | 2017-01-18 | 北京雷动云合智能技术有限公司 | 一种基于单目图像中物体的深度次序推理方法 |
| CN110308817A (zh) * | 2019-06-10 | 2019-10-08 | 青岛小鸟看看科技有限公司 | 一种触控动作识别方法及触控投影系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040252091A1 (en) * | 2003-06-14 | 2004-12-16 | Massachusetts Institute Of Technology | Input device based on frustrated total internal reflection |
| CN101110008A (zh) * | 2007-07-25 | 2008-01-23 | 广东威创日新电子有限公司 | 一种触摸屏装置与多点触摸定位方法 |
| CN102122220A (zh) * | 2011-03-01 | 2011-07-13 | 广东威创视讯科技股份有限公司 | 一种红外多点定位装置及其定位方法 |
-
2011
- 2011-10-08 CN CN201110300845.9A patent/CN102346605B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040252091A1 (en) * | 2003-06-14 | 2004-12-16 | Massachusetts Institute Of Technology | Input device based on frustrated total internal reflection |
| CN101110008A (zh) * | 2007-07-25 | 2008-01-23 | 广东威创日新电子有限公司 | 一种触摸屏装置与多点触摸定位方法 |
| CN102122220A (zh) * | 2011-03-01 | 2011-07-13 | 广东威创视讯科技股份有限公司 | 一种红外多点定位装置及其定位方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102662532A (zh) * | 2012-03-29 | 2012-09-12 | 广东威创视讯科技股份有限公司 | 多点触摸坐标定位方法及其装置 |
| CN106157293A (zh) * | 2015-04-24 | 2016-11-23 | 无锡北邮感知技术产业研究院有限公司 | 一种基于遮挡特征学习的深度次序推理方法 |
| CN106340038A (zh) * | 2015-07-07 | 2017-01-18 | 北京雷动云合智能技术有限公司 | 一种基于单目图像中物体的深度次序推理方法 |
| CN106340038B (zh) * | 2015-07-07 | 2018-12-18 | 北京雷动云合智能技术有限公司 | 一种基于单目图像中物体的深度次序推理方法 |
| CN110308817A (zh) * | 2019-06-10 | 2019-10-08 | 青岛小鸟看看科技有限公司 | 一种触控动作识别方法及触控投影系统 |
| CN110308817B (zh) * | 2019-06-10 | 2023-04-07 | 青岛小鸟看看科技有限公司 | 一种触控动作识别方法及触控投影系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102346605B (zh) | 2014-02-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104376576B (zh) | 一种目标跟踪方法及装置 | |
| Eberli et al. | Vision based position control for MAVs using one single circular landmark | |
| CN109727288A (zh) | 用于单目同时定位与地图构建的系统和方法 | |
| WO2012023593A1 (en) | Position and orientation measurement apparatus, position and orientation measurement method, and storage medium | |
| CN103377471B (zh) | 物体定位方法和装置、最优摄像机对确定方法和装置 | |
| CN109035330A (zh) | 箱体拟合方法、设备和计算机可读存储介质 | |
| CN102834845A (zh) | 用于多摄像装置校准的方法与装置 | |
| CN102073414B (zh) | 基于机器视觉的多点触摸跟踪方法 | |
| US10769441B2 (en) | Cluster based photo navigation | |
| CN113894799B (zh) | 机器人及辅助环境定位的标识物识别方法和装置 | |
| JP6988704B2 (ja) | センサ制御装置、物体探索システム、物体探索方法及びプログラム | |
| CN102364419B (zh) | 一种摄像式触摸控制方法及其系统 | |
| CN108109176A (zh) | 物品检测定位方法、装置及机器人 | |
| CN102346605A (zh) | 一种摄像式触摸控制方法及其系统 | |
| Xie et al. | Geometry-based populated chessboard recognition | |
| CN115249356A (zh) | 识别方法、装置、设备及存储介质 | |
| US11631191B2 (en) | Location discovery | |
| CN102023761A (zh) | 一种触摸屏的多点检测计算方法 | |
| CN107480710B (zh) | 特征点匹配结果处理方法和装置 | |
| Lin et al. | Robotic grasp detection by rotation region CNN | |
| Kim et al. | Realtime plane detection for projection Augmented Reality in an unknown environment | |
| Frontoni | Vision based mobile robotics: mobile robot localization using vision sensors and active probabilistic approaches | |
| Chen et al. | Pose estimation for autonomous grasping with a robotic arm system | |
| Guan et al. | Recognition-driven 3D navigation in large-scale virtual environments | |
| RU2656987C1 (ru) | Способ и система определения местоположения складских паллет на основе изображений трехмерных датчиков |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140219 Termination date: 20151008 |
|
| EXPY | Termination of patent right or utility model |