CN112506361A - 基于发光笔和双摄像头的人机交互方法及系统 - Google Patents

Abstract

本发明涉及人机交互系统，其包括发光笔、两个摄像头和主机；两个摄像头光轴平行于屏幕，用于从发光体侧面捕获包含所述发光体的第一和第二图像并将其发送至主机；第一摄像头与第二摄像头的光轴和屏幕之间的距离相同；主机确定发光体上的平行于屏幕的目标截面在所述第一图像中的第一起始像素点和第一终止像素点，以及确定所述目标截面在所述第二图像中的第二起始像素点和第二终止像素点，所述目标截面为所述两个摄像头光轴延长线所在的平面；主机还用于根据所述第一、第二起始像素点、第一、二终止像素点的形成光路与所述目标截面的几何关系确定触点的程序空间坐标，并使主机进行响应。本发明可实现对屏幕的无遮挡、无死角触控，提高人机交互效率。

Description

基于发光笔和双摄像头的人机交互方法及系统

技术领域

本发明涉及人机交互技术领域，尤其涉及基于发光笔和双摄像头的人机交互方法及系统。

背景技术

现有技术中存在激光遥控人机交互技术，其原理是，通过激光笔向屏幕发射激光束，由激光束在屏幕上形成光点，用安装在屏幕正前方的摄像头捕获包含激光光点在内的屏幕图像，主机通过二值化等一系列处理方法，分析确定光点在整个屏幕图像中的位置，以及将所述位置转换成主机程序空间的坐标，以及依据所述坐标进行响应，或者依据所述坐标和激光笔发射的无线控制命令，进行响应。

但以上现有技术存在的问题是，当持有激光笔的用户处于摄像头和屏幕之间时，由于用户本身将遮挡摄像头，使其不能再正常捕获包含激光光点在内的整个屏幕图像，因此，人机交互过程将无法继续。

发明内容

针对以上问题，本申请提出基于发光笔和双摄像头的人机交互系统，其包括发光笔、两个摄像头和主机；

所述发光笔包括圆台状发光体，发光体以其端部触控屏幕；

所述两个摄像头包括第一摄像头和第二摄像头；所述第一摄像头被布置为使其光轴平行于屏幕，用于从发光体侧面捕获包含所述发光体的第一图像并将其发送至主机；所述第二摄像头被布置为使其光轴平行于屏幕，用于从发光体的不同侧面捕获包含所述发光体的第二图像并将其发送至主机；第一摄像头的光轴和屏幕之间的距离与第二摄像头的光轴和屏幕之间的距离相同；

主机用于接收所述第一图像和第二图像，并确定发光体上的平行于屏幕的目标截面在所述第一图像中的第一起始像素点和第一终止像素点，以及确定所述目标截面在所述第二图像中的第二起始像素点和第二终止像素点，所述目标截面为所述两个摄像头光轴延长线所在的平面；

主机还用于根据所述第一起始像素点、第二起始像素点、第一终止像素点和第二终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于其中一个摄像头的第一位置坐标，由所述第一位置坐标以及所述其中一个摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标，以及将所述第三位置坐标转换成屏幕的主机的程序空间坐标，并使主机根据此程序空间坐标进行响应。

根据本发明的一些实施例，发光体内部包括LED光源，发光体外部包括一个圆台状的可透光套管；所述发光笔能够可拆卸地套接不同尺寸的圆台状的可透光套管。

根据本发明的一些实施例，所述摄像头包括线阵CCD和面阵CCD；发光体前端设置有橡胶体。

根据本发明的一些实施例，所述发光体设计为在被使用时，能沿发光体轴线方向伸缩。

根据本发明的一些实施例，所述发光笔内设置有多种颜色的LED；通过切换开关，不同颜色的LED发光；主机的响应包括根据所述第一图像或第二图像中的颜色信息在程序空间坐标处生成一个颜色和发光笔出射光颜色一样的光斑。

本申请还提供一种基于发光笔和双摄像头的人机交互方法，所述发光笔包括圆台状发光体，所述方法包括；

以发光体端部触控屏幕；

通过两个摄像头分别从发光体不同侧面捕获包含所述发光体的第一图像和第二图像；两个摄像头的光轴平行于屏幕，两个摄像头的光轴和屏幕之间的距离相同；

确定发光体上的平行于屏幕的目标截面在所述第一图像中的第一起始像素点和第一终止像素点，以及确定所述目标截面在所述第二图像中的第二起始像素点和第二终止像素点，所述目标截面为所述两个摄像头光轴延长线所在的平面；

根据所述第一起始像素点、第二起始像素点、第一终止像素点和第二终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于其中一个摄像头的第一位置坐标，由所述第一位置坐标以及所述其中一个摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标，以及将所述第三位置坐标转换成屏幕的主机的程序空间坐标，并使主机根据此程序空间坐标进行响应。

根据本发明的一些实施例，设屏幕的左上角坐标为(0，0)，所述两个摄像头中的第一摄像头位于屏幕左上角，其镜头中心坐标为(-Δx,-Δy)，所述两个摄像头中的第二摄像头的镜头中心坐标为(L-Δx,-Δy)；所述的确定目标截面中心相对于屏幕的第三位置坐标(x,y)包括：

(4)根据所述目标截面在第一摄像头中的始末像素点(A_CCD_i和A_CCD_j)，计算三个角度α₁、α₂和α：

(5)根据所述目标截面在第二摄像头中的始末像素点(B_CCD_i和B_CCD_j)，计算三个角度β₁、β₂和β：

(3)通过所述目标截面的中心P点做平行于屏幕的、垂直于AB的垂线，垂足为Q点，在三角形ΔAPQ中，求解得到：

A_CCD_i和A_CCD_j表示所述目标截面在第一摄像头中的起始像素点和终止像素点的序号；B_CCD_i和B_CCD_j表示所述目标截面在第二摄像头中的起始像素点和终止像素点的序号；φ₁为第一摄像头视域,φ₂为第二摄像头视域；ψ₁为第一摄像头在起始像素点和终止像素点连线方向上的视域内的总像素数目,ψ₂为第二摄像头在起始像素点和终止像素点连线方向上的视域内的总像素数目。

根据本发明的一些实施例，所述方法包括根据以下方式确定所述目标截面的半径r₁：

(1)求P到A的距离ρ₁：

(2)根据P在第一摄像头中的始末像素点(A_CCD_i和A_CCD_j)和P点到A的距离ρ₁计算目标截面半径大小r₁：

r₁＝ρ₁*sin(α-α₁)

或者，根据以下方式确定所述目标截面的半径r₂：

(1)求P到B的距离ρ₂：

(2)根据P在第二摄像头中的始末像素点(B_CCD_i和B_CCD_j)和P到B的距

离ρ₂计算目标截面半径r₂：

r₂＝ρ₂*sin(β-β₁)

或者，根据以下方式确定所述目标截面的半径r：

(1)求P到A、B的距离ρ₁、ρ₂。

(2)根据P在第一摄像头中的始末像素点(A_CCD_i和A_CCD_j)和P点到A的距离ρ₁计算目标截面半径r₁：

r₁＝ρ₁*sin(α-α₁)

(3)根据P在第二摄像头中的始末像素点(B_CCD_i和B_CCD_j)和P点到B的距离ρ₂计算目标截面半径r₂：

r₂＝ρ₂*sin(β-β₁)

(6)计算目标截面半径

CCD_i，CCD_j表示检测到发光笔的发光体的起始像素点和终止像素点(合称：始末像素点)的序号，其数值分别为i和j。

根据本发明的一些实施例，发光笔上还设置有无线发射模块，主机设置有无线接收模块，所述方法包括：发光笔通过无线发射模块向主机发送无线控制命令，主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和程序空间坐标进行响应。

根据本发明的一些实施例，发光笔上还设置有无线发射模块，主机设置有无线接收模块，所述方法包括：发光笔通过无线发射模块向主机发送无线控制命令，主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和目标截面进行响应。

通过本发明，可以解决现有技术因持有激光笔的用户处于摄像头和屏幕之间，用户本身遮挡摄像头导致的人机交互失败的问题，实现了在实体屏幕转化为可触控屏幕时的无遮挡、无死角触控，提高了人机交互效率。

附图说明

图1为根据本发明实施例的发光笔的结构示意图；

图2所示为一个摄像头对各个位置处的发光笔的成像情况；

图3示出发光体一个截面和所述截面在两个摄像头中的成像位置。

具体实施方式

本申请第一方面提出基于发光笔和双摄像头的人机交互系统，所述人机交互系统包括：发光笔、两个摄像头和主机。以下将对各个部分进行详细介绍。

图1为根据本发明实施例的发光笔的结构示意图。所述发光笔包括圆台状发光体1，开关12和电池13。

发光体1内部可以包括LED光源，发光体外部可以包括一个圆台状的可透光套管，由所述LED光源和圆台状的可透光套管，构成一个圆台状发光体。在用发光笔进行触控操作时，用所述圆台状发光体的端面触控屏幕，能有效保证在操作时发光体轴线与屏幕保持垂直。

根据本发明的一些实施例，发光笔前端可以设置有橡胶体，以防止发光笔作用于屏幕时对屏幕造成损伤。

根据本发明的一些实施例，所述发光体可以设计为在被使用时，可以沿发光体轴线方向伸缩。例如，所述发光体的圆台状的可透光套管可以沿轴线方向伸缩；或者，可以在所述圆台状发光笔前端套接圆柱体，圆柱体可以伸缩。由此，当用户将发光笔作用于屏幕，并按压发光笔时，可以使前述圆台状发光体的不同部分的截面被摄像头的平行于屏幕的、光轴所在平面的像素获取,实现不同的触控效果(下文还将对此做进一步描述)。

根据本发明的一些实施例，所述发光笔可以被设置为可以可拆卸地套接不同尺寸的圆台状的可透光套管，从而使发光体具有不同尺寸；由此可以使不同尺寸的发光体截面被摄像头的平行于屏幕的、光轴所在平面的像素获取,实现不同的触控效果(下文还将对此做进一步描述)。

根据本发明的一些实施例，所述发光笔可以为彩色发光笔，其内可以设置有多种颜色的LED，通过切换开关，可以使不同颜色的LED发光。因此，可以根据实际应用场景，使发光笔出射不同颜色的光。

根据本发明的一些实施例，发光笔上还可以设置有无线发射模块，主机设置有无线接收模块，发光笔通过无线发射模块向主机发送无线控制命令，主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和发光笔触控位置进行响应。

开关2用于控制光源的打开和关闭，电池13用于为发光体供电。

摄像头布置于屏幕周边，所述摄像头光轴平行于屏幕，用于从发光体侧面捕获包含所述发光体的图像。所述发光体侧面位于发光体径向方向上。摄像头和屏幕的距离被布置为足够小，以便使摄像头能捕获发光体。

图2所示为一个摄像头3对各个位置处的发光笔的成像情况。图中所示的摄像头3为线阵CCD，摄像头像素为4096，平行于屏幕上边沿的第1个、第2个、第4096个(1，2，和4096为像素序号)像素分别被标注了1、2和4096。

如图中所示，当发光体在屏幕上移动时，发光体在线阵CCD上对应的成像方式分别如图中各射线所示。此处线阵CCD捕获的图像中包含发光体上的平行于屏幕的一个截面在CCD中的成像，其为一个线段，所述线段由起始像素点和终止像素点连接而成，所述截面为所述摄像头光轴延长线所在的平面。

发明人考虑到大小不同的发光体截面因距离摄像头远近不同，在摄像头空间上的起始像素点和终止像素点反而相同(如图2的光斑5和7所示)，从而造成光斑位置无法准确确定的问题，发明人提出采用两个摄像头(如图3所示)，通过本发明，可有效解决前述问题。

图3示出发光体目标截面和所述目标截面在两个摄像头中的成像位置。所述目标截面为图中P点所在的圆；所述目标截面为发光体上的平行于屏幕的截面，且所述截面为摄像头光轴延长线所在的截面。

如前所述，每个摄像头(A，B)从发光体侧面捕获包含所述发光体的图像，所述摄像头光轴平行于屏幕。两个摄像头的光轴和屏幕之间的距离相同。

两个摄像头捕获所述图像后，将所述图像发送至屏幕主机，即屏幕内容所源自的主机，由主机进行以下进一步的计算，也可以先发送给一个计算设备，由计算设备进行相应的计算，并将最终的计算结果发送给主机。以下参考图3给出示例性的计算过程。

摄像头E(或称A_CCD)位于屏幕的左上方，其镜头中心坐标为(-Δx,-Δy)，其视角范围90度，视域上边界平行于屏幕可操作区域上边沿，视域的左边界平行于屏幕可操作区域的左边。摄像头F(或称B_CCD)位于屏幕的右上方，B_CCD的镜头中心坐标为(L-Δx,-Δy)，其视角范围90度，视域上边界平行于屏幕可操作区域的上边，视域的右边界平行于屏幕可操作区域的右边。A_CCD和B_CCD的连线AB平行于屏幕的上边界，间隔L＝|AB|大于屏幕的宽度，以使屏幕在两个摄像头的视域范围之内。

通过以下步骤可以确定目标截面中心相对于第一摄像头的第一位置坐标：

(1)根据所述目标截面在第一摄像头中的始末像素点(A_CCD_i和A_CCD_j)计算三个角度α₁、α₂和α：

(2)根据目标截面在B_CCD中的始末像素点(B_CCD_i和B_CCD_j)，计算三个角度β₁、β₂和β：

(3)通过所述目标截面的中心P点做平行于屏幕的、垂直于AB的垂线，垂足为Q点，在三角形ΔAPQ中，有

解得

以上(x,y)即为P点在以屏幕左上角为坐标原点(0，0)的直角坐标系中的位置。

鉴于从图像中确定一个目标截面的始末像素点为本领域技术人员可以根据目标截面的成像光学特征加以确定，此处不再详细展开说明；此外，通过调整摄像头，可以使目标截面成像后位于摄像头所获取的图像的对称中心，从而使目标截面的确定更为容易。

主机可以将计算所得的所述P点(目标截面中心点)的坐标转换成屏幕的主机的程序空间坐标，以及使主机根据此程序空间坐标进行响应，即可实现发光笔对屏幕的触控操作。根据本发明的一些实施例，主机可以根据目标截面(例如截面位置或截面大小)或根据无线控制命和目标截面进行响应，例如在所述位置输出与目标截面大小相同的光斑。

根据本发明的一些实施例，可以根据以下方式确定目标截面的半径r₁：

(1)求P到A的距离ρ₁：

(2)根据P在第一摄像头中的始末像素点(A_CCD_i和A_CCD_j)和P点到A的距离ρ₁计算目标截面半径r₁：

r₁＝ρ₁*sin(α-α₁)

根据本发明的一些实施例，所述方法还可以包括根据以下方式确定所述目标截面的半径r₂：

(1)求P到B的距离ρ₂：

(2)根据P在第二摄像头中的始末像素点(B_CCD_i和B_CCD_j)和P点到B的距离ρ₂计算目标截面半径r₂：

r₂＝ρ₂*sin(β-β₁)

根据本发明的一些实施例，所述方法还可以包括根据以下方式确定所述目标截面的半径r：

(1)求P到A、B的距离ρ₁、ρ₂。

(2)根据P在第一摄像头中的始末像素点(A_CCD_i和A_CCD_j)和P点到A的距离ρ₁计算目标截面半径r₁：

r₁＝ρ₁*sin(α-α₁)

(3)根据P在第二摄像头中的始末像素点(B_CCD_i和B_CCD_j)和P点到B的距离ρ₂计算目标截面半径r₂：

r₂＝ρ₂*sin(β-β₁)

(4)计算目标截面半径

由此获取的半径数值更为稳定。

上文中，90为摄像头视域或视角范围；4095为摄像头在起始像素点和终止像素点连线方向上的视域内的总像素数目；L，(-Δx,-Δy)为摄像头布置参数。以上参数可以根据摄像头及其在屏幕上的布置情况预先确定。CCD_i，CCD_j表示摄像头上检测到的平行于屏幕的发光体的目标截面在摄像头上的起始像素点和终止像素点的序号，其数值分别为i和j，CCD_i，CCD_j可以通过分析图像确定。

根据本发明的一些实施例，主机的响应可以包括根据所述目标截面的半径生成一个同样大小的光斑，用以指示触控位置。

在根据本发明的一些实施例中，所述发光体设计为在被使用时，可以沿发光体轴线方向伸缩。由此，当用户将发光笔作用于屏幕，并按压发光笔时，可以使前述圆台状发光体的不同部分的截面被摄像头的平行于屏幕的且光轴所在的平面的像素获取,与此相应，前述公式中的目标截面半径r将会不同。根据r的不同，主机在进行响应时生成的光斑的大小也不同，由此，用户可以根据实际需要，不断调整发光笔的按压力度，以实现所需的输出效果，例如输出不同粗细的笔迹或光斑指示。

根据本发明的一些实施例，摄像头可以为彩色摄像头，以及所述发光笔为彩色发光笔，发光笔可以根据需要出射不同颜色的光，主机可以根据摄像头采集的图像中的颜色信息在程序空间坐标处生成一个颜色和发光笔出射光颜色一样的光斑。

以上实施例中，采用了线阵CCD，而且，根据上下文可知，线阵CCD可以以其较低的成本即可实现本发明的发明目的。

根据本发明的另一些实施例，也可以采用面阵CCD等摄像头，此时，同样以发光体上的平行于屏幕的一个截面在摄像头上所成的线段的始末像素点为考察对象，以实现对所述截面中心位置的精确确定，所述截面为摄像头光轴延长线所在截面。

在以上实施例中，两个摄像头分别位于屏幕左上角和右上角，根据本发明的另一些实施例，也可以在确保摄像头光轴平行于屏幕的情况下，调整摄像头在屏幕周围的任何，本领域技术人员将明了，根据前述公式并结合一定的坐标转换，即可类似地获取触点在屏幕上的位置。

本申请还提出基于发光笔和双摄像头的人机交互方法，所述发光笔包括圆台状发光体；所述方法包括；

以发光体端部触控屏幕；

通过两个摄像头分别从发光体不同侧面捕获包含所述发光体的第一图像和第二图像；两个摄像头的光轴平行于屏幕，两个摄像头的光轴和屏幕之间的距离相同；

确定发光体上的平行于屏幕的目标截面在所述第一图像中的第一起始像素点和第一终止像素点，以及确定所述目标截面在所述第二图像中的第二起始像素点和第二终止像素点，所述目标截面为所述两个摄像头光轴延长线所在的平面；

根据所述第一起始像素点、第二起始像素点、第一终止像素点和第二终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于其中一个摄像头的第一位置坐标，由所述第一位置坐标以及所述其中一个摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标，以及将所述第三位置坐标转换成屏幕的主机的程序空间坐标，并使主机根据此程序空间坐标进行响应。

根据本发明的一些实施例，设屏幕的左上角坐标为(0，0)，所述两个摄像头中的第一摄像头位于屏幕左上角，其镜头中心坐标为(-Δx,-Δy)，所述两个摄像头中的第二摄像头的镜头中心坐标为(L-Δx,-Δy)；所述的确定目标截面中心相对于屏幕的第三位置坐标(x,y)包括：

(7)根据所述目标截面在第一摄像头中的始末像素点(A_CCD_i和A_CCD_j)，计算三个角度α₁、α₂和α：

(8)根据所述目标截面在第二摄像头中的始末像素点(B_CCD_i和B_CCD_j)，计算三个角度β₁、β₂和β：

(3)通过所述目标截面的中心P点做平行于屏幕的、垂直于AB的垂线，垂足为Q点，在三角形ΔAPQ中，求解得到：

A_CCD_i和A_CCD_j表示所述目标截面在第一摄像头中的起始像素点和终止像素点的序号；B_CCD_i和B_CCD_j表示所述目标截面在第二摄像头中的起始像素点和终止像素点的序号；φ₁为第一摄像头视域,φ₂为第二摄像头视域；ψ₁为第一摄像头在起始像素点和终止像素点连线方向上的视域内的总像素数目,ψ₂为第二摄像头在起始像素点和终止像素点连线方向上的视域内的总像素数目。

根据本发明的一些实施例，所述方法包括根据以下方式确定所述目标截面的半径r₁：

(1)求P到A的距离ρ₁：

(2)根据P在第一摄像头中的始末像素点(A_CCD_i和A_CCD_j)和P点到A的距离ρ₁计算目标截面半径大小r₁：

r₁＝ρ₁*sin(α-α₁)

或者，根据以下方式确定所述目标截面的半径r₂：

(1)求P到B的距离ρ₂：

(2)根据P在第二摄像头中的始末像素点(B_CCD_i和B_CCD_j)和P到B的距离ρ₂计算目标截面半径r₂：

r₂＝ρ₂*sin(β-β₁)

或者，根据以下方式确定所述目标截面的半径r：

(1)求P到A、B的距离ρ₁、ρ₂。

(2)根据P在第一摄像头中的始末像素点(A_CCD_i和A_CCD_j)和P点到A的距离ρ₁计算目标截面半径r₁：

r₁＝ρ₁*sin(α-α₁)

(3)根据P在第二摄像头中的始末像素点(B_CCD_i和B_CCD_j)和P点到B的距离ρ₂计算目标截面半径r₂：

r₂＝ρ₂*sin(β-β₁)

(9)计算目标截面半径

CCD_i，CCD_j表示检测到发光笔的发光体的起始像素点和终止像素点(合称：始末像素点)的序号，其数值分别为i和j。

根据本发明的一些实施例，其中，发光笔上还设置有无线发射模块，主机设置有无线接收模块，所述方法包括：发光笔通过无线发射模块向主机发送无线控制命令，主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和程序空间坐标进行响应。例如，当触控位置为某个文件夹，而无线控制命令又对应于鼠标的双击事件时，通过按压发光笔上的按钮，使其中的无线发射模块发送无线控制命令，可以实现打开所述文件夹。

根据本发明的一些实施例，所述方法包括主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和目标截面进行响应，例如在所述位置输出与目标截面大小相同的光斑。

此外，前面围绕图1-3描述的发光笔、摄像头和主机(或主机和计算设备)构成的基于发光笔和双摄像头的人机交互系统所实现的人机交互方法也作为本申请的人机交互方法的实施例包含在本申请中。为简化起见，此处不予赘述。

Claims (10)

1.基于发光笔和双摄像头的人机交互系统，包括发光笔、两个摄像头和主机；

所述发光笔包括圆台状发光体，发光体以其端部触控屏幕；

所述两个摄像头包括第一摄像头和第二摄像头；所述第一摄像头被布置为使其光轴平行于屏幕，用于从发光体侧面捕获包含所述发光体的第一图像并将其发送至主机；所述第二摄像头被布置为使其光轴平行于屏幕，用于从发光体的不同侧面捕获包含所述发光体的第二图像并将其发送至主机；第一摄像头的光轴和屏幕之间的距离与第二摄像头的光轴和屏幕之间的距离相同；

主机用于接收所述第一图像和第二图像，并确定发光体上的平行于屏幕的目标截面在所述第一图像中的第一起始像素点和第一终止像素点，以及确定所述目标截面在所述第二图像中的第二起始像素点和第二终止像素点，所述目标截面为所述两个摄像头光轴延长线所在的平面；

主机还用于根据所述第一起始像素点、第二起始像素点、第一终止像素点和第二终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于其中一个摄像头的第一位置坐标，由所述第一位置坐标以及所述其中一个摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标，以及将所述第三位置坐标转换成屏幕的主机的程序空间坐标，并使主机根据此程序空间坐标进行响应。

2.根据权利要求1所述的基于发光笔和双摄像头的人机交互系统，其中，发光体内部包括LED光源，发光体外部包括一个圆台状的可透光套管；所述发光笔能够可拆卸地套接不同尺寸的圆台状的可透光套管。

3.根据权利要求1所述的基于发光笔和双摄像头的人机交互系统，其中，所述摄像头包括线阵CCD和面阵CCD；发光体前端设置有橡胶体。

4.根据权利要求1所述的基于发光笔和双摄像头的人机交互系统，其中，所述发光体设计为在被使用时，能沿发光体轴线方向伸缩。

5.根据权利要求1所述的基于发光笔和双摄像头的人机交互系统，其中，所述发光笔内设置有多种颜色的LED；通过切换开关，不同颜色的LED发光；主机的响应包括根据所述第一图像或第二图像中的颜色信息在程序空间坐标处生成一个颜色和发光笔出射光颜色一样的光斑。

6.基于发光笔和双摄像头的人机交互方法，所述发光笔包括圆台状发光体，所述方法包括；

以发光体端部触控屏幕；

通过两个摄像头分别从发光体不同侧面捕获包含所述发光体的第一图像和第二图像；两个摄像头的光轴平行于屏幕，两个摄像头的光轴和屏幕之间的距离相同；

确定发光体上的平行于屏幕的目标截面在所述第一图像中的第一起始像素点和第一终止像素点，以及确定所述目标截面在所述第二图像中的第二起始像素点和第二终止像素点，所述目标截面为所述两个摄像头光轴延长线所在的平面；

根据所述第一起始像素点、第二起始像素点、第一终止像素点和第二终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于其中一个摄像头的第一位置坐标，由所述第一位置坐标以及所述其中一个摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标，以及将所述第三位置坐标转换成屏幕的主机的程序空间坐标，并使主机根据此程序空间坐标进行响应。

7.根据权利要求6所述的基于发光笔和双摄像头的人机交互方法，其中，设屏幕的左上角坐标为(0，0)，所述两个摄像头中的第一摄像头位于屏幕左上角，其镜头中心坐标为(-Δx,-Δy)，所述两个摄像头中的第二摄像头的镜头中心坐标为(L-Δx,-Δy)；所述的确定目标截面中心相对于屏幕的第三位置坐标(x,y)包括：

(1)根据所述目标截面在第一摄像头中的始末像素点(A_CCD_i和A_CCD_j)，计算三个角度α₁、α₂和α：

(2)根据所述目标截面在第二摄像头中的始末像素点(B_CCD_i和B_CCD_j)，计算三个角度β₁、β₂和β：

(3)通过所述目标截面的中心P点做平行于屏幕的、垂直于AB的垂线，垂足为Q点，在三角形ΔAPQ中，求解得到：

A_CCD_i和A_CCD_j表示所述目标截面在第一摄像头中的起始像素点和终止像素点的序号；B_CCD_i和B_CCD_j表示所述目标截面在第二摄像头中的起始像素点和终止像素点的序号；φ₁为第一摄像头视域,φ₂为第二摄像头视域；ψ₁为第一摄像头在起始像素点和终止像素点连线方向上的视域内的总像素数目,ψ₂为第二摄像头在起始像素点和终止像素点连线方向上的视域内的总像素数目。

8.根据权利要求7所述的基于发光笔和双摄像头的人机交互方法，包括根据以下方式确定所述目标截面的半径r₁：

(1)求P到A的距离ρ₁：

(2)根据P在第一摄像头中的始末像素点(A_CCD_i和A_CCD_j)和P点到A的距离ρ₁计算目标截面半径大小r₁：

r₁＝ρ₁*sin(α-α₁)

或者，根据以下方式确定所述目标截面的半径r₂：

(1)求P到B的距离ρ₂：

(2)根据P在第二摄像头中的始末像素点(B_CCD_i和B_CCD_j)和P到B的距离ρ₂计算目标截面半径r₂：

r₂＝ρ₂*sin(β-β₁)

或者，根据以下方式确定所述目标截面的半径r：

(1)求P到A、B的距离ρ₁、ρ₂。

(2)根据P在第一摄像头中的始末像素点(A_CCD_i和A_CCD_j)和P点到A的距离ρ₁计算目标截面半径r₁：

r₁＝ρ₁*sin(α-α₁)

(3)根据P在第二摄像头中的始末像素点(B_CCD_i和B_CCD_j)和P点到B的距离ρ₂计算目标截面半径r₂：

r₂＝ρ₂*sin(β-β₁)

(3)计算目标截面半径

CCD_i，CCD_j表示检测到发光笔的发光体的起始像素点和终止像素点(合称：始末像素点)的序号，其数值分别为i和j。

9.根据权利要求6、7或8所述的人机交互方法，其中，发光笔上还设置有无线发射模块，主机设置有无线接收模块，所述方法包括：发光笔通过无线发射模块向主机发送无线控制命令，主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和程序空间坐标进行响应。

10.根据权利要求8所述的人机交互方法，其中，发光笔上还设置有无线发射模块，主机设置有无线接收模块，所述方法包括：发光笔通过无线发射模块向主机发送无线控制命令，主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和目标截面进行响应。

Images