CN112363635B - 基于发光笔的人机交互方法及系统 - Google Patents

基于发光笔的人机交互方法及系统 Download PDF

Info

Publication number
CN112363635B
CN112363635B CN202011323399.9A CN202011323399A CN112363635B CN 112363635 B CN112363635 B CN 112363635B CN 202011323399 A CN202011323399 A CN 202011323399A CN 112363635 B CN112363635 B CN 112363635B
Authority
CN
China
Prior art keywords
camera
pixel point
screen
illuminant
target section
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011323399.9A
Other languages
English (en)
Other versions
CN112363635A (zh
Inventor
田启川
谭登峰
赵光哲
王财勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zen Ai Technology Co ltd
Beijing University of Civil Engineering and Architecture
Original Assignee
Beijing Zen Ai Technology Co ltd
Beijing University of Civil Engineering and Architecture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zen Ai Technology Co ltd, Beijing University of Civil Engineering and Architecture filed Critical Beijing Zen Ai Technology Co ltd
Priority to CN202011323399.9A priority Critical patent/CN112363635B/zh
Publication of CN112363635A publication Critical patent/CN112363635A/zh
Application granted granted Critical
Publication of CN112363635B publication Critical patent/CN112363635B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03542—Light pens for emitting or receiving light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G06F3/0386—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry for light pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明涉及基于发光笔的人机交互系统，其包括发光笔、摄像头和主机；发光笔包括圆柱状发光体，圆柱状发光体以其端部触控屏幕；摄像头用于从发光体侧面捕获包含发光体的图像并将其发送至主机，摄像头光轴平行于屏幕；主机接收摄像头捕获的图像，并确定发光体上的平行于屏幕的目标截面在图像中的起始像素点和终止像素点，目标截面为摄像头光轴所在的平面；主机还用于根据起始像素点和终止像素点确定目标截面中心相对于摄像头的第一位置坐标，由第一位置坐标以及摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标并将其转换成屏幕主机程序空间坐标，以及据此进行响应。本发明可实现对屏幕的无遮挡、无死角触控，提高人机交互效率。

Description

基于发光笔的人机交互方法及系统
技术领域
本发明涉及人机交互技术领域，尤其涉及基于发光笔的人机交互方法及系统。
背景技术
现有技术中存在激光遥控人机交互技术，其原理是，通过激光笔向屏幕发射激光束，由激光束在屏幕上形成光点，用安装在屏幕正前方的摄像头捕获包含激光光点在内的屏幕图像，主机通过二值化等一系列处理方法，分析确定光点在整个屏幕图像中的位置，以及将所述位置转换成主机程序空间的坐标，以及依据所述坐标进行响应，或者依据所述坐标和激光笔发射的无线控制命令，进行响应。
但以上现有技术存在的问题是，当持有激光笔的用户处于摄像头和屏幕之间时，由于用户本身将遮挡摄像头，使其不能再正常捕获包含激光光点在内的整个屏幕图像，因此，人机交互过程将无法继续。
发明内容
针对以上问题，本申请提出基于发光笔的人机交互系统，其包括发光笔、摄像头和主机；
所述发光笔包括圆柱状发光体，圆柱状发光体以其端部触控屏幕；
所述摄像头被布置为使其光轴平行于屏幕，用于从发光体侧面捕获包含所述发光体的图像并将其发送至主机；
主机用于接收摄像头捕获的图像，并确定发光体上的平行于屏幕的目标截面在所述图像中的起始像素点和终止像素点，所述目标截面为所述摄像头光轴延长线所在的平面；
主机还用于根据所述起始像素点和终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于摄像头的第一位置坐标，由所述第一位置坐标以及摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标，以及将所述第三位置坐标转换成屏幕的主机的程序空间坐标，并根据此程序空间坐标进行响应。
本申请还提供另一种基于发光笔的人机交互系统，其包括发光笔、摄像头、计算设备和主机；
所述发光笔包括圆柱状发光体，圆柱状发光体以其端部触控屏幕；
所述摄像头被布置为使其光轴平行于屏幕，用于从发光体侧面捕获包含所述发光体的图像并将其发送至计算设备；
计算设备用于接收摄像头捕获的图像，并确定发光体上的平行于屏幕的目标截面在所述图像中的起始像素点和终止像素点，所述目标截面为所述摄像头光轴延长线所在的平面；
计算设备还用于根据所述起始像素点和终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于摄像头的第一位置坐标，由所述第一位置坐标以及摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标，以及将所述第三位置坐标转换成屏幕的主机的程序空间坐标，以及将此程序空间坐标发送至主机，使主机根据此程序空间坐标进行响应。
根据本发明的一些实施例，发光体前端设置有橡胶体。
根据本发明的一些实施例，发光笔上设置有无线发射模块，主机设置有无线接收模块，发光笔通过无线发射模块向主机发送无线控制命令，主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和程序空间坐标，进行响应。
根据本发明的一些实施例，所述发光笔内设置有多种颜色的LED；通过切换开关，不同颜色的LED发光。
根据本发明的一些实施例，所述摄像头包括线阵CCD和面阵CCD。
根据本发明的一些实施例，所述摄像头的镜头中心位于屏幕左上角，所述的根据起始像素点和终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于摄像头的第一位置坐标，包括：根据以下公式来确定目标截面中心相对于摄像头的第一位置坐标(x,y)：
Figure BDA0002793581900000031
其中：
Figure BDA0002793581900000032
Figure BDA0002793581900000033
Figure BDA0002793581900000034
r为圆柱状发光体的圆柱半径；
CCDi，CCDj表示检测到发光笔的发光体的起始像素点和终止像素点的序号，其数值分别为i和j；φ为视域；ψ为摄像机在起始像素点和终止像素点连线方向上的视域内的总像素数目。
根据本发明的一些实施例，所述摄像头的镜头中心相对于屏幕左上角的坐标为(-Δx,-Δy)，所述的根据起始像素点和终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于摄像头的第一位置坐标，包括：根据以下公式来确定目标截面中心相对于摄像头的第一位置坐标(x,y)：
Figure BDA0002793581900000035
其中：
Figure BDA0002793581900000036
Figure BDA0002793581900000041
Figure BDA0002793581900000042
r为圆柱状发光体的圆柱半径；
CCDi，CCDj表示检测到发光笔的发光体的起始像素点和终止像素点的序号，其数值分别为i和j；φ为视域；ψ为摄像机在起始像素点和终止像素点连线方向上的视域内的总像素数目。
本申请还提供一种基于发光笔的人机交互方法，所述发光笔包括圆柱状发光体，所述方法包括：
使发光笔沿圆柱状发光体的柱轴方向触控屏幕；
通过摄像头从发光体侧面捕获包含所述发光体的图像，所述摄像头光轴平行于屏幕；
从摄像头捕获的图像中，确定发光体上的平行于屏幕的目标截面在所述图像中的起始像素点和终止像素点，所述目标截面为所述摄像头光轴延长线所在的平面；
根据所述起始像素点和终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于摄像头的第一位置坐标，由所述第一位置坐标以及摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标；
将所述第三位置坐标转换成屏幕的主机的程序空间坐标，以及使主机根据此程序空间坐标进行响应。
根据本发明的一些实施例，发光笔上设置有无线发射模块，主机设置有无线接收模块，所述方法包括：发光笔通过无线发射模块向主机发送无线控制命令，主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和程序空间坐标，进行响应。
通过本发明，可以解决现有技术因持有激光笔的用户处于摄像头和屏幕之间，用户本身遮挡摄像头导致的人机交互失败的问题，实现了在实体屏幕转化为可触控屏幕时的无遮挡、无死角触控，提高了人机交互效率。
附图说明
图1为根据本发明实施例的发光笔的结构示意图；
图2所示为一个摄像头对各个位置处的发光笔的成像情况；
图3示出一个发光体在屏幕上的位置和成像位置之间的关系；
图4示出了摄像头镜头中心坐标在屏幕的左上角一定距离处的情况。
具体实施方式
本申请第一方面提出基于发光笔的人机交互系统，其包括：发光笔、摄像头和主机。以下将对各个部分进行详细介绍。
图1为根据本发明实施例的发光笔的结构示意图。所述发光笔包括圆柱状发光体1，开关12和电池13。
发光体1内部可以为LED光源，LED光源外部可以套接一个圆柱状的可透光套管，从而构成一个圆柱状发光体。
根据本发明的一些实施例，所述发光笔内设置有多种颜色的LED；通过切换开关，不同颜色的LED发光。
开关2用于控制光源的打开和关闭，电池13用于为发光体供电。
在发光体发光后，从笔杆上方看，光源直径例如可以为10mm，发光体圆柱部分的高度例如可以为5mm，发光笔前端可以设置有橡胶体，以防止发光笔作用于屏幕对屏幕造成损伤，正常使用时，橡胶体的存在使发光体可以距离屏幕1.5mm-3.5mm。根据本发明的一些实施例，也可以通过设置发光笔，使光源为外径为10mm的圆环。
根据本发明的一些实施例，在用发光笔进行触控操作时，用所述发光体的端面触控屏幕，能有效保证在操作时发光笔与屏幕保持垂直。
根据本发明的一些实施例，发光笔上还可以设置有无线发射模块，主机设置有无线接收模块，发光笔通过无线发射模块向主机发送无线控制命令，主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和程序空间坐标(或触控坐标)，进行响应。
摄像头用于从发光体侧面捕获包含所述发光体的图像，所述摄像头光轴平行于屏幕。摄像头和屏幕的距离被布置为足够小，以便使摄像头能捕获发光体，如图1示出发光体高度为h，则摄像头和屏幕的距离须小于h。根据本发明的一些实施例，可以将发光体设置为能够伸缩，使得可以灵活适配实际已经布置完毕的摄像头，使摄像头可以捕获发光体。所述发光体侧面位于发光体圆柱体径向方向上。
图2所示为一个摄像头3对各个位置处的发光笔的成像情况。图中所示的摄像头3为线阵CCD，摄像头像素为4096，平行于屏幕上边沿的第1个、第2个、第4096个(1，2，和4096为像素序号)像素分别被标注了1、2和4096。
如图中所示，由于所示摄像头为线阵CCD，因此，当发光体在屏幕上移动时，发光体在线阵CCD上对应的成像方式分别如图中各射线所示。此处线阵CCD捕获的图像中包含发光体上的平行于屏幕的一个截面在CCD中的成像，其为一个线段，所述线段由起始像素点和终止像素点连接而成，所述截面为所述摄像头光轴延长线所在的平面。
摄像头捕获所述图像后，将所述图像发送至屏幕主机，即屏幕内容所源自的主机，由主机进行以下进一步的计算。
参考图3，其中进一步示出一个发光体在屏幕上的位置和成像位置之间的关系。参考图中所示：
假设CCD镜头中心在屏幕左上角的坐标为(0，0)。发光笔触控位置为P，如果此时成像位置为CCDi→CCDj(CCDi，CCDj表示检测到发光笔的发光体的起始像素点和终止像素点的序号，其数值分别为i和j)，那么
Figure BDA0002793581900000061
α为根据起始感光位置(或起始像素点)确定的起始光路与水平方向的夹角；
Figure BDA0002793581900000062
β为根据终止感光位置(或终止像素点)确定的终止光路与水平方向的夹角；
Figure BDA0002793581900000071
θ为起始光路和终止光路之间的夹角。
90为视域；4095为摄像机在起始像素点和终止像素点连线方向上的视域内的总像素数目。
(1)在直角三角形ΔOPQ中，PQ垂直于OQ，PQ为光环半径r(可以根据发光体的圆柱半径确定)，P为圆柱体截面中心，所以：
Figure BDA0002793581900000072
(2)P点的坐标(x，y)按照如下公式计算：
Figure BDA0002793581900000073
(3)假设CCD镜头中心相对于屏幕左上角的坐标为(-Δx,-Δy)，如图4所示，Δx≥0,Δy≥0，那么按照(2)中计算得到的坐标比实际坐标都要大，需要进行平移，将(2)中的计算公式改为如下公式：
Figure BDA0002793581900000074
由此可以得到以屏幕左上角为坐标原点的坐标。
以上公式中，光环半径r可以根据发光体的圆柱半径确定，(-Δx,-Δy)可以根据摄像机的布置情况预先确定；CCDi，CCDj可以通过分析图像确定。
进一步地，主机将所述坐标转换成屏幕的主机的程序空间坐标，以及使主机根据此程序空间坐标进行响应，即可实现发光笔对屏幕的触控操作。根据本发明的一些实施例，主机的响应可以包括根据所述半径r的大小生成一个同样大小的光斑。
根据本发明的一些实施例，摄像头捕获线段状的图像后，也可以将所述图像发送至一个计算设备，由计算设备计算出最终的触控坐标后，再将坐标值发送至主机，以及使主机根据此程序空间坐标进行响应。
根据本发明的一些实施例，摄像头可以为彩色摄像头，以及所述发光笔为彩色发光笔，发光笔可以根据需要出射不同颜色的光，主机可以根据摄像头采集的图像中的颜色信息生成一个颜色和发光笔出射光颜色一样的光斑。
以上实施例中，采用了线阵CCD，而且，根据上下文可知，线阵CCD可以以其较低的成本即可实现本发明的发明目的。根据本发明的另一些实施例，也可以采用面阵CCD等摄像头，此时，同样以发光体上的平行于屏幕的一个截面在摄像头上所成的线段的始末像素点为考察对象，以实现对所述截面中心位置的精确确定，所述截面为摄像头光轴延长线所在截面。
在以上实施例中，摄像头位于屏幕左上角或相对于屏幕左上角存在平移，根据本发明的另一些实施例，也可以在确保摄像头光轴平行于屏幕的情况下，将摄像头置于屏幕左上方，右上方，正上方或正下方，或屏幕周围任何位置，本领域技术人员将明了，根据前述公式并结合一定的坐标转换，即可类似地获取发光体在屏幕上的位置。
本申请还提出基于发光笔的人机交互方法，所述发光笔包括圆柱状发光体，所述方法包括：
使发光笔沿圆柱状发光体的轴线方向触控屏幕；
通过摄像头从发光体侧面捕获包含所述发光体的图像，所述摄像头光轴平行于屏幕；
从摄像头捕获的图像中，确定发光体上的平行于屏幕的目标截面在所述图像中的起始像素点和终止像素点，所述目标截面为所述摄像头光轴延长线所在的平面；
根据所述起始像素点和终止像素点确定目标截面中心相对于摄像头的第一位置坐标，由所述第一位置坐标以及摄像头相对于屏幕的第二位置坐标，确定发光体相对于屏幕的第三位置坐标；
将所述第三位置坐标转换成屏幕的主机的程序空间坐标，以及使主机根据此程序空间坐标进行响应。
根据本发明的一些实施例，摄像头将所述图像发送至主机；主机接收摄像头捕获的图像，并确定发光体上的平行于屏幕的目标截面在所述图像中的起始像素点和终止像素点，所述目标截面为所述摄像头光轴延长线所在的平面；主机还用于根据所述起始像素点和终止像素点确定目标截面中心相对于摄像头的第一位置坐标，由所述第一位置坐标以及摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标，以及将所述第三位置坐标转换成屏幕的主机的程序空间坐标，并根据此程序空间坐标进行响应。
根据本发明的一些实施例，摄像头将所述图像发送至计算设备；计算设备接收摄像头捕获的图像，并确定发光体上的平行于屏幕的目标截面在所述图像中的起始像素点和终止像素点，所述目标截面为所述摄像头光轴延长线所在的平面；计算设备还根据所述起始像素点和终止像素点确定目标截面中心相对于摄像头的第一位置坐标，由所述第一位置坐标以及摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标，以及将所述第三位置坐标转换成屏幕的主机的程序空间坐标，以及将此程序空间坐标发送至主机，使主机根据此程序空间坐标进行响应。
根据本发明的一些实施例，可以在发光笔前端设置橡胶体，以减少发光笔作用于屏幕对屏幕造成的损伤。
根据本发明的一些实施例，可以将发光体设置为能够伸缩，使得可以灵活适配实际已经布置完毕的摄像头，使摄像头可以捕获发光体。
根据本发明的一些实施例,在确保摄像头光轴平行于屏幕的情况下，可以将摄像头置于屏幕左上方，右上方，正上方或正下方，或屏幕周围任何位置，本领域技术人员将明了，根据前述公式并结合一定的坐标转换，即可类似地获取发光体在屏幕上的位置。
根据本发明的一些实施例，发光笔上设置有无线发射模块，主机设置有无线接收模块，所述方法包括，发光笔通过无线发射模块向主机发送无线控制命令，主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和程序空间坐标，进行响应。例如，当触控位置为某个文件夹，而无线控制命令又对应于鼠标的双击事件时，通过按压发光笔上的按钮，使其中的无线发射模块发送无线控制命令，可以实现打开所述文件夹。
此外，前面围绕图1-4描述的发光笔，摄像头和主机构成的基于发光笔的人机交互系统所实现的基于发光笔的人机交互方法也作为本申请的基于发光笔的人机交互方法的实施例包含在本申请中。为简化起见，此处不予赘述。

Claims (9)

1.基于发光笔的人机交互系统，其包括发光笔、摄像头和主机；
所述发光笔包括圆柱状发光体，圆柱状发光体以其端部触控屏幕；
所述摄像头被布置为使其光轴平行于屏幕，用于从发光体侧面捕获包含所述发光体的图像并将其发送至主机；
主机用于接收摄像头捕获的图像，并确定发光体上的平行于屏幕的目标截面在所述图像中的起始像素点和终止像素点，所述目标截面为所述摄像头光轴延长线所在的平面；
主机还用于根据所述起始像素点和终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于摄像头的第一位置坐标，由所述第一位置坐标以及摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标，以及将所述第三位置坐标转换成屏幕的主机的程序空间坐标，并根据此程序空间坐标进行响应；
所述摄像头的镜头中心相对于屏幕左上角的坐标为(-Δx,-Δy)，所述的根据起始像素点和终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于摄像头的第一位置坐标，包括：根据以下公式来确定目标截面中心相对于摄像头的第一位置坐标(x,y)：
Figure FDA0004125174030000011
其中：
Figure FDA0004125174030000012
Figure FDA0004125174030000013
Figure FDA0004125174030000014
r为圆柱状发光体的圆柱半径；
CCDi，CCDj表示检测到发光笔的发光体的起始像素点和终止像素点的序号，其数值分别为i和j；φ为视域；ψ为摄像机在起始像素点和终止像素点连线方向上的视域内的总像素数目。
2.基于发光笔的人机交互系统，其包括发光笔、摄像头、计算设备和主机；
所述发光笔包括圆柱状发光体，圆柱状发光体以其端部触控屏幕；
所述摄像头被布置为使其光轴平行于屏幕，用于从发光体侧面捕获包含所述发光体的图像并将其发送至计算设备；
计算设备用于接收摄像头捕获的图像，并确定发光体上的平行于屏幕的目标截面在所述图像中的起始像素点和终止像素点，所述目标截面为所述摄像头光轴延长线所在的平面；
计算设备还用于根据所述起始像素点和终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于摄像头的第一位置坐标，由所述第一位置坐标以及摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标，以及将所述第三位置坐标转换成屏幕的主机的程序空间坐标，以及将此程序空间坐标发送至主机，使主机根据此程序空间坐标进行响应；
所述摄像头的镜头中心相对于屏幕左上角的坐标为(-Δx,-Δy)，所述的根据起始像素点和终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于摄像头的第一位置坐标，包括：根据以下公式来确定目标截面中心相对于摄像头的第一位置坐标(x,y)：
Figure FDA0004125174030000021
其中：
Figure FDA0004125174030000031
Figure FDA0004125174030000032
Figure FDA0004125174030000033
r为圆柱状发光体的圆柱半径；
CCDi，CCDj表示检测到发光笔的发光体的起始像素点和终止像素点的序号，其数值分别为i和j；φ为视域；ψ为摄像机在起始像素点和终止像素点连线方向上的视域内的总像素数目。
3.根据权利要求1或2所述的基于发光笔的人机交互系统，其中，发光体前端设置有橡胶体。
4.根据权利要求1或2所述的基于发光笔的人机交互系统，其中，发光笔上设置有无线发射模块，主机设置有无线接收模块，发光笔通过无线发射模块向主机发送无线控制命令，主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和程序空间坐标，进行响应。
5.根据权利要求1或2所述的基于发光笔的人机交互系统，其中，所述发光笔内设置有多种颜色的LED；通过切换开关，不同颜色的LED发光。
6.根据权利要求1或2所述的基于发光笔的人机交互系统，其中，所述摄像头包括线阵CCD和面阵CCD；所述发光体能沿发光体轴线方向伸缩。
7.基于发光笔的人机交互方法，所述发光笔包括圆柱状发光体，所述方法包括：
使发光笔沿圆柱状发光体的柱轴方向触控屏幕；
通过摄像头从发光体侧面捕获包含所述发光体的图像，所述摄像头光轴平行于屏幕；
从摄像头捕获的图像中，确定发光体上的平行于屏幕的目标截面在所述图像中的起始像素点和终止像素点，所述目标截面为所述摄像头光轴延长线所在的平面；
根据所述起始像素点和终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于摄像头的第一位置坐标，由所述第一位置坐标以及摄像头相对于屏幕的第二位置坐标，确定目标截面中心相对于屏幕的第三位置坐标；
将所述第三位置坐标转换成屏幕的主机的程序空间坐标，以及使主机根据此程序空间坐标进行响应；
所述摄像头的镜头中心相对于屏幕左上角的坐标为(-Δx,-Δy)，所述的根据起始像素点和终止像素点的形成光路与所述目标截面的几何关系确定目标截面中心相对于摄像头的第一位置坐标，包括：根据以下公式来确定目标截面中心相对于摄像头的第一位置坐标(x,y)：
Figure FDA0004125174030000041
其中：
Figure FDA0004125174030000042
Figure FDA0004125174030000043
Figure FDA0004125174030000044
r为圆柱状发光体的圆柱半径；
CCDi，CCDj表示检测到发光笔的发光体的起始像素点和终止像素点的序号，其数值分别为i和j；φ为视域；ψ为摄像机在起始像素点和终止像素点连线方向上的视域内的总像素数目。
8.根据权利要求7所述的基于发光笔的人机交互方法，其中，发光笔上设置有无线发射模块，主机设置有无线接收模块，所述方法包括：发光笔通过无线发射模块向主机发送无线控制命令，主机的无线接收模块接收无线控制命令，并根据所述无线控制命令和程序空间坐标，进行响应。
9.根据权利要求7所述的基于发光笔的人机交互方法，其中，主机的响应包括根据圆柱体半径大小生成一个同样大小的光斑。
CN202011323399.9A 2020-11-23 2020-11-23 基于发光笔的人机交互方法及系统 Active CN112363635B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011323399.9A CN112363635B (zh) 2020-11-23 2020-11-23 基于发光笔的人机交互方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011323399.9A CN112363635B (zh) 2020-11-23 2020-11-23 基于发光笔的人机交互方法及系统

Publications (2)

Publication Number Publication Date
CN112363635A CN112363635A (zh) 2021-02-12
CN112363635B true CN112363635B (zh) 2023-04-28

Family

ID=74534395

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011323399.9A Active CN112363635B (zh) 2020-11-23 2020-11-23 基于发光笔的人机交互方法及系统

Country Status (1)

Country Link
CN (1) CN112363635B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859189A (zh) * 2009-04-08 2010-10-13 联想(北京)有限公司 光学输入系统及方法
CN102486699A (zh) * 2010-12-03 2012-06-06 王剑彬 一种线阵摄像头的标定方法
CN102486700A (zh) * 2010-12-03 2012-06-06 王剑彬 一种线阵摄像头的标定方法
CN110703957A (zh) * 2018-07-09 2020-01-17 北京仁光科技有限公司 一种基于光影像的交互系统和交互方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110199335A1 (en) * 2010-02-12 2011-08-18 Bo Li Determining a Position of an Object Using a Single Camera

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101859189A (zh) * 2009-04-08 2010-10-13 联想(北京)有限公司 光学输入系统及方法
CN102486699A (zh) * 2010-12-03 2012-06-06 王剑彬 一种线阵摄像头的标定方法
CN102486700A (zh) * 2010-12-03 2012-06-06 王剑彬 一种线阵摄像头的标定方法
CN110703957A (zh) * 2018-07-09 2020-01-17 北京仁光科技有限公司 一种基于光影像的交互系统和交互方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
同志学 ; 白金池 ; 康智强 ; .一种线阵CCD融合光栅尺的高精度尺寸测量新方法研究.光学技术.(第03期), 22-28. *

Also Published As

Publication number Publication date
CN112363635A (zh) 2021-02-12

Similar Documents

Publication Publication Date Title
US9024901B2 (en) Interactive whiteboards and programs
US10514806B2 (en) Operation detection device, operation detection method and projector
US20100245767A1 (en) Eye-tracking method and eye-tracking system for implementing the same
CN106843602B (zh) 一种大屏幕遥控交互系统及其交互方法
KR102627014B1 (ko) 전자 장치 및 제스처 인식 방법
US20110261013A1 (en) Touch screen system based on image recognition
CN102662498A (zh) 一种投影演示的无线控制方法及系统
WO2003079179A1 (en) Motion mouse system
EP3428884B1 (en) Tracking system and tracking method thereof
CN206960095U (zh) 一种多光谱多光轴自动校准系统
US20110199337A1 (en) Object-detecting system and method by use of non-coincident fields of light
KR20100092912A (ko) 감지 모듈과 이를 구비한 광학 감지 시스템
WO2019163211A1 (ja) 監視システムおよび監視システムの制御方法
CN112363635B (zh) 基于发光笔的人机交互方法及系统
US10055065B2 (en) Display system, projector, and control method for display system
CN202976114U (zh) 一种带特殊对焦图形的条码识读器
CN101231565A (zh) 光电白板信号接收装置
US20130321357A1 (en) Display panel and display device
CN112506361B (zh) 基于发光笔和双摄像头的人机交互方法及系统
KR100559365B1 (ko) 컴퓨터 시각 기반의 제스쳐 인식 시스템 및 방법
TWI788120B (zh) 非接觸式電梯操控系統
CN111445530A (zh) 一种轮椅床和轮椅的归位路径确定方法
TWI592852B (zh) 觸控裝置
CN203191926U (zh) 一种利用光源实现人机交互的装置
KR102546982B1 (ko) 딥러닝 모델을 위한 학습 데이터를 생성하기 위한 장치 및 그 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant