CN112702586A - 基于可见光的投影仪虚拟触控跟踪方法、装置及系统 - Google Patents

基于可见光的投影仪虚拟触控跟踪方法、装置及系统 Download PDF

Info

Publication number
CN112702586A
CN112702586A CN202011533031.5A CN202011533031A CN112702586A CN 112702586 A CN112702586 A CN 112702586A CN 202011533031 A CN202011533031 A CN 202011533031A CN 112702586 A CN112702586 A CN 112702586A
Authority
CN
China
Prior art keywords
touch
visible light
light spot
projector
peripheral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011533031.5A
Other languages
English (en)
Other versions
CN112702586B (zh
Inventor
赖俊霖
王鑫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jimi Technology Co Ltd
Original Assignee
Chengdu Jimi Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jimi Technology Co Ltd filed Critical Chengdu Jimi Technology Co Ltd
Priority to CN202011533031.5A priority Critical patent/CN112702586B/zh
Publication of CN112702586A publication Critical patent/CN112702586A/zh
Application granted granted Critical
Publication of CN112702586B publication Critical patent/CN112702586B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

本申请公开了一种基于可见光的投影仪虚拟触控跟踪方法、装置及系统，涉及投影显示技术领域。所述方法包括：获取摄像机采集的图像，所述图像中包含投影画面和触控外设发出的可见光光斑；根据所述图像生成触控信号；根据所述触控信号实现虚拟触控和/或跟踪。本申请基于便携的触控外设和特定颜色提取算法结合的方法实现投影仪虚拟触控，价格低廉，便携性高，稳定性和灵活性较好；用户可直观地知道触控外设是否发出有效光，能有效避免无效操作，提高用户体验；且利用本申请可以实现多触控外设同时触发，且具备轨迹跟踪功能。

Description

基于可见光的投影仪虚拟触控跟踪方法、装置及系统
技术领域
本申请涉及投影显示技术领域，尤其涉及一种基于可见光的投影仪虚拟触控跟踪方法、装置及系统。
背景技术
随着投影显示技术的发展，投影仪的应用场景越来越广泛，投影仪虚拟触控技术也得到了快速发展。目前存在的投影仪虚拟触控技术大多需要专业的触控辅助外设来进行，传统的虚拟触控大多借助触控膜或者预先安装在墙面的激光扫描装置实现，不但价格高昂，且安装和转移均较复杂，灵活性较差。除此之外，也有一些方法通过红外光线来实现投影仪虚拟触控，即利用红外触控外设在相应区域发生触控时发出红外光线，摄像机拍摄包含红外光线的画面，然后进行定位，从而实现虚拟触控。由于红外光线不能被人眼看见，当红外触控外设在相应区域发生触控时，若红外触控外设未发出红外光线，系统会判断为未发生触控，而用户不知道红外触控外设是否发出红外光线，仍会继续使用红外触控外设进行操作，从而导致用户在此期间的操作无效；且其摄像机必须是能捕捉红外光线的红外相机。
发明内容
鉴于现有技术的不足，本申请提供一种基于可见光的投影仪虚拟触控跟踪方法、装置及系统，用户可直观地知道触控外设是否发出有效光，能有效避免无效操作，提高用户体验，且采用普通的彩色摄像机即可。
第一方面，本申请提供一种基于可见光的投影仪虚拟触控跟踪方法，包括：
获取摄像机采集的图像，所述图像中包含投影画面和触控外设发出的可见光光斑；
根据所述图像生成触控信号；
根据所述触控信号实现虚拟触控和/或跟踪。
在一种可能的实现方式中，所述可见光光斑为第一可见光光斑或第二可见光光斑，所述触控外设未发生触控时，发出所述第一可见光光斑，所述触控外设发生触控时，发出所述第二可见光光斑，其中，第一可见光与第二可见光的颜色不同。
在一种可能的实现方式中，所述根据所述图像生成触控信号包括：
对所述图像进行通道分离，得到单通道图像；
根据所述单通道图像进行光斑检测；
若检测到有效光斑，则生成触控信号。
在一种可能的实现方式中，所述根据所述单通道图像进行光斑检测包括：
对单通道图像进行阈值化，生成二值图像；
在所述二值图像中进行光斑检测。
在一种可能的实现方式中，在所述对单通道图像进行阈值化之前，还包括：
根据光斑的颜色选取单通道图像；
只对选取的单通道图像进行阈值化。
在一种可能的实现方式中，所述在所述二值图像中进行光斑检测包括：
在所述二值图像中提取光斑轮廓；
获取所述光斑轮廓面积大小；
对所述光斑轮廓进行椭圆拟合，得到椭圆的长短轴长度值，获取长径比ratio＝length/weith，其中length表示长轴长度，weith表示短轴长度；
获取所述光斑轮廓的质心和形心；
若所述光斑轮廓面积大小介于第一上下阈值之间，长径比介于第二上下阈值之间，所述光斑轮廓的质心和形心的间距小于第三阈值，且只在所述触控外设发生触控时发出的光斑的颜色对应的单通道图像中检测到光斑，则所述光斑为有效光斑。
在一种可能的实现方式中，所述若检测到有效光斑，则生成触控信号包括：
通过单应性矩阵，将所述有效光斑的形心在摄像机坐标系下的坐标值转换为投影仪坐标系下的坐标值；
根据所述投影仪坐标系下的坐标值生成触控信号。
在一种可能的实现方式中，所述单通道图像包括R、G或B单通道图像，其中，R表示红色通道，G表示绿色通道，B表示蓝色通道。
在一种可能的实现方式中，所述若检测到有效光斑，则生成触控信号包括：
若检测到有效光斑的通道由第一可见光的颜色对应的通道转变为第二可见光的颜色对应的通道，则判定为发生触控，反之，则判定为取消触控。
在一种可能的实现方式中，所述根据所述触控信号实现虚拟触控和/或跟踪包括：
从判定为发生触控开始，对所述有效光斑进行跟踪，实现触控轨迹跟踪。
在一种可能的实现方式中，所述有效光斑的形心轨迹为所述触控轨迹。
在一种可能的实现方式中，所述摄像机为安装在投影仪内的摄像头。
在一种可能的实现方式中，所述第一可见光与第二可见光从以下颜色中选取：红色、蓝色和绿色。
第二方面，本申请提供一种基于可见光的投影仪虚拟触控跟踪装置，包括：
图像获取模块，用于获取摄像机采集的图像，所述图像中包含投影画面和触控外设发出的可见光光斑；
触控信号生成模块，用于根据所述图像生成触控信号；
触控跟踪实现模块，用于根据所述触控信号实现虚拟触控和/或跟踪。
在一种可能的实现方式中，所述可见光光斑为第一可见光光斑或第二可见光光斑，所述触控外设未发生触控时，发出所述第一可见光光斑，所述触控外设发生触控时，发出所述第二可见光光斑，其中，第一可见光与第二可见光的颜色不同。
第三方面，本申请提供一种触控外设，用于实现投影仪虚拟触控跟踪，所述触控外设包括：
电池模块，用于为所述触控外设的各部件提供电源；
触控模块，用于触控；
发光模块，用于在所述触控外设处于开机状态，所述触控模块未发生触控时，发出第一可见光光斑，所述触控模块发生触控时，发出第二可见光光斑，其中，第一可见光与第二可见光的颜色不同。
在一种可能的实现方式中，所述触控外设为触控笔，所述触控模块设置在笔尖，所述发光模块设置在笔端。
在一种可能的实现方式中，所述第一可见光与第二可见光从以下颜色中选取：红色、蓝色和绿色。
第四方面，本申请提供一种投影仪，所述投影仪包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如第一方面或第一方面的可能的实现方式中所述的基于可见光的投影仪虚拟触控跟踪方法。
第五方面，本申请提供一种基于可见光的投影仪虚拟触控跟踪系统，所述系统包括可见光触控外设和投影仪，所述可见光触控外设为第三方面或其可能的实现方式中所述的可见光触控外设，所述投影仪为第四方面所述的投影仪。
第六方面，本申请提供一种存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如第一方面或第一方面的可能的实现方式中所述的基于可见光的投影仪虚拟触控跟踪方法。
需要说明的是，本申请中第二方面所述的基于可见光的投影仪虚拟触控跟踪装置、第四方面所述的投影仪以及第六方面所述的存储介质，用于实现上述第一方面所提供的方法，因此可以达到与第一方面所述的方法相同的有益效果，本申请实施例不再一一赘述。
本申请基于便携的触控外设和特定颜色提取算法结合的方法实现投影仪虚拟触控，价格低廉，便携性高，稳定性和灵活性较好。此外，利用本申请可以实现多触控外设同时触发，且具备轨迹跟踪功能。
附图说明
本申请将通过实施例并参照附图的方式说明，其中：
图1为本申请实施例提供的基于可见光的投影仪虚拟触控跟踪系统结构示意图；
图2为本申请实施例提供的基于可见光的投影仪虚拟触控跟踪方法流程图；
图3为本申请实施例提供的根据图像生成触控信号的方法流程图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。此外，虽然本申请中公开内容按照示范性一个或几个实例来介绍，但应理解，可以就这些公开内容的各个方面也可以单独构成一个完整技术方案。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
在本申请实施例中，“示例地”、“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用示例的一词旨在以具体方式呈现概念。
除非另外定义，本申请使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而是仅用于区分描述，且对应术语的含义可以相同也可以不同。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。
下面将结合附图，对本申请中的技术方案进行描述。
图1为本申请实施例提供的基于可见光的投影仪虚拟触控跟踪系统结构示意图。如图1所示，该系统包括投影仪1、摄像机2和触控外设3，触控外设3可具备便携、微量耗电的优点，在图1所示实施例中，摄像机2为安装在投影仪1内的摄像头，降低成本。投影仪1投影画面，用户打开触控外设3，手持触控外设3进入画面区域，在想要触控的区域进行触控，触控外设3发出可见光斑；摄像机2实时采集图像；即可根据所述图像生成触控信号，然后根据所述触控信号实现虚拟触控和/或跟踪。使用触控外设3发出可见光斑，用户可直观地知道触控外设是否发出有效光，能有效避免无效操作，提高用户体验。
在一些实施例中，也可使用一种具备发射变色可见光斑的触控外设，触控外设具备发生触控时可以切换发射的光源颜色的功能，即，在发生触控和不发生触控时，发出不同颜色的可见光斑，如，未发生触控时，发出蓝色光斑，发生触控时，发出红色光斑。该触控外设可包括电池模块、触控模块和发光模块，电池模块用于为所述触控外设的各部件提供电源；触控模块用于触控；发光模块用于在所述触控外设处于开机状态，所述触控模块未发生触控时，发出第一可见光光斑，所述触控模块发生触控时，发出第二可见光光斑，其中，第一可见光与第二可见光的颜色不同。触控外设优选为笔外形的触控外设，触控模块设置在笔尖，发光模块设置在笔端，笔尖触控时，笔端处变为第二可见光光斑，未触控时，笔端处变为第一可见光光斑。触控外设在未发生触控和发生触控时，分别发出不同颜色的可见光斑，可以更加稳定的采用多通道唯一性来去除投影仪主动光源的影响，同时可变可见光可以更方便用户直观得到当前的触控状态。
在以下实施例中，本申请以触控外设未发生触控时，发出蓝色光斑，触控外设发生触控时，发出红色光斑为例对基于可见光的投影仪虚拟触控跟踪方法进行进一步说明，但是，本申请的第一可见光和第二可见光的颜色包括但不限于红色和蓝色，只要存在颜色变化且摄像机能捕捉到颜色差异即可，如蓝白、黄蓝等。
图2为本申请实施例提供的基于可见光的投影仪虚拟触控跟踪方法流程图。如图2所示，基于可见光的投影仪虚拟触控跟踪方法包括以下步骤：
S101.获取摄像机采集的图像，所述图像中包含投影画面和触控外设发出的可见光光斑。
该摄像机可以为独立于投影仪外的摄像机，也可以为安装在投影仪内的摄像头。
S102.根据所述图像生成触控信号。
摄像机采集的图像具有R,G,B三通道，其中R表示红色，G表示绿色，B表示蓝色通道。如图3所示，步骤S102具体包括以下步骤：
S201.对所述图像进行通道分离，得到单通道图像。
本申请实施例以RGB格式图像为例进行说明，即对图像进行通道分离后，得到的是R、G和B单通道图像。本申请包括但不限于RGB、HSV、YUV等格式图像，都可以采用通道分离方法实现单通道图像提取，后续在分离出的单通道图像下进行光斑检测。
摄像机拍摄的图像中通常含有一些噪声，而实际的噪声大多为白噪声，因此通过对原图像进行高斯滤波，达到去除图像噪声的目的，高斯滤波窗口可根据图像分辨率来选取，如滤波窗大小选取为3*3。然后对滤波后的图像进行通道分离，即分别取出R,G,B三色通道图像。
S202.根据所述单通道图像进行光斑检测。
通过步骤S201获得了单通道图像，对单通道图像进行阈值化，生成二值图像，随后在二值图像中进行光斑检测。由于不同的光斑颜色对应不同的色彩通道，如蓝色光斑对应B通道，红色光斑对应R通道，白色光斑对应RGB三通道，黄色对应RB两通道等，可根据光斑的颜色选取对应的单通道图像进行光斑检测以减少计算量，本申请实施例涉及的光斑颜色为红色和蓝色，选取R，B两单通道图像来检测光斑。在其他一些实施例中，若光斑颜色涉及蓝色和白色，则选取R，G，B三单通道图像来检测光斑；若光斑颜色涉及蓝色和黄色，则选取R，B两单通道图像来检测光斑。因此，当选取RGB格式图像进行处理时，光斑颜色可在红色、绿色和蓝色三种颜色中选取，从而减少计算量。
阈值化：因为光斑颜色可以预先设计和控制，因此其在各个通道内的灰度值在一定范围。如用下式表示灰度值：
I＝(i1，i2，i3)
其中，I表示光斑颜色灰度值，i1，i2，i3为三通道分别对应的灰度值，这里以RGB颜色通道顺序为准，对于纯蓝色可见光I＝(i1＝0，i2＝0，i3＝255)，对于纯红色可见光I＝(i1＝255，i2＝0，i3＝0)。
因此在RGB图像中，可以对通道阈值进行设定，这里设置为通道灰度值的0.7倍，即
thresdk＝0.7*ik，k＝1，2，3
其中，thresdk表示k通道阈值，ik就是光斑颜色对应通道的灰度值，这样就可以通过简单的固定阈值二值化对每个通道进行处理生成二值图像，采用固定阈值二值化的方法不但可以快速的提高处理速度，同时算法也会更加稳定，固定阈值二值化关系为：
Figure BDA0002848083100000071
其中thresd就是阈值，i实为对应通道实际的灰度值，即对图像进行通道分离得到的单通道图像的灰度值。
光斑检测：触控外设发光光斑是可以设计的，通常选用圆形发光光斑，因此光斑提取主要是在每个通道的二值图像中去检测符合一定几何约束和条件的光斑，示例地，本申请提取四个限制条件在二值图像中进行光斑检测，首先对二值图像进行Canny边缘查找，再使用opencv的findContours()函数，查找轮廓，得到轮廓集合，方便后面的轮廓计算：
(1)轮廓面积大小：获取轮廓面积大小，设定轮廓面积上下阈值(minContourArea,max ContoursArea)，轮廓面积介于上下阈值之间的是有效轮廓；
(2)轮廓近似：对轮廓进行椭圆拟合，如采用最小二乘法进行椭圆拟合，得到椭圆的长短轴长度值，计算长径比：ratio＝length/weith，其中length表示长轴长度，weith表示短轴长度，设定长径比上下阈值(min Ratio,max Ratio)，介于上下阈值之间的轮廓为有效轮廓，其阈值范围可根据实际情况进行选取，如取为(0.7，1.3)。
(3)质心与形心接近：获取轮廓的质心和形心，质心表示轮廓灰度值中心，可以通过opencv的moments()函数计算得到轮廓的矩，然后根据轮廓矩到质心的计算方法，得到轮廓质心：
x＝m10/m00
y＝m01/m00其中，m10,m00,m01为moments()函数计算得到的一阶轮廓矩，x,y就是轮廓质心的X,Y坐标，形心就是通过椭圆拟合得到的中心，记为(x1,y1),设定偏心距离Distance，如果质心和形心的间距小于偏心距离Distance，则为有效轮廓，该偏心距离可根据实际情况进行选取，如设置为3个像素。
(4)触控外设发生触控时发出的光斑颜色是提前设计好的，进行光斑检测时，当只在该光斑颜色对应的通道图像中检测到光斑时，该光斑才是有效光斑。本申请实施例中，不同色道光斑不重合，因为同一时间只会发出一种颜色光斑，因此，如果在R,B通道同一区域附近检测到面积重合度较高的光斑，视为无效光斑。
本申请实施例中，必须同时满足上述四个条件，光斑轮廓才被认为是最终需要的有效轮廓，即完成光斑筛选。
S203.若检测到有效光斑，则生成触控信号。
本申请实施例中，如果在R通道检测到有效光斑，B通道未检测到有效光斑，则说明此时发生了触控，生成触控信号；反之，如果在B通道检测到有效光斑，R通道未检测到有效光斑，则此时未触控，不生成触控信号。
触控检测：在未发生触控时，B通道检测到有效光斑，R通道对应区域未检测到有效光斑，当发生触控时，B通道有效光斑消失，同时R通道对应区域出现有效光斑，则此时判定发生触控。反之，表示取消触控。
由于摄像机坐标系与投影仪坐标系不同，需要通过摄像机坐标系与投影仪坐标系的转换关系，将发生区域映射到投影仪端，实现功能触发。
摄像机投影仪关系坐标转换计算：摄像机采集图像，提取摄像机图像中投影仪的四个顶点坐标(A,B,C,D)，对应于投影仪图像下的四个坐标顶点(A1,B1,C1,D1)，通过四个点对可以计算得到对应的单应性矩阵H：
Figure BDA0002848083100000091
其中
Figure BDA0002848083100000092
为投影仪图像坐标，
Figure BDA0002848083100000093
为摄像机图像坐标。
通过单应性矩阵H，就可以将在摄像机图像中检测到的光斑的形心坐标，转换到投影仪坐标系下，完成投影仪区域下的定位，即可根据投影仪坐标系下的坐标值生成触控信号，实现相应区域的功能触发。
S103.根据所述触控信号实现虚拟触控和/或跟踪。
本申请实施例可实现多触控外设同时触发，且具备轨迹跟踪功能。从检测到发生触控开始，对有效光斑进行跟踪，实现触控轨迹跟踪和互动效果，如，有效光斑的形心轨迹，就是触控轨迹。
本申请实施例还提供一种基于可见光的投影仪虚拟触控跟踪装置，该装置用于实现上述实施例涉及的基于可见光的投影仪虚拟触控跟踪方法，可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，例如，用于获取摄像机采集的图像，所述图像中包含投影画面和触控外设发出的可见光光斑的图像获取模块；用于根据所述图像生成触控信号的触控信号生成模块；用于根据所述触控信号实现虚拟触控和/或跟踪的触控跟踪实现模块等。
本申请实施例还提供一种投影仪，所述投影仪包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现上述实施例涉及的基于可见光的投影仪虚拟触控跟踪方法。
本申请实施例还提供一种基于可见光的投影仪虚拟触控跟踪系统，其特征在于，所述系统包括触控外设和投影仪，所述触控外设为上述实施例涉及的触控外设，所述投影仪为上述实施例涉及的投影仪。
本申请实施例还提供一种存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现上述实施例涉及的基于可见光的投影仪虚拟触控跟踪方法。
应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，部分或全部步骤可以并行执行或先后执行，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个单元中。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，网络设备或者终端设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM)磁碟或者光盘等各种可以存储程序代码的介质。
在本申请实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”或“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (21)

1.一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，包括：
获取摄像机采集的图像，所述图像中包含投影画面和触控外设发出的可见光光斑；
根据所述图像生成触控信号；
根据所述触控信号实现虚拟触控和/或跟踪。
2.根据权利要求1所述的一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，所述可见光光斑为第一可见光光斑或第二可见光光斑，所述触控外设未发生触控时，发出所述第一可见光光斑，所述触控外设发生触控时，发出所述第二可见光光斑，其中，第一可见光与第二可见光的颜色不同。
3.根据权利要求1或2所述的一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，所述根据所述图像生成触控信号包括：
对所述图像进行通道分离，得到单通道图像；
根据所述单通道图像进行光斑检测；
若检测到有效光斑，则生成触控信号。
4.根据权利要求3所述的一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，所述根据所述单通道图像进行光斑检测包括：
对单通道图像进行阈值化，生成二值图像；
在所述二值图像中进行光斑检测。
5.根据权利要求4所述的一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，在所述对单通道图像进行阈值化之前，还包括：
根据光斑的颜色选取单通道图像；
只对选取的单通道图像进行阈值化。
6.根据权利要求4所述的一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，所述在所述二值图像中进行光斑检测包括：
在所述二值图像中提取光斑轮廓；
获取所述光斑轮廓面积大小；
对所述光斑轮廓进行椭圆拟合，得到椭圆的长短轴长度值，获取长径比ratio＝length/weith，其中length表示长轴长度，weith表示短轴长度；
获取所述光斑轮廓的质心和形心；
若所述光斑轮廓面积大小介于第一上下阈值之间，长径比介于第二上下阈值之间，所述光斑轮廓的质心和形心的间距小于第三阈值，且只在所述触控外设发生触控时发出的光斑的颜色对应的单通道图像中检测到光斑，则所述光斑为有效光斑。
7.根据权利要求3所述的一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，所述若检测到有效光斑，则生成触控信号包括：
通过单应性矩阵，将所述有效光斑的形心在摄像机坐标系下的坐标值转换为投影仪坐标系下的坐标值；
根据所述投影仪坐标系下的坐标值生成触控信号。
8.根据权利要求3所述的一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，所述单通道图像包括R、G或B单通道图像，其中，R表示红色通道，G表示绿色通道，B表示蓝色通道。
9.根据权利要求3所述的一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，所述若检测到有效光斑，则生成触控信号包括：
若检测到有效光斑的通道由第一可见光的颜色对应的通道转变为第二可见光的颜色对应的通道，则判定为发生触控，反之，则判定为取消触控。
10.根据权利要求9所述的一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，所述根据所述触控信号实现虚拟触控和/或跟踪包括：
从判定为发生触控开始，对所述有效光斑进行跟踪，实现触控轨迹跟踪。
11.根据权利要求10所述的一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，所述有效光斑的形心轨迹为所述触控轨迹。
12.根据权利要求1所述的一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，所述摄像机为安装在投影仪内的摄像头。
13.根据权利要求2所述的一种基于可见光的投影仪虚拟触控跟踪方法，其特征在于，所述第一可见光与第二可见光从以下颜色中选取：红色、蓝色和绿色。
14.一种基于可见光的投影仪虚拟触控跟踪装置，其特征在于，包括：
图像获取模块，用于获取摄像机采集的图像，所述图像中包含投影画面和触控外设发出的可见光光斑；
触控信号生成模块，用于根据所述图像生成触控信号；
触控跟踪实现模块，用于根据所述触控信号实现虚拟触控和/或跟踪。
15.根据权利要求14所述的一种基于可见光的投影仪虚拟触控跟踪装置，其特征在于，所述可见光光斑为第一可见光光斑或第二可见光光斑，所述触控外设未发生触控时，发出所述第一可见光光斑，所述触控外设发生触控时，发出所述第二可见光光斑，其中，第一可见光与第二可见光的颜色不同。
16.一种触控外设，用于实现投影仪虚拟触控跟踪，其特征在于，所述触控外设包括：
电池模块，用于为所述触控外设的各部件提供电源；
触控模块，用于触控；
发光模块，用于在所述触控外设处于开机状态，所述触控模块未发生触控时，发出第一可见光光斑，所述触控模块发生触控时，发出第二可见光光斑，其中，第一可见光与第二可见光的颜色不同。
17.根据权利要求16所述的一种触控外设，其特征在于，所述触控外设为触控笔，所述触控模块设置在笔尖，所述发光模块设置在笔端。
18.根据权利要求16或17所述的一种触控外设，其特征在于，所述第一可见光与第二可见光从以下颜色中选取：红色、蓝色和绿色。
19.一种投影仪，其特征在于，所述投影仪包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现如权利要求1-13中任一项所述的基于可见光的投影仪虚拟触控跟踪方法。
20.一种基于可见光的投影仪虚拟触控跟踪系统，其特征在于，所述系统包括触控外设和投影仪，所述触控外设为权利要求16-18中任一项所述的触控外设，所述投影仪为权利要求19所述的投影仪。
21.一种存储介质，其特征在于，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现如权利要求1-13中任一项所述的基于可见光的投影仪虚拟触控跟踪方法。
CN202011533031.5A 2020-12-21 2020-12-21 基于可见光的投影仪虚拟触控跟踪方法、装置及系统 Active CN112702586B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011533031.5A CN112702586B (zh) 2020-12-21 2020-12-21 基于可见光的投影仪虚拟触控跟踪方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011533031.5A CN112702586B (zh) 2020-12-21 2020-12-21 基于可见光的投影仪虚拟触控跟踪方法、装置及系统

Publications (2)

Publication Number Publication Date
CN112702586A true CN112702586A (zh) 2021-04-23
CN112702586B CN112702586B (zh) 2023-06-30

Family

ID=75510784

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011533031.5A Active CN112702586B (zh) 2020-12-21 2020-12-21 基于可见光的投影仪虚拟触控跟踪方法、装置及系统

Country Status (1)

Country Link
CN (1) CN112702586B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113467443A (zh) * 2021-06-15 2021-10-01 湖南三一华源机械有限公司 压路机贴边控制装置、压路机、压路机群和控制方法
CN118411814A (zh) * 2024-06-27 2024-07-30 深圳新智联软件有限公司 基于投影仪摄像头的类触控遥控方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101167043A (zh) * 2004-01-16 2008-04-23 索尼电脑娱乐公司 用于光输入装置的方法和设备
CN101919241A (zh) * 2007-11-07 2010-12-15 豪威科技有限公司 在投射图像上定位光斑的双模投影装置及方法
TW201101152A (en) * 2009-06-30 2011-01-01 Avisonic Technology Corp Light pointing touch panel display device and related touch panel detecting method
US20120146926A1 (en) * 2010-12-02 2012-06-14 Lg Electronics Inc. Input device and image display apparatus including the same
CN102540673A (zh) * 2012-03-21 2012-07-04 海信集团有限公司 激光点位置确定系统及方法
CN102707817A (zh) * 2012-04-24 2012-10-03 广州市唯昕电子科技有限公司 激光书写系统
CN103677446A (zh) * 2013-11-14 2014-03-26 乐视致新电子科技（天津）有限公司 显示设备、摄像式触控方法及装置
US20140111981A1 (en) * 2011-07-22 2014-04-24 Lapin Create, Inc. Light emitting apparatus
US20150009138A1 (en) * 2013-07-04 2015-01-08 Sony Corporation Information processing apparatus, operation input detection method, program, and storage medium
CN104765233A (zh) * 2015-03-16 2015-07-08 浙江工业大学 一种跟踪屏幕可见光轨迹的投影放映系统
CN108701365A (zh) * 2017-08-29 2018-10-23 广东虚拟现实科技有限公司 光点识别方法、装置以及系统
CN109564462A (zh) * 2016-07-01 2019-04-02 广东虚拟现实科技有限公司 电子追踪设备，电子追踪系统和电子追踪方法
CN109782962A (zh) * 2018-12-11 2019-05-21 中国科学院深圳先进技术研究院 一种投影交互方法、装置、系统及终端设备
CN111462225A (zh) * 2020-03-31 2020-07-28 电子科技大学 一种红外光斑图像的质心识别定位方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101167043A (zh) * 2004-01-16 2008-04-23 索尼电脑娱乐公司 用于光输入装置的方法和设备
CN101919241A (zh) * 2007-11-07 2010-12-15 豪威科技有限公司 在投射图像上定位光斑的双模投影装置及方法
TW201101152A (en) * 2009-06-30 2011-01-01 Avisonic Technology Corp Light pointing touch panel display device and related touch panel detecting method
US20120146926A1 (en) * 2010-12-02 2012-06-14 Lg Electronics Inc. Input device and image display apparatus including the same
US20140111981A1 (en) * 2011-07-22 2014-04-24 Lapin Create, Inc. Light emitting apparatus
CN102540673A (zh) * 2012-03-21 2012-07-04 海信集团有限公司 激光点位置确定系统及方法
CN102707817A (zh) * 2012-04-24 2012-10-03 广州市唯昕电子科技有限公司 激光书写系统
US20150009138A1 (en) * 2013-07-04 2015-01-08 Sony Corporation Information processing apparatus, operation input detection method, program, and storage medium
CN103677446A (zh) * 2013-11-14 2014-03-26 乐视致新电子科技（天津）有限公司 显示设备、摄像式触控方法及装置
CN104765233A (zh) * 2015-03-16 2015-07-08 浙江工业大学 一种跟踪屏幕可见光轨迹的投影放映系统
CN109564462A (zh) * 2016-07-01 2019-04-02 广东虚拟现实科技有限公司 电子追踪设备，电子追踪系统和电子追踪方法
CN108701365A (zh) * 2017-08-29 2018-10-23 广东虚拟现实科技有限公司 光点识别方法、装置以及系统
CN109782962A (zh) * 2018-12-11 2019-05-21 中国科学院深圳先进技术研究院 一种投影交互方法、装置、系统及终端设备
CN111462225A (zh) * 2020-03-31 2020-07-28 电子科技大学 一种红外光斑图像的质心识别定位方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JANGWOON KIM等: ""HCI(Human Computer Interaction) Using Multi-touch Tabletop Display"", 《 2007 IEEE PACIFIC RIM CONFERENCE ON COMMUNICATIONS, COMPUTERS AND SIGNAL PROCESSING》 *
李伟仙: ""基于摄像机的多投影屏幕激光笔跟随演示方法"", 《应用光学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113467443A (zh) * 2021-06-15 2021-10-01 湖南三一华源机械有限公司 压路机贴边控制装置、压路机、压路机群和控制方法
CN113467443B (zh) * 2021-06-15 2022-08-26 湖南三一华源机械有限公司 压路机贴边控制装置、压路机、压路机群和控制方法
CN118411814A (zh) * 2024-06-27 2024-07-30 深圳新智联软件有限公司 基于投影仪摄像头的类触控遥控方法及系统

Also Published As

Publication number Publication date
CN112702586B (zh) 2023-06-30

Similar Documents

Publication Publication Date Title
JP6417702B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US8941687B2 (en) System and method of user interaction for augmented reality
US8818027B2 (en) Computing device interface
US9055267B2 (en) System and method of input processing for augmented reality
CN105022498B (zh) 电子装置及其方法
CN107077258B (zh) 投射型影像显示装置以及影像显示方法
CN110209273A (zh) 手势识别方法、交互控制方法、装置、介质与电子设备
US8913037B1 (en) Gesture recognition from depth and distortion analysis
EP3996361A1 (en) Information processing apparatus, information processing method, and program
JP2012018673A (ja) 物体検知方法及び装置
CN112702586B (zh) 基于可见光的投影仪虚拟触控跟踪方法、装置及系统
JP5510907B2 (ja) タッチ位置入力装置及びタッチ位置入力方法
JP6779688B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP4848521B2 (ja) プロジェクタ投影映像のマウス代替操作方法およびそのマウス代替操作システム
CN112184837B (zh) 一种图像检测方法、装置、电子设备及存储介质
JP4694957B2 (ja) 情報提示装置及び情報提示方法とそのプログラム
TW201305856A (zh) 投影系統與其影像處理方法
JP2017033256A (ja) 画像処理装置、コミュニケーションシステム、画像処理方法、及びプログラム
CN113747076A (zh) 拍摄方法、装置及电子设备
CN116301551A (zh) 触控识别方法、触控识别装置、电子设备及介质
US11736795B2 (en) Shooting method, apparatus, and electronic device
CN113096193A (zh) 三维体感操作的识别方法、装置和电子设备
JP2016152467A (ja) 追尾装置、追尾方法及び追尾プログラム
US20230419735A1 (en) Information processing device, information processing method, and storage medium
KR101465940B1 (ko) 영상에서 컬러 객체를 검출하는 방법, 영상에서 컬러 객체를 검출하는 장치 및 영상에서 복수의 컬러 객체를 검출하는 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 610000 building 4, zone a, Tianfu Software Park, No. 1129, shijicheng Road, high tech Zone, Chengdu, Sichuan

Applicant after: Jimi Technology Co.,Ltd.

Address before: No.2, floor 2, unit 1, building 4, Tianfu Software Park, no.1129, shijicheng Road, hi tech Zone, Chengdu, Sichuan 610041

Applicant before: Chengdu Jimi Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant