CN108363519A - 分布式红外视觉检测与投影融合自动矫正的触控显示系统 - Google Patents
分布式红外视觉检测与投影融合自动矫正的触控显示系统 Download PDFInfo
- Publication number
- CN108363519A CN108363519A CN201711481954.9A CN201711481954A CN108363519A CN 108363519 A CN108363519 A CN 108363519A CN 201711481954 A CN201711481954 A CN 201711481954A CN 108363519 A CN108363519 A CN 108363519A
- Authority
- CN
- China
- Prior art keywords
- projection
- touch
- module
- image
- plane
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 59
- 230000004927 fusion Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 49
- 238000012937 correction Methods 0.000 claims abstract description 40
- 238000009877 rendering Methods 0.000 claims abstract description 16
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000035807 sensation Effects 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 9
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 8
- 238000000205 computational method Methods 0.000 claims description 4
- 238000013461 design Methods 0.000 claims description 3
- 230000002708 enhancing effect Effects 0.000 claims description 3
- 230000001360 synchronised effect Effects 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 abstract description 4
- 238000007499 fusion processing Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000003993 interaction Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000010354 integration Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Projection Apparatus (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明属于计算机软件与投影的技术领域，具体涉及一种分布式红外视觉检测与投影融合自动矫正的触控显示系统，旨在解决触摸事件检测的延时、拼接融合过程相对费时的问题，本系统包括投影设备、视觉采集模块、红外发射器模块、摄像机标定模块、检测处理客户端、数据融合模块、影像处理器、多线程投影渲染模块、自动投影融合校正模块。本发明能够实时检测大型触控区域的触控事件，保证了触控检测的时效性；可以同时渲染多路投影影像画面，提升了渲染效率；方便系统投影融合校正前期的搭建和后期的维护。
Description
技术领域
本发明属于计算机软件与投影的技术领域，具体涉及一种分布式红外视觉检测与投影融合自动矫正的触控显示系统。
背景技术
随着科技的发展，人机交互的体验趋于追求智能化、沉浸感、交互性，大型触摸屏幕集显示与互动功能为一体，在提供一种直觉性高的交互体验的同时，还可以支持多人同时观看体验，已成为在商业项目推介、博物馆主题展示、游戏互动娱乐等方面广泛应用的显示方式。目前大型触摸屏幕的工作方式采用在玻璃瓶和液晶屏之间加了一层电信号感应面，感应手指的触摸，达到实时检测反馈的效果，但其成本会随着显示屏幕尺寸的增加大幅度增长，大尺寸显示将花费极高的费用；另一方面内部的液晶屏难以承受高压力冲击，一些高强度的互动游戏极易损坏屏幕，增加了后期的维护运营成本。因此开发一款大屏幕、抗冲击、低成本的实时触摸显示方案，这是一个有待研发的课题。
针对上述触控显示的需求，采用视觉检测触控结合的投影显示方案成为一种新的触控显示技术。中国专利(CN102236408A)提出一种“基于图像识别、多投影机融合大屏幕的多点人机交互系统”，对应着投影仪和投影幕设备，以实现基于图像识别、多投影机融合大屏幕为目的，设置图像布局模块、投影数据接收模块、投影数据拼合模块、标准效果模块、效果监测模块以及数据输出模块；以实现人机交互为目的，设置用户输出监测模块、用户输出识别模块、屏幕坐标转换模块以及用户输出结果数据融合模块，在增强场景沉浸感的同时又对应着场景使人机交互更加自然。中国专利(申请公布号CN102799317A)公开一种“智能互动投影系统”，系统由：红外摄像机，虚拟互动区域，投影仪单元，红外激光发射器单元，存储单元，处理单元，有线通信单元及无线通信单元组成，采用红外激光发射器平行触控感应平面发射红外“一字线”激光束，利用手指或其他触摸设备“点击”时阻断激光束场，通过红外摄像机成像形成“高亮”光斑的原理，检测触摸事件，再将红外摄像机坐标系下的位置信息映射到虚拟互动区域坐标系下的位置信息。实现利用单个红外相机在垂直方向上单点和多点触摸显示的功能。
结合上述发明，多种基于视觉的互动投影产品已经出现。这些产品在一些领域成功应用的同时也暴露出一些问题：
1.视觉触摸检测算法的前提是摄像机“看得见”，对于大型触摸区域单个摄像机的监视难以覆盖，因此需要布置多个摄像机并将采集到的收据统一到同一个坐标系下；
2.随着接入处理器摄像机数量的增长读取摄像头帧率的明显下降，经统计摄像机分辨率设置为1280*720接入1～4个摄像机的帧率分别为32帧/秒、22帧/秒、14帧/秒、10帧/秒，这将导致触摸事件检测的延时；
3.目前多路投影的拼接融合主要依靠物理对齐或者人工矫正，因此拼接融合过程相对费时，后期投影融合的维护需要专门人员。
针对上述应用场景中存在的问题，本发明提出一种基于分布式红外视觉检测与自动投影融合矫正触控系统，设置了检测处理客户端，多线程数据融合中转模块，多线程影像渲染模块，自动投影融合校正模块。本发明经多项具体实例验证，能够实时检测大型场景的触控事件，检测刷新率可达到30帧/帧；多台(2～4)投影融合自动校正仅需30s，校正精度可达像素级。
发明内容
为了解决现有技术中的上述问题，即为了解决触摸事件检测的延时、拼接融合过程相对费时的问题，本方发明提出了一种分布式红外视觉检测与投影融合自动矫正的触控显示系统，包括投影设备、视觉采集模块、红外发射器模块、摄像机标定模块、检测处理客户端、数据融合模块、影像处理器、多线程投影渲染模块、自动投影融合校正模块；
所述投影设备为多台，用于投影影像；
所述视觉采集模块包括一个或多个摄像机，用于实时采集触控区域的图像；
所述红外发射器模块平行于触控平面，发射红外激光面并铺满整个触控区域；
摄像机标定模块，用于划分摄像机各自监视的触控区域，并标定摄像机与触控区域；
检测处理客户端，用于实时处理摄像机的图像，检测触摸位置的图像坐标，并计算图像坐标对应的触控区域坐标，将坐标信息发布到数据融合模块；
数据融合模块，用于并行接收视觉检测客户端传送的数据，对不同视觉检测客户端发送的数据进行融合处理发送到影像处理器；
影像处理器，用于接收数据融合模块发送的坐标数据，触发该坐标位置的设计的影像；
多线程投影渲染模块，用于实时捕捉影像处理器窗口，同步渲染多路投影影像；
自动投影融合校正模块，用于对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。
进一步地，所述自动投影融合校正模块包括可见光摄像机、融合矫正处理单元；所述可见光摄像机用于对投影区域进行图像采集；所述融合矫正处理单元对所述多台投影设备的多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。
进一步地，所述“对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域”，其方法为：
将需要投影的触控区域平面通过网格化等分成若干大小相等的网格；
计算所述网格在投影平面的像，将投影的影像采用纹理贴图的方式映射到网格中，再根据相位信息调整颜色亮度。
进一步地，所述“计算所述网格在投影平面的像”，其方法为：
根据下式计算触控区域平面的网格在投影平面的像
其中，(μ,ν)为投影平面的像素坐标，(X,Y,0)为触控区域平面的坐标，Hp为触控区域平面到投影设备平面的单应矩阵。
进一步地，触控区域平面到投影设备平面的单应矩阵Hp的计算方法为：
Hp＝Hc×Hcp
其中，Hc为触控区域平面到摄像机平面的单应矩阵，Hcp为相机平面到投影仪平面的单应矩阵。
进一步地，所述“根据相位信息调整颜色亮度”，其方法为：
根据对投影融合区的亮度进行由强到弱衰减，进行颜色的拼接融合；或者
根据对投影融合区的亮度进行由弱到强增强，进行颜色的拼接融合；
其中，
r为调节系数。
进一步地，相机平面到投影仪平面的单应矩阵Hcp，其生成方法为：
通过投影设备向触控区域平面投影棋盘格，通过可见光摄像机采集棋盘格的角点，通过下式计算Hcp，
其中，
(μn,νn)为投影平面的第n个像素坐标，(Xn,Yn,0)为触控区域平面的对应的第n个坐标。
进一步地，触摸位置在投影平面的像素坐标(μ,ν)的计算方法为：
其中，f(i,j)为触摸位置区域的图像亮度，(i,j)为触摸区域图像像素坐标，Ω表示触摸位置区域。
进一步地，根据下式对不同摄像机的监视融合区的数据判断：
其中，Dfusion＜d判定为同一个坐标，否则判断为不同的触摸坐标，d为预设数值，(xi,yi)、(xj,yj)分别为摄像机i与摄像机j的映射坐标。
进一步地，所述检测处理客户端与所述摄像机一一对应，分别通过独立线程获取对应摄像机所采集的图像。
进一步地，所述数据融合模块通过多线程并行接收视觉检测客户端传送的数据，并校正所有接入的检测处理客户端的时间轴。
本发明采用检测处理客户端实时处理摄像机的图像，能够实时检测大型触控区域的触控事件，保证了触控检测的时效性；多线程投影渲染模块实时捕捉影像处理器窗口，可以同时渲染多路投影影像画面，提升了渲染效率；自动投影融合校正模块对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域，方便系统投影融合校正前期的搭建和后期的维护。
附图说明
图1为本发明实施例的分布式红外视觉检测与投影融合自动矫正的触控显示系统硬件构成示意图；
图2为本发明实施例的分布式红外视觉检测与投影融合自动矫正的触控显示系统的框架示意图；
图3为本发明实施例的融合区域和非融合区域触控位置示意图；
图4为本发明实施例的红外发射器模块安装位置示意图；
图5为本发明实施例摄像机布置及标定的示意图；
图6为本发明实施例自动投影融合校正网格化触控区域平面示意图；
图7为本发明实施例自动投影融合校正的投影仪标定示意图；
图8为本发明实施例数据融合模块计算流程示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明实施例的分布式红外视觉检测与投影融合自动矫正的触控显示系统，如图1、图2所示，包括投影设备108、视觉采集模块 101、红外发射器模块100、摄像机标定模块102、检测处理客户端103、数据融合模块104、影像处理器105、多线程投影渲染模块106、自动投影融合校正模块107；
1、投影设备
投影设备108为多台投影仪，用于投影影像。
采用投影设备将渲染矫正的影像投影到物理平面(如墙、地面、桌面等)上。大尺寸触摸显示区域，需要多台投影设备。投影仪可以选择有CRT，LCD，DLP等不同类型的工作方式，以透视、反射的方式投影影像画面。
2、视觉采集模块
视觉采集模块101包括一个或多个摄像机，用于实时采集触控区域的图像。作为实时触摸事件的检测设备，该模块的摄像机装设有红外滤光片构成红外摄像机，只可见波长为800～850nm的红外光。当手指或其他触摸设备触摸触控区域阻断红外激光面，红外摄像机成像形成“高亮”光斑。
3、红外发射器模块
红外发射器模块100的发光面平行于触控平面，发射红外激光面并铺满整个触控区域。该模块发射波长为808nm，厚度大概在2mm 左右的红外激光面。如图4所示，红外发射器模块平行设置于触控平面上部，扇形地发射红外激光面铺满整个触控区域。
4、摄像机标定模块
摄像机标定模块102，用于划分摄像机各自监视的触控区域，并标定摄像机与触控区域。
摄像机与世界坐标系的关系满足针孔模型，这里近似的将触控平面看作是世界坐标系中z＝0的平面，因此摄像机平面的像素坐标 (μ,ν)与触控平面坐标(X,Y,0)的关系可以表示为式(1)，其中K为相机的内参数，由式(2)表示。根据式(3)可以将图像的像素坐标映射到触控平面坐标。
其中，μ0、ν0、α、γ、β构成摄像机内参数矩阵，λ为变换尺度，r1,r2,r3,t为相机外参数矩阵的旋转平移分量，h1-h8构成单应矩阵。
5、检测处理客户端
检测处理客户端103，用于实时处理摄像机的图像，检测触摸位置的图像坐标，并计算图像坐标对应的触控区域坐标，将坐标信息发布到数据融合模块104。该模块采用嵌入式arm芯片作为处理器外设配置usb接口、有线网络/无线wifi通信模块。
检测处理客户端与所述摄像机一一对应，分别通过独立线程获取对应摄像机所采集的图像。
6、数据融合模块
数据融合模块104，用于并行接收视觉检测客户端传送的数据，对不同视觉检测客户端发送的数据进行融合处理发送到影像处理器。
数据融合模块104、影像处理器105、多线程投影渲染模块 106这三个模块都集成到中央处理器上，同时并行工作。
7、影像处理器
影像处理器105，用于接收数据融合模块发送的坐标数据，触发该坐标位置的设计的影像。
8、多线程投影渲染模块
多线程投影渲染模块106，用于实时捕捉影像处理器窗口，同步渲染多路投影影像。
9、自动投影融合校正模块
自动投影融合校正模块107，用于对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。
自动投影融合校正模块包括可见光摄像机、融合矫正处理单元；所述可见光摄像机用于对投影区域进行图像采集；所述融合矫正处理单元对所述多台投影设备的多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。
为了更清楚地对本发明技术方案进行说明，下面分别从触控场景设置、以及触控系统运行两个方面对本发明技术方案进行进一步描述。
触控场景的设置包括触控区域设置、摄像机布置及标定、投影仪布置及校正、网络搭建四部分内容。
触控区域设置：物理平面(如墙、地面、桌面等)设置宽为 l，高为h的触控区域，本实施例采用激光水平仪测量确定触控区域的四个定位角O(0,0)、O2(l,0)、O3(l,h)、O5(0,h)。为了更好的识别四个定位角，采用带红外反射的标记设置在触控区域的四个定位角。
摄像机布置及标定：对触控区域配置多个摄像头，相邻摄像机之间保留一个融合区，并确保每一个摄像机监视各自区域的像占图像的比例超过1/2。
摄像机标定即求式(3)的单应矩阵H-1，H-1的矩阵表示如式(4)所示。单应矩阵H-1有8个未知数，对式(3)变形得到式(5)。根据式(5)确定摄像机监视触控区域的四个定位角对应其图像的坐标位置，可以求的单应矩阵H-1唯一的解。如图5所示，设置有三个摄像机C1、C2、C3，其中C1、C2、C3全为红外摄像机，以摄像机C1为例，其监视区域的四个定位角为O(0,0)、O1(l/(N+R),0)、O4(l/(N+R),h)、 O5(0,h)，其中N为相机个数，R为预设的重叠区域占比，对应的图像坐标为P1(u1，v1)、P2(u2，v2)、P3(u3，v3)、P4(u4，v4)。摄像机标定模块102包含上述选择对应点，以及计算单应矩阵H-1的全部过程。
其中，(μn,νn)为摄像机摄像图像上的坐标；(Xn,Yn,0)表示与 (μn,νn)对应的触控平面上的坐标。
投影仪布置及校正：配置多个投影仪，其投影画面覆盖整个触控区域，相邻投影仪之间保留一个融合区。该过程除了需要用于显示的投影仪之外，还需要设置一个摄像机，摄像机监视整个触控区域，并确保监视区域的像占图像的比例超过1/2。
投影仪的矫正的整体思路是要将需要投影的触控区域平面等分成若干大小相等的平面(后面将用网格代表)，如图6所示，计算这些网格在投影平面的像，将需要投影影像采用纹理贴图的方式映射到网格图中，再根据相位信息调整颜色亮度。
投影平面与触控区域平面的映射关系满足单应矩阵。根据式 (6)可以求解触控区域网格在投影平面的像。
其中，(μ,ν)为投影平面的像素坐标，(X,Y,0)为触控区域平面的坐标，Hp为触控区域平面到投影设备平面的单应矩阵。
标定投影仪的实施过程即求解单应矩阵Hp：
1)计算触控区域平面到摄像机平面的单应矩阵Hc，如图7 所示，触控区域的四个定位点O、O2、O3、O5对应的图像点依次是P5、 P6、P7、P8，根据式(5)得到唯一的Hc。
(2)计算相机平面到投影仪平面的单应矩阵Hcp，如图7 所示，本实施例中，采用投影仪向触控区域投影棋盘格，可见光摄像机采集棋盘格的角点，根据式(5)得到唯一的Hcp(角点的个数往往大于4，采用最小二乘法求解)。
(3)根据式(7)，实现投影仪的标定。
Hp＝Hc×Hcp (7)
为了让多个投影融合区域在颜色上平稳过度，可以根据式(8) 对投影融合区的亮度进行由强到弱衰减，进行颜色的拼接融合；或者根据式(9)对投影融合区的亮度进行由弱到强增强，进行颜色的拼接融合；
其中，r为调节系数，本实施例中r＝0.45499；θ为相位系数。
自动投影融合校正模块107实现标定投影单应矩阵Hp、映射投影网格点坐标、颜色校正的全部过程。
网络搭建：将数据融合模块104、影像处理器105、多线程投影渲染模块106这三个模块都集成的中央处理器，将分布式检测处理客户端103搭建成一个局域网络。
触控系统运行部份包括视频检测发布、数据处理、影像处理、多线程投影渲染四部分。
视频检测发布：实时监视触控区域，获取触摸位置在投影平面的像素坐标(μ,ν)，本实施例中对触摸位置区域，即“高亮”区域采用式(10)、式(11)计算的图像坐标，其中Ω表示“高亮”区域，f(i,j) 为触摸位置区域的图像亮度，(i,j)为触摸区域图像像素坐标。
参考各自标定的单应矩阵，根据式(3)将图像坐标映射到触控区域坐标。本实施例中采用以下格式发送到数据融合模块。
检测处理客户端102包含上述检测触摸点图像坐标位置、映射到触摸区域坐标、坐标信息发布的全部过程。
数据处理：开辟多个线程实时接收检测处理客户端103发送的坐标数据，校正所有接入的检测处理客户端103的时间轴，保障可以同时接收到检测处理客户端103传送的数据，并对出现在融合区的数据进行数据融合，统计得到触控位置，工作流程如图8。
按坐标位置划分，接入的数据分为非监视融合区与监视融合区两类。处于监视融合区，同一个触控位置，不同检测处理客户端103 获得的坐标存在差异，如图3所示，l1-l5为第一个监视区域的触控位置， r1-r5为第二个监视区域的触控位置，其中l4、l5、r1、r2位于监视融合区域，l5和r1是同一个触控位置的不同检测结果。根据式(12)对监视融合区的数据进行融合处理，其中Dfusion＜d判定为同一个坐标，否则判断为不同的触摸坐标，d为预设数值，(xi,yi)、(xj,yj)分别为摄像机i与摄像机j的映射坐标。统计所有触控位置坐标发送到影像处理器105。
数据融合模块103包含上述接收数据、时间轴矫正、坐标融合的全部过程。
影像处理：实时按照触摸位置的坐标触发设计影像。
多线程投影渲染：通过多线程投影渲染模块105，实时对影像分屏处理，融合区域根据式(8)、式(9)进行亮度调整。本实施例中，采用opengl开辟多线程纹理贴的方式，渲染投影画面。
本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的模块、单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程 ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法所固有的要素。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (11)
1.一种分布式红外视觉检测与投影融合自动矫正的触控显示系统，包括投影设备、视觉采集模块、红外发射器模块、摄像机标定模块，其特征在于，还包括检测处理客户端、数据融合模块、影像处理器、多线程投影渲染模块、自动投影融合校正模块；
所述投影设备为多台，用于投影影像；
所述视觉采集模块包括一个或多个摄像机，用于实时采集触控区域的图像；
所述红外发射器模块平行于触控平面，发射红外激光面并铺满整个触控区域；
摄像机标定模块，用于划分摄像机各自监视的触控区域，并标定摄像机与触控区域；
检测处理客户端，用于实时处理摄像机的图像，检测触摸位置的图像坐标，并计算图像坐标对应的触控区域坐标，将坐标信息发布到数据融合模块；
数据融合模块，用于并行接收视觉检测客户端传送的数据，对不同视觉检测客户端发送的数据进行融合处理发送到影像处理器；
影像处理器，用于接收数据融合模块发送的坐标数据，触发该坐标位置的设计的影像；
多线程投影渲染模块，用于实时捕捉影像处理器窗口，同步渲染多路投影影像；
自动投影融合校正模块，用于对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。
2.根据权利要求1所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，所述自动投影融合校正模块包括可见光摄像机、融合矫正处理单元；所述可见光摄像机用于对投影区域进行图像采集；所述融合矫正处理单元对所述多台投影设备的多路投影进行几何和颜色矫正将影像投影准确投影到触控区域。
3.根据权利要求2所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，所述“对多路投影进行几何和颜色矫正将影像投影准确投影到触控区域”，其方法为：
将需要投影的触控区域平面通过网格化等分成若干大小相等的网格；
计算所述网格在投影平面的像，将投影的影像采用纹理贴图的方式映射到网格中，再根据相位信息调整颜色亮度。
4.根据权利要求3所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，所述“计算所述网格在投影平面的像”，其方法为：
根据下式计算触控区域平面的网格在投影平面的像
其中，(μ,ν)为投影平面的像素坐标，(X,Y,0)为触控区域平面的坐标，Hp为触控区域平面到投影设备平面的单应矩阵。
5.根据权利要求4所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，触控区域平面到投影设备平面的单应矩阵Hp的计算方法为：
Hp＝Hc×Hcp
其中，Hc为触控区域平面到摄像机平面的单应矩阵，Hcp为相机平面到投影仪平面的单应矩阵。
6.根据权利要求5所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，所述“根据相位信息调整颜色亮度”，其方法为：
根据对投影融合区的亮度进行由强到弱衰减，进行颜色的拼接融合；或者
根据对投影融合区的亮度进行由弱到强增强，进行颜色的拼接融合；
其中，
r为调节系数。
7.根据权利要求5所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，相机平面到投影仪平面的单应矩阵Hcp，其生成方法为：
通过投影设备向触控区域平面投影棋盘格，通过可见光摄像机采集棋盘格的角点，通过下式计算Hcp，
其中，
(μn,νn)为投影平面的第n个像素坐标，(Xn,Yn,0)为触控区域平面的对应的第n个坐标。
8.根据权利要求1所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，触摸位置在投影平面的像素坐标(μ,ν)的计算方法为：
其中，f(i,j)为触摸位置区域的图像亮度，(i,j)为触摸区域图像像素坐标，Ω表示触摸位置区域。
9.根据权利要求1所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，根据下式对不同摄像机的监视融合区的数据判断：
其中，Dfusion＜d判定为同一个坐标，否则判断为不同的触摸坐标，d为预设数值，(xi,yi)、(xj,yj)分别为摄像机i与摄像机j的映射坐标。
10.根据权利要求1-9任一项所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，所述检测处理客户端与所述摄像机一一对应，分别通过独立线程获取对应摄像机所采集的图像。
11.根据权利要求10所述的分布式红外视觉检测与投影融合自动矫正的触控显示系统，其特征在于，所述数据融合模块通过多线程并行接收视觉检测客户端传送的数据，并校正所有接入的检测处理客户端的时间轴。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711481954.9A CN108363519B (zh) | 2017-12-29 | 2017-12-29 | 分布式红外视觉检测与投影融合自动矫正的触控显示系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711481954.9A CN108363519B (zh) | 2017-12-29 | 2017-12-29 | 分布式红外视觉检测与投影融合自动矫正的触控显示系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108363519A true CN108363519A (zh) | 2018-08-03 |
| CN108363519B CN108363519B (zh) | 2020-03-31 |
Family
ID=63010709
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711481954.9A Active CN108363519B (zh) | 2017-12-29 | 2017-12-29 | 分布式红外视觉检测与投影融合自动矫正的触控显示系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108363519B (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807805A (zh) * | 2019-11-11 | 2020-02-18 | 成都极米科技股份有限公司 | 一种幕布区域定位方法、装置、投影设备和介质 |
| CN111212265A (zh) * | 2020-01-13 | 2020-05-29 | 四川中科友成科技有限公司 | 一种光电设备双通道显示控制系统 |
| CN111552402A (zh) * | 2020-04-22 | 2020-08-18 | 湖南安元信息科技有限公司 | 多显示触摸组件系统的映射方法、终端及可读存储介质 |
| CN111966235A (zh) * | 2020-07-28 | 2020-11-20 | 锐达互动科技股份有限公司 | 触控投影产品无需重定位实现方法、装置、设备及介质 |
| CN112245899A (zh) * | 2020-11-05 | 2021-01-22 | 深圳桦意智创科技有限公司 | 激光投影虚拟棋盘设备及其使用方法 |
| CN112637575A (zh) * | 2020-12-14 | 2021-04-09 | 四川长虹电器股份有限公司 | 一种超短焦激光投影机的自动图像校正系统及方法 |
| CN114612461A (zh) * | 2022-03-24 | 2022-06-10 | 数坤(北京)网络科技股份有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN117974766A (zh) * | 2024-03-28 | 2024-05-03 | 西北工业大学 | 基于时空依据的分布式双红外传感器多目标同一性判定方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007053784A (ja) * | 2006-09-22 | 2007-03-01 | Seiko Epson Corp | 投写型画像表示装置及び平面被投写体 |
| CN104836964A (zh) * | 2015-05-08 | 2015-08-12 | 中国科学院自动化研究所 | 分布式视频融合系统中视频融合设备控制装置 |
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| CN105931186A (zh) * | 2016-04-26 | 2016-09-07 | 电子科技大学 | 基于相机自动标定和颜色校正的全景视频拼接系统与方法 |
-
2017
- 2017-12-29 CN CN201711481954.9A patent/CN108363519B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007053784A (ja) * | 2006-09-22 | 2007-03-01 | Seiko Epson Corp | 投写型画像表示装置及び平面被投写体 |
| CN105488775A (zh) * | 2014-10-09 | 2016-04-13 | 东北大学 | 一种基于六摄像机环视的柱面全景生成装置及方法 |
| CN104836964A (zh) * | 2015-05-08 | 2015-08-12 | 中国科学院自动化研究所 | 分布式视频融合系统中视频融合设备控制装置 |
| CN105931186A (zh) * | 2016-04-26 | 2016-09-07 | 电子科技大学 | 基于相机自动标定和颜色校正的全景视频拼接系统与方法 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110807805A (zh) * | 2019-11-11 | 2020-02-18 | 成都极米科技股份有限公司 | 一种幕布区域定位方法、装置、投影设备和介质 |
| CN111212265A (zh) * | 2020-01-13 | 2020-05-29 | 四川中科友成科技有限公司 | 一种光电设备双通道显示控制系统 |
| CN111552402A (zh) * | 2020-04-22 | 2020-08-18 | 湖南安元信息科技有限公司 | 多显示触摸组件系统的映射方法、终端及可读存储介质 |
| CN111552402B (zh) * | 2020-04-22 | 2022-04-15 | 湖南安元信息科技有限公司 | 多显示触摸组件系统的映射方法、终端及可读存储介质 |
| CN111966235A (zh) * | 2020-07-28 | 2020-11-20 | 锐达互动科技股份有限公司 | 触控投影产品无需重定位实现方法、装置、设备及介质 |
| CN112245899A (zh) * | 2020-11-05 | 2021-01-22 | 深圳桦意智创科技有限公司 | 激光投影虚拟棋盘设备及其使用方法 |
| CN112637575A (zh) * | 2020-12-14 | 2021-04-09 | 四川长虹电器股份有限公司 | 一种超短焦激光投影机的自动图像校正系统及方法 |
| CN114612461A (zh) * | 2022-03-24 | 2022-06-10 | 数坤(北京)网络科技股份有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN117974766A (zh) * | 2024-03-28 | 2024-05-03 | 西北工业大学 | 基于时空依据的分布式双红外传感器多目标同一性判定方法 |
| CN117974766B (zh) * | 2024-03-28 | 2024-06-07 | 西北工业大学 | 基于时空依据的分布式双红外传感器多目标同一性判定方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108363519B (zh) | 2020-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108363519A (zh) | 分布式红外视觉检测与投影融合自动矫正的触控显示系统 | |
| CN102222347B (zh) | 使用波阵面编码来创建深度图像 | |
| US9749526B2 (en) | Imaging system for immersive surveillance | |
| US8624962B2 (en) | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images | |
| CN101950550B (zh) | 基于观看者视角显示不同角度画面的显示装置 | |
| US20100259610A1 (en) | Two-Dimensional Display Synced with Real World Object Movement | |
| JP3885458B2 (ja) | 投写画像の校正方法及びその装置、並びに機械可読媒体 | |
| CN101385069B (zh) | 与具有半透明表面的屏幕一起使用的用户输入装置、系统、方法以及计算机程序 | |
| US7907781B2 (en) | System and method for determining geometries of scenes | |
| JP3579218B2 (ja) | 情報表示装置及び情報収集装置 | |
| CN101576771B (zh) | 基于非均匀样本插值的眼动仪定标方法 | |
| US20180075590A1 (en) | Image processing system, image processing method, and program | |
| CN110209285B (zh) | 一种基于手势控制的沙盘展示系统 | |
| EP0935886A1 (en) | A method and apparatus for enhancing the broadcast of a live event | |
| CN108141547B (zh) | 将图像与另一图像数字化叠加 | |
| SG191198A1 (en) | Imaging system for immersive surveillance | |
| US10129471B2 (en) | Method, apparatus and system for detecting location of laser point on screen | |
| CN107295230A (zh) | 一种基于红外热像仪的微型目标物移动侦测装置及方法 | |
| CN108174192B (zh) | 智能设备延时时间的检测方法及装置 | |
| CN107862713A (zh) | 针对轮询会场的摄像机偏转实时检测预警方法及模块 | |
| US20190281280A1 (en) | Parallax Display using Head-Tracking and Light-Field Display | |
| CN113192125B (zh) | 虚拟视点优选的地理场景中多相机视频浓缩方法及系统 | |
| CN110880161A (zh) | 一种多主机多深度摄像头的深度图像拼接融合方法及系统 | |
| JP2011151459A (ja) | 合成表示装置 | |
| CN114327072A (zh) | 真实人物和mr虚拟环境中虚拟物体的动作触发交互方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |