CN106204604A - 投影触控显示装置及其交互方法 - Google Patents

投影触控显示装置及其交互方法 Download PDF

Info

Publication number
CN106204604A
CN106204604A CN201610557120.0A CN201610557120A CN106204604A CN 106204604 A CN106204604 A CN 106204604A CN 201610557120 A CN201610557120 A CN 201610557120A CN 106204604 A CN106204604 A CN 106204604A
Authority
CN
China
Prior art keywords
touch control
projector
camera
depth value
information process
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610557120.0A
Other languages
English (en)
Other versions
CN106204604B (zh
Inventor
谭登峰
杜响红
凌晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zen-Ai Technology Co Ltd
Original Assignee
Beijing Zen-Ai Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zen-Ai Technology Co Ltd filed Critical Beijing Zen-Ai Technology Co Ltd
Publication of CN106204604A publication Critical patent/CN106204604A/zh
Application granted granted Critical
Publication of CN106204604B publication Critical patent/CN106204604B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G06T2207/30208—Marker matrix

Landscapes

  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供的投影触控显示装置，包括：壳体；设置于所述壳体内的投影仪；与所述投影仪连接的投影仪操控单元，用于向所述投影仪提供投影图像；设置于所述壳体内的两部摄像机；与所述多部摄像机连接的信息处理单元；与所述投影仪操控单元和所述信息处理单元连接的辅助信息处理单元。本发明提供的投影触控显示装置有效提高了人机交互的稳定性及精度。

Description

投影触控显示装置及其交互方法
技术领域
本发明涉及智能交互领域，尤其涉及投影触控显示装置及其交互方法。
背景技术
目前在空间中与电脑有许多交互方式。其中，以计算机视觉为建构现实的基础，虚拟现实(VR)与增强现实(AR)为下一代交互发展的方向，因此，计算机视觉领域被许多研究者所探讨。首先，计算机经过摄像机获取图片，透过对图片分析计算，得到推测出深度数据，还原位置对于空间的坐标，进而获取三维空间的模型，要达到此目的，需同时满足图像具有高清晰度及后期算法优化的高要求。
为了准确探测深度，人们提出以下几种方法：目前光学测距方法有三角测距法、包含双目测距、结构光与基于飞行时间TOF原理等测距方法。其中，以双目测距的装置最为简洁，其性价比为最高，陈成钱在论文"基于投影仪—红外摄像机的多点触控系统"中提出采用投影仪为显示设备,以红外摄像机为光学传感器,多个用户通过该系统,采用手、手指与投影在桌面的信息进行交互。设计一个有效的目标识别跟踪算法，采用神经网络识别手指,分为手指和非手指两类,区分手指端和手臂端，实现多点处控。
然而，基于双目视觉的测距中，仍存在着许多不稳定性，并且摄像机在获取图像时容易受到干扰，在匹配过程成容易误判断，导致定位精度差。
发明内容
为了解决现有存在的技术问题，本发明提供了投影触控显示装置及其交互方法，有效提高了人机交互的稳定性及精度。
本发明提供了投影触控显示装置，包括：壳体；设置于所述壳体内的投影仪；与所述投影仪连接的投影仪操控单元，用于向所述投影仪提供投影图像；设置于所述壳体内的两部摄像机；与所述多部摄像机连接的信息处理单元；与所述投影仪操控单元和所述信息处理单元连接的辅助信息处理单元。
优选地，所述信息处理单元包括：与所述多部摄像机连接的摄像机内参标定模块；与所述摄像机内参标定模块连接的图像处理模块；与所述图像处理模块连接的系统定义模块。
优选地，所述摄像机为红外摄像机。
优选地，所述摄像机为双目摄像机。
本发明还提供了投影触控显示装置的交互方法，具体步骤如下：
S1：所述投影仪向显示面上投出所述投影仪操控单元提供的一个标记面；
S2：在所述辅助信息处理单元中进行动态阈值算法生成所述标记面的深度数值；
S3：在所述摄像机内参标定模块中测量出所述多部摄像机的参数；
S4：在所述图像处理单元中对所述多部摄像机的参数进行校正；
S5：根据所述的已校正的参数进行图像处理，得出触控物的深度数值；
S6：在所述图像处理单元中根据比较所述触控物的深度数值与所述辅助信息处理单元生成的所述标记面的深度数值进行判断所述触控物是否接触到显示面上；
S7：根据S6的判断结果，在所述系统定义模块中实现对应系统的响应。
优选地，投影触控显示装置的交互方法包括：
S1＇：所述投影仪向显示面上投出所述投影仪操控单元提供的一个由白色方块间接排列的标记面；
S2＇：在所述辅助信息处理单元中根据所述两部摄像机拍到的图像信息对所述白色方块找出角点，对所述角点进行排序，生成角点坐标序列；
S3＇：所述辅助信息处理单元接收所述两部摄像机对所述角点的图像信息，并且根据所述角点的视差求出每个角点的深度数值，最终得到由角点的横纵坐标和深度值组成的深度矩阵；
S4＇：在所述摄像机内参标定模块中测量出所述两部摄像机的参数；
S5＇：在所述图像处理单元中对所述两部摄像机的参数进行校正；
S6＇：根据所述的已校正的参数进行图像处理，得出触控物的深度数值；
S7＇：在所述图像处理单元中从所述辅助信息处理单元生成的所述深度矩阵中的所述深度数值减去所述触控物的深度数值，得到所述触控物到显示面的深度阈值；
S7＇：根据所述的触控物到显示面的深度阈值判断触控物是否接触显示面；
S8＇：根据S7＇判断结果，在所述系统定义模块中实现对应应用的响应。
优选地，所述显示面为平面或者不规则曲面。
优选地，所述标记面为棋盘格或者标记块。
优选地，所述摄像机为红外摄像机。
优选地，所述摄像机为双目摄像机。
附图说明
图1为本发明投影触控显示装置的示意图；图2为本发明投影触控显示装置的信息处理模块示意图；
图3为由间接排列的白色方块组成的标记面；
图4为本发明投影触控显示装置的工作示意图；
图5为本发明投影触控显示装置的壳体示意图。
具体实施方式
以下结合具体实施方式进一步详细说明本发明的技术方案。应当理解，此处描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。
图1为本发明投影触控显示装置的示意图。如图1所示，本发明提供了投影触控显示装置，包括：壳体10；设置于壳体内的投影仪31；与投影仪连接的投影仪操控单元30，用于向投影仪31提供投影图像；设置于壳体10内的两部摄像机11、12；与两部摄像机连接的信息处理单元20，；与投影仪操控单元30和信息处理单元20连接的辅助信息处理单元40。
图2为本发明投影触控显示装置的信息处理模块示意图。如图2所示，该信息处理单元20包括与两部摄像机连接的摄像机内参标定模块21、与摄像机内参标定模块连接的图像处理模块22，与图像处理模块连接的系统定义模块23。
该摄像机11、12为红外摄像机，该摄像机为双目摄像机。
图4为本发明投影触控显示装置的工作示意图。如图4所示，当本发明的投影触控显示装置在工作时，通过投影仪31向显示面1上投出一个图像，该显示面可以是任何平面或者是不规则曲面。
图5为本发明投影触控显示装置的壳体示意图。如图5所示，在壳体10的一侧面的设置有投影仪31；在该投影仪31两侧均设有一部摄像机11、12。
需要说明的是，本发明的投影触控显示装置中，投影仪操控单元30、信息处理单元20、辅助信息处理单元40，可以集成在壳体内部，或者也可以单独设于壳体外的其他设备中，均可以实现本发明。
需要说明的是，本发明中使用两部以上摄像机均可以实现本发明，具体实施方式只举两部摄像机的方案。
本发明还提供了投影触控显示装置的交互方法，具体地，首先由投影仪向显示面1上投出投影仪操控单元30提供的一个标记面；然后在辅助信息处理单元40中进行动态阈值算法生成标记面的深度数值；其次在摄像机内参标定模块21中测量出两部摄像机的参数，摄像机内参标定是基于张正友标定方法的理论基础上进行测量，分别得到单摄相机上所有镜头的参数，包含中心点、焦距、镜头畸变系数、平移矩阵、旋转矩阵等参数；接着在图像处理单元22中对两部摄像机的参数进行校正，修正对镜头所引起的畸变，确保相机读入的图像的正确性，提高图像的识别精度；接着根据的对两部摄像机获取的、已校正的无畸变的触控图像进行图像处理，得出触控物的深度数值；接着在图像处理单元22中根据比较触控物的深度数值与辅助信息处理单元40生成的标记面的深度数值进行判断触控物是否接触到显示面上；最后根据上一步的判断结果，在系统定义模块23中实现对应应用的响应。
本发明提供的交互方法只需分别对红外相机进行单一标定，不需双目立体标定摄相机得到彼此之间关系，采取"动态阈值"的优化算法，可精准的判断对显示面有无触碰的动作。
本发明所描述的标记面可以是棋盘格或者标记块。图3为由间接排列的白色方块组成的棋盘格标记面。下面由间接排列的白色方块组成的棋盘格(如图2所示)作为标记面进一步详细说明本发明的投影触摸显示装置的交互方法。首先由投影仪31向显示面1上投出投影仪操控单元30提供的一个由白色方块间接排列的标记面，此时由于在摄像头上加装了850波段的滤光片，因此大部分可见光都被过滤掉而不可见，但是由于投影仪31投出的光线在850纳米之上还有一部分波段，所以在增大曝光时间的图像上是可以清晰的看到标记面。然后在辅助信息处理单元40中进行，左右视图上分别对白色方块的每一个方块找出角点，对角点进行排序，生成角点坐标序列，各自存在各自的角点序列中，具体的，检测标记方块的轮廓，然后根据轮廓求出拟合的四边形，再由所得到的四边形计算出它的四个凸点。其次在辅助信息处理单元40接收两部摄像机对角点的图像信息，并且根据角点的视差求出每个角点的深度数值，最终得到由角点的横纵坐标和深度值组成的深度矩阵，在这里只考虑水平方向是由于平行双目根据三角形法则计算的深度值只跟水平方向上的视差有关，由于角点的深度矩阵覆盖范围是整个投影面积，所以在投影范围内的所有坐标都在角点坐标矩阵的范围内。任意坐标的深度都可以根据周围的四个角点坐标双线性差值计算出来。接着在摄像机11、12内参标定模块中21测量出两部摄像机11、12的参数，摄像机内参标定是基于张正友标定方法的理论基础上进行测量，分别得到单摄相机上所有镜头的参数，包含中心点、焦距、镜头畸变系数、平移矩阵、旋转矩阵等参数。接着在图像处理单元22中对两部摄像机11、12的参数进行校正，修正对镜头所引起的畸变，确保相机读入的图像的正确性，提高图像的识别精度。接着根据的已校正的参数进行图像处理，得出触控物的深度数值。接着在图像处理单元22中从辅助信息处理单元40生成的深度矩阵中的深度数值减去触控物的深度数值，得到触控物到显示面的深度阈值。接着根据的触控物到显示面的深度阈值判断触控物是否接触显示面。最后根据上一步的判断结果，在系统定义模块中实现对应应用的响应。
该应用可是为画板、游戏等软件，可以是根据需要自行开发的任何应用软件。
本发明中的显示面1可以为平面或者不规则曲面，凡是投影仪31能投射的显示面均可实现本发明投影触控显示装置的交互方法。
本发明中的摄像机为红外摄像机；摄像机为双目摄像机。
综上所述，本发明的投影触控显示装置，针对图像处理完之后，对深度数据的处理，根据动态阈值算法的设定，可以辅助判断，经由双目视觉图像所获得的深度数据的准确性，进而提升对整体系统的稳定性。
以上的实施方式均为本发明的优选实施方式，并非因此限制本发明的专利保护范围。任何本发明所属的技术领域的技术人员，在不脱离本发明所公开的精神和范围的前提下，对本发明的内容所做的等效结构与等效步骤的变换均落入本发明要求保护的专利范围之内。

Claims (10)

1.投影触控显示装置，其特征在于，包括：壳体；设置于所述壳体内的投影仪；与所述投影仪连接的投影仪操控单元，用于向所述投影仪提供投影图像；设置于所述壳体内的两部摄像机；与所述多部摄像机连接的信息处理单元；与所述投影仪操控单元和所述信息处理单元连接的辅助信息处理单元。
2.根据权利要求书1所述的投影触控显示装置，其特征在于，所述信息处理单元包括：与所述多部摄像机连接的摄像机内参标定模块；与所述摄像机内参标定模块连接的图像处理模块；与所述图像处理模块连接的系统定义模块。
3.根据权利要求1或2所述的投影触控显示装置，其特征在于，所述摄像机为红外摄像机。
4.根据权利要求1或2所述的投影触控显示装置，其特征在于，所述摄像机为双目摄像机。
5.通过权利要求1所述的投影触控显示装置的交互方法，其特征在于，
S1：所述投影仪向显示面上投出所述投影仪操控单元提供的一个标记面；
S2：在所述辅助信息处理单元中进行动态阈值算法生成所述标记面的深度数值；
S3：在所述摄像机内参标定模块中测量出所述多部摄像机的参数；
S4：在所述图像处理单元中对所述多部摄像机的参数进行校正；
S5：根据所述的已校正的参数进行图像处理，得出触控物的深度数值；
S6：在所述图像处理单元中根据比较所述触控物的深度数值与所述辅助信息处理单元生成的所述标记面的深度数值进行判断所述触控物是否接触到显示面上；
S7：根据S6的判断结果，在所述系统定义模块中实现对应系统的响应。
6.根据权利要求3所述的交互方法，其特征在于，包括：
S1＇：所述投影仪向显示面上投出所述投影仪操控单元提供的一个由白色方块间接排列的标记面；
S2＇：在所述辅助信息处理单元中根据所述两部摄像机拍到的图像信息对所述白色方块找出角点，对所述角点进行排序，生成角点坐标序列；
S3＇：所述辅助信息处理单元接收所述两部摄像机对所述角点的图像信息，并且根据所述角点的视差求出每个角点的深度数值，最终得到由角点的横纵坐标和深度值组成的深度矩阵；
S4＇：在所述摄像机内参标定模块中测量出所述两部摄像机的参数；
S5＇：在所述图像处理单元中对所述两部摄像机的参数进行校正；
S6＇：根据所述的已校正的参数进行图像处理，得出触控物的深度数值；
S7＇：在所述图像处理单元中从所述辅助信息处理单元生成的所述深度矩阵中的所述深度数值减去所述触控物的深度数值，得到所述触控物到显示面的深度阈值；
S7＇：根据所述的触控物到显示面的深度阈值判断触控物是否接触显示面；
S8＇：根据S7＇判断结果，在所述系统定义模块中实现对应应用的响应。
7.根据权利要求5或6所述的交互方法，其特征在于，所述显示面为平面或者不规则曲面。
8.根据权利要求5或6所述的交互方法，其特征在于，所述标记面为棋盘格或者标记快。
9.根据权利要求5或6所述的交互方法，其特征在于，所述摄像机为红外摄像机。
10.根据权利要求5或6所述的交互方法，其特征在于，所述摄像机为双目摄像机。
CN201610557120.0A 2016-04-29 2016-07-15 投影触控显示装置及其交互方法 Active CN106204604B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2016102740851 2016-04-29
CN201610274085 2016-04-29

Publications (2)

Publication Number Publication Date
CN106204604A true CN106204604A (zh) 2016-12-07
CN106204604B CN106204604B (zh) 2019-04-02

Family

ID=57474914

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610557120.0A Active CN106204604B (zh) 2016-04-29 2016-07-15 投影触控显示装置及其交互方法

Country Status (1)

Country Link
CN (1) CN106204604B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108200416A (zh) * 2017-12-15 2018-06-22 歌尔科技有限公司 投影设备中投影图像的坐标映射方法、装置及投影设备
CN109151297A (zh) * 2017-08-15 2019-01-04 南京仁光电子科技有限公司 基于屏幕与摄像机进行交互的方法、设备及系统
CN111258411A (zh) * 2020-05-06 2020-06-09 北京深光科技有限公司 一种用户交互方法及设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622108A (zh) * 2012-01-18 2012-08-01 深圳市中科睿成智能科技有限公司 一种交互式投影系统及其实现方法
CN102799317A (zh) * 2012-07-11 2012-11-28 联动天下科技（大连）有限公司 智能互动投影系统
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统
CN102945091A (zh) * 2012-11-20 2013-02-27 深圳市中科睿成智能科技有限公司 一种基于激光投影定位的人机交互方法与系统
CN103279225A (zh) * 2013-05-30 2013-09-04 清华大学 投影式人机交互系统及触控识别方法
CN103677274A (zh) * 2013-12-24 2014-03-26 广东威创视讯科技股份有限公司 一种基于主动视觉的互动投影方法及系统
CN103838437A (zh) * 2014-03-14 2014-06-04 重庆大学 基于投影图像的触控定位控制方法
CN103942796A (zh) * 2014-04-23 2014-07-23 清华大学 一种高精度的投影仪-摄像机标定系统及标定方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102622108A (zh) * 2012-01-18 2012-08-01 深圳市中科睿成智能科技有限公司 一种交互式投影系统及其实现方法
CN102799317A (zh) * 2012-07-11 2012-11-28 联动天下科技（大连）有限公司 智能互动投影系统
CN102799318A (zh) * 2012-08-13 2012-11-28 深圳先进技术研究院 一种基于双目立体视觉的人机交互方法及系统
CN102945091A (zh) * 2012-11-20 2013-02-27 深圳市中科睿成智能科技有限公司 一种基于激光投影定位的人机交互方法与系统
CN103279225A (zh) * 2013-05-30 2013-09-04 清华大学 投影式人机交互系统及触控识别方法
CN103677274A (zh) * 2013-12-24 2014-03-26 广东威创视讯科技股份有限公司 一种基于主动视觉的互动投影方法及系统
CN103838437A (zh) * 2014-03-14 2014-06-04 重庆大学 基于投影图像的触控定位控制方法
CN103942796A (zh) * 2014-04-23 2014-07-23 清华大学 一种高精度的投影仪-摄像机标定系统及标定方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109151297A (zh) * 2017-08-15 2019-01-04 南京仁光电子科技有限公司 基于屏幕与摄像机进行交互的方法、设备及系统
CN108200416A (zh) * 2017-12-15 2018-06-22 歌尔科技有限公司 投影设备中投影图像的坐标映射方法、装置及投影设备
CN111258411A (zh) * 2020-05-06 2020-06-09 北京深光科技有限公司 一种用户交互方法及设备

Also Published As

Publication number Publication date
CN106204604B (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
US10855909B2 (en) Method and apparatus for obtaining binocular panoramic image, and storage medium
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
CN109801379B (zh) 通用的增强现实眼镜及其标定方法
CN108388341B (zh) 一种基于红外摄像机-可见光投影仪的人机交互系统及装置
CN107452031B (zh) 虚拟光线跟踪方法及光场动态重聚焦显示系统
CN110895822A (zh) 深度数据处理系统的操作方法
WO2018028152A1 (zh) 一种图像采集设备、虚拟现实设备
CN111527468A (zh) 一种隔空交互方法、装置和设备
CN112771438B (zh) 利用二维输入选择对三维深度图像进行深度雕塑
CN112771856B (zh) 可分离失真视差确定
JP2019536162A (ja) シーンのポイントクラウドを表現するシステム及び方法
US20150065221A1 (en) Method and device for operating 3d virtual chessboard
CN110648363A (zh) 相机姿态确定方法、装置、存储介质及电子设备
US11380063B2 (en) Three-dimensional distortion display method, terminal device, and storage medium
US9823755B2 (en) Method and apparatus for interactive user interface with wearable device
CN112657176A (zh) 一种结合人像行为信息的双目投影人机交互方法
CN106204604A (zh) 投影触控显示装置及其交互方法
Perra et al. Adaptive eye-camera calibration for head-worn devices
Draréni et al. Methods for geometrical video projector calibration
JP5987584B2 (ja) 画像処理装置、映像投影システムおよびプログラム
CN114494582A (zh) 一种基于视觉感知的三维模型动态更新方法
CN104144329B (zh) 光学跟踪方法
JP7489253B2 (ja) デプスマップ生成装置及びそのプログラム、並びに、デプスマップ生成システム
JP2017219942A (ja) 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム、接触検出方法、プログラム及び記憶媒体。
CN111176425A (zh) 多屏幕操作方法与使用此方法的电子系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant