CN114760450A - 一种多元素桌面投影互动实现方法及装置 - Google Patents
一种多元素桌面投影互动实现方法及装置 Download PDFInfo
- Publication number
- CN114760450A CN114760450A CN202210377631.XA CN202210377631A CN114760450A CN 114760450 A CN114760450 A CN 114760450A CN 202210377631 A CN202210377631 A CN 202210377631A CN 114760450 A CN114760450 A CN 114760450A
- Authority
- CN
- China
- Prior art keywords
- desktop
- projection
- depth map
- depth
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000003993 interaction Effects 0.000 title claims abstract description 43
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000002452 interceptive effect Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 10
- 238000005096 rolling process Methods 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000013075 data extraction Methods 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 abstract description 5
- 230000001149 cognitive effect Effects 0.000 abstract description 2
- 238000003672 processing method Methods 0.000 abstract description 2
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000002860 competitive effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种多元素桌面投影互动实现方法及装置，其中装置部分包括：桌面、投影机、计算机、深度摄像头；所述深度摄像头位于桌面正上方或斜上方；投影机位于桌面上方，投影在桌面的画面无形变；方法主要的必要步骤包括：S1：对齐深度图图像信号和桌面投影画面；S2：投影画面中的任一像素位置能准确找到其对应的深度图位置，以实现像素级精细互动；S3：桌面上不同物体的追踪识别；本发明适用于各种餐饮，教育，娱乐场所，提供了更精准更细腻的桌面投影互动信号处理方法，便于安装使用，能促进商业活动吸引人气，促进消费，增加儿童投影互动类产品的新颖性，增加认知效率，提升互动体验感。
Description
技术领域
本发明属于投影互动技术领域，具体涉及一种多元素桌面投影互动实现方法及装置。
背景技术
桌面互动投影系统为融合当今世界最高科技的广告和娱乐互动系统；互动影音系统提供一种不同寻常并激动人心的广告与娱乐交相辉映的效果系统，适用于所有公共室内场所，特别是休闲、购物、娱乐及教育场所，互动投影系统的运作原理首先是通过捕捉设备对目标影像进行捕捉拍摄，然后由影像分析系统分析，从而产生被捕捉物体的动作，该动作数据结合实时影像互动系统，使参与者与屏幕之间产生紧密结合的互动效果；
目前的桌面投影互动，其信号来源主要为以下三种类别：1)基于红外摄像头检测画面变化：基于红外摄像头在不用特制餐具的条件下，只能检测画面中有变化，有移动物体的位置，作为互动信号输入，而当物体不动时，追踪信号就会消失。在使用特制餐具的条件下，才可以识别追踪特制餐具。但都不能实现像素级的精细投影互动，比如探入画面中的手部的任意轮廓位置使投影画面中的一只蝴蝶避开飞走；
2)基于深度摄像头检测深度画面变化：无法固定追踪一个物体的连续运动位置信号；无法实现像素级的精细投影互动，且深度摄像头必须安装在桌面垂直正上方；
3)基于图像深度学习；可以识别特定的图片或物体，但不适用于桌面投影互动中，因为一方面投影互动整体光线环境偏暗，不利于AI模型匹配识别，另一方面投影互动过程中，物体或图片上的光线经常会发生大的改变，这些因素都导致这类方法目前还不适用于桌面投影互动的信号处理。
发明内容
为了解决上述技术问题，本发明提供了一种多元素桌面投影互动实现方法及装置，基于kinect2.0深度摄像头，深度摄像头安装与桌面正上方，可覆盖桌面，安装位置可正视，可斜视；本发明互动元素增多，大幅度提高现有桌面投影互动的信号丰富性；
为了达到上述技术目的，本发明是通过以下技术方案实现的：一种多元素桌面投影互动实现装置，包括：桌面、投影机、计算机、深度摄像头；
所述深度摄像头位于桌面正上方或斜上方；投影机位于桌面上方，使得投影在桌面的画面无形变。
本发明的另一目的在于提供一种多元素桌面投影互动实现方法，包括以下步骤：
S1：对齐深度图图像信号和桌面投影画面；
S2：投影画面中的任一像素位置能准确找到其对应的深度图位置，以实现像素级精细互动；
S3：桌面上不同物体的追踪识别；
优选的，所述S1中深度图图像信号和桌面投影画面对齐具体方法包括：
S1.1：确定投影画面有效区域范围，对齐投影画面和桌面；
S1.2：对齐深度图数据和投影画面的水平线位置，以此确定六点拉伸的中间两个点水平位置；
S1.3：六点拉伸计算对齐深度图数据和投影画面，具体为：基于S1.2确定的深度图水平线位置，将深度图画面分为上半区和下半区，共用水平线上的两个点，两个区域分别进行四点拉伸校正，配合放在桌面上定位点物体，拉伸对齐各个定位点的深度图位置和桌面实际放置位置；
S1.4：存储桌面空置时的深度数据，用于和实时深度数据比对，即可判断投影桌面任意位置是否有深度变化，即是否有物品放入；
优选的，所述S2的具体方法为：通过六点拉伸反向计算，精确计算出屏幕像素点在深度图像像素点的对应位置：将投影画面以桌面水平中线分为上半区和下半区，共用水平线上的两个点，两个区域分别进行四点拉伸计算，配合S1.3的计算方法检验反向计算结果正确性；
优选的，所述四点拉伸计算具体为：从屏幕位置映射到深度图位置，先按上下分区算深度图上的纵轴位置，再按深度图纵轴位置所属深度图上下分区算深度图横轴位置；
优选的，所述S3不同物体的追踪识别的具体方法为：
S3.1：优化实时信号检测的运行性能：Kinect2.0深度摄像头总像素数量为512x424共217088个像素，实时互动中，每帧实时比对每个像素的深度数据变化，运行性能消耗极大；针对这一点，本发明采取间隔加滚动采样位置的方法；
S3.2：不同圆形物体的识别和稳定追踪；
优选的，所述间隔加滚动采样位置方法：即间隔5个像素位置读取一个像素处理，同时逐帧滚动变化数据抽取的位置，上一帧读1，6，11，16…，下一帧读2，7，12，17…,以此类推；
优选的，所述不同圆形物体的识别方法具体为：多特征参数竞争性计分，监测特征主要为一定圆环形范围内平均深度值差值，符合条件的像素点动态增加计分，超出圆环范围，或和设定平均深度差值不符的像素点动态减分，累计计分超过设定阈值，将判断为某一种圆形物体；
优选的，所述不同圆形物体识别后的抗手持干扰方法具体为：像素按位置分配不同权重纳入圆形位置更新，圆内权重更高，圆外接近圆形位置的像素权重较低；同时识别到桌面中心位置到圆位置延长线上的像素点，其位置数据反向计入圆位置。
本发明的有益效果是：本发明适用于各种餐饮，教育，娱乐场所，提供了更精准更细腻的桌面投影互动信号处理方法，便于安装使用，能促进商业活动吸引人气，促进消费，增加儿童投影互动类产品的新颖性，增加认知效率，提升互动体验感等等；
本发明可满足有大量丰富细节的桌面投影互动产品的设计和实现；现有的桌面投影互动，大部分以纯视频效果播放为主，交互设计点少而简略，而本发明能大幅度提高现有桌面投影互动的信号丰富性，除了现有的特制物体识别追踪，我们还可以手持非特制圆形物体互动，可实现任何桌面物体(不严重反光和透光)深度数据的像素级互动；有利于开发者实现各种互动效果更丰富，可操作性更强的桌面投影互动产品。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的设备按照位置示意图；
图2是本发明的不同圆形物体识别示意图；
图3是本发明的不同圆形物体追踪示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例1
参阅图1所示，一种多元素桌面投影互动实现装置，包括：桌面、投影机、计算机、深度摄像头；
所述深度摄像头位于桌面正上方或斜上方；投影机位于桌面上方，使得投影在桌面的画面无形变。
实施例2
一种多元素桌面投影互动实现方法，包括以下步骤：
S1：对齐深度图图像信号和桌面投影画面；
S2：投影画面中的任一像素位置能准确找到其对应的深度图位置，以实现像素级精细互动；
S3：桌面上不同物体的追踪识别；
优选的，所述S1中深度图图像信号和桌面投影画面对齐具体方法包括：
S1.1：确定投影画面有效区域范围，对齐投影画面和桌面；
S1.2：对齐深度图数据和投影画面的水平线位置，以此确定六点拉伸的中间两个点水平位置；
S1.3：六点拉伸计算对齐深度图数据和投影画面，具体为：基于S1.2确定的深度图水平线位置，将深度图画面分为上半区和下半区，共用水平线上的两个点，两个区域分别进行四点拉伸校正，配合放在桌面上定位点物体，拉伸对齐各个定位点的深度图位置和桌面实际放置位置；
S1.4：存储桌面空置时的深度数据，用于和实时深度数据比对，即可判断投影桌面任意位置是否有深度变化，即是否有物品放入；
优选的，所述S2的具体方法为：通过六点拉伸反向计算，精确计算出屏幕像素点在深度图像像素点的对应位置：将投影画面以桌面水平中线分为上半区和下半区，共用水平线上的两个点，两个区域分别进行四点拉伸计算，配合S1.3的计算方法检验反向计算结果正确性；
优选的，所述四点拉伸计算具体为：从屏幕位置映射到深度图位置，先按上下分区算深度图上的纵轴位置，再按深度图纵轴位置所属深度图上下分区算深度图横轴位置；
优选的，所述S3不同物体的追踪识别的具体方法为：
S3.1：优化实时信号检测的运行性能：Kinect2.0深度摄像头总像素数量为512x424共217088个像素，实时互动中，每帧实时比对每个像素的深度数据变化，运行性能消耗极大；针对这一点，本发明采取间隔加滚动采样位置的方法；
S3.2：不同圆形物体的识别和稳定追踪，本发明的方法中包含对圆形物体的特殊识别方法，且能抗手部干扰，即在其被识别后，可手持该物体移动，不影响其识别位置和连续追踪；被识别的圆形物体只要不严重反光或透光即可，不需要特殊制作；
优选的，所述间隔加滚动采样位置方法：即间隔5个像素位置读取一个像素处理，同时逐帧滚动变化数据抽取的位置，上一帧读1，6，11，16…，下一帧读2，7，12，17…,以此类推；
优选的，所述不同圆形物体的识别方法具体为：多特征参数竞争性计分，监测特征主要为一定圆环形范围内平均深度值差值，符合条件的像素点动态增加计分，超出圆环范围，或和设定平均深度差值不符的像素点动态减分，累计计分超过设定阈值，将判断为某一种圆形物体；
优选的，所述不同圆形物体识别后的抗手持干扰方法具体为：像素按位置分配不同权重纳入圆形位置更新，圆内权重更高，圆外接近圆形位置的像素权重较低；同时识别到桌面中心位置到圆位置延长线上的像素点，其位置数据反向计入圆位置。
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。
Claims (9)
1.一种多元素桌面投影互动实现装置，其特征在于，包括：桌面、投影机、计算机、深度摄像头；
所述深度摄像头位于桌面正上方或斜上方；投影机位于桌面上方。
2.一种多元素桌面投影互动实现方法，其特征在于，包括以下步骤：
S1：对齐深度图图像信号和桌面投影画面；
S2：投影画面中的任一像素位置能准确找到其对应的深度图位置，以实现像素级精细互动；
S3：桌面上不同物体的追踪识别。
3.根据权利要求2所述一种多元素桌面投影互动实现方法，其特征在于，所述S1中深度图图像信号和桌面投影画面对齐具体方法包括：
S1.1：确定投影画面有效区域范围，对齐投影画面和桌面；
S1.2：对齐深度图数据和投影画面的水平线位置，以此确定六点拉伸的中间两个点水平位置；
S1.3：六点拉伸计算对齐深度图数据和投影画面，具体为：基于S1.2确定的深度图水平线位置，将深度图画面分为上半区和下半区，共用水平线上的两个点，两个区域分别进行四点拉伸校正，配合放在桌面上定位点物体，拉伸对齐各个定位点的深度图位置和桌面实际放置位置；
S1.4：存储桌面空置时的深度数据，用于和实时深度数据比对，即可判断投影桌面任意位置是否有深度变化，即是否有物品放入。
4.根据权利要求2所述一种多元素桌面投影互动实现方法，其特征在于，所述S2的具体方法为：通过六点拉伸反向计算，精确计算出屏幕像素点在深度图像像素点的对应位置：将投影画面以桌面水平中线分为上半区和下半区，共用水平线上的两个点，两个区域分别进行四点拉伸计算，配合S1.3的计算方法检验反向计算结果正确性。
5.根据权利要求4所述一种多元素桌面投影互动实现方法，其特征在于，所述四点拉伸计算具体为：从屏幕位置映射到深度图位置，先按上下分区算深度图上的纵轴位置，再按深度图纵轴位置所属深度图上下分区算深度图横轴位置。
6.根据权利要求2所述一种多元素桌面投影互动实现方法，其特征在于，所述S3不同物体的追踪识别的具体方法为：
S3.1：优化实时信号检测的运行性能：Kinect2.0深度摄像头总像素数量为512x424共217088个像素，实时互动中，每帧实时比对每个像素的深度数据变化，运行性能消耗极大；针对这一点，本发明采取间隔加滚动采样位置的方法；
S3.2：不同圆形物体的识别和稳定追踪。
7.根据权利要求6所述一种多元素桌面投影互动实现方法，其特征在于，所述间隔加滚动采样位置方法：即间隔5个像素位置读取一个像素处理，同时逐帧滚动变化数据抽取的位置，上一帧读1，6，11，16…，下一帧读2，7，12，17…,以此类推。
8.根据权利要求6所述一种多元素桌面投影互动实现方法，其特征在于，所述不同圆形物体的识别方法具体为：多特征参数竞争性计分，监测特征主要为一定圆环形范围内平均深度值差值，符合条件的像素点动态增加计分，超出圆环范围，或和设定平均深度差值不符的像素点动态减分，累计计分超过设定阈值，将判断为某一种圆形物体。
9.根据权利要求8所述一种多元素桌面投影互动实现方法，其特征在于，所述不同圆形物体识别后的抗手持干扰方法具体为：像素按位置分配不同权重纳入圆形位置更新，圆内权重更高，圆外接近圆形位置的像素权重较低；同时识别到桌面中心位置到圆位置延长线上的像素点，其位置数据反向计入圆位置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210377631.XA CN114760450A (zh) | 2022-04-12 | 2022-04-12 | 一种多元素桌面投影互动实现方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210377631.XA CN114760450A (zh) | 2022-04-12 | 2022-04-12 | 一种多元素桌面投影互动实现方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114760450A true CN114760450A (zh) | 2022-07-15 |
Family
ID=82329176
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210377631.XA Pending CN114760450A (zh) | 2022-04-12 | 2022-04-12 | 一种多元素桌面投影互动实现方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114760450A (zh) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107517366A (zh) * | 2017-08-23 | 2017-12-26 | 上海喵呜信息科技有限公司 | 基于rgbd的投影机画面信息自动测量方法 |
| CN107580204A (zh) * | 2017-09-12 | 2018-01-12 | 中广热点云科技有限公司 | 实现自适应调节的投影方法 |
| US20190191134A1 (en) * | 2017-12-15 | 2019-06-20 | Canon Kabushiki Kaisha | Projection control apparatus and control method thereof, and projection system |
| CN112433641A (zh) * | 2020-11-11 | 2021-03-02 | 大庆思特传媒科技有限公司 | 一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法 |
-
2022
- 2022-04-12 CN CN202210377631.XA patent/CN114760450A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107517366A (zh) * | 2017-08-23 | 2017-12-26 | 上海喵呜信息科技有限公司 | 基于rgbd的投影机画面信息自动测量方法 |
| CN107580204A (zh) * | 2017-09-12 | 2018-01-12 | 中广热点云科技有限公司 | 实现自适应调节的投影方法 |
| US20190191134A1 (en) * | 2017-12-15 | 2019-06-20 | Canon Kabushiki Kaisha | Projection control apparatus and control method thereof, and projection system |
| CN112433641A (zh) * | 2020-11-11 | 2021-03-02 | 大庆思特传媒科技有限公司 | 一种多rgbd深度传感器的自动校准桌面道具互动系统的实现方法 |
Non-Patent Citations (1)
| Title |
|---|
| 熊鹏飞;刘昌平;黄磊;: "一种人脸标准光照图像的线性重构方法", 模式识别与人工智能, no. 04, 15 August 2012 (2012-08-15) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106600888B (zh) | 一种森林火灾自动检测方法及系统 | |
| Letessier et al. | Visual tracking of bare fingers for interactive surfaces | |
| CN103279737B (zh) | 一种基于时空兴趣点的打架行为检测方法 | |
| CN103143158B (zh) | 一种提高斯诺克台球击中率的方法 | |
| CN108805068A (zh) | 一种基于学生运动的运动辅助系统、方法、装置及介质 | |
| CN111191576A (zh) | 人员行为目标检测模型构建方法、智能分析方法及系统 | |
| CN110113116B (zh) | 基于wifi信道信息的人体行为识别方法 | |
| CN102013009A (zh) | 烟雾图像识别方法及装置 | |
| CN108038867A (zh) | 基于多特征融合和立体视觉的火焰检测和定位方法 | |
| CN101196991A (zh) | 密集客流计数和行人步行速度自动检测方法及系统 | |
| CN106780565A (zh) | 一种基于光流与k‑means聚类的多学生起坐检测方法 | |
| CN109684919B (zh) | 一种基于机器视觉的羽毛球发球违例判别方法 | |
| CN112270381B (zh) | 基于深度学习的人流量检测方法 | |
| US10401947B2 (en) | Method for simulating and controlling virtual sphere in a mobile device | |
| CN113963442A (zh) | 一种基于体态综合特征的跌倒行为识别方法 | |
| CN106447695A (zh) | 一种多物体追踪中判断同一物体的方法和装置 | |
| CN114187664B (zh) | 一种基于人工智能的跳绳计数系统 | |
| CN111860457A (zh) | 一种斗殴行为识别预警方法及其识别预警系统 | |
| CN112883755A (zh) | 一种基于深度学习与行为先验的吸烟和打电话检测方法 | |
| CN114760450A (zh) | 一种多元素桌面投影互动实现方法及装置 | |
| JPH08106534A (ja) | 移動物体検出装置 | |
| Gao et al. | Design and implementation of fire detection system using new model mixing | |
| CN113076936B (zh) | 一种基于绳子目标提取的跳绳计数方法 | |
| CN112802067B (zh) | 一种基于图网络的多目标跟踪方法及系统 | |
| CN109614841A (zh) | 嵌入式系统中的快速人脸检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |