CN103729060A - 多环境虚拟投影互动系统 - Google Patents
多环境虚拟投影互动系统 Download PDFInfo
- Publication number
- CN103729060A CN103729060A CN201410008012.9A CN201410008012A CN103729060A CN 103729060 A CN103729060 A CN 103729060A CN 201410008012 A CN201410008012 A CN 201410008012A CN 103729060 A CN103729060 A CN 103729060A
- Authority
- CN
- China
- Prior art keywords
- scene
- camera
- frame
- information
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种多环境虚拟投影互动系统,包括投影仪,控制系统,摄像头,摄像头和投影仪与控制系统相连,控制系统利用OPENCV对输入的视频进行图像处理;首先对输入视频图像进行预处理,创建IplImage指针,创建显示窗口,使多个窗口有序排列,打开摄像头;逐帧读取摄像头捕捉到的视频:如果是第一帧,则申请内存,并初始化,然后转化成单通道图像再处理;如不是第一帧,先进行高斯滤波,以平滑图像,然后当前帧跟背景图相减,二值化前景图,随后进行形态学滤波,去掉噪音;利用动作识别算法对虚拟场景中的动作进行判断;将判断后的结果传给场景生成机制,然后生成虚拟场景画面,在原来的基础上将合成的视频,并投放到虚拟场景中。
Description
技术领域
本发明提供了一种多环境虚拟投影互动系统,将摄像头、投影仪以及控制设备组合在一起,设计为一体机,简单合理,携带方便。在处理方面,分别利用OPENCV图像处理技术进行图像处理,并利用运动识别算法进行模式识别,以及利用FLASH虚拟场景产生技术进行场景构造等。
背景技术
多环境虚拟场景互动感应投影系统由地面互动感应投影系统、桌面互动感应投影系统、壁面互动感应投影系统、互动感应背面投影系统组成。采用先进的计算机视觉技术和投影显示技术来营造一种奇幻动感的交互体验。用户可以直接使用双脚或双手与普通投影幕上的虚拟场景进行交互,让用户进入一种虚实融合、亦真亦幻的奇妙世界。
传统互动感应投影往往涉及的场景比较单一,例如只能应用于地面互动投影或者桌面互动投影。传统互动感应投影存在画面延迟高,价格昂贵等问题,而且往往系统整体体积和质量比较大,携带不方便,部署麻烦。
发明内容
本发明需要解决的技术问题是,克服背景中系统的不足,提供一种结构简单合理,成本较低,轻便易携带的系统,本发明技术可以降低延迟,使互动更具现实感。本发明运用了不同的图像处理技术,和虚拟场景产生技术。具体来说,图像处理利用了OPENCV技术,虚拟场景产生技术,利用了FLASH技术。
为了实现上述目的本发明采用以下技术方案:
多环境虚拟投影互动系统,其特征在于,包括投影仪,控制系统,摄像头,摄像头和投影仪与控制系统相连,三者设计部署在一起,构成一体机;
所述控制系统利用OPENCV对输入的视频进行图像处理;
首先对输入视频图像进行预处理,创建IplImage指针,创建显示窗口,使多个窗口有序排列,打开摄像头;
逐帧读取摄像头捕捉到的视频:如果是第一帧,则申请内存,并初始化,然后转化成单通道图像再处理;如果不是第一帧,先进行高斯滤波,以平滑图像,然后当前帧跟背景图相减,二值化前景图,随后进行形态学滤波,去掉噪音;
利用动作识别算法对虚拟场景中的动作进行判断;
将判断后的结果传给场景生成机制,然后生成虚拟场景画面,在原始视频图像的基础上将合成的视频,通过投影仪投放到虚拟场景中。
上述技术方案中,所述动作识别算法对虚拟场景中的动作进行判断具体如下:
动作识别算法利用的是OPENCV提供的Camshift算法,对运动物体进行识别,并将识别的物体的坐标信息返回;
通过不断迭代Camshift算法进行运动物体识别,得到运动物体运动的坐标轨迹;
将坐标轨迹通过SOCKET通信(或者内存共享方式)将坐标轨迹传给负责场景生成机制的场景生成进程,场景生成进程负责场景构建。
上述技术方案中,所述场景生成机制包括:
信息获取层: 主要获取场景生成进程传来的原始信息,通过socket技术,使用tcp连接,将来自客户端的报文信息进行初步分析,提取出坐标、速度和方向等分析层需要的基本要素供上层使用;
信息分析层:根据信息获取层传送来的基本要素进行详细分析,判断出下一刻对应场景里面相应元素的动态,如下一刻的位置、颜色、形状等参数和样式,供上层使用;
场景构建层:在对应的场景中,先创建场景模板,再根据信息分析层判断出的各种参数和样式信息实时在场景模板中生成相应元素,最终将生成的场景输出到显示终端。
附图说明
图1为本发明场景生成机制框图;
图2为本发明socket机制框图;
图3为本发明系统框图。
具体实施方式
本发明主要包括三个部分,投影仪,控制系统,摄像头(采用的三个设备的信息)。摄像头和投影仪与控制系统相连,三者设计部署在一起,构成一体机。
具体方案是,控制系统产生虚拟场景,通过投影仪投影出的虚拟场景可以与场景里的真实人物产生互动,从而使人产生身临其境的感觉。摄像头将所有动作进行捕获,获得的数据传输到控制系统中。控制系统是系统的核心,控制系统利用OPENCV(Open Source Computer Vision Library )对输入的视频进行图像处理。首先对输入视频图像进行预处理。预处理过程为,创建IplImage指针。创建显示窗口。使多个窗口有序排列。打开摄像头。逐帧读取摄像头捕捉到的视频:如果是第一帧,则申请内存,并初始化,然后转化成单通道图像再处理;如果不是第一帧,先进行高斯滤波,以平滑图像,然后当前帧跟背景图相减,二值化前景图,随后进行形态学滤波,去掉噪音。利用动作识别算法对虚拟场景中的动作进行判断。动作识别算法利用的是OPENCV提供的Camshift算法,对运动物体进行识别,并将识别的物体的坐标信息返回。通过不断迭代Camshift算法进行运动物体识别,得到运动物体运动的坐标轨迹。将坐标轨迹通过SOCKET通信(或者内存共享方式)将坐标轨迹传给场景生成进程,场景生成进程负责场景构建。将判断后的结果传给场景生成机制,然后生成虚拟场景画面,在原来的基础上将合成的视频,通过投影仪投放到虚拟场景中。场景生成机制原理上共分三层,如下图所示:
信息获取层
该层的主要作用是获取图像处理模块传来的原始信息。通过socket技术,使用tcp连接,将来自客户端的报文信息进行初步分析,提取出坐标、速度和方向等分析层需要的基本要素供上层使用。信息获取层的连接机制如图所示:
信息分析层
根据信息获取层传送来的基本要素进行详细分析。判断出下一刻对应场景里面相应元素的动态,如下一刻的位置、颜色、形状等参数和样式,供上层使用。
场景构建层
在对应的场景中,先创建场景模板,再根据信息分析层判断出的各种参数和样式信息实时在场景模板中生成相应元素,最终将生成的场景输出到显示终端。
下面结合附图和实施例对本发明进一步说明。
参阅实物图,选择一个合适投影的区域,将系统投影仪正对投影区域,投影区域并无严格限制,只要投影区域平坦且投影影像清晰即可,适用于商场、博览会、电影院、游乐场等众多场所。打开控制系统,投影仪以及摄像头。开启控制系统服务,将画面投影到投影区域。此时用户在投影区域内的任何动作都可以被摄像头捕获,控制系统对视频数据进行捕获,创建虚拟场景,实现用户和虚拟场景的交互。
Claims (3)
1. 多环境虚拟投影互动系统,其特征在于,包括投影仪,控制系统,摄像头,摄像头和投影仪均与控制系统相连;
所述控制系统利用OPENCV对输入的视频进行图像处理;
首先对输入视频图像进行预处理,创建IplImage指针,创建显示窗口,使多个窗口有序排列,打开摄像头;
逐帧读取摄像头捕捉到的视频:如果是第一帧,则申请内存,并初始化,然后转化成单通道图像再处理;如果不是第一帧,先进行高斯滤波,以平滑图像,然后当前帧跟背景图相减,二值化前景图,随后进行形态学滤波,去掉噪音;
利用动作识别算法对虚拟场景中的动作进行判断;
将判断后的结果传给场景生成机制,然后生成虚拟场景画面,在原始视频图像的基础上将合成的视频,通过投影仪投放到虚拟场景中。
2.根据权利要求1所述的多环境虚拟投影互动系统,其特征在于,所述动作识别算法对虚拟场景中的动作进行判断具体如下:
动作识别算法利用的是OPENCV提供的Camshift算法,对运动物体进行识别,并将识别的物体的坐标信息返回;
通过不断迭代Camshift算法进行运动物体识别,得到运动物体运动的坐标轨迹;
将坐标轨迹通过SOCKET通信将坐标轨迹传给负责场景生成机制的场景生成进程,场景生成进程负责场景构建。
3.根据权利要求1所述的多环境虚拟投影互动系统,其特征在于,所述场景生成机制包括:
信息获取层: 主要获取场景生成进程传来的原始信息,通过socket技术,使用tcp连接,将来自客户端的报文信息进行初步分析,提取出坐标、速度和方向等分析层需要的基本要素供上层使用;
信息分析层:根据信息获取层传送来的基本要素进行详细分析,判断出下一刻对应场景里面相应元素的动态,如下一刻的位置、颜色、形状等参数和样式,供上层使用;
场景构建层:在对应的场景中,先创建场景模板,再根据信息分析层判断出的各种参数和样式信息实时在场景模板中生成相应元素,最终将生成的场景输出到显示终端。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410008012.9A CN103729060B (zh) | 2014-01-08 | 2014-01-08 | 多环境虚拟投影互动系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410008012.9A CN103729060B (zh) | 2014-01-08 | 2014-01-08 | 多环境虚拟投影互动系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103729060A true CN103729060A (zh) | 2014-04-16 |
CN103729060B CN103729060B (zh) | 2017-03-08 |
Family
ID=50453168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410008012.9A Expired - Fee Related CN103729060B (zh) | 2014-01-08 | 2014-01-08 | 多环境虚拟投影互动系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103729060B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105916022A (zh) * | 2015-12-28 | 2016-08-31 | 乐视致新电子科技(天津)有限公司 | 一种基于虚拟现实技术的视频图像处理方法及装置 |
CN110009624A (zh) * | 2019-04-11 | 2019-07-12 | 成都四方伟业软件股份有限公司 | 视频处理方法、视频处理装置和电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100208033A1 (en) * | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Personal Media Landscapes in Mixed Reality |
CN102193705A (zh) * | 2010-03-02 | 2011-09-21 | 鸿富锦精密工业(深圳)有限公司 | 三维多媒体影像互动控制系统及方法 |
CN102722336A (zh) * | 2012-06-12 | 2012-10-10 | 桂林电子科技大学 | 编辑与演示操作同步跟踪的Office无线演讲系统及同步跟踪方法 |
CN202996233U (zh) * | 2012-11-05 | 2013-06-12 | 西安景行数创信息科技有限公司 | 虚拟沙滩互动系统 |
-
2014
- 2014-01-08 CN CN201410008012.9A patent/CN103729060B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100208033A1 (en) * | 2009-02-13 | 2010-08-19 | Microsoft Corporation | Personal Media Landscapes in Mixed Reality |
CN102193705A (zh) * | 2010-03-02 | 2011-09-21 | 鸿富锦精密工业(深圳)有限公司 | 三维多媒体影像互动控制系统及方法 |
CN102722336A (zh) * | 2012-06-12 | 2012-10-10 | 桂林电子科技大学 | 编辑与演示操作同步跟踪的Office无线演讲系统及同步跟踪方法 |
CN202996233U (zh) * | 2012-11-05 | 2013-06-12 | 西安景行数创信息科技有限公司 | 虚拟沙滩互动系统 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105916022A (zh) * | 2015-12-28 | 2016-08-31 | 乐视致新电子科技(天津)有限公司 | 一种基于虚拟现实技术的视频图像处理方法及装置 |
CN110009624A (zh) * | 2019-04-11 | 2019-07-12 | 成都四方伟业软件股份有限公司 | 视频处理方法、视频处理装置和电子设备 |
Also Published As
Publication number | Publication date |
---|---|
CN103729060B (zh) | 2017-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11972780B2 (en) | Cinematic space-time view synthesis for enhanced viewing experiences in computing environments | |
US10437347B2 (en) | Integrated gestural interaction and multi-user collaboration in immersive virtual reality environments | |
US11736756B2 (en) | Producing realistic body movement using body images | |
US20190107845A1 (en) | Drone clouds for video capture and creation | |
US10922536B2 (en) | Age classification of humans based on image depth and human pose | |
EP4053795A1 (en) | A method and system for real-time 3d capture and live feedback with monocular cameras | |
CN105659200B (zh) | 用于显示图形用户界面的方法、设备和系统 | |
CN108632530A (zh) | 一种车辆定损的数据处理方法、装置、处理设备及客户端 | |
CN103731583B (zh) | 用于拍照智能化合成、打印处理方法 | |
US20170372449A1 (en) | Smart capturing of whiteboard contents for remote conferencing | |
CN110717494B (zh) | Android移动端室内场景三维重建及语义分割方法 | |
US20130207962A1 (en) | User interactive kiosk with three-dimensional display | |
US20180288387A1 (en) | Real-time capturing, processing, and rendering of data for enhanced viewing experiences | |
US10943335B2 (en) | Hybrid tone mapping for consistent tone reproduction of scenes in camera systems | |
Starck et al. | The multiple-camera 3-d production studio | |
WO2023146241A1 (en) | System and method for generating a three-dimensional photographic image | |
US20190378287A1 (en) | System and method for object recognition using depth mapping | |
US20240104744A1 (en) | Real-time multi-view detection of objects in multi-camera environments | |
CN108683902A (zh) | 目标图像获取系统与方法 | |
US20190045169A1 (en) | Maximizing efficiency of flight optical depth sensors in computing environments | |
CN114241379A (zh) | 一种乘客异常行为识别方法、装置、设备及乘客监控系统 | |
US20190096073A1 (en) | Histogram and entropy-based texture detection | |
CN103729060A (zh) | 多环境虚拟投影互动系统 | |
KR102173608B1 (ko) | 제스처 기반 nui를 이용한 조명효과 제어 시스템 및 방법 | |
CN107589834A (zh) | 终端设备操作方法及装置、终端设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20170308 Termination date: 20210108 |