CN1547131A - 一种虚拟现实交互式控制系统 - Google Patents
一种虚拟现实交互式控制系统 Download PDFInfo
- Publication number
- CN1547131A CN1547131A CNA2003101170779A CN200310117077A CN1547131A CN 1547131 A CN1547131 A CN 1547131A CN A2003101170779 A CNA2003101170779 A CN A2003101170779A CN 200310117077 A CN200310117077 A CN 200310117077A CN 1547131 A CN1547131 A CN 1547131A
- Authority
- CN
- China
- Prior art keywords
- virtual reality
- mentioned
- image
- virtual
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
本发明涉及一种虚拟现实交互控制系统和控制方法。该交互式系统采用实时动态蓝屏抠像以及合成技术将操作者和电脑或电视屏幕所显示的画面有机地结合在一起,并可配合背景画面,在平面中产生操作者和背景合成后的虚拟场景,包括:摄像头,用于进行图像和影像等视频信号的采集;显示器或电视系统,用于显示经过合成后的交互式虚拟图像或影像;主控计算机,内置有视频卡和显示卡。视频卡,用于接收摄像头输出的信号并处理信号,显示卡,用于输出上述视频卡输出的处理信号;还进一步包括预设的交互控制区域,用来进行虚拟现实交互式控制。
Description
技术领域
本发明涉及一种数据处理设备,尤其是涉及一种应用于MTV、研讨会、展示会和报告会等场合的虚拟现实交互式控制系统。
背景技术
本发明和抠像技术有关,所谓的“抠像”技术,即在蓝色屏幕前面的任何物体或人员(一人或多人)都可以通过某种处理系统,将物体或人员的静止或活动的影像实时的从蓝色背景中分离出来。其中蓝屏抠像是一种早就广泛应用于电视和电影特技的成熟技术。例如,电视台每天播放的天气预报、某些节目的开始片断、影视MTV;电影《真实的谎言》中AV-8B战斗机悬停在大楼中间的空中,施瓦辛格跳上飞机的镜头;《飞越巅峰》中的史太龙高山攀岩的部分镜头,均是采用了非常高级的蓝屏抠像设备而拍摄的“假冒”场景。这些场景的拍摄方法,都是在事先准备好的蓝色(或绿色)背景上,按照后期合成所要求的立体凹凸表面效果,搭建相应的模型,表演者就在这些蓝色(或绿色)背景的模型上表演,然后通过蓝屏抠像技术,将人物本身或包括了部分模型在内的场景单独分离出来,形成一个相对背景而言“透明”的场景片断,再将这个“透明”的场景合成到已经准备好的所要表现的环境当中,从而形成了惊险的视觉效果。又如,某些音乐电视中表现的在黄河岸边或在高山的山峰上演唱或弹钢琴的效果,同样也是在摄影棚的蓝屏前演唱或演奏,通过蓝屏抠像技术,将所需要的内容分离出来,与相关的背景合成后,就得到了上述的视觉效果。
而这种合成技术在现有技术中也得到了一定程度上的应用。例如,中国专利CN1337638公开了一种多媒体互动式建筑开发商实用经营管理系统,包括计算机、键盘、显示器等硬件和软件。软件包括建立的电子数据库,电子数据库内包括租、售房屋及建筑空间交易系统程序和经营管理系统程序,可实现建筑物在没动工前,通过操作键盘,调用数据库信息实现在电脑屏幕上对建筑物内部结构、外貌、周边环境等进行虚拟现实三维立体动画浏览,有如亲临其境一样,有利于房屋售、租和客户挑选:并可对整个施工过程进行可视化科学管理,以节约资金、缩短工期、提高生产效率和质量;还可在建筑物建成后的整个物业管理过程中实现计算机化和可视化管理。
而且,CN1349189公开了一种互动式多媒体电子超市经营管理系统,包括硬件和软件两部分,软件部分包括组建的网络数据库和编制的应用程序,数据库应用程序贮存在服务器硬盘中,在开机执行时服务器的CPU将系统应用程序及数据文件调入服务器的内存中,其特点在于所述的硬件包括至少一台与因特网联接的服务器和多个与之联接的用户电脑终端;所述的应用程序包括一个双向互动三维虚拟现实多媒体超市浏览演示系统;数据库包含一个互动式多媒体电子超市经营管理查询系统。可使消费者在家里,只要键入一个超市名称,便可在电脑屏幕上的超市内双向浏览逛超市、选购商品,如同进入真的超市一样。
另外,CN1282040公开了一种基于信息技术的濒危遗址文物保护修复辅助方法,它的步骤如下:文物遗址建筑数据测绘及数字化拍摄;采用三维建模工具建立文物遗址数字化三维模型;采用图形开发软件包,建立自由漫游真实感文物遗址场景;采用软件开发工具建立支持文物遗址保护修复计算机辅助系统等。
CN2533556公开了一种真三维虚拟演播室系统,包括机械跟踪子系统、图形发生器和抠像合成器等。首先由一组摄像机采集前景视频信号(FG),同时摄像机上的机械跟踪系统实时提供摄像机移动的信息,这些信息需要实时传给图形发生器,图形发生器根据当前摄像机的位置实时地绘制出相应的背景信号(BG)和掩蔽(mask)信号。然后,由合成系统根据掩蔽信号来合成FG与BG,形成最终图像输出。
而且在国外,也得到了很大范围的应用,例如美国专利US5,805,155公开了一种交互式虚拟有线电视系统,其包括大量低速连接系统头端器的顶置终端,时分复用通道。上述头端器包括大容量多媒体数据,上述多媒体数据又都包含大量独立的数据集,该数据集取决于不同兴趣的用户。当上述头端器的数据实时改变的时候,所列出的顶置列表也发生变化,从而使得需求列表的不断更新,上述更新立即传送到相关的顶置终端。
美国专利US5,945,985公开了一种交互式多媒体地理系统,结合有一个三维模拟的全球实体模型,并利用视频,声音,图形,图像和数字化影像来显示世界地图的全部或其中一部分,上述系统可以生成所需的区域,全球,政治以及其他具有不同地理特征的地图。该系统还可以根据全球的地理信息变化,实时的进行调整显示。
但是上述现有技术中的交互式多媒体合成技术,应用的模块较多,从而结构都比较复杂,实施也比较困难,控制操作也相对复杂,而且都是专用于某个特定功能的场景,因此就有必要提供一种新型的虚拟现实交互式控制系统。
发明内容
为了克服上述现有技术中的一个或多个缺陷,本发明的发明目的就是提供一种虚拟现实交互控制系统,该虚拟现实交互控制系统采用实时动态蓝屏抠像以及合成技术,将操作者和电脑或电视屏幕所显示的画面有机的结合在一起,使得操作者的影像成为整个画面中重要的组成部分,并可配合背景画面,在平面中产生操作者和背景合成后的虚拟场景。
本发明的另一个目的就是提供一种虚拟现实交互控制系统,该虚拟现实交互控制系统采用虚拟现实交互控制技术,将操作者和应用系统构成了一个完整的交互控制体系。
上述发明目的通过下列技术方案来实现,对于本领域普通技术人员,实施该方案所获得的技术效果是显而易见的。其中,根据本发明的一种虚拟现实的交互式控制系统,采用实时动态蓝屏抠像以及合成技术将操作者和电脑或电视屏幕所显示的画面有机的结合在一起,并可配合背景画面,在平面中产生操作者和背景合成后的虚拟场景,其包括:摄像头,用于进行图像和影像等视频信号的采集;显示器或电视系统,用于显示经过合成后的交互式虚拟图像或影像;主控计算机,内置有视频(采集、压缩)卡和显示卡。视频卡,用于接收摄像头输出的信号并处理信号,显示卡,用于输出上述视频卡输出的处理信号;根据本发明的上述虚拟现实交互式控制系统还进一步包括预设的交互控制区域,用来进行虚拟现实交互式控制。
根据本发明中上述虚拟现实交互式控制系统,还进一步包括一比较器,用来比较含单色背景的图像与背景色彩/反差基准值的差值是否在设定的差值范围内。
根据本发明中上述虚拟现实交互式控制系统,上述预设的交互控制区域可以是空间虚拟按钮,屏幕内虚拟按钮和屏幕内非虚拟按钮中的一种或多种组合。
根据本发明中上述虚拟现实交互式控制系统,上述摄像头通过IEEE1394插口和系统相连。
根据本发明中上述虚拟现实交互式控制系统,上述摄像头通过视频卡和系统相连。
根据本发明中上述虚拟现实交互式控制系统,还进一步包括一比较器,用于比较上述交互控制区域的色彩/反差与背景色彩/反差基准值的差值。
根据本发明中上述虚拟现实交互式控制系统,对三维虚拟现实,上述摄像头只需要两台。
根据本发明中上述虚拟现实的交互式控制系统,对二维屏幕虚拟现实,上述摄像头只需要一台。
根据本发明中上述虚拟现实交互式控制系统,上述虚拟交互控制是一种交互控制区域,并没有任何物理设施存在,可以将操作者的影像嵌入或者关闭,也可以用某些预设的方式显示在屏幕上。例如,淡入/淡出,放大/缩小,旋转等。
本发明还提供有一种虚拟现实交互式控制系统的控制方法,即
通过摄像头或者摄像机进行图像或影像的采集;
将采集的信号经视频捕捉设备处理输出;
将上述视频捕捉设备输出的信号即对含有单色背景的图像进行图像分析;
确定背景色彩/反差基准值;
通过预设的交互区域进行交互控制区域的色彩/反差比较;
确定交互控制区域并产生响应;
同其他的视频背景进行合成;
将上述合成的信号通过显示器或电视系统输出。
根据本发明中虚拟现实交互式控制系统的控制方法,上述确定背景色彩/反差基准值后,还可以包括利用比较器将含单色背景的图像与/反差基准值进行比较分析,得出差值。
根据本发明中虚拟现实交互式控制系统的控制方法,上述比较分析过程中还进一步包括保留超出设定差值范围的差值。
根据本发明中虚拟现实交互式控制系统的控制方法,上述交互控制区域的色彩/反差比较的过程还包括:色彩/反差发生变化,确定上述交互控制区域。
根据本发明中虚拟现实交互式控制系统的控制方法,所述单色背景为蓝/绿色。
通过上述实施方案,我们可以知道和已有的虚拟现实控制技术不同,本发明所使用的虚拟现实控制技术无需借助于“数据手套”等接触介质,只要通过一台或两台摄像头,就可以完成二维或三维虚拟现实交互控制。而且本发明中的系统采用电脑数字动画播放技术,丰富了应用程序的内容,将操作者自行制作的极具个性化的应用程序引入本发明的交互控制系统中。
附图说明
在下面,通过参考附图,并结合优选实施例,将更详细的描述本发明,其中:
图1所示的是本发明的原理简图,其中为一演唱者站立在蓝屏前;
图2所示的是本发明的原理简图,其中图中示出的为一背景素材;
图3所示的是本发明的原理简图,为图1和图2经过合成后的影像视图;
图4所示的是本发明的操作简图;
图5所示的是本发明的虚拟现实控制方式简图;
图6所示的是本发明的另一种虚拟现实控制方式简图;
图7所示的是本发明的一种虚拟现实交互控制实施例,其中示出了根据本发明的一种屏幕内虚拟现实按钮的操控方式;
图8所示的是本发明的另一种虚拟现实交互控制实施例;
图9所示的是本发明的另一种虚拟现实交互控制实施例;
图10所示的是本发明的一种空间虚拟按钮的操控方式;
图11所示的是本发明的一种外设连接框图;
图12所示的是本发明的另一种外设的连接框图;
图13所示的是本发明的一种图像输出和其他视频信号输入路径框图;
图14所示的是本发明的另一种图像输出和其他视频信号输入路径框图;
图15所示的是根据本发明的一种虚拟现实交互控制系统的控制框图。
具体实施方式
下面,参看图1,图1所示的是本发明的原理简图,其中为一演唱者站立在蓝/绿屏前。图1中,所示的人物可以是操作者本人,也可以是包括操作者在内的多人。并不受空间的限制,仅仅取决于摄像器材的数据采集范围。图2所示的是本发明的原理简图,其中图中示出的为一背景素材。图2中,背景素材是事先设定的。当然,这并不受到本发明的限制,背景素材的选择取决于操作者的喜好与兴趣。操作者可以任意选择自己喜欢的背景素材,因而显现本发明的个性化特点。
图3所示的是本发明的原理简图,为图1和图2经过合成后的影像视图。图3中是通过本发明的虚拟现实交互式控制系统,将操作者和选取的背景素材合成后的效果。本发明中的交互式控制系统将在下面详细叙述。
从上述图1-3可以知道,本发明采用实时动态蓝/绿屏抠像以及合成技术,将操作者和电脑或电视屏幕所显示的画面有机的结合在一起,使得操作者的影像成为整个画面中重要的组成部分,并可配合背景画面,在平面中产生操作者和背景合成后的虚拟场景。上述抠像,即在蓝/绿色屏幕前面的任何物体或人员(一人或多人)都可以通过本发明的控制系统,将物体或人员的静止或活动的影像实时的从蓝/绿色背景中分离出来,再与其它背景合成,得到新的影像。而且,这一切都是实时进行的。也就是说,从电视或电脑屏幕中看到的只是合成后的影像。举例来说,如果背景选用天安门广场,操作者在蓝/绿屏前唱歌,现场观众看到操作者在蓝/绿屏前演唱的同时,可以从电视或电脑屏幕上看到操作者站在天安门广场上演唱的情景,而操作者同样也可以从电视或电脑屏幕上看到自己站在天安门广场上演唱的情景,并可以及时调整自己的姿势,使得演唱效果更好。而且如果有相应的背景素材,甚至可以出现操作者和某位明星同台演唱的情景。
本发明提供有一种预设的交互式控制区域。其包括下列操作方式:
1、空间虚拟按钮的控制方式
操作者只要用肢体动作即可完成交互操作。以图10为例,操作者(歌唱者)向右倾斜身体,即完成了交互控制。在交互MTV(新一代的卡拉OK)的应用中,实际的交互操作是将歌唱者在电视屏幕中的影像位置调整到了左边(因为歌唱者的左右于屏幕中的位置相反);操作者向左倾斜身体,则将歌唱者影像调整到了右边;若操作者向上举起手臂(停留0.5-1秒钟时间,具体停留时间可以设定),则歌唱者的影像就会被调整到了屏幕的上方;操作者蹲下,则影像就会被调整到了屏幕的下方。
图10中的浅色区域是由电脑产生的虚拟按钮位置示意,实际上没有任何形式的物理按钮存在。
2、屏幕内虚拟按钮的控制方式
见图7,这种操控方式与通常所见的“触摸屏”操控方式类似。但要注意的是:操控时并不需要接触/触摸屏幕,只需用手或某种细小的物品指向屏幕中显示的虚拟按钮,即可完成交互操作。因为屏幕与操控者之间的距离为1-5米远(取决于摄像头的要求和设定)。不可能,也没有必要“触摸”屏幕上的虚拟按钮。
需要说明的是,屏幕中所显示的按钮同样也是由电脑产生的虚拟按钮,实际上不存在任何物理形式的交互按钮。这些虚拟按钮既可以被设置成驻留在屏幕上,也可以被设置成需要时才显示出来。
3、屏幕内非虚拟按钮的控制方式
就是在一定远的距离内,通过肢体动作,完成与用鼠标器在普通电脑屏幕上进行的同样的交互操作。
本发明采用虚拟现实交互控制技术,将操作者和应用系统构成了一个完整的交互控制体系。操作者可以通过虚拟现实交互控制技术,改变操作者的影像在屏幕中显示的位置,方向和大小,淡入淡出。甚至可以交互控制屏幕中的某个物体或图像,产生新的物体或图像,也可以改变背景或者声音等参数。简而言之,就是通常使用鼠标进行控制的电脑操控,均可以通过操作者的肢体或身体的动作进行同样的操作,操作者本身就是一个进行直接控制的“鼠标”。操作者可以与系统进行双向控制,形成交互的参与乐趣。而上述交互功能的设置完全取决应用系统的需求。例如上述的淡入淡出功能。简单的说就是操作者通过肢体动作,或者按动虚拟按钮,将操作者的影像,以影视特技“淡入淡出”方式嵌入或关闭;操作者的影像位置变换功能,交互控制变焦功能;全屏互动控制功能;以及其他能够在电脑上实现的交互控制功能。
和常见的虚拟控制技术不同,本发明所使用的虚拟控制技术无需借助“数据手套”等接触介质,只要通过一台摄像头(图4中编号1的立方体),就可以进行二维屏幕空间的虚拟现实交互控制,两台摄像头(图4中编号1,2的立方体)就可以进行三维立体空间的虚拟现实交互控制。如图4所示,图4所示的是本发明的操作简图。图4中的立方体1,2分别表示摄像头/摄像机。通过这种技术产生的虚拟控制方式如图5,6所示,图5,6所示的是本发明的虚拟控制方式简图,站在蓝屏前的一个或多个操作者本身就是一个动态鼠标,图5,6中浅颜色区域就是交互控制区域(编号为A,B,C......)。这些浅色区域实际上没有任何物理设置存在,而是由电脑生成的虚拟按钮。
图7-9所示的是另一种虚拟交互控制实施例。这是一个摆放在操作者前方的大屏幕显示系统。图7的画面可以由Macromedia Authorware,Macromedia Director,Macromedia Flash,Asymetrix ToolBook,Microsoft FrontPage,Microsoft PowerPoint和方正奥思等工具软件制作完成。在制作这个应用程序时,已经将图中的飞鸟赋予了交互控制功能。在操作过程中,操作者只要用手指一下飞鸟,就可以将这个飞鸟变成图像或者图片,当然这个图像或者图片是由制作者所事先设计好的,这里只是举例说明。实际上,屏幕中所出现的任何物体均可以被用来进行交互控制,而转换后的效果也是事先设计好的。即可以是图像或图片,也可以是视频或Flash动画;可以是小图,也可以是满屏图像。这完全取决于制造者的创意和制作水平。总而言之,在普通电脑屏幕上能够进行的交互操作,包括上述的交互控制,以及上述实例中没有叙述的拖放功能等交互操作,根据本发明的系统同样可以完成。
实际上,没有大屏幕显示系统,交互控制仍然可以进行操作,大屏幕显示系统的作用实际上是为了提示操作者,不至于无的放矢。图6中的虚拟按钮1,2,3......只是举例说明,实际上这些虚拟按钮可以放在屏幕中的任何位置。
根据本发明的系统采用电脑数字动画播放技术,丰富了应用程序的内容,将操作者自行制作的极具个性化的应用程序引入了交互控制领域。例如“闪客MTV(Flash MTV)”。
操作者可以自行制作各种自己喜欢的,充满个性的应用程序,通过光盘,U盘等各种存储介质带到各种应用现场,播放自己制作的交互应用程序。特别适用于卡拉OK,研讨会,展示会和报告会等场合。
下面,根据图11和12来描述根据本发明的一种虚拟现实交互控制系统的外设连接,尤其是一种摄像头或者摄像机的连接。参看图11,图11所示的是本发明的一种外设连接框图,
如果是进行二维屏幕空间的虚拟现实交互控制,则只需要一台摄像机或摄像头就足够了,该摄像头可以是数字式的,和电脑主机中IEEE1394插口通过现有技术中的连接方式相连;如果需要进行三维虚拟现实交互控制,则需要有两台摄像机或者摄像头,其中这两台摄像头或者摄像机分别通过并联的方式,以现有技术中的连接方式和上述电脑主机中IEEE1394插口相连。当然也可以是其他类型的摄像头或者摄像机。参考图12,图12所示的是本发明的另一种外设的连接框图,图12中所使用的是模拟式摄像头,而且和图11中有所不同的是上述模拟式摄像头和电脑主机中的视频卡,也就是采集压缩卡相连,而不是上述IEEE1394插口相连。图12中的使用方式和连接方式同图11中的都相类似。
图13所示的是本发明的一种图像输出和其他视频信号输入路径框图。参看图13,AGP多功能显示卡和视频(采集、压缩)卡分别内置于电脑主机中,上述AGP多功能显示卡和显示器,电视系统相连。其中,模拟视频信号通过现有的方式输入到上述电脑主机中的视频卡中,经处理,通过上述AGP多功能显示卡向上述显示器和电视系统输出信号,该信号可以是图像,也可以是其他视频信号。
当然,对于本领域普通技术人员可以理解,也可以通过另一种方式来输出信号,图14所示的是本发明的另一种图像输出和其他视频信号输入路径框图。参考图14,和上述图13中相同的是,AGP多功能显示卡和视频卡(压缩解压卡)分别内置于电脑主机中,但是AGP多功能显示卡只和显示器相连。这就意味着通过AGP多功能显示卡只是向显示器输出信号。而电视系统和上述视频卡(采集、压缩)卡相连。这样就使得当模拟视频信号输入电脑主机中的上述视频卡的时候,视频卡和AGP多功能显示卡分别向上述电视系统、显示器输出图像或者其他视频信号。
下面,我们来详细描述根据本发明的虚拟现实交互控制系统的数据处理操作。图15所示的是根据本发明的一种虚拟现实交互控制系统的处理操作框图。参看图15,可以看到当设置好场景的时候,通过摄像头或者摄像机进行图像或者影像采集,上述摄像头或者摄像机进行图像影像的采集如前述的图11,12所示的那样,将外设和电脑主机进行连接。然后将摄像头或者摄像机同视频捕捉设备相连,如果使用的是数字式摄像头进行采集,那么直接和上述视频捕捉设备相连;如果使用的是模拟式摄像头或者摄像机进行采集,那么还需要将其和模数转换器相连,从而进行模数转换,将模拟式摄像头采集的信号进行处理再输入到上述视频捕捉设备中。上述视频捕捉设备处理后的信号就输入到应用软件中。
上述应用软件将视频捕捉设备输出的信号进行含有蓝色/绿色背景的图像分析,分析后的信号再确定背景色彩/反差基准值。然后通过一个比较器,将含蓝/绿背景的图像与上述反差基准值进行比较分析。如果上述差值在设定的差值范围内,则将这些在设定差值范围内的差值去掉;如果上述差值超出设定的差值范围,则将这些超出设定差值范围的差值保留,也就是背景透明的人/物图像。然后将保留的信号输出,并进行交互控制区域的色彩/反差比较。
当然,对于本领域技术人员可以理解,也可以不经过上述的比较分析操作处理,上述确定的背景色彩/反差基准值的输出可以直接进行上述交互控制区域色彩/反差比较。
上述经过交互控制区域色彩/反差比较后处理的信号,如果上述交互控制区域的色彩/反差没有变化,则去除;如果上述交互控制区域的色彩/反差发生变化,则需要确定在哪一个交互控制区域内发生色彩/反差发生变化。
而且,根据本发明的一种虚拟现实交互控制系统,还提供有预设的交互控制区域,通过该预设的交互控制区域,可以和确定的背景色彩/反差基准值的输出一起进行上述的交互控制区域的色彩/反差比较,向该比较过程输出控制信号,或者直接进行控制上述交互控制区域的色彩/反差变化发生在哪一个区域内,向该区域输出信号。上述确定在哪一个交互区域发生色彩/反差变化之后,通过上述的预设的交互控制按钮区域和微软DirectX8.1产生响应。响应后的信号经过上述微软DirectX8.1进行合成,合成后的信号或者图像,影像可以同其他视频背景相结合,从而通过前述的如图13,14所示的那样,向显示器或者电视系统输出。从而操作者可以看到自己和电脑或电视屏幕所显示的画面有机的结合在一起,使得操作者的影像成为整个画面中重要的组成部分,并可配合背景画面,在平面中产生操作者和背景合成后的虚拟场景。
而且对于本领域技术人员可以理解的是,上述的操作处理过程中。保留(背景透明的人/物图像)步骤中输出的信号可以直接和上述响应后输出的信号、以及其他视频背景合成输出,并不经过上述的通过预定交互控制区域进行交互控制区域的色彩/反差比较。
这样通过上述虚拟现实交互控制系统对采集图像/影像的处理,将操作者和应用系统构成了一个完整的交互控制体系,就可以在例如电脑或电视的输出设备上完成二维或三维虚拟交互控制。而且本发明中的系统采用电脑数字动画播放技术,丰富了应用程序的内容,将操作者自行制作的极具个性化的应用程序引入本发明的交互控制系统中,从而获得良好的效果,因此可以广泛的应用于MTV、研讨会、展示会和报告会等场合中。
虚拟现实交互控制卡拉OK系统。将上述三种技术和现有的卡拉OK系统结合,即可实现虚拟现实交互控制的卡拉OK系统。
本发明还涉及非接触式“触摸屏”多媒体控制系统。将上述三种技术的蓝屏抠像技术去除,或者取消蓝屏,这可构成非接触式交互多媒体控制系统。
本发明参考优选实施例进行描述并示出,本领域的技术人员可以理解,这里在不偏离本发明由随后权利要求及其等效范围限定的精神和范围内,任何形式和细节上的不同变化都是可以的。
Claims (14)
1、一种虚拟现实交互控制系统,采用实时动态蓝屏抠像以及合成技术将操作者和电脑或电视屏幕所显示的画面有机的结合在一起,并可配合背景画面,在平面中产生操作者和背景合成后的虚拟场景,其包括:
摄像头,用于进行图像和影像等视频信号的采集;
显示器或电视系统,用于显示经过合成后的交互式虚拟图像或影像;
主控计算机,内置有视频(采集、压缩)卡和显示卡,
视频卡,用于接收摄像头输出的信号并处理信号,
显示卡,用于输出上述视频卡输出的处理信号;
其特征在于,还进一步包括预设的交互控制区域,用来进行虚拟现实交互式控制。
2、如权利要求1所述的虚拟现实交互控制系统,其特征在于,还进一步包括一比较器,用来比较含单色背景的图像与背景色彩/反差基准值的差值是否在设定的差值范围内。
3、如权利要求1所述的虚拟现实交互控制系统,其特征在于,上述预设的交互控制按钮区域可以是空间虚拟按钮,屏幕内虚拟按钮和屏幕内非虚拟按钮中的一种或多种组合。
4、如权利要求1所述的虚拟现实交互控制系统,其特征在于,上述摄像头通过IEEE1394插口和系统相连。
5、如权利要求1所述的虚拟现实交互控制系统,其特征在于,上述摄像头通过视频卡和系统相连。
6、如权利要求2所述的虚拟现实交互控制系统,其特征在于,还进一步包括一比较器,用于比较上述交互控制区域的色彩/反差与背景色彩/反差基准值。
7、如权利要求1所述的虚拟现实交互控制系统,其特征在于,对三维虚拟现实,上述摄像头只需要两台。
8、如权利要求1所述的虚拟现实交互控制系统,其特征在于,对二维屏幕虚拟现实,上述摄像头只需要一台。
9、如权利要求1-3中任一项所述的虚拟现实交互控制系统,其特征在于,上述虚拟交互控制按钮是一种交互控制区域,并没有任何物理设施存在,可以将操作者的影像以一种“淡入淡出”的方式嵌入或者关闭。
10、一种虚拟现实的交互式控制系统的控制方法,
通过摄像头或者摄像机进行图像或影像的采集;
将采集的信号经视频捕捉设备处理输出;
其特征在于:
将上述视频捕捉设备输出的信号即对含有单色背景的图像进行图像分析;
确定背景色彩/反差基准值;
通过预设的交互区域进行交互控制区域的色彩/反差与背景色彩/反差基准值的比较;
确定交互控制区域并产生响应;
同其他的视频背景进行合成;
将上述合成的信号通过显示器或电视系统输出。
11、如权利要求10所述的一种虚拟现实的交互式控制系统的控制方法,其特征在于,上述确定背景色彩/反差基准值后,还可以包括利用比较器将含单色背景的图像与背景色彩/反差基准值进行比较分析,得出差值。
12、如权利要求11所述的一种虚拟现实的交互式控制系统的控制方法,其特征在于,上述比较分析过程中还进一步包括保留超出设定差值范围的差值。
13、如权利要求10所述的一种虚拟现实的交互式控制系统的控制方法,其特征在于,上述交互控制区域的色彩/反差比较的过程还包括:色彩/反差发生变化,确定上述确定交互控制区域。
14、如权利要求10所述的一种虚拟现实的交互式控制系统的控制方法,其特征在于,所述单色背景为蓝/绿色。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2003101170779A CN1547131A (zh) | 2003-12-03 | 2003-12-03 | 一种虚拟现实交互式控制系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CNA2003101170779A CN1547131A (zh) | 2003-12-03 | 2003-12-03 | 一种虚拟现实交互式控制系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN1547131A true CN1547131A (zh) | 2004-11-17 |
Family
ID=34337691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2003101170779A Pending CN1547131A (zh) | 2003-12-03 | 2003-12-03 | 一种虚拟现实交互式控制系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN1547131A (zh) |
Cited By (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101753851B (zh) * | 2008-12-17 | 2011-12-28 | 华为终端有限公司 | 背景更换的方法、虚拟场景合成的方法及相关系统和设备 |
CN102685461A (zh) * | 2012-05-22 | 2012-09-19 | 深圳市环球数码创意科技有限公司 | 一种与观众实时交互的实现方法及其系统 |
CN102724424A (zh) * | 2011-11-29 | 2012-10-10 | 新奥特(北京)视频技术有限公司 | 一种利用数据文件进行电视图文包装场景切换的方法 |
CN103096101A (zh) * | 2011-11-07 | 2013-05-08 | 联想(北京)有限公司 | 视频合成方法、装置及电子设备 |
CN103297708A (zh) * | 2013-05-27 | 2013-09-11 | 苏州和氏设计营造股份有限公司 | 大幅面实时抠像实时显示系统 |
CN103475826A (zh) * | 2013-09-27 | 2013-12-25 | 深圳市中视典数字科技有限公司 | 一种视频抠像合成方法 |
CN101763762B (zh) * | 2008-12-22 | 2014-04-02 | 韩国电子通信研究院 | 使用虚拟现实的教育系统和方法 |
CN103752010A (zh) * | 2013-12-18 | 2014-04-30 | 微软公司 | 用于控制设备的增强现实覆盖 |
CN104216381A (zh) * | 2014-09-19 | 2014-12-17 | 西南大学 | 一种智慧教室 |
CN104680518A (zh) * | 2015-02-03 | 2015-06-03 | 长春理工大学 | 一种基于色度溢出处理的蓝屏抠像方法 |
US9329678B2 (en) | 2012-08-14 | 2016-05-03 | Microsoft Technology Licensing, Llc | Augmented reality overlay for control devices |
CN105654471A (zh) * | 2015-12-24 | 2016-06-08 | 武汉鸿瑞达信息技术有限公司 | 应用于互联网视频直播的增强现实ar系统及方法 |
CN106020493A (zh) * | 2016-03-13 | 2016-10-12 | 成都市微辣科技有限公司 | 一种基于虚拟现实的产品展示装置及方法 |
CN106204751A (zh) * | 2016-07-13 | 2016-12-07 | 广州大西洲科技有限公司 | 现实对象与虚拟场景的实时整合方法和整合系统 |
CN106713713A (zh) * | 2016-12-30 | 2017-05-24 | 刘涵 | 增强现实编辑播放的led全彩显示屏及其增强现实编辑播放的方法 |
CN108307184A (zh) * | 2016-08-11 | 2018-07-20 | 成都五维译鼎科技有限公司 | 一种数据交互方法及装置 |
CN108614636A (zh) * | 2016-12-21 | 2018-10-02 | 北京灵境世界科技有限公司 | 一种3d实景vr制作方法 |
CN109496331A (zh) * | 2016-05-20 | 2019-03-19 | 奇跃公司 | 用户界面菜单的情景感知 |
-
2003
- 2003-12-03 CN CNA2003101170779A patent/CN1547131A/zh active Pending
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101753851B (zh) * | 2008-12-17 | 2011-12-28 | 华为终端有限公司 | 背景更换的方法、虚拟场景合成的方法及相关系统和设备 |
CN101763762B (zh) * | 2008-12-22 | 2014-04-02 | 韩国电子通信研究院 | 使用虚拟现实的教育系统和方法 |
CN103096101B (zh) * | 2011-11-07 | 2016-03-30 | 联想(北京)有限公司 | 视频合成方法、装置及电子设备 |
CN103096101A (zh) * | 2011-11-07 | 2013-05-08 | 联想(北京)有限公司 | 视频合成方法、装置及电子设备 |
CN102724424A (zh) * | 2011-11-29 | 2012-10-10 | 新奥特(北京)视频技术有限公司 | 一种利用数据文件进行电视图文包装场景切换的方法 |
CN102685461A (zh) * | 2012-05-22 | 2012-09-19 | 深圳市环球数码创意科技有限公司 | 一种与观众实时交互的实现方法及其系统 |
US9329678B2 (en) | 2012-08-14 | 2016-05-03 | Microsoft Technology Licensing, Llc | Augmented reality overlay for control devices |
CN103297708A (zh) * | 2013-05-27 | 2013-09-11 | 苏州和氏设计营造股份有限公司 | 大幅面实时抠像实时显示系统 |
CN103475826A (zh) * | 2013-09-27 | 2013-12-25 | 深圳市中视典数字科技有限公司 | 一种视频抠像合成方法 |
CN103752010B (zh) * | 2013-12-18 | 2017-07-11 | 微软技术许可有限责任公司 | 用于控制设备的增强现实覆盖 |
CN103752010A (zh) * | 2013-12-18 | 2014-04-30 | 微软公司 | 用于控制设备的增强现实覆盖 |
CN104216381A (zh) * | 2014-09-19 | 2014-12-17 | 西南大学 | 一种智慧教室 |
CN104216381B (zh) * | 2014-09-19 | 2016-07-06 | 西南大学 | 一种智慧教室 |
CN104680518B (zh) * | 2015-02-03 | 2017-06-13 | 长春理工大学 | 一种基于色度溢出处理的蓝屏抠像方法 |
CN104680518A (zh) * | 2015-02-03 | 2015-06-03 | 长春理工大学 | 一种基于色度溢出处理的蓝屏抠像方法 |
CN105654471A (zh) * | 2015-12-24 | 2016-06-08 | 武汉鸿瑞达信息技术有限公司 | 应用于互联网视频直播的增强现实ar系统及方法 |
CN105654471B (zh) * | 2015-12-24 | 2019-04-09 | 武汉鸿瑞达信息技术有限公司 | 应用于互联网视频直播的增强现实ar系统及方法 |
CN106020493A (zh) * | 2016-03-13 | 2016-10-12 | 成都市微辣科技有限公司 | 一种基于虚拟现实的产品展示装置及方法 |
CN109496331A (zh) * | 2016-05-20 | 2019-03-19 | 奇跃公司 | 用户界面菜单的情景感知 |
CN109496331B (zh) * | 2016-05-20 | 2022-06-21 | 奇跃公司 | 用户界面菜单的情景感知 |
CN106204751A (zh) * | 2016-07-13 | 2016-12-07 | 广州大西洲科技有限公司 | 现实对象与虚拟场景的实时整合方法和整合系统 |
CN108307184A (zh) * | 2016-08-11 | 2018-07-20 | 成都五维译鼎科技有限公司 | 一种数据交互方法及装置 |
CN108307184B (zh) * | 2016-08-11 | 2020-05-01 | 成都五维译鼎科技有限公司 | 一种数据交互方法及装置 |
CN108614636A (zh) * | 2016-12-21 | 2018-10-02 | 北京灵境世界科技有限公司 | 一种3d实景vr制作方法 |
CN106713713A (zh) * | 2016-12-30 | 2017-05-24 | 刘涵 | 增强现实编辑播放的led全彩显示屏及其增强现实编辑播放的方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1547131A (zh) | 一种虚拟现实交互式控制系统 | |
CN105139741B (zh) | 一种数字沙盘系统 | |
US20100035682A1 (en) | User interface systems and methods for interactive video systems | |
CN1477856A (zh) | 真三维虚拟演播室系统及其实现方法 | |
CN101082901A (zh) | 一种虚拟排演系统 | |
US11568613B2 (en) | Apparatus, system, and method of providing a three dimensional virtual local presence | |
CN108305308A (zh) | 虚拟形象的线下展演系统及方法 | |
CN107134000A (zh) | 一种融合现实的三维动态图像生成方法及系统 | |
CN106657719A (zh) | 一种智能虚拟演播室系统 | |
Saeghe et al. | Augmented reality and television: Dimensions and themes | |
CN206325235U (zh) | 一种戏曲舞台虚实融合互动表演系统 | |
Linfante et al. | Space, time and catwalks: Fashion shows as a multilayered communication channel | |
CN101814190A (zh) | 一种动画制作系统和方法 | |
CN107093387A (zh) | 一种互动全息三维展示系统 | |
KR102200239B1 (ko) | 실시간 cg 영상 방송 서비스 시스템 | |
CN1357198A (zh) | 把交互式视频数据流用于增强的视觉呈现的系统和方法 | |
CN107948625A (zh) | 一种基于虚拟植入的场景包装方法及系统 | |
CN115187108A (zh) | 基于虚拟舞台的分布式彩排方法及系统 | |
CN2566556Y (zh) | 真三维虚拟演播室系统 | |
Karakottas et al. | Xr360: a toolkit for mixed 360 and 3d productions | |
TWI515691B (zh) | 現場動態情境重建之合成錄像拍製方法 | |
CN102724425B (zh) | 一种电视图文模板播出的方法 | |
CN1122257C (zh) | 多媒体信息的子母画面播放方法 | |
CN1570906A (zh) | 投影播放系统及其播放方法 | |
WO2014058404A1 (ru) | Способ съемки, отображения и трансляции видео в трехмерном формате |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
AD01 | Patent right deemed abandoned | ||
C20 | Patent right or utility model deemed to be abandoned or is abandoned |