CN103474009A - 智慧媒体系统及交互方法 - Google Patents
智慧媒体系统及交互方法 Download PDFInfo
- Publication number
- CN103474009A CN103474009A CN2013104326617A CN201310432661A CN103474009A CN 103474009 A CN103474009 A CN 103474009A CN 2013104326617 A CN2013104326617 A CN 2013104326617A CN 201310432661 A CN201310432661 A CN 201310432661A CN 103474009 A CN103474009 A CN 103474009A
- Authority
- CN
- China
- Prior art keywords
- image
- view data
- scene
- interest
- space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
Abstract
本发明提供了一种智慧媒体系统及交互方法，其通过提供一种基于对象、场景获取后分离融合技术的智慧媒体系统及交互方法，进而可提供一个智能化的体验式的购物场所，营造一种奇幻动感的交互体验，可实现将场景外的观众时空转换到场景中的效果，具有很高的新奇性和互动性，可以很好地体现文化科技的魅力，达到提高现场人气的目的，并且最终完成广而告之的媒体功能。充分将数字化时代的互动体验融合到传统商城中，使得使传统商贸产业从原有模式中得到突围、升级。
Description
技术领域
本发明涉及图像处理交互领域，尤其是指一种智慧媒体系统及交互方法。
背景技术
随着经济发展与结构转型，中国内需市场增长强劲，国内外各大零售商已将中国定为企业盈利高增长的区域收入来源。然而与此同时，伴随着阿里巴巴、京东商城等一大批电子商务企业的迅速崛起，电子商务给传统商业企业带来的是与日俱增的冲击和挤压，以店铺、购物中心为载体的传统商业已然面临日益严峻的挑战。
无疑，传统商业不可能眼睁睁的看着曾经的顾客随着网购的兴起不断流失，但如何把失去的客户和收入再吸引回来是一个需要面对的难题。
发明内容
本发明的目的在于克服了上述缺陷，提供一种适用于上述传统商业的智慧媒体系统及交互方法
本发明的目的是这样实现的：一种智慧媒体交互方法，它包括，
获取包括对象的图像数据的对象获取步骤；
获取包括场景的图像数据的场景获取步骤；以及，
将对象图像数据中的对象分离出来，而后通过图像融合技术将该对象合成至场景图像数据的场景中而后显示该数据的时空转换并展示的步骤；
进一步的，它还可包括，通过增强现实技术形成交互进入的图像数据并展示的交互进入步骤；
进一步的，它还可包括，通过增强现实技术形成包含完成信息的图像数据并展示的时空转换完成展示步骤；
进一步的，它还可包括，设置感兴趣区域的步骤；对应的，所述对象获取步骤中从设置的感兴趣区域中获取包括对象的图像数据；
作为一实施例，上述时空转换并展示步骤中通过8bit线性色键抠像技术将获取的对象图像数据中的对象分离出来；所述图像融合技术包括图像合成和“无限蓝箱”算法；
本发明还提供了一种智慧媒体系统，它包括相连的图像获取装置、图像处理装置及显示装置；
所述图像获取装置包括对象获取图像传感器及背景获取图像传感器，所述对象获取图像传感器用于采集包括对象的图像数据；所述背景获取图像传感器用于采集包括场景的图像数据；
所述图像处理装置，用于通过数字处理技术，将对象获取图像传感器送来的图像数据中的对象分离后通过图形融合技术与合成进入背景获取图像传感器送来图像数据的场景中形成时空转换图像数据并送至显示装置展现；
上述中，还包括感兴趣区域，对应感兴趣区域周边设置有图像处理装置的对象获取图像传感器及显示装置；所述感兴趣区域预先设定，用于当对象处于感兴趣区域时方启动图像处理装置合成时空转换图像数据。
本发明的有益效果在于提供了一种基于对象、场景获取后分离融合技术的智慧媒体系统及交互方法，进而可提供一个智能化的体验式的购物场所，营造一种奇幻动感的交互体验，可实现将场景外的观众时空转换到场景中的效果，具有很高的新奇性和互动性，可以很好地体现文化科技的魅力，达到提高现场人气的目的，并且最终完成广而告之的媒体功能。充分将数字化时代的互动体验融合到传统商城中，使得使传统商贸产业从原有模式中得到突围、升级。
附图说明
下面结合附图详述本发明的具体结构
图1为待分离对象的图片；
图2为通过本发明的线性色键抠像技术生成的图片蒙板示意图；
图3为其他商用抠像软件在处理抠像、与新背景融合后的效果示意图；
图4为本发明的线性色键抠像技术在处理抠像、与新背景融合后的效果示意图。
图5为本发明方法具体实施例的流程示意图；
图6为本发明中感兴趣区域设置示意图；
图7为本发明中感兴趣区域设置后分离蒙板示意图；
图8为最终实现效果示意图。
具体实施方式
为详细说明本发明的技术内容、构造特征、所实现目的及效果，以下结合实施方式并配合附图详予说明。
一种智慧媒体交互方法，它包括，
获取包括对象的图像数据的对象获取步骤；
获取包括场景的图像数据的场景获取步骤；以及，
将对象图像数据中的对象分离出来，而后通过图像融合技术将该对象合成至场景图像数据的场景中而后显示该数据的时空转换并展示的步骤；
进一步的，它还可包括，通过增强现实技术形成交互进入的图像数据并展示的交互进入步骤；
进一步的，它还可包括，通过增强现实技术形成包含完成信息的图像数据并展示的时空转换完成展示步骤；
进一步的，它还可包括，设置感兴趣区域的步骤；对应的，所述对象获取步骤中从设置的感兴趣区域中获取包括对象的图像数据；
进一步的，上述8bit线性色键抠像技术包括步骤，
A）、从获取包括对象的图像数据中，逐帧截取待处理图像。对应在以摄像头连续的获取包括对象的视频图像数据情况下，此处从摄像头原始视频流中逐帧截取待处理图像（Frame）。
B）、计算出待处理图像的图元信息。通常，到本步骤后，上述待处理图像会传送至图形处理器（GPU）的前端寄存器，由其计算出该待处理图像的图元信息（Primitive）。
C）、将待处理图像的颜色空间转换至YUV颜色空间。
由于一般情况下此时的待处理图像数据会为RGB颜色空间（Color Space），作为专业的广电设备，而广电设备的视频来源一般是YUV颜色空间（PAL制）或YIQ颜色空间（NTSC制）。这就与一般视频软件的解码格式中的RGB颜色空间不同。而对于RGB颜色空间而言，判断某种颜色是否是被抠除的颜色通常需要计算该颜色RGB的值与标准蓝幕背景颜色之间的颜色空间距离来判断。
RGB颜色空间具体地说是由红色（R）、绿色（G）和蓝色（B）三种加色原色组合而成。使用每通道8bit色深时，彩色图像中的每个RGB分量强度值为0-255，而实际上可能用的是16bit。在GPU内部使用的是0.0-1.0。RGB值越大，此颜色的光越多，产生的颜色越淡。
因此，现有针对RGB颜色空间这种方法所使用的原理简单，但是抠像效果较为生硬，同时对颜色的描述不够准确。由于人的视觉对亮度的敏感程度强于对颜色浓淡的敏感程度，为了便于颜色处理和识别，此处通过转换公式：
Y=0.30*R+0.59*G+0.11*B；
U=0.493*(B-Y)；
V=0.877*(R-Y)；
将待处理图像的颜色空间由RGB转换到YUV。
D）、应用三维颜色空间距离公式计算待处理图像中的当前像素值与预定像素值的相对距离（Distance）。
由于GPU图像处理的基本过程是对处理图像中的每一个像素值进行分析计算，因此，本部周中所述的“当前像素值”是泛指在上述分析过程中遇到的每一个像素点的颜色值。
而本步骤中的预定像素值，由于抠像图像是基于现实物理环境生成的，受光照等自然条件影响，所以蓝色幕布在图像中呈现的像素值是波动的，这些属于先验信息，因此预定像素值属于经验数值，其需要根据现场环境进行多次修正后得到的，也可称为指定抠像颜色值。它是在调试阶段测试出来的，被设定为背景颜色值，用于下一步的抠像过程中。
相对距离的计算通过公式：A(x1,y1,z1)、B(x2,y2,z2)
|AB|=sqrt((x1-x2)^2+(y1-y2)^2+(z1-z2)^2)计算得到。
上式中，x1，y1，z1是像素A在颜色空间的三维坐标，x2，y2，z2是像素B在相同颜色空间内的三维坐标，AB的距离计算基于空间解析几何的基本公式所得。即三维坐标系中，两点坐标的直线距离公式的应用。
E）、读取计算掩模图像的图元信息。此处的掩模图像即MASK图像，如图2所示就是一种典型的MASK图像，其与图像数据同大，其中包含所需要抠像的对象部分为白色，其他部分则为黑色，可作为一个蒙板在后续步骤中将对应白色部分区域的图像从待处理图像中分离出来，即实现抠像。F）、对当前步骤中正在计算的整个图像进行中值滤波（Median filtering）；该步骤可以有效的美化处理图像的边缘信息。
G）、应用颜色值混合公式（Alpha Blending）；
颜色值混合公式通常用在图像处理的后期，计算结果属于过程生成变量，其计算公式为：
C=α*F+(1-α)*B
式中：F是前景色Foreground，B是背景色Background，α是前面计算步骤中得到的颜色透明度。颜色值混合的对象即将前景色和背景色混合计算得到一个颜色值。计算的结果即输出颜色值C（Color）。
H）、对浮点计算结果进行归一化处理（Normalization）。
一般图像处理中的颜色值是8位色深，即每个像素值最大范围是二的八次方，通常用0～255表示；而GPU图形处理器中颜色值的表示范围是0～1。因此此处需要归一化处理，处理的对象则是当前处理的像素颜色值，目的是由前期处理过程的大数值归一化成小数值后进行颜色值输出。
通过上述方法可实现的抠图、重新融合的效果参见图1-4所示。
本发明还提供了一种智慧媒体系统，它包括相连的图像获取装置、图像处理装置及显示装置；
所述图像获取装置包括对象获取图像传感器及背景获取图像传感器，所述对象获取图像传感器用于采集包括对象的图像数据；所述背景获取图像传感器用于采集包括场景的图像数据；
所述图像处理装置，用于通过数字处理技术，将对象获取图像传感器送来的图像数据中的对象分离后通过图形融合技术与合成进入背景获取图像传感器送来图像数据的场景中形成时空转换图像数据并送至显示装置展现；
上述中，还包括感兴趣区域，对应感兴趣区域周边设置有图像处理装置的对象获取图像传感器及显示装置；所述感兴趣区域预先设定，用于当对象处于感兴趣区域时方启动图像处理装置合成时空转换图像数据。
上述方法可应用升级传统商业的商场上，具体实施方案包括：
配置智慧媒体系统，系统主要由光学传感器（即图像获取装置）、图形工作站（即图像处理装置）和户外LED屏（显示装置）三部分组成。采用先进的计算机视觉技术（Computer Vision）和数字图像处理技术（Digital Image Processing）来营造一种奇幻动感的交互体验，做到多名观众时空转换到商城内部场景中的效果，具有很高的新奇性和互动性，可以很好地体现文化科技的魅力，达到提高现场人气的目的，并且最终完成广而告之的媒体功能。
参见图5具体的方法如下，
在商场外广场上方安装数字高清摄像机，该数字高清摄像机用于采集商城广场上的实时画面，经过画面的人会作为对象被该数字高清摄像机一并获取。
在商场内部安装高清网络摄像机（HD IP Camera），该高清网络摄像机用于采集商场内的实时画面作为包括场景的图像数据被获取。
预设广场感兴趣区域（ROI-Region Of Interest），所述数字高清摄像机采集的画面中包括该预设于广场的感兴趣区域。此时，数字高清摄像机采集的画面如图6所示。由于设置了感兴趣区域，可使得后续的抠图更为快捷，具体体现如图7所示，处理时蒙板MASK直接把感兴趣区域以外的区域涂黑去除，只对白色局域部分中的对象进行分离。
当体验者聚集到预设ROI时，通过人工或设定条件启动触发键（SceneInteraction），开始交互。
需要说明的是，此处的“感兴趣区域ROI”可以对应为上述步骤E中的MASK图像，两者是同一性质的不同技术表达方式。使用不同因语境不同所需而定，具体地说，两者区别在于ROI属于先验知识，MASK图像属于后验知识；ROI属于主观表达，MASK属于客观描述。
作为一实施例，上述时空转换并展示步骤中通过8bit线性色键抠像技术将获取的对象图像数据中的对象分离出来；所述图像融合技术包括图像合成和“无限蓝箱”算法。
此处的图像合成和无限蓝箱是所述抠像步骤中，直接产生的结果。抠像的重要目的即图像合成，设定ROI的目的即实现“无限蓝箱”的效果。
此处应强调无限蓝箱的理念。由于项目地现场的特殊物理环境，抠像用的幕布不可能覆盖整个互动区域，而且高清摄像头的视野角度不可能多大，一般不大于90度，否则会产生严重畸变，造成鱼眼现象。但是项目的最终诉求是为了体验者的沉浸感，即要将小FOV(Field Of View)中的观众转换到更大FOV的背景环境中，形成强有力的视觉冲击。此时，ROI的设定有效的解决了该问题。
系统运用增强现实技术（AR-Augmented Reality），形成交互进入的图像数据（如宇宙飞船降临的特效画面），给体验体者带来交互进入的体验。
系统通过8bit线性色键抠像技术（Chroma Key），从数字高清摄像机采集的包括对象的图像数据中得到体验者前景图像（foreground），而后运行图像合成和“无限蓝箱”算法将前景（对象）和高清网络摄像机采集的商场内画面的背景合成一个有机的画面，如图8所示，然后通过户外LED屏显示，使得体验者宛如已经来到了商城内，从而使得观众体验后，竞相走进商城内实现快乐购物新体验。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
Claims (8)
1.一种智慧媒体交互方法，其特征在于：它包括，
获取包括对象的图像数据的对象获取步骤；
获取包括场景的图像数据的场景获取步骤；以及，
将对象图像数据中的对象分离出来，而后通过图像融合技术将该对象合成至场景图像数据的场景中而后显示该数据的时空转换并展示的步骤。
2.如权利要求1所述的智慧媒体交互方法，其特征在于：它还包括，
通过增强现实技术形成交互进入的图像数据并展示的交互进入步骤。
3.如权利要求1所述的智慧媒体交互方法，其特征在于：它还包括，
通过增强现实技术形成包含完成信息的图像数据并展示的时空转换完成展示步骤。
4.如权利要求1所述的智慧媒体交互方法，其特征在于：它还包括，
设置感兴趣区域的步骤；
所述对象获取步骤中从设置的感兴趣区域中获取包括对象的图像数据。
5.如权利要求4所述的智慧媒体交互方法，其特征在于：所述时空转换并展示步骤中通过8bit线性色键抠像技术将获取的对象图像数据中的对象分离出来；所述图像融合技术包括图像合成和“无限蓝箱”算法。
6.如权利要求5所述的智慧媒体交互方法，其特征在于：所述8bit线性色键抠像技术包括步骤，
A）、从获取包括对象的图像数据中，逐帧截取待处理图像；
B）、计算出待处理图像的图元信息；
C）、将待处理图像的颜色空间转换至YUV颜色空间；
D）、应用三维颜色空间距离公式计算待处理图像中的当前像素值与预定像素值的相对距离；
E）、读取计算掩模图像的图元信息；
F）、对当前整个图像进行中值滤波；
G）、应用颜色值混合公式；
H）、对浮点计算结果进行归一化处理。
7.一种智慧媒体系统，其特征在于：它包括相连的图像获取装置、图像处理装置及显示装置；
所述图像获取装置包括对象获取图像传感器及背景获取图像传感器，所述对象获取图像传感器用于采集包括对象的图像数据；所述背景获取图像传感器用于采集包括场景的图像数据；
所述图像处理装置，用于通过数字处理技术，将对象获取图像传感器送来的图像数据中的对象分离后通过图形融合技术与合成进入背景获取图像传感器送来图像数据的场景中形成时空转换图像数据并送至显示装置展现。
8.如权利要求7所述的智慧媒体系统，其特征在于：它还包括感兴趣区域，对应感兴趣区域周边设置有图像处理装置的对象获取图像传感器及显示装置；所述感兴趣区域预先设定，用于当对象处于感兴趣区域时方启动图像处理装置合成时空转换图像数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310432661.7A CN103474009B (zh) | 2013-09-22 | 2013-09-22 | 智慧媒体系统及交互方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310432661.7A CN103474009B (zh) | 2013-09-22 | 2013-09-22 | 智慧媒体系统及交互方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103474009A true CN103474009A (zh) | 2013-12-25 |
| CN103474009B CN103474009B (zh) | 2015-10-28 |
Family
ID=49798834
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310432661.7A Expired - Fee Related CN103474009B (zh) | 2013-09-22 | 2013-09-22 | 智慧媒体系统及交互方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103474009B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107657604A (zh) * | 2017-09-06 | 2018-02-02 | 西安交通大学 | 一种基于近场非标准光源的磨痕三维形貌原位获取方法 |
| CN108108023A (zh) * | 2018-01-02 | 2018-06-01 | 联想(北京)有限公司 | 一种显示方法和显示系统 |
| CN111491149A (zh) * | 2020-04-15 | 2020-08-04 | 深圳市瑞立视多媒体科技有限公司 | 基于高清视频的实时抠像方法、装置、设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6301382B1 (en) * | 1996-06-07 | 2001-10-09 | Microsoft Corporation | Extracting a matte of a foreground object from multiple backgrounds by triangulation |
| CN101098475A (zh) * | 2007-07-10 | 2008-01-02 | 浙江大学 | 一种数字视频处理中交互式时空一致的视频抠图方法 |
| CN101827215A (zh) * | 2009-03-06 | 2010-09-08 | 卡西欧计算机株式会社 | 从拍摄图像中抽取被摄体区域的拍摄装置 |
| CN202495992U (zh) * | 2012-01-18 | 2012-10-17 | 北京华丽达视听设备服务有限公司 | 演播室与现场互动表演系统 |
| CN102750707A (zh) * | 2011-08-29 | 2012-10-24 | 新奥特（北京）视频技术有限公司 | 一种基于感兴趣区域的图像处理方法和装置 |
-
2013
- 2013-09-22 CN CN201310432661.7A patent/CN103474009B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6301382B1 (en) * | 1996-06-07 | 2001-10-09 | Microsoft Corporation | Extracting a matte of a foreground object from multiple backgrounds by triangulation |
| CN101098475A (zh) * | 2007-07-10 | 2008-01-02 | 浙江大学 | 一种数字视频处理中交互式时空一致的视频抠图方法 |
| CN101827215A (zh) * | 2009-03-06 | 2010-09-08 | 卡西欧计算机株式会社 | 从拍摄图像中抽取被摄体区域的拍摄装置 |
| CN102750707A (zh) * | 2011-08-29 | 2012-10-24 | 新奥特（北京）视频技术有限公司 | 一种基于感兴趣区域的图像处理方法和装置 |
| CN202495992U (zh) * | 2012-01-18 | 2012-10-17 | 北京华丽达视听设备服务有限公司 | 演播室与现场互动表演系统 |
Non-Patent Citations (1)
| Title |
|---|
| 庄宁: "无限蓝箱技术及遮挡关系的实现", 《电视技术》, no. 234, 31 December 2001 (2001-12-31) * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107657604A (zh) * | 2017-09-06 | 2018-02-02 | 西安交通大学 | 一种基于近场非标准光源的磨痕三维形貌原位获取方法 |
| CN108108023A (zh) * | 2018-01-02 | 2018-06-01 | 联想(北京)有限公司 | 一种显示方法和显示系统 |
| US10809532B2 (en) | 2018-01-02 | 2020-10-20 | Lenovo (Beijing) Co., Ltd. | Display method and display system |
| CN111491149A (zh) * | 2020-04-15 | 2020-08-04 | 深圳市瑞立视多媒体科技有限公司 | 基于高清视频的实时抠像方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103474009B (zh) | 2015-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105654471B (zh) | 应用于互联网视频直播的增强现实ar系统及方法 | |
| CN100594519C (zh) | 用球面全景摄像机实时生成增强现实环境光照模型的方法 | |
| CN109196574A (zh) | 用于降低电子显示器的近视源性效应的方法和设备 | |
| CN106530309B (zh) | 一种基于移动平台的视频抠图方法及系统 | |
| CN202003534U (zh) | 交互电子沙盘 | |
| CN104461006A (zh) | 一种基于自然用户界面的互联网智能镜 | |
| JP7447077B2 (ja) | 映像ストリームにおける動的画像コンテンツ置換のための方法およびシステム | |
| US20110102678A1 (en) | Key Generation Through Spatial Detection of Dynamic Objects | |
| CN103533276B (zh) | 一种平面多投影快速拼接方法 | |
| CN103037189A (zh) | 一种实现多个投影整体输出大屏画面视频图像的方法 | |
| CN107154197A (zh) | 沉浸式飞行模拟器 | |
| CN106340064A (zh) | 一种混合现实沙盘装置和方法 | |
| CN102436666A (zh) | 基于ihs变换的对象与场景融合方法 | |
| CN102945079A (zh) | 一种基于智能识别与控制的立体投影系统与方法 | |
| CN102314601A (zh) | 使用非线性光照恒定核去除由基于车辆的相机捕获的图像中的阴影 | |
| CN103474009B (zh) | 智慧媒体系统及交互方法 | |
| Günther et al. | Aughanded virtuality-the hands in the virtual environment | |
| CN112312106B (zh) | 一种基于色彩空间转换的投影图像颜色校正方法 | |
| CN110992484A (zh) | 一种交通动态视频在真景三维平台中的显示方法 | |
| CN103533277A (zh) | 一种曲面多投影拼接方法 | |
| CN109961415A (zh) | 一种基于hsi空间光学成像模型的自适应增益水下图像增强方法 | |
| CN109634547A (zh) | 一种拼接屏根据观看者数量改变影像尺寸的方法及系统 | |
| CN102855607A (zh) | 一种基于机器学习的遥感图像色彩校正方法 | |
| CN109598770A (zh) | 一种城市建筑物的智能配色方法及智能配色系统 | |
| CN107241610A (zh) | 一种基于增强现实的虚拟内容插入系统和方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20151028 Termination date: 20170922 |