CN110930517A - 一种全景视频交互系统及方法 - Google Patents

一种全景视频交互系统及方法 Download PDF

Info

Publication number
CN110930517A
CN110930517A CN201910762448.XA CN201910762448A CN110930517A CN 110930517 A CN110930517 A CN 110930517A CN 201910762448 A CN201910762448 A CN 201910762448A CN 110930517 A CN110930517 A CN 110930517A
Authority
CN
China
Prior art keywords
panoramic
data
user
video
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910762448.XA
Other languages
English (en)
Inventor
陈均亮
陈柏言
许文飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanzhou Normal University
Original Assignee
Quanzhou Normal University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanzhou Normal University filed Critical Quanzhou Normal University
Priority to CN201910762448.XA priority Critical patent/CN110930517A/zh
Publication of CN110930517A publication Critical patent/CN110930517A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/955Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明涉及虚拟现实领域,具体涉及一种全景视频交互系统及方法,方法包括:扫描明信片中的特征图形,获取所述特征图形对应的全景视频数据,所述明信片包括至少一个特征图形;获取全景采集设备采集到的用户实时环境数据,并将所述用户实时环境数据与所述全景视频数据进行融合,得到全景影像数据;将所述全景影像数据导入全景交互设备,并将所述全景影像数据转换为全景影像在所述全景交互设备中进行展示;基于所述全景影像进行交互。本发明通过扫描明信片获取到对应的全景视频数据,并通过全景交互设备转换为全景影像,在全景影像中进行交互,可使用户与全景影像进行交互,避免生硬、单一的虚拟场景,提高了交互性,进而提高用户的体验。

Description

一种全景视频交互系统及方法
技术领域
本发明涉及虚拟现实领域,具体涉及一种全景视频交互系统及方法。
背景技术
目前,随着互联网的发展,人们足不出户就可以通过图片、文字以及视频分享等方式了解和知道世界各地的旅游信息,但这些方式仅限于知识的获取,而没有身临其境的体验,基于此,出现了VR虚拟现实技术,可以通过虚拟现实技术对各旅游景点进行虚拟化,用户只需要通过VR设备就可以体验到逼真的风景。另外,随着旅游业的深度发展,以及旅游产业的市场下沉,具有收藏价值的VR明信片已经出现,VR明信片将VR虚拟现实技术与明信片进行结合,用户只需要扫描VR明信片的二维码就可以通过VR设备进行观看。用户体验、人机交互、以及用户之间的社交链接是现代移动互联时代一个重要的特点,但是通过VR虚拟现实所观看的虚拟现实场景比较生硬,用户只能单一的选择观看VR场景,交互性极差。
发明内容
为了有效解决上述问题,本发明提供全景视频交互系统及方法。
本发明提供的一种全景视频交互方法的具体技术方案如下:
扫描明信片中的特征图形,获取所述特征图形对应的全景视频数据,所述明信片包括至少一个特征图形;
获取全景采集设备采集到的用户实时环境数据,并将所述用户实时环境数据与所述全景视频数据进行融合,得到全景影像数据;
将所述全景影像数据导入全景交互设备,并将所述全景影像数据转换为全景影像在所述全景交互设备中进行展示;
基于所述全景影像进行交互。
本发明提供的一种全景视频交互系统的具体技术方案如下:
包括:用户终端、服务器、全景采集设备以及全景交互设备;其中,所述服务器中存储有全景视频数据,所述用户终端包括:
扫描获取模块,用于扫描明信片中的特征图形,从服务器中获取所述特征图形对应的全景视频数据,所述明信片包括至少一个特征图形;
获取融合模块,用于获取全景采集设备采集到的用户实时环境数据,并将所述用户实时环境数据与所述全景视频数据进行融合,得到全景影像数据;
第一导入转换模块,用于将所述全景影像数据导入全景交互设备,并将所述全景影像数据转换为全景影像在所述全景交互设备中进行展示;
第一处理模块,用于基于所述全景影像进行交互。
本发明的有益之处:应用本发明所述全景视频交互方法,通过扫描明信片获取到对应的全景视频数据,并通过全景交互设备转换为全景影像,在全景影像中进行交互,可使用户与全景影像进行交互,避免生硬、单一的虚拟场景,提高了交互性,进而提高用户的体验。
附图说明
图1为本发明的一种可选系统架构的结构示意图;
图2为本发明的一种全景视频交互方法的流程示意图;
图3为本发明的一种全景视频数据的制作方法的流程示意图;
图4为本发明的一种交互界面示意图;
图5为本发明的另一种交互界面示意图;
图6为本发明的另一种全景视频交互方法的流程示意图;
图7为本发明的一种全景视频交互系统的结构示意图;
图8为本发明的另一种全景视频交互系统的结构示意图;
图9为本发明的另一种全景视频交互系统的结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应当理解,此处所描述的具体实施例仅仅用于解释本发明,并不用于限定本发明。
相反,本发明涵盖任何由权利要求定义的在本发明的精髓和范围上做的替代、修改、等效方法以及方案。进一步,为了使公众对本发明有更好的了解,在下文对本发明的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。
如图1所示,图1为本发明实施例的一种可选系统架构,系统架构100可以包括第一终端设备101、102、103,网络104、服务器105、第二终端设备106和第三终端设备107。网络104用以在第一终端设备101、102、103、第二终端设备106、第三终端设备107和服务器 105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
用户可以使用第一终端设备101、102、103、第二终端设备106、第三终端设备107通过网络104与服务器105交互,用户还可以使用终端设备101、102、103通过网络104与第二终端设备106交互,以接收或发送消息等。第一终端设备101、102、103、第二终端设备106 上可以安装有各种用户端应用,例如视频播放应用、网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱用户端、社交平台软件等。
第一终端设备101、102、103可以是具有显示屏并且支持视频播放的各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III,动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
第二终端设备106可以是VR(Virtual Reality,虚拟现实,简称VR)显示设备、AR(Augmented Reality,增强现实,简称AR) 显示设备、MR(Mixed Reality,混合现实,简称MR)显示设备等终端设备。
第三终端设备107可以是全景摄像设备比如,全景摄像头、或者全景摄像机、或者是搭载全景摄像关的第一终端设备101、102、103 等。
服务器105可以是提供各种服务的服务器,例如对终端设备101、 102、103、第二终端设备106上显示的内容提供支持的后台服务器。
实施例一
如图2所示,图2为本发明的一种全景视频交互方法的流程示意图,全景视频交互方法包括以下步骤:
S101、扫描明信片中的特征图形,获取所述特征图形对应的全景视频数据,所述明信片包括至少一个特征图形。
其中,所述明信片可以是旅游明信片,所述旅游明信片可以是基于各旅游景点或者是非遗文化进行制作,上述的非遗文化可以是海上丝绸之路沿途的旅游景点或者是非遗文化。上述的特征图形可以是二维码,也可以是具体的旅游景点图像,或是非遗文化相关的图像,比如某个非遗表演的现场画面等,上述的特征图形可以是多个,对应多个不同的全景视频数据,比如,当扫描的特征图形是楼的时候,对应的全景视频数据是楼,当扫描的特征图形是舞台的时候,对应的全景视频数据是舞台表演等。
S102、获取全景采集设备采集到的用户实时环境数据,并将所述用户实时环境数据与所述全景视频数据进行融合,得到全景影像数据。
上述的全景采集设备可以是第三终端设备107可以是全景摄像设备比如,全景摄像头、或者全景摄像机、或者是搭载全景摄像关的第一终端设备101、102、103等。上述的实时环境数据可以理解为实时的视频数据,上述的用户实时环境数据包括用户真实环境的视频数据以及用户的人像数据等。将用户实时环境数据与全景视频数据进行融合可以理解为在用户实时环境数据的基础上,添加全景视频数据,使用户实时环境能够体出其所在环境,又同时存在旅游景点或非遗文化的内容。用户实时环境数据与全景视频数据的融合可以通过3R技术来进行,具体的可以参考虚拟现实技术、增加现实技术、混合现实技术等。
S103、将所述全景影像数据导入全景交互设备,并将所述全景影像数据转换为全景影像在所述全景交互设备中进行展示。
上述的全景交互设备可以是第二终端设备106,比如VR、AR、MR 眼镜、头戴式设备等。上述全景交互设备用于对全景影像进行展示,上述的全景影像包括全景视频数据对应的影像、以及用户实时环境数据对应的影像,比如,全景视频数据对应的影像为一张桌子,用户实时环境数据对应的影像为一张沙发,则全景影像中包括全景视频数据中对应的桌子以及用户实时环境数据中对应的沙发。以非遗文化南音为例来说:上述的全景视频数据可以包括南音传承人的演唱片段、南音传承人的人像、文化周边物、馆阁、社团等全景视频数据。
S104、基于所述全景影像进行交互。
上述的基于全景影像进行交互可以是用户选择基于用户社交的视频观影、虚拟合影、视频学习、视频分享、虚拟购物中至少一项进行操作,也可以是用户选择基于人机交互的虚拟地图、定位导览、规则互动、自定义标签中至少一项进行操作。
本发明的有益之处:应用本发明所述全景视频交互方法,通过扫描明信片获取到对应的全景视频数据,并通过全景交互设备转换为全景影像,在全景影像中进行交互,可使用户与全景影像进行交互,避免生硬、单一的虚拟场景,提高了交互性,进而提高用户的体验。
进一步的,如图3所示,全景视频数据的制作方法包括以下步骤:
S201、通过全景摄像机获取到第一全景视频数据。
上述的全景摄像机可以理解为第三终端设备107中的一种,上述的第一全景视频数据可以是在采样点拍摄的视频数据,比如在旅游景点进行拍摄的视频数据,或者是对表演进行拍摄的视频数据。
S202、将获取到的第一全景视频数据进行VR虚拟现实全景处理,得到第二全景视频数据。
上述的第一全景视频可以是步骤S201中的获取的第一全景视频数据,通过对第一全景视频进行裁剪和拼接,形成VR虚拟现实的全景视频数据。第二全景视频数据可以理解为虚拟现实全景视频数据,加载虚拟现实全景视频数据,可以展示沉浸式的虚拟场景。
S203、对所述第二全景视频数据进行AR增强现实全景处理,得到第三全景视频数据。
提取第二全景视频数据中的特征部分,比如第二全景视频数据为卧室,特征部分为床,则可以提取床对应的特征出来,提取出的床也具有全景的属性,相当于对第二全景视频数据进行图像分割。
在一种可能的实施例中,也可以是对第一全景视频数据直接进行 AR增强现实全景处理,不需要再进行AR虚拟现实全景处理。
上述的第三全景视频数据可以理解为增强现实全景视频数据,加载增加现实全景视频数据,可以在现实场景中展示虚拟场景的物影与人影。
S204、对所述第三全景视频数据进行MR混合现实全景处理,得到所述全景视频数据。
提取第三全景视频数据进行边界处理,使所述第三全景视频数据的边界可以适应较多的背景,便于与用户实时环境数据进行融合。上述的全景视频数据可以理解为对与用户实时环境数据进行融合的预处理,使全景视频数据能够更快速的与用户实时环境数据进行融合。
在本实施例中,通过对现场采集到视频数据进行处理,使之能够在终端设备中进行全景展示。
进一步的,如图4所示,所述交互的内容包括:视频观影、虚拟合影、视频学习、视频分享、虚拟购物中至少一项;上述交互的内容存储于服务器中,上述的交互内容可以在第一终端设备或第二终端设备上进行展示。
所述视频观影包括全景视频内容以及对应的全景文字内容。举例来说:若明信片的主题为泉州的南音传承人,用户通过手机或其他终端在旅游明信片的正面扫一扫,就会出现选择界面,选择视频观影后可以观看各个不同特色的南音传承人的代表作的演唱片段,在跳出的视频演唱片段中出现演唱内容字幕。在一种可能的实施例中,也可以是观众直接用手机在不同旅游明信片的正面扫一扫,就会对应出现各个不同特色的南音传承人的代表作的演唱片段,在跳出的视频演唱片段中出现演唱内容字幕。
所述虚拟合影包括预先设定的虚拟人影,所述虚拟人影配置至少一组服饰,通过获取用户实时环境数据中用户的人像,与虚拟人影进行图像融合,得到所述用户与所述虚拟人影的合影。举例来说:用户通过手机或其他终端在旅游明信片的正面扫一扫,就会出现选择界面,选择虚拟合影后,可以跳出不同的南音传承人及不同的南音服饰,南音爱好者可以和喜欢的传承人合照发朋友圈或分享给好友,还可以了解和更换不同的南音服饰。在一种可能的实施例中,也可以是观众直接用手机在不同旅游明信片的正面扫一扫,就会跳出不同的南音传承人及不同的南音服饰,南音爱好者可以和喜欢的传承人合照发朋友圈或分享给好友,还可以了解和更换不同的南音服饰。
所述视频学习包括视频模仿和/或语音模仿,通过获取用户实时环境数据中用户的视频数据和/或语音数据,处理得到所述用户的模仿视频和/或模仿语音。举例来说:用户通过手机或其他终端在旅游明信片的正面扫一扫,就会出现选择界面,选择视频学习后,终端设备可以打开视频采集、录音等功能,用户可以选择模仿各个南音非遗传承人的唱法,通过给1-2分钟的短视频配音,让南音学唱充满趣味,摆脱枯燥无味的南音学习方式,自由选择模仿、跟唱喜欢的视频。
所述视频分享包括全景影像分享或平面影像分享,检测待分享对象是否支持全景影像,若支持,则将全景影像对应的全景视频数据生成分享链接,若不支持,则将全景影像处理成平面影像,将生成对应的分享链接。举例来说:用户通过手机或其他终端在旅游明信片的正面扫一扫,就会出现选择界面,选择视频分享后,可以分享到各个社交软件中的好友或圈子,各个社交软件是否支持全景影像则是预先进行对应的。
所述虚拟购物包括商品以及对应购买链接,所述商品的类型为实体商品或虚拟商品中至少一种。举例来说:用户通过手机或其他终端在旅游明信片的正面扫一扫,就会出现选择界面,选择虚拟购物后,用户可以根据商品的虚拟影像选择对应的商品进行购买。
在本实施例中,增加多种交互的内容,丰富了全景影像的交互内容,在对旅游景点或非遗文化的进行宣传的同时,提高了用户体验。
进一步的,如图5所示,所述交互的内容包括:虚拟地图、定位导览、规则互动、自定义标签中至少一项;上述交互的内容存储于服务器中,上述的交互内容可以在第一终端设备或第二终端设备上进行展示。
所述虚拟地图为基于POI兴趣地点构建的虚拟地图,所述虚拟地图上包括至少一个兴趣地点,所述兴趣地点包括对应地点的展示信息。上述的虚拟地图可以是各兴趣地点的VR电子虚拟地图。举例来说:用户通过手机或其他终端在旅游明信片的正面扫一扫,就会出现选择界面,选择虚拟地图后,在地图上采用POI的形式展示各地的南音社团、馆阁,及时发布价格、表演人等南音表演活动资讯或相关推介。上述的POI兴趣地点可以根据根据历史用户的总体客流量、地理位置分布、活动轨迹、平均停留时间、偏好、活动热点、南音场所馆阁关系、新老爱好者比率等大数据进行分析得到,另外可以根据根据历史用户的总体客流量、地理位置分布、活动轨迹、平均停留时间、偏好、活动热点、南音场所馆阁关系、新老爱好者比率等大数据及其变化趋势的深度挖掘,将之可视化并直观展现,转化成图表、分析报告或结论,通过用不同颜色的标注,来展现不同南音场馆的人流分布密度、停留时间及变化趋势等情况。
所述定位导览为LBS基于位置服务的导览,所述定位导览包括地图导览以及人像导览。基于LBS的定位导览可以理解为:用户可以根据地图导览以及人像导览到达南音场馆或表演场所,基于手机APP定位或者蓝牙iBeacon的地理位置可以提供特定的目的地AR/MR信息介绍,包括表演曲目、内容、特色、相关礼仪等。举例来说:用户通过手机或其他终端在旅游明信片的正面扫一扫,就会出现选择界面,选择定位导览后,用户在虚拟地图上指定目的地,可以生成南音传承人的IP形象(AR/MR技术制成)在前面指路,在手机或其他终端中结合实景的地图导览,让用户非常容易地找到欣赏南音的目的地。
所述规则互动为预先设置的规则,当用户触发规则事件时,则对用户执行所述预先设置的规则。上述的规则互动可以是预先设置规则,通过用户的行为事件进行触发,则执行预先设置的规则。举例来说:以南音“拜馆”习俗的传承为例,为了增加海内外用户的联谊,在虚拟场景中,可以让用户每到一个南音馆阁或社团采用AR扫描场馆logo或专属南音IP人物的方式积分或积赞,通过与南音IP人物进行南音知识互动问答,或进行游戏闯关式排行升级比赛,获取相应的游戏任务和奖励,增加互动的趣味性;任务线索要求具有顺承性,引导用户一步步完成最终任务并获得相应的奖励,将用户带入场景并在游戏中了解南音非遗文化信息。
所述自定义标签包括选项标签、评论标签中至少一项,所述选项标签用于给用户提供选择,所述评论标签用户显示用户的输入数据。上述的自定义标签可以由用户进行自定义,比如用户自行定义标签的形状以及颜色,具体的,通过设置自定义模板,用户可以改变自定义模板的形状边界以及颜色显示。上述的选项标签可以是交互内容的选项标签,上述的评论标签可以是供用户输入评论信息的标签,可以是语音标签、视频标签、文字标签、图片标签等。在一种可能的实施方式中,可以根据用户习惯,通过大数据分析,增加用户的喜好的IP 标签,比如,增加用户喜欢的人物的IP标签。举例来说:通过在南音演唱全景视频中加入自定义标签的做法,使南音表演全景视频简便低成本实现内容的交互性和体验性,实现多交互、泛娱乐、轻游戏等功能。
在本实施例中,通过增加基于人机交互的交互内容,丰富了全景影像的交互内容,在对旅游景点或非遗文化的进行宣传的同时,提高了用户体验。
进一步的,如图6所示,全景视频交互方法还包括:
S301、在多个全景采集设备分别采集到的对应多个用户的用户实时环境数据中,提取对应用户实时环境数据中用户的实时人像数据。
S302、将所述多个用户的实时人像数据上传到服务器。
S303、将接收到的,服务器下发的其他用户的实时人像数据,与全景影像数据进行整合,得到包含其他用户的全景影像数据。
S304、将所述包含其他用户的全景影像数据导入全景交互设备,并将所述包含其他用户的全景影像数据转换为包含其他用户的全景影像在所述全景交互设备中进行展示。
S305、基于所述包含其他用户的全景影像进行交互。
上述的实时人像数据包括用户对于全景影像或现实场景的动作数据,比如语音、游览、搭讪、聊天、握手、抚摸、购物等,通过用户实时的动作数据,使用户在包含其他用户的全景影像可以进行偶遇、娱乐、游戏等功能实现。将包含其他用户的全景影像数据导入全景交互设备可以实现多个用户在同一个全景影像的场景中进行交互,提高同好者的社交性。
在本实施例中,通过获取不同用户的实时人像数据,并将实时人像数据上传到服务器中,通过网络使得多个用户可以在同一个全景影像的场景中进行交互,提高同好者的社交性,从而进一步提高用户体验。当然,用户也可以选择不联网,这样,在一个全景影像的场景只存在用户自己的人像。
进一步的,上述的明信片可以是集换式明信片,当连续或同时扫描到多个关联明信片时,可以请求服务器下发对应的全景视频数据。举例来说:有五张南音乐器明信片,分别对应南音的五中乐器,每张明信片用APP扫描后会向服务器请求对应乐器的全景影像,比如对应乐器的视频、文字介绍或语音解说,在全景影像中,用户可以相应的像真实乐器一样弹奏,当连续或同时扫描到这五个关联明信片时,会向服务器请求对应五种南音乐器的组合全景影像,比如通过这五种南音乐器的组合的表演节目对应的全景影像。
如图7所示,图7为本发明的一种全景视频交互系统的结构示意图,全景视频交互系统7包括:用户终端200、服务器300、全景采集设备400以及全景交互设备500;其中,所述服务器中存储有全景视频数据,所述用户终端200包括:
扫描获取模块201,用于扫描明信片800中的特征图形,从服务器中获取所述特征图形对应的全景视频数据,所述明信片包括至少一个特征图形;
获取融合模块202,用于获取全景采集设备采集到的用户实时环境数据,并将所述用户实时环境数据与所述全景视频数据进行融合,得到全景影像数据;
第一导入转换模块203,用于将所述全景影像数据导入全景交互设备,并将所述全景影像数据转换为全景影像在所述全景交互设备中进行展示;
第一处理模块204,用于基于所述全景影像进行交互。
需要说明的是,上述的用户端也可以理解为第一终端设备101、 102、103。上述的全景交互设备也可以理解为第二终端设备106。上述的全景采集设备也可以理解为第三终端设备107或者是搭载全景摄像关的第一终端设备101、102、103等。
进一步的,如图8所示,所述系统还包括:全景视频数据的制作装置600,所述制作装置包括以下步骤:
视频获取模块601,用于通过全景摄像机获取到第一全景视频数据;
第一处理模块602,用于将获取到的第一全景视频进行VR虚拟现实全景处理,得到第二全景视频数据;
第二处理模块603,用于对所述第二全景视频进行AR增强现实全景处理,得到第三全景视频数据;
第三处理模块604,用于对所述第三全景视频进行MR混合现实全景处理,得到所述全景视频数据。
在一种可能的实施方式中,制作装置600可以是单独设置的,可以部署在明信片制作方。
进一步的,所述服务器用于存储所述交互的内容,所述用户终端用于加载所述交互的内容包括,其中,所述交互的内容包括:视频观影、虚拟合影、视频学习、视频分享、虚拟购物中至少一项;
所述视频观影包括全景视频内容以及对应的全景文字内容;
所述虚拟合影包括预先设定的虚拟人影,所述虚拟人影配置至少一组服饰,通过获取全景采集设备采集到的用户实时环境数据中用户的人像,与虚拟人影进行图像融合,得到所述用户与所述虚拟人影的合影;
所述视频学习包括视频模仿和/或语音模仿,通过获取全景采集设备采集到的用户实时环境数据中用户的视频数据和/或语音数据,处理得到所述用户的模仿视频和/或模仿语音;
所述视频分享包括全景影像分享或平面影像分享,检测待分享对象是否支持全景影像,若支持,则将全景影像对应的全景视频数据生成分享链接,若不支持,则将全景影像处理成平面影像,将生成对应的分享链接;
所述虚拟购物包括商品以及对应购买链接,所述商品的类型为实体商品或虚拟商品中至少一种。
进一步的,所述服务器用于存储所述交互的内容,所述用户终端用于加载所述交互的内容包括,其中,所述交互的内容包括:虚拟地图、定位导览、规则互动、自定义标签中至少一项;
所述虚拟地图为基于POI兴趣地点构建的虚拟地图,所述虚拟地图上包括至少一个兴趣地点,所述兴趣地点包括对应地点的展示信息;
所述定位导览为LBS基于位置服务的导览,所述定位导览包括地图导览以及人像导览;
所述规则互动为预先设置的规则,当用户触发规则事件时,则对用户执行所述预先设置的规则;
所述自定义标签包括选项标签、评论标签中至少一项,所述选项标签用于给用户提供选择,所述评论标签用户显示用户的输入数据。
进一步的,所述用户终端200、全景采集设备400以及全景交互设备500均为多个,所述用户终端200还包括:
提取模块205,用于在多个全景采集设备分别采集到的对应多个用户的用户实时环境数据中,提取对应用户实时环境数据中用户的实时人像数据;
上传接收模块206,用于将所述多个用户的实时人像数据上传到服务器,并接收服务器下发的其他用户的实时人像数据;
整合模块207,用于将接收到的,服务器下发的其他用户的实时人像数据,与全景影像数据进行整合,得到包含其他用户的全景影像数据;
第二导入转换模块208,用于将所述包含其他用户的全景影像数据导入全景交互设备,并将所述包含其他用户的全景影像数据转换为包含其他用户的全景影像在所述全景交互设备中进行展示;
第二处理模块209,用于基于所述包含其他用户的全景影像进行交互。
本发明实施例提供的全景视频交互系统能够实现对应方法实施例中的各个实施方式,以及相应有益效果,为避免重复,这里不再赘述。
对于本领域的普通技术人员而言,根据本发明的教导,在不脱离本发明的原理与精神的情况下,对实施方式所进行的改变、修改、替换和变形仍落入本发明的保护范围之内。

Claims (10)

1.一种全景视频交互方法,其特征在于,所述方法包括以下步骤:
扫描明信片中的特征图形,获取所述特征图形对应的全景视频数据,所述明信片包括至少一个特征图形;
获取全景采集设备采集到的用户实时环境数据,并将所述用户实时环境数据与所述全景视频数据进行融合,得到全景影像数据;
将所述全景影像数据导入全景交互设备,并将所述全景影像数据转换为全景影像在所述全景交互设备中进行展示;
基于所述全景影像进行交互。
2.如权利要求1中所述的全景视频交互方法,其特征在于,所述全景视频数据的制作方法包括以下步骤:
通过全景摄像机获取到第一全景视频数据;
将获取到的第一全景视频数据进行VR虚拟现实全景处理,得到第二全景视频数据;
对所述第二全景视频数据进行AR增强现实全景处理,得到第三全景视频数据;
对所述第三全景视频数据进行MR混合现实全景处理,得到所述全景视频数据。
3.如权利要求1中所述的全景视频交互方法,其特征在于,所述交互的内容包括:视频观影、虚拟合影、视频学习、视频分享、虚拟购物中至少一项;
所述视频观影包括全景视频内容以及对应的全景文字内容;
所述虚拟合影包括预先设定的虚拟人影,所述虚拟人影配置至少一组服饰,通过获取用户实时环境数据中用户的人像,与虚拟人影进行图像融合,得到所述用户与所述虚拟人影的合影;
所述视频学习包括视频模仿和/或语音模仿,通过获取用户实时环境数据中用户的视频数据和/或语音数据,处理得到所述用户的模仿视频和/或模仿语音;
所述视频分享包括全景影像分享或平面影像分享,检测待分享对象是否支持全景影像,若支持,则将全景影像对应的全景视频数据生成分享链接,若不支持,则将全景影像处理成平面影像,将生成对应的分享链接;
所述虚拟购物包括商品以及对应购买链接,所述商品的类型为实体商品或虚拟商品中至少一种。
4.如权利要求1-3中任一项所述的全景视频交互方法,其特征在于,所述交互的内容包括:虚拟地图、定位导览、规则互动、自定义标签中至少一项;
所述虚拟地图为基于POI兴趣地点构建的虚拟地图,所述虚拟地图上包括至少一个兴趣地点,所述兴趣地点包括对应地点的展示信息;
所述定位导览为LBS基于位置服务的导览,所述定位导览包括地图导览以及人像导览;
所述规则互动为预先设置的规则,当用户触发规则事件时,则对用户执行所述预先设置的规则;
所述自定义标签包括选项标签、评论标签中至少一项,所述选项标签用于给用户提供选择,所述评论标签用户显示用户的输入数据。
5.如权利要求1-3中任一项所述的全景视频交互方法,其特征在于,所述方法还包括:
在多个全景采集设备分别采集到的对应多个用户的用户实时环境数据中,提取对应用户实时环境数据中用户的实时人像数据;
将所述多个用户的实时人像数据上传到服务器;
将接收到的,服务器下发的其他用户的实时人像数据,与全景影像数据进行整合,得到包含其他用户的全景影像数据;
将所述包含其他用户的全景影像数据导入全景交互设备,并将所述包含其他用户的全景影像数据转换为包含其他用户的全景影像在所述全景交互设备中进行展示;
基于所述包含其他用户的全景影像进行交互。
6.一种全景视频交互系统,其特征在于,包括:用户终端、服务器、全景采集设备以及全景交互设备;其中,所述服务器中存储有全景视频数据,所述用户终端包括:
扫描获取模块,用于扫描明信片中的特征图形,从服务器中获取所述特征图形对应的全景视频数据,所述明信片包括至少一个特征图形;
获取融合模块,用于获取全景采集设备采集到的用户实时环境数据,并将所述用户实时环境数据与所述全景视频数据进行融合,得到全景影像数据;
第一导入转换模块,用于将所述全景影像数据导入全景交互设备,并将所述全景影像数据转换为全景影像在所述全景交互设备中进行展示;
第一处理模块,用于基于所述全景影像进行交互。
7.如权利要求6中所述的全景视频交互系统,其特征在于,所述系统还包括:全景视频数据的制作装置,所述制作装置包括以下步骤:
视频获取模块,用于通过全景摄像机获取到第一全景视频数据;
第一处理模块,用于将获取到的第一全景视频进行VR虚拟现实全景处理,得到第二全景视频数据;
第二处理模块,用于对所述第二全景视频进行AR增强现实全景处理,得到第三全景视频数据;
第三处理模块,用于对所述第三全景视频进行MR混合现实全景处理,得到所述全景视频数据。
8.如权利要求6中所述的全景视频交互系统,其特征在于,所述服务器用于存储所述交互的内容,所述用户终端用于加载所述交互的内容包括,其中,所述交互的内容包括:视频观影、虚拟合影、视频学习、视频分享、虚拟购物中至少一项;
所述视频观影包括全景视频内容以及对应的全景文字内容;
所述虚拟合影包括预先设定的虚拟人影,所述虚拟人影配置至少一组服饰,通过获取全景采集设备采集到的用户实时环境数据中用户的人像,与虚拟人影进行图像融合,得到所述用户与所述虚拟人影的合影;
所述视频学习包括视频模仿和/或语音模仿,通过获取全景采集设备采集到的用户实时环境数据中用户的视频数据和/或语音数据,处理得到所述用户的模仿视频和/或模仿语音;
所述视频分享包括全景影像分享或平面影像分享,检测待分享对象是否支持全景影像,若支持,则将全景影像对应的全景视频数据生成分享链接,若不支持,则将全景影像处理成平面影像,将生成对应的分享链接;
所述虚拟购物包括商品以及对应购买链接,所述商品的类型为实体商品或虚拟商品中至少一种。
9.如权利要求6-8中任一项所述的全景视频交互方法,其特征在于,所述服务器用于存储所述交互的内容,所述用户终端用于加载所述交互的内容包括,其中,所述交互的内容包括:虚拟地图、定位导览、规则互动、自定义标签中至少一项;
所述虚拟地图为基于POI兴趣地点构建的虚拟地图,所述虚拟地图上包括至少一个兴趣地点,所述兴趣地点包括对应地点的展示信息;
所述定位导览为LBS基于位置服务的导览,所述定位导览包括地图导览以及人像导览;
所述规则互动为预先设置的规则,当用户触发规则事件时,则对用户执行所述预先设置的规则;
所述自定义标签包括选项标签、评论标签中至少一项,所述选项标签用于给用户提供选择,所述评论标签用户显示用户的输入数据。
10.如权利要求6-8中任一项所述的全景视频交互方法,其特征在于,所述用户终端、全景采集设备以及全景交互设备均为多个,所述用户终端还包括:
提取模块,用于在多个全景采集设备分别采集到的对应多个用户的用户实时环境数据中,提取对应用户实时环境数据中用户的实时人像数据;
上传模块,用于将所述多个用户的实时人像数据上传到服务器;
整合模块,用于将接收到的,服务器下发的其他用户的实时人像数据,与全景影像数据进行整合,得到包含其他用户的全景影像数据;
第二导入转换模块,用于将所述包含其他用户的全景影像数据导入全景交互设备,并将所述包含其他用户的全景影像数据转换为包含其他用户的全景影像在所述全景交互设备中进行展示;
第二处理模块,用于基于所述包含其他用户的全景影像进行交互。
CN201910762448.XA 2019-08-19 2019-08-19 一种全景视频交互系统及方法 Pending CN110930517A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910762448.XA CN110930517A (zh) 2019-08-19 2019-08-19 一种全景视频交互系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910762448.XA CN110930517A (zh) 2019-08-19 2019-08-19 一种全景视频交互系统及方法

Publications (1)

Publication Number Publication Date
CN110930517A true CN110930517A (zh) 2020-03-27

Family

ID=69856618

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910762448.XA Pending CN110930517A (zh) 2019-08-19 2019-08-19 一种全景视频交互系统及方法

Country Status (1)

Country Link
CN (1) CN110930517A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312227A (zh) * 2020-06-15 2021-02-02 青岛一舍科技有限公司 一种全景交互方法和装置
CN112468768A (zh) * 2020-10-22 2021-03-09 江西裕丰智能农业科技有限公司 一种基于全景视频流的ar智能终端
CN112738498A (zh) * 2020-12-24 2021-04-30 京东方科技集团股份有限公司 一种虚拟游览系统及方法
CN112734937A (zh) * 2020-12-31 2021-04-30 中国科学院宁波材料技术与工程研究所 一种基于全景技术的旅游系统
CN113781176A (zh) * 2021-09-15 2021-12-10 北京大道信通科技股份有限公司 一种商户全景展示系统及方法
CN116704526A (zh) * 2023-08-08 2023-09-05 泉州师范学院 工尺谱扫描机器人及其方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112312227A (zh) * 2020-06-15 2021-02-02 青岛一舍科技有限公司 一种全景交互方法和装置
CN112468768A (zh) * 2020-10-22 2021-03-09 江西裕丰智能农业科技有限公司 一种基于全景视频流的ar智能终端
CN112738498A (zh) * 2020-12-24 2021-04-30 京东方科技集团股份有限公司 一种虚拟游览系统及方法
CN112738498B (zh) * 2020-12-24 2023-12-08 京东方科技集团股份有限公司 一种虚拟游览系统及方法
CN112734937A (zh) * 2020-12-31 2021-04-30 中国科学院宁波材料技术与工程研究所 一种基于全景技术的旅游系统
CN113781176A (zh) * 2021-09-15 2021-12-10 北京大道信通科技股份有限公司 一种商户全景展示系统及方法
CN113781176B (zh) * 2021-09-15 2023-10-31 北京大道信通科技股份有限公司 一种商户全景展示系统及方法
CN116704526A (zh) * 2023-08-08 2023-09-05 泉州师范学院 工尺谱扫描机器人及其方法
CN116704526B (zh) * 2023-08-08 2023-09-29 泉州师范学院 工尺谱扫描机器人及其方法

Similar Documents

Publication Publication Date Title
CN110930517A (zh) 一种全景视频交互系统及方法
US10136260B2 (en) Selectively providing mobile experiences at multiple locations
CN103620600B (zh) 用于实现虚拟标记的方法及设备
US9015759B2 (en) Interactive map and related content for an entertainment program
US20120278740A1 (en) Linking users into live social networking interactions based on the users' actions relative to similar content
JP4637889B2 (ja) 仮想空間放送装置
JP2017532582A (ja) オーディオカバー表示方法および装置
US11455334B2 (en) Method and system for collecting, and globally communicating and evaluating, digital still and video images of sports and event spectators, including augmented reality images from entertainment and venues
KR20140143777A (ko) 증강 현실 통신 및 정보의 방법
US20190221019A1 (en) Computer Readable Media, Information Processing Apparatus and Information Processing Method
US10372752B1 (en) Method and system for collecting, and globally communicating and evaluating, digital still and video images of sports and event spectators, including augmented reality images from entertainment and gathering venues
CN110930220A (zh) 一种显示方法、装置、终端设备及介质
CN112118397B (zh) 一种视频合成的方法、相关装置、设备以及存储介质
US11758217B2 (en) Integrating overlaid digital content into displayed data via graphics processing circuitry
CN104010206A (zh) 基于地理位置的虚拟现实视频播放的方法和系统
KR101370747B1 (ko) 사용자에게 여행 장소와 연관된 대중 문화 컨텐트를 제공하기 위한 방법, 시스템, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
CN114302160A (zh) 信息显示方法、装置、计算机设备及介质
TW201917556A (zh) 多屏互動方法、裝置及電子設備
CN112734937A (zh) 一种基于全景技术的旅游系统
KR100762414B1 (ko) 통신 네트워크를 이용한 실시간 동영상 서비스 시스템 및그 방법
CN115830279A (zh) 景区历史街区实景导览方法、系统、app及其应用
KR101221540B1 (ko) 인터랙티브 미디어 매핑 시스템 및 그 방법
CN115103206A (zh) 视频数据的处理方法、装置、设备、系统及存储介质
KR20010098031A (ko) 인터넷을 이용하여 전세계를 실시간으로 관광하는 방법
CN114765692B (zh) 一种直播数据处理方法、装置、设备及介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination