CN102903144A - 一种基于云计算的交互式增强现实系统实现方法 - Google Patents
一种基于云计算的交互式增强现实系统实现方法 Download PDFInfo
- Publication number
- CN102903144A CN102903144A CN2012102739061A CN201210273906A CN102903144A CN 102903144 A CN102903144 A CN 102903144A CN 2012102739061 A CN2012102739061 A CN 2012102739061A CN 201210273906 A CN201210273906 A CN 201210273906A CN 102903144 A CN102903144 A CN 102903144A
- Authority
- CN
- China
- Prior art keywords
- target object
- image
- cloud computing
- dimensional
- local host
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
本发明公开了一种基于云计算的三维空间叠加、文字介绍、语音介绍结合的交互式增强现实展示方法，从图像中分割出目标物体并自动建立特征模板；对于三维物体使用多张各角度的目标物体图片作为特征模板；通过系统获取显示设备的最佳分辨率F，图像采集设备采集到的某一帧视频图像Q及交互辅助模块的指令及数据K，将F、Q、K作为基础数据发送到云计算中心；由云计算中心分配硬件资源，利用目标物体识别方法计算出图像中目标物体的编号B和所有特征点；记录这些特征点的图像坐标值；由云计算中心完成对目标物体的识别、三维叠加和互动效果合成，将合成的结果渲染成分辨率F的图像，将此图像和通过目标物体识别所得到的编号从文件服务器调取语音数据压缩后，传送到本地主机。
Description
技术领域
本发明属于云计算技术领域，尤其涉及一种基于云计算的交互式增强现实系统实现方法。
背景技术
增强现实技术(Augmented Reality technique，简称AR技术)，也被称为扩增现实(台湾)。把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过科学技术模拟仿真后再叠加到现实世界被人类感官所感知，从而达到超越现实的感官体验，这种技术叫做增强现实技术，简称AR技术。
增强现实可根据所应用的范围分为户内型与户外型。户内型增强现实从广义上说包括各种将数据层覆盖于建筑物内部物理空间的实践，为建筑师、壁画师、展览设计师和新媒体艺术家所关心；相对而言，狭义的户内型增强现实是在计算机技术支持下发展起来的。它允许用户在现实环境中与虚拟物体交互。
现有增强现实应用，大多是基于单机现场展示，或将单机应用发布到互联网上，无法对现实环境中种类繁多的目标物体进行识别和三维叠加。为了实现虚拟与现实交互，增强现实技术需要对目标物体进行快速的识别和三维坐标信息计算，因而准确地跟踪目标物体在三维坐标系下的位置以及目标和摄像机之间的相对位置十分重要。传统的增强现实技术实现方法通常对客户端硬件要求较高，无法同时对多个目标物体进行识别和三维信息计算。并且在各种操作系统和硬件平台下移植困难。
发明内容
本发明实施例的目的在于提供一种基于云计算的交互式增强现实系统实现方法，旨在解决现有增强现实应用，大多是基于单机现场展示，或将单机应用发布到互联网上，无法对现实环境中种类繁多的目标物体进行识别和三维叠加。为了实现虚拟与现实交互，增强现实技术需要对目标物体进行快速的识别和三维坐标信息计算，因而准确地跟踪目标物体在三维坐标系下的位置以及目标和摄像机之间的相对位置十分重要。传统的增强现实技术实现方法通常对客户端硬件要求较高，无法同时对多个目标物体进行识别和三维信息计算。并且在各种操作系统和硬件平台下移植困难的问题。
本发明实施例是这样实现的，一种基于云计算的交互式增强现实系统实现方法，其特征在于，所述方法包括如下步骤：
步骤1：预先拍摄一张或几张需要叠加三维模型的目标物体图片或者由程序从摄像机的图像中自动分割出目标物体图片作为标识物(1)；
步骤2：将图像采集设备(2)和显示设备(11)连接本地主机(3)，通过系统获取显示设备(11)的最佳分辨率F，图像采集设备(2)采集到的某一帧视频图像Q，和交互辅助模块(4)的指令及数据K，将F、Q和K通过网络传送到云计算中心(9)；
步骤3：由云计算中心(9)分配硬件资源，利用目标物体识别方法(5)计算出图像中目标物体所匹配标识物(1)的编号B和图像中目标物体与标识物(1)匹配的所有特征点；
步骤4：从步骤3所述的全部匹配特征点中选择4个最准确的匹配特征点；记录这些特征点的图像坐标值；此外，以其中一点为世界坐标原点，记录下其他特征点的世界坐标；
步骤5：由云计算中心(9)依据步骤4的内容，利用三维信息计算方法(6)计算摄像机的外参数H；
步骤6：由云计算中心(9)通过网络从数据库服务器(8)中查询编号B对应三维模型、语音、文本等文件的文件名及路径，再使用以上信息在文件服务器(7)中调取三维模型、语音和文本文件。
步骤7：通过图形引擎(10)在云计算中心(9)中，将图像Q作为三维场景的背景，并以步骤5中计算出的参数H为位置信息，将编号B对应三维模型和文本介绍叠加在目标物体上。
步骤8：结合交互辅助模块(4)的指令及数据K，云计算中心(9)通过图形引擎(10)的物理特性计算数据K对三维模型造成影响后，三维模型的位移和旋转角度。并将有效值赋值给已叠加在目标物体上的三维模型。
步骤9：根据上述计算结果，云计算中心(9)将结果渲染成分辨率为F的图像S。再将语音数据和图像S进行打包压缩，发送给本地主机(3)。
步骤10：本地主机(3)获取到云计算中心(9)发来的数据包后，解压成图像S和语音数据，通过显示设备(11)显示结果，并播放语音数据，从而实现了实时交互式三维叠加展示效果。
步骤11：使用上述方法，还可对图像中多个目标物体进行计算，得出每个目标物体的三维信息，从而实现对多个目标物体的叠加效果。
步骤12：使用管理系统(13)可访问Web服务器(12)对本地主机(3)中的数据资源，云计算中心(9)的目标物体识别方法和三维信息计算方法，文件服务器(7)和数据库服务器(8)中的数据进行增加、删除、修改、查询，还可以统计任何一个标识物(1)的使用频率、时间，系统各部分软硬件的运行状态。
进一步，所述方法还可以通过如下方法实现，具体步骤为：
步骤1：预先拍摄一张或几张需要叠加三维模型的目标物体图片或者由程序从摄像机的图像中自动分割出目标物体图片作为标识物(1)；
步骤2：将图像采集设备(2)连接本地主机(3)，通过系统将图像采集设备(2)采集到的某一帧视频图像Q，通过网络传送到云计算中心(9)，由云计算中心(9)分配硬件资源，利用目标物体识别方法(5)计算出目标物体所匹配标识物(1)的编号B，和图像中目标物体与标识物(1)匹配的所有特征点；
步骤3：从步骤2所述的全部匹配特征点中选择4个最准确的匹配特征点；记录这些特征点的图像坐标值；此外，以其中一点为世界坐标原点，记录下其他特征点的世界坐标；
步骤4：由云计算中心(9)依据步骤3的内容，利用三维信息计算方法(6)计算摄像机的外参数H；
步骤5：由云计算中心(9)将计算所得将B和H传送到本地主机(3)；
步骤6：由本地主机(3)通过网络从数据库服务器(8)中查询编号B对应三维模型、语音、文本等文件的文件名及路径，再使用以上信息在文件服务器(7)中调取三维模型、语音和文本文件；
步骤7：将图像Q作为三维场景的背景，并以步骤5中计算出的参数H为位置信息，将编号B对应三维模型和文本介绍叠加在目标物体上；
步骤8：结合交互辅助模块(4)的指令及数据K，本地主机(3)通过图形引擎(10)的物理特性计算数据K对三维模型造成影响后的效果；
步骤9：根据上述计算结果，本地主机(3)通过图形引擎(10)将结果渲染出来，通过显示设备(11)显示，同时播放语音文件，从而实现了实时交互式三维叠加展示效果；
步骤10：使用上述方法，还可对图像中多个目标物体进行计算，得出每个目标物体的三维信息，从而实现对多个目标物体的叠加效果；
步骤11：使用管理系统(13)可访问Web服务器(12)对本地主机(3)中的数据资源，云计算中心(9)的计算方法，文件服务器(7)、数据库服务器(8)中的数据进行增加、删除、修改、查询，还可以统计任何一个标识物(1)的使用频率、时间，系统各部分软硬件的运行状态等。形成一个完整的管理系统。
进一步，所述方法还可以通过如下方法实现，具体步骤为：
步骤1：预先拍摄一张或几张需要叠加三维模型的目标物体图片或者由程序从摄像机的图像中自动分割出目标物体图片作为标识物(1)；
步骤2：将图像采集设备(2)连接本地主机(3)，通过系统将图像采集设备(2)采集到的某一帧视频图像Q，在本地主机(3)中利用目标物体识别方法(5)计算出目标物体所匹配标识物(1)的编号B，和图像中目标物体与标识物(1)匹配的所有特征点；
步骤3：从步骤2所述的全部匹配特征点中选择4个最准确的匹配特征点；记录这些特征点的图像坐标值；此外，以其中一点为世界坐标原点，记录下其他特征点的世界坐标；
步骤4：由本地主机(3)依据步骤3的内容，利用三维信息计算方法(6)计算摄像机的外参数H；
步骤5：由本地主机(3)通过网络从数据库服务器(8)中查询编号B对应三维模型、语音、文本等文件的文件名及路径，再使用以上信息在文件服务器(7)中调取三维模型、语音和文本文件；
步骤6：将图像Q作为三维场景的背景，并以步骤5中计算出的参数H为位置信息，将编号B对应三维模型和文本介绍叠加在目标物体上；
步骤7：结合交互辅助模块(4)的指令及数据K，本地主机(3)通过图形引擎(10)的物理特性计算数据K对三维模型造成影响后的效果；
步骤8：根据上述计算结果，本地主机(3)通过图形引擎(10)将结果渲染出来，通过显示设备(11)显示，同时播放语音文件，从而实现了实时交互式三维叠加展示效果；
步骤9：使用上述方法，还可对图像中多个目标物体进行计算，得出每个目标物体的三维信息，从而实现对多个目标物体的叠加效果；
步骤10：使用管理系统(13)可访问Web服务器(12)对本地主机(3)中的标识物(1)文件、文件服务器(7)、数据库服务器(8)中的数据进行增加、删除、修改、查询，还可以统计任何一个标识物(1)的使用频率、时间，系统各部分软硬件的运行状态等。形成一个完整的管理系统。
进一步，所述方法可移植到Windows，Linux，Windows Phone，IOS，MacOS X，Android等操作系统中应用，并且可运行于桌式电脑、智能电视、平板电脑、手机、其他可搭载操作系统的硬件设备等硬件平台使用。
本发明具有以下积极效果：
1、实现可一种基于云计算的三维空间叠加、文字介绍、语音介绍结合的交互式增强现实展示方法。
2、可以从摄像机拍摄的图像中分割出目标物体并自动建立该目标物体的特征模板。
3、对于三维物体使用多张各角度的目标物体图片作为特征模板。
4、通过系统获取显示设备(11)的最佳分辨率F，图像采集设备(2)采集到的某一帧视频图像Q，交互辅助模块(4)的指令及数据，作为基础数据发送给云计算中心(9)。
5、由云计算中心(9)分配硬件资源，利用目标物体识别方法(5)计算出图像中目标物体所匹配标识物(1)的编号B，和图像中目标物体与标识物(1)匹配的所有特征点；并全部匹配特征点中选择4个最准确的匹配特征点；记录这些特征点的图像坐标值；此外，以其中一点为世界坐标原点，记录下其他特征点的世界坐标。结合摄像机标定和镜头畸变调整，计算出目标物体相对于摄像机的位移和旋转角度。
6、由云计算中心(9)分配硬件资源，通过图形引擎(10)中碰撞、接近等物理特性计算由交互辅助模块(4)提供的指令和数据对叠加的虚拟物体造成的影响。
7、由云计算中心(9)完成对目标物体的识别、三维叠加和互动效果合成，将合成的结果渲染成分辨率F的图像，将此图像和通过目标物体识别所得到的编号从文件服务器调取语音数据压缩后，传送到本地主机(3)。
8、本地主机(3)解压数据后，播放语音数据，并通过显示设备(11)显示结果。
9、本系统可移植到Windows，Linux，Windows Phone，IOS，Mac OS X，Android等操作系统中应用，并且可运行于桌式电脑、智能电视、平板电脑、手机、其他可搭载操作系统的硬件设备等硬件平台使用。
附图说明
图1是本发明实施例提供的系统第一种结构图；
图2是本发明实施例提供的系统第二种结构图；
图3是本发明实施例提供的系统第三种结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例1：基于附图1所示的结构，本发明实施例提供的基于云计算的交互式增强现实系统实现方法可以通过以下步骤实现：
步骤1：预先拍摄一张或几张需要叠加三维模型的目标物体图片或者由程序从摄像机的图像中自动分割出目标物体图片作为标识物(1)；
步骤2：将图像采集设备(2)和显示设备(11)连接本地主机(3)，通过系统获取显示设备(11)的最佳分辨率F，图像采集设备(2)采集到的某一帧视频图像Q，和交互辅助模块(4)的指令及数据K，将F、Q和K通过网络传送到云计算中心(9)；
步骤3：由云计算中心(9)分配硬件资源，利用目标物体识别方法(5)计算出图像中目标物体所匹配标识物(1)的编号B和图像中目标物体与标识物(1)匹配的所有特征点；
步骤4：从步骤3所述的全部匹配特征点中选择4个最准确的匹配特征点；记录这些特征点的图像坐标值；此外，以其中一点为世界坐标原点，记录下其他特征点的世界坐标；
步骤5：由云计算中心(9)依据步骤4的内容，利用三维信息计算方法(6)计算摄像机的外参数H；
步骤6：由云计算中心(9)通过网络从数据库服务器(8)中查询编号B对应三维模型、语音、文本等文件的文件名及路径，再使用以上信息在文件服务器(7)中调取三维模型、语音和文本文件。
步骤7：通过图形引擎(10)在云计算中心(9)中，将图像Q作为三维场景的背景，并以步骤5中计算出的参数H为位置信息，将编号B对应三维模型和文本介绍叠加在目标物体上。
步骤8：结合交互辅助模块(4)的指令及数据K，云计算中心(9)通过图形引擎(10)的物理特性计算数据K对三维模型造成影响后，三维模型的位移和旋转角度。并将有效值赋值给已叠加在目标物体上的三维模型。
步骤9：根据上述计算结果，云计算中心(9)将结果渲染成分辨率为F的图像S。再将语音数据和图像S进行打包压缩，发送给本地主机(3)。
步骤10：本地主机(3)获取到云计算中心(9)发来的数据包后，解压成图像S和语音数据，通过显示设备(11)显示结果，并播放语音数据，从而实现了实时交互式三维叠加展示效果。
步骤11：使用上述方法，还可对图像中多个目标物体进行计算，得出每个目标物体的三维信息，从而实现对多个目标物体的叠加效果。
步骤12：使用管理系统(13)可访问Web服务器(12)对本地主机(3)中的数据资源，云计算中心(9)的计算方法，文件服务器(7)、数据库服务器(8)中的数据进行增加、删除、修改、查询，还可以统计任何一个标识物(1)的使用频率、时间，系统各部分软硬件的运行状态等。形成一个完整的管理系统。
本发明实施例与现有技术相比具有以下优点：
1、便于管理需要在现实中叠加的三维模型和标识物(1)
2、可大大降低本地主机(3)的硬件配置；
3、对于多个标识物(1)的识别，可大大减少目标物体识别方法和三维信息计算方法所消耗的时间。
4、可不对图形引擎(10)中模型大小，制作规则进行限制。
5、可实现复杂的人机交互效果。
6、便于升级目标物体识别方法(5)和三维信息计算方法(6)。
7、可在各种操作系统和硬件平台上便捷的移植。
实施例2：考虑到用户在现实中网络环境的不同，本发明的系统结构可进行下列两种变化，基于附图2所示的结构，基于网络稳定环境下，带宽要求正常，本发明实施例提供的基于云计算的交互式增强现实系统实现方法可以通过以下步骤实现：
步骤1：预先拍摄一张或几张需要叠加三维模型的目标物体图片或者由程序从摄像机的图像中自动分割出目标物体图片作为标识物(1)；
步骤2：将图像采集设备(2)连接本地主机(3)，通过系统将图像采集设备(2)采集到的某一帧视频图像Q，通过网络传送到云计算中心(9)，由云计算中心(9)分配硬件资源，利用目标物体识别方法(5)计算出目标物体所匹配标识物(1)的编号B，和图像中目标物体与标识物(1)匹配的所有特征点；
步骤3：从步骤2所述的全部匹配特征点中选择4个最准确的匹配特征点；记录这些特征点的图像坐标值；此外，以其中一点为世界坐标原点，记录下其他特征点的世界坐标；
步骤4：由云计算中心(9)依据步骤3的内容，利用三维信息计算方法(6)计算摄像机的外参数H；
步骤5：由云计算中心(9)将计算所得将B和H传送到本地主机(3)。
步骤6：由本地主机(3)通过网络从数据库服务器(8)中查询编号B对应三维模型、语音、文本等文件的文件名及路径，再使用以上信息在文件服务器(7)中调取三维模型、语音和文本文件。
步骤7：将图像Q作为三维场景的背景，并以步骤5中计算出的参数H为位置信息，将编号B对应三维模型和文本介绍叠加在目标物体上。
步骤8：结合交互辅助模块(4)的指令及数据K，本地主机(3)通过图形引擎(10)的物理特性计算数据K对三维模型造成影响后的效果。
步骤9：根据上述计算结果，本地主机(3)通过图形引擎(10)将结果渲染出来，通过显示设备(11)显示，同时播放语音文件，从而实现了实时交互式三维叠加展示效果。
步骤10：使用上述方法，还可对图像中多个目标物体进行计算，得出每个目标物体的三维信息，从而实现对多个目标物体的叠加效果。
步骤11：使用管理系统(13)可访问Web服务器(12)对本地主机(3)中的数据资源，云计算中心(9)的计算方法，文件服务器(7)、数据库服务器(8)中的数据进行增加、删除、修改、查询，还可以统计任何一个标识物(1)的使用频率、时间，系统各部分软硬件的运行状态等。形成一个完整的管理系统。
本发明实施例与现有技术相比具有以下优点：
1、便于管理需要在现实中叠加的三维模型和标识物(1)。
2、可降低本地主机(3)的硬件配置；
3、对于多个标识物(1)的识别，可大大减少目标物体识别方法(5)和三维信息计算方法(6)所消耗的时间。
4、便于升级目标物体识别方法(5)和三维信息计算方法(6)。
实施例3：基于附图3所示的结构，基于网络不稳定环境下，带宽要求正常，本发明实施例提供的基于云计算的交互式增强现实系统实现方法可以通过以下步骤实现：
步骤1：预先拍摄一张或几张需要叠加三维模型的目标物体图片或者由程序从摄像机的图像中自动分割出目标物体图片作为标识物(1)；
步骤2：将图像采集设备(2)连接本地主机(3)，通过系统将图像采集设备(2)采集到的某一帧视频图像Q，在本地主机(3)中利用目标物体识别方法(5)计算出目标物体所匹配标识物(1)的编号B，和图像中目标物体与标识物(1)匹配的所有特征点；
步骤3：从步骤2所述的全部匹配特征点中选择4个最准确的匹配特征点；记录这些特征点的图像坐标值；此外，以其中一点为世界坐标原点，记录下其他特征点的世界坐标；
步骤4：由本地主机(3)依据步骤3的内容，利用三维信息计算方法(6)计算摄像机的外参数H；
步骤5：由本地主机(3)通过网络从数据库服务器(8)中查询编号B对应三维模型、语音、文本等文件的文件名及路径，再使用以上信息在文件服务器(7)中调取三维模型、语音和文本文件。
步骤6：将图像Q作为三维场景的背景，并以步骤5中计算出的参数H为位置信息，将编号B对应三维模型和文本介绍叠加在目标物体上。
步骤7：结合交互辅助模块(4)的指令及数据K，本地主机(3)通过图形引擎(10)的物理特性计算数据K对三维模型造成影响后的效果。
步骤8：根据上述计算结果，本地主机(3)通过图形引擎(10)将结果渲染出来，通过显示设备(11)显示，同时播放语音文件，从而实现了实时交互式三维叠加展示效果。
步骤9：使用上述方法，还可对图像中多个目标物体进行计算，得出每个目标物体的三维信息，从而实现对多个目标物体的叠加效果。
步骤10：使用管理系统(13)可访问Web服务器(12)对本地主机(3)中的标识物(1)文件、文件服务器(7)、数据库服务器(8)中的数据进行增加、删除、修改、查询，还可以统计任何一个标识物(1)的使用频率、时间，系统各部分软硬件的运行状态等。形成一个完整的管理系统。
本发明实施例与现有技术相比具有以下优点：
1、便于管理需要在现实中叠加的三维模型。
2、将本地主机(3)中配置本地数据库和文件资源，即可在网络通畅时发送请求与数据库服务器(8)和文件服务器(7)同步，更新本地主机(3)内容，并发送统计数据。而在无网络状况下，仍使用更新前数据正常运行。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、模块合并、等同替换和改进等，均应包含在本发明的保护范围之内。
Claims (4)
1.一种基于云计算的交互式增强现实系统实现方法，其特征在于，所述方法包括如下步骤：
预先拍摄一张或几张需要叠加三维模型的目标物体图片或者由程序从摄像机的图像中自动分割出目标物体图片作为标识物(1)；
将图像采集设备(2)和显示设备(11)连接本地主机(3)，通过系统获取显示设备(11)的最佳分辨率F，图像采集设备(2)采集到的某一帧视频图像Q，和交互辅助模块(4)的指令及数据K，将F、Q和K通过网络传送到云计算中心(9)；
由云计算中心(9)分配硬件资源，利用目标物体识别方法(5)计算出图像中目标物体所匹配标识物(1)的编号B和图像中目标物体与标识物(1)匹配的所有特征点；
从所述的全部匹配特征点中选择4个最准确的匹配特征点；记录这些特征点的图像坐标值；此外，以其中一点为世界坐标原点，记录下其他特征点的世界坐标；
由云计算中心(9)依据的内容，利用三维信息计算方法(6)计算摄像机的外参数H；
由云计算中心(9)通过网络从数据库服务器(8)中查询编号B对应三维模型、语音、文本等文件的文件名及路径，再使用以上信息在文件服务器(7)中调取三维模型、语音和文本文件；
通过图形引擎(10)在云计算中心(9)中，将图像Q作为三维场景的背景，并以计算出的参数H为位置信息，将编号B对应三维模型和文本介绍叠加在目标物体上；
结合交互辅助模块(4)的指令及数据K，云计算中心(9)通过图形引擎(10)的物理特性计算数据K对三维模型造成影响后，三维模型的位移和旋转角度，并将有效值赋值给已叠加在目标物体上的三维模型；
根据上述计算结果，云计算中心(9)将结果渲染成分辨率为F的图像S，再将语音数据和图像S进行打包压缩，发送给本地主机(3)；
本地主机(3)获取到云计算中心(9)发来的数据包后，解压成图像S和语音数据，通过显示设备(11)显示结果，并播放语音数据，从而实现了实时交互式三维叠加展示效果；
使用上述方法，还可对图像中多个目标物体进行计算，得出每个目标物体的三维信息，从而实现对多个目标物体的叠加效果；
使用管理系统(13)可访问Web服务器(12)对本地主机(3)中的数据资源，云计算中心(9)的目标物体识别方法和三维信息计算方法，文件服务器(7)和数据库服务器(8)中的数据进行增加、删除、修改、查询，还可以统计任何一个标识物(1)的使用频率、时间，系统各部分软硬件的运行状态。
2.如权利要求1所述的方法，其特征在于，所述方法还可以通过如下方法实现，具体步骤为：
预先拍摄一张或几张需要叠加三维模型的目标物体图片或者由程序从摄像机的图像中自动分割出目标物体图片作为标识物(1)；
将图像采集设备(2)连接本地主机(3)，通过系统将图像采集设备(2)采集到的某一帧视频图像Q，通过网络传送到云计算中心(9)，由云计算中心(9)分配硬件资源，利用目标物体识别方法(5)计算出目标物体所匹配标识物(1)的编号B，和图像中目标物体与标识物(1)匹配的所有特征点；
从所述的全部匹配特征点中选择4个最准确的匹配特征点；记录这些特征点的图像坐标值；此外，以其中一点为世界坐标原点，记录下其他特征点的世界坐标；
由云计算中心(9)利用三维信息计算方法(6)计算摄像机的外参数H；
由云计算中心(9)将计算所得将B和H传送到本地主机(3)；
由本地主机(3)通过网络从数据库服务器(8)中查询编号B对应三维模型、语音、文本等文件的文件名及路径，再使用以上信息在文件服务器(7)中调取三维模型、语音和文本文件；
将图像Q作为三维场景的背景，并以计算出的参数为位置信息，将编号B对应三维模型和文本介绍叠加在目标物体上；
结合交互辅助模块(4)的指令及数据K，本地主机(3)通过图形引擎(10)的物理特性计算数据K对三维模型造成影响后的效果；
根据上述计算结果，本地主机(3)通过图形引擎(10)将结果渲染出来，通过显示设备(11)显示，同时播放语音文件，从而实现了实时交互式三维叠加展示效果；
使用上述方法，还可对图像中多个目标物体进行计算，得出每个目标物体的三维信息，从而实现对多个目标物体的叠加效果；
使用管理系统(13)可访问Web服务器(12)对本地主机(3)中的数据资源，云计算中心(9)的计算方法，文件服务器(7)、数据库服务器(8)中的数据进行增加、删除、修改、查询，还可以统计任何一个标识物(1)的使用频率、时间，系统各部分软硬件的运行状态。
3.如权利要求1所述的方法，其特征在于，所述方法还可以通过如下方法实现，具体步骤为：
预先拍摄一张或几张需要叠加三维模型的目标物体图片或者由程序从摄像机的图像中自动分割出目标物体图片作为标识物(1)；
将图像采集设备(2)连接本地主机(3)，通过系统将图像采集设备(2)采集到的某一帧视频图像Q，在本地主机(3)中利用目标物体识别方法(5)计算出目标物体所匹配标识物(1)的编号B，和图像中目标物体与标识物(1)匹配的所有特征点；
从所述的全部匹配特征点中选择4个最准确的匹配特征点；记录这些特征点的图像坐标值；此外，以其中一点为世界坐标原点，记录下其他特征点的世界坐标；
由本地主机(3)利用三维信息计算方法(6)计算摄像机的外参数H；
由本地主机(3)通过网络从数据库服务器(8)中查询编号B对应三维模型、语音、文本等文件的文件名及路径，再使用以上信息在文件服务器(7)中调取三维模型、语音和文本文件；
将图像Q作为三维场景的背景，并以计算出的参数H为位置信息，将编号B对应三维模型和文本介绍叠加在目标物体上；
结合交互辅助模块(4)的指令及数据K，本地主机(3)通过图形引擎(10)的物理特性计算数据K对三维模型造成影响后的效果；
根据上述计算结果，本地主机(3)通过图形引擎(10)将结果渲染出来，通过显示设备(11)显示，同时播放语音文件，从而实现了实时交互式三维叠加展示效果；
使用上述方法，还可对图像中多个目标物体进行计算，得出每个目标物体的三维信息，从而实现对多个目标物体的叠加效果；
使用管理系统(13)可访问Web服务器(12)对本地主机(3)中的标识物(1)文件、文件服务器(7)、数据库服务器(8)中的数据进行增加、删除、修改、查询，还可以统计任何一个标识物(1)的使用频率、时间，系统各部分软硬件的运行状态。
4.如权利要求1所述的方法，其特征在于，所述方法可移植到Windows，Linux，Windows Phone，IOS，Mac OS X，Android等操作系统中应用，并且可运行于桌式电脑、智能电视、平板电脑、手机、其他可搭载操作系统的硬件设备等硬件平台使用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210273906.1A CN102903144B (zh) | 2012-08-03 | 2012-08-03 | 一种基于云计算的交互式增强现实系统实现方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210273906.1A CN102903144B (zh) | 2012-08-03 | 2012-08-03 | 一种基于云计算的交互式增强现实系统实现方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN102903144A true CN102903144A (zh) | 2013-01-30 |
| CN102903144B CN102903144B (zh) | 2015-05-27 |
Family
ID=47575356
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210273906.1A Active CN102903144B (zh) | 2012-08-03 | 2012-08-03 | 一种基于云计算的交互式增强现实系统实现方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102903144B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150658A (zh) * | 2013-04-02 | 2013-06-12 | 武汉友睿科技有限公司 | 一种面向终端用户的现实增强定制系统及方法 |
| CN103440603A (zh) * | 2013-08-30 | 2013-12-11 | 苏州跨界软件科技有限公司 | 基于增强现实的点菜系统 |
| CN103516808A (zh) * | 2013-10-21 | 2014-01-15 | 上海佳世展览有限公司 | 智慧展馆移动终端虚实交互平台 |
| CN104134229A (zh) * | 2014-08-08 | 2014-11-05 | 李成 | 实时交互的增强现实系统以及方法 |
| CN104461215A (zh) * | 2014-11-12 | 2015-03-25 | 深圳市东信时代信息技术有限公司 | 基于虚拟增强技术的增强现实系统及方法 |
| CN105323252A (zh) * | 2015-11-16 | 2016-02-10 | 上海璟世数字科技有限公司 | 基于增强现实技术实现互动的方法、系统和终端 |
| CN105488226A (zh) * | 2015-12-31 | 2016-04-13 | 苏州和云观博数字科技有限公司 | 数字博物馆观览系统 |
| CN106846237A (zh) * | 2017-02-28 | 2017-06-13 | 山西辰涵影视文化传媒有限公司 | 一种基于Unity3D的增强实现方法 |
| CN107274491A (zh) * | 2016-04-09 | 2017-10-20 | 大连七界合创科技有限公司 | 一种三维场景的空间操控虚拟实现方法 |
| CN107682688A (zh) * | 2015-12-30 | 2018-02-09 | 视辰信息科技(上海)有限公司 | 基于增强现实的视频实时录制方法及录制设备 |
| WO2018072630A1 (zh) * | 2016-10-17 | 2018-04-26 | 杭州海康威视数字技术股份有限公司 | 一种三维场景模型构建方法及装置 |
| CN108021229A (zh) * | 2016-10-31 | 2018-05-11 | 迪斯尼企业公司 | 通过脱机计算记录高保真度数字沉浸式体验 |
| CN108062786A (zh) * | 2016-11-08 | 2018-05-22 | 台湾国际物业管理顾问有限公司 | 以三维信息模型为基础的综合感知定位技术应用系统 |
| CN108255605A (zh) * | 2017-12-29 | 2018-07-06 | 北京邮电大学 | 一种基于神经网络的图像识别协同计算方法及系统 |
| CN108318024A (zh) * | 2017-01-18 | 2018-07-24 | 樊晓东 | 一种基于图像识别云服务的地理定位系统和方法 |
| CN108564455A (zh) * | 2018-01-05 | 2018-09-21 | 福建农林大学 | 一种基于增强现实技术的拍卖方法 |
| CN108765575A (zh) * | 2018-02-24 | 2018-11-06 | 石化盈科信息技术有限责任公司 | 一种基于ar的工业设备图鉴展示方法和系统 |
| CN109427086A (zh) * | 2017-08-22 | 2019-03-05 | 上海荆虹电子科技有限公司 | 三维图像生成装置及方法 |
| CN112862945A (zh) * | 2019-11-27 | 2021-05-28 | 北京沃东天骏信息技术有限公司 | 一种记录生成方法和装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110102460A1 (en) * | 2009-11-04 | 2011-05-05 | Parker Jordan | Platform for widespread augmented reality and 3d mapping |
| CN102148818A (zh) * | 2010-12-29 | 2011-08-10 | 北京大学 | 移动设备上实现分布式虚拟现实与可视化的方法及系统 |
-
2012
- 2012-08-03 CN CN201210273906.1A patent/CN102903144B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110102460A1 (en) * | 2009-11-04 | 2011-05-05 | Parker Jordan | Platform for widespread augmented reality and 3d mapping |
| CN102148818A (zh) * | 2010-12-29 | 2011-08-10 | 北京大学 | 移动设备上实现分布式虚拟现实与可视化的方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| VLAHAKIS V,IOANNIDIS N,KARIGIANNIS J: "《virtual reality and information technology for archaeological site promotion》", 《IN:5TH INTERNATIONAL CONFERENCE ON BUSINESS INFORMATION SYSTEMS》, 30 April 2002 (2002-04-30) * |
| 陈卓: "《基于自然特征点的增强现实系统配准技术研究》", 《中国优秀硕士学位论文全文数据库信息科技辑 》, 31 December 2011 (2011-12-31) * |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103150658B (zh) * | 2013-04-02 | 2016-05-18 | 武汉友睿科技有限公司 | 一种面向终端用户的现实增强定制系统及方法 |
| CN103150658A (zh) * | 2013-04-02 | 2013-06-12 | 武汉友睿科技有限公司 | 一种面向终端用户的现实增强定制系统及方法 |
| CN103440603A (zh) * | 2013-08-30 | 2013-12-11 | 苏州跨界软件科技有限公司 | 基于增强现实的点菜系统 |
| CN103516808A (zh) * | 2013-10-21 | 2014-01-15 | 上海佳世展览有限公司 | 智慧展馆移动终端虚实交互平台 |
| CN104134229A (zh) * | 2014-08-08 | 2014-11-05 | 李成 | 实时交互的增强现实系统以及方法 |
| CN104461215A (zh) * | 2014-11-12 | 2015-03-25 | 深圳市东信时代信息技术有限公司 | 基于虚拟增强技术的增强现实系统及方法 |
| CN105323252A (zh) * | 2015-11-16 | 2016-02-10 | 上海璟世数字科技有限公司 | 基于增强现实技术实现互动的方法、系统和终端 |
| CN107682688A (zh) * | 2015-12-30 | 2018-02-09 | 视辰信息科技(上海)有限公司 | 基于增强现实的视频实时录制方法及录制设备 |
| CN105488226A (zh) * | 2015-12-31 | 2016-04-13 | 苏州和云观博数字科技有限公司 | 数字博物馆观览系统 |
| CN107274491A (zh) * | 2016-04-09 | 2017-10-20 | 大连七界合创科技有限公司 | 一种三维场景的空间操控虚拟实现方法 |
| WO2018072630A1 (zh) * | 2016-10-17 | 2018-04-26 | 杭州海康威视数字技术股份有限公司 | 一种三维场景模型构建方法及装置 |
| US11107277B2 (en) | 2016-10-17 | 2021-08-31 | Hangzhou Hikvision Digital Technology Co., Ltd. | Method and device for constructing 3D scene model |
| CN108021229A (zh) * | 2016-10-31 | 2018-05-11 | 迪斯尼企业公司 | 通过脱机计算记录高保真度数字沉浸式体验 |
| CN108062786A (zh) * | 2016-11-08 | 2018-05-22 | 台湾国际物业管理顾问有限公司 | 以三维信息模型为基础的综合感知定位技术应用系统 |
| CN108318024A (zh) * | 2017-01-18 | 2018-07-24 | 樊晓东 | 一种基于图像识别云服务的地理定位系统和方法 |
| CN106846237A (zh) * | 2017-02-28 | 2017-06-13 | 山西辰涵影视文化传媒有限公司 | 一种基于Unity3D的增强实现方法 |
| CN109427086A (zh) * | 2017-08-22 | 2019-03-05 | 上海荆虹电子科技有限公司 | 三维图像生成装置及方法 |
| CN108255605A (zh) * | 2017-12-29 | 2018-07-06 | 北京邮电大学 | 一种基于神经网络的图像识别协同计算方法及系统 |
| CN108564455A (zh) * | 2018-01-05 | 2018-09-21 | 福建农林大学 | 一种基于增强现实技术的拍卖方法 |
| CN108564455B (zh) * | 2018-01-05 | 2022-02-18 | 福建农林大学 | 一种基于增强现实技术的拍卖方法 |
| CN108765575A (zh) * | 2018-02-24 | 2018-11-06 | 石化盈科信息技术有限责任公司 | 一种基于ar的工业设备图鉴展示方法和系统 |
| CN112862945A (zh) * | 2019-11-27 | 2021-05-28 | 北京沃东天骏信息技术有限公司 | 一种记录生成方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN102903144B (zh) | 2015-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102903144B (zh) | 一种基于云计算的交互式增强现实系统实现方法 | |
| US20130120365A1 (en) | Content playback apparatus and method for providing interactive augmented space | |
| KR101545138B1 (ko) | 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기 | |
| CN105323252A (zh) | 基于增强现实技术实现互动的方法、系统和终端 | |
| CN102831401A (zh) | 对无特定标记目标物体跟踪、三维叠加及交互的方法及系统 | |
| US9392248B2 (en) | Dynamic POV composite 3D video system | |
| WO2022095537A1 (zh) | 虚拟对象显示方法及装置、存储介质和电子设备 | |
| CN104484327A (zh) | 一种项目工程的环境展示方法 | |
| CN112954292B (zh) | 一种基于增强现实的数字博物馆导览系统和方法 | |
| CN103516808A (zh) | 智慧展馆移动终端虚实交互平台 | |
| CN107689082A (zh) | 一种数据投影方法以及装置 | |
| CN104484814B (zh) | 一种基于视频地图的广告方法及系统 | |
| TWI795762B (zh) | 用於在現實場景中疊加直播人物影像的方法和電子設備 | |
| CN109819316B (zh) | 处理视频中人脸贴纸的方法、装置、存储介质及电子设备 | |
| WO2020042968A1 (zh) | 一种对象信息的获取方法、装置以及存储介质 | |
| CN102254345A (zh) | 基于云计算的自然特征注册方法 | |
| JP2023504608A (ja) | 拡張現実場面における表示方法、装置、機器、媒体及びプログラム | |
| CN111738769B (zh) | 视频处理方法及装置 | |
| CN105095314A (zh) | 一种兴趣点的标注方法、终端、导航服务器及导航系统 | |
| CN103780873A (zh) | 一种变电站视频监控系统实现3d场景显示的方法 | |
| KR101641672B1 (ko) | 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템 | |
| CN116485966A (zh) | 视频画面渲染方法、装置、设备和介质 | |
| KR20210129360A (ko) | 인공지능을 활용한 3d 모형 증강현실 서비스 제공 시스템 및 그 방법 | |
| CN111815782A (zh) | Ar场景内容的显示方法、装置、设备及计算机存储介质 | |
| JP2022507502A (ja) | 拡張現実（ａｒ）のインプリント方法とシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |