CN103530594A - 一种提供增强现实的方法、系统及终端 - Google Patents

一种提供增强现实的方法、系统及终端 Download PDF

Info

Publication number
CN103530594A
CN103530594A CN201310542972.9A CN201310542972A CN103530594A CN 103530594 A CN103530594 A CN 103530594A CN 201310542972 A CN201310542972 A CN 201310542972A CN 103530594 A CN103530594 A CN 103530594A
Authority
CN
China
Prior art keywords
bar code
virtual content
augmented reality
scene image
terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310542972.9A
Other languages
English (en)
Other versions
CN103530594B (zh
Inventor
温馨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHENZHEN AUGMREAL TECHNOLOGY Co Ltd
Original Assignee
SHENZHEN AUGMREAL TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHENZHEN AUGMREAL TECHNOLOGY Co Ltd filed Critical SHENZHEN AUGMREAL TECHNOLOGY Co Ltd
Priority to CN201310542972.9A priority Critical patent/CN103530594B/zh
Publication of CN103530594A publication Critical patent/CN103530594A/zh
Application granted granted Critical
Publication of CN103530594B publication Critical patent/CN103530594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开了一种提供增强现实的方法,包括步骤:终端通过摄像头获取当前场景图像,并将其显示在终端屏幕上;在所述当前场景图像中检测到有目标标记存在时,继续检测当前场景图像中的条形码;对检测到的条形码进行解析,获取条形码中包含的数据信息,所述数据信息中包含对应虚拟内容的标识;根据所述条形码的数据信息获取相关的虚拟内容;将所述虚拟内容叠加到终端屏幕上显示的场景中。本发明还公开了一种提供增强现实的系统和终端。通过本发明可以在增强现实标记数量有限的情况下,提供更多的虚拟内容。

Description

一种提供增强现实的方法、系统及终端
技术领域
本发明涉及增强现实技术领域,尤其是基于标记提供增强现实的方法、系统及终端。
背景技术
增强现实(Augmented Reality,简称AR),是在虚拟现实的基础上发展起来的新技术,也被称之为混合现实或扩张实境。是通过计算机系统提供的信息增加用户对现实世界感知的技术,将虚拟的信息内容应用到真实世界,并将计算机生成的三维物体(包括静态或动态的3D模型)、视频、图片、声音或文字提示信息等虚拟内容叠加到真实场景中,从而实现对现实的增强。随着带有摄像头的智能移动终端的迅速普及,各种增强现实应用也层出不穷,广泛应用于娱乐、生活、医学、广告和教育等领域。
现有很多增强现实系统基于人工标记(Marker),因为相比自然特征,人工标记更容易跟踪和识别。然而在一个系统中为了保证不同的标记具有明显的区别差异特征,以及更快的识别,所提供的标记数量通常都是非常有限的,如有些增强现实系统提供512个标记,每个标记都有不同的编号或名称,增强现实系统通常根据标记的编号确定对应的虚拟内容,在当前场景中的标记图案上叠加显示对应的虚拟内容。但在很多情况下,可能需要成千上万个标记以便呈现更多不同的虚拟内容,目前增强现实系统提供的标记数量远远不能满足需求。另一方面广泛使用的条形码具有数据信息量丰富的特性,但相对于增强现实系统的标记来说可跟踪性不够好,不同内容的条形码之间的区别特征不够明显,并不适合作为增强现实系统的标记。
现有技术中有将条形码与增强现实技术结合的方案,如中国发明专利CN201210280141.4 ( 公布号:CN102902710A) 中公开了基于条形码的增强现实方法、系统及移动终端,其技术方案中将自然图像和条形码相结合,先识别条形码,解析出其中的内容即目标图像的索引值,然后在图像数据库中搜索与当前场景图像中的目标图像匹配的样本图像,然后实时连续地对摄像机捕获的当前场景图像和样本图像进行跟踪配准,最终渲染并输出显示与目标图像匹配的虚拟信息。该技术解决了自然图像在海量样本图像条件下,满足系统实时性要求的问题。
发明内容
基于现有技术的不足,本发明的首要目的在于给出一种提供增强现实的方法,可以在标记数量有限的情况下呈现更多的虚拟内容。
本发明的另一目的在于给出一种提供增强现实的系统,可以在标记数量有限的情况下呈现更多的虚拟内容。
本发明的再一目的在于给出一种提供增强现实的终端,可以在标记数量有限的情况下呈现更多的虚拟内容。
本发明还给出了一种制作带有增强现实标记贴纸的方法,可以在标记数量有限的情况下呈现更多的虚拟内容。
为实现上述各目的,本发明采用如下技术方案:
本发明第一目的所称提供增强现实的方法,包括步骤:终端通过摄像头获取当前场景图像,并将其显示在终端屏幕上;
在所述当前场景图像中检测到有目标标记存在时,继续检测当前场景图像中的条形码;
对检测到的条形码进行解析,获取条形码中包含的数据信息,所述数据信息中包含对应虚拟内容的标识;
根据所述条形码的数据信息获取相关的虚拟内容;
将所述虚拟内容叠加到终端屏幕上显示的场景中。
进一步,所述的目标标记包括黑色矩形边框,在所述黑色矩形边框的其中一边区域中包含反色的一维条形码;
在所述当前场景图像中检测到有目标标记存在时,截取当前场景图像中所述目标标记的黑色矩形边框的边区域;
对所述边区域先进行反色处理,然后从中检测并解析一维条形码。
进一步,预先设置条形码区域与目标标记的偏移参数,所述偏移参数包括条形码区域相对目标标记尺寸比例,以及中心点的偏移向量;
在所述当前场景图像中检测到有目标标记存在时,根据所述目标标记的位置以及预设的所述偏移参数,截取相应的条形码区域;
在所截取的区域中检测并解析条形码。
进一步,所述的条形码为二维条形码,所述二维条形码中包含一个资源链接地址,终端访问所述资源链接下载增强现实应用,然后安装所述增强现实应用;
终端中的所述增强现实应用在所述当前场景图像中检测到有目标标记存在时,继续检测当前场景图像中的二维条形码;
对检测到的二维条形码进行解析,获取二维条形码中资源链接地址,并从所述资源链接地址中得到虚拟内容的标识字段信息;
根据所述字段信息获取对应的虚拟内容,并将虚拟内容叠加到场景中。
进一步,在虚拟内容叠加到终端屏幕上显示的场景中后,如果在当前场景图像中检测到有新的目标标记,或检测到场景中的目标标记消失后又重新出现时,重新检测当前场景图像中的条形码,在条形码被成功解析后,停止检测条形码。
进一步,根据所述条形码的数据信息获取相关的虚拟内容时,还结合当前的终端位置,和/或时间,和/或用户资料来确定对应的虚拟内容。
本发明第二目的所称提供增强现实的系统,包括:
增强现实应用,用于通过摄像头获取当前场景图像,并将其显示在终端屏幕上,在所述当前场景图像中检测到有目标标记存在时,继续检测当前场景图像中的条形码,对检测到的条形码进行解析,获取条形码中包含的数据信息,所述数据信息中包含对应虚拟内容的标识,根据所述条形码的数据信息向服务器请求获取相关的虚拟内容,将获取到的虚拟内容叠加到终端屏幕上显示的场景中;
服务器,用于根据所述增强现实应用的请求,从虚拟内容存储装置检索与条形码的数据信息对应的虚拟内容,并返回给所述增强现实应用;
虚拟内容存储装置,用于存储虚拟内容,所述的虚拟内容的类型包括以下至少其中之一:三维模型,视频,图片,声音。
进一步,所述的增强现实应用在解析出条形码的数据信息后,首先在终端本地的存储器中检索是否有对应的虚拟内容,如果有则使用本地的虚拟内容,否则向服务器请求获取相关的虚拟内容;
所述的服务器在根据条形码的数据信息获取相关的虚拟内容时,还结合当前时间,和/或终端上报的位置,和/或用户资料来确定对应的虚拟内容。
本发明第三目的所称提供增强现实的终端,包括:
增强现实引擎单元,用于通过摄像头获取当前场景图像,并将其显示在终端屏幕上,在所述当前场景图像中检测到有目标标记存在时,将当前场景图像传递给条形码处理单元,并接收所述条形码处理单元返回的虚拟内容的标识,在根据所述虚拟内容的标识通过虚拟内容检索单元获取对应的虚拟内容后,将虚拟内容叠加到终端屏幕上显示的场景中;
条形码处理单元,用于对所述增强现实引擎单元传递的场景图像进行检测,检测到条形码后进行解析,获取条形码中包含的数据信息,所述数据信息中包含对应虚拟内容的标识;
虚拟内容检索单元,用于根据增强现实引擎单元提供的虚拟内容的标识从终端本地或服务器检索对应的虚拟内容,并返回给增强现实引擎单元。
进一步,所述的目标标记包括黑色矩形边框,在所述黑色矩形边框的其中一边区域中包含反色的一维条形码,所述条形码处理单元截取当前场景图像中所述目标标记的黑色矩形边框的边区域,对所述边区域先进行反色处理,然后从中检测并解析一维条形码。
进一步,所述的条形码处理单元根据预先设置的条形码区域相对目标标记的偏移参数,以及增强现实引擎单元提供的当前目标标记的位置,在所述当前场景图像中截取相应的条形码区域,在所截取的区域中检测并解析条形码。
本发明第四目的所称制作贴纸的方法,包括步骤:
计算机将虚拟内容标识作为一维条形码的数据,生成相应的条形码图像,在生成条形码时使用黑色作为背景色,白色作为前景色,或者在生成普通条形码后,对所述的条形码图像进行反色处理;
计算机合成增强现实标记与反色后的条形码图像,使反色后的条形码图像置于所述标记的黑色边框中;
计算机打印合成后的图像到贴纸上。
与现有技术相比较,本发明通过将包含虚拟内容标识的条形码与增强现实标记相结合,克服了目前增强现实系统标记数量有限的问题,可以实现任一标记对应海量的虚拟内容。另外由于在检测到目标标记后才继续检测条形码,而且在解析出条形码数据后就停止检测条形码,而不是一直检测条形码,运算量不大。本发明提供的制作增强现实标记贴纸的方法,使用反色的一维条形码放置在标记的黑色边框中,这样即保证了标记的美观,条形码不会太突兀,同时通过边框区域的截取处理保证条形码的可识别性,而且在标记的边框内的空白部分可以放置印刷任意图案,不影响标记和条形码的检测和识别。另外本发明还可以将虚拟内容标识结合当前的终端位置、时间或用户资料等来确定对应的虚拟内容,使增强现实系统提供的虚拟内容更加丰富多样,富有变化。
注意,与背景技术中指出的发明专利CN201210280141.4的方案相比,本发明针对的目标是数量有限的标记,而不是自然图像,解决的是标记对应虚拟内容的数量问题,而不是图像检索速度的问题。而且本发明是先检测标记,在检测到标记存在时才继续检测条形码,而专利CN201210280141.4是先检测条形码,获得样本图像后再配准目标图像,步骤基本是相反的。此外本发明条形码的数据信息是和虚拟内容对应的,而不是目标的编号索引。此外可以将合适的自然图像放置在标记的框内,但不需要对其进行检测和识别,这样就使标记更加美观,又不需要增强现实系统进行任何额外的计算处理。
本发明的有益效果远不止于上述罗列诸要点,限于篇幅而不加赘述。需要进一步强调的是:其它任何因本发明所称对所想即所得的技术方案的实现而引起的技术变革,以及以这种变革所引起的有益效果,虽未在此明文记载,均是属于本领域内的普通技术人员和商业领域人员可以推知的。
下面结合附图和具体实施例对本发明进行具体说明:
附图说明
图1为本发明实施例提供增强现实的方法流程示意图;
图2为本发明实施例包含一维条形码的标记图案;
图3为本发明实施例原始截取边框区域和反色后图像对比示意图;
图4为本发明实施例制作增强现实标记贴纸的方法流程示意图;
图5为本发明实施例增强现实系统的结构示意图;
图6为本发明实施例提供增强现实的终端结构示意图。
具体实施方式
本发明所称的提供增强现实的方法,可以应用于各种带有摄像头的智能终端中,例如智能手机、平板电脑、智能电视、游戏机、智能眼镜或手表等。一般增强现实所用的标记都会打印或印刷到纸张或塑料等材料上,也可以印到衣服上,当然还可以直接显示在屏幕上。使用印有标记的贴纸更加方便,可以贴在任意需要增强现实展示效果的地方。
参见图1,为本发明实施例提供增强现实的方法的流程示意图,主要包括如下步骤:101、终端通过摄像头获取当前场景图像,并将其显示在终端屏幕上。这时显示的内容都是真实的现实场景,和拍摄照片时的预览画面一样,通常称为背景视频。
102、在当前场景图像中检测到有目标标记存在时,继续检测当前场景图像中的条形码。首先要检测目标标记,如果没有发现目标标记,是不会去检测当前场景图像中的条形码,这样减少系统的运算量,并且可以更好的兼容现有的增强现实系统。另外在很多应用中,没有必要加载增强现实系统全部的标记,尤其是使用了本发明的方案结合了条形码后,只需要很少的标记即可。例如在一个支持标记编号从0到511的系统中,可以只加载编号为0、1、2、3的标记,分别对应三维模型,视频、图像、声音类型的虚拟内容,这样在场景图像中检测和识别标记的速度更快,又能提供足够数量的虚拟内容。
103、对检测到的条形码进行解析,获取条形码中包含的数据信息,数据信息中包含对应虚拟内容的标识。条形码分为一维条形码和二维条形码(简称二维码),一维条形码的格式很多,如UPC-A和UPC-E,EAN-8和EAN-13,Code 39,Code 93,Code 128等,最常用的二维码如QR Code。如果系统预先限制只能使用某种格式条形码,检测速度会比较快。如果为了更加灵活,也可以不做限制,而是遍历各种条形码的格式进行注意检测和解析,如果成功解析出结果就停止检测。
104、根据条形码的数据信息获取相关的虚拟内容。条形码的数据信息通常为数字和/或字母等组成的字符串,如100001、fish、A9001X等。可以从终端本地获取对应的虚拟内容,如在存储卡的相应目录可以存储有内容文件,例如文件名为100001.mp4的视频,或fish.png的图片。也可以将条形码的数据信息即虚拟内容的标识发送给服务器请求获取对应的虚拟内容。
105、将虚拟内容叠加到终端屏幕上显示的场景中。在获取到虚拟内容后,将其叠加融合到当前场景中,实现增强现实的效果,此处对这些现有技术的细节不再赘述。对于可视化的内容如3D模型,视频和图片等,一般将虚拟内容叠加到场景中的目标标记上,并实现实时跟踪。虚拟内容的显示尺寸比例也可以根据需要进行缩放。虚拟内容也可以是非可视内容,如声音。
如图2所示,为包含一维条形码的标记图案,目标标记包括黑色矩形边框201,一般为正方形边框,边框具有一定的宽度以及特征块202,在黑色矩形边框的其中一边区域中包含反色的一维条形码203,通常是放置在底边边框。一般标记都是打印到白色的材料如纸张上,因此边框为黑色更容易检测识别。边框为其他深色调的颜色也可以,如深红色,深蓝色等等,与白色或浅色的背景要有足够的对比度,否则可能检测识别有困难。边框的内部可以放置任意图案204,通常图案与对应的条形码和虚拟内容具有一定联系,如可以在标记中放置印刷一个英文单词,增强现实呈现的虚拟内容则为英文单词对应的图片。注意一般不用去识别边框内的图片特征,有些应用场景里边框内的区域也可以是空白的。
在检测到当前场景图像中有目标标记存在时,截取当前场景图像中目标标记的黑色矩形边框的边区域。如果系统限定条形码都放在底边,则只需要截取框的底边区域即可,如果没有限定,则可以依次截取底边,顶边,左边和右边的边框区域进行处理。对截取的边区域先进行反色处理,然后从中检测并解析一维条形码。如果直接将普通的一维条形码放置在黑色的边框中,是无法进行识别的,因为条形码的两侧是黑色的边框,影响了条形码的检测。本发明巧妙的使用反色的条形码放置在黑色边框中,在检测解析之前,对截取边框区域先整体进行反色处理,这样整个截取的区域背景就变成了白色,条形码也变成了普通模式,从而可以正常检测和解析。如图3所示,为原始截取边框区域301和反色后的图像302对比示意图。反色处理的运算量也很小,就是将图像中黑色像素变成白色,白色像素变成黑色。
另外,条形码区域也可以根据需要灵活的放在标记内外的任意位置,可以预先设置条形码区域与目标标记的偏移参数,偏移参数包括条形码区域相对目标标记尺寸比例,以及两者中心点的偏移向量。此外还可以设置是否需要进行反色处理。如果印刷使用的是普通条形码,就配置为不需要反色,否则如果使用了反色的条形码,则配置为需要反色处理。
在当前场景图像中检测到有目标标记存在时,根据目标标记的位置以及预设的偏移参数,截取相应的条形码区域,在所截取的区域中检测并解析条形码。这种设置偏移参数的方法比较适合二维码,二维码一般面积比较大,不适合放到边框中,而边框内通常会放一些图片,因此二维码可以放在边框外的区域,预先设置好二维码区域的偏移参数,就可以很灵活的对二维码以及标记等进行合理的布局排版。通过偏移参数可以精确的获取条形码区域图像,而不是在整幅场景图像中检测条形码,效率更高,尤其是对于条形码,对整幅图像进行检测时,经常会受到干扰而导致检测失败,当精确到较小的条形码区域时,可以大大提高检测的成功率以及速度。
当条形码为二维条形码时,二维条形码中可以包含一个资源链接地址,终端访问资源链接下载增强现实应用,然后安装增强现实应用。可以用任意二维码扫描应用获取资源链接地址,然后下载和安装应用。
安装到终端中的增强现实应用启动后,在当前场景图像中检测到有目标标记存在时,继续检测当前场景图像中的二维条形码;对检测到的二维条形码进行解析,获取二维条形码中资源链接地址,并从该资源链接地址中得到虚拟内容的标识字段信息;根据所述字段信息获取对应的虚拟内容,并将虚拟内容叠加到场景中。资源链接地址如:
“http://download.example.com/ar.apk?cid=10001”,其中cid字段的值10001为虚拟内容的标识。
在虚拟内容叠加融合到终端屏幕上显示的场景中后,如果在当前场景图像中检测到有新的目标标记,或检测到场景中的目标标记消失后又重新出现时,重新检测当前场景图像中的条形码,在条形码被成功解析后,停止检测条形码。这样可以不用一直检测条形码,条形码只是用于确定所要呈现的虚拟内容,一旦确定后就无需再次检测。这与目标标记的检测是不一样的,增强现实系统为了跟踪标记,需要一直进行标记的检测识别。
根据条形码的数据信息获取相关的虚拟内容时,还可以结合当前的终端位置,时间,用户资料等来确定对应的虚拟内容。这样即使同一个标记和条形码,在不同的时间段、位置等条件下,呈现的虚拟内容也不同。
把标记打印或印刷到贴纸上,可以更加灵活的使用,贴在任意需要增强现实效果的地方。如图4所示,为本发明实施例的制作增强现实标记贴纸的方法流程示意图,包括主要步骤:
401、计算机将虚拟内容标识作为一维条形码的数据,生成相应的条形码图像,在生成条形码时使用黑色作为背景色,白色作为前景色,或者在生成普通条形码后,对所述的条形码图像进行反色处理。使用黑白色可以达到最佳的前景和背景的对比度,从而使标记和条形码的检测更加的容易和准确。当然使用其他具有一定对比度的深色和浅色也可以,建议在5:1以上,具体的计算标准可以参考W3C的标准WCAG(Web Content Accessibility Guidelines,网页内容可访问性指引)2.0。可以由计算机批量生成足够数量的条形码,如编号从10001到19999的一维条形码,一维条形码的数据内容就是编号。
402、计算机合成增强现实标记与反色后的条形码图像,使反色后的条形码图像置于所述标记的黑色边框中。一般放在边框的底部边区域即可,计算机可以批量将生成的反色条形码和指定的标记进行合成,反色条形码放置在边框底部边区域中。一般边框的颜色和反色条形码的背景色一致,如都可以使用最常用的黑色或深蓝色等。另外在标记边框的内部区域,也可以放置一些相关的图案,通常和条形码对应的虚拟内容有关,如虚拟内容是个鱼的3D模型,放置的图案可以是水池的图片,或者虚拟内容是鸟叫的声音,放置的图片可以是小鸟的图片等等。由于并不识别框内的图片,因此具有极大的灵活性,整个增强现实产品的制作成本相比自然图像要大大降低,本发明实施例通过标记和条形码以及框内图片的解决方案,不必再对自然图像进行特征提取,检测识别也更加容易简单。
403、计算机打印合成后的图像到贴纸上。可以将批量合成的标记进行适当的排版后,按需打印标记贴纸。如一版贴纸上可以有20张,每张的内容都不相同。
本领域普通技术人员还可以理解,实现上述方法实施例中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质,可以是:ROM/RAM、磁碟、固态硬盘、存储卡或光盘等。
本发明的另一实施例描述一种基于C/S(客户端/服务器)架构的增强现实的系统,如图5所示,该系统包括:
增强现实应用客户端501,用于通过摄像头获取当前场景图像,并将其显示在终端屏幕上,在当前场景图像中检测到有目标标记存在时,继续检测当前场景图像中的条形码,对检测到的条形码进行解析,获取条形码中包含的数据信息,数据信息中包含对应虚拟内容的标识,根据条形码的数据信息向服务器502请求获取相关的虚拟内容,将获取到的虚拟内容叠加到终端屏幕上显示的场景中。
服务器502,用于根据增强现实应用501的请求,从虚拟内容存储装置503中检索与条形码的数据信息对应的虚拟内容,并返回给增强现实应用501。增强现实应用501可以先将虚拟内容完全下载完,存储到本地之后再进行呈现叠加到场景中,对于较小的内容如图片,可以采用这种方式;而对于较大的内容如视频,可以采用直接在线播放的方式,将网络视频流中的帧图像叠加到当前场景中。
虚拟内容存储装置503,用于存储虚拟内容,虚拟内容的类型包括以下至少其中之一:三维模型,视频,图片,声音,也可以是其组合。三维模型可以是静态或动态的,如FBX或MD2格式的3D模型文件。视频内容可以是3GP或MP4格式的文件,图片最好使用PNG格式,支持透明背景,这样在叠加到场景中时效果更好。声音可以是MP3或OGG等格式。
另外增强现实应用在解析出条形码的数据信息后,可以首先在终端本地的存储器中检索是否有对应的虚拟内容,如果有则使用本地的虚拟内容,否则才向服务器请求获取相关的虚拟内容。服务器在根据条形码的数据信息获取相关的虚拟内容时,还可以结合当前时间、终端上报的位置以及用户资料等来确定对应的虚拟内容。
本发明最后一个实施例中描述了一种提供增强现实的终端,如图6所示,该终端包括摄像头和显示屏等,还包括:
增强现实引擎单元601,用于通过摄像头获取当前场景图像,并将其显示在终端屏幕上,在当前场景图像中检测到有目标标记存在时,将当前场景图像传递给条形码处理单元602,并接收条形码处理单元602返回的虚拟内容的标识,在根据虚拟内容的标识通过虚拟内容检索单元603获取对应的虚拟内容后,将虚拟内容叠加到终端屏幕上显示的场景中;
条形码处理单元602,用于对所述增强现实引擎单元601传递的场景图像进行检测,检测到条形码后进行解析,获取条形码中包含的数据信息,所述数据信息中包含对应虚拟内容的标识;
虚拟内容检索单元603,用于根据增强现实引擎单元601提供的虚拟内容的标识从终端本地或服务器检索对应的虚拟内容,并返回给增强现实引擎单元601。
优选的,目标标记包括黑色矩形边框,通常为正方形,在黑色矩形边框的其中一边区域中包含反色的一维条形码,条形码处理单元602截取当前场景图像中目标标记的黑色矩形边框的边区域,对该边区域先进行反色处理,然后从中检测并解析一维条形码。
另外条形码处理单元602还可以根据预先设置的条形码区域相对目标标记的偏移参数,以及增强现实引擎单元601提供的当前目标标记的位置,在当前场景图像中截取相应的条形码区域,在所截取的区域中检测并解析条形码。这样条形码的处理更加精确快速。
可以理解,基于本发明精神,可以有更多实施例;上述各个实施例、各个步骤、单元之间也可以相互合理组合得到新的实施例;上述各个单元可以在能够实现共同目的的前提下任意合并、改变隶属关系、拆分、组合,本发明实施例不作限定。以上所揭露的仅为本发明的较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明申请专利范围所作的等同变化,仍属本发明所涵盖的范围。

Claims (12)

1.一种提供增强现实的方法,其特征在于,该方法包括步骤:
终端通过摄像头获取当前场景图像,并将其显示在终端屏幕上;
在所述当前场景图像中检测到有目标标记存在时,继续检测当前场景图像中的条形码;
对检测到的条形码进行解析,获取条形码中包含的数据信息,所述数据信息中包含对应虚拟内容的标识;
根据所述条形码的数据信息获取相关的虚拟内容;
将所述虚拟内容叠加到终端屏幕上显示的场景中。
2.根据权利要求1所述的方法,其特征在于,所述的目标标记包括黑色矩形边框,在所述黑色矩形边框的其中一边区域中包含反色的一维条形码;
在所述当前场景图像中检测到有目标标记存在时,截取当前场景图像中所述目标标记的黑色矩形边框的边区域;
对所述边区域先进行反色处理,然后从中检测并解析一维条形码。
3.根据权利要求1或2所述的方法,其特征在于,预先设置条形码区域与目标标记的偏移参数,所述偏移参数包括条形码区域相对目标标记尺寸比例,以及中心点的偏移向量;
在所述当前场景图像中检测到有目标标记存在时,根据所述目标标记的位置以及预设的所述偏移参数,截取相应的条形码区域;
在所截取的区域中检测并解析条形码。
4.根据权利要求1所述的方法,其特征在于,所述的条形码为二维条形码,所述二维条形码中包含一个资源链接地址,终端访问所述资源链接下载增强现实应用,然后安装所述增强现实应用;
终端中的所述增强现实应用在所述当前场景图像中检测到有目标标记存在时,继续检测当前场景图像中的二维条形码;
对检测到的二维条形码进行解析,获取二维条形码中资源链接地址,并从所述资源链接地址中得到虚拟内容的标识字段信息;
根据所述字段信息获取对应的虚拟内容,并将虚拟内容叠加到场景中。
5.根据权利要求1至4所述的任一方法,其特征在于,在虚拟内容叠加到终端屏幕上显示的场景中后,如果在当前场景图像中检测到有新的目标标记,或检测到场景中的目标标记消失后又重新出现时,重新检测当前场景图像中的条形码,在条形码被成功解析后,停止检测条形码。
6.根据权利要求1至5所述的任一方法,其特征在于,根据所述条形码的数据信息获取相关的虚拟内容时,还结合当前的终端位置,和/或时间,和/或用户资料来确定对应的虚拟内容。
7.一种制作增强现实标记贴纸的方法,其特征在于,该方法包括步骤:
计算机将虚拟内容标识作为一维条形码的数据,生成相应的条形码图像,在生成条形码时使用黑色作为背景色,白色作为前景色,或者在生成普通条形码后,对所述的条形码图像进行反色处理;
计算机合成增强现实标记与反色后的条形码图像,使反色后的条形码图像置于所述标记的黑色边框中;
计算机打印合成后的图像到贴纸上。
8.一种提供增强现实的系统,其特征在于,所述系统包括:
增强现实应用,用于通过摄像头获取当前场景图像,并将其显示在终端屏幕上,在所述当前场景图像中检测到有目标标记存在时,继续检测当前场景图像中的条形码,对检测到的条形码进行解析,获取条形码中包含的数据信息,所述数据信息中包含对应虚拟内容的标识,根据所述条形码的数据信息向服务器请求获取相关的虚拟内容,将获取到的虚拟内容叠加到终端屏幕上显示的场景中;
服务器,用于根据所述增强现实应用的请求,从虚拟内容存储装置检索与条形码的数据信息对应的虚拟内容,并返回给所述增强现实应用;
虚拟内容存储装置,用于存储虚拟内容,所述的虚拟内容的类型包括以下至少其中之一:三维模型,视频,图片,声音。
9.根据权利要求8所述的系统,其特征在于,所述的增强现实应用在解析出条形码的数据信息后,首先在终端本地的存储器中检索是否有对应的虚拟内容,如果有则使用本地的虚拟内容,否则向服务器请求获取相关的虚拟内容;
所述的服务器在根据条形码的数据信息获取相关的虚拟内容时,还结合当前时间,和/或终端上报的位置,和/或用户资料来确定对应的虚拟内容。
10.一种提供增强现实的终端,其特征在于,所述终端包括:
增强现实引擎单元,用于通过摄像头获取当前场景图像,并将其显示在终端屏幕上,在所述当前场景图像中检测到有目标标记存在时,将当前场景图像传递给条形码处理单元,并接收所述条形码处理单元返回的虚拟内容的标识,在根据所述虚拟内容的标识通过虚拟内容检索单元获取对应的虚拟内容后,将虚拟内容叠加到终端屏幕上显示的场景中;
条形码处理单元,用于对所述增强现实引擎单元传递的场景图像进行检测,检测到条形码后进行解析,获取条形码中包含的数据信息,所述数据信息中包含对应虚拟内容的标识;
虚拟内容检索单元,用于根据增强现实引擎单元提供的虚拟内容的标识从终端本地或服务器检索对应的虚拟内容,并返回给增强现实引擎单元。
11.根据权利要求10所述的终端,其特征在于,所述的目标标记包括黑色矩形边框,在所述黑色矩形边框的其中一边区域中包含反色的一维条形码,所述条形码处理单元截取当前场景图像中所述目标标记的黑色矩形边框的边区域,对所述边区域先进行反色处理,然后从中检测并解析一维条形码。
12.根据权利要求10或11所述的终端,其特征在于,所述的条形码处理单元根据预先设置的条形码区域相对目标标记的偏移参数,以及增强现实引擎单元提供的当前目标标记的位置,在所述当前场景图像中截取相应的条形码区域,在所截取的区域中检测并解析条形码。
CN201310542972.9A 2013-11-05 2013-11-05 一种提供增强现实的方法、系统及终端 Active CN103530594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310542972.9A CN103530594B (zh) 2013-11-05 2013-11-05 一种提供增强现实的方法、系统及终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310542972.9A CN103530594B (zh) 2013-11-05 2013-11-05 一种提供增强现实的方法、系统及终端

Publications (2)

Publication Number Publication Date
CN103530594A true CN103530594A (zh) 2014-01-22
CN103530594B CN103530594B (zh) 2017-06-16

Family

ID=49932594

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310542972.9A Active CN103530594B (zh) 2013-11-05 2013-11-05 一种提供增强现实的方法、系统及终端

Country Status (1)

Country Link
CN (1) CN103530594B (zh)

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853819A (zh) * 2014-02-13 2014-06-11 腾讯科技(深圳)有限公司 一种信息获取的方法、终端及系统
CN104166966A (zh) * 2014-08-14 2014-11-26 马明飞 一种图像增强现实应用的实现方法
CN104346041A (zh) * 2014-10-24 2015-02-11 联想(北京)有限公司 一种信息处理方法及对应装置
CN104575132A (zh) * 2015-01-14 2015-04-29 蝶恋花动漫(天津)有限公司 基于自然图像识别与增强现实技术的互动教育方法和系统
CN105117021A (zh) * 2015-09-24 2015-12-02 深圳东方酷音信息技术有限公司 一种虚拟现实内容的生成方法和播放装置
CN105183408A (zh) * 2014-06-13 2015-12-23 富士通株式会社 信息处理系统和显示控制方法
CN105278826A (zh) * 2014-07-11 2016-01-27 爱迪生创意科技有限公司 增强现实系统
CN105430211A (zh) * 2014-09-12 2016-03-23 富士胶片株式会社 内容管理系统、管理内容生成方法以及管理内容再生方法
CN105657294A (zh) * 2016-03-09 2016-06-08 北京奇虎科技有限公司 在移动终端上呈现虚拟特效的方法及装置
CN105786184A (zh) * 2016-03-02 2016-07-20 广州聚变网络科技有限公司 一种虚拟现实系统
CN105930835A (zh) * 2016-04-13 2016-09-07 无锡东游华旅文化传媒有限公司 增强型图像识别系统及方法
CN106030664A (zh) * 2014-02-18 2016-10-12 索尼公司 用于在电子显示器上叠加图像的透明度确定
CN106057067A (zh) * 2016-06-01 2016-10-26 浙江工业大学 一种用于增强现实的半透明标识方法
CN106408667A (zh) * 2016-08-30 2017-02-15 西安小光子网络科技有限公司 基于光标签的定制现实方法
CN106664465A (zh) * 2014-07-09 2017-05-10 郑芝娟 用于创建和再现增强现实内容的系统以及使用其的方法
CN107154072A (zh) * 2016-03-02 2017-09-12 彭昌兰 无人机监控设备的图像处理方法及装置
CN107241610A (zh) * 2017-05-05 2017-10-10 众安信息技术服务有限公司 一种基于增强现实的虚拟内容插入系统和方法
CN107251101A (zh) * 2015-02-25 2017-10-13 英特尔公司 针对使用具有参数的标记的增强现实的场景修改
CN107509080A (zh) * 2017-08-18 2017-12-22 北京奇艺世纪科技有限公司 一种编码图像显示方法、装置和电子设备
CN107533627A (zh) * 2015-03-23 2018-01-02 日本电气株式会社 图像处理装置、图像处理方法和程序
CN107767355A (zh) * 2016-08-18 2018-03-06 深圳市劲嘉数媒科技有限公司 图像增强现实的方法和装置
CN107806872A (zh) * 2017-09-18 2018-03-16 东莞新吉凯氏测量技术有限公司 基于机器视觉的增强现实导航方法
CN108093239A (zh) * 2018-02-07 2018-05-29 盎锐(上海)信息科技有限公司 基于单拍摄终端的数据处理方法及全景拍摄系统
CN108564661A (zh) * 2018-01-08 2018-09-21 佛山市超体软件科技有限公司 一种基于增强现实场景的记录方法
CN109344748A (zh) * 2018-09-19 2019-02-15 高新兴科技集团股份有限公司 一种基于监控点gps在图像画面添加ar标签的方法
WO2019089970A1 (en) * 2017-11-03 2019-05-09 Barbri, Inc. Technologies for presenting content
CN110288717A (zh) * 2019-06-19 2019-09-27 塔普翊海(上海)智能科技有限公司 一种混合现实应用处理系统
CN110751681A (zh) * 2019-10-18 2020-02-04 西南科技大学 一种增强现实的配准方法、装置、设备及存储介质
CN111191640A (zh) * 2017-03-30 2020-05-22 成都汇亿诺嘉文化传播有限公司 一种三维场景呈现方法、装置及系统
CN111652637A (zh) * 2020-05-26 2020-09-11 北京掌中飞天科技股份有限公司 Ar广告营销活动跨平台解决方法及电子设备
CN111859199A (zh) * 2019-04-30 2020-10-30 苹果公司 在环境中定位内容
WO2021052095A1 (zh) * 2019-09-17 2021-03-25 北京字节跳动网络技术有限公司 图像处理方法及装置
CN112560851A (zh) * 2020-12-11 2021-03-26 上海影创信息科技有限公司 虚拟对象创建定位方法和系统
CN113240376A (zh) * 2021-05-31 2021-08-10 中邮信息科技(北京)有限公司 物品信息确定方法、装置、电子设备及介质
CN113539436A (zh) * 2020-04-20 2021-10-22 佳能医疗系统株式会社 医用图像显示装置、医用图像输出装置、医用图像用介质以及医用图像显示装置控制方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012018149A1 (en) * 2010-08-06 2012-02-09 Bizmodeline Co., Ltd. Apparatus and method for augmented reality
CN102902710B (zh) * 2012-08-08 2015-08-26 成都理想境界科技有限公司 基于条形码的增强现实方法、系统及移动终端

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103853819A (zh) * 2014-02-13 2014-06-11 腾讯科技(深圳)有限公司 一种信息获取的方法、终端及系统
CN106030664A (zh) * 2014-02-18 2016-10-12 索尼公司 用于在电子显示器上叠加图像的透明度确定
CN106030664B (zh) * 2014-02-18 2020-01-07 索尼公司 在电子显示器上叠加两个图像的方法和计算装置
CN105183408A (zh) * 2014-06-13 2015-12-23 富士通株式会社 信息处理系统和显示控制方法
CN106664465A (zh) * 2014-07-09 2017-05-10 郑芝娟 用于创建和再现增强现实内容的系统以及使用其的方法
CN106664465B (zh) * 2014-07-09 2020-02-21 郑芝娟 用于创建和再现增强现实内容的系统以及使用其的方法
CN105278826A (zh) * 2014-07-11 2016-01-27 爱迪生创意科技有限公司 增强现实系统
CN104166966A (zh) * 2014-08-14 2014-11-26 马明飞 一种图像增强现实应用的实现方法
CN104166966B (zh) * 2014-08-14 2017-02-01 马明飞 一种图像增强现实应用的实现方法
CN105430211A (zh) * 2014-09-12 2016-03-23 富士胶片株式会社 内容管理系统、管理内容生成方法以及管理内容再生方法
CN105430211B (zh) * 2014-09-12 2019-05-28 富士胶片株式会社 内容管理系统、管理内容生成方法以及管理内容再生方法
CN104346041B (zh) * 2014-10-24 2018-04-27 联想(北京)有限公司 一种信息处理方法及对应装置
CN104346041A (zh) * 2014-10-24 2015-02-11 联想(北京)有限公司 一种信息处理方法及对应装置
CN104575132A (zh) * 2015-01-14 2015-04-29 蝶恋花动漫(天津)有限公司 基于自然图像识别与增强现实技术的互动教育方法和系统
CN107251101A (zh) * 2015-02-25 2017-10-13 英特尔公司 针对使用具有参数的标记的增强现实的场景修改
CN107251101B (zh) * 2015-02-25 2022-05-13 英特尔公司 针对使用具有参数的标记的增强现实的场景修改
CN107533627A (zh) * 2015-03-23 2018-01-02 日本电气株式会社 图像处理装置、图像处理方法和程序
CN105117021A (zh) * 2015-09-24 2015-12-02 深圳东方酷音信息技术有限公司 一种虚拟现实内容的生成方法和播放装置
CN107154072A (zh) * 2016-03-02 2017-09-12 彭昌兰 无人机监控设备的图像处理方法及装置
CN105786184A (zh) * 2016-03-02 2016-07-20 广州聚变网络科技有限公司 一种虚拟现实系统
CN105657294A (zh) * 2016-03-09 2016-06-08 北京奇虎科技有限公司 在移动终端上呈现虚拟特效的方法及装置
CN105930835A (zh) * 2016-04-13 2016-09-07 无锡东游华旅文化传媒有限公司 增强型图像识别系统及方法
CN105930835B (zh) * 2016-04-13 2019-04-02 无锡东游华旅网络科技有限公司 增强型图像识别系统及方法
CN106057067A (zh) * 2016-06-01 2016-10-26 浙江工业大学 一种用于增强现实的半透明标识方法
CN107767355A (zh) * 2016-08-18 2018-03-06 深圳市劲嘉数媒科技有限公司 图像增强现实的方法和装置
CN106408667B (zh) * 2016-08-30 2019-03-05 西安小光子网络科技有限公司 基于光标签的定制现实方法
CN106408667A (zh) * 2016-08-30 2017-02-15 西安小光子网络科技有限公司 基于光标签的定制现实方法
CN111191640A (zh) * 2017-03-30 2020-05-22 成都汇亿诺嘉文化传播有限公司 一种三维场景呈现方法、装置及系统
CN107241610A (zh) * 2017-05-05 2017-10-10 众安信息技术服务有限公司 一种基于增强现实的虚拟内容插入系统和方法
CN107509080B (zh) * 2017-08-18 2021-01-15 北京奇艺世纪科技有限公司 一种编码图像显示方法、装置和电子设备
CN107509080A (zh) * 2017-08-18 2017-12-22 北京奇艺世纪科技有限公司 一种编码图像显示方法、装置和电子设备
CN107806872A (zh) * 2017-09-18 2018-03-16 东莞新吉凯氏测量技术有限公司 基于机器视觉的增强现实导航方法
WO2019089970A1 (en) * 2017-11-03 2019-05-09 Barbri, Inc. Technologies for presenting content
CN108564661A (zh) * 2018-01-08 2018-09-21 佛山市超体软件科技有限公司 一种基于增强现实场景的记录方法
CN108093239A (zh) * 2018-02-07 2018-05-29 盎锐(上海)信息科技有限公司 基于单拍摄终端的数据处理方法及全景拍摄系统
CN109344748A (zh) * 2018-09-19 2019-02-15 高新兴科技集团股份有限公司 一种基于监控点gps在图像画面添加ar标签的方法
CN111859199A (zh) * 2019-04-30 2020-10-30 苹果公司 在环境中定位内容
CN110288717A (zh) * 2019-06-19 2019-09-27 塔普翊海(上海)智能科技有限公司 一种混合现实应用处理系统
WO2021052095A1 (zh) * 2019-09-17 2021-03-25 北京字节跳动网络技术有限公司 图像处理方法及装置
CN110751681A (zh) * 2019-10-18 2020-02-04 西南科技大学 一种增强现实的配准方法、装置、设备及存储介质
CN110751681B (zh) * 2019-10-18 2022-07-08 西南科技大学 一种增强现实的配准方法、装置、设备及存储介质
CN113539436A (zh) * 2020-04-20 2021-10-22 佳能医疗系统株式会社 医用图像显示装置、医用图像输出装置、医用图像用介质以及医用图像显示装置控制方法
CN111652637A (zh) * 2020-05-26 2020-09-11 北京掌中飞天科技股份有限公司 Ar广告营销活动跨平台解决方法及电子设备
CN112560851A (zh) * 2020-12-11 2021-03-26 上海影创信息科技有限公司 虚拟对象创建定位方法和系统
CN113240376A (zh) * 2021-05-31 2021-08-10 中邮信息科技(北京)有限公司 物品信息确定方法、装置、电子设备及介质

Also Published As

Publication number Publication date
CN103530594B (zh) 2017-06-16

Similar Documents

Publication Publication Date Title
CN103530594A (zh) 一种提供增强现实的方法、系统及终端
US20200251144A1 (en) Methods for serving interactive content to a user
US11741328B2 (en) Dynamic embedding of machine-readable codes within video and digital media
CN103559713B (zh) 一种提供增强现实的方法及终端
CN105874449B (zh) 用于提取和生成用于显示内容的图像的系统和方法
RU2008126540A (ru) Разработка и распределение содержания с помощью базы данных наук о мышлении
CN103677516A (zh) 终端的界面生成方法和装置
CN102609256A (zh) 一种基于网页的动态图表生成方法
US9177199B2 (en) Semantic magazine pages
CN106408667B (zh) 基于光标签的定制现实方法
CN103412892A (zh) 一种展示信息的方法及系统
CN105335445A (zh) 布局显示方法和装置
CN103761062A (zh) 一种在移动终端屏幕中的二维码区域显示对应素材的方法
KR20160013520A (ko) 광고- 및 정보 매체의 정보를 호출 가능하게 저장, 검출 및 재생하기 위한 시스템 및 방법
CN103250426A (zh) 机器可读式点阵图形的使用显示装置的显示格式
CN116757165B (zh) 基于版式数据流文件底板将效果工具投影到ofd文件的方法
KR101940499B1 (ko) 퍼즐 완성형 증강현실 시스템 및 그 어플리케이션, 오브젝트 및 전자기기
CN111158647B (zh) 基于结构化理论的创意素材自适应生成方法及装置
CN106372070A (zh) 一种图形界面中数据的展示方法及装置
CN109086047B (zh) 基于eul的epg页面可视化设计方法和装置
CN101233494B (zh) 插件模块、浏览器、邮箱运行方法及终端装置
CN115134663A (zh) 一种信息展示方法、装置、系统及电子设备
CN107450917A (zh) 一种前端快速架构方法及其系统
CN100349203C (zh) 支持比例字形的同屏显示装置及其方法
CN108021417B (zh) 页面横幅元素的处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C53 Correction of patent for invention or patent application
CB02 Change of applicant information

Address after: 518000 Guangdong province Shenzhen Nanshan District Nanshan digital culture industry base West Tower 1303

Applicant after: SHENZHEN AUGMREAL TECHNOLOGY CO., LTD.

Address before: Nanshan District Guangdong streets south ring road of Shenzhen city Guangdong province 518057 No. 29 students start building 302

Applicant before: SHENZHEN AUGMREAL TECHNOLOGY CO., LTD.

GR01 Patent grant