CN106664465B - 用于创建和再现增强现实内容的系统以及使用其的方法 - Google Patents

Abstract

本公开涉及一种用于创建和再现增强现实内容的系统。该用于创建和再现增强现实内容的系统包括：图像获取单元，包括预览模式和拍摄模式，在预览模式中，通过镜头输入的图像被显示在屏幕上，在拍摄模式中，如果要捕获的目标图像在预览模式中被显示，则通过操作拍摄按钮捕获目标图像并将其转换为图像文件；存储单元，用于存储当按下拍摄按钮时由图像获取单元获取的图像和在基于拍摄时间点的预定时段内自动获取的视频信息；映射单元，用于将存储在存储单元中的图像和视频彼此映射；增强现实处理单元，用于从由图像获取单元获取的图像中识别与标记相对应的图像，调用映射到相应图像上的视频，并将视频叠加在标记在预览模式中的屏幕上所处的位置上；以及控制单元，用于控制通过增强现实应用创建和再现内容的过程。

Description

用于创建和再现增强现实内容的系统以及使用其的方法

相关申请

本申请要求于2014年7月9日提交给韩国知识产权局的韩国专利申请No.10-2014-85774和于2015年4月21日提交给韩国知识产权局的韩国专利申请No.10-2015-56020的优先权和权益，其全部内容通过引用整体并入本申请。

技术领域

根据本发明的思想的示例性实施例涉及增强现实内容生成与播放系统及其方法，尤其涉及当通过例如智能电话的移动通信设备拍摄视频时通过在拍摄时间点之前和之后自动存储视频并将标记一起自动存储来容易地生成和播放增强现实内容并且在此时可以提高标记的分辨率、可以确认要选择的标记的质量并可以通过普通视频文件(generalvideo file)自动提取标记的增强现实内容生成与播放系统及其方法。

背景技术

近来，已经提出了使用例如虚拟现实或增强现实等的虚拟对象的各种各样的内容。

通常，虚拟现实(VR)是一种通过使用计算机等通过人工智能技术创建的虚拟空间，并且具有虚拟现实与现实相似但并不是现实的特征。

另外，增强现实(AR)是虚拟现实的领域，并且是一种计算机图形技术，借助该计算机图形技术，通过将虚拟对象与实际环境组合，增强现实看起来是存在于原始环境中的对象。

增强现实应用具有这样的特征，也即增强现实可以基于真实世界、通过将用户与虚拟对象交互来给予用户增强的现实感。

因此，在增强现实中，用户可以识别他所在的实际环境，并且同时，用户还能识别在实际屏幕上显示的虚拟信息。

由于增强现实显示了被组合在一起的真实图像和虚拟图形，所以期望的对象必须精确地定位于屏幕上的期望位置，以便获得逼真和精确的图像。为了实现这一点，需要用于虚拟对象的三维坐标，并且所述坐标必须是基于相机的坐标。

然而，问题是必须固定真实世界中某一点或对象上的相机三维坐标。为了固定该三维坐标，需要两个或更多个相机，由此可见，不容易识别三维位置。

因此，为了解决这个问题，在增强现实中使用了基于标记的识别技术，该技术通过在真实世界的空间中布置虚拟对象所处的位置的标记并基于标记提取相关坐标来估计虚拟对象所停留的位置和姿势。

例如，用户任意地做了一个表示猫的标记，并且将作为三维图形图像的象征实际猫的图像的三维虚拟图像与猫标记进行匹配。如果所述标记被例如连接到计算机的相机之类的图像识别装置识别，则计算机的监视器显示所述三维虚拟图像。

这样，借助使用照片对象和图像对象来生成增强现实内容的复杂过程来创建增强现实内容。

也就是说，通过以下过程来创建增强现实内容：生成为真实对象的图像内容；生成为虚拟对象的图像内容；将真实对象(图像)映射到虚拟对象(图像)上；打印图像内容；以及通过将图像内容识别为标记来调用映射的图像内容。

这样，根据现有技术的增强现实内容生成与播放系统必须包括各种设备，例如用于获取图像和视频的设备(例如相机)和用于播放内容的设备，由此可见，该系统具有生成内容需要大量成本的问题。

另外，还有一个问题：由于所述系统使用各种各样的设备，因此生成和播放增强现实内容的过程是复杂的，所以对于普通人来说难以简单地操作所述系统。

提出本公开以解决上述问题，且本公开的目的是提供一种系统和方法，其可以通过使用简单的图像和视频获取设备(例如智能电话)通过操作拍摄按钮这样的简单处理来容易地生成增强现实内容。

此外，本公开提供了一种系统和方法，其中，当拍摄视频以生成增强现实内容时，可以自动存储拍摄时间点之前和之后的视频或者存储标记的时间可以有各种不同的选择，可以增加标记的分辨率，可以选择标记的质量，并且可以通过从普通视频文件中自动提取标记来容易地生成标记。

发明内容

本公开的示例性实施例提供一种增强现实内容生成与播放系统，包括：图像获取单元，被配置为包括预览模式和拍摄模式，在预览模式中通过镜头输入的图像被显示在屏幕上，以及在拍摄模式中，如果要拍摄的图像在预览模式中被显示，则通过操作拍摄按钮来拍摄图像并将拍摄的图像转换为图像文件；存储单元，被配置为存储当按下所述拍摄按钮时从所述图像获取单元获得的图像和基于拍摄时间点被自动获取预定时间的视频信息；映射单元，被配置为将存储在所述存储单元中的图像映射到存储在所述存储单元中的视频上；增强现实处理单元，被配置为从由所述图像获取单元获得的图像中识别与标记相对应的图像，还被配置为调用被映射到所述图像上的视频，还被配置为将所述视频叠加在所述标记在所述预览模式中的屏幕上所处的位置上；以及控制单元，被配置为控制通过使用增强现实内容来生成和播放内容的过程。

本公开的另一示例性实施例提供一种增强现实内容生成与播放系统，包括：图像获取单元，被配置为包括预览模式和拍摄模式，在所述预览模式中，通过镜头输入的图像被显示在屏幕上，以及在拍摄模式中，如果要拍摄的图像在预览模式中被显示，则通过操作拍摄按钮来拍摄图像并将拍摄的图像转换为图像文件；存储单元，被配置为自动存储由所述图像获取单元获得的视频文件和所述图像文件；映射单元，被配置为将存储在所述存储单元中的图像映射到存储在所述存储单元中的视频上；增强现实处理单元，被配置为从由所述图像获取单元获得的图像中识别与标记相对应的图像，还被配置为调用被映射到所述图像上的视频，还被配置为将所述视频叠加在所述标记在所述预览模式中的屏幕上所处的位置上；以及控制单元，被配置为控制通过使用增强现实内容来生成和播放内容的过程。如果在预览模式中当按下拍摄按钮时存储视频并当释放拍摄按钮时视频的存储结束，则当按下拍摄按钮时或者当释放拍摄按钮时，所述图像获取单元自动存储图像(标记)。在视频的存储开始或结束时可以通过以下方法自动获得图像：当按下拍摄按钮时开始视频的存储且当再次按下拍摄按钮时结束视频的存储；以及当视频被存储时通过按下所述拍摄按钮来获取图像可以通过以下方法来实现：当按下拍摄按钮时开始视频的存储，且当再次按下拍摄按钮时结束视频的存储。

本公开的另一示例性实施例提供一种增强现实内容生成与播放方法，包括：在图像获取单元的预览模式中拍摄视频；如果要被捕获的图像在预览模式中被显示，则通过操作拍摄按钮来获取至少一个图像和视频数据；为所述数据分配唯一键值；存储所述数据，并在拍摄时间点之前和之后的预定时区内自动存储视频，并从所捕获的图像中获取高分辨率图像；通过使用所述映射单元将所存储的图像映射到所述视频上并存储映射信息；打印所捕获的图像；如果增强现实应用被执行，则通过使用标记检测单元来识别与标记相对应的照片，并且通过向映射单元传送信号来调用被映射到所识别的照片上的视频；以及通过将被调用的视频叠加在所述图像显示单元中的标记的位置上来播放所述视频。

如上所述，增强现实内容生成与播放系统及其方法具有以下优点。首先，增强现实内容能通过以下简单的过程来容易地生成和播放：在通过按下例如智能电话之类的大众化图像获取设备的拍摄按钮来拍摄视频的同时，通过操作拍摄按钮这样的简单操作来获取图像；在拍摄按钮被按下的时间点之前和之后的预定时间内自动存储视频；以及将视频映射到图像上。因此，普通人可以仅使用智能电话而不需要复杂的设备和过程就容易地生成增强现实内容。第二，如果当按下拍摄按钮时存储视频并当释放拍摄按钮时视频的存储结束，则当按下拍摄按钮时或者当释放拍摄按钮时，可以自动存储图像(标记)，或者在视频的存储开始或结束时可以通过以下方法自动获得图像：当按下拍摄按钮时开始视频的存储，且当再次按下拍摄按钮时结束视频的存储；当视频被存储时通过按下所述拍摄按钮来获取图像可以通过以下方法：当按下拍摄按钮时开始视频的存储且当再次按下拍摄按钮时结束视频的存储，或者当视频被存储时通过按下拍摄按钮来获取图像可以通过以下方法来实现：通过按下拍摄按钮来开始视频的存储，且通过再次按下拍摄按钮来结束视频的存储。这样，可以容易地生成增强现实内容。第三，为了获得高分辨率图像，在初始预定时间内多次或预定次数地自动捕获用于标记的图像，或者在释放拍摄按钮之前的预定时间内多次自动捕获用于标记的图像，并且从一个或多个图像中选择高质量的图像。因此，标记的分辨率可以增加，并且标记的质量也可以选择。第四，通过从普通视频文件中自动提取标记，可以容易地生成和播放增强现实内容。

附图说明

图1示意性地示出了根据本公开实施例的增强现实内容生成与播放系统的配置。

图2示出了使用图1所示的增强现实内容生成与播放系统来生成内容的方法的流程图。

图3是示意性地示出了图1所示的控制单元的配置的框图。

图4是示出了图2所示的使用增强现实内容生成与播放系统实际生成内容的过程的图示。

图5示意性地示出了当通过操作拍摄按钮获取图像时，在拍摄时间点之前和之后的预定时区处自动存储视频的过程。

图6示出了用于设置当拍摄视频时存储视频的方法的菜单，作为图1所示的图像获取单元的菜单窗口。

图7示意性地示出了如果当按下拍摄按钮时存储视频并当拍摄按钮被释放时视频的存储停止，则在按下拍摄按钮时或者在释放拍摄按钮时自动存储图像(标记)的过程。

图8示意性地示出了在通过按下拍摄按钮开始视频的存储且通过再次按下拍摄按钮结束视频的存储的方法中，在视频的存储开始或结束时自动获取图像的过程。

图9示意性地示出了在通过按下拍摄按钮来开始视频的存储且通过再次按下拍摄按钮结束视频的存储的方法中，在视频被存储时通过按下拍摄按钮来获取图像的过程。

图10示出了控制面板UI的菜单。

图11示出了如果在视频拍摄开始时生成图像，则在初始预定时间内自动地多次捕获用于标记的图像以获取高分辨率图像的过程。

图12示出了如果在视频拍摄开始时生成图像，则为了获取高分辨率图像，在拍摄按钮被释放之前，在预定时间内多次自动捕获用于标记的图像的过程。

图13示出了如果在视频拍摄开始时生成图像，则获取与视频相同分辨率的图像的过程。

图14示出了用于选择视频的分辨率和图像的分辨率的控制面板UI。

图15示出了防止因为视频的质量低导致所有用于标记的多个图像或一部分图像劣化而需要再次拍摄视频的麻烦的过程。

图16示出了显示在屏幕上的、能够在多个图像中选择用户想要的图像的UI。

图17示出了通过按下视频播放按钮选择高质量图像来从被显示的图像中选择期望图像的过程。

图18示出了在播放普通视频的同时在多个静止图像之中选择合适图像的过程。

图19是示出了图1所示的增强现实内容生成与播放系统生成的播放内容的方法的流程图。

图20示出了通过使用增强现实内容生成与播放系统来播放实际内容的过程。

图21是示出了根据本公开另一实施例的根据视频生成增强现实内容的方法的流程图。

图22示出了通过使用图21所示的增强现实内容生成与播放方法来生成内容的过程。

具体实施方式

在下文中，将参照附图详细描述根据本公开的增强现实内容生成与播放系统以及使用该系统的方法。

如图1至图5所示，根据本公开实施例的增强现实内容生成与播放系统1包括：图像获取单元3，用于获取图像和视频信息，并在屏幕上显示该信息；存储单元4，用于从在图像拍摄时间之前和之后的预定时间内获取的视频信息中分离由图像获取单元3获取的图像，且自动存储图像和视频信息；映射单元9，用于将所存储的图像映射到存储的视频上；增强现实处理单元10，用于通过从图像获取单元3获取的图像中识别与标记相关的图像来调用被映射到有关图像上的视频，并将该视频叠加在所述标记在所述预览模式中的屏幕上所处的位置上；以及控制单元11，用于控制通过使用增强现实应用来生成和播放内容的过程。

在具有上述配置的增强现实内容生成与播放系统1中，图像获取单元3拍摄包括实际对象或标记的真实环境，并且从拍摄环境获取真实环境上的图像。

图像获取单元3可以是连接到例如计算机的外部运算设备的数码相机或网络摄像机，或者是嵌入在例如智能电话的移动通信设备中的相机。除此之外，图像获取单元3可以包括能够获取图像数字信息的所有设备，并且这些设备可以根据增强现实内容来进行适当地选择。

图像获取单元3可以实现预览模式和拍摄模式。也就是说，在预览模式中，通过相机镜头输入的图像数据通过LED等的显示窗口显示，用户可以识别相机现在拍摄的对象。另外，在预览模式中获取的图像数据可以被储存在存储单元4中。

此时，预览模式不仅包括视频被简单地显示在显示器上的状态，还包括用于指示屏幕的诸如正方形框的形状被显示并在所述正方形框中显示视频的状态。

例如，在没有在其中对屏幕进行标记的预览模式的情况下，数码相机也可以即使在视频被简单地显示在显示器上的状态下捕获图像。

此外，在拍摄模式中，如果在屏幕上显示图像的同时显示要捕获的图像，可以通过触摸拍摄按钮来获取关于相关图像的数据。

例如，如果在拍摄街景时在智能电话的预览模式中一个儿童被显示在屏幕上，则通过按下拍摄按钮获取儿童的图像，如图4所示。

此时，用户可以通过菜单窗口等来选择预览模式和拍摄模式，并且可以通过控制单元11执行模式切换及其操作。因此，当在预览模式中视频被存储时，可以通过在拍摄模式下按下拍摄按钮来获取图像，且可以同时存储图像和视频。

这样，所获取的图像和视频数据可以分别地且自动地存储在图像存储单元7和视频存储单元5中。

此时，存储单元4包括例如磁盘或芯片等的常规类型的存储器，并且包括可以存储数字信息并电处理数字信息的任何类型的介质。因此，这种类型的存储器可以存储由图像获取单元获取的图像和视频数据。

此时，存储单元4不仅存储图像数据和视频数据，而且还存储拍摄时间点之前和之后的视频。

也就是说，当用户操作拍摄按钮B1以获取图像时，控制单元11执行控制，使得在拍摄时间点之前和之后的预定时区处的视频拍摄被自动存储在存储单元4中，如图5所示。

例如，如果通过按下拍摄按钮对对象进行拍摄的时间是12:00，则基于12:00，在从12:00之前的十分钟的11:50到12:00之间的时区内的视频拍摄以及从12:00到12:10(即12:00之后的十分钟)之间的时区内的视频拍摄可以被自动存储。

结果，如果在对象被拍摄时用户通过在智能电话的预览模式中识别目标对象而按下了拍摄按钮B1，则可以获取拍摄时间点处的照片，并且在拍摄时间点之前和之后的预定时区处的视频也可以自动存储在存储单元4中。

此外，还可以通过软件例如安装在图像获取单元3中的增强现实应用或驱动程序来存储在拍摄时间点之前和之后的预定时区处的视频。

此时，如图6所示，用户可以在菜单窗口上自由地设置时区。

也就是说，可以通过触摸时间显示窗口来设置拍摄之前的自动视频存储时间或拍摄之后的自动视频存储时间。

此外，本公开不限于如上所述的在拍摄时间点之前和之后的预定时间内自动存储视频的方法，还可以通过使用其他方法存储视频。

例如，如菜单窗口所示，可以在按下拍摄按钮的同时自动存储视频。

这样，用户可以根据工作环境适当地选择视频的自动存储条件是在拍摄时间点之前和之后还是在拍摄按钮被按下时。

另外，通过拍摄按钮获取的图像被用于标记，因此，用于获取图像的拍摄时间点可以有各种设置。

例如，如果当按下拍摄按钮B时储存视频且在释放拍摄按钮B时结束视频的存储，则当按下拍摄按钮B时(t1)或者当释放拍摄按钮B时(t2)可以自动存储图像(标记)，如图7所示，并且这些可以选择性地执行。

可替换地，当视频的存储开始(t1)或视频的存储结束(t2)时，可以使用以下方法自动获取图像，即通过按下拍摄按钮B开始视频的存储且通过再次按下拍摄按钮B来结束来视频的存储，如图8所示，并且这可以选择性地执行。

可替换地，可以在视频处于存储中时，通过按下拍摄按钮B1来获取图像，即通过按下拍摄按钮B(t1)开始视频的存储且通过再次按下拍摄按钮B(t2)来结束来视频的存储，如图9所示。

如上所述，用于视频和图像的拍摄按钮被按下的时间点可以各种各样的改变，并且这可以通过选择图10所示的控制面板UI的相关菜单来执行。

如上所述，用户可以在菜单窗口上弹出时间设置菜单，并且可以适当地设置视频存储时间。

再次参照图1至图6，当存储图像和视频时，控制单元11通过向映射单元9发送信号来提供针对每个数据的唯一键值(键值)。

这样，通过提供键值，当标记和视频映射信息被存储在数据库中时，将图像信息转换为要存储在数据库信息中的键值值，从而可以轻松地执行数据库搜索。

映射单元9即常规映射单元9，并将图像数据映射到视频数据上。也就是说，通过将图像连接到与图像对应的视频，当指定特定的图像时，可以调用并播放对应于所述图像的视频。

在本公开中，在拍摄时间点获取的图像数据被映射到在拍摄时间点之前和之后的预定时区处自动存储的视频数据上。因此，如果在拍摄时间点指定图像，则在拍摄时间点之前和之后的视频数据会被自动的调用和播放。

映射单元9确定当图像被映射到视频上时所需的信息。也就是说，需要关于视频和图像的相关位置、相关方向和相关大小的信息，因此可以对图像和视频设置坐标，并且可以根据坐标计算和存储映射信息。

这样，由于图像和视频在被映射的状态中被存储，所以可以生成增强现实内容。

此时，如果捕获的图像具有少量的特征点，则将会如下面所述那样打印图像以用作标记，因此，当图像被标记检测单元捕获时，如果特征点小，则检测性能可能降低。

因此，为了解决该问题，将例如条形码的图案增加到捕获图像的边界，从而可以增加特征点。

另外，增强现实内容可以由增强现实处理单元10播放。增强现实处理单元10包括标记检测单元15、标记类型识别单元17、跟踪单元19和图像显示单元13。

标记检测单元15从由图像获取单元3识别的实际图像中提取标记，并通过将提取的标记与存储在存储单元4中的标记的特征点信息进行比较来检测标记。

此时，可以使用各种类型的标记，并且在本实施例中，可以将例如打印机的设备以纸张形状打印的图像用作标记。

可以通过各种方法获取这种纸张形状的图像，如果在图像拍摄模式状态下进行拍摄，则可以获取具有高分辨率和高质量的图像，但是与此相反，如果在视频拍摄模式中获取用于标记的图像，则相对低分辨率的图像被获取。

也就是说，由于以每秒30帧的速率拍摄视频，所以与图像相比，视频通常具有低分辨率。

因此，如果通过在拍摄视频时获取图像来生成标记，则标记的分辨率低，且如果图像以纸张形状输出，那么图像具有低分辨率。因此，难以将所述图像用作标记。

本公开提供一种即使在这样的时间点拍摄视频时也能够获取清晰图像的方法。

此时，如果在关于存储图像的方法中将图像的分辨率设置为高于视频的分辨率，则必须存储捕获的图像本身，以及如果图像的分辨率与视频的分辨率相同，则除了储存图像本身的方法之外，还可以使用这样的方法，即在图像拍摄按钮被按下时，通过使用在仅视频帧位置被存储之后的帧位置来找到相关的图像。

这样，将参考图11描述获取高分辨率图像的方法。

如图11所示，如果在视频拍摄开始时生成图像，则在预定时间内多次自动捕获作为标记的图像，以获取高分辨率图像。

也就是说，如果按下拍摄按钮B，则在初始预定时间(t1)内自动捕获图像，从而可以获取用于标记的图像。当按下拍摄按钮B时，自动拍摄视频，且如果释放拍摄按钮B，则视频拍摄结束。

此时，在初始预定时间t1期间可以捕获一个或多个图像用于标记，并且用户可以在之后在选择标记的过程中在多个图像之中选择他想要的图像。

与此相反，如图12所示，在释放拍摄按钮之前，可以在预定时间内多次捕获图像用于标记。

也就是说，如果按下拍摄按钮B，则开始视频拍摄，从而拍摄被执行，并且如果释放拍摄按钮B以结束视频拍摄，则在释放拍摄按钮B之前的预定时间(t1)内可以自动地捕获用于标记的图像。此时，一个或多个用于标记的图像被捕获，从而，用户可以在之后在选择标记的过程中在多个图像之中选择高质量的图像。

另外，图13示出了如果在视频拍摄开始时生成图像则图像具有与视频相同的分辨率的情况。

在这种情况下，由于标记具有与视频相同的分辨率，因此不需要单独拍摄高分辨率照片，但是如果标记具有比视频更高的分辨率，则可以以如上所述的图11和图12中所示的相同的方式来执行照片拍摄。

此外，视频的分辨率和图像的分辨率可以通过在如图14所示的控制面板上显示的菜单(UI)任意设置。

此外，可以设置多个图像将被自动地和任意地捕获，或者也可以设置将捕获预定数量的图像。

同时，如上所述，如果在拍摄视频时的初始预定时间内、或在拍摄视频之后的预定时间内或在视频拍摄的同时捕获用于标记的图像，则用于标记的所有的图像或者其中的一部分图像具有低的质量，从而如果视频的质量低，则需要再次拍摄视频，如图15所示。

在这种情况下，如图14所示，提供UI以便在多个捕获图像中选择用户想要的图像。

也就是说，用户可以选择他想要的高质量的图像，因为在屏幕上显示的多个图像中的捕获图像可能失焦，从而变得模糊。

可替换地，如图17所示，还可以在通过按下视频播放按钮显示的图像中选择期望的图像。此时，软件可以进行适当地处理，以便在按下视频播放按钮的状态下如果在一侧上执行拖动，则将被连续播放的视频以多个静止的图像显示在屏幕的下部窗口上。

因此，用户可以在显示在屏幕的下部窗口上的多个图像中选择他想要的图像。

另外，用于标记的图像也可以从普通视频文件生成。也就是说，不通过使用由本公开提议的增强现实内容生成设备获取的视频文件来获取用于标记的图像，已被拍摄的已知普通视频的特定帧也可以被生成作为用于标记的图像。

生成用于标记的图像的过程类似于上述过程。也就是说，如图18所示，通过按下视频播放按钮来播放普通视频，并且如果在按下视频播放按钮的状态下在一侧上执行拖动，则被持续播放的视频在屏幕的下部窗口上以多个静止的图像被显示，这样就可以在下部窗口上显示的多个图像中选择合适的图像。

同时，上面描述了以纸张形状输出图像的情况，但是本公开不限于此，并且图像也可以通过被标记在显示屏幕(例如LCD)上而作为标记来操作，而不需通过外部输出设备以纸张形状输出。

因此，如果在图像获取单元3所识别的图像中检测到打印图像，则标记检测单元15将打印图像与存储在存储单元4中存储的标记的特征进行比较，从而确认打印图像是标记。

除了打印图像形式之外，所述标记还可以以各种形式实现，并且不仅包括形成具有印有黑色和白色线的边界的几何设计或恒定图案的唯一识别标记，例如条形码，而且还包括使用实际对象的特征点的自然特征点(nature feature point)。

此外，标记检测单元15可以通过使用各种方法来检测标记，并且可以通过使用例如实际对象的颜色信息、片段信息、边缘信息等来检测标记。

此外，标记类型识别单元17通过从由标记检测单元15检测到的标记信息中提取与存储在存储单元4中的标记信息匹配的标记的类型(ID)来识别标记。

此外，跟踪单元19跟踪由标记检测单元15检测到的每个标记的斜率、方向和距离。

此时，跟踪单元19可以根据标记的形状识别斜率，并且根据事先存储在存储单元4中的各种斜率来定义每个标记的形状。

因此，在拍摄时获取的照片被用作标记，并且通过跟踪关于照片的斜率、方向和距离的信息来映射和调用的视频也可以根据所述照片的斜率、方向和距离来播放。

另外，图像显示单元13将由标记检测单元15、标记类型识别单元17和跟踪单元19获取的视频叠加在在屏幕上标记的照片(标记)上。

例如，如图20所示，如果在使用智能电话拍摄墙壁时识别到墙壁上的照片，则该照片被识别为标记，并且被映射到该照片上的视频被调用。另外，被调用的视频可以通过图像显示单元13叠加在智能电话的屏幕中的照片位置上。

结果，在墙壁作为背景被显示在智能电话的屏幕上的同时，在照片的位置处单独播放被映射的视频，从而，例如增强现实的环境就可以实现了。

同时，如上所述，可以由控制单元11执行生成和播放增强现实内容的过程。

如图3所示，控制单元11包括：输入模块30，拍摄按钮信号被输入到该输入模块30中；内容生成模块32，用于为捕获的图像以及与捕获的图像相关联的视频设置键值，并当从输入模块30输入信号时通过向存储单元4和映射单元9输出信号来将图像和视频存储在存储单元4中；内容播放模块34，用于在增强现实应用被执行时，通过标记检测单元15识别对应于标记的图像，并调用被映射到通过向映射单元9发送信号识别的照片上的视频；以及图像显示模块36，用于通过将被调用的视频叠加在视频显示单元13的标记位置上来显示视频。

更详细地，在智能手机的拍摄按钮或其他类似操作时生成的信号被发送到输入模块30。

另外，如果从输入模块30输入拍摄按钮操作信号，则内容生成模块32向存储单元4和映射单元9输出信号。因此，内容生成模块32控制信息，使得关于通过拍摄获取的图像的数字信息和关于与所述图像相关联的视频上的数字信息被自动存储在存储单元4中。此时，可以用于识别图像的唯一键值被分配给图像信息。

另外，如果用户通过菜单输入存储时间，则内容生成模块32存储基于拍摄时间输入的时间之前和之后的时区内的视频。

另外，内容生成模块32在拍摄时间点中的图像和在拍摄时间点之前和之后的时区中的视频图像被彼此分离的状态下将图像存储在另一存储单元4中，且将唯一键值分配给所述图像。

可替换地，内容生成模块32将唯一键值分配给每一个通过另一菜单获取的用于标记的多个图像，并存储这些图像。

也就是说，如图10所示，UI设置屏幕包括三个设置，也即当视频拍摄开始时的自动照片(标记)拍摄、当视频拍摄结束时的自动照片拍摄以及当拍摄视频时的标记拍摄激活。

另外，如果选择了菜单中三个设置中的一个设置，则可以通过如图7至图9中所示的过程来获取用于标记的图像，为每个图像分配唯一键值，并存储所述图像。

可替换地，内容生成模块32将唯一键值分配给从图像获取单元获取的用于标记的多个高分辨率图像，并存储这些图像。

也就是说，如图11所示，如果在视频拍摄开始时生成图像，则将唯一键值分配给通过在初始预定时间内多次自动捕获用于标记的图像而获取的多个图像，以获取高分辨率图像。

可替换地，如图12所示，如果在视频拍摄开始时生成图像，则将唯一键值分配给通过在释放拍摄按钮之前的预定时间内多次自动捕获用于标记的图像所获取的多个图像，以获取高分辨率图像。

可替换地，如图16和17所示，内容生成模块32还可以向被拍摄以具有相同分辨率的每一个视频和图像分配唯一键值，并存储所述视频和图像。

可替换地，如图18所示，也可以将唯一键值分配给使用从普通视频获取的特定帧的用于标记的图像，并且存储该图像。

这样，如果生成了增强现实内容，则控制单元11通过内容播放模块34执行生成增强现实内容的操作。

也就是说，内容播放模块34首先执行被安装的增强现实应用。在执行增强现实应用的状态下，如果图像获取单元3识别到真实环境上的图像，则标记检测单元15检测与标记对应的图像。另外，如果检测到相应的图像，则标记检测单元15向映射单元9发送信号，并调用映射到所识别的照片上的视频。

这样，如果调用被映射的视频，则图像显示模块36通过将被调用的视频叠加在图像显示单元13的标记位置上来播放视频。

同时，存储单元4包括：图像数据库7，用于存储图像信息；视频数据库5，用于存储视频信息；映射数据库25，用于存储映射信息；标记数据库23，用于存储关于将被识别的多个标记的信息；以及虚拟对象数据库27，用于存储关于被映射到存储在标记数据库中的标记上的虚拟对象的信息。

在下文中，将更详细地描述使用根据本公开一个实施例的增强现实系统来生成和播放内容的方法。

如图1、图2、图4和图20所示，生成与播放增强现实内容的方法包括：在第一步骤S10中，在图像获取单元3的预览模式下捕获图像；在第二步骤S20中，如果拍摄按钮操作则拍摄视频和相关图像，设置键值，并存储所述视频和所述图像；在第三步骤S30中，通过使用映射单元9将存储的图像映射到视频上，并存储映射信息；在第四步骤S40中，打印捕获的图像；在第五步骤S50中，在增强显示应用被执行的情况下，通过使用标记检测单元15识别与标记对应的照片，并且通过向映射单元9发送信号来调用映射到所识别的照片上的视频；以及在第六步骤S60中，通过将被调用的视频叠加在图像显示单元13的标记位置上来播放视频。

更详细地，在第一步骤S10中，对象被拍摄，从而在系统1被设置为预览模式的状态下获取图像。另外，所获取的图像数据被连续地存储在存储单元4中。

例如，如果用户在智能电话的相机被设置为预览模式的状态下拍摄公寓大楼，则所捕获的图像数据可以被存储在存储单元4中。

这样，如果第一步骤S10完成，则第二步骤S20开始。

在第二步骤S20中，如果用户尝试拍摄该对象，则通过触摸系统1的拍摄按钮来获取图像数据。

例如，在使用智能电话拍摄街景时在屏幕上显示了一个孩子，则通过按下拍摄按钮获取该孩子的图像，如图4所示。

此外，控制单元11感测拍摄按钮的操作信号，并将在拍摄时间点获取的数据存储在存储单元4中。此时，将唯一键值分配给所述图像数据。

此外，可以存储在拍摄时间点之前和之后的预定时间处的视频数据。

例如，如果按下拍摄按钮对对象进行拍摄的时间是12:00，则基于12:00，在从11:50(即12:00之前的十分钟)到12:00之间的时区内的视频拍摄、以及从12:00到12:10(即12:00之后的十分钟)之间的时区内的视频拍摄，可以被自动存储。

如上所述，本公开不限于通过使用拍摄时的图像和拍摄之前和之后的预定时区内的视频来获取增强现实内容的方法，并且可以以各种类型被执行。

例如，如果当按下拍摄按钮B时(t1)存储视频并且当释放拍摄按钮B时(t2)视频的存储结束，则当按下拍摄按钮B时(t1)或者当拍摄按钮B被释放(t2)时，可以自动存储图像(标记)，从而可以获取内容，如图7所示。

可替换地，根据通过按下拍摄按钮B开始视频的存储并通过再次按下拍摄按钮B来结束视频的存储的方法，当视频的存储开始(t1)或结束(t2)时，可以自动存储图像，从而可以获取内容，如图8所示。

可替换地，根据通过按下拍摄按钮B(t1)开始视频的存储并在再次按下拍摄按钮B(t2)时结束视频的存储的方法，可以通过在存储视频时按下拍摄按钮B的方式来存储图像，从而可以获取内容。

同时，可以在第二步骤中另外执行获取更高分辨率图像文件的步骤。

也就是说，在获取更高分辨率文件的步骤中，如果按下拍摄按钮B，则可以通过在初始预定时间t1内自动捕获图像来获取用于标记的图像，并且在按下拍摄按钮B时自动拍摄视频，并且如果释放拍摄按钮B则视频拍摄结束，如图11所示。此时，可以在初始预定时间t1内捕获用于标记的一个或多个图像，并且可以在多个图像之中选择具有高质量的图像。

这样，在第二步骤完成之后，执行将图像映射到视频上的第三步骤S30。

也就是说，控制单元11向映射单元9发送信号，从而将图像映射到视频上。此外，映射信息可以存储在映射数据库中。

这样，在第一到第三步骤S10、S20和S30中播放内容的过程中，当用户在预览模式下执行拍摄时，可以获取视频和图像，所述图像和视频被彼此映射并被存储，从而可以轻松地生成增强现实内容。

同时，所生成的增强现实内容可以按照以下顺序被播放。

首先，执行第四步骤S40，且用户从捕获的图像中选择适当的图像，如图19所示。也就是说，用户通过触摸智能电话的屏幕来弹出存储在图像数据库中的图像，触摸适当的图像并选择图像。

此外，通过外部输出设备(例如打印机)将所选择的图像打印为纸张形状。也就是说，纸张形状的图像被用作标记。

当然，也可以在被弹出的状态下在屏幕上显示图像，而不需通过外部输出设备以纸张形状输出。

可替换地，除了图像之外的虚拟对象也可以用作标记。例如，也可以使用在其中的边界上打印了黑线和白线的虚拟对象或者图案，例如条形码。

如此，图像被打印为照片的第四步骤完成了，第五步骤S50开始。

在第五步骤S50中，如果增强现实应用被执行，则将模式切换到预览模式，从而在屏幕上显示由镜头拍摄的区域的图像。

此时，标记检测单元15根据图像数据检测标记。也就是说，标记检测单元15将打印在纸张上的照片的特征点信息(例如像素等)与存储在数据库中的数据进行比较。另外，标记检测单元15调用被映射到照片上的视频。

此时，跟踪单元19通过跟踪检测到的照片来识别照片的斜率、方向和距离。

这样，如果第五步骤S50完成，则播放视频的第六步骤S60开始。

也就是说，如果在预览模式的状态下在显示背景的同时检测到图像(标记)，则映射到图像位置上的视频被播放，从而用户可以享受增强现实内容。

例如，如果在智能电话拍摄墙壁的同时识别到墙上的照片，则将该照片识别为标记，并且调用被映射到该照片上的视频，如图20所示。另外，被调用的视频可以通过图像显示单元13叠加在智能电话的屏幕上的照片位置上。

同时，在上述实施例中，通过在照片拍摄之前和之后自动存储视频来生成增强现实内容，但是本公开不限于此，并且还可以如下所述通过使用已知的视频来生成增强现实内容。

也就是说，视频文件被存储在系统1中，如图21和图22所示。此外，通过执行应用程序可以在屏幕上播放视频文件。

当播放视频时，选择并指定要被用作标记的帧(S80)。也就是说，通过捕获在屏幕上播放的视频的特定帧，相关帧被以图像文件形式存储。

此时，可以选择在整个视频的任意位置中的帧作为捕获帧。

这样，通过向捕获的图像文件分配键值，将虚拟对象映射到相关视频，从而可以生成增强现实内容(S90)。此外，可以存储所生成的信息。

工业适用性

本公开涉及一种通过使用在视频拍摄之前和之后的预定时间内自动存储视频或者在仅使用移动通信设备(例如智能电话)拍摄视频的同时自动存储标记的简单方法来容易地生成或播放增强现实内容的技术，并且可以广泛地用于与增强现实相关的技术领域。

Claims (17)

1.一种增强现实内容生成与播放系统，该系统包括：

图像获取单元，被配置为包括预览模式和拍摄模式，在所述预览模式中，通过镜头输入的图像被显示在屏幕上，在所述拍摄模式中，如果要拍摄的图像在所述预览模式中被显示，则通过操作拍摄按钮来捕获所述图像，且所捕获的图像被转换为图像文件；

存储单元，被配置为存储当按下所述拍摄按钮时从所述图像获取单元获取的图像和在基于拍摄时间点的预定时间内自动获取的视频信息；

映射单元，被配置为将存储在所述存储单元中的所述图像映射到存储在所述存储单元中的视频上；

增强现实处理单元，被配置为从由所述图像获取单元获取的所述图像中识别与标记相对应的图像，被配置为调用被映射到所述图像上的所述视频，以及被配置为将所述视频叠加在所述标记在所述预览模式中的屏幕上所处的位置上，其中，所述标记为以纸张形状打印的图像；以及

控制单元，被配置为控制通过使用增强现实内容生成和播放内容的过程。

2.根据权利要求1所述的增强现实内容生成与播放系统，其中，在所述预览模式中，如果当按下所述拍摄按钮时存储所述视频且当释放所述拍摄按钮时所述视频的存储结束，则所述图像获取单元在所述拍摄按钮被按下时或者当所述拍摄按钮被释放时自动存储用作所述标记的图像，或通过使用借助按下所述拍摄按钮开始所述视频的存储且借助再次按下所述拍摄按钮结束所述视频的存储的方法来在所述视频的存储开始或结束时自动获取所述图像，或通过使用所述借助按下所述拍摄按钮开始所述视频的存储且借助再次按下所述拍摄按钮结束所述视频的存储的方法来在所述视频被存储的同时通过按下所述拍摄按钮来获取所述图像。

3.根据权利要求1所述的增强现实内容生成与播放系统，其中，如果所述图像获取单元获取用于所述标记的高分辨率图像，则当按下所述拍摄按钮时在初始预定时间内自动捕获多个或预定数量的图像，并且当按下所述拍摄按钮时自动拍摄所述视频，当释放所述拍摄按钮时所述视频拍摄结束，或者所述图像获取单元从通过在所述拍摄按钮被释放之前的预定时间内多次自动捕获用于所述标记的图像而获取的多个图像中选择高质量的图像。

4.根据权利要求1所述的增强现实内容生成与播放系统，其中，如果所述图像获取单元获取用于所述标记的图像，则所述图像获取单元将所述视频和所述图像设置为具有相同的分辨率，从而当按下视频拍摄按钮时获取与所述视频具有相同分辨率的所述图像。

5.根据权利要求1或3所述的增强现实内容生成与播放系统，其中，所述增强现实处理单元在屏幕上提供用于显示由所述图像获取单元获取的视频文件的多个特定帧的UI，并进行控制以便选择用户想要的图像以用作所述标记。

6.根据权利要求1所述的增强现实内容生成与播放系统，其中，所述增强现实处理单元包括：

标记检测单元，被配置为从由所述图像获取单元所识别的实际图像中提取与所述标记相对应的图像，并且通过将存储在所述存储单元中的所述图像的特征点的信息与所提取的图像进行比较来检测相对应的图像；以及

跟踪单元，被配置为通过根据由所述标记检测单元检测到的图像信息从存储在所述存储单元中的视频中提取匹配视频的类型来识别视频。

7.根据权利要求6所述的增强现实内容生成与播放系统，其中，所述映射单元通过将条形码或预定图案增加到所捕获的图像的边界来增加所述特征点，所述标记检测单元由此识别所述标记。

8.根据权利要求1所述的增强现实内容生成与播放系统，其中，所述控制单元包括：

输入模块，被配置为输入拍摄按钮信号；

内容生成模块，被配置为如果从所述输入模块输入信号，则通过向所述存储单元和所述映射单元输出信号来获取图像和视频数据，以及被配置为向所述图像和视频数据分配唯一键值并存储所述图像和视频数据；

内容播放模块，被配置为如果增强现实应用被执行则通过标记检测单元识别与所述标记对应的图像，以及被配置为通过向所述映射单元发送信号来调用所识别的照片和被映射的视频；以及

图像显示模块，被配置为通过将被调用的视频叠加在显示单元的标记位置上来播放所述视频。

9.一种增强现实内容生成与播放系统，包括：

图像获取单元，被配置为包括预览模式和拍摄模式，在所述预览模式中，通过镜头输入的图像被显示在屏幕上，在所述拍摄模式中，如果要拍摄的图像在所述预览模式中被显示，则通过操作拍摄按钮来捕获所述图像，且所捕获的图像被转换为图像文件；

存储单元，被配置为自动存储由所述图像获取单元获取的视频文件和所述图像文件；

映射单元，被配置为将存储在所述存储单元中的所述图像映射到存储在所述存储单元中的视频上；

增强现实处理单元，被配置为从由所述图像获取单元获取的所述图像中识别与标记对应的图像，被配置为调用被映射到所述图像上的视频，以及被配置为将所述视频叠加在所述标记在预览模式中的屏幕上所处的位置上，其中，所述标记为以纸张形状打印的图像；以及

控制单元，被配置为控制通过使用增强现实内容生成和播放内容的过程，

其中，如果在所述预览模式中在按下所述拍摄按钮时存储所述视频且当释放所述拍摄按钮时所述视频的存储结束，则所述图像获取单元在所述拍摄按钮被按下时或者当所述拍摄按钮被释放时自动存储用作所述标记的图像，以及

通过使用在按下所述拍摄按钮时开始视频的存储且在再次按下所述拍摄按钮时结束视频的存储的方法来在视频的存储开始或结束时自动获取所述图像，以及通过使用所述在按下所述拍摄按钮时开始视频的存储且在再次按下所述拍摄按钮时结束视频的存储的方法来在所述视频被存储的同时通过按下所述拍摄按钮来获取所述图像。

10.根据权利要求9所述的增强现实内容生成与播放系统，其中，如果所述图像获取单元获取用于所述标记的高分辨率图像，则当按下所述拍摄按钮时在初始预定时间内自动捕获多个或预定数量的图像，并且当按下所述拍摄按钮时自动拍摄所述视频，当释放所述拍摄按钮时所述视频拍摄结束，或者所述图像获取单元从通过在所述拍摄按钮被释放之前的预定时间内多次自动捕获用于所述标记的图像而获取的多个图像中选择高质量的图像。

11.根据权利要求9所述的增强现实内容生成与播放系统，其中，如果所述图像获取单元获取用于所述标记的图像，则所述图像获取单元将所述视频和所述图像设置为具有相同的分辨率，从而当按下视频拍摄按钮时获取与所述视频具有相同分辨率的所述图像。

12.根据权利要求9或10所述的增强现实内容生成与播放系统，其中，所述增强现实处理单元在屏幕上提供用于显示由所述图像获取单元获取的视频文件的多个特定帧的UI，并进行控制以便选择用户想要的图像以用作所述标记。

13.根据权利要求9所述的增强现实内容生成与播放系统，其中，所述增强现实处理单元包括：

标记检测单元，被配置为从由所述图像获取单元所识别的实际图像中提取与所述标记相对应的图像，并且通过将存储在所述存储单元中的所述图像的特征点的信息与所提取的图像进行比较来检测相对应的图像；以及

跟踪单元，被配置为通过根据由所述标记检测单元检测到的图像信息从存储在所述存储单元中的视频中提取匹配视频的类型来识别视频。

14.根据权利要求13所述的增强现实内容生成与播放系统，其中，所述映射单元通过将条形码或预定图案增加到所捕获的图像的边界来增加所述特征点，所述标记检测单元由此识别所述标记。

15.根据权利要求9所述的增强现实内容生成与播放系统，其中，所述控制单元包括：

输入模块，被配置为输入拍摄按钮信号；

内容生成模块，被配置为如果从所述输入模块输入信号，则通过向所述存储单元和所述映射单元输出信号来获取图像和视频数据，以及被配置为向所述图像和视频数据分配唯一键值并存储所述图像和视频数据；

内容播放模块，被配置为如果增强现实应用被执行则通过标记检测单元识别与所述标记对应的图像，以及被配置为通过向所述映射单元发送信号来调用所识别的照片和被映射的视频；以及

图像显示模块，被配置为通过将被调用的视频叠加在显示单元的标记位置上来播放所述视频。

16.一种增强现实内容生成与播放方法，包括：

在图像获取单元的预览模式下拍摄视频；

如果要捕获的图像在所述预览模式中被显示，则通过操作拍摄按钮来获取至少一个图像和视频数据，向所述图像和视频数据分配唯一键值，存储所述图像和视频数据，在拍摄时间点之前和之后的预定时区内自动存储视频，且在所捕获的图像中获取高分辨率图像；

通过使用映射单元将所存储的图像映射到所述视频上并存储映射信息；

打印所捕获的图像；

如果增强现实应用被执行，则通过使用标记检测单元来识别与标记相对应的照片，并且通过向所述映射单元发送信号来调用被映射到所识别的照片上的视频，其中，所述标记为以纸张形状打印的图像；以及

通过将被调用的视频叠加在图像显示单元的标记位置上来播放所述视频。

17.根据权利要求16所述的增强现实内容生成与播放方法，其中，

所述获取包括获取高分辨率图像文件；以及

其中，为了获取高分辨率图像，如果所述图像获取单元获取用于所述标记的高分辨率图像，那么当按下拍摄按钮时在初始预定时间内自动捕获多个或预定数量的图像，并且当按下所述拍摄按钮时自动拍摄所述视频，当释放所述拍摄按钮时视频拍摄结束，或者所述图像获取单元从通过在释放所述拍摄按钮之前的预定时间内多次自动捕获用于所述标记的图像而获取的多个图像中选择用户想要的图像。

Images