CN110060611A - 智能互动导游方法、装置及存储介质、服务器 - Google Patents
智能互动导游方法、装置及存储介质、服务器 Download PDFInfo
- Publication number
- CN110060611A CN110060611A CN201910198349.3A CN201910198349A CN110060611A CN 110060611 A CN110060611 A CN 110060611A CN 201910198349 A CN201910198349 A CN 201910198349A CN 110060611 A CN110060611 A CN 110060611A
- Authority
- CN
- China
- Prior art keywords
- scene
- scenery
- realtime graphic
- augmented reality
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
- G09F27/00—Combined visual and audible advertising or displaying, e.g. for public address
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及图像检测、图像处理、场景文本检测技术领域，本申请实施例提供的一种智能互动导游方法，包括：获取摄像装置拍摄的实时图像，基于深度学习提取实时图像中的景物特征，景物特征包括：景物轮廓特征、景物纹理特征、景物彩色、字符；获取与景物特征相对应的景物信息，景物信息包括：增强现实内容；基于霍夫投票算法确定增强现实内容在实时图像上的放置位置，在放置位置显示增强现实内容。在本申请中通过深度学习和霍夫投票算法计算增强内容在实时图像上的放置位置，进而可以实现景物信息的快速定位，将实时图像和讲解景物的增强现实内容结合在一起，使得用户可以灵活的通过移动终端获取自己想要了解的讲解内容，进而提高用户体验。
Description
技术领域
本发明涉及图像检测、图像处理、场景文本检测技术领域，具体涉及一种智能互动导游方法、装置及存储介质、服务器。
背景技术
导游即引导游览，其作用是使游客充分感受旅游景点的人文景观，同时解决游客在旅游中遇到的问题。目前景点导游主要包括人工和电子两种手段。人工导游受导游个人因素，例如表达能力、知识面、职业素质、个人修养等方面的影响，且人工导游普遍存在服务费用高、服务质量不稳定等问题，同时针对团队游客，人工导游不能够兼顾到每一个游客。在旅游旺季，由于人力资源的制约，人工导游尤其是高水平的外语导游更是供不应求。常规的电子导游要么固定在一个位置，使得游客不能够将景物信息和讲解内容结合在一起，以至于和不能够全面的了解景物内容，同时数据存储于终端机，其存储容量和处理性能直接影响了本身的应用，而且数据更新不方便，经常会出现数据过时的现象。专业的手持式导游设备需要定制，不仅价格昂贵，而且容易损坏、租赁管理困难。大部分的电子导游产品仍然以按键播放器和触屏式操作为主，即每到一个景点需按一下相应的按键才能听到景点介绍词。然而该系统需要用户操作干预较多，交互性和用户体验差。
发明内容
为克服以上技术问题，特别是人工讲解和语音讲解器，讲解的方式不灵活，影响用户体验的问题，特提出以下技术方案：
本发明实施例提供的一种智能互动导游方法，包括：
获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征，所述景物特征包括：景物轮廓特征、景物纹理特征、景物彩色、字符；
获取与所述景物特征相对应的景物信息，所述景物信息包括：增强现实内容；
基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置，在所述放置位置显示所述增强现实内容。
可选地，所述获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征之后，包括：
依据所述实时图像和所述景物特征确定景物点云数据；
依据所述景物点云数据和所述摄像装置的外部参数建立在所述实时图像场景下的包括景物的三维场景图。
可选地，所述依据所述实时图像和所述景物特征确定景物点云数据，包括：
通过深度学习获取所述实时图像的深度信息和彩色信息，将所述深度信息和所述彩色信息转化为点云数据，所述点云数据包括景物点云数据。
可选地，所述基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置之后，包括：
将所述增强现实内容的所述放置位置与所述三维场景中景物位置信息关联；
依据所述三维场景图中景物位置信息更新所述放置位置。
可选地，所述基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置之后，还包括：
当所述三维场景图中不包括景物位置信息时，获取终端移动信息；
依据所述终端移动信息向用户发送提醒信息。
可选地，所述获取与所述景物特征相对应的景物信息，包括：
将所述景物特征与数据库中的预设景物特征中的一项或者多项进行匹配；
当所述景物特征与所述预设景物特征的任意一项匹配一致时，获取与所述预设景物特征相关联的所述景物信息。
本发明实施例还提供了一种智能互动导游装置，包括：
特征提取模块，用于获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征，所述景物特征包括：景物轮廓特征、景物纹理特征、景物彩色、字符；
获取模块，用于获取与所述景物特征相对应的景物信息，所述景物信息包括：增强现实内容；
显示模块，用于基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置，在所述放置位置显示所述增强现实内容。
可选地，还包括：
点云数据确定模块，用于依据所述实时图像和所述景物特征确定景物点云数据；
三维场景图建立模块，用于依据所述景物点云数据和所述摄像装置的外部参数建立在所述实时图像场景下的包括景物的三维场景图。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现任一技术方案所述的智能互动导游方法。
本发明实施例还提供了一种服务器，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行根据任一技术方案所述的智能互动导游方法的步骤。
本发明与现有技术相比，具有以下有益效果：
1、本申请实施例提供的一种智能互动导游方法，包括：包括：获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征，所述景物特征包括：景物轮廓特征、景物纹理特征、景物彩色、字符；获取与所述景物特征相对应的景物信息，所述景物信息包括：增强现实内容；基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置，在所述放置位置显示所述增强现实内容。在本申请中通过深度学习能够更为精准和快速地提取实时图像中的景物特征，通过霍夫投票算法计算增强内容在实时图像上的放置位置，在计算放置位置过程中，由于不需要通过霍夫算法再次进行景物的识别，进而可以快速地显示景物的增强现实内容，进而可以将实时图像和讲解景物的增强现实内容结合在一起，使得用户可以灵活的通过移动终端获取自己想要了解的讲解内容，由于结合了增强现实内容，使得用户不会对景物讲解内容感到枯燥乏味，景物讲解的内容也更为立体，进而可以提高了用户对景物信息了解的兴趣，并进一步地提高用户体验。
2、本申请实施例提供的一种智能互动导游方法，所述获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征之后，包括：依据所述实时图像和所述景物特征确定景物点云数据；依据所述景物点云数据和所述摄像装置的外部参数建立在所述实时图像场景下的包括景物的三维场景图。在点云数据的基础上结合霍夫算法，进而可以具有更好的鲁棒性和稳定性，同时将景物特征对应的点云数据输入霍夫算法，进而可以在实时图像的点云数据中突出景物特征的点云数据，避免了霍夫算法再次进行景物的识别，降低了霍夫算法的计算量，提高放置位置计算的速度。
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明智能互动导游方法的典型实施例中一种实施方式的流程示意图；
图2为本发明智能互动导游装置的典型实施例的结构示意图；
图3为本发明服务器的一实施例结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。
本领域技术人员应当理解，本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念，是业内技术人员所公知的相同概念，是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定，这种命名本身不受编程语言种类、级别，也不受其赖以运行的操作系统或平台所限制。理所当然地，此类概念也不受任何形式的终端所限制。
本申请实施例提供的一种智能互动导游方法，在其中一种实施方式中，如图1所示，包括：S100、S200、S300。
S100：获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征，所述景物特征包括：景物轮廓特征、景物纹理特征、景物彩色、字符；
S200：获取与所述景物特征相对应的景物信息，所述景物信息包括：增强现实内容；
S300：基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置，在所述放置位置显示所述增强现实内容。
本申请所述的方法可以应用于移动端，如手机、pad、笔记本等移动终端设备，使得本申请的导游更为便携，同时不用将讲解数据存储在终端中，本申请的移动终端可以通过wifi或者移动信号等进入相应的系统或者连接云端数据，进行景物信息的获取和定位。本申请所述方法的目的在于对景物进行图像识别，并将识别采集的体现的特征与景物数据库中的特征进行比对，通过图像特征的精确匹配，提高识别精度，保证智能导游目的的实现。获取摄像终端拍摄的实时图像，为了实现对该实时图像中对应的景物信息进行准确地定位，以便于获取与该实时图像相关联的景点信息，在本申请中该景点信息包括增强现实内容。因此通过深度学习的方法提取所述实时图像中的景物特征，其中景物可以包括自然环境中的景物，也可以陈列在展馆中的文物、仿造景物等，其中景物特征中还可以包括文字特征、文物/景物轮廓以及文物/景物上的纹理特征等，还可以包括前述的景物彩色等。在本申请中通过深度学习的方法能够精准快速地进行景物特征的提取。摄像装置可以为普通的摄像机，也可以是为Kinect摄像机，通过Kinect摄像机可以直接获得具有深度信息和彩色信息的图像，进而更方便、快速地通过深度学习提取实时图像中的景物体征，避免噪声对特征信息提取的影响。在提取出景物特征，为了能够让游客了解景物信息，基于该景物特征获取与景物特征相对应的景物信息，具体的，可以在数据库中进行景物特征的匹配，然后基于景物特征与景物信息的关联关系确定景物特征，即将景物特征与数据库中的景物特征进行对比，判断两者是否为同一景物，若为同一景物，则获取该景物特征对应的景物信息。景物信息包括：景物文字介绍、景物图片、景物解说词及景物动画等。确定了景物对应的增强现实内容之后，为了能够将增强现实内容和实际的景物更好的对应和结合，让用户能够更为清楚的了解该景物详细内容，将景物特征输入霍夫投票算法中，更具体的，结合摄像装置的外部参数以及深度信息，确定景物在实际场景空间中的位置信息，以及实时图像在显示移动终端显示屏上的显示的位置信息，将两位置信息以及景物特征输入霍夫投票算法中，确定景物信息在移动终端显示屏上显示的位置，通过霍夫投票算法能够抵抗噪声对放置位置计算过程中的影响，进而提高对景物特征确定的鲁棒性。
可选地，所述获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征之后，包括：
依据所述实时图像和所述景物特征确定景物点云数据；
依据所述景物点云数据和所述摄像装置的外部参数建立在所述实时图像场景下的包括景物的三维场景图。
结合前述可知，基于实时图像和景物特征确定点云数据，在本申请提供的实施例中，通过深度学习获取所述实时图像的深度信息和彩色信息，将所述深度信息和所述彩色信息转化为点云数据，所述点云数据包括景物点云数据，通过景物特征确定景物点云数据，能够更为突出景物数据，在后续进行计算时，在通过霍夫投票算法确定增强现实内容在实时图像上的放置位置时，可以不需要再次进行景物的识别，将景物点云数据输入霍夫算法，由于避免了霍夫算法再次进行景物的识别，进而提高了后续放置位置计算速度，降低了霍夫算法的计算量。基于景物点云数据和摄像装置的外部参数构建包括在实时图像下的三维场景图，进而便于后续将增强现实内容的放置位置与实时图像中的景物位置进行关联，便于移动终端移动时，可以同时调动增强现实内容的位置进行变换，使得景物和其对应的景物信息能够更好地对应起来，让游客也不容易混淆景物之间的讲解内容。
在本申请提供的实施例中，主要通过上述公式将深度信息和彩色信息转化成点云数据，式中x，y，z是每个点的三维坐标值，u，v是彩色图片的像素值，fx，fy是相机的焦距，cx，cy是相机的光圈中心，s是深度图的放缩因子，d是深度图像的数据。
结合前述说明，确定了景物对应的增强现实内容之后，为了能够将增强现实内容和实际的景物更好的对应和结合，让用户能够更为清楚的了解该景物详细内容，将三维场景图中景物特征输入所述霍夫投票算法，同时基于景物特征确定的景物点云数据确景物在三维场景图中的空间位置信息，通过霍夫投票算法确定增强现实内容在三维场景图中的放置位置，之后基于世界坐标系、图像坐标系、摄像装置坐标系中间的转换关系，确定增强现实内容在实时图像中的位置信息，即增强现实内容在实时图像上的显示位置。具体的，该放置位置可以和景物重合，该放置位置还可以为在图中的空白处，再之后在该放置位置上显示所述增强现实内容，具体为在移动终端上显示增强现实内容，且同时显示所示实时图像。
可选地，所述依据所述实时图像和所述景物特征确定景物点云数据，包括：
通过深度学习获取所述实时图像的深度信息和彩色信息，将所述深度信息和所述彩色信息转化为点云数据，所述点云数据包括景物点云数据。
如前所述，在本申请提供的实施例中，主要通过深度学习获取实时图像的深度信息和彩色信息，之后通过前述的公式将深度信息和彩色信息转化成点云数据，由于深度信息和彩色信息是整个实时图像的对应信息，因此，该点云数据为整个实时图像的点云数据，且该点云数据中包括景物点云数据。
可选地，所述基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置之后，包括：
将所述增强现实内容的所述放置位置与所述三维场景中景物位置信息关联；
依据所述三维场景图中景物位置信息更新所述放置位置。
结合前述可知，当所述三维场景图中景物位置信息发生变化时，则需要及时的修正增强现实内容放置位置，使得景物与该景物对应的增强现实内容能够更好地融合，使得游客能够将景物和增强现实内容更好地连接在一起，避免游客获取到该景物错误的景物讲解内容。由于增强现实内容放置位置是基于景物在三维场景图中的位置确定的，因此，将增强现实内容的放置位置与三维场景中景物位置信息进行关联。在三维场景图像中景物位置信息发生变化时，则依据景物位置信息及时更新放置位置，具体的，由于三维场景坐标系和图像坐标系之间的转换关系是确定的，且摄像装置内部参数和外部参数也是确定的，因此，转换关系中的参数也是固定的，进而在景物在三维场景图中的位置发生变化时，提取该位置的变化量或者景物的位置，基于前述转换关系更新增强现实内容在实时图像上的放置位置。
可选地，所述基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置之后，还包括：
当所述三维场景图中不包括景物位置信息时，获取终端移动信息；
依据所述终端移动信息向用户发送提醒信息。
为了避免游客无意的移动移动终端，导致显示其他景物的增强现实内容，当所述放置位置不在显示界面上时，获取移动终端的移动方向信息，基于该移动方向信息和所述景物信息向用户发送提醒信息。例如游客向上移动了移动终端之后，则提醒游客向下移动以便于能够在显示之前景物的增强现实内容。进一步地，可以在增强现实内容没有显示完，且所述三维场景图中不包括景物位置信息时，获取终端移动信息。其中终端移动信息可以通过重力传感、加速度传感器等确定。
在前述的基础上，为了提高用户体验，提高用户和增强现实内容的互动，并基于用户感兴趣的内容进行增强现实内容的导游，更进一步地，可以：根据当前人流量，动态调整三维场景图或放置位置的方式；和/或者根据当前用户兴趣或其他数据，动态调整三维场景图或放置位置；和/或结合当前人流量和当前用户兴趣，动态调整三维场景图或放置位置的方式。具体如：
获取当前景区的人流量信息，根据人流量信息生成包含每个区域人流量信息的三维场景图；
获取用户兴趣信息，根据所述用户兴趣信息匹配增强现实内容，得到用户感兴趣的强现实内容；
确定人流量小于预置值且用户感兴趣的增强现实内容的区域，按地图位置生成引导用户行走的路线。
更进一步地：还可以获取用户输入的预估行走时间，根据当前景区内的人流量、用户预设置的感兴趣的增强现实内容和预估行走时间，按地图位置生成引导用户行走的路线。进而使得用户不用通过拥挤的人流到达自己感兴趣的地方，使得用户可以更加享受景区游览，提高用户体验。
可选地，所述获取与所述景物特征相对应的景物信息，包括：
将所述景物特征与数据库中的预设景物特征中的一项或者多项进行匹配；
当所述景物特征与所述预设景物特征的任意一项匹配一致时，获取与所述预设景物特征相关联的所述景物信息。
由于一个景物在不同的角度可能采集到不同的景物特征，因此在获取景物信息的过程中，可能获取到一个或者多个景物特征，如轮廓、纹理、文字等中的任意一种，其中一种景物特征中也可以包括多个特征，如景物纹理特征中可能包括几种纹理特征。因此，将提取到的景物特征与数据库中预设景物特征中的任意一项匹配一致时，则获取与所述预设景物特征相关联的所述景物信息。通过该方法避免特征获取不完全时，不能够获取到景物信息的情况。
本发明实施例还提供了一种智能互动导游装置，在其中一种实施方式中，如图2所示，包括：特征提取模块100、获取模块200、显示模块300：
特征提取模块100，用于获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征，所述景物特征包括：景物轮廓特征、景物纹理特征、景物彩色、字符；
获取模块200，用于获取与所述景物特征相对应的景物信息，所述景物信息包括：增强现实内容；
显示模块300，用于基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置，在所述放置位置显示所述增强现实内容。
进一步地，如图2所示，本发明实施例中提供的一种智能互动导游装置还包括：点云数据确定模块101，用于依据所述实时图像和所述景物特征确定景物点云数据；三维场景图建立模块102，用于依据所述景物点云数据和所述摄像装置的外部参数建立在所述实时图像场景下的包括景物的三维场景图。转化单元1011，用于通过深度学习获取所述实时图像的深度信息和彩色信息，将所述深度信息和所述彩色信息转化为点云数据，所述点云数据包括景物点云数据。关联模块410，用于将所述增强现实内容的所述放置位置与所述三维场景中景物位置信息关联；更新模块420，用于依据所述三维场景图中景物位置信息更新所述放置位置。终端信息获取单元430，用于当所述三维场景图中不包括景物位置信息时，获取终端移动信息；发送单元440，用于依据所述终端移动信息向用户发送提醒信息。匹配单元110，用于将所述景物特征与数据库中的预设景物特征中的一项或者多项进行匹配；获取单元120，用于当所述景物特征与所述预设景物特征的任意一项匹配一致时，获取与所述预设景物特征相关联的所述景物信息。
本发明实施例提供的一种智能互动导游装置可以实现上述智能互动导游方法的实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
本发明实施例提供的一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现任一项技术方案所述的智能互动导游方法。其中，所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory，只读存储器)、RAM(Random AcceSS Memory，随即存储器)、EPROM(EraSable Programmable Read-Only Memory，可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory，电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是，存储设备包括由设备(例如，计算机、手机)以能够读的形式存储或传输信息的任何介质，可以是只读存储器，磁盘或光盘等。
本发明实施例提供的一种计算机可读存储介质，可实现上述智能互动导游方法的实施例，在本申请中通过深度学习能够更为精准地提取实时图像中的景物特征，通过霍夫投票算法计算增强内容在实时图像上的放置位置，进而可以将实时图像和讲解景物的增强现实内容结合在一起，使得用户可以灵活的通过移动终端获取自己想要了解的讲解内容，进而提高用户体验；本申请实施例提供的一种智能互动导游方法，包括：获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征，所述景物特征包括：景物轮廓特征、景物纹理特征、景物彩色、字符；获取与所述景物特征相对应的景物信息，所述景物信息包括：增强现实内容；基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置，在所述放置位置显示所述增强现实内容。本申请所述的方法可以应用于移动端，如手机、pad、笔记本等移动终端设备。本申请所述方法的目的在于对景物进行图像识别，并将识别采集的体现的特征与景物数据库中的特征进行比对，通过图像特征的精确匹配，提高识别精度，保证智能导游目的的实现。获取摄像终端拍摄的实时图像，为了实现对该实时图像中对应的景物信息进行准确地定位，以便于获取与该实时图像相关联的景点信息，在本申请中该景点信息包括增强现实内容。因此通过深度学习的方法提取所述实时图像中的景物特征，其中景物可以包括自然环境中的景物，也可以陈列在展馆中的文物、仿造景物等，其中景物特征中还可以包括文字特征、文物/景物轮廓以及文物/景物上的纹理特征等，还可以包括前述的景物彩色等。在本申请中通过深度学习的方法能够精准快速地进行景物特征的提取。摄像装置可以为普通的摄像机，也可以是为Kinect摄像机，通过Kinect摄像机可以直接获得具有深度信息和彩色信息的图像，进而更方便、快速地通过深度学习提取实时图像中的景物体征，避免噪声对特征信息提取的影响。在提取出景物特征，为了能够让游客了解景物信息，基于该景物特征获取与景物特征相对应的景物信息，具体的，可以在数据库中进行景物特征的匹配，然后基于景物特征与景物信息的关联关系确定景物特征，即将景物特征与数据库中的景物特征进行对比，判断两者是否为同一景物，若为同一景物，则获取该景物特征对应的景物信息。景物信息包括：景物文字介绍、景物图片、景物解说词及景物动画等。确定了景物对应的增强现实内容之后，为了能够将增强现实内容和实际的景物更好的对应和结合，让用户能够更为清楚的了解该景物详细内容，将景物特征输入霍夫投票算法中，更具体的，结合摄像装置的外部参数以及深度信息，确定景物在实际场景空间中的位置信息，以及实时图像在显示移动终端显示屏上的显示的位置信息，将两位置信息以及景物特征输入霍夫投票算法中，确定景物信息在移动终端显示屏上显示的位置，通过霍夫投票算法能够抵抗噪声对放置位置计算过程中的影响，进而提高对景物特征确定的鲁棒性。
此外，在又一种实施例中，本发明还提供一种服务器，如图3所示，所述服务器处理器503、存储器505、输入单元507以及显示单元509等器件。本领域技术人员可以理解，图3示出的结构器件并不构成对所有服务器的限定，可以包括比图示更多或更少的部件，或者组合某些部件。存储器505可用于存储应用程序501以及各功能模块，处理器503运行存储在存储器505的应用程序501，从而执行设备的各种功能应用以及数据处理。存储器505可以是内存储器或外存储器，或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器505只作为例子而非作为限定。
输入单元507用于接收信号的输入，以及用户输入的个人信息和相关的身体状况信息。输入单元507可包括触控面板以及其它输入设备。触控面板可收集客户在其上或附近的触摸操作(比如客户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并根据预先设定的程序驱动相应的连接装置；其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元509可用于显示客户输入的信息或提供给客户的信息以及计算机设备的各种菜单。显示单元509可采用液晶显示器、有机发光二极管等形式。处理器503是计算机设备的控制中心，利用各种接口和线路连接整个电脑的各个部分，通过运行或执行存储在存储器503内的软件程序和/或模块，以及调用存储在存储器内的数据，执行各种功能和处理数据。图3中所示的一个或多个处理器503能够执行、实现图2中所示的特征提取模块100的功能、获取模块200的功能、显示模块300的功能、点云数据确定模块101的功能、三维场景图建立模块102的功能、转化单元1011的功能、关联模块410的功能、更新模块420的功能、终端信息获取模块430的功能、发送模块440的功能、匹配单元110的功能、获取单元120的功能。
在一种实施方式中，所述服务器包括一个或多个处理器503，以及一个或多个存储器505，一个或多个应用程序501，其中所述一个或多个应用程序501被存储在存储器505中并被配置为由所述一个或多个处理器503执行，所述一个或多个应用程序301配置用于执行以上实施例所述的智能互动导游方法。
本发明实施例提供的一种服务器，可实现上述智能互动导游方法的实施例，在本申请中通过深度学习能够更为精准地提取实时图像中的景物特征，通过霍夫投票算法计算增强内容在实时图像上的放置位置，进而可以将实时图像和讲解景物的增强现实内容结合在一起，使得用户可以灵活的通过移动终端获取自己想要了解的讲解内容，进而提高用户体验；本申请实施例提供的一种智能互动导游方法，包括：获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征，所述景物特征包括：景物轮廓特征、景物纹理特征、景物彩色、字符；获取与所述景物特征相对应的景物信息，所述景物信息包括：增强现实内容；基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置，在所述放置位置显示所述增强现实内容。本申请所述的方法可以应用于移动端，如手机、pad、笔记本等移动终端设备。本申请所述方法的目的在于对景物进行图像识别，并将识别采集的体现的特征与景物数据库中的特征进行比对，通过图像特征的精确匹配，提高识别精度，保证智能导游目的的实现。获取摄像终端拍摄的实时图像，为了实现对该实时图像中对应的景物信息进行准确地定位，以便于获取与该实时图像相关联的景点信息，在本申请中该景点信息包括增强现实内容。因此通过深度学习的方法提取所述实时图像中的景物特征，其中景物可以包括自然环境中的景物，也可以陈列在展馆中的文物、仿造景物等，其中景物特征中还可以包括文字特征、文物/景物轮廓以及文物/景物上的纹理特征等，还可以包括前述的景物彩色等。在本申请中通过深度学习的方法能够精准快速地进行景物特征的提取。摄像装置可以为普通的摄像机，也可以是为Kinect摄像机，通过Kinect摄像机可以直接获得具有深度信息和彩色信息的图像，进而更方便、快速地通过深度学习提取实时图像中的景物体征，避免噪声对特征信息提取的影响。在提取出景物特征，为了能够让游客了解景物信息，基于该景物特征获取与景物特征相对应的景物信息，具体的，可以在数据库中进行景物特征的匹配，然后基于景物特征与景物信息的关联关系确定景物特征，即将景物特征与数据库中的景物特征进行对比，判断两者是否为同一景物，若为同一景物，则获取该景物特征对应的景物信息。景物信息包括：景物文字介绍、景物图片、景物解说词及景物动画等。确定了景物对应的增强现实内容之后，为了能够将增强现实内容和实际的景物更好的对应和结合，让用户能够更为清楚的了解该景物详细内容，将景物特征输入霍夫投票算法中，更具体的，结合摄像装置的外部参数以及深度信息，确定景物在实际场景空间中的位置信息，以及实时图像在显示移动终端显示屏上的显示的位置信息，将两位置信息以及景物特征输入霍夫投票算法中，确定景物信息在移动终端显示屏上显示的位置，通过霍夫投票算法能够抵抗噪声对放置位置计算过程中的影响，进而提高对景物特征确定的鲁棒性。
本发明实施例提供的服务器可以实现上述提供的智能互动导游方法的实施例，具体功能实现请参见方法实施例中的说明，在此不再赘述。
以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
Claims (10)
1.一种智能互动导游方法，其特征在于，包括：
获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征，所述景物特征包括：景物轮廓特征、景物纹理特征、景物彩色、字符；
获取与所述景物特征相对应的景物信息，所述景物信息包括：增强现实内容；
基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置，在所述放置位置显示所述增强现实内容。
2.根据权利要求1所述的智能互动导游方法，其特征在于，所述获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征之后，包括：
依据所述实时图像和所述景物特征确定景物点云数据；
依据所述景物点云数据和所述摄像装置的外部参数建立在所述实时图像场景下的包括景物的三维场景图。
3.根据权利要求2所述的智能互动导游方法，其特征在于，所述依据所述实时图像和所述景物特征确定景物点云数据，包括：
通过深度学习获取所述实时图像的深度信息和彩色信息，将所述深度信息和所述彩色信息转化为点云数据，所述点云数据包括景物点云数据。
4.根据权利要求2或3所述的智能互动导游方法，其特征在于，所述基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置之后，包括：
将所述增强现实内容的所述放置位置与所述三维场景中景物位置信息关联；
依据所述三维场景图中景物位置信息更新所述放置位置。
5.根据权利要求3所述的智能互动导游方法，其特征在于，所述基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置之后，还包括：
当所述三维场景图中不包括景物位置信息时，获取终端移动信息；
依据所述终端移动信息向用户发送提醒信息。
6.根据权利要求1所述的智能互动导游方法，其特征在于，所述获取与所述景物特征相对应的景物信息，包括：
将所述景物特征与数据库中的预设景物特征中的一项或者多项进行匹配；
当所述景物特征与所述预设景物特征的任意一项匹配一致时，获取与所述预设景物特征相关联的所述景物信息。
7.一种智能互动导游装置，其特征在于，包括：
特征提取模块，用于获取摄像装置拍摄的实时图像，基于深度学习提取所述实时图像中的景物特征，所述景物特征包括：景物轮廓特征、景物纹理特征、景物彩色、字符；
获取模块，用于获取与所述景物特征相对应的景物信息，所述景物信息包括：增强现实内容；
显示模块，用于基于霍夫投票算法确定所述增强现实内容在所述实时图像上的放置位置，在所述放置位置显示所述增强现实内容。
8.根据权利要求7所述的智能互动导游装置，其特征在于，还包括：
点云数据确定模块，用于依据所述实时图像和所述景物特征确定景物点云数据；
三维场景图建立模块，用于依据所述景物点云数据和所述摄像装置的外部参数建立在所述实时图像场景下的包括景物的三维场景图。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1至6任一项所述的智能互动导游方法。
10.一种服务器，其特征在于，包括：
一个或多个处理器；
存储器；
一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序配置用于执行根据权利要求1至6任一项所述的智能互动导游方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910198349.3A CN110060611A (zh) | 2019-03-15 | 2019-03-15 | 智能互动导游方法、装置及存储介质、服务器 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910198349.3A CN110060611A (zh) | 2019-03-15 | 2019-03-15 | 智能互动导游方法、装置及存储介质、服务器 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110060611A true CN110060611A (zh) | 2019-07-26 |
Family
ID=67317116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910198349.3A Pending CN110060611A (zh) | 2019-03-15 | 2019-03-15 | 智能互动导游方法、装置及存储介质、服务器 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110060611A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112822636A (zh) * | 2019-11-15 | 2021-05-18 | 南宁富桂精密工业有限公司 | 提供增强现实导游的方法及其装置 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102339579A (zh) * | 2011-10-13 | 2012-02-01 | 上海旅游网旅行服务有限公司 | 一种导游系统 |
| CN103294804A (zh) * | 2013-05-30 | 2013-09-11 | 佛山电视台南海分台 | 一种实现增强景区信息获取和交互的方法和系统 |
| CN103500452A (zh) * | 2013-10-12 | 2014-01-08 | 杭州师范大学 | 基于空间关系和图像分析的景区景物移动增强现实方法 |
| CN103632626A (zh) * | 2013-12-03 | 2014-03-12 | 四川省计算机研究院 | 一种基于移动互联网的智能导游实现方法、装置及移动客户端 |
| CN103778261A (zh) * | 2014-03-04 | 2014-05-07 | 福建瑞恒信息技术有限公司 | 一种基于移动云计算图像识别的自助导游方法及系统 |
| CN106254848A (zh) * | 2016-07-29 | 2016-12-21 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于增强现实的学习方法及终端 |
| CN107817897A (zh) * | 2017-10-30 | 2018-03-20 | 努比亚技术有限公司 | 一种信息智能显示方法及移动终端 |
| CN108022301A (zh) * | 2017-11-23 | 2018-05-11 | 腾讯科技（上海）有限公司 | 一种图像处理方法、装置以及存储介质 |
| CN108198099A (zh) * | 2018-02-06 | 2018-06-22 | 上海尤卡城信息科技有限责任公司 | 增强现实的导游方法及系统、装置、服务器及计算机可读存储介质 |
| CN108229424A (zh) * | 2018-01-26 | 2018-06-29 | 西安工程大学 | 一种基于霍夫投票的增强现实系统物体识别算法 |
| CN108319274A (zh) * | 2017-01-16 | 2018-07-24 | 吕佩剑 | 一种无人飞行器位置的图形显示方法 |
| CN108388637A (zh) * | 2018-02-26 | 2018-08-10 | 腾讯科技（深圳）有限公司 | 一种用于提供增强现实服务的方法、装置以及相关设备 |
| CN109213834A (zh) * | 2017-06-29 | 2019-01-15 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的导游方法和系统 |
-
2019
- 2019-03-15 CN CN201910198349.3A patent/CN110060611A/zh active Pending
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102339579A (zh) * | 2011-10-13 | 2012-02-01 | 上海旅游网旅行服务有限公司 | 一种导游系统 |
| CN103294804A (zh) * | 2013-05-30 | 2013-09-11 | 佛山电视台南海分台 | 一种实现增强景区信息获取和交互的方法和系统 |
| CN103500452A (zh) * | 2013-10-12 | 2014-01-08 | 杭州师范大学 | 基于空间关系和图像分析的景区景物移动增强现实方法 |
| CN103632626A (zh) * | 2013-12-03 | 2014-03-12 | 四川省计算机研究院 | 一种基于移动互联网的智能导游实现方法、装置及移动客户端 |
| CN103778261A (zh) * | 2014-03-04 | 2014-05-07 | 福建瑞恒信息技术有限公司 | 一种基于移动云计算图像识别的自助导游方法及系统 |
| CN106254848A (zh) * | 2016-07-29 | 2016-12-21 | 宇龙计算机通信科技(深圳)有限公司 | 一种基于增强现实的学习方法及终端 |
| CN108319274A (zh) * | 2017-01-16 | 2018-07-24 | 吕佩剑 | 一种无人飞行器位置的图形显示方法 |
| CN109213834A (zh) * | 2017-06-29 | 2019-01-15 | 深圳市掌网科技股份有限公司 | 一种基于增强现实的导游方法和系统 |
| CN107817897A (zh) * | 2017-10-30 | 2018-03-20 | 努比亚技术有限公司 | 一种信息智能显示方法及移动终端 |
| CN108022301A (zh) * | 2017-11-23 | 2018-05-11 | 腾讯科技（上海）有限公司 | 一种图像处理方法、装置以及存储介质 |
| CN108229424A (zh) * | 2018-01-26 | 2018-06-29 | 西安工程大学 | 一种基于霍夫投票的增强现实系统物体识别算法 |
| CN108198099A (zh) * | 2018-02-06 | 2018-06-22 | 上海尤卡城信息科技有限责任公司 | 增强现实的导游方法及系统、装置、服务器及计算机可读存储介质 |
| CN108388637A (zh) * | 2018-02-26 | 2018-08-10 | 腾讯科技（深圳）有限公司 | 一种用于提供增强现实服务的方法、装置以及相关设备 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112822636A (zh) * | 2019-11-15 | 2021-05-18 | 南宁富桂精密工业有限公司 | 提供增强现实导游的方法及其装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102417645B1 (ko) | Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체 | |
| US11698268B2 (en) | Street-level guidance via route path | |
| US8854356B2 (en) | Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method | |
| US12118683B2 (en) | Content creation in augmented reality environment | |
| CN111556278B (zh) | 一种视频处理的方法、视频展示的方法、装置及存储介质 | |
| US9378570B2 (en) | Information processing device, information processing method and program | |
| CN110457414A (zh) | 离线地图处理、虚拟对象显示方法、装置、介质和设备 | |
| WO2022227393A1 (zh) | 图像拍摄方法及装置、电子设备和计算机可读存储介质 | |
| CN106325509A (zh) | 三维手势识别方法及系统 | |
| CN112684894A (zh) | 增强现实场景的交互方法、装置、电子设备及存储介质 | |
| CN107300970A (zh) | 虚拟现实交互方法和装置 | |
| CN112179331B (zh) | Ar导航的方法、装置、电子设备及存储介质 | |
| JP2010118019A (ja) | 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体 | |
| CN109189879A (zh) | 电子书籍显示方法及装置 | |
| CN105302294B (zh) | 一种交互式虚拟现实演示装置 | |
| US11423625B2 (en) | Augmented reality scene image processing method and apparatus, electronic device and storage medium | |
| CN112947756A (zh) | 内容导览方法、装置、系统、计算机设备及存储介质 | |
| CN111325849A (zh) | 虚拟内容显示方法、装置、终端设备及存储介质 | |
| CN110060611A (zh) | 智能互动导游方法、装置及存储介质、服务器 | |
| CN109559382A (zh) | 智能导游方法、装置、终端和介质 | |
| Chippendale et al. | Personal shopping assistance and navigator system for visually impaired people | |
| Partala et al. | Salience of visual cues in 3D city maps | |
| CN116912463A (zh) | 3d虚拟形象处理方法、装置、电子设备和可读存储介质 | |
| KR102194008B1 (ko) | 상품 이미지 인식 기반 증강현실 컨텐츠 제공방법 | |
| Mulloni et al. | Enhancing handheld navigation systems with augmented reality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190726 |
|
| WD01 | Invention patent application deemed withdrawn after publication |