CN103294803A

CN103294803A - 一种实现增强产品信息介绍和人机交互的方法和系统

Info

Publication number: CN103294803A
Application number: CN2013102089960A
Authority: CN
Inventors: 张敏; 罗乐生; 郑继威
Original assignee: FOSHAN TV STATION NANHAI BRANCH
Current assignee: FOSHAN TV STATION NANHAI BRANCH
Priority date: 2013-05-30
Filing date: 2013-05-30
Publication date: 2013-09-11

Abstract

本发明公开了一种实现增强产品信息介绍和人机交互的方法和系统，其中，包括以下步骤：A.通过图像捕捉设备获取现实的产品图像;B.对获取到的产品图像进行识别，获取描述该产品图像特征的参数，并利用该参数在预设的数据库中进行查询匹配；C.匹配成功后，获取数据库中与该参数相对应的多媒体信息的存储地址，并将从存储地址获取的多媒体信息直接显示，对显示的多媒体信息进行交互操作。采用本发明可达到用户更加方便、直观明了的获得想要的产品信息或者进行更加真实的人机交互的技术效果。

Description

一种实现增强产品信息介绍和人机交互的方法和系统

技术领域

本发明涉及AR（Augmented Reality 增强现实）技术领域，尤其涉及的是一种基于图像捕捉和识别技术实现增强产品信息介绍和人机交互的方法和系统。

背景技术

现实生活中，对于产品（包括在商店中出售的商品、或者楼盘等大型商品）的介绍主要以平面宣传为主，当用户需要对该产品进行比较详细的了解时，只能到现场观看，或者到该产品的宣传场地了解，十分不方便，现有的产品信息的宣传方式比较单调，用户在了解产品时只能通过单调的平面图案或者视频了解，无法体现到产品的更多内涵，更加无法进行仿真的操作体验。

因此，现有技术还有待于改进和发展。

发明内容

本发明的目的在于提供一种基于图像捕捉和识别技术增强产品信息介绍和人机交互的方法和系统，旨在解决现有技术中的产品信息的宣传方式比较单调，用户需要详细了解产品时十分不方便等技术问题。

本发明的技术方案如下：一种实现增强产品信息介绍和人机交互的方法，其中，包括以下步骤：

A.通过图像捕捉设备获取现实的产品图像;

B.对获取到的产品图像进行识别，获取描述该产品图像特征的参数，并利用该参数在预设的数据库中进行查询匹配；

C.匹配成功后，获取数据库中与该参数相对应的多媒体信息的存储地址，并将从存储地址获取的多媒体信息直接显示或显示链接多媒体信息的图标，对显示的多媒体信息进行交互操作；

所述预设的数据库中存储有描述不同类型的产品图像的特征参数组信息，以及分别与每一个特征参数组对应的链接的多媒体信息的存储地址信息；

所述特征参数组信息的获取方法包括以下步骤：

S1.图像捕捉设备获取现实的产品图像，分析现实产品图像的特征，得到描述现实产品图像特征的参数；

S2.将S1中得到的参数组合得到描述该现实产品图像的特征参数组，把特征参数组储存在数据库中；

所述产品图像特征包括现实产品图像中的颜色、线条、尺寸和形状。

所述的实现增强产品信息介绍和人机交互的方法，其中，所述多媒体信息的存储地址包括本地数据库的存储单元地址，或者云端存储地址，或者互联网网络地址。

所述的实现增强产品信息介绍和人机交互的方法，其中，所述多媒体信息包括文字、图片、视频、音频、动画、模型和游戏。

所述的实现增强产品信息介绍和人机交互的方法，其中，所述多媒体信息存储在数据库中，或者存储在云端，或者存储在互联网上。

所述的实现增强产品信息介绍和人机交互的系统，其中，包括以下模块：

图像捕捉设备：获取现实的产品图像；

图像识别模块：对获取到的产品图像进行识别，获取描述该产品图像的参数；

输入模块：对显示的多媒体信息进行交互操作；

数据库：存储描述不同类型的产品图像的特征参数组信息，以及分别与每一个特征参数组对应的链接的多媒体信息的存储地址信息，并且存储部分多媒体信息；

数据处理模块：利用图像识别模块得出的参数在预设的数据库中进行查询匹配，匹配成功后，获取数据库中与该参数相对应的多媒体信息的存储地址，并将从存储地址获取的多媒体信息直接显示；

显示模块：显示多媒体信息；

所述图像捕捉设备分别与图像识别模块和显示模块通信连接，所述图像识别模块、输入模块、数据库和显示模块分别与数据处理模块通信连接。

所述的实现增强产品信息介绍和人机交互的系统，其中，所述数据库连接网络。

所述的实现增强产品信息介绍和人机交互的系统，其中，所述图像捕捉设备持续捕捉图像，直到系统运行结束。

所述的实现增强产品信息介绍和人机交互的系统，其中，所述图像捕捉设备持续捕捉图像，直到系统开始获取多媒体信息。

所述的实现增强产品信息介绍和人机交互的系统，其中，所述输入模块为语音输入模块。

所述的实现增强产品信息介绍和人机交互的系统，其中，所述输入模块为触屏输入模块。

本发明的有益效果：本发明通过图像捕捉设备捕获产品图像数据（包括产品的标识和包装等），利用图像识别模块分析图像数据。当图像数据与系统数据匹配之后，显示模块就会显示与该图像相关的信息（包括图片、文字、视频、音频、动画或模型等信息），用户只需要进行常规操作，即可进行人机交互，获取更多的信息和体验；本发明改变了传统的获取产品信息的方式，达到了用户更加方便、直观明了的获得想要的产品信息或者进行更加真实的人机交互的技术效果。

附图说明

图1是本发明中的方法流程图。

图2是本发明中的获取特征参数组信息的具体步骤流程图。

图3是本发明中的系统的模块图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。

本发明公开了一种基于图像捕捉和识别技术增强产品信息介绍和人机交互的方法，其方法流程如图1所示，包括以下步骤：

A.通过图像捕捉设备获取现实的产品图像;

具体的，所述预设的数据库中存储有描述不同类型的产品图像的特征参数组信息，以及分别与每一个特征参数组对应的链接的多媒体信息的存储地址信息。

具体的，所述特征参数组信息的获取方法包括以下步骤：

所述产品图像特征包括现实产品图像中的颜色、线条、尺寸和形状、产品图像中各图形的大小和相对距离等特性。

在数据库中存储了特征参数组后，将与S1中的产品相关的多媒体信息的存储地址与特征参数组对应设置。

实际应用中，为了方便用户操作以及节约本地数据库的存储空间，与具体产品图像相关的多媒体信息可以存储在数据库中，或者存储在云端，或者存储在互联网上。具体的，当具体产品图像相关的多媒体信息的量较少，占据的存储空间不大时，可以优先选择储存在本地数据库中，当具体产品图像相关的多媒体信息的量较多，占据的存储空间较大时，可以根据需要选择储存在云端，或者储存在互联网上。其中，多媒体信息包括文字、图片、视频、音频、动画、模型和游戏。多媒体信息的存储地址包括本地数据库的存储单元地址，或者云端存储地址，或者互联网网络地址。

本发明还公开了实现本发明所述方法的系统，如图3所示，包括以下模块：

图像捕捉设备：获取现实的产品图像；

输入模块：对显示的多媒体信息进行交互操作；

显示模块：显示多媒体信息；

本系统的工作过程如下：首先打开图像捕捉设备，捕捉现实中的产品图像（可以为具体的产品实物、或者是产品的平面图案、产品的标识等），图像捕捉设备得到产品图像后，把产品图像以数据的形式传递给图像识别模块；图像识别模块开始识别产品图像，具体的，图像识别模块通过识别产品图像的形状、颜色、产品标识中各图形的大小和相对距离等特性，得到描述产品图像的参数，图像识别模块把得到的参数传输给数据处理模块；数据处理模块接收到图像识别模块传输的参数后，将参数与数据库中已经定义的特征参数组进行匹配，匹配成功后，数据处理模块得到与该特征参数组对应设置的多媒体信息的存储地址，数据处理模块通过该存储地址获取多媒体信息并显示在显示屏上，或显示链接多媒体信息的图标，用户可以直接点击该图标，选择想要了解的多媒体信息。

具体的，在系统工作过程中，图像捕捉设备持续的对现实产品进行捕捉图像，直到系统运行结束。或者在系统工作过程中，图像捕捉设备持续的对现实产品进行捕捉图像，直到系统开始获取多媒体信息。

本发明并不限定具体的产品图像识别方式，本发明的系统中同时设置有多种现实图像识别方式，实际应用中系统需要根据实际环境自动选择具体的现实图像识别方式。

具体的，数据处理模块把与多媒体信息直接显示到显示模块上，例如直接调用播放一段视频、音频等；或者对多媒体信息进行处理，把处理结果显示在显示模块上，例如在屏幕上显示一个可操作的图标，点开图标可以显示多媒体信息，或者当多媒体信息是模型时，用户可以通过调节图像捕捉设备拍摄的角度来实现从不同角度观看模型，同时用户可以在显示屏上对模型进行操作。

具体的，输入模块可以为语音输入模块，或者触屏文字（图案）输入模块等，通过输入模块可以实现对多媒体信息进行交互操作；例如可以通过触屏的方式拉动信息，对信息进行编辑，可以通过语音输入的方式播放音频、视频等。

实际应用中，本方法可以通过设置一个程序，安装在便携式设备上（例如手机、平板电脑、相机等具有摄像功能和显示功能的设备），通过程序实现各模块之间的数据传输，实现用户随时随地打开摄像头就可以了解更多的信息。

实施例1

在数据库中事先对某一品牌的商标进行定义特征参数组，并在数据库中存储与该品牌相关的多媒体信息（包括视频、音频、文字等），同时存储一个该品牌的官方网站IP地址信息，将多媒体信息与方网站IP地址信息的存储地址信息与特征参数组对应设置。当用户利用设备的摄像头对准该商标时，捕捉得到该商标的图像，此时图像识别模块对图像进行识别，识别出描述该商标图像的参数并与数据库中定义的特征参数组进行匹配，匹配成功后，系统得到与该商标相关的多媒体信息的存储地址信息，系统根据该存储地址信息获取多媒体信息并在设备的显示屏幕上显示，用户可以选择播放该商标的视频、查看该商标的文字介绍等，同时用户可以通过IP地址访问该商标的官方网站。

实施例2

在数据库中事先对某一楼盘的宣传效果图进行定义特征参数组，并在互联网上存储一段介绍该楼盘的信息（包括视频、音频、文字和模型等），同时在互联网上存储一份调查问卷信息，在数据库中存储互联网的IP地址，并且将该IP地址与特征参数组对应设置。当用户利用设备的摄像头对准该楼盘的宣传效果图时，捕捉得到该楼盘的宣传效果图的图像，此时图像识别模块对图像进行识别，识别出描述该楼盘的宣传效果图的图像的参数并与数据库中定义的特征参数组进行匹配，匹配成功后，系统得到互联网的IP地址，系统通过该IP地址得到与该楼盘相关的多媒体信息，并在设备的显示屏幕上显示多媒体信息，用户可以选择播放该楼盘的视频、查看该楼盘的文字介绍，以及显示该楼盘的3D模型图等，同时用户可以通过触屏或语音输入模块回答调查问卷，系统把回答完毕的调查问回收保存到数据库中。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims

1.一种实现增强产品信息介绍和人机交互的方法，其特征在于，包括以下步骤：

A.通过图像捕捉设备获取现实的产品图像;

所述特征参数组信息的获取方法包括以下步骤：

2.根据权利要求1所述的实现增强产品信息介绍和人机交互的方法，其特征在于，所述多媒体信息的存储地址包括本地数据库的存储单元地址，或者云端存储地址，或者互联网网络地址。

3.根据权利要求2所述的实现增强产品信息介绍和人机交互的方法，其特征在于，所述多媒体信息包括文字、图片、视频、音频、动画、模型和游戏。

4.根据权利要求1所述的实现增强产品信息介绍和人机交互的方法，其特征在于，所述多媒体信息存储在数据库中，或者存储在云端，或者存储在互联网上。

5.一种实现权利要求1-4任意一项所述的实现增强产品信息介绍和人机交互的系统，其特征在于，包括以下模块：

图像捕捉设备：获取现实的产品图像；

输入模块：对显示的多媒体信息进行交互操作；

显示模块：显示多媒体信息；

6.根据权利要求5所述的实现增强产品信息介绍和人机交互的系统，其特征在于，所述数据库连接网络。

7.根据权利要求5所述的实现增强产品信息介绍和人机交互的系统，其特征在于，所述图像捕捉设备持续捕捉图像，直到系统运行结束。

8.根据权利要求5所述的实现增强产品信息介绍和人机交互的系统，其特征在于，所述图像捕捉设备持续捕捉图像，直到系统开始获取多媒体信息。

9.根据权利要求5所述的实现增强产品信息介绍和人机交互的系统，其特征在于，所述输入模块为语音输入模块。

10.根据权利要求5所述的实现增强产品信息介绍和人机交互的系统，其特征在于，所述输入模块为触屏输入模块。