CN103246742A

CN103246742A - 图像检索触发方法及增强现实方法

Info

Publication number: CN103246742A
Application number: CN2013101864779A
Authority: CN
Inventors: 陈更; 宋海涛
Original assignee: Chengdu Idealsee Technology Co Ltd
Current assignee: Chengdu Idealsee Technology Co Ltd
Priority date: 2013-05-20
Filing date: 2013-05-20
Publication date: 2013-08-14

Abstract

本发明公开了一种图像检索触发方法和增强现实方法，通过移动终端内置加速度传感器检测移动终端运动状态，并根据移动终端运动状态判断是否向服务器端发送截图数据，可有效避免移动终端向图像检索服务器端发送过多不必要的检索请求，以减轻服务器压力，提高检索成功率，进而提高用户体验，降低服务成本。

Description

图像检索触发方法及增强现实方法

技术领域

本发明涉及增强现实技术领域，尤其涉及图像检索触发方法及增强现实方法。

背景技术

移动终端上使用增强现实技术时，必须用移动终端摄像机对准要进行增强现实的目标对象，由摄像机截取场景图像上传至服务器端进行图像检索，并下载匹配的虚拟资源进行虚实叠加。

现有技术中，摄像机截取场景图像上传至服务器端有两种方式，方式一：设计一个触发按键，当用户按下此按键后，终端将摄像机当前截取的场景图像上传到服务器端，若检索失败需再次按下触发按键，第二次向服务器发送当前场景图像；方式二：启动增强现实软件后，连续不断的将摄像机捕获的场景图像发送到服务器端进行检索，直到检索到虚拟信息，否则一直向服务器发送当前场景图像。

方式一由用户操作启动按键触发截图发送，操作一次发送一张图片，由于用户手拿移动终端，难免手抖，特别是在操作触发按键的一瞬间，非常易手抖，容易造成用户反复操作反复失败。

方式二由于是采用检索失败自动重发图像到服务器进行检索的方式，这种方式用户不需要过多操作，用户体验较好，但是这种方式会给服务器造成非常大的负担。特别是当用户打开增强现实软件，还没对准目标对象时，终端也一直向服务器发送当前场景图像进行检索，给服务器造成过多无用开销。

发明内容

本发明的目的是提供一种图像检索触发方法及增强现实方法，解决图像检索过程中，按现有方式自动发送图片到服务器进行图像检索给服务器造成负担过重的问题，可有效判断用户是否正在体验图像检索或增强现实软件，有选择性的发送场景图像到服务器端进行图像检索，减轻服务器端压力，降低服务成本。

为了实现上述发明目的，本发明提供了一种图像检索触发方法，运用于移动终端上，所述方法包括：

启动移动终端摄像模块，触发检索请求；

通过移动终端内置加速度传感器检测移动终端运动状态；

根据检测到的移动终端运动状态，判断是否向服务器端发送摄像模块捕获的当前场景图像数据，所述服务器端指图像检索服务器端。

优选的，所述移动终端运动状态包括静止状态、移动状态和取景状态，当检测出移动终端处于静止状态或移动状态时，均不向服务器发送任何数据；当检测出移动终端处于取景状态时，则将摄像模块捕获的当前帧场景图像进行一定处理后，上传至服务器端进行图像检索。

优选的，若上传到服务器端的第一帧图像数据检索失败，则依次再发送M帧场景图像数据至服务器端进行图像检索，M为大于等于2小于等于10的正整数；若向服务器端再次连续发送的M帧图像数据均检索失败，则暂停向服务器端发送图像数据，M优选为3或4。

优选的，所述移动终端运动状态包括静止状态、移动状态和取景状态，当检测出移动终端处于移动状态时，不向服务器发送任何数据；当检测出移动终端处于静止状态时，将摄像模块捕获的当前帧场景图像进行一定处理后，上传至服务器端进行图像检索；当检测出移动终端处于取景状态时，则将摄像模块捕获的当前场景图像进行一定处理后，连续发送K帧至服务器端进行图像检索，其中K为大于等于1小于等于11的正整数，K优选为4或5。

优选的，所述加速度传感器检测移动终端运动状态，进一步包括：

加速度传感器以每秒10～30次的速率检测移动终端在x、y、z三个轴上的加速度；

分别对x、y、z三个轴上连续两次检测到的加速度值进行求差；

若这三个差值的绝对值均小于下限阈值，则判定移动终端处于静止状态；

若这三个差值的绝对值中至少一个大于上限阈值，则判定移动终端处于移动状态；

若连续N次判定结果为移动终端既不处于静止状态，也不处于移动状态，则得出移动状态处于取景状态，其中N为大于等于2小于等于10的正整数，N优选为4或5或6。

优选的，所述上限阈值为0.05～0.1米/秒²，所述下限阈值为0.01～0.02米/秒²。

优选的，所述将摄像机捕获的当前帧场景图像进行一定处理后，上传至服务器端进行图像检索，进一步包括：对当前帧场景图像进行颜色变换及滤波处理；将颜色变换后的当前场景图像上传至服务器端进行图像检索。

优选的，所述将摄像机捕获的当前帧场景图像进行一定处理后，上传至服务器端进行图像检索，进一步包括：对当前帧场景图像进行颜色变换及滤波处理；对颜色变换后的当前场景图像进行特征检测，将得到的灰度图像的特征描述上传至图像检索服务器端进行图像检索。

优选的，所述移动终端包括手机、平板电脑、头戴可视设备HMD。

优选的，在启动移动终端内置加速度传感器之前，还包括：检测所述摄像模块捕获的当前场景图像中是否有触发标识；当在预置时间内检测到触发标识，则调用移动终端的内置加速度传感器的检测数据，进入后续步骤，否则结束本次图像检索触发流程。

相应的，本发明还提供了一种在移动终端上进行增强现实的方法，包括：

根据前述的图像检索触发方法，将摄像机捕获的场景图像数据上传至服务器端进行图像匹配，获取与上传的场景图像中的目标图像匹配的样本图像，及与所述样本图像对应的虚拟信息；

实时连续地对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵；

根据所述单应性矩阵，将与目标图像匹配的虚拟信息叠加显示在摄像机捕获的当前场景图像中的目标图像位置上。

优选的，当摄像机捕获的当前场景图像和样本图像进行跟踪配准失败后，清空当前叠加内容，自动触发检索请求。

与现有技术相比，本发明具有如下有益效果：

本发明通过移动终端内置加速度传感器检测移动终端运动状态，并根据移动终端运动状态判断是否向服务器端发送截图数据，可有效避免移动终端向图像检索服务器端发送过多不必要的检索请求，以减轻服务器压力，降低服务成本；另外服务器压力减小后，检索成功率就会提高，进而可大幅提高用户体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：

图1为本发明实施例一种图像检索触发方法的流程示意图；

图2为本发明实施例另一种图像检索触发方法的流程示意图；

图3为本发明实施例增强现实方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明技术方案主要运用于图像检索（IR，image retrieval）和增强现实（AR，Augmented Reality）领域，用于避免移动终端向图像检索服务器端发送过多不必要的检索请求，以减轻服务器压力。

本发明的发明人发现，当用户手拿移动终端或头戴HMD（HeadMountDisplay，头戴式可视设备），并用移动终端的摄像头对准要进行图像检索或增强现实的目标对象时，由于人不可能完全静止，因此设备应处于细微运动状态（即非大幅运动，也非完全静止）。为了防止现有技术方式二中所述的检索方法给服务器造成过重负担，本发明的发明人提出根据移动终端运动状态来判断是否向服务器端发送检索请求。

本发明实施例图像检索触发方法运用于移动终端上，所述移动终端包括手机、平板电脑、头戴可视设备HMD，所述图像检索触发方法包括如下步骤：

S101：启动移动终端摄像模块，触发检索请求；

S102：通过移动终端内置加速度传感器检测移动终端运动状态，所述移动终端运动状态包括静止状态、移动状态和取景状态，取景状态指用户用取景框对准目标图像状态；

S103：根据检测到的移动终端运动状态，判断是否向服务器端发送摄像模块捕获的当前场景图像数据，所述服务器端指图像检索服务器端。

参见图1、图2，均为本发明实施例图像检索触发方法的流程示意图，图1与图2为两种实施例，两实施例中S103步骤有所区别，区别仅在于移动终端处于静止状态时，是否向服务器端发送检索请求，其他流程一致。

参见图1，图1中S103步骤以S103a表示，当检测出移动终端处于静止状态或移动状态时，均不向服务器发送任何数据；当检测出移动终端处于取景状态时，则将摄像模块捕获的当前帧场景图像进行一定处理后，上传至服务器端进行图像检索。图1实施例中，在移动终端处于取景状态时，若上传到服务器端的第一帧图像数据检索失败（即服务器端返回表示未检索到结果的状态码），则依次再发送M帧场景图像数据至服务器端进行图像检索，M为大于等于2小于等于10的正整数，优选为3或4；若向服务器端再次连续发送的M帧图像数据均检索失败，则暂停向服务器端发送图像数据。例如：同一个场景连续发送了3～5张截图数据到服务器端都没有检索到相关信息，则基本可推断摄像机此时对准的场景图像内没有与服务器端样本图像匹配的图像，停止向服务器发送截图数据，可以有效避免占用服务器过多开销。

在图2中S103步骤以S103b表示，当检测出移动终端处于移动状态时，不向服务器发送任何数据；当检测出移动终端处于静止状态时，将摄像模块捕获的当前帧场景图像进行一定处理后，上传至服务器端进行图像检索，移动中的处于静止状态时，仅发送一帧图像数据到服务器端，无论是否检索到结果，都不再重发检索请求到服务器端；当检测出移动终端处于取景状态时，则将摄像模块捕获的当前场景图像进行一定处理后，连续发送K帧图像数据至服务器端进行检索，即当移动终端处于取景状态时，若发送一帧图像数据到服务器端检索失败，会继续发送多张图像数据到服务器端进行检索，若连续发送K帧图像数据到服务器端均检索失败，则暂停向服务器端发送图像数据，图2实施例中，K为大于等于1小于等于11的正整数，优选为4或5。

图1和图2实施例中，所述将摄像机捕获的当前场景图像进行一定处理后，上传至服务器端进行图像检索，均可以两种方式：1）对当前帧场景图像进行颜色变换及滤波处理；将颜色变化后的当前场景图像上传到服务器端进行图像检索；2）对当前帧场景图像进行颜色变化及滤波处理；对颜色变化后的当前场景图像进行特征检测，将得到特征描述上传至图像检索服务器端进行图像检索。

图1和图2实施例中，移动终端运动状态是通过移动终端内置加速度传感器所检测的数据来判断的，具体判断步骤可以为：

设置加速度传感器以每秒10～30次的速率检测移动终端在x、y、z三个轴上的加速度，分别对x、y、z三个轴上连续两次检测到的加速度值进行求差；

若这三个轴差值的绝对值均小于下限阈值，则判定移动终端处于静止状态，此时不发送截图数据到服务器端检索；

若这三个轴差值的绝对值中至少一个大于上限阈值，则判定移动终端处于移动状态，此时同样不发送截图数据到服务器端检索；

若连续N次判定结果为移动终端既不处于静止状态，也不处于移动状态，则得出移动状态处于取景状态，其中N为大于等于2小于等于10的正整数，其中N优选为4或5。

所述上限阈值可以为0.05～0.1米/秒2，所述下限阈值范围可以为0.01～0.02米/秒2。本发明实施例中，加速度传感器检测速率优选为10次/秒，此时上限阈值优选为0.05米/秒²，下限阈值优选为0.01米/秒²。加速度传感器的检测速率变大，上下限阈值也应该跟着调大。

图1和图2实施例中，在步骤S102之前，即启动移动终端内置加速度传感器之前，还包括：检测所述摄像模块捕获的当前场景图像中是否有触发标识；当在预置时间内检测到触发标识，则启动移动终端的内置加速度传感器，进入后续步骤，否则结束本次图像检索触发流程。所述触发标识可以为任意预置标识，比如一个LOGO，或一个特定图形等，该触发标识起到一个控制开关的作用，可实现只向服务器端上传带有触发标识的图像，提高检索准确率。例如：将本发明实施例的图像检索方法运用于增强现实时，可以在能进行增强现实的图片周边标记一个特定触发标识，只有标记了这个触发标识的图片才将其上传到图像检索服务器检索，以实现准确推送增强现实信息，避免用户用终端任意捕获图像均发送到服务器端进行检索，造成的服务器端检索压力大，且任意图像入库增强现实的可能性也比较小，会造成时长检索不到结果，降低用户体验。

上述实施例中的图像检索触发方法可用于增强现实应用，参见图3，为本发明实施例增强现实方法的流程示意图，根据前述的图像检索触发方法，在满足发送截图数据条件后（即移动终端处于取景状态），将摄像机捕获的场景图像数据上传至服务器端进行图像匹配，获取与上传的场景图像中的目标图像匹配的样本图像，及与所述样本图像对应的虚拟信息；实时连续地对摄像机捕获的当前场景图像和样本图像进行跟踪配准，计算摄像机的姿态，得到单应性矩阵；根据所述单应性矩阵，将与目标图像匹配的虚拟信息叠加显示在摄像机捕获的当前场景图像中的目标图像位置上。

为了实现用增强现实软件连续不断的对多个目标图像进行AR展示，当摄像机捕获的当前场景图像和样本图像进行跟踪配准失败后，立即清空当前叠加内容，自动触发检索请求，进入新一轮检索及AR展示流程。

采用本发明技术，用户在手持手机体验图像识别或增强现实软件时，当用户打开软件并拿着手机寻找目标的过程中，手机为移动状态，此时不向服务器发送截图数据；若用户打开软件后没有及时体验，把手机放在了桌上，此时手机为静止状态，也不向服务器发送截图数据；只有当用户找到目标图像，并用手机对准后，且用户手不是抖动非常大的情况下，才会判断手机为取景状态，进而向服务器端发送截图数据进行图像检索，当检索成功，下载虚拟信息叠加显示在摄像机捕获的当前场景图像中的目标图像位置上进行AR展示。当用户将手机移开第一个目标图像，目标跟踪失败，软件会自动清空当前叠加内容，自动触发检索请求进入下一个如图3中所示的流程。若用户将手机移开第一个目标图像后又马上对准第二个目标图像，在理想带宽情况下，马上即可在第二目标图像上展示相关虚拟信息，实现对准哪个图像就叠加与哪个图像相关的虚拟信息的目的，快速且无需用户过多操作，能极大提高用户体验。

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims

1.一种图像检索触发方法，运用于移动终端上，其特征在于，所述方法包括：

启动移动终端摄像模块，触发检索请求；

通过移动终端内置加速度传感器检测移动终端运动状态；

根据检测到的移动终端运动状态，判断是否向服务器端发送摄像模块捕获的当前场景图像数据。

2.如权利要求1所述的方法，其特征在于，所述移动终端运动状态包括静止状态、移动状态和取景状态，当检测出移动终端处于静止状态或移动状态时，均不向服务器发送任何数据；当检测出移动终端处于取景状态时，则将摄像模块捕获的当前帧场景图像进行一定处理后，上传至服务器端进行图像检索。

3.如权利要求2所述的方法，其特征在于，若上传到服务器端的第一帧图像数据检索失败，则依次再发送M帧场景图像数据至服务器端进行图像检索，M为大于等于2小于等于10的正整数；若向服务器端再次连续发送的M帧图像数据均检索失败，则暂停向服务器端发送图像数据。

4.如权利要求1所述的方法，其特征在于，所述移动终端运动状态包括静止状态、移动状态和取景状态，当检测出移动终端处于移动状态时，不向服务器发送任何数据；当检测出移动终端处于静止状态时，将摄像模块捕获的当前帧场景图像进行一定处理后，上传至服务器端进行图像检索；当检测出移动终端处于取景状态时，则将摄像模块捕获的当前场景图像进行一定处理后，连续发送K帧至服务器端进行图像检索，其中K为大于等于1小于等于11的正整数。

5.如权利要求2至4任一项所述的方法，其特征在于：所述加速度传感器检测移动终端运动状态，进一步包括：

若连续N次判定结果为移动终端既不处于静止状态，也不处于移动状态，则得出移动状态处于取景状态，其中N为大于等于2小于等于10的正整数。

6.如权利要求5所述的方法，其特征在于，所述上限阈值为0.05～0.1米/秒²，所述下限阈值为0.01～0.02米/秒²。

7.如权利要求2至4任一项所述的方法，其特征在于，所述将摄像机捕获的场景图像进行一定处理后，上传至服务器端进行图像检索，进一步包括：

对当前帧场景图像进行颜色变换及滤波处理；

将颜色变换后的当前场景图像上传至服务器端进行图像检索。

8.如权利要求2至4任一项所述的方法，其特征在于，所述将摄像机捕获的当前帧场景图像进行一定处理后，上传至服务器端进行图像检索，进一步包括：

对当前帧场景图像进行颜色变换及滤波处理；

对颜色变换后的当前场景图像进行特征检测，将得到的特征描述上传至图像检索服务器端进行图像检索。

9.如权利要求1至4任一项所述的方法，其特征在于，在启动移动终端内置加速度传感器之前，还包括：

检测所述摄像模块捕获的当前场景图像中是否有触发标识；

当在预置时间内检测到触发标识，则调用移动终端的内置加速度传感器的检测数据，进入后续步骤，否则结束本次图像检索触发流程。

10.如权利要求1至4任一项所述的方法，其特征在于，所述移动终端包括手机、平板电脑、头戴可视设备HMD。

11.一种在移动终端上进行增强现实的方法，其特征在于，包括：

根据权利要求1至10中任一项所述的图像检索触发方法，将摄像机捕获的场景图像数据上传至服务器端进行图像匹配，获取与上传的场景图像中的目标图像匹配的样本图像，及与所述样本图像对应的虚拟信息；

12.如权利要求11所述的方法，其特征在于，当摄像机捕获的当前场景图像和样本图像进行跟踪配准失败后，清空当前叠加内容，自动触发检索请求。