发明内容
本发明实施例的目的在于提供一种AR目标发现方法及系统,旨在解决现有技术只能定位大型AR目标,无法精确识别小型AR目标的问题。
第一方面,提供一种AR目标发现方法,包括:当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态;当确定所述终端处于搜索状态时,启动摄像头并获取图片;当获取的所述图片中包含所述AR目标时,提示所述AR目标。
在第一方面的第一种可能的实现方式中,所述通过预先生成的导航路线和所述终端的移动速度确定到达预先选定的AR目标附近,包括:根据预先生成的所述导航路线获取所述AR目标的位置与所述终端起始位置之间的距离;根据用户预先选定的运动方式,获取所述运动方式的平均运动速度;根据所述距离与所述平均运动速度计算出所述终端到达所述AR目标附近的预计时间;在所述终端从所述终端起始位置出发并运动了所述预计时间之后,确定到达所述AR目标附近。
结合第一方面或者第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述方法还包括:当获取的所述图片中不包含所述AR目标时,使用导航定位系统采集所述终端当前的位置参数;根据所述位置参数修正所述导航路线。
结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述位置参数包括所述终端当前位置的定位参数信息和所述终端当前位置的显著标志中的至少一项。
结合第一方面或者第一方面的任一种可能的实现方式,在第四种可能的实现方式中,还包括:当确定所述终端在所述AR目标附近做不规则运动并最终远离所述AR目标时,输出警告信息。
结合第一方面或者第一方面的任一种可能的实现方式,所述确定所述终端的状态,包括:
通过陀螺仪和预设功能是否被使用确定所述终端是否处于搜索状态。
结合第一方面的第四种可能的实现方式,在第五种可能的实现方式中,所述警告信息包括以下至少一种:振动、铃声或发光。
第二方面,提供一种终端,包括:状态确定单元,用于当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态;图片获取单元,用于当所述状态确定单元确定所述终端处于搜索状态时,启动摄像头并获取图片;提示单元,用于当所述图片获取单元获取的所述图片中包含所述AR目标时,提示所述AR目标。
在第二方面的第一种可能的实现方式中,所述状态确定单元包括:距离获取子单元,用于根据预先生成的所述导航路线获取所述AR目标的位置与所述终端起始位置之间的距离;速度获取子单元,用于根据用户预先选定的运动方式,获取所述运动方式的平均运动速度;预计时间获取子单元,用于根据所述距离获取子单元获取的所述距离,以及所述速度获取子单元获取的所述平均运动速度,计算出所述终端到达所述AR目标附近的预计时间;确定子单元,用于在所述终端从所述终端起始位置出发并运动了所述预计时间之后,确定到达所述AR目标附近。
结合第二方面或者第二方面的第一种可能的实现方式,在第二种可能的实现方式中,还包括:参数采集单元,用于当所述图片获取单元获取的所述图片中不包含所述AR目标时,使用导航定位系统采集所述终端当前的位置参数;修正单元,用于根据所述参数采集单元采集的所述位置参数修正所述导航路线。
结合第二方面的第二种可能的实现方式,在第三种可能的实现方式中,所述位置参数包括所述终端当前位置的定位参数信息和所述终端当前位置的显著标志中的至少一项。
结合第二方面或者第二方面的任一种可能的实现方式,在第四种可能的实现方式中,还包括:警告单元,用于当确定所述终端在所述AR目标附近做不规则运动并最终远离所述AR目标时,输出警告信息。
结合第二方面或者第二方面的任一种可能的实现方式,所述状态确定单元具体用于当通过预先生成的导航路线和所述终端的移动速度确定到达预先选定的AR目标附近时,通过陀螺仪和预设功能是否被使用确定所述终端是否处于搜索状态。
结合第二方面的第四种可能的实现方式,在第五种可能的实现方式中,所述警告信息包括以下至少一种:振动、铃声或发光。
在本发明实施例中,当判断出终端处于搜索状态时,自动地获取到周围环境的图片,从而在图片中提取出一个或者多个目标与AR目标进行匹配,实现无标记物环境中AR处理流程的自动启动,准确地对小型AR目标进行发现,大大缩短了发现AR目标的时间。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1是本发明实施例提供的AR目标发现方法的实现流程图,详述如下:
在步骤S101中,当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态。
所述确定所述终端的状态,包括:通过陀螺仪和预设功能是否被使用确定所述终端是否处于搜索状态。
在本实施例中,终端可以通过接收输入指令,获取到用户预先选定的AR目标,并确定AR目标的位置,从而根据终端的当前位置(即起始位置)及AR目标的位置,通过导航定位系统生成导航路线,以引导用户到达其预先选定的AR目标附近。其中,导航定位系统包括但不限于全球定位系统(Global Positioning System,GPS),全球卫星导航系统(GlobalNavigation Satellite System,GLONASS),北斗系统等。
具体地,终端可以通过获取用户在终端显示的地图上选定的某个位置,以该选定位置为中心进行AR目标搜索,且将搜索到的AR目标以用户当前位置为圆心显示在雷达图上。用户可以通过雷达图选定一个或者多个AR目标,从而生成导航路线,引导用户到达其预先选定的一个或者多个AR目标附近。
具体地,导航路线可以根据用户预先选定的运动方式生成,用户预先选定一种前往目的地的交通方式,例如,步行、骑车或者驾车,则可以将终端当前所在位置作为出发地,根据出发地、目的地和用户预先选定的运动方式生成导航路线,从而引导用户前往其选定的AR目标的附近区域。需要说明的是,由于导航定位系统的定位精度问题,当AR目标为小型目标时,通过导航定位功能生成的导航路线只能引导用户到达AR目标附近,不一定保证引导用户到达AR目标的精确位置。
优选地,终端在生成导航路线后,完成导航路线之前,可以暂时关闭在终端运动过程中不需要使用的器件或功能模块,如摄像头、陀螺仪、加速度计、电子罗盘和GPS等,在终端确定移动至AR目标附近后再开启暂时关闭的器件或功能模块。同时,在终端运动过程中不使用导航定位系统进行导航,而使用GSM/3G信号和基站进行低精度导航,以节约终端的能耗。
在本实施例中,终端在通过导航定位系统生成导航路线之后,可以根据生成的导航路线以及终端的移动速度,来确定是否到达了预先选定的AR目标附近,具体地,如图2所示,步骤S101具体为:
步骤S201,根据预先生成的所述导航路线获取所述AR目标的位置与所述终端起始位置之间的距离。
终端根据生成的导航路线,获取到AR目标位置与终端起始位置之间的距离。
在步骤S202中,根据用户预先选定的运动方式,获取该运动方式的平均运动速度。
例如,当用户选择步行时,则可以根据相关配置参数获取到步行的平均运动速度,如,5KM/h,获取到的平均运动速度可以预先根据不同的运动方式在系统中预置,且可以为估计值。同样地,终端可以预先记录用户步行、跑步、骑车或以其他方式运动时的速度,并依据统计数据估算出用户每种运动方式的平均速度。
在步骤S203中,根据所述距离与所述平均运动速度计算出所述终端到达所述AR目标附近的预计时间。
在步骤S204中,在所述终端从所述终端起始位置出发并运动了所述预计时间之后,确定到达所述AR目标附近。
在本实施例中,终端可以根据估计出的预计时间设定一个任务闹钟,以在预估出的终端接近目的地的时刻以任务闹钟形式提醒用户接近AR目标,从而提示用户注意关注AR目标是否出现。
优选的,所述预计时间可以根据终端实际的运动情况进行修正。例如,用户原打算携带终端步行至AR目标附近,在导航路线的后半程改变想法,决定驾车完成剩余路线,则当运动方式改变时,终端在运动过程中会接收到由用户输入的运动方式更改指令,由“步行”的运动方式更改为了“驾车”的运动方式,,则终端可以根据用户更改后的运动方式的平均运动速度及剩余路程来对预计时间进行调整。
在步骤S102中,当确定所述终端处于搜索状态时,启动摄像头并获取图片。
在本实施例中,当步骤S101确定出终端到达AR目标附近后,可以重新开启此前暂时关闭的陀螺仪、光感传感器等传感器,采集终端状态参数,判断终端状态参数是否满足预设条件,来对终端的当前状态进行判断,进而判断出终端处于正常的运动状态还是处于搜索状态,当判断出终端处于搜索状态,即认为用户当前可能在通过终端确认周围环境,寻找周围环境中的AR目标。对于判断终端状态参数是否满足预设条件的相关内容将在本发明后续实施例中进行详细说明,在此不再赘述。
当终端判断出处于搜索状态后,自动地开启摄像头进行拍照,或者采集视频流以提取图像帧。上述自动拍照或者视频流获取的动作均可以通过智能手机或者头戴式设备等终端实现,且在获取到照片或视频流中的图像帧之前,可以对照片或者图像帧进行优化,例如,放大、调整亮度、调整对比度等等(包含但不限于上述方法,这里的处理方法可以是一切提高可视内容收看效果使之更适合人眼观看的方法),之后通过图像识别算法提取出图片中可能被用户关注的N个关注目标,以判断这N个关注目标中是否包含AR目标,其中,N为大于等于1的整数。
具体地,当一张图片可以提取出N(N为大于等于1的整数)个关注目标时,系统可以首先采用快速、低精度的识别算法先处理图片中的M(M为大于等于1且小于等于N的整数)个关注目标,再对剩余的N-M个关注目标采用精确的识别算法进行识别,以判断出关注目标中是否包含AR目标。在本实施例中,快速、低精度识别算法会将非AR目标识别成AR目标,但不会把AR目标识别成非AR目标,而精确识别算法能精确识别AR目标和非AR目标,但耗时较长,因此,采用上述处理方法,能够在保证识别精度的前提下,减少总的处理时间。
优选地,当采用头戴式设备作为AR目标发现设备时,由于头戴式设备能够检测用户的视角变化,当获取到图片后发现用户快速地切换了当前视角,即用户处于关注状态的时间小于某个门限值T,则不对当前图片进行优化,只保存当前图片;如果用户处于关注状态的时间超过门限值T,则认为用户对当前视野中的某个目标很感兴趣,即当前获取到的图片中很可能包含AR目标,则对图片进行后续处理。
在步骤S103中,当获取的所述图片中包含所述AR目标时,提示所述AR目标。
本发明实施例当判断出终端处于搜索状态时,自动地获取到周围环境的图片,从而在图片中提取出一个或者多个目标与AR目标相匹配,实现无标记物环境中AR处理流程的自动启动,准确地对小型AR目标进行发现,大大缩短发现AR目标的时间。
需要说明的是:上述步骤S101至S103,以及步骤S201至S204的执行主体为终端。
接下来,对本发明实施例提供的判断终端状态参数是否满足预设条件的具体实施例进行详细说明:
作为本发明的一个实施例,终端状态参数可以包括终端从出发地到达AR目标附近的平均运动速度,以及包括终端的当前运动速度,此时,判断终端是否处于搜索状态的步骤具体为:
判断终端的当前运动速度低于平均运动速度的差值是否大于预设阈值。
在本实施例中,通过监控终端速度,根据终端速度的变化情况来判断终端是否处于搜索状态。具体地,可以根据终端到达AR目标附近之前的运动时间和累计的实际运动距离,计算出终端的平均运动速度,或者直接获取到用户预先选定的运动方式的平均运动速度,并根据终端当前运动速度与平均运动速度的差值是否大于预设阈值,来判断终端的运动速度是否出现明显降低,是则认为终端处于搜索状态。
进一步,优选地,终端状态参数还包括终端预设功能的运行状态,考虑到终端的运动速度出现明显降低还可能是因为临时接听电话、查看短信等原因,因此,判断终端是否处于搜索状态的步骤具体为:
当终端的当前运动速度低于平均运动速度的差值大于预设阈值时,判断预设功能是否均处于停止使用状态。
在本实施例中,预设功能包括但不限于语音通话、短信息、彩信、闹钟、日历事件等预设功能,若判断出预设功能中的一个或多个正在被使用时,则判断终端的运动速度降低并非因为用户正在关注某个疑似AR目标的对象,则继续返回监控终端运动速度的变化;若判断出预设功能均处于停止使用状态时,则可以判断终端处于搜索状态。
进一步,优选地,终端状态参数还包括终端运动状态,此时,判断终端是否处于搜索状态的步骤具体为:
当终端的当前运动速度低于平均运动速度的差值大于预设阈值时,判断终端运动状态是否处于稳态。
具体地,可以通过陀螺仪等传感器来判断智能手机或者头戴式设备是否处于稳态。当终端运动状态为稳态时,则进一步确定用户正在关注某个目标。
进一步地,判断终端运动状态是否处于稳态可以具体为:
判断终端运动状态处于稳态的时间是否大于预设时间阈值。
在本实施例中,考虑到终端运动状态的突变性,当陀螺仪采集到的数据表示终端运动状态处于稳态时,可以进一步判断终端运动状态处于稳态的时间是否大于预设时间阈值,如小于预设时间阈值,则不作出判断,直至终端运动状态处于稳态的时间大于预设时间阈值,再确定终端处于搜索状态。
优选的,当终端还具有用户瞳孔监控功能时,可以利用瞳孔大小的变化情况来识别出用户是否正盯着某目标注意看,例如,当用户在关注某一事物时,眼睛的瞳孔会变大,此时可以通过终端的前置摄像头拍摄用户瞳孔的大小,以此作为辅助参考,进一步提高终端状态的判断准确度。
图3描述了本发明实施例提供的AR目标发现方法判断终端是否处于搜索状态的实现流程图,图3所示实施例在判断出终端运动速度发生了显著下降之后,结合了上述所有判断终端状态参数需要满足的所有预设条件,通过图3所示实施例,可以最大程度地提高对终端状态判断的准确度。显然,在实际的判断过程中,图3所示实施例中的步骤S302和S303的执行先后顺序不受限定,且也可以只执行S302或者只执行S303,在此不一一限定。具体地,如图3所示,
在步骤S301中,判断终端的当前运动低于平均运动速度的值是否大于预设阈值,是则执行步骤S302,否则确定出终端不处于搜索状态。
在步骤S302中,判断终端的预设功能是否均处于停止使用状态,是则执行步骤S303,否则确定出终端不处于搜索状态。
在步骤S303中,判断终端运动状态是否处于稳态,是则执行步骤S304,否则确定出终端不处于搜索状态。
进一步地,步骤S303中,当判断出终端运动状态处于稳态之后,还可以判断终端运行状态处于稳态的时间是否大于预设时间阈值,若终端运行状态处于稳态的时间大于预设时间阈值,则执行步骤S304。
在步骤S304中,确定出终端处于搜索状态。
需要说明的是,在本发明图3所示实施例中,由于步骤S301之后的相关步骤均是通过终端的传感器或者相关检测装置来实现的,优选地,在步骤S301未判断出终端运动速度显著变化之前,终端的传感器或者相关检测装置可以处于关闭或者待机状态,直至步骤S301判断出用户运动速度发生了显著变化,再开启进行检测,以节约终端设备的能耗。
需要说明的是:上述步骤S301至S304的执行主体为终端。
图4示出了本发明另一实施例提供的AR目标发现方法的实现流程,本实施例在本发明图1所示实施例的基础上,对当识别出一个或者多个关注目标中不包含AR目标的情况进行了描述,详述如下:
在步骤S104中,当获取的所述图片中不包含所述AR目标时,使用导航定位系统采集所述终端当前的位置参数。
在步骤S105中,根据位置参数修正导航路线。
在本实施例中,当提取到的关注目标中不包含AR目标时,则考虑终端是否被正确地引导到了AR目标附近,此时,则通过采集当前位置的位置参数来修正导航路线。具体地,位置参数包括但不限于终端当前位置的GPS参数、终端当前位置的显著标志等参数信息,其中,GPS参数可以用于确定当前位置是否位于AR目标附近,当前位置的显著标志可以用于与系统内置的AR目标附近的显著标志相匹配,以判断当前位置是否位于AR目标附近,从而在位置错误的情况下重新修正导航路线,引导用户前进。
考虑到用户位于AR目标附近,但是无法确认AR目标的具体方位的情况,图5示出了本发明另一实施例提供的AR目标发现方法的实现流程,具体地,在步骤S101之前,或者步骤S103之后,或者步骤S105之后,所述方法还包括:
步骤S106:当确定所述终端在所述AR目标附近做不规则运动并最终远离AR目标时,输出警告信息。
其中,所述警告信息包括以下至少一种:振动、铃声或发光。由此,使得用户能够明确当前环境下AR目标的具体方位,进一步引导用户发现AR目标。
或者,在通过AR任务闹钟提示用户到达AR目标附近的情况下,也可以在AR任务闹钟到时或所述AR任务闹钟到时之前或所述AR任务闹钟到时之后输出警告信息,提示用户注意发现AR目标。
本发明实施例当判断出终端处于搜索状态时,自动地获取到周围环境的图片,从而在图片中提取出一个或者多个目标与AR目标进行匹配,实现无标记物环境中AR处理流程的自动启动,准确地对小型AR目标进行发现,大大缩短了发现AR目标的时间。
图6示出了本发明实施例提供的发现AR目标的终端的结构框图,该终端可以位于智能移动终端或者头戴式设备等AR终端中,用于运行本发明图1至图5实施例所述的方法。为了便于说明,仅示出了与本实施例相关的部分。
参照图6,该装置包括:
状态确定单元61,当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态。
图片获取单元62,当所述状态确定单元61确定所述终端处于搜索状态时,启动摄像头并获取图片。
提示单元63,当所述图片获取单元62获取的所述图片中包含所述AR目标时,提示所述AR目标。
可选地,所述状态确定单元61包括:
距离获取子单元,根据预先生成的所述导航路线获取所述AR目标的位置与所述终端起始位置之间的距离。
速度获取子单元,根据用户预先选定的运动方式,获取所述运动方式的平均运动速度。
预计时间获取子单元,用于根据所述距离获取子单元获取的所述距离,以及所述速度获取子单元获取的所述平均运动速度,计算出所述终端到达所述AR目标附近的预计时间。
确定子单元,在所述终端从所述终端起始位置出发并运动了所述预计时间之后,确定到达所述AR目标附近。
可选的,所述状态确定单元61具体用于当通过预先生成的导航路线和所述终端的移动速度确定到达预先选定的AR目标附近时,通过陀螺仪和预设功能是否被使用确定所述终端是否处于搜索状态。
可选地,所述终端还包括:
参数采集单元,当所述图片获取单元62获取的所述图片中不包含所述AR目标时,使用导航定位系统采集所述终端当前的位置参数。
修正单元,根据所述参数采集单元采集的所述位置参数修正所述导航路线。
可选地,位置参数包括所述终端当前位置的定位参数信息和所述终端当前位置的显著标志中的至少一项。
可选地,所述终端还包括:
警告单元,当确定所述终端在所述AR目标附近做不规则运动并最终远离所述AR目标时,输出警告信息。
进一步地,所述警告信息包括以下至少一种:振动、铃声或发光。
图7示出了本发明实施例提供的发现AR目标的终端的硬件结构框图,该终端可以为智能移动终端或者头戴式设备等终端,用于运行本发明图1至图5实施例所述的方法。为了便于说明,仅示出了与本实施例相关的部分。
参照图7,该装置包括处理器71、存储器72和总线73,其中,处理器71和存储器72通过总线73进行相互间的通信,存储器72用于存储程序,处理器71用于执行存储器72中存储的程序,所述程序在被执行时,用于:
当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态;
当确定所述终端处于搜索状态时,启动摄像头并获取图片;
当获取的所述图片中包含所述AR目标时,提示所述AR目标。
可选的,所述确定所述终端的状态,包括:
通过陀螺仪和预设功能是否被使用确定所述终端是否处于搜索状态。
可选地,所述通过预先生成的导航路线和所述终端的移动速度确定到达预先选定的AR目标附近,包括:
根据预先生成的所述导航路线获取所述AR目标的位置与所述终端起始位置之间的距离;
根据用户预先选定的运动方式,获取所述运动方式的平均运动速度;
根据所述距离与所述平均运动速度计算出所述终端到达所述AR目标附近的预计时间;
在所述终端从所述终端起始位置出发并运动了所述预计时间之后,确定到达所述AR目标附近。
可选地,所述程序被执行时,还用于:
当获取的所述图片中不包含所述AR目标时,使用导航定位系统采集所述终端当前的位置参数;
根据所述位置参数修正所述导航路线。
可选地,所述位置参数包括所述终端当前位置的定位参数信息和所述终端当前位置的显著标志中的至少一项。
可选地,所述程序被执行时,还用于:
当确定所述终端在所述AR目标附近做不规则运动并最终远离所述AR目标时,输出警告信息。
可选地,所述警告信息包括以下至少一种:振动、铃声或发光。
图8基于本发明图6所示实施例,提供了本发明实施例提供的AR目标发现系统的硬件实现框图,如图8所示,本发明图6实施例所述的装置的相关功能可以通过分别部署在图8的相关硬件功能模块中实现,在此不一一赘述。
本发明实施例当判断出终端处于搜索状态时,自动地获取到周围环境的图片,从而在图片中提取出一个或者多个目标与AR目标进行匹配,实现在无标记物环境中AR处理流程的自动启动,准确地对小型AR目标进行发现,大大缩短了发现AR目标的时间。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。