CN103968824B - 一种发现增强现实目标的方法及终端 - Google Patents

一种发现增强现实目标的方法及终端 Download PDF

Info

Publication number
CN103968824B
CN103968824B CN201310031093.XA CN201310031093A CN103968824B CN 103968824 B CN103968824 B CN 103968824B CN 201310031093 A CN201310031093 A CN 201310031093A CN 103968824 B CN103968824 B CN 103968824B
Authority
CN
China
Prior art keywords
terminal
target
targets
picture
proximitys
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201310031093.XA
Other languages
English (en)
Other versions
CN103968824A (zh
Inventor
李国庆
金志皓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Device Co Ltd
Original Assignee
Huawei Device Dongguan Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Device Dongguan Co Ltd filed Critical Huawei Device Dongguan Co Ltd
Priority to CN201310031093.XA priority Critical patent/CN103968824B/zh
Priority to JP2015554037A priority patent/JP6123120B2/ja
Priority to PCT/CN2014/071169 priority patent/WO2014114244A1/zh
Priority to KR1020157023037A priority patent/KR101748226B1/ko
Priority to EP14743259.5A priority patent/EP2865993B1/en
Publication of CN103968824A publication Critical patent/CN103968824A/zh
Priority to US14/573,178 priority patent/US9436874B2/en
Application granted granted Critical
Publication of CN103968824B publication Critical patent/CN103968824B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/024Guidance services

Abstract

本发明适用于AR技术领域,提供了一种AR目标发现方法和终端,包括:当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态;当确定所述终端处于搜索状态时,启动摄像头并获取图片;当获取的所述图片中包含所述AR目标时,提示所述AR目标。

Description

一种发现增强现实目标的方法及终端
技术领域
本发明属于增强现实(Augmented Reality,AR)技术领域,尤其涉及一种发现AR目标的方法及终端。
背景技术
AR是一种用于帮助人们以更直观、更形象的方式获取关于现实世界中物体的相关信息的技术,是通过计算机系统提供的信息增强用户对现实世界感知的技术,其通常通过移动终端或者头戴式显示系统(Head Mounted Display,HMD)实现,且上述设备在硬件上至少包含一个摄像头和一个显示设备,还可能包含定位系统和多种传感器,如全球定位系统(Global Positioning System,GPS)、陀螺仪、光感传感器等等。
在使用上述设备准确地发现AR目标的现有方案中,若AR目标是一个大型目标,例如,地标性建筑,则通过GPS就可以引导用户发现AR目标,然而,当AR目标是小型目标,例如,某个室内的展台上的若干个手机模型,或者某个博物馆内的若干件文物,则现有方案无法更加精确地引导用户区分AR目标和非AR目标,需要在用户到达AR目标附近后手动对周围环境进行拍照,才能进一步对AR目标进行识别。
发明内容
本发明实施例的目的在于提供一种AR目标发现方法及系统,旨在解决现有技术只能定位大型AR目标,无法精确识别小型AR目标的问题。
第一方面,提供一种AR目标发现方法,包括:当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态;当确定所述终端处于搜索状态时,启动摄像头并获取图片;当获取的所述图片中包含所述AR目标时,提示所述AR目标。
在第一方面的第一种可能的实现方式中,所述通过预先生成的导航路线和所述终端的移动速度确定到达预先选定的AR目标附近,包括:根据预先生成的所述导航路线获取所述AR目标的位置与所述终端起始位置之间的距离;根据用户预先选定的运动方式,获取所述运动方式的平均运动速度;根据所述距离与所述平均运动速度计算出所述终端到达所述AR目标附近的预计时间;在所述终端从所述终端起始位置出发并运动了所述预计时间之后,确定到达所述AR目标附近。
结合第一方面或者第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述方法还包括:当获取的所述图片中不包含所述AR目标时,使用导航定位系统采集所述终端当前的位置参数;根据所述位置参数修正所述导航路线。
结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述位置参数包括所述终端当前位置的定位参数信息和所述终端当前位置的显著标志中的至少一项。
结合第一方面或者第一方面的任一种可能的实现方式,在第四种可能的实现方式中,还包括:当确定所述终端在所述AR目标附近做不规则运动并最终远离所述AR目标时,输出警告信息。
结合第一方面或者第一方面的任一种可能的实现方式,所述确定所述终端的状态,包括:
通过陀螺仪和预设功能是否被使用确定所述终端是否处于搜索状态。
结合第一方面的第四种可能的实现方式,在第五种可能的实现方式中,所述警告信息包括以下至少一种:振动、铃声或发光。
第二方面,提供一种终端,包括:状态确定单元,用于当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态;图片获取单元,用于当所述状态确定单元确定所述终端处于搜索状态时,启动摄像头并获取图片;提示单元,用于当所述图片获取单元获取的所述图片中包含所述AR目标时,提示所述AR目标。
在第二方面的第一种可能的实现方式中,所述状态确定单元包括:距离获取子单元,用于根据预先生成的所述导航路线获取所述AR目标的位置与所述终端起始位置之间的距离;速度获取子单元,用于根据用户预先选定的运动方式,获取所述运动方式的平均运动速度;预计时间获取子单元,用于根据所述距离获取子单元获取的所述距离,以及所述速度获取子单元获取的所述平均运动速度,计算出所述终端到达所述AR目标附近的预计时间;确定子单元,用于在所述终端从所述终端起始位置出发并运动了所述预计时间之后,确定到达所述AR目标附近。
结合第二方面或者第二方面的第一种可能的实现方式,在第二种可能的实现方式中,还包括:参数采集单元,用于当所述图片获取单元获取的所述图片中不包含所述AR目标时,使用导航定位系统采集所述终端当前的位置参数;修正单元,用于根据所述参数采集单元采集的所述位置参数修正所述导航路线。
结合第二方面的第二种可能的实现方式,在第三种可能的实现方式中,所述位置参数包括所述终端当前位置的定位参数信息和所述终端当前位置的显著标志中的至少一项。
结合第二方面或者第二方面的任一种可能的实现方式,在第四种可能的实现方式中,还包括:警告单元,用于当确定所述终端在所述AR目标附近做不规则运动并最终远离所述AR目标时,输出警告信息。
结合第二方面或者第二方面的任一种可能的实现方式,所述状态确定单元具体用于当通过预先生成的导航路线和所述终端的移动速度确定到达预先选定的AR目标附近时,通过陀螺仪和预设功能是否被使用确定所述终端是否处于搜索状态。
结合第二方面的第四种可能的实现方式,在第五种可能的实现方式中,所述警告信息包括以下至少一种:振动、铃声或发光。
在本发明实施例中,当判断出终端处于搜索状态时,自动地获取到周围环境的图片,从而在图片中提取出一个或者多个目标与AR目标进行匹配,实现无标记物环境中AR处理流程的自动启动,准确地对小型AR目标进行发现,大大缩短了发现AR目标的时间。
附图说明
图1是本发明实施例提供AR目标发现方法的实现流程图;
图2是本发明实施例提供的AR目标发现方法步骤S101的具体实现流程图;
图3是本发明实施例提供的AR目标发现方法判断终端是否处于搜索状态的的实现流程图;
图4是本发明另一实施例提供AR目标发现方法的实现流程图;
图5是本发明另一实施例提供的AR目标发现方法的实现流程图;
图6是本发明实施例提供的AR目标发现装置的结构框图;
图7是本发明实施例提供的AR目标发现装置的硬件结构框图;
图8是本发明实施例提供的AR目标发现装置的硬件实现框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
图1是本发明实施例提供的AR目标发现方法的实现流程图,详述如下:
在步骤S101中,当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态。
所述确定所述终端的状态,包括:通过陀螺仪和预设功能是否被使用确定所述终端是否处于搜索状态。
在本实施例中,终端可以通过接收输入指令,获取到用户预先选定的AR目标,并确定AR目标的位置,从而根据终端的当前位置(即起始位置)及AR目标的位置,通过导航定位系统生成导航路线,以引导用户到达其预先选定的AR目标附近。其中,导航定位系统包括但不限于全球定位系统(Global Positioning System,GPS),全球卫星导航系统(GlobalNavigation Satellite System,GLONASS),北斗系统等。
具体地,终端可以通过获取用户在终端显示的地图上选定的某个位置,以该选定位置为中心进行AR目标搜索,且将搜索到的AR目标以用户当前位置为圆心显示在雷达图上。用户可以通过雷达图选定一个或者多个AR目标,从而生成导航路线,引导用户到达其预先选定的一个或者多个AR目标附近。
具体地,导航路线可以根据用户预先选定的运动方式生成,用户预先选定一种前往目的地的交通方式,例如,步行、骑车或者驾车,则可以将终端当前所在位置作为出发地,根据出发地、目的地和用户预先选定的运动方式生成导航路线,从而引导用户前往其选定的AR目标的附近区域。需要说明的是,由于导航定位系统的定位精度问题,当AR目标为小型目标时,通过导航定位功能生成的导航路线只能引导用户到达AR目标附近,不一定保证引导用户到达AR目标的精确位置。
优选地,终端在生成导航路线后,完成导航路线之前,可以暂时关闭在终端运动过程中不需要使用的器件或功能模块,如摄像头、陀螺仪、加速度计、电子罗盘和GPS等,在终端确定移动至AR目标附近后再开启暂时关闭的器件或功能模块。同时,在终端运动过程中不使用导航定位系统进行导航,而使用GSM/3G信号和基站进行低精度导航,以节约终端的能耗。
在本实施例中,终端在通过导航定位系统生成导航路线之后,可以根据生成的导航路线以及终端的移动速度,来确定是否到达了预先选定的AR目标附近,具体地,如图2所示,步骤S101具体为:
步骤S201,根据预先生成的所述导航路线获取所述AR目标的位置与所述终端起始位置之间的距离。
终端根据生成的导航路线,获取到AR目标位置与终端起始位置之间的距离。
在步骤S202中,根据用户预先选定的运动方式,获取该运动方式的平均运动速度。
例如,当用户选择步行时,则可以根据相关配置参数获取到步行的平均运动速度,如,5KM/h,获取到的平均运动速度可以预先根据不同的运动方式在系统中预置,且可以为估计值。同样地,终端可以预先记录用户步行、跑步、骑车或以其他方式运动时的速度,并依据统计数据估算出用户每种运动方式的平均速度。
在步骤S203中,根据所述距离与所述平均运动速度计算出所述终端到达所述AR目标附近的预计时间。
在步骤S204中,在所述终端从所述终端起始位置出发并运动了所述预计时间之后,确定到达所述AR目标附近。
在本实施例中,终端可以根据估计出的预计时间设定一个任务闹钟,以在预估出的终端接近目的地的时刻以任务闹钟形式提醒用户接近AR目标,从而提示用户注意关注AR目标是否出现。
优选的,所述预计时间可以根据终端实际的运动情况进行修正。例如,用户原打算携带终端步行至AR目标附近,在导航路线的后半程改变想法,决定驾车完成剩余路线,则当运动方式改变时,终端在运动过程中会接收到由用户输入的运动方式更改指令,由“步行”的运动方式更改为了“驾车”的运动方式,,则终端可以根据用户更改后的运动方式的平均运动速度及剩余路程来对预计时间进行调整。
在步骤S102中,当确定所述终端处于搜索状态时,启动摄像头并获取图片。
在本实施例中,当步骤S101确定出终端到达AR目标附近后,可以重新开启此前暂时关闭的陀螺仪、光感传感器等传感器,采集终端状态参数,判断终端状态参数是否满足预设条件,来对终端的当前状态进行判断,进而判断出终端处于正常的运动状态还是处于搜索状态,当判断出终端处于搜索状态,即认为用户当前可能在通过终端确认周围环境,寻找周围环境中的AR目标。对于判断终端状态参数是否满足预设条件的相关内容将在本发明后续实施例中进行详细说明,在此不再赘述。
当终端判断出处于搜索状态后,自动地开启摄像头进行拍照,或者采集视频流以提取图像帧。上述自动拍照或者视频流获取的动作均可以通过智能手机或者头戴式设备等终端实现,且在获取到照片或视频流中的图像帧之前,可以对照片或者图像帧进行优化,例如,放大、调整亮度、调整对比度等等(包含但不限于上述方法,这里的处理方法可以是一切提高可视内容收看效果使之更适合人眼观看的方法),之后通过图像识别算法提取出图片中可能被用户关注的N个关注目标,以判断这N个关注目标中是否包含AR目标,其中,N为大于等于1的整数。
具体地,当一张图片可以提取出N(N为大于等于1的整数)个关注目标时,系统可以首先采用快速、低精度的识别算法先处理图片中的M(M为大于等于1且小于等于N的整数)个关注目标,再对剩余的N-M个关注目标采用精确的识别算法进行识别,以判断出关注目标中是否包含AR目标。在本实施例中,快速、低精度识别算法会将非AR目标识别成AR目标,但不会把AR目标识别成非AR目标,而精确识别算法能精确识别AR目标和非AR目标,但耗时较长,因此,采用上述处理方法,能够在保证识别精度的前提下,减少总的处理时间。
优选地,当采用头戴式设备作为AR目标发现设备时,由于头戴式设备能够检测用户的视角变化,当获取到图片后发现用户快速地切换了当前视角,即用户处于关注状态的时间小于某个门限值T,则不对当前图片进行优化,只保存当前图片;如果用户处于关注状态的时间超过门限值T,则认为用户对当前视野中的某个目标很感兴趣,即当前获取到的图片中很可能包含AR目标,则对图片进行后续处理。
在步骤S103中,当获取的所述图片中包含所述AR目标时,提示所述AR目标。
本发明实施例当判断出终端处于搜索状态时,自动地获取到周围环境的图片,从而在图片中提取出一个或者多个目标与AR目标相匹配,实现无标记物环境中AR处理流程的自动启动,准确地对小型AR目标进行发现,大大缩短发现AR目标的时间。
需要说明的是:上述步骤S101至S103,以及步骤S201至S204的执行主体为终端。
接下来,对本发明实施例提供的判断终端状态参数是否满足预设条件的具体实施例进行详细说明:
作为本发明的一个实施例,终端状态参数可以包括终端从出发地到达AR目标附近的平均运动速度,以及包括终端的当前运动速度,此时,判断终端是否处于搜索状态的步骤具体为:
判断终端的当前运动速度低于平均运动速度的差值是否大于预设阈值。
在本实施例中,通过监控终端速度,根据终端速度的变化情况来判断终端是否处于搜索状态。具体地,可以根据终端到达AR目标附近之前的运动时间和累计的实际运动距离,计算出终端的平均运动速度,或者直接获取到用户预先选定的运动方式的平均运动速度,并根据终端当前运动速度与平均运动速度的差值是否大于预设阈值,来判断终端的运动速度是否出现明显降低,是则认为终端处于搜索状态。
进一步,优选地,终端状态参数还包括终端预设功能的运行状态,考虑到终端的运动速度出现明显降低还可能是因为临时接听电话、查看短信等原因,因此,判断终端是否处于搜索状态的步骤具体为:
当终端的当前运动速度低于平均运动速度的差值大于预设阈值时,判断预设功能是否均处于停止使用状态。
在本实施例中,预设功能包括但不限于语音通话、短信息、彩信、闹钟、日历事件等预设功能,若判断出预设功能中的一个或多个正在被使用时,则判断终端的运动速度降低并非因为用户正在关注某个疑似AR目标的对象,则继续返回监控终端运动速度的变化;若判断出预设功能均处于停止使用状态时,则可以判断终端处于搜索状态。
进一步,优选地,终端状态参数还包括终端运动状态,此时,判断终端是否处于搜索状态的步骤具体为:
当终端的当前运动速度低于平均运动速度的差值大于预设阈值时,判断终端运动状态是否处于稳态。
具体地,可以通过陀螺仪等传感器来判断智能手机或者头戴式设备是否处于稳态。当终端运动状态为稳态时,则进一步确定用户正在关注某个目标。
进一步地,判断终端运动状态是否处于稳态可以具体为:
判断终端运动状态处于稳态的时间是否大于预设时间阈值。
在本实施例中,考虑到终端运动状态的突变性,当陀螺仪采集到的数据表示终端运动状态处于稳态时,可以进一步判断终端运动状态处于稳态的时间是否大于预设时间阈值,如小于预设时间阈值,则不作出判断,直至终端运动状态处于稳态的时间大于预设时间阈值,再确定终端处于搜索状态。
优选的,当终端还具有用户瞳孔监控功能时,可以利用瞳孔大小的变化情况来识别出用户是否正盯着某目标注意看,例如,当用户在关注某一事物时,眼睛的瞳孔会变大,此时可以通过终端的前置摄像头拍摄用户瞳孔的大小,以此作为辅助参考,进一步提高终端状态的判断准确度。
图3描述了本发明实施例提供的AR目标发现方法判断终端是否处于搜索状态的实现流程图,图3所示实施例在判断出终端运动速度发生了显著下降之后,结合了上述所有判断终端状态参数需要满足的所有预设条件,通过图3所示实施例,可以最大程度地提高对终端状态判断的准确度。显然,在实际的判断过程中,图3所示实施例中的步骤S302和S303的执行先后顺序不受限定,且也可以只执行S302或者只执行S303,在此不一一限定。具体地,如图3所示,
在步骤S301中,判断终端的当前运动低于平均运动速度的值是否大于预设阈值,是则执行步骤S302,否则确定出终端不处于搜索状态。
在步骤S302中,判断终端的预设功能是否均处于停止使用状态,是则执行步骤S303,否则确定出终端不处于搜索状态。
在步骤S303中,判断终端运动状态是否处于稳态,是则执行步骤S304,否则确定出终端不处于搜索状态。
进一步地,步骤S303中,当判断出终端运动状态处于稳态之后,还可以判断终端运行状态处于稳态的时间是否大于预设时间阈值,若终端运行状态处于稳态的时间大于预设时间阈值,则执行步骤S304。
在步骤S304中,确定出终端处于搜索状态。
需要说明的是,在本发明图3所示实施例中,由于步骤S301之后的相关步骤均是通过终端的传感器或者相关检测装置来实现的,优选地,在步骤S301未判断出终端运动速度显著变化之前,终端的传感器或者相关检测装置可以处于关闭或者待机状态,直至步骤S301判断出用户运动速度发生了显著变化,再开启进行检测,以节约终端设备的能耗。
需要说明的是:上述步骤S301至S304的执行主体为终端。
图4示出了本发明另一实施例提供的AR目标发现方法的实现流程,本实施例在本发明图1所示实施例的基础上,对当识别出一个或者多个关注目标中不包含AR目标的情况进行了描述,详述如下:
在步骤S104中,当获取的所述图片中不包含所述AR目标时,使用导航定位系统采集所述终端当前的位置参数。
在步骤S105中,根据位置参数修正导航路线。
在本实施例中,当提取到的关注目标中不包含AR目标时,则考虑终端是否被正确地引导到了AR目标附近,此时,则通过采集当前位置的位置参数来修正导航路线。具体地,位置参数包括但不限于终端当前位置的GPS参数、终端当前位置的显著标志等参数信息,其中,GPS参数可以用于确定当前位置是否位于AR目标附近,当前位置的显著标志可以用于与系统内置的AR目标附近的显著标志相匹配,以判断当前位置是否位于AR目标附近,从而在位置错误的情况下重新修正导航路线,引导用户前进。
考虑到用户位于AR目标附近,但是无法确认AR目标的具体方位的情况,图5示出了本发明另一实施例提供的AR目标发现方法的实现流程,具体地,在步骤S101之前,或者步骤S103之后,或者步骤S105之后,所述方法还包括:
步骤S106:当确定所述终端在所述AR目标附近做不规则运动并最终远离AR目标时,输出警告信息。
其中,所述警告信息包括以下至少一种:振动、铃声或发光。由此,使得用户能够明确当前环境下AR目标的具体方位,进一步引导用户发现AR目标。
或者,在通过AR任务闹钟提示用户到达AR目标附近的情况下,也可以在AR任务闹钟到时或所述AR任务闹钟到时之前或所述AR任务闹钟到时之后输出警告信息,提示用户注意发现AR目标。
本发明实施例当判断出终端处于搜索状态时,自动地获取到周围环境的图片,从而在图片中提取出一个或者多个目标与AR目标进行匹配,实现无标记物环境中AR处理流程的自动启动,准确地对小型AR目标进行发现,大大缩短了发现AR目标的时间。
图6示出了本发明实施例提供的发现AR目标的终端的结构框图,该终端可以位于智能移动终端或者头戴式设备等AR终端中,用于运行本发明图1至图5实施例所述的方法。为了便于说明,仅示出了与本实施例相关的部分。
参照图6,该装置包括:
状态确定单元61,当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态。
图片获取单元62,当所述状态确定单元61确定所述终端处于搜索状态时,启动摄像头并获取图片。
提示单元63,当所述图片获取单元62获取的所述图片中包含所述AR目标时,提示所述AR目标。
可选地,所述状态确定单元61包括:
距离获取子单元,根据预先生成的所述导航路线获取所述AR目标的位置与所述终端起始位置之间的距离。
速度获取子单元,根据用户预先选定的运动方式,获取所述运动方式的平均运动速度。
预计时间获取子单元,用于根据所述距离获取子单元获取的所述距离,以及所述速度获取子单元获取的所述平均运动速度,计算出所述终端到达所述AR目标附近的预计时间。
确定子单元,在所述终端从所述终端起始位置出发并运动了所述预计时间之后,确定到达所述AR目标附近。
可选的,所述状态确定单元61具体用于当通过预先生成的导航路线和所述终端的移动速度确定到达预先选定的AR目标附近时,通过陀螺仪和预设功能是否被使用确定所述终端是否处于搜索状态。
可选地,所述终端还包括:
参数采集单元,当所述图片获取单元62获取的所述图片中不包含所述AR目标时,使用导航定位系统采集所述终端当前的位置参数。
修正单元,根据所述参数采集单元采集的所述位置参数修正所述导航路线。
可选地,位置参数包括所述终端当前位置的定位参数信息和所述终端当前位置的显著标志中的至少一项。
可选地,所述终端还包括:
警告单元,当确定所述终端在所述AR目标附近做不规则运动并最终远离所述AR目标时,输出警告信息。
进一步地,所述警告信息包括以下至少一种:振动、铃声或发光。
图7示出了本发明实施例提供的发现AR目标的终端的硬件结构框图,该终端可以为智能移动终端或者头戴式设备等终端,用于运行本发明图1至图5实施例所述的方法。为了便于说明,仅示出了与本实施例相关的部分。
参照图7,该装置包括处理器71、存储器72和总线73,其中,处理器71和存储器72通过总线73进行相互间的通信,存储器72用于存储程序,处理器71用于执行存储器72中存储的程序,所述程序在被执行时,用于:
当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态;
当确定所述终端处于搜索状态时,启动摄像头并获取图片;
当获取的所述图片中包含所述AR目标时,提示所述AR目标。
可选的,所述确定所述终端的状态,包括:
通过陀螺仪和预设功能是否被使用确定所述终端是否处于搜索状态。
可选地,所述通过预先生成的导航路线和所述终端的移动速度确定到达预先选定的AR目标附近,包括:
根据预先生成的所述导航路线获取所述AR目标的位置与所述终端起始位置之间的距离;
根据用户预先选定的运动方式,获取所述运动方式的平均运动速度;
根据所述距离与所述平均运动速度计算出所述终端到达所述AR目标附近的预计时间;
在所述终端从所述终端起始位置出发并运动了所述预计时间之后,确定到达所述AR目标附近。
可选地,所述程序被执行时,还用于:
当获取的所述图片中不包含所述AR目标时,使用导航定位系统采集所述终端当前的位置参数;
根据所述位置参数修正所述导航路线。
可选地,所述位置参数包括所述终端当前位置的定位参数信息和所述终端当前位置的显著标志中的至少一项。
可选地,所述程序被执行时,还用于:
当确定所述终端在所述AR目标附近做不规则运动并最终远离所述AR目标时,输出警告信息。
可选地,所述警告信息包括以下至少一种:振动、铃声或发光。
图8基于本发明图6所示实施例,提供了本发明实施例提供的AR目标发现系统的硬件实现框图,如图8所示,本发明图6实施例所述的装置的相关功能可以通过分别部署在图8的相关硬件功能模块中实现,在此不一一赘述。
本发明实施例当判断出终端处于搜索状态时,自动地获取到周围环境的图片,从而在图片中提取出一个或者多个目标与AR目标进行匹配,实现在无标记物环境中AR处理流程的自动启动,准确地对小型AR目标进行发现,大大缩短了发现AR目标的时间。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种发现增强现实AR目标的方法,其特征在于,包括:
当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态;
确定所述终端处于搜索状态时,启动所述终端的摄像头并获取图片;
采用图像识别算法从所述图片中提取出N个关注目标,所述N为大于或等于1的整数;
采用快速且低精度的识别算法处理M个所述关注目标,所述M为大于或等于1,且小于或等于N的整数;
采用精确的识别算法对剩余N-M个所述关注目标进行识别;
判断所述关注目标中是否包含AR目标;
当获取的所述图片中包含所述AR目标时,提示所述AR目标。
2.如权利要求1所述的方法,其特征在于,所述通过预先生成的导航路线和所述终端的移动速度确定到达预先选定的AR目标附近,包括:
根据预先生成的所述导航路线获取所述AR目标的位置与所述终端起始位置之间的距离;
根据用户预先选定的运动方式,获取所述运动方式的平均运动速度;
根据所述距离与所述平均运动速度计算出所述终端到达所述AR目标附近的预计时间;
在所述终端从所述终端起始位置出发并运动了所述预计时间之后,确定到达所述AR目标附近。
3.如权利要求1或2所述的方法,其特征在于,所述方法还包括:
当获取的所述图片中不包含所述AR目标时,使用导航定位系统采集所述终端当前的位置参数;
根据所述位置参数修正所述导航路线。
4.如权利要求3所述的方法,其特征在于,所述位置参数包括所述终端当前位置的定位参数信息和所述终端当前位置的显著标志中的至少一项。
5.根据权利要求1所述的方法,其特征在于,所述确定所述终端的状态,包括:
通过陀螺仪和预设功能是否被使用确定所述终端是否处于搜索状态。
6.根据权利要求1所述的方法,其特征在于,还包括:
当确定所述终端在所述AR目标附近做不规则运动并最终远离所述AR目标时,输出警告信息。
7.一种终端,其特征在于,包括:
状态确定单元,用于当通过预先生成的导航路线和终端的移动速度确定到达预先选定的AR目标附近时,确定所述终端的状态;
图片获取单元,用于当所述状态确定单元确定所述终端处于搜索状态时,启动所述终端的摄像头并获取图片;
识别单元,用于采用图像识别算法从所述图片中提取出N个关注目标,所述N为大于或等于1的整数;采用快速且低精度的识别算法处理M个所述关注目标,所述M为大于或等于1,且小于或等于N的整数;采用精确的识别算法对剩余N-M个所述关注目标进行识别;判断所述关注目标中是否包含AR目标;
提示单元,用于当所述图片获取单元获取的所述图片中包含所述AR目标时,提示所述AR目标。
8.如权利要求7所述的终端,其特征在于,所述状态确定单元包括:
距离获取子单元,用于根据预先生成的所述导航路线获取所述AR目标的位置与所述终端起始位置之间的距离;
速度获取子单元,用于根据用户预先选定的运动方式,获取所述运动方式的平均运动速度;
预计时间获取子单元,用于根据所述距离获取子单元获取的所述距离,以及所述速度获取子单元获取的所述平均运动速度,计算出所述终端到达所述AR目标附近的预计时间;
确定子单元,用于在所述终端从所述终端起始位置出发并运动了所述预计时间之后,确定到达所述AR目标附近。
9.如权利要求7或8所述的终端,其特征在于,还包括:
参数采集单元,用于当所述图片获取单元获取的所述图片中不包含所述AR目标时,使用导航定位系统采集所述终端当前的位置参数;
修正单元,用于根据所述参数采集单元采集的所述位置参数修正所述导航路线。
10.如权利要求9所述的终端,其特征在于,所述位置参数包括所述终端当前位置的定位参数信息和所述终端当前位置的显著标志中的至少一项。
11.根据权利要求7所述的终端,其特征在于,所述状态确定单元具体用于当通过预先生成的导航路线和所述终端的移动速度确定到达预先选定的AR目标附近时,通过陀螺仪和预设功能是否被使用确定所述终端是否处于搜索状态。
12.根据权利要求7所述的终端,其特征在于,还包括:
警告单元,用于当确定所述终端在所述AR目标附近做不规则运动并最终远离所述AR目标时,输出警告信息。
CN201310031093.XA 2013-01-28 2013-01-28 一种发现增强现实目标的方法及终端 Active CN103968824B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201310031093.XA CN103968824B (zh) 2013-01-28 2013-01-28 一种发现增强现实目标的方法及终端
JP2015554037A JP6123120B2 (ja) 2013-01-28 2014-01-23 拡張現実オブジェクトを発見するための方法および端末
PCT/CN2014/071169 WO2014114244A1 (zh) 2013-01-28 2014-01-23 一种发现增强现实目标的方法及终端
KR1020157023037A KR101748226B1 (ko) 2013-01-28 2014-01-23 증강 현실 객체를 발견하는 방법, 및 단말
EP14743259.5A EP2865993B1 (en) 2013-01-28 2014-01-23 Augmented reality target discovery method and terminal
US14/573,178 US9436874B2 (en) 2013-01-28 2014-12-17 Method for discovering augmented reality object, and terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310031093.XA CN103968824B (zh) 2013-01-28 2013-01-28 一种发现增强现实目标的方法及终端

Publications (2)

Publication Number Publication Date
CN103968824A CN103968824A (zh) 2014-08-06
CN103968824B true CN103968824B (zh) 2018-04-10

Family

ID=51226936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310031093.XA Active CN103968824B (zh) 2013-01-28 2013-01-28 一种发现增强现实目标的方法及终端

Country Status (6)

Country Link
US (1) US9436874B2 (zh)
EP (1) EP2865993B1 (zh)
JP (1) JP6123120B2 (zh)
KR (1) KR101748226B1 (zh)
CN (1) CN103968824B (zh)
WO (1) WO2014114244A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10320437B2 (en) * 2014-10-24 2019-06-11 Usens, Inc. System and method for immersive and interactive multimedia generation
WO2016064435A1 (en) 2014-10-24 2016-04-28 Usens, Inc. System and method for immersive and interactive multimedia generation
US10334085B2 (en) 2015-01-29 2019-06-25 Splunk Inc. Facilitating custom content extraction from network packets
CN104834375A (zh) * 2015-05-05 2015-08-12 常州恐龙园股份有限公司 基于增强现实的游乐园指南系统
CN104850229B (zh) 2015-05-18 2019-03-22 小米科技有限责任公司 识别物体的方法及装置
CN105824863B (zh) * 2015-10-30 2021-12-28 维沃移动通信有限公司 一种桌面主题推荐方法及终端
CN106959111A (zh) * 2016-01-08 2017-07-18 台湾国际物业管理顾问有限公司 建筑物空间连续定位资讯系统
CN105554392A (zh) * 2016-01-20 2016-05-04 京东方科技集团股份有限公司 显示切换装置及其切换方法、穿戴显示装置及其显示方法
CN106713868A (zh) * 2017-01-03 2017-05-24 捷开通讯(深圳)有限公司 一种监控随机目标的方法及系统
CN107229706A (zh) * 2017-05-25 2017-10-03 广州市动景计算机科技有限公司 一种基于增强现实的信息获取方法及其装置
CN109151204B (zh) * 2018-08-31 2021-04-23 Oppo(重庆)智能科技有限公司 一种基于移动终端的导航方法、装置及移动终端
CN111198608B (zh) * 2018-11-16 2021-06-22 广东虚拟现实科技有限公司 信息提示方法、装置、终端设备及计算机可读取存储介质
CN109324693A (zh) * 2018-12-04 2019-02-12 塔普翊海(上海)智能科技有限公司 Ar搜索装置、基于ar搜索装置的物品搜索系统及方法
CN111491293B (zh) * 2019-01-25 2022-01-11 华为技术有限公司 一种运动状态的上报方法及装置
CN110347703B (zh) * 2019-07-01 2023-08-22 华南理工大学 一种基于ARCore的用户行为分析方法及系统
CN112733620A (zh) * 2020-12-23 2021-04-30 深圳酷派技术有限公司 信息提示方法、装置、存储介质及电子设备
CN112880689A (zh) * 2021-01-29 2021-06-01 北京百度网讯科技有限公司 一种领位方法、装置、电子设备及存储介质

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3442163B2 (ja) * 1994-10-11 2003-09-02 富士通株式会社 位置合わせ方法および装置
US6456234B1 (en) 2000-06-07 2002-09-24 William J. Johnson System and method for proactive content delivery by situation location
JP2002267484A (ja) * 2001-03-09 2002-09-18 Ntt Docomo Inc 案内システム及び被誘導端末装置
JP3787760B2 (ja) 2001-07-31 2006-06-21 松下電器産業株式会社 カメラ付き携帯電話装置
JP4260432B2 (ja) * 2002-07-08 2009-04-30 シャープ株式会社 情報提供方法、情報提供プログラム、情報提供プログラムを記録した記録媒体、および情報提供装置
JP4066421B2 (ja) * 2003-01-14 2008-03-26 株式会社リコー 携帯情報端末装置
JP4380550B2 (ja) * 2004-03-31 2009-12-09 株式会社デンソー 車載用撮影装置
JP2007041955A (ja) * 2005-08-04 2007-02-15 Matsushita Electric Ind Co Ltd 端末装置
JP2007132870A (ja) * 2005-11-11 2007-05-31 Pioneer Electronic Corp ナビゲーション装置、コンピュータプログラム、画面制御方法及び測定間隔制御方法
JP2007292713A (ja) * 2006-03-30 2007-11-08 Denso Corp ナビゲーション装置
US7617042B2 (en) 2006-06-30 2009-11-10 Microsoft Corporation Computing and harnessing inferences about the timing, duration, and nature of motion and cessation of motion with applications to mobile computing and communications
JP2008146136A (ja) * 2006-12-06 2008-06-26 Seiko Epson Corp 画像認識装置、画像認識システム、画像認識方法、および、制御プログラム
CN101033978B (zh) * 2007-01-30 2010-10-13 珠海市智汽电子科技有限公司 智能汽车辅助导航和自动兼辅助驾驶系统
WO2008099482A1 (ja) * 2007-02-16 2008-08-21 Pioneer Corporation 検索装置、検索方法、検索プログラムおよびコンピュータに読み取り可能な記録媒体
JP2009267792A (ja) * 2008-04-25 2009-11-12 Panasonic Corp 撮像装置
US8909466B2 (en) * 2008-08-01 2014-12-09 Environmental Systems Research Institute, Inc. System and method for hybrid off-board navigation
CN101451852B (zh) * 2008-12-19 2012-01-04 华为终端有限公司 导航设备和导航方法
US8639440B2 (en) * 2010-03-31 2014-01-28 International Business Machines Corporation Augmented reality shopper routing
KR101667715B1 (ko) 2010-06-08 2016-10-19 엘지전자 주식회사 증강현실을 이용한 경로 안내 방법 및 이를 이용하는 이동 단말기
US8762041B2 (en) * 2010-06-21 2014-06-24 Blackberry Limited Method, device and system for presenting navigational information
CN102123194B (zh) * 2010-10-15 2013-12-18 张哲颖 利用增强实景技术优化移动导航和人机交互功能的方法
CN102054166B (zh) * 2010-10-25 2016-04-27 北京理工大学 一种新的用于户外增强现实系统的场景识别方法
US20120249588A1 (en) * 2011-03-22 2012-10-04 Panduit Corp. Augmented Reality Data Center Visualization
JP5732988B2 (ja) 2011-04-08 2015-06-10 ソニー株式会社 画像処理装置、表示制御方法及びプログラム
GB201106555D0 (en) * 2011-04-19 2011-06-01 Tomtom Int Bv Taxi dispatching system
CN102519475A (zh) * 2011-12-12 2012-06-27 杨志远 一种基于增强现实技术的智能导航方法和设备
KR102021050B1 (ko) * 2012-06-06 2019-09-11 삼성전자주식회사 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버

Also Published As

Publication number Publication date
EP2865993B1 (en) 2019-04-03
US9436874B2 (en) 2016-09-06
JP2016507746A (ja) 2016-03-10
KR101748226B1 (ko) 2017-06-16
KR20150108925A (ko) 2015-09-30
JP6123120B2 (ja) 2017-05-10
WO2014114244A1 (zh) 2014-07-31
EP2865993A1 (en) 2015-04-29
CN103968824A (zh) 2014-08-06
US20150104069A1 (en) 2015-04-16
EP2865993A4 (en) 2015-12-30

Similar Documents

Publication Publication Date Title
CN103968824B (zh) 一种发现增强现实目标的方法及终端
EP3014476B1 (en) Using movement patterns to anticipate user expectations
CN110148294B (zh) 路况状态确定方法及装置
US9983018B2 (en) Electronic apparatus and control method thereof
US9569898B2 (en) Wearable display system that displays a guide for a user performing a workout
EP3650814B1 (en) Vision augmented navigation
US20120194554A1 (en) Information processing device, alarm method, and program
CN111257866A (zh) 车载摄像头和车载雷达联动的目标检测方法、装置及系统
US20190049253A1 (en) Congestion degree estimation method, number-of-people estimation method, congestion degree estimation program, number-of-people estimation program and number-of-people estimation system
EP3637050A1 (en) Method and apparatus for providing service using a sensor and image recognition in a portable terminal
CN106289290A (zh) 一种路径导航系统及方法
US8611725B2 (en) Playback display device, image capturing device, playback display method, and storage medium
CN109634263A (zh) 基于数据同步的自动驾驶方法、终端及可读存储介质
JP2014505871A (ja) ナビゲーションのためのカメラ対応ヘッドセット
CN110245552A (zh) 车损图像拍摄的交互处理方法、装置、设备及客户端
CN109916408A (zh) 机器人室内定位和导航方法、装置、设备及存储介质
US9791287B2 (en) Drive assist system, method, and program
CN114466308A (zh) 一种定位方法和电子设备
CN116844375B (zh) 停车信息的显示方法和电子设备
WO2024067078A1 (zh) 车辆定位方法及电子设备
CN101294805A (zh) 利用名片数据的导航装置及其方法
JP2011220899A (ja) 情報提示システム
JP6976186B2 (ja) 端末装置及びプログラム
CN117760413A (zh) 地磁定位的方法及电子设备
JP2021081372A (ja) 表示画像生成装置及び表示画像生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20171114

Address after: Metro Songshan Lake high tech Industrial Development Zone, Guangdong Province, Dongguan City Road 523808 No. 2 South Factory (1) project B2 -5 production workshop

Applicant after: HUAWEI terminal (Dongguan) Co., Ltd.

Address before: 518129 Longgang District, Guangdong, Bantian HUAWEI base B District, building 2, building No.

Applicant before: Huawei Device Co., Ltd.

GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee after: Huawei Device Co., Ltd.

Address before: 523808 Southern Factory Building (Phase I) Project B2 Production Plant-5, New Town Avenue, Songshan Lake High-tech Industrial Development Zone, Dongguan City, Guangdong Province

Patentee before: HUAWEI terminal (Dongguan) Co., Ltd.