CN111724437A - 视觉定位方法及相关装置、设备、存储介质 - Google Patents

视觉定位方法及相关装置、设备、存储介质 Download PDF

Info

Publication number
CN111724437A
CN111724437A CN202010555713.XA CN202010555713A CN111724437A CN 111724437 A CN111724437 A CN 111724437A CN 202010555713 A CN202010555713 A CN 202010555713A CN 111724437 A CN111724437 A CN 111724437A
Authority
CN
China
Prior art keywords
image
processed
visual positioning
camera device
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010555713.XA
Other languages
English (en)
Other versions
CN111724437B (zh
Inventor
韦豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN202010555713.XA priority Critical patent/CN111724437B/zh
Publication of CN111724437A publication Critical patent/CN111724437A/zh
Application granted granted Critical
Publication of CN111724437B publication Critical patent/CN111724437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose

Abstract

本申请公开了一种视觉定位方法及相关装置、设备、存储介质,其中,视觉定位方法包括:获取摄像器件拍摄的待处理图像,并提取待处理图像的特征信息;采用预设评分方式对特征信息进行评分,得到待处理图像的特征评分,其中,特征评分用于表示待处理图像的特征丰富程度;若特征评分满足预设评分条件,则基于待处理图像获得摄像器件的位置信息。上述方案,能够提高视觉定位的成功率和准确性。

Description

视觉定位方法及相关装置、设备、存储介质
技术领域
本申请涉及计算机视觉技术领域,特别是涉及一种视觉定位方法及相关装置、设备、存储介质。
背景技术
随着信息技术以及电子技术的发展,人们越来越青睐于使用诸如手机、平板电脑等电子设备进行拍摄,并在此基础上实现视觉定位业务。以视觉定位业务中的AR(Augmented Reality,增强现实)导航为例,AR导航基于摄像器件拍摄到的真实画面进行导航,能够有效降低驾驶出错的概率,且有利于提升交通效率与交通安全,故逐渐受到业界瞩目。
然而,在实际应用过程中,摄像器件拍摄到的图像的质量往往良莠不齐,故视觉定位的成功率以及准确性无法得到有效保证,从而影响用户体验。有鉴于此,如何提高视觉定位的成功率和准确性成为亟待解决的问题。
发明内容
本申请提供一种视觉定位方法及相关装置、设备、存储介质。
本申请第一方面提供了一种视觉定位方法,包括:获取摄像器件拍摄的待处理图像,并提取待处理图像的特征信息;采用预设评分方式对特征信息进行评分,得到待处理图像的特征评分,其中,特征评分用于表示待处理图像的特征丰富程度;若特征评分满足预设评分条件,则基于待处理图像获得摄像器件的位置信息。
因此,通过提取摄像器件拍摄到的待处理图像的特征信息,并采用预设评分方式对特征信息进行评分,得到待处理图像的特征评分,且特征评分用于表示待处理图像的特征丰富程度,从而在特征评分满足预设评分条件时,基于待处理图像获得摄像器件的位置信息,进而能够确保待处理图像的特征丰富程度,有效提升用于进行定位的待处理图像的图像质量,从而提高视觉定位的成功率和准确性。
其中,预设评分条件为特征评分大于或等于预设评分阈值。
因此,能够在待处理图像的特征评分大于或等于预设评分阈值时,再在待处理图像的基础上进行定位,故能够有效确保用于视觉定位的待处理图像的图像质量,进而提升视觉定位的成功率和准确性。
其中,若特征评分不满足预设评分条件,则输出第一提示消息,第一提示消息用于提示调整摄像器件的拍摄画面;重新执行获取摄像器件拍摄的待处理图像的步骤以及后续步骤。
因此,通过在待处理图像的特征评分不满足预设条件时,输出第一提示消息,能够提示调整摄像器件的拍摄画面,并重新执行获取摄像器件拍摄的待处理图像的步骤以及后续步骤,从而能够提升用户体验,并提高视觉定位的鲁棒性。
其中,在第一预设时长内连续输出第一提示消息的情况下,输出第二提示消息,第二提示消息用于提示定位失败。
因此,当第一预设时长内连续输出第一提示消息时,输出第二提示消息以提示定位失败,故能够提高视觉定位的鲁棒性。
其中,在提取待处理图像的特征信息之前,还包括:获取摄像器件的光轴与水平面之间的夹角;在夹角小于预设角度阈值的情况下,获取摄像器件所在的拍摄环境的光照强度;在光照强度大于或等于预设强度阈值的情况下,执行提取待处理图像的特征信息的步骤。
因此,通过在提取待处理图像的特征信息之前,进一步获取摄像器件的光轴与水平面之间的夹角,且在夹角小于预设角度阈值时,再获取摄像器件所在的拍摄环境的光照强度,在光照强度大于或等于预设强度阈值时,再进行特征信息的提取以及后续步骤,从而能够有效避免摄像器件拍摄的待处理图像为地面,并有效避免摄像器件所在的拍摄环境光照不足,进而能够有效保证用于视觉定位的待处理图像的图像质量,故能够提高视觉定位的成功率和准确性。
其中,在光照强度小于预设强度阈值的情况下,输出第三提示消息,第三提示消息用于提示更换摄像器件所在的拍摄环境,并重新执行获取摄像器件的光轴与水平面之间的夹角的步骤。
因此,通过在光照强度小于预设强度阈值时,输出第三示消息,能够提示更换摄像器件所在的拍摄环境,从而能够提升用户体验的同时,提高视觉定位的鲁棒性。
其中,在夹角大于或等于预设角度阈值的情况下,输出第四提示消息,第四提示消息用于提示减小摄像器件的光轴与水平面之间的夹角,并重新执行获取摄像器件的光轴与水平面之间的夹角的步骤。
因此,通过在夹角大于或等于预设角度阈值时,输出第四提示消息,能够提示减小摄像器件的光轴与水平面之间的夹角,从而能够提升用户体验的同时,提高视觉定位的鲁棒性。
其中,在第二预设时长内连续输出第三提示消息的情况下,输出第五提示消息,第五提示消息提示定位失败。
因此,当第二预设时长内连续输出第三提示消息时,输出第五提示消息,以提示定位失败,能够提升视觉定位的鲁棒性。
其中,基于待处理图像获得摄像器件的位置信息包括:获取待处理图像的图像信息;将图像信息发送至服务器以进行定位处理;接收服务器基于图像信息处理得到的摄像器件的位置信息。
因此,将待处理图像的图像信息发送至服务器进行定位处理,并接受服务器基于图像信息处理得到的摄像器件的位置信息,能够减轻前端电子设备的处理负荷。
其中,图像信息包括:待处理图像的图像数据、待处理图像的宽高信息、摄像器件拍摄待处理图像所采用的焦距信息。
因此,通过将待处理图像的图像数据、待处理图像的宽高信息、摄像器件拍摄待处理图像所采用的焦距信息组包为图像信息,能够为服务器提供视觉定位之用的信息,确保服务器进行定位处理的准确性,从而提升视觉定位的准确性。
本申请第二方面提供了一种视觉定位装置,包括第一获取模块、特征评分模块和第二获取模块,第一获取模块,用于获取摄像器件拍摄的待处理图像,并提取待处理图像的特征信息;特征评分模块,用于采用预设评分方式对特征信息进行评分,得到待处理图像的特征评分,其中,特征评分用于表示待处理图像的特征丰富程度;第二获取模块,用于在特征评分满足预设评分条件时,基于待处理图像获得摄像器件的位置信息。
本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的视觉定位方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的视觉定位方法。
上述方案,通过提取摄像器件拍摄到的待处理图像的特征信息,并采用预设评分方式对特征信息进行评分,得到待处理图像的特征评分,且特征评分用于表示待处理图像的特征丰富程度,从而在特征评分满足预设评分条件时,基于待处理图像获得摄像器件的位置信息,进而能够确保待处理图像的特征丰富程度,有效提升用于进行定位的待处理图像的图像质量,从而提高视觉定位的成功率和准确性。
附图说明
图1是本申请视觉定位方法一实施例的流程示意图;
图2是本申请视觉定位方法另一实施例的流程示意图;
图3是本申请视觉定位装置一实施例的框架示意图;
图4是本申请电子设备一实施例的框架示意图;
图5是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请视觉定位方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:获取摄像器件拍摄的待处理图像,并提取待处理图像的特征信息。
本公开实施例中,摄像器件可以包括集成有摄像头的手机、平板电脑等移动终端。此外,摄像器件也可以是连接有摄像头的车载导航,在此不做限定。
在一个公开实施场景中,待处理图像的特征信息可以包括待处理图像的信息熵,具体地,可以将待处理图像转换为灰度图像,并统计灰度图像中每一种像素值(例如,0~255)的数量占总像素数量的比例,并采用预设函数处理该比例,得到待处理图像的信息熵。
在另一个公开实施场景中,待处理图像的特征信息也可以包括待处理图像中所包括的目标对象(例如,路牌、树木、建筑、灯杆、广告牌等)的种类数量,具体地,可以利用经过训练的神经网络模型对待处理图像进行检测,得到待处理图像中所包含的目标对象的种类数量。
在又一个公开实施场景中,待处理图像的特征信息还可以既包含待处理图像的信息熵,也包含待处理图像中目标对象的种类数量,具体地,可以分别为信息熵和种类数量设置一权重值,再利用信息熵的权重值和种类数量的权重值分别对信息熵和种类数量进行加权处理,加权处理后的结果作为待处理图像的特征信息。
在又一个公开实施场景中,可以在检测到用户触发视觉定位时,再开始执行获取待处理图像以及后续相关步骤。具体地,用户可以通过点击上述移动终端、车载导航等电子设备的实体按键、虚拟按键而触发视觉定位,或者,还可以通过语音指令触发视觉定位,在此不做限定。
步骤S12:采用预设评分方式对特征信息进行评分,得到待处理图像的特征评分。
本公开实施例中,特征评分用于表示待处理图像的特征丰富程度。例如,当特征信息包括待处理图像的信息熵时,可以预先设置一信息熵与特征评分之间的映射关系,且信息熵越大,特征评分也越大;当特征信息包括待处理图像中目标对象的种类数量时,可以预先设置一种类数量与特征评分之间的映射关系,且种类数量越大,特征评分也越大;当特征信息包括信息熵和种类数量的加权结果时,可以预先设置一加权结果与特征评分之间的映射关系,且加权结果的值越大,特征评分也越大,在此不做限定。
步骤S13:判断特征评分是否满足预设评分条件,若是,则执行步骤S14。
在一个公开实施场景中,为了进一步有效确保用于视觉定位的待处理图像的图像质量,进而提升视觉定位的成功率和准确性,还可以设置预设评分条件为特征评分大于或等于预设评分阈值,当待处理图像的特征评分大于或等于预设评分阈值时,可以认为待处理图像的特征丰富程度较高,故可以基于待处理图像进行定位处理,得到摄像器件的位置信息。
步骤S14:基于待处理图像获得摄像器件的位置信息。
在一个公开实施场景中,可以预先基于时间序列的二维图像,利用预设三维重建方式进行三维重建,得到三维模型,再基于待处理图像和三维模型,确定摄像器件的位置信息。预设三维重建方式可以是SFM(Structure From Motion)算法,SFM算法在对二维图像进行特征提取之后,进行配准,并通过全局优化,估计相机参数,最后进行数据融合来构建得到三维模型。
在一个公开实施场景中,为了减轻前端电子设备的处理负荷,还可以获取待处理图像的图像信息,并将图像信息发送至服务器进行定位处理,从而接收服务器基于图像信息处理得到的摄像器件的位置信息。在一个具体的公开实施场景中,为了能够确保服务器进行定位处理的准确性,从而提升视觉定位的准确性,图像信息可以包括但不限于:待处理图像的图像数据、待处理图像的宽高信息、摄像器件拍摄待处理图像所采用的焦距信息。
在一个公开实施场景中,为了在室内辅助定位,还可以在不同的楼层设置蓝牙信标(beacon),蓝牙信标用于发射蓝牙信号,从而能够根据接收到的蓝牙信号的信号强度、信号标识符,确定摄像器件所在的楼层,信号标识符用于表示发射该蓝牙信号的蓝牙信标,信号标识符可以是UUID(Universally Unique Identifier,通用唯一识别码)。例如,在第1层设置蓝牙信标A,在第2层设置蓝牙信标B,并预先设置两者输出功率相同,故当仅接收到蓝牙信标A所发出的蓝牙信号时,可以确定摄像器件在第1层;或者,当仅接收到蓝牙信标B所发出的蓝牙信号时,可以确定摄像器件在第2层;或者,当同时接收到蓝牙信标A和蓝牙信标B发出的蓝牙信号时,可以进一步比较两者之间的信号强度,若接收到的蓝牙信标A发出的蓝牙信号的强度大于接收到的蓝牙信标B发出的蓝牙信号的强度,则可以确定摄像器件在第1层,否则,可以确定摄像器件在第2层。此外,为了进一步提高蓝牙辅助定位的精度,还可以在同一层设置多个蓝牙信标,以结合接收到的多个蓝牙信标所发出的蓝牙信号来确定摄像器件所在的楼层,在此不再一一举例。
在一个公开实施场景中,本公开实施例具体可以由集成有摄像头的手机、平板电脑等移动终端执行,或者可以由连接有摄像头的车载导航执行,当本公开实施例由上述电子设备执行时,还可以基于获取到的位置信息以及用户输入的目的地位置信息规划路线,并输出导航提示信息,例如,在电子设备的显示屏上显示摄像器件拍摄到的待处理图像,并在待处理图像上叠加显示导航标志(例如,直行标志、左转弯标志、右转弯标志、掉头标志),导航标志可以采用箭头表示,在此不做限定。
在一个公开实施场景中,待处理图像还可能存在其特征评分不满足预设评分条件的情况,例如,待处理图像可能为摄像器件朝白墙、绿化带、天空等拍摄得到的,故待处理图像中的特征较为单一,不足以实现后续的视觉定位,为了提升用户体验,并提升视觉定位的鲁棒性,还可以执行下述步骤15以及步骤S16。
步骤S15:输出第一提示消息,以提示调整摄像器件的拍摄画面。
在一个公开实施场景中,为了提升用户体验,第一提示消息可以是一动画,用于形象地提示调整摄像器件的拍摄画面,例如,该动画上可以显示一白墙、一街道,以及白墙和街道之间的右箭头(→),用于提示调整摄像器件至特征丰富的拍摄画面。此外,第一提示消息也可以是一语音信息,例如,可以播报“请将摄像器件移动至特征丰富的地方”。或者,第一提示消息还可以是一文字信息,例如,可以显示文本框“请将摄像器件移动至特征丰富的地方”,在此不做限定。在一个具体的公开实施场景中,为了提升视觉定位的鲁棒性,若在第一预设时长内连续输出第一提示消息,则可以认为摄像器件在第一预设时长内连续多次调整拍摄画面后仍然存在特征丰富程度较低的问题,或者,摄像器件在第一预设时长内未对拍摄画面进行调整,故为了提高视觉定位的鲁棒性,可以输出第二提示消息,以提示定位失败,第一预设时长可以根据实际情况进行设置,例如,第一预设时长可以是25秒、20秒、15秒等等,在此不做限定。此外,当输出第二提示消息时,可以直接退出视觉定位,当检测到用户启动视觉定位时,再执行上述步骤S11,从而可以从上述步骤S11开始重新进行视觉定位。
步骤S16:重新执行步骤S11。
在输出第一提示消息来提示调整摄像器件的拍摄画面之后,可以重新执行上述步骤S11,从而可以从上述步骤S11开始重新进行视觉定位。在一个具体的公开实施场景中,为了确保重新获取到的待处理图像为调整摄像器件之后所拍摄到的图像,还可以在输出第一提示消息之后,等待预设等待时长(例如,2秒、4秒等),再执行上述步骤S11,从而可以从上述步骤S11开始重新进行视觉定位。
上述方案,通过提取摄像器件拍摄到的待处理图像的特征信息,并采用预设评分方式对特征信息进行评分,得到待处理图像的特征评分,且特征评分用于表示待处理图像的特征丰富程度,从而在特征评分满足预设评分条件时,基于待处理图像获得摄像器件的位置信息,进而能够确保待处理图像的特征丰富程度,有效提升用于进行定位的待处理图像的图像质量,从而提高视觉定位的成功率和准确性。
请参阅图2,图2是本申请视觉定位方法另一实施例的流程示意图。具体而言,为了进一步确保用于视觉定位的待处理图像的图像质量,还可以先进行相关预处理流程,具体地,本公开实施例可以包括如下步骤:
步骤S201:获取摄像器件拍摄的待处理图像。
具体请参阅前述实施例中的相关步骤。
步骤S202:获取摄像器件的光轴与水平面之间的夹角。
摄像器件的光轴是通过其镜头中心点的光束的中心线,光束绕光轴转动时,不会产生任何光学特性的变化。以手机为例,当手机的屏幕平行于水平面时,其摄像器件的光轴垂直于水平面,即光轴与水平面之间的夹角为90度,当手机的屏幕垂直于水平面时,其摄像器件的光轴平行于水平面,即光轴与水平面之间的夹角为0度。故此,为了确保摄像器件拍摄到的待处理图像尽可能少地包含地面,以提升待处理图像的图像质量,摄像器件的光轴与水平面之间的夹角可以尽可能接近于0度。
在一个公开实施场景中,本公开实施例中的步骤S202~步骤S205还可以先于步骤S201执行,即先检测摄像器件的光轴与水平面之间的夹角是否小于预设角度阈值,以及检测摄像器件所在的拍摄环境的光照强度是否大于或等于预设强度阈值的步骤,再执行获取待处理图像等后续步骤,从而可以在确保摄像器件的光轴小于预设角度阈值,且所在的拍摄环境的光照强度大于或等于预设强度阈值的前提下,再获取待处理图像进行特征评分,故能够进一步提升视觉定位的鲁棒性。
步骤S203:判断夹角是否小于预设角度阈值,若是,则执行步骤S204,否则执行步骤S212。
预设角度阈值可以根据实际情况进行设置,例如,预设角度阈值可以是30度、20度、10度等等,在此不做限定。当夹角小于预设角度阈值时,可以认为此时摄像器件能够尽可能少地拍摄地面,故拍摄出的待处理图像为高质量图像的概率较大,否则,可以认为摄像器件能够拍摄到较多的地面画面,故拍摄出的待处理图像为低质量图像的概率较大。
步骤S204:获取摄像器件所在的拍摄环境的光照强度。
当夹角小于预设角度阈值时,可以认为摄像器件能够尽可能少地拍摄地面,故拍摄出的待处理图像为高质量图像的概率较大,为了进一步确保用于视觉定位的待处理图像的图像质量,还可以进一步获取摄像器件所在的拍摄环境的光照强度,拍摄环境可以包括但不限于:商场、步行街、高速、城市道路。在一个公开实施场景中,摄像器件可以集成有光敏传感器,用于感测光照强度,从而可以快速准确地获取拍摄环境的光照强度;在另一个公开实施场景中,还可以将待处理图像转换为灰度图像,并统计灰度图像中至少部分像素点(如背景像素点)灰度值的平均值,通过灰度值与光照强度之间的映射关系,确定摄像器件所在的拍摄环境的光照强度,从而可以不增加额外的硬件获得光照强度,有利于降低成本,在此不做限定。
步骤S205:判断光照强度是否大于或等于预设强度阈值,若是,则执行步骤S206,否则执行步骤S214。
预设强度阈值可以根据实际情况进行设置,在此不做限定。当光照强度大于或等于预设强度阈值时,待处理图像为高质量图像的概率越大,当光照强度小于预设强度阈值时,待处理图像低质量图像的概率越大。
步骤S206:提取待处理图像的特征信息。
具体请参阅前述实施例中的相关步骤。
步骤S207:采用预设评分方式对特征信息进行评分,得到待处理图像的特征评分。
具体请参阅前述实施例中的相关步骤。
步骤S208:判断特征评分是否满足预设评分条件,若是,则执行步骤S209,否则执行步骤S210。
具体请参阅前述实施例中的相关步骤。
步骤S209:基于待处理图像获得摄像器件的位置信息。
具体请参阅前述实施例中的相关步骤。
步骤S210:输出第一提示消息,以提示调整摄像器件的拍摄画面。
在一个具体的公开实施场景中,为了提升视觉定位的鲁棒性,若在第一预设时长内连续输出第一提示消息,可以认为摄像器件在第一预设时长内连续多次调整拍摄画面后的待处理图像其特征丰富程度仍然不足,或者,可以认为在第一预设时长内摄像器件为进行拍摄画面的调整,故为了提高视觉定位的鲁棒性,可以输出第二提示消息,以提示定位失败,第一预设时长可以根据实际情况进行设置,例如,第一预设时长可以是25秒、20秒、15秒等等,在此不做限定。此外,当输出第二提示消息时,可以直接退出视觉定位,当再次检测到用户启动视觉定位时,再执行上述步骤S201,从而从上述步骤S201开始重新进行视觉定位。
具体请参阅前述实施例中的相关步骤。
步骤S211:重新执行步骤S201。
具体请参阅前述实施例中的相关步骤。
在一个公开实施场景中,当步骤S202~步骤S205先于步骤S201执行时,还可以在输出第一提示消息之后,重新执行步骤S202以及后续步骤,即在输出第一提示消息之后,执行检测摄像器件的光轴与水平面之间的夹角和检测光照强度的步骤,再重新获取待处理图像,并对重新获取到的光照图像进行特征评分,具体在此不再赘述。
步骤S212:输出第三提示消息,以提示减小摄像器件的光轴与水平面之间的夹角。
在一个公开实施场景中,为了提升用户体验,第三提示消息可以是一动画,用于形象地提示减小摄像器件的光轴与水平面之间的夹角,以手机为例,该动画上可以显示手机从其屏幕平行于地面的状态逐渐旋转至其屏幕垂直于地面的状态。此外,第三提示消息也可以是一语音信息,例如,可以播报“请不要将摄像器件对准地面”。或者,第三提示消息还可以是一文字信息,例如,可以显示文本框“请不要将摄像器件对准地面”,在此不做限定。在一个具体的公开实施场景中,若在一预设时长(例如,15秒、20秒、25秒等等)内连续输出第三提示消息,可以认为摄像器件在预设时长内经过多次调整,仍然未调整到其光轴与水平面之间的夹角小于预设角度阈值的状态,或者,用户在预设时长内未响应第三提示消息调整摄像器件的光轴与水平面之间的夹角,则为了提升视觉定位的鲁棒性,可以输出第四提示消息,以提示定位失败。此外,当输出第四提示消息时,可以直接退出视觉定位,当再次检测到用户启动视觉定位时,再执行上述步骤S201,从而可以从上述步骤S201重新进行视觉定位。
步骤S213:重新执行步骤S202。
在输出第三提示消息来提示减小摄像器件的光轴与水平面之间的夹角之后,可以重新执行上述步骤S202,从而可以从上述步骤S202开始重新进行视觉定位,且重新执行上述步骤的过程中,待处理图像为减小夹角之后所拍摄到的图像,或者,也可以重新执行上述步骤S201,从而可以从上述步骤S201开始重新进行视觉定位。在一个具体的公开实施场景中,为了确保重新获取到的待处理图像为调整摄像器件之后所拍摄到的图像,还可以在输出第三提示消息之后,等待预设等待时长(例如,2秒、4秒等),再执行上述步骤S202(或步骤S201),从而可以从上述步骤S202(或步骤S201)开始重新进行视觉定位。
步骤S214:输出第五提示消息,以提示更换摄像器件所在的拍摄环境。
在一个公开实施场景中,为了提升用户体验,第五提示消息可以是一动画,用于形象地提示更换摄像器件所在的拍摄环境,该动画上可以显示由黑夜状态切换至白天状态,以提示将摄像器件移动至光照条件较好的拍摄环境中,此外,第五提示消息也可以是一语音信息,例如,可以播报“请将摄像器件移动至光线充足的地方”。或者,第五提示消息还可以是一文字信息,例如,可以显示文本框“请将摄像器件移动至光线充足的地方”,在此不做限定。在一个具体的公开实施场景中,若在第二预设时长(例如,15秒、20秒、25秒等)内连续输出第五提示消息,可以认为摄像器件连续多次调整拍摄环境后,光照强度仍然不满足预设光照条件,或者,还可以认为摄像器件在第二预设时长内未响应第五提示消息进行拍摄环境的更换,则为了提升视觉定位的鲁棒性,可以输出第六提示消息,以提示定位失败。此外,当输出第六提示消息时,可以直接退出视觉定位,当再次检测到用户再次启动视觉定位时,再执行上述步骤S201,从而可以从上述步骤S201开始重新进行视觉定位。
步骤S215:重新执行步骤S202。
在输出第五提示消息来提示更换摄像器件所在的拍摄环境之后,可以重新执行上述步骤S202,从而可以从上述步骤S202开始重新进行视觉定位,且在重新执行上述步骤时,待处理图像为调整拍摄环境之后所拍摄的图像,或者,也可以重新执行上述步骤S201,从而可以从步骤S201开始重新进行视觉定位。在一个具体的公开实施场景中,为了确保重新获取到的待处理图像为调整摄像器件之后所拍摄到的图像,还可以在输出第五提示消息之后,等待预设等待时长(例如,2秒、4秒等),再执行上述步骤S202(或步骤S201),从而可以从步骤S202(或步骤S201)开始重新进行视觉定位。
区别于前述公开实施例,通过在提取待处理图像的特征信息之前,进一步获取摄像器件的光轴与水平面之间的夹角,且在夹角小于预设角度阈值时,再获取摄像器件所在的拍摄环境的光照强度,在光照强度大于或等于预设强度阈值时,再进行特征信息的提取以及后续步骤,从而能够有效避免摄像器件拍摄的待处理图像为地面,并有效避免摄像器件所在的拍摄环境光照不足,进而能够有效保证用于视觉定位的待处理图像的图像质量,故能够提高视觉定位的成功率和准确性。
请参阅图3,图3是本申请视觉定位装置30一实施例的框架示意图。视觉定位装置30包括第一获取模块31、特征评分模块32和第二获取模块33,第一获取模块31用于获取摄像器件拍摄的待处理图像,并提取待处理图像的特征信息;特征评分模块32用于采用预设评分方式对特征信息进行评分,得到待处理图像的特征评分,其中,特征评分用于表示待处理图像的特征丰富程度;第二获取模块33用于在特征评分满足预设评分条件时,基于待处理图像获得摄像器件的位置信息。
上述方案,通过提取摄像器件拍摄到的待处理图像的特征信息,并采用预设评分方式对特征信息进行评分,得到待处理图像的特征评分,且特征评分用于表示待处理图像的特征丰富程度,从而在特征评分满足预设评分条件时,基于待处理图像获得摄像器件的位置信息,进而能够确保待处理图像的特征丰富程度,有效提升用于进行定位的待处理图像的图像质量,从而提高视觉定位的成功率和准确性。
在一些公开实施例中,预设评分条件为特征评分大于或等于预设评分阈值。
区别于前述公开实施例,能够在待处理图像的特征评分大于或等于预设评分阈值时,再在待处理图像的基础上进行定位,故能够有效确保用于视觉定位的待处理图像的图像质量,进而提升视觉定位的成功率和准确性。
在一些公开实施例中,视觉定位装置30还包括信息输出模块,用于在特征评分不满足预设评分条件时,输出第一提示消息,第一提示消息用于提示调整摄像器件的拍摄画面,并结合第一获取模块31、特征评分模块32和第二获取模块33重新执行获取摄像器件拍摄的待处理图像的步骤以及后续步骤。
区别于前述公开实施例,通过在待处理图像的特征评分不满足预设条件时,输出第一提示消息,能够提示调整摄像器件的拍摄画面,并重新执行获取摄像器件拍摄的待处理图像的步骤以及后续步骤,从而能够提升用户体验,并提高视觉定位的鲁棒性。
在一些公开实施例中,信息输出模块还用于在第一预设时长内连续输出第一提示消息时,输出第二提示消息,第二提示消息用于提示定位失败。
区别于前述公开实施例,当第一预设时长内连续输出第一提示消息时,输出第二提示消息以提示定位失败,故能够提高视觉定位的鲁棒性。
在一些公开实施例中,视觉定位装置30还包括第三获取模块,用于获取摄像器件的光轴与水平面之间的夹角,视觉定位装置30还包括第四获取模块,用于在夹角小于预设角度阈值时,获取摄像器件所在的拍摄环境的光照强度,第一获取模块31具体用于结合特征评分模块32和第二获取模块33在光照强度大于或等于预设强度阈值时,则执行提取待处理图像的特征信息的步骤。
区别于前述公开实施例,通过在提取待处理图像的特征信息之前,进一步获取摄像器件的光轴与水平面之间的夹角,且在夹角小于预设角度阈值时,再获取摄像器件所在的拍摄环境的光照强度,在光照强度大于或等于预设强度阈值时,再进行特征信息的提取以及后续步骤,从而能够有效避免摄像器件拍摄的待处理图像为地面,并有效避免摄像器件所在的拍摄环境光照不足,进而能够有效保证用于视觉定位的待处理图像的图像质量,故能够提高视觉定位的成功率和准确性。
在一些公开实施例中,信息输出模块还用于在光照强度小于预设强度阈值,输出第三提示消息,第三提示消息用于提示更换摄像器件所在的拍摄环境,并结合第三获取模块、第四获取模块、特征评分模块32和第二获取模块33重新执行获取摄像器件的光轴与水平面之间的夹角的步骤。
区别于前述公开实施例,通过在光照强度小于预设强度阈值时,输出第三示消息,能够提示更换摄像器件所在的拍摄环境,从而能够提升用户体验的同时,提高视觉定位的鲁棒性。
在一些公开实施例中,信息输出模块还用于在夹角大于或等于预设角度阈值时,输出第四提示消息,第四提示消息用于提示减小摄像器件的光轴与水平面之间的夹角,并结合第三获取模块、第四获取模块、特征评分模块32和第二获取模块33重新执行获取摄像器件的光轴与水平面之间的夹角的步骤。
区别于前述公开实施例,通过在夹角大于或等于预设角度阈值时,输出第四提示消息,能够提示减小摄像器件的光轴与水平面之间的夹角,从而能够提升用户体验的同时,提高视觉定位的鲁棒性。
在一些公开实施例中,信息输出模块还用于在第二预设时长内连续输出第三提示消息的情况下,输出第五提示消息,第五提示消息用于提示定位失败。
区别于前述公开实施例,当第二预设时长内连续输出第三提示消息时,输出第五提示消息,以提示定位失败,能够提升视觉定位的鲁棒性。
在一些公开实施例中,第二获取模块还包括信息获取子模块,用于获取待处理图像的图像信,第二获取模块还包括信息发送子模块,用于将图像信息发送至服务器以进行定位处理,第二获取模块还包括信息接收子模块,用于接收服务器基于图像信息处理得到的摄像器件的位置信息。
区别于前述公开实施例,将待处理图像的图像信息发送至服务器进行定位处理,并接受服务器基于图像信息处理得到的摄像器件的位置信息,能够减轻前端电子设备的处理负荷。
在一些公开实施例中,图像信息包括:待处理图像的图像数据、待处理图像的宽高信息、摄像器件拍摄待处理图像所采用的焦距信息。
区别于前述公开实施例,通过将待处理图像的图像数据、待处理图像的宽高信息、摄像器件拍摄待处理图像所采用的焦距信息组包为图像信息,能够为服务器提供视觉定位之用的信息,确保服务器进行定位处理的准确性,从而提升视觉定位的准确性。
请参阅图4,图4是本申请电子设备40一实施例的框架示意图。电子设备40包括相互耦接的存储器41和处理器42,处理器42用于执行存储器41中存储的程序指令,以实现上述任一视觉定位方法实施例的步骤。在一个具体的公开实施场景中,电子设备40可以包括但不限于:集成有摄像头的手机、平板电脑等移动终端,也可以是连接有摄像头的车载导航,在此不做限定。
具体而言,处理器42用于控制其自身以及存储器41以实现上述任一视觉定位方法实施例的步骤。处理器42还可以称为CPU(Central Processing Unit,中央处理单元)。处理器42可能是一种集成电路芯片,具有信号的处理能力。处理器42还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application SpecificIntegrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器42可以由集成电路芯片共同实现。
上述方案,能够确保待处理图像的特征丰富程度,有效提升用于进行定位的待处理图像的图像质量,从而提高视觉定位的成功率和准确性。
请参阅图5,图5为本申请计算机可读存储介质50一实施例的框架示意图。计算机可读存储介质50存储有能够被处理器运行的程序指令501,程序指令501用于实现上述任一视觉定位方法实施例的步骤。
上述方案,能够确保待处理图像的特征丰富程度,有效提升用于进行定位的待处理图像的图像质量,从而提高视觉定位的成功率和准确性。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (12)

1.一种视觉定位方法,其特征在于,包括:
获取摄像器件拍摄的待处理图像,并提取所述待处理图像的特征信息;
采用预设评分方式对所述特征信息进行评分,得到所述待处理图像的特征评分,其中,所述特征评分用于表示所述待处理图像的特征丰富程度;
若所述特征评分满足预设评分条件,则基于所述待处理图像获得所述摄像器件的位置信息。
2.根据权利要求1所述的视觉定位方法,其特征在于,所述预设评分条件为所述特征评分大于或等于预设评分阈值。
3.根据权利要求1至2任一项所述的视觉定位方法,其特征在于,所述方法还包括:
若所述特征评分不满足所述预设评分条件,则输出第一提示消息,所述第一提示消息用于提示调整所述摄像器件的拍摄画面;
重新执行所述获取摄像器件拍摄的待处理图像的步骤以及后续步骤。
4.根据权利要求3所述的视觉定位方法,其特征在于,所述方法还包括:
在第一预设时长内连续输出所述第一提示消息的情况下,输出第二提示消息,所述第二提示消息用于提示定位失败。
5.根据权利要求1至4任一项所述的视觉定位方法,其特征在于,在所述提取所述待处理图像的特征信息之前,所述方法还包括:
获取所述摄像器件的光轴与水平面之间的夹角;
在所述夹角小于预设角度阈值的情况下,获取摄像器件所在的拍摄环境的光照强度;
在所述光照强度大于或等于预设强度阈值的情况下,执行所述提取所述待处理图像的特征信息的步骤。
6.根据权利要求5所述的视觉定位方法,其特征在于,所述方法还包括:
在所述光照强度小于所述预设强度阈值的情况下,输出第三提示消息,所述第三提示消息用于提示更换所述摄像器件所在的拍摄环境,并重新执行所述获取所述摄像器件的光轴与水平面之间的夹角的步骤;
和/或,
在所述夹角大于或等于预设角度阈值的情况下,输出第四提示消息,所述第四提示消息用于提示减小所述摄像器件的光轴与所述水平面之间的夹角,并重新执行所述获取所述摄像器件的光轴与水平面之间的夹角的步骤。
7.根据权利要求6所述的视觉定位方法,其特征在于,所述方法还包括:
在第二预设时长内连续输出所述第三提示消息的情况下,输出第五提示消息,所述第五提示消息用于提示定位失败。
8.根据权利要求1至7任一项所述的视觉定位方法,其特征在于,所述基于所述待处理图像获得所述摄像器件的位置信息包括:
获取所述待处理图像的图像信息;
将所述图像信息发送至服务器以进行定位处理;
接收所述服务器基于所述图像信息处理得到的所述摄像器件的位置信息。
9.根据权利要求8所述的视觉定位方法,其特征在于,所述图像信息包括:所述待处理图像的图像数据、所述待处理图像的宽高信息、所述摄像器件拍摄所述待处理图像所采用的焦距信息。
10.一种视觉定位装置,其特征在于,包括:
第一获取模块,用于获取摄像器件拍摄的待处理图像,并提取所述待处理图像的特征信息;
特征评分模块,用于采用预设评分方式对所述特征信息进行评分,得到所述待处理图像的特征评分,其中,所述特征评分用于表示所述待处理图像的特征丰富程度;
第二获取模块,用于在所述特征评分满足预设评分条件时,基于所述待处理图像获得所述摄像器件的位置信息。
11.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至9任一项所述视觉定位方法。
12.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至9任一项所述的视觉定位方法。
CN202010555713.XA 2020-06-17 2020-06-17 视觉定位方法及相关装置、设备、存储介质 Active CN111724437B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010555713.XA CN111724437B (zh) 2020-06-17 2020-06-17 视觉定位方法及相关装置、设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010555713.XA CN111724437B (zh) 2020-06-17 2020-06-17 视觉定位方法及相关装置、设备、存储介质

Publications (2)

Publication Number Publication Date
CN111724437A true CN111724437A (zh) 2020-09-29
CN111724437B CN111724437B (zh) 2022-08-05

Family

ID=72567271

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010555713.XA Active CN111724437B (zh) 2020-06-17 2020-06-17 视觉定位方法及相关装置、设备、存储介质

Country Status (1)

Country Link
CN (1) CN111724437B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950713A (zh) * 2021-02-25 2021-06-11 深圳市慧鲤科技有限公司 定位方法及装置、电子设备和存储介质
CN112950714A (zh) * 2021-02-25 2021-06-11 深圳市慧鲤科技有限公司 定位方法及装置、电子设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070123308A1 (en) * 2005-11-28 2007-05-31 Kim Jae-Ho Method for recognizing location using built-in camera and device thereof
CN105700110A (zh) * 2016-04-20 2016-06-22 广东欧珀移动通信有限公司 一种自动对焦方法、装置及移动终端
CN108234870A (zh) * 2017-12-27 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、装置、终端及存储介质
CN109639973A (zh) * 2018-12-21 2019-04-16 中国科学院自动化研究所南京人工智能芯片创新研究院 拍摄图像评分方法、评分装置、电子设备及存储介质
CN110913140A (zh) * 2019-11-28 2020-03-24 维沃移动通信有限公司 一种拍摄信息提示方法及电子设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070123308A1 (en) * 2005-11-28 2007-05-31 Kim Jae-Ho Method for recognizing location using built-in camera and device thereof
CN105700110A (zh) * 2016-04-20 2016-06-22 广东欧珀移动通信有限公司 一种自动对焦方法、装置及移动终端
CN108234870A (zh) * 2017-12-27 2018-06-29 广东欧珀移动通信有限公司 图像处理方法、装置、终端及存储介质
CN109639973A (zh) * 2018-12-21 2019-04-16 中国科学院自动化研究所南京人工智能芯片创新研究院 拍摄图像评分方法、评分装置、电子设备及存储介质
CN110913140A (zh) * 2019-11-28 2020-03-24 维沃移动通信有限公司 一种拍摄信息提示方法及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112950713A (zh) * 2021-02-25 2021-06-11 深圳市慧鲤科技有限公司 定位方法及装置、电子设备和存储介质
CN112950714A (zh) * 2021-02-25 2021-06-11 深圳市慧鲤科技有限公司 定位方法及装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111724437B (zh) 2022-08-05

Similar Documents

Publication Publication Date Title
CN111583343B (zh) 视觉定位方法及相关装置、设备、存储介质
US20210312214A1 (en) Image recognition method, apparatus and non-transitory computer readable storage medium
CN107534789B (zh) 影像同步装置及影像同步方法
US8238671B1 (en) Scene classification for place recognition
US20160178728A1 (en) Indoor Positioning Terminal, Network, System and Method
US20160104367A1 (en) Danger Alerting Method and Device, Portable Electronic Apparatus
US11263769B2 (en) Image processing device, image processing method, and image processing system
CN109495686B (zh) 拍摄方法及设备
CN111724437B (zh) 视觉定位方法及相关装置、设备、存储介质
JP2012173879A (ja) 信号機検出装置及びプログラム
CN112272292B (zh) 投影校正方法、装置和存储介质
CN110796580B (zh) 智能交通系统管理方法及相关产品
CN111667089A (zh) 智能防灾系统及智能防灾方法
CN110858414A (zh) 图像处理方法、装置、可读存储介质与增强现实系统
WO2021057244A1 (zh) 光强调节方法及装置、电子设备和存储介质
JP7245363B2 (ja) 測位方法及び装置、電子機器並びに記憶媒体
US8996577B2 (en) Object information provision device, object information provision system, terminal, and object information provision method
AU2020309094B2 (en) Image processing method and apparatus, electronic device, and storage medium
CN111190141A (zh) 一种可见光室内定位中基于图像叠加确定光源发射序列的方法
CN109034214B (zh) 用于生成标记的方法和装置
JP2014527655A (ja) ポータブル端末用の歩行者の足取り認識方法および装置
CN106203279B (zh) 一种增强现实中目标对象的识别方法、装置及移动终端
CN116958795A (zh) 翻拍图像的识别方法、装置、电子设备及存储介质
CN111292372B (zh) 目标物体定位方法、装置、存储介质以及电子设备
CN113063421A (zh) 导航方法及相关装置、移动终端、计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant