CN116502382A - 传感器数据的处理方法、装置、设备及存储介质 - Google Patents

传感器数据的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN116502382A
CN116502382A CN202210055511.8A CN202210055511A CN116502382A CN 116502382 A CN116502382 A CN 116502382A CN 202210055511 A CN202210055511 A CN 202210055511A CN 116502382 A CN116502382 A CN 116502382A
Authority
CN
China
Prior art keywords
feature points
points
target image
determining
homography matrix
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210055511.8A
Other languages
English (en)
Inventor
郎小明
沈赟珺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sankuai Online Technology Co Ltd
Original Assignee
Beijing Sankuai Online Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sankuai Online Technology Co Ltd filed Critical Beijing Sankuai Online Technology Co Ltd
Priority to CN202210055511.8A priority Critical patent/CN116502382A/zh
Publication of CN116502382A publication Critical patent/CN116502382A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00Computer-aided design [CAD]
    • G06F30/20Design optimisation, verification or simulation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)

Abstract

本申请公开了传感器数据的处理方法、装置、设备及存储介质,属于计算机技术领域。方法包括:获取待处理的目标图像中的多个第一特征点,目标图像为传感器获取的任意一帧图像;基于多个第一特征点、目标图像的前一帧图像内与多个第一特征点对应的多个第二特征点以及目标图像与前一帧图像之间的IMU确定第一单应矩阵,第一单应矩阵用于描述多个第一特征点与多个第二特征点之间的对应关系;基于第一单应矩阵确定至少一个第一内点,基于第一内点确定剔除局外点的结果。本申请由于考虑了IMU的数据,可以使第一单应矩阵描述的对应关系更加准确,使剔除局外点的可靠性更高,使传感器数据处理的可靠性更高,从而提高了估算精度。

Description

传感器数据的处理方法、装置、设备及存储介质
技术领域
本申请实施例涉及计算机技术领域,特别涉及一种传感器数据的处理方法、装置、设备及存储介质。
背景技术
在无人机等物体的运动中,可以采用光流法对安装在物体上的视觉传感器所拍摄的视频数据进行处理,并基于高度检测设备检测得到的数据来估算该物体的速度。通过光流法可以对该视频数据的两帧图像内相对应的多个特征点进行跟踪,之后通过跟踪上的特征点对之间的距离来对速度进行估算。但是使用光流法进行特征点的跟踪可能会出现跟踪不准确等情况,从而影响估算精度。其中,影响估算精度的特征点称为局外点,因此,需要对基于视觉传感器得到的数据(即传感器数据)进行处理,剔除会影响估算精度的特征点,即剔除局外点。
在相关技术中,一般使用RANSAC(Random Sample Consensus,随机抽样一致)法来对传感器数据进行处理,从而剔除局外点。RANSAC法可以在某帧图像内跟踪上的特征点中随机获取多个特征点,并假设获取的多个特征点均跟踪准确,之后根据获取的多个特征点确定一个回归模型,通过该回归模型对该图像内的其他特征点进行测试。若某特征点不满足该回归模型则认为该特征点跟踪不准确,即该特征点为局外点,将所有局外点剔除。
相关技术提供的传感器数据的处理方法,可能无法将跟踪不准确的局外点完全剔除,从而降低了传感器数据处理的可靠性,可能对估算精度产生影响。
发明内容
本申请实施例提供了一种传感器数据的处理方法、装置、设备及存储介质,可用于解决相关技术中的问题。所述技术方案如下:
一方面,本申请实施例提供了一种传感器数据的处理方法,所述方法包括:
获取待处理的目标图像中的多个第一特征点,所述目标图像为传感器获取的任意一帧图像;
基于所述多个第一特征点、所述目标图像的前一帧图像内与所述多个第一特征点对应的多个第二特征点以及所述目标图像与所述前一帧图像之间的IMU(InertialMeasurement Unit,惯性测量单元)确定第一单应矩阵,所述第一单应矩阵用于描述所述多个第一特征点与所述多个第二特征点之间的对应关系;
基于所述第一单应矩阵确定至少一个第一内点,基于所述第一内点确定剔除局外点的结果,所述第一内点为所述目标图像内满足所述第一单应矩阵描述的对应关系的特征点。
在一种可能的实现方式中,所述基于所述第一单应矩阵确定至少一个第一内点,包括:
基于所述第一单应矩阵确定所述前一帧图像内除所述多个第二特征点之外的全部特征点在所述目标图像内所对应的多个第三特征点的坐标计算值;
基于所述多个第三特征点的坐标计算值以及所述多个第三特征点的坐标真实值确定至少一个第一内点。
在一种可能的实现方式中,所述基于所述多个第三特征点的坐标计算值以及所述多个第三特征点的坐标真实值确定至少一个第一内点,包括:
基于所述多个第三特征点的坐标计算值以及所述多个第三特征点的坐标真实值确定多个第二距离;
响应于任一第二距离小于第二阈值,确定所述任一第二距离对应的第三特征点与所述多个第一特征点为所述第一内点。
在一种可能的实现方式中,所述基于所述第一内点确定剔除局外点的结果,包括:
响应于不满足结束条件,从所述目标图像重新获取多个第三特征点,基于第三特征点确定至少一个第二内点,基于所述第一内点和所述第二内点迭代确定剔除局外点的结果。
在一种可能的实现方式中,所述基于所述第一内点和所述第二内点迭代确定剔除局外点的结果,包括:
响应于满足结束条件且第二内点的个数大于所述第一内点的个数,将所述第二内点作为所述剔除局外点的结果;
或者,响应于满足结束条件且所述第二内点的个数小于所述第一内点的个数,将所述第一内点作为所述剔除局外点的结果。
在一种可能的实现方式中,所述多个第一特征点中的任意两个第一特征点之间的第一距离大于第一阈值。
在一种可能的实现方式中,所述目标图像与所述前一帧图像之间的IMU用于确定所述目标图像与所述前一帧图像之间的旋转矩阵,所述旋转矩阵用于确定所述第一单应矩阵。
在一种可能的实现方式中,所述获取待处理的目标图像中的多个第一特征点,包括:获取所述待处理的目标图像的中心区域中的多个第一特征点。
另一方面,提供了一种传感器数据的处理装置,所述装置包括:
获取模块,用于获取待处理的目标图像中的多个第一特征点,所述目标图像为传感器获取的任意一帧图像;
第一确定模块,用于基于所述多个第一特征点、所述目标图像的前一帧图像内与所述多个第一特征点对应的多个第二特征点以及所述目标图像与所述前一帧图像之间的IMU确定第一单应矩阵,所述第一单应矩阵用于描述所述多个第一特征点与所述多个第二特征点之间的对应关系;
第二确定模块,用于基于所述第一单应矩阵确定至少一个第一内点,基于所述第一内点确定剔除局外点的结果,所述第一内点为所述目标图像内满足所述第一单应矩阵描述的对应关系的特征点。
在一种可能的实施方式中,第二确定模块,用于基于所述第一单应矩阵确定所述前一帧图像内除所述多个第二特征点之外的全部特征点在所述目标图像内所对应的多个第三特征点的坐标计算值;基于所述多个第三特征点的坐标计算值以及所述多个第三特征点的坐标真实值确定至少一个第一内点。
在一种可能的实施方式中,第二确定模块,用于基于所述多个第三特征点的坐标计算值以及所述多个第三特征点的坐标真实值确定多个第二距离;响应于任一第二距离小于第二阈值,确定所述任一第二距离对应的第三特征点与所述多个第一特征点为所述第一内点。
在一种可能的实施方式中,第二确定模块,用于响应于不满足结束条件,从所述目标图像重新获取多个第三特征点,基于第三特征点确定至少一个第二内点,基于所述第一内点和所述第二内点迭代确定剔除局外点的结果。
在一种可能的实施方式中,第二确定模块,用于响应于满足结束条件且第二内点的个数大于所述第一内点的个数,将所述第二内点作为所述剔除局外点的结果;或者,响应于满足结束条件且所述第二内点的个数小于所述第一内点的个数,将所述第一内点作为所述剔除局外点的结果。
在一种可能的实施方式中,所述多个第一特征点中的任意两个第一特征点之间的第一距离大于第一阈值。
在一种可能的实施方式中,所述目标图像与所述前一帧图像之间的IMU用于确定所述目标图像与所述前一帧图像之间的旋转矩阵,所述旋转矩阵用于确定所述第一单应矩阵。
在一种可能的实施方式中,获取模块,用于获取所述待处理的目标图像的中心区域中的多个第一特征点。
另一方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以使所述计算机设备实现上述任一所述的传感器数据的处理方法。
另一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以使计算机实现上述任一所述的传感器数据的处理方法。
另一方面,还提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机指令,所述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,处理器执行所述计算机指令,使得所述计算机设备执行上述任一所述的传感器数据的处理方法。
本申请实施例提供的技术方案至少带来如下有益效果:
本申请实施例由于考虑了IMU的数据,可以使第一单应矩阵描述的对应关系更加准确,使剔除局外点的可靠性更高,使传感器数据处理的可靠性更高,从而提高了估算精度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种实施环境的示意图;
图2是本申请实施例提供的一种传感器数据的处理方法的流程图;
图3是本申请实施例提供的另一种传感器数据的处理方法的流程图;
图4是本申请实施例提供的一种传感器数据的处理装置的示意图;
图5是本申请实施例提供的一种计算机设备的结构示意图;
图6是本申请实施例提供的另一种计算机设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
需要说明的是,本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请实施例提供了一种传感器数据的处理方法,请参考图1,其示出了本申请实施例提供的方法实施环境的示意图。该实施环境可以包括:终端11和服务器12。
其中,终端11可应用本申请实施例提供的方法进行传感器数据的处理,得到剔除局外点的结果,将剔除局外点的结果发送至服务器12。服务器12可以剔除局外点的结果进行存储并进行后续的其他操作。或者,终端11可应用本申请实施例提供的方法进行传感器数据的处理,得到剔除局外点的结果,将剔除局外点的结果进行存储并进行后续的其他操作。或者,服务器12可应用本申请实施例提供的方法进行传感器数据的处理,得到剔除局外点的结果,将剔除局外点的结果发送至终端11。终端11可以剔除局外点的结果进行存储并进行后续的其他操作。或者,服务器12可应用本申请实施例提供的方法进行传感器数据的处理,得到剔除局外点的结果,将剔除局外点的结果进行存储并进行后续的其他操作。
可选地,终端11可以是任何一种可与用户通过键盘、触摸板、触摸屏、遥控器、语音交互或手写设备等一种或多种方式进行人机交互的电子产品,例如PC(PersonalComputer,个人计算机)、手机、智能手机、PDA(Personal Digital Assistant,个人数字助手)、可穿戴设备、PPC(Pocket PC,掌上电脑)、平板电脑、智能车机、智能电视、智能音箱等。服务器12可以是一台服务器,也可以是由多台服务器组成的服务器集群,或者是一个云计算服务中心。终端11与服务器12通过有线或无线网络建立通信连接。
本领域技术人员应能理解上述终端11和服务器12仅为举例,其他现有的或今后可能出现的终端或服务器如可适用于本申请,也应包含在本申请保护范围以内,并在此以引用方式包含于此。
基于上述图1所示的实施环境,本申请实施例提供一种传感器数据的处理方法,以该方法应用于终端为例。如图2所示,本申请实施例提供的方法可以包括如下步骤201至步骤203。
在步骤201中,获取待处理的目标图像中的多个第一特征点,目标图像为传感器获取的任意一帧图像。
本申请实施例不对目标图像进行限定,例如在无人机飞行场景中,无人机上可以搭载传感器,此时目标图像可以是该传感器在该无人机飞行过程中获取的视频中除第一帧图像之外的任意一帧图像。本申请实施例也不对第一特征点进行限定,例如,可以使用SIFT(Scale Invariant Feature Transform,尺度不变特征变换)算法对目标图像进行检测得到多个第一特征点。该传感器可以为视觉传感器,本申请实施例不对该传感器的型号进行限定,该型号可以基于经验与应用场景进行限定。
可选地,获取待处理的目标图像中的多个第一特征点,包括:获取待处理的目标图像的中心区域中的多个第一特征点。
本申请实施例不对目标图像的中心区域进行限定,该中心区域包含高度检测设备发射的激光或波等投射到的区域即可,例如,目标图像的中心区域可以为目标图像的图像中心300×300像素范围内的区域。可选地,多个第一特征点中的任意两个第一特征点之间的第一距离大于第一阈值。在一种可能的实施方式中,从目标图像的中心区域中随机选择两个第一特征点时,计算两个第一特征点之间的第一距离。若该第一距离大于第一阈值,则获取上述两个第一特征点,若该第一距离不大于第一阈值,则在目标图像的中心区域中再次随机选择两个第一特征点。之后,再次计算第二次随机选出的两个第一特征点的第一距离,直至第一距离大于第一阈值,获取该第一距离对应的两个第一特征点。若从目标图像的中心区域中随机选择的任意两个第一特征点均无法满足上述条件时,则可以扩大该中心区域的范围至全图去获取两个满足上述条件的第一特征点。
在目标图像中,某些第一特征点可能不处于一个高度检测设备计算高度所用的平面上,基于这些第一特征点最终得到的剔除局外点的结果则可能对估算精度产生影响,该高度检测设备例如可以为高度传感器。在本申请实施例中,从目标图像的中心区域中获取多个第一特征点,可以使获取的多个第一特征点处于同一个高度检测设备计算高度所用的平面上,使剔除局外点的可靠性更高,使传感器数据处理的可靠性更高,从而提高了估算精度。
在步骤202中,基于多个第一特征点、目标图像的前一帧图像内与多个第一特征点对应的多个第二特征点以及目标图像与前一帧图像之间的IMU确定第一单应矩阵,第一单应矩阵用于描述多个第一特征点与多个第二特征点之间的对应关系。
示例性地,前一帧图像可以是该目标图像之前的任意一帧图像,第一特征点与第二特征点一一对应。在一种可能的实施方式中,检测前一帧图像得到第二特征点的方法可以与上述得到第一特征点的方法相同。
在一种可能的实施方式中,可以基于目标图像两个第一特征点a点、p点,两个第二特征点b点、q点,以及目标图像与前一帧图像之间的IMU确定第一单应矩阵,其中,b点与a点对应,q点与p点对应。本申请实施例不对确定第一单应矩阵的方式进行限定,例如,确定第一单应矩阵H的公式可以为:
在该公式中,R(例如R为一个3×3的矩阵)可以为目标图像与前一帧图像之间的旋转矩阵。d(例如d为一个正数)可以为原点到第一特征点所在平面的距离,本申请实施例不对该原点的位置进行限定,该原点的位置可以基于经验或应用场景进行设定。N(例如N为一个模长为1的三维向量)可以为目标图像与前一帧图像所在平面的法向量,NT为N的转置矩阵。t(例如t可以为一个正实数)可以为目标图像与前一帧图像分别对应的两个位姿的平移大小。本申请实施例不对计算第一单应矩阵H的方式进行限定,例如可以先分别计算R、d与N,将R、d与N代入第一单应矩阵H的公式,然后通过q≈Hp、a≈Hb来求解t,最后将R、d、N、t代入第一单应矩阵H的公式得到第一单应矩阵H。
可选地,目标图像与前一帧图像之间的IMU用于确定目标图像与前一帧图像之间的旋转矩阵,旋转矩阵用于确定第一单应矩阵。示例性地,目标图像与前一帧图像之间可以包括多个IMU,每个IMU的测量中可以包括加速度计测量与角速度计测量,可以使用IMU的测量中的角速度计测量的数据w(例如w为一个3×1的向量,单位可以为rad/s)来确定R。
示例性地,目标图像与前一帧图像之间包括三个IMU,前一帧图像的时间为t0,三个IMU的测量的时间分别为t1、t2与t3,目标图像的时间为t4,t1、t2与t3三个时间的角速度计测量数据分别为w1、w2与w3。在确定R之前可以先确定旋转向量j,j可以为一个3×1的向量(α,β,γ),其中α为绕x轴的角度,β为绕y轴的角度,γ为绕z轴的角度,目标图像与前一帧图像之间的旋转向量j可以通过角速度计测量的数据积分得到:j=w1×(t1-t0)+w2×(t2-t1)+w3×(t4-t2)。之后,可以通过j来计算旋转矩阵R,当按照外旋的方式得到旋转矩阵时:
其中,
在一种可能的实施方式中,d被尺度因子忽略,因此计算时可以不考虑d,即
在一种可能的实施方式中,N可以为一个模长为1的三维向量(N0,N1,N2)。本申请实施例不对计算N的方式进行限定,例如可以通过AHRS(Automatic Heading ReferenceSystem,自动航向基准系统)姿态解算的算法计算得到N。
在一种可能的实施方式中,t可以根据p≈Hq、a≈Hb来求解。当a点坐标为(ax,ay,az),p点坐标为(px,py,pz),b点坐标为(bx,by,bz),q点坐标为(qx,qy,qz)时,可以将a点、b点代入a≈Hb得到:
将p点、q点代入p≈Hq得到:
将等式1与等式2联立,然后可以通过SVD(Singular Value Decomposition,奇异值分解)的算法计算得到t,最后将计算得到的R、d、N与t一并代入第一单应矩阵H的公式,就可以得到第一单应矩阵H。
在本申请实施例中,基于多个第一特征点、多个第二特征点以及目标图像与前一帧图像之间的IMU确定第一单应矩阵,由于考虑了IMU的数据,使第一单应矩阵描述的对应关系更加准确,使剔除局外点的可靠性更高,使传感器数据处理的可靠性更高,从而提高了估算精度。
在步骤203中,基于第一单应矩阵确定至少一个第一内点,基于第一内点确定剔除局外点的结果,第一内点为目标图像内满足第一单应矩阵描述的对应关系的特征点。
可选地,基于第一单应矩阵确定至少一个第一内点,包括:基于第一单应矩阵确定前一帧图像内除多个第二特征点之外的全部特征点在目标图像内所对应的多个第三特征点的坐标计算值;基于多个第三特征点的坐标计算值以及多个第三特征点的坐标真实值确定至少一个第一内点。
示例性地,可以将前一帧图像内除多个第二特征点之外的全部特征点逐个代入公式s’≈Hs,计算出该全部特征点在目标图像内所对应的多个第三特征点的坐标计算值,其中,s为前一帧图像内除多个第二特征点之外的任一特征点,s’为前一帧图像内除多个第二特征点之外的任一特征点在目标图像内所对应的第三特征点的坐标计算值。在得到所有的s’后,可以将每个s’与该第三特征点对应的坐标真实值进行对比,确定至少一个第一内点。
本申请实施例不对确定至少一个第一内点的方法进行限定,例如,基于多个第三特征点的坐标计算值以及多个第三特征点的坐标真实值确定至少一个第一内点,包括:基于多个第三特征点的坐标计算值以及多个第三特征点的坐标真实值确定多个第二距离;响应于任一第二距离小于第二阈值,确定任一第二距离对应的第三特征点与多个第一特征点为第一内点。
示例性地,可以基于多个第三特征点的坐标计算值以及多个第三特征点的坐标真实值分别计算d’=|s’|-m,其中,d’为第二距离,|s’|为上述多个第三特征点中任意一个第三特征点的坐标计算值对应的模长,m为该第三特征点的坐标真实值对应的模长。然后将每个d’分别与第二阈值进行比较,任一d’小于第二阈值,则该d’对应的第三特征点为一个第一内点。第一内点包括满足对应的d’小于第二阈值的至少一个第三特征点以及多个第一特征点,本申请实施例不限定第二阈值的大小,例如,第二阈值为任一正实数。
可选地,基于第一内点确定剔除局外点的结果,包括:响应于不满足结束条件,从目标图像重新获取多个第三特征点,基于第三特征点确定至少一个第二内点,基于第一内点和第二内点迭代确定剔除局外点的结果。
示例性地,结束条件可以为当前迭代次数达到第三阈值。本申请实施例不对确定第三阈值的方法进行限定,例如,可以通过该公式推导得出第三阈值:
其中,k(例如k为一个大于零的整数)为第三阈值,即最大迭代次数,g(例如g为一个0至1之间的小数)为通过k次迭代得到内点个数大于阈值的剔除局外点的结果的概率,本申请实施例不对该阈值进行限定。c(例如c为一个0至1之间的小数)为每次从目标图像内选取的一个特征点为内点的概率。n(例如n为一个大于零的整数)为每次从目标图像内选取特征点的个数,例如从目标图像内获取了两个第一特征点a点、p点,此时n=2。
示例性地,响应于不满足结束条件,从目标图像重新获取多个第三特征点的方法可以与上述获取多个第一特征点的方法相同,基于第三特征点确定至少一个第二内点的方法可以与上述确定至少一个第一内点的方法相同。
可选地,基于第一内点和第二内点迭代确定剔除局外点的结果,包括:响应于满足结束条件且第二内点的个数大于第一内点的个数,将第二内点作为剔除局外点的结果;或者,响应于满足结束条件且第二内点的个数小于第一内点的个数,将第一内点作为剔除局外点的结果。
示例性地,当确定了第二内点之后,可以对第一内点的个数与第二内点的个数进行比较,若第二内点的个数大于第一内点的个数,则丢弃第一内点,保留第二内点。若此时满足结束条件则可以将第二内点作为剔除局外点的结果,若此时不满足结束条件,则可以继续确定第三内点,直至满足结束条件,可以将此时内点个数最大的一批内点作为剔除局外点的结果。
在示例性实施例中,多个第一特征点均从目标图像的中心区域中获取,可以使获取的多个第一特征点处于同一个高度检测设备计算高度所用的平面上。因此,本申请实施例只保留了处于高度检测设备计算高度所用的平面上的点,可以提高估算效率。
本申请实施例提供的传感器数据的处理方法由于考虑了IMU的数据,可以使第一单应矩阵描述的对应关系更加准确,使剔除局外点的可靠性更高,使传感器数据处理的可靠性更高,从而提高了估算精度。
参见图3,本申请实施例提供了一种传感器数据的处理方法,该方法包括:
步骤301,随机获取目标图象中心区域的两个特征点。该步骤的实现方式可参见上述步骤201,此处不再赘述。
步骤302,判断第一距离是否大于第一阈值。该步骤的实现方式可参见上述步骤201,此处不再赘述。
步骤303,若第一距离不大于第一阈值,则在目标图象的全图范围内随机寻找两个特征点。该步骤的实现方式可参见上述步骤201,此处不再赘述。
步骤304,若第一距离大于第一阈值,基于获取的两个特征点确定单应矩阵H。该步骤的实现方式可参见上述步骤202,此处不再赘述。
步骤305,分别确定其他特征点是否为内点,并确定该批次内点的个数。该步骤的实现方式可参见上述步骤203,此处不再赘述。
步骤306,判断该批次内点的个数是否超过之前最多的内点个数。该步骤的实现方式可参见上述步骤203,此处不再赘述。
步骤307,若该批次内点的个数是超过之前最多的内点个数,则保留该批次内点。
步骤308,若该批次内点的个数未超过之前最多的内点个数,判断是否满足结束条件。该步骤的实现方式可参见上述步骤203,此处不再赘述。
步骤309,若满足结束条件,结束。
若不满足结束条件,返回执行步骤301。
参见图4,本申请实施例提供了一种传感器数据的处理装置,该装置包括:
获取模块401,用于获取待处理的目标图像中的多个第一特征点,目标图像为传感器获取的任意一帧图像;
第一确定模块402,用于基于多个第一特征点、目标图像的前一帧图像内与多个第一特征点对应的多个第二特征点以及目标图像与前一帧图像之间的惯性测量单元IMU确定第一单应矩阵,第一单应矩阵用于描述多个第一特征点与多个第二特征点之间的对应关系;
第二确定模块403,用于基于第一单应矩阵确定至少一个第一内点,基于第一内点确定剔除局外点的结果,第一内点为目标图像内满足第一单应矩阵描述的对应关系的特征点。
在一种可能的实施方式中,第二确定模块403,用于基于第一单应矩阵确定前一帧图像内除多个第二特征点之外的全部特征点在目标图像内所对应的多个第三特征点的坐标计算值;基于多个第三特征点的坐标计算值以及多个第三特征点的坐标真实值确定至少一个第一内点。
在一种可能的实施方式中,第二确定模块403,用于基于多个第三特征点的坐标计算值以及多个第三特征点的坐标真实值确定多个第二距离;响应于任一第二距离小于第二阈值,确定任一第二距离对应的第三特征点与多个第一特征点为第一内点。
在一种可能的实施方式中,第二确定模块403,用于响应于不满足结束条件,从目标图像重新获取多个第三特征点,基于第三特征点确定至少一个第二内点,基于第一内点和第二内点迭代确定剔除局外点的结果。
在一种可能的实施方式中,第二确定模块403,用于响应于满足结束条件且第二内点的个数大于第一内点的个数,将第二内点作为剔除局外点的结果;或者,响应于满足结束条件且第二内点的个数小于第一内点的个数,将第一内点作为剔除局外点的结果。
在一种可能的实施方式中,多个第一特征点中的任意两个第一特征点之间的第一距离大于第一阈值。
在一种可能的实施方式中,目标图像与前一帧图像之间的IMU用于确定目标图像与前一帧图像之间的旋转矩阵,旋转矩阵用于确定第一单应矩阵。
在一种可能的实施方式中,获取模块401,用于获取待处理的目标图像中的多个第一特征点,包括:获取待处理的目标图像的中心区域中的多个第一特征点。
本申请实施例由于考虑了IMU的数据,可以使第一单应矩阵描述的对应关系更加准确,使剔除局外点的可靠性更高,使传感器数据处理的可靠性更高,从而提高了估算精度。
需要说明的是,上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置与方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图5是本申请实施例提供的一种计算机设备的结构示意图,该计算机设备可以为服务器,该服务器可因配置或性能不同而产生比较大的差异,可以包括一个或多个处理器501和一个或多个存储器502,处理器501例如为CPU(Central Processing Units,中央处理器)。其中,该一个或多个存储器502中存储有至少一条计算机程序,该至少一条计算机程序由该一个或多个处理器501加载并执行,以使该服务器实现上述各个方法实施例提供的传感器数据的处理方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
图6是本申请实施例提供的一种计算机设备结构示意图。该设备可以为终端,例如可以是:智能手机、平板电脑、MP3(Moving Picture Experts Group Audio Layer III,动态影像专家压缩标准音频层面3)播放器、MP4(Moving Picture Experts Group AudioLayer IV,动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常,终端包括有:处理器601和存储器602。
处理器601可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器601可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(Field-Programmable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器601也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU;协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器601可以集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器601还可以包括AI(Artificial Intelligence,人工智能)处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器602可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器602还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器602中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器601所执行,以使该终端实现本申请中方法实施例提供的传感器数据的处理方法。
在一些实施例中,终端还可选包括有:外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地,外围设备包括:射频电路604、显示屏605、摄像头组件606、音频电路607、定位组件608和电源609中的至少一种。
外围设备接口603可被用于将I/O(Input/Output,输入/输出)相关的至少一个外围设备连接到处理器601和存储器602。在一些实施例中,处理器601、存储器602和外围设备接口603被集成在同一芯片或电路板上;在一些其他实施例中,处理器601、存储器602和外围设备接口603中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
射频电路604用于接收和发射RF(Radio Frequency,射频)信号,也称电磁信号。射频电路604通过电磁信号与通信网络以及其他通信设备进行通信。射频电路604将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路604包括:天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路604可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity,无线保真)网络。在一些实施例中,射频电路604还可以包括NFC(Near Field Communication,近距离无线通信)有关的电路,本申请对此不加以限定。
显示屏605用于显示UI(User Interface,用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏605是触摸显示屏时,显示屏605还具有采集在显示屏605的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器601进行处理。此时,显示屏605还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏605可以为一个,设置在终端的前面板;在另一些实施例中,显示屏605可以为至少两个,分别设置在终端的不同表面或呈折叠设计;在另一些实施例中,显示屏605可以是柔性显示屏,设置在终端的弯曲表面上或折叠面上。甚至,显示屏605还可以设置成非矩形的不规则图形,也即异形屏。显示屏605可以采用LCD(LiquidCrystal Display,液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件606用于采集图像或视频。可选地,摄像头组件606包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件606还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
音频电路607可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器601进行处理,或者输入至射频电路604以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器601或射频电路604的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路607还可以包括耳机插孔。
定位组件608用于定位终端的当前地理位置,以实现导航或LBS(Location BasedService,基于位置的服务)。定位组件608可以是基于美国的GPS(Global PositioningSystem,全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源609用于为终端中的各个组件进行供电。电源609可以是交流电、直流电、一次性电池或可充电电池。当电源609包括可充电电池时,该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中,终端还包括有一个或多个传感器610。该一个或多个传感器610包括但不限于:加速度传感器611、陀螺仪传感器612、压力传感器613、指纹传感器614、光学传感器615以及接近传感器616。
加速度传感器611可以检测以终端建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器611可以用于检测重力加速度在三个坐标轴上的分量。处理器601可以根据加速度传感器611采集的重力加速度信号,控制显示屏605以横向视图或纵向视图进行用户界面的显示。加速度传感器611还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器612可以检测终端的机体方向及转动角度,陀螺仪传感器612可以与加速度传感器611协同采集用户对终端的3D动作。处理器601根据陀螺仪传感器612采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器613可以设置在终端的侧边框和/或显示屏605的下层。当压力传感器613设置在终端的侧边框时,可以检测用户对终端的握持信号,由处理器601根据压力传感器613采集的握持信号进行左右手识别或快捷操作。当压力传感器613设置在显示屏605的下层时,由处理器601根据用户对显示屏605的压力操作,实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器614用于采集用户的指纹,由处理器601根据指纹传感器614采集到的指纹识别用户的身份,或者,由指纹传感器614根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器601授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器614可以被设置在终端的正面、背面或侧面。当终端上设置有物理按键或厂商Logo(商标)时,指纹传感器614可以与物理按键或厂商Logo集成在一起。
光学传感器615用于采集环境光强度。在一个实施例中,处理器601可以根据光学传感器615采集的环境光强度,控制显示屏605的显示亮度。具体地,当环境光强度较高时,调高显示屏605的显示亮度;当环境光强度较低时,调低显示屏605的显示亮度。在另一个实施例中,处理器601还可以根据光学传感器615采集的环境光强度,动态调整摄像头组件606的拍摄参数。
接近传感器616,也称距离传感器,通常设置在终端的前面板。接近传感器616用于采集用户与终端的正面之间的距离。在一个实施例中,当接近传感器616检测到用户与终端的正面之间的距离逐渐变小时,由处理器601控制显示屏605从亮屏状态切换为息屏状态;当接近传感器616检测到用户与终端的正面之间的距离逐渐变大时,由处理器601控制显示屏605从息屏状态切换为亮屏状态。
本领域技术人员可以理解,图6中示出的结构并不构成对终端的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机设备,该计算机设备包括处理器,和存储器,该存储器中存储有至少一条计算机程序。该至少一条计算机程序由一个或者一个以上处理器加载并执行,以使该计算机设备实现上述任一种传感器数据的处理方法。
在示例性实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由计算机设备的处理器加载并执行,以使计算机实现上述任一种传感器数据的处理方法。
在一种可能实现方式中,上述计算机可读存储介质可以是只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、只读光盘(Compact DiscRead-Only Memory,CD-ROM)、磁带、软盘和光数据存储设备等。
在示例性实施例中,还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一种传感器数据的处理方法。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (12)

1.一种传感器数据的处理方法,其特征在于,所述方法包括:
获取待处理的目标图像中的多个第一特征点,所述目标图像为传感器获取的任意一帧图像;
基于所述多个第一特征点、所述目标图像的前一帧图像内与所述多个第一特征点对应的多个第二特征点以及所述目标图像与所述前一帧图像之间的惯性测量单元IMU确定第一单应矩阵,所述第一单应矩阵用于描述所述多个第一特征点与所述多个第二特征点之间的对应关系;
基于所述第一单应矩阵确定至少一个第一内点,基于所述第一内点确定剔除局外点的结果,所述第一内点为所述目标图像内满足所述第一单应矩阵描述的对应关系的特征点。
2.根据权利要求1所述的方法,其特征在于,所述基于所述第一单应矩阵确定至少一个第一内点,包括:
基于所述第一单应矩阵确定所述前一帧图像内除所述多个第二特征点之外的全部特征点在所述目标图像内所对应的多个第三特征点的坐标计算值;
基于所述多个第三特征点的坐标计算值以及所述多个第三特征点的坐标真实值确定至少一个第一内点。
3.根据权利要求2所述的方法,其特征在于,所述基于所述多个第三特征点的坐标计算值以及所述多个第三特征点的坐标真实值确定至少一个第一内点,包括:
基于所述多个第三特征点的坐标计算值以及所述多个第三特征点的坐标真实值确定多个第二距离;
响应于任一第二距离小于第二阈值,确定所述任一第二距离对应的第三特征点与所述多个第一特征点为所述第一内点。
4.根据权利要求1-3任一所述的方法,其特征在于,所述基于所述第一内点确定剔除局外点的结果,包括:
响应于不满足结束条件,从所述目标图像重新获取多个第三特征点,基于第三特征点确定至少一个第二内点,基于所述第一内点和所述第二内点迭代确定剔除局外点的结果。
5.根据权利要求4所述的方法,其特征在于,所述基于所述第一内点和所述第二内点迭代确定剔除局外点的结果,包括:
响应于满足结束条件且所述第二内点的个数大于所述第一内点的个数,将所述第二内点作为所述剔除局外点的结果;
或者,响应于满足结束条件且所述第二内点的个数小于所述第一内点的个数,将所述第一内点作为所述剔除局外点的结果。
6.根据权利要求1-3或5任一所述的方法,其特征在于,所述多个第一特征点中的任意两个第一特征点之间的第一距离大于第一阈值。
7.根据权利要求1-3或5任一所述的方法,其特征在于,所述目标图像与所述前一帧图像之间的IMU用于确定所述目标图像与所述前一帧图像之间的旋转矩阵,所述旋转矩阵用于确定所述第一单应矩阵。
8.根据权利要求1-3或5任一所述的方法,其特征在于,所述获取待处理的目标图像中的多个第一特征点,包括:
获取所述待处理的目标图像的中心区域中的多个第一特征点。
9.一种传感器数据处理的装置,其特征在于,所述装置包括:
获取模块,用于获取待处理的目标图像中的多个第一特征点,所述目标图像为传感器获取的任意一帧图像;
第一确定模块,用于基于所述多个第一特征点、所述目标图像的前一帧图像内与所述多个第一特征点对应的多个第二特征点以及所述目标图像与所述前一帧图像之间的惯性测量单元IMU确定第一单应矩阵,所述第一单应矩阵用于描述所述多个第一特征点与所述多个第二特征点之间的对应关系;
第二确定模块,用于基于所述第一单应矩阵确定至少一个第一内点,基于所述第一内点确定剔除局外点的结果,所述第一内点为所述目标图像内满足所述第一单应矩阵描述的对应关系的特征点。
10.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以使所述计算机设备实现如权利要求1至8任一所述的传感器数据的处理方法。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以使计算机实现如权利要求1至8任一所述的传感器数据的处理方法。
12.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机指令,所述计算机指令存储在计算机可读存储介质中,计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令,所述处理器执行所述计算机指令,使得所述计算机设备执行如权利要求1至8任一所述的传感器数据的处理方法。
CN202210055511.8A 2022-01-18 2022-01-18 传感器数据的处理方法、装置、设备及存储介质 Pending CN116502382A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210055511.8A CN116502382A (zh) 2022-01-18 2022-01-18 传感器数据的处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210055511.8A CN116502382A (zh) 2022-01-18 2022-01-18 传感器数据的处理方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN116502382A true CN116502382A (zh) 2023-07-28

Family

ID=87321813

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210055511.8A Pending CN116502382A (zh) 2022-01-18 2022-01-18 传感器数据的处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN116502382A (zh)

Similar Documents

Publication Publication Date Title
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
CN110992493B (zh) 图像处理方法、装置、电子设备及存储介质
US11978219B2 (en) Method and device for determining motion information of image feature point, and task performing method and device
CN111768454B (zh) 位姿确定方法、装置、设备及存储介质
CN110986930B (zh) 设备定位方法、装置、电子设备及存储介质
CN110148178B (zh) 相机定位方法、装置、终端及存储介质
CN108682036A (zh) 位姿确定方法、装置及存储介质
CN111127509B (zh) 目标跟踪方法、装置和计算机可读存储介质
CN109558837B (zh) 人脸关键点检测方法、装置及存储介质
CN112581358B (zh) 图像处理模型的训练方法、图像处理方法及装置
CN111754386B (zh) 图像区域屏蔽方法、装置、设备及存储介质
CN111897429A (zh) 图像显示方法、装置、计算机设备及存储介质
CN110705614A (zh) 模型训练方法、装置、电子设备及存储介质
CN111179628B (zh) 自动驾驶车辆的定位方法、装置、电子设备及存储介质
CN111127541A (zh) 车辆尺寸的确定方法、装置及存储介质
CN111369684B (zh) 目标跟踪方法、装置、设备及存储介质
CN113592874B (zh) 图像显示方法、装置和计算机设备
CN113033590B (zh) 图像特征匹配方法、装置、图像处理设备及存储介质
CN111757146B (zh) 视频拼接的方法、系统及存储介质
CN114093020A (zh) 动作捕捉方法、装置、电子设备及存储介质
CN111583339A (zh) 获取目标位置的方法、装置、电子设备及介质
CN116502382A (zh) 传感器数据的处理方法、装置、设备及存储介质
CN113409235B (zh) 一种灭点估计的方法及装置
CN113590877B (zh) 获取标注数据的方法及装置
CN115993133B (zh) 磁力计校准的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination