CN110148178B - 相机定位方法、装置、终端及存储介质 - Google Patents

相机定位方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN110148178B
CN110148178B CN201810630115.7A CN201810630115A CN110148178B CN 110148178 B CN110148178 B CN 110148178B CN 201810630115 A CN201810630115 A CN 201810630115A CN 110148178 B CN110148178 B CN 110148178B
Authority
CN
China
Prior art keywords
camera
feature point
position information
image
points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810630115.7A
Other languages
English (en)
Other versions
CN110148178A (zh
Inventor
陈超
吴伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201810630115.7A priority Critical patent/CN110148178B/zh
Priority to EP19822963.5A priority patent/EP3813014B1/en
Priority to JP2020552267A priority patent/JP7026819B2/ja
Priority to PCT/CN2019/085746 priority patent/WO2019242418A1/zh
Publication of CN110148178A publication Critical patent/CN110148178A/zh
Priority to US16/928,427 priority patent/US11210810B2/en
Application granted granted Critical
Publication of CN110148178B publication Critical patent/CN110148178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/18—Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration in two or more dimensions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
    • G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种相机定位方法、装置、终端及存储介质，属于计算机技术领域。该方法包括：获取目标环境的环境地图；根据相机在拍摄目标图像之前拍摄上一张图像时的位置信息，对相机拍摄目标图像时的位置进行预测，得到相机的预测位置信息；根据相机的预测位置信息、环境地图中每个特征点的位置信息和每个特征点的视角区域信息，将相机当前不可观测到的特征点过滤掉；将目标图像中的特征点与环境地图过滤后剩余的特征点进行匹配，得到特征点对应关系，根据特征点对应关系确定相机的位置信息。既减少了计算量，提高了计算速度，而且用于匹配的特征点符合相机的真实拍摄情况，降低了匹配错误的可能性，提高了定位准确率。

Description

相机定位方法、装置、终端及存储介质
技术领域
本发明实施例涉及计算机技术领域，特别涉及一种相机定位方法、装置、终端及存储介质。
背景技术
视觉SLAM(Simultaneous Localization and Mapping，同时定位与地图创建)技术是通过相机对目标环境进行观测，实现环境地图构建和相机定位的技术，目前已逐渐成为计算机视觉领域的热门研究方向。
视觉SLAM技术包括建图阶段和定位阶段。在建图阶段，相机先拍摄目标环境的多张图像，对每张图像进行特征提取得到每张图像的特征点，并将各个图像中的特征点进行匹配，根据相互匹配的特征点之间的位置变化，确定每张图像的位置信息以及每张图像中每个特征点的位置信息，从而构建环境地图，该环境地图包括每个特征点的位置信息。在之后的定位阶段，相机位于目标环境中的某一位置时，可以对目标环境进行拍摄，得到目标图像，对目标图像进行特征提取得到目标图像中的特征点，并将目标图像中的特征点与环境地图中的特征点进行匹配，根据匹配特征点的位置信息获取相机的位置信息，实现相机定位。
其中，在建图阶段为了构建出完整全面的环境地图，拍摄目标环境的多张图像时，针对目标环境中的每个位置可以从多个不同的角度进行拍摄，得到多视角的多张图像，从而构建出包含多视角特征点的环境地图。那么，在定位阶段会将目标图像中的特征点与环境地图中多视角的特征点均进行匹配，以获取相机的位置信息。
然而，相机实际上仅是从一个视角来拍摄目标环境，在其他视角下可以观测到而在当前视角下无法观测到的特征点对相机来说是无效的。因此，将目标图像中的特征点与环境地图中多视角的特征点均进行匹配的方式不符合相机的真实拍摄情况，产生了大量无效的计算量，而且加大了错误匹配的可能性。
发明内容
本发明实施例提供了一种相机定位方法、装置、终端及存储介质，可以解决相关技术中的缺陷。所述技术方案如下：
一方面，提供了一种相机定位方法，所述方法包括：
获取目标环境的环境地图，所述环境地图包括所述目标环境中多个特征点的位置信息和所述多个特征点的视角区域信息，所述特征点的视角区域信息用于表示所述目标环境中可观测到所述特征点的视角区域；
根据所述相机在拍摄目标图像之前拍摄上一张图像时的位置信息，对所述相机拍摄所述目标图像时的位置进行预测，得到所述相机的预测位置信息；
根据所述相机的预测位置信息、所述环境地图中每个特征点的位置信息和每个特征点的视角区域信息，将所述相机当前不可观测到的特征点过滤掉；
将所述目标图像中的特征点与所述环境地图过滤后剩余的特征点进行匹配，得到特征点对应关系，根据所述特征点对应关系确定所述相机的位置信息，所述特征点对应关系包括所述目标图像中的特征点与匹配的特征点之间的对应关系。
再一方面，提供了一种相机定位装置，所述装置包括：
地图获取模块，用于获取目标环境的环境地图，所述环境地图包括所述目标环境中多个特征点的位置信息和所述多个特征点的视角区域信息，所述特征点的视角区域信息用于表示所述目标环境中可观测到所述特征点的视角区域；
位置预测模块，用于根据所述相机在拍摄目标图像之前拍摄上一张图像时的位置信息，对所述相机拍摄所述目标图像时的位置进行预测，得到所述相机的预测位置信息；
过滤模块，用于根据所述相机的预测位置信息、所述环境地图中每个特征点的位置信息和每个特征点的视角区域信息，将所述相机当前不可观测到的特征点过滤掉；
定位模块，用于将所述目标图像中的特征点与所述环境地图过滤后剩余的特征点进行匹配，得到特征点对应关系，根据所述特征点对应关系确定所述相机的位置信息，所述特征点对应关系包括所述目标图像中的特征点与匹配的特征点之间的对应关系。
再一方面，提供了一种用于相机定位的终端，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现所述的相机定位方法中所执行的操作。
另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现所述的相机定位方法中所执行的操作。
本发明实施例提供的方法、装置、终端及存储介质，通过获取目标环境的环境地图，该环境地图中包括多个特征点的位置信息和多个特征点的视角区域信息，视角区域信息用于表示可观测到特征点的视角区域，先根据相机在拍摄目标图像之前拍摄上一张图像时的位置信息，对相机拍摄目标图像时的位置进行预测，得到相机的预测位置信息，根据相机的预测位置信息、环境地图中每个特征点的位置信息和每个特征点的视角区域信息，将相机当前不可观测到的特征点过滤掉，将目标图像中的特征点与环境地图过滤后剩余的特征点进行匹配，得到特征点对应关系，从而确定相机的位置信息，实现相机定位，既减少了计算量，提高了计算速度，而且用于匹配的特征点符合相机的真实拍摄情况，降低了匹配错误的可能性，提高了定位准确率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种特征点的示意图；
图2是本发明实施例提供的另一种特征点的示意图；
图3是本发明实施例提供的一种构建环境地图的方法流程图；
图4是本发明实施例提供的一种构建环境地图的操作流程图；
图5是本发明实施例提供的目标环境的俯视图；
图6是本发明实施例提供的目标环境的侧视图；
图7是本发明实施例提供的目标环境的俯视图；
图8是本发明实施例提供的目标环境的侧视图；
图9是本发明实施例提供的一种相机定位方法的流程图；
图10是本发明实施例提供的一种相机定位装置的结构示意图；
图11是本发明实施例提供的一种终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中提出了一种基于特征的地图构建和相机定位方法，在建图阶段，通过对图像之间的特征点进行匹配构建环境地图。在定位阶段，通过相机拍摄当前图像，将当前图像中的特征点与环境地图中的特征点进行匹配，实现相机定位。
由于在实际应用中，同一个物体或者同一个场景，从不同的视角观测会看到不同的画面，提取出不同的特征点。因此为了保证环境地图的可用性，针对同一个目标环境，往往需要构建包含多个视角的环境地图。例如构建一个走廊的环境地图时，需要相机从相反的两个方向各走一遍，即从两个不同的视角观测该走廊，从而保证构建的环境地图中可以包括从两个不同的视角观测到的走廊特征点。若只从一个方向观测了走廊，在后续进行相机定位时，当相机从另一个方向经过时，所观测到的特征点不同，依靠先前构建的环境地图进行相机定位将会十分困难，最终导致定位失败。
如图1所示，相机从左侧观测三角形物体时可以看到A区域，如特征点1、特征点2和特征点3，而相机从右侧观测该三角形物体时，可以看到B区域和C区域，如特征点3、特征点4、特征点5和特征点6。如果只根据左侧观测到的三角形物体来构建环境地图，会导致环境地图中仅包括特征点1、特征点2和特征点3，而不会包括特征点4、特征点5和特征点6，当相机位于三角形物体右侧时将无法实现定位。
虽然通过相机在不同的位置对目标环境进行拍摄，可以构建出多视角的环境地图，以保证环境地图的全面可用性，但同时也带来了一个问题：在进行相机定位时，相机实际上仅是从一个视角来拍摄目标环境，所拍摄位置处的很多特征点相机在当前视角下是拍摄不到的，这些特征点对相机来说是无效的。此时如果将相机拍摄的目标图像中的特征点与环境地图中的所有特征点进行匹配，会产生大量无效的计算量，而且还会增加错误匹配的概率。
如图2所示，当相机移动到三角形物体的右侧时，只能观测到特征点3、特征点4和特征点5，而由于特征点1、特征点2和特征点6也在相机附近，故这6个特征点都会参与匹配计算，增加了计算量。并且由于相机实际拍摄的目标图像中不包括特征点1、特征点2、特征点6，将目标图像与三角形物体附近的环境地图进行匹配时，匹配结果很可能为目标图像与三角形物体不匹配，进而导致相机定位出现错误。
为了解决相关技术中存在的问题，本发明实施例提供了一种相机定位方法，能够在建图阶段确定环境地图中每个特征点的位置信息和每个特征点的视角区域信息，以视角区域信息来表示可观测到特征点的区域，在定位阶段，先预测相机的大概位置，根据每个特征点的视角区域信息，将相机当前不可观测到的特征点过滤掉，再将相机拍摄的目标图像中的特征点与环境地图中剩余的特征点进行匹配，从而确定相机的位置，既减少了计算量，而且用于匹配的特征点符合相机的真实拍摄情况，降低了匹配错误的可能性，相当于提高了定位准确率。
本发明实施例可以应用于对配置有相机的终端进行定位的多种场景下。例如，在配送物品的场景下，用户通过客户端及服务器向配送机器人下发物品配送任务，该物品配送任务中包括物品的装载地点及送达地点。配送机器人接收到物品配送任务后，可以先采用本发明实施例提供的方法进行定位，再根据当前位置、物品的装载地点及送达地点进行路径规划：首先规划出从当前位置到装载地点的路线，再规划出装载地点到送达地点的路线，之后按照规划的路径进行移动，在移动过程中配送机器人还会进行实时定位，控制移动速度及移动方向，以保证按照规划路线行进，避免偏离路线。
又如，在虚拟现实游戏的场景下，可以构建环境地图，该环境地图中不仅包含真实场景的地图，还包含在真实场景的某些位置处添加的虚拟元素，如虚拟宠物、虚拟优惠券等。终端移动过程中可以采用本发明实施例提供的方法进行定位，确定终端当前所在的位置以及在终端附近设置的虚拟元素，在终端的显示界面上显示当前拍摄的真实场景图像和附近设置的虚拟元素，构成虚拟现实相结合的显示界面。
当然，本发明实施例还可以应用于其他场景下，在此不再赘述。
图3是本发明实施例提供的一种构建环境地图的方法流程图，图4是本发明实施例提供的一种构建环境地图的操作流程图，该构建环境地图的方法的执行主体为终端，对构建环境地图的过程进行说明。参见图3和图4，该方法包括：
301、终端获取相机拍摄目标环境得到的多张原始图像。
其中，该终端可以为手机、平板电脑、机器人、智能相机等，该终端配置有相机，可以通过相机对当前所处的环境进行拍摄。而该目标环境可以为公园、建筑物、存放物品的仓库等多种环境。当需要构建目标环境的环境地图时，终端可以在目标环境中进行移动，并通过相机拍摄目标环境得到多张原始图像。
该多张原始图像的数量可以根据对环境地图的精确度需求确定。且针对目标环境中的同一个位置，可以从多个不同的视角对该位置进行拍摄，得到多视角的原始图像。
302、终端根据多张原始图像确定标准图像，并确定相机拍摄标准图像时的位置信息。
终端可以确定标准图像以及相机拍摄标准图像时的位置信息，后续过程中终端将以标准图像为基准，根据其他原始图像与标准图像之间的位置差异来确定相机拍摄其他原始图像时的位置信息。
在一种可能实现方式中，该终端可以将相机拍摄的第一张原始图像确定为标准图像，并初始化相机拍摄标准图像时的位置信息，例如可以将终端拍摄标准图像时的位置作为原点位置，创建环境坐标系，即标准图像的位置信息为(0，0，0)。之后拍摄的每张原始图像均可根据与标准图像之间的位置差异来确定位置信息。并且，考虑到随着相机不断进行移动，拍摄到的原始图像与标准图像的相同之处越来越少，则可以重新选取一张原始图像作为更新后的标准图像，确定相机拍摄该更新后的标准图像时的位置信息，之后拍摄的每张原始图像均可根据与更新后的标准图像的位置差异来确定位置信息。
303、对于除标准图像以外的任一张原始图像，终端将原始图像中的特征点与标准图像中的特征点进行匹配，得到特征点对应关系，根据特征点对应关系及相机拍摄标准图像时的位置信息，获取相机拍摄原始图像时的位置信息。
终端获取到多张原始图像后，可以对每张原始图像进行特征提取，确定每张原始图像中的特征点在原始图像的位置信息，并确定每个特征点的描述子，利用描述子来对特征点进行描述。例如终端可以采用FAST(Features from Accelerated Segment Test，加速分割测试特征)、Harris(一种角点检测算法)、SURF(Speed Up Robust Feature，加速稳健特征)、BRISK(Binary Robust Invariant Scalable Keypoints，二进制鲁棒不变可扩展的关键点)、ORB(一种特征点检测算法)等算法提取特征点。
那么，将标准图像作为基准，对于除标准图像以外的任一张原始图像，均可将原始图像中的特征点与标准图像中的特征点进行匹配，根据原始图像中的每个特征点以及每个特征点在标准图像中匹配的特征点，建立特征点对应关系，即特征点对应关系包括原始图像中的特征点与在标准图像中匹配的特征点之间的对应关系，相当于生成了原始图像与标准图像之间两两匹配的特征点对。
其中，在进行特征点匹配时，可以根据距离度量准则，将原始图像中的每个特征点分别与标准图像中的每个特征点两两组合，计算每个组合中两个特征点的描述子之间的距离，则对于原始图像中的每个特征点，选取标准图像中与该特征点距离最近的特征点，作为该特征点的匹配特征点。或者，选取标准图像中与该特征点距离最近且距离小于预设距离的特征点，作为该特征点的匹配特征点，从而建立了原始图像中的特征点与标准图像中的匹配特征点之间的对应关系。
之后，根据该特征点对应关系以及每个特征点的位置信息，可以确定原始图像相对于标准图像的位置变化信息，则根据标准图像的位置信息及原始图像相对于标准图像的位置变化信息进行迭代计算，即可获取相机拍摄原始图像时的位置信息。
例如，将图像1确定为标准图像，位置信息为(x1，y1，z1)，之后可以根据与图像1的特征点对应关系确定图像2相对于图像1的位置变化信息为(Δx1，Δy1，Δz1)，图像3相对于图像1的位置变化信息为(Δx2，Δy2，Δz2)，则确定图像2的位置信息(x2，y2，z2)为(x1+Δx1，y1+Δy1，z1+Δz1)、图像3的位置信息(x3，y3，z3)为(x1+Δx2，y1+Δy2，z1+Δz2)。此时可以将图像3更新为第二个标准图像，之后根据与图像3的特征点对应关系确定图像4相对于图像3的位置变化信息为(Δx3，Δy3，Δz3)，则图像4的位置信息为(x3+Δx3，y3+Δy3，z3+Δz3)。
在一种可能实现方式中，可以以旋转平移矩阵的形式来表示相机拍摄任一图像时的位置信息，终端可以获取标准图像的旋转平移矩阵，根据该特征点对应关系以及每个特征点的位置信息，确定原始图像相对于标准图像的旋转平移矩阵，该旋转平移矩阵包括原始图像相对于标准图像的旋转参数和位移参数，则将标准图像的旋转平移矩阵以及原始图像相对于标准图像的旋转平移矩阵进行迭代计算，可以得到原始图像的旋转平移矩阵，该旋转平移矩阵中的位移参数即为相机拍摄原始图像时的位置信息。
在另一种可能实现方式中，终端获取到相机拍摄原始图像时的位置信息后，还可以去除原始图像中的噪声特征点，如原始图像中存在的动态物体的特征点或者无法匹配的特征点。
例如，相机在拍摄原始图像时，不仅会拍摄到目标环境，还可能会拍摄到目标环境中的动态物体。因此，为了准确构建目标环境的环境地图，终端可以对拍摄到的多张原始图像进行分析，获取任两个原始图像之间的位置变化信息，当某一特征点在该任两个原始图像中的实际位置变化信息与该任两个原始图像的位置变化信息不匹配时，表示在相机拍摄该任两个原始图像的过程中，特征点所在的物体在目标环境内发生了移动，因此可以确定该特征点为动态物体的特征点，而不是目标环境本身的特征点，此时将该特征点过滤掉。
或者，当某一特征点在一张原始图像中出现，而在其他原始图像中没有出现时，表示该特征点将无法进行匹配，仅根据一张原始图像上的特征点无法预测相机的位置变化，也无法实现相机定位，因此将该特征点过滤掉。
304、终端根据相机拍摄原始图像时的位置信息，获取原始图像中每个特征点的位置信息和每个特征点的视角区域信息。
对于原始图像中的任一指定特征点，获取该指定特征点的位置信息和视角区域信息的过程可以包括以下步骤3041-3042：
3041、根据相机拍摄原始图像时的位置信息及指定特征点在原始图像中的深度，获取指定特征点的位置信息。
其中，指定特征点在原始图像中的深度用于表示拍摄原始图像时相机与指定特征点之间的距离，可以表示该指定特征点与相机之间的相对位置关系，确定相机拍摄原始图像时的位置信息后，根据相机的位置信息和指定特征点在原始图像中的深度，可以获取指定特征点的位置信息。
3042、根据指定特征点的位置信息以及原始图像中其他点的位置信息，在指定特征点的预设范围内进行平面估计，确定经过指定特征点的至少一个平面。
考虑到在真实环境中，物体的一个或多个表面构成完整的物体，且各个表面所在的位置会影响到物体表面上每个特征点的可观测区域。因此，终端对该指定特征点进行可观测区域分析时，综合考虑指定特征点的位置信息以及原始图像中其他点的位置信息，在指定特征点的预设范围内进行平面估计，确定经过指定特征点的至少一个平面，此时可以认为该至少一个平面是特征点所在物体的至少一个表面，则根据至少一个平面的位置确定可观测到指定特征点的视角区域。
其中，该预设范围可以在原始图像中根据指定特征点所在的位置确定，例如该预设范围可以为以指定特征点为中心、以一定距离为半径的圆形范围，或者也可以为以指定特征点为顶点选取的多个扇形区域构成的范围等。
其中，在进行平面估计时，可以采用灰度图的边缘线分割算法或者深度图的边缘线分割算法等，预测出至少一个平面的平面参数。
在一种可能实现方式中，终端可以在指定特征点的预设范围内选取至少三个特征点，在原始图像上指定特征点位于至少三个特征点构成的多边形的内部，该至少三个特征点在环境地图中处于同一平面上但未处于同一直线上，并计算指定特征点与该至少三个特征点所在的平面之间的距离，判断该距离是否小于预设距离。如果指定特征点与该平面之间的距离小于预设距离，则确定指定特征点位于该至少三个特征点所在的平面上，也即是仅有一个平面经过指定特征点。
其中，在预设范围内选取特征点时，可以确定以指定特征点为顶点的至少三个扇形区域，从每个扇形区域中选取一个距离指定特征点最近的特征点，从而选取出至少三个特征点。
图5是本发明实施例提供的目标环境的俯视图，图6是本发明实施例提供的目标环境的侧视图，参见图5和图6，特征点1为要进行视角分析的特征点，在特征点1的附近选取特征点2、特征点3和特征点4三个特征点，这三个特征点没有位于同一个直线上，根据这三个特征点可以预测出一个平面上，特征点1与该平面之间的距离较小，因此可以确定特征点1也位于该平面上。
如果指定特征点与该平面之间的距离不小于预设距离，确定指定特征点没有位于该至少三个特征点所在的平面上，则在预设范围内进行边缘检测，得到以指定特征点为顶点的至少一条边缘线，并获取预设范围内的至少四个特征点，将指定特征点作为至少两个平面的相交点，将至少一条边缘线作为任两个平面的相交线，并将至少四个特征点作为至少两个平面上的点，得到该至少两个平面。
其中，该至少四个特征点可以包括之前选取的至少三个特征点，还可以包括另外选取的至少一个特征点，只需保证该至少四个特征点没有位于同一直线上，且该至少四个特征点均没有位于该至少一条边缘线上，这样根据该指定特征点、该至少四个特征点和该至少一条边缘线可以确定至少两个平面。
图7是本发明实施例提供的目标环境的俯视图，图8是本发明实施例提供的目标环境的侧视图，参见图7和图8，特征点2、特征点3和特征点4位于同一个平面上，特征点1与该平面之间的距离较大，因此可以确定特征点1没有位于该平面上，此时在特征点1附近又选取了特征点5，并进行边缘检测，得到经过特征点1的一条边缘线，则根据5个特征点的位置以及检测得到的边缘线，可以确定两个平面，其中特征点1、特征点2和特征点3位于一个平面上，特征点1、特征点4和特征点5位于另一个平面上。
在另一种可能实现方式中，如果终端配置的相机为深度相机，该深度相机在拍摄图像时即可获取到图像中每个点的深度，则针对指定特征点来说，获取指定特征点的预设范围内的多个点在原始图像中的深度，根据获取到的每个点在原始图像中的深度，可以确定多个特征点在目标环境中的准确位置，根据该多个特征点的准确位置可以构建至少一个平面，使指定特征点位于至少一个平面中的每个平面上，指定特征点的预设范围内的点位于至少一个平面中的任一个或任两个平面上。其中，预设范围内的多个点可以包括从原始图像中提取的特征点，也可以包括除特征点以外的其他点。
3043、确定至少一个平面将目标环境划分得到的第一连通区域和第二连通区域，将第一连通区域和第二连通区域中相机所在的区域确定为可观测到指定特征点的视角区域，获取视角区域信息。
该至少一个平面中任两个或多个平面相交，可以将目标环境划分成两个连通区域，称为第一连通区域和第二连通区域，例如一个平面可以将目标环境划分成上侧和下侧的两个连通区域，两个平面可以将目标环境划分成二面角内侧和二面角外侧的两个连通区域等，三个平面也可以将目标环境划分成两个连通区域。
确定第一连通区域和第二连通区域后，可以根据相机拍摄原始图像时的位置信息，判断相机位于第一连通区域还是位于第二连通区域，从而将相机所在的区域确定为可观测指定特征点的视角区域，将相机所在的区域信息作为指定特征点的视角区域信息。
例如，参见图6，特征点1位于平面上，可观测角度为180度，相机位于平面上侧区域时，可以观测到特征点1，而位于平面下侧区域时，不能观测到特征点1。又如，参见图8，特征点1位于两个平面的相交线上，虚线表示两个平面的法向量的中心向量，特征点1的可观测区域为以中心向量为中心轴且角度为w的区域，相机位于该区域时可以观测到特征点1，而没有位于该区域时不能观测到特征点1。
305、终端根据多张原始图像中每个特征点的位置信息和每个特征点的视角区域信息，构建环境地图，则环境地图中包括多个特征点的位置信息和该多个特征点的视角区域信息。
后续可以将相机当前拍摄的目标图像中的特征点与环境地图中的特征点进行匹配，根据匹配结果确定相机的位置，实现相机定位。
在一种可能实现方式中，当终端对每张原始图像分析完成，得到特征点的位置信息和视角区域信息时，还可以对不同图像中匹配特征点的位置信息和视角区域信息进行优化，得到全局一致的环境地图。例如当某一图像中特征点的位置信息与其他多张图像中匹配特征点的位置信息存在偏差时，可以对该图像中特征点的位置信息进行修正，以保证不同图像之间的位置变化信息与匹配特征点在不同图像之间的位置变化信息一致。
本发明实施例提供的方法，通过根据相机拍摄目标环境得到的多张原始图像，获取每张原始图像的位置信息，并根据每张原始图像的位置信息获取每个特征点的位置信息和每个特征点的视角区域信息，不仅构建出多视角的环境地图，而且能够以视角区域信息来表示可观测到特征点的区域，后续根据相机的预测位置信息和特征点的视角区域信息可以将相机不可观测到的特征点过滤掉，减少了计算量，提高了定位准确率。
图9是本发明实施例提供的一种相机定位方法的流程图，图10是本发明实施例提供的一种相机定位的操作流程图，该相机定位方法的执行主体为终端，对相机在目标环境中移动时进行定位的过程进行说明。参见图9和图10，该方法包括：
901、终端获取目标环境的环境地图。
其中，该环境地图包括目标环境中多个特征点的位置信息和该多个特征点的视角区域信息，特征点的视角区域信息用于表示目标环境中可观测到该特征点的视角区域。
构建环境地图的具体过程参见上述图3所示的实施例，本发明实施例在此不再赘述。
902、终端根据相机在拍摄目标图像之前拍摄上一张图像时的位置信息，对相机拍摄目标图像时的位置进行预测，得到相机的预测位置信息。
本发明实施例中，该终端配置有相机，终端在目标环境中进行移动的过程中，可以通过相机对当前所处的目标环境进行拍摄，得到一张或多张图像。
终端当前要进行定位时，将相机当前拍摄的图像称为目标图像，终端先根据相机在目标图像之前拍摄的上一张图像的位置信息，对相机(终端)当前的位置进行预测，获取相机的预测位置信息，此时终端暂不将目标图像的特征点与环境地图中的特征点进行匹配。
该步骤902可以包括以下步骤9021-9023中的任一项：
9021、根据相机拍摄目标图像之前的上一张图像时的位置信息和相机拍摄任两张时间上相邻图像的时间间隔，采用恒速模型，获取相机的预测位置信息。
相机可以设置好固定的时间间隔，每隔该时间间隔拍摄一张图像，从而拍摄得到多张图像。其中，任两张时间上相邻图像是指相机拍摄到的多张图像中在时间上相邻的任两张图像，这两张图像的时间间隔等于相机设置的拍摄时间间隔。假设相机匀速移动的情况下，可以获取恒速模型，该恒速模型设定相机按照固定速度移动，该固定速度可以由终端默认设置，或者根据一般人们的走路速度设置。那么，终端获取到相机拍摄上一张图像时的位置信息后，根据该时间间隔，采用恒速模型，可以获取到相机在该时间间隔内的位移量，并根据拍摄上一张图像时的位置信息和该位移量，获取相机的预测位置信息。
9022、根据相机拍摄目标图像之前的上一张图像时的位置信息、相机拍摄任两张时间上相邻图像的时间间隔及通过传感器检测到的加速度，采用变速模型，获取相机的预测位置信息。
相机可以设置好固定的的时间间隔，每隔该时间间隔拍摄一张图像，从而拍摄得到多张图像。其中，任两张时间上相邻图像是指相机拍摄到的多张图像中在时间上相邻的任两张图像，这两张图像的时间间隔等于相机设置的拍摄时间间隔。则假设相机变速移动的情况下，可以获取变速模型，该变速模型设定相机按照一定的加速度移动，能够按照输入的初始速度、加速度和时间间隔计算出相机在该时间间隔内的位移量。那么，随着相机的移动，终端获取到相机拍摄上一张图像时的位置信息和初始速度后，通过配置的传感器检测加速度，根据相机拍摄上一张图像时的初始速度和加速度，采用变速模型获取相机在该时间间隔内的位移量，并根据相机拍摄上一张图像时的位置信息和该位移量，获取相机的预测位置信息。
9023、在相机拍摄上一张图像至拍摄目标图像的过程中，终端通过追踪上一张图像中的特征点，获取目标图像相对于上一张图像的位置变化信息，根据相机拍摄上一张图像时的位置信息和目标图像相对于上一张图像的位置变化信息，获取相机的预测位置信息。
在相机拍摄了上一张图像时可以获取相机拍摄上一张图像时的位置信息，且在相机拍摄上一张图像至拍摄目标图像的过程中，终端可以追踪上一张图像中的特征点，根据特征点的运动信息，获取目标图像相对于上一张图像的位置变化信息，则根据相机拍摄上一张图像时的位置信息和目标图像相对于上一张图像的位置变化信息进行迭代计算，获取相机的预测位置信息。
其中，在追踪过程中，终端可以采用光流匹配算法获取特征点的运动信息，根据该运动信息获取目标图像相对于上一张图像的位置信息。例如，终端可以采用光流匹配算法获取多个特征点的运动信息，根据运动信息确定该多个特征点在上一张图像中的位置信息以及在目标图像中的位置信息，从而确定目标图像相对于上一张图像的旋转平移矩阵，该旋转平移矩阵中的位移参数即为目标图像相对于上一张图像的位置变化信息。或者终端也可以采用其他追踪算法来追踪特征点。
另外，当启动相机时，终端还未获取到相机之前拍摄上一张图像时的位置信息，或者由于终端的位置变化过大而导致目标图像与之前拍摄的上一张图像之间的差异过大，两者不存在匹配的特征点。这两种情况下，根据相机在目标图像之前拍摄的上一张图像的位置信息将无法获取到目标图像的预测位置信息，此时可以进行重定位，将目标图像的特征点与环境地图中的多个特征点分别进行匹配，选取与目标图像的特征点最为匹配的特征点，根据选取的匹配特征点所在的位置，初步确定目标图像的预测位置信息。
进行特征点匹配时，可以根据距离度量准则，将目标图像中的每个特征点分别与环境地图中的每个特征点两两组合，计算每个组合中两个特征点的描述子之间的距离，距离越小，表示两个特征点的描述子相差越小，越有可能是相同的特征点。则对于目标图像中的每个特征点，选取环境地图中与该特征点距离最近的特征点，作为该特征点的匹配特征点。或者，选取环境地图中与该特征点距离最近且距离小于预设距离的特征点，作为该特征点的匹配特征点，则根据目标图像中的多个特征点对应的匹配特征点的位置信息可以获取相机当前的预测位置信息。
在一种可能实现方式中，终端可以通过外部传感器检测的地理信息，确定相机所在的地理区域，将特征匹配限制于一个相对小的地理区域内，再相机所在的地理区域内通过进行特征点匹配获取相机当前的预测位置信息。其中，该外部传感器可以为终端连接的WIFI(Wireless Fidelity，无线保真)设备、UWB(Ultra Wideband，超宽带)设备等，外部传感器根据自身所在的位置配置地理位置信息，随着终端的移动，终端位于外部传感器附近时，可以与外部传感器连接，并接收外部传感器发送的地理位置信息，根据地理位置信息确定当前所在的地理区域。
903、终端根据相机的预测位置信息和环境地图中每个特征点的位置信息和每个特征点的视角区域信息，将相机当前不可观测到的特征点过滤掉。
特征点的视角区域信息用于表示可观测该特征点的视角区域，当相机处于某一特征点的视角区域内时，可以观测到该特征点，所拍摄的目标图像中可能会包含该特征点，而当相机未处于某一特征点的视角区域时，即使该特征点与相机的位置相距不远，相机也无法观测到该特征点，所拍摄的目标图像中也不会包含该特征点。
因此，为了减小计算量，对于环境地图中的每个特征点，终端可以根据相机的预测位置信息和该特征点的视角区域信息，判断相机是否处于特征点的视角区域内，当确定相机处于特征点的视角区域内时，保留该特征点，当确定相机未处于特征点的视角区域内时，将该特征点过滤掉。
采用上述方式，可以将环境地图中相机当前不可观测到的特征点过滤掉，而仅保留相机当前可观测到的特征点。
904、终端将目标图像中的特征点与环境地图过滤后剩余的特征点进行匹配，得到特征点对应关系，根据特征点对应关系获取相机的位置信息，特征点对应关系包括目标图像中的特征点与匹配的特征点之间的对应关系。
终端可以获取目标图像中每个特征点的描述子，以及环境地图过滤后剩余的每个特征点的描述子，将目标图像中的每个特征点分别与环境地图过滤后剩余的特征点两两组合，计算每个组合中两个特征点的描述子之间的距离，距离越小，表示两个特征点的描述子相差越小，越有可能是相同的特征点。则对于目标图像中的每个特征点，选取环境地图中与该特征点距离最近的特征点，作为匹配特征点。或者，选取环境地图中与该特征点距离最近且距离小于预设距离的特征点，作为匹配特征点，从而建立特征点对应关系。
之后，根据该特征点对应关系以及环境地图剩余的每个特征点的位置信息，可以获取相机的位置信息，该位置信息用于表示相机当前在目标环境中的位置信息。其中，可以采用PnP(n个特征点的透视)算法或者其他算法获取相机的位置信息。
获取到相机的位置信息之后，可以确定相机在环境地图中的位置，从而基于该位置进行相应的操作。例如，在配送物品的场景下，可以根据配送机器人当前的位置判断是否偏离规划路线，如果配送机器人偏离规划路线，则根据配送机器人当前的位置和送达地点重新进行路线规划。或者，在虚拟现实游戏的场景下，确定终端的位置后，可以在终端的显示界面中显示在该位置处设置的虚拟元素，供用户与虚拟元素进行交互。
本发明实施例提供的方法，通过获取目标环境的环境地图，该环境地图中包括多个特征点的位置信息和该多个特征点的视角区域信息，视角区域信息用于表示可观测到特征点的视角区域，先根据相机在拍摄目标图像之前拍摄上一张图像时的位置信息，对相机拍摄目标图像时的位置进行预测，得到相机的预测位置信息，根据相机的预测位置信息、环境地图中每个特征点的位置信息和每个特征点的视角区域信息，将相机当前不可观测到的特征点过滤掉，将目标图像中的特征点与环境地图过滤后剩余的特征点进行匹配，得到特征点对应关系，从而确定相机的位置信息，实现相机定位，既减少了计算量，提高了计算速度，而且用于匹配的特征点符合相机的真实拍摄情况，降低了匹配错误的可能性，相当于提高了定位准确率和地图跟踪的鲁棒性。
本发明实施例提供了基于视觉特征视角区域的SLAM方法，大幅提高了定位与建图的鲁棒性，为相机定位提供了可靠信息，可以广泛应用于机器人导航、游戏角色定位、无人机定位、水下机器人定位等多种场景下，增强了整个系统的稳定性，减小了计算量，降低了对硬件配置的要求，节省了成本。
图10是本发明实施例提供的一种相机定位装置的结构示意图。参见图10，该装置包括：
地图获取模块1001，用于执行上述实施例中获取目标环境的环境地图的步骤；
位置预测模块1002，用于执行上述实施例中获取相机的预测位置信息的步骤；
过滤模块1003，用于执行上述实施例中将相机当前不可观测到的特征点过滤掉的步骤；
定位模块1004，用于执行上述实施例中将目标图像中的特征点与环境地图过滤后剩余的特征点进行匹配，得到特征点对应关系，根据特征点对应关系确定相机的位置信息的步骤。
可选地，位置预测模块1002，包括：
第一预测单元，用于执行上述实施例中采用恒速模型，获取相机的预测位置信息的步骤；或者，
第二预测单元，用于执行上述实施例中采用变速模型，获取相机的预测位置信息的步骤；或者，
第三预测单元，用于执行上述实施例中通过追踪上一张图像中的特征点，获取目标图像相对于上一张图像的位置变化信息，以获取相机的预测位置信息的步骤。
可选地，装置还包括：
重定位模块，用于执行上述实施例中当启动相机时，或者当根据相机拍摄上一张图像时的位置信息无法获取到相机的预测位置信息时，将目标图像的特征点与环境地图中的多个特征点进行匹配，获取相机的预测位置信息的步骤。
可选地，过滤模块1003，用于执行上述实施例中过滤特征点的步骤。
可选地，地图获取模块，包括：
标准确定单元，用于执行上述实施例中获取相机拍摄目标环境得到的多张原始图像，确定标准图像和相机拍摄标准图像时的位置信息的步骤；
位置获取单元，用于执行上述实施例中将原始图像中的特征点与标准图像中的特征点进行匹配，得到特征点对应关系；根据特征点对应关系及相机拍摄标准图像时的位置信息，获取相机拍摄原始图像时的位置信息的步骤；
信息获取单元，用于执行上述实施例中根据相机拍摄原始图像时的位置信息，获取原始图像中每个特征点的位置信息和每个特征点的视角区域信息的步骤；
地图构建单元，用于执行上述实施例中根据多张原始图像中每个特征点的位置信息和每个特征点的视角区域信息，构建环境地图的步骤。
可选地，信息获取单元，还用于执行上述实施例中根据相机拍摄原始图像时的位置信息及指定特征点在原始图像中的深度，获取指定特征点的位置信息；在指定特征点的预设范围内进行平面估计，确定经过指定特征点的至少一个平面；确定至少一个平面将目标环境划分得到的第一连通区域和第二连通区域，将第一连通区域和第二连通区域中相机所在的区域确定为可观测到指定特征点的视角区域，获取视角区域信息的步骤。
可选地，信息获取单元，还用于执行上述实施例中在指定特征点的预设范围内选取至少三个特征点；如果指定特征点与至少三个特征点所在的平面之间的距离小于预设距离，则确定指定特征点位于至少三个特征点所在的平面上的步骤。
可选地，信息获取单元，还用于执行上述实施例中如果指定特征点与至少三个特征点所在的平面之间的距离不小于预设距离，则在预设范围内进行边缘检测，得到以指定特征点为顶点的至少一条边缘线，并获取预设范围内的至少四个特征点；将指定特征点作为至少两个平面的相交点，将至少一条边缘线作为任两个平面的相交线，并将至少四个特征点作为至少两个平面上的点，得到至少两个平面的步骤。
可选地，相机为深度相机，信息获取单元，还用于执行上述实施例中获取指定特征点的预设范围内的多个点在原始图像中的深度，根据获取到的每个点在原始图像中的深度，确定至少一个平面的步骤。
需要说明的是：上述实施例提供的相机定位装置在进行相机定位时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将终端的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的相机定位装置与相机定位方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图11示出了本发明一个示例性实施例提供的终端1100的结构框图。该终端1100可以是便携式移动终端，比如：智能手机、平板电脑、MP3播放器(Moving Picture ExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving PictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑、台式电脑、头戴式设备，或其他任意智能终端。终端1100还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端1100包括有：处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心，比如4核心处理器、5核心处理器等。处理器1101可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1101可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1101还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1102还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1102中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1101所具有以实现本申请中方法实施例提供的相机定位方法。
在一些实施例中，终端1100还可选包括有：外围设备接口1103和至少一个外围设备。处理器1101、存储器1102和外围设备接口1103之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1103相连。具体地，外围设备包括：射频电路1104、触摸显示屏1105、摄像头1106、音频电路1107、定位组件1108和电源1109中的至少一种。
外围设备接口1103可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器1101和存储器1102。在一些实施例中，处理器1101、存储器1102和外围设备接口1103被集成在同一芯片或电路板上；在一些其他实施例中，处理器1101、存储器1102和外围设备接口1103中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路1104用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路1104通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1104将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路1104包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1104可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2G、3G、4G及11G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路1104还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏1105用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1105是触摸显示屏时，显示屏1105还具有拍摄在显示屏1105的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1101进行处理。此时，显示屏1105还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1105可以为一个，设置终端1100的前面板；在另一些实施例中，显示屏1105可以为至少两个，分别设置在终端1100的不同表面或呈折叠设计；在再一些实施例中，显示屏1105可以是柔性显示屏，设置在终端1100的弯曲表面上或折叠面上。甚至，显示屏1105还可以设置成非矩形的不规则图形，也即异形屏。显示屏1105可以采用LCD(Liquid Crystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件1106用于拍摄图像或视频。可选地，摄像头组件1106包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1106还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路1107可以包括麦克风和扬声器。麦克风用于拍摄用户及环境的声波，并将声波转换为电信号输入至处理器1101进行处理，或者输入至射频电路1104以实现语音通信。出于立体声拍摄或降噪的目的，麦克风可以为多个，分别设置在终端1100的不同部位。麦克风还可以是阵列麦克风或全向拍摄型麦克风。扬声器则用于将来自处理器1101或射频电路1104的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1107还可以包括耳机插孔。
定位组件1108用于定位终端1100的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件1108可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
电源1109用于为终端1100中的各个组件进行供电。电源1109可以是交流电、直流电、一次性电池或可充电电池。当电源1109包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端1100还包括有一个或多个传感器1110。该一个或多个传感器1110包括但不限于：加速度传感器1111、陀螺仪传感器1112、压力传感器1113、指纹传感器1114、光学传感器1115以及接近传感器1116。
加速度传感器1111可以检测以终端1100建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1111可以用于检测重力加速度在三个坐标轴上的分量。处理器1101可以根据加速度传感器1111拍摄的重力加速度信号，控制触摸显示屏1105以横向视图或纵向视图进行用户界面的显示。加速度传感器1111还可以用于游戏或者用户的运动数据的拍摄。
陀螺仪传感器1112可以检测终端1100的机体方向及转动角度，陀螺仪传感器1112可以与加速度传感器1111协同拍摄用户对终端1100的3D动作。处理器1101根据陀螺仪传感器1112拍摄的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器1113可以设置在终端1100的侧边框和/或触摸显示屏1105的下层。当压力传感器1113设置在终端1100的侧边框时，可以检测用户对终端1100的握持信号，由处理器1101根据压力传感器1113拍摄的握持信号进行左右手识别或快捷操作。当压力传感器1113设置在触摸显示屏1105的下层时，由处理器1101根据用户对触摸显示屏1105的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器1114用于拍摄用户的指纹，由处理器1101根据指纹传感器1114拍摄到的指纹识别用户的身份，或者，由指纹传感器1114根据拍摄到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1101授权该用户具有相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1114可以被设置终端1100的正面、背面或侧面。当终端1100上设置有物理按键或厂商Logo时，指纹传感器1114可以与物理按键或厂商标志集成在一起。
光学传感器1115用于拍摄环境光强度。在一个实施例中，处理器1101可以根据光学传感器1115拍摄的环境光强度，控制触摸显示屏1105的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1105的显示亮度；当环境光强度较低时，调低触摸显示屏1105的显示亮度。在另一个实施例中，处理器1101还可以根据光学传感器1115拍摄的环境光强度，动态调整摄像头组件1106的拍摄参数。
接近传感器1116，也称距离传感器，通常设置在终端1100的前面板。接近传感器1116用于拍摄用户与终端1100的正面之间的距离。在一个实施例中，当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变小时，由处理器1101控制触摸显示屏1105从亮屏状态切换为息屏状态；当接近传感器1116检测到用户与终端1100的正面之间的距离逐渐变大时，由处理器1101控制触摸显示屏1105从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图11中示出的结构并不构成对终端1100的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本发明实施例还提供了一种用于相机定位的终端，该终端包括处理器和存储器，存储器中存储有至少一条指令，指令由处理器加载并具有以实现上述实施例的相机定位方法中所具有的操作。
本发明实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条指令，该指令由处理器加载并具有以实现上述实施例的相机定位方法中所具有的操作。
其中，该指令可以包括程序、代码集等。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (13)

1.一种相机定位方法，其特征在于，所述方法包括：
获取目标环境的环境地图，所述环境地图包括所述目标环境中多个特征点的位置信息和所述多个特征点的视角区域信息，所述特征点的视角区域信息用于表示所述目标环境中可观测到所述特征点的视角区域；
根据所述相机在拍摄目标图像之前拍摄上一张图像时的位置信息，对所述相机拍摄所述目标图像时的位置进行预测，得到所述相机的预测位置信息；
根据所述相机的预测位置信息、所述环境地图中每个特征点的位置信息和每个特征点的视角区域信息，将所述相机当前不可观测到的特征点过滤掉；
将所述目标图像中的特征点与所述环境地图过滤后剩余的特征点进行匹配，得到特征点对应关系，根据所述特征点对应关系确定所述相机的位置信息，所述特征点对应关系包括所述目标图像中的特征点与匹配的特征点之间的对应关系；
所述根据所述相机的预测位置信息、所述环境地图中每个特征点的位置信息和每个特征点的视角区域信息，将所述相机当前不可观测到的特征点过滤掉，包括：对于所述环境地图中的每个特征点，当根据所述相机的预测位置信息确定所述相机未处于所述特征点的视角区域内时，将所述特征点过滤掉；
所述获取目标环境的环境地图，包括：获取所述相机拍摄所述目标环境得到的多张原始图像；获取所述原始图像中每个特征点的位置信息和每个特征点的视角区域信息；根据所述多张原始图像中每个特征点的位置信息和每个特征点的视角区域信息，构建所述环境地图；
其中，获取所述原始图像中每个特征点的视角区域信息，包括：对于所述原始图像中的任一指定特征点，根据所述指定特征点的位置信息以及所述原始图像中其他点的位置信息，在所述指定特征点的预设范围内进行平面估计，确定经过所述指定特征点的至少一个平面；确定所述至少一个平面将所述目标环境划分得到的第一连通区域和第二连通区域，将所述第一连通区域和所述第二连通区域中所述相机所在的区域确定为可观测到所述指定特征点的视角区域，获取所述视角区域信息。
2.根据权利要求1所述的方法，其特征在于，所述根据所述相机在拍摄目标图像之前拍摄上一张图像时的位置信息，对所述相机拍摄所述目标图像时的位置进行预测，得到所述相机的预测位置信息，包括：
根据所述相机拍摄所述上一张图像时的位置信息和所述相机拍摄任两张时间上相邻图像的时间间隔，采用恒速模型，获取所述相机的预测位置信息；或者，
根据所述相机拍摄所述上一张图像时的位置信息、所述相机拍摄任两张时间上相邻图像的时间间隔及通过传感器检测到的加速度，采用变速模型，获取所述相机的预测位置信息；或者，
在所述相机拍摄所述上一张图像至拍摄所述目标图像的过程中，通过追踪所述上一张图像中的特征点，获取所述目标图像相对于所述上一张图像的位置变化信息，根据所述相机拍摄所述上一张图像时的位置信息和所述目标图像相对于所述上一张图像的位置变化信息，获取所述相机的预测位置信息。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
当启动所述相机时，或者当根据所述相机拍摄所述上一张图像时的位置信息无法获取到所述相机的预测位置信息时，将所述目标图像的特征点与所述环境地图中的多个特征点进行匹配，获取所述相机的预测位置信息。
4.根据权利要求1所述的方法，其特征在于，所述获取所述原始图像中每个特征点的位置信息，包括：
根据所述多张原始图像确定标准图像，并确定所述相机拍摄所述标准图像时的位置信息；
对于除所述标准图像以外的任一张原始图像，将所述原始图像中的特征点与所述标准图像中的特征点进行匹配，得到特征点对应关系，所述特征点对应关系包括所述原始图像中的特征点与在所述标准图像中匹配的特征点之间的对应关系；根据所述特征点对应关系及所述相机拍摄所述标准图像时的位置信息，获取所述相机拍摄所述原始图像时的位置信息；
根据所述相机拍摄所述原始图像时的位置信息，获取所述原始图像中每个特征点的位置信息。
5.根据权利要求4所述的方法，其特征在于，所述根据所述相机拍摄所述原始图像时的位置信息，获取所述原始图像中每个特征点的位置信息，包括：
对于所述原始图像中的任一指定特征点，根据所述相机拍摄所述原始图像时的位置信息及所述指定特征点在所述原始图像中的深度，获取所述指定特征点的位置信息。
6.根据权利要求1所述的方法，其特征在于，所述根据所述指定特征点的位置信息以及所述原始图像中其他点的位置信息，在所述指定特征点的预设范围内进行平面估计，确定经过所述指定特征点的至少一个平面，包括：
在所述指定特征点的预设范围内选取至少三个特征点，所述指定特征点位于所述至少三个特征点构成的多边形的内部，所述至少三个特征点在所述环境地图中处于同一平面上但未处于同一直线上；
如果所述指定特征点与所述至少三个特征点所在的平面之间的距离小于预设距离，则确定所述指定特征点位于所述至少三个特征点所在的平面上。
7.根据权利要求6所述的方法，其特征在于，所述根据所述指定特征点的位置信息以及所述原始图像中其他点的位置信息，在所述指定特征点的预设范围内进行平面估计，确定经过所述指定特征点的至少一个平面，还包括：
如果所述指定特征点与所述至少三个特征点所在的平面之间的距离不小于所述预设距离，则在所述预设范围内进行边缘检测，得到以所述指定特征点为顶点的至少一条边缘线，并获取所述预设范围内的至少四个特征点；
将所述指定特征点作为至少两个平面的相交点，将所述至少一条边缘线作为任两个平面的相交线，并将所述至少四个特征点作为所述至少两个平面上的点，得到所述至少两个平面。
8.根据权利要求1所述的方法，其特征在于，所述相机为深度相机，所述根据所述指定特征点的位置信息以及所述原始图像中其他点的位置信息，在所述指定特征点的预设范围内进行平面估计，确定经过所述指定特征点的至少一个平面，包括：
获取所述指定特征点的预设范围内的多个点在所述原始图像中的深度，根据每个点在所述原始图像中的深度，确定至少一个平面，所述指定特征点位于所述至少一个平面中的每个平面上，所述指定特征点的预设范围内的点位于所述至少一个平面中的任一个或任两个平面上。
9.一种相机定位装置，其特征在于，所述装置包括：
地图获取模块，用于获取目标环境的环境地图，所述环境地图包括所述目标环境中多个特征点的位置信息和所述多个特征点的视角区域信息，所述特征点的视角区域信息用于表示所述目标环境中可观测到所述特征点的视角区域；
位置预测模块，用于根据所述相机在拍摄目标图像之前拍摄上一张图像时的位置信息，对所述相机拍摄所述目标图像时的位置进行预测，得到所述相机的预测位置信息；
过滤模块，用于根据所述相机的预测位置信息、所述环境地图中每个特征点的位置信息和每个特征点的视角区域信息，将所述相机当前不可观测到的特征点过滤掉；
定位模块，用于将所述目标图像中的特征点与所述环境地图过滤后剩余的特征点进行匹配，得到特征点对应关系，根据所述特征点对应关系确定所述相机的位置信息，所述特征点对应关系包括所述目标图像中的特征点与匹配的特征点之间的对应关系；
所述过滤模块，用于对于所述环境地图中的每个特征点，当根据所述相机的预测位置信息确定所述相机未处于所述特征点的视角区域内时，将所述特征点过滤掉；
所述地图获取模块，包括：
标准确定单元，用于获取所述相机拍摄所述目标环境得到的多张原始图像；
信息获取单元，用于获取所述原始图像中每个特征点的位置信息和每个特征点的视角区域信息；
地图构建单元，用于根据所述多张原始图像中每个特征点的位置信息和每个特征点的视角区域信息，构建所述环境地图；
其中，所述信息获取单元，用于对于所述原始图像中的任一指定特征点，根据所述指定特征点的位置信息以及所述原始图像中其他点的位置信息，在所述指定特征点的预设范围内进行平面估计，确定经过所述指定特征点的至少一个平面；确定所述至少一个平面将所述目标环境划分得到的第一连通区域和第二连通区域，将所述第一连通区域和所述第二连通区域中所述相机所在的区域确定为可观测到所述指定特征点的视角区域，获取所述视角区域信息。
10.根据权利要求9所述的装置，其特征在于，
所述标准确定单元，用于根据所述多张原始图像确定标准图像，并确定所述相机拍摄所述标准图像时的位置信息；
所述地图获取模块，还包括：
位置获取单元，用于对于除所述标准图像以外的任一张原始图像，将所述原始图像中的特征点与所述标准图像中的特征点进行匹配，得到特征点对应关系，所述特征点对应关系包括所述原始图像中的特征点与在所述标准图像中匹配的特征点之间的对应关系；根据所述特征点对应关系及所述相机拍摄所述标准图像时的位置信息，获取所述相机拍摄所述原始图像时的位置信息；
所述信息获取单元，用于根据所述相机拍摄所述原始图像时的位置信息，获取所述原始图像中每个特征点的位置信息。
11.根据权利要求10所述的装置，其特征在于，所述信息获取单元，用于：
对于所述原始图像中的任一指定特征点，根据所述相机拍摄所述原始图像时的位置信息及所述指定特征点在所述原始图像中的深度，获取所述指定特征点的位置信息。
12.一种用于相机定位的终端，其特征在于，所述终端包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如权利要求1至8任一权利要求所述的相机定位方法中所执行的操作。
13.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如权利要求1至8任一权利要求所述的相机定位方法中所执行的操作。
CN201810630115.7A 2018-06-19 2018-06-19 相机定位方法、装置、终端及存储介质 Active CN110148178B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810630115.7A CN110148178B (zh) 2018-06-19 2018-06-19 相机定位方法、装置、终端及存储介质
EP19822963.5A EP3813014B1 (en) 2018-06-19 2019-05-07 Camera localization method, terminal and storage medium
JP2020552267A JP7026819B2 (ja) 2018-06-19 2019-05-07 カメラの位置決め方法および装置、端末並びにコンピュータプログラム
PCT/CN2019/085746 WO2019242418A1 (zh) 2018-06-19 2019-05-07 相机定位方法、装置、终端及存储介质
US16/928,427 US11210810B2 (en) 2018-06-19 2020-07-14 Camera localization method and apparatus, terminal, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810630115.7A CN110148178B (zh) 2018-06-19 2018-06-19 相机定位方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN110148178A CN110148178A (zh) 2019-08-20
CN110148178B true CN110148178B (zh) 2022-02-22

Family

ID=67589086

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810630115.7A Active CN110148178B (zh) 2018-06-19 2018-06-19 相机定位方法、装置、终端及存储介质

Country Status (5)

Country Link
US (1) US11210810B2 (zh)
EP (1) EP3813014B1 (zh)
JP (1) JP7026819B2 (zh)
CN (1) CN110148178B (zh)
WO (1) WO2019242418A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112013844B (zh) * 2019-05-31 2022-02-11 北京小米智能科技有限公司 建立室内环境地图的方法及装置
CN111310585B (zh) * 2020-01-20 2023-08-01 北京百度网讯科技有限公司 用于生成信息的方法和装置
CN113220928B (zh) * 2020-01-21 2024-06-11 北京达佳互联信息技术有限公司 一种图像搜索方法、装置、电子设备及存储介质
JP7290599B2 (ja) * 2020-04-17 2023-06-13 Kddi株式会社 点群処理システム、方法及びプログラム
US11232315B2 (en) * 2020-04-28 2022-01-25 NextVPU (Shanghai) Co., Ltd. Image depth determining method and living body identification method, circuit, device, and medium
CN112966725B (zh) * 2021-02-08 2024-01-16 深圳市优必选科技股份有限公司 匹配模板图像的方法、装置及终端设备
US11423576B1 (en) * 2021-07-23 2022-08-23 Ford Global Technologies, Llc Infrastructure node localization with respect to alternative frame of reference
WO2023070441A1 (zh) * 2021-10-28 2023-05-04 深圳市大疆创新科技有限公司 可移动平台的定位方法和装置
CN114187349B (zh) * 2021-11-03 2022-11-08 深圳市正运动技术有限公司 产品加工方法、装置、终端设备以及存储介质
WO2024015031A1 (en) * 2022-07-11 2024-01-18 Delivers Ai Robotik Otonom Surus Bilgi Teknolojileri A.S. A delivery system and hybrid localization method for a delivery robot

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279952A (zh) * 2013-05-17 2013-09-04 华为技术有限公司 一种目标跟踪方法和装置
CN107990899A (zh) * 2017-11-22 2018-05-04 驭势科技（北京）有限公司 一种基于slam的定位方法和系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5776255B2 (ja) * 2011-03-25 2015-09-09 ソニー株式会社 端末装置、物体識別方法、プログラム及び物体識別システム
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
CN103646391B (zh) 2013-09-30 2016-09-28 浙江大学 一种针对动态变化场景的实时摄像机跟踪方法
CN103731658B (zh) * 2013-12-25 2015-09-30 深圳市墨克瑞光电子研究院 双目摄像机复位方法和双目摄像机复位装置
US11051000B2 (en) * 2014-07-14 2021-06-29 Mitsubishi Electric Research Laboratories, Inc. Method for calibrating cameras with non-overlapping views
JP6540108B2 (ja) 2015-03-09 2019-07-10 富士通株式会社 画像生成方法、システム、装置、及び端末
US10062010B2 (en) * 2015-06-26 2018-08-28 Intel Corporation System for building a map and subsequent localization
CN105469405B (zh) * 2015-11-26 2018-08-03 清华大学 基于视觉测程的同时定位与地图构建方法
CN106383123B (zh) 2016-10-26 2023-04-18 苏州誉阵自动化科技有限公司 相机定位装置及视觉检测装置
CN107564012B (zh) * 2017-08-01 2020-02-28 中国科学院自动化研究所 面向未知环境的增强现实方法及装置
CN108648235B (zh) * 2018-04-27 2022-05-17 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置及存储介质
US11636618B2 (en) * 2019-11-14 2023-04-25 Samsung Electronics Co., Ltd. Device and method with simultaneous implementation of localization and mapping
KR102216956B1 (ko) * 2019-11-26 2021-02-19 서울과학기술대학교 산학협력단 다중 시점 영상의 프리로드 시스템 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103279952A (zh) * 2013-05-17 2013-09-04 华为技术有限公司 一种目标跟踪方法和装置
CN107990899A (zh) * 2017-11-22 2018-05-04 驭势科技（北京）有限公司 一种基于slam的定位方法和系统

Also Published As

Publication number Publication date
US20200342626A1 (en) 2020-10-29
CN110148178A (zh) 2019-08-20
US11210810B2 (en) 2021-12-28
JP7026819B2 (ja) 2022-02-28
WO2019242418A1 (zh) 2019-12-26
EP3813014A1 (en) 2021-04-28
JP2021520540A (ja) 2021-08-19
EP3813014B1 (en) 2023-08-23
EP3813014A4 (en) 2021-08-11

Similar Documents

Publication Publication Date Title
US11205282B2 (en) Relocalization method and apparatus in camera pose tracking process and storage medium
CN110148178B (zh) 相机定位方法、装置、终端及存储介质
CN108734736B (zh) 相机姿态追踪方法、装置、设备及存储介质
US11158083B2 (en) Position and attitude determining method and apparatus, smart device, and storage medium
CN110992493B (zh) 图像处理方法、装置、电子设备及存储介质
CN108682038B (zh) 位姿确定方法、装置及存储介质
CN108682036B (zh) 位姿确定方法、装置及存储介质
CN109815150B (zh) 应用测试方法、装置、电子设备及存储介质
CN109558837B (zh) 人脸关键点检测方法、装置及存储介质
CN109522863B (zh) 耳部关键点检测方法、装置及存储介质
CN112270718B (zh) 摄像头标定方法、装置、系统及存储介质
CN109886208B (zh) 物体检测的方法、装置、计算机设备及存储介质
CN113763228B (zh) 图像处理方法、装置、电子设备及存储介质
CN110570460A (zh) 目标跟踪方法、装置、计算机设备及计算机可读存储介质
CN114170349A (zh) 图像生成方法、装置、电子设备及存储介质
CN111127541A (zh) 车辆尺寸的确定方法、装置及存储介质
CN112967261B (zh) 图像融合方法、装置、设备及存储介质
CN111369684B (zh) 目标跟踪方法、装置、设备及存储介质
CN114093020A (zh) 动作捕捉方法、装置、电子设备及存储介质
CN112990424A (zh) 神经网络模型训练的方法和装置
CN112767453B (zh) 人脸跟踪方法、装置、电子设备及存储介质
CN117911520A (zh) 相机内参标定方法和自动驾驶设备
CN117671164A (zh) 高精地图底图构建方法
CN115880212A (zh) 双目相机的评估方法、装置、计算机设备和存储介质
CN111369566A (zh) 确定路面消隐点位置的方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant