CN116017149A - 感测数据处理的方法及设备 - Google Patents

感测数据处理的方法及设备 Download PDF

Info

Publication number
CN116017149A
CN116017149A CN202210392448.7A CN202210392448A CN116017149A CN 116017149 A CN116017149 A CN 116017149A CN 202210392448 A CN202210392448 A CN 202210392448A CN 116017149 A CN116017149 A CN 116017149A
Authority
CN
China
Prior art keywords
sensor
keypoints
data processing
fov
tracked
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210392448.7A
Other languages
English (en)
Inventor
司空栋勋
朱浩进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN116017149A publication Critical patent/CN116017149A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)

Abstract

提供了一种感测数据处理设备。该感测数据处理设备可以基于通过参考传感器从先前帧收集的感测数据和从当前帧收集的感测数据来跟踪在感测数据处理设备的全部可观测范围内的关键点，其中该全部可观测范围是基于传感器的组合视场(FOV)确定的；响应于检测到新关键点，将新关键点与所述关键点一起管理；以及基于所管理的关键点来执行对该设备的定位。

Description

感测数据处理的方法及设备
相关申请的交叉引用
本申请要求2021年10月21日在韩国知识产权局递交的韩国专利申请No.10-2021-0141142的权益，其全部公开内容通过引用合并于此以用于所有目的。
技术领域
以下描述涉及一种感测数据处理的方法和装置。
背景技术
估计对象的二维(2D)或三维(3D)姿态是许多视觉应用(例如但不限于增强现实(AR)、闭路电视(CCTV)、导航、控制设备和机器人应用)的重要技术。
近年来，增强现实技术引起了越来越多的关注。增强现实技术的基本功能是3D交互。3D交互是指显示增强信息以与现实世界的3D对象重叠。
包括将增强信息或加强信息与现实对象的3D姿态相匹配对于在3D交互中实现真实的视觉效果会是有益的。因此，获得现实对象的2D或3D姿态信息会是有益的。姿态信息可以通过使用关键点的估计来获得。
发明内容
提供本发明内容以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本发明内容不意在标识所请求保护的主题的关键特征或基本特征，也不意在帮助确定所请求保护的主题的范围。
在一个总体方面，一种感测数据处理设备包括：参考传感器，被配置为通过捕获具有视场(FOV)的场景来生成感测数据；以及处理器，被配置为：基于由参考传感器从先前帧收集的感测数据和从当前帧收集的感测数据，跟踪在感测数据处理设备的全部可观测范围内的关键点；以及响应于检测到新关键点，将新关键点与所跟踪的关键点一起管理，其中，全部可观测范围是基于参考传感器和第二传感器的组合FOV来确定的。
该处理器还可以被配置为：针对全部可观测范围中的至少一个部分区域，确定所跟踪的关键点之中在至少一个部分区域中的关键点的变化位置。
该处理器还可以被配置为：基于参考传感器的感测，在所跟踪的关键点中确定在参考传感器的FOV不与第二传感器的FOV重叠的区域中的关键点的变化位置；以及基于第二传感器的感测，在所跟踪的关键点中确定在第二传感器的FOV不与参考传感器的FOV重叠的区域中的关键点的变化位置。
该处理器还可以被配置为：基于参考传感器的感测，在所跟踪的关键点中确定在参考传感器的FOV与第二传感器的FOV重叠的区域中的关键点的变化位置；以及基于第二传感器的感测，跳过在所跟踪的关键点中跟踪在第二传感器的FOV与参考传感器的FOV重叠的区域中的关键点。
该处理器还可以被配置为：基于所跟踪的关键点的变化位置，更新所跟踪的关键点在全部可观测范围内所属的区域。
该处理器还可以被配置为：不对所跟踪的关键点中的变化位置在全部可观测范围之外的关键点进行跟踪。
该处理器还可以被配置为：基于指示非重叠区域的非重叠掩模和指示重叠区域的重叠掩模，将所跟踪的关键点分类为属于非重叠区域和重叠区域之一。
该处理器还可以被配置为：基于参考传感器从先前帧收集的感测数据和从当前帧收集的感测数据，从所跟踪的关键点中去除异常值。
该处理器还可以被配置为：基于由参考传感器收集的感测数据，检测在与第二传感器的FOV重叠的重叠区域中的新关键点。
该感测数据处理设备还包括：输出设备，被配置为输出针对感测数据处理设备估计的定位结果，其中，处理器还可以被配置为：基于细化所跟踪的关键点的结果，来估计感测数据处理设备的位置和姿态中的至少一项作为定位结果。
在一个总体方面，一种处理器实现的感测数据处理方法包括：通过捕获具有视场(FOV)的场景，基于由参考传感器从先前帧收集的感测数据和从当前帧收集的感测数据，跟踪在感测数据处理设备的全部可观测范围内的关键点；细化所跟踪的关键点；以及响应于检测到新关键点，将新关键点与所跟踪的关键点一起管理，其中，全部可观测范围是基于参考传感器和第二传感器的组合FOV来确定的。
跟踪可以包括：针对全部可观测范围中的至少一个部分区域，确定所跟踪的关键点之中在至少一个部分区域中的关键点的变化位置。
跟踪可以包括：基于参考传感器的感测，在所跟踪的关键点中确定在参考传感器的FOV不与第二传感器的FOV重叠的区域中的关键点的变化位置；以及基于第二传感器的感测，在所跟踪的关键点中确定在第二传感器的FOV不与参考传感器的FOV重叠的区域中的关键点的变化位置。
跟踪可以包括：基于参考传感器的感测，在所跟踪的关键点中确定在参考传感器的FOV与第二传感器的FOV重叠的区域中的关键点的变化位置；基于第二传感器的感测，跳过在所跟踪的关键点中跟踪在第二传感器的FOV与参考传感器的FOV重叠的区域中的关键点。
跟踪可以包括：基于所跟踪的关键点的变化位置，更新所跟踪的关键点在全部可观测范围内所属的区域。
跟踪可以包括：不对所跟踪的关键点中的变化位置在全部可观测范围之外的关键点进行跟踪。
跟踪可以包括：基于指示非重叠区域的非重叠掩模和指示重叠区域的重叠掩模，将所跟踪的关键点分类为属于非重叠区域和重叠区域之一。
细化可以包括：基于参考传感器从先前帧收集的感测数据和从当前帧收集的感测数据，从所跟踪的关键点中去除异常值。
管理可以包括：基于由参考传感器收集的感测数据，检测在与第二传感器的FOV重叠的重叠区域中的新关键点。
在一个总体方面，一种感测数据处理设备包括：第一传感器，被配置为捕获具有第一视场(FOV)的第一图像；第二传感器，与第一传感器分开，并且被配置为捕获具有第二FOV的第二图像；一个或多个处理器，被配置为：确定第一图像和第二图像之间的重叠区域和非重叠区域；检测在重叠区域和非重叠区域中的关键点；针对第一图像和第二图像的每个连续帧，跟踪在重叠区域和非重叠区域中的关键点的位置变化；通过从所跟踪的关键点中去除异常值来细化所跟踪的关键点，以及响应于在当前帧中检测到新关键点，将新关键点与所跟踪的关键点一起管理。
基于由第一传感器收集的感测数据，可以检测在与第二传感器的FOV重叠的重叠区域中的新关键点。
一个或多个处理器还可以被配置诶：跟踪在重叠区域中的关键点和在非重叠区域中的关键点，并将所跟踪的关键点应用于针对感测数据处理设备的定位。
其他特征和方面将通过以下详细描述、附图和权利要求变得清楚明白。
附图说明
图1示出了根据一个或多个实施例的示例传感器的示例视场(FOV)。
图2示出了根据一个或多个实施例的在感测数据中区分区域的示例。
图3示出了根据一个或多个实施例的处理感测数据的示例方法。
图4示出了根据一个或多个实施例的跟踪关键点的示例。
图5示出了根据一个或多个实施例的根据关键点的位置变化确定区域的示例。
图6示出了根据一个或多个实施例的用于确定关键点的区域的掩模(mask)的示例。
图7示出了根据一个或多个实施例的细化关键点的示例。
图8示出了根据一个或多个实施例的利用关键点的示例。
图9示出了根据一个或多个实施例的用于处理感测数据的示例设备。
在整个附图和详细描述中，除非另有描述或提供，否则相同的附图标记应被理解为指代相同的元件、特征以及结构。附图可以不按比例绘制，并且为了清楚、说明和方便，可以扩大附图中元件的相对尺寸、比例和描绘。
具体实施方式
提供以下详细描述以帮助读者获得对本文描述的方法、装置和/或系统的全面理解。然而，在理解了本申请的公开之后，本文中描述的方法、装置和/或系统的各种改变、修改和等同物将是显而易见的。例如，本文中描述的操作顺序仅仅是示例，并且不限于在本文中阐述的那些操作顺序，而是可以在理解本申请的公开之后明显改变，除了必须以一定顺序进行的操作之外。此外，为了更加清楚和简洁，可以省略在理解了本申请的公开之后已知的特征的描述，应注意省略特征及其描述也不旨在承认它们是公知常识。
本文描述的特征可以以不同形式来实施，并且不被解释为限于本文描述的示例。相反，提供本文中描述的示例仅仅是为了说明实现本文中描述的方法、装置和/或系统的许多可行方式中的一些，在理解本申请的公开之后这些方式将显而易见。
虽然本文中可以使用诸如“第一”、“第二”、“第三”之类的术语来描述各构件、组件、区域、层或部，但是这些构件、组件、区域、层或部不应被这些术语限制。相反，这些术语仅用于将一个构件、组件、区域、层或部分与另一构件、组件、区域、层或部分加以区分。因此，在不脱离示例的教导的情况下，本文中描述的示例中提及的第一构件、组件、区域、层或部分也可以被称为第二构件、组件、区域、层或部分。
贯穿说明书，当诸如层、区域或基板之类的元件被描述为在另一元件“上”、“连接到”或“耦接到”另一元件时，它可以直接在该另一元件“上”、“连接到”或“耦接到”该另一元件，或者可以存在介于其间的一个或多个其他元件。相反，当元件被描述为“直接在另一元件上”、“直接连接到”或“直接耦接到”另一元件时，可以不存在介于其间的其他元件。
本文中使用的术语仅用于描述具体示例的目的，而不用于限制本公开。本文中使用的单数形式“一”、“一个”和“该”意在还包括复数形式，除非上下文另外明确指出。如本文中所使用的，术语“和/或”包括关联列出的项目中的任何一个和任何两个或更多个的任何组合。如本文中所用，术语“包括”、“包含”和“具有”表示存在所阐述的特征、数目、操作、元件、组件和/或其组合，但并不排除存在或添加一个或多个其他特征、数目、操作、元件、组件和/或其组合。
此外，可以在本文中使用诸如第一、第二、A、B、(a)、(b)之类的术语来描述组件。这些术语中的每一个不是用来定义对应组件的本质、顺序或次序，而是仅用于区分相应组件与其他组件。
除非另外定义，否则本文使用的所有术语(包括技术和科学术语)具有与本公开所属领域的普通技术人员在对本申请的公开的理解之后通常所理解的含义相同的含义。诸如在常用词典中定义的术语应被解释为其含义与在相关技术和/或本申请的上下文中的含义相同，而不应将被解释为理想的或过于正式的含义，除非本文明确如此定义。
在下文中，将参考附图来详细描述示例。当参考附图描述示例时，相同的附图标记表示相同的元件，并且将省略与其相关的重复描述。
图1示出了根据一个或多个实施例的传感器的示例视场(FOV)。
感测数据处理设备100可以基于通过传感器获得的感测数据来执行与定位有关的任务。在示例中，感测数据处理设备100可以基于感测数据来估计其位置和/或姿态。在本文中，将描述照相机传感器作为传感器的示例。然而，示例不限于此。在本文中，应注意，关于示例或实施例(例如，关于示例或实施例可以包括或实现什么)的术语“可以”的使用意味着存在至少一个示例或实施例，其中这样的特征是被包括或实现的，而所有示例和实施例不限于此。
图1示出了包括一对相机传感器110和120(例如，立体相机传感器)的感测数据处理设备100的示例。感测数据处理设备100可以通过立体相机传感器110和120在相同的时间帧中获得图像对(例如，立体图像)。感测数据处理设备100可以基于所获得的图像对来计算从感测数据处理设备100到在由立体相机传感器110和120捕获的场景中的点的深度。
在示例中，可以以平行方式设置并且其主轴可以彼此平行的立体相机传感器110和120可以具有它们的视场(FOV)重叠的重叠区域153，该重叠区域153比非重叠区域151和152宽。如上所述，由平行立体相机传感器实现的感测数据处理设备100可以计算到与关于较宽的重叠区域153的像素相对应的点的深度。
在本文中，将主要描述使用发散立体相机传感器的感测数据处理设备100的示例。发散立体相机传感器110和120可以是一对相机传感器，其主轴被设置为彼此不平行。换句话说，相机传感器可以被设置为基于视线而面向外侧，使得其主轴发散。即，相机传感器的主轴之间的距离可以在远离相机传感器的方向上增加。在图1中，例如，感测数据处理设备100可以被实现为头戴式显示器(HMD)。然而，这仅是示例，并且作为非限制示例，感测数据处理设备100可以被实现为AR设备、车辆、机器人和/或无人机。当感测数据处理设备100被安装在用户190上时，相机传感器的主轴可以相对于用户190的视线形成θ角。发散立体相机传感器110和120可以具有比平行立体相机传感器窄的重叠区域153。另一方面，发散立体相机传感器110和120可以具有比平行立体相机宽的非重叠区域151和152，并且因此，可以提供相对宽的FOV。因此，由发散立体相机传感器110和120实现的感测数据处理设备100可以使用基于宽FOV获得的更多的图像信息来跟踪其位置和/或姿态。
作为参考，可以基于传感器(例如，参考传感器110和另一传感器120)的FOV组合来确定感测数据处理设备100的全部可观测范围150。FOV组合可以是传感器之间的重叠FOV和非重叠FOV的组合。随着传感器的FOV之间的重叠区域减小并且非重叠区域增加，传感器的FOV组合可以增加，并且因此，全部可观测范围150也可以增加。相反，随着传感器的FOV之间的重叠区域增加并且非重叠区域减小，传感器的FOV组合可以减小，并且因此，全部可观测范围150也可以减小。图1示出了参考传感器110，其可以是在用户190左侧的相机传感器，以及另一传感器120，其可以是在用户190右侧的相机传感器。然而，示例不限于此。取决于示例，参考传感器110可以是在右侧的相机传感器，并且相机传感器可以沿着平行于地面的轴以及另一轴(例如，垂直于地面的轴)布置，其中相机传感器的数量可以是n。这里，n可以是大于或等于“2”的整数。
在下文中，将描述关于发散立体相机传感器以及平行立体相机传感器有效地执行定位的感测数据处理设备100。
图2示出了根据一个或多个实施例的在感测数据中区分区域的示例。
当上面在图1中所描述的一对传感器可以是发散立体相机传感器时，感测数据处理设备可以通过相机传感器生成单独的图像。在示例中，感测数据处理设备100可以通过第一相机传感器生成第一图像210，并且可以通过第二相机传感器生成第二图像220。
感测数据处理设备100可以将从传感器收集的感测数据划分为与另一传感器的FOV重叠的重叠区域、以及不与该另一传感器的FOV重叠的非重叠区域。在示例中，感测数据处理设备可以通过第一相机传感器(例如，相机传感器110)获得第一图像210(例如，左图像)，并且通过第二相机传感器(例如，立体相机传感器110和120中的相机传感器120)获得第二图像220(例如，右图像)。感测数据处理设备100可以在第一图像210中将第一相机传感器(例如，相机传感器110)的FOV与第二相机传感器(例如，相机传感器120)的FOV重叠的区域确定为第一重叠区域212(例如，立体左(SL))。感测数据处理设备100可以在第一图像210中将第一相机传感器的FOV不与第二相机传感器的FOV重叠的其余区域确定为第一非重叠区域211(例如，仅左(LO))。同样地，感测数据处理设备100可以在第二图像220中将第二相机传感器(例如，相机传感器120)的FOV与第一相机传感器(例如，相机传感器110)的FOV重叠的区域确定为第二重叠区域222(例如，立体右(SR))。感测数据处理设备100可以在第二图像220中将第二相机传感器的FOV不与第一相机传感器的FOV重叠的其余区域确定为第二非重叠区域221(例如，仅右(RO))。第一重叠区域212和第二重叠区域222可以包括场景中的相同对象和/或背景。
如上所述，感测数据处理设备100可以基于通过划分各个传感器的FOV获得的区域来跟踪和管理关键点。感测数据处理设备100可以基于全部可观测范围内的关键点估计其位置和/或姿态，同时针对每个传感器保持对属于重叠区域的关键点和属于非重叠区域的关键点的跟踪。下面将描述感测数据处理设备的操作。
图3示出了根据一个或多个实施例的处理感测数据的示例方法。图3中的操作可以按照所示的顺序和方式来执行，然而在不脱离所描述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图3所示的许多操作可以并行或同时执行。图3的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图3的描述之外，对图1至图2的描述也适用于图3，并且通过引用合并于此。因此，这里可以不再重复以上描述。
在示例中，通过利用相机传感器来估计设备(例如，感测数据处理设备)的位置和/或姿态的方法可以包括直接跟踪方法和间接跟踪方法。直接跟踪方法可以是使用图像信息中的所有像素信息来估计位置和/或姿态的方法。间接跟踪方法可以是检测图像中的关键点并使用检测到的关键点来估计设备的位置和/或姿态的方法。
感测数据处理设备可以从通过传感器收集的感测数据(例如，图像数据)中检测关键点。感测数据处理设备可以基于检测到的关键点执行间接定位和/或姿态估计。在间接跟踪方法中，可以通过关键点管理来改进估计设备的位置和/或姿态的过程。作为参考，在本文中，关键点是在感测数据中作为用于定位的标准的点，其可以用于估计感测数据处理设备和传感器的位置和/或姿态的变化，并且可以例如是角点。角点可以是图像数据中在两个或更多个边缘分量相交处的点或位于顶点处的点。在示例中，当通过相机传感器捕获棋盘图案的棋盘格时，可以提取各个顶点作为关键点。关键点也可以被称为界标和/或特征。
参考图3，在操作310中，感测数据处理设备可以跟踪关键点。在示例中，感测数据处理设备可以基于参考传感器从先前帧和当前帧收集的感测数据来跟踪在全部可观测范围内的关键点，其中全部可观测范围基于参考传感器和另一传感器的FOV组合来确定。如上所述，感测数据处理设备100可以从每个相机传感器获得与帧(例如，时间帧)相对应的感测数据。感测数据处理设备100可以从每一帧的感测数据检测关键点。感测数据处理设备100可以相对于帧跟踪关键点的位置变化和区域变化。在本文中，主要描述了对连续帧中的每一帧的关键点进行检测和跟踪的示例。然而，示例不限于此。将在下文参考图4描述跟踪关键点的示例。
在操作320中，感测数据处理设备可以细化所跟踪的关键点。在示例中，感测数据处理设备可以从所跟踪的关键点中去除异常值。将在下文参考图7描述去除异常值的示例。
在操作330中，感测数据处理设备可以将新关键点与所跟踪的或原始的关键点一起管理。感测数据处理设备可以响应于检测到新关键点，将新关键点与所跟踪的或原始的关键点一起管理。感测数据处理设备可以附加地检测在新帧(例如，当前帧)中的新关键点。在示例中，感测数据处理设备可以基于定向FAST和旋转BRIEF(ORB)算法以及尺度不变特征变换(SIFT)来附加地检测新关键点。为了便于描述，已经描述了稍后执行根据操作330的添加新关键点的操作。然而，示例不限于此。取决于设计，可以在操作310之前执行添加新关键点的操作。
感测数据处理设备100的处理器可以基于通过参考传感器收集的感测数据，在与另一传感器的FOV重叠的重叠区域中检测新关键点。由于可以在参考传感器的重叠区域和另一传感器的重叠区域中检测关键点，所以感测数据处理设备100可以在检测新关键点的同时计算新关键点的三维(3D)坐标。关键点的3D坐标可以是根据世界坐标系和/或相机坐标系的坐标。在示例中，世界坐标系的原点可以被设置为在空间中的初始定位开始的点。如上所述，感测数据处理设备100可以将与关键点相对应的3D坐标值与关键点的2D坐标(例如，图像平面上的坐标)分开存储和管理。感测数据处理设备100可以基于3D坐标值来生成和管理3D图。
在操作的初始阶段中，感测数据处理设备100可以仅针对重叠区域检测和管理新关键点，并且可以通过设备的移动和/或旋转将关键点分布到其余的非重叠区域。在关键点均匀地分布到重叠区域和非重叠区域之后，感测数据处理设备可以使用关键点稳定地提供位置和/或姿态估计。
如上所述，感测数据处理设备100可以应用在非重叠区域中的关键点以及在重叠区域中的关键点，从而具有改进的跟踪关键点的性能。在示例中，发散立体相机传感器可以具有相对窄的重叠区域，并且感测数据处理设备100可以跟踪在重叠区域中的关键点和在非重叠区域中的关键点，并将所跟踪的关键点应用于定位，从而提供稳定的定位结果。此外，即使当传感器的主轴之间的角度间隔动态地变化时，感测数据处理设备100也可以如上所述使用所有的在重叠区域中的关键点和在非重叠区域中的关键点来执行稳定的定位。可以响应于传感器的主轴之间的角度间隔的改变来执行用于匹配从相机传感器获得的关键点的相机校准，或者可以从由感测数据处理设备100预先建立的数据库加载与改变角度相对应的相机校准参数。
作为参考，在本文中，主要描述通过两个传感器(例如，一对相机传感器110和120)的感测。然而，示例不限于此。感测数据处理设备可以通过传感器收集每一帧的感测数据，并且传感器中的每一个传感器和另一传感器可以具有至少重叠的FOV。
图4示出了根据一个或多个实施例的跟踪关键点的示例。图4中的操作可以按照所示的顺序和方式来执行，然而在不脱离所描述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图4所示的许多操作可以并行或同时执行。图4的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了下面对图4的描述之外，对图1至图3的描述也适用于图4，并在此引入作为参考。因此，这里可以不再重复以上描述。
首先，在操作411中，感测数据处理设备100可以确定关键点的变化位置。感测数据处理设备100可以根据帧跟踪关键点的移动。感测数据处理设备可以针对每个关键点跟踪关键点从先前帧中的位置到当前帧中的位置的移动。感测数据处理设备100可以确定在先前帧中检测到的关键点在当前帧中的位置。在本文中，先前帧的示例可以是紧接在当前帧之前的帧。然而，示例不限于此。感测数据处理设备100可以跟踪关键点，直到关键点在上述全部可观测范围之外。
感测数据处理设备100可以基于光流跟踪方法(例如，Kanade-Lucas-Tomasi(KLT)跟踪方法)来跟踪关键点的移动，该光流跟踪方法基于两帧中的图像之间的光流。感测数据处理设备100可以将在先前帧中检测到的关键点与在当前帧中检测到的关键点进行比较。感测数据处理设备可以在先前帧中检测到的关键点和当前帧中检测到的关键点之中搜索对应对。在示例中，感测数据处理设备100可以基于通过惯性测量单元(IMU)测量的惯性信息来获得关于关键点的位置变化的初始猜测，并使用上述KLT对初始猜测进行补偿。
感测数据处理设备100可以基于参考传感器的感测，在参考传感器的FOV不与另一传感器的FOV重叠的区域中确定关键点的变化位置。感测数据处理设备100可以基于由参考传感器收集的先前帧的感测数据和当前帧的感测数据，估计在参考传感器的非重叠区域中的关键点从先前帧到当前帧的变化位置。感测数据处理设备100可以基于另一传感器的感测，在另一传感器的FOV不与参考传感器的FOV重叠的区域中确定关键点的变化位置。同样地，感测数据处理设备100可以基于由另一传感器收集的先前帧的感测数据和当前帧的感测数据，估计在另一传感器的非重叠区域中的关键点从先前帧到当前帧的变化位置。感测数据处理设备100可以针对传感器之间的重叠区域，基于由参考传感器和另一传感器中的至少一个收集的感测数据来估计关键点的移动。
感测数据处理设备100可以管理每个单独的关键点的关键点信息。作为非限制示例，关键点信息可以包括标识符(ID)、图像中的位置(例如，2D图像平面上的坐标)和关键点的置信度分数(例如，指示所提取的关键点的准确性的分数)。
在操作412中，感测数据处理设备100还可以根据关键点的位置变化来更新对应关键点所属的区域。感测数据处理设备100可以将关键点所属的区域分类为以下之一：参考传感器的重叠区域、参考传感器的非重叠区域、另一传感器的重叠区域以及另一传感器的非重叠区域。下面将参考图5描述更新关键点所属区域的示例。
作为参考，感测数据处理设备100可以跟踪和检测在全部可观测范围内的所有区域的关键点。然而，示例不限于此。感测数据处理设备100可以针对各个图像的每个区域跟踪关键点，并且不对部分区域的关键点进行跟踪。在示例中，感测数据处理设备100可以针对全部可观测范围中的至少一个部分区域，确定关键点中在该至少一个部分区域中的关键点的变化位置。换句话说，感测数据处理设备100的处理器可以基于参考传感器的感测，在参考传感器的FOV与另一传感器的FOV重叠的区域中确定关键点的变化位置。感测数据处理设备100可以基于另一传感器的感测，跳过在另一传感器的FOV与参考传感器的FOV重叠的区域(例如，图2的SR区域222)中跟踪关键点。出现在另一传感器的重叠区域中的关键点可以与出现在参考传感器的重叠区域中的关键点相对应。因此，即使省略了对在另一传感器重叠区域中的对应关键点的跟踪，也可以通过对在参考传感器的重叠区域中的关键点的跟踪结果(例如，位置变化)来估计在另一传感器的重叠区域中的对应关键点的变化位置。
在示例中，感测数据处理设备100可以基于参考传感器和另一传感器之间的相机参数(例如，固有参数)，计算与基于上述参考传感器的感测在另一传感器的图像平面内的点相对应的位置。跟踪在另一传感器的重叠区域中的关键点的变化位置可以在细化操作中执行，这将在稍后参考图7进行描述。换句话说，可以不对另一传感器的重叠区域执行参考图4描述的跟踪关键点的操作，而是可以在关键点细化操作中通过基于参考传感器的感测的跟踪来估计在另一传感器的重叠区域中的关键点的变化位置，这将在稍后参考图7进行描述。然而，这仅是示例，并不旨在限制确定在另一传感器的重叠区域中的关键点的变化位置的操作的顺序，并且该操作可以与其他操作并行和/或按时间序列执行。
图5示出了根据一个或多个实施例的根据关键点的位置变化确定区域的示例。
感测数据处理设备的处理器可以基于关键点的变化位置来更新各个关键点在全部可观测范围内的所属区域。在图5中，关键点的位置可以是根据第一图像510的图像坐标系的位置和/或根据第二图像520的图像坐标系的位置。
在示例中，感测数据处理设备可以不对所跟踪的关键点中的变化位置在全部可观测范围之外的关键点进行跟踪。感测数据处理设备可以从关键点管理中移除所跟踪的关键点中的可观测范围(例如，全部可观测范围)之外的关键点。在示例中，图5示出了图像的每个区域的关键点根据帧的移动。在图5中，在第一图像510的重叠区域512中的关键点503和在非重叠区域511中的关键点501可以基于帧的移动而偏离全部可观测范围。在第二图像520的非重叠区域521中的关键点506也可以基于帧的移动而偏离全部可观测范围。因此，感测数据处理设备可以去除与第一图像510和第二图像520相对应的可观测范围之外的关键点501、503和506。可以基于对应的3D坐标503a和/或相机参数将关键点503的变化位置从第一图像510中的坐标变换到第二图像520中的坐标。
在示例中，为了管理效率，可以去除已经从第二图像520的非重叠区域521移动到第二图像520的重叠区域522的关键点507。相反，感测数据处理设备100可以在第一图像510的重叠区域512中生成与移除的关键点507相对应的关键点。如上面在图4中所描述的，在重叠区域512和522中的关键点可以通过相机参数变换到与另一传感器相对应的位置。因此，感测数据处理设备100可以仅针对两个传感器中的一个保持关键点。
当关键点在先前帧中从该关键点所属区域的边界偏离并在当前帧中进入全部可观测范围内的另一区域时，感测数据处理设备100的处理器可以将该关键点的所属区域更新为另一区域。在示例中，感测数据处理设备可以将检测到的关键点分类为属于特定区域(例如，图2的LO区域、SL区域、SR区域和RO区域)之一。在示例中，LO关键点可以是位于通过第一相机传感器(例如，左相机传感器)获得的第一图像的第一非重叠区域中的关键点。SL关键点可以是位于第一图像中的第一重叠区域中的关键点。SR关键点可以是位于通过第二相机传感器(例如，右相机传感器)获得的第二图像的第二重叠区域中的关键点。RO关键点可以是位于第二图像的第二非重叠区域中的关键点。例如，在本文中，以第一图像为参考图像并且第二图像为另一图像的示例作为示例。然而，示例不限于此。
在示例中，感测数据处理设备可以确定已经从第一图像510的非重叠区域511移动到第一图像510的重叠区域512的关键点502属于重叠区域512。感测数据处理设备可以确定曾经属于第一图像510的重叠区域512的关键点505的变化位置属于第二图像520的非重叠区域521。感测数据处理设备可以根据与关键点505相对应的世界坐标505a计算在第二图像520中的对应坐标，或者基于相机参数来计算在第二图像520中的对应坐标。感测数据处理设备可以更新已经从第一图像510的重叠区域512移动到第一图像510的非重叠区域511的关键点504的区域。可以通过掩模有效地执行参考图5描述的对关键点的位置进行分类的操作，这将在下文参考图6进行描述。
图6示出了根据一个或多个实施例的用于确定关键点的区域的掩模的示例。
感测数据处理设备的处理器可以基于指示非重叠区域的非重叠掩模和指示重叠区域的重叠掩模，将关键点分类为属于非重叠区域和重叠区域之一。非重叠掩模可以是针对传感器(例如，参考传感器)的FOV不与另一传感器的FOV重叠的区域具有激活值(例如，“1”)、并且针对其他区域具有去激活值(例如，“0”)的掩模。重叠掩模可以是针对传感器的FOV与另一传感器的FOV重叠的区域具有激活值(例如，“1”)、并且针对其他区域具有去激活值(例如，“0”)的掩模。在图6中，激活值被示为亮，而去激活值被示为暗。用于第一传感器(例如，参考传感器)的掩模610可以包括重叠掩模612和非重叠掩模611。用于第二传感器(例如，另一传感器)的掩模620可以包括重叠掩模622和非重叠掩模621。感测数据处理设备可以将针对每个传感器设置的掩模应用到位置变化的关键点。可以基于传感器之间的校准信息(例如，相机参数)、FOV、距离和失真来预定义每个掩模。
感测数据处理设备可以基于掩模611、612、621和622，针对每个传感器将逐像素乘法单独地应用到被跟踪的位置变化的一个或多个关键点的坐标。可以确定，与指示一个区域的掩模的激活值相乘的关键点可以属于对应的区域。如上所述，感测数据处理设备可以通过利用预定义的掩模来确定和变换关键点所属的区域，从而以较少的计算量更新关键点的区域的变化。
图7示出了细化关键点的示例。图7中的操作可以按照所示的顺序和方式来执行，然而在不脱离所描述的说明性示例的精神和范围的情况下，可以改变一些操作的顺序，或者省略一些操作。图7所示的许多操作可以并行或同时执行。图7的一个或多个块和这些块的组合可以通过执行指定功能的基于专用硬件的计算机或者专用硬件和计算机指令的组合来实现。除了以下图7的描述之外，对图1至图6的描述也适用于图7，并且通过引用合并于此。因此，这里可以不再重复以上描述。
感测数据处理设备可以基于通过参考传感器从先前帧和当前帧收集的感测数据，从关键点中去除异常值。异常值可以是关键点之中的由于传感器误差和/或计算误差导致其位置被未正确计算的关键点。异常值会降低估计设备的位置和/或姿态的性能，因此可以如下所述被移除。
在示例中，在操作721中，感测数据处理设备可以针对每一帧比较各个传感器的所有感测数据。在示例中，感测数据处理设备可以通过诸如但不限于随机采样一致法(RANSAC)和立体匹配之类的算法来比较每一帧的感测数据。感测数据处理设备可以通过整合而不区分区域来比较每一帧的由一个传感器收集的感测数据。在示例中，感测数据处理设备可以比较出现在第一传感器的先前帧的感测数据中的关键点和出现在第一传感器的当前帧的感测数据中的关键点。感测数据处理设备可以比较出现在第二传感器的先前帧的感测数据中的关键点和出现在第二传感器的当前帧的感测数据中的关键点。换句话说，感测数据处理设备可以通过针对每一帧整合第一传感器的重叠区域和非重叠区域并且整合第二传感器的重叠区域和非重叠区域，来比较关键点。作为参考，在跳过跟踪第二传感器的重叠区域中的关键点的示例中，感测数据处理设备可以使用通过将第一传感器的重叠区域中的关键点变换为第二传感器的坐标而获得的复制结果，来进行用于去除异常值的比较。在示例中，在RANSAC算法中，异常值检测性能随着样本数量的增加而增加。如上所述，通过整合重叠区域和非重叠区域，可以充分保证要比较的关键点。
然而，示例不限于如上所述通过整合重叠区域和非重叠区域来执行每一帧的关键点之间的比较的示例。在示例中，随着移动增加，异常值发生的概率可能增加。因此，其可以被解释为在每个传感器的非重叠区域中发生异常值的概率高。感测数据处理设备可以通过针对每个传感器的非重叠区域执行每一帧的关键点之间的比较来执行高效操作。
在操作722中，感测数据处理设备可以基于每个传感器的感测来确定和去除异常值。如上所述，感测数据处理设备可以通过诸如RANSAC和立体匹配之类的算法去除被确定为异常值的关键点。
图8示出了根据一个或多个实施例的利用关键点的示例。
参考图8，在操作840中，感测数据处理设备可以估计姿态。感测数据处理设备可以基于细化所跟踪的关键点的结果，来估计感测数据处理设备的位置和姿态中的至少一个作为定位结果。换句话说，感测数据处理设备可以使用关键点中除了异常值之外的其余关键点来估计设备的位置和姿态。感测数据处理设备可以基于细化的关键点来执行测距。感测数据处理设备可以输出针对感测数据处理设备估计的定位结果。
在示例中，感测数据处理设备可以还基于惯性数据841与上述关键点一起来估计感测数据处理设备的位置和/或姿态。
如上所述，感测数据处理设备可以针对每个相机传感器的重叠区域中的关键点和非重叠区域中的关键点两者执行定位，从而即使对于突然的旋转(例如，佩戴增强现实(AR)眼镜的用户的头部的快速旋转)也能提供稳定的跟踪性能。
图9示出了根据一个或多个实施例的示例感测数据处理设备。
参考图9，感测数据处理设备900可以包括传感器910、一个或多个处理器920以及一个或多个存储器930。感测数据处理设备900还可以包括输出设备940。
传感器910可以通过捕获与FOV相对应的场景来生成感测数据。在示例中，作为非限制示例，传感器910可以包括相机传感器、红外传感器、雷达传感器、激光雷达传感器和超声波传感器中的一个，或者包括其两个或更多个的组合。感测数据处理设备900可以包括一对传感器。在示例中，当传感器910是相机传感器时，该相机传感器可以通过捕获具有FOV的场景来生成图像数据。作为另一示例，当传感器910是红外传感器时，该红外传感器可以通过捕获具有FOV的场景来生成红外数据。
一个或多个处理器920可以基于参考传感器从先前帧和当前帧收集的感测数据来跟踪在全部可观测范围内的关键点，其中全部可观测范围基于参考传感器和另一传感器的FOV组合来确定。响应于检测到新关键点，一个或多个处理器920可以将新关键点与所跟踪的关键点一起管理。然而，一个或多个处理器920的操作不限于此，并且一个或多个处理器920可以并行或按时间序列执行以上参照图1至图8所描述的操作。
一个或多个存储器930可以存储管理关键点和使用关键点进行定位所需的信息。在示例中，一个或多个存储器930可以存储指示关键点的位置、关键点所属的区域以及针对感测数据处理设备900估计的位置和/或姿态的数据。
输出设备940可以输出上述定位结果(例如，针对感测数据处理设备900估计的位置和/或姿态)。在非限制示例中，输出设备940可以视觉地、触觉地和/或听觉地输出定位结果。在示例中，当感测数据处理设备900被实现为增强现实设备900时，输出设备940可以是增强现实显示器并且可以视觉地输出定位结果。作为另一示例，感测数据处理设备900可以将虚拟内容输出到基于定位结果确定的位置(例如，覆盖在目标现实对象上的位置)。
一个或多个处理器920可以基于上述定位结果控制感测数据处理设备900的另一操作。在示例中，当感测数据处理设备900被实现为车辆、机器人和/或无人机时，一个或多个处理器920可以基于定位结果来改变设备900的转向、速度和加速度中的一个或其两个或更多个的组合。
感测数据处理设备900可以被实现为包括增强现实(AR)环境中的HMD在内的设备900，并且可以估计感测处理设备900的位置和/或姿态。然而，示例不限于此，并且感测数据处理设备900可以被实现为机器人或无人机。感测数据处理设备900可以应用于安装在AR设备900(例如，AR眼镜)、机器人、无人机上的芯片、以及在其上实现的车辆、软件或网络服务。
在本文中描述的感测数据处理设备100、感测数据处理设备900、传感器910、处理器920、存储器930、输出设备940以及其余装置、单元、模块、设备和其他组件可以通过硬件组件和软件组件来实现。在适当的情况下可用于执行本申请中所描述的操作的硬件组件的示例包括控制器、传感器、生成器、驱动器、存储器、比较器、算术逻辑单元、加法器、减法器、乘法器、除法器、积分器、以及被配置为执行本申请所述的操作的任何其他电子组件。在其他示例中，用于执行本申请中所描述的操作的一个或多个硬件组件由计算硬件(例如，由一个或多个处理器或计算机)实现。处理器或计算机可以由一个或多个处理元件(例如，逻辑门阵列、控制器和算术逻辑单元、数字信号处理器、微计算机、可编程逻辑控制器、现场可编程门阵列、可编程逻辑阵列、微处理器、或被配置为以定义的方式响应并执行指令以实现期望的结果的任何其他设备或设备的组合)来实现。在一个示例中，处理器或计算机包括(或连接到)存储由处理器或计算机执行的指令或软件的一个或多个存储器。由处理器或计算机实现的硬件组件可以执行指令或软件，例如，操作系统(OS)和在OS上运行的一个或多个软件应用，以执行本申请中描述的操作。硬件组件还可以响应于指令或软件的执行来访问、操纵、处理、创建和存储数据。为了简洁起见，在本申请中描述的示例的描述中可以使用单数术语“处理器”或“计算机”，但是在其他示例中可以使用多个处理器或计算机，或者处理器或计算机可以包括多个处理元件、或多种类型的处理元件、或两者兼有。例如，单个硬件组件或者两个或更多个硬件组件可以由单个处理器、或两个或更多个处理器、或者处理器和控制器来实现。一个或多个硬件组件可以由一个或多个处理器、或处理器和控制器来实现，并且一个或多个其他硬件组件可以由一个或多个其他处理器或另一处理器和另一控制器来实现。一个或多个处理器或者处理器和控制器可以实现单个硬件组件、或者两个或更多个硬件组件。硬件组件可以具有不同的处理配置中的任一种或多种，所述处理配置的示例包括单处理器、独立处理器、并行处理器、单指令单数据(SISD)多处理、单指令多数据(SIMD)多处理、多指令单数据(MISD)多处理、和多指令多数据(MIMD)多处理。
用于控制计算硬件(例如，一个或多个处理器或计算机)以实现硬件组件并执行如上所述的方法的指令或软件可以被编写为计算机程序、代码段、指令或其任何组合，用于单独或共同指示或配置一个或多个处理器或计算机以作为机器或专用计算机操作从而执行由上述硬件组件和方法执行的操作。在一个示例中，指令或软件包括由一个或多个处理器或计算机直接执行的机器代码，例如由编译器产生的机器代码。在另一个示例中，指令或软件包括由一个或多个处理器或计算机使用解释器执行的更高级的代码。可以基于附图中所示出的框图和流程图以及说明书中的对应的描述(其公开了用于执行由硬件组件执行的操作和如上所述的方法的算法)，使用任何编程语言来编写指令或软件。
用于控制计算硬件(例如，一个或多个处理器或计算机)实现硬件组件并执行如上所述的方法的指令或软件以及任何相关联的数据、数据文件和数据结构可以被记录、存储或固定在一个或多个非暂时性计算机可读存储介质中或其上。非暂时性计算机可读存储介质的示例包括：只读存储器(ROM)、随机存取可编程只读存储器(PROM)、电可擦除可编程只读存储器(EEPROM)、随机存取存储器(RAM)、动态随机存取存储器(DRAM)、静态随机存取存储器(SRAM)、闪存、非易失性存储器、CD-ROM、CD-R、CD+R、CD-RW、CD+RW、DVD-ROM、DVD-R、DVD+R、DVD-RW、DVD+RW、DVD-RAM、BD-ROM、BD-R、BD-R LTH、BD-RE、蓝光或光盘存储设备、硬盘驱动器(HDD)、固态驱动器(SSD)、闪存、卡类型的存储器(比如，多媒体卡或微型卡(例如，安全数字(SD)或极限数字(XD)))、磁带、软盘、磁光数据存储装置、光学数据存储装置、硬盘、固态盘、以及被如下配置的任何其它装置：以非暂时性方式存储指令或软件以及任何相关联的数据、数据文件和数据结构，并且向一个或多个处理器或计算机提供指令或软件以及任何相关联的数据、数据文件和数据结构，使得一个或多个处理器或计算机可以执行该指令。在一个示例中，指令或软件以及任何相关联的数据、数据文件和数据结构分布在联网的计算机系统上，使得一个或多个处理器或计算机以分布方式存储、访问和执行所述指令和软件以及任何相关联的数据、数据文件和数据结构。
尽管本公开包括特定示例，但是在理解了本申请的公开内容之后将显而易见的是，在不脱离权利要求及其等同物的精神和范围的情况下，可以对这些示例进行形式和细节上的各种改变。本文描述的示例应仅被认为是描述性的，而不是为了限制的目的。每个示例中的特征或方面的描述被认为适用于其他示例中的类似特征或方面。如果所描述的技术以不同的顺序执行和/或如果所描述的系统、架构、设备或电路中的组件以不同的方式组合和/或被其他组件或其等同物替换或补充，则可以实现合适的结果。因此，本公开的范围不是由详细描述来限定，而是由权利要求及其等同物来限定，并且在权利要求及其等同物的范围内的所有变化都被解释为包括在本公开中。

Claims (23)

1.一种感测数据处理设备，包括：
参考传感器，被配置为通过捕获具有视场FOV的场景来生成感测数据；以及
处理器，被配置为：
基于由所述参考传感器从先前帧收集的感测数据和从当前帧收集的感测数据，跟踪在所述感测数据处理设备的全部可观测范围内的关键点，以及
响应于检测到新关键点，将所述新关键点与所跟踪的关键点一起管理，
其中，所述全部可观测范围是基于所述参考传感器和第二传感器的组合FOV来确定的。
2.根据权利要求1所述的感测数据处理设备，其中，所述处理器还被配置为：针对所述全部可观测范围中的至少一个部分区域，确定所述所跟踪的关键点之中在所述至少一个部分区域中的关键点的变化位置。
3.根据权利要求1所述的感测数据处理设备，其中，所述处理器还被配置为：
基于所述参考传感器的感测，在所述所跟踪的关键点中确定在所述参考传感器的FOV不与所述第二传感器的FOV重叠的区域中的关键点的变化位置，以及
基于所述第二传感器的感测，在所述所跟踪的关键点中确定在所述第二传感器的FOV不与所述参考传感器的FOV重叠的区域中的关键点的变化位置。
4.根据权利要求1所述的感测数据处理设备，其中，所述处理器还被配置为：
基于所述参考传感器的感测，在所述所跟踪的关键点中确定在所述参考传感器的FOV与所述第二传感器的FOV重叠的区域中的关键点的变化位置，以及
基于所述第二传感器的感测，跳过在所述所跟踪的关键点中跟踪在所述第二传感器的FOV与所述参考传感器的FOV重叠的区域中的关键点。
5.根据权利要求1所述的感测数据处理设备，其中，所述处理器还被配置为：基于所述所跟踪的关键点的变化位置，更新所述所跟踪的关键点在所述全部可观测范围内所属的区域。
6.根据权利要求1所述的感测数据处理设备，其中，所述处理器还被配置为：不对所述所跟踪的关键点中的变化位置在所述全部可观测范围之外的关键点进行跟踪。
7.根据权利要求1所述的感测数据处理设备，其中，所述处理器还被配置为：基于指示非重叠区域的非重叠掩模和指示重叠区域的重叠掩模，将所述所跟踪的关键点分类为属于所述非重叠区域和所述重叠区域之一。
8.根据权利要求1所述的感测数据处理设备，其中，所述处理器还被配置为：基于所述参考传感器从所述先前帧收集的感测数据和从所述当前帧收集的感测数据，从所述所跟踪的关键点中去除异常值。
9.根据权利要求1所述的感测数据处理设备，其中，所述处理器还被配置为：基于由所述参考传感器收集的感测数据，检测在与所述第二传感器的FOV重叠的重叠区域中的所述新关键点。
10.根据权利要求1所述的感测数据处理设备，还包括：
输出设备，被配置为输出针对所述感测数据处理设备估计的定位结果，
其中，所述处理器还被配置为：基于细化所述所跟踪的关键点的结果，来估计所述感测数据处理设备的位置和姿态中的至少一项作为所述定位结果。
11.一种处理器实现的感测数据处理方法，所述方法包括：
通过捕获具有视场FOV的场景，基于由参考传感器从先前帧收集的感测数据和从当前帧收集的感测数据，跟踪在感测数据处理设备的全部可观测范围内的关键点；
细化所跟踪的关键点；以及
响应于检测到新关键点，将所述新关键点与所述所跟踪的关键点一起管理，
其中，所述全部可观测范围是基于所述参考传感器和第二传感器的组合FOV来确定的。
12.根据权利要求11所述的感测数据处理方法，其中，所述跟踪包括：针对所述全部可观测范围中的至少一个部分区域，确定所述所跟踪的关键点之中在所述至少一个部分区域中的关键点的变化位置。
13.根据权利要求11所述的感测数据处理方法，其中，所述跟踪包括：
基于所述参考传感器的感测，在所述所跟踪的关键点中确定在所述参考传感器的FOV不与所述第二传感器的FOV重叠的区域中的关键点的变化位置；以及
基于所述第二传感器的感测，在所述所跟踪的关键点中确定在所述第二传感器的FOV不与所述参考传感器的FOV重叠的区域中的关键点的变化位置。
14.根据权利要求11所述的感测数据处理方法，其中，所述跟踪包括：
基于所述参考传感器的感测，在所述所跟踪的关键点中确定在所述参考传感器的FOV与所述第二传感器的FOV重叠的区域中的关键点的变化位置；以及
基于所述第二传感器的感测，跳过在所述所跟踪的关键点中跟踪在所述第二传感器的FOV与所述参考传感器的FOV重叠的区域中的关键点。
15.根据权利要求11所述的感测数据处理方法，其中，所述跟踪包括：基于所述所跟踪的关键点的变化位置，更新所述所跟踪的关键点在所述全部可观测范围内所属的区域。
16.根据权利要求11所述的感测数据处理方法，其中，所述跟踪包括：不对所述所跟踪的关键点中的变化位置在所述全部可观测范围之外的关键点进行跟踪。
17.根据权利要求11所述的感测数据处理方法，其中，所述跟踪包括：基于指示非重叠区域的非重叠掩模和指示重叠区域的重叠掩模，将所述所跟踪的关键点分类为属于所述非重叠区域和所述重叠区域之一。
18.根据权利要求11所述的感测数据处理方法，其中，所述细化包括：基于所述参考传感器从所述先前帧收集的感测数据和从所述当前帧收集的感测数据，从所述所跟踪的关键点中去除异常值。
19.根据权利要求11所述的感测数据处理方法，其中，所述管理包括：基于由所述参考传感器收集的感测数据，检测在与所述第二传感器的FOV重叠的重叠区域中的所述新关键点。
20.一种存储指令的非暂时性计算机可读存储介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行根据权利要求11所述的感测数据处理方法。
21.一种感测数据处理设备，包括：
第一传感器，被配置为捕获具有第一视场FOV的第一图像；
第二传感器，与所述第一传感器分开，并且被配置为捕获具有第二FOV的第二图像；
一个或多个处理器，被配置为：
确定所述第一图像和所述第二图像之间的重叠区域和非重叠区域；
检测在所述重叠区域和所述非重叠区域中的关键点；
针对所述第一图像和所述第二图像的每个连续帧，跟踪在所述重叠区域和所述非重叠区域中的所述关键点的位置变化；
通过从所跟踪的关键点中去除异常值来细化所述所跟踪的关键点，以及
响应于在当前帧中检测到新关键点，将所述新关键点与所述所跟踪的关键点一起管理。
22.根据权利要求21所述的感测数据处理设备，其中，所述新关键点是基于由所述第一传感器收集的感测数据在与所述第二传感器的FOV重叠的重叠区域中检测到的。
23.根据权利要求21所述的感测数据处理设备，其中所述一个或多个处理器还被配置为：跟踪在所述重叠区域中的关键点和在所述非重叠区域中的关键点，并将所跟踪的关键点应用于针对所述感测数据处理设备的定位。
CN202210392448.7A 2021-10-21 2022-04-14 感测数据处理的方法及设备 Pending CN116017149A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210141142A KR20230057109A (ko) 2021-10-21 2021-10-21 센싱 데이터의 처리 장치 및 방법
KR10-2021-0141142 2021-10-21

Publications (1)

Publication Number Publication Date
CN116017149A true CN116017149A (zh) 2023-04-25

Family

ID=83228550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210392448.7A Pending CN116017149A (zh) 2021-10-21 2022-04-14 感测数据处理的方法及设备

Country Status (5)

Country Link
US (1) US20230128392A1 (zh)
EP (1) EP4181065A3 (zh)
JP (1) JP2023062666A (zh)
KR (1) KR20230057109A (zh)
CN (1) CN116017149A (zh)

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110026600A (ko) * 2009-09-08 2011-03-16 손정영 발산식 방사형 입체카메라
US9135514B2 (en) * 2010-05-21 2015-09-15 Qualcomm Incorporated Real time tracking/detection of multiple targets
US10027952B2 (en) * 2011-08-04 2018-07-17 Trx Systems, Inc. Mapping and tracking system with features in three-dimensional space
US8798357B2 (en) * 2012-07-09 2014-08-05 Microsoft Corporation Image-based localization
US8531519B1 (en) * 2012-09-06 2013-09-10 Google Inc. Automatic multi-device localization and collaboration using cameras
US9495761B2 (en) * 2013-11-04 2016-11-15 The Regents Of The University Of California Environment mapping with automatic motion model selection
EP2977931A1 (en) * 2014-07-24 2016-01-27 Universität Zürich Method for tracking keypoints in a scene
US10176592B2 (en) * 2014-10-31 2019-01-08 Fyusion, Inc. Multi-directional structured image array capture on a 2D graph
WO2017117675A1 (en) * 2016-01-08 2017-07-13 Sulon Technologies Inc. Head mounted device for augmented reality
WO2017172778A1 (en) * 2016-03-28 2017-10-05 Sri International Collaborative navigation and mapping
US20190347822A1 (en) * 2018-05-11 2019-11-14 Qualcomm Incorporated Automatic determination and calibration for spatial relationship between multiple cameras
CA3141704A1 (en) * 2018-05-25 2019-11-28 Packsize International Llc Systems and methods for multi-camera placement
IT201900021399A1 (it) * 2019-11-18 2021-05-18 Telecom Italia Spa Metodo e sistema per lo stitching video
JP7319003B2 (ja) * 2020-01-22 2023-08-01 ノダー インコーポレイテッド 非剛性ステレオ・ビジョン・カメラ・システム
US11967139B2 (en) * 2020-05-19 2024-04-23 Objectvideo Labs, Llc Adversarial masks for false detection removal
US11715213B2 (en) * 2020-06-26 2023-08-01 Intel Corporation Apparatus and methods for determining multi-subject performance metrics in a three-dimensional space
CA3136909A1 (en) * 2020-10-30 2022-04-30 Uatc, Llc SYSTEMS AND METHODS FOR SIMULTANEOUS LOCATION AND MAPPING USING ASYNCHRONOUS MULTI-ANGLE CAMERAS
US11922640B2 (en) * 2021-03-08 2024-03-05 Toyota Research Institute, Inc. Semi-supervised 3D object tracking in videos via 2D semantic keypoints

Also Published As

Publication number Publication date
US20230128392A1 (en) 2023-04-27
EP4181065A2 (en) 2023-05-17
KR20230057109A (ko) 2023-04-28
EP4181065A3 (en) 2023-08-23
JP2023062666A (ja) 2023-05-08

Similar Documents

Publication Publication Date Title
EP3471057B1 (en) Image processing method and apparatus using depth value estimation
CN111024040B (zh) 距离估计方法和设备
CN113272713B (zh) 用于执行自改进的视觉测程法的系统和方法
Scherer et al. Using depth in visual simultaneous localisation and mapping
EP2738517B1 (en) System and methods for feature selection and matching
CN111145139A (zh) 从2d图像中检测3d对象的方法、设备和计算机程序
JP2018511874A (ja) ３次元モデリング方法及び装置
CN110827328B (zh) 自我运动估计方法和装置
EP3182370A1 (en) Method and device for generating binary descriptors in video frames
CN110992405B (zh) 用于输出姿态信息的方法和装置
Shkurti et al. Feature tracking evaluation for pose estimation in underwater environments
CN114972689A (zh) 执行增强现实姿态确定的方法和装置
EP3796261A1 (en) Method and apparatus with location estimation
CN115953464A (zh) 全局定位方法和装置
Honauer et al. The hci stereo metrics: Geometry-aware performance analysis of stereo algorithms
CN115690201A (zh) 姿势估计方法和装置
CN112562087A (zh) 用于估计姿态的方法和装置
US20180357784A1 (en) Method for characterising a scene by computing 3d orientation
CN116017149A (zh) 感测数据处理的方法及设备
US11610330B2 (en) Method and apparatus with pose tracking
Wang et al. A Survey on Approaches of Monocular CAD Model-Based 3D Objects Pose Estimation and Tracking
Chen et al. Performance evaluation of 3D keypoints and descriptors
CN111161357A (zh) 信息处理方法及装置、增强现实设备和可读存储介质
KR102269088B1 (ko) 동공 추적 장치 및 방법
EP3822914B1 (en) Device and method with simultaneous implementation of localization and mapping

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination