CN111047562B - 一种处理方法、装置、电子设备及存储介质 - Google Patents

一种处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111047562B
CN111047562B CN201911174997.1A CN201911174997A CN111047562B CN 111047562 B CN111047562 B CN 111047562B CN 201911174997 A CN201911174997 A CN 201911174997A CN 111047562 B CN111047562 B CN 111047562B
Authority
CN
China
Prior art keywords
target
determining
information
layering
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911174997.1A
Other languages
English (en)
Other versions
CN111047562A (zh
Inventor
孙峰
高立鑫
倪守诚
朱琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Beijing Ltd
Original Assignee
Lenovo Beijing Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Beijing Ltd filed Critical Lenovo Beijing Ltd
Priority to CN201911174997.1A priority Critical patent/CN111047562B/zh
Publication of CN111047562A publication Critical patent/CN111047562A/zh
Application granted granted Critical
Publication of CN111047562B publication Critical patent/CN111047562B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本申请实施例公开了一种处理方法，所述方法包括：对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；确定所述目标分层中的特征点的初始参数信息；根据所述初始参数信息，确定所述特征点的目标参数信息。本申请实施例还公开了一种处理装置、电子设备以及存储介质。

Description

一种处理方法、装置、电子设备及存储介质
技术领域
本申请实施例涉及增强现实(Augmented Reality，AR)领域，涉及但不限于一种处理方法、装置、电子设备及存储介质。
背景技术
相关技术中，在使用惯性测量单元(Inertial Measurement Unit，IMU)的同时定位与建图(Simultaneous Localization and Mapping，SLAM)方案中，SLAM方案的主要任务是计算AR设备中相机的当前位姿，位姿包括旋转和位移。AR设备中相机的位姿不够精确，会使叠加在实景上的虚像发生偏移，影响用户体验。
发明内容
本申请实施例提供了一种处理方法、装置、电子设备及存储介质。
本申请实施例的技术方案是这样实现的：
第一方面，本申请实施例提供一种处理方法，所述方法包括：
对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；
在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；
确定所述目标分层中的特征点的初始参数信息；
根据所述初始参数信息，确定所述特征点的目标参数信息。
第二方面，本申请实施例还提供了一种处理装置，包括：
分层模块，用于对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；
第一确定模块，用于在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；
第二确定模块，用于确定所述目标分层中的特征点的初始参数信息；
第三确定模块，用于根据所述初始参数信息，确定所述特征点的目标参数信息。
第三方面，本申请实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行上述方案中任一项所述处理方法。
第四方面，本申请实施例还提供一种存储介质，其上存储有计算机程序，该计算机程序被处理器处理时实现上述方案中任一项处理方法中的步骤。
本申请实施例中，对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；确定所述目标分层中的特征点的初始参数信息；根据所述初始参数信息，确定所述特征点的目标参数信息；如此，本申请实施例能够根据初始参数信息确定精确的目标参数信息，以使摄像头的位姿估算精确。
附图说明
在附图(其不一定是按比例绘制的)中，相似的附图标记可在不同的视图中描述相似的部件。具有不同字母后缀的相似附图标记可表示相似部件的不同示例。附图以示例而非限制的方式大体示出了本文中所讨论的各个实施例。
图1A为本申请实施例所提供的处理方法的实现流程示意图一；
图1B为本申请实施例所提供的分层效果示意图；
图2为本申请实施例所提供的处理方法的实现流程示意图二；
图3为本申请实施例所提供的处理方法的实现流程示意图三；
图4为本申请实施例所提供的处理方法的实现流程示意图四；
图5为本申请实施例所提供的处理方法的实现流程示意图五；
图6为本申请实施例所提供的目标分层的示意图；
图7为本申请实施例所提供的处理方法的确定位移信息的示意图；
图8为本申请实施例所提供的处理装置的组成结构示意图；
图9为本申请实施例所提供的电子设备的硬件结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请的具体技术方案做进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
在详述本申请实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本申请保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
本申请实施例提供的处理方法可应用于处理装置，处理装置可实施于电子设备上。电子设备对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；确定所述目标分层中的特征点的初始参数信息；根据所述初始参数信息，确定所述特征点的目标参数信息。
本申请实施例提供一种处理方法，该方法应用于实施处理方法的电子设备，电子设备中的各功能模块可以由电子设备(如终端设备、服务器)的硬件资源，如处理器等计算资源、传感器等探测资源、通信资源协同实现。
电子设备可以是任何具有信息处理能力的电子设备，在一种实施例中，电子设备可以是智能终端，例如可以是笔记本等具有无线通信能力的移动终端、AR/VR设备。在另一种实施例中，电子设备还可以是不便移动的具有计算功能的终端设备，比如台式计算机、桌面电脑、服务器等。
当然，本申请实施例不局限于提供为方法和硬件，还可有多种实现方式，例如提供为存储介质(存储有用于执行本申请实施例提供的处理方法的指令)。
图1A为本申请实施例中的处理方法的实现流程示意图一，如图1A所示，该方法包括以下步骤：
步骤101：对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；
这里，电子设备通过摄像头采集目标对象的图像，并对采集到的图像进行分层处理，得到该图像的至少两个分层。
比如：对采集到的图像A进行分层处理，得到该图像A的两个分层包括：分层A1和分层A2；又比如：对采集到的图像B进行分层处理，得到该图像B的三个分层包括：分层B1、分层B2和分层B3。
这里，对采集到的图像进行分层处理时，可以采用光流金字塔法，对采集到的图像进行降采样处理，得到该图像的多个分层。当然，对采集到的图像进行分层处理时，也可采用比特分层、分层聚类等方法，本申请实施例对分层处理的方法不做任何限定。
如图1B所示，对采集到的图像进行分层处理，得到分层11、分层12、分层13和分层14。
步骤102：在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；
其中，指定条件可以包括指定分辨率。这里，在得到采集到的图像的至少两个分层后，确定每一分层的分辨率，将分辨率与指定分辨率一致的分层作为目标分层。
比如：图像A的两个分层包括：分层A1和分层A2，分层A1的分辨率为R1，分层A2的分辨率为R2，指定分辨率为R2，将分层A2作为目标分层；又比如：图像B的三个分层包括：分层B1、分层B2、分层B3和分层B4，分层B1的分辨率为R1，分层B2的分辨率为R2，分层B3的分辨率为R3，分层B4的分辨率为R4，指定分辨率为R3，将分层B3作为目标分层。
这里，指定条件还可以包括指定的分辨率范围，在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层可以包括：在图像的至少两个分层中确定分辨率满足指定的分辨率范围的目标分层。
在一些实施例中，所述在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层，包括：确定所述至少两个分层中每一分层的分辨率；将所述每一分层的分辨率与测距元件的分辨率进行比较；确定分辨率与所述测距元件的分辨率一致的分层为所述目标分层。
步骤103：确定所述目标分层中的特征点的初始参数信息；
这里，得到目标分层后，在目标分层中确定特征点，并确定该特征点的初始参数信息。其中，所述初始参数信息可以包括：深度信息和位移信息。
比如：目标分层为分层A2，在目标分层A2中确定特征点P1，并确定特征点P1的初始参数信息。
在一些实施例中，所述确定所述目标分层中的特征点的初始参数信息，包括：确定所述目标分层中的特征点；确定所述特征点的深度信息和位移信息。
步骤104：根据所述初始参数信息，确定所述特征点的目标参数信息。
这里，在确定特征点的初始参数信息后，将该初始参数信息作为迭代方程的输入值，并对该迭代方程进行迭代，得到该迭代方程的最优解，即该特征点的目标参数信息，其中，目标参数信息可以包括：目标旋转信息和目标位移信息。
在一些实施例中，所述初始参数信息包括：深度信息和位移信息，所述目标参数信息包括：目标旋转信息和目标位移信息；所述根据所述初始参数信息，确定所述特征点的目标参数信息，包括：将所述深度信息和所述位移信息作为几何约束方程的输入；对所述几何约束方程进行迭代，得到所述特征点的目标旋转信息和目标位移信息。
本申请实施例提供的处理方法，对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；确定所述目标分层中的特征点的初始参数信息；根据所述初始参数信息，确定所述特征点的目标参数信息；如此，本申请实施例能够根据初始参数信息确定精确的目标参数信息，以使摄像头的位姿估算精确。
本申请实施例中提供一种处理方法，如图2所示，该方法包括以下步骤：
步骤201：对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；
这里，步骤201参见上述实施例中的步骤101。
步骤202：确定所述至少两个分层中每一分层的分辨率；
这里，在对采集到的图像进行降采样的分层处理后，可以获得该图像的每一分层的分辨率。比如：对图像A进行降采样的分层处理，得到图像A的分层A1的分辨率为P1，得到图像A的分层A2的分辨率为P2。
步骤203：将所述每一分层的分辨率与测距元件的分辨率进行比较；
这里，将测距元件的分辨率确定为指定分辨率，测距元件可以为飞行时间测距(Time of flight，TOF)元件。在确定了采集到的图像的每一分层的分辨率后，将每一分层的分辨率与测距元件的分辨率进行比较。
步骤204：确定分辨率与所述测距元件的分辨率一致的分层为所述目标分层；
这里，在将每一分层的分辨率与测距元件的分辨率进行比较时，可以确定分辨率与测距元件的分辨率一致的分层，将该分层作为目标分层。
比如：图像A的分层A1的分辨率为P1，图像A的分层A2的分辨率为P2，测距元件的分辨率为P2，将分层A1的分辨率P1和分层A2的分辨率P2，分别与测距元件的分辨率P2进行比较，得到分层A2的分辨率P2与测距元件的分辨率P2一致，将分层A2作为目标分层。
步骤205：确定所述目标分层中的特征点的初始参数信息；
步骤206：根据所述初始参数信息，确定所述特征点的目标参数信息。
这里，步骤205至步骤206参见上述实施例中的步骤103至步骤104。
本申请实施例提供的处理方法能够根据测距元件的分辨率，确定分辨率与测距元件的分辨率一致的目标分层，并利用目标分层中的特征点的初始参数信息，得到精确的目标参数信息，以使摄像头的位姿估算精确。
本申请实施例中提供一种处理方法，如图3所示，该方法包括以下步骤：
步骤301：对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；
步骤302：在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；
这里，步骤301至步骤302参见上述实施例中的步骤101至步骤102。
步骤303：确定所述目标分层中的特征点；
这里，在得到目标分层后，在目标分层中确定特征点。在实际应用中，在目标分层中确定特征点时，可以采用harris角点检测法、surf算法等方法，本申请实施例对此不做限制。
步骤304：确定所述特征点的深度信息和位移信息；
这里，在目标分层中确定了特征点后，确定该特征点的深度信息和位移信息。其中，特征点的深度信息可以通过TOF测距方法获得，特征点的位移信息可以通过该特征点的三角关系获得，该三角关系可以为：在不同时刻的深度信息和摄像头在不同时刻的旋转角度之间的三角关系。
在一些实施例中，所述确定所述特征点的深度信息，包括：确定目标对象上对应所述特征点的目标点；利用测距元件对所述目标点进行测距，得到所述测距元件与所述目标点之间的相对距离；将所述相对距离确定为所述特征点的深度信息。
其中，测距元件可以包括：TOF组件、超声波测距传感器等测距元件。
这里，在确定特征点的深度信息时，在目标对象上确定对应该特征点的目标点。利用电子设备上的测距元件对目标对象上的目标点进行测距，得到测距元件与目标点之间的相对距离，将该距离作为该目标点对应的特征点的深度信息。
比如：电子设备通过摄像头采集目标对象A的图像B，图像B的目标分层为C，目标分层C中的特征点为D，在确定特征点D的深度信息时，首先在目标对象A上找到特征点D对应的目标点E，利用电子设备上的测距元件获得测距元件与目标点E之间的相对距离，将该相对距离作为特征点D的深度信息。
在一些实施例中，所述确定所述特征点的位移信息，包括：根据第一时刻的目标分层和第二时刻的目标分层，确定所述摄像头的第一方向与第二方向之间的旋转角度，其中，目标对象对应所述特征点的目标点在所述第一时刻位于所述摄像头的第一方向，所述目标点在所述第二时刻位于所述摄像头的第二方向；获取所述特征点在所述第一时刻的第一深度信息，以及所述特征点在所述第二时刻的第二深度信息；根据所述旋转角度、所述第一深度信息和所述第二深度信息，确定所述特征点的位移信息。
这里，在确定特征点的位移信息时，首先，针对目标对象的目标点，摄像头在第一时刻采集目标对象的第一图像，并确定第一时刻的目标分层，此时，目标点在第一时刻位于摄像头的第一方向；接着，摄像头在第二时刻采集目标对象的第二图像，并确定第二时刻的目标分层，此时，目标点在第二时刻位于摄像头的第二方向。在第一时刻的目标分层中确定目标点对应的第一时刻的特征点，在第二时刻的目标分层中确定目标点对应的第二时刻的特征点，确定第一时刻的特征点、第二时刻的特征点与目标点之间的旋转角度，该旋转角度为摄像头在第一方向与第二方向之间的旋转角度。
比如：目标对象A上具有目标点E，摄像头在t1时刻采集目标对象A的图像B1，并确定t1时刻的目标分层C1。摄像头产生位移，在t2时刻采集目标对象A的图像B2，并确定t2时刻的目标分层C2。在目标分层C1中确定目标点E对应的特征点D1，在目标分层C2中确定目标点E对应的特征点D2，确定特征点D1、特征点D2与目标点E之间的旋转角度Q。
在得到摄像头的旋转角度后，获得特征点在第一时刻的第一深度信息，以及特征点在第二时刻的第二深度信息，根据旋转角度、第一深度信息和第二深度信息之间的三角约束关系，确定位移信息。
比如：t1时刻特征点的深度信息为d1，t2时刻特征点的深度信息为d2，摄像头的旋转角度为Q，根据旋转角度Q、深度信息d1和深度信息d2，确定位移信息T。
步骤305：根据所述初始参数信息，确定所述特征点的目标参数信息。
这里，步骤305参见上述实施例中的步骤104。
本申请实施例提供的处理方法能够获得特征点的深度信息和位移信息，并根据深度信息和位移信息，获得精确的目标参数信息，以使摄像头的位姿估算精确。
本申请实施例中提供一种处理方法，如图4所示，该方法包括以下步骤：
步骤401：对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；
步骤402：在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；
步骤403：确定所述目标分层中的特征点的初始参数信息；
这里，步骤401至步骤403参见上述实施例中的步骤101至步骤103。
步骤404：将所述深度信息和所述位移信息作为几何约束方程的输入；
其中，几何约束方程可以包括：雅可比矩阵方程、海森矩阵方程等约束方程。
这里，在得到深度信息和位移信息之后，将该深度信息和位移信息作为初始输入值，代入几何约束方程中进行计算。
步骤405：对所述几何约束方程进行迭代，得到所述特征点的目标旋转信息和目标位移信息。
其中，所述初始参数信息包括：深度信息和位移信息，所述目标参数信息包括：目标旋转信息和目标位移信息。
这里，将深度信息和位移信息作为初始输入值代入几何约束方程中后，对该几何约束方程进行迭代，直至该几何约束方程收敛，得到特征点的目标旋转信息和目标位移信息。
需要说明的是，本申请实施例对几何约束方程的形式不做任何限定，只要能够得到目标旋转信息和目标位移信息即可。
本申请实施例提供的处理方法能够将深度信息和位移信息作为几何约束方程的输入，得到特征点的目标旋转信息和目标位移信息，以使摄像头的位姿估算精确。
本申请实施例中提供一种处理方法，如图5所示，该方法包括以下步骤：
步骤501：对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；
步骤502：在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；
步骤503：确定所述目标分层中的特征点的初始参数信息；
这里，步骤501至步骤503参见上述实施例中的步骤101至步骤103。
步骤504：确定所述摄像头与测距元件之间的参数关系；
这里，电子设备上设置有摄像头和测距元件，需要标定摄像头和测距元件之间的参数关系。
其中，参数关系包括：位移关系。比如：参数关系包括位移关系，摄像头与测距元件的之间的位移关系为5毫米。
步骤505：根据所述参数关系，对所述特征点的所述深度信息进行修正；
这里，特征点的深度信息是测距元件与目标点之间的相对距离，此时，特征点的深度信息是不准确的，需要使用摄像头和测距元件之间的参数关系对其进行修正，得到摄像头与目标点之间的相对距离，并将摄像头与目标点之间的相对距离作为修正后的深度信息。
比如：电子设备包括摄像头、测距元件，测距元件与摄像头之间的位移关系为5毫米，测距元件与目标点之间的相对距离为9厘米，对测距元件与目标点之间的相对距离进行修正，得到摄像头与目标点之间的相对距离为9.5厘米，将9.5厘米作为修正后的深度信息。
步骤506：将所述深度信息和所述位移信息作为几何约束方程的输入；
步骤507：对所述几何约束方程进行迭代，得到所述特征点的目标旋转信息和目标位移信息。
其中，所述初始参数信息包括：深度信息和位移信息，所述目标参数信息包括：目标旋转信息和目标位移信息。
这里，步骤506至步骤507参见上述实施例中的步骤404至步骤405。
本申请实施例提供的处理方法能够根据摄像头与测距元件之间的参数关系，对特征点的深度信息进行修正，以使初始值准确，从而得到精确的目标旋转信息和目标位移信息。
本申请实施例中通过具体场景对本申请实施例提供的处理方法进行说明。
在本申请实施例中，电子设备通过摄像头采集图像，并建立该图像的光流金字塔，确定光流金字塔中每一层的分辨率，并在光流金字塔的多个分层中确定分辨率与TOF组件的分辨率一致的目标分层，确定该目标分层的特征点，并确定该特征点的深度信息。在特征点三角化及SLAM后端优化中，将深度信息作为初始条件融入深度计算及优化过程中。
本申请实施例的处理方法包括以下步骤：
1)、建立摄像头采集到的图像的光流金字塔，在光流金字塔的多个分层中确定分辨率与TOF组件的分辨率一致的目标分层。
如图6所示，电子设备对摄像头采集的图像进行降采样得到该图像的光流金字塔61，在该图像的光流金子塔61的多个分层中确定分辨率与TOF组件的分辨率62一致的目标分层63。
在实际应用中，TOF组件的分辨率是确定的；TOF组件的分辨率一般比较低，而图像的分辨率一般高于TOF组件的分辨率，这里可以适当裁剪图像，使其长宽比一致，然后建立光流金字塔，控制降采样的过程使图像金字塔的某一层的分辨率和TOF组件的分辨率一致即可。
2)、在目标分层中确定特征点，对该特征点进行光流跟踪，并确定该特征点在不同时刻的深度信息。
这里，如图6所示，确定目标分层63中的特征点64。这里，特征点在一个时刻对应一个深度信息。
这里，该深度信息为TOF组件与目标对象上的目标点之间的距离，该深度信息不准确，可以对该深度信息进行修正。在对深度信息修正时，可以先确定摄像头与TOF组件的外参关系，根据该外参关系对得到的深度信息进行修正，得到修正后的深度信息。其中，外参关系包括：旋转关系和位移关系。
在实际应用中，可以使用最小化重投影误差法获得摄像头与TOF组件的外参关系。
如图7所示，对目标对象上的目标点71进行光流跟踪，此时，在t1时刻得到第一目标分层72，在t2时刻得到第二目标分层73，其中，第一目标分层72中的第一特征点为74对应目标点71，第二目标分层73中的第二特征点为75对应目标点71，第一特征点为74的深度信息为d1，第二特征点为75的深度信息为d2。
这里，不同时刻之间的位移信息T可以根据深度信息d1、深度信息d2和摄像头的旋转夹角Q的三角关系计算得到。其中，摄像头的旋转夹角Q可以通过从运动信息中恢复三维场景结构(Structure from Motion，SFM)的算法得到。根据目标对象的目标点及其投影位置，通过八点法或者五点法计算出两帧图像之间的基础矩阵，再转换得到旋转夹角。
根据摄像头的旋转夹角Q、深度信息d1、深度信息d2与位移信息T形成的三角约束关系，计算得到位移信息T。在得到不同时刻的深度信息、不同时刻之间的摄像头的位移信息后，将该深度信息和该位移信息作为后端优化的精确初始值。
3)、在SLAM后端优化中，将不同时刻的深度信息和不同时刻之间的摄像头的位移信息作为较为精确的初始值加入到优化过程中，得到精确的旋转信息和位移信息。
这里，在优化过程中，可以采用雅可比(jacobian)矩阵，对其进行非线性求解，得到精确的旋转信息和位移信息。
本申请实施例能够解决采用IMU的SLAM方案的摄像头位姿估算不够精确的问题，且本申请实施例在不增加算法复杂度和硬件成本的情况下，在精度方面有优势。
本申请实施例还提供一种处理装置，该装置所包括的各模块、各模块所包括的各单元，各单元所包括的各子单元，可以通过处理装置的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列(FPGA)等。
如图8所示，处理装置80包括：
分层模块801，用于对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；
第一确定模块802，用于在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；
第二确定模块803，用于确定所述目标分层中的特征点的初始参数信息；
第三确定模块804，用于根据所述初始参数信息，确定所述特征点的目标参数信息。
在一些实施例中，第一确定模块802包括：第一确定单元、比较单元和第二确定单元；其中，
第一确定单元，用于确定所述至少两个分层中每一分层的分辨率；
比较单元，用于将所述每一分层的分辨率与测距元件的分辨率进行比较；
第二确定单元，用于确定分辨率与所述测距元件的分辨率一致的分层为所述目标分层。
在一些实施例中，第二确定模块803包括：第三确定单元和第四确定单元；其中，
第三确定单元，用于确定所述目标分层中的特征点；
第四确定单元，用于确定所述特征点的深度信息和位移信息。
在一些实施例中，第四确定单元包括：第一确定子单元、第二确定子单元和第三确定子单元；其中，
第一确定子单元，用于确定目标对象上对应所述特征点的目标点；
第二确定子单元，用于利用测距元件对所述目标点进行测距，得到所述测距元件与所述目标点之间的相对距离；
第三确定子单元，用于将所述相对距离确定为所述特征点的深度信息。
在一些实施例中，第四确定单元包括：第四确定子单元、获取子单元和第五确定子单元；其中，
第四确定子单元，用于根据第一时刻的目标分层和第二时刻的目标分层，确定所述摄像头的第一方向与第二方向之间的旋转角度，其中，目标对象对应所述特征点的目标点在所述第一时刻位于所述摄像头的第一方向，所述目标点在所述第二时刻位于所述摄像头的第二方向；
获取子单元，用于获取所述特征点在所述第一时刻的第一深度信息，以及所述特征点在所述第二时刻的第二深度信息；
第五确定子单元，用于根据所述旋转角度、所述第一深度信息和所述第二深度信息，确定所述特征点的位移信息。
在一些实施例中，所述初始参数信息包括：深度信息和位移信息，所述目标参数信息包括：目标旋转信息和目标位移信息；第三确定模块803包括：输入单元和迭代单元；其中，
输入单元，用于将所述深度信息和所述位移信息作为几何约束方程的输入；
迭代单元，用于对所述几何约束方程进行迭代，得到所述特征点的目标旋转信息和目标位移信息。
在一些实施例中，处理装置80还包括：第四确定模块和修正模块；其中，第四确定模块，用于确定所述摄像头与测距元件之间的参数关系；
修正模块，用于根据所述参数关系，对所述特征点的所述深度信息进行修正。
需要说明的是：上述实施例提供的处理装置在处理时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的处理装置与处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图9所示的电子设备90包括：至少一个处理器910、存储器940、至少一个网络接口920和用户接口930。电子设备90中的各个组件通过总线系统950耦合在一起。可理解，总线系统950用于实现这些组件之间的连接通信。总线系统950除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统950。
用户接口930可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
存储器940可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(ROM，Read Only Memory)。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本发明实施例描述的存储器940旨在包括任意适合类型的存储器。
本发明实施例中的存储器940能够存储数据以支持电子设备90的操作。这些数据的示例包括：用于在电子设备90上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
其中，处理器910用于运行所述计算机程序时，以实现上述实施例中提供的处理方法中的步骤。
作为本发明实施例提供的方法采用软硬件结合实施的示例，本发明实施例所提供的方法可以直接体现为由处理器910执行的软件模块组合，例如本本发明实施例提供的处理装置，处理装置的软件模块可以存储于存储器940，处理器910读取存储器940中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器910以及连接到总线950的其他组件)完成本发明实施例提供的处理方法。
作为示例，处理器910可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
这里需要指出的是：以上电子设备实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本申请电子设备实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解，为节约篇幅，这里不再赘述。
在示例性实施例中，本申请实施例还提供了一种存储介质，可以为计算机可读存储介质，例如包括存储计算机程序的存储器，上述计算机程序可由处理器处理，以完成前述方法所述步骤。计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、Flash Memory、磁表面存储器、光盘、或CD-ROM等存储器。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器处理时实现上述实施例中提供的处理方法中的步骤。
这里需要指出的是：以上计算机介质实施例项的描述，与上述方法描述是类似的，具有同方法实施例相同的有益效果，因此不做赘述。对于本申请存储介质实施例中未披露的技术细节，本领域的技术人员请参照本申请方法实施例的描述而理解，为节约篇幅，这里不再赘述。
上述本申请实施例揭示的方法可以应用于所述处理器中，或者由所述处理器实现。所述处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过所述处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的所述处理器可以是通用处理器、DSP，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。所述处理器可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器，所述处理器读取存储器中的信息，结合其硬件完成前述方法的步骤。
可以理解，本申请实施例的存储器(存储器)可以是易失性存储器或者非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是ROM、可编程只读存储器(PROM，Programmable Read-Only Memory)、可擦除可编程只读存储器(EPROM，Erasable Programmable Read-Only Memory)、电可擦除可编程只读存储器(EEPROM，Electrically Erasable Programmable Read-Only Memory)、磁性随机存取存储器(FRAM，ferromagnetic random access memory)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(CD-ROM，Compact Disc Read-Only Memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(RAM，Random Access Memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，Static Random Access Memory)、同步静态随机存取存储器(SSRAM，Synchronous Static Random Access Memory)、动态随机存取存储器(DRAM，DynamicRandom Access Memory)、同步动态随机存取存储器(SDRAM，Synchronous Dynamic RandomAccess Memory)、双倍数据速率同步动态随机存取存储器(DDRSDRAM，Double Data RateSynchronous Dynamic Random Access Memory)、增强型同步动态随机存取存储器(ESDRAM，Enhanced Synchronous Dynamic Random Access Memory)、同步连接动态随机存取存储器(SLDRAM，SyncLink Dynamic Random Access Memory)、直接内存总线随机存取存储器(DRRAM，Direct Rambus Random Access Memory)。本申请实施例描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
本领域内的技术人员应明白，本申请实施例的处理方法的其他构成以及作用，对于本领域的技术人员而言都是已知的，为了减少冗余，本申请实施例不做赘述。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”“具体示例”或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本申请的实施例，本领域的普通技术人员可以理解：在不脱离本申请的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本申请的范围由权利要求及其等同限定。

Claims (9)

1.一种处理方法，所述方法包括：
对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；
在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；
确定所述目标分层中的特征点；
确定所述特征点的深度信息和位移信息；
根据所述深度信息和所述位移信息，确定所述特征点的目标参数信息。
2.根据权利要求1所述的方法，所述在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层，包括：
确定所述至少两个分层中每一分层的分辨率；
将所述每一分层的分辨率与测距元件的分辨率进行比较；
确定分辨率与所述测距元件的分辨率一致的分层为所述目标分层。
3.根据权利要求1所述的方法，所述确定所述特征点的深度信息，包括：
确定目标对象上对应所述特征点的目标点；
利用测距元件对所述目标点进行测距，得到所述测距元件与所述目标点之间的相对距离；
将所述相对距离确定为所述特征点的深度信息。
4.根据权利要求1所述的方法，所述确定所述特征点的位移信息，包括：
根据第一时刻的目标分层和第二时刻的目标分层，确定所述摄像头的第一方向与第二方向之间的旋转角度，其中，目标对象对应所述特征点的目标点在所述第一时刻位于所述摄像头的第一方向，所述目标点在所述第二时刻位于所述摄像头的第二方向；
获取所述特征点在所述第一时刻的第一深度信息，以及所述特征点在所述第二时刻的第二深度信息；
根据所述旋转角度、所述第一深度信息和所述第二深度信息，确定所述特征点的位移信息。
5.根据权利要求1至4任一项所述的方法，所述目标参数信息包括：目标旋转信息和目标位移信息；
所述根据所述深度信息和所述位移信息，确定所述特征点的目标参数信息，包括：
将所述深度信息和所述位移信息作为几何约束方程的输入；
对所述几何约束方程进行迭代，得到所述特征点的目标旋转信息和目标位移信息。
6.根据权利要求5所述的方法，所述方法还包括：
确定所述摄像头与测距元件之间的参数关系；
根据所述参数关系，对所述特征点的所述深度信息进行修正。
7.一种处理装置，所述装置包括：
分层模块，用于对摄像头采集到的图像进行分层处理，得到所述图像的至少两个分层；
第一确定模块，用于在所述图像的至少两个分层中确定分辨率满足指定条件的目标分层；
第二确定模块，用于确定所述目标分层中的特征点；
第三确定模块，用于确定所述特征点的深度信息和位移信息；
第四确定模块，用于根据所述深度信息和所述位移信息，确定所述特征点的目标参数信息。
8.一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器；其中，所述处理器用于运行所述计算机程序时，执行权利要求1至6任一项所述处理方法。
9.一种存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现权利要求1至6任一项所述处理方法。
CN201911174997.1A 2019-11-26 2019-11-26 一种处理方法、装置、电子设备及存储介质 Active CN111047562B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911174997.1A CN111047562B (zh) 2019-11-26 2019-11-26 一种处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911174997.1A CN111047562B (zh) 2019-11-26 2019-11-26 一种处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111047562A CN111047562A (zh) 2020-04-21
CN111047562B true CN111047562B (zh) 2023-09-19

Family

ID=70233416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911174997.1A Active CN111047562B (zh) 2019-11-26 2019-11-26 一种处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN111047562B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785427B1 (en) * 2000-09-20 2004-08-31 Arcsoft, Inc. Image matching using resolution pyramids with geometric constraints
CN108476311A (zh) * 2015-11-04 2018-08-31 奇跃公司 基于眼睛追踪的动态显示校准
CN109084746A (zh) * 2017-06-14 2018-12-25 来福机器人 用于具有辅助传感器的自主平台引导系统的单目模式

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6785427B1 (en) * 2000-09-20 2004-08-31 Arcsoft, Inc. Image matching using resolution pyramids with geometric constraints
CN108476311A (zh) * 2015-11-04 2018-08-31 奇跃公司 基于眼睛追踪的动态显示校准
CN109084746A (zh) * 2017-06-14 2018-12-25 来福机器人 用于具有辅助传感器的自主平台引导系统的单目模式

Also Published As

Publication number Publication date
CN111047562A (zh) 2020-04-21

Similar Documents

Publication Publication Date Title
CN107909612B (zh) 一种基于3d点云的视觉即时定位与建图的方法与系统
WO2019169540A1 (zh) 紧耦合视觉slam的方法、终端及计算机可读存储介质
CN113470091B (zh) 轮毂点云配准方法、装置、电子设备和存储介质
CN114488097A (zh) 激光雷达的外参标定方法、计算机设备及计算机存储介质
CN113793387A (zh) 单目散斑结构光系统的标定方法、装置及终端
Yang et al. Robust and real-time pose tracking for augmented reality on mobile devices
CN112233148A (zh) 目标运动的估计方法、设备及计算机存储介质
CN117761722A (zh) 激光雷达slam退化检测方法、系统、电子设备及存储介质
CN109866217B (zh) 机器人里程定位方法、装置、终端设备及计算机存储介质
CN111047562B (zh) 一种处理方法、装置、电子设备及存储介质
CN111882494B (zh) 位姿图处理方法、装置、计算机设备和存储介质
CN113034582A (zh) 位姿优化装置及方法、电子设备及计算机可读存储介质
CN115294280A (zh) 三维重建方法、装置、设备、存储介质和程序产品
CN110956131A (zh) 单目标追踪方法、装置及系统
CN111077999B (zh) 一种信息处理方法、设备及系统
US11550460B1 (en) Systems for leveraging device orientation to modify visual characteristics of edits
CN115147497A (zh) 一种标定方法、装置及电子设备
CN115585805A (zh) 车辆定位方法、定位装置、定位系统以及车辆
CN111862141B (zh) Agv装置运动精度的评估方法、装置、介质及电子设备
CN113159197A (zh) 一种纯旋转运动状态判定方法及装置
US10430920B2 (en) Content-conforming stamp tool
CN112414444B (zh) 一种数据标定方法、计算机设备、存储介质
CN110180185B (zh) 一种时间延迟测量方法、装置、系统及存储介质
CN110264524B (zh) 一种标定方法、装置、系统及存储介质
CN117687042B (zh) 一种多雷达数据融合方法、系统和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant