CN113240741B - 基于图像差异的透明物体追踪方法、系统 - Google Patents

基于图像差异的透明物体追踪方法、系统 Download PDF

Info

Publication number
CN113240741B
CN113240741B CN202110492263.9A CN202110492263A CN113240741B CN 113240741 B CN113240741 B CN 113240741B CN 202110492263 A CN202110492263 A CN 202110492263A CN 113240741 B CN113240741 B CN 113240741B
Authority
CN
China
Prior art keywords
infrared thermal
transparent
visible light
image data
light image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110492263.9A
Other languages
English (en)
Other versions
CN113240741A (zh
Inventor
吴涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qingdao Xiaoniao Kankan Technology Co Ltd
Original Assignee
Qingdao Xiaoniao Kankan Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qingdao Xiaoniao Kankan Technology Co Ltd filed Critical Qingdao Xiaoniao Kankan Technology Co Ltd
Priority to CN202110492263.9A priority Critical patent/CN113240741B/zh
Publication of CN113240741A publication Critical patent/CN113240741A/zh
Priority to PCT/CN2021/122660 priority patent/WO2022233111A1/zh
Priority to US17/881,557 priority patent/US11645764B2/en
Application granted granted Critical
Publication of CN113240741B publication Critical patent/CN113240741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于图像差异的透明物体追踪方法、系统，首先通过样本数据训练卷积神经网络以生成透明物体检测模型，再将实时获取的可见光图像数据和红外热图像数据输入透明物体检测模型以获取可见光图像透明像素标识和红外热图像透明像素标识，而后计算红外热图像数据中红外热图像透明像素标识下的每一像素在红外热成像摄像机坐标系中的三维点云信息，从而根据三维点云信息获取红外热图像透明像素标识下的每一像素对应在可见光图像数据中的位置坐标，并将位置坐标与可见光图像透明像素标识相拟合以获取透明物体的追踪信息，如此，通过检测两种图像所确定的透明位置之间的差异来实现高精度检测，以更精准的提取场景中的透明物体的位置信息。

Description

基于图像差异的透明物体追踪方法、系统
技术领域
本发明涉及虚拟现实技术领域，更为具体地，涉及一种基于图像差异的透明物体追踪方法、系统。
背景技术
物体检测在虚拟现实(VR)、增强现实(AR)、混合现实(MR)领域中应用广泛，比如在VR/MR的多任务办公系统交互中，需要在VR的See through透视模式下，开放多个虚拟任务窗口来模拟现实环境中的多个电脑屏幕显示器，同时显示处理多个任务。这些虚拟任务窗口需要和See through透视模式下的真实环境下的办公桌面进行叠加交互，以模拟在真实环境下的办公桌面上放置多个显示器设备。而以上均需要通过计算机视觉处理算法、图像处理方法和图形渲染技术，解决多个虚拟任务窗口叠加到现实环境下的办公桌面上，达到一比一高精度还原。
又比如在AR领域的场景交互中，常常需要检测真实环境中的一些关键物体，例如桌子、凳子、沙发等一些常见物体，基于计算机视觉处理算法、图像处理方法和图形渲染技术，通过用户佩戴的AR眼镜进而达到和这些真实环境中的物体产生一些虚实交互。一般而言，人工现实交互是在呈现给用户之前以某种方式调整的现实的一种形式，其可包括例如VR、AR、MR、混合现实或其某些组合和/或衍生物。
目前在人工现实系统中，主要通过可见光相机、红外相机或者基于结构光或者基于飞行时间的深度相机，或者几个之间相互配合进行物体检测，但是由于成像技术的限制，一些物体还是难以检测，或者检测精度较低，特别是透明物体，比如一个房间的玻璃门、一个茶桌上的玻璃杯子，又比如一个玻璃桌子等，可能无法检测或无法辨别，严重影响了人工现实系统的一些比较有意思的虚拟和现实交互的用户体验。
因此，亟需一种能够高精度检测和提取场景中的透明物体的方法、系统。
发明内容
鉴于上述问题，本发明的目的是提供一种基于图像差异的透明物体追踪方法、系统，以解决目前在人工现实系统中一些物体难以检测或者检测精度较低，特别是对于透明物体可能无法检测或无法辨别的问题，以改进人工现实系统的一些比较有意思的虚拟和现实交互的用户体验。
本发明提供的一种基于图像差异的透明物体追踪方法，包括：
通过样本数据训练卷积神经网络以生成透明物体检测模型；
将实时获取的可见光图像数据和红外热图像数据输入所述透明物体检测模型以获取可见光图像透明像素标识和红外热图像透明像素标识；
计算所述红外热图像数据中所述红外热图像透明像素标识下的每一像素在红外热成像摄像机坐标系中的三维点云信息；其中，所述红外热成像摄像机为获取所述红外热图像数据的相机；
根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素对应在所述可见光图像数据中的位置坐标，并将所述位置坐标与所述可见光图像透明像素标识相拟合以获取透明物体的追踪信息。
优选地，所述样本数据为通过头戴显示器采集的数据，并且所述样本数据包括可见光图像数据和红外热图像数据。
优选地，在将所述可见光图像数据和红外热图像数据输入所述透明物体检测模型以获取可见光图像透明像素标识和红外热图像透明像素标识的步骤中，包括：
通过所述透明物体检测模型对所述可见光图像数据和所述红外热图像数据中的每一像素进行检测判断，若将所述可见光图像数据和红外热图像数据中的像素判断为透明物体像素，则在所述透明物体像素上标记透明像素标识；
其中，
所述可见光图像数据上的透明像素标识为可见光图像透明像素标识；
所述红外热图像数据上的透明像素标识为红外热图像透明像素标识。
优选地，在根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素对应在所述可见光图像数据中的位置坐标之前，还包括：
通过相机标定获取环境捕捉摄像机与红外热成像摄像机之间的校准参数；其中，
所述环境捕捉摄像机为获取所述可见光图像数据的相机。
优选地，根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素对应在所述可见光图像数据中的位置坐标的步骤，包括：
根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素与所述红外热成像摄像机的位置关系；
根据所述位置关系与所述校准参数获取所述红外热图像透明像素标识下的每一像素与所述环境捕捉摄像机的对应矩阵，并获取所述可见光图像数据在所述环境捕捉摄像机坐标系中的三维信息；
根据所述对应矩阵与所述三维信息确定所述红外热图像透明像素标识下的每一像素在所述可见光图像数据中的位置坐标。
优选地，将所述位置坐标与所述可见光图像透明像素标识相拟合以获取透明物体的追踪信息之后，还包括：
通过所述追踪信息锁定透明物体的目标区域；
在所述目标区域上进行渲染和叠加以完成透明物体的追踪。
本发明还提供一种基于图像差异的透明物体追踪系统，实现前述的基于图像差异的透明物体追踪方法，包括计算机、人工现实交互装置；其中，
所述计算机用于通过样本数据训练卷积神经网络以生成透明物体检测模型；
所述人工现实交互装置包括环境捕捉摄像机、红外热成像摄像机和处理器，其中所述环境捕捉摄像机、所述红外热成像摄像机分别用于实时获取可见光图像数据和红外热图像数据；
所述处理器包括检测模块、位置对应模块和信息计算模块，其中，
所述检测模块中存储有所述透明物体检测模型，用于将所述可见光图像数据和红外热图像数据输入所述透明物体检测模型以获取可见光图像透明像素标识和红外热图像透明像素标识；
所述位置对应模块用于计算所述红外热图像数据中所述红外热图像透明像素标识下的每一像素在红外热成像摄像机坐标系中的三维点云信息；
所述信息计算模块用于根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素对应在所述可见光图像数据中的位置坐标，并将所述位置坐标与所述可见光图像透明像素标识相拟合以获取透明物体的追踪信息。
优选地，所述环境捕捉摄像机与所述红外热成像摄像机的捕捉视野重合度至少为80％，并且所述环境捕捉摄像机与所述红外热成像摄像机帧同步。
优选地，所述环境捕捉摄像机为可见光相机。
从上面的技术方案可知，本发明提供的基于图像差异的透明物体追踪方法、系统，首先通过样本数据训练卷积神经网络以生成透明物体检测模型，再将实时获取的可见光图像数据和红外热图像数据输入透明物体检测模型以获取可见光图像透明像素标识和红外热图像透明像素标识，而后计算红外热图像数据中红外热图像透明像素标识下的每一像素在红外热成像摄像机坐标系中的三维点云信息，从而根据三维点云信息获取红外热图像透明像素标识下的每一像素对应在可见光图像数据中的位置坐标，并将位置坐标与可见光图像透明像素标识相拟合以获取透明物体的追踪信息，如此，由于可见光图像数据和红外热图像数据来自同一场景，同一物体的不同图像特征，故通过获取两种不同图像的特征，和检测两种特征之间的差异来实现高精度检测，以更精准的提取场景中的透明物体的位置信息。
附图说明
通过参考以下结合附图的说明书内容，并且随着对本发明的更全面理解，本发明的其它目的及结果将更加明白及易于理解。在附图中：
图1为根据本发明实施例的基于图像差异的透明物体追踪方法的流程图；
图2为根据本发明实施例的基于图像差异的透明物体追踪系统的示意图。
具体实施方式
目前在人工现实系统中，主要通过可见光相机，红外相机，或者基于结构光或者基于飞行时间的深度相机，或者几个之间相互配合进行物体检测，但是由于成像技术的限制，一些物体还是难以检测，或者检测精度较低，特别是，透明物体，比如一个房间的玻璃门，比如一个茶桌上的玻璃杯子，又比如一个玻璃桌子等，可能无法检测或无法辨别，严重影响了人工现实系统的一些比较有意思的虚拟和现实交互的用户体验。
针对上述问题，本发明提供一种基于图像差异的透明物体追踪方法、系统，以下将结合附图对本发明的具体实施例进行详细描述。
为了说明本发明提供的基于光场感知的眼球追踪系统，图1对本发明实施例的基于图像差异的透明物体追踪方法进行了示例性标示；图2对本发明实施例的基于图像差异的透明物体追踪系统进行了示例性标示。
以下示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。对于相关领域普通技术人员已知的技术和设备可能不作详细讨论，但在适当情况下，所述技术和设备应当被视为说明书的一部分。
如图1所示，本发明实施例的基于图像差异的透明物体追踪方法，包括：
S110：通过样本数据训练卷积神经网络以生成透明物体检测模型；
S120：将实时获取的可见光图像数据和红外热图像数据输入所述透明物体检测模型以获取可见光图像透明像素标识和红外热图像透明像素标识；
S130：计算所述红外热图像数据中所述红外热图像透明像素标识下的每一像素在红外热成像摄像机坐标系中的三维点云信息；其中，所述红外热成像摄像机为获取所述红外热图像数据的相机；
S140：根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素对应在所述可见光图像数据中的位置坐标，并将所述位置坐标与所述可见光图像透明像素标识相拟合以获取透明物体的追踪信息。
在图1所示的实施例中，步骤S110为通过样本数据训练卷积神经网络以生成透明物体检测模型，其中，该样本数据为通过头戴显示器采集的数据，并且该样本数据包括可见光图像数据和红外热图像数据，该样本数据的具体数量不作具体限制，在本实施例中，该样本数据约为300万张，通过数据标注，数据清洗，基于卷积神经网络架训练出高精度的透明物体检测模型。
在图1所示的实施例中，步骤S120为实时获取可见光图像数据和红外热图像数据，并将该实时获取的可见光图像数据和红外热图像数据输入透明物体检测模型以获取可见光图像透明像素标识和红外热图像透明像素标识，其中，
通过该透明物体检测模型对可见光图像数据和红外热图像数据中的每一像素进行检测判断，若将可见光图像数据和红外热图像数据中的像素判断为透明物体像素，则在透明物体像素上标记透明像素标识；其中，
该可见光图像数据上的透明像素标识为可见光图像透明像素标识；
该红外热图像数据上的透明像素标识为红外热图像透明像素标识；
该透明像素标识标记为1，除所述透明像素标识以外的像素标记为0。
在图1所示的实施例中，步骤S130为计算红外热图像数据中红外热图像透明像素标识下的每一像素在红外热成像摄像机坐标系中的三维点云信息；该红外热成像摄像机为获取红外热图像数据的相机，其中，在步骤S130之前，还包括：
S130-1：通过相机标定获取环境捕捉摄像机与红外热成像摄像机之间的校准参数；其中，该环境捕捉摄像机为获取可见光图像数据的相机；该步骤可以在步骤S130之前任意时刻进行，甚至可以在安装两个相机后立即获取，并且该数据在不变动两个相机的位置的情况下保持不变，故该校准参数可以一直使用；
根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素对应在所述可见光图像数据中的位置坐标的步骤，包括：
S131：根据三维点云信息获取红外热图像透明像素标识下的每一像素与红外热成像摄像机的位置关系；
S132：根据位置关系与校准参数获取红外热图像透明像素标识下的每一像素与环境捕捉摄像机的对应矩阵，并获取可见光图像数据在环境捕捉摄像机坐标系中的三维信息；
S133：根据对应矩阵与所述三维信息确定红外热图像透明像素标识下的每一像素在可见光图像数据中的位置坐标。
步骤S140为根据三维点云信息获取所述红外热图像透明像素标识下的每一像素对应在可见光图像数据中的位置坐标，并将位置坐标与可见光图像透明像素标识相拟合以获取透明物体的追踪信息，即通过可将光图像直接获取可见光图像透明像素标识以初步确认透明物的区域，再通过红外热图像透明像素标识推导对应至可见光图像上，通过对比可见光图像透明像素标识所覆盖的第一区域与红外热图像透明像素标识下的每一像素对应在可见光图像数据中的位置坐标所覆盖的第二区域，从而拟合出两片区域相重合的部分为深度部分，仅出现在第一区域或第二区域中一次的部分为浅显部分，而后根据该深度部分和浅显部分能够精准的估计出透明物体的所在位置，即检测两种特征之间的差异来实现高精度检测，如此更精准的提取场景中的透明物体的位置信息。
此外，在步骤S140之后，还包括步骤S150：
S151：通过追踪信息锁定透明物体的目标区域；
S152：在目标区域上进行渲染和叠加以完成透明物体的追踪；
如此通过计算机视觉处理算法，图像处理方法和图形渲染技术，在目标区域进行透明物体的渲染和叠加，从而达到虚拟现实场景的一比一高精度还原。
如上所述，本发明提供的基于图像差异的透明物体追踪方法，首先通过样本数据训练卷积神经网络以生成透明物体检测模型，再将实时获取的可见光图像数据和红外热图像数据输入透明物体检测模型以获取可见光图像透明像素标识和红外热图像透明像素标识，而后计算红外热图像数据中红外热图像透明像素标识下的每一像素在红外热成像摄像机坐标系中的三维点云信息，从而根据三维点云信息获取红外热图像透明像素标识下的每一像素对应在可见光图像数据中的位置坐标，并将位置坐标与可见光图像透明像素标识相拟合以获取透明物体的追踪信息，从而再通过计算机视觉处理算法，图像处理方法和图形渲染技术，根据该追踪信息进行透明物体的渲染和叠加，进而达到虚拟现实场景的一比一高精度还原。
如图2所示，本发明还提供一种基于图像差异的透明物体追踪系统100，实现如前所述的基于图像差异的透明物体追踪方法，包括计算机110、人工现实交互装置120；其中，
该计算机110用于通过样本数据训练卷积神经网络以生成透明物体检测模型；
该人工现实交互装置120包括环境捕捉摄像机121、红外热成像摄像机122和处理器123，其中该环境捕捉摄像机121、该红外热成像摄像机122分别用于实时获取可见光图像数据和红外热图像数据；
该处理器123包括检测模块123-1、位置对应模块123-2和信息计算模块123-3，其中，
该检测模块123-1中存储有透明物体检测模型，用于将可见光图像数据和红外热图像数据输入透明物体检测模型以获取可见光图像透明像素标识和红外热图像透明像素标识；
该位置对应模块123-2用于计算红外热图像数据中红外热图像透明像素标识下的每一像素在红外热成像摄像机坐标系中的三维点云信息；
该信息计算模块123-3用于根据所述三维点云信息获取红外热图像透明像素标识下的每一像素对应在可见光图像数据中的位置坐标，并将所述位置坐标与所述可见光图像透明像素标识相拟合以获取透明物体的追踪信息。
其中，该环境捕捉摄像机121与红外热成像摄像机122的捕捉视野重合度至少为80％，在本实施例中该环境捕捉摄像机121为可见光相机，并且该环境捕捉摄像机121与红外热成像摄像机122帧同步，两个摄像机同步捕捉外界环境信息；在本实施例中，该环境捕捉摄像机121与红外热成像摄像机122的帧率最少为30Hz，所获取的图像数据的分辨率为640*480即可满足精度，分辨率越高物体检测的时间复杂度越大，在此不作具体限制。
通过上述实施方式可以看出，本发明提供的基于图像差异的透明物体追踪方法、系统，首先通过样本数据训练卷积神经网络以生成透明物体检测模型，再将实时获取的可见光图像数据和红外热图像数据输入透明物体检测模型以获取可见光图像透明像素标识和红外热图像透明像素标识，而后计算红外热图像数据中红外热图像透明像素标识下的每一像素在红外热成像摄像机坐标系中的三维点云信息，从而根据三维点云信息获取红外热图像透明像素标识下的每一像素对应在可见光图像数据中的位置坐标，并将位置坐标与可见光图像透明像素标识相拟合以获取透明物体的追踪信息，如此，能够检测、标记透明物体并分配估计的深度值，并且由于可见光图像数据和红外热图像数据来自同一场景，同一物体的不同图像特征，通过获取两种不同图像的特征，和检测两种特征之间的差异来实现高精度检测，以更精准的提取场景中的透明物体的位置信息。
如上参照附图以示例的方式描述了根据本发明提出的基于图像差异的透明物体追踪方法、系统。但是，本领域技术人员应当理解，对于上述本发明所提出的基于图像差异的透明物体追踪方法、系统，还可以在不脱离本发明内容的基础上做出各种改进。因此，本发明的保护范围应当由所附的权利要求书的内容确定。

Claims (8)

1.一种基于图像差异的透明物体追踪方法，其特征在于，包括：
通过样本数据训练卷积神经网络以生成透明物体检测模型；
将实时获取的可见光图像数据和红外热图像数据输入所述透明物体检测模型，以获取可见光图像透明像素标识和红外热图像透明像素标识；
计算所述红外热图像数据中所述红外热图像透明像素标识下的每一像素在红外热成像摄像机坐标系中的三维点云信息；其中，所述红外热成像摄像机为获取所述红外热图像数据的相机；
根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素对应在所述可见光图像数据中的位置坐标，并将所述位置坐标与所述可见光图像透明像素标识相拟合以获取透明物体的追踪信息；其中，根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素对应在所述可见光图像数据中的位置坐标的步骤，包括：
根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素与所述红外热成像摄像机的位置关系；
根据所述位置关系与预获取的校准参数获取所述红外热图像透明像素标识下的每一像素与环境捕捉摄像机的对应矩阵，并获取所述可见光图像数据在所述环境捕捉摄像机坐标系中的三维信息；
根据所述对应矩阵与所述三维信息确定所述红外热图像透明像素标识下的每一像素在所述可见光图像数据中的位置坐标。
2.如权利要求1所述的基于图像差异的透明物体追踪方法，其特征在于，
所述样本数据为通过头戴显示器采集的数据，并且所述样本数据包括可见光图像数据和红外热图像数据。
3.如权利要求2所述的基于图像差异的透明物体追踪方法，其特征在于，在将所述可见光图像数据和红外热图像数据输入所述透明物体检测模型以获取可见光图像透明像素标识和红外热图像透明像素标识的步骤中，包括：
通过所述透明物体检测模型对所述可见光图像数据和所述红外热图像数据中的每一像素进行检测判断，若将所述可见光图像数据和红外热图像数据中的像素判断为透明物体像素，则在所述透明物体像素上标记透明像素标识；其中，
所述可见光图像数据上的透明像素标识为可见光图像透明像素标识；
所述红外热图像数据上的透明像素标识为红外热图像透明像素标识。
4.如权利要求3所述的基于图像差异的透明物体追踪方法，其特征在于，在根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素对应在所述可见光图像数据中的位置坐标之前，还包括：
通过相机标定获取环境捕捉摄像机与红外热成像摄像机之间的校准参数；其中，
所述环境捕捉摄像机为获取所述可见光图像数据的相机。
5.如权利要求4所述的基于图像差异的透明物体追踪方法，其特征在于，将所述位置坐标与所述可见光图像透明像素标识相拟合以获取透明物体的追踪信息之后，还包括：
通过所述追踪信息锁定透明物体的目标区域；
在所述目标区域上进行渲染和叠加以完成透明物体的追踪。
6.一种基于图像差异的透明物体追踪系统，其特征在于，实现如权利要求1-5任一所述的基于图像差异的透明物体追踪方法，包括计算机、人工现实交互装置；其中，
所述计算机用于通过样本数据训练卷积神经网络以生成透明物体检测模型；
所述人工现实交互装置包括环境捕捉摄像机、红外热成像摄像机和处理器，其中所述环境捕捉摄像机、所述红外热成像摄像机分别用于实时获取可见光图像数据和红外热图像数据；
所述处理器包括检测模块、位置对应模块和信息计算模块，其中，
所述检测模块中存储有所述透明物体检测模型，用于将所述可见光图像数据和红外热图像数据输入所述透明物体检测模型以获取可见光图像透明像素标识和红外热图像透明像素标识；
所述位置对应模块用于计算所述红外热图像数据中所述红外热图像透明像素标识下的每一像素在红外热成像摄像机坐标系中的三维点云信息；
所述信息计算模块用于根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素对应在所述可见光图像数据中的位置坐标，并将所述位置坐标与所述可见光图像透明像素标识相拟合以获取透明物体的追踪信息；其中，根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素对应在所述可见光图像数据中的位置坐标的步骤，包括：
根据所述三维点云信息获取所述红外热图像透明像素标识下的每一像素与所述红外热成像摄像机的位置关系；
根据所述位置关系与预获取的校准参数获取所述红外热图像透明像素标识下的每一像素与所述环境捕捉摄像机的对应矩阵，并获取所述可见光图像数据在所述环境捕捉摄像机坐标系中的三维信息；
根据所述对应矩阵与所述三维信息确定所述红外热图像透明像素标识下的每一像素在所述可见光图像数据中的位置坐标。
7.如权利要求6所述的基于图像差异的透明物体追踪系统，其特征在于，
所述环境捕捉摄像机与所述红外热成像摄像机的捕捉视野重合度至少为80％，并且所述环境捕捉摄像机与所述红外热成像摄像机帧同步。
8.如权利要求7所述的基于图像差异的透明物体追踪系统，其特征在于，
所述环境捕捉摄像机为可见光相机。
CN202110492263.9A 2021-05-06 2021-05-06 基于图像差异的透明物体追踪方法、系统 Active CN113240741B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110492263.9A CN113240741B (zh) 2021-05-06 2021-05-06 基于图像差异的透明物体追踪方法、系统
PCT/CN2021/122660 WO2022233111A1 (zh) 2021-05-06 2021-10-08 基于图像差异的透明物体追踪方法、系统
US17/881,557 US11645764B2 (en) 2021-05-06 2022-08-04 Image difference-based method and system for tracking a transparent object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110492263.9A CN113240741B (zh) 2021-05-06 2021-05-06 基于图像差异的透明物体追踪方法、系统

Publications (2)

Publication Number Publication Date
CN113240741A CN113240741A (zh) 2021-08-10
CN113240741B true CN113240741B (zh) 2023-04-07

Family

ID=77132142

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110492263.9A Active CN113240741B (zh) 2021-05-06 2021-05-06 基于图像差异的透明物体追踪方法、系统

Country Status (3)

Country Link
US (1) US11645764B2 (zh)
CN (1) CN113240741B (zh)
WO (1) WO2022233111A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7142851B2 (ja) * 2019-02-27 2022-09-28 オリンパス株式会社 情報処理装置、移動体及び学習装置
CN113240741B (zh) 2021-05-06 2023-04-07 青岛小鸟看看科技有限公司 基于图像差异的透明物体追踪方法、系统
WO2023060687A1 (zh) * 2021-10-14 2023-04-20 北京卓越乐享网络科技有限公司 识别图像中的透明区域的方法及装置、设备和介质
CN114659472A (zh) * 2022-03-24 2022-06-24 山东省产品质量检验研究院 一种表面积快速测试系统及方法
CN116124837A (zh) * 2023-04-17 2023-05-16 广东科翔电子科技股份有限公司 一种pcb外观检测方法及装置
CN117309873B (zh) * 2023-09-04 2024-08-06 淮安特创科技有限公司 一种高效的pcb外观检测系统及方法
CN117789136A (zh) * 2023-12-27 2024-03-29 石家庄和昌环保科技有限公司 一种铁路轨道检测方法、系统及铁路轨道检测车

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612765A (zh) * 2020-05-21 2020-09-01 华南师范大学 一种圆形透明镜片识别和定位的方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108010085B (zh) * 2017-11-30 2019-12-31 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
FR3087024B1 (fr) * 2018-10-04 2021-04-16 Pixminds Procede de detection d'un contact contre un ecran
CN110245566B (zh) * 2019-05-16 2021-07-13 西安交通大学 一种基于背景特征的红外目标远距离追踪方法
US11094074B2 (en) * 2019-07-22 2021-08-17 Microsoft Technology Licensing, Llc Identification of transparent objects from image discrepancies
CN110428008A (zh) * 2019-08-02 2019-11-08 深圳市唯特视科技有限公司 一种基于多融合传感器的目标探测与识别装置和方法
CN111027541A (zh) * 2019-11-15 2020-04-17 国网安徽省电力有限公司检修分公司 基于可见光和热成像的火焰检测方法、系统及存储介质
CN111696140B (zh) * 2020-05-09 2024-02-13 青岛小鸟看看科技有限公司 基于单目的三维手势追踪方法
CN112242008B (zh) * 2020-10-17 2021-09-07 郑州西亚斯学院 一种用于透明容器的ar交互视觉感知方法及系统
CN113240741B (zh) * 2021-05-06 2023-04-07 青岛小鸟看看科技有限公司 基于图像差异的透明物体追踪方法、系统
US12036678B2 (en) * 2021-05-25 2024-07-16 Fanuc Corporation Transparent object bin picking

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111612765A (zh) * 2020-05-21 2020-09-01 华南师范大学 一种圆形透明镜片识别和定位的方法

Also Published As

Publication number Publication date
US11645764B2 (en) 2023-05-09
WO2022233111A1 (zh) 2022-11-10
US20220383513A1 (en) 2022-12-01
CN113240741A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN113240741B (zh) 基于图像差异的透明物体追踪方法、系统
KR101761751B1 (ko) 직접적인 기하학적 모델링이 행해지는 hmd 보정
CN107340870B (zh) 一种融合vr和ar的虚拟现实展示系统及其实现方法
US7519218B2 (en) Marker detection method and apparatus, and position and orientation estimation method
JP5560858B2 (ja) 補正値算出装置、補正値算出方法および補正値算出プログラム
US10438373B2 (en) Method and system for determining a pose of camera
US20150062167A1 (en) Vision-based augmented reality system using invisible marker
US7317812B1 (en) Method and apparatus for robustly tracking objects
US10235806B2 (en) Depth and chroma information based coalescence of real world and virtual world images
CN106600638B (zh) 一种增强现实的实现方法
US7782320B2 (en) Information processing method and information processing apparatus
US10634918B2 (en) Internal edge verification
US11276210B2 (en) Flow line display system, flow line display method, and program recording medium
CN111033573B (zh) 信息处理装置、系统、图像处理方法及存储介质
CN105404395A (zh) 基于增强现实技术的舞台表演辅助训练方法及系统
US20230239457A1 (en) System and method for corrected video-see-through for head mounted displays
EP2879018A1 (en) Estimating gaze from un-calibrated eye measurement points
EP3038061A1 (en) Apparatus and method to display augmented reality data
CN111291746A (zh) 影像处理系统及影像处理方法
US20200211275A1 (en) Information processing device, information processing method, and recording medium
CN107368188B (zh) 介导现实中的基于多重空间定位的前景抽取方法及系统
JP7341736B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP2021018575A5 (ja) 画像配信システムおよび画像配信方法
WO2008073563A1 (en) Method and system for gaze estimation
WO2017147826A1 (zh) 智能设备的图像处理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant