CN110942060A - 基于激光散斑和模态融合的材质识别方法及装置 - Google Patents

基于激光散斑和模态融合的材质识别方法及装置 Download PDF

Info

Publication number
CN110942060A
CN110942060A CN201911005215.1A CN201911005215A CN110942060A CN 110942060 A CN110942060 A CN 110942060A CN 201911005215 A CN201911005215 A CN 201911005215A CN 110942060 A CN110942060 A CN 110942060A
Authority
CN
China
Prior art keywords
image
modal
depth
color
infrared
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911005215.1A
Other languages
English (en)
Other versions
CN110942060B (zh
Inventor
方璐
季梦奇
毛适
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201911005215.1A priority Critical patent/CN110942060B/zh
Publication of CN110942060A publication Critical patent/CN110942060A/zh
Priority to US17/036,475 priority patent/US11782285B2/en
Application granted granted Critical
Publication of CN110942060B publication Critical patent/CN110942060B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/48—Laser speckle optics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/39—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using tunable lasers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/803—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/178—Methods for obtaining spatial resolution of the property being measured
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/06—Illumination; Optics
    • G01N2201/061—Sources
    • G01N2201/06113—Coherent sources; lasers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00—Features of devices classified in G01N21/00
    • G01N2201/12—Circuits of general importance; Signal processing
    • G01N2201/129—Using chemometrical methods
    • G01N2201/1296—Using chemometrical methods using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/06—Recognition of objects for industrial automation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于激光散斑和模态融合的材质识别方法及装置，其中，方法包括以下步骤：利用投影激光散斑结构的结构光相机对被测物体进行数据采集，得到彩色模态图像、深度模态图像和红外模态图像；对彩色模态图像、深度模态图像和红外模态图像进行预处理；将预处理后的彩色模态图像、深度模态图像和红外模态图像输入预设的深度神经网络，并在所采集的数据集上进行训练，从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征，生成用于材料分类的物体材质分类模型，以在测试阶段，通过物体材质分类模型生成材质预测结果。该方法可以利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别，简单易实现。

Description

基于激光散斑和模态融合的材质识别方法及装置
技术领域
本发明涉及光学激光散斑成像、计算机视觉、深度学习和材质识别技术领域，特别涉及一种基于激光散斑和模态融合的材质识别方法及装置。
背景技术
多种多样的材质构成了生活中种类繁多的物体，常见材料包括木材、塑料、纸张、橡胶、纤维等等。环保行业中，“垃圾是放错了的资源”合理的材质识别可以实现资源的有效利用；工业生产中，材质识别可以实现异常检测，提前发现生产问题；学术界中，材质识别可以帮助机器人更好的理解周围环境。基于以上领域的需求，对物体材质识别的研究显得很有必要。
现有主要的研究方法是在可见光波段中利用颜色、纹理和粗糙程度的信息对材质进行识别，但这些方法在许多更复杂的环境光场景下的鲁棒性都不太强，比如环境光从亮到暗或是色温的变化从暖色调到冷色调，或是由于物距的变化所引起的纹理尺度的变化都会影响鲁棒性。
此外，研究者也试图利用红外波段、拉曼光以及非光学的超声波和触觉信号来对物体材质识别进行研究。当前也有公开技术用于物体材质分类，如一种基于灵巧手触觉信息的联合稀疏编码的材质分类以及一种基于多模态融合深度学习的物体材质分类方法。前者仅仅利用了触觉序列，没有将材质的多种模态信息结合起来。后者探索了利用视觉和触觉的互补信息来进行物体材质的分类。然而，相比于触觉的接触式信息，非接触式的视觉信息更易于获取。利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别任务仍然是一个具有挑战的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种基于激光散斑和模态融合的材质识别方法，该方法可以利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别，简单易实现。
本发明的另一个目的在于提出一种基于激光散斑和模态融合的材质识别装置。
为达到上述目的，本发明一方面实施例提出了一种基于激光散斑和模态融合的材质识别方法，包括以下步骤：利用投影激光散斑结构的结构光相机对被测物体进行数据采集，得到彩色模态图像、深度模态图像和红外模态图像；对所述彩色模态图像、所述深度模态图像和所述红外模态图像进行预处理；将预处理后的彩色模态图像、深度模态图像和红外模态图像输入预设的深度神经网络，并在所采集的数据集上进行训练，从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征，生成用于材料分类的物体材质分类模型，以在测试阶段，通过所述物体材质分类模型生成材质预测结果。
本发明实施例的基于激光散斑和模态融合的材质识别方法，展示了由空间相干光和材料表面微结构的相互作用所形成的激光散斑图像可以编码独特的材料级别的特征，并且可以被用于实时高分辨率的材料识别任务；同时，结合彩色和深度模态可以提高系统识别材质的能力，从而可以利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别，简单易实现。
另外，根据本发明上述实施例的基于激光散斑和模态融合的材质识别方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述对所述彩色模态图像、所述深度模态图像和所述红外模态图像进行预处理，包括：将所述彩色模态图像转换到所述红外模态图像和所述深度模态图像所对应的坐标系下；利用所述深度模态图像和预设的发光模式得到所述被测物体表面法向量和入射光线的近似夹角，并对各通道图像进行归一化。
进一步地，在本发明的一个实施例中，还包括：利用光信号进行材料识别任务，其中，通过渲染模型以利用光线在不同的物体表面的反射和散射特性来对物体进行区分。
进一步地，在本发明的一个实施例中，所述渲染模型为：
Lo(x,ωo,λ,t)＝∫Ωfr(x,ωi,ωo,λ,t)Li(x,ωi,λ,t)(ωi,n)dωi，
其中，Lo(x,ωo,λ,t)表示在t时刻从物体表面点x沿着方向ωo出射的波长为λ的光的辐射亮度，反映在图像上，表示出射光线所对应的像素接受的能量大小。
进一步地，在本发明的一个实施例中，所述在所采集的数据集上进行训练，包括：以交叉熵为损失函数、用小批次梯度下降的方式对网络进行训练，得到基于对应模态组合的物体材质分类模型。
为达到上述目的，本发明另一方面实施例提出了一种基于激光散斑和模态融合的材质识别装置，包括：采集模块，用于利用投影激光散斑结构的结构光相机对被测物体进行数据采集，得到彩色模态图像、深度模态图像和红外模态图像；预处理模块，用于对所述彩色模态图像、所述深度模态图像和所述红外模态图像进行预处理；神经网络预测模块，用于将预处理后的彩色模态图像、深度模态图像和红外模态图像输入预设的深度神经网络，并在所采集的数据集上进行训练，从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征，生成用于材料分类的物体材质分类模型，以在测试阶段，通过所述物体材质分类模型生成材质预测结果。
本发明实施例的基于激光散斑和模态融合的材质识别装置，展示了由空间相干光和材料表面微结构的相互作用所形成的激光散斑图像可以编码独特的材料级别的特征，并且可以被用于实时高分辨率的材料识别任务；同时，结合彩色和深度模态可以提高系统识别材质的能力，从而可以利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别，简单易实现。
另外，根据本发明上述实施例的基于激光散斑和模态融合的材质识别装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述预处理模块进一步用于将所述彩色模态图像转换到所述红外模态图像和所述深度模态图像所对应的坐标系下；利用所述深度模态图像和预设的发光模式得到所述被测物体表面法向量和入射光线的近似夹角，并对各通道图像进行归一化。
进一步地，在本发明的一个实施例中，还包括：识别模块，用于利用光信号进行材料识别任务，其中，通过渲染模型以利用光线在不同的物体表面的反射和散射特性来对物体进行区分。
进一步地，在本发明的一个实施例中，所述渲染模型为：
Lo(x,ωo,λ,t)＝∫Ωfr(x,ωi,ωo,λ,t)Li(x,ωi,λ,t)(ωi,n)dωi，
其中，Lo(x,ωo,λ,t)表示在t时刻从物体表面点x沿着方向ωo出射的波长为λ的光的辐射亮度，反映在图像上，表示出射光线所对应的像素接受的能量大小。
进一步地，在本发明的一个实施例中，所述神经网络预测模块进一步用于以交叉熵为损失函数、用小批次梯度下降的方式对网络进行训练，得到基于对应模态组合的物体材质分类模型。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明实施例的基于激光散斑和模态融合的材质识别方法的流程图；
图2为根据本发明一个实施例的基于激光散斑和模态融合的材质识别方法的流程图；
图3为根据本发明实施例的深度神经网络的结构图；
图4为根据本发明实施例的激光散斑和物体材质相互作用的物理过程示意图；
图5为根据本发明实施例的数据采集的方式示意图；
图6为根据本发明实施例的基于激光散斑和模态融合的材质识别装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的基于激光散斑和模态融合的材质识别方法及装置，首先将参照附图描述根据本发明实施例提出的基于激光散斑和模态融合的材质识别方法。
图1是本发明一个实施例的基于激光散斑和模态融合的材质识别方法的流程图。
如图1所示，该基于激光散斑和模态融合的材质识别方法包括以下步骤：
在步骤S101中，利用投影激光散斑结构的结构光相机对被测物体进行数据采集，得到彩色模态图像、深度模态图像和红外模态图像。
可以理解的是，利用投影激光散斑结构的结构光相机(如Xtion相机)对被测物体进行数据采集，包括彩色、深度和红外三种模态的图像。
需要说明的是，本发明实施例的方法含多模态数据采集阶段，数据预处理阶段，深度网络训练阶段和测试阶段。
具体而言，多模态数据采集阶段利用一个投影激光散斑结构的结构光相机进行多模态的数据采集，包括以下步骤：
对m种不同材质的物体，利用投影激光散斑结构的结构光相机对每种物体在不同的距离和相机姿态上进行重复32次采样得到32个样本数据，每次采样采集连续曝光的10张红外图像(分辨率为1280×1024)、连续曝光且具有不同曝光时长的6张彩色图像(分辨率为1280×1024×3)、一张深度图像(分辨率为320×240)总共17张原始图片。
对于每个样本总共采集了32张数据，每个数据包含对每个样本，采集的32个数据涵盖了不同距离和拍摄角度，如图2所示，具体而言包括4个距离段和3个不同的相机姿态，并进行了重复采样以作为分集训练测试使用。如图3所示，4个距离段分别为1m-1.5m,1.5m-2m,2m-2.5m,2.5m-3m覆盖了大部分的推荐的深度范围(0.8-3.5m)。相机姿态分为左中右三种姿态，其中左右重复采样三次，中间重复采样两次，保证在比较少的采样下，尽可能覆盖更大的深度范围(左右倾斜采样覆盖的深度范围将比中间的大)。并且尽可能保证深度的分布不出现段内的峰值。一般地分集方法为：分别将两次完全采样的样本作为训练集、验证集，而将取消中间采样的样本作为测试集。即训练和测试集分别包含4段距离×3个姿态＝12个数据，验证集包含4段距离×2个姿态＝8个数据。
在采集中，对于可见光波段，利用投影仪在采集的室内环境中向天花板投影变化的纯色光，利用经过天花板散射的光改变环境的色温。从而给彩色图像引入一定的变化，防止材料数据过拟合到特定的颜色上。另一方面，为了研究光强度的影响，对彩色相机设置了(-2，-1，0，1，2，3)总共6级曝光，分别为(n+3)×100us的曝光时长，其中第0级为正常曝光。
采集10张红外图像的目的是可以检查物体静止是否满足，由于存在相干现象，若物体不能保持静止，则相位差不会恒定，不满足相干条件，因此物体微小尺度的运动形成的散斑结构将会和静止状态下有差异。
在步骤S102中，对彩色模态图像、深度模态图像和红外模态图像进行预处理。
其中，在本发明的一个实施例中，对彩色模态图像、深度模态图像和红外模态图像进行预处理，包括：将彩色模态图像转换到红外模态图像和深度模态图像所对应的坐标系下；利用深度模态图像和预设的发光模式得到被测物体表面法向量和入射光线的近似夹角，并对各通道图像进行归一化。
可以理解的是，本发明实施例对采集到的图像进行预处理，包括将彩色图像转换到红外和深度图像所对应的坐标系下，利用深度图像和已知的发光模式计算被测物体表面法向量和入射光线的近似夹角(记为法向夹角)，并对各通道图像进行归一化。
具体而言，本发明数据预处理阶段包括深度图像、彩色图像的预处理、法向夹角的计算以及归一化操作，包括以下步骤：
彩色图像预处理：记ir和rgb分别为红外相机和彩色相机坐标系的下标，由于深度和彩色相机相距较近，且可以看作为校准的双目系统，可以认为Zir≈Zrgb，因此相机间的坐标转换关系可以由下式给出：
Figure BDA0002242544520000051
其中，
Figure BDA0002242544520000052
和
Figure BDA0002242544520000053
分别表示红外相机和彩色相机的增广内参矩阵，M表示相机间的其次变换矩阵，u，v分别为图像坐标系下的像素坐标。利用线性拟合的方法对从相机接口软件中得到的红外图像和彩色图像点对关系进行拟合得到对应的转换矩阵。利用转换矩阵在红外图像空间下对彩色图像进行双线性插值的后向映射获得对应于红外图像空间下同尺寸的彩色图像，实现像素的一一匹配。得到三通道的彩色图像模态
特别地，对彩色图像模态(通道数为3)进行通道平均得到灰度图像模态(通道数为1)。
深度图像的预处理：对分辨率为320×240,数据格式为uint16的原始深度图像转化为float的浮点型。用两种模式对深度图像进行预处理：值域归一化和平方反比。其中阈值归一化将深度数据进行除以最大阈值操作(此处为最远距离3000mm)，得到归一化到[0,1]范围内的归一化深度，即
dnorm＝draw/3000。
平方反比方法对归一化深度取平方反比。特别地，对于由于红外光被遮挡、镜面反射、完全吸收、外部光源在红外波段过强等原因导致深度无法计算出来的无效像素点，归一化深度为0，将其映射为-0.5以示区别。同时将最近的距离(约1m)映射到1以保证归一化到大约[0,1)区间内。综上，可以将这个归一化操作公式化表达如下:
Figure BDA0002242544520000061
对预处理后的深度图像上采样到1280×960的大小(双线性插值)，和红外通道的对应区域(图像上部)形成像素的一一匹配。得到深度图像模态。
法向夹角的计算：利用内参将深度图像从像素坐标系转换到相机坐标系。再利用下式，从深度图中计算法向量：
Figure BDA0002242544520000062
在深度图像上，利用具有差分和平滑滤波功能的sobel微分算子分别求得dZ/du，dZ/dv，再通过像素对应的实际尺寸大小得到相应空间坐标系下的微分值。
入射光线出射光线在应用场景中近似相同，利用下式计算的出射光线方向估计入射光线方向：
Figure BDA0002242544520000071
其中f表示相机焦距，dx，dy分别表示相机成像元件像素的实际尺寸，u0,v0表示相机中心的偏移量，均由相机内参给出。法向夹角即入射光和法向的归一化内积，由下式给出：
Figure BDA0002242544520000072
其中||·||2表示二范数。对计算得到的法向夹角图像进行和深度图一样的上采样，得到全尺寸的法向夹角图像模态。
红外图像预处理：原始红外图像为16位uint型数据，其中低10位有效，对原始的红外图像进行除以1024的归一化处理得到归一化的红外图像模态。
将上述红外图像模态、深度图像模态、法向夹角图像模态、彩色图像模态(三通道)堆叠共6通道的大小为1280×960像素的样本数据图。在此之外，人工标记出第七个二值化掩膜(mask)图通道，表示被观测物体在图像中所对应的区域、排除背景。
在步骤S103中，将预处理后的彩色模态图像、深度模态图像和红外模态图像输入预设的深度神经网络，并在所采集的数据集上进行训练，从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征，生成用于材料分类的物体材质分类模型，以在测试阶段，通过物体材质分类模型生成材质预测结果。
可以理解的是，将采集到的数据输入提出的深度神经网络，在所采集的数据集上进行训练，从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征。从而得到用于实现材料分类的网络模型。并在测试阶段产生材质预测结果。
具体而言，深度网络的训练包括数据的加载和深度神经网络的结构，具体而言包括以下步骤：数据的加载：对上述样本数据图进行采样，在满足mask的有效区域内随机裁剪出维度为W×W×I的窗口。其中I为特定模态组合的通道数量，最大为6，唯一地表示包含红外、深度、法向夹角和彩色六个通道的全模态图，最小为1，如红外图、灰度图，将对应的数据输入网络进行训练。为提高模型的泛化性能，加入数据增强包括：彩色亮度、对比度、饱和度随机变化，随机旋转和翻转。记这样得到的维度为W×W×I的数据图为x。
将上述步骤得到的数据图x输入到神经网络网络结构如图4所示。其中，基本的网络层级结构为卷积层以及由卷积层和跳接组合而成的残差块。对于卷积层，未加声明的都是采用步长为1，四周周围填补方式为1个像素的零值填充，同时，除了在输出层以外，在每层卷积层都引入了批归一化且选用线性整流激活函数(relu)。在模块中标注的参数分别为卷积核大小W×W，以及对应的卷积核数量N。
本网络输入首先经过一个3×3的卷积层初步提取特征，在经过四个维度逐渐加深但尺寸逐渐减小的残差模块，输出尺寸的减小主要由于残差模块末尾的2×2均值池化产生，其步长为2，输出尺度因此减半。对经过残差网络输出的结果，经过一层卷积层将输出尺寸大小限制为1×1，再经由两个卷积核大小为1×1的卷积替代全连接层最终输出维度为被分类材料数量的分类输出。
特别的，在输入层，I表示输入模态的维度个数，其中，输入模态为包含了一类模态融合的模型，不仅可以将包含上述所有模态的组合作为网络输入，而且还可以将包含部分模态的组合作为网络输入。由于所采集的数据中包含了红外、彩色、深度和法向的不同模态，可以通过利用不同的信息训练网络来进行模态之间差异和耦合的研究。经过残差网络之后的第一个卷积层所对应的卷积核大小B×B根据输入的数据尺寸进行调整，若输入尺寸为W×W，则此处卷积核大小为W//16。输出层的C表示物体的种类总数。
其中，在本发明的一个实施例中，以交叉熵为损失函数，用小批次梯度下降的方式对网络进行训练得到基于对应模态组合的物体材质分类模型。
进一步地，在本发明的一个实施例中，本发明实施例的方法还包括：利用光信号进行材料识别任务，其中，通过渲染模型以利用光线在不同的物体表面的反射和散射特性来对物体进行区分。
具体而言，利用光信号来进行材料识别任务，一个可行的方式是利用光线在不同的物体表面的反射和散射特性来对物体进行区分。由于不同的物体具有不同的次表面反射以及散射和反射特性，对于入射光线在时间、空间、和出射角度上将会有不同的响应。计算机图形学的中的渲染模型在不同表面下的散射特性做了公式化的描述，具体的可以通过双向散射表面反射分布函数(BSSRDF)进行描述。它描述了任意一对出射光和入射光通量之间的关系，包含了次表面反射等现象。可以看作是更简单的双向反射分布函数(BRDF)的泛化形式。特别的，对于波长和相位差固定的相干光，相干现象也会对反射回波造成影响。
BRDF模型可以被用在计算机图形学的渲染模型中，在应用中还应该给出物体的空间和时间信息以及光的波长信息。考虑不发光物体，渲染模型可以表示为：
Lo(x,ωo,λ,t)＝∫Ωfr(x,ωi,ωo,λ,t)Li(x,ωi,λ,t)(ωi,n)dωi
其中Lo(x,ωo,λ,t)表示在t时刻从物体表面点x沿着方向ωo出射的波长为λ的光的辐射亮度，反映在图像上，表示出射光线所对应的像素接受的能量大小。这个强度为物体表面点x对以入射角度为自变量的函数进行球面积分，类似地，Li(x,ωi,λ,t)表示t时刻从物体表面点x沿着方向ωi入射的波长为λ的光的辐射亮度，fr(x,ωi,ωo,λ,t)为推广了的上述表示物体的散射特性的BRDF模型，表示t时刻从物体表面点x沿着方向ωi入射的波长为λ的光在ωo方向上出射的比率。(ωi,n)表示入射方向和物体在该点的x法向量的内积。
在所关注的一般问题中跟物体材料有关的信息被包含在函数fr(x,ωi,ωo,λ,t)中，这是一个跟物体自身几何结构和材料特性相关的函数，可以被BRDF建模描述。因此在这种简化模型下，对于物体的材料识别问题可以描述为一个渲染问题的逆问题，即：通过获取到的图像(Lo相关)，对物体的反射特性(fr)进行识别。对于自然成像系统中一般的彩色图像，环境光(ωi相关)无法得知，且物体的表面三维位置x和法向量n在投影成像系统中会丢失，从模型中分析，对于求逆问题的求解都会是不利的条件。然而，利用结构光相机，既可以利用其光源相对稳定的且传感器装有带通滤波器，从而使讨论的波长单一，相当于隐式的知道了入射光条件(ωi)，同时，其本身的用途是用来进行深度计算，可以获得多一个维度的深度信息，进而通过深度的差分可以求得法向信息。这些都为逆问题的求解提供了更多的信息。可以合理的推断，结合彩色图像和结构光相机中获得的信息，将使得物体的材料识别更加的可靠。
结构光相机散射模型：投影激光散斑的结构光相机所发出激光由于具有稳定的波长的特点在材料物体表面的反射和散射情况更加复杂，观察到的散斑图样是由投影的光在物体表面发生次表面散射(体散射)和表面散射的相干叠加而成的。由于相机基线(75mm)相比于到物体的距离(1-3m)较小，观测角度差异较小，模型应该有更进一步的约束：即入射方向和观测方向接近。对于斜射情况，镜面反射分量较难被观测，因此对镜面物体的观测受限。如图5所示，从放大的高清散斑图样中可以看出，接收到的散斑图样不是投影的高斯亮斑形式，中心部分存在部分的干涉相消和干涉相长。利用这些信息，可以实现对物体材料的分类。理论上，根据一个光点的散斑图样即可以获得材料编码的干涉信息，但是由于所获取的散斑图样分辨率较低，因此考虑基于小窗口图像块的模式来学习，利用更多的斑点来对物体材料进行推断。
根据本发明实施例提出的基于激光散斑和模态融合的材质识别方法，展示了由空间相干光和材料表面微结构的相互作用所形成的激光散斑图像可以编码独特的材料级别的特征，并且可以被用于实时高分辨率的材料识别任务；同时，结合彩色和深度模态可以提高系统识别材质的能力，从而可以利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别，简单易实现。
其次参照附图描述根据本发明实施例提出的基于激光散斑和模态融合的材质识别装置。
图6是本发明一个实施例的基于激光散斑和模态融合的材质识别装置的结构示意图。
如图6所示，该基于激光散斑和模态融合的材质识别装置10包括：采集模块100、预处理模块200和神经网络预测模块300。
其中，采集模块100用于利用投影激光散斑结构的结构光相机对被测物体进行数据采集，得到彩色模态图像、深度模态图像和红外模态图像。预处理模块200用于对彩色模态图像、深度模态图像和红外模态图像进行预处理。神经网络预测模块300用于将预处理后的彩色模态图像、深度模态图像和红外模态图像输入预设的深度神经网络，并在所采集的数据集上进行训练，从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征，生成用于材料分类的物体材质分类模型，以在测试阶段，通过物体材质分类模型生成材质预测结果。本发明实施例的装置10可以利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别，简单易实现。
进一步地，在本发明的一个实施例中，预处理模块200进一步用于将彩色模态图像转换到红外模态图像和深度模态图像所对应的坐标系下；利用深度模态图像和预设的发光模式得到被测物体表面法向量和入射光线的近似夹角，并对各通道图像进行归一化。
进一步地，在本发明的一个实施例中，本发明实施例的装置10还包括：识别模块。其中，识别模块用于利用光信号进行材料识别任务，其中，通过渲染模型以利用光线在不同的物体表面的反射和散射特性来对物体进行区分。
进一步地，在本发明的一个实施例中，渲染模型为：
Lo(x,ωo,λ,t)＝∫Ωfr(x,ωi,ωo,λ,t)Li(x,ωi,λ,t)(ωi,n)dωi，
其中，Lo(x,ωo,λ,t)表示在t时刻从物体表面点x沿着方向ωo出射的波长为λ的光的辐射亮度，反映在图像上，表示出射光线所对应的像素接受的能量大小。
进一步地，在本发明的一个实施例中，神经网络预测模块300进一步用于以交叉熵为损失函数、用小批次梯度下降的方式对网络进行训练，得到基于对应模态组合的物体材质分类模型。
需要说明的是，前述对基于激光散斑和模态融合的材质识别方法实施例的解释说明也适用于该实施例的基于激光散斑和模态融合的材质识别装置，此处不再赘述。
根据本发明实施例提出的基于激光散斑和模态融合的材质识别装置，展示了由空间相干光和材料表面微结构的相互作用所形成的激光散斑图像可以编码独特的材料级别的特征，并且可以被用于实时高分辨率的材料识别任务；同时，结合彩色和深度模态可以提高系统识别材质的能力，从而可以利用激光散斑和材质的相互作用以及其与可见光视觉的模态融合实现材质识别，简单易实现。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种基于激光散斑和模态融合的材质识别方法，其特征在于，包括以下步骤：
利用投影激光散斑结构的结构光相机对被测物体进行数据采集，得到彩色模态图像、深度模态图像和红外模态图像；
对所述彩色模态图像、所述深度模态图像和所述红外模态图像进行预处理；以及
将预处理后的彩色模态图像、深度模态图像和红外模态图像输入预设的深度神经网络，并在所采集的数据集上进行训练，从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征，生成用于材料分类的物体材质分类模型，以在测试阶段，通过所述物体材质分类模型生成材质预测结果。
2.根据权利要求1所述的方法，其特征在于，所述对所述彩色模态图像、所述深度模态图像和所述红外模态图像进行预处理，包括：
将所述彩色模态图像转换到所述红外模态图像和所述深度模态图像所对应的坐标系下；
利用所述深度模态图像和预设的发光模式得到所述被测物体表面法向量和入射光线的近似夹角，并对各通道图像进行归一化。
3.根据权利要求1所述的方法，其特征在于，还包括：
利用光信号进行材料识别任务，其中，通过渲染模型以利用光线在不同的物体表面的反射和散射特性来对物体进行区分。
4.根据权利要求1所述的方法，其特征在于，所述渲染模型为：
Lo(x,ωo,λ,t)＝∫Ωfr(x,ωi,ωo,λ,t)Li(x,ωi,λ,t)(ωi,n)dωi，
其中，Lo(x,ωo,λ,t)表示在t时刻从物体表面点x沿着方向ωo出射的波长为λ的光的辐射亮度，反映在图像上，表示出射光线所对应的像素接受的能量大小。
5.根据权利要求1-4任一项所述的方法，其特征在于，所述在所采集的数据集上进行训练，包括：
以交叉熵为损失函数、用小批次梯度下降的方式对网络进行训练，得到基于对应模态组合的物体材质分类模型。
6.一种基于激光散斑和模态融合的材质识别装置，其特征在于，包括：
采集模块，用于利用投影激光散斑结构的结构光相机对被测物体进行数据采集，得到彩色模态图像、深度模态图像和红外模态图像；
预处理模块，用于对所述彩色模态图像、所述深度模态图像和所述红外模态图像进行预处理；以及
神经网络预测模块，用于将预处理后的彩色模态图像、深度模态图像和红外模态图像输入预设的深度神经网络，并在所采集的数据集上进行训练，从相应的散斑结构和彩色、深度模态耦合关系学习到材料级别的特征，生成用于材料分类的物体材质分类模型，以在测试阶段，通过所述物体材质分类模型生成材质预测结果。
7.根据权利要求6所述的装置，其特征在于，所述预处理模块进一步用于将所述彩色模态图像转换到所述红外模态图像和所述深度模态图像所对应的坐标系下；利用所述深度模态图像和预设的发光模式得到所述被测物体表面法向量和入射光线的近似夹角，并对各通道图像进行归一化。
8.根据权利要求6所述的装置，其特征在于，还包括：
识别模块，用于利用光信号进行材料识别任务，其中，通过渲染模型以利用光线在不同的物体表面的反射和散射特性来对物体进行区分。
9.根据权利要求6所述的装置，其特征在于，所述渲染模型为：
Lo(x,ωo,λ,t)＝∫Ωfr(x,ωi,ωo,λ,t)Li(x,ωi,λ,t)(ωi,n)dωi，
其中，Lo(x,ωo,λ,t)表示在t时刻从物体表面点x沿着方向ωo出射的波长为λ的光的辐射亮度，反映在图像上，表示出射光线所对应的像素接受的能量大小。
10.根据权利要求6-9任一项所述的装置，其特征在于，所述神经网络预测模块进一步用于以交叉熵为损失函数、用小批次梯度下降的方式对网络进行训练，得到基于对应模态组合的物体材质分类模型。
CN201911005215.1A 2019-10-22 2019-10-22 基于激光散斑和模态融合的材质识别方法及装置 Active CN110942060B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911005215.1A CN110942060B (zh) 2019-10-22 2019-10-22 基于激光散斑和模态融合的材质识别方法及装置
US17/036,475 US11782285B2 (en) 2019-10-22 2020-09-29 Material identification method and device based on laser speckle and modal fusion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911005215.1A CN110942060B (zh) 2019-10-22 2019-10-22 基于激光散斑和模态融合的材质识别方法及装置

Publications (2)

Publication Number Publication Date
CN110942060A true CN110942060A (zh) 2020-03-31
CN110942060B CN110942060B (zh) 2023-05-23

Family

ID=69906132

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911005215.1A Active CN110942060B (zh) 2019-10-22 2019-10-22 基于激光散斑和模态融合的材质识别方法及装置

Country Status (2)

Country Link
US (1) US11782285B2 (zh)
CN (1) CN110942060B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768450A (zh) * 2020-06-10 2020-10-13 北京的卢深视科技有限公司 基于散斑图的结构光相机行偏差的自动检测方法和装置
CN112414973A (zh) * 2020-11-18 2021-02-26 中国人民解放军战略支援部队航天工程大学 基于散斑指纹的目标材料识别方法及系统
CN112418247A (zh) * 2020-11-16 2021-02-26 北京理工大学 一种基于散射率成像的矿石识别系统及方法
CN112419334A (zh) * 2020-11-18 2021-02-26 山东大学 基于深度学习的微表面材质重建方法及系统
CN112633181A (zh) * 2020-12-25 2021-04-09 北京嘀嘀无限科技发展有限公司 数据处理方法、系统、装置、设备和介质
CN112729246A (zh) * 2020-12-08 2021-04-30 广东省科学院智能制造研究所 一种基于双目结构光的黑色表面物体深度图像测量方法
CN112949451A (zh) * 2021-02-24 2021-06-11 安徽大学 通过模态感知特征学习的跨模态目标跟踪方法及系统
CN115311503A (zh) * 2022-09-29 2022-11-08 兰波(苏州)智能科技有限公司 一种纤维分类方法、系统、计算机装置和介质
WO2023156319A1 (en) * 2022-02-15 2023-08-24 Trinamix Gmbh Image manipulation for material information determination
CN116759326A (zh) * 2023-08-23 2023-09-15 深圳超盈智能科技有限公司 芯片外观检测方法、装置、设备及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220085481A (ko) * 2020-12-15 2022-06-22 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
CN113920454B (zh) * 2021-10-21 2024-03-19 广西科技大学 一种低对比度工况下工地物料的快速识别和分类方法
US11961188B2 (en) * 2022-06-08 2024-04-16 Adobe Inc. Neural networks to generate appearance-responsive material map sets in digital graphical environments
CN117474907B (zh) * 2023-12-25 2024-03-22 浙江恒逸石化有限公司 出丝状态的检测方法、装置、设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122042A (en) * 1997-02-07 2000-09-19 Wunderman; Irwin Devices and methods for optically identifying characteristics of material objects
CN107392234A (zh) * 2017-07-05 2017-11-24 北京航空航天大学 一种基于单张4d光场图像的物体表面材质类型识别方法
CN107463952A (zh) * 2017-07-21 2017-12-12 清华大学 一种基于多模态融合深度学习的物体材质分类方法
CN108985333A (zh) * 2018-06-15 2018-12-11 浙江大学 一种基于神经网络的材质获取方法和系统
US20190012768A1 (en) * 2015-12-14 2019-01-10 Motion Metrics International Corp. Method and apparatus for identifying fragmented material portions within an image
CN109750450A (zh) * 2017-11-01 2019-05-14 青岛海尔智能技术研发有限公司 一种识别衣物材质的智能模块及智能洗衣机

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013131232A1 (en) * 2012-03-05 2013-09-12 Microsoft Corporation Generation of depth images based upon light falloff
CN109117746A (zh) * 2018-07-23 2019-01-01 北京华捷艾米科技有限公司 手部检测方法及机器可读存储介质
US20200050902A1 (en) * 2018-08-09 2020-02-13 Electronics And Telecommunications Research Institute Method for analyzing material using neural network based on multimodal input and apparatus using the same
KR20190104485A (ko) * 2019-08-21 2019-09-10 엘지전자 주식회사 옷감 식별 방법, 장치 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6122042A (en) * 1997-02-07 2000-09-19 Wunderman; Irwin Devices and methods for optically identifying characteristics of material objects
US20190012768A1 (en) * 2015-12-14 2019-01-10 Motion Metrics International Corp. Method and apparatus for identifying fragmented material portions within an image
CN107392234A (zh) * 2017-07-05 2017-11-24 北京航空航天大学 一种基于单张4d光场图像的物体表面材质类型识别方法
CN107463952A (zh) * 2017-07-21 2017-12-12 清华大学 一种基于多模态融合深度学习的物体材质分类方法
CN109750450A (zh) * 2017-11-01 2019-05-14 青岛海尔智能技术研发有限公司 一种识别衣物材质的智能模块及智能洗衣机
CN108985333A (zh) * 2018-06-15 2018-12-11 浙江大学 一种基于神经网络的材质获取方法和系统

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
CHENG ZHAO等: "A fully end-to-end deep learning approach for real-time simultaneous 3D reconstruction and material recognition", 《ICAR 2017》 *
MENGQI JI等: "PREPROCESSING-FREE SURFACE MATERIAL CLASSIFICATION USING CONVOLUTIONAL NEURAL NETWORKS PRETRAINED BY SPARSE AUTOENCODER", 《2015 IEEE INTERNATIONAL WORKSHOP ON MACHINE LEARNING FOR SIGNAL PROCESSING》 *
冯巍巍 等: "特种材料表面激光散斑特征提取和识别研究", 《红外与激光工程》 *
刘昊 等: "基于卷积神经网络的材质分类识别研究", 《激光与红外》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111768450B (zh) * 2020-06-10 2023-10-13 合肥的卢深视科技有限公司 基于散斑图的结构光相机行偏差的自动检测方法和装置
CN111768450A (zh) * 2020-06-10 2020-10-13 北京的卢深视科技有限公司 基于散斑图的结构光相机行偏差的自动检测方法和装置
CN112418247A (zh) * 2020-11-16 2021-02-26 北京理工大学 一种基于散射率成像的矿石识别系统及方法
CN112414973A (zh) * 2020-11-18 2021-02-26 中国人民解放军战略支援部队航天工程大学 基于散斑指纹的目标材料识别方法及系统
CN112419334A (zh) * 2020-11-18 2021-02-26 山东大学 基于深度学习的微表面材质重建方法及系统
CN112729246A (zh) * 2020-12-08 2021-04-30 广东省科学院智能制造研究所 一种基于双目结构光的黑色表面物体深度图像测量方法
CN112633181A (zh) * 2020-12-25 2021-04-09 北京嘀嘀无限科技发展有限公司 数据处理方法、系统、装置、设备和介质
CN112949451A (zh) * 2021-02-24 2021-06-11 安徽大学 通过模态感知特征学习的跨模态目标跟踪方法及系统
CN112949451B (zh) * 2021-02-24 2022-09-09 安徽大学 通过模态感知特征学习的跨模态目标跟踪方法及系统
WO2023156319A1 (en) * 2022-02-15 2023-08-24 Trinamix Gmbh Image manipulation for material information determination
CN115311503A (zh) * 2022-09-29 2022-11-08 兰波(苏州)智能科技有限公司 一种纤维分类方法、系统、计算机装置和介质
CN116759326A (zh) * 2023-08-23 2023-09-15 深圳超盈智能科技有限公司 芯片外观检测方法、装置、设备及存储介质
CN116759326B (zh) * 2023-08-23 2024-01-26 深圳超盈智能科技有限公司 芯片外观检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US11782285B2 (en) 2023-10-10
US20210118123A1 (en) 2021-04-22
CN110942060B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN110942060B (zh) 基于激光散斑和模态融合的材质识别方法及装置
JP6911045B2 (ja) 日常シーン復元エンジン
US10049460B2 (en) Identifying an object in a volume based on characteristics of light reflected by the object
US11797863B2 (en) Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
CN112949380B (zh) 一种基于激光雷达点云数据的智能水下目标识别系统
US20220019799A1 (en) Method and system for generating training data
Weinmann et al. Preliminaries of 3D point cloud processing
Murota Linear programming
Sun et al. High-accuracy three-dimensional measurement based on multi-directional cooperative target with weighted SfM algorithm
Mathai et al. Transparent object reconstruction based on compressive sensing and super-resolution convolutional neural network
KR101865886B1 (ko) 근적외선 영상을 이용한 물체 표현의 기하 구조 및 반사도 추정 방법, 그리고 이를 구현한 시스템
To et al. Surface-type classification using RGB-D
US20230044371A1 (en) Defect detection in a point cloud
Nandhakumar et al. Physics-based integration of multiple sensing modalities for scene interpretation
Chen et al. A Self-Supervised Miniature One-Shot Texture Segmentation (MOSTS) Model for Real-Time Robot Navigation and Embedded Applications
Rodríguez A methodology to develop computer vision systems in civil engineering: Applications in material testing and fish tracking
RU2779281C1 (ru) Способ обработки изображений обученными нейронными сетями
CN115984952B (zh) 基于球结膜血管图像识别的眼动跟踪系统及其方法
Manjunatha Vision-Based and Data-Driven Analytical and Experimental Studies into Condition Assessment and Change Detection of Evolving Civil, Mechanical and Aerospace Infrastructures
Sugihara Line Drawing Labeling
Morariu Linguistic techniques for event recognition
Leffingwell et al. Generalized Scene Reconstruction
Ali Development of Point Cloud Descriptors for Robust 3D Recognition
Swedish Computational Discovery of Hidden Cues in Photographs
Takamatsu Learning-from-Observation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant