CN112461829B - 一种光流传感模块、自移动机器人以及材质检测的方法 - Google Patents

一种光流传感模块、自移动机器人以及材质检测的方法 Download PDF

Info

Publication number
CN112461829B
CN112461829B CN201910842419.4A CN201910842419A CN112461829B CN 112461829 B CN112461829 B CN 112461829B CN 201910842419 A CN201910842419 A CN 201910842419A CN 112461829 B CN112461829 B CN 112461829B
Authority
CN
China
Prior art keywords
image
brightness
threshold
feature point
current intensity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910842419.4A
Other languages
English (en)
Other versions
CN112461829A (zh
Inventor
任玉斌
段思雨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ecovacs Robotics Suzhou Co Ltd
Original Assignee
Ecovacs Robotics Suzhou Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ecovacs Robotics Suzhou Co Ltd filed Critical Ecovacs Robotics Suzhou Co Ltd
Priority to CN201910842419.4A priority Critical patent/CN112461829B/zh
Publication of CN112461829A publication Critical patent/CN112461829A/zh
Application granted granted Critical
Publication of CN112461829B publication Critical patent/CN112461829B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/28—Floor-scrubbing machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/80—Recognising image objects characterised by unique random patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106—General arrangement of respective parts
    • G01N2021/0112—Apparatus in one mechanical, optical or electronic block

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Software Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

本申请提供一种光流传感模块、自移动机器人以及材质检测的方法，其中，光流传感模块包括控制单元、与控制单元连接的图像传感器、设置于图像传感器下方的透镜，以及由控制单元控制的光照单元；光照单元由至少一个LED灯和设置于LED灯出光光路上的匀光片组成；至少一个LED灯部署于同一平面；图像传感器通过与透镜配合对补光后的作业面进行图像采集，并将采集到的图像发送至控制单元；控制单元检测图像的图像特征，并通过判断特征是否满足特征阈值来识别作业面的材质类别。本申请提供的光流传感模块提升图像传感器采集到的作业面图像的特征显著性并实现作业面材质类别的识别，提高光流传感模块适应性，使光流传感模块对芯片性能和成像系统性能需求降低。

Description

一种光流传感模块、自移动机器人以及材质检测的方法
技术领域
本申请涉及机器人技术领域，特别涉及一种光流传感模块。本申请同时涉及一种自移动机器人，以及一种基于光流传感模块进行材质检测的方法。
背景技术
随着IT技术的飞速发展，自移动机器人得到了广泛的应用，由于自移动机器人实际应用环境较为复杂，因此许多自移动机器人设置有识别地面环境的传感器。
目前，用于识别地面环境的传感器，主要分为超声波识别和光学材质识别两大类，前者通过超声波回波信号强弱判断地面材质密度及起伏，具有识别率高的优点，但是存在超声波传感器保护窗口易受污染，超声波模块昂贵问题；
光学材质识别主要分为采用光接近式进行材质识别和采用图像识别进行材质识别；光接近式是利用硬质地面和地毯光反射率不同进行识别，优点是价格便宜，缺点是一些黑灰粗糙硬质地面和白色等短毛地毯无法分辨的问题；图像识别是通过拍摄图像，经过图像处理判断地面材质，具有准确率高，部分甚至可以将材料类别细化，但是成本较高且图像处理过程响应比较慢。
发明内容
有鉴于此，本申请实施例提供了一种光流传感模块，以解决现有技术中存在的技术缺陷。本申请实施例同时提供了一种自移动机器人，以及一种基于光流传感模块进行材质检测的方法。
本申请一个实施例提供一种光流传感模块，包括：
控制单元；
图像传感器，与所述控制单元连接；
透镜，设置于所述图像传感器下方；
光照单元，由所述控制单元控制；
其中，所述光照单元根据所述控制单元控制对作业面进行补光；
所述光照单元由至少一个LED灯和设置于所述LED灯出光光路上的匀光片组成；
所述至少一个LED灯部署于同一平面；
所述图像传感器通过与所述透镜配合对补光后的作业面进行图像采集，并将采集到的图像发送至所述控制单元；
所述控制单元检测所述图像的图像特征，并通过判断所述图像特征是否满足特征阈值来识别所述作业面的材质类别。
可选的，所述LED灯之间的部署间隔，使得所述工作面为光滑地面材质的情况下，所述LED灯发出的光线经光滑地面材质的作业面反射后进入与所述透镜配合的图像传感器形成的光路为镜面反射光路。
可选的，所述LED灯的部署数目，使部署后所述LED灯发出的光线经所述匀光片折射后均匀覆盖所述图像传感器对所述作业面进行图像采集的视场。
可选的，所述LED灯的部署间隔处于12mm至25mm这一区间内；
经过所述图像传感器对所述作业面进行图像采集的视场中心并且延伸至视场边界的最大视场间距处于2mm至6mm这一区间内；
所述透镜的透镜口径处于3mm至10mm这一区间内；
所述图像传感器通过与所述透镜配合对所述作业面进行图像采集的物距处于20mm至55mm这一区间内，像距处于5mm至25mm这一区间内；
所述图像传感器的尺寸大小处于0.5mm至1.2mm这一区间内的图像传感器。
可选的，所述LED灯的部署间隔为15mm；
所述最大视场间距为2.6mm；
所述透镜口径为6mm；
所述物距为40mm；
所述像距为10mm；
所述图像传感器的尺寸大小为0.8mm。
可选的，所述光照单元对所述作业面进行补光的输入电流强度由所述控制单元控制；
所述控制单元控制的输入电流强度包括第一电流强度、第二电流强度和第三电流强度；
其中，所述图像传感器在所述LED灯按照所述第一电流强度对所述作业面进行补光的条件下采集到的图像为第一图像，在所述LED灯按照所述第二电流强度对所述作业面进行补光的条件下采集到的图像为第二图像，在所述LED灯按照所述第三电流强度对所述作业面进行补光的条件下采集到的图像为第三图像；
所述图像特征包括图像亮度和图像特征点；
所述特征阈值包括：所述第一电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，所述第二电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，以及所述第三电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值。
可选的，若所述图像传感器检测到的所述第一图像的图像亮度小于或者等于所述第一电流强度下的亮度下限阈值，并且所述第二图像的图像亮度小于或者等于所述第二电流强度下的亮度下限阈值，将所述作业面的材质类别识别为地毯类材质；
若所述图像传感器检测到的所述第一图像的图像亮度大于所述第一电流强度下的亮度上限阈值，并且所述第二图像的图像亮度大于所述第二电流强度下的亮度上限阈值，将所述作业面的材质类别识别为硬质地面材质。
可选的，若所述图像传感器检测到的所述第二图像的图像特征点小于或者等于所述第二电流强度下的特征点下限阈值，并且所述第三图像的图像特征点小于或者等于所述第三电流强度下的特征点下限阈值，将所述作业面的材质类别识别为硬质地面材质；
若所述图像传感器检测到的所述第二图像的图像特征点大于所述第二电流强度下的特征点上限阈值，并且所述第三图像的图像特征点大于所述第三电流强度下的特征点上限阈值，将所述作业面的材质类别识别为地毯类材质。
可选的，若所述图像传感器检测到的所述第一图像的图像亮度大于所述第一电流强度下的亮度下限阈值且小于或者等于所述第一电流强度下的亮度上限阈值，或者，所述第二图像的图像亮度大于所述第二电流强度下的亮度下限阈值且小于或者等于所述第二电流强度下的亮度上限阈值，或者，所述第二图像的图像特征点大于所述第二电流强度下的特征点下限阈值且小于或者等于所述第二电流强度下的特征点上限阈值，或者，所述第三图像的图像特征点大于所述第三电流强度下的特征点下限阈值且小于或者等于所述第三电流强度下的特征点上限阈值，则检测所述第一图像的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质。
可选的，在检测到所述第一图像的图像特征点大于所述基准特征点阈值，或者所述第二图像的图像特征点小于或者等于所述基准特征点阈值的情况下，计算所述第一图像、所述第二图像和所述第三图像的图像亮度的亮度变化斜率和/或图像特征点的特征点变化斜率，并根据所述亮度变化斜率和所述特征点变化斜率识别所述作业面的材质类别。
可选的，所述特征阈值还包括所述第一电流强度下的最大亮度阈值和所述第三电流强度下的最小特征点阈值；
若所述图像传感器检测到的所述第一图像的图像亮度大于所述最大亮度阈值，并且所述第三图像小于所述第三电流强度下的最小特征点阈值，将所述作业面的材质类别识别为光滑地面材质。
本申请还提供一种自移动机器人，包括：
主体；
移动模块；
设置于所述主体内的位移传感器；
控制模块；
光流传感模块；
所述控制模块与所述位移传感器、所述光流传感模块和所述移动模块连接；
所述光流传感模块为如上述提供的所述的光流传感模块；
所述控制模块根据所述位移传感器采集到的第一位移数据和所述光流传感模块采集到的第二位移数据控制所述移动模块在作业面进行移动，并根据所述光流传感模块识别的所述作业面的材质类别确定在所述作业面的作业模式。
可选的，所述自移动机器人还设置有由对所述作业面进行清洁的清洁模块，若所述光流传感模块识别出的所述作业面的材质类别为硬质地面材质，则所述清洁模块在所述控制模块的控制下进入湿式清洁模式对所述作业面进行清洁；
若所述光流传感模块识别出的所述作业面的材质类别为地毯类材质，则所述清洁模块在所述控制模块的控制下进入干式清洁模式对所述作业面进行清洁。
可选的，所述控制模块根据所述第一位移数据以及对应的第一权重和所述第二位移数据以及对应的第二权重控制所述移动模块在所述作业面进行移动；
若所述光流传感模块识别出的所述作业面的材质类别为硬质地面材质，降低所述第二位移数据对应的第二权重；
若所述光流传感模块识别出的所述作业面的材质类别为硬质地面材质，提高所述第二位移数据对应的第二权重。
本申请还提供一种基于光流传感模块进行材质检测的方法，包括：
图像传感器通过与透镜配合对光照单元补光后的作业面进行图像采集，并将采集到的图像发送至控制单元；
所述控制单元检测所述图像的图像特征，并通过判断所述图像特征是否满足特征阈值来识别所述作业面的材质类别；
其中，所述光照单元按照所述控制单元控制的输入电流强度对所述作业面进行补光。
可选的，所述控制单元控制的输入电流强度包括第一电流强度、第二电流强度和第三电流强度；
其中，所述图像传感器在所述光照单元按照所述第一电流强度对所述作业面进行补光的条件下采集到的图像为第一图像，在所述光照单元按照所述第二电流强度对所述作业面进行补光的条件下采集到的图像为第二图像，在所述光照单元按照所述第三电流强度对所述作业面进行补光的条件下采集到的图像为第三图像；
所述图像特征包括图像亮度和图像特征点；
所述特征阈值包括：所述第一电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，所述第二电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，以及所述第三电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值。
可选的，若所述图像传感器检测到的所述第一图像的图像亮度小于或者等于所述第一电流强度下的亮度下限阈值，并且所述第二图像的图像亮度小于或者等于所述第二电流强度下的亮度下限阈值，将所述作业面的材质类别识别为地毯类材质；
若所述图像传感器检测到的所述第一图像的图像亮度大于所述第一电流强度下的亮度上限阈值，并且所述第二图像的图像亮度大于所述第二电流强度下的亮度上限阈值，将所述作业面的材质类别识别为硬质地面材质。
可选的，若所述图像传感器检测到的所述第二图像的图像特征点小于或者等于所述第二电流强度下的特征点下限阈值，并且所述第三图像的图像特征点小于或者等于所述第三电流强度下的特征点下限阈值，将所述作业面的材质类别识别为硬质地面材质；
若所述图像传感器检测到的所述第二图像的图像特征点大于所述第二电流强度下的特征点上限阈值，并且所述第三图像的图像特征点大于所述第三电流强度下的特征点上限阈值，将所述作业面的材质类别识别为地毯类材质。
可选的，若所述图像传感器检测到的所述第一图像的图像亮度大于所述第一电流强度下的亮度下限阈值且小于或者等于所述第一电流强度下的亮度上限阈值，或者，所述第二图像的图像亮度大于所述第二电流强度下的亮度下限阈值且小于或者等于所述第二电流强度下的亮度上限阈值，或者，所述第二图像的图像特征点大于所述第二电流强度下的特征点下限阈值且小于或者等于所述第二电流强度下的特征点上限阈值，或者，所述第三图像的图像特征点大于所述第三电流强度下的特征点下限阈值且小于或者等于所述第三电流强度下的特征点上限阈值，则检测所述第一图像的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质。
可选的，在检测到所述第一图像的图像特征点大于所述基准特征点阈值，或者所述第二图像的图像特征点小于或者等于所述基准特征点阈值的情况下，计算所述第一图像、所述第二图像和所述第三图像的图像亮度的亮度变化斜率和/或图像特征点的特征点变化斜率，并根据所述亮度变化斜率和所述特征点变化斜率识别所述作业面的材质类别。
可选的，所述特征阈值还包括所述第一电流强度下的最大亮度阈值和所述第三电流强度下的最小特征点阈值；
若所述图像传感器检测到的所述第一图像的图像亮度大于所述最大亮度阈值，并且所述第三图像小于所述第三电流强度下的最小特征点阈值，将所述作业面的材质类别识别为光滑地面材质。
本申请提供的一种光流传感模块，包括：控制单元；图像传感器，与所述控制单元连接；透镜，设置于所述图像传感器下方；光照单元，由所述控制单元控制；其中，所述光照单元根据所述控制单元控制对作业面进行补光；所述光照单元由至少一个LED灯和设置于所述LED灯出光光路上的匀光片组成；所述至少一个LED灯部署于同一平面；所述图像传感器通过与所述透镜配合对补光后的作业面进行图像采集，并将采集到的图像发送至所述控制单元；所述控制单元检测所述图像的图像特征，并通过判断所述图像特征是否满足特征阈值来识别所述作业面的材质类别。
本申请提供的光流传感模块，通过所述控制单元、所述图像传感器、所述透镜以及所述光照单元之间的相互配合，由所述控制单元的控制输入电流强度的所述光照单元对所述图像传感器进行图像采集的作业面进行补光，提升了图像传感器采集到的作业面图像的特征显著性，并在采集到的作业面图像的基础上实现了材质类别识别，提高了光流传感模块适应性，使光流传感模块对芯片性能和成像系统性能需求降低。
附图说明
图1是本申请实施例提供的一种光流传感模块的示意图；
图2是本申请实施例提供的一种图像传感器的视场的示意图；
图3是本申请实施例提供的一种图像传感器进行图像采集的示意图；
图4是本申请实施例提供的一种输入电流与图像亮度对应关系图；
图5是本申请实施例提供的一种输入电流与图像特征点对应关系图；
图6是本申请实施例提供的一种自移动机器人的整机示意图；
图7是本申请实施例提供的一种自移动机器人的结构示意图；
图8是本申请实施例提供的一种基于光流传感模块进行材质检测的方法的执行流程图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本申请。但是本申请能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施的限制。
在本申请一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请一个或多个实施例。在本申请一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本申请一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解，尽管在本申请一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
本申请提供一种光流传感模块，本申请还提供一种自移动机器人，以及一种基于光流传感模块进行材质检测的方法。以下分别结合本申请提供的实施例的附图逐一进行详细说明。
本申请提供的一种光流传感模块实施例如下：
参照附图1，其示出了本实施例提供的一种光流传感模块的示意图，参照附图2，其示出了本实施例提供的一种图像传感器的视场的示意图，参照附图3，其示出了本实施例提供的一种图像传感器进行图像采集的示意图，参照附图4，其示出了本实施例提供的一种输入电流与图像亮度对应关系图，参照附图5，其示出了本实施例提供的一种输入电流与图像特征点对应关系图。
如附图1所示，本实施例提供的光流传感模块，包括：
控制单元110；
图像传感器120，与所述控制单元110连接；
透镜130，设置于所述图像传感器120下方；
光照单元140，由所述控制单元110控制；
其中，所述光照单元140根据所述控制单元110控制对作业面进行补光；
所述光照单元140由至少一个LED灯和设置于所述LED灯出光光路上的匀光片组成；
所述至少一个LED灯部署于同一平面；
所述图像传感器120通过与所述透镜130配合对补光后的作业面进行图像采集，并将采集到的图像发送至所述控制单元110；
所述控制单元110检测所述图像的图像特征，并通过判断所述图像特征是否满足特征阈值来识别所述作业面的材质类别。
本实施例所述图像传感器120，是指CMOS(ComplementaryMetalOxideSemiconductor)传感器，相应的，与所述图像传感器120配合的所述透镜130，是指与CMOS传感器配合进行图像采集的透镜130。除此之外，所述图像传感器120还可以是CMOS传感器之外的其他类型的图像传感器，相应的，所述透镜是指与其他类型的图像传感器配合进行图像采集的透镜，对此不做限定。
具体的，所述LED灯之间的部署间隔，使得所述工作面为光滑地面材质的情况下，所述LED灯发出的光线经光滑地面材质的作业面反射后进入与所述透镜130配合的图像传感器120形成的光路为镜面反射光路。
如附图3所示，通过选用合适发散角(θ)的LED灯作为对作业面进行补光的补光灯，并通过调整LED灯的部署间隔，使LED灯发出的光线照射在光滑地面材质的作业面(比如光洁瓷砖)时反射后进入与透镜130配合的图像传感器120形成的光路为镜面反射光路，并且，每颗LED灯在CMOS传感器上构成一个亮斑，多个LED灯形成的亮斑组合，覆盖整个CMOS传感器。
进一步，所述LED灯的部署数目，使部署后所述LED灯发出的光线经所述匀光片折射后均匀覆盖所述图像传感器120对所述作业面进行图像采集的视场210。
实际应用中，单颗LED灯发出的光线照射的范围有限，如附图2(a)所示，图像传感器120通过与透镜130配合对作业面进行图像采集时的视场210，视场大小为L0×L0；一颗LED灯发出的光线在视场210中的照射范围220；因此，为了使LED灯发出的光线能够照亮图像传感器120的整个视场210，通过在LED灯的出光光路上方设置匀光片，使LED灯经出光光路发出的光线经匀光片(比如毛玻璃等)折射后照射在视场210中的范围更大，通过部署多颗LED灯，使多颗LED灯发出的光线经匀光片折射后的照射范围能够覆盖视场为210，如附图2(b)所示；
光照单元140的LED灯发出的光线在照亮图像传感器120的视场210的同时，也通过光照单元140的LED灯实现了对图像传感器120的视场亮度的控制，并且，由于图像传感器120的视场210被光照单元140部署的多个LED灯的照射范围220全面覆盖，因此对图像传感器120的视场亮度的控制更加全面。
此外，所述光照单元140还可以由多个部署于同一平面的LED灯组成，所述LED灯的部署间隔和部署数目，使部署后所述LED灯发出的光线照亮(补光)并均匀覆盖所述图像传感器120对所述作业面进行图像采集的视场210。
需要说明的是，由于LED灯经出光光路发出的光线经过匀光片后会发生折射，相比LED灯发出的光线直射所述图像传感器120的视场210，此处LED灯经出光光路发出的光线经过匀光片折射后照射在所述图像传感器120的视场210中的照射范围会变大，因此，要使LED灯发出光线的照射范围覆盖所述图像传感器120的视场210，光照单元140部署所需LED灯的数目相比不采用匀光片所需的数目会减少。
可选的，所述LED灯的部署间隔处于12mm至25mm这一区间内；经过所述图像传感器对所述作业面进行图像采集的视场中心并且延伸至视场边界的最大视场间距处于2mm至6mm这一区间内；所述透镜的透镜口径处于3mm至10mm这一区间内；所述图像传感器通过与所述透镜配合对所述作业面进行图像采集的物距处于20mm至55mm这一区间内，像距处于5mm至25mm这一区间内；所述图像传感器的尺寸大小处于0.5mm至1.2mm这一区间内的图像传感器。
如附图2和附图3所示，所述光照单元140中LED灯之间的部署间隔L1为15mm，最大视场间距为2.6mm；同时，LED灯的15mm这一部署间隔L1适用于物距H为40mm、像距h为10mm、透镜口径L3为6mm、CMOS传感器尺寸大小为0.8mm的光照单元。除此之外，还可根据光照单元140中实际的物距H、像距h、透镜口径L3以及CMOS传感器尺寸大小适应性的确定LED灯之间的部署间隔。
上述提供的包含特定部署间隔的LED灯的光照单元中，LED灯的部署间隔相对于现有技术缩短了，通过缩短LED灯的部署间隔，一方面使LED灯照射在工作面的距离也相应缩短，因此对工作面进行照射达到同样亮度所需的功率降低，从而降低了LED灯的功率；
另一方面，在工作面为地毯类材质的情况下，由于地毯类材质的毛线都是弯的，利用缩短部署间隔后的LED灯照射地毯类材质的毛线间隙会取得更好的照射效果，后续CMOS传感器在照射的基础上采集到的图像的质量也更高，从而提高了图像特征的显著性，同时，地毯类材质的毛线在图像中的拖影现象也得以降低，从而提升了图像中地毯类材质的毛线的区分度。
在利用所述光照单元140对所述图像传感器120的视场210进行照亮的基础上，通过所述图像传感器120和所述透镜130的配合进行图像采集，具体是对所述视场210范围内被LED灯发出的光线照亮的作业面进行图像采集，采集之后获得所述视场210范围内被LED灯发出的光线照亮的作业面的图像。在不同光照亮度条件下采集的图像会有所不同，而所述视场210范围的光照亮度由所述控制单元110控制的所述光照单元140的输入电流强度来决定，由此可见，在所述控制单元110控制的不同强度的输入电流输入至所述光照单元140中部署的LED灯的条件下，所述图像传感器120通过与所述透镜130的配合能够采集到所述视场210范围内被不同光照亮度所照亮的作业面的图像。
此外，除了调整向所述光照单元140中部署的LED灯输入的输入电流之外，还可以调整所述LED灯的功率或者电压，从而来改变所述LED灯发出的光线照射在所述视场210范围内作业面的亮度，具体实现过程与调整输入电流类似，参照本实施例提供对输入电流进行调整的实现方式即可。
本申请实施例中，通过利用所述控制单元110来控制向所述光照单元140部署的LED灯输入的输入电流强度，并且通过调整向光照单元140部署的LED灯输入的输入电流强度，从而通过所述图像传感器120与所述透镜130的配合采集不同所述视场210范围内被不同电流强度的LED灯所照亮的作业面的图像。
可选的，所述控制单元110控制的输入电流强度包括第一电流强度Q1、第二电流强度Q2和第三电流强度Q3；其中，所述图像传感器120在所述LED灯按照所述第一电流强度Q1对所述作业面进行补光的条件下采集到的图像为第一图像P1，在所述LED灯按照所述第二电流强度Q2对所述作业面进行补光的条件下采集到的图像为第二图像P2，在所述LED灯按照所述第三电流强度Q3对所述作业面进行补光的条件下采集到的图像为第三图像P3；
所述图像特征包括图像亮度和图像特征点；所述特征阈值包括：所述第一电流强度Q1下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，所述第二电流强度Q2下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，以及所述第三电流强度Q3下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值。
上述以第一电流强度Q1、第二电流强度Q2和第三电流强度Q3这3个输入电流强度为例进行说明，分别采集LED灯按照这3个输入电流强度对所述视场210进行照射的条件下作业面的图像，其中，第一电流强度Q1小于第二电流强度Q2，第二电流强度Q2小于第三电流强度Q3。除此之外，还可以采集LED灯按照4个、5个甚至更多的输入电流强度对所述视场210进行照射的条件下作业面的图像，具体实现方式与上述提供的第一电流强度Q1、第二电流强度Q2和第三电流强度Q3类似。
需要说明的是，各输入电流强度下的上限阈值和下限阈值，预先根据不同材质类别的作业面在个各输入电流强度LED灯的照射下采集的图像的亮度数据和特征点数据来确定。除上述提供的所述图像亮度和所述图像特征点之外，还可以从其他特征角度来识别所述图像对应的作业面的材质类别，比如图像的颜色特征、纹理特征等图像特征，具体实现参照本实施例提供的图像亮度和图像特征点的实现即可，本申请不再一一赘述。
如附图4所示的输入电流与图像亮度对应关系图，通过对硬质地面材质和地毯类材质这两个材质类别下对视场210范围内作业面进行补光的LED灯的输入电流与视场210范围内作业面的图像亮度进行分析，获得硬质地面材质这一材质类别下LED灯的输入电流与作业面的图像亮度的关系曲线，以及地毯类材质这一材质类别下LED灯的输入电流与作业面的图像亮度的关系曲线；
并且，通过对各输入电流强度下硬质地面材质和地毯类材质的作业面的图像亮度进行分析，从而确定在各输入电流强度下用于区分硬质地面材质和地毯类材质的亮度阈值；具体在第一电流强度Q1下的亮度阈值包括亮度阈值下限G1和亮度阈值上限G2，在第二电流强度Q2下的亮度阈值包括亮度阈值下限G3和亮度阈值上限G4。
具体实施时，若所述图像传感器120检测到的所述第一图像P1的图像亮度小于或者等于所述第一电流强度Q1下的亮度下限阈值G1，并且所述第二图像P2的图像亮度小于或者等于所述第二电流强度Q2下的亮度下限阈值G3，将所述作业面的材质类别识别为地毯类材质；
参照附图4提供的地毯类材质这一材质类别下LED灯的输入电流与作业面的图像亮度的关系曲线，可见，作业面的第一图像P1和第一图像P2对应的输入电流强度为第一电流强度Q1和第二电流强度Q2时，地毯类材质的作业面图像的图像亮度小于亮度下限阈值G1和亮度下限阈值G3，因此，如果作业面的第一图像P1的图像亮度小于或者等于亮度下限阈值G1，并且第二图像P2的图像亮度小于或者等于亮度下限阈值G3，则将第一图像P1和第二图像P2对应的作业面的材质类别识别为地毯类材质。
类似的，若所述图像传感器120检测到的所述第一图像P1的图像亮度大于所述第一电流强度Q1下的亮度上限阈值G2，并且所述第二图像P2的图像亮度大于所述第二电流强度下的亮度上限阈值G4，将所述作业面的材质类别识别为硬质地面材质；
参照附图4中硬质地面材质这一材质类别下LED灯的输入电流与作业面的图像亮度的关系曲线，可见，作业面的第一图像P1和第一图像P2对应的输入电流强度为第一电流强度Q1和第二电流强度Q2时，硬质地面材质的作业面图像的图像亮度大于亮度上限阈值G2和亮度上限阈值G4，因此，如果作业面的第一图像P1的图像亮度大于亮度上限阈值G2，并且第二图像P2的图像亮度大于亮度上限阈值G4，则将第一图像P1和第二图像P2对应的作业面的材质类别识别为硬质地面材质。
与上述基于作业面图像的图像亮度识别所述作业面的材质类别这一实现方式类似，还可以基于作业面图像的图像特征点识别所述作业面的材质类别，如附图5所示的输入电流与图像特征点对应关系图，通过对硬质地面材质和地毯类材质这两个材质类别下对视场210范围内作业面进行补光的LED灯的输入电流与视场210范围内作业面的图像特征点进行分析，获得硬质地面材质这一材质类别下LED灯的输入电流与作业面的图像特征点的关系曲线，以及地毯类材质这一材质类别下LED灯的输入电流与作业面的图像特征点的关系曲线；
并且，通过对各输入电流强度下硬质地面材质和地毯类材质的作业面的图像特征点进行分析，从而确定在各输入电流强度下用于区分硬质地面材质和地毯类材质的特征点阈值；具体在第二电流强度Q2下的特征点阈值包括特征点阈值下限G5和特征点阈值上限G6，在第三电流强度Q3下的特征点阈值包括特征点阈值下限G7和特征点阈值上限G8。
可选的，若所述图像传感器120检测到的所述第二图像P2的图像特征点小于或者等于所述第二电流强度Q2下的特征点下限阈值G5，并且所述第三图像P3的图像特征点小于或者等于所述第三电流强度Q3下的特征点下限阈值G7，将所述作业面的材质类别识别为硬质地面材质；
参照附图5提供的硬质地面材质这一材质类别下LED灯的输入电流与作业面的图像特征点的关系曲线，可见，作业面的第二图像P2和第三图像P3对应的输入电流强度为第二电流强度Q2和第三电流强度Q3时，硬质地面材质的作业面图像的图像特征点小于特征点下限阈值G5和特征点下限阈值G7，因此，如果作业面的第二图像P2的图像特征点小于或者等于特征点下限阈值G1，并且第三图像P3的图像特征点小于或者等于特征点下限阈值G3，则将第二图像P2和第三图像P3对应的作业面的材质类别识别为硬质地面材质。
类似的，若所述图像传感器120检测到的所述第三图像P3的图像特征点大于所述第三电流强度Q3下的特征点上限阈值G6，并且所述第三图像P3的图像特征点大于所述第三电流强度Q3下的特征点上限阈值G8，将所述作业面的材质类别识别为地毯类材质；
参照附图5提供的地毯类材质这一材质类别下LED灯的输入电流与作业面的图像特征点的关系曲线，可见，作业面的第二图像P2和第三图像P3对应的输入电流强度为第二电流强度Q2和第三电流强度Q3时，地毯类材质的作业面图像的图像特征点大于特征点上限阈值G6和特征点上限阈值G8，因此，如果作业面的第二图像P2的图像特征点大于特征点上限阈值G6，并且第三图像P3的图像特征点大于特征点上限阈值G8，则将第二图像P2和第三图像P3对应的作业面的材质类别识别为地毯类材质。
上述提供的基于作业面图像的图像亮度识别所述作业面的材质类别的实现方式以及基于作业面图像的图像特征点识别所述作业面的材质类别的实现方式，能够有效的分辨出作业面的材质类别为硬质地面材质还是地毯类材质，经过测试，上述两种材质类别识别方式能够识别大部分硬质地面材质和地毯类材质，用于测试的作业面样本采用上述任意一种实现方式识别的样本数目约占总测试样本数目的80％，由此可见，在实际应用这两种材质类别识别方式对作业面进行材质类别识别时，识别准确率约为80％。
为了进一步提升对作业面的材质类别识别的准确率，对于上述两种材质类别识别的实现方式无法识别的作业面的材质类别，即总测试样本数目中无法识别的剩余20％测试作业面样本，结合作业面图像的图像亮度和图像特征点来对作业面的材质类别进行深度识别。可选的，若所述图像传感器120检测到的所述第一图像P1的图像亮度大于所述第一电流强度Q1下的亮度下限阈值G1且小于或者等于所述第一电流强度Q1下的亮度上限阈值G2，则检测所述第一图像P1的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像P2的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质；
或者，所述第二图像P2的图像亮度大于所述第二电流强度Q2下的亮度下限阈值G3且小于或者等于所述第二电流强度Q2下的亮度上限阈值G4，则检测所述第一图像P1的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像P2的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质；
或者，所述第二图像P2的图像特征点大于所述第二电流强度Q2下的特征点下限阈值G5且小于或者等于所述第二电流强度Q2下的特征点上限阈值G6，则检测所述第一图像P1的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像P2的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质；
或者，所述第三图像P3的图像特征点大于所述第三电流强度Q3下的特征点下限阈值G7且小于或者等于所述第三电流强度Q3下的特征点上限阈值G8，则检测所述第一图像P1的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像P2的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质。
另一方面，如果所述第一图像P1的图像特征点大于硬质地面材质的基准特征点阈值，或者所述第二图像P2的图像特征点小于或者等于所述基准特征点阈值，则表明无法通过所述第一图像P1、所述第二图像P2和基准特征点阈值来识别所述作业面的材质类别，可选的，计算所述第一图像P1、所述第二图像P2和所述第三图像P3的图像亮度的亮度变化斜率和/或图像特征点的特征点变化斜率，并根据所述亮度变化斜率和所述特征点变化斜率识别所述作业面的材质类别。
参照附图4，上述提供的基于作业面图像的图像亮度识别所述作业面的材质类别的实现方式，能够识别第一图像P1的图像亮度小于或者等于亮度下限阈值G1且第二图像P2的图像亮度小于或者等于亮度下限阈值G3的地毯类材质的作业面，以及第一图像P1的图像亮度大于亮度上限阈值G2且第二图像P2的图像亮度大于亮度上限阈值G4的硬质地面材质的作业面，但无法识别第一图像P1的图像亮度大于亮度下限阈值G1且小于或者等于亮度上限阈值G2这部分作业面的材质类别，也无法识别第二图像P2的图像亮度大于亮度下限阈值G3且小于或者等于亮度上限阈值G4这部分作业面的材质类别；
同样，参照附图5，上述提供的基于作业面图像的图像特征点识别所述作业面的材质类别的实现方式，能够识别第二图像P2的图像特征点小于或者等于特征点下限阈值G5且第三图像P3的图像特征点小于或者等于特征点下限阈值G7的硬质地面材质的作业面，以及第二图像P2的图像特征点大于特征点上限阈值G6且第三图像P3的图像特征点大于特征点上限阈值G8的地毯类材质的作业面，但无法识别第二图像P2的图像特征点大于特征点下限阈值G5且小于或者等于特征点上限阈值G6这部分作业面的材质类别，也无法识别第三图像P3的图像特征点大于特征点下限阈值G7且小于或者等于特征点上限阈值G8这部分作业面的材质类别；
对于无法识别的4部分作业面的材质类别，参照附图5，在电流强度小于或者等于第一电流强度Q1时，地毯类材质的作业面的图像特征点小于或者等于硬质地面材质的图像特征点，而在电流强度大于第一电流强度Q1之后，地毯类材质的作业面的图像特征点大于硬质地面材质的图像特征点，从这一特出发，检测第一图像P1的图像特征点是否小于或者等于所述地毯类材质的基准特征点阈值G0，且第二图像P2的图像特征点是否大于基准特征点阈值G0，若是，将所述作业面的材质类别识别为地毯类材质；
若否，则表明无法通过第一图像P1、第二图像P2和基准特征点阈值来识别作业面的材质类别，参照附图4和附图5，地毯类材质和硬质地面材质在不同输入电流强度产生的图像亮度变化斜率和图像特征点变化斜率也不相同，比如地毯类材质的作业面的图像亮度从第一电流强度Q1变化到第二电流强度Q2产生的图像亮度变化斜率大于硬质地面材质的图像亮度变化斜率，再比如地毯类材质的作业面的图像特征点从第二电流强度Q2变化到第三电流强度Q3产生的图像特征点变化斜率小于硬质地面材质的图像亮度变化斜率，因此，可以从图像亮度变化斜率和图像特征点变化斜率这两者或者两者中的任意一者出发来识别作业面的材质类别。
对于总测试样本数目中无法识别的剩余20％测试作业面样本，采用上述提供的通过所述第一图像P1、所述第二图像P2和基准特征点阈值来识别所述作业面的材质类别的实现方式，以及从图像亮度变化斜率和图像特征点变化斜率出发来识别作业面的材质类别的实现方式，能够有效的识别剩余20％测试作业面样本中70％的部分，即对于总测试样本数目进行材质类别识别的准确率已经达到80％+20％*70％＝94％左右。
实际应用中，对于上述实现方式无法识别材质类别的作业面，往往是材质较为特殊的作业面，比如光洁瓷砖，本申请实施例中，为了在进一步提升对作业面材质识别的准确率，对于光洁瓷砖这类材质的作业面进行针对性的识别。可选的，针对光洁瓷砖这类材质的作业面在所述第一电流强度Q1下设置最大亮度阈值G9，并在所述第三电流强度Q1下的最小特征点阈值G10；若所述图像传感器120检测到的所述第一图像的图像亮度大于所述最大亮度阈值G9，并且所述第三图像小于所述第三电流强度下的最小特征点阈值G10，将所述作业面的材质类别识别为光滑地面材质。
参照附图4和附图5，对于光洁瓷砖这类材质的作业面，由于表明非常光滑，对LED灯照射在其上的光线的反射效果非常好，基于同样的输入电流强度，这类材质的图像亮度较高，并且基于同样的电流强度，这类材质的图像特征点较少，因此，通过判断图像传感器120检测到的第一图像P1的图像亮度是否大于最大亮度阈值G9，以及第三图像P3是否小于第三电流强度Q3下的最小特征点阈值G10，如果满足，则将作业面的材质类别识别为光滑地面材质，通过对光洁瓷砖这类材质进行有针对性的识别，使上述材质类别识别的准确率从94％上升至接近100％，从而使对工作面材质类别的识别更加准确和更加有效。
综上所述，本申请提供的光流传感模块，通过所述控制单元110、所述图像传感器120、所述透镜130以及所述光照单元140之间的相互配合，由所述控制单元110的控制输入电流强度的所述光照单元140对所述图像传感器120进行图像采集的作业面进行补光，提升了图像传感器120采集到的作业面图像的特征显著性，并在采集到的作业面图像的基础上实现了材质类别识别，提高了光流传感模块适应性，使光流传感模块对芯片性能和成像系统性能需求降低。
本申请提供的一种自移动机器人实施例如下：
在上述的实施例中，提供了一种光流传感模块，在此基础上，本申请还提供了一种自移动机器人，下面结合附图进行说明。
参照附图6，其示出了本实施例提供的一种自移动机器人的整机示意图，参照附图7，其示出了本实施例提供的一种自移动机器人的结构示意图。
由于本实施例提供的自移动机器人采用上述实施例提供的光流传感模块，所以描述得比较简单，相关的部分请参见上述提供的光流传感模块实施例的对应说明即可。下述描述的自移动机器人实施例仅仅是示意性的。
本申请提供一种自移动机器人，包括：
主体710；
移动模块720；
设置于所述主体710内的位移传感器730；
控制模块740；
光流传感模块750；
所述控制模块740与所述位移传感器730、所述光流传感模块750和所述移动模块720连接；
所述光流传感模块750为上述光流传感模块实施例提供的所述光流传感模块；
所述控制模块740根据所述位移传感器730采集到的第一位移数据和所述光流传感模块750采集到的第二位移数据控制所述移动模块720在作业面进行移动，并根据所述光流传感模块750识别的所述作业面的材质类别确定在所述作业面的作业模式。
可选的，所述自移动机器人还设置有由对所述作业面进行清洁的清洁模块，若所述光流传感模块750识别出的所述作业面的材质类别为硬质地面材质，则所述清洁模块在所述控制模块740的控制下进入湿式清洁模式对所述作业面进行清洁；
若所述光流传感模块750识别出的所述作业面的材质类别为地毯类材质，则所述清洁模块在所述控制模块740的控制下进入干式清洁模式对所述作业面进行清洁。
可选的，所述控制模块740根据所述第一位移数据以及对应的第一权重和所述第二位移数据以及对应的第二权重控制所述移动模块720在所述作业面进行移动；
若所述光流传感模块750识别出的所述作业面的材质类别为硬质地面材质，降低所述第二位移数据对应的第二权重；
若所述光流传感模块750识别出的所述作业面的材质类别为硬质地面材质，提高所述第二位移数据对应的第二权重。
可选的，光流传感模块，包括：控制单元，与所述控制单元连接的图像传感器，以及设置于所述图像传感器下方的透镜，还包括由所述控制单元控制输入电流强度的光照单元；
其中，所述光照单元根据所述控制单元控制下的输入电流对作业面进行补光，并且由至少一个部署于同一平面的LED灯和设置于所述LED灯出光光路上方的匀光片组成；
所述图像传感器通过与所述透镜配合对补光后的作业面进行图像采集，并将采集到的图像发送至所述控制单元；
所述控制单元检测所述图像的图像特征，并通过判断所述图像特征是否满足特征阈值来识别所述作业面的材质类别。
可选的，所述LED灯之间的部署间隔，使得所述工作面为光滑地面材质的情况下，所述LED灯发出的光线经光滑地面材质的作业面反射后进入与所述透镜配合的图像传感器形成的光路为镜面反射光路。
可选的，所述LED灯的部署数目，使部署后所述LED灯发出的光线经所述匀光片折射后均匀覆盖所述图像传感器对所述作业面进行图像采集的视场。
可选的，所述LED灯的部署间隔处于12mm至25mm这一区间内；
经过所述图像传感器对所述作业面进行图像采集的视场中心并且延伸至视场边界的最大视场间距处于2mm至6mm这一区间内；
所述透镜的透镜口径处于3mm至10mm这一区间内；
所述图像传感器通过与所述透镜配合对所述作业面进行图像采集的物距处于20mm至55mm这一区间内，像距处于5mm至25mm这一区间内；
所述图像传感器的尺寸大小处于0.5mm至1.2mm这一区间内的图像传感器。
可选的，所述LED灯的部署间隔为15mm，所述最大视场间距为2.6mm，所述透镜口径为6mm，所述物距为40mm，所述像距为10mm，所述图像传感器的尺寸大小为0.8mm。
可选的，所述控制单元控制的输入电流强度包括第一电流强度、第二电流强度和第三电流强度；
其中，所述图像传感器在所述LED灯按照所述第一电流强度对所述作业面进行补光的条件下采集到的图像为第一图像，在所述LED灯按照所述第二电流强度对所述作业面进行补光的条件下采集到的图像为第二图像，在所述LED灯按照所述第三电流强度对所述作业面进行补光的条件下采集到的图像为第三图像；
所述图像特征包括图像亮度和图像特征点；
所述特征阈值包括：所述第一电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，所述第二电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，以及所述第三电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值。
可选的，若所述图像传感器检测到的所述第一图像的图像亮度小于或者等于所述第一电流强度下的亮度下限阈值，并且所述第二图像的图像亮度小于或者等于所述第二电流强度下的亮度下限阈值，将所述作业面的材质类别识别为地毯类材质；
若所述图像传感器检测到的所述第一图像的图像亮度大于所述第一电流强度下的亮度上限阈值，并且所述第二图像的图像亮度大于所述第二电流强度下的亮度上限阈值，将所述作业面的材质类别识别为硬质地面材质。
可选的，若所述图像传感器检测到的所述第二图像的图像特征点小于或者等于所述第二电流强度下的特征点下限阈值，并且所述第三图像的图像特征点小于或者等于所述第三电流强度下的特征点下限阈值，将所述作业面的材质类别识别为硬质地面材质；
若所述图像传感器检测到的所述第二图像的图像特征点大于所述第二电流强度下的特征点上限阈值，并且所述第三图像的图像特征点大于所述第三电流强度下的特征点上限阈值，将所述作业面的材质类别识别为地毯类材质。
可选的，若所述图像传感器检测到的所述第一图像的图像亮度大于所述第一电流强度下的亮度下限阈值且小于或者等于所述第一电流强度下的亮度上限阈值，或者，所述第二图像的图像亮度大于所述第二电流强度下的亮度下限阈值且小于或者等于所述第二电流强度下的亮度上限阈值，或者，所述第二图像的图像特征点大于所述第二电流强度下的特征点下限阈值且小于或者等于所述第二电流强度下的特征点上限阈值，或者，所述第三图像的图像特征点大于所述第三电流强度下的特征点下限阈值且小于或者等于所述第三电流强度下的特征点上限阈值，则检测所述第一图像的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质。
可选的，在检测到所述第一图像的图像特征点大于所述基准特征点阈值，或者所述第二图像的图像特征点小于或者等于所述基准特征点阈值的情况下，计算所述第一图像、所述第二图像和所述第三图像的图像亮度的亮度变化斜率和/或图像特征点的特征点变化斜率，并根据所述亮度变化斜率和所述特征点变化斜率识别所述作业面的材质类别。
可选的，所述特征阈值还包括所述第一电流强度下的最大亮度阈值和所述第三电流强度下的最小特征点阈值；
若所述图像传感器检测到的所述第一图像的图像亮度大于所述最大亮度阈值，并且所述第三图像小于所述第三电流强度下的最小特征点阈值，将所述作业面的材质类别识别为光滑地面材质。
在实际应用中，通过所述光流传感模块750对自移动机器人进行作业的作业面的材质类别进行识别，可实现自移动机器人中设置的用于识别作业面的材质类别的相关材质识别传感器的功能，例如超声波探测、光接近式探测和图像探测等传感器，甚至在一定条件下还能够取代自移动机器人中相关材质识别传感器，从而大大降低自移动机器人的整机成本。
此外，自移动机器人在硬质地面材质的作业面极少发生移动打滑现象，因此自移动机器人在硬质地面材质的作业面进行作业时，可适当降低所述光流传感模块750的数据权重。
同时，在不考虑硬质地面材质的情况下，对所述光流传感模块750的芯片和光学成像系统的要求大大降低，芯片选用标准也大大降低，光流传感模块750可选择价格较低的芯片来实现，无需选择价格昂贵的芯片，比如过玻璃面功能的芯片，从而能够降低自移动机器人的成本。
本申请提供的一种基于光流传感模块进行材质检测的方法实施例如下：
在上述的实施例中，提供了一种光流传感模块，在此基础上，本申请还提供了一种基于光流传感模块进行材质检测的方法，该方法基于上述实施例提供的光流传感模块实现，下面结合附图1至附图5和附图8进行说明。
参照附图8，其示出了本实施例提供的一种基于光流传感模块进行材质检测的方法的执行流程图。
由于本实施例提供的基于光流传感模块进行材质检测的方法，基于上述实施例提供的光流传感模块实现，所以描述得比较简单，相关的部分请参见上述提供的光流传感模块实施例的对应说明即可。下述描述的基于光流传感模块进行材质检测的方法实施例仅仅是示意性的。
本申请提供一种基于光流传感模块进行材质检测的方法，包括：
步骤S801，图像传感器120通过与透镜130配合对光照单元140补光后的作业面进行图像采集，并将采集到的图像发送至控制单元110；
步骤S802，所述控制单元110检测所述图像的图像特征，并通过判断所述图像特征是否满足特征阈值来识别所述作业面的材质类别；
其中，所述光照单元140按照所述控制单元110控制的输入电流强度对所述作业面进行补光。
在利用所述光照单元140对所述图像传感器120的视场210进行照亮的基础上，通过所述图像传感器120和所述透镜130的配合进行图像采集，具体是对所述视场210范围内被所述光照单元140内部署的LED灯发出的光线照亮的作业面进行图像采集，采集之后获得所述视场210范围内被LED灯发出的光线照亮的作业面的图像。在不同光照亮度条件下采集的图像会有所不同，而所述视场210范围的光照亮度由所述控制单元110控制的所述光照单元140的输入电流强度来决定，由此可见，在所述控制单元110控制的不同强度的输入电流输入至所述光照单元140中部署的LED灯的条件下，所述图像传感器120通过与所述透镜130的配合能够采集到所述视场210范围内被不同光照亮度所照亮的作业面的图像。
本申请实施例中，通过利用所述控制单元110来控制向所述光照单元140部署的LED灯输入的输入电流强度，并且通过调整向光照单元140部署的LED灯输入的输入电流强度，从而通过所述图像传感器120与所述透镜130的配合采集不同所述视场210范围内被不同电流强度的LED灯所照亮的作业面的图像。
可选的，所述控制单元110控制的输入电流强度包括第一电流强度Q1、第二电流强度Q2和第三电流强度Q3；其中，所述图像传感器120在所述LED灯按照所述第一电流强度Q1对所述作业面进行补光的条件下采集到的图像为第一图像P1，在所述LED灯按照所述第二电流强度Q2对所述作业面进行补光的条件下采集到的图像为第二图像P2，在所述LED灯按照所述第三电流强度Q3对所述作业面进行补光的条件下采集到的图像为第三图像P3；
所述图像特征包括图像亮度和图像特征点；所述特征阈值包括：所述第一电流强度Q1下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，所述第二电流强度Q2下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，以及所述第三电流强度Q3下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值。
上述以第一电流强度Q1、第二电流强度Q2和第三电流强度Q3这3个输入电流强度为例进行说明，分别采集LED灯按照这3个输入电流强度对所述视场210进行照射的条件下作业面的图像，其中，第一电流强度Q1小于第二电流强度Q2，第二电流强度Q2小于第三电流强度Q3。除此之外，还可以采集LED灯按照4个、5个甚至更多的输入电流强度对所述视场210进行照射的条件下作业面的图像，具体实现方式与上述提供的第一电流强度Q1、第二电流强度Q2和第三电流强度Q3类似。
需要说明的是，各输入电流强度下的上限阈值和下限阈值，预先根据不同材质类别的作业面在个各输入电流强度LED灯的照射下采集的图像的亮度数据和特征点数据来确定。除上述提供的所述图像亮度和所述图像特征点之外，还可以从其他特征角度来识别所述图像对应的作业面的材质类别，比如图像的颜色特征、纹理特征等图像特征，具体实现参照本实施例提供的图像亮度和图像特征点的实现即可，本申请不再一一赘述。
如附图4所示的输入电流与图像亮度对应关系图，通过对硬质地面材质和地毯类材质这两个材质类别下对视场210范围内作业面进行补光的LED灯的输入电流与视场210范围内作业面的图像亮度进行分析，获得硬质地面材质这一材质类别下LED灯的输入电流与作业面的图像亮度的关系曲线，以及地毯类材质这一材质类别下LED灯的输入电流与作业面的图像亮度的关系曲线；
并且，通过对各输入电流强度下硬质地面材质和地毯类材质的作业面的图像亮度进行分析，从而确定在各输入电流强度下用于区分硬质地面材质和地毯类材质的亮度阈值；具体在第一电流强度Q1下的亮度阈值包括亮度阈值下限G1和亮度阈值上限G2，在第二电流强度Q2下的亮度阈值包括亮度阈值下限G3和亮度阈值上限G4。
具体实施时，若所述图像传感器120检测到的所述第一图像P1的图像亮度小于或者等于所述第一电流强度Q1下的亮度下限阈值G1，并且所述第二图像P2的图像亮度小于或者等于所述第二电流强度Q2下的亮度下限阈值G3，将所述作业面的材质类别识别为地毯类材质；
参照附图4提供的地毯类材质这一材质类别下LED灯的输入电流与作业面的图像亮度的关系曲线，可见，作业面的第一图像P1和第一图像P2对应的输入电流强度为第一电流强度Q1和第二电流强度Q2时，地毯类材质的作业面图像的图像亮度小于亮度下限阈值G1和亮度下限阈值G3，因此，如果作业面的第一图像P1的图像亮度小于或者等于亮度下限阈值G1，并且第二图像P2的图像亮度小于或者等于亮度下限阈值G3，则将第一图像P1和第二图像P2对应的作业面的材质类别识别为地毯类材质。
类似的，若所述图像传感器120检测到的所述第一图像P1的图像亮度大于所述第一电流强度Q1下的亮度上限阈值G2，并且所述第二图像P2的图像亮度大于所述第二电流强度下的亮度上限阈值G4，将所述作业面的材质类别识别为硬质地面材质；
参照附图4中硬质地面材质这一材质类别下LED灯的输入电流与作业面的图像亮度的关系曲线，可见，作业面的第一图像P1和第一图像P2对应的输入电流强度为第一电流强度Q1和第二电流强度Q2时，硬质地面材质的作业面图像的图像亮度大于亮度上限阈值G2和亮度上限阈值G4，因此，如果作业面的第一图像P1的图像亮度大于亮度上限阈值G2，并且第二图像P2的图像亮度大于亮度上限阈值G4，则将第一图像P1和第二图像P2对应的作业面的材质类别识别为硬质地面材质。
与上述基于作业面图像的图像亮度识别所述作业面的材质类别这一实现方式类似，还可以基于作业面图像的图像特征点识别所述作业面的材质类别，如附图5所示的输入电流与图像特征点对应关系图，通过对硬质地面材质和地毯类材质这两个材质类别下对视场210范围内作业面进行补光的LED灯的输入电流与视场210范围内作业面的图像特征点进行分析，获得硬质地面材质这一材质类别下LED灯的输入电流与作业面的图像特征点的关系曲线，以及地毯类材质这一材质类别下LED灯的输入电流与作业面的图像特征点的关系曲线；
并且，通过对各输入电流强度下硬质地面材质和地毯类材质的作业面的图像特征点进行分析，从而确定在各输入电流强度下用于区分硬质地面材质和地毯类材质的特征点阈值；具体在第二电流强度Q2下的特征点阈值包括特征点阈值下限G5和特征点阈值上限G6，在第三电流强度Q3下的特征点阈值包括特征点阈值下限G7和特征点阈值上限G8。
可选的，若所述图像传感器120检测到的所述第二图像P2的图像特征点小于或者等于所述第二电流强度Q2下的特征点下限阈值G5，并且所述第三图像P3的图像特征点小于或者等于所述第三电流强度Q3下的特征点下限阈值G7，将所述作业面的材质类别识别为硬质地面材质；
参照附图5提供的硬质地面材质这一材质类别下LED灯的输入电流与作业面的图像特征点的关系曲线，可见，作业面的第二图像P2和第三图像P3对应的输入电流强度为第二电流强度Q2和第三电流强度Q3时，硬质地面材质的作业面图像的图像特征点小于特征点下限阈值G5和特征点下限阈值G7，因此，如果作业面的第二图像P2的图像特征点小于或者等于特征点下限阈值G1，并且第三图像P3的图像特征点小于或者等于特征点下限阈值G3，则将第二图像P2和第三图像P3对应的作业面的材质类别识别为硬质地面材质。
类似的，若所述图像传感器120检测到的所述第三图像P3的图像特征点大于所述第三电流强度Q3下的特征点上限阈值G6，并且所述第三图像P3的图像特征点大于所述第三电流强度Q3下的特征点上限阈值G8，将所述作业面的材质类别识别为地毯类材质；
参照附图5提供的地毯类材质这一材质类别下LED灯的输入电流与作业面的图像特征点的关系曲线，可见，作业面的第二图像P2和第三图像P3对应的输入电流强度为第二电流强度Q2和第三电流强度Q3时，地毯类材质的作业面图像的图像特征点大于特征点上限阈值G6和特征点上限阈值G8，因此，如果作业面的第二图像P2的图像特征点大于特征点上限阈值G6，并且第三图像P3的图像特征点大于特征点上限阈值G8，则将第二图像P2和第三图像P3对应的作业面的材质类别识别为地毯类材质。
上述提供的基于作业面图像的图像亮度识别所述作业面的材质类别的实现方式以及基于作业面图像的图像特征点识别所述作业面的材质类别的实现方式，能够有效的分辨出作业面的材质类别为硬质地面材质还是地毯类材质，经过测试，上述两种材质类别识别方式能够识别大部分硬质地面材质和地毯类材质，用于测试的作业面样本采用上述任意一种实现方式识别的样本数目约占总测试样本数目的80％，由此可见，在实际应用这两种材质类别识别方式对作业面进行材质类别识别时，识别准确率约为80％。
为了进一步提升对作业面的材质类别识别的准确率，对于上述两种材质类别识别的实现方式无法识别的作业面的材质类别，即总测试样本数目中无法识别的剩余20％测试作业面样本，结合作业面图像的图像亮度和图像特征点来对作业面的材质类别进行深度识别。可选的，若所述图像传感器120检测到的所述第一图像P1的图像亮度大于所述第一电流强度Q1下的亮度下限阈值G1且小于或者等于所述第一电流强度Q1下的亮度上限阈值G2，则检测所述第一图像P1的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像P2的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质；
或者，所述第二图像P2的图像亮度大于所述第二电流强度Q2下的亮度下限阈值G3且小于或者等于所述第二电流强度Q2下的亮度上限阈值G4，则检测所述第一图像P1的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像P2的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质；
或者，所述第二图像P2的图像特征点大于所述第二电流强度Q2下的特征点下限阈值G5且小于或者等于所述第二电流强度Q2下的特征点上限阈值G6，则检测所述第一图像P1的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像P2的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质；
或者，所述第三图像P3的图像特征点大于所述第三电流强度Q3下的特征点下限阈值G7且小于或者等于所述第三电流强度Q3下的特征点上限阈值G8，则检测所述第一图像P1的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像P2的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质。
另一方面，如果所述第一图像P1的图像特征点大于硬质地面材质的基准特征点阈值，或者所述第二图像P2的图像特征点小于或者等于所述基准特征点阈值，则表明无法通过所述第一图像P1、所述第二图像P2和基准特征点阈值来识别所述作业面的材质类别，可选的，计算所述第一图像P1、所述第二图像P2和所述第三图像P3的图像亮度的亮度变化斜率和/或图像特征点的特征点变化斜率，并根据所述亮度变化斜率和所述特征点变化斜率识别所述作业面的材质类别。
参照附图4，上述提供的基于作业面图像的图像亮度识别所述作业面的材质类别的实现方式，能够识别第一图像P1的图像亮度小于或者等于亮度下限阈值G1且第二图像P2的图像亮度小于或者等于亮度下限阈值G3的地毯类材质的作业面，以及第一图像P1的图像亮度大于亮度上限阈值G2且第二图像P2的图像亮度大于亮度上限阈值G4的硬质地面材质的作业面，但无法识别第一图像P1的图像亮度大于亮度下限阈值G1且小于或者等于亮度上限阈值G2这部分作业面的材质类别，也无法识别第二图像P2的图像亮度大于亮度下限阈值G3且小于或者等于亮度上限阈值G4这部分作业面的材质类别；
同样，参照附图5，上述提供的基于作业面图像的图像特征点识别所述作业面的材质类别的实现方式，能够识别第二图像P2的图像特征点小于或者等于特征点下限阈值G5且第三图像P3的图像特征点小于或者等于特征点下限阈值G7的硬质地面材质的作业面，以及第二图像P2的图像特征点大于特征点上限阈值G6且第三图像P3的图像特征点大于特征点上限阈值G8的地毯类材质的作业面，但无法识别第二图像P2的图像特征点大于特征点下限阈值G5且小于或者等于特征点上限阈值G6这部分作业面的材质类别，也无法识别第三图像P3的图像特征点大于特征点下限阈值G7且小于或者等于特征点上限阈值G8这部分作业面的材质类别；
对于无法识别的4部分作业面的材质类别，参照附图5，在电流强度小于或者等于第一电流强度Q1时，地毯类材质的作业面的图像特征点小于或者等于硬质地面材质的图像特征点，而在电流强度大于第一电流强度Q1之后，地毯类材质的作业面的图像特征点大于硬质地面材质的图像特征点，从这一特出发，检测第一图像P1的图像特征点是否小于或者等于所述地毯类材质的基准特征点阈值G0，且第二图像P2的图像特征点是否大于基准特征点阈值G0，若是，将所述作业面的材质类别识别为地毯类材质；
若否，则表明无法通过第一图像P1、第二图像P2和基准特征点阈值来识别作业面的材质类别，参照附图4和附图5，地毯类材质和硬质地面材质在不同输入电流强度产生的图像亮度变化斜率和图像特征点变化斜率也不相同，比如地毯类材质的作业面的图像亮度从第一电流强度Q1变化到第二电流强度Q2产生的图像亮度变化斜率大于硬质地面材质的图像亮度变化斜率，再比如地毯类材质的作业面的图像特征点从第二电流强度Q2变化到第三电流强度Q3产生的图像特征点变化斜率小于硬质地面材质的图像亮度变化斜率，因此，可以从图像亮度变化斜率和图像特征点变化斜率这两者或者两者中的任意一者出发来识别作业面的材质类别。
对于总测试样本数目中无法识别的剩余20％测试作业面样本，采用上述提供的通过所述第一图像P1、所述第二图像P2和基准特征点阈值来识别所述作业面的材质类别的实现方式，以及从图像亮度变化斜率和图像特征点变化斜率出发来识别作业面的材质类别的实现方式，能够有效的识别剩余20％测试作业面样本中70％的部分，即对于总测试样本数目进行材质类别识别的准确率已经达到80％+20％*70％＝94％左右。
实际应用中，对于上述实现方式无法识别材质类别的作业面，往往是材质较为特殊的作业面，比如光洁瓷砖，本申请实施例中，为了在进一步提升对作业面材质识别的准确率，对于光洁瓷砖这类材质的作业面进行针对性的识别。可选的，针对光洁瓷砖这类材质的作业面在所述第一电流强度Q1下设置最大亮度阈值G9，并在所述第三电流强度Q1下的最小特征点阈值G10；若所述图像传感器120检测到的所述第一图像的图像亮度大于所述最大亮度阈值G9，并且所述第三图像小于所述第三电流强度下的最小特征点阈值G10，将所述作业面的材质类别识别为光滑地面材质。
参照附图4和附图5，对于光洁瓷砖这类材质的作业面，由于表明非常光滑，对LED灯照射在其上的光线的反射效果非常好，基于同样的输入电流强度，这类材质的图像亮度较高，并且基于同样的电流强度，这类材质的图像特征点较少，因此，通过判断图像传感器120检测到的第一图像P1的图像亮度是否大于最大亮度阈值G9，以及第三图像P3是否小于第三电流强度Q3下的最小特征点阈值G10，如果满足，则将作业面的材质类别识别为光滑地面材质，通过对光洁瓷砖这类材质进行有针对性的识别，使上述材质类别识别的准确率从94％上升至接近100％，从而使对工作面材质类别的识别更加准确和更加有效。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。

Claims (21)

1.一种光流传感模块，包括：
控制单元；
图像传感器，与所述控制单元连接；
透镜，设置于所述图像传感器下方；
光照单元，由所述控制单元控制；
其中，所述光照单元根据所述控制单元控制的输入电流强度对作业面进行补光；
所述光照单元由至少一个LED灯和设置于所述LED灯出光光路上的匀光片组成；
所述至少一个LED灯部署于同一平面；
所述图像传感器通过与所述透镜配合对按照不同的输入电流强度补光后的作业面进行图像采集，并将采集到的图像发送至所述控制单元；
所述控制单元检测所述图像的图像特征，并通过结合不同的输入电流强度以及对应的特征阈值判断所述图像特征是否满足特征阈值来识别所述作业面的材质类别。
2.根据权利要求1所述的光流传感模块，其特征在于，所述LED灯之间的部署间隔，使得工作面为光滑地面材质的情况下，所述LED灯发出的光线经光滑地面材质的作业面反射后进入与所述透镜配合的图像传感器形成的光路为镜面反射光路。
3.根据权利要求2所述的光流传感模块，其特征在于，所述LED灯的部署数目，使部署后所述LED灯发出的光线经所述匀光片折射后均匀覆盖所述图像传感器对所述作业面进行图像采集的视场。
4.根据权利要求3所述的光流传感模块，其特征在于，所述LED灯的部署间隔处于12mm至25mm这一区间内；
经过所述图像传感器对所述作业面进行图像采集的视场中心并且延伸至视场边界的最大视场间距处于2mm至6mm这一区间内；
所述透镜的透镜口径处于3mm至10mm这一区间内；
所述图像传感器通过与所述透镜配合对所述作业面进行图像采集的物距处于20mm至55mm这一区间内，像距处于5mm至25mm这一区间内；
所述图像传感器的尺寸大小处于0.5mm至1.2mm这一区间内的图像传感器。
5.根据权利要求4所述的光流传感模块，其特征在于，所述LED灯的部署间隔为15mm；
所述最大视场间距为2.6mm；
所述透镜口径为6mm；
所述物距为40mm；
所述像距为10mm；
所述图像传感器的尺寸大小为0.8mm。
6.根据权利要求5所述的光流传感模块，其特征在于，所述控制单元控制的输入电流强度包括第一电流强度、第二电流强度和第三电流强度；
其中，所述图像传感器在所述LED灯按照所述第一电流强度对所述作业面进行补光的条件下采集到的图像为第一图像，在所述LED灯按照所述第二电流强度对所述作业面进行补光的条件下采集到的图像为第二图像，在所述LED灯按照所述第三电流强度对所述作业面进行补光的条件下采集到的图像为第三图像；
所述图像特征包括图像亮度和图像特征点；
所述特征阈值包括：所述第一电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，所述第二电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，以及所述第三电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值。
7.根据权利要求6所述的光流传感模块，其特征在于，若所述图像传感器检测到的所述第一图像的图像亮度小于或者等于所述第一电流强度下的亮度下限阈值，并且所述第二图像的图像亮度小于或者等于所述第二电流强度下的亮度下限阈值，将所述作业面的材质类别识别为地毯类材质；
若所述图像传感器检测到的所述第一图像的图像亮度大于所述第一电流强度下的亮度上限阈值，并且所述第二图像的图像亮度大于所述第二电流强度下的亮度上限阈值，将所述作业面的材质类别识别为硬质地面材质。
8.根据权利要求6所述的光流传感模块，其特征在于，若所述图像传感器检测到的所述第二图像的图像特征点小于或者等于所述第二电流强度下的特征点下限阈值，并且所述第三图像的图像特征点小于或者等于所述第三电流强度下的特征点下限阈值，将所述作业面的材质类别识别为硬质地面材质；
若所述图像传感器检测到的所述第二图像的图像特征点大于所述第二电流强度下的特征点上限阈值，并且所述第三图像的图像特征点大于所述第三电流强度下的特征点上限阈值，将所述作业面的材质类别识别为地毯类材质。
9.根据权利要求7或8所述的光流传感模块，其特征在于，若所述图像传感器检测到的所述第一图像的图像亮度大于所述第一电流强度下的亮度下限阈值且小于或者等于所述第一电流强度下的亮度上限阈值，或者，所述第二图像的图像亮度大于所述第二电流强度下的亮度下限阈值且小于或者等于所述第二电流强度下的亮度上限阈值，或者，所述第二图像的图像特征点大于所述第二电流强度下的特征点下限阈值且小于或者等于所述第二电流强度下的特征点上限阈值，或者，所述第三图像的图像特征点大于所述第三电流强度下的特征点下限阈值且小于或者等于所述第三电流强度下的特征点上限阈值，则检测所述第一图像的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质。
10.根据权利要求9所述的光流传感模块，其特征在于，在检测到所述第一图像的图像特征点大于所述基准特征点阈值，或者所述第二图像的图像特征点小于或者等于所述基准特征点阈值的情况下，计算所述第一图像、所述第二图像和所述第三图像的图像亮度的亮度变化斜率和/或图像特征点的特征点变化斜率，并根据所述亮度变化斜率和所述特征点变化斜率识别所述作业面的材质类别。
11.根据权利要求10所述的光流传感模块，其特征在于，所述特征阈值还包括所述第一电流强度下的最大亮度阈值和所述第三电流强度下的最小特征点阈值；
若所述图像传感器检测到的所述第一图像的图像亮度大于所述最大亮度阈值，并且所述第三图像小于所述第三电流强度下的最小特征点阈值，将所述作业面的材质类别识别为光滑地面材质。
12.一种自移动机器人，包括：
主体；
移动模块；
设置于所述主体内的位移传感器；
控制模块；
光流传感模块；
所述控制模块与所述位移传感器、所述光流传感模块和所述移动模块连接；
所述光流传感模块为如权利要求1至11任意一项所述的光流传感模块；
所述控制模块根据所述位移传感器采集到的第一位移数据和所述光流传感模块采集到的第二位移数据控制所述移动模块在作业面进行移动，并根据所述光流传感模块识别的所述作业面的材质类别确定在所述作业面的作业模式。
13.根据权利要求12所述的自移动机器人，其特征在于，所述自移动机器人还设置有由对所述作业面进行清洁的清洁模块，若所述光流传感模块识别出的所述作业面的材质类别为硬质地面材质，则所述清洁模块在所述控制模块的控制下进入湿式清洁模式对所述作业面进行清洁；
若所述光流传感模块识别出的所述作业面的材质类别为地毯类材质，则所述清洁模块在所述控制模块的控制下进入干式清洁模式对所述作业面进行清洁。
14.根据权利要求12或13所述的自移动机器人，其特征在于，所述控制模块根据所述第一位移数据以及对应的第一权重和所述第二位移数据以及对应的第二权重控制所述移动模块在所述作业面进行移动；
若所述光流传感模块识别出的所述作业面的材质类别为硬质地面材质，降低所述第二位移数据对应的第二权重；
若所述光流传感模块识别出的所述作业面的材质类别为硬质地面材质，提高所述第二位移数据对应的第二权重。
15.一种基于光流传感模块进行材质检测的方法，其特征在于，包括：
图像传感器通过与透镜配合对光照单元补光后的作业面进行图像采集，并将采集到的图像发送至控制单元；
所述控制单元检测所述图像的图像特征，并通过判断所述图像特征是否满足特征阈值来识别所述作业面的材质类别；
其中，所述光照单元按照所述控制单元控制的输入电流强度对所述作业面进行补光；所述图像传感器通过与所述透镜配合对按照不同的输入电流强度补光后的作业面进行图像采集；所述控制单元通过结合不同的输入电流强度以及对应的特征阈值判断所述图像特征是否满足特征阈值来识别所述作业面的材质类别。
16.根据权利要求15所述的基于光流传感模块进行材质检测的方法，其特征在于，所述控制单元控制的输入电流强度包括第一电流强度、第二电流强度和第三电流强度；
其中，所述图像传感器在所述光照单元按照所述第一电流强度对所述作业面进行补光的条件下采集到的图像为第一图像，在所述光照单元按照所述第二电流强度对所述作业面进行补光的条件下采集到的图像为第二图像，在所述光照单元按照所述第三电流强度对所述作业面进行补光的条件下采集到的图像为第三图像；
所述图像特征包括图像亮度和图像特征点；
所述特征阈值包括：所述第一电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，所述第二电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值，以及所述第三电流强度下的亮度上限阈值、亮度下限阈值、特征点上限阈值和特征点下限阈值。
17.根据权利要求16所述的基于光流传感模块进行材质检测的方法，其特征在于，若所述图像传感器检测到的所述第一图像的图像亮度小于或者等于所述第一电流强度下的亮度下限阈值，并且所述第二图像的图像亮度小于或者等于所述第二电流强度下的亮度下限阈值，将所述作业面的材质类别识别为地毯类材质；
若所述图像传感器检测到的所述第一图像的图像亮度大于所述第一电流强度下的亮度上限阈值，并且所述第二图像的图像亮度大于所述第二电流强度下的亮度上限阈值，将所述作业面的材质类别识别为硬质地面材质。
18.根据权利要求17所述的基于光流传感模块进行材质检测的方法，其特征在于，若所述图像传感器检测到的所述第二图像的图像特征点小于或者等于所述第二电流强度下的特征点下限阈值，并且所述第三图像的图像特征点小于或者等于所述第三电流强度下的特征点下限阈值，将所述作业面的材质类别识别为硬质地面材质；
若所述图像传感器检测到的所述第二图像的图像特征点大于所述第二电流强度下的特征点上限阈值，并且所述第三图像的图像特征点大于所述第三电流强度下的特征点上限阈值，将所述作业面的材质类别识别为地毯类材质。
19.根据权利要求17或18所述的基于光流传感模块进行材质检测的方法，其特征在于，若所述图像传感器检测到的所述第一图像的图像亮度大于所述第一电流强度下的亮度下限阈值且小于或者等于所述第一电流强度下的亮度上限阈值，或者，所述第二图像的图像亮度大于所述第二电流强度下的亮度下限阈值且小于或者等于所述第二电流强度下的亮度上限阈值，或者，所述第二图像的图像特征点大于所述第二电流强度下的特征点下限阈值且小于或者等于所述第二电流强度下的特征点上限阈值，或者，所述第三图像的图像特征点大于所述第三电流强度下的特征点下限阈值且小于或者等于所述第三电流强度下的特征点上限阈值，则检测所述第一图像的图像特征点是否小于或者等于硬质地面材质的基准特征点阈值，且所述第二图像的图像特征点是否大于所述基准特征点阈值，若是，将所述作业面的材质类别识别为地毯类材质。
20.根据权利要求19所述的基于光流传感模块进行材质检测的方法，其特征在于，在检测到所述第一图像的图像特征点大于所述基准特征点阈值，或者所述第二图像的图像特征点小于或者等于所述基准特征点阈值的情况下，计算所述第一图像、所述第二图像和所述第三图像的图像亮度的亮度变化斜率和/或图像特征点的特征点变化斜率，并根据所述亮度变化斜率和所述特征点变化斜率识别所述作业面的材质类别。
21.根据权利要求20所述的基于光流传感模块进行材质检测的方法，其特征在于，所述特征阈值还包括所述第一电流强度下的最大亮度阈值和所述第三电流强度下的最小特征点阈值；
若所述图像传感器检测到的所述第一图像的图像亮度大于所述最大亮度阈值，并且所述第三图像小于所述第三电流强度下的最小特征点阈值，将所述作业面的材质类别识别为光滑地面材质。
CN201910842419.4A 2019-09-06 2019-09-06 一种光流传感模块、自移动机器人以及材质检测的方法 Active CN112461829B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910842419.4A CN112461829B (zh) 2019-09-06 2019-09-06 一种光流传感模块、自移动机器人以及材质检测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910842419.4A CN112461829B (zh) 2019-09-06 2019-09-06 一种光流传感模块、自移动机器人以及材质检测的方法

Publications (2)

Publication Number Publication Date
CN112461829A CN112461829A (zh) 2021-03-09
CN112461829B true CN112461829B (zh) 2022-11-18

Family

ID=74807154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910842419.4A Active CN112461829B (zh) 2019-09-06 2019-09-06 一种光流传感模块、自移动机器人以及材质检测的方法

Country Status (1)

Country Link
CN (1) CN112461829B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113075134B (zh) * 2021-03-22 2023-12-26 深圳市德明新微电子有限公司 一种应用于扫地机的目标材质分析方法及装置
CN116429898B (zh) * 2023-04-26 2023-10-27 苏州如涵科技有限公司 一种基于光流和超声波传感器进行材质识别和位移计算的融合算法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1831519A (zh) * 2005-03-10 2006-09-13 富士施乐株式会社 光泽测量装置以及光泽测量方法
CN104301624A (zh) * 2014-10-30 2015-01-21 青岛海信移动通信技术股份有限公司 一种图像拍摄亮度控制方法及装置
CN105122307A (zh) * 2013-03-12 2015-12-02 日本电气株式会社 识别方法、识别系统、识别装置和程序
CN105280125A (zh) * 2015-11-23 2016-01-27 上海伟世通汽车电子系统有限公司 显示器的显示粗糙度检测方法及其检测系统
CN106644092A (zh) * 2017-01-05 2017-05-10 西安电子科技大学 基于可见光信息的红外纹理温度场调制方法
JP2017181060A (ja) * 2016-03-28 2017-10-05 キヤノン株式会社 シート種別判定装置、画像形成装置、及びシート種別判定方法
CN107569181A (zh) * 2016-07-04 2018-01-12 九阳股份有限公司 一种智能清洁机器人及清扫方法
CN107578038A (zh) * 2017-09-30 2018-01-12 深圳拓邦股份有限公司 一种地面识别装置及清洁设备
CN108154098A (zh) * 2017-12-20 2018-06-12 歌尔股份有限公司 一种机器人的目标识别方法、装置和机器人
CN110163074A (zh) * 2018-02-14 2019-08-23 通用汽车环球科技运作有限责任公司 提供用于基于图像场景和环境光分析的增强路面状况检测的方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1831519A (zh) * 2005-03-10 2006-09-13 富士施乐株式会社 光泽测量装置以及光泽测量方法
CN105122307A (zh) * 2013-03-12 2015-12-02 日本电气株式会社 识别方法、识别系统、识别装置和程序
CN104301624A (zh) * 2014-10-30 2015-01-21 青岛海信移动通信技术股份有限公司 一种图像拍摄亮度控制方法及装置
CN105280125A (zh) * 2015-11-23 2016-01-27 上海伟世通汽车电子系统有限公司 显示器的显示粗糙度检测方法及其检测系统
JP2017181060A (ja) * 2016-03-28 2017-10-05 キヤノン株式会社 シート種別判定装置、画像形成装置、及びシート種別判定方法
CN107569181A (zh) * 2016-07-04 2018-01-12 九阳股份有限公司 一种智能清洁机器人及清扫方法
CN106644092A (zh) * 2017-01-05 2017-05-10 西安电子科技大学 基于可见光信息的红外纹理温度场调制方法
CN107578038A (zh) * 2017-09-30 2018-01-12 深圳拓邦股份有限公司 一种地面识别装置及清洁设备
CN108154098A (zh) * 2017-12-20 2018-06-12 歌尔股份有限公司 一种机器人的目标识别方法、装置和机器人
CN110163074A (zh) * 2018-02-14 2019-08-23 通用汽车环球科技运作有限责任公司 提供用于基于图像场景和环境光分析的增强路面状况检测的方法

Also Published As

Publication number Publication date
CN112461829A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112461829B (zh) 一种光流传感模块、自移动机器人以及材质检测的方法
CN106821155B (zh) 一种图像控制吸尘功率扫地机器人及控制方法
JP2020187657A (ja) 画像検査装置
CN1324529C (zh) 对场景中的物体进行分类的系统及其方法
WO2011125927A1 (ja) 粒子測定装置および粒子測定方法
US6462813B1 (en) Surface defect inspection system and method
KR101679205B1 (ko) 디바이스 결함 검출장치
US9689788B2 (en) Method for measuring fine particulates and fine particulate sensor for determining the particle size of fine particulates
CN111220581A (zh) 荧光渗透检查系统和方法
US11203494B2 (en) System and method for sorting moving objects
CN113885717A (zh) 相对不同工作表面使用不同光源的轨迹追踪装置
JP2020187656A (ja) 画像検査装置
SE501650C2 (sv) Anordning och förfarande för detektering av defekter i virke
CN117309892B (zh) 一种电池蓝膜的缺陷检测方法、装置及系统和光源控制器
CN108956613A (zh) 玻璃锡缺陷视觉鉴别系统
JPH06294749A (ja) 板ガラスの欠点検査方法
CN115151174A (zh) 一种清洁机器人及其清洁控制方法
US7586599B2 (en) Method and system for detecting defects
CN208255438U (zh) 车辆底盘扫描装置
JP2005214720A (ja) 表面検査装置及び方法
CN1094223C (zh) 基于图象序列分析的驾驶员桩考过程自动测试系统
KR20200089416A (ko) 디스플레이 패널의 커버 글래스 검사 시스템
CN115682985A (zh) 一种汽车车身外观检测方法、系统、存储介质及智能终端
JP3495212B2 (ja) 電縫管のシーム部検出装置
JP2002310917A (ja) 欠陥検出方法及び装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant