CN114532919B - 多模态目标检测方法、装置、扫地机及存储介质 - Google Patents

多模态目标检测方法、装置、扫地机及存储介质 Download PDF

Info

Publication number
CN114532919B
CN114532919B CN202210095045.6A CN202210095045A CN114532919B CN 114532919 B CN114532919 B CN 114532919B CN 202210095045 A CN202210095045 A CN 202210095045A CN 114532919 B CN114532919 B CN 114532919B
Authority
CN
China
Prior art keywords
target
environment
image
target detection
sweeper
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210095045.6A
Other languages
English (en)
Other versions
CN114532919A (zh
Inventor
杨勇
吴新龙
刘建平
张康健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen 3irobotix Co Ltd
Original Assignee
Shenzhen 3irobotix Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen 3irobotix Co Ltd filed Critical Shenzhen 3irobotix Co Ltd
Priority to CN202210095045.6A priority Critical patent/CN114532919B/zh
Publication of CN114532919A publication Critical patent/CN114532919A/zh
Application granted granted Critical
Publication of CN114532919B publication Critical patent/CN114532919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • A47L11/4008—Arrangements of switches, indicators or the like
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/60—Other road transportation technologies with climate change mitigation effect
    • Y02T10/70—Energy storage systems for electromobility, e.g. batteries

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种多模态目标检测方法、装置、扫地机及存储介质，包括：获取扫地机当前所在位置对应的环境图像，提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境，若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像，基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得。本申请解决扫地机在夜晚环境下目标识别度低，在清扫过程无法能够准确避开障碍物，导致扫地机清扫效果不佳的技术问题。

Description

多模态目标检测方法、装置、扫地机及存储介质
技术领域
本申请涉及扫地机技术领域，尤其涉及一种多模态目标检测方法、装置、扫地机及存储介质。
背景技术
随着智能家居的快速发展越来越多的智能家电进入人们的生活，为了解放人们的双手，减少家务中占用的时间，扫地机被广泛地应用在人们的生活中，目前，扫地机在清扫操作时通常是通过摄像头进行实时拍摄以进行识别物体，然而扫地机的摄像头往往只可以工作在白天光亮场景，在黑暗的场景下，摄像头采集的图片是非常黑暗的，甚至看不清任何东西，使得扫地机在夜晚环境下目标识别度低，在清扫过程无法能够准确避开障碍物，导致扫地机清扫效果不佳。
发明内容
本申请的主要目的在于提供一种多模态目标检测方法、装置、扫地机及存储介质，旨在解决现有技术中的扫地机在夜晚环境下目标识别度低，在清扫过程无法能够准确避开障碍物，导致扫地机清扫效果不佳的技术问题。
为实现上述目的，本申请提供一种多模态目标检测方法，所述多模态目标检测方法包括：
获取扫地机当前所在位置对应的环境图像；
提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境；
若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像；
基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得。
本申请还提供一种多模态目标检测装置，所述多模态目标检测装置为虚拟装置，所述多模态目标检测装置包括：
第一获取模块，用于获取扫地机当前所在位置对应的环境图像；
环境识别模块，用于提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境；
第二获取模块，用于若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像；
目标检测模块，用于基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述目标检测模块配置有所述多模态目标检测模型，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得。
本申请还提供一种扫地机，所述扫地机为实体设备，所述扫地机包括：存储器、处理器以及存储在所述存储器上的多模态目标检测程序，所述多模态目标检测程序被所述处理器执行实现如上述的多模态目标检测方法的步骤。
本申请还提供一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质上存储多模态目标检测程序，所述多模态目标检测程序被处理器执行实现如上述的多模态目标检测方法的步骤。
本申请提供了一种多模态目标检测方法、装置、扫地机及存储介质，相比于现有技术采用的扫地机的摄像头通常只可以工作在光亮场景，导致在黑暗场景中目标识别度低难以进行清扫操作的技术手段，本申请首先获取扫地机当前所在位置对应的环境图像，进而提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境，从而实现根据目标区域对应的灰度平均值进行判别环境，环境判断算法简单，减少扫地机处理器计算量，进一步地，若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像，进而基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得，实现了通过识别扫地机当前所处的环境，获取黑暗环境对应的目标待检测图像，进而基于不同模态的待训练图像进行迭代训练获得的多模态目标检测模型对黑暗环境下的目标待检测图像进行检测，从而实现了扫地机在黑暗环境下对目标的识别检测，使得扫地机的工作条件不再局限于光亮环境，在黑暗环境条件下也可以进行目标识别，提高了扫地机的避障精度，从而提升清扫的效果，克服了现有技术中扫地机的摄像头通常只可以工作在光亮场景，在黑暗的场景下，摄像头采集的图片是非常黑暗的，使得扫地机在夜晚环境下目标识别度低，在清扫过程无法能够准确避开障碍物，导致扫地机清扫效果不佳的技术缺陷，从而提高了扫地机清扫的效果。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域默认技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请多模态目标检测方法第一实施例的流程示意图；
图2为本申请多模态目标检测方法第二实施例的流程示意图；
图3为本申请多模态目标检测方法第三实施例的流程示意图；
图4为本申请实施例中多模态目标检测方法涉及的硬件运行环境的扫地机结构示意图；
图5是本申请多模态目标检测装置的功能模块示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
本申请实施例提供一种多模态目标检测方法，在本申请多模态目标检测方法的第一实施例中，参照图1，所述多模态目标检测方法应用于扫地机，所述多模态目标检测方法包括：
步骤S10，获取扫地机当前所在位置对应的环境图像；
在本实施例中，需要说明的是，扫地机前端安装有感知设备，其中，所述感知设备包括RGB摄像头、ir灰度感知设备、深度相机、线激光器、TOF传感器和结构光传感器中的一种或多种，在本申请中优选地，选取RGB摄像头以及ir灰度感知设备安装在所述扫地机前端，其中，RGB摄像头和ir灰度感知设备的安装位置可设置为同一高度上，例如，水平间隔设置，也可设置在不同高度上，例如，垂直间隔设置，进一步地，所述RGB摄像头用于采集RGB可见光图像，所述ir灰度感知设备可以在黑暗环境下采集到ir灰度图，扫地机在工作的时候，感知设备可根据需求自行设定时间采集图像数据，例如，1秒采集一次，或2秒采集一次，进一步地，所述环境图像是指扫地机所在的周围环境的图像数据，其中，环境图像可以是在扫地机进行清洁工作的过程中采集的，也可以是扫地机为了采集环境图像而进行移动并且采集的。
获取扫地机当前所在位置对应的环境图像，具体地，扫地机可以在移动过程中通过RGB摄像头采集摄像范围内的视频数据，从视频数据中提取多帧图像数据作为扫地机当前所在位置对应的环境图像，或者，扫地机也可以通过摄像头直接采集多张环境图像。
步骤S20，提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境；
在本实施例中，需要说明的是，其中，所述特征信息包括目标区域对应的灰度平均值、光线强度，亮度平均值和亮度分布结构等信息，所述目标区域为所述环境图像的对角连接线所覆盖的区域，其中，所述对角连接线为将所述环境图像的左上角和右下角进行连接以及右上角和左下角进行连接对应的连接线，所述环境识别结果包括光亮环境以及黑暗环境。
提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境，具体地，将所述环境图像进行对角线连接，获得对角连接线，进而确定所述对角连接线在所述环境图像中所覆盖的目标区域，进一步地，提取所述目标区域对应的特征信息，进而将所述特征信息和预设像素特征信息阈值进行对比，其中，所述预设像素特征信息阈值包括特征信息灰度平均值、光线强度，亮度平均值对应的像素阈值从而以基于所述对比结果来判别当前扫地机当前所处的环境，获得所述环境识别结果，例如，将环境图像的灰度平均值和预设像素阈值进行对比或者将环境图像的亮度平均值和预设亮度阈值进行对比，环境判断算法简单，减少扫地机处理器计算量。
在另一种可实施方案中，可计算所述环境图像中目标区域对应的灰度最大值或亮度平均值，进而灰度最大值或亮度平均值与对应阈值进行计较，从而识别当前扫地机所处的环境，获得环境识别结果。
其中，所述特征信息包括所述目标区域对应的灰度平均值，所述提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果的步骤包括：
步骤S21，对所述环境图像进行对角连接，获得对角连接线；
在本实施例中，需要说明的是，所述对角连接线的宽度可预先设置，在本申请中，所述对角连接线的宽度的范围为1至4个像素，优选地，设置宽度为2个像素。
对所述环境图像进行对角连接，获得对角连接线，具体地，将所述环境图像的左上角和右下角进行连线，以及右上角和左下角进行连线，获得所述对角连接线。
步骤S22，确定所述对角连接线覆盖所述环境图像的目标区域，并计算所述目标区域的灰度平均值；
在本实施例中，需要说明的是，所述目标区域可为扫地机在执行清扫任务中的指定区域和/或扫地机在执行清扫任务过程中可运行通过的区域，所述目标区域应小于或等于所述环境图像。
确定所述对角连接线覆盖所述环境图像的目标区域，并计算所述目标区域的灰度平均值，具体地，首先，确定所述对角连接在所述环境图像中的覆盖区域，并将所述覆盖区域作为所述目标区域，进而计算出所述目标计算区域对应像素的灰度平均值。
步骤S23，将所述灰度平均值和预设像素阈值进行比较，获得所述环境识别结果。
在本实施例中，需要说明的是，所述预设像素阈值为根据图像灰度值进行划分黑白环境的像素临界点阈值，所述预设像素阈值对应的阈值范围为47至55，例如，将预设像素阈值设置为50。
将所述灰度平均值和预设像素阈值进行比较，获得所述环境识别结果，具体地，将所述灰度平均值和预设像素阈值进行比较，若所述灰度平均值大于或等于所述预设像素阈值，则判定扫地机当前所处的环境是光亮环境，若所述灰度平均值小于预设像素阈值，则判定扫地机当前所处的环境是黑暗环境，进而获得所述环境识别结果。
其中，在所述提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果的步骤之后，所述多模态目标检测方法还包括：
步骤C10，若所述环境识别结果为光亮环境，则将所述环境图像作为所述光亮环境对应的目标待检测图像，以执行步骤：基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果。
在本实施例，具体地，若所述环境识别结果为光亮环境，则无需开启预设灰度图通道，进而对所述环境图像进行预处理，并将所述预处理后的环境图像作为所述光亮环境对应的目标待检测图像，其中，所述预处理包括图像缩放、裁剪、数据归一化等处理，进而将所述光亮环境对应的目标待检测图像输入所述多模态目标检测模型进行检测，从而获得光亮环境下的目标检测结果。
步骤S30，若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像；
在本实施例中，需要说明的是，所述黑暗环境对应的目标待检测图像为黑暗环境下的ir灰度图，所述ir灰度图为ir灰度感知设备在黑暗环境下采集到的单通道灰度图像。
若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像，具体地，若所述环境识别结果为黑暗环境，则开启预设灰度图像通道，也即，通过灰度感知设备进行采集灰度图像，所述灰度感知设备可直接在黑暗场景下进行采集灰度图像，进而对采集到的灰度图像进行预处理，获得所述黑暗环境对应的目标待检测图像。
其中，所述若所述环境识别结果为黑暗环境，获取所述黑暗环境对应的目标待检测图像的步骤包括：
步骤S31，若所述环境识别结果为黑暗环境，则开启预设灰度图通道，以获得所述黑暗环境下对应的灰度图像；
在本实施例中，若所述环境识别结果为黑暗环境，则开启预设灰度图通道，以获得所述黑暗环境下对应的灰度图像，具体地，若所述环境识别结果为黑暗环境，则证明需要开启灰度图像检测通道，进而当通过预设控制器接收启动ir灰度感知设备对应的开启指令时，则开启灰度图像检测通道，以基于所述开启指令启动所述灰度感知设备，进而通过所述灰度感知设备在黑暗环境下目标采集区域内进行采集所述灰度图像，此外，在另一种可实施方式中，扫地机默认该ir灰度感知设备是处于关闭状态，当检测到所述环境识别结果为黑暗环境时，则通过开关键方式开启该ir灰度感知设备，或者基于ir灰度感知设备的启动标识来进行控制开启所述ir灰度感知设备。
步骤S32，对所述灰度图像进行预处理，并将预处理后的灰度图像作为所述黑暗环境对应的目标待检测图像。
在本实施例中，具体地，并对采集到的灰度图像进行图像缩放、裁剪、数据归一化等预处理，并将预处理后的灰度图像作为所述黑暗环境对应的目标待检测图像，另外地，初始采集到的可见光图像与灰度图像的尺寸不同，因此，对所述可见光图像与所述灰度图像进行缩放、裁剪处理的尺寸比例也不同，从而提高图像质量，提高识别度。
步骤S40，基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得。
在本实施例中，需要说明的是，所述多模态目标检测模型可以是预先建立并且经过不同模态的待训练图像迭代训练后得到的，多模态目标检测模型是基于目标检测算法建立的目标检测模型，用于对目标待检测图像进行目标检测。其中，用于建立多模态目标检测模型的目标检测算法具体可以是YOLO(You Only Look Once)、Faster-RCNN(Convolutional Neural Networks，卷积神经网络)、CornerNet、MobileNet或者SSD(Single Shot Multi Box Detector)等多种目标检测算法中的一种或多种。
进一步需要说明的是，所述不同模态的待训练图像包括预设数量的可见光图像和灰度图像，其中，可见光图像和灰度图像可通过扫地机采集，也可来源于开源网络数据库等，所述目标检测结果可以包括从目标待检测图像中检测出的目标对象，以及目标对象所对应的对象类型，所述对象类型是指目标待检测图像中的目标对象所对应的多种预设对象类型中的一种，其中，预设对象类型可按照对象属性进行分类，例如，可移动类(宠物猫、狗等)、需躲避类(如鞋子、茶几、沙发、桌子腿等)、可越障类(如电线、低矮门槛、低矮台阶等)、可形变类(分为有形类和无形类，其中，有形类如易拉罐、牛奶盒等，无形类如宠物粪便、液体区域等)、指定类(如由用户指定某一对象为不可触碰类，如易碎品花瓶等，或者是指定某一区域为不可清洁区域)、可接触类、不可触碰类等类型，所述多模态目标检测模型输出的目标检测结果可以是目标待检测图像以及对应的多个检测框，每个检测框对应一种目标对象。其中，检测框具体可以是矩形框，且所述目标待检测图像中检测出的目标对象具体可以包括但不限于需要清洁的垃圾，以及不需要清洁的鞋子、茶几、沙发、凳子、电视柜或者桌子等。
基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得，具体地，获取不同模态的待训练图像，所述待训练图像所述待训练图像样本包括各待训练图像组，各所述待训练图像组均包括第一图像和第二图像，所述第一图像与所述第二图像用于表征不同环境下的图像，对不同模态的待训练图像进行图像对齐，以将所述第二图像映射为相对于所述第一图像对齐的图像样本，进而将图像样本进行预处理等操作，从而获得目标训练图像样本，对所述待训练目标检测模型进行迭代训练优化，直至满足训练结束条件，获得所述多模态目标检测模型，其中，所述训练结束条件包括损失函数收敛和达到最大迭代次数阈值等条件，进而将目标待检测图像输入至所述多模态目标检测模型，根据所述多模态目标检测模型对目标待检测图像进行目标检测，输出目标检测结果，从而获得目标待检测图像中检测框的目标对象对应的对象类型以及检测框对应的位置信息等信息，其中，所述位置信息包括所述检测框对应的坐标位置。
例如，对于灰度图像，将所述灰度图像输入所述多模态目标检测模型，进而可以根据灰度图像生成多个候选框，每个候选框所框出的图像内容是不同的。扫地机可以对候选框中的图像内容进行分类，根据NMS(Non-Maximum Suppression，非极大值抑制)对多个候选框进行筛选，输出目标待检测图像对应的目标检测结果。另外地，扫地机还可以根据多模态目标检测模型将目标待检测图像进行特征提取，进而对目标待检测图像对应的图像特征进行分类和回归处理，获得目标待检测图像对应的目标检测结果。
其中，所述基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果的步骤包括：
步骤S41，将所述目标待检测图像输入所述多模态目标检测模型，以对所述目标待检测图像进行目标检测，获得所述目标待检测图像中检测框的目标对象以及位置信息；
在本实施例中，将所述目标待检测图像输入所述多模态目标检测模型，以对所述目标待检测图像进行目标检测，获得所述目标待检测图像中检测框的目标对象以及位置信息，具体地，将所述目标待检测图像输入所述多模态目标检测模型,生成目标待检测图像对应的检测框，并确定所述检测框对应的坐标信息，进一步地检测框对应的一个目标对象，进而获得所述目标待检测图像中检测框的目标对象。
步骤S42，将所述目标对象与预设物体类型进行概率计算，确定所述目标对象对应的对象类型；
在本实施例中，将所述目标对象与预设物体类型进行概率计算，确定所述目标对象对应的对象类型，具体地，将所述目标对象与预设物体类型进行概率计算，进而将概率最大的类型作为所述目标对象对应的对象类型，例如，鞋子的概率为0.8，袜子概率为0.1，电线概率为0.1，此时则确定该目标对象对应的对象类别为概率是0.8的鞋子。
步骤S43，将所述目标对象对应的对象类型以及位置信息作为所述目标检测结果。
在本实施例中，需要说明的是，根据不同的目标检测结果采用不同的清洁策略，例如，若所述目标检测结果为鞋子，将该位置信息标记为鞋子，进而更新在扫地机对应的地图上，且若所述位置信息位于扫地机运行方向的正前方，则控制扫地机进行绕开该位置信息，进一步地，若扫地机再次识别到同一目标区域，扫地机会检测到该目标区域，则无需重复进行目标检测识别等操作，提高扫地机执行清洁任务的效率。
本申请实施例提供了一种多模态目标检测方法，相比于现有技术采用的扫地机的摄像头通常只可以工作在光亮场景，导致在黑暗场景中目标识别度低难以进行清扫操作的技术手段，本申请实施例首先获取扫地机当前所在位置对应的环境图像，进而提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境，从而实现根据目标区域对应的灰度平均值进行判别环境，环境判断算法简单，减少扫地机处理器计算量，进一步地，若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像，进而基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得，实现了通过识别扫地机当前所处的环境，获取黑暗环境对应的目标待检测图像，进而基于不同模态的待训练图像进行迭代训练获得的多模态目标检测模型对黑暗环境下的目标待检测图像进行目标检测，从而实现了扫地机在黑暗环境下对目标的识别检测，使得扫地机的工作条件不再局限于光亮环境，在黑暗环境条件下也可以进行目标识别，提高了扫地机的避障精度，从而提升清扫的效果，克服了现有技术中扫地机的摄像头通常只可以工作在光亮场景，在黑暗的场景下，摄像头采集的图片是非常黑暗的，使得扫地机在夜晚环境下目标识别度低，在清扫过程无法能够准确避开障碍物，导致扫地机清扫效果不佳的技术缺陷，从而提高了扫地机清扫的效果。
进一步地，参照图2，基于本申请中第一实施例，在本申请的另一实施例中，在所述基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得的步骤之前，所述多模态目标检测方法还包括：
步骤A10，获取待训练目标检测模型；
步骤A20，获取待训练图像样本，其中，所述待训练图像样本包括各待训练图像组，各所述待训练图像组均包括第一图像和第二图像且所述第一图像和所述第二图像为不同环境下的图像；
在本实施例中，需要说明的是，所述第一图像与所述第二图像用于表征不同环境下的图像，例如，所述第一图像可通过所述扫地机中的RGB摄像头获取光亮环境下的图像，以及所述第二图像可通过灰度感知设备进行采集获得黑暗环境下的图像，或者在开源网络数据库中获得的图像样本。
步骤A30，对所述第一图像和所述第二图像进行多模态数据对齐处理，并将数据对齐处理后的图像进行预处理操作，获得目标训练图像样本；
在本实施例中，需要说明的是，所述多模态数据对齐处理为不同模态的图像进行图像对齐的处理方式，模态是域，不同模态可以是有差异的不同域，在本申请中，不同模态的图像可以认为是通过成像原理不同的摄像头所采集到的图像，例如，红外摄像头所采集到的红外图像和RGB成像摄像头所采集到的图像可以认为是不同模态的图像。
对所述第一图像和所述第二图像进行多模态数据对齐处理，并将数据对齐处理后的图像进行预处理操作，获得目标训练图像样本，具体地，对检测所述第一图像和所述第二图像对应的特征点信息，基于各所述特征点信息，查询所述第一图像和所述第二图像之间相匹配的特征点信息，进而基于相匹配的特征点信息，计算单应性矩阵，进一步地，基于所述单应性矩阵，将所述待训练灰度图像映射为相对于所述第一图像对齐的图像样本，进一步地，将对齐后的图像样本进行预处理，所述预处理操作包括图像缩放、裁剪和数据归一化等，获得所述目标训练图像样本，以规范化所述目标训练图像样本，提高图像质量。
步骤A40，基于所述目标训练图像样本，对所述待训练目标检测模型进行迭代训练优化，获得所述多模态目标检测模型。
在本实施例中，基于所述目标训练图像样本，对所述待训练目标检测模型进行迭代训练优化，获得所述多模态目标检测模型，具体地，将所述目标训练图像样本输入所述待训练目标检测模型中，以优化所述待训练目标检测模型，并判断所述优化后的待训练目标检测模型是否满足训练结束条件，若满足，则获得所述多模态目标检测模型，若不满足，则返回执行步骤：基于所述目标训练图像样本，对所述待训练目标检测模型进行迭代训练优化，获得所述多模态目标检测模型。从而通过训练好的多模态目标检测模型对不同类型的图像进行目标检测，在训练完成获得多模态目标检测模型，将所述多模态目标检测模型部署在扫地机中。
本申请实施例提供了一种多模态目标检测方法，也即，获取待训练目标检测模型，并且获取待训练图像样本，其中，所述待训练图像样本包括各待训练图像组，各所述待训练图像组均包括第一图像和第二图像且所述第一图像和所述第二图像为不同环境下的图像，进而对所述第一图像和所述第二图像进行多模态数据对齐处理，并将数据对齐后的目标图像进行预处理操作，获得规范化训练图像样本，进一步地，基于所述目标训练图像样本，对所述待训练目标检测模型进行迭代训练优化，获得所述多模态目标检测模型，实现了采集不同模态的待训练图像样本，也即采集待训练的第一图像和第二图像，以进行训练得到多模态目标检测模型，从而使得可通过所述多模态目标检测模型对扫地机处于不同环境下所采集到的图像进行目标检测，从而让扫地机在黑暗环境下能够对目标进行检测，提高了扫地机的避障精度，从而提升清扫的效果。
进一步地，参照图3，基于本申请中第一实施例，在本申请的另一实施例中，在所述基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果的步骤之后，所述多模态目标检测方法还包括：
步骤B10,当所述目标对象对应的对象类型为所述扫地机需躲避目标，则根据所述位置信息，控制所述扫地机执行自动避障策略，以优化路径规划完成清扫任务。
在本实施例中，需要说明的是，所述目标检测结果包括目标待检测图像中的目标对象以及所述目标对象对应的对象类型以及位置信息，进一步地，传统避障算法通常是通过激光雷达识别到障碍物，但无法确定障碍物是什么类型的物品。
具体地，通过多模态目标检测模型识别出目标对象对应的对象类型后，当所述对象类型为扫地机需要避障的物体，则根据所述目标对象对应的位置信息，控制所述扫地机自动避开该物体，优化路径进行清扫任务，例如，检测到的对象是袜子，则控制扫地机进行自动避障，进而继续执行清扫任务，从而避免清洁机器人与目标对象发生接触或者碰撞，有效的提高了清洁机器人的安全性。在一些实施例，扫地机执行避障策略过程中，会根据目标对象的位置信息与扫地机当前的位置信息计算扫地机避开该目标对象的目标位置，该目标位置既能保证不撞上该目标对象又能贴边绕行该目标对象以使得扫地机能实现最大化覆盖清扫。该目标位置为实时位置。基于该目标位置，通过传感器元件如惯性传感单元所采集的数据计算得到扫地机到达该目标位置的目标速度，通过目标速度调整当前扫地机的行走速度，避免扫地机突然降速增大扫地机设备损坏概率，也可以避免降速不及时导致扫地机跌落(如前方为悬崖或高台阶)。另外地，若所述目标对象对应的对象类型为扫地机预设可越障的物体，比如，电线，则控制扫地机执行越障策略，以继续前进完成清扫任务，进一步地，还可根据不同的对象类型，切换不同的清扫模式完成清扫任务。
参照图4，图4是本申请实施例方案涉及的硬件运行环境的扫地机结构示意图。
如图4所示，该扫地机可以包括：处理器1001，例如CPU，存储器1005，通信总线1002。其中，通信总线1002用于实现处理器1001和存储器1005之间的连接通信。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储设备。
可选地，该扫地机还可以包括矩形用户接口、网络接口、相机、RF(RadioFrequency，射频)电路，传感器、音频电路、WiFi模块等等。矩形用户接口可以包括显示屏(Display)、输入子模块比如键盘(Keyboard)，可选矩形用户接口还可以包括标准的有线接口、无线接口。网络接口可选的可包括标准的有线接口、无线接口(如WIFI接口)。
本领域技术人员可以理解，图4中示出的扫地机结构并不构成对扫地机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图4所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块以及多模态目标检测程序。操作系统是管理和控制扫地机硬件和软件资源的程序，支持多模态目标检测程序以及其它软件和/或程序的运行。网络通信模块用于实现存储器1005内部各组件之间的通信，以及与多模态目标检测系统中其它硬件和软件之间通信。
在图4所示的扫地机中，处理器1001用于执行存储器1005中存储的多模态目标检测程序，实现上述任一项所述的多模态目标检测方法的步骤。
本申请扫地机具体实施方式与上述多模态目标检测方法各实施例基本相同，在此不再赘述。
此外，请参照图5，图5是本申请多模态目标检测装置的功能模块示意图，本申请还提供一种多模态目标检测装置，所述多模态目标检测装置为虚拟装置，所述多模态目标检测装置包括第一获取模块、环境识别模块、第二获取模块和目标检测模块，所述多模态目标检测装置部署于扫地机，各功能模块详细说明如下：
第一获取模块，用于获取扫地机当前所在位置对应的环境图像；
环境识别模块，用于提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境；
第二获取模块，用于若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像；
目标检测模块，用于基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述目标检测模块配置有所述多模态目标检测模型，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得。
可选地，所述环境识别模块还用于：
对所述环境图像进行对角连接，获得对角连接线；
基于所述对角连接线覆盖所述环境图像的目标区域，并计算所述目标区域的灰度平均值；
将所述灰度平均值和预设像素阈值进行比较，获得所述环境识别结果。
可选地，所述多模态目标检测装置还用于：
若所述环境识别结果为光亮环境，则将所述环境图像作为所述光亮环境对应的目标待检测图像，以执行步骤：基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果。
可选地，所述第二获取模块还用于：
若所述环境识别结果为黑暗环境，则开启预设灰度图通道，以获得所述黑暗环境下对应的灰度图像；
对所述灰度图像进行预处理，并将预处理后的灰度图像作为所述黑暗环境对应的目标待检测图像。
可选地，所述目标检测模块还用于：
将所述目标待检测图像输入所述多模态目标检测模型，以对所述目标待检测图像进行目标检测，获得所述目标待检测图像中检测框的目标对象以及位置信息；
将所述目标对象与预设物体类型进行概率计算，确定所述目标对象对应的对象类型；
将所述目标对象对应的对象类型以及位置信息作为所述目标检测结果。
可选地，所述多模态目标检测装置还用于：
获取待训练目标检测模型；
获取待训练图像样本，其中，所述待训练图像样本包括各待训练图像组，各所述待训练图像组均包括第一图像和第二图像且所述第一图像和所述第二图像为不同环境下的图像；
对所述第一图像和所述第二图像进行多模态数据对齐处理，并将数据对齐处理后的图像进行预处理操作，获得目标训练图像样本；
基于所述目标训练图像样本，对所述待训练目标检测模型进行迭代训练优化，获得所述多模态目标检测模型。
可选地，所述多模态目标检测装置还用于：
当所述目标对象对应的对象类型为所述扫地机需躲避目标，则根据所述位置信息，控制所述扫地机执行自动避障策略，以优化路径规划完成清扫任务。
本申请多模态目标检测装置的具体实施方式与上述多模态目标检测方法各实施例基本相同，在此不再赘述，上述多模态目标检测装置中的各个模块可全部或部分通过软件、硬件及其组件来实现。上述各模块可以硬件形式内嵌于或独立于扫地机的处理器中，也可以以软件形式存储与扫地机中的存储器中，以便与处理器调用执行以上各个模块对应的操作。
本申请实施例提供了一种存储介质，所述存储介质为计算机可读存储介质，且所述计算机可读存储介质存储有一个或者一个以上程序，所述一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述任一项所述的多模态目标检测方法的步骤。
本申请计算机可读存储介质具体实施方式与上述多模态目标检测方法各实施例基本相同，在此不再赘述。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利处理范围内。

Claims (9)

1.一种多模态目标检测方法，其特征在于，所述多模态目标检测方法包括：
获取扫地机当前所在位置对应的环境图像；
提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境，所述特征信息包括目标区域对应的灰度平均值、光线强度、亮度平均值及亮度分布结构；
若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像；
基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得；
所述若所述环境识别结果为黑暗环境，获取所述黑暗环境对应的目标待检测图像的步骤包括：
若所述环境识别结果为黑暗环境，则开启预设灰度图通道，以获得所述黑暗环境下对应的灰度图像；
对所述灰度图像进行预处理，并将预处理后的灰度图像作为所述黑暗环境对应的目标待检测图像。
2.如权利要求1所述的多模态目标检测方法，其特征在于，所述提取所述环境图像中目标区域对应的特征信息计算所述环境图像中目标区域对应的灰度平均值，以识别当前扫地机所处的环境，获得环境识别结果的步骤包括：
对所述环境图像进行对角连接，获得对角连接线；
确定所述对角连接线覆盖所述环境图像的目标区域，并计算所述目标区域的灰度平均值；
将所述灰度平均值和预设像素阈值进行比较，获得所述环境识别结果。
3.如权利要求1所述的多模态目标检测方法，其特征在于，在所述提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境的步骤之后，所述多模态目标检测方法还包括：
若所述环境识别结果为光亮环境，则将所述环境图像作为所述光亮环境对应的目标待检测图像，以执行步骤：基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果。
4.如权利要求1至3任一所述的多模态目标检测方法，其特征在于，所述基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果的步骤包括：
将所述目标待检测图像输入所述多模态目标检测模型，以对所述目标待检测图像进行目标检测，获得所述目标待检测图像中检测框的目标对象以及位置信息；
将所述目标对象与预设物体类型进行概率计算，确定所述目标对象对应的对象类型；
将所述目标对象对应的对象类型以及位置信息作为所述目标检测结果。
5.如权利要求1所述的多模态目标检测方法，其特征在于，在所述基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得的步骤之前，所述多模态目标检测方法还包括：
获取待训练目标检测模型；
获取待训练图像样本，其中，所述待训练图像样本包括各待训练图像组，各所述待训练图像组均包括第一图像和第二图像且所述第一图像和所述第二图像为不同环境下的图像；
对所述第一图像和所述第二图像进行多模态数据对齐处理，并将数据对齐处理后的图像进行预处理操作，获得目标训练图像样本；
基于所述目标训练图像样本，对所述待训练目标检测模型进行迭代训练优化，获得所述多模态目标检测模型。
6.如权利要求1所述的多模态目标检测方法，其特征在于，所述目标检测结果包括目标待检测图像中目标对象对应的对象类型以及位置信息，在所述基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果的步骤之后，所述多模态目标检测方法还包括：
当所述目标对象对应的对象类型为所述扫地机需躲避目标，则根据所述位置信息，控制所述扫地机执行自动避障策略，以优化路径规划完成清扫任务。
7.一种多模态目标检测装置，其特征在于，所述多模态目标检测装置包括：
第一获取模块，用于获取扫地机当前所在位置对应的环境图像；
环境识别模块，用于提取所述环境图像中目标区域对应的特征信息，以识别当前扫地机所处的环境，获得环境识别结果，其中，所述环境识别结果包括光亮环境和黑暗环境，所述特征信息包括目标区域对应的灰度平均值、光线强度、亮度平均值及亮度分布结构；
第二获取模块，用于若所述环境识别结果为黑暗环境，则获取所述黑暗环境对应的目标待检测图像；
目标检测模块，用于基于所述目标待检测图像，通过多模态目标检测模型进行目标检测，获得目标检测结果，其中，所述目标检测模块配置有所述多模态目标检测模型，所述多模态目标检测模型为基于预先获取的不同模态的待训练图像进行迭代训练获得；
所述若所述环境识别结果为黑暗环境，获取所述黑暗环境对应的目标待检测图像的步骤包括：
若所述环境识别结果为黑暗环境，则开启预设灰度图通道，以获得所述黑暗环境下对应的灰度图像；
对所述灰度图像进行预处理，并将预处理后的灰度图像作为所述黑暗环境对应的目标待检测图像。
8.一种扫地机，其特征在于，所述扫地机包括多模态目标检测装置，所述多模态目标检测装置为权利要求7所述的多模态目标检测装置。
9.一种存储介质，所述存储介质为计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有多模态目标检测程序，所述多模态目标检测程序被处理器执行实现如权利要求1至6中任一项所述多模态目标检测方法的步骤。
CN202210095045.6A 2022-01-26 2022-01-26 多模态目标检测方法、装置、扫地机及存储介质 Active CN114532919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210095045.6A CN114532919B (zh) 2022-01-26 2022-01-26 多模态目标检测方法、装置、扫地机及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210095045.6A CN114532919B (zh) 2022-01-26 2022-01-26 多模态目标检测方法、装置、扫地机及存储介质

Publications (2)

Publication Number Publication Date
CN114532919A CN114532919A (zh) 2022-05-27
CN114532919B true CN114532919B (zh) 2023-07-21

Family

ID=81672915

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210095045.6A Active CN114532919B (zh) 2022-01-26 2022-01-26 多模态目标检测方法、装置、扫地机及存储介质

Country Status (1)

Country Link
CN (1) CN114532919B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766743A (zh) * 2019-10-23 2020-02-07 中冶赛迪重庆信息技术有限公司 基于图像识别的物料流量检测方法、装置、设备及介质
CN112861987A (zh) * 2021-03-03 2021-05-28 德鲁动力科技(成都)有限公司 暗光环境下的目标检测方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015035704A (ja) * 2013-08-08 2015-02-19 株式会社東芝 検出装置、検出方法および検出プログラム
CN208355340U (zh) * 2017-06-26 2019-01-11 深圳普思英察科技有限公司 一种扫地机器人及其摄像头补光系统
WO2020213750A1 (ko) * 2019-04-16 2020-10-22 엘지전자 주식회사 객체를 인식하는 인공 지능 장치 및 그 방법
WO2021026855A1 (zh) * 2019-08-15 2021-02-18 深圳市大疆创新科技有限公司 基于机器视觉的图像处理方法和设备
CN111191682A (zh) * 2019-12-12 2020-05-22 中国科学院深圳先进技术研究院 网络模型训练方法、黑夜图像的目标检测方法及相关设备
CN113573032A (zh) * 2020-04-28 2021-10-29 深圳光峰科技股份有限公司 图像处理方法及投影系统
CN111568314B (zh) * 2020-05-26 2022-04-26 深圳市杉川机器人有限公司 基于场景识别的清洁方法、装置、清洁机器人和存储介质
CN113139924A (zh) * 2021-01-13 2021-07-20 上海有个机器人有限公司 图像增强方法、电子设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110766743A (zh) * 2019-10-23 2020-02-07 中冶赛迪重庆信息技术有限公司 基于图像识别的物料流量检测方法、装置、设备及介质
CN112861987A (zh) * 2021-03-03 2021-05-28 德鲁动力科技(成都)有限公司 暗光环境下的目标检测方法

Also Published As

Publication number Publication date
CN114532919A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN111568314B (zh) 基于场景识别的清洁方法、装置、清洁机器人和存储介质
CN103375872B (zh) 空调设备运行状态的控制方法及空调设备
JP6847254B2 (ja) 歩行者追跡の方法および電子デバイス
AU2008200966B2 (en) Stationary object detection using multi-mode background modelling
US20100201871A1 (en) Temporally consistent caption detection on videos using a 3D spatiotemporal method
CN111104910B (zh) 垃圾投递行为监督方法及相关产品
CN110610150A (zh) 一种目标运动物体的跟踪方法、装置、计算设备和介质
US11222207B2 (en) Intelligent sweeping robot
US20160202774A1 (en) Optical pointing system
CN111476098A (zh) 一种识别目标区域的方法、装置、终端及计算机可读介质
CN111080665B (zh) 图像边框识别方法、装置、设备和计算机存储介质
WO2022057806A1 (zh) 背景图像的自更新方法、装置、设备及存储介质
US20180336694A1 (en) System and Method for Passive Tracking Based on Color Features
CN102610104A (zh) 一种车载的前方车辆检测方法
CN113628202B (zh) 一种确定方法、清洁机器人和计算机存储介质
US9596410B2 (en) Vision systems and methods for analysing images taken by image sensors
CN114532919B (zh) 多模态目标检测方法、装置、扫地机及存储介质
KR101333459B1 (ko) 차선 인식 방법 및 장치
CN117036401A (zh) 一种基于目标追踪的配网线路巡检方法及系统
CN114532918A (zh) 清洁机器人及其目标检测方法、装置及存储介质
JP3230509B2 (ja) 動画像処理装置
AU2009230796A1 (en) Location-based brightness transfer function
CN108268861B (zh) 一种人体卧姿状态识别方法及装置
Tupper et al. Pedestrian proximity detection using RGB-D data
CN112015662B (zh) 视频终端界面菜单功能的自动测试方法、系统及其设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant