CN113378684B - 清洁设备及用于清洁设备的光触发事件识别方法 - Google Patents

清洁设备及用于清洁设备的光触发事件识别方法 Download PDF

Info

Publication number
CN113378684B
CN113378684B CN202110623541.XA CN202110623541A CN113378684B CN 113378684 B CN113378684 B CN 113378684B CN 202110623541 A CN202110623541 A CN 202110623541A CN 113378684 B CN113378684 B CN 113378684B
Authority
CN
China
Prior art keywords
information
target object
dynamic vision
trigger event
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110623541.XA
Other languages
English (en)
Other versions
CN113378684A (zh
Inventor
刘煜
唐成
段飞
钟亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Shunzao Technology Co Ltd
Original Assignee
Beijing Shunzao Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Shunzao Technology Co Ltd filed Critical Beijing Shunzao Technology Co Ltd
Priority to CN202110623541.XA priority Critical patent/CN113378684B/zh
Publication of CN113378684A publication Critical patent/CN113378684A/zh
Priority to PCT/CN2022/092021 priority patent/WO2022252937A1/zh
Application granted granted Critical
Publication of CN113378684B publication Critical patent/CN113378684B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/24—Floor-sweeping machines, motor-driven
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4002—Installations of electric equipment
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4011—Regulation of the cleaning machine by electric means; Control systems and remote control systems therefor
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L11/00—Machines for cleaning floors, carpets, furniture, walls, or wall coverings
    • A47L11/40—Parts or details of machines not provided for in groups A47L11/02 - A47L11/38, or not restricted to one of these groups, e.g. handles, arrangements of switches, skirts, buffers, levers
    • A47L11/4061—Steering means; Means for avoiding obstacles; Details related to the place where the driver is accommodated
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04—Automatic control of the travelling movement; Automatic obstacle detection
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00—Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/06—Control of the cleaning action for autonomous devices; Automatic detection of the surface condition before, during or after cleaning

Landscapes

  • Studio Devices (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种清洁设备，包括：清洁设备主体；以及相机装置，相机装置设置于清洁设备主体，其中，相机装置包括动态视觉装置，动态视觉装置包括：光信号接收装置，光信号接收装置接收相机装置的视野区域的光信号；以及光传感器，光传感器基于光信号接收装置接收的光信号逐帧地获取帧图像，并基于帧图像对目标物体的光触发事件进行识别；清洁设备还包括存储器，存储目标物体的特征图像信息；以及处理器，用于获取被识别为发生光触发事件的帧图像中的目标物体信息，将其与存储器存储的特征图像信息进行比较，以获取发生光触发事件的帧图像中的目标物体的类型信息和/或位置信息。本发明还提供了一种用于清洁设备的光触发事件识别方法。

Description

清洁设备及用于清洁设备的光触发事件识别方法
技术领域
本发明属于自主移动清洁设备技术领域，本发明尤其涉及一种清洁设备以及用于清洁设备的光触发事件识别方法。
背景技术
现有技术中，家用或商用自主清洁设备向视觉识别方向发展，以达到识别障碍物、识别用户手势等智能化阶级。
现有技术中的基于视觉识别的自主移动清洁机器人，大多是基于图像进行目标识别，例如通过视觉传感器获得的RGB图像来识别目标物体，还有一部分自主移动清洁机器人将结构光、线激光或TOF等技术结合，以实现更好的视觉识别效果。
基于单摄像头或双摄像头的物体识别装置可以获取包括在RGB图像的整个区域或特定区域中的多个层的特征，以识别特定物体，例如成人、儿童、宠物、桌椅、门或栏杆等等。
当使用RGB图像对目标进行识别时，由于在自主移动清洁机器人移动或静止过程中，摄像头和或其他视觉传感器在持续工作，对于计算能力和内存的要求很高，并且由于自主移动清洁机器人的物理部件做功发热，产生大量的热量，这就需要在结构上进行散热设计，算法上进行精简优化。另外，如果自主移动机器人处于黑暗环境或者弱光源环境时，自主移动机器人的摄像头还需要持续的补光灯辅助才能实现图像捕捉。
另一方面，自主移动机器人在识别到特定物体，例如人或人的照片时，摄像头通过获取诸如用户图像的面部、身体等特征，将包括用户的RGB图像发送到云端服务器以进行准确识别和处理时，会侵犯到用户隐私，例如，某些使用场合中，对包含有用户人脸和特殊部位的数据进行预处理后上传云端，不但仍存在泄露用户隐私的问题，也会进一步提高对算法的要求以及运算效率的要求，并且占用较大处理内存，同时引发散热问题，影响清洁机器人的续航。
现有技术也采用了非RGB原理的图像形成技术，例如结构光、线激光或TOF，但该技术同样需要基于CCD或COMS原理，需要摄像设备一直处于开启状态才能在扫地机运行过程中识别和跟踪目标，而传统的基于CCD或CMOS的摄像设备的能耗较高，继而导致跟踪过程能耗高，特别是涉及大广角以及超广角的结构，引发能耗问题以及散热困难，需要额外设置散热结构。
因此，有必要提供一种隐私性好、能耗低、适用性广泛且能够快速进行物体识别的清洁设备。
动态视觉传感器(DVS)是一种模仿生物视觉的视觉传感器，其利用事件驱动原理可以实现运动目标的快速获取，并且具有低延迟、低存储空间和高动态范围等优势。
DVS工作原理与传统基于帧图像的传感器具有较大区别。DVS中每个像素单元独立工作，利用事件触发原理，通过差分电路和阈值电容可以实现实时视场光强的变化检测，当像素单元光强变化达到阈值时，输出此像素单元的地址-事件(Address-Event，AE)数据。
由于AE数据只对视场中光强变化幅度较大的像素单元进行描述，所以基于AE数据可以快速获得运动目标的坐标和物体边界，实现运动目标的快速获取。
模仿人类视觉处理的基本特征的动态视觉传感器已经在视觉研究中创建了一个新的模式，是一种模拟基于脉冲触发式神经元的人类视网膜的生物拟态视觉传感器。与人的视网膜中的感光器相似，单个DVS像素（受体）可以响应于检测到的光照变化而生成事件，传感器内部具有由多个像素单元构成的像素单元阵列，其中每个像素单元只有在感应到光强变化时，才会响应并记录光强快速变化的区域。动态视觉传感器输出异步的事件数据流，例如，可以是光强变化的时间戳和光强值以及被触发像素单元的坐标位置。事件编码场景的动态特征，例如使用一组时空事件来描述移动物体。由于DVS传感器极大地减少了冗余像素（例如静态背景特征）并以无帧的方式以高时间分辨率（约1μs）对对象进行编码，因此非常适合于移动物体的运动分析、跟踪和监视。这些传感器具有很高的动态运行范围（120dB），因此能够在光照条件变化的不受控制的环境中运行。DVS的响应速度不再受传统的曝光时间和帧率限制，可以侦测到高达万帧/秒速率运动的高速物体；DVS具有更大的动态范围，在低光照或者高曝光环境下都能准确感应并输出场景变化；DVS功耗更低；由于DVS每个像素单元都是独立响应光强变化，因此DVS不会受运动模糊的影响。
由于自主移动清洁设备在移动中进行清扫工作，因此，周边的静止物体，相对于该自主移动清洁设备是相对移动的，因此将DVS应用于自主移动清洁设备，以对相对于自主移动清洁设备进行相对运动的物体进行空间和时间描述。
发明内容
为了解决上述技术问题中的至少一个，本发明提供了一种清洁设备及用于清洁设备的光触发事件识别方法。
根据本发明的一个方面，本发明提供了一种清洁设备，包括：清洁设备主体，所述清洁设备主体能够自主移动；以及，相机装置，所述相机装置设置于所述清洁设备主体，其中，所述相机装置包括至少一个动态视觉装置，所述动态视觉装置包括：光信号接收装置，所述光信号接收装置接收所述相机装置的视野区域的光信号；以及，光传感器，所述光传感器基于所述光信号接收装置接收的光信号逐帧地获取帧图像，并基于帧图像对至少一个类型的目标物体的光触发事件进行识别；所述清洁设备还包括存储器，所述存储器存储有至少一个类型的目标物体的特征图像信息；以及，处理器，所述处理器被配置为获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的轮廓信息及尺寸信息，将其与所述存储器存储的至少一个目标物体的特征图像信息进行比较，以获取发生光触发事件的至少一个帧图像中的至少一个目标物体的类型信息和/或位置信息。
其中，所述清洁设备可以是表面清洁设备，例如自主清洁设备等。
其中，所述相机装置还可以包括相机视窗等部件，根据本发明的优选实施方式，所述相机装置的视野区域至少覆盖所述清洁设备主体的外轮廓，或者至少覆盖清洁设备主体的前方区域，所述清洁设备可以包括多个所述相机装置，或者对所述相机装置的尺寸或形状做出调整以获得更大的视野区域。
其中，所述动态视觉装置的光传感器为像素阵列形式的光传感器。
根据本发明至少一个实施方式的清洁设备，所述处理器还获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息对应的深度信息，将物体的轮廓信息、尺寸信息以及，深度信息与所述存储器存储的至少一个目标物体的特征图像信息进行比较，以获取发生光触发事件的至少一个帧图像中的至少一个目标物体的类型信息和/或位置信息。
根据本发明至少一个实施方式的清洁设备，所述深度信息为物体与清洁设备（或者清洁设备的相机装置）之间的距离信息。
根据本发明的至少一个实施方式的清洁设备，在将物体的轮廓信息、尺寸信息以及，深度信息与所述存储器存储的至少一个目标物体的特征图像信息进行比较时，可以进行等值匹配或者按照比例进行匹配。
根据本发明至少一个实施方式的清洁设备，所述存储器存储的至少一个目标物体的特征图像信息包括特征轮廓信息、特征尺寸信息以及，特征深度信息。
根据本发明至少一个实施方式的清洁设备，所述获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息对应的深度信息，包括：至少基于发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息与至少一个目标物体的特征尺寸信息的比值获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息对应的深度信息。
根据本发明至少一个实施方式的清洁设备，所述相机装置还包括测距光源，被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息对应的深度信息至少基于所述测距光源获取。
根据本发明至少一个实施方式的清洁设备，所述测距光源优选为脉冲线激光光源，所述动态视觉装置与所述脉冲线激光光源结合来获取物体的轮廓信息、尺寸信息以及，深度信息。
根据本发明至少一个实施方式的清洁设备，所述脉冲线激光光源向物体发射激光，所述动态视觉装置在获取帧图像的过程中，获取物体上的激光条纹信息，所述处理器基于激光条纹信息获取物体的深度信息。
根据本发明至少一个实施方式的清洁设备，所述深度信息的获取方式包括通过雷达获取。
根据本发明至少一个实施方式的清洁设备，所述相机装置包括两个动态视觉装置；以及，基于两个动态视觉装置获取的视差图像，作为所述帧图像。
根据本发明至少一个实施方式的清洁设备，所述基于两个动态视觉装置获取的视差图像，作为所述帧图像，包括：同步获取左动态视觉装置的光触发事件、右动态视觉装置的光触发事件以及，获取清洁设备移动速度；同步计算左目时间同步的事件视差体和右目时间同步的事件视差体；以及，利用左目时间同步的事件视差体和右目时间同步的事件视差体计算交集以及，并集，进而通过交集和并集计算交并比获得视差图像，作为帧图像。
根据本发明至少一个实施方式的清洁设备，所述光传感器基于帧图像对至少一个类型的目标物体的光触发事件进行识别，包括：将第N帧图像的各个像素的像素光强作为像素基准光强，N为大于等于1的自然数；将第N+1帧图像的各个像素的像素光强与所述像素基准光强进行比较，获得第N+1帧图像的各个像素的光强变化量；以及，将第N+1帧图像的各个像素的光强变化量与光强变化量阈值进行比较，如果第N+1帧图像的某个像素的光强变化量大于或者大于等于所述光强变化量阈值，则生成触发信号以指示该像素发生光触发事件。
其中，所述像素光强也可表述为像素亮度。
其中，所述光强变化量阈值可以预先设置，更优选地，光强变化量阈值可以被调整或者修改。
根据本发明至少一个实施方式的清洁设备，如果基于第N+1帧图像的各个像素的光强变化量生成至少一个所述触发信号，则将第N+1帧图像的各个像素的像素光强作为新的像素基准光强。
根据本发明至少一个实施方式的清洁设备，如果基于第N+1帧图像的各个像素的光强变化量未生成触发信号，仍将第N帧图像的各个像素的像素光强作为像素基准光强。
根据本发明至少一个实施方式的清洁设备，将第N+2帧图像的各个像素的像素光强与所述第N帧图像的各个像素的像素光强进行比较，获得第N+2帧图像的各个像素的光强变化量；将第N+2帧图像的各个像素的光强变化量与光强变化量阈值进行比较，如果第N+2帧图像的某个像素的光强变化量大于或者大于等于所述光强变化量阈值，则生成触发信号以指示该像素发生光触发事件。
以此类推，即如果某一帧图像发生光触发事件，则将该帧图像的各个像素的像素光强作为新的像素基准光强。
根据本发明至少一个实施方式的清洁设备，包括：清洁设备主体，所述清洁设备主体能够自主移动；以及，相机装置，所述相机装置设置于所述清洁设备主体，其中，所述相机装置包括至少一个动态视觉装置，所述动态视觉装置包括：光信号接收装置，所述光信号接收装置接收所述相机装置的视野区域的光信号；光传感器，所述光传感器基于所述光信号接收装置接收的光信号逐帧地获取帧图像，并基于帧图像对至少一个类型的目标物体的光触发事件进行识别；以及，存储器，所述存储器存储有至少一个类型的目标物体的特征图像信息；所述清洁设备还包括处理器，所述处理器被配置为获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的轮廓信息及尺寸信息，将其与所述存储器存储的至少一个目标物体的特征图像信息进行比较，以获取发生光触发事件的至少一个帧图像中的至少一个目标物体的类型信息和/或位置信息。
根据本发明至少一个实施方式的清洁设备，包括：清洁设备主体，所述清洁设备主体能够自主移动；以及，相机装置，所述相机装置设置于所述清洁设备主体，其中，所述相机装置包括至少一个动态视觉装置，所述动态视觉装置包括：光信号接收装置，所述光信号接收装置接收所述相机装置的视野区域的光信号；光传感器，所述光传感器基于所述光信号接收装置接收的光信号逐帧地获取帧图像，并基于帧图像对至少一个类型的目标物体的光触发事件进行识别；存储器，所述存储器存储有至少一个类型的目标物体的特征图像信息；以及，处理器，所述处理器被配置为获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的轮廓信息及尺寸信息，将其与所述存储器存储的至少一个目标物体的特征图像信息进行比较，以获取发生光触发事件的至少一个帧图像中的至少一个目标物体的类型信息和/或位置信息。
根据本发明的又一个方面，本发明提供了一种用于清洁设备的光触发事件识别方法，包括：
驱动清洁设备沿待清洁地面移动，所述清洁设备包括相机装置，所述相机装置包括至少一个动态视觉装置；所述至少一个动态视觉装置逐帧获取帧图像，将第N帧图像的各个像素的像素光强作为像素基准光强，N为大于等于1的自然数；将第N+1帧图像的各个像素的像素光强与所述像素基准光强进行比较，获得第N+1帧图像的各个像素的光强变化量；以及，将第N+1帧图像的各个像素的光强变化量与光强变化量阈值进行比较，如果第N+1帧图像的某个像素的光强变化量大于或者大于等于所述光强变化量阈值，则生成触发信号以指示该像素发生光触发事件。
附图说明
附图示出了本发明的示例性实施方式，并与其说明一起用于解释本发明的原理，其中包括了这些附图以提供对本发明的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
图1示出了根据本发明的一个实施方式的清洁设备。
图2示出了根据本发明的又一个实施方式的清洁设备。
图3示出了根据本发明的又一个实施方式的清洁设备。
图4示出了根据本发明的一个实施方式的清洁设备示意图。
图5示出了根据本发明的一个实施方式的用于清洁设备的光触发事件识别方法。
图6是根据本发明的一个实施方式的光触发事件识别方法获取的光触发事件示意图。
具体实施方式
下面结合附图和实施方式对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分。
需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本发明的技术方案。
除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本发明的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本发明的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。
当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。
为了描述性目的，本发明可使用诸如“在……之下”、“在……下方”、“在……下”、“下”、“在……上方”、“上”、“在……之上”、“较高的”和“侧(例如，在“侧壁”中)”等的空间相对术语，从而来描述如附图中示出的一个部件与另一(其它)部件的关系。除了附图中描绘的方位之外，空间相对术语还意图包含设备在使用、操作和/或制造中的不同方位。例如，如果附图中的设备被翻转，则被描述为“在”其它部件或特征“下方”或“之下”的部件将随后被定位为“在”所述其它部件或特征“上方”。因此，示例性术语“在……下方”可以包含“上方”和“下方”两种方位。此外，设备可被另外定位(例如，旋转90度或者在其它方位处)，如此，相应地解释这里使用的空间相对描述语。
这里使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
下文参照图1至图6对本发明的清洁设备及用于清洁设备的光触发事件识别方法进行详细说明。
根据本发明的一个方面，本发明提供了一种清洁设备1000，包括：清洁设备主体1001，清洁设备主体1001能够自主移动；以及，相机装置1002，相机装置1002设置于清洁设备主体1001的适当位置，其中，相机装置1002包括至少一个动态视觉装置1021，动态视觉装置1021包括：光信号接收装置1022，光信号接收装置接收相机装置的视野区域的光信号；以及，光传感器1023，光传感器基于光信号接收装置接收的光信号逐帧地获取帧图像，并基于帧图像对至少一个类型的目标物体的光触发事件进行识别；清洁设备还包括存储器1003，存储器存储有至少一个类型的目标物体的特征图像信息；以及，处理器1004，处理器被配置为获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的轮廓信息及尺寸信息，将其与存储器存储的至少一个目标物体的特征图像信息进行比较，以获取发生光触发事件的至少一个帧图像中的至少一个目标物体的类型信息和/或位置信息。
其中，清洁设备可以是表面清洁设备，例如能够自主移动的自主清洁设备等，能够自主移动的自主清洁设备可以是带盘状拖擦组件的自主清洁设备。
其中，相机装置还可以包括相机视窗等部件，根据本发明的优选实施方式，相机装置的视野区域至少覆盖清洁设备主体的外轮廓，或者至少覆盖清洁设备主体的前方区域，清洁设备1000可以包括多个相机装置，或者对相机装置的尺寸或形状做出调整以获得更大的视野区域。
其中，清洁设备（例如自主清洁设备）的相机装置可以包括上文描述的至少一个动态视觉装置1021，还可以包括避障传感器、悬崖传感器等。
其中，动态视觉装置1021可以设置在清洁设备例如自主清洁设备的前侧壁上，优选地可以以嵌入的方式被保持在自主清洁设备的前侧壁上，本领域技术人员在本发明技术方案的启示下，可以对相机装置以及动态视觉装置1021的设置方式或者设置位置进行调整。
图4示例性地示出了自主移动的自主清洁设备形式的清洁设备，图4还示例性地示出了一个以嵌入方式设置在自主移动自主清洁设备的前侧壁上的动态视觉装置1021。
其中，光信号接收装置可以是动态视觉装置的透镜单元或透镜组件，也可以通过对透镜单元的尺寸或者形状做出调整以获得更大的视野区域。
其中，目标物体可以是桌腿、茶几、人体、宠物等能够处于清洁设备的相机装置的视野区域中的物体。
其中，根据本发明的优选实施方式，动态视觉装置的光传感器为像素阵列形式的光传感器。
其中，至少一个类型的目标物体的特征图像信息优选为训练图像数字信息，至少一个类型的目标物体的特征图像信息可以以数据库的形式被存储在存储器上。
根据本发明的优选实施例，上述各个实施方式的自主清洁设备还包括自主清洁设备控制装置，自主清洁设备控制装置包括对自主清洁设备执行内向外设备跟踪的VSLAM模块。根据某些实施例，VSLAM模块接收跟踪的物体的物体特征以及来自自主清洁设备的位置数据，并且输出与自主清洁设备的操作环境相关联的数据。
根据本发明的优选实施例，VSLAM模块输出相机姿态数据和场景几何数据。相机姿态数包括指示自主清洁设备的查看方向的坐标值。即，在某些对于用户隐私许可的使用环境下，自主清洁设备的姿态数据指示自主清洁设备作为用户眼睛的延伸正在观察的方向。
根据本发明的优选实施例，上文描述的场景几何数据包括指示自主清洁设备的操作环境的所标识的表面和其他跟踪的特征所在的坐标位置的数据。根据某些实施例，VSLAM模块以诸如点云的潜在数据密集格式输出场景几何数据。
取决于环境条件（光照、颜色、环境复杂程度等），VSLAM模块的输出的稳定性是波动的，可以通过在VSLAM模块的CMOS中添加颜色识别和光强识别等功能来改善，但会明显增加自主清洁设备的功率消耗。
其中，处理器还获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息对应的深度信息，将物体的轮廓信息、尺寸信息以及，深度信息与存储器存储的至少一个目标物体的特征图像信息进行比较，以获取发生光触发事件的至少一个帧图像中的至少一个目标物体的类型信息和/或位置信息。
其中，深度信息为物体与清洁设备（或者清洁设备的相机装置）之间的距离信息。
其中，在将物体的轮廓信息、尺寸信息以及，深度信息与存储器存储的至少一个目标物体的特征图像信息进行比较时，可以进行等值匹配或者按照比例进行匹配。
其中，存储器存储的至少一个目标物体的特征图像信息包括特征轮廓信息、特征尺寸信息以及，特征深度信息；获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息对应的深度信息，包括：至少基于发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息与至少一个目标物体的特征尺寸信息的比值获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息对应的深度信息。
其中，存储器存储的目标物体的特征图像信息，特征图像信息还可以包括通过机器学习或深度学习获得的至少一类目标物体的特征图像信息。
其中，存储器存储的目标物体的特征图像信息，可以通过清洁设备出厂前预先设置。
其中，相机装置还包括测距光源，被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息对应的深度信息至少基于测距光源获取。
其中，测距光源优选为脉冲线激光光源，本实施方式可以通过一个动态视觉装置与脉冲线激光光源结合来获取物体的轮廓信息、尺寸信息以及，深度信息。
其中，脉冲线激光光源向物体发射激光，动态视觉装置在获取帧图像的过程中，获取物体上的激光条纹信息（例如条纹宽度），处理器基于激光条纹信息获取物体的深度信息。
其中，动态视觉装置与脉冲线激光结合，通过利用通过动态视觉传感器装置的光传感器捕获场景中时间动态的能力，可以实现稳定的对脉冲线激光传感器发射到物体上的激光条纹提取，动态视觉装置的光传感器的自适应时间滤波器可以可靠地重建扫地机周围的包括地面在内的3D环境。
其中，深度信息的获取方式还包括通过雷达获取。
其中，激光雷达应与动态视觉装置配合使用，实现定位与地图构建（SLAM）：包括一个以上的激光雷达（LDS），激光雷达用于SLAM，与所述相机装置配合使用，此时相机装置仅用于避障，可用于通过物体形状判断物体类型，并通过一个以上触发点的形状尺寸判断深度。清洁设备通过物体类型及深度信息的判断，选择是否可进入或可接近。例如，判断房间类型时，通过识别房间中的物体信息，例如包括识别门框，床，橱柜，马桶等，通过房间物体信息的判断，进而判断房间类型，例如卧室，厨房，洗手间等。结合获取的深度信息即可判断物体所处的位置，进而使得清洁设备根据物体位置进行避障及清扫。
其中，相机装置1002包括两个动态视觉装置1021；基于两个动态视觉装置1021获取的视差图像，作为帧图像。
其中，基于两个动态视觉装置1021获取的视差图像，作为帧图像，包括：同步获取左动态视觉装置的光触发事件、右动态视觉装置的光触发事件以及，获取清洁设备移动速度；同步计算左目时间同步的事件视差体和右目时间同步的事件视差体；以及，利用左目时间同步的事件视差体和右目时间同步的事件视差体计算交集以及，并集，进而通过交集和并集计算交并比获得视差图像，作为帧图像。
其中，光传感器基于帧图像对至少一个类型的目标物体的光触发事件进行识别，包括：将第N帧图像的各个像素的像素光强作为像素基准光强，N为大于等于1的自然数；将第N+1帧图像的各个像素的像素光强与像素基准光强进行比较，获得第N+1帧图像的各个像素的光强变化量；以及，将第N+1帧图像的各个像素的光强变化量与光强变化量阈值进行比较，如果第N+1帧图像的某个像素的光强变化量大于或者大于等于光强变化量阈值，则生成触发信号以指示该像素发生光触发事件。
其中，上文描述的像素光强也可表述为像素亮度。
其中，光强变化量阈值可以预先设置，更优选地，光强变化量阈值可以被调整或者修改。
其中，如果基于第N+1帧图像的各个像素的光强变化量生成至少一个触发信号，则将第N+1帧图像的各个像素的像素光强作为新的像素基准光强。
其中，如果基于第N+1帧图像的各个像素的光强变化量未生成触发信号，仍将第N帧图像的各个像素的像素光强作为像素基准光强。
其中，将第N+2帧图像的各个像素的像素光强与第N帧图像的各个像素的像素光强进行比较，获得第N+2帧图像的各个像素的光强变化量；将第N+2帧图像的各个像素的光强变化量与光强变化量阈值进行比较，如果第N+2帧图像的某个像素的光强变化量大于或者大于等于光强变化量阈值，则生成触发信号以指示该像素发生光触发事件。
以此类推，即如果某一帧图像发生光触发事件，则将该帧图像的各个像素的像素光强作为新的像素基准光强。当发生单个事件，即场景中的任何运动或对比度变化时，即可通过上述方式实现两个动态视觉装置对光触发事件的识别，进而基于光触发事件的识别实现清洁设备对物体对象识别和测距。
其中，传感器采集信号，检测出采集的信号中的像素亮度变化超过设定的范围的事件点并输出，其中，像素亮度变化超过设定的范围的事件点的位置通常是场景中移动的运动物体所对应的位置。因此，基于检测出的事件点和预先训练的用于确定事件点所属的相对于自主移动设备运动的物体的类别，可以识别出自主移动装置周围的物体的类别和位置。
本实施例提供的清洁设备，通过相机装置实现在清洁设备清扫过程中的障碍物识别以及障碍物相对于清洁设备的位置的判断，可以使清洁设备根据障碍物的位置请进路径规划，辅助清洁设备完成清扫任务。一方面，在此过程中不将相机装置获取的图像发送到云端，置于本地用户自行存储和删除，避免将用户的隐私信息扩散；另一方面，通过采用包括动态视觉传感器的相机装置，可以实现运动目标的快速提取，具有低延时、低存储、低功耗及高效率的优势。
图2是根据本发明的又一个实施方式的清洁设备。
如图2所示，一种清洁设备2000，包括：清洁设备主体2001，清洁设备主体2001能够自主移动；以及，相机装置2002，相机装置2002设置于清洁设备主体2001的适当位置，其中，相机装置2002包括至少一个动态视觉装置2021，动态视觉装置1021包括：光信号接收装置2022，光信号接收装置2022接收相机装置的视野区域的光信号；光传感器2023，光传感器2023基于光信号接收装置接收的光信号逐帧地获取帧图像，并基于帧图像对至少一个类型的目标物体的光触发事件进行识别；以及，存储器2024，存储器2024存储有至少一个类型的目标物体的特征图像信息；清洁设备还包括处理器2004，处理器2004被配置为获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的轮廓信息及尺寸信息，将其与存储器存储的至少一个目标物体的特征图像信息进行比较，以获取发生光触发事件的至少一个帧图像中的至少一个目标物体的类型信息和/或位置信息。
图3是根据本公式的又一个实施方式的清洁设备。
如图3所示，一种清洁设备3000，包括：清洁设备主体3001，清洁设备主体3001能够自主移动；以及，相机装置3002，相机装置3002设置于清洁设备主体3001的适当位置，其中，相机装置3002包括至少一个动态视觉装置3021，动态视觉装置3021包括：光信号接收装置3022，光信号接收装置3022接收相机装置的视野区域的光信号；光传感器3023，光传感器3023基于光信号接收装置接收的光信号逐帧地获取帧图像，并基于帧图像对至少一个类型的目标物体的光触发事件进行识别；存储器3024，存储器3024存储有至少一个类型的目标物体的特征图像信息；以及，处理器3025，处理器3025被配置为获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的轮廓信息及尺寸信息，将其与存储器存储的至少一个目标物体的特征图像信息进行比较，以获取发生光触发事件的至少一个帧图像中的至少一个目标物体的类型信息和/或位置信息。
图5是根据本发明的一个实施方式的用于清洁设备的光触发事件识别方法。
如图5所示，用于清洁设备的光触发事件识别方法S100，包括：S102、驱动清洁设备沿待清洁地面移动，清洁设备包括相机装置，相机装置包括至少一个动态视觉装置；S104、至少一个动态视觉装置逐帧获取帧图像，将第N帧图像的各个像素的像素光强作为像素基准光强，N为大于等于1的自然数；S106、将第N+1帧图像的各个像素的像素光强与像素基准光强进行比较，获得第N+1帧图像的各个像素的光强变化量；S108、将第N+1帧图像的各个像素的光强变化量与光强变化量阈值进行比较；以及，S110、如果第N+1帧图像的某个像素的光强变化量大于或者大于等于光强变化量阈值，则生成触发信号以指示该像素发生光触发事件。
本实施方式的用于清洁设备的光触发事件识别方法，在整个识别过程中，使用相机装置逐帧获取帧图像，相机装置包括动态视觉装置或动态视觉传感器。
本实施方式的用于清洁设备的光触发事件识别方法，可以适用于上述任一个实施方式的清洁设备。
图6是根据本发明的一个实施方式的光触发事件识别方法获取的光触发事件示意图。
如图6所示，图中的光触发事件通过采用如下光触发事件识别方法获取：a. 获取第N帧图像的各个像素的像素光强作为像素基准光强，N为大于等于1的自然数；b. 将第N+1帧图像的各个像素的像素光强作为像素当前光强；c. 将像素当前光强与像素基准光强进行差分运算，获得光强变化幅度值v；以及，d. 将光强变化幅度值v与触发阈值t进行对比，如果大于等于触发阈值，生成该位置像素的光触发事件数据，并将N+1的值设为N，同时，到步骤a，否则，将N+1的值设为N，同时，到步骤b。
在本说明书的描述中，参考术语“一个实施例/方式”、“一些实施例/方式”、“示例”、“具体示例”或“一些示例”等的描述意指结合该实施例/方式或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例/方式或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例/方式或示例以及不同实施例/方式或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本发明，而并非是对本发明的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本发明的范围内。

Claims (8)

1.一种清洁设备，其特征在于，包括：
清洁设备主体，所述清洁设备主体能够自主移动；以及
相机装置，所述相机装置设置于所述清洁设备主体，
其中，所述相机装置包括至少一个动态视觉装置，所述动态视觉装置包括：
光信号接收装置，所述光信号接收装置接收所述相机装置的视野区域的光信号；以及
光传感器，所述光传感器基于所述光信号接收装置接收的光信号逐帧地获取帧图像，并基于帧图像对至少一个类型的目标物体的光触发事件进行识别；
所述清洁设备还包括存储器，所述存储器存储有至少一个类型的目标物体的特征图像信息；以及
处理器，所述处理器被配置为获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的轮廓信息及尺寸信息，将其与所述存储器存储的至少一个目标物体的特征图像信息进行比较，以获取发生光触发事件的至少一个帧图像中的至少一个目标物体的类型信息和/或位置信息；
其中，所述相机装置包括两个动态视觉装置；所述两个动态视觉装置包括左动态视觉装置和右动态视觉装置；同步获取左动态视觉装置的光触发事件、右动态视觉装置的光触发事件以及获取清洁设备移动速度；同步计算左目时间同步的事件视差体和右目时间同步的事件视差体；以及利用左目时间同步的事件视差体和右目时间同步的事件视差体计算交集以及并集，进而通过交集和并集计算交并比获得视差图像，并且将该视差图像作为帧图像；
其中，在将物体的轮廓信息以及尺寸信息与所述存储器存储的至少一个目标物体的特征图像信息进行比较时，按照等值匹配或者按照比例进行匹配。
2.根据权利要求1所述的清洁设备，其特征在于，所述处理器还获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息对应的深度信息，将物体的轮廓信息、尺寸信息以及深度信息与所述存储器存储的至少一个目标物体的特征图像信息进行比较，以获取发生光触发事件的至少一个帧图像中的至少一个目标物体的类型信息和/或位置信息。
3.根据权利要求2所述的清洁设备，其特征在于，所述存储器存储的至少一个目标物体的特征图像信息包括特征轮廓信息、特征尺寸信息以及特征深度信息；
获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息对应的深度信息，包括：
至少基于发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息与至少一个目标物体的特征尺寸信息的比值获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息对应的深度信息。
4.根据权利要求2所述的清洁设备，其特征在于，所述相机装置还包括测距光源，被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的尺寸信息对应的深度信息至少基于所述测距光源获取。
5.根据权利要求2所述的清洁设备，其特征在于，所述深度信息的获取方式包括通过雷达获取。
6.一种清洁设备，其特征在于，包括：
清洁设备主体，所述清洁设备主体能够自主移动；以及
相机装置，所述相机装置设置于所述清洁设备主体，
其中，所述相机装置包括至少一个动态视觉装置，所述动态视觉装置包括：
光信号接收装置，所述光信号接收装置接收所述相机装置的视野区域的光信号；
光传感器，所述光传感器基于所述光信号接收装置接收的光信号逐帧地获取帧图像，并基于帧图像对至少一个类型的目标物体的光触发事件进行识别；以及
存储器，所述存储器存储有至少一个类型的目标物体的特征图像信息；
所述清洁设备还包括处理器，所述处理器被配置为获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的轮廓信息及尺寸信息，将其与所述存储器存储的至少一个目标物体的特征图像信息进行比较，以获取发生光触发事件的至少一个帧图像中的至少一个目标物体的类型信息和/或位置信息；
其中，所述相机装置包括两个动态视觉装置；所述两个动态视觉装置包括左动态视觉装置和右动态视觉装置；同步获取左动态视觉装置的光触发事件、右动态视觉装置的光触发事件以及获取清洁设备移动速度；同步计算左目时间同步的事件视差体和右目时间同步的事件视差体；以及利用左目时间同步的事件视差体和右目时间同步的事件视差体计算交集以及并集，进而通过交集和并集计算交并比获得视差图像，并且将该视差图像作为帧图像；
其中，在将物体的轮廓信息以及尺寸信息与所述存储器存储的至少一个目标物体的特征图像信息进行比较时，按照等值匹配或者按照比例进行匹配。
7.一种清洁设备，其特征在于，包括：
清洁设备主体，所述清洁设备主体能够自主移动；以及
相机装置，所述相机装置设置于所述清洁设备主体，
其中，所述相机装置包括至少一个动态视觉装置，所述动态视觉装置包括：
光信号接收装置，所述光信号接收装置接收所述相机装置的视野区域的光信号；
光传感器，所述光传感器基于所述光信号接收装置接收的光信号逐帧地获取帧图像，并基于帧图像对至少一个类型的目标物体的光触发事件进行识别；
存储器，所述存储器存储有至少一个类型的目标物体的特征图像信息；以及
处理器，所述处理器被配置为获取被识别为发生光触发事件的至少一个帧图像中的至少一个目标物体的轮廓信息及尺寸信息，将其与所述存储器存储的至少一个目标物体的特征图像信息进行比较，以获取发生光触发事件的至少一个帧图像中的至少一个目标物体的类型信息和/或位置信息；
其中，所述相机装置包括两个动态视觉装置；所述两个动态视觉装置包括左动态视觉装置和右动态视觉装置；同步获取左动态视觉装置的光触发事件、右动态视觉装置的光触发事件以及获取清洁设备移动速度；同步计算左目时间同步的事件视差体和右目时间同步的事件视差体；以及利用左目时间同步的事件视差体和右目时间同步的事件视差体计算交集以及并集，进而通过交集和并集计算交并比获得视差图像，并且将该视差图像作为帧图像；
其中，在将物体的轮廓信息以及尺寸信息与所述存储器存储的至少一个目标物体的特征图像信息进行比较时，按照等值匹配或者按照比例进行匹配。
8.一种用于清洁设备的光触发事件识别方法，其特征在于，包括：
驱动清洁设备沿待清洁地面移动，所述清洁设备包括相机装置，所述相机装置包括至少一个动态视觉装置；
所述至少一个动态视觉装置逐帧获取帧图像，将第N帧图像的各个像素的像素光强作为像素基准光强，N为大于等于1的自然数；
将第N+1帧图像的各个像素的像素光强与所述像素基准光强进行比较，获得第N+1帧图像的各个像素的光强变化量；以及
将第N+1帧图像的各个像素的光强变化量与光强变化量阈值进行比较，如果第N+1帧图像的某个像素的光强变化量大于或者大于等于所述光强变化量阈值，则生成触发信号以指示该像素发生光触发事件；
其中，所述相机装置包括两个动态视觉装置；所述两个动态视觉装置包括左动态视觉装置和右动态视觉装置；同步获取左动态视觉装置的光触发事件、右动态视觉装置的光触发事件以及获取清洁设备移动速度；同步计算左目时间同步的事件视差体和右目时间同步的事件视差体；以及利用左目时间同步的事件视差体和右目时间同步的事件视差体计算交集以及并集，进而通过交集和并集计算交并比获得视差图像，并且将该视差图像作为帧图像；
其中，在将物体的轮廓信息以及尺寸信息与存储器存储的至少一个目标物体的特征图像信息进行比较时，按照等值匹配或者按照比例进行匹配。
CN202110623541.XA 2021-06-04 2021-06-04 清洁设备及用于清洁设备的光触发事件识别方法 Active CN113378684B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202110623541.XA CN113378684B (zh) 2021-06-04 2021-06-04 清洁设备及用于清洁设备的光触发事件识别方法
PCT/CN2022/092021 WO2022252937A1 (zh) 2021-06-04 2022-05-10 清洁设备及用于清洁设备的光触发事件识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110623541.XA CN113378684B (zh) 2021-06-04 2021-06-04 清洁设备及用于清洁设备的光触发事件识别方法

Publications (2)

Publication Number Publication Date
CN113378684A CN113378684A (zh) 2021-09-10
CN113378684B true CN113378684B (zh) 2024-03-29

Family

ID=77575713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110623541.XA Active CN113378684B (zh) 2021-06-04 2021-06-04 清洁设备及用于清洁设备的光触发事件识别方法

Country Status (2)

Country Link
CN (1) CN113378684B (zh)
WO (1) WO2022252937A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113378684B (zh) * 2021-06-04 2024-03-29 北京顺造科技有限公司 清洁设备及用于清洁设备的光触发事件识别方法
CN114046001B (zh) * 2021-11-16 2023-03-28 重庆大学 一种建筑外墙自清洗雨棚及清洗方法
CN114259188A (zh) * 2022-01-07 2022-04-01 美智纵横科技有限责任公司 清洁设备、图像处理方法和装置、可读存储介质
CN117975920A (zh) * 2024-03-28 2024-05-03 深圳市戴乐体感科技有限公司 一种鼓槌动态识别定位方法、装置、设备及存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359229A (zh) * 2008-08-18 2009-02-04 浙江大学 一种基于障碍物运动预测的移动机器人避障方法
CN105389543A (zh) * 2015-10-19 2016-03-09 广东工业大学 基于全方位双目视觉深度信息融合的移动机器人避障装置
CN107025660A (zh) * 2016-02-01 2017-08-08 北京三星通信技术研究有限公司 一种确定双目动态视觉传感器图像视差的方法和装置
CN108076338A (zh) * 2016-11-14 2018-05-25 北京三星通信技术研究有限公司 图像视觉处理方法、装置及设备
CN110555865A (zh) * 2019-08-07 2019-12-10 清华大学无锡应用技术研究院 一种基于帧图像的动态视觉传感器样本集建模方法
WO2020009550A1 (en) * 2018-07-06 2020-01-09 Samsung Electronics Co., Ltd. Method and apparatus for capturing dynamic images
CN112805718A (zh) * 2018-10-05 2021-05-14 三星电子株式会社 自动驾驶装置的对象识别方法以及自动驾驶装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4516592B2 (ja) * 2007-12-06 2010-08-04 本田技研工業株式会社 移動型ロボット
WO2019018315A1 (en) * 2017-07-17 2019-01-24 Kaarta, Inc. ALIGNMENT OF MEASURED SIGNAL DATA WITH SLAM LOCATION DATA AND ASSOCIATED USES
US11295458B2 (en) * 2016-12-01 2022-04-05 Skydio, Inc. Object tracking by an unmanned aerial vehicle using visual sensors
US10878294B2 (en) * 2018-01-05 2020-12-29 Irobot Corporation Mobile cleaning robot artificial intelligence for situational awareness
JP2020161992A (ja) * 2019-03-27 2020-10-01 ソニーセミコンダクタソリューションズ株式会社 撮像システム及び物体認識システム
CN112631314B (zh) * 2021-03-15 2021-06-04 季华实验室 基于多线激光雷达与事件相机slam的机器人控制方法、系统
CN113378684B (zh) * 2021-06-04 2024-03-29 北京顺造科技有限公司 清洁设备及用于清洁设备的光触发事件识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101359229A (zh) * 2008-08-18 2009-02-04 浙江大学 一种基于障碍物运动预测的移动机器人避障方法
CN105389543A (zh) * 2015-10-19 2016-03-09 广东工业大学 基于全方位双目视觉深度信息融合的移动机器人避障装置
CN107025660A (zh) * 2016-02-01 2017-08-08 北京三星通信技术研究有限公司 一种确定双目动态视觉传感器图像视差的方法和装置
CN108076338A (zh) * 2016-11-14 2018-05-25 北京三星通信技术研究有限公司 图像视觉处理方法、装置及设备
WO2020009550A1 (en) * 2018-07-06 2020-01-09 Samsung Electronics Co., Ltd. Method and apparatus for capturing dynamic images
CN112805718A (zh) * 2018-10-05 2021-05-14 三星电子株式会社 自动驾驶装置的对象识别方法以及自动驾驶装置
CN110555865A (zh) * 2019-08-07 2019-12-10 清华大学无锡应用技术研究院 一种基于帧图像的动态视觉传感器样本集建模方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于双目视觉的机器人运动目标检测与定位;崔宝侠;栾婷婷;张驰;段勇;;沈阳工业大学学报;20151207(第04期);全文 *
带双目视觉的全向移动物流机器人设计与实现;戴月;;太原学院学报(自然科学版);20200910(第03期);全文 *
移动机器人多传感器测距系统研究与设计;梁毓明;徐立鸿;;计算机应用;20080615(第S1期);全文 *

Also Published As

Publication number Publication date
CN113378684A (zh) 2021-09-10
WO2022252937A1 (zh) 2022-12-08

Similar Documents

Publication Publication Date Title
CN113378684B (zh) 清洁设备及用于清洁设备的光触发事件识别方法
EP3585571B1 (en) Moving robot and control method thereof
Munaro et al. Tracking people within groups with RGB-D data
Steffen et al. Neuromorphic stereo vision: A survey of bio-inspired sensors and algorithms
Censi et al. Low-latency localization by active LED markers tracking using a dynamic vision sensor
US20200311416A1 (en) Pose recognition method, device and system for an object of interest to human eyes
Berman et al. Sensors for gesture recognition systems
CN109934848B (zh) 一种基于深度学习的运动物体精准定位的方法
US9338409B2 (en) System and method for home health care monitoring
Teixeira et al. Lightweight people counting and localizing in indoor spaces using camera sensor nodes
US20130338525A1 (en) Mobile Human Interface Robot
CN110353583A (zh) 扫地机器人及扫地机器人的自动控制方法
JP2017146957A (ja) 深層畳み込みニューラルネットワークによるレイヤベースの物体検出の強化
US10616561B2 (en) Method and apparatus for generating a 3-D image
CN112084813B (zh) 异常目标的检测方法、装置及存储介质
CN106934402A (zh) 室内移动视频跟踪定位辅助拍摄方法和装置
WO2011151232A1 (en) An optical system for occupancy sensing, and corresponding method
US20100110209A1 (en) Fast motion measurement device for gaming
US12131544B2 (en) Method for capturing motion of an object and a motion capture system
US20220257075A1 (en) Moving robot and method of controlling the same
Kepski et al. Unobtrusive fall detection at home using kinect sensor
Ghidoni et al. Cooperative tracking of moving objects and face detection with a dual camera sensor
IL309969A (en) A system and method for detecting obstacles with a visual aid
Swadzba et al. Tracking objects in 6D for reconstructing static scenes
US20220270296A1 (en) Method for processing image, mobile robot and method for controlling mobile robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant