CN108235774B - 信息处理方法、装置、云处理设备以及计算机程序产品 - Google Patents

信息处理方法、装置、云处理设备以及计算机程序产品 Download PDF

Info

Publication number
CN108235774B
CN108235774B CN201880000099.1A CN201880000099A CN108235774B CN 108235774 B CN108235774 B CN 108235774B CN 201880000099 A CN201880000099 A CN 201880000099A CN 108235774 B CN108235774 B CN 108235774B
Authority
CN
China
Prior art keywords
area
depth image
mean value
suspected
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880000099.1A
Other languages
English (en)
Other versions
CN108235774A (zh
Inventor
李业
廉士国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cloudminds Shanghai Robotics Co Ltd
Original Assignee
Cloudminds Shenzhen Robotics Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cloudminds Shenzhen Robotics Systems Co Ltd filed Critical Cloudminds Shenzhen Robotics Systems Co Ltd
Publication of CN108235774A publication Critical patent/CN108235774A/zh
Application granted granted Critical
Publication of CN108235774B publication Critical patent/CN108235774B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例提供一种信息处理方法、装置、云处理设备以及计算机程序产品，涉及数据处理技术领域，一定程度上提高了检测路面是否存在坑洼区域的效率。本发明实施例提供的信息处理方法，包括：获取深度图像；对所述深度图像进行处理得到行均值图，根据所述行均值图确定所述深度图像中的路面区域；确定所述路面区域中的疑似坑洼区域；根据坑洼阈值对所述疑似坑洼区域进行判断，确定所述深度图像中是否包含坑洼区域。

Description

信息处理方法、装置、云处理设备以及计算机程序产品
技术领域
本发明涉及数据处理技术领域，尤其涉及一种信息处理方法、装置、云处理设备以及计算机程序产品。
背景技术
随着物联网技术的快速发展，普适计算、全息计算、云计算等全新数据计算模式正逐渐步入人们日常生活中，其可以应用到多种领域中，其中，计算机视觉可以是一个具有代表性的领域。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指使用设备代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图像处理，用处理器处理成为更适合人眼观察或传送给仪器检测的图像。
在实际应用中，机器视觉可以应用在很多场景中，例如，将机器视觉应用在导盲杖上，利用导盲杖来躲避视障人士前方的障碍物，又例如，将机器视觉应用在导航领域，利用导航对路面以及和路面障碍进行检测。
然而，现有技术中，多依赖于检测颜色、形状等信息，以及对强烈边缘信息进行分割和对比，判断物体的形状，而对于坑洼或者低于水平线的物体检测的准确度较低。
发明内容
本发明实施例提供一种信息处理方法、装置、云处理设备以及计算机程序产品，能够提高检测前方是否存在坑洼等情况的准确度。
第一方面，本发明实施例提供一种信息处理方法，包括：
获取深度图像；
对所述深度图像进行处理得到行均值图，根据所述行均值图确定所述深度图像中的路面区域；
确定所述路面区域中的疑似坑洼区域；
根据坑洼阈值对所述疑似坑洼区域进行判断，确定所述深度图像中是否包含坑洼区域。
第二方面，本发明实施例还提供一种信息处理装置，包括：
获取单元，用于获取深度图像；
处理单元，用于对所述深度图像进行处理得到行均值图，根据所述行均值图确定所述深度图像中的路面区域；
确定单元，用于确定所述路面区域中的疑似坑洼区域；
判断单元，用于根据坑洼阈值对所述疑似坑洼区域进行判断，确定所述深度图像中是否包含坑洼区域。
第三方面，本发明实施例还提供一种云处理设备，所述设备包括处理器以及存储器；所述存储器用于存储指令，所述指令被所述处理器执行时，使得所述设备执行如第一方面中任一种所述的方法。
第四方面，本发明实施例还提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现如第一方面中任一种所述的方法。
本发明实施例提供的信息处理方法、装置、云处理设备以及计算机程序产品，通过对获取的深度图像进行处理，首先根据深度图像的行均值来确定深度图像中的路面区域，然后确定路面区域中的疑似坑洼区域，最后，利用坑洼阈值对疑似坑洼区域进行判断，确定深度图像中是否包含有坑洼区域，通过本发明实施例提供的技术方案，能够有效的判断路面是否存在坑洼，检测效率高，计算速度快，解决了现有技术中对于坑洼或者低于水平线的物体检测的准确度较低的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的信息处理方法实施例的流程图；
图2为本发明实施例提供的信息处理方法的第一场景示意图；
图3为本发明实施例提供的世界坐标系示意图；
图4为本发明实施例提供的信息处理方法的第二场景示意图；
图5为本发明实施例提供的信息处理方法实施例的另一流程图；
图6为本发明实施例提供的信息处理方法实施例的另一流程图；
图7为本发明实施例提供的信息处理装置实施例的结构示意图；
图8为本发明实施例提供的信息处理装置实施例的另一结构示意图；
图9为本发明实施例提供的信息处理装置实施例的另一结构示意图；
图10为本发明实施例提供的云处理设备实施例的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
在现有技术中，机器视觉可以应用在很多场景中，例如，将机器视觉应用在导盲杖上，又例如，将机器视觉应用在导航领域，其中，在检测路面的过程中，多停留在路面检测或者障碍检测等情况。并且，在检测过程中，使用种子点区域增长方法、随机点最小二乘法、分块高度均值法、V-视差算法等方式，会存在计算复杂、容易受到样本的影像、实际环境影响结果的准确性、识别效率低、检测范围有限等问题，因此，本发明实施例提供了一种信息处理方法，利用采集的深度图像来对路面是否存在坑洼进行检测，检测效率高，并且可以应用在辅助视障人士出行、机器人避障、无人驾驶、导航等多种场景中，具体的，图1为本发明实施例提供的信息处理方法实施例的流程图，如图1所示，本实施例的信息处理方法，具体可以包括如下步骤：
101、获取深度图像。
在本发明实施例中，可以通过深度传感器来实时对事物进行拍摄，获取深度图像，如图2所示，图2为本发明实施例提供的信息处理方法的第一场景示意图，也可以获取已经拍摄好的深度图像，例如，用户上传深度图像至处理设备，又例如，在深度图像库中获取指定深度图像。
具体的，在本发明实施例中，深度传感器(又称为深度相机)通常可以包括以下三类：基于结构光的三维传感器，如Kinect、RealSense、LeapMotion、Orbbec等；或者基于双目立体视觉的三维传感器，如ZED、Inuitive、Human+司眸等；或者基于TOF原理的深度传感器，如PMD、Panasonic等。
通过上述途径，得到深度图像后，用于后续进行检测，确定当前图像中是否包含有坑洼区域；可以理解的是，在本发明实施例中，坑洼区域存在于路面中，在实际应用中，并不限制于路面，还可以是其他场景中，例如，室内。
102、对深度图像进行处理得到行均值图，根据行均值图确定深度图像中的路面区域。
在本发明实施例中，当采用深度传感器实时采集深度图像时，首先，对深度图像进行坐标转换将相机坐标系转换为世界坐标系；图3为本发明实施例提供的世界坐标系示意图，如图3所示，具体的，可以以深度传感器光心为世界坐标系原点，选取水平向右为X轴正方向，垂直向下为Y轴正方向，垂直于平面并指向正前方为Z轴正方向，建立世界坐标系。因为世界坐标系与深度传感器坐标系原点重合，故两个坐标系之间只存在旋转关系，没有平移关系，以及结合像素坐标系、相机坐标系、世界坐标系三者之间的关系，所以可以根据深度传感器的姿态角将深度传感器坐标系下的点P(Xc，Yc，Zc)转换到世界坐标系下的点P(Xw，Yw，Zw)，计算公式为：
Figure BDA0001581601190000051
Figure BDA0001581601190000052
其中，u,v是点P在像素坐标系中的坐标值，Xc,Yc,Zc是点P在相机坐标系中的坐标值；Xw为图像中各像素点在世界坐标系的X轴坐标值；Yw为图像中各像素点在世界坐标系的Y轴坐标值；Zw为图像中各像素点在世界坐标系的Z轴坐标值；α，β，γ是深度传感器的姿态角，分别表示深度传感器的X、Y、Z轴绕世界坐标系的X、Y、Z轴的旋转角；Xc为图像中各像素点在深度传感器坐标系的X轴坐标值；Yc为图像中各像素点在深度传感器坐标系的Y轴坐标值；Zc为图像中各像素点在深度传感器坐标系的Z轴坐标值；M3×4是相机的内参矩阵。
在本发明实施例中，Zw组成的图像即为世界坐标系下的深度图像。
然后，对世界坐标系下的深度图像进行处理，并计算行均值得到行均值图。在本发明实施例中，为了提高计算效率，可以对世界坐标系下的深度图像进行预处理，在一个具体的实现过程中，预处理可以包括平滑、滤波、去噪等处理，然后根据地面在深度图像中同一行具有相似的深度值的特性，计算深度图像中每一行像素的像素平均值，并以行数-行均值建立行均值图IrowsMean。
接着，对行均值图进行处理，确定疑似地面区域。具体的，由于路面具有一定的特质，因此，通常在世界坐标系中的Zw中从下往上代表的是由近及远的路面，具有单调递增的特性,因此可以先去除行均值图IrowsMean中从下往上非单调递增的行均值，然后对剩下的行均值进行孤点滤除，微小断裂带连接操作，得到预处理结果。在得到预处理结果后，根据预处理结果筛选深度图像中的疑似地面区域，具体地，可以将预处理后的该深度图像中、行均值列向量中值为0的行置0；并将该深度图中各像素点的深度值与该行均值列向量相应值的差，大于等于预先设定的路面起伏容忍度的位置的值置0；将该深度图中不为0的位置确定为疑似路面区域。
最后，根据预设的主平面位置阈值对疑似地面区域进行判断，确定深度图像中包含的路面区域。具体的，可以预先设定选取策略，例如，选取面积最大，且选定区域最下方距离深度图Zw最下方不超过εrows行的区域。具体地，可以设置
Figure BDA0001581601190000061
其中εrows为设定的主平面位置阈值，
Figure BDA0001581601190000062
为深度图像Zw的高。
103、确定路面区域中的疑似坑洼区域。
在本发明实施例中，确定路面区域中的疑似坑洼区域的过程可以采用如下方式：
首先，计算路面区域的行均值。由于，路面区域也会存在一定的误差因素，因此，可以预先对路面区域进行预处理，在一个具体的实现过程中，预处理可以包括平滑、滤波、去噪等处理。接着，计算经过处理后的路面区域的行均值，具体的计算方式，可以参考前述内容中的说明。
然后，建立带阻滤波器。在本发明实施例中，带阻滤波器的公式如下：
Figure BDA0001581601190000071
其中，ZwGnd(i，j)为路面区域对应的深度图像在坐标(i，j)处的深度值；IrowsMeanGnd(i)为路面区域对应的深度图像在第i行的均值；δ为设定的路面坑洼容忍度。
需要说明的是，在实际应用中，δ值的设定与使用的深度传感器和实际路况有关，取值过小则误检较多，取值过大则漏检较多，均不利于后续处理，因此，结合大量的实验数据和经验值，δ通常取值范围在[5,30]之间。
最后，使用带阻滤波器对行均值进行滤波处理，得到疑似坑洼区域，如图4所示，图4为本发明实施例提供的信息处理方法的第二场景示意图。使用上述公式对行均值进行滤波处理后，得到的ZwGnd(i，j)集合即为疑似坑洼区域。
104、根据坑洼阈值对疑似坑洼区域进行判断，确定深度图像中是否包含坑洼区域。
在本发明实施例中，首先，对疑似坑洼区域进行预处理。具体地址，对疑似坑洼区域进行二值化、形态学处理等预处理操作，去除毛刺及孤岛等噪声对后续提取坑洼边缘时的影响。
然后，提取疑似坑洼区域的轮廓Cpothole，并将轮廓作为候选坑洼区域。
接着，计算候选坑洼区域的面积。在本发明实施例中，候选坑洼区域的面积设为Spothole。在实际应用中，除了常规的计算方法，还可以利用候选坑洼区域最右最左对应的Xw值:XwR，XwL，以及最上最下对应的Zw值:ZwT，ZwB；XwR，XwL，ZwT，ZwB构成的矩形框面积代替。
最后，当候选坑洼区域的面积大于面积阈值时，确定深度图像中包含坑洼区域。在本发明实施例中，面积阈值设为ε，则当Spothole＞ε，则确定候选坑洼区域为坑洼区域，则深度传感器当前获取的深度图像中包含坑洼区域。
需要说明的是，在实际应用中，ε值的设定与使用的深度传感器和实际路况有关，取值过小则误检较多，取值过大则漏检较多，因此，结合大量的实验数据和经验值，通常取值范围在[100,400]之间。
本发明实施例提供的信息处理方法，通过对获取的深度图像进行处理，首先根据深度图像的行均值来确定深度图像中的路面区域，然后确定路面区域中的疑似坑洼区域，最后，利用坑洼阈值对疑似坑洼区域进行判断，确定深度图像中是否包含有坑洼区域，通过本发明实施例提供的技术方案，能够有效的判断路面是否存在坑洼，检测效率高，计算速度快，解决了现有技术中对于坑洼或者低于水平线的物体检测的准确度较低的问题。
在前述内容的基础上，为了减少缓存压力，提高计算速度，对于获取到的深度图像，当根据坑洼阈值对疑似坑洼区域进行判断时，对于不存在坑洼区域的深度图像还可以进行如下操作，具体的，图5为本发明实施例提供的信息处理方法实施例的另一流程图，如图5所示，本实施例的信息处理方法，还可以包括如下步骤：
105、当候选坑洼区域的面积小于或者等于面积阈值时，删除候选坑洼区域。
在本发明实施例中，候选坑洼区域的面积设为Spothole，面积阈值设为ε，则当Spothole≤ε，则确定候选坑洼区域为非坑洼区域，则删除候选坑洼区域。
前述内容中，介绍了如何对坑洼区域进行判断，当本发明实施例中的方案应用在实际产品中时，还可以具有提示用户的效果，具体的，图6为本发明实施例提供的信息处理方法实施例的另一流程图，如图6所示，本实施例的信息处理方法，还可以包括如下步骤：
106、当确定深度图像中包含坑洼区域时，输出提示信息。
在本发明实施例中，当确定了获取的深度图像中具有坑洼区域时，在产品的检测模块会反馈参数给相应的提示模块，使得提示模块输出提示信息，在一个具体的实现过程中，提示信息可以包括语音信息、震动信息、文字信息、声音信息、灯光信息等。
为了实现前述内容的方法流程，本发明实施例还提供一种信息处理装置，图7为本发明实施例提供的信息处理装置实施例的结构示意图，如图7所示，本实施例的装置可以包括：获取单元11、处理单元12、确定单元13和判断单元14。
获取单元11，用于获取深度图像。
处理单元12，用于对深度图像进行处理得到行均值图，根据行均值图确定深度图像中的路面区域。
确定单元13，用于确定路面区域中的疑似坑洼区域。
判断单元14，用于根据坑洼阈值对疑似坑洼区域进行判断，确定深度图像中是否包含坑洼区域。
在一个具体的实现过程中，深度图像为相机坐标系下的图像。
处理单元12，具体用于：
对深度图像进行坐标转换，将相机坐标系转换为世界坐标系；
对世界坐标系下的深度图像进行处理，并计算行均值得到行均值图；
对行均值图进行处理，确定疑似地面区域；
根据预设的主平面位置阈值对疑似地面区域进行判断，确定深度图像中包含的路面区域。
在一个具体的实现过程中，确定单元13，具体用于：
计算路面区域的行均值；
建立带阻滤波器；
使用带阻滤波器对行均值进行滤波处理，得到疑似坑洼区域。
在一个具体的实现过程中，判断单元14，具体用于：
对疑似坑洼区域进行预处理；
提取疑似坑洼区域的轮廓，并将轮廓作为候选坑洼区域；
计算候选坑洼区域的面积；
当候选坑洼区域的面积大于面积阈值时，确定深度图像中包含坑洼区域。
本发明实施例提供的信息处理装置，可以用于执行图1示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在前述内容的基础上，本发明实施例还提供一种信息处理装置，图8为本发明实施例提供的信息处理装置实施例的另一结构示意图，如图8所示，本实施例的装置，还可以包括：删除单元15。
删除单元15，用于当候选坑洼区域的面积小于或者等于面积阈值时，删除候选坑洼区域。
本发明实施例提供的信息处理装置，可以用于执行图5示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
在前述内容的基础上，本发明实施例还提供一种信息处理装置，图9为本发明实施例提供的信息处理装置实施例的另一结构示意图，如图9所示，本实施例的装置，还可以包括：输出单元16。
输出单元，用于当确定深度图像中包含坑洼区域时，输出提示信息。
本发明实施例提供的信息处理装置，可以用于执行图6示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
为了实现前述内容的方法流程，本发明实施例还提供一种云处理设备，图10为本发明实施例提供的云处理设备实施例的结构示意图，如图10所示，本发明实施例提供的云处理设备包括处理器21以及存储器22；存储器22用于存储指令，指令被处理器21执行时，使得设备执行如前述内容中任一种方法。
本发明实施例提供的云处理设备，可以用于执行图1～图6所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
为了实现前述内容的方法流程，本发明实施例还提供一种计算机程序产品，可直接加载到计算机的内部存储器中，并含有软件代码，计算机程序经由计算机载入并执行后能够实现如前述内容中任一种方法。
本发明实施例提供的云处理设备，可以用于执行图1～图6所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (10)

1.一种信息处理方法，其特征在于，包括：
获取深度图像；
对所述深度图像进行处理得到行均值图，根据所述行均值图确定所述深度图像中的路面区域；
确定所述路面区域中的疑似坑洼区域；
根据坑洼阈值对所述疑似坑洼区域进行判断，确定所述深度图像中是否包含坑洼区域；
所述确定所述路面区域中的疑似坑洼区域，包括：
计算所述路面区域的行均值；
建立带阻滤波器；
使用所述带阻滤波器对所述行均值进行滤波处理，得到所述疑似坑洼区域；
其中，所述深度图像为相机坐标系下的图像，所述对所述深度图像进行处理得到行均值图，根据所述行均值图确定所述深度图像中的路面区域，包括：
对所述深度图像进行坐标转换，将相机坐标系转换为世界坐标系；
对世界坐标系下的所述深度图像进行处理，并计算行均值得到行均值图；
对所述行均值图进行处理，确定疑似地面区域；
根据预设的主平面位置阈值对所述疑似地面区域进行判断，确定所述深度图像中包含的路面区域；
对所述行均值图进行处理，确定疑似地面区域，具体包括：
去除所述行均值图中从下往上非单调递增的行均值，然后对剩下的行均值进行孤点滤除，微小断裂带连接操作，得到预处理结果；将预处理后的该深度图像中、行均值列向量中值为0的行置0；并将该深度图中各像素点的深度值与该行均值列向量相应值的差，大于等于预先设定的路面起伏容忍度的位置的值置0；将该深度图中不为0的位置确定为疑似路面区域。
2.根据权利要求1所述的方法，其特征在于，所述根据坑洼阈值对所述疑似坑洼区域进行判断，确定所述深度图像中是否包含坑洼区域，包括：
对所述疑似坑洼区域进行预处理；
提取所述疑似坑洼区域的轮廓，并将所述轮廓作为候选坑洼区域；
计算所述候选坑洼区域的面积；
当所述候选坑洼区域的面积大于面积阈值时，确定所述深度图像中包含坑洼区域。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
当所述候选坑洼区域的面积小于或者等于面积阈值时，删除所述候选坑洼区域。
4.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
当确定所述深度图像中包含坑洼区域时，输出提示信息。
5.一种信息处理装置，其特征在于，包括：
获取单元，用于获取深度图像；
处理单元，用于对所述深度图像进行处理得到行均值图，根据所述行均值图确定所述深度图像中的路面区域；
确定单元，用于确定所述路面区域中的疑似坑洼区域；
判断单元，用于根据坑洼阈值对所述疑似坑洼区域进行判断，确定所述深度图像中是否包含坑洼区域；
所述确定单元，具体用于：
计算所述路面区域的行均值；
建立带阻滤波器；
使用所述带阻滤波器对所述行均值进行滤波处理，得到所述疑似坑洼区域；
所述深度图像为相机坐标系下的图像；
所述处理单元，具体用于：
对所述深度图像进行坐标转换，将相机坐标系转换为世界坐标系；
对世界坐标系下的所述深度图像进行处理，并计算行均值得到行均值图；
对所述行均值图进行处理，确定疑似地面区域；
根据预设的主平面位置阈值对所述疑似地面区域进行判断，确定所述深度图像中包含的路面区域；
对所述行均值图进行处理，确定疑似地面区域，具体包括：
去除所述行均值图中从下往上非单调递增的行均值，然后对剩下的行均值进行孤点滤除，微小断裂带连接操作，得到预处理结果；将预处理后的该深度图像中、行均值列向量中值为0的行置0；并将该深度图中各像素点的深度值与该行均值列向量相应值的差，大于等于预先设定的路面起伏容忍度的位置的值置0；将该深度图中不为0的位置确定为疑似路面区域。
6.根据权利要求5所述的装置，其特征在于，所述判断单元，具体用于：
对所述疑似坑洼区域进行预处理；
提取所述疑似坑洼区域的轮廓，并将所述轮廓作为候选坑洼区域；
计算所述候选坑洼区域的面积；
当所述候选坑洼区域的面积大于面积阈值时，确定所述深度图像中包含坑洼区域。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括：
删除单元，用于当所述候选坑洼区域的面积小于或者等于面积阈值时，删除所述候选坑洼区域。
8.根据权利要求5或6所述的装置，其特征在于，所述装置还包括：
输出单元，用于当确定所述深度图像中包含坑洼区域时，输出提示信息。
9.一种云处理设备，其特征在于，所述设备包括处理器以及存储器；所述存储器用于存储指令，所述指令被所述处理器执行时，使得所述设备执行如权利要求1～4中任一种所述的方法。
10.一种计算机程序产品，其特征在于，可直接加载到计算机的内部存储器中，并含有软件代码，所述计算机程序经由计算机载入并执行后能够实现如权利要求1～4中任一种所述的方法。
CN201880000099.1A 2018-01-10 2018-01-10 信息处理方法、装置、云处理设备以及计算机程序产品 Active CN108235774B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2018/072132 WO2019136641A1 (zh) 2018-01-10 2018-01-10 信息处理方法、装置、云处理设备以及计算机程序产品

Publications (2)

Publication Number Publication Date
CN108235774A CN108235774A (zh) 2018-06-29
CN108235774B true CN108235774B (zh) 2020-07-14

Family

ID=62657689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880000099.1A Active CN108235774B (zh) 2018-01-10 2018-01-10 信息处理方法、装置、云处理设备以及计算机程序产品

Country Status (5)

Country Link
US (1) US11379963B2 (zh)
EP (1) EP3605460A4 (zh)
JP (1) JP6955783B2 (zh)
CN (1) CN108235774B (zh)
WO (1) WO2019136641A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108885791B (zh) * 2018-07-06 2022-04-08 达闼机器人有限公司 地面检测方法、相关装置及计算机可读存储介质
WO2020006764A1 (zh) * 2018-07-06 2020-01-09 深圳前海达闼云端智能科技有限公司 通路检测方法、相关装置及计算机可读存储介质
CN110852312B (zh) * 2020-01-14 2020-07-17 深圳飞科机器人有限公司 悬崖检测方法、移动机器人的控制方法及移动机器人
CN111274939B (zh) * 2020-01-19 2023-07-14 交信北斗科技有限公司 基于单目摄像头的道路路面坑洼破损自动提取方法
CN112070700B (zh) * 2020-09-07 2024-03-29 深圳市凌云视迅科技有限责任公司 一种去除深度图像中突起干扰噪声的方法与装置
CN112435297B (zh) * 2020-12-02 2023-04-18 达闼机器人股份有限公司 目标物体位姿确定方法、装置、存储介质及电子设备
CN115393813B (zh) * 2022-08-18 2023-05-02 中国人民公安大学 基于遥感图像的道路识别方法、装置、设备及存储介质
CN115760805B (zh) * 2022-11-24 2024-02-09 中山大学 一种基于视触觉进行加工元件表面凹陷的定位方法
CN116820125B (zh) * 2023-06-07 2023-12-22 哈尔滨市大地勘察测绘有限公司 一种基于图像处理的无人播种机控制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200453A (zh) * 2014-09-15 2014-12-10 西安电子科技大学 基于图像分割和可信度的视差图像校正方法
CN104463145A (zh) * 2014-12-23 2015-03-25 上海斐讯数据通信技术有限公司 一种电子设备及障碍提醒方法
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN206460410U (zh) * 2017-02-04 2017-09-01 上海肇观电子科技有限公司 带增强现实的智能设备
CN107341789A (zh) * 2016-11-23 2017-11-10 杭州视氪科技有限公司 一种基于rgb‑d相机和立体声的视障人士通路预知系统和方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9264673B2 (en) * 2011-11-20 2016-02-16 Magna Electronics, Inc. Vehicle vision system with enhanced functionality
JP2014106897A (ja) 2012-11-29 2014-06-09 Toyota Motor Corp 通行可否判定装置
JP6811534B2 (ja) 2016-02-04 2021-01-13 株式会社トプコン 道路性状の表示方法、及び道路性状の表示装置
CN106597690B (zh) * 2016-11-23 2019-02-12 杭州视氪科技有限公司 一种基于rgb-d相机和立体声的视障人士通路预知眼镜
US10140719B2 (en) * 2016-12-22 2018-11-27 TCL Research America Inc. System and method for enhancing target tracking via detector and tracker fusion for unmanned aerial vehicles
CN106843491A (zh) 2017-02-04 2017-06-13 上海肇观电子科技有限公司 带增强现实的智能设备及电子设备
US10788829B2 (en) * 2017-12-20 2020-09-29 International Business Machines Corporation Self-driving vehicle passenger management

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200453A (zh) * 2014-09-15 2014-12-10 西安电子科技大学 基于图像分割和可信度的视差图像校正方法
CN104463145A (zh) * 2014-12-23 2015-03-25 上海斐讯数据通信技术有限公司 一种电子设备及障碍提醒方法
CN104899869A (zh) * 2015-05-14 2015-09-09 浙江大学 基于rgb-d相机和姿态传感器的平面和障碍检测方法
CN107341789A (zh) * 2016-11-23 2017-11-10 杭州视氪科技有限公司 一种基于rgb‑d相机和立体声的视障人士通路预知系统和方法
CN206460410U (zh) * 2017-02-04 2017-09-01 上海肇观电子科技有限公司 带增强现实的智能设备

Also Published As

Publication number Publication date
US20200090323A1 (en) 2020-03-19
JP6955783B2 (ja) 2021-10-27
EP3605460A1 (en) 2020-02-05
WO2019136641A1 (zh) 2019-07-18
US11379963B2 (en) 2022-07-05
CN108235774A (zh) 2018-06-29
EP3605460A4 (en) 2020-06-17
JP2020518918A (ja) 2020-06-25

Similar Documents

Publication Publication Date Title
CN108235774B (zh) 信息处理方法、装置、云处理设备以及计算机程序产品
CN110070615B (zh) 一种基于多相机协同的全景视觉slam方法
CN110426051B (zh) 一种车道线绘制方法、装置及存储介质
CN108520536B (zh) 一种视差图的生成方法、装置及终端
CN110276317B (zh) 一种物体尺寸检测方法、物体尺寸检测装置及移动终端
CN108280401B (zh) 一种路面检测方法、装置、云端服务器及计算机程序产品
CN106127788B (zh) 一种视觉避障方法和装置
CN109308718B (zh) 一种基于多深度相机的空间人员定位装置及方法
CN107403451B (zh) 自适应二值特征单目视觉里程计方法及计算机、机器人
CN112419497A (zh) 基于单目视觉的特征法与直接法相融合的slam方法
CN113744315B (zh) 一种基于双目视觉的半直接视觉里程计
CN109035307B (zh) 基于自然光双目视觉的设定区域目标追踪方法及系统
CN111127556B (zh) 基于3d视觉的目标物体识别和位姿估算方法以及装置
CN113313116A (zh) 一种基于视觉的水下人工目标准确检测与定位方法
CN110599407B (zh) 基于向下倾角方向的多台tof相机人体降噪方法及系统
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
CN112364693B (zh) 基于双目视觉的障碍识别方法、装置、设备及存储介质
KR20160063039A (ko) 3차원 데이터를 이용한 도로 인식 방법
CN114359403A (zh) 一种基于非完整性蘑菇图像的三维空间视觉定位方法、系统及装置
CN114782529A (zh) 一种面向带电作业机器人的抓线点高精度定位方法、系统及存储介质
CN112365600A (zh) 一种三维物体检测方法
CN115729250A (zh) 一种无人机的飞行控制方法、装置、设备及存储介质
CN115564836B (zh) 幕墙机器人的单目坐标转换方法、装置及电子设备
JP2021064155A (ja) 障害物識別装置および障害物識別プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20210208

Address after: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Patentee after: Dalu Robot Co.,Ltd.

Address before: 518000 Room 201, building A, No. 1, Qian Wan Road, Qianhai Shenzhen Hong Kong cooperation zone, Shenzhen, Guangdong (Shenzhen Qianhai business secretary Co., Ltd.)

Patentee before: Shenzhen Qianhaida Yunyun Intelligent Technology Co.,Ltd.

TR01 Transfer of patent right
CP03 Change of name, title or address

Address after: 201111 Building 8, No. 207, Zhongqing Road, Minhang District, Shanghai

Patentee after: Dayu robot Co.,Ltd.

Address before: 201111 2nd floor, building 2, no.1508, Kunyang Road, Minhang District, Shanghai

Patentee before: Dalu Robot Co.,Ltd.

CP03 Change of name, title or address