CN109215044A - 图像处理方法和系统、存储介质和移动系统 - Google Patents

图像处理方法和系统、存储介质和移动系统 Download PDF

Info

Publication number
CN109215044A
CN109215044A CN201710554504.1A CN201710554504A CN109215044A CN 109215044 A CN109215044 A CN 109215044A CN 201710554504 A CN201710554504 A CN 201710554504A CN 109215044 A CN109215044 A CN 109215044A
Authority
CN
China
Prior art keywords
edge
camera
image
image processing
dimensional depth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710554504.1A
Other languages
English (en)
Other versions
CN109215044B (zh
Inventor
周莉
何璇
张凯亮
康锦刚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BOE Technology Group Co Ltd
Original Assignee
BOE Technology Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BOE Technology Group Co Ltd filed Critical BOE Technology Group Co Ltd
Priority to CN201710554504.1A priority Critical patent/CN109215044B/zh
Priority to PCT/CN2018/075057 priority patent/WO2019000947A1/zh
Priority to US16/085,652 priority patent/US10933931B2/en
Priority to EP18764983.5A priority patent/EP3648053B1/en
Publication of CN109215044A publication Critical patent/CN109215044A/zh
Application granted granted Critical
Publication of CN109215044B publication Critical patent/CN109215044B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J5/00—Manipulators mounted on wheels or on carriages
    • B25J5/007—Manipulators mounted on wheels or on carriages mounted on wheels
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D57/00—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track
    • B62D57/02—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members
    • B62D57/024—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members specially adapted for moving on inclined or vertical surfaces
    • E—FIXED CONSTRUCTIONS
    • E01—CONSTRUCTION OF ROADS, RAILWAYS, OR BRIDGES
    • E01D—CONSTRUCTION OF BRIDGES, ELEVATED ROADWAYS OR VIADUCTS; ASSEMBLY OF BRIDGES
    • E01D19/00—Structural or constructional details of bridges
    • E01D19/10—Railings; Protectors against smoke or gases, e.g. of locomotives; Maintenance travellers; Fastening of pipes or cables to bridges
    • E01D19/106—Movable inspection or maintenance platforms, e.g. travelling scaffolding or vehicles specially designed to provide access to the undersides of bridges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Transportation (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

一种图像处理方法和系统、存储介质和移动系统，该图像处理方法包括：获取包括目标物体的深度信息的二维深度矩阵Dp；计算Dp中的每一行元素的平均值以得到深度向量D＝[d1，d2，d3，...，di，...，dn]，其中，元素di为所述二维深度矩阵Dp的第i行元素的平均值；计算所述深度向量D中的相邻元素的差的绝对值以得到边缘确定向量ΔD＝[Δd1，Δd2，Δd3，...，Δdi，...，Δdn‑1]，其中，元素Δdi＝|di‑di+1|；计算所述边缘确定向量ΔD中相邻元素差值的绝对值的平均值d0＝(|Δd2‑Δd1|+|Δd3‑Δd2|+...+|Δdn‑1‑Δdn‑2|)/(n‑2)；以及将边缘确定向量ΔD中的相邻元素差值的绝对值|Δdi‑Δdi+1|与d0进行比较以识别所述目标物体的边缘，其中，在|Δdi‑Δdi+1|大于d0的情况下，确定二维深度矩阵Dp中的第i行元素对应所述目标物体的边缘。

Description

图像处理方法和系统、存储介质和移动系统
技术领域
本公开的实施例涉及一种图像处理方法、图像处理系统、存储介质、包括该图像处理系统的移动系统以及与该图像处理系统配合使用的移动系统。
背景技术
爬楼机(Climbing Robot)可以实现诸如帮助残疾人和老年人上下楼梯或者在楼梯上搬运重物等功能。
轮式爬楼机是一种常见的爬楼机。然而，常见的轮式爬楼机(例如，依靠单轮行动的爬楼机)移动的步长以及爬楼的高度都是固定的，无法根据楼梯的高度或者宽度的不同进行自动识别，因此需要人工辅助才能实现爬楼的功能以及在楼梯拐弯处拐弯的功能。
发明内容
本公开实施例提供一种图像处理方法、图像处理系统、存储介质、包括该图像处理系统的移动系统以及与该图像处理系统配合使用的移动系统，本公开实施例可以自动识别例如楼梯等台阶状结构。
本公开的至少一个实施例提供一种图像处理方法，其包括：获取包括目标物体的深度信息的二维深度矩阵Dp，其中，元素dij为所述二维深度矩阵Dp中的第i行和第j列元素，并且dij的数值为深度值；计算所述二维深度矩阵Dp中的每一行元素的平均值以得到深度向量D＝[d1，d2，d3，...，di，...，dn]，其中，元素di为所述二维深度矩阵Dp的第i行元素的平均值；计算所述深度向量D中的相邻元素的差的绝对值以得到边缘确定向量ΔD＝[Δd1，Δd2，Δd3，...，Δdi，...，Δdn-1]，其中，元素Δdi＝|di-di+1|；计算所述边缘确定向量ΔD中相邻元素差值的绝对值的平均值d0＝(|Δd2-Δd1|+|Δd3-Δd2|+...+|Δdn-1-Δdn-2|)/(n-2)；以及将边缘确定向量ΔD中的相邻元素差值的绝对值|Δdi-Δdi+1|与d0进行比较以识别所述目标物体的边缘，其中，在|Δdi-Δdi+1|大于d0的情况下，确定二维深度矩阵Dp中的第i行元素对应所述目标物体的边缘。
例如，在|Δdi-Δdi+1|大于d0的情况下，确定深度向量D中的di的数值为所述边缘到用于获取所述目标物体的深度信息的摄像机包括的左摄像头和右摄像头的光心连线的距离d。
例如，所述的图像处理方法还包括：根据所述摄像机拍摄用于获取所述二维深度矩阵Dp的左图像和右图像时相对于水平面的旋转角度θ、以及所述边缘到所述光心连线的所述距离d，确定所述边缘到所述光心连线的水平距离以及所述边缘到所述光心连线的垂直距离。
例如，所述的图像处理方法还包括：步骤A，摄像机以相对于水平面的不同旋转角度对所述目标物体进行拍摄，以获取多组左图像和右图像；步骤B，根据所述多组左图像和右图像获取多个二维深度矩阵；步骤C，确定每个二维深度矩阵对应的边缘数量；步骤D，确定分别对应0个边缘和1个边缘的二维深度矩阵分别对应的摄像机相对于水平面的旋转角度θ0和θ1；以及在θ0至θ1的角度范围内重复步骤A至步骤C，以确定摄像机相对于水平面的临界旋转角度θc，其中，所述临界旋转角度θc是指二维深度矩阵对应的边缘数量在0和1之间进行改变时作为改变临界点的边缘数量为1的二维深度矩阵对应的旋转角度。
例如，所述的图像处理方法还包括：根据所述临界旋转角度θc计算相邻边缘之间的水平距离和垂直距离。
例如，所述的图像处理方法还包括：在获取所述二维深度矩阵Dp之前，利用摄像机的左摄像头和右摄像头分别获取包括所述目标物体的左图像和右图像；将所述左图像和右图像中的至少一个与参考图像进行比较，以确定所述左图像和所述右图像中的所述至少一个中的目标物体是否包括直线形边缘。
例如，所述的图像处理方法还包括：在确定所述左图像和所述右图像中的所述至少一个中的目标物体包括直线形边缘之后，根据所述左图像和右图像获取多组对应像素点，其中，每组对应像素点包括对应于所述目标物体的同一物点的左图像中的左像素点和右图像中的右像素点；以及比较每组对应像素点的左像素点与右像素点的纵坐标的大小，以确定所述目标物体的直线形边缘与所述左摄像头和右摄像头的光心连线是否平行。
例如，在对应像素点的左像素点的纵坐标等于右像素点的纵坐标的情况下，确定所述直线形边缘与所述左摄像头和右摄像头的光心连线平行；在对应像素点的左像素点的纵坐标大于右像素点的纵坐标的情况下，确定所述左摄像头的光心到所述直线形边缘的距离大于所述右摄像头的光心到所述直线形边缘的距离；以及在对应像素点的左像素点的纵坐标小于右像素点的纵坐标的情况下，确定所述左摄像头的光心到所述直线形边缘的距离小于所述右摄像头的光心到所述直线形边缘的距离。
例如，所述的图像处理方法还包括：在所述直线形边缘与所述光心连线平行的情况下，利用所述左图像和所述右图像获取视差矩阵Dx，其中，所述视差矩阵Dx中每个元素的数值为所述每个元素对应的一组对应像素点的左像素点和右像素点的横坐标之差的绝对值；以及根据所述视差矩阵Dx、所述左摄像头和右摄像头的焦距f、以及所述左摄像头和所述右摄像头的光心之间的距离Dc，得到所述二维深度矩阵Dp。
本公开的至少一个实施例提供一种图像处理系统，其包括处理器以及存储器，用于存储可执行指令，所述指令被所述处理器加载并执行：获取包括目标物体的深度信息的二维深度矩阵Dp，其中，元素dij为所述二维深度矩阵Dp中的第i行和第j列元素，并且dij的数值为深度值；计算所述二维深度矩阵Dp中的每一行元素的平均值以得到深度向量D＝[d1，d2，d3，...，di，...，dn]，其中，元素di为所述二维深度矩阵Dp的第i行元素的平均值；计算所述深度向量D中的相邻元素的差的绝对值以得到边缘确定向量ΔD＝[Δd1，Δd2，Δd3，...，Δdi，...，Δdn-1]，其中，元素Δdi＝|di-di+1|；计算所述边缘确定向量ΔD中相邻元素差值的绝对值的平均值d0＝(|Δd2-Δd1|+|Δd3-Δd2|+...+|Δdn-1-Δdn-2|)/(n-2)；以及将边缘确定向量ΔD中的相邻元素差值的绝对值|Δdi-Δdi+1|与d0进行比较以识别所述目标物体的边缘，其中，在|Δdi-Δdi+1|大于d0的情况下，确定二维深度矩阵Dp中的第i行元素对应所述目标物体的边缘。
本公开的至少一个实施例提供一种存储介质，其中存储有指令，所述指令用于被处理器加载并执行：获取包括目标物体的深度信息的二维深度矩阵Dp，其中，元素dij为所述二维深度矩阵Dp中的第i行和第j列元素，并且dij的数值为深度值；计算所述二维深度矩阵Dp中的每一行元素的平均值以得到深度向量D＝[d1，d2，d3，...，di，...，dn]，其中，元素di为所述二维深度矩阵Dp的第i行元素的平均值；计算所述深度向量D中的相邻元素的差的绝对值以得到边缘确定向量ΔD＝[Δd1，Δd2，Δd3，...，Δdi，...，Δdn-1]，其中，元素Δdi＝|di-di+1|；计算所述边缘确定向量ΔD中相邻元素差值的绝对值的平均值d0＝(|Δd2-Δd1|+|Δd3-Δd2|+...+|Δdn-1-Δdn-2|)/(n-2)；以及将边缘确定向量ΔD中的相邻元素差值的绝对值|Δdi-Δdi+1|与d0进行比较以识别所述目标物体的边缘，其中，在|Δdi-Δdi+1|大于d0的情况下，确定二维深度矩阵Dp中的第i行元素对应所述目标物体的边缘。
本公开的至少一个实施例提供一种移动系统，其包括根据权利要求10所述的图像处理系统。
例如，所述的移动系统还包括摄像机和行动控制系统。所述摄像机包括左摄像头和右摄像头并且被配置为向所述图像处理系统输出图像信号。所述行动控制系统包括：主动移动装置，其被配置为可移动所述移动系统；被动移动装置，其与所述主动移动装置连接，并且被配置为可在所述主动移动装置的带动下移动；爬楼装置，其被配置为可带动所述移动系统实现爬楼功能；以及驱动控制装置，其被配置为可根据所述图像处理系统的处理结果控制所述主动移动装置和所述爬楼装置的动作。
例如，所述爬楼装置包括爬楼轮，所述爬楼轮包括多个杆状结构，所述多个杆状结构从所述爬楼轮的中心向外呈辐射状伸出。
例如，所述爬楼装置还包括可升降杆，所述可升降杆与所述爬楼轮连接。
例如，所述主动移动装置包括两个主动移动轮，所述两个主动移动轮的直径相等，并且所述两个主动移动轮的中心的连线与所述摄像机的左摄像头和右摄像头的光心的连线平行。
例如，所述驱动控制装置包括行进传动轴、爬楼传动轴、发动机和制动器，所述发动机被配置为通过所述行进传动轴驱动所述主动移动装置并且通过所述爬楼传动轴驱动所述爬楼装置，所述制动器被配置为控制所述主动移动装置和所述被动移动装置的制动。
例如，所述被动移动装置包括从动移动轮、半轴和差速器，所述差速器与所述行进传动轴连接，所述半轴将所述从动移动轮与所述差速器连接。
例如，所述行动控制系统还包括底盘，所述摄像机位于所述底盘的前端，所述主动移动装置、被动移动装置和爬楼装置位于所述底盘下方。
本公开的至少一个实施例提供一种用于与权利要求10所述的图像处理系统配合使用的移动系统，其包括摄像机以及行动控制系统。所述摄像机包括左摄像头和右摄像头，并且被配置为向所述图像处理系统输出图像信号。所述行动控制系统包括：主动移动装置，其被配置为可移动所述移动系统；被动移动装置，其与所述主动移动装置连接，并且被配置为可在所述主动移动装置的带动下移动；爬楼装置，其被配置为可带动所述移动系统实现爬楼功能，其中，所述爬楼装置包括爬楼轮，所述爬楼轮包括多个杆状结构，所述多个杆状结构从所述爬楼轮的中心向外呈辐射状伸出；以及驱动控制装置，其被配置为可根据所述图像处理系统的处理结果控制所述主动移动装置和所述爬楼装置的动作。
本公开实施例提供的图像处理方法及系统可以用于自动识别诸如楼梯等台阶状结构；本公开实施例中的移动系统通过摄像机和图像处理系统可以自动识别移动系统的前方环境并且自动获取前方环境中楼梯的台阶宽度和高度，通过行动控制系统可以实现自动调节行进步长、爬楼高度或拐弯角并且实现自动行进，从而可以实现在不同场景、不同阶梯宽度和不同阶梯高度的情况下使该移动系统智能地行进，而不需要人工辅助。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
图1为本公开实施例提供的图像处理方法的流程图；
图2为本公开实施例中摄像机的临界旋转角度、台阶的宽度以及台阶的高度之间的关系示意图；
图3为本公开实施例中的图像处理方法采用的三角测量原理的示意图；
图4为本公开实施例提供的图像处理方法的另一流程图；
图5为本公开实施例中的图像处理系统的结构示意图；
图6为本公开实施例中的移动系统的结构框图；
图7a为本公开实施例中的移动系统的另一结构框图；
图7b为本公开实施例中的移动系统的结构示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
本公开实施例提供一种图像处理方法、图像处理系统、存储介质、包括该图像处理系统的移动系统以及与该图像处理系统配合使用的移动系统。该图像处理方法或图像处理系统可以用于识别例如楼梯等包括台阶的物体。采用该图像处理方法或图像处理系统的移动系统也具有类似的自动识别功能并且还可以被配置为具有自动爬楼的功能。例如，该移动系统为爬楼机或爬楼机的腿部系统。
下面结合图1至图4对本公开实施例提供的图像处理方法进行详细说明。
本公开的至少一个实施例提供一种图像处理方法，该方法可以用于识别楼梯等台阶状结构的直线形边缘。例如，如图1所示，该方法至少包括以下步骤S01至步骤S05。
步骤S01：获取包括目标物体(例如楼梯)的深度信息的二维深度矩阵Dp＝[d11，d12，d13，...；d21，d22，d23，...；...；...；dn1，dn2，dn3，...]，其中，元素dij为二维深度矩阵Dp中的第i行和第j列元素，并且dij的数值为深度值，该深度值表示该元素对应的物点到摄像机的距离。
需要说明的是，元素的深度值是指该元素对应的物点到摄像机的距离，即该物点到摄像机的左摄像头和右摄像头的光心连线的距离。
步骤S02：计算二维深度矩阵Dp中的每一行元素的平均值以得到深度向量D＝[d1，d2，d3，...，di，...，dn]，其中，元素di为二维深度矩阵Dp的第i行元素的平均值，即di＝(di1+di2+di3+...+dim)/m。
步骤S03：计算深度向量D中的相邻元素的差的绝对值以得到边缘确定向量ΔD＝[Δd1，Δd2，Δd3，...，Δdi，...，Δdn-1]，其中，元素Δdi＝|di-di+1|。
步骤S04：计算边缘确定向量ΔD中相邻元素差值的绝对值的平均值d0＝(|Δd2-Δd1|+|Δd3-Δd2|+...+|Δdn-1-Δdn-2|)/(n-2)。
步骤S05：将边缘确定向量ΔD中的相邻元素差值的绝对值|Δdi-Δdi+1|与d0进行比较以识别目标物体的边缘，其中，在|Δdi-Δdi+1|大于d0的情况下，确定出二维深度矩阵Dp中的第i行元素对应所述目标物体的边缘。
本公开实施例提供的图像处理方法，利用了楼梯等台阶状结构的以下性质，以楼梯为例：(1)在摄像机的前面出现阶梯状楼梯并且楼梯的台阶边缘与摄像机的左、右摄像头的光心连线平行的情况下，同一台阶边缘的各物点到摄像机的深度值是一样的，因此，可以在步骤S02中采用对二维深度矩阵Dp的每一行元素取平均的方式获得深度向量D；(2)在台阶边缘附近，深度值发生突变，利用此性质，可以在步骤S05中通过比较Δdi与d0的大小来识别发生突变的位置，从而识别台阶边缘的位置。
例如，在步骤S05中，在Δdi大于d0的情况下，还可以确定出深度向量D中的di的数值为所述直线形边缘到用于获取目标物体的深度信息的摄像机的距离，即到摄像机包括的左摄像头和右摄像头的光心连线的距离d。
例如，如图1所示，本公开的至少一个实施例提供的图像处理方还包括步骤S06：在识别到目标物体的直线形边缘之后，根据摄像机拍摄用于获取二维深度矩阵Dp的左图像和右图像时相对于水平面的旋转角度θ、以及该边缘到摄像机左右摄像头光心连线的上述距离d，可以确定出该边缘到光心连线的水平距离d*cosθ以及该边缘到光心连线的垂直距离d*sinθ，根据该水平距离和该垂直距离可以确定移动系统的直线移动距离和升降距离。
例如，在对目标物体进行拍摄以获取左图像和右图像的同时可以记录摄像机相对于水平面的旋转角度θ，从而在识别到所述直线形边缘后可以很容易地获取拍摄时所记录的旋转角度θ。
例如，本发明的至少一个实施例提供的图像处理方法还可以包括：步骤A，摄像机以相对于水平面的不同旋转角度对目标物体进行拍摄，以获取多组左图像和右图像；步骤B，根据多组左图像和右图像获取多个二维深度矩阵；步骤C，确定每个二维深度矩阵对应的边缘数量；步骤D，确定分别对应0个边缘和1个边缘的二维深度矩阵分别对应的摄像机相对于水平面的旋转角度θ0和θ1；以及，在θ0至θ1的角度范围内重复步骤A至步骤C，以确定摄像机相对于水平面的临界旋转角度θc。临界旋转角度θc是指二维深度矩阵对应的边缘数量在0和1之间进行改变时作为改变临界点的边缘数量为1的二维深度矩阵对应的旋转角度。以摄像机位于楼梯下方为例，摄像机相对于水平面的旋转角度逐渐增大的过程中，根据对应于不同旋转角度的二维深度矩阵所得到的边缘数量从0逐渐增大，在边缘数量逐渐变化的过程中存在边缘数量刚好变为1这一临界点，该临界点对应的二维深度矩阵为临界二维深度矩阵，并且该临界点对应的旋转角度为临界旋转角度θc。
例如，可以在α/2至45°的初始角度范围内(α为摄像机的视场角)，以选定的步进角度(例如5°的角度变化量)调整摄像机的旋转角度(即摄像机与水平面之间的夹角)，以获取不同旋转角度下的二维深度矩阵，通过判断不同旋转角度对应的二维深度矩阵所对应的楼梯阶梯数，选择在阶梯数为1和0之间的角度范围；之后，在该角度范围内进一步以不同的旋转角度获取深度向量D，直到得到阶梯数刚好为1时的旋转角度，该旋转角度即为临界旋转角度θc。
根据临界旋转角度θc可以确定出台阶的宽度和高度。例如，本发明的至少一个实施例提供的图像处理方法还包括：如图2所示，临界旋转角度θc与相邻的台阶边缘所在平面相对于水平面的夹角相等(即摄像机处于临界旋转角度θc时其成像面与相邻台阶边缘所在平面平行)，因此，根据临界旋转角度θc计算相邻边缘之间的水平距离s(即台阶的宽度)和垂直距离h(即台阶的高度)，其中，s＝d*cosθc，h＝d*sinθc。在图2中，C表示摄像机的左摄像头和右摄像头的彼此重合的光心，折线表示楼梯的台阶，摄像机相对于水平面的旋转角度θc等于相邻的直线边缘Ed所在平面与水平面之间的夹角。
例如，本公开的至少一个实施例提供的图像处理方法还包括：在获取二维深度矩阵Dp之前，利用摄像机的左摄像头和右摄像头分别获取包括目标物体的左图像和右图像；将左图像和右图像中的至少一个与存储在图像库中的参考图像进行比较，以确定左图像和右图像中的至少一个中的目标物体是否包括直线形边缘。
例如，本公开的至少一个实施例提供的图像处理方法还包括：在确定左图像和右图像中的至少一个中的目标物体包括直线形边缘之后，根据左图像和右图像获取多组对应像素点(例如，至少三组对应像素点)，其中，每组对应像素点包括对应于目标物体的同一物点的左图像中的左像素点和右图像中的右像素点；之后，比较每组对应像素点的左像素点与右像素点的纵坐标的大小，以确定目标物体的直线形边缘与左摄像头和右摄像头的光心连线是否平行。
图3为本公开实施例中的图像处理方法采用的三角测量原理的示意图。例如，如图3所示，Cl表示左摄像头的光心；Cr表示右摄像头的光心；Dc表示左摄像头和右摄像头的光心之间的距离；f表示左摄像头和右摄像头的焦距(两个摄像头的焦距相等)；P表示直线形边缘上的物点；Pl和Pr为物点P在摄像机焦距平面上的成像点并且二者构成一组对应像素点，(xl，yl)和(xr，yr)分别为呈现点Pl和Pr在对应图像中的位置的坐标点；di表示物点P到左摄像头和右摄像头的光心连线ClCr的距离，di＝fDc/dx，dx＝|xl-xr|。
例如，在对应像素点的左像素点的纵坐标等于右像素点的纵坐标的情况下，即在yl＝yr的情况下，确定出直线形边缘与左摄像头和右摄像头的光心连线ClCr平行；在对应像素点的左像素点的纵坐标大于右像素点的纵坐标的情况下，即在yl＞yr的情况下，确定出左摄像头的光心Cl到直线形边缘的距离大于右摄像头的光心Cr到直线形边缘的距离；在对应像素点的左像素点的纵坐标小于右像素点的纵坐标的情况下，即在yl＜yr的情况下，确定出左摄像头的光心Cl到直线形边缘的距离小于右摄像头的光心Cr到直线形边缘的距离。
例如，本公开的至少一个实施例提供的图像处理方法还包括：在直线形边缘与光心连线ClCr平行的情况下，利用左图像和右图像获取视差矩阵Dx，其中，视差矩阵Dx中每个元素dx的数值为相应的一组对应像素点的左像素点和右像素点的横坐标之差的绝对值，也就是说，dx＝|xl-xr|；利用公式di＝fDc/dx，并且根据视差矩阵Dx、左摄像头和右摄像头的焦距f、以及左摄像头和右摄像头的光心之间的距离Dc，可以得到二维深度矩阵Dp。
例如，左摄像头拍摄的左图像可以用矩阵Rl表示，右摄像头获取的右图像可以用矩阵Rr表示，Rl＝[l11，l12，l13，...；l21，l22，l23，...；...；...ln1，ln2，ln3，...]，Rr＝[r11，r12，r13，...；r21，r22，r23，...；...；...rn1，rn2，rn3，...]，其中，Rl和Rr中各元素的数值为灰度值；在直线形边缘与左、右摄像头的光心连线平行的情况下，通过对Rl和Rr中的元素进行匹配，将对应于相同物点的像素点提取出来，并且根据公式dx＝|xl-xr|，可得到视差矩阵Dx。
下面以本公开实施例用于识别楼梯为例并且结合图4，对本公开实施例提供的图像处理方法进行说明。例如，该图像处理方法包括以下步骤S1至步骤S8。
步骤S1：利用摄像机获取包括目标物体的左图像和右图像，并且记录摄像机的旋转角度。
步骤S2：将左图像和右图像中的至少一个与存储在图像库里的参考图像进行比较。
步骤S3：根据比较结果，确定目标物体是否包括直线形边缘，以确定目标物体是否为楼梯。若比较结果为目标物体不包括直线形边缘但包括楼梯拐弯，则计算转向位移；若比较结果既不包括直线形边缘也不包括楼梯拐弯，则返回步骤S1，继续拍摄摄像机的前方环境。
若比较结果为目标物体包括直线形边缘，则进行步骤S41：判断直线形边缘与摄像机的左摄像头和右摄像头的光心连线是否平行。
若直线形边缘与光心连线不平行，则进行步骤S42，即调整摄像机的左摄像头和右摄像头到目标物体的距离以使直线形边缘与光心连线平行，之后进行步骤S1。
若直线形边缘与光心连线平行，则进行步骤S5：根据左图像和右图像获取包括目标物体的深度信息的二维深度矩阵。
步骤S6：根据以上步骤S01至步骤S05，确定利用二维深度矩阵可得到的直线形边缘的个数，即二维深度矩阵中有多少个元素满足如以上步骤S05所述的|Δdi-Δdi+1|大于d0这一边缘位置判定条件。
步骤S7：多次重复以上步骤，使摄像机以不同的旋转角度进行多次拍摄，直到确定出临界二维深度矩阵及临界旋转角度θc。该步骤可参见以上相关描述，重复之处不再赘述。
步骤S8：根据得到的临界二维深度矩阵确定台阶边缘到摄像机的距离d，并且根据d和临界旋转角度θc计算楼梯的每个台阶的宽度和高度。
本公开的至少一个实施例还提供一种图像处理系统，如图5所示，该图像处理系统包括：处理器；存储器，用于存储可执行指令，指令被处理器加载并执行以下步骤：获取包括目标物体的深度信息的二维深度矩阵Dp，其中，元素dij为二维深度矩阵Dp中的第i行和第j列元素，并且dij的数值为深度值；计算二维深度矩阵Dp中的每一行元素的平均值以得到深度向量D＝[d1，d2，d3，...，di，...，dn]，其中，元素di为二维深度矩阵Dp的第i行元素的平均值；计算深度向量D中的相邻元素的差的绝对值以得到边缘确定向量ΔD＝[Δd1，Δd2，Δd3，...，Δdi，...，Δdn-1]，其中，元素Δdi＝|di-di+1|；计算边缘确定向量ΔD中相邻元素差值的绝对值的平均值d0＝(|Δd2-Δd1|+|Δd3-Δd2|+...+|Δdn-1-Δdn-2|)/(n-2)；以及将边缘确定向量ΔD中的相邻元素差值的绝对值|Δdi-Δdi+1|与d0进行比较以识别目标物体的边缘，其中，在|Δdi-Δdi+1|大于d0的情况下，确定二维深度矩阵Dp中的第i行元素对应目标物体的边缘。
例如，存储器中的指令在被处理器运行后还可执行：确定直线形边缘到摄像机的距离di、确定临界二维深度矩阵Dp、确定临界旋转角度、确定直线形边缘到摄像机的水平距离和垂直距离、或者确定直线形边缘与摄像机是否平行，等等。这些步骤的实现方式可参照以上图像处理方法的实施例中的相关描述，重复之处不再赘述。
例如，该存储器可以是半导体存储器、磁表面存储器、激光存储器、随机存储器、只读存储器、串行访问存储器、非永久记忆的存储器、永久性记忆的存储器或者本领域熟知的任何其它形式的存储器。
例如，处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者任何常规的处理器等。
本公开的至少一个实施例还提供一种存储介质，其中存储有指令，该指令用于被处理器加载并执行：获取包括目标物体的深度信息的二维深度矩阵Dp，其中，元素dij为二维深度矩阵Dp中的第i行和第j列元素，并且dij的数值为深度值；计算二维深度矩阵Dp中的每一行元素的平均值以得到深度向量D＝[d1，d2，d3，...，di，...，dn]，其中，元素di为二维深度矩阵Dp的第i行元素的平均值；计算深度向量D中的相邻元素的差的绝对值以得到边缘确定向量ΔD＝[Δd1，Δd2，Δd3，...，Δdi，...，Δdn-1]，其中，元素Δdi＝|di-di+1|；计算边缘确定向量ΔD中相邻元素差值的绝对值的平均值d0＝(|Δd2-Δd1|+|Δd3-Δd2|+...+|Δdn-1-Δdn-2|)/(n-2)；以及将边缘确定向量ΔD中的相邻元素差值的绝对值|Δdi-Δdi+1|与d0进行比较以识别目标物体的边缘，其中，在|Δdi-Δdi+1|大于d0的情况下，确定二维深度矩阵Dp中的第i行元素对应目标物体的边缘。
例如，存储介质中的指令在被处理器运行后还可执行：确定直线形边缘到摄像机的距离di、确定临界二维深度矩阵Dp、确定临界旋转角度、确定直线形边缘到摄像机的水平距离和垂直距离、或者确定直线形边缘与摄像机是否平行，等等。这些步骤的实现方式可参照以上图像处理方法的实施例中的相关描述，重复之处不再赘述。
例如，该存储介质可以是半导体存储器、磁表面存储器、激光存储器、随机存储器、只读存储器、串行访问存储器、非永久记忆的存储器、永久性记忆的存储器或者本领域熟知的任何其它形式的存储介质。
例如，处理器可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者任何常规的处理器等。
下面以用于识别楼梯为例并结合图6、图7a和图7b，对本公开实施例提供的移动系统进行详细说明。
例如，如图6所示，本公开的至少一个实施例提供一种移动系统，其包括摄像机、以上任一实施例所述的图像处理系统和行动控制系统这三部分。
摄像机包括左摄像头和右摄像头，用于对前方环境(例如楼梯、或楼梯的拐弯、或其它前方环境)进行拍摄，以获取该前方环境的左图像和右图像。
图像处理系统用于对摄像机采集的图像进行处理，例如包括对摄像机拍摄的左图像和右图像进行初步识别和特征提取。
图像处理系统的图像初步识别功能包括：将采集的图像进行例如减少噪声等初步处理后进行存储，之后进行初步识别，例如，通过将采集的图像与参考图像进行比较以确定采集的图像中是否包括楼梯或楼梯的拐弯，由此实现初步识别。在一些实施例中，也可以将经过初步识别的图像存储到图像数据库中，用于图像训练，以进一步优化图像识别率。
图像处理系统的图像特征提取功能包括：(1)提取目标物体的直线形边缘到摄像机的水平距离，例如提取楼梯的深度特征，即楼梯的单个台阶的宽度，以确定移动系统的移动距离(即向前或向后移动的距离)；(2)提取目标物体的直线形边缘到摄像机的垂直距离，例如提取楼梯的高度特征，即楼梯的单个台阶的高度，以确定移动系统的高度距离(即向上或向下移动的距离)；(3)通过图像训练和机器学习的方式提取关于楼梯拐弯的前方环境特征，以确定移动系统的变向位移(即拐弯的位移)。
行动控制系统用于根据图像处理系统的处理结果(例如图像处理系统提取的特征)对移动系统进行移动控制。例如，行动控制系统用于：(1)根据移动距离控制移动系统的行动轮(例如包括主动移动轮和从动移动轮)向前或向后移动；(2)根据高度距离控制爬楼轮向上或向下移动；(3)根据变向位移控制行动轮转向移动(即拐弯)；(4)对行动轮进行制动。例如，在图像处理系统的处理结果为目标物体包括直线形边缘时(例如目标物体为楼梯时)，则行动控制系统控制该移动系统至少实现如(1)和(2)所述的功能；在图像处理系统的处理结果为目标物体为楼梯转弯时，则行动控制系统控制该移动系统至少实现如(3)所述的功能。
由图6可以看出，本公开实施例中的移动系统通过摄像机和图像处理系统可以自动识别移动系统的前方环境，并且自动获取前方环境中楼梯的台阶宽度和高度，通过行动控制系统可以实现自动调节行进步长、爬楼高度或拐弯角度并且实现自动行进，从而可以实现在不同场景、不同阶梯宽度和不同高度的情况下使该移动系统智能地行进，而不需要人工辅助。
例如，如图7a和图7b所示，本公开的至少一个实施例提供的移动系统MS包括摄像机C、图像处理系统P和行动控制系统MCS。摄像机C包括左摄像头LC和右摄像头RC，摄像机C与图像处理系统P连接并且被配置为向图像处理系统P输出图像信号。图像处理系统P根据摄像机C输出的图像信号可以识别前方环境，例如识别楼梯的深度信息(即楼梯的台阶宽度)、高度距离和变向位移。行动控制系统MCS包括：主动移动装置AMD，其被配置为可移动所述移动系统MS；被动移动装置PMD，其与主动移动装置AMD连接，并且被配置为可在主动移动装置AMD的带动下移动；爬楼装置CD，其被配置为可带动所述移动系统MS实现爬楼功能；以及驱动控制装置DCD，其与图像处理系统P连接，并且被配置为可根据图像处理系统P的处理结果控制主动移动装置AMD和爬楼装置CD的动作。驱动控制装置DCD可根据图像处理系统P的处理结果控制主动移动装置AMD实现自动调节行进步长、自动行进或者实现拐弯的功能，驱动控制装置DCD还可以根据图像处理系统P的处理结果控制爬楼装置CD实现爬楼的功能。
需要说明的是，本公开实施例中提及的移动系统的爬楼功能并仅针对楼梯，也可以针对任意的具有台阶状结构的物体。
例如，行动控制系统MCS还包括底盘BP，摄像机C位于底盘BP前方以在移动系统MS移动过程中对前方环境进行拍摄，主动移动装置AMD、被动移动装置PMD和爬楼装置CD都位于底盘BP下方以带动底盘实现前后移动、转向移动和爬楼功能。底盘BP上方可用于承载重物或残疾人或老年人等。
例如，驱动控制装置DCD包括行进传动轴MDS、爬楼传动轴CDS、发动机E和制动器BK1，发动机E被配置为通过行进传动轴MDS驱动主动移动装置AMD并且通过爬楼传动轴CDS驱动爬楼装置CD，发送机E被配置为根据图像处理系统P的处理结果控制主动移动装置AMD和爬楼装置CD，制动器BK1被配置为根据图像处理系统P的处理结果控制主动移动装置AMD和被动移动装置PMD的制动。
例如，行进传动轴MDS通过行进变速器MSC与发动机E连接，并且将发动机E的动力传递给主动移动装置AMD；例如，爬楼传动轴CDS与通过爬楼变速器CSC与发动机E连接，并且将发动机E的动力传递给爬楼装置CD。
例如，制动器BK1通过液压管道HP或者其他类型的传动系统与主动移动装置AMD和被动移动装置PMD连接。
例如，驱动控制装置DCD还可以包括另一制动器BK2，其与被动移动装置PMD连接。例如，制动器BK2为制动鼓或其它类型的制动器。
例如，摄像机C包括的左摄像头LC和右摄像头RC都为CCD(charge-coupleddevice)相机或其它类型相机。
例如，爬楼装置CD包括爬楼轮，爬楼轮包括多个杆状结构CWR，该多个杆状结构CWR从爬楼轮的中心向外呈辐射状伸出。在爬楼过程中，爬楼轮的杆状结构CWR作用在楼梯的台阶上，通过旋转爬楼轮使得该杆状结构相应地发生旋转，由此带动移动系统MS跨越台阶，实现爬楼。例如，爬楼轮包括三个杆状结构CWR，并且这三个杆状结构CWR将圆周等分。该杆状结构CWR可以为任意刚性材质的杆。
例如，爬楼装置CD包括左爬楼轮LCW和右爬楼轮RCW这两个爬楼轮CW，并且这两个爬楼轮的排列方向与左摄像头LC和右摄像头RC的排列方向相同。采用两个爬楼轮有利于使移动系统MS在爬楼过程中保持平稳。例如，左爬楼轮LCW和右爬楼轮RCW中的一个为主动爬楼轮且另一个为被动爬楼轮。主动爬楼轮在发动机E的控制下可向前翻转进行爬楼的动作。
例如，爬楼装置CD还包括可升高或降低的可升降杆，可升降杆连接底盘和爬楼轮，用于实现爬楼轮的升降，从而使移动系统适用于不同高度的台阶。例如，可升降杆与发动机E连接并且被配置为在发动机E的控制下升高或者降低。例如，爬楼装置CD包括与左爬楼轮LCW连接的左可升降杆LLF和与右爬楼轮RCW连接的右可升降杆RLF。
例如，主动移动装置AMD包括两个主动移动轮，参见左主动移动轮LAW和右主动移动轮RAW，用于实现移动系统在平面上前、后、左、右移动。这两个主动移动轮都设置于爬楼轮的后方，以避免使用过程中主动移动轮触碰楼梯，影响爬楼轮爬楼。例如，根据图像处理系统P的处理结果控制左、右主动移动轮的移动，可以实现转弯或直行。例如，在图像处理系统P的处理结果为对应像素点中左像素点和右像素点的纵坐标不相等时，即图3中的yl≠yr时，可以通过控制左、右主动移动轮实现转弯；若yl＞yr，则通过控制左主动移动LAW轮向前运动，可以使yl＝yr；若yl＜yr，则通过控制右主动移动轮RAW向前运动，可以使得yl＝yr。采用两个主动移动轮，便于对移动系统MS的前后移动和转向移动进行控制，并有利于使移动系统MS平稳地移动。
例如，主动移动装置AMD包括的两个主动移动轮的直径相等，并且这两个主动移动轮的中心的连线与摄像机的左摄像头LC和右摄像头RC的光心连线平行。在本公开实施例中，通过比较楼梯台阶边缘的同一物点在左摄像头获取的左图像中的左像素点以及在右摄像头获取的右图像中的右像素点的纵坐标是否相等，可以判断台阶边缘是否与左摄像头和右摄像头的光心连线平行；在二者不平行的情况下，通过将两个主动移动轮的直径设置为相等，便于通过移动左主动移动轮LAW或右主动移动轮RAW来使台阶边缘与光线连线保持平行。
例如，被动移动装置PMD包括位于主动移动轮的后方的从动移动轮、半轴HS和差速器DF，差速器DF与行进传动轴MDS连接，半轴HS将从动移动轮PW与差速器DF连接。差速器DF用于使主动移动轮和从动移动轮实现以不同转速转动。半轴HS用于实现在差速器DF与从动移动轮之间传递动力。例如，被动移动装置PMD包括沿左摄像头LC和右摄像头RC的排列方向排列的左从动移动轮LPW和右从动移动轮RPW，以便于移动系统MS保持平稳。
本公开的至少另一个实施例提供一种用于与图像处理系统P配合使用的移动系统，其与如图7a所示的移动系统MS类似，主要区别在于不包括图像处理系统P。该移动系统包括摄像机和行动控制系统，如图7a所示，摄像机包括左摄像头LC和右摄像头RC，并且被配置为用于向图像处理系统P输出图像信号。行动控制系统包括：主动移动装置，其被配置为可根据图像处理系统P的处理结果移动移动系统MS；被动移动装置，其与主动移动装置连接，并且被配置为可在主动移动装置的带动下移动；爬楼装置，其被配置为可带动移动系统MS实现爬楼功能，爬楼装置包括爬楼轮(例如包括左爬楼轮LCW和右爬楼轮RCW)，爬楼轮包括多个杆状结构CWR，该多个杆状结构CWR从爬楼轮的中心向外呈辐射状伸出；驱动控制装置，其被配置为可根据图像处理系统P的处理结果控制主动移动装置和爬楼装置的动作。
例如，驱动控制装置包括中央处理器CPU、行进传动轴MDS、爬楼传动轴CDS、发动机E和制动器BK1，发动机E被配置为通过行进传动轴MDS驱动主动移动装置并且通过爬楼传动轴CDS驱动爬楼装置，发送机E被配置为根据中央处理器CPU的指令控制主动移动装置和爬楼装置，制动器BK1被配置为根据中央处理器CPU的指令控制主动移动装置和被动移动装置的制动。例如，在该移动系统采用图像处理系统P时，中央处理器CPU与图像处理系统P可以集成在一起或者二者分别采用彼此连接的独立器件。
例如，爬楼装置包括两个爬楼轮CW，这两个爬楼轮CW的排列方向与左摄像头LC和右摄像头RC的排列方向相同。
例如，爬楼装置还包括可升降杆，可升降杆与爬楼轮连接。
以上图像处理系统P配合使用的移动系统中各部件的实施例方式可参照上述包括图像处理系统P的移动系统MS的实施例中的相关描述，重复之处不再赘述。
综上所述，本公开实施例提供的图像处理方法及系统可以用于自动识别诸如楼梯等台阶状结构；本公开实施例中的移动系统通过摄像机和图像处理系统可以自动识别移动系统的前方环境并且自动获取前方环境中楼梯的台阶宽度和高度，通过行动控制系统可以实现自动调节行进步长、爬楼高度或拐弯角并且实现自动行进，从而可以实现在不同场景、不同阶梯宽度和不同阶梯高度的情况下使该移动系统智能地行进，而不需要人工辅助。
以上所述仅是本公开的示范性实施方式，而非用于限制本公开的保护范围，本公开的保护范围由所附的权利要求确定。

Claims (20)

1.一种图像处理方法，包括：
获取包括目标物体的深度信息的二维深度矩阵Dp，其中，元素dij为所述二维深度矩阵Dp中的第i行和第j列元素，并且dij的数值为深度值；
计算所述二维深度矩阵Dp中的每一行元素的平均值以得到深度向量D＝[d1，d2，d3，...，di，...，dn]，其中，元素di为所述二维深度矩阵Dp的第i行元素的平均值；
计算所述深度向量D中的相邻元素的差的绝对值以得到边缘确定向量ΔD＝[Δd1，Δd2，Δd3，...，Δdi，...，Δdn-1]，其中，元素Δdi＝|di-di+1|；
计算所述边缘确定向量ΔD中相邻元素差值的绝对值的平均值d0＝(|Δd2-Δd1|+|Δd3-Δd2|+...+|Δdn-1-Δdn-2|)/(n-2)；以及
将边缘确定向量ΔD中的相邻元素差值的绝对值|Δdi-Δdi+1|与d0进行比较以识别所述目标物体的边缘，其中，在|Δdi-Δdi+1|大于d0的情况下，确定二维深度矩阵Dp中的第i行元素对应所述目标物体的边缘。
2.根据权利要求1所述的方法，其中，在|Δdi-Δdi+1|大于d0的情况下，确定深度向量D中的di的数值为所述边缘到用于获取所述目标物体的深度信息的摄像机包括的左摄像头和右摄像头的光心连线的距离d。
3.根据权利要求2所述的图像处理方法，还包括：
根据所述摄像机拍摄用于获取所述二维深度矩阵Dp的左图像和右图像时相对于水平面的旋转角度θ、以及所述边缘到所述光心连线的所述距离d，确定所述边缘到所述光心连线的水平距离以及所述边缘到所述光心连线的垂直距离。
4.根据权利要求1所述的图像处理方法，还包括：
步骤A，摄像机以相对于水平面的不同旋转角度对所述目标物体进行拍摄，以获取多组左图像和右图像；
步骤B，根据所述多组左图像和右图像获取多个二维深度矩阵；
步骤C，确定每个二维深度矩阵对应的边缘数量；
步骤D，确定分别对应0个边缘和1个边缘的二维深度矩阵分别对应的摄像机相对于水平面的旋转角度θ0和θ1；以及
在θ0至θ1的角度范围内重复步骤A至步骤C，以确定摄像机相对于水平面的临界旋转角度θc，其中，所述临界旋转角度θc是指二维深度矩阵对应的边缘数量在0和1之间进行改变时作为改变临界点的边缘数量为1的二维深度矩阵对应的旋转角度。
5.根据权利要求4所述的图像处理方法，还包括：
根据所述临界旋转角度θc计算相邻边缘之间的水平距离和垂直距离。
6.根据权利要求1所述的图像处理方法，还包括：
在获取所述二维深度矩阵Dp之前，利用摄像机的左摄像头和右摄像头分别获取包括所述目标物体的左图像和右图像；
将所述左图像和右图像中的至少一个与参考图像进行比较，以确定所述左图像和所述右图像中的所述至少一个中的目标物体是否包括直线形边缘。
7.根据权利要求6所述的图像处理方法，还包括：
在确定所述左图像和所述右图像中的所述至少一个中的目标物体包括直线形边缘之后，根据所述左图像和右图像获取多组对应像素点，其中，每组对应像素点包括对应于所述目标物体的同一物点的左图像中的左像素点和右图像中的右像素点；以及
比较每组对应像素点的左像素点与右像素点的纵坐标的大小，以确定所述目标物体的直线形边缘与所述左摄像头和右摄像头的光心连线是否平行。
8.根据权利要求7所述的图像处理方法，其中，
在对应像素点的左像素点的纵坐标等于右像素点的纵坐标的情况下，确定所述直线形边缘与所述左摄像头和右摄像头的光心连线平行；
在对应像素点的左像素点的纵坐标大于右像素点的纵坐标的情况下，确定所述左摄像头的光心到所述直线形边缘的距离大于所述右摄像头的光心到所述直线形边缘的距离；以及
在对应像素点的左像素点的纵坐标小于右像素点的纵坐标的情况下，确定所述左摄像头的光心到所述直线形边缘的距离小于所述右摄像头的光心到所述直线形边缘的距离。
9.根据权利要求7或8所述的图像处理方法，还包括：
在所述直线形边缘与所述光心连线平行的情况下，利用所述左图像和所述右图像获取视差矩阵Dx，其中，所述视差矩阵Dx中每个元素的数值为所述每个元素对应的一组对应像素点的左像素点和右像素点的横坐标之差的绝对值；以及
根据所述视差矩阵Dx、所述左摄像头和右摄像头的焦距f、以及所述左摄像头和所述右摄像头的光心之间的距离Dc，得到所述二维深度矩阵Dp。
10.一种图像处理系统，包括：
处理器；以及
存储器，用于存储可执行指令，所述指令被所述处理器加载并执行：
获取包括目标物体的深度信息的二维深度矩阵Dp，其中，元素dij为所述二维深度矩阵Dp中的第i行和第j列元素，并且dij的数值为深度值；
计算所述二维深度矩阵Dp中的每一行元素的平均值以得到深度向量D＝[d1，d2，d3，...，di，...，dn]，其中，元素di为所述二维深度矩阵Dp的第i行元素的平均值；
计算所述深度向量D中的相邻元素的差的绝对值以得到边缘确定向量ΔD＝[Δd1，Δd2，Δd3，...，Δdi，...，Δdn-1]，其中，元素Δdi＝|di-di+1|；
计算所述边缘确定向量ΔD中相邻元素差值的绝对值的平均值d0＝(|Δd2-Δd1|+|Δd3-Δd2|+...+|Δdn-1-Δdn-2|)/(n-2)；以及
将边缘确定向量ΔD中的相邻元素差值的绝对值|Δdi-Δdi+1|与d0进行比较以识别所述目标物体的边缘，其中，在|Δdi-Δdi+1|大于d0的情况下，确定二维深度矩阵Dp中的第i行元素对应所述目标物体的边缘。
11.一种存储介质，其中存储有指令，其中，所述指令用于被处理器加载并执行：
获取包括目标物体的深度信息的二维深度矩阵Dp，其中，元素dij为所述二维深度矩阵Dp中的第i行和第j列元素，并且dij的数值为深度值；
计算所述二维深度矩阵Dp中的每一行元素的平均值以得到深度向量D＝[d1，d2，d3，...，di，...，dn]，其中，元素di为所述二维深度矩阵Dp的第i行元素的平均值；
计算所述深度向量D中的相邻元素的差的绝对值以得到边缘确定向量ΔD＝[Δd1，Δd2，Δd3，...，Δdi，...，Δdn-1]，其中，元素Δdi＝|di-di+1|；
计算所述边缘确定向量ΔD中相邻元素差值的绝对值的平均值d0＝(|Δd2-Δd1|+|Δd3-Δd2|+...+|Δdn-1-Δdn-2|)/(n-2)；以及
将边缘确定向量ΔD中的相邻元素差值的绝对值|Δdi-Δdi+1|与d0进行比较以识别所述目标物体的边缘，其中，在|Δdi-Δdi+1|大于d0的情况下，确定二维深度矩阵Dp中的第i行元素对应所述目标物体的边缘。
12.一种移动系统，包括根据权利要求10所述的图像处理系统。
13.根据权利要求12所述的移动系统，还包括摄像机和行动控制系统，其中，
所述摄像机包括左摄像头和右摄像头并且被配置为向所述图像处理系统输出图像信号；
所述行动控制系统包括：
主动移动装置，其被配置为可移动所述移动系统；
被动移动装置，其与所述主动移动装置连接，并且被配置为可在所述主动移动装置的带动下移动；
爬楼装置，其被配置为可带动所述移动系统实现爬楼功能；以及
驱动控制装置，其被配置为可根据所述图像处理系统的处理结果控制所述主动移动装置和所述爬楼装置的动作。
14.根据权利要求13所述的移动系统，其中，所述爬楼装置包括爬楼轮，所述爬楼轮包括多个杆状结构，所述多个杆状结构从所述爬楼轮的中心向外呈辐射状伸出。
15.根据权利要求14所述的移动系统，其中，所述爬楼装置还包括可升降杆，所述可升降杆与所述爬楼轮连接。
16.根据权利要求13至15中任一项所述的移动系统，其中，所述主动移动装置包括两个主动移动轮，所述两个主动移动轮的直径相等，并且所述两个主动移动轮的中心的连线与所述摄像机的左摄像头和右摄像头的光心的连线平行。
17.根据权利要求13至15中任一项所述的移动系统，其中，所述驱动控制装置包括行进传动轴、爬楼传动轴、发动机和制动器，所述发动机被配置为通过所述行进传动轴驱动所述主动移动装置并且通过所述爬楼传动轴驱动所述爬楼装置，所述制动器被配置为控制所述主动移动装置和所述被动移动装置的制动。
18.根据权利要求17所述的移动系统，其中，所述被动移动装置包括从动移动轮、半轴和差速器，所述差速器与所述行进传动轴连接，所述半轴将所述从动移动轮与所述差速器连接。
19.根据权利要求13至15中任一项所述的移动系统，其中，所述行动控制系统还包括底盘，所述摄像机位于所述底盘的前端，所述主动移动装置、被动移动装置和爬楼装置位于所述底盘下方。
20.一种用于与权利要求10所述的图像处理系统配合使用的移动系统，包括：
摄像机，其包括左摄像头和右摄像头，并且被配置为向所述图像处理系统输出图像信号；以及
行动控制系统，其包括：
主动移动装置，其被配置为可移动所述移动系统；
被动移动装置，其与所述主动移动装置连接，并且被配置为可在所述主动移动装置的带动下移动；
爬楼装置，其被配置为可带动所述移动系统实现爬楼功能，其中，所述爬楼装置包括爬楼轮，所述爬楼轮包括多个杆状结构，所述多个杆状结构从所述爬楼轮的中心向外呈辐射状伸出；以及
驱动控制装置，其被配置为可根据所述图像处理系统的处理结果控制所述主动移动装置和所述爬楼装置的动作。
CN201710554504.1A 2017-06-30 2017-06-30 图像处理方法和系统、存储介质和移动系统 Active CN109215044B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201710554504.1A CN109215044B (zh) 2017-06-30 2017-06-30 图像处理方法和系统、存储介质和移动系统
PCT/CN2018/075057 WO2019000947A1 (zh) 2017-06-30 2018-02-02 图像处理方法和系统、存储介质和移动系统
US16/085,652 US10933931B2 (en) 2017-06-30 2018-02-02 Image processing method and system, storage medium and moving system
EP18764983.5A EP3648053B1 (en) 2017-06-30 2018-02-02 Image processing method and system, storage medium, and moving system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710554504.1A CN109215044B (zh) 2017-06-30 2017-06-30 图像处理方法和系统、存储介质和移动系统

Publications (2)

Publication Number Publication Date
CN109215044A true CN109215044A (zh) 2019-01-15
CN109215044B CN109215044B (zh) 2020-12-15

Family

ID=64740341

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710554504.1A Active CN109215044B (zh) 2017-06-30 2017-06-30 图像处理方法和系统、存储介质和移动系统

Country Status (4)

Country Link
US (1) US10933931B2 (zh)
EP (1) EP3648053B1 (zh)
CN (1) CN109215044B (zh)
WO (1) WO2019000947A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116660A (zh) * 2019-06-19 2020-12-22 京东方科技集团股份有限公司 视差图校正方法、装置、终端及计算机可读介质
CN113049016A (zh) * 2021-04-29 2021-06-29 宿州学院 一种土木工程的道路桥梁自走式勘测装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6996200B2 (ja) * 2017-09-29 2022-01-17 富士通株式会社 画像処理方法、画像処理装置、および画像処理プログラム
US11599128B2 (en) * 2020-04-22 2023-03-07 Boston Dynamics, Inc. Perception and fitting for a stair tracker
US11548151B2 (en) 2019-04-12 2023-01-10 Boston Dynamics, Inc. Robotically negotiating stairs
CN114241737B (zh) * 2021-11-30 2022-07-22 慧之安信息技术股份有限公司 一种基于深度学习的攀登铁塔监测方法和装置

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060245653A1 (en) * 2005-03-14 2006-11-02 Theodore Camus Method and apparatus for detecting edges of an object
CN102636152A (zh) * 2012-04-19 2012-08-15 刘瑜 可移动平台的主动视觉测距系统
US20130129224A1 (en) * 2011-11-21 2013-05-23 Microsoft Corporation Combined depth filtering and super resolution
CN103248906A (zh) * 2013-04-17 2013-08-14 清华大学深圳研究生院 一种双目立体视频序列的深度图获取方法与系统
CN103400392A (zh) * 2013-08-19 2013-11-20 山东鲁能智能技术有限公司 基于变电站巡检机器人的双目视觉导航系统及方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN104252706A (zh) * 2013-06-27 2014-12-31 株式会社理光 特定平面的检测方法和系统
CN104331884A (zh) * 2014-10-29 2015-02-04 上海大学 四触角履带机器人爬楼梯参数获取系统和方法
CN105354819A (zh) * 2015-09-29 2016-02-24 上海图漾信息科技有限公司 深度数据测量系统、深度数据确定方法和装置
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
CN106056107A (zh) * 2016-07-28 2016-10-26 福建农林大学 一种基于双目视觉避桩控制方法
CN106203390A (zh) * 2016-07-22 2016-12-07 杭州视氪科技有限公司 一种智能盲人辅助系统
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN106814734A (zh) * 2016-11-30 2017-06-09 北京贝虎机器人技术有限公司 使用计算设备控制自主移动式设备的方法及系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4241651B2 (ja) * 2005-03-16 2009-03-18 パナソニック電工株式会社 移動装置
US9082195B2 (en) * 2011-10-19 2015-07-14 Crown Equipment Corporation Generating a composite score for a possible pallet in an image scene
KR101820299B1 (ko) * 2011-11-23 2018-03-02 삼성전자주식회사 3차원 데이터 영상의 계단 인식 방법
JP6132659B2 (ja) * 2013-02-27 2017-05-24 シャープ株式会社 周囲環境認識装置、それを用いた自律移動システムおよび周囲環境認識方法
TWI517099B (zh) * 2013-11-15 2016-01-11 瑞昱半導體股份有限公司 影像連續邊緣偵測系統與其方法
CN106821692B (zh) * 2016-11-23 2019-02-12 杭州视氪科技有限公司 一种基于rgb-d相机和立体声的视障人士楼梯检测系统及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060245653A1 (en) * 2005-03-14 2006-11-02 Theodore Camus Method and apparatus for detecting edges of an object
US20130129224A1 (en) * 2011-11-21 2013-05-23 Microsoft Corporation Combined depth filtering and super resolution
CN102636152A (zh) * 2012-04-19 2012-08-15 刘瑜 可移动平台的主动视觉测距系统
CN103248906A (zh) * 2013-04-17 2013-08-14 清华大学深圳研究生院 一种双目立体视频序列的深度图获取方法与系统
CN104252706A (zh) * 2013-06-27 2014-12-31 株式会社理光 特定平面的检测方法和系统
CN103400392A (zh) * 2013-08-19 2013-11-20 山东鲁能智能技术有限公司 基于变电站巡检机器人的双目视觉导航系统及方法
CN103868460A (zh) * 2014-03-13 2014-06-18 桂林电子科技大学 基于视差优化算法的双目立体视觉自动测量方法
CN104331884A (zh) * 2014-10-29 2015-02-04 上海大学 四触角履带机器人爬楼梯参数获取系统和方法
CN105354819A (zh) * 2015-09-29 2016-02-24 上海图漾信息科技有限公司 深度数据测量系统、深度数据确定方法和装置
CN105740802A (zh) * 2016-01-28 2016-07-06 北京中科慧眼科技有限公司 基于视差图的障碍物检测方法和装置及汽车驾驶辅助系统
CN106228110A (zh) * 2016-07-07 2016-12-14 浙江零跑科技有限公司 一种基于车载双目相机的障碍物及可行驶区域检测方法
CN106203390A (zh) * 2016-07-22 2016-12-07 杭州视氪科技有限公司 一种智能盲人辅助系统
CN106056107A (zh) * 2016-07-28 2016-10-26 福建农林大学 一种基于双目视觉避桩控制方法
CN106814734A (zh) * 2016-11-30 2017-06-09 北京贝虎机器人技术有限公司 使用计算设备控制自主移动式设备的方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116660A (zh) * 2019-06-19 2020-12-22 京东方科技集团股份有限公司 视差图校正方法、装置、终端及计算机可读介质
WO2020253805A1 (zh) * 2019-06-19 2020-12-24 京东方科技集团股份有限公司 视差图校正的方法、装置、终端及非暂时性计算机可读存储介质
CN112116660B (zh) * 2019-06-19 2024-03-29 京东方科技集团股份有限公司 视差图校正方法、装置、终端及计算机可读介质
CN113049016A (zh) * 2021-04-29 2021-06-29 宿州学院 一种土木工程的道路桥梁自走式勘测装置

Also Published As

Publication number Publication date
EP3648053A4 (en) 2021-04-28
EP3648053A1 (en) 2020-05-06
WO2019000947A1 (zh) 2019-01-03
US10933931B2 (en) 2021-03-02
EP3648053B1 (en) 2023-10-11
CN109215044B (zh) 2020-12-15
US20190256159A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
CN109215044A (zh) 图像处理方法和系统、存储介质和移动系统
WO2021004312A1 (zh) 一种基于双目立体视觉系统的车辆智能测轨迹方法
CN110569704B (zh) 一种基于立体视觉的多策略自适应车道线检测方法
CN104318561B (zh) 基于双目立体视觉与光流融合的车辆运动信息检测方法
CN109151439B (zh) 一种基于视觉的自动追踪拍摄系统及方法
CN104469170B (zh) 双目摄像装置、图像处理方法及装置
CN104318206B (zh) 一种障碍物检测方法和装置
CN103745203A (zh) 基于视觉注意和均值漂移的目标检测与跟踪方法
CN104794737B (zh) 一种深度信息辅助粒子滤波跟踪方法
WO2010124497A1 (zh) 一种运动检测方法、装置和系统
CN108427961B (zh) 基于卷积神经网络的合成孔径聚焦成像深度评估方法
CN106960454A (zh) 景深避障方法、设备及无人飞行器
CN104036488A (zh) 一种基于双目视觉的人体姿态动作研究方法
CN108803591A (zh) 一种地图生成方法及机器人
CN108597009A (zh) 一种基于方向角信息进行三维目标检测的方法
CN108154536A (zh) 二维平面迭代的相机标定法
CN103903256B (zh) 一种基于相对高度深度线索的深度估计方法
CN110009675A (zh) 生成视差图的方法、装置、介质及设备
CN112750194A (zh) 一种无人驾驶汽车避障方法、装置
CN103617631B (zh) 一种基于中心检测的跟踪方法
CN103400393B (zh) 一种图像匹配方法和系统
CN116429082A (zh) 一种基于st-orb特征提取的视觉slam方法
CN106406526B (zh) 一种能够预判驾驶员转向意图的辅助车灯控制方法
CN107301371A (zh) 一种基于图像信息融合的非结构化道路检测方法及系统
CN114429435A (zh) 退化视觉环境下宽视场范围目标搜索装置、系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant