CN113506237A - 用于确定对象的边界的方法及对象检测方法 - Google Patents

用于确定对象的边界的方法及对象检测方法 Download PDF

Info

Publication number
CN113506237A
CN113506237A CN202110535742.4A CN202110535742A CN113506237A CN 113506237 A CN113506237 A CN 113506237A CN 202110535742 A CN202110535742 A CN 202110535742A CN 113506237 A CN113506237 A CN 113506237A
Authority
CN
China
Prior art keywords
boundary
determining
max
offset
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110535742.4A
Other languages
English (en)
Other versions
CN113506237B (zh
Inventor
宫原俊二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Haomo Zhixing Technology Co Ltd
Original Assignee
Haomo Zhixing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Haomo Zhixing Technology Co Ltd filed Critical Haomo Zhixing Technology Co Ltd
Priority to CN202110535742.4A priority Critical patent/CN113506237B/zh
Publication of CN113506237A publication Critical patent/CN113506237A/zh
Application granted granted Critical
Publication of CN113506237B publication Critical patent/CN113506237B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及自动驾驶技术及图像处理领域，提供一种用于确定对象的边界的方法、对象检测方法及对应介质。本发明所述的方法包括：获取包括所述对象的图像并对所述图像应用差分处理和/或阈值处理以获得边缘点；使用边缘点创建线段；从所述线段中选择边界；通过一对所述边界创建候选对象；如果所述候选对象的全部或特定多者的左侧或右侧的边界不清楚，则判断相应边界是模糊边界；以及选择所述模糊边界，将所选模糊边界沿一偏移方向平移一偏移量，并将所平移的边界中的一者确定为新边界，其中偏移方向和偏移量被配置为使得新边界对应于唯一的对象。本发明方案能够应用于具有模糊边界的对象的图像，以成功地检测出清晰的边界。

Description

用于确定对象的边界的方法及对象检测方法
技术领域
本发明涉及自动驾驶技术及图像处理领域，特别涉及一种用于确定对象的边界的方法及对象检测方法。
背景技术
目前，具有AD(Autonomous driving，自主驾驶)功能或ADAS(Advanced DriverAssistance System，高级驾驶辅助系统)的车辆已开始推向市场，极大地促进了智能交通的发展。现有技术中，支持AD/ADAS的传感器主要有雷达、视觉相机系统、激光雷达、超声波传感器等，其中视觉相机系统因能够获得与人类视觉一样的二维图像信息而应用最为广泛，其典型应用包括车道检测、对象检测、车辆检测、行人检测、骑车人检测等等。进一步地，视觉相机系统又包括基于单目摄像头的视觉相机系统和基于立体摄像头的视觉相机系统，其中单目摄像头因具有结构简单、成本低、安装方便、计算量小等优点而在实际市场中得到越来越多的应用。
但是，通过单目摄像头进行对象(object)检测时存在若干缺陷，其中之一是捕获的图像往往不具有清晰的边界，例如边界图像因受到阴影、光照环境、对象颜色、背景等的影响而呈现为不清晰。这一缺陷会明显影响单目摄像头在自动驾驶中的检测精度，进而可能影响驾驶安全，因此需要进行改进。
发明内容
有鉴于此，本发明旨在提出一种用于确定对象的边界的方法，以解决自动驾驶中检测的对象边界模糊的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种用于确定对象的边界的方法，包括：获取包括所述对象的图像并对所述图像应用差分处理和/或阈值处理以获得边缘点；使用所述边缘点创建线段；从所述线段中选择边界；通过一对所述边界创建候选对象；如果所述候选对象的全部或特定多者的左侧或右侧的边界不清楚，则判断相应边界是模糊边界；以及选择所述模糊边界，将所选模糊边界沿一偏移方向平移一偏移量，并将所平移的边界中的一者确定为新边界，其中所述偏移方向包括所述左侧或所述右侧的水平方向，且所述偏移方向和所述偏移量被配置为使得所述新边界对应于唯一的对象。
进一步的，所述候选对象的所述特定多者是相重叠的候选对象。
进一步的，所述获取包括所述对象的图像并对所述图像应用差分处理和 /或阈值处理以获得边缘点包括：通过单目摄像头捕获包括所述对象的原始图像；以及对所述原始图像进行处理以获取所述边缘点，其中差分处理和利用两个阈值的阈值化被实施以获取三进制边缘点，或者差分绝对值和单个阈值被用于获取二进制边缘点。
进一步的，判断相应边界是模糊边界包括：确定在所发现的候选对象左侧或右侧的内部区域和外围区域；以及分别计算在所述左侧或右侧边界处的所述内部区域和所述外围区域中的所述图像的有效像素比率为r_L1、r_L2、 r_R1以及r_R2，其中r_L1、r_L2、r_R1以及r_R2分别表示左侧外围区域 L1、左侧内部区域L2、右侧内部区域R1和右侧外围区域R2中的所述图像的有效像素比率；
如果r_L1和r_L2不满足以下左边界判断公式，则将左边界确定为所述模糊边界：
左边界判断公式：ratio<r_L2且ratio 1<r_L2–r_L1
如果r_R1和r_R2不满足以下右边界判断公式，则将右边界确定为模糊边界：
右边界判断公式：ratio<r_R1和ratio1<r_R1–r_R2
其中，ratio和ratio1分别是预设的第一参考比率和第二参考比率。
进一步的，所述用于确定对象的边界的方法还包括：在所述左边界是模糊边界的情况下，采用下式确定所述偏移方向，其中若下式成立，则所述偏移方向与所述图像的像素坐标的水平方向相一致，否则与所述水平方向相反：
r_L1<(r_max/p)
r_max＝max(r_L2,r_R1)
其中，r_max为最大的内部区域有效像素比，p为大于1的常数；
在所述右边界是模糊边界的情况下，参考所述左边界是模糊边界的情况进行处理。
进一步的，所述用于确定对象的边界的方法还包括：采用以下步骤确定所述偏移量：
沿所述偏移方向任意平移所述模糊边界以得到多条偏移线u；
计算每一条偏移线对应的有效像素比f(u)；
计算f(u)的移动平均值，并将该平均值确定为偏移线u的平均像素比 fave(u)：
将平均像素比fave(u)绘制在以所述图像的水平像素位置为横坐标、以有效像素比为纵坐标的曲线图中；
根据所述平均像素比fave(u)对应的曲线图分别确定关于fave(u)的最大比率v_max和最小比率v_min；
在ratio2＜(v_max-v_min)且v_min＜(r_max/q)＜v_max的情况下，采用下式计算有效像素低位置v_low和有效像素高位置v_high：
v_low＝(1-r)*v_min+r*v_max
v_high＝r*v_min+(1-r)*v_max
其中，r_max为最大的内部区域有效像素比，q为大于1的常数，r为小于1且大于0.5的常数；
采用下式计算有效像素比率的范围dv，并将其设置在有效像素低位置 v_low和有效像素高位置v_high之间：
dv＝dr(v_max-v_min)
其中，dr是用于确定dv的常数；
采用下式计算宽度dv对应的区域的平均像素比率：
u1＝average(u)且u要求满足|f(u)-v_low|<dv
u2＝average(u)且u要求满足|f(u)-v_high|<dv
其中average()为平均值计算函数；
若u1和u2存在，则采用下式计算待确定的所述偏移量u_shift：
u_shift＝{(1-r)*u1-r*u2}/(1-2r)。
进一步的，r为0.1至0.3之间的任意值。
进一步的，对于所述多个不同的偏移线，最大偏移量u_max被配置为是所述候选对象的所述特定多者的的宽度的三分之一。
相对于现有技术，本发明所述的用于确定对象的边界的方法具有以下优势：本发明方案能够应用于具有模糊边界的对象的图像，以成功地检测出清晰的、更为可靠的边界。
本发明的另一目的在于提出一种对象检测方法，以解决因边界模糊而易识别出多个对象的问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种对象检测方法，包括：采用上述的用于确定对象的边界的方法，确定待检测对象在图像中的边界；以及基于所确定的边界，检测所述对象。
相对于现有技术，本发明所述的对象检测方法具有以下优势：采用本发明方案，能够不受模糊边界影响而检测到唯一的、清晰的对象。
本发明的另一目的在于提出一种机器可读存储介质，以解决上述相关技术问题。
为达到上述目的，本发明的技术方案是这样实现的：
一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令使得机器执行上述任意的用于确定对象的边界的方法或对象检测方法。
本发明的其它特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施方式及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1(a)是通过车辆上的单目摄像头检测的关于对象的原始图像；图1 (b)是对图1(a)的原始图像进行差分处理而得到的差分图像；图1(c) 是对图1(b)的差分图像创建线段的示意图；图1(d)是利用图1(c)中正线段和负线段的组合来创建候选对象的示意图；
图2(a)是单目摄像头捕获的轮胎的原始图像；图2(b)是图2(a) 中的轮胎的放大图；图2(c)是该轮胎对应由正边缘点和负边缘点形成的三元图像；图2(d)是基于图2(c)的左边界不够清晰的轮胎三元图像进行轮胎检测的检测结果的示意图；图2(e)即是利用Otsu算法处理二进制图像得到的对象检测结果的示意图；
图3是本发明实施例所述的用于确定对象的边界的方法的流程示意图；
图4是示例中对侧边界进行区域划分的示意图；
图5是承接于图4的示例平移模糊边界的示意图；
图6是本发明优选的实施例中确定偏移量的流程示意图；
图7(a)是对图5的示例进行坐标转移后得到的所有偏移线的有效像素比率的曲线图；图7(b)则是在图7(a)的基础上，融合了平均像素比的曲线图；
图8(a)是示出了采用本发明实施例而确定的图2中的轮胎的新边界的示意图；图8(b)是示出了基于图8(a)的新边界进行对象检测的结果的示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施方式及实施方式中的特征可以相互组合。
下面将参考附图并结合实施方式来详细说明本发明。
为清楚地描述本发明实施例，在此先结合附图对自动驾驶中识别车辆周围对象的过程进行说明。其中，其中图1(a)是通过车辆上的单目摄像头检测的关于对象的原始图像；图1(b)是对图1(a)的原始图像进行差分处理和阈值处理而得到的差分图像，该差分图像可以是二进制图像或三元图像，且从该差分图像可以明确看到对象的边界；图1(c)是对图1(b)的差分图像创建线段的示意图，如图所示，其得到s1-s7的多条线段，且这些线段可利用像素阈值划分为正线段和负线段；图1(d)是利用图1(c)中正线段和负线段的组合来创建候选对象的示意图，如图所示，其得到o1、o2、o3 三个候选对象。进一步地，在通过图1(a)-图1(d)的图像处理过程之后，可能还需要修改对象的形状，并且通过模式分析来评估修改后的对象，以判断候选对象是否是真实对象，例如最终判断出o3是真实对象。需说明的是，图1(a)-图1(d)的图像处理过程在本领域是常规的，故在此不对相关细节进行赘述。
但是，在实际中，图1(b)和图1(c)中检测的边界可能是模糊的。这是因为，当边界逐渐变化时，图1(b)和图1(c)可能不能给出清晰的差分图像和线段。举例而言，图2(a)-图2(e)以轮胎为例示出了边界模糊导致对象检测不精确的问题。其中，图2(a)是单目摄像头捕获的轮胎的原始图像，其中方形框包括所捕获的轮胎；图2(b)是图2(a)中的轮胎的放大图，通过椭圆框圈出的部分可知，轮胎左边界因亮度呈现逐渐变化的状态而不够清晰；图2(c)是该轮胎对应由正边缘点和负边缘点形成的三元图像，其是通过对图2(a)的原始图像对应的差分图像进行阈值处理而得到的；图2(d)是基于图2(c)的左边界不够清晰的轮胎三元图像进行轮胎检测的检测结果的示意图，如图所示，该检测结果包括候选对象#1和候选对象#2(如方形框所示)，即针对单个轮胎检测出了两个轮胎，且从椭圆框中可以明显看出，轮胎左边界的亮度(intensity)呈逐渐变化。
上述的图2(d)是使用三元图像获取的对象检测结果，而在其他示例中，也可使用基于阈值的二进制图像来得到对象检测结果，例如通过直接施加单个阈值给原始图像以获得二进制的差分图像，再基于差分图像进行如上图1 (c)和图1(d)的处理以得到对象检测结果。其中，直接施加单个阈值给原始图像以获得差分图像的算法有很多，例如可采用Otsu算法(大津算法)。承接于图2(a)和图2(b)的原始图像，图2(e)是利用Otsu算法得到的结果的示意图。Otsu的二进制图像具有与图2(d)不同的信息。细节的(detail) 边界形状包括在Otsu二进制图像中，基于三元边缘，细节的边界形状在图2 (d)的线段中不存在。
由此，通过图2(a)-图2(e)，可知现有技术中单目摄像头进行对象检测至少存在以下缺点：
1)对象边界不够清晰，进而对应线段的可靠性低；
2)基于第1)点的缺点，使得针对单个对象检测可能会得到多个候选对象。
对此，本发明实施例提供了一种用于确定对象的边界的方法，以旨在获取对象的更为可靠的边界。
图3是本发明实施例所述的用于确定对象的边界的方法的流程示意图。如图3所示，所述方法可以包括以下步骤：
步骤S100，获取包括所述对象的图像并对所述图像应用差分处理和/或阈值处理以获得边缘点。
在优选的实施例中，所述步骤S100可以包括：通过单目摄像头捕获包括所述对象的原始图像；以及对所述原始图像进行处理以获取所述边缘点，其中差分处理和利用两个阈值的阈值化被实施以获取三进制边缘点，或者差分绝对值和单个阈值被用于获取二进制边缘点。举例而言，图1(a)为单目摄像头检测的对应的原始图像，图1(c)是对图1(a)的原始图像进行差分处理/阈值处理、线段处理等而得到基于边界的二进制图像或三元图像；图 2(a)是单目摄像头捕获的轮胎的原始图像，而图2(c)是对该轮胎的原始图像进行差分处理或阈值处理而获得二进制图像。二进制图像可根据三元图像创建。
需说明的是，下文关于本发明实施例的描述以图2(e)对应的轮胎的基于阈值的二进制图像为例。
步骤S200，使用所述边缘点创建线段。
步骤S300，从所述线段中选择边界。
步骤S400，通过一对所述边界创建候选对象。
步骤S500，如果所述候选对象的全部或特定多者左侧或右侧的边界不清楚，则判断相应边界是模糊边界。
其中，所述候选对象的所述特定多者例如是相重叠的候选对象，其也可被称为本申请所要发现的候选对象。
对此，可参考图1(a)-图2(e)所示出的方法进行理解。举例而言，参考图2(d)，对象#1和对象#2即是最终发现的相重叠的候选对象。
在优选的实施例中，该步骤S500可以包括以下的步骤S510-S540：
步骤S510，确定在所发现的候选对象左侧或右侧的内部区域和外围区域。
在示例中，针对发现的候选对象，选择可靠性较高的对象的边界来划分内部区域和外围区域。以图2(e)为例，易知候选对象#1和候选对象#2的左边界之间并非是简单的线，而是广泛分布有效像素点。在获得基于三元图像的候选对象检测结果后，可通过使用Otsu的二值图像对候选对象进行了重新评估，其中线段基于Hough，而对象估计基于线段。通过这两步操作，可以实现可靠对象估计，例如对于图2(d)和图2(e)，均应选择对象#1 为主要对象，这是因为对象#1具有比对象#2更高的可靠性。
进一步地，图4是对图2(e)中的对象的两侧边界进行区域划分的示意图。如图4所示，针对候选对象#1的左、右侧边界，可划分为四个区域，分别是左侧外围区域L1、左侧内部区域L2、右侧内部区域R1和右侧外围区域R2。
步骤S520，分别计算在所述左侧或右侧边界处的所述内部区域和所述外围区域中的所述图像的有效像素比率为r_L1、r_L2、r_R1以及r_R2。
其中，所述有效像素比率是指相应目标(区域或界线)上的有效像素相对于该目标的全部像素的比率，有效像素越高，相应目标越可靠。针对图4 所示出的四个区域L1、L2、R1、R2，它们分别对应的有效像素比率则记为 r_L1、r_L2、r_R1以及r_R2。其中，当对象比外围亮时，有效像素是Otsu 形式的正像素；当对象比外围暗时，相应有效像素乘以-1以变成正像素。
需说明的是，步骤S720中的图像主要是二进制图像。
步骤S530，如果r_L1和r_L2不满足以下左边界判断公式，则将左边界确定为所述模糊边界：
左边界判断公式：ratio<r_L2且ratio 1<r_L2–r_L1 (1)
步骤S540，如果r_R1和r_R2不满足以下右边界判断公式，则将右边界确定为模糊边界：
右边界判断公式：ratio<r_R1和ratio1<r_R1–r_R2 (2)
其中，ratio和ratio1分别是预设的第一参考比率和第二参考比率。易知，若式(1)和式(2)同时满足，则表明相应边界是正确边界；若式(1)和式(2)均不满足，则可考虑丢弃相关对象；若不满足式(1)和式(2)中的任意一者，则表明相应边界是模糊边界，需要继续进行处理。
举例而言，针对图4的示例，取r_L1、r_L2、r_R1和r_R2分别为0.88、 1、0.79和0，取ratio和ratio1分别为0.4和0.3，则将相应数值代入式(1) 和式(2)中，
左：(ratio＝0.4)＜(r_L2＝1.0)且(ratio1＝0.3)＞(r_L2-r_L1＝0.12)
右：(ratio＝0.4)＜(r_R1，0.79)且(ratio1＝0.3)＜(r_R1-r_R2＝0.79)
易知，左边界不满足上述的式(1)，进而确定左边界是模糊边界。
步骤S600，选择所述模糊边界，将所选模糊边界沿一偏移方向平移一偏移量，并将所平移的边界中的一者确定为新边界，其中所述偏移方向包括所述左侧或所述右侧的水平方向，且所述偏移方向和所述偏移量被配置为使得所述新边界对应于唯一的对象。
其中，所述偏移方向和所述偏移量被配置为使得所述新边界对应于唯一的对象，即是对所述对象应用基于所述新边界的对象检测方法能检测出唯一的对象。
即，在步骤S600中，本发明实施例通过平移模糊边界的方式来得到新边界，进而使得利用新边界进行对象检测时可检测出唯一的对象，从而避免了图2(d)中因模糊边界而出现两个候选对象的情形。
在所述步骤S600中的需要解决确定模糊边界的偏移方向和偏移量的问题，对此本发明实施例给出了相应的优选确定方法，但可以理解的是，本领域技术人员也可采用其他方法来进行确定，例如基于经验数据进行确定等，本发明实施例对此并不进行限制。
一、关于偏移方向
如上，所述偏移方向包括左侧水平偏移方向或右侧水平偏移方向。
在所述左边界是模糊边界的情况下，可通过下面的式(3)来确定所述偏移方向，其中若式(3)成立，则所述偏移方向与像素坐标的水平方向相一致，否则与所述水平方向相反：
r_L1<(r_max/p) (3)
其中，r_max＝max(r_L2，r_R1)，即r_max为最大的内部区域有效像素比，p为大于1的常数，且p优选为2。
针对所述右边界是模糊边界的情况下，参考所述左边界是模糊边界的情况进行处理。
举例而言，图5是承接于图4的示例中平移模糊边界的示意图。图中n 表示二进制图像中的水平像素位置，u表示沿n的水平偏移，该示例中u与 n的方向相反，但在其他示例中，u与n也可能方向相同。具体地，在图5 中，左边界为模糊边界，若用i_dir表示u相对于n的方向，则当i_dir＝1时，表示n和u同向，当i_dir＝-1，表示n和u方向相反。即，即式(3)中的 p＝2，则可通过下面的式(4)和式(5)来重新描述上面的式(3)：
如果r_L1＜r_max/2，则i_dir＝1，即n和u同向 (4)
如果r_L1>＝r_max/2，则i_dir＝-1，即n和u方向相反 (5)
其中，r_max＝max(r_L2，r_R1)。
对于图2、图4、图5对应的示例中存在左、右边界的情形，可通过程序来描述这一确定偏移方向的过程，这一程序的流程如下：
Figure 1
Figure 2
二、关于偏移量
图6是本发明优选的实施例中确定偏移量的流程示意图。如图6所示，确定偏移量的过程可以包括以下步骤：
步骤S601，沿所述偏移方向任意平移所述模糊边界以得到多条偏移线。
其中，各偏移线相对于所述模糊边界的位移被记为u，且为了更好地进行理解，u在本发明实施例中也同时表示相应的偏移线。可参考图5进行理解，其示出了向左平移左边界以得到多条偏移线。
在更为优选的实施例中，对于所述多个不同的u，其中最大的u记为 u_max，且u_max被配置为是前述的候选对象的所述特定多者(即所发现的相重叠的候选对象)的宽度的三分之一。
步骤S602，计算每一条偏移线对应的有效像素比f(u)。
参考有效像素比的定义，可采用下面的式(6)来计算每一条偏移线u 对应的有效像素比f(u)：
f(u)＝number/m_range (6)
其中，number表示沿着偏移线u的有效像素的数量，m_range表示沿着偏移线u的所有像素的数量。
步骤S603，移动平均值计算：计算f(u)的移动平均值，并将该平均值确定为偏移线u的平均像素比fave(u)。
举例而言，采用下式计算以偏移线u为中心的三条线的平均像素比fave(u)：
fave(u)＝(f(u-1)+f(u)+f(u+1))/3 (7)
步骤S604，坐标转移：将平均像素比fave(u)绘制在以所述图像的水平像素位置为横坐标、以有效像素比为纵坐标的曲线图中。
举例而言，图7(a)是对图5的示例进行坐标转移后得到的所有偏移线的有效像素比率的曲线图，其中以所述图像的水平像素位置为横坐标，即是以图5中n的方向为曲线图水平方向，u到n的转换可描述为nnu(u)＝n，这显示了u和n坐标之间的关系，u是相对位置，n是绝对水平位置；图7(b) 则是在图7(a)的基础上，示出的平均像素比的曲线图，并对平均像素比的曲线图进行了标注以用于后续步骤，其中n1、n2与n(边缘线对应的n)是通过nnu(u)＝n确定的。需说明的是，在图7(b)中，平均像素比的曲线与图7(a)中偏移线的有效像素比率的曲线高度重合，在黑白图中不易区分，故而图7(b)中点及标注均被限定为对应平均像素比的曲线。
步骤S605，确定最大、最小比率：根据所述曲线图分别确定关于fave(u) 的最大比率v_max和最小比率v_min。
参考图7(b)，其明确地标注了平均像素比曲线图上的最大比率v_max 和最小比率v_min。
步骤S606，确定有效像素位置。
举例而言，在ratio2＜(v_max-v_min)且v_min＜(r_max/q)＜v_max的情况下，采用下式计算有效像素低位置v_low和有效像素高位置v_high：
v_low＝(1-r)*v_min+r*v_max (8)
v_high＝r*v_min+(1-r)*v_max (9)
其中，r_max为所述对象存在多条模糊边界时的最大的内部区域有效像素比r1，q为大于1的常数，r为小于1且大于0.5的常数且优选为0.1至0.3 之间(包括0.1和0.3)的任意值，ratio1＝0.3。
参考图7(b)，其明确地标注了有效像素低位置v_low和有效像素高位置v_high，并且双向箭头表示[v_high-dv，v_high+dv]和[v_low-dv，v_low+ dv]，n1对应于u满足的平均值|f(u)–v_low|<dv，n2与v_high相同。
步骤S607，计算比率宽度。
举例而言，采用下式计算有效像素比率的宽度dv，，并将其设置在有效像素低位置v_low和有效像素高位置v_high之间：
dv＝dr(v_max-v_min) (10)
其中，dr是用于确定dv的常数，dr＝0.1；
步骤S608，计算所述宽度对应的区域的平均像素比率u1和u2。
举例而言，采用下式计算宽度dv对应的区域的平均像素比率：
u1＝average(u)且u要求满足|f(u)-v_low|<dv (11)
u2＝average(u)且u要求满足|f(u)-v_high|<dv (12)
步骤S609，若u1和u2存在，则利用外推法，采用下式计算待确定的所述偏移量u_shift：
u_shift＝{(1-r)*u1-r*u2}/(1-2r) (13)
即，得到了步骤S200所期望的偏移量u_shift，从而可将模糊边界平移偏移量u_shift以得到新边界，进而使得基于所述新边界的对象检测方法能检测出唯一对象。
需说明的是，在u与n具有相反的方向的情况下，对于式(13)，还可以：
u_shift＝-u_shift (14)
进一步地，图8(a)示出了采用步骤S100-S300所确定图2中的轮胎的新边界，易知该新的左边界稍微在实际左边界的内侧，但从图像处理的角度来说，这是自然存在的合理误差。更进一步地，图8(b)示出了基于图8(a) 的新边界进行对象检测的结果，易知轮胎能够被清楚地检测到。
综上所述，本发明实施例的用于确定对象的边界的方法，能够应用于具有模糊边界的对象的图像，以成功地检测出清晰的边界。
本发明实施例还提供一种对象检测方法，所述对象检测方法包括：采用上述实施例所述的用于确定对象的边界的方法，确定待检测对象在图像中的边界；以及基于所确定的边界，检测所述对象。其中，检测所述对象的方法为上述的基于边界的对象检测方案，在此不再赘述。
通过图8(b)可知，本发明实施例对象检测方法能够不受模糊边界影响而检测到唯一的、清晰的对象。
本发明实施例还提供一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令使得机器执行上述的用于确定对象的边界的方法或上述的对象检测方法。其中，所述机器可读存储介质包括但不限于相变内存 (PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体(Flash Memory)或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备等各种可以存储程序代码的介质。
本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的用于确定对象的边界的方法或上述的对象检测方法。
其中，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。处理器可以是通用处理器、专用处理器、传统处理器、数字信号处理器(DSP)、多个微处理器、与DSP内核相关联的一个或多个微处理器、控制器、微控制器、应用专用集成电路 (ASIC)、现场可编程门阵列(FPGA)电路、任何其他类型的集成电路(IC)、状态机等。
本申请还提供了一种计算机程序产品，当在车辆上执行时，适于执行初始化有上述的用于确定对象的边界的方法或上述的对象检测方法的步骤的程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/ 或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/ 输出接口、网络接口和内存。
以上所述仅为本发明的较佳实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种用于确定对象的边界的方法，其特征在于，所述用于确定对象的边界的方法包括：
获取包括所述对象的图像并对所述图像应用差分处理和/或阈值处理以获得边缘点；
使用所述边缘点创建线段；
从所述线段中选择边界；
通过一对所述边界创建候选对象；
如果所述候选对象的全部或特定多者的左侧或右侧的边界不清楚，则判断相应边界是模糊边界；以及
选择所述模糊边界，将所选模糊边界沿一偏移方向平移一偏移量，并将所平移的边界中的一者确定为新边界，其中所述偏移方向包括所述左侧或所述右侧的水平方向，且所述偏移方向和所述偏移量被配置为使得所述新边界对应于唯一的对象。
2.根据权利要求1所述的用于确定对象的边界的方法，其特征在于，所述候选对象的所述特定多者是相重叠的候选对象。
3.根据权利要求1所述的用于确定对象的边界的方法，其特征在于，所述获取包括所述对象的图像并对所述图像应用差分处理和/或阈值处理以获得边缘点包括：
通过单目摄像头捕获包括所述对象的原始图像；以及
对所述原始图像进行处理以获取所述边缘点，其中差分处理和利用两个阈值的阈值化被实施以获取三进制边缘点，或者差分绝对值和单个阈值被用于获取二进制边缘点。
4.根据权利要求1所述的用于确定对象的边界的方法，其特征在于，判断相应边界是模糊边界包括：
确定在所发现的候选对象左侧或右侧的内部区域和外围区域；以及
分别计算在所述左侧或右侧边界处的所述内部区域和所述外围区域中的所述图像的有效像素比率为r_L1、r_L2、r_R1以及r_R2，其中r_L1、r_L2、r_R1以及r_R2分别表示左侧外围区域L1、左侧内部区域L2、右侧内部区域R1和右侧外围区域R2中的所述图像的有效像素比率；
如果r_L1和r_L2不满足以下左边界判断公式，则将左边界确定为所述模糊边界：
左边界判断公式：ratio<r_L2且ratio 1<r_L2–r_L1
如果r_R1和r_R2不满足以下右边界判断公式，则将右边界确定为模糊边界：
右边界判断公式：ratio<r_R1和ratio1<r_R1–r_R2
其中，ratio和ratio1分别是预设的第一参考比率和第二参考比率。
5.根据权利要求4所述的用于确定对象的边界的方法，其特征在于，还包括：
在所述左边界是模糊边界的情况下，采用下式确定所述偏移方向，其中若下式成立，则所述偏移方向与所述图像的像素坐标的水平方向相一致，否则与所述水平方向相反：
r_L1<(r_max/p)
r_max＝max(r_L2,r_R1)
其中，r_max为最大的内部区域有效像素比，p为大于1的常数；
在所述右边界是模糊边界的情况下，参考所述左边界是模糊边界的情况进行处理。
6.根据权利要求4所述的用于确定对象的边界的方法，其特征在于，还包括：
采用以下步骤确定所述偏移量：
沿所述偏移方向任意平移所述模糊边界以得到多条偏移线u；
计算每一条偏移线对应的有效像素比f(u)；
计算f(u)的移动平均值，并将该平均值确定为偏移线u的平均像素比fave(u)：
将平均像素比fave(u)绘制在以所述图像的水平像素位置为横坐标、以有效像素比为纵坐标的曲线图中；
根据所述平均像素比fave(u)对应的曲线图分别确定关于fave(u)的最大比率v_max和最小比率v_min；
在ratio2＜(v_max-v_min)且v_min＜(r_max/q)＜v_max的情况下，采用下式计算有效像素低位置v_low和有效像素高位置v_high：
v_low＝(1-r)*v_min+r*v_max
v_high＝r*v_min+(1-r)*v_max
其中，r_max为最大的内部区域有效像素比，q为大于1的常数，r为小于1且大于0.5的常数；
采用下式计算有效像素比率的范围dv，并将其设置在有效像素低位置v_low和有效像素高位置v_high之间：
dv＝dr(v_max-v_min)
其中，dr是用于确定dv的常数；
采用下式计算宽度dv对应的区域的平均像素比率：
u1＝average(u)且u要求满足|f(u)-v_low|<dv
u2＝average(u)且u要求满足|f(u)-v_high|<dv
其中average()为平均值计算函数；
若u1和u2存在，则采用下式计算待确定的所述偏移量u_shift：
u_shift＝{(1-r)*u1-r*u2}/(1-2r)。
7.根据权利要求6所述的用于确定对象的边界的方法，其特征在于，r为0.1至0.3之间的任意值。
8.根据权利要求6所述的用于确定对象的边界的方法，其特征在于，对于所述多个不同的偏移线，最大偏移量u_max被配置为是所述候选对象的所述特定多者的宽度的三分之一。
9.一种对象检测方法，其特征在于，所述对象检测方法包括：
采用权利要求1至8中任意一项所述的用于确定对象的边界的方法，确定待检测对象在图像中的边界；以及
基于所确定的边界，检测所述对象。
10.一种机器可读存储介质，该机器可读存储介质上存储有指令，该指令使得机器执行权利要求1至8中任意一项所述的用于确定对象的边界的方法或权利要求9所述的对象检测方法。
CN202110535742.4A 2021-05-17 2021-05-17 用于确定对象的边界的方法及对象检测方法 Active CN113506237B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110535742.4A CN113506237B (zh) 2021-05-17 2021-05-17 用于确定对象的边界的方法及对象检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110535742.4A CN113506237B (zh) 2021-05-17 2021-05-17 用于确定对象的边界的方法及对象检测方法

Publications (2)

Publication Number Publication Date
CN113506237A true CN113506237A (zh) 2021-10-15
CN113506237B CN113506237B (zh) 2024-05-24

Family

ID=78008529

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110535742.4A Active CN113506237B (zh) 2021-05-17 2021-05-17 用于确定对象的边界的方法及对象检测方法

Country Status (1)

Country Link
CN (1) CN113506237B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104534A1 (en) * 2004-11-17 2006-05-18 Rai Barinder S Apparatuses and methods for incorporating a border region within an image region
JP2009301495A (ja) * 2008-06-17 2009-12-24 Sumitomo Electric Ind Ltd 画像処理装置及び画像処理方法
US20100034476A1 (en) * 2008-08-09 2010-02-11 Keyence Corporation Image Data Compression Method, Pattern Model Positioning Method in Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium
JP2012073679A (ja) * 2010-09-27 2012-04-12 Fujitsu Ltd 撮像装置、画像評価方法、及び焦点調整制御プログラム
CN109993046A (zh) * 2018-06-29 2019-07-09 长城汽车股份有限公司 基于视觉摄像机的自阴影物体边缘识别方法、装置及车辆
CN111539907A (zh) * 2019-07-25 2020-08-14 长城汽车股份有限公司 用于目标检测的图像处理方法及装置
CN111591307A (zh) * 2020-04-15 2020-08-28 毫末智行科技有限公司 一种避障轨迹规划方法、系统及车辆
CN112686919A (zh) * 2020-12-29 2021-04-20 上海闻泰信息技术有限公司 物体边界线确定方法、装置、电子设备及存储介质

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060104534A1 (en) * 2004-11-17 2006-05-18 Rai Barinder S Apparatuses and methods for incorporating a border region within an image region
JP2009301495A (ja) * 2008-06-17 2009-12-24 Sumitomo Electric Ind Ltd 画像処理装置及び画像処理方法
US20100034476A1 (en) * 2008-08-09 2010-02-11 Keyence Corporation Image Data Compression Method, Pattern Model Positioning Method in Image Processing, Image Processing Apparatus, Image Processing Program, and Computer Readable Recording Medium
JP2012073679A (ja) * 2010-09-27 2012-04-12 Fujitsu Ltd 撮像装置、画像評価方法、及び焦点調整制御プログラム
CN109993046A (zh) * 2018-06-29 2019-07-09 长城汽车股份有限公司 基于视觉摄像机的自阴影物体边缘识别方法、装置及车辆
CN111539907A (zh) * 2019-07-25 2020-08-14 长城汽车股份有限公司 用于目标检测的图像处理方法及装置
CN111591307A (zh) * 2020-04-15 2020-08-28 毫末智行科技有限公司 一种避障轨迹规划方法、系统及车辆
CN112686919A (zh) * 2020-12-29 2021-04-20 上海闻泰信息技术有限公司 物体边界线确定方法、装置、电子设备及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
景雨;安居白;刘朝霞;: "基于动态分块阈值去噪和改进的GDNI边缘连接的溢油遥感图像的边缘检测算法", 计算机科学, no. 11 *
肖斌: "退化图像不变性识别研究", 《西安电子科技大学学报》 *

Also Published As

Publication number Publication date
CN113506237B (zh) 2024-05-24

Similar Documents

Publication Publication Date Title
US20200026930A1 (en) Lane line detection method and apparatus
US8406510B2 (en) Methods for evaluating distances in a scene and apparatus and machine readable medium using the same
Zhou et al. Moving object detection and segmentation in urban environments from a moving platform
US20190392192A1 (en) Three dimensional (3d) object detection
JP2019124683A (ja) オブジェクト速度推定方法と装置及び画像処理機器
EP1640937A1 (en) Collision time estimation apparatus, method and alarm for vehicles
JP2000357233A (ja) 物体認識装置
Pertuz et al. Reliability measure for shape-from-focus
Choi et al. Crosswalk and traffic light detection via integral framework
CN111191482B (zh) 一种刹车灯识别方法、装置及电子设备
US20220266835A1 (en) Monocular vision ranging method, storage medium, and monocular camera
Hayakawa et al. Ego-motion and surrounding vehicle state estimation using a monocular camera
CN108256470A (zh) 一种车道偏移判断方法及汽车
KR102133876B1 (ko) 객체 검출 장치 및 방법
CN107506739B (zh) 一种夜间前向车辆检测及测距方法
JP2009014645A (ja) 車両用距離測定装置
CN113506237B (zh) 用于确定对象的边界的方法及对象检测方法
CN114049394B (zh) 一种单目测距方法、装置、设备及存储介质
CN116052120A (zh) 基于图像增强和多传感器融合的挖掘机夜间物体检测方法
US20220319195A1 (en) Method for identifying road markings and monocular camera
JP2020004171A (ja) 車両用ライン検出装置および該方法
Choi et al. Lane detection using labeling based RANSAC algorithm
JP7134780B2 (ja) ステレオカメラ装置
Murali et al. Pothole detection on roads using canny edge detection algorithm
CN112183378A (zh) 一种基于颜色和深度图像的道路坡度估计方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant