CN105447490B - 基于梯度回归树的车辆关键点检测方法及装置 - Google Patents

基于梯度回归树的车辆关键点检测方法及装置 Download PDF

Info

Publication number
CN105447490B
CN105447490B CN201510800598.7A CN201510800598A CN105447490B CN 105447490 B CN105447490 B CN 105447490B CN 201510800598 A CN201510800598 A CN 201510800598A CN 105447490 B CN105447490 B CN 105447490B
Authority
CN
China
Prior art keywords
key point
training
regression
regression tree
level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510800598.7A
Other languages
English (en)
Other versions
CN105447490A (zh
Inventor
苏志杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Uniview Technologies Co Ltd
Original Assignee
Zhejiang Uniview Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Uniview Technologies Co Ltd filed Critical Zhejiang Uniview Technologies Co Ltd
Priority to CN201510800598.7A priority Critical patent/CN105447490B/zh
Publication of CN105447490A publication Critical patent/CN105447490A/zh
Application granted granted Critical
Publication of CN105447490B publication Critical patent/CN105447490B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于梯度回归树的车辆关键点检测方法，包括：获取待检测图片各关键点的初始位置以及将各关键点的初始位置输入经过训练的分类器中检测得到各关键点的最终位置，提取各关键点在各训练样本中的特征，利用所提取的特征进行分类器的训练。本发明还公开了对应方法的装置，本发明的有益效果在于，采用了梯度回归树逐点回归的策略，减少周围点的干扰。

Description

基于梯度回归树的车辆关键点检测方法及装置
技术领域
本发明涉及图像处理领域，尤其涉及基于梯度回归树的车辆关键点检测方法及装置。
背景技术
目前的智能交通体系大多依靠车牌识别对交通事件进行追踪和处理，但车牌识别的局限性过大，如车牌模糊、车牌遮挡甚至假牌、无牌等现象均会导致车牌识别失效，如果能进一步确认车标、车型、车身颜色、车辆年检贴特征以及驾驶员特征等信息，对于车辆的追踪和识别均有极大的帮助。
车辆关键点检测可以将车窗的4个角点以及车身的关键点位置信息检测出来，例如车窗4个角点的检测对于后续基于车窗的车辆标识物检测以及驾驶员检测较有帮助，而车灯角点(即左侧车灯的左上角角点以及右侧车灯的右上角角点)对于车身的车型识别以及车身颜色识别均有很大帮助，拥有广阔的应用前景。
现有技术存在对关键点采用分类器进行检测的手段，例如对对车窗或车牌的角点进行Adaboost检测，这种特征检测方式所采用的分类器通过滑动窗口获取一定区域内的特征，并进行各特征的比较得到检测结果，对于需要区块检测的图像处理手段比较有效(例如车牌识别)，但是如果需要检测点，则这种方式容易受到边缘其他点的干扰，如果旁边存在其他车辆，则在分类过程中容易向检测出的关键点位置会向其他方向偏移导致定位错误。
因此现有技术存在定位易受初始定位位置的干扰，关键点不易正确定位的问题。
发明内容
为解决现有技术存在的问题，本发明提供了一种关键点检测的方法，以使各关键点逐点单独回归，减少关键点回归的误差。
一种基于梯度回归树的车辆关键点检测方法，包括：获取各关键点的初始位置以及将各关键点的初始位置输入经过训练的分类器中检测得到各关键点的最终位置，所述分类器的训练方法包括：
获取多张图片作为训练样本，所述训练样本中关键点相对于目标位置具有偏移，且训练样本具有关键点的目标位置信息；
提取各关键点在各训练样本中的特征，利用所提取的特征进行分类器的训练，其中所述分类器包括多个层级，每一层级中回归树均与关键点一一对应，各回归树以对应关键点当前位置到目标位置的距离作为回归目标，训练得到使回归目标最小的特征，并在每一层级训练完成后均利用回归结果重新提取特征并更新下一层级的回归目标，直至完成所有层级的回归树训练。
本发明方法中分类器具有多个层级的回归树，即采用梯度回归树(GBDT)将关键点的初始位置向正确的位置回归。GBDT可以认为是一组残差迭代决策树，每一棵回归树都在学习前N-1棵树预测结果相对于正确值的残差。每个关键点的回归树都是单独的，通过将关键点的当前位置到目标位置的距离作为回归目标，将训练样本中的关键点按照分布位置进行分类，使得各分布位置都能向正确的方向逼近，对于每个关键点都是独立回归的，不会受到其他点的干扰，从而提高了检测的准确性。
进一步而言，单个层级中任意一个关键点所对应的回归树经过多次分裂，每次分裂均将当前关键点的分布位置进行区域划分，所述训练后的回归树使划分得到的每个子区域内各关键点分布位置到目标位置的距离差异最小。
训练过程中，每一棵树需要获得正确的划分方式，使得在各区域中关键点的分布位置与目标位置的差值尽可能一致，在这种情况下，各关键点分布位置在减去差值以后的位置(即向目标位置逼近后的位置)不会分布过远，这种训练方式考虑到了关键点初始位置分布区域的差异性，使得检测出的各处位置的关键点均能回归到正确的位置。
进一步而言，各回归树经过L次分裂，其中对于单个层级中任意一个关键点所对应的回归树训练方法包括：
设定θ的假设函数hθ(xi)，表达式为：
在每一次分裂时，得到关键点分布区域的划分线及θ的组合使得最大似然函数l(α,θ)值最大，l(α,θ)的表达式为：
其中，所述假设函数hθ(xi)为yαi出现的概率，其中，xi为第i张训练样本中所提取的特征，其中i的取值范围为1到s，s表示训练样本的数目，在前L-1次分裂中，划分线经过关键点的目标位置，α为所述划分线与水平方向的夹角，α的初始取值范围为0到179度，后续L-2次分裂每一次都从前一次划分所得的每个区域中分别搜索得到一个对应的α，当时，所述yαi为1，否则，yαi为0；在最后一次分裂中，划分线在水平方向上截距为n，与水平方向夹角为m，当m*xdi+n＞ydi时，所述yαi为1，否则yαi为0；其中划分线斜率以及截距的搜索步长为预设值。
本发明中，关键点通过逻辑回归方式进行回归，每棵树的每次分裂都将训练样本中得到的关键点分布区域的二分类方式划分，其中分裂的次数根据所需要的划分精度确定，一般而言考虑到计算效率与精度之间的折中，选择四到六次分裂。其中，训练样本中的关键点分布位置受初始检测精度的影响，可能存在较大差异，因此需要将不同的分布位置进行归类，使得同一区域中的分布位置差异较小，从而具有较为一致的回归值，这样在检测时就可以较准确地知道需要将所检测到的点向什么位置移动多少距离。通过多个层级逐步逼近，使得回归的位置具有较高准确度。本发明的这种回归方式，不仅考虑到了关键点的特征，同时也考虑到了关键点初始定位的分布位置，使得定位更加准确。
进一步而言，还包括在将所述待检测图片在每通过一层级的回归树后都对所述待检测图片所有关键点位置坐标进行形状约束，所述第一层级之后每一层级输入的位置坐标均为经过形状约束后的位置坐标，且最终检测得到的位置坐标为通过最后一层级回归树后进行形状约束所得的位置坐标。
由于采用回归方式逐步逼近，实际上是通过关键点的不同特征和不同位置之间的拟合来得到一个相对准确的位置，但由于初始定位存在定位较远的情况，为了防止回归往远离目标位置的方向回归，通过建立形状约束，使得各关键点之间相互制约，防止关键点在回归过程中跑偏到误差较大的位置。
进一步而言，每个层级通过以下函数进行关键点位置坐标的形状约束：
其中，表示第i个关键点的目标位置坐标，(xi，yi)表示待约束的关键点坐标，其中[sR(xi,yi)T]x表示坐标经过旋转和缩放之后取水平方向坐标，[sR(xi,yi)T]y表示坐标经过旋转和缩放之后取垂直方向坐标，其中约束参数为缩放系数s、2*2的旋转矩阵R、水平方向上的平移距离tx以及垂直方向上的平移距离ty，在每一层级回归之后将回归后的各关键点坐标及对应的关键点目标位置坐标输入该函数，获取当前层级的各约束参数，使得所述函数值最小，其中λ1为水平方向的权重，λ2为垂直方向的权重，λ1及λ2随着层级增加而减小且每一层级λ1＞λ2，第i个关键点的正则惩罚项系数λci为预设值，且第i个关键点如果为车牌角点，则λ1以及λ2在各层级的取值均小于λci。
本发明的形状约束加入了λ1和λ2且λ1>λ2，因为水平方向的约束高于垂直方向的约束，对于不同车型而言，水平方向上的距离不太可能发生变化，而垂直方向的距离比例则可能有一定变化。另外λci作为正则惩罚项，避免任何一点位移数值过大，由于车牌4个角点初始位置信息置信度很高，因此其权重需要增大，λ1及λ2随着层级增加而减小表示随着级数的增长，表示随着回归结果向目标的逐步逼近，全局约束越来越弱，更加相信的是回归树的结果，所以最终得到的结果是平均形状和当前位置的一个综合优化效果。例如，通过经验选值，λ1＝2/k，λ2＝1/k(k取值为当前级数，1～20之间，λci(i＝7/8/9/10)＝4(车牌附近4个点)，λci(其它点)＝0.5。
进一步而言，所述训练样本的获取方式为，获取a张带有关键点标注的初始图片，将每张初始图片复制为b份，将得到的所有图片进行预设范围内的随机形变，并从所得的ab张图片中随机选取s张图片作为训练样本，其中预设范围内的随机形变包括：在预设倍数范围内的缩小或放大；预设角度范围内的随机旋转，在预设的距离范围内的随机平移；
对应地，各关键点的目标位置为关键点在a张初始图片中位置坐标的平均值。
现有初始位置一般通过较为成熟的车牌角点定位得到，但由于定位手段的准确性有限，因此初始位置可能存在着一定的形变，例如图片经过放大或缩小后位置偏移，受环境中其他物体影响导致发生方向和距离上的偏移，为了模拟这种有误差的初始定位，使训练出的结果能够接受初始位置的偏移，在训练样本中各关键点的坐标都是通过将训练样本的图片变形得到的。
进一步而言，所提取的关键点特征为关键点在预设大小的图像区域中若干位频域低频响应值。
特征也可以采用LBP特征、小波变换的特征，频域特征相对而言更加准确，本发明频域特征可以通过对图像进行频域变换得到，例如可以采用DFT变换(Discrete FourierTransform，离散傅立叶变换)，DCT变换(Discrete Cosine Transform，离散余弦变换)得到，由于图像的大部分特征集中在低频部分，因此取低频响应部分的若干位数，位数越多则特征越准确，但运算量也越大，因此例如可以为32位或64位。
进一步而言，在训练样本中各关键点的特征提取方式为：
对于第一层级中的各个关键点，以关键点当前位置为中心，提取预设大小的图像区域中的特征；
对于其他层级的各个关键点，在训练样本中的提取方法包括：
在关键点当前位置周围的预设范围内，随机提取若干个预设大小的图像区域中的特征；
分别利用所提取的特征训练对应关键点的回归树，将当前关键点通过回归树后各分布位置到目标位置的距离误差最小的回归树所采用的特征作为当前层级所采用的特征，利用该特征训练得到的回归树为该关键点在当前层级的回归树。
其中图像区域的大小是预先设定好的，例如可以是16*16、32*32或48*48的图像区域，如果图像区域过小，则定位结果不准确，如果区域过大则特征不够明显。通过随机选取，使得回归过程中对特征的拟合条件不会过大，从而避免过拟合。第一层级的区域特征是固定的，到后期则通过关键点分布位置附近的区域特征进行比较，选出最优的区域进行特征的提取和回归树的建立，以便更好地找到能表示关键点的特征。
进一步而言，各关键点的初始位置获取方法包括：
定位车牌角点，得到各车牌角点的定位结果；
对各车牌角点进行形状约束，得到车牌角点的初始位置；
根据其他关键点与车牌角点之间的相对位置关系，获得其他关键点的初始位置。
车牌角点的定位相对而言技术成熟，而车辆作为刚性物体，其他的关键点例如车窗、车灯，相对于车牌的位置关系是较为稳定的，因此通过初始定位车牌角点，再得到其他关键点的初始位置，能够提高后续回归的准确性。
本发明还提供了对应的车辆关键点检测装置，以实现本发明的检测方法。
一种基于梯度回归树的车辆关键点检测装置，包括：初始位置获取单元，获取各关键点的初始位置；以及关键点检测单元，将各关键点初始位置输入经过训练的分类器中检测得到各关键点的最终位置，还包括分类器训练单元，所述分类器训练单元包括：
训练样本获取子单元，获取多张图片作为训练样本，所述训练样本中关键点相对于目标位置具有偏移，且训练样本具有关键点的目标位置信息；
特征训练子单元，提取各关键点在各训练样本中的特征，利用所提取的特征进行分类器的训练，其中所述分类器包括多个层级，每一层级中回归树均与关键点一一对应，各回归树以对应关键点当前位置到目标位置的距离作为回归目标，训练得到使回归目标最小的特征，并在每一层级训练完成后均利用回归结果重新提取特征并更新下一层级的回归目标，直至完成所有层级的回归树训练。
本发明装置所训练得到的分类器具有多个层级的回归树，即采用梯度回归树(GBDT)将关键点的初始位置向正确的位置回归。GBDT可以认为是一组残差迭代决策树，每一棵回归树都在学习前N-1棵树预测结果相对于正确值的残差。每个关键点的回归树都是单独的，通过将关键点的当前位置到目标位置的距离作为回归目标，将训练样本中的关键点按照分布位置进行分类，使得各分布位置都能向正确的方向逼近，对于每个关键点都是独立回归的，不会受到其他点的干扰，从而提高了检测的准确性。
进一步而言，特征训练子单元所训练的单个层级中任意一个关键点所对应的回归树经过多次分裂，每次分裂均将当前关键点的分布位置进行区域划分，所述训练后的回归树使划分得到的每个子区域内各关键点分布位置到目标位置的距离差异最小。
进一步而言，所述特征训练子单元所训练的各回归树经过L次分裂，其中所述特征训练子单元对于单个层级中任意一个关键点所对应的回归树训练方法包括：
设定θ的假设函数hθ(xi)，表达式为：
所述特征训练子单元包括区域划分搜索模块，在每一次分裂时，所述区域划分搜索模块得到关键点分布区域的划分线及θ的组合使得最大似然函数l(α,θ)值最大，l(α,θ)的表达式为：
其中，所述假设函数hθ(xi)为yαi出现的概率，其中，xi为第i张训练样本中所提取的特征，其中i的取值范围为1到s，s表示训练样本的数目，在前L-1次分裂中，划分线经过关键点的目标位置，α为所述划分线与水平方向的夹角，α的初始取值范围为0到179度，后续L-2次分裂每一次都从前一次划分所得的每个区域中分别搜索得到一个对应的α，当时，所述yαi为1，否则，yαi为0；在最后一次分裂中，划分线在水平方向上截距为n，与水平方向夹角为m，当m*xdi+n＞ydi时，所述yαi为1，否则yαi为0；其中划分线斜率以及截距的搜索步长为预设值。
进一步而言，所述分类器训练单元还包括形状约束子单元，在将所述待检测图片在每通过一层级的回归树后都对所述待检测图片所有关键点位置坐标进行形状约束，所述第一层级之后每一层级输入的位置坐标均为经过形状约束后的位置坐标，且最终检测得到的位置坐标为通过最后一层级回归树后进行形状约束所得的位置坐标。
进一步而言，所述形状约束子单元在每个层级通过以下函数进行关键点位置坐标的形状约束：
其中，表示第i个关键点的目标位置坐标，(xi,yi)表示待约束的关键点坐标，其中[sR(xi,yi)T]x表示坐标经过旋转和缩放之后取水平方向坐标，[sR(xi,yi)T]y表示坐标经过旋转和缩放之后取垂直方向坐标，其中约束参数为缩放系数s、2*2的旋转矩阵R、水平方向上的平移距离tx以及垂直方向上的平移距离ty，在每一层级回归之后将回归后的各关键点坐标及对应的关键点目标位置坐标输入该函数，获取当前层级的各约束参数，使得所述函数值最小，其中λ1为水平方向的权重，λ2为垂直方向的权重，λ1及λ2随着层级增加而减小且每一层级λ1＞λ2，第i个关键点的正则惩罚项系数λci为预设值，且第i个关键点如果为车牌角点，则λ1以及λ2在各层级的取值均小于λci。
进一步而言，所述特征训练子单元在训练样本中各关键点的特征提取方式为：
对于第一层级中的各个关键点，以关键点当前位置为中心，提取预设大小的图像区域中的特征；
对于其他层级的各个关键点，在训练样本中的提取方法包括：
在关键点当前位置周围的预设范围内，随机提取若干个预设大小的图像区域中的特征；
分别利用所提取的特征训练对应关键点的回归树，将当前关键点通过回归树后各分布位置到目标位置的距离误差最小的回归树所采用的特征作为当前层级所采用的特征，利用该特征训练得到的回归树为该关键点在当前层级的回归树。
本发明的有益效果在于，采用了梯度回归树逐点回归的策略，减少周围点的干扰，多级树使用了完全随机选取的区域特征互相结合有效避免了过拟合的现象，结合离散DCT变换和逻辑回归选择的频谱特征具有较强的判别能力，全局约束的规则能大大减少迭代次数，提升检测效率。对各种外部环境干扰具有很强的鲁棒性，非常适合用在卡口或电警系统中，检测车辆各种标识物或者进行车型识别。
附图说明
图1为本发明一个实施例根据车牌定位结果获取的待检测图片；
图2为当前实施例中训练过程中经过关键点初始位置标注的图片；
图3为当前实施例进行20度旋转后初始位置标注的图片；
图4为当前实施例训练过程中第一层级对左上角角点的分布区域划分结果的示意图；
图5A为当前实施例第一层级关键点区域划分后进行全局约束前的各关键点位置示意图；
图5B为当前实施例第一层级关键点区域划分后进行全局约束后的各关键点位置示意图；
图6为当前实施例车牌训练过程及关键点检测的整体方法示意图。
具体实施方式
为使本发明更加详细明了，现结合实施例及附图对本发明进行解释说明。
本发明一个实施例的车辆关键点检测方法利用车辆关键点检测装置如图6所示，包括如下步骤：
A，初始位置获取单元获取待检测图片各关键点的初始位置。
初始位置获取单元通过车牌定位进行车牌的初始定位，得到车牌角点初始位置。根据车牌定位，可以得到的车牌位置信息为车牌位置中心点(x0，y0)和车牌的宽度以及高度，分别用w和h表示。车牌的定位技术为现有的成熟技术。
基于车牌位置信息对车辆前脸进行切割，其中进行切割的宽度及高度基于经验值，切割的方法如下：宽度方向上切割的总宽度为5*w，高度方向上切割的总高度为20*h，其中宽度方向以x0为中心，两边各有2.5*w的宽度，高度方向以y0为参考点，上方截取高度为16*h，下方截取高度为4*h。当前实施例中，为配合后续经过训练后得到的梯度树，截取完成的图片统一缩放为300*400的大小，处理完成之后，该图片可以作为车型判别的标准输入图片，如图1所示。
B，关键点检测单元将各关键点的初始位置输入经过训练的分类器中检测得到各关键点的最终位置。
其中，车前脸中关键点检测通过分类器训练单元训练后的分类器得到。分类器训练过程中样本图片的切割方式与测试图片一致，且切割后也缩放为300*400大小的图片。在切割后的图片上进行关键点标注，其中关键点在不同的车型中应具有共通的特征(特征例如为纹理特征或像素灰度等等)。当前实施例中的关键点标注如图2所示，图2中一共12个关键点用白色圆点标注，分别为：车窗4个角点，左侧车灯左上角和右侧车灯右上角2个角点，车牌4个角点以及车辆最下方左右两侧的2角点。这些角点普遍具有在所有车型上相对一致的局部特征，有助于后续进行梯度回归时的有效收敛。
分类器训练单元进行训练包括如下步骤：
S1，关键点目标位置获取子单元根据初始图片获取各关键点的目标位置。
首先对若干张(当前为1000张)缩放为标准大小(当前实施例为300*400)的图片中进行上述12个关键点的标注，并通过车牌定位得到每张初始图片的车牌位置中心点(x0，y0)，其中x0为宽度方向坐标，y0为高度方向坐标，将所得到的这1000张带有关键点和中心点标定的标准大小图片作为初始图片。
接着将每张初始图片的车牌位置中心点(x0，y0)作为关键点位置的坐标原点，将标定好的12个关键点相对于中心点的位置坐标计算出来(xc1，yc1……xc12，yc12)，排列的次序为由左到右，由上到下，然后统计1000张初始图片的平均形状信息(xm1，ym1…….xm12，ym12)。
当前实施例中平均形状信息的计算很简单，1000张初始图片的关键点位置向量相加然后除以1000即可。在其他实施例中，可以采用相对的平均形状信息，考虑到车牌位置信息的检测相对比较准确，需要获取各个关键点位置与车牌宽度和高度的比例，所以对上述关键点坐标统一x方向(即水平方向)的坐标值除以w/2，y方向(即垂直方向)的坐标值除以h/2(w和h的计算同样取1000张图片的平均值)。最终得到的平均形状比例信息为(xv1，yv1…….xv12，yv12)。
S2，训练样本获取子单元获取带有关键点标注的初始图片，将初始图片进行形变得到关键点位置偏移的多张图片作为训练样本。
由于在实际检测关键点时，初始定位可能受到外界环境影响导致定位不准确，从而产生了一些偏移，为了使训练结果具有抗偏移的训练过程的初始位置信息产生，首先需要将1000(a＝1000)张初始图片每张复制20份(b＝20)，变为20000(ab＝20000)张，然后对每张图片以车牌中心点为坐标原点，以平均形状比例信息和其随机进行的旋转、平移以及缩放进行初始位置信息的标定，其中每张图片选择的形变参数的种类及数值均随机选取：其中，缩放比例在0.7～1.4之间(x和y方向独立缩放)，旋转角度在-25～25度之间，平移像素x方向上为正负15，y方向为正负5，通过这种形变确保可以适配车牌定位过程中出现的各种误差干扰。其中，其他形变参数不变，方向上旋转20度之后的初始位置点标注如图3所示，可以看到白色圆点与图2相比发生了角度上的偏移。进行初始位置信息训练的目的是找到一个回归函数将这些点收敛到正确的位置。
S3，特征训练子单元提取各关键点在各训练样本中的特征，利用所提取的特征进行分类器的训练。
考虑到车脸上局部区域的信息表征更加具有针对性，本发明当前实施例中回归树采用的是使用局部频域特征结合逐点回归的方式逼近正确的位置。在现有技术中有采取像素灰度值的相对大小作为车脸的特征表示，并且在回归的时候将其视作全局特征，这种方法使用随机选取的多个特征加上多棵树的级联，对于人脸等颜色、结构一致性较好的目标检测效果是不错的，但对于车型而言，其颜色变化、车前脸纹理变化较大，很难提炼出一些有全局区分度的特征。
当前实施例中采用局部单点回归的方式对车辆的关键点进行一一逼近，同时考虑到车身颜色的多样性，采取频域特征结合逻辑回归进行二叉树的分割决策。
现以车前脸左上角第一个点为例说明，其他点的处理过程完全一致。当前实施例中，提取的特征是基于32*32的图像块，然后对该图像块进行离散余弦变换(DiscreteCosine Transform，简称DCT变换)后获取其低频区域的64个响应数值(在去除直流分量后由低到高取64位数值)形成一个64位向量作为特征参数。根据实际需要，训练生成10～20层级树，当前实施例中层级数为20，在每一层级中，针对每个关键点都生成一棵树，即每一层级均有12棵树。以当前车前脸左上角关键点为例，首先选择以当前待测点(即左上角的第一个点)位置为中心的32*32大小图像块，该图像块作为每个点回归时的第一级树使用的特征区域。结合需要的梯度树L层级数(L取值范围例如为10～20级当前实施例为20层级)，在第1层级以后后续另外需要一些候选特征区域，这里使用随机选取的方法选择N个候选特征区域(N的取值可以为50～100，候选特征过多会导致训练偏慢)，当前选择的候选特征区域为50个。由于本发明当前实施例重点考虑的是局部特征，所以这里的随机选取区域的中心点需要限制在以待测点为中心的60*80图像区域内，即以待测点为中心，x方向左右30，y方向上下40的区域为随机选取中心点的搜索区域。
当前实施例在回归树的训练过程中使用随机选取的1000张训练样本，在开始训练时，针对每个关键点，从形变后的20000张图片中随机选取1000张图片作为针对该关键点的回归树训练样本，对于左上角第一个点，每张训练样本均有一个初始位置，1000张训练样本就有1000个初始位置，然后获取这些初始位置的坐标相对于目标位置坐标(即该待测点的正确坐标)的差值(xdi，ydi)，其中i表示第i张训练样本，即从第1张到第1000张分别记为(xd1，yd1)(xd2，yd2)……(xd1000，yd1000)。第i个点在该级树的特征可以简单记为xi(i取值范围1～1000)，每个xi为64维向量。需要注意，对于同一棵树上所有的分支，都使用同样的特征，只是特征的拟合参数在各个分支上不同。接下来借鉴逻辑回归的思路求解下面使下面这个最大似然函数取值最大的参数来确定当前层级树的分裂方式。当前实施例每一层级的每棵树均经过4次分裂形成一棵5级树。
设定θ的假设函数hθ(xi)，表达式为：
在每一次分裂时，得到关键点分布区域的划分线及θ的组合使得最大似然函数l(α,θ)值最大，l(α,θ)的表达式为：
其中，i表示第i张训练样本，当前实施例中s＝1000，即i取值为1到1000。θ为其中一个待拟合的参数，在当前实施例中是一个用来拟合64位特征的64维参数向量，以形成逻辑回归中的最大似然函数。
hθ(xi)表示θ的假设函数，在α固定的情况下，l(α,θ)为关于θ的最大似然函数，需要拟合出一个θ使l(α,θ)最大。hθ(xi)为θ的假设函数，在前三次分裂中hθ(xi)为xdi/ydi＞tan(α)出现的概率，最后一次分裂中hθ(xi)表示m*xdi+n>ydi出现的概率。对于前三次分裂过程，α为所述划分线与水平方向的夹角，对于第i个关键点，yαi的取值方式为：当xdi/ydi>tan(α)，yαi＝1，否则yαi＝0。第一次分裂时α的取值范围为0到179°，从第二次分裂起，都在前一次划分线所得各区域中进行α的搜索，如图4所示，线ab为第一次分裂过程得到所得划分线；线c和线d为第二次分裂过程所得划分线，其中线c为划分线ab所划分区域上方搜索得到，线d为划分线ab所划分区域下方搜索得到，第二次分裂过程α搜索的取值范围为上一次分裂所得区域的角度取值范围，步长仍为5度；线e、f、g及h为第三次分裂过程得到的划分线，各划分线的搜索范围分别为第一次分裂与第二次分裂所形成的四个区域，因此第三次分裂得到四条划分线；虚线部分为最后一次分裂过程。对于最后一次分裂过程，假设分割线的斜率和截距分别为m和n，此时分割线可以表示为y＝m*x+n。此时yαi的取值方式为：当m*xdi+n>ydi，yαi＝1，否则yαi＝0。
对于前三级分裂过程，划分线可以理解为一条通过原点的斜线，α表示该斜线相对于x轴的角度(斜率)，在第一次及第二次的分裂过程中，取值范围为0到179度，搜索步长为5度。第三级树分裂时，α的取值范围被上一级树所约束。对于最后一次分裂过程，α代表的是分割线斜率固定(斜率与该区域中心线垂直)情况下在y轴的截距，取值范围为-50～50个像素，搜索步长为5个像素。
四次分裂过程实际是通过训练的图片，将当前关键点的分布区域划分为16个子区域。分裂完成之后，一共16个叶子节点的数值为该节点内所有关键点的坐标平均值记为(xp0，yp0)(xp1，yp1)……(xp15，yp15)。
关键点坐标更新，对于所有训练样本图片中的左上角第一个关键点位置，经过第一棵树的回归之后，需要重新调整坐标。对于单张训练样本图片中的左上角第一个关键点，调整方法为：判断该关键点所处的叶子节点位置(即被划分到哪个子区域)，用原始坐标值(xfi，yfi)减去其对应第k个叶子节点的平均坐标数值即可，得到结果记为(xsi，ysi)，假设该点属于第k个叶子节点，则xsi＝xfi-xpk，ysi＝yfi-ypk。在调整之后，所有的关键点均更加靠近正确地关键点位置。
参考上述第一个关键点的方法，对于其它11个关键点采取同样的策略，则在第一层级回归中一共构建了12棵树，第一层级结束之后将所有参与训练的图片的12个关键点位置信息全部更新。
其中每次完成步骤S3之后都通过步骤S4进行形状约束。
S4，形状约束子单元将所述待检测图片在每通过一层级的回归树后都对所述待检测图片所有关键点位置坐标进行形状约束
对关键点位置进行全局形状约束考虑到车辆关键点之间有很强的刚性约束关系，如x方向的线段基本保持平行，y方向上线段距离比例也有一定约束，另外需要考虑车牌位置信息的高置信度，结合平均位置信息，求解使下面表达式得到最小值的参数，从而得到更加合理的关键点位置信息。
公式1
上面表达式中的表示12个关键点中第i个关键点平均位置坐标，(xi，yi)表示待矫正的关键点坐标。s表示一个缩放系数，R表示一个2*2的旋转矩阵，tx表示x方向上的平移距离，ty表示y方向上的平移距离，这4个参数是本发明优化求解的目标。其中[sR(xi,yi)T]x表示坐标经过旋转和缩放之后取x方向坐标，[sR(xi,yi)T]y表示坐标经过旋转和缩放之后取y方向坐标。λ1和λ2是x、y方向的权重系数为常量，且λ1>λ2，因为x方向的约束高于y方向的约束，对于不同车型而言，x方向上的距离不太可能发生变化，而y方向的距离比例则可能有一定变化。λci(i取值范围1～12)可以理解为正则惩罚项，避免任何一点位移数值过大，其中由于车牌的初始位置信息置信度很高，因此，车牌的4个角点权重需要增大，所以最终得到的结果是平均形状和当前位置的一个综合优化效果。较佳而言，当前实施例采用的一组推荐参数为：λ1＝2/k，λ2＝1/k。k取值为当前级数，取值范围为1到20，则随着级数的增长，λ1及λ2越来越小，表示全局约束越来越弱，更加相信回归树的回归结果，其中λci(i＝7/8/9/10)＝4(车牌4个角点)，λci(其它关键点)＝0.5。
矫正过程示意图如下图5所示，虚线两端表示需要矫正的关键点位置，图中只画出了8个关键点位置，车牌附近的关键点认为在矫正前后基本没有变化，图中没有表示出来，矫正完成之后，第i个关键点坐标更新为xi(new)＝[sR(xi,yi)T]x+tx，yi(new)＝[sR(xi,yi)T]y+ty。
由于检测过程需要考虑性能的要求，当前实施例的算法在计算全局形状约束最小值的时候需要使用牛顿法或者梯度下降法求解最小值(实施例中所采用的目标函数是一个凸函数)，考虑到每一级树回归之后，形状的变化是较小的，所以可以将旋转的角度约束在正负15度，缩放比例约束为0.9～1.1，平移像素为正负4个像素，结合这些边界信息，会明显加快求解速度。或者直接采取步长搜索的方法，由于该方法目标并不一定要求精确的最优值，所以可在有限的边界之内，使用一定的步长进行遍历搜索，可以很快求得一个相对较优值。
对于每一级树回归完成并进行了全局形状约束之后，需要对回归目标进行更新。将当前级树回归完成并进行了全局形状约束后更新得到针对一个关键点每一张训练样本的关键点坐标(x1，y1)(x2，y2)……(x1000，y1000)。使用更新后的关键点坐标与正确的坐标相减，所得坐标差(xd1，yd1)(xd2，yd2)……(xd1000，yd1000)作为下一级树的回归目标，从而形成梯度回归的策略。
在每次获得形状约束函数之后，再重复S3及S4，直至完成20层级的回归树建立及形状约束。
除了第一层级树的特征是固定的(选择当前待测点位置为中心的32*32大小图像块)，从第二级树开始，需要在当前待测点目标坐标的候选特征区域中选择当前最优特征，选择的方法比较简单，依次对从每个候选特征区域所提取的特征建最优回归树，然后比较最终回归结果在当前集合上的效果(例如可以统计所有关键点的位置误差平方总和，得到误差波动最小的回归树作为最佳回归树，如果要从效率高低的角度选择则可以采用误差均值作为效果考量依据)，选取效果最优的特征作为本级树的特征，需要注意，每一级都有12棵树(即一个关键点对应一棵树)形成当前级的森林，且每棵树的特征选取是独立的，因此使用的特征是彼此无关的。
参考经验值，当前实施例一共构建20层级的回归树作为最终的结果，在其他的实现方式中也可以按照误差率判断应该选取的级数，除了在特征选择的过程中和第一层级有区别，其它过程完全一致，每一层级均有12棵树对应12个关键点的独立回归。
在训练完成之后，对于新的一张待检测图片，首先使用已有手段检测出车牌位置信息，然后基于车牌位置信息结合全局平均形状信息，采用公式1拟合出一个初始的全局关键点位置模型，同样是求出旋转、缩放和平移参数，不过这里只需要考虑车牌的4个位置信息，更加简单。有了关键点的初始位置之后，就可以将其输入梯度森林中进行回归了。
本发明的有益效果在于，采用了梯度回归树逐点回归的策略，减少周围点的干扰，多级树使用了完全随机选取的区域特征互相结合有效避免了过拟合的现象，结合离散DCT变换和逻辑回归选择的频谱特征具有较强的判别能力，全局约束的规则能大大减少迭代次数，提升检测效率。对各种外部环境干扰具有很强的鲁棒性，非常适合用在卡口或电警系统中，检测车辆各种标识物或者进行车型识别。

Claims (13)

1.一种基于梯度回归树的车辆关键点检测方法，包括：获取待检测图片各关键点的初始位置以及将各关键点的初始位置输入经过训练的分类器中检测得到各关键点的最终位置，其特征在于，所述分类器的训练方法包括：
获取多张图片作为训练样本，所述训练样本中关键点相对于目标位置具有偏移，且训练样本具有关键点的目标位置信息；
提取各关键点在各训练样本中的特征，利用所提取的特征进行分类器的训练，其中所述分类器包括多个层级，每一层级中回归树均与关键点一一对应，各回归树以对应关键点当前位置到目标位置的距离作为回归目标，训练得到使回归目标最小的特征，并在每一层级训练完成后均利用回归结果重新提取特征并更新下一层级的回归目标，直至完成所有层级的回归树训练，
其中，所述各回归树以对应关键点当前位置到目标位置的距离作为回归目标，训练得到使回归目标最小的特征包括，单个层级中任意一个关键点所对应的回归树经过多次分裂，每次分裂均将当前关键点的分布位置进行区域划分，所述训练后的回归树使划分得到的每个子区域内各关键点分布位置到目标位置的距离差异最小。
2.如权利要求1所述基于梯度回归树的车辆关键点检测方法，其特征在于，各回归树经过L次分裂，其中对于单个层级中任意一个关键点所对应的回归树训练方法包括：
设定θ的假设函数hθ(xi)，表达式为：
在每一次分裂时，得到关键点分布区域的划分线及θ的组合使得最大似然函数l(α,θ)值最大，l(α,θ)的表达式为：
其中，所述假设函数hθ(xi)为yαi出现的概率，其中，xi为第i张训练样本中所提取的特征，其中i的取值范围为1到s，s表示训练样本的数目，在前L-1次分裂中，划分线经过关键点的目标位置，α为所述划分线与水平方向的夹角，α的初始取值范围为0到179度，后续L-2次分裂每一次都从前一次划分所得的每个区域中分别搜索得到一个对应的α，对于第i个关键点，yαi的取值方式为：当时，所述yαi为1，否则，yαi为0；在最后一次分裂中，划分线在水平方向上截距为n，与水平方向夹角为m，当m*xdi+n>ydi时，所述yαi为1，否则yαi为0；其中划分线斜率以及截距的搜索步长为预设值，其中，(xdi，ydi)表示关键点初始位置的坐标相对于目标位置坐标的差值，i表示第i张训练样本。
3.如权利要求1所述基于梯度回归树的车辆关键点检测方法，其特征在于，还包括在将所述待检测图片在每通过一层级的回归树后都对所述待检测图片所有关键点位置坐标进行形状约束，第一层级之后每一层级输入的位置坐标均为经过形状约束后的位置坐标，且最终检测得到的位置坐标为通过最后一层级回归树后进行形状约束所得的位置坐标。
4.如权利要求3所述基于梯度回归树的车辆关键点检测方法，其特征在于，每个层级通过以下函数进行关键点位置坐标的形状约束：
其中，表示第i个关键点的目标位置坐标，(xi,yi)表示待约束的关键点坐标，其中[sR(xi,yi)T]x表示坐标经过旋转和缩放之后取水平方向坐标，[sR(xi,yi)T]y表示坐标经过旋转和缩放之后取垂直方向坐标，其中约束参数为缩放系数s、2*2的旋转矩阵R、水平方向上的平移距离tx以及垂直方向上的平移距离ty，在每一层级回归之后将回归后的各关键点坐标及对应的关键点目标位置坐标输入该函数，获取当前层级的各约束参数，使得所述函数值最小，其中λ1为水平方向的权重，λ2为垂直方向的权重，λ1及λ2随着层级增加而减小且每一层级λ1>λ2，第i个关键点的正则惩罚项系数λci为预设值，且第i个关键点如果为车牌角点，则λ1以及λ2在各层级的取值均小于λci。
5.如权利要求1所述基于梯度回归树的车辆关键点检测方法，其特征在于，所述训练样本的获取方式为，获取a张带有关键点标注的初始图片，将每张初始图片复制为b份，将得到的所有图片进行预设范围内的随机形变，并从所得的ab张图片中随机选取s张图片作为训练样本，其中预设范围内的随机形变包括：在预设倍数范围内的缩小或放大；预设角度范围内的随机旋转，在预设的距离范围内的随机平移；
对应地，各关键点的目标位置为关键点在a张初始图片中位置坐标的平均值。
6.如权利要求1所述基于梯度回归树的车辆关键点检测方法，其特征在于，所提取的关键点特征为关键点在预设大小的图像区域中若干位频域低频响应值。
7.如权利要求1所述基于梯度回归树的车辆关键点检测方法，其特征在于，在训练样本中各关键点的特征提取方式为：
对于第一层级中的各个关键点，以关键点当前位置为中心，提取预设大小的图像区域中的特征；
对于其他层级的各个关键点，在训练样本中的提取方法包括：
在关键点当前位置周围的预设范围内，随机提取若干个预设大小的图像区域中的特征；
分别利用所提取的特征训练对应关键点的回归树，将当前关键点通过回归树后各分布位置到目标位置的距离误差最小的回归树所采用的特征作为当前层级所采用的特征，利用该特征训练得到的回归树为该关键点在当前层级的回归树。
8.如权利要求1、3或4任一项所述基于梯度回归树的车辆关键点检测方法，其特征在于，各关键点的初始位置获取方法包括：
定位车牌角点，得到各车牌角点的定位结果；
对各车牌角点进行形状约束，得到车牌角点的初始位置；
根据其他关键点与车牌角点之间的相对位置关系，获得其他关键点的初始位置。
9.一种基于梯度回归树的车辆关键点检测装置，包括：初始位置获取单元，获取待检测图片中各关键点的初始位置；以及关键点检测单元，将各关键点初始位置输入经过训练的分类器中检测得到各关键点的最终位置，其特征在于，还包括分类器训练单元，所述分类器训练单元包括：
训练样本获取子单元，获取多张图片作为训练样本，所述训练样本中关键点相对于目标位置具有偏移，且训练样本具有关键点的目标位置信息；
特征训练子单元，提取各关键点在各训练样本中的特征，利用所提取的特征进行分类器的训练，其中所述分类器包括多个层级，每一层级中回归树均与关键点一一对应，各回归树以对应关键点当前位置到目标位置的距离作为回归目标，训练得到使回归目标最小的特征，并在每一层级训练完成后均利用回归结果重新提取特征并更新下一层级的回归目标，直至完成所有层级的回归树训练
其中，所述特征训练子单元所训练的单个层级中任意一个关键点所对应的回归树经过多次分裂，每次分裂均将当前关键点的分布位置进行区域划分，所述训练后的回归树使划分得到的每个子区域内各关键点分布位置到目标位置的距离差异最小。
10.如权利要求9所述基于梯度回归树的车辆关键点检测装置，其特征在于，所述特征训练子单元所训练的各回归树经过L次分裂，其中所述特征训练子单元对于单个层级中任意一个关键点所对应的回归树训练方法包括：
设定θ的假设函数hθ(xi)，表达式为：
所述特征训练子单元包括区域划分搜索模块，在每一次分裂时，所述区域划分搜索模块得到关键点分布区域的划分线及θ的组合使得最大似然函数l(α,θ)值最大，l(α,θ)的表达式为：
其中，所述假设函数hθ(xi)为yαi出现的概率，其中，xi为第i张训练样本中所提取的特征，其中i的取值范围为1到s，s表示训练样本的数目，在前L-1次分裂中，划分线经过关键点的目标位置，α为所述划分线与水平方向的夹角,α的初始取值范围为0到179度，后续L-2次分裂每一次都从前一次划分所得的每个区域中分别搜索得到一个对应的α，对于第i个关键点，yαi的取值方式为：当时，所述yαi为1，否则，yαi为0；在最后一次分裂中，划分线在水平方向上截距为n，与水平方向夹角为m，当m*xdi+n>ydi时，所述yαi为1，否则yαi为0；其中划分线斜率以及截距的搜索步长为预设值，其中，(xdi，ydi)表示关键点初始位置的坐标相对于目标位置坐标的差值(xdi，ydi)，i表示第i张训练样本。
11.如权利要求9所述基于梯度回归树的车辆关键点检测装置，其特征在于，所述分类器训练单元还包括形状约束子单元，在将所述待检测图片在每通过一层级的回归树后都对所述待检测图片所有关键点位置坐标进行形状约束，第一层级之后每一层级输入的位置坐标均为经过形状约束后的位置坐标，且最终检测得到的位置坐标为通过最后一层级回归树后进行形状约束所得的位置坐标。
12.如权利要求11所述基于梯度回归树的车辆关键点检测装置，其特征在于，所述形状约束子单元在每个层级通过以下函数进行关键点位置坐标的形状约束：
其中，表示第i个关键点的目标位置坐标，(xi,yi)表示待约束的关键点坐标，其中[sR(xi,yi)T]x表示坐标经过旋转和缩放之后取水平方向坐标，[sR(xi,yi)T]y表示坐标经过旋转和缩放之后取垂直方向坐标，其中约束参数为缩放系数s、2*2的旋转矩阵R、水平方向上的平移距离tx以及垂直方向上的平移距离ty，在每一层级回归之后将回归后的各关键点坐标及对应的关键点目标位置坐标输入该函数，获取当前层级的各约束参数，使得所述函数值最小，其中λ1为水平方向的权重，λ2为垂直方向的权重，λ1及λ2随着层级增加而减小且每一层级λ1>λ2，第i个关键点的正则惩罚项系数λci为预设值，且第i个关键点如果为车牌角点，则λ1以及λ2在各层级的取值均小于λci。
13.如权利要求9所述基于梯度回归树的车辆关键点检测装置，其特征在于，所述特征训练子单元在训练样本中各关键点的特征提取方式为：
对于第一层级中的各个关键点，以关键点当前位置为中心，提取预设大小的图像区域中的特征；
对于其他层级的各个关键点，在训练样本中的提取方法包括：
在关键点当前位置周围的预设范围内，随机提取若干个预设大小的图像区域中的特征；
分别利用所提取的特征训练对应关键点的回归树，将当前关键点通过回归树后各分布位置到目标位置的距离误差最小的回归树所采用的特征作为当前层级所采用的特征，利用该特征训练得到的回归树为该关键点在当前层级的回归树。
CN201510800598.7A 2015-11-19 2015-11-19 基于梯度回归树的车辆关键点检测方法及装置 Active CN105447490B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510800598.7A CN105447490B (zh) 2015-11-19 2015-11-19 基于梯度回归树的车辆关键点检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510800598.7A CN105447490B (zh) 2015-11-19 2015-11-19 基于梯度回归树的车辆关键点检测方法及装置

Publications (2)

Publication Number Publication Date
CN105447490A CN105447490A (zh) 2016-03-30
CN105447490B true CN105447490B (zh) 2019-04-30

Family

ID=55557650

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510800598.7A Active CN105447490B (zh) 2015-11-19 2015-11-19 基于梯度回归树的车辆关键点检测方法及装置

Country Status (1)

Country Link
CN (1) CN105447490B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107766867A (zh) * 2016-08-15 2018-03-06 佳能株式会社 对象形状检测装置及方法、图像处理装置及系统、监视系统
CN108319952B (zh) * 2017-01-16 2021-02-02 浙江宇视科技有限公司 一种车辆特征提取方法及装置
CN106919900A (zh) * 2017-01-19 2017-07-04 博康智能信息技术有限公司上海分公司 一种建立车窗定位模型和车窗定位方法及装置
CN107330429B (zh) * 2017-05-17 2021-03-09 北京捷通华声科技股份有限公司 一种证件条目的定位方法和装置
CN109559343B (zh) * 2017-09-27 2021-04-30 北京京东尚科信息技术有限公司 用于容器的图像处理方法和装置
CN107862285A (zh) * 2017-11-07 2018-03-30 哈尔滨工业大学深圳研究生院 一种人脸对齐方法
CN108108656B (zh) * 2017-11-15 2020-07-07 浙江工业大学 一种基于车窗角点检测和多方向投影的车窗精确定位方法
CN110705541B (zh) * 2018-07-10 2022-06-03 中移物联网有限公司 一种车牌的精确定位方法及装置、计算机可读存储介质
CN109584888A (zh) * 2019-01-16 2019-04-05 上海大学 基于机器学习的鸣笛识别方法
CN110059623B (zh) * 2019-04-18 2021-06-11 北京字节跳动网络技术有限公司 用于生成信息的方法和装置
CN111695519B (zh) * 2020-06-12 2023-08-08 北京百度网讯科技有限公司 关键点定位方法、装置、设备以及存储介质
CN114091026A (zh) * 2021-11-25 2022-02-25 云南电网有限责任公司信息中心 一种基于集成学习的网络异常入侵检测方法和系统
WO2023206236A1 (zh) * 2022-04-28 2023-11-02 华为技术有限公司 一种目标的检测方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101872416A (zh) * 2010-05-06 2010-10-27 复旦大学 对道路图像进行车牌识别的方法和系统
CN103093201A (zh) * 2013-01-21 2013-05-08 信帧电子技术（北京）有限公司 车标定位识别方法及系统
US8499008B2 (en) * 2009-07-24 2013-07-30 Yahoo! Inc. Mixing knowledge sources with auto learning for improved entity extraction
CN103226835A (zh) * 2013-04-15 2013-07-31 北京大学深圳研究生院 基于在线初始化梯度增强回归树的目标跟踪方法及系统
CN103854029A (zh) * 2014-02-21 2014-06-11 杭州奥视图像技术有限公司 一种前车窗右上角点检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8499008B2 (en) * 2009-07-24 2013-07-30 Yahoo! Inc. Mixing knowledge sources with auto learning for improved entity extraction
CN101872416A (zh) * 2010-05-06 2010-10-27 复旦大学 对道路图像进行车牌识别的方法和系统
CN103093201A (zh) * 2013-01-21 2013-05-08 信帧电子技术（北京）有限公司 车标定位识别方法及系统
CN103226835A (zh) * 2013-04-15 2013-07-31 北京大学深圳研究生院 基于在线初始化梯度增强回归树的目标跟踪方法及系统
CN103854029A (zh) * 2014-02-21 2014-06-11 杭州奥视图像技术有限公司 一种前车窗右上角点检测方法

Also Published As

Publication number Publication date
CN105447490A (zh) 2016-03-30

Similar Documents

Publication Publication Date Title
CN105447490B (zh) 基于梯度回归树的车辆关键点检测方法及装置
US10115209B2 (en) Image target tracking method and system thereof
CN109101924B (zh) 一种基于机器学习的路面交通标志识别方法
CN107633226B (zh) 一种人体动作跟踪特征处理方法
CN103530600B (zh) 复杂光照下的车牌识别方法及系统
CN109882019B (zh) 一种基于目标检测和动作识别的汽车电动尾门开启方法
CN109670462B (zh) 基于定位信息的航空器跨全景持续跟踪方法
CN110414507A (zh) 车牌识别方法、装置、计算机设备和存储介质
CN108805016B (zh) 一种头肩区域检测方法及装置
CN105989334B (zh) 基于单目视觉的道路检测方法
CN107729843B (zh) 基于雷达与视觉信息融合的低地板有轨电车行人识别方法
CN108197604A (zh) 基于嵌入式设备的快速人脸定位跟踪方法
CN106570490B (zh) 一种基于快速聚类的行人实时跟踪方法
CN105160355B (zh) 一种基于区域相关和视觉单词的遥感图像变化检测方法
CN111598925B (zh) 基于eco算法和区域生长分割的视觉目标跟踪方法及装置
CN107194393B (zh) 一种检测临时车牌的方法及装置
CN109376580B (zh) 一种基于深度学习的电力塔架部件识别方法
CN107025657A (zh) 一种基于视频图像的车辆行为轨迹检测方法
CN104700620B (zh) 一种基于交通卡口的套牌车辆识别方法和装置
CN107862319B (zh) 一种基于邻域投票的异源高分光学影像匹配误差剔除方法
CN111046856A (zh) 基于动静态特征提取并行位姿跟踪与地图创建的方法
CN105224945B (zh) 一种基于联合检测与辨识算法的车标识别方法
CN111149131A (zh) 区划线识别装置
CN112488083A (zh) 基于heatmap提取关键点的交通信号灯的识别方法、装置、介质
CN108344997B (zh) 一种基于点迹特征的道路护栏快速检测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant