CN110378359B - 一种图像识别方法和装置 - Google Patents

一种图像识别方法和装置 Download PDF

Info

Publication number
CN110378359B
CN110378359B CN201810738255.6A CN201810738255A CN110378359B CN 110378359 B CN110378359 B CN 110378359B CN 201810738255 A CN201810738255 A CN 201810738255A CN 110378359 B CN110378359 B CN 110378359B
Authority
CN
China
Prior art keywords
image
pixel point
pixel
prior
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810738255.6A
Other languages
English (en)
Other versions
CN110378359A (zh
Inventor
李艳丽
刘冬冬
赫桂望
蔡金华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Original Assignee
Beijing Jingdong Century Trading Co Ltd
Beijing Jingdong Shangke Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Jingdong Century Trading Co Ltd, Beijing Jingdong Shangke Information Technology Co Ltd filed Critical Beijing Jingdong Century Trading Co Ltd
Priority to CN201810738255.6A priority Critical patent/CN110378359B/zh
Publication of CN110378359A publication Critical patent/CN110378359A/zh
Application granted granted Critical
Publication of CN110378359B publication Critical patent/CN110378359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种图像识别方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：步骤a，获取所述图像的第一全局能量函数，所述第一全局能量函数包括先验能量数据项和局部能量数据项；步骤b，优化所述第一全局能量函数，获得所述图像的中间识别结果；步骤c，判断所述中间识别结果是否收敛，若收敛，则确定所述中间识别结果为所述图像的最终识别结果，否则根据所述中间识别结果更新所述图像的每个像素点分别对应每个标注的局部概率，并执行步骤a。该实施方式具有较高鲁棒性和时空平滑度。

Description

一种图像识别方法和装置
技术领域
本发明涉及计算机技术领域，尤其涉及一种图像识别方法和装置。
背景技术
道路分割属于场景语义解析技术，是从图像或者激光点云数据中分割出道路区域，道路分割可以应用于街景仿真中的道路纹理贴图，高清地图生成中的道路矢量元素提取，以及辅助无人车自动驾驶。
在实现本发明过程中，发明人发现现有技术中至少存在如下问题：由于道路场景复杂多样，不同道路场景下的光照和遮挡通常差异较大，并且有时道路场景中会存在前背景较为相似的情况，在这些因素的影响下，现有图像识别方法在分割道路时，存在鲁棒性不足的缺点，难于适应于不同类型的场景。
因此，亟需一种具有较高鲁棒性的图像识别方法和装置。
发明内容
有鉴于此，本发明实施例提供一种具有较高鲁棒性的图像识别方法和装置。
为实现上述目的，根据本发明实施例的一个方面，提供了一种图像识别方法，所述方法用于对图像中的像素点进行识别，以确定在多个预设标注中，所述像素点所对应的标注，
所述方法包括：
步骤a，获取所述图像的第一全局能量函数，所述第一全局能量函数包括先验能量数据项和局部能量数据项，所述先验能量数据项的输入数据为所述图像的每个像素点分别对应每个所述预设标注的先验概率，所述局部能量数据项的输入数据为根据所述图像的每个像素点分别对应每个所述预设标注的局部概率；
步骤b，优化所述第一全局能量函数，获得所述图像的中间识别结果，所述中间识别结果为，使所述图像的全局能量达到极大值或极小值的，所述图像的每个像素点所对应的标注；
步骤c，判断所述中间识别结果是否收敛，若收敛，则确定所述中间识别结果为所述图像的最终识别结果，否则根据所述中间识别结果更新所述图像的每个像素点分别对应每个标注的局部概率，并执行步骤a。
进一步的，在所述获取图像的第一全局能量函数的步骤之前还包括：
确定图像的每个像素点分别对应每个标注的先验概率，并根据所述先验概率确定所述图像的先验识别结果；
根据所述图像的每个像素点的特征数据和所述先验识别结果训练获得识别所述图像的聚类模型，并根据所述聚类模型确定所述图像的每个像素点分别对应每个标注的局部概率。
进一步的，所述根据中间识别结果更新所述图像的每个像素点分别对应每个标注的局部概率包括：
根据所述图像的每个像素点的特征数据和所述中间识别结果训练获得识别所述图像的聚类模型，并根据所述聚类模型确定所述图像的每个像素点分别对应每个标注的局部概率。
可选的，在所述第一全局能量函数中，所述第一全局能量函数还包括邻域像素点的标注一致性约束项，所述邻域像素点的标注一致性约束项的数据输入为邻域像素点的先验识别结果。
可选的，若当前图像存在相邻帧图像，则所述第一全局能量函数还包括当前图像与其相邻帧图像像素点的标注一致性约束项，所述当前图像与其相邻帧图像像素点的标注一致性约束项的数据输入为当前图像的像素点的先验识别结果和其相邻帧图像的对应像素点的最终识别结果。
可选的，若当前图像存在相邻帧图像，所述第一全局能量函数E(Lt)＝w1D1(Lt|Θp)+w2D2(Lt|ΘI)+w3S1(Lt)+w4S2(Lt)；
若当前图像不存在相邻帧图像，所述第一全局能量函数E(Lt)＝w1D1(Lt|Θp)+w2D2(Lt|ΘI)+w3S1(Lt)；
其中，Lt表示图像全局标注，D1(Lt|Θp)表示先验能量数据项，Θp表示先验模型，D2(Lt|ΘI)表示局部能量数据项，ΘI表示聚类模型
邻域Nb中像素点i与相邻像素点j的标注一致性约束项
Figure BDA0001722577230000031
其中，
Figure BDA0001722577230000032
为领域像素点的相似性加权，{lt,i|lt,i∈Lt}表示t时刻的图像It中每个像素i的标注；
t时刻与t-1时刻的图像像素点的标注一致性约束项S2(Lt)＝∑i|lt,i-lt-1,i|δ(It,i,It-1,i)，其中，δ(It,i,It-1,i)为相邻帧图像像素点的相似性加权，w1、w2、w3和w4为上述各项的权重系数。
可选的，所述确定图像的先验识别结果包括：
获取所述图像的第二全局能量函数，所述第二全局能量函数包括所述先验能量数据项；
优化所述第二全局能量函数，以获得所述图像的先验识别结果，所述先验识别结果为，使所述图像的全局能量达到极大值或极小值的，所述图像的每个像素点所对应的标注。
可选的，在所述第二全局能量函数中，所述第二全局能量函数还包括：邻域像素点的标注一致性约束项，所述邻域像素点的标注一致性约束项的数据输入为邻域像素点的初始识别结果。
可选的，所述第二全局能量函数E(Lt)＝w1D1(Lt|Θp)+w3S1(Lt)；
其中，Lt表示图像全局标注，D1(Lt|Θp)表示先验能量数据项，Θp表示先验模型，
邻域Nb中像素点i与相邻像素点j的标注一致性约束项
Figure BDA0001722577230000041
其中，
Figure BDA0001722577230000042
为领域像素点的相似性加权，{lt,i|lt,i∈Lt}表示t时刻的图像It中每个像素i的标注，w1和w3为上述各项的权重系数。
可选的，所述确定图像的先验识别结果包括：
将当前图像的相邻帧图像的所述最终识别结果，作为当前图像的所述先验识别结果。
可选的，所述确定图像的每个像素点分别对应每个标注的先验概率包括：
获取当前图像的每个像素点的特征数据；
将所述每个像素点的特征数据输入预设的先验模型，以得到每个像素点分别对应每个标注的先验概率。
可选的，所述每个像素点的特征数据包括：所述每个像素点的点云特征数据和图像特征数据，其中，所述点云特征数据包括：高程数据，所述图像特征数据包括：RGB颜色数据和辐射度数据；
获取图像的每个像素点的特征数据包括：
将所述的图像与其点云对准，建立点云和图像的匹配关系；
根据所述匹配关系将点云投影到所述图像以获得所述图像的栅格图；
从所述栅格图中提取获得每个像素点的RGB颜色、辐射度和高程数据。
为实现上述目的，根据本发明实施例的另一个方面，还提供了一种图像识别装置，所述装置用于对图像中的像素点进行识别，以确定在多个预设标注中，所述像素点所对应的标注，
所述装置包括：迭代计算模块，用于执行下述步骤：
步骤a，获取所述图像的第一全局能量函数，所述第一全局能量函数包括先验能量数据项和局部能量数据项，所述先验能量数据项的输入数据为所述图像的每个像素点分别对应每个所述预设标注的先验概率，所述局部能量数据项的输入数据为根据所述图像的每个像素点分别对应每个所述预设标注的局部概率；
步骤b，优化所述第一全局能量函数，获得所述图像的中间识别结果，所述中间识别结果为，使所述图像的全局能量达到极大值或极小值的，所述图像的每个像素点所对应的标注，
步骤c，判断所述中间识别结果是否收敛，若收敛，则确定所述中间识别结果为所述图像的最终识别结果，否则根据所述中间识别结果更新所述图像的每个像素点分别对应每个标注的局部概率，并执行步骤a。
进一步的，所述装置还包括：
先验计算模块，用于确定图像的每个像素点分别对应每个标注的先验概率，并根据所述先验概率确定所述图像的先验识别结果；
根据所述图像的每个像素点的特征数据和所述先验识别结果训练获得识别所述图像的聚类模型，并根据所述聚类模型确定所述图像的每个像素点分别对应每个标注的局部概率。
进一步的，所述迭代计算模块进一步用于根据所述图像的每个像素点的特征数据和所述中间识别结果训练获得识别所述图像的聚类模型，并根据所述聚类模型确定所述图像的每个像素点分别对应每个标注的局部概率。
可选的，所述第一全局能量函数还包括邻域像素点的标注一致性约束项，所述邻域像素点的标注一致性约束项的数据输入为邻域像素点的先验识别结果。
可选的，若当前图像存在相邻帧图像，则所述第一全局能量函数还包括当前图像与其相邻帧图像像素点的标注一致性约束项，所述当前图像与其相邻帧图像像素点的标注一致性约束项的数据输入为当前图像的像素点的先验识别结果和其相邻帧图像的对应像素点的最终识别结果。
可选的，若当前图像存在相邻帧图像，所述第一全局能量函数E(Lt)＝w1D1(Lt|Θp)+w2D2(Lt|ΘI)+w3S1(Lt)+w4S2(Lt)；
若当前图像不存在相邻帧图像，所述第一全局能量函数E(Lt)＝w1D1(Lt|Θp)+w2D2(Lt|ΘI)+w3S1(Lt)；
其中，Lt表示图像全局标注，D1(Lt|Θp)表示先验能量数据项，Θp表示先验模型，D2(Lt|ΘI)表示局部能量数据项，ΘI表示聚类模型
邻域Nb中像素点i与相邻像素点j的标注一致性约束项
Figure BDA0001722577230000061
其中，
Figure BDA0001722577230000062
为领域像素点的相似性加权，{lt,i|lt,i∈Lt}表示t时刻的图像It中每个像素i的标注；
t时刻与t-1时刻的图像像素点的标注一致性约束项S2(Lt)＝∑i|lt,i-lt-1,i|δ(It,i,It-1,i)，其中，δ(It,i,It-1,i)为相邻帧图像像素点的相似性加权，w1、w2、w3和w4为上述各项的权重系数。
可选的，所述先验计算模块进一步用于获取所述图像的第二全局能量函数，所述第二全局能量函数包括所述先验能量数据项；
优化所述第二全局能量函数，以获得所述图像的先验识别结果，所述先验识别结果为，使所述图像的全局能量达到极大值或极小值的，所述图像的每个像素点所对应的标注。
可选的，所述第二全局能量函数还包括：邻域像素点的标注一致性约束项，所述邻域像素点的标注一致性约束项的数据输入为邻域像素点的初始识别结果。
可选的，所述第二全局能量函数E(Lt)＝w1D1(Lt|Θp)+w3S1(Lt)；
其中，Lt表示图像全局标注，D1(Lt|Θp)表示先验能量数据项，Θp表示先验模型，
邻域Nb中像素点i与相邻像素点j的标注一致性约束项
Figure BDA0001722577230000063
其中，
Figure BDA0001722577230000064
为领域像素点的相似性加权，{lt,i|lt,i∈Lt}表示t时刻的图像It中每个像素i的标注，w1和w3为上述各项的权重系数。
可选的，所述先验计算模块进一步用于将当前图像的相邻帧图像的所述最终识别结果，作为当前图像的所述先验识别结果。
可选的，所述先验计算模块进一步用于获取当前图像的每个像素点的特征数据；
将所述每个像素点的特征数据输入预设的先验模型，以得到每个像素点分别对应每个标注的先验概率。
可选的，所述每个像素点的特征数据包括：所述每个像素点的点云特征数据和图像特征数据，其中，所述点云特征数据包括：高程数据，所述图像特征数据包括：RGB颜色数据和辐射度数据；
所述先验计算模块进一步用于将所述的图像与其点云对准，建立点云和图像的匹配关系；
根据所述匹配关系将点云投影到所述图像以获得所述图像的栅格图；
从所述栅格图中提取获得每个像素点的RGB颜色、辐射度和高程数据。
为实现上述目的，根据本发明实施例的另一个方面，还提供了一种图像识别电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明提供的图像识别方法。
为实现上述目的，根据本发明实施例的另一个方面，还提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现本发明提供的图像识别方法。
本发明提供的图像识别方法和装置，结合激光点云和图像数据源，将两者投影到图像中进行数据融合，充分考虑各种因素，在一个具有时空一致性的，融合多个线索的全局能量优化框架进行迭代模型更新和图像识别。比对现有的图像识别方法，该方法结合了点云和图像，将原有的2通道数据源扩展到5通道数据源，通过多线索提高识别的鲁棒性。除了利用先验线索，还考虑当前场景的局部线索，即保证了方法的泛化能力，还提高了方法的局部适应能力。比对现有的图像识别方法，本方法利用了大量先验标注数据，不受遮挡等噪声影响。此外，本发明融合了时空一致性的约束，可以得到具有时序一致性的平滑识别结果。
上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
附图用于更好地理解本发明，不构成对本发明的不当限定。其中：
图1是本发明实施例提供的图像识别方法的主要流程的示意图；
图2是本发明实施例提供的图像识别装置的主要模块的示意图；
图3是本发明实施例可以应用于其中的示例性系统架构图；
图4是适于用来实现本发明实施例的电子设备的计算机系统的结构示意图。
具体实施方式
以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本发明实施例提供一种图像识别方法，该方法用于对图像中的所有像素点进行识别，以得到每个像素点的识别结果，识别结果是指在多个预设标注中像素点所对应的标注。
如图1所示，该方法包括：步骤a、步骤b和步骤c。在步骤a中，获取图像的第一全局能量函数，第一全局能量函数包括先验能量数据项和局部能量数据项。在本发明的一种实施方式中，在第一全局能量函数中，图像的全局能量为先验能量数据项和局部能量数据项的和。先验能量数据项的输入数据为图像的每个像素点分别对应每个预设标注的先验概率，局部能量数据项的输入数据为根据图像的每个像素点分别对应每个预设标注的局部概率。
先验概率即已经获知的将像素点识别为给个标注的概率，先验识别结果即将像素点识别为具体哪一种标注。例如，本发明可以应用于道路识别的场景中，在该场景中，存在两种标注，分别可以是道路标注或者非道路标注。本例中，像素点分别对应每个标注的先验概率即为该像素点是道路的概率与该像素点不是道路的概率。先验识别结果可以为该像素点被识别为道路或者非道路。当然，在本发明中，预设的标注不限于两个，也可以为三个或以上。根据每个像素点分别对应每个标注的先验概率，可以获得第一全局能量函数中的先验能量数据项。上述先验概率和先验识别结果的具体获取过程在本发明后续实施例中予以说明。
在步骤b中，优化第一全局能量函数，获得图像的中间识别结果，中间识别结果为，使图像的全局能量达到极大值或极小值的，图像的每个像素点所对应的标注。
在本步骤中，将图像识别过程描述为贝叶斯最大后验概率估计问题，即定义一个描述整个图像全部像素点的全局能量的第一全局能量函数，用于计算图像中每个像素的标注确定后的概率能量和，其中每个像素的标注为变量，对该能量函数进行优化，函数的优化结果即每个像素点的识别结果，也就是每个像素点具体属于哪一种标注。基于这种像素点的标注方式，可以使该能量函数达到最优，即达到极大值或极小值。
在本发明的一种实施方式中，先验能量数据项具体为所有像素对应标注的先验概率的乘积的对数，其中，每个像素对应的标注是变量，每个像素对应的标注不一定相同，同理，局部能量数据项具体为所有像素对应的标注的局部概率的乘积的对数。对该能量函数进行优化的过程，就是求先验能量数据项与局部能量数据项的总和最小，得到在该最小情况下，每个像素对应的标注。
在步骤c中，判断中间识别结果是否收敛，若收敛，则确定中间识别结果为图像的最终识别结果，否则根据中间识别结果更新图像的每个像素点分别对应每个标注的局部概率，并执行步骤a。
步骤c中根据中间识别结果更新图像的每个像素点分别对应每个标注的局部概率的过程具体为：根据图像的每个像素点的特征数据和中间识别结果训练获得识别图像的聚类模型，并根据聚类模型确定图像的每个像素点分别对应每个标注的局部概率。
上述第一全局能量函数的优化过程是一个迭代过程，其中，局部概率为迭代变量，局部概率的迭代初始值确定后，局部概率的迭代值根据每次优化预设的第一全局能量函数所得的中间识别结果确定。即每当对第一全局能量函数完成一次优化，就根据得到的中间识别结果生成新的局部概率，然后将新的局部概率带入第一全局能量函数再次进行优化，如此重复，直至结果收敛，即所得的识别结果不再变化，从而得到最终的识别结果，结束迭代过程，输出最终的识别结果。
本发明实施例提供的图像识别方法，提出通过第一全局能量函数，通过迭代优化该第一全局能量函数，确定图像的每个像素点的最终识别结果，迭代优化该第一全局能量函数的过程中，充分利用了先验线索，还考虑当前图像的局部线索，通过多线索提高图像识别的鲁棒性，保证了图像识别的泛化能力，还提高了图像识别的局部适应能力。
在本发明的一种实施方式中，步骤a获取图像的第一全局能量函数之前还包括下述过程：
确定图像的每个像素点分别对应每个标注的先验概率，并根据先验概率确定图像的先验识别结果，然后根据图像的每个像素点的特征数据和先验识别结果训练获得识别图像的聚类模型，并根据聚类模型确定图像的每个像素点分别对应每个标注的局部概率，该所得的局部概率即上述迭代过程中局部概率的初始值。
其中，本过程中聚类模型可以为高斯混合模型，在训练模型的过程中，对像素点的特征数据进行归一化，然后用K-Means聚类方法进行高斯混合模型参数求解。
本发明提供的图像识别方法可以应用于对视频的图像识别，即对多帧时序图像进行识别。在本发明的一种实施方式中，对于多帧时序图像的第一帧图像和时序在其之后的图像，在识别过程中，先验识别结果可以采用不同的获取过程。
对于时序图像中的第一帧图像，确定图像的先验识别结果的过程可以具体如下：
获取图像的第二全局能量函数，在第二全局能量函数中，图像的全局能量为先验能量数据项。然后优化第二全局能量函数，以获得图像的先验识别结果，先验识别结果为，使图像的全局能量达到极大值或极小值的，图像的每个像素点所对应的标注。
与第一全局能量函数相似的，第二全局能量函数用于计算图像中每个像素被标注后的概率能量和，其中每个像素的标注为变量，对该能量函数进行优化，函数的优化结果即每个像素点的先验识别结果，也就是每个像素点具体属于哪一种标注。基于这种像素点的标注方式，可以使该能量函数达到最优。
或者在本发明的一种简化的实施方式中，可以根据每个像素点分别对应每个标注的先验概率，直接得到图像初始识别结果，即像素点的对应哪个标注的先验概率高，像素点的初始识别结果就是哪个标注。将初始识别结果作为先验识别结果。
对于时序图像中的第一帧图像之后的每一帧图像，确定每个像素点的先验识别结果的过程可以具体如下：将当前图像的相邻帧图像的每个像素点的最终识别结果，作为当前图像的对应像素点的先验识别结果。即将当前图像的前一帧图像，在执行完步骤c后获得的最终识别结果，作为当前图像的先验识别结果。
在一种具体的实施方式中，可以通过光流匹配算法建立相邻两帧图像的像素之间的匹配关系，从而传递最终识别结果。
当然对于时序图像中的第一帧图像之后的每一帧图像，也可以采用上述优化第二全局能量函数的方式来获得当前图像的先验识别结果。
在本发明的一种实施方式中，在第一全局能量函数中，图像的全局能量为先验能量数据项、局部能量数据项以及邻域像素点的标注一致性约束项的和，邻域像素点的标注一致性约束项的数据输入为邻域像素点的先验识别结果。
邻域像素点的标注一致性约束项用于在优化第一全局能量函数或第二全局能量函数时，对每个像素点和其邻域内的像素点的标注结果加以一致性约束。在一种实施方式中，邻域像素点的标注一致时的该约束项的值，小于邻域像素点的标注不一致时的该约束项的值。因此优化第一全局能量函数即求先验能量数据项、局部能量数据项以及的邻域像素点的标注一致性约束项的总和最小，优化第二全局能量函数同理，不再赘述。
在本发明的一种实施方式中，若当前图像存在相邻帧图像，则第一全局能量函数还包括：当前图像与其相邻帧图像像素点的标注一致性约束项，根据当前图像的像素点的先验识别结果和其相邻帧图像的对应像素点的最终识别结果，确定当前图像与其相邻帧图像像素点的标注一致性约束项。
当前图像与其相邻帧图像像素点的标注一致性约束项用于在优化第一全局能量函数时，对当前图像的像素点与其相邻帧图像的对应像素点的标注结果加以一致性约束。在一种实施方式中，相邻两帧图像的像素点的标注一致时的该约束项的值，小于相邻两帧图像的像素点的标注不一致时的该约束项的值。
在一种实施方式中，第一全局能量函数包括：先验能量数据项、局部能量数据项、邻域像素点的标注一致性约束项以及当前图像与其相邻帧图像像素点的标注一致性约束项。优化第一全局能量函数即求先验能量数据项、局部能量数据项、邻域像素点的标注一致性约束项以及当前图像与其相邻帧图像像素点的标注一致性约束项的总和最小。
本发明通过在能量函数中加入时间和空间一致性约束项线索，使得通过优化能量函数所得的图像识别结果具有了时空一致性，进一步提高了图像识别的鲁棒性。
在本发明的一种实施方式中，确定图像的每个像素点分别对应每个标注的先验概率的过程具体如下：
获取当前图像的每个像素点的特征数据，然后将每个像素点的特征数据输入预设的先验模型，以得到每个像素点分别对应每个标注的先验概率。
其中，在本发明的一种实施方式中，每个像素点的特征数据包括：每个像素点的点云特征数据和图像特征数据，上述步骤中的先验模型和聚类模型都是结合了点云特征和图像特征的多通道模型。在获取当前图像的每个像素点的特征数据时，首先将的图像与其点云对准，建立点云和图像的匹配关系，然后根据匹配关系将点云投影到图像以获得图像的栅格图，从栅格图中提取获得每个像素点点云和图像特征数据。
下面结合一具体的实施方式，对本发明提供的图像识别方法做进一步的说明。在本实施方式中，将本发明方法应用对于图像中的道路的分割。
在本实施方式中，首先获取道路图像和对应的激光点云，然后对激光点云和图像进行对准，建立激光点和图像的匹配关系。将点云投影到俯视图得到带有颜色的栅格图，该栅格图带有5个通道(RGB颜色、辐射度、高程)，考虑到该栅格图具有噪声和空洞区域，进一步完成噪声去除和空洞修补。
然后，对该栅格图进行语义标注，得到大量道路和非道路区域的样本。用机器学习方法(例如深度学习网络PspNet)进行先验道路分割模型的训练，得到先验道路分割模型Θp，利用先验道路分割模型识别当前图像得到当前图像每个像素点属于道路和非道路的概率，即先验概率。
我们将道路分割描述为贝叶斯最大后验概率估计问题，即定义一个全局能量函数，用于计算对在t时刻的图像It中每个像素标注{lt,i|lt,i∈Lt}为0(非道路)或者1(道路)的能量，Lt即全局标注，然后对该能量函数进行优化，从而得到最佳全局标注
Figure BDA0001722577230000151
对于时序图像中的初始图像执行下述道路面分割步骤：
步骤a:对E(Lt)＝w1D1(Lt|Θp)+w3S1(Lt)能量函数(第二全局能量函数)优化完成道路分割。先验线索D1(Lt|Θp)，即先验能量数据项，空间一致性线索S1(Lt)，即邻域像素点的标注一致性约束项。
步骤b:根据分割结果和像素特征数据计算局部聚类模型ΘI。
步骤c:对E(Lt)＝w1D1(Lt|Θp)+w2D2(Lt|ΘI)+w3S1(Lt)能量函数(第一全局能量函数)优化完成道路分割，迭代执行步骤b和步骤c直到收敛。局部线索D2(Lt|ΘI)，即局部能量数据项。
在初始图像的后续图像，执行下述道路面分割步骤：
步骤d根据光流匹配算法建立相邻帧像素匹配关系，并传递道路初始分割结果，将当前帧的上一帧图像的最终分割结果作为当前帧图像的先验分割结果。
步骤e根据先验分割结果和像素点的特征数据计算局部聚类模型ΘI。
步骤f对能量函数：
E(Lt)＝w1D1(Lt|Θp)+w2D2(Lt|ΘI)+w3S1(Lt)+w4S2(Lt)优化完成道路分割，迭代执行步骤a和步骤b直到收敛，得到最终分割结果。S1(Lt)和S2(Lt)为空间一致性线索和时间一致性线索，即邻域像素点的标注一致性约束项和当前图像与其相邻帧图像像素点的标注一致性约束项。wi|i＝1...4为各个数据项之间的约束权重项。
其中，邻域像素点的标注一致性约束项：
Figure BDA0001722577230000152
其中，
Figure BDA0001722577230000153
为领域像素点的相似性加权。Nb为像素邻域。
当前图像与其相邻帧图像像素点的标注一致性约束项：
S2(Lt)＝∑i|lt,i-lt-1,i|δ(It,i,It-1,i)，即当前t时刻与t-1时刻的图像像素点的标注一致性约束项，其中，δ(It,i,It-1,i)为相邻帧图像像素点的相似性加权。
在本应用场景中，该第一和第二全局能量函数具有马尔科夫性，用GraphCut或者BP等算法进行能量优化，从而得到像素标注结果，即完成道路面的分割。针对能量函数中的权重项，可以根据经验值设定，也可以通过大量训练样本用回归方法获取。
本发明结合激光点云和图像数据源，将两者投影到俯视图中进行数据融合，充分考虑各种因素，在一个具有时空一致性的，融合多个线索的全局能量优化框架进行迭代模型更新和道路分割。相比现有俯视图下的道路分割方法，该方法结合了点云和图像，将原有的2通道数据源扩展到5通道数据源，分割领域中已经证实多线索有助提高分割的鲁棒性。可以除了利用先验线索，还考虑当前场景的局部模型，即保证了方法的泛化能力，还提高了方法的局部适应能力。相比对上述马路崖检测的方法，本方法利用了大量先验标注数据，不受遮挡等噪声影响。此外，本发明融合了时空一致性的约束，可以得到具有时序一致性的平滑分割结果。
本发明还提供一种图像识别装置，如图2所示，该装置200包括：先验计算模块201和迭代计算模块202。该装置用于对图像中的所有像素点进行识别，以得到每个像素点的识别结果，识别结果为在多个预设标注中像素点所对应的标注，装置用于对图像中的像素点进行识别，以确定在多个预设标注中，像素点所对应的标注，
迭代计算模块201用于执行下述步骤：
步骤a，获取图像的第一全局能量函数，在第一全局能量函数中，图像的全局能量为先验能量数据项和局部能量数据项的和，先验能量数据项的输入数据为图像的每个像素点分别对应每个预设标注的先验概率，局部能量数据项的输入数据为根据图像的每个像素点分别对应每个预设标注的局部概率；
步骤b，优化第一全局能量函数，获得图像的中间识别结果，中间识别结果为，使图像的全局能量达到极大值或极小值的，图像的每个像素点所对应的标注，
步骤c，判断中间识别结果是否收敛，若收敛，则确定中间识别结果为图像的最终识别结果，否则根据中间识别结果更新图像的每个像素点分别对应每个标注的局部概率，并执行步骤a。
在本发明中，先验计算模块202用于确定图像的每个像素点分别对应每个标注的先验概率，并根据先验概率确定图像的先验识别结果，然后根据图像的每个像素点的特征数据和先验识别结果训练获得识别图像的聚类模型，并根据聚类模型确定图像的每个像素点分别对应每个标注的局部概率。
在本发明中，迭代计算模块进一步用于根据图像的每个像素点的特征数据和中间识别结果训练获得识别图像的聚类模型，并根据聚类模型确定图像的每个像素点分别对应每个标注的局部概率。
在本发明中，在第一全局能量函数中，图像的全局能量为先验能量数据项、局部能量数据项以及邻域像素点的标注一致性约束项的和，邻域像素点的标注一致性约束项的数据输入为邻域像素点的先验识别结果。
在本发明中，若当前图像存在相邻帧图像，则在第一全局能量函数中，图像的全局能量为先验能量数据项、局部能量数据项、邻域像素点的标注一致性约束项以及当前图像与其相邻帧图像像素点的标注一致性约束项的和，当前图像与其相邻帧图像像素点的标注一致性约束项的数据输入为当前图像的像素点的先验识别结果和其相邻帧图像的对应像素点的最终识别结果。
在本发明中，若当前图像存在相邻帧图像，第一全局能量函数E(Lt)＝w1D1(Lt|Θp)+w2D2(Lt|ΘI)+w1S3(Lt)+w4S2(Lt)；
若当前图像不存在相邻帧图像，第一全局能量函数E(Lt)＝w1D1(Lt|Θp)+w2D2(Lt|ΘI)+w1S1(Lt)；
其中，Lt表示图像全局标注，D1(Lt|Θp)表示先验能量数据项，Θp表示先验模型，D2(Lt|ΘI)表示局部能量数据项，ΘI表示聚类模型，
邻域Nb中像素点i与相邻像素点j的标注一致性约束项
Figure BDA0001722577230000181
其中，
Figure BDA0001722577230000182
为领域像素点的相似性加权，{lt,i|lt,i∈Lt}表示t时刻的图像It中每个像素i的标注；
t时刻与t-1时刻的图像像素点的标注一致性约束项S2(Lt)＝∑i|lt,i-lt-1,i|δ(It,i,It-1,i)，其中，δ(It,i,It-1,i)为相邻帧图像像素点的相似性加权。
在本发明中，先验计算模块进一步用于获取图像的第二全局能量函数，在第二全局能量函数中，图像的全局能量为先验能量数据项。然后优化第二全局能量函数，以获得图像的先验识别结果，先验识别结果为，使图像的全局能量达到极大值或极小值的，图像的每个像素点所对应的标注。
在本发明中，在第二全局能量函数中，图像的全局能量为先验能量数据项与邻域像素点的标注一致性约束项的和，邻域像素点的标注一致性约束项的数据输入为邻域像素点的初始识别结果。
在本发明中，第二全局能量函数E(Lt)＝w1D1(Lt|Θp)+w1S1(Lt)；
其中，Lt表示图像全局标注，D1(Lt|Θp)表示先验能量数据项，Θp表示先验模型，
邻域Nb中像素点i与相邻像素点j的标注一致性约束项
Figure BDA0001722577230000183
其中，
Figure BDA0001722577230000184
为领域像素点的相似性加权，{lt,i|lt,i∈Lt}表示t时刻的图像It中每个像素i的标注。
在本发明中，先验计算模块进一步用于将当前图像的相邻帧图像的最终识别结果，作为当前图像的先验识别结果。
在本发明中，先验计算模块进一步用于获取当前图像的每个像素点的特征数据。然后将每个像素点的特征数据输入预设的先验模型，以得到每个像素点分别对应每个标注的先验概率。
在本发明中，每个像素点的特征数据包括：每个像素点的点云特征数据和图像特征数据，其中，点云特征数据包括：高程数据，图像特征数据包括：RGB颜色数据和辐射度数据；
先验计算模块进一步用于将的图像与其点云对准，建立点云和图像的匹配关系，然后根据匹配关系将点云投影到图像以获得图像的栅格图，进而从栅格图中提取获得每个像素点的RGB颜色、辐射度和高程数据。
图3示出了可以应用本发明实施例的图像识别方法或图像识别装置的示例性系统架构300。
如图3所示，系统架构300可以包括终端设备301、302、303，网络304和服务器305。网络304用以在终端设备301、302、303和服务器305之间提供通信链路的介质。网络304可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备301、302、303通过网络304与服务器305交互，以接收或发送消息等。终端设备301、302、303上可以安装有各种通讯客户端应用。
终端设备301、302、303可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。
服务器305可以是提供各种服务的服务器，例如进行图像识别的服务器。
需要说明的是，本发明实施例所提供的图像识别方法一般由服务器305执行，相应地，图像识别装置一般设置于服务器305中。
应该理解，图3中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
下面参考图4，其示出了适于用来实现本发明实施例的终端设备的计算机系统400的结构示意图。图4示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。
以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。
特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本发明的系统中限定的上述功能。
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括先验计算模块和迭代计算模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定。
作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：
步骤a，获取所述图像的第一全局能量函数，所述第一全局能量函数包括先验能量数据项和局部能量数据项，所述先验能量数据项的输入数据为所述图像的每个像素点分别对应每个所述预设标注的先验概率，所述局部能量数据项的输入数据为根据所述图像的每个像素点分别对应每个所述预设标注的局部概率；
步骤b，优化所述第一全局能量函数，获得所述图像的中间识别结果，所述中间识别结果为，使所述图像的全局能量达到极大值或极小值的，所述图像的每个像素点所对应的标注；
步骤c，判断所述中间识别结果是否收敛，若收敛，则确定所述中间识别结果为所述图像的最终识别结果，否则根据所述中间识别结果更新所述图像的每个像素点分别对应每个标注的局部概率，并执行步骤a。
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (24)

1.一种图像识别方法，其特征在于，所述方法用于对图像中的像素点进行识别，以确定在多个预设标注中，所述像素点所对应的标注，
所述方法包括：
步骤a，获取所述图像的第一全局能量函数，所述第一全局能量函数包括先验能量数据项和局部能量数据项，所述先验能量数据项的输入数据为所述图像的每个像素点分别对应每个所述预设标注的先验概率，所述局部能量数据项的输入数据为根据所述图像的每个像素点分别对应每个所述预设标注的局部概率；
步骤b，优化所述第一全局能量函数，获得所述图像的中间识别结果，所述中间识别结果为，使所述图像的全局能量达到极大值或极小值的，所述图像的每个像素点所对应的标注；
步骤c，判断所述中间识别结果是否收敛，若收敛，则确定所述中间识别结果为所述图像的最终识别结果；否则根据所述图像的每个像素点的特征数据和所述中间识别结果训练获得识别所述图像的聚类模型，并根据所述聚类模型确定所述图像的每个像素点分别对应每个标注的局部概率，并执行步骤a。
2.根据权利要求1所述的方法，其特征在于，在所述获取图像的第一全局能量函数的步骤之前还包括：
确定图像的每个像素点分别对应每个标注的先验概率，并根据所述先验概率确定所述图像的先验识别结果；
根据所述图像的每个像素点的特征数据和所述先验识别结果训练获得识别所述图像的聚类模型，并根据所述聚类模型确定所述图像的每个像素点分别对应每个标注的局部概率。
3.根据权利要求1所述的方法，其特征在于，所述第一全局能量函数还包括邻域像素点的标注一致性约束项，所述邻域像素点的标注一致性约束项的数据输入为邻域像素点的先验识别结果。
4.根据权利要求3所述的方法，其特征在于，若当前图像存在相邻帧图像，则所述第一全局能量函数还包括当前图像与其相邻帧图像像素点的标注一致性约束项，所述当前图像与其相邻帧图像像素点的标注一致性约束项的数据输入为当前图像的像素点的先验识别结果和其相邻帧图像的对应像素点的最终识别结果。
5.根据权利要求4所述的方法，其特征在于，
若当前图像存在相邻帧图像，所述第一全局能量函数E(Lt)＝w1D1(Lt|Θp)+w2D2(Lt|ΘI)+w3S1(Lt)+w4S2(Lt)；
若当前图像不存在相邻帧图像，所述第一全局能量函数E(Lt)＝w1D1(Lt|Θp)+w2D2(Lt|ΘI)+w3S1(Lt)；
其中，Lt表示图像全局标注，D1(Lt|Θp)表示先验能量数据项，Θp表示先验模型，D2(Lt|ΘI)表示局部能量数据项，ΘI表示聚类模型
邻域Nb中像素点i与相邻像素点j的标注一致性约束项
Figure FDA0003189899440000021
其中，
Figure FDA0003189899440000022
为领域像素点的相似性加权，{lt,i|lt,i∈Lt}表示t时刻的图像It中每个像素i的标注；
t时刻与t-1时刻的图像像素点的标注一致性约束项S2(Lt)＝∑i|lt,i-lt-1,i|δ(It,i,It-1,i)，其中，δ(It,i,It-1,i)为相邻帧图像像素点的相似性加权，w1、w2、w3和w4为上述各项的权重系数。
6.根据权利要求2所述的方法，其特征在于，所述确定图像的先验识别结果包括：
获取所述图像的第二全局能量函数，所述第二全局能量函数包括所述先验能量数据项；
优化所述第二全局能量函数，以获得所述图像的先验识别结果，所述先验识别结果为，使所述图像的全局能量达到极大值或极小值的，所述图像的每个像素点所对应的标注。
7.根据权利要求6所述的方法，其特征在于，所述第二全局能量函数还包括：邻域像素点的标注一致性约束项，所述邻域像素点的标注一致性约束项的数据输入为邻域像素点的初始识别结果。
8.根据权利要求7所述的方法，其特征在于，
所述第二全局能量函数E(Lt)＝w1D1(Lt|Θp)+w3S1(Lt)；
其中，Lt表示图像全局标注，D1(Lt|Θp)表示先验能量数据项，Θp表示先验模型，
邻域Nb中像素点i与相邻像素点j的标注一致性约束项
Figure FDA0003189899440000031
其中，
Figure FDA0003189899440000032
为领域像素点的相似性加权，{lt,i|lt,i∈Lt}表示t时刻的图像It中每个像素i的标注，w1和w3为上述各项的权重系数。
9.根据权利要求2所述的方法，其特征在于，所述确定图像的先验识别结果包括：
将当前图像的相邻帧图像的所述最终识别结果，作为当前图像的所述先验识别结果。
10.根据权利要求2所述的方法，其特征在于，所述确定图像的每个像素点分别对应每个标注的先验概率包括：
获取当前图像的每个像素点的特征数据；
将所述每个像素点的特征数据输入预设的先验模型，以得到每个像素点分别对应每个标注的先验概率。
11.根据权利要求2或10所述的方法，其特征在于，所述每个像素点的特征数据包括：所述每个像素点的点云特征数据和图像特征数据，其中，所述点云特征数据包括：高程数据，所述图像特征数据包括：RGB颜色数据和辐射度数据；
获取图像的每个像素点的特征数据包括：
将所述的图像与其点云对准，建立点云和图像的匹配关系；
根据所述匹配关系将点云投影到所述图像以获得所述图像的栅格图；
从所述栅格图中提取获得每个像素点的RGB颜色、辐射度和高程数据。
12.一种图像识别装置，其特征在于，所述装置用于对图像中的像素点进行识别，以确定在多个预设标注中，所述像素点所对应的标注，
所述装置包括：迭代计算模块，用于执行下述步骤：
步骤a，获取所述图像的第一全局能量函数，所述第一全局能量函数包括先验能量数据项和局部能量数据项，所述先验能量数据项的输入数据为所述图像的每个像素点分别对应每个所述预设标注的先验概率，所述局部能量数据项的输入数据为根据所述图像的每个像素点分别对应每个所述预设标注的局部概率；
步骤b，优化所述第一全局能量函数，获得所述图像的中间识别结果，所述中间识别结果为，使所述图像的全局能量达到极大值或极小值的，所述图像的每个像素点所对应的标注，
步骤c，判断所述中间识别结果是否收敛，若收敛，则确定所述中间识别结果为所述图像的最终识别结果；否则根据所述图像的每个像素点的特征数据和所述中间识别结果训练获得识别所述图像的聚类模型，并根据所述聚类模型确定所述图像的每个像素点分别对应每个标注的局部概率，并执行步骤a。
13.根据权利要求12所述的装置，其特征在于，所述装置还包括：
先验计算模块，用于确定图像的每个像素点分别对应每个标注的先验概率，并根据所述先验概率确定所述图像的先验识别结果；
根据所述图像的每个像素点的特征数据和所述先验识别结果训练获得识别所述图像的聚类模型，并根据所述聚类模型确定所述图像的每个像素点分别对应每个标注的局部概率。
14.根据权利要求12所述的装置，其特征在于，所述第一全局能量函数还包括邻域像素点的标注一致性约束项，所述邻域像素点的标注一致性约束项的数据输入为邻域像素点的先验识别结果。
15.根据权利要求14所述的装置，其特征在于，若当前图像存在相邻帧图像，则所述第一全局能量函数还包括当前图像与其相邻帧图像像素点的标注一致性约束项，所述当前图像与其相邻帧图像像素点的标注一致性约束项的数据输入为当前图像的像素点的先验识别结果和其相邻帧图像的对应像素点的最终识别结果。
16.根据权利要求15所述的装置，其特征在于，
若当前图像存在相邻帧图像，所述第一全局能量函数E(Lt)＝w1D1(Lt|Θp)+w2D2(Lt|ΘI)+w3S1(Lt)+w4S2(Lt)；
若当前图像不存在相邻帧图像，所述第一全局能量函数E(Lt)＝w1D1(Lt|Θp)+w2D2(Lt|ΘI)+w3S1(Lt)；
其中，Lt表示图像全局标注，D1(Lt|Θp)表示先验能量数据项，Θp表示先验模型，D2(Lt|ΘI)表示局部能量数据项，ΘI表示聚类模型
邻域Nb中像素点i与相邻像素点j的标注一致性约束项
Figure FDA0003189899440000051
其中，
Figure FDA0003189899440000052
为领域像素点的相似性加权，{lt,i|lt,i∈Lt}表示t时刻的图像It中每个像素i的标注；
t时刻与t-1时刻的图像像素点的标注一致性约束项S2(Lt)＝∑i|lt,i-lt-1,i|δ(It,i,It-1,i)，其中，δ(It,i,It-1,i)为相邻帧图像像素点的相似性加权，w1、w2、w3和w4为上述各项的权重系数。
17.根据权利要求13所述的装置，其特征在于，所述先验计算模块进一步用于获取所述图像的第二全局能量函数，所述第二全局能量函数包括所述先验能量数据项；
优化所述第二全局能量函数，以获得所述图像的先验识别结果，所述先验识别结果为，使所述图像的全局能量达到极大值或极小值的，所述图像的每个像素点所对应的标注。
18.根据权利要求17所述的装置，其特征在于，所述第二全局能量函数还包括：邻域像素点的标注一致性约束项，所述邻域像素点的标注一致性约束项的数据输入为邻域像素点的初始识别结果。
19.根据权利要求18所述的装置，其特征在于，
所述第二全局能量函数E(Lt)＝w1D1(Lt|Θp)+w3S1(Lt)；
其中，Lt表示图像全局标注，D1(Lt|Θp)表示先验能量数据项，Θp表示先验模型，
邻域Nb中像素点i与相邻像素点j的标注一致性约束项
Figure FDA0003189899440000061
其中，
Figure FDA0003189899440000062
为领域像素点的相似性加权，{lt,i|lt,i∈Lt}表示t时刻的图像It中每个像素i的标注，w1和w3为上述各项的权重系数。
20.根据权利要求13所述的装置，其特征在于，所述先验计算模块进一步用于将当前图像的相邻帧图像的所述最终识别结果，作为当前图像的所述先验识别结果。
21.根据权利要求13所述的装置，其特征在于，所述先验计算模块进一步用于获取当前图像的每个像素点的特征数据；
将所述每个像素点的特征数据输入预设的先验模型，以得到每个像素点分别对应每个标注的先验概率。
22.根据权利要求13或21所述的装置，其特征在于，所述每个像素点的特征数据包括：所述每个像素点的点云特征数据和图像特征数据，其中，所述点云特征数据包括：高程数据，所述图像特征数据包括：RGB颜色数据和辐射度数据；
所述先验计算模块进一步用于将所述的图像与其点云对准，建立点云和图像的匹配关系；
根据所述匹配关系将点云投影到所述图像以获得所述图像的栅格图；
从所述栅格图中提取获得每个像素点的RGB颜色、辐射度和高程数据。
23.一种图像识别电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一所述的方法。
24.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-11中任一所述的方法。
CN201810738255.6A 2018-07-06 2018-07-06 一种图像识别方法和装置 Active CN110378359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810738255.6A CN110378359B (zh) 2018-07-06 2018-07-06 一种图像识别方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810738255.6A CN110378359B (zh) 2018-07-06 2018-07-06 一种图像识别方法和装置

Publications (2)

Publication Number Publication Date
CN110378359A CN110378359A (zh) 2019-10-25
CN110378359B true CN110378359B (zh) 2021-11-05

Family

ID=68243758

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810738255.6A Active CN110378359B (zh) 2018-07-06 2018-07-06 一种图像识别方法和装置

Country Status (1)

Country Link
CN (1) CN110378359B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682477A (zh) * 2012-05-16 2012-09-19 南京邮电大学 一种基于结构先验的规则场景三维信息提取方法
GB201320361D0 (en) * 2013-11-19 2014-01-01 Nokia Corp Automatic scene parsing
CN104166988A (zh) * 2014-07-10 2014-11-26 北京工业大学 一种融入稀疏匹配信息的立体图像同步分割方法
CN105389584A (zh) * 2015-10-13 2016-03-09 西北工业大学 基于卷积神经网络与语义转移联合模型的街景语义标注方法
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
CN106778605A (zh) * 2016-12-14 2017-05-31 武汉大学 导航数据辅助下的遥感影像道路网自动提取方法
CN107292253A (zh) * 2017-06-09 2017-10-24 西安交通大学 一种道路行驶区域的视觉检测方法
CN107610126A (zh) * 2017-08-31 2018-01-19 浙江工业大学 一种基于局部先验分布的交互式图像分割方法
CN107622244A (zh) * 2017-09-25 2018-01-23 华中科技大学 一种基于深度图的室内场景精细化解析方法
CN107909576A (zh) * 2017-11-22 2018-04-13 南开大学 基于支撑语义关系的室内rgb‑d图像物体分割方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102682477A (zh) * 2012-05-16 2012-09-19 南京邮电大学 一种基于结构先验的规则场景三维信息提取方法
GB201320361D0 (en) * 2013-11-19 2014-01-01 Nokia Corp Automatic scene parsing
CN104166988A (zh) * 2014-07-10 2014-11-26 北京工业大学 一种融入稀疏匹配信息的立体图像同步分割方法
CN105389584A (zh) * 2015-10-13 2016-03-09 西北工业大学 基于卷积神经网络与语义转移联合模型的街景语义标注方法
CN106127153A (zh) * 2016-06-24 2016-11-16 南京林业大学 车载激光扫描点云数据的交通标牌识别方法
CN106778605A (zh) * 2016-12-14 2017-05-31 武汉大学 导航数据辅助下的遥感影像道路网自动提取方法
CN107292253A (zh) * 2017-06-09 2017-10-24 西安交通大学 一种道路行驶区域的视觉检测方法
CN107610126A (zh) * 2017-08-31 2018-01-19 浙江工业大学 一种基于局部先验分布的交互式图像分割方法
CN107622244A (zh) * 2017-09-25 2018-01-23 华中科技大学 一种基于深度图的室内场景精细化解析方法
CN107909576A (zh) * 2017-11-22 2018-04-13 南开大学 基于支撑语义关系的室内rgb‑d图像物体分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Scene Parsing With Integration of Parametric and Non-Parametric Models";Bing Shuai等;《IEEE Transactions on Image Processing》;20160224;2379-2391页 *
"一种双层条件随机场的场景解析方法";李艳丽等;《计算机学报》;20130930;第36卷(第9期);1898-1907页 *

Also Published As

Publication number Publication date
CN110378359A (zh) 2019-10-25

Similar Documents

Publication Publication Date Title
CN108304835B (zh) 文字检测方法和装置
CN108256479B (zh) 人脸跟踪方法和装置
WO2020125495A1 (zh) 一种全景分割方法、装置及设备
WO2020006961A1 (zh) 用于提取图像的方法和装置
CN108073910B (zh) 用于生成人脸特征的方法和装置
CN110379020B (zh) 一种基于生成对抗网络的激光点云上色方法和装置
CN109344762B (zh) 图像处理方法和装置
US11941529B2 (en) Method and apparatus for processing mouth image
CA3052846A1 (en) Character recognition method, device, electronic device and storage medium
EP3973507B1 (en) Segmentation for holographic images
CN111742345A (zh) 通过着色的视觉跟踪
CN112906492A (zh) 视频场景处理方法、装置、设备及介质
CN111179276B (zh) 一种图像处理方法和装置
CN113411550B (zh) 视频上色方法、装置、设备及存储介质
CN113223011B (zh) 基于引导网络和全连接条件随机场的小样本图像分割方法
CN114333062A (zh) 基于异构双网络和特征一致性的行人重识别模型训练方法
Ansari et al. A novel approach for scene text extraction from synthesized hazy natural images
CN117315758A (zh) 面部表情的检测方法、装置、电子设备及存储介质
CN110378359B (zh) 一种图像识别方法和装置
CN109598206B (zh) 动态手势识别方法及装置
CN115375657A (zh) 息肉检测模型的训练方法、检测方法、装置、介质及设备
CN115375656A (zh) 息肉分割模型的训练方法、分割方法、装置、介质及设备
CN113780294A (zh) 文本字符分割的方法和装置
CN111191580B (zh) 合成渲染方法、装置、电子设备及介质
CN112434698A (zh) 字符识别方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant