CN112633151B - 一种确定监控图像中斑马线的方法、装置、设备及介质 - Google Patents
一种确定监控图像中斑马线的方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN112633151B CN112633151B CN202011528075.9A CN202011528075A CN112633151B CN 112633151 B CN112633151 B CN 112633151B CN 202011528075 A CN202011528075 A CN 202011528075A CN 112633151 B CN112633151 B CN 112633151B
- Authority
- CN
- China
- Prior art keywords
- probability
- sample
- pixel point
- image
- vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 282
- 241000283070 Equus zebra Species 0.000 title claims abstract description 280
- 238000000034 method Methods 0.000 title claims abstract description 93
- 239000013598 vector Substances 0.000 claims abstract description 536
- 230000004927 fusion Effects 0.000 claims description 150
- 238000012549 training Methods 0.000 claims description 91
- 238000001514 detection method Methods 0.000 claims description 65
- 230000015654 memory Effects 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 230000000903 blocking effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 47
- 238000010586 diagram Methods 0.000 description 28
- 230000003287 optical effect Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 4
- 206010039203 Road traffic accident Diseases 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
Abstract
本发明公开了一种确定监控图像中斑马线的方法、装置、设备及介质，用以解决现有技术中移动物体对斑马线可能发生遮挡，使监控场景中斑马线的完整度得不到保证的问题。鉴于移动物体对斑马线的遮挡是随时间的推移而变化的，由于本发明实施例可以基于至少两个监控图像的第一概率向量，确定该至少两个监控图像对应的融合图像的第二概率向量，其中第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值，针对融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点，从而可以减小移动物体对监控场景中斑马线的完整度的影响，在一定程度上保证可以获取到完整度相对较高的斑马线图像。
Description
技术领域
本发明涉及图像处理技术领域，尤其涉及一种确定监控图像中斑马线的方法、装置、设备及介质。
背景技术
通常情况下，行人和车辆均应当按照交通信号灯的指示规范有序通行。然而，在实际生活中，行人和车辆闯红灯的现象屡见不鲜，这不仅会妨碍其他行人和车辆的正常行驶，导致路口通行效率低下，更加可能造成交通事故，是一种对自身和他人的安全不负责任的行为。
为了减少交通事故、规范交通秩序、提升城市形象，建立智慧交通系统是未来交通系统的发展方向。其中监控图像中斑马线的完整度越高，越有利于智慧交通系统中对闯红灯行为的准确判别。
然而在实际监控场景中，斑马线经常会被一些移动物体所遮挡，图1为本发明实施例提供的一种斑马线被遮挡的示意图，图2为本发明实施例提供的另一种斑马线被遮挡的示意图，如图1和图2所示，例如在绿灯时，行人和车辆过马路时会对斑马线造成遮挡；在红灯时，斑马线又可能会被闯红灯的行人和车辆遮挡，移动物体对斑马线的遮挡可能会使监控图像中斑马线的完整度得不到保证，因此亟需一种可以减小移动物体对斑马线的完整度的影响，保证可以获取到完整度相对较高的斑马线图像的技术方案。
发明内容
本发明提供了一种确定监控图像中斑马线的方法、装置、设备及介质，用以解决现有技术中移动物体对斑马线可能发生遮挡，使监控场景中斑马线的完整度得不到保证的问题。
第一方面，本发明实施例提供了一种确定监控图像中斑马线的方法，所述方法包括：
针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的概率模型，确定该监控图像的第一概率向量，其中所述第一概率向量包括该监控图像中每个像素点为斑马线像素点的第一概率值；
将至少两个监控图像的第一概率向量输入预先训练完成的融合模型，确定所述至少两个监控图像对应的融合图像的第二概率向量，其中所述第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值；
针对所述融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。
进一步地，所述将至少两个监控图像的第一概率向量输入预先训练完成的融合模型之前，所述方法还包括：
针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的目标检测模型，确定该监控图像的位置向量和第三概率向量，其中所述位置向量包括该监控图像中斑马线区域对应的第一位置、每个物体对应的第二位置，所述第三概率向量包括该监控图像中每个像素点为斑马线像素点和任一物体像素点的第三概率值；
针对每个物体，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，则将该物体和所述斑马线区域确定为关注目标；并根据预先保存的关注目标标识，确定该监控图像的关注标识向量，其中所述关注标识向量中该监控图像的所述关注目标的像素点对应有所述关注目标标识；将所述第三概率向量和所述关注标识向量输入预先训练完成的权重确定模型，确定所述关注目标的权重向量，其中所述权重向量包括所述关注目标的每个像素点对应的目标权重系数；针对关注目标对应的每个像素点，根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新。
进一步地，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，所述将该物体和所述斑马线区域确定为关注目标之前，所述方法还包括：
基于至少两个监控图像，确定该物体的速度，判断所述速度是否大于预设的速度阈值，若是，则进行后续将该物体和所述斑马线区域确定为关注目标的步骤。
进一步地，训练所述概率模型的过程包括：
获取样本集中任一样本图像，所述样本图像对应有第一样本概率向量，其中所述第一样本概率向量包括所述样本图像中每个像素点为斑马线像素点的第一样本概率值；
通过原始概率模型，确定所述样本图像的第一识别概率向量，其中所述第一识别概率向量包括所述样本图像中每个像素点为斑马线像素点的第一识别概率值；
根据所述第一样本概率向量和所述第一识别概率向量，对原始概率模型进行训练，得到训练完成的概率模型。
进一步地，训练所述融合模型的过程包括：
获取样本集中至少两个样本图像的第一概率向量，所述至少两个样本图像的第一概率向量对应有样本融合图像的第二样本概率向量，其中所述第二样本概率向量包括所述样本融合图像中每个像素点为斑马线像素点的第二样本概率值；
通过原始融合模型，确定所述至少两个样本图像对应的识别融合图像的第二识别概率向量，其中所述第二识别概率向量包括所述识别融合图像中每个像素点为斑马线像素点的第二识别概率值；
根据所述第二样本概率向量和所述第二识别概率向量，对原始融合模型进行训练，得到训练完成的融合模型。
进一步地，训练所述目标检测模型的过程包括：
获取样本集中任一包含有候选关注目标的样本图像，所述样本图像对应有样本类型标签、所述样本类型标签对应的候选关注目标在所述样本图像中的样本位置信息、以及第三样本概率向量；其中所述样本类型标签用于标识所述样本图像中包含的候选关注目标的类型，所述第三样本概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三样本概率值；
通过原始目标检测模型，确定所述样本图像中包含的候选关注目标的识别类型标签、对应的识别位置信息以及第三识别概率向量，其中所述第三识别概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三识别概率值；
根据所述样本类型标签和所述识别类型标签、所述样本位置信息和所述识别位置信息、以及所述第三样本概率向量和所述第三识别概率向量，对原始目标检测模型进行训练，得到训练完成的目标检测模型。
进一步地，训练所述权重确定模型的过程包括：
获取样本集中任一样本图像的第三概率向量和关注标识向量，所述样本图像的第三概率向量和关注标识向量对应有样本权重向量，其中所述样本权重向量包括样本图像中关注目标的每个像素点对应的样本权重系数；
通过原始权重确定模型，确定所述样本图像的第三概率向量和关注标识向量对应的识别权重向量，其中所述识别权重向量包括样本图像中关注目标的每个像素点对应的识别权重系数；
根据所述样本权重向量和所述识别权重向量，对原始权重确定模型进行训练，得到训练完成的权重确定模型。
第二方面，本发明实施例还提供了一种确定监控图像中斑马线的装置，所述装置包括：
第一确定模块，用于针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的概率模型，确定该监控图像的第一概率向量，其中所述第一概率向量包括该监控图像中每个像素点为斑马线像素点的第一概率值；
融合模块，用于将至少两个监控图像的第一概率向量输入预先训练完成的融合模型，确定所述至少两个监控图像对应的融合图像的第二概率向量，其中所述第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值；
第二确定模块，用于针对所述融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。
进一步地，所述第一确定模块，还用于针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的目标检测模型，确定该监控图像的位置向量和第三概率向量，其中所述位置向量包括该监控图像中斑马线区域对应的第一位置、每个物体对应的第二位置，所述第三概率向量包括该监控图像中每个像素点为斑马线像素点和任一物体像素点的第三概率值；
针对每个物体，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，则将该物体和所述斑马线区域确定为关注目标；并根据预先保存的关注目标标识，确定该监控图像的关注标识向量，其中所述关注标识向量中该监控图像的所述关注目标的像素点对应有所述关注目标标识；将所述第三概率向量和所述关注标识向量输入预先训练完成的权重确定模型，确定所述关注目标的权重向量，其中所述权重向量包括所述关注目标的每个像素点对应的目标权重系数；针对关注目标对应的每个像素点，根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新。
进一步地，所述第一确定模块，还用于若该物体的第二位置与所述斑马线区域的第一位置部分重叠，所述将该物体和所述斑马线区域确定为关注目标之前，基于至少两个监控图像，确定该物体的速度，判断所述速度是否大于预设的速度阈值，若是，则进行后续将该物体和所述斑马线区域确定为关注目标的步骤。
进一步地，训练所述概率模型的过程包括：
获取样本集中任一样本图像，所述样本图像对应有第一样本概率向量，其中所述第一样本概率向量包括所述样本图像中每个像素点为斑马线像素点的第一样本概率值；
通过原始概率模型，确定所述样本图像的第一识别概率向量，其中所述第一识别概率向量包括所述样本图像中每个像素点为斑马线像素点的第一识别概率值；
根据所述第一样本概率向量和所述第一识别概率向量，对原始概率模型进行训练，得到训练完成的概率模型。
进一步地，训练所述融合模型的过程包括：
获取样本集中至少两个样本图像的第一概率向量，所述至少两个样本图像的第一概率向量对应有样本融合图像的第二样本概率向量，其中所述第二样本概率向量包括所述样本融合图像中每个像素点为斑马线像素点的第二样本概率值；
通过原始融合模型，确定所述至少两个样本图像对应的识别融合图像的第二识别概率向量，其中所述第二识别概率向量包括所述识别融合图像中每个像素点为斑马线像素点的第二识别概率值；
根据所述第二样本概率向量和所述第二识别概率向量，对原始融合模型进行训练，得到训练完成的融合模型。
进一步地，训练所述目标检测模型的过程包括：
获取样本集中任一包含有候选关注目标的样本图像，所述样本图像对应有样本类型标签、所述样本类型标签对应的候选关注目标在所述样本图像中的样本位置信息、以及第三样本概率向量；其中所述样本类型标签用于标识所述样本图像中包含的候选关注目标的类型，所述第三样本概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三样本概率值；
通过原始目标检测模型，确定所述样本图像中包含的候选关注目标的识别类型标签、对应的识别位置信息以及第三识别概率向量，其中所述第三识别概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三识别概率值；
根据所述样本类型标签和所述识别类型标签、所述样本位置信息和所述识别位置信息、以及所述第三样本概率向量和所述第三识别概率向量，对原始目标检测模型进行训练，得到训练完成的目标检测模型。
进一步地，训练所述权重确定模型的过程包括：
获取样本集中任一样本图像的第三概率向量和关注标识向量，所述样本图像的第三概率向量和关注标识向量对应有样本权重向量，其中所述样本权重向量包括样本图像中关注目标的每个像素点对应的样本权重系数；
通过原始权重确定模型，确定所述样本图像的第三概率向量和关注标识向量对应的识别权重向量，其中所述识别权重向量包括样本图像中关注目标的每个像素点对应的识别权重系数；
根据所述样本权重向量和所述识别权重向量，对原始权重确定模型进行训练，得到训练完成的权重确定模型。
第三方面，本发明实施例还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如上述任一所述确定监控图像中斑马线的方法的步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一所述确定监控图像中斑马线的方法的步骤。
本发明实施例可以基于至少两个监控图像的第一概率向量，确定该至少两个监控图像对应的融合图像的第二概率向量，其中第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值，针对融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。由于本发明实施例中，融合图像的第二概率向量是基于至少两个监控图像的第一概率向量获得的，鉴于移动物体对斑马线的遮挡是随时间的推移而变化的，相比只基于单个监控图像确定监控场景中斑马线图像而言，本发明实施例可以减小移动物体对监控场景中斑马线的完整度的影响，从而可以在一定程度上保证可以获取到完整度相对较高的斑马线图像。
附图说明
图1为本发明实施例提供的一种斑马线被遮挡的示意图；
图2为本发明实施例提供的另一种斑马线被遮挡的示意图；
图3为本发明实施例提供的第一种确定监控图像中斑马线过程示意图；
图4为本发明实施例提供的第二种确定监控图像中斑马线过程示意图；
图5为本发明实施例提供的第三种确定监控图像中斑马线过程示意图；
图6为本发明实施例提供的确定关注目标过程示意图；
图7为本发明实施例提供的监控图像示意图；
图8为本发明实施例提供的第四种确定监控图像中斑马线过程示意图；
图9为本发明实施例提供的第五种确定监控图像中斑马线过程示意图；
图10为本发明实施例提供的第六种确定监控图像中斑马线过程示意图；
图11为本发明实施例提供的一种确定监控图像中斑马线的装置示意图；
图12为本发明实施例提供的一种电子设备结构示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
为了在一定程度上保证监控场景中斑马线的完整度，本发明实施例提供了一种确定监控图像中斑马线的方法、装置、设备及介质。
实施例1：
图3为本发明实施例提供的第一种确定监控图像中斑马线过程示意图，该过程包括以下步骤：
S301：针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的概率模型，确定该监控图像的第一概率向量，其中所述第一概率向量包括该监控图像中每个像素点为斑马线像素点的第一概率值。
本发明实施例提供的确定监控图像中斑马线的方法应用于电子设备，该电子设备例如可以是进行视频监控的图像采集的设备，或者是可以接收和存储监控图像的终端或者服务器等。
为了确定监控图像中的斑马线，电子设备针对接收到的每个监控图像，可以将该监控图像输入预先训练完成的概率模型，通过概率模型，确定该监控图像的第一概率向量，其中第一概率向量包括该监控图像中的每个像素点为斑马线像素点的第一概率值，其中第一概率值可以是大于等于0且小于等于1的正数。在一种可能的实施方式中，该至少两个监控图像可以是连续的多帧监控图像。
S302：将至少两个监控图像的第一概率向量输入预先训练完成的融合模型，确定所述至少两个监控图像对应的融合图像的第二概率向量，其中所述第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值。
由于在实际监控场景中，参见图1和图2，斑马线经常会被一些移动物体所遮挡而使得监控图像中的斑马线不够完整，然而移动物体对斑马线的遮挡是随时间的推移而变化的，为了减小移动物体对斑马线的完整度的影响，在本发明实施例中，可以将至少两个监控图像的第一概率向量输入预先训练完成的融合模型，通过融合模型，确定该至少两个监控图像对应的融合图像的第二概率向量。其中，第二概率向量可以包括该融合图像中每个像素点为斑马线像素点的第二概率值。由于该第二概率向量是基于至少两个监控图像的第一概率向量获得的，相比只基于单个监控图像的第一概率向量确定监控场景中斑马线图像而言，融合图像的第二概率向量可以减小移动物体对斑马线的完整度的影响，可以获取到完整度相对较高的斑马线图像。
S303：针对所述融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。
在基于融合图像确定斑马线时，可以是针对融合图像中的每个像素点，判断该像素点的第二概率值与预设的概率阈值的大小关系，在一种可能的实施方式中，可以是该像素点的第二概率值不小于预设的概率阈值时，可以认为该像素点很大概率是斑马线像素点，可以将该像素点确定为斑马线像素点；否则，如果该像素点的第二概率值小于预设的概率阈值时，可以认为该像素点很大概率不是斑马线像素点，可以将该像素点确定为非斑马线像素点。
本发明实施例可以基于至少两个监控图像的第一概率向量，确定该至少两个监控图像对应的融合图像的第二概率向量，其中第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值，针对融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。由于本发明实施例中，融合图像的第二概率向量是基于至少两个监控图像的第一概率向量获得的，鉴于移动物体对斑马线的遮挡是随时间的推移而变化的，相比只基于单个监控图像确定监控场景中斑马线图像而言，本发明实施例可以减小移动物体对监控场景中斑马线的完整度的影响，从而可以在一定程度上保证可以获取到完整度相对较高的斑马线图像。
实施例2：
为了获得完整度较高的斑马线图像，在上述实施例的基础上，在本发明实施例中，所述将至少两个监控图像的第一概率向量输入预先训练完成的融合模型之前，所述方法还包括：
针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的目标检测模型，确定该监控图像的位置向量和第三概率向量，其中所述位置向量包括该监控图像中斑马线区域对应的第一位置、每个物体对应的第二位置，所述第三概率向量包括该监控图像中每个像素点为斑马线像素点和任一物体像素点的第三概率值；
针对每个物体，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，则将该物体和所述斑马线区域确定为关注目标；并根据预先保存的关注目标标识，确定该监控图像的关注标识向量，其中所述关注标识向量中该监控图像的所述关注目标的像素点对应有所述关注目标标识；将所述第三概率向量和所述关注标识向量输入预先训练完成的权重确定模型，确定所述关注目标的权重向量，其中所述权重向量包括所述关注目标的每个像素点对应的目标权重系数；针对关注目标对应的每个像素点，根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新。
在实际监控场景中，移动物体可能会对斑马线的完整度造成一定影响，尤其是当移动物体处于斑马线边缘位置上时，通常会对获取完整度较高的斑马线图像造成一定的难度。在本发明实施例中，为了获得完整度较高的斑马线图像，在将至少两个监控图像的第一概率向量输入预先训练完成的融合模型之前，针对该接收到的至少两个监控图像中的每个监控图像，可以先将该监控图像输入预先完成的目标检测模型，通过该目标检测模型，确定该监控图像的第三概率向量和位置向量，其中第三概率向量包括该监控图像中每个像素点为斑马线像素点和任一物体像素点的第三概率值，示例性的，以像素点A为例，第三概率向量中包括该像素点A为斑马线像素点的第三概率值0.9，为行人像素点的第三概率值0.2，为车辆像素点的第三概率值0.1。在一种可能的实施方式中，针对每个像素点，可以将该像素点的第三概率值中的最高值对应的像素点类型，确定为该像素点对应的目标类型，仍以上述实施例为例，像素点A的第三概率值中的最高值0.9对应的像素点类型为斑马线，则可以将该像素点确定为斑马线像素点。
在一种可能的实施方式中，可以通过预先训练完成的目标检测模型，基于第三概率值，确定每个像素点的类型，即该像素点为斑马线像素点或任一物体像素点；同时，还可以通过该预先训练完成的目标检测模型，确定该监控图像的位置向量，其中该位置向量包括该监控图像中斑马线区域对应的第一位置、以及每个物体对应的第二位置。
为了判断该监控图像中的每个物体是否位于斑马线的边缘位置，在本发明实施例中，可以针对每个物体，判断该物体的第二位置与该监控图像中的斑马线区域的第一位置是否部分重叠，如果部分重叠，可以认为该物体处于斑马线的边缘，可以将该物体和斑马线区域一并确定为关注目标。在一种可能的实施方式中，物体可以包括行人、机动车、非机动车等。
为了获得完整度较高的斑马线图像，在一种可能的实施方式中，可以基于像素注意力机制对关注目标对应的每个像素点的第一概率值进行更新，在一种可能的实施方式中，可以预先训练一个权重确定模型，然后通过该预先训练完成的权重确定模型，确定关注目标的每个像素点对应的目标权重系数。具体的，确定关注目标的每个像素点对应的目标权重系数的过程如下：
在一种可能的实施方式中，为了识别监控图像中关注目标对应的像素点，可以预先保存关注目标对应的关注目标标识，示例性的，关注目标标识可以是1等，然后根据该预先保存的关注目标标识，确定该监控图像的关注标识向量，其中该关注标识向量中该监控图像的关注目标的像素点对应有关注目标标识。示例性的，如果监控图像的关注目标对应的像素点为第1-第10个像素点，关注目标标识为1，则该监控图像的关注标识向量中第1-第10个像素点的标识信息为关注目标标识1。
在一种可能的实施方式中，除了可以为关注目标对应的像素点设置关注目标标识之外，还可以为非关注目标对应的像素点设置非关注目标标识。其中可以将监控图像中关注目标对应的像素点之外的其他像素点，称为非关注目标对应的像素点。具体的，可以预先保存非关注目标标识，确定的关注标识向量中监控图像的关注目标的像素点对应有关注目标标识，非关注目标的像素点对应有非关注目标标识。仍以上述实施例为例，例如监控图像的关注目标对应的像素点为第1-第10个像素点，关注目标标识为1；非关注目标对应的像素点为第11-第20个像素点，非关注目标标识为0，则该监控图像的关注标识向量中第1-第10个像素点的标识信息为关注目标标识1，第11-第20个像素点的标识信息为非关注目标标识0。
确定了监控图像的关注标识向量和第三概率向量后，可以将该监控图像的关注标识向量和第三概率向量输入预先训练完成的权重确定模型，通过该权重确定模型，确定关注目标的权重向量，其中该权重向量包括该监控图像的关注目标的每个像素点对应的目标权重系数。在一种可能的实施方式中，目标权重系数可以是大于等于0且小于等于1的正数。
确定了关注目标的每个像素点对应的目标权重系数后，针对关注目标对应的每个像素点，可以根据该像素点对应的目标权重系数与该像素点的第一概率值的乘积，对该像素点的第一概率值进行更新。
可以理解的，对第一概率值进行更新后，第一概率向量也随之被更新，针对接收到的至少两个监控图像，可以将至少两个监控图像更新后的第一概率向量输入预先训练完成的融合模型，进而基于更新后的第一概率向量，确定该至少两个监控图像对应的融合图像的第二概率向量。
为方便理解，下面通过一个具体实施例对本发明实施例提供的确定监控图像中斑马线的过程进行说明。图4为本发明实施例提供的第二种确定监控图像中斑马线过程示意图，如图4所示：
针对接收到的每个监控图像，将该监控图像输入预先训练完成的目标检测模型，示例性的，该目标检测模型例如可以是Encoder-decoder模型。通过该目标检测模型确定该监控图像的位置向量和第三概率向量，其中该位置向量包括该监控图像中斑马线区域对应的第一位置、每个物体对应的第二位置；第三概率向量包括该监控图像中每个像素点为斑马线像素点和任一物体像素点的第三概率值。
针对每个物体，判断该物体是否处于斑马线的边缘位置，即判断该物体的第二位置与斑马线区域的第一位置是否部分重叠，示例性，图4中电动车的第二位置和汽车的第二位置均与斑马线区域的第一位置部分重叠，所以可以认为电动车和汽车处于斑马线的边缘位置，可以将电动车、汽车以及斑马线区域确定为关注目标。并根据预先保存的关注目标标识，确定该监控图像的关注标识向量，其中关注标识向量中该监控图像的关注目标的像素点对应有关注目标标识，示例性的，监控图像中关注目标(电动车、汽车以及斑马线区域)的每个像素点对应有关注目标标识1。将第三概率向量和该关注标识向量输入预先训练完成的权重确定模型，确定关注目标的权重向量，其中该权重向量中包括关注目标(电动车、汽车以及斑马线区域)的每个像素点对应的目标权重系数。针对关注目标对应的每个像素点，根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新。
为方便理解，下面再通过一个具体实施例对本发明实施例提供的确定监控图像中斑马线的过程进行说明。图5为本发明实施例提供的第三种确定监控图像中斑马线过程示意图，如图5所示，该过程包括以下步骤：
S501：针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的概率模型，确定该监控图像的第一概率向量，其中第一概率向量包括该监控图像中每个像素点为斑马线像素点的第一概率值。
S502：针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的目标检测模型，确定该监控图像的位置向量和第三概率向量，其中位置向量包括该监控图像中斑马线区域对应的第一位置、每个物体对应的第二位置，第三概率向量包括该监控图像中每个像素点为斑马线像素点和任一物体像素点的第三概率值；针对每个物体，若该物体的第二位置与斑马线区域的第一位置部分重叠，则将该物体和斑马线区域确定为关注目标。
S503：根据预先保存的关注目标标识，确定该监控图像的关注标识向量，其中关注标识向量中该监控图像的关注目标的像素点对应有关注目标标识；将第三概率向量和关注标识向量输入预先训练完成的权重确定模型，确定关注目标的权重向量，其中权重向量包括关注目标的每个像素点对应的目标权重系数；针对关注目标对应的每个像素点，根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新。
S504：基于更新后的第一概率值，将至少两个监控图像的更新后的第一概率向量输入预先训练完成的融合模型，确定该至少两个监控图像对应的融合图像的第二概率向量，其中第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值。
S505：针对融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。
值的说明的是，上述确定监控图像中斑马线的过程所包含的步骤只是一种举例说明，本申请对S501与S502之间的先后顺序不做限定，即将监控图像先输入预先训练完成的概率模型确定该监控图像的第一概率向量，还是先输入预先训练完整的目标检测模型确定该监控图像的位置向量等两个步骤之间的先后顺序不做限定。
由于本发明实施例可以在判断斑马线边缘位置被物体遮挡时，将该物体和斑马线区域确定为关注目标，并基于预先训练完成的权重确定模型，确定关注目标的每个像素点对应的目标权重系数；针对关注目标对应的每个像素点，可以根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新，将至少两个监控图像的更新后的第一概率向量输入预先训练完成的融合模型，确定该至少两个监控图像对应的融合图像的第二概率向量，从而可以进一步保证可以获取到完整度相对较高的斑马线图像。
实施例3：
为了提高确定的斑马线的准确度，在上述各实施例的基础上，在本发明实施例中，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，所述将该物体和所述斑马线区域确定为关注目标之前，所述方法还包括：
基于至少两个监控图像，确定该物体的速度，判断所述速度是否大于预设的速度阈值，若是，则进行后续将该物体和所述斑马线区域确定为关注目标的步骤。
在实际监控场景中，斑马线的边缘位置可能停放有车辆等物体，该物体是静止停放在斑马线边缘位置处的，虽然其对斑马线区域也造成了一定的遮挡，但是该遮挡不是由物体移动造成的，在本发明实施例中，可以不将静止停放在斑马线边缘位置处的物体纳入关注目标，不对其对应的像素点的第一概率值进行更新。
具体的，在判断监控图像中有物体位于斑马线的边缘位置处时，可以先确定该物体的速度，判断该物体的速度是否大于预设的速度阈值，如果是，可以认为该物体是移动的，可以将其确定为关注目标，进而可以确定其对应的目标权重系数，并基于目标权重系数对其对应的每个像素点的第一概率值进行更新，以期可以获取完整度较高的斑马线图像。而如果该物体的速度不大于预设的速度阈值，可以认为该物体是静止的，则可以不将其确定为关注目标，相应的，也不会对其对应的每个像素点的第一概率值进行更新。其中速度阈值的具体数值可以根据需求，灵活设置，本发明实施例对此不做具体限定。
在一种可能的实施方式中，可以基于至少两个监控图像，采用光流法来确定监控图像中每个物体的速度，其中光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，如果物体是静止的，该物体的光流速度为0。具体地，采用光流法确定监控图像中每个物体的速度为现有技术，在此不再赘述。
为方便理解，下面通过一个具体实施例对本发明实施例提供的确定监控图像中斑马线的过程进行说明。图6为本发明实施例提供的确定关注目标过程示意图，如图6所示，该过程包括以下步骤：
基于图6中的a图像和b图像这两个相邻帧监控图像，利用光流法确定监控图像中每个物体的速度。以a图像和b图像中的第一车辆和第二车辆为例，图6中的c图像为基于a图像和b图像确定的监控图像中每个物体的光流速度示意图，第一车辆为静止车辆，其光流速度几乎为0，察觉不到第一车辆的光流速度，第二车辆为正在横穿斑马线的移动车辆，第二车辆的光流速度较大。为了准确确定斑马线，可以将第二车辆确定为关注目标。而将第一车辆排除在关注目标之外，不将第一车辆作为关注目标。
为方便理解，下面通过一个具体实施例对本发明实施例提供的确定监控图像中斑马线的过程进行说明。图7为本发明实施例提供的监控图像示意图，如图7所示，在一种可能的实施方式中，可以基于图7中的d图像、e图像、f图像、g图像、h图像这连续5帧监控图像，确定监控场景中斑马线图像。由图7可以看出，每个监控图像均发生了斑马线遮挡，基于单个监控图像难以得到完整度较高的斑马线图像。
图8为本发明实施例提供的第四种确定监控图像中斑马线过程示意图，如图8所示：将图7中的d图像、e图像、f图像、g图像、h图像这连续5帧监控图像分别输入预先训练完成的概率模型，确定每个监控图像的第一概率向量，其中第一概率向量包括该监控图像中每个像素点为斑马线像素点的第一概率值。
同时，分别将图7中的d图像、e图像、f图像、g图像、h图像这连续5帧监控图像输入预先训练完成的目标检测模型，确定该监控图像的位置向量和第三概率向量，其中位置向量包括该监控图像中斑马线区域对应的第一位置、每个物体对应的第二位置。针对每个物体，若该物体的第二位置与斑马线区域的第一位置部分重叠，基于至少两个监控图像，确定该物体的速度，判断该物体的速度是否大于预设的速度阈值，若是，则将该物体和斑马线区域确定为关注目标；根据预先保存的关注目标标识，确定该监控图像的关注标识向量，其中关注标识向量中该监控图像的所述关注目标的像素点对应有关注目标标识；将第三概率向量和关注标识向量输入预先训练完成的权重确定模型，确定关注目标的权重向量，其中权重向量包括关注目标的每个像素点对应的目标权重系数。
针对关注目标对应的每个像素点，根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新。
基于更新后的第一概率值，将图7中的d图像、e图像、f图像、g图像、h图像这连续5帧监控图像更新后的第一概率向量输入预先训练完成的融合模型，确定图7中的d图像、e图像、f图像、g图像、h图像这连续5帧监控图像对应的融合图像的第二概率向量，其中第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值。
针对该融合图像中的每个像素点，判断该像素点的第二概率值是否小于预设的概率阈值，若是，则将该像素点确定为非斑马线像素点；若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点，进而得到最终的斑马线图像。由图8可以看出，相比图7中的任一单张监控图像，基于多个监控图像，可以得到完整度相对较高的斑马线图像。
其中，在一种可能的实施方式中，融合模型可以是3D卷积神经网络模型，示例性的，如果输入该融合模型的输入参数用n*W*H*C表示，其中n为输入融合模型的第一概率向量的数量，也就是监控图像的数量，针对上述实施例，将图7中的d图像、e图像、f图像、g图像、h图像这连续5帧监控图像更新后的第一概率向量输入预先训练完成的融合模型时，n为5。其中W为监控图像的宽，H为监控图像的高，C为3D卷积神经网络模型的通道数。在一种可能的实施方式中，3D卷积神经网络模型的3D卷积核的大小为k*k*n，其中k可以为3，n表示时间维度，仍以上述实施例为例，n为5。
为方便理解，下面在通过一个具体实施例对本发明实施例提供的确定监控图像中斑马线的过程进行说明。图9为本发明实施例提供的第五种确定监控图像中斑马线过程示意图，图10为本发明实施例提供的第六种确定监控图像中斑马线过程示意图，如图9和图10所示，该过程包括以下步骤：
S1001：针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的概率模型，确定该监控图像的第一概率向量，其中第一概率向量包括该监控图像中每个像素点为斑马线像素点的第一概率值。
S1002：针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的目标检测模型，确定该监控图像的位置向量和第三概率向量，其中位置向量包括该监控图像中斑马线区域对应的第一位置、每个物体对应的第二位置，第三概率向量包括该监控图像中每个像素点为斑马线像素点和任一物体像素点的第三概率值；针对每个物体，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，基于至少两个监控图像，确定该物体的速度，判断该物体的速度是否大于预设的速度阈值，若是，进行S1003。
S1003：将该物体和斑马线区域确定为关注目标；根据预先保存的关注目标标识，确定该监控图像的关注标识向量，其中关注标识向量中该监控图像的所述关注目标的像素点对应有关注目标标识；将第三概率向量和关注标识向量输入预先训练完成的权重确定模型，确定关注目标的权重向量，其中权重向量包括关注目标的每个像素点对应的目标权重系数；针对关注目标对应的每个像素点，根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新。
S1004：基于更新后的第一概率值，将至少两个监控图像的更新后的第一概率向量输入预先训练完成的融合模型，确定该至少两个监控图像对应的融合图像的第二概率向量，其中第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值。
S1005：针对融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。
实施例4：
为了准确确定监控图像的第一概率向量，在上述各实施例的基础上，在本发明实施例中，训练所述概率模型的过程包括：
获取样本集中任一样本图像，所述样本图像对应有第一样本概率向量，其中所述第一样本概率向量包括所述样本图像中每个像素点为斑马线像素点的第一样本概率值；
通过原始概率模型，确定所述样本图像的第一识别概率向量，其中所述第一识别概率向量包括所述样本图像中每个像素点为斑马线像素点的第一识别概率值；
根据所述第一样本概率向量和所述第一识别概率向量，对原始概率模型进行训练，得到训练完成的概率模型。
为了准确确定监控图像的第一概率向量，在本发明实施例中，可以通过预先训练完成的概率模型，确定监控图像的第一概率向量。其中，对该概率模型进行训练时，样本集中包含多个样本图像，每个样本图像都对应有第一样本概率向量，其中该第一样本概率向量包括该样本图像中每个像素点为斑马线像素点的第一样本概率值。
在对原始概率模型进行训练时，可以获取样本集中任一样本图像，该样本图像对应有第一样本概率向量。将该获取到的任一样本图像输入原始概率模型，通过原始概率模型，获取该样本图像对应的第一识别概率向量，其中该第一识别概率向量包括该样本图像中每个像素点为斑马线像素点的第一识别概率值。
具体实施中，确定了输入的样本图像的第一识别概率向量后，因为预先保存了该样本图像的第一样本概率向量，因此可以根据第一识别概率向量与第一样本概率向量是否一致，确定该概率模型的识别结果是否准确。具体实施中，若不一致，说明该概率模型的识别结果不准确，则需要对该概率模型的参数进行调整，从而对概率模型进行训练。
具体实施中，对概率模型中的参数进行调整时，可以采用梯度下降算法，对概率模型的参数的梯度进行反向传播，从而对概率模型进行训练。
在一种可能的实施方式中，可以对样本集中的每个样本图像都进行上述操作，当满足预设的收敛条件时，确定该概率模型训练完成。
其中，满足预设的收敛条件可以为样本集中的样本图像通过该原始概率模型，被正确识别的样本图像的个数大于设定数量，或对概率模型进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置，在此不做具体限定。
在一种可能的实施方式中，在进行原始概率模型训练时，可以把样本集中的样本图像分为训练样本图像和测试样本图像，先基于训练样本图像对原始概率模型进行训练，再基于测试样本图像对上述已训练的概率模型的可靠程度进行验证。
实施例5：
为了准确确定融合图像的第二概率向量，在上述各实施例的基础上，在本发明实施例中，训练所述融合模型的过程包括：
获取样本集中至少两个样本图像的第一概率向量，所述至少两个样本图像的第一概率向量对应有样本融合图像的第二样本概率向量，其中所述第二样本概率向量包括所述样本融合图像中每个像素点为斑马线像素点的第二样本概率值；
通过原始融合模型，确定所述至少两个样本图像对应的识别融合图像的第二识别概率向量，其中所述第二识别概率向量包括所述识别融合图像中每个像素点为斑马线像素点的第二识别概率值；
根据所述第二样本概率向量和所述第二识别概率向量，对原始融合模型进行训练，得到训练完成的融合模型。
为了准确确定至少两个监控图像对应的融合图像的第二概率向量，在本发明实施例中，可以通过预先训练完成的融合模型，确定至少两个监控图像对应的融合图像的第二概率向量。其中，对该融合模型进行训练时，样本集中包含至少两个样本图像的第一概率向量，其中本发明实施例对样本集中包含的至少两个样本图像的第一概率向量的获取方式不做具体限定，例如可以是基于上述概率模型获得的等。至少两个样本图像的第一概率向量对应有样本融合图像的第二样本概率向量，其中该第二样本概率向量包括该样本融合图像中每个像素点为斑马线像素点的第二样本概率值。
在对原始融合模型进行训练时，可以获取样本集中至少两个样本图像的第一概率向量，该至少两个样本图像对应有样本融合图像的第二样本概率向量。将该获取到的至少两个样本图像的第一概率向量输入原始融合模型，通过原始融合模型，获取该至少两个样本图像对应的识别融合图像的第二识别概率向量，其中该第二识别概率向量包括该识别融合图像中每个像素点为斑马线像素点的第二识别概率值。
具体实施中，确定了输入的至少两个样本图像对应的识别融合图像的第二识别概率向量后，因为预先保存了该至少两个样本图像对应的样本融合图像的第二样本概率向量，因此可以根据第二识别概率向量与第二样本概率向量是否一致，确定该融合模型的识别结果是否准确。具体实施中，若不一致，说明该融合模型的识别结果不准确，则需要对该融合模型的参数进行调整，从而对融合模型进行训练。
具体实施中，对融合模型中的参数进行调整时，可以采用梯度下降算法，对融合模型的参数的梯度进行反向传播，从而对融合模型进行训练。
在一种可能的实施方式中，可以对样本集中的每个样本图像都进行上述操作，当满足预设的收敛条件时，确定该融合模型训练完成。
其中，满足预设的收敛条件可以为样本集中的样本图像通过该原始融合模型，被正确识别的样本图像的个数大于设定数量，或对融合模型进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置，在此不做具体限定。
在一种可能的实施方式中，在进行原始融合模型训练时，可以把样本集中的样本图像分为训练样本图像和测试样本图像，先基于训练样本图像对原始融合模型进行训练，再基于测试样本图像对上述已训练的融合模型的可靠程度进行验证。
实施例6：
为了准确确定监控图像的位置向量，在上述各实施例的基础上，在本发明实施例中，训练所述目标检测模型的过程包括：
获取样本集中任一包含有候选关注目标的样本图像，所述样本图像对应有样本类型标签、所述样本类型标签对应的候选关注目标在所述样本图像中的样本位置信息、以及第三样本概率向量；其中所述样本类型标签用于标识所述样本图像中包含的候选关注目标的类型，所述第三样本概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三样本概率值；
通过原始目标检测模型，确定所述样本图像中包含的候选关注目标的识别类型标签、对应的识别位置信息以及第三识别概率向量，其中所述第三识别概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三识别概率值；
根据所述样本类型标签和所述识别类型标签、所述样本位置信息和所述识别位置信息、以及所述第三样本概率向量和所述第三识别概率向量，对原始目标检测模型进行训练，得到训练完成的目标检测模型。
在本发明实施例中，可以通过预先训练完成的目标检测模型，确定监控图像的位置向量以及第三样本概率向量。为了对目标检测模型进行训练，样本集中包含多个样本图像，每个包含有候选关注目标的样本图像都对应有该候选关注目标对应的样本类型标签，该样本类型标签用于标识该样本图像中包含的候选关注目标的类型，例如当候选关注目标包含斑马线时，该样本图像对应有包含斑马线的样本类型标签，当候选关注目标包含行人时，该样本图像对应有包含行人的样本类型标签，当候选关注目标包含车辆时，该样本图像对应有包含车辆的样本类型标签等。
为了可以获取候选关注目标的位置信息，样本图像还对应有每个样本类型标签对应的候选关注目标在该样本图像中的样本位置信息。样本位置信息可以包括该候选关注目标的目标框的左上角、左下角、右上角、右下角等像素点在样本图像中的坐标位置，还可以包括该目标框的长度、宽度等信息。
同时，每个样本图像都对应有第三样本概率向量，其中第三样本概率向量包括该样本图像中每个像素点为任一候选关注目标像素点的第三样本概率值。示例性的，针对样本图像中每个像素点，第三样本概率向量中包括该像素点分别为斑马线、行人、车辆等候选关注目标像素点的第三样本概率值。
在对原始目标检测模型进行训练时，可以获取样本集中任一包含有候选关注目标的样本图像，该样本图像对应有样本类型标签、以及该样本类型标签对应的候选关注目标在该样本图像中的样本位置信息、以及第三样本概率向量。将该获取到的任一样本图像输入原始目标检测模型，通过原始目标检测模型，获取该样本图像对应的候选关注目标的识别类型标签、对应的识别位置信息以及第三识别概率向量，其中第三识别概率向量包括该样本图像中每个像素点为任一候选关注目标像素点的第三识别概率值。
具体实施中，确定了输入的样本图像的识别类型标签、对应的识别位置信息、以及第三识别概率向量后，因为预先保存了该样本图像的样本类型标签、该样本类型标签对应的候选关注目标在样本图像中的样本位置信息、以及该样本图像的第三样本概率向量，因此可以根据样本类型标签与识别类型标签是否一致、样本位置信息与识别位置信息是否一致、以及第三样本概率向量与第三识别概率向量是否一致，确定该目标检测模型的识别结果是否准确。具体实施中，若不一致，说明该目标检测模型的识别结果不准确，则需要对该目标检测模型的参数进行调整，从而对目标检测模型进行训练。
具体实施中，对目标检测模型中的参数进行调整时，可以采用梯度下降算法，对目标检测模型的参数的梯度进行反向传播，从而对目标检测模型进行训练。
在一种可能的实施方式中，可以对样本集中的每个样本图像都进行上述操作，当满足预设的收敛条件时，确定该目标检测模型训练完成。
其中，满足预设的收敛条件可以为样本集中的样本图像通过该原始目标检测模型，被正确识别的样本图像的个数大于设定数量，或对目标检测模型进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置，在此不做具体限定。
在一种可能的实施方式中，在进行原始目标检测模型训练时，可以把样本集中的样本图像分为训练样本图像和测试样本图像，先基于训练样本图像对原始目标检测模型进行训练，再基于测试样本图像对上述已训练的目标检测模型的可靠程度进行验证。
实施例7：
为了准确确定关注目标的每个像素点的目标权重系数，在上述各实施例的基础上，在本发明实施例中，训练所述权重确定模型的过程包括：
获取样本集中任一样本图像的第三概率向量和关注标识向量，所述样本图像的第三概率向量和关注标识向量对应有样本权重向量，其中所述样本权重向量包括样本图像中关注目标的每个像素点对应的样本权重系数；
通过原始权重确定模型，确定所述样本图像的第三概率向量和关注标识向量对应的识别权重向量，其中所述识别权重向量包括样本图像中关注目标的每个像素点对应的识别权重系数；
根据所述样本权重向量和所述识别权重向量，对原始权重确定模型进行训练，得到训练完成的权重确定模型。
为了准确确定关注目标的每个像素点的目标权重系数，在本发明实施例中，可以通过预先训练完成的权重确定模型，确定监控图像中关注目标的每个像素点对应的目标权重系数。其中，对该权重确定模型进行训练时，样本集中包括任一样本图像的第三概率向量和关注标识向量，其中本发明实施例对样本集中包含的样本图像的第三概率向量的获取方式不做具体限定，例如可以是基于上述目标检测模型获得的等。该样本图像的第三概率向量和关注标识向量对应有样本权重向量，其中该样本权重向量包括样本图像中关注目标的每个像素点对应的样本权重系数。在一种可能的实施方式中，样本权重向量可以是人工标注的，示例性的，可以将关注目标中事实上是斑马线区域像素点对应的样本权重系数设置的相对较高，例如设置为1等，可以将关注目标中事实上并非斑马线像素点对应的样本权重系数设置的相对较低，例如设置为0等。
在对原始权重确定模型进行训练时，可以获取样本集中任一样本图像的第三概率向量和关注标识向量，该样本图像的第三概率向量和关注标识向量对应有样本权重向量。将该获取到的样本图像的第三概率向量和关注标识向量输入原始权重确定模型，通过原始权重确定模型，获取该样本图像的第三概率向量和关注标识向量对应的识别权重向量，其中该识别权重向量包括样本图像中关注目标的每个像素点对应的识别权重系数；
具体实施中，确定了输入的样本图像的第三概率向量和关注标识向量对应的识别权重向量后，因为预先保存了样本图像的第三概率向量和关注标识向量对应的样本权重向量，因此可以根据识别权重向量与样本权重向量是否一致，判断该权重确定模型的识别结果是否准确。具体实施中，若不一致，说明该权重确定模型的识别结果不准确，则需要对该权重确定模型的参数进行调整，从而对权重确定模型进行训练。
具体实施中，对权重确定模型中的参数进行调整时，可以采用梯度下降算法，对权重确定模型的参数的梯度进行反向传播，从而对权重确定模型进行训练。
在一种可能的实施方式中，可以对样本集中的每个样本图像都进行上述操作，当满足预设的收敛条件时，确定该权重确定模型训练完成。
其中，满足预设的收敛条件可以为样本集中的样本图像通过该原始权重确定模型，被正确识别的样本图像的个数大于设定数量，或对权重确定模型进行训练的迭代次数达到设置的最大迭代次数等。具体实施中可以灵活进行设置，在此不做具体限定。
在一种可能的实施方式中，在进行原始权重确定模型训练时，可以把样本集中的样本图像分为训练样本图像和测试样本图像，先基于训练样本图像对原始权重确定模型进行训练，再基于测试样本图像对上述已训练的权重确定模型的可靠程度进行验证。
实施例8：
在上述各实施例的基础上，本发明实施例提供了一种确定监控图像中斑马线的装置，图11为本发明实施例提供的一种确定监控图像中斑马线的装置示意图，如图11所示，所述装置包括：
第一确定模块111，用于针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的概率模型，确定该监控图像的第一概率向量，其中所述第一概率向量包括该监控图像中每个像素点为斑马线像素点的第一概率值；
融合模块112，用于将至少两个监控图像的第一概率向量输入预先训练完成的融合模型，确定所述至少两个监控图像对应的融合图像的第二概率向量，其中所述第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值；
第二确定模块113，用于针对所述融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。
在一种可能的实施方式中，所述第一确定模块111，还用于针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的目标检测模型，确定该监控图像的位置向量和第三概率向量，其中所述位置向量包括该监控图像中斑马线区域对应的第一位置、每个物体对应的第二位置，所述第三概率向量包括该监控图像中每个像素点为斑马线像素点和任一物体像素点的第三概率值；
对每个物体，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，则将该物体和所述斑马线区域确定为关注目标；并根据预先保存的关注目标标识，确定该监控图像的关注标识向量，其中所述关注标识向量中该监控图像的所述关注目标的像素点对应有所述关注目标标识；将所述第三概率向量和所述关注标识向量输入预先训练完成的权重确定模型，确定所述关注目标的权重向量，其中所述权重向量包括所述关注目标的每个像素点对应的目标权重系数；针对关注目标对应的每个像素点，根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新。
在一种可能的实施方式中，所述第一确定模块111，还用于若该物体的第二位置与所述斑马线区域的第一位置部分重叠，所述将该物体和所述斑马线区域确定为关注目标之前，基于至少两个监控图像，确定该物体的速度，判断所述速度是否大于预设的速度阈值，若是，则进行后续将该物体和所述斑马线区域确定为关注目标的步骤。
在一种可能的实施方式中，训练所述概率模型的过程包括：
获取样本集中任一样本图像，所述样本图像对应有第一样本概率向量，其中所述第一样本概率向量包括所述样本图像中每个像素点为斑马线像素点的第一样本概率值；
通过原始概率模型，确定所述样本图像的第一识别概率向量，其中所述第一识别概率向量包括所述样本图像中每个像素点为斑马线像素点的第一识别概率值；
根据所述第一样本概率向量和所述第一识别概率向量，对原始概率模型进行训练，得到训练完成的概率模型。
在一种可能的实施方式中，训练所述融合模型的过程包括：
获取样本集中至少两个样本图像的第一概率向量，所述至少两个样本图像的第一概率向量对应有样本融合图像的第二样本概率向量，其中所述第二样本概率向量包括所述样本融合图像中每个像素点为斑马线像素点的第二样本概率值；
通过原始融合模型，确定所述至少两个样本图像对应的识别融合图像的第二识别概率向量，其中所述第二识别概率向量包括所述识别融合图像中每个像素点为斑马线像素点的第二识别概率值；
根据所述第二样本概率向量和所述第二识别概率向量，对原始融合模型进行训练，得到训练完成的融合模型。
在一种可能的实施方式中，训练所述目标检测模型的过程包括：
获取样本集中任一包含有候选关注目标的样本图像，所述样本图像对应有样本类型标签、所述样本类型标签对应的候选关注目标在所述样本图像中的样本位置信息、以及第三样本概率向量；其中所述样本类型标签用于标识所述样本图像中包含的候选关注目标的类型，所述第三样本概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三样本概率值；
通过原始目标检测模型，确定所述样本图像中包含的候选关注目标的识别类型标签、对应的识别位置信息以及第三识别概率向量，其中所述第三识别概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三识别概率值；
根据所述样本类型标签和所述识别类型标签、所述样本位置信息和所述识别位置信息、以及所述第三样本概率向量和所述第三识别概率向量，对原始目标检测模型进行训练，得到训练完成的目标检测模型。
在一种可能的实施方式中，训练所述权重确定模型的过程包括：
获取样本集中任一样本图像的第三概率向量和关注标识向量，所述样本图像的第三概率向量和关注标识向量对应有样本权重向量，其中所述样本权重向量包括样本图像中关注目标的每个像素点对应的样本权重系数；
通过原始权重确定模型，确定所述样本图像的第三概率向量和关注标识向量对应的识别权重向量，其中所述识别权重向量包括样本图像中关注目标的每个像素点对应的识别权重系数；
根据所述样本权重向量和所述识别权重向量，对原始权重确定模型进行训练，得到训练完成的权重确定模型。
本发明实施例可以基于至少两个监控图像的第一概率向量，确定该至少两个监控图像对应的融合图像的第二概率向量，其中第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值，针对融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。由于本发明实施例中，融合图像的第二概率向量是基于至少两个监控图像的第一概率向量获得的，鉴于移动物体对斑马线的遮挡是随时间的推移而变化的，相比只基于单个监控图像确定监控场景中斑马线图像而言，本发明实施例可以减小移动物体对监控场景中斑马线的完整度的影响，从而可以在一定程度上保证可以获取到完整度相对较高的斑马线图像。
实施例9：
在上述各实施例的基础上，本发明实施例还提供了一种电子设备，图12为本发明实施例提供的一种电子设备结构示意图，如图12所示，该电子设备包括：处理器121、通信接口122、存储器123和通信总线124，其中，处理器121，通信接口122，存储器123通过通信总线124完成相互间的通信；
所述存储器123中存储有计算机程序，当所述程序被所述处理器121执行时，使得所述处理器121执行如下步骤：
针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的概率模型，确定该监控图像的第一概率向量，其中所述第一概率向量包括该监控图像中每个像素点为斑马线像素点的第一概率值；
将至少两个监控图像的第一概率向量输入预先训练完成的融合模型，确定所述至少两个监控图像对应的融合图像的第二概率向量，其中所述第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值；
针对所述融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。
在一种可能的实施方式中，处理器121，还用于针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的目标检测模型，确定该监控图像的第三概率向量和位置向量，其中所述位置向量包括该监控图像中斑马线区域对应的第一位置、每个物体对应的第二位置，所述第三概率向量包括该监控图像中每个像素点为斑马线像素点和任一物体像素点的第三概率值；
针对每个物体，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，则将该物体和所述斑马线区域确定为关注目标；并根据预先保存的关注目标标识，确定该监控图像的关注标识向量，其中所述关注标识向量中该监控图像的所述关注目标的像素点对应有所述关注目标标识；将所述第三概率向量和所述关注标识向量输入预先训练完成的权重确定模型，确定所述关注目标的权重向量，其中所述权重向量包括所述关注目标的每个像素点对应的目标权重系数；针对关注目标对应的每个像素点，根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新。
在一种可能的实施方式中，处理器121，还用于若该物体的第二位置与所述斑马线区域的第一位置部分重叠，所述将该物体和所述斑马线区域确定为关注目标之前，基于至少两个监控图像，确定该物体的速度，判断所述速度是否大于预设的速度阈值，若是，则进行后续将该物体和所述斑马线区域确定为关注目标的步骤。
在一种可能的实施方式中，训练所述概率模型的过程包括：
获取样本集中任一样本图像，所述样本图像对应有第一样本概率向量，其中所述第一样本概率向量包括所述样本图像中每个像素点为斑马线像素点的第一样本概率值；
通过原始概率模型，确定所述样本图像的第一识别概率向量，其中所述第一识别概率向量包括所述样本图像中每个像素点为斑马线像素点的第一识别概率值；
根据所述第一样本概率向量和所述第一识别概率向量，对原始概率模型进行训练，得到训练完成的概率模型。
在一种可能的实施方式中，训练所述融合模型的过程包括：
获取样本集中至少两个样本图像的第一概率向量，所述至少两个样本图像的第一概率向量对应有样本融合图像的第二样本概率向量，其中所述第二样本概率向量包括所述样本融合图像中每个像素点为斑马线像素点的第二样本概率值；
通过原始融合模型，确定所述至少两个样本图像对应的识别融合图像的第二识别概率向量，其中所述第二识别概率向量包括所述识别融合图像中每个像素点为斑马线像素点的第二识别概率值；
根据所述第二样本概率向量和所述第二识别概率向量，对原始融合模型进行训练，得到训练完成的融合模型。
在一种可能的实施方式中，训练所述目标检测模型的过程包括：
获取样本集中任一包含有候选关注目标的样本图像，所述样本图像对应有样本类型标签、所述样本类型标签对应的候选关注目标在所述样本图像中的样本位置信息、以及第三样本概率向量；其中所述样本类型标签用于标识所述样本图像中包含的候选关注目标的类型，所述第三样本概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三样本概率值；
通过原始目标检测模型，确定所述样本图像中包含的候选关注目标的识别类型标签、对应的识别位置信息以及第三识别概率向量，其中所述第三识别概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三识别概率值；
根据所述样本类型标签和所述识别类型标签、所述样本位置信息和所述识别位置信息、以及所述第三样本概率向量和所述第三识别概率向量，对原始目标检测模型进行训练，得到训练完成的目标检测模型。
在一种可能的实施方式中，训练所述权重确定模型的过程包括：
获取样本集中任一样本图像的第三概率向量和关注标识向量，所述样本图像的第三概率向量和关注标识向量对应有样本权重向量，其中所述样本权重向量包括样本图像中关注目标的每个像素点对应的样本权重系数；
通过原始权重确定模型，确定所述样本图像的第三概率向量和关注标识向量对应的识别权重向量，其中所述识别权重向量包括样本图像中关注目标的每个像素点对应的识别权重系数；
根据所述样本权重向量和所述识别权重向量，对原始权重确定模型进行训练，得到训练完成的权重确定模型。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect，PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口122用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选地，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述处理器可以是通用处理器，包括中央处理器、网络处理器(NetworkProcessor，NP)等；还可以是数字指令处理器(Digital Signal Processing，DSP)、专用集成电路、现场可编程门陈列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
本发明实施例可以基于至少两个监控图像的第一概率向量，确定该至少两个监控图像对应的融合图像的第二概率向量，其中第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值，针对融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。由于本发明实施例中，融合图像的第二概率向量是基于至少两个监控图像的第一概率向量获得的，鉴于移动物体对斑马线的遮挡是随时间的推移而变化的，相比只基于单个监控图像确定监控场景中斑马线图像而言，本发明实施例可以减小移动物体对监控场景中斑马线的完整度的影响，从而可以在一定程度上保证可以获取到完整度相对较高的斑马线图像。
实施例10：
在上述各实施例的基础上，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可由电子设备执行的计算机程序，当所述程序在所述电子设备上运行时，使得所述电子设备执行时实现如下步骤：
针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的概率模型，确定该监控图像的第一概率向量，其中所述第一概率向量包括该监控图像中每个像素点为斑马线像素点的第一概率值；
将至少两个监控图像的第一概率向量输入预先训练完成的融合模型，确定所述至少两个监控图像对应的融合图像的第二概率向量，其中所述第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值；
针对所述融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。
在一种可能的实施方式中，所述将至少两个监控图像的第一概率向量输入预先训练完成的融合模型之前，所述方法还包括：
针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的目标检测模型，确定该监控图像的第三概率向量和位置向量，其中所述位置向量包括该监控图像中斑马线区域对应的第一位置、每个物体对应的第二位置，所述第三概率向量包括该监控图像中每个像素点为斑马线像素点和任一物体像素点的第三概率值；
针对每个物体，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，则将该物体和所述斑马线区域确定为关注目标；并根据预先保存的关注目标标识，确定该监控图像的关注标识向量，其中所述关注标识向量中该监控图像的所述关注目标的像素点对应有所述关注目标标识；将所述第三概率向量和所述关注标识向量输入预先训练完成的权重确定模型，确定所述关注目标的权重向量，其中所述权重向量包括所述关注目标的每个像素点对应的目标权重系数；针对关注目标对应的每个像素点，根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新。
在一种可能的实施方式中，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，所述将该物体和所述斑马线区域确定为关注目标之前，所述方法还包括：
基于至少两个监控图像，确定该物体的速度，判断所述速度是否大于预设的速度阈值，若是，则进行后续将该物体和所述斑马线区域确定为关注目标的步骤。
在一种可能的实施方式中，训练所述概率模型的过程包括：
获取样本集中任一样本图像，所述样本图像对应有第一样本概率向量，其中所述第一样本概率向量包括所述样本图像中每个像素点为斑马线像素点的第一样本概率值；
通过原始概率模型，确定所述样本图像的第一识别概率向量，其中所述第一识别概率向量包括所述样本图像中每个像素点为斑马线像素点的第一识别概率值；
根据所述第一样本概率向量和所述第一识别概率向量，对原始概率模型进行训练，得到训练完成的概率模型。
在一种可能的实施方式中，训练所述融合模型的过程包括：
获取样本集中至少两个样本图像的第一概率向量，所述至少两个样本图像的第一概率向量对应有样本融合图像的第二样本概率向量，其中所述第二样本概率向量包括所述样本融合图像中每个像素点为斑马线像素点的第二样本概率值；
通过原始融合模型，确定所述至少两个样本图像对应的识别融合图像的第二识别概率向量，其中所述第二识别概率向量包括所述识别融合图像中每个像素点为斑马线像素点的第二识别概率值；
根据所述第二样本概率向量和所述第二识别概率向量，对原始融合模型进行训练，得到训练完成的融合模型。
在一种可能的实施方式中，训练所述目标检测模型的过程包括：
获取样本集中任一包含有候选关注目标的样本图像，所述样本图像对应有样本类型标签、所述样本类型标签对应的候选关注目标在所述样本图像中的样本位置信息、以及第三样本概率向量；其中所述样本类型标签用于标识所述样本图像中包含的候选关注目标的类型，所述第三样本概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三样本概率值；
通过原始目标检测模型，确定所述样本图像中包含的候选关注目标的识别类型标签、对应的识别位置信息以及第三识别概率向量，其中所述第三识别概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三识别概率值；
根据所述样本类型标签和所述识别类型标签、所述样本位置信息和所述识别位置信息、以及所述第三样本概率向量和所述第三识别概率向量，对原始目标检测模型进行训练，得到训练完成的目标检测模型。
在一种可能的实施方式中，训练所述权重确定模型的过程包括：
获取样本集中任一样本图像的第三概率向量和关注标识向量，所述样本图像的第三概率向量和关注标识向量对应有样本权重向量，其中所述样本权重向量包括样本图像中关注目标的每个像素点对应的样本权重系数；
通过原始权重确定模型，确定所述样本图像的第三概率向量和关注标识向量对应的识别权重向量，其中所述识别权重向量包括样本图像中关注目标的每个像素点对应的识别权重系数；
根据所述样本权重向量和所述识别权重向量，对原始权重确定模型进行训练，得到训练完成的权重确定模型。
上述计算机可读存储介质可以是电子设备中的处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器如软盘、硬盘、磁带、磁光盘(MO)等、光学存储器如CD、DVD、BD、HVD等、以及半导体存储器如ROM、EPROM、EEPROM、非易失性存储器(NANDFLASH)、固态硬盘(SSD)等。
本发明实施例可以基于至少两个监控图像的第一概率向量，确定该至少两个监控图像对应的融合图像的第二概率向量，其中第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值，针对融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点。由于本发明实施例中，融合图像的第二概率向量是基于至少两个监控图像的第一概率向量获得的，鉴于移动物体对斑马线的遮挡是随时间的推移而变化的，相比只基于单个监控图像确定监控场景中斑马线图像而言，本发明实施例可以减小移动物体对监控场景中斑马线的完整度的影响，从而可以在一定程度上保证可以获取到完整度相对较高的斑马线图像。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。
Claims (10)
1.一种确定监控图像中斑马线的方法，其特征在于，所述方法包括：
针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的概率模型，确定该监控图像的第一概率向量，其中所述第一概率向量包括该监控图像中每个像素点为斑马线像素点的第一概率值；
将至少两个监控图像的第一概率向量输入预先训练完成的融合模型，确定所述至少两个监控图像对应的融合图像的第二概率向量，其中所述第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值；
针对所述融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点；
其中，所述将至少两个监控图像的第一概率向量输入预先训练完成的融合模型之前，所述方法还包括：
针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的目标检测模型，确定该监控图像的第三概率向量和位置向量，其中所述位置向量包括该监控图像中斑马线区域对应的第一位置、每个物体对应的第二位置，所述第三概率向量包括该监控图像中每个像素点为斑马线像素点和任一物体像素点的第三概率值；
针对每个物体，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，则将该物体和所述斑马线区域确定为关注目标；并根据预先保存的关注目标标识，确定该监控图像的关注标识向量，其中所述关注标识向量中该监控图像的所述关注目标的像素点对应有所述关注目标标识；将所述第三概率向量和所述关注标识向量输入预先训练完成的权重确定模型，确定所述关注目标的权重向量，其中所述权重向量包括所述关注目标的每个像素点对应的目标权重系数；针对关注目标对应的每个像素点，根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新。
2.根据权利要求1所述的方法，其特征在于，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，所述将该物体和所述斑马线区域确定为关注目标之前，所述方法还包括：
基于至少两个监控图像，确定该物体的速度，判断所述速度是否大于预设的速度阈值，若是，则进行后续将该物体和所述斑马线区域确定为关注目标的步骤。
3.根据权利要求1所述的方法，其特征在于，训练所述概率模型的过程包括：
获取样本集中任一样本图像，所述样本图像对应有第一样本概率向量，其中所述第一样本概率向量包括所述样本图像中每个像素点为斑马线像素点的第一样本概率值；
通过原始概率模型，确定所述样本图像的第一识别概率向量，其中所述第一识别概率向量包括所述样本图像中每个像素点为斑马线像素点的第一识别概率值；
根据所述第一样本概率向量和所述第一识别概率向量，对原始概率模型进行训练，得到训练完成的概率模型。
4.根据权利要求1所述的方法，其特征在于，训练所述融合模型的过程包括：
获取样本集中至少两个样本图像的第一概率向量，所述至少两个样本图像的第一概率向量对应有样本融合图像的第二样本概率向量，其中所述第二样本概率向量包括所述样本融合图像中每个像素点为斑马线像素点的第二样本概率值；
通过原始融合模型，确定所述至少两个样本图像对应的识别融合图像的第二识别概率向量，其中所述第二识别概率向量包括所述识别融合图像中每个像素点为斑马线像素点的第二识别概率值；
根据所述第二样本概率向量和所述第二识别概率向量，对原始融合模型进行训练，得到训练完成的融合模型。
5.根据权利要求1所述的方法，其特征在于，训练所述目标检测模型的过程包括：
获取样本集中任一包含有候选关注目标的样本图像，所述样本图像对应有样本类型标签、所述样本类型标签对应的候选关注目标在所述样本图像中的样本位置信息、以及第三样本概率向量；其中所述样本类型标签用于标识所述样本图像中包含的候选关注目标的类型，所述第三样本概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三样本概率值；
通过原始目标检测模型，确定所述样本图像中包含的候选关注目标的识别类型标签、对应的识别位置信息以及第三识别概率向量，其中所述第三识别概率向量包括所述样本图像中每个像素点为任一候选关注目标像素点的第三识别概率值；
根据所述样本类型标签和所述识别类型标签、所述样本位置信息和所述识别位置信息、以及所述第三样本概率向量和所述第三识别概率向量，对原始目标检测模型进行训练，得到训练完成的目标检测模型。
6.根据权利要求1所述的方法，其特征在于，训练所述权重确定模型的过程包括：
获取样本集中任一样本图像的第三概率向量和关注标识向量，所述样本图像的第三概率向量和关注标识向量对应有样本权重向量，其中所述样本权重向量包括样本图像中关注目标的每个像素点对应的样本权重系数；
通过原始权重确定模型，确定所述样本图像的第三概率向量和关注标识向量对应的识别权重向量，其中所述识别权重向量包括样本图像中关注目标的每个像素点对应的识别权重系数；
根据所述样本权重向量和所述识别权重向量，对原始权重确定模型进行训练，得到训练完成的权重确定模型。
7.一种确定监控图像中斑马线的装置，其特征在于，所述装置包括：
第一确定模块，用于针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的概率模型，确定该监控图像的第一概率向量，其中所述第一概率向量包括该监控图像中每个像素点为斑马线像素点的第一概率值；
融合模块，用于将至少两个监控图像的第一概率向量输入预先训练完成的融合模型，确定所述至少两个监控图像对应的融合图像的第二概率向量，其中所述第二概率向量包括融合图像中每个像素点为斑马线像素点的第二概率值；
第二确定模块，用于针对所述融合图像中的每个像素点，若该像素点的第二概率值不小于预设的概率阈值，则将该像素点确定为斑马线像素点；
所述第一确定模块，还用于针对接收到的至少两个监控图像中的每个监控图像，将该监控图像输入预先训练完成的目标检测模型，确定该监控图像的位置向量和第三概率向量，其中所述位置向量包括该监控图像中斑马线区域对应的第一位置、每个物体对应的第二位置，所述第三概率向量包括该监控图像中每个像素点为斑马线像素点和任一物体像素点的第三概率值；
针对每个物体，若该物体的第二位置与所述斑马线区域的第一位置部分重叠，则将该物体和所述斑马线区域确定为关注目标；并根据预先保存的关注目标标识，确定该监控图像的关注标识向量，其中所述关注标识向量中该监控图像的所述关注目标的像素点对应有所述关注目标标识；将所述第三概率向量和所述关注标识向量输入预先训练完成的权重确定模型，确定所述关注目标的权重向量，其中所述权重向量包括所述关注目标的每个像素点对应的目标权重系数；针对关注目标对应的每个像素点，根据该像素点对应的目标权重系数与该像素点的第一概率值，对该像素点的第一概率值进行更新。
8.根据权利要求7所述的装置，其特征在于，所述第一确定模块，还用于若该物体的第二位置与所述斑马线区域的第一位置部分重叠，所述将该物体和所述斑马线区域确定为关注目标之前，基于至少两个监控图像，确定该物体的速度，判断所述速度是否大于预设的速度阈值，若是，则进行后续将该物体和所述斑马线区域确定为关注目标的步骤。
9.一种电子设备，其特征在于，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1-6中任一所述确定监控图像中斑马线的方法的步骤。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6中任一所述确定监控图像中斑马线的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011528075.9A CN112633151B (zh) | 2020-12-22 | 2020-12-22 | 一种确定监控图像中斑马线的方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011528075.9A CN112633151B (zh) | 2020-12-22 | 2020-12-22 | 一种确定监控图像中斑马线的方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112633151A CN112633151A (zh) | 2021-04-09 |
| CN112633151B true CN112633151B (zh) | 2024-04-12 |
Family
ID=75321205
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011528075.9A Active CN112633151B (zh) | 2020-12-22 | 2020-12-22 | 一种确定监控图像中斑马线的方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112633151B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113436100B (zh) * | 2021-06-28 | 2023-11-28 | 北京百度网讯科技有限公司 | 用于修复视频的方法、装置、设备、介质和产品 |
| CN113506287A (zh) * | 2021-07-27 | 2021-10-15 | 陕西师范大学 | 全视野病理切片图像分类方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052904A (zh) * | 2017-12-13 | 2018-05-18 | 辽宁工业大学 | 车道线的获取方法及装置 |
| CN110008838A (zh) * | 2019-03-07 | 2019-07-12 | 开易（北京）科技有限公司 | 基于改进拟合算法的车道线检测方法和系统 |
| JP2019159606A (ja) * | 2018-03-09 | 2019-09-19 | クラリオン株式会社 | 区画線認識装置 |
| CN110490936A (zh) * | 2019-07-15 | 2019-11-22 | 杭州飞步科技有限公司 | 车辆摄像头的标定方法、装置、设备及可读存储介质 |
| CN110516610A (zh) * | 2019-08-28 | 2019-11-29 | 上海眼控科技股份有限公司 | 一种用于道路特征提取的方法及设备 |
| CN110781768A (zh) * | 2019-09-30 | 2020-02-11 | 奇点汽车研发中心有限公司 | 目标对象检测方法和装置、电子设备和介质 |
| CN110879950A (zh) * | 2018-09-06 | 2020-03-13 | 北京市商汤科技开发有限公司 | 多级目标分类及交通标志检测方法和装置、设备、介质 |
| CN111209777A (zh) * | 2018-11-21 | 2020-05-29 | 北京市商汤科技开发有限公司 | 车道线检测方法、装置、电子设备及可读存储介质 |
| CN111695373A (zh) * | 2019-03-12 | 2020-09-22 | 中国科学院上海高等研究院 | 斑马线的定位方法、系统、介质及设备 |
| CN111797766A (zh) * | 2020-07-06 | 2020-10-20 | 三一专用汽车有限责任公司 | 识别方法、识别装置、计算机可读存储介质和车辆 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10628671B2 (en) * | 2017-11-01 | 2020-04-21 | Here Global B.V. | Road modeling from overhead imagery |
-
2020
- 2020-12-22 CN CN202011528075.9A patent/CN112633151B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108052904A (zh) * | 2017-12-13 | 2018-05-18 | 辽宁工业大学 | 车道线的获取方法及装置 |
| JP2019159606A (ja) * | 2018-03-09 | 2019-09-19 | クラリオン株式会社 | 区画線認識装置 |
| CN110879950A (zh) * | 2018-09-06 | 2020-03-13 | 北京市商汤科技开发有限公司 | 多级目标分类及交通标志检测方法和装置、设备、介质 |
| CN111209777A (zh) * | 2018-11-21 | 2020-05-29 | 北京市商汤科技开发有限公司 | 车道线检测方法、装置、电子设备及可读存储介质 |
| CN110008838A (zh) * | 2019-03-07 | 2019-07-12 | 开易（北京）科技有限公司 | 基于改进拟合算法的车道线检测方法和系统 |
| CN111695373A (zh) * | 2019-03-12 | 2020-09-22 | 中国科学院上海高等研究院 | 斑马线的定位方法、系统、介质及设备 |
| CN110490936A (zh) * | 2019-07-15 | 2019-11-22 | 杭州飞步科技有限公司 | 车辆摄像头的标定方法、装置、设备及可读存储介质 |
| CN110516610A (zh) * | 2019-08-28 | 2019-11-29 | 上海眼控科技股份有限公司 | 一种用于道路特征提取的方法及设备 |
| CN110781768A (zh) * | 2019-09-30 | 2020-02-11 | 奇点汽车研发中心有限公司 | 目标对象检测方法和装置、电子设备和介质 |
| CN111797766A (zh) * | 2020-07-06 | 2020-10-20 | 三一专用汽车有限责任公司 | 识别方法、识别装置、计算机可读存储介质和车辆 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112633151A (zh) | 2021-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20190122059A1 (en) | Signal light detection | |
| US11380104B2 (en) | Method and device for detecting illegal parking, and electronic device | |
| JP5815910B2 (ja) | マルチキュー・オブジェクトの検出および分析のための方法、システム、製品、およびコンピュータ・プログラム（マルチキュー・オブジェクトの検出および分析） | |
| CN113468967B (zh) | 基于注意力机制的车道线检测方法、装置、设备及介质 | |
| CN112633151B (zh) | 一种确定监控图像中斑马线的方法、装置、设备及介质 | |
| JP6700373B2 (ja) | ビデオ動画の人工知能のための学習対象イメージパッケージング装置及び方法 | |
| CN111932596B (zh) | 摄像头遮挡区域的检测方法、装置、设备和存储介质 | |
| CN112036385B (zh) | 库位修正方法、装置、电子设备及可读存储介质 | |
| Wu et al. | A new approach to video-based traffic surveillance using fuzzy hybrid information inference mechanism | |
| CN114419552A (zh) | 基于目标检测的违章车辆追踪方法及系统 | |
| CN112883871A (zh) | 一种模型训练以及确定无人车运动策略方法及装置 | |
| CN113420714A (zh) | 一种采集图像上报方法、装置及电子设备 | |
| CN112528944A (zh) | 一种图像识别方法、装置、电子设备及存储介质 | |
| CN116721396A (zh) | 车道线检测方法、设备及存储介质 | |
| CN113361299A (zh) | 一种异常停车的检测方法、装置、存储介质及电子设备 | |
| CN111768630A (zh) | 一种违章废图检测方法、装置及电子设备 | |
| CN113408413B (zh) | 应急车道的识别方法、系统及装置 | |
| CN113591543B (zh) | 交通标志识别方法、装置、电子设备及计算机存储介质 | |
| CN111426299B (zh) | 一种基于目标物的景深进行测距的方法及装置 | |
| CN114049771A (zh) | 基于双模态的交通异常检测方法、系统和存储介质 | |
| CN114724107A (zh) | 一种图像检测方法、装置、设备及介质 | |
| CN114359859A (zh) | 一种含遮挡的目标物处理方法、装置及存储介质 | |
| CN115620244A (zh) | 基于车路协同的图像检测方法、装置、设备及存储介质 | |
| CN113614809B (zh) | 车辆控制用运算装置、车辆控制装置及车辆控制用运算方法 | |
| CN113971795A (zh) | 基于自驾车视觉感测的违规巡检系统及其方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |