CN109583268A - 一种目标的属性识别方法、装置及电子设备 - Google Patents
一种目标的属性识别方法、装置及电子设备 Download PDFInfo
- Publication number
- CN109583268A CN109583268A CN201710901118.5A CN201710901118A CN109583268A CN 109583268 A CN109583268 A CN 109583268A CN 201710901118 A CN201710901118 A CN 201710901118A CN 109583268 A CN109583268 A CN 109583268A
- Authority
- CN
- China
- Prior art keywords
- sample image
- ornament
- location information
- image
- attribute
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例提供了一种目标的属性识别方法、装置及电子设备,该方法包括:从所获得的待检测图像中,获得所包含车辆的驾驶室区域对应的驾驶室位置信息;基于预设目标检测模型以及驾驶室位置信息,从待检测图像中,确定驾驶室区域中装饰物所在区域对应的装饰物位置信息;基于预设属性分类模型、装饰物位置信息以及待检测图像,确定装饰物的属性。应用本发明实施例以实现对目标的属性的检测。
Description
技术领域
本发明涉及智能交通技术领域,特别是涉及一种目标的属性识别方法、装置及电子设备。
背景技术
目前,很多车辆驾驶者会在车辆的驾驶室内摆放装饰物,例如挂件及摆件等。上述装饰物的制造材质、形状各异,有制造材质偏软的,例如毛绒玩具等,也有制造材质偏硬的,如玻璃材质的装饰物、金属材质的装饰物等。有形状偏平滑的,例如球型的装饰物,也有形状偏锋利的,例如立方体型的装饰物。
在车辆行驶过程中,材质偏硬和/或边缘偏锋利的装饰物,往往会给车辆内的人员,包括驾驶者,带来安全隐患,例如:在急刹车时,当装饰物的质量较大的且固定不牢固时,可能会掉落,进而可能会给人员造成伤害或给车辆造成损坏;又例如:在交通事故中,材质偏硬和/或边缘偏锋利的装饰物,有可能给人员造成二次伤害。
然而,目前很多人针对上述情况的安全意识不高,常常会忽略上述情况,即材质偏硬和/或边缘偏锋利的装饰物,带来安全隐患的情况。此时,如何检测出车辆驾驶室内属性为危险的装饰物成为亟待解决的问题,上述属性为危险的装饰物可以为材质偏硬和/或边缘偏锋利的装饰物。
发明内容
本发明实施例的目的在于提供一种目标的属性识别方法、装置及电子设备,以实现对目标的属性的检测。具体技术方案如下:
一方面,本发明实施例提供了一种目标的属性识别方法,所述方法包括:
获得待检测图像;
从所述待检测图像中,获得所包含车辆的驾驶室区域对应的驾驶室位置信息;
基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息;
基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性。
可选地,所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息的步骤,包括:
将所述待检测图像以及所述驾驶室位置信息输入所述预设目标检测模型,所述预设目标检测模型基于所述驾驶室位置信息,提取所述待检测图像对应的待检测梯度方向直方图特征;基于所提取的待检测梯度方向直方图特征,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息。
可选地,所述预设目标检测模型为预设DPM目标检测模型;
在所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息的步骤之前,所述方法还包括:
建立所述预设DPM目标检测模型的过程,所述过程包括:
获得多张第一样本图像,其中,所述多张第一样本图像包括:第一正样本图像以及第一负样本图像,所述第一正样本图像为:所包含驾驶室区域包含装饰物的图像,所述第一负样本图像为:所包含驾驶室区域不包含装饰物的图像;
获得每一第一正样本图像对应的第一标定信息,以及每一第一负样本图像对应的第二标定信息,其中,每一第一标定信息包括:所对应第一正样本图像所包含驾驶室区域中,装饰物所在区域对应的第一预期位置信息;每一第二标定信息包括:所对应第一负样本图像所包含驾驶室区域中,满足预设标定条件的区域对应的第二预期位置信息;
基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型。
可选地,所述初始DPM目标检测模型包括:第一特征提取层和第一特征分类层;
所述基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型的步骤,包括:
将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征,其中,当该第一样本图像为第一正样本图像时,所述第一区域为第一正样本图像中装饰物所在区域,当该第一样本图像为第一负样本图像时,所述第一区域为第一负样本图像中满足所述预设标定条件的区域;
将所提取的样本梯度方向直方图特征,输入所述第一特征分类层,获得该第一样本图像中第一区域对应的第一当前位置信息;
将所获得的第一当前位置信息与该第一样本图像对应的预期位置信息进行匹配,其中,该第一样本图像为第一正样本图像时,所述第一样本图像对应的预期位置信息为第一预期位置信息,该第一样本图像为第一负样本图像时,所述第一样本图像对应的预期位置信息为第二预期位置信息;
当匹配成功时,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型;
当匹配不成功时,则分别调整所述第一特征提取层和所述第一特征分类层的神经网络参数;重新返回将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征的步骤;
直至匹配成功,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型。
所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性的步骤,包括:
将所述待检测图像以及所述装饰物位置信息输入所述预设属性分类模型,所述预设属性分类模型基于所述装饰物位置信息,提取所述待检测图像对应的待检测图像特征;基于所提取的待检测图像特征,确定所述待检测图像中所述装饰物的属性。
可选地,所述预设属性分类模型为预设卷积神经网络模型;
在所述基于预设属性分类模型以及所述装饰物位置信息,确定所述装饰物的属性的步骤之前,所述方法还包括:
建立所述预设卷积神经网络模型的过程,其中,所述过程包括:
获得多张第二样本图像,其中,所述多张第二样本图像包括:包含属性被标识为第一预期属性的装饰物的第二正样本图像、包含属性被标识为第二预期属性的装饰物的第二负样本图像,以及包含属性被标识为第三预期属性的非装饰物的第二非装饰物样本图像;
获得每一第二正样本图像对应的第三标定信息,每一第二负样本图像对应的第四标定信息,以及每一第二非装饰物样本图像对应的第五标定信息,其中,每一第三标定信息包括:所对应第二正样本图像所包含驾驶室区域中,装饰物所在区域对应的第三预期位置信息及该装饰物对应的第一预期属性;每一第四标定信息包括:所对应第二负样本图像所包含驾驶室区域中,装饰物所在区域对应的第四预期位置信息及该装饰物对应的第二预期属性;每一第五标定信息包括:所对应第二非装饰物样本图像所包含驾驶室区域中,非装饰物所在区域对应的第五预期位置信息及该非装饰物对应的第三预期属性;
基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型。
可选地,所述初始卷积神经网络模型包括第二特征提取层和第二特征分类层;
所述基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型的步骤,包括:
将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;
其中,当该第二样本图像为第二正样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;
当该第二样本图像为第二负样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;
当该第二样本图像为第二非装饰物样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,非装饰物所在区域;
将所提取的样本图像特征输入所述第二特征分类层,获得该第二样本图像中第二区域对应的第二当前位置信息及当前属性;
将所获得的第二当前位置信息与该第二样本图像对应的预期位置信息进行匹配,且将所获得的当前属性与该第二样本图像对应的预期属性进行匹配;
其中,该第二样本图像为第二正样本图像时,该第二样本图像对应的预期位置信息为第三预期位置信息,该第二样本图像对应的预期属性为第一预期属性;
该第二样本图像为第二负样本图像时,该第二样本图像对应的预期位置信息为第四预期位置信息,该第二样本图像对应的预期属性为第二预期属性;
该第二样本图像为第二非装饰物样本图像时,该第二样本图像对应的预期位置信息为第五预期位置信息,该第二样本图像对应的预期属性为第三预期属性;
当匹配成功时,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型;
当匹配不成功时,则分别调整所述第二特征提取层和所述第二特征分类层的神经网络参数;重新返回将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征的步骤;
直至匹配成功,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型。
可选地,在所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性的步骤之后,所述方法还包括:
输出所确定的所述装饰物的属性。
另一方面,本发明实施例提供了一种目标的属性识别装置,所述装置包括:
第一获得模块,用于获得待检测图像;
第二获得模块,用于从所述待检测图像中,获得所包含车辆的驾驶室区域对应的驾驶室位置信息;
第一确定模块,用于基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息;
第二确定模块,用于基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性。
可选地,所述第一确定模块,具体用于
将所述待检测图像以及所述驾驶室位置信息输入所述预设目标检测模型,所述预设目标检测模型基于所述驾驶室位置信息,提取所述待检测图像对应的待检测梯度方向直方图特征;基于所提取的待检测梯度方向直方图特征,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息。
可选地,所述预设目标检测模型为预设DPM目标检测模型;
所述装置还包括第一模型建立模块;
所述第一模型建立模块,用于在所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息之前,建立所述预设DPM目标检测模型,其中,所述第一模型建立模块包括:第一获得单元、第二获得单元和第一训练得到单元;
所述第一获得单元,用于获得多张第一样本图像,其中,所述多张第一样本图像包括:第一正样本图像以及第一负样本图像,所述第一正样本图像为:所包含驾驶室区域包含装饰物的图像,所述第一负样本图像为:所包含驾驶室区域不包含装饰物的图像;
所述第二获得单元,用于获得每一第一正样本图像对应的第一标定信息,以及每一第一负样本图像对应的第二标定信息,其中,每一第一标定信息包括:所对应第一正样本图像所包含驾驶室区域中,装饰物所在区域对应的第一预期位置信息;每一第二标定信息包括:所对应第一负样本图像所包含驾驶室区域中,满足预设标定条件的区域对应的第二预期位置信息;
所述第一训练得到单元,用于基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型。
可选地,所述初始DPM目标检测模型包括:第一特征提取层和第一特征分类层;
所述第一训练得到单元,具体用于
将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征,其中,当该第一样本图像为第一正样本图像时,所述第一区域为第一正样本图像中装饰物所在区域,当该第一样本图像为第一负样本图像时,所述第一区域为第一负样本图像中满足所述预设标定条件的区域;
将所提取的样本梯度方向直方图特征,输入所述第一特征分类层,获得该第一样本图像中第一区域对应的第一当前位置信息;
将所获得的第一当前位置信息与该第一样本图像对应的预期位置信息进行匹配,其中,该第一样本图像为第一正样本图像时,所述第一样本图像对应的预期位置信息为第一预期位置信息,该第一样本图像为第一负样本图像时,所述第一样本图像对应的预期位置信息为第二预期位置信息;
当匹配成功时,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型;
当匹配不成功时,则分别调整所述第一特征提取层和所述第一特征分类层的神经网络参数;重新返回将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征;
直至匹配成功,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型。
可选地,所述第二确定模块,具体用于
将所述待检测图像以及所述装饰物位置信息输入所述预设属性分类模型,所述预设属性分类模型基于所述装饰物位置信息,提取所述待检测图像对应的待检测图像特征;基于所提取的待检测图像特征,确定所述待检测图像中所述装饰物的属性。
可选地,所述预设属性分类模型为预设卷积神经网络模型;
所述装置还包括第二模型建立模块;
所述第二模型建立模块,用于在所述基于预设属性分类模型以及所述装饰物位置信息,确定所述装饰物的属性之前,建立所述预设卷积神经网络模型,其中,所述第二模型建立模块包括第三获得单元、第四获得单元和第二训练得到单元;
所述第三获得单元,用于获得多张第二样本图像,其中,所述多张第二样本图像包括:包含属性被标识为第一预期属性的装饰物的第二正样本图像、包含属性被标识为第二预期属性的装饰物的第二负样本图像,以及包含属性被标识为第三预期属性的非装饰物的第二非装饰物样本图像;
所述第四获得单元,用于获得每一第二正样本图像对应的第三标定信息,每一第二负样本图像对应的第四标定信息,以及每一第二非装饰物样本图像对应的第五标定信息,其中,每一第三标定信息包括:所对应第二正样本图像所包含驾驶室区域中,装饰物所在区域对应的第三预期位置信息及该装饰物对应的第一预期属性;每一第四标定信息包括:所对应第二负样本图像所包含驾驶室区域中,装饰物所在区域对应的第四预期位置信息及该装饰物对应的第二预期属性;每一第五标定信息包括:所对应第二非装饰物样本图像所包含驾驶室区域中,非装饰物所在区域对应的第五预期位置信息及该非装饰物对应的第三预期属性;
所述第二训练得到单元,用于基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型。
可选地,所述初始卷积神经网络模型包括第二特征提取层和第二特征分类层;
所述第二训练得到单元,具体用于
将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;其中,当该第二样本图像为第二正样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;当该第二样本图像为第二负样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;当该第二样本图像为第二非装饰物样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,非装饰物所在区域;
将所提取的样本图像特征输入所述第二特征分类层,获得该第二样本图像中第二区域对应的第二当前位置信息及当前属性;
将所获得的第二当前位置信息与该第二样本图像对应的预期位置信息进行匹配,且将所获得的当前属性与该第二样本图像对应的预期属性进行匹配;
其中,该第二样本图像为第二正样本图像时,该第二样本图像对应的预期位置信息为第三预期位置信息,该第二样本图像对应的预期属性为第一预期属性;
该第二样本图像为第二负样本图像时,该第二样本图像对应的预期位置信息为第四预期位置信息,该第二样本图像对应的预期属性为第二预期属性;
该第二样本图像为第二非装饰物样本图像时,该第二样本图像对应的预期位置信息为第五预期位置信息,该第二样本图像对应的预期属性为第三预期属性;
当匹配成功时,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型;
当匹配不成功时,则分别调整所述第二特征提取层和所述第二特征分类层的神经网络参数;重新返回将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;
直至匹配成功,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型。
可选地,所述装置还包括输出模块;
所述输出模块,用于在所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性之后,输出所确定的所述装饰物的属性。
另一方面,本发明实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的计算机程序时,实现本发明实施例所提供的任一所述的目标的属性识别方法步骤。
另一方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例所提供的任一所述的目标的属性识别方法步骤。
本发明实施例中,从所获得的待检测图像中,获得所包含车辆的驾驶室区域对应的驾驶室位置信息;基于预设目标检测模型以及驾驶室位置信息,从待检测图像中,确定驾驶室区域中装饰物所在区域对应的装饰物位置信息;基于预设属性分类模型、装饰物位置信息以及待检测图像,确定装饰物的属性。
本发明实施例中,可以通过预设目标检测模型确定出待检测图像中驾驶室区域中是否存在装饰物,并在确定出存在装饰物时,确定装饰物所在区域对应的装饰物位置信息,后续的,基于预设属性分类模型、所确定的装饰物位置信息以及述待检测图像,确定出装饰物的属性,以实现对目标的属性的检测。并且,所确定的装饰物的属性可以表征出装饰物是否为危险的装饰物,后续的,当所确定的装饰物的属性表征出装饰物为危险的装饰物,工作人员可以提示车辆的驾驶者,以使驾驶者可以关注上述危险的装饰物,以避免出现危险。当然,实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例所提供的一种目标的属性识别方法的流程示意图;
图2为建立预设DPM目标检测模型的过程的一种流程示意图;
图3A为第一正样本图像的一种示例图;
图3B为第一负样本图像的一种示例图;
图4为建立预设卷积神经网络模型的过程的一种流程示意图;
图5A、图5B以及图5C分别为不同属性的目标的示例图;
图6为本发明实施例所提供的一种目标的属性识别装置的结构示意图;
图7为第一模型建立模块的一种结构示意图;
图8为第二模型建立模块的一种结构示意图;
图9为本发明实施例所提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例中提供了一种目标的属性识别方法、装置及电子设备,以实现对目标的属性的检测。
如图1所示,本发明实施例提供了一种目标的属性识别方法,可以包括如下步骤:
S101:获得待检测图像;
本发明实施例中所提供的一种目标的属性识别方法,可以应用于任一可以获得上述待检测图像的电子设备中,上述电子设备可以为电脑、手机等等。
在一种实现方式中,上述待检测图像可以为位于交通卡口处的图像采集设备,例如:摄像头等,所采集的图像,上述待检测图像可以为上述图像采集设备针对各车辆所采集的图像。上述待检测图像可以是YUV格式的图像,也可以是RGB(RedGreenBlue,红绿蓝)格式的图像,等等,本发明实施例并不对待检测图像的格式进行限定。其中,上述YUV亦称YcrCb,是被欧洲电视系统所采用的一种颜色编码方法,“Y”可以表示明亮度(Luminance或Luma),可以表示灰阶值;“U”和“V”可以表示色度(Chrominance或Chroma),作用可以是描述影像色彩及饱和度,可以用于指定像素的颜色。
S102:从待检测图像中,获得所包含车辆的驾驶室区域对应的驾驶室位置信息;
在一种实现方式中,上述待检测图像中可以包括车辆,以及车辆的车窗部位。可以理解的是,可以通过车辆的车窗,识别到车辆的驾驶室的内部。在一种情况下,上述车辆的驾驶室区域可以为车辆的车窗所在区域。
本发明实施例中,电子设备获得待检测图像后,检测待检测图像中所包含的车辆;继而检测车辆的驾驶室区域,当检测到车辆的驾驶室区域后,获得驾驶室区域对应的驾驶室位置信息。在一种实现方式中,电子设备可以基于车辆的车牌所在位置确定车辆的驾驶室区域;在另一种实现方式中,上述车辆的驾驶室区域可以为车辆的车窗所在区域,电子设备也可以基于HSV颜色模型的色差均值车窗定位算法,确定车窗所在区域,即确定驾驶室区域。
S103:基于预设目标检测模型以及驾驶室位置信息,从待检测图像中,确定驾驶室区域中装饰物所在区域对应的装饰物位置信息;
本步骤中,上述预设目标检测模型可以为基于样本训练所得的机器学习类的模型,上述述预设目标检测模型可以是以图像为输入,以图像中目标的位置信息为输出的模型。
在训练上述预设目标检测模型时,可以首先确定训练所需的样本图像,例如,后续提到的第一样本图像,上述样本图像中可以包括正样本图像,也可以包括负样本图像,上述正样本图像可以为:所包含车辆的驾驶室区域包含装饰物的图像,上述负样本图像可以为:所包含车辆的驾驶室区域不包含装饰物的图像。
针对每一样本图像进行标定,获得标定结果,其中,正样本图像对应的标定信息中可以包括:图像中所包含的装饰物所在位置的位置信息,负样本图像对应的标定信息中可以包括:图像中装饰物可能存在的位置的位置信息,其中,上述装饰物可能存在的位置可以由工作人员确定,或者由电子设备基于预设的标定算法所标定的区域的位置信息。进一步的,电子设备可以将样本图像以及标定结果输入初始的模型,以使初始的模型针对每一样本图像,对样本图像中标定结果对应的区域图像进行样本图像特征提取;进一步的,基于所提取的样本图像特征以及标定结果,对初始的模型进行训练,得到训练结果,以得到预设目标检测模型。
本步骤中,可以电子设备可以将驾驶室位置信息以及待检测图像,输入预设目标检测模型中,预设目标检测模型基于上述驾驶室位置信息,检测待检测图像中是否包含装饰物,当检测到包含装饰物时,确定上述装饰物所在区域的位置信息,此处称为装饰物位置信息;当检测到不包含装饰物时,可以结束流程。
在一种实现方式中,上述预设目标检测模型可以为基于Faster RCNN(FasterRegion Convolutional Neural Network)算法、LBP(Local Binary Pattern,基于局部二进制模式)-adaboost算法等,训练所得的模型。
S104:基于预设属性分类模型、装饰物位置信息以及待检测图像,确定装饰物的属性。
本步骤中,上述预设属性分类模型可以为一种基于样本训练所得的机器学习类的模型,上述预设属性分类模型为:以图像为输入,图像中装饰物的属性为输出的模型,其中,上述属性可以包括危险、安全和非装饰物等。
在训练上述预设属性分类模型时,可以首先确定训练所需的样本图像,例如,后续提到的第二样本图像,上述样本图像中可以包括正样本图像、负样本图像以及非装饰物样本图像,上述正样本图像可以为:所包含车辆的驾驶室区域包含属性为第一预期属性,例如安全类的装饰物的图像,上述负样本图像可以为:所包含车辆的驾驶室区域包含属性为第二预期属性,例如危险类的装饰物的图像,上述非装饰物样本图像可以为:所包含车辆的驾驶室区域包含属性为第三预期属性,例如非装饰物的目标的图像。
针对每一样本图像进行标定,获得标定结果,其中,正样本图像对应的标定信息中可以包括:图像中所包含的装饰物所在位置的位置信息,以及装饰物的属性,负样本图像对应的标定信息中可以包括:图像中所包含的装饰物所在位置的位置信息,以及装饰物的属性,上述非装饰物样本图像对应的标定信息中可以包括:图像中所包含的目标,即非装饰物所在位置的位置信息,以及非装饰物的属性。进一步的,将样本图像以及标定结果输入初始的模型,以使初始的模型针对每一样本图像,对样本图像中标定结果对应的区域图像进行样本图像特征提取;进一步的,基于所提取的样本图像特征以及标定结果,对初始的模型进行训练,得到训练结果,以得到预设属性分类模型。
本步骤中,可以电子设备将可以装饰物位置信息以及待检测图像,输入预设属性分类模型中,预设属性分类模型基于上述装饰物位置信息,确定待检测图像中的装饰物的属性。
应用本发明实施例中,电子设备可以通过预设目标检测模型确定出待检测图像中驾驶室区域中是否存在装饰物,并在确定出存在装饰物时,确定装饰物所在区域对应的装饰物位置信息,后续的,基于预设属性分类模型、所确定的装饰物位置信息以及述待检测图像,确定出装饰物的属性,以实现对目标的属性的检测。并且,所确定的装饰物的属性可以表征出装饰物是否为危险的装饰物,后续的,当所确定的装饰物的属性表征出装饰物为危险的装饰物,工作人员可以提示车辆的驾驶者,以使驾驶者可以关注上述危险的装饰物,以避免出现危险。
在一种实现方式中,上述预设目标检测模型可以为预先训练好的机器学习模型,电子设备可以将上述待检测图像以及驾驶室位置信息输入上述预设目标检测模型中,上述预设目标检测模型可以从待检测图像中提取上述驾驶室位置信息对应的区域图像的图像特征,上述图像特征可以为梯度方向直方图特征,本发明实施例称之为待检测梯度方向直方图特征,后续的,上述预设目标检测模型对上述待检测梯度方向直方图特征进行特征分类,确定出装饰物所在区域的位置信息,本发明实施例中可以称之为装饰物位置信息。上述基于预设目标检测模型以及驾驶室位置信息,从待检测图像中,确定驾驶室区域中装饰物所在区域对应的装饰物位置信息(S103)的步骤,可以包括:
将待检测图像以及驾驶室位置信息输入预设目标检测模型,预设目标检测模型基于驾驶室位置信息,提取待检测图像对应的待检测梯度方向直方图特征;基于所提取的待检测梯度方向直方图特征,确定驾驶室区域中装饰物所在区域对应的装饰物位置信息。
在一种实现方式中,上述预设目标检测模型可以为预设DPM(Deformable PartsModel,可变形的零件模型)目标检测模型;
在上述基于预设目标检测模型以及驾驶室位置信息,从待检测图像中,确定驾驶室区域中装饰物所在区域对应的装饰物位置信息(S103)的步骤之前,所述方法还可以包括:
建立预设DPM目标检测模型的过程,如图2所示,所述过程可以包括:
S201:获得多张第一样本图像;
其中,多张第一样本图像可以包括:第一正样本图像以及第一负样本图像,第一正样本图像为:所包含驾驶室区域包含装饰物的图像,第一负样本图像为:所包含驾驶室区域不包含装饰物的图像;
S202:获得每一第一正样本图像对应的第一标定信息,以及每一第一负样本图像对应的第二标定信息;
其中,每一第一标定信息可以包括:所对应第一正样本图像所包含驾驶室区域中,装饰物所在区域对应的第一预期位置信息;每一第二标定信息可以包括:所对应第一负样本图像所包含驾驶室区域中,满足预设标定条件的区域对应的第二预期位置信息;
S203:基于第一正样本图像与第一正样本图像对应的第一预期位置信息、第一负样本图像与第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到预设DPM目标检测模型。
可以理解的是,上述第一样本图像可以为图像采集设备所采集的第一原图像,也可以为从第一原图像中所截取出的仅包含车辆驾驶室区域的图像,这都是可以的。为了保证所建立的预设DPM目标检测模型的稳定性,上述样本图像可以为:从第一原图像中所截取出的仅包含车辆驾驶室区域的图像。如图3A和3B所示。可以理解的是,上述的第一原图像中的“原”是相对于所截取出的仅包含车辆驾驶室区域的图像而言的。
其中,上述多张第一样本图像中,可以包含第一正样本图像以及第一负样本图像。获得上述多张第一样本图像后,工作人员可以对上述每一第一样本图像进行人工标定,或者,也可以通过预设程序对每一第一样本图像进行标定处理。在一种实现方式中,人工标定的过程可以为:对于第一正样本图像,工作人员可以从第一正样本图像中标定出装饰物所在区域的外接矩形框,如图3A中所示的白色边框的矩形框。对于第一负样本图像,工作人员可以从第一负样本图像中,标定出一预设区域的外接矩形框,如图3B中所示的白色矩形框,其中,上述预设区域可以为:存在装饰物的概率超过预定概率阈值的区域,可以为工作人员设定。在另一种实现方式中,对于第一正样本图像,可以通过预设程序对第一正样本图像进行标定,例如通过边缘检测算法从第一正样本图像中确定出所包含装饰物所在区域,并进行标定;对于第一负样本图像,可以首先通过边缘检测算法确定第一负样本图像中车窗所在区域,再基于所确定的车窗所在区域以及预设标定条件,确定第一负样本图像中满足上述预设标定条件的区域,并进行标定。其中,上述满足上述预设标定条件的区域可以为:所确定的车窗所在区域的下部的五分之一的区域,即以车窗的下边框的为一条边的区域,和/或,所确定的车窗所在区域的中心点的周围区域,其中,上述周围区域为与中心点距离不超过预设范围的区域。上述图3A中和图3B中黑色实心矩形框遮挡的位置为驾驶者所在位置。
上述预期位置信息可以为:所标定的外接矩形框的四个顶点,在所对应样本图像中位置信息,其中,上述预期位置信息可以包括第一预期位置信息和第二预期位置信息。
本发明实施例中,在训练上述初始DPM目标检测模型时,进行训练的第一样本图像的数量越多,所获得的预设DPM目标检测模型的越稳定;利用上述预设DPM目标检测模型,所确定出的待检测图像中装饰物所在区域对应的装饰物位置信息越准确。在一种实现方式中,在获取第一样本图像时,上述第一正样本图像、第一负样本图像的数量可以尽量近似相等,即上述两者之间的数量的差值不超过一预定数值。在一种情况中,上述第一正样本图像和/或第一负样本图像可能不易获取,此时,上述第一正样本图像和/或第一负样本图像的数量满足一定数量即可。
在一种实现方式中,上述初始DPM目标检测模型可以包括:第一特征提取层和第一特征分类层;
上述基于第一正样本图像与第一正样本图像对应的第一预期位置信息、第一负样本图像与第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到预设DPM目标检测模型(S203)的步骤,可以包括:
将第一样本图像输入第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征,其中,当该第一样本图像为第一正样本图像时,第一区域为第一正样本图像中装饰物所在区域,当该第一样本图像为第一负样本图像时,第一区域为第一负样本图像中满足预设标定条件的区域;
将所提取的样本梯度方向直方图特征,输入第一特征分类层,获得该第一样本图像中第一区域对应的第一当前位置信息;
将所获得的第一当前位置信息与该第一样本图像对应的预期位置信息进行匹配,其中,该第一样本图像为第一正样本图像时,第一样本图像对应的预期位置信息为第一预期位置信息,该第一样本图像为第一负样本图像时,第一样本图像对应的预期位置信息为第二预期位置信息;
当匹配成功时,得到包含第一特征提取层和第一特征分类层的预设DPM目标检测模型;
当匹配不成功时,则分别调整第一特征提取层和第一特征分类层的神经网络参数;重新返回将第一样本图像输入第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征的步骤;
直至匹配成功,得到包含第一特征提取层和第一特征分类层的预设DPM目标检测模型。
可以理解的是,上述将所获得的第一当前位置信息与该第一样本图像对应的预期位置信息进行匹配的过程可以为,利用预设的损失函数计算所获得的第一当前位置信息与该第一样本图像对应的预期位置信息的差值;当所计算差值在预设允许损失范围内,则确定匹配成功,当所计算差值不在预设允许损失范围内,则确定匹配不成功,此时,可以基于将所获得的第一当前位置信息与该第一样本图像对应的预期位置信息的差值变小的原则,调整上述第一特征提取层和第一特征分类层的神经网络参数;再重新返回执行将每一第一样本图像输入第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征的步骤。在一种实现方式中,可以利用梯度下降法调整上述第一特征提取层和第一特征分类层的神经网络参数。
在一种实现方式中,在训练上述初始DPM目标检测模型的过程中,可以将每一第一样本图像均输入上述初始DPM目标检测模型,以对上述初始DPM目标检测模型进行训练;也可以是首先从上述第一样本图像随机或顺序选取第一预定数量的第一正样本图像以及第二预定数量的第一负样本图像,将所选取的第一预定数量的第一正样本图像以及第二预定数量的第一负样本图像输入上述初始DPM目标检测模型,以对上述初始DPM目标检测模型进行训练。
本发明实施例中,上述预设DPM目标检测模型可以看作HOG(Histogrrams ofOriented Gradients)梯度方向直方图模型的扩展,训练过程和HOG模型相似,首先通过第一特征提取层提取出图像的梯度方向直方图特征,然后利用第一特征分类层对上述梯度方向直方图特征进行分类,即可以认为为确定图像中是否包含装饰物;进而根据分类结果以及提前标定的预期结果,调整各层的参数,以训练得到目标的梯度模型,即可以认为为上述预设DPM目标检测模型。
后续的,可以利用上述所得到的预设目标检测模型确定待检测图像中是否包含装饰物,在确定包含装饰物时,确定出装饰物所在区域的位置信息,即装饰物位置信息。本发明实施例中,电子设备可以将待检测图像以及驾驶室位置信息输入预设目标检测模型的第一特征提取层,上述第一特征提取层基于驾驶室位置信息,提取出待检测图像中上述驾驶室位置信息所对应的区域图像的待检测梯度方向直方图特征;后续的,电子设备可以将所得到的待检测梯度方向直方图特征输入第一特征分类层,以对待检测梯度方向直方图特征进行分类,确定出上述驾驶室位置信息所对应的图像中是否包含装饰物,当确定包含装饰物时,确定驾驶室区域中装饰物所在区域对应的装饰物位置信息。
在一种实现方式中,上述预设属性分类模型可以为预先训练好的机器学习模型,电子设备可以将上述待检测图像以及装饰物位置信息输入上述预设属性分类模型中,上述预设属性分类模型可以从待检测图像中提取上述装饰物位置信息对应的区域图像的图像特征,本发明实施例称之为待检测图像特征,后续的,上述预设属性分类模型对上述待检测图像特征进行特征分类,确定出装饰物的属性。上述基于预设属性分类模型、装饰物位置信息以及待检测图像,确定装饰物的属性(S104)的步骤,可以包括:
将待检测图像以及装饰物位置信息输入预设属性分类模型,预设属性分类模型基于装饰物位置信息,提取待检测图像对应的待检测图像特征;基于所提取的待检测图像特征,确定待检测图像中装饰物的属性。
在一种实现方式中,上述预设属性分类模型可以为预设卷积神经网络模型;
在所述基于预设属性分类模型以及装饰物位置信息,确定装饰物的属性(S104)的步骤之前,所述方法还可以包括:
建立预设卷积神经网络模型的过程,其中,如图4所示,所述过程可以包括:
S401:获得多张第二样本图像;
其中,上述多张第二样本图像可以包括:包含属性被标识为第一预期属性的装饰物的第二正样本图像、包含属性被标识为第二预期属性的装饰物的第二负样本图像,以及包含属性被标识为第三预期属性的非装饰物的第二非装饰物样本图像;
S402:获得每一第二正样本图像对应的第三标定信息,每一第二负样本图像对应的第四标定信息,以及每一第二非装饰物样本图像对应的第五标定信息;
其中,每一第三标定信息可以包括:所对应第二正样本图像所包含驾驶室区域中,装饰物所在区域对应的第三预期位置信息及该装饰物对应的第一预期属性;每一第四标定信息可以包括:所对应第二负样本图像所包含驾驶室区域中,装饰物所在区域对应的第四预期位置信息及该装饰物对应的第二预期属性;每一第五标定信息可以包括:所对应第二非装饰物样本图像所包含驾驶室区域中,非装饰物所在区域对应的第五预期位置信息及该非装饰物对应的第三预期属性;
S403:基于第二正样本图像及对应的第三预期位置信息和第一预期属性、第二负样本图像及对应的第四预期位置信息和第二预期属性、第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到预设卷积神经网络模型。
可以理解的是,上述第二样本图像可以为图像采集设备所采集的第二原图像,也可以为从第二原图像中所截取出的仅包含装饰物所在区域的图像,这都是可以的。为了保证所建立的预设卷积神经网络模型的稳定性,上述样本图像可以为:从第二原图像中所截取出的仅包含装饰物所在区域的图像。可以理解的是,上述的第二原图像中的“原”是相对于所截取出的仅包含装饰物所在区域的图像而言的。
其中,上述多张第二样本图像中,可以包含第二正样本图像、第二负样本图像以及第二非装饰物样本图像。获得上述多张第二样本图像后,工作人员可以对上述每一第二样本图像进行人工标定,或者,也可以通过预设程序对每一第二样本图像进行标定处理。在一种实现方式中,人工标定的过程可以为::对于第二正样本图像,可以标定出装饰物所在区域的外接矩形框,以及装饰物的属性,例如,可以标定上述装饰物的属性为第一预期属性,如安全等,如图5A所示,为属性为安全的装饰物的目标的一种示例图,其中,图5A所示的装饰为线绳编织的挂坠以及毛绒的摆件;对于第二负样本图像,可以标定出装饰物所在区域的外接矩形框,以及装饰物的属性,例如,可以标定上述装饰物的属性为第二预期属性,如危险等,如图5B所示,为属性为危险的装饰物的目标的一种示例图,其中,图5B所示的装饰物为塑料材质的挂件,及金属材质的摆件,上述的塑料材质、金属材质,及玉质、玻璃材质等均为质地偏硬的材质,易对人员或车辆造成伤害,并且边缘锋利的装饰物,也易对人员或车辆造成伤害,均可以属于属性为危险的装饰物;对于第二非装饰物样本图像,标出非装饰物所在区域的外接矩形框,以及非装饰物的属性,例如,可以标定上述非装饰物的属性为第三预期属性,如非装饰物等,如图5C所示,为被误检为装饰物的目标的一种示例图,其中,图5C中所示可以为被误检为装饰物的宣传单。
上述预期位置信息可以为:所标定的外接矩形框的四个顶点,在所对应样本图像中位置信息,其中,上述预期位置信息可以包括第三预期位置信息、第四预期位置信息和第五预期位置信息。
在训练上述初始卷积神经网络模型时,进行训练的第二样本图像的数量越多,所获得的预设卷积神经网络模型的越稳定;利用上述卷积神经网络模型模型,所确定出的待检测图像中装饰物的属性越准确。可以理解的是,在获取第二样本图像时,上述第二正样本图像、第二负样本图像以及第二非装饰物样本图像的数量可以尽量近似相等,即上述三者两两之间的数量的差值不超过一预定数值。在一种情况中,上述第二正样本图像和/或第二负样本图像和/或第二非装饰物样本图像可能不易获取,此时,上述第二正样本图像和/或第二负样本图像和/或第二非装饰物样本图像的数量满足一定数量即可。
在一种情况中,上述第一样本图像和第二样本图像可以包含相同的图像,可以包含不同的图像,这都是可以的。
在一种实现方式中,上述初始卷积神经网络模型可以包括第二特征提取层和第二特征分类层;
所述基于第二正样本图像及对应的第三预期位置信息和第一预期属性、第二负样本图像及对应的第四预期位置信息和第二预期属性、第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型(S403)的步骤,可以包括:
将第二样本图像输入第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;
其中,当该第二样本图像为第二正样本图像时,第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;
当该第二样本图像为第二负样本图像时,第二区域为该第二样本图像所包含驾驶室区域中满足第二预设标定条件的区域;
当该第二样本图像为第二非装饰物样本图像时,第二区域为该第二样本图像所包含驾驶室区域中,非装饰物所在区域;
将所提取的样本图像特征输入第二特征分类层,获得该第二样本图像中第二区域对应的第二当前位置信息及当前属性;
将所获得的第二当前位置信息与该第二样本图像对应的预期位置信息进行匹配,且将所获得的当前属性与该第二样本图像对应的预期属性进行匹配;
其中,该第二样本图像为第二正样本图像时,该第二样本图像对应的预期位置信息为第三预期位置信息,该第二样本图像对应的预期属性为第一预期属性;
该第二样本图像为第二负样本图像时,该第二样本图像对应的预期位置信息为第四预期位置信息,该第二样本图像对应的预期属性为第二预期属性;
该第二样本图像为第二非装饰物样本图像时,该第二样本图像对应的预期位置信息为第五预期位置信息,该第二样本图像对应的预期属性为第三预期属性;
当匹配成功时,得到包含第二特征提取层和第二特征分类层的预设卷积神经网络模型;
当匹配不成功时,则分别调整第二特征提取层和第二特征分类层的神经网络参数;重新返回将第二样本图像输入第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征的步骤;
直至匹配成功,得到包含第二特征提取层和第二特征分类层的预设卷积神经网络模型。
其中,每一第二样本图像对应一组第二当前位置信息及当前属性,且,每一第二样本图像对应一组第三预期位置信息及第一预期属性,或,对应一组第四预期位置信息及第二预期属性,此时,可以确定:每一组第二当前位置信息及当前属性,与一组第三预期位置信息及第一预期属性,或与一组第四预期位置信息及第二预期属性存在对应关系。
可以理解的是,上述将所获得的第二当前位置信息与该第二样本图像对应的预期位置信息进行匹配,且将所获得的当前属性与该第二样本图像对应的预期属性进行匹配时,其匹配过程可以为:利用预设的损失函数计算所获得的第二当前位置信息与所对应的第二样本图像对应的预期位置信息的差值,及所获得的当前属性与所对应的第二样本图像对应的预期属性的差值;当所计算的上述差值均在预设允许损失范围内,则确定匹配成功,当所计算的上述差值不均在预设允许损失范围内,则确定匹配不成功,此时,可以基于将上述差值变小的原则,调整上述第二特征提取层和第二特征分类层的神经网络参数;再重新返回执行将每一第二样本图像输入第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征的步骤。在一种实现方式中,可以利用梯度下降法调整上述第二特征提取层和第二特征分类层的神经网络参数。
后续的,可以利用上述所得到的预设属性分类模型确定待检测图像中装饰物的属性。在一种实现方式中,电子设备可以将待检测图像以及装饰物位置信息输入预设属性分类模型的第二特征提取层,上述第二特征提取层基于装饰物位置信息,从待检测图像中上述装饰物位置信息所对应的区域图像中,提取得到图像特征;后续的,电子设备可以将所提取的图像特征输入第二特征分类层,以对图像特征进行分类,确定上述装饰物位置信息所对应的图像中是否包含装饰物,当确定包含装饰物时,确定装饰物所在区域对应的装饰物的属性。
在一种实现方式中,在训练上述初始卷积神经网络模型的过程中,可以将每一第二样本图像均输入上述初始卷积神经网络模型,以对上述初始卷积神经网络模型进行训练;也可以是首先从上述第二样本图像随机或顺序选取第三预定数量的第二正样本图像、第四预定数量的第二负样本图像以及第五预定数量的第二非装饰物样本图像,将所选取的第三预定数量的第而正样本图像、第四预定数量的第二负样本图像以及第五预定数量的第二非装饰物样本图像,输入上述初始卷积神经网络模型,以对上述初始卷积神经网络模型进行训练。
在一种实现方式中,上述预设属性分类模型还可以用于检测误检为装饰物的目标,如图5C所示。预设属性分类模型检测出待检测图像中装饰物位置信息对应的图像中所包含的装饰物,为误检为装饰物的目标时,上述预设属性分类模型可以确定上述目标的属性为非装饰物。
在一种实现方式中,基于预设目标检测模型,确定待检测图像中的装饰物所在区域的装饰物位置信息,可以在一定程度上保证所确定的装饰物位置信息的准确性,这是由于训练得到预设目标检测模型的第一样本图像,为图像采集设备在车辆所处的真实环境中所采集的图像,其可以很好的表征出真实环境中的各种因素,如光照、阴影和图像采集设备的分辨率等。通过上述第一样本图像所训练得到的预设目标检测模型,可以在一定程度上克服上述因素对图像中驾驶室区域的影响,很好的识别出图像驾驶室区域中是否包含装饰物,并确定出装饰物所在区域的装饰物位置信息。
并且,基于预设属性分类模型,确定待检测图像中装饰物的属性,也可以在一定程度上保证所确定的装饰物的属性的准确性,并能检测出上述预设目标检测模型是否出现误检。上述预设属性分类模型所依赖的第二样本图像,也可以很好的表征出真实环境中的各种因素,如光照、阴影和图像采集设备的分辨率等。上述预设属性分类模型也可以在一定程度上克服上述因素对图像中驾驶室区域的影响,很好的识别出图像驾驶室区域中是否包含装饰物,并确定出装饰物所在区域的装饰物的属性。
在一种实现方式中,为了避免所识别出的危险的装饰物,对车辆驾驶者造成危害,电子设备确定出装饰物的属性后,可以将所确定的装饰物的属性输出,展示于工作人员,上述工作人员确定属性为危险后,可以对应的通知车辆的驾驶者,以警示其车辆内的装饰物可能造成安全隐患,警示车辆的驾驶者实施相应措施,避免出现危险。在上述基于预设属性分类模型、装饰物位置信息以及待检测图像,确定装饰物的属性(S104)的步骤之后,所述方法还可以包括:
输出所确定的装饰物的属性。
相应于上述方法实施例,本发明实施例提供了一种目标的属性识别装置,如图6所示,所述装置可以包括:
第一获得模块610,用于获得待检测图像;
第二获得模块620,用于从所述待检测图像中,获得所包含车辆的驾驶室区域对应的驾驶室位置信息;
第一确定模块630,用于基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息;
第二确定模块640,用于基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性。
应用本发明实施例中,电子设备可以通过预设目标检测模型确定出待检测图像中驾驶室区域中是否存在装饰物,并在确定出存在装饰物时,确定装饰物所在区域对应的装饰物位置信息,后续的,基于预设属性分类模型、所确定的装饰物位置信息以及述待检测图像,确定出装饰物的属性,以实现对目标的属性的检测。并且,所确定的装饰物的属性可以表征出装饰物是否为危险的装饰物,后续的,当所确定的装饰物的属性表征出装饰物为危险的装饰物,工作人员可以提示车辆的驾驶者,以使驾驶者可以关注上述危险的装饰物,以避免出现危险。
在一种实现方式中,所述第一确定模块630,具体用于
将所述待检测图像以及所述驾驶室位置信息输入所述预设目标检测模型,所述预设目标检测模型基于所述驾驶室位置信息,提取所述待检测图像对应的待检测梯度方向直方图特征;基于所提取的待检测梯度方向直方图特征,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息。
在一种实现方式中,所述预设目标检测模型为预设DPM目标检测模型;
如图7所示,所述装置还可以包括第一模型建立模块710;
所述第一模型建立模块710,用于在所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息之前,建立所述预设DPM目标检测模型,其中,所述第一模型建立模块710可以包括:第一获得单元711、第二获得单元712和第一训练得到单元713;
所述第一获得单元711,用于获得多张第一样本图像,其中,所述多张第一样本图像包括:第一正样本图像以及第一负样本图像,所述第一正样本图像为:所包含驾驶室区域包含装饰物的图像,所述第一负样本图像为:所包含驾驶室区域不包含装饰物的图像;
所述第二获得单元712,用于获得每一第一正样本图像对应的第一标定信息,以及每一第一负样本图像对应的第二标定信息,其中,每一第一标定信息包括:所对应第一正样本图像所包含驾驶室区域中,装饰物所在区域对应的第一预期位置信息;每一第二标定信息包括:所对应第一负样本图像所包含驾驶室区域中,满足预设标定条件的区域对应的第二预期位置信息;
所述第一训练得到单元713,用于基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型。
在一种实现方式中,所述初始DPM目标检测模型包括:第一特征提取层和第一特征分类层;
所述第一训练得到单元713,具体用于
将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征,其中,当该第一样本图像为第一正样本图像时,所述第一区域为第一正样本图像中装饰物所在区域,当该第一样本图像为第一负样本图像时,所述第一区域为第一负样本图像中满足所述预设标定条件的区域;
将所提取的样本梯度方向直方图特征,输入所述第一特征分类层,获得该第一样本图像中第一区域对应的第一当前位置信息;
将所获得的第一当前位置信息与该第一样本图像对应的预期位置信息进行匹配,其中,该第一样本图像为第一正样本图像时,所述第一样本图像对应的预期位置信息为第一预期位置信息,该第一样本图像为第一负样本图像时,所述第一样本图像对应的预期位置信息为第二预期位置信息;
当匹配成功时,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型;
当匹配不成功时,则分别调整所述第一特征提取层和所述第一特征分类层的神经网络参数;重新返回将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征;
直至匹配成功,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型。
在一种实现方式中,所述第二确定模块640,具体用于
将所述待检测图像以及所述装饰物位置信息输入所述预设属性分类模型,所述预设属性分类模型基于所述装饰物位置信息,提取所述待检测图像对应的待检测图像特征;基于所提取的待检测图像特征,确定所述待检测图像中所述装饰物的属性。
在一种实现方式中,所述预设属性分类模型为预设卷积神经网络模型;
如图8所示,所述装置还可以包括第二模型建立模块810;
所述第二模型建立模块810,用于在所述基于预设属性分类模型以及所述装饰物位置信息,确定所述装饰物的属性之前,建立所述预设卷积神经网络模型,其中,所述第二模型建立模块810可以包括第三获得单元811、第四获得单元812和第二训练得到单元813;
所述第三获得单元811,用于获得多张第二样本图像,其中,所述多张第二样本图像包括:包含属性被标识为第一预期属性的装饰物的第二正样本图像、包含属性被标识为第二预期属性的装饰物的第二负样本图像,以及包含属性被标识为第三预期属性的非装饰物的第二非装饰物样本图像;
所述第四获得单元812,用于获得每一第二正样本图像对应的第三标定信息,每一第二负样本图像对应的第四标定信息,以及每一第二非装饰物样本图像对应的第五标定信息,其中,每一第三标定信息包括:所对应第二正样本图像所包含驾驶室区域中,装饰物所在区域对应的第三预期位置信息及该装饰物对应的第一预期属性;每一第四标定信息包括:所对应第二负样本图像所包含驾驶室区域中,装饰物所在区域对应的第四预期位置信息及该装饰物对应的第二预期属性;每一第五标定信息包括:所对应第二非装饰物样本图像所包含驾驶室区域中,非装饰物所在区域对应的第五预期位置信息及该非装饰物对应的第三预期属性;
所述第二训练得到单元813,用于基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型。
在一种实现方式中,所述初始卷积神经网络模型包括第二特征提取层和第二特征分类层;
所述第二训练得到单元813,具体用于
将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;其中,当该第二样本图像为第二正样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;当该第二样本图像为第二负样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;当该第二样本图像为第二非装饰物样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,非装饰物所在区域;
将所提取的样本图像特征输入所述第二特征分类层,获得该第二样本图像中第二区域对应的第二当前位置信息及当前属性;
将所获得的第二当前位置信息与该第二样本图像对应的预期位置信息进行匹配,且将所获得的当前属性与该第二样本图像对应的预期属性进行匹配;
其中,该第二样本图像为第二正样本图像时,该第二样本图像对应的预期位置信息为第三预期位置信息,该第二样本图像对应的预期属性为第一预期属性;
该第二样本图像为第二负样本图像时,该第二样本图像对应的预期位置信息为第四预期位置信息,该第二样本图像对应的预期属性为第二预期属性;
该第二样本图像为第二非装饰物样本图像时,该第二样本图像对应的预期位置信息为第五预期位置信息,该第二样本图像对应的预期属性为第三预期属性;
当匹配成功时,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型;
当匹配不成功时,则分别调整所述第二特征提取层和所述第二特征分类层的神经网络参数;重新返回将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;
直至匹配成功,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型。
在一种实现方式中,所述装置还可以包括输出模块;
所述输出模块,用于在所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性之后,输出所确定的所述装饰物的属性。
相应于上述方法实施例,本发明实施例还提供了一种电子设备,如图9所示,包括处理器910、通信接口920、存储器930和通信总线940,其中,处理器910,通信接口920,存储器930通过通信总线940完成相互间的通信,
存储器930,用于存放计算机程序;
处理器910,用于执行存储器930上所存放的计算机程序时,实现本发明实施例所提供的一种目标的属性识别方法,该方法可以包括步骤:
获得待检测图像;
从所述待检测图像中,获得所包含车辆的驾驶室区域对应的驾驶室位置信息;
基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息;
基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性。
应用本发明实施例中,电子设备可以通过预设目标检测模型确定出待检测图像中驾驶室区域中是否存在装饰物,并在确定出存在装饰物时,确定装饰物所在区域对应的装饰物位置信息,后续的,基于预设属性分类模型、所确定的装饰物位置信息以及述待检测图像,确定出装饰物的属性,以实现对目标的属性的检测。并且,所确定的装饰物的属性可以表征出装饰物是否为危险的装饰物,后续的,当所确定的装饰物的属性表征出装饰物为危险的装饰物,工作人员可以提示车辆的驾驶者,以使驾驶者可以关注上述危险的装饰物,以避免出现危险。
在一种实现方式中,所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息,包括:
将所述待检测图像以及所述驾驶室位置信息输入所述预设目标检测模型,所述预设目标检测模型基于所述驾驶室位置信息,提取所述待检测图像对应的待检测梯度方向直方图特征;基于所提取的待检测梯度方向直方图特征,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息。
在一种实现方式中,所述预设目标检测模型为预设DPM目标检测模型;
在所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息之前,还包括:
建立所述预设DPM目标检测模型的过程,所述过程包括:
获得多张第一样本图像,其中,所述多张第一样本图像包括:第一正样本图像以及第一负样本图像,所述第一正样本图像为:所包含驾驶室区域包含装饰物的图像,所述第一负样本图像为:所包含驾驶室区域不包含装饰物的图像;
获得每一第一正样本图像对应的第一标定信息,以及每一第一负样本图像对应的第二标定信息,其中,每一第一标定信息包括:所对应第一正样本图像所包含驾驶室区域中,装饰物所在区域对应的第一预期位置信息;每一第二标定信息包括:所对应第一负样本图像所包含驾驶室区域中,满足预设标定条件的区域对应的第二预期位置信息;
基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型。
在一种实现方式中,所述初始DPM目标检测模型包括:第一特征提取层和第一特征分类层;
所述基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型,包括:
将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征,其中,当该第一样本图像为第一正样本图像时,所述第一区域为第一正样本图像中装饰物所在区域,当该第一样本图像为第一负样本图像时,所述第一区域为第一负样本图像中满足所述预设标定条件的区域;
将所提取的样本梯度方向直方图特征,输入所述第一特征分类层,获得该第一样本图像中第一区域对应的第一当前位置信息;
将所获得的第一当前位置信息与该第一样本图像对应的预期位置信息进行匹配,其中,该第一样本图像为第一正样本图像时,所述第一样本图像对应的预期位置信息为第一预期位置信息,该第一样本图像为第一负样本图像时,所述第一样本图像对应的预期位置信息为第二预期位置信息;
当匹配成功时,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型;
当匹配不成功时,则分别调整所述第一特征提取层和所述第一特征分类层的神经网络参数;重新返回将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征;
直至匹配成功,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型。
在一种实现方式中,所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性,包括:
将所述待检测图像以及所述装饰物位置信息输入所述预设属性分类模型,所述预设属性分类模型基于所述装饰物位置信息,提取所述待检测图像对应的待检测图像特征;基于所提取的待检测图像特征,确定所述待检测图像中所述装饰物的属性。
在一种实现方式中,所述预设属性分类模型为预设卷积神经网络模型;
在所述基于预设属性分类模型以及所述装饰物位置信息,确定所述装饰物的属性之前,还包括:
建立所述预设卷积神经网络模型的过程,其中,所述过程包括:
获得多张第二样本图像,其中,所述多张第二样本图像包括:包含属性被标识为第一预期属性的装饰物的第二正样本图像、包含属性被标识为第二预期属性的装饰物的第二负样本图像,以及包含属性被标识为第三预期属性的非装饰物的第二非装饰物样本图像;
获得每一第二正样本图像对应的第三标定信息,每一第二负样本图像对应的第四标定信息,以及每一第二非装饰物样本图像对应的第五标定信息,其中,每一第三标定信息包括:所对应第二正样本图像所包含驾驶室区域中,装饰物所在区域对应的第三预期位置信息及该装饰物对应的第一预期属性;每一第四标定信息包括:所对应第二负样本图像所包含驾驶室区域中,装饰物所在区域对应的第四预期位置信息及该装饰物对应的第二预期属性;每一第五标定信息包括:所对应第二非装饰物样本图像所包含驾驶室区域中,非装饰物所在区域对应的第五预期位置信息及该非装饰物对应的第三预期属性;
基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型。
在一种实现方式中,所述初始卷积神经网络模型包括第二特征提取层和第二特征分类层;
所述基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型,包括:
将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;
其中,当该第二样本图像为第二正样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;
当该第二样本图像为第二负样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;
当该第二样本图像为第二非装饰物样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,非装饰物所在区域;
将所提取的样本图像特征输入所述第二特征分类层,获得该第二样本图像中第二区域对应的第二当前位置信息及当前属性;
将所获得的第二当前位置信息与该第二样本图像对应的预期位置信息进行匹配,且将所获得的当前属性与该第二样本图像对应的预期属性进行匹配;
其中,该第二样本图像为第二正样本图像时,该第二样本图像对应的预期位置信息为第三预期位置信息,该第二样本图像对应的预期属性为第一预期属性;
该第二样本图像为第二负样本图像时,该第二样本图像对应的预期位置信息为第四预期位置信息,该第二样本图像对应的预期属性为第二预期属性;
该第二样本图像为第二非装饰物样本图像时,该第二样本图像对应的预期位置信息为第五预期位置信息,该第二样本图像对应的预期属性为第三预期属性;
当匹配成功时,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型;
当匹配不成功时,则分别调整所述第二特征提取层和所述第二特征分类层的神经网络参数;重新返回将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;
直至匹配成功,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型。
在一种实现方式中,在所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性之后,还包括:
输出所确定的所述装饰物的属性。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应于上述方法实施例,本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例所提供的一种目标的属性识别方法,该方法可以包括步骤:
获得待检测图像;
从所述待检测图像中,获得所包含车辆的驾驶室区域对应的驾驶室位置信息;
基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息;
基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性。
应用本发明实施例中,电子设备可以通过预设目标检测模型确定出待检测图像中驾驶室区域中是否存在装饰物,并在确定出存在装饰物时,确定装饰物所在区域对应的装饰物位置信息,后续的,基于预设属性分类模型、所确定的装饰物位置信息以及述待检测图像,确定出装饰物的属性,以实现对目标的属性的检测。并且,所确定的装饰物的属性可以表征出装饰物是否为危险的装饰物,后续的,当所确定的装饰物的属性表征出装饰物为危险的装饰物,工作人员可以提示车辆的驾驶者,以使驾驶者可以关注上述危险的装饰物,以避免出现危险。
在一种实现方式中,所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息,包括:
将所述待检测图像以及所述驾驶室位置信息输入所述预设目标检测模型,所述预设目标检测模型基于所述驾驶室位置信息,提取所述待检测图像对应的待检测梯度方向直方图特征;基于所提取的待检测梯度方向直方图特征,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息。
在一种实现方式中,所述预设目标检测模型为预设DPM目标检测模型;
在所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息之前,还包括:
建立所述预设DPM目标检测模型的过程,所述过程包括:
获得多张第一样本图像,其中,所述多张第一样本图像包括:第一正样本图像以及第一负样本图像,所述第一正样本图像为:所包含驾驶室区域包含装饰物的图像,所述第一负样本图像为:所包含驾驶室区域不包含装饰物的图像;
获得每一第一正样本图像对应的第一标定信息,以及每一第一负样本图像对应的第二标定信息,其中,每一第一标定信息包括:所对应第一正样本图像所包含驾驶室区域中,装饰物所在区域对应的第一预期位置信息;每一第二标定信息包括:所对应第一负样本图像所包含驾驶室区域中,满足预设标定条件的区域对应的第二预期位置信息;
基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型。
在一种实现方式中,所述初始DPM目标检测模型包括:第一特征提取层和第一特征分类层;
所述基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型,包括:
将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征,其中,当该第一样本图像为第一正样本图像时,所述第一区域为第一正样本图像中装饰物所在区域,当该第一样本图像为第一负样本图像时,所述第一区域为第一负样本图像中满足所述预设标定条件的区域;
将所提取的样本梯度方向直方图特征,输入所述第一特征分类层,获得该第一样本图像中第一区域对应的第一当前位置信息;
将所获得的第一当前位置信息与该第一样本图像对应的预期位置信息进行匹配,其中,该第一样本图像为第一正样本图像时,所述第一样本图像对应的预期位置信息为第一预期位置信息,该第一样本图像为第一负样本图像时,所述第一样本图像对应的预期位置信息为第二预期位置信息;
当匹配成功时,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型;
当匹配不成功时,则分别调整所述第一特征提取层和所述第一特征分类层的神经网络参数;重新返回将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征;
直至匹配成功,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型。
在一种实现方式中,所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性,包括:
将所述待检测图像以及所述装饰物位置信息输入所述预设属性分类模型,所述预设属性分类模型基于所述装饰物位置信息,提取所述待检测图像对应的待检测图像特征;基于所提取的待检测图像特征,确定所述待检测图像中所述装饰物的属性。
在一种实现方式中,所述预设属性分类模型为预设卷积神经网络模型;
在所述基于预设属性分类模型以及所述装饰物位置信息,确定所述装饰物的属性之前,还包括:
建立所述预设卷积神经网络模型的过程,其中,所述过程包括:
获得多张第二样本图像,其中,所述多张第二样本图像包括:包含属性被标识为第一预期属性的装饰物的第二正样本图像、包含属性被标识为第二预期属性的装饰物的第二负样本图像,以及包含属性被标识为第三预期属性的非装饰物的第二非装饰物样本图像;
获得每一第二正样本图像对应的第三标定信息,每一第二负样本图像对应的第四标定信息,以及每一第二非装饰物样本图像对应的第五标定信息,其中,每一第三标定信息包括:所对应第二正样本图像所包含驾驶室区域中,装饰物所在区域对应的第三预期位置信息及该装饰物对应的第一预期属性;每一第四标定信息包括:所对应第二负样本图像所包含驾驶室区域中,装饰物所在区域对应的第四预期位置信息及该装饰物对应的第二预期属性;每一第五标定信息包括:所对应第二非装饰物样本图像所包含驾驶室区域中,非装饰物所在区域对应的第五预期位置信息及该非装饰物对应的第三预期属性;
基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型。
在一种实现方式中,所述初始卷积神经网络模型包括第二特征提取层和第二特征分类层;
所述基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型,包括:
将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;
其中,当该第二样本图像为第二正样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;
当该第二样本图像为第二负样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;
当该第二样本图像为第二非装饰物样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,非装饰物所在区域;
将所提取的样本图像特征输入所述第二特征分类层,获得该第二样本图像中第二区域对应的第二当前位置信息及当前属性;
将所获得的第二当前位置信息与该第二样本图像对应的预期位置信息进行匹配,且将所获得的当前属性与该第二样本图像对应的预期属性进行匹配;
其中,该第二样本图像为第二正样本图像时,该第二样本图像对应的预期位置信息为第三预期位置信息,该第二样本图像对应的预期属性为第一预期属性;
该第二样本图像为第二负样本图像时,该第二样本图像对应的预期位置信息为第四预期位置信息,该第二样本图像对应的预期属性为第二预期属性;
该第二样本图像为第二非装饰物样本图像时,该第二样本图像对应的预期位置信息为第五预期位置信息,该第二样本图像对应的预期属性为第三预期属性;
当匹配成功时,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型;
当匹配不成功时,则分别调整所述第二特征提取层和所述第二特征分类层的神经网络参数;重新返回将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;
直至匹配成功,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型。
在一种实现方式中,在所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性之后,还包括:
输出所确定的所述装饰物的属性。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (18)
1.一种目标的属性识别方法,其特征在于,所述方法包括:
获得待检测图像;
从所述待检测图像中,获得所包含车辆的驾驶室区域对应的驾驶室位置信息;
基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息;
基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性。
2.根据权利要求1所述的方法,其特征在于,所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息的步骤,包括:
将所述待检测图像以及所述驾驶室位置信息输入所述预设目标检测模型,所述预设目标检测模型基于所述驾驶室位置信息,提取所述待检测图像对应的待检测梯度方向直方图特征;基于所提取的待检测梯度方向直方图特征,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息。
3.根据权利要求1所述的方法,其特征在于,所述预设目标检测模型为预设DPM目标检测模型;
在所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息的步骤之前,所述方法还包括:
建立所述预设DPM目标检测模型的过程,所述过程包括:
获得多张第一样本图像,其中,所述多张第一样本图像包括:第一正样本图像以及第一负样本图像,所述第一正样本图像为:所包含驾驶室区域包含装饰物的图像,所述第一负样本图像为:所包含驾驶室区域不包含装饰物的图像;
获得每一第一正样本图像对应的第一标定信息,以及每一第一负样本图像对应的第二标定信息,其中,每一第一标定信息包括:所对应第一正样本图像所包含驾驶室区域中,装饰物所在区域对应的第一预期位置信息;每一第二标定信息包括:所对应第一负样本图像所包含驾驶室区域中,满足预设标定条件的区域对应的第二预期位置信息;
基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型。
4.根据权利要求3所述的方法,其特征在于,所述初始DPM目标检测模型包括:第一特征提取层和第一特征分类层;
所述基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型的步骤,包括:
将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征,其中,当该第一样本图像为第一正样本图像时,所述第一区域为第一正样本图像中装饰物所在区域,当该第一样本图像为第一负样本图像时,所述第一区域为第一负样本图像中满足所述预设标定条件的区域;
将所提取的样本梯度方向直方图特征,输入所述第一特征分类层,获得该第一样本图像中第一区域对应的第一当前位置信息;
将所获得的第一当前位置信息与该第一样本图像对应的预期位置信息进行匹配,其中,该第一样本图像为第一正样本图像时,所述第一样本图像对应的预期位置信息为第一预期位置信息,该第一样本图像为第一负样本图像时,所述第一样本图像对应的预期位置信息为第二预期位置信息;
当匹配成功时,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型;
当匹配不成功时,则分别调整所述第一特征提取层和所述第一特征分类层的神经网络参数;重新返回将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征的步骤;
直至匹配成功,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型。
5.根据权利要求1所述的方法,其特征在于,所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性的步骤,包括:
将所述待检测图像以及所述装饰物位置信息输入所述预设属性分类模型,所述预设属性分类模型基于所述装饰物位置信息,提取所述待检测图像对应的待检测图像特征;基于所提取的待检测图像特征,确定所述待检测图像中所述装饰物的属性。
6.根据权利要求1所述的方法,其特征在于,所述预设属性分类模型为预设卷积神经网络模型;
在所述基于预设属性分类模型以及所述装饰物位置信息,确定所述装饰物的属性的步骤之前,所述方法还包括:
建立所述预设卷积神经网络模型的过程,其中,所述过程包括:
获得多张第二样本图像,其中,所述多张第二样本图像包括:包含属性被标识为第一预期属性的装饰物的第二正样本图像、包含属性被标识为第二预期属性的装饰物的第二负样本图像,以及包含属性被标识为第三预期属性的非装饰物的第二非装饰物样本图像;
获得每一第二正样本图像对应的第三标定信息,每一第二负样本图像对应的第四标定信息,以及每一第二非装饰物样本图像对应的第五标定信息,其中,每一第三标定信息包括:所对应第二正样本图像所包含驾驶室区域中,装饰物所在区域对应的第三预期位置信息及该装饰物对应的第一预期属性;每一第四标定信息包括:所对应第二负样本图像所包含驾驶室区域中,装饰物所在区域对应的第四预期位置信息及该装饰物对应的第二预期属性;每一第五标定信息包括:所对应第二非装饰物样本图像所包含驾驶室区域中,非装饰物所在区域对应的第五预期位置信息及该非装饰物对应的第三预期属性;
基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型。
7.根据权利要求6所述的方法,其特征在于,所述初始卷积神经网络模型包括第二特征提取层和第二特征分类层;
所述基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型的步骤,包括:
将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;
其中,当该第二样本图像为第二正样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;
当该第二样本图像为第二负样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;
当该第二样本图像为第二非装饰物样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,非装饰物所在区域;
将所提取的样本图像特征输入所述第二特征分类层,获得该第二样本图像中第二区域对应的第二当前位置信息及当前属性;
将所获得的第二当前位置信息与该第二样本图像对应的预期位置信息进行匹配,且将所获得的当前属性与该第二样本图像对应的预期属性进行匹配;
其中,该第二样本图像为第二正样本图像时,该第二样本图像对应的预期位置信息为第三预期位置信息,该第二样本图像对应的预期属性为第一预期属性;
该第二样本图像为第二负样本图像时,该第二样本图像对应的预期位置信息为第四预期位置信息,该第二样本图像对应的预期属性为第二预期属性;
该第二样本图像为第二非装饰物样本图像时,该第二样本图像对应的预期位置信息为第五预期位置信息,该第二样本图像对应的预期属性为第三预期属性;
当匹配成功时,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型;
当匹配不成功时,则分别调整所述第二特征提取层和所述第二特征分类层的神经网络参数;重新返回将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征的步骤;
直至匹配成功,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型。
8.根据权利要求1-7任一项所述的方法,其特征在于,在所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性的步骤之后,所述方法还包括:
输出所确定的所述装饰物的属性。
9.一种目标的属性识别装置,其特征在于,所述装置包括:
第一获得模块,用于获得待检测图像;
第二获得模块,用于从所述待检测图像中,获得所包含车辆的驾驶室区域对应的驾驶室位置信息;
第一确定模块,用于基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息;
第二确定模块,用于基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性。
10.根据权利要求9所述的装置,其特征在于,所述第一确定模块,具体用于
将所述待检测图像以及所述驾驶室位置信息输入所述预设目标检测模型,所述预设目标检测模型基于所述驾驶室位置信息,提取所述待检测图像对应的待检测梯度方向直方图特征;基于所提取的待检测梯度方向直方图特征,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息。
11.根据权利要求9所述的装置,其特征在于,所述预设目标检测模型为预设DPM目标检测模型;
所述装置还包括第一模型建立模块;
所述第一模型建立模块,用于在所述基于预设目标检测模型以及所述驾驶室位置信息,从所述待检测图像中,确定所述驾驶室区域中装饰物所在区域对应的装饰物位置信息之前,建立所述预设DPM目标检测模型,其中,所述第一模型建立模块包括:第一获得单元、第二获得单元和第一训练得到单元;
所述第一获得单元,用于获得多张第一样本图像,其中,所述多张第一样本图像包括:第一正样本图像以及第一负样本图像,所述第一正样本图像为:所包含驾驶室区域包含装饰物的图像,所述第一负样本图像为:所包含驾驶室区域不包含装饰物的图像;
所述第二获得单元,用于获得每一第一正样本图像对应的第一标定信息,以及每一第一负样本图像对应的第二标定信息,其中,每一第一标定信息包括:所对应第一正样本图像所包含驾驶室区域中,装饰物所在区域对应的第一预期位置信息;每一第二标定信息包括:所对应第一负样本图像所包含驾驶室区域中,满足预设标定条件的区域对应的第二预期位置信息;
所述第一训练得到单元,用于基于所述第一正样本图像与所述第一正样本图像对应的第一预期位置信息、所述第一负样本图像与所述第一负样本图像对应的第二预期位置信息,训练初始DPM目标检测模型,得到所述预设DPM目标检测模型。
12.根据权利要求11所述的装置,其特征在于,所述初始DPM目标检测模型包括:第一特征提取层和第一特征分类层;
所述第一训练得到单元,具体用于
将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征,其中,当该第一样本图像为第一正样本图像时,所述第一区域为第一正样本图像中装饰物所在区域,当该第一样本图像为第一负样本图像时,所述第一区域为第一负样本图像中满足所述预设标定条件的区域;
将所提取的样本梯度方向直方图特征,输入所述第一特征分类层,获得该第一样本图像中第一区域对应的第一当前位置信息;
将所获得的第一当前位置信息与该第一样本图像对应的预期位置信息进行匹配,其中,该第一样本图像为第一正样本图像时,所述第一样本图像对应的预期位置信息为第一预期位置信息,该第一样本图像为第一负样本图像时,所述第一样本图像对应的预期位置信息为第二预期位置信息;
当匹配成功时,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型;
当匹配不成功时,则分别调整所述第一特征提取层和所述第一特征分类层的神经网络参数;重新返回将所述第一样本图像输入所述第一特征提取层,提取出该第一样本图像中第一区域对应的样本梯度方向直方图特征;
直至匹配成功,得到包含所述第一特征提取层和所述第一特征分类层的预设DPM目标检测模型。
13.根据权利要求9所述的装置,其特征在于,所述第二确定模块,具体用于
将所述待检测图像以及所述装饰物位置信息输入所述预设属性分类模型,所述预设属性分类模型基于所述装饰物位置信息,提取所述待检测图像对应的待检测图像特征;基于所提取的待检测图像特征,确定所述待检测图像中所述装饰物的属性。
14.根据权利要求9所述的装置,其特征在于,所述预设属性分类模型为预设卷积神经网络模型;
所述装置还包括第二模型建立模块;
所述第二模型建立模块,用于在所述基于预设属性分类模型以及所述装饰物位置信息,确定所述装饰物的属性之前,建立所述预设卷积神经网络模型,其中,所述第二模型建立模块包括第三获得单元、第四获得单元和第二训练得到单元;
所述第三获得单元,用于获得多张第二样本图像,其中,所述多张第二样本图像包括:包含属性被标识为第一预期属性的装饰物的第二正样本图像、包含属性被标识为第二预期属性的装饰物的第二负样本图像,以及包含属性被标识为第三预期属性的非装饰物的第二非装饰物样本图像;
所述第四获得单元,用于获得每一第二正样本图像对应的第三标定信息,每一第二负样本图像对应的第四标定信息,以及每一第二非装饰物样本图像对应的第五标定信息,其中,每一第三标定信息包括:所对应第二正样本图像所包含驾驶室区域中,装饰物所在区域对应的第三预期位置信息及该装饰物对应的第一预期属性;每一第四标定信息包括:所对应第二负样本图像所包含驾驶室区域中,装饰物所在区域对应的第四预期位置信息及该装饰物对应的第二预期属性;每一第五标定信息包括:所对应第二非装饰物样本图像所包含驾驶室区域中,非装饰物所在区域对应的第五预期位置信息及该非装饰物对应的第三预期属性;
所述第二训练得到单元,用于基于所述第二正样本图像及对应的第三预期位置信息和第一预期属性、所述第二负样本图像及对应的第四预期位置信息和第二预期属性、所述第二非装饰物样本图像及对应的第五预期位置信息和第三预期属性,训练初始卷积神经网络模型,得到所述预设卷积神经网络模型。
15.根据权利要求14所述的装置,其特征在于,所述初始卷积神经网络模型包括第二特征提取层和第二特征分类层;
所述第二训练得到单元,具体用于
将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;其中,当该第二样本图像为第二正样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;当该第二样本图像为第二负样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,装饰物所在区域;当该第二样本图像为第二非装饰物样本图像时,所述第二区域为该第二样本图像所包含驾驶室区域中,非装饰物所在区域;
将所提取的样本图像特征输入所述第二特征分类层,获得该第二样本图像中第二区域对应的第二当前位置信息及当前属性;
将所获得的第二当前位置信息与该第二样本图像对应的预期位置信息进行匹配,且将所获得的当前属性与该第二样本图像对应的预期属性进行匹配;
其中,该第二样本图像为第二正样本图像时,该第二样本图像对应的预期位置信息为第三预期位置信息,该第二样本图像对应的预期属性为第一预期属性;
该第二样本图像为第二负样本图像时,该第二样本图像对应的预期位置信息为第四预期位置信息,该第二样本图像对应的预期属性为第二预期属性;
该第二样本图像为第二非装饰物样本图像时,该第二样本图像对应的预期位置信息为第五预期位置信息,该第二样本图像对应的预期属性为第三预期属性;
当匹配成功时,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型;
当匹配不成功时,则分别调整所述第二特征提取层和所述第二特征分类层的神经网络参数;重新返回将所述第二样本图像输入所述第二特征提取层,提取该第二样本图像中第二区域对应的样本图像特征;
直至匹配成功,得到包含所述第二特征提取层和所述第二特征分类层的预设卷积神经网络模型。
16.根据权利要求9-15任一项所述的装置,其特征在于,所述装置还包括输出模块;
所述输出模块,用于在所述基于预设属性分类模型、所述装饰物位置信息以及所述待检测图像,确定所述装饰物的属性之后,输出所确定的所述装饰物的属性。
17.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的计算机程序时,实现权利要求1-8任一所述的目标的属性识别方法步骤。
18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-8任一所述的目标的属性识别方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710901118.5A CN109583268B (zh) | 2017-09-28 | 2017-09-28 | 一种目标的属性识别方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710901118.5A CN109583268B (zh) | 2017-09-28 | 2017-09-28 | 一种目标的属性识别方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109583268A true CN109583268A (zh) | 2019-04-05 |
CN109583268B CN109583268B (zh) | 2020-11-27 |
Family
ID=65913978
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710901118.5A Active CN109583268B (zh) | 2017-09-28 | 2017-09-28 | 一种目标的属性识别方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109583268B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111310746A (zh) * | 2020-01-15 | 2020-06-19 | 支付宝实验室(新加坡)有限公司 | 文本行检测方法、模型训练方法、装置、服务器及介质 |
CN112584091A (zh) * | 2019-09-29 | 2021-03-30 | 杭州海康威视数字技术股份有限公司 | 报警信息生成方法、报警信息解析方法、系统和装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104156717A (zh) * | 2014-08-31 | 2014-11-19 | 王好贤 | 基于图像处理技术的驾驶员驾车打电话违章识别方法 |
CN104680149A (zh) * | 2015-03-10 | 2015-06-03 | 苏州科达科技股份有限公司 | 一种物体类型识别方法及系统 |
US20150286884A1 (en) * | 2014-04-04 | 2015-10-08 | Xerox Corporation | Machine learning approach for detecting mobile phone usage by a driver |
CN106503673A (zh) * | 2016-11-03 | 2017-03-15 | 北京文安智能技术股份有限公司 | 一种交通驾驶行为的识别方法、装置及一种视频采集装置 |
CN106780612A (zh) * | 2016-12-29 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种图像中的物体检测方法及装置 |
-
2017
- 2017-09-28 CN CN201710901118.5A patent/CN109583268B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150286884A1 (en) * | 2014-04-04 | 2015-10-08 | Xerox Corporation | Machine learning approach for detecting mobile phone usage by a driver |
CN104156717A (zh) * | 2014-08-31 | 2014-11-19 | 王好贤 | 基于图像处理技术的驾驶员驾车打电话违章识别方法 |
CN104680149A (zh) * | 2015-03-10 | 2015-06-03 | 苏州科达科技股份有限公司 | 一种物体类型识别方法及系统 |
CN106503673A (zh) * | 2016-11-03 | 2017-03-15 | 北京文安智能技术股份有限公司 | 一种交通驾驶行为的识别方法、装置及一种视频采集装置 |
CN106780612A (zh) * | 2016-12-29 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种图像中的物体检测方法及装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112584091A (zh) * | 2019-09-29 | 2021-03-30 | 杭州海康威视数字技术股份有限公司 | 报警信息生成方法、报警信息解析方法、系统和装置 |
CN112584091B (zh) * | 2019-09-29 | 2022-04-26 | 杭州海康威视数字技术股份有限公司 | 报警信息生成方法、报警信息解析方法、系统和装置 |
CN111310746A (zh) * | 2020-01-15 | 2020-06-19 | 支付宝实验室(新加坡)有限公司 | 文本行检测方法、模型训练方法、装置、服务器及介质 |
CN111310746B (zh) * | 2020-01-15 | 2024-03-01 | 支付宝实验室(新加坡)有限公司 | 文本行检测方法、模型训练方法、装置、服务器及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109583268B (zh) | 2020-11-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108009543B (zh) | 一种车牌识别方法及装置 | |
CN109484935B (zh) | 一种电梯轿厢监控方法、装置及系统 | |
CN109389135B (zh) | 一种图像筛选方法及装置 | |
EP3731180A1 (en) | Target detection method and apparatus | |
CN103413147B (zh) | 一种车牌识别方法和系统 | |
CN108446697A (zh) | 图片处理方法、电子装置及存储介质 | |
US9646370B2 (en) | Automatic detection method for defects of a display panel | |
CN108764164A (zh) | 一种基于可变形卷积网络的人脸检测方法及系统 | |
CN110751079A (zh) | 物品检测方法、装置、系统和计算机可读存储介质 | |
CN106951869B (zh) | 一种活体验证方法及设备 | |
CN106161974B (zh) | 利用高动态范围功能的车辆用显示装置及其方法 | |
CN109086662B (zh) | 一种异常行为检测方法及装置 | |
CN106991654A (zh) | 基于深度的人体美化方法和装置及电子装置 | |
CN108629319B (zh) | 图像检测方法及系统 | |
CN109816745A (zh) | 人体热力图展示方法及相关产品 | |
CN110349216A (zh) | 货箱位置检测方法及装置 | |
CN108830184A (zh) | 黑眼圈识别方法及装置 | |
CN102096802A (zh) | 人脸检测方法及装置 | |
CN109583268A (zh) | 一种目标的属性识别方法、装置及电子设备 | |
CN110390228B (zh) | 基于神经网络的交通标志图片识别方法、装置及存储介质 | |
CN110942092B (zh) | 一种图形图像识别方法及识别系统 | |
CN113283405A (zh) | 口罩检测方法、装置、计算机设备及存储介质 | |
CN115619787A (zh) | 一种uv胶缺陷检测方法、系统、设备及介质 | |
CN110458789A (zh) | 一种图像清晰度评测方法、装置及电子设备 | |
CN105448095B (zh) | 一种黄标车检测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |