CN112241669B - 目标识别方法、装置、系统及设备、存储介质 - Google Patents
目标识别方法、装置、系统及设备、存储介质 Download PDFInfo
- Publication number
- CN112241669B CN112241669B CN201910652193.1A CN201910652193A CN112241669B CN 112241669 B CN112241669 B CN 112241669B CN 201910652193 A CN201910652193 A CN 201910652193A CN 112241669 B CN112241669 B CN 112241669B
- Authority
- CN
- China
- Prior art keywords
- image
- target
- image information
- information
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 96
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 272
- 230000015556 catabolic process Effects 0.000 claims description 123
- 238000006731 degradation reaction Methods 0.000 claims description 123
- 238000013528 artificial neural network Methods 0.000 claims description 121
- 238000012937 correction Methods 0.000 claims description 86
- 239000013598 vector Substances 0.000 claims description 66
- 230000004913 activation Effects 0.000 claims description 63
- 230000006835 compression Effects 0.000 claims description 42
- 238000007906 compression Methods 0.000 claims description 42
- 238000010586 diagram Methods 0.000 claims description 31
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 239000000284 extract Substances 0.000 claims description 18
- 238000007781 pre-processing Methods 0.000 claims description 17
- 230000002708 enhancing effect Effects 0.000 claims description 16
- 238000013507 mapping Methods 0.000 claims description 14
- 238000011176 pooling Methods 0.000 claims description 14
- 230000009466 transformation Effects 0.000 claims description 12
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 9
- 238000000926 separation method Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 230000008569 process Effects 0.000 description 21
- 230000006870 function Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000013519 translation Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000004927 fusion Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000005336 cracking Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011895 specific detection Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Abstract
本发明提供一种目标识别方法、装置及设备、存储介质,一种目标识别方法应用于摄像机,包括:从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息;从所述第一图像中截取所述位置信息对应的第一区域图像;将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,所述第二数据格式适于所述目标图像进行目标识别;将所述目标图像发送至服务器,以使所述服务器对所述目标图像进行目标识别。在目标识别时图像可提供更丰富的原始图像信息,有利于提升目标识别的准确性。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种目标识别方法、装置、系统及设备、存储介质。
背景技术
目标识别是指一个特殊目标(或一种类型的目标)从其它目标(或其它类型的目标)中被区分出来的过程。在一些图像采集的场景中,通常会基于图像来实现目标识别。
相关的目标识别方式中,摄像机对采集的原始图像进行位宽裁剪等一系列处理后得到低位宽图像,在低位宽图像的基础上进行增强处理得到用于目标识别的图像,再从该图像中抠取目标对象所处区域,对扣取的区域图像进行目标识别。
上述方式中,对图像进行增强处理时,往往是针对整幅图像进行处理,在保证图像整体质量的同时难以兼顾局部感兴趣目标的图像质量,从而影响所截出的区域图像的识别性能;并且,图像质量的增强处理是基于低位宽图像的,低位宽图像相比于采集的原始图像已经损失了一部分原始图像信息,在此情况下增强处理对图像质量的提升效果不佳,可能导致图像进行目标识别时所需的图像信息缺失,降低了目标识别的准确性。
发明内容
有鉴于此,本发明提供一种目标识别方法、装置、系统及设备、存储介质,在目标识别时图像可提供更丰富的原始图像信息,有利于提升目标识别的准确性。
本发明第一方面提供一种目标识别方法,应用于摄像机,包括:
从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息;
从所述第一图像中截取所述位置信息对应的第一区域图像;
将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,所述第二数据格式适于所述目标图像进行目标识别;
将所述目标图像发送至服务器,以使所述服务器对所述目标图像进行目标识别。
根据本发明的一个实施例,从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息,包括:
对第一图像进行预处理得到第二图像;
在所述第二图像中检测出所述目标对象的位置信息,将检测出的位置信息确定为所述目标对象在所述第一图像中的位置信息。
根据本发明的一个实施例,在所述第二图像中检测出所述目标对象的位置信息,将检测出的位置信息确定为所述目标对象在所述第一图像中的位置信息,包括:
将所述第二图像输入至已训练的第一神经网络;所述第一神经网络至少通过用于执行卷积的卷积层、用于执行激活的激活层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述目标对象的位置信息的定位和输出;
将所述第一神经网络输出的结果确定为所述目标对象在所述第一图像中的位置信息。
根据本发明的一个实施例,对第一图像进行预处理得到第二图像,包括:
采用以下至少一种预处理方式实现将所述第一图像转换为第二图像:黑电平校正、坏点校正、白平衡校正、数字增益、宽动态合成、色彩插值、色彩校正、曲线映射、色彩空间转换、对比度增强、降噪、锐化。
根据本发明的一个实施例,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,包括:
将所述第一区域图像输入至已训练的第二神经网络中;所述第二神经网络至少通过用于执行卷积的卷积层、用于执行激活的激活层实现输入的第一区域图像的图像增强,并输出图像增强后的图像;
将第二神经网络输出的图像作为所述目标图像。
根据本发明的一个实施例,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,包括:
将所述第一区域图像输入至已训练的第三神经网络中;所述第三神经网络通过色彩处理层将所述第一区域图像转换成第一候选图像,所述色彩处理层用于执行以下至少一种色彩处理方式:色彩通道分离处理、色彩特征提取处理,并至少通过用于执行卷积的卷积层、用于执行激活的激活层实现对所述第一候选图像的图像增强,并输出图像增强后的图像;
将第三神经网络输出的图像作为所述目标图像。
根据本发明的一个实施例,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,包括:
将所述第一区域图像输入至已训练的第四神经网络,以由所述第四神经网络的退化程度估计子网络估计输入的第一区域图像在指定退化因素下的退化程度图,所述退化程度图中每个位置的数值描述了输入的第一区域图像中对应位置的像素受指定退化因素影响的程度,并由所述第四神经网络的图像复原子网络依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理,并输出复原处理的图像;
将第四神经网络输出的图像作为所述目标图像。
根据本发明的一个实施例,所述退化程度估计子网络估计输入的第一区域图像在各退化因素下的退化程度图,包括:
所述退化程度估计子网络至少通过卷积层实现对输入的第一区域图像在指定退化因素下的退化程度图的估计。
根据本发明的一个实施例,所述图像复原子网络依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理,包括:
所述图像复原子网络至少通过用于执行卷积的卷积层、用于执行激活的激活层实现依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理。
根据本发明的一个实施例,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像之前,该方法还包括:
采用校正方式对所述第一区域图像进行校正;所述校正方式包括以下的至少一种:黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡校正;
所述将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像包括:将校正后的第一区域图像至少进行增强处理得到第二数据格式的目标图像。
根据本发明的一个实施例,将所述目标图像发送至服务器之前,该方法还包括:
获取经由所述第一图像转换所得的包含所述目标对象的第三图像,并从所述第三图像中截取出目标对象所处的第二区域图像;
将所述目标图像发送至服务器,包括:
将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,将所述目标图像信息发送至所述服务器,以使所述服务器从所述目标图像信息中获取所述目标图像并对所述目标图像进行目标识别。
根据本发明的一个实施例,将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,包括:
采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;
将所述目标图像的第一图像信息写入至编码图像信息的保留字段中,得到所述目标图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
所述服务器从所述目标图像信息中获取所述目标图像,包括:
所述服务器从所述目标图像信息的保留字段中提取出第一图像信息,并利用提取的第一图像信息生成所述目标图像。
根据本发明的一个实施例,将所述目标图像与所述第二区域图像进行融合处理得到目标图像信息,包括:
采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;
将所述目标图像的第一图像信息进行加密得到加密图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
将所述加密图像信息写入至编码图像信息的保留字段中,得到所述目标图像信息;
所述服务器从所述目标图像信息中获取所述目标图像,包括:
所述服务器从所述目标图像信息的保留字段中提取出加密图像信息,对提取的加密图像信息进行解密得到所述第一图像信息,并利用解密得到的第一图像信息生成所述目标图像。
根据本发明的一个实施例,所述服务器对所述目标图像进行目标识别,包括:
所述服务器从所述目标图像中提取目标特征向量,所述目标特征向量用于描述所述目标图像中的目标对象;
所述服务器计算所述目标特征向量与预设的标准特征向量之间的相似度,依据所述相似度识别所述目标图像中的目标对象是否为指定目标对象,所述标准特征向量用于描述指定目标对象。
本发明第二方面提供一种目标识别方法,应用于服务器,包括:
获取来自摄像机发送的目标图像;所述目标图像是将所述摄像机从采集的第一数据格式的第一图像中截取的包含目标对象的第一区域图像进行增强处理得到的第二数据格式的图像,所述第二数据格式适于所述目标图像进行目标识别;
对所述目标图像进行目标识别。
根据本发明的一个实施例,获取来自摄像机发送的目标图像,包括:
接收来自摄像机发送的目标图像信息;所述目标图像信息叠加了所述目标图像与第二区域图像的图像信息,所述第二区域图像是从经由所述第一图像转换所得的包含所述目标对象的第三图像中截取出的目标对象所处的图像;
从所述目标图像信息中获取所述目标图像。
根据本发明的一个实施例,从所述目标图像信息中获取所述目标图像,包括:
从所述目标图像信息的保留字段中提取出第一图像信息;所述第一图像信息包含所述目标图像中所有像素点的像素值;
利用提取的第一图像信息生成所述目标图像。
根据本发明的一个实施例,从所述目标图像信息中获取所述目标图像,包括:
从所述目标图像信息的保留字段中提取出加密图像信息;所述加密图像信息是将所述目标图像的第一图像信息进行加密得到的图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
对提取的加密图像信息进行解密得到所述第一图像信息;
利用解密得到的第一图像信息生成所述目标图像。
根据本发明的一个实施例,对所述目标图像进行目标识别,包括:
从所述目标图像中提取目标特征向量,所述目标特征向量用于描述所述目标图像中的目标对象;
计算所述目标特征向量与预设的标准特征向量之间的相似度;
依据所述相似度识别所述目标图像中的目标对象是否为指定目标对象,所述标准特征向量用于描述指定目标对象。
本发明第三方面提供一种目标识别装置,应用于摄像机,包括:
第一处理模块,用于从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息;
第二处理模块,用于从所述第一图像中截取所述位置信息对应的第一区域图像;
第三处理模块,用于将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,所述第二数据格式适于所述目标图像进行目标识别;
第四处理模块,用于将所述目标图像发送至服务器,以使所述服务器对所述目标图像进行目标识别。
根据本发明的一个实施例,所述第一处理模块从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息时,具体用于:
对第一图像进行预处理得到第二图像;
在所述第二图像中检测出所述目标对象的位置信息,将检测出的位置信息确定为所述目标对象在所述第一图像中的位置信息。
根据本发明的一个实施例,所述第一处理模块在所述第二图像中检测出所述目标对象的位置信息,将检测出的位置信息确定为所述目标对象在所述第一图像中的位置信息时,具体用于:
将所述第二图像输入至已训练的第一神经网络;所述第一神经网络至少通过用于执行卷积的卷积层、用于执行激活的激活层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述目标对象的位置信息的定位和输出;
将所述第一神经网络输出的结果确定为所述目标对象在所述第一图像中的位置信息。
根据本发明的一个实施例,所述第一处理模块对第一图像进行预处理得到第二图像时,具体用于:
采用以下至少一种预处理方式实现将所述第一图像转换为第二图像:黑电平校正、坏点校正、白平衡校正、数字增益、宽动态合成、色彩插值、色彩校正、曲线映射、色彩空间转换、对比度增强、降噪、锐化。
根据本发明的一个实施例,所述第三处理模块将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像时,具体用于:
将所述第一区域图像输入至已训练的第二神经网络中;所述第二神经网络至少通过用于执行卷积的卷积层、用于执行激活的激活层实现输入的第一区域图像的图像增强,并输出图像增强后的图像;
将第二神经网络输出的图像作为所述目标图像。
根据本发明的一个实施例,所述第三处理模块将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像时,具体用于:
将所述第一区域图像输入至已训练的第三神经网络中;所述第三神经网络通过色彩处理层将所述第一区域图像转换成第一候选图像,所述色彩处理层用于执行以下至少一种色彩处理方式:色彩通道分离处理、色彩特征提取处理,并至少通过用于执行卷积的卷积层、用于执行激活的激活层实现对所述第一候选图像的图像增强,并输出图像增强后的图像;
将第三神经网络输出的图像作为所述目标图像。
根据本发明的一个实施例,所述第三处理模块将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像时,具体用于:
将所述第一区域图像输入至已训练的第四神经网络,以由所述第四神经网络的退化程度估计子网络估计输入的第一区域图像在指定退化因素下的退化程度图,所述退化程度图中每个位置的数值描述了输入的第一区域图像中对应位置的像素受指定退化因素影响的程度,并由所述第四神经网络的图像复原子网络依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理,并输出复原处理的图像;
将第四神经网络输出的图像作为所述目标图像。
根据本发明的一个实施例,所述退化程度估计子网络估计输入的第一区域图像在各退化因素下的退化程度图,包括:
所述退化程度估计子网络至少通过卷积层实现对输入的第一区域图像在指定退化因素下的退化程度图的估计。
根据本发明的一个实施例,所述图像复原子网络依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理,包括:
所述图像复原子网络至少通过用于执行卷积的卷积层、用于执行激活的激活层实现依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理。
根据本发明的一个实施例,所述第三处理模块之前,该装置还包括:
校正模块,用于采用校正方式对所述第一区域图像进行校正;所述校正方式包括以下的至少一种:黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡校正;
所述第三处理模块将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像时,具体用于:将校正后的第一区域图像至少进行增强处理得到第二数据格式的目标图像。
根据本发明的一个实施例,所述第四处理模块之前,该方法还包括:
区域图像获取模块,用于获取经由所述第一图像转换所得的包含所述目标对象的第三图像,并从所述第三图像中截取出目标对象所处的第二区域图像;
所述第四处理模块将所述目标图像发送至服务器时,具体用于:
将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,将所述目标图像信息发送至所述服务器,以使所述服务器从所述目标图像信息中获取所述目标图像并对所述目标图像进行目标识别。
根据本发明的一个实施例,所述第四处理模块将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息时,具体用于:
采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;
将所述目标图像的第一图像信息写入至编码图像信息的保留字段中,得到所述目标图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
所述服务器从所述目标图像信息中获取所述目标图像,包括:
所述服务器从所述目标图像信息的保留字段中提取出第一图像信息,并利用提取的第一图像信息生成所述目标图像。
根据本发明的一个实施例,所述第四处理模块将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息时,具体用于:
采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;
将所述目标图像的第一图像信息进行加密得到加密图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
将所述加密图像信息写入至编码图像信息的保留字段中,得到所述目标图像信息;
所述服务器从所述目标图像信息中获取所述目标图像,包括:
所述服务器从所述目标图像信息的保留字段中提取出加密图像信息,对提取的加密图像信息进行解密得到所述第一图像信息,并利用解密得到的第一图像信息生成所述目标图像。
根据本发明的一个实施例,所述服务器对所述目标图像进行目标识别,包括:
所述服务器从所述目标图像中提取目标特征向量,所述目标特征向量用于描述所述目标图像中的目标对象;
所述服务器计算所述目标特征向量与预设的标准特征向量之间的相似度,依据所述相似度识别所述目标图像中的目标对象是否为指定目标对象,所述标准特征向量用于描述指定目标对象。
本发明第四方面提供一种目标识别装置,应用于服务器,包括:
第五处理模块,用于获取来自摄像机发送的目标图像;所述目标图像是将所述摄像机从采集的第一数据格式的第一图像中截取的包含目标对象的第一区域图像至少进行增强处理得到的第二数据格式的图像,所述第二数据格式适于所述目标图像进行目标识别;并对所述目标图像进行目标识别。
根据本发明的一个实施例,所述第五处理模块获取来自摄像机发送的目标图像时,具体用于:
接收来自摄像机发送的目标图像信息;所述目标图像信息叠加了所述目标图像与第二区域图像的图像信息,所述第二区域图像是从经由所述第一图像转换所得的包含所述目标对象的第三图像中截取出的目标对象所处的图像;
从所述目标图像信息中获取所述目标图像。
根据本发明的一个实施例,所述第五处理模块从所述目标图像信息中获取所述目标图像时,具体用于:
从所述目标图像信息的保留字段中提取出第一图像信息;所述第一图像信息包含所述目标图像中所有像素点的像素值;
利用提取的第一图像信息生成所述目标图像。
根据本发明的一个实施例,所述第五处理模块从所述目标图像信息中获取所述目标图像时,具体用于:
从所述目标图像信息的保留字段中提取出加密图像信息;所述加密图像信息是将所述目标图像的第一图像信息进行加密得到的图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
对提取的加密图像信息进行解密得到所述第一图像信息;
利用解密得到的第一图像信息生成所述目标图像。
根据本发明的一个实施例,所述第五处理模块对所述目标图像进行目标识别时,具体用于:
从所述目标图像中提取目标特征向量,所述目标特征向量用于描述所述目标图像中的目标对象;
计算所述目标特征向量与预设的标准特征向量之间的相似度;
依据所述相似度识别所述目标图像中的目标对象是否为指定目标对象,所述标准特征向量用于描述指定目标对象。
本发明第五方面提供一种目标识别系统,包括:相互连接的摄像机和服务器;
所述摄像机,用于:从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息;从所述第一图像中截取所述位置信息对应的第一区域图像;将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,所述第二数据格式适于所述目标图像进行目标识别;并将所述目标图像发送至服务器;
服务器,用于:获取来自摄像机发送的目标图像;所述目标图像是将所述摄像机从采集的第一数据格式的第一图像中截取的包含目标对象的第一区域图像进行增强处理得到的第二数据格式的图像,所述第二数据格式适于所述目标图像进行目标识别;并对所述目标图像进行目标识别。
本发明第六方面提供一种电子设备,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如前述实施例所述的目标识别方法。
本发明第七方面提供一种机器可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现如前述实施例所述的目标识别方法。
相比于现有技术,本发明实施例具有以下有益效果:
本发明实施例中,摄像机从采集的第一数据格式的第一图像中截取出目标对象所在的第一区域图像进行增强,而不是第一图像整体进行增强,保证了感兴趣的目标对象的图像质量;并且,图像质量的增强处理是基于第一数据格式的第一区域图像的,相比于经过位宽裁剪、编码等处理后的低位宽图像而言,不仅位宽高,而且保留了目标对象的所有原始图像信息,因而对第一区域图像进行增强处理,图像质量的提升效果会更好,避免图像进行目标识别时所需的图像信息缺失,最终得到高质量的第二数据格式的目标图像,摄像机将目标图像发送给服务器,服务器对高质量的目标图像进行目标识别,由于目标图像中的原始图像信息丰富,可提升目标识别的准确性。
附图说明
图1为本发明一实施例的目标识别方法的流程示意图;
图2为本发明一实施例的目标识别装置的结构框图;
图3为本发明一实施例的摄像机与服务器的结构框图;
图4为本发明一实施例的第一处理模块的结构框图;
图5为本发明一实施例的第一处理单元的结构框图;
图6为本发明一实施例的色彩插值过程的示意图;
图7为本发明一实施例的第一神经网络的结构框图;
图8为本发明一实施例的另一第一神经网络的结构框图;
图9为本发明一实施例的第三处理模块的结构框图;
图10为本发明一实施例的第二神经网络的结构框图;
图11为本发明一实施例的第三神经网络的结构框图;
图12为本发明一实施例的另一第三神经网络的结构框图;
图13为本发明一实施例的色彩处理层处理过程的示意图;
图14为本发明一实施例的第四神经网络的结构框图;
图15为本发明一实施例的退化程度子网络的结构框图;
图16为本发明一实施例的图像复原子网络的结构框图;
图17为本发明另一实施例的第三处理模块的结构框图;
图18为本发明一实施例的目标图像与第二区域图像融合的示意图;
图19为本发明另一实施例的目标图像与第二区域图像融合的示意图;
图20为本发明一实施例的第五处理模块的结构框图;
图21为本发明另一实施例的目标识别方法的流程示意图;
图22为本发明一实施例的电子设备的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。
在本发明使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本发明可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本发明范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
为了使得本发明的描述更清楚简洁,下面对本发明中的一些技术术语进行解释:
ISP(Image Signal Processor):即图像处理,主要作用是对前端成像设备的图像传感器采集的图像信号进行处理,主要功能有坏点校正、黑电平校正、白平衡校正、色彩插值、伽马校正、色彩校正、锐化、去噪等功能,具体可根据实际应用选择其中的一种或几种。
深度学习:深度学习的概念源于人工神经网络的研究,是一种使用较深的神经网络来模拟人脑分析学习、并建立对应数据表征的方法。
神经网络(Neural Network):神经网络是是一种模拟大脑信息处理过程抽象而出的网络技术,主要由神经元构成;它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现,它可以包括卷积层(Convolutional Layer)和池化层(Pooling Layer)等。
JPG:全称为JPEG,是由国际标准组织(ISO)和国际电话电报咨询委员会(CCITT)为静态图像所创建的第一个国际数字图像压缩标准,也是至今一直在使用的、应用最广的图像压缩编码标准。
APPn:JPG头定义的某个成员,应用程序保留字段(Reserved for applicationuse)。
本发明第一方面提供一种目标识别方法,下面对本发明实施例的目标识别方法进行更具体的描述,但不应以此为限。
在一个实施例中,参看图1,示出了一种目标识别方法,应用于摄像机,该方法可以包括以下步骤:
S100:从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息;
S200:从所述第一图像中截取所述位置信息对应的第一区域图像;
S300:将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,所述第二数据格式适于所述目标图像进行目标识别;
S400:将所述目标图像发送至服务器,以使所述服务器对所述目标图像进行目标识别。
在本发明实施例中,目标识别方法应用在摄像机上。摄像机的类型不限,可以是可见光摄像机,也可以是红外光摄像机等。摄像机与服务器之间相互连接,摄像机可以将图像等数据传输给服务器,当然,服务器也可以向摄像机传输数据,两者之间通过连接实现交互。
摄像机可以采集图像,采集到的图像的数据格式为第一数据格式。第一数据格式是指图像传感器将捕捉到的光源信号转化为数字信号的原始数据格式,该原始数据为包含来自一个或多个光谱波段的感应数据。例如是RGB传感器感光得到的RAW图像信号。
第一数据格式的图像为摄像机将采集到的光源信号转换为数字信号的数据。具体的,摄像机采集图像的原理一般为:采集光源信号,将采集到的光源信号转换为模拟信号,将模拟信号转换为数字信号,将数字信号输入到处理芯片进行处理(该处理可以包括位宽裁剪、图像处理和编解码处理等)得到处理后的图像,将处理后的图像传输给显示设备进行显示或其他设备进行处理。
第一数据格式为摄像机将采集到的光源信息转换为数字信号时的图像,该图像未经过处理芯片进行处理,位宽高,相比于经过位宽裁剪、图像处理和编解码处理后的图像,包含丰富的图像信息。
步骤S100中,从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息。
第一数据格式的第一图像是摄像机采集到的图像,即第一图像是摄像机的图像传感器将捕捉到的光源信号转化为数字信号所得的图像。可以将第一图像成为摄像机采集到的未经处理的原图。
第一图像中包含有目标对象,本发明实施例中,该目标对象是被期望提高图像质量的对象。目标对象包括但不限于人脸、车牌、行人、车辆等类型的对象,可以根据实际需要来指定。
从第一图像获取目标对象在所述第一图像中的位置信息时,会对第一图像进行处理以使其能够被检测出该位置信息,所以经处理后的图像便不再是采集的原图,可能是有原始图像信息损失的,本发明实施例并不在该经处理后的图像上截取出用于目标识别的区域。
目标对象在所述第一图像中的位置信息,可以包括:目标对象上的特征点在第一图像中的坐标、及目标对象所在图像区域的大小;或者,目标对象所在图像区域的起始点和终点的坐标等等,具体并不限定,只要是能够确定目标对象在第一图像中的位置即可。
步骤S200中,从所述第一图像中截取所述位置信息对应的第一区域图像。
由于位置信息是从第一图像中获取的目标对象所处的位置信息,所以该位置信息可用于定位第一图像中的目标对象,从第一图像中截取位置信息对应的第一区域图像即为目标对象在第一图像中所处的区域。
第一图像是采集的第一数据格式的图像,是摄像机将采集到的光源信号转换为数字信号时的图像,采集后未经过处理或加工,因而保留了采集时的原始细节信息。
第一区域图像是从采集的第一数据格式的第一图像中截取的,也即是从摄像机采集的原图中截取的,因而,该第一区域图像的数据格式也是第一数据格式。相比于经过位宽裁剪、图像处理和编解码处理后的图像,第一数据格式的第一区域图像,包含丰富的关于目标对象的图像信息。
步骤S300中,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,所述第二数据格式适于所述目标图像进行目标识别。
在包含丰富的关于目标对象的图像信息的第一区域图像上进行增强处理,可得到高质量的第二数据格式的目标图像。增强处理是对第一区域图像的图像质量进行增强,保证图像的质量,在增强处理的过程中,同时实现了格式转换,使得目标图像能够适于进行传输、目标识别等。
将第一数据格式的第一区域图像进行增强处理,可以提升第一区域图像的图像质量,输出高质量的目标图像。将第一数据格式的第一区域图像作为图像质量增强的基础,其相比于位宽剪裁过的图像而言,第一区域图像不仅位宽高,还不受图像处理、编解码等对原始信息的影响,更有利于提升图像质量。
增强处理可以包括:去马赛克、去噪、去模糊、去雾、分辨率提升、亮度调整、色彩还原、对比度增强、动态范围增强、清晰度增强中的一种或几种,对图像的亮度、清晰度、对比度、分辨率、信噪比、动态范围等中的至少一个属性进行调整,以提升图像质量。当然,此处仅是举例,并不作为限定。
第二数据格式比如可以为RGB、YUV等格式,具体格式不限,只要是适于目标图像进行目标识别的格式即可。适于目标图像进行目标识别的格式,也适于该目标图像进行显示、传输等。
可以理解,在将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像的过程中,还可以进行其他的图像处理,具体不作限定。
步骤S400中,将所述目标图像发送至服务器,以使所述服务器对所述目标图像进行目标识别。
由于目标图像是在第一数据格式的第一区域图像的基础上进行增强处理所得的图像,所以相比于在经过位宽裁剪、图像处理和编解码处理过的图像的基础上进行增强处理所得图像而言,图像质量更高。
将高质量的第二数据格式的目标图像发送给服务器,服务器对目标图像进行目标识别。由于目标图像不仅有针对性地对目标对象所处区域进行增强、而且是基于第一数据格式的图像进行增强所得的图像,图像质量较高,可提升目标识别的准确率。
本发明实施例中,摄像机从采集的第一数据格式的第一图像中截取出目标对象所在的第一区域图像进行增强,而不是第一图像整体进行增强,保证了感兴趣的目标对象的图像质量;并且,图像质量的增强处理是基于第一数据格式的第一区域图像的,相比于经过位宽裁剪、编码等处理后的低位宽图像而言,不仅位宽高,而且保留了目标对象的所有原始图像信息,因而对第一区域图像进行增强处理,图像质量的提升效果会更好,避免图像进行目标识别时所需的图像信息缺失,最终得到高质量的第二数据格式的目标图像,摄像机将目标图像发送给服务器,服务器对高质量的目标图像进行目标识别,由于目标图像中的原始图像信息丰富,可提升目标识别的准确性。
在一个实施例中,上述方法流程可由图2中的目标识别装置100执行,如图2所示,目标识别装置100主要包含4个模块:第一处理模块101,第二处理模块102,第三处理模块103和第四处理模块104。第一处理模块101用于执行上述步骤S100,第二处理模块102用于执行上述步骤S200,第三处理模块103用于执行上述步骤S300,第四处理模块104用于执行上述步骤S400。
参看图3,图2中的目标识别装置100可以应用在摄像机中,摄像机与服务器通信,将第二数据格式的目标图像发送给服务器;服务器中可以具有目标识别装置200,目标识别装置200包括第五处理模块201,第五处理模块201用于对接收到的第二数据格式的目标图像进行目标识别,输出目标识别结果。
参看图2和图3,摄像机中,第一处理模块101以摄像机获得的第一数据格式的第一图像为输入,对其中感兴趣的目标对象进行检测,并输出检测到目标对象的位置信息;第二处理模块102是联合第一处理模块101输出的目标对象的位置信息和原始的第一数据格式的第一图像作为输入,从原始的第一数据格式的第一图像数据中获取位置信息对应的第一数据格式的第一区域图像;第三处理模块103是以第二处理模块102输出的第一区域图像为输入,进行增强处理,得到质量较高的第二数据格式的目标图像;第四处理模块104将目标图像发送给服务器。服务器中,第五处理模块105接收到摄像机发送的目标图像,并对目标图像进行目标识别,输出目标识别结果。
在一个实施例中,步骤S100中,从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息,可以包括以下步骤:
S101:对第一图像进行预处理得到第二图像;
S102:在所述第二图像中检测出所述目标对象的位置信息,将检测出的位置信息确定为所述目标对象在所述第一图像中的位置信息。
如图4所示,第一处理模块101包括第一处理单元1011和第二处理单元1012,可由第一处理单元1011执行步骤S101,可由第二处理单元1012执行步骤S102,以实现上述步骤S100。
步骤S101中,先将第一图像进行预处理,得到适于进行目标检测的第二图像,利用第一图像进行目标检测,可提升目标检测的检出性能。具体转换的方式不限,比如可以将第一图像转换为RGB或YUV格式的第二图像。
步骤S102中,在所述第二图像中检测出目标对象的位置信息。可以采用目标检测算法对第二图像中的目标对象进行目标检测,便可确定目标对象在第二图像中的位置信息。
目标检测算法可以通过深度学习技术等实现,当然具体检测方式不限。检测的目标可为人脸、行人、车牌、车辆、动物等,可以根据需要选择。当然,第一处理单元1011除了目标检测,还可以结合其他方式来实现,比如还可以包括目标检测、目标跟踪、目标选取三个部分。
指定目标在第一图像和第二图像中的位置关系一般不发生变化,当然也不排除第一图像和第二图像之间发生缩放或者目标对象的平移等,但是这些缩放和平移都是处理过程中可确定的,因而得知目标对象在第二图像中的位置信息就可得知在第一图像中的位置信息,将检测出的位置信息确定为所述目标对象在所述第一图像中的位置信息。
在一个实施例中,步骤S101中,对第一图像进行预处理得到第二图像,包括:
采用以下至少一种预处理方式实现将所述第一图像转换为第二图像:
所述预处理方式包括以下的至少一种:黑电平校正、坏点校正、白平衡校正、数字增益、宽动态合成、色彩插值、色彩校正、曲线映射、色彩空间转换、对比度增强、降噪、锐化。
当然,预处理方式还可以包括其他方式,此处所列举的方式并不作为限制。且处理顺序也不限,例如,将也可以仅对第一图像进行色彩插值处理而将其转换为第二图像。
作为预处理单元1011的一个实施例,参看图5,预处理单元1011可以包括依次连接的用于执行白平衡校正的白平衡校正子单元、用于执行色彩插值的色彩插值子单元、用于执行曲线映射的曲线映射子单元,第一图像依次经由白平衡校正子单元、色彩插值子单元、曲线映射子单元进行处理后,得到第二图像。
白平衡校正子单元用于执行白平衡校正。白平衡校正是为了去除图像成像由于环境光照影响而造成的图像偏色,以还原图像原有的色彩信息,一般由增益系数Rgain、Ggain、Bgain来调整对应的R、G、B分量:
R′=R*Rgain
G′=G*Ggain
B′=B*Bgain
其中,R、G、B是白平衡校正子单元的输入图像IMGin的红、绿、蓝色彩分量,R′、G′、B′是白平衡校正子单元的输出图像IMGawb的色彩分量。
色彩插值子单元用于执行色彩插值。色彩插值是将单通道图像转为RGB三通道图像,这里以最邻近插值法为例进行介绍,对单通道图像直接用最邻近的色彩像素填补相应色彩缺失的像素点,使每个像素点都含有RGB三种色彩分量,具体插值情况可参看图6,在此不再赘述。
曲线映射子单元用于执行曲线映射。曲线映射是为了增强图像的亮度与对比度,常用的有gamma曲线映射,即根据Gamma表对图像进行线性映射,公式如下:
IMGgamma(i,j)=Gamma(IMGcfa(i,j))
其中,IMGcfa(i,j)为曲线映射前的图像,IMGgamma(i,j)为曲线映射后的图像。
在一个实施例中,步骤S102中,在所述第二图像中检测出所述目标对象的位置信息,将检测出的位置信息确定为所述目标对象在所述第一图像中的位置信息,包括:
S1021:将所述第二图像输入至已训练的第一神经网络;所述第一神经网络至少通过用于执行卷积的卷积层、用于执行激活的激活层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述目标对象的位置信息的定位和输出;
S1022:将所述第一神经网络输出的结果确定为所述目标对象在所述第一图像中的位置信息。
步骤S1021中,第一神经网络是已经训练好的网络,将第二图像输入该第一神经网络,便可定位在第二图像中的位置,相应获得目标对象的位置信息。
其中,第一神经网络可以集成在第二处理单元1012中作为第一处理模块101的一部分,也可以设置在第一处理模块101外部,可由第二处理单元1012来调度。
作为第一神经网络的一种实现方式,参看图7,所述第一神经网络300可以包括至少一层用于执行卷积的卷积层301、至少一层用于执行激活的激活层302、至少一层用于执行下采样的池化层303、至少一层用于执行特征综合的全连接层304和至少一层用于执行坐标变换的边框回归层305。
作为第一神经网络的另一种实现方式,参看图8,第一神经网络300可以包括依次连接的卷积层311、激活层312、池化层313…卷积层314、池化层315全连接层316、边框回归层317。
图7和图8中,输入第二图像至第一神经网络300中,第一神经网络300仅过处理输出位置信息,该位置信息作为目标对象在第一图像中的位置信息。可以理解,上述示出的第一神经网络仅是一个示例,具体并不限于此,例如可以减少或增加卷积层、和/或池化层、和/或其他层。
下面简单介绍一下第一神经网络中的各层的具体功能,但不应以此为限。
卷积层(Conv)执行的是卷积操作,还可以带有一个激活函数ReLU,可以对卷积结果进行激活操作,因此对于一个卷积层的操作可以用以下公式表示:
YCi(I)=g(Wi*YCi-1(I)+Bi)
其中,YCi(I)为第i个卷积层的输出,YCi-1(I)为第i个卷积层的输入,*表示卷积操作,Wi和Bi分别为第i个卷积层的卷积滤波器的权重系数和偏移系数,g()表示激活函数。
激活层执行的是激活操作,在上述卷积公式中,当激活函数为ReLU时,g(x)=max(0,x),x即YCi(I),执行的就是激活操作。
池化层(Pool)是一种特殊的下采样层,即对卷积得到的特征图进行缩小,缩小窗的大小例如为N×N,当使用最大池化时,即对N×N窗求取最大值作为最新图像对应点的值,具体公式如下:
YPj(I)=maxpool(YPj-1(I))
其中,YPj-1(I)为第j个池化层的输入,YPj(I)为第j个池化层的输出。
全连接层(FC)可以看成是滤波窗口为1×1的卷积层,全连接层的每一个结点都与上一层的所有结点相连,用来把前边提取到的特征综合起来,具体实现和卷积滤波类似,表达式例如可以如下:
其中,FkI(I)为第k个全连接层的输入,YFk(I)为第k个全连接层的输出,R、C为FkI(I)的宽高,Wij和Bij分别为全连接层的连接权重系数和偏置系数,g()表示激活函数,I即为(i,j)。
边框回归层(BBR)是为了寻找一种关系使得全连接层输出的窗口P经过映射得到一个跟真实窗口G更接近的窗口G′;回归的实现一般是对窗口P进行坐标变换,例如包括平移变换和/或尺度缩放变换;假设全连接层输出的窗口P的坐标为(x1,x2,y1,y2),则经变换后的窗后坐标(x3,x4,y3,y4);
若变换为平移变换,平移尺度为(Δx,Δy),平移前后的坐标关系为:
x3=x1+Δx
x4=x2+Δx
y3=y1+Δy
y4=y2+Δy
若尺度变换为缩放变换,X、Y方向的缩放尺度分别为dx、dy,变换前后的坐标关系为:
x4-x3=(x2-x1)*dx
y4-y3=(y2-y1)*dy。
在一个实施例中,在所述第二图像中检测出所述目标对象的位置信息之后,可以对目标对象在当前第二图像和历史第二图像检测出的位置信息进行跟踪,并计算各第二图像中目标对象的评分,所述评分用于评价目标对象在图像中的图像质量;依据目标对象的评分可确定当前检测出的位置信息是否作为目标对象在第一图像中的位置信息。
评分可以根据目标对象在图像中的清晰度、像素尺寸等来确定,具体不限,只要能够评价目标对象在图像中的图像质量即可。
可选的,依据目标对象的评分可确定当前检测出的位置信息是否要作为目标对象在第一图像中的位置信息可以包括:如果第二图像中目标对象的评分高于指定评分,那么确定当前检测出的位置信息作为目标对象在第一图像中的位置信息。
第一处理模块101输出目标对象在第一图像中的位置信息后,第二处理模块102可以根据位置信息从第一数据格式的第一图像中截取第一数据格式的第一区域图像;
假设第一处理模块101输出的位置信息为[x,y,h,w],其中x、y为第一图像中目标对象的检出框的起始点坐标,h、w为检出框的高与宽,第一数据格式的第一图像用fusraw来表示,则截取的第一数据格式的第一区域图像fus_traw为:
fus_traw=fusraw(y+1:y+h,x+1:x+w)。
在一个实施例中,步骤S300中,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,可以包括以下步骤:
S301:将所述第一区域图像输入至已训练的第二神经网络中;所述第二神经网络至少通过用于执行卷积的卷积层、用于执行激活的激活层实现输入的第一区域图像的图像增强,并输出图像增强后的图像;
S302:将第二神经网络输出的图像作为所述目标图像。
参看图9,第三处理模块103包括图像处理单元1031。可由图像处理单元1031执行步骤S301和步骤S302,以实现上述步骤S300。
其中,第二神经网络可以集成在图像处理单元1031中作为第三处理模块103的一部分,也可以设置在第三处理模块103外部,可由图像处理单元1031来调度。
作为第二神经网络的一种实现方式,参看图10,第二神经网络400可以包括依次连接的卷积层401、卷积层402、卷积层403、激活层404…卷积层405(图中示出了4个卷积层和1个激活层,具体不限于此,可以根据需要增减)。第一数据格式的第一区域图像作为第二神经网络400的输入,第二神经网络400通过卷积层401、卷积层402、卷积层403、激活层404…卷积层405实现输入的第一区域图像的图像增强,并输出图像增强后的第二数据格式的图像,输出的图像确定为第二数据格式的目标图像。可以理解,图10示出的第二神经网络400仅是一个示例,具体并不限于此,例如可以减少或增加卷积层、和/或、池化层、和/或其他层。
第二神经网络中的卷积层、激活层的功能与第一神经网络中的相应层类似,每层可有适应性的变化,例如不同卷积层的卷积核可有所不同、参数不同等,在此不再赘述。
在一个实施例中,步骤S300中,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,包括:
S311:将所述第一区域图像输入至已训练的第三神经网络中;所述第三神经网络通过色彩处理层将所述第一区域图像转换成第一候选图像,所述色彩处理层用于执行以下至少一种色彩处理方式:色彩通道分离处理、色彩特征提取处理,并至少通过用于执行卷积的卷积层、用于执行激活的激活层实现对所述第一候选图像的图像增强,并输出图像增强后的图像;
S312:将第三神经网络输出的图像作为所述目标图像。
继续参看图9,可由第三处理模块103中的图像处理单元1031执行步骤S311和步骤S312,以实现上述步骤S300。
其中,第三神经网络可以集成在图像处理单元1031中作为第三处理模块103的一部分,也可以设置在第三处理模块103外部,可由图像处理单元1031来调度。
作为第三神经网络的一种实现方式,参看图11,第三神经网络500可以包括色彩处理层501、卷积层502、激活层503(图中示出了1个卷积层和1个激活层,具体不限于此)。第一数据格式的第一区域图像作为第三神经网络500的输入,第三神经网络500通过色彩处理层501将所述第一区域图像转换成适于进行卷积处理的第一候选图像,第三神经网络500通过卷积层502和激活层503实现对所述第一候选图像的图像增强,并输出图像增强后的第二数据格式的图像,输出的图像确定为第二数据格式的目标图像。
作为第三神经网络的另一种实现方式,参看图12,第三神经网络500可以包括依次连接的色彩处理层511、卷积层512、激活层513、全连接层514…卷积层515。第一数据格式的第一区域图像作为第三神经网络500的输入,第三神经网络500通过色彩处理层511将所述第一区域图像转换成适于进行卷积处理的第一候选图像,第三神经网络500通过卷积层512、激活层513、全连接层514…卷积层515实现对所述第一候选图像的图像增强,并输出图像增强后的第二数据格式的图像,输出的图像确定为第二数据格式的目标图像。
可以理解,图11和12示出的第二神经网络500仅是一个示例,具体并不限于此,例如可以减少或增加卷积层、和/或、池化层、和/或其他层。
所述色彩处理层用于执行以下至少一种色彩处理方式:色彩通道分离处理、色彩特征提取处理。通过第三神经网络中的色彩处理层对第一数据格式的第一区域图像的处理,提升所输入的第一数据格式第一区域图像的色彩信息量。
所述色彩处理层至少包含一个指定卷积层,所述指定卷积层的卷积核移动的步长为所述第一区域图像的色彩排列模式的最小单元的整数倍,以不破坏第一区域图像的色彩空间信息。
比如,色彩处理层的卷积核采用4个滤波核w1、w2、w3、w4,滤波步长stride=2,滤波核的具体参数如下:
如图13所示,第一区域图像经上述色彩处理层处理后,实现了色彩通道的分离,得到四个单色彩通道图,作为第一候选图像。
又如,色彩处理层的卷积核采用N个4×4大小的滤波核w1、w2....wN(N≥1),滤波步长stride=2,滤波核如下:
上述滤波核w1、w2....wN的模板参数可以在第三神经网络500训练完成后得到,具体参数不再示出。第一区域图像经上述色彩处理层处理后,可提取出N通道色彩特征图,作为第一候选图像。
第三神经网络中的其他层的功能与第一神经网络中的相应层类似,每层可有适应性的变化,例如不同卷积层的卷积核可有所不同、参数不同等,在此不再赘述。
在一个实施例中,步骤S300中,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,包括:
S321:将所述第一区域图像输入至已训练的第四神经网络,以由所述第四神经网络的退化程度估计子网络估计输入的第一区域图像在指定退化因素下的退化程度图,所述退化程度图中每个位置的数值描述了输入的第一区域图像中对应位置的像素受指定退化因素影响的程度,并由所述第四神经网络的图像复原子网络依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理,并输出复原处理后的图像;
S322:将第四神经网络输出的图像作为所述目标图像。
继续参看图9,可由第三处理模块103中的图像处理单元1031执行步骤S321和步骤S322,以实现上述步骤S300。
其中,第四神经网络可以集成在图像处理单元1031中作为第三处理模块103的一部分,也可以设置在第三处理模块103外部,可由图像处理单元1031来调度。
作为第四神经网络的一个实施例,参看图14,第四神经网络600可以包括至少一个退化程度估计子网络601和图像复原子网络602。退化程度估计子网络8011估计输入的第一区域图像在指定退化因素下的退化程度图,所述退化程度图中每个位置的数值描述了输入的第一区域图像中对应位置的像素受指定退化因素影响的程度,退化程度图会输入到图像复原子网络602中。图像复原子网络602依据退化程度估计子网络601得到的退化程度图对输入的第一区域图像进行复原处理,并输出复原处理后的第二数据格式的图像,输出的图像确定为第二数据格式的目标图像。
图14中示出了一个退化程度估计子网络601,一个退化程度估计子网络601可以进行一种退化因素下的退化程度估计,或者可以解决两种以上退化因素下的退化程度估计。比如指定退化因素可以包括噪声因素、和/或模糊因素、和/或雾霾因素,退化程度估计子网络601可以对噪声程度、和/或模糊程度、和/或雾霾程度进行估计。
图像复原子网络602根据退化程度估计子网络601的退化程度图辅助第一区域图像进行去噪、和/或去模糊、和/或去雾等复原处理,完成对输入第一数据格式第一区域图像的质量增强,并将其转化为高质量的第二数据格式的目标图像。
当然,第四神经网络中实际也可以包含两个以上退化程度估计子网络,不同退化程度估计子网络对应的退化因素可不同,比如:噪声程度估计子网络对应于噪声退化,输出的是噪声程度图,噪声程度图中每个位置的数值描述了输入的第一区域图像中相同位置的像素受对应噪声退化因素影响的程度;模糊程度估计子网络对应于模糊退化,输出的是模糊程度图,模糊程度图中每个位置的数值描述了输入的第一区域图像中相同位置的像素受对应模糊退化因素影响的程度。
本实施例中,通过第四神经网络中的退化程度估计子网络,计算目标区域图像的噪声程度、和/或模糊程度、和/或雾霾程度等退化程度,提升第四神经网络对不同情况下输入的第一区域图像的适应性。
在一个实施例中,步骤S321中,所述退化程度估计子网络估计输入的第一区域图像在各退化因素下的退化程度图,包括:
所述退化程度估计子网络至少通过卷积层实现对输入的第一区域图像在指定退化因素下的退化程度图的估计。
作为退化程度子网络601的一个实施例,参看图15,退化程度子网络601可以包括卷积层6011、卷积层6012、卷积层6013(图中示出了3个卷积层,具体不限于此,可以根据需要进行增减)。通过卷积层6011、卷积层6012、卷积层6013对输入的第一区域图像进行指定退化因素下的退化程度估计,得到第一区域图像在指定退化因素下的退化程度图。
可以理解,图15示出的退化程度子网络601仅是一个示例,具体并不限于此,例如可以减少或增加卷积层、和/或、池化层、和/或其他层。
在一个实施例中,步骤S321中,所述图像复原子网络依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理,包括:
所述图像复原子网络至少通过用于执行卷积的卷积层、用于执行激活的激活层实现依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理。
作为图像复原子网络602的一个实施例,参看图16,图像复原子网络602可以包括卷积层6021、激活层6022、卷积层6023、卷积层6024、激活层6025、卷积层6026(图中示出了4个卷积层和2个激活层,具体不限于此,可以根据需要进行增减)。通过卷积层6021、激活层6022、卷积层6023、卷积层6024、激活层6025、卷积层6026依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理,并输出复原处理后的第二数据格式的图像,输出的图像确定为第二数据格式的目标图像。
可以理解,图16示出的图像复原子网络602仅是一个示例,具体并不限于此,例如可以减少或增加卷积层、和/或、池化层、和/或其他层。
在一个实施例中,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像之前,该方法还包括:
S330:采用校正方式对所述第一区域图像进行校正;所述校正方式包括以下的至少一种:黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡校正;
步骤S300中,所述将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像包括:将校正后的第一区域图像至少进行增强处理得到第二数据格式的目标图像。
参看图17,第三处理模块103除了图像处理单元1031,还包括校正处理单元1032。可由校正处理单元1032来执行上述步骤S330,采用校正方式对输入的第一区域图像进行校正,校正后的第一区域图像输入至图像处理单元1031中,图像处理单元1031将校正后的第一区域图像进行增强处理得到第二数据格式的目标图像。
校正处理单元1032对第一数据格式的第一区域图像进行校正处理,提升神经网络对成像设备、光照环境等因素的适应性。比如可以校正传感器因生产工艺上的缺陷导致的成像问题、白平衡问题等。
传感器在生产过程中,由于工艺限制会存在某些物理缺陷,导致传感器成像时会出现黑电平、坏点、固定模式噪声、G1/G2绿通道失衡等问题。校正处理单元1032可对上述一个或多个成像问题进行校正,使得校正后的第一数据格式图像能消除不同传感器生产工艺的成像问题。其主要作用是:能消除设备相关性,让后续神经网络适应不同型号传感器采集的图像。
下面对几种校正方式进行简单介绍。
黑点平校正,可以解决传感器成像时的黑电平问题,校正公式如下:out=in–blackVal,其中out为黑电平校正结果,in为输入的图像,blackVal为传感器的黑电平值,不同型号的传感器具有不同大小的黑电平值。
坏点校正,可以解决传感器成像时的坏点问题,可以采用中值滤波的方式实现坏点校正。
固定模式噪声校正,可以解决传感器成像时的固定模式噪声问题,具体方式可以是:通过人工标定出固定模式噪声位置,针对噪声位置像素,采用该噪声位置像素的周围像素插值后的值代替该噪声位置像素。
绿通道失衡校正,可以解决传感器成像时的G1/G2绿通道失衡问题,可以采用G通道均值滤波的方式实现绿通道失衡校正。
白平衡校正可以参看前述实施例中关于白平衡校正方式的内容,在此不再赘述。
在一个实施例中,将所述目标图像发送至服务器之前,该方法还包括:
S410:获取经由所述第一图像转换所得的包含所述目标对象的第三图像,并从所述第三图像中截取出目标对象所处的第二区域图像;
步骤S400中,将所述目标图像发送至服务器,包括:
将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,将所述目标图像信息发送至所述服务器,以使所述服务器从所述目标图像信息中获取所述目标图像并对所述目标图像进行目标识别。
步骤S401中,经由所述第一图像转换所得的包含所述目标对象的第三图像可以是图4中第一处理模块101的第一处理单元1011输出的第二图像,当然也可以是其他由所述第一图像转换所得的包含所述目标对象的图像,本实施例并不对第三图像进行限定。
从第三图像中截取出目标对象所处的第二区域图像时,可以从第三图像中截取出与所述目标对象的位置信息对应的区域作为第二区域图像。当然,目标图像的图像质量不低于第二区域图像的图像质量。
将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,可以将目标图像隐藏于目标图像信息中,由摄像机发送给服务器时,不会被第三方直接看到或获取到目标图像,增强了目标图像传输的安全性。
目标图像与第二区域图像的图像信息叠加方式不限,能够起到目标图像的保密效果,以及服务器可从目标图像信息中获取所述目标图像即可。
在一个实施例中,步骤S410中,将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,可以包括:
S411:采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;
S412:将所述目标图像的第一图像信息写入至编码图像信息的保留字段中,得到所述目标图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
步骤S400中,所述服务器从所述目标图像信息中获取所述目标图像,包括:
所述服务器从所述目标图像信息的保留字段中提取出第一图像信息,并利用提取的第一图像信息生成所述目标图像。
指定压缩编码方式比如为JPEG压缩编码方式,采用该方式对第二区域图像进行压缩编码后,可得到如图18所示的编码图像信息,其中,APPn为应用程序保留字段,可以将目标图像的第一图像信息写入到该编码图像信息的APPn中,得到目标图像信息。服务器收到目标图像信息后,可从融合信息图像中的APPn中提取出第一图像信息,由于第一图像信息包含所述目标图像中所有像素点的像素值,所以根据第一图像信息可生成目标图像。
当然,指定压缩编码方式也不限于上述JPEG压缩编码方式,其他在图像编码压缩后存在保留字段的压缩编码方式也可适用。
本实施例中,由于目标图像的第一图像信息记录在目标图像信息的保留字段中,目标图像信息发送给服务器,外部直接获取或显示的是目标图像信息生成的图像,保证了目标图像传输的安全性。
在一个实施例中,步骤S410中,将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,包括:
S413:采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;
S414:将所述目标图像的第一图像信息进行加密得到加密图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
S415:将所述加密图像信息写入至编码图像信息的保留字段中,得到所述目标图像信息;
步骤S400中,所述服务器从所述目标图像信息中获取所述目标图像,包括:
所述服务器从所述目标图像信息的保留字段中提取出加密图像信息,对提取的加密图像信息进行解密得到所述第一图像信息,并利用解密得到的第一图像信息生成所述目标图像。
指定压缩编码方式比如为JPEG压缩编码方式,采用该方式对第二区域图像进行压缩编码后,可得到如图19所示的编码图像信息,其中,APPn为应用程序保留字段,可以将目标图像的第一图像信息进行加密得到加密图像信息,将加密图像信息写入到该编码图像信息的APPn中,得到目标图像信息。服务器收到目标图像信息后,可从目标图像信息中的APPn中提取出加密图像信息,并对提取的加密图像信息进行解密得到所述第一图像信息,由于第一图像信息包含所述目标图像中所有像素点的像素值,所以根据第一图像信息可生成目标图像。
当然,指定压缩编码方式也不限于上述JPEG压缩编码方式,其他在图像编码压缩后存在保留字段的压缩编码方式也可适用。对第一图像信息进行加密得到目标图像信息、与对目标图像信息进行解密得到第一图像信息是两个互逆的过程,具体加解密算法不限。
本实施例中,由于目标图像的第一图像信息被加密后记录在目标图像信息的保留字段中,目标图像信息发送给服务器,外部直接获取或显示的是目标图像信息生成的图像,即使获取到了目标图像信息的保留字段中的信息,也还需要进一步破解才可得到目标图像的第一图像信息,进一步保证了目标图像传输的安全性。
在一个实施例中,步骤S410中,所述服务器对所述目标图像进行目标识别,包括:
S501:所述服务器从所述目标图像中提取目标特征向量,所述目标特征向量用于描述所述目标图像中的目标对象;
S502:所述服务器计算所述目标特征向量与预设的标准特征向量之间的相似度,依据所述相似度识别所述目标图像中的目标对象是否为指定目标对象,所述标准特征向量用于描述指定目标对象。
参看图3和图20,服务器中的第五处理模块201可以包括目标特征向量提取单元2011和特征向量比对单元2012,目标特征向量提取单元2011可以用于来执行步骤S501,特征向量比对单元2012可以用来执行步骤S502。
目标图像中目标特征向量的提取可以由深度学习神经网络来实现,比如可以采用DeepID网络实现,具体不限,只要能够提取出用于描述所述目标图像中的目标对象即可。
计算目标特征向量与预设的标准特征向量之间的相似度时,可以计算目标特征向量与标准特征向量的欧式距离,计算所得值作为两者的相似度。标准特征向量是预设的用于描述指定目标对象的向量,可以采用已注册的标准特征向量。
依据所述相似度识别所述目标图像中的目标对象是否为指定目标对象,可以包括:将目标特征向量与预设的标准特征向量之间的相似度与设定阈值比较,如果相似度大于设定阈值,则确定目标图像中的目标对象为指定目标对象。当然,此处仅是举例,具体识别方式不限于此。
以上是对本发明实施例第一方面提供的目标识别方法的描述。
本发明第二方面提供一种目标识别方法,应用于服务器,参看图21,包括以下步骤:
T100:获取来自摄像机发送的目标图像;所述目标图像是将所述摄像机从采集的第一数据格式的第一图像中截取的包含目标对象的第一区域图像进行增强处理得到的第二数据格式的图像,所述第二数据格式适于所述目标图像进行目标识别;
T200:对所述目标图像进行目标识别。
在一个实施例中,获取来自摄像机发送的目标图像,包括:
接收来自摄像机发送的目标图像信息;所述目标图像信息叠加了所述目标图像与第二区域图像的图像信息,所述第二区域图像是从经由所述第一图像转换所得的包含所述目标对象的第三图像中截取出的目标对象所处的图像;
从所述目标图像信息中获取所述目标图像。
在一个实施例中,从所述目标图像信息中获取所述目标图像,包括:
从所述目标图像信息的保留字段中提取出第一图像信息;所述第一图像信息包含所述目标图像中所有像素点的像素值;
利用提取的第一图像信息生成所述目标图像。
在一个实施例中,从所述目标图像信息中获取所述目标图像,包括:
从所述目标图像信息的保留字段中提取出加密图像信息;所述加密图像信息是将所述目标图像的第一图像信息进行加密得到的图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
对提取的加密图像信息进行解密得到所述第一图像信息;
利用解密得到的第一图像信息生成所述目标图像。
在一个实施例中,对所述目标图像进行目标识别,包括:
从所述目标图像中提取目标特征向量,所述目标特征向量用于描述所述目标图像中的目标对象;
计算所述目标特征向量与预设的标准特征向量之间的相似度;
依据所述相似度识别所述目标图像中的目标对象是否为指定目标对象,所述标准特征向量用于描述指定目标对象。
以上是对本发明实施例第二方面提供的目标识别方法的描述,相关内容可参看本发明实施例第一方面提供的目标识别方法中的描述内容。
本发明第三方面提供一种目标识别装置,应用于摄像机,参看图2和图3,目标识别装置100包括:
第一处理模块101,用于从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息;
第二处理模块102,用于从所述第一图像中截取所述位置信息对应的第一区域图像;
第三处理模块103,用于将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,所述第二数据格式适于所述目标图像进行目标识别;
第四处理模块104,用于将所述目标图像发送至服务器,以使所述服务器对所述目标图像进行目标识别。
在一个实施例中,所述第一处理模块从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息时,具体用于:
对第一图像进行预处理得到第二图像;
在所述第二图像中检测出所述目标对象的位置信息,将检测出的位置信息确定为所述目标对象在所述第一图像中的位置信息。
在一个实施例中,所述第一处理模块在所述第二图像中检测出所述目标对象的位置信息,将检测出的位置信息确定为所述目标对象在所述第一图像中的位置信息时,具体用于:
将所述第二图像输入至已训练的第一神经网络;所述第一神经网络至少通过用于执行卷积的卷积层、用于执行激活的激活层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述目标对象的位置信息的定位和输出;
将所述第一神经网络输出的结果确定为所述目标对象在所述第一图像中的位置信息。
在一个实施例中,所述第一处理模块对第一图像进行预处理得到第二图像时,具体用于:
采用以下至少一种预处理方式实现将所述第一图像转换为第二图像:黑电平校正、坏点校正、白平衡校正、数字增益、宽动态合成、色彩插值、色彩校正、曲线映射、色彩空间转换、对比度增强、降噪、锐化。
在一个实施例中,所述第三处理模块将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像时,具体用于:
将所述第一区域图像输入至已训练的第二神经网络中;所述第二神经网络至少通过用于执行卷积的卷积层、用于执行激活的激活层实现输入的第一区域图像的图像增强,并输出图像增强后的图像;
将第二神经网络输出的图像作为所述目标图像。
在一个实施例中,所述第三处理模块将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像时,具体用于:
将所述第一区域图像输入至已训练的第三神经网络中;所述第三神经网络通过色彩处理层将所述第一区域图像转换成第一候选图像,所述色彩处理层用于执行以下至少一种色彩处理方式:色彩通道分离处理、色彩特征提取处理,并至少通过用于执行卷积的卷积层、用于执行激活的激活层实现对所述第一候选图像的图像增强,并输出图像增强后的图像;
将第三神经网络输出的图像作为所述目标图像。
在一个实施例中,所述第三处理模块将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像时,具体用于:
将所述第一区域图像输入至已训练的第四神经网络,以由所述第四神经网络的退化程度估计子网络估计输入的第一区域图像在指定退化因素下的退化程度图,所述退化程度图中每个位置的数值描述了输入的第一区域图像中对应位置的像素受指定退化因素影响的程度,并由所述第四神经网络的图像复原子网络依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理,并输出复原处理的图像;
将第四神经网络输出的图像作为所述目标图像。
在一个实施例中,所述退化程度估计子网络估计输入的第一区域图像在各退化因素下的退化程度图,包括:
所述退化程度估计子网络至少通过卷积层实现对输入的第一区域图像在指定退化因素下的退化程度图的估计。
在一个实施例中,所述图像复原子网络依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理,包括:
所述图像复原子网络至少通过用于执行卷积的卷积层、用于执行激活的激活层实现依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理。
在一个实施例中,所述第三处理模块之前,该装置还包括:
校正模块,用于采用校正方式对所述第一区域图像进行校正;所述校正方式包括以下的至少一种:黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡校正;
所述第三处理模块将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像时,具体用于:将校正后的第一区域图像至少进行增强处理得到第二数据格式的目标图像。
在一个实施例中,所述第四处理模块之前,该方法还包括:
区域图像获取模块,用于获取经由所述第一图像转换所得的包含所述目标对象的第三图像,并从所述第三图像中截取出目标对象所处的第二区域图像;
所述第四处理模块将所述目标图像发送至服务器时,具体用于:
将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,将所述目标图像信息发送至所述服务器,以使所述服务器从所述目标图像信息中获取所述目标图像并对所述目标图像进行目标识别。
在一个实施例中,所述第四处理模块将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息时,具体用于:
采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;
将所述目标图像的第一图像信息写入至编码图像信息的保留字段中,得到所述目标图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
所述服务器从所述目标图像信息中获取所述目标图像,包括:
所述服务器从所述目标图像信息的保留字段中提取出第一图像信息,并利用提取的第一图像信息生成所述目标图像。
在一个实施例中,所述第四处理模块将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息时,具体用于:
采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;
将所述目标图像的第一图像信息进行加密得到加密图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
将所述加密图像信息写入至编码图像信息的保留字段中,得到所述目标图像信息;
所述服务器从所述目标图像信息中获取所述目标图像,包括:
所述服务器从所述目标图像信息的保留字段中提取出加密图像信息,对提取的加密图像信息进行解密得到所述第一图像信息,并利用解密得到的第一图像信息生成所述目标图像。
在一个实施例中,所述服务器对所述目标图像进行目标识别,包括:
所述服务器从所述目标图像中提取目标特征向量,所述目标特征向量用于描述所述目标图像中的目标对象;
所述服务器计算所述目标特征向量与预设的标准特征向量之间的相似度,依据所述相似度识别所述目标图像中的目标对象是否为指定目标对象,所述标准特征向量用于描述指定目标对象。
本发明第三方面提供的上述装置中各个单元的功能和作用的实现过程具体详见本发明第一方面提供的目标识别方法中对应步骤的实现过程,在此不再赘述。
本发明第四方面提供一种目标识别装置,应用于服务器,参看图3,目标识别装置200包括:
第五处理模块201,用于获取来自摄像机发送的目标图像;所述目标图像是将所述摄像机从采集的第一数据格式的第一图像中截取的包含目标对象的第一区域图像进行增强处理得到的第二数据格式的图像,所述第二数据格式适于所述目标图像进行目标识别;并对所述目标图像进行目标识别。
在一个实施例中,所述第五处理模块获取来自摄像机发送的目标图像时,具体用于:
接收来自摄像机发送的目标图像信息;所述目标图像信息叠加了所述目标图像与第二区域图像的图像信息,所述第二区域图像是从经由所述第一图像转换所得的包含所述目标对象的第三图像中截取出的目标对象所处的图像;
从所述目标图像信息中获取所述目标图像。
在一个实施例中,所述第五处理模块从所述目标图像信息中获取所述目标图像时,具体用于:
从所述目标图像信息的保留字段中提取出第一图像信息;所述第一图像信息包含所述目标图像中所有像素点的像素值;
利用提取的第一图像信息生成所述目标图像。
在一个实施例中,所述第五处理模块从所述目标图像信息中获取所述目标图像时,具体用于:
从所述目标图像信息的保留字段中提取出加密图像信息;所述加密图像信息是将所述目标图像的第一图像信息进行加密得到的图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
对提取的加密图像信息进行解密得到所述第一图像信息;
利用解密得到的第一图像信息生成所述目标图像。
在一个实施例中,所述第五处理模块对所述目标图像进行目标识别时,具体用于:
从所述目标图像中提取目标特征向量,所述目标特征向量用于描述所述目标图像中的目标对象;
计算所述目标特征向量与预设的标准特征向量之间的相似度;
依据所述相似度识别所述目标图像中的目标对象是否为指定目标对象,所述标准特征向量用于描述指定目标对象。
本发明第四方面提供的上述装置中各个单元的功能和作用的实现过程具体详见本发明第一方面提供的目标识别方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元。
本发明第五方面提供一种目标识别系统,参看图3,包括:相互连接的摄像机和服务器;
所述摄像机,用于:从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息;从所述第一图像中截取所述位置信息对应的第一区域图像;将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,所述第二数据格式适于所述目标图像进行目标识别;并将所述目标图像发送至服务器;
服务器,用于:获取来自摄像机发送的目标图像;所述目标图像是将所述摄像机从采集的第一数据格式的第一图像中截取的包含目标对象的第一区域图像进行增强处理得到的第二数据格式的图像,所述第二数据格式适于所述目标图像进行目标识别;并对所述目标图像进行目标识别。
本发明第五方面提供的上述目标识别系统中摄像机和服务器的实现过程具体详见本发明第一方面和第二方面提供的目标识别方法中对应步骤的实现过程,在此不再赘述。
本发明还提供一种电子设备,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如前述实施例中任意一项所述的目标识别方法。
本发明目标识别装置的实施例可以应用在电子设备上。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在电子设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图22所示,图22是本发明根据一示例性实施例示出的目标识别装置100所在电子设备的一种硬件结构图,除了图22所示的处理器810、内存830、接口820、以及非易失性存储器840之外,实施例中装置100所在的电子设备通常根据该电子设备的实际功能,还可以包括其他硬件,对此不再赘述。
本发明还提供一种机器可读存储介质,其上存储有程序,该程序被处理器执行时,实现如前述实施例中任意一项所述的目标识别方法。
本发明可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。机器可读存储介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。机器可读存储介质的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (22)
1.一种目标识别方法,其特征在于,应用于摄像机,包括:
从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息;第一数据格式包括:将捕捉到的光源信号转化为数字信号的原始数据格式;
从所述第一图像中截取所述位置信息对应的第一区域图像;
将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,所述第二数据格式适于所述目标图像进行目标识别;
获取经由所述第一图像转换所得的包含所述目标对象的第三图像,并从所述第三图像中截取出目标对象所处的第二区域图像;
将所述目标图像发送至服务器,以使所述服务器对所述目标图像进行目标识别;
所述将所述目标图像发送至服务器,包括:将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,将所述目标图像信息发送至所述服务器,以使所述服务器从所述目标图像信息中获取所述目标图像并对所述目标图像进行目标识别;
将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,包括:采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;将所述目标图像的第一图像信息或所述目标图像的加密图像信息,写入至编码图像信息的保留字段中,得到所述目标图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;所述加密图像信息是针对所述第一图像信息进行加密得到的。
2.如权利要求1所述的目标识别方法,其特征在于,从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息,包括:
对第一图像进行预处理得到第二图像;
在所述第二图像中检测出所述目标对象的位置信息,将检测出的位置信息确定为所述目标对象在所述第一图像中的位置信息。
3.如权利要求2所述的目标识别方法,其特征在于,在所述第二图像中检测出所述目标对象的位置信息,将检测出的位置信息确定为所述目标对象在所述第一图像中的位置信息,包括:
将所述第二图像输入至已训练的第一神经网络;所述第一神经网络至少通过用于执行卷积的卷积层、用于执行激活的激活层、用于执行下采样的池化层、用于执行特征综合的全连接层和用于执行坐标变换的边框回归层实现所述目标对象的位置信息的定位和输出;
将所述第一神经网络输出的结果确定为所述目标对象在所述第一图像中的位置信息。
4.如权利要求2所述的目标识别方法,其特征在于,对第一图像进行预处理得到第二图像,包括:
采用以下至少一种预处理方式实现将所述第一图像转换为第二图像:黑电平校正、坏点校正、白平衡校正、数字增益、宽动态合成、色彩插值、色彩校正、曲线映射、色彩空间转换、对比度增强、降噪、锐化。
5.如权利要求1所述的目标识别方法,其特征在于,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,包括:
将所述第一区域图像输入至已训练的第二神经网络中;所述第二神经网络至少通过用于执行卷积的卷积层、用于执行激活的激活层实现输入的第一区域图像的图像增强,并输出图像增强后的图像;
将第二神经网络输出的图像作为所述目标图像。
6.如权利要求1所述的目标识别方法,其特征在于,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,包括:
将所述第一区域图像输入至已训练的第三神经网络中;所述第三神经网络通过色彩处理层将所述第一区域图像转换成第一候选图像,所述色彩处理层用于执行以下至少一种色彩处理方式:色彩通道分离处理、色彩特征提取处理,并至少通过用于执行卷积的卷积层、用于执行激活的激活层实现对所述第一候选图像的图像增强,并输出图像增强后的图像;
将第三神经网络输出的图像作为所述目标图像。
7.如权利要求1所述的目标识别方法,其特征在于,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,包括:
将所述第一区域图像输入至已训练的第四神经网络,以由所述第四神经网络的退化程度估计子网络估计输入的第一区域图像在指定退化因素下的退化程度图,所述退化程度图中每个位置的数值描述了输入的第一区域图像中对应位置的像素受指定退化因素影响的程度,并由所述第四神经网络的图像复原子网络依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理,并输出复原处理的图像;
将第四神经网络输出的图像作为所述目标图像。
8.如权利要求7所述的目标识别方法,其特征在于,所述退化程度估计子网络估计输入的第一区域图像在各退化因素下的退化程度图,包括:
所述退化程度估计子网络至少通过卷积层实现对输入的第一区域图像在指定退化因素下的退化程度图的估计。
9.如权利要求7所述的目标识别方法,其特征在于,所述图像复原子网络依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理,包括:
所述图像复原子网络至少通过用于执行卷积的卷积层、用于执行激活的激活层实现依据退化程度估计子网络得到的退化程度图对输入的第一区域图像进行复原处理。
10.如权利要求6-9中任一项所述的目标识别方法,其特征在于,将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像之前,该方法还包括:
采用校正方式对所述第一区域图像进行校正;所述校正方式包括以下的至少一种:黑电平校正、坏点校正、固定模式噪声校正、绿通道失衡校正、白平衡校正;
所述将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像包括:将校正后的第一区域图像至少进行增强处理得到第二数据格式的目标图像。
11.如权利要求1所述的目标识别方法,其特征在于,在所述摄像机将所述目标图像的第一图像信息,写入至编码图像信息的保留字段中,得到所述目标图像信息的情况下,所述服务器从所述目标图像信息中获取所述目标图像,包括:
所述服务器从所述目标图像信息的保留字段中提取出第一图像信息,并利用提取的第一图像信息生成所述目标图像。
12.如权利要求1所述的目标识别方法,其特征在于,在所述摄像机将所述目标图像的加密图像信息,写入至编码图像信息的保留字段中,得到所述目标图像信息的情况下,所述服务器从所述目标图像信息中获取所述目标图像,包括:
所述服务器从所述目标图像信息的保留字段中提取出加密图像信息,对提取的加密图像信息进行解密得到所述第一图像信息,并利用解密得到的第一图像信息生成所述目标图像。
13.如权利要求1、11-12中任一项所述的目标识别方法,其特征在于,所述服务器对所述目标图像进行目标识别,包括:
所述服务器从所述目标图像中提取目标特征向量,所述目标特征向量用于描述所述目标图像中的目标对象;
所述服务器计算所述目标特征向量与预设的标准特征向量之间的相似度,依据所述相似度识别所述目标图像中的目标对象是否为指定目标对象,所述标准特征向量用于描述指定目标对象。
14.一种目标识别方法,其特征在于,应用于服务器,包括:
获取来自摄像机发送的目标图像;所述目标图像是将所述摄像机从采集的第一数据格式的第一图像中截取的包含目标对象的第一区域图像进行增强处理得到的第二数据格式的图像,第一数据格式包括:将捕捉到的光源信号转化为数字信号的原始数据格式;所述第二数据格式适于所述目标图像进行目标识别;
所述获取来自摄像机发送的目标图像,包括:接收来自摄像机发送的目标图像信息;所述目标图像信息叠加了所述目标图像与第二区域图像的图像信息,所述第二区域图像是从经由所述第一图像转换所得的包含所述目标对象的第三图像中截取出的目标对象所处的图像;从所述目标图像信息中获取所述目标图像;
所述目标图像信息的获取方式包括:所述摄像机采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;将所述目标图像的第一图像信息或所述目标图像的加密图像信息,写入至编码图像信息的保留字段中,得到所述目标图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;所述加密图像信息是针对所述第一图像信息进行加密得到的;
对所述目标图像进行目标识别。
15.如权利要求14所述的目标识别方法,其特征在于,从所述目标图像信息中获取所述目标图像,包括:
从所述目标图像信息的保留字段中提取出第一图像信息;所述第一图像信息包含所述目标图像中所有像素点的像素值;
利用提取的第一图像信息生成所述目标图像。
16.如权利要求14所述的目标识别方法,其特征在于,从所述目标图像信息中获取所述目标图像,包括:
从所述目标图像信息的保留字段中提取出加密图像信息;所述加密图像信息是将所述目标图像的第一图像信息进行加密得到的图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;
对提取的加密图像信息进行解密得到所述第一图像信息;
利用解密得到的第一图像信息生成所述目标图像。
17.如权利要求14-16中任一项所述的目标识别方法,其特征在于,对所述目标图像进行目标识别,包括:
从所述目标图像中提取目标特征向量,所述目标特征向量用于描述所述目标图像中的目标对象;
计算所述目标特征向量与预设的标准特征向量之间的相似度;
依据所述相似度识别所述目标图像中的目标对象是否为指定目标对象,所述标准特征向量用于描述指定目标对象。
18.一种目标识别装置,其特征在于,应用于摄像机,包括:
第一处理模块,用于从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息;第一数据格式包括:将捕捉到的光源信号转化为数字信号的原始数据格式;
第二处理模块,用于从所述第一图像中截取所述位置信息对应的第一区域图像;
第三处理模块,用于将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,所述第二数据格式适于所述目标图像进行目标识别;
区域图像获取模块,用于获取经由所述第一图像转换所得的包含所述目标对象的第三图像,并从所述第三图像中截取出目标对象所处的第二区域图像;
第四处理模块,用于将所述目标图像发送至服务器,以使所述服务器对所述目标图像进行目标识别;
所述第四处理模块将所述目标图像发送至服务器时,具体用于:将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,将所述目标图像信息发送至所述服务器,以使所述服务器从所述目标图像信息中获取所述目标图像并对所述目标图像进行目标识别;将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,包括:采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;将所述目标图像的第一图像信息或所述目标图像的加密图像信息,写入至编码图像信息的保留字段中,得到所述目标图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;所述加密图像信息是针对所述第一图像信息进行加密得到的。
19.一种目标识别装置,其特征在于,应用于服务器,包括:
第五处理模块,用于获取来自摄像机发送的目标图像;所述目标图像是将所述摄像机从采集的第一数据格式的第一图像中截取的包含目标对象的第一区域图像至少进行增强处理得到的第二数据格式的图像,第一数据格式包括:将捕捉到的光源信号转化为数字信号的原始数据格式;所述第二数据格式适于所述目标图像进行目标识别;并对所述目标图像进行目标识别;
所述第五处理模块获取来自摄像机发送的目标图像时,具体用于:接收来自摄像机发送的目标图像信息;所述目标图像信息叠加了所述目标图像与第二区域图像的图像信息,所述第二区域图像是从经由所述第一图像转换所得的包含所述目标对象的第三图像中截取出的目标对象所处的图像;从所述目标图像信息中获取所述目标图像;
所述目标图像信息的获取方式包括:所述摄像机采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;将所述目标图像的第一图像信息或所述目标图像的加密图像信息,写入至编码图像信息的保留字段中,得到所述目标图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;所述加密图像信息是针对所述第一图像信息进行加密得到的。
20.一种目标识别系统,其特征在于,包括:相互连接的摄像机和服务器;
所述摄像机,用于:从采集的第一数据格式的第一图像获取目标对象在所述第一图像中的位置信息;第一数据格式包括:将捕捉到的光源信号转化为数字信号的原始数据格式;从所述第一图像中截取所述位置信息对应的第一区域图像;将所述第一区域图像至少进行增强处理得到第二数据格式的目标图像,所述第二数据格式适于所述目标图像进行目标识别;获取经由所述第一图像转换所得的包含所述目标对象的第三图像,并从所述第三图像中截取出目标对象所处的第二区域图像;并将所述目标图像发送至服务器;所述将所述目标图像发送至服务器,包括:将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,将所述目标图像信息发送至所述服务器;将所述目标图像与所述第二区域图像的图像信息进行叠加得到目标图像信息,包括:采用指定压缩编码方式对所述第二区域图像进行压缩编码,得到编码图像信息;将所述目标图像的第一图像信息或所述目标图像的加密图像信息,写入至编码图像信息的保留字段中,得到所述目标图像信息,所述第一图像信息包含所述目标图像中所有像素点的像素值;所述加密图像信息是针对所述第一图像信息进行加密得到的;
服务器,用于:获取来自摄像机发送的目标图像;所述目标图像是将所述摄像机从采集的第一数据格式的第一图像中截取的包含目标对象的第一区域图像进行增强处理得到的第二数据格式的图像,第一数据格式包括:将捕捉到的光源信号转化为数字信号的原始数据格式;所述第二数据格式适于所述目标图像进行目标识别;并对所述目标图像进行目标识别;所述获取来自摄像机发送的目标图像,包括:接收来自摄像机发送的目标图像信息;所述目标图像信息叠加了所述目标图像与第二区域图像的图像信息,所述第二区域图像是从经由所述第一图像转换所得的包含所述目标对象的第三图像中截取出的目标对象所处的图像;从所述目标图像信息中获取所述目标图像。
21.一种电子设备,其特征在于,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如权利要求1-17中任意一项所述的目标识别方法。
22.一种机器可读存储介质,其特征在于,其上存储有程序,该程序被处理器执行时,实现如权利要求1-17中任意一项所述的目标识别方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910652193.1A CN112241669B (zh) | 2019-07-18 | 目标识别方法、装置、系统及设备、存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910652193.1A CN112241669B (zh) | 2019-07-18 | 目标识别方法、装置、系统及设备、存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112241669A CN112241669A (zh) | 2021-01-19 |
CN112241669B true CN112241669B (zh) | 2024-06-28 |
Family
ID=
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107369134A (zh) * | 2017-06-12 | 2017-11-21 | 上海斐讯数据通信技术有限公司 | 一种模糊图像的图像复原方法 |
CN109635803A (zh) * | 2017-10-09 | 2019-04-16 | 凝眸智能科技集团公司 | 基于人工智能的图像数据处理方法及设备 |
CN109803108A (zh) * | 2019-01-22 | 2019-05-24 | 国网信息通信产业集团有限公司 | 一种图像识别方法和装置 |
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107369134A (zh) * | 2017-06-12 | 2017-11-21 | 上海斐讯数据通信技术有限公司 | 一种模糊图像的图像复原方法 |
CN109635803A (zh) * | 2017-10-09 | 2019-04-16 | 凝眸智能科技集团公司 | 基于人工智能的图像数据处理方法及设备 |
CN109803108A (zh) * | 2019-01-22 | 2019-05-24 | 国网信息通信产业集团有限公司 | 一种图像识别方法和装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2021022983A1 (zh) | 图像处理方法和装置、电子设备、计算机可读存储介质 | |
JP2009020879A (ja) | データ品位を向上する方法及びシステム | |
CN107993209B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
JP2004178592A (ja) | 画像の幾何学的に変換されたコピーを検出する方法及びシステム | |
TW200903348A (en) | Edge mapping incorporating panchromatic pixels | |
US20060269098A1 (en) | Image processing apparatus, image processing method, medium, code reading apparatus, and program | |
US11955032B2 (en) | Sensor device and encryption method | |
CN110557584A (zh) | 图像处理方法及装置、计算机可读存储介质 | |
WO2018216341A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN112966635B (zh) | 面向低分辨率时序遥感影像的运动舰船检测方法及装置 | |
US20230127009A1 (en) | Joint objects image signal processing in temporal domain | |
CN115550570B (zh) | 图像处理方法与电子设备 | |
JP7156624B2 (ja) | デプスマップフィルタ処理装置、デプスマップフィルタ処理方法及びプログラム | |
KR20220111203A (ko) | 스티칭된 이미지들의 정렬을 평가하기 위한 방법 및 이미지 프로세싱 디바이스 | |
CN110555877B (zh) | 一种图像处理方法、装置及设备、可读介质 | |
CN112241982A (zh) | 一种图像处理方法、装置及机器可读存储介质 | |
CN112241735A (zh) | 一种图像处理方法、装置及系统 | |
KR101726692B1 (ko) | 객체 추출 장치 및 방법 | |
CN112241669B (zh) | 目标识别方法、装置、系统及设备、存储介质 | |
CN110555805A (zh) | 图像处理的方法、装置、设备及存储介质 | |
CN110493579B (zh) | 一种彩色透雾方法、装置、摄像机及图像处理系统 | |
JP6217225B2 (ja) | 画像照合装置、画像照合方法及びプログラム | |
CN107770446B (zh) | 图像处理方法、装置、计算机可读存储介质和电子设备 | |
CN112241669A (zh) | 目标识别方法、装置、系统及设备、存储介质 | |
CN112241670B (zh) | 图像处理方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant |