CN111325701A - 图像处理方法、装置及存储介质 - Google Patents
图像处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN111325701A CN111325701A CN201811536169.3A CN201811536169A CN111325701A CN 111325701 A CN111325701 A CN 111325701A CN 201811536169 A CN201811536169 A CN 201811536169A CN 111325701 A CN111325701 A CN 111325701A
- Authority
- CN
- China
- Prior art keywords
- image
- gray value
- frequency gray
- frequency
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000001931 thermography Methods 0.000 claims abstract description 75
- 238000012545 processing Methods 0.000 claims abstract description 53
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000004927 fusion Effects 0.000 claims description 29
- 238000004422 calculation algorithm Methods 0.000 claims description 17
- 238000012216 screening Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000005286 illumination Methods 0.000 abstract description 8
- 238000003384 imaging method Methods 0.000 abstract description 5
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 9
- 230000006399 behavior Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000007499 fusion processing Methods 0.000 description 6
- 238000012544 monitoring process Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 239000000919 ceramic Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001035 drying Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012634 optical imaging Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
Abstract
本申请公开了一种图像处理方法、装置及存储介质，属于图像处理技术领域。所述方法包括：从可见光视频和热成像视频中获取采集的可见光图像和热成像图像；从可见光图像和热成像图像中确定出第一图像和第二图像，当第一图像为可见光图像时第二图像为热成像图像，当第一图像为热成像图像时第二图像为可见光图像；从第一图像中获取目标像素点对应的第一高频灰度值；将第一高频灰度值融合至第二图像中，得到融合图像；基于融合图像，识别出融合图像中目标物体。该融合图像可以同时弥补因外界光照条件和背景温度对成像图像所产生的影响，所以，基于该融合图像对目标物体进行识别处理可以提高识别的准确性。
Description
技术领域
本申请实施例涉及图像处理技术领域，特别涉及一种图像处理方法、装置及存储介质。
背景技术
目前，视频监控系统在安防、交通等领域得到广泛的应用。该视频监控系统可以通过摄像头进行图像采集，在一些实施例中，还可以对采集的图像进行特征提取，以对图像中人或车辆等的行为进行分析。
在相关技术中，视频监控系统中一般采用可见光摄像头或热成像摄像头进行图像采集，得到可见光图像或热成像图像，之后，可以通过图像识别技术对可见光图像或热成像图像进行特征提取等操作，以确定某目标物体的行为。
然而，可见光摄像头受夜照度、光强、雨雪天气等影响，容易使得可见光图像的成像质量较差，从而影响图像分析。另外，对于热成像图像，当背景与目标物体的温度比较接近时，也会对图像分析造成影响。
发明内容
本申请实施例提供了一种图像处理方法、装置及存储介质，可以解决外界光照条件或温度会对图像识别分析产生影响的问题。所述技术方案如下：
第一方面，提供了一种图像处理方法，所述方法包括：
从可见光视频和热成像视频中获取采集的可见光图像和热成像图像；
从所述可见光图像和所述热成像图像中确定出第一图像和第二图像，当所述第一图像为所述可见光图像时所述第二图像为所述热成像图像，当所述第一图像为所述热成像图像时所述第二图像为所述可见光图像；
从所述第一图像中获取目标像素点对应的第一高频灰度值，所述第一高频灰度值用于指示所述目标像素点与邻像素点的灰度值的差量；
将所述第一高频灰度值融合至所述第二图像中，得到融合图像；
基于所述融合图像，识别出所述融合图像中目标物体。
可选地，所述从所述第一图像中获取目标像素点对应的第一高频灰度值，包括：
确定目标数量，所述目标数量为所述第一图像包括的像素点的个数；
令i＝1；确定所述第一图像中第i个像素点的灰度值与第i+1个像素点的灰度值之间的差值，当所述差值大于预设阈值时，将所述第i个像素点确定为目标像素点，以及将所述差值作为所述目标像素点的第一高频灰度值；
当所述i小于所述目标数量时，返回至所述确定所述第i个像素点的灰度值与第i+1个像素点的灰度值之间的差值，当所述差值大于预设阈值时，将所述第i个像素点确定为目标像素点，以及将所述差值作为所述目标像素点的第一高频灰度值的操作；当所述i等于所述目标数量时，结束操作。
可选地，所述基于所述融合图像，识别出所述融合图像中目标物体，包括：
通过目标网络模型对所述融合图像进行识别处理，输出所述目标物体对应的第一识别数据，所述目标网络模型用于基于任一图像确定所述图像中的目标物体的类别和第一位置坐标；
通过背景建模算法对所述融合图像进行识别处理，输出所述目标物体对应的第二识别数据，所述背景建模算法用于基于任一图像确定所述图像中的目标物体的第二位置坐标；
基于所述第一识别数据和所述第二识别数据，识别出所述融合图像中目标物体。
可选地，所述基于所述第一识别结果和所述第二识别结果，识别出所述融合图像中目标物体，包括：
对所述第一识别数据和所述第二识别数据进行匹配筛选处理，得到所述目标物体对应的第三识别数据；
调用目标跟踪模型，将所述第三识别数据输入至所述目标跟踪模型中，输出所述目标物体的识别结果，所述目标跟踪模型用于基于任一目标物体对应的识别数据对所述目标物体进行跟踪识别。
可选地，所述对所述第一识别数据与所述第二识别数据进行匹配筛选处理，得到所述目标物体对应的第三识别数据，包括：
当所述第一识别数据包括类别和第一位置坐标，所述第二识别数据包括第二位置坐标时，如果所述第一位置坐标与所述第二位置坐标相同，则将所述类别和所述第一位置坐标确定为所述目标物体的第三识别数据；
如果所述第一位置坐标与所述第二位置坐标不相同，则将所述第二位置坐标确定为所述目标物体的第三识别数据。
可选地，所述将所述第一高频灰度值融合至所述第二图像中之前，还包括：
对所述第一高频灰度值进行边缘增强处理，得到所述第一高频灰度值对应的第二高频灰度值；
将所述第二高频灰度值与预设增益系数相乘，得到所述第二高频灰度值对应的第三高频灰度值；
相应地，所述将所述第一高频灰度值融合至所述第二图像中，包括：
将所述第三高频灰度值融合至所述第二图像中。
可选地，所述对所述第一高频灰度值进行边缘增强处理，包括：
当所述第一高频灰度值大于预设高频灰度值时，确定所述第一高频灰度值与所述预设高频灰度值之间的差值，得到所述第一高频灰度值对应的第二高频灰度值；
当所述第一高频灰度值小于所述预设高频灰度值的负值时，确定所述第一高频灰度值与所述预设高频灰度值之和，得到所述第一高频灰度值对应的第二高频灰度值；
当所述第一高频灰度值不大于所述预设高频灰度值，且所述第一高频灰度值不小于所述预设高频灰度值的负值时，将所述第一高频灰度值置为零，得到所述第一高频灰度值对应的第二高频灰度值。
可选地，所述将所述第三高频灰度值融合至所述第二图像中，包括：
获取所述第三高频灰度值对应的目标像素点的位置坐标；
从所述第二图像中确定与所述位置坐标相同的像素点的灰度值；
将所述第三高频灰度值与所述第二图像中与所述位置坐标相同的像素点的灰度值相加。
第二方面，提供了一种图像处理装置，所述装置包括：
第一获取模块，用于从可见光视频和热成像视频中获取采集的可见光图像和热成像图像；
确定模块，用于从所述可见光图像和所述热成像图像中确定出第一图像和第二图像，当所述第一图像为所述可见光图像时所述第二图像为所述热成像图像，当所述第一图像为所述热成像图像时所述第二图像为所述可见光图像；
第二获取模块，用于从所述第一图像中获取目标像素点对应的第一高频灰度值，所述第一高频灰度值用于指示所述目标像素点与邻像素点的灰度值的差量；
融合模块，用于将所述第一高频灰度值融合至所述第二图像中，得到融合图像；
识别模块，用于基于所述融合图像，识别出所述融合图像中目标物体。
可选地，所述第二获取模块用于：
确定目标数量，所述目标数量为所述第一图像包括的像素点的个数；
令i＝1；确定所述第一图像中第i个像素点的灰度值与第i+1个像素点的灰度值之间的差值，当所述差值大于预设阈值时，将所述第i个像素点确定为目标像素点，以及将所述差值作为所述目标像素点的第一高频灰度值；
当所述i小于所述目标数量时，返回至所述确定所述第i个像素点的灰度值与第i+1个像素点的灰度值之间的差值，当所述差值大于预设阈值时，将所述第i个像素点确定为目标像素点，以及将所述差值作为所述目标像素点的第一高频灰度值的操作；当所述i等于所述目标数量时，结束操作。
可选地，所述识别模块用于：
通过目标网络模型对所述融合图像进行识别处理，输出所述目标物体对应的第一识别数据，所述目标网络模型用于基于任一图像确定所述图像中的目标物体的类别和第一位置坐标；
通过背景建模算法对所述融合图像进行识别处理，输出所述目标物体对应的第二识别数据，所述背景建模算法用于基于任一图像确定所述图像中的目标物体的第二位置坐标；
基于所述第一识别数据和所述第二识别数据，识别出所述融合图像中目标物体。
可选地，所述识别模块用于：
对所述第一识别数据和所述第二识别数据进行匹配筛选处理，得到所述目标物体对应的第三识别数据；
调用目标跟踪模型，将所述第三识别数据输入至所述目标跟踪模型中，输出所述目标物体的识别结果，所述目标跟踪模型用于基于任一目标物体对应的识别数据对所述目标物体进行跟踪识别。
可选地，所述识别模块用于：
当所述第一识别数据包括类别和第一位置坐标，所述第二识别数据包括第二位置坐标时，如果所述第一位置坐标与所述第二位置坐标相同，则将所述类别和所述第一位置坐标确定为所述目标物体的第三识别数据；
如果所述第一位置坐标与所述第二位置坐标不相同，则将所述第二位置坐标确定为所述目标物体的第三识别数据。
可选地，所述装置还包括：
边缘增强处理模块，用于对所述第一高频灰度值进行边缘增强处理，得到所述第一高频灰度值对应的第二高频灰度值；
计算模块，用于将所述第二高频灰度值与预设增益系数相乘，得到所述第二高频灰度值对应的第三高频灰度值；
所述融合模块还用于：将所述第三高频灰度值融合至所述第二图像中。
可选地，所述边缘增强处理模块用于：
当所述第一高频灰度值大于预设高频灰度值时，确定所述第一高频灰度值与所述预设高频灰度值之间的差值，得到所述第一高频灰度值对应的第二高频灰度值；
当所述第一高频灰度值小于所述预设高频灰度值的负值时，确定所述第一高频灰度值与所述预设高频灰度值之和，得到所述第一高频灰度值对应的第二高频灰度值；
当所述第一高频灰度值不大于所述预设高频灰度值，且所述第一高频灰度值不小于所述预设高频灰度值的负值时，将所述第一高频灰度值置为零，得到所述第一高频灰度值对应的第二高频灰度值。
可选地，所述融合模块用于：
获取所述第三高频灰度值对应的目标像素点的位置坐标；
从所述第二图像中确定与所述位置坐标相同的像素点的灰度值；
将所述第三高频灰度值与所述第二图像中与所述位置坐标相同的像素点的灰度值相加。
第三方面，提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现上述第一方面所述的图像处理方法。
第四方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述第一方面所述的图像处理方法。
本申请实施例提供的技术方案带来的有益效果是：
从可见光视频和热成像视频中，获取采集的可见光图像和热成像图像，对该可见光图像和该热成像图像进行双光融合处理，也即是，从其中任一张图像中获取目标像素点对应的第一高频灰度值，将该第一高频灰度值融合至另一张图像中，得到融合图像。由于该融合图像是基于可见光图像和热成像图像融合得到的，因此可以同时弥补因外界光照条件和背景温度对成像图像所产生的影响，所以，基于该融合图像对目标物体进行识别处理可以提高识别的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据一示例性实施例示出的一种图像处理方法的流程图；
图2是根据一示例性实施例示出的另一种图像处理方法的流程图；
图3是根据一示例性实施例示出的一种高通滤波器的结构示意图；
图4是根据一示例性实施例示出的一种图像的显示示意图；
图5是根据一示例性实施例示出的一种图像处理装置的结构示意图；
图6是根据另一示例性实施例示出的一种图像处理装置的结构示意图；
图7是根据一示例性实施例示出的一种终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例提供的图像处理方法进行详细介绍之前，先对本申请实施例涉及的名词、应用场景和实施环境进行简单介绍。
首先，对本申请实施例涉及的名词进行简单介绍。
双光融合：将可见光图像与热成像图像进行信息融合。进一步地，可以是指将可见光图像中的图像信息叠加到热成像图像中，或者，也可以是指将热成像图像中的图像信息叠加至可见光图像中。
行为分析：对视频中的目标物体进行识别分析，进一步地，分析视频中运动的物体的类别，譬如，识别该目标物体是人还是车等。
热成像：光学成像物镜将红外望远镜接收的物体的热辐射图分解成热辐射信号，聚焦到红外探测器上，探测器与图像视频系统一起将热辐射信号放大并转换成视频信号。从而将物体发出的不可见红外能量转变为可见的热图像，热图像中不同亮度代表物体表面的不同温度。
其次，对本申请实施例涉及的应用场景进行简单介绍。
目前，若采用可见光摄像头进行视频图像采集，由于其受外界光照条件干扰比较大，使得图像质量较差，影响图像识别分析。并且，可见光摄像头在夜晚模式下可能需要额外配备补光设备，如此，会带来额外的光污染，比如目前道路上的抓拍设备都配备频闪灯等。另外，在上述情况下，还会严重影响驾驶员的行车安全。
此外，若采用热成像摄像头进行视频图像采集，虽然其受外界光照条件干扰较小，但当所拍摄的背景与目标物体的温度比较接近时，容易导致难以识别出图像中的目标物体。
为此，本申请实施例提供了一种图像处理方法，该图像处理方法可以解决上述存在的问题，提高了目标物体识别的准确性。
接下来，对本申请实施例涉及的实施环境进行简单介绍。
本申请实施例提供的图像处理方法可以由计算机设备来执行，该计算机设备可以配置或连接有可见光摄像头和热成像摄像头，该可见光摄像头用于采集可见光视频，该热成像摄像头用于采集热成像视频。
进一步地，该计算机设备可以提供或连接有显示装置，以通过该显示装置进行图像显示。另外，还可以通过显示装置提供人机交互界面，如此，用户可以根据实际需求通过该人机交互界面选择自动相机标定、屏蔽区域设置、目标物体属性配置等用户优选项。进一步地，还可以通过该人机交互界面来设置该方法中使用到的模型的检测灵敏度和一些参数，譬如，该参数可以包括但不限于选择报警目标物体的类别(比如包括人、车辆、任何车辆等)、目标物体的检测尺寸、背景更新速度、干扰参数、场景模式等。此外，还可以通过人机交互界面来设置模型识别的触发条件，譬如可以为定时或手动触发等。
在一些实施例中，该计算机设备可以为手机、平板电脑、台式计算机、便携式计算机之类的终端，本申请实施例对此不作限定。
在介绍完本申请实施例涉及的名词、应用场景和实施环境后，接下来将结合附图对本申请实施例提供的图像处理方法进行详细介绍。
图1是根据一示例性实施例示出的一种图像处理方法的流程图，该图像处理方法可以应用于上述计算机设备中，该方法可以包括如下几个步骤：
步骤101：从可见光视频和热成像视频中获取采集的可见光图像和热成像图像。
其中，该可见光视频由可见光摄像头拍摄得到，热成像视频由热成像摄像头拍摄得到。也就是说，请参考图2，在视频监控过程中，可以采用可见光摄像头和热成像摄像头同时进行拍摄，得到可见光视频和热成像视频。为了能够解决可见光摄像头容易受环境影响以及热成像摄像头容易受温度影响的问题，计算机设备从可见光视频和热成像视频中获取采集的可见光图像和热成像图像，以便于后续对该可见光图像和热成像图像进行双光融合处理。
在一些实施例中，目标物体的运动速度可能比较快，此时为了使得可见光图像和热成像图像能够进行信息融合，该计算机设备可以从该可见光视频和热成像视频中，获取同一时间点采集的可见光图像和热成像图像。
在另一实施例中，目标物体的运动速度可能比较慢，比如在几秒内没有明显移动，此时，该计算机设备也可以从该可见光视频和热成像视频中，获取相近时间点采集的可见光图像和热成像图像。
进一步地，计算机设备获取该可见光图像和热成像图像后，还可以对该两者中的至少一个进行缩放、裁剪处理，以使得处理后的可见光图像和热成像图像能够配准，也即是，两者的尺寸大小相同以及物理位置匹配。
其中，上述物理位置匹配是指两张图像中相同坐标对应的像素点的灰度值相同或者偏差处于预设范围内。其中，该预设范围可以根据实际需求预先进行设置，一般来说，双光融合的配准精度控制在两个像素以内即可保证算法正常的运行。
需要说明的是，后续执行操作可以是基于缩放、裁剪处理后的可见光图像和热成像图像来进行的，下文不再重复说明。
步骤102：从该可见光图像和该热成像图像中确定出第一图像和第二图像。
在双光融合过程中，可以将可见光图像的图像信息融合至热成像图像中，或者，也可以是将热成像图像的图像信息融合至可见光图像中。因此，为了便于理解和说明，这里可以从该可见光图像和该热成像图像中确定出第一图像和第二图像。
其中，当该第一图像为该可见光图像时该第二图像为该热成像图像。当该第一图像为该热成像图像时该第二图像为该可见光图像。
也就是说，如果将该可见光图像确定为该第一图像，则将该热成像图像确定为该第二图像；或者，如果将该热成像图像确定为该第一图像，则将该可见光图像确定为该第二图像。接下来将以第一图像和第二图像为操作目标，对双光融合的实现进行说明。
步骤103：从该第一图像中获取目标像素点对应的第一高频灰度值，该第一高频灰度值用于指示该目标像素点与邻像素点的灰度值的差量。
在一种可能的实现方式中，从该第一图像中获取目标像素点对应的第一高频灰度值的具体实现可以包括：确定目标数量，该目标数量为该第一图像包括的像素点的个数。令i＝1；确定该第一图像中第i个像素点的灰度值与第i+1个像素点的灰度值之间的差值，当该差值大于预设阈值时，将该第i个像素点确定为目标像素点，以及将该差值作为该目标像素点的第一高频灰度值。当该i小于该目标数量时，返回至该确定该第i个像素点的灰度值与第i+1个像素点的灰度值之间的差值，当该差值大于预设阈值时，将该第i个像素点确定为目标像素点，以及将该差值作为该目标像素点的第一高频灰度值的操作；当该i等于该目标数量时，结束操作。
譬如，该计算机设备可以从该第一图像中第一行的第一个像素点开始遍历，即将该第一行的第一个像素点确定为第i个像素点，以及将该第一行的第二个像素点确定为第i+1个像素点。然后将第i个像素点的灰度值与第i+1个像素点的灰度值相比较，如果两者的差值大于预设阈值，则将该第i个像素点确定为目标像素点，以及将该差值确定为该第i个像素点的第一高频灰度值。之后，令i＝i+1，即将该第一行的第二个像素点确定为第i个像素点，以及将该第一行的第三个像素点确定为第i+1个像素点，并按照上述实现过程检测该第一行的第二个像素点是否为目标像素点，以及当确定该第一行的第二个像素点为目标像素点时，确定其对应的第一高频灰度值。以此类推，该计算机设备逐行以及对每行中的每个像素点进行遍历，直到遍历至该第一图像中的最后一行的最后一个像素点为止，结束遍历操作。由此可见，该目标像素点的数量可能为一个，也可能为多个。
也就是说，可以将该第一图像中的每个像素点的灰度值与相邻的像素点的灰度值作比较，如果两者的差值大于预设阈值，则说明该两个像素点之间的灰度值差异较大，此时可以认为灰度值的变化频率较高。不难理解，一般目标物体与背景之间的灰度值差异较大，因此，计算机设备获取该像素点为目标像素点，以及将所确定的差值获取为该目标像素点的第一高频灰度值，实际上，该第一高频灰度值对应的目标像素点可以用于确定目标物体的轮廓。
需要说明的是，上述仅是以计算机设备从该第一图像中第一行的第一个像素点开始遍历为例进行说明。在另一实施例中，该计算机设备还可以从该第一图像中的任一行的任一个像素点开始遍历，直到遍历完该第一图像中的每个像素点为止，本申请实施例对此不作限定。
另外，在一些实施例中，可以通过高通滤波器从该第一图像中获取目标像素点对应的第一高频灰度值，也即是，可以将该第一图像与高通滤波器作卷积，从而得到目标像素点对应的第一高频灰度值。在一种可能的实现方式中，请参考图3，该高通滤波器的模板可以为图3所示的结构形式，其中的H(i,j)为高通滤波器内的参数，可以根据实际需求设置，i和j为参数的下标，在本实施例中，i和j的取值范围均为[-3,1]。
进一步地，从该第一图像中获取目标像素点对应的第一高频灰度值之前，还可以对该第一图像进行去燥处理，譬如，可以将该第一图像进行高斯滤波处理，以去掉该第一图像中的噪点。在实施中，可以将该第一图像与高斯模板做卷积，得到去燥处理后的第一图像。之后，从去燥处理后的第一图像中获取目标像素点对应的第一高频灰度值，其具体实现可以参见上文所述。如此，可以提高获取目标像素点对应的第一高频灰度值的准确性和有效性。
步骤104：对该第一高频灰度值进行边缘增强处理，得到该第一高频灰度值对应的第二高频灰度值。
在实施中，为了增强该第一高频灰度值的高频边缘细节并进一步抑制掉噪声，可以对该第一高频灰度值进行边缘增强处理。在一些实施例中，对该第一高频灰度值进行边缘增强处理可以包括如下几种情况：
第一种情况：当该第一高频灰度值大于预设高频灰度值时，确定该第一高频灰度值与该预设高频灰度值之间的差值，得到该第一高频灰度值对应的第二高频灰度值。
其中，该预设高频灰度值可以由用户根据实际需求自定义设置，也可以由该计算机设备默认设置，本申请实施例对此不作限定。
也就是说，计算机设备可以将该第一高频灰度值与预设高频灰度值进行比较。如果第一高频灰度值大于该预设高频灰度值，则可以将该第一高频灰度值减小预设高频灰度值，即将该第一高频灰度值与该预设高频灰度值相减，得到该第一高频灰度值对应的第二高频灰度值。
第二种情况：当该第一高频灰度值小于该预设高频灰度值的负值时，确定该第一高频灰度值与该预设高频灰度值之和，得到该第一高频灰度值对应的第二高频灰度值。
如果第一高频灰度值小于该预设高频灰度值的负值，则可以将该第一高频灰度值增大该预设高频灰度值，即将该第一高频灰度值与该预设高频灰度值相加，得到该第一高频灰度值对应的第二高频灰度值。
第三种情况：当该第一高频灰度值不大于该预设高频灰度值，且该第一高频灰度值不小于该预设高频灰度值的负值时，将该第一高频灰度值置为零，得到该第一高频灰度值对应的第二高频灰度值。
也就是说，如果第一高频灰度值即不属于上述第一种情况，也不属于上述第二种情况，此时可以将该第一高频灰度值置为0。
进一步地，上述对该第一高频灰度值进行匹配筛选处理的实现可以通过如下公式(1)来表示：
其中，shrink(i,j)为第一高频灰度值对应的第二高频灰度值，imgHigh(i,j)为第一高频灰度值，shrinkTh为预设高频灰度值。另外，i和j为目标像素点的坐标。
步骤105：将第二高频灰度值与预设增益系数相乘，得到该第二高频灰度值对应的第三高频灰度值。
其中，该预设增益系数可以由用户根据实际需求自定义设置，也可以由该计算机设备默认设置，本申请实施例对此不做限定。
譬如，该预设增益系数为multiple，则将第二高频灰度值与预设增益系数相乘如公式(2)所示：
addInfo(i,j)＝multiple*shrink(i,j) (2)
其中，addInfo(i,j)为第二高频灰度值对应的第三高频灰度值。
步骤106：将第三高频灰度值融合至该第二图像中，得到融合图像。
将第三高频灰度值融合至第二图像中后，即可实现双光融合，得到融合图像。进一步地，将第三高频灰度值融合至该第二图像中的具体实现包括：获取该第三高频灰度值对应的目标像素点的位置坐标，从该第二图像中确定与该位置坐标相同的像素点的灰度值，将该第三高频灰度值与该第二图像中与该位置坐标相同的像素点的灰度值相加。
也就是说，在将第三高频灰度值融合至第二图像的过程中，从第二图像中确定与第三高频灰度值对应的目标像素点物理位置相同的像素点，然后将该第三高频灰度值与所确定的像素点的灰度值相加，从而将该第三高频灰度值融合到第二图像中。
譬如，假设第三高频灰度值对应的目标像素点在第一图像中的坐标为(1,1)，则从该第二图像中确定坐标为(1,1)的像素点的灰度值，之后，将该第三高频灰度值与该第二图像中坐标为(1,1)的像素点的灰度值相加，从而将该第三高频灰度值融合至该第二图像中。以此类推，当该目标像素点的数量为多个时，可以按照该种实现方式，将每个目标像素点对应的第三高频灰度值融合至该第二图像中。
请参考图4，该图4是根据一示例性实施例示出的一种图像示意图，其中，图4中的(a)为热成像图像，(b)为可见光图像，(c)为双光融合处理后的融合图像。
当然，上述仅是以对该第一高频灰度值进行边缘增强处理后再融合至第二图像中为例来说明。在另一实施例中，还可以不对该第一高频灰度值进行上述边缘增强等处理，而是直接将获取的第一高频灰度值融合至该第二图像中，得到融合图像，本申请实施例对此不做限定。
进一步地，得到融合图像后，可以在显示界面上显示该融合图像。进一步地，可以在显示界面的不同区域分别显示该融合图像和可见光图像，以便于用户可以将可见光图像和融合图像做对比。
步骤107：基于该融合图像，识别出融合图像中的目标物体。
在一些实施例中，基于该融合图像识别出融合图像中的目标物体的具体实现可以包括：通过目标网络模型对该融合图像进行识别处理，输出该目标物体对应的第一识别数据，该目标网络模型用于基于任一图像确定图像中的目标物体的类别和第一位置坐标，通过背景建模算法对该融合图像进行识别处理，输出该目标物体对应的第二识别数据，该背景建模算法用于基于任一图像确定图像中的目标物体的第二位置坐标，基于该第一识别数据和该第二识别数据，识别出融合图像中的目标物体。
一般情况下，目标网络模型可以识别出融合图像中目标物体的类别，但是，相比较而言，目标网络模型识别位置的准确性较差。而背景建模算法识别位置的准确性较强，但背景建模算法无法识别出目标物体的类别。因此，为了能够准确识别出目标物体，以保证对目标物体的行为分析的连贯性，可以分别采用目标网络模型和背景建模算法对融合图像进行识别处理，得到第一识别数据和第二识别数据。
其中，该第一识别数据包括该目标物体的类别和第一位置坐标，该第一位置坐标是指由该目标网络模型确定的该目标物体在第一图像中所在区域内每个像素点的坐标。该第二识别数据包括第二位置坐标，该第二位置坐标是指由该背景建模算法确定的该目标物体在第一图像中所在区域内每个像素点的坐标。
在一些实施例中，该融合图中的目标物体的数量可以为一个，也可以为多个。当该目标物体的数量为多个时，可以以链表的形式记录该多个目标物体的第一识别数据和第二识别数据，本申请实施例对此不作限定。
需要说明的是，该目标网络模型可以基于多个训练样本进行训练得到，该多个训练样本可以包括多个融合图像样本和每个融合图像样本中目标物体对应的标定数据，该标定数据可以包括目标物体的类别和该目标物体在每个融合图像样本中所在区域的位置坐标。
确定该第一识别数据和第二识别数据之后，基于该第一识别数据和第二识别数据，识别出融合图像中的目标物体。进一步地，基于该第一识别数据和第二识别数据识别出融合图像中的目标物体的实现可以包括：对该第一识别数据和该第二识别数据进行匹配筛选处理，得到该目标物体对应的第三识别数据，调用目标跟踪模型，将该第三识别数据输入至该目标跟踪模型中，输出该目标物体的识别结果，该目标跟踪模型用于基于任一目标物体对应的识别数据对该目标物体进行跟踪识别。
为了能够进一步提高对目标物体识别的准确性，可以将上述第一识别数据和第二识别数据进行匹配筛选处理。在一种可能的实现方式中，将该第一识别数据和该第二识别数据进行匹配筛选处理的具体实现可以包括：当该第一识别数据包括类别和第一位置坐标，该第二识别数据包括第二位置坐标时，如果该第一位置坐标与该第二位置坐标相同，则将该类别和该第一位置坐标确定为该目标物体的第三识别数据，如果该第一位置坐标与该第二位置坐标不相同，则将该第二位置坐标确定为该目标物体的第三识别数据。
也就是说，若该第一识别数据中的目标物体所在区域内像素点的位置坐标与第二识别数据中目标物体所在区域内像素点的位置坐标相同，则确定该第一识别数据与该第二识别数据匹配，否则，确定该第一识别数据和第二识别数据不匹配。当该第一识别数据与该第二识别数据匹配时，说明目标网络模型识别的结果是准确的，由于该目标网络模型识别的结果中包括目标物体的类别，因此，可以将第一识别数据确定为该目标物体的第三识别数据。当该第一识别数据与该第二识别数据不匹配时，说明目标网络模型识别的结果可能不准确，此时，可以将该第二识别数据确定为该目标物体的第三识别数据。
确定第三识别数据后，将第三识别数据输入至目标跟踪模型中进行识别处理，输出该目标物体的识别结果，该识别结果包括该目标物体的类别，进一步地，还可以包括该目标物体所在区域内像素点的坐标等信息。
其中，该目标跟踪模型可以基于多个识别数据样本和每个识别数据样本对应的目标物体的识别结果，对待训练的网络模型进行训练后得到。进一步地，该待训练的网络模型可以为多目标跟踪模型。
值得一提的是，上述基于融合图像进行目标物体识别处理，提高了识别的准确性，减少漏报或者误报。并且，该方法的适应性较强，能够满足不同环境下的监控需求。
进一步地，还可以根据该目标跟踪模型输出的识别结果对目标物体的行为进行分析，并当确定该行为符合报警规则时，进行报警提示。进一步地，还可以根据实际需求预先设置预设违规次数，当检测到目标物体的行为符合报警规则且违规次数达到该预设违规次数时，进行报警提示操作。在一些实施例中，该计算机设备可以采用蜂鸣器进行报警提示。
另外，在进行报警提示的同时，还可以根据目标物体的位置，在所显示的融合图像上采用比较突出的颜色对目标物体进行突出显示。
进一步地，该计算机设备还可以将包括该融合图像的视频流通过网络发送给NVR(Network Video Recorder，网络硬盘录像机)进行存储和管理。
在本申请实施例中，从可见光视频和热成像视频中，获取采集的可见光图像和热成像图像，对该可见光图像和该热成像图像进行双光融合处理，也即是，从其中任一张图像中获取目标像素点对应的第一高频灰度值，将该第一高频灰度值融合至另一张图像中，得到融合图像。由于该融合图像是基于可见光图像和热成像图像融合得到的，因此可以同时弥补因外界光照条件和背景温度对成像图像所产生的影响，所以，基于该融合图像对目标物体进行识别处理可以提高识别的准确性。
图5是根据一示例性实施例示出的一种图像处理装置的结构示意图，该图像处理装置可以由软件、硬件或者两者的结合实现。该图像处理装置可以包括：
第一获取模块510，用于从可见光视频和热成像视频中获取采集的可见光图像和热成像图像；
确定模块520，用于从所述可见光图像和所述热成像图像中确定出第一图像和第二图像，当所述第一图像为所述可见光图像时所述第二图像为所述热成像图像，当所述第一图像为所述热成像图像时所述第二图像为所述可见光图像；
第二获取模块530，用于从所述第一图像中获取目标像素点对应的第一高频灰度值，所述第一高频灰度值用于指示所述目标像素点与邻像素点的灰度值的差量；
融合模块540，用于将所述第一高频灰度值融合至所述第二图像中，得到融合图像；
识别模块550，用于基于所述融合图像，识别出所述融合图像中目标物体。
可选地，所述第二获取模块530用于：
确定目标数量，所述目标数量为所述第一图像包括的像素点的个数；
令i＝1；确定所述第一图像中第i个像素点的灰度值与第i+1个像素点的灰度值之间的差值，当所述差值大于预设阈值时，将所述第i个像素点确定为目标像素点，以及将所述差值作为所述目标像素点的第一高频灰度值；
当所述i小于所述目标数量时，返回至所述确定所述第i个像素点的灰度值与第i+1个像素点的灰度值之间的差值，当所述差值大于预设阈值时，将所述第i个像素点确定为目标像素点，以及将所述差值作为所述目标像素点的第一高频灰度值的操作；当所述i等于所述目标数量时，结束操作。
可选地，所述识别模块550用于：
通过目标网络模型对所述融合图像进行识别处理，输出所述目标物体对应的第一识别数据，所述目标网络模型用于基于任一图像确定所述图像中的目标物体的类别和第一位置坐标；
通过背景建模算法对所述融合图像进行识别处理，输出所述目标物体对应的第二识别数据，所述背景建模算法用于基于任一图像确定所述图像中的目标物体的第二位置坐标；
基于所述第一识别数据和所述第二识别数据，识别出所述融合图像中目标物体。
可选地，所述识别模块550用于：
对所述第一识别数据和所述第二识别数据进行匹配筛选处理，得到所述目标物体对应的第三识别数据；
调用目标跟踪模型，将所述第三识别数据输入至所述目标跟踪模型中，输出所述目标物体的识别结果，所述目标跟踪模型用于基于任一目标物体对应的识别数据对所述目标物体进行跟踪识别。
可选地，所述识别模块550用于：
当所述第一识别数据包括类别和第一位置坐标，所述第二识别数据包括第二位置坐标时，如果所述第一位置坐标与所述第二位置坐标相同，则将所述类别和所述第一位置坐标确定为所述目标物体的第三识别数据；
如果所述第一位置坐标与所述第二位置坐标不相同，则将所述第二位置坐标确定为所述目标物体的第三识别数据。
可选地，请参考图6，所述装置还包括：
边缘增强处理模块560，用于对所述第一高频灰度值进行边缘增强处理，得到所述第一高频灰度值对应的第二高频灰度值；
计算模块570，用于将所述第二高频灰度值与预设增益系数相乘，得到所述第二高频灰度值对应的第三高频灰度值；
所述融合模块540还用于：将所述第三高频灰度值融合至所述第二图像中。
可选地，所述边缘增强处理模块560用于：
当所述第一高频灰度值大于预设高频灰度值时，确定所述第一高频灰度值与所述预设高频灰度值之间的差值，得到所述第一高频灰度值对应的第二高频灰度值；
当所述第一高频灰度值小于所述预设高频灰度值的负值时，确定所述第一高频灰度值与所述预设高频灰度值之和，得到所述第一高频灰度值对应的第二高频灰度值；
当所述第一高频灰度值不大于所述预设高频灰度值，且所述第一高频灰度值不小于所述预设高频灰度值的负值时，将所述第一高频灰度值置为零，得到所述第一高频灰度值对应的第二高频灰度值。
可选地，所述融合模块540用于：
获取所述第三高频灰度值对应的目标像素点的位置坐标；
从所述第二图像中确定与所述位置坐标相同的像素点的灰度值；
将所述第三高频灰度值与所述第二图像中与所述位置坐标相同的像素点的灰度值相加。
在本申请实施例中，从可见光视频和热成像视频中，获取采集的可见光图像和热成像图像，对该可见光图像和该热成像图像进行双光融合处理，也即是，从其中任一张图像中获取目标像素点对应的第一高频灰度值，将该第一高频灰度值融合至另一张图像中，得到融合图像。由于该融合图像是基于可见光图像和热成像图像融合得到的，因此可以同时弥补因外界光照条件和背景温度对成像图像所产生的影响，所以，基于该融合图像对目标物体进行识别处理可以提高识别的准确性。
需要说明的是：上述实施例提供的图像处理装置在实现图像处理方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的图像处理装置与图像处理方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
图7示出了本申请一个示例性实施例提供的终端700的结构框图。该终端700可以是：智能手机、平板电脑、MP3播放器(Moving Picture Experts Group Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(Moving Picture Experts Group Audio LayerIV，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端700还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
通常，终端700包括有：处理器701和存储器702。
处理器701可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器701可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器701也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器701可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器701还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器702可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器702还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器702中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器701所执行以实现本申请中方法实施例提供的图像处理方法。
在一些实施例中，终端700还可选包括有：外围设备接口703和至少一个外围设备。处理器701、存储器702和外围设备接口703之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口703相连。具体地，外围设备包括：射频电路704、触摸显示屏705、摄像头706、音频电路707、定位组件708和电源709中的至少一种。
外围设备接口703可被用于将I/O(Input/Output，输入/输出)相关的至少一个外围设备连接到处理器701和存储器702。在一些实施例中，处理器701、存储器702和外围设备接口703被集成在同一芯片或电路板上；在一些其他实施例中，处理器701、存储器702和外围设备接口703中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
射频电路704用于接收和发射RF(Radio Frequency，射频)信号，也称电磁信号。射频电路704通过电磁信号与通信网络以及其他通信设备进行通信。射频电路704将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路704包括：天线系统、RF收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路704可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2G、3G、4G及5G)、无线局域网和/或WiFi(Wireless Fidelity，无线保真)网络。在一些实施例中，射频电路704还可以包括NFC(Near Field Communication，近距离无线通信)有关的电路，本申请对此不加以限定。
显示屏705用于显示UI(User Interface，用户界面)。该UI可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏705是触摸显示屏时，显示屏705还具有采集在显示屏705的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器701进行处理。此时，显示屏705还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏705可以为一个，设置终端700的前面板；在另一些实施例中，显示屏705可以为至少两个，分别设置在终端700的不同表面或呈折叠设计；在再一些实施例中，显示屏705可以是柔性显示屏，设置在终端700的弯曲表面上或折叠面上。甚至，显示屏705还可以设置成非矩形的不规则图形，也即异形屏。显示屏705可以采用LCD(LiquidCrystal Display，液晶显示屏)、OLED(Organic Light-Emitting Diode,有机发光二极管)等材质制备。
摄像头组件706用于采集图像或视频。可选地，摄像头组件706包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及VR(Virtual Reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件706还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
音频电路707可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器701进行处理，或者输入至射频电路704以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端700的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器701或射频电路704的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路707还可以包括耳机插孔。
定位组件708用于定位终端700的当前地理位置，以实现导航或LBS(LocationBased Service，基于位置的服务)。定位组件708可以是基于美国的GPS(GlobalPositioning System，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
电源709用于为终端700中的各个组件进行供电。电源709可以是交流电、直流电、一次性电池或可充电电池。当电源709包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
在一些实施例中，终端700还包括有一个或多个传感器710。该一个或多个传感器710包括但不限于：加速度传感器711、陀螺仪传感器712、压力传感器713、指纹传感器714、光学传感器715以及接近传感器716。
加速度传感器711可以检测以终端700建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器711可以用于检测重力加速度在三个坐标轴上的分量。处理器701可以根据加速度传感器711采集的重力加速度信号，控制触摸显示屏705以横向视图或纵向视图进行用户界面的显示。加速度传感器711还可以用于游戏或者用户的运动数据的采集。
陀螺仪传感器712可以检测终端700的机体方向及转动角度，陀螺仪传感器712可以与加速度传感器711协同采集用户对终端700的3D动作。处理器701根据陀螺仪传感器712采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变UI)、拍摄时的图像稳定、游戏控制以及惯性导航。
压力传感器713可以设置在终端700的侧边框和/或触摸显示屏705的下层。当压力传感器713设置在终端700的侧边框时，可以检测用户对终端700的握持信号，由处理器701根据压力传感器713采集的握持信号进行左右手识别或快捷操作。当压力传感器713设置在触摸显示屏705的下层时，由处理器701根据用户对触摸显示屏705的压力操作，实现对UI界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
指纹传感器714用于采集用户的指纹，由处理器701根据指纹传感器714采集到的指纹识别用户的身份，或者，由指纹传感器714根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器701授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器714可以被设置终端700的正面、背面或侧面。当终端700上设置有物理按键或厂商Logo时，指纹传感器714可以与物理按键或厂商Logo集成在一起。
光学传感器715用于采集环境光强度。在一个实施例中，处理器701可以根据光学传感器715采集的环境光强度，控制触摸显示屏705的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏705的显示亮度；当环境光强度较低时，调低触摸显示屏705的显示亮度。在另一个实施例中，处理器701还可以根据光学传感器715采集的环境光强度，动态调整摄像头组件706的拍摄参数。
接近传感器716，也称距离传感器，通常设置在终端700的前面板。接近传感器716用于采集用户与终端700的正面之间的距离。在一个实施例中，当接近传感器716检测到用户与终端700的正面之间的距离逐渐变小时，由处理器701控制触摸显示屏705从亮屏状态切换为息屏状态；当接近传感器716检测到用户与终端700的正面之间的距离逐渐变大时，由处理器701控制触摸显示屏705从息屏状态切换为亮屏状态。
本领域技术人员可以理解，图7中示出的结构并不构成对终端700的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
本申请实施例还提供了一种非临时性计算机可读存储介质，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行上述图1所示实施例提供的图像处理方法。
本申请实施例还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述图1所示实施例提供的图像处理方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上所述仅为本申请的较佳实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (17)
1.一种图像处理方法，其特征在于，所述方法包括：
从可见光视频和热成像视频中获取采集的可见光图像和热成像图像；
从所述可见光图像和所述热成像图像中确定出第一图像和第二图像，当所述第一图像为所述可见光图像时所述第二图像为所述热成像图像，当所述第一图像为所述热成像图像时所述第二图像为所述可见光图像；
从所述第一图像中获取目标像素点对应的第一高频灰度值，所述第一高频灰度值用于指示所述目标像素点与邻像素点的灰度值的差量；
将所述第一高频灰度值融合至所述第二图像中，得到融合图像；
基于所述融合图像，识别出所述融合图像中目标物体。
2.如权利要求1所述的方法，其特征在于，所述从所述第一图像中获取目标像素点对应的第一高频灰度值，包括：
确定目标数量，所述目标数量为所述第一图像包括的像素点的个数；
令i＝1；确定所述第一图像中第i个像素点的灰度值与第i+1个像素点的灰度值之间的差值，当所述差值大于预设阈值时，将所述第i个像素点确定为目标像素点，以及将所述差值作为所述目标像素点的第一高频灰度值；
当所述i小于所述目标数量时，返回至所述确定所述第i个像素点的灰度值与第i+1个像素点的灰度值之间的差值，当所述差值大于预设阈值时，将所述第i个像素点确定为目标像素点，以及将所述差值作为所述目标像素点的第一高频灰度值的操作；当所述i等于所述目标数量时，结束操作。
3.如权利要求1所述的方法，其特征在于，所述基于所述融合图像，识别出所述融合图像中目标物体，包括：
通过目标网络模型对所述融合图像进行识别处理，输出所述目标物体对应的第一识别数据，所述目标网络模型用于基于任一图像确定所述图像中的目标物体的类别和第一位置坐标；
通过背景建模算法对所述融合图像进行识别处理，输出所述目标物体对应的第二识别数据，所述背景建模算法用于基于任一图像确定所述图像中的目标物体的第二位置坐标；
基于所述第一识别数据和所述第二识别数据，识别出所述融合图像中目标物体。
4.如权利要求3所述的方法，其特征在于，所述基于所述第一识别结果和所述第二识别结果，识别出所述融合图像中目标物体，包括：
对所述第一识别数据和所述第二识别数据进行匹配筛选处理，得到所述目标物体对应的第三识别数据；
调用目标跟踪模型，将所述第三识别数据输入至所述目标跟踪模型中，输出所述目标物体的识别结果，所述目标跟踪模型用于基于任一目标物体对应的识别数据对所述目标物体进行跟踪识别。
5.如权利要求4所述的方法，其特征在于，所述对所述第一识别数据与所述第二识别数据进行匹配筛选处理，得到所述目标物体对应的第三识别数据，包括：
当所述第一识别数据包括类别和第一位置坐标，所述第二识别数据包括第二位置坐标时，如果所述第一位置坐标与所述第二位置坐标相同，则将所述类别和所述第一位置坐标确定为所述目标物体的第三识别数据；
如果所述第一位置坐标与所述第二位置坐标不相同，则将所述第二位置坐标确定为所述目标物体的第三识别数据。
6.如权利要求1所述的方法，其特征在于，所述将所述第一高频灰度值融合至所述第二图像中之前，还包括：
对所述第一高频灰度值进行边缘增强处理，得到所述第一高频灰度值对应的第二高频灰度值；
将所述第二高频灰度值与预设增益系数相乘，得到所述第二高频灰度值对应的第三高频灰度值；
相应地，所述将所述第一高频灰度值融合至所述第二图像中，包括：
将所述第三高频灰度值融合至所述第二图像中。
7.如权利要求6所述的方法，其特征在于，所述对所述第一高频灰度值进行边缘增强处理，包括：
当所述第一高频灰度值大于预设高频灰度值时，确定所述第一高频灰度值与所述预设高频灰度值之间的差值，得到所述第一高频灰度值对应的第二高频灰度值；
当所述第一高频灰度值小于所述预设高频灰度值的负值时，确定所述第一高频灰度值与所述预设高频灰度值之和，得到所述第一高频灰度值对应的第二高频灰度值；
当所述第一高频灰度值不大于所述预设高频灰度值，且所述第一高频灰度值不小于所述预设高频灰度值的负值时，将所述第一高频灰度值置为零，得到所述第一高频灰度值对应的第二高频灰度值。
8.如权利要求6所述的方法，其特征在于，所述将所述第三高频灰度值融合至所述第二图像中，包括：
获取所述第三高频灰度值对应的目标像素点的位置坐标；
从所述第二图像中确定与所述位置坐标相同的像素点的灰度值；
将所述第三高频灰度值与所述第二图像中与所述位置坐标相同的像素点的灰度值相加。
9.一种图像处理装置，其特征在于，所述装置包括：
第一获取模块，用于从可见光视频和热成像视频中获取采集的可见光图像和热成像图像；
确定模块，用于从所述可见光图像和所述热成像图像中确定出第一图像和第二图像，当所述第一图像为所述可见光图像时所述第二图像为所述热成像图像，当所述第一图像为所述热成像图像时所述第二图像为所述可见光图像；
第二获取模块，用于从所述第一图像中获取目标像素点对应的第一高频灰度值，所述第一高频灰度值用于指示所述目标像素点与邻像素点的灰度值的差量；
融合模块，用于将所述第一高频灰度值融合至所述第二图像中，得到融合图像；
识别模块，用于基于所述融合图像，识别出所述融合图像中目标物体。
10.如权利要求9所述的装置，其特征在于，所述第二获取模块用于：
确定目标数量，所述目标数量为所述第一图像包括的像素点的个数；
令i＝1；确定所述第一图像中第i个像素点的灰度值与第i+1个像素点的灰度值之间的差值，当所述差值大于预设阈值时，将所述第i个像素点确定为目标像素点，以及将所述差值作为所述目标像素点的第一高频灰度值；
当所述i小于所述目标数量时，返回至所述确定所述第i个像素点的灰度值与第i+1个像素点的灰度值之间的差值，当所述差值大于预设阈值时，将所述第i个像素点确定为目标像素点，以及将所述差值作为所述目标像素点的第一高频灰度值的操作；当所述i等于所述目标数量时，结束操作。
11.如权利要求9所述的装置，其特征在于，所述识别模块用于：
通过目标网络模型对所述融合图像进行识别处理，输出所述目标物体对应的第一识别数据，所述目标网络模型用于基于任一图像确定所述图像中的目标物体的类别和第一位置坐标；
通过背景建模算法对所述融合图像进行识别处理，输出所述目标物体对应的第二识别数据，所述背景建模算法用于基于任一图像确定所述图像中的目标物体的第二位置坐标；
基于所述第一识别数据和所述第二识别数据，识别出所述融合图像中目标物体。
12.如权利要求11所述的装置，其特征在于，所述识别模块用于：
对所述第一识别数据和所述第二识别数据进行匹配筛选处理，得到所述目标物体对应的第三识别数据；
调用目标跟踪模型，将所述第三识别数据输入至所述目标跟踪模型中，输出所述目标物体的识别结果，所述目标跟踪模型用于基于任一目标物体对应的识别数据对所述目标物体进行跟踪识别。
13.如权利要求12所述的装置，其特征在于，所述识别模块用于：
当所述第一识别数据包括类别和第一位置坐标，所述第二识别数据包括第二位置坐标时，如果所述第一位置坐标与所述第二位置坐标相同，则将所述类别和所述第一位置坐标确定为所述目标物体的第三识别数据；
如果所述第一位置坐标与所述第二位置坐标不相同，则将所述第二位置坐标确定为所述目标物体的第三识别数据。
14.如权利要求9所述的装置，其特征在于，所述装置还包括：
边缘增强处理模块，用于对所述第一高频灰度值进行边缘增强处理，得到所述第一高频灰度值对应的第二高频灰度值；
计算模块，用于将所述第二高频灰度值与预设增益系数相乘，得到所述第二高频灰度值对应的第三高频灰度值；
所述融合模块还用于：将所述第三高频灰度值融合至所述第二图像中。
15.如权利要求14所述的装置，其特征在于，所述边缘增强处理模块用于：
当所述第一高频灰度值大于预设高频灰度值时，确定所述第一高频灰度值与所述预设高频灰度值之间的差值，得到所述第一高频灰度值对应的第二高频灰度值；
当所述第一高频灰度值小于所述预设高频灰度值的负值时，确定所述第一高频灰度值与所述预设高频灰度值之和，得到所述第一高频灰度值对应的第二高频灰度值；
当所述第一高频灰度值不大于所述预设高频灰度值，且所述第一高频灰度值不小于所述预设高频灰度值的负值时，将所述第一高频灰度值置为零，得到所述第一高频灰度值对应的第二高频灰度值。
16.如权利要求14所述的装置，其特征在于，所述融合模块用于：
获取所述第三高频灰度值对应的目标像素点的位置坐标；
从所述第二图像中确定与所述位置坐标相同的像素点的灰度值；
将所述第三高频灰度值与所述第二图像中与所述位置坐标相同的像素点的灰度值相加。
17.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现权利要求1-8所述的任一项方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811536169.3A CN111325701B (zh) | 2018-12-14 | 2018-12-14 | 图像处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811536169.3A CN111325701B (zh) | 2018-12-14 | 2018-12-14 | 图像处理方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111325701A true CN111325701A (zh) | 2020-06-23 |
| CN111325701B CN111325701B (zh) | 2023-05-09 |
Family
ID=71165078
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811536169.3A Active CN111325701B (zh) | 2018-12-14 | 2018-12-14 | 图像处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111325701B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112146764A (zh) * | 2020-09-25 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 一种提高基于热成像温度测量准确性的方法、热成像设备 |
| CN112492225A (zh) * | 2020-11-27 | 2021-03-12 | 天津天地伟业智能安全防范科技有限公司 | 一种嵌入式nvr设备控制相机补光灯的方法 |
| CN113191210A (zh) * | 2021-04-09 | 2021-07-30 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
| CN114494469A (zh) * | 2022-01-29 | 2022-05-13 | 京东方科技集团股份有限公司 | 图像处理方法、装置、设备及存储介质 |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727665A (zh) * | 2008-10-27 | 2010-06-09 | 广州飒特电力红外技术有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN102236902A (zh) * | 2011-06-21 | 2011-11-09 | 杭州海康威视软件有限公司 | 一种目标检测方法和装置 |
| CN104978558A (zh) * | 2014-04-11 | 2015-10-14 | 北京数码视讯科技股份有限公司 | 目标的识别方法及装置 |
| CN106548467A (zh) * | 2016-10-31 | 2017-03-29 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
| CN106780392A (zh) * | 2016-12-27 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种图像融合方法及装置 |
| CN107845083A (zh) * | 2016-09-19 | 2018-03-27 | 杭州海康威视数字技术股份有限公司 | 分光融合的图像采集设备 |
| US20180227509A1 (en) * | 2015-08-05 | 2018-08-09 | Wuhan Guide Infrared Co., Ltd. | Visible light image and infrared image fusion processing system and fusion method |
| CN108389158A (zh) * | 2018-02-12 | 2018-08-10 | 河北大学 | 一种红外和可见光的图像融合方法 |
| CN108449555A (zh) * | 2018-05-04 | 2018-08-24 | 北京化工大学 | 图像融合方法及系统 |
-
2018
- 2018-12-14 CN CN201811536169.3A patent/CN111325701B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101727665A (zh) * | 2008-10-27 | 2010-06-09 | 广州飒特电力红外技术有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN102236902A (zh) * | 2011-06-21 | 2011-11-09 | 杭州海康威视软件有限公司 | 一种目标检测方法和装置 |
| CN104978558A (zh) * | 2014-04-11 | 2015-10-14 | 北京数码视讯科技股份有限公司 | 目标的识别方法及装置 |
| US20180227509A1 (en) * | 2015-08-05 | 2018-08-09 | Wuhan Guide Infrared Co., Ltd. | Visible light image and infrared image fusion processing system and fusion method |
| CN107845083A (zh) * | 2016-09-19 | 2018-03-27 | 杭州海康威视数字技术股份有限公司 | 分光融合的图像采集设备 |
| CN106548467A (zh) * | 2016-10-31 | 2017-03-29 | 广州飒特红外股份有限公司 | 红外图像和可见光图像融合的方法及装置 |
| CN106600572A (zh) * | 2016-12-12 | 2017-04-26 | 长春理工大学 | 一种自适应的低照度可见光图像和红外图像融合方法 |
| CN106780392A (zh) * | 2016-12-27 | 2017-05-31 | 浙江大华技术股份有限公司 | 一种图像融合方法及装置 |
| CN108389158A (zh) * | 2018-02-12 | 2018-08-10 | 河北大学 | 一种红外和可见光的图像融合方法 |
| CN108449555A (zh) * | 2018-05-04 | 2018-08-24 | 北京化工大学 | 图像融合方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 张卫炜: "一种红外与可见光图像匹配方法" * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112146764A (zh) * | 2020-09-25 | 2020-12-29 | 杭州海康威视数字技术股份有限公司 | 一种提高基于热成像温度测量准确性的方法、热成像设备 |
| CN112492225A (zh) * | 2020-11-27 | 2021-03-12 | 天津天地伟业智能安全防范科技有限公司 | 一种嵌入式nvr设备控制相机补光灯的方法 |
| CN113191210A (zh) * | 2021-04-09 | 2021-07-30 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
| CN113191210B (zh) * | 2021-04-09 | 2023-08-29 | 杭州海康威视数字技术股份有限公司 | 一种图像处理方法、装置及设备 |
| CN114494469A (zh) * | 2022-01-29 | 2022-05-13 | 京东方科技集团股份有限公司 | 图像处理方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111325701B (zh) | 2023-05-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111126182B (zh) | 车道线检测方法、装置、电子设备及存储介质 | |
| CN110992327A (zh) | 镜头脏污状态的检测方法、装置、终端及存储介质 | |
| CN111723602B (zh) | 驾驶员的行为识别方法、装置、设备及存储介质 | |
| CN111325701B (zh) | 图像处理方法、装置及存储介质 | |
| CN110490179B (zh) | 车牌识别方法、装置及存储介质 | |
| CN109360222B (zh) | 图像分割方法、装置及存储介质 | |
| CN109285178A (zh) | 图像分割方法、装置及存储介质 | |
| CN110839128B (zh) | 拍照行为检测方法、装置及存储介质 | |
| CN111126276B (zh) | 车道线检测方法、装置、计算机设备及存储介质 | |
| CN109886208B (zh) | 物体检测的方法、装置、计算机设备及存储介质 | |
| CN110874905A (zh) | 监控方法及装置 | |
| CN110570460A (zh) | 目标跟踪方法、装置、计算机设备及计算机可读存储介质 | |
| CN112270718A (zh) | 摄像头标定方法、装置、系统及存储介质 | |
| CN111127509A (zh) | 目标跟踪方法、装置和计算机可读存储介质 | |
| CN111754386A (zh) | 图像区域屏蔽方法、装置、设备及存储介质 | |
| CN113627413A (zh) | 数据标注方法、图像比对方法及装置 | |
| CN112406707A (zh) | 车辆预警方法、车辆、装置、终端和存储介质 | |
| CN111127541B (zh) | 车辆尺寸的确定方法、装置及存储介质 | |
| CN113379705B (zh) | 图像处理方法、装置、计算机设备及存储介质 | |
| CN111931712A (zh) | 人脸识别方法、装置、抓拍机及系统 | |
| CN111444749B (zh) | 路面导向标志的识别方法、装置及存储介质 | |
| CN113706807A (zh) | 发出报警信息的方法、装置、设备及存储介质 | |
| CN112446849A (zh) | 一种处理图片的方法及装置 | |
| CN115965936A (zh) | 边缘位置标注方法及设备 | |
| CN111860064A (zh) | 基于视频的目标检测方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20200709 Address after: 311501 building A1, No. 299, Qiushi Road, Tonglu Economic Development Zone, Tonglu County, Hangzhou City, Zhejiang Province Applicant after: Hangzhou Haikang Micro Shadow Sensing Technology Co.,Ltd. Address before: 310051 555 Binjiang District Road, Binjiang District, Hangzhou, Zhejiang (phase two) Applicant before: Hangzhou Hikvision Digital Technology Co.,Ltd. |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |