CN110334652A - 图像处理方法、电子设备及存储介质 - Google Patents

Abstract

本发明实施例涉及视频监控技术领域，公开了一种及图像处理方法、电子设备及存储介质。本发明中，通过识别拍摄的图像帧中是否存在目标对象；若识别出图像帧中存在目标对象，根据图像帧确定目标区域；其中，目标区域包含目标对象；对目标区域做插值处理并存储插值处理后的目标区域；可以在使用较低像素获取的图像帧的情况下，得到具有较高像素的目标对象的图像；而且由于低像素下可以提高帧率从而提高流畅度，因此可以在兼顾追踪图像的流畅度的同时，获取较清晰的目标对象的图像。

Description

图像处理方法、电子设备及存储介质

技术领域

本发明实施例涉及视频监控技术领域，特别涉及图像处理方法、电子设备及存储介质。

背景技术

随着网络技术、数字图像处理技术等的迅猛发展，智能监控的应用越来越广泛。智能监控集成了智能行为识别算法，主要是通过摄像头采集图像，并对采集到的图像进行分析处理，能够对画面场景中的行人或车辆的行为进行识别、判断，并在适当的条件下，产生报警提示用户，从而达到良好的视频监控效果。

发明人发现相关技术中，若图像帧的清晰度高会导致视频监控不流畅，若图像帧的清晰度低会导致不易看清目标对象。

发明内容

本发明实施方式的目的在于提供一种图像处理方法、电子设备及存储介质，使得在兼顾追踪图像的流畅度的同时，能够获取较清晰的目标对象的图像。

为解决上述技术问题，本发明的实施方式提供了一种图像处理方法，包括以下步骤：识别拍摄的图像帧中是否存在目标对象；若识别出图像帧中存在目标对象，根据图像帧确定目标区域；其中，目标区域包含目标对象；对目标区域做插值处理并存储插值处理后的目标区域。

本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上述的图像处理方法。

本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，其特征在于，计算机程序被处理器执行时实现上述的图像处理方法。

本发明实施方式相对于现有技术而言，通过对图像帧进行识别，若识别出图像帧中存在目标对象时，确定包含目标对象的目标区域，可以准确找到目标对象在图像中的区域；通过对目标区域做插值处理并存储插值处理后的目标区域，可以提高目标区域的像素密度，从而使得目标对象可以被更加清晰地识别出来；即，可以在使用较低像素获取的图像帧的情况下，得到具有较高像素的目标对象的图像；而且由于低像素下可以提高帧率从而提高流畅度，因此可以在兼顾追踪图像的流畅度的同时，获取较清晰的目标对象的图像。

另外，在识别出图像帧中存在目标对象之后，图像处理方法还包括：判断图像帧的上一个图像帧中是否存在目标对象；若图像帧的上一个图像帧中不存在目标对象，根据图像帧确定目标区域具体为，从图像帧中选定与目标对象的轮廓匹配的区域作为目标区域；将拍摄范围从预设的初始拍摄范围调节至与目标区域匹配，并以调节后的拍摄范围拍摄下一个图像帧；若图像帧的上一个图像帧中存在目标对象，根据图像帧确定目标区域具体为，将图像帧的全部区域作为目标区域。在上一个图像帧中不存在目标对象时，先确一个与目标对象轮廓相近的目标区域，并将拍摄范围调节至这个目标区域，可方便工作人员看清目标对象；以调节后的拍摄范围拍摄下一个图像帧，可方便工作人员继续对目标对象进行分析；在当前图像帧中存在目标对象时，即表明当前拍摄范围已经被调节，图像帧的全部区域与目标区域匹配。

另外，若识别出图像帧中不存在目标对象，且判断出图像帧的上一个图像帧中存在目标对象，将拍摄范围恢复至初始拍摄范围。若图像帧中不存在目标对象，则表明目标对象已小时，恢复之前的拍摄以保证下次当目标对象进入拍摄范围时能够追踪到。

另外，对目标区域做插值处理中，将相邻多个像素点形成的像素点组合作为插值处理过程中的一个基本像素点；插值处理中生成的插值像素点与基本像素点的大小相同且形状相同。提供了一种具体的做插值处理的方法，在进行插值的过程中，直接依据相邻的像素点来确定插值像素点可使得插入的像素点尽量与原本的像素点的值接近，从而使得放大后的图像不失真。

另外，上述识别拍摄的图像帧中是否存在目标对象，包括：将图像帧与预设图像帧进行比对，判断图像帧与预设图像帧之间是否存在差异；若存在差异，表示识别出图像帧中存在目标对象。将拍摄的图像帧与预设的图像帧进行对比可以知道拍摄的图像帧与预设的图像真相比有没有异常物体进入画面，如果图像帧与预设图像帧之间存在差异，则表示有异常物体进入画面，此时可以判定拍摄的图像帧中存在目标对象。

附图说明

一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定。

图1是根据本发明第一实施方式提供的图像处理方法流程图；

图2是根据本发明第一实施方式提供的图像帧插值示意图；

图3是根据本发明第二实施方式提供的图像处理方法流程图；

图4是本发明第二实施方式提供的拍摄范围调整示意图；

图5是本发明第三实施方式提供的电子设备结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。

本发明的第一实施方式涉及一种图像处理方法，如图1所示，具体包括：

步骤101，识别拍摄的图像帧中是否存在目标对象。

步骤102，若识别出图像帧中存在目标对象，根据图像帧确定目标区域；其中，目标区域包含目标对象。

步骤103，对目标区域做插值处理并存储插值处理后的目标区域。

本实施例中，通过对图像帧进行识别，若识别出图像帧中存在目标对象时，确定包含目标对象的目标区域，可以准确找到目标对象在图像中的区域；通过对目标区域做插值处理并存储插值处理后的目标区域，可以提高目标区域的像素密度，从而使得目标对象可以被更加清晰地识别出来；即，可以在使用较低像素获取的图像帧的情况下，得到具有较高像素的目标对象的图像；而且由于低像素下可以提高帧率从而提高流畅度，因此可以在兼顾追踪图像的流畅度的同时，获取较清晰的目标对象的图像。

下面对本实施方式的图像处理方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须。

在步骤101中，识别拍摄的图像帧中是否存在目标对象，具体可通过将图像帧与预设图像帧进行比对，判断图像帧与预设图像帧之间是否存在差异；若存在差异，表示识别出图像帧中存在目标对象。预设图像帧可以是运营人员预先确定的一个背景画面图像帧，也可以是根据拍摄到的历史图像帧进行分析得到的图像帧。将拍摄的图像帧与预设的图像帧进行对比可以知道拍摄的图像帧与预设的图像帧相比有没有异常物体进入画面，如果图像帧与预设图像帧之间存在差异，则表示有异常物体进入画面，此时可以判定拍摄的图像帧中存在目标对象。

在步骤102中，实际实施时，摄像头刚打开的时候使用的是广角镜头，能够正常显示大的全局画面，而且使用的是小像素监控，在得到每一帧图像后，处理器都可对获取到的图像帧进行分析。对每一帧图像帧进行分析时，当识别出图像帧中存在目标对象，可从识别的图像帧中选定与目标对象的轮廓匹配的区域作为目标区域。

在步骤103中，对目标区域中的像素点做插值处理具体通过以下方式进行：将相邻多个像素点形成的像素点组合作为插值处理过程中的一个基本像素点；而且插值处理中生成的插值像素点与基本像素点的大小相同且形状相同。在实际实施中，每个像素点组合包含呈二维矩阵排列的四个像素点，插值像素点与基本像素点间隔排列。实际实施中可显示插值处理后的目标区域。

在一个例子中，未进行插值处理的目标区域如图2所示，其中，标有RGB的小方格表示已存在的基本像素点，这些基本像素点是由呈二维矩阵排列的四个像素点组合形成的；未标RGB的小方格表示没有像素点；在对目标区域进行插值处理时，插值像素点与基本像素点间隔排列，即对图中未标RGB的小方格进行插值；插值像素点的RGB值(RGB就是red、green、blue三原色相互搭配组成的颜色)主要是通过已存在的基本像素点的RGB值计算得到，具体的计算方法为：确定多个目标基本像素点，并计算各个目标像素点与插值像素点将要插入的位置的距离，在计算RGB值时，以各个目标基本像素点的RGB值为参数，并根据各个目标像素点与插值像素点将要插入的位置的不同距离设置不同的权重，图中，a1、a2、a2、a4为四个目标基本像素点，根据这四个像素点确定的权重分别为K1、K2、K3、K4；则插值像素点A的RGB值计算方法如下：

R＝K1*a1(r)+K2*a2(r)+K3*a3(r)+K4*a4(r)

G＝K1*a1(g)+K2*a2(g)+K3*a3(g)+K4*a4(g)

B＝K1*a1(b)+K2*a2(b)+K3*a3(b)+K4*a4(b)

其中，R值表示红色的深度，G值表示绿色的深度，B值表示蓝色的深度；a1(r)、a1(g)、a1(b)、a2(r)、a2(g)、a2(b)、a3(r)、a3(g)、a3(b)、a4(r)、a4(g)、a4(b)分别表示的是a1、a2、a2、a4这四个目标基本像素点的三原色深度。

需要说明的是，在本实施方式中，采用广角镜头进行监控时，图像帧的分辨率较低，因此，可使帧率较高，画面流畅，在对目标区域进行像素点插值后，可使得目标区域的分辨率提高，因此，本实施方式可在兼顾追踪图像的流畅度的同时，获取较清晰的目标对象的图像。

本发明的第二实施方式涉及一种图像处理方法。第二实施方式与第一实施方式大致相同，主要区别之处在于：在本发明第二实施方式中，提供了一种更具体的确定目标区域的方法。本实施例的流程图如图3所示，下面进行具体说明。

步骤301，识别拍摄的图像帧中是否存在目标对象。

步骤302，若识别出图像帧中存在目标对象，判断图像帧的上一个图像帧中是否存在目标对象，若存在，执行步骤305，若不存在，执行步骤303。

步骤303，从图像帧中选定与目标对象的轮廓匹配的区域作为目标区域。

步骤304，将拍摄范围从预设的初始拍摄范围调节至与目标区域匹配，并以调节后的拍摄范围拍摄下一个图像帧。

步骤305，将图像帧的全部区域作为目标区域。

步骤306，对目标区域做插值处理并存储插值处理后的目标区域。

步骤301和步骤306与第一实施方式中的步骤101和步骤103大致相同，为避免重复，这里不再赘述。

在步骤303中，图像帧的上一个图像帧中不存在目标对象，也就是说，处理器刚检测到这个目标对象，需要对这个目标对象在整个图像帧中的位置进行定位，也就是确定目标区域，从图像帧中选定与目标对象的轮廓匹配的区域作为目标区域，可以保证目标对象在目标区域中。

在步骤304中，调节监控镜头的拍摄范围时，具体是通过将监控镜头由长镜头切换到短镜头来实现的。将镜头从初始拍摄范围调节至与目标区域匹配的拍摄范围，并以调节后的拍摄范围拍摄下一个图像帧，可方便对目标对象的进一步观察。

在步骤305中，图像帧的上一个图像帧中存在目标对象，也就是说，监控镜头的拍摄范围已经被调节，因此，直接将整个图像帧的全部区域作为目标区域，对目标区域进行插值，可获取较清晰的目标对象的图像。

实际实施中，当识别出图像帧中存在目标对象，并进一步判断出图像帧的上一个图像帧中不存在目标对象时，从图像帧中选定与目标对象的轮廓匹配的区域作为目标区域调节拍摄范围的示意如图4，左边的大方框为一个图像帧，在这个图像帧的上一个图像帧中不存在目标对象，这个图像帧为全局画面的图像帧，当识别出这个图像帧中存在目标对象后，选定一个能够包含目标对象整个轮廓的矩形区域作为目标区域，即图4左边的大方框中的小方框所示的区域，并且通过将监控镜头由长焦镜头切换为短焦镜头从而将拍摄范围调解到跟目标区域相匹配的拍摄范围，以这个调节后的拍摄范围拍摄下一个图像帧，即图4右边的大方框所示的区域。当图像帧的上一个图像帧中存在目标对象，表明当前拍摄范围已经被调节，图像帧的全部区域与目标区域匹配，根据图像帧确定目标区域具体为，将图像帧的全部区域作为目标区域。确定目标区域后，在对目标区域做插值处理。

在一个例子中，若识别出图像帧中不存在目标对象，且判断出图像帧的上一个图像帧中存在目标对象，将拍摄范围恢复至初始拍摄范围。若图像帧中不存在目标对象，则表明目标对象已消失，恢复之前的拍摄以保证下次当目标对象进入拍摄范围时能够追踪到。

本实施方式相对现有技术而言，在上一个图像帧中不存在目标对象时，先确一个与目标对象轮廓相近的目标区域，并将拍摄范围调节至这个目标区域，可方便工作人员看清目标对象；以调节后的拍摄范围拍摄下一个图像帧，可方便工作人员继续对目标对象进行分析；在当前图像帧中存在目标对象时，即表明当前拍摄范围已经被调节，图像帧的全部区域与目标区域匹配。

上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。

本发明第三实施方式涉及一种电子设备，如图5所示，包括至少一个处理器501；以及，与至少一个处理器501通信连接的存储器502；其中，存储器502存储有可被至少一个处理器501执行的指令，指令被至少一个处理器501执行，以使至少一个处理器501能够执行上述的图像处理方法。

其中，存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。

处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。

本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。

即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。

Claims (10)

1.一种图像处理方法，其特征在于，包括：

识别拍摄的图像帧中是否存在目标对象；

若识别出所述图像帧中存在目标对象，根据所述图像帧确定目标区域；其中，所述目标区域包含所述目标对象；

对所述目标区域做插值处理并存储插值处理后的所述目标区域。

2.根据权利要求1所述的图像处理方法，其特征在于，在识别出所述图像帧中存在目标对象之后，所述图像处理方法还包括：

判断所述图像帧的上一个图像帧中是否存在所述目标对象；

若所述图像帧的上一个图像帧中不存在所述目标对象，所述根据所述图像帧确定目标区域具体为，从所述图像帧中选定与所述目标对象的轮廓匹配的区域作为所述目标区域；

将拍摄范围从预设的初始拍摄范围调节至与所述目标区域匹配，并以调节后的所述拍摄范围拍摄下一个图像帧；

若所述图像帧的上一个图像帧中存在所述目标对象，所述根据所述图像帧确定目标区域具体为，将所述图像帧的全部区域作为所述目标区域。

3.根据权利要求2所述的图像处理方法，其特征在于，所述图像处理方法包括：

若识别出所述图像帧中不存在目标对象，且判断出所述图像帧的上一个图像帧中存在目标对象，将所述拍摄范围恢复至所述初始拍摄范围。

4.根据权利要求1所述的图像处理方法，其特征在于，所述对所述目标区域做插值处理中，将相邻多个像素点形成的像素点组合作为插值处理过程中的一个基本像素点；所述插值处理中生成的插值像素点与所述基本像素点的大小相同且形状相同。

5.根据权利要求4所述的图像处理方法，其特征在于，每个所述像素点组合包含呈二维矩阵排列的四个像素点。

6.根据权利要求4所述的图像处理方法，其特征在于，所述插值像素点与所述基本像素点间隔排列。

7.根据权利要求1所述的监控方法，其特征在于，所述识别拍摄的图像帧中是否存在目标对象，包括：

将所述图像帧与预设图像帧进行比对，判断所述图像帧与所述预设图像帧之间是否存在差异；若存在差异，表示识别出所述图像帧中存在目标对象。

8.根据权利要求1所述的监控方法，其特征在于，所述图像处理方法还包括：

显示插值处理后的所述目标区域。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至8中任一所述的图像处理方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的图像处理方法。