CN110475044B - 图像传输方法和装置、电子设备、计算机可读存储介质 - Google Patents

Abstract

本申请涉及一种图像传输方法和装置、电子设备、计算机可读存储介质。所述方法包括：当第一终端或第二终端的网络通信条件受限时，对原始图像进行主体检测，得到原始图像的主体区域和背景区域；将主体区域和背景区域分别进行分级编码，得到主体区域的至少两层图像，以及背景区域的至少两层图像；其中，同一区域中的不同层图像的分辨率不同；将主体区域的至少两层图像中分辨率最小的图像传输至第二终端，并将主体区域的至少两层图像中剩余图像、背景区域的至少两层图像中剩余图像传输至第二终端。上述方法和装置、电子设备、计算机可读存储介质可以在网络通信条件受限的情况下获取到图像的信息。

Description

图像传输方法和装置、电子设备、计算机可读存储介质

技术领域

本申请涉及计算机技术领域，特别是涉及一种图像传输方法、装置、电子设备、计算机可读存储介质。

背景技术

随着计算机技术的发展，出现了图像处理技术和视频处理技术，人们对图像或者视频的需求也越来越高，例如，需要传输质量更高的图像或者视频；在图像或者视频传输过程中延迟较小或者保持流畅，等等。

然而，传统的图像或者视频传输的方法，对网络的依赖性特别强，当网络通信条件受限时，往往会使图像或者视频的传输失败，从而无法获取图像或者视频的信息。

发明内容

本申请实施例提供一种图像传输方法、装置、电子设备、计算机可读存储介质，可以在网络通信条件受限时获取图像的信息。

一种图像传输方法，包括：

当第一终端或第二终端的网络通信条件受限时，对原始图像进行主体检测，得到所述原始图像的主体区域和背景区域；

将所述主体区域和所述背景区域分别进行分级编码，得到所述主体区域的至少两层图像，以及所述背景区域的至少两层图像；其中，同一区域中的不同层图像的分辨率不同；

将所述主体区域的至少两层图像中分辨率最小的图像传输至所述第二终端，并将所述主体区域的至少两层图像中剩余图像、所述背景区域的至少两层图像中剩余图像传输至所述第二终端。

一种图像传输装置，包括：

主体检测模块，用于当第一终端或第二终端的网络通信条件受限时，对原始图像进行主体检测，得到所述原始图像的主体区域和背景区域；

分级编码模块，用于将所述主体区域和所述背景区域分别进行分级编码，得到所述主体区域的至少两层图像，以及所述背景区域的至少两层图像；其中，同一区域中的不同层图像的分辨率不同；

图像传输模块，用于将所述主体区域的至少两层图像中分辨率最小的图像传输至所述第二终端，并将所述主体区域的至少两层图像中剩余图像、所述背景区域的至少两层图像中剩余图像传输至所述第二终端。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述的图像传输方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。

上述图像传输方法和装置、电子设备、计算机可读存储介质，当第一终端或第二终端的网络通信条件受限时，对原始图像进行主体检测，得到原始图像的主体区域和背景区域，再对主体区域和背景区域分别进行分级编码，得到主体区域的至少两层图像，以及背景区域的至少两层图像；其中，同一区域中的不同层图像的分辨率不同。在网络通信条件受限的情况下，将主体区域的至少两层图像中分辨率最小的图像传输至第二终端，则第二终端可以首先获取数据量较少，且为主体区域的图像，避免了由于图像的数据量较大而接受失败的情况，也获取到原始图像中的主体区域的信息。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中图像传输方法的应用环境图；

图2为一个实施例中图像处理电路的示意图；

图3为一个实施例中图像传输方法的流程图；

图4为一个实施例中检测网络情况步骤的流程图；

图5为另一个实施例中检测网络情况步骤的流程图；

图6为一个实施例中主体检测步骤的流程图；

图7为另一个实施例中主体检测步骤的流程图；

图8为一个实施例中图像传输装置的结构框图；

图9为一个实施例中电子设备的内部结构示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一终端称为第二终端，且类似地，可将第二终端称为第一终端。第一终端和第二终端两者都是终端，但其不是同一终端。

图1为一个实施例中图像传输方法的应用环境示意图。如图1所示，该应用环境包括第一终端102和第二终端104。第一终端102通过网络与第二终端104进行通信。当第一终端102或第二终端104的网络通信条件受限时，对原始图像进行主体检测，得到原始图像的主体区域和背景区域；将主体区域和背景区域分别进行分级编码，得到主体区域的至少两层图像，以及背景区域的至少两层图像；其中，同一区域中的不同层图像的分辨率不同；将主体区域的至少两层图像中分辨率最小的图像传输至第二终端，并将主体区域的至少两层图像中剩余图像、背景区域的至少两层图像中剩余图像传输至第二终端。其中，第一终端102和第二终端104均可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义ISP(Image Signal Processing，图像信号处理)管线的各种处理单元。图2为一个实施例中图像处理电路的示意图。如图2所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图2所示，图像处理电路包括ISP处理器240和控制逻辑器250。成像设备210捕捉的图像数据首先由ISP处理器240处理，ISP处理器240对图像数据进行分析以捕捉可用于确定和/或成像设备210的一个或多个控制参数的图像统计信息。成像设备210可包括具有一个或多个透镜212和图像传感器214的照相机。图像传感器214可包括色彩滤镜阵列(如Bayer滤镜)，图像传感器214可获取用图像传感器214的每个成像像素捕捉的光强度和波长信息，并提供可由ISP处理器240处理的一组原始图像数据。传感器220(如陀螺仪)可基于传感器220接口类型把采集的图像处理的参数(如防抖参数)提供给ISP处理器240。传感器220接口可以利用SMIA(Standard Mobile Imaging Architecture，标准移动成像架构)接口、其它串行或并行照相机接口或上述接口的组合。

此外，图像传感器214也可将原始图像数据发送给传感器220，传感器220可基于传感器220接口类型把原始图像数据提供给ISP处理器240，或者传感器220将原始图像数据存储到图像存储器230中。

ISP处理器240按多种格式逐个像素地处理原始图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，ISP处理器240可对原始图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度精度进行。

ISP处理器240还可从图像存储器230接收图像数据。例如，传感器220接口将原始图像数据发送给图像存储器230，图像存储器230中的原始图像数据再提供给ISP处理器240以供处理。图像存储器230可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括DMA(Direct Memory Access，直接直接存储器存取)特征。

当接收到来自图像传感器214接口或来自传感器220接口或来自图像存储器230的原始图像数据时，ISP处理器240可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器230，以便在被显示之前进行另外的处理。ISP处理器240从图像存储器230接收处理数据，并对所述处理数据进行原始域中以及RGB和YCbCr颜色空间中的图像数据处理。ISP处理器240处理后的图像数据可输出给显示器270，以供用户观看和/或由图形引擎或GPU(Graphics Processing Unit，图形处理器)进一步处理。此外，ISP处理器240的输出还可发送给图像存储器230，且显示器270可从图像存储器230读取图像数据。在一个实施例中，图像存储器230可被配置为实现一个或多个帧缓冲器。此外，ISP处理器240的输出可发送给编码器/解码器260，以便编码/解码图像数据。编码的图像数据可被保存，并在显示于显示器270设备上之前解压缩。编码器/解码器260可由CPU或GPU或协处理器实现。

ISP处理器240确定的统计数据可发送给控制逻辑器250单元。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、透镜212阴影校正等图像传感器214统计信息。控制逻辑器250可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定成像设备210的控制参数及ISP处理器240的控制参数。例如，成像设备210的控制参数可包括传感器220控制参数(例如增益、曝光控制的积分时间、防抖参数等)、照相机闪光控制参数、透镜212控制参数(例如聚焦或变焦用焦距)、或这些参数的组合。ISP控制参数可包括用于自动白平衡和颜色调整(例如，在RGB处理期间)的增益水平和色彩校正矩阵，以及透镜212阴影校正参数。

在一个实施例中，当第一终端或第二终端的网络通信条件受限时，通过第一终端的ISP处理器240对原始图像进行主体检测，得到原始图像的主体区域和背景区域，并将主体区域和背景区域发送至编码器/解码器260。编码器/解码器260对主体区域和背景区域分别进行分级编码，得到主体区域的至少两层图像，以及背景区域的至少两层图像；其中，同一区域中的不同层图像的分辨率不同。第一终端将主体区域的至少两层图像中分辨率最小的图像传输至所述第二终端，并将主体区域的至少两层图像中剩余图像、背景区域的至少两层图像中剩余图像传输至第二终端。

第二终端接收到主体区域的至少两层图像中分辨率最小的图像后，通过第二终端中的编码器/解码器260对分辨率最小的图像进行解码，得到主体区域的图像，可以将解码后的图像显示在第二终端的显示器270中。

上述图像传输方法，在网络通信条件受限的情况下，将主体区域的至少两层图像中分辨率最小的图像传输至第二终端，则第二终端可以首先获取数据量较少，且为主体区域的图像，避免了由于图像的数据量较大而接受失败的情况，也获取到原始图像中的主体区域的信息。

图3为一个实施例中图像传输方法的流程图。本实施例中的图像传输方法，以运行于图1中的第一终端上为例进行描述。如图3所示，图像传输方法包括步骤302至步骤306。

步骤302，当第一终端或第二终端的网络通信条件受限时，对原始图像进行主体检测，得到原始图像的主体区域和背景区域。

第一终端和第二终端均可发送或接收数据。第一终端与第二终端通过网络进行通信。在本实施例中，可以通过第一终端将图像发送至第二终端。网络通信条件指的是第一终端和第二终端进行通信所需要的条件，例如，网络稳定、网速较快等，不限于此。

原始图像指的是将要发送的未进行主体检测的图像。主体检测(salient objectdetection)是指面对一个场景时，自动地对感兴趣区域进行处理而选择性的忽略不感兴趣区域。感兴趣区域称为主体区域，不感兴趣称为背景区域。一般地，主体区域位于原始图像的中心区域，背景区域位于原始图像的边缘区域。在其他实施例中，主体区域也可以位于原始图像的其他位置，不限于此。

例如，当拍摄建筑物时，一般将该建筑物位于原始图像的中心区域，则对原始图像进行主体检测，得到原始图像的主体区域为该建筑物，背景区域为除该建筑物之外的其他区域。

步骤304，将主体区域和背景区域分别进行分级编码，得到主体区域的至少两层图像，以及背景区域的至少两层图像；其中，同一区域中的不同层图像的分辨率不同。

分级编码指的是对图像采用不同的倍率进行编码，得到不同分辨率的图像的过程。倍率指的是采样倍率，分辨率指的是图像内所包含的像素点数量。例如，分辨率800*600，指的是图像的每一行包含800个像素点，每一列包含600个像素点，则800*600的图像中包含了480000个像素点。可以理解的是，倍率越大，则得到的图像的分辨率越小；倍率越小，则得到的图像的分辨率越大。

主体区域的至少两层图像可以包括一层基本层图像和至少一层增强层图像。其中，基本层图像为至少两层图像中分辨率最小的图像，且通过主体区域的基本层图像可以获取到主体区域中的主体。增强层图像的分辨率大于基本层图像的分辨率，增强层图像的质量也高于基本层图像的质量，如增强层的清晰度更高。

同样地，背景区域的至少两层图像可以包括一层基本层图像和至少一层增强层图像。其中，基本层图像为至少两层图像中分辨率最小的图像，且通过背景区域的基本层图像可以获取到背景区域中的背景信息。

具体地，采用至少两个不同的倍率分别对主体区域和背景区域进行分级编码，可以得到主体区域的至少两层图像和背景区域的至少两层图像。其中，采用最大倍率进行分级编码得到的主体区域的图像为主体区域的至少两层图像中分辨率最小的图像，即基本层图像；主体区域的至少两层图像中除基本层图像之外的图像为增强层图像。同样地，采用最大倍率进行分级编码得到的背景区域的图像为背景区域的至少两层图像中分辨率最小的图像，即基本层图像；背景区域的至少两层图像中除基本层图像之外的图像为增强层图像。主体区域的增强层图像的数量可以为一层，也可以为多层；背景区域的增强层图像的数量可以为一层，也可以为多层。

步骤306，将主体区域的至少两层图像中分辨率最小的图像传输至第二终端，并将主体区域的至少两层图像中剩余图像、背景区域的至少两层图像中剩余图像传输至第二终端。

在传统的图像传输方法中，当图像的数据量较大时，发送端将图像传输至接收端的过程中，容易因为网络条件受限而使图像的传输失败，接收端不能接收到图像或者图像已损失，从而接收端不能获取图像的信息。

在本申请中，当第一终端或第二终端的网络通信条件受限时，对主体区域和背景区域分别进行分级编码，得到主体区域的至少两层图像，以及背景区域的至少两层图像，将主体区域的至少两层图像中分辨率最小的图像传输至第二终端。其中，主体区域的至少两层图像中分辨率最小的图像数据量最小，且低分辨率的图像所包含的高频信号较少，可以进一步进行压缩处理，使得分辨率最小的图像数据量更小，第一终端可以更容易将主体区域的该图像传输至第二终端，第二终端也可以更容易接收该图像，从而在网络通信条件受限的情况下保证了可以获取到图像的信息，提高了图像传输的准确性。

将主体区域的至少两层图像中剩余图像、背景区域的至少两层图像中剩余图像传输至第二终端，传输的顺序可以根据用户需要进行设定，不限于此。

上述图像传输方法，当第一终端或第二终端的网络通信条件受限时，对原始图像进行主体检测，得到原始图像的主体区域和背景区域，再对主体区域和背景区域分别进行分级编码，得到主体区域的至少两层图像，以及背景区域的至少两层图像；其中，同一区域中的不同层图像的分辨率不同。在网络通信条件受限的情况下，将主体区域的至少两层图像中分辨率最小的图像传输至第二终端，则第二终端可以首先获取数据量较少，且为主体区域的图像，避免了由于图像的数据量较大而接受失败的情况，也获取到原始图像中的主体区域的信息。

在一个实施例中，如图4所示，检测第二终端的网络通信条件是否受限的方式，包括：

步骤402，发送数据包字段至第二终端，并统计接收到第一返回信号的第一时长；其中，第一返回信号是第二终端在接收到数据包字段时发送的。

数据包字段指的是用于记录数据包的属性的数据，如数据包的数据量，数据包所包含的信息，数据包生成时间，数据包传输时间，数据包的存储地址等，不限于此。一般地，数据包字段的数据量小于数据包的数据量。第一返回信号指的是第二终端接收到数据包字段后发送至第一终端的信号，表示第二终端已经接收到数据包字段。第一时长指的是第一终端发送数据包字段时至第一终端接收到第一返回信号时的时长。

第一终端发送数据包字段至第二终端，并统计接收到第一返回信号的第一时长。第一时长越长，表示第二终端的网络通信条件越不好，如网络速度较慢；第一时长越短，表示第二终端的网络通信条件越好，如网络速度较快。

步骤404，当第一时长大于或等于第一预设时长时，判定第二终端的网络通信条件受限。

当第一时长大于或等于第一预设时长时，表示第二终端的网络通信条件受限，第二终端接收到数据包字段的时间较久。第一预设时长可以根据用户需要进行设置，例如，第一预设时长可以设置为1s，当第一时长大于或等于1s时，判定第二终端的网络通信条件受限。

在另外一个实施例中，如图5所示，检测第二终端的网络通信条件是否受限的方式，包括：

步骤502，发送数据包至第二终端，并统计接收到第二返回信号的第二时长；其中，第二返回信号是第二终端在接收到数据包的预设节点时发送的。

将数据进行传输时，将数据切分成多个数据块进行传输，每一个数据块也就是数据包(Packet)。第二返回信号指的是第二终端接收到数据包后发送至第一终端的信号，表示第二终端已经接收到数据包。第二时长指的是第一终端发送数据包时至第一终端接收到第二返回信号时的时长。

第一终端发送数据包至第二终端，并统计接收到第二返回信号的第二时长。第二时长越长，表示第二终端的网络通信条件越不好，如网络速度较慢；第二时长越短，表示第二终端的网络通信条件越好，如网络速度较快。

步骤504，当第二时长大于或等于第二预设时长时，判定第二终端的网络通信条件受限。

当第二时长大于或等于第二预设时长时，表示第二终端的网络通信条件受限，第二终端接收到数据包的时间较久。第二预设时长可以根据用户需要进行设置，例如，第二预设时长可以设置为1s，当第二时长大于或等于1s时，判定第二终端的网络通信条件受限。

上述图像传输方法，通过发送数据包字段或者数据包至第二终端，并统计接收到返回信号的时长，当时长大于或等于时长阈值，则判定第二终端的网络通信条件受限，可以更加准确地判定第二终端的网络通信情况。

在一个实施例中，网络通信条件受限还包括网络不稳定；检测第二终端的网络是否不稳定的方式，包括：当数据包中存在至少两个预设节点时，统计相邻两个预设节点对应的第二时长的差值；当差值均处于预设范围内时，判定第二终端的网络稳定；当差值不处于同一预设范围内时，判定第二终端的网络不稳定。

网络不稳定指的是在一段时间内，网络速度不处于同一范围内。网络速度指的是单位时间内所传送的二进制代码的有效位数，即每秒传输多少比特(Bit)。例如，在1分钟之内，10s时刻网络速度为100b/s，30s时刻网络速度为10b/s，不处于同一范围内(10b/s，50b/s)，则判定网络不稳定。

在数据包中设置至少两个预设节点，当第二终端接收数据包，并接收至数据包所设置的预设节点时，发送第二返回信号至第一终端。第一终端接收到各个预设节点所对应的第二返回信号的第二时长后，统计相邻两个预设节点对应的第二时长的差值。当差值处于预设范围内时，表示相邻两个预设节点之间的网络速度处于同一范围内，判定第二终端的网络稳定；当差值不处于同一范围时，表示相邻两个预设节点的网络速度不处于同一范围内，判定第二终端的网络不稳定。

例如，在数据包中设置了三个预设节点，第一终端统计接收到三个预设节点对应的第二时长分别为10ms，25ms，30ms，预设范围为(5ms，50ms)，则相邻两个预设节点对应的第二时长的差值为15ms，5ms，均处于预设范围(5ms，50ms)内，表示相邻两个预设节点之间的网络速度处于同一范围内，判定第二终端的网络稳定。

上述图像传输方法，在数据包中设置至少两个预设节点，并统计相邻两个预设节点对应的第二时长的差值，当差值均处于预设范围内时，判定第二终端的网络稳定；当差值不处于同一预设范围内时，判定第二终端的网络不稳定，可以更准确地判定第二终端的网络通信情况。

在一个实施例中，如图6所示，当第一终端或第二终端的网络通信条件受限时，对原始图像进行主体检测，得到原始图像的主体区域和背景区域，包括：

步骤602，当第一终端或第二终端的网络通信条件受限时，生成与原始图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小。

其中，中心权重图是指用于记录原始图像中各个像素点的权重值的图。中心权重图中记录的权重值从中心向四边逐渐减小，即中心权重最大，向四边权重逐渐减小。通过中心权重图表征原始图像的图像中心像素点到图像边缘像素点的权重值逐渐减小。

ISP处理器或中央处理器可以根据原始图像的大小生成对应的中心权重图。该中心权重图所表示的权重值从中心向四边逐渐减小。中心权重图可采用高斯函数、或采用一阶方程、或二阶方程生成。该高斯函数可为二维高斯函数。

步骤604，将原始图像和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的原始图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型。

其中，主体检测模型是预先采集大量的训练数据，将训练数据输入到包含有初始网络权重的主体检测模型进行训练得到的。每组训练数据包括同一场景对应的原始图像、中心权重图及已标注的主体掩膜图。其中，原始图像和中心权重图作为训练的主体检测模型的输入，已标注的主体掩膜(mask)图作为训练的主体检测模型期望输出得到的真实值(ground truth)。主体掩膜图是用于识别图像中主体的图像滤镜模板，可以遮挡图像的其他部分，筛选出图像中的主体。主体检测模型可训练能够识别检测各种主体，如人、花、猫、狗、背景等。

具体地，ISP处理器或中央处理器可将该原始图像和中心权重图输入到主体检测模型中，进行检测可以得到主体区域置信度图。主体区域置信度图是用于记录主体属于哪种能识别的主体的概率，例如某个像素点属于人的概率是0.8，花的概率是0.1，背景的概率是0.1。

步骤606，根据主体区域置信度图确定原始图像中的主体区域和背景区域。

其中，主体是指各种对象，如人、花、猫、狗、牛、蓝天、白云、背景等。主体区域是指需要的主体，可根据需要选择。

具体地，ISP处理器或中央处理器可根据主体区域置信度图选取置信度最高或次高等作为可见光图中的主体，若存在一个主体，则将该主体作为主体区域；若存在多个主体，可根据需要选择其中一个或多个主体作为主体区域。背景区域为原始图像中除主体区域之外的其他区域。

本实施例中的图像传输方法，当第一终端或第二终端的网络通信条件受限时，生成与原始图像对应的中心权重图后，将原始图像和中心权重图输入到对应的主体检测模型中检测，可以得到主体区域置信度图，根据主体区域置信度图可以确定得到原始图像中的主体区域和背景区域，利用中心权重图可以让图像中心的对象更容易被检测，利用训练好的利用原始图像、中心权重图和主体掩膜图等训练得到的主体检测模型，可以更加准确的识别出原始图像中的主体区域和背景区域。

在一个实施例中，如图7所示，根据主体区域置信度图确定原始图像中的主体区域和背景区域，包括：

步骤702，对主体区域置信度图进行处理，得到主体掩膜图。

具体地，主体区域置信度图中存在一些置信度较低、零散的点，可通过ISP处理器或中央处理器对主体区域置信度图进行过滤处理，得到主体掩膜图。该过滤处理可采用配置置信度阈值，将主体区域置信度图中置信度值低于置信度阈值的像素点过滤。该置信度阈值可采用自适应置信度阈值，也可以采用固定阈值，也可以采用分区域配置对应的阈值。

步骤704，检测原始图像，确定原始图像中的高光区域。

其中，高光区域是指亮度值大于亮度阈值的区域。

具体地，ISP处理器或中央处理器对原始图像进行高光检测，筛选得到亮度值大于亮度阈值的目标像素点，对目标像素点采用连通域处理得到高光区域。

步骤706，根据原始图像中的高光区域与主体掩膜图，确定原始图像中的背景区域和原始图像中消除高光的主体区域。

具体地，ISP处理器或中央处理器可将原始图像中的高光区域与该主体掩膜图做差分计算或逻辑与计算得到原始图像中消除高光的主体区域，以及背景区域。

本实施例中，对主体区域置信度图做过滤处理得到主体掩膜图，提高了主体区域置信度图的可靠性，对原始图像进行检测得到高光区域，然后与主体掩膜图进行处理，可得到背景区域和消除了高光的主体区域，针对影响主体识别精度的高光、高亮区域单独采用滤波器进行处理，提高了主体识别的精度和准确性。

在一个实施例中，对主体区域置信度图进行处理，得到主体掩膜图，包括：对主体区域置信度图进行自适应置信度阈值过滤处理，得到主体掩膜图。

其中，自适应置信度阈值是指置信度阈值。自适应置信度阈值可为局部自适应置信度阈值。该局部自适应置信度阈值是根据像素点的领域块的像素值分布来确定该像素点位置上的二值化置信度阈值。亮度较高的图像区域的二值化置信度阈值配置的较高，亮度较低的图像区域的二值化阈值置信度配置的较低。

可选地，自适应置信度阈值的配置过程包括：当像素点的亮度值大于第一亮度值，则配置第一置信度阈值，当像素点的亮度值小于第二亮度值，则配置第二置信度阈值，当像素点的亮度值大于第二亮度值且小于第一亮度值，则配置第三置信度阈值，其中，第二亮度值小于或等于第一亮度值，第二置信度阈值小于第三置信度阈值，第三置信度阈值小于第一置信度阈值。

可选地，自适应置信度阈值的配置过程包括：当像素点的亮度值大于第一亮度值，则配置第一置信度阈值，当像素点的亮度值小于或等于第一亮度值，则配置第二置信度阈值，其中，第二亮度值小于或等于第一亮度值，第二置信度阈值小于第一置信度阈值。

对主体区域置信度图进行自适应置信度阈值过滤处理时，将主体区域置信度图中各像素点的置信度值与对应的置信度阈值比较，大于或等于置信度阈值则保留该像素点，小于置信度阈值则去掉该像素点。

在一个实施例中，对主体区域置信度图进行自适应置信度阈值过滤处理，得到主体掩膜图，包括：对主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。

具体地，ISP处理器或中央处理器将主体区域置信度图按照自适应置信度阈值过滤处理后，将保留的像素点的置信度值采用1表示，去掉的像素点的置信度值采用0表示，得到二值化掩膜图。

形态学处理可包括腐蚀和膨胀。可先对二值化掩膜图进行腐蚀操作，再进行膨胀操作，去除噪声；再对形态学处理后的二值化掩膜图进行引导滤波处理，实现边缘滤波操作，得到边缘提取的主体掩膜图。

通过形态学处理和引导滤波处理可以保证得到的主体掩膜图的噪点少或没有噪点，边缘更加柔和。

在一个实施例中，当主体区域的至少两层图像包括主体区域的第一层图像和第二层图像，背景区域的至少两层图像包括背景区域的第一层图像和第二层图像时，同一区域的第一层图像的分辨率小于第二层图像的分辨率；将主体区域和背景区域分别进行分级编码，得到主体区域的至少两层图像，以及背景区域的至少两层图像，包括：获取第一倍率和第二倍率；其中，第一倍率大于第二倍率；采用第一倍率对主体区域和背景区域分别进行编码，得到主体区域的第一层图像和背景区域的第一层图像；采用第二倍率对主体区域和背景区域分别进行编码，得到主体区域的第二层图像和背景区域的第二层图像。

第一层图像指的是通过较大的倍率进行编码后得到的分辨率较小的图像，第二层图像指的是通过较小的倍率进行编码后得到的分辨率较大的图像。同一区域中的第一层图像的分辨率小于第二层图像的分辨率，即第二层图像的质量更高，第二层图像的清晰度更高，第二层图像所包含的信息更多。

倍率指的是对图像进行采样的倍率。第一倍率用于对图像进行编码得到第一层图像，第二倍率用于对图像进行编码得到第二层图像。倍率越小，则通过该倍率进行编码得到的图像的分辨率越大；倍率越大，则通过该倍率进行编码得到的图像的分辨率越小。第一倍率大于第二倍率，则得到的同一区域的第一层图像的分辨率小于第二层图像的分辨率。第二倍率可以为1，即编码后得到的第二层图像仍为编码前的图像。

例如，主体区域为200*400的图像区域，即每一行包含200个像素点，每一列包含400个像素点，主体区域中包含80000个像素点，第一倍率为4倍，第二倍率为2倍。采用第一倍率对主体区域进行编码，得到主体区域的第一层图像，即分辨率为50*100的图像；采用第二倍率对主体区域进行编码，得到主体区域的第二层图像，即分辨率为100*200的图像。其中，第一层图像的数据量小于第二层图像的数据量。当第一终端或第二终端的网络通信条件受限时，首先将数据量较少的主体区域的第一层图像传输至第二终端，第二终端可以更容易获取图像的信息。

上述数据处理方法，获取第一倍率和第二倍率，采用第一倍率对主体区域和背景区域进行编码，得到主体区域的第一层图像和背景区域的第一层图像，采用第二倍率对主体区域和背景区域进行编码，得到主体区域的第二层图像和背景区域的第二层图像，将主体区域和背景区域分别以不同的倍率进行编码，可以得到不同数据量的图像，并根据第一终端和第二终端的网络通信条件进行传输，可以更准确地进行图像的传输，使得第二终端可以在网络通信条件受限的情况下，也能获取到图像的信息。

在一个实施例中，还可以获取预设数量的倍率，根据预设数量的倍率分别对主体区域进行编码，得到预设数量的主体区域的图像；根据预设数量的倍率分别对背景区域进行编码，得到预设数量的背景区域的图像。

预设数量的倍率可以根据用户需要进行设定，不限于此。例如，预设数量为3，即获取第一倍率、第二倍率和第三倍率，根据第一倍率、第二倍率和第三倍率主体区域进行编码，得到主体区域的第一层图像、第二层图像和第三层图像；根据第一倍率、第二倍率和第三倍率背景区域进行编码，得到背景区域的第一层图像、第二层图像和第三层图像。其中，第一倍率、第二倍率、第三倍率依次减少。

在一个实施例中，将主体区域的至少两层图像中剩余图像、背景区域的至少两层图像中剩余图像传输至第二终端，包括：将背景区域的至少两层图像中分辨率最小的图像传输至第二终端；将主体区域的至少两层图像中剩余图像和背景区域的至少两层图像中剩余图像按照分辨率从小到达依次交替传输至第二终端。

将主体区域的至少两层图像中分辨率最小的图像传输至第二终端后，将背景区域的至少两层图像中分辨率最小的图像传输至第二终端。可以理解的是，在第一终端或第二终端的网络通信条件受限的情况下，将数据量最小的主体区域的图像，即分辨率最小的主体区域的图像传输至第二终端后，再将数据量最小的背景区域的图像，即分辨率最小的背景区域的图像传输至第二终端，则第二终端可以获取到主体区域和背景区域，即完整的图像的信息。

再将主体区域的至少两层图像中剩余图像和背景区域的至少两层图像中剩余图像按照分辨率从小到达依次交替传输至第二终端。分辨率越小，则图像的数据量也越小；分辨率越大，则图像的数据量也越大。

例如，主体区域包含第一层图像、第二层图像和第三层图像，且分辨率依次增大；背景区域也包含第一层图像、第二层图像和第三层图像，且分辨率依次增大。当第一终端或第二终端的网络通信条件受限时，将主体区域的第一层图像传输至第二终端，将背景区域的第一层图像传输至第二终端，再将主体区域的第二层图像传输至第二终端，将背景区域的第二层图像传输至第二终端，最后将主体区域的第三层图像传输至第二终端，将背景区域的第三层图像传输至第二终端。

在一个实施例中，当第二终端接收到主体区域的至少两层图像中剩余图像后，可以将主体区域的至少两层图像中剩余图像替换主体区域的至少两层图像中分辨率最小的图像，也可以将主体区域的分辨率最小的图像与主体区域的剩余图像进行合成。同样地，当第二终端接收到背景区域的至少两层图像中剩余图像后，可以将背景区域的至少两层图像中剩余图像替换背景区域的分辨率最小的图像，也可以将背景区域的至少两层图像中剩余图像与背景区域的分辨率最小的图像进行合成。

应该理解的是，虽然图3至图7的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图3至图7中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

图7为一个实施例的图像传输装置的结构框图。如图8所示，提供了一种图像传输装置800，包括：主体检测模块802、分级编码模块804和图像传输模块806，其中：

主体检测模块802，用于当第一终端或第二终端的网络通信条件受限时，对原始图像进行主体检测，得到原始图像的主体区域和背景区域。

分级编码模块804，用于将主体区域和背景区域分别进行分级编码，得到主体区域的至少两层图像，以及背景区域的至少两层图像；其中，同一区域中的不同层图像的分辨率不同。

图像传输模块806，用于将主体区域的至少两层图像中分辨率最小的图像传输至第二终端，并将主体区域的至少两层图像中剩余图像、背景区域的至少两层图像中剩余图像传输至第二终端。

上述图像传输装置，当第一终端或第二终端的网络通信条件受限时，对原始图像进行主体检测，得到原始图像的主体区域和背景区域，再对主体区域和背景区域分别进行分级编码，得到主体区域的至少两层图像，以及背景区域的至少两层图像；其中，同一区域中的不同层图像的分辨率不同。在网络通信条件受限的情况下，将主体区域的至少两层图像中分辨率最小的图像传输至第二终端，则第二终端可以首先获取数据量较少，且为主体区域的图像，避免了由于图像的数据量较大而接受失败的情况，也获取到原始图像中的主体区域的信息。

在一个实施例中，上述图像传输装置还包括网络检测模块，用于发送数据包字段至第二终端，并统计接收到第一返回信号的第一时长；其中，第一返回信号是第二终端在接收到数据包字段时发送的；当第一时长大于或等于第一预设时长时，判定第二终端的网络通信条件受限。还用于发送数据包至第二终端，并统计接收到第二返回信号的第二时长；其中，第二返回信号是第二终端在接收到数据包的预设节点时发送的；当第二时长大于或等于第二预设时长时，判定第二终端的网络通信条件受限。

在一个实施例中，上述网络检测模块还用于当数据包中存在至少两个预设节点时，统计相邻两个预设节点对应的第二时长的差值；当差值均处于预设范围内时，判定第二终端的网络稳定；当差值不处于同一预设范围内时，判定第二终端的网络不稳定。

在一个实施例中，上述主体检测模块802还用于当第一终端或第二终端的网络通信条件受限时，生成与原始图像对应的中心权重图，其中，中心权重图所表示的权重值从中心到边缘逐渐减小；将原始图像和中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，主体检测模型是预先根据同一场景的原始图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据主体区域置信度图确定原始图像中的主体区域和背景区域。

在一个实施例中，上述主体检测模块802还用于对主体区域置信度图进行处理，得到主体掩膜图；检测原始图像，确定原始图像中的高光区域；根据原始图像中的高光区域与主体掩膜图，确定原始图像中的背景区域和原始图像中消除高光的主体区域。

在一个实施例中，上述主体检测模块802还用于对主体区域置信度图进行自适应置信度阈值过滤处理，得到主体掩膜图。

在一个实施例中，上述主体检测模块802还用于对主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；对二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。

在一个实施例中，当主体区域的至少两层图像包括主体区域的第一层图像和第二层图像，背景区域的至少两层图像包括背景区域的第一层图像和第二层图像时，同一区域的第一层图像的分辨率小于第二层图像的分辨率；上述分级编码模块804还用于获取第一倍率和第二倍率；其中，第一倍率大于第二倍率；采用第一倍率对主体区域和背景区域分别进行编码，得到主体区域的第一层图像和背景区域的第一层图像；采用第二倍率对主体区域和背景区域分别进行编码，得到主体区域的第二层图像和背景区域的第二层图像。

在一个实施例中，上述图像传输模块806还用于将背景区域的至少两层图像中分辨率最小的图像传输至第二终端；将主体区域的至少两层图像中剩余图像和背景区域的至少两层图像中剩余图像按照分辨率从小到达依次交替传输至第二终端。

上述图像传输装置中各个模块的划分仅用于举例说明，在其他实施例中，可将图像传输装置按照需要划分为不同的模块，以完成上述图像传输装置的全部或部分功能。

图9为一个实施例中电子设备的内部结构示意图。如图9所示，该电子设备包括通过系统总线连接的处理器和存储器。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种图像传输方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的图像传输装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

本申请实施例还提供了一种计算机可读存储介质。一个或多个包含计算机可执行指令的非易失性计算机可读存储介质，当所述计算机可执行指令被一个或多个处理器执行时，使得所述处理器执行图像传输方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行图像传输方法。

本申请实施例所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)，它用作外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDR SDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (11)

1.一种图像传输方法，其特征在于，包括：

当第一终端或第二终端的网络通信条件受限时，生成与原始图像对应的中心权重图，其中，所述中心权重图是指用于记录所述原始图像中各个像素点的权重值的图，所述中心权重图所表示的权重值从中心到边缘逐渐减小；

将所述原始图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的原始图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；

根据所述主体区域置信度图确定所述原始图像中的主体区域和背景区域；

将所述主体区域和所述背景区域分别进行分级编码，得到所述主体区域的至少两层图像，以及所述背景区域的至少两层图像；其中，同一区域中的不同层图像的分辨率不同；

将所述主体区域的至少两层图像中分辨率最小的图像传输至所述第二终端，并将所述主体区域的至少两层图像中剩余图像、所述背景区域的至少两层图像中剩余图像传输至所述第二终端。

2.根据权利要求1所述的方法，其特征在于，检测所述第二终端的网络通信条件是否受限的方式，包括：

发送数据包字段至所述第二终端，并统计接收到第一返回信号的第一时长；其中，所述第一返回信号是所述第二终端在接收到所述数据包字段时发送的；

当所述第一时长大于或等于第一预设时长时，判定所述第二终端的网络通信条件受限；或

发送数据包至所述第二终端，并统计接收到第二返回信号的第二时长；其中，所述第二返回信号是所述第二终端在接收到所述数据包的预设节点时发送的；

当所述第二时长大于或等于第二预设时长时，判定所述第二终端的网络通信条件受限。

3.根据权利要求2所述的方法，其特征在于，所述网络通信条件受限还包括网络不稳定；检测所述第二终端的网络是否不稳定的方式，包括：

当所述数据包中存在至少两个预设节点时，统计相邻两个预设节点对应的第二时长的差值；

当所述差值均处于预设范围内时，判定所述第二终端的网络稳定；

当所述差值不处于同一预设范围内时，判定所述第二终端的网络不稳定。

4.根据权利要求1所述的方法，其特征在于，所述根据所述主体区域置信度图确定所述原始图像中的主体区域和背景区域，包括：

对所述主体区域置信度图进行处理，得到主体掩膜图；

检测所述原始图像，确定所述原始图像中的高光区域；

根据所述原始图像中的高光区域与所述主体掩膜图，确定所述原始图像中的背景区域和所述原始图像中消除高光的主体区域。

5.根据权利要求4所述的方法，其特征在于，所述对所述主体区域置信度图进行处理，得到主体掩膜图，包括：

对所述主体区域置信度图进行自适应置信度阈值过滤处理，得到主体掩膜图。

6.根据权利要求5所述的方法，其特征在于，所述对所述主体区域置信度图进行自适应置信度阈值过滤处理，得到主体掩膜图，包括：

对所述主体区域置信度图进行自适应置信度阈值过滤处理，得到二值化掩膜图；

对所述二值化掩膜图进行形态学处理和引导滤波处理，得到主体掩膜图。

7.根据权利要求1所述的方法，其特征在于，当所述主体区域的至少两层图像包括所述主体区域的第一层图像和第二层图像，所述背景区域的至少两层图像包括所述背景区域的第一层图像和第二层图像时，同一区域的第一层图像的分辨率小于第二层图像的分辨率；

所述将所述主体区域和所述背景区域分别进行分级编码，得到所述主体区域的至少两层图像，以及所述背景区域的至少两层图像，包括：

获取第一倍率和第二倍率；其中，所述第一倍率大于第二倍率；

采用所述第一倍率对所述主体区域和背景区域分别进行编码，得到所述主体区域的第一层图像和所述背景区域的第一层图像；

采用所述第二倍率对所述主体区域和背景区域分别进行编码，得到所述主体区域的第二层图像和所述背景区域的第二层图像。

8.根据权利要求1所述的方法，其特征在于，所述将所述主体区域的至少两层图像中剩余图像、所述背景区域的至少两层图像中剩余图像传输至所述第二终端，包括：

将所述背景区域的至少两层图像中分辨率最小的图像传输至所述第二终端；

将所述主体区域的至少两层图像中剩余图像和所述背景区域的至少两层图像中剩余图像按照分辨率从小到达依次交替传输至所述第二终端。

9.一种图像传输装置，其特征在于，包括：

主体检测模块，用于当第一终端或第二终端的网络通信条件受限时，生成与原始图像对应的中心权重图，其中，所述中心权重图是指用于记录所述原始图像中各个像素点的权重值的图，所述中心权重图所表示的权重值从中心到边缘逐渐减小；将所述原始图像和所述中心权重图输入到主体检测模型中，得到主体区域置信度图，其中，所述主体检测模型是预先根据同一场景的原始图像、中心权重图及对应的已标注的主体掩膜图进行训练得到的模型；根据所述主体区域置信度图确定所述原始图像中的主体区域和背景区域；

分级编码模块，用于将所述主体区域和所述背景区域分别进行分级编码，得到所述主体区域的至少两层图像，以及所述背景区域的至少两层图像；其中，同一区域中的不同层图像的分辨率不同；

图像传输模块，用于将所述主体区域的至少两层图像中分辨率最小的图像传输至所述第二终端，并将所述主体区域的至少两层图像中剩余图像、所述背景区域的至少两层图像中剩余图像传输至所述第二终端。

10.一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至8中任一项所述的图像传输方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。

Images