CN111526417B - 一种视频图像传输方法及传输系统 - Google Patents

一种视频图像传输方法及传输系统 Download PDF

Info

Publication number
CN111526417B
CN111526417B CN202010310945.9A CN202010310945A CN111526417B CN 111526417 B CN111526417 B CN 111526417B CN 202010310945 A CN202010310945 A CN 202010310945A CN 111526417 B CN111526417 B CN 111526417B
Authority
CN
China
Prior art keywords
image
frame
video sequence
foreground
background model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010310945.9A
Other languages
English (en)
Other versions
CN111526417A (zh
Inventor
郑万林
李慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei Dashi Information Technology Co.,Ltd.
Original Assignee
Hebei Dashi Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei Dashi Information Technology Co ltd filed Critical Hebei Dashi Information Technology Co ltd
Priority to CN202010310945.9A priority Critical patent/CN111526417B/zh
Publication of CN111526417A publication Critical patent/CN111526417A/zh
Application granted granted Critical
Publication of CN111526417B publication Critical patent/CN111526417B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及涉及图像处理技术领域，尤其涉及一种视频图像传输方法及传输系统，视频图像传输方法，包括：依据采集的视频图像建立第一背景模型，并且将视频图像的第一帧序列和建立的第一背景模型进行传输，以使传输后的第一帧视频序列作为视频的第一帧进行显示；将第二帧视频序列中相对于第一帧视频序列发生变化的区域进行前景分割，并且将分割后的前景图像进行传输；以使传输后前景图像在第一背景模型上进行背景缺失部分更新，以将第一背景模型更新至第二背景模型，并且将前景图像在第二背景模型的基础上进行前景覆盖，将进行了前景覆盖的图像作为视频的第二帧进行显示。本申请可以在降低高数据量的视频数据的传输量，避免了出现卡顿的现象。

Description

一种视频图像传输方法及传输系统
技术领域
本申请涉及图像处理技术领域，尤其涉及一种视频图像传输方法及传输系统。
背景技术
近年来，随着拍摄设备的不断发展，拍摄的图像和视频的质量得到了大幅提高，所以拍摄的图像和视频的数据量也急剧的增长。现有技术中对于视频的传输是将视频图像的每一帧均完整的进行传输，因此现有技术中对高质量、高数据量的视频传输，无疑对现有的网络造成了较大的压力，传输过程中容易出现卡顿的现象。
因此，如何对高数据量的视频数据进行传输，并且避免传输过程中出现卡顿的现象，是目前本领域技术人员急需解决的技术问题。
发明内容
本申请提供了一种视频图像传输方法及传输系统，以对高数据量的视频数据进行传输，并且避免传输过程中出现卡顿现象。
为解决上述技术问题，本申请提供如下技术方案：
一种视频图像传输方法，包括如下步骤：依据采集的视频图像建立第一背景模型，并且将视频图像的第一帧序列和建立的第一背景模型进行传输，以使传输后的第一帧视频序列作为视频的第一帧进行显示；将第二帧视频序列中相对于第一帧视频序列发生变化的区域进行前景分割，并且将分割后的前景图像进行传输；以使传输后前景图像在第一背景模型上进行背景缺失部分更新，以将第一背景模型更新至第二背景模型，并且将前景图像在第二背景模型的基础上进行前景覆盖，将进行了前景覆盖的图像作为视频的第二帧进行显示。
如上所述的视频图像传输方法，其中，优选的是，依据前N帧视频序列建立第一背景模型。
如上所述的视频图像传输方法，其中，优选的是，依据前N帧视频序列建立第一背景模型，具体包括如下子步骤：分别将第一帧视频序列至第N帧视频序列转换为第一灰度图像至第N灰度图像；依次计算第一灰度图像至第N灰度图像中的每个像素点的绝对梯度值，并且将每个灰度图像中的绝对梯度值大于阈值的像素点作为该灰度图像的边缘点；依据边缘点所包围的图像在N个灰度图像中的位置、形状信息，确定边缘点所包围的图像是否为正在运动或外形变化的物体对应的图像；若边缘点所包围的图像为正在运动或外形变化的物体对应的图像，则将该图像定义为前景图像；依据前景图像在第一灰度图像中的边缘点，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型。
如上所述的视频图像传输方法，其中，优选的是，将第一帧视频序列作为静止不变的背景，将第二帧视频序列中的像素点的灰度值与第一帧视频序列中的像素点灰度值相减，得到灰度值发生变化了的像素点所形成区域，将该区域作为前景图像从第二帧视频序列中进行了分割。
如上所述的视频图像传输方法，其中，优选的是，前景图像中的运动或者外形发生变化的物体在第一帧视频序列中所占的区域，用于在第一背景模型的基础上进行背景缺失部分的更新；前景图像中实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，用于在第二背景模型的基础上进行前景覆盖。
一种视频图像的传输系统，包括：第一终端和第二终端，第一终端包括：采集模块、分割模块和第一传输模块，第二终端包括：合成模块、显示模块和第二传输模块；其中，采集模块采集视频图像的每一帧视频序列，分割模块依据采集的视频图像建立第一背景模型，第一传输模块将视频图像的第一帧序列和建立的第一背景模型向第二传输模块进行传输；第二传输模块接收第一帧视频序列和建立的第一背景模型进行传输，显示模块将第一帧视频序列作为视频的第一帧进行显示；分割模块将第二帧视频序列中相对于第一帧视频序列发生变化的区域进行前景分割，第一传输模块将分割后的前景图像向第二传输模块进行传输；第二传输模块接收前景图像，合成模块将传输后前景图像在第一背景模型上进行背景缺失部分更新，以将第一背景模型更新至第二背景模型，并且将前景图像在第二背景模型的基础上进行前景覆盖，显示模块将进行了前景覆盖的图像作为视频的第二帧进行显示。
如上所述的视频图像传输系统，其中，优选的是，分割模块依据前N帧视频序列建立第一背景模型。
如上所述的视频图像传输系统，其中，优选的是，分割模块依据前N帧视频序列建立第一背景模型，具体包括：分割模块分别将第一帧视频序列至第N帧视频序列转换为第一灰度图像至第N灰度图像；分割模块依次计算第一灰度图像至第N灰度图像中的每个像素点的绝对梯度值，并且将每个灰度图像中的绝对梯度值大于阈值的像素点作为该灰度图像的边缘点；分割模块依据边缘点所包围的图像在N个灰度图像中的位置、形状信息，确定边缘点所包围的图像是否为正在运动或外形变化的物体对应的图像；分割模块若边缘点所包围的图像为正在运动或外形变化的物体对应的图像，则将该图像定义为前景图像；分割模块依据前景图像在第一灰度图像中的边缘点，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型。
如上所述的视频图像传输系统，其中，优选的是，分割模块将第一帧视频序列作为静止不变的背景，将第二帧视频序列中的像素点的灰度值与第一帧视频序列中的像素点灰度值相减，得到灰度值发生变化了的像素点所形成区域，将该区域作为前景图像从第二帧视频序列中进行了分割。
如上所述的视频图像传输系统，其中，优选的是，合成模块将前景图像中的运动或者外形发生变化的物体在第一帧视频序列中所占的区域，用于在第一背景模型的基础上进行背景缺失部分的更新；合成模块将前景图像中实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，用于在第二背景模型的基础上进行前景覆盖。
相对上述背景技术，本申请提供的视频图像传输方法及传输系统，由于第一帧视频序列之后的视频序列的传输仅传输分割后的前景图像，从而使得该视频传输的方法可以在降低高数据量的视频数据的传输量，从而避免传输过程中出现卡顿的现象。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的视频图像传输方法的流程图；
图2是本申请一个实施例提供的依据前N帧视频序列建立第一背景模型的流程图；
图3是本申请实施例提供的另一个实施例提供的依据前N帧视频序列建立第一背景模型的流程图；
图4是本申请实施例后一帧视频序列的示意图；
图5是本申请实施例提供的视频图像的传输系统的示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
本申请提供的视频图像传输系统包括至少两个终端设备，两个终端设备之间进行视频图像的传输。例如：两个手机之间进行视频图像传输、手机与电脑之间进行视频图像传输、摄像机与电脑之间进行视频图像传输等。
下面以第一终端和第二终端之间进行视频图像传输为例，介绍本申请提供的视频图像传输方法，本申请中的“第一”、“第二”等术语仅用于区别不同步骤、设备等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
实施例一
请参阅图1，图1是本申请实施例提供的视频图像传输方法的流程图。
本申请提供了一种视频图像传输方法，包括如下步骤：
步骤S110、第一终端依据采集的视频图像建立第一背景模型，并且将视频图像的第一帧序列和建立的第一背景模型传输至第二终端；
第一终端采集视频图像的每一帧，并且依据前N帧视频序列建立第一背景模型，请参阅图2，具体的包括如下子步骤：
步骤S111、分别将第一帧视频序列至第N帧视频序列转换为第一灰度图像至第N灰度图像；
将每一帧视频序列中的各个像素点的三种颜色R、G、B的值设置为相同，以对每一帧视频序列进行灰度化处理，具体的，通过以下公式R＝G＝B＝wr*R+wg*G+wb*B进行灰度化处理，其中wr、wg、wb分别为R、G、B的权值。
步骤S112、依次计算第一灰度图像至第N灰度图像中的每个像素点的绝对梯度值，并且将每个灰度图像中的绝对梯度值大于阈值的像素点作为该灰度图像的边缘点；
以对第一帧视频序列对应的第一灰度图像求边缘点为例进行介绍，第一帧视频序列对应的第一灰度图像是一个二维函数f(x，y)，其中x、y为第一灰度图像中的像素点的坐标值，计算每一个像素点的绝对梯度值M(x，y)＝|f(x，y)-f(x+1，y+1)|+|f(x+1，y)-f(x，y)+1|，若该像素点的绝对梯度值M(x，y)大于预设的阈值，则该像素点属于第一帧视频序列对应的第一灰度图像的边缘点。
依据上述公式对第二帧视频序列至第N帧视频序列对应的第二灰度图像至第N灰度图像中的每个像素点依次求绝对梯度值M(x，y)，并且将绝对梯度值M(x，y)大于预设的阈值的像素点分别作为相应的灰度图像的边缘点。
步骤S113、依据边缘点所包围的图像在N个灰度图像中的位置、形状信息，确定边缘点所包围的图像是否为正在运动或外形变化的物体对应的图像；
每个灰度图像的边缘点会包围形成一个或多个图像，该图像相同或相应的边缘点的位置f(x，y)在M个灰度图像中均发生了变化，其中2≤M≤N，则认为该图像对应的物体正在运动或外形变化，反之则认为该图像对应的物体既没有运动，外形也没有发生变化。
步骤S114、若边缘点所包围的图像为正在运动或外形变化的物体对应的图像，则将该图像定义为前景图像；
本申请中将正在运动或者外形发生变化的物体(例如：飞翔的小鸟、走路的人、行驶的汽车、摇曳的柳枝)对应的图像定义为前景图像，而将相对静止的物体对应的图像定义为背景图像，以待后续重复利用背景图像。
步骤S115、依据前景图像在第一灰度图像中的边缘点，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型。
另外，依据第一终端采集到的视频图像的前N帧视频序列建立第一背景模型，请参阅图3，具体还可以包括如下子步骤：
步骤S111’、分别将第一帧视频序列至第N帧视频序列转换为第一灰度图像至第N灰度图像；
将每一帧视频序列中的各个像素点的三种颜色R、G、B的值设置为相同，以对每一帧视频序列进行灰度化处理，具体的，通过以下公式R＝G＝B＝wr*R+wg*G+wb*B进行灰度化处理，其中wr、wg、wb分别为R、G、B的权值。
步骤S112’、对第一灰度图像至第N灰度图像中的像素点x计算信息熵H(x)；
具体的，设A(x)＝{a0，a1，...，aN-1}为第一灰度图像至第N灰度图像中点x的样本集合，B(x)表示以点x为中心的3×3邻域内的所有像素点的集合，点x的信息熵为
Figure BDA0002457818960000071
其中，p(μ)为B(x)内的所有像素点的灰度概率密度；M＝3×3×N,表示前N帧视频序列中以x为中心的B(x)内所有样本点集合的总数；
Figure BDA0002457818960000072
m(ai)为A(x)中像素点ai对应的特征等级，i为从0到N-1的整数；δ[m(ai)-μ]为狄克拉函数，用来判断像素点的颜色值是否等于集合B(x)中第μ个像素点的颜色值，等于为1，不等为0。
步骤S113’、将信息熵H(x)大于预设阈值的区域对应的图像定义为前景图像；
若某一区域的信息熵H(x)大于预设阈值，该区域像素间差异较大，那么该区域的图像对应的事物处于动态状态，本申请中将处于动态状态的事物对应的图像定义为前景图像；反之该区域的信息熵H(x)小于预设阈值，该区域像素间差异较小，那么该区域的图像对应事物处于静止状态，将处于静止状态的事物对应的图像定义为背景图像。
步骤S114’、依据前景图像在第一灰度图像中占据的区域，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型。
请继续参阅图1，步骤S120、第二终端将第一帧视频序列作为视频的第一帧进行显示，并且将接收到的第一背景模型作为初始背景模型，以待依据接下来接收的视频图像更新初始背景模型；
第二终端接收第一终端发送的未被分割的第一帧视频序列以及第一终端发送的分割后的第一背景模型，将第一帧视频序列作为视频的第一帧在第二终端的显示器上进行显示，而将第一背景模型在第二终端中进行缓存，以作为初始背景模型，以待后续重复利用。
步骤S130、第一终端将第二帧视频序列中相对于第一帧视频序列发生变化的区域进行前景分割，并且将分割后的前景图像传输至第二终端；
第一终端将第一帧视频序列作为静止不变的背景，其中第一帧视频序列中的像素点表示为b(x，y)，将采集到的第j帧视频序列中的像素点表示为g(x，y，j)，则第二帧视频序列中的像素点为g(x，y，2)，将第二帧视频序列中的像素点的灰度值与第一帧视频序列中的像素点灰度值相减，即id(x，y，2)＝g(x，y，2)-b(x，y)，得到灰度值发生变化了像素点所形成区域，从而将该区域作为前景图像从第二帧视频序列中进行了分割。
分割出来的前景图像中，如图4，其中A为分割出来的前景图像，是一个物体(例如：球体)的前一时刻的位置A1到后一时刻的位置A2相对应的图像变化情况，也就是分割出来的前景图像中的一部分为实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，即A2，该部分发送至第二终端后，用于在第一背景模型的基础上进行前景的覆盖。而分割出来的前景图像中的另一部分则为该运动或者外形发生变化的物体在前一帧视频序列中所占的区域，也就是在第一帧视频序列中所占的区域，即A1,该部分发送至第二终端后，用于在第一背景模型的基础上进行背景缺失部分的更新。
步骤S140、第二终端将前景图像在第一背景模型上进行背景缺失部分更新，以将第一背景模型更新至第二背景模型，并且在第二背景模型的基础上进行前景覆盖，将进行了前景覆盖的图像作为视频的第二帧进行显示；
第二终端将接收到的前景图像中的运动或者外形发生变化的物体在前一帧视频序列中所占的区域，也就是在第一帧视频序列中所占的区域，用于在第一背景模型的基础上进行背景缺失部分的更新，从而将第一背景模型更新为第二背景模型，以待后续接下来进一步更新背景模型。前景图像中实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，在第二背景模型的基础上进行前景覆盖，并且将进行前景覆盖了的图像作为视频的第二帧进行显示。
接下来，重复步骤S130和步骤S140，第一终端将后一帧视频序列中相对于前一帧视频序列发生变化的区域进行前景分割，并且将分割后的前景图像传输至第二终端；第二终端将前景图像在前一背景模型的基础进行背景缺失部分的更新，以更新至后一背景模型，并且进行前景覆盖，以将前景覆盖后的图像作为后一帧视频序列进行显示。
本申请中，由于第一帧视频序列之后的视频序列的传输仅传输分割后的前景图像，从而使得该视频传输的方法可以在降低高数据量的视频数据的传输量，从而避免传输过程中出现卡顿的现象。
实施例二
请参阅图5，本申请还提供了一种视频图像传输系统，包括：第一终端510和第二终端520，其中，第一终端510包括：分割模块511、采集模块512和第一传输模块513，第二终端520包括：显示模块521、合成模块522和第二传输模块523。
第一终端510的采集模块512采集视频图像，即采集视频图像的每一帧视频序列，并且将采集到的视频图像的每一帧视频序列均传输至分割模块511，并且采集模块512将采集到的第一帧视频序列传输至第一传输模块513；分割模块511依据采集的视频图像建立第一背景模型，并且将建立的第一背景模型也传输至第一传输模块513；第一传输模块513将视频图像的第一帧序列和建立的第一背景模型传输至第二终端520的第二传输模块523。
第一终端510的采集模块512采集视频图像，并且分割模块511依据前N帧视频序列建立第一背景模型。
具体的，分割模块511分别将第一帧视频序列至第N帧视频序列转换为第一灰度图像至第N灰度图像。
具体的，分割模块511将每一帧视频序列中的各个像素点的三种颜色R、G、B的值设置为相同，以对每一帧视频序列进行灰度化处理，具体的，通过以下公式R＝G＝B＝wr*R+wg*G+wb*B，其中wr、wg、wb分别为R、G、B的权值，进行灰度化处理。
接着，分割模块511依次计算第一灰度图像至第N灰度图像中的每个像素点的绝对梯度值，并且将每个灰度图像中的绝对梯度值大于阈值的像素点作为该灰度图像的边缘点。
以对第一帧视频序列对应的第一灰度图像求边缘点为例进行介绍，第一帧视频序列对应的第一灰度图像是一个二维函数f(x，y)，其中x、y为第一灰度图像中的像素点的坐标值，计算每一个像素点的绝对梯度值M(x，y)＝|f(x，y)-f(x+1，y+1)|+|f(x+1，y)-f(x，y)+1|，若该像素点的绝对梯度值M(x，y)大于预设的阈值，则该像素点属于第一帧视频序列对应的第一灰度图像的边缘点。
依据上述公式对第二帧视频序列至第N帧视频序列对应的第二灰度图像至第N灰度图像中的每个像素点依次求绝对梯度值M(x，y)，并且将绝对梯度值M(x，y)大于预设的阈值的像素点分别作为相应的灰度图像的边缘点。
然后，分割模块511依据边缘点所包围的图像在N个灰度图像中的位置、形状信息，确定边缘点所包围的图像是否为正在运动或外形变化的物体对应的图像；
每个灰度图像的边缘点会包围形成一个或多个图像，该图像相同或相应的边缘点的位置f(x，y)在M个灰度图像中均发生了变化，其中2≤M≤N，则认为该图像对应的物体正在运动或外形变化，反之则认为该图像对应的物体既没有运动，外形也没有发生变化。
若边缘点所包围的图像为正在运动或外形变化的物体对应的图像，分割模块511则将该图像定义为前景图像；
本申请中将正在运动或者外形发生变化的物体(例如：飞翔的小鸟、走路的人、行驶的汽车、摇曳的柳枝)对应的图像定义为前景图像，而将相对静止的物体对应的图像定义为背景图像，以待后续重复利用背景图像。
最后，分割模块511依据前景图像在第一灰度图像中的边缘点，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型。
另外，分割模块511依据第一终端采集到的视频图像的前N帧视频序列建立第一背景模型，具体还可以如下：
首先，分割模块511分别将第一帧视频序列至第N帧视频序列转换为第一灰度图像至第N灰度图像；
接着，分割模块511对第一灰度图像至第N灰度图像中的像素点x计算信息熵H(x)；
具体的，设A(x)＝{a0，a1，...，aN-1}为第一灰度图像至第N灰度图像中点x的样本集合，B(x)表示以点x为中心的3×3邻域内的所有像素点的集合，点x的信息熵为
Figure BDA0002457818960000111
其中，p(μ)为B(x)内的所有像素点的灰度概率密度；M＝3×3×N,表示前N帧视频序列中以x为中心的B(x)内所有样本点集合的总数；
Figure BDA0002457818960000112
m(ai)为A(x)中像素点ai对应的特征等级，i为从0到N-1的整数；δ[m(ai)-μ]为狄克拉函数，用来判断像素点的颜色值是否等于集合B(x)中第μ个像素点的颜色值，等于为1，不等为0。
接着，分割模块511将信息熵H(x)大于预设阈值的区域对应的图像定义为前景图像；
若某一区域的信息熵H(x)大于预设阈值，该区域像素间差异较大，那么该区域的图像对应的事物处于动态状态，本申请中将处于动态状态的事物对应的图像定义为前景图像；反之该区域的信息熵H(x)小于预设阈值，该区域像素间差异较小，那么该区域的图像对应事物处于静止状态，将处于静止状态的事物对应的图像定义为背景图像。
最后，分割模块511依据前景图像在第一灰度图像中的占据的区域，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型。
第二终端520的第二传输模块523接收第一终端510发送的未被分割的第一帧视频序列以及第一终端510发送的第一背景模型，第二终端520的显示模块521将第一帧视频序列作为视频的第一帧在第二终端520的显示模块521上进行显示。
第一终端510的分割模块511将第二帧视频序列中相对于第一帧视频序列发生变化的区域进行前景分割，并且将分割后的前景图像传输第一传输模块513，以通过第一传输模块513传输至第二终端520的第二传输模块523。
第一终端510的分割模块511将第一帧视频序列作为静止不变的背景，其中第一帧视频序列中的像素点表示为b(x，y)，第j帧视频序列中的像素点表示为g(x，y，j)，则第二帧视频序列中的像素点为g(x，y，2)，将第二帧视频序列中的像素点的灰度值与第一帧视频序列中的像素点灰度值相减，即i d(x，y，2)＝g(x，y，2)-b(x，y)，得到灰度值发生变化了像素点所形成区域，从而将该区域作为前景图像从第二帧视频序列中进行了分割。
分割出来的前景图像中，如图4，其中A为分割出来的前景图像，是一个物体(例如：球体)的前一时刻的位置A1到后一时刻的位置A2相对应的图像变化情况，也就是分割出来的前景图像中的一部分为实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，即A2，该部分发送至第二终端后，用于在第一背景模型的基础上进行前景的覆盖。而分割出来的前景图像中的另一部分则为该运动或者外形发生变化的物体在前一帧视频序列中所占的区域，也就是在第一帧视频序列中所占的区域，即A1,该部分发送至第二终端后，用于在第一背景模型的基础上进行背景缺失部分的更新。
第二终端520的第二传输模块523接收第一终端510的第一传输模块513发送的前景图像，并且将前景图像发送至合成模块522；合成模块522将前景图像在第一背景模型上进行背景缺失部分更新，以将第一背景模型更新至第二背景模型，并且合成模块522在第二背景模型的基础上进行前景覆盖，将进行了前景覆盖的图像传输至显示模块521；显示模块521将进行了前景覆盖的图像作为视频的第二帧进行显示。
第二终端520的合成模块522将前景图像中的运动或者外形发生变化的物体在前一帧视频序列中所占的区域，也就是在第一帧视频序列中所占的区域，用于在第一背景模型的基础上进行背景缺失部分的更新，从而将第一背景模型更新为第二背景模型，以待后续接下来进一步更新背景模型。并且合成模块522将前景图像中实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，在第二背景模型的基础上进行前景覆盖，显示模块将进行前景覆盖了的图像作为视频的第二帧进行显示。
接下来，第一终端510的分割模块511将后一帧视频序列中相对于前一帧视频序列发生变化的区域进行前景分割，并且第一传输模块513将分割后的前景图像传输至第二终端520的第二传输模块523；第二终端520的合成模块522将前景图像在前一背景模型的基础进行背景缺失部分的更新，以更新至后一背景模型，并且进行前景覆盖，以使显示模块521将前景覆盖后的图像作为后一帧视频序列进行显示。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (4)

1.一种视频图像传输方法，其特征在于，包括如下步骤：
依据采集的视频图像建立第一背景模型，并且将视频图像的第一帧序列和建立的第一背景模型进行传输，以使传输后的第一帧视频序列作为视频的第一帧进行显示；
依据前N帧视频序列建立第一背景模型，具体包括如下子步骤：
分别将第一帧视频序列至第N帧视频序列转换为第一灰度图像至第N灰度图像；
依次计算第一灰度图像至第N灰度图像中的每个像素点的绝对梯度值，并且将每个灰度图像中的绝对梯度值大于阈值的像素点作为该灰度图像的边缘点；
第一帧视频序列对应的第一灰度图像是一个二维函数f(x，y)，其中x、y为第一灰度图像中的像素点的坐标值，计算每一个像素点的绝对梯度值M(x，y)＝|f(x，y)-f(x+1，y+1)|+|f(x+1，y)-f(x，y)+1|，若该像素点的绝对梯度值M(x，y)大于预设的阈值，则该像素点属于第一帧视频序列对应的第一灰度图像的边缘点；
依据上述公式对第二帧视频序列至第N帧视频序列对应的第二灰度图像至第N灰度图像中的每个像素点依次求绝对梯度值M(x，y)，并且将绝对梯度值M(x，y)大于预设的阈值的像素点分别作为相应的灰度图像的边缘点；
依据边缘点所包围的图像在N个灰度图像中的位置、形状信息，确定边缘点所包围的图像是否为正在运动或外形变化的物体对应的图像；
若边缘点所包围的图像为正在运动或外形变化的物体对应的图像，则将该图像定义为前景图像；
依据前景图像在第一灰度图像中的边缘点，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型；
将第二帧视频序列中相对于第一帧视频序列发生变化的区域进行前景分割，并且将分割后的前景图像进行传输；
将第一帧视频序列作为静止不变的背景，其中第一帧视频序列中的像素点表示为b(x，y)，将采集到的第j帧视频序列中的像素点表示为g(x，y，j)，则第二帧视频序列中的像素点为g(x，y，2)，将第二帧视频序列中的像素点的灰度值与第一帧视频序列中的像素点灰度值相减，即id(x，y，2)＝g(x，y，2)-b(x，y)，得到灰度值发生变化了的像素点所形成区域，将该区域作为前景图像从第二帧视频序列中进行了分割；
以使传输后前景图像在第一背景模型上进行背景缺失部分更新，以将第一背景模型更新至第二背景模型，并且将前景图像在第二背景模型的基础上进行前景覆盖，将进行了前景覆盖的图像作为视频的第二帧进行显示。
2.根据权利要求1所述的视频图像传输方法，其特征在于，前景图像中的运动或者外形发生变化的物体在第一帧视频序列中所占的区域，用于在第一背景模型的基础上进行背景缺失部分的更新；
前景图像中实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，用于在第二背景模型的基础上进行前景覆盖。
3.一种视频图像的传输系统，其特征在于，包括：第一终端和第二终端，第一终端包括：采集模块、分割模块和第一传输模块，第二终端包括：合成模块、显示模块和第二传输模块；
其中，采集模块采集视频图像的每一帧视频序列，分割模块依据采集的视频图像建立第一背景模型，第一传输模块将视频图像的第一帧序列和建立的第一背景模型向第二传输模块进行传输；
分割模块依据前N帧视频序列建立第一背景模型，具体包括：
分割模块分别将第一帧视频序列至第N帧视频序列转换为第一灰度图像至第N灰度图像；
分割模块依次计算第一灰度图像至第N灰度图像中的每个像素点的绝对梯度值，并且将每个灰度图像中的绝对梯度值大于阈值的像素点作为该灰度图像的边缘点；
第一帧视频序列对应的第一灰度图像是一个二维函数f(x，y)，其中x、y为第一灰度图像中的像素点的坐标值，计算每一个像素点的绝对梯度值M(x，y)＝|f(x，y)-f(x+1，y+1)|+|f(x+1，y)-f(x，y)+1|，若该像素点的绝对梯度值M(x，y)大于预设的阈值，则该像素点属于第一帧视频序列对应的第一灰度图像的边缘点；
依据上述公式对第二帧视频序列至第N帧视频序列对应的第二灰度图像至第N灰度图像中的每个像素点依次求绝对梯度值M(x，y)，并且将绝对梯度值M(x，y)大于预设的阈值的像素点分别作为相应的灰度图像的边缘点；
分割模块依据边缘点所包围的图像在N个灰度图像中的位置、形状信息，确定边缘点所包围的图像是否为正在运动或外形变化的物体对应的图像；
分割模块若边缘点所包围的图像为正在运动或外形变化的物体对应的图像，则将该图像定义为前景图像；
分割模块依据前景图像在第一灰度图像中的边缘点，在第一帧视频序列中进行前景和背景的分割，以形成第一背景模型；
第二传输模块接收第一帧视频序列和建立的第一背景模型进行传输，显示模块将第一帧视频序列作为视频的第一帧进行显示；
分割模块将第二帧视频序列中相对于第一帧视频序列发生变化的区域进行前景分割，第一传输模块将分割后的前景图像向第二传输模块进行传输；
分割模块将第一帧视频序列作为静止不变的背景，其中第一帧视频序列中的像素点表示为b(x，y)，将采集到的第j帧视频序列中的像素点表示为g(x，y，j)，则第二帧视频序列中的像素点为g(x，y，2)，将第二帧视频序列中的像素点的灰度值与第一帧视频序列中的像素点灰度值相减，即id(x，y，2)＝g(x，y，2)-b(x，y)，得到灰度值发生变化了的像素点所形成区域，将该区域作为前景图像从第二帧视频序列中进行了分割；
第二传输模块接收前景图像，合成模块将传输后前景图像在第一背景模型上进行背景缺失部分更新，以将第一背景模型更新至第二背景模型，并且将前景图像在第二背景模型的基础上进行前景覆盖，显示模块将进行了前景覆盖的图像作为视频的第二帧进行显示。
4.根据权利要求3所述的视频图像传输系统，其特征在于，合成模块将前景图像中的运动或者外形发生变化的物体在第一帧视频序列中所占的区域，用于在第一背景模型的基础上进行背景缺失部分的更新；
合成模块将前景图像中实际运动或者外形发生变化的物体在第二帧视频序列中所占的区域，用于在第二背景模型的基础上进行前景覆盖。
CN202010310945.9A 2020-04-20 2020-04-20 一种视频图像传输方法及传输系统 Active CN111526417B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010310945.9A CN111526417B (zh) 2020-04-20 2020-04-20 一种视频图像传输方法及传输系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010310945.9A CN111526417B (zh) 2020-04-20 2020-04-20 一种视频图像传输方法及传输系统

Publications (2)

Publication Number Publication Date
CN111526417A CN111526417A (zh) 2020-08-11
CN111526417B true CN111526417B (zh) 2021-09-17

Family

ID=71910700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010310945.9A Active CN111526417B (zh) 2020-04-20 2020-04-20 一种视频图像传输方法及传输系统

Country Status (1)

Country Link
CN (1) CN111526417B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784715B (zh) * 2020-08-13 2022-01-04 重庆七腾科技有限公司 一种图像分离方法及其系统
CN112601099A (zh) * 2020-12-01 2021-04-02 Oppo广东移动通信有限公司 直播图像处理方法及装置、存储介质和电子设备
CN114520879B (zh) * 2022-04-21 2022-09-06 浙江宇视科技有限公司 雷达视觉协同的视频采集方法及装置、系统、存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006473A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 视频编码器和编码方法以及视频解码器和解码方法
CN102006475A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 一种视频编解码装置和方法
CN103313061A (zh) * 2013-06-28 2013-09-18 汕头大学 一种自适应背景更新的视频压缩传输方法及系统
CN106327520A (zh) * 2016-08-19 2017-01-11 苏州大学 一种运动目标检测方法及系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7257252B2 (en) * 2001-12-12 2007-08-14 Sony Corporation Voting-based video background mosaicking
WO2003084235A1 (en) * 2002-03-28 2003-10-09 British Telecommunications Public Limited Company Video pre-processing
CN112585978B (zh) * 2018-07-30 2023-07-25 皇家Kpn公司 生成用于在vr中显示的复合视频流

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102006473A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 视频编码器和编码方法以及视频解码器和解码方法
CN102006475A (zh) * 2010-11-18 2011-04-06 无锡中星微电子有限公司 一种视频编解码装置和方法
CN103313061A (zh) * 2013-06-28 2013-09-18 汕头大学 一种自适应背景更新的视频压缩传输方法及系统
CN106327520A (zh) * 2016-08-19 2017-01-11 苏州大学 一种运动目标检测方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
《运动目标的前景与背景实时分割》;曹志刚等;《冶金自动化》;20101231;文章第2-3节 *

Also Published As

Publication number Publication date
CN111526417A (zh) 2020-08-11

Similar Documents

Publication Publication Date Title
CN111526417B (zh) 一种视频图像传输方法及传输系统
US10991076B2 (en) Image super-resolution method, image super-resolution device, and computer readable storage medium
CN111539273B (zh) 一种交通视频背景建模方法及系统
CN106875437B (zh) 一种面向rgbd三维重建的关键帧提取方法
CN108234882B (zh) 一种图像虚化方法及移动终端
CN106162177A (zh) 视频编码方法和装置
CN110827193A (zh) 基于多通道特征的全景视频显著性检测方法
CN109389569B (zh) 基于改进DehazeNet的监控视频实时去雾方法
US11917158B2 (en) Static video recognition
CN102194443A (zh) 视频画中画窗口的显示方法、系统及视频处理设备
CN110944160A (zh) 一种图像处理方法及电子设备
CN110868544A (zh) 一种拍摄方法及电子设备
CN111583357A (zh) 一种基于matlab系统的物体运动图像捕捉合成方法
CN110111272A (zh) 一种人工智能红外图像处理仪、控制系统及控制方法
CN110689498B (zh) 一种基于对非关注点部分分级模糊的高清视频优化方法
CN113205011B (zh) 图像掩膜确定方法及装置、存储介质和电子设备
CN111371962B (zh) 一种视频图像传输方法及传输系统
CN111797694B (zh) 一种车牌检测方法及装置
CN107369157A (zh) 一种自适应阈值Otsu图像分割方法及装置
CN111291663B (zh) 一种利用时空信息的快速视频目标物体分割方法
CN112365517A (zh) 一种基于图像颜色和密度特征的超像素分割方法
CN114913095B (zh) 基于域适应的深度去模糊方法
CN115660994B (zh) 一种基于区域最小二乘估计的图像增强方法
CN112446245A (zh) 一种基于运动边界小位移的高效运动表征方法及装置
CN115278189A (zh) 图像色调映射方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TA01 Transfer of patent application right

Effective date of registration: 20210903

Address after: 061000 203, floor 2, plant 69, small and micro enterprise science and technology entrepreneurship Park, Qinghai Avenue, high tech Zone, Cangzhou City, Hebei Province

Applicant after: Hebei Dashi Information Technology Co.,Ltd.

Address before: 102400 no.18-d11961, Jianshe Road, Kaixuan street, Liangxiang, Fangshan District, Beijing

Applicant before: Beijing yingmaiqi Technology Co.,Ltd.

TA01 Transfer of patent application right