CN110351564A - 一种文字清晰的视频压缩传输方法及系统 - Google Patents

Abstract

本发明公开了一种文字清晰的视频压缩传输方法及系统，包括对输入的原始图像进行检测，得到大小合适的文本区域图像集合；从原始图像中去除文本块图像，得到待编码图像；对待编码图像进行编码，得到主码流；对文本区域图像集合进行压缩编码，得到文字码流；将主码流和文字码流一起打包发送到客户端；客户端对接收到的主码流和文字码流进行解码，分别得到待编码图像和文本区域图像集合；将文本区域图像集合在待编码图像上进行图像叠加，得到解码还原后的最终图像。优点是：能够消除现有技术中文字信息的视频流在压缩传输过程中模糊的缺陷，在视频码流中能够确保视频中文字的清晰度。

Description

一种文字清晰的视频压缩传输方法及系统

技术领域

本发明涉及视频压缩传输领域，尤其涉及一种文字清晰的视频压缩传输方法及系统。

背景技术

计算机屏幕分享技术在网络教学系统和无纸化会议系统中有着重要作用，一般对计算机屏幕图像流进行抓取后进行视频压缩编码后通过网络传输到客户端显示，而为了适应网络带宽要求，视频编码一般采用压缩率比较大有损的压缩算法，到客户端显示的时候，由于压缩的原因，使得整体图像相对模糊了点，尤其压缩率大的时候，这时视频中的文字显得更加模糊，而且网络教学和无纸化会议中，文字的清晰度尤其重要，现有的视频压缩传输方法无法满足网络教学和无纸化会议中，文字的清晰度要求。

发明内容

本发明的目的在于提供一种文字清晰的视频压缩传输方法及系统，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种文字清晰的视频压缩传输方法，包括如下步骤，

S1、采用文字区域检测算法对输入的原始图像进行检测，得到大小合适的文本区域图像集合；

S2、根据得到的文本区域大小和位置信息，从原始图像中去除文本块图像，得到待编码图像；

S3、对待编码图像进行H264编码，得到主码流；采用文字块压缩编码算法对文本区域图像集合进行压缩编码，得到文字码流；

S4、将主码流和文字码流一起打包发送到客户端；

S5、客户端对接收到的主码流和文字码流进行解码，分别得到待编码图像和文本区域图像集合；

S6、将文本区域图像集合在待编码图像上进行图像叠加，得到解码还原后的最终图像。

优选的，所述文本区域图像集合包含文本图像集合和位置大小信息集合。

优选的，所述文字区域检测算法包括如下内容：

A1、采用最大稳定极值区域算法对输入的原始图像进行检测，得到文本矩形区域；

A2、采用非极大值抑制算法对文本矩形区域进行去重复区域得到去重叠文本矩形区域；

A3、采用最小外接矩形法对本身区域小、间隔小的去重叠文本矩形区域进行拼接，得到大小合适的文本区域图像集合。

优选的，所述文字块压缩编码算法具体包括如下内容，

B1、从文本区域图像集合中的文本区域图像集合序列中，分离出文本图像集合序列以及位置大小信息集合序列，并从文本图像集合序列以及位置大小信息集合序列中，查找前后帧位置大小不相同的第一文字区域和前后帧位置大小相同的第二文字区域；

B2、对第一文字区域进行JPEG编码，得到第一码流；

B3、对第二文字区域，取一定间隔的一帧作为关键帧，将关键帧采用JPEP编码，得到第二码流；对于非关键帧，取其前后帧文字区域图像差值，并对差值进行熵编码压缩得到第三码流；

B4、将第一码流、第二码流、第三码流以及位置大小信息序列进行打包，得到文字码流。

本发明的目的还在于提供一种文字清洗的视频压缩传输系统，所述传输系统用于实现上述任一所述的传输方法，所述传输系统包括，

文字检测模块；用于对输入的原始图像采用最大稳定极值区域算法检测出文本矩形区域，再结合非极大值抑制算法得到不重叠的文本矩形区域；若原始图形中包含的文字信息较多，则产生独立的去重叠文本矩形区域较多，则对去重叠文本矩形区域进行合并拼接，根据设定的阈值采用最小外接矩形法对较小的去重叠文本区域进行合并，得到大小合适的文本区域图像集合，便于下一步编码处理；

编码模块；用于对原始图像中提取的文本区域图像集合和待编码图像进行单独的编码，分别获取主码流和文字码流；

数据打包模块；用于对主码流和文字码流分别进行打包发送至客户端，其中主码流采用标准H264码流格式，增设帧号标识；文字码流则包含每个文字区域的位置、大小、数据包长度、图像数据以及对应待编码图像的帧号标识；

客户端；用于接收数据打包模块发送过来的主码流和文字码流，并对其进行解码，之后将文本区域图像集合在待编码图像上进行图像叠加，得到解码还原后的最终图像。

本发明的有益效果是：1、本发明通过在原始图像中提取文本区域图像集合和待编码图像，并对文本区域图像集合和待编码图像进行特定编码，将获取的文字码流与主码流一起传送到客户端，客户端分别解码两路码流后，得到文本区域图像集合和待编码图像，在待编码图像上叠加文本区域图像集合后再显示，确保在客户端看到视频中文字是清晰的。2、本发明能够消除现有技术中文字信息的视频流在压缩传输过程中模糊的缺陷，在视频码流中能够确保视频中文字的清晰度。

附图说明

图1是本发明实施例中传输方法的流程示意图；

图2是本发明实施例中视频压缩的流程示意图；

图3是本发明实施例中视频解压的流程示意图；

图4是本发明实施例中文字区域检测算法的流程示意图；

图5是本发明实施例中文字块压缩编码算法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不用于限定本发明。

实施例一

如图1至5所示，本实施例中提供了一种文字清晰的视频压缩传输方法，包括如下步骤，

S1、采用文字区域检测算法对输入的原始图像Y进行检测，得到大小合适的文本区域图像集合{c₀...c_m}；

S2、为了降低编码后的码率，根据得到的文本区域大小和位置信息，从原始图像Y中去除文本块图像，得到待编码图像Y'；

S3、对待编码图像Y'进行H264编码，得到主码流M_s；采用文字块压缩编码算法f₃对文本区域图像集合{c₀...c_m}进行压缩编码，得到文字码流M_t；

S4、将主码流M_s和文字码流M_t一起打包发送到客户端；也就是将两者的混合码流进行打包发送；

S5、客户端对接收到的主码流M_s和文字码M_t流进行解码，分别得到待编码图像Y'和文本区域图像集合{c₀...c_m}；

S6、将文本区域图像集合{c₀...c_m}在待编码图像Y'上进行图像叠加，得到解码还原后的最终图像(也就是原始图像Y)。

本实施例中，所述原始图像就是被压缩视频的视频图像帧。

本实施例中，所述文本区域图像集合{c₀...c_m}包含文本图像集合{b₀...b_m}和位置大小信息集合{p₀...p_m}。

本实施例中，所述文字区域检测算法包括如下内容：

A1、采用最大稳定极值区域算法(MSER)对输入的原始图像Y进行检测，得到文本矩形区域{t₀...t_k}；

A2、采用非极大值抑制算法(NMS)对文本矩形区域{t₀...t_k}进行去重复区域得到去重叠文本矩形区域{r₀...r_m}；

A3、采用最小外接矩形法对本身区域小、间隔小的去重叠文本矩形区域{r₀...r_m}进行拼接，得到大小合适的文本区域图像集合{c₀...c_m}。

本实施例中，所述文字块压缩编码算法具体包括如下内容，

B1、从文本区域图像集合{c₀...c_m}中的文本区域图像集合序列{c₀...c_m}_n中，分离出文本图像集合序列{b₀...b_m}_n以及位置大小信息集合序列{p₀...p_m}_n，并从文本图像集合序列{b₀...b_m}_n以及位置大小信息集合序列{p₀...p_m}_n中，查找前后帧位置大小

将关键帧I采用JPEP编码，得到第二码流M₂；对于非关键帧，取其前后帧文字区域图像差值并对差值进行熵编码压缩得到第三码流M₃；

B4、将第一码流M₁、第二码流M₂、第三码流M₃以及位置大小信息序列{p₀...p_m}_n进行打包，得到文字码流M_t。

实施例二

本实施例中提供了一种文字清洗的视频压缩传输系统，所述传输系统用于实现传输方法，所述传输系统包括，

文字检测模块；用于对输入的原始图像采用最大稳定极值区域算法检测出文本矩形区域，再结合非极大值抑制算法得到不重叠的文本矩形区域；若原始图形中包含的文字信息较多，则产生独立的去重叠文本矩形区域较多，则对去重叠文本矩形区域进行合并拼接，根据设定的阈值采用最小外接矩形法对较小的去重叠文本区域进行合并，得到大小合适的文本区域图像集合，便于下一步编码处理；

编码模块；用于对原始图像中提取的文本区域图像集合和待编码图像进行单独的编码，分别获取主码流和文字码流；一般文字在视频中会有时间停留，文字区域在一段视频帧中会有很多是连续相同的，利用这个特性，为了最小限度的降低码流，对文字区域位置、大小相同的区域采用前后帧差值，对差值再进行熵编码，对于前后帧单独的文字区域单独采用JPEG编码，得到的压缩数据和文本区域的位置、大小信息一起组合打包成数据包发送；

数据打包模块；对主码流和文字码流分别进行打包，主码流采用标准H264码流格式，增设帧号标识；文字码流则包含每个文字区域的位置、大小、数据包长度、图像数据以及对应待编码图像的帧号标识；

客户端；用于接收数据打包模块发送过来的主码流和文字码流，并对其进行解码，之后将文本区域图像集合在待编码图像上进行图像叠加，得到解码还原后的最终图像。

通过采用本发明公开的上述技术方案，得到了如下有益的效果：

本发明提供了一种文字清晰的视频压缩传输方法及系统，通过在原始图像中提取文本区域图像集合和待编码图像，并对文本区域图像集合和待编码图像进行特定编码，将获取的文字码流与主码流一起传送到客户端，客户端分别解码两路码流后，得到文本区域图像集合和待编码图像，在待编码图像上叠加文本区域图像集合后再显示，确保在客户端看到视频中文字是清晰的；而且本发明能够消除现有技术中文字信息的视频流在压缩传输过程中模糊的缺陷，在视频码流中能够确保视频中文字的清晰度。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视本发明的保护范围。

Claims (5)

1.一种文字清晰的视频压缩传输方法，其特征在于：包括如下步骤，

S1、采用文字区域检测算法对输入的原始图像进行检测，得到大小合适的文本区域图像集合；

S2、根据得到的文本区域大小和位置信息，从原始图像中去除文本块图像，得到待编码图像；

S3、对待编码图像进行H264编码，得到主码流；采用文字块压缩编码算法对文本区域图像集合进行压缩编码，得到文字码流；

S4、将主码流和文字码流一起打包发送到客户端；

S5、客户端对接收到的主码流和文字码流进行解码，分别得到待编码图像和文本区域图像集合；

S6、将文本区域图像集合在待编码图像上进行图像叠加，得到解码还原后的最终图像。

2.根据权利要求1所述的文字清晰的视频压缩传输方法，其特征在于：所述文本区域图像集合包含文本图像集合和位置大小信息集合。

3.根据权利要求1所述的文字清晰的视频压缩传输方法，其特征在于：所述文字区域检测算法包括如下内容：

A1、采用最大稳定极值区域算法对输入的原始图像进行检测，得到文本矩形区域；

A2、采用非极大值抑制算法对文本矩形区域进行去重复区域得到去重叠文本矩形区域；

A3、采用最小外接矩形法对本身区域小、间隔小的去重叠文本矩形区域进行拼接，得到大小合适的文本区域图像集合。

4.根据权利要求1所述的文字清晰的视频压缩传输方法，其特征在于：所述文字块压缩编码算法具体包括如下内容，

B1、从文本区域图像集合中的文本区域图像集合序列中，分离出文本图像集合序列以及位置大小信息集合序列，并从文本图像集合序列以及位置大小信息集合序列中，查找前后帧位置大小不相同的第一文字区域和前后帧位置大小相同的第二文字区域；

B2、对第一文字区域进行JPEG编码，得到第一码流；

B3、对第二文字区域，取一定间隔的一帧作为关键帧，将关键帧采用JPEP编码，得到第二码流；对于非关键帧，取其前后帧文字区域图像差值，并对差值进行熵编码压缩得到第三码流；

B4、将第一码流、第二码流、第三码流以及位置大小信息序列进行打包，得到文字码流。

5.一种文字清洗的视频压缩传输系统，其特征在于：所述传输系统用于实现上述权利要求1至4任一所述的传输方法，所述传输系统包括，

文字检测模块；用于对输入的原始图像采用最大稳定极值区域算法检测出文本矩形区域，再结合非极大值抑制算法得到不重叠的文本矩形区域；若原始图形中包含的文字信息较多，则产生独立的去重叠文本矩形区域较多，则对去重叠文本矩形区域进行合并拼接，根据设定的阈值采用最小外接矩形法对较小的去重叠文本区域进行合并，得到大小合适的文本区域图像集合，便于下一步编码处理；

编码模块；用于对原始图像中提取的文本区域图像集合和待编码图像进行单独的编码，分别获取主码流和文字码流；

数据打包模块；用于对主码流和文字码流分别进行打包发送至客户端，其中主码流采用标准H264码流格式，增设帧号标识；文字码流则包含每个文字区域的位置、大小、数据包长度、图像数据以及对应待编码图像的帧号标识；

客户端；用于接收数据打包模块发送过来的主码流和文字码流，并对其进行解码，之后将文本区域图像集合在待编码图像上进行图像叠加，得到解码还原后的最终图像。