CN106101176B - 一种一体化的融媒体云生产发布系统与方法 - Google Patents

一种一体化的融媒体云生产发布系统与方法 Download PDF

Info

Publication number
CN106101176B
CN106101176B CN201610361469.7A CN201610361469A CN106101176B CN 106101176 B CN106101176 B CN 106101176B CN 201610361469 A CN201610361469 A CN 201610361469A CN 106101176 B CN106101176 B CN 106101176B
Authority
CN
China
Prior art keywords
cloud
subsystem
data
docker
mirror image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610361469.7A
Other languages
English (en)
Other versions
CN106101176A (zh
Inventor
王威
刘云
张洁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Sobey Digital Technology Co Ltd
Original Assignee
Chengdu Sobey Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Sobey Digital Technology Co Ltd filed Critical Chengdu Sobey Digital Technology Co Ltd
Priority to CN201610361469.7A priority Critical patent/CN106101176B/zh
Publication of CN106101176A publication Critical patent/CN106101176A/zh
Application granted granted Critical
Publication of CN106101176B publication Critical patent/CN106101176B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/08—Protocols specially adapted for terminal emulation, e.g. Telnet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/55—Push-based network services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/56—Provisioning of proxy services
    • H04L67/565—Conversion or adaptation of application format or content
    • H04L67/5651—Reducing the amount or size of exchanged application data

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种一体化的融媒体云生产发布系统与方法，所述的系统包括Docker引擎，用于创建Docker镜像和Docker容器，并推送给环境测试子系统；测试环境子系统，用于对创建的Docker镜像和Docker容器进行测试，测试通过后推送给云平台部署子系统；云平台部署子系统，用于在云端服务器上对测试环境子系统推送的Docker镜像进行部署；云采集子系统，用于获取网络数据；云存储子系统，用于存储云采集子系统获得的数据并提供统一的访问接口；云分析子系统，用于对云存储子系统中的数据进行加工制作；云发布子系统，用于对云分析子系统处理后的数据进行发布。本发明能够将开发、测试、部署、生产分发流程一体化，实现融媒体生产分发系统负载均衡、降低资源部署开销、云平台高效生产。

Description

一种一体化的融媒体云生产发布系统与方法
技术领域
本发明涉及一种一体化的融媒体云生产发布系统与方法。
背景技术
云计算是一个巨大的IT资源共享池，池中包括了存储器、服务、网络和应用等，并且池中的资源能够自动快速地进行更新与计算；云计算的特征有具备大规模计算能力与高强度集成性、设置虚拟资源池、采用分布式数据计算模式确保系统安全保障、模块化设计来提升扩展性、软硬件互不依赖，为广播电视行业的融媒体大数据提供了新的管理与生产模式；从开发环境层面，最近比较流行的Docker使用轻量级的容器虚拟平台，结合工作量和工具来管理和部署应用程序，并且跨入了云端时代；为了应对大数据模式下的融媒体内容的高效生产发布，依托云计算技术来实施融媒体资源的获取、存储、加工、发布将会成为广播电视行业技术的重大改造，现有系统与方法存在的问题主要有以下两方面：
1、现有用于统一融媒体生产发布系统开发团队的开发环境不便于频繁更新，启动销毁速度非常缓慢，对并行开发场景尤其是快速迭代的开发周期的支持效果不佳，效率极低。
2、采用本地部署融媒体生产发布系统时，存在耗时长、硬件成本高、低可扩展性、升级维护困难等问题，并且网络资源采集、数据存储、数据分析处理、媒体内容分发等方面都存在难以避免的局限性。
发明内容
本发明的目的在于克服现有技术的不足，提供一种一体化的融媒体云生产发布系统与方法，能够将开发、测试、部署、生产分发流程一体化，实现融媒体生产分发系统负载均衡、降低资源部署开销、云平台高效生产。
本发明的目的是通过以下技术方案来实现的：一种一体化的融媒体云生产发布系统，包括：
Docker引擎，用于创建Docker镜像和Docker容器，并推送给环境测试子系统；
测试环境子系统，用于对创建的Docker镜像和Docker容器进行测试，测试通过后推送给云平台部署子系统；
云平台部署子系统，用于在云端服务器上对测试环境子系统推送的Docker镜像进行部署；
云采集子系统，用于获取网络数据；
云存储子系统，用于存储云采集子系统获得的数据并提供统一的访问接口；
云分析子系统，用于对云存储子系统中的数据进行加工制作；
云发布子系统，用于对云分析子系统处理后的数据进行发布。
所述的Docker引擎包括：
Docker镜像创建模块，用于根据开发者命令创建Docker镜像；创建的Docker镜像包含一个运行在Apache上的Web应用程序和其使用的Ubuntu操作系统，Web应用程序包括种子URL、URL队列、安装包和协议；
Docker容器创建模块，用于根据Docker镜像生成对应的Docker容器，包含Web应用程序运行所需的所有环境；
Docker仓库，用于对Docker镜像对应的Docker容器进行存储。
所述的云采集子系统包括爬虫集群和ETL集群：
所述的爬虫集群负责数据提取，包括：
URL控制器，用于将部署在云端服务器的种子URL和从网页提取的URL存至URL数据库，自动重复检测新加添的URL并实现快速插入；
数据提取器，用于结合云端服务器部署的URL队列和网页提取的URL，利用查询探测算法采取模式匹配输入形成新的URL传给网页提取器；
搜索控制器，根据搜索策略对不同网络爬取目标设置不同的提取深度，对于符合提取的网页内容，将页面存入云存储子系统的页面库中，等待索引模块的结构化；
网页提取器，用于以多线程并行的方式根据http协议抓取网页；
状态日志，用于根据时间戳以纯文本形式来记录爬取的对象、时刻、当前系统并发连接数、系统CPU的状态信息；
所述的ETL集群用于将数据从来源端经过抽取、转换、装载到目的端，包括：
抽取模块，用于通过ETL库表抽取的方式，从各种原始的业务系统中读取数据；
转换模块，用于按照预设规则将抽取出的数据进行转换，采用异步数据加载并以文件方式处理，使本来异构的数据格式统一；
装载模块，用于将转换完的数据按照增量或全部导入数据仓库中。
所述的云分析子系统包括云编辑模块和云转码模块：
云编辑模块用于对文字、图片、纯音频、视音频进行加工制作；
云转码模块用于完成视频编解码的转换，以流的形式打开视频文件，获取视频流机器编码格式，从视频流中读取视频的帧数据，并根据获得的编码信息对视频的帧数据进行解码还原成原始数据，再对原始数据进行编码压缩，形成目标编码格式的帧数。
一种一体化的融媒体云生产发布方法，包括以下步骤：
S1.开发者通过Docker引擎构建Docker镜像和Docker容器，并进行保存；
S2.测试环境子系统对Docker镜像和Docker容器进行测试，测试通过后将Docker镜像和Docker容器推送给云平台部署子系统；
S3.云平台部署子系统在云端服务器上对测试环境子系统推送的Docker镜像进行部署；
S4.云采集子系统获取网络数据，并将采集到的数据存保存到云存储子系统中；
S5.云分析子系统对云存储子系统中保存的数据进行加工制作；
S6.云发布子系统用于对加工制作后的数据进行发布。
所述的步骤S1包括以下子步骤：
S11.开发者通过Docker引擎构建Docker镜像，所述的Docker镜像包含一个运行在Apache上的Web应用程序和其使用的Ubuntu操作系统，Web应用程序包括种子URL、URL队列、安装包和协议；
S12.开发者通过Docker引擎根据创建Docker容器，所述的创建Docker容器包括Web应用程序运行所需的所有环境；
S13.Docker引擎将Docker镜像和Docker容器进行保存，并传输给测试环境子系统。
所述的步骤S4包括以下步骤：
S41.爬虫集群初始化运行参数；
S42.爬虫集群将部署在云端服务器的种子URL和从网页提取的URL存至URL数据库，自动重复检测新加添的URL并实现快速插入，按照种子队列选取相对应的主题网页用作一系列目标信息的初始位置网页；
S43.ETL集群将爬虫集群提取的数据从来源端经过抽取、转换后装载到目的端；
S44.将提取的网页存入云存储子系统的页面库中，页面库分析所提取的网页，提取关键字段形成索引并根据生成的索引地址快速定位融媒体内容的物理地址，同时将融媒体内容元数据描述、文稿内容抽取出来作为发布的主要标签字段。
所述的步骤S5包括步骤：
S51.获取云存储系统的中的数据；
S52.采用统一用户管理的多样化编辑工具对文字、图片、纯音频、视音频进行加工制作；
S53.针对视频文件，以流的形式打开视频文件，获取视频流机器编码格式，从视频流中读取视频的帧数据，根据获得的编码信息对视频的帧数据进行解码还原成原始数据，再对原始数据进行编码压缩，从而形成目标编码格式的帧数据。
本发明的有益效果是：结合Docker和云计算技术，实现开发、测试、部署和生产的流程一体化，并以系统负载均衡、降低资源部署开销、云平台高效生产为原则，投入少、传播快、效果佳、高效可靠的。
附图说明
图1为本发明的系统原理框图。
图2为本发明的流程图。
图3为实施例一的示意图。
具体实施方式
下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。
如图1所示，一种一体化的融媒体云生产发布系统，包括：
Docker引擎，用于创建Docker镜像和Docker容器，并推送给环境测试子系统；
测试环境子系统，用于对创建的Docker镜像和Docker容器进行测试，测试通过后推送给云平台部署子系统；
云平台部署子系统，用于在云端服务器上对测试环境子系统推送的Docker镜像进行部署；
云采集子系统，用于获取网络数据；
云存储子系统，用于存储云采集子系统获得的数据并提供统一的访问接口；
云分析子系统，用于对云存储子系统中的数据进行加工制作；
云发布子系统，用于对云分析子系统处理后的数据进行发布。
所述的Docker引擎包括：
Docker镜像创建模块，用于根据开发者命令创建Docker镜像；创建的Docker镜像包含一个运行在Apache上的Web应用程序和其使用的Ubuntu操作系统，Web应用程序包括种子URL、URL队列、安装包和协议；
Docker容器创建模块，用于根据Docker镜像生成对应的Docker容器，包含Web应用程序运行所需的所有环境；可以运行、开始、停止、移动和删除；
Docker仓库，用于对Docker镜像对应的Docker容器进行存储。
所述的云采集子系统包括爬虫集群和ETL集群：
所述的爬虫集群负责数据提取，包括：
URL控制器，用于将部署在云端服务器的种子URL和从网页提取的URL存至URL数据库，自动重复检测新加添的URL并实现快速插入；
数据提取器，用于结合云端服务器部署的URL队列和网页提取的URL，利用查询探测算法采取模式匹配输入形成新的URL传给网页提取器；
搜索控制器，根据搜索策略对不同网络爬取目标设置不同的提取深度，对于符合提取的网页内容，将页面存入云存储子系统的页面库中，等待索引模块的结构化；
网页提取器，用于以多线程并行的方式根据http协议抓取网页；
状态日志，用于根据时间戳以纯文本形式来记录爬取的对象、时刻、当前系统并发连接数、系统CPU的状态信息，进一步可用于服务器性能瓶颈的研究分析；
所述的ETL集群用于将数据从来源端经过抽取、转换、装载到目的端，包括：
抽取模块，用于通过ETL库表抽取的方式，从各种原始的业务系统中读取数据；
转换模块，用于按照预设规则将抽取出的数据进行转换，采用异步数据加载并以文件方式处理，使本来异构的数据格式统一；
装载模块，用于将转换完的数据按照增量或全部导入数据仓库中。
所述的云分析子系统包括云编辑模块和云转码模块：
云编辑模块利用轻量级的多样化的编辑工具对文字、图片、纯音频、视音频进行加工制作；多样化的编辑工具采用统一用户管理，并且只要是用统一客户端登录云服务器，则不管利用什么工具（手机、平板、PC）都能立即调出该客户端内的所有存储数据，包括保存的资源、编辑内容以及作业完成进度。
云转码模块用于完成视频编解码的转换，以流的形式打开视频文件，获取视频流机器编码格式，从视频流中读取视频的帧数据，并根据获得的编码信息对视频的帧数据进行解码还原成原始数据，再对原始数据进行编码压缩，形成目标编码格式的帧数。
如图2所示，一种一体化的融媒体云生产发布方法，包括以下步骤：
S1.开发者通过Docker引擎构建Docker镜像和Docker容器，并进行保存；
S2.测试环境子系统对Docker镜像和Docker容器进行测试，测试通过后将Docker镜像和Docker容器推送给云平台部署子系统；
S3.云平台部署子系统在云端服务器上对测试环境子系统推送的Docker镜像进行部署；
S4.云采集子系统获取网络数据，并将采集到的数据存保存到云存储子系统中；
S5.云分析子系统对云存储子系统中保存的数据进行加工制作；
S6.云发布子系统用于对加工制作后的数据进行发布。
所述的步骤S1包括以下子步骤：
S11.开发者通过Docker引擎构建Docker镜像，所述的Docker镜像包含一个运行在Apache上的Web应用程序和其使用的Ubuntu操作系统，Web应用程序包括种子URL、URL队列、安装包和协议；
S12.开发者通过Docker引擎根据创建Docker容器，所述的创建Docker容器包括Web应用程序运行所需的所有环境；
S13.Docker引擎将Docker镜像和Docker容器进行保存，并传输给测试环境子系统。
所述的步骤S4包括以下步骤：
S41.爬虫集群初始化运行参数；
该运行参数包括爬虫使用的最大线程数量、初始种子网站、种子队列、爬虫爬取最大深度大小、主题描述及其提取频率、词库路径和内容分析使用参数；
S42.爬虫集群将部署在云端服务器的种子URL和从网页提取的URL存至URL数据库，自动重复检测新加添的URL并实现快速插入，按照种子队列选取相对应的主题网页用作一系列目标信息的初始位置网页；
S43.ETL集群将爬虫集群提取的数据从来源端经过抽取、转换后装载到目的端；
S44.将提取的网页存入云存储子系统的页面库中，页面库分析所提取的网页，提取关键字段形成索引并根据生成的索引地址快速定位融媒体内容的物理地址，同时将融媒体内容元数据描述、文稿内容抽取出来作为发布的主要标签字段。
所述的步骤S5包括步骤：
S51.获取云存储系统的中的数据；
S52.采用统一用户管理的多样化编辑工具对文字、图片、纯音频、视音频进行加工制作；
S53.针对视频文件，以流的形式打开视频文件，获取视频流机器编码格式，从视频流中读取视频的帧数据，根据获得的编码信息对视频的帧数据进行解码还原成原始数据，再对原始数据进行编码压缩，从而形成目标编码格式的帧数据。
实施例一，如图3所示，本发明在具体应用时，包括以下步骤：
S1001.开发者通过Docker在本地进行包含应用程序和服务的容器开发，然后集成到连续的一体化和部署工作流中:
A1、开发者将代码push到Docker仓库中，持续集成（CI）工具取得最新代码，构建Docker镜像并启动Docker容器进行测试；
A2、测试通过后将镜像打标签并push到私有镜像Registry；
A3、持续集成(CI)工具通知持续部署（CD）工具；
A4、持续部署(CD)工具在云端服务器上进行基于容器的部署；
A5、测试没有问题后进行容器的切换；
S002.爬虫集群初始化运行参数，所述的运行参数有爬虫使用的最大线程数量、初始种子网站、种子队列、爬虫爬取最大深度大小、主题描述及其提取频率、词库路径和内容分析使用参数；
S003.URL控制器将云平台部署的种子URL和从网页提取的URL存至URL数据库，自动重复检测新加添的URL并实现快速插入，按照种子队列选取相对应的主题网页用作一系列目标信息的初始位置网页；
S004.ETL集群将爬取数据从来源端经过抽取、转换、装载到目的端：
B1、从各种原始的业务系统中读取数据，采用的是ETL库表抽取策略，即将数据库中的指定列的值存入目标文件中；
B2、按照预先设计好的规则将抽取出的数据进行转换，采用异步数据加载以文件方式处理策略，使本来异构的数据格式能统一起来：具体而言，
首先，提取出正常返回的日期、长度、页面类型、页面内容信息，为了确保页面内容信息完整性，对于内容较多的长页面采取分块读取再拼接的策略；
然后，启动数据分析器用于解析已经保存的网页内容信息，分析策略包括检索内容相关度分析和链接相关度分析；
B3、将转换完的数据按照增量或全部导入数据仓库中；
S005.将步骤S4提取的网页存入云存储子系统的页面库中，页面库分析所提取的网页，提取关键字段形成索引并根据生成的索引地址快速定位融媒体内容的物理地址，同时将融媒体内容元数据描述、文稿内容抽取出来作为发布的主要标签字段；
S006：云编辑模块获取云存储系统的中的数据，其中采用统一用户管理的多样化编辑工具对文字、图片、纯音频、视音频进行加工制作；
S007.针对视频文件，云转码模块以流的形式打开视频文件，获取视频流机器编码格式，从视频流中读取视频的帧数据，根据获得的编码信息对视频的帧数据进行解码还原成原始数据，再对原始数据进行编码压缩，从而形成目标编码格式的帧数据。
S008：云分发服务器收到处理完成的发布任务，调相应发布渠道的接口将任务发布到相应的渠道。

Claims (8)

1.一种一体化的融媒体云生产发布系统，其特征在于：包括：
Docker引擎，用于创建Docker镜像和Docker容器，并推送给测试 环境子系统；
测试环境子系统，用于对创建的Docker镜像和Docker容器进行测试，测试通过后推送给云平台部署子系统；
云平台部署子系统，用于在云端服务器上对测试环境子系统推送的Docker镜像进行部署；
云采集子系统，用于获取网络数据；
云存储子系统，用于存储云采集子系统获得的数据并提供统一的访问接口；
云分析子系统，用于对云存储子系统中的数据进行加工制作；
云发布子系统，用于对云分析子系统处理后的数据进行发布。
2.根据权利要求1所述的一种一体化的融媒体云生产发布系统，其特征在于：所述的Docker引擎包括：
Docker镜像创建模块，用于根据开发者命令创建Docker镜像；创建的Docker镜像包含一个运行在Apache上的Web应用程序和其使用的Ubuntu操作系统，Web应用程序包括种子URL、URL队列、安装包和协议；
Docker容器创建模块，用于根据Docker镜像生成对应的Docker容器，包含Web应用程序运行所需的所有环境；
Docker仓库，用于对Docker镜像对应的Docker容器进行存储。
3.根据权利要求1所述的一种一体化的融媒体云生产发布系统，其特征在于：所述的云采集子系统包括爬虫集群和ETL集群：
所述的爬虫集群负责数据提取，包括：
URL控制器，用于将部署在云端服务器的种子URL和从网页提取的URL存至URL数据库，自动重复检测新加添的URL并实现快速插入；
数据提取器，用于结合云端服务器部署的URL队列和网页提取的URL，利用查询探测算法采取模式匹配输入形成新的URL传给网页提取器；
搜索控制器，根据搜索策略对不同网络爬取目标设置不同的提取深度，对于符合提取的网页内容，将页面存入云存储子系统的页面库中，等待索引模块的结构化；
网页提取器，用于以多线程并行的方式根据http协议抓取网页；
状态日志，用于根据时间戳以纯文本形式来记录爬取的对象、时刻、当前系统并发连接数、系统CPU的状态信息；
所述的ETL集群用于将数据从来源端经过抽取、转换后装载到目的端，包括：
抽取模块，用于通过ETL库表抽取的方式，从各种原始的业务系统中读取数据；
转换模块，用于按照预设规则将抽取出的数据进行转换，采用异步数据加载并以文件方式处理，使本来异构的数据格式统一；
装载模块，用于将转换完的数据按照增量或全部导入数据仓库中。
4.根据权利要求1所述的一种一体化的融媒体云生产发布系统，其特征在于：所述的云分析子系统包括云编辑模块和云转码模块：
云编辑模块用于对文字、图片、纯音频、视音频进行加工制作；
云转码模块用于完成视频编解码的转换，以流的形式打开视频文件，获取视频流机器编码格式，从视频流中读取视频的帧数据，并根据获得的编码信息对视频的帧数据进行解码还原成原始数据，再对原始数据进行编码压缩，形成目标编码格式的帧数。
5.一种一体化的融媒体云生产发布方法，其特征在于：包括以下步骤：
S1.开发者通过Docker引擎构建Docker镜像和Docker容器，并进行保存；
S2.测试环境子系统对Docker镜像和Docker容器进行测试，测试通过后将Docker镜像和Docker容器推送给云平台部署子系统；
S3.云平台部署子系统在云端服务器上对测试环境子系统推送的Docker镜像进行部署；
S4.云采集子系统获取网络数据，并将采集到的数据存保存到云存储子系统中；
S5.云分析子系统对云存储子系统中保存的数据进行加工制作；
S6.云发布子系统用于对加工制作后的数据进行发布。
6.根据权利要求5所述的一种一体化的融媒体云生产发布方法，其特征在于：所述的步骤S1包括以下子步骤：
S11.开发者通过Docker引擎构建Docker镜像，所述的Docker镜像包含一个运行在Apache上的Web应用程序和其使用的Ubuntu操作系统，Web应用程序包括种子URL、URL队列、安装包和协议；
S12.开发者通过Docker引擎根据创建Docker容器，所述的创建Docker容器包括Web应用程序运行所需的所有环境；
S13.Docker引擎将Docker镜像和Docker容器进行保存，并传输给测试环境子系统。
7.根据权利要求5所述的一种一体化的融媒体云生产发布方法，其特征在于：所述的步骤S4包括以下步骤：
S41.爬虫集群初始化运行参数；
S42.爬虫集群将部署在云端服务器的种子URL和从网页提取的URL存至URL数据库，自动重复检测新加添的URL并实现快速插入，按照种子队列选取相对应的主题网页用作一系列目标信息的初始位置网页；
S43.ETL集群将爬虫集群提取的数据从来源端经过抽取、转换后装载到目的端；
S44.将提取的网页存入云存储子系统的页面库中，页面库分析所提取的网页，提取关键字段形成索引并根据生成的索引地址快速定位融媒体内容的物理地址，同时将融媒体内容元数据描述、文稿内容抽取出来作为发布的主要标签字段。
8.根据权利要求5所述的一种一体化的融媒体云生产发布方法，其特征在于：所述的步骤S5包括步骤：
S51.获取云存储系统的中的数据；
S52.采用统一用户管理的多样化编辑工具对文字、图片、纯音频、视音频进行加工制作；
S53.针对视频文件，以流的形式打开视频文件，获取视频流机器编码格式，从视频流中读取视频的帧数据，根据获得的编码信息对视频的帧数据进行解码还原成原始数据，再对原始数据进行编码压缩，从而形成目标编码格式的帧数据。
CN201610361469.7A 2016-05-27 2016-05-27 一种一体化的融媒体云生产发布系统与方法 Active CN106101176B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610361469.7A CN106101176B (zh) 2016-05-27 2016-05-27 一种一体化的融媒体云生产发布系统与方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610361469.7A CN106101176B (zh) 2016-05-27 2016-05-27 一种一体化的融媒体云生产发布系统与方法

Publications (2)

Publication Number Publication Date
CN106101176A CN106101176A (zh) 2016-11-09
CN106101176B true CN106101176B (zh) 2019-04-12

Family

ID=57229469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610361469.7A Active CN106101176B (zh) 2016-05-27 2016-05-27 一种一体化的融媒体云生产发布系统与方法

Country Status (1)

Country Link
CN (1) CN106101176B (zh)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106790663A (zh) * 2017-01-22 2017-05-31 济南浪潮高新科技投资发展有限公司 基于Docker的网络存储系统的实现方法
CN106802807B (zh) * 2017-02-20 2020-07-24 深圳市冬泉谷信息技术有限公司 基于容器平台的应用交付方法、容器平台及应用交付系统
CN106899669B (zh) * 2017-02-23 2020-09-18 苏州浪潮智能科技有限公司 一种基于Registry的企业容器镜像建立方法和装置
CN107301063B (zh) * 2017-05-10 2020-07-31 北京奇艺世纪科技有限公司 一种镜像管理方法及装置
CN107248986A (zh) * 2017-06-08 2017-10-13 医惠科技有限公司 一种服务托管方法
CN107657053A (zh) * 2017-10-17 2018-02-02 山东浪潮云服务信息科技有限公司 一种爬虫实现方法及装置
CN108021608A (zh) * 2017-10-31 2018-05-11 赛尔网络有限公司 一种基于Docker的轻量级网站部署方法
CN108108230A (zh) * 2018-01-26 2018-06-01 成都精灵云科技有限公司 基于docker的云平台发布系统
CN108809981B (zh) * 2018-06-11 2021-04-09 西安博达软件股份有限公司 一种支持多终端的融媒体发布信息生成系统及方法
CN110020060B (zh) * 2018-07-18 2023-03-14 平安科技（深圳）有限公司 网页数据爬取方法、装置及存储介质
CN110865636A (zh) * 2018-08-10 2020-03-06 深圳先进技术研究院 基于Docker容器的云机器人导航系统及其工作方法
CN109358858B (zh) * 2018-09-19 2022-03-22 网易（杭州）网络有限公司 自动化部署方法、装置、介质及电子设备
CN109885378A (zh) * 2019-01-04 2019-06-14 平安科技（深圳）有限公司 模型训练方法、装置、计算机设备及计算机可读存储介质
CN109783110A (zh) * 2019-02-19 2019-05-21 安徽智融景和科技有限公司 融媒体系统服务器部署软件系统
CN109839651A (zh) * 2019-02-21 2019-06-04 深圳市品优移动通讯设备有限公司 一种基于LoRa技术的户外探险应急管理系统
CN110321290B (zh) * 2019-06-27 2023-07-18 深圳前海微众银行股份有限公司 测试环境构建方法、装置、设备及计算机可读存储介质
CN111176834A (zh) * 2019-12-09 2020-05-19 中国平安财产保险股份有限公司 自动伸缩策略运维方法、系统和可读存储介质
CN111143369B (zh) * 2019-12-27 2023-02-07 合肥美的智能科技有限公司 云端业务数据转存方法及装置、本地服务器及电子设备
CN112118233B (zh) * 2020-08-26 2022-12-06 北京博睿维讯科技有限公司 一种数据传输方法、装置、系统及存储介质
CN112131023B (zh) * 2020-09-23 2023-08-11 平安科技（深圳）有限公司 应用容器引擎的消息处理系统、方法、设备及存储介质
CN113177022A (zh) * 2021-04-29 2021-07-27 东北大学 铝/铜板带材生产全流程大数据存储方法
CN113704662A (zh) * 2021-08-23 2021-11-26 福建亿榕信息技术有限公司 一种一体化的融媒体云生产发布方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI507891B (zh) * 2012-03-23 2015-11-11 Egis Technology Inc 具雲端儲存空間管理功能之電子裝置、雲端儲存系統、其方法及其電腦程式產品
CN104468282B (zh) * 2014-12-23 2018-05-08 上海携程商务有限公司 集群监控处理系统及方法
CN104463492B (zh) * 2014-12-23 2017-12-26 国家电网公司 一种电力系统云仿真平台的运营管理方法
CN105245373B (zh) * 2015-10-12 2017-08-04 天津市普迅电力信息技术有限公司 一种容器云平台系统的搭建及运行方法
CN105354076B (zh) * 2015-10-23 2019-01-25 北京云端光科技术有限公司 一种应用部署方法及装置

Also Published As

Publication number Publication date
CN106101176A (zh) 2016-11-09

Similar Documents

Publication Publication Date Title
CN106101176B (zh) 一种一体化的融媒体云生产发布系统与方法
CN102054028B (zh) 一种网络爬虫系统实现页面渲染功能的方法
CN101957752A (zh) Flash视频预览方法及其系统,flash播放器
CN103092626B (zh) 基于Flex和web3D技术的富互联网应用方法
CN103257958B (zh) 一种基于云存储的翻译方法及系统
CN106227780A (zh) 一种海量网页的自动化截图取证方法和系统
US20170132267A1 (en) Pushing system and method based on natural information recognition, and a client end
WO2023065746A1 (zh) 算法应用元生成方法、装置、电子设备、计算机程序产品及计算机可读存储介质
CN104572084A (zh) 卡片业务中用户界面生成及数据下发方法、装置
CN101819584A (zh) 轻量级智能网页内容解析方法
CN113568841A (zh) 一种针对小程序的风险检测方法、装置及设备
CN108108230A (zh) 基于docker的云平台发布系统
CN114036439A (zh) 网站搭建方法、装置、介质及电子设备
CN112818201A (zh) 一种网络数据采集方法、装置、计算机设备及存储介质
US11250080B2 (en) Method, apparatus, storage medium and electronic device for establishing question and answer system
CN113626624B (zh) 一种资源识别方法和相关装置
CN103458065A (zh) 一种HTML5标准下基于Webkit内核的视频地址提取方法
CN102624910A (zh) 处理用户选取的网页内容的方法、装置及系统
CN117130870B (zh) 面向Java架构微服务系统的透明请求追踪及采样方法和装置
CN104317847A (zh) 一种识别网络文字信息的语种的方法及系统
CN105989010B (zh) 一种Web页面数据生成方法、Web服务器、Web应用系统
CN103440333A (zh) 一种数据处理方法及装置
CN115510139A (zh) 数据查询方法和装置
CN112667393B (zh) 分布式任务计算调度框架搭建的方法、装置及计算机设备
WO2015012714A1 (ru) Способ проверки веб-страниц на содержание в них целевого аудио и/или видео (av) контента реального времени

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant