CN108461089A - 基于流媒体技术的视频综合系统 - Google Patents

基于流媒体技术的视频综合系统 Download PDF

Info

Publication number
CN108461089A
CN108461089A CN201611124903.6A CN201611124903A CN108461089A CN 108461089 A CN108461089 A CN 108461089A CN 201611124903 A CN201611124903 A CN 201611124903A CN 108461089 A CN108461089 A CN 108461089A
Authority
CN
China
Prior art keywords
video
real
technology
audio
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611124903.6A
Other languages
English (en)
Inventor
高璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luqi Mdt Infotech Ltd Qingdao
Original Assignee
Luqi Mdt Infotech Ltd Qingdao
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luqi Mdt Infotech Ltd Qingdao filed Critical Luqi Mdt Infotech Ltd Qingdao
Priority to CN201611124903.6A priority Critical patent/CN108461089A/zh
Publication of CN108461089A publication Critical patent/CN108461089A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/04—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks
    • H04L63/0428—Network architectures or network communication protocols for network security for providing a confidential data exchange among entities communicating through data packet networks wherein the data content is protected, e.g. by encrypting or encapsulating the payload
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/1066—Session management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Abstract

本系统是一种基于流媒体技术的视频综合性平台，采用浏览器/服务器模式，方便实用的实时感知交流、隐私保护、文件传输、文档共享、白板等多功能的整合实现。语音处理中采用高效的回音消除、自动增益、背景降噪、静音检测技术；视频处理中采用先进的视频优化技术、带宽自适应机制、视频多码率支持、误码掩盖技术、前向纠错编码技术，使视频更流畅，更清晰。支持超大规模用户并发，多服务器交叉级联、动态网络带宽均衡等技术。

Description

基于流媒体技术的视频综合系统
技术领域
本系统是一种基于流媒体技术的视频综合性平台，主要用于视频会议、远程协助、远程心理辅导等功能。并基于流媒体协作平台的灵活、方便的工作空间感知处理方法和保护协作者人物特征的方法，及实现具有隐私保护的远程音视频综合协作平台，具有重大的理论意义和实际应用价值。
背景技术
现有的视频会议系统大致可以分为教学型的双向视频会议系统、会议型双向视频会议系统、商务型视频会议系统(即桌面型视频会议系统)、软件视频会议系统、软件专业版高清视频会议多种类型。但其会议系统在通用技术上差别不大，效果主要受网络带宽限制和电脑配置制约。由于其技术方案原因，对于用户的软硬件要求较高，通常需配置相应的视频卡；加上未考虑到用户隐私保护，给用户带来了心理负担，不利于参与者的大胆工作。
本系统将采用基于肤色和脸部特征的视频序列中实时人脸检测与跟踪方法；采用基于PLAR(PseudoLogAreaRatio)系数曲线变换方法和基于线性预测的基音同步叠加(LP-PSOLA)算法分别对语音信号的谱参数和韵律参数进行修改。
基于以上技术方案，本系统开发的基于流媒体的视频综合平台将具有特有的技术竞争优势。基于此平台，还可以方便的构建诸如远程心理诊疗系统、咨询系统、企业商务管理系统、教学系统等应用。
发明内容
本系统基于浏览器/服务器模式架构，用户通过访问网页的形式进行视频协作，在语音处理技术中采用高效的回音消除、自动增益、背景降噪、静音检测，带来比电话还清晰、接近CD播放音质的语音通话效果；并采用先进的视频编码技术，以及视频优化技术、先进的带宽自适应机制、视频多码率支持、误码掩盖技术、前向纠错编码技术，使视频更流畅，更清晰。基于矢量成像技术的文档共享使得文档大小缩放不失真；其结构组成：
(1)基于Web的流媒体协作管理子系统包括基于Web的协作会议的组织、协作会议的控制、会议安全管理、访问权限管理等关键技术，同时开发相关模块，从而构成基于Web的流媒体协作管理子系统。
(2)高效的流媒体与共享文档的传输方式
实时协作系统中必须保证音视频信息的高效、实时采集、处理和传输，研究开发包括多路视频、多人混音、屏幕广播、实时录制、点播等技术和功能的实现方法。
(3)研究灵活的多模式交互方式
集音频、视频、文档、文字、邮件、短信等多种模式的协作交互方式，以保证在音视频会议的同时能方便地实现电子白板、资料共享、协同浏览、远程辅导、网页同步、文字讨论、系统消息、程序共享等功能。
(4)视频信息隐私保护处理方法
视频信息隐私保护处理方法，该方法可根据协作用户的不同要求，在视频图像序列中始终检测跟踪待保护的隐私区域，并对此区域进行模糊化处理以隐藏用户个人生物特征。
(5)音频信息隐私保护处理方法
音频信息隐私保护处理方法，该方法在进行语音交流时，可根据协作用户的要求，实时改变说话人语音、语调，从而能隐藏说话人身份。
(6)基于流媒体的协作综合平台的集成开发
在各个子功能模块设计实现的基础上，利用基于浏览器/服务器模式的方法架构实现整个系统，从而构建基于流媒体的协作综合平台。
系统技术路线描述：
(1)语音处理中采用高效的回音消除、自动增益、背景降噪、静音检测技术，提高语音通话质量；视频图像处理中采用视频优化技术、先进的带宽自适应机制、误码掩盖技术、前向纠错编码技术，使视频更流畅，更清晰。
(2)以先进且流行的硬件环境作为基础支撑，集.net环境和.net公共模块、基础信息模块、FMS公共模块、音频视频处理和传输模块、PPT转换SWF模块、白板功能、系统通知模块、短信通知模块和ActiveX开发接口为一体的软件集成开发思路，设计实现整个平台软件。
(3)各子系统及模块采用面向对象的方式设计开发可重用和易继承的构件，系统采用先进的软件构架支撑技术进行集成开发实现。
(4)自主研究开发视频信息隐私保护处理方法
采用模糊化和初略化对保护视频信息进行过滤处理，模糊化算法可采用周边象素灰度插值法，而初略化则是在一定密度的网格中，用其内象素灰度的均值代替该网格内的灰度值，从而实现具有马赛克状的图象效果。提供用户选择隐私保护区域，可综合采用基于神经网络的学习法和基于区域特征(如：颜色、形状、渐变等特征)，自动跟踪该区域，进行隐私保护。
(5)自主研究开发音频信息隐私保护处理方法
研制音频信息过滤器，通过对特征信号进行分析，结合声学原理，加入白噪声，再与原声在能量上相当的情况下，生成新的音频信息，使原音频信息失真，实现音频信息隐私保护，同时也针对用户对音频感知的需求情形，进行柔和化处理。

Claims (1)

1.基于浏览器/服务器(B/S)模式的协作平台系统架构下的流媒体技术的视频综合系统，其权利要求的内容包括：
(1)多路海量数据的实时同步传输：实时协作系统中必须保证音视频信息的高效、实时采集、处理和传输，研究开发包括多路视频、多人混音、屏幕广播、实时录制、点播等技术和功能的实现方法。
(2)基于视频空间的隐私保护区域的识别和跟踪算法：该方法可根据协作用户的不同要求，在视频图像序列中始终检测跟踪待保护的隐私区域，并对此区域进行模糊化处理以隐藏用户个人生物特征。
(3)音频信息隐私保护处理方法：该方法在进行语音交流时，可根据协作用户的要求，实时改变说话人语音、语调，从而能隐藏说话人身份。
CN201611124903.6A 2016-12-09 2016-12-09 基于流媒体技术的视频综合系统 Pending CN108461089A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611124903.6A CN108461089A (zh) 2016-12-09 2016-12-09 基于流媒体技术的视频综合系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611124903.6A CN108461089A (zh) 2016-12-09 2016-12-09 基于流媒体技术的视频综合系统

Publications (1)

Publication Number Publication Date
CN108461089A true CN108461089A (zh) 2018-08-28

Family

ID=63221458

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611124903.6A Pending CN108461089A (zh) 2016-12-09 2016-12-09 基于流媒体技术的视频综合系统

Country Status (1)

Country Link
CN (1) CN108461089A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145770A (zh) * 2018-11-02 2020-05-12 北京微播视界科技有限公司 音频处理方法和装置
CN112004050A (zh) * 2020-09-03 2020-11-27 深圳创维－Rgb电子有限公司 一种去身份标识的远程会议处理方法、装置、智能终端

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111145770A (zh) * 2018-11-02 2020-05-12 北京微播视界科技有限公司 音频处理方法和装置
CN112004050A (zh) * 2020-09-03 2020-11-27 深圳创维－Rgb电子有限公司 一种去身份标识的远程会议处理方法、装置、智能终端

Similar Documents

Publication Publication Date Title
AU2011200857B2 (en) Method and system for adding translation in a videoconference
EP2893700B1 (en) Generating and rendering synthesized views with multiple video streams in telepresence video conference sessions
CN107995456A (zh) 智慧园区视频会议系统
US9491405B2 (en) Method and apparatus for displaying conference material in video conference
CN102984496B (zh) 视频会议中的视音频信息的处理方法、装置及系统
WO2008141539A1 (fr) Procédé d'affichage de légendes, système et appareil de communication vidéo
CN108683874B (zh) 一种视频会议注意力聚焦的方法及一种存储设备
CN106162043A (zh) 一种视频会议系统中多媒体文件演示方法
CN101729850A (zh) 基于笔迹特征数据流的视频通信方法及其处理系统
CN103796034A (zh) 基于流媒体技术的协作平台系统架构下的视频综合系统
CN110166729A (zh) 云视频会议方法、装置、系统、介质和计算设备
JP2023501728A (ja) 音声映像ストリームからのプライバシーに配慮した会議室でのトランスクリプション
CN109525800A (zh) 一种远程会议语音识别数据传输方法
CN108461089A (zh) 基于流媒体技术的视频综合系统
Woszczyk et al. Shake, rattle, and roll: Gettiing immersed in multisensory, interactiive music via broadband networks
Ikeda et al. New recording application for software defined media
CN103164990A (zh) 一种方舱医院远程示教会诊系统
D'hondt Why being there mattered: Staged transparency at the International Criminal Court
CN105491447A (zh) 一种基于流媒体技术的视频技术方法
CN101945260A (zh) 基于流媒体技术的视频综合系统
CN109346100A (zh) 一种数字媒体交互式教学系统的网络传输方法
CN205265824U (zh) 庭审主机系统
Su et al. Pushing the boundary of multimedia big data: an overview of ieee mipr
CN113676691A (zh) 一种智能视频会议系统及方法
KR102201324B1 (ko) 스마트 단말기를 이용한 회의 운영 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180828