CN110166841A - 多通道音视频自动检测实时推送方法 - Google Patents

多通道音视频自动检测实时推送方法 Download PDF

Info

Publication number
CN110166841A
CN110166841A CN201910452583.4A CN201910452583A CN110166841A CN 110166841 A CN110166841 A CN 110166841A CN 201910452583 A CN201910452583 A CN 201910452583A CN 110166841 A CN110166841 A CN 110166841A
Authority
CN
China
Prior art keywords
time point
default
video
point
channel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910452583.4A
Other languages
English (en)
Other versions
CN110166841B (zh
Inventor
罗辉
刘鑫
陈挚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Energy Polytron Technologies Inc
Original Assignee
Chengdu Energy Polytron Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Energy Polytron Technologies Inc filed Critical Chengdu Energy Polytron Technologies Inc
Priority to CN201910452583.4A priority Critical patent/CN110166841B/zh
Publication of CN110166841A publication Critical patent/CN110166841A/zh
Priority to PCT/CN2020/092669 priority patent/WO2020238973A1/zh
Application granted granted Critical
Publication of CN110166841B publication Critical patent/CN110166841B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving MPEG packets from an IP network
    • H04N21/4383—Accessing a communication channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies

Abstract

本发明涉及远程推送视频领域，针对现有推送方法不适用于教学领域的问题，本发明提出了一种多通道音视频自动检测实时推送方法，包括如下步骤：A、对采集到的多通道音视频进行同步推送，所述多通道音视频包括一路默认通道视频和至少一路非默认通道视频，默认推送所述默认通道视频；B、实时检测录制时默认通道视频的来源终端中的人机交互事件并记录对应的人机交互时间点，根据所述人机交互时间点计算出默认通道切出时间点和默认通道切入时间点；C、根据所述默认通道切出时间点和默认通道切入时间点选择合适通道的视频流进行推送。如此通过人机交互判断视频所处状态并进行相应推送的切换，本发明适用于实时远程教学。

Description

多通道音视频自动检测实时推送方法
技术领域
本发明涉及远程推送音视频流领域，特别涉及一种多通道音视频自动检测实时推送方法。
背景技术
教学领域中，多通道音视频一般包括摄像视频和授课电脑的屏幕视频这两类，多通道音视频的推送存在有如下几种方式：
1、单路推送：推送过程始终保持固定一路音视频，用户端观看到的画面单调且容易产生视觉疲劳，无法同一时间从不同方位不同视角观察拍摄对象。
2、多路推送(多摄像头+电脑屏幕)：当前电视台、直播会议等多路音视频选择性推送。基于切换台人工手动实现，最终在一段时间内选取一路音视频推送给用户观看，当需要切换显示内容时，需要在导播台人工手动切换。此方案增加了硬件成本和人力投入，且没有一个标准可循受到人为主观因素影响较大。
3、现有的直播为推送摄像头视频，在授课过程中若需要推送老师讲课屏幕画面，往往需要通过一路摄像机拍摄授课屏幕画面，而摄像机拍摄的画面受到场景和光线影响品质不高，且摄像头的展示需要人工接入操作。
4、多路音视频同时推送，占用带宽高，在客户端由用户自行选择观看最终某一路音视频画面，在观看时还需要自己去切换操作不太方便。
5、多路人工智能摄像头与分析处理服务器：通过智能摄像头采集到场景中人物动作，服务器分析处理后判断某一路摄像头给该人物特写镜头，并把最终成果视频推送给用户观看，当前在网络直播和课堂教学直播比较多用。但是教学过程中人物动作差异和受到场景中其他动态人或物体的干扰较大，处理中心经常误判和发出错误指令，最终成果达不到要求或不是演讲者最希望展示给观众的画面。
也就是说，当前网络远程授课、网络直播、在线课堂等视频推流方案要么是一路摄像机通道推流，要么是多路音视频通道通过人工手动或人工智能分析自动切换显示内容推送给观众。一路推流方案显示的镜头有限，无法同一时间从不同方位、不同视角拍摄观察对象。同时成果长时间显示相近的画面信息，不利于用户观看，容易让观众产生视觉疲劳。多路音视频选择性推送方案往往需要人工手动介入，或者是需要一套功能强大的计算处理中心和人工智能摄像设备，往往投入较大，需要多人协作来完成，设备投入费用高，设备复杂，维护管理及其不便等。
发明内容
本发明所要解决的技术问题是：针对上述现有推送方法不适用于教学领域的问题，本发明提出了一种多通道音视频自动检测实时推送方法。
本发明解决上述技术问题，采用的技术方案是：
多通道音视频自动检测实时推送方法，包括如下步骤：
A、对采集到的多通道音视频进行同步推送，所述多通道音视频包括一路默认通道视频和至少一路非默认通道视频，默认推送所述默认通道视频；
B、实时检测默认通道视频的来源终端中的人机交互事件并记录对应的人机交互时间点，根据所述人机交互时间点计算出默认通道切出时间点和默认通道切入时间点；
C、根据所述默认通道切出时间点和默认通道切入时间点选择对应通道的视频流进行推送。
优选的，所述步骤B包括：
S101、判断距离当前人机交互时间点的第一预设时长内是否存在新增的人机交互时间点，所述当前人机交互时间点的初始值为多通道音视频推送的起始时刻，如否，进入步骤S103，如是，进入步骤S102；
S102、设置当前人机交互时间点为所述新增的人机交互时间点，进入步骤S101；
S103、新增一个类型为默认通道切出时间点的标记时间点，且其值设置为当前人机交互时间点加第一预设时长对应的时间点；
S104、当距离最新的标记时间点之后实时检测出新的人机交互时间点，设置当前人机交互时间点为所述新的人机交互时间点，新增一个类型为默认通道切入时间点的标记时间点，且其值设置为所述新的人机交互时间点；进入步骤S101。
进一步优选的，所述步骤B包括：
S201、判断距离当前人机交互时间点的第一预设时长内是否存在新增的人机交互时间点，所述当前人机交互时间点的初始值为多通道音视频推送的起始时刻，如不存在，进入步骤S203，如存在，进入步骤S202；
S202、若上一个标记时间点的类型为默认通道切出时间点，则新增一个类型为默认通道切入时间点的标记时间点，且其值设置为所述新增的人机交互时间点；设置当前人机交互时间点为所述新增的人机交互时间点，进入步骤S201；
S203、设置图像时间起点为当前人机交互时间点加第一预设时长对应的时间点，若上一个标记时间点的类型为默认通道切入时间点或不存在标记点，则新增一个类型为默认通道切出时间点的标记时间点，且其值设置为当前人机交互时间点加第一预设时长对应的时间点；
S204、判断图像时间起点后第二预设时长内是否存在新增的人机交互时间点，如存在，进入步骤S202；否则进入步骤S205；
S205、判断图像时间起点处默认通道视频画面的图像与图像时间起点加第二预设时长处的默认通道视频画面的图像是否一致，如不一致，进入步骤S206；否则进入步骤S207；
S206、若上一个标记时间点的类型为默认通道切出时间点，则新增一个类型为默认通道切入时间点的标记时间点，且其值设置为图像时间起点加第二预设时长后对应的时间点；新的图像时间起点设置为本次的图像时间起点加第二预设时长；进入步骤S204；
S207、若上一个标记时间点的类型为默认通道切入时间点，则新增一个类型为默认通道切出时间点的标记时间点，且其值设置为图像时间起点加第二预设时长后对应的时间点；设置新的图像时间起点为本次的图像时间起点加第二预设时长；进入步骤S204。
再一步优选的，所述步骤B包括：
S301、判断距离当前人机交互时间点的第一预设时长内是否存在新增的人机交互时间点，所述当前人机交互时间点的初始值为多通道音视频推送的起始时刻，如不存在，进入步骤S303，如存在，进入步骤S302；
S302、若上一个标记时间点的类型为默认通道切出时间点，则新增一个类型为默认通道切入时间点的标记时间点，且其值设置为所述新增的人机交互时间点；设置当前人机交互时间点为所述新增的人机交互时间点，进入步骤S301；
S303、设置图像时间起点为当前人机交互时间点加第一预设时长对应的时间点；
S304、判断图像时间起点后第二预设时长内是否存在新增的人机交互时间点，如存在，进入步骤S302；否则进入步骤S305；
S305、判断图像时间起点处的默认通道视频画面的图像与图像时间起点加第二预设时长处的默认通道视频画面的图像是否一致，如不一致，进入步骤S306，否则，进入步骤S307；
S306、若上一个标记时间点的类型为默认通道切出时间点，则新增一个类型为默认通道切入时间点的标记时间点，且其值设置为图像时间起点；设置新的图像时间起点为本次的图像时间起点加第二预设时长，进入步骤S304；
S307、若上一个标记时间点的类型为默认通道切入时间点或标记时间点不存在，则新增一个类型为默认通道切出时间点的标记时间点，且其值设置为图像时间起点；设置新的图像时间起点为本次的图像时间起点加第二预设时长；进入步骤S304。
具体的，所述人机交互事件包括屏幕触控指令、键盘操作、鼠标操作、电子讲稿控制指令和摄像通道展示操作指令。
优选的，所述步骤C包括：推送的视频流默认设置为默认通道视频，当存在默认通道切出时间点时，推送的视频流从默认通道视频切换到非默认通道视频；当存在默认通道切入时间点时，推送的视频流从非默认通道视频切换为默认通道视频。
进一步的，当多通道音视频包括N路非默认通道视频时，N≥2，将对应的N路非默认通道视频分别记为第一路非默认通道视频至第N路非默认通道视频；所述步骤C包括：推送的视频流默认设置为默认通道视频，当存在默认通道切出时间点时，推送的视频流从默认通道视频切换到第一路非默认通道视频，第一路非默认通道视频播放预设轮换时长后，推送的视频流切换至第二路非默认通道视频，依次类推，循环切换至第N路非默认通道视频，再切换至第一路非默认通道视频，直至到达默认通道切入时间点；当存在默认通道切入时间点时，推送的视频流从非默认通道视频切换为默认通道视频。
进一步的，当默认通道切出时间点存在时，在所述默认通道切出时间点处推送切出转场特效；当默认通道切入时间点存在时，在所述默认通道切入时间点处推送切入转场特效。
进一步的，当推送的视频流在各个非默认通道视频间存在切换时，在对应的切换时间点处推送轮换转场特效。
本发明的有益效果是：
根据日常授课和对在线教学的研究和分析，采用老师授课时的同一台电脑，自动智能分析和判断老师的人机交互信息，在多通道音视频中自动选择切换推送的通道。根据授课老师的人机交互信息判断精准，无需他人协助由软件自动智能完成，采用老师授课时同一台电脑完成而无需配置第三方独立硬件系统。此方法具有实施成本低，操作极其简便及多通道音视频切换精准的优点，真实反映和表达了讲授者希望展示内容的意图。
附图说明
图1为本发明实施例的多通道音视频自动检测实时推送方法的流程图；
图2为本发明实施例的多通道音视频自动检测实时推送方法的一个示意图；
图3为本发明实施例的多通道音视频自动检测实时推送方法的又一个示意图；
图4为本发明实施例的多通道音视频自动检测实时推送方法的再一个示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及如下实施例对本发明进行进一步详细说明。
如图1所示，多通道音视频自动检测实时推送方法，包括如下步骤：
A、对采集到的多通道音视频进行同步推送，所述多通道音视频包括一路默认通道视频和至少一路非默认通道视频，默认推送所述默认通道视频；
B、实时检测默认通道视频的来源终端中的人机交互事件并记录对应的人机交互时间点，根据所述人机交互时间点计算出默认通道切出时间点和默认通道切入时间点；
C、根据所述默认通道切出时间点和默认通道切入时间点选择对应通道的视频流进行推送。
需要说明的是，默认通道视频一般设置为教学屏幕视频，非默认通道则可来自于拍摄学生的摄像通道和/或拍摄教师的摄像通道和/或拍摄实验平台的摄像通道。默认通道切出时间点和默认通道切入时间点为两种类型的记录点，且默认通道切出时间点和默认通道切入时间点的个数根据人机交互时间点来进行计算，可为多个。
本发明视频推送开始就建立人机交互判断分析机制，分析教师对默认通道视频所在的来源终端的操作行为，通过对鼠标、键盘、翻页笔以及其他人体输入设备操作捕捉与监控，若出现上述操作行为，表示老师需要学生观看到自己在屏幕中所给出的操作内容，此时推送的视频为默认通道视频。当一段时间后未发生上述操作，例如15s后仍未发生人体输入设备操作时，这个时候主要交流在老师讲解以及老师的肢体动作向学生传达信息，需要将关注点切换到老师身上，此时通过分析人机交互时间点设置默认通道切出时间点，将推送的画面切换到拍摄老师的视频画面，使得在该默认通道切出时间点之后焦点转换到老师身上或第二、第三摄像头场景。当老师再次操作人体输入设备时，我们通过记录另外一类点即默认通道切入时间点，表示此时老师正在讲述重点内容，希望学生观看到所讲的展示在屏幕上的内容，通过屏幕传达信息，在记录这类点时，自动处理切换推送画面到屏幕视频，在老师的授课过程中这两类检测点交替出现，远端学生观看视频时在屏幕和摄像头画面切换，还原教师授课过程中的焦点转移，通过此类焦点转移，能精准的传达老师授课想表达的内容和希望观看到的视频画面，并改善单通道视频带来的视觉疲劳，提高学习效率。
在授课过程中，若需开展实验演示并同步展示该视频画面，此时根据预先设定策略，软件自动智能判定和显示讲课屏幕画面(该演示拍摄画面在屏幕上实时展示)，老师在屏幕画面中可进行诸如文字书写、重点标注等操作。此策略能很好的规避第三方设备自动判断选择实验拍摄画面而漏掉屏幕书写内容和重点内容标注等信息。
需要说明的是，上述人机交互事件可包括屏幕触控指令、键盘操作、鼠标操作、电子讲稿控制指令和各摄像通道展示操作。
屏幕触控指令：用户在屏幕上的任何触控、书写，主要涉及讲授过程中的内容标注、圈点、解题推导等，包括红外电子白板、一体机、电磁感应书写屏、数位板、电容书写屏等触控信息；
键盘操作：用户进行电脑键盘输入，例如文字输入、软件操作指令、功能按键等；
鼠标操作：鼠标左、右键点击事件，拖动事件、滚动事件、配合功能键的放大、缩小、复制等各种操作；
电子讲稿控制指令：无线翻页器对电脑上的讲稿翻页、黑屏、飞鼠控制等指令；
摄像通道展示操作指令：用户讲授过程中调取各通道视频在屏幕中展示，例如演示实验摄像设备通道的画面展示，实物展示拍摄设备通道的画面展示等。
优选的，所述步骤C包括：推送的视频流默认设置为默认通道视频，当存在默认通道切出时间点时，推送的视频流从默认通道视频切换到非默认通道视频；当存在默认通道切入时间点时，推送的视频流从非默认通道视频切换为默认通道视频。
当多通道音视频包括N路非默认通道视频时，N≥2，将对应的N路非默认通道视频分别记为第一路非默认通道视频至第N路非默认通道视频；所述步骤C包括：推送的视频流默认设置为默认通道视频，当存在默认通道切出时间点时，推送的视频流从默认通道视频切换到第一路非默认通道视频，第一路非默认通道视频播放预设轮换时长后，推送的视频流切换至第二路非默认通道视频，依次类推，循环切换至第N路非默认通道视频，再切换至第一路非默认通道视频，直至到达默认通道切入时间点；当存在默认通道切入时间点时，推送的视频流从非默认通道视频切换为默认通道视频。
进一步的，当默认通道切出时间点存在时，可在上述默认通道切出时间点处设置切出转场特效；当默认通道切入时间点存在时，可在上述默认通道切入时间点处设置切入转场特效，如此可以达到切换视频的提示作用，同理，当推送的视频流在各个非默认通道视频间存在切换时，可在对应的切换时间点处推送轮换转场特效。
如何获取默认通道切出时间和默认通道切入时间点可采用如下几种方式。
方式一：步骤B可包括：
S101、判断距离当前人机交互时间点的第一预设时长内是否存在新增的人机交互时间点，所述当前人机交互时间点的初始值为多通道音视频推送的起始时刻，如否，进入步骤S103，如是，进入步骤S102；
S102、设置当前人机交互时间点为所述新增的人机交互时间点，进入步骤S101；
S103、新增一个类型为默认通道切出时间点的标记时间点，且其值设置为当前人机交互时间点加第一预设时长对应的时间点；
S104、当距离最新的标记时间点之后实时检测出新的人机交互时间点，设置当前人机交互时间点为所述新的人机交互时间点，新增一个类型为默认通道切入时间点的标记时间点，且其值设置为所述新的人机交互时间点；进入步骤S101。
下面结合图2对上述方式一中的一种情况进行更清楚的解释说明，图中多通道音视频包括一路默认通道视频，一路第一路非默认通道视频和一路第二路非默认通道视频，三路视频的时长相同，其中，默认通道视频推送t0时长后迎来了第一人机交互时间点M1，t0<t1，M1后的第一预设时长t1内无新的人机交互时间点，M2为紧邻其后的第二人机交互时间点，t3为预设轮换时长，t5为第二人机交互时间点到视频推送结束时间点之间的时长，t5<t1，可见M2-M1>t1，推送的视频流在最开始时推送默认通道视频，然后需要在t0+t1处进行通道切换为第一路非默认通道视频处，第一路非默认通道视频的预设轮换时长t3内无新的人机交互时间点，推送的视频流切换到第二路非默认通道视频出，第二路非默认通道视频的预设轮换时长内有新的人机交互时间点即继续推送了t4时长后存在第二人机交互时间点M2，设置t0+t1+t3+t4处为默认通道切入时间点，推送的视频流需要切回至默认通道视频处，即推送的视频流包括图2中的四段斜杠阴影处的视频顺序推送而成，依次分别为t0+t1时间段的默认通道视频，t3时间段的第一路非默认通道视频，t4时间段的第二路非默认通道视频和t5时间段的默认通道视频，相应的，可在t0+t1处添加切出转场特效，在t0+t1+t3处添加轮换转场特效，在t0+t1+t3+t4处添加切入转场特效。
为了适应默认通道视频所在终端没有人机交互但在播放视频的应用场景，提出了方式二：上述步骤B包括：
S201、判断距离当前人机交互时间点的第一预设时长内是否存在新增的人机交互时间点，所述当前人机交互时间点的初始值为多通道音视频推送的起始时刻，如不存在，进入步骤S203，如存在，进入步骤S202；
S202、若上一个标记时间点的类型为默认通道切出时间点，则新增一个类型为默认通道切入时间点的标记时间点，且其值设置为所述新增的人机交互时间点；设置当前人机交互时间点为所述新增的人机交互时间点，进入步骤S201；
S203、设置图像时间起点为当前人机交互时间点加第一预设时长对应的时间点，若上一个标记时间点的类型为默认通道切入时间点或不存在标记点，则新增一个类型为默认通道切出时间点的标记时间点，且其值设置为当前人机交互时间点加第一预设时长对应的时间点；
S204、判断图像时间起点后第二预设时长内是否存在新增的人机交互时间点，如存在，进入步骤S202；否则进入步骤S205；
S205、判断图像时间起点处默认通道视频画面的图像与图像时间起点加第二预设时长处的默认通道视频画面的图像是否一致，如不一致，进入步骤S206；否则进入步骤S207；
S206、若上一个标记时间点的类型为默认通道切出时间点，则新增一个类型为默认通道切入时间点的标记时间点，且其值设置为图像时间起点加第二预设时长后对应的时间点；新的图像时间起点设置为本次的图像时间起点加第二预设时长；进入步骤S204；
S207、若上一个标记时间点的类型为默认通道切入时间点，则新增一个类型为默认通道切出时间点的标记时间点，且其值设置为图像时间起点加第二预设时长后对应的时间点；设置新的图像时间起点为本次的图像时间起点加第二预设时长；进入步骤S204。
下面结合图3对上述方式二中的一种情况进行更清楚的解释说明，图中多通道音视频包括一路默认通道视频和一路第一路非默认通道视频，两路视频的时长相同，默认通道视频推送t0时长后迎来了第一人机交互时间点M1，M1后的第一预设时长t1内无新的人机交互时间点，t0<t1，M2为紧邻其后的第二人机交互时间点，t6为第二预设时长，可见M2-M1>t1，推送的视频流在推送开始时默认推送默认通道视频，并在t0+t1处对应的时间点进行通道切换开始推送第一路非默认通道视频，假设t0+t1处对应的时间点的默认通道视频的图像与t0+t1+t6处对应的时间点的默认通道视频的图像不一致，此处表示默认通道视频处在无人机交互仅存在画面变化的时候例如播放演示视频，此时设置t0+t1+t6处为默认通道切入时间点，假设t0+t1+t6处经过2*t6+t7到达第二人机交互时间点M2，且期间的默认通道视频一直在变化，t5为第二人机交互时间点到视频推送结束时间点之间的时长，t5<t1，如此推送的视频流由图3中的三段斜杠阴影处的视频顺序推送而成，依次分别为t0+t1时间段的默认通道视频，t6时间段的第一路非默认通道视频和2*t6+t7+t5时间段的默认通道视频，相应的，可在t0+t1处添加切出转场特效，在t0+t1+t6处处添加切入转场特效。
为了适应默认通道视频所在终端没有人机交互但在播放视频的应用场景，还有一种方式三：上述步骤B包括：
S301、判断距离当前人机交互时间点的第一预设时长内是否存在新增的人机交互时间点，所述当前人机交互时间点的初始值为多通道音视频推送的起始时刻，如不存在，进入步骤S303，如存在，进入步骤S302；
S302、若上一个标记时间点的类型为默认通道切出时间点，则新增一个类型为默认通道切入时间点的标记时间点，且其值设置为所述新增的人机交互时间点；设置当前人机交互时间点为所述新增的人机交互时间点，进入步骤S301；
S303、设置图像时间起点为当前人机交互时间点加第一预设时长对应的时间点；
S304、判断图像时间起点后第二预设时长内是否存在新增的人机交互时间点，如存在，进入步骤S302；否则进入步骤S305；
S305、判断图像时间起点处的默认通道视频画面的图像与图像时间起点加第二预设时长处的默认通道视频画面的图像是否一致，如不一致，进入步骤S306，否则，进入步骤S307；
S306、若上一个标记时间点的类型为默认通道切出时间点，则新增一个类型为默认通道切入时间点的标记时间点，且其值设置为图像时间起点；设置新的图像时间起点为本次的图像时间起点加第二预设时长，进入步骤S304；
S307、若上一个标记时间点的类型为默认通道切入时间点或标记时间点不存在，则新增一个类型为默认通道切出时间点的标记时间点，且其值设置为图像时间起点；设置新的图像时间起点为本次的图像时间起点加第二预设时长；进入步骤S304。
下面结合图4对上述方式三中的一种情况进行更清楚的解释说明，图中多通道音视频包括一路默认通道视频和一路第一路非默认通道视频，两路视频的时长相同，默认通道视频推送t0时长后迎来了第一人机交互时间点M1，M1后的第一预设时长t1内无新的人机交互时间点，t0<t1，M2为紧邻其后的第二人机交互时间点，t6为第二预设时长，可见M2-M1>t1，假设t0+t1+t6处对应的时间点的默认通道视频的图像与t0+t1处对应的时间点的默认通道视频的图像不一致，且默认通道视频在t0+t1+t6处经过2*t6+t7到达第二人机交互时间点M2，且期间的默认通道视频一直在变化，则推送的视频流就一直为默认通道视频。

Claims (9)

1.多通道音视频自动检测实时推送方法，其特征在于，包括如下步骤：
A、对采集到的多通道音视频进行同步推送，所述多通道音视频包括一路默认通道视频和至少一路非默认通道视频，默认推送所述默认通道视频；
B、实时检测默认通道视频的来源终端中的人机交互事件并记录对应的人机交互时间点，根据所述人机交互时间点计算出默认通道切出时间点和默认通道切入时间点；
C、根据所述默认通道切出时间点和默认通道切入时间点选择对应通道的视频流进行推送。
2.如权利要求1所述的方法，其特征在于，所述步骤B包括：
S101、判断距离当前人机交互时间点的第一预设时长内是否存在新增的人机交互时间点，所述当前人机交互时间点的初始值为多通道音视频推送的起始时刻，如否，进入步骤S103，如是，进入步骤S102；
S102、设置当前人机交互时间点为所述新增的人机交互时间点，进入步骤S101；
S103、新增一个类型为默认通道切出时间点的标记时间点，且其值设置为当前人机交互时间点加第一预设时长对应的时间点；
S104、当距离最新的标记时间点之后实时检测出新的人机交互时间点，设置当前人机交互时间点为所述新的人机交互时间点，新增一个类型为默认通道切入时间点的标记时间点，且其值设置为所述新的人机交互时间点；进入步骤S101。
3.如权利要求1所述的方法，其特征在于，所述步骤B包括：
S201、判断距离当前人机交互时间点的第一预设时长内是否存在新增的人机交互时间点，所述当前人机交互时间点的初始值为多通道音视频推送的起始时刻，如不存在，进入步骤S203，如存在，进入步骤S202；
S202、若上一个标记时间点的类型为默认通道切出时间点，则新增一个类型为默认通道切入时间点的标记时间点，且其值设置为所述新增的人机交互时间点；设置当前人机交互时间点为所述新增的人机交互时间点，进入步骤S201；
S203、设置图像时间起点为当前人机交互时间点加第一预设时长对应的时间点，若上一个标记时间点的类型为默认通道切入时间点或不存在标记点，则新增一个类型为默认通道切出时间点的标记时间点，且其值设置为当前人机交互时间点加第一预设时长对应的时间点；
S204、判断图像时间起点后第二预设时长内是否存在新增的人机交互时间点，如存在，进入步骤S202；否则进入步骤S205；
S205、判断图像时间起点处默认通道视频画面的图像与图像时间起点加第二预设时长处的默认通道视频画面的图像是否一致，如不一致，进入步骤S206；否则进入步骤S207；
S206、若上一个标记时间点的类型为默认通道切出时间点，则新增一个类型为默认通道切入时间点的标记时间点，且其值设置为图像时间起点加第二预设时长后对应的时间点；新的图像时间起点设置为本次的图像时间起点加第二预设时长；进入步骤S204；
S207、若上一个标记时间点的类型为默认通道切入时间点，则新增一个类型为默认通道切出时间点的标记时间点，且其值设置为图像时间起点加第二预设时长后对应的时间点；设置新的图像时间起点为本次的图像时间起点加第二预设时长；进入步骤S204。
4.如权利要求1所述的方法，其特征在于，所述步骤B包括：
S301、判断距离当前人机交互时间点的第一预设时长内是否存在新增的人机交互时间点，所述当前人机交互时间点的初始值为多通道音视频推送的起始时刻，如不存在，进入步骤S303，如存在，进入步骤S302；
S302、若上一个标记时间点的类型为默认通道切出时间点，则新增一个类型为默认通道切入时间点的标记时间点，且其值设置为所述新增的人机交互时间点；设置当前人机交互时间点为所述新增的人机交互时间点，进入步骤S301；
S303、设置图像时间起点为当前人机交互时间点加第一预设时长对应的时间点；
S304、判断图像时间起点后第二预设时长内是否存在新增的人机交互时间点，如存在，进入步骤S302；否则进入步骤S305；
S305、判断图像时间起点处的默认通道视频画面的图像与图像时间起点加第二预设时长处的默认通道视频画面的图像是否一致，如不一致，进入步骤S306，否则，进入步骤S307；
S306、若上一个标记时间点的类型为默认通道切出时间点，则新增一个类型为默认通道切入时间点的标记时间点，且其值设置为图像时间起点；设置新的图像时间起点为本次的图像时间起点加第二预设时长，进入步骤S304；
S307、若上一个标记时间点的类型为默认通道切入时间点或标记时间点不存在，则新增一个类型为默认通道切出时间点的标记时间点，且其值设置为图像时间起点；设置新的图像时间起点为本次的图像时间起点加第二预设时长；进入步骤S304。
5.如权利要求1所述的方法，其特征在于，所述人机交互事件包括屏幕触控指令、键盘操作、鼠标操作、电子讲稿控制指令和摄像通道展示操作指令。
6.如权利要求1～5任意一项所述的方法，其特征在于，所述步骤C包括：推送的视频流默认设置为默认通道视频，当存在默认通道切出时间点时，推送的视频流从默认通道视频切换到非默认通道视频；当存在默认通道切入时间点时，推送的视频流从非默认通道视频切换为默认通道视频。
7.如权利要求6所述的方法，其特征在于，当多通道音视频包括N路非默认通道视频时，N≥2，将对应的N路非默认通道视频分别记为第一路非默认通道视频至第N路非默认通道视频；所述步骤C包括：推送的视频流默认设置为默认通道视频，当存在默认通道切出时间点时，推送的视频流从默认通道视频切换到第一路非默认通道视频，第一路非默认通道视频播放预设轮换时长后，推送的视频流切换至第二路非默认通道视频，依次类推，循环切换至第N路非默认通道视频，再切换至第一路非默认通道视频，直至到达默认通道切入时间点；当存在默认通道切入时间点时，推送的视频流从非默认通道视频切换为默认通道视频。
8.如权利要求6或7所述的方法，其特征在于，当默认通道切出时间点存在时，在所述默认通道切出时间点处推送切出转场特效；当默认通道切入时间点存在时，在所述默认通道切入时间点处推送切入转场特效。
9.如权利要求7所述的方法，其特征在于，当推送的视频流在各个非默认通道视频间存在切换时，在对应的切换时间点处推送轮换转场特效。
CN201910452583.4A 2019-05-28 2019-05-28 多通道音视频自动检测实时推送方法 Active CN110166841B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910452583.4A CN110166841B (zh) 2019-05-28 2019-05-28 多通道音视频自动检测实时推送方法
PCT/CN2020/092669 WO2020238973A1 (zh) 2019-05-28 2020-05-27 多通道音视频自动检测实时推送方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910452583.4A CN110166841B (zh) 2019-05-28 2019-05-28 多通道音视频自动检测实时推送方法

Publications (2)

Publication Number Publication Date
CN110166841A true CN110166841A (zh) 2019-08-23
CN110166841B CN110166841B (zh) 2021-06-29

Family

ID=67629457

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910452583.4A Active CN110166841B (zh) 2019-05-28 2019-05-28 多通道音视频自动检测实时推送方法

Country Status (2)

Country Link
CN (1) CN110166841B (zh)
WO (1) WO2020238973A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238973A1 (zh) * 2019-05-28 2020-12-03 成都依能科技股份有限公司 多通道音视频自动检测实时推送方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394479A (zh) * 2008-09-25 2009-03-25 上海交通大学 基于运动检测结合多通道融合的教师运动跟踪方法
CN101909160A (zh) * 2009-12-17 2010-12-08 新奥特（北京）视频技术有限公司 一种网络视频直播中的播控切换方法及装置
CN102547248A (zh) * 2012-02-03 2012-07-04 深圳锐取信息技术股份有限公司 多路实时监控单视频文件录制方法
US20120196254A1 (en) * 2011-01-27 2012-08-02 Bobby Joe Marsh Methods and systems for concurrent teaching of assembly processes at disparate locations
CN103347155A (zh) * 2013-06-18 2013-10-09 北京汉博信息技术有限公司 实现两个视频流不同过渡效果切换的转场特效模块及方法
CN104410834A (zh) * 2014-12-04 2015-03-11 重庆晋才富熙科技有限公司 一种教学视频的智能切换方法
CN104469303A (zh) * 2014-12-04 2015-03-25 重庆晋才富熙科技有限公司 教学视频的智能切换方法
CN105744340A (zh) * 2016-02-26 2016-07-06 上海卓越睿新数码科技有限公司 直播视频和演示文稿实时画面融合方法
CN105939480A (zh) * 2016-04-18 2016-09-14 乐视控股（北京）有限公司 一种终端视频的直播方法及装置
CN106454200A (zh) * 2016-08-10 2017-02-22 惠州紫旭科技有限公司 一种基于场景切换的视频交互方法和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060228692A1 (en) * 2004-06-30 2006-10-12 Panda Computer Services, Inc. Method and apparatus for effectively capturing a traditionally delivered classroom or a presentation and making it available for review over the Internet using remote production control
CN104822038A (zh) * 2015-04-30 2015-08-05 广州瀚唐电子科技有限公司 录播系统及其画面切换方法
CN205179215U (zh) * 2015-09-22 2016-04-20 杭州海康威视系统技术有限公司 一种教学录播系统
CN107507474A (zh) * 2016-06-14 2017-12-22 广东紫旭科技有限公司 一种远程交互式录播系统视频切换方法
CN108243327A (zh) * 2016-12-27 2018-07-03 天津阳冰科技有限公司 一种新型视频录播系统
CN110166841B (zh) * 2019-05-28 2021-06-29 成都依能科技股份有限公司 多通道音视频自动检测实时推送方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101394479A (zh) * 2008-09-25 2009-03-25 上海交通大学 基于运动检测结合多通道融合的教师运动跟踪方法
CN101909160A (zh) * 2009-12-17 2010-12-08 新奥特（北京）视频技术有限公司 一种网络视频直播中的播控切换方法及装置
US20120196254A1 (en) * 2011-01-27 2012-08-02 Bobby Joe Marsh Methods and systems for concurrent teaching of assembly processes at disparate locations
CN102547248A (zh) * 2012-02-03 2012-07-04 深圳锐取信息技术股份有限公司 多路实时监控单视频文件录制方法
CN103347155A (zh) * 2013-06-18 2013-10-09 北京汉博信息技术有限公司 实现两个视频流不同过渡效果切换的转场特效模块及方法
CN104410834A (zh) * 2014-12-04 2015-03-11 重庆晋才富熙科技有限公司 一种教学视频的智能切换方法
CN104469303A (zh) * 2014-12-04 2015-03-25 重庆晋才富熙科技有限公司 教学视频的智能切换方法
CN105744340A (zh) * 2016-02-26 2016-07-06 上海卓越睿新数码科技有限公司 直播视频和演示文稿实时画面融合方法
CN105939480A (zh) * 2016-04-18 2016-09-14 乐视控股（北京）有限公司 一种终端视频的直播方法及装置
CN106454200A (zh) * 2016-08-10 2017-02-22 惠州紫旭科技有限公司 一种基于场景切换的视频交互方法和系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020238973A1 (zh) * 2019-05-28 2020-12-03 成都依能科技股份有限公司 多通道音视频自动检测实时推送方法

Also Published As

Publication number Publication date
CN110166841B (zh) 2021-06-29
WO2020238973A1 (zh) 2020-12-03

Similar Documents

Publication Publication Date Title
CN107731032B (zh) 一种音视频切换方法、装置以及远程多点互动教学系统
CN110010164B (zh) 多通道音视频自动智能编辑方法
KR101270780B1 (ko) 가상 강의실 강의 방법 및 장치
CN109817041A (zh) 多功能教学系统
CN205016086U (zh) 智能教学录播系统
CN104394363B (zh) 一种在线课堂导播方法及系统
US20110123972A1 (en) System for automatic production of lectures and presentations for live or on-demand publishing and sharing
CN105139702A (zh) 一种用于教学的录播系统及其使用方法
CN104735416A (zh) 跟踪摄像、录音信息采集处理直播网络教学系统
CN105227807B (zh) 沉浸式虚拟现实演播平台
CN202736321U (zh) 数字化杂交手术室远程医疗教学系统
CN107135333A (zh) 一种教学录播系统
CN112652200A (zh) 人机交互系统、方法、服务器、交互控制设备及存储介质
KR20130142458A (ko) 강의자가 강의 중에 강의 화면을 구성할 수 있는 가상 강의실 강의 장치
CN111182250A (zh) 一种音视频教学录播系统及其控制方法
CN203588489U (zh) 一种情景教学设备
CN107945071A (zh) 一种远程教育系统及教育方法
KR101686143B1 (ko) 영상 처리 장치 및 영상 처리 방법
CN106937156A (zh) 一种实现多资源同步播放的方法及装置和媒体播放器
CN110933350A (zh) 一种电子云镜录播系统、方法及装置
CN116781847A (zh) 一种黑板板书导播方法、装置、设备及存储介质
CN110166841A (zh) 多通道音视频自动检测实时推送方法
WO2018036065A1 (zh) 智能交互平板
CN111064883A (zh) 一种音视频教学录播系统及其控制方法
JP2005524867A (ja) 低ビットレートの分散型スライドショウ・プレゼンテーションを提供するシステムおよび方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: Real time push method for automatic detection of multi-channel audio and video

Effective date of registration: 20210910

Granted publication date: 20210629

Pledgee: Bank of Chengdu science and technology branch of Limited by Share Ltd.

Pledgor: CHENGDU YINENG SCI&TECH Co.,Ltd.

Registration number: Y2021510000213

PE01 Entry into force of the registration of the contract for pledge of patent right