CN109324911A - 用户行为自动检测智能屏幕抓屏系统 - Google Patents

用户行为自动检测智能屏幕抓屏系统 Download PDF

Info

Publication number
CN109324911A
CN109324911A CN201811104836.0A CN201811104836A CN109324911A CN 109324911 A CN109324911 A CN 109324911A CN 201811104836 A CN201811104836 A CN 201811104836A CN 109324911 A CN109324911 A CN 109324911A
Authority
CN
China
Prior art keywords
screen
user behavior
keyboard
grabs
mouse
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811104836.0A
Other languages
English (en)
Inventor
张林玲
龙伟昌
肖光海
林山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Long Peng Optoelectronic Technology Co Ltd
Original Assignee
Guangzhou Long Peng Optoelectronic Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Long Peng Optoelectronic Technology Co Ltd filed Critical Guangzhou Long Peng Optoelectronic Technology Co Ltd
Priority to CN201811104836.0A priority Critical patent/CN109324911A/zh
Publication of CN109324911A publication Critical patent/CN109324911A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/543—User-generated data transfer, e.g. clipboards, dynamic data exchange [DDE], object linking and embedding [OLE]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2209/00—Indexing scheme relating to G06F9/00
    • G06F2209/54—Indexing scheme relating to G06F9/54
    • G06F2209/543—Local

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了用户行为自动检测智能屏幕抓屏系统，通过采用计算机程序开发的图像识别分析技术、键盘鼠标钩子检测技术、USB信号检测技术，通过对各种技术的综合应用，研发了更为完全的系统用户行为检测技术，将用户检测放在采集端实现，通过网络信号传递用户行为判定结果给录播系统，减少录播系统的CPU计算资源消耗。同时对用户电脑屏幕的信息采集通过流媒体技术实现，摒弃了传统的物理视频线采集的方法。

Description

用户行为自动检测智能屏幕抓屏系统
技术领域
本发明涉及录播系统，具体涉及用户行为自动检测智能屏幕抓屏系统。
背景技术
近年来，录播系统应用越来越广泛，各行各业活动现场实时录制、直播、后期点播等需求快速增长，录制下来的视频文件用于记录、学习、分享。尤其在学校、教育培训行业，优质视频资源建设是学校教育信息化建设的重点方向，如优课，微课，精品课程等视频资源的的视频录制。因此，能简单生成一部具有高观赏性，效果好的视频课程资源是各行各业非常迫切的愿望。然而，当前整个视频录播行业对这个需求的产品化应用支撑一直没能达到用户的期望。尤其是自动跟踪和自动导播功能更是行业应用的痛点。
传统的屏幕录制和导播的方式是通过物理的视频线进行信号采集、如VGA 线，HDMI线，DVI线等，在采集到屏幕信号后还需进行人工导播切换，即由专人执守进行判断是否需要将屏幕画面切换为直播和录制画面作，由于场景中人物角色活动的不确定性，及场景变化的迅速，在人工导播录制操作时，很容易出现误操作，如漏切、误切等不准确的情况，会导致拍摄的视频出现精彩镜头丢失，增加人工投入，因此还需进行后期的人工视频编辑工作，也是非常的耗时耗力，错过的精彩片段无法弥补。本算法就是为解决此类行业应用的痛点问题而专门研发的。
发明内容
为解决上述技术问题，本发明目的在于提供用户行为自动检测智能屏幕抓屏系统，以克服现有技术的不足。
为达到上述目的，本发明的技术方案如下：用户行为自动检测智能屏幕抓屏系统，包括与计算机系统的硬件连接的用户行为检测识别模块和与录播系统连接的屏幕抓取编码推流模块，
所述用户行为检测识别模块包括，
图像识别单元，实现视频画面中运动物体的行为识别应用算法；
键盘鼠标钩子检测单元，判断是否用户有点击鼠标或按下键盘的按键；
USB信号检测单元，判断是否有其他外部设备在进行系统操作；
计算机系统的硬件包括显卡、键盘、鼠标和USB接口，所述显卡通过将计算机的数字信号转换成模拟信号传输至图像识别单元，所述键盘和鼠标通过数字信号连接所述键盘鼠标钩子检测单元，所述USB接口通过将对USB设备的信号监测发送到所述USB信号检测单元；
所述屏幕抓取编码推流模块通过对计算机系统的连接显卡的屏幕进行连续抓屏并对画面帧进行编码形成网络流，将网络流进行推流，推送到指定的录播系统网络流采集端。
进一步地，所述录播系统包括录影机和录屏模块，通过录影机对讲解人员的录播以及录屏模块对操作系统的屏幕抓屏进行数据采集，并发送到综合数据包。
进一步地，所述图像识别单元所用到的算法涉及到的主要图像分析计算算法为帧差法，通过计算采集的相邻两帧画面之间是否存在变化，可判断屏幕是否有变化。
进一步地，所述USB设备的信号监测包括设备插入和拔出以及设备信号截取，通过对开发的程序调用的RegisterDeviceNotification和 UnregisterDeviceNotification两个系统函数，函数执行成功后，则有硬件变化时操作系统就会发消息通知该程序，在程序收到系统通知后，便可以继续通过钩子技术截取USB设备的通信消息。
与现有技术相比，本发明的有益效果是：本发明主要解决屏幕录制的自动导播切换问题，通过计算机程序开发实现准确识别用户行为，如键盘输入、鼠标点击，电子教鞭输入、PPT自动播放等操作，依据识别结果触发自动导播功能，取代拍摄录制的人工判断操作，实现自动化的录制和直播拍摄，减少人工参与对活动的干扰，提高拍摄质量，减少录播系统及类似产品的使用难度，加速录播系统的产品推广。
本发明作为一个新型的录播录制导播方案，可以获得的优点及功效增进至少包括：
(1)开发屏幕采集自动导播程序，减少了传统人工录制导播方法的人工成本。
(2)程序自动工作，比人工稳定可靠，减少了录制的视频文件中产生垃圾镜头的概率。
(3)减少人工参与对活动的干扰，提高拍摄质量。
(4)通过网络采集系统屏幕，摒弃物理视频线方法，减少布线，简化了系统的安装调试，减少施工操作。
(5)自动录制降低了录制设备和系统的用户使用门槛，提高了产品化程序，加速录制系统和产品(如录播系统)的市场推广，加速各行业信息化建设。
附图说明
图1为本发明的整体流程图。
具体实施方式
下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述。
参照图1，用户行为自动检测智能屏幕抓屏系统，包括与计算机系统的硬件连接的用户行为检测识别模块和与录播系统连接的屏幕抓取编码推流模块，
所述用户行为检测识别模块包括，
图像识别单元，本发明通过结合计算机程序开发的图像识别技术，实现一套视频画面中运动物体的行为识别应用算法，算法涉及到的主要图像分析计算算法为帧差法，通过计算采集的相邻两帧画面之间是否存在变化，可判断屏幕是否有变化，如用户是否在播放视频、PPT、图片等；
键盘鼠标钩子检测单元，判断是否用户有点击鼠标或按下键盘的按键，键盘钩子是一种可以监控键盘操作的指令；
钩子(Hook)，是Windows消息处理机制的一个平台，应用程序可以在上面设置子程序以监视指定窗口的某种消息，而且所监视的窗口可以是其他进程所创建的，当消息到达后，在目标窗口处理函数之前处理它，钩子机制允许应用程序截获处理window消息或特定事件，好比钩吊到了一条大鱼时不管那鱼怎么逃，只要掌握了系在钩子上的绳子总是可以找到这条鱼。键盘钩子就是利用电脑一条一条执行程序的特点，在处理键盘系统代码段里把某一指令替换成一个跳转指令，让执行行为转移到自定义的一段代码，在此代码的结尾处再添加那被替换掉的指令，最后转移到原来被替换处的下一条指令处让原来的系统继续运行。好比电路中被串入了电流表，电路功能没有变化，但操作者获得了工作时的电流信息。
通过系统调用插入的钩子。钩子的本质是一段用以处理系统消息的程序，通过系统调用，将其挂入系统。钩子的种类有很多，每种钩子可以截获并处理相应的消息，每当特定的消息发出，在到达目的窗口之前，钩子程序先行截获该消息、得到对此消息的控制权。此时在钩子函数中就可以对截获的消息进行加工处理，甚至可以强制结束消息的传递。而键盘钩子，只是为了截获键盘消息的。全局钩子可以捕获在Windows平台下任意窗口上的键盘操作
USB信号检测单元，判断是否有其他外部设备在进行系统操作；
计算机系统的硬件包括显卡、键盘、鼠标和USB接口，所述显卡通过将计算机的数字信号转换成模拟信号传输至图像识别单元，所述键盘和鼠标通过数字信号连接所述键盘鼠标钩子检测单元，所述USB接口通过将对USB设备的信号监测发送到所述USB信号检测单元；
所述屏幕抓取编码推流模块通过对计算机系统的连接显卡的屏幕进行连续抓屏并对画面帧进行编码形成网络流，将网络流进行推流，推送到指定的录播系统网络流采集端，
如上，所述录播系统包括录影机和录屏模块，通过录影机对讲解人员的录播以及录屏模块对操作系统的屏幕抓屏进行数据采集，并发送到综合数据包。
如上，所述图像识别单元所用到的算法涉及到的主要图像分析计算算法为帧差法，通过计算采集的相邻两帧画面之间是否存在变化，可判断屏幕是否有变化，帧间差分法是一种通过对视频图像序列中相邻两帧作差分运算来获得运动目标轮廓的方法，它可以很好地适用于存在多个运动目标和画面变化的情况。当画面场景中出现异常物体运动时，帧与帧之间会出现较为明显的差别，两帧相减，得到两帧图像亮度差的绝对值，判断它是否大于阈值来分析视频或图像序列的运动特性，确定图像序列中有无物体运动。图像序列逐帧的差分，相当于对图像序列进行了时域下的高通滤波，通过对连续图片帧的比对分析计算，可准确判断场景中是否存在运动物体。
如上，所述USB设备的信号监测包括设备插入和拔出以及设备信号截取，通过对开发的程序调用的RegisterDeviceNotification和 UnregisterDeviceNotification两个系统函数，函数执行成功后，则有硬件变化时操作系统就会发消息通知该程序，在程序收到系统通知后，便可以继续通过钩子技术截取USB设备的通信消息。
本发明可用于开发基于网络采集电脑屏幕的自动导播录播系统，录播系统对用户的屏幕采集可通过网络流媒体进行采集，导播切换程序根据收到的用户行为数据，控制录播系统的导播切换，并以以下实施例说明：
实施例1：根据图像识别技术进行导播切换
1)通过在计算机系统上播放视频，图像识别单元所采用的帧差法对显卡发送虚拟信号中的连续图片帧的比对分析计算，判断到场景中存在运动物体，对连接显卡的屏幕进行数据采集，并发送到综合数据包；
2)通过在计算机系统上打开PPT，图像识别单元所采用的帧差法对显卡发送虚拟信号中的连续图片帧的比对分析计算，判断到场景中存在运动物体，对连接显卡的屏幕进行数据采集，并发送到综合数据包；
3)通过在计算机系统上打开图片，图像识别单元所采用的帧差法对显卡发送虚拟信号中的连续图片帧的比对分析计算，判断到场景中存在运动物体，对连接显卡的屏幕进行数据采集，并发送到综合数据包。
实施例2：根据键盘鼠标钩子检测技术进行导播切换
1)通过点击鼠标，在计算机系统处理鼠标系统代码段时，将鼠标的使用指令前添加一个跳转指令，转移到对操作系统的屏幕进行连续抓屏的自定义指令，对连接显卡的屏幕进行数据采集，并发送到综合数据包。
2)通过按下键盘，在计算机系统处理键盘系统代码段时，将键盘的使用指令前添加一个跳转指令，转移到对操作系统的屏幕进行连续抓屏的自定义指令，对连接显卡的屏幕进行数据采集，并发送到综合数据包。
实施例3：根据USB信号检测技术进行导播切换
根据设备的插入和拔出，通过插入激光笔的USB接口后，计算机系统识别成功，有硬件变化时操作系统就会发消息通知该程序，在程序收到系统通知后，便可以继续通过钩子技术截取USB设备的通信消息，然后通过计算机系统处理激光笔代码段时，将激光笔的使用指令前添加一个跳转指令，转移到对操作系统的屏幕进行连续抓屏的自定义指令，对连接显卡的屏幕进行数据采集，并发送到综合数据包。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。

Claims (4)

1.用户行为自动检测智能屏幕抓屏系统，其特征在于：包括与计算机系统的硬件连接的用户行为检测识别模块和与录播系统连接的屏幕抓取编码推流模块，
所述用户行为检测识别模块包括，
图像识别单元，实现视频画面中运动物体的行为识别应用算法；
键盘鼠标钩子检测单元，判断是否用户有点击鼠标或按下键盘的按键；
USB信号检测单元，判断是否有其他外部设备在进行系统操作；
计算机系统的硬件包括显卡、键盘、鼠标和USB接口，所述显卡通过将计算机的数字信号转换成模拟信号传输至图像识别单元，所述键盘和鼠标通过数字信号连接所述键盘鼠标钩子检测单元，所述USB接口通过将对USB设备的信号监测发送到所述USB信号检测单元；
所述屏幕抓取编码推流模块通过对计算机系统的连接显卡的屏幕进行连续抓屏并对画面帧进行编码形成网络流，将网络流进行推流，推送到指定的录播系统网络流采集端。
2.根据权利要求1所述的用户行为自动检测智能屏幕抓屏系统，其特征在于：所述录播系统包括录影机和录屏模块，通过录影机对讲解人员的录播以及录屏模块对操作系统的屏幕抓屏进行数据采集，并发送到综合数据包。
3.根据权利要求1所述的用户行为自动检测智能屏幕抓屏系统，其特征在于：所述图像识别单元所用到的算法涉及到的主要图像分析计算算法为帧差法，通过计算采集的相邻两帧画面之间是否存在变化，可判断屏幕是否有变化。
4.根据权利要求1所述的用户行为自动检测智能屏幕抓屏系统，其特征在于：所述USB设备的信号监测包括设备插入和拔出以及设备信号截取，通过对开发的程序调用的RegisterDeviceNotification和UnregisterDeviceNotification两个系统函数，函数执行成功后，则有硬件变化时操作系统就会发消息通知该程序，在程序收到系统通知后，便可以继续通过钩子技术截取USB设备的通信消息。
CN201811104836.0A 2018-09-21 2018-09-21 用户行为自动检测智能屏幕抓屏系统 Pending CN109324911A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811104836.0A CN109324911A (zh) 2018-09-21 2018-09-21 用户行为自动检测智能屏幕抓屏系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811104836.0A CN109324911A (zh) 2018-09-21 2018-09-21 用户行为自动检测智能屏幕抓屏系统

Publications (1)

Publication Number Publication Date
CN109324911A true CN109324911A (zh) 2019-02-12

Family

ID=65266017

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811104836.0A Pending CN109324911A (zh) 2018-09-21 2018-09-21 用户行为自动检测智能屏幕抓屏系统

Country Status (1)

Country Link
CN (1) CN109324911A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598747A (zh) * 2020-04-26 2020-08-28 广州市奥威亚电子科技有限公司 录播推送方法、装置及录播系统
CN114189646A (zh) * 2020-09-15 2022-03-15 深圳市万普拉斯科技有限公司 终端控制方法、装置、电子设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1455372A (zh) * 2003-05-29 2003-11-12 上海交通大学 基于ip网络的屏幕共享和同步录制方法
CN103780860A (zh) * 2014-01-28 2014-05-07 福建伊时代信息科技股份有限公司 一种屏幕录像方法及其装置与系统
CN104158696A (zh) * 2013-05-13 2014-11-19 华为技术有限公司 一种测量操作延时的确定方法、装置及终端
CN104850407A (zh) * 2015-05-28 2015-08-19 深圳市云舒网络技术有限公司 一种桌面录屏系统及其录屏方法
CN105069150A (zh) * 2015-08-24 2015-11-18 上海艺赛旗软件有限公司 屏幕录像的压缩、存储、回放方法及压缩、存储系统
CN108038397A (zh) * 2017-12-15 2018-05-15 神思电子技术股份有限公司 一种rfid读写器读写计时的测试装置及方法
CN108279838A (zh) * 2018-01-16 2018-07-13 安徽慧视金瞳科技有限公司 一种激光笔远程交互方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1455372A (zh) * 2003-05-29 2003-11-12 上海交通大学 基于ip网络的屏幕共享和同步录制方法
CN104158696A (zh) * 2013-05-13 2014-11-19 华为技术有限公司 一种测量操作延时的确定方法、装置及终端
CN103780860A (zh) * 2014-01-28 2014-05-07 福建伊时代信息科技股份有限公司 一种屏幕录像方法及其装置与系统
CN104850407A (zh) * 2015-05-28 2015-08-19 深圳市云舒网络技术有限公司 一种桌面录屏系统及其录屏方法
CN105069150A (zh) * 2015-08-24 2015-11-18 上海艺赛旗软件有限公司 屏幕录像的压缩、存储、回放方法及压缩、存储系统
CN108038397A (zh) * 2017-12-15 2018-05-15 神思电子技术股份有限公司 一种rfid读写器读写计时的测试装置及方法
CN108279838A (zh) * 2018-01-16 2018-07-13 安徽慧视金瞳科技有限公司 一种激光笔远程交互方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111598747A (zh) * 2020-04-26 2020-08-28 广州市奥威亚电子科技有限公司 录播推送方法、装置及录播系统
CN114189646A (zh) * 2020-09-15 2022-03-15 深圳市万普拉斯科技有限公司 终端控制方法、装置、电子设备和存储介质
WO2022057602A1 (zh) * 2020-09-15 2022-03-24 深圳市万普拉斯科技有限公司 终端控制方法、装置、电子设备和存储介质
CN114189646B (zh) * 2020-09-15 2023-03-21 深圳市万普拉斯科技有限公司 终端控制方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
Spikol et al. Supervised machine learning in multimodal learning analytics for estimating success in project‐based learning
CN102752574B (zh) 一种视频监控系统及方法
CN103839308B (zh) 人数获取方法、装置及系统
CN101916447B (zh) 一种鲁棒的运动目标检测与跟踪图像处理方法
CN104956339B (zh) 从视频生成软件测试脚本
CN112511821B (zh) 视频卡顿检测方法、装置和存储介质
CN114302159B (zh) 一种直播间异常的监控方法、装置、设备以及存储介质
CN112965804A (zh) 一种处理信息的方法、装置、终端、系统以及存储介质
CN112950400A (zh) 数据处理平台
CN113096158A (zh) 运动对象的识别方法、装置、电子设备及可读存储介质
CN113269039A (zh) 一种在岗人员行为识别方法和系统
CN109324911A (zh) 用户行为自动检测智能屏幕抓屏系统
CN110830772A (zh) 一种厨房视频分析资源调度方法、装置及系统
CN111726648A (zh) 图像数据检测的方法、装置、设备及计算机可读存储介质
CN111652128B (zh) 一种高空电力作业安全监测方法、系统和存储装置
CN112434178A (zh) 图像分类方法、装置、电子设备和存储介质
CN211184122U (zh) 铁路作业安全防控和大客流预警联动的智能视频分析系统
CN114419502A (zh) 一种数据分析方法、装置及存储介质
CN111263225A (zh) 视频卡顿预测方法、装置、计算机设备及存储介质
CN104410877A (zh) 网络电视的用户行为数据的处理方法和装置
CN113691801A (zh) 基于视频图像分析的视频监控设备故障监测方法及系统
CN113382232A (zh) 监控音视频质量的方法和装置、系统、电子设备
CN117424924A (zh) 一种基于元宇宙互动的巡视增强方法
CN115314684B (zh) 一种铁路桥梁的巡检方法、系统、设备及可读存储介质
CN112257545A (zh) 一种违规行为实时监控分析方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190212

RJ01 Rejection of invention patent application after publication