CN106851408A - 一种电视机投屏监测装置及方法 - Google Patents

一种电视机投屏监测装置及方法 Download PDF

Info

Publication number
CN106851408A
CN106851408A CN201710095466.8A CN201710095466A CN106851408A CN 106851408 A CN106851408 A CN 106851408A CN 201710095466 A CN201710095466 A CN 201710095466A CN 106851408 A CN106851408 A CN 106851408A
Authority
CN
China
Prior art keywords
screen
throwing
picture
screen monitoring
monitoring device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710095466.8A
Other languages
English (en)
Inventor
孙华
李小纳
其他发明人请求不公开姓名
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Whaley Technology Co Ltd
Original Assignee
Whaley Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Whaley Technology Co Ltd filed Critical Whaley Technology Co Ltd
Priority to CN201710095466.8A priority Critical patent/CN106851408A/zh
Publication of CN106851408A publication Critical patent/CN106851408A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

一种电视机投屏监测装置及方法，通过一个摄像头监测电视画面，一个摄像头监测手机画面，结合日志过滤异常，并通过双摄像头捕获到的画面实时监测两端画面的同步状况，自动判断手机画面和电视上画面之间是否存在延时。本发明，能够自动处理投屏过程中出现的图像延时等各种问题。提升投屏机械手用户的自动化体验，监测准确率更高，同时，消耗的资源更少，研发、设计以及使用成本更低。

Description

一种电视机投屏监测装置及方法
技术领域
本发明涉及家庭娱乐产品领域，尤其涉及一种针对电视机的投屏监测装置及方法。
背景技术
当前现有的投屏技术主要通过编程机械手点击其控制范围内相应的坐标点来操控手机，使手机在电视机端进行投屏。目前的技术通常采用查看日志或通过人工对投屏显示结果进行控制，判断投屏是否出现异常。但是，现有的方法中，除非是完全依赖人工查看的方式对投屏进行控制，否则，如果采用日志来过滤投屏过程中出现的异常，则无法对投屏中声音和图像的准确性进行判断。这是因为，日志本身无法对声音和图像的准确性进行监测，而只能检测投屏行为是否出现异常(例如无法传输图像等)。这使得投屏机械手的自动化体验效果很差。因而，目前急需一种能够对投屏过程进行自动监测的装置，通过该装置，在完成投屏操作的同时，也能够自动处理投屏过程中出现的图像延时等各种问题。
发明内容
为了解决现有技术存在的不足，本发明的目的在于提供一种电视机投屏监测装置及方法。通过一个摄像头监测电视画面，一个摄像头监测手机画面，结合日志过滤异常，并通过双摄像头捕获到的画面实时监测两端画面的同步状况，自动判断手机画面和电视上画面之间是否存在延时。
首先，为实现上述目的，提出一种投屏监测方法，步骤包括：
第一步，发出投屏指令；这里的指令，既可以是机械手发出，也可以是软件模块发出，也可以由人工发出；
第二步，控制两套图像采集装置同步地分别对投屏终端和显示端画面进行采集；
第三步，比较所述两套图像采集装置采集的画面是否一致；若一致，则继续监测；若不一致，则跳转至第四步；
第四步，打包所述显示端的日志信息，报错。
具体的，上述投屏监测方法中，所述投屏端包括手机、平板电脑、笔记本电脑及其他可以进行投屏操作的终端。
同时，上述投屏监测方法中，所述显示端包括电视机、显示器、投影仪及其他可以接受投屏的终端。
进一步的，述投屏监测方法中，所述两套图像采集装置参数相同，并由自动化脚本同步控制所述两套图像采集装置。通过自动化脚本同步控制两套图像采集装置开始工作，这样可以做到同步监测。这是因为，采用自动化脚本或者嵌入式软件控制的话，一个指令，只需要为数不多的几个系统时钟周期就能够得到响应。这个执行对应指令而造成的延时，理论上要比摄像头每帧所对应的时长要短。因而不存在两套图像采集装置之间不同步的问题。
进一步的，述投屏监测方法中，所述第三步中，通过PSNR(Peak Signal to NoiseRatio)峰值信噪比、感知哈希算法或特征点比较所述两套图像采集装置采集的画面是否一致。
进一步的，述投屏监测方法中，所述第四步之后，跳转至第一步。
本发明还并列地提出一种投屏监测装置，包括控制模块，其特征在于，所述投屏监测装置还包括两个摄像头，以及投屏监测模块；
所述两个摄像头分别用于对投屏端画面和显示端画面进行采集；
所述投屏监测模块用于比较所述两个摄像头采集的画面是否一致，若一致，则继续监测；若不一致，则打包显示端日志，报错；
所述控制模块用于控制所述两个摄像头。
进一步的，如上所述的投屏监测装置，所述投屏监测装置还包括投屏机械手；
所述控制模块还用于控制所述投屏机械手完成投屏操作；
或所述控制模块还用于控制所述投屏端运行相应脚本进行投屏操作；
或所述控制模块还用于在投屏端提示人工投屏操作。
进一步的，如上所述的投屏监测装置，其中，所述两个摄像头均设置于所述投屏机械手端；
或所述两个摄像头与所述控制模块均设置于独立控制终端。
进一步的，上述投屏监测装置中，所述投屏监测模块通过OpenCV技术或其他视频比较技术(例如，视频比较软件)比较所述两个摄像头采集的画面。
具体的，所述通过OpenCV技术比较所述两个摄像头采集的画面，包括通过PSNR(Peak Signal to Noise Ratio，一种全参考的图像质量评价指标)峰值信噪比、感知哈希算法或特征点比较所述两个摄像头采集的画面的相似程度，或比较所述两个摄像头采集的画面是否一致。
其中，所述特征点包括局部图像特征、特征向量中的至少一种。
其中，所述显示端的日志信息包括logcat日志、anr数据(Application NotResponding，应用程序无响应)、tombstones目录数据中的至少一种。
所述投屏监测装置中，所述控制模块根据所述报错信息控制所述投屏机械手完成的手机端操作包括：进入投屏路径，对图片或者视频/音频进行投屏等；
有益效果
本发明通过一个摄像头监测电视画面，一个摄像头监测手机画面，同步比较两端画面，结合日志过滤异常，实时监测两端画面的同步状况，自动判断手机画面和电视上画面之间是否存在延时。克服了现有投屏技术只能检测投屏行为是否出现异常，无法对投屏中声音和图像的准确性进行判断的缺陷，并结合控制模块根据比较两侧画面得出的报错信息控制投屏机械手完成对应的手机端操作。本发明在判断画面不同步之后自动结合日志进行分析，并对投屏手机进行调整，提升了投屏机械手的自动化体验。
而且，本发明将两个摄像头设置于同一设备上(投屏机械手端或者独立控制终端，所述独立控制终端可包括电视机端)，将采集到的两侧画面在同一后台实现对比，比较过程中无需传输大量的视频信息，比较画面过程得以简化，也更容易得到比较结果。由于无需传输大量视频信息，本方法同样可以克服传输过程中由于数据时沿或者数据丢失、干扰而造成的错误。结果更准确，而且消耗的资源更少，降低研发、设计以及使用成本。
进一步的，本发明通过openCV技术比较所述两个摄像头采集的画面，可以更准确对比所采集到信息的情况。
本发明的其它特征和优点将在随后的说明书中阐述，并且能够通过实施本发明而了解。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，并与本发明的实施例一起，用于解释本发明，并不构成对本发明的限制。在附图中：
图1为根据本发明的电视机投屏检测装置模块图；
图2为将摄像头设置在电视机端的投屏检测装置模块图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
图1为电视机投屏检测装置模块图，包括投屏机械手，所述投屏机械手端设有控制模块，其特征在于，所述投屏机械手端还设有两个摄像头，以及投屏监测模块；
所述两个摄像头分别用于对投屏手机端画面和电视机端画面进行采集；
所述投屏监测模块用于比较所述两个摄像头采集的画面是否一致，若一致，则继续监测；若不一致，则打包电视机端日志，报错；
所述控制模块用于控制所述投屏机械手完成投屏操作，并根据所述投屏监测模块的报错信息控制所述投屏机械手完成手机端操作。
具体的，上述装置中，所述投屏监测模块通过OpenCv技术比较所述两个摄像头采集的画面。具体而言，所述通过OpenCv技术比较所述两个摄像头采集的画面，包括通过PSNR峰值信噪比、感知哈希算法、特征点等比较所述两个摄像头采集的画面的相似度。其中，特征点包括局部图像特征、特征向量等。
与上述实施例相并列，本发明还提供一种如图2所示的一种电视机投屏监测装置。该装置与图1所示装置的区别在于，图2所示装置将两个摄像头设置在电视机端。装置具体包括投屏机械手以及控制模块，其特征在于，所述电视机投屏监测装置还包括设置在电视机端的两个摄像头以及投屏监测模块；
所述两个摄像头分别用于对投屏手机端画面和电视机端画面进行采集；
所述投屏监测模块用于比较所述两个摄像头采集的画面是否一致，若一致，则继续监测；若不一致，则打包电视机端日志，报错；
所述控制模块用于控制所述投屏机械手完成投屏操作，并根据所述投屏监测模块的报错信息控制所述投屏机械手完成手机端操作。
两种装置中，电视机端日志均可包括电视系统所打印出来的logcat日志及其他anr(application not responding，应用程序无响应)数据、tombstones数据等。
两种装置中，所述控制模块根据所述报错信息控制所述投屏机械手完成的手机端操作均可包括：进入投屏路径，对图片或者视频/音频进行投屏等；
本领域技术人员不难理解，类似的投屏监测装置还可以在机械手和电视侧分别各自采集视频信息，然后再统一移转至某一处进行处理。此种方法在进行自动化对比时步骤会更为复杂(因为涉及两个采集终端之间的时间匹配)，而且，由于机械手和电视侧自动化开发脚本不一样，在统一处理会增加自动化脚本开发的复杂度。这种实现方式下，如果机械手和电视侧的时间不完全一致，则可能会导致采集到的图片不是严格意义上的同时。这样得出的结果可能不如本发明前两种实施例所得到的结果准确，但仍然能够实现对投屏同步性的实时监测与控制。
本领域普通技术人员可以理解：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种投屏监测方法，其特征在于，步骤包括：
第一步，发出投屏指令；
第二步，控制两套图像采集装置同步地分别对投屏端和显示端画面进行采集；
第三步，比较所述两套图像采集装置采集的画面是否一致；若一致，则继续监测；若不一致，则跳转至第四步；
第四步，打包所述显示端的日志信息，报错。
2.如权利要求1所述的投屏监测方法，其特征在于，所述两套图像采集装置参数相同，并由自动化脚本同步控制所述两套图像采集装置。
3.如权利要求1所述的投屏监测方法，其特征在于，所述第三步中，通过峰值信噪比、感知哈希算法或特征点比较所述两套图像采集装置采集的画面是否一致。
4.如权利要求1所述的投屏监测方法，其特征在于，所述第四步之后，跳转至第一步。
5.一种投屏监测装置，包括控制模块，其特征在于，所述投屏监测装置还包括两个摄像头，以及投屏监测模块；
所述两个摄像头分别用于对投屏端画面和显示端画面进行采集；
所述投屏监测模块用于比较所述两个摄像头采集的画面是否一致，若一致，则继续监测；若不一致，则打包显示端日志，报错；
所述控制模块用于控制所述两个摄像头。
6.根据权利要求5所述的投屏监测装置，其特征在于：
所述投屏监测装置还包括投屏机械手；
所述控制模块还用于控制所述投屏机械手完成投屏操作；
或所述控制模块还用于控制所述投屏端运行相应脚本进行投屏操作；
或所述控制模块还用于在投屏端提示人工投屏操作。
7.根据权利要求6所述的投屏监测装置，其特征在于：
所述两个摄像头均设置于所述投屏机械手端；
或所述两个摄像头与所述控制模块均设置于独立控制终端。
8.根据权利要求5至7中任一项所述的投屏监测装置，其特征在于，所述投屏监测模块通过OpenCv技术比较所述两个摄像头采集的画面。
9.根据权利要求8所述的投屏监测装置，其特征在于，所述通过OpenCv技术比较所述两个摄像头采集的画面，包括通过峰值信噪比、感知哈希算法或特征点比较所述两个摄像头采集的画面是否一致。
10.根据权利要求5至9中任一项所述的投屏监测装置，其特征在于，所述显示端的日志信息包括logcat日志、anr数据、tombstones数据中的至少一种。
CN201710095466.8A 2017-02-22 2017-02-22 一种电视机投屏监测装置及方法 Pending CN106851408A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710095466.8A CN106851408A (zh) 2017-02-22 2017-02-22 一种电视机投屏监测装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710095466.8A CN106851408A (zh) 2017-02-22 2017-02-22 一种电视机投屏监测装置及方法

Publications (1)

Publication Number Publication Date
CN106851408A true CN106851408A (zh) 2017-06-13

Family

ID=59133862

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710095466.8A Pending CN106851408A (zh) 2017-02-22 2017-02-22 一种电视机投屏监测装置及方法

Country Status (1)

Country Link
CN (1) CN106851408A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111240905A (zh) * 2018-11-28 2020-06-05 腾讯科技（深圳）有限公司 投屏诊断方法、装置、系统、存储介质和设备
CN111787393A (zh) * 2019-04-03 2020-10-16 Oppo广东移动通信有限公司 一种传屏图像检测方法、系统以及具有存储功能的装置
CN111866558A (zh) * 2020-07-03 2020-10-30 三星电子（中国）研发中心 投屏方法与电子终端
CN111970063A (zh) * 2020-08-26 2020-11-20 北京字节跳动网络技术有限公司 一种通信方法、装置、设备和存储介质
CN113127317A (zh) * 2021-03-24 2021-07-16 深圳乐播科技有限公司 日志的采集处理方法、系统、设备及存储介质
WO2021223452A1 (zh) * 2020-05-06 2021-11-11 上海幻电信息科技有限公司 数据传输方法及装置
CN116193106A (zh) * 2023-03-06 2023-05-30 东莞市猎声电子科技有限公司 一种测试60GHz毫米波投屏器远距离投屏延时方法
CN114071230B (zh) * 2021-09-26 2023-10-10 深圳市酷开网络科技股份有限公司 多端投屏方法、计算机设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347144A (zh) * 2013-07-01 2013-10-09 广东威创视讯科技股份有限公司 一种基于摄像头拍摄的视频同步方法
CN103838543A (zh) * 2014-03-27 2014-06-04 成都睿明医疗信息技术有限公司 屏幕画面共享方法及其系统
CN104168466A (zh) * 2014-08-22 2014-11-26 广东威创视讯科技股份有限公司 一种多屏视频同步播放方法及装置
CN105472385A (zh) * 2015-11-26 2016-04-06 深圳创维数字技术有限公司 一种视频解码及画面输出的质量检测方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103347144A (zh) * 2013-07-01 2013-10-09 广东威创视讯科技股份有限公司 一种基于摄像头拍摄的视频同步方法
CN103838543A (zh) * 2014-03-27 2014-06-04 成都睿明医疗信息技术有限公司 屏幕画面共享方法及其系统
CN104168466A (zh) * 2014-08-22 2014-11-26 广东威创视讯科技股份有限公司 一种多屏视频同步播放方法及装置
CN105472385A (zh) * 2015-11-26 2016-04-06 深圳创维数字技术有限公司 一种视频解码及画面输出的质量检测方法及系统

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111240905A (zh) * 2018-11-28 2020-06-05 腾讯科技（深圳）有限公司 投屏诊断方法、装置、系统、存储介质和设备
CN111240905B (zh) * 2018-11-28 2022-03-04 腾讯科技（深圳）有限公司 投屏诊断方法、装置、系统、存储介质和设备
CN111787393A (zh) * 2019-04-03 2020-10-16 Oppo广东移动通信有限公司 一种传屏图像检测方法、系统以及具有存储功能的装置
CN111787393B (zh) * 2019-04-03 2022-06-07 Oppo广东移动通信有限公司 一种传屏图像检测方法、系统以及具有存储功能的装置
WO2021223452A1 (zh) * 2020-05-06 2021-11-11 上海幻电信息科技有限公司 数据传输方法及装置
US11778006B2 (en) 2020-05-06 2023-10-03 Shanghai Hode Information Technology Co., Ltd. Data transmission method and apparatus
CN111866558A (zh) * 2020-07-03 2020-10-30 三星电子（中国）研发中心 投屏方法与电子终端
CN111970063A (zh) * 2020-08-26 2020-11-20 北京字节跳动网络技术有限公司 一种通信方法、装置、设备和存储介质
CN113127317A (zh) * 2021-03-24 2021-07-16 深圳乐播科技有限公司 日志的采集处理方法、系统、设备及存储介质
CN114071230B (zh) * 2021-09-26 2023-10-10 深圳市酷开网络科技股份有限公司 多端投屏方法、计算机设备及计算机可读存储介质
CN116193106A (zh) * 2023-03-06 2023-05-30 东莞市猎声电子科技有限公司 一种测试60GHz毫米波投屏器远距离投屏延时方法

Similar Documents

Publication Publication Date Title
CN106851408A (zh) 一种电视机投屏监测装置及方法
CN105657548A (zh) 视频播放设备的故障测试方法及系统
CN105429905A (zh) 监控广告投放终端的方法、装置和系统
US9992488B2 (en) Method and system for region-based monitoring of video assets
CN104735473A (zh) 一种视频流播放的检测方法及装置
CN103152601A (zh) 一种智能报障摄像机及其网络管理客户端系统
CN106488226A (zh) 一种生产线上的自动化检测方法和装置
CN108512881A (zh) 一种智能家居系统
CN104519351A (zh) 一种机顶盒自动测试方法
WO2016180894A1 (en) Method and system for automating the process of testing of software application
CN104834498A (zh) 信号处理方法及装置
CN105974616A (zh) 液晶屏幕缺陷的检测方法及系统
CN105763868A (zh) 云台故障的检测方法及装置
CN105915492A (zh) 网络直播方法、装置、服务器及下线控制设备
CN107979649B (zh) 基于Inline服务器的AOI多线体多工位系统及方法
CN109104380A (zh) 传输信息以辨识出网络摄影机并提升传输质量的方法
CN109686385A (zh) 影音装置测试系统
US20160373816A1 (en) Automation testing apparatus
CN214314723U (zh) 一种基于5g云控平台的智能配电站监控系统
CN115909194A (zh) 一种基于图像识别的安防监控信息处理系统
US20040237096A1 (en) Automated in-home observation of user interactions with video devices
CN112291527B (zh) 一种基于区块链系统的智能安防信息的提供方法及系统
CN109324911A (zh) 用户行为自动检测智能屏幕抓屏系统
KR20140146429A (ko) 스마트 디바이스를 이용한 cctv 영상 획득 및 관리 시스템 및 그 방법
CN107734278A (zh) 一种视频回放方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613