CN104967904A - 终端视频录制回放的方法及装置 - Google Patents

终端视频录制回放的方法及装置 Download PDF

Info

Publication number
CN104967904A
CN104967904A CN201410141110.XA CN201410141110A CN104967904A CN 104967904 A CN104967904 A CN 104967904A CN 201410141110 A CN201410141110 A CN 201410141110A CN 104967904 A CN104967904 A CN 104967904A
Authority
CN
China
Prior art keywords
terminal
video data
video recording
time
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410141110.XA
Other languages
English (en)
Other versions
CN104967904B (zh
Inventor
方亮
王鹏
孙大伟
张得俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN201410141110.XA priority Critical patent/CN104967904B/zh
Priority to PCT/CN2015/075791 priority patent/WO2015154639A1/en
Publication of CN104967904A publication Critical patent/CN104967904A/zh
Priority to US15/288,721 priority patent/US10453493B2/en
Application granted granted Critical
Publication of CN104967904B publication Critical patent/CN104967904B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440236—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by media transcoding, e.g. video is transformed into a slideshow of still pictures, audio is converted into text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/4424—Monitoring of the internal components or processes of the client device, e.g. CPU or memory load, processing speed, timer, counter or percentage of the hard disk space used
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明公开了一种终端视频录制回放的方法及装置，涉及终端视频录制回放领域,能够解决因无法连续反应程序运行状态导致终端视频录制回放效率低的问题。所述方法包括：接收终端根据第一预设时间间隔发送的屏幕截图和根据第二预设时间间隔发送的终端的性能数据，所述第一预设时间间隔小于所述第二预设时间间隔；将接收到的屏幕截图合成为具有起始时间和结束时间的视频数据；根据用户选择的播放时间，播放所述视频数据和与所述播放时间对应的性能数据。本发明主要应用于终端视频录制回放的过程中。

Description

终端视频录制回放的方法及装置
技术领域
本发明涉及终端视频录制回放领域，尤其涉及一种终端视频录制回放的方法及装置。
背景技术
随着智能终端的发展，针对智能终端进行的软件开发也随之增多，在软件开发时，需要对智能终端中软件（如游戏）的运行情况进行统计和回放，以便程序员对软件进行改进和维护。
目前在智能终端中的视频录制通常采用下述方法：在预定时间点如每隔5分钟，获取终端的界面截图，同时获取该预设时间点的终端的性能指标参数。当用户需要播放录制结果时，根据时间顺序播放界面截图和与之对应的性能指标参数。
在实现上述终端视频录制回放的过程中，发明人发现现有技术中至少存在如下问题：根据预定时间点获取的界面截图为静态的图片，在现实界面截图和与之对应的性能指标参数时，无法连续的反应程序运行状态，仅能够得到固定画面上的运行状态，因此无法获得智能终端在软件运行过程中的每个画面细节，即无法连续准确的反应软件在智能终端上的运行情况，导致终端视频录制回放时疏漏运行异常点。
发明内容
本发明的实施例提供一种终端视频录制回放的方法及装置，能够解决因无法连续反应程序运行情况，导致终端视频录制回放时疏漏运行异常点的问题。
一方面，本发明提供了一种终端视频录制回放的方法，所述方法包括：
接收终端根据第一预设时间间隔发送的屏幕截图和根据第二预设时间间隔发送的终端的性能数据，所述第一预设时间间隔小于所述第二预设时间间隔；
将接收到的屏幕截图合成为具有起始时间和结束时间的视频数据；
根据用户选择的播放时间，播放所述视频数据和与所述播放时间对应的性能数据。
另一方面，本发明还提供了一种终端视频录制回放的装置，所述装置包括：
接收单元，用于接收终端根据第一预设时间间隔发送的屏幕截图和根据第二预设时间间隔发送的终端的性能数据，所述第一预设时间间隔小于所述第二预设时间间隔；
合成单元，用于将所述接收单元接收到的所述屏幕截图合成为具有起始时间和结束时间的视频数据；
播放单元，用于根据用户选择的播放时间，播放所述合成单元合成的所述视频数据和所述接收单元接收到的与所述播放时间对应的性能数据。
本发明提供的终端视频录制回放的方法及装置，能够接收终端根据第一预设时间间隔发送的屏幕截图和根据第二预设时间间隔发送的性能数据，将屏幕截图合成为视频数据，再根据用户选择的播放时间，播放终端的视频画面同时显示与播放时间对应的性能数据。现有技术仅能够根据图片判断终端的软件运行情况，无法得到连续的运行状态，导致终端视频录制回放时疏漏运行异常点。本发明通过将屏幕截图合成为视频数据，进而得到终端连续的运行效果，连续的视频数据能够反应每个时间点对应的性能数据，避免疏漏异常点，提高终端视频录制回放效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中第一个终端视频录制回放的方法的流程图；
图2-a为本发明实施例中第一个终端视频录制回放的系统架构图的示意图；
图2-b为本发明实施例中第二个终端视频录制回放的系统架构图的示意图；
图2-c为本发明实施例中第三个终端视频录制回放的系统架构图的示意图；
图3为本发明实施例中第二个终端视频录制回放的方法的流程图；
图4为本发明实施例中第三个终端视频录制回放的方法的流程图；
图5为本发明实施例中第四个终端视频录制回放的方法的流程图；
图6为本发明实施例中第五个终端视频录制回放的方法的流程图；
图7为本发明实施例中第六个终端视频录制回放的方法的流程图；
图8为本发明实施例中一个终端视频录制回放的显示界面示意图；
图9为本发明实施例中第一个终端视频录制回放的装置的结构示意图；
图10为本发明实施例中第二个终端视频录制回放的装置的结构示意图；
图11为本发明实施例中第三个终端视频录制回放的装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供了一种终端视频录制回放的方法，如图1所示，所述方法包括：
步骤101、接收终端根据第一预设时间间隔发送的屏幕截图和根据第二预设时间间隔发送的终端的性能数据，第一预设时间间隔小于第二预设时间间隔。
所述性能数据用于描述下述性能参数中的至少一个：CPU使用情况、内存使用情况、流量使用情况、耗电量和屏幕图像每秒刷新的帧数（Frames Per Second，简称FPS）。
CPU使用情况包括CPU使用率，内存使用情况包括已用内存数量、内存剩余数量等，流量使用情况包括产生的流量消耗。
优选的，所述第一时间间隔大于0秒且小于等于100毫秒；所述第二时间间隔大于等于两秒。
进一步的，第一时间间隔为50-100毫秒，第二时间间隔为2秒。
以50-100毫秒作为第一时间间隔发送屏幕截图，能够使生成的视频数据具有连贯性。同时，不会因时间间隔过短导致产生过多的流量。
进一步的，终端可将图片进行压缩，将压缩后的图片进行发送，进而能够进一步减少流量。
步骤102、将接收到的屏幕截图合成为具有起始时间和结束时间的视频数据。
按照接收屏幕截图的先后顺序将屏幕截图，合成视频数据。起始时间和结束时间确定的时长为视频数据的总时长。
步骤103、根据用户选择的播放时间，播放视频数据和与播放时间对应的性能数据。
用户在视频数据的播放界面中，选择播放时间。调取与该播放时间对应的视频数据的帧，以及该播放时间所对应的性能数据。根据性能数据拟合生成性能数据的表示函数，进而根据该拟合函数绘制性能数据的图形曲线。
本发明实施例提供的终端视频录制回放的方法，能够接收终端根据第一预设时间间隔发送的屏幕截图和根据第二预设时间间隔发送的性能数据，将屏幕截图合成为视频数据，再根据用户选择的播放时间，播放终端的视频画面同时显示与播放时间对应的性能数据。现有技术仅能够根据图片判断终端的软件运行情况，无法得到连续的运行状态，使得终端视频录制回放时疏漏运行异常点。本发明通过将屏幕截图合成为视频数据，进而得到终端连续的运行效果，提高终端视频录制回放效率。
本发明实施例采用的系统构架如图2-a和图2-b所示。图2-a和图2-b的区别在于，图2-b中直接由终端向编码服务器发送数据，而图2-a中，是由终端通过PC向编码服务器发送数据。通过终端向编码服务器发送数据时，可通过有线网络进行数据传输。以图2-a为例：多台终端（如智能手机）通过USB与个人电脑（Personal Computer，简称PC）相连，PC将终端的屏幕截图发送到编码服务器。编码服务器接收终端通过PC发送的屏幕截图。此外，终端通过PC将性能数据发送到缓存服务器中。编码服务器对每个终端上传的屏幕截图进行合成得到与终端一一对应的路由选择表维护协议（Routing Table MaintenanceProtocol，简称RTMP）格式的流媒体，并将该流媒体发送到流媒体服务器中。录像服务器从流媒体服务器中读取流媒体，对流媒体进行格式转换，得到FLASH流媒体（FLASH VIDEO，简称FLV）格式的视频数据，并将视频数据回存到流媒体服务器中。测试人员在终端中在不同的测试终端中向Web服务器发送流媒体数据的播放请求，Web服务器根据该播放请求访问流媒体服务器。流媒体服务器在对视频数据进行播放时，将新能数据与视频数据根据时间进行同步，得到与终端运行情况对应的性能参数图表。测试人员根据视频数据对终端的运行情况进行测试，能够更为准确的对每个时间点上的运行情况进行测试，同时还可以查看前后两个临近的时间点之间的运行情况，提高测试效率。
需要说明的是，本发明实施例中编码服务器、流媒体服务器、缓存服务器和录像服务器可以为一个服务器集群中的多个分别用于执行不同功能的服务器，因此，本发明实施例还可通过一个服务器集群进行实现。
可选的，由一个服务器中的多个功能模块实现图1所示方法，此时，本发明实施例采用的系统构架如图2-c所示。
本发明实施例还提供了一种终端视频录制回放的方法，作为对图1所示方法的具体说明，如图3所示，步骤102、将接收到的屏幕截图合成为具有起始时间和结束时间的视频数据，包括：
步骤301、将接收到的屏幕截图合成为流媒体数据，流媒体数据用于连续的显示终端屏幕中的画面。
优选的，流媒体数据的数据类型为RTMP的视频流格式。RTMP的视频流能够将多张真画面，即屏幕截图，合成为一个流媒体数据。但是，由于RTMP是一种用于实时流媒体传输的协议，导致RTMP不具备点播的功能，即只能够从头播放到结尾，无法从中间位置进行播放。
具体的，如图4所示，步骤301包括：
步骤401、对屏幕截图进行H264编码，生成H264格式的码流。
为了能够将离散的图片生成连续的流媒体，在编码时采用主动插帧算法生成H264格式的码流。
步骤402、对H264格式的码流进行封装，得到RTMP码流。
步骤401和步骤402以上述编码服务器作为执行主体。编码服务器对终端上传的图片进行H264编码，输出H264的码流。然后，将H264的码流封装为RTMP码流。最后将RTMP码流发送到流媒体服务器。用户通过流媒体服务器或者通过web服务器访问流媒体服务器中的RTMP码流。
步骤302、对流媒体进行格式转换，生成支持点播的视频数据，视频数据具有起始时间和结束时间。
为了能够使得测试人员能够对视频数据进行点播和点播，将流媒体进行格式转换，得到支持点播的视频数据。
优选的，视频数据的格式为FLV格式。
优选的，采用RTMPDump工具，进行格式转换操作。
具体的，如图5所示，步骤302包括：
步骤501、对RTMP码流进行格式转换，生成FLV格式的视频数据。
RTMPDump工具通常安装于流媒体服务器中，通过访问流媒体服务器中的RTMPDump工具能够实现RTMP码流到FLV格式的转换。
通过RTMPDump工具所使用的命令，对RTMP码流的步骤如说下：
1、获得RTMP视频流地址。
比如：rtmp://10.1.163.35:8080/live/10235。
其中，10.1.163.35为流媒体服务器的网址，8080为端口，live为RTMP所在文件夹名称，10235为RTMP码流的文件名。
2、使用RTMPDump命令对RTMP码流进行格式转换，得到FLV文件。
RTMPDump命令如：RTMPDump–r rtmp://10.1.163.35:8080/live/10235–v–o10235.flv。
步骤502、对FLV文件的头部写入FLV文件的时长信息，时长信息包括起始时间和截止时间。
由RTMPDump工具转换得到的FLV文件头部没有视频时长信息（起始时间和截止时间）。在回放时，若无视频时长信息，责无法根据时间进行点播。
因此需要主动对FLV文件的头部写入视频时长信息。
步骤503、根据时长信息更新FLV文件的持续值duration。
更新FLV文件的duration值，使得在Flash播放器中回放该FLV文件时，可以用进度条控制播放的时间点，实现点播。
本发明实施例提供的终端视频录制回放的方法，能够将终端发送的多张屏幕截图合成为流媒体，再经流媒体进行格式转换，得到支持点播的视频数据，使测试人员能够从视频数据的中间某个时间点观察软件的运行情况，避免从头观看视频数据，提高终端视频录制回放的效率。
本发明实施例还提供了一种终端视频录制回放的方法，作为对图3所示方法的具体说明，步骤301、将接收到的屏幕截图合成为流媒体数据，流媒体数据用于连续的显示终端屏幕中的画面，包括：
为每个终端分别建立一个子进程，所述子进程用于对每个终端对应的一个流媒体进行格式转换。
子进程的父进程为格式转换进程。每个子进程对应一个终端。每个子进程分别执行录制RTMP码流，以及将该RTMP码流保存为FLV文件。
可选的，再为视频数据添加起始时间和截止时间之后，释放子进程的内存控件。
本发明实施例提供的终端视频录制回放的方法，能够针对不同的终端建立子进程，以子进程便于管理，同时能够实现并行生成多个视频数据，进而提高测试效率。
本发明实施例还提供了一种终端视频录制回放的方法，作为对图3所示方法的具体说明，如图6所示，步骤103、根据用户选择的播放时间，播放所述视频数据和与所述播放时间对应的性能数据，包括：
步骤601、加载视频数据的起始时间和结束时间。
步骤602、在播放视频数据的每个帧时，根据当前帧的时间戳获取当前时间戳对应的性能数据。
步骤603、显示当前帧和当前时间戳对应的性能数据。
本发明实施例还提供了一种终端视频录制回放的方法，作为对图1所示方法的具体说明，如图7所示：
步骤701、通过JavaScript向Flash播放器传递视频数据和视屏数据的起始时间和截止时间。
其中，Flash播放器可以为单独的多媒体播放软件，也可以为浏览器中的一个插件。
步骤702、JavaScript加载性能数据。
步骤703、Flash播放器播放视频数据，每一帧向JavaScript同步时间信息。
步骤704、JavaScript根据时间信息显示与之对应的性能数据曲线。
步骤705、监听是否有用输入播放时间的操作。如果有执行步骤506；如果没有，继续进行监听。
步骤706、根据用户输入的播放时间查找帧。
步骤707、Flash播放器从查找到的帧开始播放。
本发明实施例提供的终端视频录制回放的方法，能够通过Flash播放器和JavaScript工具对视频数据进行播放，并根据测试人员输入的播放时间对播放的画面进行调整。
测试界面如图8所示，其中，左侧显示框内显示的是终端的运行状态（通过Flash播放器进行播放），右侧显示的时与时间轴对应的性能数据。左侧下部有时间轴，其中通过光标和箭头表示当前运行的时间帧位置。以CPU使用率和内存使用率作为举例，通过时间轴和CPU利用率的方式，表示CPU使用率随时间的变化情况，竖线表示当前的时间点。该时间点与左侧下部的时间帧相同。被测试的终端信息为：厂商为厂商A、操作系统为系统A、屏幕分辨率为720*1280、中央处理器个数为2个、内存总量为256M。
本发明实施例还提供了一种终端视频录制回放的装置9，如图9所示，所述装置9包括：
接收单元91，用于接收终端根据第一预设时间间隔发送的屏幕截图和根据第二预设时间间隔发送的终端的性能数据，所述第一预设时间间隔小于所述第二预设时间间隔；
合成单元92，用于将所述接收单元91接收到的所述屏幕截图合成为具有起始时间和结束时间的视频数据；
播放单元93，用于根据用户选择的播放时间，播放所述合成单元92合成的所述视频数据和所述接收单元91接收到的与所述播放时间对应的性能数据。
本发明实施例提供的终端视频录制回放的装置，接收单元91能够接收终端根据第一预设时间间隔发送的屏幕截图和根据第二预设时间间隔发送的性能数据，合成单元92将屏幕截图合成为视频数据，播放单元93根据用户选择的播放时间，播放终端的视频画面同时显示与播放时间对应的性能数据。现有技术仅能够根据图片判断终端的软件运行情况，无法得到连续的运行状态，使得终端视频录制回放时疏漏运行异常点。本发明通过将屏幕截图合成为视频数据，进而得到终端连续的运行效果，提高终端视频录制回放效率。
本发明实施例还提供了一种终端视频录制回放的装置9，作为对图9所示装置的具体描述，如图10所示，所述合成单元92包括：
流媒体合成子单元921，用于将所述接收单元91接收到的屏幕截图合成为流媒体数据，所述流媒体数据用于连续的显示终端屏幕中的画面；
格式转换子单元922，用于对所述流媒体合成子单元921合成的所述流媒体进行格式转换，生成支持点播的视频数据，所述视频数据具有起始时间和结束时间。
本发明实施例还提供了一种终端视频录制回放的装置9，作为对图10所示装置的具体描述，所述流媒体合成子单元921还用于：
对所述屏幕截图进行H264编码，生成H264格式的码流；
对所述H264格式的码流进行封装，得到RTMP码流。
本发明实施例还提供了一种终端视频录制回放的装置9，作为对图10所示装置的具体描述，所述格式转换子单元922还用于：
对所述RTMP码流进行格式转换，生成FLV格式的视频数据；
对所述FLV文件的头部写入所述FLV文件的时长信息，所述时长信息包括起始时间和截止时间；
根据所述时长信息更新所述FLV文件的持续值duration。
本发明实施例提供的终端视频录制回放的装置，合成单元92将终端发送的多张屏幕截图合成为流媒体，转换单元能够对流媒体进行格式转换，得到支持点播的视频数据，使测试人员能够从视频数据的中间某个时间点观察软件的运行情况，避免从头观看视频数据，提高终端视频录制回放的效率。
本发明实施例还提供了一种终端视频录制回放的装置9，作为对图9所示装置的具体描述，所述合成单元92还用于：
为每个终端分别建立一个子进程，所述子进程用于对每个终端对应的一个流媒体进行格式转换。
可选的，再为视频数据添加起始时间和截止时间之后，释放子进程的内存控件。
本发明实施例提供的终端视频录制回放的装置，合成单元92能够针对不同的终端建立子进程，以子进程便于管理，同时能够实现并行生成多个视频数据，进而提高测试效率。
本发明实施例还提供了一种终端视频录制回放的装置9，作为对图9所示装置的具体描述，如图11所示，所述播放单元93还包括：
加载子单元931，用于加载视频数据的起始时间和结束时间；
获取子单元932，用于在播放所述视频数据的每个帧时，根据当前帧的时间戳获取当前时间戳对应的性能数据；
显示子单元933，用于显示所述当前帧和所述当前时间戳对应的性能数据。
进一步的，所述性能数据用于描述下述性能参数中的至少一个：CPU使用情况、内存使用情况、流量使用情况、耗电量和屏幕图像每秒刷新的帧数。
进一步的，所述第一时间间隔大于0秒且小于等于100毫秒；所述第二时间间隔大于等于两秒。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (16)

1.一种终端视频录制回放的方法，其特征在于，所述方法包括：
接收终端根据第一预设时间间隔发送的屏幕截图和根据第二预设时间间隔发送的终端的性能数据，所述第一预设时间间隔小于所述第二预设时间间隔；
将接收到的屏幕截图合成为具有起始时间和结束时间的视频数据；
根据用户选择的播放时间，播放所述视频数据和与所述播放时间对应的性能数据。
2.根据权利要求1所述的终端视频录制回放的方法，其特征在于，所述将接收到的屏幕截图合成为具有起始时间和结束时间的视频数据的步骤，包括：
将接收到的所述屏幕截图合成为流媒体数据，所述流媒体数据用于连续的显示终端屏幕中的画面；
对所述流媒体进行格式转换，生成支持点播的视频数据，所述视频数据具有起始时间和结束时间。
3.根据权利要求2所述的终端视频录制回放的方法，其特征在于，所述将接收到的所述屏幕截图合成为流媒体数据的步骤，包括：
对所述屏幕截图进行H264编码，生成H264格式的码流；
对所述H264格式的码流进行封装，得到RTMP码流。
4.根据权利要求3所述的终端视频录制回放的方法，其特征在于，所述对所述流媒体进行格式转换，生成支持点播的视频数据的步骤，包括：
对所述RTMP码流进行格式转换，生成FLV格式的视频数据；
对所述FLV文件的头部写入所述FLV文件的时长信息，所述时长信息包括起始时间和截止时间；
根据所述时长信息更新所述FLV文件的持续值duration。
5.根据权利要求2所述的终端视频录制回放的方法，其特征在于，所述对所述流媒体进行格式转换，生成支持点播的视频数据的步骤，包括：
为每个终端分别建立一个子进程，所述子进程用于对每个终端对应的一个流媒体进行格式转换。
6.根据权利要求1所述的终端视频录制回放的方法，其特征在于，所述根据用户选择的播放时间，播放所述视频数据和与所述播放时间对应的性能数据的步骤，包括：
加载视频数据的起始时间和结束时间；
在播放所述视频数据的每个帧时，根据当前帧的时间戳获取当前时间戳对应的性能数据；
显示所述当前帧和所述当前时间戳对应的性能数据。
7.根据权利要求1至6中任一项所述的终端视频录制回放的方法，其特征在于，所述性能数据用于描述下述性能参数中的至少一个：CPU使用情况、内存使用情况、流量使用情况、耗电量和屏幕图像每秒刷新的帧数。
8.根据权利要求1至6中任一项所述的终端视频录制回放的方法，其特征在于，所述第一时间间隔大于0秒且小于等于100毫秒；所述第二时间间隔大于等于两秒。
9.一种终端视频录制回放的装置，其特征在于，所述装置包括：
接收单元，用于接收终端根据第一预设时间间隔发送的屏幕截图和根据第二预设时间间隔发送的终端的性能数据，所述第一预设时间间隔小于所述第二预设时间间隔；
合成单元，用于将所述接收单元接收到的所述屏幕截图合成为具有起始时间和结束时间的视频数据；
播放单元，用于根据用户选择的播放时间，播放所述合成单元合成的所述视频数据和所述接收单元接收到的与所述播放时间对应的性能数据。
10.根据权利要求9所述的终端视频录制回放的装置，其特征在于，所述合成单元包括：
流媒体合成子单元，用于将所述接收单元接收到的屏幕截图合成为流媒体数据，所述流媒体数据用于连续的显示终端屏幕中的画面；
格式转换子单元，用于对所述流媒体合成子单元合成的所述流媒体进行格式转换，生成支持点播的视频数据，所述视频数据具有起始时间和结束时间。
11.根据权利要求10所述的终端视频录制回放的装置，其特征在于，所述流媒体合成子单元还用于：
对所述屏幕截图进行H264编码，生成H264格式的码流；
对所述H264格式的码流进行封装，得到RTMP码流。
12.根据权利要求11所述的终端视频录制回放的装置，其特征在于，所述格式转换子单元还用于：
对所述RTMP码流进行格式转换，生成FLV格式的视频数据；
对所述FLV文件的头部写入所述FLV文件的时长信息，所述时长信息包括起始时间和截止时间；
根据所述时长信息更新所述FLV文件的持续值duration。
13.根据权利要求10所述的终端视频录制回放的装置，其特征在于，所述合成单元还用于：
为每个终端分别建立一个子进程，所述子进程用于对每个终端对应的一个流媒体进行格式转换。
14.根据权利要求9所述的终端视频录制回放的装置，其特征在于，所述播放单元还包括：
加载子单元，用于加载视频数据的起始时间和结束时间；
获取子单元，用于在播放所述视频数据的每个帧时，根据当前帧的时间戳获取当前时间戳对应的性能数据；
显示子单元，用于显示所述当前帧和所述当前时间戳对应的性能数据。
15.根据权利要求9至14中任一项所述的终端视频录制回放的装置，其特征在于，所述性能数据用于描述下述性能参数中的至少一个：CPU使用情况、内存使用情况、流量使用情况、耗电量和屏幕图像每秒刷新的帧数。
16.根据权利要求9至14中任一项所述的终端视频录制回放的装置，其特征在于，所述第一时间间隔大于0秒且小于等于100毫秒；所述第二时间间隔大于等于两秒。
CN201410141110.XA 2014-04-10 2014-04-10 终端视频录制回放的方法及装置 Active CN104967904B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201410141110.XA CN104967904B (zh) 2014-04-10 2014-04-10 终端视频录制回放的方法及装置
PCT/CN2015/075791 WO2015154639A1 (en) 2014-04-10 2015-04-02 Method and apparatus for recording and replaying video of terminal
US15/288,721 US10453493B2 (en) 2014-04-10 2016-10-07 Method and apparatus for recording and replaying video of terminal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410141110.XA CN104967904B (zh) 2014-04-10 2014-04-10 终端视频录制回放的方法及装置

Publications (2)

Publication Number Publication Date
CN104967904A true CN104967904A (zh) 2015-10-07
CN104967904B CN104967904B (zh) 2018-08-17

Family

ID=54221827

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410141110.XA Active CN104967904B (zh) 2014-04-10 2014-04-10 终端视频录制回放的方法及装置

Country Status (3)

Country Link
US (1) US10453493B2 (zh)
CN (1) CN104967904B (zh)
WO (1) WO2015154639A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653456A (zh) * 2015-12-31 2016-06-08 网易（杭州）网络有限公司 应用程序性能测试方法、装置和系统
CN105827484A (zh) * 2016-05-11 2016-08-03 厦门美图移动科技有限公司 一种测试画面同步显示方法及系统
CN106303290A (zh) * 2016-09-29 2017-01-04 努比亚技术有限公司 一种终端及获取视频的方法
CN106371998A (zh) * 2016-09-13 2017-02-01 网易（杭州）网络有限公司 移动应用的测试系统及方法
CN106488161A (zh) * 2016-10-19 2017-03-08 网易（杭州）网络有限公司 电子设备屏幕显示数据获取系统、方法和装置
CN111182079A (zh) * 2020-01-06 2020-05-19 深圳市同洲电子股份有限公司 一种通用的屏幕截图和桌面录像的系统
CN112073543A (zh) * 2020-11-16 2020-12-11 全时云商务服务股份有限公司 一种云视频录制方法、系统和可读存储介质
CN112637085A (zh) * 2020-12-08 2021-04-09 广州品唯软件有限公司 流量录制方法、装置、计算机设备和存储介质
WO2021254443A1 (zh) * 2020-06-19 2021-12-23 北京字节跳动网络技术有限公司 视频变速播放方法、装置、电子设备及计算机可读介质
CN113923510A (zh) * 2021-10-11 2022-01-11 深圳创维－Rgb电子有限公司 转发数字电视内容的方法、装置、设备及可读存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108174281A (zh) * 2018-01-19 2018-06-15 浙江大华技术股份有限公司 一种视频倒放方法、装置、系统、介质及设备
CN109168076B (zh) * 2018-11-02 2021-03-19 北京字节跳动网络技术有限公司 在线课程的录制方法、装置、服务器和介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005595A (zh) * 2006-01-19 2007-07-25 北京维多美雅数字传媒技术有限公司 自制和分享视频贺卡的方法与设备
CN101282247A (zh) * 2007-04-27 2008-10-08 清华大学 支持互联网高带宽实时视频应用的网络应用性能测量方法
CN101399967A (zh) * 2007-09-26 2009-04-01 新奥特硅谷视频技术有限责任公司 应用在收录系统中的视、音频同步监控的方法
CN101482849A (zh) * 2009-02-24 2009-07-15 北京星网锐捷网络技术有限公司 测试监控方法和装置
US20090204382A1 (en) * 2008-02-12 2009-08-13 Accenture Global Services Gmbh System for assembling behavior models of technology components
WO2009149078A1 (en) * 2008-06-02 2009-12-10 Abb Technology Ag Method and apparatus for monitoring the performance of a power delivery control system
US20120140081A1 (en) * 2009-05-22 2012-06-07 Stephen Clements Test System For A Set-Top Box
CN102609637A (zh) * 2011-12-20 2012-07-25 北京友维科软件科技有限公司 数据泄露审计防护系统
CN102708049A (zh) * 2012-04-21 2012-10-03 北京迈凯互动网络科技有限公司 移动应用测试结果记录和回放方法和系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100452775C (zh) * 2003-12-08 2009-01-14 腾讯科技（深圳）有限公司 一种在即时通讯系统中应用程序共享的方法和系统
BRPI0516309B1 (pt) * 2004-10-05 2019-07-02 Vectormax Corporation Sistema de vídeo de compressão
US20100031162A1 (en) * 2007-04-13 2010-02-04 Wiser Philip R Viewer interface for a content delivery system
JP2009110697A (ja) 2007-10-26 2009-05-21 Hosiden Corp コネクタ
US20090150868A1 (en) * 2007-12-10 2009-06-11 Al Chakra Method and System for Capturing Movie Shots at the Time of an Automated Graphical User Interface Test Failure
EP2104105A1 (en) * 2008-03-20 2009-09-23 British Telecommunications Public Limited Company Digital audio and video clip encoding
US8176124B2 (en) * 2008-12-04 2012-05-08 Disney Enterprises, Inc. Communication hub for video game development systems having a video game development tool and video game platforms with communication libraries
US20120236201A1 (en) * 2011-01-27 2012-09-20 In The Telling, Inc. Digital asset management, authoring, and presentation techniques
CN102279739B (zh) * 2011-06-10 2016-12-21 大连佳音科技有限公司 屏幕操作的记录方法和应用
US9049482B2 (en) * 2012-02-19 2015-06-02 Udacity, Inc. System and method for combining computer-based educational content recording and video-based educational content recording
US20140155022A1 (en) * 2012-12-05 2014-06-05 Anil Kandregula Methods and apparatus to monitor usage of mobile devices
CN103516559A (zh) * 2012-12-13 2014-01-15 Tcl集团股份有限公司 一种智能终端应用兼容性测试方法及系统
US20140280913A1 (en) * 2013-03-15 2014-09-18 Moki Mobility, Inc. Device and settings management platform

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101005595A (zh) * 2006-01-19 2007-07-25 北京维多美雅数字传媒技术有限公司 自制和分享视频贺卡的方法与设备
CN101282247A (zh) * 2007-04-27 2008-10-08 清华大学 支持互联网高带宽实时视频应用的网络应用性能测量方法
CN101399967A (zh) * 2007-09-26 2009-04-01 新奥特硅谷视频技术有限责任公司 应用在收录系统中的视、音频同步监控的方法
US20090204382A1 (en) * 2008-02-12 2009-08-13 Accenture Global Services Gmbh System for assembling behavior models of technology components
WO2009149078A1 (en) * 2008-06-02 2009-12-10 Abb Technology Ag Method and apparatus for monitoring the performance of a power delivery control system
CN101482849A (zh) * 2009-02-24 2009-07-15 北京星网锐捷网络技术有限公司 测试监控方法和装置
US20120140081A1 (en) * 2009-05-22 2012-06-07 Stephen Clements Test System For A Set-Top Box
CN102609637A (zh) * 2011-12-20 2012-07-25 北京友维科软件科技有限公司 数据泄露审计防护系统
CN102708049A (zh) * 2012-04-21 2012-10-03 北京迈凯互动网络科技有限公司 移动应用测试结果记录和回放方法和系统

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105653456B (zh) * 2015-12-31 2018-09-11 网易（杭州）网络有限公司 应用程序性能测试方法、装置和系统
CN105653456A (zh) * 2015-12-31 2016-06-08 网易（杭州）网络有限公司 应用程序性能测试方法、装置和系统
CN105827484A (zh) * 2016-05-11 2016-08-03 厦门美图移动科技有限公司 一种测试画面同步显示方法及系统
CN105827484B (zh) * 2016-05-11 2019-10-11 厦门美图移动科技有限公司 一种测试画面同步显示方法及系统
CN106371998A (zh) * 2016-09-13 2017-02-01 网易（杭州）网络有限公司 移动应用的测试系统及方法
CN106303290B (zh) * 2016-09-29 2019-10-08 努比亚技术有限公司 一种终端及获取视频的方法
CN106303290A (zh) * 2016-09-29 2017-01-04 努比亚技术有限公司 一种终端及获取视频的方法
CN106488161A (zh) * 2016-10-19 2017-03-08 网易（杭州）网络有限公司 电子设备屏幕显示数据获取系统、方法和装置
CN111182079A (zh) * 2020-01-06 2020-05-19 深圳市同洲电子股份有限公司 一种通用的屏幕截图和桌面录像的系统
WO2021254443A1 (zh) * 2020-06-19 2021-12-23 北京字节跳动网络技术有限公司 视频变速播放方法、装置、电子设备及计算机可读介质
CN112073543A (zh) * 2020-11-16 2020-12-11 全时云商务服务股份有限公司 一种云视频录制方法、系统和可读存储介质
CN112637085A (zh) * 2020-12-08 2021-04-09 广州品唯软件有限公司 流量录制方法、装置、计算机设备和存储介质
CN113923510A (zh) * 2021-10-11 2022-01-11 深圳创维－Rgb电子有限公司 转发数字电视内容的方法、装置、设备及可读存储介质
CN113923510B (zh) * 2021-10-11 2024-02-02 深圳创维－Rgb电子有限公司 转发数字电视内容的方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
US10453493B2 (en) 2019-10-22
CN104967904B (zh) 2018-08-17
WO2015154639A1 (en) 2015-10-15
US20170025155A1 (en) 2017-01-26

Similar Documents

Publication Publication Date Title
CN104967904A (zh) 终端视频录制回放的方法及装置
CN102055717B (zh) 快速播放的方法、终端及服务器
CN101060623B (zh) 运动图像再现设备和方法
CN102340789B (zh) 拨测终端及拨测方法
CN105306963A (zh) 自适应移动终端分辨率的视频处理系统、装置和方法
CN103945240A (zh) 一种基于视频聚合的视频播放方法及装置
RU2012145099A (ru) Устройство воспроизведения контента, сервер предоставления управляющей информации и система воспроизведения контента
CN102625150A (zh) 一种媒体播放系统和方法
CN103139651A (zh) 视频切换显示方法及系统
CN104253999A (zh) 用于发送内容的设备和方法
CN103581698A (zh) 终端设备以及视频数据发布方法
CN106101744B (zh) 一种在线播放电视的方法及装置
CN104092920A (zh) 一种音视频同步方法
CN104581388A (zh) 播放状态的处理方法、装置及系统
CN103491431A (zh) 一种数字电视的音视频共享方法、终端及系统
CN103369128A (zh) 同时显示多个运动图像缩略图的图像再现装置及方法
WO2021031590A1 (zh) 音视频推送方法、移动终端及显示终端
CN101848367B (zh) 基于文件的动态影像网络直播方法
CN103795711A (zh) 基于手机客户端的自动化测试方法及系统
CN108401190B (zh) 一种用于对视频帧进行实时标注的方法与设备
CN104754370A (zh) 跨终端的多媒体数据传输方法、装置、客户端和系统
US20160373816A1 (en) Automation testing apparatus
CN102368721A (zh) 一种ms集群系统的性能测试系统及测试方法
CN105306966A (zh) 一种直播视频数据处理方法、装置及系统
CN103873956A (zh) 媒体文件播放方法、系统、播放器、终端及媒体存储平台

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant