CN113747224A - 一种实现定点播放时恢复全屏画面的方法 - Google Patents
一种实现定点播放时恢复全屏画面的方法 Download PDFInfo
- Publication number
- CN113747224A CN113747224A CN202110961978.4A CN202110961978A CN113747224A CN 113747224 A CN113747224 A CN 113747224A CN 202110961978 A CN202110961978 A CN 202110961978A CN 113747224 A CN113747224 A CN 113747224A
- Authority
- CN
- China
- Prior art keywords
- image data
- variable
- macro block
- time
- macro
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 15
- 238000009877 rendering Methods 0.000 claims abstract description 8
- 238000007796 conventional method Methods 0.000 abstract description 3
- 238000012423 maintenance Methods 0.000 description 4
- 238000012550 audit Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明提出了一种实现定点播放时恢复全屏画面的方法。本发明提供的回放数据格式没有关键帧，但每一帧都能该构建出全屏数据。因此可以理解成只有B帧，但每个B帧都能构建出全屏数据。而传统的方法是每隔固定时间（也可以按存储大小，也可以时间和存储大小结合）会存储一个关键帧，在定点回放的时候先找到最近的前一个关键帧，然后从该关键帧开始渲染到定点播放的时间点。本发明通过取消关键帧的方式来降低编码时系统和存储的消耗。
Description
技术领域
本发明属于运维审计技术领域，具体地说，涉及一种实现定点播放时恢复全屏画面的方法。
背景技术
现有的回放数据格式包括h264之类的视频编码都会存储关键帧，存储关键帧意味着需要更大的存储开销，在线回放的时候占用更大的带宽。h264之类的视频编码虽然可以通过码率来减小存储和带宽的开销，但在编码的时候会占用更大的系统资源，而系统资源对于堡垒机这种设备来说系统资源是非常宝贵的，如果一会话占用的资源过多会严重影响堡垒机的并发能力。现有的其他数据格式往往为了回放时方便数据存储的是图片（例如jpg,png），但这样的方案为了实现定点回放也会存储关键帧。
现有的审计数据格式要想实现定点播放都必须按固定规则（例如按时间）存储一个关键帧（全屏数据），哪怕是标准的视频h264编码也会存储关键帧。因此在堡垒机这种设备上迫切需要一种编码时资源消耗低，数据存储小，也能支持回放的常用功能（例如定点回放）的数据格式。
发明内容
本发明基于现有技术的上述缺陷和需求。提出了一种实现定点播放时恢复全屏画面的方法。本发明提供的回放数据格式没有关键帧，但每一帧都能该构建出全屏数据。因此可以理解成只有B帧，但每个B帧都能构建出全屏数据。而传统的方法是每隔固定时间（也可以按存储大小，也可以时间和存储大小结合）会存储一个关键帧，在定点回放的时候先找到最近的前一个关键帧，然后从该关键帧开始渲染到定点播放的时间点。本发明通过取消关键帧的方式来降低编码时系统和存储的消耗。
本发明具体实现内容如下：
本发明提出了一种实现定点播放时恢复全屏画面的方法，包括以下步骤：
步骤1：将屏幕按照区域划分为多个区域的宏块；所述宏块的结构体中包括记录宏块坐标的变量x、变量y、变量width和变量height，还包括表示宏块是否发生改变的变量flag和记录文件偏移量的变量offset；所述变量x表示宏块的x轴坐标，所述变量y表示宏块的y轴坐标，所述变量width表示宏块的宽度，所述变量height表示宏块的高度；
步骤2：定时获取屏幕上的初始图像数据，然后将获取的初始图像数据编码并入库保存；
步骤3：将初始获取的图像数据对应的宏块的变量flag进行重置，并将变量offset进行更新；
步骤4：进行后续多次的定时获取屏幕上图像数据，若当次获取时宏块对应区域的图像数据相对于上次定时获取的图像数据发生了改变，将变量flag设置为表示已改变的状态，并将当前宏块区域对应的图像数据进行入库存储；反之，若当次获取时宏块对应区域的图像数据相对于上次定时获取的图像数据没有发生改变，将变量flag设置为表示未改变的状态，并在变量offset中建立索引，所述索引用于指向上一次定时获取的对应宏块中的图像数据或者索引；
步骤5：当需要获取定点的某个时间段的图像数据时，通过对应定时获取的图像数据、变量flag和变量offset中的索引获取到宏块的图像数据，并结合变量x、变量y、变量width和变量height拼凑得到全屏的画面。
为了更好地实现本发明，进一步地，所述步骤5的具体操作为：
步骤5.1：点击视频的进度条上的目标时间点A；
步骤5.2：计算得到目标时间点A对应的图像帧；
步骤5.3：对于图像帧中保存了图像数据的宏块直接进行图像数据的渲染，对于保存了索引的宏块，追溯得到上一次定时获取对应的宏块，若上一次定时获取对应的宏块保存有图像数据，则直接进行图像数据的渲染，若保存的是索引，则继续追溯直到目标时间点A对应的图像帧上所有宏块都渲染出了图像数据。
为了更好地实现本发明，进一步地，所述步骤2中定时获取的时间间隔为100毫秒。
为了更好地实现本发明，进一步地，所述宏块的大小为8x8像素。
为了更好地实现本发明，进一步地，所述宏块的大小为16x16像素。
本发明与现有技术相比具有以下有点及有益效果：
本发明提供的回放数据格式没有关键帧，但每一帧都能该构建出全屏数据。因此可以理解成只有B帧，但每个B帧都能构建出全屏数据。而传统的方法是每隔固定时间会存储一个关键帧，也可以按存储大小，也可以时间和存储大小结合，在定点回放的时候先找到最近的前一个关键帧，然后从该关键帧开始渲染到定点播放的时间点。本发明通过取消关键帧的方式来降低编码时系统和存储的消耗。
附图说明
图1为初始的图像数据的示意图；
图2为进行第一次定时时的图像数据的示意图；
图3为进行第二次定时时的图像数据的示意图。
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
实施例1：
本实施例提出了一种实现定点播放时恢复全屏画面的方法，包括以下步骤：
步骤1：将屏幕按照区域划分为多个区域的宏块；所述宏块的结构体中包括记录宏块坐标的变量x、变量y、变量width和变量height，还包括表示宏块是否发生改变的变量flag和记录文件偏移量的变量offset；所述变量x表示宏块的x轴坐标，所述变量y表示宏块的y轴坐标，所述变量width表示宏块的宽度，所述变量height表示宏块的高度；
步骤2：定时获取屏幕上的初始图像数据，然后将获取的初始图像数据编码并入库保存；
步骤3：将初始获取的图像数据对应的宏块的变量flag进行重置，并将变量offset进行更新；
步骤4：进行后续多次的定时获取屏幕上图像数据，若当次获取时宏块对应区域的图像数据相对于上次定时获取的图像数据发生了改变，将变量flag设置为表示已改变的状态，并将当前宏块区域对应的图像数据进行入库存储；反之，若当次获取时宏块对应区域的图像数据相对于上次定时获取的图像数据没有发生改变，将变量flag设置为表示未改变的状态，并在变量offset中建立索引，所述索引用于指向上一次定时获取的对应宏块中的图像数据或者索引；
步骤5：当需要获取定点的某个时间段的图像数据时，通过对应定时获取的图像数据、变量flag和变量offset中的索引获取到宏块的图像数据，并结合变量x、变量y、变量width和变量height拼凑得到全屏的画面。
实施例2：
本实施例在上述实施例1的基础上，为了更好地实现本发明，进一步地，所述步骤5的具体操作为：
步骤5.1：点击视频的进度条上的目标时间点A；
步骤5.2：计算得到目标时间点A对应的图像帧；
步骤5.3：对于图像帧中保存了图像数据的宏块直接进行图像数据的渲染，对于保存了索引的宏块，追溯得到上一次定时获取对应的宏块，若上一次定时获取对应的宏块保存有图像数据，则直接进行图像数据的渲染，若保存的是索引，则继续追溯直到目标时间点A对应的图像帧上所有宏块都渲染出了图像数据。
本实施例的其他部分与上述实施例1相同，故不再赘述。
实施例3：
本实施例在上述实施例1-2任一项的基础上，为了更好地实现本发明，进一步地，所述步骤2中定时获取的时间间隔为100毫秒。
工作原理：100毫秒可以确保每一秒都有图像被保存到，针对运维审计的堡垒机的回放来说，精度完全够用且开销负荷不大。
本实施例的其他部分与上述实施例1-2任一项相同，故不再赘述。
实施例4：
本实施例在上述实施例1-3任一项的基础上，如图1所示，为初始的图像数据，灰色表示需要存储入库，因为是初始的图像数据，故每个宏块的图像数据都要入库保存。
如图2所示，在第一次定时的时候，识别到编号为1、2、3、4的宏块区域内的图像数据产生了变化，故编号5-16的宏块无需再重新保存图像数据，只需要建立索引到上一次的图像数据即可，只对编号为1-4的宏块进行图像数据的保存。后续若需要调用图2时刻的图像数据，只需要从数据库中调出编号1-4的图像数据，并且通过索引调出图1对应的初始图像数据的编号5-16的图像数据进行拼接即可得到图2时刻的全屏图像用于堡垒机的运维审计。
同理，如图3所示，第二定时获取的图像相比于图2，编号5-12发生了编号，即只需要保存编号5-12的宏块对应的图像数据，而编号1-4、编号13-16的宏块只需要建立索引到图2的对应宏块即可。当需要调用图3的图像时，只需要通过调用出保存的数据库和对应的索引对应的索引/图像数据，最终溯源即可拼凑得到完整的图3时刻的全屏数据用于运维审计。
本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。
以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。
Claims (5)
1.一种实现定点播放时恢复全屏画面的方法，其特征在于，包括以下步骤：
步骤1：将屏幕按照区域划分为多个区域的宏块；所述宏块的结构体中包括记录宏块坐标的变量x、变量y、变量width和变量height，还包括表示宏块是否发生改变的变量flag和记录文件偏移量的变量offset；所述变量x表示宏块的x轴坐标，所述变量y表示宏块的y轴坐标，所述变量width表示宏块的宽度，所述变量height表示宏块的高度；
步骤2：定时获取屏幕上的初始图像数据，然后将获取的初始图像数据编码并入库保存；
步骤3：将初始获取的图像数据对应的宏块的变量flag进行重置，并将变量offset进行更新；
步骤4：进行后续多次的定时获取屏幕上图像数据，若当次获取时宏块对应区域的图像数据相对于上次定时获取的图像数据发生了改变，将变量flag设置为表示已改变的状态，并将当前宏块区域对应的图像数据进行入库存储；反之，若当次获取时宏块对应区域的图像数据相对于上次定时获取的图像数据没有发生改变，将变量flag设置为表示未改变的状态，并在变量offset中建立索引，所述索引用于指向上一次定时获取的对应宏块中的图像数据或者索引；
步骤5：当需要获取定点的某个时间段的图像数据时，通过对应定时获取的图像数据、变量flag和变量offset中的索引获取到宏块的图像数据，并结合变量x、变量y、变量width和变量height拼凑得到全屏的画面。
2.如权利要求1所述的一种实现定点播放时恢复全屏画面的方法，其特征在于，所述步骤5的具体操作为：
步骤5.1：点击视频的进度条上的目标时间点A；
步骤5.2：计算得到目标时间点A对应的图像帧；
步骤5.3：对于图像帧中保存了图像数据的宏块直接进行图像数据的渲染，对于保存了索引的宏块，追溯得到上一次定时获取对应的宏块，若上一次定时获取对应的宏块保存有图像数据，则直接进行图像数据的渲染，若保存的是索引，则继续追溯直到目标时间点A对应的图像帧上所有宏块都渲染出了图像数据。
3.如权利要求1所述的一种实现定点播放时恢复全屏画面的方法，其特征在于，所述步骤2中定时获取的时间间隔为100毫秒。
4.如权利要求1所述的一种实现定点播放时恢复全屏画面的方法，其特征在于，所述宏块的大小为8x8像素。
5.如权利要求1所述的一种实现定点播放时恢复全屏画面的方法，其特征在于，所述宏块的大小为16x16像素。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110961978.4A CN113747224A (zh) | 2021-08-20 | 2021-08-20 | 一种实现定点播放时恢复全屏画面的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110961978.4A CN113747224A (zh) | 2021-08-20 | 2021-08-20 | 一种实现定点播放时恢复全屏画面的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113747224A true CN113747224A (zh) | 2021-12-03 |
Family
ID=78732049
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110961978.4A Pending CN113747224A (zh) | 2021-08-20 | 2021-08-20 | 一种实现定点播放时恢复全屏画面的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113747224A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040249980A1 (en) * | 2003-06-03 | 2004-12-09 | Kevin Hutler | System, computer program product, and method for transmitting compressed screen images from one computer to another or many computers. |
| CN1622618A (zh) * | 2004-12-24 | 2005-06-01 | 北京中星微电子有限公司 | 一种屏幕广播方法 |
| CN102821278A (zh) * | 2012-07-27 | 2012-12-12 | 深信服网络科技（深圳）有限公司 | 远程桌面图像传输方法及系统 |
| CN103281539A (zh) * | 2013-06-07 | 2013-09-04 | 华为技术有限公司 | 一种图像编、解码处理的方法、装置及终端 |
| CN104363403A (zh) * | 2014-11-14 | 2015-02-18 | 浙江宇视科技有限公司 | 一种视频监控系统中视频数据的存储方法及存储设备 |
| CN110896497A (zh) * | 2019-10-30 | 2020-03-20 | 厦门天锐科技股份有限公司 | 一种图像处理方法、视频播放方法及装置 |
-
2021
- 2021-08-20 CN CN202110961978.4A patent/CN113747224A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20040249980A1 (en) * | 2003-06-03 | 2004-12-09 | Kevin Hutler | System, computer program product, and method for transmitting compressed screen images from one computer to another or many computers. |
| CN1622618A (zh) * | 2004-12-24 | 2005-06-01 | 北京中星微电子有限公司 | 一种屏幕广播方法 |
| CN102821278A (zh) * | 2012-07-27 | 2012-12-12 | 深信服网络科技（深圳）有限公司 | 远程桌面图像传输方法及系统 |
| CN103281539A (zh) * | 2013-06-07 | 2013-09-04 | 华为技术有限公司 | 一种图像编、解码处理的方法、装置及终端 |
| CN104363403A (zh) * | 2014-11-14 | 2015-02-18 | 浙江宇视科技有限公司 | 一种视频监控系统中视频数据的存储方法及存储设备 |
| CN110896497A (zh) * | 2019-10-30 | 2020-03-20 | 厦门天锐科技股份有限公司 | 一种图像处理方法、视频播放方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210076051A1 (en) | Coding apparatus, coding method, decoding apparatus, and decoding method | |
| EP1271962B1 (en) | Image data coding method and apparatus | |
| EP1802126A1 (en) | Image coding device, image decoding device, image coding program, and image decoding program. | |
| EP3232663B1 (en) | Decoding methods and devices | |
| WO2016183224A1 (en) | Storage and signaling resolutions of motion vectors | |
| TWI538487B (zh) | 螢幕視訊之預測編碼的方法與系統 | |
| KR100486047B1 (ko) | 동화상 검색 정보 기록 장치 및 동화상 검색 장치 | |
| CN106961629B (zh) | 一种视频解码方法及装置 | |
| EP1169866A1 (en) | Video encoding with a two step motion estimation for p-frames | |
| CN104662900B (zh) | 视频图像编码设备 | |
| US20220007011A1 (en) | Image component prediction method, encoder, decoder, and storage medium | |
| CN113747224A (zh) | 一种实现定点播放时恢复全屏画面的方法 | |
| CN110636301B (zh) | 仿射预测方法、计算机设备和计算机可读存储介质 | |
| WO2023155751A1 (zh) | 视频编码控制方法、装置、设备和存储介质 | |
| US12114006B2 (en) | Method and apparatus for constructing motion information list in video encoding and decoding and device | |
| CN109379591B (zh) | 图片转码方法、电子装置及计算机可读存储介质 | |
| CN113068050B (zh) | 树形编码块的样点自适应补偿模式确定方法、装置 | |
| WO2004036917A1 (en) | Manipulating sub-pictures of a compressed video signal | |
| KR102481051B1 (ko) | 비디오 코딩에서의 제한된 선형 모델 파라미터 도출을 위한 방법 및 장치 | |
| CA2419988A1 (en) | Method and apparatus for transferring video frame in telecommunication system | |
| EP4099698A1 (en) | Method, apparatus and device for constructing motion information list in video coding and decoding | |
| CN110933419B (zh) | 一种运动矢量确定、边界强度确定方法和设备 | |
| CN113473119B (zh) | 图像/视频编码方法、装置、系统及计算机可读存储介质 | |
| KR102323113B1 (ko) | 화질 개선 영상 기반의 원본 영상 저장장치 및 그를 위한 어플리케이션 | |
| JP2018019195A (ja) | 動画生成方法、動画生成装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |