CN110944186B - 一种视频局部区域高质量查看方法 - Google Patents

一种视频局部区域高质量查看方法 Download PDF

Info

Publication number
CN110944186B
CN110944186B CN201911256891.6A CN201911256891A CN110944186B CN 110944186 B CN110944186 B CN 110944186B CN 201911256891 A CN201911256891 A CN 201911256891A CN 110944186 B CN110944186 B CN 110944186B
Authority
CN
China
Prior art keywords
video
window
region
rect
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911256891.6A
Other languages
English (en)
Other versions
CN110944186A (zh
Inventor
陈勇
裘昊
李妃军
叶建华
谢亚光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Arcvideo Technology Co ltd
Original Assignee
Hangzhou Arcvideo Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Arcvideo Technology Co ltd filed Critical Hangzhou Arcvideo Technology Co ltd
Priority to CN201911256891.6A priority Critical patent/CN110944186B/zh
Publication of CN110944186A publication Critical patent/CN110944186A/zh
Application granted granted Critical
Publication of CN110944186B publication Critical patent/CN110944186B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种视频局部区域高质量查看方法。它在用户激发局部区域查看功能后，在视频播放窗口叠加区域示意窗口和区域操控窗口，用户移动区域操控窗口在区域示意窗口中的位置，终端将按照区域操作窗口在区域示意窗口中的位置和大小，映射至视频解码后的图像上的区域，对该区域进行转码操作，通过设计的Picture2与ThumbPicture来自于同一原始图片，从而保证了视频播放窗口内容与区域示意窗口的一致性，同时区域示意窗口始终保持完整原始视频内容的显示，使得用户随时可以注意到画面中的变化。本发明的有益效果是：在不突破带宽要求的前提下，提高用户观看到的局部区域的清晰度的同时保持了良好的交互体验；整个交互过程中视频码流保持不中断。

Description

一种视频局部区域高质量查看方法
技术领域
本发明涉及视频处理相关技术领域，尤其是指一种视频局部区域高质量查看方法。
背景技术
因为网络带宽和分发成本的限制，视频多采用压缩编码传输。当用户想要在终端进行局部区域查看细节时，多采用终端截取相应区域放大的方式。因为视频压缩带来的失真，使得放大后的细节与原始视频相比相差较多，特别是当视频码率很低的情况下。
发明内容
本发明是为了克服现有技术中存在上述的不足，提供了一种提高用户观看到局部区域清晰度的视频局部区域高质量查看方法。
为了实现上述目的，本发明采用以下技术方案：
一种视频局部区域高质量查看方法，具体包括如下步骤：
(1)原始实时视频信号接入视频发送装置后，对该信号进行预设目标分辨率和码率的视频转码后，提供播放地址URL、信号标识ID；
(2)终端获取播放地址URL和信号标识ID后，向视频发送装置请求视频播放内容并开始解码播放，内容保持等比例适配至视频播放窗口，解码后获取到视频分辨率，宽度记为W0，高度记为H0；
(3)当用户激发局部区域查看功能后，在视频播放窗口叠加区域示意窗口和区域操控窗口，区域示意窗口与视频分辨率保持同样的纵横比，区域操控窗口保证总是在区域示意窗口中，但亦要与视频分辨率保持同样的纵横比，区域示意窗口的宽度记为W1，高度记为H1，区域操控窗口的横坐标记为X2，纵坐标记为Y2，宽度记为W2，高度记为H2，除视频播放窗口显示视频内容外，视频内容也被等比例缩放显示在区域示意窗口中；
(4)用户移动区域操控窗口在区域示意窗口中的位置，当位置移动时，终端将按照区域操作窗口在区域示意窗口中的位置和大小，映射至视频解码后的图像上的区域，记为RECT_ROI，然后将该区域的解码图像截取出来，等比例放大至视频播放窗口，RECT_ROI的横坐标记为XT，纵坐标记为YT，宽度记为WT，高度记为HT；
(5)当用户确定目标区域后，向视频发送装置发送该目标区域信息RECT_ROI和信号标识ID；
(6)视频发送装置收到来自终端的目标区域信息RECT_ROI和信号标识ID后，找到该信号标识ID所对应的视频转码任务，并将目标区域信息RECT_ROI发送至该转码任务；
(7)转码任务收到区域信息RECT_ROI后，进行如下动作：
(71)从原始视频信号中获取新一帧视频图像，记为Picture1，并获取其尺寸，宽度记为WA，高度记为HA；
(72)计算原始图像的待查看局部区域RECT_RAW，RECT_RAW的横坐标记为XR，纵坐标记为YR，宽度记为WR，高度记为HR；
(73)从Picture1中截取RECT_RAW区域的图像Picture2；
(74)将Picture2按照预设分辨率进行缩放，形成图像ThumbPicture；
(75)将Picture2和ThumbPicture组合成一张大图Picture3，采用水平或垂直排布方式；
(76)将Picture3按照目标输出分辨率输出，若Picture3的尺寸与该分辨率不一致，保持纵横比缩放至转换成Picture4，Picture4中ThumbPicture区域的横纵坐标与长宽数据记为RECT_C；
(77)Picture4以关键帧I帧编码方式进行编码，后续视频帧按照预设的编码参数继续编码，从Picture4开始每个I帧的自定义SEI Message中写入RECT_C信息；
(8)终端接收到I帧后，解码I帧并读取SEI Message中的RECT_C信息，根据该信息将解码后的图像拆分成步骤(7)中的Picture2和ThumbPicture，后续视频序列沿用该RECT_C信息进行画面拆分；后续每解码一次I帧都重复步骤(8)；
(9)将拆分的Picture2缩放显示至视频播放窗口，将Picture2图像的宽度记为W0，高度记为H0，ThumbPicture显示至区域示意窗口；
(10)用户移动区域操控窗口在区域示意窗口中的位置，当位置移动时，终端将按照区域操作窗口在区域示意窗口中的位置和大小，映射至ThumbPicture视频解码后的图像上的区域，记为RECT_ROI1，然后将该区域的解码图像截取出来，等比例放大至视频播放窗口；
(11)重复步骤(5)。
本发明提出一种视频局部高质量查看方法，在不突破带宽要求的前提下，提高用户观看到的局部区域的清晰度的同时保持了良好的交互体验；采用此方法后整个交互过程中视频码流保持不中断。因为Picture2与ThumbPicture来自于同一原始图片，从而保证了视频播放窗口内容与区域示意窗口的一致性，同时区域示意窗口始终保持完整原始视频内容的显示，使得用户随时可以注意到画面中的变化。
作为优选，在步骤(3)中，区域示意窗口和区域操控窗口可以置于视频播放窗口的外部。
作为优选，在步骤(4)和步骤(10)中，用户移动方式可以是鼠标拖动、手指触摸移动、电子笔点击移动操作方式中的一种或多种。
作为优选，在步骤(4)中，RECT_ROI的计算方法如下：
横坐标XT＝W0*X2/W1；
纵坐标YT＝H0*Y2/H1；
宽度WT＝W0*W2/W1；
高度HT＝H0*H2/H1。
作为优选，在步骤(72)中，RECT_RAW的计算方法如下：
横坐标XR＝XT*WA/W0；
纵坐标YR＝YT*HA/H0；
宽度WR＝WT*WA/W0；
高度HR＝HT*HA/WA。
作为优选，在步骤(75)中，具体采用哪种排布方式，是比较两种排布形成的矩形的面积，即比较水平排布方式的宽度W1和高度H1的乘积与垂直排布方式的宽度W2和高度H2的乘积，取乘积较小的为最终组合方式，Picture3中除Picture2和ThumbPicture外剩下的填充区域以固定颜色填充。
作为优选，在步骤(10)中，此时视频播放窗口也可以不采用ThumbPicture中的局部内容放大，而保持Picture2内容，RECT_ROI1的计算方式与步骤(4)中RECT_ROI的计算方式相同。
本发明的有益效果是：在不突破带宽要求的前提下，提高用户观看到的局部区域的清晰度的同时保持了良好的交互体验；采用此方法后整个交互过程中视频码流保持不中断。
附图说明
图1是本发明中播放完整视频流的示意图；
图2是本发明中图像在终端经过放大的示意图；
图3是本发明中水平排布方式的示意图；
图4是本发明中垂直排布方式的示意图；
图5是本发明中局部保真查看效果图的示意图。
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
如图1所述的实施例中，一种视频局部区域高质量查看方法，具体包括如下步骤：
(1)原始实时视频信号接入视频发送装置后，对该信号进行预设目标分辨率(纵横比应与原始视频信号一致)和码率的视频转码后，提供播放地址URL、信号标识ID；
(2)终端获取播放地址URL和信号标识ID后，向视频发送装置请求视频播放内容并开始解码播放，内容保持等比例适配至视频播放窗口，解码后获取到视频分辨率，宽度记为W0，高度记为H0；
(3)当用户激发局部区域查看功能后，在视频播放窗口叠加区域示意窗口和区域操控窗口(区域示意窗口和区域操控窗口也可以置于视频播放窗口的外部)，如图1所示，区域示意窗口与视频分辨率保持同样的纵横比，区域操控窗口保证总是在区域示意窗口中，但亦要与视频分辨率保持同样的纵横比，区域示意窗口的宽度记为W1，高度记为H1，区域操控窗口的横坐标记为X2，纵坐标记为Y2，宽度记为W2，高度记为H2，除视频播放窗口显示视频内容外，视频内容也被等比例缩放显示在区域示意窗口中，如图2所示；
(4)用户移动区域操控窗口在区域示意窗口中的位置，用户移动方式可以是鼠标拖动、手指触摸移动、电子笔点击移动等操作方式中的一种或多种，当位置移动时，终端将按照区域操作窗口在区域示意窗口中的位置和大小，映射至视频解码后的图像上的区域，记为RECT_ROI，然后将该区域的解码图像截取出来，等比例放大至视频播放窗口，RECT_ROI的横坐标记为XT，纵坐标记为YT，宽度记为WT，高度记为HT；RECT_ROI的计算方法如下：
横坐标XT＝W0*X2/W1；
纵坐标YT＝H0*Y2/H1；
宽度WT＝W0*W2/W1；
高度HT＝H0*H2/H1。
(5)当用户确定目标区域后(如鼠标松开按键、手指离开触控屏、电子笔尖离开屏幕等)，向视频发送装置发送该目标区域信息RECT_ROI和信号标识ID；
(6)视频发送装置收到来自终端的目标区域信息RECT_ROI和信号标识ID后，找到该信号标识ID所对应的视频转码任务，并将目标区域信息RECT_ROI发送至该转码任务；
(7)转码任务收到区域信息RECT_ROI后，进行如下动作：
(71)从原始视频信号中获取新一帧视频图像，记为Picture1，并获取其尺寸，宽度记为WA，高度记为HA；
(72)计算原始图像的待查看局部区域RECT_RAW，RECT_RAW的横坐标记为XR，纵坐标记为YR，宽度记为WR，高度记为HR；RECT_RAW的计算方法如下：
横坐标XR＝XT*WA/W0；
纵坐标YR＝YT*HA/H0；
宽度WR＝WT*WA/W0；
高度HR＝HT*HA/WA。
(73)从Picture1中截取RECT_RAW区域的图像Picture2；可选地，可以对该图像进行缩放，如将该图像缩放为1280x720；
(74)将Picture2按照预设分辨率(如160x90)进行缩放，形成图像ThumbPicture；
(75)将Picture2和ThumbPicture组合成一张大图Picture3，采用水平或垂直排布方式，如图3和图4所示；具体采用哪种排布方式，是比较两种排布形成的矩形的面积，即比较水平排布方式的宽度W1和高度H1的乘积与垂直排布方式的宽度W2和高度H2的乘积，取乘积较小的为最终组合方式，Picture3中除Picture2和ThumbPicture外剩下的填充区域以固定颜色填充，一般取纯黑色。
(76)将Picture3按照目标输出分辨率输出，若Picture3的尺寸与该分辨率不一致，保持纵横比缩放至转换成Picture4，Picture4中ThumbPicture区域的横纵坐标与长宽数据记为RECT_C；
(77)Picture4以关键帧I帧编码方式进行编码，后续视频帧按照预设的编码参数(GOP大小、帧型序列等)继续编码，从Picture4开始每个I帧的自定义SEI Message中写入RECT_C信息，SEI Message中的uuid_iso_iec_11578字段可以事先约定好；
(8)终端接收到I帧后，解码I帧并读取SEI Message中的RECT_C信息，根据该信息将解码后的图像拆分成步骤(7)中的Picture2和ThumbPicture，后续视频序列沿用该RECT_C信息进行画面拆分；后续每解码一次I帧都重复步骤(8)；
(9)将拆分的Picture2缩放显示至视频播放窗口，将Picture2图像的宽度记为W0，高度记为H0，ThumbPicture显示至区域示意窗口；
(10)用户移动区域操控窗口在区域示意窗口中的位置，用户移动方式可以是鼠标拖动、手指触摸移动、电子笔点击移动等操作方式中的一种或多种，当位置移动时，终端将按照区域操作窗口在区域示意窗口中的位置和大小，映射至ThumbPicture视频解码后的图像上的区域，记为RECT_ROI1，然后将该区域的解码图像截取出来，等比例放大至视频播放窗口；此时视频播放窗口也可以不采用ThumbPicture中的局部内容放大，而保持Picture2内容，RECT_ROI1的计算方式与步骤(4)中RECT_ROI的计算方式相同。
(11)重复步骤(5)。
其中：步骤(74)中的预设分辨率与步骤(1)中的预设目标分标率一般来说是不一致的，也推荐不一致。在下述的具体实施例中，步骤(74)中的预设分辨率是160x90，步骤(1)中的预设目标分标率为1920x1080，因为前者是显示在区域示意窗口中的，起到示意作用而已，即方便用户看到当前信号的整体画面情况，不需要很大。步骤(76)中目标输出分别率指的是进行区域放大时的分辨率，与步骤(1)中的预设目标分标率可以不一致，如下述的具体实施例中，这个分辨率就是1280x720。因为Picture2与ThumbPicture来自于同一原始图片，从而保证了视频播放窗口内容与区域示意窗口的一致性，同时区域示意窗口始终保持完整原始视频内容的显示，使得用户随时可以注意到画面中的变化，显示效果如图5所示。上述发明方法实现了查看区域的纵横比与原始码流一致的局部查看方法，但保护范围应不局限于此，可以在此基础上，较为容易地实现纵横比不一致的情况。
例如：某原始视频信号为4K信号，分辨率为3840x2160。视频发送装置创建信号标识为Video1的转码任务，将其转码为1920x1080分辨率后，将播放地址URL、信号标识Video1，原始视频尺寸SIZE(3820x2160)告之终端，终端获取该播放地址后，将其内容显示在1920x1080的视频播放窗口。
当用户激活局部功能查看时，在播放窗口右上角创建尺寸为160x90的区域示意窗口，视频播放窗口中的内容被等比例缩放至该区域示意窗口，同时在区域示意窗口中创建尺寸为64x36的区域操作窗口，在区域示意窗口的位置坐标为(20，10)。用户鼠标点击区域操作窗口后，截取在解码的视频图像中的左上角坐标为(240，120)，尺寸为768x432的矩形区域，经过放大至整个播放窗口(保持纵横比)。区域计算如下：
横坐标XT＝1920*20/160＝240；
纵坐标YT＝1080*10/90＝120；
宽度WT＝1920*64/160＝768；
高度HT＝1080*36/90＝432。
假设用户鼠标松开时仍然是此区域(RECT_ROI)，此时将此区域信息和信号标识Video1发送给视频发送装置，视频转码任务得出的RECT_RAW为左上角坐标(480，240)，尺寸1536x864的矩形区域。接下来从原始信号解码后，得到图像Picture1，再从Picture1中将RECT_RAW区域的图像截取出得到Picture2，然后将其Resize成1280x720，同时将原始图像Resize成160x90作为ThumbPicture，将Picture2和ThumbPicture合成Picture3，经过计算使用水平排布，形成1440x720的矩形，补充区域采用黑色填充。采用目标分辨率1440x720进行编码输出，插入一个I帧，此时RECT_C为左上角坐标(1280，0)，尺寸为160x90。将该信息写入该I帧的SEI Message中，按照设定的编码参数进行编码时，后续的每个I帧均如此处理。
终端收到该I帧后，提取SEI Message中的RECT_C信息，对后续码流中解码出来的图像分拆成1280x720的图像和160x90的图像，前者显示于视频播放窗口中，后者显示在区域示意窗口中。

Claims (7)

1.一种视频局部区域高质量查看方法，其特征是，具体包括如下步骤：
(1)原始实时视频信号接入视频发送装置后，对该信号进行预设目标分辨率和码率的视频转码后，提供播放地址URL、信号标识ID；
(2)终端获取播放地址URL和信号标识ID后，向视频发送装置请求视频播放内容并开始解码播放，内容保持等比例适配至视频播放窗口，解码后获取到视频分辨率，宽度记为W0，高度记为H0；
(3)当用户激发局部区域查看功能后，在视频播放窗口叠加区域示意窗口和区域操控窗口，区域示意窗口与视频分辨率保持同样的纵横比，区域操控窗口保证总是在区域示意窗口中，但亦要与视频分辨率保持同样的纵横比，区域示意窗口的宽度记为W1，高度记为H1，区域操控窗口的横坐标记为X2，纵坐标记为Y2，宽度记为W2，高度记为H2，除视频播放窗口显示视频内容外，视频内容也被等比例缩放显示在区域示意窗口中；
(4)用户移动区域操控窗口在区域示意窗口中的位置，当位置移动时，终端将按照区域操作窗口在区域示意窗口中的位置和大小，映射至视频解码后的图像上的区域，记为RECT_ROI，然后将该区域的解码图像截取出来，等比例放大至视频播放窗口，RECT_ROI的横坐标记为XT，纵坐标记为YT，宽度记为WT，高度记为HT；
(5)当用户确定目标区域后，向视频发送装置发送该目标区域信息RECT_ROI和信号标识ID；
(6)视频发送装置收到来自终端的目标区域信息RECT_ROI和信号标识ID后，找到该信号标识ID所对应的视频转码任务，并将目标区域信息RECT_ROI发送至该转码任务；
(7)转码任务收到区域信息RECT_ROI后，进行如下动作：
(71)从原始视频信号中获取新一帧视频图像，记为Picture1，并获取其尺寸，宽度记为WA，高度记为HA；
(72)计算原始图像的待查看局部区域RECT_RAW，RECT_RAW的横坐标记为XR，纵坐标记为YR，宽度记为WR，高度记为HR；
(73)从Picture1中截取RECT_RAW区域的图像Picture2；
(74)将Picture2按照预设分辨率进行缩放，形成图像ThumbPicture；
(75)将Picture2和ThumbPicture组合成一张大图Picture3，采用水平或垂直排布方式；
(76)将Picture3按照目标输出分辨率输出，若Picture3的尺寸与该分辨率不一致，保持纵横比缩放至转换成Picture4，Picture4中ThumbPicture区域的横纵坐标与长宽数据记为RECT_C；
(77)Picture4以关键帧I帧编码方式进行编码，后续视频帧按照预设的编码参数继续编码，从Picture4开始每个I帧的自定义SEI Message中写入RECT_C信息；
(8)终端接收到I帧后，解码I帧并读取SEIMessage中的RECT_C信息，根据该信息将解码后的图像拆分成步骤(7)中的Picture2和ThumbPicture，后续视频序列沿用该RECT_C信息进行画面拆分；后续每解码一次I帧都重复步骤(8)；
(9)将拆分的Picture2缩放显示至视频播放窗口，将Picture2图像的宽度记为W0，高度记为H0，ThumbPicture显示至区域示意窗口；
(10)用户移动区域操控窗口在区域示意窗口中的位置，当位置移动时，终端将按照区域操作窗口在区域示意窗口中的位置和大小，映射至ThumbPicture视频解码后的图像上的区域，记为RECT_ROI1，然后将该区域的解码图像截取出来，等比例放大至视频播放窗口；
(11)重复步骤(5)。
2.根据权利要求1所述的一种视频局部区域高质量查看方法，其特征是，在步骤(3)中，区域示意窗口和区域操控窗口置于视频播放窗口的外部。
3.根据权利要求1所述的一种视频局部区域高质量查看方法，其特征是，在步骤(4)和步骤(10)中，用户移动方式是鼠标拖动、手指触摸移动、电子笔点击移动操作方式中的一种或多种。
4.根据权利要求1或2或3所述的一种视频局部区域高质量查看方法，其特征是，在步骤(4)中，RECT_ROI的计算方法如下：
横坐标XT＝W0*X2/W1；
纵坐标YT＝H0*Y2/H1；
宽度WT＝W0*W2/W1；
高度HT＝H0*H2/H1。
5.根据权利要求1或2或3所述的一种视频局部区域高质量查看方法，其特征是，在步骤(72)中，RECT_RAW的计算方法如下：
横坐标XR＝XT*WA/W0；
纵坐标YR＝YT*HA/H0；
宽度WR＝WT*WA/W0；
高度HR＝HT*HA/WA。
6.根据权利要求1或2或3所述的一种视频局部区域高质量查看方法，其特征是，在步骤(75)中，具体采用哪种排布方式，是比较两种排布形成的矩形的面积，即比较水平排布方式的宽度W1和高度H1的乘积与垂直排布方式的宽度W2和高度H2的乘积，取乘积较小的为最终组合方式，Picture3中除Picture2和ThumbPicture外剩下的填充区域以固定颜色填充。
7.根据权利要求1或2或3所述的一种视频局部区域高质量查看方法，其特征是，在步骤(10)中，此时视频播放窗口不采用ThumbPicture中的局部内容放大，而保持Picture2内容，RECT_ROI1的计算方式与步骤(4)中RECT_ROI的计算方式相同。
CN201911256891.6A 2019-12-10 2019-12-10 一种视频局部区域高质量查看方法 Active CN110944186B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911256891.6A CN110944186B (zh) 2019-12-10 2019-12-10 一种视频局部区域高质量查看方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911256891.6A CN110944186B (zh) 2019-12-10 2019-12-10 一种视频局部区域高质量查看方法

Publications (2)

Publication Number Publication Date
CN110944186A CN110944186A (zh) 2020-03-31
CN110944186B true CN110944186B (zh) 2022-02-01

Family

ID=69910351

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911256891.6A Active CN110944186B (zh) 2019-12-10 2019-12-10 一种视频局部区域高质量查看方法

Country Status (1)

Country Link
CN (1) CN110944186B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111757162A (zh) * 2020-06-19 2020-10-09 广州博冠智能科技有限公司 一种高清视频播放方法、装置、设备及存储介质
CN111935544B (zh) * 2020-07-31 2022-03-08 北京字节跳动网络技术有限公司 交互方法、装置和电子设备
CN114205658A (zh) * 2020-08-27 2022-03-18 西安诺瓦星云科技股份有限公司 图像显示方法、装置、系统以及计算机可读存储介质
CN112738612B (zh) * 2020-12-28 2023-04-11 浙江大华技术股份有限公司 一种视频处理方法及系统
CN112969099A (zh) * 2021-02-07 2021-06-15 海信集团控股股份有限公司 摄像装置、第一显示设备、第二显示设备及视频交互方法
CN114666477B (zh) * 2022-03-24 2023-10-13 重庆紫光华山智安科技有限公司 一种视频数据处理方法、装置、设备及存储介质
CN115022698B (zh) * 2022-04-28 2023-12-29 上海赛连信息科技有限公司 一种基于画面布局清晰展示画面内容的方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131628A (zh) * 2016-07-13 2016-11-16 苏州科达科技股份有限公司 一种视频图像处理方法及装置
CN106534972A (zh) * 2016-12-12 2017-03-22 广东威创视讯科技股份有限公司 一种无损缩放显示局部视频的方法及装置
CN109963200A (zh) * 2017-12-25 2019-07-02 上海全土豆文化传播有限公司 视频播放方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030174146A1 (en) * 2002-02-04 2003-09-18 Michael Kenoyer Apparatus and method for providing electronic image manipulation in video conferencing applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106131628A (zh) * 2016-07-13 2016-11-16 苏州科达科技股份有限公司 一种视频图像处理方法及装置
CN106534972A (zh) * 2016-12-12 2017-03-22 广东威创视讯科技股份有限公司 一种无损缩放显示局部视频的方法及装置
CN109963200A (zh) * 2017-12-25 2019-07-02 上海全土豆文化传播有限公司 视频播放方法及装置

Also Published As

Publication number Publication date
CN110944186A (zh) 2020-03-31

Similar Documents

Publication Publication Date Title
CN110944186B (zh) 一种视频局部区域高质量查看方法
TWI712313B (zh) 感興趣區之發信號之系統及方法
KR102305633B1 (ko) 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
US11563793B2 (en) Video data processing method and apparatus
KR102357137B1 (ko) 이미지 처리 방법, 단말기, 및 서버
EP3672251A1 (en) Processing video data for a video player apparatus
CN110121734B (zh) 一种信息的处理方法及装置
US10672102B2 (en) Conversion and pre-processing of spherical video for streaming and rendering
TW201742444A (zh) 虛擬實境中之圓形魚眼視訊
CA3018600C (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US20150350565A1 (en) Techniques for magnifying a high resolution image
WO2016199607A1 (ja) 情報処理装置および情報処理方法
CN110933461B (zh) 图像处理方法、装置、系统、网络设备、终端及存储介质
JP2021510281A (ja) ビデオビットストリームの復号化、生成方法および装置、記憶媒体、電子機器
KR20190126424A (ko) 영역 기반 360도 비디오를 전송하는 방법, 영역 기반 360도 비디오를 수신하는 방법, 영역 기반 360도 비디오 전송 장치, 영역 기반 360도 비디오 수신 장치
CN107959861B (zh) 一种数据处理方法、相关设备及系统
WO2020062700A1 (zh) 处理媒体数据的方法、客户端和服务器
KR20050065611A (ko) 서브 화상 조정 방법과 이를 수행할 수 있는 컴퓨터프로그램 및 서브 화상 조정 장치
CN115580738A (zh) 一种按需传输的高分辨率视频展现方法、设备和系统
JP2004513578A (ja) グラフィック要素を含むビデオシーンを作成する方法及び装置
TW201316774A (zh) 影像壓縮方法、媒體資料檔案與解壓縮方法
JP6969572B2 (ja) 送信装置、送信方法、受信装置および受信方法
JP6943255B2 (ja) 送信装置、送信方法、受信装置および受信方法
CN117176900A (zh) 一种远程会诊的白板数据的同步方法及系统
TWI517700B (zh) Ｊｐｅｇ視訊串流之傳輸方法與採用此方法之遠端監控系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant