CN108447083B - 基于图像分解再组合的影像传输方法及系统 - Google Patents
基于图像分解再组合的影像传输方法及系统 Download PDFInfo
- Publication number
- CN108447083B CN108447083B CN201810217422.2A CN201810217422A CN108447083B CN 108447083 B CN108447083 B CN 108447083B CN 201810217422 A CN201810217422 A CN 201810217422A CN 108447083 B CN108447083 B CN 108447083B
- Authority
- CN
- China
- Prior art keywords
- frame image
- key frame
- image
- network
- common
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- 230000005540 biological transmission Effects 0.000 title claims abstract description 35
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 22
- 230000006798 recombination Effects 0.000 title claims abstract description 17
- 238000005215 recombination Methods 0.000 title claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 27
- 230000008859 change Effects 0.000 claims description 39
- 239000012634 fragment Substances 0.000 claims description 13
- 230000000875 corresponding effect Effects 0.000 claims description 12
- 239000000284 extract Substances 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 8
- 230000033001 locomotion Effects 0.000 claims description 8
- 238000012856 packing Methods 0.000 claims description 7
- 238000012544 monitoring process Methods 0.000 claims description 6
- 238000004806 packaging method and process Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000013467 fragmentation Methods 0.000 claims description 5
- 238000006062 fragmentation reaction Methods 0.000 claims description 5
- 230000003313 weakening effect Effects 0.000 claims description 5
- 230000002596 correlated effect Effects 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 238000003709 image segmentation Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 13
- 230000008569 process Effects 0.000 description 7
- 230000006870 function Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G06T3/18—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
Abstract
本发明提供了基于图像分解再组合的影像传输方法及系统，涉及电影数据传输领域。本发明提供的基于图像分解再组合的影像传输方法，通过综合使用了图像拆分技术、图像拉扯技术、特征点选择和特征点匹配技术，使得在需要进行电影数据传输的时候，先由第一网络端对需要发送的电影的关键帧图像进行处理，而后，再由第二网络端对处理后的关键帧图像进行还原，继而，利用关键帧图像还原出完整的电影，保证了关键帧图像的发送安全性。
Description
技术领域
本发明涉及电影数据传输领域，具体而言，涉及基于图像分解再组合的影像传输方法及系统。
背景技术
电影，是由活动照相术和幻灯放映术结合发展起来的一种连续的影像画面，是一门视觉和听觉的现代艺术，也是一门可以容纳悲喜剧与文学戏剧、摄影、绘画、音乐、舞蹈、文字、雕塑、建筑等多种艺术的现代科技与艺术的综合体。
随着技术的进步，电影的清晰度和帧数越来越高，这直接提升了观影者的观影质量，也直接导致了电影的数据量过大。对于某些加密影片而言，电影在发送之前需要进行加密，由于电影的数据量过大，这使得加密的过程非常缓慢。
发明内容
本发明的目的在于提供基于图像分解再组合的影像传输方法及系统。
第一方面，本发明实施例提供了基于图像分解再组合的影像传输方法，包括：
第一网络端根据同一个完整影片中相邻两个图像帧的相似度，确定场景变化帧图像，并以场景变化帧图像为中心，按照预设的时间间隔，将完整影片分割为多个电影片段，每个电影片段中包括至少一个场景变化帧图像；
第一网络端按照预设的初始关键帧图像确定策略在每个电影片段中提取初始关键帧图像；
第一网络端确定每个初始关键帧图像中的参考特征点；
第一网络端根据初始关键帧图像中参考特征点在相邻一般帧图像中的出现频率分布、运动轨迹和参考特征点的分布情况，确定初始关键帧图像中指定的一部分作为优选关键帧图像；
第一网络端将优选关键帧图像进行图像分割，以生成第一关键帧图像、第二关键帧图像和第三关键帧图像；第一关键帧图像是优选关键帧图像的左上部分图像，第二关键帧图像是优选关键帧图像的右上部分图像；第三关键帧图像是优选关键帧图像的下部分图像；第一关键帧图像、第二关键帧图像和第三关键帧图像之间的区域有重叠的区域；
第一网络端按照预设的图像拉扯方式将第一关键帧图像、第二关键帧图像和第三关键帧图像中与其他关键帧图像相邻的拉扯区域进行拉扯，并对拉扯区域中的特征点进行弱化处理，以生成进行图像拉扯后的第一关键帧图像、第二关键帧图像和第三关键帧图像，以及生成与弱化处理相对应的还原处理策略；
第一网络端降低非优选关键帧图像的分辨率；
第一网络端打包数据包，第一网络端将全部第一关键帧图像打包形成第一数据包；将第二关键帧图像打包形成第二数据包；将第三关键帧图像打包形成第三数据包；将还原处理策略打包形成第四数据包；将降低分辨率的非优选关键帧图像打包形成第五数据包；
第一网络端通过不同的通信通道，在不同的时间点将第一数据包、第二数据包、第三数据包、第四数据包和第五数据包向第二网络端发送；
第二网络端按照还原处理策略，将第一关键帧图像、第二关键帧图像和第三关键帧图像中的拉扯区域进行还原和反向拉扯；
第二网络端按照预设的特征点提取策略提取拉扯区域中的特征点，并按照特征点匹配的方式生成优选关键帧图像；
第二网络端根据优选关键帧图像和非优选关键帧图像，生成完整影片。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，
第一网络端根据同一个完整影片中相邻两个图像帧的相似度，确定场景变化帧图像，包括：
第一网络端按照特征点匹配的方式，确定普通特征点对，每个普通特征点对均是由一个第一普通帧图像中的普通特征点和一个第二普通帧图像中的普通特征点组成；
第一网络端根据每个普通特征点对中两个普通特征点的距离，计算第一普通帧图像和第二普通帧图像之间的距离；
若第一普通帧图像和第二普通帧图像之间的距离超过预设阈值，则第一网络端将第一普通帧图像和第二普通帧图像确定为场景变化帧图像。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，
步骤第一网络端根据同一个完整影片中相邻两个图像帧的相似度，确定场景变化帧图像，包括：
第一网络端计算分别确定播放时间上相邻的第一普通帧图像和第二普通帧图像的图像亮度变化情况；
第一网络端计算第一普通帧图像和第二普通帧图像的图像亮度变化情况的相似度；
若图像亮度变化情况的相似度小于预设的阈值，则第一网络端将第一普通帧图像和第二普通帧图像确定为场景变化帧图像。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，
步骤第一网络端根据同一个完整影片中相邻两个图像帧的相似度，确定场景变化帧图像，包括：
分别将第一普通帧图像和第二普通帧图像进行二值化处理；
计算二值化处理后第一普通帧图像和第二普通帧图像的图像相似度；
若二值化处理后第一普通帧图像和第二普通帧图像的图像相似度低于预定阈值，则将第一普通帧图像和第二普通帧图像确定为场景变化帧图像。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，步骤第一网络端降低非优选关键帧图像的分辨率包括：
第一网络端获取每个非优选关键帧图像的相对距离，相对距离是根据非优选关键帧图像与最接近的优选关键帧图像的相似程度确定的；
第一网络端根据非优选关键帧图像的相对距离对非优选关键帧图像的分辨率进行调整；调整后的分辨率与非优选关键帧图像的相对距离呈正相关性。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，步骤第一网络端降低非优选关键帧图像的分辨率包括：
第一网络端获取每个非优选关键帧图像的相对距离，相对距离是根据非优选关键帧图像与最接近的优选关键帧图像的相似程度确定的；
第一网络端根据非优选关键帧图像的相对距离对非优选关键帧图像的分辨率进行调整；调整后的分辨率与非优选关键帧图像的相对距离呈负相关性。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，
步骤第一网络端将全部第一关键帧图像打包形成第一数据包包括：
第一网络端对第一关键帧图的数据进行碎片分解，以生成两组第一碎片化数据和第一数据组合规则；两组的第一碎片化数据按照第一数据组合规则进行组合能生成第一关键帧图；
第一网络端将一组第一碎片化数据、另一组第一碎片化数据和第一数据组合规则分别打包；
步骤第一网络端通过不同的通信通道，在不同的时间点将第一数据包、第二数据包、第三数据包、第四数据包和第五数据包向第二网络端发送包括：
第一网络端将两组第一碎片化数据分别向第二网络端发送，并将第一数据组合规则通过安全通信信道向第二网络端发送；
所述方法还包括：
第二网络端按照第一数据组合规则将两组第一碎片化数据组合成第一关键帧图。
结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，
步骤第二网络端根据优选关键帧图像和非优选关键帧图像，生成完整影片包括：
第二网络端根据优选关键帧图像还原出参考影片；
第二网络端提取参考影片中指定的参考帧图像；
第二网络端比较参考帧图像与指定的非优选关键帧图像的图像相似度；
若图像相似度低于预设的阈值，则第二网络端将参考帧图像与指定的非优选关键帧图像的图像向人工监测端发送。
结合第一方面，本发明实施例提供了第一方面的第八种可能的实施方式，其中，
步骤第二网络端根据优选关键帧图像和非优选关键帧图像，生成完整影片包括：
第二网络端根据优选关键帧图像还原出参考影片；
第二网络端提取参考影片中指定的多个参考帧图像；
第二网络端分别比较每个参考帧图像与指定的非优选关键帧图像的图像相似度；
若图像相似度低于预设的阈值的次数超过预设阈值，则第二网络端将参考帧图像与指定的非优选关键帧图像的图像向人工监测端发送。
第二方面，本发明实施例还提供了基于图像分解再组合的影像传输系统，包括：第一传输设备、第二传输设备和播放设备；
第一传输设备用于按照如第一方面所述的第一网络端的方法执行相应的操作；
第二传输设备用于按照如第一方面所述的第二网络端的方法执行相应的操作；
播放设备，用于播放完整影片。
本发明实施例提供的基于图像分解再组合的影像传输方法，通过综合使用了图像拆分技术、图像拉扯技术、特征点选择和特征点匹配技术，使得在需要进行电影数据的时候，先由第一网络端对需要发送的电影的关键帧图像进行处理，而后，再由第二网络端对处理后的关键帧图像进行还原，继而，利用关键帧图像还原出完整的电影，保证了关键帧图像的发送安全性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的基于图像分解再组合的影像传输方法的基本流程图；
图2示出了本发明实施例所提供的基于图像分解再组合的影像传输方法的第一种细节流程图；
图3示出了本发明实施例所提供的基于图像分解再组合的影像传输方法的第二种细节流程图；
图4示出了本发明实施例所提供的基于图像分解再组合的影像传输方法的第三种细节流程图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中已经出现了电影的传输方法，但由于电影所占据的空间量越来越大，这使得在需要对电影进行加密的时候，电影加密工作越来越难以完成。
针对该情况，本申请提供了一种基于图像分解再组合的影像传输方法，如图1-4所示，该方法包括如下步骤：
S101，第一网络端根据同一个完整影片中相邻两个图像帧的相似度，确定场景变化帧图像，并以场景变化帧图像为中心，按照预设的时间间隔，将完整影片分割为多个电影片段，每个电影片段中包括至少一个场景变化帧图像；
S102，第一网络端按照预设的初始关键帧图像确定策略在每个电影片段中提取初始关键帧图像；
S103，第一网络端确定每个初始关键帧图像中的参考特征点；
S104，第一网络端根据初始关键帧图像中参考特征点在相邻一般帧图像中的出现频率分布、运动轨迹和参考特征点的分布情况，确定初始关键帧图像中指定的一部分作为优选关键帧图像；
S105，第一网络端将优选关键帧图像进行图像分割，以生成第一关键帧图像、第二关键帧图像和第三关键帧图像；第一关键帧图像是优选关键帧图像的左上部分图像，第二关键帧图像是优选关键帧图像的右上部分图像；第三关键帧图像是优选关键帧图像的下部分图像；第一关键帧图像、第二关键帧图像和第三关键帧图像之间的区域有重叠的区域；
S106，第一网络端按照预设的图像拉扯方式将第一关键帧图像、第二关键帧图像和第三关键帧图像中与其他关键帧图像相邻的拉扯区域进行拉扯，并对拉扯区域中的特征点进行弱化处理，以生成进行图像拉扯后的第一关键帧图像、第二关键帧图像和第三关键帧图像，以及生成与弱化处理相对应的还原处理策略；
S107，第一网络端降低非优选关键帧图像的分辨率；
S108，第一网络端打包数据包，第一网络端将全部第一关键帧图像打包形成第一数据包；将第二关键帧图像打包形成第二数据包；将第三关键帧图像打包形成第三数据包；将还原处理策略打包形成第四数据包；将降低分辨率的非优选关键帧图像打包形成第五数据包；
S109，第一网络端通过不同的通信通道，在不同的时间点将第一数据包、第二数据包、第三数据包、第四数据包和第五数据包向第二网络端发送；
S110，第二网络端按照还原处理策略，将第一关键帧图像、第二关键帧图像和第三关键帧图像中的拉扯区域进行还原和反向拉扯；
S111，第二网络端按照预设的特征点提取策略提取拉扯区域中的特征点，并按照特征点匹配的方式生成优选关键帧图像；
S112，第二网络端根据优选关键帧图像和非优选关键帧图像，生成完整影片。
上述步骤中，完整影片指的是具有一定播放时长的影片，如时长为50分钟的动画。上述方案中通过综合使用了图像拆分技术、图像拉扯技术、特征点选择和特征点匹配技术，来保证了关键帧图像的发送安全性。
具体的，上述步骤S101中，首先是确定场景变化帧图像，场景变化帧图像的特点是两个帧图像的基础颜色分布、明亮程度相差较大，具体计算的时候，可以有两种方式，第一种可以按照如下方式执行步骤S101：
步骤S1011，第一网络端分别确定播放时间上相邻的第一普通帧图像和第二普通帧图像中的普通特征点；
步骤S1012，第一网络端按照特征点匹配的方式，确定普通特征点对，每个普通特征点对均是由一个第一普通帧图像中的普通特征点和一个第二普通帧图像中的普通特征点组成；
步骤S1013，第一网络端根据每个普通特征点对中两个普通特征点的距离，计算第一普通帧图像和第二普通帧图像之间的距离；
步骤S1014，若第一普通帧图像和第二普通帧图像之间的距离超过预设阈值，则第一网络端将第一普通帧图像和第二普通帧图像确定为场景变化帧图像。
可见，第一种方式是按照特征点匹配的方式来计算的，当特征点距离较远的时候，就说明两个帧图像之间移动过大，这通常就表示场景的变换了。形成普通特征点对的时候，不必然将每个第一普通帧图像中的普通特征点均放入到其中，也不必将每个第二普通帧图像中的普通特征点均放入到其中。第一普通帧图像和第二普通帧图像均是完整影片中的某一帧图像，这两个帧图像是相邻的。
步骤S101还可以按照如下方式实现：
步骤S1015，第一网络端计算分别确定播放时间上相邻的第一普通帧图像和第二普通帧图像的图像亮度变化情况；
步骤S1016，第一网络端计算第一普通帧图像和第二普通帧图像的图像亮度变化情况的相似度；
步骤S1017，若图像亮度变化情况的相似度小于预设的阈值，则第一网络端将第一普通帧图像和第二普通帧图像确定为场景变化帧图像。
此种方式是按照亮度变化情况来确定场景变化帧图像的，亮度变化情况可以是由相邻的两个像素点的亮度变化情况构成的。
为了简化方案，步骤S101可以按照如下方式实现：
分别将第一普通帧图像和第二普通帧图像进行二值化处理；
计算二值化处理后第一普通帧图像和第二普通帧图像的图像相似度；
若二值化处理后第一普通帧图像和第二普通帧图像的图像相似度低于预定阈值，则将第一普通帧图像和第二普通帧图像确定为场景变化帧图像。
步骤S102中，确定初始关键帧图像的方式可以是目前已有的某一种，此处对确定初始关键帧图像的方式不做要求。但一般来说，初始关键帧图像通常是场景变化帧图像，或者是和场景变化帧图像具有一定关系的图像，这是由于场景变化帧图像和前/后帧图像有足够的差别。
S102后可以增加如下的步骤：
S201，第一网络端根据电影片段的时间长度计算电影片段所对应的初始标准帧数量；
S202，第一网络端判断电影片段中初始关键帧图像的数量是否达到对应的初始标准帧数量；
S203，若否，则第一网络端重新调整初始关键帧图像确定策略，并利用重新调整后的初始关键帧图像确定策略在电影片段中增加初始关键帧图像。
也就是可以通过补充关键帧图像的方式来增加关键帧图像的数量，这样方便后续过程中进行图像还原。
步骤S103中，确定参考特征点的方式通常是按照卷积计算的方式确定的，比如可以将与周围像素点的像素值差别较大的点作为特征点。
步骤S104中，是根据参考特征点的特性来从初始关键帧图像中，选择一部分作为优选关键帧图像。特征点出现频率分布指的通常指的是特征点在相邻的几个图像中出现的情况，当然，如果在每个图像中均出现，则最好；运动轨迹指的是某一个特征点在不同图像中的位置变化情况；参考特征点的分布情况指的是参考特征点在一般的图像中出现的位置情况，与运动轨迹不同的是，分布情况指的是多个/大量特征点的位置特征，比如，某些发生变化的画面是整体发生移动的，比如，镜头左转就会使得整体画面向左移动，此时，如果只用运动轨迹就不足以描述了，应当介入分布情况进行描述。
步骤S105中，将图像进行分割后得到的结果是三个图像，分别是第一关键帧图像、第二关键帧图像和第三关键帧图像。这三个关键帧图像按照预定的方式拼接能够拼接成优选关键帧图像(第一关键帧图像在左上、第二关键帧图像在右上、第三关键帧图像在右下)。需要说明的是，这三个关键帧图像的连接处是有重叠区域的，这样方便后续过程中进行特征点匹配式的融合。
步骤S106中，对图像拉扯区域进行拉扯的目的是使图像发生形变，这样，图像即使被其他人员所截获，对方由于无法确定拉扯方式，也无法还原最初的图像。
步骤S107中降低优选关键帧图像的分辨率后，非优选关键帧图像可以在电影还原的时候起到辅助的作用。步骤S108中，将之前形成的几份数据分别打包，并在步骤S109中，在不同的时间发送给第二网络端，以避免被恶意截获。
具体而言，步骤S107可以按照如下两种方式进行操作：
步骤S1071，第一网络端获取每个非优选关键帧图像的相对距离，相对距离是根据非优选关键帧图像与最接近的优选关键帧图像的相似程度确定的；
步骤S1072，第一网络端根据非优选关键帧图像的相对距离对非优选关键帧图像的分辨率进行调整；调整后的分辨率与非优选关键帧图像的相对距离呈正相关性。
还可以是按照如下方式进行调整：
步骤S1073，第一网络端获取每个非优选关键帧图像的相对距离，相对距离是根据非优选关键帧图像与最接近的优选关键帧图像的相似程度确定的；
步骤S1074，第一网络端根据非优选关键帧图像的相对距离对非优选关键帧图像的分辨率进行调整；调整后的分辨率与非优选关键帧图像的相对距离呈负相关性。
这两种方式的主要差别在于调整后的分辨率与非优选关键帧图像的相对距离呈负相关性还是正相关性。这主要是根据影片的具体情况来确定，也可以是认为的采用手动的方式来设置。
步骤S110中，首先是按照还原处理策略对三个关键帧图像进行还原。而后，步骤S111中，则是还原优选关键帧图像，最后，是利用优选关键帧图像和非优选关键帧图像，生成完整影片。
优选的，可以在发送第一关键帧图像前，对第一关键帧图像进行碎片分解，而后，将分结构的结果通过不同的数据包发送，这样能够进一步提高保密程度。具体的，上述方案中步骤S108包括如下步骤：
S1081，第一网络端对第一关键帧图的数据进行碎片分解，以生成两组第一碎片化数据和第一数据组合规则；两组的第一碎片化数据按照第一数据组合规则进行组合能生成第一关键帧图；
S1082，第一网络端将一组第一碎片化数据、另一组第一碎片化数据和第一数据组合规则分别打包；
步骤S109包括如下步骤：
S1091，第一网络端将两组第一碎片化数据分别向第二网络端发送，并将第一数据组合规则通过安全通信信道向第二网络端发送；
该方法还包括：
第二网络端按照第一数据组合规则将两组第一碎片化数据组合成第一关键帧图。
碎片分解的意思是对第一关键帧图进行基础数据级别的分解，最基本的，第一关键帧图可以按照某一种变成语言，使用某种特定的代码(比如电脑中所使用的代码就是最基础的二进制代码)进行编写，此处的基础数据级别的分解指的就是将该代码进行分别，下面仅列举一个数字(可以认为是像素值)的分解过程。如原字段为数字55，可以将55拆分为50和60两个字段(不能拆分为55和0)，那么50和60均无法反应原字段55的含义，这样便起到了将数据表中的字段的真实含义，同时通过50/2+60/2，便可以计算出55，这样以拆分的方式进行隐藏的功能；又如，可以将55拆分为5和11(不能拆分为55和1)，5*11＝55，也就还原出了原数据表中的55。
此处分解的目的是分解后的两个或多个结果(第一碎片化数据)无法单独表示第一关键帧图的含义，这样能够提高保密程度。
具体的，下面对步骤S112的过程进行说明，具体包括如下步骤：
S1121，第二网络端根据优选关键帧图像还原出参考影片；
S1122，第二网络端提取参考影片中指定的参考帧图像；
S1123，第二网络端比较参考帧图像与指定的非优选关键帧图像的图像相似度；
S1124，若图像相似度低于预设的阈值，则第二网络端发出告警信息，和/或，根据指定的非优选关键帧图像对参考帧图像进行调整；若图像相似度高于预设的阈值，则第二网络端将参考帧图像与指定的非优选关键帧图像的图像向人工监测端发送。
也就是，非优选关键帧图像能够起到校验的作用。前文中已经说明，非优选关键帧图像的分辨率也是有区别的，因此可以选择分辨率较高的非关键帧图像使用。
步骤S112还可以是按照如下方式实现：
S1125，第二网络端根据优选关键帧图像还原出参考影片；
S1126，第二网络端提取参考影片中指定的多个参考帧图像；
S1127，第二网络端分别比较每个参考帧图像与指定的非优选关键帧图像的图像相似度；
S1128，若图像相似度低于预设的阈值的次数超过预设阈值，则发出告警信息；若图像相似度低于预设的阈值的次数低于预设阈值，则第二网络端将参考帧图像与指定的非优选关键帧图像的图像向人工监测端发送。
与前文相对应的，本申请还提供了基于图像分解再组合的影像传输系统，包括第一传输设备、第二传输设备和播放设备；
第一传输设备用于按照如前文中所提供的第一网络端的方法执行相应的操作；
第二传输设备用于按照如前文中所提供的第二网络端的方法执行相应的操作；
播放设备，用于播放完整影片。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.基于图像分解再组合的影像传输方法，其特征在于，包括：
第一网络端根据同一个完整影片中相邻两个图像帧的相似度，确定场景变化帧图像，并以场景变化帧图像为中心，按照预设的时间间隔，将完整影片分割为多个电影片段，每个电影片段中包括至少一个场景变化帧图像；
第一网络端按照预设的初始关键帧图像确定策略在每个电影片段中提取初始关键帧图像；
第一网络端确定每个初始关键帧图像中的参考特征点；
第一网络端根据初始关键帧图像中参考特征点在相邻一般帧图像中的出现频率分布、运动轨迹和参考特征点的分布情况，确定初始关键帧图像中指定的一部分作为优选关键帧图像；
第一网络端将优选关键帧图像进行图像分割，以生成第一关键帧图像、第二关键帧图像和第三关键帧图像；第一关键帧图像是优选关键帧图像的左上部分图像，第二关键帧图像是优选关键帧图像的右上部分图像；第三关键帧图像是优选关键帧图像的下部分图像；第一关键帧图像、第二关键帧图像和第三关键帧图像之间的区域有重叠的区域；
第一网络端按照预设的图像拉扯方式将第一关键帧图像、第二关键帧图像和第三关键帧图像中与其他关键帧图像相邻的拉扯区域进行拉扯，并对拉扯区域中的特征点进行弱化处理，以生成进行图像拉扯后的第一关键帧图像、第二关键帧图像和第三关键帧图像，以及生成与弱化处理相对应的还原处理策略；其中，所述预设的图像拉扯方式表征使图像发生形变的方式；
第一网络端降低非优选关键帧图像的分辨率；
第一网络端打包数据包，第一网络端将全部第一关键帧图像打包形成第一数据包；将第二关键帧图像打包形成第二数据包；将第三关键帧图像打包形成第三数据包；将还原处理策略打包形成第四数据包；将降低分辨率的非优选关键帧图像打包形成第五数据包；
第一网络端通过不同的通信通道，在不同的时间点将第一数据包、第二数据包、第三数据包、第四数据包和第五数据包向第二网络端发送；
第二网络端按照还原处理策略，将第一关键帧图像、第二关键帧图像和第三关键帧图像中的拉扯区域进行还原和反向拉扯；
第二网络端按照预设的特征点提取策略提取拉扯区域中的特征点，并按照特征点匹配的方式生成优选关键帧图像；
第二网络端根据优选关键帧图像和非优选关键帧图像，生成完整影片。
2.根据权利要求1所述的方法，其特征在于，步骤第一网络端根据同一个完整影片中相邻两个图像帧的相似度，确定场景变化帧图像，包括：
第一网络端按照特征点匹配的方式，确定普通特征点对，每个普通特征点对均是由一个第一普通帧图像中的普通特征点和一个第二普通帧图像中的普通特征点组成；
第一网络端根据每个普通特征点对中两个普通特征点的距离，计算第一普通帧图像和第二普通帧图像之间的距离；
若第一普通帧图像和第二普通帧图像之间的距离超过预设阈值，则第一网络端将第一普通帧图像和第二普通帧图像确定为场景变化帧图像。
3.根据权利要求1所述的方法，其特征在于，步骤第一网络端根据同一个完整影片中相邻两个图像帧的相似度，确定场景变化帧图像，包括：
第一网络端计算分别确定播放时间上相邻的第一普通帧图像和第二普通帧图像的图像亮度变化情况；
第一网络端计算第一普通帧图像和第二普通帧图像的图像亮度变化情况的相似度；
若图像亮度变化情况的相似度小于预设的阈值，则第一网络端将第一普通帧图像和第二普通帧图像确定为场景变化帧图像。
4.根据权利要求1所述的方法，其特征在于，步骤第一网络端根据同一个完整影片中相邻两个图像帧的相似度，确定场景变化帧图像，包括：
分别将第一普通帧图像和第二普通帧图像进行二值化处理；
计算二值化处理后第一普通帧图像和第二普通帧图像的图像相似度；
若二值化处理后第一普通帧图像和第二普通帧图像的图像相似度低于预定阈值，则将第一普通帧图像和第二普通帧图像确定为场景变化帧图像。
5.根据权利要求1所述的方法，其特征在于，步骤第一网络端降低非优选关键帧图像的分辨率包括：
第一网络端获取每个非优选关键帧图像的相对距离，相对距离是根据非优选关键帧图像与最接近的优选关键帧图像的相似程度确定的；
第一网络端根据非优选关键帧图像的相对距离对非优选关键帧图像的分辨率进行调整；调整后的分辨率与非优选关键帧图像的相对距离呈正相关性。
6.根据权利要求1所述的方法，其特征在于，步骤第一网络端降低非优选关键帧图像的分辨率包括：
第一网络端获取每个非优选关键帧图像的相对距离，相对距离是根据非优选关键帧图像与最接近的优选关键帧图像的相似程度确定的；
第一网络端根据非优选关键帧图像的相对距离对非优选关键帧图像的分辨率进行调整；调整后的分辨率与非优选关键帧图像的相对距离呈负相关性。
7.根据权利要求1所述的方法，其特征在于，步骤第一网络端将全部第一关键帧图像打包形成第一数据包包括：
第一网络端对第一关键帧图的数据进行碎片分解，以生成两组第一碎片化数据和第一数据组合规则；两组的第一碎片化数据按照第一数据组合规则进行组合能生成第一关键帧图；
第一网络端将一组第一碎片化数据、另一组第一碎片化数据和第一数据组合规则分别打包；
步骤第一网络端通过不同的通信通道，在不同的时间点将第一数据包、第二数据包、第三数据包、第四数据包和第五数据包向第二网络端发送包括：
第一网络端将两组第一碎片化数据分别向第二网络端发送，并将第一数据组合规则通过安全通信信道向第二网络端发送；
所述方法还包括：
第二网络端按照第一数据组合规则将两组第一碎片化数据组合成第一关键帧图。
8.根据权利要求1所述的方法，其特征在于，步骤第二网络端根据优选关键帧图像和非优选关键帧图像，生成完整影片包括：
第二网络端根据优选关键帧图像还原出参考影片；
第二网络端提取参考影片中指定的参考帧图像；
第二网络端比较参考帧图像与指定的非优选关键帧图像的图像相似度；
若图像相似度低于预设的阈值，则第二网络端将参考帧图像与指定的非优选关键帧图像的图像向人工监测端发送。
9.根据权利要求1所述的方法，其特征在于，步骤第二网络端根据优选关键帧图像和非优选关键帧图像，生成完整影片包括：
第二网络端根据优选关键帧图像还原出参考影片；
第二网络端提取参考影片中指定的多个参考帧图像；
第二网络端分别比较每个参考帧图像与指定的非优选关键帧图像的图像相似度；
若图像相似度低于预设的阈值的次数超过预设阈值，则第二网络端将参考帧图像与指定的非优选关键帧图像的图像向人工监测端发送。
10.基于图像分解再组合的影像传输系统，其特征在于，包括：第一传输设备、第二传输设备和播放设备；
第一传输设备用于按照如权利要求1-9中任一项所述的第一网络端的方法执行相应的操作；
第二传输设备用于按照如权利要求1-9中任一项所述的第二网络端的方法执行相应的操作；
播放设备，用于播放完整影片。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810217422.2A CN108447083B (zh) | 2018-03-16 | 2018-03-16 | 基于图像分解再组合的影像传输方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810217422.2A CN108447083B (zh) | 2018-03-16 | 2018-03-16 | 基于图像分解再组合的影像传输方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108447083A CN108447083A (zh) | 2018-08-24 |
| CN108447083B true CN108447083B (zh) | 2020-06-02 |
Family
ID=63195492
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810217422.2A Active CN108447083B (zh) | 2018-03-16 | 2018-03-16 | 基于图像分解再组合的影像传输方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108447083B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101035285A (zh) * | 2007-04-13 | 2007-09-12 | 深圳市融合视讯科技有限公司 | 一种网络传输中的图像分解及还原方法 |
| CN101072342A (zh) * | 2006-07-01 | 2007-11-14 | 腾讯科技（深圳）有限公司 | 一种场景切换的检测方法及其检测系统 |
| CN102325274A (zh) * | 2011-10-13 | 2012-01-18 | 浙江万里学院 | 一种自适应网络带宽的视频流传输控制方法 |
| CN102611910A (zh) * | 2011-01-19 | 2012-07-25 | 北京东方文骏软件科技有限责任公司 | 基于关键帧图像质量加权的无参考视频质量客观评价方法 |
| CN104767997A (zh) * | 2015-03-25 | 2015-07-08 | 北京大学 | 一种面向视频的视觉特征编码方法及装置 |
| CN105981396A (zh) * | 2014-08-19 | 2016-09-28 | 松下知识产权经营株式会社 | 传输方法、再现方法及再现装置 |
| CN106060539A (zh) * | 2016-06-16 | 2016-10-26 | 深圳风景网络科技有限公司 | 一种低传输带宽的视频编码方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170078671A1 (en) * | 2015-09-11 | 2017-03-16 | Facebook, Inc. | Accelerated uploading of encoded video |
-
2018
- 2018-03-16 CN CN201810217422.2A patent/CN108447083B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101072342A (zh) * | 2006-07-01 | 2007-11-14 | 腾讯科技（深圳）有限公司 | 一种场景切换的检测方法及其检测系统 |
| CN101035285A (zh) * | 2007-04-13 | 2007-09-12 | 深圳市融合视讯科技有限公司 | 一种网络传输中的图像分解及还原方法 |
| CN102611910A (zh) * | 2011-01-19 | 2012-07-25 | 北京东方文骏软件科技有限责任公司 | 基于关键帧图像质量加权的无参考视频质量客观评价方法 |
| CN102325274A (zh) * | 2011-10-13 | 2012-01-18 | 浙江万里学院 | 一种自适应网络带宽的视频流传输控制方法 |
| CN105981396A (zh) * | 2014-08-19 | 2016-09-28 | 松下知识产权经营株式会社 | 传输方法、再现方法及再现装置 |
| CN104767997A (zh) * | 2015-03-25 | 2015-07-08 | 北京大学 | 一种面向视频的视觉特征编码方法及装置 |
| CN106060539A (zh) * | 2016-06-16 | 2016-10-26 | 深圳风景网络科技有限公司 | 一种低传输带宽的视频编码方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108447083A (zh) | 2018-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11178123B2 (en) | Video communication data security | |
| US11520923B2 (en) | Privacy-preserving visual recognition via adversarial learning | |
| US10062406B2 (en) | Video masking processing method and apparatus | |
| Asikuzzaman et al. | Robust DT CWT-based DIBR 3D video watermarking using chrominance embedding | |
| US20150371014A1 (en) | Obscurely rendering content using masking techniques | |
| KR100368352B1 (ko) | 데이터 은폐 방법 및 데이터 추출 방법 | |
| KR101502362B1 (ko) | 영상처리 장치 및 방법 | |
| Rabie et al. | The pixogram: Addressing high payload demands for video steganography | |
| WO2009147184A1 (fr) | Procede et systeme permettant de proteger des la compression la confidentialite des donnees d'un flux video lors de sa transmission | |
| US9928352B2 (en) | System and method for creating, processing, and distributing images that serve as portals enabling communication with persons who have interacted with the images | |
| EP3714425B1 (en) | Method and apparatus for reconstruction of original images from modified images | |
| CN111445415B (zh) | 图像修复方法及装置、电子设备和存储介质 | |
| Ong et al. | Fast recovery of unknown coefficients in DCT-transformed images | |
| CN113422882A (zh) | 图像压缩编码的分级加密方法、系统、设备与存储介质 | |
| CN108447083B (zh) | 基于图像分解再组合的影像传输方法及系统 | |
| Christian et al. | Digital video forgery detection and authentication technique-A review | |
| KR20170053714A (ko) | 대상-중심적 압축을 수행하기 위한 시스템 및 방법 | |
| KR101200345B1 (ko) | 점진적 차이값 히스토그램 기반의 가역 워터마킹을 이용한 블록단위 영상 인증방법 | |
| WO2011105164A1 (ja) | 画像処理方法 | |
| CN115019138A (zh) | 视频字幕擦除、模型训练、交互方法、设备及存储介质 | |
| US20140093121A1 (en) | Image processing apparatus and method | |
| CN110674347B (zh) | 视觉屏蔽双层ap视频摘要生成方法 | |
| CN108307249B (zh) | 基于关键帧提取再还原的影像网络传输方法及系统 | |
| CN112288757A (zh) | 一种基于数据打包技术的加密域图像分割优化方法 | |
| Ali et al. | A secure method of copyright protection for digital videos using Split Watermark Embedding Algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20230725 Address after: B114, F1, Speed Skating Hall, Winter Training Center, 68 Shijingshan Road, Shijingshan District, Beijing Patentee after: Beijing Tiantu Wanjing Technology Co.,Ltd. Address before: 100000 building 17, No. 3, yanjingli middle street, Chaoyang District, Beijing (No. b182, Deqian Xinyuan incubator) Patentee before: BEIJING VIRTUAL FILM TECHNOLOGY Co.,Ltd. |
|
| TR01 | Transfer of patent right |