CN109845272A - 读取和生成包含压缩且加密的图像的视频流的方法 - Google Patents

读取和生成包含压缩且加密的图像的视频流的方法 Download PDF

Info

Publication number
CN109845272A
CN109845272A CN201780061710.7A CN201780061710A CN109845272A CN 109845272 A CN109845272 A CN 109845272A CN 201780061710 A CN201780061710 A CN 201780061710A CN 109845272 A CN109845272 A CN 109845272A
Authority
CN
China
Prior art keywords
segment
variant
image
compression
high quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780061710.7A
Other languages
English (en)
Other versions
CN109845272B (zh
Inventor
樊尚·哈莫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Viaccess SAS
Original Assignee
Viaccess SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Viaccess SAS filed Critical Viaccess SAS
Publication of CN109845272A publication Critical patent/CN109845272A/zh
Application granted granted Critical
Publication of CN109845272B publication Critical patent/CN109845272B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H04N21/23476—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption by partially encrypting, e.g. encrypting the ending portion of a movie
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2347—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving video stream encryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4405—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video stream decryption
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

该读取视频流的方法包括：‑接收(92)视频流，该视频流包括与图像的每个图块相关联的高质量变体和降质变体，该降质变体能够独立于与不具有相同坐标的其他图块相关联的降质变体并且独立于与相同图块相关联的高质量变体被解压缩，‑针对每个选择的图块，对与该选择的图块相关联的高质量变体进行解密(118)且解压缩(120)，并且针对每个未选择的图块，对与该未选择的图块相关联的降质变体进行解压缩(126)，并且然后‑基于与未选择的图块相关联的降质变体，构建(130)图像的位于该未选择的图块内的每个部分的降质版本。

Description

读取和生成包含压缩且加密的图像的视频流的方法
本发明涉及一种读取包含压缩且加密的图像的视频流的方法以及读取器。本发明还涉及一种包含压缩且加密的图像的视频流的生成方法以及生成器。最后，本发明还涉及一种用于实施这些方法的信息记录介质。
这里，“压缩”指减少用于编码同一个信息项的比特数的操作。该操作的结果称为压缩信息项。“解压缩”指逆操作，使得可以基于压缩信息项获得其在被压缩之前的信息项和由此获得的解压缩信息项。
“加密”指借助于被称为“钥”的涉密信息项使信息项难以理解的操作，使得只有借助于该钥或与该钥对应的另一个钥才能使该信息项再次可理解。该操作的结果称为加密信息项。“解密”指逆操作，其使得可以基于加密信息项获得其在被加密之前的信息项和由此获得的解密信息项。
由电子读取器读取包含压缩且加密的图像的视频流的方法是已知的。为此，电子读取器包括：
-解密模块，其对视频流进行解密以获得解密的视频流，
-编解码器(编码器-解码器)，其解压缩解密的视频流以获得解压缩的视频流，以及
-组合器，其基于解压缩的视频流构建能够由与该读取器相关联的屏幕直接显示的基带视频流。
在解密模块之后或在编解码器之后，不对视频流进行加密。因此，当该解密的视频流非法分配给没有合法地获取显示该视频流所需的权利的第三方读取器时，对于这种情况下的攻击是脆弱的。为了使这种类型的攻击更加困难，已经提出了各种解决方案，例如由首字母缩略词PMP(“Protected Media Path(保护媒体路径)”)或SVP(“Secure Video Path(安全视频路径)”)已知的解决方案。然而，这些解决方案并未完全在可能读取和解密这些视频流的所有终端中实施。例如，某些已知为“智能手机”的智能电话并未完全实施该解决方案，因此它们易受到攻击。
因此，本发明旨在提出一种用于读取包含压缩且加密的图像的视频流的方法，该方法可以使得非法分配的视频流的质量降低，而不需要实施诸如SVP或PMP的解决方案。
现有技术也可以从以下获知：
-US2005237380A1，
-JP2014060512A，
-US2016/044346A1，
-WO2008/134014A2，
-US2013/163817A1，
-YEONGYUN KIM等人:“A selective video encryption for the region ofinterest in scalable video coding(可伸缩视频编码中目标区域的选择性视频加密)”，TENCON 2007，IEEE领域10次会议，2007年1月10日，第1-4页。
因此，本发明主题是一种如权利要求1所述的用于读取包含压缩且加密的图像的视频流的方法。
凭借所要求保护的读取方法，由终端的读取器解密的视频流仅在位于目标点附近的图像部分中包含视频流的高质量版本。相反，对于远离该目标点的图像部分，不对可以构建高质量版本的信息项进行解密。因此，不能从解密的视频流中推导出这些信息项。因此，即使该解密的视频流被非法地分配给其他读取器，这些其他读取器的用户也不能获得完整的高质量的视频流。至多，他们能够获得部分高质量的视频流。
此外，这些其他读取器的用户不能选择显示高质量版本的图像部分，即使他们修改了自己的读取器获取的目标点的坐标。
因此，尽管没有实施诸如SVP或PMP的保护解决方案，但解密的且可能非法分配的视频流具有降低的质量，这使得不能够显示该视频流的每个图像的完整高质量版本。
降质版本依赖于高质量版本的内容，例如由于其空间、色度或时间分辨率较低，可以使得用户不易察觉该方法的实施。而且，这是在不必解密编码高质量版本的高质量变体的情况下实现的。
最后，在所要求保护的方法中，即使从一个终端到另一个终端所获取的目标点的坐标不相同，也可以基于所接收的相同加密视频流生成每个解密视频流。这极大促进了生成该视频流并将该视频流传播到多个终端。
该读取方法的实施例能够包括从属权利要求特征中的一个或更多个。
读取方法的各实施例能够表现出以下优点中的一个或更多个：
-基于用户的位移建立目标点的坐标允许该用户自己简单地控制他希望以高质量观看的图像部分。相反，非法使用相同解密视频流的其他用户不能从该功能中受益。因此，这些其他用户不能获得与合法获取该视频流的用户等同的观看舒适度。因此，这限制了将这种解密视频流分配给其他用户的兴趣和可能性。
-当目标点对应于用户凝视的点时，未选择的图块对应于用户未看到的图像部分。这使得用户难以察觉在这些未选择的图块内显示图像的降质版本。因此，用户的观看舒适度几乎不受该方法的实施的干扰。
-仅基于视频流的高质量版本组合针对用户右眼和左眼显示的图像使得用户完全不会察觉所要求保护的方法的实施。
-视频流的图像超出人类视角使得读取方法的实施对于用户不可察觉或几乎察觉不到。
本发明的主题还涉及一种用于生成包含压缩且加密的图像的视频流的方法。
本发明的主题还涉及一种信息记录介质，该信息记录介质包括指令，当电子微处理器执行这些指令时，实现所要求保护的方法中的任何一种。
本发明的主题还涉及包含压缩且加密的图像的视频流的电子读取器。
最后，本发明的主题还涉及包含压缩且加密的图像的视频流的生成器。
通过阅读仅以非限制性示例并且同时参照附图给出的以下描述将更好地理解本发明，其中：
-图1是用于生成和读取压缩且加密的视频流的系统的架构示意图；
-图2是压缩且加密的视频流结构的部分示意性图示；
-图3是视频流的图像的示意图；
-图4是图2的视频流的读取器的架构示意图；
-图5是用于生成图2的视频流的方法的流程图；以及
-图6是用于读取图2的视频流的方法的流程图。
在这些图中，相同的参考标记用于指示相同的元件。在该说明书的下文中，没有详细描述对于本领域技术人员公知的特征和功能。
图1表示用于生成和读取以图块式(tile-wise)压缩且加密的视频流4的系统2。系统2包括：
-视频流4的生成器6，
-配备有视频流4的读取器10的终端8，和
-用于显示由读取器10读取的视频流4的设备12。
视频流4对旨在以给定频率(这里称为“刷新频率”)在屏幕上一个接一个地显示的、时间上有序连续的图像进行编码。在该实施例中，视频流4是沉浸式视频。因此，视频流4通常旨在由虚拟现实显示设备显示。
因此，视频流4是其中每个图像同时包含在几个不同方向上围绕摄像机的视图的视频。例如，每个图像包含在视锥内的所有方向上拍摄的视图，该视锥的顶点与摄像机的物镜一致。通常，该视锥的顶点处的角度α大于位于与摄像机相同位置的人的视角。因此，视频流的每个图像包括比能够由位于摄像机位置处的静止的人一次感知到的视图更多的视图。通常，角度α因此严格地大于70°或80°，并且通常大于100°或180°或260°。在视锥不具有圆形底部的情况下，也就是说它不是直圆锥，角度α被定义为等于完全包含该视锥的最小直圆锥的顶角。最小直圆锥指具有最小顶角的直圆锥。
当角度α等于180°时，图像通常被称为“半球形图像”。角度α也能够等于360°。在这种情况下，每个图像包含在空间中的所有方向上拍摄的视图。经常称为360°图像或全方向图像。
用于摄制和记录沉浸式视频的摄像机包括例如同时指向不同方向的几个物镜和/或具有非常大的孔径角的物镜，也就是说，孔径角大于100°或160°或180°的物镜。
生成器6例如通过信息传输网络16(例如因特网网络)连接到终端8。生成器6能够是广播网络头或用于视频的服务器。
生成器6包括连接到存储器22的可编程电子微处理器20。微处理器20能够执行存储器22中记录的指令。在此，存储器22包括用于实施图5的方法所需的指令。
终端8控制设备12以显示终端8读取的视频流。在该实施例中，设备12被认为是终端8外部的元件。
读取器10对视频流4进行解密和解压缩，以获得基带视频流18。
通常，基带视频流主要由连续的比特块组成，每个块对相应像素的颜色编码。视频流18内的比特块的位置对相应像素的位置进行编码。例如，视频流18符合HDMI(“高清晰度多媒体接口”)格式或类似格式。如果需要，能够根据HDCP(“高带宽数字内容保护”)标准对视频流18加密。读取器10和设备12之间的链路是短距离链路，也就是说，通常小于30m或20m或10m的距离。在下文中，视频流18被称为明文，因为它不再需要由读取器10解密以便能够以可理解的方式由设备12显示。
读取器10包括连接到存储器26的可编程电子微处理器24。微处理器24能够执行存储器26中记录的指令。在此，存储器26包括用于实施图6的方法所需的指令。
设备12在这里是HDM(“头戴式显示”)头戴式装置或任何其他虚拟现实头戴式装置，以使得可以获得立体视觉。为此效果，设备12特别包括分别面向用户的右眼和左眼设置的两个屏幕28和30。设备12还包括传感器集32，该传感器集能够测量表示用户的凝视方向的一个或更多个物理量。例如，集32包括测量用户的头部和/或用户的瞳孔的位移的传感器。集32连接到读取器10。
在下文中，在如下特定情况下描述系统2的实施例：
-视频流4按照H.265标准编码，也称为术语HEVC(“高效视频编码”)，
-传输层符合ISOBMFF(“ISO基础媒体文件格式”)标准，和
-视频流的加密/解密符合CENC(“通用加密方案”)标准。
针对关于H.265标准的更多信息，读取器能够参考2015年4月发布的文件ISO/CEI23008-2和UIT-H.265或它们之后的版本。针对关于ISOBMFF标准的更多信息，读取器能够参考2015年12月发布的文件ISO/CEI 14496-12。针对关于CENC标准的更多信息，读取器能够参考文件ISO/CEI 23001-7第二版或它们之后的版本。
这些标准对于本领域技术人员而言是已知的，这些标准提供的操作原理和实施的各种可能性在此不再详细描述。这里仅描述使用和实施这些标准以生成和读取视频流4的特定方式。本说明书中使用的术语与这些标准中定义的术语相同。
图2表示按图块式压缩且加密的视频流4的构成的示意图。
视频流4由时间连续的比特组组成，每个比特组对较小的封闭的图像组编码。封闭的图像组的英语术语已知为“closed group of pictures”。当一图像组能够独立于其他图像组解压缩时，该图像组被称为是封闭的。当一封闭的图像组不包含任何另一封闭的图像组时，该封闭的图像组被称为最小的封闭的图像组。在下文中，除非有相反的指示，否则视频流4的每个最小的封闭的图像组被简称为“图像组”。
通常，这些图像组按照当读取器10读取这些图像组时必须在屏幕28和30上显示这些图像组的顺序设置在视频流4中。
在图2中，仅示出了第一个图像组GOP1、最后一个图像组GOPT和中间图像组GOPt。图像组的数量T可能很大并且取决于视频的持续时间。例如，数字T可以大于1000、10000或100000。
在图2以及下列等等中，点表示为了简化已省略了图示的一部分。
图像组具有相似或相同的结构，并且仅更详细地描述和表示图像组GOPt的结构。
组GOPt包括P个图像I1到IP。数字P通常很小，也就是说，小于十五或十。它也可以等于一。
ISOBMFF标准提供了将“样本”切分成称为“变体比特范围组(variant bit rangegroup)”的若干信息比特范围并将这些范围中的每一个与称为“变体比特范围(variantbit range)”的一个或更多个变体相关联的可能性。在这里描述的实施例中，图像Ii对应于ISOBMFF标准中所谓的“样本”。此外，利用该标准提供的可能性将每个图像I1到IP划分为Nc个比特范围，并将这些范围中的每一个与分别称为“高质量变体”和“降质变体”的两个变体相关联。对每个图像进行编码的比特的这种构成对于每个图像是相同的。因此，仅针对图像Ii更详细地进行描述。
对于每个图像Ii，在压缩且加密视频流4之前，已经预先定义了利用Nc个连续图块C1到Cc对其总表面的铺设。数量Nc大于或等于2或3，并且优选地大于或等于4或8或16。通常，数量Nc小于或等于28或210。以这样的方式选择数量Nc：图像Ii的位于图块Cj内的部分包含图像的至少1000个像素或10000个像素。这里，选择数量Nc等于十六。
在该实施例中，每个图块Cj是长方形或正方形。此外，所有图块Cj具有相同的尺寸。因此，这些图块C1至Cc仅通过它们在图像Ii的平面中的坐标彼此区分。
图3示出了图像Ii的十六个图块C1至C16。
在视频流4的生成期间，图像Ii的每个图块Cj与两个变体VHQj和VDj相关联。与图块Cj相关联的变体是视频流4的比特范围，每个比特范围对位于图块Cj内的图像Ii的内容的相应版本编码。更确切地说，变体VHQj和VDj分别对位于该图块Cj内的图像Ii的该内容的所谓“高质量”和“降质”版本进行编码。当降质版本在屏幕28或30上显示时，相比当图像Ii的相同部分的高质量版本被显示时，降质版本向用户呈现的信息较少。为此效果，例如，高质量版本的空间分辨率高于降质版本的空间分辨率。“图像的空间分辨率”指图像的每单位面积的像素数量。这里，变体VHQj与变体VDj对相同的内容编码，但VHQj具有更高的空间分辨率。例如，其空间分辨率为二倍或四倍或十六倍高。优选地，变体VHQj的空间分辨率大于或等于屏幕28和30的空间分辨率。屏幕的空间分辨率是该屏幕能够显示的每单位面积的最大像素数量。相反，变体VDj的空间分辨率严格小于屏幕28和30的空间分辨率。因此，当变体VDj用于构建位于图块Cj内的图像Ii的部分时，必须通过基于相邻像素的颜色的插值来推导某些像素的颜色，从降低了图块Cj内显示的图像的质量。
例如，高质量版本是图像的高清晰度版本，而降质版本是同一图像的低清晰度版本。
在视频流4中，压缩图像组GOPt的每个变体VHQj，而不考虑与坐标不同的其他图块Ck≠j相关联的变体VHQk≠j。此外，在该实施例中，压缩变体VHQj而不考虑降质变体，并且特别地，不考虑变体VD1至VDC。最后，压缩图像组GOPt的每个变体VHQj，而不考虑另一图像组的图像的变体VHQj。在下文中，在该压缩操作之后获得的变体VHQj被称为“压缩变体VHQj”。
借助于此，可以解压缩变体VHQj，而也不需要解压缩与不同于图块Cj的图块相关联的变体VHQk≠j，并且不需要解压缩降质变体。
可选地，通过考虑图像I1至IP的与相同图块Cj相关联的其他变体VHQj来压缩变体VHQj。这使得可以增加压缩比，因为可以消除在不同图像I1至IP的不同变体VHQj之间的冗余信息。另一方面，可能需要在能够访问图像Ii的变体VHQj的内容之前解压缩图像I1至IP的所有变体VHQj。因此，这可能在读取期间延迟对变体VHQj的解压缩。然而，只要该延迟保持很短，也就是说通常小于100ms或20ms，20ms很难让用户察觉。
图像组GOPt的每个降质变体VDj以与刚刚针对变体VHQj描述的方式类似的方式被压缩。因此，像变体VHQj一样，能够独立于与不同于图块Cj的图块Ck≠j相关联的降质变体VDk≠j并且独立于高质量变体来解压缩降质变体VDj。在下文中，在该压缩操作之后获得的变体VDj被称为“压缩变体VDj”。
在H.265标准中，提供了分段压缩和解压缩视频流的可能性。这里，利用这种可能性来生成视频流4。
在视频流4中，包含图像I1到IP的压缩变体VHQj的比特块也借助于密钥KHQj被加密，以获得压缩且加密的变体VHQj。通常，密钥KHQj对于每个图块Cj是不同的。该比特块被独立地加密，也就是说，没有考虑包含与不同于图块Cj的图块Ck≠j相关联的其他压缩高质量变体VHQk≠j的比特块。此外，这里，该比特块也独立于包含其他图像组的压缩变体VHQj的比特块被加密。由此，能够独立于与不同于图块Cj的图块Ck≠j相关联的压缩且加密的高质量变体来解密图像I1至IP的压缩且加密的变体VHQj。在CENC标准中，提供了对视频流分段加密的这种可能性。另一方面，该标准没有指示并且没有暗示能够实施这种可能性来独立于彼此加密视频流的不同变体。
以类似的方式，独立于包含与不同于图块Cj的图块Ck≠j相关联的降质变体VDk≠j的比特块来加密包含图像I1到IP的压缩变体VDj的比特块。压缩变体VDj也独立于压缩高质量变体被加密。因此，能够独立于降质变体VDk≠j和视频流4的高质量变体来解密压缩且加密的变体VDj。
包含图像I1到IP的压缩变体VDj的比特块借助于密钥KD被加密。该加密的比特块在下文中称为“压缩且加密的变体VDj”。钥KD与所有钥KHQj不同。例如，钥KD对于图像的所有图块Cj是相同的。
对于每个图像和每个图块Cj，视频流4仅包含压缩且加密的变体VHQj和VDj。因此，仅能够由预先获得钥KHQj的读取器10解密变体VHQj，并且仅能够由预先获得钥KD的读取器10解密变体VDj。
最后，每个变体VHQj在视频流4中与标识符KIDj相关联，该标识符KIDj允许读取器10的DRM代理器识别或构建用于解密该压缩且加密的变体VHQj的钥KHQj。
在该实施例中，给定钥KD对于所有图块Cj是相同的，则不必将钥KD的标识符与每个压缩且加密的变体VDj相关联。
图4更详细地示出了读取器10的架构。在该图中示出的读取器10的各种部件能够各自以软件形式或以硬件形式来实施。读取器10包括：
-模块48，其用于解密且解压缩视频流4，
-DRM代理器50，其能够获取、验证、管理和存储例如钥KHQj和KD的涉密信息，
-定位器51，其根据集32的传感器的测量结果建立目标点的坐标，和
-组合器(composer)52，其负责根据由定位器51建立的坐标构建视频流18。
模块48包括：
-解密子模块54，其对视频流4进行解密以获得解密视频流55，以及
-编解码器56(编码器-解码器)，其对视频流55进行解码，以获得明文视频流57，也就是说，图像在同一时间被解密且解压缩的视频流。
读取器10的各种部件的常规操作方式是已知的，并在上文引用的标准中被描述。因此，在下文中，仅详细描述了专用于读取视频流4的这些部件的操作方式。这里，参考图6描述该操作方式。
现在参考图5的方法描述生成器6的操作方式。
在步骤60期间，生成器6获取图块Cj的坐标，其中当图块连接在一起时，形成待压缩且加密的图像的整个表面的铺设。通常，相对于图像平面的固定参考系定义这些图块的坐标。例如，基于预先记录的表格获取图块Cj的坐标，该预先记录的表格包含针对每个图像格式待使用的图块坐标。
在步骤62期间，生成器6接收待压缩且加密的视频流。例如，相应地，生成器6连接到摄像机或记录视频流的信息记录介质。此时，所接收的视频流本身包含以人可理解的方式在屏幕上显示所需的所有信息。特别地，为了实现这种显示，不必将明文图像与例如解密钥的涉密信息项结合。接收的该视频流同时包括每个图像的每个部分的高质量和降质版本。
在该步骤期间，对于在步骤60期间其坐标已被获取的每个图块Cj，并且对于接收的视频流的每个图像，生成器6获取明文变体VHQj和VDj。
在步骤64期间，生成器6将视频流切分成图像组。
此后，对于每个图像组和每个图块Cj，生成器执行以下操作：
-压缩图像I1至IP的变体VHQj以获得参考图2描述的压缩变体VHQj的操作66，以及
-压缩图像I1至IP的变体VDj以获得参考图2描述的压缩变体VDj的操作68。
此后，在步骤70期间，对于每个图块Cj，生成器6执行以下操作：
-利用钥KHQj对压缩变体VHQj进行加密以获得参考图2描述的压缩且加密的变体VHQj的操作72，以及
-利用钥KD对压缩变体VDj进行加密以获得参考图2描述的压缩且加密的变体VDj的操作74。
最后，在步骤78期间，压缩且加密的变体VHQj以及压缩且加密的变体VDj组合在一起以形成视频流4。在该步骤期间，生成器在所生成的视频流中将压缩且加密的变体VHQj中的每个以及压缩且加密的变体VDj中的每个与对应的“变体比特范围组”相关联，也就是说与相应的图块Cj相关联。
在完成该步骤78时，视频流4或者通过网络16与其生成物一起被传输到终端8，或者被记录在存储器22中的文件中。第一传输模式对应于已知英语术语为“streaming(流传输)”的传输，也就是说，视频流4的传输在该视频流的所有变体被压缩且加密之前开始。相反，第二传输模式对应于已知术语为“下载(downloading)”的传输，其中，文件到终端8的传输只能在已经获取、压缩且加密视频流的所有图像之后才开始。
现在将参考图6的方法描述读取器10的操作方式。
首先，在步骤90期间，DRM代理器50获取各个钥KHQj和钥KD，它们对于同时对压缩且加密的变体VHQj以及压缩且加密的变体VDj进行解密是必需的。
在步骤92期间，读取器10接收通过网络16“流传输”的或下载的视频流4。
在操作94期间，在开始读取视频流4之前，读取器获取在生成视频流4期间使用的所有图块Cj的坐标。例如，该信息项由生成器6通过网络16传送给读取器。在下文中，假设从视频的开始到结尾每个图像到图块的划分是相同的。
在步骤96期间，在读取视频流4的整个时间内，集32的传感器测量表示用户正在看的方向的一个或更多个物理量，并将这些测量值传输到读取器10，更确切地说传输到定位器51。
作为响应，在步骤97期间，定位器51获取这些测量值，并在图像平面中建立用户正在朝向其凝视的点的坐标。该点称为“目标点”，并在图3中具有参考标记98。因此，基于所获取的测量值以及例如用户的眼睛相对于屏幕28和30的已知位置来建立其坐标。
在读取视频流4的整个期间内，循环重复步骤96和97。例如，以大于视频流4的图像或图像组在屏幕28和30上的显示频率的频率重复这些步骤。因此，定位器51长期提供点98的最新坐标。
并行地，在步骤110期间，在读取每个图像组之前，DRM代理器50获取由定位器51建立的目标点的坐标。
此后，在步骤112期间，DRM代理器50选择最接近点98的坐标的一个或更多个图块。例如，DRM代理器50计算点98与每个图块Cj的中心之间的距离，并且仅选择分别对应于四个最小计算距离的四个图块。
在图3的情况下，这导致选择四个图块C5、C6、C9和C10。在该步骤112期间未被选择的其他图块被称为“未选择图块”。在图3的情况下，未选择图块是图块C1至C4、C7至C8和C11至C16。
在步骤114期间，对于每个图块Cj，DRM代理器50读取与视频流4中的压缩且加密的变体VHQj相关联的标识符KIDj。
接下来，在步骤115期间，对于每个图块Cj，DRM代理器50验证是否同时满足以下两个条件：
-图块Cj是在步骤112期间已经选择的图块，并且
-与标识符KIDj对应的钥KHQj是在步骤90期间获取的钥之一。
以肯定的方式，在步骤116期间，DRM代理器50将钥KHQj提供给解密子模块54。
作为响应，在步骤118期间，子模块54借助于提供的钥KHQj对与图像I1至Ip中的图块Cj相关联的压缩且加密的变体VHQj进行解密，以获得这些图像I1至Ip中的每一个的压缩和解密的变体VHQj。
此后，在步骤120期间，编解码器56解压缩在完成步骤118时获得的压缩变体VHQj。然后，编解码器56获得图像I1至IP的解压缩且解密的变体VHQj。
如果在步骤115期间图块Cj不是在步骤112期间选择的图块，或者如果DRM代理器50不能获得对应于标识符KIDj的钥KHQj，则该方法经过步骤122继续。
在步骤122期间，DRM代理器50仅将钥KD提供给解密子模块54而不提供钥KHQj。因此，图像I1至Ip的压缩且加密的变体VHQj不能被解密。
作为响应，在步骤124期间，子模块54对与图像I1至Ip的图块Cj相关联的压缩且加密的变体VDj进行解密，以获得这些图像I1至Ip中的每一个的压缩且解密的变体VDj。
此后，在步骤126期间，编解码器56解压缩在完成步骤124时获得的压缩变体VDj。因此，编解码器56获得图像I1至IP的解压缩且解密的变体VDj。
对于图像组的图像的每个图块Cj重复步骤114至126。
此后，在步骤130期间，基于在步骤114至126的执行期间针对每个图块Cj解压缩且解密的变体，读取器10构建包含在该图块Cj内的图像部分。因此，在该步骤期间，如果与该图块Cj相关联的变体VHQj已被解压缩且解密，则读取器10构建位于该图块Cj内的图像部分的高质量版本。在相反的情况下，也就是说，如果在步骤114到126期间仅对与该图块Cj相关联的变体VDj解压缩并解密，则读取器10仅构建位于该图块Cj内的图像部分的降质版本。
此后，在步骤132期间，读取器10组合高质量和低质量版本，以形成解压缩且解密的图像，该解压缩且解密的图像形成传输到组合器52的视频流57。
在步骤134期间，组合器52基于视频流57组合视频流18。更确切地说，在该实施例中，针对视频流57的每个图像，组合器基于视频流57的每个图像组合两个图像片段，以分别用于用户的右眼和左眼。为此，组合器使用由定位器51传输给它的点98的坐标和已知位置以及屏幕28和30的已知尺寸。通常，这两个图像片段各自比视频流57中包含的完整图像Ii的四分之一或十分之一还小。而且，这些图像片段以点98为中心。在这些条件下，组合器52仅使用解压缩且解密的图像的高质量版本来构建这两个图像片段。因此，在该实施例中，图像部分的降质版本不包含在视频流18中。
最后，在步骤136期间，组合器52通过视频流18传输组合的图像片段，并且设备12将它们显示在屏幕28和30上。
应当注意，在所描述的方法中，使得可以构建位于未选择图块内部的图像部分的高质量版本的变体VHQj从不被解密。因此，视频流55或57或18不能为图像的所有部分构建高质量版本。
此外，除了终端8的用户之外的用户难以使用视频流55或视频流57。实际上，该其他用户正在观看的方向至少偶尔地与设备12的用户正在看的方向不同。因此，该其他用户的显示设备针对他正在观看的方向显示的图像并不总是高质量的。这降低了该其他用户的观看舒适度并且使得视频流55或57的非法分布对其他用户几乎没有益处。最后，获得该结果，而不会明显地使终端8的合法用户所感知的图像的质量降质，或者几乎不使它降质。
目标点的变型：
用于建立目标点的坐标的其他过程是可行的。例如，能够基于终端获取语音命令来确定目标点的坐标。例如，当终端获取语音命令“向后看”时，目标点的当前位置水平移位180°，使得位于用户身后的部分的高质量版本现在是被解密并显示的部分。
通常，从存在测量用户身体的任意部分(例如用户的瞳孔)的移位的传感器时，该传感器的测量值能够单独使用或与另一传感器的测量值结合使用，来确定目标点的坐标。例如，用户通过他的手使操纵杆移位来移动操纵杆，并且根据该操纵杆移位的测量值来修改目标点的坐标。因此，在该变型中，目标点的坐标取决于用户的手的移位。操纵杆能够用手持装置来代替，该手持装置可由使用者直接移位并配备有惯性平台，该惯性平台测量该装置空间中的位移。例如，该装置是智能手机或平板电脑。在后一种情况下，显示图像的屏幕能够是该智能手机或该平板电脑的屏幕。
也能够根据同时观看相同视频或已经观看该视频的其他用户的位移来获得目标点的坐标。在这种情况下，这些测量值例如通过网络16获得并被传输到定位器51。这种测量值例如用于预测用户朝向其凝视的点的位置。
在其他实施例中，还能够独立于用户的位移的测量来建立目标点的坐标。例如，在足球比赛视频的情况下，软件模块自动提取图像中球的坐标。该软件模块能够由生成器6执行。之后，所提取的坐标被定位器51传输和使用，以建立目标点的坐标。例如，目标点的坐标等于这些提取的坐标。
在另一个变型中，对于每个图像，定位器不建立单个点的坐标而是建立几个目标点的坐标。因此，针对围绕这些目标点之一的图像的所有部分构建图像的高质量版本。当与图像组的时间间隔相对应的时间间隔内目标点的位移幅度显著时，同时使用几个目标点被证明是有用的。在这种情况下，预测该时间间隔内目标点的轨迹可能是有用的。此后，建立沿预测轨迹的几个目标点的坐标，以便对与沿该轨迹的所有图块相关联的变体VHQj进行解密。
高质量和降质版本的变型：
图块不一定是正方形或长方形。其他形状也是可行的。例如，图块能够是三角形或六边形或任何其他形状，基于该形状可以铺设图像的整个区域而不在这些图块之间留下任何空间。也可以使用图块不具有相同尺寸的铺设。例如，图块在图像的中心处较小并且在其周边较大。
在视频的整个持续时间内，视频图像的铺设不一定是恒定的。例如，可以从一个图像到另一个图像或者从一图像组到另一图像组修改图块的数量Nc。同样地，可以从一个图像到另一个图像或从一图像组到另一图像组修改使用的图块的形状或铺设。
降质版本能够以各种方式获得。例如，它能够通过降低高质量版本的时间或色度分辨率来获得。降低色度分辨率包括限制深度，也就是说，能够编码不同颜色的总数。例如，在高质量版本中，颜色被编码为32比特，而在降质版本中，颜色仅被编码为16比特。降低时间分辨率包括降低刷新图像部分的频率。例如，如果高质量版本的刷新频率表示为fHQ，则未选择图块内的图像部分的刷新频率fD严格小于该频率fHQ。例如，在两个中的一个图像中，降质变体与高质量变体相同。在其他图像中，降质变体与紧接的在前图像的降质变体相同。在这些条件下，高质量版本以频率fHQ刷新，而降质版本以频率fD＝fHQ/2刷新。
还可以组合以下修改中的一个或更多个以获得降质变体：空间分辨率的降低、色度分辨率的降低和时间分辨率的降低。
降质变体还能够通过除空间、色度或时间分辨率的降低之外的修改来获得。例如，图块内部的图像部分的降质版本通过平均位于接触该图块的图块内的图像的高质量版本的像素的颜色来获得。在这种情况下，降质变体根据高质量变体的内容而变化。然而，同一图块内可显示的图像部分的降质版本总是包含比高质量版本更少的信息。
在另一个替代方案中，在每个图块Cj内待显示的降质版本直接基于加密变体VDj的内容来构建而不解密该变体。在这种情况下，包含在视频流57中的解密且解压缩的图像同时包括位于所选择的图块内的解密且解压缩的部分以及位于未选择的图块内的非解密的部分。在该替代方案中，不必对与每个未选择的图块相关联的变体VDj进行解密。
在另一个实施例中，省略了降质版本。例如，可能的是，降质版本的内容不依赖于视频流的内容，特别是不依赖于高质量版本的内容。在这种情况下，读取器10通过使用预先记录在存储器26中的信息来构建图像部分的降质版本。例如，降质版本是不随时间变化的恒定图像部分。该恒定图像部分例如是均匀的颜色。在这种情况下，降质版本可以具有与高质量版本相同的空间、色度和时间分辨率。但是，降质版本与高质量版本的区别在于降质版本不包含可以重构高质量版本的任何信息。
这里描述的获得由降质变体编码的降质版本的各种方式能够组合在一起。
在另一个实施例中，为了节省带宽，高质量变体仅包含一些信息项，当这些信息项与降质变体中包含的信息项结合时可以构建图像部分的高质量版本。通常，这些信息项称为“增强”项。因此，生成器6实施基于图块的编码，并且另外实施分层编码。分层编码也称为术语“可伸缩视频编码”。在符合H.265标准的生成器中提供并可获得这种可能性。在H.265标准中，这通过首字母缩略词SHVC(“Scalable High efficiency Video Coding(可伸缩高效视频编码)”)而已知。因此，生成器6针对每个图像的每个图块生成基本流和增强流。降质变体包含基本流，并且高质量变体包含增强流。在这种情况下，与前一实施例对比，为了获得图像部分的高质量版本，子模块54同时对与所选择的图块相关联的降质变体和高质量变体进行解密，以同时获得基本流和增强流。对于位于未选择的图块内的图像部分，仅解密降质变体。
也可以仅针对高质量变体而不针对降质变体实施基于图块的压缩和加密。在这种情况下，图像的降质版本不被划分成图块，而是作为整块被压缩和加密。相反，图像的高质量版本被划分为图块。这些图块中的每一个与相应的高质量变体相关联。这里，优选地，每个高质量变体是一种增强项，其使得可以将图像的相同部分的降质版本变换为高质量版本。在这种情况下，降质图像首先被解密，并且然后被解压缩以获得待显示的图像的总体的降质版本，并因此获得该图像的每个部分的降质版本。此后，根据目标点的位置，对某些高质量变体解密且解压缩，以获得增强项，使得可以将降质图像的某些部分切换到高质量版本。
作为变型，通过考虑变体VDj的内容来压缩高质量变体VHQj。这使得可以提高压缩比，因为能够消除变体VHQj和VDj之间的冗余。另一方面，在视频流4的解压缩期间，为了解压缩变体VHQj，读取器10必须预先对变体VDj进行解密且解压缩。除了变体VHQj之外，对变体VDj进行解密且解压缩没有对该方法的安全性产生不利影响，因为该变体VDj对应于图像的降质版本。
与图像的图块相关联的变体的数量NV不限于高质量变体和降质变体。数量NV可以大于或等于三。例如，除了变体VHQj和VDj之外，中等质量变体VQMj能够与图像的图块Cj相关联。变体VQMj仅对位于图块Cj内的图像部分的中等质量版本进行编码。通常，中等质量版本的空间、时间或色度分辨率不如高质量版本的空间、时间或色度分辨率高，但优于降质版本的空间、时间或色度分辨率。例如，位于图块内的图像部分的中等质量版本根据距离dc来显示，该距离dc将该图块的中心与目标点分离。举例而言，如果距离dc小于第一预定阈值S1，则变体VHQj被解密且解压缩以构建位于图块Cj内的图像部分。如果距离dc大于阈值S1并且小于预定阈值S1，则变体VHMj被解密且解压缩以构建位于图块Cj内的图像部分。如果距离dc大于阈值S2，则变体VDj被解密且解压缩以构建位于图块Cj内的图像部分。因此，获得图像，其中当图像距离目标点更远时质量会降低。这限制了用户不舒服的风险。
作为变型，钥KHQj对于图像的所有图块Cj是相同的。因此，在该实施例中，能够省略与每个变体VHQj相关联的标识符KIDj。
作为变型，未对变体VDj加密，并且仅对变体VHQj加密。因此，不必对降质变体进行解密以构建图像部分的降质版本。
用于生成和读取视频流的系统的变型。
显示设备12的许多其他实施例是可行的。例如，设备12能够用屏幕和投影仪代替，该投影仪将读取的视频流的图像投影到该屏幕上。优选地，屏幕的表面是围绕用户的半球形或球形或环形。
已经描述的内容适用于除立体显示之外的领域。在这些情况下，组合器构建例如单个图像而不是如前所述的两个，并且构建的图像不一定仅对应于被读取的视频流的图像的片段。在后一种情况下，则组合器不需要接收点98的坐标。例如，这适用于屏幕围绕用户的情况，如在球形或半球形屏幕的情况下。这也适用于平面屏幕的情况，该平面屏幕的尺寸使得用户不能具有其表面的全局视野。
集32或显示设备12能够被集成在终端8内。例如，如果终端8是平板电脑或智能手机就是这种情况。集32也能够机械地独立于设备12和终端8。
DRM代理器50能够以硬件形式来实施，例如安全协同处理器或芯片卡的处理器。
能够生产符合除了先前引用的标准之外的标准的系统2。对于特定应用，系统2也不必与现有标准兼容。例如，在一个变型中，逐个图像地压缩视频流，使得每个图像组仅包含单个图像。在另一变型中，视频流被压缩为整块，其具有包括视频的所有图像的单个图像组。最后，在另一个替代方案中，图像组不是最小的封闭的图像组。
其他变型：
这里描述的方法能够在视频的所有图像上实施，或者仅针对这些图像的一部分实施。例如，这里描述的方法针对某些时间间隔来实施，并且针对其他时间间隔是无效的。当这里描述的方法无效时，视频的图像例如不被图块式加密和压缩。

Claims (10)

1.一种用于读取包含压缩且加密的图像的视频流的方法，其特征在于，该方法包括：
-接收(92)包含图块式压缩且加密的图像的视频流，图块式压缩且加密的图像是被划分成几个连续图块的图像，每个图块由图像中的相应坐标限定，这些连续图块联合形成该图像的整个表面的铺设，在视频流中图像的每个图块与称为“高质量变体”的第一压缩且加密的比特范围相关联，所述高质量变体单独对构建位于该图块内的图像部分的所谓“高质量”版本所必需的信息项进行编码，该压缩且加密的高质量变体能够独立于与不具有相同坐标的其他图块相关联的压缩且加密的高质量变体被解密和解压缩，
-针对每个图块式压缩且加密的图像：
·获取(94)划分图像的图块的坐标，
·获取(110)图像中目标点的坐标，
·基于所获取的图块和目标点的坐标，选择(112)最接近目标点的一个或更多个图块，这样选择的图块的数量严格小于划分该图像的图块的总数，从而获得选择的图块和未选择的图块，
-针对每个选择的图块，对与该选择的图块相关联的压缩且加密的高质量变体进行解密(118)且解压缩(120)，并且针对每个未选择的图块，不对与该未选择的图块相关联的压缩且加密的高质量变体进行解密，并且然后
-针对每个图块式压缩且加密的图像：
·针对该图像的位于选择的图块内的每个部分，基于与该选择的图块相关联的解密且解压缩的高质量变体构建(130)高质量版本，
·针对该图像的位于未选择的图块内的每个部分，构建(130)所谓“降质”的不同版本，而不考虑与该未选择的图块相关联的压缩且加密的高质量变体，并且然后
·组合(132)这些各种构建后的图像部分，以形成视频流的解密且解压缩的图像，其中只有根据目标点的坐标选择的某些部分包含高质量版本，
其中：
-接收(92)的视频流还包括与图块中的每个相关联的第二比特范围，称为“降质变体”，该降质变体被压缩并且不同于与该相同图块相关联的压缩且加密的高质量变体，该压缩的降质变体单独对构建位于该图块内的图像部分的所谓“降质”版本所必需的信息项进行编码，该压缩的降质变体能够独立于与不具有相同坐标的其他图块相关联的压缩的降质变体并且独立于与相同图块相关联的压缩且加密的高质量变体被解压缩，压缩的降质变体对关于位于其相关联的图块内的图像部分的高质量版本的内容的信息项进行编码，但信息项的量不足以允许其单独重建该高质量版本，
-针对每个未选择的图块，所述方法包括在接收到的视频流中对与该未选择的图块相关联的压缩的降质变体进行解压缩(126)，并且然后
-构建(130)图像的位于未选择的图块内的每个部分的降质版本，包括基于与该未选择的图块相关联的解压缩的降质变体构建该降质版本。
2.根据权利要求1所述的方法，其中，所述方法包括：
-借助于电子传感器，测量(96)终端的用户的位移，和
-基于测量的位移，确定(97)由该终端获取的目标点的坐标。
3.根据权利要求2所述的方法，其中，所述方法包括：
-在屏幕上显示(136)视频流的解密且解压缩的图像，其中用户相对于该屏幕的位置是已知的，
-测量(96)用户的位移包括测量表示用户凝视方向的至少一个物理量，以及
-基于所测量的位移和用户相对于屏幕的已知位置，确定(97)位于屏幕与用户凝视方向之间的交叉处的点的坐标，在图像平面中目标点的坐标等于该交叉点的坐标。
4.根据前述权利要求中任一项所述的方法，其中，由降质变体编码的降质版本表现出的空间、色度或时间分辨率严格小于由与相同图块相关联的高质量变体编码的高质量版本的空间、色度或时间分辨率。
5.根据前述权利要求中任一项所述的方法，其中，所述方法包括：
-仅基于解密且解压缩的图像的高质量版本，组合(134)用于用户右眼的右图像和用于用户左眼的不同的左图像，并且然后
-在用户佩戴的一对立体视觉眼镜的右屏幕和左屏幕上分别显示(136)右图像和左图像。
6.一种用于生成包含压缩且加密的图像的视频流的方法，该方法包括：
-接收(62)待压缩且加密的初始视频流，
-针对所接收的初始视频流的每个待加密且压缩的图像，获取(60)几个连续图块的坐标，当这些图块连接在一起时形成该图像的整个表面的铺设，
-针对每个图块，执行以下步骤：
·获取(62)称为“高质量变体”的比特范围，其单独对构建位于该图块内的图像部分的高质量版本所必需的信息项进行编码，并且然后
·压缩(66)针对该图块获取的该高质量变体，而不考虑针对不具有相同坐标的其他图块获取的高质量变体，并且然后
·加密(72)该压缩的高质量变体，而不考虑针对不具有相同坐标的其他图块获取的高质量变体，并且在所生成的视频流中将该图块与该压缩且加密的高质量变体相关联(78)，以这种方式获得能够独立于针对不具有相同坐标的其他图块获取的其他压缩且加密的高质量变体被解密且解压缩的压缩且加密的高质量变体，
其特征在于，所述方法还包括：
-获取(62)称为“降质变体”的第二比特范围，其不同于针对该相同图块获取的高质量变体，降质变体单独对构建位于该图块内的图像部分的所谓“降质”版本所必需的信息项进行编码，降质变体对关于位于其相关联的图块内的图像部分的高质量版本的内容的信息项进行编码，但信息项的量不足以允许其单独重建该高质量版本，并且然后
-压缩(68)降质变体，而不考虑针对不具有相同坐标的其他图块获取的高质量或降质变体，并且不考虑针对该相同图块获取的高质量变体，并且然后
-加密(74)针对该图块的压缩的降质变体，而不考虑针对不具有相同坐标的其他图块获取的高质量和降质变体，并且不考虑针对该相同图块获取的高质量变体。
7.根据前述权利要求中任一项所述的方法，其中，压缩且加密的图像对在顶角大于100°的视锥内包含的所有方向上获得的每个视图进行编码。
8.一种信息记录介质(22、26)，其特征在于，其包括指令，当这些指令由电子微处理器(20、24)执行时，实现根据前述权利要求中任一项所述的方法。
9.一种包含压缩且加密的图像的视频流的电子读取器，该读取器包括可编程微处理器(24)，所述可编程微处理器被编程为：
-接收包含图块式压缩且加密的图像的视频流，图块式压缩且加密的图像是被划分成几个连续图块的图像，每个图块由图像中的相应坐标限定，这些连续图块联合形成该图像的整个表面的铺设，在视频流中图像的每个图块与称为“高质量变体”的第一压缩且加密的比特范围相关联，所述高质量变体单独对构建位于该图块内的图像部分的所谓“高质量”版本所必需的信息项进行编码，该压缩且加密的高质量变体能够独立于与不具有相同坐标的其他图块相关联的压缩且加密的高质量变体被解密且解压缩，
-针对每个图块式压缩且加密的图像：
·获取划分图像的图块的坐标，
·获取图像中目标点的坐标，
·基于所获取的图块和目标点的坐标，选择最接近目标点的一个或更多个图块，这样选择的图块的数量严格小于划分该图像的图块的总数，从而获得选择的图块和未选择的图块，
-针对每个选择图块，对与该选择的图块相关联的压缩且加密的高质量变体进行解密且解压缩，并且针对每个未选择的图块，不对与该未选择的图块相关联的压缩且加密的变体进行解密，并且然后
-针对每个图块式压缩且加密的图像：
·针对该图像的位于选择的图块内的每个部分，基于与该选择的图块相关联的解密且解压缩的高质量变体构建高质量版本，
·针对该图像的位于未选择的图块内的每个部分，构建所谓“降质”的不同版本，而不考虑与该未选择的图块相关联的压缩且加密的高质量变体，并且然后
·组合这些各种构建后的图像部分，以形成视频流的解密且解压缩的图像，其中只有根据目标点的坐标选择的某些部分包含高质量版本，
其特征在于，可编程微处理器(24)还被编程为：
-接收视频流，该视频流还包括与图块中的每个相关联的第二比特范围，称为“降质变体”，该降质变体被压缩并且不同于与该相同图块相关联的压缩且加密的高质量变体，该压缩的降质变体单独对构建位于该图块内的图像部分的所谓“降质”版本所必需的信息项进行编码，该压缩的降质变体能够独立于与不具有相同坐标的其他图块相关联的压缩的降质变体并且独立于与相同图块相关联的压缩且加密的高质量变体被解压缩，压缩的降质变体对关于位于其相关联的图块内的图像部分的高质量版本的内容的信息项进行编码，但信息项的量不足以允许其单独重建该高质量版本，
-针对每个未选择的图块，在接收到的视频流中对与该未选择的图块相关联的压缩的降质变体进行解压缩，并且然后
-基于与未选择的图块相关联的解压缩的降质变体，构建图像的位于该未选择的图块内的每个部分的降质版本。
10.一种包含压缩且加密的图像的视频流的生成器，该生成器包括可编程微处理器(20)，所述可编程微处理器被编程为：
-接收待压缩且加密的初始视频流，
-针对所接收的初始视频流的每个待加密且压缩的图像，获取几个连续图块的坐标，当这些图块连接在一起时形成该图像的整个表面的铺设，
-针对每个图块，执行以下步骤：
·获取称为“高质量变体”的比特范围，其单独对构建位于该图块内的图像部分的高质量版本所必需的信息项进行编码，并且然后
·压缩针对该图块获取的该高质量变体，而不考虑针对不具有相同坐标的其他图块获取的高质量变体，并且然后
·加密该压缩的高质量变体，而不考虑针对不具有相同坐标的其他图块获取的高质量变体，并且在所生成的视频流中将该图块与该压缩且加密的高质量变体相关联，以这种方式获得能够独立于针对不具有相同坐标的其他图块获取的其他压缩且加密的高质量变体被解密且解压缩的压缩且加密的高质量变体，
其特征在于，所述微处理器还被编程为对每个图块执行以下步骤：
-获取称为“降质变体”的第二比特范围，其不同于针对该相同图块获取的高质量变体，降质变体单独对构建位于该图块内的图像部分的所谓“降质”版本所必需的信息项进行编码，降质变体对关于位于其相关联的图块内的图像部分的高质量版本的内容的信息项进行编码，但信息项数量不足以允许其单独重建该高质量版本，并且然后
-压缩降质变体，而不考虑针对不具有相同坐标的其他图块获取的高质量或降质变体，并且不考虑针对该相同图块获取的高质量变体，并且然后
-加密针对该图块的压缩的降质变体，而不考虑针对不具有相同坐标的其他图块获取的高质量和降质变体，并且不考虑针对该相同图块获取的高质量变体。
CN201780061710.7A 2016-08-05 2017-07-28 读取和生成包含压缩且加密的图像的视频流的方法 Expired - Fee Related CN109845272B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR1657613A FR3054945B1 (fr) 2016-08-05 2016-08-05 Procede de lecture et de generation d'un flux video contenant des images compressees et chiffrees
FR1657613 2016-08-05
PCT/FR2017/052139 WO2018024972A1 (fr) 2016-08-05 2017-07-28 Procédé de lecture et de génération d'un flux vidéo contenant des images compressées et chiffrées

Publications (2)

Publication Number Publication Date
CN109845272A true CN109845272A (zh) 2019-06-04
CN109845272B CN109845272B (zh) 2021-10-15

Family

ID=57121381

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780061710.7A Expired - Fee Related CN109845272B (zh) 2016-08-05 2017-07-28 读取和生成包含压缩且加密的图像的视频流的方法

Country Status (8)

Country Link
US (1) US11202111B2 (zh)
EP (1) EP3494703B1 (zh)
CN (1) CN109845272B (zh)
DK (1) DK3494703T3 (zh)
ES (1) ES2913634T3 (zh)
FR (1) FR3054945B1 (zh)
PL (1) PL3494703T3 (zh)
WO (1) WO2018024972A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113228050A (zh) * 2019-01-09 2021-08-06 腾讯美国有限责任公司 用于改进图像块打包和编解码效率的点云组块方法和装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7212611B2 (ja) * 2017-02-27 2023-01-25 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 画像配信方法、画像表示方法、画像配信装置及び画像表示装置
US20220246085A1 (en) * 2019-06-27 2022-08-04 Sony Interactive Entertainment Inc. Image processing system, image processing integrated circuit, and image processing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067476A1 (en) * 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
US20030194142A1 (en) * 2002-04-15 2003-10-16 Kortum Philip T. Multi-resolution predictive foveation for bandwidth reduction of moving images
CN101375605A (zh) * 2006-01-31 2009-02-25 汤姆森许可贸易公司 用于实现降低分辨率更新模式的限制预测以及视频编码器和解码器中的复杂度可分级的方法和装置
US20100061553A1 (en) * 2007-04-25 2010-03-11 David Chaum Video copy prevention systems with interaction and compression

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004242287A (ja) * 2003-01-14 2004-08-26 Canon Inc 情報処理方法及び装置、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4612787B2 (ja) * 2003-03-07 2011-01-12 キヤノン株式会社 画像データの暗号化装置の制御方法及び画像データ変換装置の制御方法、及び、それらの装置、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4763312B2 (ja) * 2004-04-23 2011-08-31 住友電気工業株式会社 動画像データの符号化方法、復号化方法、これらを実行する端末装置、及び双方向対話型システム
US8081755B2 (en) * 2005-05-20 2011-12-20 Microsoft Corporation JPEG2000 syntax-compliant encryption with full scalability
GB2444533B (en) * 2006-12-06 2011-05-04 Sony Uk Ltd A method and an apparatus for generating image content
US8261092B2 (en) * 2007-12-04 2012-09-04 Ricoh Company, Ltd. Image retrieval system and method
JP5958219B2 (ja) * 2012-09-14 2016-07-27 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、動画像復号化装置、動画像復号化方法、動画像復号化プログラム、及び動画像処理装置
US8931108B2 (en) 2013-02-18 2015-01-06 Qualcomm Incorporated Hardware enforced content protection for graphics processing units
KR20230156433A (ko) * 2014-08-07 2023-11-14 디빅스, 엘엘씨 독립적으로 인코딩된 타일을 포함한 기본 비트스트림을 보호하는 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030067476A1 (en) * 2001-10-04 2003-04-10 Eastman Kodak Company Method and system for displaying an image
US20030194142A1 (en) * 2002-04-15 2003-10-16 Kortum Philip T. Multi-resolution predictive foveation for bandwidth reduction of moving images
CN101375605A (zh) * 2006-01-31 2009-02-25 汤姆森许可贸易公司 用于实现降低分辨率更新模式的限制预测以及视频编码器和解码器中的复杂度可分级的方法和装置
US20100061553A1 (en) * 2007-04-25 2010-03-11 David Chaum Video copy prevention systems with interaction and compression

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OMAR A NIAMUT ET AL: "Towards a format-agnostic approach for production,delivery and Rendering of Immersive Media", <<978-1-4503-1894-5>> *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113228050A (zh) * 2019-01-09 2021-08-06 腾讯美国有限责任公司 用于改进图像块打包和编解码效率的点云组块方法和装置

Also Published As

Publication number Publication date
US20190174160A1 (en) 2019-06-06
EP3494703B1 (fr) 2022-04-13
FR3054945A1 (fr) 2018-02-09
EP3494703A1 (fr) 2019-06-12
US11202111B2 (en) 2021-12-14
CN109845272B (zh) 2021-10-15
FR3054945B1 (fr) 2019-09-06
DK3494703T3 (da) 2022-07-11
PL3494703T3 (pl) 2022-11-14
ES2913634T3 (es) 2022-06-03
WO2018024972A1 (fr) 2018-02-08

Similar Documents

Publication Publication Date Title
JP2021103327A (ja) コンテンツを提供及び表示するための装置及び方法
US10536670B2 (en) Video copy prevention systems with interaction and compression
US20210099693A1 (en) Positional zero latency
US20180146193A1 (en) Analytic Reprocessing for Data Stream System and Method
CN109478344B (zh) 用于合成图像的方法和设备
CN110786010B (zh) 一种推导合成轨道的方法及装置
US10298552B2 (en) Digital broadcast methods using secure meshes and wavelets
JP7200935B2 (ja) 画像処理装置および方法、ファイル生成装置および方法、並びにプログラム
CN109845272A (zh) 读取和生成包含压缩且加密的图像的视频流的方法
KR102499904B1 (ko) 가상 현실 미디어 콘텐트 내에 포함시키기 위해 실세계 장면의 맞춤화된 뷰의 가상화된 투영을 생성하기 위한 방법들 및 시스템들
US8925107B2 (en) Method for controlling access to visual media in a social network
US20180096495A1 (en) Geometry sequence encoder and decoder
KR102444044B1 (ko) 이미지 처리장치 및 방법
US10331862B2 (en) Viewport decryption
CN114339282A (zh) 直播互动中主播形象图片的传输方法及装置
KR101638025B1 (ko) 정보처리장치
US20190052868A1 (en) Wide viewing angle video processing system, wide viewing angle video transmitting and reproducing method, and computer program therefor
WO2022259632A1 (ja) 情報処理装置及び情報処理方法
TW201926996A (zh) 視訊裝置及其三維物件編解碼方法
JP2015191311A (ja) 画像合成装置、画像合成方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211015

CF01 Termination of patent right due to non-payment of annual fee