CN105208407B - 用于处理视频数据流的设备和方法 - Google Patents

用于处理视频数据流的设备和方法 Download PDF

Info

Publication number
CN105208407B
CN105208407B CN201510350969.6A CN201510350969A CN105208407B CN 105208407 B CN105208407 B CN 105208407B CN 201510350969 A CN201510350969 A CN 201510350969A CN 105208407 B CN105208407 B CN 105208407B
Authority
CN
China
Prior art keywords
frame
equipment
dimensional environment
curve
freeze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510350969.6A
Other languages
English (en)
Other versions
CN105208407A (zh
Inventor
S.卡蒂比
H-J.齐佩尔尼克
M.I.伊克巴尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hammanbeck Automation System Co Ltd
Original Assignee
Hammanbeck Automation System Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hammanbeck Automation System Co Ltd filed Critical Hammanbeck Automation System Co Ltd
Publication of CN105208407A publication Critical patent/CN105208407A/zh
Application granted granted Critical
Publication of CN105208407B publication Critical patent/CN105208407B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4346—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream involving stuffing data, e.g. packets or bytes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H04N5/2627—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect for providing spin image effect, 3D stop motion effect or temporal freeze effect
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/12—Shadow map, environment map

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一种用于处理包括帧序列的视频数据流的设备包括被配置成接收所述视频数据流的接口(112)。处理设备(111)被配置成当检测到冻结状况时从所述帧序列的帧创建三维环境。所述处理设备(111)被配置成从所述三维环境产生帧系列。所述帧系列代表从多个观察点观察到的所述三维环境。所述处理设备(111)被配置成将所产生的帧系列插入所述帧序列中以产生修改的帧序列来隐藏冻结。

Description

用于处理视频数据流的设备和方法
技术领域
各种实施方案涉及流式传送视频数据的技术。各种实施方案涉及用于在冻结可能出现时处理视频数据流的设备和方法。
背景技术
数字广播系统例如数字多媒体广播(DMB)和数字视频广播(DVB)系统现今被广泛使用。这样的数字广播系统可在家、当用户正乘汽车、火车或船旅行时或当用户正散步时提供信息和娱乐。在数字广播系统中，视频流可被无线地传输并可通过射频信道从发送器传递到接收器。射频信号可被环境影响干扰，并可具有变化的质量，且可根据传输距离和传输环境支持变化的传输速率。差的接收质量可以有各种原因，包括但不限于天气状况、无线电通信网络在某些地区诸如隧道的差覆盖或与其它无线电源的干扰。
当无线电信号被干扰时，视频数据可能被破坏。各种校正技术诸如前向纠错(FEC)可用于至少部分地校正一些错误，诸如句法错误。然而，当视频数据被处理且视频通过光输出设备诸如显示屏或视频投影仪被输出时，可能有人为现象(artifact)。人为现象的实例包括空间人为现象或时间人为现象。空间人为现象的实例包括块效应、模糊或振铃。
时间人为现象包括可只在视频重放期间看到的人为现象，诸如闪烁或跳跃(jerkiness)。冻结是最严重的感知时间人为现象之一。当信号不可用或在一段时间间隔期间被丢失时，可引起冻结。当信号质量很低使得冻结在最后最好的所接收的帧上的视频是优选的而不是显示差质量的视频时，冻结也可出现。冻结是被考虑为最严重地影响视频的所感知的质量的人为现象之一。
发明内容
在本领域中存在对减轻至少一些上面描述的缺点的设备和方法的需要。在本领域中特别是存在对减轻与冻结的时间人为现象相关的问题的设备和方法的需要。
根据本发明的示例性实施方案，可隐藏冻结。可从在冻结之前接收的帧创建三维环境。可通过渲染三维环境来产生帧系列。帧系列可插入在视频数据流中接收的帧序列中以隐藏否则将出现在视频数据流中的冻结。
可从帧序列的单个帧创建三维环境。例如可从在冻结之前接收的最后一个好帧创建三维环境。
可产生帧系列，使得它们代表如从多个观察点看到的三维环境。可选择多个观察点沿着预定义曲线定位。可根据所创建的三维环境来调节预定义曲线的至少一个参数。至少一个参数可定义在三维环境中的观察点在平行于视频帧的图像平面的方向上和/或在垂直于图像平面的方向上、即进出由三维环境定义的场景的方向上的运动。
根据示例性实施方案，提供用于处理视频数据流的设备。视频数据流包括帧序列。设备包括被配置成接收视频数据流的接口。设备包括被配置成当针对视频数据流检测到冻结状况时从帧序列的帧创建三维环境的处理设备。处理设备被配置成从三维环境产生帧系列，帧系列代表从多个观察点观察到的三维环境。处理设备被配置成将所产生的帧系列插入帧序列中以产生修改的帧序列来隐藏冻结。
根据示例性实施方案，提供用于处理包括帧序列的视频数据流的方法。接收视频数据流。在帧序列中检测到冻结状况。当检测到冻结状况时，从帧序列的帧创建三维环境。从所创建的三维环境产生帧系列。帧系列代表从多个观察点观察到的三维环境。将所产生的帧系列插入帧序列中以产生隐藏冻结的修改的帧序列。
可使用根据实施方案的设备来执行该方法。
上面提到的特征和还没有被解释的特征可以不仅单独地或在如明确地指示的组合中使用，而且在其它组合中被使用。本申请的特征和实施方案可组合，除非另外明确地被提到。
附图说明
当结合附图阅读时，本申请的实施方案的各种特征将变得更明显。
图1是包括根据各种实施方案的设备的系统的表示。
图2示出由根据实施方案的设备接收的帧序列。
图3示出由根据实施方案的设备输出的修改的帧序列。
图4是根据实施方案的方法的流程图。
图5示出根据隐藏冻结的虚拟摄像机运动的帧的产生。
图6示出根据隐藏冻结的虚拟摄像机运动的帧的产生。
图7是根据实施方案的设备的方框图。
图8是用于创建可在根据实施方案的设备和方法中实现的三维环境的过程的流程图。
图9是用于产生可在根据实施方案的设备和方法中实现的帧的过程的流程图。
图10示出在冻结之前接收的帧。
图11示出可在根据实施方案的设备和方法中实现的图10的帧的处理。
具体实施方式
在下文中，将参考附图详细描述本发明的实施方案。应理解，实施方案的下列描述不应在限制的意义上被理解。在下文中描述的实施方案或附图不旨在限制本发明的范围，而仅应理解为说明性的。
附图应被视为示意性表示，且附图中所示的元件不一定按比例显示。更确切地，各种元件被表示，使得它们的功能和一般目的对本领域中的技术人员变得明显。也可通过间接连接或耦合来实现在附图中所示或本文所述的功能块、设备、部件或其它物理或功能单元之间的任何连接或耦合。也可通过无线连接来建立在部件之间的耦合，除非另外明确地规定。可以硬件、固件、软件或其组合来实现功能块。
在下文中，描述了允许冻结被隐藏的技术。在根据实施方案的设备和方法中，可监视冻结状况。当没有视频数据被接收到时或当接收到的视频数据具有小于目标质量的质量时，可检测到冻结。冻结状况可触发过程，其中产生一系列帧以隐藏冻结。
根据实施方案的设备和方法可使用数字数据处理来产生帧系列。通常，可在第一步骤中通过从视频序列的一个帧创建三维环境并在第二步骤中通过从三维环境渲染多个帧以创建帧系列来产生帧系列。可渲染多个帧，使得它们显示从多个观察点观察到的三维环境。虚拟摄像机在所创建的三维环境中的运动可因而被模拟。
可从视频数据的一个帧创建三维环境。如本文使用的，术语“三维环境(three-dimensional environment)”指代表如在视频序列的帧中显示的三维场景的数据。“三维环境”可由包括至少地平面和可包括一个或几个垂直平面的多个平面表面定义。各种技术可用于创建三维环境。例如，机器学习技术可用于处理所接收的视频数据的一个帧以识别几个平面表面。
当检测到冻结状况时自动产生的帧系列可相应于如从多个观察点看到的三维环境的视图。摄像机沿着平滑曲线的虚拟运动可以因而被模拟。可根据在三维环境中的平面表面的位置来设置观察点所位于的曲线的一个或几个参数。由计算机视觉技术产生并用于隐藏否则出现的冻结的帧系列可因而自动适合于在例如接收到冻结状况之前接收的最后一个好帧中显示的三维环境的特征。
曲线可在平行于一个帧(三维环境从该帧被创建)的图像平面的横向方向上和在垂直于这个图像平面的深度方向上延伸。帧系列可因而被产生，以便模拟虚拟摄像机的运动，其组合在图像帧的左-右方向上的运动和在垂直于图像帧的图像平面的深度方向上的运动。
多个观察点所位于的曲线可具有沿着曲线变化的曲率。曲线可具有线性的分段。曲线可具有非线性的至少一个其它分段。曲线通常可以是s形的。
可缓存所接收的视频数据流。当检测到冻结状况时，可确定冻结状况存在时的持续时间。可自动地且根据冻结状况存在时的持续时间来确定包括在所产生的帧系列中的帧的数量。
冻结状况可对应于一种状态，其中没有在设备处接收到携带视频数据流的无线电信号。冻结状况可对应于一种状态，其中在视频数据流中携带的数据被破坏到优选地不显示被破坏的图像帧并通过产生帧系列来隐藏冻结的这样的程度。
图1示出包括根据实施方案的设备110的系统100。系统100可以是数字多媒体广播(DMB)或数字视频广播(DVB)系统。系统100包括视频数据流的视频源140。视频源140可包括连接到广域网或包括在广域网中的服务器。视频源140可被配置成提供视频数据流用于传输到设备110。
根据实施方案的设备110可以是被配置成处理视频数据流的数字设备。设备110可包括接口112以接收视频数据流。接口112可以是无线接口。接口112可被配置成接收通过无线网络130传输的视频数据流。无线网络130可以是蜂窝通信网络，且接口112可被配置用于与蜂窝通信网络的通信。
设备110包括耦合到接口112以处理视频数据流的处理设备111。视频数据流包括多个帧。处理设备111被配置成检测冻结状况。处理设备111可检测到当在接口112处接收的视频数据流被中断时冻结状况出现。替代地或另外地，处理设备111可检测到当视频数据流具有处理设备111不能自动校正的句法错误和/或空间人为现象时冻结状况出现。处理设备111可被配置成自动确定冻结的持续时间和/或当冻结状况存在时需要被输出的帧的数量。设备110可包括用于缓存视频流的多个帧的缓冲器，这允许在处理设备111流式传送出被冻结影响的第一帧之前处理设备111确定冻结状况的持续时间和/或在冻结状况期间必须被流式传送出的帧的数量。
冻结状况的检测触发处理设备111产生被流式传送出以隐藏冻结的一系列帧。处理设备111可被配置成在两步骤过程中产生帧系列。在第一步骤中，处理设备111可创建三维环境。在第二步骤中，例如通过渲染从三维环境计算帧系列。
处理设备111可被配置成处理在视频数据流中接收的帧以创建三维环境。处理设备111可被配置成自动地且在不需要任何用户输入的情况下创建三维环境。所创建的三维环境可包括关于在冻结之前在视频数据流中接收的帧之一中显示的一个或几个平面表面的信息。可选择三维环境，使得可通过渲染三维环境来得到视频数据流的一个帧，例如在冻结之前接收的满足预定义质量标准的最后一个帧。应理解，三维环境可以但不需要是设备110目前所位于的真实世界环境的表示。三维环境也可以是远离设备110定位的真实世界环境或计算机产生的环境的表示。所创建的三维环境可包括关于在冻结状况之前接收的序列的至少一个帧中显示的几个平面表面的位置的信息。所创建的三维环境可包括各种平面表面中的每个的额外信息，例如颜色或纹理信息。
如下面更详细解释的，处理设备111可使用各种技术来从一个帧创建三维环境。处理设备111可被配置成从在冻结状况之前接收的一个单帧创建三维环境。这允许以简单和有效的方式隐藏冻结。处理设备111可使用统计学习技术来从一个帧确定三维环境。将参考图8、图10和图11更详细地描述根据示例性实施方案的实施方式。
处理设备111可被配置成产生在冻结期间从三维环境流式传送出的帧系列。处理设备111可被配置成使用三维环境来产生帧系列和必须作为输入被流式传送出的数量为N的帧。
处理设备111可被配置成产生帧系列，使得它们模拟在冻结状况持续的时间段中的虚拟摄像机运动。通过流式传送出帧系列，处理设备111可在经由光输出设备120输出的视频中隐藏冻结。处理设备111可使用在冻结之前接收的最后一个好帧来创建三维环境并产生帧系列，其显示如从虚拟移动摄像机看到的三维环境。流式传送出的帧系列可因此在冻结状况持续时具有比包括在视频数据流中的帧少的空间和/或时间人为现象。
可创建帧系列，使得它模拟沿着平滑曲线的虚拟摄像机运动。曲线可具有几个部分，其具有大于零的曲率。曲线的曲率可沿着曲线变化。可通过渲染三维环境产生帧系列，使得帧系列代表如从沿着曲线定位的观察点看到的三维环境。沿着具有变化的曲率的这样的曲线的虚拟摄像机运动结果证明提供良好的用户体验。处理设备111可被配置成从三维环境渲染帧系列的每个帧。
处理设备111可被配置使得通过渲染三维环境产生的帧系列的至少一个帧不同于在视频数据流中接收的帧序列的所有帧。处理设备111可被配置使得通过渲染三维环境产生的帧系列的几个帧不同于在视频数据流中接收的帧序列的所有帧。处理设备111可被配置使得通过渲染三维环境产生的帧系列的所有帧不同于在视频数据流中接收的帧序列的所有帧。因此，摄像机的虚拟运动的印象可在输出到用户的视频中产生。
设备110可包括光输出设备120或可耦合到光输出设备120。光输出设备120可以是显示屏或可具有各种其它配置中的任一种。为了说明，光输出设备120可以是投影仪、头戴式显示器或另一显示器。光输出设备120可安装在车辆中。处理设备111可被配置成通过另一接口113将视频帧流式传送到光输出设备120。为了说明，当光输出设备120是安装在车辆中的显示器时，另一接口113可被配置用于通过车载网络进行通信。处理设备111可被配置成流式传送出帧，其包括在冻结状况出现之前在视频数据流中接收的帧，接着是当冻结状况存在时由处理设备111从所创建的三维环境产生的帧，接着是在冻结状况结束之后在视频数据流中接收的其它帧。
光输出设备120可具有形成所需尺寸以分别缓存一个帧用于经由光输出设备120输出的缓冲器。光输出设备120可被配置使得缓冲器以时间顺序方式存储包括在视频数据流中的帧和由处理设备111通过渲染三维环境产生的帧。
将参考图2到图10更详细描述根据实施方案的设备110的操作。
图2示出由根据实施方案的设备110接收的帧序列200。帧序列200可在通过空中接口传输的视频数据流中被接收。帧序列200可包括多个帧211、215、231、232。在帧211、215被接收时的时间间隔219之后，冻结状况在另一时间间隔229中存在。在另一时间间隔229中，可例如通过屏蔽效应防止无线电信号的接收，如可在隧道中出现的或由于其它障碍。也可能在时间间隔229中在视频数据流中的数据具有句法错误和/或空间人为现象，使得处理设备111抑制视频数据的输出。
在常规方法中，在冻结状况存在时的时间间隔229之前接收的最后一个帧215可在整个时间间隔229中显示。视频的这个冻结被用户感知为严重的质量损坏。为了隐藏冻结，设备110操作来流式传送出计算机产生的帧系列，其模拟穿过在冻结状况存在时的时间间隔229之前接收的最后一个帧215中显示的三维环境的虚拟摄像机运动。
图3示出由根据实施方案的设备110流式传送出的修改的帧序列300。由设备110流式传送出用于经由光输出设备输出的每个帧311、315可分别对应于所接收的帧211、215之一。可在冻结状况出现之前的时间间隔319中流式传送出帧311、315。帧311、315不需要与由设备110接收的帧211、215相同。设备110可处理所接收的帧211以产生被流式传送出用于经由光输出设备输出的帧311。为了说明，设备110可校正在所接收的帧211中的句法错误和/或空间人为现象以产生被流式传送出用于输出的帧311。类似地，设备110可校正在所接收的帧215中的句法错误和/或空间人为现象以产生被流式传送出用于输出的帧315。
冻结状况可在时间t2开始。冻结状况可触发设备110以创建三维环境。冻结状况可触发设备110以产生帧系列321、322、325来隐藏冻结。帧系列321、322、325可都不同于在视频数据流中接收的帧。可通过渲染三维环境来产生帧系列321、322、325。可基于冻结状况存在时的时间间隔329的持续时间和视频的帧速率来设置从三维环境产生的多个帧。由设备110的处理设备111产生的多个帧321、322、325可设置成使得计算机产生的帧321、322、325可被流式传送出，至少直到冻结状况在时间t3终止为止。
在冻结状况终止之后，设备110可流式传送出从所接收的帧231、232产生的帧331、332。设备110可处理所接收的帧231以产生被流式传送出用于经由光输出设备输出的帧331。为了说明，设备110可校正在所接收的帧231中的句法错误和/或空间人为现象以产生被流式传送出用于输出的帧331。类似地，设备110可校正在所接收的帧235中的句法错误和/或空间人为现象以产生被流式传送出用于输出的帧335。
图4是根据实施方案的方法400的流程图。方法400可由根据实施方案的设备110自动执行。
在410，设备110可处理包括帧序列的视频数据流。设备110可自动校正所接收的帧的句法错误和/或空间人为现象。
在420，设备110确定是否满足冻结状况。当由设备110接收的视频数据流被中断时可满足冻结状况。替代地或另外地，当视频数据具有不能由设备110自动校正的句法错误时可满足冻结状况。替代地或另外地，当所接收的视频序列的帧具有空间人为现象诸如块效应或模糊且没有满足预定义质量标准时，可满足冻结状况。如果没有满足冻结状况，则该方法继续进行到步骤460并流式传送出所接收的帧序列的经处理的帧。如果满足冻结状况，则该方法继续进行到步骤430。
在430，从包括在所接收的帧序列中的帧创建三维环境。可从满足预定义质量标准的冻结状况之前的最后一个帧例如从具有使得它被流式传送出用于经由光输出设备输出的质量的最后一个帧来创建三维环境。可通过执行图像分割来创建三维环境。可通过形成超像素图像并识别出在超像素图像中的实心平面表面来创建三维环境。
在440，可从三维环境产生帧系列。可产生帧系列，使得它代表虚拟摄像机沿着预定义曲线的运动。为此目的，可通过渲染来产生帧系列，使得帧显示如从沿着预定义曲线定位的多个观察点看到的三维环境。可根据在步骤430创建的三维环境自动设置预定义曲线的一个或几个参数，如将参考图5和图6更详细解释的。
在450，由设备流式传送出修改的帧序列，其包括来自视频数据流的帧和计算机产生来隐藏冻结的帧系列。
为了隐藏冻结，根据实施方案的设备110可产生帧系列，使得它代表在三维环境中的虚拟摄像机运动。虚拟摄像机运动可包括在深度方向、即垂直于帧(从其创建三维环境)的图像平面的运动。虚拟摄像机运动可代表沿着曲线的摄像机运动，所述曲线具有变化的曲率例如S形曲线并沿着帧(从其创建三维环境)的图像平面的横向方向和深度方向延伸。
图5示出定义在三维环境中的虚拟摄像机运动的曲线500。曲线500根据横向坐标和深度坐标的函数定义观察点的位置用于渲染。横向坐标是沿着平行于帧(从其创建三维环境)的图像平面延伸的坐标轴的坐标。横向坐标可定义例如在左-右方向上的位置。深度坐标是沿着垂直于帧(从其创建三维环境)的图像平面延伸的坐标轴的坐标。
设备110可通过渲染三维环境来产生被流式传送出以隐藏冻结的帧系列来产生帧系列，使得它们显示如从位于曲线500上的多个观察点510看到的三维环境。帧系列的第一帧可通过渲染三维环境来产生以便显示从位于曲线500上的第一观察点511观察到的三维环境。帧系列的第二帧可通过渲染三维环境来产生以便显示从位于曲线500上的第二观察点512观察到的三维环境。帧系列的第三帧可通过渲染三维环境来产生以便显示从位于曲线500上的第三观察点513观察到的三维环境。
曲线500的至少一些分段可具有大于零的曲率。曲线500的分段521可以是弯曲的，意味着摄像机在由横向坐标轴和深度坐标轴定义的平面中非线性地移动。曲线500的另一分段522可以是直的，使得摄像机沿着曲线500的分段522实质上线性地移动。曲线500的又一分段523可以是弯曲的，意味着摄像机在由横向坐标轴和深度坐标轴定义的平面中非线性地移动。直分段522可位于弯曲分段521、523之间。
当渲染三维场景时，图像平面的定向可保持不变。替代地，不同的图像平面定向可用于不同的观察点511-513以模拟与沿着曲线500的运动组合的虚拟摄像机的旋转。
通过渲染三维场景以模拟虚拟摄像机穿过位于曲线500上的观察点511-513的运动，用户感知穿过在冻结状况出现之前接收的最后一个好帧上显示的三维环境的运动。冻结以这种方式被隐藏的视频的质量被感知为好于一个帧被冻结的视频的质量。
曲线500具有一个或几个参数。参数可包括平行于帧(从其创建三维环境)的图像平面而测量的曲线500的宽度530。参数可包括垂直于帧(从其创建三维环境)的图像平面而测量的曲线500的长度540。设备110可自动设置这些参数。设备110可根据在三维环境中的平面表面的位置来设置这些参数。为了说明，可根据在三维环境中的垂直平面表面之间的间距来选择性地增大或减小要采用的宽度530。可根据在三维环境中的平面垂直表面的位置来选择性地增大或减小长度540。通过调节曲线500的参数，设备110可确保虚拟摄像机运动不横穿任何实心平面表面。因此可防止不切实际的运动。
图6示出曲线600，可沿着该曲线600定位用于渲染三维环境的观察点。曲线600包括具有大于零的曲率的分段并且还可包括具有零的曲率的直分段，如参考图5解释的。
曲线600具有将曲线600的宽度630在横向方向即左-右方向上定义成小于曲线500的宽度530的参数。宽度630可被选择为小于宽度530以考虑到垂直平面在使用具有参数630、640的曲线600的三维环境中比在使用具有参数530、540的曲线500的三维环境中更紧密地间隔开。
可在三维环境中根据平面表面、特别是根据垂直平面表面的位置来执行曲线500、600(虚拟摄像机运动沿着所述曲线发生)的参数的调节。为了说明，当在冻结之前的最后一个帧显示具有两行建筑物的场景时，可根据建筑物墙壁的间距来调节在帧系列中的摄像机的横向虚拟运动530、630。这确保虚拟摄像机运动不无意越过建筑物墙壁。为了进一步说明，当在冻结之前的最后一个帧显示具有前墙壁场景，例如建筑物墙壁，垂直于观看方向并平行于图像平面而布置，可根据前墙壁的位置来调节在帧系列中的摄像机的虚拟运动以便确保摄像机不越过前墙壁。设备110可被配置成设置曲线500、600的参数，以便确保曲线500、600不横穿三维环境的实心平面表面。
图7是根据实施方案的设备700的功能方框图。设备700可用作在图1的系统100中的设备110。设备700的各种功能模块可以软件、固件、硬件或其组合来实现。
设备700可包括缓冲器711。缓冲器711可耦合到接收视频数据流的接口。所接收的视频数据流可缓存在缓冲器711中用于进一步处理。
设备700可包括用于执行从缓冲器711检索的视频的帧722的初始处理的处理模块712。处理模块712可被配置成执行句法错误校正以校正在所接收的视频数据中的句法错误。处理模块712可被配置成至少部分地校正在帧722中的空间人为现象。
设备700可包括被配置成检测是否满足冻结状况的冻结检测模块713。冻结检测模块713可被配置成检测到当没有帧722可从缓冲器711检索时满足冻结状况。替代地或另外地，冻结检测模块713可被配置成检测到当处理模块712指示空间人为现象不能以令人满意的方式被校正和/或经处理的帧没有满足质量标准时满足冻结状况。
设备700可包括冻结隐藏控制模块714。冻结隐藏控制模块714可基于是否检测到冻结状况来确定是输出对应于可能有错误校正的所接收的帧的经处理帧724还是计算机产生的帧系列。隐藏控制模块714可控制多工器718，其例如确定是输出经处理帧724还是计算机产生的帧系列。
设备700可包括产生帧系列以隐藏在视频数据流中的冻结的冻结隐藏模块715。可只在检测到冻结状况出现时才选择性地激活冻结隐藏模块715。冻结隐藏模块715被配置成产生代表在由冻结之前接收的视频流的一个或几个帧所显示的三维环境中的虚拟摄像机运动的帧系列。
冻结隐藏模块715可包括3D环境创建模块716。3D环境创建模块716可被配置成从在冻结之前接收的视频流的一个或几个帧创建三维环境。3D环境创建模块716可被配置成识别在冻结之前接收的一个帧723中的实心平面表面。3D环境创建模块716可被配置成识别至少地平面，且如果存在，在冻结之前接收的一个帧723中的实心垂直平面表面。
渲染模块717可从所创建的三维环境产生帧系列。渲染模块717可操作来产生帧系列以从沿着曲线500、600定位的多个观察点显示三维环境。渲染模块717可被配置成设置曲线的一个或几个参数。渲染模块717可被配置成设置曲线的一个或几个参数，以便确保虚拟摄像机运动不越过实心垂直平面表面或地平面表面。渲染模块717可接收关于将被包括在系列中以隐藏冻结的帧的数量N的信息。沿着曲线500、600的虚拟摄像机的运动速度可根据例如帧的数量N的函数由渲染模块717设置。
设备110、700可使用各种技术来创建三维环境和/或从所创建的三维环境产生帧系列。为了说明，设备110、700可执行在冻结之前接收的视频流的一个帧的图像分割以识别在帧中的对象。替代地或另外地，统计学习技术可由设备110、700使用来识别在视频流的帧中显示的场景的三维几何结构。
在一些实施方式中，设备110、700可从视频流的帧产生超像素图像以识别平面表面并从而确定三维几何结构。超像素是局部和连贯的，并维持分割所必需的大部分结构。标准化切割算法可用来产生超像素图像。在标准化切割算法中，定义加权图形，其中帧的每个点被考虑为节点且边缘在每对节点之间形成。为了说明，如在J.Shi和J.Malik的“Normalized Cuts and Image Segmentation”(IEEE Transactions on patternanalysis and machine learning，第22卷，第8期，2000年8月)中描述的标准化切割算法可用于创建超像素图像。为了进一步说明，可使用如在J.R.Siddiqui、M.Havaei、S.Khatibi和C.A.Lindley的“A Novel Plane Extraction Approach Using Supervised Learning”(Machine Vision and Applications，2013年8月，第24卷，第6期，1229-1237页)中描述的标准化切割算法。
替代地或另外地，分割的学习算法可由设备110、700使用。基于颜色、纹理和/或其它特征，设备110、700可例如为在对象的三维定向及其颜色或纹理之间的关系建模。分类或加标签的图像可从超像素图像产生。分类图像可包括关于代表地平面、实心垂直平面表面和/或实心水平垂直表面的帧的图像区的信息。
可通过根据分类或加标签的图像将在冻结之前接收的帧的像素信息分组来创建三维场景。在冻结之前接收的帧的区可根据通过处理帧而估计的表面的定向例如使用如上解释的超像素和标准化切割技术被映射到平面表面上。
图8是可由设备110、700执行来创建三维环境的过程800的流程图。过程800使用在冻结之前接收的一个帧fk-1作为输入。
在810，执行超像素处理以从帧fk-1产生超像素图像S。超像素处理可包括例如标准化切割算法的执行。
在820，计算三维环境的几何形状G。计算几何形状可包括识别平面表面的定向。在本领域中已知的各种技术可用于识别平面表面的定向，例如监督学习、机器学习或其它自动学习技术。颜色、纹理和/或均匀性可用于识别具有相同的定向并因此属于同一平面表面的区，并确定区的定向。
在830，与帧fk-1的像素值组合的几何形状G用于创建三维环境。可根据由几何形状G定义的平面表面的区来将帧fk-1的像素值分组。为了说明，帧fk-1的像素值可定义由几何形状G定义的至少一些平面表面的纹理。
三维环境V可用于产生显示摄像机穿过三维环境的虚拟运动的多个帧。
图9是可由设备110、700执行来产生可插入到帧的输出流中以隐藏冻结的帧系列的过程900的流程图。过程900使用三维环境V作为输入。任选地，必须产生的帧的数量N可被提前确定并且也可用作过程900的输入。
在910，可估计三维环境的参数。这可包括估计在垂直平面表面之间的间距。替代地或另外地，可估计在帧fk-1中前垂直表面离图像平面的距离。
在920，可设置在三维环境中的摄像机的运动路径。这可包括设置定义摄像机的运动路径所沿着的预定义曲线的一个或几个参数。可根据三维环境的参数来设置运动路径。可设置运动路径，以便确保运动路径不越过三维环境的任何实心平面垂直表面或地表面。
在930，N个帧可被渲染以产生帧系列。该系列的观察点可沿着在步骤920设置的运动路径而定位，如参考图5和图6更详细解释的。
将参考图10和图11更详细解释三维环境的产生和由所接收的视频流的帧显示的场景的几何形状的确定。
图10示出示例性帧1000。帧1000可以是在冻结之前由设备110、700接收的最后一个好帧。
图11示出通过自动处理帧1000以创建三维环境而得到的分类图像1100。不同的区或类别由图11中的不同图案指示。
处理设备110、700可检测代表帧1000中的地平面表面的区1110。
处理设备110、700可任选地检测代表前垂直平面表面的一个或几个区1121、1122。前垂直平面表面1121、1122可被定向成平行于例如图像1000的图像平面，或可被定向成相对于图像1000的观看方向成一角度。
处理设备110、700可任选地检测代表实心垂直平面表面的一个或几个区1131-1133。实现垂直平面表面1131-1133可被定向使得它们例如不平行于图像1000的图像平面。
处理设备110、700可任选地检测在水平线之上的区1141。
处理设备110、700可任选地检测不落在前述类别之一内的其它区1142，诸如非平面表面。
可通过帧1000的图像分割来得到分类图像1100。为了说明，与在超像素图像中的不同区的自动加标签结合的超像素处理可用于确定在帧1000中的各种区1110、1121、1122、1131-1133、1141和1142。在本领域中已知的其它技术可用于处理一个帧以得到关于由帧显示的场景的三维几何形状的信息。可根据区1110、1121、1122、1131-1133、1141、1142将帧1000的像素值分组以得到例如各种区的纹理和颜色信息。
虽然参考附图描述了本发明的实施方案，但是可在其它实施方案中实现修改和变更。为了说明，其它技术可用于创建代表视频流的一个或几个帧的三维环境和/或从三维环境产生帧系列。
虽然可在数字多媒体广播(DMB)和数字视频广播(DVB)系统中使用本发明的实施方案，但是设备和方法也可用于各种其它情形。特别是，根据实施方案的设备和方法的操作不限于特定的多媒体或视频广播标准。
根据实施方案的设备、网络和方法可用于处理视频流用于经由光输出设备输出，并可特别适合于与移动设备结合来使用，而不限于此。
虽然关于某些优选实施方案描述了本发明，但是本领域中的技术人员可想到各种修改。本发明只由所附权利要求的范围限制。

Claims (15)

1.一种用于处理包括帧序列(200)的视频数据流的设备，其包括：
接口(112)，其被配置成接收所述视频数据流；以及
处理设备(111)，其被配置成：
当检测到冻结状况时从所述帧序列(200)的帧(215)创建三维环境；
从所述三维环境产生帧系列(321-325)，所述帧系列(321-325)代表从多个观察点(511-513)观察到的所述三维环境；以及
将所产生的帧系列(321-325)插入所述帧序列(200)中以产生修改的帧序列(300)来隐藏冻结；
其中所述处理设备被配置成设置所述多个观察点(511-513)，使得所述多个观察点(511-513)位于预定义曲线(500；600)上；
其中所述预定义曲线(500；600)具有至少一个参数(530,540；630,640)，且所述处理设备(111)被配置成根据所述三维环境的函数设置所述预定义曲线(500；600)的所述至少一个参数(530,540；630,640)；
其中所述处理设备(111)被配置成基于在所述三维环境中的平面表面(1110,1121,1122,1131-1133,1141,1142)的位置来设置所述预定义曲线的所述至少一个参数(530,540；630,640)。
2.根据权利要求1所述的设备，
其中所述处理设备(111)被配置成从所述帧序列(200)的仅一个帧(215)创建所述三维环境。
3.根据权利要求2所述的设备，
其中所述处理设备(111)被配置成从下列项确定所述三维环境：
在所述冻结之前接收的所述帧序列中的最后一个帧(215)；或
在所述冻结期间的所述帧序列中的第一个帧。
4.根据权利要求1所述的设备，
其中所述处理设备(111)被配置成设置所述预定义曲线(500；600)的所述至少一个参数(530,540；630,640)，使得所述曲线(500；600)具有沿着所述曲线(500；600)变化的曲率。
5.根据权利要求1到4中的任一项所述的设备，
其中所述处理设备被配置成根据所述冻结状况的持续时间的函数来设置所述多个观察点(511-513)。
6.根据权利要求5所述的设备，
其中所述处理设备(111)被配置成根据所述冻结状况的所述持续时间的函数来设置在沿着所述曲线(500；600)的至少两个相邻的观察点(511-513)之间的距离。
7.根据权利要求1到4中的任一项所述的设备，其包括：
光输出设备(112)，
其中所述处理设备(111)耦合到所述光输出设备以输出所述修改的帧序列(300)来隐藏所述冻结。
8.根据权利要求1到4中的任一项所述的设备，其包括：
用于将所述设备耦合到车载网络的另一接口(113)，
其中所述处理设备耦合到所述另一接口以输出所述修改的帧序列(300)来隐藏所述冻结。
9.根据权利要求1到4中的任一项所述的设备，
其中所述接口(111)是无线接口。
10.根据权利要求1到4中的任一项所述的设备，
其中所述三维环境由包括地平面的多个平面表面定义。
11.一种处理包括帧序列(200)的视频数据流的方法，所述方法包括：
接收所述视频数据流；
检测冻结状况；
当检测到所述冻结状况时，
从所述帧序列(200)的帧(215)创建三维环境；
从所述三维环境产生帧系列(321-325)，所述帧系列(321-325)代表从多个观察点(511-513)观察到的所述三维环境；
将所产生的帧系列(321-325)插入所述帧序列(200)中以产生隐藏冻结的修改的帧序列(300)；
其中，设置所述多个观察点(511-513)，使得所述多个观察点(511-513)位于具有至少一个参数(530,540；630,640)的预定义曲线(500；600)上，且所述预定义曲线(500；600)的所述至少一个参数(530,540；630,640)是根据所述三维环境的函数来设置的；其中，基于在所述三维环境中的平面表面(1110,1121,1122,1131-1133,1141,1142)的位置来设置所述预定义曲线(500；600)的所述至少一个参数(530,540；630,640)。
12.根据权利要求11所述的方法，
其中从下列项创建所述三维环境：
在所述冻结之前接收的所述帧序列中的最后一个帧(215)；
或
在所述冻结期间的所述帧序列中的第一个帧。
13.根据权利要求11所述的方法，其还包括：
设置所述预定义曲线(500；600)的所述至少一个参数(530,540；630,640)，使得所述曲线(500；600)具有沿着所述曲线(500；600)变化的曲率。
14.根据权利要求11到13中的任一项所述的方法，
其中根据所述冻结状况的持续时间的函数来设置所述多个观察点(511-513)。
15.根据权利要求11所述的方法，
其由权利要求1到4中的任一项的所述设备执行。
CN201510350969.6A 2014-06-23 2015-06-23 用于处理视频数据流的设备和方法 Active CN105208407B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP14173499.6 2014-06-23
EP14173499.6A EP2960864B1 (en) 2014-06-23 2014-06-23 Device and method for processing a stream of video data

Publications (2)

Publication Number Publication Date
CN105208407A CN105208407A (zh) 2015-12-30
CN105208407B true CN105208407B (zh) 2019-11-05

Family

ID=50980953

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510350969.6A Active CN105208407B (zh) 2014-06-23 2015-06-23 用于处理视频数据流的设备和方法

Country Status (3)

Country Link
US (1) US9948959B2 (zh)
EP (1) EP2960864B1 (zh)
CN (1) CN105208407B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106446820B (zh) * 2016-09-19 2019-05-14 清华大学 动态视频编辑中的背景特征点识别方法及装置
JP7170441B2 (ja) * 2018-07-12 2022-11-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
US11418806B2 (en) 2019-11-27 2022-08-16 Sony Interactive Entertainment Inc. Systems and methods for decoding and displaying image frames
US20220217287A1 (en) * 2021-01-04 2022-07-07 Healthy.Io Ltd Overlay of wounds based on image analysis

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307567B1 (en) * 1996-12-29 2001-10-23 Richfx, Ltd. Model-based view extrapolation for interactive virtual reality systems
CN101361369A (zh) * 2006-01-06 2009-02-04 国际商业机器公司 用于视觉信号外插或内插的系统和方法
CN101918957A (zh) * 2007-12-05 2010-12-15 生命力有限公司 用于保护通过通信信道传输的特定类型的多媒体数据的系统和方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6887157B2 (en) * 2001-08-09 2005-05-03 Igt Virtual cameras and 3-D gaming environments in a gaming machine
US20050201471A1 (en) * 2004-02-13 2005-09-15 Nokia Corporation Picture decoding method
US8605779B2 (en) * 2007-06-20 2013-12-10 Microsoft Corporation Mechanisms to conceal real time video artifacts caused by frame loss
CN101360246B (zh) * 2008-09-09 2010-06-02 西南交通大学 结合3d人脸模型的视频差错掩盖方法
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
US8516534B2 (en) * 2009-04-24 2013-08-20 At&T Intellectual Property I, Lp Method and apparatus for model-based recovery of packet loss errors
US8477950B2 (en) * 2009-08-24 2013-07-02 Novara Technology, LLC Home theater component for a virtualized home theater system
CN102549507B (zh) * 2009-10-02 2014-08-20 皇家飞利浦电子股份有限公司 选择视点用于在3d视频中生成附加视图
EP2908532B1 (en) * 2010-12-30 2018-10-03 Skype Concealment of data loss for video decoding
EP2533212A1 (en) * 2011-06-10 2012-12-12 Samsung Electronics Co., Ltd. Reference layer for hole recovery within an output image.
WO2013049388A1 (en) * 2011-09-29 2013-04-04 Dolby Laboratories Licensing Corporation Representation and coding of multi-view images using tapestry encoding
EP2783512A4 (en) * 2011-11-24 2016-06-15 Thomson Licensing MEASURING VIDEO QUALITY
KR20130073459A (ko) * 2011-12-23 2013-07-03 삼성전자주식회사 멀티-뷰 생성 방법 및 장치
US8818133B2 (en) * 2012-07-11 2014-08-26 Raytheon Company Point cloud construction with unposed camera
US8957892B2 (en) * 2012-08-20 2015-02-17 Disney Enterprises, Inc. Stereo composition based on multiple camera rigs
KR101944911B1 (ko) * 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US20150298548A1 (en) * 2012-11-21 2015-10-22 Clarion Co., Ltd. Information processing device and browser control method
US9196022B2 (en) * 2014-03-10 2015-11-24 Omnivision Technologies, Inc. Image transformation and multi-view output systems and methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6307567B1 (en) * 1996-12-29 2001-10-23 Richfx, Ltd. Model-based view extrapolation for interactive virtual reality systems
CN101361369A (zh) * 2006-01-06 2009-02-04 国际商业机器公司 用于视觉信号外插或内插的系统和方法
CN101918957A (zh) * 2007-12-05 2010-12-15 生命力有限公司 用于保护通过通信信道传输的特定类型的多媒体数据的系统和方法

Also Published As

Publication number Publication date
EP2960864A1 (en) 2015-12-30
US9948959B2 (en) 2018-04-17
CN105208407A (zh) 2015-12-30
US20150373378A1 (en) 2015-12-24
EP2960864B1 (en) 2018-12-05

Similar Documents

Publication Publication Date Title
CN105208407B (zh) 用于处理视频数据流的设备和方法
US11632532B2 (en) Three-dimensional model distribution method and three-dimensional model distribution device
US20200250798A1 (en) Three-dimensional model encoding device, three-dimensional model decoding device, three-dimensional model encoding method, and three-dimensional model decoding method
EP2353298B1 (en) Method and system for producing multi-view 3d visual contents
KR20170127505A (ko) 환경 측정들을 하고 및/또는 ３ｄ 이미지 렌더링에서 이러한 측정들을 사용하기 위한 방법들 및 장치
US8913664B2 (en) Three-dimensional motion mapping for cloud gaming
US11379034B1 (en) Video timewarp for mixed reality and cloud rendering applications
KR20170023110A (ko) 다중뷰 스테레오 및 캘리브레이션된 프로젝터를 이용한 깊이 추정
EP3251090A1 (en) Occlusion handling for computer vision
US9355436B2 (en) Method, system and computer program product for enhancing a depth map
CN101247530A (zh) 增强图像的立体效果的三维图像显示设备和方法
EP2476259A1 (en) Virtual insertions in 3d video
US20180365855A1 (en) Method and devices to optimize marker management for pose estimation
RU2731254C2 (ru) Способы обнаружения и управления опорным маркером, отображаемым на устройстве отображения
RU2020103459A (ru) Устройство и способ для формирования изображения
CN107484124B (zh) 一种基于csi的虚拟现实跟踪方法及系统
KR20200057484A (ko) 입체 스트라이크 존 표시 방법 및 장치
WO2020129659A1 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN106204710A (zh) 基于图像二维信息熵的纹理块映射到三维网格模型的方法
CN105741277A (zh) 基于ViBe算法与SLIC超像素的背景差分法
JP2012105019A (ja) 画像処理装置、方法およびそのプログラム
US20210304483A1 (en) Implementation of an atlas-space shadow mask
US11856223B2 (en) Apparatus and method of generating an image signal
CN113992996A (zh) 传输数据的方法和装置
US20220174259A1 (en) Image signal representing a scene

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant