CN107979766A - 内容串流系统及方法 - Google Patents

内容串流系统及方法 Download PDF

Info

Publication number
CN107979766A
CN107979766A CN201611084663.1A CN201611084663A CN107979766A CN 107979766 A CN107979766 A CN 107979766A CN 201611084663 A CN201611084663 A CN 201611084663A CN 107979766 A CN107979766 A CN 107979766A
Authority
CN
China
Prior art keywords
data
frame
drag
drop
dynamic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611084663.1A
Other languages
English (en)
Other versions
CN107979766B (zh
Inventor
李相烨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuller Kors Plane Te Ltd
Original Assignee
Fuller Kors Plane Te Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuller Kors Plane Te Ltd filed Critical Fuller Kors Plane Te Ltd
Publication of CN107979766A publication Critical patent/CN107979766A/zh
Application granted granted Critical
Publication of CN107979766B publication Critical patent/CN107979766B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/23805—Controlling the feeding rate to the network, e.g. by controlling the video pump
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/752—Media network packet handling adapting media to network capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/762—Media network packet handling at the source 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2383—Channel coding or modulation of digital bit-stream, e.g. QPSK modulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H04N21/4355—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream involving reformatting operations of additional data, e.g. HTML pages on a television screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Abstract

根据本发明的一实施例，提供一种内容串流系统和方法，包括：编码部，生成不同帧网格数据及动态数据，并将所述网格数据变换为几何图像，对标记有所述动态数据的几何图像(Geometry Image)进行编码来生成第一串流数据；传送量控制部，基于网络带宽，选择拖放(drop)所述几何图像的拖放帧，在所述第一串流数据中将所述拖放帧的几何图像拖放来生成第二串流数据；解码部，对所述第二串流数据进行解码，并将解码的第二串流数据的几何图像变换为网格数据，通过插补(interpolation)生成所述拖放帧的网格数据。

Description

内容串流系统及方法
技术领域
本发明涉及内容串流系统及方法，更详细地涉及考虑通信网的带宽来控制传送量，在控制传送量的过程中，可通过利用动态数据的插补来恢复在控制传送量的过程中拖放的数据的4D内容串流系统及方法。
背景技术
最近随着增强现实及虚拟现实市场备受瞩目，相关技术正在研究中。但是，用于体现增强现实及虚拟现实的硬盘技术在急速发展，不过，相关的内容未能丰富地供给，这被判断为市场激活的最大限制。尤其是，以实际人物为主的内容因制作方法的难度，制作十分受限制。并且，制作的内容也是因数据大小比以往的视频数据更大而在实际应用上有很大难度。
发明内容
本发明的目的在于，提供通过考虑通信网的带宽来控制传送量，并可通过利用动态数据的插补来恢复在控制传送量的过程中拖放的数据的4D内容串流方法。
并且，本发明的另一目的在于，应用以往的基于视频的基础设施(infrastructure)，可串流能够表现实际人物的3维动态的4D内容。
并且，本发明的另一目的在于，在串流4D数据时，利用基于动态数据的插补，从而提高串流的数据的准确度。
根据本发明的一实施例，提供一种内容串流系统，其包括：编码部，生成不同帧的网格数据及动态数据，并将所述网格数据变换为几何图像，对标记有所述动态数据的几何图像(Geometry Image)进行编码来生成第一串流数据；传送量控制部，基于网络带宽，选择拖放(drop)所述几何图像的拖放帧，在所述第一串流数据中将所述拖放帧的几何图像拖放来生成第二串流数据；解码部，对所述第二串流数据进行解码，并将解码的第二串流数据的几何图像变换为网格数据，插补(interpolation)所述拖放帧的网格数据来生成。
在本发明中，标记在所述拖放的几何图像的动态数据有可能不从所述拖放帧中拖放。
在本发明中，所述解码部基于与所述拖放帧相邻的帧的网格数据及所述拖放帧的动态数据，可插补所述拖放帧的网格数据来生成。
在本发明中，所述拖放帧在除了与所述动态数据中动态大的动态数据对应的关键帧之外可被选择。
在本发明中，所述拖放帧可以是和所述关键帧相邻的帧。
在本发明中，所述编码部可包括：网格数据获取部，获取不同帧的所述网格数据；动态数据获取部，获取与不同帧的所述网格数据对应的所述动态数据；关键帧设定部，将与所述动态数据中动态大的动态数据对应的帧设定为关键帧；几何图像变换部，将所述网格数据变换为所述几何图像；动态数据标记部，在所述几何图像标记(tagging)所述动态数据；编码器，对标记有所述动态数据的几何图像进行编码来生成所述第一串流数据。
在本发明中，所述解码部可包括：解码器，对所述第二串流数据进行解码；几何图像提取部，从解码的数据中提取几何图像；网格数据变换部，将提取的几何图像变换为网格数据；网格数据插补部，基于所述拖放帧的动态数据及与所述拖放帧相邻的帧的网格数据，插补与所述拖放帧对应的网格数据来生成。
在本发明中，所述网格数据插补部利用与所述相邻的帧的网格数据对应的动态数据，通过融合变形(Blend Shape)方法，可插补所述拖放帧的网格数据来生成。
根据本发明的另一实施例，提供一种内容串流方法，其包括：编码步骤，生成不同帧的网格数据及动态数据，并将所述网格数据变换为几何图像，对标记有所述动态数据的几何图像(Geometry Image)进行编码来生成第一串流数据；传送量控制步骤，基于网络带宽，选择拖放(drop)所述几何图像的拖放帧，在所述第一串流数据中将所述拖放帧的几何图像拖放来生成第二串流数据；解码步骤，对所述第二串流数据进行解码，并将解码的第二串流数据的几何图像变换为网格数据，插补(interpolation)所述拖放帧的网格数据来生成。
在本发明中，标记在所述拖放的几何图像的动态数据有可能不从所述拖放帧中拖放。
在本发明中，所述解码步骤基于与所述拖放帧相邻的帧的网格数据及所述拖放帧的动态数据，可插补所述拖放帧的网格数据来生成。
在本发明中，所述拖放帧在除了与所述动态数据中动态大的动态数据对应的关键帧之外可被选择。
在本发明中，所述拖放帧可以是和所述关键帧相邻的帧。
在本发明中，所述编码步骤可包括：网格数据获取步骤，获取不同帧的所述网格数据；动态数据获取步骤，获取与不同帧的所述网格数据对应的所述动态数据；关键帧设定步骤，将与所述动态数据中动态大的动态数据对应的帧设定为关键帧；几何图像变换步骤，将所述网格数据变换为所述几何图像；动态数据标记步骤，在所述几何图像标记(tagging)所述动态数据。
在本发明中，所述解码步骤包括：几何图像提取步骤，从解码的数据中提取几何图像；网格数据变换步骤，将提取的几何图像变换为网格数据；网格数据插补步骤，基于所述拖放帧的动态数据及与所述拖放帧相邻的帧的网格数据，插补与所述拖放帧对应的网格数据来生成。
在本发明中，所述网格数据插补步骤利用与所述相邻的帧的网格数据对应的动态数据，通过融合变形(Blend Shape)方法，可插补所述拖放帧的网格数据来生成。
根据本发明，应用以往的基于视频的基础设施(infrastructure)，可串流能够表现实际人物的3维动态的4D内容。
并且，根据本发明，在串流4D数据时，利用基于动态数据的插补，从而可提高串流的数据的准确度。
附图说明
图1为表示本发明一实施例的内容串流系统的结构的图。
图2为将本发明的一实施例的内容串流系统表示为框图的图。
图3为用于说明本发明的一实施例的内容串流系统关于第一串流数据的串流过程的图。
图4为用于说明本发明的一实施例的内容串流系统关于第二串流数据的串流过程的图。图5为时序地表示本发明的一实施例的内容串流方法的图。
图6为时序地表示本发明的一实施例的内容串流方法的一步骤的图。
图7为时序地表示本发明的一实施例的内容串流方法的一步骤的图。
附图标记说明
100：内容串流系统；110：编码部；120：传送量控制部；130：解码部；20：摄像机；30：输出终端；40：通信网。
具体实施方式
后述的对本发明的详细说明，参照例示本发明可实施的特定实施例的附图。详细说明这种实施例，使得本发明所属技术人员能够充分地实施本发明。本发明的多种实施例不同，但应当理解相互无需排他。例如，记载于本说明书的特定形状、结构及特性不超过本发明的精神和范围的同时可由一实施例变更为其他实施例来实现。并且，应当理解各个实施例内的个别结构要素的位置或配置也不超过本发明的精神和范围的同时可变更。因此，后述的详细说明并不是限定的意思，本发明的范围包括权利要求书的权项要保护的范围及其等同的所有范围。附图中类似的附图标记在多种角度上表示相同或类似的结构要素。
以下，为了令本发明所属技术领域的普通技术人员容易实施本发明，参照附图详细说明本发明的多个实施例。
图1为表示本发明一实施例的内容串流系统的结构的图。
参照图1，本发明一实施例的内容串流系统100包括一个以上的4D摄像机20、输出终端30、通信网40、编码部110、传送量控制部120及解码部130。
首先，摄像机20可以是由用于拍摄4D(4-dimension)内容的多个摄像机构成的摄像机组。在意味着立体影像的3D影像加上时轴的4D内容可被称作3D视频。本发明的一实施例的摄像机20可由多台的多视点摄像机构成，生成在多台的多视点摄像机同步化的时间内拍摄被拍摄体的视频，从而可生成4D内容。尤其是，摄像机20可拍摄用于生成以实际人物为主的内容的视频。
接着，输出终端30为可输出4D内容的终端。输出终端30可输出通过解码部130解码的4D内容。若输出终端30为个人电脑及便携式终端等可输出4D内容的终端，则可不受限制地在本发明中使用。在图1的实施例中图示了解码部130存在于输出终端30的外部，但这只不过是用于概念性说明的示例，解码部130可存在于输出终端30内。
另一方面，通信网40为了在多个输出终端30输出4D内容，执行连接编码部和解码部的作用。即，通信网40意味着输出终端30连接到本发明的一实施例的内容串流系统100之后使其可收发分组数据地提供连接途径的通信网。即，本发明的一实施例的通信网40能够不分有线通信或无线通信之类的通信形态而构成，可由局域网(LAN，Local AreaNetwork)、城域网(MAN，Metropolitan Area Network)、广域网(WAN，Wide Area Network)等多种通信网构成。优选地，本说明书中提及的通信网40可以是公知的因特网或环球网(WWW，World Wide Web)。但是，通信网40无需局限于此，至少还可部分包括公知的有线无线数据通信网、公知的电话网或公知的有线无线电视通信网。
本发明的一实施例的通信网40的带宽可限定为规定数值以上。就4D内容而言，由于数据的量比以往视频数据更庞大，因此当制作的4D内容照旧地通过通信网40传送给解码部130时，通信网40会产生过负荷。因而，本发明的一实施例的内容串流系统，当串流4D内容时，考虑通信网的带宽来控制传送量，通过利用动态数据的插补来恢复在控制传送量的过程中被拖放的数据，从而不仅能够防止通信网的过负荷，还能使4D内容接近于正本地进行串流。因此，本发明的一实施例的内容串流方法，照旧地应用以往的基于视频的基础设施(infrastructure)，可串流4D内容，利用基于骨架模型的插补而不是单纯的线性插补，从而可提高串流的准确度。
为此，本发明的一实施例的内容提供系统包括编码部110、传送量控制部120及解码部130。编码部110生成不同帧的网格数据及动态数据，并将网格数据变换为几何图像，对标记有动态数据的几何图像进行编码来生成第一串流数据。并且，传送量控制部130基于网络带宽，选择拖放(drop)几何图像的拖放帧，在第一串流数据中将拖放帧的几何图像拖放来生成第二串流数据。并且，解码部130对第二串流数据进行解码，将解码的第二串流数据的几何图像变换为网格数据，插补(interpolation)拖放帧的网格数据来生成。下面，详细察看编码部110、传送量控制部120及解码部130的各结构。
图2为将本发明的一实施例的内容串流系统表示为框图的图。
参照图2，本发明的一实施例的编码部110包括网格数据获取部111、动态数据获取部112、关键帧设定部113、几何图像变换部114、动态数据标记部115、编码器116。
并且，解码部130包括解码器131、几何图像提取部132、网格数据变换部133、网格数据插补部134。
首先，编码部110的网格数据获取部111获取不同帧网格数据。不同帧网格数据可以是基于多个摄像机生成的不同帧影像来生成的立体网格数据。
接着，动态数据获取部112获取与不同帧网格数据对应的动态数据。如同网格数据一样，动态数据作为基于多个摄像机生成的不同帧影像而生成的动态数据，是一种表示立体影像中的动态的数据。作为一例，动态数据可以是当前帧中表示相邻的以前帧的数据变化值。
接着，关键帧设定部113将与所述动态数据中动态大的动态数据对应的帧设定为关键帧。此时，用于设定关键帧的动态大的动态数据可以取决于相对的价值而不是绝对的价值。即，将比起其他帧具有动态大的动态数据的帧设定为关键帧，从而在借助后述的传送量控制部120控制传送量时，帧不拖放动态大的动态数据，由此可最大限度地保持正本4D数据。
接着，几何图像变换部114将网格数据变换为几何图像(Geometry Image)。几何图像变换部114利用以往公知的技术，可将网格数据变换为几何图像。根据本发明的一实施例，将网格数据变换为几何图像来传送，由此可更加容易传送4D数据。
接着，动态数据标记部115可在几何图像标记(tagging)所述动态数据。动态数据标记部按照不同帧几何图像，可将动态数据标记在几何图像。因此，本发明生成串流数据时，可一同传送基于网格数据的几何图像和与各帧对应的动态数据。
接着，编码器对标记有动态数据的几何图像进行编码来生成第一串流数据。
接着，传送量控制部120基于网络带宽，选择拖放(drop)所述几何图像的拖放帧，在所述第一串流数据中拖放所述拖放帧的几何图像来生成第二串流数据。此时，所谓拖放几何图像是指在第一串流数据中删除相关几何图像的意思。当考虑网络带宽时，变换网格数据的几何图像，由于其容量大，因此在均传送所有帧的几何图像时，会引发网络的过负荷。因此，本发明的一实施例的传送量控制部120生成在第一串流数据中拖放一部分帧的几何图像的第二串流数据，从而可减少传送量。此时，传送量控制部120维持拖放帧的动态数据。由于动态数据的容量比较少，因此即使针对所有帧维持动态数据，引起网络过负荷的可能性也会少。因此，传送量控制部120与拖放帧无关地维持所有帧的动态数据。
并且，传送量控制部120考虑通信网40的带宽，可选择拖放帧。当通信网40的带宽大时，不选择拖放帧或者可以少选择拖放帧。当通信网40的带宽小时，可以多选择拖放帧。
并且，传送量控制部120作为拖放帧，除了关键帧之外，可进行选择。如上所述，由于关键帧为比其他帧具有动态大的动态数据的帧，因此，就关键帧而言，保存正本几何图像数据有助于正确串流4D内容。因此，传送量控制部120有可能不会将关键帧选择为拖放帧。反而，传送量控制部120作为拖放帧可选择与关键帧相邻的帧。
接着，接收第二串流数据的解码部130的解码器131对第二串流数据进行解码。
并且，几何图像提取部132从解码的数据中提取几何图像。此时，提取的几何图像为除了拖放帧之外的剩余帧的几何图像。但是，由于动态数据从拖放帧中也未被拖放，因此动态数据可针对所有帧而被提取。
并且，网格数据变换部133将提取的几何图像变换为网格数据。如上所述，由于几何图像从拖放帧中未被提取，因此，所变换的网格数据也不针对拖放帧而生成。
并且，网格数据插补部134对拖放帧中未生成的网格数据进行插补来生成。更详细地，网格数据插补部134基于拖放帧的动态数据及与拖放帧相邻的帧的网格数据，插补与拖放帧对应的网格数据来生成。虽然拖放帧未生成网格数据，但依然维持动态数据，因此可利用动态数据和相邻的帧的网格数据，可通过插补网格数据来生成。并且，网格数据插补部134可通过融合变形(Blend Shape)方法，插补所述拖放帧的网格数据来生成。
如上所述，根据本发明的一实施例，由于通过利用动态数据的插补来生成网格数据而不是通过网格数据插补方法单纯地利用线性插补来生成被拖放的网格数据，因此可接近于正本地串流4D内容。
并且，4D内容提供部13提供利用从几何图像中获取的网格数据及通过插补生成的网格数据来完成的4D内容，使其能够在输出终端30中输出。
图3和图4为用于说明本发明的一实施例的内容串流系统的串流过程的图。
首先，参照图3，作为4D内容(4D Contents)，可生成分别与帧1、帧2、帧3、...、帧N对应的网格数据Mesh1、Mesh2、Mesh3、...MeshN。并且，作为动态数据(Motion Data)可生成分别与帧1、帧2、帧3、...、帧4、帧N对应的M1、M2、M3、M4、...、MN。此时，根据本发明的一实施例，与动态数据中动态大的动态数据对应的帧可被选择为关键帧(selecting keyframes)，图3和图4的实施例中可知与动态数据M1及M4对应的帧1及帧4被选择为关键帧。与关键帧对应的动态数据表示为M1(key)及M4(key)。
接着，网格数据Mesh1，Mesh2，Mesh3，...MeshN可生成分别变换的几何图像GI1、GI2、GI3、...、GIN。此时，在几何图像GI1、GI2、GI3、...、GIN分别标记了动态数据M1(key)、M2、M3、...、MN(Geometry Image Sequece with tagged information)。接着，编码器对标记有动态数据的几何图像进行编码来生成第一串流数据。
接着，参照图4，拖放一部分几何图像的第二串流数据可被解码器解码。此时，根据图3的本发明的一实施例，帧2及帧3被选择为拖放帧，因此，假设第二串流数据不包括与帧2及帧3对应的几何图像GI2、GI3。由于帧1及帧4为关键帧，因此从第二串流数据中也不会拖放几何图像。
即，如图4的第二串流数据解码的标记有动态数据的几何图像(Geometry ImageSequece with tagged motion data)所示，动态数据M1(key)、M2、M3、M4(key)、...、MN存在于所有帧，但几何图像GI1、GI4、...、GIN不存在于拖放帧。因此，只靠变换几何图像，无法获得所有帧的网格数据，因此针对拖放帧，插补网格数据来生成。根据图3和图4的实施例，作为拖放帧的帧2的网格数据Mesh2'是将相关帧的动态数据M2利用于相邻的帧的网格数据Mesh1，并通过插补来形成的数据。并且，作为拖放帧的帧3的网格数据Mesh3'是将相关帧的动态数据M3利用于相邻的帧的网格数据Mesh4，并通过插补来形成的数据。如图3和图4的实施例所示，可通过插补来生成拖放帧的网格数据，由此可获取针对整体帧的4D内容。
图5为时序地表示本发明的一实施例的内容串流方法的图。
参照图5，内容串流系统生成不同帧网格数据及动态数据，并将网格数据变换为几何图像，对标记有动态数据的几何图像进行编码来生成第一串流数据(步骤S1)。
接着，内容串流系统基于网络带宽，选择拖放(drop)几何图像的拖放帧，在第一串流数据中将拖放帧的几何图像拖放来生成第二串流数据(步骤S2)。
最后，内容串流系统对第二串流数据进行解码，将解码的第二串流数据的几何图像变换为网格数据，通过插补来生成拖放帧的网格数据(步骤S3)，由此提供4D内容。
图6为时序地表示本发明的一实施例的内容串流方法的一步骤的图。
图6为更具体地表示图4的S1步骤的实施例。图5的步骤可在内容串流系统的编码部110执行。更详细地，内容串流系统获取不同帧网格数据(步骤S11)。
接着，内容串流系统获取与不同帧网格数据对应的动态数据(步骤S12)。
接着，内容串流系统将与动态数据中动态大的动态数据对应的帧设定为关键帧(步骤S13)。
接着，内容串流系统将网格数据变换为几何图像(步骤S14)。
接着，内容串流系统在几何图像标记动态数据(步骤S15)。
最后，内容串流系统对标记有动态数据的几何图像进行编码来生成第一串流数据(步骤S16)。
图7为时序地表示本发明的一实施例的内容串流方法的一步骤的图。
图7为更具体地表示图4的S3步骤的实施例。图7的步骤可在内容串流系统的解码部130执行。更详细地，内容串流系统对第二串流数据进行解码(步骤S31)。
接着，内容串流系统从解码的数据中提取几何图像(步骤S32)。
接着，内容串流系统将提取的几何图像变换为网格数据(步骤S33)。
接着，内容串流系统基于拖放帧的动态数据及与拖放帧相邻的帧的网格数据，插补与拖放帧对应的网格数据来生成(步骤S34)。
最后，内容串流系统生成4D内容(步骤S35)。
本发明中说明的特定实施方式为一实施例，并不是用任何方法来限定本发明的范围。为了简化说明书，可省略以往电子结构、控制系统、软件、所述系统的其他功能性方面的记载。并且，图中所示的结构要素之间的线之间连接或者连接部件例示性地表示功能性连接和/或物理连接或电路连接，实际装置中可代替或者可以表示为追加的功能性连接、物理连接或电路连接。并且，只要没有“必需”、“重要”等之类的具体提及，未必是为了适用本发明而必不可少的结构要素。
本发明的说明书(尤其是发明要求保护范围中)中，“所述”的术语及其类似的指示术语的使用有可能均相当于单个及多个。并且，在本发明记载范围(range)的情况下，包括适用属于所述范围的个别值的发明(若没有与其相反的记载内容)，则如同在发明内容里记载构成所述范围的各个别值。最后，若明确地记载构成本发明的方法的步骤的顺序或者没有相反的记载内容，则所述步骤可按适当的顺序执行。本发明并不是必须限定于所述步骤的记载顺序。在本发明中，使用所有例或例示性术语(例如，等等)是纯粹是用来详细说明本发明的，只要不局限于发明要求保护范围，本发明的范围就不局限于所述例子或例示性术语。并且，本发明所属技术领域的普通技术人员可知本发明在追加多种修改、组合及变更的发明要求保护范围或其等同技术方案的范畴内，可根据设计条件及因素而构成。
以上说明的本发明的实施例以可通过多种计算机结构要素运行的程序命令的形态实现，可记录于计算机可读记录介质。所述计算机可读记录介质可单独或组合包括程序命令、数据文件、数据结构等。记录于所述计算机可读记录介质的程序命令虽然是为了本发明而特殊设计且构成的命令，但可以是计算机软件领域的普通技术人员公知而使用的命令。作为计算机可读记录介质的例子，包括硬盘、软盘及磁盘之类的磁介质(magneticmedia)、CD-ROM、DVD之类的光介质(optical media)、光盘(floptical disk)之类的磁光介质(magneto-optical media)及只读存储器(ROM)、随机存取存储器(RAM)、闪存之类的存储程序命令且可执行地特别构成的硬件装置。作为程序命令的例子，不仅包括由编译器制作的机器语言代码，而且还包括使用解释器等可借助计算机运行的高级语言代码。硬盘装置为了执行本发明的处理，可变更为一个以上的软件模块，相反也如此。
以上，本发明说明了具体的结构要素等之类的特定事项和限定的实施例及附图，但这只不过是有助于本发明的整体理解而提供的，本发明并不局限于所述实施例，如果是本发明所属技术领域的普通技术人员就能通过这些记载内容试图多种修改和变更。
因此，本发明的思想不得局限于所述说明的实施例，不管是所附的发明要求范围还是与其等同的技术方案或者由此等同变更的所有范围应当属于本发明的思想的范畴。

Claims (16)

1.一种内容串流系统，其特征在于，包括：
编码部，生成不同帧的网格数据及动态数据，并将所述网格数据变换为几何图像，对标记有所述动态数据的几何图像进行编码来生成第一串流数据；
传送量控制部，基于网络带宽，选择拖放所述几何图像的拖放帧，在所述第一串流数据中将所述拖放帧的几何图像拖放来生成第二串流数据；
解码部，对所述第二串流数据进行解码，并将解码的第二串流数据的几何图像变换为网格数据，插补所述拖放帧的网格数据来生成。
2.根据权利要求1所述的内容串流系统，其特征在于，标记在拖放的所述几何图像的动态数据不从所述拖放帧中拖放。
3.根据权利要求1所述的内容串流系统，其特征在于，所述解码部基于与所述拖放帧相邻的帧的网格数据及所述拖放帧的动态数据，插补所述拖放帧的网格数据来生成。
4.根据权利要求1所述的内容串流系统，其特征在于，所述拖放帧在除了与所述动态数据中动态大的动态数据对应的关键帧之外被选择。
5.根据权利要求4所述的内容串流系统，其特征在于，所述拖放帧是和所述关键帧相邻的帧。
6.根据权利要求1所述的内容串流系统，其特征在于，所述编码部包括：
网格数据获取部，获取不同帧的所述网格数据；
动态数据获取部，获取与不同帧的所述网格数据对应的所述动态数据；
关键帧设定部，将与所述动态数据中动态大的动态数据对应的帧设定为关键帧；
几何图像变换部，将所述网格数据变换为所述几何图像；
动态数据标记部，在所述几何图像标记所述动态数据；
编码器，对标记有所述动态数据的几何图像进行编码来生成所述第一串流数据。
7.根据权利要求1所述的内容串流系统，其特征在于，所述解码部包括：
解码器，对所述第二串流数据进行解码；
几何图像提取部，从解码的数据中提取几何图像；
网格数据变换部，将提取的几何图像变换为网格数据；
网格数据插补部，基于所述拖放帧的动态数据及与所述拖放帧相邻的帧的网格数据，插补与所述拖放帧对应的网格数据来生成。
8.根据权利要求7所述的内容串流系统，其特征在于，所述网格数据插补部利用与所述相邻的帧的网格数据对应的动态数据，通过融合变形方法，插补所述拖放帧的网格数据来生成。
9.一种内容串流方法，其特征在于，包括：
编码步骤，生成不同帧的网格数据及动态数据，并将所述网格数据变换为几何图像，对标记有所述动态数据的几何图像进行编码来生成第一串流数据；
传送量控制步骤，基于网络带宽，选择拖放所述几何图像的拖放帧，在所述第一串流数据中将所述拖放帧的几何图像拖放来生成第二串流数据；
解码步骤，对所述第二串流数据进行解码，并将解码的第二串流数据的几何图像变换为网格数据，插补所述拖放帧的网格数据来生成。
10.根据权利要求9所述的内容串流方法，其特征在于，标记在拖放的所述几何图像的动态数据不从所述拖放帧中拖放。
11.根据权利要求9所述的内容串流方法，其特征在于，所述解码步骤基于与所述拖放帧相邻的帧的网格数据及所述拖放帧的动态数据，插补所述拖放帧的网格数据来生成。
12.根据权利要求9所述的内容串流方法，其特征在于，所述拖放帧在除了与所述动态数据中动态大的动态数据对应的关键帧之外被选择。
13.根据权利要求12所述的内容串流方法，其特征在于，所述拖放帧是和所述关键帧相邻的帧。
14.根据权利要求9所述的内容串流方法，其特征在于，所述编码步骤包括：
网格数据获取步骤，获取不同帧的所述网格数据；
动态数据获取步骤，获取与不同帧的所述网格数据对应的所述动态数据；
关键帧设定步骤，将与所述动态数据中动态大的动态数据对应的帧设定为关键帧；
几何图像变换步骤，将所述网格数据变换为所述几何图像；
动态数据标记步骤，在所述几何图像标记所述动态数据。
15.根据权利要求9所述的内容串流方法，其特征在于，所述解码步骤包括：几何图像提取步骤，从解码的数据中提取几何图像；
网格数据变换步骤，将提取的几何图像变换为网格数据；
网格数据插补步骤，基于所述拖放帧的动态数据及与所述拖放帧相邻的帧的网格数据，插补与所述拖放帧对应的网格数据来生成。
16.根据权利要求15所述的内容串流方法，其特征在于，所述网格数据插补步骤利用与所述相邻的帧的网格数据对应的动态数据，通过融合变形方法，插补所述拖放帧的网格数据来生成。
CN201611084663.1A 2016-10-21 2016-11-30 内容串流系统及方法 Expired - Fee Related CN107979766B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020160137704A KR101763921B1 (ko) 2016-10-21 2016-10-21 컨텐츠 스트리밍 시스템 및 방법
KR10-2016-0137704 2016-10-21

Publications (2)

Publication Number Publication Date
CN107979766A true CN107979766A (zh) 2018-05-01
CN107979766B CN107979766B (zh) 2020-07-24

Family

ID=59650167

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611084663.1A Expired - Fee Related CN107979766B (zh) 2016-10-21 2016-11-30 内容串流系统及方法

Country Status (3)

Country Link
US (1) US10165303B2 (zh)
KR (1) KR101763921B1 (zh)
CN (1) CN107979766B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200202622A1 (en) * 2018-12-19 2020-06-25 Nvidia Corporation Mesh reconstruction using data-driven priors
CN110570457B (zh) * 2019-08-07 2023-01-06 中山大学 一种基于流数据的三维物体检测与跟踪方法
EP3987770A4 (en) 2019-08-20 2022-08-17 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE FOR IMPROVING THE GRAPHIC PERFORMANCE OF AN APPLICATION PROGRAM, AND METHOD OF OPERATION
WO2022211462A1 (ko) * 2021-04-02 2022-10-06 현대자동차주식회사 동적 메시 코딩을 위한 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188669A (zh) * 2007-12-19 2008-05-28 哈尔滨工业大学 基于下采样和插值同一性建立数学模型的处理图像的方法
CN101626509A (zh) * 2009-08-10 2010-01-13 北京工业大学 三维网格编码、解码方法及编码、解码装置
CN101711371A (zh) * 2007-06-07 2010-05-19 帕拉戴姆地球物理有限公司 用于显示全方位角域图像数据的设备和方法
CN103002283A (zh) * 2012-11-20 2013-03-27 南京邮电大学 多视角分布式视频压缩的边信息生成方法
CN105612737A (zh) * 2013-10-10 2016-05-25 杜比实验室特许公司 在增强动态范围投影仪上显示数字电影倡导联盟及其他内容
GB2533625A (en) * 2014-12-23 2016-06-29 Micro Nav Ltd Visual Display Systems

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6047088A (en) 1996-12-16 2000-04-04 Sharp Laboratories Of America, Inc. 2D mesh geometry and motion vector compression
US8514933B2 (en) 2005-03-01 2013-08-20 Qualcomm Incorporated Adaptive frame skipping techniques for rate controlled video encoding
US20140092439A1 (en) 2012-09-28 2014-04-03 Scott A. Krig Encoding images using a 3d mesh of polygons and corresponding textures
JP6305279B2 (ja) 2014-08-26 2018-04-04 株式会社東芝 映像圧縮装置および映像再生装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101711371A (zh) * 2007-06-07 2010-05-19 帕拉戴姆地球物理有限公司 用于显示全方位角域图像数据的设备和方法
CN101188669A (zh) * 2007-12-19 2008-05-28 哈尔滨工业大学 基于下采样和插值同一性建立数学模型的处理图像的方法
CN101626509A (zh) * 2009-08-10 2010-01-13 北京工业大学 三维网格编码、解码方法及编码、解码装置
CN103002283A (zh) * 2012-11-20 2013-03-27 南京邮电大学 多视角分布式视频压缩的边信息生成方法
CN105612737A (zh) * 2013-10-10 2016-05-25 杜比实验室特许公司 在增强动态范围投影仪上显示数字电影倡导联盟及其他内容
GB2533625A (en) * 2014-12-23 2016-06-29 Micro Nav Ltd Visual Display Systems

Also Published As

Publication number Publication date
KR101763921B1 (ko) 2017-08-01
CN107979766B (zh) 2020-07-24
US20180115785A1 (en) 2018-04-26
US10165303B2 (en) 2018-12-25

Similar Documents

Publication Publication Date Title
CN107979766A (zh) 内容串流系统及方法
Wang et al. Videofactory: Swap attention in spatiotemporal diffusions for text-to-video generation
CN107197341B (zh) 一种基于gpu的炫屏显示方法、装置及一种存储设备
CN107463989B (zh) 一种基于深度学习的图像去压缩伪影方法
CN107248169B (zh) 图像定位方法及装置
CN103780974B (zh) 场景片段播放系统及其方法
Papadopoulos et al. How to make a pizza: Learning a compositional layer-based gan model
US20080273798A1 (en) Image processing device, image processing method, and program
CN112308754B (zh) 面向大容量鲁棒水印应用的多解码端并行提取方法
CN107527010A (zh) 一种根据局部特征和运动矢量抽取视频基因的方法
CN109840879A (zh) 图像渲染方法、装置、计算机存储介质及终端
CN108513134A (zh) 根据解码后的图像数据重建图像数据的方法和设备
CN110111244A (zh) 图像转换、深度图预测和模型训练方法、装置及电子设备
CN110166850A (zh) 多重cnn网络预测全景视频观看位置的方法和系统
Zhang et al. Large factor image super-resolution with cascaded convolutional neural networks
Tian et al. Surveillance video synopsis generation method via keeping important relationship among objects
Yin et al. Dformer: Rethinking rgbd representation learning for semantic segmentation
CN110536087A (zh) 电子设备及其运动轨迹照片合成方法、装置和嵌入式装置
CN107872441A (zh) 生成设备属性配置文件的方法和装置
CN116668738A (zh) 一种视频时空超分辨率重构方法、装置及存储介质
CN112800278B (zh) 视频类型的确定方法和装置及电子设备
CN114359033A (zh) 一种场景图文生成方法和系统
Xu et al. Edge-guided generative adversarial network for image inpainting
CN107018287A (zh) 使用视频缩影对图像进行降噪的方法和装置
CN108604359A (zh) 若干用户之间共享媒体内容的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200724

Termination date: 20201130

CF01 Termination of patent right due to non-payment of annual fee