CN105993158A - 在多个通信通道上进行多媒体数据串流通信的传送器、接收器及非暂态电脑可读媒体 - Google Patents

在多个通信通道上进行多媒体数据串流通信的传送器、接收器及非暂态电脑可读媒体 Download PDF

Info

Publication number
CN105993158A
CN105993158A CN201580008912.6A CN201580008912A CN105993158A CN 105993158 A CN105993158 A CN 105993158A CN 201580008912 A CN201580008912 A CN 201580008912A CN 105993158 A CN105993158 A CN 105993158A
Authority
CN
China
Prior art keywords
package
crossfire
communication
multimedia
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580008912.6A
Other languages
English (en)
Inventor
J·H·伊
H·崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lattice Semiconductor Corp
Original Assignee
Lattice Semiconductor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lattice Semiconductor Corp filed Critical Lattice Semiconductor Corp
Publication of CN105993158A publication Critical patent/CN105993158A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L45/00Routing or path finding of packets in data switching networks
    • H04L45/24Multipath
    • H04L45/245Link aggregation, e.g. trunking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/324Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the data link layer [OSI layer 2], e.g. HDLC

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Communication Control (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

一种用于横跨一多通道的通信连结进行多媒体串流通信的传送器及接收器。上述传送器根据一链结层协定将多媒体串流封包化,且将封包横跨通信连结的多个通道进行分配。包含报头及有效载荷的整体封包可按规则顺序横跨上述通道进行分配,以增加上述通信通道的使用。上述传送器亦可将多个多媒体串流封包化并将封包横跨上述通信通道的多个通道进行混合。上述接收器萃取横跨多个通道分配的封包,并将封包解码成多媒体串流。

Description

在多个通信通道上进行多媒体数据串流通信的传送器、 接收器及非暂态电脑可读媒体
技术领域
本发明大体上系有关于数据通信,特定而言是有关于在多个通信通道上进行多媒体数据流通信。
背景技术
视频及音频数据一般是利用通信连结从一装置传送至另一装置,前述通信连结例如高解析度多媒体接口(HDMI,high definitionmultimedia interface)或行动高画质连接(MHL,mobile high definitionlink)。行动高画质连接(MHL)仅允许在一个通信通道上进行音频视频串流传输。由于视频解析度从1080p增加至4k、8k以及更高的解析度,一个通信通道已不再足以支援视频的频宽要求。另外,即使使用多个通信通道来传送视频,若通道并未有效率地利用,则仍然可能没有足够频宽来传送高解析度视频。
发明内容
本发明的实施例是有关于在多通道的多媒体通信连结上进行多媒体通信的传送器及接收器,其是以增加通信连结上可用频宽的使用的方式。
于一实施例,一种用于横跨一多媒体通信连结进行多媒体通信的传送器系予以揭露。上述传送器包括一第一封包编码电路,用以利用一链结层协定将一第一多媒体串流封包化成复数个第一串流封包,每一第一串流封包包含一各自的第一报头以及一各自的第一有效载荷。上述传送器亦包含电路,用以将上述第一串流封包横跨上述通信连结的复数个通信通道进行分配。上述电路按上述通信通道的规则顺序将每一第一串流封包的上述各自的第一报头及上述各自的第一有效载荷横跨上述复数个通信通道进行分配。
于一实施例中,上述传送器更包含一第二封包编码电路,用以利用一链结层协定将一第二多媒体串流封包化成复数个第二串流封包,每一第二串流封包包含供上述第二多媒体串流用的一各自的第二报头及一各自的第二有效载荷。上述电路将上述第二串流封包横跨上述复数个通信通道进行分配,且将上述第一串流封包与上述第二串流封包混合。上述电路亦按上述通信通道的规则顺序将每一第二串流封包的上述各自的第二报头及上述各自的第二有效载荷横跨上述复数个通信通道进行分配。
于一实施例中,一种用于横跨一多媒体通信连结进行多媒体通信的接收器系予以揭露。上述接收器包含电路,用以从上述通信连结的复数个通信通道接收第一串流封包用的数据,且从上述第一串流封包用的上述数据萃取上述第一串流封包。每一第一串流封包包含一各自的第一报头以及一各自的第一有效载荷,每一第一串流封包的上述各自的第一报头及上述各自的第一有效载荷用的数据系按上述通信通道的规则顺序横跨上述复数个通信通道进行分配。上述接收器亦包含一第一封包解码电路,用以利用一链结层协定将上述第一串流封包解码成一第一多媒体串流。
于接收器的一实施例中,上述电路接收第二串流封包用的数据,并从上述第二串流封包用的上述数据萃取上述第二串流封包,上述第二串流封包用的数据系与上述第一串流封包用的数据混合。每一第二串流封包包含一各自的第二报头以及一各自的第二有效载荷,每一第二串流封包的上述各自的第二报头及上述各自的第二有效载荷用的数据系按上述通信通道的规则顺序横跨上述复数个通信通道进行分配。上述接收器亦包含一第二封包解码电路,用以将上述第二串流封包解码成一第二多媒体串流。
于另一实施例中,一种非暂态电脑可读媒体储存有上述传送器或上述接收器的表示。
附图说明
此处所揭露的实施例的教示可藉由思考下述详细叙述并配合后附图式而得以快速了解。
图1是根据一实施例的用于多媒体数据通信的系统的高阶方块示意图。
图2是根据一实施例的来源装置的方块示意图。
图3A是根据一实施例显示单一多媒体数据串流。
图3B是根据一实施例显示封包化多媒体数据串流。
图3C是根据一实施例显示横跨多个通信通道分配的封包化多媒体数据串流。
图4A是根据一实施例显示二个多媒体数据串流。
图4B是根据一实施例显示二个封包化多媒体数据串流。
图4C是根据一实施例显示横跨多个通信通道分配且彼此混合的二个封包化多媒体数据串流。
图5A是根据一实施例显示三个多媒体数据串流。
图5B是根据一实施例显示三个封包化多媒体数据串流。
图5C是根据一实施例显示横跨多个通信通道分配的三个封包化多媒体数据串流。
图6是根据一实施例显示目的装置的方块示意图。
具体实施方式
图式及下述叙述是有关于仅作为例示的若干实施例。应注意者为,从下述讨论,此处所揭露的结构及方法的替代实施例将可快速地被理解为可在不超出此处所讨论的原则范围下利用的可行替代物。现在将详细参照若干实施例,其实例绘制于后附图式中。应注意者为,不管可实行的类似或相似元件符号用在图式中的何处,其可象征类似或相似的功能。
本发明的实施例包含用于横跨多通道通信连结进行多媒体串流通信的传送器及接收器。前述传送器将多媒体串流封包化,并横跨通信连结的多个通道分配其封包。整个封包,包含报头(header)及有效载荷(payload),可按一规则顺序横跨通道进行分配,以增加通信通道的使用。上述传送器亦可将多个多媒体串流封包化并横跨通信通道的多个通道混合其封包。上述接收器抽取出横跨多个通道分配的封包,并将封包解码成多媒体串流。
图1是根据一实施例的用于多媒体数据通信的系统100的高阶方块示意图。系统100包含来源装置110,其通过一或多个接口缆线(例如120、150、180)与目的装置115进行通信。来源装置110通过接口缆线(例如120、150、180)将多媒体数据传送至目的装置115且亦与目的装置115交换控制数据。来源装置110的实例包含行动电话、蓝光播放器、游戏主机、膝上型电脑及平板电脑。目的装置115的实例包含电视及显示装置。于一实施例中,来源装置110及/或目的装置115可为中继(repeater)装置。
来源装置110包含实体的通信埠(例如112、142、172),其耦合至接口缆线(例如120、150、180)。目的装置115亦包含实体的通信埠(例如117、147、177),其耦合至接口缆线(例如120、150、180)。在来源装置110及目的装置115之间横跨接口缆线(例如120、150、180)所交换的信号会通过实体的通信埠(例如117、147、177)。
来源装置110及目的装置115利用各种协定交换数据。于一实施例中,接口缆线120代表高解析度多媒体接口(HDMI)缆线。HDMI缆线120支援经由data0+线路121、data0-线路122、data1+线路123、data1-线路124、data2+线路125及data2-线路126传送的差动信号。HDMI缆线120可进一步包含差动时脉线路clock+127及clock-128;消费型电子控制(Consumer Electronics Control,CEC)控制汇流排129;显示数据通道(Display Data Channel,DDC)汇流排130;电源131、接地132;热插拔侦测133;以及四条屏蔽线844以用于差动信号。于某些实施例中,目的装置115可利用CEC控制汇流排129来将封闭回路反馈(closed loop feedback)控制数据传送至来源装置110。
于一实施例中,接口缆线150代表行动高画质连接(MHL)缆线。MHL缆线150支援经由data0+线路151、data0-线路152、data1+线路153、data1-线路154、data2+线路155及data2-线路156所传送的差动信号。内嵌共膜时脉(Embedded common mode clocks)系通过差动数据线路传送。MHL缆线150可进一步包含一控制汇流排(CBUS)159、电源160及接地161。控制汇流排(CBUS)159携带控制资讯例如搜寻数据、组态数据及远端控制指令。
本发明的实施例是有关于横跨一具有多个通信通道的通信连结进行多媒体串流传输,前述通信连结例如行动高画质(MHL)连接缆线150。数据线路(例如151/152)的每一差动对可视为一次携带单一位元的多媒体数据的逻辑通信通道。来源装置110将多媒体串流封包化,并将封包化的串流横跨通信通道进行分配以传送至目的装置115。目的装置115接收经分配的封包、抽取出封包并将封包解码成多媒体串流。
于一实施例中,来源装置、目的装置或来源装置或目的装置内的元件的一表示可储存作为非暂态电脑可读媒体(例如硬碟、快闪碟、光碟)内的数据。这些描述可为行为级(behavioral level)、暂存器传输级(register transfer level)、逻辑元件级(logic component level)、电晶体级及布局几何级(layout geometry-level)描述。
来源装置
图2是根据一实施例的来源装置110的方块示意图。来源装置110包含一传送器202,其将多媒体串流(串流A、串流B、串流C)封包化,并横跨通信通道(通道0、通道1、通道2)分配封包化的串流。经分配的封包是通过通信通道经由埠147传送至目的装置115。传送器202可为积体电路或其他符合行动高画质连接(MHL)或其他多媒体标准的一版本的电子元件。如图所示,传送器202包含封包编码器212、214、216、串流仲裁器232、封包分配器234以及通道接口242、244及246。封包编码器实施链结层功能,而串流仲裁器232、封包分配器234及通道接口242、244及246实施实体层功能,以将封包转换成电性信号以用于传输。
每个封包编码器212、214及216接收各自的多媒体串流(串流A、串流B、串流C)。多媒体串流可从内部接口或旧有接口(例如HDMI、DVI(Digital Visual Interface,数位视觉接口))接收。多媒体串流可包含视频数据、音频数据或音频视频数据。行动高画质连接(MHL)用的多媒体串流中数据的特定实例包含视频画素数据、视频时序数据(例如水平同步、垂直同步、数据致能)及音频样本数据。多媒体串流亦可包含视频及音频数据用的辅助数据。辅助数据的实例包含资讯框(infoframes)(例如AVI-info、Audio-info、MPEGsource-info)、音频内容相关资讯(例如音频内容保护)或比色相关资讯(例如色域元数据(gamut metadata))。每一多媒体串流代表一多媒体内容片段,其为独立且与其他数据串流的多媒体内容为可区分。例如,串流A可为1080p解析度视频,串流B可为另一个1080p解析度视频,而串流C可为2060p解析度视频。
每一封包编码器212、214及216从其各自的多媒体串流产生多媒体串流封包。特定而言,封包编码器212将串流A转换成串流A用的多媒体串流封包。封包编码器214将串流B转换成串流B用的多媒体串流封包。封包编码器216将串流C转换成串流C用的多媒体串流封包。前述封包是从封包编码器212、214及216以一或多个信号220的形式输出。图2仅显示三个多媒体串流,于其他实施例中可能会有更大数量的多媒体串流。
每一封包包含一系列的8位元字符以用于封包起始、报头、有效载荷及封包结束。报头、封包起始、有效载荷及封包结束是根据链结层封包编码协定的规则产生。封包格式将会参照图3B、图4B及图5B做详细解释。
串流仲裁器232从不同的封包编码器212、214、216接收多媒体串流封包,且将封包放置于单一管线上。若有多个数据串流,则数据串流封包在管线中变成混合。换言之,若有二个进来的多媒体串流A及B,则管线化封包可随着时间在串流A用的封包与串流B用的封包之间交替。管线化封包接着从串流仲裁器232以一或多个信号222的形式输出。
封包分配器234从串流仲裁器232接收管线化封包,且横跨不同的通道接口242、244及246分配封包的字符。字符是以通信通道的连续且重复顺序横跨通道接口242、244及246分配。封包分配器214可从具有控制输入的解多工器形成,前述控制输入随着管线化封包的每一字符增加。封包的分配将会参照图3C、图4C及图5C做详细解释。经分配的封包是以一或多个信号226的形式传送至通道接口242、244及246。由于每一通信通道具有其自己的通道接口242、244及246,故将封包分配至通道接口242、244及246会有效率地将封包横跨通信通道分配。
通道接口242、244及246在横跨通信通道传送经分配的封包之前会实施经分配封包的额外后处理。于一实施例中,每一通道接口242、244及246包含一随机性重置产生器(randomizer resetgenerator)252、一间隙填补器(gap filler)254、一随机数发生器(randomizer)256、一最小转换差动信号(transition minimized differentialsignaling,TMDS)编码器258以及一串列器(serializer)260。
随机性重置产生器(randomizer reset generator)252将随机性重置字符插入所有通信通道上的经分配封包串流。随机性重置字符是以周期基础插入于封包之间或之内。随机性重置字符会重置随机数发生器256,且亦指示目的装置115重置其去随机逻辑(de-randomizationlogic),前述去随机逻辑(de-randomization logic)系确保来源装置110的随机数发生器256是与目的装置115的去随机逻辑同步。随机性重置字符亦由目的装置115所使用以用于通道对准,将于下方参照图6说明。
间隙填补器254会利用填补字符填补位于随机性重置产生器252的输出处的经分配封包串流中的间隙。封包分配器234所使用的分配技术会留下间隙,于其中对于一时间点,某些通道会被分配字符,但其他通道没有任何字符。间隙填补器电路254以填补字符(paddingcharacter)填补这些间隙。此外,若多媒体串流具有低频宽要求,则可能会有若干段时间没有封包需要被传送。这些时间段亦以填补字符填补。
随机数发生器256藉由利用随机数值对封包做互斥或(XOR)运算而将位于间隙填补器254的输出处的经分配封包串流随机化。每当随机数发生器256遇到一随机性重置字符时,随机数发生器256将随机数值重置。于一实施例中,随机数发生器256将报头、有效载荷及填补字符随机化,但不随机化其他字符例如随机性重置字符、封包起始字符及封包结束字符。
最小转换差动信号(TMDS)编码器258将位于随机数发生器256的输出处的经分配封包串流中的8位元字符(例如报头、有效载荷)转换成10位元最小转换差动信号(TMDS)字符以用于直流(DC)平衡。串列器260接着将位于TMDS编码器258的输出处的经分配封包串流的10位元TMDS字符串列成串列信号,以传送于通信通道的差动对上。
单一数据串流
于一实施例中,传送器202可仅以单一多媒体串流操作。现在将参照图3A至图3C说明此实施例。于图3A至图3C中,假设只存在串流A,不存在串流B及串流C。
图3A是根据一实施例显示封包化之前的单一多媒体串流。串流A包含位于封包编码器212的输入处的12位元组A0-A11的原始多媒体数据。串流A可代表例如高解析度2060p视频。图式中仅显示12位元组的串流A,以简化图式。于其他实施例中,串流A可具有更大得多的数量的位元组。
图3B是根据一实施例显示封包化多媒体串流。封包化多媒体串流代表封包编码器电路212的输出。图3B中显示有二个从串流A产生的封包。第一封包302包含字符SA0、HA0-HA2、A1-A5及EA0。第二封包304包含字符SA1、HA3-HA5、A6-A11及EA1。每一字符代表一位元组(亦即8位元)的资讯。
每一封包包含封包起始字符、报头字符、有效载荷字符以及封包结束字符。以字母「S」起始的字符是为封包起始字符。封包起始字符(例如SA0)表示封包的起始。以字母「H」起始的字符是为报头的部份。报头字符(例如HA0-HA2)包含控制资讯,其描述了封包的内容,例如与封包相关联的特定多媒体串流的识别。以字母「A」起始的字符是为有效载荷的部份。有效载荷字符(例如A0-A5)包含来自于对应的多媒体串流的多媒体数据。以字母「E」起始的字符是为封包结束字符。封包结束字符(例如EA0)表示封包的结束。
图3C是根据一实施例显示横跨多个通信通道分配的封包化多媒体串流。图3C中的经分配多媒体串流系代表出现在通信通道上的传送器202的最后输出。
封包分配器234大体上以预定且规则的顺序将每一封包的字符分配横跨通信通道(经由通道接口242、244及246)。前述顺序以通道0开始,接着移动至下一个通道1,接着移动至最后的通道2。在抵达最后的通道2之后,该顺序会重复,且会再一次使用通道0。封包起始总是传送于通道0。间隙填补器254以填补字符对通道上封包结束之后没有字符的间隙进行填补。填补字符系插入于封包结束之后的剩余通道内,直到通道选择回到通道0。
例如对于封包302,封包起始字符SA0首先放置于通道0上。报头字符HA0-HA2接着依序地横跨通信通道进行分配,每一通信通道分配一个报头字符。报头字符HA0放置于通道1,报头字符HA1放置于通道2,而报头字符HA2放置于通道0。有效载荷字符A0-A5接着依序地横跨通信通道进行分配。封包结束字符EA0接续有效载荷字符位于通道1上。填补字符N亦放置于通道2中,以填补接续封包结束EA0的通道2的间隙。填补字符确保下一个封包304会开始于通道0。
对于封包304,封包起始字符SA1首先放置于通道0上。报头字符HA3-HA5接着横跨通信通道进行分配,以通信通道的顺序每一通信通道被分配一个报头字符。报头字符HA3放置于通道1,报头HA4放置于通道2,而报头HA5放置于通道0。有效载荷字符A6-A11接着依序地横跨通信通道进行分配。封包结束字符EA1接续有效载荷字符位于通道1上。填补字符N系在封包结束字符之后传送,以填补通道2中的间隙。
当有多个通信通道时,将整个封包横跨通信通道进行分配会使频宽使用最大化。每一封包字符(例如封包起始SA0、报头HA0-HA2、有效载荷A0-A5以及封包结束EA0)系在多个通信通道的其中一者上进行传送单一次。如此避免在多个通道上重复传送字符,其会造成频宽大量浪费。此外,藉由将所有封包的封包起始字符(例如SA0、SA1)保持在单一通道(例如通道0)上,可简化对位于目的装置115的封包进行抽取的逻辑。
第三图亦显示放置于每一通信通道上的随机性重置字符RR。随机性重置字符RR系以周期基础放置于多媒体封包之间。随机性重置字符RR对随机数发生器252进行重置,且亦重置目的装置115中的去随机逻辑。随机性重置字符RR可彼此对准,且同时横跨通信通道进行传送。另外,若使用了随机化及最小转换差动信号(TMDS),则图3C中的字符可为随机性10位元TMDS字符,其与图3B的8位元字符相对应。
分配多个数据串流
于一实施例中,传送器202可以多个多媒体串流操作。现在将参照图4A至图4C说明此实施例。于图4A至图4C中,假设存在串流A及串流B,而串流C不存在。
图4A系根据一实施例显示封包化之前的二个多媒体串流。图4A系类似于图3A,除了现在有额外的串流B。串流B包含12位元组B0-B11的原始多媒体数据,其系由封包编码器214接收。串流B可具有比串流A更多或更少的多媒体数据,例如取决于串流B的视频相较于串流A的视频是否具有较高或较低的解析度。
第四图系根据一实施例显示二个封包化多媒体串流。图4B类似于图3B,除了现在有额外的封包化串流B。封包化串流B代表封包编码器214的输出。
封包化串流B包含从串流B产生的二个封包。第一封包402包含封包起始字符SB0、报头字符HB0-HB2、有效载荷字符B0-B5以及封包结束字符EB0。第二封包404包含封包起始字符SB1、报头字符HB3-HB5、有效载荷字符B6-B11以及封包结束字符EB1。
图4C系根据一实施例显示横跨多个通信通道分配的二个封包化多媒体串流。图4C中的经分配多媒体串流代表出现在通信通道上的传送器202的输出。
图4C类似于图3C,除了现在有来自串流B的封包随着时间与来自串流A的封包混合。不同串流用的封包系加以多工处理至通信通道上,且随着时间在不同的时间槽中彼此交错。来自串流A的封包302首先横跨通信通道按通信通道的规则顺序进行分配。接着,来自串流B的封包402横跨通信通道按通信通道的规则顺序在来自串流A的封包302之后进行分配。来自串流A的封包304接着横跨通信通道进行分配。
如图4C中所示,封包可随着时间以交替顺序混合。于其他实施例中,封包的混合可以不同顺序进行。例如,若串流A是解析度为串流B的视频的两倍的视频,则每两个串流A封包可传送一个串流B封包。
当有多个串流要在多个通信通道上传送时,对来自不同多媒体串流的封包进行混合亦可增加频宽的使用。唯一浪费的频宽系在空字符(null character)N中,若有效载荷的尺寸足够大,则空字符N的数量可以是微小的。
多媒体串流的混合模式分配
于一实施例中,传送器202可以多个多媒体串流操作,且横跨某些通信通道进行某些串流的分配,同时在其自己的专用通道上传送其中一个多媒体串流。现在参照图5A至图5C说明此实施例。于图5A至图5C中,假设存在有串流A、串流B及串流C。
图5A系根据一实施例显示三个多媒体数据串流。图5A类似于图4A,除了现在有额外的串流C。串流C包含12位元组C0-C9的原始多媒体数据,其由封包编码器216所接收。多媒体串流B亦缩短至1位元组的原始多媒体数据。例如,串流A可代表1080p视频,串流C可代表720p视频,而串流B可代表240p视频。
图5B系根据一实施例显示三个封包化多媒体数据串流。图5B类似于图4B,除了现在有额外的封包化串流C以及封包化串流B较短。
封包化串流B包含单一封包502,其具有单一有效载荷字符B0。封包化串流C代表封包编码器电路216的输出。封包化串流C包含从串流C产生的单一封包504。封包502包含封包起始字符SC0、报头字符HC0-HC2、有效载荷字符C1-C9以及封包结束字符EC0。
图5C系根据一实施例显示横跨多个通信通道分配的三个封包化多媒体数据串流。图5C中的多媒体串流代表出现在通信通道上的传送器202的输出。
串流A及串流B用的封包系以交替的方式在通道0及通道1上彼此混合。来自串流A的封包302系按连续重复的顺序横跨通道0及通道1进行分配。封包起始字符SA0系放置于通道0上。报头字符HA0-HA2系横跨通道0及通道1两者进行分配。有效载荷字符A0-A5系横跨通道0及通道1两者进行分配。
来自串流B的封包502亦在封包302之后横跨通道0及通道1进行分配。封包起始字符SB0系放置于通道0上。报头字符HB0-HB2系横跨通道0及通道1两者进行分配。有效载荷字符B0系放置于通道0上。
来自串流A的封包302接着按连续重复的顺序横跨通道0及通道1进行分配。封包起始字符SA1系放置于通道0上。报头字符HA3-HA5系横跨通道0及通道1两者进行分配。有效载荷字符A6-A11系横跨通道0及通道1两者进行分配。
串流C用的封包并不与串流A及串流B用的封包混合。通道2系专用于串流C,使得只有串流C系传送穿过通道2。因此,串流C的封包504的字符系传送于通道2上。
当有不同解析度的不同多媒体串流被横跨多个通道传送时,图5C中所示的此操作模式系为有利。当某些串流已经正横跨某些通道传送,而传送器欲增加额外的串流时,此模式亦可能为有利的。额外的串流可仅横跨开放通道的其中一者进行传送以防止任何干扰,而不改变通道配置并中断现行串流。当一个串流具有非常大的封包,若其与其他串流的封包混合会造成抖动时,此模式亦可能为有利的。
于一实施例中,封包分配器234接收一或多个模式控制信号(图未示),其表示要在哪一模式操作。封包分配器234接着根据所选择的操作模式将封包分配至通道接口242、244、246。例如,如图4C所示,所有串流可予以混合,或者如图5C所示,某些串流可与其他串流分离。
于一实施例中,来源装置110及目的装置115可在多媒体串流封包化及分配之前藉由通过控制汇流排159(图1)进行通信而事先同意要使用图5C中的混合模式操作还是使用图5B中的分配模式操作。
目的装置
图6系根据一实施例显示目的装置115的方块示意图。目的装置115包含接收封包用的数据的接收器602,前述封包用的数据系通过埠147横跨通信通道(通道0、通道1、通道2)进行分配。接收器602将封包解码成多媒体串流(串流A、串流B、串流C)。接收器602可为积体电路或其他符合行动高画质连接(MHL)或其他多媒体标准的一版本的电子元件。接收器602的操作大体上与传送器202的操作相反,乃因接收器602系将封包解码成多媒体串流,而非将多媒体串流编码成封包。如图所示,接收器602包含通道接口642、644、646、封包萃取器634、封包路由器632以及封包解码器612、614、616。通道接口642、644、646、封包萃取器634以及封包路由器632系实施实体层功能,以将经由通信通道接收的电性信号转换成封包,而封包解码器612、614、616系实施链结层功能,以对封包进行解码。
通道接口642、644及646在利用信号620将经分配封包传递至封包萃取器634之前,对进来的经分配封包的实施前处理。于一实施例中,每一通道接口包含一解串列器652、一最小转换差动信号(TMDS)解码器654、一随机性重置侦测器656以及一去随机数发生器658。
解串列器652以串列信号的形式接收经分配封包用的数据,前述串列信号会被转换成并列信号。TMDS解码器654从解串列器652的输出接收经分配封包用的数据,且将封包的10位元TMDS字符(例如报头、有效载荷)转换成8位元字符。
随机性重置侦测器656从TMDS解码器654的输出接收经分配封包用的数据,且尝试侦测数据中的随机性重置字符。去随机数发生器658藉由对封包字符施加去随机化数值而将经分配封包用的数据去随机化。若随机性重置字符由随机性重置侦测器656侦测出,则去随机数发生器658会重置其去随机化数值。
于一实施例中,随机性重置侦测器656亦使用随机性重置字符来进行通道对准。不同通信通道可具有不同的传输时间,乃因长度不匹配、几何形状不匹配等。由于这些不同的传输时间,接收器602所接收的数据可能会有所偏斜。随机性重置侦测器656可藉由测量随机性重置字符之间的时间差异而侦测通道之间的偏斜,且可藉由控制每一通道用的延迟参数直到数据在时间上系对准而对偏斜进行补偿。
封包萃取器634从去随机数发生器658的输出接收经分配封包用的数据,且从数据萃取出封包。封包萃取器634可藉由将经分配数据重新排序至封包管线中而萃取出封包。封包萃取器634从通道接口642寻找通道0上的封包起始字符,前述通道接口642对封包起始进行传讯。封包萃取器634接着藉由假设封包字符系以连续且重复的顺序横跨通信通道进行分配而重建封包。封包萃取器634会忽略接续封包结束字符的填补字符。封包萃取器634的输出系为代表封包管线的一或多个信号622。
例如,参照图3B及图3C,封包萃取器634可接收图3C的经分配串流A且接着产生图3B所示的封包化串流A。同样地,封包萃取器634可接收图4C或图5C的经分配串流,且各别产生图4B或图5B的封包化串流。
封包路由器632从封包萃取器634接收管线化封包,且为封包安排至其适当封包解码器612、614及616的路由。封包路由器632读取每一封包的报头中的串流识别,以决定封包的适当目的地。例如,若封包报头包含串流A的识别,则封包被安排路由至封包编码器612。若封包报头包含串流B的识别,则封包被安排路由至封包编码器614。每一封包系以个别基础作处理,以决定封包的适当目的地。封包路由器632的输出系为代表封包的一或多个信号626。
封包解码器612、614、616从其封包路由器632接收封包,且将封包解码成其各自的多媒体串流。封包解码器612、614及616利用链结层封包解码协定对封包进行解码,前述链结层封包解码协定系对应于用以产生封包的链结层封包编码协定。特定而言,封包解码器612将封包转换成串流A。封包解码器614将封包转换成串流B。封包解码器616将封包转换成串流C。封包解码器612、614及616的输出系为代表多媒体串流的一或多个信号。串流的内容可接着由目的装置115所展现(例如显示或转换成音频)。
在阅读本说明书后,本领域中具通常知识者将得以领会出在多个通信通道上进行多媒体串流通信的再额外的替代性设计。因此,虽然已显示且描述了本发明的特定实施例及应用,但将得以领会者为,这些实施例并不受限于此处所揭露的确切架构及元件,在不脱离本发明的精神及范围下若干对本领域中具通常知识者系得以清楚了解的修改、改变及变化可施加于此处所揭露的本发明的方法及装置的配置、操作及细节中,前述本发明的精神及范围系如后附申请专利范围所定义。

Claims (20)

1.一种用于横跨一多媒体通信连结进行多媒体通信的传送器,其特征在于,该传送器包括:
一第一封包编码电路,用以利用一链结层协定将一第一多媒体串流封包化成复数个第一串流封包,每一第一串流封包包含一各自的第一报头以及一各自的第一有效载荷;以及
电路,用以将该第一串流封包横跨该通信连结的复数个通信通道进行分配,每一第一串流封包的该各自的第一报头及该各自的第一有效载荷是按该通信通道的规则顺序横跨该复数个通信通道进行分配。
2.根据权利要求1所述的用于横跨一多媒体通信连结进行多媒体通信的传送器,其特征在于,还包含:
一第二封包编码电路,用以将一第二多媒体串流封包化成复数个第二串流封包,每一第二串流封包包含供该第二多媒体串流用的一各自的第二报头及一各自的第二有效载荷;
其中该电路将该第二串流封包横跨该复数个通信通道进行分配,且将该第一串流封包与该第二串流封包混合,每一第二串流封包的该各自的第二报头及该各自的第二有效载荷是按该通信通道的规则顺序横跨该复数个通信通道进行分配。
3.根据权利要求2所述的用于横跨一多媒体通信连结进行多媒体通信的传送器,其特征在于,还包含:
一第三封包编码电路,用以将一第三多媒体串流封包化成复数个第三串流封包,
其中该电路将该第三串流封包分配至该多媒体通信连结的一额外通信通道,但非分配至该复数个通信通道。
4.根据权利要求2所述的用于横跨一多媒体通信连结进行多媒体通信的传送器,其特征在于,该第一封包编码电路包含每一第一串流封包的该各自的第一报头中的该第一多媒体串流的识别,其中该第二封包编码电路包含每一第二串流封包的该各自的第二报头中的该第二多媒体串流的识别。
5.根据权利要求1所述的用于横跨一多媒体通信连结进行多媒体通信的传送器,其特征在于,该电路将随机性重置字符周期性地插入于至少一些该第一串流封包之间或之内。
6.根据权利要求1所述的用于横跨一多媒体通信连结进行多媒体通信的传送器,其特征在于,每一第一串流封包包含一各自的封包起始字符,且该电路将每一第一串流封包用的该各自的封包起始字符分配至该复数个通信通道中的一相同通信通道。
7.根据权利要求1所述的用于横跨一多媒体通信连结进行多媒体通信的传送器,其特征在于,每一第一串流封包包含一各自的封包结束字符,且该电路将一填补字符分配至在该各自的封包结束字符之后的间隙中的一或多个该通信通道。
8.根据权利要求1所述的用于横跨一多媒体通信连结进行多媒体通信的传送器,其特征在于,该电路亦将最小转换差动信号编码随机化且施加于每一第一串流封包的该各自的第一报头及该各自的第一有效载荷。
9.一种非暂态电脑可读媒体,其特征在于,其储存有一用于横跨一多媒体通信连结进行多媒体通信的传送器的表示,该传送器包含:
一第一封包编码电路,用以利用一链结层协定将一第一多媒体串流封包化成复数个第一串流封包,每一第一串流封包包含一各自的第一报头以及一各自的第一有效载荷;以及
电路,用以将该第一串流封包横跨该通信连结的复数个通信通道进行分配,每一第一串流封包的该各自的第一报头及该各自的第一有效载荷是按该通信通道的规则顺序横跨该复数个通信通道进行分配。
10.根据权利要求9所述的非暂态电脑可读媒体,其特征在于,该传送器还包含:
一第二封包编码电路,用以将一第二多媒体串流封包化成复数个第二串流封包,每一第二串流封包包含供该第二多媒体串流用的一各自的第二报头及一各自的第二有效载荷;
其中该电路将该第二串流封包横跨该复数个通信通道进行分配,且将该第一串流封包与该第二串流封包混合,每一第二串流封包的该各自的第二报头及该各自的第二有效载荷是按该通信通道的规则顺序横跨该复数个通信通道进行分配。
11.一种用于横跨一多媒体通信连结进行多媒体通信的接收器,其特征在于,该接收器包含:
电路,用以从该通信连结的复数个通信通道接收第一串流封包用的数据,且从该第一串流封包用的该数据萃取该第一串流封包,每一第一串流封包包含一各自的第一报头以及一各自的第一有效载荷,每一第一串流封包的该各自的第一报头及该各自的第一有效载荷用的数据是按该通信通道的规则顺序横跨该复数个通信通道进行分配;以及
一第一封包解码电路,用以利用一链结层协定将该第一串流封包解码成一第一多媒体串流。
12.根据权利要求11所述的用于横跨一多媒体通信连结进行多媒体通信的接收器,其特征在于,该电路接收第二串流封包用的数据,并从该第二串流封包用的该数据萃取该第二串流封包,该第二串流封包用的该数据与该第一串流封包用的该数据混合,每一第二串流封包包含一各自的第二报头以及一各自的第二有效载荷,每一第二串流封包的该各自的第二报头及该各自的第二有效载荷用的数据是按该通信通道的规则顺序横跨该复数个通信通道进行分配,且更包含:
一第二封包解码电路,用以将该第二串流封包解码成一第二多媒体串流。
13.根据权利要求12所述的用于横跨一多媒体通信连结进行多媒体通信的接收器,其特征在于,该电路从该多媒体通信连结的额外通信通道而非从该复数个通信通道接收第三串流封包用的数据,该电路从该第三串流封包用的该数据萃取该第三串流封包;以及
一第三封包解码电路,用以将该第三串流封包解码成一第三多媒体串流。
14.根据权利要求12所述的用于横跨一多媒体通信连结进行多媒体通信的接收器,其特征在于,该电路基于该各自的第一报头为每一第一串流封包安排至该第一封包解码电路的路由,且基于该各自的第二报头为每一第二串流封包安排至该第二封包解码电路的路由。
15.根据权利要求11所述的用于横跨一多媒体通信连结进行多媒体通信的接收器,其特征在于,该电路包含去随机化电路,该去随机化电路会被重置以响应通过该复数个通信通道接收随机性重置字符。
16.根据权利要求11所述的用于横跨一多媒体通信连结进行多媒体通信的接收器,其特征在于,该电路为了该通信通道之间的偏斜基于随机性重置字符控制一参数校正,该随机性重置字符是通过该复数个通信通道接收。
17.根据权利要求11所述的用于横跨一多媒体通信连结进行多媒体通信的接收器,其特征在于,每一第一串流封包包含一各自的封包起始字符,且该电路从该复数个通信通道中的一相同通信通道接收每一封包起始字符用的数据。
18.根据权利要求11所述的用于横跨一多媒体通信连结进行多媒体通信的接收器,其特征在于,该电路亦对来自每一第一串流封包的该各自的第一报头的最小转换差动信号编码进行去随机化及解码。
19.一种非暂态电脑可读媒体,其特征在于,其储存有一用于横跨一多媒体通信连结进行多媒体通信的接收器的表示,该接收器包含:
电路,用以从该通信连结的复数个通信通道接收第一串流封包用的数据,且从该第一串流封包用的该数据萃取该第一串流封包,每一第一串流封包包含一各自的第一报头以及一各自的第一有效载荷,每一第一串流封包的该各自的第一报头及该各自的第一有效载荷用的数据是按该通信通道的规则顺序横跨该复数个通信通道进行分配;以及
一第一封包解码电路,用以利用一链结层协定将该第一串流封包解码成一第一多媒体串流。
20.根据权利要求19所述的非暂态电脑可读媒体,其特征在于,该电路接收第二串流封包用的数据,并从该第二串流封包用的该数据萃取该第二串流封包,该第二串流封包用的该数据与该第一串流封包用的该数据混合,每一第二串流封包包含一各自的第二报头以及一各自的第二有效载荷,每一第二串流封包的该各自的第二报头及该各自的第二有效载荷用的数据系按该通信通道的规则顺序横跨该复数个通信通道进行分配,且该接收器更包含:
一第二封包解码电路,用以将该第二串流封包解码成一第二多媒体串流。
CN201580008912.6A 2014-04-15 2015-03-18 在多个通信通道上进行多媒体数据串流通信的传送器、接收器及非暂态电脑可读媒体 Pending CN105993158A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/253,808 US9549015B2 (en) 2014-04-15 2014-04-15 Communication of multimedia data streams over multiple communication lanes
US14/253,808 2014-04-15
PCT/US2015/021333 WO2015160467A1 (en) 2014-04-15 2015-03-18 Communication of multimedia data streams over multiple communication lanes

Publications (1)

Publication Number Publication Date
CN105993158A true CN105993158A (zh) 2016-10-05

Family

ID=54266077

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580008912.6A Pending CN105993158A (zh) 2014-04-15 2015-03-18 在多个通信通道上进行多媒体数据串流通信的传送器、接收器及非暂态电脑可读媒体

Country Status (5)

Country Link
US (2) US9549015B2 (zh)
CN (1) CN105993158A (zh)
DE (1) DE112015001836B4 (zh)
TW (1) TWI655866B (zh)
WO (1) WO2015160467A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9549015B2 (en) * 2014-04-15 2017-01-17 Lattice Semiconductor Corporation Communication of multimedia data streams over multiple communication lanes
CN107113457B (zh) 2014-12-29 2020-12-04 索尼公司 发送装置、发送方法、接收装置和接收方法
KR102318021B1 (ko) 2017-04-21 2021-10-27 삼성전자 주식회사 이동 통신 네트워크 내 다중 링크 상에서의 패킷 분배 방법 및 장치
US10402365B2 (en) * 2018-01-16 2019-09-03 Qualcomm Incorporated Data lane validation procedure for multilane protocols
CN111148157B (zh) * 2018-11-06 2022-01-25 大唐移动通信设备有限公司 一种重复传输的处理方法、装置及网络节点
EP4287533A4 (en) * 2021-02-26 2024-03-27 Huawei Technologies Co., Ltd. DESIGN METHOD FOR FORWARD ERROR CORRECTION (FEC) AND ASSOCIATED DEVICE
TWI783695B (zh) 2021-09-24 2022-11-11 瑞昱半導體股份有限公司 切換影音接收介面的方法與電路系統

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020001041A1 (en) * 2000-06-15 2002-01-03 Isao Sezaki Video transmission apparatus
US6914637B1 (en) * 2001-12-24 2005-07-05 Silicon Image, Inc. Method and system for video and auxiliary data transmission over a serial link
CN101159687A (zh) * 2007-11-07 2008-04-09 中国科学院计算技术研究所 一种多通道通信传输数据的系统和装置与方法
US8266311B2 (en) * 2004-07-29 2012-09-11 Microsoft Corporation Strategies for transmitting in-band control information
CN103269475A (zh) * 2012-02-15 2013-08-28 三星电子株式会社 数据收发设备和数据收发方法
US20140056370A1 (en) * 2012-08-27 2014-02-27 Bruce J. Chang Dynamic skew correction in a multi-lane communication link

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1997001934A1 (en) * 1995-06-29 1997-01-16 Thomson Multimedia S.A. System for encoding and decoding layered compressed video data
US6674796B1 (en) * 2000-02-14 2004-01-06 Harmonic, Inc. Statistical multiplexed video encoding for diverse video formats
US7620062B2 (en) * 2003-05-01 2009-11-17 Genesis Microchips Inc. Method of real time optimizing multimedia packet transmission rate
ATE492953T1 (de) * 2003-09-09 2011-01-15 Sonus Networks Inc Verfahren und vorrichtung zum synchronisierten transport von daten durch ein asynchrones medium
US7634090B2 (en) 2003-09-26 2009-12-15 Genesis Microchip Inc. Packet based high definition high-bandwidth digital content protection
US20060171392A1 (en) * 2005-01-30 2006-08-03 Teng-Yi Jen System and method for extracting and routing audio-visual programs from transport stream packets
US7782805B1 (en) 2005-02-08 2010-08-24 Med Belhadj High speed packet interface and method
US8547997B2 (en) * 2005-04-20 2013-10-01 Jupiter Systems Capture node for use in an audiovisual signal routing and distribution system
US8264521B2 (en) * 2007-04-30 2012-09-11 Cisco Technology, Inc. Media detection and packet distribution in a multipoint conference
US20090154894A1 (en) * 2007-12-12 2009-06-18 Mediatek Inc. Video signal processing apparatus
US8165292B2 (en) * 2008-10-14 2012-04-24 Nagra France Method and system for secure distribution of audiovisual data encapsulated according to a plurality of transport protocols
US8307401B1 (en) * 2008-11-16 2012-11-06 Valens Semiconductor Ltd. Managing compressed and uncompressed video streams over an asymmetric network
KR101238917B1 (ko) 2009-11-12 2013-03-06 한국전자통신연구원 이더넷 장치 및 그의 전송률 조절 방법
KR20110126922A (ko) * 2010-05-18 2011-11-24 삼성전자주식회사 Fm 송신장치, 이를 포함하는 방송수신장치, 및 오디오 송신방법
US20120008768A1 (en) * 2010-07-08 2012-01-12 Texas Instruments Incorporated Mode control engine (mce) for confidentiality and other modes, circuits and processes
JP5771986B2 (ja) * 2010-12-28 2015-09-02 ソニー株式会社 電子機器、電子機器の制御方法および電子機器システム
US9838226B2 (en) 2012-01-27 2017-12-05 Apple Inc. Methods and apparatus for the intelligent scrambling of control symbols
US20140293135A1 (en) * 2013-04-02 2014-10-02 Samsung Electronics Co., Ltd. Power save for audio/video transmissions over wired interface
US9549015B2 (en) * 2014-04-15 2017-01-17 Lattice Semiconductor Corporation Communication of multimedia data streams over multiple communication lanes

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020001041A1 (en) * 2000-06-15 2002-01-03 Isao Sezaki Video transmission apparatus
US6914637B1 (en) * 2001-12-24 2005-07-05 Silicon Image, Inc. Method and system for video and auxiliary data transmission over a serial link
US8266311B2 (en) * 2004-07-29 2012-09-11 Microsoft Corporation Strategies for transmitting in-band control information
CN101159687A (zh) * 2007-11-07 2008-04-09 中国科学院计算技术研究所 一种多通道通信传输数据的系统和装置与方法
CN103269475A (zh) * 2012-02-15 2013-08-28 三星电子株式会社 数据收发设备和数据收发方法
US20140056370A1 (en) * 2012-08-27 2014-02-27 Bruce J. Chang Dynamic skew correction in a multi-lane communication link

Also Published As

Publication number Publication date
US9800642B2 (en) 2017-10-24
WO2015160467A1 (en) 2015-10-22
DE112015001836T5 (de) 2016-12-29
US9549015B2 (en) 2017-01-17
US20170078356A1 (en) 2017-03-16
DE112015001836B4 (de) 2024-07-11
US20150295978A1 (en) 2015-10-15
TW201540061A (zh) 2015-10-16
TWI655866B (zh) 2019-04-01

Similar Documents

Publication Publication Date Title
CN105993158A (zh) 在多个通信通道上进行多媒体数据串流通信的传送器、接收器及非暂态电脑可读媒体
CN101345039B (zh) 一种基于分组的显示接口
CN100555941C (zh) 减少多媒体数据分组开销的技术
CN101295493B (zh) 基于压缩包的多媒体接口以及用于耦合便携式多媒体源和多媒体显示器的方法
CN100596072C (zh) 在数字视频系统中最小化缓冲器需求
US9015357B2 (en) Method and device for providing high speed data transmission with video data
CN100507824C (zh) 用于链路时钟频率与像素/音频时钟频率的枚举法
CN1602001B (zh) 基于数据包的数据流传输调度装置以及应用该装置的方法
CN102377991B (zh) 用于“lvds”型链接的发送和接收视频数字信号的系统
US20090219932A1 (en) Multi-stream data transport and methods of use
CN107408082B (zh) 传输设备、dp源设备、接收设备以及dp接受设备
CN101299183A (zh) 基于数据包的视频显示接口计数方法
CN105491369B (zh) 一种vr视频数据处理系统
CN104809996B (zh) 基于fpga实现mipi多种lane数的数据信号的方法和装置
CN105531687B (zh) 利用转换最小化差分信令(tmds)编码来编码用于经通信接口传输的保护频带数据
CN105493413A (zh) 在多媒体接口中的射频干扰减少
DE102020134479A1 (de) Senden von Displayport 2.0-Informationen unter Verwendung von USB4
CN105427772A (zh) 共用协议层的多通道显示接口信号生成系统及方法
CN103139553A (zh) 一种多媒体信号的传输和转换的设备及其系统
CN103745683B (zh) 基于hdmi接口的led显示屏控制系统
CN106851233A (zh) 一种高清视频光端机edid信息自动更新方法及装置
US20060061517A1 (en) Delivering pixels received at a lower data transfer rate over an interface that operates at a higher data transfer rate
CN103916619B (zh) Dvi视频信号传输方法及装置
CN104717440A (zh) Led发送卡级联接口
CN104778936A (zh) 基于fpga实现mipi信号在hsdt状态下的command功能的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20161005

RJ01 Rejection of invention patent application after publication