CN111183640A - 发送装置、发送方法和程序 - Google Patents

发送装置、发送方法和程序 Download PDF

Info

Publication number
CN111183640A
CN111183640A CN201880065114.0A CN201880065114A CN111183640A CN 111183640 A CN111183640 A CN 111183640A CN 201880065114 A CN201880065114 A CN 201880065114A CN 111183640 A CN111183640 A CN 111183640A
Authority
CN
China
Prior art keywords
transmission
processing unit
layer
encoding
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201880065114.0A
Other languages
English (en)
Inventor
平尾秀友
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN111183640A publication Critical patent/CN111183640A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/152Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164Feedback from the receiver or from the transmission channel
    • H04N19/166Feedback from the receiver or from the transmission channel concerning the amount of transmission errors, e.g. bit error rate [BER]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2401Monitoring of the client buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637Control signals issued by the client directed to the server or network components
    • H04N21/6377Control signals issued by the client directed to the server or network components directed to server

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本公开涉及发送装置、发送方法和程序,利用其可以发送运动图像,以便以较低的延迟再现运动图像。编码单元对运动图像实施空间可伸缩编码,并且发送处理单元经由网络发送经编码单元编码的逐层图片。参考层控制处理单元控制编码单元,使得如果预期在接收缓冲器中发生下溢的可能性高或接收到对在接收缓冲器中已经发生下溢的效果的反馈,则将参考层限制为中间层。该技术例如可应用于对运动图像进行编码并且发送的发送装置。

Description

发送装置、发送方法和程序
技术领域
本公开涉及发送装置、发送方法和程序,并且更具体地,涉及可以发送运动图像以便以较低的延迟再现运动图像的发送装置、发送方法和程序。
背景技术
常规上,在其中运动图像被编码且经由网络被发送、并且在远程位置处被再现和显示的网络摄像装置系统中,例如,为了不中断地再现运动图像,需要一定程度的延迟。然而,在该延迟增加的情况下,由网络摄像装置系统提供的功能在一些情况下受到不利影响。
例如,在允许远程位置之间的双向会话的通信系统中使用网络摄像装置系统的情况下,预期由于延迟而导致从发言到另一方的响应的时间增加,这使得难以平滑地进行会话。此外,在例如监测远程位置的运动图像并且需要根据远程位置的情况的对策的监视摄像装置系统中使用网络摄像装置系统的情况下,预期由于延迟而将在根据远程位置的情况的对策方面存在延迟。
此处,专利文献1公开了一种技术,其能够在使用可伸缩视频编码的视频通信系统中改善例如误差容限。
引用列表
专利文献
专利文献1:JP 5753341 B1
发明内容
本发明要解决的问题
如上所述,在网络摄像装置系统中发送运动图像并且直到运动图像被再现为止的延迟增加的情况下,存在各种不利影响。因此,需要在尽可能抑制延迟的同时不中断地再现运动图像。
本公开是鉴于这种情况而做出的,并且使得能够发送运动图像以便以较低的延迟再现运动图像。
问题的解决方案
根据本公开的一方面的发送装置包括:编码单元,其对运动图像执行空间可伸缩编码;发送处理单元,其执行经由网络发送经编码单元编码的每个层的图片的处理;以及参考层控制处理单元,其在预测到在接收缓冲器中发生下溢的可能性高或接收到指示在接收缓冲器中已经发生下溢的反馈的情况下,对编码单元进行控制以将在对上层进行编码时要参考的参考层限制为根据下层生成的中间层。
根据本公开的一方面的发送方法包括:由发送运动图像的发送装置对运动图像执行空间可伸缩编码;由发送装置执行经由网络发送经编码的每个层的图片的处理;以及在预测到在接收缓冲器中发生下溢的可能性高或接收到指示在接收缓冲器中已经发生下溢的反馈的情况下,由发送装置执行控制以将在对上层进行编码时要参考的参考层限制为根据下层生成的中间层。
本公开的一方面或一种程序包括使发送运动图像的发送装置的计算机进行以下操作:对运动图像执行空间可伸缩编码;执行经由网络发送经编码的每个层的图片的处理;以及在预测到在接收缓冲器中发生下溢的可能性高或接收到指示在接收缓冲器中已经发生下溢的反馈的情况下,执行控制以将在对上层进行编码时要参考的参考层限制为根据下层生成的中间层。
在本公开的一方面,对运动图像执行空间可伸缩编码,并且执行经由网络发送经编码的每个层的图片的处理。然后,在预测到在接收缓冲器中发生下溢的可能性高或在接收到指示在接收缓冲器中已经发生下溢的反馈的情况下,执行控制以将在对上层进行编码时要参考的参考层限制为根据下层生成的中间层。
本发明的效果
根据本公开的一方面,可以发送运动图像,以便以较低的延迟再现运动图像。
注意,此处描述的效果不必然是限制性的,并且可以是本公开中描述的任何效果。
附图说明
图1是示出应用本技术的网络摄像装置系统的实施方式的配置示例的框图。
图2是示出运动图像的一般传送的图。
图3是示出下溢发生和无效图像传播的状态的图。
图4是示出网络的配置示例的框图。
图5是示出传送路径的延迟模型的图。
图6是说明从两种类型的传送路径中选择较早到达路径的处理的图。
图7是说明控制参考层的处理的图。
图8是示出发送运动图像的发送处理的流程图。
图9是示出应用本技术的计算机的实施方式的配置示例的框图。
具体实施方式
在下文中,将参照附图详细描述应用本技术的具体实施方式。
<网络摄像装置系统的配置示例>
图1是示出应用本技术的网络摄像装置系统的实施方式的配置示例的框图。
如图1所示,通过经由网络25连接成像装置21、发送装置22、接收装置23和显示装置24来配置网络摄像装置系统11。此外,发送装置22包括图像处理单元31、编码单元32、发送处理单元33和传送控制单元34。传送控制单元34包括传送路径选择处理单元35和参考层控制处理单元36。此外,接收装置23包括接收处理单元41、解码单元42和显示处理单元43。接收处理单元41包括接收缓冲器44。
成像装置21包括例如诸如互补金属氧化物半导体(CMOS)图像传感器的成像元件,并且将由成像元件捕获的运动图像提供给发送装置22的图像处理单元31。
图像处理单元31对由成像装置21捕获的运动图像执行各种类型的图像处理,例如执行用于调整运动图像的比特率、分辨率、帧率等的图像处理,并且将获得的运动图像提供给编码单元32。
编码单元32可以对从图像处理单元31提供的运动图像执行空间可伸缩编码,并且将通过对运动图像进行编码获得的图片(I图片、P图片等)的流提供给发送处理单元33。此外,在对运动图像进行编码时,编码单元32可以根据由传送控制单元34执行的传送控制将参考层限制为中间层IL(参见图7)。
发送处理单元33执行经由网络25将从编码单元32提供的图片流发送至接收装置23的发送处理。此时,发送处理单元33可以通过根据由传送控制单元34执行的传送控制的传送路径发送图片。
传送控制单元34使传送路径选择处理单元35和参考层控制处理单元36执行传送控制,使得在网络摄像装置系统11中以低延迟传送运动图像。
传送路径选择处理单元35持续地监测由发送处理单元33执行的对每个图片的发送,获得直到开始传送为止的延迟量和开始传送之后的速率,并且计算其统计值。然后,如将参照稍后描述的图6描述的,传送路径选择处理单元35基于计算的统计量和图片的代码量来选择预测通过其较早地完成传送的传送路径,并且使发送处理单元33通过所选择的传送路径发送图片。
例如,在参考层控制处理单元36基于由传送路径选择处理单元35计算的统计值预测到在接收缓冲器44中很可能发生下溢的情况下,如将参照稍后描述的图7描述的,参考层控制处理单元36使编码单元32将参考层限制为中间层IL。此外,参考层控制处理单元36可以在从接收装置23侧接收到指示在接收缓冲器44中已经发生下溢的反馈的情况下对编码单元32执行类似的控制。
接收处理单元41接收经由网络25传送的图片,并且顺序地将图片临时存储在接收缓冲器44中。然后,接收处理单元41根据帧间隔顺序地从接收缓冲器44中读出已经达到显示定时的图片,并且将图片提供给解码单元42。此外,在经由网络25的运动图像的传送发生延迟、显示定时处的图片接收未完成并且在接收缓冲器44中发生下溢的情况下,接收处理单元41提供向发送装置22侧通知该效果的反馈。
解码单元42将通过对根据帧间隔顺序地从接收处理单元41提供的图片进行解码而获得的运动图像提供给显示处理单元43。
显示处理单元43对从解码单元42提供的运动图像执行显示处理,并且使显示装置24显示要再现的运动图像。
显示装置24例如包括诸如液晶面板或有机电致发光(EL)面板的显示设备,并且显示通过显示处理单元43对其执行了显示处理的运动图像。
在如上所述的那样配置的网络摄像装置系统11中,根据由传送控制单元34执行的传送控制可以减少直到通过接收装置23再现从发送装置22发送的运动图像为止的延迟。
此处,在描述由传送控制单元34执行的传送控制之前,将参照图2和图2描述其中没有通过传送控制单元34执行传送控制的运动图像的一般传送。
如图2所示,在网络摄像装置系统11中,编码单元32对运动图像进行编码,以针对每个帧间隔Tfr生成图片(I图片或P图片),并且经由网络25顺序地传送图片。然后,接收处理单元41在接收缓冲器44中顺序地累积经由网络25接收到的图片,并且根据传送每个图片的传送路径,在网络25上可能出现传送延迟Tfrn。
因此,通常,在经由网络25传送运动图像时,接收处理单元41需要包括具有足够容量的接收缓冲器44,以使得不中断地再现运动图像。于是,可以通过延迟解码单元42执行解码的定时和显示装置24显示运动图像的定时来吸收网络25上发生的传送延迟Tfrn的波动,使得在接收缓冲器44中不发生下溢。如上所述,通过临时在接收缓冲器44中累积图片,在对运动图像进行编码的时间与对运动图像进行解码和显示的时间之间出现延迟。
此处,可以通过使解码单元42执行解码的定时和显示装置24显示运动图像的定时提前来减少延迟。
然而,如果因减少延迟而使得不能覆盖在网络25上发生的最大传送延迟Tfrn,则在接收缓冲器44中发生下溢,如图3所示的那样。
因此,已经发生下溢的图片的解码结果是无效的,并且由于显示无效图像,因此显示装置24的显示被干扰。此外,在后续图片是通过使用帧间(Inter)预测获得的P图片的情况下,无效图像被传播。在这种情况下,通过使用接下来的帧内(Intra)预测获得的I图片恢复正常。因此,取决于I图片之间的间隔,显示装置24的显示干扰可能持续很长时间。
因此,在网络摄像装置系统11中,传送控制单元34可以执行传送控制,该传送控制抑制显示装置24上的显示的这样的干扰,并且使得能够以低延迟传送运动图像。
例如,传送路径选择处理单元35控制发送处理单元33,使得通过相同的传送路径或单独的传送路径发送出由编码单元32对其执行了空间可伸缩编码的相应层的代码。此时,传送路径选择处理单元35选择根据代码量被预测具有小传送延迟的路径作为用于发送出每个层的代码的传送路径。此外,传送路径选择处理单元35可以通过获得直到开始传送为止的延迟量的统计值和开始传送之后的速率的统计值用于传送路径的这样的选择,来提高选择传送路径的准确度。
此外,在例如基于直到开始传送为止的延迟量的统计值和开始传送之后的速率的统计值可以确定上层的代码的传送路径的延迟波动大的情况下,参考层控制处理单元36可以判断在接收缓冲器44中发生下溢的可能性高。因此,在这种情况下,参考层控制处理单元36使编码单元32仅参考来自下层的放大图像。因此,即使上层的下溢发生,也可以抑制无效图像的传播。
因此,网络摄像装置系统11可以通过适当地选择传送路径来抑制传送延迟,并且降低由于使解码时间提前将导致要显示的图像的质量恶化的风险。因此,在网络摄像装置系统11中,可以抑制直到在显示装置24上显示由成像装置21捕获的运动图像为止的延迟。
此处,将参照图4描述网络25的配置和由传送路径选择处理单元35执行的传送路径选择。
例如,如图4所示,多个发送装置22(在图4的示例中,两个发送装置22-1和22-2)连接至网络25,并且多个接收装置23(在图4的示例中,两个接收装置23-1和23-2)连接至网络25。
网络25包括切片分发处理单元(slice distribution processing unit)51和各自构成逻辑网络的多个切片(slice)52。例如,网络25可以根据来自服务提供者的请求灵活地提供网络功能。
切片分发处理单元51与网络25的虚拟化协作,根据业务量和通信内容执行将通信分发给多个切片52的处理。
多个切片52中的每一个是通过将网络25虚拟地划分成多个片段而获得的虚拟网络,并且可以将各种功能添加到每个切片52。在图4所示的示例中,将执行最大努力传送(best effort transfer)的功能添加到切片52-1,将执行高速传送的功能添加到切片52-2,并且将以低延迟执行传送的功能添加到切片52-3。每个切片52所需要的物理资源被自由地组合以使得切片52能够构成逻辑网络。
在像如上所述的那样配置的网络25中那样地可以选择多个传送路径的情况下,传送路径选择处理单元35可以通过选择最适合于目的的传送路径来执行例如以较低延迟发送运动图像的传送控制。
参照图5和图6,将描述由传送路径选择处理单元35执行的传送路径选择。
图5示出传送路径的延迟模型。
例如,如图5所示,在通过具有传送开始等待时间d和传送速率r的线性表达式来表达传送路径中的延迟的情况下,如以下表达式(1)所示,代码量M的传送花费时间T。
[数学表达式1]
Figure BDA0002438962170000071
于是,如图6所示,在存在具有不同的传送开始等待时间d和传送速率r的两种类型的传送路径的情况下,预测通过其较早地完成传送的传送路径(较早到达路径)取决于代码量M。因此,传送路径选择处理单元35可以掌握每个传送路径中的传送开始等待时间d和传送速率r,并且可以通过计算获得切换较早到达路径的边界代码量Mth。然后,传送路径选择处理单元35可以通过将编码结果的代码量与边界代码量Mth进行比较来选择较早到达路径。
例如,传送路径选择处理单元35存储实际值作为传送开始等待时间d和传送速率r,计算平均值和标准偏差的统计值,并且可以基于统计值来预测较早到达路径。即,通过使用速率平均值rM、延迟平均值dM、速率标准偏差s(r)、延迟标准偏差s(d)和预测参数n,传送路径选择处理单元35可以通过计算以下表达式(2)来获得预测速率rP和预测延迟dP。
[数学表达式2]
Figure BDA0002438962170000072
此处,表达式(2)中使用的预测参数n越大,预测越悲观,其中速率越低并且延迟越大。
注意,由传送路径选择处理单元35用于获得统计值的传送开始等待时间d和传送速率r的实际值可以在发送装置22中累积,或者可以经由网络25从收集多个发送装置22的累积信息的服务器获得。此外,由于考虑传送开始等待时间d和传送速率r的实际值取决于时间带和位置,因此可以通过根据每个时间点和位置信息的实际值生成映射来提高预测准确度。
传送路径选择处理单元35针对多个传送路径中的每一个计算由此获得的预测速率rP和预测延迟dP。传送路径选择处理单元35可以基于预测速率rP和预测延迟dP来计算图6所示的边界代码量Mth,并且可以选择较早到达路径。
例如,通过使用传送路径A的预测速率rPA和预测延迟dPA以及传送路径B的预测速率rPB和预测延迟dPB,如以下表达式(3)所示的那样来计算图6所示的边界代码量Mth和达到边界代码量Mth的时间Tth
[数学表达式3]
Figure BDA0002438962170000081
然后,传送路径选择处理单元35使用边界代码量Mth,并且在传送路径B的预测速率rPB大于传送路径A的预测速率rPA(rPB>rPA)并且代码量M大于边界代码量Mth(M>Mth)的情况下选择传送路径B。相反,在传送路径B的预测速率rPB大于传送路径A的预测速率rPA(rPB>rPA)并且代码量M等于或小于边界代码量Mth(M≤Mth)的情况下,传送路径选择处理单元35选择传送路径A。即,在所示的示例中,预测直到到达边界代码量Mth时的时间Tth为止,通过传送路径A的传送较早地完成,并且预测在时间Tth之后,通过传送路径B的传送较早地完成。
注意,传送成本的元素可以被包括在边界代码量Mth中。例如,在传送路径A的比特单价cA大于传送路径B的比特单价cB(cA>cB)的情况下,可以通过将边界代码量Mth乘以系数(=cB/cA)而在考虑延迟和传送成本的情况下选择传送路径。
如上所述,在网络摄像装置系统11中,可以通过选择预测通过其较早地完成传送的传送路径,以较低的延迟来发送运动图像。
将参照图7描述参考层控制处理单元36控制参考层的处理。
在发送装置22中,编码单元32可以针对运动图像的编码执行空间可伸缩编码。即,编码单元32执行编码以根据由成像装置21捕获的运动图像生成具有包括低分辨率基本层BL和高分辨率增强层EL的层级结构的流。
例如,在基本层BL中,编码单元32通过仅参考基本层BL自身的解码图像来执行对P图片的编码;然而,在增强层EL中,除了增强层EL自身的解码图像之外,编码单元32还可以参考作为基本层BL的解码图像的放大图像的中间层IL。因此,由于这种依赖关系,基本层BL的编码在时间序列中先于增强层EL的编码。
此外,在由编码单元32生成的流中,可以独立地发送基本层BL与增强层EL。因此,发送处理单元33可以在增强层EL之前发送出基本层BL。
然后,关于基本层BL和增强层EL的发送,传送路径选择处理单元35基于基本层BL和增强层EL中的每一个的流的代码量与上述边界代码量Mth进行比较,以能够单独地选择传送路径。例如,对于代码量较小的基本层BL,根据分辨率之间的大小关系,很可能选择具有较低延迟的传送路径(例如,图4中的切片52-3),并且与代码量较大的增强层EL中的情况相比,可以降低将发生下溢的风险。相反,增强层EL的通过具有较大延迟波动的传送路径的可能性较高。
因此,参考层控制处理单元36可以基于由传送路径选择处理单元35计算的统计值来预测在延迟的绝对值增大或波动增大时在接收缓冲器44中发生下溢的可能性高。基于此,参考层控制处理单元36使编码单元32将参考层限制为中间层IL。此外,在从接收装置23侧接收到指示在接收缓冲器44中已经发生下溢的反馈的情况下,参考层控制处理单元36类似地使编码单元32将参考层限制为中间层IL。
在这种情况下,编码单元32仅参考中间层IL来对增强层EL进行编码。因此,解码单元42在不参考无效图像的情况下执行解码,并且因此可以停止参考由于下溢而生成的无效图像进行解码。因此,在接收装置23中,当解码单元42执行解码并且显示处理单元43执行在显示装置24上进行显示的处理时,可以抑制无效图像的传播并且将图像恢复成正常图像。
如上所述,在网络摄像装置系统11中,即使由于在传送路径中发生延迟而在接收缓冲器44中发生下溢,也可以防止无效图像传播。
图8是示出发送装置22发送运动图像的发送处理的流程图。
例如,当将由成像装置21捕获的运动图像提供给发送装置22时,开始该处理。在步骤S11中,编码单元32对已通过图像处理单元31执行了图像处理的运动图像执行空间可伸缩编码。因此,编码单元32生成具有包括低分辨率基本层BL和高分辨率增强层EL的层级结构的流,并且将该流提供给发送处理单元33。
在步骤S12中,编码单元32将在步骤S11中编码的基本层BL和增强层EL的代码量通知给传送控制单元34的传送路径选择处理单元35。
在步骤S13中,传送路径选择处理单元35将基本层BL和增强层EL的代码量与边界代码量Mth(参见图6)进行比较,并且基于比较结果来选择预测通过其较早地完成传送的传送路径。然后,传送路径选择处理单元35使发送处理单元33通过所选择的传送路径执行发送。
在步骤S14中,发送处理单元33通过在步骤S13中由传送路径选择处理单元35选择的传送路径,发送在步骤S11中从编码单元32提供的基本层BL和增强层EL。
在步骤S15中,参考层控制处理单元36判断是否预测到在接收缓冲器44中发生下溢的高可能性,或者是否从接收装置23侧接收到指示在接收缓冲器44中已经发生下溢的反馈。
在步骤S15中,在没有预测到在接收缓冲器44中发生下溢的高可能性的情况下,并且在判断没有从接收装置23侧接收到指示在接收缓冲器44中已经发生下溢的反馈的情况下,处理返回到步骤S11,并且此后重复类似的处理。
相反,在步骤S15中,在预测到在接收缓冲器44中发生下溢的高可能性的情况下,或者在从接收装置23侧接收到指示在接收缓冲器44中已经发生下溢的反馈的情况下,处理进行到步骤S16。
在步骤S16中,在参考层控制处理单元36使编码单元32将参考层限制为中间层IL之后,处理返回到步骤S11。在这种情况下,编码单元32仅在下一步骤S11中仅参考中间层IL来对增强层EL进行编码。
此后,重复类似的处理,直到停止提供由成像装置21捕获的运动图像为止。
如上所述,在网络摄像装置系统11中,在发送装置22中,传送控制单元34可以基于传送延迟的统计量适应性地选择传送路径。因此,可以使传送延迟保持为低的,并且因此,可以降低在接收装置23中的接收缓冲器44中发生下溢的风险。
此外,在网络摄像装置系统11中,在发送装置22中编码单元32执行空间可伸缩编码。然后,在网络摄像装置系统11中,例如,通过根据上层的代码的传送路径的延迟波动适应性地选择上层的参考层,即使在接收缓冲器44中发生下溢时,也可以防止无效图像的传播,并且可以抑制显示装置24上显示的图像的质量的恶化。
如上所述,在网络摄像装置系统11中,可以降低在接收缓冲器44中发生下溢的风险,并且可以防止无效图像的传播,并且因此可以将解码单元42开始解码的定时提前。因此,网络摄像装置系统11可以经由网络25发送由成像装置21捕获的运动图像,使得以较低的延迟在显示装置24上再现运动图像。
因此,网络摄像装置系统11可以提高需要对经由网络25接收到的远程位置处的图像作出响应或答复的应用(例如,视频呼叫、监视摄像装置等)的便利性。
<计算机配置示例>
注意,参照上述流程图描述的处理不必然需要根据流程图中描述的顺序以时间序列顺序进行处理,并且可以包括并行或单独执行的处理(例如,并行处理或基于对象的处理)。此外,程序可以由一个CPU处理或者可以由多个CPU以分发式方式处理。
此外,上述一系列处理(发送方法)可以由硬件执行,或者可以由软件执行。在由软件执行这一系列处理的情况下,构成软件的程序从上面记录有程序的程序记录介质被安装到内置到专用硬件中的计算机或例如安装有各种程序以便能够执行各种功能通用个人计算机等。
图9是示出根据程序执行上述一系列处理的计算机的硬件配置的示例的框图。
在计算机中,中央处理单元(CPU)101、只读存储器(ROM)102和随机存取存储器(RAM)103通过总线104相互连接。
此外,输入/输出接口105连接至总线104。以下部件连接至输入/输出接口105:输入单元106,其包括键盘、鼠标、麦克风等;输出单元107,其包括显示器、扬声器等;存储单元108,其包括硬盘、非易失性存储器等;通信单元109,其包括网络接口等;以及驱动器110,其驱动可移除介质111,例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述的那样配置的计算机中,例如,CPU 101经由输入/输出接口105和总线104将存储单元108中存储的程序加载至RAM 103中,并且执行该程序,并且因此执行上述一系列处理。
由计算机(CPU 101)执行的程序被记录在可移除介质111上,该可移除介质111是包括例如磁盘(包括软盘)、光盘(致密盘只读存储器(CD-ROM)、数字通用光盘(DVD)等)、磁光盘或半导体存储器等的封装介质,或者经由诸如局域网、因特网或数字卫星广播的有线或无线电传送介质来提供由计算机(CPU 101)执行的程序。
于是,可以通过将可移除介质111安装在驱动器110中,经由输入/输出接口105将程序安装到存储单元108。此外,程序可以由通信单元109经由有线或无线传送介质接收,并且可以被安装在存储单元108中。此外,可以将程序预先安装在ROM 102或存储单元108中。
<配置组合的示例>
注意,本技术也可以配置如下。
(1)
一种发送装置,包括:
编码单元,其对运动图像执行空间可伸缩编码;
发送处理单元,其执行经由网络发送经所述编码单元编码的每个层的图片的处理;以及
参考层控制处理单元,其在预测到在接收缓冲器中发生下溢的可能性高或接收到指示在所述接收缓冲器中已经发生下溢的反馈的情况下,对所述编码单元进行控制以将在对上层进行编码时要参考的参考层限制为根据下层生成的中间层。
(2)
根据以上(1)所述的发送装置,还包括:
传送路径选择处理单元,其根据经所述编码单元编码的每个层的图片的代码量来选择如下传送路径:预测通过该传送路径较早地完成传送,并且所述传送路径选择处理单元对所述发送处理单元进行控制以通过所选择的传送路径执行发送。
(3)
根据以上(2)所述的发送装置,
其中,所述传送路径选择处理单元基于所述图片的代码量与边界代码量之间的比较来选择所述传送路径,所述边界代码量是通过使用直到在所述发送处理单元中开始传送为止的延迟量的统计值和所述发送处理单元开始传送之后的速率的统计量而获得的。
(4)
根据以上(3)所述的发送装置,
其中,所述参考层控制处理单元基于所述延迟量的统计值和所述速率的统计量来预测在所述接收缓冲器中发生下溢的可能性是否为高的。
(5)
根据以上(1)至(4)中任一项所述的发送装置,
其中,所述网络包括通过虚拟地划分所述网络的整体而获得的、并且添加有相应功能的多个虚拟网络。
(6)
一种发送方法,包括:
由发送运动图像的发送装置对所述运动图像执行空间可伸缩编码;
由所述发送装置执行经由网络发送经编码的每个层的图片的处理;以及
在预测到在接收缓冲器中发生下溢的可能性高或接收到指示在所述接收缓冲器中已经发生下溢的反馈的情况下,由所述发送装置执行控制以将在对上层进行编码时要参考的参考层限制为根据下层生成的中间层。
(7)
一种程序,所述程序使得发送运动图像的发送装置的计算机执行处理,所述处理包括:
对所述运动图像执行空间可伸缩编码;
执行经由网络发送经编码的每个层的图片的处理;以及
在预测到在接收缓冲器中发生下溢的可能性高或接收到指示在所述接收缓冲器中已经发生下溢的反馈的情况下,执行控制以将在对上层进行编码时要参考的参考层限制为根据下层生成的中间层。
注意,本实施方式不限于上述的实施方式,并且在不脱离本公开的范围的情况下可以进行各种修改。此外,本说明书中描述的效果仅是说明性的而不是限制性的,并且可以具有其他效果。
附图标记列表
11网络摄像装置系统,21成像装置,22发送装置,23接收装置,24显示装置,25网络,31图像处理单元,32编码单元,33发送处理单元,34传送控制单元,35传送路径选择处理单元,36参考层控制处理单元,41接收处理单元,42解码单元,43显示处理单元,44接收缓冲器,51切片分发处理单元,52-1至52-3切片

Claims (7)

1.一种发送装置,包括:
编码单元,所述编码单元对运动图像执行空间可伸缩编码;
发送处理单元,所述发送处理单元执行经由网络发送经所述编码单元编码的每个层的图片的处理;以及
参考层控制处理单元,所述参考层控制处理单元在预测到在接收缓冲器中发生下溢的可能性高或接收到指示在所述接收缓冲器中已经发生下溢的反馈的情况下,对所述编码单元进行控制以将在对上层进行编码时要参考的参考层限制为根据下层生成的中间层。
2.根据权利要求1所述的发送装置,还包括:
传送路径选择处理单元,所述传送路径选择处理单元根据经所述编码单元编码的每个层的图片的代码量来选择如下传送路径:预测通过该传送路径较早地完成传送,并且所述传送路径选择处理单元对所述发送处理单元进行控制以通过所选择的传送路径执行发送。
3.根据权利要求2所述的发送装置,
其中,所述传送路径选择处理单元基于所述图片的代码量与边界代码量之间的比较来选择所述传送路径,所述边界代码量是通过使用直到在所述发送处理单元中开始传送为止的延迟量的统计值和所述发送处理单元开始传送之后的速率的统计量而获得的。
4.根据权利要求3所述的发送装置,
其中,所述参考层控制处理单元基于所述延迟量的统计值和所述速率的统计量来预测在所述接收缓冲器中发生下溢的可能性是否为高的。
5.根据权利要求1所述的发送装置,
其中,所述网络包括通过虚拟地划分所述网络的整体而获得的、并且添加有相应功能的多个虚拟网络。
6.一种发送方法,包括:
由发送运动图像的发送装置对所述运动图像执行空间可伸缩编码;
由所述发送装置执行经由网络发送经编码的每个层的图片的处理;以及
在预测到在接收缓冲器中发生下溢的可能性高或接收到指示在所述接收缓冲器中已经发生下溢的反馈的情况下,由所述发送装置执行控制以将在对上层进行编码时要参考的参考层限制为根据下层生成的中间层。
7.一种程序,所述程序使得发送运动图像的发送装置的计算机执行处理,所述处理包括:
对所述运动图像执行空间可伸缩编码;
执行经由网络发送经编码的每个层的图片的处理;以及
在预测到在接收缓冲器中发生下溢的可能性高或接收到指示在所述接收缓冲器中已经发生下溢的反馈的情况下,执行控制以将在对上层进行编码时要参考的参考层限制为根据下层生成的中间层。
CN201880065114.0A 2017-10-11 2018-09-27 发送装置、发送方法和程序 Withdrawn CN111183640A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017-197723 2017-10-11
JP2017197723 2017-10-11
PCT/JP2018/035841 WO2019073802A1 (ja) 2017-10-11 2018-09-27 送信装置および送信方法、並びにプログラム

Publications (1)

Publication Number Publication Date
CN111183640A true CN111183640A (zh) 2020-05-19

Family

ID=66100712

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880065114.0A Withdrawn CN111183640A (zh) 2017-10-11 2018-09-27 发送装置、发送方法和程序

Country Status (9)

Country Link
US (1) US11070827B2 (zh)
EP (1) EP3678372A4 (zh)
JP (1) JP7173028B2 (zh)
KR (1) KR20200058431A (zh)
CN (1) CN111183640A (zh)
BR (1) BR112020006752A2 (zh)
RU (1) RU2020112245A (zh)
TW (1) TW201933867A (zh)
WO (1) WO2019073802A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023072068A1 (zh) * 2021-10-27 2023-05-04 华为技术有限公司 图像编解码方法和装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4120639B1 (en) * 2020-03-30 2024-02-14 Sony Group Corporation Information processing device and information processing system
US20230136388A1 (en) * 2020-03-31 2023-05-04 Sony Group Corporation Information processing apparatus and information processing method
WO2022185795A1 (ja) * 2021-03-05 2022-09-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE790089A (fr) 1971-10-14 1973-04-13 Ici Ltd Derives de l'imidazole
JP2000236547A (ja) * 1998-12-15 2000-08-29 Sony Corp 画像情報変換装置及び画像情報変換方法
CN101421936B (zh) 2006-03-03 2016-09-21 维德约股份有限公司 用于在可缩放视频通信中提供差错弹性、随机接入和率控制的系统和方法
RU2534370C2 (ru) * 2010-05-06 2014-11-27 Ниппон Телеграф Энд Телефон Корпорейшн Способ и устройство управления кодированием видео
JP2015019319A (ja) * 2013-07-12 2015-01-29 キヤノン株式会社 符号化装置、符号化方法及びプログラム
JP2016184844A (ja) * 2015-03-26 2016-10-20 ソニー株式会社 画像処理装置および方法
WO2017100769A1 (en) 2015-12-11 2017-06-15 Vid Scale, Inc. Scheduling multiple-layer video segments

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023072068A1 (zh) * 2021-10-27 2023-05-04 华为技术有限公司 图像编解码方法和装置

Also Published As

Publication number Publication date
JP7173028B2 (ja) 2022-11-16
BR112020006752A2 (pt) 2020-10-06
US11070827B2 (en) 2021-07-20
TW201933867A (zh) 2019-08-16
KR20200058431A (ko) 2020-05-27
RU2020112245A (ru) 2021-09-27
WO2019073802A1 (ja) 2019-04-18
EP3678372A4 (en) 2020-09-09
EP3678372A1 (en) 2020-07-08
JPWO2019073802A1 (ja) 2020-11-12
RU2020112245A3 (zh) 2022-01-21
US20200314439A1 (en) 2020-10-01

Similar Documents

Publication Publication Date Title
CN111183640A (zh) 发送装置、发送方法和程序
JP4900976B2 (ja) 画像ストリーミング・システム内の圧縮レベルを切り換える方法、並びに、システム、サーバ、及びコンピュータ・プログラム
US8660191B2 (en) Software video decoder display buffer underflow prediction and recovery
US8831101B2 (en) Method and system for determining a metric for comparing image blocks in motion compensated video coding
JP4358215B2 (ja) 動画像符号化装置及びその方法
JP5994367B2 (ja) 動画像符号化装置、動画像符号化方法
US20100017530A1 (en) Priority-Based Physical Layer Transmission Rate Control For Video Streaming Over Wireless Networks
EP3123730B1 (en) Enhanced distortion signaling for mmt assets and isobmff with improved mmt qos descriptor having multiple qoe operating points
US11409415B1 (en) Frame interpolation for media streaming
JP6234660B2 (ja) 動画像復号装置
JP6234659B2 (ja) 動画像復号装置
JP2007288761A (ja) 画像配信システム、画像処理装置および方法、配信装置および方法、並びにプログラム
JP6194973B2 (ja) 動画像復号装置及び動画像復号方法
CN106685904B (zh) 串流数据的编码排程方法与装置
JP2012074844A (ja) マルチストリーム符号化制御装置及びカメラシステム
JP6394766B2 (ja) 動画像符号化装置及び動画像符号化方法
US20130287100A1 (en) Mechanism for facilitating cost-efficient and low-latency encoding of video streams
JP6146502B2 (ja) 動画像符号化復号システム及び動画像符号化復号方法
JP6288129B2 (ja) 動画像復号装置及び動画像復号方法
JP6194974B2 (ja) 動画像復号装置及び動画像復号方法
JP6249040B2 (ja) 動画像復号方法
JP6164324B2 (ja) 動画像復号方法
CN115334310A (zh) 视频数据编码方法、装置、电子设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200519