CN115334269A - 运动图像通信方法、运动图像通信系统和接收侧装置 - Google Patents

运动图像通信方法、运动图像通信系统和接收侧装置 Download PDF

Info

Publication number
CN115334269A
CN115334269A CN202210497037.4A CN202210497037A CN115334269A CN 115334269 A CN115334269 A CN 115334269A CN 202210497037 A CN202210497037 A CN 202210497037A CN 115334269 A CN115334269 A CN 115334269A
Authority
CN
China
Prior art keywords
moving image
transmission method
transmission
time
delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210497037.4A
Other languages
English (en)
Inventor
渡边敏畅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Woven by Toyota Inc
Original Assignee
Woven Planet Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Woven Planet Holdings Inc filed Critical Woven Planet Holdings Inc
Publication of CN115334269A publication Critical patent/CN115334269A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00—Traffic control in data switching networks
    • H04L47/10—Flow control; Congestion control
    • H04L47/12—Avoiding congestion; Recovering from congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

提供一种运动图像通信方法、运动图像通信系统和接收侧装置。在运动图像的传送中满足高画质和低延迟这两者。第一发送方法发送原运动图像。第二发送方法生成并发送缩小运动图像。通过作为第一和第二发送方法中的任意方法的选择发送方法来发送运动图像。在接收了通过第二发送方法发送的缩小运动图像的情况下，通过应用超分辨率技术来生成改善运动图像。传送时间是从发送侧向接收侧传送运动图像所需要的时间。第一延迟时间是第一发送方法的情况下的传送时间。第二延迟时间是第二发送方法的情况下的传送时间与生成改善运动图像所需要的超分辨率处理时间的和。将与第一延迟时间和第二延迟时间之中更小的一方对应的发送方法选择为选择发送方法。

Description

运动图像通信方法、运动图像通信系统和接收侧装置
技术领域
本公开涉及传送运动图像(video)的技术。
背景技术
在通信中发生拥塞时，有时进行控制通信量的“拥塞控制”(专利文献1)。通过拥塞控制，能够抑制通信延迟，另外能够避免通信断绝。例如，在运动图像的通信时通信速度降低的情况下，考虑在发送侧进行缩小运动图像的图像大小的拥塞控制。
非专利文献1公开了将输入的低分辨率图像变换成高分辨率图像的“超分辨率技术(super resolution)”。特别地，非专利文献1公开了将基于卷积神经网络(CNN:Convolutional Neural Network)的深度学习应用于超分辨率(SR)的SRCNN。通过机器学习得到将输入的低分辨率图像变换(映射)成高分辨率图像的模型。
现有技术文献
专利文献
专利文献1：日本特开2019-009709号公报
非专利文献
非专利文献1：Chao Dong,Chen Change Loy,Kaiming He,and Xiaoou Tang,"Image Super-Resolution Using Deep Convolutional Networks",arXiv:1501.00092v3[cs.CV],July 31,2015(https://arxiv.org/pdf/1501.00092.pdf)
发明内容
发明要解决的课题
考虑经由通信网络的运动图像的传送。从在接收侧的运动图像的利用的观点来说，优选运动图像的画质好，另外通信延迟小。也就是说，优选高画质和低延迟的并存。然而，通信速度降低，在发送侧进行拥塞控制的情况下，向接收侧传送的运动图像的画质降低。
本公开的一个目的在于提供能够在运动图像的传送中满足高画质和低延迟这两者的技术。
用于解决课题的手段
第一观点涉及从发送侧装置向接收侧装置传送运动图像的运动图像通信方法。
运动图像通信方法包含发送处理，该发送处理通过作为第一发送方法和第二发送方法中的任意方法的选择发送方法发送运动图像。
第一发送方法将原运动图像作为运动图像来发送。
第二发送方法通过缩小原运动图像来生成缩小运动图像并将缩小运动图像作为运动图像来发送。
运动图像通信方法还包含：
接收处理，接收发送的运动图像；以及
超分辨率处理，在接收了通过第二发送方法发送的缩小运动图像的情况下，通过对缩小运动图像应用超分辨率技术来生成改善运动图像。
传送时间是从发送侧装置向接收侧装置传送运动图像所需要的时间。
第一延迟时间是第一发送方法的情况的传送时间。
第二延迟时间是第二发送方法的情况的传送时间与通过超分辨率技术生成改善运动图像所需要的超分辨率处理时间的和。
运动图像通信方法还包含：选择处理，比较第一延迟时间和第二延迟时间，将与第一延迟时间和第二延迟时间之中更小的一方对应的发送方法选择为选择发送方法。
第二观点涉及运动图像通信系统。
运动图像通信系统具备：
发送侧装置，通过作为第一发送方法和第二发送方法中的任意方法的选择发送方法来发送运动图像；以及
接收侧装置，接收从发送侧装置发送的运动图像。
第一发送方法将原运动图像作为运动图像来发送。
第二发送方法通过缩小原运动图像来生成缩小运动图像并将缩小运动图像作为运动图像来发送。
接收侧装置在接收了通过第二发送方法发送的缩小运动图像的情况下，通过对缩小运动图像应用超分辨率技术来生成改善运动图像。
传送时间是从发送侧装置向接收侧装置传送运动图像所需要的时间。
第一延迟时间是第一发送方法的情况的传送时间。
第二延迟时间是第二发送方法的情况的传送时间与通过超分辨率技术生成改善运动图像所需要的超分辨率处理时间的和。
接收侧装置比较第一延迟时间和第二延迟时间，将与第一延迟时间和第二延迟时间之中更小的一方对应的发送方法选择为选择发送方法。然后，接收侧装置向发送侧装置通知选择发送方法。
第三观点涉及接收从发送侧装置发送的运动图像的接收侧装置。
发送侧装置通过作为第一发送方法和第二发送方法中的任意方法的选择发送方法来发送运动图像。
第一发送方法将原运动图像作为运动图像来发送。
第二发送方法通过缩小原运动图像来生成缩小运动图像并将缩小运动图像作为运动图像来发送。
接收侧装置具备一个或多个处理器。
一个或多个处理器接收从发送侧装置发送的运动图像，在接收了通过第二发送方法发送的缩小运动图像的情况下，通过对缩小运动图像应用超分辨率技术来生成改善运动图像。
传送时间是从发送侧装置向接收侧装置传送运动图像所需要的时间。
第一延迟时间是第一发送方法的情况的传送时间。
第二延迟时间是第二发送方法的情况的传送时间与通过超分辨率技术生成改善运动图像所需要的超分辨率处理时间的和。
一个或多个处理器还比较第一延迟时间和第二延迟时间，将与第一延迟时间和第二延迟时间之中更小的一方对应的发送方法选择为选择发送方法。然后，一个或多个处理器向发送侧装置通知选择发送方法。
发明效果
根据本公开，将第一发送方法和第二发送方法之中延迟时间变得更小的一方选择为选择发送方法。因此，能够实现运动图像传送的低延迟化。另外，在选择发送方法是第一发送方法的情况下，从发送侧装置向接收侧装置传送原运动图像，因此不发生画质的降低。即使在选择发送方法是第二发送方法的情况下，在接收侧装置中对缩小运动图像应用超分辨率技术，因此改善画质。因此，能够满足高画质和低延迟这两者。
附图说明
图1是示出本公开的实施方式的运动图像通信系统的概要的框图。
图2是示出作为本公开的实施方式的运动图像通信系统的应用例的远程支援系统的概念图。
图3是用于说明本公开的实施方式的运动图像通信系统中的拥塞控制和超分辨率处理的框图。
图4是用于说明本公开的实施方式中的发送方法的决定方法的概念图。
图5是用于说明本公开的实施方式的延迟时间估计处理的概念图。
图6是示出与本公开的实施方式的运动图像通信处理关联的功能结构例的框图。
图7是示出与本公开的实施方式的发送方法切换关联的处理的流程图。
图8是示出与本公开的实施方式的发送方法切换关联的处理的变形例的流程图。
图9是示出本公开的实施方式的移动体的结构例的框图。
图10是示出本公开的实施方式的远程支援装置的结构例的框图。
(附图标记说明)
1：运动图像通信系统；1A：远程支援系统；10：发送侧装置；11：运动图像输入部；12：拥塞控制部；13：接收部；14：发送部；20：接收侧装置；21：接收部；22：超分辨率处理部；23：运动图像输出部；24：存储部；25：发送方法选择部；26：发送部；30：通信网络；100：移动体；110：相机；200：远程支援装置；210：显示装置；240：传送实际结果信息；MS：选择发送方法信息；V0：原运动图像；V1：缩小运动图像；V2：改善运动图像。
具体实施方式
参照附图说明本公开的实施方式。
1.运动图像通信系统
图1是示出本实施方式的运动图像通信系统1的概要的概念图。运动图像通信系统1包含发送侧装置10、接收侧装置20和通信网络30。发送侧装置10和接收侧装置20经由通信网络30相互连接。发送侧装置10和接收侧装置20经由通信网络30相互可通信。例如，发送侧装置10和接收侧装置20进行无线通信。然而，本实施方式不限定于无线通信。
发送侧装置10例如装载于移动体。作为移动体，示例有车辆、机器人、飞翔体等。车辆可以是自动驾驶车辆，也可以是驾驶员驾驶的车辆。作为机器人，示例有物流机器人、作业机器人等。作为飞翔体，示例有飞机、无人机等。
接收侧装置20例如装载于与移动体进行通信的外部装置。例如，外部装置是管理移动体的管理服务器。作为其他例子，外部装置也可以是在远程支援移动体的动作的远程支援装置。进一步地，作为其他例子，外部装置也可以是与发送侧装置10被装载的移动体不同的移动体。
发送侧装置10取得运动图像并将该运动图像发送给接收侧装置20。运动图像经由通信网络30传送给接收侧装置20。接收侧装置20接受运动图像并输出接受的运动图像。
图2示出作为运动图像通信系统1的应用例的远程支援系统1A。发送侧装置10装载于移动体100，接收侧装置20装载于远程支援装置200。远程支援装置200基于从移动体100发送的运动图像来远程支援移动体100的动作。
更详细地，在移动体100中装载有相机110。相机110拍摄移动体100的周围的状况，取得示出该状况的运动图像。发送侧装置10将通过相机110得到的运动图像发送给远程支援装置200。远程支援装置200的接收侧装置20接受从移动体100的发送侧装置10发送的运动图像。远程支援装置200在显示装置210中显示接受的运动图像。操作人员观看在显示装置210中显示的运动图像，掌握移动体100的周围的状况，远程支援移动体100的动作。作为操作人员的远程支援，举例有识别支援、判断支援、远程驾驶等。操作人员的指示从接收侧装置20送给移动体100的发送侧装置10。移动体100根据操作人员的指示进行动作。
从接收侧的运动图像的利用的观点来说，优选运动图像的画质好且通信延迟小。也就是说，优选高画质和低延迟的并存。例如，在上述的远程支援的场景中，运动图像的画质对于操作人员尽量准确地掌握移动体100的周围的状况是重要的。另外，低延迟在要求实时性的远程支援中是重要的。也就是说，高画质和低延迟的并存从远程支援精度的观点来看是理想的。
本公开提供能够在运动图像的传送中满足高画质和低延迟这两者的技术。
2.拥塞控制和超分辨率技术
图3是用于说明本实施方式的运动图像通信系统1中的拥塞控制和超分辨率处理的框图。
发送侧装置10包含拥塞控制部12。运动图像发送时，拥塞控制部12根据需要进行缩小运动图像的图像大小(像素数)的拥塞控制。例如，在通信线路的通信速度(吞吐量)降低到一定水平以下的情况下，拥塞控制部12对运动图像进行拥塞控制。为了方便，将进行拥塞控制前的运动图像称为“原运动图像V0”，将通过缩小原运动图像V0生成的运动图像称为“缩小运动图像V1”。拥塞控制部12通过对原运动图像V0进行拥塞控制来生成缩小运动图像V1。
在进行这样的拥塞控制的情况下，发送侧装置10向接收侧装置20发送缩小运动图像V1来代替原运动图像V0。数据送出量减少，因此能够抑制通信延迟，另外能够避免通信断绝。然而，缩小运动图像V1的画质比原运动图像V0的画质低。这从运动图像的利用的观点来看是不优选的。因此，在本实施方式中，为了在接收侧装置20中改善运动图像的画质，利用“超分辨率技术”。
接收侧装置20包含超分辨率处理部22。超分辨率处理部22基于接收的运动图像的图像大小(像素数)，判断接收的运动图像是原运动图像V0还是缩小运动图像V1。也就是说，超分辨率处理部22判断在发送侧装置10中是否进行了拥塞控制。在判断为进行了拥塞控制的情况下，超分辨率处理部22通过对缩小运动图像V1应用超分辨率技术来改善画质。超分辨率技术能够将输入的低分辨率图像变换成高分辨率图像。作为超分辨率技术的方法，提出有各种各样的方法(例如参照非专利文献1)。在本实施方式中，不特别地限定超分辨率技术的方法。
以下，为了方便，将通过超分辨率技术改善了画质的运动图像称为“改善运动图像V2”。超分辨率处理部22通过对缩小运动图像V1应用超分辨率技术来生成改善运动图像V2。得到比缩小运动图像V1更高画质的改善运动图像V2，因此用户变得容易观察运动图像。例如，在上述的远程支援的场景中，操作人员变得容易准确地掌握移动体100的周围的状况。其结果，提高远程支援精度。
这样，通过在运动图像的传送中组合拥塞控制和超分辨率技术，能够满足高画质和低延迟这两者。
3.运动图像发送方法的切换
3-1.概要
在发送侧装置10中进行拥塞控制的情况下，数据送出量减少，因此通信网络30上的数据传送时间缩短。其另一方面，用于在接收侧装置20中改善画质的超分辨率处理中，也需要某个程度的时间。为了更准确地预估从运动图像的送出至运动图像的利用为止的总延迟时间，优选将在该超分辨率处理中需要的时间也加入到考虑中。根据状况，也有在发送侧装置10中不进行拥塞控制的情况下总延迟时间更小的可能性。
因此，本公开进一步地提供能够根据状况切换运动图像的发送方法的技术。
本实施方式的发送侧装置10能够通过“第一发送方法”和“第二发送方法”这2个种类的发送方法发送运动图像。第一发送方法是不进行拥塞控制而发送原运动图像V0的方法。另一方面，第二发送方法是进行拥塞控制，通过缩小原运动图像V0生成缩小运动图像V1并发送缩小运动图像V1的方法。发送侧装置10通过第一发送方法和第二发送方法中的任意方法将运动图像发送给接收侧装置20。以下，将第一发送方法和第二发送方法之中用于运动图像的发送的一方称为“选择发送方法”。
图4是用于说明选择发送方法的决定方法的概念图。“传送时间”是经由通信网络30从发送侧装置10向接收侧装置20传送运动图像所需要的时间。该传送时间依赖于传送的运动图像的数据量和发送侧装置10与接收侧装置20之间的通信线路的比特率。“第一传送时间Dnorm”是第一发送方法的情况下的传送时间。也就是说，第一传送时间Dnorm是从发送侧装置10向接收侧装置20传送原运动图像V0所需要的时间。另一方面，“第二传送时间Dsr”是第二发送方法的情况下的传送时间。也就是说，第二传送时间Dsr是从发送侧装置10向接收侧装置20传送缩小运动图像V1所需要的时间。
“第一延迟时间Ynorm”是第一发送方法的情况下的延迟时间。该第一延迟时间Ynorm与上述的第一传送时间Dnorm相等(Ynorm＝Dnorm)。另一方面，“第二延迟时间Ysr”是第二发送方法的情况下的延迟时间。该第二延迟时间Ysr被定义为上述的第二传送时间Dsr与超分辨率处理时间γ的和(Ysr＝Dsr+γ)。超分辨率处理时间γ是为了通过对缩小运动图像V1应用超分辨率技术来生成改善运动图像V2而需要的处理时间。这些第一延迟时间Ynorm和第二延迟时间Ysr的估计方法的具体例子将在后面记述。
根据本实施方式，进行第一延迟时间Ynorm和第二延迟时间Ysr的比较。然后，将与第一延迟时间Ynorm和第二延迟时间Ysr之中更小的一方对应的发送方法选择为选择发送方法。也就是说，在第一延迟时间Ynorm在第二延迟时间Ysr以下的情况下，将第一发送方法选择为选择发送方法。另一方面，在第二延迟时间Ysr小于第一延迟时间Ynorm的情况下，将第二发送方法选择为选择发送方法。发送侧装置10通过选择发送方法来发送运动图像。
这样，将第一发送方法和第二发送方法之中延迟时间变得更小的一方选择为选择发送方法。因此，能够使运动图像传送进一步低延迟化。另外，在选择发送方法是第一发送方法的情况下，从发送侧装置10向接收侧装置20传送原运动图像V0，因此不发生画质的降低。即使在选择发送方法是第二发送方法的情况下，在接收侧装置20中对缩小运动图像V1应用超分辨率技术，因此改善画质。因此，能够满足高画质和低延迟这两者。高画质和低延迟的并存例如有助于远程支援精度的提高。
3-2.延迟时间估计处理
以下，说明第一延迟时间Ynorm和第二延迟时间Ysr的估计方法的具体例子。
第一发送方法的情况下的第一延迟时间Ynorm通过下述式子(1)表示。
数学式1
Figure BDA0003633133620000091
α[bps]是发送侧装置10和接收侧装置20之间的通信线路的比特率。X[bit]是原运动图像V0的数据量。X/α[sec]是通信线路中的变动延迟(第一变动延迟)，依赖于原运动图像V0的数据量X和比特率α。β[sec]是通信线路中的固定延迟，不依赖于发送方法。第一发送方法的情况下的第一传送时间Dnorm通过第一变动延迟X/α和固定延迟β的和来表示。
另一方面，第二发送方法的情况下的第二延迟时间Ysr通过下述式子(2)表示。
数学式2
Figure BDA0003633133620000101
X/K[bit]是缩小运动图像V1的数据量。1/K是基于拥塞控制的图像大小的缩小率。也可以将参数K称为基于超分辨率处理的图像大小的扩大率。参数K是固定值。X/(αK)[sec]是通信线路中的变动延迟(第二变动延迟)，依赖于缩小运动图像V1的数据量X/K和比特率α。第二发送方法的情况下的第二传送时间Dsr通过第二变动延迟X/(αK)与固定延迟β的和来表示。如上所述，超分辨率处理时间γ是为了通过对缩小运动图像V1应用超分辨率技术来生成改善运动图像V2而需要的处理时间。作为该超分辨率处理时间γ，也使用固定值。
接收侧装置20能够基于在接收的运动图像中包含的信息，计算出发送的运动图像的数据量(X或者X/K)和传送时间(Dnorm或者Dsr)。具体地，接收侧装置20接收的运动图像的数据量按原样被视为从发送侧装置10发送的运动图像的数据量。另外，在运动图像的各帧中，将发送时刻记录为时间戳。接收侧装置20能够通过取接收时刻和发送时刻的差分来计算出传送时间。
接收侧装置20储存运动图像的数据量(X或者X/K)和传送时间(Dnorm或者Dsr)的组合的数据。然后，接收侧装置20基于固定期间中的运动图像的数据量和传送时间的对应关系的实际结果来估计比特率α和固定延迟β。
图5示出固定期间中的运动图像的数据量(X或者X/K)和传送时间(Dnorm或者Dsr)的分布的一例。横轴表示数据量，纵轴表示传送时间。从上述式子(1)、(2)可以看出，相对于分布的回归线的斜率相当于1/α，回归线的Y截距相当于固定延迟β。因此，接收侧装置20能够通过计算出固定期间中的运动图像的数据量和相对于传送时间的分布的回归线，估计比特率α和固定延迟β。然而，比特率α和固定延迟β的估计方法不限于该例子。也能够进行使用更精密的模型的最优化。
由此，估计比特率α和固定延迟β。参数K和超分辨率处理时间γ是固定值。因此，根据上述式子(1)、(2)，能够计算出(估计)对于相同的数据量X的第一延迟时间Ynorm和第二延迟时间Ysr两者。也就是说，接收侧装置20基于运动图像传送的实际结果来估计比特率α和固定延迟β，进一步地，基于比特率α、固定延迟β和超分辨率处理时间γ来计算出(估计)第一延迟时间Ynorm和第二延迟时间Ysr两者。
3-3.功能结构例
图6是示出与本实施方式的运动图像通信处理关联的功能结构例的框图。
发送侧装置10包含运动图像输入部11、拥塞控制部12、接收部13和发送部14。
运动图像输入部11接受原运动图像V0并将原运动图像V0送给拥塞控制部12。
拥塞控制部12根据需要对原运动图像V0进行拥塞控制。更详细地，拥塞控制部12经由接收部13从接收侧装置20接受选择发送方法信息MS。选择发送方法信息MS是指定选择发送方法的信息。在选择发送方法是第一发送方法的情况下，拥塞控制部12不进行拥塞控制，将原运动图像V0原样地设定为发送运动图像VT。另一方面，在选择发送方法是第二发送方法的情况下，拥塞控制部12通过缩小原运动图像V0来生成缩小运动图像V1，将缩小运动图像V1设定为发送运动图像VT。
发送部14将发送运动图像VT(原运动图像V0或者缩小运动图像V1)发送给接收侧装置20。
接收侧装置20包含接收部21、超分辨率处理部22、运动图像输出部23、存储部24、发送方法选择部25和发送部26。
接收部21接收从发送侧装置10发送的发送运动图像VT。以下，将接收的运动图像称为接收运动图像VR。接收部21将接收运动图像VR送给超分辨率处理部22。
超分辨率处理部22根据需要对接收运动图像VR进行超分辨率处理。更详细地，超分辨率处理部22基于接收运动图像VR的图像大小(像素数)，判断接收运动图像VR是原运动图像V0还是缩小运动图像V1。也就是说，超分辨率处理部22判断在发送侧装置10中是否进行了拥塞控制。在未进行拥塞控制的情况下，超分辨率处理部22将接收运动图像VR(即原运动图像V0)原样地设定为输出运动图像VX。另一方面，在判断为进行了拥塞控制的情况下，超分辨率处理部22通过对缩小运动图像V1应用超分辨率技术来生成改善运动图像V2，将改善运动图像V2设定为输出运动图像VX。
运动图像输出部23输出输出运动图像VX(原运动图像V0或者改善运动图像V2)。例如，运动图像输出部23在显示装置210中显示输出运动图像VX(参照图2)。
另外，接收部21基于在接收运动图像VR中包含的信息，计算出发送运动图像VT的数据量(X或者X/K)和传送时间(Dnorm或者Dsr)。接收部21将计算出的数据量和传送时间的组合的信息通知给存储部24。
存储部24将从接收部21通知的信息作为传送实际结果信息240来储存。也就是说，传送实际结果信息240示出运动图像的数据量(X或者X/K)和传送时间(Dnorm或者Dsr)的对应关系的实际结果。
发送方法选择部25将第一发送方法和第二发送方法中的任意方法选择为选择发送方法。具体地，发送方法选择部25基于固定期间中的传送实际结果信息240，估计比特率α和固定延迟β。进一步地，发送方法选择部25基于比特率α、固定延迟β和超分辨率处理时间γ，计算出第一延迟时间Ynorm和第二延迟时间Ysr这两者(参照上述式子(1)、(2))。
然后，发送方法选择部25比较第一延迟时间Ynorm和第二延迟时间Ysr，将与第一延迟时间Ynorm和第二延迟时间Ysr之中更小的一方对应的发送方法选择为选择发送方法。在第一延迟时间Ynorm为第二延迟时间Ysr以下的情况下，发送方法选择部25将第一发送方法选择为选择发送方法。另一方面，在第二延迟时间Ysr小于第一延迟时间Ynorm的情况下，发送方法选择部25将第二发送方法选择为选择发送方法。发送方法选择部25将指定选择发送方法的选择发送方法信息MS输出给发送部26。
发送部26将选择发送方法信息MS发送给发送侧装置10。也就是说，发送部26将选择发送方法通知给发送侧装置10。
发送侧装置10的接收部13从接收侧装置20接受选择发送方法信息MS，将选择发送方法信息MS输出给拥塞控制部12。拥塞控制部12按照通过选择发送方法信息MS指定的选择发送方法，进行或者不进行拥塞控制。
另外，在发生选择发送方法的切换的情况下，发送方法选择部25也可以将选择发送方法的切换的发生事先通知(预告)给超分辨率处理部22。在该情况下，超分辨率处理部22能够参考事先通知来判断是否进行超分辨率处理。
3-4.处理流程
图7是示出与本实施方式的发送方法切换关联的处理的流程图。
在步骤S10中，发送侧装置10通过作为第一发送方法和所述第二发送方法中的任意方法的选择发送方法来发送运动图像(发送处理)。接收侧装置20接收从发送侧装置10发送的运动图像(接收处理)。
在步骤S20中，接收侧装置20基于在接收运动图像VR中包含的信息，计算出运动图像的数据量(X或者X/K)和传送时间(Dnorm或者Dsr)。接收侧装置20储存示出运动图像的数据量和传送时间的对应关系的实际结果的传送实际结果信息240。
在步骤S30中，接收侧装置20基于固定期间中的传送实际结果信息240，计算出(估计)第一延迟时间Ynorm和第二延迟时间Ysr。
在步骤S40中，接收侧装置20比较第一延迟时间Ynorm和第二延迟时间Ysr。
在第一延迟时间Ynorm为第二延迟时间Ysr以下的情况(步骤S40：是)下，接收侧装置20将第一发送方法选择为选择发送方法(步骤S50)。
另一方面，在第二延迟时间Ysr小于第一延迟时间Ynorm的情况(步骤S40：否)下，接收侧装置20将第二发送方法选择为选择发送方法(步骤S60)。
以上的步骤S20～S60相当于根据状况来选择出选择发送方法的“选择处理”。
在步骤S70中，接收侧装置20进行将选择发送方法通知给发送侧装置10的“通知处理”。发送侧装置10根据从接收侧装置20通知的选择发送方法进行发送处理。
3-5.效果
如以上说明的那样，根据本实施方式，将第一发送方法和第二发送方法之中延迟时间变得更小的一方选择为选择发送方法。因此，能够使运动图像传送进一步地低延迟化。另外，在选择发送方法是第一发送方法的情况下，从发送侧装置10向接收侧装置20传送原运动图像V0，因此不发生画质的降低。即使在选择发送方法是第二发送方法的情况下，在接收侧装置20中对缩小运动图像V1应用超分辨率技术，因此改善画质。因此，能够满足高画质和低延迟这两者。高画质和低延迟的并存例如有助于远程支援精度的提高。
4.变形例
图8是示出变形例的流程图。适当地省略与图7中所示的流程图重复的说明。步骤S10～S30与上述情况是同样的。
在步骤S100中，接收侧装置20(发送方法选择部25)判断是否当前的选择发送方法是第一发送方法并且第一延迟时间Ynorm超过规定的延迟界限Ylim。在当前的选择发送方法是第一发送方法并且第一延迟时间Ynorm超过规定的延迟界限Ylim的情况(步骤S100：是)下，接收侧装置20将第二发送方法选择为选择发送方法(步骤S60)。换言之，接收侧装置20将选择发送方法从第一发送方法强制地切换为第二发送方法。在其以外的情况(步骤S100：否)下，与上述的情况同样地实施步骤S40～S70。
根据变形例，提高运动图像传送的鲁棒性。
5.远程支援系统的结构例
以下，说明图2中示出的远程支援系统1A的具体的结构例。远程支援系统1A包含移动体100和远程支援装置200。移动体100和远程支援装置200相互可通信。远程支援装置200基于从移动体100发送的运动图像，远程支援移动体100的动作。
5-1.移动体
图9是示出移动体100的结构例的框图。移动体100具备相机110、传感器群120、通信装置130、行驶装置140和控制装置150。在本例中，移动体100是车辆、机器人等具备车轮的移动体。
相机110拍摄移动体100的周围的状况，取得示出移动体100的周围的状况的图像。图像典型地是运动图像，但也可以是静止图像。
传感器群120包含检测出移动体100的状态的状态传感器。状态传感器包含速度传感器、加速度传感器、偏航率传感器、舵角传感器等。另外，传感器群120包含检测出移动体100的位置和方位的位置传感器。作为位置传感器，示例有GPS(Global PositioningSystem，全球定位系统)传感器。进一步地，传感器群120也可以包含相机110以外的识别传感器。识别传感器识别(检测出)移动体100的周围的状况。作为识别传感器，示例有LIDAR(Laser Imaging Detection and Ranging，激光雷达)、雷达等。
通信装置130与移动体100的外部进行通信。例如，通信装置130与远程支援装置200进行通信。
行驶装置140包含操舵装置、驱动装置和制动装置。操舵装置转动移动体100的车轮。例如，操舵装置包含动力转向(EPS:Electric Power Steering)装置。驱动装置是发生驱动力的动力源。作为驱动装置，示例有引擎、电动机、轮内马达等。制动装置发生制动力。
控制装置150控制移动体100。控制装置150包含一个或多个处理器151(以下简单地称为处理器151)以及一个或多个存储器152(以下简单地称为存储器152)。处理器151执行各种处理。例如，处理器151包含CPU(Central Processing Unit，中央处理单元)。存储器152保存各种信息。作为存储器152，示例有易失性存储器、非易失性存储器、HDD(Hard DiskDrive，硬盘驱动器)、SSD(Solid State Drive，固态驱动器)等。处理器151通过执行作为计算机程序的控制程序，实现通过处理器151(控制装置150)的各种处理。控制程序保存在存储器152中，或者记录在计算机可读取的记录介质。控制装置150也可以包含一个或多个ECU(Electronic Control Unit，电子控制单元)。
处理器151使用相机110、传感器群120取得移动体信息160。移动体信息160包含通过相机110拍摄的运动图像(即原运动图像V0)。另外，移动体信息160包含示出通过状态传感器检测出的移动体100的状态的状态信息。进一步地，移动体信息160包含示出通过位置传感器检测出的移动体100的位置和方位的位置信息。进一步地，移动体信息160包含与通过识别传感器识别(检测出)的物体相关的物体信息。物体信息示出相对于移动体100的物体的相对位置和相对速度。
另外，处理器151控制移动体100的行驶。行驶控制包含操舵控制、加速控制和减速控制。处理器151通过控制行驶装置140来执行行驶控制。处理器151也可以进行自动驾驶控制。在进行自动驾驶控制的情况下，处理器151基于移动体信息160来生成移动体100的目标轨迹。目标轨迹包含目标位置和目标速度。然后，处理器151执行行驶控制以便移动体100追随目标轨迹。
进一步地，处理器151经由通信装置130与远程支援装置200进行通信。例如，处理器151根据需要将移动体信息160的至少一部分发送给远程支援装置200。
特别地，在需要远程支援的情况下，处理器151将运动图像(原运动图像V0或者缩小运动图像V1)发送给远程支援装置200。此时，处理器151根据需要进行上述的拥塞控制，从原运动图像V0生成缩小运动图像V1，发送缩小运动图像V1。另外，处理器151从远程支援装置200接受选择发送方法信息MS。处理器151根据通过选择发送方法信息指定的选择发送方法进行发送处理。
另外，在要求远程支援的情况下，处理器151从远程支援装置200接收操作人员指示。在接受了操作人员指示的情况下，处理器151根据操作人员指示来执行行驶控制。
以上说明的控制装置150(处理器151、存储器152)和通信装置130相当于本实施方式的“发送侧装置10”。
5-2.远程支援装置
图10是示出本实施方式的远程支援装置200的结构例的框图。远程支援装置200包含显示装置210、输入装置220、通信装置230和信息处理装置250。
显示装置210显示各种信息。作为显示装置210，示例有液晶显示器、有机EL显示器、头戴式显示器、触摸面板等。
输入装置220是用于接受来自操作人员的输入的接口。作为输入装置220，示例有触摸面板、键盘、鼠标等。另外，在远程支援是远程驾驶的情况下，输入装置220包含用于操作人员进行驾驶操作(操舵、加速和减速)的驾驶操作构件。
通信装置230进行与外部的通信。例如，通信装置230与移动体100进行通信。
信息处理装置250进行各种信息处理。信息处理装置250包含一个或多个处理器251(以下简单地称为处理器251)以及一个或多个存储器252(以下简单地称为存储器252)。处理器251执行各种处理。例如、处理器251包含CPU。存储器252保存各种信息。作为存储器252，示例有易失性存储器、非易失性存储器、HDD、SSD等。处理器251通过执行作为计算机程序的远程支援程序，实现信息处理装置250的功能。远程支援程序保存在存储器252中。远程支援程序也可以记录在计算机可读取的记录介质中。远程支援程序也可以经由网络提供。
处理器251执行远程支援移动体100的动作的远程支援处理。远程支援处理包含“信息提供处理”和“操作人员指示通知处理”。
信息提供处理如下所述。处理器251经由通信装置230从移动体100接受远程支援所需的移动体信息260。移动体信息260包含移动体信息160的至少一部分。特别地，移动体信息260包含从移动体100发送的运动图像(原运动图像V0或者缩小运动图像V1)。处理器251根据需要进行上述的超分辨率处理，从缩小运动图像V1生成改善运动图像V2。在该情况下，移动体信息260包含改善运动图像V2。移动体信息260保存在存储器252中。然后，处理器251通过在显示装置210中显示移动体信息260，向操作人员提示移动体信息260。
操作人员观察在显示装置210中显示的运动图像，掌握移动体100的周围的状况。操作人员远程支援移动体100的动作。作为操作人员的远程支援，举例有识别支援、判断支援、远程驾驶等。操作人员使用输入装置220，输入操作人员指示。
操作人员指示通知处理如下所述。处理器251从输入装置220接受由操作人员输入的操作人员指示。然后，处理器251经由通信装置230向移动体100发送操作人员指示。
另外，处理器251执行根据状况选择出选择发送方法的选择处理。具体地，处理器251基于在接收运动图像VR中包含的信息，生成并储存传送实际结果信息240。传送实际结果信息240保存在存储器252中。处理器251基于传送实际结果信息240，计算出(估计)第一延迟时间Ynorm和第二延迟时间Ysr。然后，处理器251比较第一延迟时间Ynorm和第二延迟时间Ysr，选择出选择发送方法。
进一步地，处理器251生成指定选择发送方法的选择发送方法信息MS。然后，处理器251经由通信装置230向移动体100发送选择发送方法信息MS。
以上说明的信息处理装置250(处理器251、存储器252)和通信装置230相当于本实施方式的“接收侧装置20”。

Claims (10)

1.一种运动图像通信方法，从发送侧装置向接收侧装置传送运动图像，其中，
所述运动图像通信方法包含发送处理，该发送处理通过作为第一发送方法和第二发送方法中的任意方法的选择发送方法发送所述运动图像，
所述第一发送方法将原运动图像作为所述运动图像发送，
所述第二发送方法通过缩小所述原运动图像来生成缩小运动图像，将所述缩小运动图像作为所述运动图像发送，
所述运动图像通信方法还包含：
接收处理，接收所发送的所述运动图像；以及
超分辨率处理，在接收到通过所述第二发送方法发送的所述缩小运动图像的情况下，通过对所述缩小运动图像应用超分辨率技术来生成改善运动图像，
传送时间是从所述发送侧装置向所述接收侧装置传送所述运动图像所需要的时间，
第一延迟时间是所述第一发送方法的情况下的所述传送时间，
第二延迟时间是所述第二发送方法的情况下的所述传送时间与通过所述超分辨率技术生成所述改善运动图像所需要的超分辨率处理时间的和，
所述运动图像通信方法还包含：
选择处理，比较所述第一延迟时间和所述第二延迟时间，将与所述第一延迟时间和所述第二延迟时间之中更小的一方对应的发送方法选择为所述选择发送方法。
2.根据权利要求1所述的运动图像通信方法，其中，
所述选择处理包含：
基于在接收的所述运动图像中包含的信息，计算出所述传送时间的处理；以及
基于所述传送时间来估计所述第一延迟时间和所述第二延迟时间这两者的处理。
3.根据权利要求2所述的运动图像通信方法，其中，
所述第一发送方法的情况下的所述传送时间是固定延迟与第一变动延迟的和，
所述第二发送方法的情况下的所述传送时间是所述固定延迟与第二变动延迟的和，
所述第一变动延迟依赖于所述原运动图像的数据量以及所述发送侧装置和所述接收侧装置之间的通信线路的比特率，
所述第二变动延迟依赖于所述缩小运动图像的数据量以及所述比特率，
所述选择处理包含：
基于固定期间中的所述数据量和所述传送时间的对应关系来估计所述比特率和所述固定延迟的处理；以及
基于所述比特率、所述固定延迟和所述超分辨率处理时间，计算出所述第一延迟时间和所述第二延迟时间这两者的处理。
4.根据权利要求1至3中的任一项所述的运动图像通信方法，其中，所述运动图像通信方法还包含：
在所述选择发送方法是所述第一发送方法并且所述第一延迟时间超过规定的延迟界限的情况下，将所述选择发送方法从所述第一发送方法切换为所述第二发送方法的处理。
5.一种运动图像通信系统，具备：
发送侧装置，通过作为第一发送方法和第二发送方法中的任意方法的选择发送方法发送运动图像；以及
接收侧装置，接收从所述发送侧装置发送的所述运动图像，
所述第一发送方法将原运动图像作为所述运动图像发送，
所述第二发送方法通过缩小所述原运动图像来生成缩小运动图像，将所述缩小运动图像作为所述运动图像发送，
所述接收侧装置在接收到通过所述第二发送方法发送的所述缩小运动图像的情况下，通过对所述缩小运动图像应用超分辨率技术来生成改善运动图像，
传送时间是从所述发送侧装置向所述接收侧装置传送所述运动图像所需要的时间，
第一延迟时间是所述第一发送方法的情况下的所述传送时间，
第二延迟时间是所述第二发送方法的情况下的所述传送时间与通过所述超分辨率技术生成所述改善运动图像所需要的超分辨率处理时间的和，
所述接收侧装置比较所述第一延迟时间和所述第二延迟时间，将与所述第一延迟时间和所述第二延迟时间之中更小的一方对应的发送方法选择为所述选择发送方法，将所述选择发送方法通知给所述发送侧装置。
6.根据权利要求5所述的运动图像通信系统，其中，
所述接收侧装置基于在接收的所述运动图像中包含的信息来计算出所述传送时间，基于所述传送时间来估计所述第一延迟时间和所述第二延迟时间这两者。
7.根据权利要求6所述的运动图像通信系统，其中，
所述第一发送方法的情况下的所述传送时间是固定延迟与第一变动延迟的和，
所述第二发送方法的情况下的所述传送时间是所述固定延迟与第二变动延迟的和，
所述第一变动延迟依赖于所述原运动图像的数据量以及所述发送侧装置和所述接收侧装置之间的通信线路的比特率，
所述第二变动延迟依赖于所述缩小运动图像的数据量以及所述比特率，
所述接收侧装置基于固定期间中的所述数据量和所述传送时间的对应关系来估计所述比特率和所述固定延迟，基于所述比特率、所述固定延迟和所述超分辨率处理时间来计算出所述第一延迟时间和所述第二延迟时间这两者。
8.根据权利要求5至7中的任一项所述的运动图像通信系统，其中，
在所述选择发送方法是所述第一发送方法并且所述第一延迟时间超过规定的延迟界限的情况下，所述接收侧装置将所述选择发送方法从所述第一发送方法切换为所述第二发送方法。
9.根据权利要求5至8中的任一项所述的运动图像通信系统，其中，
所述发送侧装置装载于移动体，
所述原运动图像是通过装载于所述移动体的相机取得的，
所述接收侧装置包含于基于所述运动图像来远程支援所述移动体的动作的远程支援装置。
10.一种接收侧装置，接收从发送侧装置发送的运动图像，其中，
所述发送侧装置通过作为第一发送方法和第二发送方法中的任意方法的选择发送方法发送所述运动图像，
所述第一发送方法将原运动图像作为所述运动图像发送，
所述第二发送方法通过缩小所述原运动图像来生成缩小运动图像，将所述缩小运动图像作为所述运动图像发送，
所述接收侧装置具备一个或多个处理器，
所述一个或多个处理器接收从所述发送侧装置发送的所述运动图像，在接收到通过所述第二发送方法发送的所述缩小运动图像的情况下，通过对所述缩小运动图像应用超分辨率技术来生成改善运动图像，
传送时间是从所述发送侧装置向所述接收侧装置传送所述运动图像所需要的时间，
第一延迟时间是所述第一发送方法的情况下的所述传送时间，
第二延迟时间是所述第二发送方法的情况下的所述传送时间与通过所述超分辨率技术生成所述改善运动图像所需要的超分辨率处理时间的和，
所述一个或多个处理器还比较所述第一延迟时间和所述第二延迟时间，将与所述第一延迟时间和所述第二延迟时间之中更小的一方对应的发送方法选择为所述选择发送方法，将所述选择发送方法通知给所述发送侧装置。
CN202210497037.4A 2021-05-10 2022-05-09 运动图像通信方法、运动图像通信系统和接收侧装置 Pending CN115334269A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021079667A JP2022173762A (ja) 2021-05-10 2021-05-10 動画通信方法、動画通信システム、及び受信側装置
JP2021-079667 2021-05-10

Publications (1)

Publication Number Publication Date
CN115334269A true CN115334269A (zh) 2022-11-11

Family

ID=83916389

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210497037.4A Pending CN115334269A (zh) 2021-05-10 2022-05-09 运动图像通信方法、运动图像通信系统和接收侧装置

Country Status (3)

Country Link
US (1) US20220368861A1 (zh)
JP (1) JP2022173762A (zh)
CN (1) CN115334269A (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7319667B1 (en) * 2000-11-15 2008-01-15 Cisco Technology, Inc. Communication system with priority data compression
US10796411B2 (en) * 2018-07-20 2020-10-06 EMC IP Holding Company LLC Super-resolution imaging for a multi-sensor internet of things environment
US11463757B2 (en) * 2018-09-27 2022-10-04 Intel Corporation Media streaming for receiver-enabled resolution
WO2021260970A1 (ja) * 2020-06-26 2021-12-30 ソニーグループ株式会社 ネットワークの制御方法、および、データ処理システム
JP2022146714A (ja) * 2021-03-22 2022-10-05 日本放送協会 受信装置及びプログラム

Also Published As

Publication number Publication date
US20220368861A1 (en) 2022-11-17
JP2022173762A (ja) 2022-11-22

Similar Documents

Publication Publication Date Title
CN112987759B (zh) 基于自动驾驶的图像处理方法、装置、设备及存储介质
WO2018155159A1 (ja) 遠隔映像出力システム、及び遠隔映像出力装置
US10810754B2 (en) Simultaneous localization and mapping constraints in generative adversarial networks for monocular depth estimation
US10809719B2 (en) Systems and methods of controlling an autonomous vehicle using an enhanced trajectory following configuration
JP7258233B2 (ja) 後退ホライズン状態推定器
CN109947103B (zh) 无人驾驶控制方法、装置、系统和承载设备
US20210103815A1 (en) Domain adaptation for robotic control using self-supervised learning
US20210014399A1 (en) Image processing device and method, and image processing system
US20160109883A1 (en) Method and apparatus for offboard navigation of a robotic device
WO2014196925A1 (en) Method and apparatus for offboard navigation of a robotic device
US10762399B2 (en) Using deep video frame prediction for training a controller of an autonomous vehicle
CN110779538A (zh) 相对于自主导航而跨本地和基于云的系统来分配处理资源
US11594125B2 (en) System and method for supporting the prediction of a future signaling of a traffic infrastructure element
US20230244225A1 (en) Control apparatus, control method and program
CN115334269A (zh) 运动图像通信方法、运动图像通信系统和接收侧装置
US20230379492A1 (en) Video transmission method, video transmission system, and control device
CN115714921A (zh) 接收侧装置、画质改善系统以及画质改善方法
US20220353316A1 (en) Communication device, communication method, and non-transitory computer-readable recording medium
US20220318952A1 (en) Remote support system and remote support method
CN116801099A (zh) 控制装置、控制方法以及计算机能够读取的记录介质
US20230013007A1 (en) Moving body control system, moving body control method, and moving body remote support system
WO2024021083A1 (en) Sensor data transfer with self adaptive configurations for autonomous driving vehicle
JP2024060467A (ja) 遠隔操作制御方法、遠隔操作システム、及び移動体
JP7452522B2 (ja) 制御方法、制御装置、及び制御プログラム
US20230385650A1 (en) Information processing device, information processing method, and information processing computer program product

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination