JP2022173762A - 動画通信方法、動画通信システム、及び受信側装置 - Google Patents
動画通信方法、動画通信システム、及び受信側装置 Download PDFInfo
- Publication number
- JP2022173762A JP2022173762A JP2021079667A JP2021079667A JP2022173762A JP 2022173762 A JP2022173762 A JP 2022173762A JP 2021079667 A JP2021079667 A JP 2021079667A JP 2021079667 A JP2021079667 A JP 2021079667A JP 2022173762 A JP2022173762 A JP 2022173762A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- transmission
- transmission method
- time
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 261
- 238000004891 communication Methods 0.000 title claims description 78
- 230000005540 biological transmission Effects 0.000 claims abstract description 296
- 238000012545 processing Methods 0.000 claims abstract description 61
- 238000005516 engineering process Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 17
- 230000015654 memory Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 14
- 230000010365 information processing Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
- H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
- H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
Landscapes
- Engineering & Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Computer Graphics (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】動画の伝送において高画質と低遅延の両方を満たすこと。【解決手段】第1送信手法は、元動画を送信する。第2送信手法は、元動画を縮小することによって縮小動画を生成し、縮小動画を送信する。第1送信手法と第2送信手法のいずれかである選択送信手法によって動画は送信される。第2送信手法によって送信された縮小動画を受信した場合、縮小動画に超解像技術を適用することによって改善動画が生成される。伝送時間は、送信側から受信側への動画の伝送に要する時間である。第1遅延時間は、第1送信手法の場合の伝送時間である。第2遅延時間は、第2送信手法の場合の伝送時間と、超解像技術による改善動画の生成に要する超解像処理時間との和である。第1遅延時間と第2遅延時間のうちより小さい方に対応する送信手法が、選択送信手法として選択される。【選択図】図7
Description
本開示は、動画を伝送する技術に関する。
通信において輻輳が発生したとき、通信トラヒックを制御する「輻輳制御」が行わることがある(特許文献1)。輻輳制御により、通信遅延を抑制し、また、通信途絶を回避することが可能となる。例えば、動画の通信時に通信速度が低下した場合、送信側において動画の画像サイズを縮小する輻輳制御を行うことが考えられる。
非特許文献1は、入力される低解像度画像を高解像度画像に変換する「超解像技術(super resolution)」を開示している。特に、非特許文献1は、畳み込みニューラルネットワーク(CNN: Convolutional Neural Network)に基づくディープラーニングを超解像(SR)に適用したSRCNNを開示している。入力される低解像度画像を高解像度画像に変換(マッピング)するモデルが、機械学習により得られる。
Chao Dong, Chen Change Loy, Kaiming He, and Xiaoou Tang, "Image Super-Resolution Using Deep Convolutional Networks", arXiv:1501.00092v3 [cs.CV], July 31, 2015 (https://arxiv.org/pdf/1501.00092.pdf)
通信ネットワークを介した動画の伝送について考える。受信側での動画の利用の観点から言えば、動画の画質が良く、また、通信遅延が小さいことが好ましい。すなわち、高画質と低遅延の両立が好ましい。しかしながら、通信速度が低下し、送信側において輻輳制御が行われる場合、受信側に伝送される動画の画質が低下する。
本開示の1つの目的は、動画の伝送において高画質と低遅延の両方を満たすことができる技術を提供することにある。
第1の観点は、送信側装置から受信側装置へ動画を伝送する動画通信方法に関連する。
動画通信方法は、第1送信手法と第2送信手法のいずれかである選択送信手法によって動画を送信する送信処理を含む。
第1送信手法は、元動画を動画として送信する。
第2送信手法は、元動画を縮小することによって縮小動画を生成し、縮小動画を動画として送信する。
動画通信方法は、更に、
送信された動画を受信する受信処理と、
第2送信手法によって送信された縮小動画を受信した場合、縮小動画に超解像技術を適用することによって改善動画を生成する超解像処理と
を含む。
伝送時間は、送信側装置から受信側装置への動画の伝送に要する時間である。
第1遅延時間は、第1送信手法の場合の伝送時間である。
第2遅延時間は、第2送信手法の場合の伝送時間と、超解像技術による改善動画の生成に要する超解像処理時間との和である。
動画通信方法は、更に、第1遅延時間と第2遅延時間とを比較し、第1遅延時間と第2遅延時間のうちより小さい方に対応する送信手法を選択送信手法として選択する選択処理を含む。
動画通信方法は、第1送信手法と第2送信手法のいずれかである選択送信手法によって動画を送信する送信処理を含む。
第1送信手法は、元動画を動画として送信する。
第2送信手法は、元動画を縮小することによって縮小動画を生成し、縮小動画を動画として送信する。
動画通信方法は、更に、
送信された動画を受信する受信処理と、
第2送信手法によって送信された縮小動画を受信した場合、縮小動画に超解像技術を適用することによって改善動画を生成する超解像処理と
を含む。
伝送時間は、送信側装置から受信側装置への動画の伝送に要する時間である。
第1遅延時間は、第1送信手法の場合の伝送時間である。
第2遅延時間は、第2送信手法の場合の伝送時間と、超解像技術による改善動画の生成に要する超解像処理時間との和である。
動画通信方法は、更に、第1遅延時間と第2遅延時間とを比較し、第1遅延時間と第2遅延時間のうちより小さい方に対応する送信手法を選択送信手法として選択する選択処理を含む。
第2の観点は、動画通信システムに関連する。
動画通信システムは、
第1送信手法と第2送信手法のいずれかである選択送信手法によって動画を送信する送信側装置と、
送信側装置から送信される動画を受信する受信側装置と
を備える。
第1送信手法は、元動画を動画として送信する。
第2送信手法は、元動画を縮小することによって縮小動画を生成し、縮小動画を動画として送信する。
受信側装置は、第2送信手法によって送信された縮小動画を受信した場合、縮小動画に超解像技術を適用することによって改善動画を生成する。
伝送時間は、送信側装置から受信側装置への動画の伝送に要する時間である。
第1遅延時間は、第1送信手法の場合の伝送時間である。
第2遅延時間は、第2送信手法の場合の伝送時間と、超解像技術による改善動画の生成に要する超解像処理時間との和である。
受信側装置は、第1遅延時間と第2遅延時間とを比較し、第1遅延時間と第2遅延時間のうちより小さい方に対応する送信手法を選択送信手法として選択する。そして、受信側装置は、選択送信手法を送信側装置に通知する。
動画通信システムは、
第1送信手法と第2送信手法のいずれかである選択送信手法によって動画を送信する送信側装置と、
送信側装置から送信される動画を受信する受信側装置と
を備える。
第1送信手法は、元動画を動画として送信する。
第2送信手法は、元動画を縮小することによって縮小動画を生成し、縮小動画を動画として送信する。
受信側装置は、第2送信手法によって送信された縮小動画を受信した場合、縮小動画に超解像技術を適用することによって改善動画を生成する。
伝送時間は、送信側装置から受信側装置への動画の伝送に要する時間である。
第1遅延時間は、第1送信手法の場合の伝送時間である。
第2遅延時間は、第2送信手法の場合の伝送時間と、超解像技術による改善動画の生成に要する超解像処理時間との和である。
受信側装置は、第1遅延時間と第2遅延時間とを比較し、第1遅延時間と第2遅延時間のうちより小さい方に対応する送信手法を選択送信手法として選択する。そして、受信側装置は、選択送信手法を送信側装置に通知する。
第3の観点は、送信側装置から送信される動画を受信する受信側装置に関連する。
送信側装置は、第1送信手法と第2送信手法のいずれかである選択送信手法によって動画を送信する。
第1送信手法は、元動画を動画として送信する。
第2送信手法は、元動画を縮小することによって縮小動画を生成し、縮小動画を動画として送信する。
受信側装置は、1又は複数のプロセッサを備える。
1又は複数のプロセッサは、
送信側装置から送信される動画を受信し、
第2送信手法によって送信された縮小動画を受信した場合、縮小動画に超解像技術を適用することによって改善動画を生成する。
伝送時間は、送信側装置から受信側装置への動画の伝送に要する時間である。
第1遅延時間は、第1送信手法の場合の伝送時間である。
第2遅延時間は、第2送信手法の場合の伝送時間と、超解像技術による改善動画の生成に要する超解像処理時間との和である。
1又は複数のプロセッサは、更に、第1遅延時間と第2遅延時間とを比較し、第1遅延時間と第2遅延時間のうちより小さい方に対応する送信手法を選択送信手法として選択する。そして、1又は複数のプロセッサは、選択送信手法を送信側装置に通知する。
送信側装置は、第1送信手法と第2送信手法のいずれかである選択送信手法によって動画を送信する。
第1送信手法は、元動画を動画として送信する。
第2送信手法は、元動画を縮小することによって縮小動画を生成し、縮小動画を動画として送信する。
受信側装置は、1又は複数のプロセッサを備える。
1又は複数のプロセッサは、
送信側装置から送信される動画を受信し、
第2送信手法によって送信された縮小動画を受信した場合、縮小動画に超解像技術を適用することによって改善動画を生成する。
伝送時間は、送信側装置から受信側装置への動画の伝送に要する時間である。
第1遅延時間は、第1送信手法の場合の伝送時間である。
第2遅延時間は、第2送信手法の場合の伝送時間と、超解像技術による改善動画の生成に要する超解像処理時間との和である。
1又は複数のプロセッサは、更に、第1遅延時間と第2遅延時間とを比較し、第1遅延時間と第2遅延時間のうちより小さい方に対応する送信手法を選択送信手法として選択する。そして、1又は複数のプロセッサは、選択送信手法を送信側装置に通知する。
本開示によれば、第1送信手法と第2送信手法のうち遅延時間がより小さくなる方が選択送信手法として選択される。従って、動画伝送の低遅延化が可能となる。また、選択送信手法が第1送信手法である場合、送信側装置から受信側装置に元動画が伝送されるため、画質の低下は発生しない。選択送信手法が第2送信手法である場合であっても、受信側装置において縮小動画に対して超解像技術が適用されるため、画質が改善する。従って、高画質と低遅延の両方を満たすことが可能となる。
添付図面を参照して、本開示の実施の形態を説明する。
1.動画通信システム
図1は、本実施の形態に係る動画通信システム1の概要を示す概念図である。動画通信システム1は、送信側装置10、受信側装置20、及び通信ネットワーク30を含んでいる。送信側装置10と受信側装置20は、通信ネットワーク30を介して互いに接続されている。送信側装置10と受信側装置20は、通信ネットワーク30を介して互いに通信可能である。例えば、送信側装置10と受信側装置20は、無線通信を行う。但し、本実施の形態は無線通信に限定されない。
図1は、本実施の形態に係る動画通信システム1の概要を示す概念図である。動画通信システム1は、送信側装置10、受信側装置20、及び通信ネットワーク30を含んでいる。送信側装置10と受信側装置20は、通信ネットワーク30を介して互いに接続されている。送信側装置10と受信側装置20は、通信ネットワーク30を介して互いに通信可能である。例えば、送信側装置10と受信側装置20は、無線通信を行う。但し、本実施の形態は無線通信に限定されない。
送信側装置10は、例えば、移動体に搭載される。移動体としては、車両、ロボット、飛翔体、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。飛翔体としては、飛行機、ドローン、等が例示される。
受信側装置20は、例えば、移動体と通信を行う外部装置に搭載される。例えば、外部装置は、移動体を管理する管理サーバである。他の例として、外部装置は、移動体の動作を遠隔で支援する遠隔支援装置であってもよい。更に他の例として、外部装置は、送信側装置10が搭載されている移動体とは別の移動体であってもよい。
送信側装置10は、動画を取得し、その動画を受信側装置20に送信する。動画は、通信ネットワーク30を介して受信側装置20に伝送される。受信側装置20は、動画を受け取り、受け取った動画を出力する。
図2は、動画通信システム1の適用例である遠隔支援システム1Aを示している。送信側装置10は移動体100に搭載されており、受信側装置20は遠隔支援装置200に搭載されている。遠隔支援装置200は、移動体100から送信される動画に基づいて、移動体100の動作を遠隔で支援する。
より詳細には、移動体100にはカメラ110が搭載されている。カメラ110は、移動体100の周囲の状況を撮像し、その状況を示す動画を取得する。送信側装置10は、カメラ110によって得られた動画を遠隔支援装置200に送信する。遠隔支援装置200の受信側装置20は、移動体100の送信側装置10から送信された動画を受け取る。遠隔支援装置200は、受け取った動画を表示装置210に表示する。オペレータは、表示装置210に表示される動画をみて、移動体100の周囲の状況を把握し、移動体100の動作を遠隔で支援する。オペレータによる遠隔支援としては、認識支援、判断支援、遠隔運転、等が挙げられる。オペレータによる指示は、受信側装置20から移動体100の送信側装置10に送られる。移動体100は、オペレータによる指示に従って動作する。
受信側での動画の利用の観点から言えば、動画の画質が良く、また、通信遅延が小さいことが好ましい。すなわち、高画質と低遅延の両立が好ましい。例えば、上述の遠隔支援のシーンにおいて、動画の画質は、オペレータが移動体100の周囲の状況をできるだけ正確に把握するために重要である。また、低遅延は、リアルタイム性が要求される遠隔支援において重要である。すなわち、高画質と低遅延の両立は、遠隔支援精度の観点から望ましい。
本開示は、動画の伝送において高画質と低遅延の両方を満たすことができる技術を提供する。
2.輻輳制御と超解像技術
図3は、本実施の形態に係る動画通信システム1における輻輳制御と超解像処理を説明するためのブロック図である。
図3は、本実施の形態に係る動画通信システム1における輻輳制御と超解像処理を説明するためのブロック図である。
送信側装置10は、輻輳制御部12を含んでいる。動画送信時、輻輳制御部12は、必要に応じて、動画の画像サイズ(画素数)を縮小する輻輳制御を行う。例えば、通信回線の通信速度(スループット)が一定レベル以下に低下した場合、輻輳制御部12は、動画に対して輻輳制御を行う。便宜上、輻輳制御が行われる前の動画を「元動画V0」と呼び、元動画V0を縮小することにより生成される動画を「縮小動画V1」と呼ぶ。輻輳制御部12は、元動画V0に対して輻輳制御を行うことにより縮小動画V1を生成する。
このような輻輳制御が行われる場合、送信側装置10は、元動画V0の代わりに縮小動画V1を受信側装置20に送信する。データ送出量が減るため、通信遅延を抑制し、また、通信途絶を回避することが可能となる。但し、縮小動画V1の画質は、元動画V0の画質よりも低い。このことは、動画の利用の観点から好ましくない。そこで、本実施の形態では、受信側装置20において動画の画質を改善するために、「超解像技術」が利用される。
受信側装置20は、超解像処理部22を含んでいる。超解像処理部22は、受信した動画の画像サイズ(画素数)に基づいて、受信した動画が元動画V0か縮小動画V1かを判定する。つまり、超解像処理部22は、送信側装置10において輻輳制御が行われているか否かを判定する。輻輳制御が行われていると判定した場合、超解像処理部22は、縮小動画V1に超解像技術を適用することによって、画質を改善する。超解像技術は、入力される低解像度画像を高解像度画像に変換することができる。超解像技術の手法としては様々なものが提案されている(例えば、非特許文献1参照)。本実施の形態では、超解像技術の手法は特に限定されない。
超解像技術によって画質が改善した動画を、以下、便宜上、「改善動画V2」と呼ぶ。超解像処理部22は、縮小動画V1に超解像技術を適用することによって改善動画V2を生成する。縮小動画V1よりも高画質な改善動画V2が得られるため、ユーザは動画を見やすくなる。例えば、上述の遠隔支援のシーンでは、オペレータは、移動体100の周囲の状況を正確に把握しやすくなる。その結果、遠隔支援精度が向上する。
このように、動画の伝送において輻輳制御と超解像技術を組み合わせることによって、高画質と低遅延の両方を満たすことが可能となる。
3.動画送信手法の切り替え
3-1.概要
送信側装置10において輻輳制御が行われる場合、データ送出量が減るため、通信ネットワーク30上のデータ伝送時間は短縮される。その一方で、受信側装置20において画質を改善するための超解像処理にも、ある程度の時間が必要である。動画の送出から動画の利用までの総遅延時間をより正確に見積もるためには、この超解像処理に要する時間も考慮に入れることが好ましい。状況によっては、送信側装置10において輻輳制御を行わない方が、総遅延時間は小さくなる可能性もある。
3-1.概要
送信側装置10において輻輳制御が行われる場合、データ送出量が減るため、通信ネットワーク30上のデータ伝送時間は短縮される。その一方で、受信側装置20において画質を改善するための超解像処理にも、ある程度の時間が必要である。動画の送出から動画の利用までの総遅延時間をより正確に見積もるためには、この超解像処理に要する時間も考慮に入れることが好ましい。状況によっては、送信側装置10において輻輳制御を行わない方が、総遅延時間は小さくなる可能性もある。
そこで、本開示は、更に、状況に応じて動画の送信手法を切り替えることができる技術を提供する。
本実施の形態に係る送信側装置10は、「第1送信手法」と「第2送信手法」の2種類の送信手法によって動画を送信することができる。第1送信手法は、輻輳制御を行うことなく、元動画V0を送信する手法である。一方、第2送信手法は、輻輳制御を行い元動画V0を縮小することによって縮小動画V1を生成し、縮小動画V1を送信する手法である。送信側装置10は、第1送信手法と第2送信手法のいずれかによって、動画を受信側装置20に送信する。第1送信手法と第2送信手法のうち動画の送信に用いられる方を、以下、「選択送信手法」と呼ぶ。
図4は、選択送信手法の決定方法を説明するための概念図である。「伝送時間」は、通信ネットワーク30を介した送信側装置10から受信側装置20への動画の伝送に要する時間である。この伝送時間は、伝送される動画のデータ量と、送信側装置10と受信側装置20との間の通信回線のビットレートに依存する。「第1伝送時間Dnorm」は、第1送信手法の場合の伝送時間である。つまり、第1伝送時間Dnormは、送信側装置10から受信側装置20への元動画V0の伝送に要する時間である。一方、「第2伝送時間Dsr」は、第2送信手法の場合の伝送時間である。つまり、第2伝送時間Dsrは、送信側装置10から受信側装置20への縮小動画V1の伝送に要する時間である。
「第1遅延時間Ynorm」は、第1送信手法の場合の遅延時間である。この第1遅延時間Ynormは、上記の第1伝送時間Dnormと等しい(Ynorm=Dnorm)。一方、「第2遅延時間Ysr」は、第2送信手法の場合の遅延時間である。この第2遅延時間Ysrは、上記の第2伝送時間Dsrと超解像処理時間γとの和として定義される(Ysr=Dsr+γ)。超解像処理時間γは、縮小動画V1に超解像技術を適用することによって改善動画V2を生成するために要する処理時間である。これら第1遅延時間Ynormと第2遅延時間Ysrの推定方法の具体例は後述される。
本実施の形態によれば、第1遅延時間Ynormと第2遅延時間Ysrとの比較が行われる。そして、第1遅延時間Ynormと第2遅延時間Ysrのうちより小さい方に対応する送信手法が、選択送信手法として選択される。つまり、第1遅延時間Ynormが第2遅延時間Ysr以下である場合、第1送信手法が選択送信手法として選択される。一方、第2遅延時間Ysrが第1遅延時間Ynorm未満である場合、第2送信手法が選択送信手法として選択される。送信側装置10は、選択送信手法によって動画を送信する。
このように、第1送信手法と第2送信手法のうち遅延時間がより小さくなる方が選択送信手法として選択される。従って、動画伝送の更なる低遅延化が可能となる。また、選択送信手法が第1送信手法である場合、送信側装置10から受信側装置20に元動画V0が伝送されるため、画質の低下は発生しない。選択送信手法が第2送信手法である場合であっても、受信側装置20において縮小動画V1に対して超解像技術が適用されるため、画質が改善する。従って、高画質と低遅延の両方を満たすことが可能となる。画質の低遅延の両立は、例えば、遠隔支援精度の向上に寄与する。
3-2.遅延時間推定処理
以下、第1遅延時間Ynormと第2遅延時間Ysrの推定方法の具体例について説明する。
以下、第1遅延時間Ynormと第2遅延時間Ysrの推定方法の具体例について説明する。
第1送信手法の場合の第1遅延時間Ynormは、下記式(1)で表される。
α[bps]は、送信側装置10と受信側装置20との間の通信回線のビットレートである。X[bit]は、元動画V0のデータ量である。X/α[sec]は、通信回線における変動遅延(第1変動遅延)であり、元動画V0のデータ量Xとビットレートαに依存する。β[sec]は、通信回線における固定遅延であり、送信手法に依存しない。第1送信手法の場合の第1伝送時間Dnormは、第1変動遅延X/αと固定遅延βとの和で表される。
一方、第2送信手法の場合の第2遅延時間Ysrは、下記式(2)で表される。
X/K[bit]は、縮小動画V1のデータ量である。1/Kは、輻輳制御による画像サイズの縮小率である。パラメータKを、超解像処理による画像サイズの拡大率と呼ぶこともできる。パラメータKは、固定値である。X/(αK)[sec]は、通信回線における変動遅延(第2変動遅延)であり、縮小動画V1のデータ量X/Kとビットレートαに依存する。第2送信手法の場合の第2伝送時間Dsrは、第2変動遅延X/(αK)と固定遅延βとの和で表される。超解像処理時間γは、上述の通り、縮小動画V1に超解像技術を適用することによって改善動画V2を生成するために要する処理時間である。この超解像処理時間γとしても固定値が用いられる。
受信側装置20は、受信した動画に含まれる情報に基づいて、送信された動画のデータ量(XあるいはX/K)と伝送時間(DnormあるいはDsr)を算出することができる。具体的には、受信側装置20が受信した動画のデータ量が、そのまま、送信側装置10から送信された動画のデータ量とみなされる。また、動画の各フレームには、送信時刻がタイムスタンプとして記録されている。受信側装置20は、受信時刻と送信時刻との差分を取ることによって伝送時間を算出することができる。
受信側装置20は、動画のデータ量(XあるいはX/K)と伝送時間(DnormあるいはDsr)の組み合わせのデータを蓄積する。そして、受信側装置20は、一定期間における動画のデータ量と伝送時間との対応関係の実績に基づいて、ビットレートαと固定遅延βを推定する。
図5は、一定期間における動画のデータ量(XあるいはX/K)と伝送時間(DnormあるいはDsr)の分布の一例を示している。横軸がデータ量を表し、縦軸が伝送時間を表している。上記式(1)、(2)から分かるように、分布に対する回帰直線の傾きが1/αに相当し、回帰直線のY切片が固定遅延βに相当する。従って、受信側装置20は、一定期間における動画のデータ量と伝送時間の分布に対する回帰直線を算出することによって、ビットレートαと固定遅延βを推定することができる。但し、ビットレートαと固定遅延βの推定方法は、この例に限られない。より精密なモデルを用いた最適化も可能である。
このようにして、ビットレートαと固定遅延βが推定される。パラメータK及び超解像処理時間γは固定値である。よって、上記式(1)、(2)から、同じデータ量Xに対する第1遅延時間Ynormと第2遅延時間Ysrの両方を算出(推定)することができる。すなわち、受信側装置20は、動画伝送の実績に基づいてビットレートα及び固定遅延βを推定し、更に、ビットレートα、固定遅延β、及び超解像処理時間γに基づいて第1遅延時間Ynormと第2遅延時間Ysrの両方を算出(推定)する。
3-3.機能構成例
図6は、本実施の形態に係る動画通信処理に関連する機能構成例を示すブロック図である。
図6は、本実施の形態に係る動画通信処理に関連する機能構成例を示すブロック図である。
送信側装置10は、動画入力部11、輻輳制御部12、受信部13、及び送信部14を含んでいる。
動画入力部11は、元動画V0を受け取り、元動画V0を輻輳制御部12に送る。
輻輳制御部12は、必要に応じて、元動画V0に対して輻輳制御を行う。より詳細には、輻輳制御部12は、受信部13を介して、受信側装置20から選択送信手法情報MSを受け取る。選択送信手法情報MSは、選択送信手法を指定する情報である。選択送信手法が第1送信手法である場合、輻輳制御部12は、輻輳制御を行うことなく、元動画V0をそのまま送信動画VTに設定する。一方、選択送信手法が第2送信手法である場合、輻輳制御部12は、元動画V0を縮小することによって縮小動画V1を生成し、縮小動画V1を送信動画VTに設定する。
送信部14は、送信動画VT(元動画V0あるいは縮小動画V1)を受信側装置20に送信する。
受信側装置20は、受信部21、超解像処理部22、動画出力部23、記憶部24、送信手法選択部25、及び送信部26を含んでいる。
受信部21は、送信側装置10から送信された送信動画VTを受信する。受信した動画を、以下、受信動画VRと呼ぶ。受信部21は、受信動画VRを超解像処理部22に送る。
超解像処理部22は、必要に応じて、受信動画VRに対して超解像処理を行う。より詳細には、超解像処理部22は、受信動画VRの画像サイズ(画素数)に基づいて、受信動画VRが元動画V0か縮小動画V1かを判定する。つまり、超解像処理部22は、送信側装置10において輻輳制御が行われているか否かを判定する。輻輳制御が行われていない場合、超解像処理部22は、受信動画VR(すなわち元動画V0)をそのまま出力動画VXに設定する。一方、輻輳制御が行われていると判定した場合、超解像処理部22は、縮小動画V1に超解像技術を適用することによって改善動画V2を生成し、改善動画V2を出力動画VXに設定する。
動画出力部23は、出力動画VX(元動画V0あるいは改善動画V2)を出力する。例えば、動画出力部23は、表示装置210に出力動画VXを表示する(図2参照)。
また、受信部21は、受信動画VRに含まれる情報に基づいて、送信動画VTのデータ量(XあるいはX/K)と伝送時間(DnormあるいはDsr)を算出する。受信部21は、算出したデータ量と伝送時間の組み合わせの情報を記憶部24に通知する。
記憶部24は、受信部21から通知される情報を伝送実績情報240として蓄積する。つまり、伝送実績情報240は、動画のデータ量(XあるいはX/K)と伝送時間(DnormあるいはDsr)との対応関係の実績を示す。
送信手法選択部25は、第1送信手法と第2送信手法のいずれかを選択送信手法として選択する。具体的には、送信手法選択部25は、一定期間における伝送実績情報240に基づいて、ビットレートα及び固定遅延βを推定する。更に、送信手法選択部25は、ビット-レートα、固定遅延β、及び超解像処理時間γに基づいて、第1遅延時間Ynormと第2遅延時間Ysrの両方を算出する(上記式(1)、(2)参照)。
そして、送信手法選択部25は、第1遅延時間Ynormと第2遅延時間Ysrとを比較し、第1遅延時間Ynormと第2遅延時間Ysrのうちより小さい方に対応する送信手法を選択送信手法として選択する。第1遅延時間Ynormが第2遅延時間Ysr以下である場合、送信手法選択部25は、第1送信手法を選択送信手法として選択する。一方、第2遅延時間Ysrが第1遅延時間Ynorm未満である場合、送信手法選択部25は、第2送信手法を選択送信手法として選択する。送信手法選択部25は、選択送信手法を指定する選択送信手法情報MSを送信部26に出力する。
送信部26は、選択送信手法情報MSを送信側装置10に送信する。つまり、送信部26は、選択送信手法を送信側装置10に通知する。
送信側装置10の受信部13は、受信側装置20から選択送信手法情報MSを受け取り、選択送信手法情報MSを輻輳制御部12に出力する。輻輳制御部12は、選択送信手法情報MSで指定される選択送信手法に従って、輻輳制御を行う、あるいは、行わない。
尚、選択送信手法の切り替えが発生する場合、送信手法選択部25は、選択送信手法の切り替えの発生を超解像処理部22に事前に通知(予告)してもよい。この場合、超解像処理部22は、事前通知を参考にして、超解像処理を行うか否かを判定することができる。
3-4.処理フロー
図7は、本実施の形態に係る送信手法切り替えに関連する処理を示すフローチャートである。
図7は、本実施の形態に係る送信手法切り替えに関連する処理を示すフローチャートである。
ステップS10において、送信側装置10は、第1送信手法と前記第2送信手法のいずれかである選択送信手法によって動画を送信する(送信処理)。受信側装置20は、送信側装置10から送信された動画を受信する(受信処理)。
ステップS20において、受信側装置20は、受信動画VRに含まれる情報に基づいて、動画のデータ量(XあるいはX/K)と伝送時間(DnormあるいはDsr)を算出する。受信側装置20は、動画のデータ量と伝送時間との対応関係の実績を示す伝送実績情報240を蓄積する。
ステップS30において、受信側装置20は、一定期間における伝送実績情報240に基づいて、第1遅延時間Ynormと第2遅延時間Ysrを算出(推定)する。
ステップS40において、受信側装置20は、第1遅延時間Ynormと第2遅延時間Ysrとを比較する。
第1遅延時間Ynormが第2遅延時間Ysr以下である場合(ステップS40;Yes)、受信側装置20は、第1送信手法を選択送信手法として選択する(ステップS50)。
一方、第2遅延時間Ysrが第1遅延時間Ynorm未満である場合(ステップS40;No)、受信側装置20は、第2送信手法を選択送信手法として選択する(ステップS60)。
以上のステップS20~S60が、状況に応じて選択送信手法を選択する「選択処理」に相当する。
ステップS70において、受信側装置20は、選択送信手法を送信側装置10に通知する「通知処理」を行う。送信側装置10は、受信側装置20から通知された選択送信手法に従って送信処理を行う。
3-5.効果
以上に説明されたように、本実施の形態によれば、第1送信手法と第2送信手法のうち遅延時間がより小さくなる方が選択送信手法として選択される。従って、動画伝送の更なる低遅延化が可能となる。また、選択送信手法が第1送信手法である場合、送信側装置10から受信側装置20に元動画V0が伝送されるため、画質の低下は発生しない。選択送信手法が第2送信手法である場合であっても、受信側装置20において縮小動画V1に対して超解像技術が適用されるため、画質が改善する。従って、高画質と低遅延の両方を満たすことが可能となる。画質の低遅延の両立は、例えば、遠隔支援精度の向上に寄与する。
以上に説明されたように、本実施の形態によれば、第1送信手法と第2送信手法のうち遅延時間がより小さくなる方が選択送信手法として選択される。従って、動画伝送の更なる低遅延化が可能となる。また、選択送信手法が第1送信手法である場合、送信側装置10から受信側装置20に元動画V0が伝送されるため、画質の低下は発生しない。選択送信手法が第2送信手法である場合であっても、受信側装置20において縮小動画V1に対して超解像技術が適用されるため、画質が改善する。従って、高画質と低遅延の両方を満たすことが可能となる。画質の低遅延の両立は、例えば、遠隔支援精度の向上に寄与する。
4.変形例
図8は、変形例を示すフローチャートである。図7で示されたフローチャートと重複する説明は適宜省略する。ステップS10~S30は、上述の場合と同様である。
図8は、変形例を示すフローチャートである。図7で示されたフローチャートと重複する説明は適宜省略する。ステップS10~S30は、上述の場合と同様である。
ステップS100において、受信側装置20(送信手法選択部25)は、現在の選択送信手法が第1送信手法であり、且つ、第1遅延時間Ynormが所定の遅延限界Ylimを超えているか否かを判定する。現在の選択送信手法が第1送信手法であり、且つ、第1遅延時間Ynormが所定の遅延限界Ylimを超えている場合(ステップS100;Yes)、受信側装置20は、第2送信手法を選択送信手法として選択する(ステップS60)。言い換えれば、受信側装置20は、選択送信手法を第1送信手法から第2送信手法へ強制的に切り替える。それ以外の場合(ステップS100;No)、上述の場合と同様にステップS40~S70が実施される。
変形例によれば、動画伝送のロバスト性が向上する。
5.遠隔支援システムの構成例
以下、図2で示された遠隔支援システム1Aの具体的な構成例を説明する。遠隔支援システム1Aは、移動体100と遠隔支援装置200を含む。移動体100と遠隔支援装置200は、互いに通信可能である。遠隔支援装置200は、移動体100から送信される動画に基づいて、移動体100の動作を遠隔で支援する。
以下、図2で示された遠隔支援システム1Aの具体的な構成例を説明する。遠隔支援システム1Aは、移動体100と遠隔支援装置200を含む。移動体100と遠隔支援装置200は、互いに通信可能である。遠隔支援装置200は、移動体100から送信される動画に基づいて、移動体100の動作を遠隔で支援する。
5-1.移動体
図9は、移動体100の構成例を示すブロック図である。移動体100は、カメラ110、センサ群120、通信装置130、走行装置140、及び制御装置150を備えている。本例では、移動体100は、車両やロボット等、車輪を備える移動体である。
図9は、移動体100の構成例を示すブロック図である。移動体100は、カメラ110、センサ群120、通信装置130、走行装置140、及び制御装置150を備えている。本例では、移動体100は、車両やロボット等、車輪を備える移動体である。
カメラ110は、移動体100の周囲の状況を撮像し、移動体100の周囲の状況を示す画像を取得する。画像は、典型的には動画であるが、静止画像であってもよい。
センサ群120は、移動体100の状態を検出する状態センサを含む。状態センサは、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。また、センサ群120は、移動体100の位置及び方位を検出する位置センサを含む。位置センサとしては、GPS(Global Positioning System)センサが例示される。更に、センサ群120は、カメラ110以外の認識センサを含んでいてもよい。認識センサは、移動体100の周囲の状況を認識(検出)する。認識センサとしては、LIDAR(Laser Imaging Detection and Ranging)、レーダ、等が例示される。
通信装置130は、移動体100の外部と通信を行う。例えば、通信装置130は、遠隔支援装置200と通信を行う。
走行装置140は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、移動体100の車輪を転舵する。例えば、操舵装置は、パワーステアリング(EPS: Electric Power Steering)装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。
制御装置150は、移動体100を制御する。制御装置150は、1又は複数のプロセッサ151(以下、単にプロセッサ151と呼ぶ)と1又は複数のメモリ152(以下、単にメモリ152と呼ぶ)を含んでいる。プロセッサ151は、各種処理を実行する。例えば、プロセッサ151は、CPU(Central Processing Unit)を含んでいる。メモリ152は、各種情報を格納する。メモリ152としては、揮発性メモリ、不揮発性メモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、等が例示される。プロセッサ151がコンピュータプログラムである制御プログラムを実行することにより、プロセッサ151(制御装置150)による各種処理が実現される。制御プログラムは、メモリ152に格納されている、あるいは、コンピュータ読み取り可能な記録媒体に記録されている。制御装置150は、1又は複数のECU(Electronic Control Unit)を含んでいてもよい。
プロセッサ151は、カメラ110やセンサ群120を用いて移動体情報160を取得する。移動体情報160は、カメラ110によって撮像される動画(すなわち元動画V0)を含んでいる。また、移動体情報160は、状態センサによって検出される移動体100の状態を示す状態情報を含む。更に、移動体情報160は、位置センサによって検出される移動体100の位置及び方位を示す位置情報を含む。更に、移動体情報160は、認識センサによって認識(検出)される物体に関する物体情報を含んでいる。物体情報は、移動体100に対する物体の相対位置及び相対速度を示す。
また、プロセッサ151は、移動体100の走行を制御する。走行制御は、操舵制御、加速制御、及び減速制御を含む。プロセッサ151は、走行装置140を制御することによって走行制御を実行する。プロセッサ151は、自動運転制御を行ってもよい。自動運転制御を行う場合、プロセッサ151は、移動体情報160に基づいて、移動体100の目標トラジェクトリを生成する。目標トラジェクトリは、目標位置及び目標速度を含む。そして、プロセッサ151は、移動体100が目標トラジェクトリに追従するように走行制御を実行する。
更に、プロセッサ151は、通信装置130を介して遠隔支援装置200と通信を行う。例えば、プロセッサ151は、必要に応じて、移動体情報160の少なくとも一部を遠隔支援装置200に送信する。
特に、遠隔支援が必要な場合、プロセッサ151は、動画(元動画V0あるいは縮小動画V1)を遠隔支援装置200に送信する。このとき、プロセッサ151は、必要に応じて、上述の輻輳制御を行い、元動画V0から縮小動画V1を生成し、縮小動画V1を送信する。また、プロセッサ151は、遠隔支援装置200から選択送信手法情報MSを受け取る。プロセッサ151は、選択送信手法情報で指定される選択送信手法に従って送信処理を行う。
尚、遠隔支援を要求した場合、プロセッサ151は、遠隔支援装置200からオペレータ指示を受信する。オペレータ指示を受け取った場合、プロセッサ151は、オペレータ指示に従って走行制御を実行する。
以上に説明された制御装置150(プロセッサ151,メモリ152)と通信装置130が、本実施の形態に係る「送信側装置10」に相当する。
5-2.遠隔支援装置
図10は、本実施の形態に係る遠隔支援装置200の構成例を示すブロック図である。遠隔支援装置200は、表示装置210、入力装置220、通信装置230、及び情報処理装置250を含んでいる。
図10は、本実施の形態に係る遠隔支援装置200の構成例を示すブロック図である。遠隔支援装置200は、表示装置210、入力装置220、通信装置230、及び情報処理装置250を含んでいる。
表示装置210は、各種情報を表示する。表示装置210としては、液晶ディスプレイ、有機ELディスプレイ、ヘッドマウントディスプレイ、タッチパネル、等が例示される。
入力装置220は、オペレータからの入力を受け付けるためのインタフェースである。入力装置220としては、タッチパネル、キーボード、マウス、等が例示される。また、遠隔支援が遠隔運転である場合、入力装置220は、オペレータが運転操作(操舵、加速、及び減速)を行うための運転操作部材を含む。
通信装置230は、外部との通信を行う。例えば、通信装置230は、移動体100と通信を行う。
情報処理装置250は、各種情報処理を行う。情報処理装置250は、1又は複数のプロセッサ251(以下、単にプロセッサ251と呼ぶ)と1又は複数のメモリ252(以下、単にメモリ252と呼ぶ)を含んでいる。プロセッサ251は、各種処理を実行する。例えば、プロセッサ251は、CPUを含んでいる。メモリ252は、各種情報を格納する。メモリ252としては、揮発性メモリ、不揮発性メモリ、HDD、SSD、等が例示される。プロセッサ251がコンピュータプログラムである遠隔支援プログラムを実行することによって、情報処理装置250の機能が実現される。遠隔支援プログラムは、メモリ252に格納される。遠隔支援プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。遠隔支援プログラムは、ネットワーク経由で提供されてもよい。
プロセッサ251は、移動体100の動作を遠隔で支援する遠隔支援処理を実行する。遠隔支援処理は、「情報提供処理」と「オペレータ指示通知処理」とを含んでいる。
情報提供処理は、次の通りである。プロセッサ251は、通信装置230を介して、遠隔支援に必要な移動体情報260を移動体100から受け取る。移動体情報260は、移動体情報160の少なくとも一部を含んでいる。特に、移動体情報260は、移動体100から送信される動画(元動画V0あるいは縮小動画V1)を含む。プロセッサ251は、必要に応じて、上述の超解像処理を行い、縮小動画V1から改善動画V2を生成する。その場合、移動体情報260は、改善動画V2を含む。移動体情報260は、メモリ252に格納される。そして、プロセッサ251は、移動体情報260を表示装置210に表示することによって、移動体情報260をオペレータに提示する。
オペレータは、表示装置210に表示される動画をみて、移動体100の周囲の状況を把握する。オペレータは、移動体100の動作を遠隔で支援する。オペレータによる遠隔支援としては、認識支援、判断支援、遠隔運転、等が挙げられる。オペレータは、入力装置220を用いて、オペレータ指示を入力する。
オペレータ指示通知処理は、次の通りである。プロセッサ251は、オペレータによって入力されるオペレータ指示を入力装置220から受け取る。そして、プロセッサ251は、通信装置230を介して、オペレータ指示を移動体100に送信する。
また、プロセッサ251は、状況に応じて選択送信手法を選択する選択処理を実行する。具体的には、プロセッサ251は、受信動画VRに含まれる情報に基づいて、伝送実績情報240を生成、蓄積する。伝送実績情報240は、メモリ252に格納される。プロセッサ251は、伝送実績情報240に基づいて、第1遅延時間Ynormと第2遅延時間Ysrを算出(推定)する。そして、プロセッサ251は、第1遅延時間Ynormと第2遅延時間Ysrとを比較し、選択送信手法を選択する。
更に、プロセッサ251は、選択送信手法を指定する選択送信手法情報MSを生成する。そして、プロセッサ251は、選択送信手法情報MSを通信装置230を介して移動体100に送信する。
以上に説明された情報処理装置250(プロセッサ251,メモリ252)と通信装置230が、本実施の形態に係る「受信側装置20」に相当する。
1 動画通信システム
1A 遠隔支援システム
10 送信側装置
11 動画入力部
12 輻輳制御部
13 受信部
14 送信部
20 受信側装置
21 受信部
22 超解像処理部
23 動画出力部
24 記憶部
25 送信手法選択部
26 送信部
30 通信ネットワーク
100 移動体
110 カメラ
200 遠隔支援装置
210 表示装置
240 伝送実績情報
MS 選択送信手法情報
V0 元動画
V1 縮小動画
V2 改善動画
1A 遠隔支援システム
10 送信側装置
11 動画入力部
12 輻輳制御部
13 受信部
14 送信部
20 受信側装置
21 受信部
22 超解像処理部
23 動画出力部
24 記憶部
25 送信手法選択部
26 送信部
30 通信ネットワーク
100 移動体
110 カメラ
200 遠隔支援装置
210 表示装置
240 伝送実績情報
MS 選択送信手法情報
V0 元動画
V1 縮小動画
V2 改善動画
Claims (10)
- 送信側装置から受信側装置へ動画を伝送する動画通信方法であって、
第1送信手法と第2送信手法のいずれかである選択送信手法によって前記動画を送信する送信処理を含み、
前記第1送信手法は、元動画を前記動画として送信し、
前記第2送信手法は、前記元動画を縮小することによって縮小動画を生成し、前記縮小動画を前記動画として送信し、
前記動画通信方法は、更に、
送信された前記動画を受信する受信処理と、
前記第2送信手法によって送信された前記縮小動画を受信した場合、前記縮小動画に超解像技術を適用することによって改善動画を生成する超解像処理と
を含み、
伝送時間は、前記送信側装置から前記受信側装置への前記動画の伝送に要する時間であり、
第1遅延時間は、前記第1送信手法の場合の前記伝送時間であり、
第2遅延時間は、前記第2送信手法の場合の前記伝送時間と、前記超解像技術による前記改善動画の生成に要する超解像処理時間との和であり、
前記動画通信方法は、更に、
前記第1遅延時間と前記第2遅延時間とを比較し、前記第1遅延時間と前記第2遅延時間のうちより小さい方に対応する送信手法を前記選択送信手法として選択する選択処理を含む
動画通信方法。 - 請求項1に記載の動画通信方法であって、
前記選択処理は、
受信した前記動画に含まれる情報に基づいて前記伝送時間を算出する処理と、
前記伝送時間に基づいて前記第1遅延時間と前記第2遅延時間の両方を推定する処理と
を含む
動画通信方法。 - 請求項2に記載の動画通信方法であって、
前記第1送信手法の場合の前記伝送時間は、固定遅延と第1変動遅延との和であり、
前記第2送信手法の場合の前記伝送時間は、前記固定遅延と第2変動遅延との和であり、
前記第1変動遅延は、前記元動画のデータ量及び前記送信側装置と前記受信側装置との間の通信回線のビットレートに依存し、
前記第2変動遅延は、前記縮小動画のデータ量及び前記ビットレートに依存し、
前記選択処理は、
一定期間における前記データ量と前記伝送時間との対応関係に基づいて、前記ビットレートと前記固定遅延を推定する処理と、
前記ビットレート、前記固定遅延、及び前記超解像処理時間に基づいて、前記第1遅延時間と前記第2遅延時間の両方を算出する処理と
を含む
動画通信方法。 - 請求項1乃至3のいずれか一項に記載の動画通信方法であって、
前記選択送信手法が前記第1送信手法であり、且つ、前記第1遅延時間が所定の遅延限界を超える場合、前記選択送信手法を前記第1送信手法から前記第2送信手法に切り替える処理を更に含む
動画通信方法。 - 第1送信手法と第2送信手法のいずれかである選択送信手法によって動画を送信する送信側装置と、
前記送信側装置から送信される前記動画を受信する受信側装置と
を備え、
前記第1送信手法は、元動画を前記動画として送信し、
前記第2送信手法は、前記元動画を縮小することによって縮小動画を生成し、前記縮小動画を前記動画として送信し、
前記受信側装置は、前記第2送信手法によって送信された前記縮小動画を受信した場合、前記縮小動画に超解像技術を適用することによって改善動画を生成し、
伝送時間は、前記送信側装置から前記受信側装置への前記動画の伝送に要する時間であり、
第1遅延時間は、前記第1送信手法の場合の前記伝送時間であり、
第2遅延時間は、前記第2送信手法の場合の前記伝送時間と、前記超解像技術による前記改善動画の生成に要する超解像処理時間との和であり、
前記受信側装置は、
前記第1遅延時間と前記第2遅延時間とを比較し、前記第1遅延時間と前記第2遅延時間のうちより小さい方に対応する送信手法を前記選択送信手法として選択し、
前記選択送信手法を前記送信側装置に通知する
動画通信システム。 - 請求項5に記載の動画通信システムであって、
前記受信側装置は、
受信した前記動画に含まれる情報に基づいて前記伝送時間を算出し、
前記伝送時間に基づいて前記第1遅延時間と前記第2遅延時間の両方を推定する
動画通信システム。 - 請求項6に記載の動画通信システムであって、
前記第1送信手法の場合の前記伝送時間は、固定遅延と第1変動遅延との和であり、
前記第2送信手法の場合の前記伝送時間は、前記固定遅延と第2変動遅延との和であり、
前記第1変動遅延は、前記元動画のデータ量及び前記送信側装置と前記受信側装置との間の通信回線のビットレートに依存し、
前記第2変動遅延は、前記縮小動画のデータ量及び前記ビットレートに依存し、
前記受信側装置は、
一定期間における前記データ量と前記伝送時間との対応関係に基づいて、前記ビットレートと前記固定遅延を推定し、
前記ビットレート、前記固定遅延、及び前記超解像処理時間に基づいて、前記第1遅延時間と前記第2遅延時間の両方を算出する
動画通信システム。 - 請求項5乃至7のいずれか一項に記載の動画通信システムであって、
前記選択送信手法が前記第1送信手法であり、且つ、前記第1遅延時間が所定の遅延限界を超える場合、前記受信側装置は、前記選択送信手法を前記第1送信手法から前記第2送信手法に切り替える
動画通信システム。 - 請求項5乃至8のいずれか一項に記載の動画通信システムであって、
前記送信側装置は、移動体に搭載され、
前記元動画は、前記移動体に搭載されたカメラによって取得され、
前記受信側装置は、前記動画に基づいて前記移動体の動作を遠隔で支援する遠隔支援装置に含まれる
動画通信システム。 - 送信側装置から送信される動画を受信する受信側装置であって、
前記送信側装置は、第1送信手法と第2送信手法のいずれかである選択送信手法によって前記動画を送信し、
前記第1送信手法は、元動画を前記動画として送信し、
前記第2送信手法は、前記元動画を縮小することによって縮小動画を生成し、前記縮小動画を前記動画として送信し、
前記受信側装置は、1又は複数のプロセッサを備え、
前記1又は複数のプロセッサは、
前記送信側装置から送信される前記動画を受信し、
前記第2送信手法によって送信された前記縮小動画を受信した場合、前記縮小動画に超解像技術を適用することによって改善動画を生成し、
伝送時間は、前記送信側装置から前記受信側装置への前記動画の伝送に要する時間であり、
第1遅延時間は、前記第1送信手法の場合の前記伝送時間であり、
第2遅延時間は、前記第2送信手法の場合の前記伝送時間と、前記超解像技術による前記改善動画の生成に要する超解像処理時間との和であり、
前記1又は複数のプロセッサは、更に、
前記第1遅延時間と前記第2遅延時間とを比較し、前記第1遅延時間と前記第2遅延時間のうちより小さい方に対応する送信手法を前記選択送信手法として選択し、
前記選択送信手法を前記送信側装置に通知する
受信側装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021079667A JP2022173762A (ja) | 2021-05-10 | 2021-05-10 | 動画通信方法、動画通信システム、及び受信側装置 |
US17/725,702 US20220368861A1 (en) | 2021-05-10 | 2022-04-21 | Video communication method, video communication system, and receiving-side device |
CN202210497037.4A CN115334269A (zh) | 2021-05-10 | 2022-05-09 | 运动图像通信方法、运动图像通信系统和接收侧装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021079667A JP2022173762A (ja) | 2021-05-10 | 2021-05-10 | 動画通信方法、動画通信システム、及び受信側装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022173762A true JP2022173762A (ja) | 2022-11-22 |
Family
ID=83916389
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021079667A Pending JP2022173762A (ja) | 2021-05-10 | 2021-05-10 | 動画通信方法、動画通信システム、及び受信側装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220368861A1 (ja) |
JP (1) | JP2022173762A (ja) |
CN (1) | CN115334269A (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7319667B1 (en) * | 2000-11-15 | 2008-01-15 | Cisco Technology, Inc. | Communication system with priority data compression |
US10796411B2 (en) * | 2018-07-20 | 2020-10-06 | EMC IP Holding Company LLC | Super-resolution imaging for a multi-sensor internet of things environment |
US11463757B2 (en) * | 2018-09-27 | 2022-10-04 | Intel Corporation | Media streaming for receiver-enabled resolution |
WO2021260970A1 (ja) * | 2020-06-26 | 2021-12-30 | ソニーグループ株式会社 | ネットワークの制御方法、および、データ処理システム |
JP2022146714A (ja) * | 2021-03-22 | 2022-10-05 | 日本放送協会 | 受信装置及びプログラム |
-
2021
- 2021-05-10 JP JP2021079667A patent/JP2022173762A/ja active Pending
-
2022
- 2022-04-21 US US17/725,702 patent/US20220368861A1/en not_active Abandoned
- 2022-05-09 CN CN202210497037.4A patent/CN115334269A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN115334269A (zh) | 2022-11-11 |
US20220368861A1 (en) | 2022-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10810754B2 (en) | Simultaneous localization and mapping constraints in generative adversarial networks for monocular depth estimation | |
CN114502335B (zh) | 用于具有几何约束的非线性机器人系统的轨迹优化的方法和系统 | |
US10867404B2 (en) | Distance estimation using machine learning | |
WO2018155159A1 (ja) | 遠隔映像出力システム、及び遠隔映像出力装置 | |
US9481087B2 (en) | Robot and control method thereof | |
US20190310648A1 (en) | Machine Learning Enhanced Vehicle Merging | |
JP2020514850A (ja) | 自律走行車のための帯域幅制約画像処理 | |
EP3893221A1 (en) | Event detection method and apparatus for cloud control platform, device, and storage medium | |
US20180164804A1 (en) | Tele-operated vehicle, and vehicle control device and control method thereof | |
US20210103815A1 (en) | Domain adaptation for robotic control using self-supervised learning | |
JP2019059464A5 (ja) | ||
US20160109883A1 (en) | Method and apparatus for offboard navigation of a robotic device | |
US10762399B2 (en) | Using deep video frame prediction for training a controller of an autonomous vehicle | |
WO2014196925A1 (en) | Method and apparatus for offboard navigation of a robotic device | |
US20230106961A1 (en) | Camera initialization for lane detection and distance estimation using single-view geometry | |
JP2022173762A (ja) | 動画通信方法、動画通信システム、及び受信側装置 | |
WO2021210133A1 (ja) | 制御装置、制御方法、及びプログラム | |
EP3702864B1 (en) | Accounting for latency in teleoperated remote driving | |
JP2023023248A (ja) | 受信側装置、画質改善システム及び画質改善方法 | |
US20230379492A1 (en) | Video transmission method, video transmission system, and control device | |
US20220353316A1 (en) | Communication device, communication method, and non-transitory computer-readable recording medium | |
US20230168671A1 (en) | Control method, control device, and storage medium | |
US20220318952A1 (en) | Remote support system and remote support method | |
JP7392859B2 (ja) | 遠隔監視システム、走行速度制御装置、及び走行速度制御方法 | |
WO2024021083A1 (en) | Sensor data transfer with self adaptive configurations for autonomous driving vehicle |