JP2022173762A - 動画通信方法、動画通信システム、及び受信側装置 - Google Patents

Abstract

【課題】動画の伝送において高画質と低遅延の両方を満たすこと。【解決手段】第１送信手法は、元動画を送信する。第２送信手法は、元動画を縮小することによって縮小動画を生成し、縮小動画を送信する。第１送信手法と第２送信手法のいずれかである選択送信手法によって動画は送信される。第２送信手法によって送信された縮小動画を受信した場合、縮小動画に超解像技術を適用することによって改善動画が生成される。伝送時間は、送信側から受信側への動画の伝送に要する時間である。第１遅延時間は、第１送信手法の場合の伝送時間である。第２遅延時間は、第２送信手法の場合の伝送時間と、超解像技術による改善動画の生成に要する超解像処理時間との和である。第１遅延時間と第２遅延時間のうちより小さい方に対応する送信手法が、選択送信手法として選択される。【選択図】図７

Description

本開示は、動画を伝送する技術に関する。

通信において輻輳が発生したとき、通信トラヒックを制御する「輻輳制御」が行わることがある（特許文献１）。輻輳制御により、通信遅延を抑制し、また、通信途絶を回避することが可能となる。例えば、動画の通信時に通信速度が低下した場合、送信側において動画の画像サイズを縮小する輻輳制御を行うことが考えられる。

非特許文献１は、入力される低解像度画像を高解像度画像に変換する「超解像技術（super resolution）」を開示している。特に、非特許文献１は、畳み込みニューラルネットワーク（CNN: Convolutional Neural Network）に基づくディープラーニングを超解像（SR）に適用したＳＲＣＮＮを開示している。入力される低解像度画像を高解像度画像に変換（マッピング）するモデルが、機械学習により得られる。

特開２０１９－００９７０９号公報

Chao Dong, Chen Change Loy, Kaiming He, and Xiaoou Tang, "Image Super-Resolution Using Deep Convolutional Networks", arXiv:1501.00092v3 [cs.CV], July 31, 2015 (https://arxiv.org/pdf/1501.00092.pdf)

通信ネットワークを介した動画の伝送について考える。受信側での動画の利用の観点から言えば、動画の画質が良く、また、通信遅延が小さいことが好ましい。すなわち、高画質と低遅延の両立が好ましい。しかしながら、通信速度が低下し、送信側において輻輳制御が行われる場合、受信側に伝送される動画の画質が低下する。

本開示の１つの目的は、動画の伝送において高画質と低遅延の両方を満たすことができる技術を提供することにある。

第１の観点は、送信側装置から受信側装置へ動画を伝送する動画通信方法に関連する。
動画通信方法は、第１送信手法と第２送信手法のいずれかである選択送信手法によって動画を送信する送信処理を含む。
第１送信手法は、元動画を動画として送信する。
第２送信手法は、元動画を縮小することによって縮小動画を生成し、縮小動画を動画として送信する。
動画通信方法は、更に、
送信された動画を受信する受信処理と、
第２送信手法によって送信された縮小動画を受信した場合、縮小動画に超解像技術を適用することによって改善動画を生成する超解像処理と
を含む。
伝送時間は、送信側装置から受信側装置への動画の伝送に要する時間である。
第１遅延時間は、第１送信手法の場合の伝送時間である。
第２遅延時間は、第２送信手法の場合の伝送時間と、超解像技術による改善動画の生成に要する超解像処理時間との和である。
動画通信方法は、更に、第１遅延時間と第２遅延時間とを比較し、第１遅延時間と第２遅延時間のうちより小さい方に対応する送信手法を選択送信手法として選択する選択処理を含む。

第２の観点は、動画通信システムに関連する。
動画通信システムは、
第１送信手法と第２送信手法のいずれかである選択送信手法によって動画を送信する送信側装置と、
送信側装置から送信される動画を受信する受信側装置と
を備える。
第１送信手法は、元動画を動画として送信する。
第２送信手法は、元動画を縮小することによって縮小動画を生成し、縮小動画を動画として送信する。
受信側装置は、第２送信手法によって送信された縮小動画を受信した場合、縮小動画に超解像技術を適用することによって改善動画を生成する。
伝送時間は、送信側装置から受信側装置への動画の伝送に要する時間である。
第１遅延時間は、第１送信手法の場合の伝送時間である。
第２遅延時間は、第２送信手法の場合の伝送時間と、超解像技術による改善動画の生成に要する超解像処理時間との和である。
受信側装置は、第１遅延時間と第２遅延時間とを比較し、第１遅延時間と第２遅延時間のうちより小さい方に対応する送信手法を選択送信手法として選択する。そして、受信側装置は、選択送信手法を送信側装置に通知する。

第３の観点は、送信側装置から送信される動画を受信する受信側装置に関連する。
送信側装置は、第１送信手法と第２送信手法のいずれかである選択送信手法によって動画を送信する。
第１送信手法は、元動画を動画として送信する。
第２送信手法は、元動画を縮小することによって縮小動画を生成し、縮小動画を動画として送信する。
受信側装置は、１又は複数のプロセッサを備える。
１又は複数のプロセッサは、
送信側装置から送信される動画を受信し、
第２送信手法によって送信された縮小動画を受信した場合、縮小動画に超解像技術を適用することによって改善動画を生成する。
伝送時間は、送信側装置から受信側装置への動画の伝送に要する時間である。
第１遅延時間は、第１送信手法の場合の伝送時間である。
第２遅延時間は、第２送信手法の場合の伝送時間と、超解像技術による改善動画の生成に要する超解像処理時間との和である。
１又は複数のプロセッサは、更に、第１遅延時間と第２遅延時間とを比較し、第１遅延時間と第２遅延時間のうちより小さい方に対応する送信手法を選択送信手法として選択する。そして、１又は複数のプロセッサは、選択送信手法を送信側装置に通知する。

本開示によれば、第１送信手法と第２送信手法のうち遅延時間がより小さくなる方が選択送信手法として選択される。従って、動画伝送の低遅延化が可能となる。また、選択送信手法が第１送信手法である場合、送信側装置から受信側装置に元動画が伝送されるため、画質の低下は発生しない。選択送信手法が第２送信手法である場合であっても、受信側装置において縮小動画に対して超解像技術が適用されるため、画質が改善する。従って、高画質と低遅延の両方を満たすことが可能となる。

本開示の実施の形態に係る動画通信システムの概要を示すブロック図である。 本開示の実施の形態に係る動画通信システムの適用例である遠隔支援システムを示す概念図である。 本開示の実施の形態に係る動画通信システムにおける輻輳制御と超解像処理を説明するためのブロック図である。 本開示の実施の形態における送信手法の決定方法を説明するための概念図である。 本開示の実施の形態に係る遅延時間推定処理を説明するための概念図である。 本開示の実施の形態に係る動画通信処理に関連する機能構成例を示すブロック図である。 本開示の実施の形態に係る送信手法切り替えに関連する処理を示すフローチャートである。 本開示の実施の形態に係る送信手法切り替えに関連する処理の変形例を示すフローチャートである。 本開示の実施の形態に係る移動体の構成例を示すブロック図である。 本開示の実施の形態に係る遠隔支援装置の構成例を示すブロック図である。

添付図面を参照して、本開示の実施の形態を説明する。

１．動画通信システム
図１は、本実施の形態に係る動画通信システム１の概要を示す概念図である。動画通信システム１は、送信側装置１０、受信側装置２０、及び通信ネットワーク３０を含んでいる。送信側装置１０と受信側装置２０は、通信ネットワーク３０を介して互いに接続されている。送信側装置１０と受信側装置２０は、通信ネットワーク３０を介して互いに通信可能である。例えば、送信側装置１０と受信側装置２０は、無線通信を行う。但し、本実施の形態は無線通信に限定されない。

送信側装置１０は、例えば、移動体に搭載される。移動体としては、車両、ロボット、飛翔体、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。飛翔体としては、飛行機、ドローン、等が例示される。

受信側装置２０は、例えば、移動体と通信を行う外部装置に搭載される。例えば、外部装置は、移動体を管理する管理サーバである。他の例として、外部装置は、移動体の動作を遠隔で支援する遠隔支援装置であってもよい。更に他の例として、外部装置は、送信側装置１０が搭載されている移動体とは別の移動体であってもよい。

送信側装置１０は、動画を取得し、その動画を受信側装置２０に送信する。動画は、通信ネットワーク３０を介して受信側装置２０に伝送される。受信側装置２０は、動画を受け取り、受け取った動画を出力する。

図２は、動画通信システム１の適用例である遠隔支援システム１Ａを示している。送信側装置１０は移動体１００に搭載されており、受信側装置２０は遠隔支援装置２００に搭載されている。遠隔支援装置２００は、移動体１００から送信される動画に基づいて、移動体１００の動作を遠隔で支援する。

より詳細には、移動体１００にはカメラ１１０が搭載されている。カメラ１１０は、移動体１００の周囲の状況を撮像し、その状況を示す動画を取得する。送信側装置１０は、カメラ１１０によって得られた動画を遠隔支援装置２００に送信する。遠隔支援装置２００の受信側装置２０は、移動体１００の送信側装置１０から送信された動画を受け取る。遠隔支援装置２００は、受け取った動画を表示装置２１０に表示する。オペレータは、表示装置２１０に表示される動画をみて、移動体１００の周囲の状況を把握し、移動体１００の動作を遠隔で支援する。オペレータによる遠隔支援としては、認識支援、判断支援、遠隔運転、等が挙げられる。オペレータによる指示は、受信側装置２０から移動体１００の送信側装置１０に送られる。移動体１００は、オペレータによる指示に従って動作する。

受信側での動画の利用の観点から言えば、動画の画質が良く、また、通信遅延が小さいことが好ましい。すなわち、高画質と低遅延の両立が好ましい。例えば、上述の遠隔支援のシーンにおいて、動画の画質は、オペレータが移動体１００の周囲の状況をできるだけ正確に把握するために重要である。また、低遅延は、リアルタイム性が要求される遠隔支援において重要である。すなわち、高画質と低遅延の両立は、遠隔支援精度の観点から望ましい。

本開示は、動画の伝送において高画質と低遅延の両方を満たすことができる技術を提供する。

２．輻輳制御と超解像技術
図３は、本実施の形態に係る動画通信システム１における輻輳制御と超解像処理を説明するためのブロック図である。

送信側装置１０は、輻輳制御部１２を含んでいる。動画送信時、輻輳制御部１２は、必要に応じて、動画の画像サイズ（画素数）を縮小する輻輳制御を行う。例えば、通信回線の通信速度（スループット）が一定レベル以下に低下した場合、輻輳制御部１２は、動画に対して輻輳制御を行う。便宜上、輻輳制御が行われる前の動画を「元動画Ｖ０」と呼び、元動画Ｖ０を縮小することにより生成される動画を「縮小動画Ｖ１」と呼ぶ。輻輳制御部１２は、元動画Ｖ０に対して輻輳制御を行うことにより縮小動画Ｖ１を生成する。

このような輻輳制御が行われる場合、送信側装置１０は、元動画Ｖ０の代わりに縮小動画Ｖ１を受信側装置２０に送信する。データ送出量が減るため、通信遅延を抑制し、また、通信途絶を回避することが可能となる。但し、縮小動画Ｖ１の画質は、元動画Ｖ０の画質よりも低い。このことは、動画の利用の観点から好ましくない。そこで、本実施の形態では、受信側装置２０において動画の画質を改善するために、「超解像技術」が利用される。

受信側装置２０は、超解像処理部２２を含んでいる。超解像処理部２２は、受信した動画の画像サイズ（画素数）に基づいて、受信した動画が元動画Ｖ０か縮小動画Ｖ１かを判定する。つまり、超解像処理部２２は、送信側装置１０において輻輳制御が行われているか否かを判定する。輻輳制御が行われていると判定した場合、超解像処理部２２は、縮小動画Ｖ１に超解像技術を適用することによって、画質を改善する。超解像技術は、入力される低解像度画像を高解像度画像に変換することができる。超解像技術の手法としては様々なものが提案されている（例えば、非特許文献１参照）。本実施の形態では、超解像技術の手法は特に限定されない。

超解像技術によって画質が改善した動画を、以下、便宜上、「改善動画Ｖ２」と呼ぶ。超解像処理部２２は、縮小動画Ｖ１に超解像技術を適用することによって改善動画Ｖ２を生成する。縮小動画Ｖ１よりも高画質な改善動画Ｖ２が得られるため、ユーザは動画を見やすくなる。例えば、上述の遠隔支援のシーンでは、オペレータは、移動体１００の周囲の状況を正確に把握しやすくなる。その結果、遠隔支援精度が向上する。

このように、動画の伝送において輻輳制御と超解像技術を組み合わせることによって、高画質と低遅延の両方を満たすことが可能となる。

３．動画送信手法の切り替え
３－１．概要
送信側装置１０において輻輳制御が行われる場合、データ送出量が減るため、通信ネットワーク３０上のデータ伝送時間は短縮される。その一方で、受信側装置２０において画質を改善するための超解像処理にも、ある程度の時間が必要である。動画の送出から動画の利用までの総遅延時間をより正確に見積もるためには、この超解像処理に要する時間も考慮に入れることが好ましい。状況によっては、送信側装置１０において輻輳制御を行わない方が、総遅延時間は小さくなる可能性もある。

そこで、本開示は、更に、状況に応じて動画の送信手法を切り替えることができる技術を提供する。

本実施の形態に係る送信側装置１０は、「第１送信手法」と「第２送信手法」の２種類の送信手法によって動画を送信することができる。第１送信手法は、輻輳制御を行うことなく、元動画Ｖ０を送信する手法である。一方、第２送信手法は、輻輳制御を行い元動画Ｖ０を縮小することによって縮小動画Ｖ１を生成し、縮小動画Ｖ１を送信する手法である。送信側装置１０は、第１送信手法と第２送信手法のいずれかによって、動画を受信側装置２０に送信する。第１送信手法と第２送信手法のうち動画の送信に用いられる方を、以下、「選択送信手法」と呼ぶ。

図４は、選択送信手法の決定方法を説明するための概念図である。「伝送時間」は、通信ネットワーク３０を介した送信側装置１０から受信側装置２０への動画の伝送に要する時間である。この伝送時間は、伝送される動画のデータ量と、送信側装置１０と受信側装置２０との間の通信回線のビットレートに依存する。「第１伝送時間Ｄｎｏｒｍ」は、第１送信手法の場合の伝送時間である。つまり、第１伝送時間Ｄｎｏｒｍは、送信側装置１０から受信側装置２０への元動画Ｖ０の伝送に要する時間である。一方、「第２伝送時間Ｄｓｒ」は、第２送信手法の場合の伝送時間である。つまり、第２伝送時間Ｄｓｒは、送信側装置１０から受信側装置２０への縮小動画Ｖ１の伝送に要する時間である。

「第１遅延時間Ｙｎｏｒｍ」は、第１送信手法の場合の遅延時間である。この第１遅延時間Ｙｎｏｒｍは、上記の第１伝送時間Ｄｎｏｒｍと等しい（Ｙｎｏｒｍ＝Ｄｎｏｒｍ）。一方、「第２遅延時間Ｙｓｒ」は、第２送信手法の場合の遅延時間である。この第２遅延時間Ｙｓｒは、上記の第２伝送時間Ｄｓｒと超解像処理時間γとの和として定義される（Ｙｓｒ＝Ｄｓｒ＋γ）。超解像処理時間γは、縮小動画Ｖ１に超解像技術を適用することによって改善動画Ｖ２を生成するために要する処理時間である。これら第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒの推定方法の具体例は後述される。

本実施の形態によれば、第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒとの比較が行われる。そして、第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒのうちより小さい方に対応する送信手法が、選択送信手法として選択される。つまり、第１遅延時間Ｙｎｏｒｍが第２遅延時間Ｙｓｒ以下である場合、第１送信手法が選択送信手法として選択される。一方、第２遅延時間Ｙｓｒが第１遅延時間Ｙｎｏｒｍ未満である場合、第２送信手法が選択送信手法として選択される。送信側装置１０は、選択送信手法によって動画を送信する。

このように、第１送信手法と第２送信手法のうち遅延時間がより小さくなる方が選択送信手法として選択される。従って、動画伝送の更なる低遅延化が可能となる。また、選択送信手法が第１送信手法である場合、送信側装置１０から受信側装置２０に元動画Ｖ０が伝送されるため、画質の低下は発生しない。選択送信手法が第２送信手法である場合であっても、受信側装置２０において縮小動画Ｖ１に対して超解像技術が適用されるため、画質が改善する。従って、高画質と低遅延の両方を満たすことが可能となる。画質の低遅延の両立は、例えば、遠隔支援精度の向上に寄与する。

３－２．遅延時間推定処理
以下、第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒの推定方法の具体例について説明する。

第１送信手法の場合の第１遅延時間Ｙｎｏｒｍは、下記式（１）で表される。

α［ｂｐｓ］は、送信側装置１０と受信側装置２０との間の通信回線のビットレートである。Ｘ［ｂｉｔ］は、元動画Ｖ０のデータ量である。Ｘ／α［ｓｅｃ］は、通信回線における変動遅延（第１変動遅延）であり、元動画Ｖ０のデータ量Ｘとビットレートαに依存する。β［ｓｅｃ］は、通信回線における固定遅延であり、送信手法に依存しない。第１送信手法の場合の第１伝送時間Ｄｎｏｒｍは、第１変動遅延Ｘ／αと固定遅延βとの和で表される。

一方、第２送信手法の場合の第２遅延時間Ｙｓｒは、下記式（２）で表される。

Ｘ／Ｋ［ｂｉｔ］は、縮小動画Ｖ１のデータ量である。１／Ｋは、輻輳制御による画像サイズの縮小率である。パラメータＫを、超解像処理による画像サイズの拡大率と呼ぶこともできる。パラメータＫは、固定値である。Ｘ／（αＫ）［ｓｅｃ］は、通信回線における変動遅延（第２変動遅延）であり、縮小動画Ｖ１のデータ量Ｘ／Ｋとビットレートαに依存する。第２送信手法の場合の第２伝送時間Ｄｓｒは、第２変動遅延Ｘ／（αＫ）と固定遅延βとの和で表される。超解像処理時間γは、上述の通り、縮小動画Ｖ１に超解像技術を適用することによって改善動画Ｖ２を生成するために要する処理時間である。この超解像処理時間γとしても固定値が用いられる。

受信側装置２０は、受信した動画に含まれる情報に基づいて、送信された動画のデータ量（ＸあるいはＸ／Ｋ）と伝送時間（ＤｎｏｒｍあるいはＤｓｒ）を算出することができる。具体的には、受信側装置２０が受信した動画のデータ量が、そのまま、送信側装置１０から送信された動画のデータ量とみなされる。また、動画の各フレームには、送信時刻がタイムスタンプとして記録されている。受信側装置２０は、受信時刻と送信時刻との差分を取ることによって伝送時間を算出することができる。

受信側装置２０は、動画のデータ量（ＸあるいはＸ／Ｋ）と伝送時間（ＤｎｏｒｍあるいはＤｓｒ）の組み合わせのデータを蓄積する。そして、受信側装置２０は、一定期間における動画のデータ量と伝送時間との対応関係の実績に基づいて、ビットレートαと固定遅延βを推定する。

図５は、一定期間における動画のデータ量（ＸあるいはＸ／Ｋ）と伝送時間（ＤｎｏｒｍあるいはＤｓｒ）の分布の一例を示している。横軸がデータ量を表し、縦軸が伝送時間を表している。上記式（１）、（２）から分かるように、分布に対する回帰直線の傾きが１／αに相当し、回帰直線のＹ切片が固定遅延βに相当する。従って、受信側装置２０は、一定期間における動画のデータ量と伝送時間の分布に対する回帰直線を算出することによって、ビットレートαと固定遅延βを推定することができる。但し、ビットレートαと固定遅延βの推定方法は、この例に限られない。より精密なモデルを用いた最適化も可能である。

このようにして、ビットレートαと固定遅延βが推定される。パラメータＫ及び超解像処理時間γは固定値である。よって、上記式（１）、（２）から、同じデータ量Ｘに対する第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒの両方を算出（推定）することができる。すなわち、受信側装置２０は、動画伝送の実績に基づいてビットレートα及び固定遅延βを推定し、更に、ビットレートα、固定遅延β、及び超解像処理時間γに基づいて第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒの両方を算出（推定）する。

３－３．機能構成例
図６は、本実施の形態に係る動画通信処理に関連する機能構成例を示すブロック図である。

送信側装置１０は、動画入力部１１、輻輳制御部１２、受信部１３、及び送信部１４を含んでいる。

動画入力部１１は、元動画Ｖ０を受け取り、元動画Ｖ０を輻輳制御部１２に送る。

輻輳制御部１２は、必要に応じて、元動画Ｖ０に対して輻輳制御を行う。より詳細には、輻輳制御部１２は、受信部１３を介して、受信側装置２０から選択送信手法情報ＭＳを受け取る。選択送信手法情報ＭＳは、選択送信手法を指定する情報である。選択送信手法が第１送信手法である場合、輻輳制御部１２は、輻輳制御を行うことなく、元動画Ｖ０をそのまま送信動画ＶＴに設定する。一方、選択送信手法が第２送信手法である場合、輻輳制御部１２は、元動画Ｖ０を縮小することによって縮小動画Ｖ１を生成し、縮小動画Ｖ１を送信動画ＶＴに設定する。

送信部１４は、送信動画ＶＴ（元動画Ｖ０あるいは縮小動画Ｖ１）を受信側装置２０に送信する。

受信側装置２０は、受信部２１、超解像処理部２２、動画出力部２３、記憶部２４、送信手法選択部２５、及び送信部２６を含んでいる。

受信部２１は、送信側装置１０から送信された送信動画ＶＴを受信する。受信した動画を、以下、受信動画ＶＲと呼ぶ。受信部２１は、受信動画ＶＲを超解像処理部２２に送る。

超解像処理部２２は、必要に応じて、受信動画ＶＲに対して超解像処理を行う。より詳細には、超解像処理部２２は、受信動画ＶＲの画像サイズ（画素数）に基づいて、受信動画ＶＲが元動画Ｖ０か縮小動画Ｖ１かを判定する。つまり、超解像処理部２２は、送信側装置１０において輻輳制御が行われているか否かを判定する。輻輳制御が行われていない場合、超解像処理部２２は、受信動画ＶＲ（すなわち元動画Ｖ０）をそのまま出力動画ＶＸに設定する。一方、輻輳制御が行われていると判定した場合、超解像処理部２２は、縮小動画Ｖ１に超解像技術を適用することによって改善動画Ｖ２を生成し、改善動画Ｖ２を出力動画ＶＸに設定する。

動画出力部２３は、出力動画ＶＸ（元動画Ｖ０あるいは改善動画Ｖ２）を出力する。例えば、動画出力部２３は、表示装置２１０に出力動画ＶＸを表示する（図２参照）。

また、受信部２１は、受信動画ＶＲに含まれる情報に基づいて、送信動画ＶＴのデータ量（ＸあるいはＸ／Ｋ）と伝送時間（ＤｎｏｒｍあるいはＤｓｒ）を算出する。受信部２１は、算出したデータ量と伝送時間の組み合わせの情報を記憶部２４に通知する。

記憶部２４は、受信部２１から通知される情報を伝送実績情報２４０として蓄積する。つまり、伝送実績情報２４０は、動画のデータ量（ＸあるいはＸ／Ｋ）と伝送時間（ＤｎｏｒｍあるいはＤｓｒ）との対応関係の実績を示す。

送信手法選択部２５は、第１送信手法と第２送信手法のいずれかを選択送信手法として選択する。具体的には、送信手法選択部２５は、一定期間における伝送実績情報２４０に基づいて、ビットレートα及び固定遅延βを推定する。更に、送信手法選択部２５は、ビット－レートα、固定遅延β、及び超解像処理時間γに基づいて、第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒの両方を算出する（上記式（１）、（２）参照）。

そして、送信手法選択部２５は、第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒとを比較し、第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒのうちより小さい方に対応する送信手法を選択送信手法として選択する。第１遅延時間Ｙｎｏｒｍが第２遅延時間Ｙｓｒ以下である場合、送信手法選択部２５は、第１送信手法を選択送信手法として選択する。一方、第２遅延時間Ｙｓｒが第１遅延時間Ｙｎｏｒｍ未満である場合、送信手法選択部２５は、第２送信手法を選択送信手法として選択する。送信手法選択部２５は、選択送信手法を指定する選択送信手法情報ＭＳを送信部２６に出力する。

送信部２６は、選択送信手法情報ＭＳを送信側装置１０に送信する。つまり、送信部２６は、選択送信手法を送信側装置１０に通知する。

送信側装置１０の受信部１３は、受信側装置２０から選択送信手法情報ＭＳを受け取り、選択送信手法情報ＭＳを輻輳制御部１２に出力する。輻輳制御部１２は、選択送信手法情報ＭＳで指定される選択送信手法に従って、輻輳制御を行う、あるいは、行わない。

尚、選択送信手法の切り替えが発生する場合、送信手法選択部２５は、選択送信手法の切り替えの発生を超解像処理部２２に事前に通知（予告）してもよい。この場合、超解像処理部２２は、事前通知を参考にして、超解像処理を行うか否かを判定することができる。

３－４．処理フロー
図７は、本実施の形態に係る送信手法切り替えに関連する処理を示すフローチャートである。

ステップＳ１０において、送信側装置１０は、第１送信手法と前記第２送信手法のいずれかである選択送信手法によって動画を送信する（送信処理）。受信側装置２０は、送信側装置１０から送信された動画を受信する（受信処理）。

ステップＳ２０において、受信側装置２０は、受信動画ＶＲに含まれる情報に基づいて、動画のデータ量（ＸあるいはＸ／Ｋ）と伝送時間（ＤｎｏｒｍあるいはＤｓｒ）を算出する。受信側装置２０は、動画のデータ量と伝送時間との対応関係の実績を示す伝送実績情報２４０を蓄積する。

ステップＳ３０において、受信側装置２０は、一定期間における伝送実績情報２４０に基づいて、第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒを算出（推定）する。

ステップＳ４０において、受信側装置２０は、第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒとを比較する。

第１遅延時間Ｙｎｏｒｍが第２遅延時間Ｙｓｒ以下である場合（ステップＳ４０；Ｙｅｓ）、受信側装置２０は、第１送信手法を選択送信手法として選択する（ステップＳ５０）。

一方、第２遅延時間Ｙｓｒが第１遅延時間Ｙｎｏｒｍ未満である場合（ステップＳ４０；Ｎｏ）、受信側装置２０は、第２送信手法を選択送信手法として選択する（ステップＳ６０）。

以上のステップＳ２０～Ｓ６０が、状況に応じて選択送信手法を選択する「選択処理」に相当する。

ステップＳ７０において、受信側装置２０は、選択送信手法を送信側装置１０に通知する「通知処理」を行う。送信側装置１０は、受信側装置２０から通知された選択送信手法に従って送信処理を行う。

３－５．効果
以上に説明されたように、本実施の形態によれば、第１送信手法と第２送信手法のうち遅延時間がより小さくなる方が選択送信手法として選択される。従って、動画伝送の更なる低遅延化が可能となる。また、選択送信手法が第１送信手法である場合、送信側装置１０から受信側装置２０に元動画Ｖ０が伝送されるため、画質の低下は発生しない。選択送信手法が第２送信手法である場合であっても、受信側装置２０において縮小動画Ｖ１に対して超解像技術が適用されるため、画質が改善する。従って、高画質と低遅延の両方を満たすことが可能となる。画質の低遅延の両立は、例えば、遠隔支援精度の向上に寄与する。

４．変形例
図８は、変形例を示すフローチャートである。図７で示されたフローチャートと重複する説明は適宜省略する。ステップＳ１０～Ｓ３０は、上述の場合と同様である。

ステップＳ１００において、受信側装置２０（送信手法選択部２５）は、現在の選択送信手法が第１送信手法であり、且つ、第１遅延時間Ｙｎｏｒｍが所定の遅延限界Ｙｌｉｍを超えているか否かを判定する。現在の選択送信手法が第１送信手法であり、且つ、第１遅延時間Ｙｎｏｒｍが所定の遅延限界Ｙｌｉｍを超えている場合（ステップＳ１００；Ｙｅｓ）、受信側装置２０は、第２送信手法を選択送信手法として選択する（ステップＳ６０）。言い換えれば、受信側装置２０は、選択送信手法を第１送信手法から第２送信手法へ強制的に切り替える。それ以外の場合（ステップＳ１００；Ｎｏ）、上述の場合と同様にステップＳ４０～Ｓ７０が実施される。

変形例によれば、動画伝送のロバスト性が向上する。

５．遠隔支援システムの構成例
以下、図２で示された遠隔支援システム１Ａの具体的な構成例を説明する。遠隔支援システム１Ａは、移動体１００と遠隔支援装置２００を含む。移動体１００と遠隔支援装置２００は、互いに通信可能である。遠隔支援装置２００は、移動体１００から送信される動画に基づいて、移動体１００の動作を遠隔で支援する。

５－１．移動体
図９は、移動体１００の構成例を示すブロック図である。移動体１００は、カメラ１１０、センサ群１２０、通信装置１３０、走行装置１４０、及び制御装置１５０を備えている。本例では、移動体１００は、車両やロボット等、車輪を備える移動体である。

カメラ１１０は、移動体１００の周囲の状況を撮像し、移動体１００の周囲の状況を示す画像を取得する。画像は、典型的には動画であるが、静止画像であってもよい。

センサ群１２０は、移動体１００の状態を検出する状態センサを含む。状態センサは、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。また、センサ群１２０は、移動体１００の位置及び方位を検出する位置センサを含む。位置センサとしては、ＧＰＳ（Global Positioning System）センサが例示される。更に、センサ群１２０は、カメラ１１０以外の認識センサを含んでいてもよい。認識センサは、移動体１００の周囲の状況を認識（検出）する。認識センサとしては、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、レーダ、等が例示される。

通信装置１３０は、移動体１００の外部と通信を行う。例えば、通信装置１３０は、遠隔支援装置２００と通信を行う。

走行装置１４０は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、移動体１００の車輪を転舵する。例えば、操舵装置は、パワーステアリング（EPS: Electric Power Steering）装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。

制御装置１５０は、移動体１００を制御する。制御装置１５０は、１又は複数のプロセッサ１５１（以下、単にプロセッサ１５１と呼ぶ）と１又は複数のメモリ１５２（以下、単にメモリ１５２と呼ぶ）を含んでいる。プロセッサ１５１は、各種処理を実行する。例えば、プロセッサ１５１は、ＣＰＵ（Central Processing Unit）を含んでいる。メモリ１５２は、各種情報を格納する。メモリ１５２としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、等が例示される。プロセッサ１５１がコンピュータプログラムである制御プログラムを実行することにより、プロセッサ１５１（制御装置１５０）による各種処理が実現される。制御プログラムは、メモリ１５２に格納されている、あるいは、コンピュータ読み取り可能な記録媒体に記録されている。制御装置１５０は、１又は複数のＥＣＵ（Electronic Control Unit）を含んでいてもよい。

プロセッサ１５１は、カメラ１１０やセンサ群１２０を用いて移動体情報１６０を取得する。移動体情報１６０は、カメラ１１０によって撮像される動画（すなわち元動画Ｖ０）を含んでいる。また、移動体情報１６０は、状態センサによって検出される移動体１００の状態を示す状態情報を含む。更に、移動体情報１６０は、位置センサによって検出される移動体１００の位置及び方位を示す位置情報を含む。更に、移動体情報１６０は、認識センサによって認識（検出）される物体に関する物体情報を含んでいる。物体情報は、移動体１００に対する物体の相対位置及び相対速度を示す。

また、プロセッサ１５１は、移動体１００の走行を制御する。走行制御は、操舵制御、加速制御、及び減速制御を含む。プロセッサ１５１は、走行装置１４０を制御することによって走行制御を実行する。プロセッサ１５１は、自動運転制御を行ってもよい。自動運転制御を行う場合、プロセッサ１５１は、移動体情報１６０に基づいて、移動体１００の目標トラジェクトリを生成する。目標トラジェクトリは、目標位置及び目標速度を含む。そして、プロセッサ１５１は、移動体１００が目標トラジェクトリに追従するように走行制御を実行する。

更に、プロセッサ１５１は、通信装置１３０を介して遠隔支援装置２００と通信を行う。例えば、プロセッサ１５１は、必要に応じて、移動体情報１６０の少なくとも一部を遠隔支援装置２００に送信する。

特に、遠隔支援が必要な場合、プロセッサ１５１は、動画（元動画Ｖ０あるいは縮小動画Ｖ１）を遠隔支援装置２００に送信する。このとき、プロセッサ１５１は、必要に応じて、上述の輻輳制御を行い、元動画Ｖ０から縮小動画Ｖ１を生成し、縮小動画Ｖ１を送信する。また、プロセッサ１５１は、遠隔支援装置２００から選択送信手法情報ＭＳを受け取る。プロセッサ１５１は、選択送信手法情報で指定される選択送信手法に従って送信処理を行う。

尚、遠隔支援を要求した場合、プロセッサ１５１は、遠隔支援装置２００からオペレータ指示を受信する。オペレータ指示を受け取った場合、プロセッサ１５１は、オペレータ指示に従って走行制御を実行する。

以上に説明された制御装置１５０（プロセッサ１５１，メモリ１５２）と通信装置１３０が、本実施の形態に係る「送信側装置１０」に相当する。

５－２．遠隔支援装置
図１０は、本実施の形態に係る遠隔支援装置２００の構成例を示すブロック図である。遠隔支援装置２００は、表示装置２１０、入力装置２２０、通信装置２３０、及び情報処理装置２５０を含んでいる。

表示装置２１０は、各種情報を表示する。表示装置２１０としては、液晶ディスプレイ、有機ＥＬディスプレイ、ヘッドマウントディスプレイ、タッチパネル、等が例示される。

入力装置２２０は、オペレータからの入力を受け付けるためのインタフェースである。入力装置２２０としては、タッチパネル、キーボード、マウス、等が例示される。また、遠隔支援が遠隔運転である場合、入力装置２２０は、オペレータが運転操作（操舵、加速、及び減速）を行うための運転操作部材を含む。

通信装置２３０は、外部との通信を行う。例えば、通信装置２３０は、移動体１００と通信を行う。

情報処理装置２５０は、各種情報処理を行う。情報処理装置２５０は、１又は複数のプロセッサ２５１（以下、単にプロセッサ２５１と呼ぶ）と１又は複数のメモリ２５２（以下、単にメモリ２５２と呼ぶ）を含んでいる。プロセッサ２５１は、各種処理を実行する。例えば、プロセッサ２５１は、ＣＰＵを含んでいる。メモリ２５２は、各種情報を格納する。メモリ２５２としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。プロセッサ２５１がコンピュータプログラムである遠隔支援プログラムを実行することによって、情報処理装置２５０の機能が実現される。遠隔支援プログラムは、メモリ２５２に格納される。遠隔支援プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。遠隔支援プログラムは、ネットワーク経由で提供されてもよい。

プロセッサ２５１は、移動体１００の動作を遠隔で支援する遠隔支援処理を実行する。遠隔支援処理は、「情報提供処理」と「オペレータ指示通知処理」とを含んでいる。

情報提供処理は、次の通りである。プロセッサ２５１は、通信装置２３０を介して、遠隔支援に必要な移動体情報２６０を移動体１００から受け取る。移動体情報２６０は、移動体情報１６０の少なくとも一部を含んでいる。特に、移動体情報２６０は、移動体１００から送信される動画（元動画Ｖ０あるいは縮小動画Ｖ１）を含む。プロセッサ２５１は、必要に応じて、上述の超解像処理を行い、縮小動画Ｖ１から改善動画Ｖ２を生成する。その場合、移動体情報２６０は、改善動画Ｖ２を含む。移動体情報２６０は、メモリ２５２に格納される。そして、プロセッサ２５１は、移動体情報２６０を表示装置２１０に表示することによって、移動体情報２６０をオペレータに提示する。

オペレータは、表示装置２１０に表示される動画をみて、移動体１００の周囲の状況を把握する。オペレータは、移動体１００の動作を遠隔で支援する。オペレータによる遠隔支援としては、認識支援、判断支援、遠隔運転、等が挙げられる。オペレータは、入力装置２２０を用いて、オペレータ指示を入力する。

オペレータ指示通知処理は、次の通りである。プロセッサ２５１は、オペレータによって入力されるオペレータ指示を入力装置２２０から受け取る。そして、プロセッサ２５１は、通信装置２３０を介して、オペレータ指示を移動体１００に送信する。

また、プロセッサ２５１は、状況に応じて選択送信手法を選択する選択処理を実行する。具体的には、プロセッサ２５１は、受信動画ＶＲに含まれる情報に基づいて、伝送実績情報２４０を生成、蓄積する。伝送実績情報２４０は、メモリ２５２に格納される。プロセッサ２５１は、伝送実績情報２４０に基づいて、第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒを算出（推定）する。そして、プロセッサ２５１は、第１遅延時間Ｙｎｏｒｍと第２遅延時間Ｙｓｒとを比較し、選択送信手法を選択する。

更に、プロセッサ２５１は、選択送信手法を指定する選択送信手法情報ＭＳを生成する。そして、プロセッサ２５１は、選択送信手法情報ＭＳを通信装置２３０を介して移動体１００に送信する。

以上に説明された情報処理装置２５０（プロセッサ２５１，メモリ２５２）と通信装置２３０が、本実施の形態に係る「受信側装置２０」に相当する。

１ 動画通信システム
１Ａ 遠隔支援システム
１０ 送信側装置
１１ 動画入力部
１２ 輻輳制御部
１３ 受信部
１４ 送信部
２０ 受信側装置
２１ 受信部
２２ 超解像処理部
２３ 動画出力部
２４ 記憶部
２５ 送信手法選択部
２６ 送信部
３０ 通信ネットワーク
１００ 移動体
１１０ カメラ
２００ 遠隔支援装置
２１０ 表示装置
２４０ 伝送実績情報
ＭＳ 選択送信手法情報
Ｖ０ 元動画
Ｖ１ 縮小動画
Ｖ２ 改善動画

Claims (10)

1. 送信側装置から受信側装置へ動画を伝送する動画通信方法であって、
   第１送信手法と第２送信手法のいずれかである選択送信手法によって前記動画を送信する送信処理を含み、
   前記第１送信手法は、元動画を前記動画として送信し、
   前記第２送信手法は、前記元動画を縮小することによって縮小動画を生成し、前記縮小動画を前記動画として送信し、
   前記動画通信方法は、更に、
   送信された前記動画を受信する受信処理と、
   前記第２送信手法によって送信された前記縮小動画を受信した場合、前記縮小動画に超解像技術を適用することによって改善動画を生成する超解像処理と
   を含み、
   伝送時間は、前記送信側装置から前記受信側装置への前記動画の伝送に要する時間であり、
   第１遅延時間は、前記第１送信手法の場合の前記伝送時間であり、
   第２遅延時間は、前記第２送信手法の場合の前記伝送時間と、前記超解像技術による前記改善動画の生成に要する超解像処理時間との和であり、
   前記動画通信方法は、更に、
   前記第１遅延時間と前記第２遅延時間とを比較し、前記第１遅延時間と前記第２遅延時間のうちより小さい方に対応する送信手法を前記選択送信手法として選択する選択処理を含む
   動画通信方法。
2. 請求項１に記載の動画通信方法であって、
   前記選択処理は、
   受信した前記動画に含まれる情報に基づいて前記伝送時間を算出する処理と、
   前記伝送時間に基づいて前記第１遅延時間と前記第２遅延時間の両方を推定する処理と
   を含む
   動画通信方法。
3. 請求項２に記載の動画通信方法であって、
   前記第１送信手法の場合の前記伝送時間は、固定遅延と第１変動遅延との和であり、
   前記第２送信手法の場合の前記伝送時間は、前記固定遅延と第２変動遅延との和であり、
   前記第１変動遅延は、前記元動画のデータ量及び前記送信側装置と前記受信側装置との間の通信回線のビットレートに依存し、
   前記第２変動遅延は、前記縮小動画のデータ量及び前記ビットレートに依存し、
   前記選択処理は、
   一定期間における前記データ量と前記伝送時間との対応関係に基づいて、前記ビットレートと前記固定遅延を推定する処理と、
   前記ビットレート、前記固定遅延、及び前記超解像処理時間に基づいて、前記第１遅延時間と前記第２遅延時間の両方を算出する処理と
   を含む
   動画通信方法。
4. 請求項１乃至３のいずれか一項に記載の動画通信方法であって、
   前記選択送信手法が前記第１送信手法であり、且つ、前記第１遅延時間が所定の遅延限界を超える場合、前記選択送信手法を前記第１送信手法から前記第２送信手法に切り替える処理を更に含む
   動画通信方法。
5. 第１送信手法と第２送信手法のいずれかである選択送信手法によって動画を送信する送信側装置と、
   前記送信側装置から送信される前記動画を受信する受信側装置と
   を備え、
   前記第１送信手法は、元動画を前記動画として送信し、
   前記第２送信手法は、前記元動画を縮小することによって縮小動画を生成し、前記縮小動画を前記動画として送信し、
   前記受信側装置は、前記第２送信手法によって送信された前記縮小動画を受信した場合、前記縮小動画に超解像技術を適用することによって改善動画を生成し、
   伝送時間は、前記送信側装置から前記受信側装置への前記動画の伝送に要する時間であり、
   第１遅延時間は、前記第１送信手法の場合の前記伝送時間であり、
   第２遅延時間は、前記第２送信手法の場合の前記伝送時間と、前記超解像技術による前記改善動画の生成に要する超解像処理時間との和であり、
   前記受信側装置は、
   前記第１遅延時間と前記第２遅延時間とを比較し、前記第１遅延時間と前記第２遅延時間のうちより小さい方に対応する送信手法を前記選択送信手法として選択し、
   前記選択送信手法を前記送信側装置に通知する
   動画通信システム。
6. 請求項５に記載の動画通信システムであって、
   前記受信側装置は、
   受信した前記動画に含まれる情報に基づいて前記伝送時間を算出し、
   前記伝送時間に基づいて前記第１遅延時間と前記第２遅延時間の両方を推定する
   動画通信システム。
7. 請求項６に記載の動画通信システムであって、
   前記第１送信手法の場合の前記伝送時間は、固定遅延と第１変動遅延との和であり、
   前記第２送信手法の場合の前記伝送時間は、前記固定遅延と第２変動遅延との和であり、
   前記第１変動遅延は、前記元動画のデータ量及び前記送信側装置と前記受信側装置との間の通信回線のビットレートに依存し、
   前記第２変動遅延は、前記縮小動画のデータ量及び前記ビットレートに依存し、
   前記受信側装置は、
   一定期間における前記データ量と前記伝送時間との対応関係に基づいて、前記ビットレートと前記固定遅延を推定し、
   前記ビットレート、前記固定遅延、及び前記超解像処理時間に基づいて、前記第１遅延時間と前記第２遅延時間の両方を算出する
   動画通信システム。
8. 請求項５乃至７のいずれか一項に記載の動画通信システムであって、
   前記選択送信手法が前記第１送信手法であり、且つ、前記第１遅延時間が所定の遅延限界を超える場合、前記受信側装置は、前記選択送信手法を前記第１送信手法から前記第２送信手法に切り替える
   動画通信システム。
9. 請求項５乃至８のいずれか一項に記載の動画通信システムであって、
   前記送信側装置は、移動体に搭載され、
   前記元動画は、前記移動体に搭載されたカメラによって取得され、
   前記受信側装置は、前記動画に基づいて前記移動体の動作を遠隔で支援する遠隔支援装置に含まれる
   動画通信システム。
10. 送信側装置から送信される動画を受信する受信側装置であって、
    前記送信側装置は、第１送信手法と第２送信手法のいずれかである選択送信手法によって前記動画を送信し、
    前記第１送信手法は、元動画を前記動画として送信し、
    前記第２送信手法は、前記元動画を縮小することによって縮小動画を生成し、前記縮小動画を前記動画として送信し、
    前記受信側装置は、１又は複数のプロセッサを備え、
    前記１又は複数のプロセッサは、
    前記送信側装置から送信される前記動画を受信し、
    前記第２送信手法によって送信された前記縮小動画を受信した場合、前記縮小動画に超解像技術を適用することによって改善動画を生成し、
    伝送時間は、前記送信側装置から前記受信側装置への前記動画の伝送に要する時間であり、
    第１遅延時間は、前記第１送信手法の場合の前記伝送時間であり、
    第２遅延時間は、前記第２送信手法の場合の前記伝送時間と、前記超解像技術による前記改善動画の生成に要する超解像処理時間との和であり、
    前記１又は複数のプロセッサは、更に、
    前記第１遅延時間と前記第２遅延時間とを比較し、前記第１遅延時間と前記第２遅延時間のうちより小さい方に対応する送信手法を前記選択送信手法として選択し、
    前記選択送信手法を前記送信側装置に通知する
    受信側装置。

Images