JP2019129328A - 高精細動画生成装置、高精細動画生成方法、およびプログラム - Google Patents

Abstract

【課題】コストをかけずリアルタイムに様々な目的・場所で動画を活用する。【解決手段】高精細動画生成装置２０は、高画質動画であるオリジナル動画１を受信するオリジナル動画受信部２１と、低ビットレート動画２を受信する低ビットレート動画受信部２４と、オリジナル動画受信部２１によって受信されたオリジナル動画１を教師データとして学習モデルＭを生成する学習モデル生成部２２と、学習モデル生成部２２によって生成された学習モデルＭのうち低ビットレート動画２に応じた学習モデルＭを用いて、低ビットレート動画受信部２４によって受信された低ビットレート動画２から高精細動画３を生成する高精細動画生成部２５とを備える。【選択図】図２

Description

本発明は、高精細動画生成装置、高精細動画生成方法、およびプログラムに関する。

近年、ＩｏＴデバイスの普及により、映像利用の更なる拡大が予想されている。その背景としては、ドライブレコーダの普及や義務化検討、映像のリアルタイム閲覧に対する需要、ＡＩ（artificial intelligence）技術の進展による動画像解析などの高まりがある。ＩｏＴデバイスの普及に伴い、映像トラフィック需要の拡大も予想されている。２０２１年には、モバイルの映像トラフィックが４０エクサバイトになるという試算もある。

特開２０１３−５５４９３号公報 特開２０１１−２３４３７７号公報 特開２０１０−２２１７１０号公報

しかしながら、既存のモバイル網の成長速度では、動画トラフィック需要に対応しきれない。すなわち、４Ｇのモバイル速度には限界があり、また、高速通信が可能な５Ｇ利用のトラフィック割合は２０２１年でも全体の０．２％程度と予測されている。

本発明は、コストをかけずリアルタイムに様々な目的・場所で動画を活用できる高精細動画生成装置、高精細動画生成方法、およびプログラムを提供することを目的とする。

上記目的を達成するため、第１の態様に係る発明は、高精細動画を生成する高精細動画生成装置であって、オリジナル動画を受信するオリジナル動画受信部と、低ビットレート動画を受信する低ビットレート動画受信部と、前記オリジナル動画受信部によって受信されたオリジナル動画を教師データとして学習モデルを生成する学習モデル生成部と、前記学習モデル生成部によって生成された学習モデルのうち前記低ビットレート動画に応じた学習モデルを用いて、前記低ビットレート動画受信部によって受信された低ビットレート動画から高精細動画を生成する高精細動画生成部とを備えることを要旨とする。

第２の態様に係る発明は、第１の態様に係る発明において、前記高精細動画生成部が、前記低ビットレート動画の属性情報と前記学習モデルの属性情報とに基づいて、前記低ビットレート動画に応じた学習モデルを選択することを要旨とする。

第３の態様に係る発明は、第２の態様に係る発明において、前記高精細動画生成部が、前記低ビットレート動画がドライブレコーダの映像の場合、そのドライブレコーダの映像と同じ運行ルートの学習モデルを優先的に選択することを要旨とする。

第４の態様に係る発明は、第１から第３のいずれか１つの態様に係る発明において、前記高精細動画生成部が、前記低ビットレート動画から静止画を生成し、生成した静止画にＡＩを適用して高精細動画を生成することを要旨とする。

第５の態様に係る発明は、第１から第４のいずれか１つの態様に係る発明において、前記低ビットレート動画が、前記オリジナル動画に低ビットレート化処理を施した動画であることを要旨とする。

第６の態様に係る発明は、第１から第５のいずれか１つの態様に係る発明において、前記低ビットレート動画が、狭帯域通信を用いてリアルタイムに送信されることを要旨とする。

第７の態様に係る発明は、高精細動画を生成する高精細動画生成装置が、オリジナル動画を受信するオリジナル動画受信ステップと、低ビットレート動画を受信する低ビットレート動画受信ステップと、前記オリジナル動画受信ステップで受信されたオリジナル動画を教師データとして学習モデルを生成する学習モデル生成ステップと、前記学習モデル生成ステップで生成された学習モデルのうち前記低ビットレート動画に応じた学習モデルを用いて、前記低ビットレート動画受信ステップで受信された低ビットレート動画から高精細動画を生成する高精細動画生成ステップとを有することを要旨とする。

第８の態様に係る発明は、第１から第６のいずれか１つの態様に係る高精細動画生成装置としてコンピュータを機能させるためのプログラムであることを要旨とする。

本発明によれば、コストをかけずリアルタイムに様々な目的・場所で動画を活用できる高精細動画生成装置、高精細動画生成方法、およびプログラムを提供するが可能である。

本発明の実施の形態における動画閲覧システムの適用例を示す概念図である。 本発明の実施の形態における動画閲覧システムのシステム構成図である。 本発明の実施の形態における動画閲覧システムの機能ブロック図である。 本発明の実施の形態における高精細動画生成装置のフローチャートである。 本発明の実施の形態における高精細動画生成装置のフローチャートである。 本発明の実施の形態における学習モデルＤＢのデータベース構成図である。 本発明の実施の形態で用いられる各動画の一例を示す図である。 本発明の実施の形態における動画閲覧システムの応用例を示す概念図である。

以下、本発明の実施の形態について図面を参照して詳細に説明する。

（本発明が必要とされた社会的状況）
既に説明したように、既存のモバイル網の成長速度では、動画トラフィック需要に対応しきれない。そのため、動画のビットレートを低くすることで利用可能な動画数を増やし、需要に対処するしか方法はない。

Ｈ．２６４などの既存の動画圧縮技術では、ビットレートを低くするために動画のサイズを小さくする技術があるものの、ビットレートを１００ｋｂｐｓまで低くすると動画のサイズが著しく小さくなる課題がある。例えば、１２８ｘ１２８のサイズで１００ｋｂｐｓ程度、３２ｘ３２のサイズで１０ｋｂｐｓ程度である。このように動画のサイズが著しく小さくなると、適用できる範囲が狭くなってしまう。

超解像技術の適用も考えられる。超解像技術とは、低解像度の画像を高解像度に補正する技術である。しかしながら、テレビなどで採用されている既存の超解像技術では２〜４倍が限界である。学習型の超解像はリアルタイム処理が難しいという課題もある。

本発明では、ＡＩ技術を利用することで、転送するビットレートは低くしつつ、転送先では高精細な動画再生を可能にする。言い換えると、画像生成型ＡＩを利用したリアルタイム映像の生成（復元）を可能とする。このようなシステムによると、学習が進めば少ない情報で高精細画像を生成可能である。また、学習に時間はかかるが、高精細画像を生成するのは容易である。一般的な画像を高精細画像へ復元することはＡＩ技術を用いても困難であるが、例えば、周回するバスの映像や監視カメラの映像など、同じような場所を撮影し続けた限定的な画像の復元においては、ＡＩ技術の適用により高い精度で高精細画像の生成が可能になる。映像のリアルタイム閲覧に対する需要（例えば、バス内映像の監視、自動運転への適用、監視カメラによる遠隔監視）が高まっているため、非常に実用的価値の高い発明と言える。

（適用例）
図１は、本発明の実施の形態における動画閲覧システムを適用して路線バス４Ａの車載映像を閲覧する場合の概念図である。この図に示すように、路線バス４Ａ、観光バス、タクシー等では、ドライブレコーダの映像を用いて車内・車外の様子をリアルタイムに確認したいという需要がある。そこで、本発明の実施の形態では、事前に蓄積しておいたドライブレコーダの映像（高画質なオリジナル動画１）を使うことによって、リアルタイムに転送される低ビットレート動画２を高精細動画３に復元する。具体的な手順は以下のようになる。
（１）オリジナル動画１を１０〜１００ｋｂｐｓの低ビットレート動画２に変換
（２）モバイルの低速回線を使って低ビットレート動画２をリアルタイムでアップロード
（３）低ビットレート動画２に最適な学習モデルＭを選び、高精細動画３を生成
ここで学習モデルＭは以下のように生成する。
（１）オリジナル動画１、低ビットレート動画２を準リアルタイムでアップロードす る
（２）オリジナル動画１と低ビットレート動画２の関係性をＡＩに学習させて学習モ デルＭを作成する
ここでいうリアルタイムとは、数秒遅れで通信を行う方式を指し、準リアルタイムとは、数分〜数時間遅れで通信を行う方式を指す。すなわち、低ビットレート動画２から高精細動画３を生成する学習モデルＭは実際の映像よりも古いものを利用することになるが、前述したように同じような場所を撮影し続けた限定的な映像を利用しているため、古い学習モデルＭであっても高精細に復元することが可能となる。なお、低ビットレート動画２はドライブレコーダ側で保存せずに、オリジナル動画１がアップロードされたサーバなどで再生成してもよい。

ドライブレコーダは車載のため、電源を気にせず低ビットレート動画２への動画変換を行いやすい。低ビットレート動画２をＬＴＥやＬＰＷＡなどの狭帯域通信を用いてリアルタイムでアンテナ５Ａを通じてクラウド６にアップロードする。また、路線バス４Ａの営業所やバス停などにＷｉＦｉ／ＷｉＧｉｇ（ミリ波）のＡＰ（access point）５Ｂを設置し、ドライブレコーダの映像（教師データ）を定期的にクラウド６にアップロードする。ＷｉＦｉ／ＷｉＧｉｇなどは定額で利用できる固定回線などを利用するためコスト（費用）を気にすることなく大容量のデータをクラウド６へアップロードできる。路線バス４Ａは定期的に営業所やバス停などに立ち寄るため、教師データを収集しやすく、教師データを高頻度で更新することができる。

クラウド６では、ＡＩ技術を利用している。ＡＩ６Ｂは、教師データに基づいて学習モデルＭ₁，Ｍ₂，Ｍ₃を生成する。個々の学習モデルＭ₁，Ｍ₂，Ｍ₃を特に区別しない場合は、単に「学習モデルＭ」と呼ぶことにする。路線バス４Ａは同じ場所を運行するため、ＡＩ６Ｂによる学習効果は高い。ＡＩ６Ａは、学習モデルＭ₁，Ｍ₂，Ｍ₃に基づいて高精細動画３を生成する。閲覧者７は、中央制御室などに設置されたコンピュータを用いて、ＡＩ６Ａによって生成された高精細動画３を閲覧することが可能である。

モバイル通信が発達した現在においても、高精細な動画を送信するためには時間とコスト（ＬＴＥをはじめほとんどのモバイル通信が従量制のため）が必要となる。そこで、画像サイズを変更することなくビットレートを低くすることで、これまで実現されていなかったモバイル通信による動画転送を可能にした。動画サイズを変更することなくビットレートを低くすることで、狭帯域（１００ｋｂｐｓ程度）で低ビットレート動画２を送信することができるため、コストをかけずリアルタイムに様々な目的・場所で動画を活用できる。また、ＡＩ技術と組み合わせ、送信された低ビットレート動画２をオリジナル動画１と遜色ないレベルまで生成（復元）することができるため、あたかもオリジナル動画１を閲覧しているかのような感覚で高精細動画３を閲覧することが可能になる。更に、路線バス４Ａに設置されたドライブレコーダの映像をリアルタイムに中央制御室に送信することができるため、事故発生やトラブルの状況をリアルタイムに確認でき、迅速な対応が可能になる。

（構成例）
図２は、本発明の実施の形態における動画閲覧システムのシステム構成図である。この図に示すように、動画取得・送信装置１０と高精細動画生成装置２０とが通信網３０を介して接続されている。具体的には、ＬＴＥやＬＰＷＡなどの通信回線３１と、ＷｉＦｉやＷｉＧｉｇなどの通信回線３２が用いられる。ケースにより回線を使い分けるようになっている。このような動画閲覧システムにおいてＡＩ技術を利用することで、転送するビットレートは低くしつつ、転送先では高精細な動画を再生することが可能になる。

動画取得・送信装置１０は、動画を取得して高精細動画生成装置２０に送信するドライブレコーダ、プラレールカメラ、定点カメラ等であって、動画取得部１１と、低ビットレート動画送信部１２と、オリジナル動画送信部１３とを備える。動画取得部１１は、オリジナル動画１を取得して、ＳＤカードやハードディスクなどの記録媒体に蓄積する。低ビットレート動画送信部１２は、記録媒体に蓄積されたオリジナル動画１に低ビットレート化処理を施して低ビットレート動画２を生成し、その低ビットレート動画２を通信回線３１を用いてリアルタイムに送信する。オリジナル動画受信部２１は、動画取得部１１によって取得されたオリジナル動画１を通信回線３２を用いて準リアルタイムに送信する。

高精細動画生成装置２０は、動画取得・送信装置１０から動画を受信して高精細動画３を生成するコンピュータであって、オリジナル動画受信部２１と、学習モデル生成部２２と、学習モデルＤＢ２３と、低ビットレート動画受信部２４と、高精細動画生成部２５と、結果表示部２６とを備える。オリジナル動画受信部２１は、通信網３０を介してオリジナル動画１を受信する。学習モデル生成部２２は、オリジナル動画受信部２１によって受信されたオリジナル動画１を教師データとして学習モデルＭを生成する。学習モデルＤＢ２３は、学習モデル生成部２２によって生成された学習モデルＭを格納する。低ビットレート動画受信部２４は、通信網３０を介して低ビットレート動画２を受信する。高精細動画生成部２５は、学習モデル生成部２２によって生成された学習モデルＭのうち低ビットレート動画２に応じた学習モデルＭを用いて、低ビットレート動画受信部２４によって受信された低ビットレート動画２から高精細動画３を生成する。結果表示部２６は、高精細動画生成部２５によって生成された高精細動画３などを表示する。

ここでは、データベースとして学習モデルＤＢ２３だけを図示しているが、もちろん、その他のデータベースを備えてもよい。例えば、オリジナル動画１とその属性情報とを対応付けて格納する学習用データＤＢや、低ビットレート動画２とその属性情報とを対応付けて格納する低ビットレートデータＤＢなどを備えることも可能である。

図３は、本発明の実施の形態における動画閲覧システムの機能ブロック図である。ここでいうクライアント５０は動画取得・送信装置１０に相当し、それ以外の部分は高精細動画生成装置２０に相当する。以下、図３を用いて、本動画閲覧システムの構成を更に詳しく説明する。

まず、クライアント５０でオリジナル動画１を取得し、コンバータ５１で低ビットレート化処理を行う。低ビットレート化処理では、単純なビットレートの指定による方式や、色情報を削減したグレースケールへの変換、画像サイズの縮小やフレームレートの削減など、対象となる動画に応じてノイズが少なくなるように処理を組み合わせて施す。なお、低ビットレート化処理の方法をドライブレコーダーでノイズ等を検出しながら動的に変更を行っても構わない。また、車外を撮影しているような動画においては、動画内のあるフレーム画像は時間的に前のフレームを消失点を中心に拡大したフレームと酷似することから、ドライブレコーダーで消失点の周辺画像のみを抽出して送信してもよい。属性情報４３は、動画のメタデータであり、撮影場所・路線を表す識別子、ＧＰＳ位置、時間帯、季節、天候などである。天候は、インターネット上の天気予報ＤＢから取得するようにしてもよい。また、これらの属性情報４３を学習モデルＭの作成時に教師データとして用いてもよい。

オリジナル動画１をトレーナー６０に送信し、トレーナー６０でクライアント５０のコンバータ５１と同じコンバータ６１を使い、低ビットレート動画２を再現する。ＡＩ６２としてテンソルフロー（TensorFlow）を使用し、オリジナル動画１のフレーム１Ｆと低ビットレート動画２のフレーム２ＦのそれぞれをＧＡＮ（Generative Adversarial Network）方式で学習させることで、低ビットレート動画２からオリジナル動画１を再現する。ＡＩ６２は、属性情報４３に応じて出力モデルを切り替えるようになっている。ここでは、ＡＩ６２によって学習モデルＭ_A，Ｍ_B，Ｍ_C，…が生成された場合を例示している。なお、TensorFlowやＧＡＮを例示したが、もちろん、その他のプログラムやアルゴリズムを採用することも可能である。

基本的には、コントローラ７０がジェネレータ８０やビューア９０を指示する。コントローラ７０は、低ビットレート動画２を受信すると、その低ビットレート動画２のフレーム２Ｆを学習モデル選択部７１に渡す。学習モデル選択部７１は、属性情報４３を使って学習モデルＭ_A，Ｍ_B，Ｍ_C，…を数種類に絞り込み、数フレームを使ってそれぞれの学習モデルＭ_A，Ｍ_B，Ｍ_C，…での再現率を測定し、一番良かった学習モデルＭを選択する。例えば、すでに過去に選択が行われている属性情報４３の場合は過去に最も再現率が高かった学習モデルＭを優先的に選択し、さらに高い再現率の学習モデルＭが存在した場合は以降そちらを選択する。ここでは、学習モデル選択部７１によって学習モデルＭ_Cが選択された場合を例示している。

ジェネレータ８０は、コントローラ７０の要求に基づいてデーモン（daemon）として動作し、ＴＣＰポートを待ち受けて送られてきたフレーム２Ｆを指定された場所に出力する。具体的には、ＡＩ８１としてテンソルフローを使用し、学習モデル選択部７１によって選択された学習モデルＭ_Cを使用して高精細動画３を生成し、高精細動画３のフレーム３Ｆを、指定されたディレクトリに書き出すか、もしくは指定されたコネクションで返送する。ジェネレータ８０では、学習モデルＭ１，Ｍ２，Ｍ３，…毎にデーモンが立ち上がるようにしてもよい。

ビューア９０は、高精細動画３のフレーム３ＦをＷｅｂ上で閲覧可能にする。具体的には、Ｊａｖａｓｃｒｉｐｔでイメージを定期的に取りに行く方法などを採用することができる(Ｊａｖａは登録商標）。

なお、上記の説明では特に言及しなかったが、現状のテンソルフロー（ＡＩ６２，８１）では静止画しか扱うことができない。そこで、ＡＩ６２，８１を利用するための前処理として、動画から静止画を生成し、その静止画にＡＩ６２，８１を適用するようにしている。

また、動画は、静止画の時系列の情報を持っているため、その時系列の情報を使用して高精細動画３を生成するようにしてもよい。例えば、低ビットレート動画２の対象物がほとんど動かない場合は、変化がない部分をクライアント５０で間引いたうえで転送するようにし、間引いた部分を転送先（コントローラ７０等）で復元するようにしてもよい。これにより、転送するビットレートを更に低くしつつ、転送先では高精細な動画再生が可能である。

（動作例）
図４は、本発明の実施の形態における高精細動画生成装置２０の動作を示すフローチャートである。以下、図４を用いて、学習モデルＭを生成する動作について説明する。

まず、高精細動画生成装置２０は、オリジナル動画１を準リアルタイムに取得すると、オリジナル動画１に属性情報４３を付与し、ＡＩを使って対象物毎に学習させ、その学習用データを学習用データＤＢに格納する（ステップＳ１→Ｓ２→Ｓ３）。次いで、学習用データＤＢに基づいて学習モデルＭを生成し、学習モデルＤＢ２３に格納する（ステップＳ４→Ｓ５）。なお、高精細動画３の生成精度を向上させるため、定期的にオリジナル動画１を取得し、取得したオリジナル動画１を用いて高頻度で学習モデルＭを更新するようになっている。

図５は、本発明の実施の形態における高精細動画生成装置２０の動作を示すフローチャートである。以下、図５を用いて、高精細動画３を生成する動作について説明する。

まず、高精細動画生成装置２０は、低ビットレート動画２をリアルタイムに取得すると、低ビットレート動画２に属性情報４３を付与し、低ビットレートデータＤＢに格納する（ステップＳ１１→Ｓ１２→Ｓ１３）。次いで、低ビットレート動画２の対象物に応じて、低ビットレートデータＤＢの中から学習モデルＭを選択する（ステップＳ１４→Ｓ１５）。ここで、学習モデル選択方法としては、ステップＳ１１において取得した低ビットレート動画２の特徴（属性情報４３）と学習モデルＭの属性情報４３とに基づいて最適な学習モデルＭを選択する。例えば、ドライブレコーダの映像の場合、位置情報（同一路線）、時間帯、天候、撮影時期（より最近のもの）など、属性情報４３が近いものを選択する。属性情報４３の中でも位置情報は特に重要である。そのため、ドライブレコーダの映像と同じ位置情報の学習モデルＭが存在する場合には、その学習モデルＭを優先的に選択し、同じ位置情報の学習モデルＭが存在しない場合には、最も近い位置情報の学習モデルＭを優先的に選択するのが望ましい。次いで、選択した学習モデルＭを学習モデルＤＢ２３から抽出し、ＡＩを使って高精細動画３を生成し、生成した高精細動画３を高精細動画ＤＢに格納する（ステップＳ１５→Ｓ１６→Ｓ１７）。高精細動画ＤＢに格納された高精細動画３は、閲覧者７によって閲覧可能となっている（ステップＳ１８）。

（データベース構成例）
図６は、本発明の実施の形態における学習モデルＤＢ２３のデータベース構成図である。以下、図６を用いて、学習モデルＤＢ２３の一例について説明する。

図６（ａ）に示すように、学習モデルＤＢ２３は、モデルＩＤ、場所ＩＤ、時間、天候、作成日（更新日）、項目Ａ，Ｂ，Ｃ，Ｄ，…などを対応付けて格納している。モデルＩＤは、学習モデルＭを識別するための情報である。場所ＩＤは、場所を識別するための情報である。時間は、朝・昼・夜のような時間帯を示す情報であってもよい。天候は、晴れ・曇り・雨を表す情報はもちろん、雪が積もっているかことを表す情報であってもよい。作成日（更新日）は、年月日を表す情報はもちろん、夏や冬などの季節を表す情報であってもよい。その他、モデルＩＤには、学習モデルＭの特徴を表す各種の項目Ａ，Ｂ，Ｃ，Ｄ，…を対応付けることができる。

図６（ｂ）に示すように、場所ＩＤと対応付けて、名称、時間、項目Ａ，Ｂ，…を格納してもよい。名称は、「Ｘ観光＿Ａルート」など、路線バス４Ａの路線の名称を表す情報
であってもよい。時間は、「２０分」など、その路線の運行に要する時間情報であってもよい。その他、場所ＩＤには、場所の特徴を表す各種の項目Ａ，Ｂ…を対応付けることができる。

（各動画の比較）
図７は、本発明の実施の形態における動画閲覧システムで用いられる各動画の一例を示す図である。図７（ａ）はオリジナル動画１、図７（ｂ）は低ビットレート動画２、図７（ｃ）は高精細動画３を示している。ここでは、ドライブレコーダによって撮影された車外の映像を例示している。図７（ａ）に示すように、オリジナル動画１は、オリジナルの高画質（高精細）な動画であり、通常はカラーである。また、図７（ｂ）に示すように、低ビットレート動画２は、低ビットレート化処理が施された動画であり、ここでは白黒の点画を例示している。低ビットレート化処理は、グレースケール、点画、エッジなど様々あり、特に限定されるものではない。更に、図７（ｃ）に示すように、高精細動画３は、高精細な動画であり、オリジナル動画１と同様に通常はカラーである。オリジナル動画１と遜色ないレベルまで生成（復元）されていることが分かる。

（応用例）
本発明の実施の形態における動画閲覧システムによれば、超低ビットレートによるリアルタイム映像転送技術を確立することができる。超低ビットレートでのネットワーク利用による映像転送としては、例えば、ＬＴＥを利用した１００Ｋｂｐｓでの転送や、ＬＰＷＡを利用した１０Ｋｂｐｓでの転送を採用することができる。費用対効果の観点から利用できなかった映像データに本動画閲覧システムを適用することが可能である。

図８は、本発明の実施の形態における動画閲覧システムの応用例を示す概念図である。この図に示すように、本動画閲覧システムは、車載カメラ映像を閲覧する場合だけでなく、センサ映像やスポーツ中継映像を閲覧する場合などに適用することもできる。教師データとなるオリジナル動画１は実際の運用中に収集し、実運用時の高精度化を目指す。教師データを準リアルタイムで送信することで、より新しい実際の状況を学習させることができるため、高精細動画３の生成精度を高めることが可能である。

まず、車載カメラ映像を閲覧する場合について説明する。この場合は、ドライブレコーダ映像の保存や、自動運転車の監視を行うことができる。車内・車外の映像に加え、その映像の属性情報４３として路線情報や季節・時間帯情報などをクラウド６に送信するようにしてもよい。これにより、クラウド６のＡＩ６Ｂは、路線情報や季節・時間帯情報などに基づいて学習モデルＭ₁，Ｍ₂，Ｍ₃等を生成することができる。学習モデルＭ₁，Ｍ₂，Ｍ₃は、それぞれ、ドライブレコーダで朝，昼，夜に撮影した場合の学習モデルである。一方、クラウド６のＡＩ６Ａは、路線情報や季節・時間帯情報などに基づいて最適な学習モデルＭを選択し、その最適な学習モデルＭに基づいて高精細動画３を生成することができる。路線バス４Ａは同じルートを運行しているため、このような車載カメラ映像を閲覧する場合に本システムを適用することは非常に効果的である。

次に、センサ映像を閲覧する場合について説明する。この場合は、遠隔農業地の監視や、獣害対策を行うことができる。トマトなどの対象農作物の映像に加え、その映像の属性情報４３として季節・時間帯情報などをクラウド６に送信するようにしてもよい。これにより、クラウド６のＡＩ６Ｂは、季節・時間帯情報などに基づいて学習モデルＭ₄等を生成することができる。学習モデルＭ₄は、センサカメラでトマトを撮影した場合の学習モデルである。一方、クラウド６のＡＩ６Ａは、季節・時間帯情報などに基づいて最適な学習モデルＭを選択し、その最適な学習モデルＭに基づいて高精細動画３を生成することができる。農作物はあまり動かないため、このようなセンサ映像を閲覧する場合に本システムを適用することは非常に効果的である。

次に、スポーツ中継映像を閲覧する場合について説明する。この場合は、モバイル網でのリアルタイム観戦を行うことができる。競技場や野球場の映像に加え、その映像の属性情報４３としてスポーツ種類情報や季節・時間帯情報などをクラウド６に送信するようにしてもよい。これにより、クラウド６のＡＩ６Ｂは、スポーツ種類情報や季節・時間帯情報などに基づいて学習モデルＭ₅等を生成することができる。学習モデルＭ₅は、野球をスポーツ中継した場合の学習モデルである。一方、クラウド６のＡＩ６Ａは、スポーツ種類情報や季節・時間帯情報などに基づいて最適な学習モデルＭを選択し、その最適な学習モデルＭに基づいて高精細動画３を生成することができる。屋内テニスや卓球などは制限された空間で行われるため、このようなスポーツ中継映像を閲覧する場合に本システムを適用することは非常に効果的である。

本発明の実施の形態における動画閲覧システムは、種々の変形が可能である。特にスポーツの場合、クラウド６経由という方法もあるが、例えば、特定のスポーツ（サッカーや野球、ラグビーなど、スポーツ種類は何でもよい。）を観戦する場合、事前に学習モデルＭを特定することができる。そのため、ユーザが事前に自分のスマートフォンなどの端末に学習モデルＭをダウンロードし、低ビットレート動画２のみを受信するようにしてもよい。これにより、クラウド６へのアクセスする必要がなくなり、個人のスマートフォンで高精細動画３を復元・閲覧することが可能となる。

（まとめ）
以上説明したように、本発明の実施の形態における高精細動画生成装置２０は、高画質動画であるオリジナル動画１を受信するオリジナル動画受信部２１と、低ビットレート動画２を受信する低ビットレート動画受信部２４と、オリジナル動画受信部２１によって受信されたオリジナル動画１を教師データとして学習モデルＭを生成する学習モデル生成部２２と、学習モデル生成部２２によって生成された学習モデルＭのうち低ビットレート動画２に応じた学習モデルＭを用いて、低ビットレート動画受信部２４によって受信された低ビットレート動画２から高精細動画３を生成する高精細動画生成部２５とを備える。これにより、動画サイズを変更することなくビットレートを低くすることで、狭帯域（１００ｋｂｐｓ程度）で低ビットレート動画２を送信することができるため、コストをかけずリアルタイムに様々な目的・場所で動画を活用できる。

具体的には、高精細動画生成部２５は、低ビットレート動画２の属性情報４３と学習モデルＭの属性情報４３とに基づいて、低ビットレート動画２に応じた学習モデルＭを選択してもよい。これにより、多くの学習モデルＭの中から最適な学習モデルＭを選択することが可能である。

また、高精細動画生成部２５は、低ビットレート動画２がドライブレコーダの映像の場合、そのドライブレコーダの映像と同じ運行ルートの学習モデルＭを優先的に選択してもよい。これにより、属性情報の中でも特に重要な運行ルートの情報に基づいて最適な学習モデルＭを選択することが可能である。

また、高精細動画生成部２５は、低ビットレート動画２から静止画を生成し、生成した静止画にＡＩを適用して高精細動画３を生成してもよい。これにより、静止画しか扱うことができないＡＩ（例えば、テンソルフロー）を利用することが可能である。

また、低ビットレート動画２は、オリジナル動画１に低ビットレート化処理を施した動画であってもよい。これにより、教師データを高頻度で更新することが可能である。

また、低ビットレート動画２は、狭帯域通信を用いてリアルタイムに送信されてもよい。これにより、路線バス４Ａに設置されたドライブレコーダの映像をリアルタイムに中央制御室に送信することによって、事故発生やトラブルの状況をリアルタイムに確認でき、迅速な対応が可能になる。

なお、本発明は、高精細動画生成装置２０として実現することができるだけでなく、高精細動画生成装置２０が備える特徴的な処理部をステップとする高精細動画生成方法として実現したり、高精細動画生成装置２０としてコンピュータを機能させるためのプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのはいうまでもない。

１…オリジナル動画
２…低ビットレート動画
３…高精細動画
６…クラウド
１０…動画取得・送信装置
１１…動画取得部
１２…低ビットレート動画送信部
１３…オリジナル動画送信部
２０…高精細動画生成装置
２１…オリジナル動画受信部
２２…学習モデル生成部
２３…学習モデルＤＢ
２４…低ビットレート動画受信部
２５…高精細動画生成部
２６…結果表示部
３０…通信網
３１…通信回線
３２…通信回線
Ｍ…学習モデル

上記目的を達成するため、第１の態様に係る発明は、高精細動画を生成する高精細動画生成装置であって、オリジナル動画を受信するオリジナル動画受信部と、低ビットレート動画を受信する低ビットレート動画受信部と、前記オリジナル動画受信部によって受信されたオリジナル動画を教師データとして学習モデルを生成する学習モデル生成部と、前記学習モデル生成部によって生成された学習モデルのうち前記低ビットレート動画に応じた学習モデルを用いて、前記低ビットレート動画受信部によって受信された低ビットレート動画から高精細動画を生成する高精細動画生成部とを備え、前記高精細動画生成部は、前記低ビットレート動画がドライブレコーダの映像の場合、そのドライブレコーダの映像と同じ運行ルートの学習モデルを優先的に選択することを要旨とする。
第２の態様に係る発明は、高精細動画を生成する高精細動画生成装置であって、オリジナル動画を受信するオリジナル動画受信部と、低ビットレート動画を受信する低ビットレート動画受信部と、前記オリジナル動画受信部によって受信されたオリジナル動画を教師データとして学習モデルを生成する学習モデル生成部と、前記学習モデル生成部によって生成された学習モデルのうち前記低ビットレート動画に応じた学習モデルを用いて、前記低ビットレート動画受信部によって受信された低ビットレート動画から高精細動画を生成する高精細動画生成部とを備え、前記高精細動画生成部は、前記低ビットレート動画が農作物のセンサ映像の場合、そのセンサ映像と同じ農作物を撮影した場合の学習モデルを優先的に選択することを要旨とする。
第３の態様に係る発明は、高精細動画を生成する高精細動画生成装置であって、オリジナル動画を受信するオリジナル動画受信部と、低ビットレート動画を受信する低ビットレート動画受信部と、前記オリジナル動画受信部によって受信されたオリジナル動画を教師データとして学習モデルを生成する学習モデル生成部と、前記学習モデル生成部によって生成された学習モデルのうち前記低ビットレート動画に応じた学習モデルを用いて、前記低ビットレート動画受信部によって受信された低ビットレート動画から高精細動画を生成する高精細動画生成部とを備え、前記高精細動画生成部は、前記低ビットレート動画がスポーツ中継映像の場合、そのスポーツ中継と同じスポーツを中継した場合の学習モデルを優先的に選択することを要旨とする。

第４の態様に係る発明は、高精細動画を生成する高精細動画生成装置が、オリジナル動画を受信するオリジナル動画受信ステップと、低ビットレート動画を受信する低ビットレート動画受信ステップと、前記オリジナル動画受信ステップで受信されたオリジナル動画を教師データとして学習モデルを生成する学習モデル生成ステップと、前記学習モデル生成ステップで生成された学習モデルのうち前記低ビットレート動画に応じた学習モデルを用いて、前記低ビットレート動画受信ステップで受信された低ビットレート動画から高精細動画を生成する高精細動画生成ステップとを実行し、前記高精細動画生成ステップでは、前記低ビットレート動画がドライブレコーダの映像の場合、そのドライブレコーダの映像と同じ運行ルートの学習モデルを優先的に選択することを要旨とする。
第５の態様に係る発明は、高精細動画を生成する高精細動画生成装置が、オリジナル動画を受信するオリジナル動画受信ステップと、低ビットレート動画を受信する低ビットレート動画受信ステップと、前記オリジナル動画受信ステップで受信されたオリジナル動画を教師データとして学習モデルを生成する学習モデル生成ステップと、前記学習モデル生成ステップで生成された学習モデルのうち前記低ビットレート動画に応じた学習モデルを用いて、前記低ビットレート動画受信ステップで受信された低ビットレート動画から高精細動画を生成する高精細動画生成ステップとを実行し、前記高精細動画生成ステップでは、前記低ビットレート動画が農作物のセンサ映像の場合、そのセンサ映像と同じ農作物を撮影した場合の学習モデルを優先的に選択することを要旨とする。
第６の態様に係る発明は、高精細動画を生成する高精細動画生成装置が、オリジナル動画を受信するオリジナル動画受信ステップと、低ビットレート動画を受信する低ビットレート動画受信ステップと、前記オリジナル動画受信ステップで受信されたオリジナル動画を教師データとして学習モデルを生成する学習モデル生成ステップと、前記学習モデル生成ステップで生成された学習モデルのうち前記低ビットレート動画に応じた学習モデルを用いて、前記低ビットレート動画受信ステップで受信された低ビットレート動画から高精細動画を生成する高精細動画生成ステップとを実行し、前記高精細動画生成ステップでは、前記低ビットレート動画がスポーツ中継映像の場合、そのスポーツ中継と同じスポーツを中継した場合の学習モデルを優先的に選択することを要旨とする。

第７の態様に係る発明は、第１から第３のいずれか１つの態様に係る高精細動画生成装置としてコンピュータを機能させるためのプログラムであることを要旨とする。

Claims (8)

1. 高精細動画を生成する高精細動画生成装置であって、
   オリジナル動画を受信するオリジナル動画受信部と、
   低ビットレート動画を受信する低ビットレート動画受信部と、
   前記オリジナル動画受信部によって受信されたオリジナル動画を教師データとして学習モデルを生成する学習モデル生成部と、
   前記学習モデル生成部によって生成された学習モデルのうち前記低ビットレート動画に応じた学習モデルを用いて、前記低ビットレート動画受信部によって受信された低ビットレート動画から高精細動画を生成する高精細動画生成部と
   を備えることを特徴とする高精細動画生成装置。
2. 前記高精細動画生成部は、前記低ビットレート動画の属性情報と前記学習モデルの属性情報とに基づいて、前記低ビットレート動画に応じた学習モデルを選択することを特徴とする請求項１に記載の高精細動画生成装置。
3. 前記高精細動画生成部は、前記低ビットレート動画がドライブレコーダの映像の場合、そのドライブレコーダの映像と同じ運行ルートの学習モデルを優先的に選択することを特徴とする請求項２に記載の高精細動画生成装置。
4. 前記高精細動画生成部は、前記低ビットレート動画から静止画を生成し、生成した静止画にＡＩを適用して高精細動画を生成することを特徴とする請求項１から３のいずれか１項に記載の高精細動画生成装置。
5. 前記低ビットレート動画は、前記オリジナル動画に低ビットレート化処理を施した動画であることを特徴とする請求項１から４のいずれか１項に記載の高精細動画生成装置。
6. 前記低ビットレート動画は、狭帯域通信を用いてリアルタイムに送信されることを特徴とする請求項１から５のいずれか１項に記載の高精細動画生成装置。
7. 高精細動画を生成する高精細動画生成装置が、
   オリジナル動画を受信するオリジナル動画受信ステップと、
   低ビットレート動画を受信する低ビットレート動画受信ステップと、
   前記オリジナル動画受信ステップで受信されたオリジナル動画を教師データとして学習モデルを生成する学習モデル生成ステップと、
   前記学習モデル生成ステップで生成された学習モデルのうち前記低ビットレート動画に応じた学習モデルを用いて、前記低ビットレート動画受信ステップで受信された低ビットレート動画から高精細動画を生成する高精細動画生成ステップと
   を有することを特徴とする高精細動画生成方法。
8. 請求項１から６のいずれか１項に記載した高精細動画生成装置としてコンピュータを機能させるためのプログラム。