JP2021118517A - 映像処理装置 - Google Patents

Abstract

【課題】ネットワーク帯域を圧迫することなく、全天球動画データの見どころと思われる部分を表示装置において視点移動操作不要で視聴可能とする映像処理装置を提供すること。【解決手段】動画データを配信する画像処理装置であって、一つ以上の表示装置と相互に通信するための手段と、表示装置における画角より広い画角の動画データを保持するための手段と、前記動画データを表示装置において表示した画角情報を取得する手段と、取得した画角情報に基づき前記動画データにおける各領域の視聴頻度を算出する手段と、前記ヒートマップに基づき前記動画データの画角の一部からなる動画データ生成する手段を備える。【選択図】図１

Description

本発明は、映像処理装置に関し、特に、パノラマ動画や全天球動画などの視点を移動可能とした動画を配信する映像処理装置に関する。

近年、Ｙｏｕｔｕｂｅ（登録商標）に代表される様々な動画配信サービスが普及してきている。これらの動画配信サービスでは、一般的な二次元で表現される動画データの配信に加え、パノラマ動画や全天球動画（以降、全天球動画と総称する）などの視点を移動可能とする動画データを配信することが可能となった。

このような動画配信サービスで配信される視点移動可能な動画データを再生する場合には、ユーザはヘッドマントディスプレイのようなユーザの視点を検出可能な表示装置を用いると、視点に対応した映像が表示される。一方、そのような表示装置を有しておらず、パーソナルコンピュータやスマートフォンなどの一般的な表示装置を用いて再生する場合は、マウスやタッチパネルのような操作手段を用いて視点の移動を操作する必要があった。

このような問題に対し、他のユーザの視聴数、時刻、コメントなどの不可情報を用いて、全天球動画から表示する範囲を自動的に選択することのできる表示装置が提案されている（例えば、特許文献１参照）。

この表示装置によれば、一般的な表示装置を用いても、自動的に表示領域が選択され、操作手段を用いて視点の移動操作をする必要がない。

特開２０１６−２０１７１４号公報

しかしながら、特許文献１の表示装置を用いた場合、次のような課題が存在する。

すなわち、特許文献１の表示装置では、全天球動画のデータを受信してその一部を選択して表示するため、実際には表示しない領域のデータを受信してしまう。このため、動画配信サービスとのデータ通信量が増大し、ネットワーク帯域の圧迫や、通信コストの増大を招くという課題がある。

また、特許文献１の表示装置を実現するためには、当該表示装置が全天球動画を受信し、その一部を表示する機能を有する必要がある。このため、従来の二次元で表現される動画データを再生するための表示装置に対しては、特許文献１記載の技術は適用できないという課題がある。

本発明は上記課題を解決するためになされたものであって、本発明の目的は、ネットワーク帯域を圧迫することなく、全天球動画データの見どころと思われる部分を表示装置において視点移動操作不要で視聴可能とする映像処理装置を提供することである。さらに好ましくは、当該表示装置は従来の二次元で表現される動画データを再生するための表示装置であってもよいとする。

上記の課題を解決するために、本発明の映像処理装置は、ネットワークを通じて表示装置に対して動画データを配信する画像処理装置であって、一つ以上の表示装置と相互に通信するための通信手段と、表示装置における画角より広い画角の動画データを保持するための動画データ保持手段と、前記動画データを表示装置において表示した画角情報を取得する視聴画角情報取得手段と、取得した画角情報に基づき前記動画データにおける各領域の視聴頻度（ヒートマップ）を算出するヒートマップ作成手段と、前記ヒートマップに基づき前記動画データの画角の一部からなる動画データ生成するダイジェスト動画データ生成手段を備えることを特徴とする。

本発明によれば、ネットワーク帯域を圧迫することなく、全天球動画データの見どころと思われる部分を表示装置において視点移動操作不要で視聴可能とする映像処理装置を提供することができる。さらに、当該表示装置は従来の二次元で表現される動画データを再生するための表示装置で、同様の効果が実現可能な映像処理装置を提供することができる。

映像処理装置Ａ１００と表示装置Ｃ１０１〜Ｃ１０３を用いたシステム全体の構成を示すブロック図である。 （Ａ）、（Ｂ）、（Ｃ）は映像処理装置Ａ１００から受信した全天球動画データを再生しているときの表示装置Ｃ１０１〜Ｃ１０３の画面を説明するための図である。 （Ａ）、（Ｂ）は映像処理装置Ａ１００が、全天球動画データのメタデータとして生成するヒートマップを説明するための図である。 映像処理装置Ａ１００が大容量ストレージＡ１０６に保持するデータベースを説明するための図である。 映像処理装置Ａ１００がダイジェスト動画データを生成する処理を説明するためのフローチャートである。 （Ａ）、（Ｂ）はダイジェスト動画データを生成処理において、ダイジェスト動画データに使用する領域を説明するための図である。 映像処理装置Ａ１００が、全天球動画データの配信を要求された際の処理を説明するためのフローチャートである。

以下、図面を参照しながら本発明の実施の形態について説明する。

［実施例１］
実施例１においては、本発明の映像処理装置をインターネットに接続した映像配信サーバとし、複数の表示装置がクライアントして本発明の映像処理装置から動画データを取得して表示する構成として説明する。

＜装置説明＞
図１は本発明の映像処理装置Ａ１００と表示装置Ｃ１０１〜Ｃ１０３を用いたシステム全体の構成を示すブロック図である。

図１において、Ａ１００は本発明による映像処理装置であり、後述のＡ１０１〜Ａ１０８のユニットで構成される。

Ａ１０１はＣＰＵであり、本映像処理装置全体の制御をつかさどる。ＣＰＵ Ａ１０１ は後述する各ユニットを制御し、受信したコマンドに応じて各種データの送受信等を行う。

Ａ１０２は書き換え可能なメモリであり、本映像処理装置を制御するプログラムが作業領域として使用する。メモリＡ１０２ は、例えばＲＡＭ（半導体素子を利用した揮発性のメモリ）などからなる。

Ａ１０３は不揮発性メモリであり、本映像処理装置を制御するプログラムを格納する。本映像処理装置に電源が投入されると、ＣＰＵ Ａ１０１は不揮発性メモリＡ１０３ から初期プログラムを読み込み、本映像処理装置の制御を開始する。不揮発性メモリＡ１０３は、例えばＲＯＭ（半導体素子を利用した不揮発性のメモリ）などからなる。なお、本制御装置を制御するプログラムを後述する大容量ストレージの保持し、そのプログラムを不揮発性メモリＡ１０３内の初期プログラムがロードするように構成してもよい。

Ａ１０４は操作部であり、本映像処理装置の管理者の指示を入力するために使用する。操作部Ａ１０４は、キーボードやマウスなどにより構成される。なお、複数の映像処理装置を同時に設置する場合などでは、操作部Ａ１０４を他の映像処理装置と共用する場合もある。

Ａ１０５は表示部であり、ＣＰＵ Ａ１０１の制御に基づいて、本映像処理装置の動作状態の表示や、図示しない操作者による操作を受け付ける。表示部Ａ１０５は、例えば、液晶表示装置（ＬＣＤ）とそれをコントロールするＬＣＤドライバユニットで構成される。ＣＰＵ Ａ１０１は、プログラムに従い表示制御信号を生成し、表示部Ａ１０５に表示するための映像信号を生成して表示部Ａ１０５に出力するように映像処理装置Ａ１００の各部を制御する。表示部Ａ１０５は出力された映像信号に基づいて映像を表示する。なお、表示部Ａ１０５を、映像信号を出力する部分と映像信号を表示する部分に分け、映像信号を出力する部分のみ映像処理装置に内蔵するような構成としてもよい。

Ａ１０６は大容量ストレージであり、メモリＡ１０２上の各種データをＣＰＵ Ａ１０１の制御に基づいて保存するためのユニットである。また、大容量ストレージＡ１０６に保存されているデータを、ＣＰＵ Ａ１０１の制御に基づきメモリＡ１０２上にデータを読む込むことができる。大容量ストレージＡ１０６にはたとえばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）が用いられる。本実施例においては、大容量ストレージＡ１０６には、すくなくとも全天球の映像データと映像データを管理するデータベースが保存されている。

Ａ１０７は有線ＬＡＮ部であり、有線ＬＡＮ通信のための信号送受信部と受信した信号を処理するための通信コントローラから構成され、ＩＥＥＥ８０２．３ａｂに基づいた有線通信を実現する。本実施例では、有線ＬＡＮ部Ａ１０７はインターネットＢ１００と直接あるいは間接的にデータ通信を行う際に利用される。

Ａ１０８は、システムバスであり、システムバスＡ１０８に接続される各部は、システムバスＡ１０８を介して互いにデータのやりとりを行うことができるようにされている。

Ｂ１００は、インターネットを模式的に表したものである。実際には、インターネットＢ１００は、複数のルータや光ケーブルなどで構成される。

Ｃ１０１〜Ｃ１０３は、本発明の映像処理装置Ａ１００とインターネットＢ１００を介して接続し、映像処理装置Ａ１００の配信する映像データを受信・表示する機能を持つ表示装置である。具体的には、パーソナルコンピュータ・スマートフォン・タブレット・ゲーム機・ヘッドマウントディスプレイなどからなる。表示装置Ｃ１０１〜Ｃ１０３の内部構造については本発明とは直接関係がないため、説明を省略する。

図２は映像処理装置Ａ１００が大容量ストレージＡ１０６に保持する全天球動画データについて説明するための図である。

図２（Ａ）は表示装置Ｃ１０１〜Ｃ１０３をスマートフォンとし、映像処理装置Ａ１００から受信した全天球動画データを再生しているときの表示装置Ｃ１０１〜Ｃ１０３の画面を説明するための図である。

図２（Ａ）において、２０１は表示装置において表示される全天球動画データを表示するための領域である。図２（Ｂ）で後述するように表示領域２０１で表示される映像は、全天球動画データによる映像の一部の領域を切り出した状態となっている。なお、本実施例では表示領域２０１のアスペクト比は１６：９であるものとする。

２０２は、再生中の動画データにおいて表示領域２０１に表示されている映像の時間的位置を示すシークバーである。表示装置のユーザはこのシークバー２０２を使うことによって、時間的な再生位置（再生時刻）を自由に変更することができる。

２０３は、表示装置において表示領域２０１に表示する領域（すなわち、全天球動画から切り出す領域）を変更する様子である。スマートフォンのようなタッチ操作可能な表示装置では、操作２０３のように表示領域２０１で上下左右にドラッグすることで表示する領域を変更することができる。なお、パーソナルコンピュータのようにタッチ操作ができないような表示装置においては、マウスなどのポインティングデバイスで上下左右にドラッグする操作で表示する領域を変更できるように構成してもよい。また、表示領域を変更するためのＧＵＩ（例えば上下左右を表すボタン）を設け、そのＧＵＩを用いて表示する領域を変更できるように構成してもよい。

図２（Ｂ）は、全天球動画の模式図であり、全天球動画と図２（Ａ）の表示領域２０１との関係を説明するための図である。

図２（Ｂ）において、全天球動画とは撮影時にカメラを設置した撮影点２０４を中心とし、上下左右全方位を撮影した動画である。この全天球動画の再生時は、撮影点２０４に表示装置の視聴者がいる状態となる。そして、撮影点２０４を中心とした球体２０５の内側に投影される映像の一部を、視聴者が選択した方位２０６に基づいて全天球上の表示領域２０７として選択する。この全天球上の表示領域２０７は、後述する正距円筒図法に基づく変換により正距円筒図法上の表示領域２１３となる。そして、操作２０３により視点の移動要求があると、視点移動操作に対応する方向（２０８〜２１１のいずれか）に応じて視聴者が選択した方位２０６を更新し、これに合わせて全天球上の表示領域２０７も移動する。

図２（Ｃ）は、球体２０５を正距円筒図法により平面に展開した図である。全天球動画は正距円筒図法による平面展開２１２の状態で動画データとしてエンコードされ、映像処理装置Ａ１００の大容量ストレージＡ１０６に格納されている。

表示装置Ｃ１０１〜Ｃ１０３では まず全天球上の表示領域２０７に対応する領域を正距円筒図法上の表示領域２１３として決定する。そして、平面展開２１２の状態の動画データを受信すると、正距円筒図法上の表示領域２１３を切り出し、表示装置の表示領域２０１の形状に補正して表示する。

なお、図２においては、操作２０３により表示領域２０１を移動することができることとして説明したが、表示領域２０１に表示する映像を拡大・縮小する操作をできるようにしてもよい。例えば操作２０３において、ピンチアウト操作を検出したら全天球上の表示領域２０７を拡大し、ピンチイン操作を検出したら全天球上の表示領域２０７を縮小するなどのようにする。

図３は、本発明の映像処理装置Ａ１００が、全天球動画データのメタデータとして生成するヒートマップを説明するための図である。

図３（Ａ）は、全天球動画に対するヒートマップの例である。３０１は正距円筒図法により平面展開された全天球動画のあるフレームに対するヒートマップである。

ヒートマップ３０１は、平面展開した全天球動画のフレームを、８ピクセル×８ピクセルのブロックに分割し、各ブロックが表示領域（例えば図２の正距円筒図法上の表示領域２１３）に含まれた割合を保持する。ここで凡例３０２のように表示領域に含まれた割合が高くなるにつれて濃い色になるように各ブロックに色を付けると、３０３で示すように表示される回数が多い領域が視覚的に認識できるようになる。

図３（Ｂ）は、平面展開された全天球動画のあるフレームが、３回表示されたときの状況を説明するための図である。この図において、このフレームは表示装置において３回表示され、１回目が表示領域３０４を、２回目が表示領域３０５を、３回目が表示領域３０６を表示したとする。

この場合、領域３０７は３回表示されているので、領域３０７に含まれるブロックは表示された割合が１００％となる。同様に、領域３０８は２回表示されているので、領域３０８に含まれるブロックは表示された割合は６７％、領域３０９ は１回表示されているので領域３０９に含まれるブロックは３３％、その他の領域のブロックは０％となる。

今回は３回の例を示したが、表示回数が増えた場合にも同様に各ブロックの表示された割合が算出できることは明らかである。

このように各フレームのヒートマップを全天球動画の全フレームに対して生成することで、表示装置は全天球動画において多く視聴されている領域を任意のフレームにおいて抽出することができる。

なお、上記説明では、平面展開した全天球動画の各フレームを８ピクセル×８ピクセルのブロックに分割してヒートマップを作製したが、このブロックのサイズは任意である。また、ヒートマップを作成するフレームは全天球動画の全フレームではなく、一部のフレーム（例えばキーフレームのみ）としてもよい。

図４は、本発明の映像処理装置Ａ１００が大容量ストレージＡ１０６に保持している全天球動画データを管理するためのデータベースを模式化したものである。

映像処理装置Ａ１００は、大容量ストレージＡ１０６に保持する各全天球動画データに対し「ＩＤ ４０１」「ファイルパス４０２」「表示回数４０３」「ヒートマップ情報４０４」「ダイジェスト動画データ４０５」という情報を管理している。

ＩＤ ４０１は、大容量ストレージＡ１０６に保持している全天球動画データを一意に決定するためのＩＤである。表示装置は映像処理装置Ａ１００に対して、ＩＤを指定することで所望の全天球動画データを映像処理装置Ａ１００から取得する。例えば、映像処理装置Ａ１００がＨＴＴＰサーバとして動作しているときには、映像処理装置Ａ１００に対して「ＧＥＴ ／ｐｌａｙ？ｉｄ＝０００１ 」というようなリクエストを送信する。

ファイルパス４０２は、各全天球動画データの大容量ストレージＡ１０６内のファイル位置を示す情報である。

表示回数４０３は、各全天球動画データが表示装置において何回再生されたかを示す情報である。

ヒートマップ情報４０４は、各全天球動画データに対するヒートマップ（図３）に関する情報（ヒートマップのステータスとファイル位置）である。本発明の映像処理装置Ａ１００では、表示回数４０３が１０００回を超えた場合にその動画に対するヒートマップが利用可能であるとして、ヒートマップのステータスを「ＹＥＳ」とする。表示回数４０３が０回の場合はヒートマップに関する情報がないとしてヒートマップのステータスは「ＮＯ」となり、１回から９９９回の場合はヒートマップ生成中として「Ｉｎ Ｐｒｏｇｒｅｓｓ」となる。また、ヒートマップのステータスが「ＹＥＳ」および「Ｉｎ Ｐｒｏｇｒｅｓｓ」の場合は、ヒートマップデータの大容量ストレージＡ１０６内のファイル位置を本フィールドに保持する。

ダイジェスト動画データ４０５は、各全天球動画データに対するダイジェスト動画データに関する情報である。ここで、ダイジェスト動画データとは、対応する全天球動画データに基づき生成された平面画像の動画データを表す。ダイジェスト動画データの生成方法については、図５および図６を用いて後述する。

ダイジェスト動画データは３つの異なる解像度（ＦＨＤ： １９２０×１０８０、ＨＤ： １２８０×７２０、ＳＤ： ６４０×３６０）のデータがあり、それぞれの解像度に対応した動画データの大容量ストレージＡ１０６内のファイル位置が保持される。

例えば、全天球動画データ４０６は、４５２６回の表示が行われているため有効なヒートマップ情報を持ち、また、３つの解像度のダイジェスト動画データが存在することがわかる。

一方、全天球動画データ４０７は再生回数が少ないためヒートマップ情報は「Ｉｎ ｐｒｏｇｒｅｓｓ」であり、またダイジェスト動画データが存在していない。同様に全天球動画データ４０８は再生がされていないためヒートマップ情報が存在せず、またダイジェスト動画データが存在していない。

＜動作説明＞
本実施例における映像処理装置Ａ１００の動作を、図５〜図７のフローチャートと図と用いて説明する。

図５は、映像処理装置Ａ１００におけるダイジェスト動画データを生成するための処理である。

ステップＳ５０１では、ＣＰＵ Ａ１０１は、図４のデータベースを監視し、いずれかの全天球動画データの表示回数４０３が更新されるのを待つ。表示回数４０３が更新されると対応する全天球動画データを処理対象と選択して、次のステップへ進む。

ステップＳ５０２では、ＣＰＵ Ａ１０１は更新された表示回数４０３を確認し、表示回数４０３が所定回数以上となっているかどうかを判定する。本実施例では、表示回数４０３が１０００回以上の場合に本ステップでＹＥＳとなり、１０００回未満の場合に本ステップでＮＯとなるものとする。

本ステップでＹＥＳの場合はステップＳ５０３へ進み、ＮＯの場合はステップＳ５０１ に戻り再び 表示回数４０３の変化を監視する。

ステップＳ５０３〜ステップＳ５１１は、ステップＳ５０１で処理対象として選択した全天球動画データの各フレームの処理を行うループ処理である。以降ではこのループ処理で選択されているフレームを対象フレームと記す。

ステップＳ５０４では、ＣＰＵ Ａ１０１は、対象フレームに対するヒートマップを用いて対象フレームから切り出す領域を決定する。

図６は、ヒートマップを用いて切り出す領域を決定する処理を説明するための図である。

図６（Ａ）では、ＣＰＵ Ａ１０１はヒートマップ６０１において最も表示頻度が高いブロック６０３が中心になるように切り出し領域６０２を決定する。

なお、本実施例においては、切り出し領域６０２は、表示時に１９２０ピクセル×１０８０ピクセルの矩形領域に相当する領域とする。ヒートマップ６０１は正距円筒図法に基づき全天球動画を平面展開したものであるため、ヒートマップ６０１上の切り出し領域６０２は矩形ではなく、正距円筒図法に基づき変形している。

ステップＳ５０５では、ＣＰＵ Ａ１０１は、ステップＳ５０４で決定した切り出し領域６０２に基づき、対象フレームからダイジェスト動画の生成に使用する画像データを取得する。

ステップＳ５０６では、ＣＰＵ Ａ１０１は、ステップＳ５０５で取得した画像データを正距円筒図法に基づき補正し、１９２０ピクセル×１０８０ピクセルの矩形の画像データに変換する。

ステップＳ５０７〜ステップＳ５１０は、ステップＳ５０６で補正した画像データを用いてダイジェスト動画データを生成するための処理である。生成するダイジェスト動画データの解像度の分だけ繰り返し処理を行う。すなわち、ＦＨＤ（１９２０×１０８０）・ＨＤ（１２８０×７２０）・ＳＤ（６４０×３６０）の３回の繰り返し処理を行う。

ステップＳ５０８では、ＣＰＵ Ａ１０１は、ステップＳ５０６で補正した画像データを生成するダイジェスト動画データの解像度に合わせて縮小する。なお、生成するダイジェスト画像データの解像度がＦＨＤである場合は、ステップＳ５０６で補正した画像データの解像度と一致するためステップＳ５０６の画像データをそのまま用いる。

ステップＳ５０９では、ＣＰＵ Ａ１０１は、ステップＳ５０８で生成した画像データを用いてダイジェスト動画データを生成（エンコード）する。なお、本ステップにおける動画エンコード処理はダイジェスト動画データで使用する動画圧縮規格により異なる。

ステップＳ５１０では、ＣＰＵ Ａ１０１は、ダイジェスト動画データに必要なすべての解像度の処理が終わった場合に、ステップＳ５０７から始まるループ処理を終了する。

ステップＳ５１１では、ＣＰＵ Ａ１０１は、処理対象として選択した全天球動画データの全フレームに対して処理を実施した場合に、ステップＳ５０３から始まるループ処理を終了する。

ステップＳ５１２では、ＣＰＵ Ａ１０１は、ステップＳ５０３〜ステップＳ５１１で生成したダイジェスト動画データを大容量ストレージＡ１０６に保存する。

ステップＳ５１３では、ＣＰＵ Ａ１０１は、図４のデータベースを更新する。具体的には、処理対象として選択した全天球動画データのダイジェスト動画データ４０５フィールドに、ステップＳ５１２で保存したダイジェスト動画データのパス情報を設定する。

なお、ステップＳ５０４においては、ＣＰＵ Ａ１０１は対象フレームからの切り出し位置を、ヒートマップに基づいて最も表示頻度が高いブロック６０３が中心になるように決定したが、本発明はこれに限定されるわけではない。例えば、図６（Ｂ）で示すように、切り出し領域６０４に含まれるブロックの出現頻度の和が最大となるように切り出し領域６０４の位置を決定してもよい。

以上、図５のフローチャートによれば、本発明の映像処理装置Ａ１００において、全天球動画データの表示回数が更新された場合に、所定の回数を超過していた場合は、ヒートマップ情報に基づきダイジェスト動画データを生成することができる。ヒートマップに基づくことで、このダイジェスト動画データは所定回数以上の再生において、最も多く表示された領域（すなわち見どころと思われる領域）を含む動画データとなる。

続いて図７のフローチャートを用いて、本発明の映像処理装置Ａ１００が全天球動画データを表示装置に配信する場合の処理について説明する。

ステップＳ７０１では、ＣＰＵ Ａ１０１は、有線ＬＡＮ部Ａ１０７が受信するデータを監視し、全天球動画データの配信要求が発生するのを待つ。具体的には、映像処理装置Ａ１００がＨＴＴＰサーバとして動作しているときに、表示装置から「ＧＥＴ ／ｐｌａｙ？ｉｄ＝０００１ 」というような、ＧＥＴリクエストが送信されるのを待つ。このＧＥＴリクエストでは、配信を要求する全天球動画データのＩＤをパラメータとしてエントリポイントｐｌａｙをＧＥＴすることにより、映像処理装置Ａ１００に対して全天球動画データの配信を要求することになる。なお、表示装置において、縮小した動画データを複数並べて表示する場合（いわゆるサムネイル表示の場合）などは、表示装置はサムネイル表示要であることを明示するために、ＵＲＩパラメータ「ｔｙｐｅ＝ｔｈｕｍｂ」を付与するものとする。すなわち、ＩＤ ０００１の全天球動画データをサムネイル用途で要求する場合は、表示装置は「ＧＥＴ ／ｐｌａｙ？ｉｄ＝０００１＆ｔｙｐｅ＝ｔｈｕｍｂ」というＧＥＴリクエストを映像処理装置Ａ１００に送信することになる。

ステップＳ７０２では、ＣＰＵ Ａ１０１は、ステップＳ７０１の配信要求を行った表示装置と通信し、当該表示装置の表示能力を取得する。ここで取得する表示能力は、少なくても当該表示装置の表示解像度と、当該表示装置による全天球動画データの表示能力を含む。

表示解像度とは、ＦＨＤ・ＨＤ・ＳＤというような解像度を表す情報か、１９２０×１０８０というような表示装置のピクセル数となる。

一方、全天球動画データの表示能力としては、ＶＲ表示可能・視点移動可能・非対応というような情報となる。ＶＲ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）表示可能な表示装置とは、全天球動画データによる映像の一部の領域を表示装置の動きに合わせて自動的に選択する機能を有する表示装置である。例えば、モーションセンサーを内蔵したヘッドマウントディスプレイや、モーションセンサーと連動する機能を備えた動画再生アプリケーション実行しているスマートフォンがＶＲ表示可能な表示装置の例である。視点移動可能な表示装置とは、ユーザの操作（例えば、タッチパネルやポインティングデバイスによるスライド操作）により、全天球動画データによる映像の一部の領域を選択して表示する機能を有する表示装置である。例えば、視点移動のユーザインターフェースを備える動画再生アプリケーションを実行しているパーソナルコンピュータやスマートフォンが視点移動可能な表示装置の例である。非対応の表示装置とは、ＶＲ表示も視点移動も不可能な表示装置であり、すなわち、従来の平面動画の再生・表示を想定している表示装置である。例えば、視点移動のユーザインターフェースを備えない動画再生アプリケーションを実行しているパーソナルコンピュータやスマートフォンが該当する。

なお、ステップＳ７０１のＧＥＴリクエストに、表示能力を表すＵＲＬパラメータ（例えば「ｒｅｓｏｌｕｔｉｏｎ＝ｆｈｄ／ｈｄ／ｓｄ」や「ｖｉｅｗ＝ｖｒ（ＶＲ表示可能）／ｆｌｅｘｉｂｌｅ（視点移動可能）／ｆｉｘｅｄ（非対応）」）を付与し、ステップＳ７０２でパラメータから表示装置の能力を取得するような構成としてもよい。

ステップＳ７０３では、ＣＰＵ Ａ１０１は、ステップＳ７０２で取得した表示装置の能力に基づき、全天球動画データの配信要求を行った表示装置が、ＶＲ表示可能か否かを判定する。表示装置がＶＲ表示できない場合はステップＳ７０４へ進み、ＶＲ表示が可能な場合は、後述するステップＳ７１３〜ステップＳ７１７の全天球動画データの配信処理を行う。

ステップＳ７０４では、ＣＰＵ Ａ１０１は、図４のデータベースを確認し、配信を要求された全天球動画データに対応したダイジェスト動画データ４０５が存在するか否かを判定する。対応するダイジェスト動画データ４０５が存在する場合にはステップＳ７０５へ進み、存在しない場合は全天球動画データを配信するため後述するステップＳ７１３〜ステップＳ７１７の処理を行う。

ステップＳ７０５では、ＣＰＵ Ａ１０１は、全天球動画データの配信を要求した表示装置が、サムネイル表示をおこなうために要求しているか否かを判定する。ステップＳ７０１の説明で述べたとおり、映像処理装置Ａ１００が受信したＧＥＴリクエストにＵＲＩパラメータ「ｔｙｐｅ＝ｔｈｕｍｂ」ついている場合に、ＣＰＵ Ａ１０１はサムネイル用途の配信要求であると判定する。サムネイル表示用途である場合は、ステップＳ７０６へ進み、サムネイル表示用途でない場合はステップＳ７０９へ進む。

ステップＳ７０６〜ステップＳ７０８ は、サムネイル表示用の動画データを配信するための処理である。

ステップＳ７０６では、ＣＰＵ Ａ１０１は、ステップＳ７０１で要求された全天球動画データのＩＤと図４のデータベースから、要求された全天球動画データに対応したＳＤ解像度のダイジェスト動画データを、送信する画像データとして選択する。

ステップＳ７０７では、ＣＰＵ Ａ１０１は、ステップＳ７０６で選択したＳＤ解像度のダイジェスト動画データを既定のプロトコルにしたがって表示装置に送信する。例えば、ＨＴＴＰ ＧＥＴレスポンスとして動画データの一部を逐次送信する。

ステップＳ７０８では、ＣＰＵ Ａ１０１は、ステップＳ７０６で選択したダイジェスト動画データをすべて送信したか否かを判別し、すべて送信した場合に本フローチャートを終了する。

ステップＳ７０９〜ステップＳ７１２は、ＶＲ表示不可能な表示装置に対して、全天球動画データの代わりにダイジェスト動画データを配信するための処理である。

ステップＳ７０９では、ＣＰＵ Ａ１０１は、まずステップＳ７０２で取得した表示装置の表示解像度を元に、ＦＨＤ・ＨＤ・ＳＤの解像度の中から配信するダイジェスト動画データの解像度を決定する。具体的には、表示装置の解像度がＦＨＤより以上の場合はＦＨＤを使用し、ＦＨＤより小さい場合は表示装置の解像度より大きい最も小さい解像度を使用する。次に、ＣＰＵ Ａ１０１は、ステップＳ７０１で要求された全天球動画データのＩＤと図４のデータベースと選択した解像度から、要求された全天球動画データに対応したダイジェスト動画データを選択する。

ステップＳ７１０では、ＣＰＵ Ａ１０１は、ステップＳ７０９で選択したイジェスト動画データを既定のプロトコルにしたがって表示装置に送信する。例えば、ＨＴＴＰ ＧＥＴレスポンスとして動画データの一部を逐次送信する。

ステップＳ７１１では、ＣＰＵ Ａ１０１は、表示装置と通信して、表示装置において視野変更の操作２０３が行われたか否かを取得する。視野変更操作が行われない場合は、ダイジェスト動画データの配信を継続するためにステップＳ７１２へ進む。一方、視野変更操作が行われた場合には、配信する動画データを全天球動画データに切り替えるために、ステップＳ７１３〜ステップＳ７１７の処理を行う。なお、表示装置が視野変更のできない平面動画データの再生のみに対応している場合は、本ステップは常にＮＯとなる。

ステップＳ７１２では、ＣＰＵ Ａ１０１は、ステップＳ７０９で選択したダイジェスト動画データをすべて送信したか否かを判別し、すべて送信した場合に本フローチャートを終了する。

ステップＳ７１３〜ステップＳ７１６は、全天球動画データを配信するための処理である。

ステップＳ７１３では、ＣＰＵ Ａ１０１は、ステップＳ７０１で要求された全天球動画データを既定のプロトコルにしたがって表示装置に送信する。例えば、ＨＴＴＰ ＧＥＴレスポンスとして動画データの一部を逐次送信する。なお、ステップＳ７１１からステップＳ７１３へ遷移した場合は、ステップＳ７０９〜ステップＳ７１２で送信した動画データの続きとして全天球動画をステップＳ７１３〜ステップＳ７１７で配信するように制御する。

ステップＳ７１４では、ＣＰＵ Ａ１０１は、表示装置と通信して、表示装置において表示されている全天球動画データの領域（すなわち正距円筒図法上の表示領域２１３）の情報を取得する。

ステップＳ７１５では、ＣＰＵ Ａ１０１は、ステップＳ７１４で取得した情報にした以外、配信している全天球動画データのヒートマップ３０１を更新する。具体的には、ステップＳ７１４で取得したち正距円筒図法上の表示領域２１３に含まれるブロックの表示回数を更新する。これにより、ステップＳ７１３〜ステップＳ７１７で配信する全天球動画データの視聴状況に応じて、ヒートマップが順次更新されることとなる。

ステップＳ７１６では、ＣＰＵ Ａ１０１は、ステップＳ７０１で要求された全天球動画データをすべて送信したか否かを判別し、すべて送信した場合はステップＳ７１７へ進む。

ステップＳ７１７では、ＣＰＵ Ａ１０１は、図４のデータベースを更新し、ステップＳ７１３〜ステップＳ７１６で送信した全天球動画データの表示回数４０３を増加させる。

以上、図７のフローチャートによれば、本発明の映像処理装置Ａ１００において、全天球動画データの配信が要求された場合に、表示装置の表示能力と表示目的に応じて、全天球動画データあるいはダイジェスト動画データの配信を行うことができる。

したがって本発明によれば、ＶＲ再生機能を備えない表示装置（すなわち視点移動操作が必要となる表示装置や、および、全天球動画に対応しない従来の表示装置）に対して、ヒートマップにも基づくダイジェスト動画配信データを配信することができる。当該表示装置においては、このダイジェスト動画データを表示することにより、視点移動操作を行うことなく全天球動画データの最も多く表示された領域を視聴することができる。さらに、ダイジェスト動画データは、表示装置で表示される領域のみを含むことから、全天球動画データよりデータ量が少なく、ダイジェスト動画データを配信することでネットワーク帯域の圧迫を避けることができる。

［その他の実施例］
実施例１では、表示装置における画角より広い画角の動画データとして、全天球動画データを例示したが、本発明はこれに限定されるわけではなく、パノラマ動画データや３６０度動画データなど他の広い画角の動画データ形式であってもよい。

実施例１では、全天球動画データの平面表現に際し正距円筒図法を用いたが、本発明はこれに限定されるわけではない。例えば、ダブルフィッシュアイというような平面表現を用いてもよい。

Ａ１００ 映像処理装置
Ａ１０１ ＣＰＵ（情報取得手段、ヒートマップ作製手段、ダイジェスト動画データ生成手段）
Ａ１０２ メモリ
Ａ１０３ 不揮発性メモリ
Ａ１０４ 操作部
Ａ１０５ 表示部
Ａ１０６ 大容量ストレージ（動画データ保持手段）
Ａ１０７ 有線ＬＡＮ部（通信手段）
Ａ１０８ システムバス
Ｂ１００ インターネット
Ｃ１０１〜Ｃ１０３ 表示装置

Claims (8)

1. ネットワークを通じて表示装置に対して動画データを配信する画像処理装置であって、
   一つ以上の表示装置と相互に通信するための通信手段と、
   表示装置における画角より広い画角の動画データを保持するための動画データ保持手段と、
   前記動画データを表示装置のおける表示視野情報を含む表示状況を取得する表示情報取得手段と、
   取得した上記表示情報に基づき前記動画データにおける各領域の視聴頻度（ヒートマップ）を算出するヒートマップ作成手段と、
   前記ヒートマップに基づき前記動画データの画角の一部からなる動画データ生成するダイジェスト動画データ生成手段を備えることを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置であって、
   表示情報取得手段の取得する情報には再生装置の再生能力情報を含み、
   前記ヒートマップ作製手段は所望の再生機能を有する表示装置からの情報に基づきヒートマップを生成することを特徴とする画像処理装置。
3. 請求項１〜２記載の画像処理装置であって、
   前記ダイジェスト動画データ生成手段で生成する動画データの画角は前記表示装置で表示可能な画角であることを特徴とする画像処理装置。
4. 請求項１〜３記載の画像処理装置であって、
   前記ダイジェスト動画データ生成手段で生成する動画データは同一画角で解像度の異なる一つ以上の表示動画データを生成することを特徴とする画像処理装置。
5. 請求項１〜４記載の画像処理装置であって、
   前記動画データ保持手段は前記表示データ生成手段により生成された表示動画データも同様に保持することを特徴とする画像処理装置。
6. 請求項１〜５記載の画像処理装置であって、
   前記表示装置が画角変更の機能を有さない場合は、生成したいずれかのダイジェスト動画データを前記通信手段により送信することを特徴とする画像処理装置。
7. 請求項１〜６記載の画像処理装置であって、
   表示装置が動画の一覧表示ないしは縮小表示をする場合は、生成したいずれかの表示動画データを前記通信手段により送信することを特徴とする画像処理装置。
8. 請求項１〜７記載の画像処理装置であって、
   表示装置において画角変更操作が行われない間は、生成したいずれかの表示動画データを前記通信手段により送信し、表示装置において画角変更操作が行われた場合は、元の動画データを前記通信手段により送信することを特徴とする画像処理装置。
   

Images