JP2021057769A5 - - Google Patents

Claims (17)

1. 表示対象の動画像を描画する描画部と、
   表示装置に表示された、描画済みの前記動画像に対するユーザの注視点の位置情報を取得する注視点取得部と、
   前記注視点の位置と、前記動画像のフレーム平面を所定間隔で分割してなる単位領域との関係に基づき、当該単位領域ごとに注目度を推定する注目度推定部と、
   前記注目度の分布に基づきフレーム平面で圧縮率を異ならせ、前記動画像のデータを圧縮符号化する圧縮符号化部と、
   圧縮符号化された動画像のデータをストリーミング転送する通信部と、
   を備えたことを特徴とする画像データ転送装置。
2. 前記注視点取得部は、前記動画像のフレームレートより高い頻度で前記位置情報を取得し、
   前記注目度推定部は前記単位領域ごとの注目度を、前記位置情報の取得に応じて更新することを特徴とする請求項１に記載の画像データ転送装置。
3. 前記通信部は、前記圧縮符号化部が、前記フレーム平面を分割してなる圧縮単位ごとに圧縮符号化したデータを順次送信し、
   前記圧縮符号化部は、前記圧縮単位に圧縮率を低めるべき単位領域が含まれる場合、当該圧縮単位の圧縮率を低下させることを特徴とする請求項１または２に記載の画像データ転送装置。
4. 前記注視点取得部は、前記動画像のフレームレートより高い頻度で前記位置情報を取得し、
   前記圧縮符号化部は、処理対象のフレームの処理開始時以降に前記注目度が更新されたとき、その直近の前記注目度の分布に基づく圧縮率で、前記圧縮単位の圧縮符号化を行うことを特徴とする請求項３に記載の画像データ転送装置。
5. 前記圧縮符号化部は、直近の所定数のフレームの圧縮符号化結果に基づき前記フレーム平面における圧縮率の分布を調整することを特徴とする請求項１から４のいずれかに記載の画像データ転送装置。
6. 前記動画像のストリーミングに用いる通信帯域幅の変化を取得する通信状況取得部をさらに備え、
   前記圧縮符号化部は、直近の所定数のフレームのデータサイズと前記通信帯域幅との比較に基づき、前記フレーム平面における圧縮率の分布を調整することを特徴とする請求項１から５のいずれかに記載の画像データ転送装置。
7. 前記動画像のストリーミングに用いる通信帯域幅の変化を取得する通信状況取得部をさらに備え、
   前記圧縮符号化部は、１フレーム当たりのビットレートが前記通信帯域幅を超えたとき、または両者の差が所定値より小さくなったとき、圧縮率を低めるべき単位領域を含む前記圧縮単位であっても圧縮率の低減をキャンセルすることを特徴とする請求項３に記載の画像データ転送装置。
8. 前記圧縮符号化部は、前記単位領域ごとの注目度の有効性を判定し、注目度に有効性がないと判定した場合に、直近の所定数のフレームの圧縮符号化結果を参照して、前記フレーム平面における圧縮率の分布を決定することを特徴とする請求項１から７のいずれかに記載の画像データ転送装置。
9. 前記注目度推定部は、前記注視点が含まれる頻度、滞留時間、サッケードの有無、瞬きの有無、の少なくともいずれかに基づき、前記単位領域ごとに注目度を推定し、
   前記圧縮符号化部は、圧縮符号化対象のフレームにおける前記注目度に基づき、前記フレーム平面における量子化パラメータの分布を決定することを特徴とする請求項１から３のいずれかに記載の画像データ転送装置。
10. 前記動画像のストリーミングに用いる通信帯域幅の変化を取得する通信状況取得部をさらに備え、
    前記注目度推定部は、前記注視点が含まれる頻度、滞留時間、サッケードの有無、瞬きの有無、の少なくともいずれかに基づき、前記単位領域ごとに注目度を推定し、
    前記圧縮符号化部は、前記フレーム平面における量子化パラメータの分布、前記通信帯域幅、フレーム全体のデータサイズ、の時間変化に基づき、前記フレーム平面における量子化パラメータの分布を決定することを特徴とする請求項１から３のいずれかに記載の画像データ転送装置。
11. 前記量子化パラメータを決定づける規則は、機械学習または深層学習により最適化されることを特徴とする請求項９または１０に記載の画像データ転送装置。
12. 前記注目度推定部はさらに、前記動画像に表される内容に基づき、前記単位領域ごとの注目度を推定し、前記注視点の位置に基づき推定した注目度と統合することを特徴とする請求項１から１１のいずれかに記載の画像データ転送装置。
13. 前記注視点取得部は、前記注視点の位置情報の最新値および履歴を、前記表示装置と接続した外部の装置からネットワークを介して所定の頻度で取得することを特徴とする請求項１から１２のいずれかに記載の画像データ転送装置。
14. 動画像のデータを生成するサーバと、当該動画像のデータを受信し表示パネルに表示させるクライアント端末と、を含む画像表示システムであって、
    前記クライアント端末は、
    前記表示パネルに表示させた前記動画像に対するユーザの注視点の位置情報を取得する注視点取得部と、
    前記注視点の位置と、前記動画像のフレーム平面を所定間隔で分割してなる単位領域との関係に基づき、当該単位領域ごとに注目度を推定し、その結果を前記サーバに送信する注目度推定部と、を備え、
    前記サーバは、
    前記注目度の分布に基づきフレーム平面で圧縮率を異ならせ、前記動画像のデータを圧縮符号化する圧縮符号化部と、
    圧縮符号化された動画像のデータをストリーミング転送する通信部と、
    を備えたことを特徴とする画像表示システム。
15. 前記クライアント端末の前記注目度推定部は、前記注目度の推定結果の最新値および履歴を、前記サーバに所定の頻度で送信することを特徴とする請求項１４に記載の画像表示システム。
16. 表示対象の動画像を描画するステップと、
    表示装置に表示された、描画済みの前記動画像に対するユーザの注視点の位置情報を取得するステップと、
    前記注視点の位置と、前記動画像のフレーム平面を所定間隔で分割してなる単位領域との関係に基づき、当該単位領域ごとに注目度を推定するステップと、
    前記注目度の分布に基づきフレーム平面で圧縮率を異ならせ、前記動画像のデータを圧縮符号化するステップと、
    圧縮符号化された動画像のデータをストリーミング転送するステップと、
    を含むことを特徴とする画像データ転送装置による画像圧縮方法。
17. 表示対象の動画像を描画する機能と、
    表示装置に表示された、描画済みの前記動画像に対するユーザの注視点の位置情報を取得する機能と、
    前記注視点の位置と、前記動画像のフレーム平面を所定間隔で分割してなる単位領域との関係に基づき、当該単位領域ごとに注目度を推定する機能と、
    前記注目度の分布に基づきフレーム平面で圧縮率を異ならせ、前記動画像のデータを圧縮符号化する機能と、
    圧縮符号化された動画像のデータをストリーミング転送する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。