JP2020120188A

JP2020120188A - メディア符号化方法および装置

Info

Publication number: JP2020120188A
Application number: JP2019007878A
Authority: JP
Inventors: 浩一二瓶; Koichi Nihei
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2019-01-21
Filing date: 2019-01-21
Publication date: 2020-08-06
Anticipated expiration: 2039-01-21
Also published as: JP7310148B2

Abstract

【課題】ネットワーク環境を考慮し、できる限り高いメディア解析精度が得られるようにメディアデータを符号化するメディア符号化方法および装置を提供する。【解決手段】ネットワークを通して符号化メディアデータを伝送する通信システムにおけるメディア符号化装置１０が、メディアデータを符号化パラメータセットに従って符号化し、符号化メディアデータを出力する符号化器１０２と、メディアデータの符号化ビットレートの上限値とメディアデータの解析方法に関する情報とを入力する入力部１０６及び１０７と、解析方法および符号化ビットレートの上限値の条件下で複数の符号化パラメータセット候補を生成し、複数の符号化パラメータセット候補ごとに解析精度を算出し、算出された解析精度がより高い符号化パラメータセット候補を、符号化器へ与える前記符号化パラメータセットとして決定する符号化パラメータセット決定部１０４及び１０５と、を有する。【選択図】図１

Description

本発明はメディアデータの解析機能を有する通信システムに係り、特に符号化されたメディアデータを受信した受信側での解析精度の向上を企図したメディア符号化方法および装置に関する。

近年、画像、映像、音声等のメディアデータを解析する技術の進歩が著しい。メディア解析技術は、防犯・防災のための監視システムだけでなく、車両の運転支援や自動運転等のさまざまな分野への適用が進められている。特にメディアデータがネットワークを通して伝送される場合、データ量を圧縮する符号化技術は不可欠である。その際、受信側で十分高いメディア解析精度を得るには、復号されたメディアデータのメディア品質を高くする必要がある。

受信側のメディア解析精度を確保する技術としては、受信機からの通知に応じて、送信機が符号化パラメータを適応的に変更する方法が提案されている。たとえば、特許文献１に開示された方法によれば、受信側は、車両の走行状態に応じて画像認識処理を切り替え、切替後の画像認識処理に対応する符号化制御情報を送信側へ通知する。送信側は、通知された符号化制御情報に従ってエンコーダの符号化パラメータを変更する。これにより、受信側は、走行状態に適した画像認識を可能にする符号化データを受信することができ、画像認識率を高めることができる。

また、符号化技術の近年の代表例としては、スケーラブル符号化（階層符号化）が知られている。今日のネットワーク環境は、光ファイバ等の高速通信路や携帯端末等の比較的低速の無線通信路が混在している。スケーラブル符号化は、このようなネットワーク環境において、受信側の性能に応じた効率的な符号化を可能とする。このようなスケーラブル符号化を用いた映像配信システムの一例が特許文献２に記載されている。特許文献２では、スケーラブル符号化を制御することで、画面全体の最低画質を一定に維持しつつユーザが所望する領域を高画質圧縮する方法が開示されている。

特開２０１３−２３９９９５号公報国際公開第WO2015/190078号

上述した特許文献１に記載された方法は、送信側の符号化パラメータを受信側からの通知に応じて適応的に変更する。この場合、ネットワーク環境の劣化により、受信側の画像認識精度が大幅に低下するという問題が生じうる。たとえば、受信側からの通知に従って所定の符号化パラメータで符号化したときに、その符号化映像ストリームのビットレートがネットワーク帯域を上回る場合がありうる。この場合、映像データの部分的なロスが発生し、その結果、受信側で画像認識を行う映像にブロックノイズ等の乱れが生じて認識精度が大きく低下してしまう。

また、特許文献２に記載された符号化通信システムでは、効率的な階層符号化方法が提案されているが、ネットワーク環境の劣化による受信側の解析精度の劣化対策については検討されていない。

本発明の目的は、ネットワーク環境を考慮し、できる限り高いメディア解析精度が得られるようにメディアデータを符号化するメディア符号化方法および装置を提供することにある。

本発明の一態様によれば、ネットワークを通して符号化メディアデータを伝送する通信システムにおけるメディア符号化装置が、メディアデータを符号化パラメータセットに従って符号化し、前記符号化メディアデータを出力する符号化器と、前記メディアデータの符号化ビットレートの上限値と前記メディアデータの解析方法に関する情報とを入力する入力部と、前記解析方法および前記符号化ビットレートの上限値の条件下で複数の符号化パラメータセット候補を生成し、前記複数の符号化パラメータセット候補ごとに解析精度を算出し、前記算出された解析精度がより高い符号化パラメータセット候補を、前記符号化器へ与える前記符号化パラメータセットとして決定する符号化パラメータセット決定部と、を有する。
本発明の他の態様によれば、ネットワークを通して符号化メディアデータを伝送する通信システムにおけるメディア符号化方法において、符号化器がメディアデータを符号化パラメータセットに従って符号化し、前記符号化メディアデータを出力し、符号化パラメータ決定部が、前記メディアデータの符号化ビットレートの上限値と前記メディアデータの解析方法に関する情報とを入力し、前記解析方法および前記符号化ビットレートの上限値の条件下で複数の符号化パラメータセット候補を生成し、前記複数の符号化パラメータセット候補ごとに解析精度を算出し、前記算出された解析精度がより高い符号化パラメータセット候補を、前記符号化器へ与える前記符号化パラメータセットとして決定する。
本発明の更に別の態様によれば、ネットワークを通して符号化メディアデータを伝送する通信システムにおけるメディア符号化装置としてコンピュータを機能させるプログラムが、メディアデータを符号化パラメータセットに従って符号化し、前記符号化メディアデータを出力する機能と、前記メディアデータの符号化ビットレートの上限値と前記メディアデータの解析方法に関する情報とを入力し、前記解析方法および前記符号化ビットレートの上限値の条件下で複数の符号化パラメータセット候補を生成する機能と、前記複数の符号化パラメータセット候補ごとに解析精度を算出する機能と、前記算出された解析精度がより高い符号化パラメータセット候補を、前記符号化器へ与える前記符号化パラメータセットとして決定する機能と、を前記コンピュータに実現する。

本発明によれば、使用する解析方法と与えられたビットレート上限の中で、解析精度がより高くなる符号化パラメータセットを選択することができるので、ネットワーク環境を考慮し、できる限り高いメディア解析精度を得ることができる。

図１は本発明の第１実施形態によるメディア符号化装置の概略的構成を示すブロック図である。図２は図１に示すメディア符号化装置の全体的動作を示すフローチャートである。図３は図１に示すメディア符号化装置における符号化パラメータ算出部の動作を示すフローチャートである。図４は図３に示す符号化パラメータ算出動作により生成される符号化パラメータ候補に対する解析精度の一例を示すテーブルである。図５は本発明の第２実施形態によるメディア符号化装置の概略的構成を示すブロック図である。図６は図５に示すメディア符号化装置における符号化パラメータ算出部の動作を示すフローチャートである。図７は図６における符号化パラメータ算出動作により生成される符号化パラメータ候補に対する解析精度の一例を示すテーブルである。図８は本発明の第３実施形態によるメディア符号化装置の概略的構成を示すブロック図である。図９は第３実施形態における階層符号化について説明するための模式図である。図１０Ａは第２実施形態において選択された符号化パラメータセットを使用した場合のフレーム当たりの情報量を示すグラフである。図１０Ｂは階層符号化による符号化パラメータセットを使用した場合のフレーム当たりの情報量を示すグラフである。図１１は図９に示すメディア符号化装置における符号化パラメータ算出部の動作を示すフローチャートである。図１２は本発明の第４実施形態によるメディア符号化装置の概略的構成を示すブロック図である。図１３は図１２に示すメディア符号化装置の全体的動作を示すフローチャートである。図１４は本発明の第５実施形態によるメディア符号化装置の概略的構成を示すブロック図である。図１５は上記各実施形態によるメディア符号化装置とメディア解析装置とがネットワーク接続されたメディア解析システムの概略的構成図である。

＜実施形態の概要＞
本発明の実施形態によれば、使用する解析方法と与えられたビットレート上限の中で、解析精度が最も高くなる符号化パラメータセットを選択する。これによりビットレート上限が低い場合であっても、制限されたビットレートの範囲内で高い精度のメディア解析が可能となる。以下、本発明の実施形態について図面を参照しながら詳細に説明する。

１．第１実施形態
１．１）構成
図１に例示するように、本発明の第１実施形態によるメディア符号化装置１０は、メディアデータ入力部１０１と、符号化部１０２と、出力部１０３と、符号化パラメータ算出部１０４と、解析精度算出部１０５と、解析方法入力部１０６と、ビットレート入力部１０７から構成される。メディア符号化装置１０において、符号化パラメータ算出部１０４および解析精度算出部１０５は、後述するように、本実施形態における符号化パラメータセット決定部を構成する。

メディアデータ入力部１０１は、例えばカメラやマイク等の入力装置やストレージ装置などに接続され、映像や音声といったメディアデータを入力する。

符号化部１０２は、メディアデータ入力部１０１により入力されたメディアデータを、符号化パラメータ算出部１０４で算出したパラメータを用いて符号化する。例えばメディアデータが映像の場合には、Ｈ．２６４、Ｈ．２６５、モーションＪＰＥＧ（Joint Photographic Experts Group）といった映像符号化方式を用いて符号化する。メディアデータが音声の場合には、Ｇ．７１１、ＡＭＲ（Adaptive Multi-Rate）、ＡＡＣ（Advanced Audio Coding）といった音声符号化方式を用いて符号化する。

出力部１０３は符号化されたメディアデータを出力するためのインタフェースである。例えば、出力部１０３は、有線ＬＡＮ(Local Area Network)、無線ＬＡＮ、ＬＴＥ(Long Term Evolution)等のセルラネットワークの通信インタフェースであってもよい。あるいは、出力部１０３はメディア符号化装置１０のスロットあるいはＵＳＢ(Universal Serial Bus)等のインタフェースであってもよい。すなわち、スロットに記憶装置を装着してもよいし、あるいはＵＳＢ等のインタフェースに外部記憶装置を着脱可能に接続してもよい。

符号化パラメータ算出部１０４は、解析方法入力部１０６およびビットレート入力部１０７から入力された条件に基づいて符号化パラメータセット候補を生成し解析精度算出部１０５へ出力する。解析精度算出部１０５から各候補に対する解析精度を入力すると、符号化パラメータ算出部１０４は、そのなかで解析精度が最も高くなる符号化パラメータセットを決定して符号化部１０２へ指示する。符号化パラメータ算出部１０４の符号化パラメータセット決定機能は、メディア符号化装置１０のプロセッサ（ＣＰＵ（Central Processing Unit）等）上で、図示しないメモリに格納されたプログラムを実行することにより実現することも可能である。

解析精度算出部１０５は、符号化パラメータ算出部１０４から符号化パラメータセット候補を入力し、各セット候補に対する解析精度（あるいはその予測値）を算出して符号化パラメータ算出部１０４へ返す。解析精度算出部１０５には、解析方法に対応する解析精度計算式が予め用意されていてもよいし、あるいは、符号化パラメータセット候補に対する解析精度の予測値が学習により生成され、保持されていてもよい。解析精度算出部１０５の機能は、メディア符号化装置１０のプロセッサ上で、図示しないメモリに格納されたプログラムを実行することにより実現することも可能である。

解析方法入力部１０６は、受信側で採用されるメディア解析方法あるいは実際に使用する解析エンジン等を識別する情報を入力する。入力方法としては、メディア符号化装置１０あるいはそれを搭載した情報処理装置が有するタッチパネル等の入出力デバイス（図示せず）を用いる方法や、出力部１０３が通信インタフェースであれば、受信側からメッセージを受け取る方法などが考えられる。メディアデータが映像の場合、解析方法は、たとえば顔認識、物体認識、物体の動き認識等を示す。メディアデータが音声であれば、解析方法は、音声認識、話者認識等を示す。これらの解析方法の場合、解析精度算出部１０５が算出する解析精度は、例えば正しく認識できる割合（認識率）あるいはその予測値である。

ビットレート入力部１０７は、メディアデータの符号化ビットレートの上限値の入力を受け付ける。入力方法は解析方法入力部１０６の場合と同様である。符号化ビットレートの上限値は、出力部１０３が接続しているネットワークの物理帯域、受信装置（図示せず）との間で過去に計測した通信速度から算出するか、あるいは統計データに基づく未来の通信速度の予測値として算出してもよい。また、他のアプリケーションの使用分を考慮して、これらの値に対して０以上１以下の規定値を掛けた値や、規定値を引いた値としてもよい。ビットレート上限値は、数百ミリ秒から数十秒程度の周期で、あるいは、ネットワーク状態の変動を検知したタイミングで、変更してもよい。メディア符号化装置１０に接続された外部記憶装置に出力する場合には、外部記憶装置の容量または残容量、保存するデータ長（時間）をもとに算出してもよい。例えば、外部記憶装置の容量が1GB (Gigabyte)、保存すべきデータ長が１時間であれば、ビットレート上限値は、1 [GB] × 1,000 [MB(Megabyte)/GB] × 8 [bit/byte] / 3,600 [second] = 2.222 [Mbps (Migabit per second)] になる。

以下、図２〜図４を参照しながら、本実施形態によるメディア符号化装置１０の動作について説明する。

１．２）動作
＜メディア符号化＞
図２に例示するように、メディアデータ入力部１０１からメディアデータが入力されると（動作Ｓ２０１）、符号化パラメータ算出部１０４は、解析方法入力部１０６およびビットレート入力部１０７から解析方法およびビットレートをそれぞれ読み込む（動作Ｓ２０２、Ｓ２０３）。続いて、符号化パラメータ算出部１０４は、後述する手順で符号化パラメータセットを決定し、符号化部１０２へ指示する（動作Ｓ２０４）。

符号化部１０２は、符号化パラメータ算出部１０４により指示された符号化パラメータセットを用いて、メディアデータ入力部１０１から受け取ったメディアデータを符号化し（動作Ｓ２０５）、出力部１０３へ渡す。出力部１０３は、符号化部１０２から受け取った符号化されたメディアデータを出力する（動作Ｓ２０６）。メディア符号化装置１０の動作が停止される（動作Ｓ２０７のＹＥＳ）まで、上記動作Ｓ２０１〜Ｓ２０６が繰り返される（動作Ｓ２０７のＮＯ）。

なお、解析方法およびビットレートが変更されない場合には、直前の符号化パラメータセットをそのまま使用することができる。したがって、解析方法あるいはビットレートの入力値が変更された場合のみ、動作Ｓ２０２〜Ｓ２０４を実行するように制御することもできる。

＜符号化パラメータセット決定＞
次に、上述した符号化パラメータセット決定動作Ｓ２０４のより詳細な動作を図３および図４を参照しながら説明する。

図３に例示するように、符号化パラメータ算出部１０４は、解析方法およびビットレートをそれぞれ入力すると（図２の動作Ｓ２０２、Ｓ２０３）、入力した解析方法およびビットレートに基づいて、後述するように符号化パラメータセットの候補を生成する（動作Ｓ３０１）。続いて、生成した符号化パラメータセット候補の各々を解析精度算出部１０５へ出力することで、各候補に対する解析精度の推定値を得る（動作Ｓ３０２、Ｓ３０３）。すべての符号化パラメータセットに対する解析精度を取得すると、符号化パラメータ算出部１０４は、解析精度が最も高くなる符号化パラメータセットを決定し、符号化部１０２へ出力する（動作Ｓ３０４）。

解析精度算出部１０５には、解析精度を算出するための関数ｆが予め定義されていてもよい。あるいは、ディープラーニング等を用いて、符号化パラメータセット候補と解析精度ａとの対応を予め学習しておき、入力された値に対する解析精度aの予測値を出力してもよい。

以下、メディアデータが映像の場合を一例として、符号化パラメータセット決定方法を示す。この例では、ビットレート入力部１０７から入力されたビットレートの上限が１．５Ｍｂｐｓであり、変更可能な符号化パラメータが映像のビットレートとフレームレートであるものとする。一般に映像のビットレートが高くなるほど画質が向上し、解析精度も向上するため、ビットレートは入力された上限値である１．５Ｍｂｐｓに固定する。また、フレームレートは１〜３０の間の値とする。１〜３０の間のすべての整数を候補としてもよいが、特にフレームレートの高い領域では、少しの違いであれば画質への影響は小さいため、すべてのフレームレートを候補とせずに、代表的な値をサンプリングしてもよい。これにより、演算量の低減が可能となり、処理能力の低い端末でも利用可能となる。図４に示す例では、符号化パラメータセットの候補が１１種類のビットレート・フレームレートの組からなるものとする。

図４に例示するように、解析精度算出部１０５は、１１種類の符号化パラメータセット候補の各々に対して解析精度（の予測値）を生成する。たとえば、解析精度を計算式で算出できる場合には、解析精度算出部１０５に解析精度を算出する関数ｆを定義することができる。関数ｆは、解析方法（解析エンジンの種類）をｋ、ビットレートをｒｂ、フレームレートをｒｆ、解析精度をａとしたとき、
a = f(k, rb, rf)
で定義される。したがって、解析精度算出部１０５は、解析方法ｋと符号化パラメータセット候補（ｒｂ、ｒｆ）とが与えられると、上記式を用いて解析精度（の予測値）aを算出することができる。計算式ではなくディープラーニング等を用いて、符号化パラメータセット候補（ｒｂ、ｒｆ）と解析精度ａとの対応を予め学習し、解析精度テーブルとして保持しても良い。与えられた符号化パラメータセット候補（ｒｂ、ｒｆ）に従って解析精度テーブルをサーチすることで対応する解析精度の予測値ａを出力することができる。

こうして得られた各候補に対する解析精度を比較することで、最も精度が高くなる符号パラメータを決定することができる。図４に示す例では、解析精度ａ＝９０％が最も高くなるので、７番目の符号化パラメータセット（１．５Ｍｂｐｓ／１０ｆｐｓ(frame per second)）が決定される。

なお、Ｈ．２６４とモーションＪＰＥＧといった複数の符号化方法が利用できる場合には、符号化方法ｅを解析精度算出部１０５の関数ｆのパラメータに追加し、関数ｆを
a = f(k, rb, rf, e)
と定義してもよい。この場合、ｅを変更したケースも符号化パラメータセットの候補に追加される。あるいは、上述したように、符号化方法ｅを変更した符号化パラメータセット候補と解析精度ａとの対応を予め解析精度テーブルに格納して解析精度aを算出してもよい。

１．３）効果
上述したように、本発明の第１実施形態によれば、使用する解析エンジンにおいて、与えられたビットレート上限で、変更可能な符号化パラメータ毎に符号化パラメータセット候補を生成する。そして、符号化パラメータセット候補毎に解析精度を算出し、その中で最も高い解析精度を示す符号化パラメータセットを符号化に用いるパラメータセットとして決定する。そのため、ビットレート上限が低い場合であっても、制限されたビットレートの範囲内で最も高い精度のメディア解析が可能となる。

２．第２実施形態
本発明の第２実施形態によれば、複数種類の解析エンジンを同時に使用する点で第１実施形態と異なる。従って、本実施形態によるメディア符号化装置１０Ａは、第１実施形態によるメディア符号化装置１０と基本的な構成は同様であるが、符号化パラメータセット決定部の機能が異なる。以下、同一機能を有するブロックには同一参照番号を付して説明は簡略化し、第１実施形態と異なる構成および機能について主に説明する。

２．１）構成
図５に例示するように、本実施形態によるメディア符号化装置１０Aは、メディアデータ入力部１０１と、符号化部１０２と、出力部１０３と、符号化パラメータ算出部１０４Ａと、解析精度算出部１０５Ａと、解析方法入力部１０６と、ビットレート入力部１０７から構成される。メディア符号化装置１０Ａにおいて、符号化パラメータ算出部１０４Ａおよび解析精度算出部１０５Ａは、後述するように、本実施形態における符号化パラメータセット決定部を構成する。

本実施形態では、解析方法入力部１０６から複数（ｎ個）の解析エンジンの種類ｋ（１）〜ｋ（ｎ）と、それぞれの解析エンジンの重みｗ（１）〜ｗ（ｎ）が入力される（ｎは２以上の整数）。解析精度算出部１０５Ａには、それぞれの解析エンジンの種類ｋ（ｉ）に対応する解析精度算出のための関数ｆｉが予め用意されているものとする。

２．２）動作
メディア符号化装置１０Ａの全体的動作は図２に示す通りである。以下、本実施形態による符号化パラメータセット決定動作（図２のＳ２０４に対応する動作）を図６および図７を参照しながら説明する。

図６に例示するように、符号化パラメータ算出部１０４Ａは、入力した解析方法ｋ（ｉ）およびビットレートｒｂに基づいて、上述したように符号化パラメータセットの候補を生成する（動作Ｓ３０１）。なお、ｉは１以上ｎ以下の任意の整数である。続いて、符号化パラメータ算出部１０４Ａは、解析方法ｋ（ｉ）と生成した符号化パラメータセット候補の各々とを解析精度算出部１０５Ａへ出力し、各候補に対する解析精度の推定値ａ（ｉ）を得る（動作Ｓ３０２Ａ、Ｓ３０３Ａ）。

各解析方法ｋ（ｉ）での各符号化パラメータセットに対する解析精度ａ（ｉ）を取得すると、符号化パラメータ算出部１０４Ａは、各解析精度ａ（ｉ）に当該解析エンジンの重みｗ（ｉ）を乗じた値の重み付き和を計算し、当該重荷付け和を解析精度ａとする。符号化パラメータ算出部１０４Ａは、当該解析精度ａが最も高くなる符号化パラメータセットを決定し、それを符号化部１０２へ出力する（動作Ｓ３０４Ａ）。各解析エンジンｋ（ｉ）に対応する重みｗ（ｉ）を相対的に変更することで、符号化するメディアデータの用途に応じた解析精度に設定可能である。

以下、メディアデータが映像の場合を一例として、本実施形態による符号化パラメータセット決定方法を示す。この例では、上述した第１実施形態と同様に、ビットレート入力部１０７から入力されたビットレートの上限が１．５Ｍｂｐｓであり、変更可能な符号化パラメータが映像のビットレートとフレームレートであるものとする。また、図７に示す例では、符号化パラメータセットの候補が１１種類のビットレート・フレームレートの組からなるものとする。

説明の煩雑化を避けるために、一例として、解析エンジンをｋ（１）、ｋ（２）の２種類（ｎ＝２）とし、それぞれの重みｗ（１）＝０．６、ｗ（２）＝０．４とする。また、それぞれの解析エンジンに対応した解析精度ａ１およびａ２を算出するための関数ｆ１、ｆ２が以下のように定義されているものとする。
a1 = f1(k1, rb, rf)
a2 = f2(k2, rb, rf)

解析精度算出部１０５Ａは、符号化パラメータ算出部１０４Ａから解析エンジンの種類を示す値ｋ（ｉ）、ビットレートｒｂ、フレームレートｒｆを与えられると、上記関数ｆ１およびｆ２を用いて、それぞれの解析精度ａ１およびａ２を算出する。これらの解析精度ａ１およびａ２は、それぞれ対応する重みｗ（１）＝０．６およびｗ（２）＝０．４が乗算され、その結果が加算されることで、解析精度ａを得る：
a = 0.6 a1 + 0.4 a2。

こうして符号化パラメータセットの各々に対して解析精度aが得られると、これらの解析精度ａのうち最も高い解析精度を示すパラメータセットを符号化器１０２へ与える符号化パラメータセットとして決定する。なお、上記関数ｆ１、ｆ２を定義する代わりに、第１実施形態で述べたように解析精度テーブルを用意して解析精度ａ１およびａ２を算出してもよい。

図７に示す例において、解析エンジン１は、フレームレートが上昇するに従って解析精度が向上するが、フレームレートを上げ過ぎると１フレームあたりの情報量が低下し解析精度が低下する特性を有する。このような解析エンジン１としては、例えば物体の動き認識エンジンがある。解析エンジン２はフレームレートが低くフレーム当たりの情報量が大きいほど解析精度が向上する特性があり、例えば顔認識エンジンである。

こうして得られた各候補に対する解析精度ａを比較することで、最も精度が高くなる符号パラメータセットを決定することができる。図７に示す例では、解析精度ａ＝７６％が最も高くなるので、５番目の符号化パラメータセット（１．５Ｍｂｐｓ／５ｆｐｓ）が決定される。

本実施形態では、解析エンジンを２種類（ｎ＝２）としたが、３種類以上の解析エンジンを用いる場合であっても、同様の方法で最適なパラメータセットを選択できる。

２．３）効果
上述したように、本発明の第２実施形態によれば、複数の解析エンジンの各々について推定された解析精度の重み付き和が最大になるようにパラメータセットを選択する。これにより、単一のメディアデータに対して複数の解析エンジンを適用する場合の解析精度を向上させることができる。特に、各解析エンジンｋ（ｉ）の重みｗ（ｉ）を変更することで、用途に応じたパラメータセットの選択が可能になるという利点がある。

３．第３実施形態
本発明の第３実施形態によるメディア符号化装置は、基本的な構成および動作に関しては、上述した第２実施形態と同様であるが、階層符号化技術を用いてメディアデータを符号化し、階層符号化のパラメータセットを決定する点で異なる。以下、同一機能を有するブロックには同一参照番号を付して説明は簡略化し、第２実施形態と異なる構成および機能について主に説明する。

３．１）構成
図８に例示するように、本実施形態によるメディア符号化装置１０Ｂは、メディアデータ入力部１０１と、階層符号化部１０２Ｂと、出力部１０３と、符号化パラメータ算出部１０４Ｂと、解析精度算出部１０５Ｂと、解析方法入力部１０６と、ビットレート入力部１０７から構成される。階層符号化部１０２Ｂは、次に述べるように、メディアデータを基本階層およびＬ階層（Ｌは１以上ｎ以下の整数）の拡張階層に符号化する。

図９に模式的に示すように、階層符号化では、入力されたメディアデータを基本階層０と拡張階層１〜Ｌとに符号化する。拡張階層は基本階層の品質を向上させるための差分データであり、使用する拡張階層数を増やすほどデータ量（ビットレート）が増大するがメディア品質は向上する。映像の階層符号化の場合、Ｈ．２６４の拡張規格であるＨ．２６４／ＳＶＣ、Ｈ．２６５（ＨＥＶＣ: High Efficiency Video Coding）の拡張規格であるＳＨＶＣ（Scalable HEVC）などが階層映像符号化規格として定められている。音声の場合、ＡＡＣの拡張規格であるＡＡＣ−ＳＳＲ（Scalable Sampling Rate）などが階層音声符号化規格として定められている。

符号化パラメータ算出部１０４Ｂおよび解析精度算出部１０５Ｂは、本実施形態における符号化パラメータセット決定部を構成する。解析精度算出部１０５Ｂには、複数（ｎ個）の解析エンジンｋ（１）〜ｋ（ｎ）にそれぞれ対応した解析精度算出のための関数ｆ１〜ｆｎが予め用意されているものとする。また、符号化パラメータ算出部１０４Ｂは、解析方法入力部１０６から複数の解析エンジンの種類を入力し、ビットレート入力部１７からビットレートの上限値を入力する。

＜符号化パラメータセットの比較＞
図１０Ａは、上述した第２実施形態で選択した符号化パラメータセットでの情報量を例示したものであり、図１０Ｂは、本実施形態における階層符号化を使用した場合の符号化パラメータセットでの情報量を例示したものである。ビットレートはどちらも１．５Ｍｂｐｓとする。

図１０Ａに示すように、本発明の第２実施形態において決定された符号化パラメータセット（１．５Ｍｂｐｓ／５ｆｐｓ；図７参照）では、平均して１フレームあたり０．３Ｍｂｉｔの情報量となる。

これに対して、階層数２の階層符号化を使用する本実施形態によれば、図１０Ｂに例示するように、基本階層が１．２５Ｍｂｐｓ／５ｆｐｓ、拡張階層１が０．２５Ｍｂｐｓ／１ｆｐｓの組み合わせであれば、先頭フレームの情報量は基本階層と拡張階層１とを合わせて０．５Ｍｂｉｔとなる。したがって、フレームレートが低いほど（すなわち、１フレームあたりの情報量が多いほど）解析精度の向上する解析エンジンが先頭フレームを解析することで、その解析精度が大きく向上するものと期待できる。先頭フレーム以外の情報量は若干減少するものの、この程度の低下では解析精度の大幅な低下はないと考えられるため、結果的に解析精度の重み付き和の向上が期待できる。

３．２）動作
メディア符号化装置１０Ｂの全体的動作は図２に示す通りであり、本実施形態による符号化パラメータセット決定動作は図２の動作Ｓ２０４に対応する。本実施形態によれば、予め定めた条件に基づいて、符号化パラメータセットの候補を生成し、各候補に対して解析精度の重み付き和を算出し、最も高くなったパラメータセットを出力する。以下、本実施形態による符号化パラメータセット決定動作について、図１１を参照しながら説明する。

図１１において、階層数ｊを最小値１から最大値Ｌ＋１の間で順次設定する（動作Ｓ４０１）。ここで、Ｌ＋１は１以上ｎ以下の整数であり、ｎは解析エンジン数である。最大値を解析エンジン数ｎとすれば、階層数ｊを最小値１から最大値ｎまでの間で１ずつ増やしながら、以下の動作Ｓ４０２〜Ｓ４０４を繰り返す。

まず、階層数ｊにおける階層のビットレートの組み合わせ候補（以下、ＢＲ組合せ候補ｐという。）を順次選択する（動作Ｓ４０２）。例えば、階層数ｊ＝２でビットレート（ＢＲ）の上限値が１．５Ｍｂｐｓの場合、所定のＢＲ単位で複数のＢＲ組合せ候補ｐを生成することができる。たとえば、０．２５Ｍｂｐｓ単位であれば、候補ｐ＝（基本階層０のＢＲ，拡張階層１のＢＲ）と表記して、
候補ｐ１＝（０．７５Ｍｂｐｓ，０．７５Ｍｂｐｓ）、
候補ｐ２＝（１．０Ｍｂｐｓ，０．５Ｍｂｐｓ）、
候補ｐ３＝（１．２５Ｍｂｐｓ，０．２５Ｍｂｐｓ）、
を生成できる。あるいは、基本階層０のビットレートを０．１Ｍｂｐｓから０．１Ｍｂｐｓ単位で増加させながら、複数のＢＲ組合せ候補を生成してもよい。このように生成されたＢＲ組合せ候補から一つの候補を順次選択する。

続いて、設定された階層数ｊと選択されたＢＲ組合せ候補ｐの条件下で、各階層への解析エンジンの割当て候補（以下、Ｅ割当て候補ｑという。）を順次選択する（動作Ｓ４０３）。例えば、階層数ｊ＝２で解析エンジン数ｎ＝３の場合、どの階層にどの解析エンジンを割り当てるかで複数のＥ割当て候補ｑを生成しうる。１つの階層に複数の解析エンジンを割り当てるともできる。たとえば、基本階層０に解析エンジンＥ１およびＥ２を割り当て、拡張階層１に解析エンジンＥ３を割り当てることも可能である。各階層に少なくとも一つの解析エンジンを割り当てることで、すべての割当て候補を生成してもよい。

上述したように、設定された階層数ｊ、選択されたＢＲ組合せ候補ｐおよびＥ割当て候補ｑの条件下で、解析精度が最も高くなるようにフレームレートＦＲ（ｊ，ｐ，ｑ）を決定する（動作Ｓ４０４）。フレームレートは、第１実施形態で述べたように、変更可能な範囲のすべての整数を候補としてもよいが、代表的な値を候補としてサンプリングしてもよい。なお、階層数ｊが２以上の場合、解析精度は、拡張階層以下のすべての階層を使用したものとして算出する（図９参照）。また、二つ以上の解析エンジンが割り当てられた階層については、第２実施形態と同様に、重み付き和が最大となるフレームレートを求める。

以上述べたように、全てのＥ割当て候補ｑについて解析精度が最も高くなるフレームレートを決定すると（Ｓ４０３、Ｓ４０４）、次のＢＲ組合せ候補ｐを選択して（動作Ｓ４０２）、動作Ｓ４０３およびＳ４０４を繰り返し、全てのＢＲ組合せ候補ｐが完了すると、階層数ｊをインクリメントして（動作Ｓ４０１）、上記動作Ｓ４０２〜Ｓ４０４を繰り返す。

こうして、各候補に対するフレームレートＦＲが算出されると、上記第２実施形態で述べたように解析精度を算出し、各階層で得られた解析精度あるいは複数の解析エンジンを使用する場合はそれらの解析精度の重み付き和が最も高くなるパラメータセット（階層数ｊ、各階層のビットレートＢＲおよびフレームレートＦＲ、各階層に割り当てる解析エンジンＥ）を決定する（動作Ｓ４０５）。

３．３）効果
上述したように、本発明の第３実施形態によるメディア符号化装置１０Ｂは、階層符号化技術を用いて符号化を行う場合にも、上記第２実施形態と同様に、各階層で得られた解析エンジンの解析精度あるいは複数の解析エンジンの各々について推定された解析精度の重み付き和が最大になるように階層符号化パラメータセットを選択する。これにより、階層符号化メディアに対して複数の解析エンジンを適用する場合の解析精度を向上させることができる。

４．第４実施形態
本発明の第４実施形態によるメディア符号化装置は、第１〜第３実施形態によるメディア符号化装置と基本的な構成は同様であるが、メディア解析部を有する点で異なる。本実施形態によるメディア符号化装置は、メディア解析を行い、その結果を用いて符号化パラメータセット決定を行う。したがって、本実施形態は、メディア符号化装置の処理能力が比較的高い場合に適用することができる。以下、同一機能を有するブロックには同一参照番号を付して説明は簡略化し、第１〜第３実施形態と異なる構成および機能について主に説明する。

４．１）構成
図１２に例示するように、本実施形態によるメディア符号化装置１０Ｃは、メディアデータ入力部１０１と、符号化部１０２と、出力部１０３と、符号化パラメータ算出部１０４Ｃと、解析精度算出部１０５Ｃと、解析方法入力部１０６と、ビットレート入力部１０７と、メディア解析部１０８と、から構成される。メディア解析部１０８は、メディアデータ入力部１０１および符号化部１０２からそれぞれ入力されたメディアデータおよび符号化後のメディアデータを取得し、メディアデータの特徴量を符号化パラメータ算出部１０４Ｃへ出力する。メディア符号化装置１０Ｃにおいて、符号化パラメータ算出部１０４Ｃ、解析精度算出部１０５Ｃおよびメディア解析部１０８は、後述するように、本実施形態における符号化パラメータセット決定部を構成する。

４．２）動作
図１３に例示するように、メディア符号化装置１０Ｃは、図２に示す全体的動作をほぼ同じであるが、メディア解析部１０８によるメディアデータ解析動作（動作Ｓ５０１）を実行した後に、符号化パラメータセット決定動作（動作Ｓ５０２）を実行する点が異なっている。

メディア解析部１０８は、メディアデータ入力部１０１からメディアデータを、符号化部１０２から符号化後のメディアデータをそれぞれ入力し、メディアデータの特徴量ｃを算出する。特徴量ｃは、画面の明るさ、動きの大きさなどである。画面の明るさは、入力されたメディアデータの各ピクセルの明度の平均値等を用いて算出することが可能である。また、動きの大きさは、メディアデータの時間差分あるいはフレーム間の差分情報に基づいて符号化されたデータから、動きベクトル情報を抽出することで算出可能である。算出された特徴量ｃは符号化パラメータ算出部１０４Ｃへ通知される。

符号化パラメータ算出部１０４Ｃは、メディア解析部１０８から受け取った特徴量を用いて符号化パラメータセットを決定する。以下、メディアデータが映像の場合を一例として、符号化パラメータセット決定動作について説明する。

解析精度算出部１０５Ｃは、すでに述べたように、解析精度を計算式で算出できる場合には、解析精度を算出する関数ｆが定義されている。関数ｆは、解析方法（解析エンジンの種類）をｋ、ビットレートをｒｂ、フレームレートをｒｆ、映像の特徴量をc、解析精度をａとしたとき、
a = f(k, rb, rf, c)
で定義される。したがって、解析精度算出部１０５は、解析方法ｋと符号化パラメータセット候補（ｒｂ、ｒｆ）と特徴量ｃが与えられると、上記式を用いて解析精度（の予測値）aを算出することができる。
計算式ではなくディープラーニング等を用いて、符号化パラメータセット候補（ｒｂ、ｒｆ）と特徴量ｃと解析精度ａとの対応を予め学習してテーブルに格納しておき、入力された値に対応する解析精度aの予測値を出力してもよい。

また、Ｈ．２６４とモーションＪＰＥＧといった複数の符号化方法が利用できる場合には、符号化方法ｅを解析精度算出部１０５の関数ｆのパラメータに追加し、関数ｆを
a = f(k, rb, rf, e, c)
と定義してもよい。この場合、ｅを変更したケースも符号化パラメータセットの候補に追加される。

＜動作例＞
本実施形態によるメディア符号化装置１０Ｃの動作の一例として、解析エンジンｋ１が顔認識、解析エンジンｋ２が物体の動きトラッキングの場合を説明する。この場合、解析エンジンｋ１およびｋ２のそれぞれに対応した解析精度ａ１およびａ２は、以下の解析精度関数ｆ１、ｆ２を用いて算出するものとする。
a1 = f1(k1, rb, rf, c)
a2 = f2(k2, rb, rf, c)

解析エンジンｋ１（顔認識）に対応する関数ｆ１は、特徴量ｃが顔を十分に認識できないほど明るい（白飛び）あるいは暗い（黒つぶれ）画像を示す場合（例えば逆光時）、有効な顔認識が行えないので、解析精度ａ１の値は、rbやrfの値が変化しても固定値、例えばゼロとなる。これに対して、解析エンジンｋ２（物体の動きトラッキング）に対応する関数ｆ２は、同様の特徴量ｃに対しては解析精度ａ２の値に影響しない。このような解析エンジンｋ１およびｋ２を受信側で使用する場合、解析精度ａ１およびａ２の重み付き和が最も高くなるパラメータセットを符号化パラメータセットとして決定する。これによって、解析エンジンｋ２による物体の動きトラッキングに適した符号化パラメータセットを設定することができる。

逆に、解析エンジンｋ２による物体の動きトラッキングは、動きが小さい映像では重要性が小さくなり、解析エンジンｋ１（顔認識）の方が、低いフレームレートでも有効に機能する。したがって、特徴量ｃが動きの小さい画像を示す場合、解析エンジンｋ２（物体の動きトラッキング）に対応する関数ｆ２は、解析精度ａ２の値は、rbやrfの値が変化しても固定値、例えばゼロとなる。このような動きが小さい映像の場合には、解析精度ａ１およびａ２の重み付き和が最も高くなる符号化パラメータセットを決定することで、解析エンジンｋ１による顔認識に適した符号化パラメータセットを設定することができる。

なお、メディア解析部１０８の機能を解析精度算出部１０５Ｃに設けることもできる。すなわち、メディアデータ自体をパラメータとして、解析精度算出部１０５Ｃが特徴量を算出してもよい。

４．３）効果
本発明の第４実施形態によれば、メディアの特徴量を考慮することで、複数の解析エンジンの重み付き解析精度の和をさらに向上させることが可能となる。上述したように、ある解析エンジンが暗い映像ではビットレートを上げても解析精度が向上しない特性を有する場合、暗い映像でも有効に機能する解析エンジンに適した符号化パラメータセットとすることで解析精度の重み付き和が向上する。同様に、動きの小さい場合には、フレームレートが低くても高い解析精度となる解析エンジンに適した符号化パラメータセットとすることで解析精度の重み付き和が向上する。

５．第５実施形態
上述した第１〜第４実施形態によるメディア符号化装置（１０、１０Ａ、１０Ｂあるいは１０Ｃ）は、Raspberry Pi（登録商標）などの小型コンピュータや、スマートフォン等の情報通信装置によって実現されうる。

図１４に例示するように、情報通信装置６００は、上記各実施形態の符号化パラメータセット決定部をプロセッサ１０９およびプログラムメモリ１１０により実装する。プロセッサ１０９はプログラムメモリ１１０から図２に示す全体的動作を制御するプログラムと、その中の符号化パラメータセット決定動作（Ｓ２０４）を制御するプログラムと、を読み出して実行する。符号化パラメータセット決定動作（Ｓ２０４）は、上述した第１〜第４実施形態で説明した通りである。プロセッサ１０９は、情報通信装置６００の動作を制御するプロセッサであってもよいし、メディア符号化装置の動作を制御するプロセッサであってもよい。また、符号化部（１０２、１０２Ｂ、１０２Ｃ）の機能もプロセッサがプログラムを実行することにより実現することができる。

６．システム構成
図１５に例示するように、情報通信装置６０１とサーバ６０２とがネットワーク６０３を通して接続された通信システムを考える。情報通信装置６０１は、上述した各実施形態によるメディア符号化装置６０４を有する。サーバ６０２はデータセンタ等に設置され、メディア復号装置６０５およびメディア解析装置６０６を有する。ネットワーク６０３は、例えば携帯電話網とインターネットとの組み合わせである。メディア解析装置６０６はサーバ６０２のプロセッサ上で映像解析プログラムを動作させることで実現できる。

メディア符号化装置６０４は、上述したように、メディア解析装置６０６のデータ解析に適した形にメディアデータを符号化して送信する。サーバ６０２では、メディア復号装置６０５が受信信号をメディアデータに復号し、それをメディア解析装置６０６が解析する。したがって、メディア符号化装置６０４の処理能力が低い場合でも精度を大きく下げることなくメディア解析が可能となる。

また、メディア符号化装置６０４の処理能力が比較的高い場合には、第４実施形態のようにメディア解析部１０８を設けることで、メディアの特徴量ｃを算出し、より適した符号化パラメータセットを決定することで、解析精度の更なる向上が可能となる。

７．付記
上述した実施形態および実施例の一部あるいは全部は、以下の付記のようにも記載されうるが、これらに限定されるものではない。
（付記１）
メディアデータを符号化する符号化部と、
前記メディアデータの符号化ビットレートの上限値を入力するビットレート入力部と、
前記メディアデータの解析方法を入力する解析方法入力部と、
前記符号化部に設定する符号化パラメータセットを決定する符号化パラメータ算出部と、
前記解析方法と前記符号化パラメータセットを入力し、前記解析方法における解析精度を算出する解析精度算出部を有し、
前記符号化パラメータ算出部は、前記符号化パラメータセットの候補を複数生成し、前記解析精度算出部を用いて前記候補に対する前記解析精度を算出し、算出した前記解析精度をもとに前記符号化部に設定する前記符号化パラメータセットを決定することを特徴とするメディア符号化装置。
（付記２）
付記１に記載のメディア符号化装置であって、
前記メディアデータが映像データであり、前記符号化パラメータセットが前記映像データのビットレートとフレームレートを含み、
前記符号化パラメータセットの候補は、各々前記フレームレートが異なり、
前記符号化パラメータ算出部は、前記符号化パラメータセットの候補の中で、解析精度が最も高くなる前記符号化パラメータセットを出力することを特徴とするメディア符号化装置。
（付記３）
付記１または２に記載のメディア符号化装置であって、
前記メディアデータが映像データであり、前記解析精度算出部は、前記解析方法と、前記映像データのビットレートとフレームレートが入力されると、前記解析方法における解析精度を出力することを特徴とするメディア符号化装置。
（付記４）
付記２または３に記載のメディア符号化装置であって、
前記符号化パラメータセットが、さらに符号化方法を含み、
前記符号化パラメータセットの候補は、各々前記フレームレートと前記符号化方法が異なることを特徴とするメディア符号化装置。
（付記５）
付記３または４に記載のメディア符号化装置であって、
前記解析精度算出部は、前記解析方法と、前記映像データのビットレートとフレームレートと、前記符号化方法が入力されると、前記解析方法における解析精度を出力することを特徴とするメディア符号化装置。
（付記６）
付記１〜５のいずれかに記載のメディア符号化装置であって、
前記解析方法入力部から複数の解析方法と前記各解析方法の重みが入力され、
前記符号化パラメータ算出部は、前記解析精度の重み付き和が最も高くなる前記符号化パラメータセットを出力することを特徴とするメディア符号化装置。
（付記７）
付記６に記載のメディア符号化装置であって、
前記符号化部は階層符号化技術を使ってメディアデータを符号化し、
前記符号化パラメータセットが、階層数と、各階層のビットレートとフレームレートを含み、
前記符号化パラメータ算出部は、前記解析精度の重み付き和が最も高くなる前記符号化パラメータセットおよび前記各解析方法の前記階層への割り当てを出力することを特徴とするメディア符号化装置。
（付記８）
付記１〜７に記載のメディア符号化装置であって、
前記メディアデータ入力部から入力されたメディアデータ、または、前記符号化部で符号化されたメディアデータの特徴量を算出するメディア解析部を有し、
前記解析精度算出部は、前記メディア解析部での解析結果を用いて前記解析精度を算出することを特徴とするメディア符号化装置。
（付記９）
付記８に記載のメディア符号化装置であって、
前記メディアデータが映像データであり、前記解析精度算出部は、前記解析方法と、前記映像データのビットレートとフレームレートと、前記メディア解析部が出力した前記特徴量が入力されると、前記解析方法における解析精度を出力することを特徴とするメディア符号化装置。
（付記１０）
付記１〜９のいずれかに記載のメディア符号化装置を有する第１情報通信装置と、
前記第１情報通信装置とネットワークを通して接続され、前記第１情報通信装置から受信したメディアデータを解析する前記解析方法に対応した解析エンジンを有する第２情報通信装置と、
からなる通信システム。
（付記１１）
符号化部がメディアデータを符号化し、
ビットレート入力部が、前記メディアデータの符号化ビットレートの上限値を入力し、
解析方法入力部が、前記メディアデータの解析方法を入力し、
解析精度算出部が、前記解析方法と前記符号化パラメータセットを入力し、前記解析方法における解析精度を算出し、
符号化パラメータ算出部が、前記符号化パラメータセットの候補を複数生成し、前記解析精度算出部を用いて前記候補に対する前記解析精度を算出し、算出した前記解析精度をもとに前記符号化部に設定する前記符号化パラメータセットを決定する、
ことを特徴とするメディア符号化方法。
（付記１２）
ネットワークを通して符号化メディアデータを伝送する通信システムにおけるメディア符号化装置としてコンピュータを機能させるプログラムであって、
符号化部がメディアデータを符号化し、
ビットレート入力部が、前記メディアデータの符号化ビットレートの上限値を入力し、
解析方法入力部が、前記メディアデータの解析方法を入力し、
解析精度算出部が、前記解析方法と前記符号化パラメータセットを入力し、前記解析方法における解析精度を算出し、
符号化パラメータ算出部が、前記符号化パラメータセットの候補を複数生成し、前記解析精度算出部を用いて前記候補に対する前記解析精度を算出し、算出した前記解析精度をもとに前記符号化部に設定する前記符号化パラメータセットを決定する、
機能を前記コンピュータに実現するプログラム。

本発明は、監視カメラ、車載カメラ等で撮影した映像・音声の記憶媒体への保存、または、撮影した映像・音声を監視センターへ配信する映像配信システムにおけるメディア符号化に適用できる。

１０、１０Ａ、１０Ｂ、１０Ｃ、６０４メディア符号化装置
１０１メディアデータ入力部
１０２、１０２Ｂ、１０２Ｃ符号化部
１０３出力部
１０４、１０４Ａ、１０４Ｂ、１０４Ｃ符号化パラメータ算出部
１０５、１０５Ａ、１０５Ｂ、１０５Ｃ解析精度算出部
１０６解析方法入力部
１０７ビットレート入力部
１０８メディア解析部
１０９プロセッサ
１１０プログラムメモリ

Claims

ネットワークを通して符号化メディアデータを伝送する通信システムにおけるメディア符号化装置であって、
メディアデータを符号化パラメータセットに従って符号化し、前記符号化メディアデータを出力する符号化器と、
前記メディアデータの符号化ビットレートの上限値と前記メディアデータの解析方法に関する情報とを入力する入力部と、
前記解析方法および前記符号化ビットレートの上限値の条件下で複数の符号化パラメータセット候補を生成し、前記複数の符号化パラメータセット候補ごとに解析精度を算出し、前記算出された解析精度がより高い符号化パラメータセット候補を、前記符号化器へ与える前記符号化パラメータセットとして決定する符号化パラメータセット決定部と、
を有するメディア符号化装置。
請求項１に記載のメディア符号化装置であって、
前記符号化パラメータセット決定部が前記解析方法の解析精度を予め用意された関数式あるいは解析精度テーブルを用いて算出するメディア符号化装置。
請求項１または２に記載のメディア符号化装置であって、
前記メディアデータが映像データであり、前記符号化パラメータセットが前記映像データのビットレートとフレームレートを含み、
前記符号化パラメータセット決定部が前記複数の符号化パラメータセット候補を前記フレームレートが異なるように生成するメディア符号化装置。
請求項３に記載のメディア符号化装置であって、
前記符号化パラメータセットが符号化方法を更に含み、
前記符号化パラメータセット決定部が前記複数の符号化パラメータセット候補を前記フレームレートおよび前記符号化方法の少なくとも一つが異なるように生成するメディア符号化装置。
請求項１−４のいずれかに記載のメディア符号化装置であって、
前記入力部が複数の解析方法と各解析方法の重みを入力し、
前記符号化パラメータセット決定部が、前記複数の解析方法の各々の解析精度の重み付き和が最も高くなる符号化パラメータセット候補を前記符号化パラメータセットとして決定するメディア符号化装置。
請求項１−５のいずれかに記載のメディア符号化装置であって、
前記符号化部が前記メディアデータを階層符号化し、
前記入力部が複数の解析方法と各解析方法の重みを入力し、
前記符号化パラメータセットが、前記階層符号化の階層数と、各階層のビットレートと、前記解析方法の各階層への割当てと、を含み、
前記符号化パラメータ決定部が、各階層のビットレートの組合せ候補ごと、および前記複数の解析方法の各階層への割当て候補ごとに解析精度を算出し、前記算出された解析精度がより高い符号化パラメータセット候補を、前記符号化器へ与える前記符号化パラメータセットとして決定するメディア符号化装置。
請求項１−６のいずれかに記載のメディア符号化装置であって、
前記メディアデータまたは前記符号化メディアデータからメディア特徴量を算出するメディア解析部を更に有し、
前記符号化パラメータ決定部が、前記メディア特徴量に基づいて、前記複数の符号化パラメータセット候補ごとに解析精度を算出するメディア符号化装置。
請求項７に記載のメディア符号化装置であって、
前記メディアデータが映像データであり、前記符号化パラメータ決定部が、前記解析方法と、前記映像データのビットレートおよびフレームレートと、前記メディア特徴量とに基づいて前記解析方法における解析精度を算出するメディア符号化装置。
ネットワークを通して符号化メディアデータを伝送する通信システムにおけるメディア符号化方法であって、
符号化器がメディアデータを符号化パラメータセットに従って符号化し、前記符号化メディアデータを出力し、
符号化パラメータ決定部が、
前記メディアデータの符号化ビットレートの上限値と前記メディアデータの解析方法に関する情報とを入力し、前記解析方法および前記符号化ビットレートの上限値の条件下で複数の符号化パラメータセット候補を生成し、
前記複数の符号化パラメータセット候補ごとに解析精度を算出し、
前記算出された解析精度がより高い符号化パラメータセット候補を、前記符号化器へ与える前記符号化パラメータセットとして決定する、
メディア符号化方法。
ネットワークを通して符号化メディアデータを伝送する通信システムにおけるメディア符号化装置としてコンピュータを機能させるプログラムであって、
メディアデータを符号化パラメータセットに従って符号化し、前記符号化メディアデータを出力する機能と、
前記メディアデータの符号化ビットレートの上限値と前記メディアデータの解析方法に関する情報とを入力し、前記解析方法および前記符号化ビットレートの上限値の条件下で複数の符号化パラメータセット候補を生成する機能と、
前記複数の符号化パラメータセット候補ごとに解析精度を算出する機能と、
前記算出された解析精度がより高い符号化パラメータセット候補を、前記符号化器へ与える前記符号化パラメータセットとして決定する機能と、
を前記コンピュータに実現するプログラム。