JP2015186036A - 情報処理装置、情報処理システム、情報処理方法及びプログラム - Google Patents

Abstract

【課題】マルチパスエンコード処理を高速化すること。【解決手段】情報処理装置は、記憶部と制御部とを有する。上記記憶部は、複数のエンコーダに関する情報を記憶する。上記制御部は、入力された映像データを、上記複数のエンコーダ毎に異なる第１のエンコード条件でエンコードするよう上記複数のエンコーダへそれぞれ指示する第１の指示信号を送信することが可能である。また制御部は、上記複数のエンコーダによってそれぞれエンコードされた映像データの画質が所定の基準を満たさない場合に、上記エンコードされた映像データから、上記画質に関連する所定の情報を取得し、上記所定の情報を基に、上記第１のエンコード条件とは異なる第２のエンコード条件で上記入力された映像データをエンコードするよう指示する第２の指示信号を上記複数のエンコーダのうち少なくとも１つのエンコーダに送信することが可能である。【選択図】図５

Description

本技術は、動画像をエンコードすることが可能な情報処理装置、当該情報処理装置を含む情報処理システム、当該情報処理装置における情報処理方法及びプログラムに関する。

近年、ブロードバンド化が進み、ネットワーク経由で動画コンテンツの配信サービスを利用するユーザーの割合が年々増えている。このような動画コンテンツは、オーサリングすることで作成され、主にオーサリングスタジオがこの業務を担っている。オーサリングスタジオは、音声や映像を圧縮し、それらを組み合わせて1つのコンテンツ作品を組み立てる（オーサリング）。

このオーサリング過程で使用される映像圧縮ツールは、オーサリングビデオエンコーダと呼ばれる。オーサリングビデオエンコーダには、通常のビデオエンコーダにはないスタジオ独自の要求がある。

例えば、画質面においては時間方向・空間方向の画質の均質化が重視され、ノイズ表現等において、一般人が気にしない領域にも、映画制作者等のこだわりが要求される。

さらに上記ビデオエンコーダのコーデックには、高符号化効率のＡＶＣ（MPEG4 Advanced Video Coding / H.264）やＨＥＶＣ（ISO/IEC 23008-2 High Efficiency Video Coding / H.265）が使用される。これらのコーデックは、符号化効率を高めるための多くのツールを有し、且つそれらツールには依存関係があるので、エンコード結果（画質）の予測が難しい。

したがって、スタジオレベルの画質を実現するには、エンコードツールの組み合わせの試行錯誤及び何回にも亘るエンコードのやり直しが必要となる。具体的には、当該エンコード処理には、いわゆるマルチパスエンコード方式が用いられる。下記特許文献１には、マルチパスエンコード方式を用いたエンコード装置が開示されている。

特開２００８−７２５９１号公報

上記マルチパスエンコード方式においては、１パス目のエンコード処理は、シーン毎の実際の符号化発生量・動きベクトル・モードといった情報の取得のために実行される。

そして、２パス目のエンコード処理では、画質均質化を目的として、シーン毎にビットレートが割り当てられてエンコード処理が実行される。具体的には、高速化のため１パス目で得られた情報（動きベクトルやモード）が用いられ、画質が担保されつつ、ＭＥ（Motion Estimation）／ＭＤ（Mode decision）の処理が簡略化される。

それ以降（Nパス目）は、上記２パス目のエンコード処理で画質均質化が出来ていないシーンや領域に対して、２パス目以上のビットレートが割り当てられ、エンコード処理が実行される。

すなわち、上記特許文献１に記載のようなマルチパスエンコード方式では、上記の過程を踏む必要があるために、計算量が大きくなり、エンコード時間が非常にかかってしまうという問題があった。

以上のような事情に鑑み、本技術の目的は、マルチパスエンコード処理を高速化することが可能な情報処理装置、情報処理システム、情報処理方法及びプログラムを提供することにある。

上述の課題を解決するため、本技術の一の形態に係る情報処理装置は、記憶部と制御部とを有する。上記記憶部は、複数のエンコーダに関する情報を記憶する。上記制御部は、入力された映像データを、上記複数のエンコーダ毎に異なる第１のエンコード条件でエンコードするよう上記複数のエンコーダへそれぞれ指示する第１の指示信号を送信することが可能である。また制御部は、上記複数のエンコーダによってそれぞれエンコードされた映像データの画質が所定の基準を満たさない場合に、上記エンコードされた映像データから、上記画質に関連する所定の情報を取得し、上記所定の情報を基に、上記第１のエンコード条件とは異なる第２のエンコード条件で上記入力された映像データをエンコードするよう指示する第２の指示信号を上記複数のエンコーダのうち少なくとも１つのエンコーダに送信することが可能である。

これにより情報処理装置は、マルチパスエンコード処理における１パス目のエンコード処理を複数のエンコーダに実行させることで、マルチパスエンコード処理を高速化することができる。

上記複数のエンコーダはネットワーク上の複数の装置にそれぞれ設けられてもよい。この場合当該情報処理装置は、上記複数の装置のそれぞれのエンコーダに上記第１の指示信号を送信可能な通信部をさらに有してもよい。

これにより情報処理装置は、ネットワーク上の各装置に設けられたエンコーダを用いることで、エンコード処理に要する負荷を軽減しその速度を向上させることができる。

上記複数の装置はそれぞれ異なる演算処理能力を有してもよい。この場合上記制御部は、上記第１のエンコード条件のうち第１の演算量を有するエンコード条件によるエンコードを指示する上記第１の指示信号を、第１の演算処理能力を有する第１の装置へ送信するように上記通信部を制御してもよい。さらに制御部は、上記第１のエンコード条件のうち上記第２の演算量よりも小さい第２の演算量を有するエンコード条件によるエンコードを指示する上記第１の指示信号を、上記第１の演算処理能力よりも小さい第２の演算処理能力を有する第２の装置へ送信するよう上記通信部を制御してもよい。

これにより情報処理装置は、演算量の異なるエンコード条件に応じて、異なる演算処理能力を有する装置へ効率的にエンコード処理を指示することができる。

上記制御部は、上記第１のエンコード条件として、第１の符号化効率を有する第１のエンコード方式によるそれぞれ異なる第１の符号化パラメータでのエンコードを設定してもよい。さらに制御部は、上記第１のエンコード方式によるエンコードにより取得された上記所定の情報を基に、上記第２のエンコード条件として、上記第１の符号化効率よりも高い第２の符号化効率を有する第２のエンコード方式での第２の符号化パラメータでのエンコードを設定してもよい。

これにより情報処理装置は、１パス目のエンコード方式による第１の符号化パラメータでのエンコードで得られた情報を有効活用し、２パス目において１パス目とは異なるエンコード方式における符号化パラメータを設定することで、エンコード処理を高効率化及び高速化することができる。ここで第１のエンコード方式とは例えばＭＰＥＧ，ＡＶＣ等であり、第２のエンコード方式とはＡＶＣ，ＨＥＶＣ等であるが、これらに限られない。また符号化パラメータとは、例えば動きベクトルの探索範囲、ＤＣＴサイズ、イントラ予測範囲、インターモードの種類等であるが、これに限られない。

上記制御部は、上記入力された映像データの各フレームにおける複数の領域をそれぞれ異なるエンコーダがエンコードするように上記第１のエンコード条件をそれぞれ設定して上記第１の指示信号を送信してもよい。

これにより情報処理装置は、各フレームの異なる領域単位で異なるエンコーダにエンコードさせることで、エンコードに要する処理時間を短縮することができる。この処理は４Ｋ映像のエンコード処理に用いられてもよく、この場合上記複数の領域は例えば４つである。

上記入力された映像データは、第１の符号化効率を有する第１のエンコード方式でエンコードされた映像データがデコードされたものであってもよい。この場合上記制御部は、上記第１のエンコード方式でエンコードされた映像データから取得された上記所定の情報を基に、上記第１のエンコード条件として、上記第１のエンコード方式とは異なる第２のエンコード方式による、上記エンコーダ毎に異なる符号化パラメータを設定してもよい。

これにより情報処理装置は、符号化効率の低いエンコード方式でエンコードされた映像データを、より高符号化効率のエンコード方式で効率よくリメークすることができる。

本技術の他の形態に係る情報処理システムは、複数の装置と情報処理装置とを有する。上記複数の装置はそれぞれエンコーダを有する。上記情報処理装置は、記憶部と制御部とを有する。上記記憶部は、上記エンコーダに関する情報を記憶する。上記制御部は、入力された映像データを、上記複数のエンコーダ毎に異なる第１のエンコード条件でエンコードするよう上記複数のエンコーダへそれぞれ指示する第１の指示信号を送信可能である。また制御部は、上記複数のエンコーダによってそれぞれエンコードされた映像データの画質が所定の基準を満たさない場合に、上記エンコードされた映像データから、上記画質に関連する所定の情報を取得し、上記所定の情報を基に、上記第１のエンコード条件とは異なる第２のエンコード条件で上記入力された映像データをエンコードするよう指示する第２の指示信号を上記複数のエンコーダのうち少なくとも１つのエンコーダに送信可能である。

本技術の別の形態に係る情報処理方法は、
入力された映像データを、複数のエンコーダ毎に異なる第１のエンコード条件でエンコードするよう上記複数のエンコーダへそれぞれ指示する第１の指示信号を送信すること、
上記複数のエンコーダによってそれぞれエンコードされた映像データの画質が所定の基準を満たさない場合に、上記エンコードされた映像データから、上記画質に関連する所定の情報を取得すること、及び、
上記所定の情報を基に、上記第１のエンコード条件とは異なる第２のエンコード条件で上記入力された映像データをエンコードするよう指示する第２の指示信号を上記複数のエンコーダのうち少なくとも１つのエンコーダに送信することを含む。

本技術のさらに別の形態に係るプログラムは、情報処理装置に、
入力された映像データを、複数のエンコーダ毎に異なる第１のエンコード条件でエンコードするよう上記複数のエンコーダへそれぞれ指示する第１の指示信号を送信するステップと、
上記複数のエンコーダによってそれぞれエンコードされた映像データの画質が所定の基準を満たさない場合に、上記エンコードされた映像データから、上記画質に関連する所定の情報を取得するステップと、
上記所定の情報を基に、上記第１のエンコード条件とは異なる第２のエンコード条件で上記入力された映像データをエンコードするよう指示する第２の指示信号を上記複数のエンコーダのうち少なくとも１つのエンコーダに送信するステップと
を実行させる。

以上のように、本技術によれば、マルチパスエンコード処理を高速化することができる。しかし、当該効果は本技術を限定するものではない。

本技術の一実施形態に係るオーサリングエンコードシステムの概要を示した図である。 上記オーサリングエンコードシステムにおけるエンコードコントローラのハードウェア構成を示したブロック図である。 上記オーサリングエンコードシステムの具体例を示した図である。 上記エンコードコントローラのデータベースの構成を示した図である。 上記エンコードコントローラのエンコード処理の流れを示したフローチャートである。 上記エンコードコントローラによるエンコード処理の分散手法の具体例を示した図である。 複数のエンコーダを用いないオーサリングエンコードシステムの構成を示した図である。

以下、本技術に係る実施形態を、図面を参照しながら説明する。

［システムの概要］
図１は、本技術の一実施形態に係るオーサリングエンコードシステムの構成を示した図である。

同図に示すように、本システムは、エンコードコントローラ１００と、クラウド（例えばインターネット５０）上の複数のエンコード機器２００とを有する。エンコードコントローラ１００と各エンコード機器２００とはインターネット５０を介して通信可能である。

各エンコード機器２００は、それぞれエンコーダを搭載している。各エンコード機器２００は、異なる演算処理能力を有し得る。

エンコードコントローラ１００は、例えば動画コンテンツのオーサリングサービスを提供するオーサリングスタジオに設置される。エンコードコントローラ１００は、同時に複数のエンコード機器２００を用いて、オーサリングエンコード処理の実行を制御することが可能である。

同図においては５台のエンコード機器２００が示されているが、エンコード機器２００の数はこれに限られず、４台以下でも６台以上でもよい。

［エンコードコントローラのハードウェア構成］
図２は、上記エンコードコントローラ１００のハードウェア構成を示した図である。同図に示すように、エンコードコントローラ１００は、ＣＰＵ（Central Processing Unit）１１、ＲＯＭ（Read Only Memory）１２、ＲＡＭ（Random Access Memory）１３、入出力インタフェース１５、及び、これらを互いに接続するバス１４を備える。

ＣＰＵ１１は、必要に応じてＲＡＭ１３等に適宜アクセスし、各種演算処理を行いながらエンコードコントローラ１００の各ブロック全体を統括的に制御する。ＲＯＭ１２は、ＣＰＵ１１に実行させるＯＳ、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ１３は、ＣＰＵ１１の作業用領域等として用いられ、ＯＳ、実行中の各種アプリケーション、処理中の各種データを一時的に保持する。

入出力インタフェース１５には、表示部１６、操作受付部１７、記憶部１８、通信部１９等が接続される。

表示部１６は、例えばＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic ElectroLuminescence Display）、ＣＲＴ（Cathode Ray Tube）等を用いた表示デバイスである。

操作受付部１７は、例えばマウス等のポインティングデバイス、キーボード、タッチパネル、その他の入力装置である。操作受付部１７がタッチパネルである場合、そのタッチパネルは表示部１６と一体となり得る。

記憶部１８は、例えばＨＤＤ（Hard Disk Drive）や、フラッシュメモリ（ＳＳＤ；Solid State Drive）、その他の固体メモリ等の不揮発性メモリである。当該記憶部１８には、上記ＯＳや各種アプリケーション、各種データが記憶される。

後述するが、特に本実施形態において、記憶部１８は、上記各エンコード機器２００の演算処理能力（スペック）及び当該各エンコード機器２００が搭載しているエンコーダに関する情報を記憶している。また記憶部１８は、上記各エンコード機器２００を用いたオーサリングエンコード処理に必要なプログラム及びデータも記憶している。

通信部１９は、例えばEthernet（登録商標）用のＮＩＣ（Network Interface Card）であり、上記インターネット５０上のエンコード機器２００との間の通信処理を担う。

図示しないが、エンコード機器２００のハードウェア構成もエンコードコントローラ１００のそれと同様である。

［システムの具体例］
図３は、上記オーサリングエンコードシステムの具体例を示した図である。

同図に示すように、各エンコード機器２００には、それぞれエンコーダ２１０がインストールまたは搭載されている。上記エンコード機器２００のうちいずれかのエンコード機器２００には、エンコードコントローラ１００からのエンコード指令（エンコード指示信号）に基づいてクラウド上の各エンコーダ２１０にエンコード処理を実行させるクラウドコントローラ２２０を有する。

しかし、当該クラウドコントローラ２２０は必須ではなく、エンコードコントローラ１００が当該クラウドコントローラ２２０の機能を担ってもよい。

クラウドコントローラ２２０は、エンコードする素材である動画データをシーン毎に分割し、各分割されたデータを、複数の異なるエンコード設定条件で各エンコーダ２１０にエンコードさせる。

各エンコーダ２１０は、それぞれ異なるエンコーダとされる。すなわち、各エンコーダ２１０は、それぞれ異なるエンコード方式を有するか、同じエンコード方式でもソフトウェアエンコーダとハードウェアエンコーダとで区別されている。

同図では、例えば異なるエンコード方式のエンコーダ２１０として、ＡＶＣエンコーダ、ＭＰＥＧ２エンコーダ、ＨＥＶＣエンコーダが存在し、それぞれについて、ソフトウェアエンコーダとハードウェアエンコーダとが存在する。

クラウドコントローラ２２０は、マルチパスエンコード処理において、１パス目において各エンコーダ２１０がエンコードした結果に基づいて、画質に問題が無いか否か、すなわち画質が所定の基準を満たすか否かを判断する。

そしてクラウドコントローラ２２０は、画質に問題があると判断した場合には、エンコードの結果得られた情報、例えば実際の符号化発生量、動きベクトル、モード等に関する情報をエンコードコントローラ１００へ送信する。

エンコードコントローラ１００は、上記クラウドコントローラ２２０から受信した情報を基に、１パス目とは異なるエンコード条件を設定し、それに基づいて少なくとも１つのエンコーダ２１０に２パス目のエンコード処理を実行させるように、クラウドコントローラ２２０へ要求する。

同図では、２パス目のエンコーダとして、ＨＥＶＣのソフトウェアエンコーダ及びハードウェアエンコーダが指定されている。

上記エンコード処理は、エンコード結果の動画データの画質が所定の基準を満たすまで繰り返される。所定の基準を満たした場合、エンコードされた動画データはＥＳ（Elementary Stream）として、その後のオーサリング工程に渡される。

１パス目においても、画質に問題がないと判断された場合には、エンコード処理は終了される。

［エンコードコントローラのデータベース］
図４は、上記エンコードコントローラ１００が有するデータベースの構成を示した図である。

同図に示すように、エンコードコントローラ１００は、上記エンコード機器２００毎に、それらが有するエンコーダの種類及びそれらの演算処理能力に関する情報を記憶している。

演算処理能力としては、各エンコード機器２００のＣＰＵのクロック周波数及びメモリの容量が記憶される。

同図の例では、エンコード機器Ａは演算処理能力の比較的高い（ハイスペックの）機器であり、エンコード処理に多くの演算量を必要とするＨＥＶＣエンコーダを有している。一方、エンコード機器Ｃは演算処理能力の比較的低い（ロウスペックの）機器であり、エンコード処理それほど多くの演算量を必要としないＭＰＥＧ２エンコーダを有している。そしてエンコード機器Ｂは両者の中間程度のスペックを有し、エンコード処理に必要な演算量がＭＰＥＧ２よりも多くＨＥＶＣよりも少ないＡＶＣエンコーダを有している。

これらのデータは、エンコードコントローラ１００が各エンコード機器（各エンコーダ２１０）にエンコード処理を指令する際にそれぞれのエンコード条件を設定するために用いられる。

［システムの動作］
次に、以上のように構成されたシステムの動作について説明する。以降の説明においては、エンコードコントローラ１００のＣＰＵ１１を主な動作主体として説明するが、この動作はＣＰＵの制御下において実行されるプログラムとも協働して行われる。

図５は、上記エンコードコントローラ１００のエンコード処理の流れを示したフローチャートである。

同図に示すように、エンコードコントローラ１００のＣＰＵ１１は、クラウドコントローラ２２０に対して、エンコード対象の動画データを、シーン毎に分割するように指示する（ステップ５１）。当該指示に応じてクラウドコントローラ２２０は動画データを分割する。

シーン毎の分割処理には、例えば輝度値の差分でシーンが変わったかどうかを判断するシーンチェンジ検出アルゴリズムが用いられる。

続いてＣＰＵ１１は、複数のエンコード機器２００の各エンコーダ２１０により、シーン毎に様々なエンコード設定条件で１パス目のエンコード処理を実行するようにクラウドコントローラ２２０へ指示する（ステップ５２）。

異なるエンコード設定条件としては、エンコード方式の相異と、符号化パラメータの相異とが挙げられる。

上述したように、エンコード方式の相異としては、ＭＰＥＧ２のＳ／Ｗ、ＭＰＥＧ２のＨ／Ｗ、ＡＶＣのＳ／Ｗ、ＡＶＣのＨ／Ｗ、ＨＥＶＣのＳ／Ｗ、ＨＥＶＣのＨ／Ｗ等の組み合わせが挙げられる。また符号化パラメータの相異としては、例えば、異なるビットレート、異なるＧＯＰ（Group Of Pictures）、異なる量子化マトリクスの組み合わせや、ディザ処理やノイズリダクション等のプリフィルタ等が挙げられる。

上述したように、エンコードコントローラ１００は、複数のエンコード機器２００のスペックやそれぞれに搭載またはインストールされているエンコーダの種類等に関するデータを記憶している。

またエンコードコントローラ１００は、エンコード対象の動画コンテンツのフレームレートも予め記憶しており、当該動画コンテンツのフレームレートに応じて、上記複数のエンコード機器２００の中から適した機器を選択する。

ＣＰＵ１１は例えば、エンコード対象の動画コンテンツが２４Ｐ（24frames/s progressive）である場合には、スペックが比較的低いエンコード機器２００（例えば図４のエンコード機器Ｂ）にエンコード処理を指令する。一方、エンコード対象の動画コンテンツが６０Ｐである場合には、スペックが比較的高いエンコード機器２００（例えば図４のエンコード機器Ａ）にエンコード処理を指令する。

またＣＰＵ１１は、符号化パラメータの設定に応じて、すなわち、その設定のエンコード処理に必要な演算量によってエンコード機器２００を選択することもできる。

図６は、この符号化パラメータの設定に応じたエンコード機器２００の選択処理の具体例を示した図である。

同図に示すように、例えばＧＯＰの並びがIBBPBBPとIPPPPPPの２つの設定によるエンコード処理を実行する場合、前者の方がそのエンコード処理に必要な演算量が高いので、ＣＰＵ１１は、前者についてはスペックが比較的高いエンコード機器２００（例えば図４のエンコード機器Ａ）にエンコード処理を指令し、後者についてはスペックが比較的低いエンコード機器２００（例えば図４のエンコード機器Ｃ）にエンコード処理を指令する。

続いてクラウドコントローラ２２０は、上記１パス目の各エンコード機器２００によるエンコード処理の結果としての動画データの画質に問題が無いか否かを判断する（ステップ５３）。

この画質の判断には、例えば、ＦＳＩＭ（feature-similarity）、ＩＱＡ（Image Quality Assessment）等の客観評価手法（画質の良し悪しを数値化する手法）や主観評価手法（人間が目で確認する手法）が用いられる。ＦＳＩＭは、従来のＰＳＮＲ（Peak Signal-to-Noise Ratio）等の客観評価手法に比べて、主観と相関が高い評価手法として近年評判が高まっている。

上記評価の結果、画質に問題が無いと判断された場合（Ｙｅｓ）、すなわち、いずれかのエンコーダ２１０によるエンコード結果から、所定の画質基準を満たす数値が得られた場合、クラウドコントローラ２２０及びエンコードコントローラ１００は、エンコード処理を終了する。

従来のオーサリングビデオエンコーダは、１パス目でシーン毎の実際の符号化発生量・動きベクトル・モード等の情報を取得し、２パス目で画質均質化を目的とした本番エンコードを行う。つまり従来のオーサリングエンコーダでは、１パス目はあくまで２パス目の準備のためのエンコード作業となる。

しかし、本実施形態では、１パス目の段階で、様々なエンコード設定条件でエンコードがなされているため、１パス目のエンコード処理により、既にシーン毎の最適なビットレート割り当てができている可能性がある。この点が上記評価手法によって確認された場合には、２パス目以降の処理は不要となる。

もちろん、本実施形態でも、少なくとも１パス目のエンコード処理を実行することを前提に、１パス目のエンコード処理が、２パス目のエンコード処理に利用される有益な情報の取得のために実行されてもよい。

例えば、最終的にオーサリングされる動画データのエンコード方式がＨＥＶＣである場合に、１パス目ではＡＶＣやＭＰＥＧ２等のＨＥＶＣよりもエンコードに必要な演算量が小さい（すなわち高速な）エンコーダが用いられ、それによって得られた有益な情報がＨＥＶＣにおける情報に置換されて、ＨＥＶＣによる２パス目のエンコード処理に利用されてもよい。

上記評価の結果、画質に問題があると判断された場合（Ｎｏ）、クラウドコントローラ２２０は、上記各エンコード機器２００によるエンコード処理で得られた、画質に関連する有用な情報、例えば、実際の符号化発生量・動きベクトル・ＤＣＴサイズ、イントラ予測やモードの種別等の情報をエンコードコントローラ１００に送信する（ステップ５５）。

上記エンコード結果から得られた情報を受信したＣＰＵ１１は、最適なビットレート割り当てを行い、そのビットレート情報と、上記１パス目のエンコード結果から得られた有用な情報とに基づいて、すなわち、１パス目とは異なるエンコード設定条件により、少なくとも１つのエンコード機器２００に再度エンコードさせるように、クラウドコントローラ２２０へ指令する（ステップ５６）。

その際、ＣＰＵ１１は、異なる量子化マトリクスやＧＯＰの組み合わせを複数設定し、複数のエンコード機器２００のエンコーダ２１０にエンコードさせてもよい。

当該再エンコード処理はさらに、情報の選別（ステップ５６１）、選別された各情報に応じたエンコード条件設定（ステップ５６２）及びエンコード処理（ステップ５６３）の３ステップに分けられる。

（情報の選別−ステップ５６１）
ＣＰＵ１１は、１パス目のエンコード処理から得られた情報が、動きベクトル、イントラ予測の種類、モードの種類、ＤＣＴサイズのいずれであるかかを判別する。

（エンコード条件設定−ステップ５６２）
例えば、動画データが１パス目にＡＶＣでエンコードされ、２パス目でＨＥＶＣ（ＡＶＣよりも符号化効率が高い）でエンコードされる場合、ＡＶＣから得られた有益な情報（動きベクトル、ＤＣＴサイズ、イントラ予測及びインターモードの種類等）は、下記に示すようにＨＥＶＣに適応するため、ＨＥＶＣ用に置換され得る。

・動きベクトル：
ＡＶＣによるエンコード処理で得られた動きベクトルは、ＨＥＶＣでも大差がないはずであるため、ＣＰＵ１１は、２パス目では、１パス目のＡＶＣによるエンコード処理で得られた動きベクトル周辺のみサーチするように動きベクトルサーチ範囲を設定し、当該設定情報を、クラウドコントローラ２２０を介して、２パス目に使用されるエンコーダ２１０に渡す。

これにより、２パス目に使用されるエンコーダ２１０は、限定された範囲しか動きベクトルをサーチしないため、正確かつ高速に動きベクトルを求めることができる。

・ＤＣＴサイズ：
ＡＶＣのＤＣＴサイズは4x4/8x8しかないが、ＨＥＶＣのＤＣＴサイズは4x4/8x8/16x16/32x32がある。動きベクトルと違い、ＨＥＶＣには、ＡＶＣには存在しないＤＣＴサイズがあるが、ＡＶＣで4x4のＤＣＴサイズを選択しておきながら、ＨＥＶＣのＤＣＴサイズが32x32になる可能性は低い。

したがって、ＣＰＵ１１は、１パス目のＡＶＣによるエンコード処理において4x4のＤＣＴサイズを選択した場合には、２パス目のＨＥＶＣによるエンコード処理におけるＤＣＴのサーチサイズを4x4/8x8に限定して設定し、当該設定情報を、クラウドコントローラ２２０を介して、２パス目に使用されるエンコーダ２１０に渡す。

またＣＰＵ１１は、１パス目のＡＶＣによるエンコード処理において8x8のＤＣＴサイズを選択した場合には、２パス目のＨＥＶＣによるエンコード処理においては、それ以上のＤＣＴサイズ、つまり8x8/16x16/32x32に限定したサイズを設定し、当該設定情報を、クラウドコントローラ２２０を介して、２パス目に使用されるエンコーダ２１０に渡す。

これにより２パス目に使用されるエンコーダ２１０は、限定されたサイズしかサーチしなため、正確かつ高速にＤＣＴサイズを求めることができる。

・イントラ予測：
ＨＥＶＣにおけるイントラ予測は、ＡＶＣにおけるそれの４倍以上の種類を有する。しかしながら、両者で予測方向が全く異なる可能性は低いので、ＣＰＵ１１は、１パス目のＡＶＣによるエンコード処理で得られた予測方向を中心に、その周辺の予測方向のみ調査するようにイントラ予測の範囲を設定し、当該設定情報を、クラウドコントローラ２２０を介して、２パス目に使用されるエンコーダ２１０に渡す。

これにより２パス目に使用されるエンコーダ２１０は、限定された範囲しか予測をサーチしないため、正確かつ高速にイントラ予測を求めることができる。

・インターモード：
ＨＥＶＣにおけるインターモードも、ＡＶＣにおけるそれの４倍以上の種類を有する。上記ＤＣＴの場合と同じく、ＡＶＣよるエンコード処理でInter8x8モードが選択されているにもかかわらず、ＨＥＶＣによるエンコード処理でInter64x64が選択される可能性は低い。

したがってＣＰＵ１１は、１パス目のＡＶＣによるエンコード処理においてInter8x8以上のモードを選択していた場合は、２パス目のＨＥＶＣによるエンコード処理においてもInter8x8以上の限られたモードの中から最適なモードを選択するようにインターモードの範囲を設定し、当該設定情報を、クラウドコントローラ２２０を介して、２パス目に使用されるエンコーダ２１０に渡す。

これにより、２パス目のエンコーダ２１０は、限定されたモードしかサーチしないため、正確かつ高速にインターモードを求めることができる。

（エンコード−ステップ５６３）
そしてクラウドコントローラ２２０は、上記に例示したようなエンコード設定条件にしたがってエンコードするように、エンコーダ２１０を制御する。

続いてクラウドコントローラ２２０は、上記エンコーダ２１０による２パス目のエンコード処理によって得られた結果の動画データの画質に問題が無いか否かを、上記ＩＱＡやＦＳＩＭ等の客観評価手法や主観評価手法で再度判断する（ステップ５３）。

上記評価の結果、画質に問題が無いと判断された場合（Ｙｅｓ）、クラウドコントローラ２２０及びエンコードコントローラ１００は、エンコード処理を終了する。

画質に問題があると判断された場合（Ｎｏ）は、クラウドコントローラ２２０は、２パス目のエンコードにより得られた有用な情報、例えば、実際の符号化発生量・動きベクトル・モード等を再びエンコードコントローラ１００に渡す。

当該ループ処理（ステップ５３〜ステップ５５）は、エンコードされた動画データの画質が満足されるまで繰り返される。

図７は、本実施形態との比較のために、複数のエンコーダを用いないオーサリングエンコードシステムの構成を示した図である。

同図に示すように、１つのエンコーダのみ（例えば同図ではＡＶＣソフトウェアエンコーダ）でマルチパスエンコード処理が実行される場合、コントローラは、所定の画質基準が満たされるまで、何パスにも亘ってエンコード設定条件の変更を繰り返す必要があるため、演算量が大きくなり、エンコード時間が非常に長くなってしまう。

しかし、本実施形態によれば、エンコードコントローラ１００は、複数のエンコーダ２１０により様々なエンコード条件でマルチパスエンコード処理を実行することで、エンコード速度が大幅に改善され、様々な用途で今まで提供できなかった高品質の動画をユーザーに提供することができる。

例えば、サッカー等のスポーツや野外コンサート等のライブコンサートの映像等、即時エンコードが要求されるコンテンツについては、従来は、コンテンツを即時にユーザに提供すべく、エンコード速度をかせぐために、ある程度画質が犠牲にされていた。

しかし本実施形態により、エンコード速度が大幅に改善されるため、エンコードコントローラ１００は、今まで以上の画質でコンテンツをユーザに即時に提供可能になる。

［変形例］
本技術は上述の実施形態にのみ限定されるものではなく、本技術の要旨を逸脱しない範囲内において種々変更され得る。

（４Ｋ映像への応用）
近年増加傾向にある４Ｋ映像コンテンツのエンコード処理は、フルＨＤの映像コンテンツと比較して４倍以上の時間を要する。そこで、エンコードコントローラ１００は、４Ｋコンテンツの１パス目のエンコード処理を実行する場合、フルＨＤ用の複数のＨ／Ｗエンコーダに、映像データの各フレームの１／４領域単位で分散してエンコードさせ、動きベクトル、シーン毎のビットレート配分等有益な情報を収集してもよい。この場合、エンコードコントローラ１００は、上記収集されたビットレートについては、上記領域単位の各ビットレートを足し合わせて利用する。

また、エンコードコントローラ１００は、さらに上記情報を利用し、複数のＳ／Ｗエンコーダにエンコードさせてもよい。これによりエンコードコントローラ１００は、動きベクトル探索範囲の限定、モード選択候補の限定などにより、高速なエンコードを実現しつつ、シーン毎のビットレート配分予想などを利用した最適なレートコントールを行うことで、単一のエンコーダに４Ｋ映像をエンコードさせる場合よりも短時間で４Ｋ映像の高画質化を実現することができる。

（既存コンテンツの高符号化効率の方式によるリメーク）
ＨＥＶＣは高符号化効率であるが、エンコードツールが多く、通常、エンコード処理にはＡＶＣの１００倍ほどの時間を有する。そこでエンコードコントローラ１００は、ＢＤ（Blue-lay Disc）等の既存コンテンツのストリームをデコードし、動きベクトル、モード、シーン毎のビットレート配分等の有益な情報を収集し、それを利用して、複数のエンコーダ２１０に分散させてＳ／Ｗエンコードさせてもよい。

これによりエンコードコントローラ１００は、動きベクトル探索範囲の限定、モード選択候補の限定等により、単一のエンコーダでＨＥＶＣエンコードするよりも高速なエンコード時間を実現しつつ、シーン毎のビットレート配分予想等を利用した最適なレートコントールを行うことで、既存コンテンツの高画質化も同時に実現することができる。

（その他の変形例）
上述の実施形態では、エンコード機器２００に搭載またはインストールされるエンコーダ２１０は、エンコード機器２００毎に異なっていた（ＭＰＥＧ２、ＡＶＣ、ＨＥＶＣの各Ｓ／Ｗ及びＨ／Ｗ）。しかし、当該エンコーダ２１０は、エンコード機器２００間で同じエンコーダであっても。この場合、複数のエンコーダ２１０が同一であっても、異なるエンコード条件（符号化パラメータ）が設定されることで、上記実施形態と同様の効果が実現可能である。

上述の実施形態では、エンコード機器２００はインターネット５０上に設けられたが、それらは例えばオーサリングスタジオ内のＬＡＮに設けられてもよい。また、エンコード機器２００は、インターネット５０上とオーサリングスタジオ内の双方に設けられてもよい。この場合、オーサリングスタジオ内のエンコードコントローラ１００は、１パス目のエンコード処理をインターネット５０上の極めて多数のエンコード機器２００に実行させ、当該エンコード処理で得られた情報を基に、オーサリングスタジオ内の少数のエンコード機器２００に２パス目のエンコード処理を実行させてもよい。

上述の実施形態では、エンコードコントローラ１００とクラウドコントローラ２２０とが別個に設けられたが、クラウドコントローラ２２０が設けられず、エンコードコントローラ１００がその機能も担ってもよい。すなわち、エンコードコントローラ１００は、上記複数のエンコード機器２００（エンコーダ２１０）に対して、クラウドコントローラ２２０を介さずに、直接エンコード指令を送信してもよい。

上述の実施形態では、エンコードコントローラ１００とエンコード機器２００（エンコーダ２１０）とが別個に設けられたが、エンコーダ２１０は複数機器に分散されていなくてもよい。すなわち、エンコードコントローラ１００が複数のエンコーダ２１０を有していてもよいし、エンコードコントローラ１００とは異なる機器が複数のエンコーダ２１０を有していてもよい。

［その他］
本技術は以下のような構成もとることができる。
（１）
複数のエンコーダに関する情報を記憶する記憶部と、
入力された映像データを、前記複数のエンコーダ毎に異なる第１のエンコード条件でエンコードするよう前記複数のエンコーダへそれぞれ指示する第１の指示信号を送信し、
前記複数のエンコーダによってそれぞれエンコードされた映像データの画質が所定の基準を満たさない場合に、前記エンコードされた映像データから、前記画質に関連する所定の情報を取得し、前記所定の情報を基に、前記第１のエンコード条件とは異なる第２のエンコード条件で前記入力された映像データをエンコードするよう指示する第２の指示信号を前記複数のエンコーダのうち少なくとも１つのエンコーダに送信する
ことが可能な制御部と
を具備する情報処理装置。
（２）
上記（１）に記載の情報処理装置であって、
前記複数のエンコーダはネットワーク上の複数の装置にそれぞれ設けられ、
当該情報処理装置は、前記複数の装置のそれぞれのエンコーダに前記第１の指示信号を送信可能な通信部をさらに具備する
情報処理装置。
（３）
上記（２）に記載の情報処理装置であって、
前記複数の装置はそれぞれ異なる演算処理能力を有し、
前記制御部は、前記第１のエンコード条件のうち第１の演算量を有するエンコード条件によるエンコードを指示する前記第１の指示信号を、第１の演算処理能力を有する第１の装置へ送信し、前記第１のエンコード条件のうち前記第２の演算量よりも小さい第２の演算量を有するエンコード条件によるエンコードを指示する前記第１の指示信号を、前記第１の演算処理能力よりも小さい第２の演算処理能力を有する第２の装置へ送信するよう前記通信部を制御する
情報処理装置。
（４）
上記（１）から（３）のいずれかに記載の情報処理装置であって、
前記制御部は、前記第１のエンコード条件として、第１の符号化効率を有する第１のエンコード方式によるそれぞれ異なる第１の符号化パラメータでのエンコードを設定し、前記第１のエンコード方式によるエンコードにより取得された前記所定の情報を基に、前記第２のエンコード条件として、前記第１の符号化効率よりも高い第２の符号化効率を有する第２のエンコード方式での第２の符号化パラメータでのエンコードを設定する
情報処理装置。
（５）
上記（１）から（４）のいずれかに記載の情報処理装置であって、
前記制御部は、前記入力された映像データの各フレームにおける複数の領域をそれぞれ異なるエンコーダがエンコードするように前記第１のエンコード条件をそれぞれ設定して前記第１の指示信号を送信する
情報処理装置。
（６）
上記（１）から（５）のいずれかに記載の情報処理装置であって、
前記入力された映像データは、第１の符号化効率を有する第１のエンコード方式でエンコードされた映像データがデコードされたものであり、
前記制御部は、前記第１のエンコード方式でエンコードされた映像データから取得された前記所定の情報を基に、前記第１のエンコード条件として、前記第１のエンコード方式とは異なる第２のエンコード方式による、前記エンコーダ毎に異なるエンコードパラメータを設定する
情報処理装置。

１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１８…記憶部
１９…通信部
５０…インターネット
１００…エンコードコントローラ
２００…エンコード機器
２１０…エンコーダ
２２０…クラウドコントローラ

Claims (9)

1. 複数のエンコーダに関する情報を記憶する記憶部と、
   入力された映像データを、前記複数のエンコーダ毎に異なる第１のエンコード条件でエンコードするよう前記複数のエンコーダへそれぞれ指示する第１の指示信号を送信し、
   前記複数のエンコーダによってそれぞれエンコードされた映像データの画質が所定の基準を満たさない場合に、前記エンコードされた映像データから、前記画質に関連する所定の情報を取得し、前記所定の情報を基に、前記第１のエンコード条件とは異なる第２のエンコード条件で前記入力された映像データをエンコードするよう指示する第２の指示信号を前記複数のエンコーダのうち少なくとも１つのエンコーダに送信する
   ことが可能な制御部と
   を具備する情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記複数のエンコーダはネットワーク上の複数の装置にそれぞれ設けられ、
   当該情報処理装置は、前記複数の装置のそれぞれのエンコーダに前記第１の指示信号を送信可能な通信部をさらに具備する
   情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記複数の装置はそれぞれ異なる演算処理能力を有し、
   前記制御部は、前記第１のエンコード条件のうち第１の演算量を有するエンコード条件によるエンコードを指示する前記第１の指示信号を、第１の演算処理能力を有する第１の装置へ送信し、前記第１のエンコード条件のうち前記第２の演算量よりも小さい第２の演算量を有するエンコード条件によるエンコードを指示する前記第１の指示信号を、前記第１の演算処理能力よりも小さい第２の演算処理能力を有する第２の装置へ送信するよう前記通信部を制御する
   情報処理装置。
4. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記第１のエンコード条件として、第１の符号化効率を有する第１のエンコード方式によるそれぞれ異なる第１の符号化パラメータでのエンコードを設定し、前記第１のエンコード方式によるエンコードにより取得された前記所定の情報を基に、前記第２のエンコード条件として、前記第１の符号化効率よりも高い第２の符号化効率を有する第２のエンコード方式での第２の符号化パラメータでのエンコードを設定する
   情報処理装置。
5. 請求項１に記載の情報処理装置であって、
   前記制御部は、前記入力された映像データの各フレームにおける複数の領域をそれぞれ異なるエンコーダがエンコードするように前記第１のエンコード条件をそれぞれ設定して前記第１の指示信号を送信する
   情報処理装置。
6. 請求項１に記載の情報処理装置であって、
   前記入力された映像データは、第１の符号化効率を有する第１のエンコード方式でエンコードされた映像データがデコードされたものであり、
   前記制御部は、前記第１のエンコード方式でエンコードされた映像データから取得された前記所定の情報を基に、前記第１のエンコード条件として、前記第１のエンコード方式とは異なる第２のエンコード方式による、前記エンコーダ毎に異なる符号化パラメータを設定する
   情報処理装置。
7. それぞれエンコーダを有する複数の装置と、
   前記エンコーダに関する情報を記憶する記憶部と、
   入力された映像データを、前記複数のエンコーダ毎に異なる第１のエンコード条件でエンコードするよう前記複数のエンコーダへそれぞれ指示する第１の指示信号を送信し、
   前記複数のエンコーダによってそれぞれエンコードされた映像データの画質が所定の基準を満たさない場合に、前記エンコードされた映像データから、前記画質に関連する所定の情報を取得し、前記所定の情報を基に、前記第１のエンコード条件とは異なる第２のエンコード条件で前記入力された映像データをエンコードするよう指示する第２の指示信号を前記複数のエンコーダのうち少なくとも１つのエンコーダに送信する
   ことが可能な制御部と
   を有する情報処理装置と
   を具備する情報処理システム。
8. 入力された映像データを、複数のエンコーダ毎に異なる第１のエンコード条件でエンコードするよう前記複数のエンコーダへそれぞれ指示する第１の指示信号を送信し、
   前記複数のエンコーダによってそれぞれエンコードされた映像データの画質が所定の基準を満たさない場合に、前記エンコードされた映像データから、前記画質に関連する所定の情報を取得し、
   前記所定の情報を基に、前記第１のエンコード条件とは異なる第２のエンコード条件で前記入力された映像データをエンコードするよう指示する第２の指示信号を前記複数のエンコーダのうち少なくとも１つのエンコーダに送信する
   情報処理方法。
9. 情報処理装置に、
   入力された映像データを、複数のエンコーダ毎に異なる第１のエンコード条件でエンコードするよう前記複数のエンコーダへそれぞれ指示する第１の指示信号を送信するステップと、
   前記複数のエンコーダによってそれぞれエンコードされた映像データの画質が所定の基準を満たさない場合に、前記エンコードされた映像データから、前記画質に関連する所定の情報を取得するステップと、
   前記所定の情報を基に、前記第１のエンコード条件とは異なる第２のエンコード条件で前記入力された映像データをエンコードするよう指示する第２の指示信号を前記複数のエンコーダのうち少なくとも１つのエンコーダに送信するステップと
   を実行させるプログラム。

Images