JP2020088550A - 情報処理装置および情報処理方法、並びにプログラム - Google Patents

Abstract

【課題】大画面の動画像を効率良く復号する復号処理を実現する。【解決手段】画像が符号化された圧縮符号データは、１枚の画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置されるとともに、１番目のスライスデータの先頭から一定間隔でマーカが配置されて構成されている。そして、マーカ検査部は、１番目のスライスデータの先頭から一定間隔で配置されているマーカを検査し、２番目以降のスライスデータの先頭を示すスタートコードが含まれる圧縮符号データの範囲となる探索範囲を設定し、分割点探索部は、探索範囲内の前記圧縮符号データを探索してスタートコードを検出することで、連続するスライスデータどうしを分割する分割点を確定し、それぞれのスライスデータを、所定数の復号部に振り分ける。本技術は、例えば、大画面の動画像を復号する復号装置に適用できる。【選択図】図５

Description

本開示は、情報処理装置および情報処理方法、並びにプログラムに関し、特に、大画面の動画像を効率良く復号する復号処理を実現することができるようにした情報処理装置および情報処理方法、並びにプログラムに関する。

従来、動画像の符号化を大画面に対応させるのにあたり、復号処理の処理量が増大することに応じて、復号装置には、より高い処理性能が求められる。

また、例えば、ITU-T(International Telecommunication Union Telecommunication Standardization Sector)では、動画像を高効率に符号化する規格であるH.265(ISO/IEC 23008-2 HEVC)を利用したオーディオビジュアルおよびマルチメディアに関するシステムが提案されている（例えば、非特許文献１参照）。

SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services - Coding of moving video

ところで、動画像の符号化を大画面に対応させるために、例えば、画面をいくつかに区切って、それぞれの区切られた画像を、複数のコア（画像復号部）で並列処理するシステム（以下、マルチコア処理系と称する）が検討されている。そこで、このようなマルチコア処理系における復号処理を、より効率良く行えるようにすることが必要となってくる。

本開示は、このような状況に鑑みてなされたものであり、大画面の動画像を効率良く復号する復号処理を実現することができるようにするものである。

本開示の第１の側面の情報処理装置は、画像が符号化された圧縮符号データが、前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置されるとともに、１番目の前記スライスデータの先頭から一定間隔でマーカが配置されて構成されており、１番目の前記スライスデータの先頭から一定間隔で配置されている前記マーカを検査し、２番目以降の前記スライスデータの先頭を示すスタートコードが含まれる前記圧縮符号データの範囲となる探索範囲を設定するマーカ検査部と、前記探索範囲内の前記圧縮符号データを探索して前記スタートコードを検出することで、連続する前記スライスデータどうしを分割する分割点を確定し、それぞれの前記スライスデータを、所定数の復号部に振り分ける分割点探索部とを備える。

本開示の第１の側面の情報処理方法またはプログラムは、画像が符号化された圧縮符号データが、前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置されるとともに、１番目の前記スライスデータの先頭から一定間隔でマーカが配置されて構成されており、１番目の前記スライスデータの先頭から一定間隔で配置されている前記マーカを検査し、２番目以降の前記スライスデータの先頭を示すスタートコードが含まれる前記圧縮符号データの範囲となる探索範囲を設定することと、前記探索範囲内の前記圧縮符号データを探索して前記スタートコードを検出することで、連続する前記スライスデータどうしを分割する分割点を確定し、それぞれの前記スライスデータを、所定数の復号部に振り分けることとを含む。

本開示の第１の側面においては、画像が符号化された圧縮符号データが、画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置されるとともに、１番目のスライスデータの先頭から一定間隔でマーカが配置されて構成されている。そして、１番目のスライスデータの先頭から一定間隔で配置されているマーカが検査されて、２番目以降のスライスデータの先頭を示すスタートコードが含まれる圧縮符号データの範囲となる探索範囲が設定され、その探索範囲内の圧縮符号データを探索してスタートコードを検出することで、連続するスライスデータどうしを分割する分割点が確定されて、それぞれのスライスデータが、所定数の復号部に振り分けられる。

本開示の第２の側面の情報処理装置は、画像を符号化して、前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置され、それぞれの前記スライスデータの先頭を示すスタートコードが配置される構成の圧縮符号データを生成する符号化部と、最初の前記スライスデータの先頭から一定間隔でマーカを挿入するマーカ挿入部とを備える。

本開示の第２の側面の情報処理方法またはプログラムは、画像を符号化して、前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置され、それぞれの前記スライスデータの先頭を示すスタートコードが配置される構成の圧縮符号データを生成することと、最初の前記スライスデータの先頭から一定間隔でマーカを挿入することとを含む。

本開示の第２の側面においては、画像を符号化して、その画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置され、それぞれのスライスデータの先頭を示すスタートコードが配置される構成の圧縮符号データが生成され、最初のスライスデータの先頭から一定間隔でマーカが挿入される。

圧縮符号データの構造例を示す図である。 圧縮符号データが記憶部に配置された状態を示す図である。 本技術を適用した符号化装置の一実施の形態の構成例を示すブロック図である。 画像符号化部の構成例を示すブロック図である。 本技術を適用した復号装置の一実施の形態の構成例を示すブロック図である。 画像復号部の構成例を示すブロック図である。 符号化処理を説明するフローチャートである。 復号処理を説明するフローチャートである。 圧縮符号データの振り分けの変形例について説明する図である。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

＜圧縮符号データの構造例＞
図１および図２を参照して、本技術を適用した符号化装置および復号装置で処理される圧縮符号データの構造の一例について説明する。

図１に示すように、動画像の画像信号を圧縮符号化した圧縮符号データは、上位ヘッダ部に続けてスライスデータ部が配置された構造になっている。例えば、上位ヘッダ部には、符号化に関する各種の情報が格納され、スライスデータ部には、符号化された画像が格納される。

ここで、圧縮符号データを復号する復号側で、複数のコアで圧縮符号データを復号するマルチコア処理系が採用されている場合、スライスデータ部は、予め複数のスライスデータＳＬに分割される。例えば、図５を参照して後述するように、２つの画像復号部４６−１および４６−２で圧縮符号データを復号する場合、スライスデータ部は、予め２つのスライスデータＳＬ００およびＳＬ０１に分割される。なお、圧縮符号データ列は、例えば、BSF（byte stream format）形式とする。

また、スライスデータＳＬ００およびＳＬ０１それぞれの先頭には、先頭であることを示すスタートコード（start code prefix）として、図示するようなデータ列「00 00 01」が付加されている。従って、圧縮符号データの先頭から順にスタートコードの探索を行って、スライスデータＳＬ００のスタートコードを検出することで、スライスデータ部の先頭を認識することができる。同様に、スライスデータＳＬ０１のスタートコードを検出することで、スライスデータＳＬ００とスライスデータＳＬ０１とが分割される位置（以下、スライス分割点と称する）を認識することができる。

そして、圧縮符号データは、このように複数のスライスデータＳＬが連結されたスライスデータ部に対して、スライスデータ部の先頭から一定間隔でマーカＭが配置された構造となっている。また、マーカＭは、例えば、それぞれ配置されているスライスデータＳＬを認識するためのスライス番号を含む１バイトのデータである。

即ち、図１に示す例では、スライスデータＳＬ００には、スライスデータＳＬ００の先頭から一定間隔で、スライス番号００を含むマーカＭ１が配置され、マーカＭ１から一定間隔で、スライス番号００を含むＭ２が配置された構造となる。そして、スライスデータＳＬ０１には、マーカＭ２から一定間隔で、スライス番号０１を含むＭ３が配置されており、以下、同様に順次、直前のマーカＭから一定間隔で、スライス番号を含むマーカＭが配置された構造となる。

図２には、復号処理の動作イメージとして、圧縮符号データが、例えば、DRAM（Dynamic Random Access Memory）などの記憶部に配置された状態が示されている。

このような構造の圧縮符号データにより、復号側において、上位ヘッダから処理を開始し、１番目のスライスデータＳＬ００のスタートコードを検出し、その先頭位置から、予め決められた一定間隔で埋め込まれているマーカＭが順次読み出される。例えば、マーカＭの位置は、即ち、図２に示すようなDRAM上のアドレスは、一定間隔に基づいた計算で求めることができる。そして、マーカＭに含まれるスライス番号を確認することで、スライス番号が変化する区間を特定することができる。この特定された区間には、スタートコードが必ず存在するため、その区間を探索することでスタートコードを検出し、各コアに振り分ける分割点、即ち、スライスデータＳＬ０１の先頭位置を認識することができる。

従って、このデータ構造により、スライスデータ部の全体を対象にスタートコードを探索するような従来のデータ構造と比較して、より狭い範囲を探索するだけでスタートコードを検出することができる。即ち、復号処理における処理量を削減して、より効率良く、大画面の動画像を復号することができる。

なお、マーカＭが一定間隔で配置された構造のスライスデータＳＬは、通常の符号化の規格から外れたエラーストリームとなってしまう。従って、マーカＭを取り除いてから復号処理に移ることで、規格に準拠した通常の復号処理で復号することが可能となる。

＜符号化装置および復号装置の構成例＞
図３乃至図６を参照して、符号化装置および復号装置の構成例について説明する。

図３は、符号化装置１１の構成例を示すブロック図である。

図３に示すように、符号化装置１１は、バス２１を介して、記憶部２２、上位シンタックス処理部２３、および画像符号化部２４が接続されて構成される。

符号化装置１１には、符号化の対象となる画像が入力されるとともに、図示しない上位の制御部から制御信号が入力され、画像を符号化することにより得られるビットストリームが符号化装置１１から出力される。また、符号化装置１１および復号装置１２（図５）により構成されるシステムにおいてマーカＭを挿入するように設定されている場合、または、ユーザの指示に従ってマーカＭを挿入するように選択された場合、マーカＭの挿入を指示する制御信号が符号化装置１１に入力される。

記憶部２２は、符号化装置１１に入力される画像がバス２１を介して供給されると、その画像を記憶する。

上位シンタックス処理部２３は、画像の符号化に関するシンタックス処理を行い、例えば、所定のシンタックスが記述された上位ヘッダを生成して出力する。また、上位シンタックス処理部２３は、例えば、ユーザの指示に従ってマーカＭを挿入するように選択され、マーカＭの挿入を指示する制御信号が供給された場合、マーカＭが配置されたビットストリームが送信されることを示すマーカ使用情報を、上位ヘッダのユーザデータに記録する。

画像符号化部２４は、記憶部２２から画像を読み出して、その画像を符号化する。このとき、画像符号化部２４は、画像復号部４６（図５）の個数に応じた所定数で画像を分割した個々の画像のスライスデータＳＬが連結されて配置され、それぞれのスライスデータＳＬの先頭にスタートコードが配置されるような構造の圧縮符号データを生成する。そして、画像符号化部２４は、符号化装置１１に入力されるマーカＭの挿入を指示する制御信号に従って、スライスデータＳＬ００の先頭から一定間隔ごとに、マーカＭを挿入する。

図４は、画像符号化部２４の構成例を示すブロック図である。

図４に示すように、画像符号化部２４は、符号化処理部３１、マーカ挿入部３２、および切り替え部３３を備えて構成される。

符号化処理部３１は、記憶部２２から読み出した画像を、例えば、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）などの符号化方式に従って符号化する通常の符号化処理を実行する。そして、符号化処理部３１は、画像を符号化して得られる圧縮符号データを、通常のエレメンタリストリームとして出力する。

マーカ挿入部３２には、符号化処理部３１から出力されるエレメンタリストリームが供給され、マーカ挿入部３２は、図１に示したように、スライスデータＳＬ００の先頭から一定間隔でマーカＭを挿入する。そして、マーカ挿入部３２は、スライスデータＳＬにマーカＭが配置されたエレメンタリストリームを出力する。

切り替え部３３は、制御信号に従って、符号化装置１１から出力されるビットストリームとして、符号化処理部３１から出力される通常のエレメンタリストリーム、および、マーカ挿入部３２から出力されるマーカＭが挿入されたエレメンタリストリームのうちの、いずれか一方が出力されるような切り替えを行う。

例えば、切り替え部３３は、マーカＭの挿入を指示する制御信号が供給されていない（または、マーカＭを挿入しないことを指示する制御信号が供給されている）場合、符号化処理部３１から出力される通常のエレメンタリストリームを、符号化装置１１から出力されるビットストリームとして出力する。一方、切り替え部３３は、マーカＭの挿入を指示する制御信号が供給されている場合、マーカ挿入部３２から出力されるマーカＭが配置されたエレメンタリストリームを、符号化装置１１から出力されるビットストリームとして出力する。

このような構成の符号化装置１１は、例えば、ユーザの指示に従ってマーカＭを挿入するように選択されるのに応じて、切り替え部３３が切り替えられ、スライスデータＳＬ００の先頭から一定間隔ごとにマーカＭが配置されたビットストリームを出力することができる。従って、符号化装置１１が、このような構造の圧縮符号データを生成することで、上述したように、復号側において少ない処理量でスライスデータＳＬ０１のスタートコードを検出することができ、大画面の動画像を効率良く復号する復号処理を実現することができる。

図５は、復号装置１２の構成例を示すブロック図である。

図５に示すように、復号装置１２は、バス４１を介して、記憶部４２、上位シンタックス処理部４３、マーカ検査部４４、スライス分割点探索部４５、並びに、２つの画像復号部４６−１および４６−２が接続されて構成される。また、復号装置１２には、符号化装置１１から出力されたビットストリームが入力され、圧縮符号データを復号した画像が復号装置１２から出力される。

記憶部４２は、復号装置１２に入力されるビットストリームがバス４１を介して供給されると、そのビットストリームからなる圧縮符号データを記憶する。

上位シンタックス処理部４３は、記憶部４２に記憶されている圧縮符号データを先頭から読み出し、上位ヘッダ部に格納されている各種の情報に基づいたシンタックス処理を行う。例えば、上位シンタックス処理部４３は、上位ヘッダのユーザデータに、マーカＭが配置されたビットストリームが送信されることを示すマーカ使用情報が記録されている場合、マーカＭが配置されたビットストリームであることを、マーカ検査部４４、スライス分割点探索部４５、並びに、画像復号部４６−１および４６−２に通知する。

また、上位シンタックス処理部４３は、シンタックス処理を行いながら、圧縮符号データの先頭から順に、スタートコードを検索する。そして、上位シンタックス処理部４３は、最初のスタートコードが検出されるまで、即ち、１番目のスライスデータＳＬ００の先頭を認識するまで、シンタックス処理を行う。

マーカ検査部４４は、記憶部４２に記憶されている圧縮符号データから、１枚の画像（アクセスユニット）を構成する１番目のスライスデータＳＬ００が認識されると、スライスデータＳＬ００に含まれるマーカＭの検査を行う。上述したように、マーカＭは、スライスデータＳＬ００の先頭から一定間隔ごとに配置されており、マーカ検査部４４は、その一定間隔に従って、圧縮符号データからマーカＭを読み出す。そして、マーカ検査部４４は、マーカＭに含まれているスライス番号を確認し、スライス番号が異なるものとなった２つのマーカＭに挟まれている範囲を、探索範囲として設定してスライス分割点探索部４５に通知する。

具体的には、マーカ検査部４４は、図１に示したように、スライス番号００からスライス番号０１に変化する、マーカＭ２からマーカＭ３までの範囲を、２番目のスライスデータＳＬ０１のスタートコードが含まれる探索範囲として設定することができる。

スライス分割点探索部４５は、マーカ検査部４４により設定された探索範囲の圧縮符号データを記憶部４２から読み出し、探索範囲内にあるスタートコードを探索することで、スライス分割点を確定する。即ち、スライス分割点探索部４５は、図１に示したように、マーカＭ２からマーカＭ３までの探索範囲にある、スライスデータＳＬ０１の先頭を示すスタートコードを探索することで、スライスデータＳＬ００とスライスデータＳＬ０１とが分割される位置を認識することができる。

そして、スライス分割点探索部４５は、画像復号部４６−１に対して、スライスデータＳＬ００の先頭から圧縮符号データを読み出すように指示し、画像復号部４６−２に対して、スライス分割点に従ってスライスデータＳＬ０１の先頭から圧縮符号データを読み出すように指示する。即ち、スライス分割点探索部４５は、画像復号部４６−１および４６それぞれに、スライスデータＳＬを振り分けることができる。

画像復号部４６−１および４６−２は、スライスデータＳＬごとに記憶部４２から圧縮符号データを読み出し、並列的に、画像を復号して出力する。例えば、画像復号部４６−１は、スライスデータＳＬ００を復号し、画像復号部４６−２は、スライスデータＳＬ０１を復号する。そして、画像復号部４６−１と画像復号部４６−２とは、それぞれの画像の復号が終わるのを待ち合わせた後、それぞれ復号した画像を出力する。

これにより、復号装置１２は、スライスデータＳＬ００およびＳＬ０１に分割された２枚の画像を、元の１枚の画像として連結し、後段の表示装置（図示せず）へ出力することができる。

図６は、画像復号部４６の構成例を示すブロック図である。なお、画像復号部４６−１および４６−２は同様に構成されており、それらを区別する必要がない場合、以下、単に画像復号部４６と称する。

図６に示すように、画像復号部４６は、マーカ除去部５１、切り替え部５２、および復号処理部５３を備えて構成される。また、画像復号部４６には、記憶部４２から読み出した圧縮符号データ（即ち、符号化装置１１から送信されてきたビットストリーム）が入力される。

マーカ除去部５１は、上位シンタックス処理部４３によりマーカＭが配置されたビットストリームであることが通知された場合、画像復号部４６に入力されるビットストリームから、マーカＭを除去する処理を行い、マーカＭが除去されたビットストリームを出力する。例えば、マーカ除去部５１は、マーカＭが配置されている一定間隔に基づいて、個々のマーカＭの位置を計算により特定し、除去することができる。

切り替え部５２は、上位シンタックス処理部４３からの通知に従って、復号処理部５３に入力されるビットストリームとして、記憶部４２から読み出される通常のビットストリーム、および、マーカ除去部５１から出力されるマーカＭが除去されたビットストリームのうち、いずれか一方が入力されるような切り替えを行う。

例えば、切り替え部５２は、上位シンタックス処理部４３からマーカＭが配置されたビットストリームであることを通知されていない（または、マーカＭが配置されていない通常のビットストリームであることが通知されている）場合、記憶部４２から読み出される通常のビットストリームを、復号処理部５３に入力する。一方、切り替え部５２は、上位シンタックス処理部４３からマーカＭが配置されたビットストリームであることを通知されている場合、マーカ除去部５１から出力されるマーカＭが除去されたビットストリームを、復号処理部５３に入力する。

復号処理部５３は、切り替え部５２を介して供給されるビットストリーム、即ち、通常の圧縮符号データに対する復号処理を行って、その復号により得られる画像を出力する。

このような構成の復号装置１２は、例えば、マーカＭが配置されたビットストリームである場合には、マーカ除去部５１においてマーカＭを除去して圧縮符号データを復号することができる。このとき、スライス分割点探索部４５は、マーカ検査部４４により設定された探索範囲を探索するだけでスライスデータＳＬ０１のスタートコードを検出することができ、大画面の動画像を効率良く復号することができる。

即ち、復号装置１２は、２番目のスライスデータＳＬ０１のスタートコードが含まれる探索範囲を探索するだけで、１番目のスライスデータＳＬ００と２番目のスライスデータＳＬ０１とのスライス分割点を確定することができる。なお、画像が２つ以上の所定数に分割され、スライスデータ部が、その所定数のスライスデータＳＬが連結して構成されている場合にも、同様に、３番目以降のスライスデータＳＬのスタートコードが含まれる探索範囲をマーカＭに基づいて設定することができる。

このように、復号装置１２は、スライスデータＳＬのスタートコードを見つけるために、スライスデータ部の全体を検索することなく、スライスデータＳＬのスタートコードを検出することができる。これにより、復号装置１２は、記憶部４２へのアクセスを削減することができ、そのアクセスに伴うバス４１への負荷を軽減することができる。

なお、例えば、個々のスライスデータＳＬの実データ量を記録しておくことによって、スライスデータＳＬの先頭位置を計算で求めることでも、スライス分割点を容易に特定することができる。しかしながら、この場合、符号化の際に１スライス分の符号化を完了しないと実データ量を取得することができないのに対し、復号処理のために圧縮符号データより前にデータ量情報を置く必要がある。即ち、後から得られる情報を待つために、圧縮符号器の出力をバッファリングし、処理レイテンシが大きくなってしまう。

これに対し、スライスデータ部の先頭から一定間隔でマーカＭが配置された構造を採用することにより、出力をバッファリングする必要もなく、処理レイテンシが大きくなってしまうことも回避することができる。

＜符号化処理および復号処理の処理例＞
図７は、符号化装置１１において実行される符号化処理を説明するフローチャートである。

例えば、符号化の対象となる動画像の１枚分の画像の入力が行われると処理が開始され、ステップＳ１１において、上位シンタックス処理部２３は、例えば、符号化装置１１に入力される制御信号に従って、マーカＭを挿入するか否かを判定する。

ステップＳ１１において、上位シンタックス処理部２３が、マーカＭを挿入しないと判定した場合、処理はステップＳ１２に進み、符号化装置１１では通常の符号化処理が行われる。即ち、この場合、図４の切り替え部３３は、符号化装置１１から出力されるビットストリームとして、符号化処理部３１により符号化された通常の圧縮符号データを出力するように切り替えを行い、マーカ挿入部３２によるマーカＭの挿入は行われない。

一方、ステップＳ１１において、上位シンタックス処理部２３が、マーカＭを挿入すると判定した場合、処理はステップＳ１３に進む。ステップＳ１３において、上位シンタックス処理部２３は、上位ヘッダのユーザデータに、マーカＭが配置されたビットストリームが送信されることを示すマーカ使用情報を記録する。また、この場合、図４の切り替え部３３は、符号化装置１１から出力されるビットストリームとして、マーカ挿入部３２によりマーカＭが挿入された圧縮符号データを出力するように切り替えを行い、符号化処理部３１により符号化される通常の圧縮符号データは出力されない。

ステップＳ１４において、画像符号化部２４は、記憶部２２からスライスデータＳＬを読み出して符号化し、マーカ挿入部３２に供給する。

ステップＳ１５において、マーカ挿入部３２は、ステップＳ１４で画像符号化部２４により符号化されたスライスデータＳＬに対して、そのスライスデータＳＬのスライス番号を含むマーカＭを、一定間隔で挿入する。そして、符号化された順に、マーカＭが配置された圧縮符号データのビットストリームが送信される。

ステップＳ１６において、画像符号化部２４は、符号化の対象としている画像のスライスデータＳＬが終了したか否かを判定する。例えば、画像符号化部２４は、画像が分割されている個数分のスライスデータＳＬが符号化済みの場合、スライスデータＳＬが終了したと判定する。

ステップＳ１６において、画像符号化部２４が、スライスデータＳＬが終了していないと判定した場合、処理はステップＳ１４に戻り、次のスライスデータＳＬを対象として、以下、同様の処理が繰り返して行われる。

一方、ステップＳ１６において、スライスデータＳＬが終了したと判定された場合、または、ステップＳ１２の処理後、処理は終了される。

以上のように、符号化装置１１は、スライスデータＳＬにマーカＭが一定間隔で配置された圧縮符号データを生成し、圧縮符号データのビットストリームを復号装置１２へ送信することができる。

図８は、復号装置１２において実行される復号処理を説明するフローチャートである。

例えば、符号化装置１１から送信されてくる圧縮符号データのビットストリームが受信されると処理が開始され、ステップＳ３１において、上位シンタックス処理部４３は、ビットストリームにマーカが挿入されているか否かを判定する。例えば、上位シンタックス処理部４３は、上位ヘッダのユーザデータに、マーカＭが配置されたビットストリームが送信されることを示すマーカ使用情報が記録されている場合、ビットストリームにマーカが挿入されていると判定する。

ステップＳ３１において、上位シンタックス処理部４３が、ビットストリームにマーカが挿入されていないと判定した場合、処理はステップＳ３２に進み、復号装置１２では通常の復号処理が行われる。即ち、この場合、図６の切り替え部５２は、復号処理部５３に入力されるビットストリームが、記憶部４２から読み出される通常のビットストリームとなるように切り替えを行い、マーカ除去部５１によるマーカＭの除去は行われない。

一方、ステップＳ３１において、上位シンタックス処理部４３が、ビットストリームにマーカが挿入されていると判定した場合、処理はステップＳ３３に進む。即ち、この場合、図６の切り替え部５２は、復号処理部５３に入力されるビットストリームが、マーカ除去部５１から出力されるマーカＭが除去されたビットストリームとなるように切り替えを行い、マーカ除去部５１によるマーカＭの除去が行われる。

ステップＳ３３において、上位シンタックス処理部４３は、記憶部４２に記憶されている圧縮符号データを先頭から読み出し、最初のスタートコードの検索を行う。

ステップＳ３４において、上位シンタックス処理部４３は、ステップＳ３３での検索の結果、１番目のスライスデータＳＬ００のスタートコードを検出したか否かを判定する。

ステップＳ３４において、上位シンタックス処理部４３が、１番目のスライスデータＳＬ００のスタートコードを検出していないと判定した場合、処理はステップＳ３５に進む。即ち、この場合、記憶部４２から読み出した圧縮符号データは上位ヘッダであり、ステップＳ３５において、上位シンタックス処理部４３は、上位ヘッダ部に格納されている各種の情報に基づいたシンタックス処理を行い、処理はステップＳ３３に戻る。

一方、ステップＳ３４において、上位シンタックス処理部４３が、１番目のスライスデータＳＬ００のスタートコードを検出したと判定した場合、処理はステップＳ３６に進む。

ステップＳ３６において、マーカ検査部４４は、スライスデータＳＬ００の先頭から一定間隔ごとに配置されているマーカＭの検査を行う。そして、マーカ検査部４４は、マーカＭに含まれているスライス番号を確認し、スライス番号が異なるものとなった２つのマーカＭに挟まれている範囲を、探索範囲として設定してスライス分割点探索部４５に通知する。

ステップＳ３７において、スライス分割点探索部４５は、ステップＳ３６でマーカ検査部４４により設定された探索範囲の圧縮符号データを記憶部４２から読み出し、探索範囲内にあるスタートコードを探索することで、スライス分割点を確定する。即ち、スライス分割点探索部４５は、探索範囲からスライスデータＳＬ０１の先頭を示すスタートコードを探索することで、スライスデータＳＬ００とスライスデータＳＬ０１とが分割されるスライス分割点を認識することができる。

そして、スライス分割点探索部４５は、画像復号部４６−１にスライスデータＳＬ００を振り分けるとともに、画像復号部４６−２にスライスデータＳＬ０１を振り分ける。その後、画像復号部４６−１によるステップＳ３８−１乃至Ｓ４０−１の処理と、画像復号部４６−２によるステップＳ３８−２乃至Ｓ４０−２の処理とは、並列して行うことができる。

即ち、画像復号部４６−１は、記憶部４２からスライスデータＳＬ００を読み出して復号し、ステップＳ３８−１においてマーカ除去部５１によりマーカＭが除去され、ステップＳ３９−１において復号処理部５３によりスライスデータＳＬ００が復号される。そして、ステップＳ４０−１において、画像復号部４６−１は、復号の対象となる１枚分の画像のスライスデータＳＬ００が終了したか否かを判定し、終了したと判定されるまで、ステップＳ３８−１およびＳ３９−１の処理が繰り返して行われる。

なお、画像復号部４６−２は、画像復号部４６−１と同様に、スライスデータＳＬ０１に対してステップＳ３８−２乃至Ｓ４０−２の処理を行う。

その後、ステップＳ４０−１においてスライスデータＳＬ００が終了したと判定された場合、および、ステップＳ４０−２においてスライスデータＳＬ０１が終了したと判定した場合、処理はステップＳ４１に進む。

ステップＳ４１において、画像復号部４６−１によるスライスデータＳＬ００の復号、および、画像復号部４６−２によるスライスデータＳＬ０１の復号それぞれが終わるのが待ち合わされた後、それぞれ復号された画像が連結されて１枚の大画面に対応する画像が出力される。

そして、ステップＳ４１またはステップＳ３２の処理後、処理は終了される。

以上のように、復号装置１２は、スライスデータＳＬにマーカＭが一定間隔で配置された圧縮符号データにより、スライスデータＳＬ０１のスタートコードを探索する探索範囲を狭くすることができ、より効率良く復号を行うことができる。

＜圧縮符号データの振り分けの変形例＞
図９を参照して、圧縮符号データの振り分けの変形例について説明する。

上述したように、復号装置１２では、スライス分割点（即ち、スライスデータＳＬ０１のスタートコード）で分割して、スライスデータＳＬ００を画像復号部４６−１に振り分け、スライスデータＳＬ０１を画像復号部４６−２に振り分けていた。

ここで、一般的なデコーダ（画像復号部４６）にはスタートコードを探索する機能が備わっていることより、正確なスライス分割点で振り分けを行わなくても、デコーダ自身がスライスデータＳＬ０１のスタートコードを検出して復号処理を行うことができる。

従って、マーカ検査部４４がマーカＭに含まれるスライス番号を確認し、スライス番号の変化に基づいた範囲（上述の探索範囲）を認識すると、その範囲を画像復号部４６−１および４６−２の両方が読み込むようにしてもよい。

例えば、図９に示すように、スライスデータ部が、マーカＭ１乃至Ｍ４に従って、破線で囲われる５か所の部分に分割される場合、１番目から３番目までの圧縮符号データ（即ち、スライスデータＳＬ００の全体、および、スライスデータＳＬ０１の先頭部分）は画像復号部４６−１に振り分けられる。そして、３番目から５番目までの圧縮符号データ（即ち、スライスデータＳＬ００の後尾部分、および、スライスデータＳＬ０１の全体）は画像復号部４６−２に振り分けられる。

これにより、３番目の圧縮符号データは、画像復号部４６−１と画像復号部４６−２との両方によって読み出されることになるが、スライスデータＳＬ０１のスタートコードに従って、それぞれ必要となる圧縮符号データのみを処理することができる。例えば、画像復号部４６−２は、自身が備えるスタートコードを探索する機能によって、３番目の圧縮符号データの先頭からスライスデータＳＬ０１のスタートコードまでを読み飛ばして、スライスデータＳＬ０１の先頭から復号処理を行うことができる。

このように、画像復号部４６−２が、１番目および２番目の圧縮符号データを読み込むことを除外することにより、スライスデータＳＬ０１のスタートコードまでの読み飛ばし量を削減することができる。これにより、画像復号部４６−２では、記憶部４２へ無駄にデータアクセスすることを防止することができ、例えば、バス４１への負荷を軽減することができる。

以上のように、マルチコア構成の復号装置１２は、スライス分割点を検索するための検索範囲を設定することにより、例えば、記憶部４２へのアクセスを削減することができ、バス４１への負荷を軽減することができる。これにより、例えば、記憶部４２として用いられるDRAM系への性能要求を緩和することができ、復号装置１２は、動作クロックを低下させることや、バス４１を構成するメモリバスのビット幅を削減することなどを実現することができ、消費電力の低減を図ることができる。

なお、復号装置１２は、符号化装置１１および復号装置１２により構成されるシステムにおいてマーカＭを挿入するように設定されている場合、上述したマーカ使用情報を用いず、復号装置１２よりも上位の制御装置による制御に従って、マーカＭが含まれているか否かを判定することができる。

＜コンピュータの構成例＞
次に、上述した一連の処理（情報処理方法）は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。

図１０は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示すブロック図である。

プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク１０５やROM１０３に予め記録しておくことができる。

あるいはまた、プログラムは、ドライブ１０９によって駆動されるリムーバブル記録媒体１１１に格納（記録）しておくことができる。このようなリムーバブル記録媒体１１１は、いわゆるパッケージソフトウェアとして提供することができる。ここで、リムーバブル記録媒体１１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。

なお、プログラムは、上述したようなリムーバブル記録媒体１１１からコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵するハードディスク１０５にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。

コンピュータは、CPU(Central Processing Unit)１０２を内蔵しており、CPU１０２には、バス１０１を介して、入出力インタフェース１１０が接続されている。

CPU１０２は、入出力インタフェース１１０を介して、ユーザによって、入力部１０７が操作等されることにより指令が入力されると、それに従って、ROM(Read Only Memory)１０３に格納されているプログラムを実行する。あるいは、CPU１０２は、ハードディスク１０５に格納されたプログラムを、RAM(Random Access Memory)１０４にロードして実行する。

これにより、CPU１０２は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU１０２は、その処理結果を、必要に応じて、例えば、入出力インタフェース１１０を介して、出力部１０６から出力、あるいは、通信部１０８から送信、さらには、ハードディスク１０５に記録等させる。

なお、入力部１０７は、キーボードや、マウス、マイク等で構成される。また、出力部１０６は、LCD(Liquid Crystal Display)やスピーカ等で構成される。

ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。

また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。

さらに、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

＜構成の組み合わせ例＞
なお、本技術は以下のような構成も取ることができる。
（１）
画像が符号化された圧縮符号データが、１枚の前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置されるとともに、１番目の前記スライスデータの先頭から一定間隔でマーカが配置されて構成されており、
１番目の前記スライスデータの先頭から一定間隔で配置されている前記マーカを検査し、２番目以降の前記スライスデータの先頭を示すスタートコードが含まれる前記圧縮符号データの範囲となる探索範囲を設定するマーカ検査部と、
前記探索範囲内の前記圧縮符号データを探索して前記スタートコードを検出することで、連続する前記スライスデータどうしを分割する分割点を確定し、それぞれの前記スライスデータを、所定数の復号部に振り分ける分割点探索部と
を備える情報処理装置。
（２）
前記マーカには、それぞれ配置されている前記スライスデータを示すスライス番号が含まれており、
前記マーカ検査部は、前記スライス番号が異なるものとなった２つの前記マーカに挟まれる範囲を前記探索範囲として設定する
上記（１）に記載の情報処理装置。
（３）
前記マーカ検査部は、前記マーカが配置される一定間隔に従って、前記マーカを読み出して前記スライス番号を確認する
上記（２）に記載の情報処理装置。
（４）
所定数の前記復号部をさらに備え、
所定数の前記復号部は、それぞれ振り分けられる前記スライスデータに対する復号を並列処理して、分割された個々の前記画像を復号し、
所定数の前記復号部それぞれで復号された前記画像を連結することにより、１枚の前記画像が出力される
上記（１）から（３）までのいずれかに記載の情報処理装置。
（５）
前記復号部は、
前記マーカを除去する除去部と、
前記マーカが配置されずに送信されてきた前記圧縮符号データ、および、前記除去部により前記マーカが除去された前記圧縮符号データの選択を切り替える切り替え部と、
前記切り替え部による選択に従って入力される前記圧縮符号データを復号する復号処理を行う復号処理部と
を有する上記（１）から（４）までのいずれかに記載の情報処理装置。
（６）
画像が符号化された圧縮符号データの復号処理を行う情報処理装置が、
前記圧縮符号データは、１枚の前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置されるとともに、１番目の前記スライスデータの先頭から一定間隔でマーカが配置されて構成されており、
１番目の前記スライスデータの先頭から一定間隔で配置されている前記マーカを検査し、２番目以降の前記スライスデータの先頭を示すスタートコードが含まれる前記圧縮符号データの範囲となる探索範囲を設定することと、
前記探索範囲内の前記圧縮符号データを探索して前記スタートコードを検出することで、連続する前記スライスデータどうしを分割する分割点を確定し、それぞれの前記スライスデータを、所定数の復号部に振り分けることと
を含む情報処理方法。
（７）
画像が符号化された圧縮符号データの復号処理を行う情報処理装置のコンピュータに、
前記圧縮符号データは、１枚の前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置されるとともに、１番目の前記スライスデータの先頭から一定間隔でマーカが配置されて構成されており、
１番目の前記スライスデータの先頭から一定間隔で配置されている前記マーカを検査し、２番目以降の前記スライスデータの先頭を示すスタートコードが含まれる前記圧縮符号データの範囲となる探索範囲を設定することと、
前記探索範囲内の前記圧縮符号データを探索して前記スタートコードを検出することで、連続する前記スライスデータどうしを分割する分割点を確定し、それぞれの前記スライスデータを、所定数の復号部に振り分けることと
を含む情報処理を実行させるためのプログラム。
（８）
画像を符号化して、１枚の前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置され、それぞれの前記スライスデータの先頭を示すスタートコードが配置される構成の圧縮符号データを生成する符号化部と、
最初の前記スライスデータの先頭から一定間隔でマーカを挿入するマーカ挿入部と
を備える情報処理装置。
（９）
前記マーカ挿入部は、それぞれ配置されている前記スライスデータを示すスライス番号が含まれる前記マーカを挿入する
上記（８）に記載の情報処理装置。
（１０）
前記符号化部により符号化された前記圧縮符号データ、および、前記マーカ挿入部により前記マーカが挿入された前記圧縮符号データのうち、いずれか一方を出力として選択を切り替える切り替え部
をさらに備える上記（８）または（９）に記載の情報処理装置。
（１１）
画像の符号化処理を行う情報処理装置が、
前記画像を符号化して、１枚の前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置され、それぞれの前記スライスデータの先頭を示すスタートコードが配置される構成の圧縮符号データを生成することと、
最初の前記スライスデータの先頭から一定間隔でマーカを挿入することと
を含む情報処理方法。
（１２）
画像の符号化処理を行う情報処理装置のコンピュータに、
前記画像を符号化して、１枚の前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置され、それぞれの前記スライスデータの先頭を示すスタートコードが配置される構成の圧縮符号データを生成することと、
最初の前記スライスデータの先頭から一定間隔でマーカを挿入することと
を含む情報処理を実行させるためのプログラム。

なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

１１ 符号化装置， １２ 復号装置， ２１ バス， ２２ 記憶部， ２３ 上位シンタックス処理部， ２４ 画像符号化部， ３１ 符号化処理部， ３２ マーカ挿入部， ３３ 切り替え部， ４１ バス， ４２ 記憶部， ４３ 上位シンタックス処理部， ４４ マーカ検査部， ４５ スライス分割点探索部， ４６−１および４６−２ 画像復号部， ５１ マーカ除去部， ５２ 切り替え部， ５３ 復号処理部

Claims (12)

1. 画像が符号化された圧縮符号データが、１枚の前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置されるとともに、１番目の前記スライスデータの先頭から一定間隔でマーカが配置されて構成されており、
   １番目の前記スライスデータの先頭から一定間隔で配置されている前記マーカを検査し、２番目以降の前記スライスデータの先頭を示すスタートコードが含まれる前記圧縮符号データの範囲となる探索範囲を設定するマーカ検査部と、
   前記探索範囲内の前記圧縮符号データを探索して前記スタートコードを検出することで、連続する前記スライスデータどうしを分割する分割点を確定し、それぞれの前記スライスデータを、所定数の復号部に振り分ける分割点探索部と
   を備える情報処理装置。
2. 前記マーカには、それぞれ配置されている前記スライスデータを示すスライス番号が含まれており、
   前記マーカ検査部は、前記スライス番号が異なるものとなった２つの前記マーカに挟まれる範囲を前記探索範囲として設定する
   請求項１に記載の情報処理装置。
3. 前記マーカ検査部は、前記マーカが配置される一定間隔に従って、前記マーカを読み出して前記スライス番号を確認する
   請求項２に記載の情報処理装置。
4. 所定数の前記復号部をさらに備え、
   所定数の前記復号部は、それぞれ振り分けられる前記スライスデータに対する復号を並列処理して、分割された個々の前記画像を復号し、
   所定数の前記復号部それぞれで復号された前記画像を連結することにより、１枚の前記画像が出力される
   請求項１に記載の情報処理装置。
5. 前記復号部は、
   前記マーカを除去する除去部と、
   前記マーカが配置されずに送信されてきた前記圧縮符号データ、および、前記除去部により前記マーカが除去された前記圧縮符号データの選択を切り替える切り替え部と、
   前記切り替え部による選択に従って入力される前記圧縮符号データを復号する復号処理を行う復号処理部と
   を有する請求項１に記載の情報処理装置。
6. 画像が符号化された圧縮符号データの復号処理を行う情報処理装置が、
   前記圧縮符号データは、１枚の前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置されるとともに、１番目の前記スライスデータの先頭から一定間隔でマーカが配置されて構成されており、
   １番目の前記スライスデータの先頭から一定間隔で配置されている前記マーカを検査し、２番目以降の前記スライスデータの先頭を示すスタートコードが含まれる前記圧縮符号データの範囲となる探索範囲を設定することと、
   前記探索範囲内の前記圧縮符号データを探索して前記スタートコードを検出することで、連続する前記スライスデータどうしを分割する分割点を確定し、それぞれの前記スライスデータを、所定数の復号部に振り分けることと
   を含む情報処理方法。
7. 画像が符号化された圧縮符号データの復号処理を行う情報処理装置のコンピュータに、
   前記圧縮符号データは、１枚の前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置されるとともに、１番目の前記スライスデータの先頭から一定間隔でマーカが配置されて構成されており、
   １番目の前記スライスデータの先頭から一定間隔で配置されている前記マーカを検査し、２番目以降の前記スライスデータの先頭を示すスタートコードが含まれる前記圧縮符号データの範囲となる探索範囲を設定することと、
   前記探索範囲内の前記圧縮符号データを探索して前記スタートコードを検出することで、連続する前記スライスデータどうしを分割する分割点を確定し、それぞれの前記スライスデータを、所定数の復号部に振り分けることと
   を含む情報処理を実行させるためのプログラム。
8. 画像を符号化して、１枚の前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置され、それぞれの前記スライスデータの先頭を示すスタートコードが配置される構成の圧縮符号データを生成する符号化部と、
   最初の前記スライスデータの先頭から一定間隔でマーカを挿入するマーカ挿入部と
   を備える情報処理装置。
9. 前記マーカ挿入部は、それぞれ配置されている前記スライスデータを示すスライス番号が含まれる前記マーカを挿入する
   請求項８に記載の情報処理装置。
10. 前記符号化部により符号化された前記圧縮符号データ、および、前記マーカ挿入部により前記マーカが挿入された前記圧縮符号データのうち、いずれか一方を出力として選択を切り替える切り替え部
    をさらに備える請求項８に記載の情報処理装置。
11. 画像の符号化処理を行う情報処理装置が、
    前記画像を符号化して、１枚の前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置され、それぞれの前記スライスデータの先頭を示すスタートコードが配置される構成の圧縮符号データを生成することと、
    最初の前記スライスデータの先頭から一定間隔でマーカを挿入することと
    を含む情報処理方法。
12. 画像の符号化処理を行う情報処理装置のコンピュータに、
    前記画像を符号化して、１枚の前記画像を所定数に分割した個々の画像のデータであるスライスデータが連結されて配置され、それぞれの前記スライスデータの先頭を示すスタートコードが配置される構成の圧縮符号データを生成することと、
    最初の前記スライスデータの先頭から一定間隔でマーカを挿入することと
    を含む情報処理を実行させるためのプログラム。

Images