JP2018139349A - 映像処理装置及び映像処理プログラム - Google Patents

Abstract

【課題】注目する映像シーンに対して映像品質を落とすことなく、且つ、映像データのデータ量及び記憶媒体の記憶容量を抑えることが可能な映像処理装置及び映像処理プログラムを提供する。【解決手段】映像処理システムＺは、映像符号化装置Ｘ１において、入力映像信号を圧縮符号化してコアストリーム信号を生成するコアストリーム生成部Ｕ０と、入カ映像信号によって表されるピクチャの系列から特定のピクチャを選出し、この特定のピクチャを表す拡張ストリーム信号を生成する拡張ストリーム生成部Ｕ３と、を有し、コアストリーム信号及び拡張ストリーム信号を蓄積する映像蓄積装置Ｘ２を更に有する。【選択図】図１

Description

本発明は、映像信号を符号化して記憶媒体に記憶する映像処理装置及び映像処理プログラムに関する。

近年、監視カメラの普及は進み、さらなる高解像度化、高フレームレート化、多視点化が望まれている。しかし、高解像度化、高フレームレート化、多視点化は、動画像のデータ量の著しい増加を引き起こし、通信コストやストレージコストの増加を招く。

この問題を緩和するため、動画像中から例えば「顔」が表示されている特定の領域をＲＯＩ（Region of Interest）として検出し、このＲＯＩに対して多くのビット数を割り当てて圧縮符号化する画像処理装置が提案されている（例えば、特許文献１参照）。

当該画像処理装置では、符号量と映像品質を制御するパラメータをブロック毎に設定するという圧縮部の機能を利用して、ＲＯＩ以外の領域、つまり背景領域の情報量をＲＯＩの情報量よりも削減する。このように、かかる画像処理装置では、圧縮部に与えるパラメータを制御することにより符号量を削減している。

一方、例えば価格や互換性等の事情により、符号量と映像品質を制御するパラメータをブロック毎に設定するという機能を備えていない圧縮部を用いる場合には、上記したような方法で情報量の削減を図ることはできない。

そこで、圧縮部に依存せずに背景領域の情報量を削減する為に、背景領域に低域通過フィルタによるフィルタリング処理を施して高周波成分の情報を取り除くことで背景領域の情報量を削減するようにした画像符号化装置が提案されている（例えば、特許文献２参照）。この画像符号化装置では、低域通過フィルタによるフィルタリングにより、映像信号の情報量を削減しつつ、ブロック境界に発生するアーティファクトの発生を抑制している。

また、圧縮後の映像データに基づき、動画像圧縮部の量子化指標を制御することにより圧縮後の映像データのビットレート及び映像品質を制御する動画像処理装置が提案されている（特許文献３参照）。

特開２００９−４９９７９号公報 特開平４−２１９０８９号公報 特開２０１０−１９３４４１号公報

また、現在、監視カメラから出力された映像データを伝送ラインを介して受け、その映像データを記憶媒体に蓄積しつつディスプレイに表示するという監視カメラシステムが知られている。かかる監視カメラシステムに上記した画像符号化装置を採用すれば、伝送する映像データのデータ量及び記憶媒体の記憶容量を減らすことが可能となる。

しかしながら、当該画像符号化装置では、圧縮符号化によって背景領域の映像品質を落としているので、ＲＯＩを含むような注目する映像シーンを確認する場合に、証拠映像としての信頼性が低くなる場合があった。

そこで、本発明は、注目する映像シーンに対して画像品質を落とすことなく、且つ映像データのデータ量及び記憶媒体の記憶容量を抑えることが可能な映像処理装置及び映像処理プログラムを提供することを目的とする。

本発明に係る映像処理装置は、入カ映像信号を圧縮符号化してコアストリーム信号を生成するコアストリーム生成部と、前記入カ映像信号によって表されるピクチャの系列から特定のピクチャを選出し、選出した前記特定のピクチャを表す拡張ストリーム信号を生成する拡張ストリーム生成部と、前記コアストリーム信号及び前記拡張ストリーム信号を蓄積する映像蓄積部と、を有する。

本発明に係る映像処理プログラムは、入カ映像信号に映像処理を施して映像蓄積部に蓄積させる情報処理装置の制御部が実行する映像処理プログラムであって、前記入カ映像信号を圧縮符号化してコアストリーム信号を得る第１のステップと、前記入カ映像信号によって表されるピクチャの系列から特定のピクチャを選出し、選出した前記特定のピクチャを表す拡張ストリーム信号を生成する第２のステップと、前記コアストリーム信号及び前記拡張ストリーム信号を前記映像蓄積部に蓄積させる第３のステップと、を有する。

本発明では、入カ映像信号を圧縮符号化して得たコアストリーム信号を映像蓄積部に蓄積させつつ、当該入力映像信号によって表されるピクチャの系列から特定のピクチャを選出し、選出した特定のピクチャを表す拡張ストリーム信号を映像蓄積部に蓄積させる。

ここで、例えば入力映像信号によって表される動画像の全容を再生する場合には、映像蓄積部に蓄積されているコアストリーム信号を読み出して復号し、復号された画像をディスプレイ装置で表示させる。尚、コアストリーム信号は圧縮符号化されたものである為、その画像品質は低い。この際、動画像の全容を確認する場合には問題ないが、かかる動画像中に注目するシーンが表れた際にもこの注目するシーンの画像が不鮮明になる虞がある。よって、例えば監視カメラによって撮影された映像中の注目するシーンを監視したい場合には、証拠映像としての信頼性が落ちることになる。

そこで、ディスプレイ装置に表示される画像中に注目するシーンが表れた場合には、映像蓄積部に蓄積されているコアストリーム信号に代えて拡張ストリーム信号を読み出し、この拡張ストリーム信号に対応した画像をディスプレイ装置で表示させる。拡張ストリーム信号には上記したような圧縮符号化処理が施されていないので、高品質な表示画像を提供することが可能となる。

更に、拡張ストリーム信号は、入力映像信号によって表されるピクチャの系列中から選出した、上記のような注目するシーンに対応した特定のピクチャを表すものである。よって、拡張ストリーム信号におけるデータ量は、入力映像信号によって表される全データ量よりも小となる。

従って、本発明によれば、注目する映像シーンに対してはその画像品質を低下させることなく、データ伝送量及び映像蓄積部の記憶容量を抑えることが可能となる。

第１の実施例による映像処理システムＺの構成を示すブロック図である。 第１の実施例による映像処理システムＺで実施される映像処理を示すフロー図である。 拡張ストリーム選別部１０６による拡張ストリーム選別処理を示すフロー図である。 第２の実施例による映像処理システムＺの構成を示すブロック図である。 ローカルレコード部Ｕ４の構成を示すブロック図である。 映像利用装置Ｘ３の構成を示すブロック図である。 第２の実施例による映像処理システムＺで実施される映像処理を示すフロー図である。 第２の実施例による映像処理システムＺで実施される映像処理を示すフロー図である。 第３の実施例による映像処理システムＺの構成を示すブロック図である。 第３の実施例による映像処理システムＺで実施される映像処理を示すフロー図である。 映像処理をソフトウェアで実現する情報処理装置の構成の一例を示すブロック図である。

以下、本発明の実施例を図面を参照しつつ詳細に説明する。

図１は、本発明に係る第１の実施例による映像処理システムＺの構成を示すブロック図である。映像処理システムＺは、映像符号化装置Ｘ１及び映像蓄積部Ｘ２を含む。映像符号化装置Ｘ１は、コアストリーム生成部Ｕ０及び拡張ストリーム生成部Ｕ３を含む。コアストリーム生成部Ｕ０及び拡張ストリーム生成部Ｕ３は、例えば監視用のビデオカメラ等によって撮影して得られた入力ストリーム信号Ｅ１を入力映像信号として受ける。

コアストリーム生成部Ｕ０は、データフォーマット解析部４０１、エンコーダ部Ｕ１及びコアストリーム出力部４０５を含む。

データフォーマット解析部４０１は、入力ストリーム信号Ｅ１のデータフォーマットを解析し、そのデータフォーマットに基づき、入力ストリーム信号Ｅ１を、夫々が複数の画素値を有するピクチャの系列を表す入力ピクチャ信号Ｄ１に変換する。

例えば、入力ストリーム信号Ｅ１が、以下のような画像符号化方式を用いて圧縮されたバイトストリームであれば、データフォーマット解析部４０１は、これを、当該画像符号化方式に対応した方法で復号することにより、入力ピクチャ信号Ｄ１を得る。尚、かかる画像符号化方式とは、例えばＪＰＥＧ（Joint Photographic Experts Group）や、Ｈ．２６４／ＭＰＥＧ（Moving Picture Experts Group）−４ ＡＶＣ（Advanced Video Coding）或いはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（High Efficiency Video Coding）などである。

また、入力ストリーム信号Ｅ１が、Ｉ４２０、或いはＲＧＢ等のデータフォーマットを有する場合には、データフォーマット解析部４０１は、かかるデータフォーマットに対応した方法で入力ストリーム信号Ｅ１におけるバイトストリームを取り込んで入力ピクチャ信号Ｄ１を得る。尚、入力ストリーム信号Ｅ１はＩＰパケットの系列を表す信号であっても良い。

データフォーマット解析部４０１は、上記した入力ピクチャ信号Ｄ１をエンコーダ部Ｕ１のＲＯＩ（Region of Interest）設定部４０２、及びＲＯＩエンコーダ部Ｕ２に供給する。

ＲＯＩ設定部４０２は、入力ピクチャ信号Ｄ１によって表されるピクチャの系列における各ピクチャ内からＲＯＩの検出を行う。例えば、ＲＯＩ設定部４０２は、特定のオブジェクトとして人の顔の検出を行う顔検出アルゴリズムを用いて、入力ピクチャ信号Ｄ１によって表される各ピクチャ内から人の顔が表示される領域をＲＯＩとして検出する。そして、ＲＯＩ設定部４０２は、検出したＲＯＩのピクチャ内での位置、及びサイズを表すＲＯＩ情報Ｄ２を生成する。尚、ＲＯＩ設定部４０２は、予め設定した所望のＲＯＩのピクチャ内での位置及びサイズを表す情報をＲＯＩ情報Ｄ２として生成しても良い。

ＲＯＩ設定部４０２は、ＲＯＩ情報Ｄ２をＲＯＩエンコーダ部Ｕ２及び拡張ストリーム生成部Ｕ３に供給する。

ＲＯＩエンコーダ部Ｕ２は、前処理部４０３及びエンコーダコア部４０４を含む。

前処理部４０３は、ＲＯＩ情報Ｄ２に基づき、入力ピクチャ信号Ｄ１によって表されるピクチャの系列に対して以下のような前処理を施すことにより、その映像品質を制御する。

すなわち、前処理部４０３は、ＲＯＩ情報Ｄ２に基づき、入力ピクチャ信号Ｄ１に対して、各ピクチャ内のＲＯＩ以外の領域（以下、背景領域又は非ＲＯＩと称する）については、ＲＯＩに該当する領域に比べて少ない符号量となるような符号化処理を施す。かかる符号化処理は、例えばガウシアンフィルタ等を用いて入力ピクチャ信号Ｄ１を畳み込むことによって、高周波成分を抑圧する処理である。

前処理部４０３は、入力ピクチャ信号Ｄ１に対して上記のような前処理を施して得られた前処理ピクチャ信号Ｄ３をエンコーダコア部４０４に供給する。

エンコーダコア部４０４は、所定の画像符号方式に従って、前処理ピクチャ信号Ｄ３に圧縮符号化処理を施すことにより圧縮映像データＤ４を得て、これを映像蓄積部Ｘ２に供給する。尚、当該画像符号方式とは、例えばＨ．２６４／ＭＰＥＧ−４ ＡＶＣ或いはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣなどである。

尚、エンコーダコア部４０４は、ビットレートを指定するターゲットビットレート信号Ｄ１２Ａを受けた場合には、当該ターゲットビットレート信号Ｄ１２Ａによって指定されたビットレートに対応した映像品質で、入力ピクチャ信号Ｄ１を圧縮符号化して圧縮映像データＤ４を得る。この際、エンコーダコア部４０４は、圧縮映像データＤ４のビットレートを、ターゲットビットレート信号Ｄ１２Ａによって指定されたビットレートに調整する。

かかる構成により、エンコーダ部Ｕ１は、入力ピクチャ信号Ｄ１によって表されるピクチャの系列中の各ピクチャ内の非ＲＯＩ（背景領域）に対してはＲＯＩに比して少ない符号量で圧縮符号化を施すことにより圧縮映像データＤ４を生成する。すなわち、エンコーダ部Ｕ１は、ＲＯＩ情報Ｄ２に基づき、ＲＯＩを含むピクチャに対して、そのピクチャ内のＲＯＩを非ＲＯＩに比べて高品質に圧縮符号化する。エンコーダ部Ｕ１は、圧縮映像データＤ４をコアストリーム出力部４０５に供給する。

コアストリーム出力部４０５は、圧縮映像データＤ４を伝送又は記録用のフォーマット信号に変換し、これをコアストリーム信号Ｆ１として伝送路Ｌ１を介して映像蓄積部Ｘ２のコアストリーム蓄積部４１４に供給する。

上記した構成により、コアストリーム生成部Ｕ０は、入力ストリーム信号Ｅ１にＲＯＩ情報Ｄ２に基づく圧縮符号化処理を施して圧縮映像データＤ４を得る。そして、コアストリーム生成部Ｕ０は、圧縮映像データＤ４を表すコアストリーム信号Ｆ１を生成し、これを映像蓄積部Ｘ２のコアストリーム蓄積部４１４に供給する。

拡張ストリーム生成部Ｕ３は、ＲＯＩ情報Ｄ２と共に、入力映像信号としての入力ストリーム信号Ｅ１を選別部入力データＤ６Ｘとして受ける。拡張ストリーム生成部Ｕ３は、拡張ストリーム選別部１０６を含む。

拡張ストリーム選別部１０６は、ＲＯＩ情報Ｄ２に基づき、選別部入力データＤ６Ｘによって表されるピクチャの系列中から、ＲＯＩを含むピクチャを注目するシーンに対応した特定のピクチャとして選出する。また、拡張ストリーム選別部１０６は、選別部入力データＤ６Ｘによって表されるピクチャの系列中から、ＲＯＩを含むピクチャ、及びこのＲＯＩを含むピクチャの前又は後ろに隣接する少なくとも１つのピクチャを特定のピクチャとして選出する。そして、拡張ストリーム選別部１０６は、選出した特定のピクチャの系列を表す選別部出力データＤ６Ｙを生成する。

拡張ストリーム生成部Ｕ３は、選別部出力データＤ６Ｙを含む拡張ストリーム信号Ｆ２を生成し、これを伝送路Ｌ２を介して映像蓄積部Ｘ２の拡張ストリーム蓄積部１１５に供給（配信）する。

映像蓄積部Ｘ２のコアストリーム蓄積部４１４は、コアストリーム生成部Ｕ０から供給されたコアストリーム信号Ｆ１を蓄積する。映像蓄積部Ｘ２の拡張ストリーム蓄積部１１５は、拡張ストリーム生成部Ｕ３から供給された拡張ストリーム信号Ｆ２を蓄積する。

以下に、拡張ストリーム生成部Ｕ３及び拡張ストリーム蓄積部１１５の詳細な動作について図２に示す映像処理のフローに沿って説明する。

先ず、拡張ストリーム生成部Ｕ３の拡張ストリーム選別部１０６が、ＲＯＩ情報Ｄ２に基づき、選別部入力データＤ６Ｘによって表されるピクチャの系列中から特定のピクチャを選出し、選出した特定のピクチャの系列を表す選別部出力データＤ６Ｙを生成する
（ステップＳ６）。尚、特定のピクチャとは、前述したように、例えば選別部入力データＤ６Ｘによって表されるピクチャの系列中のＲＯＩを含むピクチャ（ＲＯＩピクチャとも称する）である。また、特定のピクチャは、例えばＲＯＩピクチャと、その前後に隣接する少なくとも１つのピクチャ（周辺ピクチャとも称する）とを含むピクチャ群に属するピクチャである。

尚、当該ピクチャ群の特定方法としては、例えば、各ピクチャに対応したデータ片に付加されている時刻を表すタイムスタンプを用いて、ＲＯＩ情報Ｄ２によって表されるＲＯＩピクチャ、及びその周辺のピクチャ群を特定する。

また、特定のピクチャを選出する簡易な方法としては、先ず、拡張ストリーム選別部１０６において、選別部入力データＤ６Ｘをバッファで数ピクチャ分毎にバッファリングして取り込むことにより遅延を生じさせる。ここで、ＲＯＩ情報Ｄ２がＲＯＩピクチャの存在を表したときに、その時点で当該バッファから出力されたピクチャをＲＯＩピクチャ、つまり特定ピクチャとみなす。その後、ＲＯＩ情報Ｄ２がＲＯＩピクチャが存在しないことを示しても、所定期間の間に亘り、当該バッファから出力された各ピクチャを、ＲＯＩピクチャとみなすという方法を採用しても良い。後者の方法では、所定期間の間に亘ってバッファから出力されたピクチャ群を、ＲＯＩピクチャの周辺ピクチャとして特定する。

なお、選別部入力デー夕Ｄ６Ｘが、例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣや、Ｈ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ等で圧縮された動画像データを表す場合、拡張ストリーム選別部１０６は、以下のような選出処理を行う。

すなわち、拡張ストリーム選別部１０６は、選別部入力デー夕Ｄ６Ｘによって表されるバイトストリーム中から、ＲＯＩピクチャまたはその周辺ピクチャに該当するアクセスユニットを取り出し、これを選別部出力データＤ６Ｙとして出力する。

ところで、上記のような動画像データには、これを復号する為に参照ピクチャが必要となる、インター予測符号化が施されている場合がある。この際、ある時点のアクセスユニットを復号するには、このアクセスユニットに対応したピクチャとは異なる時刻のピクチャに対応したアクセスユニットを復号しなければならない場合がある。このような場合を考慮し、拡張ストリーム選別部１０６は、ＲＯＩピクチャ及びその周辺ピクチャを含むピクチャ群に該当するアクセスユニットと、当該アクセスユニットの復号に必要なアクセスユニット、例えば同一ＧＯＰ（Group Of Pictures）内の全ピクチャと、を含む選別部出力データＤ６Ｙを出力しても良い。

また、拡張ストリーム選別部１０６は、選別部出力データＤ６Ｙのデータフォーマットを選別部入力データＤ６Ｘのデータフォーマットとは異なるデータフォーマットに変換するトランスコードを行っても良い。ここで用いられるデータフォーマットとしては、例えば、Ｉ４２０、ＲＧＢ、ＪＰＥＧ、Ｈ．２６４／ ＭＰＥＧ−４ ＡＶＣ、或いはＨ．２６５／ＭＰＥＧ−ＨＥＶＣ等がある。かかるトランスコードにより、選別部入力データＤ６Ｘよりもデータ伝送の効率が高い拡張ストリーム信号Ｆ２を得ることが可能となる。

例えば、選別部入力データＤ６ＸのデータフォーマットがＪＰＥＧに準拠したものである場合、拡張ストリーム選別部１０６は、これをトランスコードにより、ＪＰＥＧよりも高効率なＨ．２６４／ＭＰＥＧ−４ ＡＶＣ、或いはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣの形式に変換する。

また、当該トランスコードにより、拡張ストリーム選別部１０６は、例えば復号時に参照ピクチャを用いることが必須となるインター予測符号化された選別部入力データＤ６Ｘを、参照ピクチャを用いずに復号可能なイントラ予測符号化した拡張ストリーム信号Ｆ２に変換する。これにより、参照ピクチャの伝送が不要となるので、その分だけ拡張ストリーム信号Ｆ２の符号量を削減することが可能となる。

例えば、選別部入力データＤ６ＸのデータフォーマットがＨ．２６４／ＭＰＥＧ−４ ＡＶＣ、或いはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣである場合、拡張ストリーム選別部１０６は、これをトランスコードにより、イントラ予測符号の形態に変換する。また、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、或いはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣから、Ｈ．２６４／ＭＰＥＧ−４ ＡＹＣ、或いはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣへのトランスコードであっても良い。また、トランスコードとしては、トランスコードのためにデコードを行った後に、ＲＯＩを含んでいないピクチャを取り除いてからエンコードするというものであっても良い。

以下に、上記したステップＳ６で実施される拡張ストリーム選別部１０６の詳細な動作について、図３に示される拡張ストリーム選別処理のフローに沿って説明する。

先ず、拡張ストリーム選別部１０６は、キーピクチャから選別部入力デー夕Ｄ６Ｘのバッファリングを開始する（ステップＳ６１）。尚、キーピクチャとは、ＧＯＰの境界となるピクチャであり、ＧＯＰ単位での編集、或いはシーク等の起点となるピクチャである。例えば、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、或いはＨ．２６５／ＭＰＥＧ−ＨＥＶＣならばＩＤＲ（Instantaneous Decoding Refresh）ピクチャである。

次に、拡張ストリーム選別部１０６は、次のキーピクチャの直前まで選別部入力デー夕Ｄ６Ｘに対するバッファリングを継続しながら、バッファリング中の各ピクチャが特定ピクチャであるか否かを判定する（ステップＳ６２）。具体的には、拡張ストリーム選別部１０６は、バッファリングされたアクセスユニットがＲＯＩピクチャ又はＲＯＩピクチャの周辺のピクチャ群に対応しているか否かを、ＲＯＩ情報Ｄ２に基づいて判定する。ここで、当該アクセスユニットが、ＲＯＩピクチャ又はその周辺のピクチャ群に対応していると判定した場合、拡張ストリーム選別部１０６は、以下のように特定ピクチャを判定する。

つまり、拡張ストリーム選別部１０６は、既にバッファリングされた各ピクチャに対応したデータ片の系列、及び当該データ片の系列中の最後尾からＲＯＩを含む一連のアクセスユニット群の最後尾のアクセスユニットまでのデータに対応したピクチャ群に属する各ピクチャを特定ピクチャと判定する。

或いは、拡張ストリーム選別部１０６は、既にバッファリングされたデータ片の系列及び当該データ片の系列の最後尾から次のキーピクチャの直前ピクチャまでのデータに対応したピクチャ群に属する各ピクチャを特定ピクチャと判定する。

拡張ストリーム選別部１０６は、選別部入力デー夕Ｄ６Ｘ中において、上記した特定ピクチャに対応したデータ片以外のデータを無効データとする。

尚、本実施例では、バッファリングの継続期間を、バッファリングを開始してから次のキーピクチャの直前までとしている。しかしながら、ＲＯＩピクチャに対応するアクセスユニットがキーピクチャを跨いで連続する場合には、キーピクチャを跨ぐことを許容しても良い。すなわち、バッファリングの開始時点から、ＲＯＩを含む一連のアクセスユニット群の最後のアクセスユニットに後続するキーピクチャの直前の時点までを、バッファリングの継続期間とする。この際、跨いでも良いキーピクチャ数に上限を設けても良い。

次に、拡張ストリーム選別部１０６は、上記した特定のピクチャの系列を表す選択部出力データＤ６Ｙを生成すると共に、バッファリングした無効なデータを破棄する（ステップＳ６３）。

この際、拡張ストリーム生成部Ｕ３は、かかる選択部出力データＤ６Ｙを含む拡張ストリーム信号Ｆ２を生成し、これを伝送路Ｌ２を介して映像蓄積部Ｘ２に供給すると共に、入力ストリーム信号Ｅ１中においてＲＯＩを含まないＧＯＰを破棄する。

次に、拡張ストリーム選別部１０６は、図３に示す拡張ストリーム選別処理を継続するか否かを判定する（ステップＳ６４）。ステップＳ６４において継続すると判定した場合には、拡張ストリーム選別部１０６は、ステップＳ６１に戻って前述した動作を再び行う。一方、ステップＳ６４において継続しないと判定した場合には、拡張ストリーム選別部１０６は、図３に示す拡張ストリーム選別処理、つまり図２に示すステップＳ６を終了する。

ステップＳ６が終了すると、映像蓄積部Ｘ２の拡張ストリーム蓄積部１１５が、映像符号化装置Ｘ１から供給された拡張ストリーム信号Ｆ２を蓄積する（ステップＳ１５）。

以上、詳述したように、図１に示すコアストリーム生成部Ｕ０は、入力ストリーム信号Ｅ１を圧縮符号化した信号に基づきコアストリーム信号Ｆ１を生成し、これを伝送路Ｌ１を介してコアストリーム蓄積部４１４に供給する。これにより、コアストリーム信号Ｆ１がコアストリーム蓄積部４１４に蓄積される。

また、拡張ストリーム生成部Ｕ３は、入力ストリーム信号Ｅ１から、ＲＯＩを含むピクチャ又はＲＯＩを含むピクチャの周辺ピクチャ群を特定のピクチャとして選出する。そして、拡張ストリーム生成部Ｕ３は、選出した特定ピクチャの系列を表す拡張ストリーム信号Ｆ２を生成し、これを伝送路Ｌ２を介して拡張ストリーム蓄積部１１５に供給（配信）する。これにより、拡張ストリーム信号Ｆ２が拡張ストリーム蓄積部１１５に蓄積される。

ここで、例えば監視用のビデオカメラによって撮影された動画像の全容を再生する場合には、コアストリーム蓄積部４１４に蓄積されているコアストリーム信号Ｆ１を読み出す。そして、読み出されたコアストリーム信号Ｆ１を復号し、復号された映像信号に基づく画像をディスプレイ装置（図示せず）で表示させる。この際、コアストリーム信号Ｆ１とは、ビデオカメラによって撮影された動画像を表す入力ストリーム信号Ｅ１に圧縮符号化処理を施したものである。当該圧縮符号化処理では、入力ストリーム信号Ｅ１によって表されるピクチャの系列のうちでＲＯＩが含まれるピクチャに対しては、そのピクチャ内の背景領域をＲＯＩよりも映像品質を落として圧縮符号化する。従って、コアストリーム信号Ｆ１に基づきディスプレイ装置に表示させた画像中に注目するシーン、つまりＲＯＩピクチャに対応した画像が含まれる場合には、当該ＲＯＩの背景領域の映像品質が低くなる為、証拠映像としての信頼性が落ちる可能性がある。

そこで、ディスプレイ装置に表示される画像中にＲＯＩが含まれるような注目シーンが表れた場合には、拡張ストリーム蓄積部１１５に蓄積されている拡張ストリーム信号Ｆ２を読み出す。そして、コアストリーム信号Ｆ１に対応した画像に代えて、拡張ストリーム信号Ｆ２に対応した画像をディスプレイ装置で表示させる。この際、拡張ストリーム信号Ｆ２とは、上記した入力ストリーム信号Ｅ１によって表されるピクチャ系列のうちで、ＲＯＩピクチャ、又はＲＯＩピクチャの周辺ピクチャ群等の特定のピクチャを表す信号である。更に、拡張ストリーム信号Ｆ２には、上記したような圧縮符号化処理が施されていない。

よって、拡張ストリーム信号Ｆ２に基づきディスプレイ装置に表示される画像は、コアストリーム信号Ｆ１に基づきディスプレイ装置に表示される画像に比べて、画像品質が高い。従って、ＲＯＩが含まれるような注目する映像シーンを、その映像品質を低下させることなく提供することが可能となる。

更に、映像処理システムＺの拡張ストリーム生成部Ｕ３は、入力ストリーム信号Ｅ１から拡張ストリーム信号Ｆ２を生成するにあたり、当該入力ストリーム信号Ｅ１によって表されるピクチャ系列中から、特定ピクチャ、つまりＲＯＩピクチャ又はＲＯＩを含むピクチャの周辺ピクチャ群のみを選出し、それ以外のピクチャ群を破棄している。

よって、監視用のビデオカメラによって撮影された動画像の全てのピクチャを表すデータ量に比べて、拡張ストリーム信号Ｆ２のデータ量が大幅に少なくなる。これにより、拡張ストリーム蓄積部１１５の記憶容量をコアストリーム蓄積部４１４の記憶容量よりも小さくすることが可能となる。

従って、図１に示す映像処理システムＺによれば、注目する映像シーンに対してその映像品質を低下させることなく、伝送路Ｌ２でのデータ伝送量及び記憶媒体の記憶容量を抑えることが可能となる。

尚、上記実施例において、ＲＯＩエンコーダ部Ｕ２の構成は、図１に示す構成に限定されない。

また、ＲＯＩエンコーダ部Ｕ２については、ピクチャ内の背景領域内の全ての画素値を、最大輝度「２５５」及び最低輝度「０」の中間の輝度を表す画素値「１２８」に置換しても良い。また、ＲＯＩエンコーダ部Ｕ２では、ＲＯＩ情報Ｄ２に基づき、ＲＯＩピクチャのみ、そのピクチャ全体を高画質に圧縮し、ＲＯＩを含まないピクチャに対しては、次のピクチャには圧縮処理を施さないようにしても良い。同様に、ＲＯＩエンコーダ部Ｕ２は、ＲＯＩピクチャを高画質に圧縮し、ＲＯＩを含まないピクチャに対しては低画質な圧縮処理を施すものであっても良い。

また、エンコーダ部Ｕ１がＲＯＩ設定部４０２を備えているのであれば、エンコーダ部Ｕ１は、入力ピクチャ信号Ｄ１にて表される全てのピクチャを低画質で圧縮する構成であっても良い。

また、エンコーダ部ＵＩとしては、入力ピクチャ信号Ｄ１で表される各ピクチャ内において背景領域をＲＯＩよりも少ないビット数で圧縮する、または、それ以外の方法で圧縮する、或いは入力ピクチャ信号Ｄ１を縮小後に圧縮するような構成であっても良い。これにより、コアストリーム信号Ｆ１のデータ量が削減されると同時に圧縮に掛かる演算量も低減される。この際、コアストリーム信号Ｆ１に関しては、映像の品質が低下することになる。しかしながら、映像処理システムＺによれば、必要時に、拡張ストリーム蓄積部１１５に蓄積されている拡張ストリーム信号Ｆ２を復号することで、高品質な映像を取得することができる。なお、縮小後の圧縮は、常にピクチャ全体を低画質で圧縮する方法の一手段とみなすことができる。

また、図１に示される映像処理システムＺ内でのデータ伝送については、各モジュール（４０１、Ｕ１、Ｕ３、４０５）間で同期を取れるように、例えば時刻を表すタイムスタンプ等の情報がデータに付加されていても良い。すなわち、かかる情報により、例えばＲＯＩ情報Ｄ２によって表されるＲＯＩが、入力ピクチャ信号Ｄ１中のどのピクチャに属するものであるのかを特定することができる。また、例えば、入力ピクチャ信号Ｄ１によって表される各ピクチャと、入力ストリーム信号Ｅ１、コアストリーム信号Ｆ１、拡張ストリーム信号Ｆ２各々内のピクチャとの対応が取れるようになる。

また、図１に示す構成では、ＲＯＩエンコーダ部Ｕ２は、映像処理システムＺの外部から受けたターゲットビットレート信号Ｄ１２Ａに応じて圧縮映像データＤ４のビットレートを制御する機能を備えている。しかしながら、ＲＯＩエンコーダ部Ｕ２としては、このようなビットレートの制御機能を備えていないものを採用しても良い。

また、コアストリーム信号Ｆ１を伝送する伝送路Ｌ１及び拡張ストリーム信号Ｆ２を伝送する伝送路Ｌ２は、例えば有線ＬＡＮ（local area network）、又は無線ＬＡＮ、或いは公衆回線網であっても良い。また、コアストリーム信号Ｆ１及び拡張ストリーム信号Ｆ２は、互いに異なる伝送形態の伝送路を介して映像蓄積装置Ｘ２に供給されても良い。

要するに、図１に示される映像処理システムＺとしては、以下のコアストリーム生成部、拡張ストリーム生成部、及び映像蓄積部を含むものであれば良い。

コアストリーム生成部（Ｕ０）は、入カ映像信号（Ｅ１）を圧縮符号化してコアストリーム信号（Ｆ１）を生成する。拡張ストリーム生成部（Ｕ３）は、入カ映像信号によって表されるピクチャの系列から特定のピクチャ（例えばＲＯＩを含むピクチャ）を選出し、この特定のピクチャを表す拡張ストリーム信号（Ｆ２）を生成する。映像蓄積部（Ｘ２）は、コアストリーム信号及び拡張ストリーム信号を蓄積する。

図４は、本発明に係る第２の実施例による映像処理システムＺの構成を示すブロック図である。尚、図４に示す構成では、映像利用装置Ｘ３を新たに加え、拡張ストリーム生成部Ｕ３に代えて拡張ストリーム生成部Ｕ３ａを採用した点を除く他の構成は、図１に示されるものと同一である。

よって、以下に、映像利用装置Ｘ３及び拡張ストリーム生成部Ｕ３ａを中心に、構成及びその動作を説明する。

拡張ストリーム生成部Ｕ３ａは、上記した拡張ストリーム選別部１０６の他に、ローカルレコード部Ｕ４を含む。

ローカルレコード部Ｕ４は、拡張ストリーム選別部１０６から出力された選択部出力データＤ６Ｙをレコード部入力データＤ１１Ｘとして受けると共に、動作モード選択信号Ｅ４及び利用側要求信号Ｄ２０を受ける。ローカルレコード部Ｕ４は、レコード部入力データＤ１１Ｘによって表されるピクチャの系列に対応した映像データ片の系列を順次取り込んで記憶する。そして、ローカルレコード部Ｕ４は、動作モード選択信号Ｅ４又は利用側要求信号Ｄ２０が、記憶されている映像データ片の配信要求を表す場合には記憶した映像データ片の系列を順次読み出し、レコード部出力データＤｌｌＹとして出力する。また、ローカルレコード部Ｕ４は、動作モード選択信号Ｅ４又は利用側要求信号Ｄ２０が削除要求を表す場合には、記憶した映像データ片を削除する。

図５は、ローカルレコード部Ｕ４の内部構成を示すブロック図である。図５に示すように、ローカルレコード部Ｕ４は、拡張ストリーム制御信号生成部Ｕ５、及びローカルストレージ部２１１を含む。

拡張ストリーム制御信号生成部Ｕ５は、新規映像データチェック部２０７、外部要求受付部２０８、システム間要求受付部２０９、及び拡張ストリーム制御信号生成コア部２１０を含む。

新規映像データチェック部２０７は、未読出の新規な映像データ片がローカルストレージ部２１１に記憶されている場合に、記憶されている映像データ片の配信を要求する内部要求信号Ｄ７を拡張ストリーム制御信号生成コア部２１０に供給する。また、新規映像データチェック部２０７は、かかる配信処理の終了後、ローカルストレージ部２１１に蓄積されている映像データ片の系列のうちで配信対象となった映像データ片の削除を要求する内部要求信号Ｄ７を拡張ストリーム制御信号生成コア部２１０に供給する。

外部要求受付部２０８は、動作モード選択信号Ｅ４に基づき、ローカルストレージ部２１１に記憶されている映像データ片の削除又は配信を要求する外部要求信号Ｄ８を生成し、これを拡張ストリーム制御信号生成コア部２１０に供給する。

例えば、外部供給された動作モード選択信号Ｅ４によって表される動作モードが、ローカルストレージ部２１１に記憶されている映像データ片の配信を促すものである場合には、外部要求受付部２０８は、配信要求表す外部要求信号Ｄ８を生成する。また、例えば動作モード選択信号Ｅ４によって表される動作モードが映像データの削除を促すものである場合には、外部要求受付部２０８は、削除要求を表す外部要求信号Ｄ８を生成する。

システム間要求受付部２０９は、例えば映像利用装置Ｘ３のような映像符号化装置Ｘ１の外部の装置からの利用側要求信号Ｄ２０を受ける。システム間要求受付部２０９は、当該利用側要求信号Ｄ２０に基づき、ローカルストレージ部２１１に記憶されている映像データの削除又は配信を要求するシステム間要求信号Ｄ９を生成し、これを拡張ストリーム制御信号生成コア部２１０に供給する。

例えば、利用側要求信号Ｄ２０がローカルストレージ部２１１に記憶されている映像データ片の配信を促すものである場合には、システム間要求受付部２０９は、配信要求を表すシステム間要求信号Ｄ９を生成する。また、例えば利用側要求信号Ｄ２０が映像データの削除を促すものである場合には、システム間要求受付部２０９は、削除要求を表すシステム間要求信号Ｄ９を生成する。

拡張ストリーム制御信号生成コア部２１０は、内部要求信号Ｄ７、外部要求信号Ｄ８、及びシステム間要求信号Ｄ９のうちの少なくとも１つの要求信号を受けた場合に、当該要求信号によって表される内容に対応した制御信号Ｄ１０を生成し、ローカルストレージ部２１１に供給する。すなわち、拡張ストリーム制御信号生成コア部２１０は、かかる要求信号（Ｄ７、Ｄ８又はＤ９）が削除要求を表す場合には、記憶されている映像データ片の削除を促す制御信号Ｄ１０を、ローカルストレージ部２１１に供給する。また、拡張ストリーム制御信号生成コア部２１０は、この要求信号（Ｄ７、Ｄ８又はＤ９）が配信要求を表す場合には、記憶されている映像データ片の読み出し促す制御信号Ｄ１０を、ローカルストレージ部２１１に供給する。

ローカルストレージ部２１１は、レコード部入力データＤ１１Ｘによって表される各ピクチャに対応した映像データ片を取り込んで記憶しつつ、制御信号Ｄ１０及びレコード部入力データＤ１１Ｘ（Ｄ６Ｙ）を受け、当該制御信号Ｄ１０に応じて、記憶した映像データ片の読出又は削除を行う。つまり、ローカルストレージ部２１１は、制御信号Ｄ１０が映像データの読み出しを表す場合には、記憶した映像データ片を順次読み出し、これをレコード部出力データＤ１１Ｙとして出力する。また、ローカルストレージ部２１１は、制御信号Ｄ１０が映像データ片の削除を表す場合には、記憶したレコード部入力データＤ１１Ｘの一部又は全てを削除する。

よって、拡張ストリーム生成部Ｕ３ａは、少なくとも１つの要求信号（Ｄ７〜Ｄ９）が配信要求を表す場合に、ローカルストレージ部２１１に記憶されている、ＲＯＩピクチャ、又はＲＯＩピクチャを含む周辺のピクチャ群を表す映像データ片を読み出す。そして、拡張ストリーム生成部Ｕ３ａは、当該映像データ片の系列を含む拡張ストリーム信号Ｆ２を生成し、これを伝送路Ｌ２を介して拡張ストリーム蓄積部１１５に供給（配信）する。

ここで、上記した動作モード選択信号Ｅ４とは、例えば映像符号化装置Ｘ１がコアストリーム信号Ｆ１及び拡張ストリーム信号Ｆ２のうちのどちらを伝送するのかを指定する為の信号である。

例えば、日中の時間帯はコアストリーム信号Ｆ１のみを伝送し、夜間の時間帯は、日中の時間帯でローカルストレージ部２１１に記憶しておいた拡張ストリーム信号Ｆ２のみを伝送するという動作を想定する。この際、動作モード選択信号Ｅ４は、日中モード及び夜間モードのうちの一方を示す信号となる。すなわち、動作モード選択信号Ｅ４が日中モードを示す場合には、外部要求受付部２０８は、拡張ストリーム制御信号生成コア部２１０に対して外部要求信号Ｄ８を供給しない。また、動作モード選択信号Ｅ４が夜間モードを示す場合には、外部要求受付部２０８は、ローカルストレージ部２１１に記憶されている映像データの配信を要求する外部要求信号Ｄ８を拡張ストリーム制御信号生成コア部２１０に供給する。

また、映像処理システムＺが例えば電池からの給電によって駆動されている時はコアストリーム信号Ｆ１のみを伝送し、電源装置からの給電時は、拡張ストリーム信号Ｆ２を伝送するという動作を想定する。この際、動作モード選択信号Ｅ４は、電池モード及び給電モードのうちの一方を示す信号となる。すなわち、動作モード選択信号Ｅ４が電池モードを示す場合には、外部要求受付部２０８は、拡張ストリーム制御信号生成コア部２１０に対して外部要求信号Ｄ８を供給しない。また、動作モード選択信号Ｅ４が夜間モードを示す場合には、外部要求受付部２０８は、ローカルストレージ部２１１に記憶されている映像データ片の配信を要求する外部要求信号Ｄ８を拡張ストリーム制御信号生成コア部２１０に供給する。

例えば、可搬型の監視カメラを含むモバイル映像監視システムや、ドローンに搭載の映像監視システムに本機能を適用すると、早期の映像監視と、広範囲に亘る高解像度な証拠映像の蓄積と、の両立を図ることが可能となる。

尚、本実施例の場合、拡張ストリーム信号Ｆ２は電源装置からの給電時にのみ伝送されることが一つの利用例として想定される。よって、例えば、給電方法としてＰｏＥ（Power over Ethernet）給電を採用した場合には、コアストリーム信号Ｆ１を電池駆動時に無線伝送する。この際、拡張ストリーム信号Ｆ２を、給電用の有線配線を介して伝送しても良い。

ところで、前者（日中モード、夜間モード）の動作例では、夜間にはコアストリーム信号Ｆ１の出力を停止することが望ましい。よって、図４に示す構成では、このような動作を想定し、動作モード選択信号Ｅ４をエンコーダ部Ｕ１にも供給している。これにより、動作モード選択信号Ｅ４が夜間モードを示す場合、エンコーダ部Ｕ１は、例えばコアストリーム信号Ｆ１の出力を停止する。

ただし、かかる構成及び動作モード選択信号Ｅ４による制御の有無は利用シーンによって適宜設定される。よって、このような構成及び制御を必ずしも実施しなくても良い。

上述では、図５に示すローカルレコード部Ｕ４はローカルストレージ部２１１と拡張ストリーム制御信号生成部Ｕ５を含むものとして説明した。ここで、ローカルストレージ部２１１と拡張ストリーム制御信号生成部Ｕ５を別体の装置として設けてもよい。さらに、例えば図４における映像符号化装置Ｘ１の内部にローカルストレージ部２１１を設け、映像符号化装置Ｘ１の外部に拡張ストリーム制御信号生成部Ｕ５を設けるようにしてもよい（図示せず）。この場合、ローカルストレージ部２１１はレコード部入力データＤ１１Ｘによって表される各ピクチャに対応した映像データ片を取り込んで記憶し、映像符号化装置Ｘ１の外部に設けられる拡張ストリーム制御信号生成部Ｕ５から制御信号Ｄ１０を受けると、当該制御信号Ｄ１０に応じて、記憶した映像データ片の読出又は削除を行う。

図６は、映像利用装置Ｘ３の内部構成を示すブロック図である。図６に示すように、映像利用装置Ｘ３は、コアストリームデコード部２１６、ピクチャイベント検出部２１７、映像表示部Ｕ６、外部イベント受付部２１９、及び利用側要求生成部２２０を含む。

コアストリームデコード部２１６は、上記したコアストリーム信号Ｆ１を受け、このコアストリーム信号Ｆ１を復号して得られた信号を、コアピクチャ信号Ｄ１６としてピクチャイベント検出部２１７及び映像表示部Ｕ６に供給する。

ピクチャイベント検出部２１７は、コアピクチャ信号Ｄ１６に所定の画像処理を施すことにより、コアピクチャ信号Ｄ１６によって表されるピクチャの系列中から、監視を行う上で重要となるイベントが表されているピクチャを検出する。そして、ピクチャイベント検出部２１７は、当該イベントに関わる時刻のタイムスタンプが付されている少なくとも１つのピクチャの配信、及び必要に応じてその配信後の削除を要求するピクチャイベント信号Ｄ１７を生成し、これを利用側要求生成部２２０に供給する。

映像表示部Ｕ６は、ＵＩ（User Interface）イベント受付部２１８、拡張ストリームデコード部２２１、及びピクチャ表示コア部２２２を含む。

ＵＩイベント受付部２１８は、ＵＩ入力情報Ｅ５を受け付け、当該ＵＩ入力情報Ｅ５に基づくＵＩイベント信号Ｄ１８を生成し、これを利用側要求生成部２２０に供給する。尚、ＵＩ入力情報Ｅ５とは、例えばユーザ（利用者）が映像表示部Ｕ６に対して映像の一時停止、又は所定時間前からの映像の再生を指示する操作情報である。

拡張ストリームデコード部２２１は、拡張ストリーム信号Ｆ２を復号して得られた信号を、拡張ピクチャ信号Ｄ２１としてピクチャ表示コア部２２２に供給する。

ピクチャ表示コア部２２２は、コアピクチャ信号Ｄ１６又は拡張ピクチャ信号Ｄ２１を、ディスプレイ装置（図示せず）が受付可能な信号フォーマットを有する表示ピクチャ信号Ｇ１に変換し、これを当該ディスプレイ装置に供給する。

外部イベント受付部２１９は、外部入力情報Ｅ６を受け付け、当該外部入力情報Ｅ６に基づきローカルストレージ部２１１に記憶されている映像データの配信又は削除を要求する外部イベント信号Ｄ１９を生成し、これを利用側要求生成部２２０に供給する。

利用側要求生成部２２０は、ピクチャイベント信号Ｄ１７、ＵＩイベント信号Ｄ１８、及び外部イベント信号Ｄ１９のうちの少なくとも１つのイベント信号を受けた場合に、当該イベント信号に基づく利用側要求信号Ｄ２０を生成する。利用側要求生成部２２０は、利用側要求信号Ｄ２０をローカルレコード部Ｕ４のシステム間要求受付部２０９に供給する。

尚、上記した各イベント信号（Ｄ１７、Ｄ１８、Ｄ１９）には、例えばイベントの発生時刻、或いは当該時刻のタイムスタンプが付されている映像データに施す制御の時間長等を示す情報が含まれているものとする。

以下に、図４〜図６に示される構成の具体的な動作について図７及び図８に示される映像処理フローに沿って説明する。

先ず、拡張ストリーム生成部Ｕ３ａの拡張ストリーム選別部１０６が、ＲＯＩ情報Ｄ２に基づき、選別部入力データＤ６Ｘによって表されるピクチャの系列中から特定のピクチャを選出し、選出した特定のピクチャの系列を表す選別部出力データＤ６Ｙを生成する（ステップＳ６）。尚、かかるステップＳ６での詳細な動作については、前述した図２のステップＳ６での動作と同様であるので、その説明は省略する。

次に、ローカルレコード部Ｕ４の拡張ストリ一ム制御信号生成部Ｕ５が、映像符号化装置Ｘ１の内部又は外部からの配信又は削除の要求に基づき、当該要求の内容に対応した制御信号Ｄ１０を生成する（ステップＳ１０）。

以下に、ローカルストレージ部２１１に記憶されている映像データ片の削除が有効に働く典型的な事例Ａ及び事例Ｂを示す。

事例Ａ：ローカルストレージ部２１１からの映像データ片の読み出し終了後、拡張ストリーム制御信号生成部Ｕ５は、この読み出し対象となった映像データ片、又はこの映像データ片よりも前の時刻のタイムスタンプが付されている映像データ片の削除を要求する制御信号Ｄ１０を生成する。この際、映像処理システムＺが映像蓄積装置Ｘ２を備えているので、ローカルストレージ部２１１に記憶されている映像データの一部を削除しても大きな問題は生じない。よって、上記した削除処理によれば、ローカルストレージ部２１１の空き容量を確保することが可能となる。換言すると、ローカルストレージ部２１１として記憶容量が小なるものを採用することが可能となる、或いはローカルストレージ部２１１に長期間の映像データを蓄積することが可能となる。

事例Ｂ：ピクチャイベント検出部２１７で監視対象とするイベントを例えば人の異常行動とする。この際、拡張ストリ一ム制御信号生成部Ｕ５は、ピクチャ内に人の異常行動シーンが表れるという異常事態が生じていない時間帯のタイムスタンプが付されている映像データ片の削除を促す制御信号Ｄ１０を生成する。これにより、ローカルストレージ部２１１の空き容量を確保することが可能となる。よって、ローカルストレージ部２１１として記憶容量が小なるものを採用することが可能となる、或いはローカルストレージ部２１１に長期間の映像データを蓄積することが可能となる。

尚、事例Ｂを実現する他の方法として、先ず、ピクチャイベント検出部２１７が、例えば人の異常行動シーンが表れる映像データ片の系列に対応付けして保持フラグを付加したピクチャイベント信号Ｄ１７を生成する。そして、拡張ストリ一ム制御信号生成部Ｕ５は、この保持フラグが付加されていない映像データ片に対して削除を促す制御信号Ｄ１０を生成する。このような方法を採用した場合にも結果として、拡張ストリ一ム制御信号生成部Ｕ５は、異常事態が発生していない時刻のタイムスタンプが付されている映像データ片の削除を要求することになる。

また、新規映像データチェック部２０７が、未読出の新規な映像データ片がローカルストレージ部２１１に記憶されている場合には、この新規な映像データ片の配信要求を表し、その配信対象となった映像データ片の読み出し終了後にこの映像データ片の削除を要求する内部要求信号Ｄ７を生成しても良い。

また、外部要求受付部２０８が、例えば夜間の時間帯に、日中の時間帯でローカルストレージ部２１１に記憶しておいた映像データ片の配信を要求し、その配信後に当該映像データ片の削除を要求する外部要求信号Ｄ８を生成しても良い。

上記ステップＳ１０の実行後、ローカルレコード部Ｕ４のローカルストレージ部２１１が、レコード部入力データＤ１１Ｘ（Ｄ６Ｙ）によって表される各ピクチャに対応した映像データ片を順次記憶しつつ、制御信号Ｄ１０に基づき、記憶した映像データ片を削除又はレコード部出力データＤ１１Ｙとして読み出す（ステップＳ１１）。

尚、配信要求の対象となる映像データ片に対応するアクセスユニットが、その復号時に、他のアクセスユニットを必要とする場合には、ローカルストレージ部２１１は必要なアクセスユニットに対応した全ての映像データ片を読み出す。

また、ローカルストレージ部２１１では、前述したようにレコード部入力データＤ１１Ｘを取り込む際にトランスコードを行っても良い。また、ローカルストレージ部２１１では、記憶された映像データ片を読み出す際にトランスコードを行っても良い。そのため、前述したように、必要となるアクセスユニットを全て読み出すことが必須となるが、トランスコードを実施することで、要求された時刻に対応するピクチャ、或いはＲＯＩを含まない参照ピクチャのような不要なピクチャを除いたピクチャ群のみをレコード部出力データＤ１１Ｙとして出力できるようになる。

上記したステップＳ１１の実行により、拡張ストリーム生成部Ｕ３ａは、レコード部出力データＤ１１Ｙを含む拡張ストリーム信号Ｆ２を生成し、これを伝送路Ｌ２を介して映像蓄積部Ｘ２の拡張ストリーム蓄積部１１５に供給する。

かかるステップＳ１１の実行後、拡張ストリーム蓄積部１１５が拡張ストリーム信号Ｆ２を蓄積する（ステップＳ１５）。

次に、映像利用装置Ｘ３のコアストリームデコード部２１６が、映像符号化装置Ｘ１から供給されたコアストリームＦ１を復号してコアピクチャ信号Ｄ１６を生成する（ステップＳ１６）。尚、復号のアルゴリズムは、エンコーダコア部４０４における画像符号方式に対応したものを採用する。

次に、映像利用装置Ｘ３のピクチャイベント検出部２１７が、コアピクチャ信号Ｄ１６によって表されるピクチャの系列中から、監視を行う上で重要となるイベントが表されているピクチャを検出する。そして、ピクチャイベント検出部２１７は、当該イベントの検出結果に基づき、ピクチャイベント信号Ｄ１７を生成する（ステップＳ１７）。

例えば、ピクチャイベント検出部２１７は、コアピクチャ信号Ｄ１６に基づき、人が異常な行動を起こすシーンがピクチャ内に表れる、いわゆる異常事態の発生を示すイベントが表されているピクチャを検出する。

また、ピクチャイベント検出部２１７は、コアピクチャ信号Ｄ１６に基づき、ピクチャ内に人の顔が含まれており、且つその顔のピクチャ内でのサイズが所定のサイズよりも大きい、或いはその人の顔が正面を向いている等の、いわゆる証拠映像としての価値が高いイベントが表されているピクチャを検出する。つまり、ピクチャイベント検出部２１７は、当該イベントの発生時刻からこのイベントが終了する時刻までの間のタイムスタンプが付されているピクチャを検出する。また、ピクチャイベント検出部２１７は、当該イベントの発生時刻から所定時間が経過した時刻までの間のタイムスタンプが付されているピクチャを検出する。

ピクチャイベント検出部２１７は、上記したイベントを検出したら、このイベントに関わる時刻のタイムスタンプが付されている少なくとも１つのピクチャの配信、及び必要に応じてその配信後の削除を要求するピクチャイベント信号Ｄ１７を生成する。

次に、映像利用装置Ｘ３のＵＩイベント受付部２１８が、ユーザ（利用者）による操作部（図示せず）の操作によって生成されたＵＩ入力情報Ｅ５を受け付け、当該ＵＩ入力情報Ｅ５に基づくＵＩイベント信号Ｄ１８を生成する（ステップＳ１８）。

尚、ＵＩ入力情報Ｅ５とは、例えば、利用者が映像表示部Ｕ６に接続されているディスプレイ装置（図示せず）にて映像の監視を行っている際に、異常行動等の何らかの注視すべきシーンに気づいたときに行う、例えば映像の一時停止操作、又は所定時間前からの再生操作を表す操作情報である。

よって、例えば映像の一時停止操作を表すＵＩ入力情報Ｅ５を受けると、ＵＩイベント受付部２１８は、その一時停止操作された時刻のタイムスタンプが付されているピクチャまたは当該ピクチャの周辺のピクチャ群の配信を要求するＵＩイベント信号Ｄ１８を生成する。

また、例えばイベント発生時刻よりも所定時間前の時刻から映像の再生を促す操作を表すＵＩ入力情報Ｅ５を受けたときには、ＵＩイベント受付部２１８は、以下のＵＩイベント信号Ｄ１８を生成する。

すなわち、ＵＩイベント受付部２１８は、イベントの発生時刻から所定時間前の時刻を示すタイムスタンプが付されているピクチャの配信を要求するＵＩイベント信号Ｄ１８を生成する。また、ＵＩイベント受付部２１８は、イベントの発生時刻から所定時間前の時刻を示すタイムスタンプが付されているピクチャに後続するピクチャ群の配信を要求するＵＩイベント信号Ｄ１８を生成する。尚、当該ピクチャ群とは、例えばイベントの発生時刻から所定時間前の時刻から、任意の時刻（例えば映像の再生を促す操作を受け付けた時刻）までの間の時刻を示すタイムスタンプが付されている少なくとも２つのピクチャである。

映像利用装置Ｘ３の外部イベント受付部２１９は、映像符号化装置Ｘ１の外部に設置されている機器から出力された外部入力情報Ｅ６を受け付け、外部入力情報Ｅ６に基づく外部イベント信号Ｄ１９を生成する（ステップＳ１９）。

例えば、外部イベント受付部２１９は、映像符号化装置Ｘ１の外部に設置されているセンサ（図示せず）が自身の検知対象とするイベントを検知したか否かを表す外部入力情報Ｅ６を受け付ける。尚、以降、センサがイベントを検知している状態をアクティブ状態、イベントを検知していない状態を非アクティブ状態と表現する。

外部イベント受付部２１９は、ローカルストレージ部２１１に記憶されている映像データ片の系列のうちで、外部入力情報Ｅ６がアクティブ状態を示しているときの映像データ片の配信を要求する外部イベント信号Ｄ１９を生成する。また、外部イベント受付部２１９は、ローカルストレージ部２１１に記憶されている映像データ片の系列のうちで、外部入力情報Ｅ６が非アクティブ状態を示しているときの映像データ片の削除を要求する外部イベント信号Ｄ１９を定期的に生成する。

上記したステップＳ１７〜Ｓ１９の終了後、利用側要求生成部２２０が、映像利用装置Ｘ３の内部で発生したイベント信号（Ｄ１７〜Ｄ１９）に基づき、ローカルストレージ部２１１に記憶されている映像データ片の配信又は削除を要求する利用側要求信号Ｄ２０を生成する（ステップＳ２０）。

次に、映像利用装置Ｘ３の拡張ストリームデコード部２２１が、映像符号化装置Ｘ１から供給された拡張ストリーム信号Ｆ２を復号して、拡張ピクチャ信号Ｄ２１を生成する（ステップＳ２１）。

そして、映像利用装置Ｘ３のピクチャ表示コア部２２２が、コアピクチャ信号Ｄ１６又は拡張ピクチャ信号Ｄ２１に基づきディスプレイ装置が受付可能な信号フォーマットを有する表示ピクチャ信号Ｇ１を生成する（ステップＳ２２）。ピクチャ表示コア部２２２は、かかる表示ピクチャ信号Ｇ１をこのディスプレイ装置に供給することにより、表示ピクチャ信号Ｇ１に対応した画像を表示させる。

ピクチャ表示コア部２２２は、例えば以下の方法Ａ又は方法Ｂに従って表示ピクチャ信号Ｇ１を生成する。

方法Ａ：ピクチャ表示コア部２２２は、拡張ピクチャ信号Ｄ２１を受けた場合には当該拡張ピクチャ信号Ｄ２１に基づき表示ピクチャ信号Ｇ１を生成し、その他の場合はコアピクチャ信号Ｄ１６に基づき表示ピクチャ信号Ｇ１を生成する。

方法Ｂ：先ず、映像表示部Ｕ６内でＲＯＩ設定部４０２と同様な方法でＲＯＩの有無を判定する。或いは、ＲＯＩ情報Ｄ２をコアストリーム信号Ｆ１又は拡張ストリーム信号Ｆ２に多重化してピクチャ表示コア部２２２に供給し、コアストリーム信号Ｆ１又は拡張ストリーム信号Ｆ２からＲＯＩ情報Ｄ２を抽出することによりＲＯＩの有無を判定する。ここで、ピクチャ表示コア部２２２は、拡張ピクチャ信号Ｄ２１を受けた場合には、この拡張ピクチャ信号Ｄ２１中のＲＯＩピクチャに基づいて表示ピクチャ信号Ｇ１を生成し、その他の場合はコアピクチャ信号Ｄ１６に基づき表示ピクチャ信号Ｇ１を生成する。

つまり、方法Ｂでは、本来、ＲＯＩピクチャを復号する為に含まれている参照ピクチャを省いた拡張ピクチャ信号Ｄ２１に基づき表示ピクチャ信号Ｇ１が生成される。

尚、ピクチャ表示コア部２２２がどの時刻のタイムスタンプが付されているピクチャを表示するのかを、ユーザの指定によって設定しても良い。

また、図７及び図８では、ステップ毎に順にそのステップでの処理を実行しているが、例えば、映像蓄積装置Ｘ２に関する処理と映像利用装置Ｘ３に関する処理とを並列に実行しても良い。例えば、ピクチャイベント検出部２１７、ＵＩイベント受付部２１８、外部イベント受付部２１９、拡張ストリームデコード部２２１及びピクチャ表示コア部２２２に関する各処理を並列に実行しても良い。

以上のように、図４〜図６に示される映像処理システムＺでは、拡張ストリーム選別部１０６で生成された特定ピクチャの系列を表す選別部出力データＤ６Ｙを、一旦、ローカルレコード部Ｕ４のローカルストレージ部２１１に記憶させる。そして、ローカルストレージ部２１１に記憶されている特定ピクチャの系列に対応した映像データ片の系列のうちから所望の映像データ片のみを必要時にのみ読み出し、拡張ストリーム信号Ｆ２として拡張ストリーム蓄積部１１５に蓄積させる。

これにより、図１に示す構成と同様に、ＲＯＩが含まれるような注目する映像シーンを表示させる場合には、拡張ストリーム蓄積部１１５に蓄積されている非符号化映像データを用いれば、品質の高い映像を提供することが可能となる。

また、図４〜図６に示される構成によれば、図１に示す構成のように選別部出力データＤ６Ｙを常に拡張ストリーム信号Ｆ２として拡張ストリーム蓄積部１１５に蓄積させる場合に比べて、伝送路Ｌ２でのデータ伝送量及び拡張ストリーム蓄積部１１５の記憶容量を抑えることが可能となる。

更に、図４〜図６に示される構成によれば、コアストリーム信号Ｆ１が蓄積されているコアストリーム蓄積部４１４に対して、外部イベント受付部２１９を用いて検索を行い、その検索結果に基づいて配信要求を行うことも可能となる。例えば、外部イベント受付部２１９は、検索の鍵となる画像を検索情報を表す外部入力情報Ｅ６を受け付け、コアストリーム蓄積部４１４に蓄積されている映像データ中から、外部入力情報Ｅ６にて示される画像と類似する部分を含む映像データ片を検索する。

検索処理は負荷の高い処理であり、映像符号化装置Ｘ１を実装した装置上では困難な場合も想定される。しかしながら、映像利用装置Ｘ３を映像符号化装置Ｘ１と異なる装置上で実装することで負荷を分散しつつ、この検索によってユーザ（利用者）が確認した注目するシーンの映像を高画質な状態で取得することが可能となる。この際、コアストリーム信号Ｆ１は、ＲＯＩを高品質な状態で圧縮符号化して得られたものであるから、例えば顔領域のような注目する領域を含むピクチャを精度良く検索することが可能となる。

尚、図４に示す実施例において、エンコーダ部Ｕ１に含まれるＲＯＩ設定部４０２を省き、エンコーダ部Ｕ１が常に入力ピクチャ信号Ｄ１にて表される各ピクチャの全体を低画質で圧縮符号化する構成であっても良い。

また、エンコーダ部Ｕ１は、入力ピクチャ信号Ｄ１にて表される各ピクチャ内において背景領域をＲＯＩよりも少ないビット数で圧縮しても良いし、又はそれ以外の方法で圧縮しても良い。或いは、エンコーダ部Ｕ１は、入力ピクチャ信号Ｄ１を縮小後に圧縮するようにしても良い。このように、エンコーダ部Ｕ１が入力ピクチャ信号Ｄ１を縮小後に圧縮することで、コアストリーム信号Ｆ１のデータ量が削減されると共に圧縮に掛かる演算量も低減する。この際、コアストリーム信号Ｆ１に関しては、映像の品質が低下することになるが、本実施例によれば、必要に応じて後で、拡張ストリーム信号Ｆ２を復号することにより高品質な映像を取得することができる。なお、縮小後に圧縮することは、常にピクチャ全体を低画質で圧縮する方法の一手段とみなすこともできる。

また、内部要求信号Ｄ７、外部要求信号Ｄ８、利用側要求信号Ｄ２０、システム間要求信号Ｄ９、又は制御信号Ｄ１０により、ローカルストレージ部２１１に蓄積されている映像データ（Ｄ６Ｙ、Ｄ１１Ｘ）の配信又は削除を要求するあたり、映像データのうちのどの部分を配信又は削除するのかを指定する方法として、時刻を用いても良い。例えば、データ間の同期を取る為のタイムスタンプ等を、所定の規則に従って時刻と対応付けして示す情報を、内部要求信号Ｄ７、外部要求信号Ｄ８、利用側要求信号Ｄ２０、システム間要求信号Ｄ９、又は制御信号Ｄ１０に含ませる。ローカルストレージ部２１１には、データの同期を取れるようにするためのタイムスタンプ等の情報を映像データと共に蓄積する。

ここで、制御信号Ｄ１０が、ローカルストレージ部２１１に蓄積されていない映像データに対する制御（例えば存在しない時刻のタイムスタンプが付されている映像データの配信又は削除要求）を示す場合には、ローカルストレージ部２１１は、その制御を無視する。

また、図４〜図６に示す実施例では、映像処理システムＺが映像蓄積装置Ｘ２を含む構成を示しているが、映像符号化装置Ｘ１はローカルレコード部Ｕ４を含んでおり、当該映像符号化装置Ｘ１がストレージ機能を備えていることから、映像蓄積装置Ｘ２を省いても良い。この際、ローカルレコード部Ｕ４に、拡張ストリーム信号Ｆ２と共にコアストリーム信号Ｆ１を蓄積する機能を設ける。

また、ローカルレコード部Ｕ４は、内部要求信号Ｄ７又は外部要求信号Ｄ８に基づき、特定ピクチャの系列のうちの所望の特定ピクチャを表す拡張ストリーム信号Ｆ２が映像蓄積装置Ｘ２に蓄積される。よって、図４に示される構成において、映像利用装置Ｘ３を省くことも可能である。

また、図４に示す一例では、映像符号化装置Ｘ１が、拡張ストリーム選別部１０６及びローカルレコード部Ｕ４を共に備えているが、拡張ストリーム選別部１０６を省いても良い。この際、映像符号化装置Ｘ１内ではローカルレコード部Ｕ４が、入力ストリーム信号Ｅ１をレコード部入力データＤ１１Ｘとして受け、レコード部出力データＤ１１Ｙを拡張ストリーム信号Ｆ２として伝送路Ｌ２に出力する。

また、ローカルストレージ部２１１は、拡張ストリーム選別部１０６と同様に上記したトランスコードを行っても良い。この際、ローカルストレージ部２１１では、レコード部入力データＤ１１Ｘを記憶するとき、或いは、記憶した映像データ片を読み出しこれをレコード部出力データＤ１１Ｙとして出力するときにトランスコードを行う。例えば、レコード部入力データＤ１１Ｘが、Ｉ４２０、ＲＧＢ、ＪＰＥＧ等のようにデータ量が比較的大きいデータフォーマットを採用している場合には、これを、データ量が比較的小さくなるデータフォーマットにトランスコードする。

尚、ローカルストレージ部２１１が、レコード部入力データＤ１１Ｘ（Ｄ６Ｙ）に対して、参照ピクチャを用いずにＲＯＩを含むピクチャを復号可能なフォーマットにトランスコードする場合には、拡張ストリーム選別部１０６と同様にＲＯＩ情報Ｄ２が必要となる。そこで、図４に示すように、ＲＯＩ設定部４０２が直接、ＲＯＩ情報Ｄ２をロ一カルストレージ部２１１に供給する。又は、映像符号化装置Ｘ１がＲＯＩ情報Ｄ２を含む選別部出力データＤ６Ｙをローカルストレージ部２１１に供給する。

また、図５に示す一例では、拡張ストリーム制御信号生成部Ｕ５は、新規映像データチェック部２０７、外部要求受付部２０８、及びシステム間要求受付部２０９からの３系統の要求信号（Ｄ７、Ｄ８、Ｄ９）を受け付けている。しかしながら、拡張ストリーム制御信号生成部Ｕ５は、少なくとも１つの要求信号を受け付け可能な構成であれば良い。例えば、新規映像データチェック部２０７、外部要求受付部２０８、及びシステム間要求受付部２０９のうちの１つ又は２つを省いても良い。

また、図６に示す一例では、映像利用装置Ｘ３は、ピクチャイベント検出部２１７、ＵＩイベント受付部２１８、及び外部イベント受付部２１９からの３系統のイベント信号（Ｄ１７、Ｄ１８、Ｄ１９）を受け付けている。しかしながら、映像利用装置Ｘ３は、少なくとも１つのイベント信号を受け付け可能な構成であれば良い。例えば、ピクチャイベント検出部２１７、ＵＩイベント受付部２１８、及び外部イベント受付部２１９のうちの１つ又は２つを省いても良い。

また、映像処理システムＺが映像蓄積装置Ｘ２、或いはコアストリーム信号Ｆ１及び拡張ストリーム信号Ｆ２を記憶、蓄積及び再生する手段を備えていれば、映像利用装置Ｘ３は、映像表示部Ｕ６を備えていなくても良く、これを省いても良い。

また、映像利用装置Ｘ３としては、ピクチャイベント検出部２１７、ＵＩイベント受付部２１８、外部イベント受付部２１９、及び利用側要求生成部２２０を省いた構成であっても良い。

また、外部要求受付部２０８は、映像処理システムＺの外部に設置されているセンサで検知されたセンサ情報を受け付け、当該センサ情報に基づき、ローカルストレージ部２１１に蓄積されている映像データの配信又は削除を要求する外部要求信号Ｄ８を生成しても良い。同様に、外部イベント受付部２１９は、当該センサ情報に基づき、ローカルストレージ部２１１に蓄積されている映像データの配信又は削除を要求する外部イベント信号Ｄ１９を生成しても良い。

例えば、映像処理システムＺの外部に設置されているセンサは、門、金庫、機密情報を保存した精樒機器等に設置された開閉センサ又は起動センサ等である。また、センサ情報とは、例えば門又は金庫が開いた状態、或いは機密情報に掛けてある鍵が開いた状態（以下、アクティブ状態と称する）にあるのか、或いは閉じた状態（以下、非アクティブ状態と称する）にあるのかを示す情報である。この際、例えば外部イベント受付部２１９は、センサ情報がアクティブ状態を示している間は、映像データの配信を要求する外部イベント信号Ｄ１９を利用側要求生成部２２０に供給する。また、センサ情報が非アクティブ状態を示している間は、外部イベント受付部２１９は、映像データの削除を促す外部イベント信号Ｄ１９を利用側要求生成部２２０に供給する。

尚、外部イベント受付部２１９は、センサ情報が非アクティブ状態からアクティブ状態を示す状態に遷移した時点から、所定期間が経過した時点までの間に亘り、映像データの配信を要求する外部イベント信号Ｄ１９を利用側要求生成部２２０に供給しても良い。或いは、センサ情報が非アクティブ状態からアクティブ状態を示す状態に遷移した時点から、非アクティブ状態を示す状態に遷移し、そこから所定の一定期間が経過した時点までの間に亘り、外部イベント受付部２１９が、映像データの配信を要求する外部イベント信号Ｄ１９を利用側要求生成部２２０に供給しても良い。

また、外部イベント受付部２１９は、例えばコアストリーム蓄積部４１４に蓄積されている映像データ中から、外部入力情報Ｅ６によって示される検索情報に基づき映像を検索し、検索した映像データ片のみを配信させる外部イベント信号Ｄ１９を生成しても良い。

この際、ローカルストレージ部２１１に蓄積されている映像データのうちで、検索によって導出された時刻または当該時刻周辺の時刻を含む一連の時刻のタイムスタンプが付されている映像データ片の配信を要求するように動作しても良い。かかる機能を表現するために、図４及び図６に示すように、外部イベント受付部２１９とコアストリーム蓄積部４１４とが接続されている。尚、上記したような検索に基づく外部イベント信号Ｄ１９の生成は、外部イベント受付部２１９の動作の一例であるため、外部イベント受付部２１９の動作によっては、本接続は不要となる。

要するに、映像利用装置Ｘ３は、例えば映像処理システムＺの外部に設置されたセンサによるセンサ情報、利用者による映像の検索情報又は操作情報、或いはコアストリーム信号によって表される映像情報を受け付け、これらセンサ情報、検索情報、操作情報、又は映像情報に基づき、配信要求又は削除要求を示す利用側要求信号Ｄ２０を生成しても良い、
また、図５に示すローカルストレージ部２１１として、外部装置としての読み出し可能な記憶媒体（例えば、可搬型のフラッシュメモリ又はハードディスク装置）を採用しても良い。これにより、ローカルレコード部Ｕ４は、レコード部出力データＤ１１Ｙの配信機能（例えばネットワーク等への送信機能）を備えていなくても良くなる。この場合、可搬型のフラッシュメモリやハードディスク等に蓄積された映像データを、パーソナルコンピュータ等の外部装置を用いて読み出すことで映像データを取得する。

図４〜図６に示す構成によれば、上述したような映像データ片の削除を要求することが可能である。また、拡張ストリーム選別部１０６を備えていれば、当該拡張ストリーム選別部１０６によって映像データの選別（ＲＯＩを含むピクチャ又はそのピクチャの周辺ピクチャ群の選出）が為されることは、前述した通りである。

図９は、本発明に係る第３の実施例による映像処理システムＺの構成を示すブロック図である。尚、図９に示す構成では、コアストリーム出力部４０５に代えてコアストリーム出力部４０５ａを採用し、拡張ストリーム生成部Ｕ３ａに代えて拡張ストリーム生成部Ｕ３ｂを採用した点を除く他の構成は、図４に示されるものと同一である。

よって、以下に、コアストリーム出力部４０５ａ及び拡張ストリーム生成部Ｕ３ｂを中心に、構成及び動作を説明する。

コアストリーム出力部４０５ａは、前述したコアストリーム出力部４０５の機能に加えて、コアストリーム信号Ｆ１のビットレートを測定するビットレート測定機能を備える。コアストリーム出力部４０５ａは、測定したコアストリーム信号Ｆ１のビットレートを表すコアビットレート信号Ｄ５を、拡張ストリーム生成部Ｕ３ｂに供給する。

拡張ストリーム生成部Ｕ３ｂは、図４に示される拡張ストリーム選別部１０６及びローカルレコード部Ｕ４と共に、ビットレート調整部としての使用帯域調整部３１２及びデータ平滑化部３１３を含む。

使用帯域調整部３１２は、ビットレート容量信号Ｅ２、実測ビットレート信号Ｅ３、及びコアビットレート信号Ｄ５を受ける。

尚、ビットレート容量信号Ｅ２は、映像符号化装置Ｘ１の外部より与えられ、ビットレートの目標値を示す信号である。当該目標値は、例えば映像蓄積装置Ｘ２の記憶容量及び蓄積したデータの保存期間、或いはネットワーク回線の周波数帯域に基づいて設定される。実測ビットレート信号Ｅ３は、映像符号化装置Ｘ１、或いは映像符号化装置Ｘｌを含むシステムの実際の出力ビットレートを示すものであり、例えばコアストリーム信号Ｆ１のビットレートと拡張ストリーム信号Ｆ２のビットレートとを足し合わせたものである。実測ビットレート信号Ｅ３もビットレート容量信号Ｅ２と同様に、映像符号化装置Ｘ１の外部から与えられた信号である。尚、実測ビットレート信号Ｅ３としては、ＯＳ（Operating System）の統計情報によって推測されたビットレート、或いはビットレートを計測する装置によって実測されたビットレートを示すものであっても良い。

使用帯域調整部３１２は、ビットレート容量信号Ｅ２、実測ビットレート信号Ｅ３、及びコアビットレート信号Ｄ５に基づき、ターゲットビットレート信号Ｄ１２Ａ及び平滑化ビットレート信号Ｄ１２Ｂを生成する。使用帯域調整部３１２は、ターゲットビットレート信号Ｄ１２ＡをＲＯＩエンコーダ部Ｕ２に供給し、平滑化ビットレート信号Ｄ１２Ｂをデータ平滑化部３１３に供給する。

データ平滑化部３１３は、ローカルレコード部Ｕ４から出力されたレコード部出力データＤ１１Ｙを平滑化部入力データＤ１３Ｘとして受ける。データ平滑化部３１３は、平滑化部入力データＤ１３Ｘの値を平滑化し、且つそのビットレートを平滑化ビットレート信号Ｄ１２Ｂに基づくビットレートに変換した平滑化部出力データＤ１３Ｙを生成し、これを出力する。

拡張ストリーム生成部Ｕ３ｂは、平滑化部出力データＤ１３Ｙを含む拡張ストリーム信号Ｆ２を生成し、これを伝送路Ｆ２を介して拡張ストリーム蓄積部１１５に供給（配信）する。

以下に、図９に示される構成の具体的な動作について、図１０に示される映像処理フローに沿って説明する。

尚、図１０に示される映像処理に示されるステップＳ６、Ｓ１０、Ｓ１１の動作は、前述した図７に示されるステップＳ６、Ｓ１０、Ｓ１１と同一であるので、図１０に示すステップＳ６、Ｓ１０、Ｓ１１各々での動作説明は省略する。

図１０に示すステップＳ１１に引き続き、使用帯域調整部３１２が、ビットレート容量信号Ｅ２、実測ビットレート信号Ｅ３、及びコアビットレート信号Ｄ５に基づき、ターゲットビットレート信号Ｄ１２Ａ、又は平滑化ビットレート信号Ｄ１２Ｂ、或いは両者を共に生成する（ステップＳ１２）。使用帯域調整部３１２によるターゲットビットレート信号Ｄ１２Ａ、及び平滑化ビットレート信号Ｄ１２Ｂの生成動作について、以下の変数を用いて説明する。

Cap:ビットレート容量信号Ｅ２
Obs:実測ビットレート信号Ｅ３（コアビットレート＋拡張ビットレート）
Cor:コアビットレート信号Ｄ５
Bit: ターゲットビットレート信号Ｄ１２Ａ
Smo:平滑化ビットレート信号Ｄ１２Ｂ
Thr:ゼロ以上の所定値
Rat:係数（0.0〜1.0）
［使用帯域調整部３１２がターゲットビットレート信号Ｄ１２Ａのみを生成する場合］
使用帯域調整部３１２は以下の数式に従って「Bit」、つまりターゲットビットレート信号Ｄ１２Ａを生成する。

Bit＝Cap
或いは、数ピクチャ間隔（フレーム間隔を含む）で、以下の数式に従って「Bit」、つまりターゲットビットレート信号Ｄ１２Ａを生成する。

Obs ≦ (Cap−Thr)の場合には、
Bit＝Cap−Thr
Obs ＞ (Cap−Thr)の場合には、
Bit＝Cap−Thr−[Obs−(Cap-Thr)］
尚、「Bit」については、上記した数式によって所定の下限値を下回る場合には、「Bit」の値は所定の下限値に設定されるものとする。
［使用帯域調整部３１２が平滑化ビットレート信号Ｄ１２Ｂのみを生成する場合］
使用帯域調整部３１２は、以下の数式に従って「Smo」、つまり平滑化ビットレート信号Ｄ１２Ｂを生成する。

Smo＝Cap−Thr−Cor
尚、「Smo」については、上記した数式によって負の値になる場合はゼロとする。
［使用帯域調整部３１２が平滑化ビットレート信号Ｄ１２Ｂのレベルを変動させ、ターゲットビットレート信号Ｄ１２Ａのレベルを固定値とする場合］
使用帯域調整部３１２は、以下の数式に従って「Smo」、つまり平滑化ビットレート信号Ｄ１２Ｂを生成する。

Smo＝Cap−Thr−Bit
尚、「Smo」については、上記した数式によって負の値になる場合はゼロとする。
［使用帯域調整部３１２がターゲットビットレート信号Ｄ１２Ａ及び平滑化ビットレート信号Ｄ１２Ｂを共に生成する場合］
使用帯域調整部３１２は、数ピクチャ間隔（フレーム間隔を含む）で、以下の数式に従って「Bit」及び「Smo」、つまりターゲットビットレート信号Ｄ１２Ａ及び平滑化ビットレート信号Ｄ１２Ｂを生成する。

Obs ≦ (Cap−Thr)の場合には、
Bit＝Rat・Cap
Smo＝(1.0−Rat)・Cap
Obs ＞ (Cap−Thr)の場合に、
Bit' ≧ Ｌの場合には、
Bit＝Bit'
Smo＝(1.0−Rat)・Cap
Bit' ＜ Ｌの場合には、
Bit＝Ｌ
Smo＝(1.0−Rat)・Cap−（Ｌ−Bit'）
尚、「Bit'」は、理想ターゲットビットレートであり、
Bit'＝Rat・Cap−[Obs−(Cap-Thr)］
として表される。「Ｌ」は、ターゲットビットレートの設定可能範囲の下限値である。

また、使用帯域調整部３１２は、数ピクチャ間隔（フレーム間隔を含む）で、以下の数式に従って「Bit」及び「Smo」、つまりターゲットビットレート信号Ｄ１２Ａ及び平滑化ビットレート信号Ｄ１２Ｂを生成する。

Obs ≦ (Cap−Thr)の場合には、
Bit＝Rat・Cap
Smo＝(1.0−Rat)・Cap
Obs ＞ (Cap−Thr)の場合に、
Smo ≧ ０の場合には、
Bit＝Rat・Cap
Smo＝Smo'
Smo ＜ ０の場合には、
Bit＝Rat・Cap＋Smo'
Smo＝０
尚、「Smo'」は、理想平滑化ビットレートであり、
Smo'＝(1.0−Rat)・Cap−[Obs−(Cap-Thr)］
として表される。

上記したステップＳ１２に続き、データ平滑化部３１３が、平滑化ビットレート信号Ｄ１２Ｂに基づき、平滑化部入力データＤ１３Ｘの値を平滑化し、平滑化部出力データＤ１３Ｙを生成する（ステップＳ１３）。

以下に、平滑化部入力データＤ１３ＸのビットレートをＸ bit／秒、平滑化ビットレート信号Ｄ１２ＢをＳ bit／秒、データ平滑化部３１３が平滑化部入力データＤ１３Ｘを受けるバッファを有するものとして、データ平滑化部３１３の具体的な動作を説明する。

データ平滑化部３１３は、Ｘ≦Ｓの場合には平滑化部入力データＤ１３Ｘをそのまま平滑化部出力データＤ１３Ｙとして出力する。

また、Ｘ＞Ｓの場合には、データ平滑化部３１３は、平滑化部入力データＤ１３Ｘをバッファリングしつつ、バッファリングしたデータを平滑化部出力データＤ１３ＹとしてX bit／秒のビットレートで出力する。この際、平滑化部入力データＤ１３Ｘがデータ平滑化部３１３に入力され続けられた場合、バッファがオーバーフローする恐れがある。

しかしながら、入力ストリーム信号Ｅ１中から有効なデータ片のみを出力する拡張ストリーム選別部１０６、及び要求のあった映像データ片のみを配信対象として出力するローカルレコード部Ｕ４により、バッファのオーバーフローのリスクが抑えられている。バッファがオーバーフローする虞がある場合には、バッファに蓄えられている映像データのうちから、最も古いデータ片を削除する、或いはバッファへの新しいデータ片の書き込み要求を棄却する。

尚、使用帯域調整部３１２として、平滑化ビットレート信号Ｄ１２Ｂの生成機能を備えていないものを採用する場合には、ステップＳ１３は不要である。

ステップＳ１３の実行後、図７に示されるステップＳ１５、Ｓ１６、及び図８に示されるステップＳ１７〜Ｓ２２による動作を同様に実行する。

以上のように、図９に示される拡張ストリーム生成部Ｕ３ｂでは、データ平滑化部３１３が、ローカルレコード部Ｕ４から出力されたレコード部出力データＤ１１Ｙの値を平滑化する。ここで、使用帯域調整部３１２は、ビットレートの目標値を示すビットレート容量信号Ｅ２、及びコアストリーム信号Ｆ１のビットレートを表すコアビットレート信号Ｄ５を受ける。そして、使用帯域調整部３１２及びデータ平滑化部３１３は、レコード部出力データＤ１１Ｙの値を平滑化した信号のビットレートを、ビットレート容量信号Ｅ２及びコアビットレート信号Ｄ５に基づいて調整した平滑化部出力データＤ１３Ｙを得る。拡張ストリーム生成部Ｕ３ｂは、このビットレートの調整が施された平滑化部出力データＤ１３Ｙを、拡張ストリーム信号Ｆ２として映像蓄積装置Ｘ２に供給（配信）する。

すなわち、ビットレート調整部としての使用帯域調整部３１２及びデータ平滑化部３１３は、ビットレートの目標値を示すビットレート容量信号Ｅ２を受け、このビットレート容量信号Ｅ２に基づいて拡張ストリーム信号Ｆ２のビットレートを調整する。この際、ビットレート調整部は、拡張ストリーム信号Ｆ２のビットレートを、ビットレート容量信号Ｅ２から、上記したコアビットレート信号Ｄ５を減算した値に調整する。

よって、かかるビットレートの調整により、図４に示される拡張ストリーム生成部Ｕ３ａに比べて、伝送路Ｌ２におけるデータ伝送量及び拡張ストリーム蓄積部１１５の記憶容量を更に小さくすることが可能となる。

尚、図９に示す一例では、拡張ストリーム生成部Ｕ３ｂが、拡張ストリーム選別部１０６、ローカルレコード部Ｕ４、使用帯域調整部３１２、及びデータ平滑化部３１３なる機能モジュールを含むが、全ての機能モジュールを含まなくても良い。

例えば、拡張ストリーム生成部Ｕ３ｂが上記した機能モジュールのうちの使用帯域調整部３１２のみを有し、入力ストリーム信号Ｅ１を直接、拡張ストリーム信号Ｆ２として出力する構成であっても良い。

また、例えば、拡張ストリーム生成部Ｕ３ｂが拡張ストリーム選別部１０６及び使用帯域調整部３１２のみを有し、拡張ストリーム選別部１０６から出力された選別部出力データＤ６Ｙを拡張ストリーム信号Ｆ２として出力する構成であっても良い。

また、例えば、拡張ストリーム生成部Ｕ３ｂがローカルレコード部Ｕ４及び使用帯域調整部３１２のみを有する構成を採用しても良い。この際、ローカルレコード部Ｕ４が入力ストリーム信号Ｅ１をレコード部入力データＤ１１Ｘとして受け、ローカルレコード部Ｕ４から出力されたレコード部出力データＤ１１Ｙを拡張ストリーム信号Ｆ２として出力する。

また、例えば、拡張ストリーム生成部Ｕ３ｂが拡張ストリーム選別部１０６、ローカルレコード部Ｕ４及び使用帯域調整部３１２のみを有する構成を採用しても良い。この際、ローカルレコード部Ｕ４から出力されたレコード部出力データＤ１１Ｙを拡張ストリーム信号Ｆ２として出力する。

また、例えば、拡張ストリーム生成部Ｕ３ｂが拡張ストリーム選別部１０６、使用帯域調整部３１２及びデータ平滑部３１３のみを有する構成を採用しても良い。この際、データ平滑部３１３が、拡張ストリーム選別部１０６から出力された選別部出力データＤ６Ｙを平滑化部入力データＤ１３Ｘとして受け、データ平滑部３１３から出力された平滑化部出力データＤ１３Ｙを拡張ストリーム信号Ｆ２として出力する。

また、例えば、拡張ストリーム生成部Ｕ３ｂがローカルレコード部Ｕ４、使用帯域調整部３１２及びデータ平滑部３１３のみを有する構成を採用しても良い。この際、ローカルレコード部Ｕ４が入力ストリーム信号Ｅ１をレコード部入力データＤ１１Ｘとして受けるようにする。

尚、使用帯域調整部３１２は、必ずしもターゲットビットレート信号Ｄ１２Ａを出力する機能を備えていなくても良い。この場合、ＲＯＩエンコーダ部Ｕ２へのターゲットビットレート信号Ｄ１２Ａは、図１に示す構成と同様に外部から与えられる。

また、前述したように使用帯域調整部３１２は、実測ビットレート信号Ｅ３を使用せずに動作可能である。この場合、映像符号化装置Ｘ１、拡張ストレージ配信部Ｕ３ｂ、使用帯域調整部３１２において、実測ビットレート信号Ｅ３の入力は不要である。

また、前述したように、使用帯域調整部３１３は、コアビットレート信号Ｄ５を使用せずに動作可能である。この場合、コアストリーム出力部４０５ａにおけるコアビットレート信号Ｄ５の生成機能は不要となり、拡張ストリーム生成部Ｕ３ｂの使用帯域調整部３１２では、コアビットレート信号Ｄ５の入力が不要となる。

また、拡張ストリーム生成部Ｕ３ｂが拡張ストリーム選別部１０６を含まない場合には、エンコーダ部Ｕ１からＲＯＩ設定部４０２を省き、このエンコーダ部Ｕ１が常にピクチャ全体を低画質で圧縮符号化する構成であっても良い。

尚、拡張ストリーム生成部Ｕ３ｂが拡張ストリーム選別部１０６を含む場合でも、エンコーダ部Ｕ１がＲＯＩ設定部４０２を備えていれば、エンコーダ部Ｕ１は常にピクチャ全体を低画質で圧縮符号化しても良い。

また、エンコーダ部Ｕ１は、前述したような入力ピクチャ信号Ｄ１によって表される各ピクチャ内の背景領域をＲＯＩよりも少ないビット数で圧縮するという圧縮方法以外の方法で圧縮、或いは入力ピクチャ信号Ｄ１を縮小後に前述したように圧縮を行っても良い。尚、入力ピクチャ信号Ｄ１に縮小処理を施してから圧縮することで、コアストリーム信号Ｆ１のデータ暈が削減されると共に圧縮にかかる演算量も低減される。

尚、かかるコアストリーム信号Ｆ１に関しては、上記した圧縮処理に伴い映像の品質が低下することになるが、本実施例によれば、必要に応じて後で、拡張ストリーム信号Ｆ２を復号することにより高品質な映像を取得することができる。なお、縮小後に圧縮することは、常にピクチャ全体を低画質で圧縮する方法の一手段とみなすこともできる。

また、前述した全ての実施例では、ＲＯＩを各ピクチャ内の一部の限定された領域としているが、ピクチャ内だけではなく、連続するピクチャ系列中、つまり時間空間の一部の限定された領域と見做すこともできる。

また、全ての実施例では、映像符号化装置Ｘ１が、コアストリーム生成部Ｕ０と、拡張ストリーム生成部（Ｕ３、Ｕ３ａ、Ｕ３ｂ）とを含んでいるが、コアストリーム生成部Ｕ０及び拡張ストリーム生成部（Ｕ３、Ｕ３ａ、Ｕ３ｂ）は、別の装置に含まれていても良い。

また、上記した第１〜第３の実施例では映像処理システムＺの映像処理をハードウェアで実現しているが、当該映像処理をソフトウェアで実現しても良い。

図１１は、この映像処理をソフトウェアで実現する情報処理装置の構成の一例を示すブロック図である。当該情報処理装置は、制御部としてのＣＰＵ（Central Processing Unit）１００１、ＲＡＭ（Random Access Memory）１００２、ＲＯＭ（Read Only Memory）１００３及び入出力部１００４を含む。ＲＯＭ１００３には、図２、図３、図７、図８及び図１０に示される処理に従ったプログラムが記憶されている。ＣＰＵ１００１は、ＲＯＭ１００３に記憶されているプログラムを実行することにより、図２、図３、図７、図８及び図１０に示される処理が為される。

１０６ 拡張ストリーム選別部
１１５ 拡張ストリーム蓄積部
２１１ ローカルストレージ部
２２０ 利用側要求生成部
４０２ ＲＯＩ設定部
４１４ コアストリーム蓄積部
Ｕ０ コアストリーム生成部
Ｕ１ エンコーダ部
Ｕ３、Ｕ３ａ、Ｕ３ｂ 拡張ストリーム生成部
Ｕ４ ローカルレコード部
Ｕ５ 拡張ストリーム制御信号生成部
Ｘ１ 映像符号化装置
Ｘ２ 映像蓄積装置
Ｘ３ 映像利用装置

Claims (23)

1. 入カ映像信号を圧縮符号化してコアストリーム信号を生成するコアストリーム生成部と、
   前記入カ映像信号によって表されるピクチャの系列から特定のピクチャを選出し、選出した前記特定のピクチャを表す拡張ストリーム信号を生成する拡張ストリーム生成部と、
   前記コアストリーム信号及び前記拡張ストリーム信号を蓄積する映像蓄積部と、を有することを特徴とする映像処理装置。
2. 前記特定のピクチャは、ＲＯＩ（Region Of Interest）を含むピクチャであることを特徴とする請求項１に記載の映像処理装置。
3. 前記特定のピクチャは、ＲＯＩを含むピクチャ、及び前記ＲＯＩを含むピクチャの前又は後ろに隣接する少なくとも１つのピクチャであることを特徴とする請求項１に記載の映像処理装置。
4. 前記ピクチャの系列における各ピクチャ内から前記ＲＯＩを検出し、検出した前記ＲＯＩのピクチャ内での位置及びサイズを表すＲＯＩ情報を生成するＲＯＩ設定部を含み、
   前記拡張ストリーム生成部は、前記ＲＯＩ情報に基づき、前記ピクチャの系列から前記特定のピクチャを選出することを特徴とする請求項２又は３に記載の映像処理装置。
5. 前記拡張ストリーム生成部は、前記入カ映像信号がインター予測符号化された信号である場合には、前記特定のピクチャ、及び前記ピクチャの系列中において前記特定のピクチャを復号するのに必要となる少なくとも１つのピクチャを表す信号を前記拡張ストリーム信号として生成することを特徴とする請求項１〜４のいずれか１に記載の映像処理装置。
6. 前記拡張ストリーム生成部は、前記拡張ストリーム信号のフォーマットを前記入カ映像信号のフォーマットとは異なるフォーマットに変換するトランスコードを行うことを特徴とする請求項１〜５のいずれか１に記載の映像処理装置。
7. 前記拡張ストリーム生成部は、前記入カ映像信号がインター予測符号化された信号である場合には、前記拡張ストリーム信号のフォーマットをイントラ予測符号形態にトランスコードすることを特徴とする請求項６に記載の映像処理装置。
8. 前記コアストリーム生成部は、前記ＲＯＩ情報に基づき、前記ＲＯＩを含む前記ピクチャに対して、前記ピクチャ内の前記ＲＯＩを非ＲＯＩに比べて高品質に圧縮符号化するエンコーダ部を含むことを特徴とする請求項４に記載の映像処理装置。
9. 前記コアストリーム生成部は前記コアストリーム信号を第１の伝送路を介して前記映像蓄積部に伝送し、
   前記拡張ストリーム生成部は前記拡張ストリーム信号を第２の伝送路を介して前記映像蓄積部に伝送し、
   前記第１の伝送路及び前記第２の伝送路は、有線ＬＡＮ（local area network）、又は無線ＬＡＮ、或いは公衆回線網であることを特徴とする請求項１〜８のいずれか１に記載の映像処理装置。
10. 前記拡張ストリーム生成部は、
    前記ピクチャの系列を記憶しつつ、記憶した前記ピクチャの系列中の少なくとも１つのピクチャを配信要求に応じて読み出して前記拡張ストリーム信号として出力するローカルレコード部を含むことを特徴とする請求項１〜９のいずれか１に記載の映像処理装置。
11. 前記ローカルレコード部は、記憶した前記少なくとも１つのピクチャを削除要求に応じて削除することを特徴とする請求項１０に記載の映像処理装置。
12. 前記ローカルレコード部は、
    前記ピクチャの系列を記憶するローカルストレージ部と、
    前記配信要求に応じて前記ローカルストレージ部に読出制御を施し、前記削除要求に応じて前記ローカルストレージ部に対して前記少なくとも１つのピクチャの削除制御を施す制御信号を前記ローカルストレージ部に供給する拡張ストリーム制御信号生成部と、を含むことを特徴とする請求項１１に記載の映像処理装置。
13. 前記拡張ストリーム制御信号生成部は、前記ローカルストレージ部に未読み出しの前記ピクチャが記憶されているときに前記ローカルストレージ部に前記読出制御を施す前記制御信号を供給することを特徴とする請求項１２に記載の映像処理装置。
14. 前記拡張ストリーム制御信号生成部及び前記コアストリーム生成部は、夜間モード及び日中モードのうちの一方を示す動作モード選択信号を受け、
    前記拡張ストリーム制御信号生成部は、前記動作モード選択信号が前記夜間モードを示す場合に前記ローカルストレージ部に前記読出制御を施す前記制御信号を供給し、
    前記コアストリーム生成部は、前記動作モード選択信号が前記夜間モードを示す場合には前記コアストリーム信号の出力を停止することを特徴とする請求項１２又は１３に記載の映像処理装置。
15. 前記拡張ストリーム制御信号生成部は、前記映像処理装置を利用する利用者側からの前記配信要求又は前記削除要求を表す利用側要求信号を受け付けることを特徴とする請求項１２〜１４のいずれか１に記載の映像処理装置。
16. 前記映像処理装置の外部に設置されたセンサによるセンサ情報、利用者による映像の検索情報又は操作情報、或いは前記コアストリーム信号によって表される映像情報を受け付け、前記センサ情報、前記検索情報、前記操作情報、又は前記映像情報に基づき、前記配信要求又は前記削除要求を示す信号を前記利用側要求信号として生成する映像利用部を含むことを特徴とする請求項１５に記載の映像処理装置。
17. 前記映像利用部は、前記コアストリーム信号を復号した信号又は前記拡張ストリーム信号を復号した信号に基づき、ディスプレイ装置が受け付け可能な表示ピクチャ信号を生成する表示部を、含むことを特徴とする請求項１６に記載の映像処理装置。
18. 前記拡張ストリーム制御信号生成部は、前記配信要求に応じて前記ローカルストレージ部に前記読出制御を施す前記制御信号を供給し、引き続き前記ローカルストレージ部に前記削除制御を施す前記制御信号を供給することを特徴とする請求項１２〜１７のいずれか１に記載の映像処理装置。
19. 前記拡張ストリーム生成部は、ビットレートの目標値を示すビットレート容量信号を受け、前記ビットレート容量信号に基づいて前記拡張ストリーム信号のビットレートを調整するビットレート調整部を含むことを特徴とする請求項１〜１８のいずれか１に記載の映像処理装置。
20. 前記コアストリーム信号のビットレートを測定し、測定した前記コアストリーム信号のビットレートを示すコアビットレート信号を生成するコアストリーム出力部を含み、
    前記ビットレート調整部は、前記拡張ストリーム信号のビットレートを、前記ビットレート容量信号から前記コアビットレート信号を減算した値に調整することを特徴とする請求項１９に記載の映像処理装置。
21. 前記ビットレート調整部は、前記ビットレート容量信号に基づいて前記コアストリーム生成部における前記圧縮符号化による映像品質及び前記コアストリーム信号のビットレートを調整することを特徴とする請求項１９又は２０に記載の映像処理装置。
22. 前記拡張ストリーム生成部は、
    前記ピクチャの系列から前記特定のピクチャを選出し、選出した前記特定のピクチャを表す選別部出力データを生成する拡張ストリーム選別部と、
    前記選別部出力データを記憶し、記憶した前記選別部出力データを配信要求に応じて読み出し、読み出されたデータをレコード部出力データとするローカルレコード部と、を含み、
    前記ビットレート調整部は、
    前記レコード部出力データの値を平滑化した信号を含む前記拡張ストリーム信号を生成するデータ平滑化部と、
    前記ビットレート容量信号に基づいて前記平滑化した信号のビットレートを調整する使用帯域調整部と、を含むことを特徴とする請求項１９〜２１のいずれか１に記載の映像処理装置。
23. 入カ映像信号に映像処理を施して映像蓄積部に蓄積させる情報処理装置の制御部が実行する映像処理プログラムであって、
    前記入カ映像信号を圧縮符号化してコアストリーム信号を得る第１のステップと、
    前記入カ映像信号によって表されるピクチャの系列から特定のピクチャを選出し、選出した前記特定のピクチャを表す拡張ストリーム信号を生成する第２のステップと、
    前記コアストリーム信号及び前記拡張ストリーム信号を前記映像蓄積部に蓄積させる第３のステップと、を有することを特徴とする映像処理プログラム。

Images