JP2006229995A

JP2006229995A - ストリーム任意領域抽出方式及び装置及びそのプログラム及びそれを記録した記録媒体

Info

Publication number: JP2006229995A
Application number: JP2006068251A
Authority: JP
Inventors: Jun Awano; 潤粟野
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2006-03-13
Filing date: 2006-03-13
Publication date: 2006-08-31
Anticipated expiration: 2021-10-26
Also published as: JP4165567B2

Abstract

【課題】高速な抽出処理を可能とし、さらに抽出したストリーム毎の個別の管理を可能とするストリーム任意領域抽出方式を提供する。
【解決手段】入力されるＭＰＥＧストリームを先ずストリーム分離部１０１によりヘッダ情報とＭＢデータに分離し、次にＭＢデータ分析部１０２およびＭＢ領域判定部１０３およびＭＢ処理決定部１０４により、分離されたＭＢデータが抽出領域に属しているか再符号化が必要かを判定し、抽出領域に属しかつ再符号化が必要な場合再符号化部１２０で抽出領域内の画像から動き補償するよう再符号化し、その後抽出した同じ垂直位置のＭＢデータによりスライス構成部１０７でスライスデータを再構成し、これと前記ストリーム分離部１０１で分離したヘッダ情報をヘッダ分析部１０８およびヘッダ複製部１０９で修正および複製したヘッダと合成し抽出数分のストリームを得る。
【選択図】図１

Description

本発明は、ＭＰＥＧ符号化方式およびその他のデジタル符号化方式により符号化されたストリームから任意の１つ又は複数の領域抽出する技術に関し、特に、前記ストリームを完全に復号化することなく複数のストリームを抽出する技術に関する。

特開２０００−１２５２６３号公報には、複数の動画のそれぞれの画像を１つの画像に合成し、これを１つの符号化装置により符号化することで、１つの符号化装置での複数動画の同時記録あるいは伝送を行なう方法が示されている。前記符号化方法によれば、複数の動画を符号化するのに要する符号化器が１つで済むためコスト的に有利である。しかし、前記符号化方法により符号化されたストリームからそれぞれの画像を取り出す際には、前記ストリームを完全に復号し、復号された合成画像から任意の画像を取り出す処理を行なう必要がある。

前記符号化装置により符号化されたストリームから合成されたそれぞれの画像を取り出す際に、一般的な復号処理により全ての画像を復号した後に、復号された合成画像から任意の画像を抽出する処理が必要なので、復号する際に一般的な復号化装置を用いることができないという問題がある。また、抽出対象でない領域の画像についても復号処理が行なわれるため無駄な処理が多くなる問題がある。さらに、１つの画像に合成された複数のコンテンツは１つのストリームとして記録されるため、各々のコンテンツ毎別個に削除したりジャンル分けしたりといった別個の管理ができないという問題がある。

ここで、前記符号化装置で符号化されたストリームを一度画像に復号し任意の領域を抜き出し、その領域のみを再符号化すれば一般的なデコーダで復号できる上不要な領域の復号に処理を割く必要がなく、さらに画像中の抽出する領域をコンテンツの数だけ設定しこの前記再符号化処理を繰り返せばコンテンツ毎のストリームを作成することができる。しかし、この場合も画像までの復号化処理とその画像中の抽出領域の再符号化が必要となるのでやはり多大な処理量を要する問題がある。さらに、複数の領域を抽出する場合、前記再符号化方式では１個のエンコーダのときは抽出領域数だけ抽出処理を繰り返す必要があり、より膨大な手間と時間がかかる。また、抽出する領域数だけのエンコーダを用いて処理を行なう場合１回の抽出処理ですむが、高コストになり装置も複雑になる。

本発明はこれらの問題に鑑みてなされたものであり、本発明の第１の目的は、複数の映像コンテンツを１つの画像に合成し、それを符号化して得たストリームなどから、１つ乃至は複数の領域を抽出し、抽出した領域毎の新たなストリームも作成することで、これにより例えばコンテンツ毎の削除やジャンル分けなど個別の管理を容易にするストリーム任意領域抽出方式を提供することである。

本発明の第２の目的は、前記ストリームから１つ乃至は複数の領域を抽出しそれぞれ別個のストリームとすることで、一般のデコーダで復号した場合も抽出対象とした領域の画像を意図どおりに復号可能なストリーム任意領域抽出方式を提供することである。

本発明の第３の目的は、前記ストリームから１つ乃至は複数の領域の抽出処理を高速で実現し、しかも抽出する領域数に関わらず１度の処理で複数領域を抽出可能とするストリーム任意領域抽出方式を提供することである。

本発明の第４の目的は、前記ストリームから１つ乃至は複数の領域を抽出し記録装置に記録する際に、記録媒体にあるまとまったデータ単位毎に配置し、目的のデータを検出するためのシーク動作の回数が少なくなるように記録することで、目的のデータを検出するまでのシーク時間が比較的大きな記録媒体を用いる場合も記録したストリームの復号処理に記録装置からのストリームのリード処理が間に合わない事態を防止可能で、さらに記録装置への負担を低減可能なストリーム任意領域抽出方式を提供することである。

本発明の第５の目的は、前記ストリームから複数の領域を抽出し記録装置に記録する際に、抽出したそれぞれのストリームが記録媒体にあるまとまったデータ単位毎に隣接して配置されるように記録することで、複数ストリームの同時復号処理を行なう場合にもシーク回数およびシーク時間を低減できるため、それぞれのストリームのリード処理が間に合わない事態を防止可能で、さらに記録装置への負担を低減可能なストリーム任意領域抽出方式を提供することである。

本発明のストリーム任意領域抽出方式は、ＭＰＥＧストリーム中のＭＢデータが属する領域を判定するＭＢ領域判定部、およびＭＢ領域判定部の判定結果に基づき当該ＭＢがそのまま抽出可能かあるいは再符号化が必要かどうかを判定するＭＢ処理決定部、および前記ＭＢ処理決定部により再符号化が必要と判定された場合再符号化を行なう再符号化部を備えることで、抽出されたＭＢが他の領域を動き補償のために参照する場合にも参照画像の同領域から動き予測を行なうかあるいは動き補償を行なわないフレーム内ＭＢとして再符号化することで抽出後のそれぞれのＭＰＥＧストリームでの動き補償は全て抽出した領域内から参照とすることができる。さらに、抽出したＭＢデータにより抽出領域に合うようにスライスデータを再構成するスライス構成部、および抽出領域とする数や範囲にしたがってMPEG規格に準拠するようＭＰＥＧストリームのヘッダ情報を修正および複製するヘッダ複製部、および前記構成したスライスデータと前記修正および複製されたヘッダ情報を抽出する領域毎に合成する合成部（合成部Ａ、合成部Ｂ）を備える構成とすることで、ＭＰＥＧストリームから任意を１つ乃至は複数の領域から新たなストリームを抽出し記録装置に記録することができる。複数の領域からストリームを抽出し記録する場合は、それぞれのストリームはMPEG規格に準拠した独立したストリームとして記録されるため、ストリーム毎の削除や個別の管理が行なうことができ、本発明の第１の目的を達成できる。ここで、前記抽出したストリームには抽出領域とした画像のみがを含むストリームであり、かつ前述のようにＭＰＥＧ規格に準拠したストリームであるため、抽出した各ストリームは一般の汎用デコーダで復号した場合でも抽出対象とした領域の画像が意図どおりに復号可能であり、本発明の第２の目的を達成できる。

また、前記本発明の構成による任意領域抽出処理において、ＭＢデータをそれが属する領域毎に分別する処理が主となり、非常に負荷の大きい再符号化処理が必要となるのはほとんど各領域の境界付近のＭＢデータのみで済むため、全領域を一度完全に画像に復号して任意の領域を再符号化する一般の方式と比較して非常に高速な処理が可能である。また領域毎に分別したＭＢデータは、それぞれ抽出領域数分備えた合成部でヘッダ複製で抽出数分複製されたヘッダ情報と合成されることで、抽出数分のストリームが同時に構成される。つまり、抽出する領域数に関わらず１度の処理で複数領域を抽出可能であり、本発明の第３の目的を達成できる。

本発明のストリーム任意領域抽出方式では、前記スライス構成部により構成したスライスデータ毎に記録媒体へ出力するため記録媒体へのストリームの配置はほぼスライスデータ毎の配置となる。光ディスクなどのように目的のデータを検出するまでのシークタイムが比較的大きな記録媒体を用いる場合、記録したストリームの復号処理にストリームリードが間に合わない事態が生じる場合がある。これを防止するため抽出したストリームをあるまとまったデータ単位だけ蓄積するメモリＡおよびメモリＢおよび前記メモリＡ、メモリＢから前記データ単位だけストリームを読出し連続して記録装置に出力するライト制御部をさらに備える構成としたストリーム任意領域抽出方式とし、抽出したストリームを記録媒体に前記データ単位で連続した配置となるよう記録装置へ出力することで、記録装置のシーク回数やシークタイムを削減でき、その結果ストリームの復号処理にリード処理が間に合わない事態を防止でき、記録装置への負荷を低減できるため、本発明の第４の目的を達成できる。また、ライト制御部が抽出した複数ストリームのそれぞれを前記データ単位毎に隣接して記録媒体に配置されるよう記録装置へ出力することで、複数ストリームの同時復号処理を行なう場合にも記録装置のシーク回数やシークタイムを削減でき、その結果複数ストリームの同時復号処理時にもリード処理が間に合わない事態を防止でき、記録装置への負荷を低減できるため本発明の第５の目的を達成できる。

以上説明したように、本発明には以下の効果がある。

本発明の第１の効果は、ＭＰＥＧストリーム中から１つ乃至複数の任意領域の画像部分を別個のストリームとして抽出し、別個のファイルとして記録できることである。これによりたとえば複数の映像コンテンツを１つの画像に合成しそれを符号化して得たストリームからそれぞれのコンテンツを抽出し別個のファイルとして記録すればコンテンツ毎の管理が容易となる。

本発明の第２の効果は、それぞれのストリームを復号する際には、本発明のストリーム任意領域抽出方式が使われたことに配慮したＭＰＥＧデコーダを使う必要はなく、一般のＭＰＥＧデコーダを用いることでそれぞれのストリームから抽出領域とした画像が復号できることである。これは、抽出領域に属するＭＢデータを抽出する際に当該ＭＢが参照するＭＢが異なる領域に属している場合、一度復号し、同じ領域から動き予測して再符号化したＭＢデータと、一方抽出領域の数だけ複製し、抽出領域に応じて変更したＭＰＥＧヘッダ情報によりＭＰＥＧ規格に準拠したストリームを再構成することで実現している。

本発明の第３の効果は、ストリームを一度画像に復号した後、抽出領域を切り出し再符号化する一般の方式と比較して、はるかに高速な抽出処理ができることである。これは、抽出するＭＢデータが動き補償用の参照画像の補償を異なる領域を参照しているときのみ再符号化を行なう方式であり、さらにこの場合再符号化処理を行なうＭＢデータはほとんど各領域の境界付近のＭＢデータのみだけであり、大部分のＭＢデータには非常に負荷が大きい再符号化処理が行なわれないためである。

本発明の第４の効果は、抽出領域が複数の場合でも１度の処理で全ての領域のストリーム抽出を行なうことができることである。これは、１度の処理で各抽出領域に属するＭＢデータを抽出し、抽出領域の数だけ複製したヘッダ情報とそれぞれの領域に属するＭＢデータにより構成したスライスデータと合成するため、スライスデータ毎に各領域のストリームが順次作成されるためである。

本発明の第５の効果は、抽出したストリームを任意の符号レートとすることができることである。これは、抽出したストリーム毎に指定された目標符号レートと実際のストリームの実符号レートとの差に応じてストリームの量子化ステップ数の変更を行ない、実符号レートが目標レートとなるよう制御するためである。

本発明の第６の効果は、抽出したストリームをあるまとまったデータ単位だけ連続して配置されるよう記録媒体に記録し記録装置のデータシーク回数やシーク時間を削減することで、ストリーム復号時にストリームリード処理が間に合わない事態を防止でき、かつ記録装置への負荷を小さくできることである。

本発明の第７の効果は、複数のストリームを抽出し記録媒体に記録する際に、それぞれのストリームがあるまとまったデータ単位毎に隣接して配置されるよう記録することで、複数ストリームの同時復号処理を行なう場合、それぞれのストリームリード処理が間に合わない事態を防止でき、かつ記録装置への負荷を小さくできることである。

本発明のストリーム任意領域抽出方式の実施の形態について図面を参照して詳細に説明する。

（発明の第１の実施の形態）
本発明のストリーム分割装置の第１の実施の形態は、図１に示す構成となる。

本実施の形態では抽出数や抽出領域を指定するための領域指定信号を外部から指定する構成とし、図２のように領域抽出数は２で、７２０ｘ４８０画素の画像の水平位置ｈが０から３５１までの３５２画素を領域Ａ、ｈが３６８から７１９ピクセルまでの３５２画素を領域Ｂとし、領域Ａ、Ｂを抽出領域としている。ただし抽出数や抽出領域はこれに限らない。抽出数や抽出領域を固定とする場合、外部から領域指定信号を指定する必要はない。また、直接的領域数や抽出領域を指定しなくとも何らかのパラメータを領域指定信号として入力することとし、そこから抽出数や抽出領域を算出しても構わない。さらに、入力ストリームに抽出数や抽出領域の情報を重畳し、ストリーム分離部１０１で抽出数や抽出する領域の情報を分離する構成とし、領域指定信号を入力する経路を省くようにしても構わない。いずれの場合でも領域指定信号の抽出領域指定は、マクロブロック（以下、ＭＢという）に相当する１６ｘ１６画素の精度で指定するものとする。

図１に示す第１の実施の形態では、本発明のストリーム任意領域抽出方式は、ストリーム分離部１０１およびＭＢデータ分析部１０２およびＭＢ領域判定部１０３およびＭＢ処理決定部１０４およびＭＢ領域変化判定部１０５およびメモリ１０６およびスライス構成部１０７およびヘッダ分析部１０８およびヘッダ複製部１０９および合成部Ａ１１０および合成部Ｂ１１１および再符号化部１２０および選択器Ａ１３０および選択器Ｂ１３１により構成される。

ここで再符号化部１２０はさらに、ＭＢ復号化部１２１およびＭＢ符号化部１２２および参照画像メモリ１２３から構成される。

ストリーム分離部１０１には図３のように例えば２つの画像を１枚に合成した画像をＭＰＥＧ符号化方式で符号化した映像ストリームが入力され、ストリーム分離部１０１は入力されたＭＰＥＧ映像ストリームを分析し、ＭＰＥＧで定義されたシーケンスヘッダおよびＧＯＰ（Group Of Pictures）ヘッダおよびピクチャヘッダなどのヘッダ情報と、ＭＢデータを分離し、ヘッダ情報をヘッダ分析部１０８へ出力する。一方、ＭＢデータをＭＢ単位で順次ＭＢデータ分析部１０２へ出力する。本実施の形態では、画像Ａ、画像Ｂは画素間引きなどにより縮小され、それぞれ図２の領域Ａ、領域Ｂに配置された画像を想定している。

ＭＢデータ分析部１０２は、ストリーム分離部１０１から入力されるＭＢデータを分析し、そこからマクロブロックアドレス（以下、ＭＢＡという）および動きベクトル情報を抽出する。ＭＢデータ分析部１０２はまた、前記ＭＢＡから当該ＭＢデータの画像中での位置（ＭＢｘ、ＭＢｙ）を式１により算出する。ここで式１中のＨ＿ＭＢ＿ＮＵＭは、ヘッダ分析部１０８から入力される画像の水平画素数を１６で割ることで得られる水平ＭＢ数であり、％は整数割り算のあまりを求める演算子で、／は整数割り算の商を求める演算子を表わす。
（ＭＢｘ，ＭＢｙ）＝（（ＭＢＡ％Ｈ＿ＭＢ＿ＮＵＭ）ｘ１６，（ＭＢＡ／Ｈ＿ＭＢ＿ＮＵＭ）ｘ１６）・・・式１
ＭＢデータ分析部１０２はまた、直前に入力されたＭＢデータの動きベクトルを記憶しておき、当該ＭＢデータの動きベクトルが直前のＭＢデータの差分値であった場合は、前記記憶された直前のＭＢデータの動きベクトルを加えて得られる動きベクトルを前記算出したＭＢ位置（ＭＢｘ、ＭＢｙ）に加えることで当該ＭＢが参照する位置（ＲＭＢｘ、ＲＭＢｙ）を算出する。当該ＭＢデータの動きベクトル差分値でない場合は、当該ＭＢデータの動きベクトルを前記算出したＭＢ位置に加えることで当該ＭＢが参照する位置を算出する。当該ＭＢデータが動き補償の必要のないイントラＭＢであった場合は、当該ＭＢが参照する位置を、たとえば当該ＭＢの位置と同じ値とする。当該ＭＢが動きベクトルを複数持つ場合は、全ての動きベクトルでの参照位置を算出する。ＭＢデータ分析部１０２は、このように算出した当該ＭＢの位置および当該ＭＢが参照する位置をＭＢ領域判定部１０３に出力し、当該ＭＢデータを選択器Ａ１３０およびＭＢ複合化部１２１に出力する。ＭＢデータ分析部１０２はまた、当該ＭＢデータがイントラＭＢであるか否かを判別するためのイントラＭＢ判定信号をＭＢ処理決定部１０４に出力する。前記イントラＭＢ判定信号は、たとえばイントラＭＢの場合”Ｉｎｔｒａ”、非イントラＭＢの場合”ＮｏｔＩｎｔｒａ”とすることができる。

ＭＢ領域判定部１０３では、外部から入力される領域指定信号から得られる抽出領域情報とＭＢデータ分析部１０２から入力されるＭＢ位置情報（ＭＢｘ、ＭＢｙ）とそのＭＢが参照するＭＢ参照位置情報（ＲＭＢｘ、ＲＭＢｙ）から当該ＭＢ位置およびＭＢ参照位置が属する領域を判定し、当該ＭＢが属する領域に対応させたＭＢ領域判定信号をＭＢ領域変化判定部１０５およびＭＢ符号化部１２２および選択器Ｂ１３１に出力する。前記ＭＢ領域判定信号には当該ＭＢが属する領域を抽出対象としているかどうかの情報も含む。ここで、図２のように７２０画素ｘ４８０画素の画像から抽出領域として領域Ａ、領域Ｂとした場合、次のように当該ＭＢの属する領域を判定できる。
（ａ）ＭＢｘ ≧０かつ（ＭＢｘ＋１５） ≦ ３５９当該ＭＢは領域Ａに属する。
（ｂ）ＭＢｘ ≧ ３６０かつ（ＭＢｘ＋１５） ≦ ７１９当該ＭＢは領域Ｂに属する。
（ｃ）（ｉ）および（ｉｉ）以外当該ＭＢは領域Ａと領域Ｂの間にある。

このとき、たとえば（ａ）の場合は、”Ａ”を、（ｂ）の場合は”Ｂ”を、（ｃ）の場合は本実施の形態では抽出対象外の領域として”Ｘ”をＭＢ領域判定信号としてＭＢ領域変化判定部１０５およびＭＢ符号化部１２２および選択器Ｂ１３１に出力する。

ＭＢ領域判定部１０３はさらに、当該ＭＢ位置とＭＢ参照位置の属する領域の一致あるいは不一致を示す同領域参照判定信号をＭＢ処理決定部１０４に出力する。前記同領域参照判定信号には当該ＭＢが属する領域を抽出対象としているかどうかの情報も含む。ここで、前記ＭＢ領域判定方法と同様に当該ＭＢとその参照位置の判定を行ない当該ＭＢと当該ＭＢが参照する領域が一致していた場合はたとえば”Ｓａｍｅ”を、不一致の場合は”Ｄｉｆｆ”を、あるいは前記（ｃ）の場合を含め当該ＭＢが抽出対象外の領域の場合は”Ｘ”を同領域参照判定信号としてＭＢ処理決定部１０４に出力する。

ＭＢ処理決定部１０４は、ＭＢデータ分析部１０２から入力されるイントラＭＢ判定信号とＭＢ領域判定部１０３から入力される同領域参照判定信号を用いて図４に示した処理の流れで当該ＭＢを再符号化する必要があるかどうか、あるいは抽出対象とするか否かの決定を行ない、その結果得られた処理決定信号をＭＢ復号化部１２１および選択器Ａ１３０に出力する。本実施の形態では処理決定信号を、再符号化が必要ない場合”Ｏｒｇｉｎａｌ”、再符号化が必要な場合”ＲｅＥＮＣ”、抽出対象でない場合”Ｄｕｍｐ”とした。

図４に示した処理決定信号を出力するまでの流れを説明する。まず、ステップＡ１においてＭＢ領域判定部１０３から入力される同領域判定信号が“Ｘ”、つまり当該ＭＢが抽出対象でない領域であると判定された場合は、ステップＡ４に進み“Ｄｕｍｐ”を出力する。そうでない場合は、ステップＡ２へ進みＭＢデータ分析部１０２から入力されるイントラＭＢ判定信号が“Ｉｎｔｒａ”かどうかを調べる。判定の結果“Ｉｎｔｒａ”のとき、つまり当該ＭＢがイントラＭＢであると判定された場合はステップＡ５に進み“Ｏｒｉｇｉｎａｌ”を出力する。そうでない場合は、ステップＡ３に進み前記同領域判定信号が“Ｓａｍｅ”であるかどうかを調べる。判定の結果“Ｓａｍｅ”のとき、つまり当該ＭＢの属する領域とそれが参照する領域が一致していると判定された場合、ステップＡ６へ進みこの場合も“Ｏｒｉｇｉｎａｌ”を出力する。そうでない場合は“ＲｅＥＮＣ”を出力する。処理決定信号を出力するまでの流れは以上で説明した図４の流れ図に必ずしも従う必要はなく同様の結果が得られれば良い。

ＭＢ領域変化判定部１０５は、ＭＢ領域判定部１０３から入力されるＭＢ領域判定信号と１つ前に入力されたＭＢ領域判定信号とを比較し、当該ＭＢが属する領域が、ある抽出対象としている領域から別の抽出対象領域に変化した場合、あるいはある抽出領域から抽出対象としていない領域に変化した場合、これを通知するＭＢ領域変化信号をスライス構成部１０７に出力する。具体的には、前記ＭＢ領域判定信号が、”Ａ”から”Ｂ”あるいは”Ｘ”に変化したとき、また、”Ｂ”から”Ａ”あるいは”Ｘ”に変化したときＭＢ領域変化信号を出力する。

ＭＢ復号化部１２１は、ヘッダ分析部１０８から入力されるピクチャタイプ情報によって当該ＭＢデータがＩピクチャまたはＰピクチャという他の画面から動き補償時に参照される画像のＭＢである場合、あるいはＭＢ処理決定部１０４から入力される処理決定信号が”ＲｅＥＮＣ”の場合、つまり再符号化が必要な場合、入力されるＭＢデータに対し可変長復号化、逆量子化および逆ＤＣＴ、さらに必要な場合は参照画像メモリ１２３中の参照画像を使って動き補償を行ない１６ｘ１６の画像に復号し、前記処理決定信号が”ＲｅＥＮＣ”の場合は復号された前記１６ｘ１６の画像をＭＢ符号化部１２２へ出力する。また、当該ＭＢデータがＩピクチャまたはＰピクチャである場合は復号された前記１６ｘ１６の画像を参照画像とするため参照画像メモリ１２３に記憶する。

ＭＢ符号化部１２２は、ＭＢ処理決定部１０４により当該ＭＢの再符号化が必要と判定された場合にＭＢ復号化部１２１から入力される１６ｘ１６の画像に復号されたＭＢデータに対し、参照画像メモリ１２３に記憶された参照用画像中の当該ＭＢと同じ領域から動き予測し、その後ＤＣＴ、量子化、可変長符号化により再符号化し、再符号化されたＭＢデータを選択器Ｂ１３１に出力する。ここで、外部から指定される領域指定信号やＭＢ領域判定部１０３から入力される当該ＭＢデータが属する領域情報を利用することで参照画像のどの領域が当該ＭＢと同じとなるかの判定ができる。処理量の軽減を図りたい場合は、再符号化時に動き予測せず、フレーム内ＭＢとして符号化しても構わない。

ＭＢ符号化部１２２で再符号化処理を行なうのは、ＭＢ処理決定部１０４により当該ＭＢの再符号化が必要と判定された場合であるが、これは図５に示すようにある抽出領域に属するＭＢデータが動き補償用の参照画像の異なる領域を参照している場合である。この異領域の参照は各領域の境界付近となる場合がほとんどであるため他の大部分のＭＢデータでは負荷の大きい再符号化処理は行なわれない。したがって、高速な任意領域の抽出処理が可能となる。

参照画像メモリ１２３には、ＭＢ復号化部１２１で１６ｘ１６の画像に復号されたＭＢデータが記憶される。このとき、前記ＭＢデータは、参照用画像として参照できるようにメモリ中に配置される。また参照画像メモリ１２３は、２画面分の参照画面が記憶され、新たな参照画像が記憶される毎に、古い順に参照画像は参照画像メモリ１２３中から削除される。

選択器Ａ１３０は、ＭＢ処理決定部１０４から入力される処理決定信号により、メモリ１０６へ出力するＭＢデータをＭＢデータ分析部１０２から入力されるＭＢデータ（図１端子ａ）あるいはＭＢ符号化部１２２から入力されるＭＢデータ（図１端子ｃ）あるいはいずれも入力しない（図１端子ｂ）の３通りから選択し、いずれかのＭＢデータが選択された場合は、それをメモリ１０６へ出力する。具体的な例としては、処理決定信号が”Ｏｒｉｇｉｎａｌ”の場合、ＭＢデータ分析部１０２から入力される再符号化していないＭＢデータを選択し、”ＲｅＥＮＣ”の場合、ＭＢ符号化部１２２から入力される再符号化されたＭＢデータを選択する。さらに、処理決定信号が”Ｄｕｍｐ”のときは、ＭＢデータは入力せずＭＢデータはメモリ１０６へ出力されない。

スライス構成部１０７は、ＭＢ領域変化判定部１０５から入力されるＭＢ領域変化信号により同領域に属し、かつ同垂直位置のＭＢのＭＢデータがメモリ１０６に蓄積されたことを判断し、メモリ１０６に蓄積された前記ＭＢデータ順次読み出し、ＭＢデータの情報を利用してスライスヘッダを生成すると共に、前記生成したヘッダと読みだされたＭＢデータで１スライス分のデータを構成し、前記構成したスライスデータを選択器Ｂ１３１へ出力する。もし、前記ＭＢ領域変化信号が入力されたときにメモリ１０６に読み出すべきＭＢデータがなかった場合、スライスヘッダの生成およびスライスデータの構成は行なわず、選択器Ｂ１３１には何も出力しない。

スライスヘッダを生成する際にはメモリ１０６に記憶されたＭＢデータの分析を行なう。具体的には、スライスの先頭となるＭＢデータの量子化スケールコードの値をスライスヘッダ中の量子化スケールコードの値として用いる。さらに１スライスとする全てのＭＢデータが全てイントラＭＢの場合はそれを示すスライスヘッダ中のフラグを１とする。また、メモリ１０６のＭＢデータでスライスを構成する際には、ＭＢデータ中の動きベクトル値およびイントラＭＢのＤＣ係数および量子化スケールコードの変更あるいは削除が必要な場合はその処理を行なう。前記ＭＢデータの変更あるいは削除処理について具体的に説明する。動きベクトルは、ＭＢ領域変換判定部１０５から入力されるＭＢ領域変化信号の直後ではなく、すなわちスライスの先頭ＭＢでなく、かつ直前のＭＢがイントラＭＢでなく、直前のＭＢと当該ＭＢのＭＢＡが連続した値のとき、当該ＭＢの動きベクトル値を直前のＭＢの動きベクトルとの差分値に変更する。イントラＤＣ係数は、当該ＭＢがスライスの先頭でなく、直前のＭＢと当該ＭＢが共にイントラＭＢでかつＭＢＡが連続した値のとき、当該ＭＢのイントラＤＣ係数値を直前のＭＢのイントラＤＣ係数との差分値に変更する。量子化スケールコードは、当該ＭＢが、スライスの先頭あるいは直前のＭＢの量子化スケールコードと同じ値の場合、ＭＢデータ中から削除する。これにより、図６に示すように各抽出領域毎に同水平位置のＭＢデータの集合を１スライスとする構造となる。

本実施の形態では、図６に示すようなスライス構成としたが、ＭＰＥＧ規格に準拠する限りスライスを他の構成としても構わない。

ヘッダ分析部１０８は、ストリーム分離部１０１から入力されたヘッダ情報を分析し、当該画像が画像内で符号化が行われるＩピクチャあるいは、他画面から動き予測が行われるＰ、Ｂピクチャといったピクチャタイプ情報を抽出、これをＭＢ復号化部１２１へ出力する。一方ヘッダ情報は、ヘッダ複製部１０９へ出力する。また、画像の水平画素数をＭＢデータ分析部１０２に出力する。ヘッダ複製部１０９は、ヘッダ分析部１０８から入力されるヘッダ情報を抽出する領域の数だけ複製すると同時にヘッダ情報内の画面のピクセルサイズや表示サイズ、１ピクセルの水平、垂直サイズの比率など任意の領域を抽出するにあたり変更が必要なパラメータ値の変更する。本実施の形態では抽出数は２つであり、ヘッダ情報は２つに複製する。また、抽出領域のピクセルサイズはいずれも３５２ｘ４８０であり、表示サイズは例えば７２０ｘ４８０とし、１ピクセルの縦、横サイズの比率もこれにあった値とすることができる。ヘッダ複製部１０９は、ヘッダの複製を行なった後、領域Ａについてのヘッダ情報を合成部Ａ１３０に、領域Ｂについてのヘッダ情報を成部Ｂ１３１に出力する。

選択器Ｂ１３１は、ＭＢ領域判定部１０３から入力されるＭＢ領域判定信号に従い、スライス構成部１０７から入力されるスライスデータの出力先を合成部Ａ１１０あるいは合成部Ｂ１１１に振り分ける。具体的には、領域Ａのスライスデータを合成部Ａ１１０に、領域Ｂのスライスデータを合成部Ｂ１１１に出力する。

合成部Ａ１１０は、ヘッダ複製部１０９から入力されるヘッダデータと選択器Ｂ１３１から入力されるスライスデータを合成してＭＰＥＧストリームとし記録装置２００にファイルＡ２０１として出力する。

合成部Ｂ１１１は前記合成部１１０と同様に、ヘッダ複製部１０９から入力されるヘッダデータと選択器Ｂ１３１から入力されるスライスデータを合成してＭＰＥＧストリームとし記録装置２００にファイルＢ２０２として出力する。

ここで、合成部Ａ１１０および合成部Ｂ１１１から出力されるＭＰＥＧストリームには、それぞれ領域Ａ、領域Ｂの画像のみが含まれるストリームとなっており、以上説明した本発明の第１の実施の形態の構成によりストリームの任意領域の抽出処理が達成される。また、１度の処理で複数の領域から抽出したストリームを同時に得ることができる。

さらにことのとき、前記抽出したＭＰＥＧストリームは、ＭＢ処理決定部１０４および再符号化部１２０の作用により抽出対象としたそれぞれの領域のみを参照するように修正されている、またヘッダ複製部１０９の作用により抽出領域に応じた適切なパラメータの値としたヘッダ情報となっており、さらにスライス構成部１０７の作用により抽出領域に応じたスライス構成とされている。このため前記抽出したＭＰＥＧストリームは、ＭＰＥＧ規格に準拠したストリームとなっており一般のデコーダで復号した場合、意図どおり抽出領域の画像が復号される。

第１の実施の形態では、前記合成部１１０および前記合成部１１１からそれぞれ出力されるＭＰＥＧストリームを同一の記憶装置２００に出力したが、それぞれ別々の記憶装置に出力しても構わない。また、前記出力されるＭＰＥＧストリームを直接デコーダへ出力することにしても構わない。さらに、前記ＭＰＥＧストリームを出力する記憶装置あるいはデコーダは、装置内に存在している必要はなくネットワーク上に配置されたものであっても構わない。

第１の実施の形態ではＭＰＥＧストリームから任意領域を抽出する例を記述したが、同様の方法は画像がＭＢあるいはＤＣＴブロックのように複数のブロックで構成され、かつ前記ブロック単位ごとに独立した処理が可能な符号化方式に適用できる。前記符号化方式がフレーム間の相関を利用しない符号化方式である場合、再符号化部１２０が必要ないためさらに簡易な構成でストリーム任意領域抽出方式を実施することができる。

（発明の第２の実施の形態）
本発明の第２の実施の形態は、図７のように図１で示した本発明の実施の形態の構成に加え、合成部Ａ１１０、合成部Ｂ１１１のそれぞれの後段に符号量制御部１４０をさらに備えた構成となる。

符号量制御部１４０は図８に示すように、符号レート変換部１４１および符号量計算部１４２から構成される。

符号レート変換部１４１は、入力されるＭＰＥＧストリームを可変長復号化および逆量子化を行なう。その後、符号量計算部１４２から入力される符号量制御信号をもとに新たな量子化ステップ値で量子化し可変長符号化して符号レートを変換したストリームを符号量計算部１４２に出力する。ここで、符号量制御信号は外部から指定される目標符号レートに対する符号レート変換部１４１から出力されるストリームの実符号レートの誤差を表わす信号である。従って、前記符号量制御信号により前記目標符号レートに対し、前記実符号レートが大きいと判定された場合は量子化ステップ値を大きな値とすることで符号レートを削減することができ、実符号レートが目標符号レートとなるよう制御できる。

符号量計算部１４２は、符号レート変換部１４１から入力される符号レートが変換されたストリームの符号量をカウントし、たとえばピクチャ毎に外部から入力される目標符号レートと前記符号量のカウント値から算出した実符号レートを比較し、目標符号レートに対する実符号レートの誤差を符号量制御信号として符号レート変換部１４１に出力する。また、符号量計算部１４２は入力されるストリームをそのまま出力する。目標符号レートと実符号レートの比較は、ピクチャ毎とは限らずスライス毎やその他の単位毎の比較として構わない。

このように本発明の第２の実施の形態では、合成部Ａ１１０、合成部Ｂ１１１のそれぞれの後段に前記符号量制御部１４０を備え、それぞれの符号量制御部１４０に各抽出領域の目標符号レートを入力することで、各領域から抽出したそれぞれのストリームの符号レートを任意に設定可能となる。

符号レート変換部１４１で行なわれる処理は、ＤＣＴや逆ＤＣＴの処理と比較してはるかに負荷の小さい処理であり、逆量子化および量子化をまとめて処理することでさらに高速にすることができる。したがって、第２の実施の形態により、高速性を保持したまま第１の実施の形態で示したストリーム任意領域抽出方式が可能とする機能に加え、各領域から抽出したそれぞれのストリームの符号レートを任意に設定可能なストリーム任意領域抽出方式を提供できる。

本発明の第２の実施の形態では、符号レート変換部１４１が合成部Ａ１１０および合成部Ｂ１１１の後段に配置される構成としたが、符号レート変換部１４１を選択器Ａ１３０の後段、あるいはメモリ１０６の後段、あるいはスライス構成部１０７の後段に配置する構成としても構わない。この場合符号レート変換部１４１には、領域Ａおよび領域Ｂから抽出したそれぞれのストリームについての符号量制御信号を入力する必要があり、また当該ＭＢが属する領域を判定する必要があるためＭＢ領域判定部１０３からＭＢ領域判定信号を入力する必要があるが、符号レート変換部１４１は抽出領域数に関わらず１つで済むことになり装置の簡略化が可能である。

（発明の第３の実施の形態）
本発明の第３の実施の形態は、ストリーム任意領域抽出部１００に加え、さらにメモリＡ３００およびメモリＢ４００およびライト制御部５００を備えた図９に示す構成となる。ストリーム任意領域抽出部１００は、本発明の第１の実施の形態である図１のストリーム任意領域抽出部１００あるいは本発明の第２の実施の形態である図７のストリーム任意領域抽出部１００と同様の機能を有し、また記録装置２００はライト制御部３００からの制御信号によりデータ書き込み位置が制御可能な記録装置である。

メモリＡ３００およびメモリＢ４００は、それぞれに入力されるストリーム任意領域抽出部１００で領域Ａおよび領域Ｂから抽出された２系統のストリームを記録する。

ライト制御部５００は、１フレームあるいはＧＯＰなどある程度まとまったストリームをデータ単位とし、前記メモリＡ３００およびメモリＢ４００に前記データ単位のストリームが蓄積された後に、メモリＡ３００およびメモリＢ４００のそれぞれから前記データ単位のストリームを読出し記録装置２００に出力する。このとき、読み出されたストリームを前記データ単位で可能な限り物理的に連続して記録媒体上に配置されるような記録位置を指定するための制御信号を記録装置２００に出力する。さらに複数の領域から抽出したストリームをライトする場合もそれぞれのストリームができるだけ隣接して記録媒体に配置されるような制御信号を記録装置２００に出力する。例えば記録装置２００で用いる記録媒体が光ディスクの場合は、領域Ａおよび領域Ｂから抽出されたストリームの物理的な配置は図１０のように、領域Ａと領域Ｂから抽出したストリームは前記データ単位で連続して記録され、さらにそれぞれのストリームが隣接して交互に配置される。前記データ単位は、１フレーム単位あるいはＧＯＰ単位あるいはそれ以上の単位でもそれ以下の単位であっても良い。さらに、前記データ単位はストリーム全体とすることもできる。

このとき、記録装置２００が光ディスクの内周から外周までをいくつかのゾーンに分けてその中で回転速度を一定とするZCAV（Zone Constant Angular Velocity）方式を用いている場合は、前記制御信号を用いてストリームをなるべく同一ゾーンに配置すれば、ストリームのリード処理時に記録装置２００が時間と負荷のかかる回転速度の変更を行なう頻度を削減できるためシーク時間や記録装置２００への負荷の低減できる。

記録装置２００が、制御信号により正確に物理的な書き込み位置の制御が可能であり、シークタイム等のアクセス速度が十分な速度である場合は、メモリＡ３００およびメモリＢ４００を省略することができる。一方、記録装置２００が、制御信号による物理的な書き込み位置の制御が不可能な場合にも、メモリＡ３００およびメモリＢ４００は、ライトするデータ単位を記録可能な容量とし、ストリームをデータ単位で連続して記録装置２００へ出力することで大概の記録装置において可能な限り物理的に連続した記録ができる。

以上の構成となる本発明の第３の実施の形態とすることで、ストリームから１つ乃至は複数の領域から抽出したストリームを記録装置に記録する際に、ストリームのあるまとまったデータ単位毎に連続して記録媒体に配置できる。これにより、ストリームを記録装置２００からリードし復号する際に、シーク回数およびシーク時間を最小限にでき、復号処理時に記録装置２００からのストリームのリード処理が間に合わない事態を防止でき、記録装置２００への負担も低減可能なストリーム任意領域抽出方式を提供できる。また、本発明の第３の実施の形態の構成とすることで、複数領域から抽出したそれぞれのストリームを隣接して記録媒体に配置できる。これにより、複数ストリーム同時復号処理を行なう場合でもシーク回数およびシーク時間を最小限にできるため複数ストリームの同時復号処理時に記録装置２００からのストリームのリード処理が間に合わない事態を防止でき、記録装置２００負担も低減可能なストリーム任意領域抽出方式を提供できる。

本発明によるストリーム任意領域抽出方式を、前記実施の形態として実施するにあたり、ストリーム任意領域抽出方式の各ブロックをこれと等価な機能を有する回路にて実現することが可能である。また同じく、ストリーム任意領域抽出方式の各ブロックはこれと等価な処理を行なうプログラムをコンピユータ上で実行することにより実現することが可能である。このとき前記コンピユータは前記プログラムを格納する記録媒体を備える。この記録媒体は、半導体メモリ、磁気ディスク、光ディスクその他の記録媒体であってよい。さらに、本発明のストリーム任意領域抽出方式における再符号化部１２０での処理は比較的処理の付加が大きいためソフトウェアで実現すると必要な処理速度に至らない場合は、それらの部分を回路により実現しても構わない。このように、本発明の実施においては、一部のブロックを回路、つまりハードウェアによる構成とし、他の部分をソフトウェアによる構成としても構わない。

また、メモリＡ３００およびメモリＢ４００としては、半導体メモリや磁気ディスクドライブ、その他にもストリームのバッファリングに十分に間に合う高速な記録装置により実施できる。

また、記録装置２００としては半導体メモリ、あるいは磁気ディスク、光ディスク、その他の記憶媒体にデータをライト・リード可能な装置により実施できる。本発明の第３の実施の形態を実施するにあたっては、記録装置２００は制御信号により記録媒体への物理的な記録位置を制御できることが望ましいが、必ずしもそうである必要はない。

本発明の第１の実施の形態の構成を示すブロック図である。本発明の第１の実施の形態での抽出領域を示す図である。本発明の第１の実施の形態での入力とする画像の例を示す図である。ＭＢ処理決定部でのＭＢ処理決定手順を示す流れ図である。参照画像中の異領域参照を示す図である。スライス構成部でのスライス構成例を示す図である。本発明の第２の実施の形態の構成を示すブロック図である。符号量制御部を示すブロック図である。本発明の第３の実施の形態の構成を示すブロック図である。記録媒体へのストリーム配置を示す図である。

符号の説明

１００ストリーム任意領域抽出部
１０１ストリーム分離部
１０２ＭＢデータ分析部
１０３ＭＢ領域判定部
１０４ＭＢ処理決定部
１０５ＭＢ領域変化判定部
１０６ＭＢデータ蓄積用メモリ
１０７スライス構成部
１０８ヘッダ分析部
１０９ヘッダ複製部
１１０合成部Ａ
１１１合成部Ｂ
１２０再符号化部
１２１ＭＢ復号化部
１２２ＭＢ符号化部
１２３参照画像メモリ
１３０選択器Ａ
１３１選択器Ｂ
１４０符号量制御部
１４１符号レート変換部
１４２符号量計算部
２００記録装置
２０１ファイルＡ（領域Ａから抽出されたストリーム）
２０２ファイルＢ（領域Ｂから抽出されたストリーム）
３００メモリＡ
４００メモリＢ
５００ライト制御部

Claims

ＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢ（マクロブロック）の属する領域を抽出するストリーム任意領域抽出方式において、
ＭＰＥＧ符号化方式で符号化されたストリームから、外部からの設定又は予め設定又は内部で決定の所定の方法で設定された、画像中の１つ又は複数の領域を抽出する際に、ストリーム中のＭＢが、前記設定された画像の領域に属しているかどうかを判定し、前記ストリーム中のＭＢが、前記設定された画像の領域に属していると判定された場合には、前記ストリーム中から前記ＭＢのデータ部分を抜き出すことで、前記設定された画像中の１つ又は複数の領域を抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、新たに当該ＭＢが属する領域と同じ領域から動き予測を行ないフレーム又はフィールド間の相関を利用した符号化を行なう手段を備え、
前記ＭＢデータの抽出動作に加え、ＭＰＥＧのヘッダ情報を、抽出領域とする数や範囲にしたがって修正および複製を行ない、抽出したＭＢデータと合成する手段を備えることで、それぞれの抽出領域から得られたストリームのそれぞれがＭＰＥＧ規格に準拠したストリームとなること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢ（マクロブロック）の属する領域を抽出するストリーム任意領域抽出方式において、
ＭＰＥＧ符号化方式で符号化されたストリームから、外部からの設定又は予め設定又は内部で決定の所定の方法で設定された、画像中の１つ又は複数の領域を抽出する際に、ストリーム中のＭＢが、前記設定された画像の領域に属しているかどうかを判定し、前記ストリーム中のＭＢが、前記設定された画像の領域に属していると判定された場合には、前記ストリーム中から前記ＭＢのデータ部分を抜き出すことで、前記設定された画像中の１つ又は複数の領域を抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、フレーム又はフィールド内符号化を行なう手段を備え、
前記ＭＢデータの抽出動作に加え、ＭＰＥＧのヘッダ情報を、抽出領域とする数や範囲にしたがって修正および複製を行ない、抽出したＭＢデータと合成する手段を備えることで、それぞれの抽出領域から得られたストリームのそれぞれがＭＰＥＧ規格に準拠したストリームとなること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢの属する領域を抽出するストリーム任意領域抽出方式において、
複数の画像を１つの画像に合成した画像をＭＰＥＧ符号化方式で符号化されたストリームから、ＭＢが、前記合成された画像のいずれかの画像の領域に属しているかどうかを判定し、抽出対象とする画像の領域に属していた場合、前記ＭＢのデータ部分を抜き出すことで、前記合成された画像の全て又はその一部を、抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、新たに当該ＭＢが属する領域と同じ領域から動き予測を行ないフレーム又はフィールド間の相関を利用した符号化を行なう手段を備え、
前記ＭＢデータの抽出動作に加え、ＭＰＥＧのヘッダ情報を、抽出領域とする数や範囲にしたがって修正および複製を行ない、抽出したＭＢデータと合成する手段を備えることで、それぞれの抽出領域から得られたストリームのそれぞれがＭＰＥＧ規格に準拠したストリームとなること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢの属する領域を抽出するストリーム任意領域抽出方式において、
複数の画像を１つの画像に合成した画像をＭＰＥＧ符号化方式で符号化されたストリームから、ＭＢが、前記合成された画像のいずれかの画像の領域に属しているかどうかを判定し、抽出対象とする画像の領域に属していた場合、前記ＭＢのデータ部分を抜き出すことで、前記合成された画像の全て又はその一部を、抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、フレーム又はフィールド内符号化を行なう手段を備え、
前記ＭＢデータの抽出動作に加え、ＭＰＥＧのヘッダ情報を、抽出領域とする数や範囲にしたがって修正および複製を行ない、抽出したＭＢデータと合成する手段を備えることで、それぞれの抽出領域から得られたストリームのそれぞれがＭＰＥＧ規格に準拠したストリームとなること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢ（マクロブロック）の属する領域を抽出するストリーム任意領域抽出方式において、
ＭＰＥＧ符号化方式で符号化されたストリームから、外部からの設定又は予め設定又は内部で決定の所定の方法で設定された、画像中の１つ又は複数の領域を抽出する際に、ストリーム中のＭＢが、前記設定された画像の領域に属しているかどうかを判定し、前記ストリーム中のＭＢが、前記設定された画像の領域に属していると判定された場合には、前記ストリーム中から前記ＭＢのデータ部分を抜き出すことで、前記設定された画像中の１つ又は複数の領域を抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、新たに当該ＭＢが属する領域と同じ領域から動き予測を行ないフレーム又はフィールド間の相関を利用した符号化を行なう手段を備え、
複数のＭＢで構成されるＭＰＥＧに規定されたスライスと呼ばれるデータの構造を抽出領域にしたがって再構成するスライス構成部を備えること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢ（マクロブロック）の属する領域を抽出するストリーム任意領域抽出方式において、
ＭＰＥＧ符号化方式で符号化されたストリームから、外部からの設定又は予め設定又は内部で決定の所定の方法で設定された、画像中の１つ又は複数の領域を抽出する際に、ストリーム中のＭＢが、前記設定された画像の領域に属しているかどうかを判定し、前記ストリーム中のＭＢが、前記設定された画像の領域に属していると判定された場合には、前記ストリーム中から前記ＭＢのデータ部分を抜き出すことで、前記設定された画像中の１つ又は複数の領域を抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、フレーム又はフィールド内符号化を行なう手段を備え、
複数のＭＢで構成されるＭＰＥＧに規定されたスライスと呼ばれるデータの構造を抽出領域にしたがって再構成するスライス構成部を備えること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢの属する領域を抽出するストリーム任意領域抽出方式において、
複数の画像を１つの画像に合成した画像をＭＰＥＧ符号化方式で符号化されたストリームから、ＭＢが、前記合成された画像のいずれかの画像の領域に属しているかどうかを判定し、抽出対象とする画像の領域に属していた場合、前記ＭＢのデータ部分を抜き出すことで、前記合成された画像の全て又はその一部を、抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、新たに当該ＭＢが属する領域と同じ領域から動き予測を行ないフレーム又はフィールド間の相関を利用した符号化を行なう手段を備え、
複数のＭＢで構成されるＭＰＥＧに規定されたスライスと呼ばれるデータの構造を抽出領域にしたがって再構成するスライス構成部を備えること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢの属する領域を抽出するストリーム任意領域抽出方式において、
複数の画像を１つの画像に合成した画像をＭＰＥＧ符号化方式で符号化されたストリームから、ＭＢが、前記合成された画像のいずれかの画像の領域に属しているかどうかを判定し、抽出対象とする画像の領域に属していた場合、前記ＭＢのデータ部分を抜き出すことで、前記合成された画像の全て又はその一部を、抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、フレーム又はフィールド内符号化を行なう手段を備え、
複数のＭＢで構成されるＭＰＥＧに規定されたスライスと呼ばれるデータの構造を抽出領域にしたがって再構成するスライス構成部を備えること
を特徴とするストリーム任意領域抽出方式。
請求項５から請求項８のいずれか１項に記載のストリーム任意領域抽出方式において、
とくに抽出対象とした領域で垂直位置が等しいＭＢの集合をスライスとして再構成するスライス構成部を備えることを特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢ（マクロブロック）の属する領域を抽出するストリーム任意領域抽出方式において、
ＭＰＥＧ符号化方式で符号化されたストリームから、外部からの設定又は予め設定又は内部で決定の所定の方法で設定された、画像中の１つ又は複数の領域を抽出する際に、ストリーム中のＭＢが、前記設定された画像の領域に属しているかどうかを判定し、前記ストリーム中のＭＢが、前記設定された画像の領域に属していると判定された場合には、前記ストリーム中から前記ＭＢのデータ部分を抜き出すことで、前記設定された画像中の１つ又は複数の領域を抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、新たに当該ＭＢが属する領域と同じ領域から動き予測を行ないフレーム又はフィールド間の相関を利用した符号化を行なう手段を備え、
抽出したストリームの実符号レートが外部から指定された目標レートとなるよう符号レートの変換を行なう符号量制御部を備えることで、前記抽出したストリームを任意の符号レートとすること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢ（マクロブロック）の属する領域を抽出するストリーム任意領域抽出方式において、
ＭＰＥＧ符号化方式で符号化されたストリームから、外部からの設定又は予め設定又は内部で決定の所定の方法で設定された、画像中の１つ又は複数の領域を抽出する際に、ストリーム中のＭＢが、前記設定された画像の領域に属しているかどうかを判定し、前記ストリーム中のＭＢが、前記設定された画像の領域に属していると判定された場合には、前記ストリーム中から前記ＭＢのデータ部分を抜き出すことで、前記設定された画像中の１つ又は複数の領域を抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、フレーム又はフィールド内符号化を行なう手段を備え、
抽出したストリームの実符号レートが外部から指定された目標レートとなるよう符号レートの変換を行なう符号量制御部を備えることで、前記抽出したストリームを任意の符号レートとすること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢの属する領域を抽出するストリーム任意領域抽出方式において、
複数の画像を１つの画像に合成した画像をＭＰＥＧ符号化方式で符号化されたストリームから、ＭＢが、前記合成された画像のいずれかの画像の領域に属しているかどうかを判定し、抽出対象とする画像の領域に属していた場合、前記ＭＢのデータ部分を抜き出すことで、前記合成された画像の全て又はその一部を、抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、新たに当該ＭＢが属する領域と同じ領域から動き予測を行ないフレーム又はフィールド間の相関を利用した符号化を行なう手段を備え、
抽出したストリームの実符号レートが外部から指定された目標レートとなるよう符号レートの変換を行なう符号量制御部を備えることで、前記抽出したストリームを任意の符号レートとすること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢの属する領域を抽出するストリーム任意領域抽出方式において、
複数の画像を１つの画像に合成した画像をＭＰＥＧ符号化方式で符号化されたストリームから、ＭＢが、前記合成された画像のいずれかの画像の領域に属しているかどうかを判定し、抽出対象とする画像の領域に属していた場合、前記ＭＢのデータ部分を抜き出すことで、前記合成された画像の全て又はその一部を、抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、フレーム又はフィールド内符号化を行なう手段を備え、
抽出したストリームの実符号レートが外部から指定された目標レートとなるよう符号レートの変換を行なう符号量制御部を備えることで、前記抽出したストリームを任意の符号レートとすること
を特徴とするストリーム任意領域抽出方式。
請求項１０から請求項１３のいずれか一項に記載のストリーム任意領域抽出方式において、
とくに実符号レートと外部から指定される目標レートの誤差を算出する符号量計算部と該符号量計算部により算出された誤差に応じてストリームの量子化ステップ値を変更し前記実符号レートを前記目標レートに制御する符号レート変換部とから成る符号量制御部を備えること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢ（マクロブロック）の属する領域を抽出するストリーム任意領域抽出方式において、
ＭＰＥＧ符号化方式で符号化されたストリームから、外部からの設定又は予め設定又は内部で決定の所定の方法で設定された、画像中の１つ又は複数の領域を抽出する際に、ストリーム中のＭＢが、前記設定された画像の領域に属しているかどうかを判定し、前記ストリーム中のＭＢが、前記設定された画像の領域に属していると判定された場合には、前記ストリーム中から前記ＭＢのデータ部分を抜き出すことで、前記設定された画像中の１つ又は複数の領域を抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、新たに当該ＭＢが属する領域と同じ領域から動き予測を行ないフレーム又はフィールド間の相関を利用した符号化を行なう手段を備え、
抽出した１つ又は複数のストリームを記録媒体に記録する際に、それぞれのストリームについてあるまとまった量のストリームをデータ単位として蓄積するメモリを備え、前記メモリから前記データ単位毎にストリームを読み出し、前記データ単位に読み出されたストリームを記録媒体に連続して配置されるように記録装置に出力するライト制御部を備えること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ（ＭｏｔｉｏｎＰｉｃｔｕｒｅＥｘｐｅｒｔＧｒｏｕｐ）符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢ（マクロブロック）の属する領域を抽出するストリーム任意領域抽出方式において、
ＭＰＥＧ符号化方式で符号化されたストリームから、外部からの設定又は予め設定又は内部で決定の所定の方法で設定された、画像中の１つ又は複数の領域を抽出する際に、ストリーム中のＭＢが、前記設定された画像の領域に属しているかどうかを判定し、前記ストリーム中のＭＢが、前記設定された画像の領域に属していると判定された場合には、前記ストリーム中から前記ＭＢのデータ部分を抜き出すことで、前記設定された画像中の１つ又は複数の領域を抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、フレーム又はフィールド内符号化を行なう手段を備え、
抽出した１つ又は複数のストリームを記録媒体に記録する際に、それぞれのストリームについてあるまとまった量のストリームをデータ単位として蓄積するメモリを備え、前記メモリから前記データ単位毎にストリームを読み出し、前記データ単位に読み出されたストリームを記録媒体に連続して配置されるように記録装置に出力するライト制御部を備えること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢの属する領域を抽出するストリーム任意領域抽出方式において、
複数の画像を１つの画像に合成した画像をＭＰＥＧ符号化方式で符号化されたストリームから、ＭＢが、前記合成された画像のいずれかの画像の領域に属しているかどうかを判定し、抽出対象とする画像の領域に属していた場合、前記ＭＢのデータ部分を抜き出すことで、前記合成された画像の全て又はその一部を、抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、新たに当該ＭＢが属する領域と同じ領域から動き予測を行ないフレーム又はフィールド間の相関を利用した符号化を行なう手段を備え、
抽出した１つ又は複数のストリームを記録媒体に記録する際に、それぞれのストリームについてあるまとまった量のストリームをデータ単位として蓄積するメモリを備え、前記メモリから前記データ単位毎にストリームを読み出し、前記データ単位に読み出されたストリームを記録媒体に連続して配置されるように記録装置に出力するライト制御部を備えること
を特徴とするストリーム任意領域抽出方式。
ＭＰＥＧ符号化方式により符号化されたストリームから任意の１つ又は複数のＭＢの属する領域を抽出するストリーム任意領域抽出方式において、
複数の画像を１つの画像に合成した画像をＭＰＥＧ符号化方式で符号化されたストリームから、ＭＢが、前記合成された画像のいずれかの画像の領域に属しているかどうかを判定し、抽出対象とする画像の領域に属していた場合、前記ＭＢのデータ部分を抜き出すことで、前記合成された画像の全て又はその一部を、抽出し、
当該ＭＢの属する領域と前記ＭＢが動き補償のために参照する領域が異なる場合に、フレーム又はフィールド内符号化を行なう手段を備え、
抽出した１つ又は複数のストリームを記録媒体に記録する際に、それぞれのストリームについてあるまとまった量のストリームをデータ単位として蓄積するメモリを備え、前記メモリから前記データ単位毎にストリームを読み出し、前記データ単位に読み出されたストリームを記録媒体に連続して配置されるように記録装置に出力するライト制御部を備えること
を特徴とするストリーム任意領域抽出方式。
請求項１５から請求項１８のいずれか１項に記載のストリーム任意領域抽出方式において、
抽出した複数のストリームを、それぞれ前記データ単位毎に隣接して記録媒体に配置されるように記録装置に出力するライト制御部を備えること
を特徴とするストリーム任意領域抽出方式。
請求項１５から請求項１８のいずれか１項に記載のストリーム任意領域抽出方式において、
抽出した１つ又は複数のストリームを、それぞれストリーム単位で連続して記録媒体に配置されるように記録装置に出力するライト制御部を備えること
を特徴とするストリーム任意領域抽出方式。
請求項１から請求項２０のいずれか１項に記載のストリーム任意領域抽出方式と等価な処理をおこなうストリーム任意領域抽出装置。
請求項１から請求項２０のいずれか１項に記載のストリーム任意領域抽出方式の処理をコンピュータに実行させるためのプログラム。
請求項１から請求項２０のいずれか１項に記載のストリーム任意領域抽出方式の処理をコンピュータに実行させるためのプログラムを記録した記録媒体。