JP2002010210A - 画像処理方法ならびに画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像、音声を多重せずに、あるいは複数の画
像を扱うためのシーン記述データがある場合にも多重し
たデータと同様に記録、伝送を可能とする画像処理方法
を提供すること。 【解決手段】 画像、音声など複数のデジタルデータを
入力し、データが画像、音声で多重されているか、もし
くはシーン記述が存在するかのフラグを付加して、画
像、音声データならびに多重ならびにシーン記述フラグ
とを記録、伝送する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】 本発明は、デジタル画像や
音声などをディスクやメモリなどに記録したり記録済み
のデータを再生したりする場合に用いる画像処理方法な
らびに画像処理装置に関するものである。

【０００２】

【従来の技術】画像、音声のデジタル化の進展にともな
い、圧縮した画像、音声データを蓄積媒体に記録、再生
するための規格化が行われている。DVDもその一つで、
従来は再生専用であったが、記録可能なDVDの実用化に
伴い画像、音声データを記録するビデオ記録規格も制定
されている。

【０００３】以下、図面を参考にしながら、従来の画像
記録、再生のための画像処理方法の一例である、ビデオ
記録規格（映像情報メディア学会誌 Vol.53, No.10,
“光ディスクの標準化動向”、村瀬、他）を説明する。

【０００４】図７は従来の画像記録、再生規格の一例で
あるビデオ記録規格の説明図で、図７(a)は記録、再生
装置のブロック図、図７(b)は記録した画像、音声のフ
ォーマットを示す説明図である。図７(a)において、７
１は画像、音声を圧縮し、これらを多重化する、または
多重化された圧縮映像、音声データを分離し、伸張する
コーデック部、７２はコーデック部７１で生成したデー
タを記録、あるいは記録媒体からデータを再生するドラ
イブである。

【０００５】以下、図７を用いて記録、再生装置の動作
を説明する。デジタル化した画像、音声データは外部か
ら画像コーデック７１１、音声コーデック７１２に入力
し圧縮する。圧縮したデータは多重化/分離処理７１３
に入力する。DVDで記録するデータは図７に示すよう
に、プログラムに該当するVideo Objectの単位で構成す
る。このVideo Objectは図７（ｃ）のVideo Object Uni
tの集まりであり、Video Object Unitは、例えばランダ
ムアクセス可能な単位である。Video Object Unitは図
７（ｄ）のVideo Pack、Audio Packに更に分けられる。
Packは2048byteなど、実際のディスクの記録、再生の単
位である。

【０００６】多重化/分離処理７１３では、圧縮した画
像、音声データを入力し、Pack単位にまとめて同期再生
用の時間情報を付加し、図７（ｄ）のように画像、音声
を多重して、トラックバッファ７１４に出力する。デー
タは更にエラー訂正処理部７２１でエラー訂正用のデー
タが付加され、変調された上でDVD-RAMディスク７２４
に記録される。一方、記録されているデータは、記録と
逆の流れで復調、エラー訂正されて、トラックバッファ
７１４を介して多重化／分離処理７１３に入力される。
入力されたデータは図７（ｄ）のフォーマットに従い多
重化されているので、ヘッダで画像、音声の識別をしつ
つデータを分離し、それぞれのコーデックに入力、伸張
して、再生されることとなる。

【０００７】

【発明が解決しようとする課題】従来の画像処理方法な
らびに画像処理装置は以上のように構成されており、所
定のフォーマットにて記録した多重圧縮符号化されたデ
ータを画像、音声に分離して再生することでビデオ記録
規格に沿ったデータ記録・再生を行うことができるもの
であったが、図７の構成では以下の２つの問題が生ず
る。

【０００８】第１に、DVDに記録するフォーマットは図
７（ｄ）のように必ず画像と音声を多重化することにな
っているが、このため多重化処理が必要であり、高速な
データ処理が必要な際は負荷となる。近年の半導体メモ
リ価格の低下に伴い、蓄積媒体もDVDと異なり、半導体
メモリのような高速なデータ入出力可能な媒体が認知さ
れつつある。そしてこのような媒体を利用するようなデ
ータ入出力速度が速い場合、従来のDVDのように音声と
映像とを多重化して、音声データと映像データとを交互
にトラック上に配置し、これをピックアップで一定レー
トでトレースして、映像とこれに対応する音声とを取り
出すような処理は必要なく、媒体の任意の位置に記録さ
れたデータをランダムにアクセスして取り出すことも可
能であり、従って必ずしもデータを多重化することな
く、見かけ上、画像と音声を同時に入出力することも可
能である。また、インターネットで伝送するマルチメデ
ィアデータなどは、画像、音声を多重してないものが多
く、記録時の多重、分離処理は機器に負担をかけるだけ
で利点はない。

【０００９】第２に、1999年にISO/IECで制定された動
画像圧縮規格MPEG-4では、複数の画像、音声データを１
つのプログラムの中で扱うことができる。その際、どの
画像、音声をどの位置で、どの時間に再生するかをシー
ン記述と呼ぶデータで表現する。この場合、シーン記述
の内容で再生するデータが決まるので、従来例のように
あらかじめ決められた間隔で複数の画像、音声データを
多重することはできないという問題点を有していた。

【００１０】本発明は以上のような問題点を解消するた
めになされたもので、必要に応じて画像、音声データを
多重することなく記録、伝送することのできる画像処理
方法ならびに画像処理装置を提供することを目的とす
る。

【００１１】

【課題を解決するための手段】本発明の請求項１にかか
る画像処理方法は、画像、音声などの複数のデジタルデ
ータ、ならびに該複数のデジタルデータを多重するかど
うかを示す指示信号を入力し、該指示信号により多重化
が指定された場合に、前記複数のデジタルデータを多重
し、多重したデジタルデータおよび、多重しているかど
うかを示すフラグを出力するものである。

【００１２】また、本発明の請求項２にかかる画像処理
方法は、画像、音声などの複数のデジタルデータ、なら
びに前記複数のデジタルデータの再生時間もしくは再生
位置を示すシーン記述データを入力し、シーン記述の有
無を示すシーン記述フラグを設定し、上記デジタルデー
タと、シーン記述フラグとを出力するものである。

【００１３】また、本発明の請求項３にかかる画像処理
方法は、請求項１または請求項２記載の画像処理方法に
おいて、上記入力したデジタルデータに対して、任意の
時間あるいは場所にアクセスするためのアクセス情報を
生成し、上記デジタルデータとともに上記アクセス情報
を出力するものである。

【００１４】また、本発明の請求項４にかかる画像処理
装置は、音声データを符号化する音声符号化手段と、画
像データを符号化する画像符号化手段と、上記符号化し
て得られた複数のデジタルデータ、ならびに該複数のデ
ジタルデータを多重するかどうかを示す指示信号を入力
とし、上記指示信号により多重化が指示された場合に、
上記複数のデジタルデータを多重し、該多重したデジタ
ルデータおよび、多重しているかどうかを示すフラグを
出力する多重化手段と、を備えたものである。

【００１５】また、本発明の請求項５にかかる画像処理
方法は、画像、音声などの複数のデジタルデータ、なら
びに該複数のデジタルデータが多重されているかどうか
を示すフラグを入力とし、上記フラグにより多重化が指
定されている場合に、上記複数のデジタルデータを分離
し、該分離した複数のデジタルデータをそれぞれ出力す
るものである。

【００１６】また、本発明の請求項６にかかる画像処理
方法は、画像、音声などの複数のデジタルデータ、なら
びに該複数のデジタルデータの再生時間もしくは再生位
置を示すシーン記述データの有無を示すシーン記述フラ
グを入力し、該シーン記述フラグがシーン記述データが
あることを示している場合に、上記デジタルデータと、
シーン記述データを出力するものである。

【００１７】また、本発明の請求項７にかかる画像処理
装置は、デジタル化された音声データを復号化する音声
復号化手段と、デジタル化された画像データを復号化す
る画像復号化手段と、上記複数のデジタルデータが多重
されているかどうかを示すフラグを検出し、該フラグに
より上記複数のデジタルデータの多重化が指定されてい
る場合に、該複数のデジタルデータを分離し、該複数の
デジタルデータを別々に出力するように上記音声復号化
手段、及び画像復号化手段を制御する分離・制御手段
と、を備えたものである。

【００１８】また、本発明の請求項８にかかる画像処理
装置は、音声データを符号化する音声符号化手段と、画
像データを符号化する画像符号化手段と、上記符号化し
て得られた複数のデジタルデータ、ならびに上記複数の
デジタルデータを多重するかどうかを示す指示信号とを
入力とし、上記指示信号により多重化が指定されている
場合に、上記複数のデジタルデータを多重し、該多重し
たデジタルデータおよび、多重しているかどうかを示す
フラグを出力する多重化手段と、上記多重化されたデジ
タルデータおよび、多重しているかどうかを示すフラグ
を同一の記録媒体に記録するデータ記録手段と、を備え
たものである。

【００１９】また、本発明の請求項９にかかるデータ記
録媒体は、画像、音声などの複数のデジタルデータを同
一の記録媒体に記録する処理を、コンピュータにより行
うための映像処理プログラムを格納したデータ記録媒体
であって、上記映像処理プログラムは、画像、音声など
の複数のデジタルデータ、ならびに上記複数のデジタル
データを多重するかどうかを示す指示信号を入力する第
１のプログラムと、上記指示信号により多重化が指示さ
れた場合に、上記複数のデジタルデータを多重する第２
のプログラムと、上記多重したデジタルデータおよび、
多重しているかどうかを示すフラグを出力する第３のプ
ログラムと、上記出力された多重したデジタルデータお
よび、多重しているかどうかを示すフラグを同一の記録
媒体に記録する第４のプログラムと、を含むものであ
る。

【００２０】また、本発明の請求項１０にかかるデータ
記録媒体は、同一の記録媒体に記録された画像、音声な
どの複数のデジタルデータを再生する処理を、コンピュ
ータにより行うための映像処理プログラムを格納したデ
ータ記録媒体であって、画像、音声などの複数のデジタ
ルデータ、ならびに該複数のデジタルデータが多重され
ているかどうかを示すフラグを読み出す第１のプログラ
ムと、上記フラグにより上記画像、音声などの複数のデ
ジタルデータが多重されているかどうかを判定する第２
のプログラムと、上記判定結果により、上記画像、音声
などの複数のデジタルデータが多重されていると判定さ
れた場合に、上記複数のデジタルデータを分離し、得ら
れた複数のデジタルデータを別々に出力する第３のプロ
グラムと、を含むものである。

【００２１】また、本発明の請求項１１にかかるデータ
記録媒体は、画像、音声データなどの複数のデジタルデ
ータと、該画像、音声データなどの複数のデジタルデー
タのそれぞれが多重化されているか否かを示すそれぞれ
対応する多重フラグと、を記録したものである。

【００２２】

【発明の実施の形態】以下、本発明の実施の形態におけ
る画像処理方法ならびに画像処理装置について、図面を
参照しながら説明する。図１は本発明の実施の形態にお
ける画像処理装置のブロック図である。図１において１
１は多重化手段となる多重制御部であり、映像、音声な
どの複数のデジタルデータの多重化、及び、多重化され
たデジタルデータを個々のデータに分離するもので、CP
Uで構成する。また、１２は記録、再生を行う記録再生
部、１３は記録媒体、１４は音声符号化（復号化）手段
となる音声コーデック、１５は画像符号化（復号化）手
段となる画像コーデック、１６はネットワークインタフ
ェースである。また、１７はデータが多重化されている
か否かを示すフラグであり、外部よりユーザが入力する
ものである。また、図２および図３は本発明の実施の形
態における記録フォーマットの説明図、図４はCPU１１
の記録時の動作を示すフローチャート、図５は再生時の
動作を示すフローチャートである。

【００２３】以上のように構成された画像処理装置を例
にとり、画像処理としての画像記録、再生方法について
図１、図２、図３、図４、図５を用いて説明する。図２
は記録媒体上のデータフォーマットを示している。画
像、音声データは、プログラムと呼ぶ単位で管理し、１
つの蓄積媒体には複数のプログラムを記録することがで
きる。また、プログラムとあわせて、蓄積媒体中のプロ
グラム全体を管理する管理情報も併せて記録している。
おのおののプログラムはオブジェクトと呼ぶある大きさ
のデータで構成されている。ビデオカメラで撮影した場
合には、例えば、オブジェクトは撮影を開始して、終了
するまでに撮影した画像、あるいは音声に該当し、プロ
グラムは電源を入れてから切るまでに該当する。もちろ
んこれに限るものではなく、１プログラムが１つのオブ
ジェクトから構成されていてもよいし、また、１つの蓄
積媒体中に１プログラムのみが記録されていてもかまわ
ない。図２では、３つのプログラムが記録されている例
を示しており、プログラム＃１のオブジェクトは画像と
音声が多重されている。また、プログラム＃２のオブジ
ェクトは画像と、音声が多重されず、そのまま別のオブ
ジェクトとして記録されている。また、プログラム＃３
はオブジェクトは多重されているかは不明であるが、画
像、音声の他にシーン記述のデータがあわせて記録され
ている。さらに、図２では、画像、音声データの他に、
ランダムアクセスに用いるアクセス情報もあわせて記録
されている。

【００２４】図３（a）は図２における管理情報の内容
の例である。管理情報は、プログラム単位に分けられて
おり、さらに各プログラムはオブジェクトごとの管理情
報に分かれている。オブジェクトIDはオブジェクトを識
別するための番号で、記録してあるオブジェクトに１対
１に対応している。各プログラムにはシーン記述フラ
グ、各オブジェクトには多重フラグがある。シーン記述
フラグはそのプログラムがシーン記述で管理されている
かを示しており、このフラグがたっていれば、必ずこの
プログラムにはシーン記述データが存在する。また、多
重フラグは、各オブジェクトが画像、音声を多重した状
態で記録されているかどうかを示している。図３(a)の
例では、プログラム１はシーン記述フラグが立っていな
いため、シーン記述なし、各オブジェクトは多重フラグ
が立っているため、画像、音声が多重されていることが
わかる。

【００２５】また、プログラム２は多重フラグが立って
いないため、画像、音声が分離した状態で記録されてい
る。この場合、AVオブジェクトIDは分離した場合であっ
ても１つしかないが、画像と音声は同じIDを持ってもフ
ァイルの拡張子などで区別できるため、１つで管理する
ことができ、管理情報自体のデータ量を削減することが
できる。もちろん、AVオブジェクトIDの記述方法はこれ
に限るものではなく、同時再生に必要なデータのAVオブ
ジェクトIDを管理情報の中に列挙してもよい。

【００２６】また、プログラム３はシーン記述フラグが
立っているため、最初にシーン記述オブジェクトのIDが
かかれている。図３(b)がシーン記述の例で、この例の
ように、シーン記述中には、そのデータをどの時間に、
どの位置で再生すべきかがかかれている。従って、シー
ン記述を参照することで、再生すべきデータが判定でき
る。また管理情報には各プログラムがいくつのオブジェ
クトで構成されているかを示す数字が併せて記録されて
いるが、シーン記述がある場合はオブジェクト数は０に
なっている。この理由は、シーン記述ですべてオブジェ
クトを管理するため、編集等でオブジェクト数を変えて
もシーン記述のみ変更するようにし、全体の管理情報を
さらに編集する負荷を減らすためである。

【００２７】次に、図１と図４を用いて、図２、図３の
フォーマットでデータを記録する方法を説明する。図１
において、音声コーデック１４、画像コーデック１５は
従来例と同様に、入力したデジタル画像、音声データを
圧縮する。CPU１１では、まず、ステップＳ４１１でデ
ータが入力されると、ステップＳ４１２でシーン記述が
入力されているかどうか確認し、シーン記述がない場
合、ステップＳ４１４において、シーン記述フラグ＝０
とされ、ステップＳ４１５でランダムアクセスのための
情報であるアクセス情報を生成する。このランダムアク
セスのための情報とは、例えば、MPEG方式の画像圧縮な
らばフレーム内符号化フレームまでのデータ数やフレー
ム数、あるいは時刻、音声データであれば画像のアクセ
スポイントに該当する音声フレームの番号やそれまでの
フレーム数などであるが、これに限るものではなく、ア
クセスの指標になるデータ量、数値であればなんでも用
いることができる。そしてステップＳ４１６に進んでア
クセスポイントデータの記録が行われる。

【００２８】次にステップＳ４１７で多重記録か分離し
たまま記録するかの判定を入力する。プログラム１が多
重記録の場合（ステップＳ４１８参照）、ステップＳ４
１９で圧縮した画像、音声データを一定の大きさに区切
り、ステップＳ４２０で画像、音声データに同期再生な
どの情報を一定のパケットごとに付加する。次に、ステ
ップＳ４２１で画像と音声を多重して、記録/再生部１
２に送り、記録媒体１３に管理情報、アクセス情報とと
もに記録し、ステップＳ４２４においてデータが終わり
と判定されるまで、ステップＳ４１５〜ステップＳ４２
３が繰り返され、ステップＳ４２４でデータが終わりと
判定されて管理情報が更新され（ステップＳ４３２）処
理が終了する。

【００２９】一方、シーン記述がなく、上記ステップＳ
４１７でＡＶ多重しないと判定された場合は、ステップ
Ｓ４２８で多重フラグ＝０とされ、同期用の情報を付加
した後、そのまま記録／再生部１２に送る。また、シー
ン記述がある場合は、４２６でシーン記述中に書いてあ
る画像、音声データの名称と記録するデータの名称が一
致するようにシーン記述中の参照データ名を書き換えた
後、４２９でアクセス情報を生成し、同期用の情報を付
加した後、記録／再生部１２に送る。また、図３（a）
の管理情報は、データ処理と同時に、CPU１１シーン記
述フラグ、多重化フラグを各プログラム、オブジェクト
に対応して生成し、オブジェクト数や番号などの情報と
ともに４３２で管理情報のフィールドに記録する。以上
の動作により図２、図３に対応したフォーマットの画
像、音声データが記録できることとなる。

【００３０】次に、図２、図３のフォーマットで記録さ
れたデータを再生する方法を図1および図５を用いて説
明する。図２のフォーマットではプログラム単位に再生
することを前提としているので、ここでは１つのプログ
ラムを再生する手順を説明する。まず、ステップＳ５１
１でプログラムの管理情報を読む。管理情報においてス
テップＳ５１２でシーン記述フラグにより、シーン記述
の有無が判定される。

【００３１】まず、シーン記述がない場合、ステップＳ
５１３に進んでデータを入力し、次にステップＳ５１４
で多重フラグによりデータが多重されているかどうか判
定する。ここで多重されていると判定された場合、ステ
ップＳ５１５に進んで画像と音声とを分離し、ステップ
Ｓ５１６でそれぞれのコーデックに送りヘッダに付加さ
れている同期情報に従って同期再生する。そしてステッ
プＳ５１７において、データの終わりが検出されるまで
上記ステップＳ５１３〜ステップＳ５１６が繰り返され
る。一方、上記ステップＳ５１４においてデータが多重
してないと判定された場合には、ステップＳ５１５の手
順を省略し、そのまま同期用の情報とともにそれぞれの
コーデックに送る（ステップＳ５１６）。

【００３２】一方、上記ステップＳ５１２において、シ
ーン記述があると判定された場合は、ステップＳ５１８
に進んでシーン記述を再生し、シーン記述からそれぞれ
のデータの再生時間と、再生すべきデータをステップＳ
５１９で特定する。そして、ステップＳ５２０において
再生すべき時間がきたと判定されたらステップＳ５２１
においてデータを入力し、ステップＳ５２２においてデ
ータを再生するが、通常は、画像データと音声データと
が多重されているかがシーン記述の情報で識別できるの
で、多重化されていれば分離し、されていなければその
まま同期用の情報とともにコーデックに送る。ここでシ
ーン記述で扱う画像、音声データは多重されていてもさ
れていなくてもかまわない。多重されていない場合は、
分離した状態のまま画像、音声のコーデックにデータを
送ることになる。また、シーン記述ではデータを再生す
る順番も指定しているので、その順序に従い、記録して
ある画像、音声データを再生する。そしてステップＳ５
２３においてデータの終わりが検出されるまで、上記ス
テップＳ５２０〜ステップＳ５２２が繰り返される。以
上のような手順により、記録した画像、音声が多重して
あるかないかにかかわらず再生可能となり、またシーン
記述がある場合でも再生できることとなる。

【００３３】また、図６は本発明の実施の形態をコンピ
ュータにより行うためのプログラムならびにデータを記
録する記録媒体、およびコンピュータシステムを示す図
で、６１が記録媒体、６２がコンピュータシステムであ
る。記録媒体６１は半導体メモリカードを想定してお
り、図４、図５に示した手順をプログラムで実現し、そ
のプログラムを記憶させることにより、コンピュータシ
ステム６２に移植し実行することができる。また、デー
タ自体を記録媒体６１に書き込み、再生することで、本
実施の形態と同様の効果を得ることができる。

【００３４】なお、上記説明では、データ記録媒体とし
て半導体メモリを用いる場合について説明したが、デー
タ記録媒体６１として、フロッピー（登録商標）ディス
ク、CD、DVD等のディスクや、ICカードなどの記録素子
を備えたメディアであれば同様に実施することができ
る。

【００３５】また、ファイルの管理をプログラム、オブ
ジェクトの構成で説明したがこれに限るものではなく、
プログラムの単位でまとまっておらず、画像、音声デー
タがそのまま記録されていても適用できる。

【００３６】さらに、以上の実施の形態では、シーン記
述フラグを各プログラムにあるとして説明したが、これ
に限るものではなく各オブジェクトにシーン記述フラグ
があってもよい。その場合はフラグに対応して、おのお
のオブジェクトに対応するシーン記述オブジェクトが存
在することとなる。また、説明では各プログラムごとに
多重するか多重しないかをわけて説明したが、このよう
な例では、オブジェクトごとではなくプログラムごとに
多重フラグを付加してもよい。逆に、オブジェクトごと
に付加してあるために、同じプログラムの中でオブジェ
クトごとに多重したデータとそうでないデータを混在さ
せることが可能である。

【００３７】さらに、多重する場合、画像、音声をそれ
ぞれ１つずつとして説明したが、複数の画像、音声が多
重できるように拡張することも可能である。

【００３８】また、以上の実施の形態では、画像処理方
法を、記録媒体に記録、再生する例を説明したが、これ
に限るものではなく、図１において記録/再生部を伝送
路インタフェースに変え、伝送路の途中に設置して、伝
送するデータを多重分離、さらにフラグ付加などの処理
を行うこともできる。また、画像、音声データはコーデ
ックからの入出力に限り説明したが、図１においてネッ
トワークインタフェース１６を付加し、ネットワークに
画像、音声データを送出、あるいは受信するようにして
も同様の効果を実現できる。

【００３９】また、画像、音声データの多重/分離と、
多重フラグあるいはシーン記述フラグの付加あるいは、
内容の判定をすべてCPU１１で行うとしたが、これに限
る必要はなく、多重/分離部はハードウェアで構成す
る、あるいはそれぞれ異なるCPUで実現するなど、同様
の動作が実現できればハードウェアの構成を特定するも
のではない。

【００４０】

【発明の効果】以上のように、本発明の請求項１にかか
る画像処理方法によれば、画像、音声などの複数のデジ
タルデータ、ならびに該複数のデジタルデータを多重す
るかどうかを示す指示信号を入力し、該指示信号により
多重化が指定された場合に、前記複数のデジタルデータ
を多重し、多重したデジタルデータおよび、多重してい
るかどうかを示すフラグを出力するものとしたので、画
像、音声が多重されているかどうかをフラグで識別でき
るため、画像、音声を必ずしも多重して記録する必要は
なく、分離した状態での記録、再生を行うことができ、
その結果、記録時の多重、分離処理によって機器に負担
をかけることを低減することができると言う効果が得ら
れる。

【００４１】また、本発明の請求項２にかかる画像処理
方法によれば、画像、音声などの複数のデジタルデー
タ、ならびに前記複数のデジタルデータの再生時間もし
くは再生位置を示すシーン記述データを入力し、シーン
記述の有無を示すシーン記述フラグを設定し、上記デジ
タルデータと、シーン記述フラグとを出力するものとし
たので、シーン記述の有無をフラグで識別し、シーン記
述がある場合はシーン記述を参照してデータの記録／再
生を行うため、MPEG-4のように１つのプログラム中に複
数の画像、音声が存在する場合においても、多重、分離
処理による機器への負担を低減することができると言う
効果が得られる。

【００４２】また、本発明の請求項３にかかる画像処理
方法によれば、請求項１または請求項２記載の画像処理
方法において、上記入力したデジタルデータに対して、
任意の時間あるいは場所にアクセスするためのアクセス
情報を生成し、上記デジタルデータとともに上記アクセ
ス情報を出力するものとしたので、例えば、ＭＰＥＧ方
式の圧縮画像、音声に対して任意のデータに容易にアク
セスすることができると言う効果が得られる。

【００４３】また、本発明の請求項４にかかる画像処理
装置によれば、音声データを符号化する音声符号化手段
と、画像データを符号化する画像符号化手段と、上記符
号化して得られた複数のデジタルデータ、ならびに該複
数のデジタルデータを多重するかどうかを示す指示信号
を入力とし、上記指示信号により多重化が指示された場
合に、上記複数のデジタルデータを多重し、該多重した
デジタルデータおよび、多重しているかどうかを示すフ
ラグを出力する多重化手段と、を備えたものとしたの
で、画像、音声が多重されているかどうかをフラグで識
別できるため、画像、音声を必ずしも多重して記録する
必要はなく、分離した状態での記録、再生を行うことが
でき、その結果、記録時の多重、分離処理によって機器
に負担をかけることを低減することができると言う効果
が得られる。

【００４４】また、本発明の請求項５にかかる画像処理
方法によれば、画像、音声などの複数のデジタルデー
タ、ならびに該複数のデジタルデータが多重されている
かどうかを示すフラグを入力とし、上記フラグにより多
重化が指定されている場合に、上記複数のデジタルデー
タを分離し、該分離した複数のデジタルデータをそれぞ
れ出力するものとしたので、多重化されているデジタル
データと多重化されていないデジタルデータが混在する
同一記録媒体に記録されたデータを容易に読み出して再
生することができるという効果が得られる。

【００４５】また、本発明の請求項６にかかる画像処理
方法によれば、画像、音声などの複数のデジタルデー
タ、ならびに該複数のデジタルデータの再生時間もしく
は再生位置を示すシーン記述データの有無を示すシーン
記述フラグを入力し、該シーン記述フラグがシーン記述
データがあることを示している場合に、上記デジタルデ
ータと、シーン記述データを出力するものとしたので、
シーン記述の有無をフラグで識別し、シーン記述がある
場合はシーン記述を参照してデータの記録／再生を行う
ため、MPEG-4のように１つのプログラム中に複数の画
像、音声が存在する場合においても、多重、分離処理に
よる機器への負担を低減することができると言う効果が
得られる。

【００４６】また、本発明の請求項７にかかる画像処理
装置によれば、デジタル化された音声データを復号化す
る音声復号化手段と、デジタル化された画像データを復
号化する画像復号化手段と、上記複数のデジタルデータ
が多重されているかどうかを示すフラグを検出し、該フ
ラグにより上記複数のデジタルデータの多重化が指定さ
れている場合に、該複数のデジタルデータを分離し、該
複数のデジタルデータを別々に出力するように上記音声
復号化手段、及び画像復号化手段を制御する分離・制御
手段と、を備えたものとしたので、多重化されているデ
ジタルデータと多重化されていないデジタルデータが混
在する同一記録媒体に記録されたデータを容易に読み出
して再生することができるという効果が得られる。

【００４７】また、本発明の請求項８にかかる画像処理
装置によれば、音声データを符号化する音声符号化手段
と、画像データを符号化する画像符号化手段と、上記符
号化して得られた複数のデジタルデータ、ならびに上記
複数のデジタルデータを多重するかどうかを示す指示信
号とを入力とし、上記指示信号により多重化が指定され
ている場合に、上記複数のデジタルデータを多重し、該
多重したデジタルデータおよび、多重しているかどうか
を示すフラグを出力する多重化手段と、上記多重化され
たデジタルデータおよび、多重しているかどうかを示す
フラグを同一の記録媒体に記録するデータ記録手段と、
を備えたものとしたので、画像、音声が多重されている
かどうかをフラグで識別できるため、画像、音声を必ず
しも多重して記録する必要はなく、多重化されたデジタ
ルデータと多重化されていないデジタルデータとが混在
した記録媒体を作成することができると言う効果が得ら
れる。

【００４８】また、本発明の請求項９にかかるデータ記
録媒体によれば、画像、音声などの複数のデジタルデー
タを同一の記録媒体に記録する処理を、コンピュータに
より行うための映像処理プログラムを格納したデータ記
録媒体であって、上記映像処理プログラムは、画像、音
声などの複数のデジタルデータ、ならびに上記複数のデ
ジタルデータを多重するかどうかを示す指示信号を入力
する第１のプログラムと、上記指示信号により多重化が
指示された場合に、上記複数のデジタルデータを多重す
る第２のプログラムと、上記多重したデジタルデータお
よび、多重しているかどうかを示すフラグを出力する第
３のプログラムと、上記出力された多重したデジタルデ
ータおよび、多重しているかどうかを示すフラグを同一
の記録媒体に記録する第４のプログラムと、を含むもの
としたので、記録時の多重、分離処理によって機器に負
担をかけることを低減することができる画像処理方法を
ソフトウエアにより実現することができると言う効果が
得られる。

【００４９】また、本発明の請求項１０にかかるデータ
記録媒体によれば、同一の記録媒体に記録された画像、
音声などの複数のデジタルデータを再生する処理を、コ
ンピュータにより行うための映像処理プログラムを格納
したデータ記録媒体であって、画像、音声などの複数の
デジタルデータ、ならびに該複数のデジタルデータが多
重されているかどうかを示すフラグを読み出す第１のプ
ログラムと、上記フラグにより上記画像、音声などの複
数のデジタルデータが多重されているかどうかを判定す
る第２のプログラムと、上記判定結果により、上記画
像、音声などの複数のデジタルデータが多重されている
と判定された場合に、上記複数のデジタルデータを分離
し、得られた複数のデジタルデータを別々に出力する第
３のプログラムと、を含むものとしたので、多重化され
ているデジタルデータと多重化されていないデジタルデ
ータが混在する同一記録媒体に記録されたデータを容易
に読み出して再生する画像処理方法をソフトウエアによ
り実現することができると言う効果が得られる。

【００５０】また、本発明の請求項１１にかかるデータ
記録媒体によれば、画像、音声データなどの複数のデジ
タルデータと、該画像、音声データなどの複数のデジタ
ルデータのそれぞれが多重化されているか否かを示すそ
れぞれ対応する多重フラグと、を記録したものとしたの
で、多重化されたデータを分離処理する際の機器への負
担を低減することができる記録媒体を実現することがで
きると言う効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の形態１における画像処理装置の
構成を示すブロック図である。

【図２】上記実施の形態１における画像処理装置により
処理された記録媒体上の記録フォーマットを説明するた
めの図である。

【図３】上記画像処理装置により処理された記録フォー
マットの管理情報の詳細を説明するための図である。

【図４】上記画像処理装置を構成するCPUの記録時の動
作を示すフローチャートを記載した図である。

【図５】上記画像処理装置を構成するCPUの再生時の動
作を示すフローチャートを記載した図である。

【図６】上記画像処理装置をコンピュータにより行うた
めのプログラムならびにデータを記録する記録媒体、お
よびコンピュータシステムを示す説明図である。

【図７】従来の画像記録、再生規格の一例であるビデオ
記録規格を説明するための図である。

【符号の説明】

１１ 多重制御部 １２ 記録再生部 １３ 記録媒体 １４ 音声コーデック １５ 画像コーデック １６ ネットワークインタフェース １７ フラグ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 FA22 FA24 FA27 GB05 GB11 GB15 GB37 HA01 JA03 JA07 JA12 JA21 LA11 LA14 5C063 AA02 AB07 AC01 AC05 DA05 DA07 DA20 DB10 5K028 AA00 EE03 EE08 KK01 KK03 KK32 MM08

Claims (11)

【特許請求の範囲】
1. 【請求項１】 画像、音声などの複数のデジタルデー
   タ、ならびに該複数のデジタルデータを多重するかどう
   かを示す指示信号を入力し、該指示信号により多重化が
   指定された場合に、前記複数のデジタルデータを多重
   し、多重したデジタルデータおよび、多重しているかど
   うかを示すフラグを出力することを特徴とする画像処理
   方法。
2. 【請求項２】 画像、音声などの複数のデジタルデー
   タ、ならびに前記複数のデジタルデータの再生時間もし
   くは再生位置を示すシーン記述データを入力し、シーン
   記述の有無を示すシーン記述フラグを設定し、上記デジ
   タルデータと、シーン記述フラグとを出力することを特
   徴とする画像処理方法。
3. 【請求項３】 請求項１または請求項２記載の画像処理
   方法において、上記入力したデジタルデータに対して、
   任意の時間あるいは場所にアクセスするためのアクセス
   情報を生成し、上記デジタルデータとともに上記アクセ
   ス情報を出力することを特徴とする画像処理方法。
4. 【請求項４】 音声データを符号化する音声符号化手段
   と、 画像データを符号化する画像符号化手段と、 上記符号化して得られた複数のデジタルデータ、ならび
   に該複数のデジタルデータを多重するかどうかを示す指
   示信号を入力とし、上記指示信号により多重化が指示さ
   れた場合に、上記複数のデジタルデータを多重し、該多
   重したデジタルデータおよび、多重しているかどうかを
   示すフラグを出力する多重化手段と、を備えたことを特
   徴とする画像処理装置。
5. 【請求項５】 画像、音声などの複数のデジタルデー
   タ、ならびに該複数のデジタルデータが多重されている
   かどうかを示すフラグを入力とし、上記フラグにより多
   重化が指定されている場合に、上記複数のデジタルデー
   タを分離し、該分離した複数のデジタルデータをそれぞ
   れ出力することを特徴とする画像処理方法。
6. 【請求項６】 画像、音声などの複数のデジタルデー
   タ、ならびに該複数のデジタルデータの再生時間もしく
   は再生位置を示すシーン記述データの有無を示すシーン
   記述フラグを入力し、該シーン記述フラグがシーン記述
   データがあることを示している場合に、上記デジタルデ
   ータと、シーン記述データを出力することを特徴とする
   画像処理方法。
7. 【請求項７】 デジタル化された音声データを復号化す
   る音声復号化手段と、 デジタル化された画像データを復号化する画像復号化手
   段と、 上記複数のデジタルデータが多重されているかどうかを
   示すフラグを検出し、該フラグにより上記複数のデジタ
   ルデータの多重化が指定されている場合に、該複数のデ
   ジタルデータを分離し、該複数のデジタルデータを別々
   に出力するように上記音声復号化手段、及び画像復号化
   手段を制御する分離・制御手段と、 を備えたことを特徴とする画像処理装置。
8. 【請求項８】 音声データを符号化する音声符号化手段
   と、 画像データを符号化する画像符号化手段と、 上記符号化して得られた複数のデジタルデータ、ならび
   に上記複数のデジタルデータを多重するかどうかを示す
   指示信号とを入力とし、上記指示信号により多重化が指
   定されている場合に、上記複数のデジタルデータを多重
   し、該多重したデジタルデータおよび、多重しているか
   どうかを示すフラグを出力する多重化手段と、 上記多重化されたデジタルデータおよび、多重している
   かどうかを示すフラグを同一の記録媒体に記録するデー
   タ記録手段と、 を備えたことを特徴とする画像処理装置。
9. 【請求項９】 画像、音声などの複数のデジタルデータ
   を同一の記録媒体に記録する処理を、コンピュータによ
   り行うための映像処理プログラムを格納したデータ記録
   媒体であって、 上記映像処理プログラムは、 画像、音声などの複数のデジタルデータ、ならびに上記
   複数のデジタルデータを多重するかどうかを示す指示信
   号を入力する第１のプログラムと、 上記指示信号により多重化が指示された場合に、上記複
   数のデジタルデータを多重する第２のプログラムと、 上記多重したデジタルデータおよび、多重しているかど
   うかを示すフラグを出力する第３のプログラムと、 上記出力された多重したデジタルデータおよび、多重し
   ているかどうかを示すフラグを同一の記録媒体に記録す
   る第４のプログラムと、 を含むことを特徴とするデータ記憶媒体。
10. 【請求項１０】 同一の記録媒体に記録された画像、音
    声などの複数のデジタルデータを再生する処理を、コン
    ピュータにより行うための映像処理プログラムを格納し
    たデータ記録媒体であって、 画像、音声などの複数のデジタルデータ、ならびに該複
    数のデジタルデータが多重されているかどうかを示すフ
    ラグを読み出す第１のプログラムと、 上記フラグにより上記画像、音声などの複数のデジタル
    データが多重されているかどうかを判定する第２のプロ
    グラムと、 上記判定結果により、上記画像、音声などの複数のデジ
    タルデータが多重されていると判定された場合に、上記
    複数のデジタルデータを分離し、得られた複数のデジタ
    ルデータを別々に出力する第３のプログラムと、 を含むことを特徴とするデータ記録媒体。
11. 【請求項１１】 画像、音声データなどの複数のデジタ
    ルデータと、該画像、音声データなどの複数のデジタル
    データのそれぞれが多重化されているか否かを示すそれ
    ぞれ対応する多重フラグと、を記録したことを特徴とす
    るデータ記録媒体。