JP2003134516A

JP2003134516A - 画像データまたは音声データ符号化ミドルウェア

Info

Publication number: JP2003134516A
Application number: JP2001328502A
Authority: JP
Inventors: Masao Ishiguro; 正雄石黒; Yoshibumi Fujikawa; 義文藤川; Atsuo Kawaguchi; 敦生川口
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2001-10-26
Filing date: 2001-10-26
Publication date: 2003-05-09

Abstract

(57)【要約】【課題】マルチメディア処理システムをプログラムで記
述した複数のソフトウェアで実現する場合、各ソフトウ
ェアはＯＳによるジョブ・スケジューリングに従って時
分割で逐次的に処理を行うことになる。また、各処理プ
ログラムの処理時間は入力データに依存して変化する。
したがって、符号化処理プログラムは入力処理プログラ
ムから得られた映像データ、音声データの入力時間を正
確に予測することができない。【解決手段】本発明では、符号化処理１は、入力として
入力データ２と入力時刻情報３を受け取り、出力として
符号化データ４と入力時刻情報５を渡す。符号化処理は
入力処理プログラムから受け取った入力時刻情報をもと
に符号化をおこなう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像または音声デ
ータを受け取り、このデータを符号化し、符号化データ
を出力する符号化処理装置に関する。

【０００２】

【従来の技術】デジタルテレビシステムやビデオ会議等
のマルチメディア処理システムにおける符号化処理装置
では、カメラ等の画像入力機器から入力される画像信号
を画像フレームデータに変換する画像信号入力装置と、
マイク等の音声入力機器から入力される音声信号を音声
データに変換する音声信号入力装置と、画像フレームデ
ータを受け取り、この画像フレームデータを符号化して
符号化画像データを出力する画像データ符号化装置と、
音声データを受け取り、音声データを符号化して符号化
音声データを出力する音声データ符号化処理装置と、符
号化画像データと符号化音声データの多重化を行って、
多重化データを出力する符号化データ多重化装置とから
構成される。

【０００３】各処理装置を独立したハードウェアとして
構成すれば、各処理装置は並列に処理を行うことができ
る。また、各処理装置の処理にかかる時間は、入力デー
タに依存せず、常に一定である。したがって、入力装置
は入力された信号を順に変換して、符号化処理装置に渡
し、符号化処理装置は渡された順に符号化を行い、符号
化データ多重化装置に渡し、符号化データ多重化装置は
渡された順に多重化を行うので、入力装置に画像信号お
よび音声信号を入力してから一定時間後に、多重化デー
タを出力することが可能である。よって、各処理装置に
対して入力時刻情報を与えることなく、容易に同期をと
ることができる。

【０００４】

【発明が解決しようとする課題】上述のような処理装置
が提供する機能を、汎用のプロセッサを用いて、プログ
ラムで記述した複数のソフトウェアで実現する場合、各
ソフトウェアはＯＳによるジョブ・スケジューリングに
従って時分割で逐次的に処理を行うことになる。また、
各処理プログラムの処理時間は、入力データに依存して
変化する。したがって、符号化処理プログラムは入力処
理プログラムから得られた映像データ、音声データの入
力時間を正確に予測することは容易でなく、また同様
に、符号化データ多重化プログラムも符号化データの時
刻を予測することは容易でない。

【０００５】

【課題を解決するための手段】本発明では、符号化処理
プログラムは、入力として映像データまたは音声データ
と入力時刻情報を受け取り、出力として符号化データと
出力時刻情報を渡す。符号化処理プログラムは、入力処
理プログラムより得られる入力時刻情報を元に映像デー
タ、音声データを符号化することで、プログラム間での
同期を容易にとることができる。

【０００６】

【発明の実施の形態】以下、本発明の一実施例を図２に
したがって説明する。

【０００７】図２はデジタルテレビ送信システム、ビデ
オ会議送信システム等におけるマルチメディアデータ処
理システムの構成を示す図である。

【０００８】８は画像信号入力処理プログラムで、カメ
ラなどの画像入力機器６から入力される画像信号１３を
画像データ１５と画像信号入力時刻情報１６に変換し
て、画像データ符号化処理プログラム１０に出力する。

【０００９】９は音声信号入力処理プログラムで、マイ
クなどの音声入力機器７から入力される音声信号１４を
音声データ１７と音声信号入力時刻情報１８に変換し
て、音声データ符号化処理プログラム１１に出力する。

【００１０】１０は画像データ符号化処理プログラム
で、画像信号入力プログラム８から画像データ１５とそ
の画像信号入力時刻情報１６を受け取り、画像データ１
５を符号化して、符号化画像データ１９とその画像信号
入力時刻情報２０を出力する。

【００１１】１１は音声データ符号化処理プログラム
で、音声信号入力プログラム９から音声データ１７とそ
の音声信号入力時刻情報１８を受け取り、音声データ１
７を符号化して、符号化音声データ２１とその音声信号
入力時刻情報２２を出力する。

【００１２】１２は符号化データ多重化処理プログラム
で、符号化画像データ１９、画像信号入力時刻情報２
０、符号化音声データ２１、音声信号入力時刻情報２２
を受け取り、これらのデータ、情報を多重化して、多重
化データ２３を配信する。

【００１３】図３は本特許を実現するハードウェア構成
の一例である。

【００１４】画像信号入力処理プログラム、音声信号入
力処理プログラム、画像データ符号化処理プログラム、
音声データ符号化処理プログラム、符号化データ多重化
処理プログラムは主記憶装置２７に格納される。また、
入力された画像データ、音声データ及び符号化データも
主記憶装置２７に一旦格納される。

【００１５】画像入力機器６及び音声入力機器から取り
込まれた画像データ及び音声データは、主記憶装置２７
に格納されている画像信号入力処理プログラム、音声信
号入力処理プログラムを実行することにより、システム
バス３０を介して、一旦、主記憶装置２７に格納され
る。システムバス３０上でのデータ転送はＤＭＡ転送制
御装置２９が行う。その際、上記プログラムは画像デー
タ、音声データに対する入力時刻情報を取得する。

【００１６】主記憶装置２７に格納されている画像デー
タ符号化処理プログラム、音声データ符号化処理プログ
ラムは主記憶装置２７に格納された画像データ、音声デ
ータと、入力処理プログラムから入力時刻情報を取得し
て、符号化処理を行う。符号化処理の演算処理は中央演
算処理装置２８が行う。符号化結果は一旦主記憶装置２
７に格納され、ＤＭＡ転送制御装置２９により、ビット
ストリーム出力装置２６に出力される。

【００１７】図４に画像信号入力処理プログラムと画像
データ符号化処理プログラムとの間のインタフェースの
一例を示す。

【００１８】画像データ処理符号化プログラム１０は画
像信号入力処理プログラム８に対して、入力画像データ
の格納先３１を与える。画像信号入力処理プログラム８
はその格納先に入力画像データを格納し、入力画像の時
刻情報３を画像データ符号化処理プログラム１０に返
す。

【００１９】図５はMPEG−4の１画面(VOPと呼ぶ)情報の
ビット列の一部を示す。

【００２０】MPEG−4の1VOPの先頭には必ず図５に示す
ビット列を並べる必要があり（ISO/IEC 14496-2を参
照）、その中のmodulo_time_baseとvop_time_increment
がデコード時の表示時間を示している。符号化処理プロ
グラムは入力処理プログラムから取得した入力時間情報
からmodulo_time_baseとvop_time_incrementを生成し、
MPEG−4のビット列に埋め込む。

【００２１】

【発明の効果】本発明における符号化処理プログラムに
より、入力画像によって各処理時間が変化しても、入力
処理プログラム、多重化処理プログラムと同期を容易に
とることができる。

【図面の簡単な説明】

【図１】本発明の符号処理方式の構成を示す図である。

【図２】本発明の一実施例におけるマルチメディアデー
タ処理システムの構成を示す図である。

【図３】本発明の一実施例におけるハードウェアの構成
を示す図である。

【図４】本発明の一実施例における画像信号入力処理プ
ログラムと画像データ符号化処理プログラムのインタフ
ェースを示す図である。

【図５】MPEG−4の１画面(VOP)情報のビット列を示す図
である。

【符号の説明】

１…符号化処理、２…入力データ、３…入力時刻情報、
４…符号化データ、５…入力時刻情報、６…画像入力機
器、７…音声入力機器、８…画像信号入力処理プログラ
ム、９…音声信号入力処理プログラム、１０…画像デー
タ符号化処理プログラム、１１…音声データ符号化処理
プログラム、１２…符号化データ多重化処理プログラ
ム、１３…画像信号、１４…音声信号、１５…画像デー
タ、１６…画像信号入力時刻情報、１７…音声データ、
１８…音声信号入力時刻情報、１９…符号化画像デー
タ、２０…画像信号入力時刻情報、２１…符号化音声デ
ータ、２２…音声信号入力時刻情報、２３…多重化デー
タ、２４…画像信号入力装置、２５…音声信号入力装
置、２６…ビットストリーム出力装置、２７…主記憶装
置、２８…中央演算処理装置、２９…DMA転送制御装
置、３０…システムバス、３１…画像データ格納ポイン
タ。

───────────────────────────────────────────────────── フロントページの続き (72)発明者川口敦生神奈川県川崎市麻生区王禅寺1099番地株式会社日立製作所システム開発研究所内Ｆターム(参考） 5C059 KK33 PP04 RB02 RC04 RC32 SS07 SS20 SS26 SS30 UA02 UA29 UA30 UA36 UA38 UA39 5D045 DA20

Claims

【特許請求の範囲】

【請求項１】動画像を構成する画像データの符号処理
方法であって、該符号処理方法は、画像データと入力時
刻情報を受け取り、該画像データを符号化し、符号化デ
ータと該入力情報を出力することを特徴とする符号処理
方法。
【請求項２】動画像を構成する画像データの符号処理
方法であって、該符号処理方法は、画像データと入力時
刻情報を受け取り、該画像データを符号化し、符号化デ
ータを出力することを特徴とする符号処理方法。
【請求項３】音声を構成する音声データの符号処理方
法であって、該符号処理方法は、音声データと入力時刻
情報を受け取り、該音声データを符号化し、符号化デー
タと該入力情報を出力することを特徴とする符号処理方
法。
【請求項４】音声を構成する音声データの符号処理方
法であって、該符号処理方法は、音声データと入力時刻
情報を受け取り、該音声データを符号化し、符号化デー
タを出力することを特徴とする符号処理方法。
【請求項５】請求項１または３記載の符号処理方法で
あって、入力時刻情報を取得するためのインタフェース
を通して該入力時刻情報を取得し、符号化データと入力
時刻情報を提供するためのインタフェースを通して該符
号化データと該入力時刻情報を出力することを特徴とす
る符号処理方法。
【請求項６】動画像を構成する画像データの符号化処
理を行う符号化処理プログラムを格納した記録媒体であ
って、該符号化処理プログラムは、画像データと入力時
刻情報を受け取り、該画像データを符号化し、符号化デ
ータと該入力時刻情報を出力することを特徴とする符号
化処理プログラムを記録した媒体。
【請求項７】動画像を構成する画像データの符号化処
理を行う符号化処理プログラムを格納した記録媒体であ
って、該符号処理プログラムは、画像データと入力時刻
情報を受け取り、該画像データを符号化し、符号化デー
タを出力することを特徴とする符号化処理プログラムを
記録した媒体。
【請求項８】音声を構成する音声データの符号化処理
を行う符号化処理プログラムを格納した記録媒体であっ
て、該符号化処理プログラムは、音声データと入力時刻
情報を受け取り、該画像データを符号化し、符号化デー
タと該入力時刻情報を出力することを特徴とする符号化
処理プログラムを記録した媒体。
【請求項９】音声を構成する音声データの符号化処理
を行う符号化処理プログラムを格納した記録媒体であっ
て、該符号処理プログラムは、音声データと入力時刻情
報を受け取り、該画像データを符号化し、符号化データ
を出力することを特徴とする符号化処理プログラムを記
録した媒体。
【請求項１０】請求項６または８記載の符号化処理プ
ログラムを記録した媒体であって、入力時刻情報を取得
するためのインタフェースを通して該入力時刻情報を取
得し、符号化データと入力時刻情報を提供するためのイ
ンタフェースを通して該符号化データと該入力時刻情報
を出力することを特徴とする符号化処理プログラムを記
録した媒体。
【請求項１１】請求項１または３記載の符号処理方法
であって、入力時刻情報及び入力データの格納先を関数
引数としてもつ符号化処理プログラムの関数インタフェ
ース。
【請求項１２】請求項１または３記載の符号処理方法
であって、入力時刻情報及び入力データの格納先を大域
変数としてもつ符号化処理プログラムの関数インタフェ
ース。
【請求項１３】請求項１または３記載の符号処理方法
であって、戻り値として入力時刻情報を返す符号化処理
プログラムの関数インタフェース。