JP2001298734A

JP2001298734A - 映像信号符号化方法及びその装置、並びに映像信号符号化プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: JP2001298734A
Application number: JP2000109356A
Authority: JP
Inventors: Koji Taniguchi; 幸治谷口
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-04-11
Filing date: 2000-04-11
Publication date: 2001-10-26

Abstract

(57)【要約】【課題】ソフトウェアで実装されている映像符号化装
置は、同時に実行される他のプログラムとCPUやメモリ
等のリソースを共用するので、一画面分の画像データを
取り込んでからその画像データの符号化処理が完了する
までの時間が不均一で長くなるために、映像品質向上を
図ることを目的とする。【解決手段】映像符号化装置は、映像入力部、符号化
処理部に加え、映像データの取り込みと符号化処理を交
互に繰り返すダブルバッファメモリ、および、このバッ
ファを管理するバッファ管理部を有する。符号化処理部
は、画像データの符号化処理の進行状況をバッファ管理
部に通知し、バッファ管理部は、この通知を利用して画
像データ取り込み開始のタイミングを制御する。また、
ＣＰＵ負荷を検知する手段を設け、負荷状況に応じて画
像データ取り込み開始のタイミングを制御する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像入力バッファ
制御を行う映像符号化方法及び装置、並びに、映像符号
化プログラムを記録したコンピュータ読み取り可能な記
録媒体に関する。

【０００２】

【従来の技術】データ圧縮処理技術の発達やネットワー
クインフラの性能向上に伴って、ＩＴＵ−Ｔ勧告の映像
符号化方式であるＨ．２６１やＨ．２６３などに準拠し
た映像通信端末装置が数多く開発されている。

【０００３】映像通信端末装置は、その構成要素として
映像符号化/復号部を持つ。映像符号化部において、映
像入力処理と、画像データの符号化処理と、符号化デー
タ送信処理とを並行して実行するシステム構成をとる場
合、これら３つの処理を実行する各部の間にはバッファ
メモリが設けられ、このバッファを介してデータ授受が
行われる。映像入力処理と符号化処理の間に挿入される
バッファメモリはダブルバッファ形式を取ることが多
い。すなわち、画像データ蓄積用のフレームメモリを２
組用意し、一方のバッファメモリに既に取り込まれてい
る画像データの符号化処理を行っている間に、もう一方
のバッファメモリに次の画像データを取り込んでおくと
いう処理を繰り返す。

【０００４】映像通信端末装置は、演算量は膨大である
ことを理由として映像符号化/復号部は専用のハードウ
ェアとして実装されるのが一般的であった。しかし、近
年のプロセッサの性能向上により、映像符号化処理の全
て、もしくは、その一部をソフトウェアプログラムとし
て実装した映像通信端末装置や、汎用パーソナルコンピ
ュータをベースとして、これに、映像入出力カード、ネ
ットワークカードを追加し、映像通信用のアプリケーシ
ョン（これには画像符号化／復号処理ソフトウェアが含
まれる）をインストールした映像通信端末装置も製品化
されている。

【０００５】図１７から図２２を参照しながら、映像符
号化装置における従来のバッファ制御方法（以後、これ
を単純バッファ制御方法と呼ぶ）を説明する。

【０００６】図１７は、従来の映像通信端末装置のブロ
ック構成例である。映像入力部１０１は、映像信号を入
力する。映像入力バッファ部１０２は、バッファ管理部
１０６、第一のセレクタ１０７、第一のバッファメモリ
１０８、第二のバッファメモリ１０９および第二のセレ
クタ１１０から構成され、映像入力バッファ部１０２は
ダブルバッファ形式の構成をしており、取り込み済みの
画像データの符号化処理と、次に符号化する画像データ
の取り込み処理とを並行して実行することができる。画
像データの符号化処理と画像データの取り込み処理が完
了すると、セレクタ１０７とセレクタ１１０が切り替え
られる。このように、２つのバッファを画像データ取り
込みと符号化処理を交互に繰り返すことによって、連続
的な符号化データの出力を実現している。

【０００７】符号化処理部１０３は、映像入力バッファ
部１０２に内包される２個のバッファメモリのいずれか
より画像データを読み出し、これを符号化処理部１０３
において符号化した後に、後段の符号データバッファ部
１０４を介して順次送信部１０５から符号化データを出
力していく。具体的には、ＩＴＵ−Ｔ勧告のＨ．２６１
やＨ．２６３のように可変レートになることを許容する
符号化方式が符号化処理部１０３において実行される。

【０００８】なお、符号化処理部１０３は純粋なハード
ウェアでで説明したが、一部もしくは全てがソフトウェ
アプログラムとして実装されることもある。

【０００９】図１８(ａ)は、符号化処理部１０３がハー
ドウェアであり、フルフレーム（ＮＴＳＣ信号の場合、
約30fps）の符号化処理を行う場合のバッファメモリ切
り替えのタイミングを図示し、以下に説明する。同図で
は、一画面分の符号化処理時間（以後Teとする）は、一
画面分の画像データ取り込み時間（以後Tiとする）と等
しいものとしている。

【００１０】まず、処理Ａで第一のバッファメモリＭ１
に画像データを取り込む。これが終了すると即座に符号
化処理（処理Ｂ）が開始され、同時に処理Ａで第二のバ
ッファメモリＭ２への画像データ取り込みが開始され
る。その後は、バッファＭ１、Ｍ２が交互に切り替えら
れ、画像取り込み処理（処理Ａ）と符号化処理（処理
Ｂ）が途切れることなく繰り返される。

【００１１】ここで、バッファメモリへの画像データの
取り込み処理が完了（△印）してから、このデータの符
号化処理が完了（○印）するまでの時間に着目する。こ
れ以降、この時間を符号化遅延時間（図３ではTdと記
述）と呼ぶ。図１８(ａ)では、常に符号化遅延時間Tdは
１／３０である。

【００１２】一方、図１８(ｂ)は、符号化処理部がソフ
トウェア処理の場合であり、一画面分の符号化符号化処
理時間(Te)は、一画面分の画像データ取り込み時間(Ti)
より長い場合のバッファメモリ切り替えタイミングを図
示し、以下に説明する。同図は、画像取り込み処理はハ
ードウェアで実行しているためフルフレーム処理が可能
であるのに対し、符号化処理はソフトウェアで実行して
いるため一画面分の符号化処理時間に変動があることを
示している。

【００１３】符号化符号化処理時間(Te) ＞画像デー
タ取り込み時間(Ti) のとき、符号化処理と画像データ
取り込み処理を同時に開始すると、画像データ取り込み
処理が先に終了し待ち状態になり、符号化処理が終了し
てからバッファが切り換えられることになる。

【００１４】ここで、符号化遅延時間Tdに着目すると図
１８(ａ)の場合よりかなり長くなっていることがわか
る。符号化遅延時間Tdが長いということは、受信側の映
像通信端末装置において、音声再生と同時に映像の復号
再生を行った場合に、同期のずれが目立つことになる。
従って、符号化遅延時間Tdができるだけ小さくなるよう
に制御することが好ましいといえる。

【００１５】次に、図１８(ｂ)の単純バッファ制御方法
の処理手順を図１９、図２０、図２１を参照しながら説
明する。なお、これらの図は、処理手順の概要を記した
ものであり、初期化処理、終了処理、途中での強制終了
等に関しては示していない。

【００１６】図１９は、単純バッファ制御方法のバッフ
ァ管理手順を示すフローチャートである。このバッファ
管理は、図１７のバッファ管理部１０６が映像入力バッ
ファ部１０２の各部を制御するために実行するものであ
る。

【００１７】図１９において、Nwは画像取り込み(Writ
e)を行うバッファメモリ番号を、Nrは符号化処理のため
に画像データ読み出し(Read)を行うバッファメモリ番号
であり、それぞれ0もしくは1の値を持つ。すなわち、Nw
とNrによってダブルバッファの切替を行う。また、i
は、NrとNwを切り換えるために利用する変数である。こ
れ以降に示すフローチャートにおいても、i、NrおよびN
wの意味は同じである。

【００１８】まず、S101においてi=0とし、S102でNwを
算出する。Nwが決定されたら、S103において番号がNwで
あるバッファメモリへの画像取り込み開始信号を映像入
力部１０１へ送信し、S104で画像取り込みが完了するの
を待つ。そして、画像取り込みが完了したら、その画像
データの符号化処理を開始するためにS105およびS106に
おいてNrを更新し、S107で番号Nrのバッファメモリ中の
画像データの符号化処理開始信号を符号化処理部１０３
へ送信して、S108において符号化処理が完了するのを待
つ。S109では、バッファ制御を継続するか否かを確認
し、継続する場合にはS102に戻り、同様の処理を繰り返
す。

【００１９】図２０は、単純バッファ制御方法の画像取
り込み処理手順を示すフローチャートである。この画像
取り込み処理は、図１７の映像入力部１０１が実行す
る。まず、S201において画像取り込み開始信号の受信を
確認する。画像取り込み開始信号を受信したら、S202に
おいて指定された番号Nwのバッファメモリへの画像デー
タ取り込みを開始し、これが終了したらS203で画像デー
タ取り込み完了信号を図１７のバッファ管理部１０６へ
送信する。そして、S204において処理終了信号を受信し
た場合には処理を終了し、処理終了信号を受信していな
い場合にはS201に戻り処理を継続する。

【００２０】図２１は、単純バッファ制御方法の符号化
処理手順を示すフローチャートである。この画像符号化
処理は、図１７の符号化処理部１０３が実行する。ま
ず、S301において符号化処理開始信号の受信を確認す
る。符号化処理開始信号を受信したら、S302において指
定された番号Nrのバッファメモリに格納されている画像
データを読み込み、その符号化処理を開始する。符号化
処理が終了したらS303で符号化処理完了信号を図１７の
バッファ管理部１０６へ送信する。そして、S304におい
て処理終了信号を受信した場合には処理を終了し、処理
終了信号を受信していない場合にはS301に戻り処理を継
続する。

【００２１】

【発明が解決しようとする課題】近年のパーソナルコン
ピュータ（以下パソコンとする）の性能向上は著しい
が、現時点では、映像符号化ソフトウェアによるフルフ
レーム（ＮＴＳＣの場合、約30fps）の符号化処理は難
しく、実用に耐え得る映像品質に達しているとは言い難
い。この理由の一つとして、汎用パソコンにおいては、
映像符号化処理ソフトウェアのみを実行することは希で
あり、通常は他の複数のアプリケーションプログラムが
同時に実行されることが挙げられ、複数のプログラムが
ＣＰＵやメモリ等のリソースを共用する状況では、個々
のプログラムの実行効率は低下する。映像符号化処理ソ
フトウェアの場合は、単位時間内に符号化できるフレー
ム数（フレームレート）に削減することになる。また、
リソースの使用状況は時々刻々と変動するので、一画面
分の画像データに要する符号化処理時間が均一になると
いう保証はできなく、実用に耐え得る映像品質が得られ
ていないと課題を有していた。

【００２２】また、２個のバッファメモリから構成され
るダブルバッファを利用して画像データの授受を行う映
像符号化装置では、ダブルバッファは一方のバッファメ
モリ内データの符号化処理が完了すると、バッファを切
り換え、もう一方のバッファメモリ内データの符号化処
理、および、解放されたバッファメモリへの画像データ
取り込みを即座に開始するという使い方（＝単純バッフ
ァ制御）である。前述のように、汎用パソコンにおいて
ソフトウェア符号化処理を実行する場合、符号化処理時
間が均一にならない。この様な状況において、単純バッ
ファ制御を行うと、バッファメモリへの画像データの取
り込みが完了してから、その画像データの符号化処理が
完了するまでの時間、すなわち、符号化遅延時間が大き
くなり、受信側の映像通信端末装置で再生される映像と
音声の同期のずれが顕著になるという課題を有してい
る。

【００２３】また、符号化処理は演算量が膨大で計算負
荷が大きいため、符号化処理にばかり計算機リソースを
割り当ててしまうと、他のアプリケーションの同時利用
が困難になるという課題も有している。

【００２４】本発明は、映像符号化処理を行う際の符号
化遅延時間の増大を抑制し、実用的で高画質な映像符号
化処理を実現することを目的とする。また、本発明は、
映像符号化処理が計算機リソースを独占しないように画
像取り込みレートを調整することにより最適な計算機リ
ソースの割り当てを行うことを目的とする。

【００２５】

【課題を解決するための手段】請求項１記載の発明は、
一画面分の画像データを符号化する符号化処理ステップ
と、次に前記符号化処理を行う一画面分の画像データを
画像取り込み処理ステップとをダブルバッファメモリを
介して並行して実行する映像信号符号化方法において、
前記符号化処理ステップはその符号化処理の進行状況を
検出し、画像取り込み処理ステップは前記符号化処理の
進行状況に応じてバッファメモリへの画像データ取り込
み開始のタイミングを制御することを特徴とする映像信
号符号化方法である。

【００２６】この発明によれば、符号化処理の進行状況
を考慮して、次に符号化処理を行う画像データの取り込
み開始のタイミングを制御するので、一画面分の画像デ
ータの取り込み時間と比較して、一画面分の画像データ
の符号化処理時間が数倍になるような状況においても、
画像データ取り込みが完了してからその画像データの符
号化処理が完了するまでの時間、すなわち、符号化遅延
時間を短くすることができ、映像通信システム全体とし
てみたときの映像品質向上を図ることができる。

【００２７】また、請求項８に記載の発明は、画像デー
タを符号化する処理と、次に符号化処理を行う画像デー
タを取り込む画像取り込み処理とを並行して実行する映
像信号符号化装置において、画像データ蓄積に使用され
るダブルバッファ構成のダブルバッファメモリ部と、外
部より画像データを前記ダブルバッファメモリ部へ取り
込み、その画像取り込みの進行状況を通知する映像入力
部と、前記ダブルバッファ部に蓄積されている画像デー
タを読み出し符号化処理を行い、その符号化処理の進行
状況を通知する符号化処理部と、前記映像入力部および
前記符号化処理部からの進行状況の通知を利用して、前
記ダブルバッファメモリ部への画像データ取り込み開始
のタイミングを制御するバッファ管理部とを具備するこ
とを特徴とする映像信号符号化装置である。

【００２８】この発明によれば、符号化処理の進行状況
を考慮して、次に符号化処理を行う画像データの取り込
み開始のタイミングを制御するので、一画面分の画像デ
ータの取り込み時間と比較して、一画面分の画像データ
の符号化処理時間が数倍になるような状況においても、
画像データ取り込みが完了してからその画像データの符
号化処理が完了するまでの時間、すなわち、符号化遅延
時間を短くすることができ、映像通信システム全体とし
てみたときの映像品質向上を図ることができる。

【００２９】また、請求項１３記載の発明は、前記映像
信号符号化装置は、複数プログラムの同時実行が可能な
汎用計算機に搭載され、前記符号化処理部は、前記汎用
計算機のリソースを利用することにより符号化処理の少
なくとも一部を実行し、前記汎用計算機が有するリソー
スの使用状況を監視する負荷検知部を有し、前記負荷検
知部は、システム全体のリソース使用状況を全負荷量と
して、映像符号化処理に関するリソース使用状況を符号
化負荷量として前記バッファ管理部に適宜通知し、前記
バッファ管理部は、前記負荷検知部が通知してくる全負
荷量および符号化負荷量を利用して、次に符号化処理を
行う画像データの取り込み開始のタイミングを制御する
ことを特徴とする請求項９記載の映像信号符号化装置で
ある。

【００３０】この発明によれば、画像データの取り込み
開始のタイミングを制御することにより、単位時間当た
りの画像取り込み枚数を調整できるので、システム全体
のリソース負荷の状況に応じて、映像符号化処理を実行
することで発生する負荷を調整することができるという
作用を有する。

【００３１】

【発明の実施の形態】本発明の請求項１に記載の発明
は、一画面分の画像データを符号化する符号化処理ステ
ップと、次に前記符号化処理を行う一画面分の画像デー
タを画像取り込み処理ステップとをダブルバッファメモ
リを介して並行して実行する映像信号符号化方法におい
て、前記符号化処理ステップはその符号化処理の進行状
況を検出し、画像取り込み処理ステップは前記符号化処
理の進行状況に応じてバッファメモリへの画像データ取
り込み開始のタイミングを制御するものである。

【００３２】この発明によれば、符号化処理の進行状況
を考慮して、次に符号化処理を行う画像データの取り込
み開始のタイミングを制御するので、一画面分の画像デ
ータの取り込み時間と比較して、一画面分の画像データ
の符号化処理時間が数倍になるような状況においても、
画像データ取り込みが完了してからその画像データの符
号化処理が完了するまでの時間、すなわち、符号化遅延
時間を短くすることができるという作用を有する。

【００３３】請求項２記載の発明は、請求項１記載の映
像信号符号化方法において、前記符号化処理ステップ
は、一画面分の画像データを複数の均等領域に分割し、
全領域数に対する符号化処理が完了した領域数の割合を
符号化の進行状況として算出することを特徴とするもの
である。

【００３４】この発明によれば、符号化処理の進行状況
を、符号化完了割合や符号化所要時間という具体的な数
値で把握できるので、次に符号化処理を行う画像データ
の取り込み開始のタイミングを精度良く制御することが
できるという作用を有する。

【００３５】請求項３記載の発明は、請求項２記載の映
像信号符号化方法において、前記符号化処理ステップ
は、一画面分の画像データを取り込むのに要する時間に
対して、一画面分の画像データを符号化するのに要する
時間との比Ｎを求め、一画面分の画像データの符号化処
理がＮ分の（Ｎ−１）だけ終了した時点で画像データの
取り込みの開始を指示するものである。

【００３６】この発明によれば、一画面分の画像データ
の符号化処理に要する時間が、常に一画面分の画像デー
タを取り込む時間のＮ倍以上であることを利用して、次
の画像データの取り込む処理を開始を、符号化処理のＮ
分の（Ｎ−１）が終了するまで遅らせるので、画像デー
タ取り込みが完了してからその画像データの符号化処理
が完了するまでの時間、すなわち、符号化遅延時間を短
くすることができ、かつ、任意のＭに対して同様の処理
で対処できるという作用を有する。

【００３７】請求項４に記載の発明は、請求項２記載の
映像信号符号化方法において、前記符号化処理ステップ
は、一画面分の画像データを取り込むのに要する時間に
対して、一画面分の画像データを符号化するのに要する
時間との比Ｎは２^M値（Ｍは任意の自然数）とし、一画
面分の画像データの符号化処理がｋ分の（ｋ−１）（た
だし、ｋは２を初期値とし、通知毎に１ずつ加算されて
いき、Ｎまで更新される整数である）を終了する毎に符
号化処理進行状況を通知し、画像取り込み処理ステップ
は、前記符号化処理ステップから画像取り込みの開始の
通知を受けた際に、符号化処理が完了するまでの残り時
間内に再度画像が取り込めるか否かを判定し、改めて画
像データの取り込みを開始するものである。

【００３８】この発明によれば、ダブルバッファの切替
と同時に、符号化処理と画像取り込み処理を開始し、一
画面分の画像データの符号化処理に要する時間が、一画
面分の画像データを取り込む時間のＮ倍以上になった場
合に限り、画像データの再取り込みを実行するので、画
像データ取り込みが完了してからその画像データの符号
化処理が完了するまでの時間、すなわち、符号化遅延時
間を短くすることができ、かつ、画像取り込み開始時間
を遅らせたために符号化処理の方が早く終了してしま
い、符号化処理開始時間の遅れが発生することを防止で
き、かつ、任意のＭに対して同様の処理で対処できると
いう作用を有する。

【００３９】請求項５に記載の発明は、請求項１または
請求項２記載の映像信号符号化方法において、前記符号
化処理ステップは、予め獲得した符号化所用時間の履歴
情報を利用して、所定期間内の符号化所要時間の平均値
を平均符号化所要時間とし、一画面分の画像データを取
り込むのに要する時間に対する平均符号化所要時間の比
率を符号化負荷係数として算出し、前記符号化負荷係数
の値に応じて、画像データ取り込み開始のタイミングを
制御するものである。

【００４０】この発明によれば、過去の符号化所要時間
から算出した符号化負荷係数の値に応じて、最適な画像
取り込み開始時間の制御方法を選択するので、画像デー
タ取り込みが完了してからその画像データの符号化処理
が完了するまでの時間、すなわち、符号化遅延時間の短
縮化をより効果的に実施することができるという作用を
有する。

【００４１】請求項６に記載の発明は、請求項１または
請求項２記載の映像信号符号化方法において、前記映像
信号符号化方法は、複数プログラムの同時実行が可能な
汎用計算機に搭載され、前記符号化処理ステップは、前
記汎用計算機のリソースを利用することにより符号化処
理の少なくとも一部を実行し、前記汎用計算機が有する
リソースの使用状況を監視し、システム全体のリソース
使用状況を全負荷量として、符号化処理に関するリソー
ス使用状況を符号化負荷量として前記画像取り込み処理
ステップに適宜通知し、前記画像取り込み処理ステップ
は、前記通知してくる全負荷量および符号化負荷量を利
用して、次に符号化処理を行う画像データの取り込み開
始のタイミングを制御するものである。

【００４２】この発明によれば、画像データ取り込み開
始のタイミングを制御することにより、単位時間当たり
の画像取り込み枚数を調整できるので、システム全体の
リソース負荷の状況に応じて、映像符号化処理を実行す
ることで発生する負荷を調整することができるという作
用を有する。

【００４３】請求項７に記載の発明は、請求項６記載の
映像信号符号化方法において、符号化処理の実行優先度
を示す符号化処理優先度と、画像取り込みレートの制御
範囲を示すレート制御範囲とを外部から設定し、外部か
ら設定された符号化処理優先度とレート制御範囲を前記
画像取り込み処理ステップに通知し、前記画像取り込み
処理ステップは、符号化処理優先度を用いて負荷係数上
限しきい値および負荷係数下限しきい値を算出し、ま
た、前記前負荷量に対する前記符号化負荷量の比率を負
荷係数として算出し、全負荷量が所定負荷しきい値を上
回り、かつ、負荷係数が負荷係数上限しきい値を上回る
場合は、画像データの取り込みレートを下げると判断
し、全負荷量が所定負荷しきい値を下回り、かつ、負荷
係数が負荷係数下限しきい値を下回る場合は、画像デー
タの取り込みレートを上げると判断し、レート調整の結
果、画像取り込みレートの制御範囲外の値になった場合
は、画像取り込みレートの制御範囲の値になるようにク
リッピング処理を行い、画像取り込みレートの調整量に
対応させて、次に符号化処理を行う画像データの取り込
み開始のタイミングを制御するものである。

【００４４】この発明によれば、映像符号化処理が計算
機リソースを占有しないように制限し、かつ、計算機リ
ソースに余裕がある場合には、映像符号化処理の計算量
を増加させ、符号化映像の品質を向上させることができ
るという作用を有する。

【００４５】請求項８に記載の発明は、画像データを符
号化する処理と、次に符号化処理を行う画像データを取
り込む画像取り込み処理とを並行して実行する映像信号
符号化装置において、画像データ蓄積に使用されるダブ
ルバッファ構成のダブルバッファメモリ部と、外部より
画像データを前記ダブルバッファメモリ部へ取り込み、
その画像取り込みの進行状況を通知する映像入力部と、
前記ダブルバッファ部に蓄積されている画像データを読
み出し符号化処理を行い、その符号化処理の進行状況を
通知する符号化処理部と、前記映像入力部および前記符
号化処理部からの進行状況の通知を利用して、前記ダブ
ルバッファメモリ部への画像データ取り込み開始のタイ
ミングを制御するバッファ管理部とを具備するものであ
る。

【００４６】この発明によれば、符号化処理の進行状況
を考慮して、次に符号化処理を行う画像データの取り込
み開始のタイミングを制御するので、一画面分の画像デ
ータの取り込み時間と比較して、一画面分の画像データ
の符号化処理時間が数倍になるような状況においても、
画像データ取り込みが完了してからその画像データの符
号化処理が完了するまでの時間、すなわち、符号化遅延
時間を短くすることができるという作用を有する。

【００４７】請求項９に記載の発明は、請求項８記載の
映像信号符号化装置において、前記符号化処理部は、一
画面分の画像データを複数の均等領域に分割し、全領域
数に対する符号化が完了した領域数の割合を符号化完了
割合として前記バッファ管理部に通知すると共に、一画
面分の画像データを符号化するのに要した時間を符号化
所要時間として前記バッファ管理部に通知し、前記バッ
ファ管理部は、前記符号化処理部が通知してくる情報を
利用して、前記ダブルバッファメモリ部への画像データ
取り込み開始のタイミングを制御するものである。

【００４８】この発明によれば、符号化処理の進行状況
を、符号化完了割合や符号化所要時間という具体的な数
値で把握できるので、次に符号化処理を行う画像データ
の取り込み開始のタイミングを精度良く制御することが
できるという作用を有する。

【００４９】請求項１０に記載の発明は、請求項９記載
の映像信号符号化装置において、前記符号化処理部は、
一画面分の画像データの符号化処理がＮ分の（Ｎ−１）
終了した時点で符号化処理の進行状況の通知をし、前記
バッファ管理部は、一画面分の画像データの符号化処理
がＮ分の（Ｎ−１）だけ終了したことを示す通知を受け
た際に、前記映像入力部に対して、次の画像データの取
り込みを開始するように命令を出すものである。

【００５０】この発明によれば、一画面分の画像データ
の符号化処理に要する時間が、常に一画面分の画像デー
タを取り込む時間のＮ倍以上であることを利用して、次
の画像データの取り込む処理を開始を、符号化処理のＮ
分の（Ｎ−１）が終了するまで遅らせるので、画像デー
タ取り込みが完了してからその画像データの符号化処理
が完了するまでの時間、すなわち、符号化遅延時間を短
くすることができ、かつ、任意のＭに対して同様の処理
で対処できるという作用を有する。

【００５１】請求項１１に記載の発明は、請求項９記載
の映像信号符号化装置において、前記符号化処理部は、
一画面分の画像データを取り込むのに要する時間に対し
て、一画面分の画像データを符号化するのに要する時間
との比Ｎは２^M値（Ｍは任意の自然数）とし、一画面分
の画像データの符号化処理がｋ分の（ｋ−１）（ただ
し、ｋは２を初期値とし、通知する毎に１ずつ加算され
ていき、Ｎまで更新される整数である）だけ終了する毎
に前記バッファ管理部に符号化処理の進行状況を通知
し、前記バッファ管理部は前記符号化処理部から画像取
り込みの開始の通知を受けた際に、符号化処理が完了す
るまでの残り時間内に再度画像が取り込めるか否かを判
定し、改めて画像データの取り込みを開始するように制
御するものである。

【００５２】この発明によれば、ダブルバッファの切替
と同時に、符号化処理と画像取り込み処理を開始し、一
画面分の画像データの符号化処理に要する時間が、一画
面分の画像データを取り込む時間のＮ倍以上になった場
合に限り、画像データの再取り込みを実行するので、画
像データ取り込みが完了してからその画像データの符号
化処理が完了するまでの時間、すなわち、符号化遅延時
間を短くすることができ、かつ、画像取り込み開始時間
を遅らせたために符号化処理の方が早く終了してしま
い、符号化処理開始時間の遅れが発生することを防止で
き、かつ、任意のＭに対して同様の処理で対処できると
いう作用を有する。

【００５３】請求項１２の記載の発明は、請求項９記載
の映像信号符号化装置において、前記バッファ管理部
は、前記符号化処理部が通知してくる符号化所要時間の
履歴を記録しておき、この履歴情報を利用して、所定期
間内の符号化所要時間の平均値を平均符号化所要時間と
して算出し、一画面分の画像データを取り込むのに要す
る時間に対する平均符号化所要時間の比率を符号化負荷
係数として算出し、符号化負荷係数の値に応じて、画像
データ取り込み開始のタイミングの制御するものであ
る。

【００５４】この発明によれば、過去の符号化所要時間
から算出した符号化負荷係数の値に応じて、最適な画像
データ取り込み開始時間の制御方法を選択するので、画
像データ取り込みが完了してからその画像データの符号
化処理が完了するまでの時間、すなわち、符号化遅延時
間の短縮化をより効果的に実施することができるという
作用を有する。

【００５５】請求項１３記載の発明は、請求項９記載の
映像信号符号化装置において、前記映像信号符号化装置
は、複数プログラムの同時実行が可能な汎用計算機に搭
載され、前記符号化処理部は、前記汎用計算機のリソー
スを利用することにより符号化処理の少なくとも一部を
実行し、前記汎用計算機が有するリソースの使用状況を
監視する負荷検知部を有し、前記負荷検知部は、システ
ム全体のリソース使用状況を全負荷量として、映像符号
化処理に関するリソース使用状況を符号化負荷量として
前記バッファ管理部に適宜通知し、前記バッファ管理部
は、前記負荷検知部が通知してくる全負荷量および符号
化負荷量を利用して、次に符号化処理を行う画像データ
の取り込み開始のタイミングを制御するものである。

【００５６】この発明によれば、画像データ取り込み開
始のタイミングを制御することにより、単位時間当たり
の画像取り込み枚数を調整できるので、システム全体の
リソース負荷の状況に応じて、映像符号化処理を実行す
ることで発生する負荷を調整することができるという作
用を有する。

【００５７】請求項１４記載の発明は、請求項１３記載
の映像信号符号化装置において、映像符号化処理の実行
優先度を示す符号化処理優先度と、画像取り込みレート
の制御範囲を示すレート制御範囲とを外部から設定する
ことができるパラメータ設定部を持ち、前記パラメータ
設定部は、外部から設定された符号化処理優先度とレー
ト制御範囲を前記バッファ管理部に通知し、前記バッフ
ァ管理部は、符号化処理優先度を用いて負荷係数上限し
きい値および負荷係数下限しきい値を算出し、また、前
記前負荷量に対する前記符号化負荷量の比率を負荷係数
として算出し、全負荷量が所定負荷しきい値を上回り、
かつ、負荷係数が負荷係数上限しきい値を上回る場合
は、画像データの取り込みレートを下げると判断し、全
負荷量が所定負荷しきい値を下回り、かつ、負荷係数が
負荷係数下限しきい値を下回る場合は、画像データの取
り込みレートを上げると判断し、レート調整の結果、画
像取り込みレートの制御範囲外の値になった場合は、画
像取り込みレートの制御範囲の値になるようにクリッピ
ング処理を行い、画像取り込みレートの調整量に対応さ
せて、次に符号化処理を行う画像データの取り込み開始
のタイミングを制御するものである。

【００５８】この発明によれば、映像符号化処理が計算
機リソースを占有しないように制限し、かつ、計算機リ
ソースに余裕がある場合には、映像符号化処理の計算量
を増加させ、符号化映像の品質を向上させることができ
るという作用を有する。

【００５９】請求項１５に記載するコンピュータ読み取
り可能な記録媒体は、一画面分の画像データを符号化す
る符号化処理ステップと、次に前記符号化処理を行う一
画面分の画像データを画像取り込む処理ステップとをダ
ブルバッファメモリを介して並行して実行する映像信号
符号化方法において、前記符号化処理ステップはその符
号化処理の進行状況を検出し、画像取り込み処理ステッ
プは前記符号化処理の進行状況に応じてバッファメモリ
への画像データ取り込み開始のタイミングを制御する映
像信号符号化プログラムを記録したンピュータ読み取り
可能な記録媒体である。

【００６０】この発明によれば、符号化処理の進行状況
を考慮して、次に符号化処理を行う画像データの取り込
み開始のタイミングを制御するので、一画面分の画像デ
ータの取り込み時間と比較して、一画面分の画像データ
の符号化処理時間が数倍になるような状況においても、
画像データ取り込みが完了してからその画像データの符
号化処理が完了するまでの時間、すなわち、符号化遅延
時間を短くすることができ、映像通信システム全体とし
てみたときの映像品質向上を図ることができる。

【００６１】請求項１６に記載の発明は、請求項１５記
載の映像信号符号化プログラムを記録したコンピュータ
読み取り可能な記録媒体において、前記符号化処理ステ
ップは、一画面分の画像データを複数の均等領域に分割
し、全領域数に対する符号化処理が完了した領域数の割
合を符号化の進行状況として算出するものである。

【００６２】この発明によれば、符号化処理の進行状況
を、符号化完了割合や符号化所要時間という具体的な数
値で把握できるので、次に符号化処理を行う画像データ
の取り込み開始のタイミングを精度良く制御することが
できるという作用を有する。

【００６３】請求項１７に記載の発明は、請求項１６記
載の映像信号符号化プログラムを記録したコンピュータ
読み取り可能な記録媒体において、前記符号化処理ステ
ップは、一画面分の画像データを取り込むのに要する時
間に対して、一画面分の画像データを符号化するのに要
する時間との比Ｎを求め、一画面分の画像データの符号
化処理がＮ分の（Ｎ−１）だけ終了した時点で画像デー
タの取り込みの開始を指示するものである。

【００６４】この発明によれば、一画面分の画像データ
の符号化処理に要する時間が、常に一画面分の画像デー
タを取り込む時間のＮ倍以上であることを利用して、次
の画像データの取り込む処理を開始を、符号化処理のＮ
分の（Ｎ−１）が終了するまで遅らせるので、画像デー
タ取り込みが完了してからその画像データの符号化処理
が完了するまでの時間、すなわち、符号化遅延時間を短
くすることができ、かつ、任意のＭに対して同様の処理
で対処できるという作用を有する。

【００６５】請求項１８記載の発明は、請求項１６記載
の映像信号符号化プログラムを記録したコンピュータ読
み取り可能な記録媒体において、前記符号化処理ステッ
プは、一画面分の画像データを取り込むのに要する時間
に対して、一画面分の画像データを符号化するのに要す
る時間との比Ｎは２^M値（Ｍは任意の自然数）とし、一
画面分の画像データの符号化処理がｋ分の（ｋ−１）
（ただし、ｋは２を初期値とし、通知毎に１ずつ加算さ
れていき、Ｎまで更新される整数である）を終了する毎
に符号化処理進行状況を通知し、画像取り込み処理ステ
ップは、前記符号化処理ステップから画像取り込みの開
始の通知を受けた際に、符号化処理が完了するまでの残
り時間内に再度画像が取り込めるか否かを判定し、改め
て画像データの取り込みを開始するものである。

【００６６】この発明によれば、ダブルバッファの切替
と同時に、符号化処理と画像取り込み処理を開始し、一
画面分の画像データの符号化処理に要する時間が、一画
面分の画像データを取り込む時間のＮ倍以上になった場
合に限り、画像データの再取り込みを実行するので、画
像データ取り込みが完了してからその画像データの符号
化処理が完了するまでの時間、すなわち、符号化遅延時
間を短くすることができ、かつ、画像取り込み開始時間
を遅らせたために符号化処理の方が早く終了してしま
い、符号化処理開始時間の遅れが発生することを防止で
き、かつ、任意のＭに対して同様の処理で対処できると
いう作用を有する。

【００６７】以下、本発明の実施の形態について、図を
用いて説明する。

【００６８】（実施の形態１）図１に、本発明の実施の
形態１の映像通信端末装置のブロック構成図を示し、以
下に説明する。

【００６９】図１において、１０１は映像信号を入力す
る映像入力部、１０２はバッファ管理部１０６、第一の
セレクタ１０７、第一のバッファメモリ１０８、第二の
バッファメモリ１０９および第二のセレクタ１１０から
構成され、映像入力バッファ部１０２はダブルバッファ
形式の構成をしており、取り込み済みの画像データの符
号化処理と、次に符号化する画像データの取り込み処理
とを並行して実行することができる。画像データの符号
化処理と画像データの取り込み処理が完了すると、セレ
クタ１０７とセレクタ１１０が切り替えられる。

【００７０】符号化処理部１０３は、映像入力バッファ
部１０２に内包される２個のバッファメモリのいずれか
より画像データを読み出し、これを符号化処理部１０３
において符号化した後に、後段の符号データバッファ部
１０４を介して順次送信部１０５から符号化データを出
力していく。

【００７１】また、図２にコンピュータを用いた映像通
信端末装置の構成図を示す。図２において、映像を撮像
するカメラ２０１、パソコン２０２、復号映像を表示す
るディスプレイ２０３から構成される。そして、パソコ
ン２０２は、内部バス２０４、プロセッサ（ＣＰＵ）２
０５、ＲＡＭ（ランダムアクセスメモリ）２０６、ＲＯ
Ｍ（リードオンリーメモリ）２０７を有し、これに映像
入力インタフェース２０９、通信インタフェース２０
８、符号化/復号処理部２１０、映像出力インタフェー
ス２１１から構成され、ソフトウエアプログラムにより
処理が行われる。

【００７２】次に、映像通信端末装置のバッファ制御方
法について詳細に説明する。

【００７３】図３(ａ)は従来の単純バッファ制御のバッ
ファ切替タイミングを示した図で、図１８(ｂ)と同じで
あり、比較のために掲載している。一方、図３(ｂ)は、
本発明の符号化処理時間の１／２を基準時間とするバッ
ファ制御のタイミングを示した図である。図中の記号の
意味は、図１８と同じであり、符号化処理の2分の1が終
了した位置を示す矢印が追加されている。

【００７４】図３(ｂ)を用いて本発明のバッファ制御の
タイミングに関して説明する。符号化処理部１０３は、
一画面分の画像データの符号化処理が2分の1だけ終わっ
た時点と、一画面分の画像データの符号化処理が終わっ
た時点において、バッファ管理部１０６に通知を出す。
バッファ管理部１０６は、一画面分の画像データの符号
化処理の2分の1が終わったことを示す通知を受けた際
に、符号化処理部１０３に対し次の画像データの符号化
処理を開始するように指示を出す。そして、バッファ管
理部１０６は、一画面分の画像データの符号化処理の2
分の1が終わったことを示す通知を受けた際に、映像入
力部１０１に対して、次の画像データの取り込み開始を
指示する。本実施の形態では、TeはTiの２倍以上である
ことを保証しているので、符号化処理の2分の1が終わっ
てから画像取り込みを開始しても、並行して実行されて
いる符号化処理が終了するまでに画像取り込み処理を完
了することができる。

【００７５】ここで、図３(ｂ)の符号化処理時間の１／
２を基準時間とするバッファ制御方法の処理手順を図
４、図５、図６を参照しながら説明する。なお、これら
の図は、処理手順の概要を記したものであり、初期化処
理、終了処理等の詳細に関しては示していない。

【００７６】図４は、本発明の符号化処理時間の１／２
を基準時間とするバッファ制御方法のバッファ管理手順
を示すフローチャートである。これは、バッファ管理部
１０６が、図１の映像入力部１０１と符号化処理部１０
３と、映像入力バッファ部１０２内の各部を制御するた
めに実行するものである。

【００７７】まず、S401においてi=0とし、S402でNwを
算出する。Nwが決定されたら、S403において番号がNwで
あるバッファメモリへの画像取り込み開始信号を映像入
力部１０１へ送信し、S404で画像取り込みが完了するの
を待つ。そして、画像取り込みが完了したら、その画像
データの符号化処理を開始するために、S405およびS406
においてNrを更新し、S407において番号Nrのバッファメ
モリ中の画像データの符号化処理開始信号を符号化処理
部１０３へ送信する。そして、S408において符号化処理
の１／２が終了するのを待つ。符号化処理の１／２が終
了したことを示す信号を受信したら、S409においてNwを
更新し、S410で番号がNwであるバッファメモリへの画像
取り込み開始信号を映像入力部１０１へ送信する。この
後、S411およびS412で画像取り込みが完了したこと、お
よび、符号化処理が完了したことを確認する。そして、
S413では、バッファ制御を継続するか否かを確認し、継
続する場合にはS405に戻り、終了する場合には、S414で
処理終了信号を送信する。

【００７８】図５は、本発明の符号化処理時間の１／２
を基準時間とするバッファ制御方法の画像取り込み処理
手順を示すフローチャートである。この画像取り込み処
理は、図１の映像入力部１０１が実行する。まず、S501
において画像取り込み開始信号の受信を確認する。画像
取り込み開始信号を受信したら、S502において指定され
た番号Nwのバッファメモリへの画像データ取り込みを開
始し、これが終了したらS503で画像データ取り込み完了
信号を図１のバッファ管理部１０６へ送信する。そし
て、S504において処理終了信号を受信した場合には処理
を終了し、処理終了信号を受信していない場合にはS501
に戻り処理を継続する。

【００７９】図６は、本発明の符号化処理時間の１／２
を基準時間とするバッファ制御方法の符号化処理手順を
示すフローチャートである。この画像符号化処理は、図
１の符号化処理部１０３が実行する。まず、S601におい
て符号化処理開始信号の受信を確認する。符号化処理開
始信号を受信したら、S602において指定された番号Nrの
バッファメモリに格納されている画像データを読み込
み、その符号化処理を開始する。ただし、符号化処理を
実行するのは画像データの上半分のみである。画像デー
タの上半分の符号化処理が終了したらS603で符号化処理
１／２完了信号を図１のバッファ管理部１０６へ送信す
る。そして、画像データ下半分の符号化処理をS604にお
いて実行し、これが完了したら、S605で符号化処理２／
２完了信号を図１のバッファ管理部１０６へ送信する。
S606において処理終了信号を受信した場合には処理を終
了し、処理終了信号を受信していない場合にはS601に戻
り処理を継続する。

【００８０】以上のように本実施の形態は、一画面分の
画像データを取り込むのに要する時間Tiに対して、一画
面分の画像データを符号化するのに要する時間Teが常に
２倍以上である時に有効なバッファ制御である。

【００８１】（実施の形態２）本実施の形態２は、一画
面分の画像データを取り込むのに要する時間Tiに対し
て、一画面分の画像データを符号化するのに要する時間
Teが２倍以上なる場合がある時に有効なバッファ制御で
ある。この実施の形態は、TeがTiの２倍以上にならない
場合があることも許容する点が、実施の形態１と異な
る。

【００８２】図７(ａ)は単純バッファ制御のバッファ切
替タイミング図であり、図７(ｂ)は実施の形態1で説明
した本発明の符号化処理時間の１／２を基準時間とする
バッファ制御のタイミングを示す図であり、比較のため
に掲載している。図７(ｃ)は、本実施の形態の再取り込
み処理を追加した符号化処理時間の１／２を基準時間と
するバッファ制御のタイミングを示す図である。

【００８３】なお、図７では、30fps(frames per secon
d)の映像信号を想定しているため、データ取り込み開始
の基準クロックは１／３０秒である。したがって、符号
化処理の2分の1終了したことを通知する信号が、１／３
０秒以下の精度を持っていたとしても、画像データの取
り込み開始は１／３０秒を刻みで制御される。

【００８４】図７(ｂ)は、常にTeはTiの２倍以上になる
と仮定して実施の形態１で示したバッファ制御を実行し
たが、実際にはTeがTiの２倍に満たない場合があるとど
うなるかを示したタイミング図である。この図が示すよ
うに、TeがTiの２倍に満たないのにも関わらず、並行し
て実行されている符号化処理の2分の1が終了するまで画
像取り込み開始を遅らせると、符号化処理が終了するま
でに画像取り込みが完了せず、符号化処理の方を待たせ
てしまうことになる。このように、TeがTiの２倍に満た
ないことがある場合には、画像取り込み開始を単純に遅
らせるだけでは適切なバッファ制御ができない。

【００８５】図７(ｃ)に本実施形態のバッファ制御のタ
イミングを示す図を示して説明する。符号化処理部１０
３は、一画面分の画像データの符号化処理の2分の1が終
わった時点と、一画面分の画像データの符号化処理が終
わった時点において、バッファ管理部１０６に通知を出
す。バッファ管理部１０６は、一画面分の画像データの
符号化処理が完了した時点において、映像入力部１０１
に対して、次の画像データの取り込み開始を指示し、こ
れと同時に、符号化処理部に次の画像データの符号化処
理を開始するように指示を出す。

【００８６】その後、バッファ管理部１０６は、一画面
分の画像データの符号化処理の2分の1が完了した通知を
受けた際に、画像取り込み状況を確認し、画像取り込み
処理をリセットし再実行するか否かを判定する。すなわ
ち、一画面分の画像データの符号化処理の2分の1が完了
した時点で、既に画像取り込み処理が完了しているなら
ば、残り半分の画像符号化を行う時間を利用して、再度
一画面分の画像データを取り込む余裕があるので、既に
取り込んだ画像データを破棄し、画像データの再取り込
み処理を実行する。

【００８７】一方、一画面分の画像データの符号化処理
の2分の1が完了した時点で、画像取り込み処理が完了し
ていないならば、画像再取り込みを実行する余裕はない
ので、実行中の画像取り込み処理をそのまま継続する。
このように、一度画像取り込みを実行し、画像符号化処
理の進行状況に応じて画像データの再取り込みを実行す
れば、符号化処理開始を遅らせること無く、符号化遅延
時間の短縮を図ることができる。

【００８８】ここで、図７(ｃ)の本発明の再取り込み処
理を追加した符号化処理時間の１／２を基準時間とする
バッファ制御方法のバッファ管理手順を図８のフローチ
ャートを参照しながら説明する。なお、この図は、処理
手順の概要を記したものであり、初期化処理、終了処理
等の詳細に関しては示していない。

【００８９】また、画像取り込み処理手順と符号化処理
手順については、図５および図６と同じであるので、説
明を省略する。図８のバッファ管理手順は、バッファ管
理部１０６が、図１の映像入力部１０１と符号化処理部
１０３と、映像入力バッファ部１０２内の各部を制御す
るために実行するものである。

【００９０】まず、S701においてi=0とし、S702でNwを
算出する。Nwが決定されたら、S703において番号がNwで
あるバッファメモリへの画像取り込み開始信号を映像入
力部１０１へ送信し、S704で画像取り込みが完了するの
を待つ。そして、画像取り込みが完了したら、その画像
データの符号化処理を開始するために、S705およびS706
においてNrを更新し、S707において番号Nrのバッファメ
モリ中の画像データの符号化処理開始信号を符号化処理
部１０３へ送信する。これに引き続き、S708でNwを更新
して、S709で番号がNwであるバッファメモリへの画像取
り込み開始信号を映像入力部１０１へ送信する。

【００９１】そして、S710における符号化処理の１／２
が完了したことの確認する。次のS711では、画像取り込
み処理が完了したか否かを確認する。この時、画像取り
込みが完了しているならば、S12において映像入力部１
０１に対して画像取り込みを改めて実行する指示を出
す。画像取り込みが完了していないならば、何もせずそ
の後の処理を継続する。次のS713およびS714では画像取
り込みが完了したこと、および、符号化処理が完了した
ことを確認する。そして、S715ではバッファ制御を継続
するか否かを確認する。バッファ制御を継続する場合に
はS705に戻り、バッファ制御を終了する場合には、S716
で処理終了信号を送信する。

【００９２】（実施の形態３）本実施の形態は、一画面
分の画像データを取り込むのに要する時間Tiに対して、
一画面分の画像データを符号化するのに要する時間が常
に４倍以上である時に有効なバッファ制御である。

【００９３】図９(ａ)は単純バッファ制御のタイミング
図である、図９(ｂ)は、実施の形態１で説明した本発明
の符号化処理時間の１／２を基準時間とするバッファ制
御のタイミング図である。図９(ｃ)は、本発明の符号化
処理時間の１／４を基準時間とするバッファ制御のタイ
ミング図である。図中の記号の意味は、図３と同じであ
り、符号化処理の2分の1が終了した位置もしくは符号化
処理の３／４が終了した位置を示す矢印が追加されてい
る。

【００９４】図９(ｃ)に本実施形態のバッファ制御のタ
イミング図を示して説明する。符号化処理部１０３は、
一画面分の画像データの符号化処理の３／４が終わった
時点と、一画面分の画像データの符号化処理が終わった
時点において、バッファ管理部１０６に通知を出す。バ
ッファ管理部１０６は、一画面分の画像データの符号化
処理の2分の1が終わったことを示す通知を受けた際に、
符号化処理部１０３に対し次の画像データの符号化処理
を開始するように指示を出す。

【００９５】その後、バッファ管理部１０６は、一画面
分の画像データの符号化処理の３／４が終わったことを
示す通知を受けた際に、映像入力部１０１に対して、次
の画像データの取り込み開始を指示する。本実施の形態
では、TeはTiの４倍以上であることを保証しているの
で、符号化処理の３／４が終わってから画像取り込みを
開始しても、並行して実行されている符号化処理が終了
するまでに画像取り込み処理を完了することができる。

【００９６】図９(ｂ)と図９(ｃ)を比較すると、TeがTi
の４倍以上になることが明らかである場合は制御の精度
を上げて、符号化処理時間の１／２時間を基準としたバ
ッファ制御ではなく、符号化処理時間の１／４時間を基
準としたバッファ制御を採用したほうが、符号化遅延時
間をより短縮できることがわかる。

【００９７】なお、本実施の形態では、常にTeはTiの４
倍である場合の例を示したが、この例は、常にTeはTiの
Ｎ倍（Ｎは任意の自然数）とした場合にも容易に適用で
きる。

【００９８】ここで、図９(ｃ)の符号化処理時間の１／
４を基準時間とするバッファ制御方法の処理手順を図１
０、図１１、図１２を参照しながら説明する。なお、こ
れらの図は、処理手順の概要を記したものであり、初期
化処理、終了処理等の詳細に関しては示していない。

【００９９】図１０は、本発明の符号化処理時間の１／
４を基準時間とするバッファ制御方法のバッファ管理手
順を示すフローチャートである。これは、バッファ管理
部１０６が、図１の映像入力部１０１と符号化処理部１
０３と、映像入力バッファ部１０２内の各部を制御する
ために実行するものである。

【０１００】まず、S801においてi=0とし、S802でNwを
算出する。Nwが決定されたら、S803において番号がNwで
あるバッファメモリへの画像取り込み開始信号を映像入
力部１０１へ送信し、S804で画像取り込みが完了するの
を待つ。そして、画像取り込みが完了したら、その画像
データの符号化処理を開始するために、S805およびS806
においてNrを更新し、S807において番号Nrのバッファメ
モリ中の画像データの符号化処理開始信号を符号化処理
部１０３へ送信する。

【０１０１】そして、S808において符号化処理の３／４
が終了するのを待つ。符号化処理の３／４が終了したこ
とを示す信号を受信したら、S809においてNwを更新し、
S810で番号がNwであるバッファメモリへの画像取り込み
開始信号を映像入力部１０１へ送信する。この後、S811
およびS812で画像取り込みが完了したこと、符号化処理
が完了したことを確認する。そして、S813では、バッフ
ァ制御を継続するか否かを確認し、継続する場合にはS8
05に戻り、終了する場合には、S814で処理終了信号を送
信する。

【０１０２】図１１は、本発明の符号化処理時間の１／
４を基準時間とするバッファ制御方法の画像取り込み処
理手順を示すフローチャートである。この画像取り込み
処理は、図１の映像入力部１０１が実行する。まず、S9
01において画像取り込み開始信号の受信を確認する。画
像取り込み開始信号を受信したら、S902において指定さ
れた番号Nwのバッファメモリへの画像データ取り込みを
開始し、これが終了したらS903で画像データ取り込み完
了信号を図１のバッファ管理部１０６へ送信する。そし
て、S904において処理終了信号を受信した場合には処理
を終了し、処理終了信号を受信していない場合にはS901
に戻り処理を継続する。

【０１０３】図１２は、本発明の符号化処理時間の１／
４を基準時間とするバッファ制御方法の符号化処理手順
を示すフローチャートである。この画像符号化処理は、
図１の符号化処理部１０３が実行する。まず、S1001に
おいて符号化処理開始信号の受信を確認する。符号化処
理開始信号を受信したら、S1002において指定された番
号Nrのバッファメモリに格納されている画像データを読
み込み、その符号化処理を開始する。ただし、符号化処
理を実行するのは画像データの上位３／４の領域に含ま
れるデータのみである。

【０１０４】３／４の画像データの符号化処理が終了し
たらS1003で符号化処理３／４完了信号を図１のバッフ
ァ管理部１０６へ送信する。そして、画像データの残り
１／４の符号化処理をS1004において実行し、これが完
了したら、S1005で符号化処理4/4完了信号を図１のバッ
ファ管理部１０６へ送信する。S1006において処理終了
信号を受信した場合には処理を終了し、処理終了信号を
受信していない場合にはS1001に戻り処理を継続する。

【０１０５】（実施の形態４）本実施の形態は、一画面
分の画像データを取り込むのに要する時間Tiに対して、
一画面分の画像データを符号化するのに要する時間Teが
４倍以上なる場合がある時に有効なバッファ制御であ
る。この実施の形態は、TeがTiの４倍以上にならない場
合があることも許容する点が、実施の形態３と異なる。

【０１０６】図１３(ａ)は単純バッファ制御のバッファ
制御のタイミング図であり、図１３(ｂ)は実施の形態３
において説明した本発明の符号化処理時間の１／４を基
準時間とするバッファ制御のタイミング図である。図１
３(ａ)および図１３(ｂ)は、比較のために掲載してい
る。図１３(ｃ)は、本発明の再取り込み処理を追加した
符号化処理時間の１／４を基準時間とするバッファ制御
のタイミング図である。

【０１０７】なお、図１３では、30fps(frames per sec
ond)の映像信号を想定しているため、画像データ取り込
み開始の規準クロックは１／３０秒である。したがっ
て、符号化処理の2分の1が終了したことを通知する信号
が、１／３０秒以下の精度を持っていたとしても、画像
データの取り込み開始は１／３０秒を刻みで制御され
る。

【０１０８】図１３(ｂ)は、常にTeはTiの４倍以上にな
ると仮定して実施の形態１で示したバッファ制御を実行
したが、実際にはTeがTiの４倍に満たない場合があると
どうなるかを示したタイミング図である。この図が示す
ように、TeがTiの４倍に満たないのにも関わらず、並行
して実行されている符号化処理の３／４が終了するまで
画像取り込み開始を遅らせると、符号化処理が終了する
までに画像取り込みが完了せず、符号化処理の方を待た
せてしまうことになる。このように、TeがTiの４倍に満
たないことがある場合には、画像データ取り込み開始を
単純に遅らせるだけでは適切なバッファ制御ができな
い。

【０１０９】図１３(ｃ)に関して説明する。符号化処理
部１０３は、一画面分の画像データの符号化処理の１／
２および３／４が終わった時点と、一画面分の画像デー
タの符号化処理が終わった時点において、バッファ管理
部１０６に通知を出す。バッファ管理部１０６は、一画
面分の画像データの符号化処理が完了した時点におい
て、映像入力部１０１に対して、次の画像データの取り
込み開始を指示し、これと同時に、符号化処理部に次の
画像データの符号化処理を開始するように指示を出す。

【０１１０】その後、バッファ管理部１０６は、一画面
分の画像データの符号化処理の１／２が完了した通知を
受けた際に、画像取り込み状況を確認し、画像取り込み
処理をリセットし再実行するか否かを判定する。すなわ
ち、一画面分の画像データの符号化処理の１／２が完了
した時点で、既に画像取り込み処理が完了しているなら
ば、残り半分の画像符号化を行う時間を利用して、再度
一画面分の画像データを取り込む余裕があるので、既に
取り込んだ画像データを破棄し、画像データの再取り込
み処理を実行する。この時、再取り込みを実施した記録
を残しておく。一方、一画面分の画像データの符号化処
理の2分の1が完了した時点で、画像取り込み処理が完了
していないならば、画像再取り込みを実行する余裕はな
いので、実行中の画像取り込み処理をそのまま継続す
る。

【０１１１】次に、バッファ管理部１０６は、一画面分
の画像データの符号化処理の３／４が完了した通知を受
けた際に、画像取り込み状況を確認し、画像取り込み処
理を再実行するか否かを判定する。すなわち、一画面分
の画像データの符号化処理の３／４が完了した時点で、
既に画像取り込み処理が完了しており、かつ、再取り込
み実績があるならば、残り１／４の画像符号化を行う時
間を利用して、再度一画面分の画像データを取り込む余
裕があるので、既に取り込んだ画像データを破棄し、画
像データの再取り込み処理を実行する。

【０１１２】一画面分の画像データの符号化処理の３／
４が完了した時点で、既に画像取り込み処理が完了して
いるが、再取り込み実績がない場合は、画像データの再
取り込み処理は実施しない。ここで、再取り込み実績が
ないということは、最初の画像取り込みに要した時間が
(Te/2)より大きく(3・Te)/4であったことを意味する。そ
こで、この様な場合は、残りのTe/4の時間では再度画像
取り込みが完了しない可能性が高いので、再取り込み処
理は実行しない。

【０１１３】一方、一画面分の画像データの符号化処理
の３／４が完了した時点で、画像取り込み処理が完了し
ていないならば、画像再取り込みを実行する余裕はない
ので、実行中の画像取り込み処理をそのまま継続する。

【０１１４】このように、一度画像取り込みを実行し、
画像符号化処理の進行状況に応じて画像データの再取り
込みを繰り返し実行すれば、符号化処理開始を遅らせる
こと無く、符号化遅延時間の短縮を図ることができる。

【０１１５】なお、本実施の形態では、TeはTiの４倍以
上になることがある場合を例として本発明のバッファ制
御方法の示したが、この例は、TeはTiのＮ倍以上になる
ことがある場合としても容易に適用できる。ただし、Ｍ
を任意の自然数とし、Ｎは２のＭ乗であるとする。例え
ば、Ｍ＝４のとき、Ｎ＝１６となる。このとき、画像デ
ータの再取り込み判定を実施するのタイミングは、符号
化処理時間Teの１／２、３／４、７／８、１５／１６で
ある。さらに、任意のＭに対しては、次式で示すAのタ
イミングで画像データの再取り込み判定を実施すれば良
い。

【０１１６】Ａ＝（２^X-1）／（２^X）ただし、Ｘ＝１〜Ｍであり、２^Xは、２のＸ乗を意味す
る。

【０１１７】また、Ｎを任意の自然数とすることも容易
であるが、その際には実施の形態４で示したバッファ管
理のフローチャートに変更を加える必要がある。すなわ
ち、一画面分の画像データの符号化処理をＮ個に均等に
分割し、各領域の符号化処理が終了する毎に画像データ
の再取り込み判定を実施すれば良い。

【０１１８】ここで、図１３(ｃ)の本発明の再取り込み
処理を追加した符号化処理時間の１／４を基準時間とす
るバッファ制御方法のバッファ管理手順を図１４のフロ
ーチャートを参照しながら説明する。なお、この図は、
処理手順の概要を記したものであり、初期化処理、終了
処理等の詳細に関しては示していない。また、画像取り
込み処理手順と符号化処理手順については、図１１およ
び図１２と同じであるので、説明を省略する。

【０１１９】図１４のバッファ管理手順は、バッファ管
理部１０６が、図１の映像入力部１０１と符号化処理部
１０３と、映像入力バッファ部１０２内の各部を制御す
るために実行するものである。

【０１２０】まず、S1101においてi=0とし、S1102でNw
を算出する。Nwが決定されたら、S1103において番号がN
wであるバッファメモリへの画像取り込み開始信号を映
像入力部１０１へ送信し、S1104で画像取り込みが完了
するのを待つ。そして、画像取り込みが完了したら、そ
の画像データの符号化処理を開始するために、S1105お
よびS1106においてNrを更新し、S1107において番号Nrの
バッファメモリ中の画像データの符号化処理開始信号を
符号化処理部１０３へ送信する。これに引き続き、S110
8でNwを更新して、S1109で番号がNwであるバッファメモ
リへの画像取り込み開始信号を映像入力部１０１へ送信
する。そして、S1110における符号化処理の１／２が完
了したことの確認する。次のS1111では、画像取り込み
処理が完了したか否かを確認する。この時、画像取り込
みが完了しているならば、S11１／２で映像入力部１０
１に対して画像取り込みを改めて実行する指示を出し、
S1113で画像再取り込み実績を記録する。画像取り込み
が完了していないならば、何もせずその後の処理を継続
する。

【０１２１】次のS1114では符号化処理の３／４が終了
したことを確認する。そして、S1115で画像取り込みが
完了したか否かを確認する。この時、画像取り込みが完
了しているならば、S1116で画像再取り込み実績の確認
し、実績がある場合にはS1117で再度映像入力部１０１
に対して画像取り込みを改めて実行する指示を出す。S1
115で画像取り込みが完了していない場合、および、S11
16で画像再取り込み実績がないことが確認された場合
は、何もせずに処理を継続する。S1118では、画像再取
り込み実績記録をリセットする。

【０１２２】次のS1119およびS1120では画像取り込みが
完了したこと、および、符号化処理が完了したことを確
認する。そして、S1121ではバッファ制御を継続するか
否かを確認する。バッファ制御を継続する場合にはS110
5に戻り、バッファ制御を終了する場合には、S1122で処
理終了信号を送信する。

【０１２３】（実施の形態５）実施の形態１〜４では、
前提条件として、一画面分の画像データを取り込むのに
要する時間Tiと一画面分の画像データを符号化するのに
要する間Teとの比率を規定している。本実施の形態で
は、Teを計測し、実施の形態１〜４で示したバッファ制
御方法のいずれを選択するかを判定する処理を追加す
る。

【０１２４】バッファ制御方法の選択基準には、所定期
間内の過去のTeの実績値を利用する。本実施の形態にお
いては、所定期間内の過去のTeの平均値をTiで除算した
商を符号化負荷係数（ＥＬＣとする）と定め、この値を
用いてバッファ制御方法を選択する。もちろん、他の演
算により算出したパラメータを利用してバッファ制御方
法を選択するようにしても構わない。

【０１２５】Te実績値は、図１の符号化処理部１０３か
らバッファ管理部１０６に通知される。ここでは通知間
隔は特に規定しない。定期的に通知しても良いし、Teの
値が大きく変動した場合に限り通知することにしても良
い。バッファ管理部１０６は、符号化処理部１０３から
通知される過去のTe実績値から、符号化負荷係数ＥＬＣ
を算出する。このＥＬＣは、実施の形態1〜４で利用し
ていたTeとTiの比率と同じ意味を持つので、ＥＬＣの値
に応じてバッファ制御方法を選択する。このバッファ制
御方法の選択は、バッファ管理部１０６において実行さ
れる。

【０１２６】図１５は、符号化負荷係数ＥＬＣによるバ
ッファ制御方法の選択手順を示したフローチャートであ
る。この例では、ＥＬＣが2以下の値の場合と、が２よ
り大きく４より小さい値の場合と、４以上の値の場合に
分けて処理を行っている。

【０１２７】まず、S1201においてバッファ制御方法の
初期設定を行う。そして、S1202において符号化処理部
１０３からのTe実績値の通知を待つ。Te実績値が通知さ
れた場合には、S1203において符号化負荷係数ＥＬＣを
算出し、S1204においてＥＬＣと所定しきい値との比較
演算を行い、バッファ制御方法の選択を行う。すなわ
ち、ＥＬＣが2以下の場合は、S1205において実施の形態
２で示した再取り込み処理を追加した符号化処理時間の
１／２を基準時間とするバッファ制御方法を選択し、Ｅ
ＬＣが2より大きく４より小さい場合は、S1206において
実施の形態１で示した符号化処理時間の１／２を基準時
間とするバッファ制御方法を選択し、ＥＬＣが4以上の
場合は、S1207において実施の形態４で示した再取り込
み処理を追加した符号化処理時間の１／４を基準時間と
するバッファ制御方法を選択する。最後に、S1208にお
いてバッファ制御を終了するか否かを確認する。終了し
ない場合は、S1202に戻り処理を繰り返す。

【０１２８】なお、図１５の例はごく一例であり、符号
化負荷係数ＥＬＣの判断分岐の設計は無数に考えられ
る。また、符号化負荷係数ＥＬＣは、過去のTe実績値か
ら算出したものであるので、それ以降（すなわち未来）
の符号化処理のTeを示すものではない。したがって、バ
ッファ制御方法が必ずしも最適なバッファ制御方法が選
択されるとは限らない。しかし、バッファ制御方法の選
択誤りは、映像符号化処理を破綻させる事態ではない。

【０１２９】（実施の形態６）本発明は、複数プログラ
ムの同時実行が可能な汎用計算機に搭載される映像信号
装置であり、かつ、映像符号化処理部の少なくとも一部
がソフトウェアとして実装されることを想定に含んでい
る。汎用計算機のＣＰＵやメモリ等のリソースは、映像
符号化処理のためだけに使用されるのではなく、同時に
実行される他のプログラムと共用される。一般に映像符
号化処理は演算量が大きいため計算機リソースの消費量
も多く、他のプログラムを同時実行しても十分な能力を
発揮できないという状況になりがちである。

【０１３０】映像通信だけでなく多目的に試用される端
末では、映像符号化処理の実行を最優先させるのではな
く、逆に他のプログラムの実行を優先させたい場合も有
り得る。映像符号化処理の実行優先度を下げる方法の一
つとして、単位時間当たりに処理する画像数を減らす方
法が考えられる。

【０１３１】本実施の形態では、単位時間当たりに映像
入力バッファへ取り込む画像数を画像取り込みレートと
定義し、計算機リソースの使用状況に応じて、画像取り
込みレートを調整する。

【０１３２】図１の負荷検知部１１１は、システム全体
の負荷量LDa、および、映像符号化処理の負荷量LDeを計
測し、これをバッファ管理部に通知する。この通知は、
定期的に実行しても、あるいは、負荷量が大きく変動し
たときに限り実行してもよい。ここで、負荷とは、映像
符号化装置が搭載されている汎用計算機のプロセッサの
負荷を指している。ただし、負荷の定義を別に定めても
よい。

【０１３３】図１のパラメータ設定部１１２は、映像符
号化処理の優先度(=K)を設定したり、画像取り込みレー
トの制御範囲[FRmin,FRmax]を外部から設定する手段で
ある。ここで、Kは、映像符号化処理と他のプログラム
とのいずれを優先して実行するかを示すパラメータであ
る。例えば、０から１００の範囲の数値で表し、K=100
は映像符号化処理の実行を最優先させることを示し、K=
0は他のプログラムの実行を最優先させることを意味す
る。

【０１３４】図１６は、本発明の負荷変動に適応して画
像取り込みレートを制御する手順を示すフローチャート
である。まず、S1301において画像取り込みレートの初
期設定を行う。これは図１のパラメータ設定部１１２に
より実行される。

【０１３５】S1302では、負荷検知部１１１からリソー
ス負荷変動に関する通知が送信されてきたか否かを確認
する。通知があった場合には、S1303のリソース負荷判
定に移る。この判定では、負荷係数(LDe/LDa)と負荷係
数下限しきい値((K-α)/100)および負荷係数上限しきい
値((K+α)/100)との大小比較、ならびに、システム全体
の負荷量LDaと所定しきい値LDThとの大小比較を行う。
ここで、αは予め定義してある固定パラメータであり、
LDThは負荷しきい値である。負荷判定では、次に示す判
定を行う。

【０１３６】LDaがLDTh以下であり、かつ、(LDe/LDa)が
((K-α)/100)より小さい場合は、負荷は小さいと判定
し、LDaがLDThより大きく、かつ、(LDe/LDa)が((K+α)/
100)より大きい場合は、負荷は大さいと判定し、上記以
外の場合は、負荷は中くらいと判定する。

【０１３７】S1303では、負荷判定の結果に応じて分岐
する。負荷大と判定された場合は、S1304において画像
取り込みレートを下げる処理を実行する。負荷中と判定
された場合には、S1305において画像取り込みレートを
維持する。負荷小と判定された場合には、S1306におい
て画像取り込みレートを上げる処理を実行する。レート
調整後の画像取り込みレートが、[FRmin,FRmax]の範囲
からはみ出る場合は、クリッピング処理を行う。そし
て、S1307においてバッファ制御を終了するか否かを確
認する。終了しない場合には、S1302に戻り処理を繰り
返す。

【０１３８】画像取り込みレート(=FR)を調整するの
は、一画面分の画像データを取り込むのに要する時間Ti
を調整するのと同義である(FR=1/Ti)。すなわち、負荷
変動に適応して画像取り込みレートが変更された場合に
は、Tiの値が変更されたものとして、実施の形態１〜５
に示したバッファ制御を実行すればよい。このような負
荷変動に適応した画像取り込みレート制御処理により、
映像符号化処理の実行優先度を調整することができる。

【０１３９】

【発明の効果】以上のように本発明によれば、複数プロ
グラムの同時実行が可能な汎用計算機もしくは多目的端
末に搭載される映像符号化装置であり、符号化処理の少
なくとも一部をソフトウェアとして実装する場合に、符
号化処理の進行状況に適応してダブルバッファメモリへ
の画像取り込み開始を制御するので、画像データが取り
込まれてからその画像の符号化処理が完了するまでの時
間、すなわち、符号化遅延時間を短縮することができる
という有利な効果が得られる。

【０１４０】また、本発明によれば、計算機リソースの
使用状況に適応して、画像取り込みレートを調整するの
で、映像符号化処理が計算機リソースを占有し、他のプ
ログラムの同時実行を妨げることを防止することができ
るという有利な効果が得られる。

【図面の簡単な説明】

【図１】本発明の一実施形態による映像通信端末装置の
構成を示すブロック図

【図２】本発明の一実施形態によるコンピュータを用い
た映像通信端末装置の構成図

【図３】（ａ）従来の単純バッファ制御のバッファ切替
タイミングを示した図（ｂ）本発明の符号化処理時間の１／２を基準時間とす
るバッファ制御のタイミングを示した図

【図４】本発明の符号化処理時間の１／２を基準時間と
する映像入力バッファ制御方法のバッファ管理手順を示
すフローチャート

【図５】本発明の符号化処理時間の１／２を基準時間と
する映像入力バッファ制御方法の画像取り込み処理手順
を示すフローチャート

【図６】本発明の符号化処理時間の１／２を基準時間と
する映像入力バッファ制御方法の符号化処理手順を示す
フローチャート

【図７】（ａ）従来の単純バッファ制御のバッファ切替
タイミングを示した図（ｂ）本発明の符号化処理時間の１／２を基準時間とす
るバッファ制御のタイミングを示した図（ｃ）本発明の再取り込み処理を追加した符号化処理時
間の１／２を基準時間とする映像入力バッファ制御方法
を示すタイミング図

【図８】本発明の再取り込み処理を追加した符号化処理
時間の１／２を基準時間とする映像入力バッファ制御方
法のバッファ管理手順を示すフローチャート

【図９】（ａ）従来の単純バッファ制御のバッファ切替
タイミングを示した図（ｂ）本発明の符号化処理時間の１／２を基準時間とす
るバッファ制御のタイミングを示した図（ｃ）本発明の符号化処理時間の１／４を基準時間とす
る映像入力バッファ制御方法を示すタイミング図

【図１０】本発明の符号化処理時間の１／４を基準時間
とする映像入力バッファ制御方法のバッファ管理手順を
示すフローチャート

【図１１】本発明の符号化処理時間の１／４を基準時間
とする映像入力バッファ制御方法の画像取り込み手順を
示すフローチャート

【図１２】本発明の符号化処理時間の１／４を基準時間
とする映像入力バッファ制御方法の符号化処理手順を示
すフローチャート

【図１３】本発明の再取り込み処理を追加した符号化処
理時間の１／４を基準時間とする映像入力バッファ制御
方法を示すタイミング図

【図１４】本発明の再取り込み処理を追加した符号化処
理時間の１／４を基準時間とする映像入力バッファ制御
方法のバッファ管理手順を示すフローチャート

【図１５】本発明の符号化処理実績に応じてバッファ制
御方法を切り替える手順を示すフローチャート

【図１６】本発明のシステム全体の負荷変動に適応して
バッファ制御を行う手順を示すフローチャート

【図１７】従来の映像通信端末装置のブロック構成図

【図１８】（ａ）ハードウエア・エンコード時のバッフ
ァ制御タイミングを示す図（ｂ）ソフトウエア・エンコード時のバッファ制御タイ
ミングを示す図

【図１９】従来の単純バッファ制御方法のバッファ管理
手順を示すフローチャート

【図２０】従来の単純バッファ制御方法の画像取り込み
処理手順をを示すフローチャート

【図２１】従来の単純バッファ制御方法の符号化処理手
順を示すフローチャート

【符号の説明】

１０１映像入力部１０２映像入力バッファ部１０３符号化処理部１０４符号データバッファ部１０５送信部１０６バッファ管理部１０７セレクタ１０８バッファメモリ１０９バッファメモリ１１０セレクタ１１１負荷検知部１１２パラメータ設定部２０１カメラ２０２パソコン本体２０３ディスプレイ２０４内部バス２０５プロセッサ２０６ＲＡＭ２０７ＲＯＭ２０８通信インタフェース２０９映像入力インタフェース２１０符号化/復号処理部２１１映像出力インタフェース

Claims

【特許請求の範囲】

【請求項１】一画面分の画像データを符号化する符号
化処理ステップと、次に前記符号化処理を行う一画面分
の画像データを画像取り込み処理ステップとをダブルバ
ッファメモリを介して並行して実行する映像信号符号化
方法において、前記符号化処理ステップはその符号化処
理の進行状況を検出し、画像取り込み処理ステップは前
記符号化処理の進行状況に応じてバッファメモリへの画
像データ取り込み開始のタイミングを制御することを特
徴とする映像信号符号化方法。
【請求項２】前記符号化処理ステップは、一画面分の
画像データを複数の均等領域に分割し、全領域数に対す
る符号化処理が完了した領域数の割合を符号化の進行状
況として算出することを特徴とする請求項１記載の映像
信号符号化方法。
【請求項３】前記符号化処理ステップは、一画面分の
画像データを取り込むのに要する時間に対して、一画面
分の画像データを符号化するのに要する時間との比Ｎを
求め、一画面分の画像データの符号化処理がＮ分の（Ｎ
−１）だけ終了した時点で画像データの取り込みの開始
を指示することを特徴とする請求項２記載の映像信号符
号化方法。
【請求項４】前記符号化処理ステップは、一画面分の
画像データを取り込むのに要する時間に対して、一画面
分の画像データを符号化するのに要する時間との比Ｎは
２^M値（Ｍは任意の自然数）とし、一画面分の画像デー
タの符号化処理がｋ分の（ｋ−１）（ただし、ｋは２を
初期値とし、通知毎に１ずつ加算されていき、Ｎまで更
新される整数である）を終了する毎に符号化処理進行状
況を通知し、画像取り込み処理ステップは、前記符号化
処理ステップから画像取り込みの開始の通知を受けた際
に、符号化処理が完了するまでの残り時間内に再度画像
が取り込めるか否かを判定し、改めて画像データの取り
込みを開始することを特徴とする請求項２記載の映像信
号符号化方法。
【請求項５】前記符号化処理ステップは、予め獲得し
た符号化所用時間の履歴情報を利用して、所定期間内の
符号化所要時間の平均値を平均符号化所要時間とし、一
画面分の画像データを取り込むのに要する時間に対する
平均符号化所要時間の比率を符号化負荷係数として算出
し、前記符号化負荷係数の値に応じて、画像データ取り
込み開始のタイミングを制御することを特徴とする請求
項１または請求項２記載の映像信号符号化方法。
【請求項６】前記映像信号符号化方法は、複数プログ
ラムの同時実行が可能な汎用計算機に搭載され、前記符
号化処理ステップは、前記汎用計算機のリソースを利用
することにより符号化処理の少なくとも一部を実行し、
前記汎用計算機が有するリソースの使用状況を監視し、
システム全体のリソース使用状況を全負荷量として、符
号化処理に関するリソース使用状況を符号化負荷量とし
て前記画像取り込み処理ステップに適宜通知し、前記画
像取り込み処理ステップは、前記通知してくる全負荷量
および符号化負荷量を利用して、次に符号化処理を行う
画像データの取り込み開始のタイミングを制御すること
を特徴とする請求項１または請求項２記載の映像信号符
号化方法。
【請求項７】符号化処理の実行優先度を示す符号化処
理優先度と、画像取り込みレートの制御範囲を示すレー
ト制御範囲とを外部から設定し、外部から設定された符
号化処理優先度とレート制御範囲を前記画像取り込み処
理ステップに通知し、前記画像取り込み処理ステップ
は、符号化処理優先度を用いて負荷係数上限しきい値お
よび負荷係数下限しきい値を算出し、また、前記前負荷
量に対する前記符号化負荷量の比率を負荷係数として算
出し、全負荷量が所定負荷しきい値を上回り、かつ、負
荷係数が負荷係数上限しきい値を上回る場合は、画像デ
ータの取り込みレートを下げると判断し、全負荷量が所
定負荷しきい値を下回り、かつ、負荷係数が負荷係数下
限しきい値を下回る場合は、画像データの取り込みレー
トを上げると判断し、レート調整の結果、画像取り込み
レートの制御範囲外の値になった場合は、画像取り込み
レートの制御範囲の値になるようにクリッピング処理を
行い、画像取り込みレートの調整量に対応させて、次に
符号化処理を行う画像データの取り込み開始のタイミン
グを制御することを特徴とする請求項６記載の映像信号
符号化方法。
【請求項８】画像データを符号化する処理と、次に符
号化処理を行う画像データを取り込む画像取り込み処理
とを並行して実行する映像信号符号化装置において、画
像データ蓄積に使用されるダブルバッファ構成のダブル
バッファメモリ部と、外部より画像データを前記ダブル
バッファメモリ部へ取り込み、その画像取り込みの進行
状況を通知する映像入力部と、前記ダブルバッファ部に
蓄積されている画像データを読み出し符号化処理を行
い、その符号化処理の進行状況を通知する符号化処理部
と、前記映像入力部および前記符号化処理部からの進行
状況の通知を利用して、前記ダブルバッファメモリ部へ
の画像データ取り込み開始のタイミングを制御するバッ
ファ管理部とを具備することを特徴とする映像信号符号
化装置。
【請求項９】前記符号化処理部は、一画面分の画像デ
ータを複数の均等領域に分割し、全領域数に対する符号
化が完了した領域数の割合を符号化完了割合として前記
バッファ管理部に通知すると共に、一画面分の画像デー
タを符号化するのに要した時間を符号化所要時間として
前記バッファ管理部に通知し、前記バッファ管理部は、
前記符号化処理部が通知してくる情報を利用して、前記
ダブルバッファメモリ部への画像データ取り込み開始の
タイミングを制御することを特徴とする請求項８記載の
映像信号符号化装置。
【請求項１０】前記符号化処理部は、一画面分の画像
データの符号化処理がＮ分の（Ｎ−１）終了した時点で
符号化処理の進行状況の通知をし、前記バッファ管理部
は、一画面分の画像データの符号化処理がＮ分の（Ｎ−
１）だけ終了したことを示す通知を受けた際に、前記映
像入力部に対して、次の画像データの取り込みを開始す
るように命令を出すことを特徴とする請求項９記載の映
像信号符号化装置。
【請求項１１】前記符号化処理部は、一画面分の画像
データを取り込むのに要する時間に対して、一画面分の
画像データを符号化するのに要する時間との比Ｎは２^M
値（Ｍは任意の自然数）とし、一画面分の画像データの
符号化処理がｋ分の（ｋ−１）（ただし、ｋは２を初期
値とし、通知する毎に１ずつ加算されていき、Ｎまで更
新される整数である）だけ終了する毎に前記バッファ管
理部に符号化処理の進行状況を通知し、前記バッファ管
理部は前記符号化処理部から画像取り込みの開始の通知
を受けた際に、符号化処理が完了するまでの残り時間内
に再度画像が取り込めるか否かを判定し、改めて画像デ
ータの取り込みを開始するように制御することを特徴と
する請求項９記載の映像信号符号化装置。
【請求項１２】前記バッファ管理部は、前記符号化処
理部が通知してくる符号化所要時間の履歴を記録してお
き、この履歴情報を利用して、所定期間内の符号化所要
時間の平均値を平均符号化所要時間として算出し、一画
面分の画像データを取り込むのに要する時間に対する平
均符号化所要時間の比率を符号化負荷係数として算出
し、符号化負荷係数の値に応じて、画像データ取り込み
開始のタイミングの制御することを特徴とする請求項９
記載の映像信号符号化装置。
【請求項１３】前記映像信号符号化装置は、複数プロ
グラムの同時実行が可能な汎用計算機に搭載され、前記
符号化処理部は、前記汎用計算機のリソースを利用する
ことにより符号化処理の少なくとも一部を実行し、前記
汎用計算機が有するリソースの使用状況を監視する負荷
検知部を有し、前記負荷検知部は、システム全体のリソ
ース使用状況を全負荷量として、映像符号化処理に関す
るリソース使用状況を符号化負荷量として前記バッファ
管理部に適宜通知し、前記バッファ管理部は、前記負荷
検知部が通知してくる全負荷量および符号化負荷量を利
用して、次に符号化処理を行う画像データの取り込み開
始のタイミングを制御することを特徴とする請求項９記
載の映像信号符号化装置。
【請求項１４】映像符号化処理の実行優先度を示す符
号化処理優先度と、画像取り込みレートの制御範囲を示
すレート制御範囲とを外部から設定することができるパ
ラメータ設定部を持ち、前記パラメータ設定部は、外部
から設定された符号化処理優先度とレート制御範囲を前
記バッファ管理部に通知し、前記バッファ管理部は、符
号化処理優先度を用いて負荷係数上限しきい値および負
荷係数下限しきい値を算出し、また、前記前負荷量に対
する前記符号化負荷量の比率を負荷係数として算出し、
全負荷量が所定負荷しきい値を上回り、かつ、負荷係数
が負荷係数上限しきい値を上回る場合は、画像データの
取り込みレートを下げると判断し、全負荷量が所定負荷
しきい値を下回り、かつ、負荷係数が負荷係数下限しき
い値を下回る場合は、画像データの取り込みレートを上
げると判断し、レート調整の結果、画像取り込みレート
の制御範囲外の値になった場合は、画像取り込みレート
の制御範囲の値になるようにクリッピング処理を行い、
画像取り込みレートの調整量に対応させて、次に符号化
処理を行う画像データの取り込み開始のタイミングを制
御することを特徴とする請求項１３記載の映像信号符号
化装置。
【請求項１５】一画面分の画像データを符号化する符
号化処理ステップと、次に前記符号化処理を行う一画面
分の画像データを画像取り込む処理ステップとをダブル
バッファメモリを介して並行して実行する映像信号符号
化方法において、前記符号化処理ステップはその符号化
処理の進行状況を検出し、画像取り込み処理ステップは
前記符号化処理の進行状況に応じてバッファメモリへの
画像データ取り込み開始のタイミングを制御する映像信
号符号化プログラムを記録したコンピュータ読み取り可
能な記録媒体。
【請求項１６】前記符号化処理ステップは、一画面分
の画像データを複数の均等領域に分割し、全領域数に対
する符号化処理が完了した領域数の割合を符号化の進行
状況として算出することを特徴とする請求項１５記載の
コンピュータ読み取り可能な記録媒体。
【請求項１７】前記符号化処理ステップは、一画面分
の画像データを取り込むのに要する時間に対して、一画
面分の画像データを符号化するのに要する時間との比Ｎ
を求め、一画面分の画像データの符号化処理がＮ分の
（Ｎ−１）だけ終了した時点で画像データの取り込みの
開始を指示することを特徴とする請求項１６記載のコン
ピュータ読み取り可能な記録媒体。
【請求項１８】前記符号化処理ステップは、一画面分
の画像データを取り込むのに要する時間に対して、一画
面分の画像データを符号化するのに要する時間との比Ｎ
は２^M値（Ｍは任意の自然数）とし、一画面分の画像デ
ータの符号化処理がｋ分の（ｋ−１）（ただし、ｋは２
を初期値とし、通知毎に１ずつ加算されていき、Ｎまで
更新される整数である）を終了する毎に符号化処理進行
状況を通知し、画像取り込み処理ステップは、前記符号
化処理ステップから画像取り込みの開始の通知を受けた
際に、符号化処理が完了するまでの残り時間内に再度画
像が取り込めるか否かを判定し、改めて画像データの取
り込みを開始することを特徴とする請求項１６記載のコ
ンピュータ読み取り可能な記録媒体。