JP2002125226A

JP2002125226A - フレームレート制御方法及び画像伝送装置

Info

Publication number: JP2002125226A
Application number: JP2000316207A
Authority: JP
Inventors: Manabu Yada; 学矢田; Takashi Nishitoba; 貴西鳥羽
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2000-10-17
Filing date: 2000-10-17
Publication date: 2002-04-26

Abstract

(57)【要約】【課題】リアルタイムに動画像の伝送を行う画像
伝送装置において、送信の上限フレームレートが規定さ
れた場合、上限フレームレートを超えないように、フレ
ーム間引きによりフレームレート制御すること。【解決手段】フレーム受信処理で、デジタル通信によ
り画像データを受信し、間引き期間判定処理において前
フレーム送信開始時間から現在時刻までの経過時間を求
めてフレーム間引き期間と比較し、フレーム間引き期間
判定で、前記経過時間がフレーム間引き期間以下であれ
ば、フレーム送信処理で画像データの送信を行い、経過
時間がフレーム間引き期間より大きければ、フレーム間
引き処理で画像データを行わずにフレーム間引きを行
う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、フレーム間引きに
よるフレームレート制御方法に関し、詳しくは、送信側
端末の送信フレームレートが受信側端末の受信可能上限
フレームレートを上回る場合など、定常的にフレーム間
引きによるフレームレート制御が必要な環境下で、上限
フレームレートを遵守しつつ、上限フレームレートにで
きるだけ近い通信を行うためのフレームレート制御方法
及び画像伝送装置に関する。

【０００２】

【従来の技術】従来のフレームレート制御方法として、
例えば特開平１０−９８４１３号公報で開示されている
ものがある。図９は同公報で開示されたフレームレート
制御方法による画像伝送装置の構成を示すブロック図で
ある。この図において、送信能力入力部１０８から入力
された送信能力と画像入力装置１０１から入力された画
像データ量とを送信フレームレートコントローラ１０６
にて比較し、送信能力が画像データ量以上であれば、入
力された画像のフレームを間引くこと無くスペクトル拡
散送信部１０５へ出力して送信する。これに対して、送
信能力が画像データ量未満であれば、送信能力と画像デ
ータ量に応じて求めた間引き量だけ間引いた画像フレー
ムをスペクトル拡散送信部１０５へ出力する。なお、こ
の図において、１０２はＡ／Ｄ変換器、１０３はフレー
ムメモリ、１０４は出力バッファ、１０７はタイミング
発生回路である。

【０００３】

【発明が解決しようとする課題】ところで、従来のフレ
ームレート制御方法にあっては、送信能力と画像データ
量とを比較することでフレームの間引き量を決定してい
るので、送信能力がフレームレートで規定される場合、
入力データ量を求める必要はない。このため、入力され
る画像データ量にかかわらずフレーム送信と次の送信フ
レームとの間隔あるいはフレーム送信のタイミングを制
御するだけでフレームレートの制御ができる。しかしな
がら、あえて従来のフレームレート制御方法を用いるな
らば、入力フレームレートを求める冗長な統計処理が必
要となり、その結果を反映させるタイミングが遅れる問
題が生じてしまう。

【０００４】本発明はかかる点に鑑みてなされたもので
あり、入力フレームレートを求める冗長な統計処理を必
要とせず、タイミング遅れが生じないフレームレート制
御方法及び画像伝送装置を提供することを目的とする。

【０００５】

【課題を解決するための手段】本発明のフレームレート
制御方法は、リアルタイムに画像フレームを受信し、受
信した画像フレームを変換・加工して送信するフレーム
レート制御方法であって、送信上限フレームレートが規
定されている場合、フレーム送信後にフレーム間引き期
間を設けて一定時間フレーム間引きを行うことで、送信
上限フレームレートを超えないよう制御する。

【０００６】この方法によれば、フレーム間引き期間を
設けるとともに、その期間を調整するので、上限フレー
ムレートを超えないようにフレームレートの制御が可能
となる。

【０００７】また、本発明のフレームレート制御方法
は、上記フレームレート制御方法において、フレームレ
ート単位時間を上限フレームレートで割って平均フレー
ム時間を求め、求めた平均フレーム時間をフレーム間引
き期間としてフレーム間引きを行う。

【０００８】この方法によれば、次のフレームのデータ
量、フレーム処理時間にかかわらず、確実に上限フレー
ムレートを守ることが可能となる。

【０００９】また、本発明のフレームレート制御方法
は、上記フレームレート制御方法において、フレームレ
ート単位時間を上限フレームレートで割って平均フレー
ム時間を求め、求めた平均フレーム時間から実際のフレ
ーム処理時間の平均を引いた時間をフレーム間引き期間
としてフレーム間引きを行う。

【００１０】この方法によれば、１フレームのデータ
量、データ処理時間にばらつきが少ない場合、より短い
間引き期間で上限フレームレートを守ることが可能とな
る。

【００１１】また、本発明のフレームレート制御方法
は、上記フレームレート制御方法において、フレームレ
ート単位時間を上限フレームレートで割って平均フレー
ム時間を求め、求めた平均フレーム時間と実際の前回フ
レーム送信からの経過時間との差を前記平均フレーム時
間から引いた値をフレーム間引き期間として１フレーム
毎にフレーム間引き期間を更新する。

【００１２】この方法によれば、フレーム間引き期間を
１フレーム毎に微調整するので、フレーム毎のデータ量
にばらつきがある場合でも、上限フレームレートを守り
つつ効率的な画像伝送が可能となる。

【００１３】また、本発明のフレームレート制御方法
は、フレームレート単位時間を上限フレームレートで割
って平均フレーム時間を求め、求めた平均フレーム時間
を単位として時間セルを連続して形成した場合、１つの
時間セルに１度だけフレーム送信を行う。

【００１４】この方法によれば、フレーム送信処理と非
同期にタイマ制御することで、より簡単に実装できると
ともに、上限フレームレートを守った画像通信が可能と
なる。

【００１５】また、本発明のフレームレート制御方法
は、上記フレームレート制御方法において、平均フレー
ム時間の定周期で送信許可フラグをオンし、フレーム送
信時に送信許可フラグをオフし、フレーム送信判定時に
送信フラグがオンであればフレーム送信し、オフであれ
ばフレーム間引きを行う。

【００１６】この方法によれば、フレーム送信処理と非
同期にタイマ制御することにより、より簡単に実装でき
るとともに、上限フレームレートを守った画像通信が可
能となる。

【００１７】本発明のフレームレート制御方法は、上記
フレームレート制御方法において、フレーム送信後にフ
レーム間引き期間を設けて一定時間フレーム間引きを行
い、上限フレームレートを超えないようにフレームレー
ト制御を行う。

【００１８】この方法によれば、フレーム送信と次のフ
レーム送信との期間が極めて短くなるのを防止すること
ができ、上限フレームレートを守った画像通信が可能と
なる。

【００１９】本発明の記録媒体は、上記フレームレート
制御方法をプログラム化したデータを記録したものであ
る。

【００２０】本発明の記録媒体を、プログラムに従って
動作するマイコンを搭載した画像伝送装置に用いること
で、上限フレームレートを守った画像通信が可能とな
る。

【００２１】本発明の画像伝送装置は、上記記録媒体
と、この記録媒体に記録されたプログラムに従って画像
フレームの送受信を行う送受信手段とを具備する構成を
採る。

【００２２】この構成によれば、上限フレームレートを
守った画像通信が可能となる。

【００２３】

【発明の実施の形態】本発明の骨子は、送信能力がフレ
ームレートが規定されている場合、フレーム送信後にフ
レーム間引き期間を設けて一定時間フレーム間引きを行
うことで、送信上限フレームレートを超えないよう制御
することである。

【００２４】以下、本発明の実施の形態について、図面
を参照して詳細に説明する。

【００２５】（実施の形態１）図１は、本発明の実施の
形態１に係る画像伝送装置の構成を示すブロック図であ
る。この図において、本実施の形態の画像伝送装置は、
画像データ処理ブロック１と、デバイスＩＯブロック２
と、メモリブロック３の３つのブロックからなる。画像
データ処理ブロック１は、復号化部４、間引き判定部５
及び符号化部６を備えて構成されており、画像データの
処理を行う。デバイスＩＯブロック２は、タイマ８とデ
ータの入出力を行う入力部７及び出力部９とを備えてい
る。メモリブロック３は、受信バッファメモリ１０、ロ
ーカルバッファメモリ１１、送信バッファメモリ１２を
備えている。

【００２６】このような構成の画像伝送装置の動作につ
いて、データの流れに従って説明する。データ受信を検
出すると、入力部７により、受信データが受信バッファ
メモリ１０に格納される。そして、復号するために十分
なデータが受信バッファメモリ１０に蓄積されると、蓄
えられた画像データが復号化部４にて復号化され、ロー
カルバッファメモリ１１に格納される。画像１フレーム
分のデータが符号化されると、間引き判定部５にて、間
引き期間中（あるいは送信許可フラグＯＦＦ）の場合に
は、ローカルバッファメモリ１１に格納されたデータを
廃棄し、復号化部４に戻る。これに対して、間引き期間
以外（あるいは送信許可フラグＯＮ）の場合には、符号
化部６にてローカルバッファ１１に蓄積された画像デー
タが復号化されて、送信バッファメモリ１２に格納され
る。

【００２７】さらに、出力部９において、送信バッファ
メモリ１２に画像データが存在し、且つ図示せぬディジ
タルインタフェースを介して出力要求を受信した場合、
画像データの送信を行う。なお、タイマ８は、間引き期
間内かどうかの判定あるいは送信許可フラグの制御など
の時間制御を行い、間引き判定部５に必要とする情報を
ローカルバッファメモリ１１に書き込む。

【００２８】次に、図２は、本実施の形態の画像伝送装
置における通信処理を示すフローチャートである。

【００２９】まず、ステップ１１でフレーム受信処理を
行い、画像データを受信する。次に、ステップ１２で間
引き期間判定処理を行い、前フレーム送信開始時間から
現在時刻までの経過時間を求めてフレーム間引き期間と
比較する。次いで、ステップ１３でフレーム間引き期間
内かどうかを判定し、フレーム間引き期間以下であれ
ば、ステップ１４のフレーム送信処理に進み、画像デー
タの送信を行う。画像データを送信した後、ステップ１
１に戻りフレーム受信処理を行う。これに対して、経過
時間がフレーム間引き期間より大きければ、ステップ１
５に進み、フレーム間引き処理を行う。フレーム間引き
処理を行った後、ステップ１１に戻り、フレーム受信処
理を行う。

【００３０】なお、ステップ１１のフレーム受信処理
は、装置内部の受信バッファメモリ１０内のデータを処
理するもので、実際の通信コントローラからのデータ受
信および受信バッファへの書き込みは、受信割り込み処
理あるいは受信処理タスクが行うので、リアルタイム性
が損なわれる恐れはない。

【００３１】また、ステップ１４のフレーム送信処理に
おいても、装置内部の送信バッファメモリ１２への書き
込み処理を行うもので、実際の通信コントローラへの送
信は、送信割り込み処理あるいは送信処理タスクが行う
ので、リアルタイム性が損なわれる恐れはない。

【００３２】次に、図３は、上記ステップ１２の間引き
期間判定処理の詳細を示すフローチャートである。ま
ず、ステップ２１でフレームレート更新有りか否かを判
定する。この判定において、先頭フレームの処理かある
いはフレームレートが更新された場合にはステップ２２
に進み、フレーム間引き期間の計算を行う。そして、平
均フレーム間隔をフレーム間引き期間とし、前フレーム
処理からの経過時間の初期値設定（ステップ２３）で、
経過時間の初期値として平均フレーム間隔を設定する。

【００３３】一方、ステップ２１のフレームレート更新
有りかの判定において、目標フレームレートに変化がな
かった場合は、前フレームからの経過時間を求めるステ
ップ２４で現在時刻を取得し、現在時刻からフレーム送
信処理（ステップ１４）で記録したフレーム送信時刻を
減算した結果を前フレームからの経過時間とする。

【００３４】ここで、平均フレーム間隔とは、目標フレ
ームレートの単位時間を目標フレームレートで商算した
結果であり、例えば目標フレームレートが１５フレーム
／秒の場合、以下のように計算される。１［秒］÷１５［フレーム／秒］＝０．６６６ｍ秒

【００３５】（実施の形態２）本発明の実施の形態２に
係る画像伝送装置について説明する。図４は、図２に示
す間引き期間判定処理（ステップ１２）の他の例の詳細
を示すフローチャートである。まず、ステップ２１で、
フレームレート更新有りか否かを判定し、先頭フレーム
かあるいはフレームレートが更新された場合には、ステ
ップ３１でフレーム間引き期間の計算を行って平均フレ
ーム間隔を求める。そして、求めた平均フレーム間隔か
ら受信開始と送信開始のタイムラグの平均時間の減算結
果をフレーム間引き期間とし、前フレーム処理からの経
過時間の初期値設定（ステップ２３）で、経過時間の初
期値としてフレーム間引き期間を設定する。

【００３６】また、ステップ２１のフレームレート更新
有りか否かの判定で、目標フレームレートに変化がなか
った場合は、ステップ３２に進み、ステップ３１のフレ
ーム間引き期間の計算と同様の計算を行ってフレーム間
引き期間を計算する。フレーム間引き期間を計算した
後、ステップ２４で前フレームからの経過時間を求める
処理を行って、現在時刻を取得し、現在時刻からフレー
ム送信処理（図２のステップ１４）で記録したフレーム
送信時刻を減算した結果を前フレームからの経過時間と
する。

【００３７】なお、受信開始と送信開始のタイムラグの
平均時間がシステムの変化が少ない場合は、予め測定し
た定数テーブルを使い、フレーム間引き期間の計算処理
（ステップ３２）を省略することが可能である。

【００３８】また、受信開始と送信開始のタイムラグの
平均時間が接続呼で変化が少ない場合は、接続開始後数
秒間で、受信開始と送信開始のタイムラグの平均時間の
測定及び計算が行えるので、ステップ３２のフレーム間
引き期間の計算処理を省略することも可能である。

【００３９】（実施の形態３）本発明の実施の形態３に
係る画像伝送装置について説明する。本実施の形態と上
述した実施の形態２とは、ステップ３２のフレーム間引
き期間の計算のみ相違する。例えば、図２に示すフレー
ム送信処理（ステップ１４参照）で、今回送信時刻から
前回送信時刻の商を実送信間隔をメモリに格納し、フレ
ーム間引き期間の計算（図４のステップ３２参照）で、
以下のような計算でフレーム間引き期間を設ける。

【００４０】フレーム間引き期間＝平均フレーム間隔−
（実送信間隔−平均フレーム間隔）

【００４１】（実施の形態４）本発明の実施の形態４に
係る画像伝送装置について説明する。図５は、目標フレ
ームレートが１５フレーム／秒の場合のフレームレート
制御におけるタイミングチャートである。この図におい
て、時間セル４１は平均フレーム間隔（１５フレーム／
秒の場合は、６６．６ミリ秒）の時間ウィンドウであ
り、時間は、時間セル４１の連続として解釈して図化し
ている。１つの時間セルの中に送信処理４２（網掛けブ
ロック）が１回だけ出現するように、受信処理４３（白
抜きのブロック）の連続回数を制御する。

【００４２】例えば、図の先頭セルで、送信処理４２の
後、受信処理４３が２つ連続しているが、これは１つ目
の受信処理４３の後、送信するか間引きをするかを判定
する際にセル内に送信処理４２が既に存在するために、
送信処理を行わずにフレーム間引きを行い、受信処理４
３を繰り返すことを示している。また、この図におい
て、送信許可フラグ４４は、送信するか間引きするかを
決定するための送信許可フラグの状態を示すタイミング
チャートであり、ＯＮのときにはフレーム送信、ＯＦＦ
のときにはフレーム間引きが行われる。

【００４３】図６は、図５のタイミングチャートを実現
するためのフレーム制御のフローチャートである。ステ
ップ１１のフレーム受信処理において画像データを受信
した後、ステップ５１で送信許可フラグを判定し、送信
許可フラグがＯＮの場合は、ステップ１４のフレーム送
信処理でフレーム送信を行い、その後、ステップ５２で
送信許可フラグをＯＦＦしてステップ１１に戻る。これ
に対して、送信許可フラグがＯＦＦの場合は、ステップ
１５のフレーム間引き処理でフレーム間引きを行って、
ステップ１１に戻る。

【００４４】図７は、図６の通信処理と同じ装置上で動
作し、定周期タイマにより一定周期で起動される定周期
割込みタスクの詳細を示すフローチャートである。ステ
ップ２１でフレームレート更新有りか否かを判定する。
この判定において、フレームレートが更新された場合に
は、ステップ６１に進み、定周期タイマのタイマ値を更
新する。この場合、変更された目標フレームレートから
平均フレーム間隔を計算して定周期タイマのタイマ値と
する。タイマ値を更新した後、ステップ６２で送信許可
フラグをＯＮにして処理を終了する。一方、フレームレ
ートの更新がなかった場合にはそのまま送信許可フラグ
をオンにして処理を終了する。

【００４５】（実施の形態５）実施の形態５に係る画像
伝送装置の動作について、図６と図８のフローチャート
を参照しながら説明する。

【００４６】図８と図６は、ステップ７１の「フレーム
間引き期間か」の判定においてのみ相違している。この
「フレーム間引き期間か」の判定において、フレーム間
引き期間内であれば、ステップ１５でフレーム間引き処
理を行う。これに対して、フレーム間引き期間を超える
場合は、ステップ５１で送信許可フラグの判定を行う。

【００４７】なお、ここでいうフレーム間引き期間は、
平均フレーム間隔の１／２程度を設定する。実施の形態
４では、実際のフレーム送信の間隔が極端に短くなるタ
イミングがあるが、それを避けるために最小フレーム間
隔（＝フレーム間引き期間）を設けている。

【００４８】

【発明の効果】以上説明したように、本発明によれば、
フレーム間引きを最小限に抑えつつ、かつ上限フレーム
レートを超えないようにフレームレート制御ができると
いう効果が得られる。

【図面の簡単な説明】

【図１】本発明の実施の形態１に係る画像伝送装置の構
成を示すブロック図

【図２】本発明の実施の形態１に係る画像伝送装置の通
信処理を示すフローチャート

【図３】本発明の実施の形態１に係る画像伝送装置の間
引き期間判定処理を示すフローチャート

【図４】本発明の実施の形態２、３に係る画像伝送装置
の間引き期間判定処理を示すフローチャート

【図５】本発明の実施の形態４に係る画像伝送装置の送
信・受信処理を示すタイミングチャート

【図６】本発明の実施の形態４に係る画像伝送装置の通
信処理を示すフローチャート

【図７】本発明の実施の形態４に係る画像伝送装置の定
周期タイマ処理を示すフローチャート

【図８】本発明の実施の形態５に係る画像伝送装置の通
信処理処理を示すフローチャート

【図９】従来の画像伝送装置の構成を示すブロック図

【符号の説明】

１画像データ処理ブロック２デバイスＩＯブロック３メモリブロック４復号化部５間引き判定部６符号化部７入力部８タイマ９出力部１０受信バッファメモリ１１ローカルバッファメモリ１２送信バッファメモリ

Claims

【特許請求の範囲】

【請求項１】リアルタイムに画像フレームを受信し、
受信した画像フレームを変換・加工して送信するフレー
ムレート制御方法であって、送信上限フレームレートが
規定されている場合、フレーム送信後にフレーム間引き
期間を設けて一定時間フレーム間引きを行うことで、送
信上限フレームレートを超えないよう制御することを特
徴とするフレームレート制御方法。
【請求項２】フレームレート単位時間を上限フレーム
レートで割って平均フレーム時間を求め、求めた平均フ
レーム時間をフレーム間引き期間としてフレーム間引き
を行うことを特徴とする請求項１記載のフレームレート
制御方法。
【請求項３】フレームレート単位時間を上限フレーム
レートで割って平均フレーム時間を求め、求めた平均フ
レーム時間から実際のフレーム処理時間の平均を引いた
時間をフレーム間引き期間としてフレーム間引きを行う
ことを特徴とする請求項１記載のフレームレート制御方
法。
【請求項４】フレームレート単位時間を上限フレーム
レートで割って平均フレーム時間を求め、求めた平均フ
レーム時間と実際の前回フレーム送信からの経過時間と
の差を前記平均フレーム時間から引いた値をフレーム間
引き期間として１フレーム毎にフレーム間引き期間を更
新することを特徴とする請求項１記載のフレームレート
制御方法。
【請求項５】フレームレート単位時間を上限フレーム
レートで割って平均フレーム時間を求め、求めた平均フ
レーム時間を単位として時間セルを連続して形成した場
合、１つの時間セルに１度だけフレーム送信を行うこと
を特徴とするフレームレート制御方法。
【請求項６】平均フレーム時間の定周期で送信許可フ
ラグをオンし、フレーム送信時に送信許可フラグをオフ
し、フレーム送信判定時に送信フラグがオンであればフ
レーム送信し、オフであればフレーム間引きを行うこと
を特徴とする請求項５記載のフレームレート制御方法。
【請求項７】フレーム送信後にフレーム間引き期間を
設けて一定時間フレーム間引きを行い、上限フレームレ
ートを超えないようにフレームレート制御を行うことを
特徴とする請求項５記載のフレームレート制御方法。
【請求項８】請求項１から請求項７のいずれかに記載
のフレームレート制御方法をプログラム化したデータを
記録したことを特徴とする記録媒体。
【請求項９】請求項８記載の記録媒体と、この記録媒
体に記録されたプログラムに従って画像フレームの送受
信を行う送受信手段と、を具備することを特徴とする画
像伝送装置。