JP2000165864A - 画質調整方法及びその方法を使用した映像通信装置及びその方法を記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 画像フォーマットとフレームレートの二つを
独立に操作することなく、一つの操作のみにて総合的な
画質調整を実現する。 【解決手段】 符号化映像の総合的な画質調整におい
て、画像フォーマットごとに適用可能な符号化ビットレ
ート、符号化フレームレートを定めたパラメータ変換デ
ータを予め記憶部１３に記憶しておく。パラメータ入力
部１１から画質調整パラメータを入力し、画質調整部１
２において、上記入力された画質調整パラメータをキー
として記憶部１３のパラメータ変換データを参照するこ
とによって、符号化フレームレートと画質フォーマット
を決定し、それらを映像符号化処理部１４に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、GSTN、ISDM,PH
S,PDCなどの通信網を介した映像音声通信ならびに映像
ファイリングにおいて使用する、映像符号化における画
質調整方法及びその方法を使用した映像通信装置及びそ
の方法をコンピュータで実施するプログラムを記録した
記録媒体に関する。

【０００２】

【従来の技術】例えば、ITU-T、H.263などでは、SQCI
F、QCIF、CIF、4CIF及び16CIFの５つの画像フォーマッ
トが規定されている。テレビ電話、会議システムではこ
れらの中で、主に図１Ａ，１Ｂ，１Ｃの画像F1, F2, F3
で示す画像フォーマットSQCIF, QCIF, CIFを使用し、映
像の送受信を行っている。SQCIF は128×96画素、QCIF
は176×144画素、CIFは352×288画素で構成されてい
る。更に、階調を表す１画素あたりのデータ量は、映像
品質設定により決定されていた。このため映像品質設定
が別途必要で、これにより画像の動きを優先させるの
か、精細さを優先させるのかが決められ、結果的に符号
化フレームレートが決定されていた。ここで映像品質は
動き重視(符号化フレームレートを高く)とすると、１画
素あたりのデータ量が低く抑えられ画質は落ちるが、フ
レームレートは向上する。一方、画質重視（符号化フレ
ームレートを低く）とすると、１画素あたりのデータ量
が高くなリ画質は良くなるが、フレームレートは低下す
る。この様に従来、テレビ電話、会議システムで画質調
整を行うユーザインタフエースとしては、送信映像の画
像フォーマットと映像品質との両方を組み合わせること
が必要であった。

【０００３】図２に従来のコンピュータ表示画面上で行
うユーザインタフェースの一つの例を示す。図２のユー
ザインタフェース画面D20 上で、ユーザは選択ボタンD2
2 を押すことで、画像フォーマット又は映像品質を変更
できる。ここで、映像品質という用語は一般の利用者に
分かりやすくするために用いられたもので、実際は符号
化フレームレートを指している。画像フォーマットと映
像品質のどちらを変更するかはアクティブサインD21 で
表示できるようになっていた。更に画像フォーマットを
変更するには、表示「画像フォーマット」に対し選択ボ
タンD22 でアクティブサインD21 を表示させ、変更ボタ
ンD23 を押すことで、可能となっていた。変更ボタンD2
3 の押下により、フォーマット表示D24 で示される様
に、CIF, QCIF,SQCIF などの画像フォーマットに変更を
行う。また、同様に映像品質を選択ボタンD22 でアクテ
ィフサイン表示させ、変更ボタンD23 を押下することで
映像品質（符号化フレームレート）変更可能である。そ
こで動き重視D25 にするか、画質重視にするかは変更ボ
タンD23 の押下で変更する。

【０００４】更に、図３にて従来のユーザインタフェー
スの操作手順を示す。通信が開始され、ステップＳ１に
おいて画像フォーマットを変更したいと判定した場合
は、ステップＳ２で画像フォーマットの変更を行う。次
にステップＳ３において映像品質（符号化フレームレー
ト）の変更をしたいと判定した場合は、ステップＳ４で
映像品質（符号化フレームレート）を変更する。次にス
テップＳ５で、ユーザの望む総合的な映像品質が満足で
きたと判定されると、次の処理手順に移行できるが、そ
うでなければ再度ステップＳ１の判定処理に戻る。以上
述べたように、画質調整のユーザインタフェースとして
は、送信映像の画像フォーマットと映像品質（符号化フ
レームレート）との両方を組み合わせるというように、
二度の操作手順が必要であった。

【０００５】また、従来、例えば日本国特許出願公開5-
328341号で、テレビ電話の話者が自然な動画を得るため
の画質設定方法が示されているが、この従来方法では圧
縮データ量が所定の値より大きいか小さいかによって、
符号化パラメータを変更するものである。これは国際標
準機関ITU-T において検討が進められている各種映像符
号化方式（H.261、H.262、H.263）で前提としている符
号化量制御法に類するものであり、そのままでは、利用
者は画質調整する時には、画像フォーマットとフレーム
レートとの、少なくとも二つのパラメータを変更しなけ
ればならなかった。

【０００６】

【発明が解決しようとする課題】従来方式では以上のよ
うに、通信の開始にあたってユーザは映像通信装置のユ
ーザインタフェースにおいて、自分の望む映像の品質と
動きを得るために、画像フォーマットと映像品質という
ように、二つのパラメータに対して操作をしなければな
らなかった。このため、映像の総合的な画質調整の設定
にあたっては図４に表で示すように、画像フォーマット
と映像品質の二つのパラメータを組み合わせて値Q11,Q2
1,Q31,Q12,Q22,Q32 に相当する画質を選択しなくてはな
らず、二度手間の操作手順が必要であったために、通信
の開始時にかなりの時間と手間を要してしまっていた。

【０００７】この発明の目的は、符号化映像の総合的な
画質調整において、画像フォーマットとフレームレート
の二つを独立に操作することなく、一つの操作のみにて
総合的な画質調整を実現する画質調整方法及びその方法
を使用した映像通信装置及びその方法を記録した記録媒
体を提供することにある。

【０００８】

【課題を解決するための手段】この発明の第１の観点に
よる、画質調整パラメータを入力して、映像を符号化す
る際の符号化パラメータを調整することにより上記映像
の画質を調整する画質調整方法は、以下のステップを含
む： (a) 予め決めた少なくとも１つの符号化ビットレートに
対し画像フォーマットごとに符号化フレームレートの適
用範囲を定めた特性情報を予め記憶し、(b) 画質を指定
するパラメータを入力し、(c) 上記パラメータをキーと
して上記特性情報を参照して、画像フォーマットと符号
化フレームレートを決定する。

【０００９】この発明の第２の観点による映像符号化調
整方法は、上記方法において画像フォーマットごとに符
号化するのに要する符号化所要時間を測定し、上記測定
結果を用いて画像フォーマットごとに設定可能な映像フ
レーム枚数を算出し、上記算出結果及び入力された画質
調整パラメータに基づいて画像フォーマット及び符号化
フレームレートを決定する。

【００１０】

【発明の実施の形態】図５にこの発明の映像通信装置に
用いられる映像符号化装置１０の原理的構成を示し、図
６にその動作処理フロー図を示す。この発明では、画像
フォーマットごとにその画像フォーマットに適用可能な
符号化ビットレートと、符号化フレームレートを定めた
特性情報をパラメータ変換データとして予め記憶部１３
に記憶しておく。パラメータ入力部１１は、例えばユー
ザインタフェース画面を表示する表示部を含む。そのユ
ーザインタフェース画面上で入力を設定するキーボード
及び／又はマウスを含む。操作者は、パラメータ入力部
１１を使って画質調整パラメータPqを入力し（ステップ
Ｓ１）、画質調整部１２において、その入力された画質
調整パラメータPqをキーとして記憶部１３のパラメー夕
変換データを参照することによって、符号化フレームレ
ートと画像フォーマットFiを決定し（ステップＳ２）、
それらを符号化処理部１４に与えて入力映像データDp
を、それら決定された画像フォーマットFiとフレームレ
ートRfで符号化して符号化映像データCpを出力する（ス
テップＳ３）。

【００１１】この発明は、映像情報の通信、蓄積を行う
映像通信装置の画像調整において、画像フォーマットと
符号化フレームレートを個別に設定するのではなく、こ
れらを一つに統合することで利用者は一つの設定項目の
みにて総合的な画質調整が行える様にしたことを最も大
きな特徴とするものである。これにより、従来の符号化
映像画質調整では、画像フォーマットと符号化フレーム
レートの二つを独立に操作、調整しなければならなかっ
たのに対し、この発明では、ユーザインタフエースにお
いて、画質優先なのか、動きを優先させるのかを一つの
パラメータで調整するだけで、最適な画像フォーマット
と符号化フレームレートを選択し、総合的な映像の画質
調整を短時間に簡単に行うことができる。

【００１２】以下、この発明の実施の形態について図を
用いて詳細に説明する。図７、図８は、この発明の画質
調整法の実施例での設定画面の例である。図９は、この
発明にあたってこの発明者らが発見した画像の符号化パ
ラメータと画質の関係をまとめたものである。図７に示
した様に、この発明の実施例では、利用者はユーザイン
タフェース画面D20 上の画質設定の一つの選択項目「画
質」を変更ボタンD23 により例えば品質重視か動き重視
に設定するのみで、画像フォーマットと映像品質の双方
を調整することができる。これにより、その時点での最
適な画像フォーマットで、動きを優先させるのか、画質
の精細さを優先させるのかを自動で行うことが可能であ
る。なお、図７の画質設定において選択項目の代わり
に、任意の数字を直接指定すると、より細かく希望する
映像の画質を瞬時に調整できることは言うまでもない。
また、図７では、符号化専用ハードウェア装置をリモコ
ン等で操作する場合の設定画面を示したが、ウィンドウ
操作が可能なパソコン等においては、画質調整に図８で
示すようなスライダーD26 やプルダウンメニュー（図示
せず）等を利用すれば、更に操作性が向上できる。

【００１３】この発明においては、総合的な画質の優劣
と、画像フォーマット及びフレームレートの値との関係
を明らかにし、画像フォーマット及びフレームレートの
値と画質の優劣の対応表を作成する必要があった。そこ
で、この発明者は、各種映像符号化データを作成し、綿
密な主観評価実験を実施し、各種画像フォーマットの適
応範囲は、図９で示す通りであることを発見した。即
ち、画像フォーマットQCIFに最適な領域Ｂ2 は高フレー
ムレート、高ビットレートから低フレームレート、低ビ
ットレートに帯状となっており、その帯状領域Ｂ2 より
低ビットレート側領域Ｂ1 がSQCIF に最適な領域であ
り、帯状領域Ｂ2 より高ビットレート側領域Ｂ3 がCIF
に最適な領域となっている。従って、図９に示すよう
に、この帯状領域Ｂ2 を斜めに切る符号化ビットレート
の一定値Ｒb を適当に選ぶことにより、符号化フレーム
レートの大、中、小の区間が決められ、これらの区間に
対し最適な画像フォーマットをSQCIF, QCIF, CIF と決
める。与えられたフレームレートがこれら区間のどれに
属するかを判定するだけで、最適な画像フォーマットを
決めることができる。

【００１４】

【実施例】以下に、この発明の第１の実施例を示す。図
１０はこの発明の第１の実施例における変換テーブルの
例を示したもので、符号化ビットレートが固定の場合の
例である。この例では画質はフレームレートで１〜１３
を７段階で変化させることができる。一番動き重視とし
たい場合は、画像フォーマットSQCIF 、符号化フレーム
レート１３/secとなり、一番画質重視としたい場合は、
画像フォーマットCIF 、符号化フレームレート１/secと
なる。利用者は単に画質として７段階のうちのいづれか
を指示するだけで、画像フォーマットや符号化フレーム
レートは意識せずに、総合的な画質調整ができる。

【００１５】図１１は、この発明の第１の実施例に関わ
る映像符号化装置１０の構成例を示したものである。こ
れにより、前述の変換テーブルの意義を更に明確に説明
する。操作者は、本装置の使用開始時に、利用する通信
網ならびに伝送速度を設定する。あるいは、これらは装
置の製造段階で設定されていてもよい。これにより、符
号化ビットレートＲb が例えば図９で示したように固定
的に設定される。変換テーブルは、図９で決めた固定の
符号化ビットレートＲb に対応させ、図１０のように画
質調整パラメータPqから画像フォーマットと符号化フレ
ームレートが７段階で求められるように構成され、記憶
部１３に予め記憶しておく。

【００１６】次に、ＧＵＩ（グラフィカルユーザインタ
フェース）を構成したパラメータ入力部１１から映像の
画質調整パラメータPqのみを画質調整部１２に入力する
ことで、画質調整部１２は、画質調整パラメータPqをキ
ーとして記憶部１３の変換テーブルを参照して画像フォ
ーマットFiと符号化フレームレートRfの値を生成するこ
とができ、生成した二つの値Fi, Rfと符号化ビットレー
トRbを映像符号化処理部１４に入力する。この画像フォ
ーマットFiと符号化フレームレートRfと符号化ビットレ
ートRbの値により、映像符号化処理部１４は、入力され
た映像データDpに対し、操作者が所望する画質で映像符
号化処理を行い、符号化映像データを出力する。

【００１７】図１２に、本実施例で利用者が操作する手
順を示す。まず、最初に使用する通信網／伝送速度を設
定する（ステップＳ１）。本実施例の場合、符号化ビッ
トレートＲb は固定であることを前提としているので、
この設定が不要な場合が有り得る（製造段階で設定され
ている場合や、次回以降の通信の場合などである）。次
に通信開始後（ステップＳ２）、画質調整パラメータPq
の設定の入力操作あるいは変更の入力操作を行う（ステ
ップＳ３）。映像の画質が希望するものになったか判定
し（ステップＳ４）、なっていなければ操作を終了す
る。この画質調整パラメータPqの入力操作により、映像
は希望する最適な画質となっているので、従来方法と比
べてよリ迅速かつ的確に画質調整を行うことができる。
ステップＳ４で画質が希望するものとなっていなければ
ステップＳ３に戻り、画質調整パラメータPqを変更す
る。

【００１８】次に、この発明の第２の実施例を示す。第
１の実施例では符号化ビットレートを１つの値に固定す
る場合を示したが、この第２実施例は、図９中にＲb1,
Ｒb2, Ｒb3で示すように予め決めた複数の符号化ビット
レートが通信の開始時に選択可能とされている。図１３
は、この第２実施例に関わる映像符号化装置１０の構成
例を示した図である。また、図１４は、本装置の画質調
整部の動作例と共に本実施例での画質調整方法の処理フ
ローを示した図である。図１５は本実施例でのパラメー
タ変換データの構成例である。

【００１９】操作者は通信の開始時に、利用する通信網
ならびに伝送速度を設定する。これにより、符号化ビッ
トレートRbが設定される（ステップＳ１）。あるいは、
直に符号化ビットレートRbをパラメータ入力部１１から
入力してもよい。パラメータ変換データは、図９を基
に、符号化ビットレートＲb1, Ｒb2,...ごとに作成され
た図１５のものを、記憶部１３に予め記憶しておく。次
に、パラメータ入力部１１から映像の画質調整パラメー
タPqを画質調整部１２に入力することで（ステップＳ
２）、画質調整部１２は、符号化ビットレートRbと画質
調整パラメータPqをキーとして記憶部１３のパラメータ
変換データを参照して画像フォーマットFiと符号化フレ
ームレートRfの値を取得し（ステップＳ３）、取得した
二つの値Rf,Pqと符号化ビットレートRbを映像符号化処
理部１４に入力する（ステップＳ４）。この画像フォー
マットFiと符号化フレームレートRfと符号化ビットレー
トRbの値により、映像符号化処理部１４は、画像キャプ
チャーボードや、ディジタルカメラである映像入力部１
５から入力された映像データDpに対し、操作者が所望す
る画質で映像符号化処理を行い、符号化映像データCpを
出力する。

【００２０】本実施例における利用者が操作する手順
は、図１２と同様である。始めに、通信網／通信速度を
設定する（ステップＳ１）。次に通信開始後（ステップ
Ｓ２）、画質調整パラメータの設定の入力操作あるいは
変更の入力操作を行う（ステップＳ３）。映像の画質が
希望するものになったか判定し（ステップＳ４）、なっ
たなら操作を終了し、ならなかったらステップＳ３に戻
る。画質調整パラメータPqの入力操作をした時点で、映
像は希望する最適な画質となっているので、従来方法と
比べてより迅速かつ的確に画質調整を行うことができ
る。

【００２１】次に、この発明の第３の実施例を示す。第
２実施例においては、選択したビットレートに対し、予
めとり得るフレームレートの数が図１５の例では７つの
ため、フレームレートの値が例えば1,3,5,....（符号化
ビットレートが64kbpsの時）と、予め決めたとびとびの
値しかとることができないが、この第３実施例は、符号
化フレームレートが連続的に変化／設定可能な場合の例
である。

【００２２】図１６は、第３実施例に関わる映像符号化
装置１０の構成例を示した図である。また図１７は、本
装置の画質調整部の動作例とともに本実施例での画質調
整方法の処理フローを示した図である。更に図１８は、
本実施例での符号化フレームレートRfと適用可能な画像
フォーマットFiの関係を示す変換テーブルである。パラ
メータ変換テーブルは、図９を基に、図１８に示すよう
に複数の符号化ビットレートRbの値に対しそれぞれ符号
化フレームレートRfの範囲と、その範囲に適した画像フ
ォーマットFiが対応するように作成され、記憶部１３に
予め記憶される。変換テーブルに示すように、各符号化
ビットレートに対し動作可能なフレームレートRfの最大
範囲が、例えばビットレート32kbpsに対して１〜７フレ
ーム/sec、64kbpsに対して１〜１３フレーム/secと決め
られており、これらの各フレームレート最大範囲は図９
に基づいてそれぞれ画像フォーマットCIF, QCIF, SQCIF
に対し最適となるように３つの領域に分割されている。
この実施例では各符号化ビットレートが選択されると、
対応するフレームレートRfの最大範囲が例えば図８のス
ライダD26 の最大可動範囲となるように設定される。

【００２３】操作者は通信の開始時に、利用する通信網
ならびに伝送速度を設定する。あるいは、直に符号化ビ
ットレートRbをパラメータ入力部１１から入力してもよ
い。これにより、符号化ビットレートRbが設定される
（ステップＳ１）。次に、操作者がパラメータ入力部１
１から映像の画質調整パラメータPq（図８のスライダD2
6 の位置）を画質調整部１２に入力することで、画質調
整部１２の符号化フレームレート決定部12a は、符号化
ビットレートRbの値に対応して符号化フレームレートRf
の最大可変範囲（図８のスライダのレバーD26 で設定可
能なフレームレートの範囲）を決定する（ステップＳ
３）。操作者（利用者）が設定した画質調整パラメータ
Pqの値（図８のスライダのレバーの位置）から符号化フ
レームレートRfを決定する（ステップＳ４）。画質調整
部１２の画像フォーマット決定部12bは、符号化フレー
ムレート決定部12a で決定された符号化フレームレート
Rfと符号化ビットレートRbから図１８の変換テーブルに
従って画像フォーマットFiを決定する（ステップＳ
５）。このようにして得られた画像フォーマットFiと符
号化ビットレートRbと符号化フレームレートRfを映像符
号化処理部１４に入力する（ステップＳ６）。この画像
フォーマットFiと符号化フレームレ一トRfと符号化ビッ
トレートRbにより、映像符号化処理部１４は、映像入力
部１５から入力された映像データDpに対し、操作者が設
定した画質調整パラメータに対応する画質で映像符号化
処理を行い、符号化映像データCpとして出力する。

【００２４】図９に示した画質の主観評価に基づく３つ
の画像フォーマットCIF, QCIF, SQCIFに対する最適領域
は互いに直線を境界とするように示されているが、主観
評価による実際の実験結果によればこれら３つの領域は
境界で互いに重なり合った境界領域を有している。その
ため、一定符号化ビットレートにおけるこれら最適領域
は図１９に示すようになる。即ち、CIF とQCIFの領域の
隣接端縁は互いに重なり、またQCIFとSQCIF の領域の隣
接端縁も互いに重なり合う。従って、この実験結果をそ
のまま利用すると、同一入力画質調整パラメータに対
し、互いに重なり合う境界領域では２つの画像フォーマ
ットが条件を満足していることになる。しかしながら、
入力調整パラメータに対し、いずれか１つの画像フォー
マットを選択しなければならない。ところで、前述の図
９に示した主観評価に基づく各画像フォーマットの最適
領域の調査過程において、次の事実を発見した。上記パ
ラメータ変換データの作成や画像フォーマットの決定に
あたり、符号化ビットレートと符号化フレームレートの
同じ組み合わせに対して複数の画像フォーマットが適用
可能な場合、同一フレームレート、同一符号化ビットレ
ートの条件下では、より大きな画像フォーマットを利用
する方が（即ちSQCIFよりはQCIF、QCIFよりはCIFの方
が）より高い画質となる。この性質を利用して、図１９
で示した重なり合う境界領域では画像フォーマットの大
きい方を優先的に選択するように画像フォーマットを決
定することができる。図１８の表はこのようにして決め
られた領域の例を示している。また、符号化フレームレ
ートの範囲に応じて、大きい画像フォーマットを優先す
るか、小さい画像フォーマットを優先するか決定するこ
とも容易に実現できる。

【００２５】本実施例における利用者が操作する手順
は、図１２と同様である。始めに、通信網／通信速度を
設定する（ステップＳ１）。次に通信開始後（ステップ
Ｓ２）、画質調整パラメータの設定の入力操作あるいは
変更の入力操作を行う（ステップＳ３）。映像の画質が
希望するものになったか判定し（ステップＳ４）、なっ
たならば操作を終了し、なってなければステップＳ３に
戻る。画質調整パラメータの入力操作をした時点で、映
像は希望する最適な画質となっているので、従来方法と
比べてより迅速かつ的確に画質調整を行うことができ
る。

【００２６】上述のステップＳ４において、操作者はＧ
ＵＩ上でスライダレバーD26 を動かして所望の画質を選
択するが、その画質の調整は、現在のスライダ位置に対
応して決定された符号化フレームレートと画像フォーマ
ットに基づいて符号化された映像信号を復号して表示装
置に再生し、その映像をみながら操作者が送信画像の画
質を調整するように映像通信装置を構成すればよい。そ
の例を図２０に示す。

【００２７】図２０に示す映像通信装置100 は映像符号
化装置１０と、多重化部２１と、通信処理部２２と、多
重分離部２３と、復号化部２４と、映像出力部２５と、
表示装置２６とを有している。映像符号化装置１０は前
述したどの実施例のものでもよい。ここでは図１６にし
た実施例を簡略化して示しており、図１６の記憶部１３
は画質調整部１２' に含まれているものとする。映像符
号化装置１０により生成された符号化映像データCp（複
数の符号化映像パラメータにより構成されている）は、
多重化部２１により多重化され（必要に応じて符号化音
声パラメータと共に多重化され）、通信処理部２２によ
り送信データに変換され、回線５０を介して他の映像通
信装置300 に送信される。映像通信装置300 は映像通信
装置100と同様に構成されている。映像通信装置300 が
送信した送信データは通信処理部２２で多重化データに
変換され、その多重化データは多重分離部２３により符
号化映像データDpに分離される。符号化映像データは復
号化部２４で復号され、映像データとされ、この映像デ
ータは映像出力部２５で映像信号Spに変換され、表示装
置２６に表示される。

【００２８】図２０の映像通信装置において、装置100
の操作者が、自分の送信する映像の画質をこの発明の映
像符号化装置１０において調整する場合、通信処理部２
２に与える多重化符号化映像データを破線で示すように
多重分離部２３にも与えることにより、送信データを映
像通信装置100 内の多重分離部、復号化部２４で再生
し、映像出力部２５により表示装置２６に表示する。操
作者はその表示映像をモニタしながら、画質調整を行う
ことができる。

【００２９】あるいは、映像通信装置300 の操作者が映
像通信装置300 の映像符号化装置内の画質調整パラメー
タ入力部（図示せず）により生成した画質調整パラメー
タとしてのスライダ位置情報を映像通信装置100 に送信
し、映像通信装置100 は受信した位置情報を画質調整部
１２' に与えて送信映像の画質（フレームレート及び画
像フォーマット）を制御して映像を送信し、映像通信装
置300 の操作者は受信した映像をみながらスライダの位
置を調整して送信する位置情報を制御してもよい。

【００３０】上述の図５、図１１、図１３、図１６で示
した実施例の一部もしくは全部を、コンピュータを用い
て機能させることができること、あるいは、図６、図１
４、図１７で示したフロー図での処理の段階をコンピュ
ータで実行させることができることは言うまでもなく、
コンピュータでその機能を実現するためのプログラム、
あるいは、コンピュータでその処理の段階を実行させる
ためのプログラムを、そのコンピュータが読み取り可能
な記録媒体、例えば、FD(フロッピーディスク)や、MO
（磁気光ディスク）, ROM、メモリカード、CD, DVD（デ
ジタルビデオディスク）、リムーバブルディスクなどに
記録して提供し、配布することが可能である。

【００３１】ところで、通信システムの最大伝送ビット
レートを一定とすれば、映像品質を動き重視（符号化フ
レームレートを高く）とすると、１画素あたりのデータ
量が低く抑えられ画質は落ちるが、フレームレートは向
上する。一方、画質重視とすると、１画素あたりのデー
タ量が大きくなり画質は良くなるが、フレームレートは
低下する。この様に従来、テレビ電話、会議システムに
おける画質調整法では利用者自らが送信映像の画像フォ
ーマットと映像品質を指定していた。

【００３２】ここで一般的な映像通信装置では、符号化
フレームレートは１から３０フレーム/secまで選択可能
であり、ユーザが通信する相手に、より精細な画像を送
りたい場合は１フレーム/secに近づけ（従って動きは遅
くなる）、逆に、より動きのある画像を送りたい場合
は、３０フレーム/secに近づけ（この場合、逆に精細さ
は無くなる）る。

【００３３】しかし、実際、映像通信装置に搭載され
た、映像符号化ソフトウェアで、通信相手に符号化フレ
ームレートの最大値である３０フレーム/secを指定して
も、映像通信装置自身の処理能力や、映像をキャプチャ
するデバイスの処理能力などの限界により抑えられてし
まい、実際の符号化フレームレートは、希望とする符号
化フレームレートの値に達しない場合や、映像符号化ソ
フトウエア自身の処理能力の限界により、指定した符号
化フレームレートの値を出せない場合がある。例えば、
フレームレートを１５フレーム/secとした時に、映像符
号化ソフトウェアの処理能力が２０フレーム/sec出せる
にも関わらず、映像通信装置の処理能力が、１３フレー
ム/secであるため、結果として最大１３フレーム/secま
でしか実現できない場合や、符号化フレームレートを１
５フレーム/secとした時に、映像通信装置の処理能力は
２０フレーム/sec出せるにも関わらず、映像符号化ソフ
トウェアの処理能力が１３フレーム/secであるため、結
果として、最高１３フレーム/secしか出せなくなってい
る場合がある。

【００３４】そのため、例えば符号化フレームレートの
値を順次大きくして、映像を現在の動きよりも速くしよ
うとしても、動きが速くならなかった場合は、既にその
フレームレートの値、もしくはその値より小さいフレー
ムレートで、映像通信装置、または、映像符号化ソフト
ウェアの限界により、いくら符号化フレームレートの値
を大きくしたとしても、それ以上の速い動きを得ること
ができない状態であったと推定される。また、フレーム
レートを大きくして動きが速くなったのだが、更にもっ
と速い動きを得たいと思った場合は、再度フレームレー
トの設定を大きくし、実際に映像の動きが速くなったか
判断を行わなければならなかった。つまりユーザは、映
像通信装置で、CIF, QCIF, SQCIFといった、画像フォー
マットごとに、実際に送信される映像の符号化フレーム
レートが、どれだけであるかといった事を知るために
は、符号化フレームレートの最小値１から順次増加して
各フレームレートでそれぞれの画像フォーマットがどれ
だけの符号化フレームレートを出せるのかといった事
を、調べておかなければならない。

【００３５】また、以上では説明を簡潔にするため、映
像通信装置に映像符号化ソフトウェアを搭載させて映像
符号化を行う場合について説明記載しているが、この映
像通信装置は、専用の装置（ハードウエア）のみを指す
ものではない。映像通信装置は汎用のパーソナルコンピ
ュータであってもよい。ところが、汎用のパーソナルコ
ンピュータでは、中央演算器ＣＰＵの処理能力は機種に
よりまちまちである。

【００３６】そこで同一の映像符号化ソフトウェアを走
行させても、異なる映像通信装置（汎用のパーソナルコ
ンピュータも、含む）を使用すると、映像符号化ソフト
ウェアの処理能力と映像通信装置の処理能力の間に齟齬
が発生してしまい、上述と同様の操作が必要であった。
このように映像符号化ソフトウェアは一般にどんな映像
通信装置に搭載されるのか分からないため、低速な映像
通信装置に搭載された場合でも、その映像通信装置の処
理能力を超えた符号化パラメータを指定できてしまう。
このため、実際には所望の映像品質を得られないという
ことが生じる。あるいは、映像符号化処理のみで、映像
通信装置の演算処理能力を一杯に使ってしまい、同一の
映像通信上で同時に処理される他の演算処理が円滑に実
行されなくなってしまい、例えば、音声符号化処理を同
時に処理させようとすると、音声が時々途切れるなどの
支障があるという問題が生じる。

【００３７】従来の映像符号化方式ではこのように、映
像品質(符号化フレームレート)は、それぞれの画像フォ
ーマットごとに、最大で３０フレーム/secまでの値をと
ることが理論上は可能である。そこで、前述したよう
に、映像符号化ソフトウェアはどれぐらいの処理能力を
有する映像通信装置上で走行させるのかが不明であるた
め、映像符号化ソフトウェアの処理能力と映像通信装置
の処理能力との間に齟齬が発生していた。このために、
所望の映像品質が得られない。更には、映像通信装置上
で走行させている他の演算処理が円滑に実行できなくな
ってしまうという問題があった。後者については、特
に、音声符号化処理と同時に走行させている場合では、
処理が間欠的にしか実行できず、音声に途切れが発生す
るなど、映像音声の同時通信が実行できないという重大
な問題がある。

【００３８】このため、ユーザはある符号化ソフトウェ
アを使い、ある映像通信装置でどれだけ動きのある画像
を送ることが出来るのかといった事を、事前にCIF, QCI
F, SQCIFの画像フォーマットごとに、符号化フレームレ
ートの値を少しづつ大きくして行き、その限界を事前に
調べておかなけれぱならなかった。以下に説明するこの
発明の第４実施例は、これらの問題を解決するように前
述の実施例を改善したものである。

【００３９】図２１は、この発明による映像符号化装置
の第４実施例を示し、図２２はその動作処理フロー図で
ある。図２１に示すように、映像符号化装置１０は、パ
ラメータ入力部１１と、画質調整部１２と、映像入力部
１５と、映像符号化処理部１４と、記憶部１３とを有す
ると共に、更に符号化時間測定部１７と、符号化フレー
ムレート算出部１８が設けられている。また、画質調整
部１２は、映像調整処理メイン部１２Ｍと、映像符号化
パラメータ生成部12abとを有している。

【００４０】図において、画質調整部１２の映像調整処
理メイン部１２Ｍから映像符号化パラメータ生成部12ab
ヘキャリブレーションの指示を行い、その指示を受けた
映像符号化パラメータ生成部12abは映像符号化処理部１
４に対して、CIF, QCIF, SQCIF それぞれの画像フォー
マットFiと、ある固定の符号化ビットレートRbを与えて
符号化を行わせる。

【００４１】その符号化結果を受けて、符号化時間測定
部１７では、それぞれの画像フォーマットについて映像
符号化にどれだけの所要時間Ｔを要したのか測定を行う
（ステップＳ１）。次に、この測定結果から符号化フレ
ームレート算出都１８によりそれぞれの画像フォーマッ
トでどれだけの符号化フレームレートRf=1/Tを出せるの
か計算する（ステップＳ２）。計算された結果を、記憶
部１３に映像の画質調整パラメータと対応付けて記憶し
ておく（ステップＳ３）。この算出された符号化フレー
ムレートは、与えられた符号化パラメータ(Fin, Rb)に
対し、とり得る最大のフレームレートを表している。映
像符号化パラメータ生成部12abは、ステップＳ４で操作
者により映像調整処理メイン部１２Ｍに入力された所望
の画質調整パラメータPqと、それに対応して記憶部１３
に記憶されている符号化フレームレートRfに基づいて、
映像の符号化パラメータの調整を行うことで、例えば動
き重視を最大にした時に、その映像符号化ソフトウェア
と映像通信装置100 で出せる符号化フレームレートの最
大値及び画像フォーマットを決定し（ステップＳ５）、
それらの結果を映像符号化処理部１４に与えて符号化を
行う。

【００４２】図２３は図２１の映像符号化装置１０が使
用された、図２０の実施例と同様な映像通信装置100 の
構成を示す。ただし、この例では音声信号処理用デバイ
スとして音声入力部２７及び音声符号化部２８が設けら
れ、入力音声を符号化し、多重化部２１で符号化映像デ
ータと多重化し、通信処理部２２から送出される。キャ
リブレーション時には、パラメータ入力部１１及び通信
処理部２２は動作されず、多重化部２１の出力は多重分
離部２３の入力に与えられる。画質調整部１２により指
定された符号化ビットレートRbと各画像フォーマットと
の組を映像符号化処理部１４に与えて、入力映像を所定
フレーム数だけ符号化し、その符号化に必要とされた時
間を符号化時間測定部１７により測定する。即ち、符号
化時間測定部１７は、映像入力部１５による１フレーム
分の画像データの取り込み処理と、映像符号化処理部１
４によるその画像データの符号化処理と、復号化部２４
による符号化映像データの復号処理と、映像出力部２５
による復号映像データの表示処理の一連の処理シーケン
ス（プログラムシーケンス）を所定回数繰り返す（従っ
て、所定フレーム数の映像が順次表示される）のに必要
とされた時間を測定する。その測定結果から符号化フレ
ームレート算出部１８により、１フレーム当たりの符号
化に要した時間Ｔを求め、更にその逆数1/T をフレーム
レートとして求める。

【００４３】図２４に、記憶部１３に記憶された符号化
パラメータと画質調整パラメータの対応付けの一例を示
す。映像符号化装置を含む映像通信装置によっては処理
能力が異なるため、通信の開始に先立ち、上述のキャリ
ブレーションを行い、CIF, QCIF, SQCIFで1秒間に何フ
レームまで映像符号化をすることができるかを計測す
る。例えばCIF で５フレーム分の符号化を行わせ、その
符号化に要した時間が、1250msであるならば、１フレー
ムの平均符号化時間は250ms である。そこで、１秒間に
符号化できるフレーム枚数は４フレームとなる。ここで
CIF が４フレーム、QCIFが１０フレーム、SQCIF が１３
フレームであるならば、CIF の最小フレーム枚数１から
SQCIF の最大フレーム枚数１３を、画質調整パラメータ
の段階数(7−1) で均等割し、そのフレームレートと、
それに対応づくフォーマットを映像符号化パラメータと
する。この場合の算出方法は(13-1)/(7-1)=2となり、CI
F の最小フレーム枚数１から２段階飛びでいくと、CIF
のフレームレートは１と３が選択される。続いて、フレ
ームレートが５となるが、CIF の最大フレーム枚数が４
であるため、QCIFのフォーマットを選択する。このよう
に続いて、QCIFでのフレームレートは5, 7, 9 と選択さ
れるが、フレームレート１１となった時に、QCIFの最大
フレーム枚数が１０であるため、次にSQCIF のフォーマ
ットを選択する。そして、SQCIF ではフレームレート１
１、１３を使用することになる。

【００４４】映像符号ソフトウェアの処理能力の適切な
利用を行うため、映像符号化装置１０自身の処理能力の
他に、映像キャプチャデバイス１５、音声処理用デバイ
ス２７，２８の処理等に対し、音声途切れを起こさせな
い等、処理能力の適切な割り当てを実現するため、映像
通信装置等の処理能力の影響を受けない非実時間処理の
条件下で映像符号化シュミレーションソフトウェアを使
用して画質評価を実施し、次の性質を得た。

【００４５】(1) 同一の符号化フレームレート、同一の
符号化ビットレートで、画質評価をした結果、CIF が
最も評価が高いため、ある符号化フレームレートにおい
て、符号化器の処理能力の点で、CIF が使用可能であ
ればCIF を利用し、そうでなければQCIFを使用し、更
にそうでなければSQCIF を利用し、更にそうでなければ
そのフレームレートは利用対象外とする。

【００４６】(2) 符号化処理のステップ数は常に同じな
ので、映像符号化所要時間は、符号化フレームレート及
び符号化ビットレートには依存せず一定であり、画像フ
ォーマットCIF, QCIF, SQCIFそれぞれの１フレーム当た
りのビット数に依存する。そのため、符号化所要時間は
CIF, QCIF, SQCIFの順に小さくなる。このため、映像通
信装置の多重化部（図１９参照）においてビットレート
の制限がないものとした場合、一組の適当な符号化フレ
ームレートRfと符号化ビットレートRbを与えて符号化所
要時間を計測すれば、あらゆる符号化フレームレートと
符号化ビットレートに適用できる。

【００４７】以上の評価結果が得られたが、実際には映
像通信装置の処理能力は有限であり、これを考慮に入れ
た形で実装するためにも、処理能力のキャリブレーショ
ンを行い、実利用状態に近い状態で、各画像フォーマッ
トで処理可能な最大符号化フレームレートを求める。キ
ャリブレーションの契機としては、映像符号化装置の初
回使用開始時、画像(受信・送信)の有無、キャプチャデ
バイスの変更・音声（受信・送信）の有無、音声符号化
方法の設定変更時、ユーザによるマニュアル指示時があ
る。

【００４８】キャリブレーションを行うには、まず、ビ
デオキャプチャ（映像入力部１５）、表示装置２６、音
声入力部２７、音声符号化部２８、を設定どおり動作さ
せた状態で、映像符号化を行う。また、多重化部２１の
伝送ビットレートを無限大と仮定し、図２２中に示すよ
うに多重化部２１の出力を多重分離部２３の入力に与え
ることにより、ローカルループバックで相手画像として
復号化し、表示装置２６に表示させるか、もしくは読み
捨てる。映像符号化所要時間は、符号化フレームレート
及び符号化ビットレートには依存せず一定であることの
評価結果を利用し、各画像フォーマットにおいて、画像
キャプチャから映像符号化までを、例えば符号化ビット
レート32kbps、符号化フレームレート３fps で動作させ
る。順次各画像フォーマットについて、例えば連続して
５フレームずつキャプチヤと符号化を繰り返し行ない、
第２フレームから第６フレームまでの計５フレームの所
要時間Ｔ(秒)の平均値を求める。各画像フォーマットに
ついて求めたこの逆数1/Tをその画像フォーマットの符
号化フレームレートの上限とする。

【００４９】上述のキャリブレーションにより、画像フ
ォーマットCIF, QCIF, SQCIFに対する符号化フレームレ
ートの上限Rfc, Rfq, Rfs がそれぞれ決められ、これら
を第１実施例の説明で図９に示した適用領域と共に図２
５に示す。第１実施例での斜め帯状領域が適用されるの
は符号化ビットレートが比較的に低い場合であり、それ
より高い符号化ビットレートでは、符号化ビットレート
の大きさによらず、最適な画像フォーマットの領域は符
号化フレームレートの低い方から順にCIF, QCIF, SQCIF
に適した３つの水平な帯状領域H3, H2, H1となる。従っ
て、実際にそれらの結果を利用する場合は、これら斜め
帯状領域と、水平帯状領域の組み合わせを使用し、例え
ば、画像フォーマットSQCIFに適した領域は図２５中に
ハッチングで示してある。画像フォーマットQCIF及びCI
Fの場合も同様の組み合わせで使用する。

【００５０】図２６は、この発明による映像符号化装置
の第６実施例を示し、図２７はこの装置の動作フローを
示す。図２６は、映像符号化を行う演算器の種別と映像
入力部の種別を入力することにより、各画像フォーマッ
トごとに設定可能な、映像符号化フレーム枚数を規定す
る手段を備えた映像符号化装置１０の構成を示してい
る。

【００５１】まず、この映像符号化装置１０を動作させ
るにあたって、必ず利用者は、パラメータ入力部１１か
らこの映像符号化装置１０の演算器（映像符号化装置を
構成する例えば図示してないコンピュータのＣＰＵ）の
種別を画質調整部１２に入力する。更に、映像入力部１
５の種別を画質調整部１２に入力する（ステップＳ
２）。画質調整部１２では、入力された演算器の種別
と、映像入力部１５の種別を記憶部１３に出力する。記
憶部１３には、図２８に示すように演算器の種別と映像
入力部１５の種別の組合せごとに映像の画質調整パラメ
ータPqに対応する符号化パラメータ（フレームレートと
画像フォーマット）を規定したテーブルが予め記憶され
ており（ステップＳ１）、画質調整部１２から入力され
た演算器種別と映像入力部１５の種別と画質調整パラメ
ータPqの組をもとに、以降参照すべき映像符号化パラメ
ータ（画像フォーマット及び符号化フレームレート）値
を読出す（ステップＳ４）。

【００５２】そこで映像符号化処理を開始する際には、
利用者はパラメータ入力部１１により動きを重視したい
のかあるいは映像（映像分解機能）を重視したいのかを
指定する画質調整パラメータPqを画質調整部１２に入力
する。画質調整部１２はこの画質調整パラメータPqと、
先に入力されている演算器と映像入力部の種別をもと
に、対応する符号化パラメータ（符号化フレームレート
と画像フォーマット）を読出して、映像符号化処理部１
４に出力する。これにより、映像入力部１５から入力さ
れた映像が、所望の画質で映像符号化処理部１４により
符号化されて出力される。

【００５３】なお、以上では、説明を簡潔にするため
に、画質調整部１２に対し、演算器の種別及び、映像入
力部１５の種別をまずはじめに入力し、次に画質調整パ
ラメータPqを入力する場合について示したが、これらに
ついて同時に入力しても構わない。更に、演算器の種別
及び、映像入力部１５の種別の入力は、映像符号化処理
部１４の動作開始以前であればいつでもよく、例えば、
映像符号化ソフトウェアを映像通信装置に搭載する時点
（インストール時）に一度だけ入力し、以降その値を画
質調整部１２あるいは記憶部１３に保持し続けること
で、利用者の手間が省け同様の処理ができることは言う
までもない。更に、以上では利用者が演算器と映像入力
部の種別を入力する場合について説明したが、利用者が
入力するのではなく、例えば汎用パーソナルコンピュー
タなどで環境設定情報を参照することなどにより画質調
整部１２で映像通信装置の演算器の種別及び映像入力部
の種別を判別することで同様に利用者の手間が省け、同
じ処理ができることも言うまでもない。

【００５４】図２８は記憶部１３に記憶された映像入力
部の種別と演算器の種別の各組に対し予め決めた画質調
整パラメータと画像フォーマット及び符号化フレームレ
ートの関係の一例を示す。なお、同図においては、図を
簡潔にするために、映像入力部１５としてビデオキャプ
チャボード／カードとパラレルポートカメラの種類のみ
を抽出して他のパラメータ値との関係を示している。こ
れは、パラレルポートカメラを動作させる場合に、演算
器の処理が多くなるため他との区別が特に必要であるた
めでもある。しかし、この発明は、この２種類に限定す
るものではなく、例えば、ビデオキャプチャボード、ビ
デオキャプチャカード（PCMCIAカードなどのこと）、及
びパラレルポートカメラのように３種類を抽出したり、
更に細かく、映像入力部の機器型番をそのまま指定する
ことで、より正確に符号化パラメータを調整できること
は言うまでもない。また「演算器の種別」では、処理能
力は「タイプＡ」＜「タイプＢ」＜…とする。

【００５５】これにより，図２９に示すように，ステッ
プＳ１において、符号化フレームレートを今よりも速く
すると、その時点で、映像符号化ソフトウェアと映像通
信装置の、処理能力を最大限に使用した状態での符号化
フレームレートが自動的に得られることになる。そのた
め、ユーザは実際に動きが符号化ソフトウエアと装置の
処理能力による限界になっているのか、なっていないの
かの判断をする必要がなく、またステップＳ２の判断に
おいて、動きを最大にしたい場合は、ステップＳ１の設
定においてその画質調整パラメータを最大に設定すれ
ば、無条件に映像の動きがソフトウエアと装置による限
定の最大になる。

【００５６】なお、図２１、図２６で示した構成部の機
能の一部もしくは全部を、コンピュータを用いて実現す
ることができること、あるいは、図２２、図２７などで
示した処理手順をコンピュータで実行することができる
ことは言うまでもなく、コンピュータでその機能を実現
するためのプログラム、あるいは、コンピュータでその
処理手順を実行するためのプログラムを、そのコンピュ
ータが読み取り可能な記録媒体、例えば、FD(フロッピ
ーディスク)や、M0、ROM、メモリカード、CD、DVD、リ
ムーバブルディスクなどに記録して提供し、配布するこ
とが可能である。

【００５７】上述した第４及び第５実施例によれば、画
像フォーマット毎の映像符号化の処理時間の測定して画
質調整パラメータに対応して画像フォーマットとフレー
ムレートの範囲を決定するテータを得ることで、あるい
は予め符号化処理する演算器と映像入力部の組み合わせ
毎に画質調整パラメータに対応して画像フォーマットと
フレームレートの範囲を決定するデータを登録しておく
ことで、映像通信装置の種別に左右されることなく、カ
メラなどの映像入出力装置や、スピーカなどのオーディ
オ入出力装置が接続された映像通信装置で、通信網を介
したテレビ電話会議通信や映像の蓄積を行う場合など
に、画像フォーマットと符号化フレームレートの最適な
符号化パラメータを決定できるようにしたので、音の途
切れなどを起こすことなく、映像符号化ソフトウェア等
の符号化処理手段を最大限に動作させることができる。

【００５８】

【発明の効果】以上説明したようにこの発明により、映
像情報の通信、蓄積を行う映像通信装置等のユーザイン
タフェースにおいて、画像フォーマット、符号化フレー
ムレートの選択による映像の画質調整を、一つのパラメ
ータ操作で行わせることにより、画質を優先させるの
か、動きを優先させるのかといった、総合的な映像の画
質調整を迅速かっ的確に実現可能である。

【００５９】また、この第４及び第５実施例によれば、
カメラなどの映像入出力装置や、スピーカなどのオーデ
ィオ入出力装置が接続された映像通信装置で、通信網を
介したテレビ電話会議通信や、映像の蓄積を行う場合な
ど、異なった映像通信装置それぞれでの処理能力に合わ
せて、音声の途切れ等を起こすことなく、映像符号化ソ
フトウェアを最大限に動作させることが可能となり、画
像フォーマットと符号化フレームレートの最適な処理パ
ラメータの設定を行うことが可能となる。

【図面の簡単な説明】

【図１】Ａは画像フォーマットSQCIF を説明するための
図、Ｂは画像フォーマットQCIFを説明するための図、Ｃ
は画像フォーマットCIF を説明するための図。

【図２】従来例でのユーザインタフェースによる映像設
定画面を例示する図。

【図３】従来例でのユーザインタフェースによる操作手
順を説明する図。

【図４】従来例でのユーザインタフェースによる映像の
画質について説明する図。

【図５】この発明の原理を説明する構成図。

【図６】この発明の原理を説明する処理フロー図。

【図７】この発明の実施例によるユーザインタフェース
の映像設定画面を例示する図である。

【図８】この発明の実施例によるユーザインタフェース
の映像設定画面を例示する図。

【図９】この発明の実施例における符号化フレームレー
トと符号化ビットレート選択時における、画像フォーマ
ットの適用範囲を説明する図。

【図１０】この発明の第１の実施例での変換テーブルの
一例を示す図。

【図１１】この発明の第１の実施例に関わる映像符号化
装置の構成図。

【図１２】この発明の実施例におけるユーザインタフェ
ースによる操作手順を説明する図。

【図１３】この発明の第２の実施例に関わる映像符号化
装置の構成図。

【図１４】この発明の第２の実施例における画質調整部
の動作例とともに画質調整方法の例を示す処理フロー
図。

【図１５】この発明の第２の実施例におけるパラメータ
変換データの構成例を示す図。

【図１６】この発明の第３の実施例に関わる映像符号化
装置の構成図。

【図１７】この発明の第３の実施例における画質調整部
の動作例とともに画質調整方法の例を示す処理フロー
図。

【図１８】この発明の第３の実施例における符号化フレ
ームレートと適用可能な画像フーオーマットの関係を示
す図。

【図１９】主観調査に基づく各画像フォーマットに対す
る最適な符号化フレームレートの領域を示す図。

【図２０】この発明の映像符号化装置を用いた映像通信
装置の構成例を示す図。

【図２１】この発明に関わる映像符号化装置の第５の実
施例を説明する図。

【図２２】図２１の装置の動作フロー図。

【図２３】図２１の映像符号化装置を使用した映像通信
装置の構成を示す図。

【図２４】上記第５の実施例における記憶部での画質調
整パラメータの対応付けの例を示す図。

【図２５】各画像フォーマットに対しキャリブレーショ
ンにより求めた符号化フレームレートの上限を図９の領
域と共に示す図。

【図２６】この発明に関わる映像符号化装置の第６の実
施例を説明する図。

【図２７】この発明に関わる映像通信方法の第２の実施
例を説明する図。

【図２８】上記第６の実施例における記憶部でのパラメ
ータの対応付けの例を示す図。

【図２９】この発明によるユーザインタフェースによる
操作手順を示す図である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 名古 博幸 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 山口 博幸 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内

Claims (28)

【特許請求の範囲】
1. 【請求項１】 画質調整パラメータを入力して、映像を
   符号化する際の符号化パラメータを調整することにより
   上記映像の画質を調整する画質調整方法であり、以下の
   ステップを含む： (a) 予め決めた少なくとも１つの符号化ビットレートに
   対し画像フォーマットごとに符号化フレームレートの適
   用範囲を定めた特性情報を予め記憶し、 (b) 画質を指定するパラメータを取得し、 (c) 上記パラメータをキーとして上記特性情報を参照し
   て、画像フォーマットと符号化フレームレートを決定す
   る。
2. 【請求項２】 請求項１の画質調整方法において、上記
   ステップ(a) は複数の予め決めた符号化ビットレートの
   それぞれに対し画像フォーマットごとに符号化ビットレ
   ートと符号化フレームレートの適用範囲を定めた上記特
   性情報を予め蓄積しておき、上記ステップ(b) は上記画
   質を指定するパラメータと共に上記複数の符号化ビット
   レートの１つを入力し、上記ステップ(c) は上記パラメ
   ータと共に上記符号化ビットレートをキーとして上記特
   性情報を参照して、上記符号化フレームレートと上記画
   像フォーマットを決定するステップである。
3. 【請求項３】 請求項１の画質調整方法において、上記
   ステップ(a) は上記画像フォーマットごとに上記符号化
   フレームレートの適用範囲と共に上記符号化ビットレー
   トの適用領域を定めた特性情報を予め蓄積しておき、 上記ステップ(b) は上記画質を指定するパラメータと共
   に上記複数の符号化ビットレートの１つを入力し、 上記ステップ(c) は (c-1) 上記符号化ビットレートによって符号化フレーム
   レートの設定範囲を決定し、 (c-2) 上記設定範囲に応じて上記パラメータの値から符
   号化フレームレートを決定し、 (c-3) 上記符号化ビットレートと上記決定した符号化フ
   レームレートをキーとして上記特性情報を参照して、画
   像フォーマットを決定する、ステップを含む。
4. 【請求項４】 請求項１の画質調整方法において、上記
   画像フォーマットは予め決めた第１の画像サイズの第１
   フォーマットと、上記第１画像サイズより小さい予め決
   めた第２の画像サイズの第２フォーマットと、上記第２
   画像サイズより小さい予め決めた第３の画像サイズの第
   ３フォーマットであり、上記符号化フレームレートの適
   用範囲は上記第１，第２及び第３フォーマットに対し予
   め決めた第１領域、上記第１領域と隣接し、それより高
   い予め決めた第２領域、及び上記第２領域と隣接し、そ
   れより高い予め決めた第３領域とされている。
5. 【請求項５】 請求項１の画質調整方法において、 (o-1) 予め画像フォーマットごとに符号化するのに要す
   る符号化所要時間を測定し、 (o-2) 上記測定結果を用いて画像フォーマットごとに設
   定可能な符号化フレームレートを算出する、ステップを
   含み、 上記ステップ(c) は上記算出結果及び入力された画質調
   整パラメ-タに基づいて画像フォーマット及び符号化フ
   レームレートを決定するステップを含む。
6. 【請求項６】 請求項５の画質調整方法において、上記
   画像フォーマットは予め決めた第１の画像サイズの第１
   フォーマットと、上記第１画像サイズより小さい予め決
   めた第２の画像サイズの第２フォーマットと、上記第２
   画像サイズより小さい予め決めた第３の画像サイズの第
   ３フォーマットであり、上記ステップ（o−1) は上記第
   １，第２及び第３フォーマットのそれぞれを予め選んだ
   符号化ビットレートと符号化フレームレートで符号化
   し、符号化所要時間を測定するステップであり、上記ス
   テップ（o−2）は上記第１，第２及び第３フォーマット
   に対する符号化所要時間から求めた第１、第２及び第３
   符号化フレームレートをそれぞれ上記第１，第２及び第
   ３フォーマットに対する符号化フレ−ムレートの上限と
   決め、最も低いフレームレートから第１符号化フレーム
   レートまでの第１領域、第１符号化フレームレートから
   第２符号化フレームレートまでを第２領域、及び第２符
   号化フレームレートから第３符号化フレームレートまで
   を第３領域とし、それぞれ上記第１，第２及び第３フォ
   ーマットに最適な上記適用範囲として決める。
7. 【請求項７】 請求項５の画質調整方法において、更に (1) 上記映像符号化を実行する装置を監視し、上記装置
   への映像入力手段の登録又は変更、あるいは上記映像符
   号化を実行するプログラムと同時に動作する他のソフト
   ウェアの登録又は変更を検出するステップと、 (2) 上記検出結果、利用者の実行指示、異プログラムの
   上記装置への搭載、のいずれかを契機として上記ステッ
   プ(o-1)、 (o-2) を実行するステップ、とを含み、 上記ステップ(a) はその結果得られる画質調整パラメー
   タに対応して画像フォーマットごとの設定可能な符号化
   フレームレートの範囲を決定するデータを記憶するステ
   ップを含み、 上記ステップ(c) は画質調整パラメータが入力されたと
   き、上記データを参照して画像フォーマット及び符号化
   フレームレートを決定するステップを含む。
8. 【請求項８】 請求項１の画質調整方法において、 上記ステップ(a) は映像符号化処理を行う演算器の種別
   及び映像入力手段の組み合わせごとに、画質調整パラメ
   ータに対応して、画像フォーマットごとの設定可能な符
   号化フレームレートの範囲を規定したデータを予め登録
   しておくステップを含み、 上記画質調整方法を実行する装置において、映像符号化
   を行う演算器の種別及び映像入力手段を検出するステッ
   プが設けられ、 上記ステップ(c) は入力された画質調整パラメータ及び
   上記検出結果をもとに、上記登録データを参照して画像
   フォーマット及び符号化フレームレートを決定するステ
   ップを含む。
9. 【請求項９】 請求項１，２，３又は４の画質調整法法
   において、上記ステップ(b) は通信網を介して上記画質
   を指定するパラメータを受信するステップを含む。
10. 【請求項１０】 画質調整パラメータを入力して、映像
    を符号化する際の符号化パラメータを調整することによ
    り上記映像の画質を調整する画質調整方法をコンピュー
    タで実行するためのプログラムを記録した記録媒体であ
    り、上記プログラムは以下のステップを含む： (a) 予め決めた少なくとも１つの符号化ビットレートに
    対し画像フォーマットごとに符号化フレームレートの適
    用範囲を定めた特性情報を予め蓄積し、 (b) 画質を指定するパラメータを入力し、 (c) 上記パラメータをキーとして上記特性情報を参照し
    て、画像フォーマットと符号化フレームレートを決定す
    る。
11. 【請求項１１】 請求項１０の記録媒体において、上記
    プログラムの上記ステップ(a) は複数の予め決めた符号
    化ビットレートのそれぞれに対し画像フォーマットごと
    に符号化ビットレートと符号化フレームレートの適用範
    囲を定めた上記特性情報を予め蓄積しておき、上記ステ
    ップ(b) は上記画質を指定するパラメータと共に上記複
    数の符号化ビットレートの１つを入力し、上記ステップ
    (c) は上記パラメータと共に上記符号化ビットレートを
    キーとして上記特性情報を参照して、上記符号化フレー
    ムレートと上記画像フォーマットを決定するステップで
    ある。
12. 【請求項１２】 請求項１０の記録媒体において、上記
    プログラムの上記ステップ(a) は上記画像フォーマット
    ごとに上記符号化フレームレートの適用範囲と共に上記
    符号化ビットレートの適用領域を定めた特性情報を予め
    蓄積しておき、 上記ステップ(b) は上記画質を指定するパラメータと共
    に上記複数の符号化ビットレートの１つを入力し、上記
    ステップ(c) は (c-1) 上記符号化ビットレートによって符号化フレーム
    レートの設定範囲を決定し、 (c-2) 上記設定範囲に応じて上記パラメータの値から符
    号化フレームレートを決定し、 (c-3) 上記符号化ビットレートと上記決定した符号化フ
    レームレートをキーとして上記特性情報を参照して、画
    像フォーマットを決定する、ステップを含む。
13. 【請求項１３】 請求項１０の記録媒体において、上記
    画像フォーマットは予め決めた第１の画像サイズの第１
    フォーマットと、上記第１画像サイズより小さい予め決
    めた第２の画像サイズの第２フォーマットと、上記第２
    画像サイズより小さい予め決めた第３の画像サイズの第
    ３フォーマットであり、上記符号化フレームレートの適
    用範囲は上記第１，第２及び第３フォーマットとしてに
    対し予め決めた第１領域、上記第１領域と隣接し、それ
    より高い予め決めた第２領域、及び上記第２領域と隣接
    し、それより高い予め決めた第３領域とされている。
14. 【請求項１４】 請求項１０の記録媒体において、上記
    プログラムは (o-1) 予め画像フォーマットごとに符号化するのに要す
    る符号化所要時間を測定し、 (o-2) 上記測定結果を用いて画像フォーマットごとに設
    定可能な符号化フレームレートを算出する、ステップを
    含み、 上記ステップ(c) は上記算出結果及び入力された画質調
    整パラメ-タに基づいて画像フォーマット及び符号化フ
    レームレートを決定するステップを含む。
15. 【請求項１５】 請求項１４の記録媒体において、上記
    画像フォーマットは予め決めた第１の画像サイズの第１
    フォーマットと、上記第１画像サイズより小さい予め決
    めた第２の画像サイズの第２フォーマットと、上記第２
    画像サイズより小さい予め決めた第３の画像サイズの第
    ３フォーマットであり、上記ステップ（o−1) は上記第
    １，第２及び第３フォーマットのそれぞれを予め選んだ
    符号化ビットレートと符号化フレームレートで符号化
    し、符号化所要時間を測定するステップであり、上記ス
    テップ（o−2）は上記第１，第２及び第３フォーマット
    に対する符号化所要時間から求めた第１、第２及び第３
    符号化フレームレートをそれぞれ上記第１，第２及び第
    ３フォーマットに対する符号化フレ−ムレートの上限と
    決め、最も低いフレームレートから第１符号化フレーム
    レートまでの第１領域、第１符号化フレームレートから
    第２符号化フレームレートまでを第２領域、及び第２符
    号化フレームレートから第３符号化フレームレートまで
    を第３領域とし、それぞれ上記第１，第２及び第３フォ
    ーマットに最適な上記適用範囲として決める。
16. 【請求項１６】 請求項１４の記録媒体において、上記
    プログラムは更に (1) 上記映像符号化を実行する装置を監視し、上記装置
    への映像入力手段の登録又は変更、あるいは上記映像符
    号化を実行するプログラムと同時に動作する他のソフト
    ウェアの登録又は変更を検出するステップと、 (2) 上記検出結果、利用者の実行指示、異プログラムの
    上記装置への搭載、のいずれかを契機として上記ステッ
    プ(o-1)、 (o-2) を実行するステップ、とを含み、 上記ステップ(a) はその結果得られる画質調整パラメー
    タに対応して画像フォーマットごとの設定可能な符号化
    フレームレートの範囲を決定するデータを記憶するステ
    ップを含み、 上記ステップ(c) は画質調整パラメータが入力されたと
    き、上記データを参照して画像フォーマット及び符号化
    フレームレートを決定するステップを含む。
17. 【請求項１７】 請求項１０の記録媒体において、 上記ステップ(a) は映像符号化処理を行う演算器の種別
    及び映像入力手段の組み合わせごとに、画質調整パラメ
    ータに対応して、画像フォーマットごとの設定可能な符
    号化フレームレートの範囲を規定したデータを予め登録
    しておくステップを含み、 上記画質調整方法を実行する装置において、映像符号化
    を行う演算器の種別及び映像入力手段を検出するステッ
    プが設けられ、 上記ステップ(c) は入力された画質調整パラメータ及び
    上記検出結果をもとに、上記登録データを参照して画像
    フォーマット及び符号化フレームレートを決定するステ
    ップを含む。
18. 【請求項１８】 請求項１０，１１，１２又は１３の記
    録媒体において、上記ステップ(b) は通信網を介して上
    記画質を指定するパラメータを受信するステップを含
    む。
19. 【請求項１９】 画質調整パラメータを入力して、映像
    を符号化する際の符号化パラメータを調整することによ
    り上記映像の画質を調整可能な映像符号化装置を有する
    映像通信装置であり、上記映像符号化装置は、 予め決めた少なくとも１つの符号化ビットレートに対し
    画像フォーマットごとに符号化フレームレートの適用範
    囲を定めた特性情報を記憶する記憶部と. 少なくとも画質を指定するパラメータが入力され、上記
    記憶部の上記特性情報を参照し、対応する画像フォーマ
    ットと符号化フレームレートを決定して出力する画質調
    整部と、 上記映像を決定された上記画像フォーマットと符号化フ
    レームレートに基づいて符号化し、送信すべき符号化映
    像データを出力する符号化処理部、とを含む。
20. 【請求項２０】 請求項１９の映像通信装置において、
    上記画像フォーマットは予め決めた第１の画像サイズの
    第１フォーマットと、上記第１画像サイズより小さい予
    め決めた第２の画像サイズの第２フォーマットと、上記
    第２画像サイズより小さい予め決めた第３の画像サイズ
    の第３フォーマットであり、上記符号化フレームレート
    の適用範囲は上記第１，第２及び第３フォーマットとし
    てに対し予め決めた第１領域、上記第１領域と隣接し、
    それより高い予め決めた第２領域、及び上記第２領域と
    隣接し、それより高い予め決めた第３領域とされてい
    る。
21. 【請求項２１】 請求項１９の映像通信装置において、
    上記記憶部は複数の予め決めた符号化ビットレートのそ
    れぞれに対し画像フォーマットごとに符号化フレームレ
    ート及び符号化ビットレートの適用範囲を定めた特性情
    報を記憶しており、上記画質調整部は符号化ビットレー
    トと画質を指定するパラメータを入力して、上記記憶部
    の特性情報を参照し、画像フォーマットと符号化フレー
    ムレートを決定して出力する手段を含む。
22. 【請求項２２】 請求項２１の映像通信装置において、
    上記画質調整部は、 上記符号化ビットレートの値によって符号化フレームレ
    ートの設定範囲を決定し、上記設定範囲によって前記パ
    ラメータの値から符号化フレームレートを決定する符号
    化フレームレート決定部と、 上記符号化ビットレートと上記決定した符号化フレーム
    レートをキーとして上記記憶部の特性情報を参照して画
    像フォーマットを決定する画像フォーマット決定部、 とを有する。
23. 【請求項２３】 請求項１９の映像通信装置において、 画像フォーマットごとに映像符号化に要する処理時間を
    測定する測定部と、 上記測定都で測定した処理時間を用いて画像フォーマッ
    トごとに設定可能な符号化フレームレートを算出し、上
    記特性情報として上記記憶部に蓄積する符号化フレーム
    レート算出部、とを含み、上記画質調整部は入力された
    画質調整パラメータに応じて画像フォーマット及び符号
    化フレームレートを決定する手段を含む。
24. 【請求項２４】 請求項２３の映像通信装置において、
    上記画像フォーマットは予め決めた第１の画像サイズの
    第１フォーマットと、上記第１画像サイズより小さい予
    め決めた第２の画像サイズの第２フォーマットと、上記
    第２画像サイズより小さい予め決めた第３の画像サイズ
    の第３フォーマットであり、 上記測定部は上記第１，第２及び第３フォーマットのそ
    れぞれを、予め選んだ符号化ビットレートと符号化フレ
    ームレートで上記符号化部により符号化し、符号化所要
    時間を測定する手段を含み、 上記符号化フレームレート算出部は上記第１，第２及び
    第３フォーマットに対する符号化所要時間から求めた第
    １、第２及び第３符号化フレームレートをそれぞれ上記
    第１，第２及び第３フォーマットに対する符号化フレ−
    ムレートの上限と決め、最も低いフレームレートから第
    １符号化所要時間までの第１領域、第１符号化フレーム
    レートから第２符号化フレームレートまでを第２領域、
    及び第２符号化フレームレートから第３符号化フレーム
    レートまでを第３領域とし、それぞれ上記第１，第２及
    び第３フォーマットに最適な上記適用範囲として決める
    手段を含む。
25. 【請求項２５】 請求項１９の映像通信装置において、
    上記記憶部は映像符号化処理を実行する演算器の種別及
    び映像入力手段の組み合わせごとに、画質調整パラメー
    タに対応して、画像フォーマットごとの設定可能な符号
    化フレームレートの範囲を規定したデータを上記特性情
    報として予め蓄積しており、 上記画質調整部は上記映像符号化調整装置の環境設定情
    報から映像符号化を行う演算器の種別及び映像入力手段
    を検出し、入力された画質調整パラメータ及び上記検出
    結果をもとに、上記蓄積データを参照して画像フォーマ
    ット及び符号化フレームレートを決定する手段を含む。
26. 【請求項２６】 請求項１９，２０，２１又は２２の映
    像通信装置において、通信網を介して上記画質を指定す
    るパラメータを受信する通信手段を含む。
27. 【請求項２７】 請求項１９，２０，２１又は２２の映
    像通信装置において、上記画質を指定するパラメータを
    入力するパラメータ入力手段を含む。
28. 【請求項２８】 請求項１９，２１又は２２の映像通信
    装置において、上記符号化処理部により生成された符号
    化映像データを復号して映像データを生成する復号手段
    と、上記映像データから表示画像データを生成する映像
    出力部と、上記表示画像データを表示画面に表示する表
    示装置、とを含む。