JP2001016586A - 画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 基準クロックの各々異なる送受信端末での、
クロックの違いから生じる受信端末における画像と音声
とのずれや、画面の画像飛びを回避することができる画
像復号化装置を提供することを目的とする。 【解決手段】 画像通信のやり取りを行う携帯端末同士
において、画像の送信端末３０１と受信端末３０２で用
いる基準クロック間の同期が取れていない場合におい
て、受信端末中に基準クロックを基にフレーム数を計測
するフレームカウンタ３０７と、任意の数のフレーム数
を計測した所で実際のビットストリーム中に含まれるフ
レーム番号により受信端末３０２のフレームカウンタ３
０７の数値をリセットするリセット手段とを有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像と音声を通信
する携帯端末における画像復号化装置に関するものであ
る。

【０００２】

【従来の技術】ＩＴＵによるＨ．２６３規格の様な画像
復号化の規格を元に端末同士で画像伝送を行う場合に
は、Ｈ．２６３において両端末間でのクロックの同期性
は要求されておらず、そのため片側の端末ではクロック
周期ともう一方の端末では周期に若干のずれがありう
る。例えば一方の端末がクロック周期５０ｎｓで動作し
ており、もう一方の端末が５０．００１ｎｓの周期で動
作していることはありうる。この場合にビットストリー
ムとして送信されてくる画像データは送信側では１秒間
に１０００ビット送信するが、受信側では１００１ビッ
ト受信し、１ビットのずれが生じる。送信側では送信側
の基準クロックに従ってビットストリームを送信し、受
信側では受信側の基準クロックに従って受信し、１フレ
ームに必要なビット数から画像を復号し表示する。

【０００３】この時前記の様に送信側と受信側で基準ク
ロックが異なっていることから、長時間の後には送信側
が送ったフレームが１０００フレーム目である時に、受
信側で表示するべきとして計測されているフレームが９
９９フレーム目であるとすると、１０００フレーム目と
して送信されてきたビットストリームはすぐに表示でき
ず、次の表示時間をまつことになる。それに比して音声
はリアルタイム性が要求されるため、受信端末の画像の
表示カウンタが９９９フレーム目であっても本来は１０
００フレーム目の表示であるので１０００フレーム目に
対応する音声を再生する。

【０００４】あるいは送信側が９９９フレーム目である
時に受信側は１０００フレーム目をカウントしてしまっ
ている場合には送信されてきた９９９フレーム目の画像
は廃棄して、受信側は次の１００１フレーム目が送信さ
れてくるまで、１０００フレーム目を連続再生するしか
ない。この場合でも、リアルタイムな音声とやがてずれ
が生じ、連続再生の後、送信側から送られてきた画像を
表示した場合には画面が飛んでしまうこととなり、見る
者には不都合な状態を生じさせる。

【０００５】

【発明が解決しようとする課題】このような送信、受信
とで基準クロックの異なる通信においては受信側で表示
される画像と音声がある程度の時間経過後ずれる、ある
いは画面が不自然に飛ぶなどの問題がある。

【０００６】そこで本発明はこれらの課題を解決するも
のであって、基準クロックの各々異なる送受信端末で
の、クロックの違いから生じる受信端末における画像と
音声とのずれや、画面の画像飛びを回避することができ
る画像復号化装置を提供することを目的とする。

【０００７】

【課題を解決するための手段】上記課題を解決するため
に本発明は、画像通信のやり取りを行う携帯端末同士に
おいて、画像送信側端末と画像受信側端末で用いる基準
クロック間の同期が取れていない場合には、受信端末中
に基準クロックを基にフレーム数を計測するフレームカ
ウンタと、任意の数のフレーム数を計測した所で実際の
ビットストリーム中に含まれるフレーム番号により画像
受信側端末のフレームカウンタの数値をリセットするリ
セット手段とを設けることで、任意の時間間隔毎に受信
端末のフレーム番号の同期を積極的に取り直すことを可
能とする。

【０００８】上記構成により、基準クロックの各々異な
る送受信端末での、クロックの違いから生じる受信端末
における画像と音声とのずれや、画面の画像飛びを回避
することができる画像復号化装置を実現できる。

【０００９】

【発明の実施の形態】請求項１記載の発明は、画像通信
のやり取りを行う携帯端末同士において、画像送信側端
末と画像受信側端末で用いる基準クロック間の同期が取
れていない場合には、受信端末中に基準クロックを基に
フレーム数を計測するフレームカウンタと、任意の数の
フレーム数を計測した所で実際のビットストリーム中に
含まれるフレーム番号により画像受信側端末のフレーム
カウンタの数値をリセットするリセット手段とを設ける
ことで、任意の時間間隔毎に受信端末のフレーム番号の
同期を取り直すようにした。

【００１０】請求項２記載の発明は、受信側と送信側と
でのクロックの違いから生じるフレームのずれによる受
信端末での表示画像と音声再生とのずれを回避するよう
にした。

【００１１】請求項３記載の発明は、受信側と送信側と
でのクロックの違いから生じる受信側での不自然な画面
の飛びを回避するようにした。

【００１２】請求項４記載の発明は、ＰＡＬ画像と、Ｎ
ＴＳＣ画像とによる画像通信で、ＰＡＬ画像を簡易的に
３０Ｈｚのビットストリーム処理とした場合のＮＴＳＣ
の２９．９７Ｈｚとの周波数のずれを吸収するようにし
た。

【００１３】上記構成により、受信側と送信側とでのク
ロックの違いから生じるフレームのずれによる受信端末
での表示画像と音声再生とのずれを回避することが可能
となる。更に受信側と送信側とでのクロックの違いから
生じる受信側での不自然な画面の飛びを回避することが
可能となる。

【００１４】またＰＡＬ画像と、ＮＴＳＣ画像とによる
画像通信で、ＰＡＬ画像を簡易的に３０Ｈｚのビットス
トリーム処理とした場合のＮＴＳＣの２９．９７Ｈｚと
の周波数のずれを吸収することが可能となる。

【００１５】（実施の形態１）図１は、本発明の実施の
形態１に係る画像復号化装置の概念図とビットストリー
ム処理のタイミングチャートであって、請求項１の発明
に係るものである。なお実施の形態２〜４も図１と同様
である。

【００１６】図１において、１０１は送信端末、１０２
は受信端末である。送信端末１０１からは符号化された
画像情報がビットストリームとして伝送路１０３を通じ
て受信端末１０２に送信される。送信端末１０１と受信
端末１０２には各々クロック、ＣＬＫ１とＣＬＫ２が入
力しており、お互いのクロックは若干の同期のずれがあ
りうる。ＣＨ１０１とＣＨ１０２は送信と受信とに関わ
るタイミングチャートである。ＣＬＫ１は送信端末に入
力するＣＬＫであり画像符号化と送信のタイミングを作
る基準クロックである。このＣＬＫ１に同期して符号化
されたビットストリームが送信ｂｉｔとして出力され
る。ＣＨ１０１，ＣＨ１０２での上位から２番目の信号
とそのチャートである。

【００１７】ＣＬＫ２は受信端末１０２に入力するクロ
ックで、画像の復号化や表示における基準クロックとな
る。受信端末１０２ではＣＬＫ２に同期して送信されて
きたビットストリームを取り込む。チャートＣＨ１０
１、ＣＨ１０２での上位から３、４番目の信号のチャー
トである。

【００１８】ここで、ＩＴＵのＨ．２６３の規格などで
は送信端末、受信端末でのクロックの同期性は要求され
ていないのでＣＬＫ１とＣＬＫ２とでは若干のずれがあ
る事がありうる。例えばＣＬＫ１が２７ＭｈｚでＣＬＫ
２が２７．００１ＭＨｚ程度の違いである。

【００１９】チャートＣＨ１０１は送信側のＣＬＫ１よ
りも受信側のＣＬＫ２の方が若干周波数が高い場合を示
している。ＣＬＫ２の方が周波数が高いために、送信さ
れてくるビットストリームをＣＬＫ２で受信すると送信
が１０００ｂｉｔ送信した所で受信側では１００１ｂｉ
ｔ受信したことになることがありうる。１０４の状態で
ある。あるいはチャートＣＨ１０２の様にＣＬＫ２の方
がＣＬＫ１よりも周波数が低い場合には送信側が送信し
たビットストリームが１００１ｂｉｔである場合に受信
側ではまだ１０００ｂｉｔであると言うことも起こりう
る。１０５の状態である。即ち単位時間で考えるとＣＬ
Ｋ１とＣＬＫ２の周波数に若干の違いがある為に送信側
と受信側とで処理したビット量に食い違いが生じる。ま
た受信部ではビットストリームの復号化だけでなく表示
にかかわる処理に用いる基準クロックもＣＬＫ２になる
ので、送信してきたビット量と表示しようとする時に考
えているビット量も異なる。

【００２０】このように単位時間で考えれば１ｂｉｔ程
度のずれでしかないが、ある程度の時間が経過すればフ
レーム単位で異なってくる。即ち受信部では処理したビ
ットストリームからフレーム単位で画像を復号し、表示
する。この時に１フレームの復号に必要なビット量の計
測と何枚目のフレームを表示するかを決定する表示の為
の計測には受信部の基準クロックを用いる。即ち、短い
時間で１ｂｉｔずれることが累積すると送信側と受信側
とでのフレームの違いとなって現われることになる。し
かしながら、音声に関してはリアルタイム性の要求から
大体のシステムである一定の時間を区切って送信側との
音声の同期を取り直すようになっている。即ち画像はフ
レーム単位でずれが生じる可能性をいつもはらんでお
り、音声はずれることのないように調整が入っていると
いう事情がある。

【００２１】これらを図２を用いて説明する。図２は、
本発明の実施の形態１に係る画像復号化装置のタイミン
グチャートである。なお、実施の形態２〜４も図２と同
様である。

【００２２】図２において、ＣＨ２０１は受信クロック
の方が周波数が低い場合のタイミングイメージである。
横軸を時間軸として、１、２、３と記載している数字は
それぞれフレーム数を表わしている。送信とかかれてい
る軸は送信端末でどのフレームを処理して送信してきて
いるかを示しており、受信は受信して復号したフレーム
の番号を表わしている。表示は受信と同じ受信ＣＬＫを
基準クロックとして表示するフレームをカウントしてお
り、受信で処理したフレームをそのまま表示するとして
横軸上に数字をフレーム数として表わしている。音声は
送信側とのリアルタイム性を考慮して再生する。フレー
ム数としては画像の様な概念は無いが、分かりやすくす
るために表示「１」により表示されている画像に合致し
た順序での音声を再生している時を「１」としてチャー
ト上に表示してある。

【００２３】チャートＣＨ２０１上での２０１で示す様
に同一時期で見た場合には送信処理しているフレームが
３フレーム目である時に受信処理しているのが２フレー
ム目であり、表示しようとするのも２フレーム目である
関係があることを示している。この関係が保たれている
時には表示画像と音声が２０２に示すように合致してい
る事が保証されている。しかしながら受信クロックの方
が周波数が低いために、時間が経過すると２０３に示す
ように送信処理、受信処理、表示のフレーム数の関係が
狂ってくる。しかしながら、音声はこまめに同期を取り
直しているので画像の表示が遅れても音声は遅れなかっ
たものとして表示する。その関係のままだと２０４に示
すように９９９フレーム目の画像を表示している時に１
０００フレーム目に該当する音声を再生することとな
り、音声と画像との同期がずれ見る者に違和感を与え
る。

【００２４】あるいはチャートＣＨ２０２に示すように
受信クロックの周波数の方が高い場合には、受信、表示
が１０００フレーム目まで来ているにも関わらず、送信
処理では１０００フレームの処理が終了していない場合
も起こりうる。この場合にはその次に送られてくる１０
００フレーム目の画像は廃棄するしかなく（２０５）、
受信端末ではその前の画像を連続再生して、次に送信側
が送ってくる画像をまつことになる。この場合には画面
のみがいわゆるシーンチェンジの様に飛んでしまう状態
となり、見る者に違和感を与えることになる。

【００２５】図３は、本発明の実施の形態１に係る画像
復号化装置のブロック図とタイミングチャートであっ
て、請求項１の発明に係るものである。３０１は送信端
末、３０３は画像の符号化とビットストリームとしての
送信処理を行う符号化器である。この送信処理にはＣＬ
Ｋ１が基準クロックとして用いられる。３０４は有線、
無線を始めとした伝送路である。３０２は受信端末であ
り、３０５は送信されてきたビットストリームの受信処
理と画像への復号を行う復号化器である。復号化器３０
５にはＣＬＫ２が基準クロックとして用いられている。
３０７はＣＬＫ２を用いて、受信したビットストリーム
から画像を表示するに際してフレーム数を決定するため
のフレームカウンタである。つまり、表示に必要なフレ
ームの関係をカウントする為のブロックである。３０９
はフレームカウンタ３０７の結果を受けて画像を表示す
る為の処理を行う。

【００２６】ここで、上記に説明したように、異なる周
波数であるＣＬＫ２を基準クロックとしてフレームカウ
ンタ３０７を回して受信と表示の処理を行っている場合
には時間が経過すると画像と音声のずれや表示の飛びな
どが生じる。ところで、送られてくるビットストリーム
には各々フレーム番号が情報として送られてきておりビ
ットストリームの復号時にはこれを解析することが可能
である。そこで、短い任意の期間毎にフレームカウンタ
３０７を解析した受信ビットストリームに含まれるフレ
ーム番号によりリセットする。３０８がその動作であ
る。３０６はそのリセットされたフレーム番号を受信ブ
ロック、表示ブロックに与えることで、受信と表示とに
係わるフレーム番号を検出したフレーム番号と合わせ
る。

【００２７】タイミングイメージＣＨ３０１にしめす様
にフレームカウンタ３０７の値はそのまま受信と表示で
用いるフレーム番号になる。チャートではフレームカウ
ンタ３０７が２５６フレームを計測するたびに検出した
ビットストリーム中のフレーム数でリセットしているイ
メージを表わしている。理解を容易にするために送信に
比して受信の方がクロックの周波数が高くてフレームの
計測が先に進んでしまっていたという状態にしてある。
即ち、２５６までフレームカウンタ３０７が数えた所で
検出したフレーム数は２５５なのでフレームカウンタ３
０７を２５５の次の値である２５６に再びリセットして
いる。即ちずれはじめていた送信側と受信側との再同期
を取った形になる。

【００２８】送信、受信の端末のクロックの状態によっ
て、これらリセットする時間間隔は変更することが可能
であり、そのシステムに応じて最適な時間間隔でリセッ
ト動作を行う事で、送信側のフレームと受信側のフレー
ムの計測状態の同期を取ることが可能となり、クロック
の違いによる長時間後のフレーム単位のずれを回避する
ことが可能となる。

【００２９】（実施の形態２）実施の形態２は、請求項
２の発明に係るものである。実施の形態２を図２を参照
して説明する。請求項１に係る構成の発明であれば、一
定時間間隔毎にフレームカウンタをリセットすることが
可能である。その様な構成をもつのであれば、図２の２
０３に示すように長時間の後に送信側と受信側とで処理
しようとしているフレーム順番の関係に食い違いが生じ
てくることはありえず、その結果２０４に示すように表
示画像と、再生音声との差異が生じることも無くなる事
となる。その結果、クロックの周波数の食い違いによる
受信端末における表示画像と再生音声とのずれを回避す
ることが可能となる。

【００３０】（実施の形態３）実施の形態３は、請求項
３の発明に係るものである。実施の形態３を図２を参照
して説明する。請求項１に係る構成の発明であれば、一
定時間間隔毎にフレームカウンタをリセットすることが
可能である。その様な構成をもつのであれば、図２の２
０５のように受信側の計測するフレーム数が、送信側が
送ろうとしているフレーム数よりも先になることも起こ
り得ず、画像を廃棄する必要もなくなる。その結果、受
信端末においてクロックの周波数の食い違いから生じる
表示画像の不自然な画面飛びを回避することが可能とな
る。

【００３１】（実施の形態４）図４は、本発明の実施の
形態４に係る画像復号化装置のブロック図であって、請
求項４の発明に係るものである。実施の形態４では、送
信側がＰＡＬ画像方式による処理で、受信側がＮＴＳＣ
画像による処理の場合に、ＰＡＬ画像の基準周波数は２
５Ｈｚであり、ＮＴＳＣでは約２９．９７Ｈｚである。
このままでは相互の端末では画像通信が困難になるの
で、ＰＡＬ画像側が２５Ｈｚの６／５である３０Ｈｚに
変更して簡易的にＮＴＳＣの基準周波数である約２９．
９７Ｈｚに近づける。しかし、簡易的に変更した３０Ｈ
ｚはＮＴＳＣの約２９．９７Ｈｚと約０．０３Ｈｚの違
いがあり、それは３０Ｈｚから見ると約０．１％であ
る。即ち１０００ビットで１ビットの食い違いが発生す
る計算であり、送信側が１００１ビットを送信しても、
受信側では１０００ビットしか受信していないことにな
ってしまう。

【００３２】図４においてはＰＡＬ方式である送信端末
と、ＮＴＳＣ方式である受信端末との送信が記載されて
おり、４０１はＰＡＬ用の２５ＨｚのクロックであるＣ
ＬＫ１であり、４０４はＮＴＳＣ方式に係わる約２９．
９７Ｈｚのクロックである（４０４）。４０２はＰＡＬ
用のクロックを２５Ｈｚから３０Ｈｚに簡易的に変更す
る分周器であり６／５の倍数に従って分周する。分周さ
れた３０Ｈｚのクロック４０３が符号化、送信処理に係
る基準クロックとして用いられている。このままであれ
ば、図２に示すチャートＣＨ２０１と同じ状態となっ
て、いずれ画像表示と音声再生がずれることになってし
まう。

【００３３】この場合にも実施の形態１で示した図３の
構成を用いれば３０Ｈｚと２９．９７Ｈｚという、ＰＡ
Ｌ側とＮＴＳＣ側とでのクロックのずれによる図２で示
すチャートの様な受信端末での表示画像と音声再生との
ずれを回避することが可能となる。また、送信端末がＮ
ＴＳＣ方式で受信端末がＰＡＬ方式である場合には図２
のチャートＣＨ２０２のように不自然な画面のシーンチ
ェンジが生じることを回避することが可能となる。

【００３４】

【発明の効果】請求項１に記載の画像復号化装置によれ
ば、任意の時間間隔毎に受信端末でのフレーム番号の送
信側との同期を取り直すことが可能となる。

【００３５】請求項２に記載の画像復号化装置によれ
ば、送信端末と受信端末との基準クロックの違いから生
じる受信端末での画像表示と音声再生とのずれを回避す
ることが可能となる。

【００３６】請求項３に記載の画像復号化装置によれ
ば、送信端末と受信端末との基準クロックの違いから生
じる受信端末での不自然な画面の画像飛びを回避するこ
とが可能となる。

【００３７】請求項４に記載の画像復号化装置によれ
ば、ＰＡＬ方式の端末とＮＴＳＣ方式の端末間での画像
通信において、ＰＡＬ方式を簡易的に３０Ｈｚにした場
合のＮＴＳＣ方式の２９．９７Ｈｚとの違いから生じる
受信端末側での画像表示と音声再生とのずれや、画面の
画像飛びなどの問題を回避することが可能となる。

【図面の簡単な説明】

【図１】本発明の実施の形態１〜４に係る画像復号化装
置の概念図とビットストリーム処理のタイミングチャー
ト

【図２】本発明の実施の形態１〜４に係る画像復号化装
置のタイミングチャート

【図３】本発明の実施の形態１に係る画像復号化装置の
ブロック図とタイミングチャート

【図４】本発明の実施の形態４に係る画像復号化装置の
ブロック図

【符号の説明】

１０１ 送信端末 １０２ 受信端末 １０３ 伝送路 ３０１ 送信端末 ３０２ 受信端末 ３０３ 符号化器 ３０４ 伝送路 ３０５ 復号化器 ３０７ フレームカウンタ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C059 KK00 MA00 PP04 PP14 RC26 RC32 SS10 TA03 TB04 TC00 TD05 UA05 5C062 AA12 AC38 AE05 AE11

Claims (4)

【特許請求の範囲】
1. 【請求項１】画像通信のやり取りを行う携帯端末同士に
   おいて、画像送信側端末と画像受信側端末で用いる基準
   クロック間の同期が取れていない場合には、受信端末中
   に基準クロックを基にフレーム数を計測するフレームカ
   ウンタと、任意の数のフレーム数を計測した所で実際の
   ビットストリーム中に含まれるフレーム番号により画像
   受信側端末のフレームカウンタの数値をリセットするリ
   セット手段とを設けることで、任意の時間間隔毎に受信
   端末のフレーム番号の同期を取り直すことを特徴とする
   画像復号化装置。
2. 【請求項２】受信側と送信側とでのクロックの違いから
   生じるフレームのずれによる受信端末での表示画像と音
   声再生とのずれを回避することを特徴とする請求項１記
   載の画像復号化装置。
3. 【請求項３】受信側と送信側とでのクロックの違いから
   生じる受信側での不自然な画面の飛びを回避することを
   特徴とする請求項１記載の画像復号化装置。
4. 【請求項４】ＰＡＬ画像と、ＮＴＳＣ画像とによる画像
   通信で、ＰＡＬ画像を簡易的に３０Ｈｚのビットストリ
   ーム処理とした場合のＮＴＳＣの２９．９７Ｈｚとの周
   波数のずれを吸収することを特徴とする請求項１記載の
   画像復号化装置。