JP2000350210A - Ａｒｑ画像通信方法およびａｒｑ画像通信装置 - Google Patents

Abstract

(57)【要約】 【課題】 再送辞退メッセージが送信されてくるまでに
時間がかかる場合には、再送辞退メッセージを受信する
前に、現ビデオフレームが表示可能であれば表示を行
い、不可能であれば次ビデオフレームの表示を開始する
ことにより、動画のリアルタイム性を確保することを目
的とする。 【解決手段】 受信ビデオフレームの順序番号エラーが
発生した場合に直ちに再送要求を行い、再送要求により
再送ビデオフレームが送られてくるまでの間、次のビデ
オフレームの受信処理を行うＡＲＱ画像通信方法であっ
て、現在受信中のビデオフレームの最後もしくは次のビ
デオフレームの開始を検出するまでに再送要求したビデ
オフレームが受信できなかった場合には、現在までに受
信できたビデオフレームを用い、受信できなかったビデ
オフレームの画像の動きベクトルが０であるとしてビデ
オ画像の復号化を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＰＨＳ（Ｐｅｒｓ
ｏｎａｌ Ｈａｎｄｙ Ｐｈｏｎｅ Ｓｙｓｔｅ−ｍ）
などの無線通信のように伝送路誤り率の高い通信におい
て、誤り訂正方法としてＡＲＱ（Ａｕｔｏｍａｔｉｃ
Ｒｅｐｅａｔ Ｒｅｑｕｅｓｔ）のＳＲ（Ｓｅｌｅｃｔ
ｉｖｅ Ｒｅｐｅａｔ）方式を用いた場合のＡＲＱ画像
通信方法およびＡＲＱ画像通信装置に関するものであ
る。

【０００２】

【従来の技術】近年、デジタル通信を特徴とした第２世
代移動通信システムが急速に普及しつつある。たとえ
ば、ＰＨＳはＴＤＭＡ／ＴＤＤ（Ｔｉｍｅ Ｄｉｖｉｓ
ｉｏｎＭｕｌｔｉｐｌｅｘ Ａｃｃｅｓｓ／Ｔｉｍｅ
Ｄｉｖｉｓｉｏｎ Ｄｕｐｌｅ−ｘ）方式を採用し、１
スロットで３２ｋｂｐｓの伝送能力を有しているため、
音声やデータ、静止画だけでなくビデオも伝送可能であ
り、モバイル・マルチメディア・コミュニケーションを
実現するインフラストラクチャとして大きく期待されて
いる。

【０００３】従来のＡＲＱ画像通信方法を図７および図
３を参照しながら説明する。図７は従来のＡＲＱ画像通
信装置を示すブロック図であり、図３はＡＲＱ画像通信
装置を構成する一般的な多重・分離通信ブロックを示す
ブロック図である。

【０００４】図７において、２３はビデオカメラ、２４
はＡ／Ｄコンバータ、２５はビデオ符号化ブロック、２
６は多重・分離通信ブロック、２７はビデオ復号化ブロ
ック、２８はＤ／Ａコンバータ、２９はテレビモニタで
ある。また、図３において、３０はスイッチ、３１は送
信データ量測定部、３２は誤り検出符号演算部、３３は
パケットサイズ決定部、３４は多重化部、３５はベース
バンド処理部、３６はＲＦモジュール、３７は分離化
部、３８は誤り検出符号演算部、３９はスイッチ、４０
は再送用データ保存メモリ、４１は再送用データ検索部
である。

【０００５】このように構成されたＡＲＱ画像通信装置
について、その動作を説明する。なお、図７はＡＲＱ画
像通信装置を示すが、その動作は、図７と同一構成の自
端末と相手端末との間でシステム的、つまりＡＲＱ画像
通信システムとしてなされるものである。

【０００６】ビデオカメラ２３で撮影、出力されるアナ
ログビデオ信号をＡ／Ｄコンバータ２４がデジタル化
し、デジタルビデオデータとして出力し、デジタルビデ
オデータがビデオ符号化ブロック２５に入力される。ビ
デオ符号化ブロック２５は、入力されたデジタルビデオ
データを圧縮して符号化し、ビデオ符号化データとして
出力する。ビデオ符号化ブロック２５から出力された送
信データ（ビデオ符号化データ）は多重・分離通信ブロ
ック２６に入力される。

【０００７】図３において、通信網上でエラーが発生し
ていない状態、つまりスイッチ３０に再送データ、再送
辞退、送信する再送要求メッセージが入力されていない
場合、送信データはスイッチ３０を通過し、選択された
送信データとして再送用データ保存メモリ４０、送信デ
ータ量測定部３１、誤り検出符号化演算部３２、多重化
部３４に入力される。再送用データ保存メモリ４０は選
択された送信データを保持する。送信データ量測定部３
１は、入力される送信データのデータ量を測定し、送信
データ量を出力する。パケットサイズ決定部３３は送信
データ量に基づいてパケットサイズを決定し、パケット
サイズを出力する。誤り検出符号演算部３２は選択され
た送信データの誤り検出符号を演算し、誤り検出符号を
出力する。多重化部３４は、入力されるパケットサイズ
に基づいて、選択された送信データに誤り検出符号を付
加して多重化し、送信多重化データを出力する。送信多
重化データはベースバンド処理部３５でベースバンドデ
ータに変換され、ＲＦモジュール３６で電波に変換され
る。

【０００８】相手端末で受信した電波はＲＦモジュール
３６でベースバンドデータに変換され、ベースバンド処
理部３５で受信多重化データに変換される。受信多重化
データは分離化部３７に入力され、受信データ（つまり
ビデオ符号化データ）、誤り検出符号に分離化される。
受信データ及び誤り検出符号は誤り検出符号演算部３８
に入力される。受信データの誤り検出符号の演算結果が
分離化部３７出力の受信した誤り検出符号と一致の場
合、誤り検出符号演算部３８は特に何も出力しない。こ
の時、スイッチ３９はＯＮとなり、スイッチ３９から受
信データが出力される。受信データの誤り検出符号の演
算結果が受信した誤り検出符号と不一致の場合、誤り検
出符号演算部３８は送信する再送要求メッセージを出力
する。送信する再送要求メッセージがスイッチ３９に入
力された場合、スイッチ３９はＯＦＦになり、スイッチ
３９から受信データは出力されない。また、送信する再
送要求メッセージはスイッチ３０にも入力され、この場
合スイッチ３０は、送信する再送要求メッセージを選択
された送信データとして出力する。この選択された送信
データは前述した方法と同様に多重化され送信される。
そして、自端末において、前述した方法と同様に受信さ
れ分離化される。自端末においては、誤り検出符号演算
部３８で再送要求メッセージが誤りなく受信された場
合、これを受信した再送要求メッセージとして出力す
る。受信した再送要求メッセージがスイッチ３９に入力
された場合、スイッチ３９はＯＦＦになり、スイッチ３
９から受信データは出力されない。受信した再送要求メ
ッセージはパケットサイズ決定部３３に入力され、パケ
ットサイズを変化させる要因になる。受信した再送要求
メッセージは再送用データ検索部４１にも入力され、再
送用データ検索部４１は再送要求メッセージから再送要
求された順序番号を抽出し、この順序番号に基づいて再
送用データ保存メモリ４０から再送用データの検索をお
こなう。

【０００９】再送用データ保存メモリ４０は再送用デー
タを保持している場合、該当する再送データを出力す
る。再送用データ検索部４１は、再送用データ保存メモ
リ４０から取得した再送データをスイッチ３０に対して
出力する。この場合スイッチ３０は、再送データを選択
された送信データとして出力する。この選択された送信
データは前述した方法と同様に多重化され送信される。
そして、相手端末において、前述した方法と同様に受信
され分離化される。この時の再送要求順序番号に対応し
た受信データ及び誤り検出符号は誤り検出符号演算部３
８に入力される。受信データの誤り検出符号の演算結果
が受信した誤り検出符号と一致の場合、誤り検出符号演
算部３８は特に何も出力しない。この時、スイッチ３９
はＯＮとなり、スイッチ３９からこの再送要求順序番号
に対応した受信データが出力される。

【００１０】再送用データ保存メモリ４０は、再送用デ
ータを保持していない場合には、該当する再送データを
出力することができない。このため再送用データ検索部
４１は、再送要求に応じることができないことを相手端
末に通知するために、再送辞退メッセージをスイッチ３
０に対して出力する。この場合スイッチ３０は、再送辞
退メッセージを選択された送信データとして出力する。
この選択された送信データは前述した方法と同様に多重
化され送信される。そして、前述した方法と同様に相手
端末で受信され分離化される。再送辞退メッセージを受
信した相手端末は、再送要求データが受信することがで
きなかったために、現在受信中だったビデオフレームを
廃棄し、次のビデオフレームの受信の準備をする。

【００１１】図７において、多重・分離通信ブロック２
６から出力された受信データ（ビデオ符号化データ）は
ビデオ復号化ブロック２７に入力される。ビデオ復号化
ブロック２７は、入力されたビデオ符号化データを復号
化し、デジタルビデオデータとして出力する。Ｄ／Ａコ
ンバータ２８が、入力されるデジタルビデオデータをア
ナログビデオ信号に変換して出力し、テレビモニタ２９
が画像表示を行う。

【００１２】

【発明が解決しようとする課題】しかしながら、従来の
ＡＲＱ画像通信装置では、再送要求をおこなった相手端
末は、自端末から再送データが送信されてくるまでは画
像を更新することができず、自端末から再送辞退メッセ
ージが送信された場合には現在処理中のビデオフレーム
を廃棄し、次ビデオフレームから処理をしなければなら
なく、この再送辞退メッセージが受信されるまでの時間
は全く無駄に消費されてしまうという問題点を有してい
た。また、再送データが受信できた場合でも、それまで
に多くの時間が費やされてしまった場合には、動画のリ
アルタイム性を重視すると現ビデオフレームは時間的に
無意味なものとなってしまうという問題点を有してい
た。

【００１３】このＡＲＱ画像通信方法およびこのＡＲＱ
画像通信装置では、再送が要求されたビデオフレームを
有効に利用して動画のリアルタイム性を確保することが
要求されている。

【００１４】本発明は、再送要求を行った時に再送辞退
メッセージが送信されてくるまでに時間がかかる場合に
は、再送辞退メッセージを受信する前に、現ビデオフレ
ームが表示可能であれば表示を行い、表示不可能であれ
ば表示を行うことなく速やかに次ビデオフレームの表示
を開始することにより、動画のリアルタイム性を確保す
るためのＡＲＱ画像通信方法、および、再送要求を行っ
た時に再送辞退メッセージが送信されてくるまでに時間
がかかる場合には、再送辞退メッセージを受信する前
に、現ビデオフレームが表示可能であれば表示を行い、
表示不可能であれば表示を行うことなく速やかに次ビデ
オフレームの表示を開始することにより、動画のリアル
タイム性を確保することができるＡＲＱ画像通信装置を
提供することを目的とする。

【００１５】

【課題を解決するための手段】上記課題を解決するため
に本発明のＡＲＱ画像通信方法は、受信ビデオフレーム
の順序番号エラーが発生した場合に直ちに再送要求を行
い、再送要求により再送ビデオフレームが送られてくる
までの間、次のビデオフレームの受信処理を行うＡＲＱ
画像通信方法であって、現在受信中のビデオフレームの
最後もしくは次のビデオフレームの開始を検出するまで
に再送要求したビデオフレームが受信できた場合には、
受信できたビデオフレームに基づいてビデオ画像の復号
化を行い、現在受信中のビデオフレームの最後もしくは
次のビデオフレームの開始を検出するまでに再送要求し
たビデオフレームが受信できなかった場合には、現在ま
でに受信できたビデオフレームを用い、受信できなかっ
たビデオフレームの画像の動きベクトルが０であるとし
てビデオ画像の復号化を行う構成を有している。

【００１６】これにより、再送要求を行った時に再送辞
退メッセージが送信されてくるまでに時間がかかる場合
には、再送辞退メッセージを受信する前に、現ビデオフ
レームが表示可能であれば表示を行い、表示不可能であ
れば表示を行うことなく速やかに次ビデオフレームの表
示を開始することにより、動画のリアルタイム性を確保
するためのＡＲＱ画像通信方法が得られる。

【００１７】上記課題を解決するために本発明のＡＲＱ
画像通信装置は、送信するビデオ符号化データを多重化
し、受信した多重化ビデオ符号化データを分離する多重
・分離通信ブロックと、ビデオ符号化データを復号化す
るビデオ復号化ブロックと、多重・分離通信ブロックか
らビデオ符号化データおよび送信する再送要求メッセー
ジを入力してビデオ復号化ブロックへビデオ符号化デー
タを出力するビデオＡＲＱバッファブロックとを有する
ＡＲＱ画像通信装置であって、ビデオＡＲＱバッファブ
ロックは、多重・分離通信ブロックからビデオ符号化デ
ータを入力して、現在受信中のビデオフレームの最後を
示すフレーム終了信号と次のビデオフレームの開始を示
すフレーム開始信号とビデオ符号化データとＧＯＢ番号
とを出力するビデオ受信データ要素分離部と、ビデオ符
号化データと動きベクトルが０のＭＢデータとを入力し
ていずれかを選択する第１のスイッチと、ビデオ符号化
データを記憶する２つの１フレーム分のビデオ符号化デ
ータバッファメモリと、２つの１フレーム分のビデオ符
号化データバッファメモリのいずれかを選択してビデオ
符号化データを第１のスイッチへ出力する第２のスイッ
チと、２つの１フレーム分のビデオ符号化データバッフ
ァメモリに対して第２のスイッチと逆側に接続され、ビ
デオ受信データ要素分離部からのビデオ符号化データを
２つの１フレーム分のビデオ符号化データバッファメモ
リのいずれかへ出力する第３のスイッチと、多重・分離
通信ブロックから送信する再送要求メッセージを入力し
たときには再送要求中信号を出力する再送要求中状態記
憶部と、ビデオ受信データ要素分離部からの最も直前の
ＧＯＢ番号信号を記憶する現ＧＯＢ番号記憶部と、ビデ
オ受信データ要素分離部からのフレーム終了信号および
フレーム開始信号を入力したときに新規ビデオフレーム
受信開始信号を出力する新規ビデオフレーム受信開始判
別部と、新規ビデオフレーム受信開始信号が入力される
とＧＯＢ番号のカウントを開始して読み出しＧＯＢ番号
を出力する読み出しＧＯＢ番号カウンタと、現ＧＯＢ番
号記憶部が出力する記憶されているＧＯＢ番号よりもビ
デオ受信データ要素分離部から入力されたＧＯＢ番号が
大きくかつ互いに連続していない場合にはその欠落して
いるＧＯＢ番号を欠落ＧＯＢ番号として出力するＧＯＢ
欠落判別部と、再送要求中に読み出しＧＯＢ番号と欠落
ＧＯＢ番号とが一致したときには一致信号を出力する比
較部と、比較部から一致信号が出力されているときは動
きベクトルが０のＭＢデータを第１のスイッチへ出力す
るＭＢデータ格納メモリとを有する構成を備えている。

【００１８】これにより、再送要求を行った時に再送辞
退メッセージが送信されてくるまでに時間がかかる場合
には、再送辞退メッセージを受信する前に、現ビデオフ
レームが表示可能であれば表示を行い、表示不可能であ
れば表示を行うことなく速やかに次ビデオフレームの表
示を開始することにより、動画のリアルタイム性を確保
することができるＡＲＱ画像通信装置が得られる。

【００１９】

【発明の実施の形態】本発明の請求項１に記載のＡＲＱ
画像通信方法は、受信ビデオフレームの順序番号エラー
が発生した場合に直ちに再送要求を行い、再送要求によ
り再送ビデオフレームが送られてくるまでの間、次のビ
デオフレームの受信処理を行うＡＲＱ画像通信方法であ
って、現在受信中のビデオフレームの最後もしくは次の
ビデオフレームの開始を検出するまでに再送要求したビ
デオフレームが受信できた場合には、受信できたビデオ
フレームに基づいてビデオ画像の復号化を行い、現在受
信中のビデオフレームの最後もしくは次のビデオフレー
ムの開始を検出するまでに再送要求したビデオフレーム
が受信できなかった場合には、現在までに受信できたビ
デオフレームを用い、受信できなかったビデオフレーム
の画像の動きベクトルが０であるとしてビデオ画像の復
号化を行うこととしたものである。

【００２０】この構成により、現在受信中のビデオフレ
ームの最後もしくは次のビデオフレームの開始を検出す
るまでに再送要求したパケットが受信できなかった場合
には受信できなかった画像ブロックの動きベクトルが０
だったものとしてビデオ画像を復号するようにしたの
で、再送要求をおこなった場合にも動画のリアルタイム
性を確保することができるという作用を有する。

【００２１】請求項２に記載のＡＲＱ画像通信装置は、
送信するビデオ符号化データを多重化し、受信した多重
化ビデオ符号化データを分離する多重・分離通信ブロッ
クと、ビデオ符号化データを復号化するビデオ復号化ブ
ロックと、多重・分離通信ブロックからビデオ符号化デ
ータおよび送信する再送要求メッセージを入力してビデ
オ復号化ブロックへビデオ符号化データを出力するビデ
オＡＲＱバッファブロックとを有するＡＲＱ画像通信装
置であって、ビデオＡＲＱバッファブロックは、多重・
分離通信ブロックからビデオ符号化データを入力して、
現在受信中のビデオフレームの最後を示すフレーム終了
信号と次のビデオフレームの開始を示すフレーム開始信
号とビデオ符号化データとＧＯＢ番号とを出力するビデ
オ受信データ要素分離部と、ビデオ符号化データと動き
ベクトルが０のＭＢデータとを入力していずれかを選択
する第１のスイッチと、ビデオ符号化データを記憶する
２つの１フレーム分のビデオ符号化データバッファメモ
リと、２つの１フレーム分のビデオ符号化データバッフ
ァメモリのいずれかを選択してビデオ符号化データを第
１のスイッチへ出力する第２のスイッチと、２つの１フ
レーム分のビデオ符号化データバッファメモリに対して
第２のスイッチと逆側に接続され、ビデオ受信データ要
素分離部からのビデオ符号化データを２つの１フレーム
分のビデオ符号化データバッファメモリのいずれかへ出
力する第３のスイッチと、多重・分離通信ブロックから
送信する再送要求メッセージを入力したときには再送要
求中信号を出力する再送要求中状態記憶部と、ビデオ受
信データ要素分離部からの最も直前のＧＯＢ番号信号を
記憶する現ＧＯＢ番号記憶部と、ビデオ受信データ要素
分離部からのフレーム終了信号およびフレーム開始信号
を入力したときに新規ビデオフレーム受信開始信号を出
力する新規ビデオフレーム受信開始判別部と、新規ビデ
オフレーム受信開始信号が入力されるとＧＯＢ番号のカ
ウントを開始して読み出しＧＯＢ番号を出力する読み出
しＧＯＢ番号カウンタと、現ＧＯＢ番号記憶部が出力す
る記憶されているＧＯＢ番号よりもビデオ受信データ要
素分離部から入力されたＧＯＢ番号が大きくかつ互いに
連続していない場合にはその欠落しているＧＯＢ番号を
欠落ＧＯＢ番号として出力するＧＯＢ欠落判別部と、再
送要求中に読み出しＧＯＢ番号と欠落ＧＯＢ番号とが一
致したときには一致信号を出力する比較部と、比較部か
ら一致信号が出力されているときは動きベクトルが０の
ＭＢデータを第１のスイッチへ出力するＭＢデータ格納
メモリとを有することとしたものである。

【００２２】この構成により、現在受信中のビデオフレ
ームの最後もしくは次のビデオフレームの開始を検出す
るまでに再送要求したパケットが受信できなかった場合
には受信できなかった画像ブロックの動きベクトルが０
だったものとしてビデオ画像を復号することができるの
で、再送要求をおこなった場合にも動画のリアルタイム
性を確保することができるという作用を有する。

【００２３】以下、本発明の実施の形態について、図１
〜図６を用いて説明する。

【００２４】（実施の形態１）図１は本発明の実施の形
態１によるＡＲＱ画像通信装置を示すブロック図であ
り、図２は図１のＡＲＱ画像通信装置を構成するビデオ
ＡＲＱバッファブロックを示すブロック図である。な
お、本実施の形態においては、図１のＡＲＱ画像通信装
置の多重・分離通信ブロックの構成は、従来と同様に図
３に示す構成である。

【００２５】図１において、１５はビデオカメラ、１６
はＡ／Ｄコンバータ、１７はビデオ符号化ブロック、１
８は多重・分離通信ブロック、１９はビデオＡＲＱバッ
ファブロック、２０はビデオ復号化ブロック、２１はＤ
／Ａコンバータ、２２はテレビモニタである。

【００２６】また、図２において、１は第１のスイッ
チ、２は第２のスイッチ、３、４は１フレーム分のビデ
オ符号化データバッファメモリ、５は第３のスイッチ、
６はビデオ受信データ要素分離部、７は各ＧＯＢ番号ご
とのインターかつ動きベクトルが０のＭＢデータ格納メ
モリ、８は新規ビデオフレーム受信開始判別部、９は現
ＧＯＢ番号記憶部、１０は再送要求中状態記憶部、１１
はＧＯＢ欠落判別部、１２は読み出しＧＯＢ番号カウン
タ、１３は欠落ＧＯＢ番号記憶部、１４は欠落ＧＯＢ番
号と読み出しＧＯＢ番号の比較部である。

【００２７】図４（ａ）、（ｂ）、図５（ａ）、（ｂ）
はＩＴＵ−Ｔ勧告Ｈ．２６３におけるビデオビット列の
ための多重化処理系統図である。

【００２８】図４において、４２はＰＳＣ（ピクチャス
タートコード）、４３はＴＲ（テンポラルリファレン
ス）、４４はＰＴＹＰＥ（タイプ情報）、４５はＰＱＵ
ＡＮＴ（量子化特性情報）、４６はＣＰＭ（コンティニ
ュアスプレゼンスマルチポイント）、４７はＰＳＢＩ
（ピクチャサブビット列指示情報）、４８はＴＲＢ（Ｂ
ピクチャのテンポラリリファレンス）、４９はＤＢＱＵ
ＡＮＴ（Ｂピクチャの量子化情報）、５０はＰＥＩ（拡
張用挿入情報）、５１はＰＳＰＡＲＥ（予備情報）、５
２はＧＯＢ ＬＡＹＥＲ（グループオブブロックレイ
ヤ）、５３はＥＳＴＵＦ（スタッフ化）、５４はＥＯＳ
（シーケンス終了情報）、５５はＰＳＴＵＦ（スタッフ
化）、５６はＧＳＴＵＦ（スタッフ化）、５７はＧＢＳ
Ｃ（グループオブブロックスタートコード）、５８はＧ
Ｎ（グループ）、５９はＧＳＢＩ（ピクチャサブビット
列指示情報）、６０はＧＦＩＤ（ＧＯＢフレームＩ
Ｄ）、６１はＧＱＵＡＮＴ（量子化特性情報）、６２は
ＭＢ ＬＡＹＥＲ（マクロブロックレイヤ）である。

【００２９】また図５において、６３はＣＯＤ（符号化
マクロブロック指示情報）、６４はＭＣＢＰＣ（マクロ
ブロックタイプと色差信号の符号化ブロックパター
ン）、６５はＭＯＤＢ（Ｂブロックのマクロブロックモ
ード）、６６はＣＢＰＢ（Ｂブロックの符号化ブロック
パターン）、６７はＣＢＰＹ（輝度信号の符号化ブロッ
クパターン）、６８はＤＱＵＡＮＴ（量子化特性情
報）、６９はＭＶＤ（動きベクトルデータ）、７０はＭ
ＶＤ２−４（動きベクトルデータ）、７１はＭＶＤＢ
（Ｂマクロブロックの動きベクトルデータ）、７２はＢ
ＬＯＣＫ ＬＡＹＥＲ（ブロックレイヤ）、７３はＩＮ
ＴＲＡＤＣ（ＩＮＴＲＡブロックのＤＣ係数）、７４は
ＴＣＯＥＦ（変換係数）である。

【００３０】図６はＩＴＵ−Ｔ勧告Ｈ．２６３における
ビデオデータの各レイヤ構成を階層的に表したレイヤ構
成図である。

【００３１】図６において、７５はＰＳＣ（ピクチャス
タートコード、フレーム開始信号）、７６はその他のピ
クチャレイヤヘッダーデータ、７７はＧＯＢ（Ｇｒｏｕ
ｐＯｆ Ｂｌｏｃｋ）レイヤ（０〜１７）、７８はＥＳ
ＴＵＦ（スタッフ化）、７９はＥＯＳ（シーケンス終了
情報、フレーム終了信号）、８０はＰＳＴＵＦ（スタッ
フ化）、８１はＧＳＴＵＦ（スタッフ化）、８２はＧＢ
ＳＣ（グループオブブロックスタートコード）、８３は
ＧＮ（グループ番号）、８４はＧＳＢＩ（ピクチャサブ
ビット列指示情報）、８５はＧＱＵＡＮＴ（量子化特性
情報）、８６はＭＢ（Ｍａｃｒｏ Ｂｌｏｃｋ）レイ
ヤ、８７はＣＯＤ（符号化マクロブロック指示情報）、
８８はＭＣＢＰＣ（マクロブロックタイプと色差信号の
符号化ブロックパターン）、８９はＭＯＤＢ（Ｂブロッ
クのマクロブロックモード）、９０はＣＢＰＢ（Ｂブロ
ックの符号化ブロックパターン）、９１はＣＢＰＹ（輝
度信号の符号化ブロックパターン）、９２はＤＱＵＡＮ
Ｔ（量子化特性情報）、９３はＭＶＤ（動きベクトルデ
ータ）、９４はＭＶＤ２−４（動きベクトルデータ）、
９５はＭＶＤＢ（Ｂマクロブロックの動きベクトルデー
タ）、９６はブロックレイヤ、ＰＬはピクチャレイヤ、
ＧＯＢＬはＧＯＢレイヤ、ＭＢＬはＭＢレイヤである。

【００３２】このように構成されたＡＲＱ画像通信装置
について、その動作（ＡＲＱ画像通信方法）を説明す
る。なお、ビデオＡＲＱバッファブロック１９以外につ
いては従来装置と同様の動作であるので、主にビデオＡ
ＲＱバッファブロック１９の動作を説明する。

【００３３】図２において、図１の多重・分離通信ブロ
ック１８から出力されたビデオ符号化データは、ビデオ
受信データ要素分離部６に入力される。ビデオ受信デー
タ要素分離部６は、入力されたビデオ符号化データか
ら、ＥＯＳ（シーケンス終了情報）、ＰＳＣ（ピクチャ
スタートコード）およびＧＮ（グループ番号）を抽出す
る。図６に示すように、ビデオフレームの最上位レイヤ
であるピクチャレイヤＰＬにおいて、ＰＳＣはビデオフ
レームの開始を示し、ＥＯＳはビデオフレームの終了を
示している。ＧＮはＧＯＢ（グループオブブロック）レ
イヤＧＯＢＬの０〜１７までの番号を示している。ＥＯ
Ｓ及びＰＳＣは新規ビデオフレーム受信開始判別部８に
入力され、ビデオフレームの境目を識別するために使用
される。そして新規ビデオフレーム受信開始判別部８は
新規ビデオフレーム受信開始信号を出力する。

【００３４】新規ビデオフレーム受信開始判別部８から
の新規ビデオフレーム受信開始信号はスイッチ２及びス
イッチ５に入力される。スイッチ２及びスイッチ５は互
いに逆側に切り換えられることにより、１フレーム分の
ビデオ符号化データバッファメモリ３に書き込まれてい
るときには、１フレーム分のビデオ符号化データバッフ
ァメモリ４から読み出されるように制御される。通信網
上でエラーが発生していない時は、再送要求中状態記憶
部１０からは再送要求中信号（再送要求中を示す信号）
は出力されず、欠落ＧＯＢ番号と読み出しＧＯＢ番号の
比較部１４は何も出力しない。この時、スイッチ１は上
側に切り替わっており、スイッチ２から出力されるビデ
オ符号化データをそのままビデオ復号化ブロック２０へ
出力する。このように通信網上でエラーが発生していな
い状態では、ビデオＡＲＱバッファブロック１９は単な
るバッファとして機能する。

【００３５】次に、通信網上でエラーが発生した場合の
動作を説明する。従来例と同様に再送要求をおこなった
場合、図２の多重・分離通信ブロック１８から送信する
再送要求メッセージ（送信再送要求メッセージ）がビデ
オＡＲＱバッファブロック１９に対して出力される。そ
して、送信再送要求メッセージはビデオＡＲＱバッファ
ブロック１９内の再送要求中状態記憶部１０にも入力さ
れ、再送要求中信号が再送要求中状態記憶部１０から出
力される。再送要求中状態記憶部１０は新規ビデオフレ
ーム受信開始信号が入力された場合クリアされる。ビデ
オ受信データ要素分離部６からは、ＥＯＳ、ＰＳＣ及び
ＧＮが出力される。ここでＧＮ（グループオブブロック
番号）は必ずしも連続した数字とはならない。これは動
きベクトルが０の場合には、ＧＯＢレイヤＧＯＢＬを省
略して送信することも可能だからである。現ＧＯＢ番号
記憶部９は、最も直前に受信したＧＮを記憶する。ＧＯ
Ｂ欠落判別部１１は、現ＧＯＢ番号記憶部９が出力する
記憶されているＧＯＢ番号（以下、「現記憶ＧＯＢ番
号」と記載する）よりもビデオ受信データ要素分離部６
から入力されたＧＯＢ番号（以下、「入力ＧＯＢ番号」
と記載する）が大きくかつ現記憶ＧＯＢ番号と入力ＧＯ
Ｂ番号とが連続していない場合には、その欠落ＧＯＢ番
号を出力し、記憶更新許可信号を出力する。現ＧＯＢ番
号記憶部９が出力する現記憶ＧＯＢ番号とビデオ受信デ
ータ要素分離部６からの入力ＧＯＢ番号とが連続してい
る場合には、記憶更新許可信号を出力する。欠落ＧＯＢ
番号は、欠落ＧＯＢ番号記憶部１３で記憶され、欠落Ｇ
ＯＢ番号と読み出しＧＯＢ番号との比較部１４に対して
出力される。

【００３６】欠落ＧＯＢ番号記憶部１３は、新規ビデオ
フレーム受信開始信号が入力された場合には、欠落ＧＯ
Ｂ番号をクリアする。新規ビデオフレーム受信開始判別
部８は、ＥＯＳまたはＰＳＣが入力された場合、新規ビ
デオフレームが開始したと判別して、新規ビデオフレー
ム受信開始信号を出力する。新規ビデオフレーム受信開
始信号が出力されるとスイッチ２及びスイッチ５は切り
替わり、１フレーム分のビデオ符号化データバッファメ
モリ３及び４に対し書き込み及び読み出しが行われる。
このときスイッチ２及びスイッチ５は互いに逆側に切り
換えられ、一方の１フレーム分のビデオ符号化データバ
ッファメモリに書き込まれているときは、もう一方の１
フレーム分のビデオ符号化データバッファメモリから読
み出される。読み出しＧＯＢ番号カウンタ１２は、新規
ビデオフレーム受信開始信号が入力されるとＧＯＢ番号
のカウントを開始し、読み出しＧＯＢ番号を出力する。
この読み出しＧＯＢ番号に基づいて、１フレーム分のビ
デオ符号化データバッファメモリ３又は４から、対応す
るＧＯＢ番号のビデオ符号化データがあれば読み出され
る。

【００３７】読み出しＧＯＢ番号は比較部１４にも入力
され、比較部１４は、再送要求中信号が入力されている
ときに動作し、読み出しＧＯＢ番号と欠落ＧＯＢ番号が
一致したときには、一致信号を出力する。比較部１４は
再送要求中信号が入力されていないときは動作せず、一
致信号は出力されない。一致信号は、各ＧＯＢ番号ごと
のインターかつ動きベクトルが０のＭＢデータ格納メモ
リ７とスイッチ１に入力される。一致信号を入力された
ＭＢデータ格納メモリ７は動きベクトルφのＭＢデータ
を出力する。一致信号を入力されたスイッチ１は、入力
される動きベクトルφのＭＢデータをビデオ符号化デー
タとして出力する。一致信号を入力されていないとき、
スイッチ１はスイッチ２からのビデオ符号化データを出
力する。すなわち、一致信号が出ているときは動きベク
トルφのＭＢのビデオ符号化データを出力し、それ以外
は受信したビデオ符号化データを出力する。

【００３８】以上のように本実施の形態によれば、通信
エラーが発生し再送要求を行った場合でも、現在受信中
のビデオフレームの最後もしくは次のビデオフレームの
開始の段階で、欠落ＧＯＢ番号のビデオフレームデータ
を動きベクトルが０のビデオフレームデータに置き換え
ることによって、通信エラーが発生したビデオフレーム
を表示することができる。

【００３９】

【発明の効果】以上説明したように本発明の請求項１に
記載のＡＲＱ画像通信方法によれば、受信ビデオフレー
ムの順序番号エラーが発生した場合に直ちに再送要求を
行い、再送要求により再送ビデオフレームが送られてく
るまでの間、次のビデオフレームの受信処理を行うＡＲ
Ｑ画像通信方法であって、現在受信中のビデオフレーム
の最後もしくは次のビデオフレームの開始を検出するま
でに再送要求したビデオフレームが受信できた場合に
は、受信できたビデオフレームに基づいてビデオ画像の
復号化を行い、現在受信中のビデオフレームの最後もし
くは次のビデオフレームの開始を検出するまでに再送要
求したビデオフレームが受信できなかった場合には、現
在までに受信できたビデオフレームを用い、受信できな
かったビデオフレームの画像の動きベクトルが０である
としてビデオ画像の復号化を行うことにより、現在受信
中のビデオフレームの最後もしくは次のビデオフレーム
の開始を検出するまでに再送要求したパケットが受信で
きなかった場合には受信できなかった画像ブロックの動
きベクトルが０であるとしてビデオ画像の復号化を行う
ようにしたので、再送要求を行った場合にも動画のリア
ルタイム性を確保することができるという有利な効果が
得られる。

【００４０】請求項２に記載のＡＲＱ画像通信装置によ
れば、送信するビデオ符号化データを多重化し、受信し
た多重化ビデオ符号化データを分離する多重・分離通信
ブロックと、ビデオ符号化データを復号化するビデオ復
号化ブロックと、多重・分離通信ブロックからビデオ符
号化データおよび送信する再送要求メッセージを入力し
てビデオ復号化ブロックへビデオ符号化データを出力す
るビデオＡＲＱバッファブロックとを有するＡＲＱ画像
通信装置であって、ビデオＡＲＱバッファブロックは、
多重・分離通信ブロックからビデオ符号化データを入力
して、現在受信中のビデオフレームの最後を示すフレー
ム終了信号と次のビデオフレームの開始を示すフレーム
開始信号とビデオ符号化データとＧＯＢ番号とを出力す
るビデオ受信データ要素分離部と、ビデオ符号化データ
と動きベクトルが０のＭＢデータとを入力していずれか
を選択する第１のスイッチと、ビデオ符号化データを記
憶する２つの１フレーム分のビデオ符号化データバッフ
ァメモリと、２つの１フレーム分のビデオ符号化データ
バッファメモリのいずれかを選択してビデオ符号化デー
タを第１のスイッチへ出力する第２のスイッチと、２つ
の１フレーム分のビデオ符号化データバッファメモリに
対して第２のスイッチと逆側に接続され、ビデオ受信デ
ータ要素分離部からのビデオ符号化データを２つの１フ
レーム分のビデオ符号化データバッファメモリのいずれ
かへ出力する第３のスイッチと、多重・分離通信ブロッ
クから送信する再送要求メッセージを入力したときには
再送要求中信号を出力する再送要求中状態記憶部と、ビ
デオ受信データ要素分離部からの最も直前のＧＯＢ番号
信号を記憶する現ＧＯＢ番号記憶部と、ビデオ受信デー
タ要素分離部からのフレーム終了信号およびフレーム開
始信号を入力したときに新規ビデオフレーム受信開始信
号を出力する新規ビデオフレーム受信開始判別部と、新
規ビデオフレーム受信開始信号が入力されるとＧＯＢ番
号のカウントを開始して読み出しＧＯＢ番号を出力する
読み出しＧＯＢ番号カウンタと、現ＧＯＢ番号記憶部が
出力する記憶されているＧＯＢ番号よりもビデオ受信デ
ータ要素分離部から入力されたＧＯＢ番号が大きくかつ
互いに連続していない場合にはその欠落しているＧＯＢ
番号を欠落ＧＯＢ番号として出力するＧＯＢ欠落判別部
と、再送要求中に読み出しＧＯＢ番号と欠落ＧＯＢ番号
とが一致したときには一致信号を出力する比較部と、比
較部から一致信号が出力されているときは動きベクトル
が０のＭＢデータを第１のスイッチへ出力するＭＢデー
タ格納メモリとを有することにより、現在受信中のビデ
オフレームの最後もしくは次のビデオフレームの開始を
検出するまでに再送要求したパケットが受信できなかっ
た場合には受信できなかった画像ブロックの動きベクト
ルが０であるとしてビデオ画像の復号化を行うことがで
きるので、再送要求をおこなった場合にも動画のリアル
タイム性を確保することができるという有利な効果が得
られる。

【図面の簡単な説明】

【図１】本発明の実施の形態１によるＡＲＱ画像通信装
置を示すブロック図

【図２】図１のＡＲＱ画像通信装置を構成するビデオＡ
ＲＱバッファブロックを示すブロック図

【図３】ＡＲＱ画像通信装置を構成する一般的な多重・
分離通信ブロックを示すブロック図

【図４】（ａ）ＩＴＵ−Ｔ勧告Ｈ．２６３におけるビデ
オビット列のための多重化処理系統図（ｂ）ＩＴＵ−Ｔ
勧告Ｈ．２６３におけるビデオビット列のための多重化
処理系統図

【図５】（ａ）ＩＴＵ−Ｔ勧告Ｈ．２６３におけるビデ
オビット列のための多重化処理系統図（ｂ）ＩＴＵ−Ｔ
勧告Ｈ．２６３におけるビデオビット列のための多重化
処理系統図

【図６】ＩＴＵ−Ｔ勧告Ｈ．２６３におけるビデオデー
タの各レイヤ構成を階層的に現したレイヤ構成図

【図７】従来のＡＲＱ画像通信装置を示すブロック図

【符号の説明】

１ 第１のスイッチ ２ 第２のスイッチ ３、４ １フレーム分のビデオ符号化データバッファメ
モリ ５ 第３のスイッチ ６ ビデオ受信データ要素分離部 ７ ＭＢデータ格納メモリ ８ 新規ビデオフレーム受信開始判別部 ９ 現ＧＯＢ番号記憶部 １０ 再送要求中状態記憶部 １１ ＧＯＢ欠落判別部 １２ 読み出しＧＯＢ番号カウンタ １３ 欠落ＧＯＢ番号記憶部 １４ 比較部 １５ ビデオカメラ １６ Ａ／Ｄコンバータ １７ ビデオ符号化ブロック １８ 多重・分離通信ブロック １９ ビデオＡＲＱバッファブロック ２０ ビデオ復号化ブロック ２１ Ｄ／Ａコンバータ ２２ テレビモニタ ３０、３９ スイッチ ３１ 送信データ量測定部 ３２ 誤り検出符号演算部 ３３ パケットサイズ決定部 ３４ 多重化部 ３５ ベースバンド処理部 ３６ ＲＦモジュール ３７ 分離化部 ３８ 誤り検出符号演算部 ４０ 再送用データ保存メモリ ４１ 再送用データ検索部

Claims (2)

【特許請求の範囲】
1. 【請求項１】受信ビデオフレームの順序番号エラーが発
   生した場合に直ちに再送要求を行い、前記再送要求によ
   り再送ビデオフレームが送られてくるまでの間、次のビ
   デオフレームの受信処理を行うＡＲＱ画像通信方法であ
   って、現在受信中のビデオフレームの最後もしくは次の
   ビデオフレームの開始を検出するまでに再送要求したビ
   デオフレームが受信できた場合には、前記受信できたビ
   デオフレームに基づいてビデオ画像の復号化を行い、現
   在受信中のビデオフレームの最後もしくは次のビデオフ
   レームの開始を検出するまでに再送要求したビデオフレ
   ームが受信できなかった場合には、現在までに受信でき
   たビデオフレームを用い、受信できなかったビデオフレ
   ームの画像の動きベクトルが０であるとしてビデオ画像
   の復号化を行うことを特徴とするＡＲＱ画像通信方法。
2. 【請求項２】送信するビデオ符号化データを多重化し、
   受信した多重化ビデオ符号化データを分離する多重・分
   離通信ブロックと、ビデオ符号化データを復号化するビ
   デオ復号化ブロックと、前記多重・分離通信ブロックか
   らビデオ符号化データおよび送信する再送要求メッセー
   ジを入力して前記ビデオ復号化ブロックへビデオ符号化
   データを出力するビデオＡＲＱバッファブロックとを有
   するＡＲＱ画像通信装置であって、 前記ビデオＡＲＱバッファブロックは、前記多重・分離
   通信ブロックからビデオ符号化データを入力して、現在
   受信中のビデオフレームの最後を示すフレーム終了信号
   と次のビデオフレームの開始を示すフレーム開始信号と
   ビデオ符号化データとＧＯＢ番号とを出力するビデオ受
   信データ要素分離部と、ビデオ符号化データと動きベク
   トルが０のＭＢデータとを入力していずれかを選択する
   第１のスイッチと、ビデオ符号化データを記憶する２つ
   の１フレーム分のビデオ符号化データバッファメモリ
   と、前記２つの１フレーム分のビデオ符号化データバッ
   ファメモリのいずれかを選択してビデオ符号化データを
   前記第１のスイッチへ出力する第２のスイッチと、前記
   ２つの１フレーム分のビデオ符号化データバッファメモ
   リに対して前記第２のスイッチと逆側に接続され、前記
   ビデオ受信データ要素分離部からのビデオ符号化データ
   を前記２つの１フレーム分のビデオ符号化データバッフ
   ァメモリのいずれかへ出力する第３のスイッチと、前記
   多重・分離通信ブロックから送信する再送要求メッセー
   ジを入力したときには再送要求中信号を出力する再送要
   求中状態記憶部と、前記ビデオ受信データ要素分離部か
   らの最も直前のＧＯＢ番号信号を記憶する現ＧＯＢ番号
   記憶部と、前記ビデオ受信データ要素分離部からのフレ
   ーム終了信号およびフレーム開始信号を入力したときに
   新規ビデオフレーム受信開始信号を出力する新規ビデオ
   フレーム受信開始判別部と、前記新規ビデオフレーム受
   信開始信号が入力されるとＧＯＢ番号のカウントを開始
   して読み出しＧＯＢ番号を出力する読み出しＧＯＢ番号
   カウンタと、前記現ＧＯＢ番号記憶部が出力する記憶さ
   れているＧＯＢ番号よりも前記ビデオ受信データ要素分
   離部から入力されたＧＯＢ番号が大きくかつ互いに連続
   していない場合にはその欠落しているＧＯＢ番号を欠落
   ＧＯＢ番号として出力するＧＯＢ欠落判別部と、前記再
   送要求中に前記読み出しＧＯＢ番号と前記欠落ＧＯＢ番
   号とが一致したときには一致信号を出力する比較部と、
   前記比較部から一致信号が出力されているときは動きベ
   クトルが０のＭＢデータを第１のスイッチへ出力するＭ
   Ｂデータ格納メモリとを有することを特徴とするＡＲＱ
   画像通信装置。