JP2003284072A - Moving image transmitter and moving image communication system - Google Patents

Moving image transmitter and moving image communication system

Info

Publication number
JP2003284072A
JP2003284072A JP2002086314A JP2002086314A JP2003284072A JP 2003284072 A JP2003284072 A JP 2003284072A JP 2002086314 A JP2002086314 A JP 2002086314A JP 2002086314 A JP2002086314 A JP 2002086314A JP 2003284072 A JP2003284072 A JP 2003284072A
Authority
JP
Japan
Prior art keywords
frame
image data
moving image
compression encoding
compression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002086314A
Other languages
Japanese (ja)
Other versions
JP4616537B2 (en
Inventor
Takashi Nishimura
高志 西村
Yoshihiro Tanigawa
嘉浩 谷川
Susumu Ito
享 伊藤
Takashi Nihonsugi
貴 二本杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Matsushita Electric Works Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Works Ltd filed Critical Matsushita Electric Works Ltd
Priority to JP2002086314A priority Critical patent/JP4616537B2/en
Publication of JP2003284072A publication Critical patent/JP2003284072A/en
Application granted granted Critical
Publication of JP4616537B2 publication Critical patent/JP4616537B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To prevent a deterioration in quality of a reproduced image caused by the delay of compression coding processing, transmission delay of compressed image data, or a transmission error, and to prevent accumulation of delay time intervals. <P>SOLUTION: A moving image communication system is provided with a moving image transmitter 10 which transmits compressed image data obtained by compression-coding original image data of a moving image via a network, and a moving image display 20 which displays reproduced image data obtained by decoding the compressed image data. The image transmitter 10 is equipped with a compression coding means 12 which forms two kinds of compressed image data of I/P frames from the original image data. The coding means 12 suspends compression coding processing of a frame, and performs compression-coding processing of the next frame, when processing time for compression coding of the one frame exceeds a threshold value Tx to be set beforehand. Namely, accumulation of delay time intervals in the display 20 which receives compressed image data caused by delay of the compression coding processing can be prevented. <P>COPYRIGHT: (C)2004,JPO

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】本発明は、LANやインター
ネットのようなネットワーク上でディジタル圧縮された
動画像を伝送する動画像送信装置及び動画像通信システ
ムに関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture transmitting apparatus and a moving picture communication system for transmitting a digitally compressed moving picture on a network such as a LAN or the Internet.

【0002】[0002]

【従来の技術】従来の動画像通信システムでは、フレー
ム周期に従って原画像データのキャプチャ及び圧縮符号
化処理を動画像送信装置にて行い、LANやインターネ
ットのようなネットワークを通じてディジタル圧縮され
た画像データを動画像表示装置に伝送し、動画像表示装
置にて圧縮画像データを復号処理することで得られる再
生画像をディスプレイ等に表示していた。ここで、動画
像の圧縮符号化方式としては、MPEG4やH.263
等のように時間的に近接するフレーム間の類似性を利用
したフレーム間予測(動き補償)が用いられている。
2. Description of the Related Art In a conventional moving image communication system, original image data is captured and compressed and encoded by a moving image transmitting apparatus in accordance with a frame period, and digitally compressed image data is transmitted through a network such as a LAN or the Internet. A reproduced image obtained by transmitting the compressed image data to the moving image display device and decoding the compressed image data in the moving image display device is displayed on a display or the like. Here, the moving picture compression encoding method is MPEG4 or H.264. 263
For example, inter-frame prediction (motion compensation) utilizing similarity between temporally adjacent frames is used.

【0003】例えばH.263では、図8に示すように
1フレームの原画像X1全体を符号化したIフレーム
(フレーム内符号化フレーム)I1と、次の原画像X2
とのフレーム間における差分から得られる、つまり順方
向予測されるPフレーム(フレーム間符号化フレーム)
P1とが生成され、IフレームI1の間に1乃至複数の
PフレームP1が挿入される形で画像の圧縮符号化が行
われる。但し、Iフレームはデータ量が大きいが単独で
の再生(表示)が可能であるのに対し、Pフレームはデ
ータ量が少ないものの単独での再生(表示)が不可能で
ある。
For example, H.264. In 263, as shown in FIG. 8, an I frame (intra-frame encoded frame) I1 obtained by encoding the entire original image X1 of one frame, and the next original image X2.
P frame (inter-coded frame) that is obtained from the difference between frames
P1 and P1 are generated, and one or a plurality of P frames P1 are inserted between I frames I1 to perform compression encoding of the image. However, while the I frame has a large amount of data, it can be reproduced (displayed) independently, whereas the P frame has a small amount of data but cannot be reproduced (displayed) independently.

【0004】[0004]

【発明が解決しようとする課題】ところで、上述のよう
な動画像通信システムでは、一般的に20〜30fps
程度のフレームレートで符号化及び復号化処理が行われ
ており、1秒間に1〜2程度のIフレームを挿入するこ
とにより再生画像をリフレッシュさせている。しかしな
がら、上記従来の動画像通信システムにおいては、動画
像送信装置における圧縮符号化処理の遅延や動画像送信
装置から動画像表示装置への圧縮画像データの伝送遅延
又は伝送エラーによって、動画像表示装置における再生
画像の画質劣化や遅延時間の累積が発生するという問題
があった。例えば、図9に示すように動画像送信装置で
は所定のフレーム周期に従ってキャプチャした原画像デ
ータf0,f1,…からIフレーム及びPフレームの圧
縮画像データI0,I1,…、P0,P1,…を生成し
て動画像表示装置に送信し、動画像表示装置にて圧縮画
像データI0,I1,…、P0,P1,…を復号化して
原画像に近い再生画像データf0’,f1’,…を生成
しディスプレイ等に表示している場合を考える。このと
き、動画像送信装置においてPフレームP3の圧縮符号
化処理に遅延が生じると、それ以降のPフレームP4,
P5,…に伝送遅延が発生し、動画像表示装置において
は遅延時間が累積されたり、あるいは、伝送エラーによ
ってPフレームP5が伝送されずに欠落してしまうこと
がある。このような状況では、上述のような再生画像の
リフレッシュが行われないため、再生画像の画質が著し
く低下したり、動画像が全く表示されなくなる虞があっ
た。
By the way, in the moving image communication system as described above, generally 20 to 30 fps.
Encoding and decoding processing is performed at a frame rate of about 1 to 2, and a reproduced image is refreshed by inserting 1 to 2 I frames per second. However, in the above-described conventional moving image communication system, the moving image display device is caused by a delay in the compression encoding process in the moving image transmission device or a transmission delay or a transmission error of the compressed image data from the moving image transmission device to the moving image display device. However, there is a problem in that the image quality of reproduced images deteriorates and the delay time is accumulated. For example, as shown in FIG. 9, the moving image transmission apparatus converts compressed image data I0, I1, ..., P0, P1, ... Of I frame and P frame from original image data f0, f1 ,. Generated and transmitted to the moving image display device, the moving image display device decodes the compressed image data I0, I1, ..., P0, P1, ... And reproduced image data f0 ′, f1 ′ ,. Consider the case where it is generated and displayed on a display or the like. At this time, if a delay occurs in the compression encoding processing of the P frame P3 in the moving image transmitting apparatus, the subsequent P frames P4 and P4 are generated.
A transmission delay occurs in P5, ..., In the moving image display device, the delay time may be accumulated, or the P frame P5 may be lost without being transmitted due to a transmission error. In such a situation, since the reproduced image is not refreshed as described above, the image quality of the reproduced image may be significantly deteriorated, or the moving image may not be displayed at all.

【0005】本発明は上記事情に鑑みて為されたもので
あり、その目的は、圧縮符号化処理の遅延や圧縮画像デ
ータの伝送遅延又は伝送エラーによる再生画像の画質劣
化や遅延時間の累積を防止した動画像送信装置及び動画
像通信システムを提供することにある。
The present invention has been made in view of the above circumstances, and an object of the present invention is to delay the compression encoding process, the transmission delay of compressed image data, or the deterioration of the image quality of a reproduced image due to a transmission error and the accumulation of the delay time. An object is to provide a moving image transmitting apparatus and a moving image communication system which are prevented.

【0006】[0006]

【課題を解決するための手段】請求項1の発明は、上記
目的を達成するために、動画像の原画像データをフレー
ム間予測により圧縮符号化した圧縮画像データをネット
ワークを通じて送信する動画像送信装置において、原画
像データからフレーム内符号化フレーム並びにフレーム
間符号化フレームの2種類の圧縮画像データを生成する
圧縮符号化手段と、圧縮画像データをネットワークを通
じて送信する送信手段とを備え、圧縮符号化手段は、1
フレームの圧縮符号化の処理時間が予め設定される閾値
を越えたときは当該フレームの圧縮符号化処理を中止し
て次フレームの圧縮符号化処理を行うことを特徴とし、
圧縮符号化処理の遅延により圧縮画像データを受信する
側での遅延時間の累積が防止できる。
In order to achieve the above object, the invention of claim 1 is a moving image transmission for transmitting compressed image data obtained by compression-encoding original image data of a moving image by inter-frame prediction through a network. The apparatus is provided with compression encoding means for generating two types of compressed image data of intra-frame encoded frames and inter-frame encoded frames from original image data, and transmission means for transmitting the compressed image data through a network. The conversion means is 1
When the processing time of compression encoding of a frame exceeds a preset threshold value, the compression encoding processing of the frame is stopped and the compression encoding processing of the next frame is performed,
Accumulation of delay time on the side receiving the compressed image data can be prevented by the delay of the compression encoding process.

【0007】請求項2の発明は、請求項1の発明におい
て、圧縮符号化手段は、フレーム内符号化フレームの圧
縮符号化処理時間が閾値を越えたときは次フレームの原
画像データからフレーム内符号化フレームを生成するこ
とを特徴とし、フレーム内符号化フレームを確実に送信
することができ、伝送遅延や伝送エラーによる画質の劣
化が防止できる。
According to a second aspect of the present invention, in the first aspect of the present invention, when the compression coding processing time of the intra-frame coded frame exceeds a threshold value, the compression coding means moves from the original image data of the next frame to the intra-frame The feature is that an encoded frame is generated, and an intra-frame encoded frame can be reliably transmitted, and deterioration of image quality due to transmission delay or transmission error can be prevented.

【0008】請求項3の発明は、上記目的を達成するた
めに、動画像の原画像データをフレーム間予測により圧
縮符号化した圧縮画像データをネットワークを通じて送
信する動画像送信装置と、ネットワークを通じて受信す
る圧縮画像データを復号化した再生画像データを表示す
る動画像表示装置とからなる動画像通信システムにおい
て、動画像送信装置は、原画像データからフレーム内符
号化フレーム並びにフレーム間符号化フレームの2種類
の圧縮画像データを生成する圧縮符号化手段と、圧縮画
像データをネットワークを通じて送信する送信手段とを
具備し、動画像表示装置は、ネットワークを通じて圧縮
画像データを受信する受信手段と、受信手段で受信した
圧縮画像データを復号化する復号化手段と、復号化され
た再生画像データを表示する表示手段とを具備し、動画
像送信装置の圧縮符号化手段は、1フレームの圧縮符号
化の処理時間が予め設定される閾値を越えたときはダミ
ー信号を送信手段よりネットワークを通じて送信させる
とともに当該フレームの圧縮符号化処理が完了した時点
で圧縮画像データを送信手段からネットワークを通じて
送信させ、動画像表示装置は、ダミー信号を受信した場
合に表示手段が復号化処理が完了している再生画像デー
タの表示を継続することを特徴とし、圧縮符号化処理の
遅延による画質の劣化が防止できる。
In order to achieve the above object, a third aspect of the present invention is to provide a moving image transmitting apparatus for transmitting compressed image data obtained by compression-encoding original image data of a moving image by inter-frame prediction through a network, and receiving through a network. In the moving image communication system including the moving image display device that displays the reproduced image data obtained by decoding the compressed image data, the moving image transmission device includes the intra-frame encoded frame and the inter-frame encoded frame from the original image data. The moving image display apparatus includes a receiving unit that receives the compressed image data through the network, and a receiving unit that receives the compressed image data through the network. Decoding means for decoding the received compressed image data, and the decoded reproduced image data The compression encoding means of the moving image transmission apparatus, which includes a display means for displaying, causes the transmission means to transmit a dummy signal through the network when the processing time for compression encoding of one frame exceeds a preset threshold value. At the same time, when the compression encoding processing of the frame is completed, the compression image data is transmitted from the transmission means through the network, and the moving image display device reproduces when the display means has completed the decoding processing when the dummy signal is received. It is characterized in that the display of the image data is continued, and the deterioration of the image quality due to the delay of the compression encoding process can be prevented.

【0009】請求項4の発明は、請求項3の発明におい
て、ダミー信号を受信せず且つ圧縮画像データを予め設
定される規定時間内に受信しない場合に圧縮符号化手段
に対して圧縮符号化処理のリセット要求をネットワーク
を通じて送信するリセット要求手段を動画像表示装置に
具備することを特徴とし、動画像送信装置から次のフレ
ーム内符号化フレームを送信されるまではフレーム間符
号化フレームが送信されても動画像表示装置において再
生画像を正常に表示できないことをリセット要求により
動画像送信装置に知らせることができる。
According to a fourth aspect of the present invention, in the third aspect of the present invention, when the dummy signal is not received and the compressed image data is not received within a preset prescribed time, the compression encoding is performed by the compression encoding means. A moving image display device is provided with a reset requesting means for transmitting a processing reset request through a network, and an inter-frame encoded frame is transmitted until the next intra-frame encoded frame is transmitted from the moving image transmission device. Even if this is done, it is possible to notify the moving image transmitting apparatus by a reset request that the reproduced image cannot be displayed normally on the moving image display apparatus.

【0010】請求項5の発明は、請求項4の発明におい
て、動画像送信装置の圧縮符号化手段は、リセット要求
を受け取ると現在の圧縮符号化処理を中断して最新のフ
レーム内符号化フレームからフレーム間符号化フレーム
を生成する処理を実行して送信手段よりネットワークを
通じて送信させることを特徴とし、リセット要求があっ
た場合に最新のフレーム内符号化フレームから生成され
るフレーム間符号化フレームを動画像送信装置から動画
像表示装置に送信することにより、データ容量の大きい
フレーム内符号化フレームを送信する場合に比較してデ
ータ容量も小さくて済み、リセット要求後に正常に再生
画像を表示するまでの回復時間が短縮できる。
According to a fifth aspect of the present invention, in the fourth aspect of the present invention, the compression encoding means of the moving image transmitting apparatus interrupts the current compression encoding process upon receiving the reset request, and the latest intra-frame encoded frame. From the latest intra-coded frame when a reset request is made, and the inter-frame coded frame generated from the latest intra-frame coded frame is executed. By transmitting from the moving image transmission device to the moving image display device, the data amount can be smaller than that in the case of transmitting an intra-frame encoded frame with a large data amount, until the reproduced image is normally displayed after the reset request. The recovery time can be shortened.

【0011】請求項6の発明は、請求項1〜5の何れか
の発明において、送信手段は、フレーム内符号化フレー
ム並びにフレーム間符号化フレームの圧縮画像データを
周期的にパケット送信し、一周期内においてフレーム内
符号化フレームの送信期間をフレーム間符号化フレーム
の送信期間よりも長い時間に設定したことを特徴とし、
データ容量の大きいフレーム内符号化フレームの伝送遅
延により動画像表示装置において再生画像が表示できな
くなる頻度を低下させることができ、再生画像の画質劣
化が防止できる。
According to a sixth aspect of the present invention, in any one of the first to fifth aspects, the transmitting means periodically packet-compresses the compressed image data of the intra-frame encoded frame and the inter-frame encoded frame, In the cycle, the transmission period of the intra-frame encoded frame is set to be longer than the transmission period of the inter-frame encoded frame,
It is possible to reduce the frequency at which the reproduced image cannot be displayed on the moving image display device due to the transmission delay of the intra-frame encoded frame having a large data capacity, and it is possible to prevent the image quality of the reproduced image from deteriorating.

【0012】[0012]

【発明の実施の形態】(実施形態1)本実施形態の動画
像通信システムは、図1に示すように動画像の原画像デ
ータをフレーム間予測により圧縮符号化した圧縮画像デ
ータをネットワークを通じて送信する動画像送信装置1
0と、ネットワークを通じて受信する圧縮画像データを
復号化した再生画像データを表示する動画像表示装置2
0とを基本構成とする。但し、図2に示すようにイーサ
ネット(R)のようなLANを構築するハブ1及びルー
タ2を含む場合も有れば、複数の動画像通信システム同
士をLAN並びにインターネットを介して接続する場合
もある。
BEST MODE FOR CARRYING OUT THE INVENTION (Embodiment 1) As shown in FIG. 1, a moving image communication system of this embodiment transmits compressed image data obtained by compression-encoding original image data of a moving image by inter-frame prediction through a network. Video transmission device 1
0 and a moving image display device 2 for displaying reproduced image data obtained by decoding compressed image data received through a network.
0 is a basic configuration. However, as shown in FIG. 2, in some cases, a hub 1 and a router 2 for constructing a LAN such as Ethernet (R) are included, and in some cases, a plurality of moving image communication systems are connected to each other via a LAN and the Internet. is there.

【0013】動画像送信装置10は、テレビカメラ等を
用いて動画像をキャプチャする画像キャプチャ手段11
と、画像キャプチャ手段11にてキャプチャされた動画
像の原画像データを圧縮符号化(例えば、H.263の
動画像圧縮方式による圧縮符号化)することで原画像デ
ータからフレーム内符号化フレーム(以下、「Iフレー
ム」と呼ぶ)並びにフレーム間符号化フレーム(以下、
「Pフレーム」と呼ぶ)の2種類の圧縮画像データを生
成する圧縮符号化手段12と、圧縮画像データ(Iフレ
ーム及びPフレーム)をネットワークを通じて送信する
送信手段13と、フレーム周期信号を生成するフレーム
周期信号生成手段14とを具備し、画像キャプチャ手段
11並びに圧縮符号化手段12はフレーム周期信号に同
期してそれぞれの処理を行っている。なお、圧縮符号化
手段12における圧縮符号化処理、すなわちIフレーム
及びPフレームの生成方法については従来技術でも説明
したように既に周知であるから詳細な説明は省略する。
The moving image transmitting apparatus 10 is an image capturing means 11 for capturing a moving image using a television camera or the like.
Then, the original image data of the moving image captured by the image capturing means 11 is compression-encoded (for example, compression encoding by the moving image compression method of H.263) to convert the original image data into an intra-frame encoded frame ( Hereinafter, it will be referred to as an "I frame") and an inter-frame coded frame (hereinafter,
A compression encoding unit 12 for generating two types of compressed image data (referred to as “P frame”), a transmitting unit 13 for transmitting the compressed image data (I frame and P frame) through a network, and a frame period signal. The image capturing means 11 and the compression encoding means 12 are provided with a frame period signal generating means 14 and perform respective processes in synchronization with the frame period signal. The compression encoding process in the compression encoding unit 12, that is, the method of generating the I frame and the P frame is already known as described in the related art, and therefore detailed description thereof will be omitted.

【0014】一方、動画像表示装置20は、ネットワー
クを通じて圧縮画像データ(Iフレーム及びPフレー
ム)を受信する受信手段21と、受信手段21で受信し
た圧縮画像データを復号化する復号化手段22と、復号
化された再生画像データを表示する表示手段23と、フ
レーム周期信号を生成するフレーム周期信号生成手段2
4とを具備し、復号化手段22並びに表示手段23はフ
レーム周期信号に同期してそれぞれの処理を行ってい
る。なお、復号化手段22における復号化処理、すなわ
ちIフレーム及びPフレームから再生画像データを生成
する方法については従来技術でも説明したように既に周
知であるから詳細な説明は省略する。
On the other hand, the moving image display device 20 includes a receiving means 21 for receiving compressed image data (I frame and P frame) through a network, and a decoding means 22 for decoding the compressed image data received by the receiving means 21. Display means 23 for displaying the decoded reproduced image data, and frame period signal generating means 2 for generating a frame period signal.
4, and the decoding means 22 and the display means 23 perform their respective processes in synchronization with the frame period signal. The decoding process in the decoding means 22, that is, the method of generating the reproduced image data from the I frame and the P frame is already known as described in the related art, and therefore detailed description thereof will be omitted.

【0015】次に、図3を参照して本実施形態の動作を
説明する。図3における時刻t0,t1,t2,…はフ
レーム周期毎に等間隔で区切られた処理開始時刻を示し
ている。また、f0,f1,f2,…はそれぞれ時刻t
0,t1,t2,…にキャプチャされた原画像データ、
I0はIフレームの圧縮画像データ、P1,P2,…は
Pフレームの圧縮画像データ、f0’,f1’,f
2’,…は圧縮画像データI0,P1,P2,…を復号
化して得られる再生画像データをそれぞれ示している。
Next, the operation of this embodiment will be described with reference to FIG. Times t0, t1, t2, ... In FIG. 3 indicate processing start times divided at equal intervals in each frame period. Further, f0, f1, f2, ...
Original image data captured at 0, t1, t2, ...
I0 is compressed image data of I frame, P1, P2, ... Are compressed image data of P frame, f0 ′, f1 ′, f
Reference numerals 2 ', ... Reproduce image data obtained by decoding the compressed image data I0, P1, P2 ,.

【0016】まず、動画像送信装置10の動作を説明す
ると、画像キャプチャ手段11がフレーム周期信号に同
期して各処理開始時刻t0,t1,…に動画像をキャプ
チャして原画像データf0,f1,…を得ると、圧縮符
号化手段12が各処理開始時刻t1,t2,…に原画像
データf0,f1,…に対する圧縮符号化処理を開始し
てIフレームI0並びにPフレームP1,P2,…の圧
縮画像データを生成し、圧縮符号化処理が完了した圧縮
画像データを各処理開始時刻t2,t3,…に送信手段
13からネットワークを通じて動画像表示装置20に送
信する。ここで、圧縮符号化手段12では原画像データ
f0全体をイントラ符号化(フレーム内符号化)するこ
とでIフレームI0の圧縮画像データを生成し、当該I
フレームI0と次の原画像データf1との差分をとる
(フレーム間符号化する)ことでPフレームP1を生成
するとともに、IフレームI0とPフレームP1から得
られる画像データ(再生画像データf0’と同じ画像デ
ータ)をフレームメモリに記憶し当該画像データと次の
原画像データf2とをフレーム間符号化することで次の
PフレームP2を生成する。
First, the operation of the moving image transmitting apparatus 10 will be described. The image capturing means 11 captures a moving image at each processing start time t0, t1, ... In synchronization with the frame period signal to obtain original image data f0, f1. , Are obtained, the compression encoding means 12 starts the compression encoding processing for the original image data f0, f1, ... At each processing start time t1, t2, ... And the I frame I0 and the P frames P1, P2 ,. Of the compressed image data is transmitted from the transmission means 13 to the moving image display device 20 through the network at each processing start time t2, t3, .... Here, the compression encoding means 12 generates the compressed image data of the I frame I0 by intra-encoding (intra-frame encoding) the entire original image data f0, and
The P frame P1 is generated by calculating the difference between the frame I0 and the next original image data f1 (inter-frame coding), and the image data obtained from the I frame I0 and the P frame P1 (reproduced image data f0 ′ (The same image data) is stored in the frame memory and the image data and the next original image data f2 are inter-frame encoded to generate the next P frame P2.

【0017】一方、動画像表示装置20では、ネットワ
ークを通じて受信手段21により受信した圧縮画像デー
タに対して、復号化手段22が各処理開始時刻t3,t
4,…に復号化処理を開始してIフレームI0並びにP
フレームP1,P2,…の圧縮画像データから再生画像
データf0’,f1’,…を生成し、表示手段23が各
処理開始時刻t4,t5,…に再生画像データf0’,
f1’,…の再生処理を開始してディスプレイ等に再生
画像を表示する。
On the other hand, in the moving picture display device 20, the decoding means 22 processes the compressed image data received by the receiving means 21 through the network at the processing start times t3, t.
4, decoding processing is started and I frames I0 and P
Reproduced image data f0 ', f1', ... are generated from the compressed image data of frames P1, P2, ..., and the display means 23 reproduces image data f0 ', f0', at each processing start time t4, t5 ,.
The reproduction process of f1 ', ... Is started and the reproduced image is displayed on the display or the like.

【0018】ところで動画像送信装置10の圧縮符号化
手段12は、1フレーム(Iフレーム又はPフレーム)
の圧縮符号化の処理時間が予め設定される閾値Txを越
えたときに当該フレームの圧縮符号化処理を中止して次
フレームの圧縮符号化処理を行う。例えば、Pフレーム
P3の圧縮符号化処理が処理開始時刻t4から閾値Tx
を経過しても完了しなかったとすると、圧縮符号化手段
12はPフレームP3の圧縮符号化処理を中止して次の
フレーム、すなわちPフレームP4の圧縮符号化処理を
開始し、中止する前のフレーム(PフレームP2)から
の差分としてPフレームP4を生成する。なお、Pフレ
ームP4の圧縮符号化処理を本来の処理開始時刻t5に
開始するためには、閾値Txをフレーム周期を超えない
適当な値に設定する必要がある。
By the way, the compression encoding means 12 of the moving image transmitting apparatus 10 uses one frame (I frame or P frame).
When the processing time of the compression encoding of exceeds the preset threshold value Tx, the compression encoding processing of the frame is stopped and the compression encoding processing of the next frame is performed. For example, the compression encoding process of the P frame P3 starts from the process start time t4 and reaches the threshold Tx.
If it is not completed even after the passage of time, the compression encoding means 12 stops the compression encoding process of the P frame P3 and starts the compression encoding process of the next frame, that is, the P frame P4, before the stop. A P frame P4 is generated as a difference from the frame (P frame P2). In order to start the compression encoding processing of the P frame P4 at the original processing start time t5, it is necessary to set the threshold value Tx to an appropriate value that does not exceed the frame period.

【0019】而して、動画像送信装置10からPフレー
ムP3の圧縮画像データが送信されず、動画像表示装置
20ではPフレームP3を復号化した再生画像データf
3’が欠落することになるが、次のPフレームP4を復
号化した再生画像データf4’がフレーム周期に同期し
て生成されるために従来例で説明した遅延時間の累積が
防止できるものである。
Thus, the compressed image data of the P frame P3 is not transmitted from the moving image transmitting apparatus 10, and the moving image display apparatus 20 reproduces the reproduced image data f of the P frame P3.
Although 3'is lost, since the reproduced image data f4 'obtained by decoding the next P frame P4 is generated in synchronization with the frame period, the accumulation of the delay time described in the conventional example can be prevented. is there.

【0020】一方、図4に示すように、仮にIフレーム
I3の圧縮符号化処理が処理開始時刻t4から閾値Tx
を経過しても完了しなかったとすると、圧縮符号化手段
12はIフレームI3の圧縮符号化処理を中止して次の
フレームの圧縮符号化処理を開始する。このとき、本来
ならばPフレームを生成するのであるが、IフレームI
3が欠落していることから、圧縮符号化手段12は原画
像f4よりIフレームI4を生成する。
On the other hand, as shown in FIG. 4, the compression encoding process of the I frame I3 is assumed to be a threshold value Tx from the process start time t4.
If it is not completed even after the passage of, the compression encoding means 12 stops the compression encoding processing of the I frame I3 and starts the compression encoding processing of the next frame. At this time, although the P frame is originally generated, the I frame I
Since 3 is missing, the compression coding means 12 generates an I frame I4 from the original image f4.

【0021】而して、動画像送信装置10からIフレー
ムI3の圧縮画像データが送信されない場合でも次のフ
レームとしてIフレームI4が生成されて送信されるた
め、動画像表示装置20ではIフレームI3を復号化し
た再生画像データf3’が欠落することになるが、次の
IフレームI4を復号化した再生画像データf4’がフ
レーム周期に同期して生成されるために従来例で説明し
た画質の劣化が防止できるものである。
Thus, even if the compressed image data of the I frame I3 is not transmitted from the moving image transmitting apparatus 10, the I frame I4 is generated and transmitted as the next frame, so that the moving image display apparatus 20 receives the I frame I3. However, the reproduced image data f3 'obtained by decoding the following is lost, but the reproduced image data f4' obtained by decoding the next I frame I4 is generated in synchronization with the frame period. The deterioration can be prevented.

【0022】(実施形態2)本実施形態の動画像通信シ
ステムは、図5に示すようにリセット要求手段25を動
画像表示装置20に具備するとともに、リセット要求手
段25から送信されるリセット要求をネットワークを通
じて受信する受信手段15を動画像送信装置10に具備
する点に実施形態1との差異があり、これ以外の構成に
ついては実施形態1と共通であるから、共通の構成要素
には同一の符号を付して説明を省略する。
(Embodiment 2) The moving picture communication system according to the present embodiment is equipped with the reset request means 25 in the moving picture display device 20 as shown in FIG. There is a difference from the first embodiment in that a receiving unit 15 for receiving via a network is provided in the moving image transmitting apparatus 10, and since the other configurations are common to the first embodiment, the common components are the same. The reference numerals are given and the description is omitted.

【0023】次に、図6を参照して本実施形態の動作を
説明する。例えば、動画像送信装置10の圧縮符号化手
段12において、PフレームP3の圧縮符号化処理が処
理開始時刻t4から閾値Txを経過しても完了しなかっ
たとすると、圧縮符号化手段12はPフレームP3の圧
縮符号化処理を継続しつつ、次の処理開始時刻t5にダ
ミー信号(図6中では「ダミー」と表示)を送信手段1
3よりネットワークを通じて送信させるとともに、Pフ
レームP3の圧縮符号化処理が完了した時点でその圧縮
画像データ(PフレームP3)を送信手段13からネッ
トワークを通じて送信させる。なお、この場合にはPフ
レームP3の次のフレーム(PフレームP4)の処理は
スキップさせる。
Next, the operation of this embodiment will be described with reference to FIG. For example, if the compression encoding means 12 of the moving image transmitting apparatus 10 does not complete the compression encoding processing of the P frame P3 even after the threshold Tx has passed from the processing start time t4, the compression encoding means 12 will generate the P frames. While continuing the compression encoding process of P3, a transmitting unit 1 transmits a dummy signal (indicated as "dummy" in FIG. 6) at the next process start time t5.
3, the compressed image data (P frame P3) is transmitted from the transmission means 13 through the network when the compression encoding processing of the P frame P3 is completed. In this case, the processing of the frame following the P frame P3 (P frame P4) is skipped.

【0024】一方、動画像表示装置20では、ネットワ
ークを通じて受信手段21によりダミー信号を受信した
場合、表示手段23が復号化処理が完了している再生画
像データ、この場合は1つ前のPフレームP2から生成
された再生画像データf2’の表示を、本来Pフレーム
P3から生成される再生画像データf3’の表示を開始
する処理開始時刻t7から継続する。そして、遅延して
いた次のPフレームP3の圧縮画像データの複合化が完
了すれば、その再生画像データf3’を次の処理開始時
刻t8から表示する。
On the other hand, in the moving picture display device 20, when the receiving means 21 receives the dummy signal through the network, the display means 23 reproduces the reproduced image data which has been decoded, in this case, the previous P frame. The display of the reproduction image data f2 ′ generated from P2 is continued from the processing start time t7 when the display of the reproduction image data f3 ′ originally generated from the P frame P3 is started. Then, when the composite of the delayed compressed image data of the next P frame P3 is completed, the reproduced image data f3 'is displayed from the next processing start time t8.

【0025】而して、実施形態1では圧縮符号化処理の
遅延が生じた場合に再生画像データの欠落が生じていた
が、本実施形態では欠落した再生画像データをその1つ
前の再生画像データで埋めることにより画質の劣化を抑
制することができるものである。また、動画像表示装置
20でダミー信号を受信した場合には、次に表示すべき
圧縮画像データを受信していない原因が伝送エラーや伝
送遅延ではなく、動画像送信装置10における圧縮符号
化処理の遅延であることが判別でき、このように圧縮符
号化処理の遅延が原因であるときには、次に説明するリ
セット要求を動画像表示装置20から動画像送信装置1
0に送信しないため、動画像送信装置10並びに動画像
表示装置20においてリセット要求処理に要する時間分
だけ再生画像の画質が劣化する時間(すなわち、再生画
質が正常に復帰するまでの時間)を短縮することができ
る。
Thus, in the first embodiment, the reproduction image data is lost when the compression encoding process is delayed. However, in the present embodiment, the reproduction image data which is lost is reproduced immediately before the reproduction image data. By embedding with data, it is possible to suppress deterioration of image quality. When the moving image display device 20 receives the dummy signal, the cause of not receiving the compressed image data to be displayed next is not the transmission error or the transmission delay, but the compression encoding process in the moving image transmission device 10. It is possible to determine that the delay is due to the delay of the compression encoding process, and when the delay in the compression encoding process is the cause, the reset request described below is transmitted from the moving image display device 20 to the moving image transmission device 1.
Since it is not transmitted to 0, the time required for reset request processing in the moving image transmission device 10 and the moving image display device 20 is reduced by the time required for reset image processing (that is, the time until the reproduced image quality returns to normal). can do.

【0026】ところで本実施形態においては、伝送エラ
ーや伝送遅延によりダミー信号を受信せず且つ圧縮画像
データを予め設定される規定時間内に受信しない場合、
例えば動画像送信装置10からダミー信号が送信され
ず、且つPフレームP6の圧縮画像データが動画像表示
装置20の受信手段21で受信されない時間が予め設定
される規定時間を超えた場合、動画像表示装置20のリ
セット要求手段25が圧縮符号化手段12に対して圧縮
符号化処理のリセット要求をネットワークを通じて送信
するとともに、次の圧縮画像データが送信されてくるま
での間、表示手段13が1つ前のPフレームP5から生
成された再生画像データf5’の表示を継続する。
By the way, in the present embodiment, when the dummy signal is not received and the compressed image data is not received within the predetermined time set in advance due to the transmission error or the transmission delay,
For example, when the dummy signal is not transmitted from the moving image transmitting apparatus 10 and the time during which the compressed image data of the P frame P6 is not received by the receiving unit 21 of the moving image display apparatus 20 exceeds the preset specified time, the moving image is displayed. The reset request means 25 of the display device 20 sends a reset request for compression coding processing to the compression coding means 12 through the network, and the display means 13 keeps 1 until the next compressed image data is sent. The display of the reproduced image data f5 ′ generated from the immediately preceding P frame P5 is continued.

【0027】一方、動画像送信装置10においては、ネ
ットワークを通じて受信手段15にてリセット要求を受
信すると、圧縮符号化手段12では以降のフレームを送
信しても動画像表示装置20において再生画像を正常に
表示できないと判断し、その時点で行っているフレーム
(図6においてはPフレームP8)の圧縮符号化処理を
中断して最新のIフレーム(図6においてはI0)から
PフレームP9を生成する処理を実行して送信手段13
よりネットワークを通じて送信させる。
On the other hand, in the moving image transmitting apparatus 10, when the receiving means 15 receives the reset request via the network, the moving image display apparatus 20 normally reproduces the reproduced image even if the compression encoding means 12 transmits subsequent frames. It is determined that the frame cannot be displayed in the frame, and the compression encoding process of the frame (P frame P8 in FIG. 6) being performed at that time is interrupted to generate the P frame P9 from the latest I frame (I0 in FIG. 6). Transmitting means 13 by executing processing
Send more through the network.

【0028】PフレームP9の圧縮画像データを受信し
た動画像表示装置20においては、復号化手段22がメ
モリに記憶している最新のIフレームI0とPフレーム
P9の差分から再生画像データf9’を復号化して生成
し、表示手段23により再生画像データf9’の表示を
行う。
In the moving image display device 20 which has received the compressed image data of the P frame P9, the reproduced image data f9 'is obtained from the difference between the latest I frame I0 stored in the memory by the decoding means 22 and the P frame P9. The image data is decoded and generated, and the display means 23 displays the reproduced image data f9 ′.

【0029】而して、リセット要求があった場合に最新
のIフレームから生成されるPフレームを動画像送信装
置10から動画像表示装置20に送信することにより、
データ容量の大きいIフレームを送信する場合に比較し
てデータ容量も小さくて済み、リセット要求後に正常に
再生画像を表示するまでの回復時間が短縮できるという
利点がある。また、PフレームP9を生成する場合に最
新のPフレームP7をもとに生成する場合に比較してメ
モリの消費量を減らすことができる。すなわち、最新の
Pフレームをもとに次のPフレームを生成する場合、伝
送遅延や伝送エラーが何時発生するか不明であるため、
最新のIフレーム以降の全てのPフレームについて再生
画像データをメモリに記憶する必要が生じてメモリの消
費量が増大するからである。
By transmitting a P frame generated from the latest I frame from the moving image transmitter 10 to the moving image display device 20 when there is a reset request,
Compared with the case of transmitting an I frame having a large data capacity, the data capacity can be small, and there is an advantage that the recovery time until the reproduced image is normally displayed after the reset request can be shortened. Further, when the P frame P9 is generated, the amount of memory consumption can be reduced as compared with the case where the latest P frame P7 is generated. That is, when the next P frame is generated based on the latest P frame, it is unknown when a transmission delay or a transmission error will occur.
This is because it is necessary to store the reproduced image data in the memory for all P frames after the latest I frame, which increases the memory consumption.

【0030】ところで、上述の実施形態1,2におい
て、動画像送信装置10の送信手段13から圧縮画像デ
ータを送信する際に、図7に示すようにIフレーム並び
にPフレームの圧縮画像データを周期的にパケット送信
し、一周期内においてIフレームの送信期間TIをPフ
レームの送信期間TPよりも長い時間に設定すれば、デ
ータ容量の大きいIフレームの伝送遅延により動画像表
示装置20にて再生画像が表示できなくなる頻度を低下
させることができ、再生画像の画質劣化が防止できて望
ましいものである。
By the way, in the above-described first and second embodiments, when transmitting the compressed image data from the transmitting means 13 of the moving image transmitting apparatus 10, as shown in FIG. 7, the compressed image data of the I frame and the P frame are cycled. If a packet is transmitted in a dynamic manner and the I frame transmission period TI is set to be longer than the P frame transmission period TP in one cycle, the moving image display device 20 reproduces it due to the transmission delay of the I frame having a large data capacity. This is desirable because it is possible to reduce the frequency at which an image cannot be displayed and prevent deterioration of the quality of a reproduced image.

【0031】なお、実施形態1,2では動画像の圧縮符
号化方式としてH.263を例示したが、これに限定す
る趣旨ではなく、MPEG4やフレーム間予測を利用す
る他の圧縮符号化方式を採用する動画像通信システム全
般に本発明の技術思想が適用可能である。
In the first and second embodiments, the H.264 standard is used as the moving picture compression encoding method. Although 263 has been illustrated, the technical idea of the present invention can be applied to general moving image communication systems that employ MPEG4 or another compression encoding method that uses inter-frame prediction.

【0032】[0032]

【発明の効果】請求項1の発明は、動画像の原画像デー
タをフレーム間予測により圧縮符号化した圧縮画像デー
タをネットワークを通じて送信する動画像送信装置にお
いて、原画像データからフレーム内符号化フレーム並び
にフレーム間符号化フレームの2種類の圧縮画像データ
を生成する圧縮符号化手段と、圧縮画像データをネット
ワークを通じて送信する送信手段とを備え、圧縮符号化
手段は、1フレームの圧縮符号化の処理時間が予め設定
される閾値を越えたときは当該フレームの圧縮符号化処
理を中止して次フレームの圧縮符号化処理を行うので、
圧縮符号化処理の遅延により圧縮画像データを受信する
側での遅延時間の累積が防止できるという効果がある。
According to a first aspect of the present invention, in a moving image transmitting apparatus for transmitting compressed image data obtained by compression-encoding original image data of a moving image by inter-frame prediction through a network, an intra-frame coded frame from the original image data is transmitted. And compression coding means for generating two types of compressed image data of inter-frame coded frames, and transmission means for transmitting the compressed image data through a network, and the compression coding means processes compression coding of one frame. When the time exceeds the preset threshold value, the compression encoding process of the frame is stopped and the compression encoding process of the next frame is performed.
Due to the delay in the compression encoding process, it is possible to prevent the accumulation of delay time on the side receiving the compressed image data.

【0033】請求項2の発明は、請求項1の発明におい
て、圧縮符号化手段は、フレーム内符号化フレームの圧
縮符号化処理時間が閾値を越えたときは次フレームの原
画像データからフレーム内符号化フレームを生成するの
で、フレーム内符号化フレームを確実に送信することが
でき、伝送遅延や伝送エラーによる画質の劣化が防止で
きるという効果がある。
According to a second aspect of the present invention, in the first aspect of the present invention, when the compression encoding processing time of the intra-frame encoded frame exceeds a threshold value, the compression encoding means changes from the original image data of the next frame to the intra-frame. Since the encoded frame is generated, it is possible to reliably transmit the intra-frame encoded frame, and it is possible to prevent the deterioration of the image quality due to the transmission delay or the transmission error.

【0034】請求項3の発明は、動画像の原画像データ
をフレーム間予測により圧縮符号化した圧縮画像データ
をネットワークを通じて送信する動画像送信装置と、ネ
ットワークを通じて受信する圧縮画像データを復号化し
た再生画像データを表示する動画像表示装置とからなる
動画像通信システムにおいて、動画像送信装置は、原画
像データからフレーム内符号化フレーム並びにフレーム
間符号化フレームの2種類の圧縮画像データを生成する
圧縮符号化手段と、圧縮画像データをネットワークを通
じて送信する送信手段とを具備し、動画像表示装置は、
ネットワークを通じて圧縮画像データを受信する受信手
段と、受信手段で受信した圧縮画像データを復号化する
復号化手段と、復号化された再生画像データを表示する
表示手段とを具備し、動画像送信装置の圧縮符号化手段
は、1フレームの圧縮符号化の処理時間が予め設定され
る閾値を越えたときはダミー信号を送信手段よりネット
ワークを通じて送信させるとともに当該フレームの圧縮
符号化処理が完了した時点で圧縮画像データを送信手段
からネットワークを通じて送信させ、動画像表示装置
は、ダミー信号を受信した場合に表示手段が復号化処理
が完了している再生画像データの表示を継続するので、
圧縮符号化処理の遅延による画質の劣化が防止できると
いう効果がある。
According to a third aspect of the present invention, the moving image transmitting apparatus for transmitting the compressed image data obtained by compression-encoding the original image data of the moving image by the inter-frame prediction through the network and the compressed image data received through the network are decoded. In a moving image communication system including a moving image display device that displays reproduced image data, the moving image transmission device generates two types of compressed image data, which are an intra-frame encoded frame and an inter-frame encoded frame, from original image data. The moving image display device includes a compression encoding unit and a transmission unit that transmits the compressed image data through a network.
A moving image transmitting apparatus comprising: a receiving unit that receives compressed image data via a network; a decoding unit that decodes the compressed image data received by the receiving unit; and a display unit that displays the decoded reproduced image data. When the processing time for compression coding of one frame exceeds a preset threshold value, the compression coding means causes the transmitting means to transmit a dummy signal through the network and at the time when the compression coding processing of the frame is completed. Since the compressed image data is transmitted from the transmission unit through the network, and the moving image display device continues to display the reproduced image data for which the decoding process is completed when the display unit receives the dummy signal,
There is an effect that the deterioration of the image quality due to the delay of the compression encoding process can be prevented.

【0035】請求項4の発明は、請求項3の発明におい
て、ダミー信号を受信せず且つ圧縮画像データを予め設
定される規定時間内に受信しない場合に圧縮符号化手段
に対して圧縮符号化処理のリセット要求をネットワーク
を通じて送信するリセット要求手段を動画像表示装置に
具備するので、動画像送信装置から次のフレーム内符号
化フレームを送信されるまではフレーム間符号化フレー
ムが送信されても動画像表示装置において再生画像を正
常に表示できないことをリセット要求により動画像送信
装置に知らせることができるという効果がある。
According to a fourth aspect of the present invention, in the third aspect of the present invention, when the dummy signal is not received and the compressed image data is not received within a preset prescribed time, the compression encoding is performed by the compression encoding means. Since the moving image display device is equipped with the reset request means for transmitting the processing reset request through the network, even if the inter-frame encoded frame is transmitted until the next intra-frame encoded frame is transmitted from the moving image transmission device. There is an effect that it is possible to notify the moving image transmitting device of a reset request that the reproduced image cannot be normally displayed on the moving image display device.

【0036】請求項5の発明は、請求項4の発明におい
て、動画像送信装置の圧縮符号化手段は、リセット要求
を受け取ると現在の圧縮符号化処理を中断して最新のフ
レーム内符号化フレームからフレーム間符号化フレーム
を生成する処理を実行して送信手段よりネットワークを
通じて送信させるので、リセット要求があった場合に最
新のフレーム内符号化フレームから生成されるフレーム
間符号化フレームを動画像送信装置から動画像表示装置
に送信することにより、データ容量の大きいフレーム内
符号化フレームを送信する場合に比較してデータ容量も
小さくて済み、リセット要求後に正常に再生画像を表示
するまでの回復時間が短縮できるという効果がある。
According to a fifth aspect of the present invention, in the fourth aspect of the present invention, the compression encoding means of the moving image transmission apparatus interrupts the current compression encoding processing upon receiving the reset request, and the latest intra-frame encoded frame. The inter-frame coded frame generated from the latest intra-frame coded frame is transmitted as a moving image when a reset request is made because the process of generating the inter-frame coded frame from the By transmitting from the device to the moving image display device, the data capacity is smaller than when transmitting an intra-frame encoded frame with a large data capacity, and the recovery time until the playback image is normally displayed after the reset request Has the effect of shortening.

【0037】請求項6の発明は、請求項1〜5の何れか
の発明において、送信手段は、フレーム内符号化フレー
ム並びにフレーム間符号化フレームの圧縮画像データを
周期的にパケット送信し、一周期内においてフレーム内
符号化フレームの送信期間をフレーム間符号化フレーム
の送信期間よりも長い時間に設定したので、データ容量
の大きいフレーム内符号化フレームの伝送遅延により動
画像表示装置において再生画像が表示できなくなる頻度
を低下させることができ、再生画像の画質劣化が防止で
きるという効果がある。
According to a sixth aspect of the present invention, in any one of the first to fifth aspects, the transmitting means periodically packet-compresses the compressed image data of the intra-frame coded frame and the inter-frame coded frame. Since the transmission period of the intra-frame coded frame is set to be longer than the transmission period of the inter-frame coded frame in the cycle, the playback image on the moving image display device is delayed due to the transmission delay of the intra-frame coded frame having a large data capacity. It is possible to reduce the frequency at which the image cannot be displayed, and it is possible to prevent deterioration of the image quality of the reproduced image.

【図面の簡単な説明】[Brief description of drawings]

【図1】実施形態1を示すブロック図である。FIG. 1 is a block diagram showing a first embodiment.

【図2】同上のシステム構成例を示す図である。FIG. 2 is a diagram showing a system configuration example of the above.

【図3】同上の動作説明用のタイムチャートである。FIG. 3 is a time chart for explaining the above operation.

【図4】同上の動作説明用のタイムチャートである。FIG. 4 is a time chart for explaining the above operation.

【図5】実施形態2を示すブロック図である。FIG. 5 is a block diagram showing a second embodiment.

【図6】同上の動作説明用のタイムチャートである。FIG. 6 is a time chart for explaining the above operation.

【図7】同上の動作説明用のタイムチャートである。FIG. 7 is a time chart for explaining the operation of the above.

【図8】圧縮符号化方式の一例を説明する説明図であ
る。
FIG. 8 is an explanatory diagram illustrating an example of a compression encoding method.

【図9】従来例の動作説明用のタイムチャートである。FIG. 9 is a time chart for explaining the operation of the conventional example.

【符号の説明】[Explanation of symbols]

10 動画像送信装置 11 画像キャプチャ手段 12 圧縮符号化手段 13 送信手段 20 動画像表示装置 21 受信手段 22 復号化手段 23 表示手段 10 Video transmission device 11 Image capture means 12 compression coding means 13 Transmission means 20 Moving image display device 21 Receiving means 22 Decoding means 23 Display means

───────────────────────────────────────────────────── フロントページの続き (72)発明者 伊藤 享 大阪府門真市大字門真1048番地松下電工株 式会社内 (72)発明者 二本杉 貴 大阪府門真市大字門真1048番地松下電工株 式会社内 Fターム(参考) 5C059 KK34 MA00 MA04 MA05 PP05 PP06 RC08 SS08 TA16 TB04 TC18 TD06 TD12 UA02 UA05 UA33    ─────────────────────────────────────────────────── ─── Continued front page    (72) Inventor, Ryo Ito             1048, Kadoma, Kadoma-shi, Osaka Matsushita Electric Works Co., Ltd.             Inside the company (72) Inventor Takashi Nihonsugi             1048, Kadoma, Kadoma-shi, Osaka Matsushita Electric Works Co., Ltd.             Inside the company F term (reference) 5C059 KK34 MA00 MA04 MA05 PP05                       PP06 RC08 SS08 TA16 TB04                       TC18 TD06 TD12 UA02 UA05                       UA33

Claims (6)

【特許請求の範囲】[Claims] 【請求項1】 動画像の原画像データをフレーム間予測
により圧縮符号化した圧縮画像データをネットワークを
通じて送信する動画像送信装置において、原画像データ
からフレーム内符号化フレーム並びにフレーム間符号化
フレームの2種類の圧縮画像データを生成する圧縮符号
化手段と、圧縮画像データをネットワークを通じて送信
する送信手段とを備え、圧縮符号化手段は、1フレーム
の圧縮符号化の処理時間が予め設定される閾値を越えた
ときは当該フレームの圧縮符号化処理を中止して次フレ
ームの圧縮符号化処理を行うことを特徴とする動画像送
信装置。
1. A moving image transmitting apparatus for transmitting, via a network, compressed image data obtained by compression-encoding original image data of a moving image through inter-frame prediction, in which the original image data is converted into an intra-frame encoded frame and an inter-frame encoded frame. A compression encoding unit that generates two types of compressed image data and a transmission unit that transmits the compressed image data through a network are provided. The compression encoding unit has a threshold value in which the processing time of compression encoding of one frame is preset. When exceeding, the moving image transmitting apparatus is characterized in that the compression encoding process of the frame is stopped and the compression encoding process of the next frame is performed.
【請求項2】 圧縮符号化手段は、フレーム内符号化フ
レームの圧縮符号化処理時間が閾値を越えたときは次フ
レームの原画像データからフレーム内符号化フレームを
生成することを特徴とする請求項1記載の動画像送信装
置。
2. The compression encoding means generates an intra-frame encoded frame from the original image data of the next frame when the compression-encoding processing time of the intra-frame encoded frame exceeds a threshold value. Item 1. The moving image transmission device according to item 1.
【請求項3】 動画像の原画像データをフレーム間予測
により圧縮符号化した圧縮画像データをネットワークを
通じて送信する動画像送信装置と、ネットワークを通じ
て受信する圧縮画像データを復号化した再生画像データ
を表示する動画像表示装置とからなる動画像通信システ
ムにおいて、動画像送信装置は、原画像データからフレ
ーム内符号化フレーム並びにフレーム間符号化フレーム
の2種類の圧縮画像データを生成する圧縮符号化手段
と、圧縮画像データをネットワークを通じて送信する送
信手段とを具備し、動画像表示装置は、ネットワークを
通じて圧縮画像データを受信する受信手段と、受信手段
で受信した圧縮画像データを復号化する復号化手段と、
復号化された再生画像データを表示する表示手段とを具
備し、動画像送信装置の圧縮符号化手段は、1フレーム
の圧縮符号化の処理時間が予め設定される閾値を越えた
ときはダミー信号を送信手段よりネットワークを通じて
送信させるとともに当該フレームの圧縮符号化処理が完
了した時点で圧縮画像データを送信手段からネットワー
クを通じて送信させ、動画像表示装置は、ダミー信号を
受信した場合に表示手段が復号化処理が完了している再
生画像データの表示を継続することを特徴とする動画像
通信システム。
3. A moving image transmitting apparatus for transmitting compressed image data obtained by compression-encoding original image data of a moving image by inter-frame prediction through a network, and reproduced image data obtained by decoding compressed image data received over the network. In the moving image communication system including the moving image display device, the moving image transmitting device includes a compression encoding unit that generates two types of compressed image data of the intra-frame encoded frame and the inter-frame encoded frame from the original image data. A moving image display apparatus, a receiving means for receiving the compressed image data through the network, and a decoding means for decoding the compressed image data received by the receiving means. ,
Display means for displaying the decoded reproduced image data, and the compression encoding means of the moving image transmission device is configured to output a dummy signal when the processing time for compression encoding of one frame exceeds a preset threshold value. And the compressed image data is transmitted from the transmission means through the network when the compression encoding processing of the frame is completed, and the moving image display device decodes the display means when the dummy signal is received. A moving image communication system, characterized by continuing to display the reproduced image data for which the conversion processing has been completed.
【請求項4】 ダミー信号を受信せず且つ圧縮画像デー
タを予め設定される規定時間内に受信しない場合に圧縮
符号化手段に対して圧縮符号化処理のリセット要求をネ
ットワークを通じて送信するリセット要求手段を動画像
表示装置に具備することを特徴とする請求項3記載の動
画像通信システム。
4. A reset requesting means for transmitting a reset request for compression encoding processing to the compression encoding means through a network when a dummy signal is not received and compressed image data is not received within a preset specified time. The moving picture communication system according to claim 3, wherein the moving picture display device is provided with.
【請求項5】 動画像送信装置の圧縮符号化手段は、リ
セット要求を受け取ると現在の圧縮符号化処理を中断し
て最新のフレーム内符号化フレームからフレーム間符号
化フレームを生成する処理を実行して送信手段よりネッ
トワークを通じて送信させることを特徴とする請求項4
記載の動画像通信システム。
5. The compression encoding means of the moving image transmission apparatus, when receiving the reset request, interrupts the current compression encoding processing and executes the processing of generating the inter-frame encoded frame from the latest intra-frame encoded frame. 5. The transmitting means transmits the data through a network.
The moving image communication system described.
【請求項6】 送信手段は、フレーム内符号化フレーム
並びにフレーム間符号化フレームの圧縮画像データを周
期的にパケット送信し、一周期内においてフレーム内符
号化フレームの送信期間をフレーム間符号化フレームの
送信期間よりも長い時間に設定したことを特徴とする請
求項1〜5の何れかに記載の動画像送信装置又は動画像
通信システム。
6. The transmitting means periodically packet-compresses the compressed image data of the intra-frame encoded frame and the inter-frame encoded frame, and the transmission period of the intra-frame encoded frame within one period is the inter-frame encoded frame. The moving image transmitting apparatus or the moving image communication system according to any one of claims 1 to 5, wherein the transmitting period is set to be longer than the transmitting period.
JP2002086314A 2002-03-26 2002-03-26 Video communication system Expired - Fee Related JP4616537B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002086314A JP4616537B2 (en) 2002-03-26 2002-03-26 Video communication system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002086314A JP4616537B2 (en) 2002-03-26 2002-03-26 Video communication system

Publications (2)

Publication Number Publication Date
JP2003284072A true JP2003284072A (en) 2003-10-03
JP4616537B2 JP4616537B2 (en) 2011-01-19

Family

ID=29232953

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002086314A Expired - Fee Related JP4616537B2 (en) 2002-03-26 2002-03-26 Video communication system

Country Status (1)

Country Link
JP (1) JP4616537B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005122578A1 (en) * 2004-06-08 2005-12-22 Mitsubishi Denki Kabushiki Kaisha Video receiver apparatus
JP2007074173A (en) * 2005-09-06 2007-03-22 Matsushita Electric Ind Co Ltd Equipment and method for coding moving picture, and coding control unit
JP2012101444A (en) * 2010-11-10 2012-05-31 Seiko Epson Corp Device and method for data conversion, and shaping apparatus

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005122578A1 (en) * 2004-06-08 2005-12-22 Mitsubishi Denki Kabushiki Kaisha Video receiver apparatus
JP2007074173A (en) * 2005-09-06 2007-03-22 Matsushita Electric Ind Co Ltd Equipment and method for coding moving picture, and coding control unit
JP4623650B2 (en) * 2005-09-06 2011-02-02 パナソニック株式会社 Moving picture coding apparatus and moving picture coding method
US8094725B2 (en) 2005-09-06 2012-01-10 Panasonic Corporation Video coder, coding controller, and video coding method
JP2012101444A (en) * 2010-11-10 2012-05-31 Seiko Epson Corp Device and method for data conversion, and shaping apparatus

Also Published As

Publication number Publication date
JP4616537B2 (en) 2011-01-19

Similar Documents

Publication Publication Date Title
US7116714B2 (en) Video coding
RU2568310C2 (en) Device, method and programme of moving image coding with prediction and device, method and programme of moving image coding with prediction decoding
JP2003284078A (en) Method and apparatus for coding image, and method and apparatus for decoding image
CN110113610B (en) Data transmission method and device
JP2015171114A (en) Moving image encoder
US20150172689A1 (en) Decoding Frames
JP4488958B2 (en) Video transmission system and video transmission method
TWI577180B (en) Dynamic image prediction decoding device, dynamic image prediction decoding method
CN110351576B (en) Method and system for rapidly displaying real-time video stream in industrial scene
JP4616537B2 (en) Video communication system
JP2002027483A (en) Picture coding system, picture decoding system, and storage media
US20130215956A1 (en) Video system for displaying image data, method and computer program
JP4718944B2 (en) Video server apparatus and reproducing method thereof
JP2006319547A (en) Motion picture encoder
JPH1070727A (en) Method and device for transmitting moving picture
JP2009272684A (en) Video image communication apparatus
JPH0974540A (en) Moving image encoding information generation device for real-time fast forward reproduction
JPH0984023A (en) Intra-frame coding insertion method and video image coder
JP4952636B2 (en) Video communication apparatus and video communication method
JP2002330437A (en) Image transmission method, program for the image transmission method, recording medium for recording the program for the image transmission method and image transmitter
JP2011239255A (en) Video encoding method, video encoder, and video encoding program
US11197014B2 (en) Encoding apparatus, decoding apparatus, and image processing system
JPS63310294A (en) Moving picture encoding system
JP2914368B1 (en) Moving picture signal encoding method and apparatus according to time signal
JPH09312847A (en) Coding method for dynamic image

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071030

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080311

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080924

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100625

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101022

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131029

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees