JP2002016921A - Moving picture encoding device and decoding device - Google Patents

Moving picture encoding device and decoding device

Info

Publication number
JP2002016921A
JP2002016921A JP2000193201A JP2000193201A JP2002016921A JP 2002016921 A JP2002016921 A JP 2002016921A JP 2000193201 A JP2000193201 A JP 2000193201A JP 2000193201 A JP2000193201 A JP 2000193201A JP 2002016921 A JP2002016921 A JP 2002016921A
Authority
JP
Japan
Prior art keywords
image
information
background
moving
moving image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2000193201A
Other languages
Japanese (ja)
Inventor
Yoshiyuki Jinno
善行 神野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000193201A priority Critical patent/JP2002016921A/en
Publication of JP2002016921A publication Critical patent/JP2002016921A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a moving picture encoding device and a decoding device capable of encoding and decoding a moving picture of high quality respectively. SOLUTION: Background memories 103 to 105 in which image are inputted and which store background images, an adder 111 which calculates a difference between the background image and the inputted images, a moving picture encoding circuit 113 which encodes the difference in a moving picture code, a still picture encoding circuit which encodes the stored background image in a still picture code, and a multiplexer 115 which multiplexes the moving picture code line and the still picture code line into a multiplex code line, are provided, by which moving picture encoding can be carried out without deteriorating a background image in resolution.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、テレビ電話システ
ム、テレビ会議システム、遠隔監視装置といったディジ
タル映像通信分野において使用される動画像符号化装置
および動画像復号化装置に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a moving picture coding apparatus and a moving picture decoding apparatus used in the field of digital video communication such as a video telephone system, a video conference system, and a remote monitoring apparatus.

【0002】[0002]

【従来の技術】近年のディジタル通信技術の発展に伴
い、ディジタル通信サービスに対して、より高いサービ
ス品質と、それを提供しうる低いコストとが求められて
いる。
2. Description of the Related Art With the recent development of digital communication technology, digital communication services are required to have higher service quality and lower costs for providing them.

【0003】一例として地上系通信路を用いたディジタ
ル映像通信サービスを例にあげる。普及型のディジタル
映像通信サービスとしてISDN網を用いたものがよく
知られている。一般にISDN網の場合、128kbp
sの通信速度を実現しており、ディジタル映像通信サー
ビス端末は、映像を128kbpsまで圧縮して伝送す
る。ISDN網に用いられる映像圧縮方式として最も一
般的なものは、国際標準化方式H.320である。H.
320を応用したシステムは、例えばテレビ電話として
実現されており、端末や回線コストを低いコストに抑え
つつ、双方向でのディジタル映像通信サービスを具現化
することができる。
As an example, a digital video communication service using a terrestrial communication path will be described as an example. A popular digital video communication service using an ISDN network is well known. Generally, in the case of an ISDN network, 128 kbp
s, and the digital video communication service terminal transmits the video after compressing the video to 128 kbps. The most common video compression method used in the ISDN network is the international standardization method H.264. 320. H.
A system using the 320 is implemented, for example, as a videophone, and can realize a bidirectional digital video communication service while keeping terminal and line costs low.

【0004】図4に、ISDN網を用いた動画像符号化
装置および動画像復号化装置の従来例を示す。
FIG. 4 shows a conventional example of a moving picture coding apparatus and a moving picture decoding apparatus using an ISDN network.

【0005】図4に示すように、動画像符号化装置は、
NTSC/CIF変換回路301、動画符号化回路30
2、多重化部303により構成され、動画像復号化装置
は、分離部304、動画復号化回路305、CIF/N
TSC変換回路306により構成される。
[0005] As shown in FIG.
NTSC / CIF conversion circuit 301, moving picture coding circuit 30
2. A multiplexing unit 303, and the moving picture decoding apparatus includes a demultiplexing unit 304, a moving picture decoding circuit 305, a CIF / N
It is configured by a TSC conversion circuit 306.

【0006】次に、上記従来例における動作を、動画像
符号化装置、動画像復号化装置ごとに説明する。
Next, the operation of the above conventional example will be described for each of the moving picture coding apparatus and the moving picture decoding apparatus.

【0007】動画像符号化装置において入力される入力
映像は、NTSC/CIF変換回路301に送られる。
NTSC/CIF変換回路301においては、画像の間
引きを行うことで画像情報を圧縮する。すなわち、通常
のNTSC信号の場合、1フレームあたりの画素数は7
04×480画素であるが、CIF信号に間引くことで
352×288画素にまで圧縮される。NTSC/CI
F変換回路301において圧縮された入力映像は、次
に、動画符号化回路302に送られる。ここでは、例え
ばITU−T勧告H.261に示されるような動画符号
化処理が行われ、上記CIF信号をさらに時間方向およ
び空間方向に圧縮する。
[0007] The input video input to the moving picture coding apparatus is sent to an NTSC / CIF conversion circuit 301.
The NTSC / CIF conversion circuit 301 compresses image information by performing image thinning. That is, in the case of a normal NTSC signal, the number of pixels per frame is seven.
Although it is 04 × 480 pixels, it is compressed to 352 × 288 pixels by thinning it out to a CIF signal. NTSC / CI
The input video compressed in the F-conversion circuit 301 is then sent to the moving picture coding circuit 302. Here, for example, ITU-T Recommendation H. 261 is performed to further compress the CIF signal in the time and space directions.

【0008】動画符号化回路302で圧縮されて生成さ
れた映像符号列は、多重化部303に送られ、他の制御
信号などと多重化されて伝送符号列として伝送路に送出
される。伝送路がISDNの場合、入力映像はこれらの
過程を通じて、元の入力映像の1/1500程度にまで
圧縮され、64kbpsや128kbpsといった低レ
ート通信路であるISDN回線などを通じて伝送するこ
とができるようになる。
[0008] The video code string compressed and generated by the moving picture coding circuit 302 is sent to a multiplexing unit 303, multiplexed with other control signals and the like, and sent out as a transmission code string to a transmission path. When the transmission path is ISDN, the input video is compressed to about 1/1500 of the original input video through these processes, and can be transmitted through an ISDN line which is a low-rate communication path such as 64 kbps or 128 kbps. Become.

【0009】次に、動画像符号化装置について説明す
る。伝送路を介して送信された伝送符号列は、分離部3
04に送られる。分離部304では、圧縮された映像符
号列を分離し、それを動画復号化回路305に送る。動
画復号化回路305では、例えばITU−T勧告H.2
61に示されるような動画復号化処理が行われ、時間方
向および空間方向に圧縮されていた映像符号列をCIF
信号にまで復号する。CIF信号は、CIF/NTSC
変換回路306において、元のNTSC信号に戻され
る。
Next, a moving picture coding apparatus will be described. The transmission code string transmitted via the transmission path is transmitted to the separation unit 3
04. The separation unit 304 separates the compressed video code string and sends it to the video decoding circuit 305. In the video decoding circuit 305, for example, ITU-T Recommendation H.264 2
The moving image decoding process shown in FIG. 61 is performed, and the video code string compressed in the time direction and the space direction is converted into a CIF.
Decode to a signal. CIF signal is CIF / NTSC
In the conversion circuit 306, the original NTSC signal is restored.

【0010】このように上記従来の動画像符号化装置お
よび動画像復号化装置は、伝送路を介して、ディジタル
映像通信サービスを実現するものである。
As described above, the above-mentioned conventional moving picture coding apparatus and moving picture decoding apparatus realize a digital video communication service via a transmission path.

【0011】[0011]

【発明が解決しようとする課題】しかしながら、上記従
来の動画像符号化装置では、入力映像全体を動画として
扱って伝送した。そのため、低レート通信路に適合する
動画符号化を行うためには、入力映像全体に対して、例
えばNTSC/CIF変換を行って解像度を落とし、さ
らにCIF信号を動画符号化していた。その結果、背景
のように動画として扱う必要がない部分も解像度を落と
さなければならず、動画符号化を含めて全体の画質劣化
を招いていた。
However, in the above-mentioned conventional moving picture coding apparatus, the whole input picture is treated as a moving picture and transmitted. Therefore, in order to perform moving image encoding suitable for a low-rate communication channel, for example, NTSC / CIF conversion is performed on the entire input image to reduce the resolution, and further, the CIF signal is subjected to moving image encoding. As a result, the resolution must be reduced even for a portion such as a background that does not need to be treated as a moving image, resulting in deterioration of the overall image quality including moving image encoding.

【0012】本発明はこのような問題を解決するために
なされたもので、背景画像の解像度を落とさずに、動画
符号化を行うことができる動画像符号化装置を提供する
ものである。
The present invention has been made to solve such a problem, and an object of the present invention is to provide a moving picture coding apparatus capable of performing moving picture coding without reducing the resolution of a background picture.

【0013】[0013]

【課題を解決するための手段】本発明の動画像符号化装
置は、背景画像を記憶する背景記憶手段と、映像を入力
する入力手段と、前記背景画像と前記入力画像との差分
を算出する差分算出手段と、前記差分を動画符号化する
動画符号化手段と、前記記憶された背景画像を静止画符
号化する静止画符号化手段と、前記動画符号化された動
画符号列と前記静止画符号化された静止画符号列とを多
重化符号列として多重化する多重化手段とを備えたこと
を特徴とする構成である。
A moving picture encoding apparatus according to the present invention calculates a difference between the background image and the input image, a background storage means for storing a background image, an input means for inputting a video image, and the like. Difference calculating means, moving picture coding means for moving picture coding the difference, still picture coding means for still picture coding the stored background image, moving picture coded moving picture code string and the still picture Multiplexing means for multiplexing the encoded still image code sequence as a multiplexed code sequence.

【0014】この構成により、時間的に変化しない背景
画像を静止画として符号化し、時間的に変化のある画像
部を動画像として符号化し、かつ背景画像との差分をと
ることで符号量削減も行い、前記静止画情報と前記動画
情報とを多重化することにより、高い空間解像度を有す
る符号化と動画としての動きのある画像の符号化との両
立を実現することができる。また、静止画情報と動画情
報とを同時に送信することができるとともに、静止画情
報の送信は1回のみでよく、周期的に送信を繰り返す必
要はない。
With this configuration, the background image that does not change over time is encoded as a still image, the image portion that changes over time is encoded as a moving image, and the difference from the background image is calculated to reduce the amount of code. By performing the multiplexing of the still image information and the moving image information, it is possible to realize both the encoding having a high spatial resolution and the encoding of a moving image as a moving image. Further, the still image information and the moving image information can be transmitted at the same time, and the transmission of the still image information only needs to be performed once, and there is no need to repeat the transmission periodically.

【0015】また、本発明の動画像符号化装置は、前記
背景記憶手段が複数の背景画像を記憶し、前記入力映像
と前記複数の背景画像との差分を背景画像ごとにそれぞ
れ算出する誤差算出手段と、前記差分が最も小さくなる
最小差分を選択しこの選択情報を生成する最小値選択手
段と、前記選択情報に基づいて前記記憶された背景画像
を選択する背景画像選択手段とを備え、前記差分算出手
段が前記選択された背景画像と前記入力画像との差分を
算出し、前記静止画符号化手段が前記選択された背景画
像を静止画符号化し、前記多重化手段が多重化符号列に
前記選択情報を多重化することを特徴とする構成であ
る。
Further, in the moving picture coding apparatus according to the present invention, the background storage means stores a plurality of background images, and calculates a difference between the input video and the plurality of background images for each background image. Means, a minimum value selecting means for selecting the minimum difference with the smallest difference and generating this selection information, and a background image selecting means for selecting the stored background image based on the selection information, Difference calculating means for calculating a difference between the selected background image and the input image, the still image coding means for coding the selected background image as a still image, and the multiplexing means for forming a multiplexed code string. The configuration is characterized in that the selection information is multiplexed.

【0016】この構成により、複数の背景画像から入力
画像との差が最も小さい背景画像を選択し、この背景画
像との差を動画情報として符号化することができ、符号
量を削減することができるとともに、背景画像の選択情
報を前記動画情報とともに多重化することにより、多重
化符号列の復号を容易にし、背景画像の再符号化を無用
にし、多重化符号列を有効に使用することができる。
With this configuration, a background image having the smallest difference from the input image can be selected from a plurality of background images, and the difference from the background image can be encoded as moving image information, thereby reducing the code amount. By multiplexing the selection information of the background image with the moving image information, it is possible to easily decode the multiplexed code sequence, to eliminate the need for re-encoding the background image, and to effectively use the multiplexed code sequence. it can.

【0017】また、本発明の動画像符号化装置は、前記
背景記憶手段に記憶された背景画像の更新を制御する更
新情報を生成し、この更新情報に基づいて前記背景画像
の更新を制御する背景画像更新制御手段を備え、前記多
重化手段が前記更新情報に従って前記静止画符号列と前
記更新情報とを多重化することを特徴とする構成であ
る。
Further, the moving picture coding apparatus of the present invention generates update information for controlling the update of the background image stored in the background storage means, and controls the update of the background image based on the update information. The image processing apparatus further includes a background image update control unit, wherein the multiplexing unit multiplexes the still image code string and the update information according to the update information.

【0018】この構成により、入力映像に対して妥当な
背景画像が記憶されていない場合に、背景記憶手段に新
たな背景画像として記憶し、この背景画像を符号化した
静止画情報と前記更新情報とを多重化することにより、
新たな背景情報として送信することができ、入力映像に
対応した符号化処理を行うことができる。
According to this configuration, when an appropriate background image is not stored for the input video, the background image is stored in the background storage means as a new background image, and the background image is encoded as still image information and the update information. By multiplexing
It can be transmitted as new background information, and can perform encoding processing corresponding to the input video.

【0019】また、本発明の動画像符号化装置は、前記
最小値選択手段が選択する背景画像指定情報および前記
背景画像更新制御手段が更新する背景画像更新要求情報
を入力させる指定情報入力手段を備えたことを特徴とす
る構成である。
The moving picture coding apparatus according to the present invention further comprises a designation information input means for inputting background image designation information selected by the minimum value selection means and background image update request information updated by the background image update control means. It is a configuration characterized by comprising:

【0020】この構成により、背景画像として使用する
背景画像および記憶された背景画像の更新要求を入力
し、指定された背景画像を符号化することができ、操作
者の指定により、背景画像として使用する画像を指定し
たり、新たな背景画像を更新させることができる。
With this configuration, a background image to be used as a background image and an update request for a stored background image can be input, and the designated background image can be encoded. Image to be updated, or a new background image can be updated.

【0021】さらに、本発明の動画像符号化装置は、前
記多重化手段が、単位時間あたりに伝送しうるすべての
多重化符号量のうち、静止画情報を伝送する静止画伝送
符号量と、動画情報を伝送する動画伝送符号量とを、静
止画情報と動画情報とに基づいて任意の割合で多重化す
ることを特徴とする構成である。
Furthermore, in the moving picture coding apparatus according to the present invention, the multiplexing means may include a still picture transmission code quantity for transmitting still picture information, among all multiplex code quantities that can be transmitted per unit time; The present invention is characterized in that a moving image transmission code amount for transmitting moving image information is multiplexed at an arbitrary ratio based on still image information and moving image information.

【0022】この構成により、静止画情報と動画情報と
を内容により多重化割合を調整することができる。例え
ば、背景画像を長時間かけて送信する場合には、単位時
間あたりの静止画情報の割合を小さくすることによっ
て、動画情報の割合を大きくとることができ、高画質の
動画情報を送信することができる。逆に、動画情報が小
さく圧縮できる場合には、静止画情報の割合を大きくと
ることができ、短時間に静止画情報を送信することがで
きる。
With this configuration, the multiplexing ratio of the still image information and the moving image information can be adjusted according to the content. For example, when transmitting a background image over a long period of time, by reducing the ratio of still image information per unit time, it is possible to increase the ratio of moving image information, and to transmit high-quality moving image information. Can be. Conversely, when the moving image information can be compressed to a small size, the ratio of the still image information can be increased, and the still image information can be transmitted in a short time.

【0023】また、本発明の動画像符号化装置は、前記
多重化手段が、単位時間あたりに伝送しうるすべての多
重化符号量のうち、静止画情報を伝送する静止画伝送符
号量と、動画情報を伝送する動画伝送符号量とを、任意
の割合で多重し、この割合を示す割合情報符号列を多重
化符号列に多重化することを特徴とする構成である。
Also, in the moving picture coding apparatus according to the present invention, the multiplexing means may include a still picture transmission code quantity for transmitting still picture information among all the multiplexed code quantities that can be transmitted per unit time; The configuration is characterized in that a moving image transmission code amount for transmitting moving image information is multiplexed at an arbitrary ratio, and a ratio information code sequence indicating the ratio is multiplexed into a multiplexed code sequence.

【0024】この構成により、割合情報符号列を復号す
ることによって、静止画情報および動画情報の復号を容
易に行うことができる。
With this configuration, by decoding the ratio information code string, it is possible to easily decode the still picture information and the moving picture information.

【0025】本発明の動画像復号化装置は、多重化符号
列から動画情報が符号化された動画符号列と静止画情報
が符号化された静止画符号列とを分離する分離手段と、
前記動画符号列を動画情報に動画復号化する動画復号化
手段と、前記静止画符号列を静止画情報に静止画復号化
する静止画復号化手段と、前記静止画復号化された静止
画情報を記憶する背景記憶手段と、前記記憶された静止
画情報に前記動画復号化された動画情報を加算する加算
手段とを備えたことを特徴とする構成である。
The moving picture decoding apparatus according to the present invention comprises: a separating means for separating, from a multiplexed code string, a moving picture code string in which moving picture information is encoded and a still picture code string in which still picture information is encoded;
Moving picture decoding means for decoding the moving picture code string into moving picture information, still picture decoding means for decoding the still picture code string into still picture information, and the still picture decoded still picture information And storage means for storing the moving picture information obtained by decoding the moving picture information to the stored still picture information.

【0026】この構成により、背景画像とこの背景画像
との差分情報として符号化された動画情報とを復号する
ことができ、高い空間解像度で符号化された画像と動き
のある動画画像とを復号することができる。
With this configuration, it is possible to decode a background image and moving image information encoded as difference information between the background image, and decode an image encoded at a high spatial resolution and a moving image with motion. can do.

【0027】また、本発明の動画像復号化装置は、前記
分離手段が多重化符号列から複数の背景画像から特定の
背景画像を選択する選択情報を分離し、前記背景記憶手
段が複数の背景画像を記憶し、前記選択情報に基づいて
前記記憶された背景画像を選択する背景画像選択手段を
備え、前記加算手段が前記選択された背景画像に前記動
画復号化された動画情報を加算することを特徴とする構
成である。
In the moving picture decoding apparatus according to the present invention, the separating means separates selection information for selecting a specific background image from a plurality of background images from the multiplexed code string, and the background storage means stores the plurality of background images. A background image selecting unit that stores an image and selects the stored background image based on the selection information, wherein the adding unit adds the moving image information obtained by decoding the moving image to the selected background image. It is a configuration characterized by the following.

【0028】この構成により、選択情報により複数の背
景画像から特定の背景画像を選択し、この背景画像に動
画情報を加算するので、複数の背景画像を記憶してお
き、入力映像によって背景画像を切り替えることがで
き、背景画像の送受信を最小限にとどめ、多重化符号列
を有効に使用することができる。
With this configuration, a specific background image is selected from a plurality of background images according to the selection information, and moving image information is added to the background image. Therefore, the plurality of background images are stored, and the background image is stored by the input video. Switching can be performed, transmission / reception of the background image can be minimized, and the multiplexed code string can be used effectively.

【0029】また、本発明の動画像復号化装置は、前記
分離手段が多重化符号列から背景画像の更新を制御する
更新情報を分離し、前記背景記憶手段に記憶された背景
画像を前記更新情報に基づいて更新する背景画像更新制
御手段を備えたことを特徴とする構成である。
In the moving picture decoding apparatus according to the present invention, the separating means separates update information for controlling the updating of the background image from the multiplexed code string, and updates the background image stored in the background storage means. A configuration is provided that includes a background image update control unit that updates based on information.

【0030】この構成により、記憶されている背景画像
とは全く違った画像を復号する際に、更新情報により新
たに静止画情報を復号するので、記憶されている背景画
像に縛られることなく、入力映像に対応した復号処理を
行うことができる。
With this configuration, when an image completely different from the stored background image is decoded, the still image information is newly decoded by the update information, so that the image is not tied to the stored background image. A decoding process corresponding to the input video can be performed.

【0031】さらに、本発明の動画像復号化装置は、前
記分離手段が、単位時間あたりに伝送しうるすべての多
重化符号量のうち、静止画情報を伝送する静止画伝送符
号量と、動画情報を伝送する動画伝送符号量とが、静止
画情報と動画情報とに基づいて任意の割合で多重化され
た多重化符号列のなかから、動画情報と静止画情報とを
分離することを特徴とする構成である。
Furthermore, in the moving picture decoding apparatus according to the present invention, the separating means may further include a still picture transmission code quantity for transmitting still picture information, The video transmission code amount for transmitting information is characterized by separating video information and still image information from a multiplexed code string multiplexed at an arbitrary ratio based on still image information and video information. The configuration is as follows.

【0032】この構成により、静止画情報と動画情報と
に基づいて任意の割合で多重化された多重化符号列にお
いても、それぞれ分離して復号することができ、画像情
報の内容や符号化効率を重視した多重化符号列をも復号
することができる。
With this configuration, it is possible to separate and decode even a multiplexed code string multiplexed at an arbitrary ratio based on the still picture information and the moving picture information. It is also possible to decode a multiplexed code string emphasizing.

【0033】また、本発明の動画像復号化装置は、前記
分離手段が、単位時間あたりに伝送しうるすべての多重
化符号量のうち、静止画情報を伝送する静止画伝送符号
量と、動画情報を伝送する動画伝送符号量と、この割合
を示す割合情報符号列とが多重化された多重化符号列の
なかから、前記割合情報符号列を分離し、この割合情報
符号列に基づいて動画情報と静止画情報とを分離するこ
とを特徴とする構成である。
Also, in the moving picture decoding apparatus according to the present invention, the separating means may further include a still picture transmission code quantity for transmitting still picture information, The ratio information code sequence is separated from the multiplexed code sequence in which the moving image transmission code amount for transmitting information and the ratio information code sequence indicating the ratio are multiplexed, and a moving image is generated based on the ratio information code sequence. This configuration is characterized in that information and still image information are separated.

【0034】この構成により、割合情報符号列によって
動画情報と静止画情報との分離を容易に行うことができ
る。
According to this configuration, moving image information and still image information can be easily separated by the ratio information code string.

【0035】本発明の動画像符号化装置は、複数の背景
画像を記憶する背景記憶手段と、映像を入力させる入力
手段と、時刻情報を生成する時刻情報生成手段と、前記
時刻情報に基づいて前記背景画像を選択しこの選択情報
を生成する背景画像選択手段と、前記選択された背景画
像と前記入力画像との差分を算出する差分算出手段と、
前記差分を動画符号化する動画符号化手段と、前記選択
された背景画像を静止画符号化する静止画符号化手段
と、前記動画符号化された動画符号列と前記静止画符号
化された静止画符号列と前記選択情報とを多重化符号列
として多重化する多重化手段とを備えたことを特徴とす
る構成である。
The moving picture coding apparatus according to the present invention comprises: a background storage means for storing a plurality of background images; an input means for inputting a video; a time information generating means for generating time information; Background image selecting means for selecting the background image and generating this selection information, difference calculating means for calculating a difference between the selected background image and the input image,
Moving image encoding means for encoding the difference in a moving image, still image encoding means for still image encoding the selected background image, the moving image encoded moving image code string and the still image encoded still image Multiplexing means for multiplexing the image code string and the selection information as a multiplexed code string.

【0036】この構成により、時刻ごとの背景画像を複
数用意し、時刻ごとに背景画像を切り替えていくことが
でき、背景画像の更新を最小限にとどめることができる
とともに、動画像符号化効率を高めることができる。
With this configuration, a plurality of background images can be prepared for each time, and the background image can be switched for each time, updating of the background image can be minimized, and the moving picture coding efficiency can be reduced. Can be enhanced.

【0037】また、本発明の動画像符号化装置は、複数
の背景画像を記憶する背景記憶手段と、映像を入力させ
る入力手段と、空間情報を生成する空間情報生成手段
と、前記空間情報に基づいて前記背景画像を選択しこの
選択情報を生成する背景画像選択手段と、前記選択され
た背景画像と前記入力映像との差分を算出する差分算出
手段と、前記差分を動画符号化する動画符号化手段と、
前記選択された背景画像を静止画符号化する静止画符号
化手段と、前記動画符号化された動画符号列と前記静止
画符号化された静止画符号列と前記選択情報を多重化符
号列として多重化する多重化手段とを備えたことを特徴
とする構成である。
Further, the moving picture coding apparatus according to the present invention comprises: a background storage means for storing a plurality of background images; an input means for inputting a video; a spatial information generating means for generating spatial information; Background image selecting means for selecting the background image based on the selected background image and generating the selection information, difference calculating means for calculating a difference between the selected background image and the input video, and a moving picture code for coding the difference as a moving picture Means,
A still image encoding unit that encodes the selected background image as a still image, a moving image code sequence encoded with the moving image, the still image encoded still image code sequence, and the selection information as a multiplexed code sequence. Multiplexing means for multiplexing.

【0038】この構成により、空間ごとの背景画像を複
数用意し、空間ごとに背景画像を切り替えていくことが
でき、カメラの向きが変わるなどの理由により入力画像
が切り替わっても、背景画像の更新を最小限にとどめる
ことができるとともに、動画像符号化効率を高めること
ができる。
With this configuration, a plurality of background images can be prepared for each space, and the background image can be switched for each space. Even if the input image is switched due to a change in the direction of the camera, the background image is updated. Can be minimized, and the moving picture coding efficiency can be improved.

【0039】また、本発明の動画像符号化装置は、複数
の背景画像を記憶する背景記憶手段と、前記複数の背景
画像の平均値画像を算出する平均値算出手段と、前記平
均値画像と前記背景画像との差分を算出する差分算出手
段と、前記差分を符号化する差分符号化手段と、前記背
景画像の平均値画像を符号化する平均値画像符号化手段
と、前記符号化された差分符号列と前記符号化された平
均値画像符号列とを多重化符号列として多重化する多重
化手段とを備えたことを特徴とする構成である。
Further, the moving picture coding apparatus according to the present invention comprises: a background storage means for storing a plurality of background images; an average value calculating means for calculating an average value image of the plurality of background images; Difference calculating means for calculating a difference from the background image, difference coding means for coding the difference, average value image coding means for coding an average value image of the background image, and the encoded Multiplexing means for multiplexing the differential code sequence and the coded average image code sequence as a multiplexed code sequence.

【0040】この構成により、複数の背景画像の平均値
をとり、この平均値との差分をとって符号化するので、
近似的な映像を多数送信するような場合など、符号化効
率を高めることができる。
According to this configuration, an average value of a plurality of background images is obtained, and a difference from this average value is obtained for encoding.
Encoding efficiency can be improved, for example, when many approximate images are transmitted.

【0041】[0041]

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を用いて説明する。
Embodiments of the present invention will be described below with reference to the drawings.

【0042】図1に、本発明における動画像符号化装置
の一実施例を示す。
FIG. 1 shows an embodiment of a moving picture coding apparatus according to the present invention.

【0043】図1に示すように、本動画像符号化装置1
00は、加算器111、NTSC/CIF変換回路11
2、動画符号化回路113、静止画符号化回路114、
多重化部115および符号化側背景処理部150を備
え、符号化側背景処理部150は、背景生成回路10
1、背景メモリ更新制御回路102、第1背景メモリ1
03、第2背景メモリ104、第N背景メモリ105、
背景メモリ選択回路106、第1予測誤差算出回路10
7、第2予測誤差算出回路108、第N予測誤差算出回
路109、最小値選択部110を有している。
As shown in FIG. 1, the main moving picture coding apparatus 1
00 is an adder 111, an NTSC / CIF conversion circuit 11
2, moving picture coding circuit 113, still picture coding circuit 114,
A multiplexing unit 115 and an encoding-side background processing unit 150 are provided.
1. Background memory update control circuit 102, first background memory 1
03, the second background memory 104, the N-th background memory 105,
Background memory selection circuit 106, first prediction error calculation circuit 10
7, a second prediction error calculation circuit 108, an Nth prediction error calculation circuit 109, and a minimum value selection unit 110.

【0044】次に、本動画像符号化装置100の動作を
説明する。本動画像符号化装置100においては、複数
の背景画像を記憶するため、複数の背景メモリ103、
104、105を具備し、入力映像と背景メモリに記憶
された背景画像との差分が最も小さい背景画像を選択
し、入力映像と背景画像との差分を動画として符号化
し、この背景画像と多重化できるようにするため、入力
映像は加算器111と、背景処理部150に送られる。
Next, the operation of the main moving picture coding apparatus 100 will be described. In the main moving picture coding apparatus 100, a plurality of background memories 103,
A background image having the smallest difference between the input image and the background image stored in the background memory, encoding the difference between the input image and the background image as a moving image, and multiplexing the background image with the background image. To be able to do so, the input video is sent to the adder 111 and the background processor 150.

【0045】この背景処理部150において、入力映像
は、背景生成回路101、第1予測誤差算出回路10
7、第2予測誤差算出回路108、第N予測誤差算出回
路109に入力される。
In the background processing section 150, the input image is processed by the background generation circuit 101, the first prediction error calculation circuit 10
7, input to the second prediction error calculation circuit 108 and the N-th prediction error calculation circuit 109.

【0046】背景生成回路101に入力された入力映像
は、背景画像として生成され、背景メモリ更新要求情報
が背景メモリ更新制御回路102に出力されるととも
に、第1背景メモリ103、第2背景メモリ104、第
N背景メモリ105に出力される。背景メモリ103〜
105は、上記のように背景メモリを複数有することに
より、複数の背景画像を記憶できるようにしている。背
景メモリ103〜105は、背景メモリ更新制御回路1
02により制御され、必要であれば背景メモリ103〜
105の所定の背景メモリが選択され、内容が更新され
る。
The input image input to the background generation circuit 101 is generated as a background image, the background memory update request information is output to the background memory update control circuit 102, and the first background memory 103 and the second background memory 104 , To the N-th background memory 105. Background memory 103 ~
The 105 has a plurality of background memories as described above, so that a plurality of background images can be stored. The background memories 103 to 105 are the background memory update control circuit 1
02 and, if necessary, the background memory 103 to
A predetermined background memory 105 is selected, and the content is updated.

【0047】第1予測誤差算出回路107、第2予測誤
差算出回路108、第N予測誤差算出回路109は、入
力映像がどの背景メモリの記憶内容と近いかを判定する
ため、入力された入力映像と、背景メモリ103〜10
5に記憶された背景画像との予測誤差算出がそれぞれ行
われる。算出された予測誤差は、予測誤差算出回路10
7〜109それぞれから最小値選択部110に出力され
る。最小値選択部110では、予測誤差算出回路107
〜109それぞれから算出された予測誤差を比較し、最
小値を求め、最も予測誤差が小さいと判断された選択情
報を出力する。
The first prediction error calculation circuit 107, the second prediction error calculation circuit 108, and the N-th prediction error calculation circuit 109 determine which background memory the input image is close to and store the input image. And background memories 103 to 10
The calculation of the prediction error with respect to the background image stored in No. 5 is performed. The calculated prediction error is calculated by the prediction error calculation circuit 10.
7 to 109 are output to the minimum value selection unit 110. In the minimum value selection unit 110, the prediction error calculation circuit 107
109109 are compared, a minimum value is obtained, and selection information determined to have the smallest prediction error is output.

【0048】上記背景メモリ103〜105の記憶内容
の更新は、この選択情報を背景メモリ更新制御回路10
2に入力させることにより、内容更新の制御が行われ
る。
To update the contents stored in the background memories 103 to 105, the selection information is updated by the background memory update control circuit 10.
2 to control the content update.

【0049】最小値選択部110から出力される選択情
報は、背景メモリ選択回路106に入力され、背景メモ
リ選択回路106により、背景メモリ103〜105か
ら出力された背景メモリ情報が選択され、選択された選
択背景メモリ情報が加算器111に出力される。また、
背景メモリ更新制御回路102により背景メモリ103
〜105のいずれかが更新された場合、更新された更新
背景メモリ情報が静止画符号化回路114に出力され
る。
The selection information output from the minimum value selection unit 110 is input to the background memory selection circuit 106, and the background memory selection circuit 106 selects and selects the background memory information output from the background memories 103 to 105. The selected background memory information is output to the adder 111. Also,
The background memory 103 is controlled by the background memory update control circuit 102.
When any one of .about.105 is updated, the updated updated background memory information is output to the still image encoding circuit 114.

【0050】静止画符号化回路114では、更新背景メ
モリ情報が静止画情報として符号化され、更新された背
景メモリの情報のみを静止画として送るように構成して
いる。
The still image encoding circuit 114 encodes the updated background memory information as still image information, and transmits only the updated background memory information as a still image.

【0051】加算器111においては、入力映像と、入
力映像と最も予測誤差が小さいと判断された選択背景メ
モリ情報との差分が算出される。この差分情報を動画と
して伝送するため、差分はNTSC/CIF変換回路1
12に出力され、NTSC/CIF変換回路112によ
ってCIF信号に変換され、変換されたCIF信号は、
動画符号化回路113によって動画符号化が行われる。
The adder 111 calculates the difference between the input video and the selected background memory information determined to have the smallest prediction error from the input video. In order to transmit this difference information as a moving image, the difference is calculated by the NTSC / CIF conversion circuit 1.
12 and converted to a CIF signal by the NTSC / CIF conversion circuit 112, and the converted CIF signal is
The moving picture coding circuit 113 performs moving picture coding.

【0052】多重化部115では、動画符号化回路11
3により符号化された動画情報と、背景メモリの更新情
報と、静止画符号化回路114により符号化された静止
画情報と、選択情報とを多重化し、伝送符号列として伝
送路に出力する。
In the multiplexing section 115, the moving picture coding circuit 11
3 is multiplexed with the moving image information encoded in step 3, the update information in the background memory, the still image information encoded by the still image encoding circuit 114, and the selection information, and outputs the result to the transmission path as a transmission code string.

【0053】図2に、本発明における動画像復号化装置
の一実施例を示す。
FIG. 2 shows an embodiment of the moving picture decoding apparatus according to the present invention.

【0054】図2に示すように、本動画像復号化装置2
00は、分離部201、動画復号化回路202、CIF
/NTSC変換回路203、加算器210および復号化
側背景処理部250を備え、復号化側背景処理部250
は、静止画復号化回路204、背景メモリ更新制御回路
205、第1背景メモリ206、第2背景メモリ20
7、第N背景メモリ208、背景メモリ選択回路209
を有している。
As shown in FIG. 2, the main video decoding device 2
00 denotes a separating unit 201, a moving image decoding circuit 202, a CIF
/ NTSC conversion circuit 203, an adder 210, and a decoding-side background processing unit 250.
Are a still image decoding circuit 204, a background memory update control circuit 205, a first background memory 206, and a second background memory 20
7. Nth background memory 208, background memory selection circuit 209
have.

【0055】次に、本動画像復号化装置200の動作を
説明する。本動画像復号化装置200においては、複数
の背景メモリ206、207、208を具備し、選択情
報により選択された背景画像と、伝送された動画とを加
算して出力映像を生成できるようにするため、伝送符号
列は分離部201に送られ、分離部201から出力され
る動画情報は動画復号化回路202に、それ以外の符号
列は復号化側背景処理部250に送られる。
Next, the operation of the main moving picture decoding apparatus 200 will be described. The main moving picture decoding apparatus 200 includes a plurality of background memories 206, 207, and 208 so that an output video can be generated by adding a background picture selected by the selection information and a transmitted moving picture. Therefore, the transmission code string is sent to the separation unit 201, the moving image information output from the separation unit 201 is sent to the moving image decoding circuit 202, and the other code strings are sent to the decoding side background processing unit 250.

【0056】この復号化側背景処理部250において、
分離部201で分離された静止画情報は、静止画復号化
回路204に入力され、静止画が背景情報として復号化
され、第1背景メモリ206、第2背景メモリ207、
第N背景メモリ208に出力される。分離部201で分
離された更新情報は、背景メモリ更新制御回路205に
入力され、更新情報に従って、背景メモリの更新が必要
なときには、背景メモリ206〜208の所望の背景メ
モリを更新させる。分離部201で分離された選択情報
は、背景メモリ選択回路209に入力され、背景メモリ
選択回路209において、背景メモリ206〜208か
らそれぞれ出力された背景画像から選択情報に基づき背
景画像が選択され、加算器210に出力される。
In the decoding side background processing section 250,
The still image information separated by the separation unit 201 is input to the still image decoding circuit 204, where the still image is decoded as background information, and the first background memory 206, the second background memory 207,
The data is output to the N-th background memory 208. The update information separated by the separation unit 201 is input to the background memory update control circuit 205, and when the background memory needs to be updated, the desired background memory of the background memories 206 to 208 is updated according to the update information. The selection information separated by the separation unit 201 is input to the background memory selection circuit 209, and the background memory selection circuit 209 selects a background image based on the selection information from the background images output from the background memories 206 to 208, respectively. Output to adder 210.

【0057】動画情報は、動画復号化回路202により
CIF画像に復号化され、CIF/NTSC変換回路2
03に出力され、CIF画像は、CIF/NTSC変換
回路203によりNTSC信号に戻され、加算器210
に出力される。変換されたNTSC信号は、上記選択さ
れた背景画像と、加算器210において加算され、NT
SCの出力映像として再生される。
The moving picture information is decoded into a CIF image by the moving picture decoding circuit 202, and the CIF / NTSC conversion circuit 2
03, and the CIF image is returned to the NTSC signal by the CIF / NTSC conversion circuit 203.
Is output to The converted NTSC signal is added to the selected background image in an adder 210,
It is reproduced as an SC output video.

【0058】以上の構成および処理により、背景のよう
に動画として扱う必要がない部分は解像度を蕗とさずに
静止画として伝送し、この背景との差分のみを動画符号
化することができ、特に低レート通信路を用いた動画像
の伝送において、高い空間解像度と毎秒あたりの動き画
質とを両立させることができる。
With the above configuration and processing, a portion that does not need to be treated as a moving image, such as a background, can be transmitted as a still image without changing the resolution, and only the difference from this background can be encoded as a moving image. In particular, in the transmission of a moving image using a low-rate communication channel, it is possible to achieve both high spatial resolution and moving image quality per second.

【0059】また、本実施例において、単位時間あたり
に伝送しうるすべての伝送符号量のうち、静止画情報の
伝送符号量が、単位時間あたりの動画情報の伝送符号量
に比べて少なく伝送してよい。これは高画質を保ったま
まで静止画情報を伝送しようとすると、伝送符号量は多
くなるが、静止画情報として伝送すべきものは時間軸に
対する変化量が少ない情報であるので、単位時間あたり
に伝送すべき伝送符号量を動画情報の伝送符号量と比べ
て少なく設定できるからである。
Further, in the present embodiment, the transmission code amount of the still image information is smaller than the transmission code amount of the moving image information per unit time among all the transmission code amounts that can be transmitted per unit time. May be. This means that if you try to transmit still image information while maintaining high image quality, the amount of transmitted code will increase, but the information to be transmitted as still image information is information with a small amount of change with respect to the time axis, so it is transmitted per unit time. This is because the transmission code amount to be set can be set smaller than the transmission code amount of the moving image information.

【0060】図3に、動画情報と静止画情報との伝送符
号量についての一実施例を示す。例えば、更新背景メモ
リ情報をNsビットの静止画情報として伝送しようとす
る場合、これを時間Tに分割して伝送する。単位時間あ
たりの全伝送符号列Ntビットのうち、静止画情報の伝
送符号量はNs/Tとして表される。単位時間あたりの
動画情報の伝送符号列はNm=Nt−Ns/Tとなり、
Nt>>Ns/Tであるとき、すなわちNtがNs/T
に比して十分に大きい場合、Nmは動画情報を伝送する
に足る十分な速度を得ることができる。
FIG. 3 shows an embodiment of the transmission code amount between the moving picture information and the still picture information. For example, when transmitting the updated background memory information as Ns-bit still image information, this is divided into time T and transmitted. The transmission code amount of the still image information among the Nt bits of the entire transmission code string per unit time is expressed as Ns / T. The transmission code string of the moving image information per unit time is Nm = Nt-Ns / T,
When Nt >> Ns / T, that is, when Nt is Ns / T
If Nm is large enough, Nm can obtain a sufficient speed for transmitting moving image information.

【0061】また、単位時間あたりの全伝送符号列Nt
は動画情報の伝送符号列Nmと、静止画情報の伝送符号
列Ns/Tとで表されるが、NmとNs/Tとは一定の
割合であっても、一定の割合でなくても構わない。Nm
とNs/Tとの割合を最も高画質に制御する手段を新た
に設けることにより、例えば動画情報の伝送符号量が少
ないときには、静止画情報の伝送符号量を多く伝送する
ようにして、静止画情報を早く伝送するようにしても良
く、また、静止画情報の伝送符号最が少ないときには、
動画情報の伝送符号量を多く伝送するように制御しても
よい。
Also, the total transmission code string Nt per unit time
Is represented by a transmission code string Nm of moving image information and a transmission code string Ns / T of still image information. However, Nm and Ns / T may or may not be constant. Absent. Nm
For example, when a transmission code amount of moving image information is small, a large amount of transmission code amount of still image information is transmitted, and a still image is transmitted. The information may be transmitted quickly, and when the minimum transmission code of the still image information is small,
Control may be performed to transmit a large amount of transmission code of moving image information.

【0062】これらNmとNs/Tとの割合は、多重化
部において割合情報符号列として多重化してもよい。割
合情報符号列を多重化できる多重化部を具備するように
した動画像符号化装置から伝送された伝送符号列は動画
像復号化装置へと送られ、動画像復号化装置の分離部
は、この割合情報符号列をもとに、NmとNs/Tとを
分離するように構成する。
The ratio between Nm and Ns / T may be multiplexed in a multiplexing unit as a ratio information code string. The transmission code sequence transmitted from the video encoding device having a multiplexing unit capable of multiplexing the ratio information code sequence is sent to the video decoding device, and the separation unit of the video decoding device is Based on this ratio information code string, Nm and Ns / T are configured to be separated.

【0063】また、本発明の動画像符号化装置および動
画像復号化装置を、固定式カメラと接続し、固定地点の
遠隔監視に用いようとした場合、撮像される映像は空間
的に常に一定である。よって、背景メモリの更新は少な
くて済み、本発明によって得られるメリットを最大限に
活用できる。
When the moving picture coding apparatus and the moving picture decoding apparatus according to the present invention are connected to a fixed camera and used for remote monitoring of a fixed point, the image to be picked up is always spatially constant. It is. Therefore, the number of updates of the background memory is small, and the merit obtained by the present invention can be maximized.

【0064】また、例えば固定式カメラで撮像される映
像は時刻によっても区別される。すなわち昼は明るく、
夜は暗い映像である。これら時刻によって変化する映像
に対し、本発明では、複数の背景メモリを具備すること
により、これらの背景メモリを時刻ごとに区別して制御
することも可能である。例えば午前7時の背景は第1背
景メモリに、午後3時の背景は第2背景メモリに、・・
・というように、定められた時刻毎に背景メモリを選択
するように制御を行う時刻毎背景メモリ選択手段を新た
に設けることにより、背景メモリの更新を最小に抑える
ことができ、動画符号化効率をより高めることができ
る。
Further, for example, images picked up by a fixed camera are distinguished by time. That is, the daytime is bright,
Night is a dark picture. According to the present invention, by providing a plurality of background memories for these images that change with time, these background memories can be controlled separately for each time. For example, the background at 7:00 am is stored in the first background memory, the background at 3:00 pm is stored in the second background memory, and so on.
Thus, by newly providing a background memory selection means for each time that performs control so as to select the background memory at each predetermined time, the updating of the background memory can be minimized, and the moving picture coding efficiency can be reduced. Can be further enhanced.

【0065】また、複数の背景メモリを具備すること
で、これらの背景メモリを空間ごとに制御する空間毎背
景メモリ選択手段を新たに設けることにより、例えば、
パン/チルト/ズームなどの機能をもつカメラと組み合
わせた場合、カメラの向いた向きごとに背景メモリを割
りあてるように制御することで、入力映像と背景メモリ
との差分を小さく抑えることができ、結果として動画と
して伝送すべき差分の値を小さく抑えることができ、動
画符号化効率をより高めることができる。
Further, by providing a plurality of background memories, a space-based background memory selecting means for controlling these background memories for each space is newly provided.
When combined with a camera that has functions such as pan / tilt / zoom, the difference between the input video and the background memory can be reduced by controlling so that the background memory is allocated to each direction of the camera. As a result, the value of the difference to be transmitted as a moving image can be reduced, and the moving image encoding efficiency can be further improved.

【0066】また、背景生成回路においては、一般的な
背景生成手段を用いることもできる。例えば時間方向に
空間的に同じ位置にある画素値の平均値を算出する手段
を設け、この平均値をもって背景値とすることで、写真
の長時間露出による背景抽出と同じような手法で背景が
生成でき、これを応用して動画像符号化装置を構成して
もよい。
In the background generation circuit, general background generation means can be used. For example, a means for calculating an average value of pixel values at the same position spatially in the time direction is provided, and the average value is used as a background value. The moving picture coding apparatus can be generated and applied to the moving picture coding apparatus.

【0067】これら時刻毎背景メモリ選択手段や、空間
ごと背景メモリ選択手段や、背景生成手段は、それぞれ
を組み合わせて用いてもよい。
These time-based background memory selecting means, space-based background memory selecting means, and background generating means may be used in combination.

【0068】[0068]

【発明の効果】以上説明したように、本発明は、時間的
に変化しない背景画像を静止画として符号化し、時間的
に変化のある画像部を動画像として符号化し、かつ背景
画像との差分をとることで符号量削減も行い、前記静止
画情報と前記動画情報とを多重化することにより、高い
空間解像度を有する符号化と動画としての動きのある画
像の符号化との両立を実現することができるというすぐ
れた効果を有する動画像符号化装置を提供することがで
きるものである。
As described above, according to the present invention, a background image that does not change over time is encoded as a still image, an image portion that changes over time is encoded as a moving image, and the difference between the background image and the background image is encoded. , The multiplexing of the still image information and the moving image information realizes both the encoding having a high spatial resolution and the encoding of a moving image as a moving image. It is possible to provide a moving picture coding apparatus having an excellent effect that the moving picture coding can be performed.

【0069】また、本発明は、背景画像とこの背景画像
との差分情報として符号化された動画情報とを復号する
ことができ、高い空間解像度で符号化された画像と動き
のある動画画像とを復号することができるというすぐれ
た効果を有する動画像復号化装置を提供することができ
るものである。
Further, the present invention can decode a background image and moving image information encoded as difference information between the background image and the moving image with high spatial resolution. It is possible to provide a moving picture decoding apparatus having an excellent effect that it is possible to decode a moving picture.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明に係る動画像符号化装置の一実施例を示
すブロック図である。
FIG. 1 is a block diagram showing one embodiment of a moving picture coding apparatus according to the present invention.

【図2】本発明に係る動画像復号化装置の一実施例を示
すブロック図である。
FIG. 2 is a block diagram showing one embodiment of a moving picture decoding apparatus according to the present invention.

【図3】一実施例の動画情報と静止画情報との伝送符号
列を示す図である。
FIG. 3 is a diagram illustrating a transmission code string of moving image information and still image information according to one embodiment.

【図4】従来の動画像符号化装置および動画像復号化装
置の一例を示す図である。
FIG. 4 is a diagram illustrating an example of a conventional video encoding device and a conventional video decoding device.

【符号の説明】[Explanation of symbols]

100 動画像符号化装置 101 背景生成回路 102 背景メモリ更新制御回路 103 第1背景メモリ 104 第2背景メモリ 105 第N背景メモリ 106 背景メモリ選択回路 107 第1予測誤差算出回路 108 第2予測誤差算出回路 109 第N予測誤差算出回路 110 最小値選択部 111 加算器 112 NTSC/CIF変換回路 113 動画符号化回路 114 静止画符号化回路 115 多重化部 150 符号化側背景処理部 200 動画像復号化装置 201 分離部 202 動画復号化回路 203 CIF/NTSC変換回路 204 静止画復号化回路 205 背景メモリ更新制御回路 206 第1背景メモリ 207 第2背景メモリ 208 第N背景メモリ 209 背景メモリ選択回路 210 加算器 250 復号化側背景処理部 301 NTSC/CIF変換回路 302 動画符号化回路 303 多重化部 304 分離部 305 動画復号化回路 306 CIF/NTSC変換回路 Nt 単位時間あたりの全伝送符号量 Nm 単位時間あたりの動画情報の伝送符号量 Ns 静止画情報の伝送符号量 T 静止画情報を伝送するのに必要となる時間 REFERENCE SIGNS LIST 100 moving image encoding device 101 background generation circuit 102 background memory update control circuit 103 first background memory 104 second background memory 105 Nth background memory 106 background memory selection circuit 107 first prediction error calculation circuit 108 second prediction error calculation circuit 109 Nth prediction error calculation circuit 110 minimum value selection unit 111 adder 112 NTSC / CIF conversion circuit 113 moving image coding circuit 114 still image coding circuit 115 multiplexing unit 150 coding side background processing unit 200 moving image decoding device 201 Separation unit 202 Video decoding circuit 203 CIF / NTSC conversion circuit 204 Still image decoding circuit 205 Background memory update control circuit 206 First background memory 207 Second background memory 208 Nth background memory 209 Background memory selection circuit 210 Adder 250 Decoding Background processing unit 30 Reference Signs List 1 NTSC / CIF conversion circuit 302 Video encoding circuit 303 Multiplexing unit 304 Demultiplexing unit 305 Video decoding circuit 306 CIF / NTSC conversion circuit Nt Total transmission code amount per unit time Nm Transmission code amount of video information per unit time Ns Transmission code amount of still image information T Time required to transmit still image information

Claims (14)

【特許請求の範囲】[Claims] 【請求項1】 背景画像を記憶する背景記憶手段と、 映像を入力する入力手段と、 前記背景画像と前記入力画像との差分を算出する差分算
出手段と、 前記差分を動画符号化する動画符号化手段と、 前記記憶された背景画像を静止画符号化する静止画符号
化手段と、 前記動画符号化された動画符号列と前記静止画符号化さ
れた静止画符号列とを多重化符号列として多重化する多
重化手段とを備えたことを特徴とする動画像符号化装
置。
1. A background storage unit for storing a background image, an input unit for inputting a video, a difference calculation unit for calculating a difference between the background image and the input image, and a moving image code for coding the difference in a moving image A still image encoding unit that encodes the stored background image as a still image, and a multiplexed code sequence that multiplexes the moving image encoded moving image code sequence and the still image encoded still image code sequence. And a multiplexing unit for performing multiplexing.
【請求項2】 請求項1記載の動画像符号化装置におい
て、 前記背景記憶手段が、複数の背景画像を記憶し、 前記入力映像と前記複数の背景画像との差分を背景画像
ごとにそれぞれ算出する誤差算出手段と、 前記差分が最も小さくなる最小差分を選択し、この選択
情報を生成する最小値選択手段と、 前記選択情報に基づいて、前記記憶された背景画像を選
択する背景画像選択手段とを備え、 前記差分算出手段が、前記選択された背景画像と前記入
力画像との差分を算出し、 前記静止画符号化手段が、前記選択された背景画像を静
止画符号化し、 前記多重化手段が、多重化符号列に前記選択情報を多重
化することを特徴とする動画像符号化装置。
2. The moving image encoding apparatus according to claim 1, wherein the background storage unit stores a plurality of background images, and calculates a difference between the input video and the plurality of background images for each background image. Error calculating means, a minimum value selecting means for selecting a minimum difference that minimizes the difference, and a minimum value selecting means for generating the selection information; and a background image selecting means for selecting the stored background image based on the selection information. Wherein the difference calculation means calculates a difference between the selected background image and the input image, and the still image encoding means encodes the selected background image as a still image; Means for multiplexing the selection information into a multiplexed code sequence.
【請求項3】 請求項1または2記載の動画像符号化装
置において、 前記背景記憶手段に記憶された背景画像の更新を制御す
る更新情報を生成し、この更新情報に基づいて前記背景
画像の更新を制御する背景画像更新制御手段を備え、 前記多重化手段が、前記更新情報に従って前記静止画符
号列と前記更新情報とを多重化することを特徴とする動
画像符号化装置。
3. The moving picture coding apparatus according to claim 1, wherein update information for controlling updating of the background image stored in said background storage means is generated, and said background image is updated based on said update information. A moving image encoding apparatus, comprising: background image update control means for controlling update; wherein the multiplexing means multiplexes the still image code string and the update information according to the update information.
【請求項4】 請求項3記載の動画像符号化装置におい
て、 前記最小値選択手段が選択する背景画像指定情報および
前記背景画像更新制御手段が更新する背景画像更新要求
情報を入力させる指定情報入力手段を備えたことを特徴
とする動画像符号化装置。
4. The moving picture coding apparatus according to claim 3, wherein said background image specifying information selected by said minimum value selecting means and background image update request information to be updated by said background image updating control means are input. A moving image encoding apparatus comprising:
【請求項5】 請求項1〜4のいずれか1項に記載の動
画像符号化装置において、 前記多重化手段が、単位時間あたりに伝送しうるすべて
の多重化符号量のうち、静止画情報を伝送する静止画伝
送符号量と、動画情報を伝送する動画伝送符号量とを、
静止画情報と動画情報とに基づいて任意の割合で多重化
することを特徴とする動画像符号化装置。
5. The moving picture coding apparatus according to claim 1, wherein said multiplexing means outputs the still picture information among all multiplexed code amounts that can be transmitted per unit time. And the moving image transmission code amount for transmitting moving image information,
A moving picture coding apparatus characterized in that the moving picture is multiplexed at an arbitrary ratio based on still picture information and moving picture information.
【請求項6】 請求項1〜5のいずれか1項に記載の動
画像符号化装置において、 前記多重化手段が、単位時間あたりに伝送しうるすべて
の多重化符号量のうち、静止画情報を伝送する静止画伝
送符号量と、動画情報を伝送する動画伝送符号量とを、
任意の割合で多重し、この割合を示す割合情報符号列を
多重化符号列に多重化することを特徴とする動画像符号
化装置。
6. The moving picture coding apparatus according to claim 1, wherein the multiplexing means outputs the still picture information among all multiplexed code amounts that can be transmitted per unit time. And the moving image transmission code amount for transmitting moving image information,
A moving picture coding apparatus characterized by multiplexing at an arbitrary ratio and multiplexing a ratio information code sequence indicating the ratio into a multiplexed code sequence.
【請求項7】 多重化符号列から動画情報が符号化され
た動画符号列と静止画情報が符号化された静止画符号列
とを分離する分離手段と、 前記動画符号列を動画情報に動画復号化する動画復号化
手段と、 前記静止画符号列を静止画情報に静止画復号化する静止
画復号化手段と、 前記静止画復号化された静止画情報を記憶する背景記憶
手段と、 前記記憶された静止画情報に、前記動画復号化された動
画情報を加算する加算手段とを備えたことを特徴とする
動画像復号化装置。
7. Demultiplexing means for separating a moving image code string in which moving image information is encoded from a multiplexed code string and a still image code string in which still image information is encoded, and converting the moving image code string into moving image information into moving image information. Moving image decoding means for decoding; still image decoding means for still image decoding the still image code string into still image information; background storage means for storing the still image decoded still image information; A moving image decoding apparatus comprising: adding means for adding the moving image information obtained by decoding the moving image to the stored still image information.
【請求項8】 請求項7記載の動画像復号化装置におい
て、 前記分離手段が、多重化符号列から複数の背景画像から
特定の背景画像を選択する選択情報を分離し、 前記背景記憶手段が、複数の背景画像を記憶し、 前記選択情報に基づいて、前記記憶された背景画像を選
択する背景画像選択手段を備え、 前記加算手段が、前記選択された背景画像に、前記動画
復号化された動画情報を加算することを特徴とする動画
像復号化装置。
8. The moving picture decoding apparatus according to claim 7, wherein said separating means separates selection information for selecting a specific background image from a plurality of background images from a multiplexed code string, and said background storage means A background image selecting unit that stores the plurality of background images, and selects the stored background image based on the selection information, wherein the adding unit performs the moving image decoding on the selected background image. A moving image decoding apparatus characterized by adding moving image information.
【請求項9】 請求項7または8記載の動画像復号化装
置において、 前記分離手段が、多重化符号列から背景画像の更新を制
御する更新情報を分離し、 前記背景記憶手段に記憶された背景画像を、前記更新情
報に基づいて更新する背景画像更新制御手段を備えたこ
とを特徴とする動画像符号化装置。
9. The moving picture decoding apparatus according to claim 7, wherein the separating unit separates update information for controlling updating of a background image from a multiplexed code string, and stores the update information in the background storage unit. A moving image encoding apparatus comprising: a background image update control unit that updates a background image based on the update information.
【請求項10】 請求項7〜9のいずれか1項に記載の
動画像復号化装置において、 前記分離手段が、単位時間あたりに伝送しうるすべての
多重化符号量のうち、静止画情報を伝送する静止画伝送
符号量と、動画情報を伝送する動画伝送符号量とが、静
止画情報と動画情報とに基づいて任意の割合で多重化さ
れた多重化符号列のなかから、動画情報と静止画情報と
を分離することを特徴とする動画像復号化装置。
10. The moving picture decoding apparatus according to claim 7, wherein the separating unit converts the still picture information among all multiplexed code amounts that can be transmitted per unit time. The still image transmission code amount to be transmitted, and the moving image transmission code amount for transmitting the moving image information, the moving image information and the moving image information are multiplexed at an arbitrary ratio based on the still image information and the moving image information. A moving picture decoding apparatus, which separates still picture information from moving picture information.
【請求項11】 請求項7〜10のいずれか1項に記載
の動画像復号化装置において、 前記分離手段が、単位時間あたりに伝送しうるすべての
多重化符号量のうち、静止画情報を伝送する静止画伝送
符号量と、動画情報を伝送する動画伝送符号量と、この
割合を示す割合情報符号列とが多重化された多重化符号
列のなかから、前記割合情報符号列を分離し、この割合
情報符号列に基づいて動画情報と静止画情報とを分離す
ることを特徴とする動画像復号化装置。
11. The moving picture decoding apparatus according to claim 7, wherein the separating unit converts the still picture information among all multiplexed code amounts that can be transmitted per unit time. The ratio information code sequence is separated from the multiplexed code sequence in which the still image transmission code amount to be transmitted, the moving image transmission code amount for transmitting the moving image information, and the ratio information code sequence indicating the ratio are multiplexed. A moving image decoding apparatus for separating moving image information and still image information based on the ratio information code string.
【請求項12】 複数の背景画像を記憶する背景記憶手
段と、 映像を入力させる入力手段と、 時刻情報を生成する時刻情報生成手段と、 前記時刻情報に基づいて、前記背景画像を選択し、この
選択情報を生成する背景画像選択手段と、 前記選択された背景画像と前記入力画像との差分を算出
する差分算出手段と、 前記差分を動画符号化する動画符号化手段と、 前記選択された背景画像を静止画符号化する静止画符号
化手段と、 前記動画符号化された動画符号列と前記静止画符号化さ
れた静止画符号列と前記選択情報とを多重化符号列とし
て多重化する多重化手段とを備えたことを特徴とする動
画像符号化装置。
12. A background storage means for storing a plurality of background images; an input means for inputting a video; a time information generating means for generating time information; and selecting the background image based on the time information; A background image selecting unit that generates the selection information; a difference calculating unit that calculates a difference between the selected background image and the input image; a moving image encoding unit that encodes the difference as a moving image; A still image encoding unit that encodes a background image as a still image, and multiplexes the moving image encoded moving image code sequence, the still image encoded still image code sequence, and the selection information as a multiplexed code sequence. A moving picture coding apparatus comprising multiplexing means.
【請求項13】 複数の背景画像を記憶する背景記憶手
段と、 映像を入力させる入力手段と、 空間情報を生成する空間情報生成手段と、 前記空間情報に基づいて、前記背景画像を選択し、この
選択情報を生成する背景画像選択手段と、 前記選択された背景画像と前記入力映像との差分を算出
する差分算出手段と、 前記差分を動画符号化する動画符号化手段と、 前記選択された背景画像を静止画符号化する静止画符号
化手段と、 前記動画符号化された動画符号列と前記静止画符号化さ
れた静止画符号列と前記選択情報を多重化符号列として
多重化する多重化手段とを備えたことを特徴とする動画
像符号化装置。
13. A background storing means for storing a plurality of background images; an input means for inputting a video; a spatial information generating means for generating spatial information; and selecting the background image based on the spatial information; A background image selecting unit that generates the selection information; a difference calculating unit that calculates a difference between the selected background image and the input video; a moving image encoding unit that encodes the difference as a moving image; A still image encoding unit that encodes a background image as a still image; a multiplex that multiplexes the moving image encoded moving image code sequence, the still image encoded still image code sequence, and the selection information as a multiplexed code sequence. A moving picture coding apparatus comprising: a coding means.
【請求項14】 複数の背景画像を記憶する背景記憶手
段と、 前記複数の背景画像の平均値画像を算出する平均値算出
手段と、 前記平均値画像と前記背景画像との差分を算出する差分
算出手段と、 前記差分を符号化する差分符号化手段と、 前記背景画像の平均値画像を符号化する平均値画像符号
化手段と、 前記符号化された差分符号列と前記符号化された平均値
画像符号列とを多重化符号列として多重化する多重化手
段とを備えたことを特徴とする動画像符号化装置。
14. A background storing means for storing a plurality of background images; an average value calculating means for calculating an average value image of the plurality of background images; and a difference for calculating a difference between the average value image and the background image. Calculating means, difference encoding means for encoding the difference, average value image encoding means for encoding the average value image of the background image, the encoded difference code sequence and the encoded average Multiplexing means for multiplexing a value image code string as a multiplexed code string.
JP2000193201A 2000-06-27 2000-06-27 Moving picture encoding device and decoding device Withdrawn JP2002016921A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000193201A JP2002016921A (en) 2000-06-27 2000-06-27 Moving picture encoding device and decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000193201A JP2002016921A (en) 2000-06-27 2000-06-27 Moving picture encoding device and decoding device

Publications (1)

Publication Number Publication Date
JP2002016921A true JP2002016921A (en) 2002-01-18

Family

ID=18692235

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000193201A Withdrawn JP2002016921A (en) 2000-06-27 2000-06-27 Moving picture encoding device and decoding device

Country Status (1)

Country Link
JP (1) JP2002016921A (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009510514A (en) * 2005-09-27 2009-03-12 エルジー エレクトロニクス インコーポレイティド Multi-channel audio signal encoding / decoding method and apparatus
JP2009511944A (en) * 2005-10-05 2009-03-19 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
JP2009071734A (en) * 2007-09-14 2009-04-02 Fujifilm Corp Image processor, image processing method, program and system
JP2009520213A (en) * 2005-10-05 2009-05-21 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
US8068569B2 (en) 2005-10-05 2011-11-29 Lg Electronics, Inc. Method and apparatus for signal processing and encoding and decoding

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009510514A (en) * 2005-09-27 2009-03-12 エルジー エレクトロニクス インコーポレイティド Multi-channel audio signal encoding / decoding method and apparatus
JP2009511952A (en) * 2005-10-05 2009-03-19 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
JP2009511947A (en) * 2005-10-05 2009-03-19 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
JP2009511950A (en) * 2005-10-05 2009-03-19 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
JP2009511948A (en) * 2005-10-05 2009-03-19 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
JP2009511951A (en) * 2005-10-05 2009-03-19 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
JP2009511944A (en) * 2005-10-05 2009-03-19 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
JP2009511945A (en) * 2005-10-05 2009-03-19 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
JP2009511946A (en) * 2005-10-05 2009-03-19 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
US8068569B2 (en) 2005-10-05 2011-11-29 Lg Electronics, Inc. Method and apparatus for signal processing and encoding and decoding
JP2009520213A (en) * 2005-10-05 2009-05-21 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
JP2009521710A (en) * 2005-10-05 2009-06-04 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
JP2009521709A (en) * 2005-10-05 2009-06-04 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
JP2009524837A (en) * 2005-10-05 2009-07-02 エルジー エレクトロニクス インコーポレイティド Signal processing method and apparatus, encoding and decoding method, and apparatus therefor
JP2009071734A (en) * 2007-09-14 2009-04-02 Fujifilm Corp Image processor, image processing method, program and system

Similar Documents

Publication Publication Date Title
US8175148B2 (en) Method and device for indicating quantizer parameters in a video coding system
US5687095A (en) Video transmission rate matching for multimedia communication systems
US6195116B1 (en) Multi-point video conferencing system and method for implementing the same
US5847760A (en) Method for managing video broadcast
RU2665308C2 (en) Image processing apparatus and image processing method
US20090168880A1 (en) Method and Apparatus for Scalably Encoding/Decoding Video Signal
JP2001514825A (en) Imaging system and method for interactive control of image quality
JPS61114675A (en) Refreshing system in coding between frames
KR20120042996A (en) Transmitting apparatus, receiving apparatus, transmitting method, receiving method and transport system
US5691767A (en) Video conferencing system with high resolution still image capability
US20060120454A1 (en) Method and apparatus for encoding/decoding video signal using motion vectors of pictures in base layer
US20080008241A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
WO1999057910A1 (en) A method for transmitting video images, a data transmission system and a multimedia terminal
US20070242747A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070280354A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US20070223573A1 (en) Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
JP2002016921A (en) Moving picture encoding device and decoding device
US20060159176A1 (en) Method and apparatus for deriving motion vectors of macroblocks from motion vectors of pictures of base layer when encoding/decoding video signal
US20060120459A1 (en) Method for coding vector refinement information required to use motion vectors in base layer pictures when encoding video signal and method for decoding video data using such coded vector refinement information
JPH0937260A (en) Moving image coder and moving image decoder
JP3586484B2 (en) Screen synthesis system and method for multipoint conference
US6430221B1 (en) Transmitter, receiver, transmitting method and receiving method
JPH1169330A (en) Image communication equipment provided with automatic answering function
JP2001145103A (en) Transmission device and communication system
JP3913726B2 (en) Multipoint video conference control device and multipoint video conference system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070530

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20080731