JP2011176709A - Image encoding apparatus and image transmission system - Google Patents
Image encoding apparatus and image transmission system Download PDFInfo
- Publication number
- JP2011176709A JP2011176709A JP2010040314A JP2010040314A JP2011176709A JP 2011176709 A JP2011176709 A JP 2011176709A JP 2010040314 A JP2010040314 A JP 2010040314A JP 2010040314 A JP2010040314 A JP 2010040314A JP 2011176709 A JP2011176709 A JP 2011176709A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- macroblock
- image data
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
本発明は、複数の画像データを符号化して一つの圧縮画像データを出力する画像符号化装置、及びこの画像符号化装置を用いた画像伝送システムに関する。 The present invention relates to an image encoding device that encodes a plurality of image data and outputs one compressed image data, and an image transmission system using the image encoding device.
金融機関の店舗に設けられるATM(automated teller machine)コーナーなどを監視する際に、複数のカメラが設置されることがある。複数のカメラを用いて異なる角度から監視することにより、死角の発生を防ぐことができる。 When monitoring an ATM (automated teller machine) corner provided at a store of a financial institution, a plurality of cameras may be installed. By monitoring from different angles using a plurality of cameras, it is possible to prevent the generation of blind spots.
各カメラが生成した映像信号は、伝送路の帯域などが制限されているため、符号化された上で伝送される。各カメラの映像を同時に表示させて監視する必要があるため、各カメラに対応する複数の映像信号を多重化して伝送する必要がある。 The video signal generated by each camera is encoded and transmitted because the bandwidth of the transmission path is limited. Since it is necessary to simultaneously display and monitor the video of each camera, it is necessary to multiplex and transmit a plurality of video signals corresponding to each camera.
下記特許文献1には、各カメラから入力される複数のフレーム映像を1系統の圧縮データに変換する映像信号符号化装置が開示されている。
特許文献1に係る映像信号符号化装置は、各カメラから入力されるフレーム映像から符号化しないフレーム映像を間引き、符号化対象のフレーム映像を抽出する。抽出されたフレーム映像は、カメラごとに配列されて、GOP(Group of Pictures)単位で符号化される。これにより、各カメラから入力される複数のフレーム映像が、1系統の圧縮データに変換される。
The video signal encoding apparatus according to
上記特許文献1では、各映像信号を記録媒体に長時間記録することを目的としており、各カメラの映像をリアルタイムに伝送することを想定していない。
The above-mentioned
上述したように、上記特許文献1に係る映像信号符号化装置は、符号化対象のフレーム映像を抽出する。映像信号符号化装置は、GOPを生成できる数の符号化対象のフレーム映像を抽出するまで、圧縮データを生成することができない。この結果、フレーム映像が映像信号符号化装置に入力されてから圧縮データとして出力されるまでの時間(遅延)が長くなるため、各カメラの映像をリアルタイムに伝送することが困難である。
As described above, the video signal encoding apparatus according to
本発明の目的は、上記問題点に鑑み、複数の画像データから圧縮データを生成する際に生じる遅延を小さくすることができる技術を提供することを目的とする。 In view of the above problems, an object of the present invention is to provide a technique capable of reducing a delay that occurs when compressed data is generated from a plurality of image data.
上記課題を解決するため、請求項1記載の発明は、第1画像データと第2画像データとを圧縮する画像符号化装置であって、設定された区分単位に基づいて、前記第1画像データの第1マクロブロックを区分して第1符号化グループを生成し、前記第2画像データの第2マクロブロックを区分して第2符号化グループを生成するグループ生成部と、第1符号化グループと第2符号化グループとが交互に繰り返されるように、前記第1マクロブロック及び前記第2マクロブロックを符号化する符号化順序を決定する符号化順序決定部と、前記符号化順序に基づいて、第1符号化グループごとに前記第1マクロブロックを符号化し、前記第2符号化グループごとに前記第2マクロブロックを符号化する符号化部と、符号化された前記第1マクロブロック及び前記第2マクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、を備える。
In order to solve the above-mentioned problem, the invention described in
請求項2記載の発明は、請求項1に記載の画像符号化装置において、前記符号化順序決定部は、前記第1マクロブロックの数が前記第2マクロブロックの数よりも多い場合、前記第1符号化グループが連続するように符号化順序を決定することを許可する。 According to a second aspect of the present invention, in the image encoding device according to the first aspect, the encoding order determining unit is configured such that the number of the first macroblocks is greater than the number of the second macroblocks. It is allowed to determine the coding order so that one coding group is continuous.
請求項3記載の発明は、請求項2に記載の画像符号化装置において、前記符号化順序決定部は、前記第1マクロブロックの数と前記第2マクロブロックの数との比率に基づいて、前記符号化順序を決定する。 According to a third aspect of the present invention, in the image coding apparatus according to the second aspect, the coding order determination unit is configured to determine a ratio between the number of the first macroblocks and the number of the second macroblocks. The encoding order is determined.
請求項4記載の発明は、請求項1に記載の画像符号化装置において、前記第1画像データと前記第2画像データとは、フレームレートが互いに異なり、前記符号化順序決定部は、前記第1画像データの第1フレームと前記第2画像データの第2フレームとが同期して入力された場合、前記第1フレームに対応する第1符号化グループと前記第2フレームに対応する第2符号化グループとが交互に繰り返されるように、前記符号化順序を決定する。 According to a fourth aspect of the present invention, in the image coding device according to the first aspect, the first image data and the second image data have different frame rates, and the coding order determining unit When a first frame of one image data and a second frame of the second image data are input in synchronization, a first encoding group corresponding to the first frame and a second code corresponding to the second frame The encoding order is determined such that the encoding group is alternately repeated.
請求項5記載の発明は、請求項1ないし請求項4のいずれかに記載の画像符号化装置において、前記グループ生成部は、前記第1画像データの特性及び前記第2画像データの特性に応じて、前記区分単位を変更する。 According to a fifth aspect of the present invention, in the image encoding device according to any one of the first to fourth aspects, the group generation unit is responsive to the characteristics of the first image data and the characteristics of the second image data. Then, the division unit is changed.
請求項6記載の発明は、請求項1ないし請求項5のいずれかに記載の画像符号化装置において、前記区分単位が、フレーム単位で前記グループ生成部に設定されている。 According to a sixth aspect of the present invention, in the image encoding device according to any one of the first to fifth aspects, the division unit is set in the group generation unit in units of frames.
請求項7記載の発明は、請求項1ないし請求項5のいずれかに記載の画像符号化装置において、前記区分単位が、水平方向に一列に配列されたマクロブロックのライン単位で前記グループ生成部に設定されている。 According to a seventh aspect of the present invention, in the image coding device according to any one of the first to fifth aspects, the group generation unit is configured such that the division unit is a line unit of macroblocks arranged in a line in a horizontal direction. Is set to
請求項8記載の発明は、請求項1ないし請求項5のいずれかに記載の画像符号化装置において、前記区分単位が、マクロブロック単位で前記グループ生成部に設定されている。 According to an eighth aspect of the present invention, in the image encoding device according to any one of the first to fifth aspects, the division unit is set in the group generation unit in units of macroblocks.
請求項9記載の発明は、画像伝送システムであって、請求項1ないし請求項8のいずれかに記載の画像符号化装置と、画像復号化装置と、を備え、前記画像符号化装置は、さらに、前記多重化圧縮データを前記画像復号化装置に送信する送信部、を備え、前記画像復号化装置は、前記多重化圧縮データを受信する受信部と、符号化された前記第1マクロブロックを、受信した前記多重化圧縮データの先頭から順に抽出する逆多重化部と、符号化された前記第1マクロブロックを抽出された順に復号化する復号化部と、前記第1マクロブロックの復号化画像データと、前記第2マクロブロックの復号化画像データとを表示可能となったタイミングに、前記第1マクロブロックの復号化画像データを第1表示装置に出力する出力制御部と、を備える。
The invention according to claim 9 is an image transmission system, comprising the image encoding device according to any one of
請求項10記載の発明は、請求項9に記載の画像伝送システムにおいて、前記逆多重化部は、符号化された前記第1マクロブロック及び前記第2マクロブロックを、前記多重化圧縮データの先頭から順に抽出し、前記復号化部は、符号化された前記第1マクロブロック及び前記第2マクロブロックを抽出された順に復号化する。 According to a tenth aspect of the present invention, in the image transmission system according to the ninth aspect, the demultiplexing unit converts the encoded first macroblock and the second macroblock to the head of the multiplexed compressed data. And the decoding unit decodes the encoded first macroblock and the second macroblock in the order of extraction.
請求項11記載の発明は、請求項10に記載の画像伝送システムにおいて、前記出力制御部は、前記第1マクロブロックの復号化画像データを前記第1表示装置へ出力し、前記第2マクロブロックの復号化画像データを第2表示装置へ出力する。 According to an eleventh aspect of the present invention, in the image transmission system according to the tenth aspect, the output control unit outputs the decoded image data of the first macroblock to the first display device, and the second macroblock. Is output to the second display device.
請求項12記載の発明は、第1〜第N画像データを圧縮する画像符号化装置であって、kを1からNまでの自然数とした場合において、設定された区分単位に基づいて第k画像データの第kマクロブロックを区分して、第k符号化グループを生成するグループ生成部と、第1符号化グループから第n符号化グループまでが交互に繰り返されるように、第1マクロブロックから第nマクロブロックを符号化する符号化順序を決定する符号化順序決定部と、前記符号化順序に基づいて、前記第k符号化グループごとに前記第kマクロブロックを符号化する符号化部と、符号化された前記第kマクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、を備える。 The invention according to claim 12 is an image encoding apparatus for compressing the first to Nth image data, and when k is a natural number from 1 to N, the kth image is based on the set division unit. From the first macroblock to the kth macroblock of data, the group generation unit that generates the kth coding group and the first coding group to the nth coding group are alternately repeated. an encoding order determining unit that determines an encoding order for encoding n macroblocks; an encoding unit that encodes the kth macroblock for each kth encoding group based on the encoding order; A multiplexing unit that arranges the encoded k-th macroblocks in the encoded order to generate multiplexed compressed data.
本発明に係る画像符号化装置は、第1画像データのうち第1符号化グループに対応するデータと、第2画像データのうち第2符号化グループに対応するデータとが入力されていれば、第1画像データ及び第2画像データの符号化を開始できる。したがって、第1画像データ及び第2画像データの符号化に伴う遅延を短くすることができる。 The image encoding device according to the present invention, if data corresponding to the first encoding group among the first image data and data corresponding to the second encoding group among the second image data are input, Encoding of the first image data and the second image data can be started. Accordingly, it is possible to shorten the delay associated with the encoding of the first image data and the second image data.
本発明に係る画像伝送システムにおいて、画像復号化装置は、符号化された第1マクロブロックを多重化圧縮データから抽出された順に復号化する。第1符号化グループの符号化された第1マクロブロックを全て受信することなく復号化を開始できるため、画像復号化装置は、復号化に伴う遅延を短縮することができる。画像復号化装置は、第1マクロブロック及び第2マクロブロックの両方の復号画像データを表示可能となったときに、第1マクロブロックの復号画像データを表示装置に出力する。これにより、第1画像データ及び第2画像データを同期表示することが可能となる。 In the image transmission system according to the present invention, the image decoding apparatus decodes the encoded first macroblock in the order extracted from the multiplexed compressed data. Since decoding can be started without receiving all the encoded first macroblocks of the first encoding group, the image decoding apparatus can shorten the delay associated with decoding. The image decoding device outputs the decoded image data of the first macroblock to the display device when the decoded image data of both the first macroblock and the second macroblock can be displayed. Thereby, the first image data and the second image data can be displayed synchronously.
以下、図面を参照しつつ本発明の実施の形態について説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[第1の実施の形態]
{1.画像伝送システムの全体構成}
図1は、本発明の実施の形態に係る画像伝送システムの構成を示す図である。図1に示す画像伝送システム100は、カメラ1a,1bと、画像符号化装置2と、監視装置4a,4bとを備える。画像伝送システム100は、金融機関の店舗に設けられたATMコーナーをリアルタイムに監視するシステムである。
[First Embodiment]
{1. Overall configuration of image transmission system}
FIG. 1 is a diagram showing a configuration of an image transmission system according to an embodiment of the present invention. An image transmission system 100 shown in FIG. 1 includes
カメラ1a,1bは、ATMコーナーを異なる角度から撮影できるように取り付けられる。カメラ1a,1bは、ATMコーナーの様子を撮影して、非圧縮画像データ31a,31bを生成する。画像符号化装置2は、カメラ1a,1bとともに、ATMコーナーに設置される。画像符号化装置2には、非圧縮画像データ31a,31bのフレームが同期して入力される。画像符号化装置2は、非圧縮画像データ31a,31bの符号化及び多重化を行って、多重化圧縮データ33を生成する。多重化圧縮データ33は、無線通信網などを介して、ATMコーナーを監視するモニタ室へ送信される。
The
監視装置4a,4bは、モニタ室に設置され、多重化圧縮データ33を受信する。監視装置4a,4bは、多重化圧縮データ33に対して逆多重化及び復号化処理を行って、カメラ1a,1bに対応する映像を表示する。カメラ1a,1bは、同じ場所(ATMコーナー)を異なる角度から撮影している。このため、カメラ1a,1bの映像を表示するタイミングがずれないように、監視装置4a,4bは、カメラ1a,1bの映像を同期して表示させる。モニタ室に常駐する監視員は、監視装置4a,4bに表示される映像をモニタして、ATMコーナーを監視する。
The
本実施の形態では、カメラ1a,1bの両者の映像を監視装置4aのモニタに表示させる例を中心に説明する。カメラ1aの映像を監視装置4aに表示させ、カメラ1bの映像を監視装置4bに表示させる例については、後述する。
In the present embodiment, a description will be made mainly on an example in which the images of both the
画像符号化装置2は、非圧縮画像データ31aのマクロブロックを設定された区分単位に基づいて区分して、一つ以上のマクロブロックで構成されるマクロブロックグループ(以下、「MBグループ」と呼ぶ。)を生成する。画像符号化装置2は、区分単位に基づいて非圧縮画像データ31bのマクロブロックを区分して、MBグループを生成する。画像符号化装置2は、非圧縮画像データ31a,31bのMBグループを符号化する符号化順序を決定する。画像符号化装置2は、符号化順序に従って、非圧縮画像データ31a,31bのマクロブロックをMBグループごとに符号化する。符号化されたマクロブロックがMBグループごとに配列されることにより、多重化圧縮データ33が生成される。
The image encoding device 2 classifies the macroblocks of the
画像符号化装置2は、非圧縮画像データ31a,31bのうち、MBグループに対応する画像が入力されれば、非圧縮画像データ31a,31bの符号化を開始することができる。非圧縮画像データ31a,31bの符号化が開始されるまでの時間が短縮されるため、監視装置4a、4bにカメラ1a,1bの映像が表示されるまでの遅延を短縮することができる。
The image encoding device 2 can start encoding of the
{2.画像符号化装置2の詳細}
以下、画像符号化装置2の構成及び動作について詳しく説明する。
{2. Details of Image Encoding Device 2}
Hereinafter, the configuration and operation of the image encoding device 2 will be described in detail.
{2.1.画像符号化装置2の構成}
図2は、画像符号化装置2の機能的構成を示すブロック図である。図2に示すように、画像符号化装置2は、符号化制御部21と、符号化部22と、多重化部23と、通信部24とを備える。
{2.1. Configuration of Image Encoding Device 2}
FIG. 2 is a block diagram illustrating a functional configuration of the image encoding device 2. As illustrated in FIG. 2, the image encoding device 2 includes an
符号化制御部21は、非圧縮画像データ31a,31bのマクロブロックを符号化する順序を決定する。符号化制御部21は、グループ生成部211と、符号化順序決定部212とを備える。
The
グループ生成部211は、非圧縮画像データ31a,31bのマクロブロックを、設定された区分単位に基づいて区分して、MBグループを生成する。
The
符号化順序決定部212は、非圧縮画像データ31a,31bの各マクロブロックを符号化する符号化順序を、MBグループごとに決定する。このとき、非圧縮画像データ31aのMBグループ(第1MBグループ)と、非圧縮画像データ31bのMBグループ(第2MBグループ)とが、交互に繰り返されるように符号化順序が決定される。
The encoding
符号化部22は、非圧縮画像データ31a,31bを、決定された符号化順序に基づいてMBグループごとに符号化する。非圧縮画像データ31a,31bの符号化には、例えば、H.264あるいはMPEG2などの符号化方式が用いられる。
The
多重化部23は、符号化された非圧縮画像データ31a,31bのマクロブロックを符号化された順に配列することにより、多重化圧縮データ33を生成する。
The multiplexing
通信部24は、多重化圧縮データ33に対して誤り訂正信号の付加、及びデジタル変調などを行う。通信部24は、デジタル変調された多重化圧縮データ33を、無線通信を利用して監視装置4a,4bに送信する。
The
{2.2.グループ生成部211の処理内容}
グループ生成部211の処理内容について説明する。図3は、非圧縮画像データ31a,31bのマクロブロックの構成を示す図である。図3に示すように、非圧縮画像データ31a,31bが、24個のマクロブロックで構成されている。非圧縮画像データ31a,31bのフレームレートは、同一であるとする。
{2.2. Processing contents of group generation unit 211}
Processing contents of the
非圧縮画像データ31a,31bは、横6個×縦4個のマクロブロックで構成されている。非圧縮画像データ31aのマクロブロックには、左上から右下に向かってMa0〜Ma23の番号が付与されている。非圧縮画像データ31bのマクロブロックには、左上から右下に向かってMb0〜Mb23の番号が付与されている。
The
グループ生成部211には、非圧縮画像データ31a,31bのマクロブロックの区分に用いられる区分単位が設定されている。非圧縮画像データ31a,31bのマクロブロックが区分単位に基づいて区分されることにより、MBグループが生成される。
In the
区分単位として、フレーム、マクロブロックライン、及びマクロブロックのいずれかを設定することができる。マクロブロックライン(以下、「MBライン」と呼ぶ。)は、非圧縮画像データ31a,31bの横方向に一列に並ぶ複数のマクロブロックにより構成される。後述するように、区分単位は、フレーム、MBライン、及びマクロブロックに限定されない。
Any one of a frame, a macroblock line, and a macroblock can be set as the division unit. The macro block line (hereinafter referred to as “MB line”) is composed of a plurality of macro blocks arranged in a line in the horizontal direction of the
区分単位としてフレームが設定されていた場合、非圧縮画像データ31aのマクロブロックMa0〜Ma23が、第1MBグループとして区分される。非圧縮画像データ31bのマクロブロックMb0〜Mb23が、第2MBグループとして区分される。
When a frame is set as a segmentation unit, the macroblocks Ma0 to Ma23 of the
区分単位としてMBラインが設定されていた場合、マクロブロックMa0〜Ma23は、第1MBグループとしてMBラインLa1,La2,La3,La4のいずれかに区分される。マクロブロックMb0〜Mb23は、第2MBグループとしてMBラインLb1,Lb2,Lb3,Lb4のいずれかに区分される。 When the MB line is set as the division unit, the macroblocks Ma0 to Ma23 are divided into any of the MB lines La1, La2, La3, and La4 as the first MB group. Macroblocks Mb0 to Mb23 are divided into MB lines Lb1, Lb2, Lb3, and Lb4 as the second MB group.
区分単位としてマクロブロックが設定されていた場合、マクロブロックMa0〜Ma23のそれぞれが第1MBグループとして区分される。マクロブロックMb0〜Mb23のそれぞれが第2MBグループとして区分される。 When a macroblock is set as a partition unit, each of the macroblocks Ma0 to Ma23 is partitioned as the first MB group. Each of the macro blocks Mb0 to Mb23 is divided as the second MB group.
区分単位は、一つ以上のマクロブロックによりMBグループが構成されるように設定されていればよい。たとえば、区分単位として4個のマクロブロックが設定されている場合、非圧縮画像データ31aのマクロブロックMa0〜Ma3,Ma4〜Ma7などが、第1MBグループとして区分される。
The partition unit may be set so that the MB group is configured by one or more macroblocks. For example, when four macroblocks are set as a division unit, the macroblocks Ma0 to Ma3 and Ma4 to Ma7 of the
{2.3.符号化順序決定部212の処理内容}
符号化順序決定部212の処理内容について説明する。上述したように、符号化順序決定部212は、マクロブロックの符号化順序を決定する。
{2.3. Processing contents of encoding order determination unit 212}
Processing contents of the encoding
非圧縮画像データ31a,31bのフレームは、同期がとれた状態で画像符号化装置2に入力される。同期して入力された非圧縮画像データ31a,31bのフレームが、決定された符号化順序に従ってMBグループごとに符号化される。
The frames of the
以下、第1MBグループ及び第2MBグループが、フレーム単位、MBライン単位及びマクロブロック単位で生成された場合における、MBグループの符号化順序について説明する。 Hereinafter, the encoding order of MB groups when the first MB group and the second MB group are generated in units of frames, MB lines, and macroblocks will be described.
図4は、フレーム単位でMBグループが生成された場合における符号化順序を示す図である。この場合、非圧縮画像データ31aのマクロブロックMa0〜Ma23が第1MBグループとして区分される。非圧縮画像データ31bのマクロブロックMb0〜Mb23が第2MBグループとして区分される。
FIG. 4 is a diagram illustrating an encoding order when an MB group is generated in units of frames. In this case, the macro blocks Ma0 to Ma23 of the
符号化順序決定部212は、マクロブロックMa0〜Ma23(第1MBグループ)を最初に符号化した後に、マクロブロックMb0〜Mb23(第2MBグループ)を符号化するように符号化順序を決定する。つまり、同期して入力された非圧縮画像データ31aのフレームFaと、非圧縮画像データ31bのフレームFbとが交互に符号化される。
The encoding
図5は、MBライン単位でMBグループが生成された場合における符号化順序を示す図である。この場合、符号化順序決定部212は、MBラインLa1,Lb1,La2,Lb2,・・・,La4,Lb4の順に符号化されるように、符号化順序を決定する。つまり、非圧縮画像データ31aのMBラインと非圧縮画像データ31bのMBラインとが交互に符号化されるように、符号化順序が決定される。
FIG. 5 is a diagram illustrating an encoding order when MB groups are generated in units of MB lines. In this case, the encoding
図6は、マクロブロック単位でMBグループが生成された場合における符号化順序を示す図である。この場合、符号化順序決定部212は、マクロブロックMa0,Mb0,Ma1,Mb1,Ma2,Mb2,・・・,Mb22,Ma23,Mb23の順に符号化されるように、符号化順序を決定する。つまり、非圧縮画像データ31aのマクロブロックと非圧縮画像データ31bのマクロブロックとが交互に符号化されるように、符号化順序が決定される。
FIG. 6 is a diagram illustrating an encoding order when MB groups are generated in units of macroblocks. In this case, the encoding
このように、符号化順序決定部212は、第1MBグループ及び第2MBグループが交互に符号化されるように、MBグループの符号化順序を決定する。
Thus, the encoding
{2.4.符号化部22及び多重化部23の処理内容}
符号化部22及び多重化部23の処理内容について詳しく説明する。以下、MBライン単位でMBグループが生成された場合を例にして、図5を参照しながら説明する。
{2.4. Processing Contents of
The processing contents of the
符号化制御部21は、MBグループ情報51及び順序情報52を符号化部22に出力する。MBグループ情報51は、第1MBグループ及び第2MBグループを構成するマクロブロックを特定する情報である。順序情報52は、第1MBグループ及び第2MBグループの符号化順序を示す情報である。
The
符号化部22は、順序情報52に基づいて、最初に符号化するMBラインLa1を特定する。符号化部22は、MBラインLa1を構成するマクロブロックMa0〜Ma5をMBグループ情報51に基づいて特定して符号化する。符号化されたマクロブロックMa0〜Ma5は、非圧縮画像データ31aの符号化データ32aとして多重化部23へ出力される。
Based on the order information 52, the
符号化部22は、順序情報52に基づいて、MBラインLa1の次に符号化するMBラインLb1を特定する。符号化部22は、MBラインLb1を構成するマクロブロックMb0〜Mb5をMBグループ情報51に基づいて特定して符号化する。符号化されたマクロブロックMb0〜Mb5は、非圧縮画像データ31bの符号化データ32bとして多重化部23へ出力される。以下、図5に示す順序に従って、MBラインLa2,Lb2,Lb3・・・を構成するマクロブロックが符号化される。
Based on the order information 52, the
多重化部23は、MBグループ情報51を入力する。MBラインLa1に対応する符号化データ32aが、多重化部23に最初に入力される。次に、MBラインLb1に対応する符号化データ32bが、多重化部23に入力される。多重化部23は、入力された順に符号化データ32a,32bを配列して、多重化圧縮データ33を生成する。
The multiplexing
図7は、多重化圧縮データ33の構成を示す模式図である。多重化圧縮データ33は、ストリームヘッダ34と、ストリームデータSa1,Sb1,Sa2,・・・とを備える。ストリームヘッダ34は、多重化圧縮データ33の再生時に使用する制御情報などを含む。
FIG. 7 is a schematic diagram showing the configuration of the multiplexed
ストリームデータSa1,Sb1,Sa2,・・・は、MBラインLa1,Lb1,La2,・・・に対応する。ストリームデータSa1において、符号化データ32aは、MBラインLa1のマクロブロックMa0〜Ma5が符号化されたデータである。ストリームデータSa1のグループヘッダ35は、MBグループ情報51に基づいて生成され、非圧縮画像データ31aの識別情報と、MBラインLa1を特定する情報とを含む。
The stream data Sa1, Sb1, Sa2,... Correspond to the MB lines La1, Lb1, La2,. In the stream data Sa1, the encoded
ストリームデータSb1において、符号化データ32bは、MBラインLb1のマクロブロックMb0〜Mb5が符号化されたデータである。グループヘッダ35は、非圧縮画像データ31bの識別情報と、MBラインLb1を特定する情報とを含む。
In the stream data Sb1, the encoded
このように、MBグループごと符号化されたマクロブロックが符号化順に配列されることにより、多重化圧縮データ33が生成される。多重化部23は、符号化データ32a,32bが入力されるたびにストリームデータを生成する。生成されたストリームデータは、多重化圧縮データ33として監視装置4a,4bへ順次送信される。画像符号化装置2は、非圧縮画像データ31a,31bのうちMBグループに対応するデータが入力されていれば、非圧縮画像データ31a,31bの符号化を開始することができる。したがって、非圧縮画像データ31a,31bの符号化に伴って発生する遅延を短縮することができる。
In this way, the multiplexed
MBグループがフレーム単位で構成された場合、及びマクロブロック単位で構成された場合における符号化部22及び多重化部23の処理は、符号化データ32a,32bがフレーム単位またはマクロブロック単位で生成される点を除いて上記と同様である。
When the MB group is configured in units of frames and in the case of being configured in units of macroblocks, the
{3.監視装置4aの詳細}
監視装置4a,4bは、多重化圧縮データ33を受信する。監視装置4a,4bは、受信した多重化圧縮データ33の逆多重化及び復号化を行って、カメラ1a,1bに対応する復号化データを生成する。これにより、カメラ1a,1bの映像が、監視装置4aに表示される。監視装置4aは、カメラ1a,1bの映像が同期して表示されるように、カメラ1a,1bに対応する復号化データの表示タイミングを制御する。
{3. Details of
The
上述したように、監視装置4aがカメラ1a,1bが撮影した映像を同期して表示するケースを例として、監視装置4aの詳細を説明する。監視装置4bの構成及び動作は、監視装置4aと同様であるため、その詳細な説明を省略する。
As described above, the details of the
{3.1.監視装置4aの構成}
図8は、監視装置4aの機能的構成を示すブロック図である。監視装置4aは、通信部41と、逆多重化部42と、復号化部43と、表示制御部44と、表示部45とを備える。
{3.1. Configuration of
FIG. 8 is a block diagram showing a functional configuration of the
通信部41は、無線通信を利用して、多重化圧縮データ33を受信する。逆多重化部42は、多重化圧縮データ33を逆多重化する。カメラ1a,1bに対応する符号化データ32a,32bと、グループヘッダ35とが、多重化圧縮データ33から抽出される。
The
復号化部43は、符号化データ32a,32bを復号化して復号化データ36a,36bを生成する。復号化データ36aは、非圧縮画像データ31aの第1MBグループを構成するマクロブロックの復号画像に対応する。復号化データ36bは、非圧縮画像データ31bの第2MBグループを構成するマクロブロックの復号画像に対応する。
The
表示制御部44は、多重化圧縮データ33に含まれるグループヘッダ35に基づいて、復号化データ36a、36bを表示部45に表示するタイミングを制御する。
The
{3.2.表示タイミングの制御}
監視装置4aにおいて、復号化部43の数は一つであるため、符号化データ32a,32bは、同時に復号化されない。復号化部43は、符号化データ32a、32bを交互に符号化する。
{3.2. Display timing control}
In the
具体的には、通信部41は、多重化圧縮データ33を継続的に受信している。監視装置4aは、ストリームデータSa1,Sb1,・・・(図7参照)を受信するたびに、符号化データ32a,32bを抽出して復号化する。図7に示すように、多重化圧縮データ33において、符号化データ32a,32bは、生成された順に交互に配列されている。したがって、符号化データ32a,32bは、画像符号化装置2により符号化された順に復号化される。
Specifically, the
上述したように、カメラ1a,1bが生成した非圧縮画像データ31a,31bのフレームは、同期して画像符号化装置2に入力される。監視装置4a,4bでカメラ1a,1bの映像をリアルタイムに表示する場合、復号化データ36a,36bを同期して表示部45に表示する必要がある。
As described above, the frames of the
しかし、復号化部43が符号化データ32a,32bを交互に復号化して復号化データ36a,36bを生成するため、復号化データ36a,36bを表示部45に表示可能となるタイミングにずれが生じる。このため、表示制御部44は、復号化データ36a,36bが同期して表示部45に表示されるように、復号化データ36a,36bを復号化部43から出力するタイミングを制御する。
However, since the
以下、復号化データ36a,36bの表示タイミングを、図9を用いて、MBグループの区分単位ごとに詳しく説明する。
Hereinafter, the display timing of the decoded
図9は、符号化データ32a,32bが復号化される期間を、MBグループを生成した区分単位ごとに示した図である。図9において、上から順に、フレーム単位、MBライン単位、及び一つのマクロブロック単位のMBグループを示している。太い実線は、符号化データ32a,32bが復号化される期間を示す。図9において、マクロブロックの符号の表示を一部省略している。
FIG. 9 is a diagram illustrating a period in which the encoded
符号化データ32a,32bの復号化に要する時間(MB復号化時間)は、全てのマクロブロックで同じであると仮定する。MB復号化時間は、1マクロブロックの復号画像を表示部45に表示するために必要な時間(MB表示時間)よりも短いと仮定する。
It is assumed that the time required for decoding the encoded
(フレーム単位でMBグループが生成された場合)
フレーム単位でMBグループが生成された場合、非圧縮画像データ31aのフレームFa、非圧縮画像データ31bのフレームFbの順に符号化される(図4参照)。このため、フレームFaに対応する符号化データ32aは、時刻T0〜T7の期間に最初に復号化される。符号化データ32aの復号化が終了した時刻T7の時点で、フレームFaは、表示部45に表示されない。これは、フレームFa,Fbを同期して監視装置4aの表示部45に表示させるためである。
(When MB group is generated in frame units)
When an MB group is generated in units of frames, encoding is performed in the order of the frame Fa of the
フレームFbに対応する符号化データ32bの復号化は、時刻T7から開始される。フレームFbの先頭マクロブロック(マクロブロックMb0)の復号化が終了する時刻T8において、表示制御部44は、復号化データ36a,36bの出力を復号化部43に指示する。この理由は、MB復号化時間がMB表示時間よりも短いため、マクロブロックMb0の復号化が終了した後に、符号化データ32bの復号化と、マクロブロックMb1〜Mb23の復号画像の表示とを並行して行うことが可能となるためである。
Decoding of the encoded
したがって、カメラ1a,1bの映像の同期表示は、時刻T8から開始される。フレーム単位でMBグループが生成された場合、多重化圧縮データ33の復号化に伴って発生する遅延時間は、T8−T0(ミリ秒)となる。
Therefore, the synchronous display of the images of the
(MBライン単位でMBグループが生成された場合)
上述したように、非圧縮画像データ31aのMBラインLa1〜La4と、非圧縮画像データ31bのMBラインLb1〜Lb4は、MBラインLa1,Lb1,La2,Lb2,・・・の順に符号化される(図5参照)。このため、MBラインLa1に対応する符号化データ32aが最初に復号化される。次に、MBラインLb1に対応する符号化データ32bが復号化される。
(When MB group is created in MB line unit)
As described above, the MB lines La1 to La4 of the
図9に示すように、MBラインLa1に対応する符号化データ32aは、時刻T0〜T3の期間に復号化される。MBラインLa1,Lb1を同期表示するため、表示制御部44は、時刻T3の時点で、MBラインLa1を表示部45に表示されない。
As shown in FIG. 9, the encoded
MBラインLb1に対応する符号化データ32bの復号化は、時刻T3から開始される。MBラインLb1の先頭マクロブロック(マクロブロックMb0)の復号化が終了する時刻T4に、表示制御部44は、MBラインLa1,Lb1に対応する復号化データ36a,36bの出力を復号化部43に指示する。この理由は、時刻T8にフレームFa,Fbの表示を開始する理由と同じである。カメラ1a,1bの映像の同期表示は、時刻T4に開始される。以下、他のMBラインの同期表示が、同様に実行される。MBライン単位でMBグループが生成された場合、多重化圧縮データ33の復号化に伴って発生する遅延時間は、T4−T0(ミリ秒)となる。
Decoding of the encoded
(マクロブロック単位でMBグループが構成された場合)
上述したように、非圧縮画像データ31aのマクロブロックMa0,Ma1,・・・と、非圧縮画像データ31bのマクロブロックMb0,Mb1,・・・とが交互に符号化される(図6参照)。このため、マクロブロックMa0に対応する符号化データ32aが最初に復号化される。次に、マクロブロックMb0に対応する符号化データ32bが復号化される。
(When MB group is configured in macro block units)
As described above, the macroblocks Ma0, Ma1,... Of the
図9に示すように、マクロブロックMa1に対応する符号化データ32aは、時刻T0〜T1の期間に復号化される。マクロブロックMa0,Mb0を同期表示するため、表示制御部44は、時刻T1の時点で、マクロブロックMa0を表示部45に表示させない。
As shown in FIG. 9, the encoded
マクロブロックMb0に対応する符号化データ32bの復号化は、時刻T1から開始される。表示制御部44は、マクロブロックMb0の復号化が終了する時刻T2に、マクロブロックMa0,Mb0に対応する復号化データ36a,36bの出力を復号化部43に指示する。したがって、カメラ1a,1bの映像の同期表示は、時刻T2に開始される。以下、他のマクロブロックの同期表示が、同様に実行される。この結果、多重化圧縮データ33の復号化に伴って発生する遅延時間は、T2−T0(ミリ秒)となる。
Decoding of the encoded
図9に示すように、MBグループの区分単位が細かくなるにつれて、同期表示が開始されるまでの時間が短くなる。つまり、区分単位を細かくすることにより、カメラ1a,1bの映像が表示部45に表示されるまでの遅延時間を短くすることができる。区分単位を細かく設定した場合、多重化圧縮データ33から符号化データ32a,32bを抽出する回数が増加する。このように、区分単位を細かく設定した場合、逆多重化処理などでオーバーヘッドが増加するため、監視装置4aの負荷が増加する。
As shown in FIG. 9, as the MB group division unit becomes finer, the time until the synchronous display starts becomes shorter. That is, by making the division unit fine, the delay time until the images of the
このため、画像符号化装置2は、非圧縮画像データ31a,31bの特性に応じて区分単位を設定することが望ましい。グループ生成部211が、非圧縮画像データ31a,31bの動きの大きさを検出し、検出した動きの大きさに基づいて区分単位を変更してもよい。非圧縮画像データ31a,31bが動きの大きい画像であれば、画像符号化装置2は、リアルタイム性を重視して、区分単位としてマクロブロックを設定する。非圧縮画像データ31a,31bが動きの少ない画像であれば、監視装置4aの負荷を小さくするために、区分単位としてフレームを設定する。非圧縮画像データ31a,31bの動きが中間程度であれば、区分単位としてMBラインを設定すればよい。また、カメラ1a,1bが非圧縮画像データ31a,31bとともに、区分単位を指定する情報を画像符号化装置2に出力してもよい。
For this reason, it is desirable that the image encoding device 2 sets the division unit according to the characteristics of the
本実施の形態では、監視装置4aがカメラ1a,1bの両者の映像を表示する例を説明した。しかし、監視装置4aにカメラ1aの映像のみを表示させ、監視装置4bにカメラ1bの映像のみを表示させることも可能である。この場合であっても、上述の表示タイミングの制御が実行されることにより、監視装置4a,4bにおいて、カメラ1a,カメラ1bの映像を同期表示することが可能となる。
In the present embodiment, the example in which the
たとえば、MBライン単位で非圧縮画像データ31a,31bが符号化されていた場合、監視装置4aの表示部45には、時刻T4からMBラインLa1の表示が開始される。監視装置4bの表示部45には、時刻T4からMBラインLb1の表示が開始される。監視装置4a,4bで符号化データ32a,32bの復号化をそれぞれ行うことにより、カメラ1a,1bの映像を同期表示することができる。したがって、同期表示のために監視装置4a,4bの間で通信等を行わなくてもよい。
For example, when the
監視装置4aは、表示対象のカメラに対応する符号化データの復号化のみを行ってもよい。監視装置4aは、符号化データの復号化が終了し、かつ1個のマクロブロックの復号化が終了した時間が経過した後に、復号化データを表示部45に表示させればよい。
The
[第2の実施の形態]
以下、本発明の第2の実施の形態について説明する。上記第1の実施の形態では、非圧縮画像データ31a,31bのマクロブロック数が同じであるときの処理を説明した。本実施の形態では、非圧縮画像データ31a,31bのフレームレートが同じであるが、マクロブロック数が異なる場合を説明する。以下、上記実施の形態と共通の点についてはその説明を省略する。
[Second Embodiment]
Hereinafter, a second embodiment of the present invention will be described. In the first embodiment, the processing when the number of macroblocks of the
図10は、本実施の形態に係る非圧縮画像データ31a,31bのマクロブロックの構成を示す図である。非圧縮画像データ31aのマクロブロックの構成は、図3と同様である。非圧縮画像データ31bは、横4個×縦3個の12個のマクロブロックMb0〜Mb12で構成されている。つまり、非圧縮画像データ31aのマクロブロック数が、非圧縮画像データ31bのマクロブロック数の2倍(整数倍)となっている。
FIG. 10 is a diagram showing a configuration of macroblocks of
{MBグループの構成}
フレーム単位及びマクロブロック単位でMBグループが生成される場合、MBグループの生成処理は、上記第1の実施の形態と同様である。
{MB group structure}
When MB groups are generated in frame units and macro block units, the MB group generation processing is the same as in the first embodiment.
MBライン単位でMBグループが生成される場合、MBグループは、画像サイズが小さい非圧縮画像データ31bのMBラインに合わせて生成される。非圧縮画像データ31bのMBラインにおいて、マクロブロックの数は4個である。図10において、実線は、非圧縮画像データ31a,31bのマクロブロックがMBライン単位で区分された状態を示す。非圧縮画像データ31aのMBグループ(第1MBグループ)と、非圧縮画像データ31bのMBグループ(第2MBグループ)とは、4個のマクロブロックにより構成されていることがわかる。
When an MB group is generated in units of MB lines, the MB group is generated according to the MB line of the
{MBグループの符号化順序の決定}
図10に示す非圧縮画像データ31a,31bのMBグループの符号化順序について、区分単位ごとに説明する。
{Determination of coding order of MB group}
The encoding order of the MB groups of the
MBグループがフレーム単位で生成された場合、上記実施の形態と同様に、フレームFa,Fbが交互に符号化されるように符号化順序が決定される。 When the MB group is generated in units of frames, the encoding order is determined so that the frames Fa and Fb are encoded alternately as in the above embodiment.
MBグループがマクロブロック単位またはMBライン単位で生成された場合、符号化順序決定部212は、非圧縮画像データ31a,31bのマクロブロック数の比率に基づいて、符号化順序を決定する。以下、MBグループがマクロブロック単位で生成されたケースを例にして符号化順序について説明する。
When the MB group is generated in units of macroblocks or MB lines, the encoding
図11は、図10に示す非圧縮画像データ31a,31bのMBグループをマクロブロック単位で生成した場合における符号化順序を示す図である。図11に示すように、符号化順序決定部212は、マクロブロックMa0,Ma1,Mb0,Ma2,Ma3,Mb1,・・・の順に符号化されるように、符号化順序を決定する。つまり、2個の第1MBグループが符号化された後に、1個の第2MBグループが符号化される。
FIG. 11 is a diagram illustrating an encoding order when the MB groups of the
非圧縮画像データ31aと非圧縮画像データ31bとのマクロブロックの比率が2:1である(図10参照)。このため、符号化順序決定部212は、第1MBグループと第2MBグループとが2:1の比率で符号化されるように、符号化順序を決定する。ただし、マクロブロック数の少ない非圧縮画像データ31bの第2MBグループは、連続して符号化されないことが条件となる。
The ratio of macroblocks between
監視装置4aでは、マクロブロックMa0,Ma1に対応する符号化データ32aが最初に復号化される。次に、マクロブロックMb0に対応する符号化データ32bが復号化される。マクロブロックMb0(第2MBグループの先頭マクロブロック)の復号化が終了したときに、復号化されたマクロブロックMa0,Ma1,Mb0が表示部45に表示される。これにより、監視装置4aでカメラ1a,1bの映像を同期表示させる場合に、カメラ1a,1bの映像フレームの表示が開始される時間と、映像フレームの表示が完了する時間とを揃えることができる。
In the
{マクロブロックの比率が整数倍でない場合}
本実施の形態では、非圧縮画像データ31aのマクロブロック数が、非圧縮画像データ31bのマクロブロック数の整数倍である場合を説明した。しかし、非圧縮画像データ31aのマクロブロック数が、非圧縮画像データ31bのマクロブロック数の整数倍でなくてもよい。
{When the ratio of macroblocks is not an integer multiple}
In the present embodiment, the case where the number of macroblocks of the
図12は、非圧縮画像データ31a,31bのマクロブロックの構成を示す図である。非圧縮画像データ31aのマクロブロックの構成は、図3と同様である。非圧縮画像データ31bは、横5個×縦3個の15個のマクロブロックMb0〜Mb14で構成されている。非圧縮画像データ31aのマクロブロックの数は、非圧縮画像データ31bのマクロブロック数の整数倍となっていない。
FIG. 12 is a diagram illustrating a configuration of macroblocks of
図13は、図12に示す非圧縮画像データ31a,31bのMBグループをマクロブロック単位で生成した場合における、符号化順序を示す図である。図13に示すように、符号化順序は、マクロブロックMa0,Ma1,Mb0,Ma2,Mb1,Ma3,・・・の順となっている。つまり、マクロブロック数の少ない非圧縮画像データ31bのMBグループが連続して符号化されることのないように、符号化順序が決定される。
FIG. 13 is a diagram showing an encoding order when the MB group of the
[第3の実施の形態]
以下、本発明の第3の実施の形態について説明する。上記第1の実施の形態では、非圧縮画像データ31a,31bのフレームレートが同じであるケースを説明した。本実施の形態では、非圧縮画像データ31a,31bのフレームレートが異なる場合における、MBグループの符号化順序の決定について説明する。符号化順序の決定以外の処理については、上記実施の形態と同様である。
[Third Embodiment]
Hereinafter, a third embodiment of the present invention will be described. In the first embodiment, the case where the frame rates of the
図14は、非圧縮画像データ31a,31bの各フレームが画像符号化装置2に入力されるタイミングを示す図である。非圧縮画像データ31aのフレームレートを60fps、非圧縮画像データ31bのフレームレートを30fpsとする。
FIG. 14 is a diagram illustrating the timing at which each frame of the
図14に示すように、時刻T0,Tf,2Tfにおいて、非圧縮画像データ31aのフレームFaと、非圧縮画像データ31bのフレームFbとが同期して画像符号化装置2に入力される。時刻0.5Tf,1.5Tf,2.5Tfに、フレームFaのみが画像符号化装置2に入力される。ここで、フレームFbに同期しているフレームFaを、フレームFa0とする。フレームFbと同期しないフレームFaを、フレームFa1とする。
As shown in FIG. 14, at times T0, Tf, and 2Tf, the frame Fa of the
図15は、非圧縮画像データ31a,31bのフレームレートが異なる場合における、符号化順序の一例を示す図である。図15は、MBライン単位でMBグループが生成された場合における符号化順序を示している。
FIG. 15 is a diagram illustrating an example of an encoding order when the frame rates of the
まず、符号化順序決定部212は、同期して入力されたフレームFa0,FbがMBラインごとに交互に符号化されるように、MBラインの符号化順序を決定する。具体的には、フレームFa0に対応するMBラインLa1が最初に符号化される。次に、フレームFbに対応するMBラインLb1が符号化される。以下、フレームFa0,FbのMBラインが交互に符号化される。
First, the encoding
フレームFbのMBラインMb4の符号化が終了した後に、フレームFa1のMBラインLa1〜La4が符号化される。この結果、同期して画像符号化装置2に入力されたフレームFa0,Fbを、監視装置4a,4bで同期して表示させることができる。
After the encoding of the MB line Mb4 of the frame Fb is completed, the MB lines La1 to La4 of the frame Fa1 are encoded. As a result, the frames Fa0 and Fb input to the image encoding device 2 in synchronization can be displayed in synchronization on the
[第4の実施の形態]
以下、本発明の第4の実施の形態について説明する。本実施の形態において、画像伝送システム100は、監視装置4a,4bに代えて、モニタ管理装置6を用いる。
[Fourth Embodiment]
Hereinafter, a fourth embodiment of the present invention will be described. In the present embodiment, the image transmission system 100 uses a
図16は、モニタ管理装置6の機能的構成を示すブロック図である。モニタ管理装置6及びモニタ61a,61bは、カメラ1a,1bが設置されたATMコーナーを遠隔監視するモニタ室に設置される。モニタ管理装置6と、モニタ61a,61bとは、映像伝送用のケーブルで接続されている。
FIG. 16 is a block diagram showing a functional configuration of the
モニタ管理装置6は、通信部41と、逆多重化部42と、復号化部43と、出力制御部62とを備える。モニタ管理装置6は、多重化圧縮データ33を受信し、多重化圧縮データ31の逆多重化及び復号化を行う。多重化圧縮データ33の逆多重化及び復号化は、上記実施の形態と同様に行われる。
The
出力制御部62は、カメラ1aに対応する復号化データ36aをモニタ61aに出力し、カメラ1bに対応する復号化データ36bをモニタ61bに出力する。このとき、出力制御部42は、監視装置4a,4bと同様に、カメラ1a,1bに表示される映像が同期するように、復号化データ36a,36bを出力するタイミングを制御する。このように、モニタ管理装置6を用いることによって、カメラ1a,1bの映像を複数のモニタに同期して表示させることができる。
The
上記実施の形態では、二つの画像データ(非圧縮画像データ31a,31b)が画像符号化装置2に入力される例を説明した。しかし、画像符号化装置2に入力される非圧縮画像データの数は、三つ以上でもよい。この場合、入力された非圧縮画像データごとにMBグループが生成される。画像符号化装置は、各非圧縮画像データのMBグループが順番に符号化されるように符号化順序を決定する。
In the above-described embodiment, an example in which two pieces of image data (
上記実施の形態では、フレームが同期した非圧縮画像データ31a,31bがカメラ1a,1bから画像符号化装置2に入力される例を説明した。しかし、画像符号化装置2が、自装置の内部で、フレームが同期した非圧縮画像データ31a,31bを生成してもよい。
In the above-described embodiment, an example in which
1a,1b カメラ
2 画像符号化装置
4a,4b 監視装置
6 モニタ管理装置
21 符号化制御部
22 符号化部
23 多重化部
24,41 通信部
42 逆多重化部
43 復号化部
44 表示制御部
45 表示部
61a,61b モニタ
62 出力制御部
211 グループ生成部
212 符号化順序決定部
DESCRIPTION OF
Claims (12)
設定された区分単位に基づいて、前記第1画像データの第1マクロブロックを区分して第1符号化グループを生成し、前記第2画像データの第2マクロブロックを区分して第2符号化グループを生成するグループ生成部と、
第1符号化グループと第2符号化グループとが交互に繰り返されるように、前記第1マクロブロック及び前記第2マクロブロックを符号化する符号化順序を決定する符号化順序決定部と、
前記符号化順序に基づいて、第1符号化グループごとに前記第1マクロブロックを符号化し、前記第2符号化グループごとに前記第2マクロブロックを符号化する符号化部と、
符号化された前記第1マクロブロック及び前記第2マクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、
を備える画像符号化装置。 An image encoding device that compresses first image data and second image data,
Based on the set segmentation unit, the first macroblock of the first image data is segmented to generate a first encoding group, and the second macroblock of the second image data is segmented to perform second encoding. A group generation unit for generating a group;
An encoding order determining unit that determines an encoding order for encoding the first macroblock and the second macroblock so that the first encoding group and the second encoding group are alternately repeated;
An encoding unit for encoding the first macroblock for each first encoding group and encoding the second macroblock for each second encoding group based on the encoding order;
A multiplexing unit that arranges the encoded first macroblock and the second macroblock in the order of encoding to generate multiplexed compressed data;
An image encoding device comprising:
前記符号化順序決定部は、前記第1マクロブロックの数が前記第2マクロブロックの数よりも多い場合、前記第1符号化グループが連続するように符号化順序を決定することを許可する画像符号化装置。 The image encoding device according to claim 1,
The encoding order determining unit allows an image to be determined to determine the encoding order so that the first encoding groups are continuous when the number of the first macroblocks is larger than the number of the second macroblocks. Encoding device.
前記符号化順序決定部は、前記第1マクロブロックの数と前記第2マクロブロックの数との比率に基づいて、前記符号化順序を決定する画像符号化装置。 The image encoding device according to claim 2,
The encoding order determination unit is an image encoding device that determines the encoding order based on a ratio between the number of the first macroblocks and the number of the second macroblocks.
前記第1画像データと前記第2画像データとは、フレームレートが互いに異なり、
前記符号化順序決定部は、前記第1画像データの第1フレームと前記第2画像データの第2フレームとが同期して入力された場合、前記第1フレームに対応する第1符号化グループと前記第2フレームに対応する第2符号化グループとが交互に繰り返されるように、前記符号化順序を決定する画像符号化装置。 The image encoding device according to claim 1,
The first image data and the second image data have different frame rates,
When the first frame of the first image data and the second frame of the second image data are input in synchronization with each other, the encoding order determination unit includes a first encoding group corresponding to the first frame, An image coding apparatus that determines the coding order so that a second coding group corresponding to the second frame is alternately repeated.
前記グループ生成部は、前記第1画像データの特性及び前記第2画像データの特性に応じて、前記区分単位を変更する画像符号化装置。 The image encoding device according to any one of claims 1 to 4,
The group generation unit is an image encoding device that changes the division unit in accordance with characteristics of the first image data and characteristics of the second image data.
前記区分単位が、フレーム単位で前記グループ生成部に設定されている画像符号化装置。 The image encoding device according to any one of claims 1 to 5,
The image encoding device in which the division unit is set in the group generation unit in frame units.
前記区分単位が、水平方向に一列に配列されたマクロブロックのライン単位で前記グループ生成部に設定されている画像符号化装置。 The image encoding device according to any one of claims 1 to 5,
The image coding apparatus in which the division unit is set in the group generation unit in units of macroblock lines arranged in a line in the horizontal direction.
前記区分単位が、マクロブロック単位で前記グループ生成部に設定されている画像符号化装置。 The image encoding device according to any one of claims 1 to 5,
The image coding apparatus in which the division unit is set in the group generation unit in units of macroblocks.
画像復号化装置と、
を備え、
前記画像符号化装置は、さらに、
前記多重化圧縮データを前記画像復号化装置に送信する送信部、
を備え、
前記画像復号化装置は、
前記多重化圧縮データを受信する受信部と、
符号化された前記第1マクロブロックを、受信した前記多重化圧縮データの先頭から順に抽出する逆多重化部と、
符号化された前記第1マクロブロックを抽出された順に復号化する復号化部と、
前記第1マクロブロックの復号化画像データと、前記第2マクロブロックの復号化画像データとを表示可能となったタイミングに、前記第1マクロブロックの復号化画像データを第1表示装置に出力する出力制御部と、
を備える画像伝送システム。 An image encoding device according to any one of claims 1 to 8,
An image decoding device;
With
The image encoding device further includes:
A transmission unit for transmitting the multiplexed compressed data to the image decoding device;
With
The image decoding device includes:
A receiver for receiving the multiplexed compressed data;
A demultiplexer that sequentially extracts the encoded first macroblock from the beginning of the received multiplexed compressed data;
A decoding unit for decoding the encoded first macroblock in the order of extraction;
The decoded image data of the first macroblock is output to the first display device at a timing when the decoded image data of the first macroblock and the decoded image data of the second macroblock can be displayed. An output control unit;
An image transmission system comprising:
前記逆多重化部は、符号化された前記第1マクロブロック及び前記第2マクロブロックを、前記多重化圧縮データの先頭から順に抽出し、
前記復号化部は、符号化された前記第1マクロブロック及び前記第2マクロブロックを抽出された順に復号化する画像伝送システム。 The image transmission system according to claim 9, wherein
The demultiplexing unit sequentially extracts the encoded first macroblock and the second macroblock from the beginning of the multiplexed compressed data,
The said decoding part is an image transmission system which decodes the encoded said 1st macroblock and the said 2nd macroblock in the order extracted.
前記出力制御部は、前記第1マクロブロックの復号化画像データを前記第1表示装置へ出力し、前記第2マクロブロックの復号化画像データを第2表示装置へ出力する画像伝送システム。 The image transmission system according to claim 10.
The output control unit outputs the decoded image data of the first macroblock to the first display device, and outputs the decoded image data of the second macroblock to the second display device.
kを1からNまでの自然数とした場合において、設定された区分単位に基づいて第k画像データの第kマクロブロックを区分して、第k符号化グループを生成するグループ生成部と、
第1符号化グループから第n符号化グループまでが交互に繰り返されるように、第1マクロブロックから第nマクロブロックを符号化する符号化順序を決定する符号化順序決定部と、
前記符号化順序に基づいて、前記第k符号化グループごとに前記第kマクロブロックを符号化する符号化部と、
符号化された前記第kマクロブロックを、符号化された順に配列して多重化圧縮データを生成する多重化部と、
を備える画像符号化装置。
An image encoding device for compressing first to Nth image data,
When k is a natural number from 1 to N, a group generation unit that partitions the kth macroblock of the kth image data based on the set partitioning unit and generates the kth coding group;
An encoding order determining unit that determines an encoding order for encoding the n-th macroblock from the first macroblock so that the first encoding group to the n-th encoding group are alternately repeated;
An encoding unit that encodes the k-th macroblock for each k-th encoding group based on the encoding order;
A multiplexing unit that arranges the encoded k-th macroblocks in the order of encoding to generate multiplexed compressed data;
An image encoding device comprising:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010040314A JP5444040B2 (en) | 2010-02-25 | 2010-02-25 | Image coding apparatus and image transmission system |
PCT/JP2011/050970 WO2011105137A1 (en) | 2010-02-25 | 2011-01-20 | Apparatus for encoding images and system for transmitting images |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010040314A JP5444040B2 (en) | 2010-02-25 | 2010-02-25 | Image coding apparatus and image transmission system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013242287A Division JP5688443B2 (en) | 2013-11-22 | 2013-11-22 | Image coding apparatus and image transmission system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011176709A true JP2011176709A (en) | 2011-09-08 |
JP5444040B2 JP5444040B2 (en) | 2014-03-19 |
Family
ID=44506559
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010040314A Expired - Fee Related JP5444040B2 (en) | 2010-02-25 | 2010-02-25 | Image coding apparatus and image transmission system |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5444040B2 (en) |
WO (1) | WO2011105137A1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107613301B (en) * | 2017-10-17 | 2020-05-26 | 苏州浪潮智能科技有限公司 | Image processing method and device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11346370A (en) * | 1998-06-02 | 1999-12-14 | Matsushita Electric Ind Co Ltd | Encoding method, encoder, decoding method, decoder and recording medium |
JP2002034047A (en) * | 2000-07-18 | 2002-01-31 | Pioneer Electronic Corp | Method and device for coding image, method and device for coding information, image recording device, and image recording medium |
JP2003259315A (en) * | 2002-02-28 | 2003-09-12 | Matsushita Electric Ind Co Ltd | Apparatus and method for transmitting image |
JP2005184419A (en) * | 2003-12-19 | 2005-07-07 | Hitachi Ltd | Video signal encoder and video signal recorder |
JP2005223413A (en) * | 2004-02-03 | 2005-08-18 | Sony Corp | Transmission / reception system, transmitter, receiver, and information processing method |
-
2010
- 2010-02-25 JP JP2010040314A patent/JP5444040B2/en not_active Expired - Fee Related
-
2011
- 2011-01-20 WO PCT/JP2011/050970 patent/WO2011105137A1/en active Application Filing
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH11346370A (en) * | 1998-06-02 | 1999-12-14 | Matsushita Electric Ind Co Ltd | Encoding method, encoder, decoding method, decoder and recording medium |
JP2002034047A (en) * | 2000-07-18 | 2002-01-31 | Pioneer Electronic Corp | Method and device for coding image, method and device for coding information, image recording device, and image recording medium |
JP2003259315A (en) * | 2002-02-28 | 2003-09-12 | Matsushita Electric Ind Co Ltd | Apparatus and method for transmitting image |
JP2005184419A (en) * | 2003-12-19 | 2005-07-07 | Hitachi Ltd | Video signal encoder and video signal recorder |
JP2005223413A (en) * | 2004-02-03 | 2005-08-18 | Sony Corp | Transmission / reception system, transmitter, receiver, and information processing method |
Also Published As
Publication number | Publication date |
---|---|
WO2011105137A1 (en) | 2011-09-01 |
JP5444040B2 (en) | 2014-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4421940B2 (en) | Moving picture coding apparatus and method, and moving picture decoding apparatus and method | |
US11044437B2 (en) | Method and system for combining multiple area-of-interest video codestreams into a combined video codestream | |
JPH11205696A (en) | Video transmitting device and video transmitting method | |
JP2003102009A (en) | Multi-channel video signal encoding apparatus and method | |
CN103929657A (en) | Video multiplexing apparatus, video multiplexing method, multiplexed video decoding apparatus, and multiplexed video decoding method | |
CN107113447A (en) | High frame rate low frame rate rate transmission technology | |
JP6244642B2 (en) | Encoding device, decoding device, encoding method, decoding method, and program | |
CN102780881A (en) | Encoder, decoder, encoder system, decoder system, encoding method, decoding method, transmission adapter, and imaging apparatus | |
JP2011029969A (en) | Video monitor display device and video monitoring system | |
JP5172874B2 (en) | Video synchronization apparatus, video display apparatus, video synchronization method, and program | |
JP5444040B2 (en) | Image coding apparatus and image transmission system | |
US20130083847A1 (en) | Moving image compression encoding apparatus, method, and control program | |
JP5688443B2 (en) | Image coding apparatus and image transmission system | |
JP2005110113A (en) | Multi-visual point image transmission system and method, multi-visual point image compression apparatus and method, and multi-visual point image decompression apparatus, method and program | |
JPH11239347A (en) | Image data coder and image data coding method | |
JP4258063B2 (en) | Data transmission device | |
JP5451487B2 (en) | Image encoding device | |
JPH1013825A (en) | Multi-screen display system | |
JP5635673B2 (en) | Image encoding device | |
WO2009098763A1 (en) | Video processor, video processing method and video processing program | |
JP2006050491A (en) | Multichannel image codec apparatus | |
JPH0993586A (en) | Image signal multiplex coding and decoding device | |
JP5442688B2 (en) | Moving picture coding apparatus and method, and moving picture decoding apparatus and method | |
KR100270327B1 (en) | Video signal input device with surveillance function of video encoder | |
JP3871217B2 (en) | Video receiver |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130924 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131122 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5444040 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |