【０００１】
【発明の属する技術分野】
本発明は画像信号処理方法および装置に関し、特に複数の映像信号を圧縮符号化して出力する画像信号処理方法および装置に関する。
【０００２】
【従来の技術】
複数の映像信号を圧縮符号化して単一伝送路を介して伝送したい場合がある。図５は、従来の一般的な画像信号処理装置のブロック図である。この画像信号処理装置１００は、複数の映像信号１〜ｎが入力され符号化部１０１−１〜１０１−ｎ、これら符号化部１０１を制御する符号化制御信号を出力する符号化制御部１０２、符号化部１０１により符号化された信号を多重化する多重化部１０３、多重化部１０３を制御する多重化制御部１０４、多重化部１０３で多重化された画像（映像）信号を伝送する伝送路１０５、この伝送路１０５で伝送された画像信号を復号する復号化部１０６により構成されている。
【０００３】
ここで、多重化部１０３は、複数の符号化部１０１−１〜１０１−ｎにより符号化された画像信号を１つの符号化信号に多重化される。その際に、多重化制御部１０４から出力される制御信号に従って各符号化部１０１の出力信号にプログラムＩＤ（識別信号）を付ける。そして、復号化部１０６では、どの符号化部１０１で符号化された信号であるかを識別可能にする。多重化部１０３から出力される多重化信号は、伝送路１０５を介して復号化部１０６に入力されるが、復号化部１０６では、チャネル選択信号に従って該当するプログラムＩＤの信号のみを抽出し、符号化部１０１側での処理に対応した復号化処理を行い、映像信号として出力可能に構成されている。
【０００４】
斯かる技術分野における又は関連する多くの従来技術が知られている。ＶＴＲの特殊再生等において複数の画面を合成して表示する映像合成装置が開示されている（例えば、特許文献１参照。）。また、多地点から送られてくる映像符号化データを、画像合成回路を用いて１つの画面に合成してから可変長復号する映像信号多重化復号化装置が開示されている（例えば、特許文献２参照。）。更に、圧縮符号化された大画面の画像信号に対して復号化・符号化処理の反復を回避し、高画質を保持する画像符号変換方式が開示されている（例えば、特許文献３参照。）。
【０００５】
【特許文献１】
特開２００１−１５７１３８号公報（第４−６頁、第１図）
【特許文献２】
特開平４−３１７２８５号公報（第３頁、第１図）
【特許文献３】
特開平９−２１４９７０号公報（第３−４頁、第１図）
【０００６】
【発明が解決しようとする課題】
上述の如き従来技術には、幾つかの課題があった。先ず、装置が高価になることである。その理由は、入力される映像の数に対応する符号化部が必要になり且つ複数の符号化された信号を単一の伝送路で伝送するための多重化部が必要になるためである。
【０００７】
更に、各映像の符号化処理の効率が悪く且つ効率を改善するには複雑なシステムを必要とすることである。その理由は、一般に伝送路の帯域は固定である。伝送する映像信号数が多いと、それぞれビットレートを割り当てて、各符号化部は、割り当てられたビットレートの範囲で符号化処理を行う。即ち、動きの激しいスポーツ等の映像も、動きの少ない風景等の映像も同じビットレートで符号化処理する場合も想定されるが、スポーツ映像ではビットレートが不足して画質劣化が発生し、風景映像では必要以上のビットレートが割り当てられて、設定ビットレートを満たすために無駄なダミーデータを伝送するという非効率な状況が発生する可能性があるからである。また、この事態を防止するには、入力映像を予め管理してきめ細かく符号化部のビットレートを設定するか又は入力映像の特性を自動的に判断して各符号化部にビットレートを割り当てる、所謂統計多重符号化等の複雑なシステムを必要とするからである。
【０００８】
【発明の目的】
本発明は、従来技術の上述した課題に鑑みなされたものであり、斯かる課題を解消又は軽減可能な画像信号処理方法および装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
前述の課題を解決するため、本発明による画像信号処理方法および装置は、次のような特徴的な構成を採用している。
【００１０】
（１）複数の映像信号を圧縮符号化して伝送する画像信号処理方法において、前記複数の映像信号を単一画面に画面合成し、該合成された画像信号を符号化して伝送する画像信号処理方法。
【００１１】
（２）前記符号化は、前記各映像信号の性質に応じて量子化の細かさ等を制御する上記（１）の画像信号処理方法。
【００１２】
（３）更に、前記伝送された画像信号を復号して出力映像を得る上記（１）又は（２）の画像信号処理方法。
【００１３】
（４）前記伝送された画像信号の復号は、選択されたチャネルのみについて行う上記（３）の画像信号処理方法。
【００１４】
（５）前記単一画面に合成された画面データのうち有効な映像領域以外を黒データとする上記（１）、（２）、（３）又は（４）の画像信号処理方法。
【００１５】
（６）前記符号化は、前記合成された画像信号又は前記複数の映像信号から選択された信号を切替えて行う上記（１）乃至（５）の何れかの画像信号処理方法。
【００１６】
（７）複数の映像信号を符号化して伝送路を介して伝送し復号化して出力映像を得る画像信号処理装置において、
前記複数の映像信号を１つの画面に合成する画面合成部と、該画面合成部で合成された画像信号を符号化する符号化部と、前記伝送路を介して伝送され前記符号化部で符号化された画像信号を選択的に復号する復号化部とを備える画像信号処理装置。
【００１７】
（８）前記符号化部は、前記画像信号をＭＰＥＧ等の圧縮符号化する上記（７）の画像信号処理装置。
【００１８】
（９）前記符号化部は、前記画面合成部に前記複数の映像信号の画面をどのように配置したかの位置情報が入力される符号化制御部により制御される上記（７）又は（８）の映像信号処理装置。
【００１９】
【発明の実施の形態】
以下、本発明による画像信号処理方法および装置の好適実施形態の構成および動作を、添付図面を参照して詳細に説明する。
【００２０】
先ず、図１は、本発明による画像信号符号化伝送装置の好適実施形態の構成を示すブロック図である。図１に示す画像信号処理装置１０は、複数の映像信号１〜ｎが入力される画面合成部１１、この画面合成部１１で合成された信号を符号化する符号化部１２、この符号化部１２を制御する符号化制御部１３、符号化部１２で符号化された信号を伝送する伝送路１４および伝送路１４を介して伝送された信号を復号する復号化部１５により構成される。
【００２１】
本発明による画像信号処理装置１０は、入力される複数の映像信号（映像１、映像２、・・・、映像ｎ）を、画面合成部１１にて予め１つの大画面映像信号に変換されることを特徴とする。ここで、大画面映像に変換する具体例を、図２を参照して説明する。図２において、画面２０は、大きさが水平方向Ｘおよび垂直方向Ｙの映像である。ここでは、画面２０の中に、画面２１、２２、２３、２４および２５の５種類の映像を合成した例を示している。画面２１は、画面２０内での（ａｘ１、ａｙ１）の座標から（ａｘ２、ａｙ２）の座標までに配置される。同様に、画面２２は、画面２０内での（ｂｘ１、ｂｙ１）の座標から（ｂｘ２、ｂｙ２）の座標までに配置される。画面２３は、画面２０内での（ｃｘ１、ｃｙ１）の座標から（ｃｘ２、ｃｙ２）の座標までに配置される。画面２４は、画面２０内での（ｄｘ１、ｄｙ１）の座標から（ｄｘ２、ｄｙ２）の座標までに配置される。そして、画面２５は、画面２０内での（ｅｘ１、ｅｙ１）の座標から（ｅｘ２、ｅｙ２）の座標までに配置される。このように、画面２０のサイズの範囲内に、複数の画面２１〜２５を配置し、１つの画面２０の映像信号として合成するものである。尚、大画面２０のうち、画像が含まれない領域（図２中の右側の余白部）は、黒データとして、有効映像領域以外に必要な符号量を最小にするのが好ましい。
【００２２】
再度、図１を参照して、本発明による画像信号処理装置１０について更に説明する。画面合成部１１にて合成された映像信号は、符号化部１２に入力される。また、画面をどのように配置したかの位置情報は、符号化制御部１３に入力される。符号化部１２に入力された映像信号は、圧縮符号化処理される。圧縮符号化の方法は、例えばＭＰＥＧ２（Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−２）方式等である。
【００２３】
ここで、符号化部１２の具体例として、ＭＰＥＧ２の圧縮符号化の構成について、図３を参照して説明する。図３に示す符号化部３０は、減算部５１、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）部５２、量子化部５３、可変長符号化部５４、バッファ５５、逆量子化部５６、逆ＤＣＴ部５７、動き検出部５８、動き補償部５９、フレーム遅延部６０および加算部６１により構成される。
【００２４】
この符号化部３０において、画像データは、減算部５１および動き検出部５８に接続されている。減算部５１は入力画像データと、動き補償部５９から出力される１フレーム前のデータとの間の差分信号を生成し、ＤＣＴ部５２に出力する。ＤＣＴ部５２は、離散コサイン変換処理を行い、画像の差分データを周波数成分に変換して変換係数データを出力する。ＤＣＴ部５２の出力は、量子化部５３に入力される。
【００２５】
量子化部５３では、符号化制御信号を用いて変換係数データを量子化し、量子化データを可変長符号化部５４および逆量子化部５６に出力する。符号化制御信号は、例えば量子化の細かさを制御するＱパラメータ等である。可変長符号化部５４は、量子化データに対してハフマン符号等を用いて可変長符号化し、入力される符号化制御信号や映像配置情報信号、動き検出部５８から供給される動ベクトル信号と共に予め規定されたフォーマットに変換し出力する。可変長符号化部５４の出力は、バッファ部５５に入力される。バッファ部５５では、フレーム毎に変動する符号量を目標となる符号量で平滑化して、圧縮データとして出力する。
【００２６】
一方、逆量子化部５６では、量子化データを逆量子化し、変換係数データに戻す処理を行っている。但し、量子化部５３での量子化処理によって失われる成分があるので、逆量子化処理によって戻される変換係数データは、ＤＣＴ部５２の出力と全く同じ変換係数データに戻るわけではない。その失われる成分は、量子化誤差と呼ばれ、これが画質の劣化となる。逆量子化部５６の出力は、逆ＤＣＴ部５７に入力され、離散コサイン逆変換が行われる。逆ＤＣＴ部５７の出力は、加算部６１に入力されて、動き補償部５９から出力される１フレーム前のデータと加算処理が行われ、画像信号に戻される。その画像信号は、上述の量子化誤差を含んでおり、復号側と同じ画質の画像データであることから局部復号データと呼ばれる。加算部６１から出力される局部復号データは、フレーム遅延部６０に入力され、１フレーム遅延が行われる。１フレーム遅延された局部復号データは、動き補償部５９に入力される。
【００２７】
動き補償部５９では、動き検出部５８から出力される動きベクトル等の動き情報を使用して入力画像データで動きのある部分の位置に、局部復号データの位置を一致させる処理を行う。これは、減算部５１において、動きがある部分でも大きな差分データが出ないようにするために行っている。動き補償部５９から出力されるデータは、減算部５１および加算部６１に入力される。また、動き検出部５８は、入力画像データを蓄積し、それぞれの画面で動きの大きさおよび方向等を検出して動きベクトルとして、動き補償部５９および可変長符号化部５４に接続されている。以上の構成により、入力の映像信号を圧縮することが可能になる。
【００２８】
図１において、符号化制御部１３では、符号化部１２での圧縮符号化処理の制御を行う。この際、例えば符号化制御部１３に入力される設定情報により、出力のビットレートが設定される。また、画面合成部１１から出力される各映像の配置情報により、各映像の特性に応じた符号化を行なう等である。即ち、設定ビットレートにより、符号化部１２の内部における量子化の細かさを制御し又は特定の映像入力の画質を上げたい場合に、その映像が配置されている場所のみ量子化を細かくする等の制御を行なう。
【００２９】
以上の方法で符号化された符号化信号は、伝送路１４を経て復号化部１５に入力される。復号化部１５では、入力される符号化信号に対して、圧縮符号化方式に対応して復号化して映像信号を出力する。このときチャンネル選択信号に従った映像信号のみを出力する。
【００３０】
次に、復号化部１５の具体例を、図４を参照して説明する。図４に示す複号化部４０は、バッファ７１、可変長復号化部７２、逆量子化部７３、逆ＤＣＴ部７４、加算部７５、動き補償部７６、フレーム遅延部７７および領域選択部７８により構成される。
【００３１】
この複号化部４０において、入力される符号化データは、バッファ部７１に入力される。バッファ部７１では、伝送路１４のビットレートで平滑化された符号を、フレーム毎に変動する符号に変換する。バッファ部７１から出力される符号データは、可変長復号化部７２で、符号化部側に対応した復号化処理がなされる。可変長復号化部７２では、量子化データ、符号化制御信号、動ベクトル信号および映像配置情報信号に変換し、それぞれ逆量子化部７３、動き補償部７６および領域選択部７８に入力される。
【００３２】
逆量子化部７３では、符号化制御信号を用いて量子化データを逆量子化し、変換係数データに戻す処理を行っている。逆量子化部７３の出力は、逆ＤＣＴ部７４に入力され、離散コサイン逆変換が行われる。逆ＤＣＴ部７４の出力は、加算部７５に入力されて、動き補償部７６から出力される１フレーム前のデータと加算処理が行われ、復号データに戻される。その復号データは、符号化部側での局部復号データと同じものになる。加算部７５から出力される復号データは、フレーム遅延部７７および領域選択部７８に入力される。
【００３３】
フレーム遅延部７７では、復号データの１フレーム遅延が行われる。１フレーム遅延された復号データは、動き補償部７６に入力される。この動き補償部７６では、可変長復号化部７２から出力される動きベクトル等の動き情報を使い、動きに応じて画面内で復号データの位置を変える処理を行う。動き補償部７６から出力されるデータは、加算部７５に戻される。また、領域選択部７８では、チャンネル選択信号に従った映像を、映像配置情報信号が示す位置から抜き出して、映像信号として出力する。以上の構成により、符号化データの復号化処理が可能になる。
【００３４】
以上、図１において複数映像を１つの画面に合成する本発明の好適実施形態について説明した。次に、本発明の他の実施形態又は変形例について説明する。１つの大画面映像をそのまま符号化処理する場合と複数の映像信号から選択された信号を切替えて符号化部１２で符号化することも可能である。例えば、時間帯によって、ハイビジョン（ＨＤＴＶ）映像を１画面で符号化して伝送し又は標準ＴＶ（ＳＤＴＶ）映像を４画面合成して符号化して伝送するといった使用形態にも本発明を適用可能である。
【００３５】
また、図３の符号化部および図４の復号化部について、ここではＭＰＥＧ２方式を具体例として説明したが、ＭＰＥＧ２以外の圧縮符号化方式、例えばＪＰＥＧ方式、ＭＰＥＧ１方式、ＭＰＥＧ４方式等の映像符号化方式でも適用することが可能である。また、動画像のみならず、静止画像の伝送にも適用可能である。
【００３６】
更に、上述した実施形態においては、画面合成した映像の配置情報を符号化データに多重して伝送する例について説明したが、予め配置する位置を規定しておいて映像の配置情報の伝送を省略することも可能である。また、インターネット等の別の伝送手段を使用して伝送してもよい。
【００３７】
更にまた、上述の好適実施形態では、復号化部側で任意のチャンネルを選択する例について説明したが、符号化側にて特定チャンネルの映像位置の情報も重畳して伝送し、復号化部側で強制的にその位置の情報を出力することも可能である。例えば、災害等の臨時映像を伝送し、臨時映像伝送時は優先的にその映像を出力したい場合等に適用可能である。また、上述の好適実施形態では、装置として説明しているが、ソフトウェアで同様の処理を行うことも可能である。
【００３８】
以上、本発明の実施形態の構成および動作を詳述した。しかし、斯かる実施形態は、本発明の単なる例示に過ぎず、何ら本発明を限定するものではない。本発明の要旨を逸脱することなく、特定用途に応じて種々の変形変更が可能であること、当業者には容易に理解できよう。
【００３９】
【発明の効果】
以上の説明から理解される如く、本発明によると、次の如き実用上の顕著な効果が得られる。先ず、装置のコストが大幅に低減可能である。その理由は、単一の符号化部（又は手段）により複数の映像信号を一気に符号化することにより、映像信号毎に符号化部を設ける必要がなくなるからである。また、複数の符号化部の出力の符号化データを１つにまとめるための多重化部も不要になるからである。
【００４０】
更に、各映像信号に対する圧縮符号化品質を、常に良好にすることが可能である。その理由は、例えば入力映像１が激しい動きの多いスポーツ映像であり、入力映像２が殆ど動きのない風景映像である場合には、画面内の符号化困難な箇所に優先的にビットを割り当て、符号両がそれほど必要でない風景映像には少ない符号を割り当てることで、全体的に効率のより符号化が可能であるからである。
【図面の簡単な説明】
【図１】本発明による画像信号符号化伝送装置の基本構成を示すブロック図である。
【図２】図１に示す画像信号符号化伝送装置における合成画像の具体例を示す図である。
【図３】図１に示す画像信号符号化伝送装置を構成する符号化部の具体例を示すブロック図である。
【図４】図１に示す画像信号符号化伝送装置を構成する復号化部の具体例を示すブロック図である。
【図５】従来の画像信号符号化伝送装置の構成を示すブロック図である。
【符号の説明】
１０ 画像信号処理装置
１１ 画面合成部
１２、３０ 符号化部
１３ 符号化制御部
１４ 伝送路
１５、４０ 復号化部
２０ 合成画面[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image signal processing method and apparatus, and more particularly, to an image signal processing method and apparatus for compressing and encoding a plurality of video signals and outputting the resulting signals.
[0002]
[Prior art]
There are cases where a plurality of video signals are desired to be compression-encoded and transmitted via a single transmission path. FIG. 5 is a block diagram of a conventional general image signal processing device. The image signal processing apparatus 100 includes a plurality of video signals 1 to n that are input, encoding units 101-1 to 101-n, an encoding control unit 102 that outputs an encoding control signal for controlling the encoding units 101, A multiplexing unit 103 that multiplexes the signal encoded by the encoding unit 101, a multiplexing control unit 104 that controls the multiplexing unit 103, and a transmission that transmits an image (video) signal multiplexed by the multiplexing unit 103. The transmission path 105 includes a decoding unit 106 for decoding an image signal transmitted through the transmission path 105.
[0003]
Here, the multiplexing unit 103 multiplexes the image signals encoded by the plurality of encoding units 101-1 to 101-n into one encoded signal. At this time, a program ID (identification signal) is added to an output signal of each encoding unit 101 according to a control signal output from the multiplexing control unit 104. Then, the decoding unit 106 makes it possible to identify which encoding unit 101 the signal is encoded. The multiplexed signal output from the multiplexing unit 103 is input to the decoding unit 106 via the transmission path 105. The decoding unit 106 extracts only the signal of the corresponding program ID according to the channel selection signal. It is configured to perform decoding processing corresponding to the processing on the encoding unit 101 side and output it as a video signal.
[0004]
Many prior arts in or related to such arts are known. 2. Description of the Related Art A video synthesizing apparatus for synthesizing and displaying a plurality of screens in a special reproduction of a VTR or the like has been disclosed (for example, see Patent Document 1). Also, there is disclosed a video signal multiplexing decoding device that combines video encoded data sent from multiple points into one screen using an image synthesis circuit and then performs variable length decoding (for example, Patent Document 1). 2). Further, there is disclosed an image code conversion system which avoids repetition of decoding / encoding processing for a compression-encoded large-screen image signal and maintains high image quality (for example, see Patent Document 3). .
[0005]
[Patent Document 1]
JP 2001-157138 A (Page 4-6, FIG. 1)
[Patent Document 2]
JP-A-4-317285 (page 3, FIG. 1)
[Patent Document 3]
JP-A-9-214970 (page 3-4, FIG. 1)
[0006]
[Problems to be solved by the invention]
The prior art as described above has several problems. First, the equipment is expensive. The reason is that an encoding unit corresponding to the number of input images is required, and a multiplexing unit for transmitting a plurality of encoded signals through a single transmission path is required.
[0007]
Furthermore, the efficiency of the encoding process for each video is low and a complicated system is required to improve the efficiency. The reason is that the bandwidth of the transmission path is generally fixed. If the number of video signals to be transmitted is large, a bit rate is assigned to each, and each encoding unit performs encoding processing within the assigned bit rate. In other words, it is assumed that video such as sports with fast movement and video such as landscape with little motion may be encoded at the same bit rate. This is because there is a possibility that an inefficient situation in which an unnecessary bit rate is assigned to a video and unnecessary dummy data is transmitted to satisfy the set bit rate may occur. To prevent this situation, the input video is managed in advance and the bit rate of the encoding unit is set finely or the characteristics of the input video are automatically determined and the bit rate is assigned to each encoding unit. This is because a complicated system such as so-called statistical multiplex coding is required.
[0008]
[Object of the invention]
The present invention has been made in view of the above-described problems of the related art, and has as its object to provide an image signal processing method and apparatus capable of solving or reducing such problems.
[0009]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, an image signal processing method and apparatus according to the present invention employ the following characteristic configurations.
[0010]
(1) An image signal processing method for compressing and encoding a plurality of video signals and transmitting the plurality of video signals on a single screen, and encoding and transmitting the combined image signal. .
[0011]
(2) The image signal processing method according to the above (1), wherein the encoding controls fineness of quantization and the like according to the property of each video signal.
[0012]
(3) The image signal processing method according to (1) or (2) above, wherein the transmitted image signal is decoded to obtain an output video.
[0013]
(4) The image signal processing method according to (3), wherein the decoding of the transmitted image signal is performed only for the selected channel.
[0014]
(5) The image signal processing method according to the above (1), (2), (3) or (4), wherein black data is used for the area other than the effective video area in the screen data synthesized on the single screen.
[0015]
(6) The image signal processing method according to any one of (1) to (5), wherein the encoding is performed by switching the synthesized image signal or a signal selected from the plurality of video signals.
[0016]
(7) In an image signal processing device for encoding a plurality of video signals, transmitting the encoded video signals via a transmission path, and decoding to obtain an output video,
A screen synthesizing unit for synthesizing the plurality of video signals into one screen, an encoding unit for encoding the image signal synthesized by the screen synthesizing unit, and a code transmitted by the transmission path and encoded by the encoding unit. And a decoding unit for selectively decoding the converted image signal.
[0017]
(8) The image signal processing device according to (7), wherein the encoding unit compresses and encodes the image signal by MPEG or the like.
[0018]
(9) The encoding section is controlled by an encoding control section to which positional information on how the plurality of video signal screens are arranged in the screen synthesizing section is input. ) Video signal processing device.
[0019]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, the configuration and operation of a preferred embodiment of an image signal processing method and apparatus according to the present invention will be described in detail with reference to the accompanying drawings.
[0020]
First, FIG. 1 is a block diagram showing a configuration of a preferred embodiment of an image signal encoding and transmitting apparatus according to the present invention. An image signal processing device 10 shown in FIG. 1 includes a screen synthesis unit 11 to which a plurality of video signals 1 to n are input, an encoding unit 12 that encodes a signal synthesized by the screen synthesis unit 11, and an encoding unit An encoder 12 includes an encoding control unit 13 that controls the encoder 12, a transmission path 14 that transmits a signal encoded by the encoding unit 12, and a decoding unit 15 that decodes a signal transmitted via the transmission path 14.
[0021]
The image signal processing apparatus 10 according to the present invention converts a plurality of input video signals (video 1, video 2,..., Video n) into one large-screen video signal in advance by the screen synthesis unit 11. It is characterized by the following. Here, a specific example of conversion to a large screen image will be described with reference to FIG. In FIG. 2, a screen 20 is an image whose size is in the horizontal direction X and the vertical direction Y. Here, an example is shown in which five types of video images 21, 22, 23, 24, and 25 are combined on the screen 20. The screen 21 is arranged from the coordinates (ax1, ay1) to the coordinates (ax2, ay2) on the screen 20. Similarly, the screen 22 is arranged from the coordinates (bx1, by1) to the coordinates (bx2, by2) on the screen 20. The screen 23 is arranged from the coordinates (cx1, cy1) to the coordinates (cx2, cy2) on the screen 20. The screen 24 is arranged from the coordinates (dx1, dy1) to the coordinates (dx2, dy2) on the screen 20. Then, the screen 25 is arranged from the coordinates of (ex1, ey1) to the coordinates of (ex2, ey2) on the screen 20. In this way, a plurality of screens 21 to 25 are arranged within the range of the size of the screen 20, and are combined as a video signal of one screen 20. It is preferable that the area of the large screen 20 that does not include an image (the right margin in FIG. 2) has a minimum code amount other than the effective video area as black data.
[0022]
Referring again to FIG. 1, the image signal processing device 10 according to the present invention will be further described. The video signal synthesized by the screen synthesis unit 11 is input to the encoding unit 12. Further, position information on how the screens are arranged is input to the encoding control unit 13. The video signal input to the encoding unit 12 is subjected to a compression encoding process. The compression encoding method is, for example, the MPEG2 (Motion Picture Experts Group-2) method.
[0023]
Here, as a specific example of the encoding unit 12, a configuration of MPEG2 compression encoding will be described with reference to FIG. The encoding unit 30 illustrated in FIG. 3 includes a subtraction unit 51, a DCT (Discrete Cosine Transform) unit 52, a quantization unit 53, a variable length encoding unit 54, a buffer 55, an inverse quantization unit 56, an inverse DCT unit 57, and a motion. It comprises a detection unit 58, a motion compensation unit 59, a frame delay unit 60, and an addition unit 61.
[0024]
In the encoding unit 30, the image data is connected to a subtraction unit 51 and a motion detection unit 58. The subtraction unit 51 generates a difference signal between the input image data and the data of one frame before output from the motion compensation unit 59, and outputs the difference signal to the DCT unit 52. The DCT unit 52 performs a discrete cosine transform process, converts the difference data of the image into a frequency component, and outputs transform coefficient data. The output of the DCT unit 52 is input to the quantization unit 53.
[0025]
The quantization unit 53 quantizes the transform coefficient data using the coding control signal, and outputs the quantized data to the variable length coding unit 54 and the inverse quantization unit 56. The encoding control signal is, for example, a Q parameter or the like for controlling the degree of quantization. The variable-length coding unit 54 performs variable-length coding on the quantized data using Huffman coding or the like, together with an input coding control signal, a video arrangement information signal, and a motion vector signal supplied from the motion detection unit 58. Convert to a pre-defined format and output. The output of the variable length coding unit 54 is input to the buffer unit 55. The buffer unit 55 smoothes the code amount fluctuating for each frame with a target code amount and outputs it as compressed data.
[0026]
On the other hand, the inverse quantization unit 56 performs a process of inversely quantizing the quantized data and returning it to transform coefficient data. However, since there is a component lost by the quantization process in the quantization unit 53, the transform coefficient data returned by the inverse quantization process does not return to the completely same transform coefficient data as the output of the DCT unit 52. The lost component is called a quantization error, and this causes deterioration in image quality. The output of the inverse quantization unit 56 is input to the inverse DCT unit 57, where the inverse discrete cosine transform is performed. The output of the inverse DCT unit 57 is input to the addition unit 61, where it is added to the data of the previous frame output from the motion compensation unit 59, and is returned to an image signal. The image signal includes the above-described quantization error and is called local decoded data because the image signal has the same image quality as the decoding side. The local decoded data output from the adding unit 61 is input to the frame delay unit 60, and is delayed by one frame. The local decoded data delayed by one frame is input to the motion compensation unit 59.
[0027]
The motion compensator 59 uses the motion information such as the motion vector output from the motion detector 58 to perform a process of matching the position of the local decoded data with the position of the moving part in the input image data. This is performed so that the subtraction unit 51 does not generate large difference data even in a portion where there is movement. Data output from the motion compensation unit 59 is input to the subtraction unit 51 and the addition unit 61. The motion detecting section 58 accumulates the input image data, detects the magnitude and direction of the motion on each screen, and is connected to the motion compensating section 59 and the variable length encoding section 54 as a motion vector. . With the above configuration, it is possible to compress an input video signal.
[0028]
In FIG. 1, an encoding control unit 13 controls a compression encoding process in the encoding unit 12. At this time, for example, the output bit rate is set based on the setting information input to the encoding control unit 13. In addition, encoding according to the characteristics of each video is performed based on the arrangement information of each video output from the screen synthesis unit 11. In other words, if it is desired to control the fineness of the quantization inside the encoding unit 12 or to improve the image quality of a specific video input by the set bit rate, the fine quantization is performed only at the place where the video is arranged. Is controlled.
[0029]
The encoded signal encoded by the above method is input to the decoding unit 15 via the transmission path 14. The decoding unit 15 decodes the input coded signal according to the compression coding method and outputs a video signal. At this time, only the video signal according to the channel selection signal is output.
[0030]
Next, a specific example of the decoding unit 15 will be described with reference to FIG. The decoding unit 40 shown in FIG. 4 includes a buffer 71, a variable length decoding unit 72, an inverse quantization unit 73, an inverse DCT unit 74, an addition unit 75, a motion compensation unit 76, a frame delay unit 77, and an area selection unit 78. It consists of.
[0031]
In this decoding section 40, the input coded data is input to the buffer section 71. The buffer unit 71 converts the code smoothed at the bit rate of the transmission path 14 into a code that varies for each frame. The code data output from the buffer unit 71 is subjected to a decoding process corresponding to the coding unit side in a variable length decoding unit 72. The variable-length decoding unit 72 converts the data into quantized data, an encoding control signal, a motion vector signal, and a video arrangement information signal, and inputs them to the inverse quantization unit 73, the motion compensation unit 76, and the region selection unit 78, respectively.
[0032]
The inverse quantization unit 73 performs a process of inversely quantizing the quantized data using the encoding control signal and returning the data to the transform coefficient data. The output of the inverse quantization unit 73 is input to the inverse DCT unit 74, where the inverse discrete cosine transform is performed. The output of the inverse DCT unit 74 is input to the adding unit 75, where the output of the inverse DCT unit 74 and the data of the previous frame output from the motion compensating unit 76 are added to the decoded data. The decoded data is the same as the local decoded data on the encoding unit side. The decoded data output from the addition unit 75 is input to the frame delay unit 77 and the area selection unit 78.
[0033]
In the frame delay unit 77, the decoded data is delayed by one frame. The decoded data delayed by one frame is input to the motion compensation unit 76. The motion compensator 76 uses the motion information such as the motion vector output from the variable length decoder 72 to perform a process of changing the position of the decoded data in the screen according to the motion. The data output from the motion compensator 76 is returned to the adder 75. In addition, the area selection unit 78 extracts a video according to the channel selection signal from a position indicated by the video arrangement information signal and outputs the video as a video signal. With the above configuration, decoding of encoded data can be performed.
[0034]
The preferred embodiment of the present invention for combining a plurality of videos on one screen has been described above with reference to FIG. Next, another embodiment or modification of the present invention will be described. It is also possible to perform encoding processing on one large-screen video as it is, or to encode by the encoding unit 12 by switching a signal selected from a plurality of video signals. For example, the present invention can be applied to a usage form in which a high-definition (HDTV) video is encoded and transmitted on one screen or a standard TV (SDTV) video is synthesized and encoded and transmitted on four screens depending on a time zone. .
[0035]
Further, the encoding unit in FIG. 3 and the decoding unit in FIG. 4 have been described using the MPEG2 system as a specific example. However, video coding such as the JPEG system, the MPEG1 system, and the MPEG4 system other than the MPEG2 system. It is also possible to apply in a conversion method. Further, the present invention can be applied to transmission of not only moving images but also still images.
[0036]
Further, in the above-described embodiment, an example has been described in which the arrangement information of the video synthesized on the screen is multiplexed with the coded data and transmitted. However, the transmission position of the video is omitted by defining the arrangement position in advance. It is also possible. In addition, transmission may be performed using another transmission means such as the Internet.
[0037]
Furthermore, in the preferred embodiment described above, an example in which an arbitrary channel is selected on the decoding unit side has been described. However, information on the video position of a specific channel is also superimposed on the encoding side and transmitted, and the decoding unit side It is also possible to forcibly output information on the position. For example, the present invention can be applied to a case where a temporary video such as a disaster is transmitted and the video is to be preferentially output during the temporary video transmission. In the above-described preferred embodiment, the apparatus is described as an apparatus, but the same processing can be performed by software.
[0038]
The configuration and operation of the embodiment of the present invention have been described above. However, such an embodiment is merely an example of the present invention, and does not limit the present invention in any way. It will be readily apparent to those skilled in the art that various modifications and changes can be made in accordance with the particular application without departing from the spirit of the invention.
[0039]
【The invention's effect】
As understood from the above description, according to the present invention, the following remarkable practical effects can be obtained. First, the cost of the device can be significantly reduced. The reason is that, by encoding a plurality of video signals at once by a single encoding unit (or means), it is not necessary to provide an encoding unit for each video signal. In addition, a multiplexing unit for combining encoded data output from a plurality of encoding units into one becomes unnecessary.
[0040]
Further, it is possible to always improve the compression coding quality for each video signal. The reason is that, for example, when the input video 1 is a sports video with a lot of violent movement and the input video 2 is a landscape video with almost no motion, bits are preferentially allocated to hard-to-encode portions in the screen, This is because, by assigning a small number of codes to a landscape image in which both codes are not so necessary, more efficient coding can be performed as a whole.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a basic configuration of an image signal encoding and transmitting apparatus according to the present invention.
FIG. 2 is a diagram showing a specific example of a composite image in the image signal encoding and transmitting apparatus shown in FIG.
FIG. 3 is a block diagram illustrating a specific example of an encoding unit included in the image signal encoding and transmitting apparatus illustrated in FIG. 1;
4 is a block diagram illustrating a specific example of a decoding unit included in the image signal encoding and transmitting apparatus illustrated in FIG.
FIG. 5 is a block diagram illustrating a configuration of a conventional image signal encoding and transmitting apparatus.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 10 Image signal processing apparatus 11 Screen synthesis | combination part 12, 30 Encoding part 13 Encoding control part 14 Transmission path 15, 40 Decoding part 20 Synthetic screen
