JP2004007199A

JP2004007199A - Video signal display device

Info

Publication number: JP2004007199A
Application number: JP2002159593A
Authority: JP
Inventors: Atsushi Hori; 堀　淳志; Takehisa Kawaura; 川浦　健央
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2002-05-31
Filing date: 2002-05-31
Publication date: 2004-01-08
Anticipated expiration: 2022-05-31
Also published as: JP3928485B2

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem that it is necessary to transmit different moving videos for each of all pictures at the time of displaying moving images at a moving image window 1015 across a plurality of still pictures, and it is necessary to perform re-coding processing for each picture as a result. <P>SOLUTION: This video signal display device is provided with a picture data generating means (13) for generating N pieces of divided picture data corresponding to N pieces of display devices by dividing the still picture data of one frame and a signal synthesizing means (16) for superimposing moving image data coded by a moving image coding means (12) on M(1 ≤ M ≤ N) pieces of the divided picture data. <P>COPYRIGHT: (C)2004,JPO

Description

【０００１】
【発明の属する技術分野】
この発明は、映像信号を複数に分割して伝送し、複数の画面上に表示する映像信号表示装置に関するものである。
【０００２】
【従来の技術】
図１４は例えば、特開２００１−２６４３１３に示された従来の映像信号表示装置のブロック図である。
この例は、異なる方式（例えば動画と静止画）で伝送された画像信号にかかわる画像を少ない回路規模で表示可能にすることを目的としており、画面全体に表示される静止画の一部に動画を重ねて表示する場合のように、伝送した１画面分の画面データ（例えば静止画）に対して、その一部を例えば動画に書き換える際に、新たに一画面分の静止画および動画のデータを伝送をするのではなく、書き換え部分の画像データのみを伝送するものである。
【０００３】
以下に動作の説明をする。
まず、ＰＣ（パーソナルコンピュータ）１００１が画面の書き換え命令を発行して，画像データ受信部１００２でその書き換え情報を受信する。
次に、フォーマット検出回路１００３が書き換え情報のフォーマット（動画もしくは静止画など）を検出し、この検出結果を制御回路１００４が画像データ生成部１００５に通知する。
画像データ生成部１００５は，静止画像であれば画面内の変更の場所のみを出力処理回路１００６に伝達する。また動画像であれば，動画像の全体を出力処理回路１００６に伝達する。
表示部１００７で書き換えが必要な部分の画像を書き換えることによって，画像の表示を行う。
ここで、動画データはＰＣ１００１によって符号化されており、画像データ生成部１００５で復号されてから出力処理回路１００６に送られる。
【０００４】
【発明が解決しようとする課題】
以上の構成においては、動画信号と静止画信号を分離して側で復号化するが、この構成では図１５のような複数の静止画面に渡る動画ウインドウ１０１５で動画像を表示するには、全ての画面（画面（１）１０１１〜画面（４）１０１４）毎に別々の動映像を送信する必要があり、そのため画面ごとの再符号化処理が必要になるという問題点があった。
【０００５】
この発明は上記のような問題点を解決するためになされたものであり、複数画面にまたがる動画像を表示する映像信号表示装置において、動画信号を一部の静止画面に重畳して送信することにより、複数画面で動画像を表示できるようにすることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る映像信号表示装置は、静止画と動画が合成された元画像をＮ個（Ｎは自然数）の表示装置に分割して表示し、該Ｎ個の表示装置の集合により上記元画像と同一の画像を表示する映像信号表示装置であり、画面データ生成手段と、動画生成手段と、動画符号化手段と、信号合成手段と、信号分離手段と、動画復号化手段と、Ｎ個の表示映像合成手段と、Ｎ個の表示装置とを備え、上記画面データ生成手段は、１フレームの静止画データを分割して上記Ｎ個の表示装置に対応したＮ個の分割画面データを生成し、上記動画生成手段は、動画情報から動画データを生成し、上記動画符号化手段は、上記動画生成手段が生成した動画データを符号化して符号化動画データを生成し、上記信号合成手段は、上記画面データ生成手段が生成したＮ個の分割画面データのうちのＭ個（１≦Ｍ≦Ｎ）に上記符号化動画データを重畳してＭ個の動画重畳分割画面データを生成し、上記信号分離手段は、上記Ｍ個の動画重畳分割画面データのそれぞれからＭ個の上記分割画面データと上記符号化動画データとを分離し、上記動画復号化手段は、上記信号分離手段が分離した符号化動画データを復号して復号動画データを生成し、上記Ｎ個の表示映像合成手段は、該表示映像合成手段のうちのＭ個は上記信号分離手段が分離したＭ個の分割画面データと上記動画復号化手段が生成した復号動画データを合成して合成映像データを生成し、該表示映像合成手段のうちのＮ−Ｍ個は上記画面データ生成手段が生成したＮ個の分割画面データのうちの上記信号合成手段において上記符号化動画データを重畳されなかったＮ−Ｍ個の分割画面データと、上記動画復号化手段が生成した復号動画データを合成して合成映像データを生成し、上記Ｎ個の表示装置は上記Ｎ個の表示映像合成手段のうちの対応する表示映像合成手段から上記合成映像データを受信して表示するものである。
【０００７】
またこの発明に係る映像信号表示装置は、上記信号合成手段において上記分割画面データに重畳される符号化動画データは、上記分割画面データの上記表示装置において表示されない部分に重畳されるようにしたものである。
【０００８】
またこの発明に係る映像信号表示装置は、上記分割画面データの上記表示装置において表示されない部分は、上記表示装置における垂直帰線期間に対応するデータであるようにしたものである。
【０００９】
またこの発明に係る映像信号表示装置は、上記分割画面データの上記表示装置において表示されない部分は、上記表示装置における水平帰線期間に対応するデータであるものである。
【００１０】
またこの発明に係る映像信号表示装置は、動画蓄積手段と読出指示手段とをさらに備え、上記動画蓄積手段は、上記動画符号化手段が生成した符号化動画データを格納し、上記読出指示手段からの指示により符号化動画データを上記信号合成手段に伝送するようにしたものである。
【００１１】
またこの発明に係る映像信号表示装置は、上記動画復号化手段が復号した復号動画データから時間情報を抽出し、上記Ｎ個の表示装置間相互の同期信号として該Ｎ個の表示装置に伝送する複数画面同期手段をさらに備えたものである。
【００１２】
またこの発明に係る映像信号表示装置は、上記元画像における動画の位置と大きさの少なくとも一方を動画位置情報として指定する動画位置情報入力手段をさらに備え、上記信号合成手段は上記符号化動画データとともに上記動画位置情報を上記分割画面データに重畳して動画位置情報重畳分割画面データを生成し、上記信号分離手段は上記動画位置情報重畳分割画面データから上記動画位置情報を分離し、上記動画復号化手段は上記信号分離手段が分離した動画位置情報に基づいて上記復号動画データを各表示映像合成手段に伝送するようにしたものである。
【００１３】
【発明の実施の形態】
実施の形態１．
図１はこの発明の映像信号表示装置を用いたシステムの概略構成図の１例であり、１はパソコン（ＰＣ）であり、図示しない動画取込み用のカメラとマウスを備えている。モニタ２上に静止画とともにカメラで撮影した動画を表示する動画ウインドウ３が開かれてており、この動画ウインドウ３の位置および大きさはマウスにより変更可能である。
また４は４台の表示装置Ａ５Ａ〜表示装置Ｄ５Ｄからなる大画面装置であり、これら４台の表示装置に表示された静止画と動画ウインドウ６とから、パソコン１のモニタ２上の表示と同じ静止画と動画を表示している。
表示装置Ａ５Ａ〜表示装置Ｄ５Ｄは例えばそれぞれ５０インチサイズの表示装置であり、４台で１００インチサイズの大画面装置を形成している。
モニタ２上に表示されている静止画と動画が合成された画像がこの発明における元画像である。
【００１４】
図２は図１の構成の内部構成を示すブロック図である。
図２において、７は動画データおよび静止画データを生成し、所定の処理を行った後、送信する送信側装置、８は上記送信側装置から送信された動画データおよび静止画データに所定の処理を行って表示する受信側装置であり、上記送信側装置７が図１におけるＰＣ、上記受信側装置８が大画面装置に相当する。
【００１５】
図２において、１１はカメラなどの画像入力機器から取りこんだ動画像から動画像データを生成する動画生成手段、１２はこの動画生成手段が生成した動画像データを例えばＭＰＥＧなどの符号化方式で符号化・圧縮し、符号化動画データを生成する動画符号化手段、１３はＷＩＮＤＯＷシステムなどの静止画データ（画面データ）を生成し、複数に分割して、複数の分割画面データを生成する画面データ生成手段であり、この例では静止画データを図１の大画面装置で表示するように、４つの画面データに分割する。
１４はマウスなどであり、表示画面上の動画ウインドウの位置、サイズを変更する動画位置情報入力手段、１５Ａ、１５Ｂ、１５Ｃ、１５Ｄはそれぞれ画面データ生成手段１３が生成した分割画面データを伝送する伝送路であり、このうち、伝送路Ａ１５Ａと伝送路Ｂ１５Ｂは後述の信号分離手段２１に入力され、伝送路Ｃ１５Ｃと伝送路Ｄ１５Ｄは信号合成手段１６に入力される。
【００１６】
１６の信号合成手段は、動画符号化手段１２で生成された符号化動画データと、動画位置情報入力手段１４から入力される動画位置情報とを、伝送路Ｃ１５Ｃ、伝送路Ｄ１５Ｄから伝送されてくる分割画面データに重畳して合成信号（動画重畳分割画面データ、動画位置情報重畳分割画面データ）を生成し、伝送路Ｅ１７Ｅ、伝送路Ｆ１７Ｆを経由して信号分離手段２１に伝送する。
【００１７】
信号分離手段２１は、上記信号合成手段から送信されてくる合成信号から符号化動画データと動画位置情報を抽出し、符号化動画データを復号して復号動画データを生成する動画復号化手段２２に伝送する。また合成信号に含まれている静止画データを表示映像合成手段Ｃ２３Ｃ、表示映像合成手段Ｄ２３Ｄに伝送する。
２３Ａ、２３Ｂ、２３Ｃ、２３Ｄはそれぞれ表示映像合成手段Ａ、表示映像合成手段Ｂ、表示映像合成手段Ｃ、表示映像合成手段Ｄであり、上記画面データ生成手段１３または上記信号分離手段２１から伝送されて来る静止画データと、動画復号化手段２２から伝送されてくる動画データを合成して合成画像データを生成してそれぞれ表示装置Ａ５Ａ、表示装置Ｂ５Ｂ、表示装置Ｃ５Ｃ、表示装置Ｄ５Ｄに伝送し、それぞれの表示装置が画像として表示する。
図２における表示装置Ａ５Ａ〜表示装置Ｄ５Ｄは図１における同じ符号を付した表示装置に相当する。
【００１８】
次に動作について説明する。
まず、動画生成手段１１がカメラなどの画像入力機器から取り込んだ動画像から動画データを生成し、例えば輝度、色差形式のデジタルまたはアナログ信号に変換する。
この動画データは、動画符号化手段１２により解像度に応じた伝送レートで例えばＭＰＥＧ形式で符号化され、符号化動画データ（ＭＰＥＧストリーム）として信号合成手段１６に伝送される。伝送レートに関しての詳細は後述するが、例えば、ＶＧＡの場合には２０Ｍｂｐｓ、ＵＸＧＡの際には６０Ｍｂｐｓ相当の伝送レートとなる。
【００１９】
画面データ生成手段１３は、ＷＩＮＤＯＷシステムなどのＧＵＩを元にプロセッサが静止画データである画面データを生成し、これを４つの表示装置である表示装置Ａ５Ａ〜表示装置Ｄ５Ｄに対応するように４分割して、たとえばＲＧＢ形式のデジタル信号である４つの分割画面データを生成する。
このうち、表示装置Ａ５Ａと表示装置Ｂ５Ｂに対応する分割画面データＡ、分割画面データＢ（図示せず）は、それぞれ伝送路Ａ１５Ａ、伝送路Ｂ１５Ｂにより表示映像合成手段Ａ２３Ａ、表示映像合成手段Ｂ２３Ｂに伝送され、表示装置Ｃ５Ｃ、表示装置Ｄ５Ｄに対応する分割画面データＣ、分割画面データＤ（図示せず）はそれぞれ伝送路Ｃ１５Ｃ、伝送路Ｄ１５Ｄにより信号合成手段１６に伝送される。
【００２０】
操作者は図１に示したパソコン１のモニタ２または大画面装置４を見ながらマウスなどである動画位置情報入力手段１４を操作して、画面上の動画ウインドウ３または動画ウインドウ６の位置やサイズを変化させる。
動画位置情報入力手段１４は、この動画ウインドウの画面上の位置およびサイズをデジタル情報である動画位置情報として信号合成手段１６に伝送する。
【００２１】
信号合成手段は１６は、伝送路Ｃ１５Ｃ、伝送路Ｄ１５Ｄから伝送される分割画面データＣ、分割画面データＤに、動画符号化手段１２から伝送される符号化動画データと動画位置情報入力手段１４から伝送される動画位置情報を重畳する。
符号化動画データは例えばＭＰＥＧストリームであって、記録法はＭＰＥＧのＴＳやＰＳとする。
２つの分割画面データに対して、符号化動画データと動画位置情報をどのように配分して重畳するかは特に制限はないが、符号化動画データのデータ量のほうが動画位置情報に対して圧倒的に大きいので、符号化動画データは２つの分割画面データに均等に配分し、動画位置情報は一方の分割画面データのみに重畳してもよい。
信号合成手段１６は符号化動画データと動画位置情報を重畳した分割画面データＣ、分割画面データＤを信号分離手段２１に伝送する。
【００２２】
信号分離手段２１は、受信した２つの分割画面データから符号化動画データと動画位置情報を分離し、２つの符号化動画データを合成して１つの符号化動画データとして動画復号化手段２２に伝送する。同時に動画位置情報も動画復号手段に伝送する。
また信号分離手段２１は受信した２つの分割画面データに含まれる分割画面データを、それぞれ対応する表示映像合成手段Ｃ２３Ｃ、表示映像合成手段Ｄ２３Ｄに伝送する。
【００２３】
動画復号化手段２２は、受信した符号化動画データを復号して動画データを生成する。さらに、受信した動画位置情報に基づいて、各表示装置（表示装置Ａ５Ａ〜表示装置Ｄ５Ｄ）には動画のどの部分を表示するかを決定し、それぞれの表示装置に対応する表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２３Ｄに分割動画データとして例えばＲＧＢ形式のデジタル信号として送信する。
【００２４】
表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２３Ｄは、それぞれ画面データ生成手段１３または信号分離手段２１から受信した分割画面データと、動画復号化手段２２から受信した分割動画データとを合成してそれぞれ表示装置Ａ５Ａ〜表示装置Ｄ５Ｄで表示する形式である合成映像データとして、各伝送各表示装置に伝送する。
【００２５】
ここで、信号合成手段１６における符号化動画データ（動画符号化手段１２が生成）と分割画面データ（画面データ生成手段１３が生成）の重畳方法について説明する。
たとえば動画がＶＧＡサイズの際には、一般的なＳＤＴＶの符号化レートである１０〜２０Ｍｂｐｓ、ＵＸＧＡサイズの際には一般的なＨＤＴＶの符号化レートである２０Ｍｂｐｓから放送素材伝送にも耐えうる６０Ｍｂｐｓなどまでで符号化することが必要である。
また静止画については、ＶＧＡの場合伝送レートは６４０ピクセル×４８０ライン×毎秒６０フレーム×２４ビット×１．０５（ブランキング用、制御用などに５％を割り当てる）＝４４２．９Ｍｂｐｓとなる。
【００２６】
ＭＰＥＧのＳＤＴＶのストリームデータの最大を上記より２０Ｍｂｐｓと仮定すると、ＶＧＡ（静止画）とＭＰＥＧストリーム（動画）を重畳した際の送信側装置７から受信側装置８へのトータルの伝送レートは、
４４２．９Ｍｂｐｓ＋２０Ｍｂｐｓ＝４６２．９Ｍｂｐｓ
となる。
必要なＶＧＡの解像度を維持してこの伝送レートを確保するためには、ＶＧＡは４８０ラインで４４２．９Ｍｂｐｓであるから
４８０×４６２．９／４４２．９＝５０１．７
より、伝送データの伝送レートは１フレーム当たり５０２本のライン数を伝送するのに相当する。
従って１フレーム当たり５０２−４８０＝２２ラインを増やすことに相当する伝送レートとすることによってＶＧＡの映像とＳＤＴＶの動画を重畳して、送信側装置７から受信側装置８へ送ることができるようになる。
なお動画位置情報は数バイト程度と小さいデータ量なので、計算からは除外している。
【００２７】
この２２ラインに相当するデータは、図２における信号合成手段１６において、伝送路Ｃ１５Ｃと伝送路Ｄ１５Ｄから伝送される分割画面データＣおよび分割画面データＤに図３に示すようにストリーム部Ｃ、ストリーム部Ｄとして重畳される。重畳される位置は表示装置Ｃ５Ｃと表示装置Ｄ５Ｄの垂直ブランキング期間である。
【００２８】
また、例えばＵＸＧＡ（２７６８．６Ｍｂｐｓ）でＨＤＴＶ（６０Ｍｂｐｓ）の表示をするには同じ計算をすることで、１２２７ライン必要となる。よって、１２２７−１２００＝２７ライン増やすことによってＵＸＧＡの映像とＨＤＴＶの動画を重畳して送ることができるようになる。
【００２９】
以上の説明では擬似的にライン数を増加させることによりストリームデータを重畳している例を説明したが、、ライン数に限らず画面の横方向のピクセル数を擬似的に増加させてもよい。
擬似的に増加させるピクセル数はＶＧＡの場合
６４０×４６２．９／４４２．９−６４０＝２８．９
より２９ピクセルである。
図４のように分割画面データＢと分割画面データＤにそれぞれストリームデータＢ、Ｄを重畳させる場合、図２の構成において、伝送路Ｂ１５Ｂは信号合成手段１６、信号分離手段２１を経由して表示画像合成手段Ｂ２３Ｂに接続され、伝送路Ｃ１５Ｃは表示画像合成手段Ｃ２３Ｃに直結される。
【００３０】
ライン数またはピクセル数を擬似的に増加させるのは、上記図３、図４に示した以外であってもよく、図５、図６のように１つの分割画面データにストリームデータを集中させてもよく、さらに図７のように４つの分割画面データの垂直ブランキング期間にストリーム部を均一に重畳してもよい。図５〜図７はＶＧＡの例である。また図５、図６の場合、ストリームデータが重畳される分割画面データが伝送される伝送路のみが信号合成手段１６経由で信号分離手段２１に接続され、他の伝送路は表示画像合成手段に直結される。図７の場合はすべての伝送路が信号合成手段１６経由で信号分離手段２１に接続される。
【００３１】
上記の図３〜図７のいずれにおいても、ストリーム部は各表示装置５Ａ〜５Ｄに表示されない領域に重畳されている。
【００３２】
また、ストリーム部のデータのみを含むフレームを挿入してもよい。
この場合は、ＶＧＡであれば、通常毎秒６０フレームであるから
６０×４６２．９／４４２．９＝６２．７
より、伝送データの伝送レートは毎秒６３フレームのフレームを伝送するのに相当する。
従って毎秒通常６０フレームに対して３フレーム増加させることに相当する伝送レートであるから、例えば図８のように、２０フレーム毎に１フレームずつストリームデータのみのストリーム対応擬似フレームを挿入すればよい。
この場合は、図９のように、画面データ生成手段１３が生成した同一のフレームに対応する４つの分割画面データが１つのフレーム信号として伝送路Ｇ１５Ｇを通して信号合成手段１６に２０フレーム分伝送されて伝送路Ｈ１７Ｈから伝送され、次の１フレームとして動画符号化手段１２が生成した符号化画像データと動画位置情報入力手段１４から入力された動画位置情報が伝送路Ｈ１７Ｈから伝送される。
信号分離手段２１は、各フレームのフレーム信号を４つの分割画面データに分割して表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２４Ｄに伝送するとともに、ストリーム対応擬似フレームを動画復号化手段２２に伝送する。
表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２３Ｄは、受信した分割画面データと、動画復号化手段２２から受信した分割動画データとを合成してそれぞれ表示装置Ａ５Ａ〜表示装置Ｄ５Ｄで表示する形式にして、毎秒６０フレームずつ各伝送各表示装置に伝送する。
【００３３】
またこのストリーム対応擬似フレーム３個を６０フレーム分の表示用データの最後に付加してもよい。
【００３４】
また、動画の位置情報を映像信号の動画エリアの特殊な色や矩形の形から推定するいわゆる「スーパーインポーズ」を利用しても良い．また、動画は１つに限るものではない。
【００３５】
以上のように、また、特定の画面データのみに符号化動画データ（ストリームデータ）を重畳しているため再符号化の処理を削減することができるようになる。
また符号化動画データの復号処理を行うことのできない従来の表示装置でも、重畳したストリーム部が例えばＣＲＴやＬＣＤの見えない部分（水平帰線期間または垂直帰線期間）に重畳されるため、そのまま表示することが可能となる。
上記の例において、一部にアナログ信号を用いてもよい。アナログを用いる場合は、必要に応じてＤＡ変換、ＡＤ変換が間に入る。また光通信でもかまわない。
【００３６】
なお以上の説明において、動画符号化手段１２は、再符号化の際の劣化を鑑みて、符号化動画信号と同時に符号化パラメータを信号合成手段１６に伝送してもよい。
【００３７】
また以上の説明においては表示装置が４台（表示装置Ａ５Ａ〜表示装置Ｄ５Ｄ）の例を示したが、表示装置の数はこれに限らず、４台より多くても少なくてもよい。この場合、画面データ生成手段１３が表示装置の数に応じた分割画面データを生成し、動画符号化手段１２は符号化動画データを所定の数の分割画面データに重畳すればよい。
【００３８】
また動画ウインドウの位置、大きさが固定である場合は、動画位置情報入力手段をもうけなくてもよい。
【００３９】
実施の形態２．
実施の形態１では、動画符号化手段１２が生成した符号化動画データを画面データ生成手段１３が生成した分割画面データにリアルタイムで重畳する例を説明したが、この実施の形態では符号化動画データを一時的に格納する例を説明する。
【００４０】
図１０において、３１は動画符号化手段１２が生成した符号化動画データを蓄積する動画蓄積手段であってハードディスク装置などの記憶手段からなる。３２はこの動画蓄積手段３１に蓄積された符号化動画データの読出しを指示する読出指示手段である。他の部分は図２に示した実施の形態１の構成と同様であるので、同じ符号を付して説明を省略する。
【００４１】
実施の形態１と同様に、動画符号化手段１２が符号化動画データを生成し、動画蓄積手段３１がこの符号化動画データを蓄積する。
読出指示手段３２は操作者の操作により読出指示を動画蓄積手段３１に出す。この読出指示を受けた動画蓄積手段３１が読出指示に含まれる動画特定情報により特定される符号化動画データを信号合成手段１６に送信する。
【００４２】
以後実施の形態１と同様であり、符号化動画データと、動画位置情報入力手段１４から入力される動画位置情報とを、伝送路Ｃ１５Ｃ、伝送路Ｄ１５Ｄから伝送されてくる分割画面データに重畳して合成信号を生成し、伝送路Ｅ１７Ｅ、伝送路Ｆ１７Ｆを経由して信号分離手段２１に伝送する。
【００４３】
信号分離手段２１は、上記信号合成手段から送信されてくる合成信号から符号化動画データと動画位置情報を抽出し、符号化動画データを復号し、動画データを生成する動画復号化手段２２に伝送する。また合成信号に含まれている静止画データを表示映像合成手段Ｃ２３Ｃ、表示映像合成手段Ｄ２３Ｄに伝送する。
表示映像合成手段Ａ２３Ａ、表示映像合成手段Ｂ２３Ｂ、表示映像合成手段Ｃ２３Ｃ、表示映像合成手段Ｄ２３Ｄは上記画面データ生成手段１３または上記信号分離手段２１から伝送されて来る静止画データと、動画復号化手段２２から伝送されてくる動画データを合成して、それぞれ表示装置Ａ５Ａ、表示装置Ｂ５Ｂ、表示装置Ｃ５Ｃ、表示装置Ｄ５Ｄに伝送し、それぞれの表示装置が画像として表示する。
【００４４】
以上のように、動画蓄積手段を設けることにより過去に蓄積した動画情報を画面データに重ねて表示することが可能になる。
また読出手段３２が出す読出指示に含まれる動画特定情報を変化させることにより、動画情報を変化させることが可能になる。
【００４５】
この実施の形態においても、分割画面データと符号化動画データの重畳の仕方には実施の形態１で説明した各種の形式が採用可能である。
【００４６】
実施の形態３．
実施の形態１では、動画符号化手段１２が符号化動画データを生成するとともに２つの分割画面データに符号化動画データを分割して重畳する例を示したが、図１１のように動画符号化手段１２が生成した符号化動画データを分割する符号化信号分割手段４１を設けてもよい。
図１１は、この符号化信号分割手段４１と次に説明する符号化信号合成手段４２以外は図２で示した実施の形態１の例と同様であるので、同一の符号を付して説明を省略する。
【００４７】
図１１において、符号化信号分割手段４１は動画符号化手段１２が生成した符号化動画データを４分割して分割符号化動画データとして信号合成手段１６に伝送する。符号化動画データを４分割する際に、動画位置情報入力手段１４から入力される動画位置情報により、各表示装置Ａ５Ａ〜表示装置Ｄ５Ｄのどの位置にどれだけの大きさの動画を表示するかを判定して分割する。
信号合成手段１６は、画面データ生成手段１３が生成した４つの分割画面データに対して、それぞれ対応する上記分割符号化動画データを重畳し、信号分離手段２１に伝送する。
信号分離手段２１は受信した４つの分割画面データから符号化動画データと動画位置情報を分離し、符号化信号合成手段４２に伝送する。
また信号分離手段２１は受信した４つの分割画面データに含まれる分割画面データを、それぞれ対応する表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ３２Ｄに伝送する。
【００４８】
符号化信号合成手段４２は、信号分離手段２１から伝送された４つの符号化データを合成して１つの合成符号化データを生成し、動画復号手段２２がこの合成符号化データを復号して動画データを生成する。
動画復号手段２２はさらに受信した動画位置情報に基づいて、各表示装置（表示装置Ａ５Ａ〜表示装置Ｄ５Ｄ）に動画のどの部分を表示するかを決定し、それぞれの表示装置に対応する表示映像合成手段Ａ２３Ａ〜表示映像合成手段Ｄ２３Ｄに分割動画データとして例えばＲＧＢ形式のデジタル信号として送信する。
【００４９】
以上のように、符号化信号分割手段４１を設け、動画データの分割を行うの動画符号化手段の負荷が軽減され、処理が高速化されるという効果がある。
また、符号化信号合成手段４２を設け、信号分離手段２１が分離した動画データを合成するので、動画復号化手段２２の負荷が軽減され、処理が高速化されるという効果がある。
【００５０】
さらに図１１の構成に、実施の形態２で図１０を用いて説明したように、動画蓄積手段３１と読出指示手段３２を付加し、図１２のような構成にしてもよい。
【００５１】
また以上の例では、複数の画面間での同期をより正確にとるために、図１３のように複数画面同期手段５１を設けてもよい。
この複数画面同期手段５１は、動画復号化手段２２が復号した動画情報から時間情報を抽出し、この時間情報を各表示装置Ａ５Ａから表示装置Ｄ５Ｄに伝送することにより、各表示装置に表示される動画同士の同期をとる機能を有する。
【００５２】
【発明の効果】
以上のように、この発明によれば、分割した静止画像データに符号化した動画データを重畳するので、伝送レートが小さくて済むという効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１の映像信号表示装置を用いたシステムの概略構成図。
【図２】この発明の実施の形態１の構成を示すブロック図。
【図３】この発明の実施の形態１における分割画面データとストリーム部の例を示す図。
【図４】この発明の実施の形態１における分割画面データとストリーム部の他の例を示す図。
【図５】この発明の実施の形態１における分割画面データとストリーム部の他の例を示す図。
【図６】この発明の実施の形態１における分割画面データとストリーム部の他の例を示す図。
【図７】この発明の実施の形態１における分割画面データとストリーム部の他の例を示す図。
【図８】この発明の実施の形態１におけるフレームデータとストリーム部の例を示す図。
【図９】この発明の実施の形態１の他の構成を示すブロック図。
【図１０】この発明の実施の形態２の構成を示すブロック図。
【図１１】この発明の実施の形態３の構成を示すブロック図。
【図１２】この発明の実施の形態３の他の構成を示すブロック図。
【図１３】この発明の実施の形態３の他の構成を示すブロック図。
【図１４】従来の映像信号表示装置の構成を示すブロック図。
【図１５】静止画と動画を重ねて表示した状態を示す図。
【符号の説明】
１　ＰＣ、　２　モニタ、　３　動画ウインドウ、　４　大画面装置、　５Ａ　表示装置Ａ、　５Ｂ　表示装置Ｂ、　５Ｃ　表示装置Ｃ、５Ｄ　表示装置Ｄ、６　動画ウインドウ、　７　送信側装置、　８　受信側装置、　１１　動画生成手段、１２　動画符号化手段、　１３　画面データ生成手段、　１４　動画位置情報入力手段、　１５Ａ　伝送路Ａ、　１５Ｂ　伝送路Ｂ、　１５Ｃ　伝送路Ｃ、　１５Ｄ　伝送路Ｄ、　１５Ｇ　伝送路Ｇ、　１６信号合成手段、　１７Ｅ　伝送路Ｅ、１７Ｆ　伝送路Ｆ、１７Ｈ　伝送路Ｈ、２１　信号分離手段、２２　動画復号化手段、　２３Ａ　表示映像合成手段Ａ、２３Ｂ　表示映像合成手段Ｂ、　２３Ｃ　表示映像合成手段Ｃ、　２３Ｄ　表示映像合成手段Ｄ、　３１　動画蓄積手段、　３２　読出指示手段、　４１　符号化信号分割手段、　４２　符号化信号合成手段、　１００１　ＰＣ（パーソナルコンピュータ）、　１００２　画像データ受信部、　１００３　フォーマット検出回路、　１００４　制御回路、　１００５　画像データ生成部、　１００６出力処理回路、　１００７　表示部、　１０１０　ディスプレイ、　１０１１画面（１）、　１０１２　画面（２）、　１０１３　画面（３）、　１０１４画面（４）。[0001]
TECHNICAL FIELD OF THE INVENTION
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video signal display device that divides a video signal into a plurality of signals, transmits the divided signals, and displays the signals on a plurality of screens.
[0002]
[Prior art]
FIG. 14 is a block diagram of a conventional video signal display device disclosed in, for example, JP-A-2001-264313.
The purpose of this example is to make it possible to display an image related to an image signal transmitted by a different method (for example, a moving image and a still image) with a small circuit scale, and to add a moving image to a part of the still image displayed on the entire screen. When a part of the transmitted screen data (for example, a still image) is rewritten to, for example, a moving image, as in the case of displaying the overlapping image, the still image and moving image data for one screen are newly added. Is transmitted, but only the image data of the rewritten portion is transmitted.
[0003]
The operation will be described below.
First, a PC (personal computer) 1001 issues a screen rewriting command, and the image data receiving unit 1002 receives the rewriting information.
Next, the format detection circuit 1003 detects the format (moving image or still image) of the rewriting information, and the control circuit 1004 notifies the image data generating unit 1005 of the detection result.
If it is a still image, the image data generation unit 1005 transmits only the change location in the screen to the output processing circuit 1006. If it is a moving image, the whole moving image is transmitted to the output processing circuit 1006.
The display unit 1007 displays an image by rewriting the image of the portion that needs to be rewritten.
Here, the moving image data is encoded by the PC 1001 and is decoded by the image data generation unit 1005 before being sent to the output processing circuit 1006.
[0004]
[Problems to be solved by the invention]
In the above configuration, the moving image signal and the still image signal are separated and decoded on the side. In this configuration, to display a moving image in the moving image window 1015 over a plurality of still screens as shown in FIG. It is necessary to transmit a separate moving image for each of the screens (screen (1) 1011 to screen (4) 1014), and thus there is a problem that a re-encoding process is required for each screen.
[0005]
The present invention has been made in order to solve the above-described problems, and in a video signal display device that displays a moving image that spans a plurality of screens, a video signal is transmitted by being superimposed on a part of a still screen. Accordingly, an object of the present invention is to enable a moving image to be displayed on a plurality of screens.
[0006]
[Means for Solving the Problems]
A video signal display device according to the present invention divides and displays an original image in which a still image and a moving image are combined into N (N is a natural number) display devices, and displays the original image by a set of the N display devices. A video signal display device for displaying the same image as the video signal, including a screen data generating unit, a moving image generating unit, a moving image encoding unit, a signal combining unit, a signal separating unit, a moving image decoding unit, A display image synthesizing unit; and N display devices, wherein the screen data generating unit divides one frame of still image data to generate N divided screen data corresponding to the N display devices. The moving image generating unit generates moving image data from moving image information, the moving image encoding unit encodes the moving image data generated by the moving image generating unit to generate encoded moving image data, and the signal synthesizing unit includes: Generated by the screen data generator The encoded moving image data is superimposed on M (1 ≦ M ≦ N) of the N divided screen data to generate M moving image superimposed divided screen data, and the signal separating unit includes: Separating the M pieces of divided screen data and the encoded moving image data from each of the moving image superimposed divided screen data, and decoding and decoding the encoded moving image data separated by the signal separating means. The moving image data is generated, and the N display video synthesizing units are configured such that M of the display video synthesizing units are M divided screen data separated by the signal separating unit and decoding performed by the moving image decoding unit. The video data is synthesized to generate synthesized video data, and NM of the display video synthesizing means are used by the signal synthesizing means of the N divided screen data generated by the screen data generating means. Video Day Are combined with the decoded video data generated by the video decoding means to generate synthesized video data, and the N display devices generate the synthesized video data. The composite video data is received from the corresponding display video compositing means of the compositing means and displayed.
[0007]
Also, in the video signal display device according to the present invention, the coded moving image data to be superimposed on the divided screen data in the signal synthesizing means is superimposed on a portion of the divided screen data not displayed on the display device. It is.
[0008]
Further, in the video signal display device according to the present invention, a portion of the divided screen data which is not displayed on the display device is data corresponding to a vertical blanking period in the display device.
[0009]
In the video signal display device according to the present invention, a portion of the divided screen data which is not displayed on the display device is data corresponding to a horizontal retrace period in the display device.
[0010]
Further, the video signal display device according to the present invention further comprises a moving image storage means and a read instruction means, wherein the moving image storage means stores the encoded moving image data generated by the moving image encoding means, and The encoded moving image data is transmitted to the signal synthesizing means in accordance with the instruction.
[0011]
Further, the video signal display device according to the present invention extracts time information from the decoded moving image data decoded by the moving image decoding means and transmits the extracted time information to the N display devices as a mutual synchronization signal between the N display devices. The apparatus further includes a multiple screen synchronization unit.
[0012]
Further, the video signal display device according to the present invention further comprises moving image position information input means for designating at least one of a position and a size of the moving image in the original image as moving image position information, and the signal synthesizing means includes the encoded moving image data. The moving image position information is superimposed on the divided screen data to generate moving image position information superimposed divided screen data, and the signal separating unit separates the moving image position information from the moving image position information superimposed divided screen data, The decoding means transmits the decoded moving picture data to each display video synthesizing means based on the moving picture position information separated by the signal separating means.
[0013]
BEST MODE FOR CARRYING OUT THE INVENTION
Embodiment 1 FIG.
FIG. 1 is an example of a schematic configuration diagram of a system using the video signal display device of the present invention. Reference numeral 1 denotes a personal computer (PC) provided with a camera and a mouse (not shown) for capturing moving images. A moving image window 3 for displaying a moving image captured by a camera together with a still image is opened on the monitor 2, and the position and size of the moving image window 3 can be changed by a mouse.
Reference numeral 4 denotes a large-screen device including four display devices A5A to D5D. The large-screen device includes the still image and the moving image window 6 displayed on the four display devices, and the same display as that on the monitor 2 of the personal computer 1. Displays still images and moving images.
The display devices A5A to D5D are, for example, display devices each having a size of 50 inches, and four of them form a large screen device having a size of 100 inches.
The image in which the still image and the moving image displayed on the monitor 2 are combined is the original image in the present invention.
[0014]
FIG. 2 is a block diagram showing the internal configuration of the configuration shown in FIG.
In FIG. 2, reference numeral 7 denotes a transmitting device that generates moving image data and still image data, performs predetermined processing, and then transmits the generated data, and 8 performs predetermined processing on the moving image data and still image data transmitted from the transmitting device. 1. The transmitting device 7 corresponds to the PC in FIG. 1, and the receiving device 8 corresponds to the large screen device.
[0015]
In FIG. 2, reference numeral 11 denotes a moving image generating unit that generates moving image data from a moving image captured from an image input device such as a camera, and 12 denotes a moving image data generated by the moving image generating unit, which is encoded by an encoding method such as MPEG. A moving image encoding means 13 for generating encoded moving image data by encoding and compressing, generating screen image data (screen data) such as a WINDOW system, dividing the image data into a plurality of pieces, and generating a plurality of divided screen data In this example, the image data is divided into four screen data so that the still image data is displayed on the large screen device in FIG.
Reference numeral 14 denotes a mouse or the like, and moving image position information input means for changing the position and size of the moving image window on the display screen, and 15A, 15B, 15C, and 15D each transmit the divided screen data generated by the screen data generating means 13. The transmission path A15A and the transmission path B15B are input to a signal separating unit 21 described later, and the transmission path C15C and the transmission path D15D are input to the signal combining unit 16.
[0016]
The signal synthesizing unit 16 receives the encoded moving image data generated by the moving image encoding unit 12 and the moving image position information input from the moving image position information input unit 14 from the transmission path C15C and the transmission path D15D. A composite signal (moving image superimposed divided screen data, moving image position information superimposed divided screen data) is generated by superimposing on the divided screen data, and transmitted to the signal separating unit 21 via the transmission path E17E and the transmission path F17F.
[0017]
The signal separating unit 21 extracts encoded moving image data and moving image position information from the synthesized signal transmitted from the signal synthesizing unit, and decodes the encoded moving image data to the moving image decoding unit 22 that generates decoded moving image data. Transmit. Still image data included in the synthesized signal is transmitted to the display image synthesizing unit C23C and the display image synthesizing unit D23D.
23A, 23B, 23C and 23D are a display image synthesizing unit A, a display image synthesizing unit B, a display image synthesizing unit C and a display image synthesizing unit D, respectively, which are transmitted from the screen data generating unit 13 or the signal separating unit 21. The still image data and the moving image data transmitted from the moving image decoding means 22 are combined to generate composite image data, and the combined image data is transmitted to the display devices A5A, B5B, C5C, and D5D, respectively. Each display device displays an image.
The display devices A5A to D5D in FIG. 2 correspond to the display devices denoted by the same reference numerals in FIG.
[0018]
Next, the operation will be described.
First, the moving image generation unit 11 generates moving image data from a moving image captured from an image input device such as a camera, and converts the moving image data into a digital or analog signal of, for example, a luminance or color difference format.
This moving image data is encoded by the moving image encoding unit 12 at, for example, an MPEG format at a transmission rate corresponding to the resolution, and transmitted to the signal combining unit 16 as encoded moving image data (MPEG stream). The details of the transmission rate will be described later. For example, the transmission rate is 20 Mbps for VGA and 60 Mbps for UXGA.
[0019]
The screen data generating means 13 is such that the processor generates screen data as still image data based on a GUI such as a WINDOW system, and divides the screen data into four display devices A5A to D5D corresponding to four display devices. Then, for example, four divided screen data which are RGB format digital signals are generated.
Among them, the divided screen data A and the divided screen data B (not shown) corresponding to the display device A5A and the display device B5B are transmitted to the display video combining means A23A and the display video combining means B23B by the transmission paths A15A and B15B, respectively. The transmitted divided screen data C and divided screen data D (not shown) corresponding to the display device C5C and the display device D5D are transmitted to the signal synthesizing unit 16 via the transmission paths C15C and D15D, respectively.
[0020]
The operator operates the moving image position information input means 14 such as a mouse while looking at the monitor 2 or the large screen device 4 of the personal computer 1 shown in FIG. 1 to change the position and size of the moving image window 3 or the moving image window 6 on the screen. To change.
The moving picture position information input means 14 transmits the position and size of the moving picture window on the screen to the signal synthesizing means 16 as moving picture position information as digital information.
[0021]
The signal synthesizing unit 16 converts the divided screen data C and the divided screen data D transmitted from the transmission path C15C and the transmission path D15D into the encoded moving image data transmitted from the moving image encoding unit 12 and the moving image position information input unit 14. The transmitted moving image position information is superimposed.
The encoded moving image data is, for example, an MPEG stream, and the recording method is an MPEG TS or PS.
There is no particular limitation on how to distribute and superimpose the encoded moving image data and moving image position information on the two divided screen data, but the data amount of the encoded moving image data is overwhelming with respect to the moving image position information. Therefore, the encoded moving image data may be evenly distributed to the two divided screen data, and the moving image position information may be superimposed on only one of the divided screen data.
The signal synthesizing unit 16 transmits the divided screen data C and the divided screen data D obtained by superimposing the encoded moving image data and the moving image position information to the signal separating unit 21.
[0022]
The signal separating unit 21 separates the encoded moving image data and the moving image position information from the received two divided screen data, combines the two encoded moving image data, and transmits as one encoded moving image data to the moving image decoding unit 22. I do. At the same time, the moving picture position information is also transmitted to the moving picture decoding means.
Further, the signal separating unit 21 transmits the divided screen data included in the received two divided screen data to the corresponding display video combining units C23C and D23D.
[0023]
The moving image decoding unit 22 decodes the received encoded moving image data to generate moving image data. Further, based on the received moving image position information, it is determined which part of the moving image is to be displayed on each of the display devices (display devices A5A to D5D), and the display video synthesizing means A23A to A23A to display device corresponding to each display device are determined. The divided video data is transmitted to the display video synthesizing unit D23D as digital signals in, for example, RGB format.
[0024]
The display image synthesizing means A23A to display image synthesizing means D23D synthesize and display the divided screen data received from the screen data generating means 13 or the signal separating means 21 and the divided moving image data received from the moving image decoding means 22, respectively. The data is transmitted to each display device as composite video data in a format to be displayed on the devices A5A to D5D.
[0025]
Here, a method of superimposing encoded moving image data (generated by the moving image encoding unit 12) and divided screen data (generated by the screen data generating unit 13) in the signal combining unit 16 will be described.
For example, when the moving image has a VGA size, the general SDTV coding rate is 10 to 20 Mbps, and when the moving image is a UXGA size, the general HDTV coding rate is 20 Mbps. It is necessary to encode by up to, for example.
For still images, the transmission rate in the case of VGA is 640 pixels × 480 lines × 60 frames per second × 24 bits × 1.05 (5% is allocated to blanking and control) = 442.9 Mbps.
[0026]
Assuming that the maximum of the SDTV stream data of MPEG is 20 Mbps from the above, the total transmission rate from the transmitting device 7 to the receiving device 8 when the VGA (still image) and the MPEG stream (moving image) are superimposed is:
442.9 Mbps + 20 Mbps = 462.9 Mbps
It becomes.
In order to maintain the required VGA resolution and secure this transmission rate, the VGA is 442.9 Mbps with 480 lines.
480 × 462.9 / 442.9 = 501.7
Therefore, the transmission rate of the transmission data is equivalent to transmitting 502 lines per frame.
Therefore, by setting a transmission rate corresponding to an increase of 502-480 = 22 lines per frame, the VGA image and the SDTV moving image can be superimposed and sent from the transmitting device 7 to the receiving device 8. Become.
Since the moving image position information has a small data amount of about several bytes, it is excluded from the calculation.
[0027]
The data corresponding to the 22 lines is converted into the divided screen data C and the divided screen data D transmitted from the transmission path C15C and the transmission path D15D by the signal combining unit 16 in FIG. Superimposed as part D. The superimposed position is the vertical blanking period of the display device C5C and the display device D5D.
[0028]
For example, to display HDTV (60 Mbps) with UXGA (2768.6 Mbps), 1227 lines are required by performing the same calculation. Therefore, by increasing 1227-1200 = 27 lines, UXGA video and HDTV moving image can be transmitted in a superimposed manner.
[0029]
In the above description, an example has been described in which stream data is superimposed by increasing the number of lines in a pseudo manner. However, the number of pixels in the horizontal direction of the screen is not limited to the number of lines, and may be pseudo-increased.
In the case of VGA, the number of pixels to be artificially increased is
640 * 462.9 / 442.9-640 = 28.9
29 pixels.
When the stream data B and D are superimposed on the divided screen data B and the divided screen data D, respectively, as shown in FIG. 4, the transmission path B15B is displayed via the signal combining means 16 and the signal separating means 21 in the configuration of FIG. The transmission path C15C is connected to the image combining means B23B, and is directly connected to the display image combining means C23C.
[0030]
The number of lines or the number of pixels may be increased in a pseudo manner other than those shown in FIGS. 3 and 4, and the stream data is concentrated on one divided screen data as shown in FIGS. Alternatively, as shown in FIG. 7, the stream portion may be uniformly superimposed in the vertical blanking period of the four divided screen data. 5 to 7 show examples of the VGA. In the case of FIGS. 5 and 6, only the transmission path through which the divided screen data on which the stream data is superimposed is transmitted is connected to the signal separation means 21 via the signal synthesis means 16, and the other transmission paths are connected to the display image synthesis means. It is directly connected. In the case of FIG. 7, all transmission paths are connected to the signal separation unit 21 via the signal synthesis unit 16.
[0031]
In each of FIGS. 3 to 7 described above, the stream portion is superimposed on an area that is not displayed on each of the display devices 5A to 5D.
[0032]
Further, a frame including only the data of the stream section may be inserted.
In this case, if it is a VGA, it is usually 60 frames per second.
60 × 462.9 / 442.9 = 62.7
Therefore, the transmission rate of the transmission data is equivalent to transmitting 63 frames per second.
Accordingly, since the transmission rate is equivalent to increasing the number of frames by 60 frames per second by three frames, for example, as shown in FIG. 8, it is sufficient to insert a stream-corresponding pseudo frame of only one stream data every 20 frames.
In this case, as shown in FIG. 9, four divided screen data corresponding to the same frame generated by the screen data generating means 13 are transmitted as one frame signal to the signal synthesizing means 16 through the transmission path G15G for 20 frames. The encoded image data generated by the moving image encoding unit 12 and the moving image position information input from the moving image position information input unit 14 are transmitted as the next frame from the transmission line H17H.
The signal separating unit 21 divides the frame signal of each frame into four divided screen data and transmits the divided frame data to the display video combining unit A23A to the display video combining unit D24D, and transmits the stream-corresponding pseudo frame to the moving image decoding unit 22. .
The display image combining means A23A to display image combining means D23D combine the received divided screen data and the divided moving image data received from the moving image decoding means 22 into a format for display on the display devices A5A to D5D, respectively. , 60 frames per second to each transmission device.
[0033]
Further, three stream-corresponding pseudo frames may be added to the end of the display data for 60 frames.
[0034]
Also, a so-called “superimpose” that estimates position information of a moving image from a special color or a rectangular shape of a moving image area of a video signal may be used. Also, the number of moving images is not limited to one.
[0035]
As described above, since the encoded moving image data (stream data) is superimposed only on the specific screen data, the re-encoding process can be reduced.
Further, even in a conventional display device that cannot perform decoding processing of encoded moving image data, the superimposed stream portion is superimposed on a portion invisible on a CRT or LCD (horizontal retrace period or vertical retrace period). It can be displayed.
In the above example, an analog signal may be partially used. When an analog is used, DA conversion and AD conversion are interposed as necessary. Also, optical communication may be used.
[0036]
In the above description, the moving picture coding means 12 may transmit the coding parameters to the signal combining means 16 simultaneously with the coded moving picture signal in consideration of the deterioration at the time of re-coding.
[0037]
In the above description, an example in which the number of display devices is four (display device A5A to display device D5D) is described. However, the number of display devices is not limited thereto, and may be more or less than four. In this case, the screen data generating means 13 may generate divided screen data according to the number of display devices, and the moving picture coding means 12 may superimpose the coded moving picture data on a predetermined number of divided screen data.
[0038]
If the position and size of the moving image window are fixed, the moving image position information input means may not be provided.
[0039]
Embodiment 2 FIG.
In the first embodiment, an example has been described in which the encoded moving image data generated by the moving image encoding unit 12 is superimposed on the divided screen data generated by the screen data generating unit 13 in real time. An example in which is stored temporarily will be described.
[0040]
In FIG. 10, reference numeral 31 denotes a moving image storage unit that stores the encoded moving image data generated by the moving image encoding unit 12, and includes a storage unit such as a hard disk device. Reference numeral 32 denotes a reading instruction unit for instructing reading of the encoded moving image data stored in the moving image storage unit 31. The other parts are the same as those in the configuration of the first embodiment shown in FIG.
[0041]
As in the first embodiment, the moving image encoding unit 12 generates encoded moving image data, and the moving image storage unit 31 accumulates the encoded moving image data.
The read instruction means 32 issues a read instruction to the moving image storage means 31 by an operation of the operator. Upon receiving the read instruction, the moving image storage unit 31 transmits the encoded moving image data specified by the moving image specifying information included in the read instruction to the signal combining unit 16.
[0042]
Thereafter, it is the same as in the first embodiment, and superimposes the encoded moving image data and the moving image position information input from the moving image position information input unit 14 on the divided screen data transmitted from the transmission paths C15C and D15D. Then, a combined signal is generated and transmitted to the signal separating unit 21 via the transmission path E17E and the transmission path F17F.
[0043]
The signal separating unit 21 extracts encoded moving image data and moving image position information from the combined signal transmitted from the signal combining unit, decodes the encoded moving image data, and transmits the decoded moving image data to the moving image decoding unit 22 that generates moving image data. I do. Still image data included in the synthesized signal is transmitted to the display image synthesizing unit C23C and the display image synthesizing unit D23D.
The display image synthesizing means A23A, the display image synthesizing means B23B, the display image synthesizing means C23C, and the display image synthesizing means D23D are composed of the still image data transmitted from the screen data generating means 13 or the signal separating means 21 and the moving image decoding means. The moving image data transmitted from 22 is synthesized and transmitted to the display devices A5A, B5B, C5C, and D5D, respectively, and each display device displays an image.
[0044]
As described above, the provision of the moving image storage means makes it possible to display moving image information accumulated in the past on the screen data.
Also, by changing the moving image specifying information included in the reading instruction issued by the reading means 32, the moving image information can be changed.
[0045]
Also in this embodiment, the various formats described in the first embodiment can be adopted as a method of superimposing the divided screen data and the encoded moving image data.
[0046]
Embodiment 3 FIG.
In the first embodiment, the moving picture coding unit 12 generates the coded moving picture data and divides the coded moving picture data into two divided screen data and superimposes the coded moving picture data. An encoded signal dividing unit 41 for dividing the encoded moving image data generated by the unit 12 may be provided.
FIG. 11 is the same as the example of the first embodiment shown in FIG. 2 except for the coded signal dividing means 41 and the coded signal synthesizing means 42 which will be described next. Omitted.
[0047]
In FIG. 11, an encoded signal dividing unit 41 divides the encoded moving image data generated by the moving image encoding unit 12 into four and transmits the divided divided moving image data to the signal combining unit 16. When the encoded moving image data is divided into four parts, the moving image position information input from the moving image position information input means 14 determines which position of each display device A5A to display device D5D should display a moving image of which size. Judge and divide.
The signal synthesizing unit 16 superimposes the corresponding divided coded moving image data on the four divided screen data generated by the screen data generating unit 13, and transmits the resultant to the signal separating unit 21.
The signal separating unit 21 separates the encoded moving image data and the moving image position information from the received four divided screen data, and transmits them to the encoded signal combining unit 42.
The signal separating unit 21 transmits the divided screen data included in the received four divided screen data to the corresponding display video combining units A23A to D32D.
[0048]
The coded signal combining means 42 combines the four coded data transmitted from the signal separating means 21 to generate one combined coded data, and the moving picture decoding means 22 decodes the combined coded data to produce a moving picture. Generate data.
The moving image decoding unit 22 further determines which part of the moving image is to be displayed on each of the display devices (display devices A5A to D5D) based on the received moving image position information, and displays a video image corresponding to each display device. The moving image data is transmitted to the means A23A to the display image synthesizing means D23D as divided moving image data, for example, as digital signals in RGB format.
[0049]
As described above, there is an effect that the load on the moving picture coding means for dividing the moving picture data by reducing the load of the moving picture coding means by providing the coded signal dividing means 41 is increased.
Further, since the encoded signal synthesizing unit 42 is provided and the moving image data separated by the signal separating unit 21 is synthesized, the load on the moving image decoding unit 22 is reduced, and the processing speed is increased.
[0050]
Further, as described with reference to FIG. 10 in the second embodiment, the moving image storage unit 31 and the read instruction unit 32 may be added to the configuration of FIG.
[0051]
In the above example, a multiple screen synchronizing unit 51 may be provided as shown in FIG. 13 in order to more accurately synchronize the multiple screens.
The multiple-screen synchronization unit 51 extracts time information from the moving image information decoded by the moving image decoding unit 22, and transmits the time information from each display device A5A to the display device D5D, thereby displaying the time information on each display device. It has a function to synchronize videos.
[0052]
【The invention's effect】
As described above, according to the present invention, the encoded moving image data is superimposed on the divided still image data, so that the transmission rate can be reduced.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of a system using a video signal display device according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of the first embodiment of the present invention.
FIG. 3 is a diagram showing an example of divided screen data and a stream unit according to the first embodiment of the present invention.
FIG. 4 is a diagram showing another example of divided screen data and a stream unit according to the first embodiment of the present invention.
FIG. 5 is a diagram showing another example of divided screen data and a stream unit according to the first embodiment of the present invention.
FIG. 6 is a diagram showing another example of divided screen data and a stream unit according to the first embodiment of the present invention.
FIG. 7 is a diagram showing another example of divided screen data and a stream unit according to the first embodiment of the present invention.
FIG. 8 is a diagram showing an example of frame data and a stream unit according to the first embodiment of the present invention.
FIG. 9 is a block diagram showing another configuration of the first embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration of a second embodiment of the present invention.
FIG. 11 is a block diagram showing a configuration of a third embodiment of the present invention.
FIG. 12 is a block diagram showing another configuration of the third embodiment of the present invention.
FIG. 13 is a block diagram showing another configuration of the third embodiment of the present invention.
FIG. 14 is a block diagram showing a configuration of a conventional video signal display device.
FIG. 15 is a diagram showing a state in which a still image and a moving image are displayed in a superimposed manner.
[Explanation of symbols]
1 PC, 2 monitors, 3 video window, 4 large screen device, 5A display device A, 5B display device B, 5C display device C, 5D display device D, 6 video window, 7 transmitting device, 8 receiving device, 11 Moving image generating means, 12 moving image encoding means, 13 screen data generating means, 14 moving image position information input means, 15A transmission path A, 15B transmission path B, 15C transmission path C, 15D transmission path D, 15G transmission path G, 16 signals Combining means, 17E transmission path E, 17F transmission path F, 17H transmission path H, 21 signal separation means, 22 video decoding means, 23A display video synthesis means A, 23B display video synthesis means B, 23C display video synthesis means C, 23D display video synthesizing means D, 31 moving picture accumulating means, 32 reading instruction means, 41 coded signal dividing means, 42 coded signal synthesizing means, 100 PC (personal computer), 1002 image data receiving unit, 1003 format detecting circuit, 1004 control circuit, 1005 image data generating unit, 1006 output processing circuit, 1007 display unit, 1010 display, 1011 screen (1), 1012 screen (2) , 1013 screen (3), 1014 screen (4).

Claims

A video signal display in which an original image in which a still image and a moving image are synthesized is divided into N (N is a natural number) display devices, and the same image as the original image is displayed by a set of the N display devices. Device
It comprises a screen data generating means, a moving image generating means, a moving image encoding means, a signal synthesizing means, a signal separating means, a moving image decoding means, N display video synthesizing means, and N display devices. ,
The screen data generating means includes:
One frame of still image data is divided to generate N divided screen data corresponding to the N display devices,
The moving image generating means includes:
Generate video data from video information,
The video encoding means includes:
Encoding the moving image data generated by the moving image generating unit to generate encoded moving image data,
Superimposing the encoded moving image data on M (1 ≦ M ≦ N) of the N divided screen data generated by the screen data generating means to generate M moving image superimposed divided screen data;
The signal separating means includes:
Separating the M pieces of the divided screen data and the encoded moving image data from each of the M pieces of the moving image superimposed divided screen data,
The video decoding means,
Decoding the encoded moving image data separated by the signal separating means to generate decoded moving image data,
The N display video synthesizing means includes:
M of the display video synthesizing means generate synthesized video data by synthesizing the M divided screen data separated by the signal separating means and the decoded video data generated by the video decoding means,
NM of the display video synthesizing means are NM of the N divided screen data generated by the screen data generating means, the NM of which the coded moving image data is not superimposed by the signal synthesizing means. Generating the combined video data by combining the divided screen data and the decoded video data generated by the video decoding means,
Video signal display means, wherein the N display devices receive and display the composite video data from a corresponding one of the N display video synthesis means.

2. The video signal display device according to claim 1, wherein the encoded moving image data superimposed on the divided screen data in the signal synthesizing unit is superimposed on a portion of the divided screen data not displayed on the display device. .

The video signal display device according to claim 2, wherein a portion of the divided screen data not displayed on the display device is data corresponding to a vertical blanking period on the display device.

The video signal display device according to claim 2, wherein a portion of the divided screen data not displayed on the display device is data corresponding to a horizontal retrace period in the display device.

Further comprising moving image storage means and read instruction means,
The moving image storage means,
2. The video signal display according to claim 1, wherein the encoded moving image data generated by the moving image encoding unit is stored, and the encoded moving image data is transmitted to the signal synthesizing unit according to an instruction from the read instruction unit. apparatus.

A plurality of screen synchronizing means for extracting time information from the decoded moving image data decoded by the moving image decoding means and transmitting the extracted time information to the N display devices as a mutual synchronization signal between the N display devices. The video signal display device according to claim 1.

A moving image position information input unit that specifies at least one of a position and a size of the moving image in the original image as moving image position information,
The signal combining means generates moving image position information superimposed divided screen data by superimposing the moving image position information on the divided screen data together with the encoded moving image data,
The signal separating means separates the moving image position information from the moving image position information superimposed divided screen data,
7. The moving image decoding unit according to claim 1, wherein the moving image decoding unit transmits the decoded moving image data to each display image synthesizing unit based on the moving image position information separated by the signal separating unit. 8. The video signal display device according to the above.