JP2005223413A - 送受信システム、送信装置、受信装置、情報処理方法 - Google Patents

送受信システム、送信装置、受信装置、情報処理方法 Download PDF

Info

Publication number
JP2005223413A
JP2005223413A JP2004026756A JP2004026756A JP2005223413A JP 2005223413 A JP2005223413 A JP 2005223413A JP 2004026756 A JP2004026756 A JP 2004026756A JP 2004026756 A JP2004026756 A JP 2004026756A JP 2005223413 A JP2005223413 A JP 2005223413A
Authority
JP
Japan
Prior art keywords
moving image
image signal
signal
combined
receiving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004026756A
Other languages
English (en)
Other versions
JP4179178B2 (ja
Inventor
Teruya Maeta
輝也 前多
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004026756A priority Critical patent/JP4179178B2/ja
Priority to US11/048,533 priority patent/US20050200695A1/en
Priority to CNB2005100716633A priority patent/CN100518310C/zh
Publication of JP2005223413A publication Critical patent/JP2005223413A/ja
Application granted granted Critical
Publication of JP4179178B2 publication Critical patent/JP4179178B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/4104Peripherals receiving signals from specially adapted client devices
    • H04N21/4122Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/43615Interfacing a Home Network, e.g. for connecting the client to a plurality of peripherals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

【課題】AVシステムとして、1つの基地局装置から送信される画像データを受信する複数のモニタ装置の各々において異なる動画像が表示できるようにする場合において、基地局装置側の回路規模が拡大しないようにする。
【解決手段】基地局装置側において複数の動画像信号を合成した合成動画像信号を生成したうえで符号化して符号化動画像信号に変換し、この符号化動画像信号を送信する。これに対応して、モニタ装置側においては、この符号化動画像信号を受信して得られる合成動画像信号から、自身が必要とする動画像信号を抽出する。この抽出処理は、基地局装置から各モニタ装置に対して送信するもので、合成動画像信号からの動画像信号の抽出の仕方を示す情報内容を有する抽出指示情報に基づいて、モニタ装置側で実行するものとなる。このようなシステム構成においては、基地局装置の符号化のための信号処理系は1系統で済むことになる。
【選択図】図14

Description

本発明は、動画像信号の送受信を行う送受信システムと、このような送受信システムを構成する送信装置、受信装置に関する。また、このような送受信システム、送信装置、及び受信装置において行われるべき情報処理方法に関する。
先に本出願人は、例えばAV(Audio Video)システムとして、基地局装置とモニタ装置とを無線通信により接続するように構成したものを提案している。
このAVシステムの基地局装置は、例えばテレビジョン放送のチューナを備えることで、テレビジョン放送信号を受信選局してビデオ信号(動画像信号)に復調することができるようになっている。また、例えばビデオ信号入力端子などを備えることで外部からのビデオ信号の入力機能を有する。そして、このようにして得られたビデオ信号を圧縮符号化したビデオデータの形式に変換して無線により送信出力することが可能とされる。
モニタ装置は、例えば室内において持ち歩きが可能な程度の小型のサイズを有しており、基地局装置から無線送信されてくる符号化されたビデオデータを受信可能とされている。そして、モニタ装置では、受信したビデオデータについて復号処理を施して伸長した上で、画像として表示出力することができる。
また、例えばテレビジョン放送の選局や、外部ソースとしてのビデオ信号の選択などをはじめとした、各種の基地局装置側をコントロール(制御)するための操作も、モニタ装置側で行えるようになっており、その操作情報が基地局装置に送信されるようになっている。基地局装置では、受信した操作情報に応じて、例えば選局チャンネルが切り換わるようにチューナに対する制御を実行したり、また、外部ソースの入力切り換えを行うようにされる。
このようなAVシステムであれば、ユーザは、例えば室内においてモニタ装置を持ち歩き、任意の場所で使用することができる。つまり、基地局装置と通信可能な範囲内である限りは、自由な場所で、テレビジョン放送をはじめとして基地局装置にて取得可能なコンテンツをモニタ装置に出力させて鑑賞することができる。
ところで、現状において、このAVシステムは1つの基地局装置と、1つのモニタ装置とが対となる構成としてユーザに提供されている。しかし、1つの基地局装置と複数のモニタ装置とが組み合わされたAVシステムに発展させることも考えることができる。
このような、1つの基地局装置と複数のモニタ装置とから成るAVシステムの利用形態としては、例えば次のようになる。先ず、例えば家屋内において1つの基地局装置を設置した上で、複数のモニタ装置のそれぞれは、その家屋内で生活する家族などの居住者ごとが所有して利用するようにされる。この場合において、複数のモニタ装置には、それぞれ異なるコンテンツの画像が出力される。つまり、AVシステムとしては、1つの共通の基地局装置から、複数のモニタ装置の各々に対して、それぞれ異なるビデオ信号を送信可能な仕組みが与えられる。
このようなAVシステムの構成であれば、例えば、複数のユーザのそれぞれが、自分の使用しているモニタ装置により、好きなコンテンツの画像を出力させて楽しむことができる。また、基地局装置は複数のモニタ装置に対して共通で1つとされているから、AVシステムを導入して使用するユーザにとっては、例えば家屋内における設置スペースが多くの基地局装置によって占有されてしまわないことや、購入コストもそれだけ低くできるなどのメリットも得られる。
上記もしているように、基地局装置がビデオ信号を送信するときには、圧縮符号化したビデオデータに変換して送信する。また、モニタ装置では、受信したビデオデータの圧縮符号化に対する復号を行って表示出力する。つまり、基地局装置ではビデオ信号を圧縮符号化するビデオエンコーダを備え、モニタ装置では圧縮符号化されたビデオ信号を復号するビデオデコーダを備える。また、これも上記しているように、現状において、このAVシステムは、基地局装置とモニタ装置とが1対1であることを前提として構成されており、従って、基地局装置からモニタ装置に送信するビデオ信号も、常に1つのコンテンツに対応したものとなる。従って、基地局装置のビデオエンコーダは、1つのビデオ信号入力に対応して1系統のみを備え、同様にして、モニタ装置のビデオデコーダとしても、1つの圧縮符号化ビデオ信号の受信入力に対応して1系統のみを備えている。
このような構成を基として、上記した1つの基地局装置と複数のモニタ装置とから成るAVシステムを構成するとして、1つの共通の基地局装置から複数のモニタ装置の各々に対してそれぞれ異なるビデオ信号を送信可能とするには、例えば、図15に示すようにして基地局装置を構成することが順当である。なお、説明を簡単にするために、AVシステムを構成するモニタ装置の最大数は2つである場合に対応した基地局装置の構成を図15に示すこととする。
ここで、図15に示す基地局装置においては、2つのモニタ装置のそれぞれに対応する動画像の映像ソースとして、それぞれ異なる映像コンテンツとなる動画像信号(ビデオ信号)A、動画像信号Bを取得しているものとする。
そして、これら2つの動画像信号A,Bに応じて、第1ビデオエンコーダ12−1と第2ビデオエンコーダ12−2とが備えられる。第1ビデオエンコーダ12−1及び第2ビデオエンコーダ12−2は、それぞれ、入力された動画像信号(ビデオ信号)について、所定方式により圧縮符号化を行い、符号化動画像データとして出力する。この場合には、動画像信号A,Bは、それぞれ第1ビデオエンコーダ12−1、第2ビデオエンコーダ12−2に対して同時に入力されるようになっている。つまり、第1ビデオエンコーダ12−1は、動画像信号Aを圧縮符号化した符号化動画像データを出力し、第2ビデオエンコーダ12−2は、動画像信号Bを圧縮符号化した符号化動画像データを出力するようにされている。
上記のようにして第1ビデオエンコーダ12−1と第2ビデオエンコーダ12−2から出力された、動画像信号Aの符号化動画像データと、動画像信号Bの符号化動画像データは、制御部(CPU:Central Processing Unit)13の制御によって、メモリ14に転送されて、ここに一時保持される。そして、制御部13は、このメモリ14に保持させている動画像信号Aの符号化動画像データと、動画像信号Bの符号化動画像データとを、逐次所定のタイミングで読み出して、通信部15に対して転送する。通信部15では、制御部13の制御に従って、所定の通信フォーマットのもとで、転送されてきた符号化動画像データについて、例えばパケット化などの通信データに変換する処理などを実行したうえで、送信動画像データとして、送信先となるモニタ装置に対して送信出力する。ここでは図示していないが、2つのモニタ装置としてモニタ装置A,Bがあるとして、例えば、動画像信号Aの送信動画像データについてはモニタ装置Aを送信先として送信し、動画像信号Bの送信動画像データについてはモニタ装置Bを送信先として送信するようにされる。
このようにして、1つの基地局装置が複数のモニタ装置に対して、それぞれ同時に異なるコンテンツとしての動画像信号を送信可能な構成とするためには、基地局装置側において少なくとも、システムを構成するとされるモニタ装置の数に応じた数、つまり同時に送信すべき動画像信号の最大数に対応するビデオエンコーダを設ける構成を採ることになる。
この場合、この図15に示す基地局装置から、例えば上記のようにして、動画像信号A,Bの各送信動画像データを同時送信することとした場合、モニタ装置Aにおいては動画像信号Aの送信動画像データのみが受信され、モニタ装置Bにおいては動画像信号Bの送信動画像データのみが受信されることになる。
そして、モニタ装置Aでは、受信した送信動画像データを符号化動画像データとして取得してビデオデコーダにより復号し、動画像として表示出力する。同様に、モニタ装置Bでは、受信した送信動画像データを符号化動画像データとして取得してビデオデコーダにより復号して動画像として表示出力する。
このようなモニタ装置側のデコード、表示出力の処理、動作となるのであれば、モニタ装置としては、受信取得される符号化動画像データについて、1系統のビデオデコーダにより復号を行って表示出力していればよいということになる。つまり、この点で、つまりモニタ装置側については、1つの基地局装置と1つのモニタ装置とから成るAVシステムの場合と同様の構成とされればよい。
特開平8−130628号公報
しかしながら、上記図15に示した基地局装置の構成を採るとした場合には、システムを構成するモニタ装置数に応じて、同時に送信すべき動画像信号の最大数に対応するビデオエンコーダを実装する必要がある。このために、基地局装置としての回路規模が拡大して、例えば基板サイズ、装置のサイズが大型化し、また重量が増加してしまう。
また、図15において説明しているように、複数のビデオエンコーダから同時に符号化されて出力される符号化動画像データは、制御部(CPU)の制御によって、そのトラフィックが調整されることになるのであるが、実際の問題として、このような制御処理は、CPUにとっては、非常に大きな負荷となってしまい、例えば動作上での信頼性が低下する要因となる。
さらには、基地局装置からの実際の送信動作として、それぞれが独立的に符号化されて生成された複数の符号化動画像データを同時的に送信する必要があることから、この符号化動画像データを送受信するための通信網上での通信量が増加する。例えばこのような通信量の肥大は、通信障害を引き起こすような原因となり得るので、好ましいとはいえない。
これらの問題は、AVシステムを構成可能とするモニタ装置の最大数を増加させていくほど拡大されて顕著になっていく。
そこで本発明は上記した課題を考慮して、送受信システムとして次のように構成することとした。
本発明の送受信システムとしては送信装置と受信装置とから成る。
そして、送信装置は、複数の動画像信号を合成して合成動画像信号を生成する合成手段と、入力される動画像信号について符号化して符号化動画像信号を出力するもので、入力される動画像信号として上記合成動画像信号が入力可能とされる符号化手段と、この符号化手段から出力される符号化動画像信号を、複数の受信装置に対して送信する画像信号送信手段とを備えることとした。
また、受信装置は、画像信号送信手段により送信されてくる符号化動画像信号を受信する画像信号受信手段と、画像信号受信手段により受信した符号化動画像信号について復号して動画像信号を出力する復号手段と、この復号手段から出力される動画像信号が合成動画像信号である場合に、この合成動画像信号に合成されている複数の動画像信号のうちから、所要の動画像信号を抽出する動画像信号抽出手段とを備えることとした。
また、送信装置としては次のように構成することとした。
つまり、複数の動画像信号を合成して合成動画像信号を生成する合成手段と、入力される動画像信号について符号化して符号化動画像信号を出力するもので、この入力される動画像信号として合成動画像信号が入力可能とされる符号化手段と、この符号化手段から出力される符号化動画像信号を複数の受信装置に対して送信する画像信号送信手段と、符号化手段により合成動画像信号を符号化した符号化動画像信号を画像信号送信手段により送信する送信先となる複数の受信装置の各々に対して、合成動画像信号からの動画像信号の抽出の仕方を指示する抽出指示情報を生成して送信する抽出指示情報送信手段とを備えることとした。
また、受信装置としては次のように構成することとした。
つまり、送信装置から送信されてくる符号化動画像信号を受信する画像信号受信手段と、この画像信号受信手段により受信した符号化動画像信号について復号して動画像信号を出力する復号手段と、送信装置から送信されてくる情報であって、合成動画像信号からの動画像信号の抽出の仕方を指示する抽出指示情報を受信する抽出指示情報受信手段と、復号手段から出力される動画像信号が合成動画像信号である場合に、抽出指示情報受信手段により受信した抽出指示情報に基づいて、この合成動画像信号に合成されている複数の動画像信号のうちから、所要の動画像信号を抽出する動画像信号抽出手段とを備えることとした。
また、送信装置と受信装置とから成る送受信システムの情報処理方法として次のように構成することとした。
先ず、送信装置では、複数の動画像信号を合成して合成動画像信号を生成する合成処理と、入力される動画像信号について符号化して符号化動画像信号を出力するもので、この入力される動画像信号として合成動画像信号についても符号化するようにされる符号化処理と、この符号化処理によって出力される符号化動画像信号を、複数の受信装置に対して送信する画像信号送信処理とを実行するようにされる。
また、受信装置は、画像信号送信処理により送信されてくる符号化動画像信号を受信する画像信号受信処理と、この画像信号受信処理により受信した符号化動画像信号について復号して動画像信号を出力する復号処理と、この復号処理によって出力される動画像信号が上記合成動画像信号である場合に、この合成動画像信号に合成されている複数の動画像信号のうちから、所要の動画像信号を抽出する動画像信号抽出処理とを実行するように構成することとした。
また、送信装置における情報処理方法として次のように構成することとした。
つまり、複数の動画像信号を合成して合成動画像信号を生成する合成処理と、入力される動画像信号について符号化を施して符号化動画像信号を出力するもので、この入力される動画像信号として合成動画像信号についても符号化するようにされる符号化処理と、符号化処理によって出力される符号化動画像信号を、複数の受信装置に対して送信する画像信号送信処理と、合成動画像信号を符号化処理により符号化した符号化動画像信号を画像信号送信処理により送信する送信先となる複数の受信装置の各々に対して、合成動画像信号からの動画像信号の抽出の仕方を指示する抽出指示情報を生成して送信する抽出指示情報送信処理とを実行するように構成することとした。
また、受信装置における情報処理方法として次のように構成することとした。
つまり、送信装置から送信されてくる符号化動画像信号を受信する画像信号受信処理と、画像信号受信処理により受信した符号化動画像信号について復号して動画像信号を出力する復号処理と、送信装置から送信されてくる情報であって、合成動画像信号からの動画像信号の抽出の仕方を指示する抽出指示情報を受信する抽出指示情報受信処理と、復号処理によって出力される動画像信号が合成動画像信号である場合に、抽出指示情報受信処理により受信した抽出指示情報に基づいて、この合成動画像信号に合成されている複数の動画像信号のうちから、所要の動画像信号を抽出する動画像信号抽出処理とを実行することとした。
上記各構成によれば、本発明による送受信システムとしては、送信装置側において複数の動画像信号を合成した合成動画像信号を生成したうえで符号化して符号化動画像信号に変換し、この符号化動画像信号を出力するようにされる。これに対応して、受信装置側においては、この符号化動画像信号を受信して得られる合成動画像信号から、所要の動画像信号を抽出するようにされる。
また、このような送受信システムにおける送信装置としては、複数の動画像信号を合成した合成動画像信号を生成したうえで符号化して符号化動画像信号に変換し、この符号化動画像信号を出力するようにされる。また、これと共に、合成動画像信号の送信先となる複数の受信装置に対して、抽出指示情報を生成して送信するようにされる。この抽出指示情報は、合成動画像信号からの動画像信号の抽出の仕方を指示する情報内容を有する。
また、受信装置としては、この符号化動画像信号を受信して得られる合成動画像信号から動画像信号を抽出するが、このとき、受信した抽出指示情報が示す指示に従うようにして動画像信号の抽出を行うようにされる。
このような構成において共通にいえることとして、先ず、送信装置側においては、複数の動画像信号を1つの動画像信号となるように合成した合成動画像信号を入力して符号化を行っているということになる。この場合、合成前の動画像信号の数にかかわらず、符号化対象となる動画像信号は、合成動画像信号の1つとなる。そして、受信装置側においては、このようにして、複数の動画像信号を合成した状態の合成動画像信号を受信したときには、この合成動画像信号から動画像信号を抽出可能とされている。
また、動画像信号を抽出するための構成として、送信装置側で上記抽出指示情報を送信し、受信装置側で受信した抽出指示情報に従って動画像信号を抽出することによっては、合成動画像信号を送信する送信装置側が抽出のための指示(コントロール)を行い、受信装置側がこのコントロールに従って合成動画像信号から動画像信号を抽出するという、装置間の関係をつくることができる。
これにより本発明としては、動画像信号(ビデオ信号)を符号化して送信するようにされる1つの送信装置と、複数の受信装置とから成るシステムにおいて、送信装置から複数の受信装置に対してそれぞれ異なる内容の動画像信号を符号化して送信させることとした場合にも、送信すべき動画像信号の数にかかわらず、符号化のための信号処理系は1つでよいこととなる。これにより、例えば送信装置のコストアップを避けることができ、また、回路基板サイズや装置サイズが大型になることも避けることができる。そして、このようにして送信装置側から複数の動画像信号を合成した状態の合成動画像信号を送信したとしても、受信装置では、合成画像信号から動画像信号を抽出するようにされているから、受信装置側では、問題なく正常な動画像信号を得ることができる。
そのうえで、抽出指示信号による動画像信号の抽出が行われるように構成することで、合成動画像信号からの動画像信号の抽出は、システムにおいて効率的に行われることとなる。
以下、本発明を実施するための最良の形態(以下、実施の形態という)についての説明を行っていくこととする。ここでの実施の形態としては、例えば家屋などの屋内で使用されることを前提とし、映像/音声データを送信する基地局装置と、基地局装置から送信された映像/音声データを受信して画像/音声として出力可能なモニタ装置とを、無線通信により接続するように構成したAV(Audio Video)システムを例に挙げることとする。つまり、基地局装置が本発明としての送信装置に対応し、モニタ装置が本発明としての受信装置に対応する。
図1は本実施の形態としてのAVシステムの構成概念を模式的に示している。なお、本実施の形態のAVシステムとしては、1つの基地局装置に対して複数のモニタ装置が対応する関係による装置構成となるが、ここでは例として、1つの基地局装置に対して2つのモニタ装置を対応させた場合を示している。
本実施の形態のAVシステムは、この図1に示される基地局装置1とモニタ装置2から成るもので、例えば家庭の屋内で用いられる。この基地局装置1とモニタ装置2は、以降説明するように、相互に通信を行うことが可能とされている。
基地局装置1は、例えば家庭の屋内にてしかるべき場所に対して固定的に設置される。そして、テレビジョン放送を受信選局して復調して映像/音声情報を得る機能を有している。
このため、基地局装置1は、テレビジョン放送受信機能に対応してテレビジョン放送受信用のアンテナANTを接続可能とされている。そして、アンテナANTより受信した放送信号について選局及び復調を行ってテレビジョン信号としてのビデオ/オーディオ情報を得る。そして、このテレビジョン信号については、所定方式により圧縮符号化されたビデオ/オーディオ信号データに変換する。
また、本実施の形態の基地局装置1は、例えばビデオ入力端子も備えており、このビデオ入力端子と接続された外部AV機器から出力されるビデオ/オーディオ信号についても入力して取得し、上記と同様に、圧縮符号化したビデオ/オーディオ信号データに変換可能とされている。
さらに基地局装置1は、インターネット(ネットワーク)接続機能も有している。これにより、基地局装置1は、例えばインターネットに接続することで、インターネット上のWebサイトにアクセスしたり、また、電子メールの送受信等も行うことが可能とされる。このために、基地局装置1には、Webサイトを閲覧し、また、電子メールの作成、送受信などを行う、いわゆる、Webブラウザ、メーラなどといわれるアプリケーションソフトウェアがインストールされている。
そして、基地局装置1では、上記Webブラウザ、メーラなどのインターフェイス画像もビデオ信号として生成する。そして、上記したテレビジョン放送のビデオ信号に代えて出力したり、また、テレビジョン放送のビデオ信号と合成することが可能とされている。また、このようにして生成されたビデオ信号も、圧縮符号化されたビデオ信号データに変換可能とされている
そして、基地局装置1からは、上記のようにして得た圧縮符号化により得られたビデオ/オーディオ信号データを、先ず、無線により電波として送信出力可能とされている。つまり、基地局装置1では、受信選局したテレビジョン放送の画像、AV機器から入力されたビデオ/オーディオ信号、及びインターネット画像を含むインターフェイス画像としての画像情報などの各種コンテンツ情報を、無線送信可能とされている。また、コマンドなどをはじめとした画像情報以外の各種データも無線により送信出力可能とされる。そして、このようにして基地局装置1から送信された情報は、次に説明するモニタ装置2側で受信できるようになっている。
また、基地局装置1とモニタ装置2は、この無線通信によりコマンドの送受信を行うことも可能とされている。これにより、モニタ装置2により基地局装置1をコントロールしたり、また逆に、基地局装置1からモニタ装置2をコントロールすることもできる。
ここで、上記した無線通信は、例えば実際には、約30mの範囲内での通信可能距離とする仕様となっている。つまり、この無線通信は、基地局装置1とモニタ装置2とが例えば同じ家屋内のような比較的近距離にある使用環境を前提としている。
モニタ装置2は、例えばユーザが持ち歩き可能なように配慮されたサイズ形状を有しているものとされる。
このモニタ装置2では、上記のようにして基地局装置1から電波として無線送信された信号を受信して入力することができる。例えば、入力した受信信号が圧縮符号化された形式のビデオ/オーディオ信号データとされるコンテンツ情報であるときには、復号処理を施してビデオ/オーディオ信号を得る。
そして、モニタ装置2は、例えばLCD(Liquid Crystal Display)などの表示デバイスにより構成される表示部26を備えており、上記のようにして得たコンテンツ情報におけるビデオ信号について、表示部26に対して画像として表示させる。つまり、モニタ装置2では、基地局装置1側で受信選局したテレビジョン放送の映像/音声情報や、AV機器から入力取得した映像/音声情報、及び基地局装置1側で動作するアプリケーションソフトウェアのユーザインターフェイス画像を表示出力することができるようになっている。また、スピーカ29を含む音声情報の出力機能も備えることで、例えば映像/音声情報の音声や、ユーザインターフェイス画像に対する操作などに対応した音声も出力可能とされている。
また、表示部26としての表示部位に対しては、タッチパネル30aが取り付けられており、このタッチパネル30aに対する操作を検出することによって操作情報を発生させるようにしている。
このタッチパネル30aに対する操作情報は、必要に応じて、無線によってアンテナ26から基地局装置1に対して送信するようにされ、基地局装置1では、受信した情報に基づいて、所要の制御処理を実行するようにされる。このような送受信を含む動作が行われることによって、テレビジョン受像機のモニタとしての機能とインターネット機能との切り換えを行ったり、また、テレビジョン放送のチャネル選択、外部ビデオ/オーディオソースの選択などを行ったりすることが可能とされる。また、例えば上述したようにして表示される、Webブラウザやメーラなどのアプリケーションソフトウェアのインターフェイス画面に対する操作を行うことができる。
このように、基地局装置1は、テレビジョン放送や外部AV機器からビデオ/オーディオ情報を取得し、また、インターネットを通じてWebコンテンツをはじめとした各種の情報を受信取得し、さらにこれらの取得したコンテンツ情報を送信出力するというように、周囲から取得可能なコンテンツ情報をモニタ装置に伝送するためのインターフェイスとしての機能を有している。
また、モニタ装置2は、上記のようにして基地局装置1が取得したビデオ/オーディオ情報を画像、音声として出力し、また、当該システムに対するユーザの操作入力を受け付けるユーザインターフェイスとしての機能を有している。
そのうえで、本実施の形態としては、前述もしているように、1つの基地局装置1と複数のモニタ装置2とを組み合わせてAVシステムを構築するようにされる。そして、例えばモニタ装置2から基地局装置1に対するコントロールとして、複数のモニタ装置2のそれぞれが個別に、画像情報(ビデオ信号)を要求可能とされる。具体的には、例えば複数のモニタ装置2のそれぞれが、異なるチャンネルのテレビジョン放送の画像を要求できるようにされている、ということである。そして、基地局装置1側では、以降説明する構成によって、例えばこれらの要求に応じて、複数のモニタ装置ごとにおいてそれぞれが要求した画像が表示出力されるように、複数の画像情報(ビデオ信号)についての送信を行うようにされる。
なお、確認のために述べておくと、図2においては2つのモニタ装置2が示されているが、以降の説明からも理解されるように、本発明の概念として、AVシステムにおけるモニタ装置2の数は特に限定されるべきものではない。
図2は、本実施の形態の基地局装置1についての、画像情報(ビデオ信号:動画像信号)を送信するための構成例をブロック図により示している。また、この図2においては、上記ブロック図により示す各部における処理の流れ(段階)に応じたとされる、そのときの動画像信号の状態も模式的に示している。ここでの動画像信号の状態については、その動画像信号を表示出力したとされるときの表示状態として示している。
この図においては、基地局装置1において、モニタ装置2側に送信すべき画像情報として、動画像信号(ビデオ信号)Aと、動画像信号(ビデオ信号)Bとを取得した場合が示されている。これらの動画像信号としての画像情報は、例えば上記もしているように、それぞれ異なるチャンネルのテレビジョン放送のビデオ信号などとされる。そして、基地局装置1の処理の流れとして、この動画像信号Aと動画像信号Bとを取得した段階を第1段階とすると、この第1段階では、これら動画像信号Aと動画像信号Bに対応する動画像A,Bとしては、図2において動画像の状態として示すようにして、相互に独立したコンテンツ内容を有するそれぞれ個別のものであるということになる。
なお、実際において、上記のようにして、異なる複数のチャンネルのテレビジョン放送のビデオ信号を同時に取得するための構成としては、例えば、基地局装置1に対して、テレビジョン放送のチューナを複数備えるようにすればよい。
また、外部AV機器として、テレビジョン放送チューナを備える機器を基地局装置1と接続するようにしてもよい。そして、基地局装置1が備えるテレビジョンチューナで受信選局したチャンネルのビデオ信号と、外部AV機器側で受信選局した異なるチャンネルのビデオ信号とを入力して取得するようにされる。もちろん、基地局装置1が備えるチューナは使用せずに、複数の外部AV機器にて受信選局したチャンネルのビデオ信号を入力して取得してもよい。
上記のようにして取得された動画像信号A,Bは、合成器11に対して入力される。第2段階の処理として、合成器11では、入力される複数の動画像信号について合成処理を行って、1つの動画像信号(合成動画像信号)として出力する。この図では、合成器11は、入力される2つの動画像信号A,Bについて合成処理を行って、合成動画像信号を生成することとしている。これにより、この合成動画像信号に対応する動画像の状態としては、例えば、図示するようにして、1画面上において、動画像Aと動画像Bとが合成された状態となる。なお、この図では、2つの動画像信号を合成するのにあたり、合成対象となっている動画像信号を水平方向に沿って配列させるようなかたちで、合成処理を行った結果を示している。
また、合成器11が入力可能な動画像信号の最大数としては特に限定されるべきものではない。また、合成器11そのものとしては、アナログ信号処理より合成処理を行うように構成してもよいし、また、デジタル信号処理により合成処理を行うように構成してもよい。例えば基地局装置1の実際の構成として、第1段階として取得される動画像信号がアナログ信号なのであれば、合成器11についてアナログ信号処理により動画像信号の合成を実行する構成とすればよく、第1段階として取得される動画像信号がデジタル信号なのであれば、合成器11についてデジタル信号処理により動画像信号の合成を実行する構成とすればよい。
そして、合成器11による合成処理によって得られた合成動画像信号は、ビデオエンコーダ12に対して入力される。
ビデオエンコーダ12は、第3段階の処理として、入力される動画像信号について、所定の符号化方式に従って圧縮符号化を行い、符号化動画像信号を生成して出力する。出力される符号化動画像信号はデジタル信号の形式となっている。なお、入力される動画像信号がアナログ信号である場合には、ビデオエンコーダ12では、先ずA/D変換処理を実行してから符号化処理を実行するようにされる。また、この場合、ビデオエンコーダ12は、1つの動画像信号入力に対応して1つの符号化動画像信号を出力するものとされ、この点では、従来と同様とされる。
また、ビデオエンコーダ12が対応する圧縮符号化方式としては、特に限定されるべきものではないが、現状としては、例えばMPEG(Moving Picture Experts Group)方式に準拠した方式、若しくはH.264などの方式を採用することが考えられる。
そして、ビデオエンコーダ12では、第3段階の処理として、合成器12から合成動画像信号が入力されてきた場合にも、通常の動画像信号と同様にして圧縮符号化のための処理を実行し、圧縮符号化した動画像信号として出力する。なお、本実施の形態において合成動画像信号をビデオエンコーダ12により符号化して得られる符号化動画像信号のデータについては、合成/符号化動画像信号ということにする。図2の場合においては、合成/符号化動画像信号は、動画像信号A,Bについて合成した合成動画像信号を符号化したものとなる。従って、図2において、この第3段階の処理により得られる合成/符号化動画像信号に対応する画像としても、図示するようにして、1画面上において動画像Aと動画像Bとが合成された状態のものとなる。
ビデオエンコーダ12から出力される符号化動画像信号のデータは、制御部13の制御によりメモリ部14に転送されて書き込みが行われ、ここで一時蓄積されるようにして保持される。そして、制御部13は、このメモリ部14に一時蓄積させた符号化動画像信号のデータを所要のタイミングで読み出して通信部15に対して転送して入力させる。なお、このときの制御部13による符号化動画像信号のデータの読み出しタイミングは、例えば、この符号化動画像信号のデータを受信するモニタ装置側で、例えば画像として再生出力するときに途切れが生じないようにすることを考慮して設定される。
制御部13は、例えばCPU(Central Processing Unit)を備えるマイクロコンピュータとしての構成を採り、この図に示される動画像信号処理を含む各種の基地局装置1における制御を実行する。
通信部15は、この場合には、本実施の形態としての電波無線通信に採用される所定の通信プロトコルに従っての通信処理を実行する。あくまでも一例であるが、本実施の形態の電波無線通信の通信プロトコルとしてはTCP/IP(Transmission Control Protocol/Internet Protocol)が採用される。つまり、電波無線通信であるが、その通信プロトコルとしては、インターネットと同様としている。TCP/IPは、既にインターネットで広く普及していることから、応用が容易であるという利点を有している。
例えば、送信時においては、TCP/IPに従った送受信が可能な形式となるように、パケット化などの処理を施し、例えば所定のキャリア変調などを施して電波として送信出力する。また、受信時においては、先ず、電波として伝送されてきた送信情報を受信してパケット単位での情報に復調する。そして、TCP/IPの通信プロトコルに従ってパケット化を解くなどの処理を実行することで、コマンド等や映像/音声情報の実データを得るようにされる。
通信部15は、第4段階の処理として、上記と同様の通信処理を実行することによって、制御部13の制御によってメモリ14から転送されてくる符号化動画像信号のデータを、送信動画像データとして、電波無線通信により、送信先として設定されているモニタ装置2に対して送信するようにされる。
そして、図2の例としては、ビデオエンコーダ12から出力される符号化動画像信号が合成/符号化動画像信号とされていることで、通信部15から送信出力される送信動画像データとしても、合成/符号化動画像信号とされていることになる。図2においては、この第4段階により送信出力される送信動画像データに対応する画像としても、図示するようにして1画面上において動画像Aと動画像Bとが合成した状態とされているものである。
このようにして、本実施の形態の基地局装置1は、例えば複数のモニタ装置2に対して、異なる複数の動画像の情報を送信する必要のある場合において、これら複数の動画像の情報に対応する複数の動画像信号を合成して1つの動画像信号(合成動画像信号)とするようにしている。そして、この合成動画像信号を、通常の動画像信号と同様に圧縮符号化して送信出力するようにされている。
また、本実施の形態の基地局装置1において、合成/符号化動画像信号を送信動画像データとして送信するときには、複数のモニタ装置2に対して、この送信動画像データを同時送信することになる。そして、このようにして複数のモニタ装置2に送信動画像データを同時送信するためには、モニタ装置2側との通信をブロードキャスト又はマルチキャストにより行うようにされる。
図3は、本実施の形態のモニタ装置2についての画像情報(ビデオ信号:動画像信号)を送信するための構成例をブロック図により示している。また、この図3においても、上記ブロック図により示す各部における処理の流れ(段階)に応じたとされる、そのときの動画像信号の状態を、その動画像信号を表示出力したとされるときの表示状態として模式的に示している。
先ず、基地局装置1から送信されてきた送信動画像データは、モニタ装置2において通信部21によって受信復調されることになる。なお、通信部21の構成としては、先に背説明した基地局装置1の通信部15と同様の構成とされればよい。
通信部15により送信動画像データを受信復調することによっては、符号化動画像信号のデータが得られることになる。制御部22は、この通信部15にて得られる符号化動画像信号のデータをメモリ23に書き込んで一時蓄積するようにして保持する。そして、所定のタイミングで、メモリ23に蓄積させている符号化動画像信号のデータの読み出しを行ってビデオデコーダ12に対して転送する。ここまでの処理が、モニタ装置2における第1段階の処理となる。
制御部22としても、例えばCPUを備えるマイクロコンピュータとしての構成を採り、この図に示される動画像信号処理を含む各種の基地局装置1における制御を実行する。また、制御部22によるビデオデコーダ12への符号化動画像信号のデータの転送タイミングは、ビデオデコーダ12において復号されて出力される動画像信号について連続性が維持されるようにすることを考慮して設定される。この結果、最終的にディスプレイパネル26から表示出力される画像としては、途切れによる乱れなどが無いものとすることができる。
そして、図2においては、この第1段階としての処理により、ビデオデコーダ24に対して転送される符号化動画像信号のデータとしては、動画像信号Aと動画像信号Bとが合成された合成/符号化動画像信号のデータであることになる。このために、この第1段階における動画像信号に対応する画像としても、動画像Aと動画像Bとが合成された状態となっている。
ビデオデコーダ24では、上記のようにして制御部22の制御によって転送されてくる符号化動画像信号のデータを入力して、ビデオエンコーダ12の符号化方式に対応する復号処理を実行し、この復号により伸長された動画像信号を生成して出力する。このビデオデコーダ24による復号処理が第2段階の処理となる。
そして、図2の第2段階の処理において、ビデオデコーダ24に対して入力されるのは、動画像信号A,Bを合成した合成/符号化動画像信号であり、従って、この第2段階の処理(復号処理)によっては、動画像信号A,Bを合成した合成動画像信号が得られるということになる。この合成動画像信号を画像としてみた場合にも、図示するようにして動画像Aと動画像Bとが合成された状態のものとなる。
ビデオデコーダ24により復号して得られた動画像信号は、グラフィックコントローラ25に対して入力される。このグラフィックコントローラ25では、先ず、入力された動画像信号を処理対象として、必要とされる画像表示態様が得られるように画像処理を実行することができる。例えば、入力された動画像信号としての画像全体から一部を切り出した画像部分を表示出力するための動画像信号を、元の入力された動画像信号から生成する処理を実行可能とされる。このようなときには、例えば画素補間、画素間引きなどの処理を行うことで、元の動画像信号の解像度(画像サイズ)を変更することが可能とされている。
また、この場合においては、元の動画像データに対して、チャンネル番号や入力ソースなどを文字等により重畳して表示させる、いわゆるオンスクリーンディスプレイのための信号処理も、このグラフィックコントローラ25が実行するようにして構成されている。
そして、ビデオデコーダ24から入力されてくる動画像信号が合成動画像信号とされる場合には、グラフィックコントローラ25は、画像処理として、この入力される合成動画像信号を形成するとされる複数の動画像信号のうちから、このモニタ装置2により表示出力するべき動画像信号を抽出するようにされる。この画像処理が第3段階の処理となる。 図2に示す場合のようにして、グラフィックコントローラ25に入力される合成動画像信号が動画像信号A,Bを合成したものとされ、モニタ装置2によっては動画像信号Aを表示出力させることとした場合、この第3段階の処理によっては、合成動画像信号から、動画像信号Aを抽出することになる。従って、このときに得られる動画像信号に対応した画像としては、図示するようにして、動画像Aのみとされることになる。
そして、グラフィックコントローラ25は、上記のようにして、表示部26に表示させるべき動画像信号(ビデオ信号)を生成した上で、この動画像信号による画像が表示部26において画像として表示されるようにして、表示部26を駆動する。これにより表示部26としてのディスプレイデバイス(例えばLCD)は、画像表示を行うことになる。これがモニタ装置2における第4段階の処理となる。
そして、図2の場合においては、この段階4として、表示部26を駆動するための基となる信号は、上記のようにして合成動画像信号から抽出した動画像信号Aとなり、従って、これに対応する画像としても動画像Aであることになる。そしてこのことは、第4段階の処理の結果として、実際に表示部26において動画像Aが画像として表示されることを意味する。
このような基地局装置1とモニタ装置2の構成であれば、先ず、モニタ装置側は、グラフィックコントローラ25に対して、複数の動画像信号を含むようにされた合成動画像信号から必要な動画像信号を抽出する機能が与えられているといえる。これに応じて、基地局装置1側としては、複数のモニタ装置に対してそれぞれ異なるコンテンツ(動画像信号)を同時的に配信するのにあたり、これらのコンテンツとしての複数の動画像信号を1つの動画像信号として合成して送信すればよいということになる。また、本実施の形態の場合、動画像信号などのコンテンツのデータは、圧縮符号化してデータサイズを小さくして伝送することとしているが、処理手順としては、先に複数の動画像信号を合成して1つの動画像信号(合成動画像信号)を生成してから、この合成動画像信号について符号化を行うこととしている。
これにより、基地局装置1側においては、符号化処理は常に1つの動画像信号に対して行えばよいということになる。つまり、モニタ装置2側に送信すべき動画像の数にかかわらず、符号化処理のための信号処理系は1系統でよいということになる。これを図2の構成に対応させれば、モニタ装置の最大接続可能数(送信すべき動画像数)がどれだけ増加しても、基地局装置1に設けるべきビデオエンコーダは1つでよい、つまり、ビデオエンコーダ12のみでよい、ということになる。
このようにして、基地局装置1としては、複数のモニタ装置に対して異なる動画像のデータを同時的に送信できる構成でありながら、ビデオエンコーダとしては1系統でよく、モニタ装置の最大接続可能数(送信すべき動画像数)を増加させたとしても、これに応じてビデオエンコーダを増設する必要はない。これにより、製造コストを抑えることができる。また、回路規模が拡大することもないことから、基地局装置の回路基板サイズ、装置全体のサイズが大型、重量化することも避けられる。また、ビデオエンコーダとしての処理機能を、制御部(CPU)13がプログラムに従って実行するソフトウェア的な処理により実現する構成とした場合においても、制御部13が実行すべき符号化処理は、常に1つの動画像信号に対応したものとなる。従って、合成対象の動画像信号数の増加にかかわらず、符号化のための制御部の負荷が重くなっていくということがない。
さらに、図2による説明からも理解されるように、合成動画像信号をビデオエンコーダ12により符号化して通信部15により送信出力するまでの処理は、1つの通常の動画像信号を対象とするときの処理と変わらない。これは、合成動画像信号そのものが、1つの動画像信号として扱われるべきものだからである。従って、このときの制御部15によるトラフィックのための制御、つまり、例えばメモリ14に対する合成/符号化動画像信号データの書き込み/読み出しのためのタイミング制御、及び通信部15に対する送信タイミング制御などは、通常の1つの動画像信号を送信出力する場合と同様でよいということになる。これにより、複数の動画像情報を送信するのにあたって、制御部13におけるCPUの負荷が重くなることがなくなり、動作信頼性も損なわないことになる。
続いて、上記した構成による基地局装置1と複数のモニタ装置2とから成るAVシステムの使用に応じた動作例について、図4〜図8を参照して説明する。
ここで、AVシステムの動作状態として、図4に示すようにして、基地局装置1では、コンテンツとして、動画像A,Bとしての2つの動画像信号を取得し、これらの動画像A,Bの動画像信号を合成、符号化して得られる合成/符号化動画像信号を、送信動画像データとしてモニタ装置2−A,2−Bに対してブロードキャスト又はマルチキャストにより同時送信しているものとする。これに応じて、モニタ装置2−Aでは、送信動画像データを受信、復号して得られる合成動画像信号のデータから、動画像Aの動画像信号を抽出し、表示出力させているものとする。また、モニタ装置2−Bでは、送信動画像データを受信、復号して得られる合成動画像信号のデータから、動画像Bの動画像信号を抽出し、表示出力させているものとする。
そして、この状態から図5に示すようにして、新たにAVシステムの通信圏内にあるとされるモニタ装置2−Cから動画像Cを要求するコマンドが、基地局装置1に対して送信されてきたとする。この動画像Cは、これまで基地局装置1が送信動画像データ(合成/符号化動画像信号)として送信している動画像A,Bとは異なるコンテンツとなる。つまり、モニタ装置2−Cからは、これまで送信していない新規の動画像の送信が要求されたことになる。
この動画像Cの要求を受信した基地局装置1では、図6に示すようにして、動画像Cの動画像信号を新規に取得する。そして、合成動画像信号としては、これまでの動画像Aと動画像Bの動画像信号に加えて、動画像Cの動画像信号も合成するようにされる。そして、この合成動画像信号を符号化して、送信動画像データとして、モニタ装置2−A,2−B,2−Cに対してブロードキャスト又はマルチキャストにより送信する。なお、このときに生成される合成動画像信号を画像としてみた場合には、例えば、図において模式的に示すように、1つの画面領域に対して動画像A,B,Cを配列したような動画像信号とすることが考えられる。
そして、モニタ装置2−A,2−B,2−Cでは、送信されてきた送信動画像データを受信して、動画像A,B,Cが合成された合成動画像信号を得る。そして、モニタ装置2−Aは、これまでと同様に、合成動画像信号から動画像Aの動画像信号を抽出して表示出力する。モニタ装置2−Bは、合成動画像信号から動画像Bの動画像信号を抽出して表示出力する。モニタ装置2−Cは、合成動画像信号から動画像Cの動画像信号を抽出して表示出力する。つまり、モニタ装置2−C側としては、要求した動画像Cの供給を受け、これを表示出力できていることになる。
そして、図6に示す動作状態から、さらに、図7に示すようにして、モニタ装置2−Dから動画像Aを要求するコマンドが基地局装置1に対して送信されたとする。ここで、モニタ装置2−Dが要求した動画像Aは、モニタ装置2−Aにおいて受信、復号、抽出して表示出力させているのと同じコンテンツである。つまり、モニタ装置2−Dが要求した動画像Aは、既に基地局装置1から合成動画像信号に合成されて送信されている状態にある。
このモニタ装置2−Dからの要求を受信した基地局装置1の応答動作として、基地局装置1から送信する送信動画像データの内容としては、これまでと同様に、動画像A,B,Cのそれぞれに対応する動画像信号を合成した合成動画像信号のままとする。つまり、この場合には、送信動画像データについて、図6のときと同じ内容を変更することなく継続して送信させることとしている。
そして、この場合においても、モニタ装置2−A,2−B,2−C,2−Dでは、同時送信されてきた送信動画像データを受信、復号して、動画像A,B,Cが合成された合成動画像信号を得る。
モニタ装置2−Aは、これまでと同様に、合成動画像信号から動画像Aの動画像信号を抽出して表示出力する。モニタ装置2−Bは、合成動画像信号から動画像Bの動画像信号を抽出して表示出力する。モニタ装置2−Cは、合成動画像信号から動画像Cの動画像信号を抽出して表示出力する。そして、モニタ装置2−Dも、この合成動画像信号から、モニタ装置2−Aと同じ動画像Aの動画像信号を抽出して表示出力する。この場合にも、つまり、モニタ装置2−D側では、要求した動画像Aの供給を受け、これを表示出力できているといえる。
ここで、図5及び図6に示すようにして、モニタ装置2側から新規の動画像が要求された場合には、基地局装置1では、この要求された動画像としての動画像信号を新規に取得し、合成動画像信号に追加的に合成して送信するようにされる。
これに対して、図7及び図8に示すようにして、モニタ装置2側から要求された動画像が、既に合成動画像信号に合成して送信中のものであった場合には、基地局装置1では、その要求された動画像を新たに、合成動画像信号に追加することはしないようにされる。本実施の形態の場合、複数のモニタ装置に対してブロードキャスト又はマルチキャストにより同時送信する情報は、これらモニタ装置側で要求している全ての動画像信号を合成した合成動画像信号とされている。したがって、複数のモニタ装置において、同じ動画像を必要とするときには、合成動画像信号に合成されている同じ動画像信号を抽出すればよいことになる。つまり、同じ情報資源を共有すればよいわけであるから、合成動画像信号に同じ動画像信号を重複して合成させる必要ない。
これにより、例えば、動画像を要求するモニタ装置が増加してきたとしても、同じ動画像を要求している複数のモニタ装置がある場合には、その分、合成動画像信号として合成すべき動画像信号数を増やさないようにできる。このため、例えば画像合成処理の負担もいたずらに重くなることがない。これは、例えば合成器11としての構成が大規模化することを抑制できる1つの要因となる。また、合成動画像信号に合成する動画像信号数が増えないことで、例えばモニタ装置側での抽出処理についてもそれだけ処理負担の軽いものとして構成することが可能となる。また、合成器11が実行する画像信号処理、及びモニタ装置2側での抽出処理をソフトウェアとして構成した場合にも、これらの処理がいたずらに重くは成らないので、これらの処理を実行する各制御部(13,22)の処理負担を軽減できることになる。
なお、これら図4〜図8におけるようにしてモニタ装置2において受信取得した合成動画像信号から必要とされる動画像信号を適切に抽出するための仕組み、構成については後述する。
ここで、基地局装置1の合成器11により動画像信号を合成するのにあたっては、例えば、図9及び図10に示すような合成動画像信号が得られるようにして合成処理を行うようにすることが考えられる。
図9(a)(b)は、合成動画像信号について、これを表示出力させた場合に得られる画像状態により模式的に示している。また、これらの図においては、説明を簡単なものとするために、動画像A,Bの2つに対応する動画像信号を合成する例を示している。
先ず、図9(a)においては、例えば、これまでに説明した図2〜図5においても示されているのと同様の動画像信号の状態が示されている。つまり、1画面上において合成対象となる動画像が水平方向に配列された画像に対応する合成動画像信号となるように、合成処理を行うものである。このための処理としては、例えば合成動画像信号の1水平ラインごとに、合成対象となる動画像信号における同位置の水平ラインが連続するものとなるようにして映像信号を生成していくようにすればよい。
あるいは、図9(b)に示すようにして、1画面上において合成対象となる動画像が垂直方向に配列された画像に対応する合成動画像信号となるように合成処理を行うこととしてもよい。このような合成動画像信号を生成するためには、例えば、1画面分の画像信号において、1つの動画像信号の第1水平ラインから最終水平ラインまでの信号を入力させた後に、これに続けて、その下に位置するべき動画像信号の第1水平ラインから最終水平ラインまでの信号を入力して連続させるようにして生成を行っていけばよいものとされる。
また、合成すべき動画像信号が所定数以下のうちは、図9(a)又は図9(b)に示すようにして、水平方向又は垂直方向に沿って動画像が配列されていくようにして合成を行い、合成すべき動画像信号が所定数を越えたのであれば、所定規則に従って、水平/垂直両方向でのマトリクス状動画像が配列されていくように合成するようにしてもよい。例えば図6〜図8において示される動画像A,B,Cを合成した送信動画像データが、このような合成のパターン例となる。
また、動画像を垂直方向に沿って配列させる合成の変形として、図10に例示するような合成パターンとすることも可能である。なお、この図においても、動画像A,Bに対応する2つの動画像信号を合成する場合を例としている。
図10(a)(b)は、それぞれ、動画像A,Bの動画像信号について、水平ラインの信号から成るフレーム画像信号として示している。動画像Aのフレーム画像信号は、第1水平ラインDHA-1〜最終水平ラインDHA-nのライン信号から成り、動画像Bのフレーム画像信号は、第1水平ラインDHB-1〜最終水平ラインDHB-nのライン信号から成るものとして示している。
そして、このような動画像A,Bの動画像信号を合成して合成動画像信号を生成するのにあたっては、図10(c)に示すようにして、第1水平ラインから最終ラインにかけて水平ラインDHA-1→DHB-1→DHA-2→DHB-2→DHA3→DHB-3→・・・・・→DHA-n→DHB-nのようにして配列させることとしている。つまり、この場合には、動画像A,Bのフレーム画像信号の水平ラインが交互となるようにして合成して1つのフレーム画像信号を生成するようにして合成動画像信号を得ることとしている。このような図10に示す合成の手法は、例えば図9に示した合成の手法が合成対象となる動画像単位によるものであるのに対して、合成対象となる動画像についての映像信号の水平ライン単位による合成であるということがいえる。
また、このような合成の手法を採ることは、合成対象となる動画像が3以上の場合にも可能である。例えば上記した動画像A,Bに加えて動画像Cを合成するとした場合において、この動画像のフレーム画像信号が第1水平ラインDHC-1〜最終ラインDHC-nから成るものとすれば、合成動画像信号としての合成フレーム画像信号は、例えば、水平ラインDHA-1→DHB-1→DHC-1→DHA-2→DHB-2→DHC-2→DHA3→DHB-3→DHC-3→・・・・・→DHA-n→DHB-n→DHC-nのようにして配列させていく処理を行えばよい。
なお、この図10により説明する例では、合成動画像信号の1水平ラインごとに、合成対象となる動画像信号の1つの水平ラインを順次割り当てるようにしているが、その基本概念としては、水平ラインによる単位を基とする合成が行われさえすればよい。従って、例えば合成対象となる動画像信号の複数の水平ラインを1つの映像信号部分単位として、この映像信号部分単位により合成を行うようにしても構わない。また、例えば図10において、合成動画像のフレーム画像信号において、1つの動画像のフレーム画像信号だけを抜き出してみた場合には、元の動画像のフレーム画像信号と同じ水平ラインの配列となっているが、例えば、元の動画像のフレーム画像信号の水平ラインを、所定規則に従ってスクランブルさせるようにしたうで、合成動画像のフレーム画像信号の水平ラインに割り当てるような合成を行ってもよいものである。
また、本実施の形態としては、図5及び図6による説明から理解されるように、送信動画像データとして送信する合成動画像信号に合成して含める動画像信号の数は、例えばモニタ装置2側からの要求に応じてダイナミックに可変可能とされている。そのうえで、本実施の形態としては、次に説明するようにして、合成動画像信号に合成して含める動画像信号の数に応じて、合成動画像信号を圧縮符号化するときの符号化率(例えば圧縮率など)を変更するようにされる。
ここで、動画像信号をフレーム画像としてみた場合の、基地局装置1において処理できる最大解像度(画素数)は、図11(a)に示すようにして、水平解像度(水平画素数)をa、垂直解像度(垂直画素数)をbとして、a×bで表されるものとする。
これまでの説明から理解されるように、基地局装置1においては、合成動画像信号も1つの動画像信号として扱われるものであるから、合成動画像信号としての最大解像度も、a×bとなる。そしてここでは、合成動画像信号を生成するのにあたり、2つから4つまでの動画像を合成する場合には、同じ図11(a)に示すようにして、a×bの最大解像度に対応する画像サイズを合成領域としたうえで、各動画像について、c(水平解像度)×d(垂直解像度)で表される解像度を設定する。
ここでは説明を簡単にするために、合成領域の水平解像度aと、合成される動画像の水平解像度cは、1/2a=cの関係であることとする。同様に、合成領域の垂直解像度bと、合成される動画像の垂直解像度dの関係も、1/2b=dの関係であることとする。 そして、上記のようにして設定された解像度による4つ以内の所要数の動画像信号を、合成領域に対してマトリクス状の配列パターンに割り当てるようにして合成を行うようにされる。この場合、図11(a)において動画像A,B,C,Dとして示すようにして、解像度a×bによる合成領域に対しては、解像度c×dによる動画像信号は、最大で4つを割り当てて合成することが可能となる。
そして、例えば図11(a)に示すようにして、合成動画像信号として4つの動画像信号が合成されている状態から、さらに合成すべき動画像信号を増加することになったとする。この場合、図11(a)に示されるc×dの解像度のままでは、増加分の動画像信号を追加して合成することができない。
そこで、このような場合には、図11(b)に示すようにして、合成すべき動画像信号の解像度(水平解像度×垂直解像度)について、c×dよりも小さいe×fを設定するようにされる。
図11(b)においては、合成される動画像信号の解像度e×fとしては、合成領域の解像度a×bに対して、1/3a=e、1/3=fの関係となるようにしており、これにより、図において動画像A〜Iとして示すように、最大で9の動画像信号をマトリクス状の配列パターンに割り当てて合成することが可能になる。
このようにして、合成すべき動画像信号の数が増加するのに応じて、動画像信号の解像度を小さくしていけば、限られた合成領域において、全ての合成すべき動画像信号を割り当てて合成させることができる。
しかしながら、よく知られているように、画像信号の解像度が小さくなることは、画像として表示出力したときの画質の劣化を招く。従って、上記のようにして合成すべき動画像の数に応じて各動画像信号の解像度を小さくしていった場合には、モニタ装置2側で表示出力される画像の画質も劣化していくことになる。
そこで、本実施の形態としては、このような画質劣化を補うために、合成すべき動画像の数に応じて各動画像信号の解像度を小さくしたのに応じては、これらの動画像信号を合成した合成動画像信号をビデオエンコーダ12により符号化するときの符号化率(例えば圧縮率)を小さくするようにされる。周知のようにして同じ圧縮符号化方式であっても、符号化率を大きくするように変更すれば、データレートは小さくなるが再生品質は低下する。逆に符号化率を小さくしていけば、データレートは大きくなるが再生品質は向上する。
なお、実際の符号化率の値としては、実際の合成領域の最大解像度及び合成対象の動画像信号に設定する解像度の兼ね合いや、実際にモニタ装置2にて表示出力される動画像の画質などを考慮して設定すべきものとなる。
また、このような合成すべき動画像数に応じた符号化率の変更は、例えば図10に示したようにして水平ライン単位による合成を行う場合にも適用されるべきものである。
続いて、図12〜図14のフローチャートを参照して、これまで説明した本実施の形態としてのAVシステムの動作に対応して、基地局装置1とモニタ装置2のそれぞれにおいて実行される処理動作について説明する。
本実施の形態のAVシステムにおいて、モニタ装置2側で新規に何らかのコンテンツの動画像を表示出力させるためには、基地局装置1から、そのコンテンツの動画像信号を送信してもらう必要がある。このために、モニタ装置2側としては、例えば図5のモニタ装置2−C又は図7のモニタ装置2−Dの動作として示したように、基地局装置1に対して、動画像としてのコンテンツ内容を指定した上で、動画像信号の要求を行う必要がある。図12はこの処理手順を示すもので、例えば図3に示す制御部22がプログラムなどに従って実行すべきものとなる。
この図12に示す処理としては、先ずステップS101において、モニタ装置2において、動画像を表示出力させるための指示が発生することを待機している。そして、例えばモニタ装置2に対するユーザの操作などに応じて、ユーザが所望のコンテンツ内容を指定して、そのコンテンツの画像を表示出力させるための操作を行ったとすると、これに応じて動画像出力のための指示が発生されることとなる。具体例として、ユーザがモニタ装置2に対して、或る所望のチャンネルを選択してテレビジョン放送の画像を表示させるための操作を行ったとされる。すると、コンテンツとして、この選択されたチャンネルの動画像を指定して表示出力させるための指示が発生されることになる。
このようにして、動画像を出力させる指示が発生されると、ステップS101からステップS102の処理に進むことになる。
ステップS102においては、上記のようにして動画像の表示出力指示が発生されたのに応じて、動画像の送信を要求するためのコマンド(動画像要求コマンド)を、送信先として基地局装置1を指定して送信するための制御処理を実行する。ここで、動画像の表示出力の指示が発生されたとき、この発生された指示情報には、表示出力すべきコンテンツ(動画像信号)を指定する情報も含むこととしており、上記した動画像要求コマンドには、コマンド内容として、送信してもらうべきコンテンツ(動画像信号)として、上記と同様のコンテンツ(動画像信号)を指定する情報も含めるようにされる。
このステップS102としての制御処理によって、通信部21からは、送信先となる基地局装置1に対して動画像要求コマンドが送信出力される。
図14は、上記動画像要求コマンドの受信に応答した基地局装置1側にて実行する処理を示している。この図に示す処理は、図2に示した制御部13がプログラムに従って実行するものとして実現される。なお、図13は、この図14に示す処理によって送信される抽出指示情報に応じたモニタ装置2側の処理となるので、後述する。
先ず、基地局装置1側では、ステップS301の処理として、システムを組むとされる何れかのモニタ装置から送信された動画像要求コマンドが受信されるのを待機しており、動画像要求コマンドを受信したことが判別されると、ステップS302以降の処理に進むことになる。
ステップS302においては、受信した動画像要求コマンドの内容を参照して、このコマンドが指定している動画像のコンテンツを認識する。そして、この認識したコンテンツに対応する動画像信号は、現在において送信動画像データとして送信中であるか否かについて判別する。
このステップS302において、今回受信した動画像要求コマンドが指定する動画像信号は送信中であるとして肯定の判別結果が得られた場合には、後述するステップS310の処理に進む。これに対して、今回受信した動画像要求コマンドが指定する動画像信号は現在送信中ではないとして否定の判別結果が得られた場合には、ステップS303の処理に進む。
ステップS302において否定の判別結果が得られた場合には、ステップS301に対応して今回受信したとされる動画像要求コマンドが指定する動画像信号を、これまで送信しているとされる送信動画像データに追加するようにして含めて送信しなければならないということになる。ステップS303以降の処理は、このための処理となる。
そこで、先ずステップS303においては、今回受信された動画像要求コマンドの内容を参照して、このコマンドが要求する動画像信号のコンテンツが何であるのかを認識する。そして、このコマンドが要求しているコンテンツ、つまり、動画像信号を取得するための制御処理を実行する。例えば要求されたコンテンツが、テレビジョン放送の所定チャンネルの画像なのであれば、基地局装置1が搭載するチューナの選局チャンネルを切り換えるための制御などを実行し、選局させたチャンネルの映像信号を取得するようにされる。
このようにして動画像要求コマンドが指定する動画像信号を取得しておいた上で、次のステップS304の処理を実行する。
ステップS304においては、現在、合成器11から出力されてビデオエンコーダ12に入力されている動画像信号の状態として、例えば図10に例示したような合成領域内において、現在設定されている合成対象の動画像についての解像度のままで、今回、新規に追加すべき動画像信号(ステップS303にて取得した動画像信号である)を割り当てて合成するための空きの領域が残っているか否かについて判別する。このためには、例えば制御部12は、ビデオエンコーダ12からメモリ部14に転送する符号化動画像信号の状態を監視するようにされる。例えば、合成動画像信号において動画像信号が合成されていない空き領域としての信号部分は、例えば黒画像、白画像などに対応させることとして、制御部12は、符号化動画像信号の状態として、この黒画像、白画像の領域がどれだけの信号部分を占有しているのかについて認識するようにされる。この認識結果に基づいて、空き領域としてどの程度の容量を有しているのかが分かり、新規の動画像信号のための空きの領域が確保されているか否かについて判断することができる。
そして、ステップS304において、空き領域が存在するとして肯定の判別結果が得られた場合にはステップS309の処理に進むことになる。
ステップS309では、以降においては、合成領域内における空き領域に対して、今回要求された動画像(コンテンツ)に対応する動画像信号を割り当てたうえでの合成処理が行われるように、合成器11に対する制御を実行する。
この処理によって、ステップS303により取得された動画像信号が新たに追加されるようにして合成された合成動画像信号が得られることとなる。
次のステップS310では、先のステップS301にて動画像の要求を行ってきたとされるモニタ装置2に対して、抽出指示情報を、通信部15から送信出力させるための処理を実行する。
ここで、抽出指示情報とは、合成動画像信号から目的とする動画像信号を抽出するために必要な情報要素から成るものとされる。
例として、図9により説明したような合成動画像信号であれば、抽出すべき動画像信号が配置される合成動画像信号における信号位置などの情報が格納されることになる。また、合成動画像信号が図10(c)に示すようなものであれば、例えば抽出すべき動画像信号の水平ラインが挿入されている合成動画像信号における水平ライン位置を示す情報等が格納されることになる。
また、ステップS310において生成される抽出指示情報により抽出させるべき動画像信号としては、先のステップS301に対応して受信した動画像要求コマンドが指定したのと同じ動画像信号であることになる。
また、ステップS309を経てステップS310に至った場合、このステップS310の処理としては、先のステップS303にて取得し、ステップS309により新規に追加して合成した動画像信号が抽出されるようにするための抽出指示情報を新規に生成したうえで、この抽出指示情報を送信させることになる。
これに対して、ステップS302により肯定の判別結果が得られたことでステップS310に至った場合、ステップS310における処理としては、上記のようにして新規に抽出指示情報を生成する必要はない。つまり、この場合には、既に指定された動画像信号をモニタ装置側に対して送信中の状態にあり、従って、今回指定されたのと同じ動画像信号を抽出して表示させているモニタ装置2も既に存在している、ということになる。これは、基地局装置1から、既に、今回指定されたのと同じ動画像信号を抽出するための抽出指示信号を生成して送信しているということである。そこで、少なくとも、現在送信中とされる動画像信号についての抽出指示情報は保持しておくようにすれば、この場合のステップS310の処理としては、この保持されている抽出情報を再利用すればよいということになる。
また、ステップS310による、基地局装置1からモニタ装置2に対する抽出指示情報の送信は、先のステップS301に対応して動画像信号の要求を送信してきたモニタ装置のみを送信先として特定した、ユニキャストによる通信で行われる。また、この抽出指示情報の送信は、ステップS301に対応して受信された動画像信号の要求に対するレスポンスとして定義することも考えられる。
ステップS310の処理を実行した後は、後述するステップS311の処理に移行する。
また、ステップS304において、今回追加して合成すべき動画像信号のための空き領域が無い、あるいは不足しているとして否定結果が得られた場合には、ステップS305に進む。
ステップS305においては、現段階において合成対象となっている動画像信号について設定すべき解像度を、これまで設定していた値よりも、例えば1段階小さいとされる所定の値に変更する。これにより、合成器11における合成対象となっている動画像信号の各々の解像度は、変更設定された解像度による動画像信号としての形式に変換される。本実施の形態では、このような解像度変更のための信号処理は、例えば合成器11内において、合成処理を実行する前段階で行うこととすればよい。
そして次のステップS306では、現段階において合成対象となっている動画像信号について、上記ステップS305により変更された解像度に対応した合成パターンにより、再合成が行われるように、合成器11を制御する。
続くステップS307では、先のステップS205により変更された解像度に応じて、符号化のための符号化率の設定が変更されるように、ビデオエンコーダ12に対する制御を実行する。ステップS205においては、解像度を小さくするようにして変更設定しているので、これに応じて、ステップS307としても、符号化率は小さくなるようにして変更される。
また、次のステップS308は、先のステップS306の処理としての再合成の処理によって生成された合成動画像信号を送信動画像データとして送信すべき全てのモニタ装置を対象(送信先)として、抽出指示情報を送信するための制御処理を実行するようにされる。
この場合、先のステップS306の処理によって再合成が行われたことで、再合成前とは合成動画像信号内における各動画像信号の合成レイアウトのパターンが異なっていることになる。
そこで、ステップS308としては、先ず、合成動画像信号に合成される各動画像信号についての抽出の仕方を指示する抽出指示情報を生成する。つまり、合成動画像信号に合成される動画像信号ごとに対応する抽出指示情報を生成する。そして、再合成した合成動画像信号を送信すべき全てのモニタ装置2ごとに対して、そのモニタ装置2が要求したとされる動画像信号に対応する抽出指示情報を送信する。このとき、各モニタ装置に対して抽出指示情報を送信するのにも、ユニキャストによる通信でもって行われるようにされる。ステップS308の処理が終了した後はステップS311の処理に進む。
ステップS311においては、現段階において合成器11の合成処理によって得られている合成動画像信号を、通信部15から送信動画像データとして送信出力させるための制御処理を実行する。確認のために述べておくと、合成器11にて合成された合成信号は、符号化された上で通信部15に転送されることで、通信部15から送信動画像データとして送信されるものである。
図13は、モニタ装置2側において、合成動画像信号としての送信動画像データを受信した場合の信号処理動作に対応する制御処理動作を示すものとなる。この図に示す処理としても、例えば制御部22が実行すべきものとされる。
この図に示す処理としては、先ず、ステップS201において基地局装置1から送信される抽出指示情報が受信されるのを待機している。そして、抽出指示情報が受信されたことを判別すると、次のステップS202の処理として、この受信された抽出指示情報を、例えばメモリ14などの所定の記憶領域に保持しておくようにされる。そして、次のステップS203においては、基地局装置1から送信されてくる、合成動画像信号としての送信動画像データの受信が開始されるのを待機するようにされる。そして、このデータの受信が開始されたことを判別するとステップS204に進む。
上記ステップS203に対応して、合成動画像信号としての送信動画像データの受信が開始されるのに応じて、モニタ装置2では、この受信された合成動画像信号をビデオデコーダ24により復号して、グラフィックコントローラ25に転送して表示部26に表示させるための一連の信号処理、表示制御を実行開始することになる。
そのうえで、ステップS204の処理としては、例えば、ステップS202にて保持している抽出指示情報が示す内容に従ってグラフィックコントローラ25を制御することで、このグラフィックコントローラ25に入力されてくる復号後の合成動画像信号から、例えば1つの動画像信号を抽出する。そして、続くステップS205の処理として示すように、この抽出された動画像信号を表示部26に表示出力させるためのグラフィックコントローラ25に対する制御処理も実行するようにされる。
このような仕組みによって、本実施の形態のAVシステムとしては、モニタ装置2側が必要とする動画像信号を適切に取得して合成動画像信号として合成して、基地局装置1から送信出力させることができる。また、モニタ装置側では、受信した合成動画像信号から目的とする動画像信号を正しく抽出して表示出力させることができる。
なお、これまでの説明は動画像信号に関する処理についてのみとされていたが、例えば実際のテレビジョン放送のテレビジョン信号や、各種AV機器から出力されるコンテンツの情報などのように、コンテンツの情報としては、動画像信号だけではなく、この動画像信号と同期して再生すべき音声信号が対応付けられた形式とされている場合がある。このような場合に対応しては、合成動画像信号に合成されている動画像信号ごとに対応する音声信号も同時的にモニタ装置2に対して送信することができれば、各モニタ装置では、動画像の表示出力と共に音声も再生して出力させることができるので好ましい。
このための構成としては、例えばMPEG−2などの符号化方式においてサポートされている、マルチチャンネルやマルチリンガルなどの規格を応用することが考えられる。
また、上記実施の形態としては、モニタ装置2側において合成動画像信号から1つの動画像信号のみを抽出することとしているが、本発明の概念としては、合成動画像信号から、必要とされる複数の動画像信号を抽出する構成としても構わない。つまり、合成動画像信号から抽出すべき動画像信号数については特に限定しない。
なお、上記実施の形態では、基地局装置とモニタ装置とから成るAVシステムを例に挙げているが、これ以外の形態の制御システムに対しても適用されるべきものである。例えば、基地局装置とモニタ装置に代えて、実施の形態として説明したようなAV機能を備えるパーソナルコンピュータなどとすることも考えられるし、特に、モニタ装置に代えては、より携帯性、可搬性に優れたPDA(Personal Digital Assistants)などの小型端末装置とすることも考えられる。
本発明の実施の形態としてのAVシステムの構成を模式的に示す図である。 実施の形態のAVシステムを構成する基地局装置の内部構成例を示すブロック図である。 実施の形態のAVシステムを構成するモニタ装置の内部構成例を示すブロック図である。 実施の形態のAVシステムの動作例を示す図である。 実施の形態のAVシステムの動作例を示す図である。 実施の形態のAVシステムの動作例を示す図である。 実施の形態のAVシステムの動作例を示す図である。 実施の形態のAVシステムの動作例を示す図である。 合成動画像信号における動画像信号の合成形態を模式的に示す図である。 合成動画像信号における動画像信号の合成形態を模式的に示す図である。 合成動画像信号数に応じた動画像信号の解像度の変更例を模式的に示す図である。 モニタ装置が基地局装置に対して動画像要求を行うための処理動作を示すフローチャートである。 モニタ装置により、合成動画像信号としての送信動画像データを受信した場合の信号処理を実現するための制御処理動作を示すフローチャートである。 動画像要求の受信に応じた基地局装置の処理動作を示すフローチャートである。 従来例としての基地局装置の構成例を示すブロック図である。
符号の説明
1 基地局装置、2 モニタ装置、11 合成器、12 ビデオエンコーダ、13 制御部(基地局装置側)、14 メモリ、15 通信部(基地局装置側)、21 通信部(モニタ装置側)、22 制御部、23 メモリ、24 ビデオデコーダ、25 グラフィックコントローラ、26 表示部、29 スピーカ、30a タッチパネル、100 インターネット、ANT アンテナ

Claims (13)

  1. 送信装置と受信装置とから成り、
    上記送信装置は、
    複数の動画像信号を合成して合成動画像信号を生成する合成手段と、
    入力される動画像信号について符号化して符号化動画像信号を出力するもので、入力される動画像信号として上記合成動画像信号が入力可能とされる符号化手段と、
    上記符号化手段から出力される符号化動画像信号を、複数の受信装置に対して送信する画像信号送信手段と、を備え
    上記受信装置は、
    上記画像信号送信手段により送信されてくる符号化動画像信号を受信する画像信号受信手段と、
    上記画像信号受信手段により受信した符号化動画像信号について復号して動画像信号を出力する復号手段と、
    上記復号手段から出力される動画像信号が上記合成動画像信号である場合に、この合成動画像信号に合成されている複数の動画像信号のうちから、所要の動画像信号を抽出する動画像信号抽出手段と、
    を備えることを特徴とする送受信システム。
  2. 上記送信装置は、
    上記合成動画像信号を上記符号化手段により符号化した符号化動画像信号を上記画像信号送信手段により送信する送信先となる複数の受信装置の各々に対して、合成動画像信号からの動画像信号の抽出の仕方を指示する抽出指示情報を生成して送信する、抽出指示情報送信手段をさらに備え、
    上記受信装置は、上記抽出指示情報を受信する抽出指示情報受信手段をさらに備えると共に、
    上記動画像信号抽出手段は、上記抽出指示情報受信手段により受信した上記抽出指示情報に基づいて、上記復号手段により復号されて出力される合成動画像信号に合成されている複数の動画像信号のうちから、上記所要の動画像信号を抽出するようにされている、
    ことを特徴とする請求項1に記載の送受信システム。
  3. 上記受信装置は、上記送信装置に対して、動画像信号を指定して要求するための要求情報を送信する要求情報送信手段をさらに備え、
    上記送信装置は、上記要求情報を受信する要求情報受信手段をさらに備えると共に、
    上記合成手段は、上記要求情報受信手段により受信した上記要求情報が指定する動画像信号が新規とされる場合には、この新規とされる動画像信号がこれまでの合成動画像信号に追加して合成されるようにして、合成動画像信号の生成を行うようにされている、
    ことを特徴とする請求項1に記載の送受信システム。
  4. 上記符号化手段は、
    上記合成手段により生成される合成動画像信号に含まれる動画像信号の数に応じて、符号化についての符号化率を変更設定するようにされている、
    ことを特徴とする請求項1に記載の送受信システム。
  5. 上記受信装置は、上記送信装置に対して、動画像信号を指定して要求するための要求情報を送信する要求情報送信手段をさらに備え、
    上記送信装置は、上記要求情報を受信する要求情報受信手段をさらに備えると共に、
    上記合成手段は、上記要求情報受信手段により受信した上記要求情報が指定する動画像信号が既に上記合成動画像信号に含まれている場合には、これまでと同じ合成動画像信号を生成するようにされている、
    ことを特徴とする請求項1に記載の送受信システム。
  6. 上記合成手段は、
    合成すべき複数の動画像信号としての画像が所定の配列規則によって配列されるようにして合成を行うことで、上記合成動画像信号を生成するようにされている、
    ことを特徴とする請求項1に記載の送受信システム。
  7. 上記合成手段は、
    合成すべき複数の動画像信号ごとの水平ラインを基とする合成信号単位について、所定規則に従って配列するようにして合成を行うことで、上記合成画像信号を生成するようにされている、
    ことを特徴とする請求項1に記載の送受信システム。
  8. 上記画像信号送信手段は、
    ブロードキャスト又はマルチキャストにより、上記符号化動画像信号を複数の受信装置に対して送信するようにされている、
    ことを特徴とする請求項1に記載の送受信システム。
  9. 複数の動画像信号を合成して合成動画像信号を生成する合成手段と、
    入力される動画像信号について符号化して符号化動画像信号を出力するもので、上記入力される動画像信号として上記合成動画像信号が入力可能とされる符号化手段と、
    上記符号化手段から出力される符号化動画像信号を、複数の受信装置に対して送信する画像信号送信手段と、
    上記符号化手段により上記合成動画像信号を符号化した符号化動画像信号を上記画像信号送信手段により送信する送信先となる複数の受信装置の各々に対して、合成動画像信号からの動画像信号の抽出の仕方を指示する抽出指示情報を生成して送信する、抽出指示情報送信手段と、
    を備えて構成されることを特徴とする送信装置。
  10. 送信装置から送信されてくる符号化動画像信号を受信する画像信号受信手段と、
    上記画像信号受信手段により受信した符号化動画像信号について復号して動画像信号を出力する復号手段と、
    送信装置から送信されてくる情報であって、合成動画像信号からの動画像信号の抽出の仕方を指示する抽出指示情報を受信する抽出指示情報受信手段と、
    上記復号手段から出力される動画像信号が上記合成動画像信号である場合に、上記抽出指示情報受信手段により受信した抽出指示情報に基づいて、この合成動画像信号に合成されている複数の動画像信号のうちから、所要の動画像信号を抽出する動画像信号抽出手段と、
    を備えることを特徴とする受信装置。
  11. 送信装置と受信装置とから成る送受信システムの情報処理方法において、
    上記送信装置は、
    複数の動画像信号を合成して合成動画像信号を生成する合成処理と、
    入力される動画像信号について符号化して符号化動画像信号を出力するもので、上記入力される動画像信号として上記合成動画像信号についても符号化するようにされる符号化処理と、
    上記符号化処理から出力される符号化動画像信号を、複数の受信装置に対して送信する画像信号送信処理とを実行し、
    上記受信装置は、
    上記画像信号送信処理により送信されてくる符号化動画像信号を受信する画像信号受信処理と、
    上記画像信号受信処理により受信した符号化動画像信号について復号して動画像信号を出力する復号処理と、
    上記復号処理によって出力される動画像信号が上記合成動画像信号である場合に、この合成動画像信号に合成されている複数の動画像信号のうちから、所要の動画像信号を抽出する動画像信号抽出処理と、
    を実行することを特徴とする情報処理方法。
  12. 送信装置の情報処理方法において、
    複数の動画像信号を合成して合成動画像信号を生成する合成処理と、
    入力される動画像信号について符号化を施して符号化動画像信号を出力するもので、上記入力される動画像信号として上記合成動画像信号についても符号化するようにされる符号化処理と、
    上記符号化処理によって出力される符号化動画像信号を、複数の受信装置に対して送信する画像信号送信処理と、
    上記合成動画像信号を上記符号化処理により符号化した符号化動画像信号を上記画像信号送信処理により送信する送信先となる複数の受信装置の各々に対して、合成動画像信号からの動画像信号の抽出の仕方を指示する抽出指示情報を生成して送信する、抽出指示情報送信処理と、
    を実行するようにされていることを特徴とする情報処理方法。
  13. 受信装置の情報処理方法において、
    送信装置から送信されてくる符号化動画像信号を受信する画像信号受信処理と、
    上記画像信号受信処理により受信した符号化動画像信号について復号して動画像信号を出力する復号処理と、
    送信装置から送信されてくる情報であって、合成動画像信号からの動画像信号の抽出の仕方を指示する抽出指示情報を受信する抽出指示情報受信処理と、
    上記復号処理によって出力される動画像信号が上記合成動画像信号である場合に、上記抽出指示情報受信処理により受信した抽出指示情報に基づいて、この合成動画像信号に合成されている複数の動画像信号のうちから、所要の動画像信号を抽出する動画像信号抽出処理と、
    を実行することを特徴とする情報処理方法。
JP2004026756A 2004-02-03 2004-02-03 送受信システム、送信装置、受信装置、情報処理方法 Expired - Fee Related JP4179178B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004026756A JP4179178B2 (ja) 2004-02-03 2004-02-03 送受信システム、送信装置、受信装置、情報処理方法
US11/048,533 US20050200695A1 (en) 2004-02-03 2005-02-01 Transceiver system, transmitter and receiver and information processing method
CNB2005100716633A CN100518310C (zh) 2004-02-03 2005-02-03 收发机系统、发送机和接收机以及信息处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004026756A JP4179178B2 (ja) 2004-02-03 2004-02-03 送受信システム、送信装置、受信装置、情報処理方法

Publications (2)

Publication Number Publication Date
JP2005223413A true JP2005223413A (ja) 2005-08-18
JP4179178B2 JP4179178B2 (ja) 2008-11-12

Family

ID=34917861

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004026756A Expired - Fee Related JP4179178B2 (ja) 2004-02-03 2004-02-03 送受信システム、送信装置、受信装置、情報処理方法

Country Status (3)

Country Link
US (1) US20050200695A1 (ja)
JP (1) JP4179178B2 (ja)
CN (1) CN100518310C (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136205A (ja) * 2006-11-27 2008-06-12 Samsung Electronics Co Ltd 複数の動画コンテンツの同時再生のためのデータ伝送方法及びその装置、複数の動画コンテンツの同時再生方法及びその装置
JP2009147893A (ja) * 2007-11-20 2009-07-02 Sony Corp 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム
WO2011062015A1 (ja) * 2009-11-17 2011-05-26 ソニー株式会社 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
WO2011105137A1 (ja) * 2010-02-25 2011-09-01 株式会社メガチップス 画像符号化装置及び画像伝送システム
JP2013021710A (ja) * 2007-04-30 2013-01-31 Vixs Systems Inc 複数のビデオストリームを結合するシステム及びそれに伴う使用方法
JP2013085128A (ja) * 2011-10-11 2013-05-09 Nippon Hoso Kyokai <Nhk> 映像多重装置、映像分離装置、映像信号伝送システム及びプログラム
JP2014068367A (ja) * 2013-11-22 2014-04-17 Mega Chips Corp 画像符号化装置及び画像伝送システム
JP2017068743A (ja) * 2015-10-01 2017-04-06 任天堂株式会社 情報処理システム、情報処理方法、情報処理装置、および、情報処理プログラム

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3720812B2 (ja) * 2003-02-24 2005-11-30 松下電器産業株式会社 テレビジョンカメラ
JP5265860B2 (ja) * 2006-09-05 2013-08-14 ソニー株式会社 受信装置
US8683538B2 (en) * 2006-11-30 2014-03-25 Centurylink Intellectual Property Llc Multi-access content server with security management for IPTV
CN100998594B (zh) * 2006-12-26 2011-05-04 重庆医药工业研究院有限责任公司 一种阿莫地喹固体口服药物组合物
US9325951B2 (en) * 2008-03-03 2016-04-26 Avigilon Patent Holding 2 Corporation Content-aware computer networking devices with video analytics for reducing video storage and video communication bandwidth requirements of a video surveillance network camera system
JP5338278B2 (ja) * 2008-11-26 2013-11-13 ソニー株式会社 映像表示装置、映像表示システム、及び映像表示方法
US20110170013A1 (en) * 2008-12-24 2011-07-14 Yoshio Todoroki Digital broadcast receiver
US20130100248A1 (en) * 2011-05-11 2013-04-25 Shinya Kadono Video transmitting apparatus and video transmitting method
EP3025504B1 (en) * 2013-07-22 2018-11-21 Intel Corporation Coordinated content distribution to multiple display receivers
JP6365685B2 (ja) * 2014-12-10 2018-08-01 日本電気株式会社 映像生成装置、映像出力装置、映像出力システム、映像生成方法、映像出力方法、映像出力システム制御方法及び記録媒体
JP6332864B2 (ja) * 2014-12-25 2018-05-30 カシオ計算機株式会社 画像処理装置、画像処理方法及びプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2514114B2 (ja) * 1991-01-31 1996-07-10 株式会社グラフィックス・コミュニケーション・テクノロジーズ 動画像符号化装置
EP0841820A3 (en) * 1996-11-08 2005-11-09 Matsushita Electric Industrial Co., Ltd. Method and apparatus for encoding, multiplexing and transmitting a video signal
JP3680846B2 (ja) * 2003-05-28 2005-08-10 セイコーエプソン株式会社 動画像の圧縮装置及びそれを用いた撮像装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008136205A (ja) * 2006-11-27 2008-06-12 Samsung Electronics Co Ltd 複数の動画コンテンツの同時再生のためのデータ伝送方法及びその装置、複数の動画コンテンツの同時再生方法及びその装置
JP2013021710A (ja) * 2007-04-30 2013-01-31 Vixs Systems Inc 複数のビデオストリームを結合するシステム及びそれに伴う使用方法
JP2009147893A (ja) * 2007-11-20 2009-07-02 Sony Corp 情報処理装置、情報処理方法、表示制御装置、表示制御方法、およびプログラム
US10038828B2 (en) 2007-11-20 2018-07-31 Saturn Licensing Llc Information processing apparatus, information processing method, display control apparatus, display controlling method, and program for display of a plurality of video streams
WO2011062015A1 (ja) * 2009-11-17 2011-05-26 ソニー株式会社 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
JP2011109397A (ja) * 2009-11-17 2011-06-02 Sony Corp 画像送信方法、画像受信方法、画像送信装置、画像受信装置、及び画像伝送システム
WO2011105137A1 (ja) * 2010-02-25 2011-09-01 株式会社メガチップス 画像符号化装置及び画像伝送システム
JP2011176709A (ja) * 2010-02-25 2011-09-08 Mega Chips Corp 画像符号化装置及び画像伝送システム
JP2013085128A (ja) * 2011-10-11 2013-05-09 Nippon Hoso Kyokai <Nhk> 映像多重装置、映像分離装置、映像信号伝送システム及びプログラム
JP2014068367A (ja) * 2013-11-22 2014-04-17 Mega Chips Corp 画像符号化装置及び画像伝送システム
JP2017068743A (ja) * 2015-10-01 2017-04-06 任天堂株式会社 情報処理システム、情報処理方法、情報処理装置、および、情報処理プログラム
US10661166B2 (en) 2015-10-01 2020-05-26 Nintendo Co., Ltd. Information processing system, information processing method, information processing apparatus, and non-transitory storage medium encoded with computer readable information processing program

Also Published As

Publication number Publication date
JP4179178B2 (ja) 2008-11-12
CN100518310C (zh) 2009-07-22
US20050200695A1 (en) 2005-09-15
CN1758755A (zh) 2006-04-12

Similar Documents

Publication Publication Date Title
JP4179178B2 (ja) 送受信システム、送信装置、受信装置、情報処理方法
JP4478863B2 (ja) 表示装置、双方向通信システムおよび表示情報利用方法
JP2008109341A (ja) 携帯型電子機器,テレビジョン受像機,テレビジョン受像機操作システム
JP2007028633A (ja) 映像通信機能を備えた移動通信端末機及び映像通信方法
US20060044217A1 (en) Image providing system and method thereof
CN113518257A (zh) 多系统投屏处理方法与设备
JP2013168750A (ja) テレビジョン受像機
JP2006101338A (ja) テレビジョン装置
KR20060131667A (ko) 방송 수신 시스템, 방송 수신기, 디스플레이 장치 및 방송수신 방법
JP4914093B2 (ja) 情報中継装置、情報中継方法、および、情報中継システム
JP2007081816A (ja) 放送受信装置、放送受信方法、放送受信プログラム及びその記録媒体
CN102957842A (zh) 一种视频图像处理方法、装置及系统
CN102355599A (zh) 用于控制显示装置的方法和系统
JP5073591B2 (ja) 音声出力装置、システム、及び方法
JP2001145040A (ja) テレビジョン受像機及びパソコンと、それらを連結する連結装置並びにテレビジョン受像機及びパソコンを制御する制御方法
JP2014021423A (ja) 遠隔表示装置
EP2009912A2 (en) Image displaying method and display apparatus using the same
JP4785543B2 (ja) 携帯通信端末及びその制御方法
JP2011119839A (ja) デジタル放送受信システム及び該システムを構成する携帯端末装置
JP2006324960A (ja) 無線通信装置
KR20160091167A (ko) 방송 프로그램 다중표시를 위한 셋톱박스
JP2007189656A (ja) リモートコントローラ
JP2007281766A (ja) 画像送信装置及びその送信方法
JPH06339139A (ja) データ伝送装置
US20130093954A1 (en) Display system and method for reproduction of program contents

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071226

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080430

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080627

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080805

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080818

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110905

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees