JP2008042222A - 送信装置および方法、並びにプログラム - Google Patents

送信装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2008042222A
JP2008042222A JP2006209499A JP2006209499A JP2008042222A JP 2008042222 A JP2008042222 A JP 2008042222A JP 2006209499 A JP2006209499 A JP 2006209499A JP 2006209499 A JP2006209499 A JP 2006209499A JP 2008042222 A JP2008042222 A JP 2008042222A
Authority
JP
Japan
Prior art keywords
frequency component
transmission
unit
low frequency
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2006209499A
Other languages
English (en)
Inventor
Tomonari Yamagata
智成 山縣
Akihiro Koyama
晃広 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006209499A priority Critical patent/JP2008042222A/ja
Publication of JP2008042222A publication Critical patent/JP2008042222A/ja
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】より確実に、画像データの低周波数成分を伝送することができるようにする。
【解決手段】周波数成分分離部32は、ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される送信データを、ラインベース・ウェーブレット変換の分解レベルに応じた周波数成分のうち、あらかじめ定められた最低域を含んでいる周波数成分である低周波数成分と、低周波数成分以外の周波数成分である高周波数成分とに分離し、最低速無線部441は、分離された低周波数成分の送信データを他の装置に送信し、最高速無線部44iは、分離された高周波数成分の送信データを他の装置に送信することで、より確実に、画像データの低周波数成分を伝送することができる。本発明は、画像データを送信する機器に適用できる。
【選択図】図12

Description

本発明は、送信装置および方法、並びにプログラムに関し、特に、より確実に、画像データの低周波数成分を伝送することができるようにした送信装置および方法、並びにプログラムに関する。
従来、通信路として有線を使用する有線通信と、無線を使用する無線通信とがある。無線LAN(WLAN(Wireless Local Area Network)),ブルートゥース,UWB(Ultra Wide Band),WiMax(Worldwide Interoperability for Microwave Access)などの無線通信路は、有線通信路に比べて帯域が限られているため、無線通信路で動画像を伝送するには圧縮してデータ量を減らす必要がある。
動画像コーデックとして、MPEG-2(Moving Picture Experts Group-2),MPEG-4,AVC(Advanced Video Coding)などがあるが、ピクチャ間相関を取ったり、動き補償を行ったりするために、0.1秒乃至0.5秒程度のコーデック遅延が生じる可能性があった。また、別の問題として、圧縮されたビットストリームにピクチャ間の相関があるため、あるピクチャでロスが発生すると後続するピクチャにロスが伝播する問題があり、ロスによる画質劣化の影響が大きくなってしまう恐れがあった。
これらの問題を回避するために、低遅延かつロス耐性を満足するコーデックとして、DV(Digital Video),JPEG(Joint Photographic Experts Group),JPEG2000などがある。これらのコーデックはピクチャ内圧縮であるため、コーデック遅延が1ピクチャと短いうえ、ロスによる影響もそのピクチャ内に閉じたものとなるので、無線通信路での低遅延伝送を実現するコーデックとして適している。
具体的には、JPEG2000においては、ウェーブレット変換が用いられる。離散ウェーブレット変換において、原画像は、各水平画素列に対して、1次元ウェーブレット畳み込み(one-dimensional wavelet convolution)が行われ、低周波数情報を含む副画像と高周波数情報を含む副画像に分割される。さらに、各副画像は、それぞれ、各垂直画素行に対して同様の畳み込みが行われ、低周波数情報および高周波数情報の2つの副画像に分割される。
つまり、図1に示されるように、原画像であるベースバンド信号1は、4つのサブバンド、すなわち、副画像(HH,HL,LH,LL)に分解される。LL副画像は、垂直および水平双方のウェーブレット畳み込みからの低周波数情報を含むものである。LH副画像は、水平ウェーブレット畳み込みからの低周波数画像情報と、垂直ウェーブレット畳み込みからの高周波数画像情報とを含むものである。HL副画像は、水平ウェーブレット畳み込みからの高周波数画像情報と、垂直ウェーブレット畳み込みからの低周波数画像情報とを含むものである。HH副画像は、垂直および水平双方のウェーブレット畳み込みからの高周波数画像情報を含むものである。各副画像は、原画像の1/4のサイズであり、原画像の1/4のデータ点数を含んでいる。
このようなウェーブレット変換は、得られたLL副画像に対して繰り返し行われる。つまり、図1に示されるように、原画像をウェーブレット変換して得られた第1分解レベルの副画像を、それぞれ、1HH,1HL,1LH,および1LL(図示せず)とすると、1LL副画像に対してさらにウェーブレット変換が行われ、第2分解レベルの副画像である、2HH,2HL,2LH,および2LL(図示せず)に分解される。そして、その2LL副画像に対してさらにウェーブレット変換がなされ、第3分解レベルの副画像である、3HH,3HL,3LH,および3LL(図示せず)に分解される。このように、ウェーブレット変換が繰り返し行われ、変換後信号2においては、副画像が階層構造を形成する。
このようなウェーブレット変換を用いて圧縮された画像データを伝送させる際に、単一分解レベルにおける単一行のデータ全てを(サブバンド(例えば、3HL,3LH,および3HH)の同一行を隣接行ブロックとして)ともに伝送させることにより、転送中に前もって画像を視聴可能とするとともに、画像が所望のものでないことがわかった場合、はやい時期に転送を終了させる方法が提案されている(例えば、特許文献1参照)。
この方法の場合、例えば、ウェーブレット変換された、図2に示されるような階層構造を有する変換後信号2は、まず、2LL副画像の各行が上から、2LL1,2LL2,・・・(但し、添え字は副画像中のライン番号を示す)の順で伝送される。次に、2HL副画像、2LH副画像、および2HH副画像の各行が、上から順に伝送される。例えば、2HL1,2LH1,2HH1,2HL2,2LH2,2HH2,・・・の順で伝送される。そして、次に、1HL副画像、1LH副画像、および1HH副画像の各行が、上から順に伝送される。例えば、1HL1,1LH1,1HH1,1HL2,1LH2,1HH2,・・・の順で伝送される。
また、さらに低遅延を実現するコーデックとして、JPEG2000をタイル分割して符号化する低遅延符号化方式が提案されている(例えば、非特許文献1参照)。これは、JPEG2000のタイル構造を利用し、1つの画面を複数タイルに分割し、各タイルについて並列にエンコード処理を行う方法である。1つのタイルは1枚のJPEG2000画像と同じように圧縮され、ピクチャより細かい粒度で処理を行えるため、コーデック遅延を1ピクチャ以下に抑えることができる。
さらに、ラインベース・ウェーブレット変換を用いたコーデック技術がある。これは、原画像のベースバンド信号の1ラインをスキャンするごとに横方向のウェーブレット変換を行い、一定ライン読み込みごとに縦方向の縦方向のウェーブレット変換を行っていく。ウェーブレット3分解の場合、ベースバンド8ラインごとに最低域3LL副画像の1ライン、その次のレベルのサブバンド3H(3HL,3LH,3HH)が各1ライン、さらに次のレベルのサブバンド2H(2HL,2LH,2HH)が各2ライン、さらに最高域1H(1HL,1LH,1HH)が各4ライン生成される。
なお、この各サブバンドのラインの集合をプレシンクトと称する。つまり、1プレシンクトは、ラインベース・ウェーブレット変換の処理単位となるライン数を示す。また、プレシンクトにおける各レベルのサブバンド(3LL以外は3つのサブバンドから構成)のラインの集合をアラインユニットと称する。すなわち、1つのプレシンクトは、4つのアラインユニット(3LL,3H,2H,1H)から構成される。
図3の左側に示されるベースバンド信号1において、8ラインであったプレシンクト(図中斜線部分)は、図中右側に示されるように、ラインベース・ウェーブレット変換された変換後信号2の1Hにおいて、1HL,1LH,および1HHのそれぞれの4ライン、2Hにおいて、2HL,2LH,および2HHのそれぞれの2ライン、3LL,3HL,3LH,および3HHのそれぞれの1ラインとして構成される。
このようなラインベース・ウェーブレット変換処理は、JPEG2000のタイル分割と同様、1枚のピクチャをより細かい粒度に分解して処理を行うことができ、この変換処理を利用することにより低遅延化を図ることができる。ただし、ラインベース・ウェーブレット変換の場合、JPEG2000のタイル分割とは異なり、ベースバンド信号1の分割ではなく、ウェーブレット係数での分割でもあるため、さらに、タイル境界でのブロックノイズ的な画質劣化が発生しないという特徴も有する。
このようなラインベース・ウェーブレット変換を用いて圧縮されたデータを無線通信路で伝送する場合、ロス耐性を上げる方法として、既存の階層符号化データ(JPEG2000codestreamなど)の伝送と同様に、低域から順番に送ることができる。
特開平8−242379号公報 KDDI研究所、「JH-3000N」製品カタログ、April,2006
しかしながら、ラインベース・ウェーブレット変換で圧縮された画像データを送信する場合、画像の品質の向上に欠くことのできない低周波数成分の送信が不安定になることで、受信側での画像の品質が低下し、ユーザが画質の劣化を認識しやすくなる恐れがあった。
例えば、1つのプレシンクトのデータ量がかなり小さく、幅1920ピクセル、高さ1080ピクセル、60fps(frame per second)のHD(High Definition)映像においては、1つのプレシンクトのデータ量は、1つのピクチャのデータ量の約1/135(=8/1080)になり、エンコードレート35Mbps(Bit Per Second)の場合、1つのプレシンクトのデータサイズは、約1080バイト(35*1000*1000/8/30/135)となるが、この1つのプレシンクトのデータを1つのパケットとしてパケタイズし、伝送するとパケットロスが発生した場合、ベースバンド信号8ラインに相当するデータが帯状に欠落するため、画質劣化を認識しやすい恐れがあり、特に、欠落したデータが低周波数成分であるとその影響が顕著に現れる可能性が高かった。
また、ウェーブレット変換の特徴を活かすには、3LL,3H,2H,および1Hを別パケットで伝送する必要があるが、パケットサイズが小さいと、無線における物理層やMAC(Media Access Control)層(PHY/MAC)のヘッダやペイロードヘッダ(プレシンクト番号の情報、3LL/3H/2H/1Hの区別、Y/Cの情報などを含む)のオーバーヘッドが大きくなってしまう恐れがあった。また、パケット数が増えることで、IFS(Inter Frame Space)、RTS(Request To Send)、CTS(Clear To Send)が多く発生し、伝送効率が悪くなってしまう恐れもあった。すなわち、これらによって、画像データの低周波数成分の送信が不安定になり、画像の品質が低下してしまう可能性があった。
なお、特許文献1の方法は、比較的低速の通信チャネル上でウェーブレット変換を用いて圧縮された画像データを伝送する方法であり、この方法における隣接行ブロックは、原画像全体に対するウェーブレット変換により生成された各サブバンド間の同一レベルの同一ラインをまとめたものであり、ラインベースでウェーブレット変換を行うラインベース・ウェーブレット変換を用いて圧縮された画像データに対して、この伝送方法を適用しても、画像データの低周波数成分の送信が不安定になり、画像の品質が低下してしまうという問題は解決されない。
本発明はこのような状況に鑑みてなされたものであり、より確実に、画像データの低周波数成分を伝送することにより、画質の劣化を最小限に抑え、しかも低遅延かつ効率よく伝送することができるようにするものである。
本発明の一側面の送信装置は、ラインベース・ウェーブレット変換された送信データを他の装置に送信する送信装置において、前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記送信データを、前記ラインベース・ウェーブレット変換の分解レベルに応じた周波数成分のうち、あらかじめ定められた最低域を含んでいる周波数成分である低周波数成分と、前記低周波数成分以外の周波数成分である高周波数成分とに分離する分離手段と、分離された前記低周波数成分の送信データを前記他の装置に送信する第1の送信手段と、分離された前記高周波数成分の送信データを前記他の装置に送信する第2の送信手段とを備える。
前記低周波数成分が前記高周波数成分のビットレートよりも低いビットレートで送信されるように送信レートを制御する制御手段をさらに設け、前記第1の送信手段には、前記送信レートで前記低周波数成分の送信データを前記他の装置に送信させることができる。
前記制御手段には、前記低周波数成分の送信データのデータ量に応じて前記送信レートを制御させることができる。
前記高周波数成分が前記低周波数成分のビットレートよりも高いビットレートで送信されるように送信レートを制御する制御手段をさらに設け、前記第2の送信手段には、前記送信レートで前記高周波数成分の送信データを前記他の装置に送信させることができる。
前記制御手段には、前記高周波数成分の送信データのデータ量に応じて前記送信レートを制御させることができる。
前記低周波数成分は、高詳細画質を実現するために最低限必要となる周波数成分であるようにすることができる。
前記第1の送信手段には、通信路での前記低周波数成分の送信データを格納したパケットのロスに対して再送を行い、前記他の装置からの応答を確認してから次のパケットを送信させることができる。
前記第1の送信手段には、前記高周波数成分の変調方式と異なる変調方式により前記低周波数成分を変調し、変調された前記低周波数成分の送信データを前記他の装置に送信させることができる。
前記第2の送信手段には、通信路での前記高周波数成分の送信データを格納したパケットのロスに対して再送を行い、前記他の装置からの応答を確認してから次のパケットを送信させることができる。
前記第2の送信手段には、前記低周波数成分の変調方式と異なる変調方式により前記高周波数成分を変調し、変調された前記高周波数成分の送信データを前記他の装置に送信させることができる。
本発明の一側面の送信方法は、ラインベース・ウェーブレット変換された送信データを他の装置に送信する送信装置の送信方法において、前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記送信データを、前記ラインベース・ウェーブレット変換の分解レベルに応じた周波数成分のうち、あらかじめ定められた最低域を含んでいる周波数成分である低周波数成分と、前記低周波数成分以外の周波数成分である高周波数成分とに分離し、分離された前記低周波数成分の送信データの前記他の装置への送信を制御し、分離された前記高周波数成分の送信データの前記他の装置への送信を制御するステップを含む。
本発明の一側面のプログラムは、ラインベース・ウェーブレット変換された送信データを他の装置に送信する送信装置の処理をコンピュータに行わせるプログラムにおいて、前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記送信データを、前記ラインベース・ウェーブレット変換の分解レベルに応じた周波数成分のうち、あらかじめ定められた最低域を含んでいる周波数成分である低周波数成分と、前記低周波数成分以外の周波数成分である高周波数成分とに分離し、分離された前記低周波数成分の送信データの前記他の装置への送信を制御し、分離された前記高周波数成分の送信データの前記他の装置への送信を制御するステップを含む。
本発明の一側面においては、ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される送信データが、ラインベース・ウェーブレット変換の分解レベルに応じた周波数成分のうち、あらかじめ定められた最低域を含んでいる周波数成分である低周波数成分と、低周波数成分以外の周波数成分である高周波数成分とに分離され、分離された低周波数成分の送信データが他の装置に送信され、分離された高周波数成分の送信データが他の装置に送信される。
以上のように、本発明の一側面によれば、より確実に、画像データの低周波数成分を伝送することができる。特に、本発明の一側面によれば、画像データの低周波数成分を確実に伝送させることにより、画質の劣化を最小限に抑え、しかも低遅延かつ効率よく伝送することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の送信装置は、ラインベース・ウェーブレット変換された送信データを他の装置に送信する送信装置(例えば、図12の送信装置11)において、前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記送信データを、前記ラインベース・ウェーブレット変換の分解レベルに応じた周波数成分のうち、あらかじめ定められた最低域を含んでいる周波数成分である低周波数成分と、前記低周波数成分以外の周波数成分である高周波数成分とに分離する分離手段(例えば、図12の周波数成分分離部32)と、分離された前記低周波数成分の送信データを前記他の装置に送信する第1の送信手段(例えば、図12の最低速無線部441)と、分離された前記高周波数成分の送信データを前記他の装置に送信する第2の送信手段(例えば、図12の最高速無線部44i)とを備える。
前記低周波数成分が前記高周波数成分のビットレートよりも低いビットレートで送信されるように送信レートを制御する制御手段(例えば、図12の3LL送信レート制御部411)をさらに設け、前記第1の送信手段には、前記送信レートで前記低周波数成分の送信データを前記他の装置に送信させることができる。
前記制御手段には、前記低周波数成分の送信データのデータ量に応じて前記送信レートを制御させることができる。
前記高周波数成分が前記低周波数成分のビットレートよりも高いビットレートで送信されるように送信レートを制御する制御手段(例えば、図12の3H/2H/1H送信レート制御部41i)をさらに備え、前記第2の送信手段には、前記送信レートで前記高周波数成分の送信データを前記他の装置に送信させることができる。
前記制御手段には、前記高周波数成分の送信データのデータ量に応じて前記送信レートを制御させることができる。
前記低周波数成分は、高詳細画質を実現するために最低限必要となる周波数成分であるようにすることができる。
前記第1の送信手段には、通信路での前記低周波数成分の送信データを格納したパケットのロスに対して再送を行い、前記他の装置からの応答を確認してから次のパケットを送信させることができる。
前記第1の送信手段には、前記高周波数成分の変調方式と異なる変調方式により前記低周波数成分を変調し、変調された前記低周波数成分の送信データを前記他の装置に送信させることができる。
前記第2の送信手段には、通信路での前記高周波数成分の送信データを格納したパケットのロスに対して再送を行い、前記他の装置からの応答を確認してから次のパケットを送信させることができる。
前記第2の送信手段には、前記低周波数成分の変調方式と異なる変調方式により前記高周波数成分を変調し、変調された前記高周波数成分の送信データを前記他の装置に送信させることができる。
本発明の一側面の送信方法またはプログラムは、ラインベース・ウェーブレット変換された送信データを他の装置に送信する送信装置の送信方法において、ラインベース・ウェーブレット変換された送信データを他の装置に送信する送信装置の処理をコンピュータに行わせるプログラムにおいて、前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記送信データを、前記ラインベース・ウェーブレット変換の分解レベルに応じた周波数成分のうち、あらかじめ定められた最低域を含んでいる周波数成分である低周波数成分と、前記低周波数成分以外の高い周波数成分である高周波数成分とに分離し(例えば、図13のステップS152の処理)、分離された前記低周波数成分の送信データの前記他の装置への送信を制御し(例えば、図13のステップS153の処理)、分離された前記高周波数成分の送信データの前記他の装置への送信を制御する(例えば、図13のステップS154の処理)ステップを含む。
以下、図面を参照しながら本発明の実施の形態について説明する。
図4は、本発明を適用した通信システムの一実施の形態の構成を示すブロック図である。
通信システム1は、送信装置11、コーデック12、ネットワーク13、および受信装置14を含むようにして構成される。
コーデック12は、画像データに対して、ラインベース・ウェーブレット変換を行う。コーデック12は、ラインベース・ウェーブレット変換を行う度に、つまりプレシンクト単位で、その変換により得られた画像データを送信装置11に供給する。
送信装置11は、コーデック12においてラインベース・ウェーブレット変換された画像データを、ネットワーク13を介して受信装置14に送信する装置である。
ネットワーク13には、送信装置11および受信装置14が接続される。ネットワーク13は、例えば、無線の通信を用いるネットワークである無線LANなどからなり、例えば、RTP(Real-time Transport Protocol)などのプロトコルにしたがって、送信装置11および受信装置14を相互に通信させる。
なお、無線の通信としては、IEEE(The Institute of Electrical and Electronic Engineers , Inc.)802.11a、IEEE802.11b、またはIEEE802.11gなどの規格に準拠した無線LANの他に、例えば、UWB、ブルートゥース、WiMaxなどの規格に準拠した無線の通信を用いることができる。
また、ネットワーク13は、無線の通信に限らず、例えば、イーサネット(登録商標)などの規格に準拠した有線の通信を用いるネットワークの他、インターネットなどの、相互に接続されているネットワークまたは通信回線などとすることができる。また、利用されるプロトコルは、RTPに限らず、例えば、TCP/IP(Transmission Control Protocol/Internet Protocol)のネットワーク上で利用される他のプロトコルを用いることもできる。
受信装置14は、送信装置11から送信される画像データを、ネットワーク13を介して受信する装置である。受信装置14は、受信した画像データに対応する画像を表示する。これにより、ユーザは、受信装置14に表示される画像を視聴することができる。
なお、通信システム1は、図4の例では、説明を簡略にするために、送信装置11、コーデック12、ネットワーク13、および受信装置14が1つずつ設けられているが、それぞれ、複数設けるようにしてもよい。
図5は、送信装置11の機能的構成の例を示すブロック図である。
送信装置11は、コーデックI/F(Interface)31、周波数成分分離部32、3LL送信部331、3H送信部332、2H送信部333、および1H送信部334を含むようにして構成される。また、3LL送信部331のネットワークI/F431には最低速無線部441が接続され、3H送信部332のネットワークI/F432には低速無線部442が接続され、2H送信部333のネットワークI/F433には高速無線部443が接続され、1H送信部334のネットワークI/F434には最高速無線部444が接続される。
コーデックI/F31は、コーデック12からラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される画像データを取得し、取得した画像データを周波数成分分離部32に供給する。
周波数成分分離部32は、コーデックI/F31から供給される画像データをシンタックス解析することにより、その画像データを、コーデック12によるラインベース・ウェーブレット変換の分解レベルに応じた周波数成分に分離する。
ここで、送信装置11から送信されたパケットは、受信装置14に到達するまでの伝送過程においてエラーが発生し、場合によっては、欠落することがある。かかる欠落などが発生した場合、受信装置14側において復号される画像の画質が劣化する結果を招くが、かかる画質の劣化は欠落パケット内に重畳されている画像データが3LLなどの低周波数成分である場合にその影響が大きくなる。そこで、本実施の形態にかかる通信システム1においては、概略以下のような手法を採用することとしている。
すなわち、送信装置11および受信装置14に、少なくとも、伝送誤りの発生し難く、安定した通信が可能な低速通信手段(3LL送信部331)と、伝送誤りは発生し易いが早い速度で通信が可能な高速通信手段(3H送信部332、2H送信部333、1H送信部334)との2つの通信手段を設ける。そして、低速通信手段を用いて画像データの低周波数成分を伝送する一方、高速通信手段を用いて高周波数成分を伝送することとしている。
なお、高周波数成分と低周波数成分の具体的な振り分けに関しては任意であり、例えば、3LLのみを低周波数成分、他を高周波数成分としてもよいし、3LL乃至3HHを低周波数成分(或いは他の成分を含んでもよい)、他を高周波数成分として扱うようにしてもよい。ただし、本実施の形態においては、上記の例よりも細かく周波数成分を捉え、以下のような手法を採用しているものとして説明を行う。
すなわち、周波数成分分離部32は、コーデック12によりラインベース・ウェーブレット変換がなされている場合(例えば、変換後の画像データが第3分解レベルの副画像である、3HH,3HL,3LH,および3LLに分解されている場合)、コーデックI/F31からの画像データを、3分解することにより、3LL,3H,2H,および1Hの4つの周波数成分に分離する。そして、周波数成分分離部32は、コーデックI/F31からの画像データを分離することにより得られた画像データの4つの周波数成分のうち、3LLを3LL送信部331、3Hを3H送信部332、2Hを2H送信部333、1Hを1H送信部334にそれぞれ供給する。
つまり、3LL送信部331、3H送信部332、2H送信部333、および1H送信部334ごとに異なる伝送レート(これにより、エラーの発生確率も異なってくる)を取るようにし、各周波数成分ごとに異なる通信手段を用いた通信を実行することが可能となる。
かかる機能を実現するための各要素について説明する。まず、3LL送信部331は、周波数成分分離部32により分離された周波数成分のうち、最低域の周波数成分である3LLを、ネットワーク13を介して受信装置14に送信する処理を行う。
3LL送信部331は、3LL送信レート制御部411、3LLバッファ421、ネットワークI/F431、および最低速無線部441を含むようにして構成される。
3LL送信レート制御部411は、周波数成分分離部32により分離された3LLを、ネットワーク13を介して受信装置14に送信するときの送信レートを制御する。具体的には、3LL送信レート制御部411は、例えば、周波数成分分離部32から供給される3LLの平均ビットレートを算出し、その平均ビットレートを送信レートの決定パラメータとして利用することで、3LLの送信レートが理想的な値となるように制御する。
なお、送信レートの決定パラメータは、平均ビットレートの他に、例えば、ネットワーク13の通信状態を示す値や、パケットの再送に関する情報を示す値などの、画像データの送信に関係する情報の値を用いることができる。また、3LL送信レート制御部411は、周波数成分分離部32から供給される3LLのデータ量を制御し、データ量が調整された3LLを3LLバッファ421に蓄積させることにより、データ量が調整された3LLが送信されるようにしてもよい。
3LLバッファ421は、例えば、リングバッファの構成をとるFIFO(First-In First-Out)型のメモリであり、周波数成分分離部32により分離された3LLを一時的に蓄積する。すなわち、3LLバッファ421に蓄積された3LLは、最初に蓄積された順にネットワークI/F431に供給される。なお、3LLバッファ421に蓄積されている3LLは、例えば、図示せぬパケタイザによりパケタイズ(パケット化)されているものとする。
ネットワークI/F431は、3LLバッファ421に蓄積された3LLを順次取得し、取得した3LLを最低速無線部441に供給する。
最低速無線部441は、例えば、2.4GHz帯の無線で約11Mbpsの通信を行う規格であるIEEE802.11bなどの規格に準拠した無線通信を行う。最低速無線部441は、3LL送信レート制御部411により制御される3LLの送信レートとなるように、ネットワークI/F431から供給される3LL(を格納したパケット)を、例えばDS-SS(Direct Sequence - Spread Spectrum)変調などの所定の変調方式により変調し、それにより得られた3LLのパケットを、ネットワーク13を介して受信装置14に送信する。
3H送信部332は、3LL送信部331と同様に、周波数成分分離部32により分離された周波数成分のうち、3LLの次に低域の周波数成分である3Hを、ネットワーク13を介して受信装置14に送信する処理を行う。
3H送信部332は、3H送信レート制御部412、3Hバッファ422、ネットワークI/F432、および低速無線部442を含むようにして構成される。
3H送信レート制御部412は、3LL送信レート制御部411と同様に、例えば、3Hの平均ビットレートを、送信レートの決定パラメータとして利用するなどして、3Hの送信レートを制御する。
3Hバッファ422は、3LLバッファ421と同様に、例えば、FIFO型のメモリであり、周波数成分分離部32により分離された3Hを一時的に蓄積する。すなわち、3Hバッファ422に蓄積された3Hは、最初に蓄積された順にネットワークI/F432に供給される。
ネットワークI/F432は、ネットワークI/F431と同様に、3Hバッファ422に蓄積された3Hを順次取得し、取得した3Hを低速無線部442に供給する。
低速無線部442は、例えば、2.4GHz帯で約54Mbpsの通信を行う規格であるIEEE802.11gなどの規格に準拠した無線通信を行う。低速無線部442は、3H送信レート制御部412により制御される3Hの送信レートとなるように、ネットワークI/F432から供給される3H(を格納したパケット)を、例えば、BPSK(Binary Phase Shift Keying),QPSK(Quadrature Phase Shift Keying),16QAM(Quadrature Amplitude Modulation),または64QAMなどの所定の変調方式により変調し、それにより得られた3Hのパケットを、ネットワーク13を介して受信装置14に送信する。
2H送信部333は、3LL送信部331と同様に、周波数成分分離部32により分離された周波数成分のうち、1Hの次に高域の周波数成分である2Hを、ネットワーク13を介して受信装置14に送信する処理を行う。
2H送信部333は、2H送信レート制御部413、2Hバッファ423、ネットワークI/F433、および高速無線部443を含むようにして構成される。
2H送信レート制御部413は、3LL送信レート制御部411と同様に、例えば、2Hの平均ビットレートを、送信レートの決定パラメータとして利用するなどして、2Hの送信レートを制御する。
2Hバッファ423は、3LLバッファ421と同様に、例えば、FIFO型のメモリであり、周波数成分分離部32により分離された2Hを一時的に蓄積する。すなわち、2Hバッファ423に蓄積された2Hは、最初に蓄積された順にネットワークI/F433に供給される。
ネットワークI/F433は、ネットワークI/F431と同様に、2Hバッファ423に蓄積された2Hを順次取得し、取得した2Hを高速無線部443に供給する。
高速無線部443は、例えば、5.2GHz帯で約54Mbpsの通信を行う規格であるIEEE802.11aなどの規格に準拠した無線通信を行う。高速無線部443は、2H送信レート制御部413により制御される2Hの送信レートとなるように、ネットワークI/F433から供給される2H(を格納したパケット)を、例えば、BPSK,QPSK,16QAM,または64QAMなどの所定の変調方式により変調し、それにより得られた2Hのパケットを、ネットワーク13を介して受信装置14に送信する。
1H送信部334は、3LL送信部331と同様に、周波数成分分離部32により分離された周波数成分のうち、最高域の周波数成分である1Hを、ネットワーク13を介して受信装置14に送信する処理を行う。
1H送信部334は、1H送信レート制御部414、1Hバッファ424、ネットワークI/F434、および最高速無線部444を含むようにして構成される。
1H送信レート制御部414は、3LL送信レート制御部411と同様に、例えば、1Hの平均ビットレートを、送信レートの決定パラメータとして利用するなどして、1Hの送信レートを制御する。
1Hバッファ424は、3LLバッファ421と同様に、例えば、FIFO型のメモリであり、周波数成分分離部32により分離された1Hを一時的に蓄積する。すなわち、1Hバッファ424に蓄積された1Hは、最初に蓄積された順にネットワークI/F434に供給される。
ネットワークI/F434は、ネットワークI/F431と同様に、1Hバッファ424に蓄積された1Hを取得し、取得した1Hを最高速無線部444に供給する。
最高速無線部444は、例えば、データを1GHz程度の極めて広い周波数帯に拡散して通信を行う規格であるUWBなどの規格に準拠した無線通信を行う。最高速無線部444は、1H送信レート制御部414により制御される1Hの送信レートとなるように、ネットワークI/F434から供給される1H(を格納したパケット)を、例えば、MB-OFDM(MultiBand Orthogonal Frequency Division Multiplexing)またはDS-UWB(Direct Sequence UWB)などの所定の変調方式により変調し、それにより得られた1Hのパケットを、ネットワーク13を介して受信装置14に送信する。
このように、最低速無線部441は、例えばIEEE802.11bによる無線通信により3LLを送信し、低速無線部442は、例えばIEEE802.11gによる無線通信により3Hを送信し、高速無線部443は、例えばIEEE802.11aによる無線通信により2Hを送信し、最高速無線部444は、例えばUWBによる無線通信により1Hを送信する。換言すれば、周波数成分分離部32により分離された、3LL,3H,2H,1Hは、それぞれ、最低速無線部441、低速無線部442、高速無線部443、および最高速無線部444の異なる無線チャネルによって、ネットワーク13を介して受信装置14に送信される。
また、最低速無線部441は、例えばDS-SSにより3LLを変調し、低速無線部442は、例えば、BPSK,QPSK,16QAM,または64QAMにより3Hを変調し、高速無線部443は、例えば、BPSK,QPSK,16QAM,または64QAMにより2Hを変調し、最高速無線部444は、例えば、MB-OFDMまたはDS-UWBにより1Hを変調することができるので、各無線チャネルが異なる変調方式により信号を変調することが可能となる。
なお、最低速無線部441乃至最高速無線部444は、それぞれ、周波数ホッピング方式(FHSS(Frequency Hopping Spread Spectrum))により、極めて短い時間(0.1秒程度が多い)ごとに信号を送信する周波数を変更ようにしてもよい。また、最低速無線部441乃至最高速無線部444は、それぞれ同時伝送を行っても、行わなくてもよい。
次に、具体的な処理の流れについて説明する。
最初に、図6のフローチャートを参照して、図5の送信装置11により実行される送信制御処理について説明する。
送信制御処理が開始されると、周波数成分分離部32は、ステップS11において、コーデックI/F31より、コーデック12からのデータをプレシンクト単位で取得し、ステップS12において、プレシンクトごとのデータを、コーデック12によるラインベース・ウェーブレット変換の分解レベルに応じた周波数成分に分離する。そして、周波数成分分離部32は、その分離されたデータを、周波数成分ごとに、3LL送信部331乃至1H送信部334のそれぞれに供給する。
すなわち、コーデック12は、ラインベース・ウェーブレット変換を行う度に、つまりプレシンクト単位で、その変換後のデータを送信装置11に供給する。コーデックI/F31は、そのデータを供給順に(つまりプレシンクト単位で)取得する。このプレシンクト単位のデータには、各周波数成分が含まれる。例えば、コーデック12がデータを3分解する場合、コーデックI/F31が取得するデータには、最低域を含めて全部で4つの周波数成分(各周波数レベルの副画像3LL,3H,2H,および1H)が含まれる。
そして、周波数成分分離部32は、各プレシンクトのデータを周波数成分ごと、つまり、各周波数レベルの副画像3LL,3H,2H,および1Hに分離し、その分離された副画像のうち、3LLを3LL送信部331、3Hを3H送信部332、2Hを2H送信部333、1Hを1H送信部334にそれぞれ供給する。
ステップS13において、3LL送信部331は、ネットワーク13を介して3LLを受信装置14に送信する処理である3LL送信処理を行う。
ここで、図7のフローチャートを参照して、ステップS13の処理に対応する、図5の3LL送信部331により実行される3LL送信処理の詳細について説明する。
ステップS31において、3LL送信レート制御部411は、例えば、3LLの平均ビットレートを3LLの送信レートの決定パラメータとして利用するなどして、3LLの送信レートを制御する。
すなわち、ラインベース・ウェーブレット変換で圧縮された画像データの低周波数成分である3LLは、一般的に、画像を構成する画像データの基礎となるデータであって、データ量は少ないが画像の品質向上には不可欠なデータである。そこで、3LL送信レート制御部411は、無線送受信のビットレートを低くすればするほど、パケットエラーレートを低くすることが可能になるので、3LLが低ビットレートで送信されるように3LLの送信レートを制御する。なお、低周波数成分は、高詳細画質を実現するために最低限必要となる周波数成分であるとも言える。
ステップS32において、3LLバッファ421は、周波数成分分離部32により分離された3LLを蓄積し、最初に蓄積された順に3LLをネットワークI/F431に供給する。
ステップS33において、ネットワークI/F431は、3LLバッファ421に蓄積されている3LLを、最低速無線部441が処理を行うタイミングに応じて、最低速無線部441に供給する。
ステップS34において、最低速無線部441は、例えばIEEE802.11bなどの規格に準拠した無線通信によって、ネットワークI/F431から供給される3LLのパケットを、ネットワーク13を介して受信装置14に送信する。なお、このとき、3LL送信レート制御部411は、3LLのパケットを確実にネットワーク13を介して受信装置14に送信させるために、3LLの送信レートを低ビットレートとなるように制御して、3LLのパケットを最低速無線部441に送信させる。
ここで、図8のフローチャートを参照して、ステップS34の処理に対応する、図5の最低速無線部441により実行される無線送信処理の詳細について説明する。
ステップS51において、最低速無線部441は、ネットワークI/F431から供給される3LLのパケットを、ネットワーク13を介して、受信装置14に送信する。
ステップS52において、最低速無線部441は、キューフラッシュイベントが発生したか否かを判定する。
ステップS52において、3LLバッファ421に蓄積されている3LLのパケット(送信キュー)を、いわゆるフラッシュするときに発生するイベントであるキューフラッシュイベントが発生していないと判定された場合、ステップS53において、最低速無線部441は、ネットワーク13を介して受信装置14からACK(ACKnowledgement)を受信したか否かを判定する。
なお、キューフラッシュイベントは、受信装置14に送信する3LLのパケットのリアルタイム性を保持するため、例えば、3LLのパケットが3LLバッファ421に蓄積されてから受信装置14に送信されるまでに一定時間を経過したときに発生する。
ステップS53において、受信装置14からACKを受信していないと判定された場合、3LLのパケットが受信装置14に受信されていないので、ステップS54において、最低速無線部441は、ネットワーク13を介して、3LLのパケットを受信装置14に再送する。
一方、ステップS53において、受信装置14からACKを受信したと判定された場合、3LLのパケットが受信装置14に受信されており、3LLのパケットを受信装置14に再送する必要がないので、ステップS54の処理をスキップし、処理はステップS55に進む。
ステップS55において、最低速無線部441は、ネットワーク13を介して受信装置14に送信する全ての3LLのパケットの送信が終了したか否かを判定する。
ステップS55において、全てのパケットの送信が終了していないと判定された場合、ステップS51に戻り、上述した、ステップS51乃至ステップS55の処理が繰り返される。すなわち、ステップS51乃至ステップS55において、受信装置14に受信されるまで再送を繰り返しながら3LLのパケットが送信され、3LLのパケットが受信装置14に届くように最大限の試行が行われる。そして、ステップS55において、受信装置14に送信する全ての3LLのパケットの送信が終了し、全ての3LLのパケットの送信が終了したと判定されるまで、上述した処理が繰り返される。その後、ステップS55において、全ての3LLのパケットの送信が終了したと判定された場合、図5の最低速無線部441により実行される無線送信処理が終了され、処理は、図7のステップS34に戻り、以降の処理が実行される。
また、ステップS52において、キューフラッシュイベントが発生したと判定された場合、受信装置14に送信する3LLのパケットのリアルタイム性を保持するため、3LLバッファ421に蓄積されている3LLのパケットをフラッシュし、図5の最低速無線部441により実行される無線送信処理が終了される。
このように、各無線チャネルにおいては、自動再送要求(ARQ(Automatic Repeat reQuest))を用いてロスしたパケットの回復を行うとともに、一定の時間が経過したとき、バッファに蓄積された送信キューがフラッシュされる。これにより、一定時間ごとにキューをフラッシュ、すなわち再送制御を打ち切るので、送信するデータのリアルタイム性が保証される。なお、上記一定の時間は、無線チャネルのバッファの容量により求められるが、例えば1フレーム時間程度となる。
図6のフローチャートに戻り、ステップS14において、3H送信部332は、ネットワーク13を介して3Hを受信装置14に送信する3H送信処理を行う。
ここで、図9のフローチャートを参照して、ステップS14の処理に対応する、図5の3H送信部332により実行される3H送信処理の詳細について説明する。
ステップS71乃至ステップS74において、図7のステップS31乃至ステップS34と同様に、3H送信レート制御部412により3Hの送信レートが制御され、ネットワークI/F432により3Hバッファ422に蓄積されている3Hであって、周波数成分分離部32により分離された3Hが低速無線部442に供給され、低速無線部442により3Hのパケットが、ネットワーク13を介して、受信装置14に送信される。
このとき、低速無線部442は、例えば、IEEE802.11gなどの規格に準拠した無線通信によって、周波数成分分離部32により分離された3Hのパケットを、ネットワーク13を介して受信装置14に送信する。また、3H送信レート制御部412は、3Hが3LLに比べてデータ量が多いので、それらの送信時間を均等にするために、3Hの送信レートを3LLの送信レートよりも高くなるように制御して、3Hのパケットを低速無線部442に送信させる。
なお、ステップS74の処理において、低速無線部442は、図8の無線送信処理で説明した3LLと同様に、3Hのパケットを、ネットワーク13を介して受信装置14に送信する。
図6のフローチャートに戻り、ステップS15において、2H送信部333は、ネットワーク13を介して2Hを受信装置14に送信する2H送信処理を行う。
ここで、図10のフローチャートを参照して、ステップS15の処理に対応する、図5の2H送信部333により実行される2H送信処理の詳細について説明する。
ステップS91乃至ステップS94において、図7のステップS31乃至ステップS34と同様に、2H送信レート制御部413により2Hの送信レートが制御され、ネットワークI/F433により2Hバッファ423に蓄積されている2Hであって、周波数成分分離部32により分離された2Hが高速無線部443に供給され、高速無線部443により2Hのパケットが、ネットワーク13を介して、受信装置14に送信される。
このとき、高速無線部443は、例えば、IEEE802.11aなどの規格に準拠した無線通信によって、周波数成分分離部32により分離された2Hのパケットを、ネットワーク13を介して受信装置14に送信する。また、2H送信レート制御部413は、2Hが3H(3LL)に比べてデータ量が多いので、それらの送信時間を均等にするために、2Hの送信レートを3Hの送信レート(3LLの送信レート)よりも高くなるように制御して、2Hのパケットを高速無線部443に送信させる。
なお、ステップS94の処理において、高速無線部443は、図8の無線送信処理で説明した3LLと同様に、2Hのパケットを、ネットワーク13を介して受信装置14に送信する。
図6のフローチャートに戻り、ステップS16において、1H送信部334は、ネットワーク13を介して1Hを受信装置14に送信する1H送信処理を行う。
ここで、図11のフローチャートを参照して、ステップS16の処理に対応する、図5の1H送信部334により実行される1H送信処理の詳細について説明する。
ステップS111乃至ステップS114において、図7のステップS31乃至ステップS34と同様に、1H送信レート制御部414により1Hの送信レートが制御され、ネットワークI/F434により1Hバッファ424に蓄積されている1Hであって、周波数成分分離部32により分離された1Hが最高速無線部444に供給され、最高速無線部444により1Hのパケットが、ネットワーク13を介して、受信装置14に送信される。
このとき、最高速無線部444は、例えば、UWBなどの規格に準拠した無線通信によって、周波数成分分離部32により分離された1Hのパケットを、ネットワーク13を介して受信装置14に送信する。また、1H送信レート制御部414は、1Hが2H(3H,3LL)に比べてデータ量が多いので、それらの送信時間を均等にするために、1Hの送信レートを2Hの送信レート(3Hの送信レート,3LLの送信レート)よりも高くなるように制御して、1Hのパケットを最高速無線部444に送信させる。
なお、ステップS114の処理において、最高速無線部444は、図8の無線送信処理で説明した3LLと同様に、1Hのパケットを、ネットワーク13を介して受信装置14に送信する。
すなわち、最低速無線部441乃至最高速無線部444のそれぞれは、例えば、IEEE802.11b,IEEE802.11g,IEEE802.11a,またはUWBなどの異なる無線チャネルによって、周波数成分分離部32により分離された3LL乃至1Hのそれぞれを、ネットワーク13を介して受信装置14に送信する。また、このとき、3LL送信レート制御部411乃至1H送信レート制御部414により制御される送信レートは、例えば、データ量が多くなる、3LL,3H,2H,1Hの順にその値が高くなるように制御される。
換言すれば、周波数成分分離部32により周波数成分ごとに分離されたデータは、一般的に低周波数成分(例えば3LL)ほどデータ量が少なく、高周波数成分(例えば1H)ほどデータ量が多い。つまり、送信装置11は、1プレシンクトのデータを送信する場合、データ量の少ない低周波数成分を低ビットレートで送信し、データ量の多い高周波数成分を高ビットレートで送信することで、各周波数成分のデータの送信にかかる時間を均等に制御することが可能となる。これにより、無線通信においては、一般的に、ビットレートが低ければ低いほどノイズ耐性が高くなるので、低周波数成分(例えば3LL)がノイズ耐性の高い無線チャネルで確実に送信されることで、受信装置14は、高画像品質の画像データを受信することが可能となる。
また、一般的にデータ量の多いラインベース・ウェーブレット変換で圧縮された画像データの高周波数成分の送信を高ビットレートの無線チャネルで行うことにより、伝送効率を高めることができる。さらに、周波数成分ごとに無線チャネルを用意することが可能であれば、送信側の送信装置11は、データの無線伝送の効率化のために設けられる並び替えメモリが不要となり、コストを低下させることができる。
なお、本実施の形態では、無線チャネルにおける無線通信方式の一例として、低ビットレートに無線LAN、高ビットレートにUWBを利用するとして説明するが、異なる無線チャネルとなれば他の無線通信方式であってもよい。
図6のフローチャートに戻り、ステップS17において、周波数成分分離部32は、コーデックI/F31を介してコーデック12からデータの供給が終了したか否かを判定する。
ステップS17において、コーデック12からデータの供給が終了していないと判定された場合、ステップS11に戻り、上述した、ステップS11乃至ステップS17の処理が繰り返される。
すなわち、ステップS11乃至ステップS17において、周波数成分分離部32により、コーデック12からのデータが、ラインベース・ウェーブレット変換の分解レベルに応じた周波数成分に分離され、3LL送信部331により分離された3LLが送信され、3H送信部332により分離された3Hが送信され、2H送信部333により分離された2Hが送信され、1H送信部334により分離された1Hが送信される。
そして、ステップS17において、コーデック12からデータの供給が終了したと判定された場合、図5の送信装置11により実行される送信制御処理は終了する。
ところで、図5で説明したように、例えば、3LL,3H,2H,または1Hなどの周波数成分ごとに無線チャネル(例えば、最低速無線部441、低速無線部442、高速無線部443、および最高速無線部444)を設けることが望ましいが、それが難しい場合には最低周波数成分と最低周波数成分以外の周波数成分の2チャネルだけで送信するようにしてもよい。すなわち、本実施の形態では、重要なのは最低周波数成分に対して1チャネルを用意することで、最低周波数成分を確実に送受信することであって、これにより、受信側の受信装置14においては高画像品質が実現される。そこで、次に、図12乃至図14を参照して、最低周波数成分と最低周波数成分以外の周波数成分の2チャネル分の無線チャネルだけが設けられた送信装置11について説明する。
図12は、送信装置の機能的構成の他の例を示すブロック図である。
なお、図12では、図5と同様の箇所には、同一の符号が付してあり、処理が同じ部分に関しては、その説明は繰り返しになるので省略する。すなわち、図12において、送信装置11は、図5の送信装置11と比較して、3H送信部332乃至1H送信部334の代わりに、3H/2H/1H送信部33iが設けられている。また、3H/2H/1H送信部33iのネットワークI/F43iには最高速無線部44iが接続される。
3H/2H/1H送信部33iは、3LL送信部331と同様に、周波数成分分離部32により分離された周波数成分のうち、低周波数成分である3LL以外の周波数成分である3H,2H,1Hを、ネットワーク13を介して受信装置14に送信する処理を行う。
3H/2H/1H送信部33iは、3H/2H/1H送信レート制御部41i、3H/2H/1Hバッファ42i、ネットワークI/F43i、および最高速無線部44iを含むようにして構成される。
3H/2H/1H送信レート制御部41iは、3LL送信レート制御部411と同様に、例えば、3H,2H,1Hの平均ビットレートを、送信レートの決定パラメータとして利用するなどして、3H/2H/1Hの送信レートを制御する。
3H/2H/1Hバッファ42iは、3LLバッファ421と同様に、例えば、FIFO型のメモリであり、周波数成分分離部32により分離された3H,2H,1Hを一時的に蓄積する。すなわち、3H/2H/1Hバッファ42iに蓄積された3H,2H,1Hは、最初に蓄積された順にネットワークI/F43iに供給される。
ネットワークI/F43iは、ネットワークI/F431と同様に、3H/2H/1Hバッファ42iに蓄積された3H,2H,1Hを順次取得し、取得した3H,2H,1Hを最高速無線部44iに供給する。
最高速無線部44iは、例えば、UWBなどの規格に準拠した無線通信を行う。最高速無線部44iは、3H/2H/1H送信レート制御部413により制御される3H/2H/1Hの送信レートとなるように、ネットワークI/F43iから供給される3H,2H,1H(を格納したパケット)を、例えば、MB-OFDMまたはDS-UWBなどの所定の変調方式により変調し、それにより得られた3H,2H,1Hのパケットを、ネットワーク13を介して受信装置14に送信する。
次に、具体的な処理の流れについて説明する。
最初に、図13のフローチャートを参照して、図12の送信装置11により実行される送信制御処理について説明する。
送信制御処理が開始されると、ステップS151およびステップS152において、周波数成分分離部32は、図6のステップS11およびステップS12と同様に、コーデックI/F31より、コーデック12から取得されたデータがプレシンクト単位で取得され、そのプレシンクトごとのデータが周波数成分に分離される。そして、周波数成分分離部32により、そのデータのうちの低周波数成分(3LL)が3LL送信部331に供給され、高周波数成分(3H,2H,1H)が3H/2H/1H送信部33iに供給される。
ステップS153において、3LL送信部331は、図6のステップS13と同様に、ネットワーク13を介して、低周波数成分の3LLを受信装置14に送信する処理である3LL送信処理を行う。なお、3LL送信処理は、上述した、図7の3LL送信処理の詳細と同様であるので、その説明は省略する。
ステップS154において、3H/2H/1H送信部33iは、ネットワーク13を介して、高周波数成分の3H,2H,1Hを受信装置14に送信する処理である3H/2H/1H送信処理を行う。
ここで、図14のフローチャートを参照して、ステップS154の処理に対応する、図12の3H/2H/1H送信部33iにより実行される3H/2H/1H送信処理の詳細について説明する。
ステップS171乃至ステップS174において、図7のステップS31乃至ステップS34と同様に、3H/2H/1H送信レート制御部41iにより3H,2H,1Hの送信レートが制御され、ネットワークI/F43iにより3H/2H/1Hバッファ42iに蓄積されている3H,2H,1Hであって、周波数成分分離部32により分離された高周波数成分の3H,2H,1Hが最高速無線部44iに供給され、最高速無線部44iにより3H,2H,1Hのパケットが、ネットワーク13を介して、受信装置14に送信される。
このとき、最高速無線部44iは、例えば、UWBなどの規格に準拠した無線通信によって、周波数成分分離部32により分離された3H,2H,1Hのパケットを、ネットワーク13を介して受信装置14に送信する。また、3H/2H/1H送信レート制御部41iは、3H,2H,1Hが3LLに比べてデータ量が多いので、それらの送信時間を均等にするために、3H/2H/1Hの送信レートを3LLの送信レートよりも高くなるように制御して、3H,2H,1Hのパケットを最高速無線部44iに送信させる。
なお、ステップS174の処理において、最高速無線部44iは、図8の無線送信処理で説明した3LLと同様に、3H,2H,1Hのパケットを、ネットワーク13を介して受信装置14に送信する。
図13のフローチャートに戻り、ステップS155において、図6のステップS17と同様に、周波数成分分離部32は、コーデックI/F31を介してコーデック12からデータの供給が終了したか否かを判定する。
ステップS17において、コーデック12からデータの供給が終了していないと判定された場合、ステップS151に戻り、上述した、ステップS151乃至ステップS155の処理が繰り返される。
すなわち、ステップS151乃至ステップS155において、周波数成分分離部32により、コーデック12からのデータが、ラインベース・ウェーブレット変換の分解レベルに応じた周波数成分に分離され、3LL送信部331により低周波数成分の3LLが送信され、3H/2H/1H送信部33iにより高周波数成分の3H,2H,1Hが送信される。
そして、ステップS155において、コーデック12からデータの供給が終了したと判定された場合、図12の送信装置11により実行される送信制御処理は終了する。
以上のように、ラインベース・ウェーブレット変換で圧縮された画像データを無線通信路のような通信エラーの発生しやすい通信路で伝送する場合、周波数成分ごとにことなる無線チャネルで送信を行うことによって、受信側の受信画像の品質を向上させることができる。
また、低周波数成分を低ビットレートの無線チャネルで送信することにより、ノイズ耐性を高め、高詳細画質の視聴を実現すると同時に、低周波数成分のデータ伝送距離を伸ばすことが可能となり、送信局より遠方でも低周波数成分の画像を視聴させることができる。また、送信局に近づけば近づくほど高周波数成分も受信できるので、高詳細画質での視聴を実現することが可能となる。
さらに、低周波数成分の送信を一般的に普及している無線LANを用い、高周波数成分の送信をUWBといった無線チャネルを選択することにより、無線LANが搭載されている例えばノートパソコンの画面でも低周波数成分の受信によって小さな画面での視聴を行うことができ、高ビットレートの無線システムを新たに導入するコストを省くといったこともできる。
なお、本実施の形態では、ラインベース・ウェーブレット変換により、変換後の画像データが3分解され、3LL,3H,2H,および1Hの4つの周波数成分に分離される例を一例にして説明したが、本発明は、それに限らず、複数の周波数成分に分離された場合にも適用することができる。送信装置11は、例えば、周波数成分がN個に分離された場合、図5に示したように、周波数成分の個数に対応させてN個の無線チャネルを設けてもよいし、図12に示したように、低周波数成分用の無線チャネルと、その低周波数成分以外の周波数成分からなる高周波数成分用の無線チャネルとを設けるようにしてもよい。
また、各無線チャンネルに割り当てる周波数成分についても任意である。例えば、単位時間あたりに伝送すべきフレーム(フィールド)数が決まっている場合、伝送レートと各周波数成分のデータ量に応じて、各無線チャネルにて伝送する周波数成分を可変にさせるようにし、当該単位時間内に確実にデータの伝送を行うことができるようにしてもよい。この場合、周波数分離部32に各送信部における送信レートを管理するためのテーブルを保持させ、コーデック12側から入力される各周波数成分のデータ量に応じて、各送信部に割り当てる周波数成分を可変にさせるようにしてもよい。また、この場合、受信装置14側に対して、送信されたパケット内に、どの周波数成分が含まれているのかを特定するための情報を記述するフィールドを設け、このフィールド内の情報に基づいて、受信装置14側で受信されたパケット内の周波数成分を特定するようにしてもよい。
図15は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU(Central Processing Unit)111は、ROM(Read Only Memory)112、または記録部118に記録されているプログラムに従って各種の処理を実行する。RAM(Random Access Memory)113には、CPU111が実行するプログラムやデータなどが適宜記憶される。これらのCPU111、ROM112、およびRAM113は、バス114により相互に接続されている。
CPU111にはまた、バス114を介して入出力インターフェース115が接続されている。入出力インターフェース115には、スイッチ、マイクロホンなどよりなる入力部116、ディスプレイ、スピーカなどよりなる出力部117が接続されている。CPU111は、入力部116から入力される指令に対応して各種の処理を実行する。そして、CPU111は、処理の結果を出力部117に出力する。
入出力インターフェース115に接続されている記録部218は、例えばハードディスクからなり、CPU111が実行するプログラムや各種のデータを記録する。通信部119は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また、通信部119を介してプログラムを取得し、記録部118に記録してもよい。
入出力インターフェース115に接続されているドライブ120は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア121が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記録部118に転送され、記録される。
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図15に示すように、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア121、または、プログラムが一時的もしくは永続的に格納されるROM112や、記録部118を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部119を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス(装置)により構成される装置全体を表すものである。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
ウェーブレット変換の様子を説明する図である。 ウェーブレット変換されたデータを、単一分解レベルにおける単一行のデータ全てをともに伝送させる様子を説明する図である。 ラインベース・ウェーブレット変換の様子の例を説明する図である。 本発明を適用した通信システムの一実施の形態の構成を示すブロック図である。 送信装置の機能的構成の例を示すブロック図である。 図5の送信装置により実行される送信制御処理を説明するフローチャートである。 3LL送信処理の詳細を説明するフローチャートである。 無線通信処理の詳細を説明するフローチャートである。 3H送信処理の詳細を説明するフローチャートである。 2H送信処理の詳細を説明するフローチャートである。 1H送信処理の詳細を説明するフローチャートである。 送信装置の機能的構成の他の例を示すブロック図である。 図12の送信装置により実行される送信制御処理を説明するフローチャートである。 3H/2H/1H送信処理の詳細を説明するフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。
符号の説明
1 通信システム, 11 送信装置, 12 コーデック, 13 ネットワーク, 14 受信装置, 31 コーデックI/F, 32 周波数成分分離部, 331 3LL送信部, 332 3H送信部, 333 2H送信部, 334 1H送信部, 33i 3H/2H/1H送信部, 411 3LL送信レート制御部, 421 3LLバッファ, 431 ネットワークI/F, 441 最低速無線部, 412 3H送信レート制御部, 422 3Hバッファ, 432 ネットワークI/F, 442 低速無線部, 413 2H送信レート制御部, 423 2Hバッファ, 433 ネットワークI/F, 443 高速無線部, 414 1H送信レート制御部, 424 1Hバッファ, 434 ネットワークI/F, 444 最高速無線部, 41i 3H/2H/1H送信レート制御部, 42i 3H/2H/1Hバッファ, 43i ネットワークI/F, 44i 最高速無線部

Claims (12)

  1. ラインベース・ウェーブレット変換された送信データを他の装置に送信する送信装置において、
    前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記送信データを、前記ラインベース・ウェーブレット変換の分解レベルに応じた周波数成分のうち、あらかじめ定められた最低域を含んでいる周波数成分である低周波数成分と、前記低周波数成分以外の周波数成分である高周波数成分とに分離する分離手段と、
    分離された前記低周波数成分の送信データを前記他の装置に送信する第1の送信手段と、
    分離された前記高周波数成分の送信データを前記他の装置に送信する第2の送信手段と
    を備える送信装置。
  2. 前記低周波数成分が前記高周波数成分のビットレートよりも低いビットレートで送信されるように送信レートを制御する制御手段をさらに備え、
    前記第1の送信手段は、前記送信レートで前記低周波数成分の送信データを前記他の装置に送信する
    請求項1に記載の送信装置。
  3. 前記制御手段は、前記低周波数成分の送信データのデータ量に応じて前記送信レートを制御する
    請求項2に記載の送信装置。
  4. 前記高周波数成分が前記低周波数成分のビットレートよりも高いビットレートで送信されるように送信レートを制御する制御手段をさらに備え、
    前記第2の送信手段は、前記送信レートで前記高周波数成分の送信データを前記他の装置に送信する
    請求項1に記載の送信装置。
  5. 前記制御手段は、前記高周波数成分の送信データのデータ量に応じて前記送信レートを制御する
    請求項4に記載の送信装置。
  6. 前記低周波数成分は、高詳細画質を実現するために最低限必要となる周波数成分である
    請求項1に記載の送信装置。
  7. 前記第1の送信手段は、通信路での前記低周波数成分の送信データを格納したパケットのロスに対して再送を行い、前記他の装置からの応答を確認してから次のパケットを送信する
    請求項1に記載の送信装置。
  8. 前記第1の送信手段は、前記高周波数成分の変調方式と異なる変調方式により前記低周波数成分を変調し、変調された前記低周波数成分の送信データを前記他の装置に送信する
    請求項1に記載の送信装置。
  9. 前記第2の送信手段は、通信路での前記高周波数成分の送信データを格納したパケットのロスに対して再送を行い、前記他の装置からの応答を確認してから次のパケットを送信する
    請求項1に記載の送信装置。
  10. 前記第2の送信手段は、前記低周波数成分の変調方式と異なる変調方式により前記高周波数成分を変調し、変調された前記高周波数成分の送信データを前記他の装置に送信する
    請求項1に記載の送信装置。
  11. ラインベース・ウェーブレット変換された送信データを他の装置に送信する送信装置の送信方法において、
    前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記送信データを、前記ラインベース・ウェーブレット変換の分解レベルに応じた周波数成分のうち、あらかじめ定められた最低域を含んでいる周波数成分である低周波数成分と、前記低周波数成分以外の周波数成分である高周波数成分とに分離し、
    分離された前記低周波数成分の送信データの前記他の装置への送信を制御し、
    分離された前記高周波数成分の送信データの前記他の装置への送信を制御する
    ステップを含む送信方法。
  12. ラインベース・ウェーブレット変換された送信データを他の装置に送信する送信装置の処理をコンピュータに行わせるプログラムにおいて、
    前記ラインベース・ウェーブレット変換の処理単位となるライン数であるプレシンクト単位で供給される前記送信データを、前記ラインベース・ウェーブレット変換の分解レベルに応じた周波数成分のうち、あらかじめ定められた最低域を含んでいる周波数成分である低周波数成分と、前記低周波数成分以外の周波数成分である高周波数成分とに分離し、
    分離された前記低周波数成分の送信データの前記他の装置への送信を制御し、
    分離された前記高周波数成分の送信データの前記他の装置への送信を制御する
    ステップを含むプログラム。
JP2006209499A 2006-08-01 2006-08-01 送信装置および方法、並びにプログラム Withdrawn JP2008042222A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006209499A JP2008042222A (ja) 2006-08-01 2006-08-01 送信装置および方法、並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006209499A JP2008042222A (ja) 2006-08-01 2006-08-01 送信装置および方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2008042222A true JP2008042222A (ja) 2008-02-21

Family

ID=39176809

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006209499A Withdrawn JP2008042222A (ja) 2006-08-01 2006-08-01 送信装置および方法、並びにプログラム

Country Status (1)

Country Link
JP (1) JP2008042222A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068301A (ja) * 2008-09-11 2010-03-25 Sony Corp 情報処理装置および方法
JP2010141568A (ja) * 2008-12-11 2010-06-24 Sony Corp 送信装置、受信装置、通信システム、通信方法、及びプログラム
CN101631243B (zh) * 2009-08-07 2011-10-26 清华大学 一种基于小波变换的图像编和解码的方法
WO2011162168A1 (ja) 2010-06-24 2011-12-29 ソニー株式会社 情報処理装置および情報処理方法
US8745432B2 (en) 2010-04-09 2014-06-03 Sony Corporation Delay controller, control method, and communication system

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010068301A (ja) * 2008-09-11 2010-03-25 Sony Corp 情報処理装置および方法
US8565574B2 (en) 2008-09-11 2013-10-22 Sony Corporation Information processing apparatus and method for controlling input and output operations on a buffer
JP2010141568A (ja) * 2008-12-11 2010-06-24 Sony Corp 送信装置、受信装置、通信システム、通信方法、及びプログラム
CN101631243B (zh) * 2009-08-07 2011-10-26 清华大学 一种基于小波变换的图像编和解码的方法
US8745432B2 (en) 2010-04-09 2014-06-03 Sony Corporation Delay controller, control method, and communication system
WO2011162168A1 (ja) 2010-06-24 2011-12-29 ソニー株式会社 情報処理装置および情報処理方法

Similar Documents

Publication Publication Date Title
JP4129694B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
US20150373075A1 (en) Multiple network transport sessions to provide context adaptive video streaming
US8745432B2 (en) Delay controller, control method, and communication system
JP4682914B2 (ja) 情報処理装置および方法、プログラム、並びに記録媒体
JP5493471B2 (ja) 情報処理装置および方法
US9819717B2 (en) Video adaptation for content-aware wireless streaming
CN102439971B (zh) 用于无线系统中的无压缩视频通信的累进速率适配的方法和系统
US20050213502A1 (en) Method and system for controlling operation of a network, such as a WLAN, related network and computer program product therefor
JP2004192140A (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
EP1521476A1 (en) Wireless video transmission
JP4525795B2 (ja) 受信装置、受信方法、プログラム、及び通信システム
KR101453369B1 (ko) 무선 디스플레이에 대한 파이프라인 슬라이스를 위한 방법 및 장치
US20110249181A1 (en) Transmitting device, receiving device, control method, and communication system
JP2008042222A (ja) 送信装置および方法、並びにプログラム
US20130093853A1 (en) Information processing apparatus and information processing method
JP4240331B2 (ja) 送信装置および方法、プログラム、並びに通信システム
TW201824789A (zh) 用於傳送視訊之方法及資料傳送器
CN101174919A (zh) 用于无线通信的设备和方法
JP4775432B2 (ja) 送信装置、受信装置、通信システム、通信方法、及びプログラム
JP5610199B2 (ja) 受信装置、受信方法、及び通信システム
US20170365070A1 (en) Encoding program media, encoding method, encoding apparatus, decoding program media, decoding method, and decoding apparatus
TWI526078B (zh) 視頻傳輸中對發送靜態指示的功率優化
Wu et al. Optimal transmission of high definition video transmission in WiMedia systems

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20091006