JP2008505589A - ビデオデータの圧縮を含むデータ圧縮の方法 - Google Patents
ビデオデータの圧縮を含むデータ圧縮の方法 Download PDFInfo
- Publication number
- JP2008505589A JP2008505589A JP2007520367A JP2007520367A JP2008505589A JP 2008505589 A JP2008505589 A JP 2008505589A JP 2007520367 A JP2007520367 A JP 2007520367A JP 2007520367 A JP2007520367 A JP 2007520367A JP 2008505589 A JP2008505589 A JP 2008505589A
- Authority
- JP
- Japan
- Prior art keywords
- array
- node
- data
- video
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
- H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission
- H04N19/647—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission using significance based coding, e.g. Embedded Zerotrees of Wavelets [EZW] or Set Partitioning in Hierarchical Trees [SPIHT]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
データ処理システムは、有意なピラミッド型サブバンド表現の符号化によるソース信号のサブバンド分解を含む。符号化プロセス時に、出力データストリームを作成する順序を定義するアレイSi(ソリューション(分解)ビットのアレイ)のセットの初期化のためにMアレイが使用される。出力データストリームは、符号化された有意性マップと、継続的量子化とエントロピー符号化とに適応した(有意の)非ゼロサブバンド分解係数の値とを含む。
Description
本発明はデータ圧縮技法の分野にあり、特に本発明は画像およびビデオデータの圧縮のために使用できる。
現在、データ圧縮のために種々の手段と方法が使用されている。写真またはビデオのフォーマットおよびビデオデータにおける画像データ伝送の問題を解決するとき、あれこれの圧縮方法の選択は、伝送される画像の品質の要件のセットと、データ転送速度の限界とによって決定される。もし画像が小容量のチャネルを使用して転送されるのであれば、最適なデータ圧縮方法の選択のための主要な要因は、大きな画像データが伝送チャネルを使用して送られるときに優先権を取得するように、一般的なデータフローの中から重要なデータを決定して、送信される情報を再編成するデータ圧縮方法の能力である。一般に如何なるデータ圧縮方法も、データフローの形成と、送信と、それに続く記録のために必要な可能な限り最小のビット数を使用して最高の忠実度を有するデータを伝送するために、送信される情報の発生量を大幅に減少させるべきである。
現今では実用が最も広く見込まれているのは、空間スケールのサブバンドにおける初期画像分解係数のピラミッド的表現に基づく画像データ圧縮方法である。このようなピラミッド的表現は、多重解像度分析によって達成できる。上記の分析の結果、一つの根と、最終的な数のこの根に接続される子孫と呼ばれるノードとを有する階層木が作成される。分解のためのグラウンドとして、ウェーブレット関数ファミリーが使用される(非特許文献1を参照のこと)。ウェーブレット変換の適用の結果として受け取られた画像スペクトルは、適用されたグラウンドの特異性のために、一般的な初期データのアレイに関するばかりでなくその分離した部分に関する情報も同様に取得することを可能にする。画像に適用されたこの特徴は、画像の分離した部分に関して制御されたデータ圧縮の方法を使用することを可能にする。
画像データ分解のスペクトル係数の特異性は、空間周波数の増加によるスペクトル係数の減少という統計的に真の傾向である。ここで最も単純ではあるが明らかに最適ではない方法は、画像スペクトル係数と設定された閾値との相互比較による画像スペクトル係数のアレイのフィルタリングと、それに続く、係数値が次の符号化のために「有意でない」閾値より小さい係数の宣言である。スペクトル係数「有意性」のより深い分析を有する方法が存在する。特に、木(ツリー)ノードの無矛盾性試験と、このノードにおける分解係数が有意である場合、すなわち係数が閾値レベルを超えていて正である場合にいわゆる「正記号」の検出と;ノードにおけるスペクトル係数が有意であって負であることを示す「負記号」の検出と;スペクトル係数が有意でない、すなわち閾値を超えないが、今度は子孫のスペクトル係数が閾値を超える少なくとも一つの子孫を有する、このノードに関する孤立したゼロ記号の検出と;およびスペクトル係数が有意でないノードであって、そのスペクトル係数が閾値に関して有意である子孫を一つも持たないノードのためのゼロ木(ツリー)記号の検出と、に基づくデータ圧縮の方法(特許文献1)が存在する。
圧縮度とデータ処理速度とを上げるために、階層木からの多数のグループ分類への階層木分割の方法が紹介された(特許文献2を参照のこと)。この特許ではデータ符号化の方法が説明されており、これによれば木を根から子孫に無矛盾的試験をするとき、各ノードにおける分解スペクトル係数は、閾値の現在値と比較され;その後、これらの分解スペクトル係数は、3つのグループ:有意のグループすなわち閾値係数を超えているグループと、非有意係数のグループすなわちその値が閾値より小さい係数のグループと、非有意子孫多数のグループと、のうちの一つに加えられる。上記の非有意係数多数のグループは、それ自身の根ノードとスペクトルサブバンド内に作成された内部階層木とによって特徴付けられる。この方法は、根ノード子孫の有意子孫のスペクトル係数が少なくとも設定された閾値に等しい場合に各非有意係数多数における根ノード子孫の有意性に関する点検動作を含む。そのとき少なくとも一つの有意な子孫を有する非有意係数多数の各根ノードのために、根ノード子孫の子孫は、根ノード子孫の有意子孫のスペクトル係数が少なくとも設定された閾値に等しい場合に有意性に関してチェックされる。
前記方法の中心的概念は、「ゼロ木」という考えである。この木は、根を含むすべての木ノードに関連するスペクトル係数が非有意であれば、閾値に関してゼロであると見なされる。両方法とも、閾値のセットを考えており、各セットに関して木状構造全体を符号化する。そのとき、データ圧縮は、ゼロ木の符号化のためにその頂点の座標だけを符号化することが必要であるということによって達成される。これが、なぜデータ分解のスペクトル係数の階層構造が含むゼロ木が多ければ多いほど、この構造がよりコンパクトに、より効果的に符号化されるかという理由である。
(参照による組み込み)
特許文献1および特許文献2は両者ともそれらの全体が参照によってここに組み込まれる。参照はまた、アンドレイ・V.ツーロフ(Andrey V.Zurov)等による「ビデオデータ伝送の方法(METHOD OF VIDEO DATA TRANSMITTING)」と題する、2005年6月29日に出願された米国特許出願にも行われる。本出願は、2004年6月30日に出願された特許仮出願第60/584,102号の利益を主張する。上記に識別された両出願の開示内容は、それらの全体が参照によってここに組み込まれる。
米国特許第5,321,776号明細書
米国特許第5,764,807号明細書
ジェローム・M.シャピロ(Jerome M.Shapiro)、「埋込み型ウェーブレット階層的画像符号器(An Embedded Wavelet Hierarchical Image Coder)」、音響、音声および信号処理に関する国際会議(International Conference of Acoustic,Speech and Signal Processing)、1992年3月
特許文献1および特許文献2は両者ともそれらの全体が参照によってここに組み込まれる。参照はまた、アンドレイ・V.ツーロフ(Andrey V.Zurov)等による「ビデオデータ伝送の方法(METHOD OF VIDEO DATA TRANSMITTING)」と題する、2005年6月29日に出願された米国特許出願にも行われる。本出願は、2004年6月30日に出願された特許仮出願第60/584,102号の利益を主張する。上記に識別された両出願の開示内容は、それらの全体が参照によってここに組み込まれる。
よく知られた方法の助けによるデータフローの符号化は、小容量のチャネル、例えば無線通信チャネルを使用して情報を送信するときに最も鮮明に現れる欠点を有する。この欠点の本質は、伝送後に復元される画像が低品質であることである。この欠点の理由は、上記の方法を実現するときに、送信されるフローが如何なる予備的再編成もなしにスペクトル分解係数の初期分布から形成されることである。更に上記の方法における異なるスケールの、および異なる周波数サブバンドのスペクトル係数が同等であることである。最後の理由は、データフローを形成するときに係数が属するサブバンドとは無関係に、最初に最大の係数が送信されることである。このようなアプローチでは、もし多数の大きな係数が高周波数のサブバンドに集中されるならば(これは画像が多数の小さなコントラスト細部を含む場合に発生する)、これらの係数は最初に外側フローに入り込むであろう。その結果、フローの最初に、概してあまり重要でない小さなコントラスト細部のデータが送信されるであろう。これにより、主要な低周波数のデータと、より重要な変化は後でフロー内に入り、失われるか、低い精度で送信される可能性がある。
本発明の目的は、送信される画像の品質改善である。
本発明の方法は、ウェーブレット・サブバンドフィルタの助けによる初期画像スペクトル分解係数の階層システムの符号化手順である。画像の行と列に結果的に適用されるウェーブレット変換の結果として、スペクトル係数サブバンドDが形成される。各分解レベルにおける低周波数サブバンドへのこのような変換の継続的適用は、係数の階層構造を形成する。この階層構造内の各係数には、より高い精度を有する係数が対応する。ここで前の分解レベルに対応する係数は「先祖」と呼ばれる;次の分解レベルに対応し、「先祖」に関連する係数は、その「子孫」と呼ばれる。スペクトル分解の係数は実数であって、モジュラスと符号とによって特徴付けられる。本発明の方法内でデータを符号化するとき、初期画像分解スペクトル係数Zの符号のビットアレイが形成される;対応する分解スペクトル係数Dが負でなければ、このアレイの成分は0値を有する。同じ符号のアレイの成分は、対応するスペクトル分解係数が負である場合に、1に等しい。
それから分解係数は、有意性基準によって、またこの目的のために閾値アレイTiのインデックス付きセットによって評価される。ここでIはアレイインデックスである。アレイTiは基本閾値アレイである。アレイインデックスが1だけ増加すると、このセット内のアレイ成分の値は、2倍減少してTi=T0/2iとなる。本発明の方法の本質的属性は、スペクトル係数アレイの再編成手順である。その再編成のために、いわゆる係数の「ライバルアレイ」Mが形成される。このアレイの形成は、最後の分解レベルに対応し、子孫を持たない木ノードからそれらの先祖への継続する遷移によって実行される。この遷移において先祖は、対応する閾値T0の値によって供給されるすべてのスペクトル分解サブバンドにおいてノードの係数−子孫から最大係数の値を与えられる。
それから本発明の方法は、その成分がデータをフローに送る優先順位を調整するインデックス付きビットアレイSiセット形成の手順を含む。木ノード内のライバルアレイMのスペクトル係数の値が閾値Tiより小さいとき、アレイの成分はゼロと宣言される。ライバルアレイのスペクトル係数の値が閾値を超えるか、閾値に等しい場合にはアレイの成分は1に等しいと宣言される。それから初期画像分解のスペクトル係数Dのアレイは、アレイセットBiによって表されるビットコードに変換され、その後、上記のアレイのセットの係数として結果的データフローが形成される。
上記の係数間の相関関係による更なるデータ圧縮の目的のために、ベクトルアレイViのインデックス付きセットが形成され、その成分は如何なる選択された木ノードに関しても、与えられたノードの子孫に対するSi、Biアレイの成分の成分であり、Bi=1である所定のノードの子孫に対するZアレイの成分である。それから上記のアレイのデータフローが形成されて、過剰の除去の目的のためにエントロピー符号化を受ける。Bi
更に、本発明では送信される画像の品質を改善するために、より高レベルのスペクトルサブバンドへの各遷移においてその係数の値を2倍に増加させることによって基本閾値アレイを形成することが提案される。
本方法の本発明の動作の継続は、データ再編成と増加した数のゼロ木とを犠牲にして、また画像スペクトル低周波成分をフローの冒頭に割り当てるという犠牲を払って画像データ転送の品質改善を保証している。
2N×2Nピクセルの画像を持っているものと仮定する。初期画像は、最も高い空間容量を持っており、最も小さい細部を描いている。ウェーブレット関数の基礎を使用して画像の行と列のスペクトル分解を適用し、各スペクトルを低周波成分と高周波成分とに分割して、サイズ2N-1×2N-1を有するスペクトル係数の4個のアレイを取得する。これらのアレイは、LL1アレイに含まれる行・列分解の低周波係数と;LH1アレイに含まれる行分解の低周波係数と列分解の高周波係数と;HL1アレイに含まれる行分解の高周波係数と列分解の低周波係数と;HH1アレイに含まれる行・列分解の高周波係数と、を含む。LL1アレイは、更なる分解を受けて低周波−高周波スペクトルサブバンドになることができ、その結果4個のアレイLL2、LH2、HL2、HH2が形成され、そのサイズは前のものより2倍小さくなる、すなわち2N-2×2N-2になるであろう。スペクトルサブバンド形成のプロセスは、継続する遷移を初期画像スペクトルの段々低くなるスペクトル成分の試験に反映する。このプロセスは、LLNアレイのサイズが1×1に等しくなったときにNステップで終了する。上記のスペクトル変換の図は、図1に示されており、サブバンド形成の継続は図2に示されている。
図2には初期データ2次元アレイ1の変換の継続が、フィルタ2を用いた行の低空間周波数のフィルタリングとフィルタ8の助けによる行の高空間周波数のフィルタリングとによって示されている。それからフィルタ2の出力からの信号は、フィルタ4を使用する列の低空間周波数のフィルタリングとフィルタ6を使用する列の高空間周波数のフィルタリングとによって変換され、またフィルタ8の出力からの信号は、フィルタ10を使用する列の低空間周波数のフィルタリングとフィルタ12を使用する列の高空間周波数のフィルタリングとによって変換される。フィルタ4、6、10、12の出力においてデータアレイLL、HL、LH、HHが形成されるが、各アレイのサイズは初期データアレイのサイズより2倍小さくなっている。更に上記の手順は、低周波サブバンドのサイズが可能な最小になるまでLLアレイに適用される。継続するスペクトル分解の結果として受け取られる対象は、そのノードにおける成分が先祖・子孫関係によって互いに結び付けられる階層木のように見える。ここで先祖に関連する分解係数は常に、子孫に関連する係数より低いスペクトルの周波数成分に対応している。
初期画像のスペクトル分解のために使用される関数の特性について、本発明においてウェーブレット・サブバンド・フィルタを使用することを提案する。設定された圧縮係数で送信される画像の品質の観点から最適のウェーブレット関数基底(basis)の選択は、困難な課題である。基底を選択するときに従われる多くの基準が知られている。このような関数に対して、関数の滑らかさ、近似の精度、フィルタの周波数選択性、エネルギー分布が参照される。
初期画像のDスペクトル分解の係数値を符号化するとき、絶対係数値とその符号とを考慮することが必要である。スペクトル係数符号に関する情報をデータフロー内に転送するために、この本発明の方法では、別個のビットアレイZが形成され、その成分は、D係数が負ではないこれらのノードでは0に等しく、またしたがってD係数が0より小さいこれらのノードでは1に等しい。
効果的なデータ圧縮を実施して、伝送される画像を高品質に維持するために、D係数アレイを再編成して、それらをビット表現に移行させることが必要である。これらの目的のために、その一つが基底閾値アレイT0であるインデックス付き閾値アレイTiのセットが形成される。各別個の木ノードに関してTi、T0アレイの成分値は、関係Ti=T0/2iによって関係付けられる。LLNスペクトルサブバンドのノードに関するT0アレイの成分値は、符号化アルゴリズムにおいて決定される。前の分解レベルに対応するスペクトルサブバンドのノードのために、T0アレイの成分値は2を掛け合わされる。これにより、本発明者らは、有意性基準にしたがってスペクトル係数アレイを再編成するときに画像スペクトルの高周波成分の弁別のための条件を保証する。
本発明による前述の再編成手順を実現するために、係数のいわゆる「ライバルアレイ」Mが形成される。このアレイの形成は、分解の最終レベルに対応する、子孫を持たない木ノードからそれらの先祖への継続的遷移によって実行される。この遷移において先祖は、木ノードにおける比M/T0が対応する閾値T0の値におけるすべてのスペクトル分解サブバンドのためのノードの子孫の係数Dの分割時に受け取られた最大数に等しいようなM値を与えられる。ライバルアレイの形成は、転送される画像の品質改善のために本発明のデータ圧縮方法において基本的役割を演じる。
所定のノードの子孫の間の閾値Tiが有意なものを持っているかどうかを確定するために、ビットアレイSiのインデックス付きセットが形成される。もし所定の木ノードにおけるライバルアレイMのスペクトル係数の値が閾値Tiより小さければ、これらのアレイの成分はゼロであると宣言される。もし木ノードにおけるライバルアレイのスペクトル係数の値がこの閾値に等しいか、これを超えていれば、この所定のアレイの成分は1に等しいと宣言される。
更に、初期画像分解のスペクトル係数Dは、アレイBiのセットによって表されるビットコードに変換される。所定のノードに対応するD数に関するこれらのアレイの成分値は、公式Bi=[2{|D|/Ti-1}]を使用して計算される。ここで中括弧は数の小数部分を取るという演算を意味し、角括弧は全体部分を取る演算を意味する。
本発明の原理によるデータ符号化を実行するために、木試験の順序を決定することが必要である。より低分解レベルから始めてより高レベルに木ノードを試験することが提案され、また各木レベル内でこのレベルに関して設定された試験順序にしたがってノードを試験することが提案される。木の構造とそのノードの試験順序は、符号化および復号プロセス中、一定であると考えられる。
図3に木試験時に次のレベルに移るときの動作の継続が示されている。まず31において現在のノードと閾値インデックス値iが設定される。それから32で木試験の方向にしたがって現在ノードに続く選択された閾値レベルにおける次のノードが存在するかどうかが決定される。存在する場合には次のステップ33で次のレベルが現在のものと考えられる。その後34で現在ノードと現在および以前の閾値レベルにおけるその祖先とに対応するビットアレイS値の点検が実行される。すなわち現在ノードの後の次のノードは、現在ノードに関して値Si-1=0であってその先祖に関して値Si-1=1であるか、現在ノードに関して値Si=1であってその先祖に関してSi-1=0であるかのいずれかである、木試験の方向にしたがう現在ノードの後の最初のノードと考えられる。もし条件34が満たされれば、次のノードへの遷移は遂行されたと見なされる。もし条件34が満たされなければ、再び32で木試験の方向にしたがって現在ノードに続く選択された閾値レベルにおける次のノードが存在するかどうかが決定される。
図4〜6で、本発明の原理によるデータアレイ符号化のプロセスが説明される。符号化の開始前に、最大のスペクトル分解係数D内のビット数に等しいセット内の閾値アレイのL数が選択される。第1のステップ41で、閾値インデックスの値はI=0であると考えられ、現在ノードは木の根と考えられ、閾値T0はS0=1であってS-1=0であるように選択される。それから42で木の根において計算されたベクトルアレイV0の値はフローに転送される。この後、前述の、そして図3に示された原理にしたがって次の木ノードへの探索と遷移43が実行される。次のノードの存在に関する点検44の後、それが存在する場合には次のノードは現在ノードであると宣言され45、符号化プロセスは動作の入力42から始まる。例えば木のエッジにおいてあり得る次のノードが検出されない場合には、次の閾値レベルへの遷移46が実行されて、木の根が現在ノードであると宣言される51。次のノードが検出された後にステップ52、54で次の木ノードへの探索と遷移が実行される。それから次のノードが現在ノードであると宣言される54。それから現在ノード55の先祖と現在ノード55aそれ自身についてのSi-1値の点検が続けて実現される。現在ノードの先祖に関するSi-1値が1に等しくて、現在ノードに関するSi-1値が0に等しい場合にはSiアレイの値が所定のノードに関するデータフローに転送される56。それからこの値の点検が実現される57。現在ノードに関する値Siが1に等しい場合には、更にViアレイの値が所定のノードに関するデータフローに転送される58。この後、前述の、そして図3に示された原理にしたがって次の木ノードへの探索と遷移52、53が実現される。
動作53を実行した結果として次の木ノードが決定されない場合、木の根が現在ノードと宣言される61。それから木ノードは、設定された試験順序にしたがって順次に試験され、もし試験の方向にしたがって現在ノードの後に次のノードが存在すれば62、次のノードが確定される。このようなノードが存在する場合、次のステップ63で次のノードが現在ノードであると決定される。この後64で現在ノードの先祖に対応するSi-1ビットアレイ値の点検。現在ノードの先祖に関するSi-1値が1に等しい場合、Biアレイの値が現在ノードに関するデータフローに転送される65。それから所定のノードに関して1≦|D|/Ti<2条件の点検。もし所定の条件が満たされれば、所定のノードに関するZアレイの値が、データフローに転送される。反対の場合には、この符号化プロセスは動作の入力62に戻される。
木試験の方向にしたがう現在ノードの後の次のノードが存在しない場合、または現在ノードの先祖に関するSi-1が0に等しい場合、次の閾値レベルへの遷移68が実行される。それから今度は次の閾値レベルのインデックスiが値Lを超えないという条件に基づいて、符号化プロセスは動作の入力51に戻される。
図7には、閾値アレイT0基底成分の構造が示されている。送信される画像品質の改善のために、より高レベルのスペクトルサブバンドへの各遷移において係数値を2倍にすることによって基底閾値アレイを形成することが提案される。
本出願への注目を続けることに伴って図8に示すようなコメットコーデック演算方式(Comet Codec Operation Plan)が以下に開示される。コメットコーデックは、3個のブロック:
ビデオコーデック
オーディオコーデック
ネットワークカーネル
からなる。これら3個のブロックすべては、通信チャネルを変更するとき、または接続が終了するとき、同期化されたオーディオおよびビデオの符号化を保証するため、またコーデックの自動調整のために、相互作用する。
ビデオコーデック
オーディオコーデック
ネットワークカーネル
からなる。これら3個のブロックすべては、通信チャネルを変更するとき、または接続が終了するとき、同期化されたオーディオおよびビデオの符号化を保証するため、またコーデックの自動調整のために、相互作用する。
(ビデオコーデック)
ビデオコーデックは、ビデオフローのウェーブレットを使用して符号化と復号とを実行する。所定のプロセッサは下記のワークサイクルを有する:
前処理
キーフレームの符号化
補正モデル(Compensating models)
キーフレームと補正フレームの復号
後処理。
ビデオコーデックは、ビデオフローのウェーブレットを使用して符号化と復号とを実行する。所定のプロセッサは下記のワークサイクルを有する:
前処理
キーフレームの符号化
補正モデル(Compensating models)
キーフレームと補正フレームの復号
後処理。
「前処理」…次の符号化のために必要なビデオ画像の準備、すなわち品質の改善(前のフレームから利用可能な統計に基づく)。
「キーフレームの符号化」は、ウェーブレット技術を使用して開発されたビデオ圧縮方法に基づいて実行される。
「補正方法(Compensating methods)」は、フレーム間の差だけが送信されることによって、より多数のフレームを送信することを可能にする。この方法は、前処理と密接に関連付けられるべきである。補正方法はまた、ネットワーク妨害に最も依存しているので、ネットワークカーネルに密接に関連付けられるべきである。補正されたフレームの符号化はまた、ウェーブレット技術に基づいて実行される。
「キーフレームと補正フレームの復号」は、ウェーブレット技術を使用する逆符号化を使用して実現される。
「後処理」は、鮮鋭度とカラースペクトルの改善のためにビデオ画像にフィルタを適用することによってビデオ品質の向上を意図している。
1.キーフレームパッケージングは図9に示されている
パッケージングプロセスは、図9に示すような7ステージからなる。
パッケージングプロセスは、図9に示すような7ステージからなる。
図10に示すステージ1.1の説明:RGBフォーマットの静止フレームが入力される。このフレームは、共に画像を形成する赤、緑、青の3平面から構成される。標準の一対一対応関数を使用して静止フレームは、明るさ成分Yとカラー信号U、Vによって変調された二つのカラーサブキャリアとからなる1まとまりの3平面でもある、YUVと呼ばれるもう一つのフォーマットに変換される。YUV変換のために最も使用される公式は以下の通りである。:
Y=0.299*R+0.587*G+0.114*B
U=0.564*(B−Y)
V=0.649*(R−Y)
画像のこのような表現は、更なる分析のために、より有益である。
Y=0.299*R+0.587*G+0.114*B
U=0.564*(B−Y)
V=0.649*(R−Y)
画像のこのような表現は、更なる分析のために、より有益である。
図11に示すステージ1.2の説明:YUVフォーマットの静止フレームが入力される。ウェーブレットに基づく二つのフィルタの助けによって画像は、2成分:高周波数と低周波数とに分解されている。この変換は、一対一対応であって、出力側において分解の結果として係数がグラフの接合部に位置する一つのグラフとして表示される。アークは、係数間の接続である。フレームをグラフに分解するために、ウェーブレットフィルタが使用される。ウェーブレットフィルタは実験的に選択されたものであって、ビデオパッケージングのために最適のものである。(ただしウェーブレットフィルタは、必要であれば容易に修正できる)。ウェーブレットフィルタは、受信サイドと同様に送信サイドでもプログラムにハードコードされる(これらは両サイドで同様であるべきである)。
図12に示すステージ1.3の説明:ステージ4、5でデータをパッケージするためにステージ3のグラフは、確定した要件を満たすべきである。各グラフの接合部は、最上部を除いて「親」を持つべきである。ステージ3で、ステージ2からのグラフをチェックし、必要であればこれを完成させる、すなわち何も持たない接合部のために「親」を指示する。
図13に示すステージ1.4の説明:このステージから、パッケージングプロセスが始まる。ステージ5で分析を行うために、ステージ3からのグラフは、独自の処理を受けて独自の機械表現−ビット平面に変換されるべきである。
図14に示すステージ1.5の説明:ビット平面とそこに含まれるステージ4からのデータが分析されている。この分析に基づいて、これらの有意性にしたがってビット平面内のデータを編成する。それからこのステージで使用される圧縮比の値に依存して、このステージで非有意であるすべてのデータを放棄する。(圧縮比の値が大きいほど、多くのデータが放棄される)。残ったデータは、4つの異なるデータフローに分類される。
図15に示すステージ1.6の説明:より大きなデータ圧縮を達成するためにフロー内のデータは特別の方法で編成されて、更なる統計分析を受ける。
図16に示すステージ1.7の説明:編成されたフローは、パッケージされたフレームである統合化構造に一体化される。それからこの構造は、ネットワークを介して送るために転送される。
2.フレームの構築(補正方法)(図17に示す)
ステージ1.前のフレームとの比較および差の確定
説明:静止フレームが入力される。前のフレームとの差が確定される。二つの変形版:すなわち前フレームとの差の確定または前基本フレームとの差の確定があり得る。第1の変形版はより小さな差を前提としているが、通信時における差の欠如は次フレームの構築を可能にしないであろう。第2の変形版はより大きな差を前提としているが、これらのフレームの欠如は、重大なことにはならないであろう。
ステージ1.前のフレームとの比較および差の確定
説明:静止フレームが入力される。前のフレームとの差が確定される。二つの変形版:すなわち前フレームとの差の確定または前基本フレームとの差の確定があり得る。第1の変形版はより小さな差を前提としているが、通信時における差の欠如は次フレームの構築を可能にしないであろう。第2の変形版はより大きな差を前提としているが、これらのフレームの欠如は、重大なことにはならないであろう。
ステージ2.差の処理
説明:不必要なデータを切り捨ててデータをよりコンパクトに(圧縮)するために差が処理されている。
説明:不必要なデータを切り捨ててデータをよりコンパクトに(圧縮)するために差が処理されている。
ステージ3.差のパッケージング
説明:パッケージングのために、キーフレームパッケージング方法の修正版が使用される。
説明:パッケージングのために、キーフレームパッケージング方法の修正版が使用される。
(オーディオコーデック)
オーディオコーデックは、ビデオフローと同期してオーディオフローを符号化する。音響符号化は、音響符号化の擬似音響モデルのオリジナルの実現を意味する。この実現は、1400BPSチャネルを使用して人間の音声を送信することを可能にしている。
オーディオコーデックは、ビデオフローと同期してオーディオフローを符号化する。音響符号化は、音響符号化の擬似音響モデルのオリジナルの実現を意味する。この実現は、1400BPSチャネルを使用して人間の音声を送信することを可能にしている。
(図18に示すような)ネットワークカーネルは、データの適時の配信を保証すべきであり、ネットワーク妨害検出の目的のためにネットワークの監視に責任を持っており、蓄積された統計に基づくことは、ビデオおよびオーディオ圧縮器の調整を実行する。図は一方向データ転送チャネルの構造を示す(このチャネルのための要件は下記にリストアップされている)。このチャネルは、3つのフロー:
●ビデオチャネル
●オーディオチャネル
●制御チャネル
からなる。
●ビデオチャネル
●オーディオチャネル
●制御チャネル
からなる。
「ビデオチャネル」は、ビデオ圧縮器からのビデオフレーム配信に責任を有する。
「オーディオチャネル」は、オーディオ圧縮器からのオーディオフロー配信に責任を有する。
「制御チャネル」は広い範囲のサービス機能:
通信セッション開始前のクライアントプログラムの二人以上のユーザの接続の実行、
ビデオフローとオーディオフローの同期化、
ネットワーク、
ネットワーク妨害とデータ喪失に関する通知、
ユーザ間の短いメッセージ交換(チャット)の実行、
に責任を有する。
通信セッション開始前のクライアントプログラムの二人以上のユーザの接続の実行、
ビデオフローとオーディオフローの同期化、
ネットワーク、
ネットワーク妨害とデータ喪失に関する通知、
ユーザ間の短いメッセージ交換(チャット)の実行、
に責任を有する。
図19は、インターネット上でのビデオ会議のためのプログラムシステムの開発のための要件と機能仕様とを示す。
すべてのシステムユーザは、システムログインのためにユーザが自分の名前とEメールとパスワードとを入力するウェブサイトに登録しなくてはならない。ユーザが登録された後、システムは各ユーザに一意の番号(UID)を割り当てる。
ユーザがシステムに登録された後、ユーザはPSを自身のコンピュータにアップロードしてそれをインストールできる。
クライアントはまた、システムにおける更なるサービス(オプション)のためにクレジットカードで支払うこともできる。支払いは、サイバーキャッシュ(CyberCash)システムを介して実行され、ビリングサーバに登録される。
(クライアント・アプリケーション)
クライアント・アプリケーションは下記の機能を有する:
1.ユーザのためのデータベースの表示と探索。このオプションはPSのすべてのバージョンで利用可能である。
2.ユーザを連絡リストに追加するための認可の要求。ユーザは、認可の後に連絡リストに追加される。このオプションはPSのすべてのバージョンで利用可能である。
3.連絡リストからユーザへの短いメッセージの送出。このオプションはPSのすべてのバージョンで利用可能である。
4.連絡リストからのユーザとのチャット。このオプションはPSのすべてのバージョンで利用可能である。
5.ビデオフローとオーディオフローを翻訳できる、またユーザがビデオフローとオーディオフローを見ることを認可したユーザからのオーディオフローとビデオフローの表示。このオプションはPSのすべてのバージョンで利用可能である。
6.ビデオ会議の実行を認可されているシステムのもう一人のユーザとのポイントツーポイントのビデオ会議。ビデオ会議は、このオプションのために支払ったユーザに利用可能である。
7.多数のユーザのためのビデオ翻訳。このオプションは、ビデオ翻訳の認可のために支払ったユーザに利用可能である。
クライアント・アプリケーションは下記の機能を有する:
1.ユーザのためのデータベースの表示と探索。このオプションはPSのすべてのバージョンで利用可能である。
2.ユーザを連絡リストに追加するための認可の要求。ユーザは、認可の後に連絡リストに追加される。このオプションはPSのすべてのバージョンで利用可能である。
3.連絡リストからユーザへの短いメッセージの送出。このオプションはPSのすべてのバージョンで利用可能である。
4.連絡リストからのユーザとのチャット。このオプションはPSのすべてのバージョンで利用可能である。
5.ビデオフローとオーディオフローを翻訳できる、またユーザがビデオフローとオーディオフローを見ることを認可したユーザからのオーディオフローとビデオフローの表示。このオプションはPSのすべてのバージョンで利用可能である。
6.ビデオ会議の実行を認可されているシステムのもう一人のユーザとのポイントツーポイントのビデオ会議。ビデオ会議は、このオプションのために支払ったユーザに利用可能である。
7.多数のユーザのためのビデオ翻訳。このオプションは、ビデオ翻訳の認可のために支払ったユーザに利用可能である。
クライアントのハードウエアの要件:
●プロセッサPII Celeron 600MHzを有するインテルPC
●メモリ64Mb以上
●サウンドカード
●ビデオカメラ
●ダイアルアップ接続用標準モデム56BPSもしくは
●10/100MBネットワークへの接続用ネットワークカード
のいずれか
●プロセッサPII Celeron 600MHzを有するインテルPC
●メモリ64Mb以上
●サウンドカード
●ビデオカメラ
●ダイアルアップ接続用標準モデム56BPSもしくは
●10/100MBネットワークへの接続用ネットワークカード
のいずれか
クライアントのソフトウエアの要件:
●OS Windows(登録商標) 98 OSR1、Windows(登録商標) Me、Windows(登録商標) 2000
●Direct Showドライバのセット(カメラとサウンドカードはドライバと互換性がなくてはならない)
●TCP/IPプロトコルドライバ
●OS Windows(登録商標) 98 OSR1、Windows(登録商標) Me、Windows(登録商標) 2000
●Direct Showドライバのセット(カメラとサウンドカードはドライバと互換性がなくてはならない)
●TCP/IPプロトコルドライバ
(サーバ・アプリケーション)
1.接続サーバ
接続サーバは、システムのすべてのユーザのための入口点である。これは下記の機能:
●システムへの登録のためのUIDとパスワードの要求
●セッション中のユーザとの永続的接続の保証
●ユーザの状態試験
●現時点でオンラインになっているユーザリストの保持
●クライアントと、より高いサービス(これらの説明については下記を参照のこと)と、の間のデータ通信
●ユーザへの短いメッセージの送信と障害の場合のメッセージDBにおけるそれらメッセージの記憶
を実行する。
1.接続サーバ
接続サーバは、システムのすべてのユーザのための入口点である。これは下記の機能:
●システムへの登録のためのUIDとパスワードの要求
●セッション中のユーザとの永続的接続の保証
●ユーザの状態試験
●現時点でオンラインになっているユーザリストの保持
●クライアントと、より高いサービス(これらの説明については下記を参照のこと)と、の間のデータ通信
●ユーザへの短いメッセージの送信と障害の場合のメッセージDBにおけるそれらメッセージの記憶
を実行する。
2.リダイレクタ
リダイレクタは、接続サーバとより高いサービスとの間の薄い層である。これはより高いサービスの負荷のバランスをとることに責任を有する。
リダイレクタは、接続サーバとより高いサービスとの間の薄い層である。これはより高いサービスの負荷のバランスをとることに責任を有する。
3.ディレクトリサーバ
ディレクトリサーバは、ユーザの分散データベースとユーザの連絡リストとを記憶する。リダイレクタサーバは、これらのサーバの負荷に責任を有する。
ディレクトリサーバは、ユーザの分散データベースとユーザの連絡リストとを記憶する。リダイレクタサーバは、これらのサーバの負荷に責任を有する。
4.メッセージDB
メッセージDB−は、送信されないメッセージのサーバである。何らかの理由で接続サーバによって受取人に送達できなかったすべてのメッセージはメッセージDBに送られる。ユーザがシステムにログインするとき、接続サーバはこのユーザに関して送られなかったメッセージの利用可能性をチェックし、もし何かがあればそれらをユーザに送る。
メッセージDB−は、送信されないメッセージのサーバである。何らかの理由で接続サーバによって受取人に送達できなかったすべてのメッセージはメッセージDBに送られる。ユーザがシステムにログインするとき、接続サーバはこのユーザに関して送られなかったメッセージの利用可能性をチェックし、もし何かがあればそれらをユーザに送る。
5.ビリングシステム
ユーザアカウント記憶のシステム。各登録済みシステムユーザのために個人アカウントが存在する。もし空であればデフォルトとして、すなわちユーザがシステムに登録された後にユーザは無料のシステムサービスだけにアクセス権を有する。もしユーザが更なるサービスのために支払いをしたいと思うならば、ユーザはクレジットカードを使用して(サイバーキャッシュ(CyberCash)システムを介して)それを行うことができる。ユーザがシステムにログインするとき、接続サーバはビリングシステムにおけるユーザの状態を要求し、ユーザの状態に基づいて更なるサービスへのアクセス権を割り当てる。
ユーザアカウント記憶のシステム。各登録済みシステムユーザのために個人アカウントが存在する。もし空であればデフォルトとして、すなわちユーザがシステムに登録された後にユーザは無料のシステムサービスだけにアクセス権を有する。もしユーザが更なるサービスのために支払いをしたいと思うならば、ユーザはクレジットカードを使用して(サイバーキャッシュ(CyberCash)システムを介して)それを行うことができる。ユーザがシステムにログインするとき、接続サーバはビリングシステムにおけるユーザの状態を要求し、ユーザの状態に基づいて更なるサービスへのアクセス権を割り当てる。
一実施形態におけるサーバハードウエアの要件:
●PIII 600MHz以上のプロセッサを有するサーバ
●メモリ128Mb以上
●PIII 600MHz以上のプロセッサを有するサーバ
●メモリ128Mb以上
一実施形態におけるサーバソフトウエアの要件
●OS Windows(登録商標)2000サーバ
●MSSQLサーバ2000
●OS Windows(登録商標)2000サーバ
●MSSQLサーバ2000
図20は、ビデオ画像の圧縮と伝送のためのプログラムシステムの開発のための機能仕様を示す。
このプロジェクトの目的は、すべての既存の規格の無線通信の低帯域幅チャネルを使用するビデオ画像の圧縮と伝送のためのプログラムシステム(更にPSと称する)の開発である。所定のPSは、無線通信を使用するリアルタイムモードでのビデオ会議とビデオ伝送の実行を意図しており、またこれはハードウエア実現のためのプロトタイプとして使用されるであろう。PSのための基本技術である開発される技術はまた、広いチャネル(56BPS以上)にも適応可能で拡張可能でなければならない。このことは、PSをビデオフィルム放送システムに拡張することを可能にするであろう。
(プログラムシステムの構造体系)
クライアント部
クライアント部は、ユーザのパソコンにインストールされた、そして自分のパソコンにインストールされた同じプログラムを有するもう一人のユーザにこのユーザがリアルタイムのビデオ画像を送信するか、あるいはそのユーザとのリアルタイムのビデオ会議を実行することを可能にする独立のプログラムである。もう一人のユーザとの接続は、無線通信チャネル(直接接続)を使用するか、インターネット(または他のTCP/IPネットワーク)を使用するかいずれかによって実現される。インターネット(または他のTCP/IPネットワーク)を使用する接続の場合にはクライアント部は、サーバプログラムと接続してその時点でネットワークに接続されるユーザについて要求することができるべきである。
クライアント部
クライアント部は、ユーザのパソコンにインストールされた、そして自分のパソコンにインストールされた同じプログラムを有するもう一人のユーザにこのユーザがリアルタイムのビデオ画像を送信するか、あるいはそのユーザとのリアルタイムのビデオ会議を実行することを可能にする独立のプログラムである。もう一人のユーザとの接続は、無線通信チャネル(直接接続)を使用するか、インターネット(または他のTCP/IPネットワーク)を使用するかいずれかによって実現される。インターネット(または他のTCP/IPネットワーク)を使用する接続の場合にはクライアント部は、サーバプログラムと接続してその時点でネットワークに接続されるユーザについて要求することができるべきである。
クライアント部は、下記を含む:
●ビデオ圧縮器
◎ビデオカメラからのビデオフローを符号化してそれをネットワークカーネルに送信する
◎ネットワークカーネルからのビデオフローを復号してそれをユーザの表示装置に送信する
◎ネットワークカーネルからネットワーク妨害統計を受信してビデオフローパラメータを修正する
●オーディオ圧縮器
◎サウンドマップからのオーディオフローを符号化してそれをネットワークに送信する
◎ネットワークカーネルからのオーディオフローを復号してそれをサウンドマップに送信する
◎ネットワークカーネルからネットワーク妨害統計を受信してオーディオフローパラメータを修正する
●ネットワークカーネル
◎二人のユーザ間の接続を実現する
◎ネットワークデータの受信と送信を実現する
◎送信されたデータの完全性の制御を実現する
◎ネットワーク監視を実現してネットワーク妨害統計をオーディオおよびビデオ圧縮器に送信する。
●ビデオ圧縮器
◎ビデオカメラからのビデオフローを符号化してそれをネットワークカーネルに送信する
◎ネットワークカーネルからのビデオフローを復号してそれをユーザの表示装置に送信する
◎ネットワークカーネルからネットワーク妨害統計を受信してビデオフローパラメータを修正する
●オーディオ圧縮器
◎サウンドマップからのオーディオフローを符号化してそれをネットワークに送信する
◎ネットワークカーネルからのオーディオフローを復号してそれをサウンドマップに送信する
◎ネットワークカーネルからネットワーク妨害統計を受信してオーディオフローパラメータを修正する
●ネットワークカーネル
◎二人のユーザ間の接続を実現する
◎ネットワークデータの受信と送信を実現する
◎送信されたデータの完全性の制御を実現する
◎ネットワーク監視を実現してネットワーク妨害統計をオーディオおよびビデオ圧縮器に送信する。
データ伝送原理の説明は、ネットワークカーネルの説明に見られるはずである。
クライアントのハードウエアの要件:
●プロセッサPII Celeron 600MHzを有する携帯型パソコン
●メモリ64Mb以上のサウンドカード
●サウンドカード
●ビデオカメラ
●無線通信チャネルとの接続用の接続装置
●ダイアルアップ接続用の標準モデム56BPS
●プロセッサPII Celeron 600MHzを有する携帯型パソコン
●メモリ64Mb以上のサウンドカード
●サウンドカード
●ビデオカメラ
●無線通信チャネルとの接続用の接続装置
●ダイアルアップ接続用の標準モデム56BPS
(本プロジェクトにおける作業のプランスケジュール)
本プロジェクトにおける作業は、6ステージで実現される。
本プロジェクトにおける作業は、6ステージで実現される。
第1ステージ:調停と準備。プログラムの現在バージョンの提示。
このステージ中に、下記の作業内容が遂行されるべきである:
●開発者は、提示のためにビデオ圧縮用プログラムの現在バージョンの技術文書とプログラムモジュールを準備する;
●開発者は、要員に仕事を設定して、要員がプロジェクト要件を適切に理解していることを確認する;
●開発者は、プログラムの現在バージョンを提示する。この提示のときに開発者は、下記を示すべきである:
1.携帯電話を使用することによる直接接続とインターネット経由の接続との可能性を有するクライアント部
2.所定の要件仕様書に記述されたハードウエアとソフトウエアにしたがって動作するビデオ圧縮器の実現
3.補正機構を有し、9500BPS以上の帯域幅を持つ全二重無線通信チャネルを使用する毎秒3フレームで許容可能な品質を実現する会議モードでビデオおよびオーディオフローを送信するビデオおよびオーディオ圧縮器の実現
4.ユーザインタフェースの現在バージョンの実現
5.チャット機能の実現
6.960O K5チャネルを使用するビデオフロー伝送を保証できるプログラムの現在バージョンの試験記録シートの作成
このステージ中に、下記の作業内容が遂行されるべきである:
●開発者は、提示のためにビデオ圧縮用プログラムの現在バージョンの技術文書とプログラムモジュールを準備する;
●開発者は、要員に仕事を設定して、要員がプロジェクト要件を適切に理解していることを確認する;
●開発者は、プログラムの現在バージョンを提示する。この提示のときに開発者は、下記を示すべきである:
1.携帯電話を使用することによる直接接続とインターネット経由の接続との可能性を有するクライアント部
2.所定の要件仕様書に記述されたハードウエアとソフトウエアにしたがって動作するビデオ圧縮器の実現
3.補正機構を有し、9500BPS以上の帯域幅を持つ全二重無線通信チャネルを使用する毎秒3フレームで許容可能な品質を実現する会議モードでビデオおよびオーディオフローを送信するビデオおよびオーディオ圧縮器の実現
4.ユーザインタフェースの現在バージョンの実現
5.チャット機能の実現
6.960O K5チャネルを使用するビデオフロー伝送を保証できるプログラムの現在バージョンの試験記録シートの作成
第2ステージ<<新バージョンの開発>>
●サーバ部の完全な実現
●ユーザの新バージョンの開発、調停および導入
●関心領域の方法の実現
●補正モデルの二つのバージョンの実現。ネットワーク妨害統計に依存する方法のセッティングを自動的に変更する、これらの方法とネットワークカーネルとの間の相互作用の保証
●オーディオ圧縮器(期待されるオーディオフロー帯域幅1500BPS)の実現
●異なるOS、通信ネットワーク規格およびハードウエアを有するシステムの試験
●新バージョンの提示
●プログラムの現在バージョンの試験記録シートの作成
●紙媒体での顧客へのソースコードの転送
●サーバ部の完全な実現
●ユーザの新バージョンの開発、調停および導入
●関心領域の方法の実現
●補正モデルの二つのバージョンの実現。ネットワーク妨害統計に依存する方法のセッティングを自動的に変更する、これらの方法とネットワークカーネルとの間の相互作用の保証
●オーディオ圧縮器(期待されるオーディオフロー帯域幅1500BPS)の実現
●異なるOS、通信ネットワーク規格およびハードウエアを有するシステムの試験
●新バージョンの提示
●プログラムの現在バージョンの試験記録シートの作成
●紙媒体での顧客へのソースコードの転送
第3ステージ<<コーデックのハードウエアバージョンの実現のための準備作業>>
●ユーザは、ビデオおよびオーディオフローの品質調整のための異なるチャネル帯域幅への理解し易い機能への調整の機構を自分の裁量で持つべきである。ビデオ・オーディオ圧縮器のすべての特定のセッティングはユーザの介入なしに自動的に実現されるべきである。
●ユーザはまた、ボリュームセッティングパネルとビデオカメラパラメータセッティングとを自分の裁量で持つべきである。
●ユーザは、着呼をプログラムによって通知されなくてはならず、また望ましくない呼を遮断できなくてはならない。
●ユーザは、チャット機能を自分の裁量で持つべきである。
●ユーザは、ビデオおよびオーディオフローの品質調整のための異なるチャネル帯域幅への理解し易い機能への調整の機構を自分の裁量で持つべきである。ビデオ・オーディオ圧縮器のすべての特定のセッティングはユーザの介入なしに自動的に実現されるべきである。
●ユーザはまた、ボリュームセッティングパネルとビデオカメラパラメータセッティングとを自分の裁量で持つべきである。
●ユーザは、着呼をプログラムによって通知されなくてはならず、また望ましくない呼を遮断できなくてはならない。
●ユーザは、チャット機能を自分の裁量で持つべきである。
サーバ部
サーバ部は、インターネット接続(または他の任意のTCP/IPネットワーク)を使用してクライアント部ユーザの探索と接続を容易にする目的のために設計される。サーバ部は、ネットワークのクライアント部へのすべてのユーザ接続を登録して追跡できるプログラムユーザの拡張可能なデータベースである。ネットワークに接続されると各プログラムユーザは、サーバに登録でき、他のユーザを自分のアドレスブック(住所録)に追加でき、このアドレスブックにリストアップされた任意のユーザの現在状態を見ることができる。もし要求されたユーザがその時点でオンラインになっていれば、サーバ部は更なる調整をせずに、このユーザへの迅速な接続の可能性を保証すべきである。
サーバ部は、インターネット接続(または他の任意のTCP/IPネットワーク)を使用してクライアント部ユーザの探索と接続を容易にする目的のために設計される。サーバ部は、ネットワークのクライアント部へのすべてのユーザ接続を登録して追跡できるプログラムユーザの拡張可能なデータベースである。ネットワークに接続されると各プログラムユーザは、サーバに登録でき、他のユーザを自分のアドレスブック(住所録)に追加でき、このアドレスブックにリストアップされた任意のユーザの現在状態を見ることができる。もし要求されたユーザがその時点でオンラインになっていれば、サーバ部は更なる調整をせずに、このユーザへの迅速な接続の可能性を保証すべきである。
ビリングシステムの主要な仕事は、チャネルの使用時間に関してユーザとの決算を行うことである。チャネルの使用に関する支払いは、1分ごとに収集される。1分の費用は、例えば休日の特別料金を導入する可能性をもって1チャネルごとに決定される。各クライアントは個人アカウントを持っている。このアカウントに対する金銭は、クライアントのクレジットカードから振り替えられる。アカウントの補充は、実際の金銭振替によって、または広告宣伝のフレーム内で無料の数分を取得することによって実行される。ビデオ放送サーバは、httpプロトコルを使用してビリングサーバに要求を送る。一つのビリングサーバが数台のビデオ放送サーバにサービスできる。
一実施形態に関するサーバハードウエアの要件:
●PE6D0MHz以上のプロセッサを有するサーバ
●メモリ128Mb以上
●PE6D0MHz以上のプロセッサを有するサーバ
●メモリ128Mb以上
一実施形態におけるサーバソフトウエアの要件:
●OS Windows(登録商標)2000サーバ
●OS Windows(登録商標)2000サーバ
一実施形態に関するサーバ部の要件:
●無制限の数のクライアントをサポートする標準の拡張可能データベースを持たなくてはならない。
●サーバは、クライアントプログラムからの毎秒10D個以上の要求を処理しなくてはならない。
●無制限の数のクライアントをサポートする標準の拡張可能データベースを持たなくてはならない。
●サーバは、クライアントプログラムからの毎秒10D個以上の要求を処理しなくてはならない。
(図18または21のような)ネットワークカーネルは、データの適時の配信を保証すべきであって、ネットワーク妨害検出の目的のためにネットワークの監視に責任を有しており、また蓄積された統計に基づくことはビデオ・オーディオ圧縮器の調整を実行する。ピクチャ#3は、一方向データ転送チャネルの構造を示す(このチャネルの要件は下記にリストアップされている)。このチャネルは3つのフロー:
●ビデオチャネル
●オーディオチャネル
●制御チャネル
からなる。
●ビデオチャネル
●オーディオチャネル
●制御チャネル
からなる。
「ビデオチャネル」は、ビデオ圧縮器からのビデオフレーム配信に責任を有する。
「オーディオチャネル」は、オーディオ圧縮器からのオーディオフロー配信に責任を有する。
「制御チャネル」は広い範囲のサービス機能:すなわち
●通信セッション開始前のクライアントプログラムの二人以上のユーザの接続の実行
●ビデオフローとオーディオフローの同期化
●ネットワーク
●ネットワーク妨害とデータ喪失に関する通知
●ユーザ間の短いメッセージ交換(チャット)の実行
に責任を有する。
●通信セッション開始前のクライアントプログラムの二人以上のユーザの接続の実行
●ビデオフローとオーディオフローの同期化
●ネットワーク
●ネットワーク妨害とデータ喪失に関する通知
●ユーザ間の短いメッセージ交換(チャット)の実行
に責任を有する。
一実施形態に関するネットワークカーネル要件:
●データ妥当性の管理
●連続的ネットワーク監視
●ネットワーク妨害統計の蓄積とビデオ・オーディオ圧縮器セッティングに対する動作能力
●補正作業のための知的アルゴリズムの利用可能性
●チャット機能の実現
●拡張性−一つのビデオフローを多数に送るための可能性
●データ妥当性の管理
●連続的ネットワーク監視
●ネットワーク妨害統計の蓄積とビデオ・オーディオ圧縮器セッティングに対する動作能力
●補正作業のための知的アルゴリズムの利用可能性
●チャット機能の実現
●拡張性−一つのビデオフローを多数に送るための可能性
(インタフェース)
ユーザインタフェース(GUI)は、クライアントプログラムを管理する便利で直感的に理解できる形式を提供しなくてはならない。GUIは、プログラムセッティングでの動作の容易な仕方と他のユーザへの便利な接続とを保証しなくてはならない。
ユーザインタフェース(GUI)は、クライアントプログラムを管理する便利で直感的に理解できる形式を提供しなくてはならない。GUIは、プログラムセッティングでの動作の容易な仕方と他のユーザへの便利な接続とを保証しなくてはならない。
一実施形態に関するユーザインタフェース(GUI)の要件:
●ユーザインタフェースは、単純で直感的でなくてはならない
●インタフェースは、好ましいモダンな設計を持たなくてはならない
●ユーザインタフェースは、入力および出力のビデオフローを見るための二つのダイアログから構成されなくてはならない
●ユーザは、ダイアログのサイズを表示画面のサイズにまで拡大し、またダイアログをリセット状態に戻す可能性を持つべきである
●ユーザインタフェースは、単純で直感的でなくてはならない
●インタフェースは、好ましいモダンな設計を持たなくてはならない
●ユーザインタフェースは、入力および出力のビデオフローを見るための二つのダイアログから構成されなくてはならない
●ユーザは、ダイアログのサイズを表示画面のサイズにまで拡大し、またダイアログをリセット状態に戻す可能性を持つべきである
ビデオ圧縮器は、符号化プロセス時に蓄積された統計と、ネットワークカーネルにおいて蓄積され、またネットワークカーネルから受信された統計と、に基づくビデオフロー符号化プロセス時の柔軟な調整を可能にすべきである。
一実施形態に関するビデオ圧縮器の要件:
●ビデオ圧縮器は、前述のソフトウエアおよびハードウエア要件に続いて前処理と後処理とを含む会議モードにおけるビデオフローの同時的符号化と同時復号化とを実現すべきである
●ビデオ圧縮器は、符合化と復号化の対称な構成を備えなくてはならない
●1秒ごとに処理されるフレームの数は、9600BPSの帯域幅を有するチャネルを使用して許容可能な品質を実現する、5個以上であるべきである
●補正モデルは、静止画像の漸進的な品質向上を保証すべきである
●補正モデルは、あり得るネットワーク妨害を処理することができるべきである
●補正モデルは、二つの変形版において:データ配信を保証するネットワークのために(このようなネットワークを使用する更なるハードウエア実現のために)およびデータ配信を保証しないネットワークのために(インターネット−タイプのネットワークのために)実現されなければならない。
●ビデオ圧縮器は、前述のソフトウエアおよびハードウエア要件に続いて前処理と後処理とを含む会議モードにおけるビデオフローの同時的符号化と同時復号化とを実現すべきである
●ビデオ圧縮器は、符合化と復号化の対称な構成を備えなくてはならない
●1秒ごとに処理されるフレームの数は、9600BPSの帯域幅を有するチャネルを使用して許容可能な品質を実現する、5個以上であるべきである
●補正モデルは、静止画像の漸進的な品質向上を保証すべきである
●補正モデルは、あり得るネットワーク妨害を処理することができるべきである
●補正モデルは、二つの変形版において:データ配信を保証するネットワークのために(このようなネットワークを使用する更なるハードウエア実現のために)およびデータ配信を保証しないネットワークのために(インターネット−タイプのネットワークのために)実現されなければならない。
(オーディオ圧縮器)
オーディオ圧縮器は、オーディオフローのウェーブレットを使用して符号化と復号化とを実行する。所定のモジュールの実現は、市場で標準化されたオーディオフロー圧縮で利用可能なアルゴリズムの使用とウェーブレット技術に基づいて自らのオーディオコーデックを開発する可能性の分析との二つの方向に進まなくてはならない。
オーディオ圧縮器は、オーディオフローのウェーブレットを使用して符号化と復号化とを実行する。所定のモジュールの実現は、市場で標準化されたオーディオフロー圧縮で利用可能なアルゴリズムの使用とウェーブレット技術に基づいて自らのオーディオコーデックを開発する可能性の分析との二つの方向に進まなくてはならない。
一実施形態に関するオーディオ圧縮器の要件:
●オーディオ圧縮器は、前述のソフトウエアおよびハードウエア要件に続いて会議モードにおけるビデオと一緒のオーディオフローの同時的符号化と同時的復号化とを実現すべきである
●オーディオ圧縮器は、符合化と復号化の対称な構成を備えなくてはならない
●オーディオ圧縮器は、ビデオ圧縮器と同期化されなくてはならない
●音響品質は、人間の言葉を理解するために十分でなければならない
●オーディオデータボリュームは、9600BPSの帯域幅を有するチャネルを使用して240D BPSを超えてはならない。理想のボリュームは1000BPSである。
●オーディオ圧縮器は、あり得るネットワーク妨害を処理することができるべきである
●10/100MBネットワークへの接続のためのネットワークカード
●オーディオ圧縮器は、前述のソフトウエアおよびハードウエア要件に続いて会議モードにおけるビデオと一緒のオーディオフローの同時的符号化と同時的復号化とを実現すべきである
●オーディオ圧縮器は、符合化と復号化の対称な構成を備えなくてはならない
●オーディオ圧縮器は、ビデオ圧縮器と同期化されなくてはならない
●音響品質は、人間の言葉を理解するために十分でなければならない
●オーディオデータボリュームは、9600BPSの帯域幅を有するチャネルを使用して240D BPSを超えてはならない。理想のボリュームは1000BPSである。
●オーディオ圧縮器は、あり得るネットワーク妨害を処理することができるべきである
●10/100MBネットワークへの接続のためのネットワークカード
一実施形態に関するクライアントのソフトウエアの要件:
●OS Windows(登録商標) 98 OSR1、Windows(登録商標) Me、Windows(登録商標) 2000
●Direct Showドライバのセット(カメラとサウンドカードはドライバと互換性がなくてはならない)
●無線通信チャネル上でのTCP/IPプロトコルドライバ
●OS Windows(登録商標) 98 OSR1、Windows(登録商標) Me、Windows(登録商標) 2000
●Direct Showドライバのセット(カメラとサウンドカードはドライバと互換性がなくてはならない)
●無線通信チャネル上でのTCP/IPプロトコルドライバ
一実施形態に関するデータ通信チャネルの要件:
●ディジタル無線通信チャネル
●所定の無線通信チャネルは、9600BPS以上の帯域幅による全二重通信を備えているべきである。
●二つのコンピュータ間の直接ダイアルアップ接続(またはASPを使用するインターネット経由の接続)、
もしくは
●二つのコンピュータ間の直接接続用のローカル10/100MBネットワーク、
のいずれか
●ディジタル無線通信チャネル
●所定の無線通信チャネルは、9600BPS以上の帯域幅による全二重通信を備えているべきである。
●二つのコンピュータ間の直接ダイアルアップ接続(またはASPを使用するインターネット経由の接続)、
もしくは
●二つのコンピュータ間の直接接続用のローカル10/100MBネットワーク、
のいずれか
(ビデオ圧縮器)
ビデオ圧縮器は、ビデオフローのウェーブレットを使用して符号化と復号化とを実行する。所定のプロセッサは、下記の作業サイクル:すなわち
●前処理、
●キーフレームの符号化、
●補正モデル、
●キーフレームと補正フレームの復号、
●後処理、
を有する。
ビデオ圧縮器は、ビデオフローのウェーブレットを使用して符号化と復号化とを実行する。所定のプロセッサは、下記の作業サイクル:すなわち
●前処理、
●キーフレームの符号化、
●補正モデル、
●キーフレームと補正フレームの復号、
●後処理、
を有する。
「前処理」…これに続く符号化のために必要なビデオ画像の準備、すなわち品質の改善(前のフレームから利用可能な統計に基づく)。
キーフレームの符号化は、ウェーブレット技術を使用する開発されたビデオ圧縮方法に基づいて実行される。
補正方法は、フレーム間の差だけが伝送されることによってより多数のフレームの送信を可能にする。この方法は、前処理に密接に結び付けられるべきである。補正方法はまた、ネットワーク妨害に最も依存しているので、ネットワークカーネルに密接に関連付けられるべきである。補正されたフレームの符号化もまた、ウェーブレット技術に基づいて実行される。
キーフレームと補正済みフレームの復号化は、ウェーブレット技術を使用する逆符号化を使用して実現される。
後処理は、鮮鋭度とカラースペクトルの改善のためにビデオ画像にフィルタを適用することによるビデオ品質の向上を意図している。
本発明の詳細な説明では本方法の具体的な最も好適な実現形態が提示されている。本方法ステップとそれらの固有のパラメータの詳細説明は、本発明がこの提示された説明によって網羅されることを決して意味していない。本発明の方法とその修正版の更なる利点は同様に、本出願人の一般的発明の考えによるその実現形態において見出されうるものである。
Claims (3)
- データ圧縮の方法であって、
データをウェーブレット分解係数のアレイDとして表すステップと、
根ノードと、前記根ノードを除く各ノードが対応する先祖の子孫であるゆえに接続されたノードと、によって形成された前記係数の木マップを作成するステップと、
対応する係数Dが正の値またはゼロであれば、前記ノードに対応する成分が0に等しく、係数Dが負の値を有するならば、前記成分が1に等しいアレイZを作成するステップと、
T0が基本閾値アレイであってiが閾値インデックスである場合に、閾値アレイセットTi=T0/Siを作成するステップと、
各ノードに関するM/T0比の値が所定のノードのすべての子孫の間のD/T0比の最大値に等しい、アレイMを作成するステップと、
所定のノードに対応するアレイM成分の値が閾値アレイTi成分の値より小さい場合に成分が0に等しく、アレイM成分の対応する値が閾値アレイTi成分の値以上であれば成分が1に等しい、アレイSiのセットを作成するステップと、
成分が|D|/T0比の2倍された小数部分の全部分に等しいアレイBiのセットを作成するステップと、
を含む方法。 - 所定のノードの子孫に対応するアレイSi、Biの成分と、Bi成分が1に等しい所定ノードの子孫に対応するアレイZiの成分と、を含むベクトルアレイViのVセットを作成するステップと、
前記V、S、B、Zデータストリームのエントロピー符号化手順のためにV、S、B、Z成分のデータストリームを作成するステップと、
を更に含む、請求項1に記載の方法。 - 前記基本閾値アレイT0の成分の値が次に来るサブバンドごとに2倍に増加する、請求項1に記載の方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US58410204P | 2004-06-30 | 2004-06-30 | |
PCT/US2005/023133 WO2006004847A2 (en) | 2004-06-30 | 2005-06-30 | Method of data compression including compression of video data |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008505589A true JP2008505589A (ja) | 2008-02-21 |
Family
ID=35783335
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007520367A Pending JP2008505589A (ja) | 2004-06-30 | 2005-06-30 | ビデオデータの圧縮を含むデータ圧縮の方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US7315655B2 (ja) |
EP (1) | EP1831824A2 (ja) |
JP (1) | JP2008505589A (ja) |
KR (1) | KR20070046812A (ja) |
CN (1) | CN101014966A (ja) |
CA (1) | CA2572102A1 (ja) |
IL (1) | IL180390A0 (ja) |
WO (1) | WO2006004847A2 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1579386A1 (fr) * | 2002-12-31 | 2005-09-28 | France Telecom | Procede et dispositif de detection de points d'interet dans une image numerique source, programme d'ordinateur et support de donees correspondants |
US7676103B2 (en) * | 2005-06-20 | 2010-03-09 | Intel Corporation | Enhancing video sharpness and contrast by luminance and chrominance transient improvement |
CA2636010A1 (en) * | 2006-01-17 | 2007-07-17 | Baker Hughes Inc | SYSTEM AND METHOD FOR REMOTE DATA ACQUISITION AND DISTRIBUTION |
KR101544607B1 (ko) * | 2008-10-28 | 2015-08-17 | 삼성전자주식회사 | 메모리 장치 및 그 프로그램 방법 |
US8913666B2 (en) * | 2010-10-01 | 2014-12-16 | Qualcomm Incorporated | Entropy coding coefficients using a joint context model |
US9049459B2 (en) * | 2011-10-17 | 2015-06-02 | Exaimage Corporation | Video multi-codec encoders |
GB2513111A (en) * | 2013-04-08 | 2014-10-22 | Sony Corp | Data encoding and decoding |
CN108093298A (zh) * | 2016-11-21 | 2018-05-29 | 松下知识产权经营株式会社 | 影像传输系统 |
WO2019191891A1 (zh) * | 2018-04-02 | 2019-10-10 | 北京大学 | 用于视频处理的方法和设备 |
US10701376B2 (en) * | 2018-07-05 | 2020-06-30 | Awecom, Inc. | Resilient image compression and decompression |
CN112927236B (zh) * | 2021-03-01 | 2021-10-15 | 南京理工大学 | 一种基于通道注意力和自监督约束的服装解析方法及系统 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5321776A (en) | 1992-02-26 | 1994-06-14 | General Electric Company | Data compression system including successive approximation quantizer |
US5412741A (en) * | 1993-01-22 | 1995-05-02 | David Sarnoff Research Center, Inc. | Apparatus and method for compressing information |
US5764807A (en) * | 1995-09-14 | 1998-06-09 | Primacomp, Inc. | Data compression using set partitioning in hierarchical trees |
US6956973B1 (en) * | 1997-09-30 | 2005-10-18 | Texas Instruments Incorporated | Image compression |
JP3129411B2 (ja) | 1998-05-28 | 2001-01-29 | 日本電気株式会社 | 動画像圧縮装置と動画像圧縮方法 |
US6466698B1 (en) * | 1999-03-25 | 2002-10-15 | The United States Of America As Represented By The Secretary Of The Navy | Efficient embedded image and video compression system using lifted wavelets |
CN1166213C (zh) | 1999-04-30 | 2004-09-08 | 皇家菲利浦电子有限公司 | 选择b帧编码模式的视频编码方法和系统 |
US6445832B1 (en) * | 2000-10-10 | 2002-09-03 | Lockheed Martin Corporation | Balanced template tracker for tracking an object image sequence |
-
2005
- 2005-06-30 JP JP2007520367A patent/JP2008505589A/ja active Pending
- 2005-06-30 WO PCT/US2005/023133 patent/WO2006004847A2/en active Application Filing
- 2005-06-30 EP EP05767751A patent/EP1831824A2/en not_active Withdrawn
- 2005-06-30 CN CNA2005800221893A patent/CN101014966A/zh active Pending
- 2005-06-30 CA CA002572102A patent/CA2572102A1/en not_active Abandoned
- 2005-06-30 KR KR1020077000055A patent/KR20070046812A/ko not_active Application Discontinuation
- 2005-06-30 US US11/170,830 patent/US7315655B2/en not_active Expired - Fee Related
-
2006
- 2006-12-27 IL IL180390A patent/IL180390A0/en unknown
Also Published As
Publication number | Publication date |
---|---|
WO2006004847A2 (en) | 2006-01-12 |
US7315655B2 (en) | 2008-01-01 |
WO2006004847B1 (en) | 2006-08-10 |
CA2572102A1 (en) | 2006-01-12 |
IL180390A0 (en) | 2007-06-03 |
CN101014966A (zh) | 2007-08-08 |
WO2006004847A3 (en) | 2006-06-15 |
EP1831824A2 (en) | 2007-09-12 |
WO2006004847A9 (en) | 2006-06-16 |
US20060002613A1 (en) | 2006-01-05 |
KR20070046812A (ko) | 2007-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008505589A (ja) | ビデオデータの圧縮を含むデータ圧縮の方法 | |
JP4377103B2 (ja) | サーバクライアント環境におけるjpeg2000のための画像処理 | |
JP4111926B2 (ja) | 画像処理装置、プログラム、記憶媒体及び画像送信方法 | |
US7024046B2 (en) | System and method for the lossless progressive streaming of images over a communication network | |
JP3847828B2 (ja) | 離散ウエーブレット変換を用いた漸進的画像伝送方法及びそのためのデータ・ファイル | |
US20080259796A1 (en) | Method and apparatus for network-adaptive video coding | |
Lee | JPEG 2000: Retrospective and new developments | |
US7558430B2 (en) | Apparatus method and computer-readable medium for processing hierarchical encoded image data | |
US20060002469A1 (en) | Method of video data transmitting | |
JP5515758B2 (ja) | 画像処理装置および方法 | |
JP2004254133A (ja) | 動画再生システム、動画再生装置、動画送信装置、動画再生方法、プログラム、及び、記録媒体 | |
JP2002016925A (ja) | 符号化装置及び符号化方法 | |
US20020099853A1 (en) | Information processing apparatus, method of controlling the same, information processing system, and computer-readable memory | |
JP2002262288A (ja) | 画像データ送信装置および画像データ受信装置 | |
EP1710719B1 (en) | Image transmission method, computer-readable image transmission program, and image transmission apparatus | |
US6704452B1 (en) | Method, apparatus and recording medium for image decoding | |
JP2008505588A (ja) | ビデオデータ送信方法 | |
KR20060062016A (ko) | 고급화 이미지 전송 시스템 및 그 방법 | |
JP2005223407A (ja) | 画像処理装置及びプログラム | |
JP3961966B2 (ja) | 不要部除去装置、画像処理装置、プログラム、記憶媒体及び不要部除去方法 | |
Costa et al. | Quality evaluation and nonuniform compression of geometrically distorted images using the quadtree distortion map | |
Burnik et al. | Network optimisation for remote multimedia imaging applications | |
Rahmiati et al. | Distributed system for medical image transfer using wavelet-based dynamic RoI coding | |
Nystrom et al. | Multiple description image coding using regions of interest | |
JP2001251623A (ja) | 画像処理装置、表示装置、システム、それらの制御方法及び記憶媒体 |