JP2008516565A - モバイルイメージングアプリケーション、装置、アーキテクチャ及びサービスプラットホームアーキテクチャ - Google Patents

Abstract

移動装置の静止画像及びビデオ画像データを圧縮し及び圧縮解除する装置及び方法を提供する。対応する移動装置アーキテクチャ、無線及び有線ネットワーク上の静止画像及びビデオ画像を送信し、記憶し、編集し及びトランスコードするとともに静止画像及びビデオ画像が表示可能な装置で見られるサービスプラットホームアーキテクチャも提供する。

Description

関連出願

この出願は、２００４年１０月１２日に出願された発明の名称が「モバイルイメージングアプリケーション、装置アーキテクチャ及びサービスプラットホームアーキテクチャ」である米国特許出願第６０／６１８，５５８号の仮出願、２００４年１０月１３日に出願された発明の名称が「ビデオモニタリングアプリケーション、装置アーキテクチャ及びシステムアーキテクチャ」である米国特許出願第６０／６１８，９３８号の仮出願、及び２００５年２月１６日に出願された発明の名称が「モバイルイメージングアプリケーション、装置アーキテクチャ並びに装置プラットーホームアーキテクチャ及びサービス」である米国特許出願第６０／６５４，０５８号の仮出願の優先権を主張し、その各々を参照することによって全体をここに組み込む。

この出願は、２００４年９月１６日に出願されるとともに２００５年５月１９日に米国特許公開第２００５／０１０４７５２として公開された発明の名称が「マルチコーデック−イメージャシステム及び方法」である米国特許出願第１０／９４４，４３７号の一部継続出願、２００３年４月１７日に出願されるとともに２００３年１１月６日米国特許公開第２００３／０２０６５９７号として公開された発明の名称が「画像及びビデオトランスコーディング装置、方法及びコンピュータプログラム」である米国特許出願第１０／４１８，６４９号の一部継続出願、２００３年４月１７日に出願されるとともに２００３年１０月２３日に米国特許公開第２００３／０１９８３９５号として公開された発明の名称が「ウェーブレット変換装置、方法及びコンピュータプログラム」である米国特許出願第１０／４１８，３６３号の一部継続出願、２００３年５月２８日に出願されるとともに２００３年１２月１１日に米国特許公開第２００３／０２２９７７３号として公開された発明の名称が「並列プロセッサのパイル処理システム及び方法」である米国特許出願第１０／４４７，４５５号の一部継続出願、２００３年５月２８日に出願されるとともに２００３年１２月２５日に米国特許公開第２００３／０２３５３４０号として公開された発明の名称が「色度時間レート減少及び高品質休止システム及び方法」である米国特許出願第１０／４４７，５１４号の一部継続出願、２００４年９月２９日に出願されるとともに２００５年５月１９日に米国特許公開第２００５／０１０５６０９号として公開された発明の名称が「時間的に順番どおりでない圧縮及びマルチソース圧縮率制御の装置及び方法」である米国特許出願第１０／９５５，２４０号の一部継続出願、２００４年９月２１日に出願された仮出願第６０／６１２，３１１号の優先権を主張する２００５年９月２０日に出願された発明の名称が「可変サブバンド処理を行う圧縮率制御装置及び方法」であるべ国ク特許出願第 号（代理人整理番号７４１８９−２００３０１／ＵＳ）の一部継続出願、２００４年９月２２日に出願された仮出願第６０／６１２，６５２号の優先権を主張する２００５年９月２１日に出願された発明の名称が「マルチテクニックエントロピー符号化装置及び方法」である米国特許出願第 号（代理人整理番号７４１８９−２００４０１／ＵＳ）のＣＩＰ、及び２００４年９月２２日に出願された仮出願第６０／６１２，６５１号の優先権を主張する２００５年９月２１日に出願された発明の名称が「入替再構成」である米国特許出願第 号（代理人整理番号７４１８９−２００５０１／ＵＳ）のＣＩＰであり、その各々を参照することによって全体をここに組み込む。この出願は、２００４年１１月３０日に発行された発明の名称が「マルチコーデック−イメージャ装置及び方法」である米国特許第６，８２５，７８０号及び２００５年１月２５日に発行された発明の名称が「２進モノトニック（ＤＭ）コーデックの装置及び方法」である米国特許第６，８４７，３１７号も参照によって全体をここに取り込む。

本発明は、データ圧縮に関し、特に、移動装置の静止画像及びビデオ画像の記録、対応する移動装置アーキテクチャ、並びに、無線及び有線ネットワーク上の静止画像及びビデオ画像を送信し、記憶し、編集し及びトランスコーディングし、静止画像及びビデオ画像を観察し、かつ、ネットワークと装置との間でコーデックを分配し及び更新するサービスプラットホームアーキテクチャに関する。

直接デジタル化された静止画像及びビデオ画像は、大量のビットを必要とする。したがって、記憶、送信及び他の仕様のために静止画像及びビデオ画像を圧縮するのが一般的である。複数の基本的な圧縮方法及びこれら圧縮方法の非常に多くの変形が知られている。一般的な方法は、３段階のプロセス：変換、量子化及びエントロピー符号化によって特徴付けることができる。多数の画像及びビデオコンプレッサは、この基本的なアーキテクチャを様々な方法で共有する。

ビデオコンプレッサの変換段の目的は、画像又はシーケンスの局所的な類似及びパターンを利用することによってソース画像のエネルギー又は情報をできるだけコンパクトな形態にすることである。コンプレッサは、「典型的な」入力において良好に作用するように設計され、「ランダムな」又は「異常な」入力の圧縮のし損ないを無視することができる。ＭＰＥＧ−２やＭＰＥＧ４のような多数の画像圧縮及びビデオ圧縮方法は、変換段階として離散余弦変換（ＤＣＴ）を用いる。ＭＰＥＧ−４静止テクスチャ圧縮のような一部の新しい画像圧縮及びビデオ圧縮方法は、変換段階として種々のウェーブレット変換を用いる。

量子化は、典型的には変換段階後の情報を排除する。再構成された圧縮解除画像は、元の画像の正確な再生ではない。

エントロピー符号化は損失の多いステップである。このステップは、量子化後に残る情報を取り出し、通常はデコーダで正確に再生できるようにその情報を符号化する。したがって、変換段階及び量子化段階で除去する情報についての設計決定は、後のエントロピー符号化段階によって悪影響が及ぼされない。

ＤＣＴに基づくビデオ圧縮／圧縮解除（コーデック）技術の制約は、本来ビデオ放送及びストリーミングアプリケーションに対して開発されているため、非常に複雑なエンコーダがコンピュータワークステーション上で実行することができるスタジオ環境でのビデオコンテンツの符号化に依存する。そのような演算が複雑なエンコーダによって、演算が簡単であるとともに比較的廉価なデコーダ（プレーヤ）を顧客の再生装置にインストールすることができる。しかしながら、そのような非対称な符号化／復号技術は、ビデオメッセージをハンドセットそれ自体でリアルタイムで取得（符号化）するとともに再生することが所望される移動マルチメディア装置に対する整合性が悪い。その結果、移動装置の比較的低い演算機能及び比較的小さい電源のために、移動装置のビデオイメージは、典型的には他の市販の製品に比べて非常に小さい画像サイズ及び非常に低いフレーム速度に制限される。

本発明は、従来の圧縮技術の欠点に対する解決を示し、移動ハンドセット上で全ソフトウェア（又はハイブリッド）アプリケーションとして実現することができる非常に優れた演算効率の画像圧縮（コーデック）を適用し、これによって、ハンドセットアーキテクチャの複雑さ及びモバイルイメージングサービスプラットホームアーキテクチャの複雑さを減少する。本発明の全ソフトウェア又はハイブリッドビデオコーデックの解決の態様は、ベースバンドプロセッサ及びビデオアクセラレータのコスト及びマルチメディアハンドセットの要求を大幅に減少し又は除去する。ＯＴＡダウンロードを通じて製造後にコーデックをインストールする機能と組み合わせることによって、全ソフトウェアアプリケーション又はハイブリッドアプリケーションの本発明の解決は、ハンドセットの開発並びにビデオメッセージングサービスアーキテクチャ及びデプロイの複雑さ、リスク及びコストを大幅に減少する。さらに、本発明の態様によれば、ソフトウェアビデオトランスコーダによって、デプロイされたＭＭＳ制御（ＭＭＳＣ）の自動的なネットワーク越し（ＯＴＮ）アップグレード及び移動ハンドセットに対するコーデックのデプロイ又はアップグレードを可能にする。本発明のウェーブレットトランスコーダは、ウェーブレットビデオフォーマットと標準ベースの独自仕様のビデオフォーマットとの間で完全な相互運用性を有するキャリアを提供する。本発明の全ソフトウェア又はハイブリッドビデオプラットホームによって、従来技術では利用できない処理速度及びビデオ再生精度を利用する新たなＭＭＳサービスの迅速なデプロイを可能にする。本発明のウェーブレットコーデックは、静止画像とビデオ画像の両方を有効に処理する能力においても独自のものであり、したがって、個別のＭＰＥＧコーデック及びＪＰＥＧコーデックを、モバイル画像メール及びビデオメッセージングサービス並びに他のサービスを同時にサポートすることができる単一の低コストかつ低電力の解決に置き換えることができる。

ウェーブレットに基づく画像処理
ウェーブレット変換は、１次元以上のデータのセットに対するウェーブレットフィルタ対の繰返しアプリケーションを具える。静止画像圧縮に対して、２次元ウェーブレット変換（水平及び垂直）を利用することができる。ビデオコーデックは３次元ウェーブレット変換（水平、垂直及び時間）を用いることができる。向上した対称な３次元ウェーブレットに基づくビデオ圧縮／圧縮解除（コーデック）装置は、移動装置における演算の複雑さ及び消費電力をＤＣＴに基づくコーデックに要求される場合よりも下に減少するとともに単一のコーデックにおいて静止画像及びビデオ画像を処理する際の同時のサポートを可能にすることが望ましい。単一のコーデックにおける静止画像及びビデオ画像のそのような同時のサポートは、個別のＭＰＥＧ（ビデオ）及びＪＰＥＧ（静止画像）に対する必要を除去し、圧縮パフォーマンス、したがって、格納効率をモーションＪＰＥＧコーデックに比べて大幅に向上する。

モバイルイメージメッセージング
本発明の態様によれば、モバイルハンドセット及びサービスの分野において、コンテンツの更なる増大、より大きなバンド幅の利用、及びモバイルサービスプロバイダに対する月間電気通信事業収入（ＡＲＰＵ）の著しい増大を容易にする。モバイルマルチメディアサービス（ＭＭＳ）は、テキストに基づくショートメッセージサービスのマルチメディア展開である。本発明の態様は、新たなＭＭＳアプリケーションを容易にする。その新たなアプリケーションは、ビデオメッセージングである。本発明によるビデオメッセージングは、ターゲットとなる消費者の個人情報との通信の必要に応答する非常に向上したシステムを提供する。そのようなモバイルイメージメッセージングは、デジタルカメラ機能（静止画像）及び／又はカムコーダ機能（ビデオ画像）をモバイルハンドセットに追加することを要求し、その結果、加入者は、加入者が送信を所望するビデオメッセージを取得（符号化）するとともに加入者が受信するビデオメッセージを再生（復号）することができる。

一部のモバイルイメージメッセージングサービス及びアプリケーションが現存する間、これらは、典型的にはＴＶ、パーソナルコンピュータ、デジタルビデオカムコーダ等の他のマルチメディア装置（図１参照）で取得され及び表示される場合に比べて著しく小さいサイズで低フレーム速度のビデオ画像を取得し及び送信する際に制約が課される。図１に示すように、最小の現在のフォーマットＳｕｂＱＣＩＦ１１０（ＳｕｂＱ共通中間フォーマット）は、１２８画素（画像素子）幅×９６画素高であり、ＱＱＶＧＡ１２０（ＱＱベクトルグラフィックスアレイ）は、１６０×１２０画素であり、ＱＣＩＦ１３０は、１７６×１４４画素であり、ＱＶＧＡ１４０は、３２０×２４０画素であり、ＣＩＦ１５０は、３５２×２８８画素であり、ＶＧＡ１６０は、６４０×４８０画素であり、最大の現代のフォーマットであるＤ１／ＨＤＴＶ（高精細テレビジョン）は、７２０×４８０画素である。（本発明の態様によって設けられ及び可能になる）３０ｆｐｓ以上のフレーム速度のＶＧＡ（又はそれより大きい）ビデオをサポートすることができるモバイルイメージメッセージングサービスが非常に好ましい。

適合性ジョイントソース−チャネルコーディング
モバイルネットワーク上でのビデオ送信は、典型的にはテキスト、オーディオ、静止画像等の他のデータ／メディアタイプの送信に比べて高いデータ速度が要求されるために実際に取り組まれている。さらに、モバイルネットワークの雑音及び誤り特性の変動に従う制限された変動するチャネルバンド幅は、ビデオ転送に更なる制約及び困難を与える。本発明の態様によれば、ビデオビットストリームを種々のチャネル状態に適合するために種々のジョイントソース−チャネルコーディング儀中とを適用することができる（図２参照）。さらに、本発明のジョイントソース−チャネルコーディング手法は、変動するチャネルバンド幅及び誤り特性に適合するよう格調可能である。さらに、それは、マルチキャストシナリオに対する拡張可能性をサポートし、この場合、ビデオストリームの受信帯の種々の装置は、復号演算能力及び表示機能に種々の制約を課すことができる。

図２に示すように、本発明の態様によれば、ソースビデオシーケンス２１０は、誤り訂正コード（ＥＣＣ）チャネルコーディング２３０が続くソースエンコーダ２２０によって第１のソース符号化（すなわち、圧縮）が行われる。従来のモバイルネットワークにおいて、ソース符号化は、典型的には、Ｈ．２６３，ＭＰＥＧ−４、モーションＪＰＥＧ等のＤＣＴに基づく圧縮技術を用いる。そのような符号化技術を、ソースエンコーダで実行される圧縮の程度のリアルタイムの調整を行う本発明のような調整を行うことができない。本発明のこの態様は、ビデオが取得され、符号化され及び通信ネットワークを通じてリアルタイムまたはほぼリアルタイムで送信するときに（ビデオが取得され、符号化され及び後の送信のために格納される場合に比べて）非常に有利である。チャネル符号化方法の例は、ロードソロモン符号、ＦＥＣ符号及びターボ符号である。その後、ジョイントソース及びチャネル符号化ビデオビットストリームは、最適な再構成ビデオ品質を達成する間にチャネルバンド幅要求に整合するためにレートコントローラ２４０を通過する。レートコントローラ２４０は、チャネル２６０上での送信のためにビデオビットストリーム２５０を送り出す前に圧縮ビデオビットストリーム上で個別のレート−歪み演算を行う。移動装置の演算能力の制限のために、典型的なレートコントローラは、利用できるチャネル幅のみを考察し、送信チャネルの誤り特性を全く考慮しない。本発明の態様によれば、ソースエンコーダは、１〜５％及び１〜１０％の小さい圧縮比の変動を達成するよう圧縮を調整する機能を有する。これは、一つ以上のビデオ画像のデータを共に表すデータの個別のサブバンドに変動した圧縮率が適用されるときに特に有効である。

復号中、図２Ｂに示すように、ジョイントソース−チャネル符号化ビットストリーム２５０は、チャネル２６０で受信されるとともに、ステップ２７０でＥＣＣチャネル復号され、ステップ２８０でソース復号され、再構成されたビデオをステップ２９０で表示する。

本発明は、更に高い演算効率を有するアルゴリズムに基づく向上した適合性ジョイントソース−チャネルコーディングを提供し、その結果、瞬時の予測できるチャネルバンド幅及び誤り状態をソースコーダ２２０、チャネルコーダ２３０及びレートコントローラ２４０の全てで利用して、再構成されたビデオ信号の瞬時の平均品質（歪みに対するビデオ速度）の制御を最大にする。

本発明によって提供される向上した適合性ジョイントソース−チャネルコーディング技術によって、無線キャリア及びＭＭＳサービスプロバイダは、更に広い範囲のサービスの品質（ＱｏＳ）のパフォーマンス並びに顧客及び企業顧客に対する価格レベルを提供することができ、したがって、無線ネットワークインフラストラクチャを用いて発生した収入を最大にする。

マルチキャストシナリオは、多数のユーザによって復号することができる単一の適合性ビデオビットストリームを必要とする。これは、現在の大規模のハイブリッドネットワークにおいて特に重要であり、この場合、ネットワークのバンド幅の制約によって、各ユーザに対して調整される複数の同時のビデオ信号の送信ができなくなる。単一の適合性ビデオビットストリームの同時送信によって帯域幅の要求が大幅に減少するが、複数のユーザに対して復号可能なビデオビットストリームを発生する必要があり、これらのユーザは、ブロードバンド無線又は有線接続を有するハイエンドユーザと、制限されたバンド幅及び誤りが生じやすい接続を有する無線電話ユーザとを含む。移動装置の演算能力のために、適合性レートコントローラの精度は、典型的には非常に粗く、例えば、ベース層及び一つのエンハンスメント層を有する２層ビットストリームのみ生成する。

高い演算効率を有するアルゴリズムに基づく本発明の向上した適合性ジョイントソースチャネルコーディングによる他の利点は、チャネルタイプ（無線及び有線）、チャネルバンド幅、チャネル雑音／誤り特性、ユーザ装置及びユーザサービスに関する非常に高いレベルのネットワークハイブリッドをサポートすることができる

モバイルイメージングハンドセットアーキテクチャ
図３を参照すると、デジタルカムコーダ機能を移動ハンドセットに追加することは、ハードウェア、ソフトウェア又はこれらの組合せとして以下の機能を伴うことがある。
・ 対応するプリアンプ及びアナログ−デジタル（Ａ／Ｄ）信号変換回路を有するイメージャアレイ３１０（典型的にはＣＭＯＳ又はＣＣＤ画素のアレイ）
・ 予処理、符号化／復号（コーデック）、後処理のような画像処理機能３１２
・ 無線又は有線ネットワーク上でのリアルタイムでない送信又はリアルタイムのストリーミングに対して処理された画像のバッファリング３１４
・ タッチスクリーン３１６及び／又はカラーディスプレイ３１８のような一つ以上の画像表示スクリーン
・ ビルトインメモリ３２０又は取外し可能なメモリ３２２のローカル画像記憶

ＭＰＥＧ−４のようなＤＣＴ変換に基づくコーデックを用いると、市販されている画像処理が可能な移動ハンドセットは、典型的にはＴＶ、パーソナルコンピュータ、デジタルビデオカムコーダ等の他のマルチメディア装置で取得され及び表示される場合に比べて小さいサイズかつ小さいフレーム速度のビデオ画像の取得に制限される。他のマルチメディア装置は、典型的にはＶＧＡフォーマット（６４０×４８０画素）以上のビデオ画像を３０フレーム／秒（ｆｐｓ）以上の表示速度でビデオ画像を取得／表示し、それに対して、市販されている画像処理が可能な移動ハンドセットは、ＱＣＩＦフォーマット（１７６×１４４画素）以下のビデオ画像を１５ｆｐｓ以下の表示速度での取得に制限される。このように減少されたビデオ取得機能は、過度のプロセッサ電力消費と、ＤＣＴ変換を用いたビデオ圧縮／圧縮解除に関連した演算ステップの数、タイプ及びシーケンスを達成するのに要求されるバッファメモリとにある。市販されている移動ハンドセットにおいてこのようにビデオ取得機能を減少した場合でさえも、圧縮及び圧縮解除を行うためにハンドセットハードウェアに特別に設計した集積回路チップを組み込む必要がある。

市販されているビデオコーデック及びマイクロプロセッサ技術を用いることによって、非常に複雑であり、電力が不足し、かつ、３０ｆｐｓ以上のフレーム速度でＶＧＡ（又はそれより大きい）ビデオを取得することを試みる移動イメージングハンドセットに対する長い設計及び製造準備時間を伴う高価なアーキテクチャとなる。そのようなハンドセットアーキテクチャは、（典型的には１メガバイト以上の記憶容量の）大容量のバッファメモリブロック３１４を伴う減少した命令セット（ＲＩＳＣ）プロセッサ３２４、デジタル信号プロセッサ（ＤＳＰ）３２６、アプリケーション特有の集積回路（ＡＳＩＣ）３２８及び再構成可能な処理装置（ＲＰＤ）３３０の組合せ上で実行するソフトウェアプログラム及びハードウェアアクセラレータの組合せを利用するコーデックを必要とする。これらコーデック機能を、そのようなＲＩＳＣプロセッサ３２４，ＰＤＳ３２６，ＡＳＩＣ３２８及びＲＰＤ３３０を個別の集積回路（ＩＣ）として実現することができ、又は互いに統合されたＲＩＳＣプロセッサ３２４，ＰＤＳ３２６，ＡＳＩＣ３２８及びＲＰＤ３３０のうちの少なくとも一つ以上をシステムインパッケージ（ＳＩＰ）又はシステムオンチップ（ＳｏＣ）で結合することができる。

上記ハードウェアと共にＲＩＳＣプロセッサ３２４又はＤＰＳ３２６を実行するコーデック機能をソフトウェアルーチンとすることができ、これによって、誤り又は更新機能を訂正するためにコーデック機能を変更することができる。所定の複雑な繰返しコーデック機能をソフトウェアとして実現する不都合は、結果として生じる全体に亘るプロセッサリソース及び電力消費の要求が典型的には移動通信装置で利用できるものを超えることである。ＡＳＩＣ３２８を実行するコーデック機能は、典型的には、複雑な繰返し演算ステップを行う固定されたハードウェアで実現され、これによって、特別に調整されたハードウェアアクセラレーションがコーデックの全体に亘る電力消費を十分に減少するという利点を有する。所定のコーデック機能を固定されたハードウェアで実現する不都合は、長くて更に複雑な設計サイクル、固定されたシリコンで実現する際に誤りを見つけた場合における高価な製品のリコールのおそれ、及び新たに開発した特徴をイメージングアプリケーションに追加する場合に固定されたシリコンの機能を更新できないことを伴う。ＲＰＤ３３０で実行するコーデック機能は、ハードウェアアクセラレーション及び典型的には移動イメージングハンドセット製品の機能を追加し又は修正することができる機能の両方を要求するルーチンである。所定のコーデック機能をＲＰＤ３３０上で実現する際の不都合は、多数のシリコンゲートと、ハードウェア再構成可能性をサポートするのに要求される電力消費が固定ＡＳＩＣ３２８の実現に比べて高くなることである。

本発明のある態様によって構成されたイメージングアプリケーションは、移動イメージングハンドセットがＶＧＡ１６０（又はそれより大きい）ビデオを全ソフトウェアキテクチャによる３０ｆｐｓのフレーム速度で取得できるように複雑な繰返しコーデック機能を減少し又は除去する。この配置は、上記アーキテクチャを簡単にし、大容量の市販の展開に適合したハンドセットコストを可能にする。

新たなマルチメディアハンドセットは、画像及びビデオメッセージング機能だけでなく多様な追加のマルチメディア機能（音声、音楽、グラフィックス）及び無線アクセスモード（２．５Ｇ及び３Ｇセルラーアクセス、無線ＬＡＮ、ブルートゥース、ＧＰＳ等）をサポートすることが要求されることもある。そのような製品の開発、展開及びサポートに伴う複雑さ及びリスクによって、新たに収入が生じるサービス及びアプリケーションを有効に展開するとともにコストがかかる製品のリコールを回避するために、多数の機能及びアプリケーションの無線（ＯＴＡ）分配及び管理が非常に望ましい。本発明の態様によって設けられた全ソフトウェアイメージングアプリケーションによって、移動オペレータによるイメージングアプリケーションのＯＴＡ分配及び管理を可能にする。

移動Ｊａｖａ（登録商標）アプリケーション
Ｊａｖａ（登録商標）技術によって、一つの言語及び一つの技術の下でサーバからデスクトップ及び移動装置までの広い範囲の装置をもたらす。この範囲の装置のアプリケーションが互いに相違する間、Ｊａｖａ（登録商標）技術は、考慮する違いを埋めるように機能し、これによって、この分野の開発者は、装置及びアプリケーションの範囲の技術を利用することができる。

１９９９年６月にサンマイクロシステムによってＪａｖａ（登録商標）コミュニティーに最初に導入されたもの（Ｊａｖａ（登録商標）２，Ｍｉｃｒｏ Ｅｄｉｔｉｏｎ）は、Ｊａｖａ（登録商標）開発者の様々な必要に良好に適合する広いイニシアティブの一部であった。Ｊａｖａ（登録商標）２（登録商標）プラットホームによって、サンマイクロシステムは、Ｊａｖａ（登録商標）技術のアーキテクチャを再定義し、三つのエディションに分類した。標準的なエディション（Ｊ２ＳＥ）は、デスクトップ開発及び低価格のビジネスアプリケーションに対して実用的な解決を提供した。エンタープライズエディション（Ｊ２ＥＥ）は、エンタープライズ環境のアプリケーションにおいて特殊化する開発者に対するものであった。マイクロエディション（Ｊ２ＭＥ）は、ＰＤＡ，セルホン、ページャ、テレビジョンセットトップボックス、リモートテレメトリユニット及び他の市販の電子的な内臓装置のような制限されたハードウェアリソースを有する装置を走査する開発者に対して導入された。

Ｊ２ＭＥは、１２８キロビットのＲＡＭと典型的なデスクトップ及びサーバマシンで用いられる場合に比べて著しく低い電力のプロセッサとを有するマシンに対するものである。Ｊ２ＭＥは、実際にはプロファイルのセットからなる。各プロファイルは、特定のタイプの装置−セルホン、ＰＤＡ等に対して規定され、特定のタイプの装置に要求される分類ライブラリ及び装置をサポートするのに要求されるＪａｖａ（登録商標）仮想マシンの仕様からなる。あらゆるＪ２ＭＥプロファイルで特定される仮想マシンは、必ずしもＪａｖａ（登録商標）２スタンダードエディション（Ｊ２ＳＥ）及びＪａｖａ（登録商標）２エンタープライズエディション（Ｊ２ＥＥ）と同一でない。

上記装置の全てに対して最適又はほぼ最適な単一のＪ２ＭＥ技術を規定するのは容易でない。プロセッサ電力、メモリ、記憶の持続性及びユーザインタフェースの差は、非常に厳格である。この問題を指摘するために、サンマイクロは、Ｊ２ＭＥに適した装置の規定をセクションに分割し及び細分した。第１のスライスによって、サンマイクロは、処理電力、メモリ及び記憶機能に基づくが使用意図を無視して二つの広いカテゴリーに分類した。その後、サンマイクロは、少なくとも最小のＪａｖａ（登録商標）機能をもたらしながら各カテゴリーの装置の制約内で作業するＪａｖａ（登録商標）言語の必要最小限のものを装備したバージョンを規定した。

次に、サンマイクロは、同様な役割を有する装置の分類をこれら二つのカテゴリーの各々で識別し、したがって、例えば、全てのセルホンは、製造者に関係なく一つの分類内にある。Ｊａｖａ（登録商標）コミュニティプロセス（ＪＣＰ）のパートナーの助けによって、サンマイクロは、各垂直スライスに特有の他の機能を再規定した。

第１部門は、二つのＪ２ＭＥ形態：接続装置形態（ＣＤＣ）及び接続正弦装置形態（ＣＬＤＣ）を形成した。形態は、Ｊａｖａ（登録商標）仮想マシン（ＪＶＭ）であり、装置の選択群に対して実行時間環境を提供する分類ライブラリ及びＡＰＩの最小セットである。形態は、Ｊａｖａ（登録商標）言語の最小共通特徴サブセットを特定し、その一つは、開発された装置のファミリーによって貸されるリソース制約内で適合する。ユーザインタフェース、機能及び使用間で大きな多様性があるので、形態内でさえも、典型的な形態は、ユーザインタフェースツールキットや持続する記憶のＡＰＩのような重要な種類を定義しない。属する機能の規定は、プロファイルとも称される。

Ｊ２ＭＥプロファイルは、ページャやセルホンのような装置の特定の分類を指定することを意図する産業主導型群によって特定されるＪａｖａ（登録商標）ＡＰＩのセットである。各プロファイルは、その形態によって設けられるＪａｖａ（登録商標）言語の最小共通特徴サブセットのトップに組み込まれ、その形態を補助するよう意図される。移動ハンドセット装置に重要な二つのプロファイルは、ＣＤＣを補助する基礎プロファイルと、ＣＬＤＣを補助する移動情報装置プロファイル（ＭＩＤＰ）とである。更なるプロファイルが進行中であり、使用及び基準の実現をすぐに明らかにする必要がある。

無線産業用のＪａｖａ（登録商標）技術（ＪＴＷＩ）仕様ＪＳＲ１８５は、移動電話を可能にするＪａｖａ（登録商標）の次の発生に対する業界標準プラットホームを規定する。ＪＴＷＩは、移動装置製造者、無線キャリア及びソフトウェアベンダーを指導する専門家グループによるＪａｖａ（登録商標）コミュニティプロセス（ＪＣＰ）を通じて規定される。ＪＴＷＩは、ＪＴＷＩに適合した装置：ＣＬＤＣ１．０（ＪＳＲ３０），ＭＩＤＰ２．０（ＪＳＲ１１８）及びＷＭＡ１．１（ＪＳＲ１２０）並びに適用できる場合のＣＬＤＣ１．１（ＪＲＳ１３９）及びＭＭＡＰＩ（ＪＳＲ１３５）に含める必要がある技術を特定する。移動マルチメディア装置に対する技術及びインタフェースを規定する他の二つのＪＴＷＩしようは、ＪＳＲ−１３５（「移動メディアＡＰＩ」）及びＪＳＲ−２３４（「向上したマルチメディア補助」）である。

ＪＴＷＩ仕様は、ＡＰＩフラグメンテーションを最小にするとともに移動電話に対して既に開発されたアプリケーションのベースを十分広げながら大容量装置の機能のバーを上げる。ＪＴＷＩの利点は、以下のものを含む。

・ 相互運用性：この目的は、アプリケーション開発者に予測可能な環境を提供するとともに装置製造者に提供可能な機能のセットを提供することである。ＪＴＷＩ基準を採用することによって、製造者は、広範囲の互換性のあるアプリケーションから大きな利益を得るとともに、ソフトウェア開発者は、アプリケーションをサポートする広範囲の装置から大きな利益を得る。

・ セキュリティ仕様の説明：ＪＳＲ１８５仕様は、ＭＩＤＰ２．０仕様で規定された「ＧＳＭ／ＵＭＴＳ適合装置に対して推奨されたセキュリティポリシー」に対して信頼性のないアプリケーションの複数の説明を導入する。それは、ＭＩＤＰ２．０で規定したベースＭＩＤｌｌｅｔスイートセキュリティフレームワークを与える。

・ ロードマップ：ＪＴＷＩ仕様の主要な特徴はロードマップであり、それは、ソフトウェア開発者がＪＴＷＩ適合装置で予測することができる共通機能の概要である。２００３年１月において、一連のロードマップが６〜９ヶ月間隔で出現すると予測され、これは、移動電話の展開に一致する他の機能を説明する。ロードマップによって、全ての関係者は更に信頼性のある将来を計画することができ、キャリアは、アプリケーションデプロイ手法を更に良好に計画することができ、装置製造者は、製造計画を更に良好に決定することができ、コンテンツ開発者は、アプリケーション開発の努力の跡を更に明確に見ることができる。特に、キャリアは、内在する無線／ネットワーク機能をウイルス、ワーム及び現在公衆のインターネットにはびこる(plaque)他の「攻撃」のようなセキュリティ破壊を除去／防止するためにＪａｖａ（登録商標）ＶＭに依存する。

本発明の態様によれば、既に説明したイメージングアプリケーションを、全てのＪａｖａ（登録商標）可能なハンドセット間の「一度書けばどこででも走る」ポータビリティ、ウイルス、ワーム及び他の移動ネットワークセキュリティ「攻撃」に対するＪＡＶＡ（登録商標）ＶＭセキュリティ及びハンドセット／ネットワークロバストネス、並びに簡単化したＯＴＡコーデックダウンロード手順を許容するためにＪａｖａ（登録商標）に基づく。他の態様によれば、Ｊａｖａ（登録商標）に基づくイメージングアプリケーションは、ＪＴＷＩ仕様ＪＳＴ−１３５（「移動メディアＡＰＩ」）及びＪＳＲ−２３４（「向上したマルチメディア補助」）に従う。

モバイルイメージングサービスプラットホームアーキテクチャ
モバイルイメージングサービスプラットホームアーキテクチャの構成要素は、以下のものを有する（図４参照）。
・ 移動ハンドセット４１０
・ 移動基地局（ＢＳＴ）４１２
・ 基地局コントローラ／無線ネットワークコントローラ（ＢＣＳ／ＲＮＣ）４１４
・ 移動通信交換機（ＭＳＣ）４１６
・ ゲートウェイサービスノード（ＧＳＮ）４１８
・ 移動マルチメディアサービスコントローラ（ＭＭＳＣ）４２０
ＭＭＳＣに含まれる典型的な機能は、以下の通りである（図４参照）。
・ ビデオゲートウェイ４２２
・ 通信接続サーバ４２４
・ ＭＭＳアプリケーションサーバ４２６
・ 記憶サーバ４２８

ＭＭＳＣ４２０のビデオゲートウェイ４２２は、イメージングサービスプラットホームによってサポートされる種々のビデオフォーマット間でトランスコードを行う役割を果たす。移動電話ネットワークで用いられる種々の音声コーデックをサポートするためにも無線オペレータによってトランスコーディングが用いられ、対応する音声トランスコーダがＲＮＣ４１４に統合される。図４に示すアーキテクチャを有するモバイルイメージングサービスプラットホームを用いることは、新たなハンドセット４１０のデプロイを伴い、新たなハードウェアがマニュアルによってＭＭＳＣ４２０ビデオゲートウェイ４２２に追加される。

本発明の態様によって構成された全ソフトウェアモバイルイメージングアプリケーションサービスプラットホームは、デプロイされたハンドセットの自動的なＯＴＡアップグレード及びデプロイされたＭＭＳＣ４２０の自動的なＯＴＮアップグレードをサポートする。既に説明したようなモバイルハンドセットイメージングアプリケーションのＪａｖａ（登録商標）による実現は、ウイルス、ワーム及び他の「攻撃」に対する向上したハンドセット／ネットワークロバストネスを提供し、移動ネットワークオペレータは、国内規制によって要求されるサービスの品質及び信頼性を提供することができる。

モバイルビデオメッセージングサービスのデプロイを意図すると、現在のビデオ圧縮技術に関する基本的な制約が課される。一方では、そのような移動ビデオサービスは、ホームシネマ品質の放送−３０フレーム／秒のＶＧＡ１６０のようなフルサイズの画像フォーマットを有するビデオを提供する市場で開始される。それに対して、元々放送アプリケーション及びストリーミングアプリケーションに対して開発された現存するビデオ技術を用いる大容量のデータの処理は、移動ハンドセット４１０におけるリアルタイムのビデオ取得（符号化）に対して利用できる演算リソース及びバッテリ電力を超える。放送アプリケーション及びストリーミングアプリケーションは、スタジオ環境のビデオコンテンツの符号化に依存し、この場合、非常に複雑なエンコーダをコンピュータワークステーション上で実行することができる。ビデオメッセージをハンドセットそれ自体でリアルタイムに取得する必要があるので、ビデオメッセージは、非常に小さいサイズ及び非常に低いフレーム速度に制限される。

その結果、今日のモバイルビデオイメージングサービスは未発達である。画像は、機能をビデオホンに置き換えると加入者がデジタルカムコーダから予測される場合に比べて小さく（ＳＣＩＦ１３０）及び途切れがち（１０ｆｓｐ）である。今日移動加入者に提供される未発達なビデオ画像品質は、産業のライフスタイルの広告において形成される鮮明な高精彩ビデオにはるかに及ばない。移動加入者は、カムコーダホン及び関連のモバイルビデオメッセージングサービスを採用するとともに特別な支払いを行う前に（カムコーダのような）十分なＶＧＡ１６０，３０ｆｐｓパフォーマンスを要求する。不安定な２．５Ｇ及び３Ｇビジネスモデルによって、無線オペレータは、上記問題に対する実現可能な解決をしきりに求めている。

非常に高価で時間を浪費する開発プログラムの後でさえも、競合するビデオコーデックプロバイダは、ＶＧＡ１３０及び３０ｆｐｓのパフォーマンスに対して複雑なハイブリッドソフトウェアコーデック及びハードウェアアクセラレータの解決しか提供できないままであり、全体的なコスト及び電力消費は、市販の要求及び技術能力をはるかに超えている。したがって、ハンドセットは、小さい途切れがちな画像又は高価な小電力のアーキテクチャに制限される。サービス展開は非常に高価なものとなり、サービスの品質は非常に低いため、大量市場は不可能である。

ＭＭＳＣインフラストラクチャ４２０のアップグレーデングも、新たなハードウェアが要求される場合にはコストが高くなる。全ソフトウェアＡＳＰプラットホームは、ハンドセットの自動的なＯＴＡアップグレード及びＭＭＳＣ４２０のビデオゲートウェイ４２２のＯＴＮアップグレードを可能にするために好適である。

向上したウェーブレットに基づく画像処理
本発明の一態様によれば、ＤＣＴに基づくコーデック４２０ように演算の複雑さが著しく少ないビデオ圧縮／圧縮解除（コーデック）装置４１０を設計するために３次元ウェーブレット変換を用いることができる（図５参照）。色復元及び復調４３０、メモリ４５０、動き予測４６０、時間変換４７０、並びに量子化、レート制御及びエントロピー符号化４８０のような処理に用いられる処理リソースを、本発明の態様による３次元ウェーブレットコーデックを用いることによって著しく減少することができる。ウェーブレット変換段のアプリケーションによって、演算の複雑さが非常に少ない量子化段及びエントロピー符号化段の設計を可能にする。モバイルイメージングアプリケーション、装置及びサービスに対して開発された本発明の態様による３次元ウェーブレットコーデック４１０の他の利点は、以下の通りである。
・ 対称な複雑さの少ないビデオ符号化及び復号
・ ソフトウェア及びハードウェアコーデックの実現に対する低いプロセッサ電力の要求
・ 現存する市販の移動ハンドセットとの互換性を有するプロセッサ要求を有する３０ｆｐｓ（又はそれ以上の）フレーム速度のＶＧＡ１６０（又はそれ以上の）ビデオの本来のコード及びＪａｖａ（登録商標）アプリケーションとしての全ソフトウェア符号化及び復号
・ ＳｏＣ統合に対する低いゲートカウントＡＳＩＣコア
・ 低いバッファメモリ要求
・ 静止画像（〜ＪＰＥＧ）及びビデオ（〜ＭＰＥＧ）の単一コーデックでのサポート
・ 短い画像群（ＧＯＰ）による簡単なビデオ編集（カット、挿入、テキストオーバーレイ）
・ 短いＧＯＰによる簡単な音声コーデックの同期
・ 短いＧＯＰによる、強められたビデオストリーミングに対する短いレイテンシー
・ 適合性レート制御、マルチキャスティング及びジョイントソース−チャネルコーディングに対する高精度の拡張性
・ ＨＤＴＶビデオフォーマットを現すための複雑さの少ないパフォーマンススケーリング

本発明の態様によれば、上記利点を、以下のような技術の特有の組合せによって達成する。

リフティング構造において短い２進整数のフィルタ係数を用いるウェーブレット変換、例えば、ハール、２−６及び５−３ウェーブレット並びにその変更を用いることができる。これらは、加算、減算及び小さい固定シフトのみを使用し、乗算又は浮動小数点操作を必要としない。

リフティング形態演算：上記フィルタを、インプレース演算を行うことができるリフティング形態を用いて好適に演算することができる。リフティング形態の完全な説明を、Sweldens, Wim, The Lifting Scheme: A costom-design construction of biorthogonal wavelets. Appl. Comput. Harmon. Anal. 3(2): 186-200, 1996で見つけることができ、参照することによってここに組み込む。このアプリケーションでリフティング形態を実現すると、レジスタの使用及び一時的なＲＡＭ配置を最小にし、キャッシュを非常に有効に用いるための局所的な基準を保持する。

カスタマイズされたピラミッド構造を有するピラミッド形態のウェーブレット変換：ウェーブレット変換シーケンスの各レベルを、以前のウェーブレットレベルに起因するデータの半分で好適に演算することができ、したがって、全体の演算は、レベル数にほとんど依存しない。上記リフティング形態の利点を利用するとともにレジスタの使用及びキャッシュメモリのバンド幅を節約するためにピラミッドをカスタマイズすることができる。

ブロック構造：大抵のウェーブレット圧縮の実現に対して、画像を好適に矩形ブロックに分割することができ、各ブロックは、互いに個別に処理される。これによって、メモリ基準を局所的に保持することができ、全体の変換ピラミッドを、プロセッサキャッシュに存在したままであるデータを用いて処理することができ、大抵のプロセッサ内での多くのデータ移動を省略することができる。ブロック構造は、信号フロー中の多くの中間記憶量の要求を回避するのでハードウェアの実現において特に重要である。

ブロック境界フィルタ：２００３年４月１７日に出願されるとともに２００３／０１９８３９５として公開された発明の名称が「ウェーブレット変換装置、方法及びコンピュータプログラム」である出願人の米国特許出願第１０／４１８，３６３号明細書に記載されたように、変更されたフィルタ演算を、先鋭なアーティファクトを回避するために各ブロックの境界で好適に用いられ、参照によって全体がここに組み込まれる。

色度の一時的な除去：所定の実施の形態において、各フィールドに対する色度差信号の処理を回避することができ、代わりにＧＯＰに対する色度の単一フィールドを用いる。これは、２００３年５月２８日に出願されるとともに２００３／０２３５３４０として公開された発明の名称が「色度の一時的な速度減少並びに高品質休止装置及び方法」である出願人の米国特許出願第１０／４４７，５１４号明細書に記載されており、この明細書は、参照によって全体がここに組み込まれる。

３次元ウェーブレットを用いる一時的な圧縮：所定の実施の形態において、ＭＰＥＧのような従来の圧縮方法の非常に演算量の多い動き探索操作及び動き保証操作を用いない。代わりに、フィールド間の時間ウェーブレット変換を演算することができる。これは、演算量が著しく少ない。ここでは、リフティング形態を有する短い整数不利田の使用も公的である。

２進量子化：所定の実施の形態において、圧縮処理の量子化ステップを、係数位置の範囲全体に亘る一様な２進シフト動作を用いて完了する。これは、従来の量子化によって要求されるサンプルごとの乗算又は除算を回避する。

ピリング：所定の実施の形態において、エントロピーコーダによって処理されるデータ量は、最初に零の実行(run-of-zero)変換を行うことによって減少する。好適には、２０３年５月２８日に出願されるとともに２００３／０２２９７７３として公開された発明の名称が「パイル処理システム及び並列プロセッサ用の方法」である出願人の米国特許出願第１０／４４７，４５５号に記載されたような並列処理アーキテクチャ上の零の実行を計数する方法を使用し、この明細書は、参照することによってここに組み込まれる。大抵の現在の処理プラットホームは、このようにして利用することができる並列機能を有する。

サイクル−有効エントロピー符号化：所定の実施の形態において、圧縮プロセスのエントロピー符号化ステップを、従来のルックアップテーブルを入力シンボルの直接の演算に組み合わせる技術を用いて行う。ソース静止画像又はビデオのシンボル分布を特徴付けることによって、そのような簡単なエントロピーコーダがGolomb-Riceコーダ, exp-Golombコーダ又は２進モノトニックコーダとして用いられる。エントロピーコーダの選択の詳細はしばしば、プロセッサプラットホーム機能に応じて変化する。Golomb-Riceコーダ及びexp-Golumbコーダの詳細は、Golomb, S.W.(1996), “Run-length encodings”, IEEE Transactions on Information Tehory, IT--12(3):399-401; R.F. Rice, “Some Practical Universal Noiseless Coding techniques,” Jet Propulsion Laboratory, Pasadena, California, JPL Publication 79-22, Mar. 1979及び（用語”exp-Golomb”が導入された）J. Teuhola, “A Compression Method for Clustered Bit-Vectors”, Information Processing Letters, Vol. 7, pp. 308-311, October 1978に記載されている。２進モノトニックコーダは、２００５年１月２５日に発行された発明の名称が「２進モノトニック（ＤＭ）コーデックのシステム及び方法」である出願人の米国特許第６，８４７，３１７号記載されている。上記文献の各々は、参照によって全体がここに組み込まれる。

レート制御
圧縮量、生成した出力ビットレートを調整する方法の一つは、演算の量子化段階で処分される情報量を変更することである。量子化は、予め選択された番号である「量子化パラメータ」によって各係数を乗算するとともに除算の余りを処分することによって通常通りに行われる。したがって、係数値の範囲は、同一の値すなわち除算の商によって表される。

圧縮画像又はＧＯＰが圧縮解除されると、逆量子化処理工程によって、商に（既知の）量子化パラメータが乗算される。これによって、更なる計算のために係数を元の大きさの範囲に復元する。

しかしながら、除算（すなわち実質的には乗算）は、消費される電力及び時間に関して多数の実現の際にハードウェアコストが高くなる。量子化動作は、各係数に適用され、通常、入力画素と同数の係数が存在する。

他の方法において、除算（すなわち乗算）の代わりに、量子化を２の乗数の除数に制限する。これは、２進数のビットシフト動作によって実現できるという利点を有する。シフトは、多数の実現において非常に廉価な動作となる。一例は、集積回路（ＦＰＧＡ又はＡＳＩＣ）である。乗算回路は非常に大きいが、シフト回路は著しく小さい。また、多数のコンピュータにおいて、乗算は、シフト動作と比べた場合、完了するのに長時間を要し又は実行の際に並列処理が少なくなる。

シフト動作による量子化が演算の際に非常に有効であるが、一部の目的に対して不都合を有する。シフト動作による量子化は、圧縮レート（出力ビットレート）の粗い調整しか行うことができない。本発明の態様によれば、あり得る最小量＋１又は−１による量子化シフトパラメータの変更によって結果として生じるビットレートの変化が２方向になることが観察される。これは、圧縮の一部のアプリケーションにおいて許容される。他のアプリケーションにおいて、更に精密なレート制御が要求される。

シフト量子化の効率を維持しながら既に説明した従来の粗い制御の問題を克服するために、量子化を一般化する。既に説明したような各係数に対する単一のシフトパラメータを用いる代わりに、個別の零の実行圧縮記憶領域又はパイルに適用される個別のシフトパラメータを提供する。そのような領域又はパイルの各々に対するパラメータは、圧縮出力ファイルに記録される。パイルは、圧縮された零（又は他の共通値）のシーケンスをデータに示すデータ記憶構造である。サブバンドは、個別のパイル又は記憶領域を具えることができる。パイル又は記憶領域が複数の個別のサブバンドを具えることもできる。

この解決は、全ての係数に対して一様に適用された量子化パラメータによる最も近い二つのレート間の有効ビットレートの範囲を許容する。例えば、一つのサブバンド（サブバンドｘ）以外の全てのサブバンドが同一の量子化パラメータＱを用いるとともに一つのサブバンド（サブバンドｘ）がＱ＋１を用いる場合を考える。量子化ステップから結果的に生じる全体に亘るビットレートは、量子化の際に全てのサブバンドに対してＱを用いる場合に比べて減少するが、全てのサブバンドに対してＱ＋１を用いた場合のような量にはならない。これは、Ｑ又はＱ＋１の一様なアプリケーションによって達成されるビットレートの中間のビットレートを提供し、更に密な圧縮の制御を行う。

演算効率は、純粋なシフト量子化とほぼ同一になる。その理由は、典型的には各係数に適用される動作がシフトであるからである。あらゆる数のサブバンドを用いることができる。４〜１００個のサブバンドが典型的である。３２個が最も典型的である。レート制御の他の情報は、２００５年９月２０日に出願された発明の名称が「可変サブバンド処理を伴う圧縮レート制御装置及び方法」（代理人整理番号７４１８９−２００３０１／ＵＳ）である出願人の米国出願第 号明細書において提供され、参照によって全体をここに組み込む。

向上した適合性ジョイントソース−チャネルコーディング
図６を参照すると、既に説明した向上したウェーブレットに基づくコーディクの精密な拡張性によって、向上した適合性レート制御、マルチキャスティング及びジョイントソース−チャネルコーディングが可能になる。向上したウェーブレットアルゴリズムの演算の複雑さの減少及び高い演算効率によって、生構成されたビデオ信号６９０の品質（ビデオレート対歪み）に影響を及ぼす瞬時の平均圧縮レートの制御を最大にするために、瞬時の予測されるチャネルバンド幅及び誤り状態の情報をソースコーダ６２０、チャネルコーダ６３０及びレートコントローラ６４０の三つ全てで利用できる（図６参照）。例えば、（図４に示す）移動装置４１０とセルラ送信タワー４１２との間の利用できる送信バンド幅は、特定の時間にタワー４１２にアクセスするユーザの数に基づいて変化することができる。同様に、移動電話４１０とタワー４１２との間の送信の品質（すなわち、誤り率）は、電話４１０とタワー４１２との間の距離及び障害物に基づいて変化することができる。現在利用できるバンド幅及び誤り率の情報を、電話４１０によって受信するとともに、それに応じて圧縮率を調整するのに用いることができる。例えば、バンド幅が小さくなり及び／又は誤り率が上昇するとき、全体の圧縮信号をリアルタイムで送信できるように圧縮率（したがって、関連の再生された画像品質）を減少することができる。それに対して、バンド幅が広がり及び／又は誤り率が減少すると、更に高い品質の画像を送信できるように圧縮率を減少する。このフィードバックに基づいて、圧縮率を、ソースエンコーダ６２０、チャネルエンコーダ６３０若しくはレートコントローラ６４０のいずれかでのリアルタイム処理変更、又はこれらの構成要素の組合せに対する変更を行うことによって調整することができる。

割合変化増分の例を、１〜５％，１〜１０％，１〜１５％，１〜２５％及び１〜４０％とする。

向上した適合性ジョイントソース−チャネルコーディング技術によって、無線キャリア及びＭＭＳサービスプロバイダは、顧客及び企業顧客に対して更に広い範囲のサービスの品質（ＱｏＳ）パフォーマンス及び価格水準を提供することができる。更に高い演算効率のアルゴリズムに基づく向上した適合性ジョイントソース−チャネルコーディングを用いることによって、チャネルタイプ（無線及び有線）、チャネルバンド幅、チャネル雑音／誤り特性、ユーザ装置及びユーザサービスに関して著しく高いレベルのネットワークハイブリッドをサポートすることができる。

向上したモバイルイメージングハンドセットプラットホームアーキテクチャ
図７は、向上したモバイルイメージングハンドセットプラットホームアーキテクチャを示す。図示したように、イメージングアプリケーションを、ネイティブコードとして又はＲＩＳＣプロセッサのＪａｖａ（登録商標）アプリケーションとして実行する全ソフトウェアプリケーションとして実現することができる。Ｊａｖａ（登録商標）コード動作のアクセラレーションを、ＲＩＳＣプロセッサそれ自体の中で又は個別のＪａｖａ（登録商標）アクセラレータＩＣを用いて実現することができる。そのようなＪａｖａ（登録商標）アクセラレータを、スタンドアローンＩＣとして実現することができ、又はこのＩＣをＳＩＰ又はＳｏＣの他の機能と統合することができる。

図７に示す向上したモバイルイメージングハンドセットプラットホームアーキテクチャは、モバイルイメージングアプリケーションの（図３に示す）個別のＤＳＰ３２６又はＡＳＩＣ３２８処理ブロックを必要とせず、移動ハンドセット７１５の画像処理に対するバッファメモリ７１４の要求を大幅に減少する。

向上したモバイルイメージングサービスプラットホームアーキテクチャ
図８を参照すると、向上したモバイルイメージングサービスプラットホームアーキテクチャの主要構成要素は、以下のものを有する。
・ 移動ハンドセット８１０
・ 移動基地局（ＢＳＴ）８１２
・ 基地局コントローラ／無線ネットワークコントローラ（ＢＲＣ／ＲＮＣ）８１４
・ 移動通信交換機（ＭＳＣ）８１６
・ ゲートウェイサービスノード（ＧＳＮ）８１８
・ 移動マルチメディアサービスコントローラ（ＭＭＳＣ）８２０
・ イメージングサービスダウンロードサーバ８２１

ＭＭＳＣ（図８参照）に含まれる典型的な機能は、以下のもの有することができる。
・ ビデオゲートウェイ８２２
・ 通信接続サーバ８２４
・ ＭＭＳアプリケーションサーバ８２６
・ 記憶サーバ８２８

向上したイメージングサービスプラットホームの配置に含まれるステップは、以下の通りである。

ステップ１
配置されたビデオゲートウェイ８２２を更新するためにビデオゲートウェイトランスコーダアプリケーション８３０を利用できるネットワークに信号送信する。換言すれば、新たなトランスコーダソフトウェア８３０が利用できるとき、ダウンロードサーバ８２１は、このように利用できるネットアーク上のビデオゲートウェイ８２２に信号送信する。

ステップ２
自動的なＯＴＮ８３２の配置を通じて又はマニュアル手順（図９も参照）を通じてビデオゲートウェイトランスコーダソフトウェアアプリケーション８３０をインストールし及び設定する。

ステップ３
モバイルビデオイメージングアプリケーション８３４（例えば、更新されたビデオコーデック）がダウンロード及びインストールに利用できる加入者ハンドセットに信号送信する。

ステップ４
加入者によって許容されるとともにトランザクション設定が成功のうちに完了した場合、モバイルビデオイメージングアプリケーション８３４をＯＴＡ８３６手順を通じて移動ハンドセット８１０にダウンロードし及びインストールする。

ステップ５
ハンドセットアップグレードが完了したネットワークに信号送信する。サービス及び関連のアプリケーションを有効にする。モバイルビデオイメージングアプリケーションに対する新たな課金を反映するために加入者の月ごとの請求書の控えを更新する。

エンハンスメント
図１０を参照すると、モバイルイメージングハンドセット１０１０のアーキテクチャに対するエンハンスメントとして、一部の実施の形態において、全ソフトウェアウェーブレットに基づくイメージングアプリケーション１０１２に対する複数の実現オプションを考察することができる。イメージングアプリケーション１０１２を、ＯＴＡダウンロード１０１４を通じてハンドセット１０１０のベースバンドマルチメディア処理部、取外し可能な記憶装置１０１６、画像モジュール１０１８又は他のロケーションにインストールすることができる。所望の場合には、イメージングアプリケーション１０１２を、製造中又は売り渡し時点でハンドセット１０１０のベースバンドマルチメディア処理部、取外し可能な記憶装置１０１６、画像モジュール１０１８又は他のロケーションにインストールすることもできる。移動装置アーキテクチャの進化に従って他の実現オプションも可能である。

モバイルイメージングハンドセットのパフォーマンスを更に向上することができ、移動装置の演算ハードウェア（ＡＳＩＣ，ＤＳＰ，ＲＰＤ）及び集積技術（ＳｏＣ，ＳＩＰ）の継続中の進歩に合わせるために、ハードウェアに基づく処理リソースを通じて一部の演算素子をアクセラレートすることによってコスト及び消費電力を更に減少することができる。複数の全ハードウェアオプションを、ハンドセット１０１０のベースバンドマルチメディア処理部、取外し可能な記憶装置１０１６又は画像モジュール１０１８を含むこれらハードウェアに基づく処理リソースをハンドセット１１１０に統合する際に考察することができる（図１１参照）。

図１２に示すように、イメージングアプリケーションに対するハイブリッドアーキテクチャは、一部の集中的に演算を行う機能、繰返し機能及び固定された機能をハードウェアで実現することによって、かつ、製造後の変更が所望され又は必要とされるこれらの機能をソフトウェアで実現することによってエンハンスメントを提供することができる。

利点
ここで説明した実施の形態の全ソフトウェアイメージング解決は、ベースバンドプロセッサ及びビデオアクセラレータコスト並びにマルチメディアハンドセットの要求を大幅に減少する。ＯＴＡダウンロードを通じてコーディクを製造後にインストールする機能を組み合わせることによって、この全ソフトウェア解決は、ハンドセット開発及びビデオメッセージングサービスデプロイの両方の複雑さ、リスク及びコストを大幅に減少することができる。

本発明の態様による所定のビデオコーディクを用いるとき、所定の圧縮ビデオを表すデータを、通信ネットワーク上でＭＭＳＣに送信することができ、データを、圧縮ビデオ用のデコーダに帰属させることができる。本発明の態様によるこのようなやり方において、ＭＭＳＣに入力されるビデオデータをトランスコード処理する必要があるビデオゲートウェイを完全に又はある程度排除することができる。これは、ある程度容易である。その理由は、各圧縮ビデオセグメントがそれ自体の帰属するデコーダを有することができるので、ＭＭＳＣは、受信無線装置によって特定されたビデオフォーマットに対してビデオフォーマットをトランスコード処理する必要がないからである。代わりに、受信無線装置、例えば、８１０は、デコーダに帰属する圧縮ビデオを受信するとともに、受信装置８１０のプラットホームで簡単にビデオを再生することができる。これによって、ＭＭＳＣの構造及びその動作の効率を大幅に増大するとともにコストを大幅に削減する。

本発明の他の態様によれば、処理されるビデオ上で他のビデオ処理機能を達成するようウェーブレット処理を設計することができる。例えば、色空間変換機能、白黒バランス機能、画像の安定機能、デジタルズーム機能、輝度制御機能、サイズ調整機能及び他の機能を達成するようウェーブレット処理を設計することができる。

本発明の態様の他の利点は、達成される音声同期の大幅な向上にある。本発明の実施の形態によって、音声がビデオの一つおきのフレームに対して同期がとられる。比較すると、ＭＰＥＧ４は、１５フレームごとに音声の同期がとられる。この結果、特に、移動ネットワーク上で通常生じるような不完全なビデオの送信が行われるときにビデオに対する音声の非同期が顕著になる。さらに、ビデオがＭＭＳＣで実現されるときにビデオの一つおきのフレームの各々に対して同期をとることによって、自動的又は遠隔で可能なビデオ編集のようなプログラム中で行うことができるＭＭＳＣにおける有効かつ予測されるビデオの編集が行われる。さらに、本発明の態様によれば、現在の符号化技術によって、発生し及び圧縮されたビデオにメタデータを非常に大量に又は非常に簡単にはめ込むことができる。そのようなメタデータは、特に、時間、（移動ハンドセットの位置から認識されるような）ビデオの取得位置及び撮影を行うユーザを有することができる。さらに、本発明の所定の実施の形態においてビデオの一つごとのフレームに基準フレームが存在するので、ＭＰＥＧ４圧縮ビデオにおいてビデオの１５フレームごとに基準フレームが存在する場合に比べると、本発明の実施の形態は、非常に有効なビデオのサーチ及びビデオの編集を行うとともに、非常に向上したオーディオの同期を行う。

結論
向上したモバイルイメージングアプリケーション、ハンドセットアーキテクチャ及びサービスプラットホームアーキテクチャが、技術的な複雑さ及びコストを大幅に減少するとともに高品質のスチル及びビデオイメージングサービスをモバイル加入者に提供する本発明の種々の態様によって提供される。向上した適合性ジョイントソース−チャネルコーディング技術は、顧客及び企業顧客に対して幅広い範囲のサービスの品質（ＱｏＳ）パフォーマンス及び価格水準を提供する無線キャリア及びＭＭＳサービスプロバイダの能力であり、これによって、無線ネットワークインフラストラクチャを用いて発生した収入を最大にする。高い演算効率を有するアルゴリズムに基づく向上した適合性ジョイントソース−チャネルコーディングによって、チャネルタイプ（無線及び有線）、チャネルバンド幅、チャネル雑音／誤り特性、ユーザ装置及びユーザサービスに関して非常に高いレベルのネットワークハイブリッドをサポートすることができる。

これまで本発明の好適な実施の形態を説明したが、種々の変形、変更及び均等物を用いることができる。従って、上記記載は、添付した特許請求の範囲によって規定される本発明の範囲を制限するものと考えるべきでない。

共通のビデオ表示フォーマット間の物理的な表示サイズ及び解像度の差を示す。 ジョイントソース−チャネルコーディングのシステムを線形的に示す。 モバイルイメージングハンドセットアーキテクチャを示す。 モバイルイメージングサービスプラットホームアーキテクチャを示す。 ＤＣＴエンコーダと本発明の向上したウェーブレットエンコーダとの間の処理リソースの差の比較を示す。 ジョイントソース−チャネルコーディングの向上したシステムを線形的に示す。 向上したモバイルイメージングハンドセットアーキテクチャを示す。 向上したモバイルイメージングサービスプラットホームアーキテクチャを示す。 ビデオゲートウェイのエアアップグレード上で実行するフレームワークを示す。 ソフトウェアイメージングアプリケーションの実現オプションを示す。 ハードウェアアクセレレートイメージングアプリケーションの実現オプションを示す。 ハイブリッドハードウェアアクセレレートアプリケーション及びソフトウエアイメージングアプリケーションの実現オプションを示す。

Claims (8)

1. ジョイントソース−チャネルコーディングによって、圧縮するソースビデオをソース符号化段、チャネル符号化段及びレート制御段で順次処理して、ジョイントソース−チャネルコーディングビットストリームを生成する、ジョイントソース−チャネルコーディングの向上した方法であって、
   送信バンド幅パラメータと送信誤り率パラメータのうちの少なくとも一方の変化を決定し、
   少なくとも一つの決定された変化に応答して、前記ソース符号化段、前記チャネル符号化段及び前記レート制御段のうちの少なくとも一つの処理を変更する方法。
2. 請求項１記載の方法において、前記パラメータの少なくとも一つを、瞬時のパラメータとすることを特徴とする方法。
3. 請求項１記載の方法において、前記パラメータの少なくとも一つを、予測されるパラメータとすることを特徴とする方法。
4. 請求項１記載の方法において、前記パラメータの少なくとも一つを、平均のパラメータとすることを特徴とする方法。
5. 請求項１記載の方法において、拡張可能でウェーブレットを利用するソース符号化段を更に設けることを特徴とする方法。
6. 請求項１記載の方法において、前記パラメータの少なくとも一つを、セルラ電話信号タワーから受信することを特徴とする方法。
7. 請求項１記載の方法において、前記段の少なくとも一つの処理の変更によって約１〜４０％の範囲の割合変化増分が生じることを特徴とする方法。
8. 請求項１記載の方法において、前記段の少なくとも一つの処理の変更によって約１〜５％の範囲の割合変化増分が生じることを特徴とする方法。

Images