JP2004534434A - ビデオデータを圧縮および解凍する方法 - Google Patents

Abstract

個々のピクチャポイント（画素）のアレイからなるビデオデータを圧縮する方法であって、各画素が、該画素の色又は明度情報を記述する時間的に変化する画素値を有している方法において、隣接する画素から事前に定義されたグループの現在の画素値を参照して、該画素のその時々の現在の画素値を使用して画素の差異値（画素差）を計算することにより、アレイの各画素ごとの優先順位値を決定するステップと、優先順位値の計算に使用された画素を画素グループ（Ｐ０〜Ｐ４）に統合するステップと、その優先順位値を使用して画素グループを分類し、それらを優先アレイにファイルするステップと、さらに画素グループをその優先順位に従って優先アレイに保存および／または送信するステップを有し、その際各ステップが継続的に反復され、画素グループの優先順位値が常に決定し直されつつあり、かつ各時点での優先順位が現在の優先順位によって分類された画素グループを含むことを特徴とする方法。

Description

【技術分野】
【０００１】
本発明はビデオデータを圧縮および解凍する方法に関する。
【背景技術】
【０００２】
ビデオは大きなデータセットを生成する。これらのデータセットを効果的に転送および記憶するために、それらを圧縮することが実用的である。
【０００３】
当業界の今日の状況によれば、ビデオ信号は個々の画像が高速で連続して記録および再生される。テレビ（ＰＡＬ標準）においては、毎秒２５個の画像、あるいは５０個のハーフ画像がある。ディジタル録画では毎秒約３０個の画像がある。各画像は、まずラインに分解されて順次転送される。
【０００４】
以前の圧縮方法は、本質的に色深度の解像度の低下と１秒あたりの画像数の減少とに基づいている。ディジタル圧縮、例えばＭＰＥＧ法では、完全な画像の代わりに、前の画像と比較して本質的に異なる画像、すなわち個々の画像ポイント（画素）の差異が完全な画像の代わりに転送される。ビデオ符号化の最新標準はＭＰＥＧ４である。
ＭＰＥＧは、「モーションピクチャーズエキスパートグループ（Motion Pictures Expert Group）」の略語である。このグループからのファイルフォーマットと、ビデオまたはマルチメディアデータ（ビデオ、画像およびサウンドデータ）を省スペースで圧縮および記憶する方法が高品質で定義されている。一方でＭＰＥＧ標準は、ＭＰＥＧ‐１、ＭＰＥＧ‐２、ＭＰＥＧ‐３、およびＭＰＥＧ‐４に再分割され、ここではＭＰＥＧ‐３標準がＭＰＥＧ‐２に統合されている。
【０００５】
「通常の」コンピュータでフィルムからの大量のデータを処理および転送できるように、前の画像からの変化のみが記憶される。ＭＰＥＧフォーマットはいわゆるイントラフレームを、一般的に１２個の画像の一定間隔で記憶する。イントラフレームはＪＰＥＧ圧縮された信号画像である。これらのＩフレーム間の画像は、可能であれば、完全には記憶せず、代わりに、ＭＰＥＧが、前または後の画像からパーツをシフトすることによって画像を回復する方法で、画像を記憶する。このために、「予測フレーム」およびｂフレーム（双方向フレーム）が使用される。しかしながら、これは完全には機能しないので、画像当たりの残存偏差はＪＰＥＧ符号化されて記憶されている。この方法によって、ビデオフィルムに対するデータ消費量を約９９％減らすことができる。可能な圧縮比は２００：１にまで達する。
【０００６】
ＭＰＥＧ‐１は可変的なビデオ再生用に定義されていた。ＭＰＥＧ‐１の圧縮または解凍は、元々ハードウェアに依存した方法であった。しかし、一方では高速プロセッサのおかげでソフトウェア解凍も可能である。
【０００７】
ＭＰＥＧ‐１とＭＰＥＧ‐２の本質的な差異は、ＭＰＥＧ‐２が、テレビで使用されている方法であるインターレース走査でより良好に機能する点にある。ＭＰＥＧ‐２の秘訣は最高水準にいたる圧縮にあり、従ってフィルム素材は、スタジオ品質でほぼ１：１で処理および編集される。従って、ＭＰＥＧ‐２はそれ自体を標準として確立したものである。純粋に１フレームの符号化で、ＭＰＥＧ‐２はスプライシング（splicing;Schnittbetrieb）においても使用できる。ハイビジョンテレビの品質（ＨＤＴＶ）のために提供されたＭＰＥＧ‐３の一部は、一方でＭＰＥＧ‐２標準においても実現された。
【０００８】
ＭＰＥＧ‐４はＭＰＥＧ‐２フォーマットの発展型であり、１９９６年以来開発過程にある。ＭＰＥＧ‐４が元々、極めて低いビット伝送レートのオーディオビジュアルデータ用の符号化標準として意図されていたにもかかわらず、その開発は、単にインターネットおよび無線アプリケーションによる線形メディアデータのストリーミング（streaming）というよりも、かなり多くの目的のためになされた。例えば、ＭＰＥＧ‐４は相互メディアコンテンツの圧縮および分布に効率的なメカニズムを提供する。さらに、ＭＰＥＧ‐４は、例えばビデオ会議において、人工知能や現在のアバター（avatars;Avantare）を視覚化するために３Ｄポテンシャルを有している。
【０００９】
ＭＰＥＧ‐４での圧縮レートはＭＰＥＧ‐２よりも高いので、符号化メカニズムがこのためにその処理により多くの時間を要するがゆえに「スプライト」がより良好に圧縮される。この過程において、ウェーブレット（wavelets）を切り替えることさえ可能である。言語記述によって、少数のバイトで、同一の操作のディジタル化された圧縮形態が可能にするよりもかなり迅速に「置き換え」などの操作を実行することができる。これらの「スプライト」のおかげで、いかなる数の輪郭化された静止画像をも動いているピクチャ上で動かすことができる。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明の目的は、異なる転送レートまたは送信帯域、画像解像度および表示サイズに、簡潔かつ柔軟性のある適用を可能にするビデオデータを圧縮する方法を提供することである。
【課題を解決するための手段】
【００１１】
本発明の有利な設計および改善は、独立請求項において明示される。
好ましくは、ビデオ情報の並行処理がビデオ記録チップに生じる。並行処理は、最重要な画素をまず決定し、次にこれらを優先順位割付けに従って優先アレイに記憶する目的のために行われる。このアレイは各時点で、優先順位割付けに従って分類された画素値を有する。優先順位割付けを計算するために使用された画素および画素値は前記の優先順位割付けに従って転送または保存される。画素は、その隣接画素に対する差異が大きい場合には高い優先順位を受け取る。
【００１２】
再構成プロセスに対して、各場合の現在の画素値がディスプレイに再生される。まだ送信されていない画素はすでに送信された画素から計算される。
【００１３】
計算能力、送信帯域、およびディスプレイのサイズに対応して、まだ送信されていない画素を計算するために、様々な方法が使用可能である。極めて大きな帯域が使用可能である場合には、単純な線形補間が実行可能である。非常に小さな帯域しか使用可能でない場合、この事実は、優先画素の送信中に考慮される。
【００１４】
オブジェクトは送信画素の履歴傾向によって識別されるため、これらのオブジェクトの動作推定を行うこともできる。
【００１５】
本方法の基本的概念は、画素の優先的記憶および／または送信に基づいている。記憶またはビデオ送信において、個々の画素、または画素グループに結合されている画素の時間および（画像アレイ内の）ポテンシャル依存性がさらに考慮されねばならない。
【００１６】
極めて高いデータ圧縮を実現するために、最高の優先順位を有し、かつまだ送信されていない画素グループが送信される。この領域、すなわちすでに転送された画素グループ間の画素値はすでに転送された画素グループから、例えば補間によって計算される。自然を録画する際にはかなり広い領域が通常予測可能な（一様な）色の広がり、例えば青空などを有するために、より高い解像度（大きな画像アレイ）で実現可能な圧縮係数は増大する。
【００１７】
各場合において、画素値が転送されることにも注目すべきである。必要ならば、この方法によって、ビデオ情報の損失のない送信が可能である。
【００１８】
ビデオデータの再生または再構成は、人間の視覚能力に類似する推定に基づいている。人間は、刺激を知覚するが、画像上で認識するものの解釈は、彼らの脳で生じる。刺激は送信された画素グループに対応し、この解釈は、まだ送信されていない画素グループ間の領域の充填に対応する。
【００１９】
これを実施するために、さらなるアレイが形成されてもよい。他のアレイ間で、これは、現在の位置での画素値がどの画素グループから決定されたかについての情報が利用可能なアレイを含む。さらなる情報は、これらの画素値がいつ計算されたか、これはどの画素グループから計算または送信されたかについてである。また値の正確さ（例えば、直接隣接する画素からの計算、計算の基礎として使用される画素のわずかな変動）についての評価も追加情報として利用される。
【００２０】
上述の方法は、様々な表示サイズおよび画像解像度にビデオデータストリームを極めて容易に適応させることができる。
【００２１】
さらなる利点は、上述の種類のビデオの符号化によっては、どのアルゴリズムがビデオを復号化するのに用いられるかの自動的設定がないということである。これは、他の方法に対して、平均値化されていない優先画素値を送信することによって実現される。従って製造者は、低コストから高品質に至る端末装置を開発する機会を有し、様々なアルゴリズムによって同業他社に抜きん出ることができる。
【００２２】
このために特別に開発されたチップにおいて、ビデオデータの大量並行処理のための努力によって、極めて低いクロックレートを使用することが可能になり、このことは電力消費に好ましい影響を有する。
【００２３】
優先順位によって、ビデオの特定の領域（例えばニュースキャスターの唇）がより高い優先順位、ひいてはより良好な解像度で転送されることが可能である。
【００２４】
本方法によれば、このことをビデオ記録において考慮する必要はなく、様々な端末装置用ビデオのデータストリームから最適な部分的データストリームを取り出すことが可能になる。
本発明の実施形態は、図面を使用してより詳細に説明される。本発明のさらなる特徴、利点、および適用は図面およびその説明から明らかになる。図面を以下に示す。
【発明を実施するための最良の形態】
【００２５】
以下、ビデオ信号の圧縮および解凍について、例を挙げて説明する。
まず、以下の仮定がなされる。
現在慣用されているビデオ信号がビデオソースとして使用可能である（例えばＰＡＬまたはＮＴＳＣ）。ビデオ情報は、従来の電子装置を使用して読取り可能である（例えばフレームグラバーカードframegrabber card）。本方法を以下に図示するために、画素幅２０と画素高さ２１の最小限の画像アレイが使用される（図１）。アレイの各画素は３２ビット値（画素値）によって表される。３２ビットは、例えば各々８ビットずつ４つの値に分割される（透明、赤、緑、青）。画素の位置は、整数で定義される。画像アレイは、図１に示されるように、０〜４１９に番号付けされる。各ボックス内の番号は、関連する画素の位置に対応する。ソースとドレインの間に、ＵＤＰ（ユーザデータグラムプロトコル（User Datagram Protocol））接続がある。次いで圧縮されたビデオデータはこの接続を介して送信される。
【００２６】
ビデオ信号の圧縮は、以下のようにして生じる。
本方法は、ビデオ信号の個々の画素の連続優先順位を有することに基づいており、それによって画素はその優先順位に従ってアレイに記憶される。このアレイはこの時点で、優先順位によって分類された現在の画素値を含む。画素は、その隣接する画素に対する差異が大きい場合、高い優先順位を受け取る。画素は、計算に使用された隣接する画素と共に画素グループに結合される。優先順位に対応して、これらの画素グループは送信または記憶される。
【００２７】
画像アレイの走査；
フレームグラバーは各時点において、図１に示される２０×２１の大きな画像アレイに現在の画像を有している。各画素はその位置（１〜４１９）およびその画素値（色または明度値）によって定義される。
【００２８】
画素グループの定義；
まず、画素グループを形成するそれらに隣接する画素が定義される。ｐ０は、画素グループの位置を特定し、その優先順位が計算される画素のことである。基準画素ｐ０に対する、画素グループのうちの残りの画素、例えばｐ１〜ｐ４の相対的位置は、画素グループの使用形態に帰着する。図２はいくつかの可能な画素グループの形態を示している。対称および非対称の画素グループの双方が基準画素ｐ０に対して形成されてもよい。使用される画素グループのタイプは、画像素材のタイプおよび求める圧縮レートに関する他の情報に依存する。原則として、画素グループ内に含まれている画素が多いほど、実現される圧縮係数は大きくなる。同一の形態の画素グループは、ビデオ画像を符号化および復号化、すなわち圧縮および解凍するために使用される。
【００２９】
優先順位値の決定；
その画素グループに対する優先順位は、画素グループの各画素ｐ０ごとに計算される。この過程において、画像の０〜４１９の各画素は基準画素ｐ０になる。本発明によれば、画素の優先順位値の計算は、可能な限り並行なデータ処理の枠組内で実行される。画像のすべての画素の優先順位の計算が同時になされることが理想的である。ビデオ信号が含まれているので、画像容量は常に変化しているため、すべての画素の優先順位値が連続的に再計算されている。しかし多数の画素グループ、とりわけ優先順位の低い画素グループは高い確率で変化しない。
【００３０】
優先順位を計算するための様々な計算方法がある。一例として、ここでは線形方法を使用する。
このために、画素グループの個々の画素値Ｐ０、Ｐ１、Ｐ２、Ｐ３、およびＰ４は、赤、緑、および青のそれらの色割合に分解される。これらの色値の各々は８ビットで表される。個々の画素Ｐ１〜Ｐ４の各色ごとに、Ｐ０に対する色差値、例えばＰ０ 赤−Ｐ１ 赤、Ｐ０ 赤−Ｐ２ 赤、．．．、Ｐ０ 青−Ｐ４ 青、が決定される。絶対色差値が追加され、色数および可視画素数によって分割される。その結果は、可視画素グループに対する優先順位値である。優先順位値が高いほど、画素グループの個々の画素の色値が異なる。
【００３１】
優先順位値を決定するさらなる方法は、階調（gray shades ）またはある色の色差の最大値を使用することである。優先順位値はそれ自体、後に記憶されたり送信されたりしないため、優先順位値を決定する方法は、復号化に対して何ら直接的な影響を与えない。
この優先順位の結果として、エッジなどの、色またはコントラストの大きな変化を有する画像領域は高い優先順位を受け取り、青空などの比較的一様な画像コンテンツは低い優先順位を有する。
【００３２】
優先順位値の分類；
このステップにおいて、サイズの優先順位値が高い順に分類される。分類は、各新たな優先順位値の決定後に生じる。従って、各時点ごとに、高い順に分類された優先順位値によって分類された画素グループのリストを有する。優先順位によって分類されたこのようなリストを即座に提供する、対応する画像レコーダ（ＣＣＤチップ）の開発に力が注がれる。圧縮される画像が直接ＣＣＤカメラやスキャナを使用して記録される場合、カメラ／スキャナにおいて使用可能な画像処理マイクロチップから、優先順位によって分類されたアレイを受け取るというオプションがある。従って、圧縮における計算負荷の重要な部分が保存される。
【００３３】
優先順位値の更新；
ビデオ情報の静止画像（例えば写真）に対して、例えばカメラのパンや移動したオブジェクトによって画素グループの常に変動する優先順位の変化がある。これを図示するために、図３〜５は、ｔ１〜ｔ３における異なる時点でのビデオ画像アレイを示しており、ここではオブジェクトが右から左へと移動している。
【００３４】
図２によれば、時点ｔ１での画像は、画素１５６、１５７、１７６、１７７、１９１〜１９７、２１１〜２１７、２３１〜２３７、２５６、２５７、２７６、２７７を充填するオブジェクトを含む。図２において、画素グループの太く枠付けされた形態（左下）は、画像の画素（０〜４１９）の優先順位を計算するために使用される。画素の優先順位の分布は、本方法のさらなる説明において、表１の時点ｔ１に示されるような結果となる。表は画素グループの基準画素（ｐ０）の数のみを含む。オブジェクトの周辺領域に配置され、かつその基準画素（ｐ０）が残りの画素に対して最大差を有する画素グループは、最高の優先順位Ａを受け取る。その基準画素が画素グループの残りの画素に対してより差が小さい画素グループは、中間の優先順位Ｂを受け取り、その基準画素が画素グループの残りの画素に対して全く差のない画素グループは最低の優先順位Ｃを有する。
【００３５】
【表１】

【００３６】
圧縮中、優先順位Ａの画素グループがまず送信または記憶され、次いで優先順位Ｂの画素グループ、最後に優先順位Ｃの画素グループとなる。オブジェクトはその間に移動し、図４および５は図３に対して異なる位置を占めているため、個々の画素グループの優先順位は変化する。優先順位リストは更新され、即座に最高の優先順位で現在の画素グループの送信が継続される。
時点ｔ２（図４）およびｔ３（図５）で画素グループの再計算された優先順位が表１に示されている。
【００３７】
従って、表１に従ったビデオ信号の潜在的に圧縮された送信は、以下のように見える。
時点ｔ１：最高の優先順位Ａの画素グループが送信される；１７５、２５５、２３１、１９１、１５６、１５７、２７７、２７６、１７７、１９７、２１７。
時点ｔ２で新たな優先順位が検出される。様々な画素グループが最高の優先順位Ａを受け取る。ビデオ信号送信が新たな優先順位の送信によって継続される；１８９、１７３、１５４、１５５、２７４、２７５、２５３、２２９。
【００３８】
その後、優先順位Ｂの画素グループの送信が生じる；１７５、１９５、２１５、２３５、２５５、１９０、１９１、１９２、１９３、・・・。
時点ｔ３で新たな優先順位が再び検出される。様々な画素グループが最高の優先順位Ａを受け取る。ビデオ信号送信は、新たな優先順位の送信によって継続される；１８７、１７１、２２７、２５１、１５２、１５３、２７２、２７３。
【００３９】
別のアレイにおいて、どの画素グループが既に送信されているかを判断するテストがある。画素グループが既に送信されている場合、その優先順位が当面変化していなければ２度目の送信は必要ではない。特定の画像領域、例えば顔が検出され優先的に送信される。さらに、受信側はまた（例えば、欠陥ＣＲＣチェックによる送信エラーの検出によって）特定の画素グループを要求することもできる。次いでこのように要求された画素グループは高い優先順位を受け取り、即座に送信される。
【００４０】
画素グループの保存／送信；
用語「保存」および「送信」は以下において同意語として使用される。まずビデオ画像のいくつかのパラメータが保存または送信される。この例は以下の通りである。
・画像幅（画素単位で）。
・画像高さ（画素単位で）。
・画素グループの使用形態（１つの形態のみが標準化される場合には必要ではない）。
【００４１】
そして、個々の画素グループはその優先順位に従って保存または送信される。すなわち優先順位が高い画素グループがまず保存される（そして後に最初に読み出される）。
このために、画素グループの基準画素ｐ０の位置値がまず保存される。次いで、画素値Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４が保存される。
【００４２】
例；
位置値Ｐ０、画素値Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、（同じまたはより低い優先順位の）次の位置値Ｐ０、画素値Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４、・・・、（最低の優先順位の）次の位置値Ｐ０、画素値Ｐ０、Ｐ１、Ｐ２、Ｐ３、Ｐ４。
保存は様々な方法によって最適化でき、ここでは例として論じられるにすぎない。画素グループのランレングス符号化（run length coding）が実行されてもよい。例えば、画像領域に赤の割合がない場合、８ビット（赤）ではなく２ビットだけで送信し、あるいは先頭のゼロの数を利用してもよい。
【００４３】
さらに、一般的に従来の圧縮方法、例えばジップフォーマット（zip format）を採用してもよい。
優先順位の限界を定義することによって、特定の品質が保証される。例えば、しきい値が画素差値に対して定義されてもよく、それ以下で割り当てられた画素グループは常に最低の優先順位値を受け取る。
コーナーポイントの４つの画素グループが最初に送信されると、僅かな画素グループによる計算で最大の可能領域を得る。
【００４４】
［ビデオデータの再構成（解凍）］
新たな画像アレイの生成；
圧縮されたビデオデータの再構成において、まず図１の表示と比較可能な画像アレイが形成される。このために、画像の特徴が走査および評価される。
この例が画像幅、画像高さ、および圧縮に使用された画素グループの形態である。オリジナル画像と所望の表示（例えば、制限ＰＤＡ表示または高解像度モーション）との間で画像高さと画像幅が一致しない場合、対応するスケーリングが行われる。
【００４５】
このために、まず変換係数が決定される（画像幅＿オリジナル／画像幅＿表示および画像高さ＿オリジナル／画像高さ＿表示）。これらの係数は、位置値をオリジナル画像から新たな表示の位置値へ変換するために使用されてもよい。
【００４６】
画素グループの挿入；
図６に示されるように、画素グループは、今度は優先画素グループのシーケンスに従って走査される。例えば、最高の優先順位を持つ最初の４つの画素グループが画像アレイに入れられる。図６において、これらは画像のコーナーの画素グループである。各画素グループの基準画素ｐ０の位置は、ブラックフィールド２１、３８、３８１、および３９８によって特定される。この位置値（ｐ０）は保存されたファイル内に整数値として存在する。そして各画素グループに属しているダークグレイの画素値（ｐ１〜ｐ４）が新たな画像アレイに入れられる。それらの間のライトグレイにマークされた画素値は、ダークグレイとブラックにマークされたフィールドから計算される。計算には、まず既知の画素値が、赤、緑、および青の要素に分解される。次いで各色値の平均値、例えば画素（２２）＝（画素（２）＋画素（２１）＋画素（４２））／３）が計算される。
【００４７】
領域の充填；
今度は、既存の画素グループがラインによって互いに接続される。図７にこのプロセスが示されている。そのコーナーには対応する画素グループによって定義される三角形が生じる。これは、画素位置２と画素位置１７との間のラインで図示されている。そのラインの色の広がりは、画素２と画素１７の色値を使用して計算される。まずこれら２つの位置間の画素数が判断され、図示例ではこれは１４個である。次いで、各色（赤、緑、青）の色差が判断される。例えば位置２の色値＝２；位置１７の色値＝３０が（２８という）色差になる。次いで、画素２から画素１７の画素ごとの色値の増大量が色差／画素数より計算される（例においては２８／１４＝２）。
残りの領域が、例えば位置６３から位置７４へ、位置８２から位置９３へなど、水平のラインを描くことによって充填される。ここでも、優先的な色の広がりが上記で特定されたようにポイント間で計算される。
【００４８】
図８が示しているように、各さらに追加された画素グループは対応して充填される追加の三角形を生じる。４つのコーナーポイント（２１、３８、３９８、３８１）を使用してまず領域全体を充填した後、今度は解像度が各追加の画素グループによって絞り込まれる。画素グループ８７の追加は、基準ポイント（２１、３８、８７）、（２１、８７、３８１）、（３８１、８７、３９８）、（３９８、７８、３８）により４つの三角形を生じる。追加の画素グループ（２４７）がこのような三角形、例えば８７、３８１、３９８内に挿入されると、３つの新たな三角形（２４７、３８１、３９８）、（２４７、８７、３８１）、および（２４７、８７、３９８）が生じる。従って、各新たな画素グループは３つの新たな三角形を生成し、これらは充填されてもよい。より多くの画素グループが挿入されるほど、すなわちより多くの三角形が形成されるほど、計算された色の広がりは画像の実際の色の広がりにより近づいていく。これ以後、新たな三角形のみが存在するようになるので、最適化された方法が計算に使用される。さらに、３つの新たに生じた三角形が、処理速度を増すために互いに並行して計算されてもよい。新たな画素グループが画像の様々な領域に追加されると、並行処理のさらなる機会が生じる。
【００４９】
上述の手続きステップは、画像コンテンツがその間変化していないことを必要とする。画像コンテンツが変化すると、個々の画素グループの優先順位は再設定され、最高の優先順位を持つ現在の画素グループが送信される。現在送信され、かつ画像に挿入されている画素グループのシーケンスのみが変化する。しかしながら、上述した画像の再構成の原理は何も変化しない。
【００５０】
画像コンテンツの時間変化を考慮するために、（画像アレイのサイズで）さらなるアレイが形成されるようにしてもよい。これらは下記の情報を含む。
・時間；画素値が最後に計算または送信された時。
・計算の基礎；送信された画素が画素値を計算するために使用される。
・可能性／正確さ；画素値が送信または計算されたのかということであり、計算されたのであれば、新たな画素値が計算される画素グループとの差はどれほどの大きさか。
・送信する画素値とすでに計算されている画素値との偏差。
【００５１】
次いで、これらのサイズから、頻繁な画素グループの変化が生じる画像領域が定義される。隣接する画素グループ、または全く一様な領域が原則として類似の変化、例えば明度変化、色変化を受ける。原則としてこれらの変化を評価することによって、オブジェクトおよびその動的挙動、例えばビデオ内を動くオブジェクトが特定される。画像アレイ全体に対する一定の変化は、例えばカメラのパンが挙げられる。この情報が、例えば適応されたニューラルネットワークによって評価されると、推定がまだ送信されていない画素グループの画素値について極めて容易になされる。これらの推定が正確であると、オブジェクトの変化に対して特別の影響を有する画素グループが識別される。これらの画素グループがソースから再び要求されると、わずかな画素グループのみによってオブジェクトの動きを正確に決定および予測することができる。実際このことは、低帯域のみしか使用できないにも関わらず、フレームベースの方法よりも極めて低い、低遅延時間が生じることを意味している。受信側において付加的に形成されたアレイの評価は良好なオブジェクト検出を可能にする。
【００５２】
使用可能なリソースによって、隣接する画素の色値による純粋な優先順位に沿って、優先画素グループの配置を依存させることもできる。
その例を示す。海上に水平線が見える場合、それは水平なラインとして現れる。この水平線に沿っての各画素グループの優先順位値もほぼ同じであろうことが期待される。この場合、互いから最も遠くにある水平なラインの点位置は最大の有益値を有している。水平線の最左と最右の画素グループを送信することによって、それを再び再構成することができる。
【００５３】
優先順位のさらなる可能性が特定の画像領域の高さ評価にある。このような画像領域は、例えば顔である。停止中のビデオに写る顔は画像全体の僅かな領域を占めているにすぎないが、それらは通常見ている視線の中心である。このような人間の見ている行動は、これらの画像領域（顔領域）の画素グループの適切な優先順位付けによって考慮される。同様にビデオの中心の画素グループは、相応したより高い優先順位を受けることができる。
【００５４】
最適化のさらなる可能性は、隣接する画素グループが互いに重なり合っているという事実にある。画素グループを適切に選択することにより、繰り返し送信された隣接する画素グループの重なり合う画素値を有することを回避することができる。
【００５５】
復号化に用いられる画素量は自由に増減できる。より小さなディスプレイ（例えば、携帯電話）において、双方が優先画素グループからなる同一のソースデータストリームを使用するにも関わらず、高解像度の大きなスクリーン上での再生の場合よりも、確実により小さな計算負荷で済ますことができる。この柔軟性のある増減は端末装置の製造者にとって、特別の最適化、例えば、オブジェクト数、画像変化の履歴をその装置に組み込むことを可能にする。このことは製造者に、ビデオ送信の互換性を損なうことなく、自らが他の同業他社から抜きん出る機会を付与する。
【図面の簡単な説明】
【００５６】
【図１】２０×２１画素の画像アレイの表示。
【図２】画素グループの様々な形態の表示。
【図３】ｔ１時点でのオブジェクトが移動した画像アレイ。
【図４】ｔ２の時点でのオブジェクトが移動した画像アレイ。
【図５】ｔ３の時点でのオブジェクトが移動した画像アレイ。
【図６】画像のコーナーに画素グループが挿入された再生成された画像アレイ。
【図７】すでに挿入された画素グループ間の領域の充填。
【図８】さらなる画素グループの挿入とその間の領域の充填。

Claims (14)

1. 個々のピクチャポイント（画素）のアレイからなるビデオデータを圧縮する方法であって、各画素（０〜４１９）が、該画素の色又は明度情報を記述する時間的に変化する画素値を有し、
   ａ）隣接する画素から事前に定義されたグループの現在の画素値を参照して、該画素のその時々の現在の画素値を使用して画素の差異値（画素差）を計算することにより、アレイの各画素ごとの優先順位値を決定するステップ、
   ｂ）優先順位値の計算に使用された画素を画素グループ（Ｐ０〜Ｐ４）に統合するステップ、
   ｃ）その優先順位値を使用して画素グループを分類し、それらを優先アレイにファイルするステップ、および
   ｄ）画素グループをその優先順位に従って優先アレイに保存および／または送信するステップであって、その際ステップａ）〜ｄ）が継続的に反復され、画素グループの優先順位値が常に決定し直されつつあり、かつ各時点での優先順位が現在の優先順位によって分類された前記画素グループを含むステップ、
   によって特徴付けられる方法。
2. 画素差は、画素グループのその隣接する画素の各々の画素値に対する可視画素の画素値の差異から生じることを特徴とする請求項１に記載の方法。
3. 画素による画像幅、画像高さ、および使用された画素グループの形態などのビデオ画像のパラメータが最初に保存および／または送信されることを特徴とする請求項１または２に記載の方法。
4. 各画素グループごとに、基準画素（Ｐ０）の位置、その画素値、ならびに残りの画素（Ｐ１〜Ｐ４）の画素値が保存または送信されることを特徴とする請求項１〜３のいずれかに記載の方法。
5. 特定の画像領域の画素グループが高い優先順位を割り当てられることを特徴とする請求項１〜４のいずれかに記載の方法。
6. 画素グループの画素値がランレングス符号化（run length coding）または他の圧縮方法によってさらに圧縮されることを特徴とする請求項１〜５のいずれかに記載の方法。
7. スキャナ、ＣＣＤカメラなどで使用された画像記録システムによって、優先順位によって分類された画素グループの継続的探索と出力がなされることを特徴とする請求項１〜６のいずれかに記載の方法。
8. フレームグラバーカード (又はソフトウェア解法）が極めて様々なフォーマット（例えば、ＡＶＩ、ＭＰＥＧ‐１、ＭＰＥＧ‐２、ＭＰＥＧ‐３、ＭＰＥＧ‐４、・・・）のビデオ素材を変換するために使用され得ることを特徴とする請求項１〜７のいずれかに記載の方法。
9. 請求項１〜８のいずれか一項に記載の方法によって圧縮されたビデオデータを再構成するための方法であって、読み取られた画素値が画像アレイの形態で表わされ、その際まだ送信されていない画素が既に送信されている画素から計算されることを特徴とする方法。
10. ａ）圧縮されたビデオ画像の読み取られたパラメータから空の画像アレイを生成するステップと、
    ｂ）保存または送信された画素グループを継続的に読み取り、画像アレイに挿入するステップと、
    ｃ）少なくとも１つのラインによって３つの直接隣接する画素グループを接続することによって三角形を形成するステップと、
    ｄ）三角形を形成する画素グループから計算された色の広がりおよび／または明度の広がりを使用して三角形を形成する画素の領域を充填するステップと、
    ｅ）ステップｂ）〜ｅ）を反復するステップと、によって特徴付けられる請求項９に記載の方法。
11. 三角形のサイズの等級分けが可能であり、様々な画像解像度に適応可能であることを特徴とする請求項９または１０に記載の方法。
12. さらなるアレイの生成が可能であり、それが
    ・時間；画素値が最後に計算または送信された時、
    ・計算の基礎；送信された画素が画素値を計算するために使用される、
    ・可能性／正確さ；画素値が送信または計算されたのかということであり、計算されたのであれば、新たな画素値が計算される画素グループとの差はどれほどの大きさか、
    ・送信する画素値とすでに計算されている画素値との偏差、
    についての情報を含むことを特徴とする請求項９〜１１のいずれか一項に記載の方法。
13. 請求項１２に従って生成されたアレイを使用して、動きのプロフィールおよびオブジェクトが容易に認識されることを特徴とする請求項９〜１２のいずれか一項に記載の方法。
14. 動きのプロフィールおよびオブジェクトの利用によって、極めて低い潜在期間（Latenzzeiten）を有する流動的動きが、その最も低い送信速度にも関わらず達成されることを特徴とする請求項１３に記載の方法。

Images