JP2016530750A - フレームの処理及び再生 - Google Patents

フレームの処理及び再生 Download PDF

Info

Publication number
JP2016530750A
JP2016530750A JP2016518555A JP2016518555A JP2016530750A JP 2016530750 A JP2016530750 A JP 2016530750A JP 2016518555 A JP2016518555 A JP 2016518555A JP 2016518555 A JP2016518555 A JP 2016518555A JP 2016530750 A JP2016530750 A JP 2016530750A
Authority
JP
Japan
Prior art keywords
block
frame
change
processed
individual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016518555A
Other languages
English (en)
Other versions
JP6363181B2 (ja
JP2016530750A5 (ja
Inventor
トゥオマス カルッカイネン
トゥオマス カルッカイネン
オッシ カレヴォ
オッシ カレヴォ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gurulogic Microsystems Oy
Original Assignee
Gurulogic Microsystems Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gurulogic Microsystems Oy filed Critical Gurulogic Microsystems Oy
Publication of JP2016530750A publication Critical patent/JP2016530750A/ja
Publication of JP2016530750A5 publication Critical patent/JP2016530750A5/ja
Application granted granted Critical
Publication of JP6363181B2 publication Critical patent/JP6363181B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/507Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction using conditional replenishment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • H04N19/467Embedding additional information in the video signal during the compression process characterised by the embedded information being invisible, e.g. watermarking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

プロセッサ(12)は、入力データ(10)を受信し、個別フレーム(1)をブロックに分割し、該ブロックを第1の予測フレーム(2)の対応するブロックと比較し、変化ありのブロック(3)を特定するように構成される。フレームの処理及び再生のための効率的な解決策を得るために、プロセッサは、変化ありのブロック(3)と特定されたブロックを生成される中間データ(7)に含め、特定された変化ありのブロック(3)及び特定された変化なしのブロック(4)の個別フレーム(1)内での位置を示す変化インディケータ(8)を生成するように構成される。【選択図】図5

Description

本願は、データを処理しその後処理したデータを再生することによりデータの記憶と転送を最適化する解決策に関する。以下では、主に映像データおよび音声データを参照することにより例を提示する。これらは例に過ぎず、画像、グラフィックデータ、テキストデータ、ECGデータ、地震データ、ASCIIデータ、Unicodeデータ、二値データ等の他の種類のデータも利用できることは理解されるであろう。
従来、WO2006/016007A1により、入力データの個別フレームをブロックに分割し、変化ありのブロックと変化なしのブロックを特定するために、そのような各ブロックを予測フレームの対応するブロックと比較する解決策が知られている。変化なしと特定されたブロックは、これらのブロックの画素の色値を所定の値に設定することにより修正され、変化ありのブロック及び変化なしのブロックを含む全ブロックを含むように信号が生成される。変化なしの移動ブロックの色値は、生成される信号を符号化するコーデックが可能な限り効率的に働くように選択されたものである。
元のフレームの再生成が必要になると、符号化信号が復号化され、予測フレームの修正に当たっては、後続の各フレームについて、復号化信号の変化ありのブロックのみが予測フレームの修正に用いられ、復号化信号の画素値が所定の色値に対応する変化なしのブロックは予測フレームの修正には用いられない。
上述の先行技術による解決策は、映像の画像に対しては効率的に働く。しかしながら、元のフレームの処理と元のフレームの再生成との間で伝送又は記憶される必要のあるデータの量を、さらに減少させることが出来れば望ましい。
本発明の目的は、上述の欠点を解消し、映像の画像以外の目的にも利用でき、従来のものより効率的にデータを転送又は記憶できるようにする解決手段を提供することである。この目的及び他の目的は、独立請求項1、9、12、13、14、及び15に係る解決手段により達成される。
個別フレーム内の変化ありのブロック及び変化なしのブロックの位置を示す変化インディケータを用いることにより、変化なしと特定されたブロックを削除することが可能になる。したがって、再生装置による後の使用のために記憶又は伝送されるデータを最小化することができる。再生装置は、中間データおよび変化インディケータに基づいて、十分な正確性で元の入力データに対応するように出力データを生成することができる。
以下に、次のような添付図面を参照して例を提示する。
入力データの処理を示す。 入力データの処理を示す。 入力データの処理を示す。
再生を示す。
プロセッサ及び再生装置を有するシステムを示す。
入力データの処理の第2の実施形態を示す。
入力データの処理の第3の実施形態を示す。
プロセッサ及び再生装置を有するシステムの第2の実施形態を示す。
プロセッサ及び再生装置を有するシステムの第3の実施形態を示す。
少なくとも1つの実施形態の説明
図1乃至3に、入力データの処理を示す。図1は、受信した入力データに含まれる個別フレーム1を示す。入力データは、例えば、元々パケットに含まれていてもよい。個別フレーム1は、適切な大きさのデータブロックに分割される。ブロックには、1次元、2次元、或は3次元以上のデータが含まれていてもよい。映像の画像の場合は、各ブロックは、例えば8×8画素を含んでいてもよい。図1の例では、個別フレーム1は、20ブロックに分割されている。入力データは、例えば、映像データ、音声データ、画像、グラフィックデータ、テキストデータ、ECGデータ、地震データ、ASCIIデータ、Unicodeデータ、二値データ、財務データを含んでいてもよい。
矢印5で示すように、処理中の個別フレーム1のブロックは、第1の予測フレーム2の対応するブロックと比較される。実際には、第1の予測フレーム2は、前に処理した個別フレームの内容を表す。映像の場合は、予測フレーム2は、入力データの1番目の個別フレーム或はイントラフレーム又はキーフレームが処理される際の、該映像の前の画像(又は一面黒或はそれ以外の事前に定義された又は送られた色のフレーム)を表していてもよく、比較は、例えば、個別フレーム1のどの部分(ブロック)が前の画像から変化したかを示す。従来、そのような比較を実行する多くの他の方法が知られている。この比較は、例えば、色値、輝度、あるいは濃度に基づいていてもよい。また、ブロックを変化ありと特定するか否かを判断する上で閾値を利用し、1つのみの画素における変化が必ずしも変化ありのフレームを示すものとして判断されず、例えば、閾値を超えブロックが変化ありと特定されるには十分な数の画素が変化している必要があることも従来知られている。そのような閾値は、いくつかの実装において、十分有意な検出差分のみが変化ありのブロックの検知のトリガーとなることを保証するために利用されてもよい。また、RD最適化(レート歪み最適化)を用いてブロックが変化なしか変化ありかの判断をしてもよい。変化なしのブロックの計算されたRD値は、その後ブロックを符号化するための符号化方法を用いて計算されたRD値と比較される。RD値は再現の質目標に依存し、次式により計算できる。
RD値 = 再現誤差+ラムダ*ビット
ここで、ラムダは質目標乗数である。小さいラムダ値(例えば0から5)は質目標が高いことを意味し、大きいラムダ値(例えば100から1000)は質目標が低いことを意味する。再現誤差は、例えば、絶対誤差合計(SAD)、自乗誤差合計(SSD)、平均絶対誤差(MAE)、平均自乗誤差(MSE)、最大絶対誤差(MaxAD)であってもよいが、これらに限らない。
この比較は、個別フレーム1の各ブロックを予測フレーム2の対応するブロックと比較することにより行われる。個別フレーム1のブロックは、例えば、矢印6で示す順番に処理されてもよい。処理中には、図2に示す中間データ7及び変化インディケータ8が生成される。
図示の例においては、例示として、個別フレーム1の左上角のブロックが予測フレーム2の左上角のブロックに対応するものと想定されており、したがって、このブロックは変化なしと特定される。この変化なしのブロック4は、中間データ7に含めないことにより削除される。ただし、変化インディケータ8は、フレーム1の1番目の処理ブロックが変化なしであることを「0」(図2の左端)により示すように生成される。
一方、フレーム1の上段の左から2番目のブロックは、予測フレーム2の上段の左から2番目のブロックに対応しないと想定されている。したがって、このブロックは変化ありのブロックと特定される。この変化ありのブロック3は中間データ7に含められ、変化インディケータ8は、フレーム1の2番目の処理ブロックが変化ありであることを「1」により示すように生成される。
フレーム1のすべてのブロックについて上述のように処理が続けられ、図1に示す1番目の処理された個別フレーム1について、図2に示す中間データ7及び変化インディケータ8が生成される。図2から分かるように、中間データ7は、1番目の処理された個別フレーム1について4つの変化ありのブロック3の画像データのみを含み、この処理されたフレーム1についての変化インディケータ8は、フレームが処理された順に、変化ありのブロック3の位置を「1」で、(削除された)変化なしのブロック4の位置を「0」で示す。1番目のブロックの中間データ7及び変化インディケータ8は、記憶されるか又は更なる処理のために転送される。
入力データの1番目のブロックが処理されると、予測フレーム2が必要に応じて修正される。この修正は、図3に示すように、1番目の処理済み個別フレーム1で変化ありのブロック3として特定されたブロックの画素が、1番目の予測フレーム2の対応する位置にコピーされるように実行してもよい。
この後、新たな個別フレームが入力データから受け取られると、この新たな個別フレームは、上述の1番目の個別フレームの場合と同じ方法で、ただし1番目の修正済み予測フレームと比較することによって処理される。この処理によって、更なる中間データおよび更なる変化インディケータが生成され、これらはやはり記憶されるか更なる伝送のために転送される。
2番目の個別フレームの処理の後、1番目の予測フレームが(必要に応じて)再び修正され、受信した入力データのすべての個別フレームが同様に処理されるまで処理は継続される。時には、映像やシーンが2つの映像フレーム間で大きく変化するであろうし、当該フレームに対してイントラフレーム又はキーフレームが必要となることもある。このような目的のために、別途全体変化情報(例えば、参照フレームに対する全体動作情報、スケール、乗数、又は加算/減算値)又は参照フレームが初期化されるという指示(及び任意で初期化値)を、プロセッサから再生装置へ送信し、再生装置で中間データを処理する際に2番目の予測フレームとして用いることができる。このようにして、プロセッサと再生装置が同様に動作することにより、動作の成功を保証できる(類似フレームが予測及び再現に用いられる)。
図4に、図1乃至3の処理で生成される中間データおよび変化インディケータに基づく再生を示す。
図4において、2番目の予測フレーム9は、図1乃至3に示す入力データの1番目の個別フレーム1の処理中に生成される、変化ありのブロック3を含む中間データ7及び変化インディケータ8を利用して修正される。2番目の予測フレーム9のブロックは、矢印6で示すように、図1と同じ順番で処理される。
受信した中間データ7に含まれる変化ありのブロック3は1つずつ取得され、受信した変化インディケータを用いて、2番目の予測フレーム9のデータを修正する上でどの位置に変化ありのブロック3を用いるべきかを決定する。例えば、変化インディケータの1番目の「0」は、2番目の予測フレーム9の左上のブロックは修正すべきでないことを示し、一方、2番目の「1」は、予測フレーム9の左上角から2番目のブロックは、中間データの1番目の変化ありのブロック3の内容を用いて修正すべきであることを示す。
2番目の予測フレーム9全体について処理が繰り返されると、修正済みの2番目の予測フレーム9の内容を含むように出力データが生成される。この段階で、図1乃至3における2番目の個別フレームの処理により生成される中間データおよび位置インディケータの処理が開始される。この段階では、上述のように修正された2番目の予測フレーム9は、上述と同様に更なる修正に用いられる。最後に、やはり新たに修正された2番目の予測フレーム9の内容を含むように出力データが生成される。
結果として、再生においては、十分な正確性で元の入力データに対応する出力データが生成される。
図5に、プロセッサと再生装置を有するシステムを示す。プロセッサと再生装置は、図1乃至4との関連で説明してきたように動作するように構成されてもよい。
図5に、処理する入力データ10を受信するプロセッサ12と、プロセッサ12からデータを受信し、その後入力データ10に十分な正確性で対応する出力データ11を生成することができる再生装置13とを示す。
プロセッサ12及び再生装置13は、回路によって、又は回路とソフトウェアとの組み合わせによって、或は上述及び後述の説明によるタスクを実行するようにプログラマブル・コンピュータを制御するように構成されたコンピュータ・プログラム群として実装されてもよい。コンピュータ・プログラム群の場合は、各コンピュータ・プログラムは、コンピュータにより読取可能な非一時的コンピュータ記憶媒体に含まれていてもよい。
プロセッサ12は、比較器14を含む。比較器14は、図1に関連して説明したように、入力データ10を受信し、フレームを1つごとにデータブロックに分割し、処理される個別フレーム1と(メモリ15に保存されている)1番目の予測フレーム2のブロック同士を比較する。この比較に基づいて、変化ありのブロック3として検出されたブロックは生成される中間データ7に含められ、変化ありのブロック3及び変化なしのブロックの位置が変化インディケータ8に含められる。各個別フレームの処理の後、図3に関連して説明したように、必要であれば、メモリ15に保存されている1番目の予測フレーム2が、修正ブロック16により(必要に応じて)修正される。
中間データ7は、メモリ(図示略)に記憶された後、又は直接符号化器17に転送される。符号化器は、例えば、DiVX、MPEG4、JPEG或はJPE2000符号化器等の、標準的な既知の画像/映像符号化器であってもよい。既知の通り、そのような符号化器17は、中間データのデータサイズをかなり小さくすることができる。しかしながら、変化なしのブロックが既にプロセッサにより削除済みであることにより、符号化器17は元の入力データ10の全ブロックを処理する必要はなく、変化ありのブロック3のみを処理すればよいので、符号化がはるかに効率的になる。さらに、再生装置による後の使用のために伝送される(伝送前にメモリに記憶される場合もありうる)データの量を最小化することができる。
映像等の元データを再生するために、符号化された中間データが、メモリ(図示略)に記憶された後、又は直接復号器18に転送される。復号器18もまた、例えば、既知の標準的な画像/映像復号器であってもよい。復号器は中間データ7を復元し、それをメモリ(図示略)に記憶した後、又は直接再生装置13に転送する。
修正ブロック19は、図4に関連して説明したように、中間データ7及び変化インディケータ8を利用して、メモリ20に保存されている2番目の予測フレーム9を修正する。出力データ11は、再生装置が2番目の予測フレーム9の内容を出力データ11に含めることにより生成される。結果として、出力データ11は十分な正確性で入力データ10に対応し、例えば、元の(例えば)映像をディスプレイに表示できる。
図5においては、例として、符号化器17及び復号器18は、標準的な既知の符号化器及び復号器であると想定されている。したがって、そのような符号化器及び復号器は変化インディケータ8を扱うことができないため、図5の例では、変化インディケータは、直接又はメモリ(図示略)に記憶された後、直接プロセッサ12から再生装置13へ転送される。しかしながら、変形された非標準的符号化器又は復号器を利用して、符号化器又は復号器或はその両方が変化インディケータ8を受信し処理できるようにした場合は、変化インディケータも符号化器及び/又は復号器を介して転送してもよい。符号化器及び復号器が変化インディケータを処理できる場合、符号化器に送られるフレームのサイズは入力フレームのサイズと同様であるが、符号化器及び復号器では、変化インディケータによれば変化なしのブロックのデータ値は処理(符号化及び復号化)において単に無視され、それらのブロックのデータ値が予測フレームのデータ値と同様になることもありうる。これにより、符号化器及び復号器における処理量及びデータ送信量を最小化しつつ、変化ありのブロックを例えば動き推定手法を用いて符号化できる。これは、ブロック位置が保存され、また予測フレームが必要なデータ値をすべて含んでいることにより可能になる。当然、符号化器17をプロセッサ12と一体化したり、及び/又は復号器18を再生装置13と一体化することもできる。
ここまで、処理及び再生について、主に映像及び映像の画像を参照して図1乃至5に関連して説明してきたが、実際には入力データは映像以外の種類のデータであってもよい。例えば、入力データは音声データであってもよく、この場合はフレームに音声信号のサンプルが含まれる。例えば、1つのフレームに200のサンプルが含まれていてもよい。その場合の比較は、処理される個別フレームの変化ありのブロックと変化なしのブロックを特定するために、例えば、サンプルの周波数及び/又は強度を比較することにより実行してもよい。またその場合は、音声信号を処理するのに適した符号化器及び復号器を利用してもよい。
静止画像符号化用の代替案としては、例えば、データブロックの各行(又は列)を1つのフレームとして処理することが挙げられる。これにより、静止画像にも複数のフレームを含めることができ、この種の方法により、個々の画像がフレームである映像フレームで用いられる時間情報の代わりに空間情報を用いた予測が可能になる。
図6に、入力データ処理の第3の実施形態を示す。この第2の実施形態は、図1乃至5に関連して説明した実施形態にかなりの程度対応する。したがって、図6の実施形態は、主にこれらの実施形態間の差異を指摘することにより説明する。
標準的な画像/映像符号化器の中には、符号化する必要のある画像のフレームサイズに関する情報を必要とするものがある。したがって、図6の実施形態においては、1番目の個別フレーム1(図6の右側)及びそれに続く個別フレーム1(図6の左側)の処理中に生成される中間データ7'は、フレームサイズを示すヘッダ21を含む。図示の例では、ヘッダ21は、フレームサイズを4×1や6×1といった形式で示しており、ここでの数字は、水平方向及び垂直方向にフレーム内に含まれるブロック(例えば8×8画素のブロック)の数を表す。ただし、これは一例に過ぎない。実際には、各フレームにつき符号化する必要のあるブロックの数が符号化器に明確に伝われば、フレームのサイズや形式(4×1の代わりに2×2又は1×4、6×1の代わりに1×6又は3×2又は2×3)は重要ではない。ブロックサイズ(例えば8×8画素)があらかじめ決まっていない場合は、フレームサイズ・インディケータは、水平方向及び垂直方向のブロック数に加えてブロックサイズの情報を含んでいてもよい。これに代えて、例えばM×N画素のように、フレームサイズを直接、フレーム全体の水平方向及び垂直方向の画素数として指示してもよく、この場合、ブロック数は必ずしも指示しなくてもよい。
図7に、入力データ処理の第2の実施形態を示す。この第2の実施形態は、図1乃至6に関連して説明した実施形態にかなりの程度対応する。したがって、図7の実施形態は、主にこれらの実施形態間の差異を指摘することにより説明する。
図7において、入力データに含まれる個別フレーム1は、サイズの異なるブロックに分割される。したがって、正しく再生するために、変化インディケータはさらに、処理された個別フレームのブロックのサイズを指示する。
図示の例では、個別フレーム1は、第1段階として、同じ事前に定義されたサイズのA、B、C、D、E、Fの6ブロックに分割される。しかしながら、この6つのブロックはそれぞれ4つのサブブロックに分割されてもよく、各サブブロックはさらに4つのサブブロックに分割されてもよい。
図7に示すようにブロックに分割された個別フレーム1の比較を正しく実行するために、1番目の予測フレームを同様にブロックに分割する。これにより、同じサイズのブロック同士を比較できるようになる。
サイズ・インディケータは、ブロックごとに、そのブロックが4つのサブブロックに分割されていなければ「0」、分割されていれば「1」である、第1のインディケータを含んでいてもよい。ブロックが4つのサブブロックに分割されている場合、そのサブブロックがさらに4つのサブブロックに分割されているか否かを示す、4つのインディケータがそれに続く。図示の例の場合、サイズ・インディケータは「0 0 1 0000 0 1 0010 0000 1 1000 0000」の形式をとる。ここで、最初の2つの「0」は、最初のブロックA及びBが分割されていないことを示し、3番目のブロックCは分割されている(「1」)がその4つのサブブロックは分割されておらず(「0000」)、4番目のブロックDは分割されておらず(「0」)、5番目のブロックEは4つのサブブロックに分割されており(「1」)、そのうち最初の2つのサブブロック(E1、E2)は分割されていないが、サブブロックE3は4つのサブブロックに分割されており、サブブロックE4は分割されていない(「0010」)等となっている。
上述のサイズ・インディケータが変化インディケータ8に含まれ、変化ありのブロックを(それらのサイズに関わらず)含む中間データ7とともにプロセッサ12から再生装置13に転送される場合、再生装置13は、ブロックサイズも考慮に入れつつ、図7に示す個別フレーム1に十分な正確性で対応するフレームを再生できる。
図7の実施形態は、前述の実施形態と組み合わせて使用して、入力データのいくつかのフレームは固定標準サイズのブロックに分割され、別のいくつかのブロックはサイズの異なるブロックに分割されるようにしてもよい。その場合、サイズ・インディケータは、固定標準サイズに分割されていないブロックについてのみ変化インディケータ8に含めればよい。
当然、図7に関連して説明した、フレームをサイズの異なるブロックに分割する方法は一例に過ぎず、実際は他の方法でフレームをサイズの異なるブロックに分割してもよく、この場合は、変化インディケータ8に含まれるサイズ・インディケータはブロックサイズを別の方法で指示する。代替案として、より小さいサイズの初期ブロックを利用し、これを適宜組み合わせてより大きなブロックにしてもよい。
前述の例に代えて、プロセッサ及び再生装置は再帰的に用いられてもよい。つまり、入力データの同じフレームをプロセッサにより複数回処理し、フレームを処理するたびに再現画像の質を高めるようにできる。再帰処理により、毎回すべての変化指示値を送ることもできるし、前の指示値から変化した値のみを次の回で送ることもできる。そのような解決策は、次のように実装されてもよい。1回目は、入力データのフレームをプロセッサにより処理し、中間データおよび変化インディケータを再生装置に転送し、1番目の予測フレームを更新する。2回目は、入力データの同じフレームを、今度は更新された1番目の予測フレームを用いて再び処理する。やはり、中間データおよび変化インディケータを再生装置に転送し、1番目の予測フレームを更新する。2回目の後、入力データの同じフレームを再び、又は2回以上、その各回において、最新の更新された1番目の予測フレームを利用して処理してもよい。したがって、1番目の予測フレームが入力データの処理されるフレームに十分近くなるまで、入力データの同じフレームが少しずつ再帰的に処理される。すべての回において変化あり/変化なしの情報をすべてのブロックについて送ることもできるし、前回から変化したブロックについてのみ次回に情報を送ることもできる。
図8に、プロセッサと再生装置を有するシステムの第2の実施形態を示す。図8の実施形態は、図5に関連して説明した実施形態と非常によく似ている。したがって、図8の実施形態は、主にこれらの実施形態間の差異を指摘することにより説明する。
図8において、一体化された符号化器17を有するプロセッサ12'が利用される。同様に、再生装置13'は、一体化された復号器を有する。したがって、入力データ10を処理し出力データ11を再生するために必要なのは、たった2つの要素で済む。
図9に、プロセッサと再生装置を有するシステムの第3の実施形態を示す。図9の実施形態は、図5の実施形態と非常によく似ている。したがって、図9の実施形態は、主に図5の実施形態と図9の実施形態との差異を指摘することにより説明する。
図5においては、例として、符号化器17は標準的な既知の符号化器であると想定されている。一方、図9においては、符号化器17''は標準的な符号化器ではなく、変化インディケータ8を受信し処理することのできる符号化器である。結果として、プロセッサ12''において変化なしのブロック4を削除する必要がない。その代わりに、中間データ7''が、変化ありのブロック3及び変化なしのブロック4の両方を含んでいてもよい。プロセッサ12''の比較ブロック14''からの変化インディケータ8に基づいて、符号化器17''は正しいブロック、すなわち変化ありのブロック3のみを選択して符号化することができる。符号化は前述の実施形態と同様に実行されるため、復号器18及び再生装置13は前述の実施形態の復号器及び再生装置に対応する。結果として、変化なしのブロック4の削除は符号化器17''により実行される。したがって、符号化器17''と復号器18との間で(直接又はメモリに記憶後)伝送されるデータの量を最小化できる。
図9はまた、1番目の予測フレーム2を修正する上で、中間データ7''に含まれる変化ありの移動ブロック3について実行される符号化及び復号化動作が考慮に入れられることを、破線により示している。これにより、符号化及び復号化動作により発生しうる修正が、1番目の予測フレーム2に正確に反映されることが保証できる。
図9においては、例として、符号化器17''はプロセッサ12''に含まれないと想定している(ただし含まれていてもよい)。中間データ7''及び変化インディケータ8は、メモリ(図示略)に記憶された後、又は直接プロセッサ12''から符号化器17''に転送される。符号化器から取得した信号は、追加的な復号器18(プロセッサ12''と一体化されていても別個の要素であってもよい)を介して修正ブロック16''に返送され、メモリ15に保存されている1番目の予測フレーム2を修正する際に利用される。
符号化及び復号化を考慮に入れることにより得られる効果として、1番目の予測フレーム2が常に可能な限り2番目の予測フレーム9に対応し、これにより質が向上する。さらに、符号化器17''がプロセッサと一体化されている場合は、符号化器及びプロセッサは動作中に同じ1つの1番目の予測フレームを利用してもよい。
上記の記載および添付図面は、単なる例示として意図されていることは理解されるであろう。請求項の範囲から逸脱することなく他の形態や変形が可能であることは、当業者には明らかであろう。

Claims (15)

  1. 入力データ(10)を受信し、
    前記入力データに含まれる個別フレーム(1)をブロックに分割し、
    前記個別フレーム(1)のブロックを第1の予測フレーム(2)の対応するブロックと比較することにより、比較されたブロック内の差分を検出し、
    前記個別フレーム(1)の差分が検出されたブロックを変化ありのブロック(3)と特定し、
    前記個別フレーム(1)の差分が検出されなかったブロックを変化なしのブロック(4)と特定し、
    処理された各個別フレーム(1)について、変化ありのブロック(3)と特定された前記ブロックを含む中間データ(7、7'、7'')を生成する
    ように構成されたプロセッサ(12、12'、12'')において、
    前記個別フレーム(1)が処理される順番に、各ブロックについて該ブロックが変化ありのブロック(3)であるか変化なしのブロック(4)であるかを示す変化インディケータ(8)を生成するように構成されることを特徴とする、プロセッサ。
  2. 処理される各個別フレーム(1)について、変化なしのブロック(4)と特定された前記ブロックを前記生成される中間データ(7、7')に含めないことにより削除するように構成されることを更なる特徴とする、請求項1に記載のプロセッサ。
  3. 処理される各個別フレーム(1)について、変化なしのブロック(4)と特定された前記ブロックも前記生成される中間データ(7'')に含めるように構成されることを更なる特徴とする、請求項1に記載のプロセッサ。
  4. 処理される各個別フレーム(1)について、後続の個別フレームの処理が実行される際に、前に処理された個別フレーム(1)の少なくとも変化ありのブロック(3)と特定されたブロックが、前記第1の予測フレーム(2)において、前記前に処理された個別フレームの対応するブロックに対応するように修正されているように、前記第1の予測フレーム(2)を修正するように構成されることを更なる特徴とする、請求項1乃至3の何れかに記載のプロセッサ。
  5. 処理される各個別フレーム(1)について、符号化及び復号化の動作の後、前記中間データ(7'')の変化ありのブロック(3)の内容を示す信号を利用して、前記第1の予測フレーム(2)を修正するように構成されることを更なる特徴とする、請求項1乃至3の何れかに記載のプロセッサ。
  6. 前記入力データ(10)に含まれる個別フレーム(1)をサイズの異なるブロックに分割し、
    前記変化インディケータ(8)を、さらに前記処理された個別フレーム(1)のブロックのサイズを示すように生成する
    ように構成されることを更なる特徴とする、請求項1乃至5の何れかに記載のプロセッサ。
  7. 前記検出された差分を閾値と比較し、前記個別フレーム(1)の検出された差分が前記閾値を超えるブロックを変化ありのブロック(3)と特定し、前記個別フレーム(1)の検出された差分が前記閾値を超えないブロックを変化なしのブロックと特定するように構成されることを更なる特徴とする、請求項1乃至6の何れかに記載のプロセッサ。
  8. 中間データが再生装置により処理される際に第2の予測フレームとして用いるための全体変化情報指示を前記再生装置に転送するように構成されることを更なる特徴とする、請求項1乃至7の何れかに記載のプロセッサ。
  9. 中間データ(7)を受信し、
    前記受信した中間データ(7)から、変化ありのブロック(3)と特定されたブロックを取得し、
    前記受信した中間データ(7)を利用して第2の予測フレーム(9)を修正し、
    前記修正された第2の予測フレーム(9)の内容を含む出力データ(11)を生成する
    ように構成された再生装置(13、13')において、
    前記第2の予測フレーム(9)が処理される順番に、各ブロックについて該ブロックが修正されるべきかされるべきでないかを示す変化インディケータ(8)を受信し、
    前記取得した変化ありのブロック(3)を、前記第2の予測フレーム(9)内の前記変化インディケータ(8)によれば修正すべき前記ブロックの位置に含めることにより、前記修正を実行する
    ように構成されることを特徴とする、再生装置。
  10. 前記変化インディケータ(8)を介して前記第2の予測フレーム(9)の別々のブロックのサイズの指示を受信し、
    前記別々のブロックの指示されたサイズを考慮して前記予測フレーム(9)の前記修正を実行する
    ように構成されることを更なる特徴とする、請求項9に記載の再生装置。
  11. 中間データが前記再生装置により処理される際に前記第2の予測フレームとして用いるための全体変化情報指示を受信するように構成されることを更なる特徴とする、請求項9乃至10の何れかに記載の再生装置。
  12. 入力データ(10)に含まれる個別フレーム(1)をブロックに分割することと、
    前記個別フレーム(1)のブロックを第1の予測フレーム(2)の対応するブロックと比較することにより、比較されたブロック内の差分を検出することと、
    前記個別フレームの差分が検出されたブロックを変化ありのブロック(3)と特定することと、
    前記個別フレームの差分が検出されなかったブロックを変化なしのブロック(4)と特定することと、
    処理された各個別フレームについて、変化ありのブロック(3)と特定された前記ブロックを含む中間データ(7、7')を生成することと、
    を含む、受信された入力データ(10)を処理する方法において、
    前記個別フレーム(1)が処理される順番に、各ブロックについて該ブロックが変化ありのブロック(3)であるか変化なしのブロック(4)であるかを示す変化インディケータ(8)を生成することを含むことを特徴とする、方法。
  13. 中間データ(7)を受信することと、
    前記受信した中間データ(7)から、変化ありのブロック(3)と特定されたブロックを取得することと、
    前記受信した中間データ(7)を利用して第2の予測フレーム(9)を修正することと、
    前記修正された第2の予測フレーム(9)の内容を含むように出力データ(11)を生成することと
    を含む、前記出力データ(11)の生成方法において、
    前記第2の予測フレーム(9)が処理される順番に、各ブロックについて該ブロックが修正されるべきかされるべきでないかを示す変化インディケータを受信することと、
    前記取得した変化ありのブロック(3)を、前記第2の予測フレーム(9)内の前記変化インディケータ(8)によれば修正すべき前記ブロックの位置に含めることにより、前記修正を実行することと、
    を含むことを特徴とする、方法。
  14. プログラマブル・コンピュータを制御して請求項12又は13に記載の方法を実行させるように構成されることを特徴とするコンピュータ・プログラム。
  15. 請求項14に記載のコンピュータ・プログラムが符号化されていることを特徴とする、コンピュータ可読記憶媒体。
JP2016518555A 2013-06-17 2014-06-16 フレームの処理及び再生 Active JP6363181B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP20130172237 EP2816807A1 (en) 2013-06-17 2013-06-17 Processing and reproduction of frames
EP13172237.3 2013-06-17
PCT/FI2014/050479 WO2014202830A1 (en) 2013-06-17 2014-06-16 Processing and reproduction of frames

Publications (3)

Publication Number Publication Date
JP2016530750A true JP2016530750A (ja) 2016-09-29
JP2016530750A5 JP2016530750A5 (ja) 2017-04-27
JP6363181B2 JP6363181B2 (ja) 2018-07-25

Family

ID=48625906

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016518555A Active JP6363181B2 (ja) 2013-06-17 2014-06-16 フレームの処理及び再生

Country Status (4)

Country Link
EP (2) EP3133815A1 (ja)
JP (1) JP6363181B2 (ja)
CN (1) CN105474644B (ja)
WO (1) WO2014202830A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6261020B2 (ja) * 2016-06-28 2018-01-17 株式会社Nexpoint 画面画像転送方法及び画面画像復元方法
JP6284172B1 (ja) * 2017-12-06 2018-02-28 株式会社Nexpoint 画面画像転送方法、画像復元方法、画面画像転送システム、画像復元システム、画面画像転送プログラム、画像復元プログラム、画像圧縮方法、画像圧縮システム、画像圧縮プログラム
CN112218087B (zh) * 2020-11-27 2021-05-04 浙江智慧视频安防创新中心有限公司 图像编码和解码方法、编码和解码装置、编码器及解码器
CN113379583A (zh) * 2021-05-31 2021-09-10 北京达佳互联信息技术有限公司 图像签名方法、装置、计算设备及存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05284368A (ja) * 1992-03-31 1993-10-29 Fujitsu Ltd 画像データ符号化・復元方法及びその装置
JPH05284369A (ja) * 1992-03-31 1993-10-29 Fujitsu Ltd 画像データ符号化・復元方法及びその装置
JPH06105303A (ja) * 1992-09-21 1994-04-15 Fujitsu Ltd 画像データ符号化方法及び装置
JPH06153180A (ja) * 1992-09-16 1994-05-31 Fujitsu Ltd 画像データ符号化方法及び装置
JPH06217273A (ja) * 1993-01-13 1994-08-05 Fujitsu Ltd 画像データ符号化方法および装置
JPH0795565A (ja) * 1993-09-21 1995-04-07 Fujitsu Ltd 画像データ復元装置および方法
JPH07131787A (ja) * 1993-11-05 1995-05-19 Fujitsu Ltd 画像データ符号化方法および装置
JPH07231445A (ja) * 1994-02-18 1995-08-29 Hitachi Ltd 画像符号化方法およびその装置
JPH07298060A (ja) * 1994-04-22 1995-11-10 Fujitsu Ltd 画像データ符号化方法及び装置ならびに画像データ復元方法及び装置
US20060016007A1 (en) * 2004-06-11 2006-01-26 Hornbach David W Hospital bed for the treatment of pulmonary diseases and nosocomial pressure ulcers
WO2006016007A1 (en) * 2004-08-12 2006-02-16 Gurulogic Microsystems Oy Processing of video image
US20100231599A1 (en) * 2009-03-16 2010-09-16 Microsoft Corporation Frame Buffer Management

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI70662C (fi) * 1984-12-14 1986-09-24 Valtion Teknillinen Videokomprimeringsfoerfarande
US5228098A (en) * 1991-06-14 1993-07-13 Tektronix, Inc. Adaptive spatio-temporal compression/decompression of video image signals
US9232228B2 (en) * 2004-08-12 2016-01-05 Gurulogic Microsystems Oy Processing of image
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
CN103002284B (zh) * 2012-11-20 2016-06-08 北京大学 一种基于场景模型自适应更新的视频编解码方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05284368A (ja) * 1992-03-31 1993-10-29 Fujitsu Ltd 画像データ符号化・復元方法及びその装置
JPH05284369A (ja) * 1992-03-31 1993-10-29 Fujitsu Ltd 画像データ符号化・復元方法及びその装置
JPH06153180A (ja) * 1992-09-16 1994-05-31 Fujitsu Ltd 画像データ符号化方法及び装置
JPH06105303A (ja) * 1992-09-21 1994-04-15 Fujitsu Ltd 画像データ符号化方法及び装置
JPH06217273A (ja) * 1993-01-13 1994-08-05 Fujitsu Ltd 画像データ符号化方法および装置
JPH0795565A (ja) * 1993-09-21 1995-04-07 Fujitsu Ltd 画像データ復元装置および方法
JPH07131787A (ja) * 1993-11-05 1995-05-19 Fujitsu Ltd 画像データ符号化方法および装置
JPH07231445A (ja) * 1994-02-18 1995-08-29 Hitachi Ltd 画像符号化方法およびその装置
JPH07298060A (ja) * 1994-04-22 1995-11-10 Fujitsu Ltd 画像データ符号化方法及び装置ならびに画像データ復元方法及び装置
US20060016007A1 (en) * 2004-06-11 2006-01-26 Hornbach David W Hospital bed for the treatment of pulmonary diseases and nosocomial pressure ulcers
WO2006016007A1 (en) * 2004-08-12 2006-02-16 Gurulogic Microsystems Oy Processing of video image
US20100231599A1 (en) * 2009-03-16 2010-09-16 Microsoft Corporation Frame Buffer Management

Also Published As

Publication number Publication date
CN105474644B (zh) 2019-11-05
WO2014202830A1 (en) 2014-12-24
EP3133815A1 (en) 2017-02-22
JP6363181B2 (ja) 2018-07-25
CN105474644A (zh) 2016-04-06
EP2816807A1 (en) 2014-12-24

Similar Documents

Publication Publication Date Title
JP2021524176A (ja) ビデオ符号化のための方法、機器及びコンピュータ・プログラム
JP2019024241A (ja) 方法、装置、及びプログラム
KR102336179B1 (ko) 비디오 데이터 처리 시스템
JP2019500811A (ja) 画像復号化・符号化方法、復号化・符号化装置
CN105163127A (zh) 视频分析方法及装置
JP6363181B2 (ja) フレームの処理及び再生
US9503751B2 (en) Method and apparatus for simplified depth coding with extended prediction modes
JP6708374B2 (ja) 画像群内で修正可能要素のセットを決定するための方法、デバイス、プログラム、及び可読媒体
WO2014166338A1 (en) Method and apparatus for prediction value derivation in intra coding
US9509991B2 (en) Processing and reproduction of frames
JP2018533273A5 (ja)
JP2014143671A5 (ja)
KR102453803B1 (ko) 이미지 처리 방법 및 장치
JP6209026B2 (ja) 画像符号化装置及びその制御方法
US20230370600A1 (en) A method and apparatus for encoding and decoding one or more views of a scene
US11363286B2 (en) System and method for improved video operations
CN112004114B (zh) 视频处理方法、装置、可读存储介质及电子设备
US10304420B2 (en) Electronic apparatus, image compression method thereof, and non-transitory computer readable recording medium
JP2014011572A5 (ja) 動画像予測復号装置、方法及びプログラム
JP6221820B2 (ja) 符号化装置、符号化方法および符号化プログラム
US10218978B2 (en) Data processing systems
EP3110156B1 (en) A system and a method for disoccluded region coding in a multiview video data stream

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170327

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170327

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20170327

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20170403

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170626

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170920

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20171124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180627

R150 Certificate of patent or registration of utility model

Ref document number: 6363181

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250