JP2011505083A - 品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム、方法及びプログラム - Google Patents

品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム、方法及びプログラム Download PDF

Info

Publication number
JP2011505083A
JP2011505083A JP2010531382A JP2010531382A JP2011505083A JP 2011505083 A JP2011505083 A JP 2011505083A JP 2010531382 A JP2010531382 A JP 2010531382A JP 2010531382 A JP2010531382 A JP 2010531382A JP 2011505083 A JP2011505083 A JP 2011505083A
Authority
JP
Japan
Prior art keywords
image
file size
conversion
images
calculator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010531382A
Other languages
English (en)
Other versions
JP5176175B2 (ja
Inventor
ピジョン、スティーブン
フランシェ、ジーン−フランソワ
クーロン、ステファン
Original Assignee
エコール・ドゥ・テクノロジー・スュペリュール
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by エコール・ドゥ・テクノロジー・スュペリュール filed Critical エコール・ドゥ・テクノロジー・スュペリュール
Publication of JP2011505083A publication Critical patent/JP2011505083A/ja
Application granted granted Critical
Publication of JP5176175B2 publication Critical patent/JP5176175B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4092Image resolution transcoding, e.g. by using client-server architectures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/149Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/48Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

少なくとも1つの品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム及び方法であって、入力部は、(a)画像変換前の画像のファイルサイズ、(b)画像変換前の画像の少なくとも1つの品質制御パラメータについての情報、(c)画像変換時の画像に対して利用される少なくとも1つの品質制御パラメータについての情報、及び(d)画像変換時の画像に対して利用されるスケーリング係数を受信する。相対サイズ予想は、受信した品質制御パラメータ情報及びスケーリング係数に基づいて計算される。画像変換後の画像のファイルサイズは、画像変換前の画像ファイルサイズと計算された相対サイズ予想との関数として最終的に計算される。
【選択図】図1

Description

本発明は主に画像トランスコーディングに関する。より具体的には、本発明は品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム及び方法に関連する。
近年、携帯端末、電子デバイス、コミュニケーション及びマルチメディアアプリケーションの異種性質のために、マルチメディアトランスコーディングが必須のものとなっている。例えば、新たなマルチメディアメッセージサービス(MMS)においては、送り先の携帯端末が現行のフォーマットで受信したメディアを取り扱えないときに相互運用性を保証するためにはサーバ側の適合が必要となる。画像関連の相互運用性の問題は主に、過度の解像度又はファイルサイズに起因する。従って、画像トランスコーディング動作は、通例、画像スケーリング及びファイルサイズ縮小に関連する。
画像の解像度を減少することはよく知られており、確定的な問題であるが、所望の目標を満たす目的で画像の圧縮ファイルサイズを効率的に縮小することは依然として困難である。例えば、非可逆のJPEG(Joint Photographic Experts Group)フォーマットにおいては、ユーザは通常、品質係数(QF)を制御する。品質係数は、量子化プロセスに影響を与え、それゆえ、圧縮ファイルサイズに影響を与える。実際、より高いQFは、より良い画像品質及びより大きいファイルサイズにつながる。しかしながら、QFと圧縮ファイルサイズとの間の関係を確立するときには、他の画像特性を考慮する必要があるので、QFと圧縮ファイルサイズとの間の正確な関係性はまだ十分にない。
画像のファイルサイズ縮小に対しての単純なトランスコーディングアプローチは、画像をデコードすること、その後に、許容範囲内において所望の目標サイズが実現できるまで異なるQF値によって画像を反復的に再エンコードすることを含み得る。このアプローチは機能的ではあるが、計算の観点からは非常に非効率であり、高容量画像トランスコーディングサーバにとっては容認できないものである。
幾つかの研究において、量子化とファイルサイズ又はビットレートとの間の関係が調べられている。これらの研究は興味深い結果を提供しているが、多くの条件を保持できないので、QF値の変更及びスケーリングによって変換されるJPEG画像ファイルサイズを予想する提案されたコンテキストにおいてはこれらの実行は困難である。例えば、研究の多くは、オリジナルの加工されていない画像から始まっている。また、これらの研究の幾つかは、JPEGよりも単純な量子化スキームを用いるMPEGビデオコーディングのコンテキストにおいてなされている。更に重要なことに、これらの研究は、公式の適合戦略として、画像のスケーリングを無視している。提案されたコンテキストにおけるこれらの差異の影響については以下で説明される。
更に、JPEGサイズ適合特有の問題点に対処する目的で、興味深い方法が提案されている(例えば、Ratnakarその他に2001年5月15日に付与された特許文献、US 6,233,359 B1、及び、2003年9月、Signal Processing: Image communication, 18(8):621−639、J. Ridge著、論文"Efficient transform−domain size and resolution reduction of images"を参照のこと)。J. Ridgeの論文に記載されたとおり、特許文献US 6,233,359 B1の方法は、2つの重要な欠点であるが、ユーザ経験以上の複雑性に対処しており、そしてまた、ファイルサイズ目標に届かない傾向がある。J. Ridgeの方法は、特許文献、US 6,233,359 B1に開示された方法よりはるかに良好な結果を提供するとはいえ、特に、ファイルサイズ縮小ストラテジーとしてスケーリングを取り扱わないことにおいて、これら2つの方法は依然として重要な欠点又は制限を有する。このため、現行の方法を更に調査及び改善する必要がある。
例えば、現行のアルゴリズムは、最初に、幾つかの画像統計を集める必要がある。そのため、処理の複雑性が増大するばかりではなく、画像圧縮ツールのある程度のリエンジニアリングが必要となる。このため、JPEGエンコーダ/デコーダソフトウェアは、特化したトランスコーダにならざるを得ない。
第2に、これらのアルゴリズムは、画像解像度を固定値又は前段階で独立して変更されたものとして考慮して、ファイルサイズ縮小だけに焦点を当てている。しかしながら、品質制御パラメータ及びスケーリング両方の変更がもたらす影響の研究が必要となるであろう。実際、このことは、端末の制限を満たすスケーリング及びQF値の最良の組み合わせを選択するために有効であろう。特に、低品質で高解像度の画像より、高品質でより低解像度の場合に、大抵好ましい。
本発明の目的は、品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム及び方法を提供することである。これらのシステム及び方法は、上記の問題及び欠点を克服することができる。
より具体的には、本発明に従って、少なくとも1つの品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想する方法が提供される。本方法は、(a)画像変換前のファイルサイズ、(b)画像変換前の画像の少なくとも1つの品質制御パラメータについての情報、(c)画像変換時の画像に対して利用される少なくとも1つの品質制御パラメータについての情報、及び(d)画像変換時の画像に対して利用されるスケーリング係数を受信する工程を含む。本方法は、品質制御パラメータ及びスケーリング係数に関する受信した情報に基づいて、相対ファイルサイズ予想を計算する工程を含む。本方法は、画像変換後の画像のファイルサイズ予想を計算する工程を含む。画像変換後の画像のファイルサイズ予想は、画像変換前の画像のファイルサイズと計算された相対ファイルサイズ予想との関数として計算される。
本発明はまた、少なくとも1つの品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステムに関する。本システムは、(a)画像変換前の画像のファイルサイズ、(b)画像変換前の画像の少なくとも1つの品質制御パラメータについての情報、(c)画像変換時の画像に対して利用される少なくとも1つの品質制御パラメータについての情報、及び(d)画像変換時の画像に対して利用されるスケーリング係数を受信する入力部を含む。本システムは、品質制御パラメータ及びスケーリング係数に関する受信した情報に基づいて、相対ファイルサイズ予想を行なう計算器を含む。本システムは、画像変換後の画像のファイルサイズ予想を行なう計算器を含む。画像変換後の画像のファイルサイズ予想は、画像変換前の画像のファイルサイズと計算された相対ファイルサイズ予想との関数として計算される。
本発明の前述の及びその他の目的、利点及び特徴は、添付図面を参照して例としてのみ挙げられた、以下の実施例の非限定的記載を読みことでより明確になるであろう。
添付の図面においては:
本発明の第1の非限定的実施例に準じた、品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想する第1のシステムの概略ブロック図である。
本発明の第1の非限定的実施例に準じた、品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想する(図1の第1のシステムに対応した)第1の方法のトレーニング局面を示すフローチャートである。
本発明の第2の非限定的実施例に準じた、品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想する第2のシステムの概略ブロック図である。
本発明の第2の非限定的実施例に準じた、品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想する(図3の第2のシステムに対応した)第2の方法のトレーニング局面を示すフローチャートである。
推定量又はその等価配列の幾何学的解釈を示すグラフである。
クラスタリングの一例を示す図表である。
ファイルサイズ(バイト)の関数として零の割合を示すグラフである。 ファイルサイズ(バイト)の関数として零の割合を示すグラフである。
一般的に述べると、本発明の非限定的実施例に準じたシステム及び方法は、既に圧縮された、品質制御パラメータの変更及びスケーリングの両方によって変換される画像のファイルサイズを予想する。
また、本発明の非限定的実施例に準じたシステム及び方法は、少なくとも1つの品質制御パラメータ、この場合はQF(品質係数)、の変更及びスケーリングによって変換されるJPEG画像のファイルサイズを予想するものであるが、同一の概念は、GIF(グラフィック相互変換フォーマット)等の他の種類のフォーマット、及び、色数、色深度及び色成分サンプリング構造(4:4:4、4:2:2、4:2:0等)、水平及び垂直解像度、及びサンプリング係数等の他の品質制御パラメータを有する他の画像フォーマットに対して適用できることに注意されたい。本発明は、主として、明確にする及び記載を簡易に保つ目的で、1つの品質制御パラメータを用いて説明されているが、多くの品質制御パラメータに拡張できる。この点については、以下で詳細に説明する。
本発明の非限定的実施例に準じたシステム及び方法はまた、特定のサイズ制限を満たす、スケーリングとQFとの適切な組み合わせを選択するものである。更に、処理複雑性を最小化する目的で、ファイルサイズの予想をするシステム、以下ではファイルサイズ予想器と称される、は画像から容易に利用可能で容易に取得可能な値を使用する。
しかしながら、ファイルサイズ予想器について更に明確に述べる前に、画像コーパスをトレーニング及びテストする概念を説明する。
ファイルサイズ予想器及び/又はファイルサイズ予想方法をテストする目的で、複数の画像を含むコーパスが用いられる。有用なコーパスは、調査される母集団を代表する標本の集まり、本願の場合では、画像の集まりから形成される。現状では、標準的なJPEGデータベースは広く利用可能ではない。従って、人ごとのデータベース又は画像コーパスを構築する必要がある。例えば、インターネットから画像が集められて、画像コーパスが形成される。実際、クローラーは、人気のウェブページから始まるリンクを容易にたどることができる。これにより、トレンドが確保され、見つけた如何なる画像メディアをも素早く入手することができる。更に、画像コーパス内の画像の匿名性及び独自性は、例えば、全部のファイルに適用されるMD5(Message Digest 5)等の強固なハッシュ関数によって生成される識別子等の、独自の識別子を用いてファイル名を変えることによって、保障することができる。またコリジョンは、支障なく無視することができる。MD5等の強固なハッシュ関数は、計算されるドキュメントを特定する目的で容易に使用できるデジタル署名をドキュメントから算出する。MD5等のような非常に強固なハッシュ関数は、2つの異なるドキュメントに対して同一のデジタル署名を生成する可能性が極めて少ない。このため、同一のファイルを検知するのに非常に信頼性のある方法が実現できる。
これに加えて、画像コーパスは、複数の画像のトレーニングセット及び複数の画像のテストセットである、2つのランダムなバラバラなセットに分割される。トレーニングセットは、予想モデル及び方法を最適化する目的で使用される一方で、テストセットは、最適化された予想モデル及び方法を実際にテストするのに使用される。コーパスはかなり限られた数の標本を提示するので、品質制御パラメータ及びスケーリングの両方において多くの考えられる変換を適用することによって、新しい標本が生成される。これにより、はるかに多くの有用な標本集団と共にモデルを存在させることができる。
i)多項式予想及びii)ρ−ドメイン予想システム及び方法等の、現在用いられている画像ファイルサイズ予想システム及び方法を以下に説明する。
[i)多項式予想]
多項式予想は、予想を公式化する目的で、低位の多項式を用いる。一次元データの多項式フィッテングの算出が単純なタスクな場合には、しかしながら、フィッテングに対してより多くの変数を追加することにより、算出が必要な点の数が飛躍的に増加する。実際、Linその他(Procs. VCIP'96、1996年、111−122頁、論文"Rate control using spline−interpolated R−D characteristics")からの技術がn個の変数において、d位の多項式を使用して生成される場合、(d+1)個の未知数において、(d+1)n個の式を解く必要が生じる。これらの(d+1)個の式のそれぞれに対して、曲線上の点を評価する必要がある。Linその他によって提案された方法においては、このことは、各点に対して部分的トランスコーディングを実行する必要があることを意味し、このことは、容認できない量の計算をもたらす。
更に、多項式(たとえそれが一個の多項式であったとしても)の最適な位dが幾つであるか、及び、変数の数nを予想に幾つ含ませるべきであるかは不明である。少なくともスケーリング及び所望の出力品質係数QFoutが、予想の公式化のために用いられるべきである。入力品質係数QFinは、画像そのものの中に潜在し、このため、(d+1)個の点が算出されるときに、その計算に用いられる。この手順は、計算の観点から非常に費用がかかるので、その挙動を深く調査しないことが求められる。
QP(量子化パラメータ)及びQF(品質係数)は逆比例関係である点に注意されたい。高いQPは、より積極的な量子化を意味する一方で、高いQFは、より高い品質、従ってより積極的ではない量子化であることを意味する。QPは、規格H.263で使用されるような体系における量子化と直接的に関係している。しかしながら、JPEGにおいては、QFは、区分的変換関数が用いられる第1の工程と、量子化マトリクスが用いられる第2の工程とでなる2つの連続した工程を通した量子化と関係している。量子化マトリクスは、エンコードする前にDCT(離散コサイン変換)係数をも見積もる。本明細書においては、QFは、独立JPEGグループ(IJG)によって理解される、JPEG品質係数を表すことに注意されたい。
[ii)ρ−ドメイン予想]
ρ−ドメイン予想においては、ビットレートの正確な予想は、量子化によって得られる零の数の評価に基づいて算出される。
ρ−ドメイン予想においては、i)画像サイズの変更はされない、ii)目標ビットレートは非常に小さい、及びiii)原画像は圧縮器に利用できるとの仮定がなされる。規格H.263のコンテキストにおいては、最初の2つの仮定i)及びii)は有効である。しかしながら、原画像が圧縮器に利用できるとの仮定(仮定iii))は、画像適合及びトランスコーディングのコンテキストにおいて有効ではない。上記のとおり、原画像及び未処理画像は、通常、トランスコーディングエンジンに対しては利用できない。
ρ−ドメイン予想は、規格H.263のより粗い量子化を用いる。JPEGは、カスタマイズされ得る量子化マトリクスを用いる一方で、規格H.263はより単純な均一量子化器を用いる。量子化マトリクスによって生じる付加的な複雑性は、ρ−ドメイン予想のモデルを、JPEG適合に対してより適合しないものにする。
図7a及び7bは、ρ−ドメイン予想に準じた予想器が、非常に低いQFの領域内で線形であることを示す。より具体的には、零の数が、ビットレートに応じて線形に変化するのは、小さいビットレートのときだけである。しかしながら、図7bに示されたとおり、より広い領域のビットレートが考慮される場合、線形性は失われる。また、非常に小さいQFは、アーチファクト及び認識性の乏しい画像品質をもたらすので、JPEGを用いた静止画コーディングに対しては好ましくない。ユーザの経験を最大限生かすときには、ファイルサイズ制限を満たす中で考えられる最も高いQFが考慮されるべきである。
更に、ρ−ドメイン予想は計算の観点から費用がかかり、異なる領域の量子化パラメータ値を前提とする。
多項式予想ばかりではなく、ρ−ドメイン予想もかなり複雑であり、これらの予想はまた欠点を有する。第1に、多項式予想及びρ−ドメイン予想においては、大抵、原画像を用いる等の、トランスコーディングにおいては維持されない仮定をする。第2に、多項式予想及びρ−ドメイン予想は、ファイルサイズ縮小のためのスケーリング動作を無視する。従って、これらの推定は、スケーリング及びQF減少の合同評価にはつながらない。ρ−ドメイン予想は、スケーリングが行なわれるときは、トランスコードされたファイルサイズ予想の前に行なわれることを想定し、これにより、スケーリング及び品質係数の両方に基づいてファイルサイズ縮小に対する適合ストラテジーを公式化することができない。多項式予想は、理論的には、スケーリングもまた含むが、それをするための計算費用が非常に高い。なぜなら、使用される変数の数に応じて、必要とされるトランスコーディングの数が飛躍的に増えるからである。適合ストラテジーとしてスケーリングを無視することは、重要な欠点である。なぜなら、ユーザの経験を最大限生かす目的で、より小さいQFでただ再圧縮されるよりもむしろ、画像はスケールダウンされ、より高いQFを用いてエンコードされることが十分考えられるからである。従って、ファイルサイズ予想器は、QF変更に加えてスケーリングも考慮すべきである。
更に、画像の幅、高さ、スケーリング及びQF以外の画像データを使用しないファイルサイズ予想器を確立することは興味深いであろう。また、ファイルサイズ予想器は、目下の画像についての予想を公式化する目的で、他の画像についての情報を使用することができるべきである。従って、非パラメトリック方法を優位に使用し得る。
非パラメトリックモデリングは、内部パラメータの数において、パラメトリックモデリングと異なる。非パラメトリックモデリングでは、内部パラメータの数はかなり大きく、構造発見を可能にすべく、これらのパラメータは、緩やかに組織化されている。反対に、パラメトリックモデリングは、それぞれが事前推定によって非常に特異な役目が割り当てられた、固定された小さい数のパラメータを用いる。
[第1の変換画像ファイルサイズ予想器]
概説すると、本発明の第1の非限定的実施例に準じた、ファイルサイズ予想器は、品質係数の変更及びスケーリングによって変換される画像のファイルサイズを、特定の予想係数、以下では相対ファイルサイズ予想と称する、を乗じられる画像変換前の画像の圧縮されたファイルサイズを考慮することによって予想することである。
ここで図1を参照すると、本発明の第1の非限定的実施例に準じたファイルサイズ予想器10が記されている。ファイルサイズ予想器10は、通常、トランスコーディングエンジン(図示せず)において使用される。しかしながら、ファイルサイズ予想器10をトランスコーディングエンジン以外のデバイス、例えば、エンコーダ及びデコーダ等において使用することも本発明の範囲に含まれる。
トランスコーディングにおいては、メディアタイプ及び解像度等のメディア特性が、適合が必要であるかどうかを決定する目的で通常使用される。これらのパラメータは、圧縮メディアを解凍することなく、大抵は取得することができる。例えば、圧縮メディアのファイルヘッダーを調べることで通常は十分である。ファイルサイズ予想器においては、圧縮画像の解凍又は画素レベルの計算を必要とするメトリクスに基づいたパラメータの使用は、計算の観点から非常に費用がかかり、実際のトランスコーディングと略同じ処理時間及び処理パワーを必要とする。よって、この種のパラメータの使用は避けるべきである。
ファイルサイズ予想器10の入力として、特性データが用いられる。例えば、JPEG画像の場合、特性データは、画像の幅及び高さ等である解像度であってもよく、品質係数QF、サブサンプリング方法、又は他の如何なる画像から容易に取得できる情報であってもよい。
図1に示された、本発明の第1の非限定的実施例においては、ファイルサイズ予想器10には、入力11として、i)画像変換前の画像IのファイルサイズS(I)、ii)画像変換前の画像Iの原品質係数QFin、iii)変換時の画像に対して利用される所望の出力品質係数QFout、及びiv)変換時の画像に対して利用されるスケーリング係数(ズーム係数)z(0<z≦1)が供給される。
図1に示されたとおり、ファイルサイズ予想器10は、量子化品質係数
及び量子化スケーリング係数
を得るべく、原品質係数QFin、出力品質係数QFout及びスケーリング係数zを量子化する量子化器14を含む。量子化器は当業者にとっては公知であるため、本願明細書においてはさらなる説明はしない。
ファイルサイズ予想器10はまた、以下に述べる予想配列に基づいて相対ファイルサイズ予想を事前算出する、配列ベースの、相対ファイルサイズ予想計算器16を含む。これにより、予想関数15
が生成される。予想関数は、所望の出力品質係数QFout及びスケーリング係数(ズーム係数)zが適用される画像Iの相対圧縮ファイルサイズ予想をもたらす。
最後に、ファイルサイズ予想器10は、画像変換前の画像Iの圧縮ファイルサイズS(I)及び予想関数
が供給され、以下に示すとおり変換後(画像J)の画像Iのファイルサイズ予想19
を算出する、変換画像ファイルサイズ予想計算器18を含む。
関数
は、相対サイズ予想であり、以下の式によって導き出せる。
図1の生成された出力19。
関数
は、所望のQFout及びスケーリングzにおける変換画像Jのファイルサイズの正確な関数である。当関数は、下記の式によって導き出せる。
ここで、S(J)は変換画像Jの圧縮ファイルサイズであり、T(J,QFout,z)は、品質係数のQFoutへの変更及びスケーリングzの両方を適用された後で、圧縮及び変換された画像Jを戻す関数である。記号S(T())は、所望の出力品質係数QFout及びスケーリング係数zを用いた変換画像Jに関連した圧縮ファイルサイズ関数である。
QF(I)⊆Tは、トレーニングセットTにおける画像Iと同一のQFを有する複数の画像を含むサブセットであり、
は、サブセットTQF(I)のカーディナリティである点に注目すべきである。関数T()は、例えば、完全なJPEGトランスコーダであり得る。
また、
は、最適最小二乗平均推定量を表す点に注目すべきである。実際、これは、下記の式によって容易に検証できる。
しかしながら、関数
は、計算の観点から費用がかかるので、計算の複雑性を低減する目的で、当関数を用いて、相対ファイルサイズ予想の配列は事前算出され得る。従って、相対ファイルサイズ予想計算器16では、その指標が画像変換前の画像の量子化品質係数
、画像変換時に利用される所望の品質係数
、及び画像変換時に利用されるスケーリング係数
である、事前算出されたファイルサイズ予想の配列Mが用いられる。量子化値は、ティルダ(〜)記号によって表される。
適した量子化は、配列Mを効果的にサーチすると同時に、コンテキスト不明瞭化を防ぐことができる。値は、従来の量子化器(図示せず)を介して量子化され得る。量子化器は当業者にとっては公知であるため、本願明細書においてはさらなる説明はしない。
上記のとおり、配列ベース相対サイズ予想計算器16の入力は、画像変換前の画像の量子化品質係数
、画像変換時の画像の所望の量子化出力品質係数
及び画像変換時に利用される量子化スケーリング係数
を含み、配列ベース相対ファイルサイズ予想計算器16は、これらの入力が供給され、相対ファイルサイズ予想の配列を事前算出する、相対ファイルサイズ予想配列計算器(図示せず)を含む。配列Mのエントリは、下記の式によって導き出せる。
ここで、
及び
は、変換時に使用されるQF又はQFout及びスケーリング係数zをそれぞれ戻す関である。関数
(式5)は、変換画像Jに所定の変換がされたときに観測された相対ファイルサイズ変更を戻す。セット
は、相当する量子化セル範囲に含まれる品質係数及びスケーリング係数を有する全ての画像のカーディナリティのセット
を示す。量子化セルは、同一の所定の値に量子化した全ての値のセットである。セル
は、
にそれぞれ量子化されるQFin、QFout及びzの全ての値のセットを意味する。ここで、
は、
に量子化される同一の原品質係数、
に量子化される出力品質係数の値QFoutに対する値、
に量子化されるスケーリング係数zに対する値を有する画像の集まりの全ての画像を含むQFinに対する値を有する画像セットである(つまり、3つのセット
の共通集合である)。より大きい品質制御パラメータ(QFを超えるもの)が使用された場合、パラメータ特定の適切な方法でまた品質制御パラメータは量子化されてもよく、予想配列に対しての更に大きい次元として用いられてもよい。関数S()は、画像Jが変換されたときに観測された正確な相対ファイルサイズ予想である。
従って、
は、配列Mのスライス、すなわち、指標
及び
を含む配列を示す。例えば、画像トレーニングセットTから最適化された配列
は、表1に示されるものである。
ファイルサイズ予想器10が含む配列ベース相対サイズ予想計算器18は、変換画像ファイルサイズ予想計算器18を用いて下記の式により変換後(画像J)の画像Iの予想されるファイルサイズ19を計算する目的で、画像変換前の画像IのファイルサイズS(I)及び相対ファイルサイズ予想
に応答する。
関数S(I)は、他のシステム及び方法が計算の観点からより高い費用で明確に抽出する、画像Iについての情報の幾つかを組み込むことに注意されたい。S(I)は、画像特性についての情報を保持し、その情報を変換画像ファイルサイズ予想計算器18に供給する、画像Iのハッシュ関数としてみなし得る。
第1の非限定的実施例に準じたファイルサイズ予想器10は、ノンパラメトリック予想器である。
[2. 第1の配列計算器及びトレーニング方法]
図2に、第1の方法に準じた、配列ベースの相対ファイルサイズ予想計算器20のトレーニング局面を示す。そのような方法は、相対ファイルサイズ予想器10に対して実行され得る。
工程21において、画像コーパスが取得される。そのような取得の手段は、本願明細書の範囲を超えるものであるが、非限定的実施例は、ウエブクローラー、又は既存の信頼性のある画像調査を実行する他の如何なる手段であってもよい。トランスコーダによってオンザフライで取得される画像をトレーニングにまた用いてもよい。
工程22において、コーパス内の各画像は、ある所望の数の標本を生成する目的で使用される。下位工程23において、典型的にはファイルサイズ予想器10で用いられる量子化スキームに適合する方法で品質制御パラメータ変更及びスケーリングが適用される大量の数の画像が、コーパスから抽出された画像から生成される。各標本には、その品質係数QFin、品質係数QFout及びスケーリング係数zが格納される。
下位工程24において、生成された標本のそれぞれが、コーパスからの原画像をまた含む標本リストに加えられる。コーパス内に未処理の画像がある限り、工程22は繰り返される。
工程26において、配列Mが算出される。工程22で生成された各標本は、配列Mを算出する目的でここで処理される。
下位工程27において、所定の標本から抽出されたデータが量子化される。その品質係数QFin、品質係数QFout及びスケーリング係数zの値が
及び
に量子化される。
下位工程28において、量子化された品質係数
及び
、及び量子化されたスケーリング係数
が配列Mの更新のために使用される。
工程26の後で、配列Mは、全ての画像に対する相対ファイルサイズ予想を含む。式(5)に従って:
ここで、s()は、式(3)に従って算出される。
は、
と同一の量子化品質係数を有する全ての画像のサブセットである。
は、
と同一の量子化出力品質係数を有する全ての画像のサブセットである。
は、
と同一の量子化スケーリング係数を有する全ての画像のサブセットである。
は、式(5)に示したとおり、これら3つのセットの共通集合である。
図2の配列ベース相対ファイルサイズ予想計算器20は、時間適合である。例えば、予想を更新するために、式(2)において、つまり、下位工程27及び28だけを通して、新しい標本を追加することが可能である。予想セットから最も古い標本を削除することによって、トレンド適合をすることもできる。幸いにも、そうする場合には、画像の保存は必要とせず、保存を必要とするのは、変換値(品質係数及びスケーリング係数)、タイムスタンプ及び画像変換後の相対ファイルサイズだけである。
図2の配列ベース相対ファイルサイズ予想計算器20における更新時間はオーダーO(1)である点に注意されたい。O(1)においては、配列ベース相対ファイルサイズ予想計算器20の更新が必要な工程の数は一定であり、つまり、トレーニングセットにおける画像の数には依存しないことを意味する。
[3.第1の数値例セット]
図1のファイルサイズ予想器10及び図2の相対ファイルサイズ予想配列計算器20を用いて、手法が実行される。その結果を、上記表1に提示した。例えば、表1は、画像トレーニングセットから最適化された、式(5)に従って計算された配列
を示す。
シミュレーションに用いられるコーパスは、70,300個のJPEGファイルを含む。コーパスは、破損ファイルが存在せず、EXIFタグ等の全てのメタデータは除去される。EXIFは、JPEGを含む多くの画像フォーマットに対する公知の拡張子であり、特に、デジタルカメラから派生する場合において、写真又は画像についての付加的情報を保持する。EXIF拡張子は、露光詳細、色バランス、カメラブランド名及び他のデジタル写真情報等のデータを格納するために用いられる。コーパス内の各原標本(画像)に対して、異なる品質係数QFout及びスケーリング係数zを用いて100個の標本が生成される。トレーニングセットとテストセットとの分割は、約80/20である。
表2に、予想配列
に対する期待絶対誤差
を示す。予想誤差は、
及び
の近辺で最小になることが分かる。
及び
及びスケーリング係数が最も異なるとき、例えば、表2の左上において予想誤差は最大となる。また、表2のグレー部分は、期待絶対誤差が10%以下である領域を示している。
表3は、
等の典型的な品質係数に対しての、絶対相対誤差が特定の閾値βを下回る確率を示すものである。確率は下記の式によって導き出せる。変数β及び
に対して、
分かるとおり、誤差の広がり分布は、スケーリング100%から更に離れることに注意されたい。
図5は、推定量
又はその等価配列
の幾何学的解釈を示すグラフである。
ここで図5の説明になるが、推定量
及び量子化配列
の幾何学的解釈が示されている。
図5に、10%に丸められて量子化された複数のスケーリング係数における、
に対応した配列
の列を示す、50等の一連のボックスを示す。
各ボックス50上には、推定量
の算出に用いられる全ての画像の
の実測値の分布がプロットされている。画像の分布は複数の点によって示されている。細線51は、異なる最小2乗平均推定量
を結んだものであり、これは、サーフェスが大して滑らかではないことを明確に示している。
プロットは四分位(52等の長方形)を示し、5%/95%境界は、53等のダッシュによって示されている。図5から分かるとおり、分布は大して大きい広がりを有さない分布であって、これにより、例えば、予想誤差における良好な分割境界をもたらす。
四分位の上又は下に、四分位から離れたところに位置する幾つかの点が、図5において確認できる。これらの点は異常値である。幾つかの異常値は、そのファイルが大抵付帯物で構成された画像である。画像が非常に低い解像度である場合、QF及びスケーリングの変化は、全体のファイルサイズにごく僅かな影響しか与えない。なぜなら、圧縮データは既に、ヘッダー及びマーカー等のファイルフォーマット付帯物と比較して小さいものであるからである。しかしながら、画像の原スケールが無視された場合、式(1)によって導き出せる最小2乗平均推定量は異常値に対して大きな影響を受けるので、ファイルサイズ予想器は、正常に動かなくなり得る。従って、オリジナル解像度を予想パラメータ4として含めるべきである。
[4.第2の変換画像ファイルサイズ予想器]
本発明の第2の非限定的実施例に準じた、ファイルサイズ予想器30を以下に示す。ファイルサイズ予想器30は、画像の原解像度を考慮し、そしてそれにより異常値の存在を考慮する。
ここで図3の説明をすると、本発明の第2の非限定的実施例に準じたファイルサイズ予想器30は、パラメータ量子化器32と相対ファイルサイズ予想35を生成するクラスタベース相対ファイルサイズ予想計算器34とを含む。
ファイルサイズ予想器30には、原ファイルサイズS(I)、原品質係数QF(I)(QFinと示される)、画像変換前の画像Iの幅W(I)及び高さH(I)、及び画像変換後の所望の品質係数QFout及び所望のスケーリング係数(ズーム係数)zを含む入力31が供給される。予想器30の出力37は、スケーリング係数z及び品質係数QFoutが適用される画像の変換後の画像Iのファイルサイズ予想
を生成する。
量子化器32は、品質係数QFout及びスケーリング係数zを処理して、量子化品質係数
及び量子化スケーリング係数
をそれぞれ生成して、クラスタベース相対ファイルサイズ予想計算器34の入力として供給する。
量子化器32においては、セントロイド決定がまた行なわれる。これにより、幅W(I)、高さH(I)及び原品質係数QFinから画像Iに対しての配列
が生成され、クラスタベース相対ファイルサイズ予想計算器34に対して入力として供給される。より多くの品質制御パラメータが使用される場合、パラメータは、
のベクトルX(以下に定義する)に付加されてもよい。
クラスタベース相対ファイルサイズ予想計算器34は、入力として配列
、量子化品質係数
、量子化スケーリング係数
を量子化器32から受信して、相対ファイルサイズ予想35を公式化する。
次に、変換画像ファイルサイズ予想計算器36は、以下の式のとおり、計算器34からの出力35を用いて、変換後(画像J)の画像Iのファイルサイズ予想37
を算出する。
ここで、関数
は相対サイズ予想35である。
上記のとおり、異常値が存在するような場合には、画像の低解像度が、上記のファイルサイズ予想器10を正常に動作させなくなる。この問題を解決する目的で、画像を複数の領域に分断することが行なわれる。ここでは、同様の解像度を有する複数の領域がグループ化される。これを行なうために、画像のコーパスから生成された標本が、クラスタを用いて複数のクラスに分割され得る。更に、クラスタリングの使用によって、各クラスに対して最小2乗平均推定量の最適化がなされ、これにより、予想誤差を更に最小化できる。
クラスタリングは、各サブセットのデータが選択されたメトリックの元で最大限同様になるように、クラスと呼ばれるばらばらな所定数のサブセットにデータをパーティションする自己学習技術である点に注意されたい。各サブセットに対して、代表値又はプロトタイプが算出される。通常、プロトタイプは、サブセットのセントロイドである。従って、クラスタリングは、量子化レベルがクラスのセントロイドである、確率分布関数最適化ベクトル量子化と同義である。
ここで図4を説明すると、クラスタ計算器44は、トレーニングセットTにおける各画像IをxI=(W(I)、H(I)、αQF(I))等のベクトルに関連付ける。ここで、αは、品質係数の次元を幅及び高さと同一の位の大きさに変換するためのスケーリング定数である。W(I)、H(I)及びQF(I)はそれぞれ、画像Iの幅、高さ及びQFを示す。より多くの品質制御パラメータを使用する場合には、パラメータはベクトルxIに付加されてもよく、パラメータはこの第2のアルゴリズムによって考慮されてもよい。
クラスの数kは、クラスタリングの前に選択される。当業者には、そのようなクラスの数kを選択する方法は知られている。例えば、パラメータkは、誤差を減らせるほど十分に大きいながら、コンテキスト不明瞭化を防げるほど十分に小さい。
ここでまた図4を説明すると、コーパス41の取得が、図2の工程21と同様の方法で行なわれる。
新しい標本の生成42は、図2の下位工程24が、付加情報QFout及びzを含むベクトルxI=(W(I)、H(I)、αQF(I))の生成を含む下位工程43に置き換えられる点を除いて、図2の工程22と同様の方法で行なわれる。
従って、工程42は、k個のクラスに分けられる画像のトレーニングセットTのパーティションCを計算する目的でクラスタ計算器44によって必要とされる標本ベクトルを生成する。
定義により、パーティションCは、C={C1,C2,...,Ck}によって導き出され、
及び
の関係を満たす。
更に、最適なパーティション
は、I∈TにおけるベクトルxIと割り当てられたセントロイドとの間の期待平方距離を最小化し得る。最適なパーティション
は、下記の式によって導き出せる。
ここで、
は、公知のL2ノルムであり、Tはtranspose関数、そして、
は、クラスCiのプロトタイプである。
クラスタリングの一例を図6に示す。図6において、算出されるファイルサイズ予想が2次元で視覚化できるよう、全ての画像はQF=80である。しかしながら、実際のパーティションは、幅、高さ及び量子化QFの3次元にわたる。
クラスの数kが決定された後で、クラスタ計算器44は、k平均アルゴリズムを用いてクラス又はクラスタを計算する(45を参照)。次に、プロトタイプ計算器が、以下の式により、セントロイド
を計算する(45を参照)。
これは、クラスCiにおける全てのベクトルのプロトタイプを表す。
最適なパーティション
の計算の複雑性は、計算の観点から実行不能にさせる要因となる。しかしながら、G. Tesauro、 D. Touretzky及び T. Leenを編者とする、MITプレス、1995、「Advances in Neural Information Processing Systems」、7巻、585−592頁、題名"Convergence properties of the K−means algorithms" の、Leon Bottou及びYoshua Bengioによる論文に記されたようにk平均アルゴリズムを用いることで、高精度の近似化ができる。ニュートンアルゴリズムと同様に、k平均アルゴリズムは、スーパーリニア収束であり、このことは、実際には、良好な近似のために比較的少ない数の反復しか必要としないことを意味する。k平均の詳細及び特性は、当業者には公知であると思われるので、本願明細書ではこれ以上の説明はしない。
クラス又はクラスタCが一旦算出されると、配列計算器は、算出されたそれぞれのセントロイド
に対する相対ファイルサイズ予想の配列
を計算する(図4の47から49を参照)。
これらの予想配列のそれぞれは、この実施例では2次元であり、量子化出力品質係数
及び量子化スケーリング係数
である(しかし、より多くの品質制御パラメータが用いられた場合には2次元より多くなり得る)。工程48において量子化が行なわれる。これらの配列のエントリのそれぞれは、以下のとおり算出される。
ここで、J∈Ciは、カーディナリティ
の、セントロイド
である、クラスCiに割り当てられた画像である。
画像Iの変換により得られる画像Jに関連した推定量を求める目的で、最も近いセントロイド
が工程47において以下の式のとおり最初に算出される。
最後に、ファイルサイズ予想器30のクラスタベース相対ファイルサイズ予想計算器(図3)は、相対ファイルサイズ予想35を生成し、以下の式に従ってファイルサイズ予想37が計算器38において算出される。
予想器30における計算の観点からの費用は、適切なデータ構造を用いることによって効率的に算出することができる、最も近いセントロイドを算出するための費用に限定されることに注意されたい(詳細については、Jean−Daniel Boissonnat及びMariette Yvinec、"Algorithmic Geometry"ケンブリッジ大学プレス、1998を参照されたい)。一端配置されると、
の値を生成する目的で、配列
は一定時間サーチされ得る。
[5. 第2の配列計算器及びトレーニング方法]
図4に戻って、本発明の第2の非限定的実施例に準じた、相対サイズ予想配列計算器40をトレーニングする第2の方法をここで説明する。
第2のトレーニング方法は、ファイルサイズ予想器30に対して実行され得る。
工程42において、コーパス内の各画像が、所望の数の標本を生成する目的で用いられる。工程42においては、典型的には、クラスタベース相対ファイルサイズ予想計算器34で使用される量子化スキームに適合する方法で品質制御パラメータの変更及びスケーリングが適用される多くの数の画像が、コーパスから抽出された画像から生成される。標本Jのそれぞれにおいて、QFout及びzに加えそのベクトルxI=(W(I)、H(I)、αQF(I))が格納される。
下位工程43において、生成された標本のそれぞれが、コーパスからの原画像をまた含む標本リストに追加される。工程42は、コーパス内に未処理の画像が存在する限り繰り返される。
クラスタ計算器44において、クラス又はクラスタの数kが特定される。
工程45において、クラスタ及びセントロイドが算出される。式(9)を用いて、セントロイド
はクラスタ又はクラスCi(1≦i≦k)それぞれに対して計算される。配列
が生成されるが満杯ではない。
工程46において、セントロイドに関連した配列が追加される。
工程47において、標本Jのそれぞれに対して、対応するセントロイド及びその関連した予想アレイを求める目的で、画像変換前の品質係数QFin(J)、幅W(J)及び高さH(J)が用いられる。画像Iに最も近いセントロイドが式(11)を用いて算出される。
工程48において、画像の変換後の所望の品質係数QFout、及びスケーリング係数zが量子化され、それぞれ
及び
となる。
最後に、工程49において、所望の量子化品質係数及びスケーリングが適用された後で、式(12)を用いて、相対ファイルサイズ予想の配列


及びx=(W(J)、H(J)、αQF(J))を用いて更新される。
[6. 第2の数値例セット]
実験的に、k=200となるようにkを選択した。実験的に
が求められた。
結果を表4に示す。表4は、QFin=80における、コーパス内の画像に対してのクラスタ化予想配列
に対する期待絶対誤差を示す。期待絶対誤差は式(7)によって導き出せる。
ファイルサイズ予想器10と同様に、ファイルサイズ予想器30の最小誤差は、
における
近辺に集中する。最大予想誤差は、表4の

及びスケーリング係数が最も異なる部分、例えば、表4の左上部分に見られる。表2と同様に、表4のグレー部分は、期待絶対誤差が10%以下の部分に対応する。しかしながら、表2及び4の2つのグレー部分を比較すると、クラスタ使用のおかげで、表4の期待絶対誤差は、表2の期待絶対誤差よりも顕著に小さい。例えば、表2から表4とでは、もっとも困難なトランスコーディング設定、すなわち
及び
において、112、93%から24、82パーセントまで減少する。
さらに、本発明の非限定的実施例に準じたシステム及び方法は、品質制御パラメータ、この場合にはQF(品質係数)の変更及びスケーリングによって変換されるJPEG画像のファイルサイズを予想するものであるが、同一の概念は、GIF(グラフィック相互変換フォーマット)等の他の種類のフォーマット、及び、色数、色深度及び色成分サンプリング構造等の他の品質制御パラメータ、及び色エンハンスメント及びクロッピング等の変換に対して適用できることに注意されたい。
本発明は上記のとおり非限定的実施例を用いて説明したが、これらの実施例は、添付の請求項の範囲を超えず、本発明主題の精神及び本質から逸脱しない範囲において変更が可能である。

Claims (22)

  1. 少なくとも1つの品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステムであって、
    (a)前記画像の変換前の前記画像の前記ファイルサイズ、(b)前記画像の変換前の前記画像の少なくとも1つの品質制御パラメータに関する情報、(c)前記画像の変換時の前記画像に対して利用される少なくとも1つの品質制御パラメータに関する情報、及び(d)前記画像の変換時の前記画像に対して利用されるスケーリング係数を受信する入力部と、
    品質制御パラメータ及びスケーリング係数に関する受信した前記情報に基づいて相対ファイルサイズ予想を行なう計算器と、
    前記画像の変換後の前記画像のファイルサイズ予想を行なう計算器とを備え、
    前記画像の変換後の前記画像の前記ファイルサイズ予想は、前記画像の変換前の前記画像の前記ファイルサイズと計算された前記相対ファイルサイズ予想との関数として計算される、システム。
  2. 前記品質制御パラメータに関する前記情報は、前記画像の品質を示す、品質係数、色数、色深度、色成分サンプリング構造、及び水平及び垂直解像度からなるグループから選択される、少なくとも1つのパラメータに関する情報を含む、請求項1に記載のシステム。
  3. 前記画像の変換前の前記画像の前記ファイルサイズ及び前記ファイルサイズ予想は、圧縮されたファイルサイズである、請求項1に記載のシステム。
  4. 前記ファイルサイズ予想を行なう前記計算器は、前記画像の変換前の前記画像の前記ファイルサイズと、計算された前記相対ファイルサイズ予想との乗算を行なう、請求項1に記載のシステム。
  5. 前記ファイルサイズ予想
    を行なう前記計算器は、前記画像の変換前の前記画像の前記ファイルサイズと、計算された前記相対ファイルサイズ予想との乗算を、下記の関係を用いて行い、
    S(I)は、前記画像の変換前の前記画像Iの前記ファイルサイズであり、
    は、前記相対ファイルサイズ予想であり、QFinは前記画像の変換前の前記画像の品質係数であり、QFoutは画像変換後の前記画像の品質係数であり、zは前記スケーリング係数である、請求項1に記載のシステム。
  6. 前記相対ファイルサイズ予想を行なう前記計算器は、相対ファイルサイズ予想配列計算器によって事前算出される相対ファイルサイズ予想の配列を含み、
    事前算出された相対ファイルサイズ予想の前記配列は、前記画像の変換後の前記画像の前記相対ファイルサイズ予想を計算する、前記相対ファイルサイズ予想を行なう前記計算器によって用いられる、請求項1に記載のシステム。
  7. 前記画像の変換前の前記画像の少なくとも1つの前記品質制御パラメータに関する前記情報は、前記画像の変換前の前記画像の品質係数QFinを含み、前記画像の変換時の前記画像に対して利用される少なくとも1つの前記品質制御パラメータに関する前記情報は、前記画像の変換後の前記画像の所望の品質係数QFoutを含み、事前算出された相対ファイルサイズ予想の前記配列の前記計算器は、
    量子化品質係数

    及び量子化スケーリング係数
    を取得する、前記品質係数QFin、前記品質係数QFout及び前記スケーリング係数zが入る量子化器と、
    に量子化される同一の原品質係数を含む画像の集まりの中の全ての画像を含むQFinに対する値と、
    に量子化される前記出力品質係数QFoutに対する値と、
    に量子化される前記スケーリング係数zに対する値とを有する複数の画像のセット
    と、
    下記の関係を用いて事前算出された相対ファイルサイズ予想の前記配列の前記計算器とを含み、
    S()は、相対ファイルサイズ結果であり、
    は、前記セット
    のカーディナリティである、請求項6に記載のシステム。
  8. 前記画像の変換後の前記画像の前記ファイルサイズ予想
    の前記計算器は、下記の関係を用い、
    S(I)は、前記画像の変換前の前記画像Iの圧縮されたファイルサイズである、請求項7に記載のシステム。
  9. 前記相対ファイルサイズ予想配列計算器は、
    (a)画像のセットに含まれる画像のそれぞれを、前記画像の特性を表すベクトルに関連づけて、(b)画像の前記セットを同様のベクトルに関連付けられた複数の画像を有する複数のクラスにパーティショニングするクラスタ計算器と、
    複数の画像を有するクラスのそれぞれに対して、前記クラスの複数の前記画像に関連付けられた前記ベクトルのプロトタイプを表すセントロイドを計算するプロトタイプ計算器と、
    セントロイドのそれぞれに対して、相対ファイルサイズ予想の配列を算出する配列計算器とを含み、前記配列は、少なくとも1つの前記品質制御パラメータの変更及びスケーリング係数に関する前記情報を含む少なくとも2次元を有する、請求項6に記載のシステム。
  10. それぞれの画像Iに関連付けられた前記ベクトルは、次の関係によって導き出せ、
    =(W(I)、H(I)、αQF(I))
    αはスケール定数であり、W(I)、H(I)及びQF(I)はそれぞれ、画像Iの幅、高さ及び品質係数である、請求項9に記載のシステム。
  11. 前記画像の変換後の前記画像の前記ファイルサイズ予想を行なう前記計算器は、前記画像の変換前の前記画像の前記ファイルサイズと前記配列計算器によって事前算出された相対ファイルサイズ予想の前記配列のエントリとを用いて、前記画像の変換後の前記画像の前記ファイルサイズ予想を計算する、請求項6に記載のシステム。
  12. 少なくとも1つの品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想する方法であって、
    (a)前記画像の変換前の前記画像の前記ファイルサイズ、(b)前記画像の変換前の前記画像の少なくとも1つの品質制御パラメータに関する情報、(c)前記画像の変換時の前記画像に対して利用される少なくとも1つの品質制御パラメータに関する情報、及び(d)前記画像の変換時の前記画像に対して利用されるスケーリング係数とを受信する工程と、
    品質制御パラメータ及びスケーリング係数に関する受信した前記情報に基づいて相対ファイルサイズ予想を計算する工程と、
    前記画像の変換後の前記画像のファイルサイズ予想を計算する工程とを備え、
    前記画像の変換後の前記画像の前記ファイルサイズ予想は、前記画像の変換前の前記画像の前記ファイルサイズと計算された前記相対ファイルサイズ予想との関数として計算される、方法。
  13. 前記品質制御パラメータに関する前記情報として、前記画像の品質を示す、品質係数、色数、色深度、色成分サンプリング構造、及び水平及び垂直解像度からなるグループから選択される、少なくとも1つのパラメータに関する情報を受信する工程を含む、請求項12に記載の方法。
  14. 前記画像の変換前の前記画像の前記ファイルサイズとして、圧縮されたファイルサイズを受信する工程と、
    前記画像の変換後の前記画像の前記ファイルサイズとして、圧縮されたファイルサイズを計算する工程とを含む、請求項12に記載の方法。
  15. 前記画像の変換後の前記画像の前記ファイルサイズ予想を計算する工程は、前記画像の変換前の前記画像の前記ファイルサイズと、計算された前記相対ファイルサイズ予想との乗算を行なう工程を含む、請求項12に記載の方法。
  16. 前記ファイルサイズ予想
    を計算する工程は、前記画像の変換前の前記画像の前記ファイルサイズと、計算された前記相対ファイルサイズ予想
    との乗算を、下記の関係を用いて行い、
    S(I)は、前記画像の変換前の前記画像Iの前記ファイルサイズであり、
    は、前記相対ファイルサイズ予想であり、QFinは前記画像の変換前の前記画像の品質係数であり、QFoutは画像変換後の前記画像の品質係数であり、zは前記スケーリング係数である、請求項12に記載の方法。
  17. 前記相対ファイルサイズ予想を計算する工程は、(a)相対ファイルサイズ予想の配列の事前算出する工程と、(b)事前算出された相対ファイルサイズ予想の前記配列を用いて前記相対ファイルサイズ予想を計算する工程とを含む、請求項12に記載の方法。
  18. 前記画像の変換前の前記画像の少なくとも1つの前記品質制御パラメータに関する前記情報は、前記画像の変換前の前記画像の品質係数QFinを含み、前記画像の変換時の前記画像に対して利用される少なくとも1つの前記品質制御パラメータに関する前記情報は、前記画像の変換後の前記画像の所望の品質係数QFoutを含み、事前算出された相対ファイルサイズ予想の前記配列を事前算出する工程は、前記品質係数QFin、前記品質係数QFout及び前記スケーリング係数zを量子化して、量子化品質係数

    及び量子化スケーリング係数
    を取得する工程と、
    に量子化される同一の原品質係数を含む画像の集まりの中の全ての画像を含むQFinに対する値と、
    に量子化される前記出力品質係数QFoutに対する値と、
    に量子化される前記スケーリング係数zに対する値とを有する複数の画像のセット
    を決定する工程と、
    下記の関係を用いて事前算出された相対ファイルサイズ予想の前記配列を計算する工程とを含み、
    S()は、相対ファイルサイズ結果であり、
    は、前記セット
    のカーディナリティである、請求項17に記載の方法。
  19. 前記画像の変換後の前記画像の前記ファイルサイズ予想
    を計算する工程は、下記の関係を用いる工程を含み、
    S(I)は、前記画像の変換前の前記画像Iの圧縮されたファイルサイズである、請求項18に記載の方法。
  20. 前記相対ファイルサイズ予想を計算する工程は、
    (a)画像のセットに含まれる画像のそれぞれを、前記画像の特性を表すベクトルに関連づけて、(b)画像の前記セットを同様のベクトルに関連付けられた複数の画像を有する複数のクラスにパーティショニングする工程と、
    複数の画像を有するクラスのそれぞれに対して、前記クラスの複数の前記画像に関連付けられた前記ベクトルのプロトタイプを表すセントロイドを計算する工程と、
    セントロイドのそれぞれに対して、相対ファイルサイズ予想の配列を算出する工程とを含み、前記配列は、少なくとも1つの前記品質制御パラメータの変更及びスケーリング係数に関する前記情報を含む少なくとも2次元を有する、請求項17に記載の方法。
  21. 次の関係を用いて、それぞれの画像Iに関連付けられた前記ベクトルを計算する工程を含み、
    =(W(I)、H(I)、αQF(I))
    αはスケール定数であり、W(I)、H(I)及びQF(I)はそれぞれ、画像Iの幅、高さ及び品質係数である、請求項20に記載の方法。
  22. 前記画像の変換後の前記画像の前記ファイルサイズ予想を計算する工程は、前記画像の変換前の前記画像の前記ファイルサイズと事前算出された相対ファイルサイズ予想の前記配列のエントリとを用いる工程を含む、請求項20に記載の方法。
JP2010531382A 2007-11-02 2007-11-02 品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム、方法及びプログラム Expired - Fee Related JP5176175B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CA2007/001974 WO2009055896A1 (en) 2007-11-02 2007-11-02 System and method for predicting the file size of images subject to transformation by scaling and a change of quality-controlling parameters

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2013001627A Division JP5391466B2 (ja) 2013-01-09 2013-01-09 品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム、方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2011505083A true JP2011505083A (ja) 2011-02-17
JP5176175B2 JP5176175B2 (ja) 2013-04-03

Family

ID=40590475

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010531382A Expired - Fee Related JP5176175B2 (ja) 2007-11-02 2007-11-02 品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム、方法及びプログラム

Country Status (8)

Country Link
US (2) US8224104B2 (ja)
EP (1) EP2210236B1 (ja)
JP (1) JP5176175B2 (ja)
KR (1) KR101428671B1 (ja)
CN (1) CN101842811B (ja)
CA (1) CA2706251C (ja)
IL (1) IL204727A (ja)
WO (1) WO2009055896A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300961B2 (en) * 2008-12-12 2012-10-30 Ecole De Technologie Superieure Method and system for low complexity transcoding of images with near optimal quality
JP5875084B2 (ja) * 2010-04-29 2016-03-02 ビーマル イメージング リミテッドBeamr Imaging Ltd. 圧縮の程度と圧縮済み画像の品質との間に単調な関係を有する、再圧縮のための装置および方法
CN102867314A (zh) * 2011-07-06 2013-01-09 华晶科技股份有限公司 预估影像压缩尺寸的方法
US8913829B2 (en) * 2012-06-05 2014-12-16 Tandent Vision Science, Inc. Automatic processing scale estimation for use in an image process
DE102013211571B4 (de) * 2013-06-19 2016-02-11 Opticom Dipl.-Ing. Michael Keyhl Gmbh Konzept zur bestimmung der qualität eines mediadatenstroms mit variierender qualität-zu-bitrate
CN108805943B (zh) * 2017-04-27 2022-12-09 腾讯科技(深圳)有限公司 图片转码方法和装置
US10757425B2 (en) * 2017-07-24 2020-08-25 United States Postal Service Image encryption through dynamic compression code words
US11061626B2 (en) 2019-05-24 2021-07-13 Kyocera Document Solutions Inc. Machine learning printer control system including pre-press action predictor

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591335A (ja) * 1991-09-30 1993-04-09 Fuji Photo Film Co Ltd 画像データ圧縮装置およびその方法
JP2003264840A (ja) * 2002-03-11 2003-09-19 Kddi Research & Development Laboratories Inc 符号化動画像データの方式変換装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6215910B1 (en) * 1996-03-28 2001-04-10 Microsoft Corporation Table-based compression with embedded coding
US6563517B1 (en) * 1998-10-02 2003-05-13 International Business Machines Corp. Automatic data quality adjustment to reduce response time in browsing
US6233359B1 (en) * 1998-10-29 2001-05-15 Seiko Epson Corporation File size bounded JPEG transcoder (FSBJT)
US6421467B1 (en) * 1999-05-28 2002-07-16 Texas Tech University Adaptive vector quantization/quantizer
US6490320B1 (en) * 2000-02-02 2002-12-03 Mitsubishi Electric Research Laboratories Inc. Adaptable bitstream video delivery system
CA2374067C (en) 2000-03-13 2012-09-25 Sony Corporation Method and apparatus for generating compact transcoding hints metadata
US6990146B2 (en) * 2001-11-16 2006-01-24 Koninklijke Philips Electronics N.V. Method and system for detecting intra-coded pictures and for extracting intra DCT precision and macroblock-level coding parameters from uncompressed digital video
US6608924B2 (en) * 2001-12-05 2003-08-19 New Mexico Technical Research Foundation Neural network model for compressing/decompressing image/acoustic data files
US7177356B2 (en) * 2002-01-11 2007-02-13 Webtv Networks, Inc. Spatially transcoding a video stream
US6937759B2 (en) * 2002-02-28 2005-08-30 Nokia Corporation Method and device for reducing image by palette modification
FR2840495B1 (fr) 2002-05-29 2004-07-30 Canon Kk Procede et dispositif de selection d'une methode de transcodage parmi un ensemble de methodes de transcodage
GB2398976B (en) * 2003-02-28 2006-03-08 Samsung Electronics Co Ltd Neural network decoder
US7142601B2 (en) * 2003-04-14 2006-11-28 Mitsubishi Electric Research Laboratories, Inc. Transcoding compressed videos to reducing resolution videos
US7551785B2 (en) * 2003-07-03 2009-06-23 Canadian Space Agency Method and system for compressing a continuous data flow in real-time using cluster successive approximation multi-stage vector quantization (SAMVQ)
JP4301366B2 (ja) * 2003-11-27 2009-07-22 株式会社リコー 画像形成システム
US6992686B2 (en) * 2004-06-14 2006-01-31 Xerox Corporation System and method for dynamic control of file size
EP1615447B1 (en) 2004-07-09 2016-03-09 STMicroelectronics Srl Method and system for delivery of coded information streams, related network and computer program product therefor
US7440626B2 (en) * 2004-12-02 2008-10-21 Mitsubishi Electric Research Laboratories, Inc. Image transcoding
FR2880743A1 (fr) * 2005-01-12 2006-07-14 France Telecom Dispositif et procedes de codage et de decodage echelonnables de flux de donnees d'images, signal, programme d'ordinateur et module d'adaptation de qualite d'image correspondants
WO2006085301A2 (en) * 2005-02-09 2006-08-17 Mobixell Networks Image adaptation with target size, quality and resolution constraints
US7724972B2 (en) 2005-03-01 2010-05-25 Qualcomm Incorporated Quality metric-biased region-of-interest coding for video telephony
US7583844B2 (en) * 2005-03-11 2009-09-01 Nokia Corporation Method, device, and system for processing of still images in the compressed domain
WO2006097144A1 (en) 2005-03-15 2006-09-21 Nero Ag Apparatus and method for producing a picture data stream and for processing a picture data stream
EP1862017A4 (en) * 2005-03-25 2011-03-23 Algolith Inc DEVICE AND METHOD FOR OBJECTIVELY EVALUATING THE DCT-CODED VIDEO QUALITY WITH OR WITHOUT AN ORIGINAL VIDEOS SEQUENCE
WO2006110975A1 (en) 2005-04-22 2006-10-26 Logovision Wireless Inc. Multimedia system for mobile client platforms
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
US7480641B2 (en) * 2006-04-07 2009-01-20 Nokia Corporation Method, apparatus, mobile terminal and computer program product for providing efficient evaluation of feature transformation
US7805292B2 (en) * 2006-04-21 2010-09-28 Dilithium Holdings, Inc. Method and apparatus for audio transcoding
US8761248B2 (en) * 2006-11-28 2014-06-24 Motorola Mobility Llc Method and system for intelligent video adaptation
JP2008283560A (ja) * 2007-05-11 2008-11-20 Canon Inc 画像処理装置およびその方法
WO2009055898A1 (en) 2007-11-02 2009-05-07 Ecole De Technologie Superieure Method and system for generating a quality prediction table for quality-aware transcoding of digital images
US8295624B2 (en) * 2007-12-03 2012-10-23 Ecole De Technologie Superieure Method and system for generating a quality prediction table for quality-aware transcoding of digital images
US8300961B2 (en) * 2008-12-12 2012-10-30 Ecole De Technologie Superieure Method and system for low complexity transcoding of images with near optimal quality

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0591335A (ja) * 1991-09-30 1993-04-09 Fuji Photo Film Co Ltd 画像データ圧縮装置およびその方法
JP2003264840A (ja) * 2002-03-11 2003-09-19 Kddi Research & Development Laboratories Inc 符号化動画像データの方式変換装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPN7012005010; Haiyan Shu,Lap-Pui Chau: 'FRAME SIZE SELECTION IN VIDEO DOWNSIZING TRANSCODING APPLICATION.' 2005 IEEE ISCAS 2005 IEEE (ISCAS),Kobe,Japan,Vol.2of6, 20050526, P.896-P.899, IEEE *

Also Published As

Publication number Publication date
JP5176175B2 (ja) 2013-04-03
US8374443B2 (en) 2013-02-12
IL204727A (en) 2017-05-29
WO2009055896A1 (en) 2009-05-07
CA2706251A1 (en) 2009-05-07
IL204727A0 (en) 2010-11-30
KR20100097126A (ko) 2010-09-02
CN101842811A (zh) 2010-09-22
EP2210236B1 (en) 2018-07-11
CA2706251C (en) 2015-06-30
CN101842811B (zh) 2012-05-23
US20100254629A1 (en) 2010-10-07
US20120237139A1 (en) 2012-09-20
EP2210236A1 (en) 2010-07-28
KR101428671B1 (ko) 2014-09-17
EP2210236A4 (en) 2012-02-15
US8224104B2 (en) 2012-07-17

Similar Documents

Publication Publication Date Title
JP5176175B2 (ja) 品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム、方法及びプログラム
KR101459395B1 (ko) 디지털 이미지의 트랜스코딩에서 파라미터의 퀄리티-인식 선택을 위한 시스템 및 방법
RU2613031C2 (ru) Способ кодирования данных, способ декодирования данных, кодер, декодер и кодек
JP4737711B2 (ja) 復号化装置、逆量子化方法、分布決定方法及びこのプログラム
US20060251330A1 (en) Hybrid video compression method
JP5076150B2 (ja) 画像符号化装置,画像符号化方法および画像符号化プログラム
JP4775756B2 (ja) 復号化装置及びそのプログラム
CN102113328B (zh) 确定用于比较运动补偿视频编码中的图像块的度量的方法和系统
TWI355843B (en) Image encoding with dynamic buffer-capacity-level-
US8005306B2 (en) Decoding apparatus, inverse quantization method, and computer readable medium
JP2002519956A (ja) 逆量子化及びi走査中にブロック統計を採取する方法及び装置
US6594375B1 (en) Image processing apparatus, image processing method, and storage medium
CN107231556B (zh) 一种图像云储存设备
CN109286817B (zh) 一种视频编码中dct系数的量化失真信息处理方法
JP2006270737A (ja) 復号化装置、分布推定方法、復号化方法及びこれらのプログラム
JP5391466B2 (ja) 品質制御パラメータの変更及びスケーリングによって変換される画像のファイルサイズを予想するシステム、方法及びプログラム
JP5043849B2 (ja) ビデオシーケンスにおける可変形状動き推定
JP4730144B2 (ja) 復号化装置、逆量子化方法及びこれらのプログラム
CN113422965A (zh) 一种基于生成对抗网络的图像压缩方法及装置
CN107172425B (zh) 缩略图生成方法、装置及终端设备
Roy et al. VQ-DCT based image compression: a new hybrid approach
Gashnikov A differential image compression method using adaptive parameterized extrapolation
CA2703048C (en) System and method for quality-aware selection of parameters in transcoding of digital images
El-Harby Two Improved Color Images Compression Systems
CN116630451A (zh) 高效快速图像压缩和存储方法及系统

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121211

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121218

R150 Certificate of patent or registration of utility model

Ref document number: 5176175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees