JP2010004539A

JP2010004539A - デジタルイメージを処理するための方法及び装置

Info

Publication number: JP2010004539A
Application number: JP2009146902A
Authority: JP
Inventors: Kumar Bajpai Pankaj; パンカジュ・クマー・バジュパイ; Kumar Jain Gaurav; ガウラヴ・クマー・ジャイン; Kulkarni Girish; ギリッシュ・クルカルニ
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2008-06-20
Filing date: 2009-06-19
Publication date: 2010-01-07
Anticipated expiration: 2029-06-19
Also published as: JP4739443B2; KR20090132535A; US20090317007A1

Abstract

【課題】本発明は、イメージのパーシング、復号化又は符号化する間に獲得された最小符号化エンティティグループ(MCEG）を用いてデジタルイメージを処理するのに要求されるメモリ使用を最適化する方法を提供する。
【解決手段】MCEGは、イメージの２個の最小符号化エンティティ(MCU)によって形成される。MCEG情報は、予め設定された位置から各MCEGの開始点間の距離、MCEG内の符号化エンティティ間の相対距離、及び少なくとも４個のDC値を含む。MCEG内の第１の符号化エンティティのDC値は、格納されたDC値を用いて再構成される。MCEG内の第２の符号化エンティティに対して、格納された予測DC値は、実際値を得るために復号化された差分DC値に加算され、上記実際値はMCUの再構成に使用される。イメージの一部を処理するために、イメージの一部に最も近接したMCEGが決定され、対応するMCUが直接にアクセスされ、MCEG情報を用いて復号化される。
【選択図】図３

Description

本発明はデジタルイメージ処理方法に関するもので、特に高解像度イメージ処理に要求されるメモリ使用を最適化する方法に関する。

デジタルカメラ、携帯電話のような最近の携帯端末の大部分は、高解像度のイメージを撮影することができる。これら装置の一部は、ユーザーの個人的な選好度によってこのような高解像度のイメージをカスタマイズ(customize)または処理を可能にする。デジタルイメージのカスタマイズは、編集動作(editing operation)を通じて実現される。しかしながら、低容量(low memory)及び低い処理能力を有する携帯端末は、高解像度のイメージを処理するように備えられていない。

イメージの一部を処理するために、イメージに含まれたピクセルの位置は、確認されなければならない。一部のイメージ編集変換に基づいた効果は、イメージを回転(rotating)し、クロッピング(cropping)し、フリッピング(flipping)するためにランダムなピクセル情報を要求する。符号化されたイメージデータの大部分は圧縮された形態で表現され、可変長符号化を使用するため、符号化されたデータで特定のピクセルを追跡することが容易でない。任意のピクセルからイメージをランダムに復号化する方法がないため、前述したようなイメージ処理を始める前に、基本的に全体イメージを復号化してバッファに順次的に格納する。

ＪＰＥＧ(Joint Photographic Expert Group)イメージの一部を処理するために知られている既存の方法は、復号化されたイメージを格納するためにＷ＊Ｈ＊２(ここで、‘Ｗ’及び‘Ｈ’は各々ピクセルの幅及び高さを示す)サイズのバッファを要求する。イメージの一部が復号化されたデータから抽出された後に、この抽出されたデータにイメージ処理アルゴリズムが適用され、その出力は、Ｗ＊Ｈ＊２サイズの他のバッファに格納される。したがって、イメージの一部を編集する全体処理(process)は、符号化及び復号化に要求されるメモリに２＊(Ｗ＊Ｈ＊２)を加算したメモリを要求する。２メガピクセルのイメージに対して、この処理は、低いメモリ容量を有する装置では、通常に収容されない少なくとも８ＭＢのメモリを消耗する。

この欠点に対処するために、従来技術の方法は、イメージデータファイル自体と共にデジタルイメージデータに関する符号化情報を格納することを含む。この符号化情報は、上記イメージの最小符号化ユニット(Minimum Coded Unit：ＭＣＵ)内の彩度(chroma)及び輝度(luma)成分(component)のＤＣ値(係数)、符号化されたイメージデータ内のＭＣＵの位置及びＭＣＵが分離されたオフセットを含む。ヒューレットパッカード(Hewlett Packard)に譲渡された米国特許出願第６３８１３７１号は、ＪＰＥＧイメージのＭＣＵに関連した情報をテーブル形態で格納することを開示する。格納された情報は、各ＭＣＵ内の彩度及び輝度成分のＤＣ値及びイメージに予め定められた位置から各ＭＣＵのオフセット値を含む。このように格納された情報は、イメージの一部に位置するために使用される。その後、この位置された部分のみが復号化される。

最適化ストレージを含む従来技術の方法はある程度のイメージ処理を要求したが、従来技術の方法で消耗されるメモリの量はまだかなり大きい。イメージの解像度(メガピクセル内で)が増加する場合に、上記メモリは、さらに多くのメモリの消耗を招く従来技術の方法を使用するイメージ処理に要求される。したがって、デジタルイメージ処理に要求されるストレージの量をさらに最適化する必要がある。

したがって、本発明の目的は、上記した従来技術の限界及び短所を解決するために、本発明の一側面による方法及びシステムを提供することにある。

本発明は、イメージのパーシング、符号化又は復号化中に獲得される最小符号化エンティティグループ(Minimum Coded Entity Group：以下、“ＭＣＥＧ”と称する)情報を用いて、デジタルイメージを処理するために要求されるメモリ使用を最適化する方法及びシステムを提供する。

ＭＣＥＧは、２個の連続する符号化エンティティから形成され、この符号化エンティティは、イメージの最小符号化ユニット(Minimum Coded Unit：ＭＣＵ)である。ＭＣＥＧ情報は、予め設定された位置から各ＭＣＥＧ開始位置までの距離、及びＭＣＥＧ内の符号化エンティティ(ＭＣＵ)間の相対距離を含む。また、ＭＣＥＧ情報は、同時に取得された予め設定された位置から各々のＭＣＥＧの終了位置の距離、及びＭＣＥＧ内の第２の符号化エンティティの長さを含むことができる。ＭＣＥＧ情報は、符号化されたイメージデータに所定の位置から各々個別ＭＣＥＧの中間点オフセット情報、及びＭＣＥＧグループの中間点とグループ内の個別符号化エンティティの開始又は終了点との間の距離をさらに含むことができる。また、ＭＣＥＧ情報は、一般的に第１の符号化エンティティの非サブサンプリング成分(例えば、Ｙ-輝度）の最初及び最終データユニットのＤＣ値、及び各ＭＣＥＧの第１の符号化エンティティのサブサンプリング成分(例えば、Ｃｂ及びＣｒ）のデータユニットのＤＣ値を含む。したがって、ＹＣｂＣｒ４：２：０のサブサンプリングが適用される場合、各ＭＣＥＧに対する４個のＤＣ値は格納される。他のＹＣｂＣｒフォーマットに対して、ＭＣＵを再構成するために要求される最小ＤＣ値のみが格納される。

収集されたＭＣＥＧ情報データ(MCEG Information Data：以下、“ＭＩＤ”と称する)は、分離されたファイル、又は主(primary)メモリ又は補助(secondary)メモリ、あるいは同一のＪＰＥＧファイル又はＲＡＭ、もしくは所定の位置に格納される。ＭＩＤがサーバのような異なる位置に格納される場合には、ＭＩＤに対応するリンクは、上記イメージを再構成するために使用されるＪＰＥＧファイルに提供される。

ＭＣＥＧ内の最初のＭＣＵに対応して格納されたＤＣ値は、最初のＭＣＵを再構成するデフォルト値として取得される。ＭＣＥＧ内の２番目のＭＣＵに対して、対応ＭＣＥＧのＤＣ値は、２番目のＭＣＵの再構成に使用される実際値を獲得するために符号化された差分ＤＣ値に加算される。イメージの一部を処理するために、上記一部に対応するＭＣＥＧが決定され、ＭＣＵは、復号化のためにＭＩＤ情報を用いて直接にアクセスされる。

本発明による実施形態の上記及び他の態様、特徴、及び利点は、添付の図面と共に述べる以下の詳細な説明から、一層明らかになるはずである。
従来技術による最小符号化エンティティブロック又はＭＣＵに分割されたＪＰＥＧイメージを示す図である。従来技術によるＪＰＥＧファイルのＭＣＵでブロックの配列を示す図である。本発明の一実施形態によって、ラスタースキャン順に連続するＭＣＵをグルーピングして形成されるＭＣＥＧの例示図である。本発明の一実施形態によって、デジタルイメージを処理する方法を示すフローチャートである。本発明の一実施形態によって、デジタルイメージを処理するために格納されるＭＩＤを検索する方法を示すフローチャートである。本発明の一実施形態によって、イメージファイルを復号化し、ＭＩＤを生成する方法を示すフローチャートである。図５及び図６に示す方法を使用して生成されるＭＩＤテーブルを示す図である。本発明の一実施形態によって、ＭＩＤテーブルを使用して処理するために要求されるイメージの一部を復号化する方法を示すフローチャートである。本発明の一実施形態によって、処理後にＪＰＥＧファイルを符号化する方法を示すフローチャートである。本発明の一実施形態によって、デジタルイメージを表す可変長符号化されたバイナリビットストリームを処理するシステムを示す図である。

以下、本発明の望ましい実施形態を添付の図面を参照して詳細に説明する。
したがって、本発明の実施形態では、理解を助けるために多様で詳細な説明を含む。しかしながら、これら詳細な説明は、ほとんど典型的な例として考えられる。また、本発明の範囲及び精神を逸脱することなく、以下に説明される本発明の様々な変形及び変更が可能であることは、当該技術分野における通常の知識を持つ者には明らかである。なお、公知の機能または構成に関する具体的な説明は、明瞭性と簡潔性のために省略する。

次の説明及び請求項に使用される用語及び単語は、辞典的意味に限定されるものではなく、発明者によって本発明の理解を明確にかつ一貫性のあるようにするために使用される。特許請求範囲とこれと均等なものに基づいて定義されるもので、本発明の実施形態の説明が但し実例を提供するためのことで、本発明の目的を限定するものでないことは、本発明の技術分野で通常の知識を持つ者には明らかである。

添付した図において、同一の構成要素または機能的に類似した構成要素に対しては同一の参照符号及び参照番号を付ける。参照番号は、多様な実施形態、及び本発明の多様な態様及び利点を示すために詳細な説明に使用される。

本発明は、デジタルイメージの符号化ブロックに対応する処理情報を生成する方法、及び処理のためのデジタルイメージの一部を復号化するために処理情報を使用する方法を含む。

以下に、本発明を添付の図面を参照して、実施形態を通じて説明する。
図１は、最小符号化エンティティブロックに分割されるＪＰＥＧイメージを示す。このＪＰＥＧイメージは、ＭＣＵを参照して圧縮されたイメージ名のシリーズとして格納される。ＪＰＥＧイメージのＭＣＵは、一般的に８×８、１６×８又は１６×１６ピクセルサイズである。ピクセルサイズの差は、彩度サブサンプリングに起因し、このサブサンプリングは、人間オブザーバーによって認識されない追加的な情報を除去するためにイメージのカラー情報を低い解像度でサンプリングされる。強調されたブロック１０２は、最小符号化ブロック又はＭＣＵを表す。二個の隣接したＭＣＵは、ＭＣＥＧ１０４を形成するために共にグルーピングされることができる。

図２は、ＪＰＥＧファイルのＭＣＵでブロックの配列を示す。イメージが一般的に元(raw)カラーフォーマット(特に、ＲＧＢ８：８：８で表示)で表示されるため、(メガピクセルの)高解像度のイメージを格納するために要求されるメモリが非常に高い。一般に、１６００×１２００(２Ｍピクセル)イメージに対して、元カラーフォーマットで格納するのに要求されるメモリの量は、５.７６ＭＢ(１６００＊１２００＊３bytes/pixel)である。したがって、デジタルイメージは、通常に圧縮されたフォーマットで表示され、ＪＰＥＧは、よく知られているイメージ圧縮規格の一つである。ＪＰＥＧフォーマットのイメージ情報は、ラスタースキャン(raster scan)順にＭＣＵの形式で格納される。各ＭＣＵは、（カラーに関連した）彩度成分[２０４，２０６，２１４，２１６]及び水平及び垂直の彩度サブサンプリングに基づいた(明度に関連した)輝度成分[２０２，２１２]の複数のブロック[２００，２１０]を含む。０番目の係数(coefficient)はＤＣを表し、残りはＡＣを表す各成分ブロック(一般的に８×８ピクセルサイズ)は、離散コサイン変換(Discrete Cosine Transform：ＤＣＴ)を使用して変換される。変換された成分ブロックは、８×８量子化ＤＣＴ値を提供するために量子化される。

例：
ＹＵＶ４２０のサブサンプリング[２００]に対して、８×８ブロック(Ｙ０，Ｙ１，…，Ｃｂ０，Ｃ１，…）は、下記に示すようにＭＣＵで配列される。:
ＭＣＵ０→ Ｙ０，Ｙ１，Ｙ２，Ｙ３，Ｃｂ０，Ｃｒ０
ＭＣＵ１→ Ｙ４，Ｙ５，Ｙ６，Ｙ７，Ｃｂ１，Ｃｒ１

ＹＵＶ４２２のサブサンプリング[２１０]の場合に４個のＭＣＵに対して、８個の輝度ブロック[２１２]、４個のＣｂブロック[２１４]、及び４個のＣｒブロック[２１６]が存在する。このブロックは、下記に示すようにＭＣＵで配列される。
ＭＣＵ０→ Ｙ０，Ｙ１，Ｃｂ０，Ｃｒ０
ＭＣＵ１→ Ｙ２，Ｙ３，Ｃｂ１，Ｃｒ１

量子化されたデータユニットは、可変長符号化を提供するハフマン(Huffman)方法によって符号化される。したがって、ＪＰＥＧイメージでＭＣＵの長さは可変される。

各ブロックの量子化ＤＣ値は、同一の成分の以前ブロックの量子化値に対して差動符号化される。同図において、彩度成分、輝度成分、及び彩度と輝度成分の量子化ＤＣ値の固定数のみが説明のために含まれている。量子化ＤＣ値がイメージデータファイルですべてのサブサンプリング成分及び非サブサンプリング成分に対応して選択的に格納されることは、当該技術分野で通常の知識を持つ者なら理解されるべきである。

Ｅは符号化される値を表し、Ｙ００，Ｃｂ００，Ｃｒ００，Ｙ１０，Ｃｂ１０，Ｃｒ１０…は、ＭＣＵブロックに対応する量子化ＤＣ値を表す。ＤＣ値は、次のように差動符号化される。：
ＹＵＶ４２０のサブサンプリングに対して：
ＥＹ００＝Ｙ００-０ＥＹ１０＝Ｙ１０-Ｙ００
ＥＹ２０＝Ｙ２０-Ｙ１０ＥＹ３０＝Ｙ３０-Ｙ２０
ＥＣｂ００＝Ｃｂ００-０ＥＣｒ００＝Ｃｒ００-０
ＥＹ４０＝Ｙ４０-Ｙ３０ＥＹ５０＝Ｙ５０-Ｙ４０
ＥＹ６０＝Ｙ６０-Ｙ５０ＥＹ７０＝Ｙ７０-Ｙ６０
ＥＣｂ１０＝Ｃｂ１０-Ｃｂ００ＥＣｒ１０＝Ｃｒ１０-Ｃｒ００

ＹＵＶ４２２のサブサンプリングに対して：
ＥＹ００＝Ｙ００-０ＥＹ１０＝Ｙ１０-Ｙ００
ＥＣｂ００＝Ｃｂ００-０ＥＣｒ００＝Ｃｒ００-０

ＥＹ２０＝Ｙ２０-Ｙ１０ＥＹ３０＝Ｙ３０-Ｙ２０
ＥＣｂ１０＝Ｃｂ１０-Ｃｂ００ＥＣｒ１０＝Ｃｒ１０-Ｃｒ００

図３は、ラスタースキャン順に連続するＭＣＵをグルーピングして形成されるＭＣＥＧの例示図である。元イメージデータでハフマン符号化は可変長符号化を生成させるため、他のＭＣＥＧと比較すると、ＭＣＥＧ内の各ＭＣＵのサイズが多様であることを図からわかる。同図において、ＭＣＵ１及びＭＣＵ２は、第１のＭＣＥＧを形成するためにグルーピングされる。同様に、他のＭＣＥＧは、ラスタースキャン順に隣接したＭＣＵをグルーピングして形成される。予め定められた開始位置からの各ＭＣＥＧの距離は、各ＭＣＥＧに対する第１のオフセット値(オフセット１)として格納される。ＭＣＥＧ内で２個のＭＣＵ間の相対距離は、各ＭＣＥＧに対する第２のオフセット値(オフセット２)として格納される。例えば、第１のＭＣＵの開始位置から第３のＭＣＥＧの開始位置までの距離は、オフセット１[３０２]として格納され、第３のＭＣＥＧ内の第５のＭＣＵと第６のＭＣＵとの間の相対距離はオフセット２[３０４]として格納される。

図４は、本発明の一実施形態によるデジタルイメージを処理する方法を示す。ステップ４００で、デジタルイメージの処理を開始する。ステップ４０２で、既存ＭＩＤの存在有無が判定される。ＭＩＤが既に存在すると、イメージ領域は、ステップ４０６で格納されたＭＩＤを用いて復号化される。各ＭＣＥＧに対応して、各ＭＣＵブロック内のデータユニットのＤＣ値及びオフセット情報は、ＭＩＤから検索される。ＭＩＤが既に存在していないと、ＭＩＤは、ステップ４０４で、生成及び格納される。ＭＩＤは、イメージファイル内にメタデータとして格納されることができる。また、ＭＩＤは、個々に格納され、ＭＩＤとのリンクがイメージデータファイルに提供されることができる。ステップ４０６で、ＭＩＤはイメージ復号化に使用され、ＭＣＵは再構成される。イメージデータが再構成された後に、イメージ処理動作は、ステップ４０８で、再構成されたイメージデータに適用される。イメージ処理以後に、イメージファイルは、符号化され、ＪＰＥＧイメージフォーマットで格納される。符号化されたＭＣＵブロックに対応して、ＭＩＤ情報が生成される。

図５は、デジタルイメージを処理するために格納されたＭＩＤを検索する方法を示す。ステップ５０２で、ＪＰＥＧイメージの処理が開始される。ステップ５０６で、ＪＰＥＧイメージファイル内にＭＩＤが存在するか否かを判定する。ＭＩＤは、一般的にデジタルイメージファイルのメタデータの一部として格納される。ＭＩＤが上記ファイル内に格納されていないと、ＪＰＥＧイメージファイルは、ステップ５１２で、ＭＩＤへのハイパーリンク又はインジケータが存在するかを確認する。ステップ５１４で、ＪＰＥＧイメージファイルに対応するＭＩＤの存在に対する検索は、予め定められたストレージ位置で実施される。ＭＩＤがステップ５０６，５１２，５１４で言及されたどの位置から検索されると、ＪＰＥＧイメージは、ステップ５０８で、図示のように検索されたＭＩＤを用いて復号化される。ＭＩＤやＭＩＤへのリンクがどこでも不可能であると、ＭＩＤの復号化及び生成方法がステップ５１８によって遂行される。

図６は、イメージファイルを復号化し、ＭＩＤを生成する方法を示す。本発明の望ましい実施形態によれば、ＭＩＤは、ユーザーが格納されたいかなるＭＩＤ情報も有していないＪＰＥＧイメージファイルをアクセスする場合に生成される。しかしながら、ＭＩＤは、カメラを使用して撮影されたイメージがＪＰＥＧフォーマットで符号化される場合にも生成されることができる。ステップ６０２で、イメージデータを示す圧縮されたバイナリビットストリームは、ＪＰＥＧイメージファイルの開始から順次にアクセスされる。ＭＣＥＧは、２個の連続したＭＣＵをラスタースキャン順に形成される。ステップ６０４で、ＭＣＥＧ及びＭＣＵの順序を定義するパラメータｉ、及び格納されたＭＣＥＧとＭＣＵのアドレスを示すパラメータｌｏｃが初期化される。ステップ６０６で、パラメータｉが最終のＭＣＵより低いか否かを判定する。次に、ステップ６１０で、パラメータｉが最終のＭＣＵより低い場合には、ＭＣＥＧ数Ｎｉが決定され、パラメータｌｏｃはヘッダー/マーカー長さに従って増加される。

ステップ６１２で、ＭＣＥＧ内のすべてのＭＣＵは復号化され、輝度(Ｙ)及び彩度成分(Ｃｂ及びＣｒ)のＤＣ値は各ＭＵＣに対して検索される。採用されたサブサンプリングのタイプに基づいて、各ＭＣＵに格納された成分ＤＣ値の数は変化され得る。例えば、ＹＣｂＣｒ４：２：０サブサンプリングが採用される場合に、４個のＤＣ値が格納される。４個のＤＣ値は、ＭＣＥＧ内の第１の符号化エンティティ(ＭＣＵ)の非サブサンプリング成分の最初及び最終ＤＣ値(輝度Ｙ０及びＹ１(最終))、及びＭＣＥＧ内の第１の符号化エンティティのサブサンプリング彩度成分のＤＣ値(Ｃｂ及びＣｒ)に対応する。ステップ６１４で、ｉ番目のＭＣＵがＭＣＥＧの第１のエンティティであるか否かを判定する。ｉ番目のＭＣＵがＭＣＥＧの第１のエンティティであると、ステップ６１６に進行され、ｉ番目のＭＣＵがＭＣＥＧの第１のエンティティでないと、ステップ６１８に進行される。ステップ６１６で、ＤＣ値(例えば、ＤＣＹ０，ＤＣＹ１，ＤＣＣｂ、ＤＣＣｒ）は、ＭＩＤテーブルの[Ｎｉ]番目のエントリに対応するフィールドに格納される。

ステップ６２０で、所定の開始位置からＭＣＥＧの距離は、第１のオフセット情報として格納される(オフセット１(ＭＩＤ[Ｎｉ].ｏｆｆ１)として表示)。所定の開始位置は、イメージデータファイルの第１のＭＣＵブロックであり得る。例えば、パラメータｌｏｃの値は、ＭＩＤテーブルの[Ｎｉ]番目のエントリ(ＭＩＤ[Ｎｉ].ｏｆｆ１)に第１のオフセット情報として格納される。

一方、ステップ６１８で、ＭＣＥＧ内の符号化エンティティ(ＭＣＵ)間の相対距離は、第２のオフセット情報(オフセット２(ＭＩＤ[Ｎｉ].ｏｆｆ２として表示)として格納される。例えば、パラメータｌｏｃの値から引かれた第１のオフセット情報(ＭＩＤ[Ｎｉ].ｏｆｆ１)は、第２のオフセット情報として使用されることができる。

ＭＣＥＧに対して収集された４個のＤＣ値とオフセット情報は、ＭＣＥＧ情報と共に示す。ＭＣＥＧ情報はすべてのＭＣＵグループに対して収集され、このような収集情報はＭＩＤとしてテーブルに格納される。

収集されたＭＣＥＧ情報データは、個別ファイル、あるいは主メモリ又は補助メモリ、もしくは同一のイメージファイル又はＲＡＭ、または所定の位置に格納される。本発明の好ましい実施形態において、ＭＩＤは、イメージファイルのメタデータと共にテーブルに格納される。しかしながら、ＭＩＤは、サーバのような異なる位置に格納され、ＭＩＤに対応するリンクは、イメージファイル、あるいは主メモリ又は補助メモリに提供されることができる。

図７は、図５及び図６に示す方法を用いて生成されたＭＩＤテーブルを示す。このＭＩＤは、撮影されたイメージが符号化され、あるいは符号化されたイメージが始めてアクセスされる間に最初に生成される。ＭＩＤテーブルは、個別的なエンティティグループから獲得されたＭＣＥＧ情報と共に保存される。ＹＣｂＣｒ４：２：０サブサンプリングの場合に、ステップ６１６に示すように、４個のＤＣ値は、各ＭＣＥＧに対して格納される。ＭＣＥＧ情報は、各ＭＣＥＧ開始位置から予め設定された位置までの距離、及びＭＣＥＧ内の符号化エンティティ間の相対距離を含む。また、ＭＣＥＧ情報は、同時に予め設定された位置からの各ＭＣＥＧの終了位置の距離、及びＭＣＥＧ内の第２の符号化エンティティの長さを含むことができる。さらに、ＭＣＥＧ情報は、所定の位置から個別的なＭＣＥＧの中間点オフセット情報、及び上記グループの中間点とＭＣＥＧ内の個別的な符号化エンティティの開始点又は終了点との間の差を含むことができる。

各彩度及び輝度成分のデータユニットの数はサブサンプリングのタイプによって変化されるため、ＭＣＥＧ情報のストレージは、次のように最適化できる。

Ａ．ＹＣｂＣｒ４：２：０又はＹＣｂＣｒ４：２：２サブサンプリングが使用される場合に、少なくとも４個のＤＣ値が各ＭＣＥＧに対して格納される。この４個のＤＣ値は、各ＭＣＥＧ内で第１の符号化エンティティ(ＭＣＵ)の非サブサンプリング成分(Ｙ-輝度）の最初及び最終のＤＣ値、及びＭＣＥＧ内で第１の符号化エンティティのサブサンプリング彩度成分(Ｃｂ及びＣｒ）のＤＣ値に対応する。

Ｂ．彩度成分がＹＣｂＣｒ４：４：４によるフル(full)解像度で使用される場合に、少なくとも３個のＤＣ値は各ＭＣＥＧに対して格納される。３個のＤＣ値は、ＭＣＥＧ内の第１の符号化エンティティの各Ｙ、Ｃｂ、及びＣｒの一つのＤＣ値に対応する。

Ｃ．単一の成分(ＹＣｂＣｒ４：０：０）の場合に、第１の符号化エンティティの輝度Ｙに対応する一つのＤＣ値が格納される。

２個のＭＣＵがＭＣＥＧにグルーピングされることによって、ＤＣ値を格納するために要求されるメモリは、従来技術に比べてＭＣＥＧ当たり４バイトだけ減少する。また、オフセット情報のストレージは、絶対オフセット情報(４バイト)とは反対に、小さい(fewer)バイトが相対オフセット情報(この場合には２バイト)を格納するために要求されるように最適化される。ＹＣｂＣｒ４：２：０サブサンプリングの場合にＭＣＥＧ情報を格納するために、次のように要求される。
-４個のＤＣ値を格納するための８バイト(各ＤＣ値当たり２バイト)
-(所定の位置から)ＭＣＥＧオフセット情報を格納するための４バイト
-ＭＣＥＧ内で２番目のＭＣＵの相対オフセット情報を格納するための２バイト

したがって、全体的に、１４バイトがＭＣＵ当たり７バイトに該当するＭＣＥＧ情報を格納するために要求される。

ＭＣＥＧ情報を用いて生成されるＭＩＤ情報は、従来の技術に比べて、ＭＣＥＧ当たり少なくとも６バイト(ＭＣＵ当たり３バイト)を保存することによってストレージに要求されるメモリを減少させる。高解像度を有するイメージの場合に保存されるメモリの量は、本発明の方法によって考えられる。

図８は、図７のテーブルに示されたように、ＭＩＤを用いて処理するために要求されるイメージの一部を復号化する方法を示す。

ステップ８００で、イメージデータの一部を復号化する手順が開始される。ステップ８０２で、圧縮されたＪＰＥＧビットストリームが受信され、ビットストリームに含まれたヘッダーが復号化される。ステップ８０４で、要求されるすべてのＭＣＵが復号化されたか否かが判定される。要求されるＭＣＵがすべて復号化された場合に、上記方法はステップ８０８を通じて終了される。一方、要求されるすべてのＭＣＵが復号化されていない場合には、要求されるＭＣＵを復号化するためにステップ８１０に進行する。

ステップ８１０で、編集されるイメージの一部に対応するＭＣＵ(及びＭＣＥＧ）が決定される。各識別されたＭＣＥＧに対して、対応するＤＣ値及びオフセット情報は、ステップ８１２で、ＭＩＤテーブルから検索される。ＤＣ値及びオフセット情報は、ＭＣＥＧ内のＭＣＵを再構成するために使用される。ステップ８１４で、識別されたＭＣＥＧ内のＭＣＵが偶数であるか、あるいは奇数であるかを判定する。ＭＣＵが偶数であると、すべてのデータは、ステップ８１６に示すように、“オフセット１”に位置したＭＣＵから検索される。ステップ８２０で、ステップ８１６の検索されたデータは符号化され、すべてのデータユニットが抽出される。ステップ８２４で、ステップ８２４の抽出されたデータユニットに対応するＤＣ値は、絶対ＤＣ値として扱われ、ＭＣＵの再構成に使用される。ＭＣＵが奇数番目であると、ＭＣＥＧからのＤＣ値は、予測ＤＣ値として使用される。その後、位置は、ステップ８１８で、“オフセット１”の値を“オフセット２”の値に加算することによって判定され、判定された位置に存在するすべてのデータが検索される。ステップ８２２で、データユニットは、検索されたデータから抽出され、これら抽出されたデータユニットは、差分ＤＣ値を示す。ステップ８２６で、予測ＤＣ値は、ステップ８２８でＭＣＵの再構成に使用される、実際のＤＣ値を獲得するために差分ＤＣ値に加算される。要するに、対応するＭＣＥＧのＤＣ値は、第１のＭＣＵを再構成するためのデフォルト値として取得される。ＭＣＥＧ内の第２のＭＣＵに対して、対応するＭＣＥＧのＤＣ値は、第２のＭＣＵの再構成に使用される実際値を獲得するために第２のＭＣＵの差分ＤＣ値に加算される。

復号化されたイメージを得るために、処理されるイメージの一部に存在するすべてのＭＣＵは、格納されたＭＩＤを用いて再構成される。フリッピング、クロッピング、回転のようなイメージ処理動作は、処理されたＭＣＵに起因する復号化されたイメージデータに適用される。

図９は、ＪＰＥＧファイルの符号化中にＭＩＤ情報を生成する方法を示す。既存のＪＰＥＧイメージ規格のように、符号化は、ステップ９０２に示されたようにＪＰＥＧファイルのビットストリームにヘッダー及びマーカーの書き込みで開始される。また、ステップ９０２で、ヘッダー及びマーカーはビットストリームに書き込まれ、ＭＣＵカウントパラメータ(Ｉ)は初期化される。ステップ９０４で、パラメータ(ＬＯＣ)の値は、ビットストリーム内のポインタを書き込む現在位置として設定される。ステップ９０４で、上記パラメータ(Ｉ)が最終ＭＣＵより低いか否かを判定する。ステップ９０６で、パラメータ(Ｉ)が最終ＭＣＵより低い場合には、ステップ９１０に進行され、パレメータ(Ｉ）が最終ＭＣＵと等しいかそれより高い場合には、ステップ９０８に進行する。

ステップ９１０で、符号化エンティティ(ＭＣＵ)に対応する元イメージデータが獲得される。ステップ９１２で、ＤＣ値は、イメージデータをレベルシフト及び変換することによって、各ＭＣＵに対して獲得される。ＪＰＥＧ符号化はイメージデータ上で遂行され、符号化されたデータはイメージビットストリームに書き込まれる。ステップ９１４で、ＭＣＵが偶数であるか、あるいは奇数であるかを判定する。ＭＣＵが偶数であると、Ｙ０，Ｙ１，Ｃｂ０，Ｃｒ０に対応する４個のＤＣ値及び位置値(オフセット１と同一)は、ステップ９１８に示されたように、ＭＩＤテーブルに格納される。ＭＣＵが奇数であると、ＭＣＥＧ内のＭＣＵ間の相対距離は、ステップ９１６によって表示されたように、オフセット２として格納される。ステップ９０８で、新たに生成されたＭＩＤ情報は、ユーザーセクション、またはＪＰＥＧファイルの所定領域、あるいは主メモリ又は補助メモリに書き込まれる。また、この生成されたＭＩＤはリモート位置に格納され、この位置に対応するハイパーリンク又はインジケータはＪＰＥＧファイルに書き込まれることができる。イメージの符号化は、既存の技術における方法、または本発明の技術分野で通常の知識を持つ者には公知の方法を使用することによって、多様な方法で遂行されることもできる。

図１０は、本発明の一実施形態により、デジタルイメージを表す可変長符号化バイナリビットストリームを処理するシステム１０００を示す。本発明によるシステムの例は、イメージプロセッサ及び電子装置を含む。電子装置の例は、デジタルカメラ、携帯電話、ポケットＰＣ、携帯用コンピュータ、及びデスクトップコンピュータを含んでいるが、これに限定されるものではない。本発明の一実施形態によるシステムは、処理モジュール１００２及びメモリモジュール１００４を含む。この処理モジュール１００２は、ＭＣＥＧを形成するために、符号化されたイメージデータファイルで２個の連続したＭＵＣをグループ化して構成される。符号化されたイメージデータファイルからのすべてのＭＣＵは、ラスタースキャン順に同時に２個のＭＣＵを処理することによって、複数のＭＣＥＧにグルーピングされる。その後、処理モジュールは、各ＭＣＥＧから情報を収集する。メモリモジュールは、ＭＩＤのように処理モジュールによって収集された情報を格納するように構成される。ユーザーが処理のためにデジタルイメージの一部を選択した場合に、処理モジュールは、格納されたＭＩＤからイメージの選択された一部に対応するＭＣＥＧを識別する。その後、処理モジュールは、各ＭＣＥＧ内のＭＣＵを復号化するために、ＭＣＥＧに対応して格納されたＭＩＤを使用する。その後、処理モジュールは、復号化されたＭＣＵを用いてイメージデータを再構成する。処理動作は、再構成されたイメージデータに適用される。この処理動作は、イメージの拡大(zooming)、イメージの一部をクロッピング、イメージのフリッピング、及びイメージの回転を含んでいるが、これに限定されるものではない。

以上に、本発明の実施形態を説明及び開示したが、本発明及びその長所がこれら実施形態のみに限定されるものではないことは自明である。添付した特許請求の範囲によって規定されるような本発明の精神及び範囲を逸脱することなく、様々な変更、変形、代替、同等なものが可能であることは、当該技術分野における通常の知識を持つ者には明らかである。

３００ＭＣＥＧ
３０２オフセット１
３０４オフセット２
１０００システム
１００２処理モジュール
１００４メモリモジュール

Claims

イメージデータを処理する方法であって、
イメージデータを最小符号化ユニット(ＭＣＵ)に分割して符号化するステップと、
最小符号化エンティティグループ(ＭＣＥＧ)を形成するために前記符号化されたイメージデータファイルで少なくとも２個のＭＵＣをグルーピングするステップと、
複数のＭＣＥＧの各々から情報を収集するステップと、
ＭＣＥＧ情報データ(ＭＩＤ)として前記複数のＭＣＥＧから収集された情報を格納するステップと、を有し、
前記複数のＭＣＥＧは、前記符号化されたイメージデータファイルから形成され、
前記ＭＩＤは、前記デジタルイメージを処理する情報の一部であることを特徴とする方法。
処理のために、前記符号化されたイメージデータファイルの一部を選択するステップと、
前記符号化されたイメージデータファイルの前記選択された部分に対応する少なくとも一つのＭＣＥＧを識別するステップと、
前記確認された少なくとも一つのＭＣＥＧに存在する少なくとも一つのＭＣＵを復号化するステップと、
処理されたＭＣＵを形成するように前記復号化されたＭＣＵを処理するステップと、
を有することを特徴とする請求項１に記載の方法。
処理のために、符号化されたイメージデータをアクセスするステップをさらに有することを特徴とする請求項２に記載の方法。
グルーピングは、ラスタースキャン順に２個の連続するＭＣＵを処理して実現されることを特徴とする請求項１に記載の方法。
前記収集された情報は、所定の開始位置から各ＭＣＥＧの開始位置までの距離を含むことを特徴とする請求項１に記載の方法。
前記所定の開始位置は、前記符号化されたイメージデータの第１のＭＣＵであることを特徴とする請求項５に記載の方法。
前記収集された情報は、各ＭＣＥＧ内のＭＣＵ間の相対距離を含むことを特徴とする請求項５に記載の方法。
前記収集された情報は、各ＭＣＥＧ内の第１のＭＣＵのデータユニットに対応する少なくとも一つのＤＣ値を含むことを特徴とする請求項１に記載の方法。
前記第１のＭＣＵの各非サブサンプリング成分に対応する最初ＤＣ値と最終ＤＣ値が格納されることを特徴とする請求項８に記載の方法。
前記第１のＭＵＣの各サブサンプリング成分に対応する最初のＤＣ値が格納されることを特徴とする請求項８に記載の方法。
格納されたＭＩＤの位置を示し、前記ＭＩＤ位置情報を格納するＭＩＤ位置情報を生成するステップをさらに有することを特徴とする請求項１に記載の方法。
前記少なくとも一つのＭＣＥＧは、それぞれの前記ＭＩＤに格納された所定の距離を用いて識別されることを特徴とする請求項５に記載の方法。
前記少なくとも一つのＭＣＥＧは、それぞれ前記ＭＩＤに格納された前記所定の相対距離を用いて識別されることを特徴とする請求項７に記載の方法。
前記復号化ステップは、前記ＭＩＤの前記識別されたＭＣＥＧに対応して格納されたＤＣ値を用いてＭＣＵを再構成するステップを有することを特徴とする請求項２に記載の方法。
前記識別された少なくとも一つのＭＣＥＧの第１のＭＣＵは、前記ＭＩＤで前記識別されたＭＣＥＧに対応して格納された所定の第１のオフセット及び絶対ＤＣ値を用いて再構成されることを特徴とする請求項１４に記載の方法。
前記所定の第１のオフセットは、前記識別された少なくとも一つのＭＣＥＧの開始位置と前記イメージデータファイルの第１のＭＣＵと間の距離を示すことを特徴とする請求項１５に記載の方法。
前記識別された少なくとも一つのＭＣＥＧの第２のＭＣＵは、前記符号化されたイメージデータファイルの所定の第２のオフセットでＤＣ値、及び前記ＭＩＤの前記ＭＣＥＧに対応して格納された絶対ＤＣ値を用いて再構成されることを特徴とする請求項１４に記載の方法。
前記所定の第２のオフセットは、前記識別される少なくとも一つのＭＣＥＧのそれぞれにＭＣＵ間の相対距離を示すことを特徴とする請求項１７に記載の方法。
イメージデータを処理するように構成される電子装置であって、
最小符号化エンティティグループ(ＭＣＥＧ)を形成するために前記符号化されたイメージデータファイルで少なくとも２個のＭＵＣをグルーピングし、
複数のＭＣＥＧの各々から情報を収集し、
前記符号化されたイメージデータファイルの選択された一部に対応する少なくとも一つのＭＣＥＧを識別し、
格納されたＭＣＥＧ情報データ(ＭＩＤ)を用いて前記識別された少なくとも一つＭＣＥＧに存在する前記ＭＣＵを復号化し、
処理されたＭＣＵを形成するように前記復号化されたＭＣＵを処理する処理モジュールと、
前記収集されＭＩＤを格納するように構成されるメモリモジュールと、を含み、
前記複数のＭＣＥＧは、前記符号化されたイメージデータファイルから形成されることを特徴とする電子装置。