JP2008543203A - 圧縮された未加工の画像を使用する画像プロセッサのための一時的画像バッファ - Google Patents

Abstract

デジタル画像を取り込み、保存するシステム及び方法を開示する。本発明は、画像をオンザフライで処理したり、画像を未加工フォーマットで保存したりせずに、画像を保存する前のキャプチャ済み画像の圧縮に関する。画像の表示を望む場合には、必要に応じて特定の画像を復号化し、処理することができる。本発明は、各画像のために必要な保存空間の量を減らすものである。本発明と関連して、様々な圧縮アルゴリズム及びシステムを利用することが可能である。
【選択図】図４

Description

本発明は、一般的に、画像処理用アーキテクチャに関する。さらに詳細には、本発明は、デジタルカメラ及び他の電子装置におけるデジタル画像の処理及び保存に関する。

カメラのセンサは、光学を利用して光を取り込み、光子をデジタル数に変換する。この取り込まれ取り込まれた画像は、通常、未加工のベイヤー形式である。取り込まれ取り込まれた画像は処理され、多くの場合、カメラ又は他の装置のメモリに保存される。取り込まれ取り込まれた画像は、多くの場合、Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＪＰＥＧ）アルゴリズム、又はＭｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ（ＭＰＥＧ）アルゴリズムのような圧縮方法を用いて保存される。取り込まれ取り込まれた未加工の画像は、取込み装置、又は取込み装置と通信中の他の装置のディスプレイのために直接処理することができる。さらに、画像が取り込まれ、保存されたとき、又は画像が保存された後に、「デジタルズーム」機能を用いることもできる。

未加工の画像を、装置のメモリに取り込むとき、これらの画像を未加工フォーマットで保存するためには大量のメモリ空間が必要となる。メモリユニットにこのような大きなファイルを保存する代替の方法として、画像の「オンザフライ」処理があるが、これは、問題の電子装置側において大きな処理電力を必要とするものとなる。オンザフライ処理はまた、画像に対する全体的な処理の融通性も低下させることになる。例えば、自動ホワイトバランス（ＡＷＢ）は、ＡＷＢ処理中の前回のフレームの統計情報に基づいて実行する必要がある。画像が、連続撮影モード（画像が継続的に取り込まれ取り込まれたり、急速に連続して取り込まれ取り込まれたりするモード）で取り込まれる場合、圧縮されていない未加工の画像に対する必要なバッファサイズは急速に非常に大きなものとなり、及び／又は、取り込まれる画像の数が極めて限定されることになる。

本発明は、未加工の画像をメモリバッファに保存する代わりに、未加工の画像を圧縮フォーマットで電子装置のメモリユニットに保存することに関連するものである。本発明は、符号化及び復号化の双方に関して単純な圧縮方法を利用し、しかも目に見える符号化上のアーチファクトを結果的に生じることはない。圧縮フォーマットの使用はまた、画像ラインを個別に符号化できるような場合においても非常に有利であり、この結果、余分な復号化及び関連する追加のオーバヘッドを必要とすることなく、いずれの画像位置からでも画像処理を開始することが容易となる。

本発明のシステム及び方法により、未加工の画像の一時的な保存のために必要となるメモリ空間の量は、従来のシステムに比べて大幅に減少する。さらに、本発明による画像処理はＡＷＢにおける現フレームの統計を利用することができる。

本発明の上記その他の目的、利点及び特徴、並びに構成及び作動方法は、添付図面と併せて考慮すれば、以下の詳細な説明から明らかになるであろう。以下で説明するいくつかの図面全体を通じて、同様な要素には同様の参照番号が付けられている。

図１及び図２は、本発明を実施することができる１つの代表的な移動電話機１２を示す図である。しかしながら、ある特定のタイプの移動電話機１２又は他の電子装置に本発明を限定することを意図するものではないことを理解されたい。実際に本発明は、事実上あらゆるタイプの電子装置の中に組み込むことが可能である。図１及び図２の移動電話機１２は、ハウジング３０、（例えば、液晶ディスプレイの形の）ディスプレイ３２、キーパッド３４、マイク３６、受話口３８、バッテリー４０、赤外線ポート４２、アンテナ４４、本発明の１つの実施形態に従うＵＩＣＣ形式のスマートカード４６、カードリーダ４８、無線インターフェイス回路５２、コーデック回路５４、コントローラ５６、及びメモリ５８を備える。移動電話機１２はまた、コントローラ５６に作動的に接続されたカメラシステム６０も備える。個々の回路及び要素はすべて、従来技術、例えば、ノキアの移動電話機の範囲で公知のタイプのものである。

図３には、カメラシステム６０のための代表的な光学レンズ系１が概略的に描かれている。図３に示されるレンズ系１は、対象物８の合焦した画像を像平面５上へ投影するように作動する主要レンズ２を備える。主要レンズ２は、ｘ−ｙの範囲にわたって調整可能である。レンズ系１は、ハウジング（図示せず）内に固定されて、対象物８の画像を像平面５に位置する画像センサ７上へ投影する。レンズ系１はまた、支持チューブ９及びレンズチューブ１０も備える。レンズチューブ１０は、主レンズ２を把持し、支持チューブ９内の同軸上に組み込まれる。

図４は、本発明の１つの実施形態の実施構成を示すフロー図である。図４のステップ１００で、ユーザは、自分の電子装置に対象物８の画像を取り込むように命令を与える。前に解説したように、電子装置は、スタンドアローン型のデジタルカメラから、デジタルカメラ機能付きの移動電話機、ラップトップ型又はデスクトップ型コンピュータ、個人用情報機器（ＰＤＡ）、又は他の装置の中に組み込まれたデジタルカメラまでの範囲にわたる多種多様な形態をとることができる。ステップ１１０で、対象物８の画像は画像センサ７上へ合焦される。画像センサ７は、複数のトランジスタを含む電荷結合素子（ＣＣＤ）を含むものであってもよい。画像センサ７はまた、相補形金属酸化膜シリコン（ＣＭＯＳ）センサを含むものであってもよい。複数のトランジスタの各々の上へ画像８を投影することにより、各トランジスタに当る光の強さに比例して電流が生成される。この電流は、アナログデジタル変換器の中を通って可変信号をデジタル形式に変換する。

ステップ１１５で、未加工の画像をそれぞれの電子装置のメモリバッファに保存せずに、この画像を圧縮し、ステップ１２０で、本発明に従う圧縮フォーマットでメモリユニット５８に保存する。本発明は、符号化及び復号化の双方における単純な圧縮方法の利用を含み、しかも目に見える符号化アーチファクトを結果的に生じることはない。本発明はまた、それぞれの画像における個々の画像ラインを個別に復号化できる場合に多くの利点を提供し、その場合、大きなオーバヘッドや余分な復号化を伴うことなくいずれの画像位置からでも画像の処理を開始することが容易である。

本発明と関連して様々な符号化法を利用することができる。そのような符号化法の１つが、ノキアコーポレーションによるＰＣＴ国際公開番号ＷＯ２００４／０６４４０２に記載されているＤＰＣＭ／ＰＣＭコーデックを含むものであり、この特許は本願に引用して援用されている。この特殊な符号化法は、圧縮した画像サイズを常に知ることが可能であり、かつ、この符号化法が、Ｓｔａｎｄａｒｄ Ｍｏｂｉｌｅ Ｉｍａｇｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＳＭＩＡ）プロファイル１及び２においても用いられているという理由で本発明には特に適している。ＳＭＩＡ規格は、移動用アプリケーションにおいて使用される一体型小型カメラモジュールの製造、購入、又は仕様化を行うすべての企業によって利用されているオープンスタンダードである。プロファイル１又は２に準拠するすべてのＳＭＩＡカメラモジュールは、本方法に従って画像の符号化を行うことができ、かつ、符号化目的のための追加のハードウェアを必要としない。画像をメモリバッファに保存する前に、受信機モジュールの中で符号化を実行できることにも留意されたい。

画像が圧縮された後のある時点において、画像は、その後、ステップ１３０でメモリバッファから復号化され、ステップ１３２で処理される。次いで、ステップ１４０で画像を表示することができる。画像処理後、ステップ１５０で画像を圧縮し、遠隔装置へ送信したり（ステップ１６０）、印刷したり（ステップ１７０）、例えば、ＪＰＥＧ又はＭＰＥＧフォーマットを用いて保存したりすることもできる（ステップ１８０）。

ＳＭＩＡ互換センサは、ＤＰＣＭ／ＰＣＭ符号化を実行することができる。このようなセンサを使用する場合、プロセッサチップ用のハードウェアや、画像センサ７と関連するソフトウェア間に設ける追加のハードウェアを必要としない。多くの場合、プロセッサチップがハードウェアを用いて画像の符号化と復号化とを行うことができることは有利であり、この結果、システムに対する追加のＭＩＰＳ要件が不要となる。さらに、ハードウェアのエンコーダがプロセッサに含まれている場合、未加工の画像出力機能を有する事実上すべてのカメラモジュールを本発明と関連して使用することが可能となる。

本発明はまた、デジタルズーム機能と関連して利用することもできる。本発明によれば、個々の画像のクロッピングやスケーリングに対する制約は存在しない。例えば、ＳＭＩＡの機能仕様書に説明されているタイプの画像スケーラを使用してスケーリングを実行することができる。未加工の画像がベイヤー形式又は同じ場所にあるスケーリング済みの画像形式であれば、ＤＰＣＭ／ＰＣＭコーデックを用いてこの未加工の画像を同様の方法で圧縮することができる。図４のステップ１９０で表されるデジタルズーミング（クロッピング）及びスケーリングは、未加工の画像が圧縮される前に、又は、画像の保存後であってかつ処理前に、又は、画像の処理後であってかつ画像の圧縮前に、又は、画像の圧縮後に実行することは可能であるが、クロッピング及びスケーリングは、画像が圧縮された形式であるときには実行できない。画像が圧縮されてしまっている場合には、ステップ１３２及び１８５で表されているように、ズーミング又はスケーリングが行われる前にこの画像を復号化しなければならい。

本発明に関連して様々な異なる未加工の画像形式が利用可能である。しかしながら、ＤＰＣＭ／ＰＣＭコーデックが適切に作動するためには、所定の順序のカラーピクセルが存在しなければならない。

本発明の１つの実施形態では、ＤＰＣＭ／ＰＣＭ圧縮を利用して、例えば、１０バイトから８バイトへ、又は１２バイトから８バイトへの圧縮処理を利用することにより、（８ビットを含む）各圧縮バイトが１つの未加工の画像ピクセルを含むようにする。一方、圧縮効率のほうが重要であれば、１０バイトから６バイトへ、又は１０バイトから７バイトへの圧縮率のような別の圧縮率を使用することもできる。

本発明の場合、少なくとも１つの圧縮画像フレームバッファが、画像プロセッサにより使用可能なメモリユニットで利用できるという最少のメモリ要件が存在する。本発明の１つの実施形態では、メモリユニットには複数の画像バッファのための十分な空間が含まれる。このような状況で、次に続く画像を次の画像バッファの中に常に取り込むことができる。最後の画像バッファが使用されると、次の画像を最初の画像バッファに保存することが可能となり、この処理が繰り返される。本発明の１つの特定の実施形態では、３つの異なるインデックスが使用される。第１のインデックスは、次のキャプチャ用の画像バッファ番号を示す。第２のインデックスは、最初の未処理の又は未保存の画像バッファ用の画像バッファ番号を示す。第３のインデックスは、利用可能な画像バッファの個数を示す。これらのインデックスを使用することにより、最初の２つのインデックスが同じバッファを示している場合には、装置は、新規の画像を取り込むことを許可されないので、取り込まれ取り込まれた画像が上書きされることは決してない。

第３のインデックスは、メモリ構成が変更される可能性があるという理由で必要である。保存された画像は、一時保存か、永久保存のために、いつでも別のメモリユニット、あるいは同じメモリ内の別の領域へ移動させることができる。永久保存の場合、画像は、ＪＰＥＧ、ＭＰＥＧ、又はＤＰＣＭ／ＰＣＭのようないずれかの容認可能な圧縮フォーマットを使用して保存することができる。画像は、所望の場合には、圧縮された未加工の画像フォーマットで永久保存できることも付記しておく。さらに、個々の画像の表示、印刷、又は送信が行われる前に、これらの画像を常に処理する必要があるというわけではなく、処理を必要とする操作が要求されるまで、圧縮フォーマットで保持することができることに留意されたい。これにより、圧縮済みのコンパクトなフォーマットで最大の情報量を長時間にわたり保存することが可能となる。

方法ステップという一般的な文脈で本発明を説明しているが、本方法は、プログラムコードのような、ネットワーク接続環境でコンピュータにより実行されるコンピュータ実行可能命令を含むプログラム製品によって１つの実施形態で実施することも可能である。

一般的に、プログラムモジュールには、特定のタスクを実行し、又は特定の抽象的なデータタイプを実現するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。コンピュータ実行可能命令、関連するデータ構造、及びプログラムモジュールは、本明細書で開示する方法の実行ステップのためのプログラムコードの例を表すものである。このような実行可能命令又は関連するデータ構造の特定の順序は、このようなステップで記載される機能を実行するための対応する動作の例を表すものとなる。

本発明のソフトウェア及びウェブの実施構成は、様々なデータベースの探索ステップ、相関ステップ、比較ステップ、及び決定ステップを達成するための規則に基づく論理回路、及び、その他の論理回路を用いた標準的プログラミング技術により達成することが可能である。本願明細書及び請求項で使用される「コンポーネント」及び「モジュール」という用語は、ソフトウェアコードの１つ又はそれ以上の行を用いた実施構成、及び／又はハードウェア実装、及び／又は手動入力を受信するための機器を含むことを意図するものであることにも留意されたい。

本発明の実施形態のついての以上の説明は、例示及び説明のために提示されたものである。上記説明は、本発明を網羅しようとしたり、開示された厳密な形態に限定したりすることを意図するものではなく、上述の教示を考慮して改変と変更を行うことが可能であり、あるいは、本発明の実施から改変と変更を行うことが可能である。上記実施形態を選択し、該実施形態について説明したが、これは、本発明の原理と本発明の実際の利用方法を説明して、様々な実施形態で、そして、想定される特定の用途に適合した様々な変更と共に当業者が本発明を利用できるようにするためである。

本発明の実施に使用可能な移動電話機の透視図である。 図１の移動電話機の電話回路を示す概略図である。 デジタルカメラで使用するための簡単な光学系の概略図である。 本発明の１つの実施形態の実施構成を示すフロー図である。

符号の説明

１００ 画像を取り込むように命令する
１１０ 画像が画像センサ上へ合焦される
１１５ 画像が圧縮される
１２０ 画像が圧縮フォーマットで保存される
１３０ 未加工の画像が復号化される
１３２ 未加工の画像が処理される
１４０ 画像が表示される
１５０ 画像が圧縮される
１６０ 画像が送信される
１７０ 画像が印刷される
１８０ 画像が保存される
１８５ 画像の復号化
１９０ デジタルズーミング及びスケーリング

Claims (21)

1. デジタル画像を取り込む方法であって、画像取込み命令の開始時に、
   前記画像を画像センサ上へ合焦して、未加工のデジタル画像を形成するステップと、
   前記未加工のデジタル画像を圧縮するステップと、
   前記未加工のデジタル画像を圧縮フォーマットでメモリユニットに保存するステップと、
   を含むことを特徴とする方法。
2. 前記未加工のデジタル画像を圧縮フォーマットで保存した後に、前記未加工のデジタル画像を復号化し、処理するステップをさらに含むことを特徴とする請求項１に記載の方法。
3. 前記未加工のデジタル画像を復号化し、処理した後に、前記画像を表示するステップをさらに含むことを特徴とする請求項２に記載の方法。
4. 前記未加工のデジタル画像を復号化し、処理した後に、
   前記処理したデジタル画像を圧縮するステップと、
   前記処理したデジタル画像を印刷する操作と前記処理したデジタル画像を保存する操作と前記処理したデジタル画像を遠隔地へ送信する操作とから成るグループから選択した操作を実行するステップと、
   をさらに含むことを特徴とする請求項２に記載の方法。
5. 前記未加工のデジタル画像を復号化し、処理した後に、前記処理したデジタル画像のスケーリング又はクロッピングを行うステップをさらに含むことを特徴とする請求項２に記載の方法。
6. 前記未加工のデジタル画像の圧縮はＤＰＣＭ／ＰＣＭ圧縮からなることを特徴とする請求項１に記載の方法。
7. 前記未加工のデジタル画像を前記メモリユニット内の画像バッファに保存することを特徴とする請求項１に記載の方法。
8. デジタル画像を取り込むためのコンピュータプログラム製品であって、画像の取込み命令の開始時に、
   前記画像を画像センサ上へ合焦して、未加工のデジタル画像を形成するためのコンピュータコードと、
   前記未加工のデジタル画像を圧縮するためのコンピュータコードと、
   前記未加工のデジタル画像を圧縮フォーマットでメモリユニットに保存するためのコンピュータコードと、
   を含むことを特徴とするコンピュータプログラム製品。
9. 前記未加工のデジタル画像を圧縮フォーマットで保存した後に、前記未加工のデジタル画像を復号化し、処理するためのコンピュータコードをさらに含むことを特徴とする請求項８に記載のコンピュータプログラム製品。
10. 前記未加工のデジタル画像を復号化し、処理した後に、前記画像を表示するためのコンピュータコードをさらに含むことを特徴とする請求項９に記載のコンピュータプログラム製品。
11. 前記未加工のデジタル画像を復号化し、処理した後に、
    前記処理したデジタル画像を圧縮し、
    前記処理したデジタル画像を印刷する操作と前記処理したデジタル画像を保存する操作と前記処理したデジタル画像を遠隔地へ送信する操作とから成るグループから選択した操作を実行する
    ためのコンピュータコードをさらに含むことを特徴とする請求項９に記載のコンピュータプログラム製品。
12. 前記未加工のデジタル画像を復号化し、処理した後に、前記処理したデジタル画像のスケーリング又はクロッピングを行うためのコンピュータコードをさらに含むことを特徴とする請求項９に記載のコンピュータプログラム製品。
13. 電子装置であって、
    プロセッサと、
    画像センサを備え、前記プロセッサと作動的に接続されたカメラシステムと、
    前記プロセッサに作動的に接続されたメモリユニットと、
    を備え、前記メモリユニットは、
    画像取込み命令の開始時に、前記画像を前記画像センサ上へ合焦して、未加工のデジタル画像を形成するためのコンピュータコードと、
    前記未加工のデジタル画像を圧縮するためのコンピュータコードと、
    前記未加工のデジタル画像を圧縮フォーマットで保存するためのコンピュータコードと、
    を含むことを特徴とする電子装置。
14. 前記メモリユニットは、前記未加工のデジタル画像を圧縮フォーマットで保存した後に、前記未加工のデジタル画像を復号化し、処理するためのコンピュータコードをさらに含むことを特徴とする請求項１３に記載の電子装置。
15. 前記メモリユニットは、前記未加工のデジタル画像を復号化し、処理した後に、前記画像を表示するためのコンピュータコードをさらに含むことを特徴とする請求項１４に記載の電子装置。
16. 前記メモリユニットは、前記未加工のデジタル画像を復号化し、処理した後に、前記処理したデジタル画像を圧縮し、
    前記処理したデジタル画像を印刷する操作と前記処理したデジタル画像を保存する操作と前記処理したデジタル画像を遠隔地へ送信する操作とから成るグループから選択した操作を実行する
    ためのコンピュータコードをさらに含むことを特徴とする請求項１４に記載の電子装置。
17. 前記メモリユニットは、前記未加工のデジタル画像を復号化し、処理した後に、前記処理したデジタル画像のスケーリング又はクロッピングを行うためのコンピュータコードをさらに含むことを特徴とする請求項１４に記載の電子装置。
18. 前記未加工のデジタル画像の圧縮がＤＰＣＭ／ＰＣＭ圧縮からなることを特徴とする請求項１３に記載の電子装置。
19. 前記メモリユニットは複数の連続する画像バッファを含み、そして、前記未加工のデジタル画像は第１の利用可能な画像バッファに保存されることを特徴とする請求項１３に記載の電子装置。
20. 前記メモリユニットは、次の取り込み取り込んだ画像のために使用すべき前記画像バッファを示す第１のインデックスと、最初の未処理の又は未保存のバッファ画像のための前記画像バッファを示す第２のインデックスとを含み、前記第１のインデックスと前記第２のインデックスとが同じ画像バッファを示す場合には、前記デジタル画像の保存がされないことを特徴とする請求項１９に記載の電子装置。
21. 前記メモリユニットは、利用可能な画像バッファの個数を示す第３のインデックスをさらに含むことを特徴とする請求項２０に記載の電子装置。

Images