JP2010016822A - 超解像度デジタルズーム - Google Patents

Abstract

【課題】超解像技術を用いて、デジタルズームを行う。
【解決手段】ユーザが、ワイヤレス電話又はＰＤＡに備えられているもののようなカメラのデジタルズーム機能を選択するとき、超解像度技術を用いて、一連の画像を自動的に取得し、ユーザにとって重ね合わせがわからない状態の改善したデジタルズーム画像を生成する。
【選択図】図２

Description

本発明は、概して、カメラにおいて光学的ズーム機能を用いないデジタルズーム中の画像の質を向上させる技術に関する。

カメラの光学ズーム機能は、レンズを並進移動させることによって画像を拡大するものである。典型的な例としてワイヤレス電話及び個人携帯端末（ＰＤＡｓ）に備えられている性能の劣るカメラでは、レンズが移動しない。ズーム機能に類似した機能を実現するためには、例えば、画像の一部を切り取り、残った画像を単純に、画像スクリーン全体に引き伸ばすという、デジタルズーム機能が用いられる。

ここで理解されるように、デジタルズーム機能は、光学ズーム機能によって得られるような拡大図を模擬するが、一方で、光学ズーム機能と比べて画像の質が劣る。

本発明の方法は、ユーザによるカメラのデジタルズーム機能選択を受け、それに応答して自動的に複数の画像を生成するステップを含む。画像をデジタル的にズームし、その後、重ね合わせることによって、ユーザにとって重ね合わせがわからないような状態の改善したデジタルズーム画像を生成する。

超解像技術を用いることによって、重ね合わせ技術を実行することができる。ワイヤレス電話又は個人携帯端末（ＰＤＡ）、或いは、光学ズーム機能を持たないその他の装置は、本発明に関するカメラを収容することができる。所望ならば、画像をズームする前に、それぞれの画像の一部を除去し、それぞれの切り取った画像を表示することができ、切り取った画像をデジタル的にズームすることができる。

別の側面によると、本発明による装置は、画像化器と、前記画像化器からの信号を受けるために、前記画像化器と通信をするプロセッサと、前記プロセッサにアクセス可能な、命令を格納するコンピュータ読み取り可能な媒体と、を含む。前記命令によって、前記プロセッサは、予め決められた、ユーザによるコマンドに応答して、少なくとも二つの画像を自動的に生成し、それぞれの画像をデジタル的にズームし、表示する。前記命令によって、前記プロセッサは又、ズーム画像を互いに重ね合わせた修正済みのズーム画像を表示する。

さらに別の側面によると、本発明による装置は、画像化器と、ディスプレイと、前記ディスプレイ上に少なくとも二枚の重ね合わされた画像を含む修正済みのデジタルズーム画像を表示するために構成されたプロセッサと、を含む。

本発明の構成及び動作の詳細については、添付図面を参照することによって、最もよく理解することができる。図面において、同様の参照符号は、同様の部分を示している。

概念的に示されたいくつかの構成要素を備え、本発明を組み込むことができる非限定的な装置の斜視図である。 本発明に関連する非限定的な論理のフローチャートである。

最初に、図１を参照すると、電荷結合素子（ＣＣＤ）のような画像化器１２と、該画像化器１２からの画像信号を受けるプロセッサ１４とを含む、装置１０が示されている。プロセッサ１４は、限定的な意味ではないが、取り外し可能であるか、又は取り外し可能でない固体記憶素子、ディスクメモリ等のようなコンピュータ読み取り可能な記憶媒体にアクセスすることができる。本発明の原理にしたがって、ディスプレイ１８上にデジタル的なズーム画像を表示するために、図２の論理を、プロセッサ１４によって実行可能なコンピュータ命令として、媒体１６に実装することができる。

装置１０は、携帯型ハウジング２０を備えるワイヤレス電話又は個人携帯端末（ＰＤＡ）、或いは別の携帯型装置として、実施することができ、一実施形態においては、この携帯型ハウジング２０のベース２２に、ディスプレイ１８を蝶番により結合することができる。ベース２２は、電話型キーパット、及び、一又はそれ以上の制御機器２６のような入力装置２４を備えることができ、これらはいずれも、操作されたとき、プロセッサ１４に対する入力信号を生成する。“デジタルズーム”コマンドは、ユーザ入力可能なコマンドの一つである。装置１０は、光学ズーム機能を持たなくてもよい。装置１０は、ワイヤレス電話受信機２８を装備することができる。

ここで、図２を参照すると、ブロック３０において、デジタルズームコマンドのような予め決められたコマンドをユーザから受ける。例えば、制御装置２６を操作することによって、このコマンドを生成することができる。ブロック３２において、これに応答して、すばやく、例えば、コマンドを受け取って数秒以内に、画像化器１２から複数の画像を自動的に取得する。このことは、自動的に、かつ、ユーザにとって重ね合わせがわからないような状態になるように、行われる。

いくつかの実施形態においては、ブロック３４において、切り取った画像を表示するために、それぞれの画像の一部を画像から削除する。ブロック３６において、例えば、残った画像のピクセルを引き伸ばし、原画の画像領域を埋めるように、切り取った画像をデジタル的にズームする。次いで、ブロック３８において、ズーム画像を互いに重ね合わせることによって、ズーム画像を結合し、該ズーム画像が導出されたいずれの画像よりも高い解像度を持つ修正済みのズーム画像を表示する。一実施形態においては、例えば、本明細書に引用により組み入れられる米国特許第6,208,765号及び同第7,218,751号に開示されているような、超解像度原理を用いて、重ね合わせを実行することができる。ブロック４０において、ディスプレイによって、修正済みのズーム画像を表示する。

ここで理解されるように、連続する画像取得の間に、相対的に移動する必要がある超解像技術を用いる場合でも、人間がカメラを持つ際に必然的に起こる手の動きによって、互いにわずかに異なった一連の画像を数秒の内に取得することができ、この必要条件を満たすことができる。動作の計算が必要ならば、動作予測アルゴリズムを採用することができる。例えば、単純なアルゴリズムは、画像内の相対的位置を除き、画像から画像へと一群のピクセルが動くことによって、直接的に導出される動作ベクトルの値が大幅に変化しない、それぞれの画像内にある一群のピクセルを用いて動作を予測することができる。最終的な修正済みのズーム画像を表示するとき、重ね合わせ技術に、ベイジアンフィルタ技術又はカルマンフィルタ技術を用いることができる

上述のように、プロセッサ１４によって、ほぼリアルタイムで超解像度処理を実行することができる。また、ブロック３２において取得され、ブロック３４で切り取られた画像を、媒体１６に格納することができ、その後、オフラインで実行される次の手続きのために、パーソナルコンピュータ又はそれに類似した物にダウンロードすることができる。次いで、印刷され、或いは、ＰＣスクリーン又はＴＶのような大きなディスプレイに表示される最終的な修正済みの高分解能の画像を提供する。

特定の超解像度デジタルズームが、ここに示され、詳細に記載されているが、一方で、本発明に包含される主題は、特許請求の範囲によってのみ限定されるものと理解されるべきである。

１０ 装置
１２ 画像化器
１４ プロセッサ
１６ 媒体
１８ ディスプレイ
２０ ハウジング
２２ ベース
２４ 入力装置
２６ 制御機器
２８ ワイヤレス電話受信機

Claims (19)

1. カメラにおけるデジタルズーム機能のユーザ選択を受けるステップと、
   複数の画像を自動的に生成するステップと、
   少なくとも数枚の画像の少なくとも一部をデジタル的にズームするステップと、
   少なくとも数枚の画像を重ねあわせ、ユーザにとって見分けがつかない状態の改善したデジタルズーム画像を生成するステップと、
   を含む方法。
2. 前記重ね合わせの実行は、超解像度技術を用いて行われることを特徴とする請求項１に記載の方法。
3. 前記カメラは、ワイヤレス電話に収められていることを特徴とする請求項１に記載の方法。
4. 前記カメラは、個人携帯端末（ＰＤＡ）に収められていることを特徴とする請求項１に記載の方法。
5. 切り離した画像に対して、実行されるデジタルズーム機能を動作させる前に、少なくとも数枚の画像の一部を除去し、それぞれの切り離した画像を表示するステップを含むことを特徴とする請求項１に記載の方法。
6. 画像化器と、
   前記画像化器と通信し、そこからの信号を受けるプロセッサと、
   前記プロセッサにアクセス可能であって、
   予め決められたユーザによるコマンドに応答して、前記プロセッサが
   少なくとも二つの画像を自動的に生成し、
   それぞれのズーム画像を表示するために、それぞれの画像をデジタル的にズームし、
   修正済みのズーム画像を表示するために、前記ズーム画像を互いに重ね合わせるようにする、
   命令を格納するコンピュータ読み取り可能な媒体と、
   を備えることを特徴とする装置。
7. 前記プロセッサが、修正済みのズーム画像を表示するディスプレイを備えることを特徴とする請求項６に記載の装置。
8. 前記装置は、光学ズーム機能を持たないことを特徴とする請求項６に記載の装置。
9. 前記画像化器は、電荷結合素子（ＣＣＤ）であることを特徴とする請求項６に記載の装置。
10. 前記装置は、ワイヤレス電話として、実装されることを特徴とする請求項６に記載の装置。
11. 前記装置は、個人携帯端末（ＰＤＡ）として、実装されることを特徴とする請求項６に記載の装置。
12. 前記予め決定されたユーザによるコマンドは、ズームコマンドであることを特徴とする請求項６に記載の装置。
13. 前記命令は、前記プロセッサに、前記画像をデジタル的にズームする前にそれぞれの画像を切り取らせることを特徴とする請求項６に記載の装置。
14. 画像化器と、
    ディスプレイと、
    前記ディスプレイに、少なくとも二つの重ね合わされた画像を含む修正済みのデジタルズーム画像を表示するために構成されたプロセッサと、
    を含むことを特徴とする装置。
15. 前記画像は、超解像技術を用いて重ね合わされることを特徴とする請求項１４に記載された装置。
16. 前記装置は、光学ズーム機能を持たないことを特徴とする請求項１４に記載の装置。
17. 前記画像化器は、電荷結合素子（ＣＣＤ）であることを特徴とする請求項１４に記載の装置。
18. 前記装置は、ワイヤレス電話として、実装されることを特徴とする請求項１４に記載の装置。
19. 前記装置は、個人携帯端末（ＰＤＡ）として、実装されることを特徴とする請求項１４に記載の装置。

Images