JP2018508898A - デジタルズーム方法およびシステム - Google Patents

Abstract

場合によっては、従来のデジタルズーム技法は、不十分な品質の画像につながり得る。開示されるものは、デジタルズームによって生成された画像の品質を改善するためのシステムおよび方法である。たとえば、いくつかの実施形態では、画像がシャープナーと２Ｄ方向アップスケーラとを同時に通過させられる、並列構造が利用される。次いで、アップスケーリング動作が、シャープ化された画像上で実行される。向上された画像を作り出すために、アップスケールされたシャープ化された画像が、２Ｄ方向アップスケーラの出力に加算される。

Description

[0001]本出願は、一般に画像処理に関し、より詳細にはデジタルズームを向上させるための方法およびシステムに関する。

[0002]イメージングシステム（たとえば、カメラ）のズーミング機能は、システムがシーンのロングショットからクローズアップショットへ、およびその逆も同様にスムーズに変化することを可能にする。言い換えれば、ズーミングは、デジタル写真またはビデオの見掛けのアングルビューを縮小し、および／または狭くする。

[0003]一般に、カメラのための２つのタイプのズームがある。１つのタイプのズームは、光学ズームである。光学ズームは、実際のズームレンズおよび／または単焦点望遠レンズを使用し得る。これらのレンズは、カメラがターゲットに物理的に焦点を合わせることを可能にするので、光学ズームは、画像品質を失うことなしに、ズームされた画像を作り出すことができる。デジタルズームは、カメラがレンズの焦点を物理的に合わせる必要なしにズームすることを可能にする。この技術は、画像処理を使用して、元の画像の一部分を拡大する。

[0004]現在のデジタルズーム技術の１つの課題は、それらの技術が低品質の画像を作り出すことである。場合によっては、これらの技術は、画像が、ジャギーエッジ（jaggy edges）、ぼやけた詳細（blurred details）、過度に平滑化されたエッジ（overly smoothened edges）、画像アーティファクト（image artifacts）、および／または色あせた外観（washed-out appearances）を有することを引き起こす。したがって、現在のデジタルズーム技術の欠点のために、より有効なデジタルズームのためのシステムおよび方法の必要がある。

[0005]場合によっては、現在のデジタルズーム技術は、低品質画像を作り出す。本出願は、デジタルズームによって作り出された画像の品質を向上させるためのシステムおよび方法に関する。

[0006]したがって、一態様は、イメージングシステムであって、対応するピクセル値（本開示全体にわたって「ピクセル色（pixel colors）」と呼ばれることもある）を有する複数のピクセルを備える入力画像を受信することと、入力画像を定義されたサイズに拡大し、入力画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成することとを行うように構成された、画像アップスケーリングモジュールと、入力画像のピクセルのピクセル値における差分を増幅することによって、シャープ化された画像を生成するように構成された、シャープ化モジュール（sharpening module）と、シャープ化された画像を定義されたサイズに拡大し、シャープ化された画像の各ピクセル間に定義された数のピクセルを補間することによって、シャープ化された画像をアップスケールすることと、第１のデルタ画像を生成することであって、第１のデルタ画像の各ピクセルが、アップスケールされた出力画像の各ピクセルに対応し、第１のデルタ画像の各ピクセルが、少なくともアップスケールされたシャープ化された画像と第１の利得係数とに基づく、ピクセル値における第１の変化を備える、第１のデルタ画像を生成することと、第２のデルタ画像を生成することであって、第２のデルタ画像の各ピクセルが、アップスケールされた出力画像の各ピクセルに対応し、第２のデルタ画像の各ピクセルが、少なくともアップスケールされたシャープ化された画像と第２の利得係数とに基づく、ピクセル値における第２の変化を備える、第２のデルタ画像を生成することと、第３のデルタ画像を生成することであって、第３のデルタ画像の各ピクセルが、アップスケールされた出力画像の各ピクセルに対応し、第３のデルタ画像の各ピクセルが、少なくとも第１のデルタ画像と第２のデルタ画像とに基づく、ピクセル値における第３の変化を備える、第３のデルタ画像を生成することと、を行うように構成された、シャープ化アップスケーリングモジュール（sharpening upscaling module）と、アップスケールされた画像と第３のデルタ画像との対応するピクセルのピクセル値を加算することに基づいて、向上された画像（enhanced image）を生成するように構成された、処理モジュールとを備える、イメージングシステムに関する。

[0007]別の態様は、イメージング方法であって、複数のピクセルを備える画像を受信することであって、各ピクセルが対応するピクセル値を有する、受信することと、画像を定義されたサイズに拡大し、画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成することと、画像のピクセルのピクセル値における差分を増幅することによって、シャープ化された画像を生成することと、シャープ化された画像を定義されたサイズに拡大し、シャープ化された画像の各ピクセル間に定義された数のピクセルを補間することによって、シャープ化された画像をアップスケールすることと、第１のデルタ画像を生成することであって、第１のデルタ画像の各ピクセルが、アップスケールされた出力画像の各ピクセルに対応し、第１のデルタ画像の各ピクセルが、少なくともアップスケールされたシャープ化された画像と第１の利得係数とに基づく、ピクセル値における第１の変化を備える、第１のデルタ画像を生成することと、第２のデルタ画像を生成することであって、第２のデルタ画像の各ピクセルが、アップスケールされた出力画像の各ピクセルに対応し、第２のデルタ画像の各ピクセルが、少なくともアップスケールされたシャープ化された画像と第２の利得係数とに基づく、ピクセル値における第２の変化を備える、第２のデルタ画像を生成することと、第３のデルタ画像を生成することであって、第３のデルタ画像の各ピクセルが、アップスケールされた出力画像の各ピクセルに対応し、第３のデルタ画像の各ピクセルが、少なくとも第１のデルタ画像と第２のデルタ画像とに基づく、ピクセル値における第３の変化を備える、第３のデルタ画像を生成することと、アップスケールされた画像と第３のデルタ画像との対応するピクセルのピクセル値を加算することに基づいて、向上された画像を生成することとを備える、イメージング方法に関する。

[0008]別の態様は、イメージングシステムであって、複数のピクセルを備える画像を受信するための手段であって、各ピクセルが対応するピクセル値を有する、受信するための手段と、画像を定義されたサイズに拡大し、画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成するための手段と、画像のピクセルのピクセル値における差分を増幅することによって、シャープ化された画像を生成するための手段と、シャープ化された画像を定義されたサイズに拡大し、シャープ化された画像の各ピクセル間に定義された数のピクセルを補間することによって、シャープ化された画像をアップスケールするための手段と、第１のデルタ画像を生成するための手段であって、第１のデルタ画像の各ピクセルが、アップスケールされた出力画像の各ピクセルに対応し、第１のデルタ画像の各ピクセルが、少なくともアップスケールされたシャープ化された画像と第１の利得係数とに基づく、ピクセル値における第１の変化を備える、第１のデルタ画像を生成するための手段と、第２のデルタ画像を生成するための手段であって、第２のデルタ画像の各ピクセルが、アップスケールされた出力画像の各ピクセルに対応し、第２のデルタ画像の各ピクセルが、少なくともアップスケールされたシャープ化された画像と第２の利得係数とに基づく、ピクセル値における第２の変化を備える、第２のデルタ画像を生成するための手段と、第３のデルタ画像を生成するための手段であって、第３のデルタ画像の各ピクセルが、アップスケールされた出力画像の各ピクセルに対応し、第３のデルタ画像の各ピクセルが、少なくとも第１のデルタ画像と第２のデルタ画像とに基づく、ピクセル値における第３の変化を備える、第３のデルタ画像を生成するための手段と、アップスケールされた画像と第３のデルタ画像との対応するピクセルのピクセル値を加算することに基づいて、向上された画像を生成するための手段とを備える、イメージングシステムに関する。

[0009]別の態様は、イメージング方法であって、複数のピクセルを備える画像を受信することであって、各ピクセルが対応するピクセル値を有する、受信することと、画像を定義されたサイズに拡大し、画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成することと、画像のピクセルのピクセル色における差分を増幅することによって、画像のシャープ化された部分を生成することと、複数のデルタピクセルを備えるデルタ画像を生成することであって、各ピクセルが、シャープ化された画像と画像との間のピクセル値における対応する変化を有する、デルタ画像を生成することと、デルタ画像を定義されたサイズに拡大し、シャープ化された画像の各ピクセル間に定義された数のピクセルを補間することによって、デルタ画像をアップスケールすることと、アップスケールされた画像とデルタ画像との対応するピクセルのピクセル値を加算することに基づいて、向上された画像を生成することとを備える、イメージング方法に関する。

[0010]開示される態様が、開示される態様を限定するためではなく、例示するために与えられる添付の図面とともに以下で説明され、同様の記号は同様の要素を示す。

[0011]光学ズームレンズをもつ例示的なカメラを使用する人の図。 [0012]制限された光学ズーム能力をもつ例示的なデバイスを使用する人の図。 [0013]図１Ｂからの制限された光学ズーム能力をもつ例示的なデバイスの拡大図。 [0014]イメージングシステムの一実施形態の機能ブロック図の一例を示す図。 [0015]画像のピクセルを示す一例の図。 [0016]画像のアップスケーリングを示す一例の図。 [0017]入力画像がシャープ化され、次いでアップスケールされる、例示的な一実施形態の図。 [0018]画像を処理するために使用され得る並列処理構造をもつ例示的な一実施形態の図。 [0019]入力画像の方向アップスケーリングを示す一例の図。 [0020]ソース画像８０３の例示的なエッジマップ８０６を示す図。 [0021]入力画像をシャープ化する一例を示す図。 [0022]ハイブリッドアップスケーラの一実施形態を使用して、画像をシャープ化する一例を示す図。 [0023]シャープ化ブレンダの例示的な一実施形態の図。 [0024]画像がシャープ化されるときに発生し得る、例示的なハローオーバーシュートを示す図。 画像がシャープ化されるときに発生し得る、例示的なハローオーバーシュートを示す図。 画像がシャープ化されるときに発生し得る、例示的なハローオーバーシュートを示す図。 [0025]ハロー抑制の例示的な一実施形態を示す図。 [0026]例示的な一実施形態によるフローチャート図を示す図。 [0027]例示的な一実施形態による方法のためのフロー図。

[0028]添付の図面を参照しながら、本明細書で開示される新規のシステム、装置、および方法の様々な態様が以下でより十分に説明される。しかしながら、本開示は、多くの異なる形態で具現される場合があり、本開示全体にわたって提示されるいかなる特定の構造または機能にも限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように与えられる。本明細書の教示に基づいて、本開示の範囲は、本開示の任意の他の態様とは無関係に実装されるにせよ、本開示の任意の他の態様と組み合わせて実装されるにせよ、本明細書で開示される新規のシステム、装置、および方法の任意の態様を包含するものであることを、当業者なら諒解されたい。たとえば、本明細書に記載された任意の数の態様を使用して装置が実装され得、または方法が実施され得る。さらに、本開示の範囲は、本明細書に記載された本開示の様々な態様に加えてまたはそれらの態様以外に、他の構造、機能、または構造および機能を使用して実施されるそのような装置または方法を包含するものである。本明細書で開示されるいかなる態様も、請求項の１つまたは複数の要素によって具現され得ることを理解されたい。

[0029]特定の態様が本明細書において説明されるが、これらの態様の多くの変形および置換が本開示の範囲内に入る。好ましい態様のいくつかの利益および利点が説明されるが、本開示の範囲は、特定の利益、使用、または目的に限定されるものではない。発明を実施するための形態、および図面は、本開示を限定するものではなく説明するものにすぎない。本開示の範囲は、添付の特許請求の範囲およびその均等物によって定義される。

[0030]図１Ａは、光学ズームレンズをもつ例示的なカメラを使用する人の図である。人１００は、カメラ１０１を使用して、花１０７の写真を撮影中である。カメラ１０１は、光学ズームレンズ１０２付きのカメラ（たとえば、デジタル一眼レフ（ＤＳＬＲ）カメラ、または一眼レフ（ＳＬＲ）カメラ）である。光学ズームレンズ１０２は、ズームの焦点と範囲とを調整するために使用される、ダイヤル１０５および１０６など、様々な物理的ダイヤルを有し得る。光学ズームレンズ１０２はまた、コネクタ１０４によってカメラ本体１０３にも接続し得る。コネクタ１０４を通して、光学ズームレンズ１０２は、切り離されるかまたは取り付けられ、および／または、他の光学ズームレンズを含む他のレンズと交換され得る。

[0031]対照的に、図１Ｂは、制限された光学ズーム能力をもつ例示的なデバイスを使用する人の図である。人１００は、花１０７の写真を撮影するために、カメラフォン１０８を使用中である。注目すべきことに、カメラフォン１０８は、図１Ａに示された光学ズームレンズ１０２のような大きい光学ズームレンズを有していない。

[0032]図２は、図１Ｂからの制限された光学ズーム能力をもつ例示的なデバイスの拡大図である。カメラフォン２００は、デュアルカメラ２０１と２０３とを有する。場合によっては、カメラ２０１および２０３は、サイズが４ミリメートルと５ミリメートルとの間であり得る。また、場合によっては、カメラ２０１および２０３は、光学ズームの方に変えられないことがある（たとえば、カメラ２０１および２０３は、光学ズーム能力を有していない）。いくつかの実施形態では、（カメラ本体とレンズとを含み得る）カメラ２０１および２０３は、デバイス内でスワップおよび／または交換され得るモジュールであり得る。フラッシュバルブ２０２は、写真撮影のためのフラッシュ照明を与えるために、カメラ２０１および２０３とともに使用され得る。

[0033]本開示がカメラフォンに限定されないことを、当業者には理解されたい。他のデバイスもまた、たとえば、スペース、コスト、またはハードウェア制約のために、制限された光学ズーム能力を有しているか、または光学ズーム能力を有していないことがある。たとえば、タブレットおよび他のモバイルデバイスは、大きい光学ズームレンズのためのスペースを有していない。また、場合によっては、カメラが光学ズームレンズを使用するときでさえ、光学ズーム能力がなお制限される。たとえば、いくつかの小型カメラは、光学ズーミングのために使用され得る物理的レンズを有する。しかしながら、これらの光学レンズを通したズーミングの量が制限される。これらのカメラは、光学ズームとデジタルズームの両方の組合せを使用することによって、ズームの量を増すことができる。たとえば、４ｘ光学ズームと４ｘデジタルズームとをもつカメラは、１６ｘズームを生成することができる。本開示はまた、デュアルカメラを使用するデバイスにも限定されず、単一のカメラのみをもつデバイス、および３つ以上のカメラをもつデバイスにも適用可能である。たとえば、また、３、４、５、６、７、８、９、１０、１１、１２、１３、１４、１５、１６、１７、１８、１９、および／または２０個のカメラ、あるいは２０よりも多くの数のカメラを含む、追加のカメラもあり得る。たとえば、カメラは、４×４アレイにおいて配列され得る。カメラはまた、マルチプル／ハイブリッドカメラ設計においても配列され得る。場合によっては、これらのマルチプルなカメラおよび／またはレンズは、単一の画像を生成するために使用され得、単一の画像が次いで、本開示のシステムおよび方法によって処理され得る。他の場合には、マルチプルなカメラおよび／またはレンズは、本開示のシステムおよび方法によって同様に処理され得るマルチプルな画像を生成し得る。

[0034]また、場合によっては、画像は２Ｄであり得るのに対して、他の場合には、画像は３Ｄであり得る。画像はまた、経時的に撮影され得、ならびに／あるいは、ビデオおよび／または録音の一部でもあり得る。本開示のシステムおよび方法は、いずれかのそのような画像において使用され得る。

[0035]図３は、イメージングシステムの一実施形態の機能ブロック図の一例を示す。イメージングシステム３００は、カメラデバイス３００から除去および／またはスワップされ得るモジュールであり得る、カメラ３０１を含む。カメラ３０１はまた、カメラデバイス３００に内蔵および／または固定され得る。カメラ３０１は、画像プロセッサ３０２に接続される。画像プロセッサ３０２は、カメラ３０１からの画像を解析する基本動作を制御する。画像プロセッサ３０２は、デバイスプロセッサ３０４と通信しており、デバイスプロセッサ３０４は、ストレージ３０５と通信している。

[0036]加えて、画像プロセッサ３０２は、読取り専用メモリ（ＲＯＭ）とランダムアクセスメモリ（ＲＡＭ）の両方を含み得、画像プロセッサ３０２に命令とデータとを与え得る、ワーキングメモリ３０３と結合され得る。ワーキングメモリ３０３の一部分は、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）を含み得る。画像プロセッサ３０２は、一般に、ワーキングメモリ３０３内に記憶されたプログラム命令に基づいて論理演算と算術演算とを実行する。ワーキングメモリ３０３における命令は、本明細書で説明される方法を実施するために実行可能であり得る。コンポーネント３１３におけるモジュールは、画像キャプチャ（image capture）、方向アップスケーリング（directional upscaling）、シャープ化（sharpening）、補間（interpolation）、シャープ化アップスケーリング（sharpening upscaling）、エッジ検出（edge detection）、画像選択（image selection）、および／または画像加算（image addition）などの動作を実行するために、画像プロセッサ３０２に結合され得る。

[0037]たとえば、モジュールコンポーネント３０６は、カメラ３０１から画像を取得するために使用され得る画像キャプチャモジュールである。モジュールコンポーネント３０７は、画像を拡大および／または伸張し得る、方向アップスケーラである。場合によっては、モジュールコンポーネント３０７はまた、画像を拡大および／または伸張するとき、画像の元のピクセル間にピクセルを補間し得る。コンポーネント３１３はまた、画像を拡大および／または伸張する任意の数の他のアップスケーラを含み得ることを、当業者は諒解されたい。たとえば、コンポーネント３１３は、双三次（bi-cubic）、双一次（bilinear）、および最近傍（nearest-neighbor）補間器など、２Ｄ汎用アップスケーラを含み得る。コンポーネント３１３はまた、エッジ適応型２Ｄアップスケーラを含み得る。

[0038]モジュールコンポーネント３０８は、画像の隣接するエリア間のピクセル値差分を向上させる、シャープナーである。場合によっては、モジュールコンポーネント３０８は、シャープ化のためにハイパスフィルタを使用する。

[0039]モジュールコンポーネント３０９は、画像のピクセル間に追加のピクセル情報を追加する補間器である。モジュールコンポーネント３１０は、シャープ化アップスケーラである。本出願でさらに説明されるように、このモジュールは、シャープ化された画像を向上させ、アップスケールするための動作を実行する。

[0040]モジュールコンポーネント３１１は、画像中の色遷移の場所を検出することができる、エッジ検出器である。いくつかの実施形態では、モジュールコンポーネント３１１は、ピクセル間の遷移の（相対値または絶対値における）量を計算する、エッジ強度マップを生成することができる。モジュールコンポーネント３１２は、表示および／または向上のために画像の特定の部分を選択するために使用され得る、セレクタである。モジュールコンポーネント３１４は、画像加算器である。モジュールコンポーネント３１４は、画像をともに加算するために使用され得る。たとえば、画像加算器は、第３の画像を形成するために２つの異なる画像からのピクセルのピクセル値をともに加算するプロセッサであり得る。モジュールコンポーネント３１５は、オペレーティングシステムである。モジュールコンポーネント３１５は、カメラデバイス３００のワーキングメモリ３０３と処理リソースとを管理するように、画像プロセッサ３０２を構成するために使用され得る。たとえば、モジュールコンポーネント３１５は、例示的なカメラ３０１中のハードウェアリソースを管理するためのデバイスドライバを含み得る。モジュールコンポーネント３１５は、デバイスプロセッサ３０４と情報を共有するように、画像プロセッサ３０２をさらに構成し得る。

[0041]イメージングシステム／カメラデバイス技術の様々な実装形態があることを、当業者には諒解されたい。これらの異なるタイプのイメージングシステムは、画像をキャプチャする異なる方法を有し得る。たとえば、カメラは、デジタルで、またはアナログ（たとえば、フィルムもしくはポラロイド（登録商標））で画像をキャプチャし得る。カメラは、写真および／またはビデオをキャプチャし得る。カメラは、望遠レンズ、ズームレンズ、および／または標準レンズを有し得る。カメラはまた、スローモーションキャプチャ、光調整器、パノラマモード、タイムラプスビデオ、および／または暗視など、使用する機能のタイプが異なり得る。本開示は、任意の特定のタイプのカメラデバイス、および／または特定の機能のセットをもつカメラデバイスに限定されない。

[0042]場合によっては、本開示における実施形態は、まったくカメラなしで使用され得る。たとえば、いくつかの実施形態は、スタンドアロンプログラム、ハードウェア、および／または電子的アプリケーションにおいて、以前にキャプチャされた画像を処理し得る。

[0043]図４は、画像のピクセルを示す一例である。画像４００は、写真である。画像４００は、画像４００のアドレス指定可能な要素であるピクセル、または画素からなる。各ピクセルは、関連付けられた色を有する。画像４００中で花および草のように見え得るものを作成するのは、これらのピクセルによるこれらの色の組合せである。画像４００を表現するための別の方法は、行列としてのものである。例として、行列４０１は、行列中の各エントリが画像中（または、画像の一部分中）のピクセルに対応する、代表的な行列である。

[0044]また、例として、画像は、６００×４００ピクセルを有し得る。そのような場合、画像は、６００行と４００列とをもつ行列によって表現され得る。次いで、行列の各エントリが、その行番号と列番号とによってアドレス指定可能であり得る。たとえば、行１０、列１００は、行列中のあるエントリをアドレス指定することになり、行２０、列５０は、行列中の別のエントリをアドレス指定することになる。行列の各エントリはまた、画像中の対応するピクセルの色を反映し得る。これらのエントリは、異なる形態をとり得る。たとえば、各エントリは、実際には、ピクセルの相対的な赤、緑、および青の合成を表現する３つの値から成り立ち得る。他の場合には、各エントリは、色および／または色強度を反映する、０と１との間のスケーリングされた数であり得る。他の場合には、各エントリは、異なる色を反映する任意の範囲の数における数であり得る。他の場合には、エントリは、特定の色および／または色強度に対応する文字および／または数であり得る。画像のピクセルの色が任意の数の方法で表現され得ることを、当業者には諒解されたい。本開示では、画像ピクセルの色、色強度、および／または任意の他の属性（たとえば、色相、コントラスト、輝度、陰影、グレースケールなど）を表現する任意の方法が、「ピクセル値」または「ピクセル色」と呼ばれることになる。さらに、本開示の実施形態は、画像中のピクセル値（または、色）を記憶および／または表現するいかなる方法にも限定されない。

[0045]図５は、画像のアップスケーリングを示す一例である。光学ズーム能力が使用されるとき、特定のエリアのより詳細を含む画像を生成するために、カメラのレンズが物理的に変更され得る。しかしながら、デジタルズーム能力が使用されるとき、カメラによってキャプチャされた画像の一部分が、画像のピクセル間で追加のピクセルデータを拡大および／または補間するために、アップスケールされ得る。場合によっては、画像は、より大きいウィンドウにおいて見えることがある（たとえば、画像が拡大される）。たとえば、１００×２００ピクセル画像が２倍にアップスケールされて、２００×４００ピクセル画像が作成され得る。この例では、画像が２００×４００ピクセルに拡大するように、元の１００×２００ピクセル画像の各隣接ピクセル間に、追加のピクセルが補間され得る。

[0046]場合によっては、デジタルズーム能力が、カメラデバイスによってリアルタイムで実行され得る。他の場合には、デジタルズーム能力は、メモリ中に記憶された画像において実行され得る。アップスケールされた出力画像５０３は、入力画像５０２のアップスケールされたバージョンを表す。この例では、入力画像５０２全体がアップスケールされている。しかしながら、場合によっては、入力画像５０２の一部分がアップスケールされ得る。アップスケーリング技法のいくつかの例は、最近傍補間、双一次補間、双三次補間、および／または方向アップスケーリングである。

[0047]図６は、入力画像がシャープ化され、次いでアップスケールされる、例示的な一実施形態である。入力画像６００は、例示的な入力画像である。入力画像６００内は、ズーミングのために選択された領域である、選択された領域６０１である。選択された領域６０１は、入力画像６００の一部分、入力画像６００全体、特定のピクセルおよび／またはピクセルのグループ、入力画像６００の不連続部分および／またはピクセル、ならびに／あるいは、入力画像６００の任意の他の部分および／または部分の集合であり得る。選択された領域６０１は、シャープナー６０２に渡される。次いで、シャープナー６０２の出力は、アップスケーラ６０３に渡される。アップスケーラ６０３は、本開示で説明され、および／または当技術分野で知られている、任意のアップスケーラであり得る。一般に、アップスケーラ６０３は、シャープナー６０２の出力を拡大する。たとえば、アップスケーラ６０３は、方向アップスケーラまたは対称アップスケーラであり得る。アップスケーラ６０３の出力は、出力画像６０４である。出力画像６０４は、選択された領域６０１の拡大された画像である。

[0048]シャープナー６０２と、次いでアップスケーラ６０３とを使用する構造は、一部の当業者によって「カスケーディング構造」と呼ばれる。代替的に、アップスケーラが最初に使用され、次いでシャープナーが使用され得る。これもまた、カスケーディング構造である。場合によっては、カスケーディング構造は、不明瞭であり、過度なオーバーシュートを有し、および／またはリンギングを示す、出力画像につながる。

[0049]図７は、画像を処理するために使用され得る並列処理構造をもつ例示的な一実施形態である。ここで、図６にも示された入力画像６００が入力される。同様に、選択された領域６０１は、ズーミングのために選択された領域である。選択された領域６０１は、方向アップスケーラ７０３に入力される。同時に、選択された領域６０１は、シャープナー７０２に入力される。シャープナー７０２の出力は、シャープ化アップスケーラ７０５に入力される。次いで、シャープ化アップスケーラ７０５の出力は、画像加算器７０４を使用して、方向アップスケーラ７０３の出力に加算される。画像加算器７０４の出力は、出力画像７０６である。

[0050]本開示のシステムおよび方法のいずれも、画像、画像の領域、ピクセルのグループ、および／または個々のピクセルに関係し得ることを認識されたい。たとえば、シャープナー７０２、シャープ化アップスケーラ７０５、方向アップスケーラ７０３、および画像加算器７０４は、一度に画像全体、画像の領域、ピクセルのグループ、および／または個々のピクセルを受信および出力し得る。いくつかのステップはまた、ある画像と別の画像との間のピクセル色差の測定値を含む、デルタ画像またはデルタ値を受信することを伴い得る。本開示のシステムおよび方法が作用するデータの形態は、ハードウェアおよびメモリ使用、速度、ならびに、アルゴリズムの効率またはデバイスリソース管理に関係する他の考慮事項に基づいて、必要に応じて調整および／または変更され得ることは、当業者には認識されよう。したがって、本開示における「画像」のいかなる開示も、画像の領域、ピクセルのグループ、個々のピクセル、ならびに／またはデルタ画像およびデルタ値と互換性があることを理解されたい。

[0051]図８Ａは、入力画像の方向アップスケーリングを示す一例である。この場合も、入力画像６００の選択された領域６０１は、２Ｄ方向アップスケーラ、および／または当技術分野で知られている任意の方向アップスケーラであり得る、方向アップスケーラ７０３に入力される。例示的な例として、いくつかの実施形態では、方向アップスケーラ７０３は、画像ピクセルのウィンドウを使用する。たとえば、画像ピクセルのウィンドウは、４×４行列、または、必要に応じて任意の他の寸法もしくは形状のウィンドウ（たとえば、２×２、３×３、２×３、３×２、４×２、２×４、３×４、４×３など、および／もしくは、任意の寸法の正方形、任意の寸法の長方形、任意の寸法の円、任意の寸法の平行四辺形、任意の寸法のひし形、任意の寸法の三角形、任意の寸法の４面体など）であり得る。画像ピクセルのウィンドウは、選択された領域６０１の各ピクセル（および／または、補間されたピクセル）に連続的に作用する。方向アップスケーラ７０３が、選択された領域６０１をアップスケールするとき、画像ピクセルのウィンドウ中の他のピクセルのピクセル色に基づいて、画像ピクセルのウィンドウのピクセルのエッジ強度を計算する。場合によっては、画像ピクセルのウィンドウ中の周囲のピクセルのピクセル色と比較して、そのピクセルにおいてピクセル色における不連続性があるとき、画像中のエッジがピクセルにおいて検出され得る。場合によっては、ピクセルの色が隣接ピクセルから鋭く変動するとき、不連続性が生じ得る。エッジを検出する１つの方法は、ラプラスフィルタ、ソーベルフィルタ、カニーフィルタ、および／または当技術分野で知られている任意の他のエッジ検出フィルタを使用し得る、エッジフィルタを採用することによるものである。

[0052]たとえば、ソーベルフィルタは、エッジを発見し、エッジ強度を計算するために使用され得る。場合によっては、ソーベルフィルタは、ｘ方向（列）において、およびｙ方向（行）において勾配を推定する、３×３畳み込みマスクのペアを使用し得る。以下に示されるＭｘおよびＭｙは、そのような畳み込みマスクである。

[0053]したがって、ｘ方向およびｙ方向における勾配、それぞれＧｘおよびＧｙは、画像とともに畳み込みマスクを畳み込むことによって発見され得る。たとえば、Ｇｘ＝Ｍｘ＊画像、およびＧｙ＝Ｍｙ＊画像である。したがって、各点におけるエッジ強度Ｇは、式Ｇ＝ｓｑｒｔ（Ｇｘ²＋Ｇｙ²）によって計算され得る。エッジ方向θもまた、式θ＝ａｔａｎ２（Ｇｙ，Ｇｘ）によって、各ピクセルにおいて計算され得る。

[0054]他の方法もまた、エッジを発見するため、エッジ強度を計算するため、および／またはエッジ方向を発見するために使用され得る。たとえば、テンソル（たとえば、勾配構造テンソル）が使用され得る。典型的には、画像のテンソルは、画像勾配関数の２×２行列である構造テンソルであり得る。当業者には諒解されるべきであるように、構造テンソルの固有値および固有ベクトルが、ピクセルの近傍におけるエッジ方向とエッジ強度とを発見するために使用され得る。本開示のいくつかの実施形態では、４タップフィルタがテンソルとして使用され得る。各４タップフィルタは、勾配関数の２×２行列である構造テンソルであり得る、同じ近傍における９つの２×２パッチに作用する。

[0055]エッジマップは、画像中の各点における計算されたエッジ強度から作成され得る。図８Ｂは、ソース画像８０３の例示的なエッジマップ８０６を示す。エッジマップ８０６は、ソース画像８０３中のピクセルに対応するエッジを示す。エッジマップ８０６は、ソース画像８０３と同じ寸法を有し得る。したがって、エッジマップ８０６の各ピクセルは、ソース画像８０３の各ピクセルにおけるエッジ強度測定値に比例する値を有し得る。場合によっては、エッジ強度は、０と１との間のスケーリングされた数であり得る。他の場合には、エッジ強度はまた、任意の範囲の数における数でもあり得る。エッジ強度はまた、文字および／または数によっても表され得る。エッジ強度を表す任意の数の方法があり、任意の特定の方法が、乗算、除算、変換、および／またはさもなければ基本的な数学的技法を使用して変更され得ることを、当業者には諒解されたい。

[0056]エッジマップ８０６はまた、方向アップスケーラ７０３（図７）など、方向アップスケーラにおいて使用され得る、そのピクセルの各々の、エッジ方向、または向きについての情報を記憶し得る。任意のエッジ方向に沿って、そのエッジ方向におけるピクセル色は、不変のままであるか、または徐々に変化する。しかしながら、エッジ方向を横切って、ピクセル色は鋭く変化する。前に説明されたように、エッジマップ８０６は、各ピクセル方向におけるエッジ強度とエッジ方向とを計算する。

[0057]エッジマップ８０６は、エッジマップの例示的な視覚表現である。場合によっては、エッジマップ８０６など、エッジマップ全体が一度に生成されない場合があることに留意されたい。代わりに、計算は、一度にエッジマップ全体をアセンブルすることなく計算するために、各ピクセル、またはピクセルのグループを通ることができる。エッジマップ８０６では、ピクセル８０５など、より暗いピクセルは、より強いエッジ（たとえば、鋭い遷移の点）である。ピクセル８０４など、より明るいエリアは、より弱いエッジおよび／またはエッジなしの場所である。

[0058]図８Ａを続けると、いくつかの実施形態では、方向アップスケーラ７０３は、補間されたピクセルのピクセル色を計算する際に、エッジを横切るピクセルよりも大きい重みを、エッジに沿ったピクセルに与えることによって、補間するときにエッジ方向を考慮に入れる。たとえば、方向補間器７０３は、直線エッジとそれらの向きとを検出し、エッジを保つために、エッジに沿って線形補間を使用し得る。場合によっては、方向アップスケーラ７０３は、ピクセルのウィンドウ中のピクセルに基づいて、補間されたピクセルのピクセル色を計算するために、加重平均を使用し得る。加重平均をとる際に、方向アップスケーラ７０３は、ピクセルのウィンドウ中のピクセルの優位（dominant）なエッジ方向を発見し得る。たとえば、ピクセルのウィンドウ中のピクセルの優位なエッジ方向は、ピクセルの大多数の方向、ピクセルのエッジ方向の平均、および／または当技術分野で知られている優位なエッジ方向を計算する任意の他の方法であり得る。加重平均は、ピクセルのエッジ方向が優位なエッジ方向にどれだけ近いかに基づいて、ピクセルのウィンドウ中のピクセルの各ピクセル色に重みを割り当てる。

[0059]画像ピクセルのウィンドウは、Ｍ×Ｎピクセルを含む入力画像が、Ｍ×Ｎよりも多いピクセルの数を有する出力画像８０２を生じるような、あらかじめ定義された方法で、選択された領域６０１を動き回る。

[0060]出力画像８０２は、選択された領域６０１のアップスケールされたバージョンである。前述のように、方向アップスケーラ７０３は、画像全体、画像の領域、ピクセルのグループ、個々のピクセル、ならびに／またはデルタ画像およびデルタ値に作用し得ることに留意されたい。たとえば、メモリおよび計算的コストが、いくつかの事例では、一度にピクセルのグループのみを処理することによって節約され得る。

[0061]図９Ａは、入力画像をシャープ化する一例を示す。入力画像６００、より詳細には選択された領域６０１は、シャープナー７０２に入力される。シャープナー７０２は、ハイパスフィルタリング、アンシャープマスキング、非局所平均、バイラテラル、トリラテラルなど、当技術分野で知られている任意の画像シャープ化プロセスを使用し得る。シャープナー７０２を通過した後に、シャープ化された画像９００が出力される。この場合も、シャープナー７０２は、画像全体、画像の領域、ピクセルのグループ、個々のピクセル、ならびに／またはデルタ画像およびデルタ値に作用し得る。

[0062]たとえば、この段階で、いくつかの実施形態では、シャープ化された画像９００はデルタ画像であり得、ここにおいて、各ピクセルは、シャープ化された画像９００中のシャープ化されたピクセルと、図８Ａの選択された領域６０１中の対応するピクセルとのピクセル強度の間の差分を表す。場合によっては、デルタ画像および／またはデルタ値は、選択された領域６０１のピクセルをローパスフィルタリングし、元の選択された画像６０１の対応するピクセルからそれらを減算することによって、シャープナー７０２によって生成され得る。

[0063]図９Ｂは、ハイブリッドアップスケーラの一実施形態を使用して、画像をシャープ化する一例を示す。シャープ化された画像９００は、ハイブリッドアップスケーラ９０２を通過させられる。この例では、シャープ化された画像９００は、最初に乗算器９０３を通る。乗算器９０３は、シャープ化された画像９００のピクセルの強度をＡ倍に増し（たとえば、シャープ化された画像９００のピクセル色にＡを乗じ）得る。ここで乗算されたシャープ化された画像９００は、並行して２つのプロセスを通る。第１のプロセスは、当技術分野で知られている任意の種類の対称フィルタであり得る、対称フィルタ９０４である。たとえば、対称フィルタ９０４は、補間されたピクセルのピクセル色を計算するために、近くのピクセルのピクセル色を平均化する、平均化カーネルを使用し得る。場合によっては、平均化カーネルは、補間されたピクセルから離れたそれらの空間距離によって、ピクセルを重み付けし得る。いくつかの実施形態では、対称フィルタ９０４は、補間のためにすべての方向におけるピクセル情報を使用する等方性フィルタであり得る。対称フィルタ９０４はまた、双一次、双三次、または三線方法を使用し得る。これは、対称フィルタ９０４と並列に実行する方向フィルタ９０５とは対照的である。方向フィルタ９０５は、方向補間を実行するために、（各ピクセルのエッジ方向から成り立ち得る）エッジ方向９０６を使用する。たとえば、方向フィルタ９０５は、方向アップスケーラ７０３（図８Ａ）であり得る。

[0064]対称フィルタ９０４および方向フィルタ９０５はまた、任意の数のタップのフィルタでもあり得る。フィルタのタップは、使用されるフィルタのサイズ（たとえば、補間のために使用するピクセルの数）に関係付けられる。たとえば、対称フィルタ９０４および方向フィルタ９０５は、４×４フィルタであることを意味する４タップフィルタであり得る。対称フィルタ９０４および方向フィルタ９０５はまた、必要に応じて変動する係数を有し得る。場合によっては、これらの係数は、静的であり、および／またはメモリ中に記憶され得る。他の場合には、係数は、フィルタを通過させられた特定のデータに基づいて、動的に計算され得る。

[0065]前に説明されたように、補間は、元の画像の各ピクセル間にいくつかのピクセルを追加する。このようにして、画像は、対称フィルタ９０４および方向フィルタ９０５によってアップスケールされる。いくつかの実施形態では、対称フィルタ９０４および方向フィルタ９０５は、選択された領域６０１の各ピクセル間に同じ数のピクセルを追加する。場合によっては、これは、方向アップスケーラ７０３（図８Ａ）が選択された領域６０１のピクセル間に追加したものと同数のピクセルである。結果として、対称フィルタ９０４、方向フィルタ９０５、および方向アップスケーラ７０３の出力は、いくつかの実施形態では、同じ寸法を有する。しかしながら、いくつかの実施形態では、それらの出力は、同じ寸法を有していないことがある。そのような場合、後で説明されるように、後のステップにおけるさらなる計算が実行され得る。

[0066]対称フィルタ９０４および方向フィルタ９０５の出力は、画像加算器９１０を使用して、ともに加算される。いくつかの実施形態では、画像加算器９１０は、対称フィルタ９０４および方向フィルタ９０５の出力の加重和をとる。これらの実施形態では、加重和は、以前に説明されたように方向アップスケーラ７０３（図８Ａ）の副産物であり、各ピクセルのエッジ強度を与え得る、エッジ強度９０７を使用し得る。方向フィルタ９０５の出力に、エッジ強度９０７またはエッジ強度９０７から導出された値であり得る、重みＷ９０９が乗じられる。同様に、対称フィルタ９０４の出力は、１引くことのエッジ強度９０７またはエッジ強度９０７から導出された値であり得る、重み１−Ｗ９０８である。

[0067]いくつかの実施形態では、重みＷ９０９は、方向アップスケーリング７０３から計算された厳密なエッジ強度９０７ではないことがある。重みＷ９０９は、必要に応じて、スケーリングおよび／または修正され得る。対称フィルタ９０４および方向フィルタ９０５の出力をともに加算する際に、エッジ強度９０７を使用することは、シャープ化された画像９００中のより強いエッジが、それらのエッジを考慮に入れる、比較的より方向性のあるフィルタリングを使用することを可能にすることは、当業者には諒解されよう。実際に、対称フィルタリングは、エッジをぼやけさせることがある。他方では、多数のエッジがあるのではない場合、方向フィルタリングが画像アーティファクトを生じ得るので、対称フィルタリングは、補間されたピクセル色を発見する際により適切であり得る。計算は、画像全体、画像の領域、ピクセルのグループ、個々のピクセル、ならびに／またはデルタ画像およびデルタ値において行われ得る。このようにして、対称フィルタ９０４と方向フィルタ９０５の両方が使用されるので、ハイブリッド補間器９０２は、対称フィルタ９０４と方向フィルタ９０５とをブレンドすること（blending）であると言われ得る。ハイブリッド補間器９０２の出力は、補間された出力９１１である。

[0068]この点において、補間された出力９１１がデルタ画像ではない場合、いくつかの実施形態では、画像（または、画像のセクション、ピクセルのグループ、ピクセルなど）をデルタ画像に変換することが望ましくなり得ることを諒解されたい。たとえば、アップスケーラ６０３（図６）および／または方向アップスケーラ７０３（図８）が、補間された出力９１１と同じ寸法である画像を作成するために、選択された領域６０１において使用され得る。この作成された画像は、デルタ画像を作成するために、ハイブリッドアップスケーラ９０２の出力から減算され得る。

[0069]図１０は、シャープ化ブレンダの例示的な一実施形態である。補間された出力９１１は、シャープ化ブレンダ１０００に入力される。同時に、補間された出力９１１は、乗算器１００１に入力される。場合によっては、乗算器１００１は、補間された出力９１１のピクセル色を１／Ａ倍に変化させる。この係数は、ピクセル強度をＡ倍に増した乗算器９０３（図９Ｂ）に関係付けられ得る。そのような場合、乗算器１００１は、乗算器９０３の逆の利得（reciprocal gain）である。他の実施形態では、乗算器１００１は、必要に応じた係数で調整され得る。乗算器１００１は、補間された出力９１１のシャープ化利得を低減し得ることを認識されたい。

[0070]したがって、補間された出力９１１は、シャープ化ブレンダ１０００において強いシャープ化画像１００４として見える。通常のシャープ化画像１００２は、乗算器１００１を通ってきた、補間された出力９１１である。いくつかの実施形態では、乗算器１００１が、補間された出力９１１のピクセル色に、１未満であり得る１／Ａを乗じる場合、通常のシャープ化画像１００２は、強いシャープ化画像１００４と比較して、それほどシャープ化されないことを諒解されたい。

[0071]強いシャープ化画像１００４と通常のシャープ化画像１００２とは、画像加算器１００７を使用して、ともに加算される。これらの実施形態では、加重和は、エッジ強度９０７に依存し得る重みＷ’１００６を使用し得る。エッジ強度９０７は、画像加算器１００７に入力される。通常のシャープ化画像１００２は、重み１−Ｗ’１００５によって重み付けされる。同様に、強いシャープ化画像１００４は、重みＷ’１００６によって重み付けされる。いくつかの実施形態における（たとえば、重み１−Ｗ’１００５および重みＷ’１００６が、０と１との間であるときの）重み付けは、強いシャープ化画像１００４に重みＷ’１００６を乗じ、通常のシャープ化画像１００２に重み１−Ｗ’１００５を乗じ、次いで、画像加算器１００７を使用して、それらの積をともに加算することによって実行され得る。最終的な結果は、ブレンドされたシャープ化された出力１０１０である。

[0072]重みＷ’１００６および重み１−Ｗ’１００５は、前に説明されたように、方向アップスケーラ７０３（図８Ａ）の副産物であり得るエッジ強度９０７から計算され得る。重みＷ’１００６および重み１−Ｗ’１００５は、エッジ強度９０７自体、またはエッジ強度９０７から計算された値であり得る。たとえば、重みＷ’１００６は、しきい値を受けるエッジ強度９０７であり得る。しきい値は、通常のシャープ化画像１００２および強いシャープ化画像１００４の所望の相対的寄与（relative contribution）における上方境界（たとえば、上限（ceiling））および／または下方境界（たとえば、下限（floor））として働き得る。例として、重みＷ’１００６は、０と１との間の値であり得る。重みＷ’１００６は、強いシャープ化画像１００４の相対重みであるので、ブレンドされたシャープ化された出力１０１０において強いシャープ化画像１００４からのより大きい寄与が望ましかった場合、０．６の重みＷ’１００６におけるしきい値下限（threshold floor）を配置することができる。このようにして、重みＷ’１００６は、少なくとも０．６になる（たとえば、重みＷ’１００６が、エッジ強度９０７から０．２であると計算された場合、しきい値下限は重みＷ’１００６を０．６に増すことになる）。そのようなことは、出力画像のシャープネスの最小レベルを保証することを望んだ場合、望ましくなり得る。同様に、０．６の重みＷ’１００６におけるしきい値上限（threshold ceiling）を配置することができる。このようにして、重みＷ’１００６は、多くとも０．６になる（たとえば、重みＷ’１００６が、０．８であると計算された場合、しきい値上限は重みＷ’１００５を０．６に減らすことになる）。

[0073]ブレンドされたシャープ化された出力１０１０は、シャープナー７０２、ハイブリッドアップスケーラ９０２、およびシャープ化ブレンダ１０００によって処理された、選択された領域６０１（図７）の画像であることを諒解されたい。また、いくつかの実施形態では、ブレンドされたシャープ化された出力１０１０は、実際にはデルタ画像であり得ることを諒解されたい。また、ブレンドされたシャープ化された出力１０１０は、画像全体、画像の領域、ピクセルのグループ、および／または個々のピクセルであり得ることを諒解されたい。

[0074]画像１００３は、通常のシャープ化画像１００２の一部分を拡大して見せる。画像１００９は、強いシャープ化画像１００４の一部分を拡大して見せる。画像１００３と比較して、画像１００９は、ピクセル強度におけるより鋭い遷移を示す。画像１０１１は、ブレンドされたシャープ化された出力１０１０の一部分を拡大して見せる。画像１０１１は、画像１００９内よりもテクスチャ領域のための多くの詳細と、より少ない色あせたアーティファクトとを示すが、画像１００３内よりも鋭い遷移を示す。

[0075]図１１Ａ〜図１１Ｃは、画像がシャープ化されるときに発生し得る、例示的なハローオーバーシュート（halo overshoots）を示す。図１１Ａは、４つの図示されたピクセル、ピクセル１１１４、１１１５、１１１６、および１１１７を有する、入力信号１１０３を示す。入力信号１１０３のこれらの４つのピクセルを接続する図示された線は、説明のために使用されるが、実際の入力信号１１０３は、個別ピクセルのみからなり得る。注目すべきことに、ピクセル１１１４、１１１５、１１１６、および１１１７は、ともに、ピクセルのピクセル色が画像中で迅速に変化する（左から右へと増加する）遷移のエリアを示す。したがって、入力信号１１０３をシャープ化すると、一層よりシャープな遷移が生じることになる。極小値１１０９は、図示されたピクセルの最低ピクセル色を有する、ピクセル１１１４のピクセル色を示す。極大値１１１２は、図示されたピクセルの最高ピクセル色を有する、ピクセル１１１７のピクセル色を示す。

[0076]図１１Ｂは、入力信号１１０３とともに、２つのレベルのシャープ化、すなわち、強いシャープ化信号１１０４と、通常のシャープ化信号１１０６とを示す。これらの２つのレベルのシャープ化は、入力信号１１０３と同じ画像のセグメント上に示される。シャープ化された画像がアップスケールされているので、強いシャープ化信号１１０４および通常のシャープ化信号１１０６は、入力信号１１０３のピクセル間に追加のピクセルを有する。たとえば、入力信号１１０３のピクセル１１１５とピクセル１１１６との間で、強いシャープ化信号１１０４は、ピクセル１１１８と、１１１９と、１１２０とを有する。同様に、通常のシャープ化信号１１０６は、入力信号１１０３のピクセル１１１５と１１１６との間で、ピクセル１１２１と、１１１９と、１１２２とを有する。いくつかの実施形態では、通常のシャープ化信号１１０６は、通常のシャープ化画像１００２（図１０）のセクションであり得、強いシャープ化信号１１０４は、強いシャープ化画像１００４（図１０）のセクションであり得る。注目すべきことに、通常のシャープ化信号１１０６は、ピクセル１１２１、１１１９、および１１２２を通るそのより急勾配な曲線によって見られるように、入力信号１１０３よりも鋭い遷移を有する。強いシャープ化信号１１０４は、ピクセル１１１８、１１１９、および１１２０を通るより急勾配な曲線を通して見られるように、その同じ間隔で、通常のシャープ化信号１１０６よりも一層急勾配な遷移を有する。

[0077]図１１Ｃは、強いシャープ化が使用されるときに生じ得るオーバーシュートを示す。強いシャープ化信号１１０４は、代表的な曲線が極小値１１０９をはるかに下回って行くオーバーシュート領域１１２４を有する。同様に、強いシャープ化信号１１０４は、代表的な曲線が極大値１１１２をはるかに上回って行くオーバーシュート領域１１１０を有する。これらのオーバーシュートの結果は、人工的に見えるピクセル色をもつ不自然な外観である。いくつかの実施形態では、オーバーシュート領域１１１０および１１２４は、それらの人工的な外観を低減するために抑制され得る。たとえば、オーバーシュート領域１１１０は、領域１１１１において見られる形状に抑制され得る。同様に、オーバーシュート領域１１２４は、領域１１０７において見られる形状に抑制され得る。例示的な例として、領域１１０７の極小値を表す、低減されたハローの大きさ１１０８は、通常のシャープ化信号１１０６（図１１Ｂに示される）の同じ極小値である。同様の比較が、領域１１１１の極大値と通常のシャープ化信号１１０６とから行われ得る。

[0078]いくつかの実施形態では、動的クランピングが使用され得る。動的クランピングは、強いシャープ化信号１１０４が、入力信号１１０３の極小値１１０９未満の、および／または極大値１１１２よりも大きいピクセル色を有することを可能にしない。場合によっては、動的クランピングは、色あせたアーティファクトを引き起こし得る。

[0079]動的クランピングの代替として、図１２は、ハロー抑制の例示的な一実施形態を示す。ブロック１２１１は、強いシャープ化信号１１０４など、強いシャープ化信号からピクセルを受信する。次いで、ブロック１２１３は、受信されたピクセルが、図１１Ｃからの極大値１１１２など、極大値よりも大きいか否かを確かめる。そうである場合、ブロック１２１４は、式：ピクセル＝極大値＋１／Ａ×（ピクセル−極大値）によってピクセルを調整し、ただし、１／Ａは、図１０からの乗算器１００１と同じ乗数であり得る。このようにして、ハローオーバーシュートは、ハローオーバーシュート係数によって低減され得る。

[0080]そうでない場合、ブロック１２１５は、ブロック１２１１からの受信されたピクセルが、図１１Ｃからの極小値１１０９など、極小値未満であるか否かを確かめる。そうである場合、ブロック１２１６は、式：ピクセル＝極小値＋１／Ａ×（ピクセル−極小値）によってピクセルを調整し、ただし、１／Ａは、図１０からの乗算器１００１と同じ乗数であり得る。このようにして、ハローオーバーシュートは、ハローオーバーシュート係数によって低減され得る。そうでない場合、ブロック１２１７は、式：ピクセル＝ピクセルによって、ピクセルを調整する。言い換えれば、ピクセルは不変のまま残される。

[0081]図１２におけるブロックは、画像のピクセル色に作用し得ることに留意されたい。強いシャープ化信号が、デルタ画像および／またはデルタ値から成り立つ場合、それは、画像（ならびに／あるいは、画像の領域、ピクセルのグループ、および／または個々のピクセル）のピクセル色を有するように変換され得る。たとえば、アップスケーラ６０３（図６）および／または方向アップスケーラ７０３（図８）は、デルタ画像と同じ寸法である画像を作成するために、選択された領域６０１において使用され得る。作成された画像のピクセル色は、画像のピクセル色とともに強いシャープ化信号を作成するために、デルタ画像のピクセルに追加され得る。ハロー抑制が強いシャープ化信号上で実行された後、本開示で説明されるか、または当技術分野で知られている任意の方法によって、デルタ画像および／またはデルタ値に戻るように変換され得る。

[0082]別の例として、並列に実行中の方向アップスケーラ７０３の出力である出力画像８０２（図８Ａ）が、強いシャープ化信号および通常のシャープ化信号のデルタ画像および／またはデルタ値に追加され得る。次いで、強いシャープ化デルタ画像および出力画像８０２の和は、ハロー抑制を受け得る。次いで、向上されたデジタルズーム画像が、ハロー抑制の出力と、通常のシャープ化デルタ画像および出力８０２の和との加重平均をとることによって生成され得る。

[0083]図１２のハロー抑制技法、ならびに／あるいは、本開示で説明され、および／または当技術分野で知られている任意の他のハロー抑制技法が、強いシャープ化信号／画像を向上させるために、それにおいて使用され得る。たとえば、ハロー抑制は、強いシャープ化信号１１０４（図１１B）および／または強いシャープ化画像１００４（図１０）上で実行され得る。強いシャープ化画像１００４の場合、ハロー抑制は、強いシャープ化画像１００４が画像加算器１００７に渡される前に実行され得る。ハロー抑制はまた、強いシャープ化画像１００４および通常のシャープ化画像１００２が画像加算器１００７に渡されてしまうまで遅延され得る。これらの実施形態では、ハロー抑制が、ブレンドされたシャープ化された出力１０１０上で実行される。

[0084]図１３は、例示的な一実施形態によるフローチャート図を示す。フローチャート図１３１４は、図７に示されたフローチャート７００のより詳細なフローチャートである。入力画像１３００は、方向アップスケーラ１３０１およびシャープナー１３１１に並列に入力される。方向アップスケーラは、出力Ｙ１３１０を有する。シャープナー１３１１の出力は、シャープ化アップスケーラ１３１２に入る。シャープ化アップスケーラ１３１２は、アップスケーラ１３０４とシャープ化ブレンダ１３０７とから成り立つ。アップスケーラ１３０４は、エッジ方向１３０２と、エッジ強度１３０３から導出される重みＷ１３０５とを受信する。エッジ方向１３０２およびエッジ強度１３０３は、方向アップスケーラ１３０１の生成物である。アップスケーラ１３０４は、ハイブリッドアップスケーラ９０２（図９Ｂ）、あるいは、本開示で説明されるか、または当技術分野で知られている任意の他のアップスケーラであり得る。シャープ化ブレンダ１３０７は、同じくエッジ強度１３０３から導出される重みＷ’１３０６を受信する。シャープ化ブレンダ１３１２は、シャープ化ブレンダ１０００（図１０）、あるいは、本開示で説明されるか、または当技術分野で知られている任意の他のシャープ化ブレンダであり得る。シャープ化アップスケーラ１３１２の出力は、画像加算器１３０８を使用して、方向アップスケーラ１３０１の出力に加算される。

[0085]いくつかの実施形態では、シャープ化アップスケーラ１３１２の出力は、出力Ｙ１３１０と同じ寸法をもつデルタ画像であることを諒解されたい。したがって、画像加算器１３０８は、向上された画像１３０９を作り出すために、デルタ画像の各ピクセルを出力Ｙ１３１０の各ピクセルとともに加算する。実際、いくつかの実施形態では、画像、画像の領域、ピクセルのグループ、および／または個々のピクセルが、フローチャート図１３１４を通過させられ得る。

[0086]シャープ化アップスケーラ１３１２の出力がデルタ画像ではない場合、デルタ画像に変えられ得る。たとえば、入力画像１３００は、シャープ化アップスケーラ１３１２と同じ寸法を有するように、当技術分野で知られている任意のアップスケーリング技法（たとえば、図６に示されたアップスケーラ６０３）を使用して、別個にアップスケールされ得る。別個にアップスケールされた画像のピクセルの各々のピクセル色は、シャープ化アップスケーラ１３１２の出力からのピクセルのピクセル色から減算され得る。この減算は、向上された画像１３０９を作り出すために、出力Ｙ１３１０に加算され得るデルタ画像を形成することになる。

[0087]いくつかの実施形態では、シャープ化アップスケーラ１３１２の出力は、（画像であるか、画像の領域であるか、ピクセルのグループであるか、および／または個々のピクセルであるかにかかわらず）出力Ｙ１３１０と同じ寸法を有していないことがある。そのような場合、画像加算器は、画像を加算するために、追加の補間および／または平均化を実行し得る。

[0088]図１４は、例示的な一実施形態による方法のためのフロー図である。ブロック１４００で、方法は、複数のピクセルを備える画像を受信し、ここにおいて、各ピクセルは、対応するピクセル色を有する。ブロック１４０１で、方法は、画像を定義されたサイズに拡大し、画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成する。ブロック１４０２で、方法は、画像のピクセルのピクセル色における差分を増幅することによって、シャープ化された画像を生成する。ブロック１４０３で、方法は、シャープ化された画像を定義されたサイズに拡大し、シャープ化された画像の各ピクセル間に定義された数のピクセルを補間することによって、シャープ化された画像をアップスケールする。ブロック１４０４で、方法は、第１のデルタ画像を生成し、ここにおいて、第１のデルタ画像の各ピクセルが、アップスケールされた出力画像の各ピクセルに対応し、第１のデルタ画像の各ピクセルが、少なくともアップスケールされたシャープ化された画像と第１の利得係数とに基づく、ピクセル色における第１の変化を備える。ブロック１４０５で、方法は、第２のデルタ画像を生成し、ここにおいて、第２のデルタ画像の各ピクセルが、アップスケールされた出力画像の各ピクセルに対応し、第２のデルタ画像の各ピクセルが、少なくともアップスケールされたシャープ化された画像と第２の利得係数とに基づく、ピクセル色における第２の変化を備える。ブロック１４０６で、方法は、第３のデルタ画像を生成し、ここにおいて、第３のデルタ画像の各ピクセルが、アップスケールされた出力画像の各ピクセルに対応し、第３のデルタ画像の各ピクセルが、少なくとも第１のデルタ画像と第２のデルタ画像とに基づく、ピクセル色における第３の変化を備える。ブロック１４０７で、方法は、アップスケールされた画像と第３のデルタ画像との対応するピクセルのピクセル値を加算することに基づいて、向上された画像を生成する。

[0089]情報および信号は多種多様な技術および技法のいずれかを使用して表され得ることを、当業者は理解されよう。たとえば、上の説明全体にわたって言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁界もしくは磁性粒子、光場もしくは光学粒子、またはこれらの任意の組合せによって表され得る。

[0090]さらに、本明細書で開示された態様に関して説明された様々な例示的な論理ブロック、モジュール、プロセッサ、手段、回路、およびアルゴリズムステップまたはブロックのいずれかは、電子ハードウェア（たとえば、ソースコーディングまたは何らかの他の技法を使用して設計され得る、デジタル実装形態、アナログ実装形態、またはそれら２つの組合せ）、命令を組み込んだ様々な形態のプログラムまたは設計コード（便宜上、本明細書では「ソフトウェア」または「ソフトウェアモジュール」と呼ばれることがある）、あるいは両方の組合せとして実装され得ることを当業者は諒解されよう。ハードウェアとソフトウェアとのこの互換性を明確に示すために、様々な例示的なコンポーネント、ブロック、モジュール、回路、およびステップまたはブロックが、概してそれらの機能に関して上記で説明された。そのような機能がハードウェアとして実装されるか、ソフトウェアとして実装されるかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明された機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本開示の範囲からの逸脱を生じるものと解釈されるべきではない。

[0091]本明細書で開示された態様に関して、および図に関して説明された様々な例示的な論理ブロック、モジュール、および回路は、集積回路（ＩＣ）、アクセス端末、またはアクセスポイント内に実装され得るか、またはそれらによって実行され得る。ＩＣは、汎用プロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタ論理、個別ハードウェアコンポーネント、電気コンポーネント、光学コンポーネント、機械コンポーネント、または本明細書で説明される機能を実行するように設計されたそれらの任意の組合せを含み得、ＩＣの内部に、ＩＣの外側に、またはその両方に存在するコードまたは命令を実行し得る。論理ブロック、モジュール、および回路は、ネットワーク内またはデバイス内の様々なコンポーネントと通信するためにアンテナおよび／またはトランシーバを含み得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンであり得る。プロセッサは、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つもしくは複数のマイクロプロセッサ、または任意の他のそのような構成として実装されることもある。モジュールの機能は、本明細書で教示した方法とは別の何らかの方法で実装され得る。（たとえば、添付の図の１つまたは複数に関して）本明細書で説明された機能は、いくつかの態様では、添付の特許請求の範囲において同様に指定された「手段」機能に対応することがある。

[0092]ソフトウェアで実装される場合、機能は、１つまたは複数の命令またはコードとしてコンピュータ可読媒体上に記憶されるか、またはコンピュータ可読媒体を介して送信され得る。本明細書で開示された方法またはアルゴリズムのステップまたはブロックは、コンピュータ可読媒体上に存在し得る、プロセッサ実行可能ソフトウェアモジュールにおいて実装され得る。コンピュータ可読媒体は、ある場所から別の場所にコンピュータプログラムを転送することを可能にされ得る任意の媒体を含む、コンピュータ記憶媒体とコンピュータ通信媒体の両方を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ−ＲＯＭもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得、コンピュータによってアクセスされ得る任意の他の媒体を含み得る。また、任意の接続も、適宜コンピュータ可読媒体と呼ばれ得る。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ−ｒａｙ（登録商標）ディスク（disc）を含み、ディスク（disk）は通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。加えて、方法またはアルゴリズムの動作は、コンピュータプログラム製品に組み込まれ得る、機械可読媒体およびコンピュータ可読媒体上のコードおよび命令のうちの１つまたは任意の組合せまたはセットとして存在し得る。

[0093]任意の開示されたプロセス中のステップまたはブロックの任意の特定の順序または階層は、例示的な手法の一例であることを理解されたい。設計の選好に基づいて、プロセス中のステップまたはブロックの特定の順序または階層は、本開示の範囲内のまま再構成され得ることを理解されたい。添付の方法クレームは、様々なステップまたはブロックの要素を例示的な順序で提示したものであり、提示された特定の順序または階層に限定されるものではない。

[0094]本開示で説明された実装形態への様々な修正は当業者には容易に明らかであり得、本明細書で定義された一般原理は、本開示の趣旨または範囲から逸脱することなく他の実装形態に適用され得る。したがって、本開示は、本明細書で示された実装形態に限定されるものではなく、本明細書で開示される特許請求の範囲、原理および新規の特徴に一致する、最も広い範囲を与えられるべきである。「例」という単語は、本明細書ではもっぱら「例、事例、または例示の働きをすること」を意味するために使用される。「例」として本明細書で説明されたいかなる実装形態も、必ずしも他の実装形態よりも好ましいまたは有利であると解釈されるべきであるとは限らない。

[0095]また、別個の実装形態の文脈において本明細書で説明されるいくつかの特徴は、単一の実装形態において組合せで実装され得る。また、逆に、単一の実装形態の文脈において説明される様々な特徴は、複数の実装形態において別個に、あるいは任意の好適な部分組合せで実装され得る。その上、特徴は、いくつかの組合せで働くものとして上記で説明され、初めにそのように請求されることさえあり得るが、請求される組合せからの１つまたは複数の特徴は、場合によってはその組合せから削除され得、請求される組合せは、部分組合せ、または部分組合せの変形形態を対象とされ得る。

[0096]同様に、動作は特定の順序で図面に示されているが、これは、望ましい結果を達成するために、そのような動作が、示される特定の順序でまたは順番に実行されること、あるいはすべての図示された動作が実行されることが必要であると理解されるべきでない。いくつかの状況では、マルチタスキングおよび並列処理が有利であり得る。その上、上記で説明された実装形態における様々なシステムコンポーネントの分離は、すべての実装形態においてそのような分離を必要とするものとして理解されるべきでなく、説明されたプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品において互いに一体化されるか、または複数のソフトウェア製品にパッケージングされ得ることを理解されたい。加えて、他の実装形態が以下の特許請求の範囲内に入る。場合によっては、特許請求の範囲に記載された行為は、異なる順序で実行され、依然として望ましい結果を達成することができる。

[0096]同様に、動作は特定の順序で図面に示されているが、これは、望ましい結果を達成するために、そのような動作が、示される特定の順序でまたは順番に実行されること、あるいはすべての図示された動作が実行されることが必要であると理解されるべきでない。いくつかの状況では、マルチタスキングおよび並列処理が有利であり得る。その上、上記で説明された実装形態における様々なシステムコンポーネントの分離は、すべての実装形態においてそのような分離を必要とするものとして理解されるべきでなく、説明されたプログラムコンポーネントおよびシステムは、概して、単一のソフトウェア製品において互いに一体化されるか、または複数のソフトウェア製品にパッケージングされ得ることを理解されたい。加えて、他の実装形態が以下の特許請求の範囲内に入る。場合によっては、特許請求の範囲に記載された行為は、異なる順序で実行され、依然として望ましい結果を達成することができる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［Ｃ１］
イメージングシステムであって、
対応するピクセル値を有する複数のピクセルを備える入力画像を受信することと、前記入力画像を定義されたサイズに拡大し、前記入力画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成することとを行うように構成された、画像アップスケーリングモジュールと、
前記入力画像の前記ピクセルのピクセル値における差分を増幅することによって、シャープ化された画像を生成するように構成された、シャープ化モジュールと、
シャープ化アップスケーリングモジュールであって、
前記シャープ化された画像を前記定義されたサイズに拡大し、前記シャープ化された画像の各ピクセル間に前記定義された数のピクセルを補間することによって、前記シャープ化された画像をアップスケールすることと、
第１のデルタ画像を生成することと、ここで、前記第１のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第１のデルタ画像の各ピクセルが、少なくとも前記アップスケールされたシャープ化された画像と第１の利得係数とに基づく、ピクセル値における第１の変化を備える、
第２のデルタ画像を生成することと、ここで、前記第２のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第２のデルタ画像の各ピクセルが、少なくとも前記アップスケールされたシャープ化された画像と第２の利得係数とに基づく、ピクセル色における第２の変化を備える、
第３のデルタ画像を生成することと、ここで、前記第３のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第３のデルタ画像の各ピクセルが、少なくとも前記第１のデルタ画像と前記第２のデルタ画像とに基づく、ピクセル値における第３の変化を備える
を行うように構成された、シャープ化アップスケーリングモジュールと、
前記アップスケールされた画像と前記第３のデルタ画像との前記対応するピクセルの前記ピクセル値を加算することに基づいて、向上された画像を生成するように構成された、処理モジュールと
を備える、イメージングシステム。
［Ｃ２］
前記第１の利得係数が、前記第２の利得係数よりも大きい、上記Ｃ１に記載のシステム。
［Ｃ３］
前記第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極大値よりも大きいとき、前記第１のデルタ画像の前記ピクセルが、第１のハロー低減係数によって低減される、上記Ｃ２に記載のシステム。
［Ｃ４］
前記第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極小値未満であるとき、前記第１のデルタ画像の前記ピクセルが、第２のハロー低減係数によって増大される、上記Ｃ２に記載のシステム。
［Ｃ５］
前記画像を撮影するように構成されたカメラ、および前記画像を記憶するように構成されたメモリのうちの少なくとも１つをさらに備える、上記Ｃ１に記載のシステム。
［Ｃ６］
前記画像アップスケーリングモジュールが、前記アップスケールされた出力画像の各ピクセルに関連付けられたエッジ強度を生成するようにさらに構成される、上記Ｃ１に記載のシステム。
［Ｃ７］
前記第３のデルタ画像の前記生成が、前記第１のデルタ画像および前記第２のデルタ画像の加重平均に基づく、上記Ｃ６に記載のシステム。
［Ｃ８］
前記加重平均が、前記エッジ強度にさらに基づく、上記Ｃ７に記載のシステム。
［Ｃ９］
ピクセル色における差分を増幅することが、ハイパスフィルタを使用することを備える、上記Ｃ１に記載のシステム。
［Ｃ１０］
イメージング方法であって、
複数のピクセルを備える画像を受信することと、ここにおいて、各ピクセルが対応するピクセル色を有する、
前記画像を定義されたサイズに拡大し、前記画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成することと、
前記画像の前記ピクセルのピクセル色における差分を増幅することによって、シャープ化された画像を生成することと、
前記シャープ化された画像を前記定義されたサイズに拡大し、前記シャープ化された画像の各ピクセル間に前記定義された数のピクセルを補間することによって、前記シャープ化された画像をアップスケールすることと、
第１のデルタ画像を生成することと、ここにおいて、前記第１のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第１のデルタ画像の各ピクセルが、少なくとも前記アップスケールされたシャープ化された画像と第１の利得係数とに基づく、ピクセル色における第１の変化を備える、
第２のデルタ画像を生成することと、ここにおいて、前記第２のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第２のデルタ画像の各ピクセルが、少なくとも前記アップスケールされたシャープ化された画像と第２の利得係数とに基づく、ピクセル色における第２の変化を備える、
第３のデルタ画像を生成することと、ここにおいて、前記第３のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第３のデルタ画像の各ピクセルが、少なくとも前記第１のデルタ画像と前記第２のデルタ画像とに基づく、ピクセル色における第３の変化を備える、
前記アップスケールされた画像と前記第３のデルタ画像との前記対応するピクセルのピクセル値を加算することに基づいて、向上された画像を生成することと
を備える、イメージング方法。
［Ｃ１１］
前記第１の利得係数が、前記第２の利得係数よりも大きい、上記Ｃ１０に記載の方法。
［Ｃ１２］
前記第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極大値よりも大きいとき、第１のハロー低減係数によって、前記第１のデルタ画像の前記ピクセルを低減することをさらに備える、上記Ｃ１１に記載の方法。
［Ｃ１３］
前記第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極小値未満であるとき、第２のハロー低減係数によって、前記第１のデルタ画像の前記ピクセルを増大することをさらに備える、上記Ｃ１１に記載の方法。
［Ｃ１４］
カメラを用いて前記画像を生成することと、メモリ中に前記画像を記憶することとのうちの少なくとも１つをさらに備える、上記Ｃ１０に記載の方法。
［Ｃ１５］
アップスケールされた出力画像を生成することが、前記アップスケールされた出力画像の各ピクセルに関連付けられたエッジ強度を生成することをさらに備える、上記Ｃ１０に記載の方法。
［Ｃ１６］
前記第３のデルタ画像の前記生成が、前記第１のデルタ画像および前記第２のデルタ画像の加重平均に基づく、上記Ｃ１５に記載の方法。
［Ｃ１７］
前記加重平均が、前記エッジ強度にさらに基づく、上記Ｃ１６に記載の方法。
［Ｃ１８］
ピクセル色における差分を増幅することが、ハイパスフィルタを使用することを備える、上記Ｃ１０に記載のシステム。
［Ｃ１９］
イメージングシステムであって、
複数のピクセルを備える画像を受信するための手段と、ここで、各ピクセルが対応するピクセル色を有する、
前記画像を定義されたサイズに拡大し、前記画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成するための手段と、
前記画像の前記ピクセルのピクセル色における差分を増幅することによって、シャープ化された画像を生成するための手段と、
前記シャープ化された画像を前記定義されたサイズに拡大し、前記シャープ化された画像の各ピクセル間に前記定義された数のピクセルを補間することによって、前記シャープ化された画像をアップスケールするための手段と、
第１のデルタ画像を生成するための手段と、ここで、前記第１のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第１のデルタ画像の各ピクセルが、少なくとも前記アップスケールされたシャープ化された画像と第１の利得係数とに基づく、ピクセル色における第１の変化を備える、
第２のデルタ画像を生成するための手段と、ここで、前記第２のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第２のデルタ画像の各ピクセルが、少なくとも前記アップスケールされたシャープ化された画像と第２の利得係数とに基づく、ピクセル色における第２の変化を備える、
第３のデルタ画像を生成するための手段と、ここで、前記第３のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第３のデルタ画像の各ピクセルが、少なくとも前記第１のデルタ画像と前記第２のデルタ画像とに基づく、ピクセル色における第３の変化を備える、
前記アップスケールされた画像と前記第３のデルタ画像との前記対応するピクセルのピクセル値を加算することに基づいて、向上された画像を生成する手段と
を備える、イメージングシステム。
［Ｃ２０］
前記第１の利得係数が、前記第２の利得係数よりも大きい、上記Ｃ１９に記載のシステム。
［Ｃ２１］
前記第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極大値よりも大きいとき、第１のハロー低減係数によって、前記第１のデルタ画像の前記ピクセルを低減するための手段をさらに備える、上記Ｃ１９に記載のシステム。
［Ｃ２２］
前記第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極小値未満であるとき、第２のハロー低減係数によって、前記第１のデルタ画像の前記ピクセルを増大するための手段をさらに備える、上記Ｃ１９に記載のシステム。
［Ｃ２３］
前記画像を生成するための手段、および前記画像を記憶するための手段のうちの少なくとも１つをさらに備える、上記Ｃ１９に記載のシステム。
［Ｃ２４］
アップスケールされた出力画像を生成するための手段が、前記アップスケールされた出力画像の各ピクセルに関連付けられたエッジ強度を生成するための手段をさらに備える、上記Ｃ１９に記載のシステム。
［Ｃ２５］
前記第３のデルタ画像の前記生成が、前記第１のデルタ画像および前記第２のデルタ画像の加重平均に基づく、上記Ｃ２４に記載のシステム。
［Ｃ２６］
前記加重平均が、前記エッジ強度にさらに基づく、上記Ｃ２５に記載のシステム。
［Ｃ２７］
ピクセル色における差分を増幅することが、ハイパスフィルタを使用することを備える、上記Ｃ１９に記載のシステム。
［Ｃ２８］
イメージング方法であって、
複数のピクセルを備える画像を受信することと、ここにおいて、各ピクセルが対応するピクセル色を有する、
前記画像を定義されたサイズに拡大し、前記画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成することと、
前記画像の前記ピクセルのピクセル色における差分を増幅することによって、前記画像のシャープ化された部分を生成することと、
複数のデルタピクセルを備えるデルタ画像を生成することと、前記複数のデルタピクセルのうちの各ピクセルが、前記シャープ化された画像と前記画像との間のピクセル色における対応する変化を有する、
前記デルタ画像を前記定義されたサイズに拡大し、前記シャープ化された画像の各ピクセル間に前記定義された数のピクセルを補間することによって、前記デルタ画像をアップスケールすることと、
前記アップスケールされた画像と前記デルタ画像との前記対応するピクセルのピクセル値を加算することに基づいて、向上された画像を生成することと
を備える、イメージング方法。
［Ｃ２９］
前記デルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極大値よりも大きいとき、第１のハロー低減係数によって、前記デルタ画像の前記ピクセルを低減することをさらに備える、上記Ｃ２８に記載の方法。
［Ｃ３０］
第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極小値未満であるとき、第２のハロー低減係数によって、前記デルタ画像の前記ピクセルを増大することをさらに備える、上記Ｃ２８に記載の方法。

Claims (30)

1. イメージングシステムであって、
   対応するピクセル値を有する複数のピクセルを備える入力画像を受信することと、前記入力画像を定義されたサイズに拡大し、前記入力画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成することとを行うように構成された、画像アップスケーリングモジュールと、
   前記入力画像の前記ピクセルのピクセル値における差分を増幅することによって、シャープ化された画像を生成するように構成された、シャープ化モジュールと、
   シャープ化アップスケーリングモジュールであって、
   前記シャープ化された画像を前記定義されたサイズに拡大し、前記シャープ化された画像の各ピクセル間に前記定義された数のピクセルを補間することによって、前記シャープ化された画像をアップスケールすることと、
   第１のデルタ画像を生成することと、ここで、前記第１のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第１のデルタ画像の各ピクセルが、少なくとも前記アップスケールされたシャープ化された画像と第１の利得係数とに基づく、ピクセル値における第１の変化を備える、
   第２のデルタ画像を生成することと、ここで、前記第２のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第２のデルタ画像の各ピクセルが、少なくとも前記アップスケールされたシャープ化された画像と第２の利得係数とに基づく、ピクセル色における第２の変化を備える、
   第３のデルタ画像を生成することと、ここで、前記第３のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第３のデルタ画像の各ピクセルが、少なくとも前記第１のデルタ画像と前記第２のデルタ画像とに基づく、ピクセル値における第３の変化を備える
   を行うように構成された、シャープ化アップスケーリングモジュールと、
   前記アップスケールされた画像と前記第３のデルタ画像との前記対応するピクセルの前記ピクセル値を加算することに基づいて、向上された画像を生成するように構成された、処理モジュールと
   を備える、イメージングシステム。
2. 前記第１の利得係数が、前記第２の利得係数よりも大きい、請求項１に記載のシステム。
3. 前記第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極大値よりも大きいとき、前記第１のデルタ画像の前記ピクセルが、第１のハロー低減係数によって低減される、請求項２に記載のシステム。
4. 前記第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極小値未満であるとき、前記第１のデルタ画像の前記ピクセルが、第２のハロー低減係数によって増大される、請求項２に記載のシステム。
5. 前記画像を撮影するように構成されたカメラ、および前記画像を記憶するように構成されたメモリのうちの少なくとも１つをさらに備える、請求項１に記載のシステム。
6. 前記画像アップスケーリングモジュールが、前記アップスケールされた出力画像の各ピクセルに関連付けられたエッジ強度を生成するようにさらに構成される、請求項１に記載のシステム。
7. 前記第３のデルタ画像の前記生成が、前記第１のデルタ画像および前記第２のデルタ画像の加重平均に基づく、請求項６に記載のシステム。
8. 前記加重平均が、前記エッジ強度にさらに基づく、請求項７に記載のシステム。
9. ピクセル色における差分を増幅することが、ハイパスフィルタを使用することを備える、請求項１に記載のシステム。
10. イメージング方法であって、
    複数のピクセルを備える画像を受信することと、ここにおいて、各ピクセルが対応するピクセル色を有する、
    前記画像を定義されたサイズに拡大し、前記画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成することと、
    前記画像の前記ピクセルのピクセル色における差分を増幅することによって、シャープ化された画像を生成することと、
    前記シャープ化された画像を前記定義されたサイズに拡大し、前記シャープ化された画像の各ピクセル間に前記定義された数のピクセルを補間することによって、前記シャープ化された画像をアップスケールすることと、
    第１のデルタ画像を生成することと、ここにおいて、前記第１のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第１のデルタ画像の各ピクセルが、少なくとも前記アップスケールされたシャープ化された画像と第１の利得係数とに基づく、ピクセル色における第１の変化を備える、
    第２のデルタ画像を生成することと、ここにおいて、前記第２のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第２のデルタ画像の各ピクセルが、少なくとも前記アップスケールされたシャープ化された画像と第２の利得係数とに基づく、ピクセル色における第２の変化を備える、
    第３のデルタ画像を生成することと、ここにおいて、前記第３のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第３のデルタ画像の各ピクセルが、少なくとも前記第１のデルタ画像と前記第２のデルタ画像とに基づく、ピクセル色における第３の変化を備える、
    前記アップスケールされた画像と前記第３のデルタ画像との前記対応するピクセルのピクセル値を加算することに基づいて、向上された画像を生成することと
    を備える、イメージング方法。
11. 前記第１の利得係数が、前記第２の利得係数よりも大きい、請求項１０に記載の方法。
12. 前記第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極大値よりも大きいとき、第１のハロー低減係数によって、前記第１のデルタ画像の前記ピクセルを低減することをさらに備える、請求項１１に記載の方法。
13. 前記第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極小値未満であるとき、第２のハロー低減係数によって、前記第１のデルタ画像の前記ピクセルを増大することをさらに備える、請求項１１に記載の方法。
14. カメラを用いて前記画像を生成することと、メモリ中に前記画像を記憶することとのうちの少なくとも１つをさらに備える、請求項１０に記載の方法。
15. アップスケールされた出力画像を生成することが、前記アップスケールされた出力画像の各ピクセルに関連付けられたエッジ強度を生成することをさらに備える、請求項１０に記載の方法。
16. 前記第３のデルタ画像の前記生成が、前記第１のデルタ画像および前記第２のデルタ画像の加重平均に基づく、請求項１５に記載の方法。
17. 前記加重平均が、前記エッジ強度にさらに基づく、請求項１６に記載の方法。
18. ピクセル色における差分を増幅することが、ハイパスフィルタを使用することを備える、請求項１０に記載のシステム。
19. イメージングシステムであって、
    複数のピクセルを備える画像を受信するための手段と、ここで、各ピクセルが対応するピクセル色を有する、
    前記画像を定義されたサイズに拡大し、前記画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成するための手段と、
    前記画像の前記ピクセルのピクセル色における差分を増幅することによって、シャープ化された画像を生成するための手段と、
    前記シャープ化された画像を前記定義されたサイズに拡大し、前記シャープ化された画像の各ピクセル間に前記定義された数のピクセルを補間することによって、前記シャープ化された画像をアップスケールするための手段と、
    第１のデルタ画像を生成するための手段と、ここで、前記第１のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第１のデルタ画像の各ピクセルが、少なくとも前記アップスケールされたシャープ化された画像と第１の利得係数とに基づく、ピクセル色における第１の変化を備える、
    第２のデルタ画像を生成するための手段と、ここで、前記第２のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第２のデルタ画像の各ピクセルが、少なくとも前記アップスケールされたシャープ化された画像と第２の利得係数とに基づく、ピクセル色における第２の変化を備える、
    第３のデルタ画像を生成するための手段と、ここで、前記第３のデルタ画像の各ピクセルが、前記アップスケールされた出力画像の各ピクセルに対応し、前記第３のデルタ画像の各ピクセルが、少なくとも前記第１のデルタ画像と前記第２のデルタ画像とに基づく、ピクセル色における第３の変化を備える、
    前記アップスケールされた画像と前記第３のデルタ画像との前記対応するピクセルのピクセル値を加算することに基づいて、向上された画像を生成する手段と
    を備える、イメージングシステム。
20. 前記第１の利得係数が、前記第２の利得係数よりも大きい、請求項１９に記載のシステム。
21. 前記第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極大値よりも大きいとき、第１のハロー低減係数によって、前記第１のデルタ画像の前記ピクセルを低減するための手段をさらに備える、請求項１９に記載のシステム。
22. 前記第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極小値未満であるとき、第２のハロー低減係数によって、前記第１のデルタ画像の前記ピクセルを増大するための手段をさらに備える、請求項１９に記載のシステム。
23. 前記画像を生成するための手段、および前記画像を記憶するための手段のうちの少なくとも１つをさらに備える、請求項１９に記載のシステム。
24. アップスケールされた出力画像を生成するための手段が、前記アップスケールされた出力画像の各ピクセルに関連付けられたエッジ強度を生成するための手段をさらに備える、請求項１９に記載のシステム。
25. 前記第３のデルタ画像の前記生成が、前記第１のデルタ画像および前記第２のデルタ画像の加重平均に基づく、請求項２４に記載のシステム。
26. 前記加重平均が、前記エッジ強度にさらに基づく、請求項２５に記載のシステム。
27. ピクセル色における差分を増幅することが、ハイパスフィルタを使用することを備える、請求項１９に記載のシステム。
28. イメージング方法であって、
    複数のピクセルを備える画像を受信することと、ここにおいて、各ピクセルが対応するピクセル色を有する、
    前記画像を定義されたサイズに拡大し、前記画像の各ピクセル間に定義された数のピクセルを補間することによって、アップスケールされた出力画像を生成することと、
    前記画像の前記ピクセルのピクセル色における差分を増幅することによって、前記画像のシャープ化された部分を生成することと、
    複数のデルタピクセルを備えるデルタ画像を生成することと、前記複数のデルタピクセルのうちの各ピクセルが、前記シャープ化された画像と前記画像との間のピクセル色における対応する変化を有する、
    前記デルタ画像を前記定義されたサイズに拡大し、前記シャープ化された画像の各ピクセル間に前記定義された数のピクセルを補間することによって、前記デルタ画像をアップスケールすることと、
    前記アップスケールされた画像と前記デルタ画像との前記対応するピクセルのピクセル値を加算することに基づいて、向上された画像を生成することと
    を備える、イメージング方法。
29. 前記デルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極大値よりも大きいとき、第１のハロー低減係数によって、前記デルタ画像の前記ピクセルを低減することをさらに備える、請求項２８に記載の方法。
30. 第１のデルタ画像のピクセルと、前記アップスケールされた出力画像の対応するピクセルとの和が、前記画像のピクセル色の極小値未満であるとき、第２のハロー低減係数によって、前記デルタ画像の前記ピクセルを増大することをさらに備える、請求項２８に記載の方法。