JP2001526867A

JP2001526867A - 画像強調を実行する方法及び装置

Info

Publication number: JP2001526867A
Application number: JP55064498A
Authority: JP
Inventors: マクカフレイ，ナサニール，ジョセフ
Original assignee: サーノフコーポレイション
Priority date: 1997-05-21
Filing date: 1998-05-21
Publication date: 2001-12-18
Also published as: EP0983683A2; KR100614883B1; WO1998053605A3; EP0983683B1; KR20010012745A; DE69836540T2; DE69836540D1; WO1998053605A2; US5949918A; EP0983683A4

Abstract

(57)【要約】画像パラメータを強調すために画像ストリームを処理する方法及び装置。画像ストリームは、複数の画素（ピクセル）を含み、各々が、強調される画像パラメータに関連する特徴を含む。ピクセルは、制御可能な関数に従って処理され、処理された画像ストリームを生じる。重要なピクセルの特徴の統計的分布が決定され、最適化され、制御情報を発生させるために使用され、制御可能な関数の操作を変更する。

Description

【発明の詳細な説明】画像強調を実行する方法及び装置本出願は、１９９７年５月２１日に出願された米国仮出願６０／０４７，２７８号の利益を主張する。本発明は画像処理システムに関し、更に詳細には、本発明は画像強調を実行する方法及び装置に関する。開示の背景監視イメージングシステムは、慣習的に、映像取得に対して既製の汎用撮影装置を使用する。撮影装置の輝度チャネルは、視聴者にシーンを運ぶために十分大きなダイナミックレンジを有する輝度信号を提供する。その輝度チャネルは、自動アイリスレンズの設定によって通常は制限される。暗い前景及び明るい背景を含むシーンが共通であって問題を含む。そのようなシーンの中で、前景の細部は、多くの場合、輝度チャネルダイナミックレンジの底部の近くの少しの輝度又は強さのレベルに限られており、一方、背景の対象は、頂部の近くの少しのレベルで混み合っている。モニタの上で眺めると、ほとんど情報はこのシーンから抜き出すことができない。通常は、より暗い部分を犠牲にするが、自動的な輝度チャネルゲイン回路が、シーンの明るい部分でのコントラストを改良するために使用されるであろう。故に、改良したコントラスト強調を実行する方法及び装置の必要性が当該技術に存在する。発明の概要本発明は、最大のコントラスト強調を提供するために画像の全体のコントラストを動的に増大する装置及び方法である。発明の第１の実施形態では、処理関数が、ルックアップテーブルを含み、画像表示入力映像ストリームの各ピクセルをリマップして、出力映像ストリームを生じる。その画像表示入力映像ストリームは、統計的に分析され、画像のグローバル輝度分布を決定する。決定された分布を最適化するリマッピング係数のセットが発生されて、定期的にルックアップテーブルに挿入される。その処理関数は実質的にリアルタイムで動作して、一方、ルックアップテーブル係数の発生及びルックアップテーブルへの発生された係数の挿入は、遅い速度で実行される。本発明の他の実施形態で、本発明の装置は、動き検出を使用し、重要な細部（即ち「本質的な」部分）を含む可能性がある画像部分を識別する。画像の本質的な部分は、ルックアップテーブル係数を発生させることに先立って、本質的な部分と関連付けられた輝度レベルの、統計的重みを増大することによって強調される。より一般には、画像を表すデジタル化された映像信号は、適合可能なピクセルバイピクセル(pixel-by-pixel)処理関数にかけられ、画像パラメータを最大にする。画像パラメータのプロファイルが、統計的に決定され、決定された分布を最適化する１組の処理関数係数が発生され、処理関数を変更するために使用される。そのピクセルバイピクセル処理は映像速度で実行され、一方、処理関数係数及び変更の発生は遅い速度で実行される。図面の簡単な説明本発明の教示内容は、添付の図面に関連して以下の詳細な説明を考慮することによって容易に理解されることができるであろう。図１は、本発明に従った映像処理システムのブロック図である。図２は、発明を理解する際に有効なフローチャートである。図３Ａは、画像のグローバル輝度分布を表すヒストグラムである。図３Ｂは、本発明によって処理した後の図３Ａの画像のグローバル輝度分布を表したヒストグラムである。図４は、本発明に従った映像処理システムのブロック図であり、動きディテクタを含むものである。理解を容易にするために、可能なところでは、同一の参照符号を使用して図に共通する同一の部材を示した。詳細な説明図１は、本発明に従った映像処理システムのブロック図である。アナログ映像信号（例としてベースバンド（例えばＲＧＢ又はＹ／Ｃ）又は合成映像信号）Ｓ１はアナログ‐デジタル（Ａ／Ｄ）変換器１１０によって既知の方法でデジタル化され、デジタル映像ストリームＳ２を生じる。デジタル映像ストリームＳ２（例として画素（ピクセル）のシーケンスを含んでいる８ビットの（即ち２５６の強さのレベル）映像ストリーム）が、映像プロセッサ１２０及びコントローラ１４０に結合される。映像プロセッサ１２０は、制御可能な関数に従ってデジタル映像ストリームＳ２で各ピクセルを処理し、強調（された）デジタル映像ストリーム（例としてコントラスト強調映像ストリーム）Ｓ３を生じる。強調デジタル映像ストリームＳ３は、デジタル／アナログ（Ｄ／Ａ）変換器１３０によって既知の方法で、アナログ映像出力信号Ｓ４に変換される。コントローラ１４０は、デジタル映像ストリームＳ２を分析し、グローバル輝度分布を決定し、その分布に基いて、映像プロセッサ１２０に強調関数制御情報Ｓ５を提供する。コントラスト、カラーバランス、鮮鋭度などを含む種々の画像パラメータが強調されるであろう。更に、制御可能な関数は、ルックアップテーブル（ＬＵＴ）、又は線形又は非線形の映像処理要素（例えば加算器、減算器、乗数、ＬＵＴｓ、ガンマコレクタなど）のいかなるも制御可能な組み合せも含む可能性がある。合成信号の場合、垂直線ブランキング中だけＬＵＴ１２２を更新することは、図１の映像処理システムに対して望ましい。映像の用途において、映像カセットレコーダ（ＶＣＲ）又はカメラからの標準映像出力信号は、８ビットの輝度チャネルダイナミックレンジ（即ち２５６のグレースケール又は強さのレベル）を通常有する。典型的な映像ディスプレイ装置も、８ビットの輝度チャネルダイナミックレンジを有する。低いコントラストを有する画像が、全ての２５６強度レベルを利用するというわけではなく、生じているピクチャは、少しの輝度レベルに密集している。下で記載される発明の実施形態は、ヒストグラム処理を利用し、適合可能にグローバル輝度分布を変更し、非線形のマッピングを使用して、実質的に、ディスプレイ装置の全体の輝度チャネルダイナミックレンジが使用される。図１の実施形態の中で、映像プロセッサ１２０はルックアップテーブル（ＬＵＴ）１２２、（例として、２５６ビットバイ８ビットランダムアクセスメモリ（ＲＡＭ））を含む。そのＬＵＴ１２２は、２５６の可能ピクセル輝度レベル（即ち８ビットピクセル）の各々と関連する１つの表のエントリを含む。その映像プロセッサ１２０は、受け取られたピクセルの輝度レベルと関連する表のエントリに従って、受け取られたピクセルを各々処理する。このように、映像プロセッサ１２０は、デジタル映像ストリームＳ２の入力ピクセル輝度レベルをマッピングすることによって画像データを出力ピクセル輝度レベルに変換し、デジタル映像ストリームＳ３を形成する。例えば、値０−２５５がＬＵＴ１２２の各々のメモリ位置０−２５５の中でストアされる場合、「強調された」デジタル映像ストリームＳ３は、デジタル映像ストリームＳ２に対して同一である。即ち、デジタル映像ストリームＳ２における各ピクセルは、同じ輝度レベルを有するピクセルに置き換えられる。ＬＵＴ１２２の内容は、コントローラ１４０で決定される。コントローラ１４０は、デジタル映像ストリームＳ２をサブサンプリングして、結果のサブサンプリングされた映像信号を処理することによって画像情報を引き出す。そのコントローラ１４０は、映像プロセッサに結合された処理制御信号Ｓ５を生じる。処理制御信号Ｓ５に応答して、映像プロセッサ１２０は、ＬＵＴ１２２の内容を変更し、処理された映像出力ストリームＳ３が最大限の輝度チャネルダイナミックレンジ（コントラスト強調の場合）を利用する。映像プロセッサ１２０のそのピクセルバイピクセル処理は、実質的にリアルタイム（即ち、映像速度で）で実行される。Ａ／Ｄ変換器１１０、映像プロセッサ１２０及びＤＡコンバータ１３０を含む高速映像パスを、図１で示す。しかし、そのデジタル映像ストリームＳ２の統計的処理及び強調関数制御情報（即ち処理制御信号Ｓ５）の発生は、より遅い速度で実行されることに注意することが重要である。このように、コントローラ１４０は、低速、低価格マイクロプロセッサ又はデジタル信号処理装置及び技術を使用して実行される可能性がある。発明者は、強調制御に使用される関数の注意深い選択が固定点制御処理をできるようにすることに注意すべきである。好ましい制御処理方法の実施例を説明する。コントローラ１４０は統計的処理方法を利用する。それは、更に詳細に図２、図３Ａ及び図３Ｂに関して下で説明する。手短に言うと、デジタル映像ストリームＳ２は、所定の期間にわたって又は所定数のサンプルに対してコントローラ１４０でサブサンプリングされる。サンプルのその期間又は数は、理想的に選択され、デジタル映像ストリームにおける実際のコントラスト情報にサブサンプリングされたデータでコントラスト情報の相関を最大にする。本発明者は、２０ピクセルにつき１つのサンプルのサブサンプリングしている速度が、正確な画像のグローバル輝度レベルを決定するために十分であることを決定した。サブサンプリングしている速度は、コントローラ１４０及び強調される画像パラメータの速度と関連がある。サブサンプリングされた画像データは、データの「フレーム」（即ち「サンプルフレーム」）に示される。コントローラ１４０は、Ｎの可能輝度(possible intensity)又はグレーレベルの各々の発生回数をカウントするためにヒストグラムを使用する。そのヒストグラムは、Ｎ可能輝度（即ち「ビン（bins）」）及び各ビンにおけるピクセルの数Ｍを有する離散的なベクトルとして示される。各ビンは、サンプルフレームでピクセルの合計数を保持することができなければならない。サンプルフレームの終わりに、ヒストグラムは、各グレーレベルにおけるピクセルの分布及び全ての空ビンの発生を決定するために調べられる。ピクセルの分布は、画像のグローバル輝度分布を表す。図３Ａは、本発明によって処理する前の、画像のグローバル輝度分布を表すヒストグラム３１０を示す。図３Ｂは、本発明によって処理した後の、画像のグローバル輝度分布を表すヒストグラム３２０を示す。ｘ軸３１２，３２２は、８ビット映像信号の２５６の異なる可能ピクセル輝度レベルを表す。最低可能レベルはゼロ（ブラック）であり、最高可能レベルは２５５（ホワイト）である。ｙ軸３１１，３２１は、各輝度レベルでのピクセル数を表す。図３Ａに示す画像は、９つの異なる「ダーク」輝度レベルで１つ以上のピクセル（グループ「１」）、１つの「ミディアム」輝度レベルで１つ以上のピクセル（グループ「２」）及び２つの異なる「ホワイト」輝度レベルで１つ以上のピクセル（グループ「３」）を含む。第１のグループは、同じ輝度レベル又は近傍で多くのピクセルを含む。このように、同じグループ（即ちグループ内コントラスト）の要素間のコントラストは、非常に低い。第３のグループも、低グループ内コントラストを被っている。しかし、第１及び第３のグループ間コントラスト（即ちグループ間コントラスト）は、非常に高い。図３Ｂのポストプロッセシンググローバル輝度分布が、種々の輝度レベルの間でより望ましい「スペーシング」を提供し、もって、グループの間のコントラスト（即ちグループ間コントラスト）の小さな減少の代価で、同じグループの要素間（即ちグループ内コントラスト）で改良されたコントラスト提供していることがわかる。本発明で利用したヒストグラム等化方法を、今説明する。生のヒストグラム（例えば図３Ａ）からのヒストグラム等化で、確率分布関数（ＣＤＦ）が計算され、現在調べられているビン（即ち輝度レベル）で、又はその下でサンプルされたピクセルの合計数を表す。そのＣＤＦ関数は、数学的に、式１のように下に示されるであろう。最後のＣＤＦデータポイント（即ち第Ｎ^th番目の点）は、サンプリングされたピクセルの合計数を表す。各ゼロ以外のビンは、次に最終の（即ち第Ｎ^th番）ＣＤＦ値で、ゼロ以外のビンのＣＤＦを分割することによってマップされ、適切にディスプレイダイナミックレンジ（本実施例では８ビット又は２５６のレベル）にスケーリングされる。そのスケーリング操作は、式２のように示されるハードウェアにおける分割操作は時間がかかるタスクである（例えば、通常、実行する１０〜１００以上の命令サイクルをとっている）ので、分割操作を実行する必要性を低減又は除去することは望ましい。サンプルフレームの中で６５５３５までサンプルＣＤＦ（２５５）の数を制限することによって式２の浮動点分割操作式が、除去される可能性がある。この制約によって、式２は式３として以下に示す式に減縮される。式３によって実行される操作は、典型的なマイクロプロセッサ又はデジタル信号処理プロセッサ（ＤＳＰ）で、１個命令サイクル操作（即ち、右に８回転）に縮小可能である。このように、浮動点又は分割操作を使用することなくコントローラ１４０はサブサンプリングされたデータの比較的急速な処理を実行する可能性がある。前に注記したように、これによって安価なＤＳＰ又はマイクロプロセッサの使用ができるようになる。本発明によって利用されるヒストグラム等化方法を実行する方法を、図２のフローチャートで示す。図２のルーチンは、ステップを実行する割込駆動ルーチン２００であり、サブサンプリングされた映像ストリームの輝度レベルのヒストグラム（ステップ２０２−２１６）を決定し、決定されたヒストグラム（ステップ２１８−２２８）を等化して適切なリマッピング値を決定し、適切なリマップ値（ステップ２３２−２３８）を使用してルックアップテーブルを更新する。ルックアップテーブル更新処理ステップ（２３２−２３８）が、割込サービスルーチンの中で実行される点に留意する必要がある。このルーチンは、例えば、デジタル映像ストリームＳ２の垂直のブランキング間隔中にコールされる。下で説明する割込駆動ルーチンを使用することによって、コントローラ１４０は、入力映像信号Ｓ１に同期（又は「ジェンロック」）されるであろう。非割込駆動システムにおいて、割込マスクは、セット（ステップ２０４）又はリセットされない（ステップ２３０）。ルーチン２００には、ステップ２０２で入る。ステップ２０４で、ルーチンが割込駆動システム内で動作している場合、割込マスクがセットされる。割込マスクは、割込を取り消し、ヒストグラム決定プロセスの中断を防ぐようにコントローラ１４０を指示する。ステップ２０６で、メモリアレイＨＩＳＴ内の各要素はクリアされて、カウンタＣＯＵＮＴは、ゼロに初期化され、可変ＰＩＸ＿ＮＵＭは、６５５３５に初期化される。そのメモリアレイＨＩＳＴは、映像データのサンプルフレームのグローバル輝度分布を表しているヒストグラムをストアするために使用される。そのメモリアレイＨＩＳＴは、デジタル映像ストリームＳ２（典型的な実施形態で２５６）の可能輝度レベルの数によって割出される。その可変ＰＩＸ＿ＮＵＭは、サンプルフレームのピクセルの合計数を表す。デジタル映像ストリームＳ２は、サンプリングされ（ステップ２１０）、サンプリングされたピクセル輝度レベルは、可変ＶＩＤでストアされる。典型的な実施形態において、ＶＩＤはゼロ（ブラック）と２５５（ホワイト）との間にある。ブランキングパルスがゼロの輝度レベルによって表される場合、ゼロの輝度レベルを有するサンプルは、任意のステップ２１２によってヒストグラフィック(h istographic)データから排除される可能性がある。ブランキングパルス（及びデジタルデータストリームＳ２における他の非画像データ）が前に除去されている場合（即ち、データストリームＳ２が、画像データだけを含む場合）、ステップ２１２は実行されてはならない。ＶＩＤの同じ輝度レベルを有するピクセルの数を表す数をストアするアレイＨＩＳＴの要素が、ステップ２１４で増加される。そのカウンタＣＯＵＮＴは、また（ステップ２１６）で増加される。ステップ２１０〜２１６はデータの全体のサンプルフレームがサンプリングされ、サンプルフレームの輝度分布を表しているヒストグラムがストアされるまで、繰り返される（即ち、一方でＣＯＵＮＴはＰＩＸ＿ＮＵＭより少ない（ステップ２０８））。ルーチン２００がデジタル映像ストリームＳ２の輝度分布を表すヒストグラムを決定した後（ステップ２０２〜２１６）、ヒストグラム等化ルーチンは、ステップ２１８に入る。確率分布関数メモリアレイＣＤＦにおけるアキュムレータＡＣＣ及び各要素は、クリアされる（ステップ２１８）。メモリアレイインデックスＶＩＤもゼロ（ステップ２２０）にセットされる。メモリアレイインデックスＶＩＤ（即ちアレイＨＩＳＴのＶＩＤ^th要素）によって割出される決定ヒストグラムＨＩＳＴの要素は、アキュムレータＡＣＣ（ステップ２２２）の内容に加えられる。アキュムレータＡＣＣは、次に、８ビット右に回転され（即ち、２５６によって分割される）、確率分布関数メモリアレイＣＤＦ（ステップ２２４）のＶＩＤ^th要素としてストアされる。そのメモリアレイインデックスＶＩＤは、次に増加される（ステップ２２６）。ステップ２２２〜２２６はメモリアレイインデックスＶＩＤが２５５を超えるまで（即ち、ヒストグラムにおける各可能輝度レベルが動作されるまで）繰り返される。割込駆動システムの中で、ステップ２０４でセットされた割込マスクはリセットされ、コントローラ１４０は割込を待つ（ステップ２３０）。割込を受け取ると、割込サービスルーチン（ステップ２３２が２３８）に入る。非割込駆動システムで、ステップ２３２はステップ２３２の直後に実行される。割込は、以下で説明するように、割込マスクＭＡＳＫを有する垂直帰線消去期間ブランクを示す信号をゲートで制御することによって、発生させられる可能性がある。ステップ（２３２〜２３８）を更新するルックアップテーブルの第１のステップ（ステップ２３２）は、メモリアレイインデックスＶＩＤをゼロにセットする。コントローラ１４０によって、プロセッサ１２０のルックアップテーブル１２２の各要素が、メモリアレイＣＤＦ（ステップ２３４〜２３８）の対応要素でストアされる値で更新される。典型的な実施形態の中で、ルックアップテーブル１２２及びメモリアレイＣＤＦは、８ビットデジタル映像システムの２５６の可能輝度レベルに対応する２５６の要素を有する。図１の映像処理システムに対して、垂直線ブランキング中だけＬＵＴ１２２を更新し、ＬＵＴの中でデュアルポートメモリを使用することを避け、且つ、映像の画像−フレームの輝度分布のフレーム間（この場合「画像−フレーム」間）変化に起因する可能性があるビジュアルアーティファクトを避けることが望ましい。所望の同期が、いくつかの方法において実行される可能性がある。本発明者によって支持される同期方法の２つを、今説明する。第１に、前に図２に関して検討したように、ブランキング又は「ウルトラブラック」パルスを表すためにゼロ輝度レベルが、使用される可能性がある。これは、Ａ／Ｄ変換器１１０に先立って、アナログ「シンク−チップ」クランプ（図示せず）を挿入することによって達成される。そのアナログシンク−チップクランプは、Ａ／Ｄ変換器１１０のアース又はゼロ参照に関する既知の値まで同期パルス（即ちブランキングパルス）のチップのＤＣレベルをセットする。Ａ／Ｄ変換器１１０の範囲内のデジタルシンク−チップクランプ（図示せず）も実行される可能性がある。デジタルシンク−チップクランプは、最も低い信号レベル（即ちシンクパルスレベル）を追跡し、追跡されたレベルにアース又はゼロ参照を調整する。いずれにせよ、アナログ入力映像信号Ｓ１（即ちシンク−チップ）の最もマイナスのレベルが、Ａ／Ｄ変換器１１０のゼロ又はアース参照をセットするために使用される。第２に、ハードウェア割込が実行されて、システム同期が容易にされるであろう。図１で示すように、Ａ／Ｄ変換器１１０の内の任意のスレッショルドディテクタ１１２は、ブランキングパルスの表示の所定のレベル以下で映像信号エクスカーションを検出する。スレッショルドディテクタ１１２ＢＬＡＮＫの出力及びコントローラ１４０で生じた割込マスキング信号ＭＡＳＫは、緒にＡＮＤゲート１５０によって論理上ＡＮＤがなされ、割込信号ＩＮＴを生じる。そのマスキング信号ＭＡＳＫは、アクティブハイであり、コントローラが、図２のルーチンのヒストグラム決定部分（ステップ２０２〜２１６）又はヒストグラム等化部分（ステップ２１８〜２３０）を実行していることを示す。ＡＮＤゲート１５０の出力は、割込信号ＩＮＴとしてコントローラ１４０に結合される。このように、割込ルーチン（図２による）は、コントローラ１４０（例えばデジタル信号処理プロセッサ又はＤＳＰ）及び入力映像信号Ｓ１の両方から引き出される信号によって駆動される。図２のルーチンのヒストグラム等化部分（ステップ２１８〜２３０）を完了した後に、コントローラは、マスキング信号ＭＡＳＫを低くセットし（ステップ２３０）、今、ゲートを通して制御される次の垂直のブランキング信号を待っているアイドルのモードに入る。割込サービスルーチン（即ちステップ２３２〜２３８）は、アクティブ映像の前に終了しなければならず、マスキング信号ＭＡＳＫは、再びセットされる。図１の映像処理システムのコントローラ１４０が映像プロセッサ１２０より非常に遅い速度で実行することができることに注意することは重要である。デジタル映像ストリームＳ２は、例えば、ＬＵＴ１２２を使用するデジタル映像ストリームＳ２内でピクセルデータをリマップすることによって、リアルタイムで映像プロセッサ１２０において処理される。しかし、ＬＵＴ１２２のアップデート速度及びコントローラ１４０の命令実行時間は、デジタル映像ストリームＳ２のピクセル速度よりかなり遅い可能性がある（例えば２０回）。このように、本発明のアルゴリズムタイミングは従来技術の映像パイプライン処理アプローチよりも重みが非常に低い。図２で説明した典型的なルーチン以外のアルゴリズム及びルーチンを使用して、発明が行われる可能性がある点に留意する必要がある。他の領域よりも画像の範囲内である領域のコントラストを高めることが時には望ましいことを本発明者は決定した。例えば固定カメラを利用した安全監視の適用において、記録画像の移動部分は、安全監視員にとってのより大きな関心である可能性がある。故に、画像での動きに基いて優先順位が付けられたコントラスト強調を実行することは望ましい。優先順位を付けられたそのようなコントラスト強調の実行を今説明する。図４は、本発明に従った映像処理システム及び動きディテクタ１４５を含むブロック図を示す。図４の映像処理システムの部分は、図１の映像処理システムの対応する部分と実質的に同じ方法で動作するので、２つの映像処理システムの間の差だけを説明する。動きディテクタ１４５は、フレーム遅延１４５Ａ、コンパレータ１４５Ｂ及び優先順位調整器１４５Ｃを含む。デジタル映像ストリームＳ２は、フレーム−遅延デジタル映像ストリームＳ２Ａを生じるために既知の方法において動作するフレーム遅延１４５Ａに結合する。そのフレーム−遅延デジタル映像ストリームＳ２Ａは、画像フレームの整数並列だけ、デジタル映像ストリームＳ２から遅延される。複数の整数が１つであるならば、フレーム−遅延デジタル映像ストリームＳ２Ａによって表される画像は、単に、デジタル映像ストリームＳ２によって表される画像の直前を先行する映像フレーム（即ち「画像フレーム」）である。１つ以上のフレーム（即ち１より大きな整数並列）のフレーム遅延が、予期される動きの量に従って使用される可能性がある。コンパレータ１４５Ｂが、画像フレームの中で同じ位置を有するピクセルを比較することだけが必要である。コンパレータ１４５Ｂは、デジタル映像ストリームＳ２及びフレーム−遅延デジタル映像ストリームＳ２Ａを受け取る。２つの信号が輝度レベルに関する同等物であるならば、その個々のピクセルを含む画像の動きは恐らくないであろう。２つの信号が異なるならば、１つの画像フレームから次までのピクセルを含む画像動きがたぶんあるであろう。コンパレータ１４５Ｂは、画像動きを示す出力信号Ｓ２Ｂを生じる。優先順位調整器１４５Ｃは、動き指示信号Ｓ２Ｂ及びデジタル映像ストリームＳ２を受け取る。動き指示信号Ｓ２Ｂに応答して、優先順位調整装置１４５Ｃは、強調／強調停止信号Ｓ２Ｃを生じるためのピクセルの輝度レベルと関連するカウントの数を各々増加又は減少させることによって動きと関連する個々のピクセルを強調し又は強調を解除する。例えば、動き−関連ピクセルが５０の輝度レベルを有するならば、５０番目の要素の中で決定されたヒストグラム（即ち図２のルーチンにおけるＨＩＳＴ［５０］）の中でストアされるカウントは、１つ以上のカウントによってコントローラ１４０で増加され（強調される）又は減少される（強調解除される）。このように、結果の決定されたヒストグラム（例えばＨＩＳＴ［０］−ＨＳＴ［２５５］）は、各々強調され又は強調解除されたピクセル輝度レベルのより多いか又はより少ないカウントを有する。このように、動く画像の部分は動き処理に応答してより高いか又はより低い程度のコントラスト処理にかけられる可能性がある。動きに関連した強調及び強調解除に加えて、コントローラ１４０は、また、画像内のピクセルの位置に基いてピクセルに優先順位を付けるであろう。例えば、上で示した安全カメラがその視界内で一定の動きの部分を含むとき（例えば混んでいる交差）、動き処理は、恐らく満足な結果を産しないであろう。この場合には、位置の強調解除が実行される可能性がある。位置の強調解除は、望ましくない動き又は他の計数値を有する画像の部分を占めるピクセルと関連があるヒストグラフィックな輝度データの除去又は低減である。位置の強調解除は、図１及び図４のシステムのコントローラ１４０に組み込まれる可能性がある。映像処理システムへの更なる変更は、ルックアップテーブルでなくて関数マッパー１２４の任意の使用である。関数マッパーは、いかなる既知のビデオ処理関数（例えば加算器、減算器、乗数、ＬＵＴなど）でも、関数の組合わせであってもよい。カラー信号の場合、例えば、輝度処理関数に加えて又は変えてカラーバランシング又はカラーサチュレーション調整等のカラーに関連した処理関数を実行することは、望ましいであろう。カラー処理関数及び他の映像処理関数は本発明の範囲内であることが意図されている。本発明の上記実施形態は、例えば、ディスプレイ装置のフルバンド幅を利用して映像信号から最大の情報量を抽出するための手段を提供する。本発明は、映像用途に加えて、監視用、医療用及び科学的画像の用途と広い適用可能性を有する。加えて、映像及び他の画像は、消耗晶のテープ記録に先立って、再生中に細部を強調してもよい。本発明者は、図１に従って単一ボード映像処理システムを構成し、最高１０メガヘルツまでのアナログ信号にフレームタイプ適合処理を実行する。構成されたシステムは、標準ＮＴＳＣ映像を動作し、同期又はクロック信号を最早必要としないように設計された。構成されたシステムは、表面実装部材を有する小さいプリント回路基板を使用し、総費用は５０ＵＳドル（１９９６）より少なかった。その費用節減は、固定点処理を使用すること、上記の独特なアルゴリズム、単純なＤＳＰ割込ロッキング構成、及び映像ストリームの外側の低速で処理の使用で現実化された。例えば、コントローラ１４０は、固定点、オーディオ−クォリティ（及び速度）テキサスインスツルメンツＴＭＳ３２０Ｃ２５ＤＳＰチップを使用して実行され、ＬＵＴ１２２は、使用する２５６２５ナノ秒のアクセスタイムを有する８ビットスタティックランダムアクセスメモリチップによって実行される。従来技術コントラスト強調映像処理構成は、実質的に上記の発明より費用がかかる。本発明の教示内容を組み込んだ、種々の実施形態を示して詳細に本明細書で記載したが、当業者は、容易にこれらの教示内容を組み込んだ多くの他の様々な実施形態を工夫することができる。

───────────────────────────────────────────────────── フロントページの続き (81)指定国ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ，ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＢＲ，ＣＡ，ＣＮ，ＪＰ，ＫＲ

Claims

【特許請求の範囲】１．画像パラメータを強調するために画像ストリームを処理する方法であって、前記画像ストリームが複数の画素（ピクセル）を含み、前記ピクセルの各々が前記画像パラメータに関連した特徴を含み、（ａ）処理された画像ストリームを生じるために、制御可能な関数に従って前記画像ストリームの前記ピクセルの各々を処理するステップと、（ｂ）前記画像ストリーム内の前記ピクセルの特徴の統計的分布を決定するステップであって、前記統計的分布が前記画像の前記パラメータを表示しているステップと、（ｃ）前記決定された統計的分布を最適化するための少なくとも１つの関数係数を発生させるステップと、（ｄ）前記少なくとも１つの関数係数を使用して前記制御可能な関数を変更するステップと、を含む方法。２．前記決定するステップが、更に、画像内で動きを表す前記画像の範囲内でピクセルを識別するステップと、前記識別されたピクセルと関連する前記ピクセルの特徴の統計的重みを強調するステップと、を含む請求項１記載の方法。３．前記画像パラメータを強調する、画像ストリームを処理する装置であって、前記画像ストリームが複数の画素（ピクセル）を含み、前記ピクセルの各々が、前記画像パラメータに関連した特徴を含み、ピクセルプロセッサであって、入力で前記画像ストリームを受け取り出力で処理された画像ストリームを生じ、制御可能な関数に従って前記画像ストリームの受け取られたピクセルを各々処理する前記ピクセルプロセッサと、前記ピクセルプロセッサに連結され、入力で前記デジタル映像信号を受け取るコントローラであって、前記画像ストリームの中で前記ピクセル特徴の統計的分布を決定し、前記決定された統計的分布を最適化するために、少なくとも１つの関数係数を発生させるコントローラと、を含み、前記ピクセルプロセッサが、前記コントローラからの制御信号に応答して、前記少なくとも１つの関数係数を使用して前記制御可能な関数を変更する装置。４．前記制御可能な関数がリマップ関数であり、前記少なくとも１つの関数係数が、ルックアップ値である請求項３記載の装置。５．前記画像ストリームを入力で受け取り、出力で検出された動きの印(indic ium)を出力で生じる動きディテクタであって、画像内での動きを表す前記画像ストリーム内のピクセルを識別する前記動きディテクタと、画像内での動きを表す前記画像ストリーム内で、前記ピクセルと関連して前記ピクセル特徴の統計的重要性を強調するための、前記動きディテクタに連結された優先順位調整器と、を含む請求項３に記載の装置。６．前記画像パラメータがカラーパラメータであって前記ピクセル特徴が彩度レベルであり、Ｎ可能彩度レベルの１つが前記ピクセルの各々と関連し、前記コントローラが、所定数のピクセルに対して、前記Ｎ可能彩度レベルの各々を有するピクセルの数をカウントすることによって、前記彩度レベルの前記分布を決定する請求項３記載の装置。７．前記コントローラが、第１の彩度レベルから前記第Ｎの彩度レベルまでの彩度レベルを有するピクセルの数を表示する決定されたピクセルカウントをアキュムレータに順に加えることによって、前記１つ以上の関数係数を発生させ、前記コントローラが、累積されたトータルをＮで分割することによって各々順次加算中に関数係数を発生させている請求項６記載の装置。８．前記画像パラメータがコントラストパラメータであり、前記ピクセルの特徴が輝度レベルあり、Ｎ可能輝度レベルの１つが前記ピクセルの各々と関連し、前記コントローラが、所定数のピクセルに対して、前記Ｎ可能輝度レベルの各々を有するピクセルの数をカウントすることによって前記輝度レベルの前記分布を決定し、前記コントローラが、第１の輝度レベルから前記第Ｎの輝度レベルまでの輝度レベルを有する、ピクセルの数を表示する決定されたピクセルカウントを、アキュムレータ順に加えることによって、前記１つ以上の関数係数を発生させ、累積されたトータルをＮで分割することによって各々順次加算中に前記コントローラが関数係数を発生させる請求項３記載の装置。９．前記デジタル映像信号が一連の画素（ピクセル）を含み、前記ピクセルの各々が、関連する輝度レベルを有し、前記デジタル映像信号を入力で受け取り、受け取られたピクセルの各々に応答して、ルックアップテーブルから得られた輝度レベルを有するピクセルを出力で提供するピクセルプロセッサであって、前記ルックアップテーブルがＮ可能輝度レベルの各々を表す１つの要素を有しているプロセッサと、前記ピクセルプロセッサに連結されて、前記デジタル映像信号を入力で受け取るコントローラであって、統計的に前記デジタル映像信号の輝度プロファイルを決定し、強調コントラスト輝度プロファイルを提供するために前記統計的に決定された輝度プロファイルを調整し、前記強調コントラスト輝度プロファイルを前記ピクセルプロセッサに連結させるコントローラと、を含み、前記ピクセルプロセッサが、前記強調コントラスト輝度プロファイルに応答して、選択的に前記ルックアップテーブル要素を調整している、デジタル映像信号をコントラスト強調する装置。１０．前記コントローラが、前記Ｎ可能輝度レベルの各々を有するＭピクセルの数をカウントすることによって統計的に前記デジタル映像信号の前記輝度プロファイルを決定し、前記コントローラが、第１の輝度レベルから前記第Ｎの輝度レベルまで輝度レベルを有するピクセル数を表示する決定されたピクセルカウントをアキュムレータに順に加えることによって、前記１つ以上の関数係数を発生させ、Ｎによって累積されたトータルを分割することによって前記コントローラーが各々順次加算中の関数係数を発生させている請求項９記載の装置。