JP2015179502A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】階調補正処理に習熟したユーザでなくても、簡易かつ効率的に階調補正処理を行う。【解決手段】ＧＵＩ２０は、空間階調補正処理の入力パラメータの変更を受け付ける制御ウインドウで、５個の入力パラメータの変更操作を受け付ける。ＧＵＩ２０では、補正方式、補正強度、色強調度、明るさ及び補正範囲の第１の入力パラメータが設定可能である。補正方式は、プルダウンメニュー２１によって選択され、コントラスト強調、逆光補正、暗部補正及び明部補正の４つの補正方式のいずれか又は複数が選択可能である。補正強度、色強調度、明るさ及び補正範囲は、ユーザがウインドウ内のスライダ２２ａ〜２５ａを左右方向に動かすことでそれぞれの値が設定されるスライドバー２２〜２５によって指定される。数値表示部２６〜２９には、指定された補正強度、色強調度、明るさ及び補正範囲の値が表示される。【選択図】図２

Description

本発明は、画像データにおける階調毎のヒストグラムデータを基に、画像処理する画像処理装置及び画像処理方法に関する。

カメラ等の撮像装置により撮像された画像データ内には、明度が高い領域（明るい領域）と明度が低い領域（暗い領域）とが混在することがある。例えば、日射による明るい屋外が写った領域と暗い屋内とが写った領域とが含まれていると、明るい領域と暗い領域との間では十分な明暗差が得られるが、それぞれの領域内ではコントラストが一様に定まらず、被写体が不鮮明となるという問題がある。

このような問題に対して、画像上のある注目点を中心とした局所領域内に存在する画素の階調分布を示すヒストグラムデータを生成し、そのヒストグラムデータにおいて度数が高い階調のコントラストを強調する階調変換カーブ（トーンカーブ）を求め、その階調変換カーブを用いて階調補正処理する、いわゆる局所的ヒストグラム均等化法による階調補正処理の技術が知られている。これにより、明るい領域及び暗い領域のそれぞれの領域内でコントラストが強調されて、鮮明な画像が得られる。

ところが、局所的ヒストグラム均等化法による階調補正処理を画像の全体に対して画素単位で行うには、膨大な演算量が必要となり、例えば民生用の画像処理用アプリケーションとしての用途には現実的に向かない。

そこで、画像データを複数のブロックに分割し、各ブロックを中心にした局所領域に含まれる各ブロックの代表値を集計し、各ブロックのヒストグラムデータを生成し、ヒストグラムデータを基にして階調変換カーブを求めて階調補正処理する技術が知られている（例えば、特許文献１参照）。特許文献１に示す画像処理装置によれば、演算量の削減が可能となる。

特開２００８−９２０５２号公報

しかし、特許文献１に記載の階調補正処理を行う際には、階調補正処理に必要なパラメータの種類が多く、各パラメータの内容も難解であるために、階調補正処理に習熟したユーザでなければ、階調補正処理を簡易に行うことができないという課題があった。

本発明は、上述した従来の課題を解決するために、階調補正処理に習熟したユーザでなくても、簡易かつ効率的に階調補正処理を行う画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、画像データを有する画像処理装置であって、階調補正処理に関する第１の入力パラメータの操作画面を表示する表示部と、前記操作画面に対する前記第１の入力パラメータの変更操作に応じて、変更後の前記第１の入力パラメータを、前記階調補正処理に関する第２の入力パラメータに変換する変換部と、前記第２の入力パラメータを用いて、前記画像データを階調補正処理する画像処理部と、を備える、画像処理装置である。

この構成では、表示部には、階調補正処理に関する第１の入力パラメータの操作画面が表示される。変換部は、操作画面に対する第１の入力パラメータの変更操作に応じて、変更後の第１の入力パラメータを、階調補正処理に関する第２の入力パラメータに変換する。画像処理部は、第２の入力パラメータを用いて、画像データを階調補正処理する。

これにより、画像処理装置は、階調補正処理に習熟したユーザでなくても、比較的容易に理解可能な第１の入力パラメータの操作画面を表示させ、この操作画面に対する第１の入力パラメータの変更操作に応じて、第１の入力パラメータを、階調補正処理に習熟していないユーザには難解な第２の入力パラメータに変換でき、第２の入力パラメータを用いて階調補正処理するので、簡易かつ効率的に階調補正処理を行うことができる。

本発明は、画像データを有する画像処理装置における画像処理方法であって、階調補正処理に関する第１の入力パラメータの操作画面を表示するステップと、前記操作画面に対する前記第１の入力パラメータの変更操作を受け付けるステップと、前記第１の入力パラメータの変更操作に応じて、変更後の前記第１の入力パラメータを、前記階調補正処理に関する第２の入力パラメータに変換するステップと、前記第２の入力パラメータを用いて、前記画像データを階調補正処理するステップと、を有する、画像処理方法である。

この方法では、表示部には、階調補正処理に関する第１の入力パラメータの操作画面が表示される。操作画面に対する第１の入力パラメータの変更操作に応じて、変更後の第１の入力パラメータが、階調補正処理に関する第２の入力パラメータに変換される。第２の入力パラメータを用いて、画像データは階調補正処理される。

これにより、画像処理装置は、階調補正処理に習熟したユーザでなくても、比較的容易に理解可能な第１の入力パラメータの操作画面を表示させ、この操作画面に対する第１の入力パラメータの変更操作に応じて、第１の入力パラメータを、階調補正処理に習熟していないユーザには難解な第２の入力パラメータに変換でき、第２の入力パラメータを用いて階調補正処理するので、簡易かつ効率的に階調補正処理を行うことができる。

本発明によれば、階調補正処理に習熟したユーザでなくても、階調補正処理を効率的に行うことができる。

本実施形態の画像処理装置の内部構成を示すブロック図 表示部に表示された操作画面としてのＧＵＩを示す図 入力パラメータ、パラメータ変換部、内部パラメータと階調変換処理部における動作との関係の一例を示す図 補正範囲が変更された場合の局所ヒストグラムの生成処理の手順を示す説明図 （Ａ），（Ｂ）サムネイル画像に設定された補正範囲を示す図 本実施形態の画像処理装置の階調補正処理の動作手順を説明するフローチャート 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ再生直前の動画の表示例を示す図 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ再生直後の動画の表示例を示す図 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ空間階調補正後の動画の表示例を示す図 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ空間階調補正メニューの詳細が示された例を示す図 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ空間階調補正メニューの詳細が示された例を示す図 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ空間階調補正メニューの詳細が示された例を示す図 動画のビューアの表示領域と画像処理メニューの表示領域とが同一画面上に表示され、かつ空間階調補正メニューの詳細が示された例を示す図 動画のビューアの表示領域と各画像処理メニューの表示領域とが同一画面上に表示され、かつ空間階調補正、複数枚合成ＮＲ及び降雪降雨除去の各画像処理後の動画の表示例を示す図

以下、本発明に係る画像処理装置及び画像処理方法の実施形態（以下、「本実施形態」という）について、図面を参照しながら説明する。本実施形態の画像処理装置は、カメラ等の撮像装置により撮像された画像データを入力又は記憶し、例えばＰＣ（Personal Computer）を用いて構成可能な電子機器である。但し、本実施形態の画像処理装置は、ＰＣに限定されない。以下、画像処理装置が入力又は記憶している画像データを、「入力画像データ」という。

更に、本発明は、画像処理装置及び画像処理方法に限定されず、コンピュータに、画像処理方法により規定された動作を実行させるためのプログラムや、画像処理方法により規定された動作を実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体として表現しても良い。

図１は、本実施形態の画像処理装置１の内部構成を示すブロック図である。図１に示す画像処理装置１は、制御部１１、操作入力部１２、表示部１３、表示制御部１４、階調補正部１５、入力画像記憶部１６及び出力画像記憶部１７を有する。

制御部１１は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）を用いて構成され、画像処理装置１の各部の動作を統括的に制御する。なお、制御部１１を構成するためのプロセッサには、ＣＰＵ以外に、ＭＰＵ（Micro Processing Unit）又はＤＳＰ（Digital Signal Processor）を用いても良い。

操作入力部１２は、ユーザが入力操作可能なマウス、キーボード等の入力デバイスである。

表示部１３は、各種の情報又はデータを画面に表示するモニタである。なお、操作入力部１２及び表示部１３は、一体的に形成されたタッチパネルを用いて構成されても良い。

表示制御部１４は、グラフィカルユーザインタフェース（ＧＵＩ：Graphical User Interface）を制御し、操作入力部１２からのユーザによる入力操作を受け付け、表示部１３の画面表示を制御する。

階調補正部１５は、入力画像データを入力して空間階調補正処理（以下、単に「階調補正処理」という）を行い、階調補正処理の処理結果として得られた出力画像データを出力する。なお、階調補正部１５の詳細については後述する。

入力画像記憶部１６は、例えばＲＡＭ又はフラッシュメモリを用いて構成され、入力画像データを記憶する。

出力画像記憶部１７は、例えばＲＡＭ又はフラッシュメモリを用いて構成され、階調補正処理により得られた出力画像データを記憶する。

図２は、表示部１３に表示される操作画面としてのＧＵＩ２０を示す図である。操作画面としてのＧＵＩ２０は、空間階調補正処理の入力パラメータ（第１の入力パラメータ）の変更を受け付けるための制御ウインドウであり、ユーザによる５個のうちいずれか又は複数の入力パラメータの変更操作を受け付ける。本実施形態では、例えば５個の第１の入力パラメータとして、補正方式、補正強度、色強調度、明るさ及び補正範囲が設定可能である。これらの第１の入力パラメータは、階調補正処理に習熟したユーザでなくても、比較的容易に理解可能なパラメータである。

図２に示す補正方式は、プルダウンメニュー２１によって選択される。本実施形態では、コントラスト強調、逆光補正、暗部補正及び明部補正の４個の補正方式が選択可能である。図２では、例えば暗部補正の補正方式が選択されている。また、各補正方式の詳細については後述する。なお、階調補正処理が行われない場合には、プルダウンメニュー２１によって展開される「なし」も選択されても良い。

図２に示す補正強度、色強調度、明るさ及び補正範囲は、それぞれスライドバー２２、２３、２４、２５によって指定される。ユーザがスライドバー２２、２３、２４、２５上のスライダ２２ａ、２３ａ、２４ａ、２５ａをそれぞれ左右方向に動かすことによって、各々の第１パラメータの値が設定される。

スライドバー２２、２３、２４、２５の右側に配置された数値表示部２６、２７、２８、２９には、それぞれ指定された補正強度、色強調度、明るさ及び補正範囲の値が表示される。図２では、補正強度、色強調度、明るさ及び補正範囲の値がそれぞれ値２５５を最大値として「１９２」、「１６」、「５５」、「２５５」に設定されている。また、補正強度、色強調度、明るさ及び補正範囲の詳細については後述する。

ＧＵＩ２０には、全てのパラメータを初期値に戻すための「パラメータの初期化」のボタン３２が設けられている。ユーザがこのボタン３２を押下操作すると、全てのパラメータは初期値にセットされる。尚、初期値は、あらかじめユーザによって設定された値でもよいし、値０、値２５５あるいは中間値に設定されてもよい。

図３は、入力パラメータ（第１の入力パラメータ）、パラメータ変換部、内部パラメータ（第２の入力パラメータ）と階調変換処理部４３における動作との関係の一例を示す図である。

図３に示す階調補正部１５は、ユーザの入力操作により指定された５個の入力パラメータ（第１の入力パラメータ）を内部パラメータ（第２の入力パラメータ）に変換するパラメータ変換部４１と、内部パラメータ（第２の入力パラメータ）を用いて、入力画像データを階調補正処理し、階調補正処理により得られた出力画像データを出力する階調変換処理部４３とを含む構成である。ここで、内部パラメータ（第２の入力パラメータ）は、階調補正処理に習熟していないユーザには難解なパラメータであり、階調補正処理を行うために必要なパラメータであり、詳細については後述する。

パラメータ変換部４１は、入力パラメータ（第１の入力パラメータ）である「補正方式」がユーザの入力操作により選択されると、予め用意されているテーブル（不図示）を用いて、選択された補正方式に対応する３２階調の内部パラメータ（第２の入力パラメータ）である「ヒスト上限クリップ量」及び「ヒスト下限クリップ量」を設定する。

補正方式は、上述したように、コントラスト強調、逆光補正、暗部補正及び明部補正の４個のうちいずれかが選択される入力パラメータ（第１の入力パラメータ）である。コントラスト強調とは、曇天等の影響により入力画像データの低いコントラストを高くする場合に選択される補正方式である。逆光補正とは、白とび又は黒つぶれ等により不足しているダイナミックレンジを大きくする場合に選択される補正方式である。暗部補正とは、露光不足等により暗い部分が多い画像を明るくする場合に選択される補正方式である。明部補正とは、露光過剰等により明るい部分が多い画像を暗くする場合に選択される補正方式である。

ヒスト上限クリップ量は、入力画像データの局所領域における局所ヒストグラムが所定の上限以上となった場合に、上限値以上の値を切り捨てるために設定される量（上限値）である。また、ヒスト下限クリップ量は、入力画像データの局所領域における局所ヒストグラムが所定の下限以下となった場合に、下限値まで引き上げるために設定される量（下限値）である。このように、ヒスト上限クリップ量及びヒスト下限クリップ量を設定することで、局所ヒストグラムは整形される。

パラメータ変換部４１は、入力パラメータ（第１の入力パラメータ）である「明るさ」を、内部パラメータ（第２の入力パラメータ）である「ヒスト分配係数設定値」及び「分配開始・終了位置」に変換する。明るさは、局所ヒストグラムの重心位置を低階調側或いは高階調側に移動させるためのパラメータである。

パラメータ変換部４１は、入力パラメータ（第１の入力パラメータ）である「補正強度」を、内部パラメータ（第２の入力パラメータ）である「ヒスト分配係数設定値」及び「画像ブレンド率」に変換する。補正強度は、出力画像データと入力画像データとのブレンド率α、及び局所ヒストグラムの周辺階調への分配幅（分配を受ける階調の数）を設定するためのパラメータである。

ヒスト分配係数設定値及び分配開始・終了位置は、局所ヒストグラムを分配する時の分配幅と分配率（重み係数）を設定するものであり、分配率が小さくかつ分配幅が小さいと、補正後画像のコントラストの強調度合いを大きくする。分配率が大きくかつ分配幅が大きいと、補正後画像のコントラストの強調度合いを緩和する。

このように、ヒスト分配係数設定値及び分配開始・終了位置は、ヒスト上限クリップ量及びヒスト下限クリップ量とともに、局所ヒストグラムの整形に用いられる。

画像ブレンド率は、入力画像に対する補正後画像のブレンド率α（０〜１）である。入力画像×（１−α）と補正後画像×αとを加算して出力画像が得られる。従って、ブレンド率αが大きい程、補正後画像（出力画像データ）の使用割合が大きくなる。

パラメータ変換部４１は、入力パラメータ（第１の入力パラメータ）である「色強調度」を、内部パラメータ（第２の入力パラメータ）である「色ゲイン」に変換する。色強調度は、出力画像の色の強調度合いを調整するためのパラメータであり、色ゲインに相当する。

パラメータ変換部４１は、入力パラメータ（第１の入力パラメータ）である「補正範囲」と入力画像データの「画像サイズ」とを用いて、内部パラメータ（第２の入力パラメータ）である「重み付け係数」及び「重み付け範囲」を生成する。

図４は、補正範囲が変更された場合の局所ヒストグラムの生成処理の手順を示す説明図である。ここで、補正範囲は、局所ヒストグラムを生成する範囲を設定するパラメータである。画像サイズは、入力画像の水平画素数と垂直画素数とにより表される大きさである。補正範囲が値０−２５５の範囲で変更されると、パラメータ変換部４１は、重み付け範囲及び重み付け係数を生成する。この生成された重み付け範囲及び重み付け係数は、後述する局所ヒストグラム生成（図３に示すステップＴ３）の処理に用いられる。パラメータ変換部４１では、４個の重み付け範囲ｗｓ１、ｗｓ２、ｗｓ３、ｗｓ４及び重み付け係数ｗｃ１、ｗｃ２、ｗｃ３、ｗｃ４がそれぞれ生成される。

図５は、サムネイル画像５０に設定された補正範囲５３を示す図である。サムネイル画像５０は、８×８画素を１ブロックとするように入力画像データが変換された縮小画像である。図５では、サムネイル画像５０に対し、指定された補正範囲５３の中心（ｘ_０，ｙ_０）からの距離に応じて、４つの重み付け範囲ｗｓ１、ｗｓ２、ｗｓ３、ｗｓ４が設定される。さらに、４つの重み付け範囲ｗｓ１、ｗｓ２、ｗｓ３、ｗｓ４それぞれに重み付け係数ｗｃ１、ｗｃ２、ｗｃ３、ｗｃ４が設定される。尚、これらの重み付け範囲及び重み付け係数は一例であり、適宜変更可能である。

局所ヒストグラムが生成される際、局所ヒスト算出位置（ｘ，ｙ）が重み付け範囲ｗｓ３内にある場合、重み付け範囲ｗｓ３内の要素数が重み付け係数ｗｃ３倍に加算されて計数される。同様に、局所ヒスト算出位置が重み付け範囲ｗｓ２内にある場合、重み付け範囲ｗｓ２内の要素数が重み付け係数ｗｃ２倍に加算されて計数される。これにより、補正範囲５３の中心から距離的に遠くなるほど、局所ヒストグラムの生成に与える影響を小さくすることができる。尚、重み付けを行わずに、補正範囲内の要素数を全て均一に加算しても良い。

また、図５（Ａ）に示すように、補正範囲５３が大きく設定された場合、局所ヒストグラムは、サムネイル画像５０上の広い範囲で算出される。この結果、トーンカーブは画像全体で最適化される。

一方、図５（Ｂ）に示すように、補正範囲５３が小さく設定された場合、局所ヒストグラムは、サムネイル画像５０上の狭い範囲で算出される。この結果、トーンカーブは局所的に最適化される。

次に、画像処理部の一例としての階調変換処理部４３について、図３を参照して説明する。

階調変換処理部４３は、上述したように、内部パラメータ（第２の入力パラメータ）を用いて、入力画像データに階調補正処理を行い、階調補正処理結果として得られた出力画像データを出力する。

具体的には、図３において、階調変換処理部４３は、入力画像データを明度（輝度）と色差とに分離するＹＣ変換を行い（Ｔ１）、８×８画素を１ブロックとするサムネイル画像を生成する（Ｔ２）。尚、ここでは、８×８画素を１ブロックとしたが、演算量を少なくするために、１６×１６画素等、より多くの画素数からなる区画を１ブロックとしても良い。階調変換処理部４３は、サムネイル画像に対し、内部パラメータ（第２の入力パラメータ）である重み付け範囲及び重み付け係数を用いて、局所ヒストグラムを生成する（Ｔ３）。

階調変換処理部４３は、内部パラメータ（第２の入力パラメータ）であるヒスト上限クリップ量、ヒスト下限クリップ量、ヒスト分配係数設定値及び分配開始・終了位置を用いて、局所ヒストグラムを整形する（Ｔ４）。階調変換処理部４３は、整形されたヒストグラムからトーンカーブ（階調変換カーブ）を生成する（Ｔ５）。

階調変換処理部４３は、この生成したトーンカーブ、内部パラメータ（第２の入力パラメータ）である画像ブレンド率、及びステップＴ１で得られた輝度データを用いて、入力画像の階調変換を行う（Ｔ６）。階調変換処理部４３は、階調変換後の入力画像に対し、内部パラメータである色ゲインを用いて色強調を行い（Ｔ７）、出力画像データを得る。

上述した構成を有する画像処理装置１の階調補正処理動作について、図６を参照して説明する。図６は、本実施形態の画像処理装置１の階調補正処理の動作手順を説明するフローチャートである。

図６において、表示制御部１４は、入力画像記憶部１６に記憶されている入力画像データと操作画面としてのＧＵＩ２０とを表示部１３に表示する（Ｓ１）。操作入力部１２は、表示部１３に表示されたＧＵＩ２０に対するユーザの入力操作を受け付ける（Ｓ２）。

階調補正部１５は、入力操作によって設定されたＧＵＩ２０の５つパラメータを内部パラメータに変換し（Ｓ３）、更に、変換された内部パラメータを用いて、入力画像データの階調補正処理（図３参照）を行う（Ｓ４）。階調補正部１５は、階調補正処理により得られた出力画像データを出力画像記憶部１７に記憶する（Ｓ５）。また、表示制御部１４は、出力画像記憶部１７に記憶された出力画像データを表示部１３に表示する。

この後、表示制御部１４は、操作入力部１２から階調補正処理の完了の入力があったか判別する（Ｓ６）。階調補正処理の完了の入力が無い場合（Ｓ６、ＮＯ）、ステップＳ２の処理に戻り、同様の動作が繰り返される。一方、階調補正処理完了の入力があった場合、本動作が終了する。

以上により、本実施形態の画像処理装置１は、ユーザにより、表示部１３に表示されたＧＵＩ２０に含まれるプルダウンメニュー２１及びスライドバー２２〜２５の操作に基づく入力パラメータ（第１の入力パラメータ）の変更操作を受け付ける。画像処理装置１は、ユーザによる変更操作に応じて、いずれか又は複数の入力パラメータ（第１の入力パラメータ）を、内部パラメータ（第２の入力パラメータ）に変換する。更に、画像処理装置１は、このような簡単な入力パラメータ（第１の入力パラメータ）の変更操作に応じて、内部パラメータ（第２の入力パラメータ）を用いて、入力画像データに対する局所的又は全体的な階調補正処理を行い、出力画像データを表示部１３に表示する。ユーザは、表示部１３に表示された出力画像データを見て、局所的な階調補正処理の結果が良くないと判断した場合には、何度でも、入力パラメータ（第１の入力パラメータ）の変更操作をやり直すことができる。

これにより、本実施形態の画像処理装置１は、内部パラメータ（第２の入力パラメータ）のような難解なパラメータの内容を知らないユーザであっても、比較的理解し易い補正方式、補正強度、色強調度、明るさ及び補正範囲を含む５個の入力パラメータ（第１の入力パラメータ）の変更操作に応じて、階調補正処理を簡易に行うことができる。

即ち、画像処理装置１は、階調補正処理に習熟したユーザでなくても、操作画面として表示部１３に表示されたＧＵＩ２０の入力パラメータ（第１の入力パラメータ）の簡易な変更操作により、簡易かつ効率的に、入力画像データの階調補正処理を行うことができる。

また、本実施形態の画像処理装置１は、入力画像記憶部１６から読み出した動画の画像データと空間階調補正のメニュー画面とを表示部１３の同一画面上に表示してもよい（図７〜図１４参照）。以下、表示部１３の同一画面ＷＤ１〜ＷＤ８に表示された画面例について、図７〜図１４を参照して説明する。

図７は、動画のビューアの表示領域ＶＩＷと画像処理メニューの表示領域ＭＮＵとが同一画面ＷＤ１上に表示され、かつ再生直前の動画の表示例を示す図である。図８は、動画のビューアの表示領域ＶＩＷと画像処理メニューの表示領域ＭＮＵとが同一画面ＷＤ２上に表示され、かつ再生直後の動画の表示例を示す図である。図９は、動画のビューアの表示領域ＶＩＷと画像処理メニューの表示領域ＭＮＵとが同一画面ＷＤ３上に表示され、かつ空間階調補正後の動画の表示例を示す図である。

図７には、入力画像記憶部１６から読み出された時点で再生直前の状態における動画の画像データのビューアの表示領域ＶＩＷと、画像処理装置１が実行可能な画像処理（具体的には、空間階調補正、複数枚合成ＮＲ（Noise Reduction）、降雪降雨除去）のメニュー（画像処理メニュー）の表示領域ＭＮＵとが同一画面ＷＤ１として示されている。図７では、これらの各画像処理メニューの詳細内容が表示されておらず、各画像処理メニューの名称だけが表示されており、画像処理装置１における画像処理の対象となる動画の画像データと、画像処理装置１が実行可能な画像処理のメニューの一覧との関係がユーザにとって一目で視認可能となっている。従って、ユーザは、画像処理の対象となる動画の画像データと画像処理メニューとを対比的に確認できる。

図７〜図１４に示す画面ＷＤ１〜ＷＤ８の下段には、動画の再生、一時停止、停止、早送り、巻戻し、録画、戻し操作等に関する操作ボタンセットＳＴと、動画の再生タイミングを視覚的に示す再生バーＢＡＲと、動画の始点時刻及び終了時刻を示す動画時間エリアＳＴＥと、再生バーＢＡＲ内に表示されたインジケータＩＮＤが示す実際の再生時刻（つまり、始点時刻からの経過時間）を直接的に示す再生時刻エリアＣＲＴとが共通して表示される。ユーザの操作によって再生ボタンＲＰがカーソルＣＳＲにより押下されると、画像処理装置１の制御部１１は、入力画像記憶部１６から読み出した動画の画像データを再生する（図８〜図１４参照）。この場合には、画像処理装置１の制御部１１は、画面ＷＤ２上において、再生ボタンＲＰを一時停止ボタンＨＬに変更して表示する。

ここで、ユーザの操作によって、例えば画像処理メニューの表示領域ＭＮＵのうち空間階調補正のメニューバーＭＮＵ１がカーソルＣＳＲにより一度押下されると、画像処理装置１の階調補正部１５は、上述した本実施形態の方法（例えば図６参照）に従って、表示領域ＶＩＷに表示された動画の画像データに空間階調補正を行う。一方、空間階調補正のメニューバーＭＮＵ１がカーソルＣＳＲにより更にもう一度押下されると、画像処理装置１の階調補正部１５は、表示領域ＶＩＷに表示された動画の画像データに対する空間階調補正を中断する。これにより、画像処理装置１は、表示領域ＶＩＷに表示された動画の画像データを再生した状態で、ユーザの簡単な操作（つまり、メニューバーＭＮＵ１の押下の有無）により、表示領域ＭＮＵに表示されたいずれかの画像処理メニューに対応した画像処理を的確に実行でき又はその実行を中断でき、画像処理前後の処理結果をユーザに対して簡単に確認させることができる。なお、画像処理装置１の制御部１１は、カーソルＣＳＲが画像処理メニューのいずれかのメニューバー上又はその近傍にある場合には、異なる形状のカーソルＣＳＲ１を表示してもよいし、当初のカーソルＣＳＲを表示してもよい。

また、ユーザの操作によって、図９に示す空間階調補正のメニューバーＭＮＵ１の右端部に表示されたマーカＤＴ１がカーソルＣＳＲ１により押下されると、画像処理装置１の制御部１１は、空間階調補正に関する複数の入力パラメータを設定させるための詳細な操作画面の表示領域ＭＮＵ１Ｄを展開して画面ＷＤ４上に表示する（図１０〜図１３参照）。図１０〜図１３は、それぞれ動画のビューアの表示領域ＶＩＷと画像処理メニューの表示領域ＭＮＵ１Ｄとが同一画面ＷＤ４〜ＷＤ７上に表示され、かつ空間階調補正メニューの詳細が示された例を示す図である。

図１０〜図１３に示すように、画像処理装置１の制御部１１は、空間階調補正に関する入力パラメータを設定させるための詳細な操作画面（図２参照）と同様の画面を表示領域ＭＮＵ１Ｄに表示する。図１０〜図１３に示す表示領域ＭＮＵ１Ｄでは、空間階調補正に関する入力パラメータである補正方式、補正強度、色強調度、明るさ及び補正範囲がそれぞれ所定値に予め定められた自動設定のチェックボックスＡＴＣ（図１３参照）が追加して表示されている。なお、自動設定時の補正方式、補正強度、色強調度、明るさ及び補正範囲の所定値は、初期値に限定されず、例えば階調補正部１５における画像処理の結果に基づいて動的に設定されてもよく、以下同様である。なお、全ての入力パラメータを初期値に戻すための「パラメータの初期化」のボタン３２の図示は図１０〜図１３では省略されている。

図１０〜図１３でも同様に、ユーザが補正強度、色強調度、明るさ及び補正範囲毎に設けられたシークバーＳＫＢ（図２に示すスライダ２２ａ、２３ａ、２４ａ、２５ａ参照）に対してカーソルＣＳＲの個々に左右に移動する操作により、画像処理装置１は、表示領域ＶＩＷにおいて再生中の動画の画像データに対して、移動操作後の入力パラメータに伴って変更された内部パラメータを用いた空間階調補正を行う。

また、ユーザが補正強度、色強調度、明るさ及び補正範囲毎に設けられた入力欄ＩＰＦ（図２に示す数値表示部２６、２７、２８、２９参照）に対する数値（例えば０−２５５までの値）の入力により、画像処理装置１は、表示領域ＶＩＷにおいて再生中の動画の画像データに対して、入力後の入力パラメータに伴って変更された内部パラメータを用いた空間階調補正を行う。

図１０では補正強度が「２１２」となっているが、図１１では補正強度が「８０」に変更されたので、図１０に示す動画の画像データの鮮明度合いは、図１１に示す動画の画像データの鮮明度合いに比べれば劣化するが、画像処理装置１の処理負荷は軽減できている上に、ユーザは動画の内容を十分に把握できる。

図１０では明るさが「１４３」となっているが、図１２では明るさが「２５０」に変更されたので、図１２に示す動画の画像データは、図１０に示す動画の画像データの明るさに比べれば増しているので、図１０に示す動作の画像データの鮮明度合いは劣化している（つまり、コントラストが低くなっている）が、補正方式「コントラスト補正」における画像処理装置１の処理負荷が軽減できている上に、ユーザは動画の内容を十分に把握できる。

また、ユーザの操作により、図１３に示す空間階調補正に関する入力パラメータを入力パラメータ毎の既定値（例えば初期値）に自動設定させるためのチェックボックスＡＴＣがカーソルＣＳＲにより押下されると、画像処理装置１は、表示領域ＶＩＷにおいて再生中の動画の画像データに対して、入力パラメータ毎の既定値を用いて変換した内部パラメータを用いた空間階調補正を行う。これにより、画像処理装置１は、空間階調補正に関する入力パラメータとしてどのような値を入力すれば良いか分からないユーザに対しても、例えば空間階調補正時の典型的な初期値を既定値として用いることで、動画の画像データに対する空間階調補正を簡易に行うことができる。

また、本実施形態の画像処理装置１は、入力画像記憶部１６から読み出した動画の画像データと空間階調補正を含む複数の画像処理のメニュー画面とを表示部１３の同一画面上に表示してもよい（図１４参照）。以下、表示部１３の同一画面ＷＤ８〜ＷＤ１０に表示された画面例について、図１４を参照して説明する。

図１４は、動画のビューアの表示領域ＶＩＷと各画像処理メニューの表示領域ＭＮＵ１，ＭＮＵ２，ＭＮＵ３とが同一画面ＷＤ８上に表示され、かつ空間階調補正、複数枚合成ＮＲ及び降雪降雨除去の各画像処理後の動画の表示例を示す図である。図１４では、ユーザの操作により、空間階調補正のメニューバーＭＮＵ１、複数枚合成ＮＲのメニューバーＭＮＵ２、及び降雪降雨除去のメニューバーＭＮＵ３がそれぞれカーソルＣＳＲ１により押下されたことで、画像処理装置１によりそれぞれのメニューバーに対応する画像処理が施された動画の画像データが表示領域ＶＩＷに表示されている。つまり、本実施形態の画像処理装置１は、図７〜図１３を参照して説明した単一の画像処理（例えば空間階調補正）に限定されず、動画の画像データを表示領域ＶＩＷに表示しながら、ユーザの簡易な操作に応じて複数の画像処理を実行でき、複数の画像処理結果をユーザに対して直感的かつ視覚的に示すことができる。

なお、複数枚合成ＮＲとは、入力されたフレーム（現在フレーム）の画像のコントラストと予め設定された動き検出レベルとに応じて、現在フレームと直前に入力されたフレーム（直前フレーム）の各画像の合成比率を算出し、更に合成比率に応じて画像を合成することで、現在フレームの画像に現れるノイズ成分を軽減するための画像処理である。また、降雪降雨除去とは、入力されたフレームの画像中の動領域（つまり、動きのある領域）が、降雪又は降雨を除去するための補正パラメータに応じた指定サイズ以上であるか否かに応じて、フィルタ処理後の画像又は現在フレームの画像における対応位置の画像を動領域の画像として用いる画像処理である。

また図１４において、図１０と同様に、ユーザの操作によって、図９に示すマーカＤＴ１に対応する空間階調補正のメニューバーＭＮＵ１、複数枚合成ＮＲのメニューバーＭＮＵ２、及び降雪降雨除去のメニューバーＭＮＵ３の各マーカがカーソルＣＳＲ１により押下されると、画像処理装置１の制御部１１は、空間階調補正、複数枚合成ＮＲ、及び降雪降雨除去に関するそれぞれの複数の入力パラメータを設定させるための詳細な操作画面の表示領域ＭＮＵ１Ｄ等を展開して画面上に表示する。なお、複数枚合成ＮＲ、及び降雪降雨除去に関するそれぞれの複数の入力パラメータを設定させるための詳細な操作画面の表示領域の図示は省略している。例えば、ユーザの操作によって、複数枚合成ＮＲでは、入力フレームの画像と前フレームの画像とを合成してノイズを低減するための程度を指定するパラメータ（つまり、ＮＲレベル）、上述した予め設定された動き検出レベル、例えば画像処理装置１がカメラである場合のカメラの検出精度及び検出範囲を指定させるためのパラメータ（つまり、検出精度、検出範囲）が、それぞれ入力又は指定される。また、降雪降雨除去では、降雪又は降雨を除去するための補正パラメータ（つまり、補正強度）が入力又は指定される。

これにより、画像処理装置１は、表示領域ＶＩＷに表示された動画の画像データを再生した状態で、ユーザの簡単な操作（つまり、複数の画像処理に関するメニューバーＭＮＵ１，ＭＮＵ２，ＭＮＵ３の押下の有無）により、表示領域ＭＮＵ１，ＭＮＵ２，ＭＮＵ３の押下操作に対応した画像処理を的確に実行でき又はその実行を中断でき、画像処理前後の処理結果をユーザに対して簡単に確認させることができる。また、画像処理装置１は、複数の画像処理における各パラメータを設定するための詳細な操作画面の表示領域（例えば表示領域ＭＮＵ１Ｄ）に表示されたいずれかのパラメータの変更操作に応じた画像処理を的確に実行でき又はその実行を中断でき、画像処理前後の処理結果をユーザに対して簡単に確認させることができる。

以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

例えば、本実施形態では、入力画像全体に対して適用されるトーンカーブ（階調変換カーブ）を生成したが、ユーザが入力画像データに含まれる所望の処理領域を指定し、この指定された処理領域に対するトーンカーブを生成し、この処理領域だけで階調補正処理を行うようにしても良い。これにより、入力画像に含まれる一部の領域だけの階調補正処理が可能となる。

また、本実施形態では、ユーザがＧＵＩ２０を介して入力パラメータの変更操作を行うことで階調補正処理が行われる場合を示したが、ユーザが変更操作することなく、階調補正処理が行われようにしてもよい。例えば、階調補正部１５内の階調変換処理部４３がヒストグラム（局所ヒストグラムを含む）の特徴を判断してパラメータ変換部４１に通知し、パラメータ変換部４１がヒストグラム（局所ヒストグラムを含む）の形状に応じた補正方式を選択するようにしても良い。

本発明は、階調補正処理に習熟したユーザでなくても、簡易かつ効率的に階調補正処理を行う画像処理装置及び画像処理方法として有用である。

１ 画像処理装置
１１ 制御部
１２ 操作入力部
１３ 表示部
１４ 表示制御部
１５ 階調補正部
１６ 入力画像記憶部
１７ 出力画像記憶部
２０ ＧＵＩ
２１ プルダウンメニュー
２２、２３、２４、２５ スライドバー
２２ａ、２３ａ、２４ａ、２５ａ スライダ
２６、２７、２８、２９ 数値表示部
４１ パラメータ変換部
４３ 階調変換処理部
ＷＤ１、ＷＤ２、ＷＤ３、ＷＤ４、ＷＤ５、ＷＤ６、ＷＤ７、ＷＤ８ 画面

Claims (5)

1. 画像データを有する画像処理装置であって、
   階調補正処理に関する第１の入力パラメータの操作画面を表示する表示部と、
   前記操作画面に対する前記第１の入力パラメータの変更操作に応じて、変更後の前記第１の入力パラメータを、前記階調補正処理に関する第２の入力パラメータに変換する変換部と、
   前記第２の入力パラメータを用いて、前記画像データを階調補正処理する画像処理部と、を備える、
   画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記表示部は、前記画像データと前記第１の入力パラメータの操作画面を含む前記階調補正処理のメニュー画面とを同一画面上に表示する、
   画像処理装置。
3. 請求項１に記載の画像処理装置であって、
   前記表示部は、前記画像データと前記第１の入力パラメータの操作画面を含む前記階調補正処理を有する複数の画像処理のメニュー画面とを同一画面上に表示する、
   画像処理装置。
4. 請求項２又は３に記載の画像処理装置であって、
   前記画像処理部は、
   前記階調補正処理のメニュー画面に対する前記第１の入力パラメータの変更操作に応じて、前記変換部により生成された前記第２の入力パラメータを用いて、前記画像データを階調補正処理する、
   画像処理装置。
5. 画像データを有する画像処理装置における画像処理方法であって、
   階調補正処理に関する第１の入力パラメータの操作画面を表示するステップと、
   前記操作画面に対する前記第１の入力パラメータの変更操作を受け付けるステップと、
   前記第１の入力パラメータの変更操作に応じて、変更後の前記第１の入力パラメータを、前記階調補正処理に関する第２の入力パラメータに変換するステップと、
   前記第２の入力パラメータを用いて、前記画像データを階調補正処理するステップと、を有する、
   画像処理方法。

Images