JP2005267452A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

Abstract

【課題】同一のフレームデータに対して複数の段階に分けて階調値のヒストグラムを作成することで、ヒストグラム作成に使用するメモリを削減することが可能な画像処理装置を提供する。
【解決手段】画像処理装置は、フレームデータを読み出すごとに、読み出したフレームデータに対して階調値の頻度分布を示すヒストグラムを作成するヒストグラム作成手段を有する。ヒストグラム作成手段は、所定の階調数ごとに頻度をカウントしてヒストグラムを作成し、作成されたヒストグラムから有効な階調範囲を決定する。また、ヒストグラム作成手段は、複数回読み出された同一のフレームデータに対して複数回に分けて前記ヒストグラムを作成する。このとき、ヒストグラム作成手段は、前回読み出されたフレームデータにおいて決定された有効な階調範囲のみに対してヒストグラムを作成する。これにより、ヒストグラムの作成のためのメモリを削減することができる。
【選択図】図１

Description

本発明は、階調値のヒストグラムなどを用いて画像処理を行う画像処理装置に関する。

画像データの階調値の頻度分布（ヒストグラム）を作成し、これに基づいて当該画像データの処理を行う方法が知られている。例えば、特許文献１には、画像データの階調値のヒストグラムを作成し、作成されたヒストグラムから有効な範囲を規定する最小階調値と最大階調値（以下、これらの階調値を「特定階調値」と呼ぶ）を求め、この特定階調値を用いて階調値のダイナミックレンジを広げる画像処理方法が記載されている。その他に、特許文献２及び特許文献３にも、上記と同様なヒストグラムを用いた画像処理方法などが記載されている。

しかしながら、前述したような開示技術では、１階調毎にヒストグラムを作成するため、ヒストグラムの作成時に大きなメモリサイズを要していた。さらに、表示フレーム毎にヒストグラムを作成しており、例えば映像ソースが３０fpsである動画を６０fpsで表示する場合、ヒストグラムを同一の画像（同一の画像を２回用いて２倍のフレームレートにするため）に対しても作成してしまう場合があった。以上のような理由から、上記のような開示技術では、ヒストグラム作成のために比較的大きな記憶容量を有するメモリを画像処理装置に設ける必要があり、メモリコストがかかるという問題があった。

特開平８−３１７２５０号公報 特開平１０−１９８８０２号公報 特許３４５６０３２号公報

本発明は以上の点に鑑みてなされたものであり、同一のフレームデータに対して複数の段階に分けて階調値のヒストグラムを作成することで、ヒストグラム作成に使用するメモリを削減することが可能な画像処理装置を提供することを課題とする。

本発明の１つの観点では、画像処理装置は、取得したフレームデータの所定階調数をグループにして頻度分布を示すヒストグラムを作成し、前記作成されたヒストグラムに基づいて有効な階調範囲を決定するヒストグラム作成手段を有し、前記ヒストグラム作成手段は、複数回取得したフレームデータに対して複数回に分けて前記ヒストグラムを作成し、前回のヒストグラム作成において決定された前記有効な階調範囲のみに対してヒストグラムを作成する。

上記の処理装置は、フレームデータを取得するごとに、取得したフレームデータに対して階調値の頻度分布を示すヒストグラムを作成するヒストグラム作成手段を有する。ヒストグラム作成手段は、所定の階調ごとに頻度をカウントしてヒストグラムを作成し、作成されたヒストグラムから有効な階調範囲を決定する。また、ヒストグラム作成手段は、複数回取得したフレームデータに対して複数回に分けて前記ヒストグラムを作成する。このとき、ヒストグラム作成手段は、前回ヒストグラム作成時に決定された有効な階調範囲のみに対してヒストグラムを作成する。即ち、ヒストグラム作成手段は、複数の段階に分けてヒストグラムを作成する。これにより、画像処理装置は、ヒストグラムの作成のためのメモリを削減することができる。

本発明の一態様では、画像処理装置は前記有効な階調範囲は、小さい階調値から順に作成されたヒストグラムにおいて第１の所定値を越えた最小の階調数のグループ、又は大きい階調値から順に作成されたヒストグラムにおいて第２の所定値を越えた最大の階調数のグループであり、前記ヒストグラム作成手段は、前回のヒストグラム作成において決定された前記最小の階調数のグループ、又は前記最大の階調数のグループのみに対してヒストグラムを作成する。この態様では、ヒストグラム作成手段は、第１の所定値又は第２の所定値を閾値として用いて有効な階調範囲を決定する。そして、ヒストグラム作成手段は、これらの閾値を超えた最小の階調数のグループ又は最大の階調数のグループに対してのみ、ヒストグラムを作成していく。これにより、画像処理装置は、取得したフレームデータの有効な階調範囲を規定する階調値を精度良く決定することができる。

本発明の他の一態様では、画像処理装置は、前記ヒストグラム作成手段は、ｎ回に分けて前記ヒストグラムを作成し、前記所定階調数を、前記取得したフレームデータの階調数のｎ乗根に基づいて定める。これにより、１階調数ごとにヒストグラムを作成する場合に要するメモリ量よりも、フレームデータが有する階調数のｎ乗根のオーダーでヒストグラムの作成のためのメモリ量が削減される。

本発明の他の一態様では、処理すべきフレームデータを記憶する記憶手段と、前記記憶したフレームデータを読み出す読み出し手段と、を備え、前記ヒストグラム作成手段は、複数回読み出された同一のフレームデータに対して複数回に分けて前記ヒストグラムを作成する。この態様では、ヒストグラム作成手段は、記憶手段に記憶されたフレームデータを複数回読み出す。即ち、ヒストグラム作成手段は同一のフレームデータを複数回読み出し、これに対して複数の段階に分けてヒストグラムを作成する。これにより、同一のフレームデータに対して同一のヒストグラムを作成する処理を繰り返さないので、画像処理装置は、ヒストグラムの作成のためのメモリを削減することができる。

本発明の他の一態様では、画像処理装置は、前記ヒストグラム作成手段は、前記記憶手段が記憶した隣接するフレームデータが近似している場合には、同一のフレームデータが読み出される回数よりも少ない回数にて前記ヒストグラムを作成する。１回目のヒストグラム作成で求まった階調グループの中に前回の特定階調値が含まれている場合など、隣り合うフレームデータが近似している場合には、１回のみヒストグラムを作成して画像処理を行う。このような場合は、前回のフレームデータから決定された特定階調値が次に処理するフレームデータの特定階調値と近いため、複数回、ヒストグラムを作成して正確な特定階調値を決定する必要はない。これにより、処理を行う回路が２回目のヒストグラムを作成しなくてよいため、消費電力を削減することができる。また、上記の処理をソフトウェアで行う場合には、処理時間を短縮することができる。

本発明の別の一態様によれば、画像処理装置は、前記ヒストグラム作成手段は、前記フレームデータの記憶及び読み出しが所定条件を満たした場合には、同一のフレームデータが読み出される回数よりも少ない回数にて前記ヒストグラムを作成する。所定条件としては、フレームデータの書き込みがフレーム同期信号と完全に同期していない場合などがある。このような場合には、ヒストグラム作成手段は、途中まで作成したヒストグラムから有効な階調範囲を決定する。これにより、ヒストグラムから決定された有効な階調範囲を用いる階調補正などを行っても、その後表示される画像に大きな乱れは生じない。

上記の画像処理装置の好適な実施例では、前記ヒストグラム作成手段は、２回に分けて前記ヒストグラムを作成し、１回目は、前記読み出された２５６階調のフレームデータに対して１６階調数をグループにしてヒストグラムを作成し、２回目は１階調数をグループにしてヒストグラムを作成する。

本発明の他の観点では、画像処理プログラムは、コンピュータ上で実行されることにより、取得したフレームデータの所定階調数をグループにして頻度分布を示すヒストグラムを作成し、前記作成されたヒストグラムに基づいて有効な階調範囲を決定するヒストグラム作成手段を有し、前記ヒストグラム作成手段は、複数回取得したフレームデータに対して複数回に分けて前記ヒストグラムを作成し、前回のヒストグラム作成において決定された前記有効な階調範囲のみに対してヒストグラムを作成する。この画像処理プログラムをコンピュータ上で実行することにより、上記の画像処理装置と同様に、ヒストグラムの作成のためのメモリを削減することができる。

本発明のさらに他の観点では、画像処理方法は、取得したフレームデータの所定階調数をグループにして頻度分布を示すヒストグラムを作成し、前記作成されたヒストグラムに基づいて有効な階調範囲を決定するヒストグラム作成工程を有し、前記ヒストグラム作成工程は、複数回取得したフレームデータに対して複数回に分けて前記ヒストグラムを作成し、前回のヒストグラム作成において決定された前記有効な階調範囲のみに対してヒストグラムを作成する。この画像処理方法によっても、上記の画像処理装置と同様に、前述の画像処理装置を実現することができる。

以下、図面を参照して本発明の好適な実施形態について説明する。

［画像表示装置の構成］
本発明の実施形態に係る画像処理部を含む画像表示装置について、図１を用いて説明する。図１には、本発明の実施形態に係る画像表示装置２０の概略構成を示す。

画像表示装置２０は、画像生成部１と、画像処理部２と、画像表示部３とから構成される。画像表示装置２０では、画像生成部１で生成された画像を画像処理部２にて適切に画像処理し、画像処理された画像が画像表示部３に表示される。

画像生成部１は、図示しないＣＰＵ、ＲＡＭ、ＲＯＭ、描画装置、ディスクドライブ装置、制御ソフトウェアなどを備えて構成される。画像生成部１は、生成した画像に対応する信号Ｓ１を画像処理部２に供給する。なお、画像表示装置２０においては、表示すべき画像を生成する画像生成部１を備えずに、処理又は表示すべき画像を外部より取得する受信装置などを備える構成をとってもよい。

画像処理部２は、フレームメモリ１１と、ヒストグラム作成部１２と、階調値探索部１３と、階調補正部１４とを備える。画像処理部２は、前述した画像処理装置として機能する。なお、図１に示す画像処理部２は、本実施形態に係るヒストグラム作成を行うための処理部のみを備える構成をとっているが、画像処理部２はその他の画像処理を行うことが可能な処理部も備えることができる。

フレームメモリ１１は、画像生成部１から出力される信号Ｓ１を取得して、フレームデータが書き込まれる。フレームメモリ１１に書き込まれたフレームデータＳ２は、ヒストグラム作成部１２と階調補正部１４に読み出される。フレームメモリ１１は、前述のフレームデータを記憶する記憶手段として機能する。なお、フレームメモリ１１におけるフレームデータの書き込みと読み出しが追い越したり追い越されたりして表示される画像が乱れてしまうこと（即ち、「ティアリング」）を防ぐため、フレームメモリ１１への書き込みを読み出しよりも速いタイミング及び速度で行うものとする。

ヒストグラム作成部１２は、フレームメモリ１１に記憶されたフレームデータＳ２を読み出して、このフレームデータＳ２に対して階調値とその頻度の関係を示すヒストグラム（頻度分布）を作成する。このとき、ヒストグラム作成部１２は、画像生成部１からヒストグラムの作成処理に関するタイミングに対応する信号Ｓ６を取得し、このタイミング信号Ｓ６に基づいてヒストグラムを作成する。なお、ヒストグラム作成部１２における本実施形態に係るヒストグラム作成処理は、詳細は後述する。

階調値探索部１３は、上記のヒストグラム作成部１２が作成したヒストグラムに対応する信号Ｓ３を取得する。階調値探索部１３は、その信号Ｓ３から特定階調値を決定する。そして、階調値探索部１３は決定した特定階調値に対応する信号Ｓ４を階調補正部１４に供給する。以上のようにヒストグラム作成部１２及び階調値探索部１３は、前述したヒストグラム作成手段として機能する。

ここで、図２を用いて上記の特定階調値について説明する。図２には、一般的に行われている方法にて作成された階調値のヒストグラムの例を示す。この例では、ヒストグラム作成部１２が２５６階調のフレームデータを取得し、このようなデータに対して処理を行うものとする。図２においては、横軸には階調数の範囲を示し、縦軸にはその範囲にある階調数の頻度（例えば、画素数）を示す。この場合は、１階調ごとに累積の頻度が求められる。１階調ごとに累積の頻度を求めるとは、各階調値毎に、その階調値を有する画素数をカウントし、累積してヒストグラムを作成することをいう。よって、ヒストグラム作成部１２は、最大で２５６階調分の頻度を求める必要がある。更に、図２では、紙面左に階調値０から順に作成されたヒストグラムを示し、紙面右に階調値２５５から順に作成されたヒストグラムを示す。なお、以下の説明において、「階調値０から順に作成されたヒストグラム」とは、階調値０から、階調値が増加する方向へ作成された累積ヒストグラムを意味する。同様に、「階調値２５５から順位作成されたヒストグラム」とは階調値２５５から、階調値が減少する方向へ作成された累積ヒストグラムを意味する。

特定階調値とは、上記のように作成されたヒストグラムにおいて頻度が所定値（閾値）を超える最大の階調値又は最小の階調値である。具体的には、階調値０から順に作成されたヒストグラムにおいて、閾値Ｍ１を超える最小の階調値Ｐ１が特定階調値に当たる。また、階調値２５５から順に作成されたヒストグラムにおいて、閾値Ｍ２を超える最大の階調値Ｐ２が特定階調値に当たる。

こうして階調値探索部１３にて決定された特定階調値は、階調補正部１４に供給される。階調補正部１４は、階調値探索部１３が決定した特定階調値に対応する信号Ｓ４と、フレームメモリに記憶されたフレームデータＳ２を取得する。そして、階調補正部１４は、フレームデータを特定階調値に基づいて階調補正を行う。これによって、階調値のダイナミックレンジを有効に利用した画像が作成される。

階調補正部１４が行う具体的な階調補正について、図３を用いて説明する。図３の横軸には入力階調を示し、縦軸に階調補正された出力階調を示す。入力階調と出力階調は、直線Ａ１で示すような関係を有する。直線Ａ１は、階調値探索部１３にて決定された最小階調値Ｐ１と最大階調値Ｐ２を用いて規定されている。直線Ａ１を用いる階調補正は、入力階調値が最小階調値Ｐ１以下の場合は階調値０に変換し、入力階調値が最大階調値Ｐ２以上の場合は階調値２５５に変換する。また、入力階調値が最小階調値Ｐ１より大きく最大階調値Ｐ２より小さい場合（Ｑで示す範囲にある場合）は、階調値０から２５５の間の値をとるように変換する。以上のように、階調補正部１４は、最小階調値Ｐ１以下又は最大階調値Ｐ２以上の階調値はつぶし、最小階調値Ｐ１より大きく最大階調値Ｐ２より小さい範囲にある階調値を精細に表現するように補正変換を行う。

図１に戻って、画像表示部３について説明する。画像表示部３は、例えばＬＣＤ（Liquid Crystal Display）やＯＬＥＤ（Organic Light Emitting Diode）などの表示デバイスを備え、画像処理部２での処理後の画像データＳ５を表示する。また、画像表示部３は、取得した画像データＳ５を更に画像処理することもできる。

図４は、上記した処理部における信号及び処理の流れの具体例を示すタイムチャートである。図４に示す例では、画像表示部２０は、映像ソースのレートの２倍のレートで画像表示部２０に表示させるものについて示している。例えば、画像表示部２０は、映像ソースが３０fpsであるフレームデータを６０fpsで画像表示部２０に表示させる。この場合、フレーム同期信号Ｓ１０のひとつおきにフレームデータＳ１を送信し、フレームメモリ１１にそのフレームデータＳ１が書き込まれる。

フレームメモリ１１に書き込まれたフレームデータＳ１は、フレーム同期信号Ｓ１０に同期してヒストグラム作成部１２に読み出される。図４に示すように、ヒストグラム作成部１２は、同一のフレームデータを２回読み出す。例えば、フレーム＃０及びフレーム＃１がフレームメモリ１１に書き込まれるのは１度であるが、ヒストグラム作成部１２はそのデータを２度読み出す。ヒストグラム作成部１２は、読み出された同一のフレームデータに対して２回に分けてヒストグラムを作成する。この場合、ヒストグラム作成部１２は、１回目にフレームデータを読み出したときは、粗く設定した階調範囲にてヒストグラムを作成し、特定階調値が含まれる階調値のグループを大まかに決定する。そして、ヒストグラム作成部１２は、２回目にフレームデータを読み出したときは、１回目に決定した特定階調値が含まれるグループのみに対して細かい階調範囲にてヒストグラムを作成する。即ち、ヒストグラム作成部１２は、２回に渡るヒストグラム作成処理にて特定階調値が決定されるようにする。よって、ヒストグラム作成部１２は、読み出した同一のフレームデータに対して同一のヒストグラムを作成しない。

上記のように２回目に作成されたヒストグラムに対応する信号Ｓ３は、階調値探索部１３に供給される。階調値探索部１３は、取得した２回目に作成されたヒストグラムから特定階調値を決定する。この決定された特定階調値に対応する信号Ｓ４は、階調補正部１４に供給される。そして、階調補正部１４は、フレームメモリ１１に記憶されたフレームデータＳ１を取得し、特定階調値を用いて階調補正する。そして、階調補正されたフレームデータに対応する信号Ｓ５は、画像表示部３に供給されて表示される。

［ヒストグラム作成方法］
次に、本発明の実施形態に係るヒストグラム作成方法について説明する。本実施形態に係るヒストグラム作成方法は、前述したようにフレームデータが書き込まれるレートよりもフレームデータを読み出すレートの方が大きい場合、即ち同一のフレームデータを複数回読み出して表示する場合に行われる。なお、以下では、２回に分けてヒストグラムを作成するヒストグラム作成方法を例に挙げて説明していく。

図５に、本実施形態に係るヒストグラム作成方法にて作成したヒストグラムの具体例を示す。この例では、ヒストグラム作成部１２が２５６階調のフレームデータを取得し、これに対して処理を行うものとする。図５は、上記した図２と同様に、横軸には階調値の範囲を示し、縦軸にはその範囲にある階調値の頻度（例えば、画素数）を示す。図５では、紙面左に階調値０から順に作成されたヒストグラムを示し、紙面右に階調値２５５から順に作成されたヒストグラムを示す。更に、図５（ａ）は、１回目に作成されたヒストグラムを示し、図５（ｂ）は２回目に作成されたヒストグラムを示す。

まず、１回目に作成するヒストグラム等について示した図５（ａ）を説明する。図５（ａ）に示すように、ヒストグラム作成部１２は、１階調ごとにではなく１６階調ごとに、階調値の累積頻度を求めている。例えば、ヒストグラム作成部１２は、０階調から１５階調の範囲、０階調から３１階調の範囲、という具合に、１６階調からなる範囲毎階調値の頻度を求める。よって、ヒストグラム作成部１２は、最大でも１６のグループに対してのみ頻度を求めればよい。なお、ヒストグラムを作成する際の１６階調という数は、入力される２５６階調の平方根に相当する。

次に、ヒストグラム作成部１２は、階調値０から１６階調ごとの１６個のグループ単位で作成されたヒストグラムを用いて、閾値Ｍ１を超える最小の階調値のグループ（以下、「最小階調グループ」と呼ぶ）、及び、閾値Ｍ２を超える最大の階調値のグループ（以下、「最大階調グループ」と呼ぶ）を決定する。図５（ａ）に示す例の場合、最小階調グループは「６４〜７９」のグループであり、最大階調グループは「１６０〜１７５」のグループである。このようにして、１回目のヒストグラム作成によって特定階調値を含む階調値のグループが決定される。なお、１回目のヒストグラム作成時の最小階調グループ及び最小階調グループの決定を、階調値探索部１３が行ってもよい。

図５（ｂ）を用いて、２回目のヒストグラム作成について説明する。図５（ｂ）に示すように、２回目のヒストグラムは、最小階調グループは「６４〜７９」の各階調値に対して、最大階調グループは「１６０〜１７５」の各階調値に対してのみ作成される。この場合、ヒストグラム作成部１２は、１階調ごとに頻度を求めている。よって、ヒストグラム作成部１２は、最大で１６階調分の頻度を求めることになる。階調値探索部１３は、こうして作成された６４〜７９の最小階調グループに対して作成されたヒストグラムを用いて、閾値Ｍ１を超える最小階調値を決定する。この場合、最小階調値は７２になる。また、階調値探索部１３は、１６０〜１７５の最大階調グループに対して作成されたヒストグラムを用いて、閾値Ｍ２を超える最大階調値を決定する。この場合、最大階調値は１６９になる。このように決定された最小階調値と最大階調値が、特定階調値に当たる。

以上のように、本実施形態に係るヒストグラム作成方法では、同一のフレームデータを複数回表示する場合などに、複数回に分けてヒストグラムを作成して特定階調値を決定する。ここで、本実施形態に係るヒストグラム作成方法による効果について説明する。まず、ヒストグラム作成部１２では、頻度を算出すべき１つの階調グループに対して、それに対応する頻度値を保持するためのメモリを確保する必要がある。そのため、頻度を算出すべき階調グループの数に応じて確保すべきメモリ量が増えることになる。例えば、頻度を算出すべき１つの階調グループに対して６ビットのメモリを確保するとき、一般的に行われるヒストグラム作成方法では１階調毎に頻度を求めるので、最大で６×２５６ビットのメモリが使用されることになる。一方、本実施形態に係るヒストグラム作成方法では１６階調毎に頻度を求めているので、１つの階調グループに対して６ビットのメモリを確保すると、最大で６×１６ビットのメモリが使用されることになる。よって、本実施形態に係るヒストグラム作成方法を一般的な方法と比較すると、２５６階調の平方根のオーダーでメモリ量が削減されていることがわかる。このように、本実施形態に係るヒストグラム作成方法では、複数回に分けてヒストグラムを作成しているのでヒストグラム作成に要するメモリ量が少なくてよい。したがって、画像処理部２におけるメモリコストを削減することができる。

なお、本実施形態に係るヒストグラム作成方法は、フレームデータの書き込みがフレーム同期信号Ｓ１０と完全に同期していない場合にも対処することができる。以下では、その対処方法などについて図６を用いて説明する。

図６は、ヒストグラムの作成方法及び階調補正に用いるヒストグラムについて、フレームデータが書き込まれる時期によって場合分けしたものを示す。図６は、横軸には時間を表し、上段にフレーム同期信号Ｓ１０を表し、中段に示すＣ１の領域はフレームデータの書き込み開始位置と書き込み終了位置を表し、下段に示すＣ３の領域はフレームメモリ１１からフレームデータを読み出してヒストグラムを作成する処理の開始位置と終了位置を表している。なお、以下で説明する処理は、ヒストグラム作成部１２及び階調値探索部１３が、フレームメモリ１１の書き込みアドレスと読み出しアドレスを観測することにより行うものとする。即ち、書込みおよび読み出しの開始から終了までの間ずっと、アドレスを観測し続ける。

図６（ａ）には、２回目のヒストグラムの作成処理の途中に次のフレームデータが書き込まれた場合について示す。矢印Ｂ１はフレームデータ＃１の書き込み開始位置を示し、矢印Ｂ２はフレームデータ＃２の書き込み開始位置を示す。図６（ａ）より、本来は矢印Ｂ２２で示す位置からフレームデータ＃２が書き込まれるはずであったものが、矢印Ｂ２で示す位置から書き込まれていることがわかる。この場合、フレームデータ＃１の書き込みは、フレームデータ＃０に対する２回目のヒストグラム作成処理を追い越していない。よって、フレームデータ＃０から求められた２回目のヒストグラムに基づいて、フレームデータ＃１は階調補正される。

図６（ｂ）は、２回目のヒストグラムの作成処理の途中に次のフレームデータが追い越した場合を示す。図６（ｂ）より、フレームデータ＃０に対する２回目のヒストグラム作成処理の途中にフレームデータ＃１の書き込みが開始し、破線Ｂ３の位置で追い越しが生じていることがわかる。即ち、ヒストグラム作成部１２では、２回目のヒストグラム作成処理の途中に、フレームメモリ１１より読み出すフレームデータがフレームデータ＃０からフレームデータ＃１に変わっている。よって、ヒストグラム作成部１２が作成した２回目のヒストグラムは、フレームデータ＃０とフレームデータ＃１が混在したものとなる。

上記の場合、２回目に作成されたヒストグラムが１回目に作成されたヒストグラムの結果とずれる場合がある。例えば、１回目に作成されたヒストグラムにおいて最小階調グループが６４〜７９であったとき、２回目に作成されたヒストグラムでは階調値６４における頻度値が閾値を大きく超えている場合や、階調値７９での頻度値が閾値に届かないといった場合がある。このような場合、階調値探索部１３は、２回目に作成されたヒストグラムの両端にある階調値（例えば、６４、或いは７９）を特定階調値として用いる。このような処理は、次のフレームデータの特徴に近づかせる方向の変化となるため、問題はない。

図６（ｃ）は、１回目のヒストグラムの作成処理の途中に次のフレームデータが書き込まれた場合について示す。図６（ｃ）より、フレームデータ＃０に対する１回目のヒストグラム作成処理の途中に、フレームデータ＃１の書き込みが開始していることがわかる。よって、次のフレームデータ＃１は、フレームデータ＃０に対する１回目のヒストグラムのみに基づいて階調補正される。この場合、階調値探索部１３は、特定階調値として、１回目のヒストグラムから求まった最小階調グループ及び最大階調グループから、前回の階調補正時に用いた特定階調値に最も近い値を選択するものとする。

図６（ｄ）は、１回目のヒストグラムの作成処理の途中に次のフレームデータが追い越した場合を示す。図６（ｄ）より、フレームデータ＃０に対する１回目のヒストグラム作成処理の途中にフレームデータ＃１の書き込みが開始し、破線Ｂ４の位置で追い越しが生じていることがわかる。よって、ヒストグラム作成部１２は、フレームデータ＃０とフレームデータ＃１が混在した１回目のヒストグラムを作成する。そして、前述と同様の方法で、階調値探索部１３は１回のみ作成されたヒストグラムから特定階調値を決定する。

以上のように、フレームデータの書き込みがフレーム同期信号Ｓ１０と完全に同期していない場合にも、本実施形態に係る画像処理部２は即座に対応することができる。よって、ヒストグラム作成部１２及び階調値探索部１３で決定された特定階調値を用いて階調補正されたフレームデータが画像表示部３に表示されても、その表示画像が大きく乱れることはない。

なお、上記したヒストグラムを１回のみ作成して行う画像処理は、フレームデータの書き込みがフレーム同期信号Ｓ１０と同期していない場合以外にも行うことができる。例えば、１回目のヒストグラム作成で求まった階調グループの中に、前回の特定階調値が含まれている場合など、隣り合うフレームデータが近似している場合には、１回のみヒストグラムを作成して画像処理を行う。このような場合は、前回のフレームデータから決定された特定階調値が次に処理するフレームデータの特定階調値と近いため、複数回、ヒストグラムを作成して正確な特定階調値を決定する必要はない。これにより、処理を行う回路が２回目のヒストグラムを作成しなくてよいため、消費電力を削減することができる。また、上記の処理をソフトウェアで行う場合には、処理時間を短縮することができる。

なお、上記では、映像ソースが３０fpsである動画を６０fpsで表示するものを例に挙げて説明したが、これに限定はされない。例えば、映像ソースが６０fpsである動画を６０fpsで表示する場合には、表示のための画像読み出しとは別に、ヒストグラム作成のために１フレーム期間中に２倍の速度で２回画像を読み出してヒストグラムを作成してもよい。

本発明の実施形態に係る画像表示装置の概略構成を示す図である。 階調値のヒストグラムの一例を示す図である。 ヒストグラムを用いた階調補正の一例を示す図である。 本発明の実施形態に係る画像処理部における信号処理の流れを示すタイムチャートである。 本発明の実施形態に係るヒストグラム作成方法について示す図である。 書き込みがフレーム同期信号と完全に同期していない場合の画像処理について示す図である。

符号の説明

１ 画像生成部、 ２ 画像処理部、 ３ 画像表示部、 １１ フレームメモリ、 １２ ヒストグラム作成部、 １３ 階調値探索部、 １４ 階調補正部、 ２０ 画像表示装置

Claims (9)

1. 取得したフレームデータの所定階調数をグループにして頻度分布を示すヒストグラムを作成し、前記作成されたヒストグラムに基づいて有効な階調範囲を決定するヒストグラム作成手段を有し、
   前記ヒストグラム作成手段は、複数回取得したフレームデータに対して複数回に分けて前記ヒストグラムを作成し、前回のヒストグラム作成において決定された前記有効な階調範囲のみに対してヒストグラムを作成することを特徴とする画像処理装置。
2. 前記有効な階調範囲は、小さい階調値から順に作成されたヒストグラムにおいて第１の所定値を越えた最小の階調数のグループ、又は大きい階調値から順に作成されたヒストグラムにおいて第２の所定値を越えた最大の階調数のグループであり、
   前記ヒストグラム作成手段は、前回のヒストグラム作成において決定された前記最小の階調数のグループ、又は前記最大の階調数のグループのみに対してヒストグラムを作成することを特徴とする請求項１に記載の画像処理装置。
3. 前記ヒストグラム作成手段は、ｎ回に分けて前記ヒストグラムを作成し、前記所定階調数を、前記取得したフレームデータの階調数のｎ乗根に基づいて定めることを特徴とする請求項１又は２に記載の画像処理装置。
4. 処理すべきフレームデータを記憶する記憶手段と、
   前記記憶したフレームデータを読み出す読み出し手段と、を備え、
   前記ヒストグラム作成手段は、複数回読み出された同一のフレームデータに対して複数回に分けて前記ヒストグラムを作成することを特徴とする請求項１及至３のいずれか一項に記載の画像処理装置。
5. 前記ヒストグラム作成手段は、前記記憶手段が記憶した隣接するフレームデータが近似している場合には、同一のフレームデータが読み出される回数よりも少ない回数にて前記ヒストグラムを作成することを特徴とする請求項４のいずれか一項に記載の画像処理装置。
6. 前記ヒストグラム作成手段は、前記フレームデータの記憶及び読み出しが所定条件を満たした場合には、同一のフレームデータが読み出される回数よりも少ない回数にて前記ヒストグラムを作成することを特徴とする請求項４のいずれか一項に記載の画像処理装置。
7. 前記ヒストグラム作成手段は、２回に分けて前記ヒストグラムを作成し、
   １回目は、前記読み出された２５６階調のフレームデータに対して１６階調数をグループにしてヒストグラムを作成し、２回目は１階調数をグループにしてヒストグラムを作成することを特徴とする請求項１及至４のいずれか一項に記載の画像処理装置。
8. コンピュータ上で実行されることにより、
   取得したフレームデータの所定階調数をグループにして頻度分布を示すヒストグラムを作成し、前記作成されたヒストグラムに基づいて有効な階調範囲を決定するヒストグラム作成手段を有し、
   前記ヒストグラム作成手段は、複数回取得したフレームデータに対して複数回に分けて前記ヒストグラムを作成し、前回のヒストグラム作成において決定された前記有効な階調範囲のみに対してヒストグラムを作成することを特徴とする画像処理プログラム。
9. 取得したフレームデータの所定階調数をグループにして頻度分布を示すヒストグラムを作成し、前記作成されたヒストグラムに基づいて有効な階調範囲を決定するヒストグラム作成工程を有し、
   前記ヒストグラム作成工程は、複数回取得したフレームデータに対して複数回に分けて前記ヒストグラムを作成し、前回のヒストグラム作成において決定された前記有効な階調範囲のみに対してヒストグラムを作成することを特徴とする画像処理方法。
   

Images