JP2018073320A

JP2018073320A - 画像処理装置、画像処理方法、および画像処理プログラム

Info

Publication number: JP2018073320A
Application number: JP2016215949A
Authority: JP
Inventors: 信克原口; Nobukatsu Haraguchi; 藤田　武志; Takeshi Fujita; 武志藤田
Original assignee: Linkpro; Linkpro Co Ltd
Current assignee: Linkpro; Linkpro Co Ltd
Priority date: 2016-11-04
Filing date: 2016-11-04
Publication date: 2018-05-10
Anticipated expiration: 2036-11-04
Also published as: JP6117982B1

Abstract

【課題】撮影により得られた画像で表される場面を適切に識別すること。【解決手段】一実施形態に係る画像処理装置は集計部および識別部を備える。集計部は、撮影により得られた対象画像の全体から抽出した複数の画素のそれぞれの階調値を取得し、各画素の階調値に基づいて、０から自然数Ｎまでの各階調値に対応する画素数を示すヒストグラムを生成する。識別部は、ヒストグラムの一端への輝度の偏りと、ヒストグラムにおいて画素数が閾値以上の領域である山の分布とのうちの少なくとも一つを判定することで、対象画像で表される場面を識別する。【選択図】図２

Description

本発明の一側面は、撮影により得られた画像で表される場面を識別する画像処理装置、画像処理方法、および画像処理プログラムに関する。

カメラで撮影された画像を見易い画像に変換する鮮明化処理が従来から知られている。例えば、特許文献１は、ハードウェア処理に適すると共に、適切に鮮明化された画像を得ることができる画像処理装置を記載する。この装置は、オペレータ内の階調値のヒストグラムの一端（階調値０または階調値Ｎ）から対象画素の階調値までの各階調値に対応する画素数の加算または減算により新たな階調値を算出し、対象画素の階調値を該新たな階調値に変換する。

特許第５８２６９８０号明細書

画像で表される場面に応じて鮮明化処理のパラメータを調整することで、個々の画像を適切に鮮明化することが可能になる。しかし、そのためには、画像で表される場面を適切に識別することが求められる。この識別処理が実現できれば、鮮明化処理に限らず、様々な画像処理でその識別処理を応用することも可能になる。

そこで、撮影により得られた画像で表される場面を適切に識別することが望まれている。

本発明の一側面に係る画像処理装置は、撮影により得られた対象画像の全体から抽出した複数の画素のそれぞれの階調値を取得し、各画素の階調値に基づいて、０から自然数Ｎまでの各階調値に対応する画素数を示すヒストグラムを生成する集計部と、ヒストグラムの一端への輝度の偏りと、ヒストグラムにおいて画素数が閾値以上の領域である山の分布とのうちの少なくとも一つを判定することで、対象画像で表される場面を識別する識別部とを備える。

本発明の一側面に係る画像処理方法は、画像処理装置により実行される画像処理方法であって、撮影により得られた対象画像の全体から抽出した複数の画素のそれぞれの階調値を取得し、各画素の階調値に基づいて、０から自然数Ｎまでの各階調値に対応する画素数を示すヒストグラムを生成する集計ステップと、ヒストグラムの一端への輝度の偏りと、ヒストグラムにおいて画素数が閾値以上の領域である山の分布とのうちの少なくとも一つを判定することで、対象画像で表される場面を識別する識別ステップとを含む。

本発明の一側面に係る画像処理プログラムは、撮影により得られた対象画像の全体から抽出した複数の画素のそれぞれの階調値を取得し、各画素の階調値に基づいて、０から自然数Ｎまでの各階調値に対応する画素数を示すヒストグラムを生成する集計ステップと、ヒストグラムの一端への輝度の偏りと、ヒストグラムにおいて画素数が閾値以上の領域である山の分布とのうちの少なくとも一つを判定することで、対象画像で表される場面を識別する識別ステップとをコンピュータに実行させる。

このような側面においては、対象画像の全体的な傾向を示すヒストグラムが生成され、このヒストグラムにおける輝度の分布に基づいて、該対象画像で表される場面が識別される。本発明者は、ヒストグラムへの一端への輝度の偏りと、画素数が閾値以上である領域（山）の分布とのうちの少なくとも一つを判定することで、対象画像で表される場面を適切に識別できることを見出した。

本発明の一側面によれば、撮影により得られた画像で表される場面を適切に識別することができる。

実施形態に係る画像処理装置のハードウェア構成を示す図である。実施形態に係る画像処理装置の機能構成を示す図である。対象画像のヒストグラムの例である。対象画像のヒストグラムの例である。対象画像のヒストグラムの例である。対象画像のヒストグラムの例である。対象画像のヒストグラムの例である。対象画像のヒストグラムの例である。ヒストグラムの平滑化を説明する例である。実施形態に係る画像処理装置の動作を示すフローチャートである。被写場面を識別する処理の詳細を示すフローチャートである。実施形態に係る画像処理プログラムを示す図である。

以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。

本発明の一実施形態に係る画像処理装置１０は、画像内の各画素の階調を変換することで、鮮明化されて見易くされた画像を生成する装置である。本明細書では、画像処理装置１０により処理される画像を「対象画像」ともいう。画像処理装置１０の用途は限定されない。例えば、画像処理装置１０はカメラにより撮影された映像の各フレームに対して鮮明化処理を実行することで、各フレームが鮮明化されて見易くなった映像を提供する。鮮明化とは、画像内において階調の偏りによって見えづらくなっている部分を見易くするための画像処理であり、具体的には、画像内の各画素の階調を調整する処理である。ここで、階調とは、色や明るさ（輝度）などの濃淡を段階的に表現した数値である。鮮明化処理により、例えば、元の画像において極端に明るい（あるいは極端に暗い）ため見えづらかった部分が見易くなった画像を得ることが可能となる。

鮮明化は、すべての画像に対して一律に行われるのではなく、画像で表される場面に応じて実行されるのが好ましい。例えば、雪景色を映した画像と夜景を写した画像とでは、鮮明化で用いるパラメータまたは手法を異ならせた方がよい場合がある。画像で表される場面に応じて鮮明化のパラメータまたは手法を変えるには、その場面を識別する必要がある。画像処理装置１０の特徴の一つは、画像（対象画像）で表される場面を識別する機能を有する点にある。

画像は静止画でもよいし動画の個々のフレームでもよいが、いずれにしても、カメラから得られるデータである。画像の被写体は何ら限定されず、例えば、任意の種類の自然物、任意の種類の人工物、またはこれらの任意の組合せであってもよい。画像は、解像度、画素単位での輝度（階調）、階調分解能などの情報を含む。階調分解能とは、階調を段階的に表現するために用意されるビット数である。例えば階調分解能が８ビットである場合には、階調を０から２５５までの２５６段階の階調値で表現することができる。

画像処理装置１０が対象画像を取得する方法は限定されない。例えば、画像処理装置１０はカメラから対象画像を受信してもよいし、画像を記憶する他の装置から画像を受信してもよい。あるいは、画像処理装置１０は画像データベースにアクセスしてそこから画像を読み出してもよい。

「画像で表される場面を識別する」とは、画像がどのような状況を映したものか、撮影がどのような状況で行われたか、または、撮影によりどのような画像が得られたかを判定することである。「画像で表される場面を識別する」とは、被写体が何かを判定することだけを意味するものではない。したがって、「画像で表される場面」とは、画像により表される被写体、または風景を示す概念でもあり得るし、撮影された状況を示す概念でもあり得るし、画像そのものの特徴（例えば白飛びまたは黒潰れの有無）を示す概念でもあり得る。本明細書では、「画像で表される場面」を「被写場面」ともいう。

本実施形態では、画像処理装置１０は被写場面を次の四つのいずれかに分類する。
・悪天候モード：輝度に全体的なまたは局所的な偏りが対象画像に見られる場合
・逆光モード：対象画像に白飛びがある場合
・暗闇モード：対象画像に黒潰れがある場合
・特殊モード：上記３モードのいずれにも該当しない場合
ここで、「悪天候」、「逆光」、「暗闇」、および「特殊」は、被写場面の傾向をわかりやすく表現するために便宜的に用いる用語であり、被写場面そのものを表現するものではない。例えば、悪天候モードと判定された画像が実際には悪天候の場面を映していなかったり、逆光モードと判定された画像が実際には逆光とはいえなかったりする場合があり得る。

本実施形態では、画像処理装置１０は識別された場面に応じて、鮮明化において下記の前処理を実行する。
・悪天候モード：高輝度の階調を重点的に拡張する。
・逆光モード：中輝度から高輝度にかけての階調を積極的に削除し、低輝度の階調を重点的に拡張する。
・暗闇モード：低輝度の階調を重点的に拡張する。
・特殊モード：前処理の効果が期待できないか、または前処理が正常に働かない可能性があるので、前処理を行わない。

図１は、画像処理装置１０のハードウェア構成の一例を示す。この図に示すように、画像処理装置１０は、１以上のＣＰＵ（Central Processing Unit）１０１と、主記憶装置であるＲＡＭ（Random Access Memory）１０２およびＲＯＭ（Read Only Memory）１０３と、キーボードやマウスなどの入力装置１０４と、他の装置とのデータ通信を行うための通信装置１０５と、後述する画像処理の少なくとも一部を実行するための集積回路であるＦＰＧＡ（Field-programmable gate array）１０６と、ディスプレイなどの出力装置１０７とを備える。

後述する画像処理装置１０の各機能的構成要素は、例えば、ＲＡＭ１０２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で入力装置１０４、通信装置１０５、ＦＰＧＡ１０６、および出力装置１０７等を動作させ、ＲＡＭ１０２およびＲＯＭ１０３におけるデータの読み出しおよび書き込みを行うことで実現される。ＦＰＧＡ１０６には後述の画像処理を実行するための回路が予め実装され、これにより、ハードウェアによる画像処理が可能になる。

なお、図１は画像処理装置１０が１台のコンピュータで構成される態様を示すが、画像処理装置１０の機能を複数台のコンピュータに分散させてもよい。また、画像処理装置１０は、画像処理に特化した装置として提供されてもよいし、複数の機能を実行するコンピュータの一機能として組み込まれてもよい。

図２は、画像処理装置１０の機能構成を示す。この図に示すように、画像処理装置１０は機能的構成要素として判定部１１および鮮明化部１２を備える。

判定部１１は、対象画像で表される場面を判定する機能要素である。判定部１１は集計部１１１および識別部１１２を備える。

集計部１１１は、撮影により得られた対象画像のヒストグラムを生成する機能要素である。まず、集計部１１１は入力された対象画像の全体から抽出した複数の画素のそれぞれの階調値を取得する。「対象画像の全体から抽出した複数の画素」とは、対象画像の特定の一部分のみから画素群を抽出するのではなく、対象画像の全域から画素群を抽出することを意味する。厳密にいうと、「対象画像の全体から抽出した複数の画素」とは、対象画像を多数の領域に分割した場合にすべての被分割領域から少なくとも一つの画素を抽出することを意味する。集計部１１１は、対象画像の全画素の階調値を取得してもよいし、対象画像内から一つおきにまたは数個おきに抽出した複数画素の階調値を取得してもよい。あるいは、集計部１１１は対象画像の全体からランダムに複数の階調値を取得してもよい。集計部１１１は識別部１１２での処理に十分な個数の画素の階調値を取得するが、その具体的な個数は任意に設定してよい。

複数の画素の階調値を取得すると、集計部１１１はその複数の階調値（取得した各画素の階調値）に基づいて、０から自然数Ｎまでの各階調値に対応する画素数を示すヒストグラムを生成する。「自然数Ｎ」は、入力画像の階調分解能により定まる最大の階調値である。例えば、入力画像の階調分解能が８ビットである場合には、各画素の階調は０から２５５までの２５６段階で表現されるため、自然数Ｎは２５５となる。本実施形態ではＮ＝２５５とする。集計部１１１は対象画像の全体から画素を抽出するので、そのヒストグラムは対象画像の輝度の全体的な傾向を示す。

図３〜図８は、集計部１１１により生成されるヒストグラムの例を示す。ヒストグラムは、横軸に階調値（輝度）をとり縦軸に画素数をとった棒グラフで視覚化できるが、図３〜図８では、その棒グラフの頂点同士を結んだ線グラフでヒストグラムを表している。図３〜図８において縦軸上の目盛は縦軸を４分割したことを示す。各ヒストグラムにおいて、値（線）Ｌ_ａｖｅは輝度平均を示し、値（線）Ｈ_ａｖｅはヒストグラム平均を示す。なお、図３〜図８は、解像度が１９２０×１０８０である対象画像から得られるヒストグラムの例を示し、縦軸の上限値は１３１０７２である。ヒストグラム平均Ｈ_ａｖｅは（解像度÷階調幅÷２）であり、図３〜図８の例では４０５０である。輝度平均およびヒストグラム平均の詳細は後述する。

各画素の階調値をそのまま用いて生成したヒストグラムでは、局所的に見ると縦軸方向の細かな振れが存在することがあり得、被写場面の識別（分類）がその局所的な情報に左右される可能性がある。このような影響を排除または低減するために、集計部１１１はヒストグラムを平滑にする。この処理は、ヒストグラムで示される波の細かな凸凹を平滑にする処理であり、ローパスフィルタのようなものであるともいえる。図３〜図８において、実線Ｈｒは各画素の階調値をそのまま用いて生成したヒストグラムであり、破線Ｈｓは少なくとも一回の平滑化により生成されたヒストグラムである。

ヒストグラムの平滑化について詳細に説明する。まず、集計部１１１はヒストグラムの横軸方向（階調値が並ぶ方向）に沿って延びる小さな１次元の区間をオペレータとして設定する。本実施形態では、図９に示すように、集計部１１１は連続する７個の階調値に相当する長さのオペレータＯＰを設定するものとする（オペレータＯＰの長さが７であるとする）。しかし、オペレータの長さは限定されず、例えば５、９などでもよい。

また、集計部１１１はそのオペレータの長さに合わせて、ヒストグラムを横軸方向（階調値が並ぶ方向）に拡張する。具体的には、集計部１１１は、ヒストグラムの横軸方向における第１端部（階調値０）に隣接して存在する１以上のデータを、それが該第１端部を対称軸として線対称になるように該第１端部の外側にコピーする。また、集計部１１１は、ヒストグラムの横軸方向における第２端部（階調値Ｎ；本実施形態ではＮ＝２５５）に隣接して存在する１以上のデータを、それが該第２端部を対称軸として線対称になるように該第２端部の外側にコピーする。それぞれの端部でコピーされるデータの区間長Ｌは｛（オペレータの長さ−１）／２｝である。本実施形態ではオペレータの長さが７なので、集計部１１１は第１端部および第２端部のそれぞれにおいて、３階調分のデータをコピーする。具体的には、図９に示すように、階調値０の左側に、左から右に向かって、階調値３、階調値２、および階調値１のデータがそれぞれ階調値−３、階調値−２、および階調値−１としてコピーされる。また、階調値Ｎ＝２５５の右側に、左から右に向かって、階調値２５４、階調値２５３、および階調値２５２のデータがそれぞれ階調値２５６、階調値２５７、および階調値２５８としてコピーされる。このようにヒストグラムを拡張することで、ヒストグラムの両端部のデータが失われることを防止できる。

続いて、集計部１１１は拡張されたヒストグラムの一端から他端にかけてオペレータを１段階ずつずらしながら階調値０〜２５５の各階調値の画素数を調整することで、ヒストグラムを平滑化する。具体的には、集計部１１１はオペレータが位置している７階調における画素数の加算平均を、該オペレータの中心に位置する階調値の画素数として設定する。例えば、階調値０の画素数を調整する場合には、集計部１１１は階調値−３，−２，−１，０，１，２，３の画素数の加算平均を階調値０の画素数として設定する（図９におけるオペレータＯＰ_０を参照）。階調値１の画素数を調整する場合には、集計部１１１は階調値−２，−１，０，１，２，３，４の画素数の加算平均を階調値１の画素数として設定する（図９におけるオペレータＯＰ_１を参照）。階調値１００の画素数を調整する場合には、集計部１１１は階調値９７，９８，９９，１００，１０１，１０２，１０３の画素数の加算平均を階調値１００の画素数として設定する。階調値２５５の画素数を調整する場合には、集計部１１１は階調値２５２，２５３，２５４，２５５，２５６，２５７，２５８の画素数の加算平均を階調値２５５の画素数として設定する（図９におけるオペレータＯＰ_２５５を参照）。

集計部１１１は、上記のヒストグラムの平滑化を複数回繰り返して実行してもよく、例えば２回または３回繰り返してもよい。ヒストグラムの平滑化を再度実行する場合には、集計部１１１はヒストグラムの外側の画素数（本実施形態では階調値−３〜−１および２５６〜２５８に相当する範囲の画素数）を調整後の画素数で更新する。そして、集計部１１１は拡張されたヒストグラムの一端から他端にかけてオペレータを１段階ずつずらしながら階調値０〜２５５の各階調値の画素数を調整する。

集計部１１１は生成または平滑化したヒストグラムを識別部１１２に出力する。ヒストグラムを平滑にする処理は必須ではなく、集計部１１１は初期のヒストグラム（対象画像の全体から抽出した複数の画素の階調値をそのまま用いて生成したヒストグラム）を識別部１１２に出力してもよい。ヒストグラムの平滑化（調整）を行った場合も、集計部１１１は階調値０〜Ｎ（＝２５５）の区間のヒストグラムを出力する。

識別部１１２は、集計部１１１から入力されたヒストグラムを参照して、対象画像で表される場面を識別する機能要素である。上述したように、本実施形態では識別部１１２は対象画像で表される場面が悪天候モード、逆光モード、暗闇モード、および特殊モードのうちのどれに該当するかを判定する。以下に五つの判定処理を示す。

［悪天候モード判定］
悪天候モード判定は、被写場面が悪天候モードであるか否かを判定する処理である。まず、識別部１１２は対象画像の輝度平均をヒストグラムから求める。階調値ｉに対応する輝度および画素数をそれぞれＬ_ｉ、ｎ_ｉとし、対象画像から抽出された画素の総数をＲとすると、輝度平均Ｌ_ａｖｅは式（１）で得られる。本実施形態ではＮ＝２５５である。なお、対象画像から全画素が抽出された場合には、値Ｒは対象画像の解像度に等しい。

続いて、識別部１１２はその輝度平均Ｌ_ａｖｅがヒストグラムの高輝度側（階調値がＮである側）に偏るか否かを判定する。識別部１１２はこの判定のための閾値ＴＨａを用いる。閾値ＴＨａは限定されないが、少なくとも（Ｎ＋１）／２より大きく設定される。例えば、識別部１１２は閾値ＴＨａを（Ｎ＋１）＊０．７５に設定し、この式を用いると本実施形態ではＴＨａ＝１９２である。そして、識別部１１２は輝度平均Ｌ_ａｖｅと閾値ＴＨａとを比較し、Ｌ_ａｖｅ≧ＴＨａであれば被写場面が悪天候モードであると判定し、Ｌ_ａｖｅ＜ＴＨａであれば被写場面が悪天候モードでないと判定する。すなわち、Ｌ_ａｖｅ≧ＴＨａであるということは、輝度平均Ｌ_ａｖｅがヒストグラムの高輝度側に偏っていることを意味する。図３のヒストグラムに関して、例えばＴＨａ＝１９２であれば、識別部１１２は被写場面が悪天候モードであると判定する。

［逆光モード判定］
逆光モード判定は、被写場面が逆光モードであるか否かを判定する処理である。識別部１１２は多くの画素が高輝度側に位置して（張り付いて）いれば被写場面が逆光モードであると判定し、そうでなければ被写場面は逆光モードでないと判定する。この判定のために、識別部１１２は上位ａ階調の画素数の合計ｎ_ｓｕｍが閾値ＴＨｂ以上であるか否かを判定する。値ａは例えば階調値の上位１〜５％に相当する値であってもよく、Ｎ＝２５５である本実施形態では例えばａ＝４であってもよい。本実施形態でａ＝４であれば、識別部１１２は階調値２５２〜２５５に対応する画素の総数を値ｎ_ｓｕｍとして求める。閾値ＴＨｂも限定されないが、例えば識別部１１２はヒストグラム平均を閾値ＴＨｂとして用いる。ヒストグラム平均は、対象画像から抽出された画素の総数Ｒを階調値の個数（Ｎ＋１）で除し、さらにその結果を２で除することで得られる値である。識別部１１２は値ｎ_ｓｕｍと閾値ＴＨｂを比較し、ｎ_ｓｕｍ≧ＴＨｂであれば被写場面が逆光モードであると判定し、ｎ_ｓｕｍ＜ＴＨｂであれば被写場面が逆光モードでないと判定する。すなわち、ｎ_ｓｕｍ≧ＴＨｂであるということは、多くの画素が高輝度側に位置している（張り付いている）ことを意味する。図４のヒストグラムに関して、例えばＴＨｂ＝Ｈ_ａｖｅ＝４０５０であれば、識別部１１２は被写場面が逆光モードであると判定する。

［暗闇モード判定］
暗闇モード判定は、被写場面が暗闇モードであるか否かの判定する処理である。識別部１１２は多くの画素が低輝度側に位置して（張り付いて）いれば被写場面が暗闇モードであると判定し、そうでなければ被写場面は暗闇モードでないと判定する。この判定のために、識別部１１２は下位ｂ階調の画素数の合計ｎ_ｓｕｍが閾値ＴＨｃ以上であるか否かを判定する。値ｂは例えば階調値の下位１〜５％に相当する値であってもよく、Ｎ＝２５５である本実施形態では例えばｂ＝４であってもよい。本実施形態でｂ＝４であれば、識別部１１２は階調値０〜３に対応する画素の総数を値ｎ_ｓｕｍとして求める。閾値ＴＨｃも限定されないが、例えば識別部１１２はヒストグラム平均を閾値ＴＨｃとして用いる。識別部１１２は値ｎ_ｓｕｍと閾値ＴＨｃを比較し、ｎ_ｓｕｍ≧ＴＨｃであれば被写場面が暗闇モードであると判定し、ｎ_ｓｕｍ＜ＴＨｃであれば被写場面が暗闇モードでないと判定する。すなわち、ｎ_ｓｕｍ≧ＴＨｃであるということは、多くの画素が低輝度側に位置している（張り付いている）ことを意味する。図５のヒストグラムに関して、例えばＴＨｃ＝Ｈ_ａｖｅ＝４０５０であれば、識別部１１２は被写場面が暗闇モードであると判定する。

［特殊モード判定］
特殊モード判定は、被写画面が特殊モードか否かを判定する処理である。識別部１１２はヒストグラム内の「山」の個数が所定の閾値ＴＨｄ以上であれば被写場面が特殊モードであると判定し、そうでなければ被写画面は特殊モードでないと判定する。「山」とは、階調値が連続する区間において画素数が所定数ｎ_ｔｈ以上であり続ける部分である。閾値ＴＨｄは限定されないが、例えば、ＴＨｄ＝３であってもよい。値ｎ_ｔｈも限定されないが、例えば識別部１１２はヒストグラム平均を値ｎ_ｔｈとして用いる。まず、識別部１１２は値ｎ_ｔｈを用いてヒストグラム内の山の個数ｎ_ｍｔを特定する。そして、識別部１１２はｎ_ｍｔ≧ＴＨｄであれば被写場面が特殊モードであると判定し、ｎ_ｍｔ＜ＴＨｄであれば被写画面が特殊モードでないと判定する。図６のヒストグラムに関して、例えばｎ_ｔｈ＝Ｈ_ａｖｅ＝４０５０としＴＨｄ＝３とすれば、識別部１１２は被写場面が特殊モードであると判定する。

［悪天候／特殊モード判定］
悪天候／特殊モード判定は、被写場面が悪天候モードと特殊モードとのどちらであるかを判定する処理である。識別部１１２はヒストグラムの横軸方向において「山」が占める割合ｐ_ｍｔが所定の閾値ＴＨｅ未満であれば被写場面が悪天候モードであると判定し、そうでなければ被写画面は特殊モードであると判定する。閾値ＴＨｅは限定されないが、例えば、ＴＨｅ＝０．２５であってもよい。ヒストグラム内の「山」を特定する手法は特殊モード判定と同様である。まず、識別部１１２は上記の値ｎ_ｔｈを用いてヒストグラムの横軸方向における「山」の範囲の割合Ｇ_ｍｔを特定する。そして、識別部１１２はＧ_ｍｔ＜ＴＨｅであれば被写場面が悪天候モードであると判定し、Ｇ_ｍｔ≧ＴＨｅであれば被写画面が特殊モードであると判定する。図７はこの判定処理で悪天候モードと判定されるヒストグラムの一例を示し、図８はこの判定処理で特殊モードと判定されるヒストグラムの一例である。いずれも、ｎ_ｔｈ＝Ｈ_ａｖｅ＝４０５０およびＴＨｅ＝０．２５を前提とする。

悪天候モード判定、逆光モード判定、および暗闇モード判定は、ヒストグラムの一端（階調値が０またはＮの側）への輝度の偏りを判定する手法である。特殊モード判定および悪天候／特殊モード判定は、ヒストグラムにおける、画素数が閾値以上である領域（山）の分布を判定する手法である。悪天候モード判定で判定する山の個数と、悪天候／特殊モード判定で判定する、ヒストグラムの横軸方向における山の範囲とはいずれも、山の分布の例である。

識別部１１２は、これら５種類の判定を用いて、対象画像で表される場面を識別する。５種類の判定をすべて用いることで、対象画像が悪天候モード、逆光モード、暗闇モード、および特殊モードのいずれに該当するかをより適切に識別できる。５種類の判定の実行順序は限定されない。ただし、暗闇モード判定は逆光モード判定よりも後に実行される（逆光モード判定と暗闇モード判定との間に別の判定処理が存在してもよい）。その理由は、白飛びがある画像には黒潰れも存在し得、暗闇モード判定を逆光モード判定よりも先に実行すると、逆光モードと判定されるべき対象画像が暗闇モードと判定され得るからである。

対象画像の場面を識別すると、識別部１１２はその識別結果（悪天候モード、逆光モード、暗闇モード、および特殊モードのいずれか一つを示すデータ）を対象画像と共に鮮明化部１２に出力する。

鮮明化部１２は判定部１１による識別結果に対応した方法で対象画像を鮮明化する機能要素である。鮮明化部１２は前処理部１２１、本処理部１２２、および後処理部１２３を備える。

前処理部１２１は、鮮明化が実行された後の画像を、見た目のメリハリがついた綺麗な画像にするために、対象画像のヒストグラムを変形する機能要素である。本明細書ではこの処理を前処理という。上述したように、具体的な前処理は、識別部１１２から入力される識別結果により異なる。

識別結果が悪天候モードである場合には、前処理部１２１は、０を閾値として、ピクセル数がその閾値以下である階調を不要階調エリアと見なして、この不要階調エリアを対象画像のヒストグラムから削除する（要するに、ピクセル数が０である階調を削除する）。不要階調エリアは、ヒストグラムにおいてレベル（階調に対応する画素数の多さを示す指標）が低く、画像を構成する上で有用な情報が少ないエリアを意味する。ここでの「削除」という用語は、その不要階調エリアが存在しないものと見なすことを意味する。そして、前処理部１２１は、中輝度（階調値＝１２８）の付近に残っている階調（ピクセル数の分布）がその不要階調エリアへと拡張するようにヒストグラムを変形する。

識別結果が暗闇モードである場合には、前処理部１２１はまず、極めて低い輝度に相当する階調が削除されないようにその階調をマスク（保護）する。その上で前処理部１２１は、ヒストグラム平均Ｈ_ａｖｅを閾値として、ピクセル数がその閾値以下である階調を不要階調エリアと見なして、この不要階調エリアを対象画像のヒストグラムから削除する（不要階調エリアが存在しないものと見なす）。そして、前処理部１２１は低輝度（階調値＝０）の側に残っている階調（ピクセル数の分布）がその不要階調エリアへと拡張するようにヒストグラムを変形する。

識別結果が逆光モードである場合には、前処理部１２１はまず、極めて低い輝度に対応する階調と、極めて高い輝度に対応する階調とが削除されないようにこれらの階調をマスク（保護）する。その上で前処理部１２１は、値（Ｈ_ａｖｅ×２）を閾値として、ピクセル数がその閾値以下である階調を不要階調エリアと見なして、この不要階調エリアを対象画像のヒストグラムから削除する（その不要階調エリアが存在しないものと見なす）。そして、前処理部１２１は低輝度（階調値＝０）の側に残っている階調（ピクセル数の分布）がその不要階調エリアへと拡張するようにヒストグラムを変形する。

このように、階調の削除に用いる閾値については、悪天候モード＜暗闇モード＜逆光モードという関係がある。これは、悪天候モードでは弱めの削除が実行され、暗闇モードでは中程度の削除が実行され、逆光モードでは強めの削除が実行されることを意味する。

識別結果が悪天候モード、暗闇モード、または逆光モードである場合には、前処理部１２１はヒストグラムが変形された対象画像を本処理部１２２および後処理部１２３に出力する。

これに対して、識別結果が特殊モードである場合には、前処理部１２１は前処理を実行することなく、対象画像を本処理部１２２および後処理部１２３に出力する。

本処理部１２２は、前処理部１２１から入力された対象画像の各対象画素の階調値を変換する機能要素である。この変換処理の例は特許第５８２６９８０号明細書に記載されているが、以下に、その例の概要を説明する。

本処理部１２２は対象画像内の各画素について以下の処理を実行する。以下では、階調値を変換する対象となる画素を「対象画素」という。

まず、本処理部１２２は対象画素を含む複数の画素から成るオペレータを設定する。オペレータは、典型的には対象画素を中心画素とする矩形領域として設定される。例えば、本処理部１２２は対象画素を中心画素とする１６×１６の２５６画素からなる矩形領域をオペレータとして設定する。ただし、オペレータは、対象画素と対象画素の近傍に存在する複数の画素を含む領域であれば何でもよく、例えば円形などの任意の形状であってもよい。

続いて、本処理部１２２はオペレータ内の各画素の階調値を取得し、各画素の階調値に基づいて、０からＮ（本実施形態ではＮ＝２５５）までの各階調値に対応する画素数を示すヒストグラムを生成する。

続いて、本処理部１２２はそのヒストグラムにおいて、階調値０から対象画素の階調値までの各階調値に対応する画素数を加算することにより、あるいは、階調値Ｎから対象画素の階調値までの各階調値に対応する画素数を減算することにより、新たな階調値を算出する。そして、本処理部１２２は、対象画素の階調値を該新たな階調値に変換し、変換後の階調値を後処理部１２３に出力する。なお、対象画素の元の階調値と新たな階調値とが同じために、階調値が実質的に変換されない場合があり得る。

後処理部１２３は、鮮明化強度を調整するための後処理を実行する機能要素である。後処理部１２３は対象画像内の各画素について以下の処理を実行する。

後処理部１２３は、本処理部１２２から入力された対象画素の階調値（以下では「鮮明化後階調値」という）と、前処理部１２１から入力された対象画像内での該対象画素の階調値（以下では「鮮明化前階調値」という）とを予め定められた混合比で足し合わせることで、最終的な対象画素の階調値を求める。鮮明化強度とは、鮮明化前階調値および鮮明化後階調値から最終的な階調値を求める際に、鮮明化後階調値が重視される度合いを示す指標である。

例えば、後処理部１２３は下記式（１）により対象画素の最終的な階調値Ｖｏを得る。
Ｖｏ＝（（Ｖ１／Ｎ）×（Ｎ−Ｌｉ））＋（（Ｖ２／Ｎ）×Ｌｉ）…（１）
ここで、変数Ｖ１は鮮明化前階調値であり、変数Ｖ２は鮮明化後階調値である。Ｎは階調値の最大値（本実施形態ではＮ＝２５５）である。変数Ｌｉは鮮明化強度の調整レベルであり、最小強度を示す値０から最大強度を示すＮまでの間の任意の値を取り得る。調整レベルＬｉはユーザにより設定されてもよい。あるいは、画像処理装置１０により自動的に設定されてもよく、例えば、本処理部１２２により生成されたヒストグラムに示されるオペレータ内の階調値の分布に基づいて設定されてもよい。あるいは、調整レベルＬｉは、識別部１１２から入力される識別結果に基づいて設定されてもよい。例えば、特殊モードでの調整レベルをＬｉ１とし、悪天候モードでの調整レベルをＬｉ２とし、暗闇モードでの調整レベルをＬｉ３とし、逆光モードでの調整レベルをＬｉ４とした場合に、Ｌｉ１＞Ｌｉ２＞Ｌｉ３＞Ｌｉ４の関係が成り立つように、調整レベルＬｉが識別結果に基づいて設定されてもよい。

本処理部１２２および後処理部１２３は連携して、対象画像を１画素ずつ走査しながら、対象画像の各画素の階調値を変換および調整する。この処理により対象画像が鮮明になる。

鮮明化部１２は、鮮明化された対象画像を処理結果として出力する。処理結果の出力先は限定されず、例えば、鮮明化部１２はその処理結果をモニタに表示してもよいし、プリンタに出力してもよい。あるいは、鮮明化部１２はその処理結果を所定のデータベースに格納してもよいし、他のコンピュータに送信してもよい。

次に、図１０および図１１を参照しながら、画像処理装置１０の動作を説明するとともに本実施形態に係る画像処理方法について説明する。

図１０は画像処理装置１０により実行される処理の全体の流れを示す。まず、集計部１１１が対象画像の全体から複数の画素を抽出し、抽出した各画素の階調値を取得する（ステップＳ１１）。集計部１１１はその階調値を用いてヒストグラムを生成し（ステップＳ１２、集計ステップ）、そのヒストグラムを平滑化する（ステップＳ１３）。

続いて、識別部１１２が対象画像で表される場面（被写場面）を識別する（ステップＳ１４、識別ステップ）。図１１はその識別処理の一例を示す。

この例では、識別部１１２はまず特殊モード判定を実行する（ステップＳ１４０１）。ヒストグラム内の山の個数が所定の閾値以上であれば（ステップＳ１４０１においてＹＥＳ）、識別部１１２は被写場面が特殊モードであると判定する（ステップＳ１４０２）。

その山の個数が閾値未満であれば（ステップＳ１４０１においてＮＯ）、識別部１１２は続いて悪天候モード判定を実行する（ステップＳ１４０３）。識別部１１２はヒストグラムから輝度平均を求め、その輝度平均が所定の閾値以上であれば該輝度平均が高輝度側に偏っていると見なして（ステップＳ１４０３においてＹＥＳ）、被写場面が悪天候モードであると判定する（ステップＳ１４０４）。

輝度平均が所定の閾値未満である場合（輝度平均が高輝度側に偏っていない場合）には（ステップＳ１４０３においてＮＯ）、識別部１１２は続いて逆光モード判定を実行する（ステップＳ１４０５）。識別部１１２は、所定の上位の階調に属する画素数の合計が所定の閾値以上であれば多くの画素が高輝度側に張り付いているとみなして（ステップＳ１４０５においてＹＥＳ）、被写場面が逆光モードであると判定する（ステップＳ１４０６）。

多くの画素が高輝度側に張り付いていないと判定した場合には（ステップＳ１４０５においてＮＯ）、識別部１１２は続いて暗闇モード判定を実行する（ステップＳ１４０７）。識別部１１２は、所定の下位の階調に属する画素数の合計が所定の閾値以上であれば多くの画素が低輝度側に張り付いているとみなして（ステップＳ１４０７においてＹＥＳ）、被写場面が暗闇モードであると判定する（ステップＳ１４０８）。

多くの画素が低輝度側に張り付いていないと判定した場合には（ステップＳ１４０７においてＮＯ）、識別部１１２は続いて悪天候／特殊モード判定を実行する（ステップＳ１４０９）。識別部１１２は、ヒストグラムの横軸方向における山の割合が所定の閾値未満であれば（ステップＳ１４０９においてＹＥＳ）被写場面が悪天候モードであると判定し（ステップＳ１４１０）、そうでなければ（ステップＳ１４０９においてＮＯ）被写場面が特殊モードであると判定する（ステップＳ１４１１）。

図１０に戻って、識別部１１２が被写場面を識別すると、鮮明化部１２がその識別結果に応じて対象画像を鮮明化する（ステップＳ１５）。例えば、鮮明化部１２は識別結果に応じて、前処理を実行したり、その前処理の具体的な手順を変更したりする。あるいは、鮮明化部１２は識別結果に応じて後処理での調整レベルを設定する。

次に、図１２を参照しながら、画像処理装置１０を実現するための画像処理プログラムＰ１を説明する。

画像処理プログラムＰ１は、メインモジュールＰ１０、判定モジュールＰ１１、および鮮明化モジュールＰ１２を備える。判定モジュールＰ１１は集計モジュールＰ１１１および識別モジュールＰ１１２を備える。鮮明化モジュールＰ１２は前処理モジュールＰ１２１、本処理モジュールＰ１２２、および後処理モジュールＰ１２３を備える。

メインモジュールＰ１０は、対象画像の処理を統括的に制御する部分である。判定モジュールＰ１１、集計モジュールＰ１１１、識別モジュールＰ１１２、鮮明化モジュールＰ１２、前処理モジュールＰ１２１、本処理モジュールＰ１２２、および後処理モジュールＰ１２３を実行することにより実現される機能はそれぞれ、上記の判定部１１、集計部１１１、識別部１１２、鮮明化部１２、前処理部１２１、本処理部１２２、および後処理部１２３の機能と同様である。

画像処理プログラムＰ１は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、半導体メモリなどの有形の記録媒体に固定的に記録された上で提供されてもよい。あるいは、画像処理プログラムＰ１は、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

以上説明したように、本発明の一側面に係る画像処理装置は、撮影により得られた対象画像の全体から抽出した複数の画素のそれぞれの階調値を取得し、各画素の階調値に基づいて、０から自然数Ｎまでの各階調値に対応する画素数を示すヒストグラムを生成する集計部と、ヒストグラムの一端への輝度の偏りと、ヒストグラムにおいて画素数が閾値以上の領域である山の分布とのうちの少なくとも一つを判定することで、対象画像で表される場面を識別する識別部とを備える。

このような側面においては、対象画像の全体的な傾向を示すヒストグラムが生成され、このヒストグラムにおける輝度の分布に基づいて、該対象画像で表される場面が識別される。具体的には、ヒストグラムへの一端への輝度の偏りと、画素数が閾値以上である領域（山）の分布とのうちの少なくとも一つを判定することで、対象画像で表される場面を適切に識別できる。また、画像の一部のみを網羅するオペレータを用いることなく、対象画像の全体的な傾向を示すヒストグラムを用いて判定を行うことで、局所の情報に左右されることなく対象画像の全体的な傾向を判定できる。さらに、そのようなヒストグラムを用意できれば被写場面を識別できるので、対象画像の解像度が大きい場合でも、画像処理装置のハードウェア資源（例えばプロセッサおよびメモリ）に掛かる処理負荷を抑制して高速に被写場面を識別できる。

他の側面に係る画像処理装置では、識別部が、対象画像の輝度平均がヒストグラムの高輝度側に偏っている場合には場面が悪天候モードであると判定する処理と、対象画像の上位階調の画素数の合計が所定の閾値以上である場合には場面が逆光モードであると判定する処理と、対象画像の下位階調の画素数の合計が所定の閾値以上である場合には場面が暗闇モードであると判定する処理と、山の個数が所定の閾値以上である場合には場面が特殊モードであると判定する処理と、山が占める割合が所定の閾値未満である場合には場面が悪天候モードであると判定し、山が占める割合が該閾値以上である場合には場面が特殊モードであると判定する処理とのうちの少なくとも一つを実行してもよい。

この場合には、悪天候モード（輝度に全体的なまたは局所的な偏りが対象画像に見られる場合）、逆光モード（対象画像に白飛びがある場合）、暗闇モード（対象画像に黒潰れがある場合）、または特殊モード（上記３モードのいずれにも該当しない場合）のうちの少なくとも一つを識別することができる。

他の側面に係る画像処理装置では、集計部が、取得した各画素の階調値を用いて生成したヒストグラムを、該ヒストグラムの横軸方向に沿って延びる１次元のオペレータを用いて平滑化してもよい。ここで、平滑化は、ヒストグラムの一端から他端にかけてオペレータをずらしながら、該オペレータ内の画素数の加算平均を該オペレータの中央に位置する階調値の画素数として設定する処理である。

このようにヒストグラムを平滑化することで、ヒストグラム内の局所的な細かな振れを軽減して、被写場面の識別がその局所的な情報に左右されることを排除または低減することができる。

他の側面に係る画像処理装置では、識別部による識別結果に対応した方法で対象画像を鮮明化する鮮明化部をさらに備えてもよい。この場合には、画像で表される場面に応じてその画像を適切に鮮明化することができる。

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

上記実施形態では画像処理装置１０が悪天候モード判定、逆光モード判定、暗闇モード判定、特殊モード判定、および悪天候／特殊モード判定という５種類の判定を実行したが、画像処理装置はこれら５種類のうちの任意の１〜４種類の判定のみを実行してもよい。画像処理装置は、ヒストグラムの一端への輝度の偏りと、ヒストグラムにおいて画素数が閾値以上の領域である山の分布とのうちのいずれか一方または双方を判定することで、被写場面を識別してもよい。

上記実施形態では画像処理装置１０が被写場面の識別結果に応じて対象画像を鮮明化したが、画像処理装置は鮮明化以外の目的で被写場面を識別してもよい。例えば、画像処理装置は、対象画像に写っている風景を判定してもよい。したがって、鮮明化部１２は必須の構成要素ではなく、例えば画像処理装置は判定部のみ（集計部および識別部のみ）を備えてもよい。

上記実施形態では集計部１１１が対象画像の全体から複数の画素を抽出したが、集計部は対象画像の特定の一部分のみから複数の画素を抽出してもよい。例えば、固定カメラの映像で常に同じ位置に障害物が映り込む場合、またはコンピュータ上に表示されるウィンドウまたはステータス画面が常に同じ位置に表示される場合に、それらの位置の画素群を使うことなく被写場面を判定することで、被写場面をより正確に識別できる。

上記実施形態では鮮明化部１２が前処理部１２１、本処理部１２２、および後処理部１２３を備えたが、鮮明化部は本処理部のみを備えてもよいし、本処理部に加えて、前処理部および後処理部の一方を備えてもよい。

少なくとも一つのプロセッサにより実行される画像処理装置での処理手順は上記実施形態での例に限定されない。例えば、画像処理装置は上述したステップ（処理）の一部を省略してもよいし、別の順序で各ステップを実行してもよい。また、上述したステップのうちの任意の２以上のステップが組み合わされてもよいし、ステップの一部が修正又は削除されてもよい。あるいは、画像処理装置は上記の各ステップに加えて他のステップを実行してもよい。

画像処理装置内で二つの数値の大小関係を比較する際には、「以上」および「よりも大きい」という二つの基準のどちらを用いてもよく、「以下」および「未満」の二つの基準のうちのどちらを用いてもよい。このような基準の選択は、二つの数値の大小関係を比較する処理についての技術的意義を変更するものではない。

１０…画像処理装置、１１…判定部、１２…鮮明化部、１１１…集計部、１１２…識別部、１２１…前処理部、１２２…本処理部、１２３…後処理部、Ｐ１…画像処理プログラム、Ｐ１０…メインモジュール、Ｐ１１…判定モジュール、Ｐ１２…鮮明化モジュール、Ｐ１１１…集計モジュール、Ｐ１１２…識別モジュール、Ｐ１２１…前処理モジュール、Ｐ１２２…本処理モジュール、Ｐ１２３…後処理モジュール。

Claims

撮影により得られた対象画像の全体から抽出した複数の画素のそれぞれの階調値を取得し、各画素の階調値に基づいて、０から自然数Ｎまでの各階調値に対応する画素数を示すヒストグラムを生成する集計部と、
前記ヒストグラムの一端への輝度の偏りと、前記ヒストグラムにおいて画素数が閾値以上の領域である山の分布とのうちの少なくとも一つを判定することで、前記対象画像で表される場面を識別する識別部と
を備える画像処理装置。
前記識別部が、
前記対象画像の輝度平均が前記ヒストグラムの高輝度側に偏っている場合には前記場面が悪天候モードであると判定する処理と、
前記対象画像の上位階調の画素数の合計が所定の閾値以上である場合には前記場面が逆光モードであると判定する処理と、
前記対象画像の下位階調の画素数の合計が所定の閾値以上である場合には前記場面が暗闇モードであると判定する処理と、
前記山の個数が所定の閾値以上である場合には前記場面が特殊モードであると判定する処理と、
前記山が占める割合が所定の閾値未満である場合には前記場面が悪天候モードであると判定し、前記山が占める割合が該閾値以上である場合には前記場面が特殊モードであると判定する処理と
のうちの少なくとも一つを実行する、
請求項１に記載の画像処理装置。
前記集計部が、前記取得した各画素の階調値を用いて生成したヒストグラムを、該ヒストグラムの横軸方向に沿って延びる１次元のオペレータを用いて平滑化し、
前記平滑化が、前記ヒストグラムの一端から他端にかけて前記オペレータをずらしながら、該オペレータ内の画素数の加算平均を該オペレータの中央に位置する階調値の画素数として設定する処理である、
請求項１または２に記載の画像処理装置。
前記識別部による識別結果に対応した方法で前記対象画像を鮮明化する鮮明化部をさらに備える請求項１〜３のいずれか一項に記載の画像処理装置。
画像処理装置により実行される画像処理方法であって、
撮影により得られた対象画像の全体から抽出した複数の画素のそれぞれの階調値を取得し、各画素の階調値に基づいて、０から自然数Ｎまでの各階調値に対応する画素数を示すヒストグラムを生成する集計ステップと、
前記ヒストグラムの一端への輝度の偏りと、前記ヒストグラムにおいて画素数が閾値以上の領域である山の分布とのうちの少なくとも一つを判定することで、前記対象画像で表される場面を識別する識別ステップと
を含む画像処理方法。
撮影により得られた対象画像の全体から抽出した複数の画素のそれぞれの階調値を取得し、各画素の階調値に基づいて、０から自然数Ｎまでの各階調値に対応する画素数を示すヒストグラムを生成する集計ステップと、
前記ヒストグラムの一端への輝度の偏りと、前記ヒストグラムにおいて画素数が閾値以上の領域である山の分布とのうちの少なくとも一つを判定することで、前記対象画像で表される場面を識別する識別ステップと
をコンピュータに実行させる画像処理プログラム。