JP2016085593A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】波状の被写体が存在する画像か否かの認識精度を向上させること。【解決手段】画像処理装置１は、画像データ３における各画素の輝度勾配方向を算出する勾配方向算出部１０３Ａと、輝度の勾配方向が画面上向きかつ予め定めた角度範囲内である上向き勾配の画素及び輝度の勾配方向が画面下向きかつ予め定めた角度範囲内である下向き勾配の画素を抽出し、複数の上向き勾配の画素が画面左右方向に連続した上向き勾配の横長領域及び複数の下向き勾配の画素が画面左右方向に連続した下向き勾配の横長領域を抽出する横長領域抽出部１０３Ｂと、前記上向き勾配の横長領域と前記下向き勾配の横長領域とが画面上下方向に繰り返される領域が存在する画像データ３を波状の被写体が存在する画像データと認識する波状被写体認識部１０３Ｃと、を備える。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

デジタルカメラ等で撮像した画像データは、パーソナルコンピュータ等に画像処理のソフトウェア（プログラム）を実行させることにより、補正や管理を手軽に行うことができる。

画像処理プログラムを実行するコンピュータ（以下「画像処理装置」という）には、画像データの撮像シーンを自動認識するものがある。撮像シーンを自動認識することにより、例えば画像データを撮像シーンに適した色合いに自動補正することや、画像データを自動分類することができる。

撮像シーンの認識方法の１つとして、ウェーブレット変換を用いる方法が知られている（例えば特許文献１を参照）。この種の認識方法では、変換後の低周波成分からなるボケ画像と各画素の色空間上の距離、及び高周波成分の分布から被写体の特徴量を学習し、画像上の小ブロックごとの特徴量を算出して被写体が何であるかを認識する。例えば、空と海とが写っている画像では、空の部分は元画像とボケ画像との色空間上の差が小さく、海の部分は元画像とボケ画像との色空間上の差が大きくなる。このような特徴と、平均的に一定強度の高周波成分が分布することとを利用して、撮像シーンが海のシーンであるか否かを認識する。

特開２００４−０６２６０５号公報

しかしながら、上述のウェーブレット変換を用いた撮像シーンの認識方法では、高周波成分の分布にのみ着目しており、高周波成分の方向を考慮していない。また、小ブロック内の平均的な色空間上の距離にのみ着目しており、画素の位置関係等を考慮していない。そのため、元画像とボケ画像との差が大きく、かつ平均的に一定強度の高周波成分が分布した部分があれば、海が存在しない画像であっても海の画像と認識してしまうことがある。例えば、多数の粒状の物体が画面全体に広がっている画像が、自動認識により海のシーンの画像と誤認識され、海のシーンの画像に分類されてしまうことがある。すなわち、多数の画像データの中から海のような波状の被写体が存在する画像を認識して自動抽出する際に、誤って波状の被写体が存在しない画像も抽出してしまうことがある。

このように画像を誤って認識、分類した場合、ユーザが手作業により正しく分類しなおすこととなり、分類作業に手間がかかる。また、特定の撮像シーンの画像に対し、光源や撮像装置の特性等に依存した色の偏り（色被り）に応じて色合いを自動補正する場合に、補正する必要の無い画像データまで補正してしまうことがある。

本発明の１つの側面に係る目的は、波状の被写体が存在する画像か否かの認識精度を向上させることである。

本発明の１つの態様の画像処理装置は、画像データにおける各画素の輝度の勾配方向を算出する勾配方向算出部と、前記輝度の勾配方向が画面上向きかつ予め定めた角度範囲内である上向き勾配の画素及び前記輝度の勾配方向が画面下向きかつ予め定めた角度範囲内である下向き勾配の画素を抽出し、複数の前記上向き勾配の画素が画面左右方向に連続した上向き勾配の横長領域及び複数の前記下向き勾配の画素画素が画面左右方向に連続した下向き勾配の横長領域を抽出する横長領域抽出部と、前記上向き勾配の横長領域と前記下向き勾配の横長領域とが画面上下方向に繰り返される領域が存在する前記画像データを波状の被写体が存在する画像の画像データと認識する波状被写体認識部と、を備える。

上述の態様によれば、波状の被写体が存在する画像か否かの認識精度を向上させることである。

本発明の第１の実施形態に係る画像処理装置の構成を示す機能ブロック図である。 画像処理の対象となる画像の一例を示す写真とその模式図である。 画像処理の対象となる画像の別の例を示す写真である。 第１の実施形態に係る画像処理全体の手順を示すフローチャートである。 輝度の勾配方向の算出手順を説明する模式図である。 輝度の勾配方向の算出方法を説明する模式図である。 勾配方向の上向き及び下向きの定義を説明する模式図である。 勾配方向が上向きの画素及び下向きの画素の抽出結果を示す模式図である。 グルーピングの方法を説明する模式図である。 横長領域の抽出方法を説明する模式図である。 勾配方向が上向きの横長領域及び下向きの横長領域の抽出結果を示す模式図である。 図４の被写体認識処理の処理内容を示すフローチャート（その１）である。 図４の被写体認識処理の処理内容を示すフローチャート（その２）である。 横長領域のデータの分割例と小ブロック内の横長領域の分布の例を示す模式図である。 波状の被写体が存在するか否かの認識結果の一例を説明する模式図である。 第１の実施形態に係る画像処理装置の構成の変形例を示す機能ブロック図である。 画像処理の対象となる画像のさらに別の例を示す模式図である。 第１の実施形態に係る画像処理全体の手順の変形例を示すフローチャートである。 本発明の第２の実施形態に係る画像処理装置の構成を示す機能ブロック図である。 第２の実施形態に係る画像処理全体の手順を示すフローチャートである。 本発明の第３の実施形態に係る画像処理装置の構成を示す機能ブロック図である。 第３の実施形態に係る画像処理全体の手順を示すフローチャートである。 図２１の撮像シーン認識処理の処理内容を示すフローチャートである。 本発明の第４の実施形態に係る画像処理装置の構成を示す機能ブロック図である。 第４の実施形態に係る画像処理全体の手順を示すフローチャート（その１）である。 第４の実施形態に係る画像処理全体の手順を示すフローチャート（その２）である。 図２４Ａの画像判別処理の処理内容を示すフローチャートである。

以下、図面を参照しながら、本発明の実施形態を詳細に説明する。
第１の実施形態では、波状の被写体が存在する画像であるか否かを認識する画像処理装置及び画像処理方法について説明する。

また、第２の実施形態では、第１の実施形態で説明した処理により波状の被写体が存在すると認識された画像について、波のある海（水面）が存在する画像か否かを特定する画像処理装置及び画像処理方法について説明する。

さらに、第３の実施形態では、第２の実施形態で説明した処理により波のある海が存在すると特定された画像について、夕焼け又は朝焼けの海の画像であるか否かを認識する画像処理装置及び画像処理方法について説明する。

加えて、第４の実施形態では、第３の実施形態で説明した処理を適用することで夕焼け又は朝焼けの海の画像に対する意図しない色合いの補正を防ぐ画像処理装置及び画像処理方法について説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の構成を示す機能ブロック図である。

図１に示すように、本実施形態の画像処理装置１は、画像データ取得部１０１と、画像データ格納部１０２と、波状被写体検索部１０３と、画像データ出力部１０４とを備える。

画像データ取得部１０１は、外部装置２から画像データを取得する。外部装置２は、例えばデジタルカメラ等の撮像装置、あるいはイメージスキャナである。画像データ取得部１０１により取得した画像データは、処理前の画像データ３として画像データ格納部１０２に格納する。画像データ格納部１０２は、例えばハードディスク装置や、ＲＡＭ等の半導体メモリ装置である。また、画像データ格納部１０２には、波状被写体検索部１０３による処理を行った後の画像データが処理済みの画像データ４として格納される。

波状被写体検索部１０３は、処理前の画像データ３に波状の被写体が存在するかを検索し、検索結果に応じて波状の被写体が存在する画像のデータか否かを認識する。波状被写体検索部１０３は、勾配方向算出部１０３Ａと、横長領域抽出部１０３Ｂと、被写体認識部１０３Ｃとを有する。勾配方向算出部１０３Ａは、画像データ３における各画素の輝度の勾配方向を算出する。横長領域抽出部１０３Ｂは、後述のように、勾配方向が上向きの画素が横方向に連続した横長領域及び勾配方向が下向きの画素が横方向に連続した横長領域を抽出する。被写体認識部１０３Ｃは、勾配方向が上向きの横長領域及び下向きの横長領域の分布を用い、波状の被写体が存在する画像のデータか否かを認識する。

画像データ出力部１０４は、画像データ格納部１０２に格納された画像データ３，４を表示装置５に出力する。

図２は、画像処理の対象となる画像の一例を示す写真とその模式図である。図３は、画像処理の対象となる画像の他の一例を示す写真である。なお、以下の説明において、画面上下方向は図中の画像の左上方に付した直交座標軸のｙ軸方向とし、画面左右方向はｘ軸方向とする。

本実施形態の画像処理装置１による画像処理（認識処理）の対象となる画像には、図２の（ａ）及び（ｂ）に示すような夕焼けの海を撮影した画像３０がある。なお、図２の（ａ）は夕焼けの海を撮像した画像をグレースケールで表した写真であり、図２の（ｂ）は図２の（ａ）の写真の構図を模式的に示した図である。画像３０は、画像内における鉛直上下方向で空３１と海３２とに分かれており、水平線３２Ｃのやや上方、撮像方向（画面奥行き方向）の遠方側に太陽３３が写っている。海３２の表面には、略平面波である波の山３２Ａと谷３２Ｂとが撮像方向（画面奥行き方向）に交互に現れている。図２に示したように、画像内における水平方向をｘ軸方向、鉛直方向をｙ軸方向とした場合、波の山３２Ａ及び谷３２Ｂは、それぞれ画像内におけるｘ軸方向（画面左右方向）に長く延びており、ｙ軸方向（画面上下方向）に交互に並んでいる。

また、画像処理の対象となる画像には、テクスチャのような画像、例えば図３に示すような多数の粒状の物体が画面全体に広がっている画像３００等も含まれる。図３に示した画像３００は、上述のウェーブレット変換を用いた撮像シーンの認識方法において海の画像（波状の被写体が存在する画像）と誤認識されることがある画像の一例である。

画像データ格納部１０２には、これら被写体の異なるさまざまな画像のデータが、それぞれ処理前の画像データ３として格納される。そして、本実施形態の画像処理装置１は、複数の画像データ３のそれぞれについて、波状の被写体が存在する画像のデータであるか否かを認識する。この際、画像処理装置１は、下記の処理を行うことで、図２の（ａ）に示したような海の画像３０は波状の被写体が存在する画像と認識し、図３に示したような画像３００は波状の被写体が存在しない画像と認識する。

図４は、第１の実施形態に係る画像処理全体の手順を示すフローチャートである。
図５は、輝度の勾配方向の算出手順を説明する模式図である。図６は、輝度の勾配方向の算出方法を説明する模式図である。図７は、勾配方向の上向き及び下向きの定義を説明する模式図である。図８は、勾配方向が上向きの画素及び下向きの画素の抽出結果を示す模式図である。図９は、グルーピングの方法を説明する模式図である。図１０は、横長領域の抽出方法を説明する模式図である。図１１は、勾配方向が上向きの横長領域及び下向きの横長領域の抽出結果を示す模式図である。

波状の被写体が存在する画像のデータであるか否かの認識は、波状被写体検索部１０３が行う。波状被写体検索部１０３は、図４に示すように、まずデータ格納部１０２から処理対象の画像データ３を１つ読み出す（ステップＳ１）。

次に、波状被写体検索部１０３は、読み出した画像データから各画素の輝度の勾配方向を算出する（ステップＳ２）。ステップＳ２は、勾配方向算出部１０３Ａが行う。

勾配方向算出部１０３Ａは、例えば図５に示すように、画像データ３４における左上角部の画素Ｐ（０，０）から右下角部の画素Ｐ（Ｘ，Ｙ）まで、ラスタスキャン方式で各画素Ｐ（ｘ，ｙ）の輝度の勾配方向を算出する。すなわち、画像データにおける水平方向（ｘ軸方向）に並んだ画素Ｐ（０，ｙ）〜Ｐ（Ｘ，ｙ）の各画素の輝度の勾配方向をｘの値を１ずつ増やしながら順次算出する処理を、ｙ＝０からＹまでｙの値を１ずつ増やしながら繰り返し行う。

また、画素Ｐ（ｘ，ｙ）の輝度の勾配方向は、Histograms of Oriented Gradients（ＨＯＧ）特徴量を求める際の算出方法を用いて算出する。具体的には、まず画素Ｐ（ｘ、ｙ）を中心とする３×３画素の各画素の輝度とＳｏｂｅｌフィルタとを用いて勾配のｘ軸方向成分Ｌｘ及びｙ軸方向成分Ｌｙを算出する。勾配のｘ軸方向成分Ｌｘは、図６の（ａ）に示したｘ方向用の勾配フィルタＦｘを３×３画素の各画素の輝度に適用し、輝度を加算して算出する。勾配のｙ軸方向成分Ｌｙは、図６の（ｂ）に示したｙ方向用の勾配フィルタＦｙを３×３画素の各画素の輝度に適用し、輝度を加算して算出する。そして、図６の（ｃ）に示すように、勾配のｘ軸方向成分Ｌｘ及びｙ軸方向成分Ｌｙから勾配Ｌ（ｘ，ｙ）を算出し、勾配Ｌ（ｘ，ｙ）とｙ軸方向成分Ｌｙとのなす角θを勾配方向とする。

各画素の輝度の勾配方向を算出したら、次に、勾配方向が画面上向きの画素及び画面下向きの画素を抽出する（ステップＳ３）。ステップＳ３は、横長領域抽出部１０３Ｂが行う。以下の説明では、画面上向き及び画面下向きを、単に上向き及び下向きという。

横長領域抽出部１０３Ｂは、例えば図７に示すように、ｙ軸方向成分Ｌｙに対する角度±φを閾値として設定し、勾配方向θが閾値角度φよりも小さい画素を勾配方向が上向き又は下向きの画素として抽出する。このとき、横長領域抽出部１０３Ｂは、勾配Ｌ１のように勾配方向が＋Ｌｙ方向であり角度θ_１が閾値角度φより小さい勾配である画素を、勾配方向が上向きの画素として抽出する。一方、勾配Ｌ２のように勾配方向が−Ｌｙ方向であり角度θ_２が閾値角度φより小さい勾配である画素を、勾配方向が下向きの画素として抽出する。また、勾配Ｌ３のように角度θ_３が閾値角度φよりも大きい勾配である画素は、勾配方向が上向き及び下向きのいずれにも該当しない画素とし抽出しない。以下の説明では、勾配方向が上向きであることを上向き勾配ともいい、勾配方向が下向きであることを下向き勾配ともいう。

図２の（ａ）に示した画像３０のデータに対しステップＳ３までの処理を行った結果の画像を図８に示す。なお、図８の（ａ）に示した画像３５は、上向き勾配の画素を白色、それ以外の画素を黒色で示した画像である。また、図８の（ｂ）に示した画像３６は、下向き勾配の画素を白色、それ以外の画素を黒色で示した画像である。画像３０における海３２の部分には、画面奥行き方向（画面上下方向）を伝播方向とする波がある。このような波のある海３２に、奥行き方向の遠方側に位置する太陽３３からの光が当たると、例えば波の谷３２Ｂとその上方にある山３２Ａとの間の輝度は、山３２Ａに近づくにつれて高くなる。そのため、波の谷３２Ｂとその上方にある山３２Ａとの間に相当する位置の画素は、上方に位置する画素ほど輝度が高くなる傾向があり、上向き勾配の画素が多くなる。よって、図８の（ａ）に示した画像３５の海３２の部分は、大まかに見ると、上向き勾配の画素が略水平方向に連続した白色領域と、上向き勾配以外の画素からなる黒色領域とが画面上下方向に交互に並んだ状態になる。

また、波の谷３２Ｂとその下方にある山３２Ａとの間の輝度も、山３２Ａに近づくにつれて高くなる。そのため、波の谷３２Ｂとその下方にある山３２Ａとの間に相当する位置の画素は、下方に位置する画素ほど輝度が高くなる傾向があり、下向き勾配の画素が多くなる。よって、図８の（ｂ）に示した画像３６の海３２の部分は、大まかに見ると、下向き勾配の画素が略水平方向に連続した白色領域と、下向き勾配以外の画素からなる黒色領域とが画面上下方向に交互に並んだ状態になる。

一方、図３に示したような多数の粒状の物体が画面全体に広がっている画像３００では、個々の粒状物体における輪郭部分の輝度の勾配方向が等方的になるので、上向き勾配の画素、下向き勾配の画素、及びそれ以外の画素がランダムに分布する。そのため、図３に示した画像３００を上向き勾配の画素が連続した領域とそれ以外の領域とに分けて見た場合、これらの領域が画面上下方向に交互に並んだ状態にはならない。

したがって、上向き勾配の画素からなる領域及び下向き勾配の画素からなる領域がいずれも略水平方向に長く延びており、かつ画面上下方向に交互に並んでいる領域があれば、その領域に波状の被写体が存在している可能性が高い。

そこで、ステップＳ３の後、横長領域抽出部１０３Ｂは、勾配方向が上向きの画素からなる横長領域を抽出するとともに、勾配方向が下向きの画素からなる横長領域を抽出する（ステップＳ４，Ｓ５）。なお、以下の説明では、勾配方向が上向きの画素からなる横長領域を上向き勾配の横長領域ともいい、勾配方向が下向きの画素からなる横長領域を下向向き勾配の横長領域ともいう。

上向き勾配の横長領域の抽出（ステップＳ４）は、図８の（ａ）に示した画像３５のように画像内の画素を上向き勾配の画素とそれ以外の画素とに分けたデータを用いて行う。例えば図９の（ａ）に示すように、画像３５の一部分（８×６画素）を取り出した部分画像３５Ａの各画素Ｐ（ｘ，ｙ）は、上向き勾配の画素Ｐｕと、それ以外の画素Ｐｎとに分けられる。そこで、ステップＳ４では、まず、画像３５において隣接する複数の上向き勾配の画素Ｐｕのグルーピングを行う。グルーピングでは、注目画素ＰＰを中心とする３×３画素の領域１７を画像３５（部分画像３５Ａ）に設定し、注目画素ＰＰが上向き勾配の画素Ｐｕであるか否かを判定する。そして、注目画素ＰＰが上向き勾配の画素Ｐｕである場合、領域１７内の他の画素（すなわち注目画素ＰＰと隣接する画素）に上向き勾配の画素Ｐｕがあれば、それらを１つのグループにする。図９（ａ）に示した例では、注目画素ＰＰと、注目画素ＰＰの右隣の画素と、注目画素ＰＰの右斜め下方の画素とが１つのグループになる。また、注目画素ＰＰ（領域１７）をｘ方向に１画素分ずらすと、さらに２つの上向き勾配の画素Ｐｕがグループに追加される。このグルーピングを画像３５の画素Ｐ（ｘ，ｙ）に対しラスタスキャン方式で行い、上向き勾配の画素Ｐｕからなるグループを生成する。グルーピングの結果、部分画像３５Ａには、図９の（ｂ）に示すように３つのグループＧＵ_１〜ＧＵ_３が生成される。

なお、上向き勾配の画素Ｐｕからなるグループの形状は、元の画像の撮像シーンや画像内における位置によって異なる。そこで、グルーピングの後、生成されたグループの中から形状が横長のグループのみを抽出する。例えば、図１０（ａ）に示すように、画像３５の一部分を取り出した部分画像３５Ｂに、グルーピングにより形状の異なる４つのグループＧＵ_１〜ＧＵ_４が生成されたとする。この４つのグループＧＵ_１〜ＧＵ_４から横長のグループ（横長領域）のみを抽出するため、それぞれのグループＧＵ_１〜ＧＵ_４に対し外接矩形ＢＲＡ_１〜ＢＲＡ_４を設定する。そして、外接矩形ＢＲＡ_１〜ＢＲＡ_４の形状が予め定めた横長領域の条件を満たすグループのみを、横長領域として抽出する。本実施形態では、横長領域の条件を、外接矩形における幅（ｘ方向の画素数）が高さ（ｙ方向の画素数）の２倍以上とする。図１０の（ａ）に示した外接矩形ＢＲＡ_１〜ＢＲＡ_４のうち、横長領域の条件を満たしているのは、左上の外接矩形ＢＲＡ_１と右下の外接矩形ＢＲＡ_４のみである。そのため、部分画像３５Ｂからは、図１０の（ｂ）に示すように、２つの外接矩形ＢＲＡ_１，ＢＲＡ_４と対応する２つのグループＧＵ_１，ＧＵ_４のみが上向き勾配の横長領域として抽出される。

図８の（ａ）に示した画像３５のデータに対しステップＳ４の処理を行った結果の画像を図１１の（ａ）に示す。なお、図１１の（ａ）に示した画像３７は、上向き勾配の横長領域を白色、それ以外の領域を黒色で示した画像である。すなわち、画像３７では、上向き勾配の画素であってもステップＳ４で抽出した横長領域に含まれない画素は黒色で示されている。

下向き勾配の横長領域の抽出（ステップＳ５）は、図８の（ｂ）に示した画像３６のように画像内の画素を下向き勾配の画素とそれ以外の画素とに分けたデータを用い、ステップＳ４と同様の手順で行う。

図８の（ｂ）に示した画像３６のデータに対しステップＳ５の処理を行った結果の画像を図１１の（ｂ）に示す。なお、図１１の（ｂ）に示した画像３８は、下向き勾配の横長領域を白色、それ以外の領域を黒色で示した画像である。すなわち、画像３８では、下向き勾配の画素であってもステップＳ５で抽出した横長領域に含まれない画素は黒色で示されている。

ステップＳ４，Ｓ５により上向き勾配の横長領域及び下向き勾配の横長領域を抽出したら、図４に示したように、次に、被写体認識処理を行う（ステップＳ６）。ステップＳ６の処理は、被写体認識部１０３Ｃが行う。

図１２Ａは、図４の被写体認識処理の処理内容を示すフローチャート（その１）である。図１２Ｂは、図４の被写体認識処理の処理内容を示すフローチャート（その２）である。

図１３は、横長領域のデータの分割例と小ブロック内の横長領域の分布の例を示す模式図である。図１４は、波状の被写体が存在するか否かの認識結果の一例を説明する模式図である。

被写体認識処理では、図１２Ａに示すように、まず、上向き勾配の横長領域及び下向き勾配の横長領域を抽出した画像データを、横Ｃ個、縦Ｒ個の小ブロックＢ（ｈ，ｋ）に分割する（ステップＳ６０１）。ステップＳ６０１では、図１３の（ａ）に示したように、図１１に示した画像３７，３８を重ねたデータをＣ×Ｒ個の小ブロックＢ（ｈ，ｋ）に分割する。このとき、１つの小ブロックＢ（ｈ，ｋ）は、例えば図１３の（ｂ）に示すように、上向き勾配の横長領域（白色領域）、下向き勾配の横長領域（ハッチングを付した領域）、及びそれ以外の領域（黒色領域）の３つの領域に分けられる。なお、図１３の（ａ）に示した例では画像データを７×５個の小ブロックＢ（ｈ，ｋ）｛ｈ＝１〜７，ｋ＝１〜５｝に分割しているが、小ブロックＢ（ｈ，ｋ）の数はこれに限らず画像の寸法等に応じて適宜変更すればよい。

次に、被写体認識部１０３Ｃは、波状の被写体の候補（以下「被写体候補」という）の縦行数ＮＲを０に設定するとともに、小ブロックＢ（ｈ，ｋ）の変数ｋを１に設定する（ステップＳ６０２）。

次に、小ブロックＢ（ｈ，ｋ）の変数ｋが縦方向の小ブロックＢ（ｈ，ｋ）の分割数Ｒ以下であるか判断する（ステップＳ６０３）。被写体認識処理の開始直後はｋ＜Ｒ（ステップＳ６０３；Ｙｅｓ）であるため、次に、被写体候補の横ブロック数ＮＢを０に設定するとともに、小ブロック（ｈ，ｋ）の変数ｈを１に設定する（ステップＳ６０４）。

次に、小ブロックＢ（ｈ，ｋ）の変数ｈが横方向の小ブロックＢ（ｈ，ｋ）の分割数Ｃ以下であるか判断する（ステップＳ６０５）。被写体認識処理の開始直後はｈ＜Ｃ（ステップＳ６０５；Ｙｅｓ）であるため、次に、小ブロック（ｈ，ｋ）は被写体候補であるか判断する（ステップＳ６０６）。

ステップＳ６０６では、小ブロックＢ（ｈ，ｋ）内に、上向き勾配の横長領域と下向き勾配の横長領域とが画面上下方向に交互に現れるか否かを判断する。本実施形態では、下記の条件１〜３をステップＳ６０６の判断条件とし、全ての条件を満たした小ブロックＢ（ｈ，ｋ）を被写体候補と判定する。

（条件１）上向き勾配の横長領域の画素数及び下向き勾配の横長領域の画素数のうちの少ないほうの画素数を多いほうの画素数で除算した値が、予め定めた閾値ＴＨ１（例えば０．５）以上であること。

（条件２）上向き勾配の横長領域の数と下向き勾配の横長領域の数との合計を小ブロックの面積（画素数）で除算した値が、予め定めた閾値ＴＨ２（例えば０．０２）以上であること。

（条件３）上向き勾配の横長領域の画素数と下向き勾配の横長領域の画素数との合計を小ブロックの面積（画素数）で除算した値が、予め定めた閾値ＴＨ３（例えば０．５）以上であること。

判断対象の小ブロックＢ（ｈ，ｋ）が条件１〜３を全て満たす場合（ステップＳ６０６；Ｙｅｓ）、被写体候補の横ブロック数ＮＢに１を加える（ステップＳ６０７）。その後、変数ｈに１を加え（ステップＳ６０８）、ステップＳ６０５の判断に戻る。一方、判断対象の小ブロックＢ（ｈ，ｋ）が条件１〜３の１つ以上を満たしていない場合（ステップＳ６０６；Ｎｏ）、ステップＳ６０７をスキップし、変数ｈに１を加えて（ステップＳ６０８）ステップＳ６０５の判断に戻る。

ステップＳ６０５〜Ｓ６０８を繰り返し、変数ｈが横方向の小ブロックＢ（ｈ，ｋ）の分割数Ｃより大きくなると（ステップＳ６０５；Ｎｏ）、次に、被写体候補の横ブロック数ＮＢが閾値ＴＨ４以上であるか判断する（ステップＳ６０９）。ＮＢ≧ＴＨ４の場合（ステップＳ６０９；Ｙｅｓ）、被写体候補の縦行数ＮＲに１を加える（ステップＳ６１０）。その後、変数ｋに１を加え（ステップＳ６１１）、ステップＳ６０３の判断に戻る。一方、ＮＢ＜ＴＨ４の場合（ステップＳ６０６；Ｎｏ）、ステップＳ６１０をスキップし、変数ｋに１を加えて（ステップＳ６１１）ステップＳ６０３の判断に戻る。

ステップＳ６０９では、横方向（ｘ軸方向）に並んだＣ個の小ブロックＢ（１，ｋ）〜Ｂ（Ｃ，ｋ）のうちの何個が被写体候補であれば、その小ブロック行を被写体候補の小ブロック行とみなすかを判断する。本実施形態のように横方向の小ブロックの分割数Ｃが７である場合、閾値ＴＨ４は、例えば５に設定する。なお、閾値ＴＨ４は、横方向の小ブロックの分割数Ｃ等に応じて適宜設定すればよい。

ステップＳ６０３〜Ｓ６１１を繰り返し、変数ｋが縦方向の小ブロックＢ（ｈ，ｋ）の分割数Ｒより大きくなると（ステップＳ６０３；Ｎｏ）、次に、図１２Ｂに示すように、被写体候補の縦行数ＮＲが閾値ＴＨ５以上であるか判断する（ステップＳ６１２）。被写体候補の縦行数ＮＲが多いということは、被写体候補、すなわち波状の被写体らしき像の存在する小ブロック行が画像内に多いということである。そのため、ＮＲ≧ＴＨ５の場合（ステップＳ６１２；Ｙｅｓ）、処理対象の画像データを、撮像方向（画面奥行き方向）が伝播方向となる波状の被写体が存在する画像データと認識する（ステップＳ６１３）。一方、ＮＲ＜ＴＨ５の場合（ステップＳ６１２；Ｎｏ）、処理対象の画像データを、撮像方向が伝播方向となる波状の被写体が存在しない画像データと認識する（ステップＳ６１４）。本実施形態のように縦方向の小ブロックの分割数Ｒが５である場合、閾値ＴＨ５は、例えば２に設定する。なお、閾値ＴＨ５は、縦方向の小ブロックの分割数Ｒ等に応じて適宜設定すればよい。

処理対象の画像データ３が図２に示した画像３０のような撮像方向を伝播方向とする波のある海３２の画像のデータである場合、画像３０と小ブロックＢ（ｈ，ｋ）とは、図１４の（ａ）に示したような関係になる。上２行の小ブロックＢ（ｈ，１），Ｂ（ｈ，２）｛ｈ＝１〜７｝の被写体は空３１であり、下２行の小ブロックＢ（ｈ，４），Ｂ（ｈ，５）｛ｈ＝１〜７｝の被写体は海３２である。また、中央行の小ブロックＢ（ｈ，３）｛ｈ＝１〜７｝は、水平線３２Ｃを境として空３１及び海３２が存在している。

このような画像３０に対しステップＳ２〜Ｓ５及びステップＳ６（ステップＳ６０１〜Ｓ６１１）の処理を行うと、図１４の（ｂ）に示したような判定データ３９が得られる。なお、判定データ３９において、網掛けを付した小ブロックＢ（ｈ，ｋ）はステップＳ６０６で被写体候補ではないと判定された小ブロックであり、白無地の小ブロックＢ（ｈ，ｋ）は被写体候補であると判定された小ブロックである。

判定データ３９における最上行の小ブロックＢ（ｈ，１）｛ｈ＝１〜７｝の被写体は、図１４の（ａ）に示したように空３１である。空３１は波状の被写体ではないため、ステップＳ６０６において小ブロックＢ（ｈ，１）｛ｈ＝１〜７｝は全て被写体候補ではないと判定される。したがって、ステップＳ６０９の判断において、小ブロックＢ（ｈ，１）｛ｈ＝１〜７｝の小ブロック行は被写体候補ではないと判定される。

一方、判定データ３９における中央行の小ブロックＢ（ｈ，３）｛ｈ＝１〜７｝には、図１４の（ａ）に示したように空３１と海３２とが存在しているが、海３２のほうが面積が広い。そのため、ステップＳ６０６において小ブロックＢ（ｈ，３）｛ｈ＝１〜７｝は被写体候補と判定される可能性が高い。なお、小ブロックＢ（ｈ，３）｛ｈ＝１〜７｝における左右方向の端の小ブロックのように太陽３３から離れた小ブロックは暗い（輝度が低い）ので被写体候補ではないと判定されることもある。しかしながら、図１４の（ｂ）に示したように被写体候補であると判定された小ブロックが５個あれば、ステップ６０９の判断において小ブロックＢ（ｈ，３）｛ｈ＝１〜７｝の小ブロック行は被写体候補であると判定される。

さらに、判定データ３９における上から４行目の小ブロックＢ（ｈ，４）｛ｈ＝１〜７｝の被写体は、図１４の（ａ）に示したように海３２である。海３２は波状の被写体であるため、ステップＳ６０６において小ブロックＢ（ｈ，４）｛ｈ＝１〜７｝は全て被写体候補と判定される。したがって、ステップＳ６０９の判断において、小ブロック（ｈ，４）｛ｈ＝１〜７｝の小ブロック行は被写体候補と判定される。同様に、画像データ３９における最下行の小ブロック行も、被写体候補と判定される。

すなわち、図１４の（ｂ）に示した判定データ３９には、被写体候補と判定される小ブロック行が３行存在する（ＮＢ＝３）。そのため、判定データ３９を用いたステップＳ６１２による判断の結果、画像３０のデータ（判定データ３９の元データ）は、波状の被写体が存在する画像データと認識される。

一方、図３に示したような多数の粒状の物体が画面全体に広がっている画像３００では、上述のように上向き勾配の画素が連続した領域とそれ以外の領域とに分けて見た場合、これらの領域が画面上下方向に交互に並んだ状態にはならない。また、画像３００では、下向き勾配の画素が連続した領域とそれ以外の領域とに分けて見た場合も、これらの領域が画面上下方向に交互に並んだ状態にはならない。すなわち、画像３００では、上向き勾配の横長領域と下向き勾配の横長領域とが交互に並んだ小ブロック（被写体候補）が存在する可能性が非常に低い。よって、図３に示した画像３００のデータがステップＳ６の被写体認識処理において波状の被写体が存在する画像データと認識される可能性は非常に低い。

ステップＳ６１３又はステップＳ６１４により波状の被写体が存在する画像データか否かを認識すると、被写体認識処理（図３のステップＳ６）が終了する。被写体認識処理が終了すると、図３に示したように、画像データと処理結果とを関連付けて格納する（ステップＳ７）。ステップＳ７では、例えば、処理対象の画像データ３（すなわちステップＳ１で読み出した画像データ）に波状の被写体が存在するか否かを識別する識別子を埋め込み、処理済みの画像データ４として画像データ格納部１０２に格納する。また、画像データ３に識別子を埋め込む代わりに、例えば画像データのファイル名と識別子とを対応付けるリストを画像データ格納部１０２等に格納しておき、ステップＳ７においてリストにファイル名と識別子とを追加するようにしてもよい。

なお、画像データ格納部１０２に処理前の画像データ３が複数格納されている場合には、全ての画像データ３又は選択したいくつかの画像データ３のそれぞれに対し、図３に示したステップＳ１〜Ｓ７の処理を行う。複数の画像データ３に対するステップＳ１〜Ｓ７の処理は、１つの画像データに対する処理を順次繰り返して行ってもよいし、いくつかの画像データに対する処理を並行して行ってもよい。

以上説明したように、第１の実施形態の画像処理装置１及び画像処理方法によれば、波状の被写体における輝度の勾配方向の特徴を利用して画像に波状の被写体が存在するかを検索し、波状の被写体が存在する画像か否かを認識する。そのため、例えば図３に示した画像３００のような波状の被写体が存在しない画像を波状の被写体が存在する画像と誤認識することを防げ、波状の被写体が存在する画像か否かの認識精度を向上させることができる。

なお、上述の画像処理方法では、ステップＳ６１２の判断における被写体候補の小ブロック行の閾値ＴＨ５を２としたが、閾値ＴＨ５は１であってもよい。閾値ＴＨ５は、波状の被写体が存在すると認識するための被写体候補の小ブロック行の最小値である。そのため、閾値ＴＨ５を１とする場合、例えば図１２Ａに示したステップＳ６０９の判断においてＮＢ≧ＴＨ４となった時点で、撮像方向を伝播方向とする波状の被写体が存在する画像と認識してもよい。

また、画像処理装置１は、コンピュータと、コンピュータに上記の画像処理を実行させるプログラムとにより実現することができる。その際、画像処理装置１は、図１に示した構成に限らず、適宜変更可能である。例えば、画像データ取得部１０２は、上述の外部装置２ではなく、ＣＤ−ＲＯＭ等の可搬型記録媒体に記録された画像データを読み出して取得する装置であってもよい。

さらに、処理前の画像データ３及び処理済みの画像データ４は、画像サーバ等の画像処理装置１とは別の装置に格納してもよい。

図１５は、第１の実施形態に係る画像処理装置の構成の変形例を示す機能ブロック図である。

本実施形態に係る画像処理装置１として、図１には、処理前の画像データ３及び処理済みの画像データ４を格納する画像データ格納部１０２を備えた画像処理装置１の構成を示している。しかしながら、本実施形態に係る画像処理装置１は、例えば図１５に示すように、ＬＡＮ等のネットワークで接続された画像サーバ６から処理前の画像データ３を取得し、処理済みの画像データ４を画像サーバ６に格納する構成であってもよい。

図１５に示した画像処理装置１は、波状被写体検索部１０３と、通信制御部１０５とを備える。波状被写体検索部１０３は、上述のように輝度勾配方向算出部１０３Ａと、横長領域抽出部１０３Ｂと、被写体認識部１０３とを有する。通信制御部１０５は、画像サーバ６との間での通信を制御する。通信制御部１０５は、画像データ受信部１０５Ａと、画像データ送信部１０５Ｂとを有する。画像データ受信部１０５Ａは、画像データ格納部６０１から画像処理装置１に向けて送られる処理前の画像データ３を受信する。画像データ送信部１０５Ｂは、波状被写体検索部１０３による検索及び認識処理が済んだ画像データを処理済みの画像データ４として画像サーバ６に送信し画像データ格納部６０１に格納させる。

さらに、本実施形態の画像処理方法は、図３、図１１Ａ及び図１１Ｂに示した手順に限らず、適宜変更可能である。以下、本実施形態の画像処理方法の変形例について説明する。

（第１の実施形態の画像処理方法の変形例）
図１６は、画像処理の対象となる画像のさらに別の例を示す模式図である。

本実施形態の画像処理の対象となる画像の一例として、図２には、夕焼けの海を撮像した画像３０を示している。この画像３０は、画像内での鉛直方向と実空間の鉛直方向とが一致する向き（以下「正位置」という）で表示した場合に横長になる。

デジタルカメラ等の撮像装置で撮像した画像のデータにおける各画素の位置は、通常、画面が横長になる向きで定義される。すなわち、画像３０における各画素の位置は、図５に示したように、横長になる向きにしたときの左上隅の画素がＰ（０，０）、右下隅の画素がＰ（Ｘ，Ｙ）に定義される。そして、画像３０を表示装置に表示する際も、初期状態では、画素Ｐ（０，０）が左上隅になり画素Ｐ（Ｘ，Ｙ）が右下隅になるように表示する。そのため、画像３０を表示装置５等に表示する際には、マウス等の入力手段を介して画像を回転させる操作をしなくても、図２に示したような正位置で表示される。

また、撮像装置を９０度回転させて夕焼けの海を撮像した縦長の画像も、各画素の位置は、例えば図１６に示す画像３０Ｖのように画面が横長になる向きにしたときの左上隅の画素がＰ（０，０）、右下隅の画素がＰ（Ｘ，Ｙ）に定義される。したがって、画像３０Ｖは、初期状態では、画像内での鉛直方向が実空間の鉛直方向と略直交する向き、すなわち海３２の波における山３２Ａ及び谷３２Ｂが画面左右方向に交互に並ぶ向きで表示される。図１６に示したような画像３０Ｖも、海３２の波の伝播方向は撮像方向（画面奥行き方向）と略一致しているので、波状の被写体が存在する画像と認識する必要が有る。そのため、伝播方向が画面左右方向になる向きでも波状の被写体が存在する画像と認識できるよう、本実施形態の画像処理は、例えば図１７に示すような手順で行ってもよい。

図１７は、第１の実施形態に係る画像処理全体の手順の変形例を示すフローチャートである。

本実施形態の画像処理の変形例では、図１７に示すように、まず波状被写体検索部１０３により処理対象の画像データを読み出す（ステップＳ１）。次に、読み出した画像データに波状の被写体が存在するかを検索し、波状の被写体が存在する画像か否かを認識する（ステップＳ８）。波状被写体検索部１０３は、ステップＳ８として上述のステップＳ２〜Ｓ６の処理を行う。そのため、ステップＳ８が終了すると、処理対象の画像データに波状の被写体が存在するか否かの認識が終了している。

波状被写体検索部１０３は、読み出した１つの画像データに対する検索及び認識処理を終えると、波状の被写体が存在する画像と認識したか否かに応じて次に行う処理を判断する（ステップＳ９）。波状の被写体が存在する画像と認識した場合（ステップＳ９；Ｙｅｓ）、上述の手順と同様、画像データと処理結果とを関連付けて画像データ格納部１０２に格納し（ステップＳ７）、画像処理を終了する。

一方、波状の被写体が存在しない画像と認識した場合（ステップＳ９；Ｎｏ）、次に、画像を９０度回転させてステップＳ８の処理をしたか判断（確認）する（ステップＳ１０）。９０度回転させてステップＳ８の処理をしていない場合（ステップＳ１０；Ｎｏ）、画像を９０度回転させ（ステップＳ１１）、ステップＳ８の処理を行う。ステップＳ１１は、例えば画面が右回りで９０度回転するよう画像データの画素Ｐ（ｘ，ｙ）をＰ（Ｙ−ｙ，ｘ）に座標変換する。

そして、９０度回転させた画像が波状の被写体が存在する画像と認識されれば、波状被写体検索部１０３は、読み出した画像データを波状の被写体が存在する画像データとして画像データ格納部１０２に格納する（ステップＳ９；Ｙｅｓ，ステップＳ７）。また、９０度回転させても波状の被写体が存在しない画像と認識された場合（ステップＳ９；Ｎｏ，ステップＳ１０；Ｙｅｓ）、読み出した画像データを波状の被写体が存在しない画像データとして画像データ格納部１０２に格納する（ステップＳ７）。

このように、波状の被写体が存在しない画像データと認識された場合に、画面が９０度回転するよう画像データを変換して再度波状の被写体の検索及び認識処理を行うことで、図１６に示した画像データも波状の被写体が存在する画像データと認識される。これにより、波状の被写体が存在する画像か否かの認識精度をより向上させることができる。

（第２の実施形態）
第２の実施形態では、第１の実施形態で説明した処理により波状の被写体が存在すると認識された画像について、画像に存在する波状の被写体が波のある海であるか否かを特定する画像処理装置及び画像処理方法を説明する。

図１８は、本発明の第２の実施形態に係る画像処理装置の構成を示す機能ブロック図である。

図１８に示すように、本実施形態の画像処理装置１は、画像データ取得部１０１と、画像データ格納部１０２と、波状被写体検索部１０３と、画像データ出力部１０４と、波状被写体特定部１０６とを備える。画像データ取得部１０１、画像データ格納部１０２、波状被写体検索部１０３、及び画像データ出力部１０４の機能は、それぞれ第１の実施形態で説明したとおりである。

波状被写体特定部１０６は、波状被写体検索部１０３により波状の被写体が存在すると認識された画像について、波状の被写体が波のある海（水面）であるか否かを特定する。

図１９は、第２の実施形態に係る画像処理全体の手順を示すフローチャートである。
本実施形態の画像処理装置１では、処理前の画像データ３について、まず波状の被写体が存在する画像であるか否かを認識する。そして、波状の被写体が存在すると認識された画像について、波状の被写体が海であるか否かを特定する。

すなわち本実施形態の画像処理装置１では、図１９に示すように、まず処理対象の画像データを読み出し（ステップＳ１）、波状の被写体が存在するかを検索して波状の被写体が存在する画像か否かを認識する（ステップＳ８）。ステップＳ１，Ｓ８は、波状被写体検索部１０３が行う。波状被写体検索部１０３は、ステップＳ８の処理として、第１の実施形態で説明したステップＳ２〜Ｓ６の処理を行う。そのため、ステップＳ８が終了すると、処理対象の画像データに波状の被写体が存在するか否かの認識が終了している。

ステップＳ８が終了すると、波状被写体検索部１０３は、ステップＳ８の処理結果に応じて次に行う処理を判断する（ステップＳ９）。波状の被写体が存在しない画像と認識した場合（ステップＳ９；Ｎｏ）、上述の手順と同様、画像データと処理結果とを関連付けて画像データ格納部１０２に格納し（ステップＳ７）、画像処理を終了する。

一方、波状の被写体が存在する画像と認識した場合（ステップＳ９；Ｙｅｓ）、波状被写体特定部１０６に波状の被写体が何であるかを識別させる（ステップＳ１５）。ステップＳ８の処理では波状の被写体が存在するか否かを認識しているだけであり、画像に存在する波状の被写体がどのような物体（例えば波のある水面）であるかまではわからない。そこで、本実施形態では、ステップＳ１５により画像内の波状の被写体がどのような物体であるかを識別する。ステップＳ１５は、例えば撮像シーンが海のシーンであるか否か等を識別する周知の識別方法を用いて行えばよい。

ステップＳ１５の後、波状被写体特定部１０６は、波状の被写体が水面（海）の波であるか否かを判断する（ステップＳ１６）。波状の被写体が水面（海）の波である場合（ステップＳ１６；Ｙｅｓ）、処理対象の画像データを波のある海が存在する画像データと特定する（ステップＳ１７）。一方、波状の被写体が水面（海）の波ではない場合（ステップＳ１６；Ｎｏ）、処理対象の画像データを波のある海が存在しない画像データと特定する（ステップＳ１８）。

ステップＳ１７又はステップＳ１８により波状の被写体が波のある海であるか否かを特定したら、画像データと処理結果とを関連付けて画像データ格納部１０２に格納し（ステップＳ７）、画像処理を終了する。

なお、画像データ格納部１０２に処理前の画像データ３が複数格納されている場合には、全ての画像データ３又は選択したいくつかの画像データ３のそれぞれに対し、図１９に示した処理を行う。複数の画像データ３に対する処理は、１つの画像データに対する処理を順次繰り返して行ってもよいし、いくつかの画像データに対する処理を並行して行ってもよい。

以上説明したように、第２の実施形態の画像処理装置１及び画像処理方法によれば、波状の被写体における輝度の勾配方向の特徴を利用して画像に波状の被写体が存在するかを検索し、波状の被写体が存在する画像か否かを認識する。そのため、波状の被写体が存在しない画像を波状の被写体が存在する画像と誤認識することを防げる。また、波状の被写体が存在する画像についてのみ、波状の被写体が何（どのような物体）であるかを識別し、波のある海が存在する画像か否かを特定する。そのため、波状の被写体が存在しない画像を波のある海が存在する画像に特定してしまうことを防げ、波のある海が存在する画像の認識精度が向上する。また、波状の被写体が存在しない画像に対し波のある海が存在するか否かを特定する処理を行わなくてよいので、画像処理装置１の処理負荷を軽減できる。

なお、本実施形態の画像処理も、図１７に示した処理と同様、ステップＳ８の処理において波状の被写体が存在しない画像と認識された場合に画像を９０度回転させ再度ステップＳ８の処理を行うようにしてもよい。

（第３の実施形態）
第３実施形態では、第２の実施形態で説明した処理により波のある海が存在すると特定された画像について、撮像シーンが夕焼け又は朝焼けの海であるか否かを認識する画像処理装置及び画像処理方法を説明する。

図２０は、本発明の第３の実施形態に係る画像処理装置の構成を示す機能ブロック図である。

図２０に示すように、本実施形態の画像処理装置１は、画像データ取得部１０１と、画像データ格納部１０２と、波状被写体検索部１０３と、画像データ出力部１０４と、波状被写体特定部１０６と、撮像シーン認識部１０７と、を備える。画像データ取得部１０１、画像データ格納部１０２、波状被写体検索部１０３、及び画像データ出力部１０４の機能は、それぞれ第１の実施形態で説明したとおりである。また、波状被写体特定部１０６の機能は、第２の実施形態で説明したとおりである。

撮像シーン認識部１０７は、波状被写体特定部１０６により波のある海が存在すると特定された画像に対し、撮像シーンが夕焼け又は朝焼けの海であるか否かを認識する。

図２１は、第３の実施形態に係る画像処理全体の手順を示すフローチャートである。図２２は、図２１の撮像シーン認識処理の処理内容を示すフローチャートである。

本実施形態の画像処理装置１では、図２１に示すように、まず処理対象の画像データを読み出し（ステップＳ１）、波状の被写体が存在するかを検索して波状の被写体が存在する画像か否かを認識する（ステップＳ８）。ステップＳ１，Ｓ８は、波状被写体検索部１０３が行う。波状被写体検索部１０３は、ステップＳ８の処理として、第１の実施形態で説明したステップＳ２〜Ｓ６の処理を行う。そのため、ステップＳ８が終了すると、処理対象の画像データに波状の被写体が存在するか否かの認識が終了している。

ステップＳ８が終了すると、波状被写体検索部１０３は、ステップＳ８の処理結果に応じて次に行う処理を判断する（ステップＳ９）。波状の被写体が存在しない画像と認識した場合（ステップＳ９；Ｎｏ）、画像データと処理結果とを関連付けて画像データ格納部１０２に格納し（ステップＳ７）、画像処理を終了する。

一方、波状の被写体が存在する画像と認識した場合（ステップＳ９；Ｙｅｓ）、波状被写体特定部１０６に波状の被写体が何であるかを識別させる（ステップＳ１５）。ステップＳ８の処理では波状の被写体が存在するか否かを認識しているだけであり、画像に存在する波状の被写体がどのような物体（例えば波のある水面）であるかまではわからない。そこで、本実施形態では、ステップＳ１５により画像内の波状の被写体がどのような物体であるかを識別する。ステップＳ１５は、例えば撮像シーンが海のシーンであるか否か等を識別する周知の識別方法を用いて行えばよい。

ステップＳ１５の後、波状被写体特定部１０６は、波状の被写体が水面（海）の波であるか否かを判断する（ステップＳ１６）。波状の被写体が水面（海）の波である場合（ステップＳ１６；Ｙｅｓ）、処理対象の画像データを波のある海が存在する画像データと特定し（ステップＳ１７）、撮像シーン認識部１０７に撮像シーン認識処理を行わせる（ステップＳ２０）。一方、波状の被写体が水面（海）の波ではない場合には、処理対象の画像データを波のある海が存在しない画像データと特定する（ステップＳ１８）。そして、波のある海が存在しない画像データと特定すると、画像データと処理結果とを関連付けて画像データ格納部１０２に格納し（ステップＳ７）、画像処理を終了する。

ステップＳ２０の撮像シーン認識処理は、上記のように撮像シーン認識部１０７が行う。撮像シーン認識部１０７は、例えば図２２に示すように、まず画像データの各画素の色値に基づくヒストグラムを作成する（ステップＳ２１）。ステップＳ２１では、画像データ内の画素を色値で分別し、各色値の画素数をまとめたヒストグラムを作成する。

撮像シーン認識部１０７は、次に、ヒストグラムを用いて画像の色の傾向を算出する（ステップＳ２２）。ステップＳ２２では、例えば色値を赤色系、緑色系、及び青色系の３つに大別して各色系の画素数を集計する。そして、画素数が極端に多い色系が存在する場合、画素数が多い色系を画像の色の傾向とする。例えば緑色系の画素数が赤色系及び青色系の画素数に比べて多い場合、画像の色の傾向は緑色傾向とする。

次に、画像の色が赤色傾向であるか判断する（ステップＳ２３）。撮像シーン認識処理の対象となっている画像データは、波状の被写体が波のある海であると特定された画像のデータである。そのため、赤色傾向であれば、夕焼け又は朝焼けの海の画像である可能性が非常に高い。したがって、赤色傾向である場合（ステップＳ２３；Ｙｅｓ）、処理対象の画像の撮像シーンは夕焼け又は朝焼けの海のシーンと認識する（ステップＳ２４）。一方、赤色傾向ではない場合（ステップＳ２３；Ｎｏ）、処理対象の画像の撮像シーンは夕焼け又は朝焼け以外の海のシーンと認識する（ステップＳ２５）。

ステップＳ２４又はステップＳ２５により画像データの撮像シーンを認識すると、撮像シーン認識処理が終了する。撮像シーン認識処理が終了すると、図２１に示したように、画像データと処理結果とを関連付けて画像データ格納部１０２に格納し（ステップＳ７）、画像処理を終了する。

なお、画像データ格納部１０２に処理前の画像データ３が複数格納されている場合には、全ての画像データ３又は選択したいくつかの画像データ３のそれぞれに対し、図２１及び図２２に示した処理を行う。複数の画像データ３に対する処理は、１つの画像データに対する処理を順次繰り返して行ってもよいし、いくつかの画像データに対する処理を並行して行ってもよい。

以上説明したように、第３の実施形態の画像処理装置１及び画像処理方法によれば、波状の被写体における輝度の勾配方向の特徴を利用して画像に波状の被写体が存在するかを検索し、波状の被写体が存在する画像か否かを認識する。そのため、波状の被写体が存在しない画像を波状の被写体が存在する画像と誤認識することを防げる。また、波状の被写体が存在する画像についてのみ、波状の被写体が何であるかを識別し、波のある海が存在する画像か否かを特定する。そのため、波状の被写体が存在しない画像を波のある海が存在する画像に特定してしまうことを防げ、波のある海が存在する画像の認識精度が向上する。また、波のある海が存在する画像についてのみ、撮像シーンが夕焼け又は朝焼けの海であるか否かを認識する。そのため、波状の被写体が存在しない画像を夕焼け又は朝焼けの海の画像と誤認識することを防げ、夕焼け又は朝焼けの海の画像の認識精度が向上する。

さらに、波状の被写体が存在しない画像に対し波のある海が存在するか否かを特定する処理や撮像シーンを認識する処理を行わなくてよいので、画像処理装置１の処理負荷を軽減できる。

なお、本実施形態の画像処理も、図１７に示した処理と同様、ステップＳ８の処理において波状の被写体が存在しない画像と認識された場合に画像を９０度回転させ再度ステップＳ８の処理を行うようにしてもよい。

（第４の実施形態）
第４の実施形態では、第３の実施形態で説明した画像処理を適用することで夕焼け又は朝焼けの海の画像に対する意図しない色合いの補正を防ぐ画像処理装置及び画像処理方法について説明する。

図２３は、本発明の第４の実施形態に係る画像処理装置の構成を示す機能ブロック図である。

図２３に示すように、本実施形態の画像処理装置１は、画像データ取得部１０１と、画像データ格納部１０２と、波状被写体検索部１０３と、画像データ出力部１０４と、波状被写体特定部１０６と、撮像シーン認識部１０７とを備える。また、本実施形態の画像処理装置１は、画像判別部１０８と、色補正部１０９とを更に備える。

画像データ取得部１０１、画像データ格納部１０２、波状被写体検索部１０３、及び画像データ出力部１０４の機能は、第１の実施形態で説明したとおりである。また、波状被写体特定部１０６の機能は、第２の実施形態で説明したとおりである。また、撮像シーン認識部１０７の機能は、第３の実施形態で説明したとおりである。

画像判別部１０８は、画像データ３が予め指定した撮像シーンの画像データであるか否かを判別する。本実施形態では、画像判別部１０８は、撮像シーンが夕焼け又は朝焼けであるか否かを判別する。

色補正部１０９は、画像データ３が予め指定した撮像シーンの画像ではなく、かつ光源や撮像装置の特性等に依存した色の偏り（色被り）がある場合に色の偏りを補正する。

本実施形態の画像処理装置１は、例えば新聞や雑誌等に掲載する画像の色合いの自動補正に用いられる。色合いの補正例としては、画像が赤色傾向である場合に赤みを緩和する補正が挙げられる。しかしながら、撮像シーンが夕焼け又は朝焼けの画像のようなもともと赤みの強い画像については、色合いを補正せずに掲載（使用）することが望まれる。そのため、画像判別部１０８において撮像シーンが夕焼け又は朝焼けであると判定された画像については、色補正部１０９による補正を行わないようにする。

ところが、夕焼け又は朝焼けの海の画像は、画像判別部１０８において夕焼け又は朝焼けの画像ではないと誤判定され、色補正部１０９による補正の対象となってしまうことがある。このような事態を鑑み、本実施形態の画像処理装置１では、第３の実施形態で説明した構成及び画像処理方法を適用することで、夕焼け又は朝焼けの画像ではないと誤判定された夕焼け又は朝焼けの海の画像を色補正部１０９による補正の対象から除外する。

図２４Ａは、第４の実施形態に係る画像処理全体の手順を示すフローチャート（その１）である。図２４Ｂは、第４の実施形態に係る画像処理全体の手順を示すフローチャート（その２）である。図２５は、図２４Ａの画像判別処理の処理内容を示すフローチャートである。

本実施形態の画像処理装置１では、図２４Ａに示すように、まず処理対象の画像データを読み出し（ステップＳ１）、画像判別処理を行う（ステップＳ３０）。ステップＳ１，Ｓ３０は、画像判別部１０８が行う。画像判別部１０８は、例えば図２５に示した手順で夕焼け又は朝焼けの画像であるか否かを判別する。

画像判別処理（ステップＳ３０）においては、まず画像データの各画素の色値を読み出す（ステップＳ３１）。次に、読み出した色値に基づいて画像内の配色の傾向を算出する（ステップＳ３２）。ステップＳ３２では、例えば画像内を同系色の画素からなる領域に分割し、各領域の面積や色の分布等を算出する。夕焼け又は朝焼けの画像においては、太陽光が当たっている被写体は赤色系になり、太陽光が当たっていない部分や太陽から遠い部分は黒色になる。例えば夕焼け又は朝焼けの市街地を撮像した画像の場合、撮像位置と太陽との間に位置する建造物のうち太陽光が当たる面は赤色やオレンジ色になり、その他は黒色になる。また、夕焼け又は朝焼けの市街地を撮像した画像では、建造物の上方に空があり、空のうちの建物との境界付近は赤色やオレンジ色になる。そこで、次に、配色が赤色領域と黒色領域とに分かれるかを判断する（ステップＳ３３）。ステップＳ３３では、例えば画面における赤色領域及び黒色領域の占める割合が閾値以上であり、かつ画面の上方に赤色領域が存在し下方に黒色領域が存在する場合、赤色領域と黒色領域とに分かれると判断する。配色が赤色領域と黒色領域とに分かれる場合（ステップＳ３３；Ｙｅｓ）、夕焼け又は朝焼けの画像と判定し（ステップＳ３４）、画像判別処理を終了する。一方、配色が赤色領域と黒色領域とに分けられない場合（ステップＳ３３；Ｎｏ）、夕焼け及び朝焼け以外の画像と判定し（ステップＳ３５）、画像判別処理を終了する。

なお、画像判別処理は、図２５に示した手順に限らず、周知の判別方法のいずれかを用いて行えばよい。

画像判別部１０８は、画像判別処理を終えると、図２４Ａに示したように、夕焼け又は朝焼けの画像であるか否かの判定結果に応じて次に行う処理を判断する（ステップＳ４０）。夕焼け又は朝焼けの画像であると判定した場合（ステップＳ４０；Ｙｅｓ）、図２４Ｂに示すように、画像データと処理結果とを関連付けて画像データ格納部１０２に格納し（ステップＳ７）、画像処理を終了する。一方、夕焼け又は朝焼けの画像ではないと判定した場合（ステップＳ４０；Ｎｏ）、波状被写体検索部１０３に波状の被写体が存在する画像であるか否かを認識させる（ステップＳ８）。波状被写体認識部１０３は、ステップＳ８の処理として第１の実施形態で説明したステップＳ２〜Ｓ６の処理を行う。そのため、ステップＳ８が終了すると、処理対象の画像データに波状の被写体が存在するか否かの認識が終了している。

ステップＳ８が終了すると、波状被写体検索部１０３は、波状の被写体が存在する画像であるか否かの認識結果に応じて次に行う処理を判断する（ステップＳ９）。波状の被写体が存在しない画像であると認識した場合（ステップＳ９；Ｎｏ）、画像データを色補正部１０９に渡し、色補正部１０９に補正処理をさせる（ステップＳ４５〜Ｓ４７）。

色補正部１０９は、図２４Ｂに示すように、まず色の傾向を算出し（ステップＳ４５）、補正の必要の有無を判断する（ステップＳ４６）。補正の必要が無い場合（ステップＳ４６；Ｎｏ）、画像データと処理結果とを関連付けて画像データ格納部１０２に格納し（ステップＳ７）、画像処理を終了する。一方、補正の必要が有ると判定した場合（ステップＳ４６；Ｙｅｓ）、画像内の色を補正する（ステップＳ４７）。そして、補正後の画像データと処理結果とを関連付けて画像データ格納部１０２に格納し（ステップＳ７）、画像処理を終了する。色補正部１０９によるステップＳ４５〜Ｓ４７の処理は、周知の補正方法のいずれかを用いて行えばよい。

話をステップＳ９の判断に戻す。波状被写体検索部１０３は、波状の被写体が存在する画像と認識した場合（ステップＳ９；Ｙｅｓ）、波状被写体特定部１０６に波状の被写体が何（どのような物体）であるかを特定する波状被写体特定処理を行わせる（ステップＳ５０）。波状被写体特定部１０６は、ステップＳ５０の処理として第２の実施形態で説明したステップＳ１５〜Ｓ１８の処理を行い、画像に存在する波状の被写体が波のある海であるか否かを特定する。

波状被写体特定部１０５は、波状被写体特定処理を終えると、波のある海が存在する画像であるか否かの特定結果に応じて次に行う処理を判断する（ステップＳ５１）。波のある海が存在する画像ではないと特定した場合（ステップＳ５１；Ｎｏ）、画像データを色補正部１０９に渡し、色補正部１０９に補正処理をさせる（ステップＳ４５〜Ｓ４７）。一方、波のある海が存在する画像と特定した場合（ステップＳ５１；Ｙｅｓ）、画像データを撮像シーン認識部１０７に渡し、撮像シーン認識部１０７に撮像シーン認識処理を行わせる（図２４ＢのステップＳ２０）。撮像シーン認識部１０７は、ステップＳ２０の処理として第３の実施形態で説明したステップＳ２１〜Ｓ２５の処理（図２２を参照）を行い、夕焼け又は朝焼けの海の画像であるか否かを認識する。

撮像シーン認識部１０７は、撮像シーン認識処理を終えると、夕焼け又は朝焼けの海の画像であるか否かの認識結果に応じて次に行う処理を判断する（ステップＳ５２）。上記のように、夕焼け又は朝焼けの海の画像はもともと赤みを帯びた画像であるため、色補正部１０９による補正の対象から除外する。よって、夕焼け又は朝焼けの海の画像であると認識した場合（ステップＳ５２；Ｙｅｓ）、図２４Ｂに示すように、画像データと処理結果とを関連付けて画像データ格納部１０２に格納し（ステップＳ７）、画像処理を終了する。一方、夕焼け又は朝焼けの海の画像ではないと認識した場合（ステップＳ５２；Ｎｏ）、画像データを色補正部１０９に渡し、色補正部１０９に補正処理をさせる（ステップＳ４５〜Ｓ４７）。色補正部１０９は、ステップＳ４５〜Ｓ４７の処理を終えると、画像データと処理結果とを関連付けて画像データ格納部１０２に格納し（ステップＳ７）、画像処理を終了する。

画像判定部１０８で行うステップＳ３０の画像判別処理では、上述のように、画面における赤色領域及び黒色領域の占める割合が閾値以上であり、かつ画面の上方に赤色領域が存在し下方に黒色領域が存在する画像を、夕焼け又は朝焼けの画像と判定する。しかしながら、図２に示したような夕焼け又は朝焼けの海の画像においては、海３２にも太陽光が当たっており、海３２も赤色系の色になっている。そのため、夕焼け又は朝焼けの海の画像は、ステップＳ３０の判別処理において夕焼け又は朝焼けの画像ではないと判定されることが多い。しかしながら、本実施形態の画像処理方法では、ステップＳ３０の判別処理において夕焼け又は朝焼けの画像ではないと判定された場合でも、以後の処理において夕焼け又は朝焼けの海の画像と認識し色補正部１０９による補正の対象から除外できる。そのため、夕焼け又は朝焼けの海の画像を赤色傾向（赤被り）の画像と誤認識して色合いを自動補正してしまうことを防止できる。

なお、画像データ格納部１０２に処理前の画像データ３が複数格納されている場合には、全ての画像データ３又は選択したいくつかの画像データ３のそれぞれに対し、図２４Ａ及び図２４Ｂに示した処理を行う。複数の画像データ３に対する処理は、１つの画像データに対する処理を順次繰り返して行ってもよいし、いくつかの画像データに対する処理を並行して行ってもよい。

以上説明したように、第４の実施形態の画像処理装置１及び画像処理方法によれば、画像判別部１０８による判別処理で夕焼け又は朝焼けの画像と判定されなかった画像から、夕焼け又は朝焼けの海の画像を抽出することができる。そのため、夕焼け又は朝焼けの海の画像を色補正部１０９による色合いの補正の対象から除外することができる。すなわち、夕焼け又は朝焼けの海の画像が赤色傾向（赤被り）の画像と誤認識され、赤被りを除去するよう色を補正されることを容易に防止できる。したがって、画像処理完了後、誤って色が補正された夕焼け又は朝焼けの画像の有無を調べ、誤って補正された画像の色を元に戻す作業を軽減できる。よって、画像処理装置１の処理負荷やオペレータの作業負担を軽減できる。

以上記載した各実施例を含む実施形態に関し、さらに以下の付記を開示する。
（付記１）
画像データにおける各画素の輝度勾配方向を算出する勾配方向算出部と、
前記輝度の勾配方向が画面上向きかつ予め定めた角度範囲内である上向き勾配の画素及び前記輝度の勾配方向が画面下向きかつ予め定めた角度範囲内である下向き勾配の画素を特定し、複数の前記上向き勾配の画素が画面左右方向に連続した上向き勾配の横長領域及び複数の前記下向き勾配の画素が画面左右方向に連続した下向き勾配の横長領域を抽出する横長領域抽出部と、
前記上向き勾配の横長領域と前記下向き勾配の横長領域とが画面上下方向に繰り返される領域が存在する前記画像データを波状の被写体が存在する画像データと認識する被写体認識部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記被写体認識部は、前記画像データをＣ×Ｒ個の小ブロックに分割して前記小ブロック毎に前記上向き勾配の横長領域と前記下向き勾配の横長領域が画面上下方向に繰り返している否かを判断し、
前記上向き勾配の横長領域と前記下向き勾配の横長領域が繰り返している小ブロックが画面左右方向に所定の数以上並んでいる場合に前記波状の被写体が存在する画像データと認識する
ことを特徴とする付記１に記載の画像処理装置。
（付記３）
前記上向き勾配の横長領域と前記下向き勾配の横長領域が画面上下方向に繰り返していない場合に、画面が９０度回転するよう前記画像データの各画素の位置を変換し、前記上向き勾配の横長領域及び前記下向き勾配の横長領域の抽出、及び前記上向き勾配の横長領域と前記下向き勾配の横長領域とが画面上下方向に繰り返される領域が存在するか否かの判断を再度行う
ことを特徴とする付記１に記載の画像処理装置。
（付記４）
前記横長領域抽出部は、
隣接する複数の上向き勾配の画素を１つのグループにするとともに、隣接する複数の下向き勾配の画素を１つのグループにし、
前記グループのうち、当該グループの外接矩形における画面左右方向の画素数と画面上下方向の画素数との比が予め定めた条件を満たすグループを前記上向き勾配の横長領域及び前記下向き勾配の横長領域とする
ことを特徴とする付記１に記載の画像処理装置。
（付記５）
前記画像データに存在する前記波状の被写体が波のある水面であるか否かを特定する被写体特定部、を更に備える
ことを特徴とする付記１に記載の画像処理装置。
（付記６）
前記波状の被写体が波のある水面である画像データについて、撮像シーンが夕焼け又は朝焼けであるか否かを認識する撮像シーン認識部、を更に備える
ことを特徴とする付記５に記載の画像処理装置。
（付記７）
前記撮像シーン認識部は、前記画像データの各画素の色情報を読み出し、画面の色が赤色系の色に偏っている場合に夕焼け又は朝焼けであると認識する
ことを特徴とする付記６に記載の画像処理装置。
（付記８）
前記画像データの色合いを補正する色補正部、を更に備え、
前記撮像シーン認識部は、撮像シーンが夕焼け又は朝焼けであると認識した画像データを前記色補正部による補正の対象から除外する
ことを特徴とする付記６に記載の画像処理装置。
（付記９）
コンピュータが、
画像データにおける各画素の輝度の勾配方向を算出し、
前記輝度の勾配方向が画面上向きかつ予め定めた角度範囲内である上向き勾配の画素、及び前記輝度の勾配方向が画面下向きかつ予め定めた角度範囲内である下向き勾配の画素を抽出し、
複数の前記上向き勾配の画素が画面左右方向に連続した上向き勾配の横長領域、及び複数の前記下向き勾配の画素が画面左右方向に連続した下向き勾配の横長領域を抽出し、
前記上向き勾配の横長領域と前記下向き勾配の横長領域とが画面上下方向に繰り返される領域が所定の寸法以上である前記画像データを波状の被写体が存在する画像データと認識する
ことを特徴とする画像処理方法。
（付記１０）
前記上向き勾配の横長領域及び前記下向き勾配の横長領域を抽出する処理は、
隣接する複数の上向き勾配の画素を１つのグループにするとともに、隣接する複数の下向き勾配の画素を１つのグループにし、
前記グループのうち、当該グループの外接矩形における画面左右方向の画素数と画面上下方向の画素数との比が予め定めた条件を満たすグループを前記上向き勾配の横長領域及び前記下向き勾配の横長領域とする
ことを特徴とする付記９に記載の画像処理方法。
（付記１１）
波状の被写体が存在すると認識された画像データにおける前記波状の被写体が波のある水面であるか否かを特定する
ことを特徴とする付記９に記載の画像処理方法。
（付記１２）
前記波状の被写体が波のある水面であると特定された画像データにおける撮像シーンが夕焼け又は朝焼けであるか否かを認識する
ことを特徴とする付記１１に記載の画像処理方法。
（付記１３）
前記画像データの色合いを補正する処理、を更に有し、
前記撮像シーンが夕焼け又は朝焼けであると認識した画像データを前記色合いの補正の対象から除外する
ことを特徴とする付記１２に記載の画像処理方法。
（付記１４）
画像データにおける各画素の輝度の勾配方向を算出し、
前記輝度の勾配方向が画面上向きかつ予め定めた角度範囲内である上向き勾配の画素、及び前記輝度の勾配方向が画面下向きかつ予め定めた角度範囲内である下向き勾配の画素を抽出し、
複数の前記上向き勾配の画素が画面左右方向に連続した上向き勾配の横長領域、及び複数の前記下向き勾配の画素が画面左右方向に連続した下向き勾配の横長領域を抽出し、
前記上向き勾配の横長領域と前記下向き勾配の横長領域とが画面上下方向に繰り返される領域が所定の寸法以上である前記画像データを波状の被写体が存在する画像データと認識する、
処理をコンピュータに実行させるためのプログラム。

１ 画像処理
１０１ 画像データ取得部
１０２ 画像データ格納部
１０３ 波状被写体検索部
１０３Ａ 勾配方向算出部
１０３Ｂ 横長領域抽出部
１０３Ｃ 被写体認識部
１０４ 画像データ出力部
１０５ 通信制御部
１０６ 波状被写体特定部
１０７ 撮像シーン認識部
１０８ 画像判定部
１０９ 色補正部
２ 外部装置
３ （処理前の）画像データ
４ （処理済みの）画像データ
５ 表示装置
６ 画像サーバ
３０，３００，３０Ｖ 画像
３１ 空
３２ 海
３２Ａ 波の山
３２Ｂ 波の谷
３２Ｃ 水平線
３３ 太陽

Claims (9)

1. 画像データにおける各画素の輝度の勾配方向を算出する勾配方向算出部と、
   前記輝度の勾配方向が画面上向きかつ予め定めた角度範囲内である上向き勾配の画素及び前記輝度の勾配方向が画面下向きかつ予め定めた角度範囲内である下向き勾配の画素を抽出し、複数の前記上向き勾配の画素が画面左右方向に連続した上向き勾配の横長領域及び複数の前記下向き勾配の画素が画面左右方向に連続した下向き勾配の横長領域を抽出する横長領域抽出部と、
   前記上向き勾配の横長領域と前記下向き勾配の横長領域とが画面上下方向に繰り返される領域が存在する前記画像データを波状の被写体が存在する画像データと認識する波状被写体認識部と、
   を備えることを特徴とする画像処理装置。
2. 前記画像データに存在する前記波状の被写体が波のある水面であるか否かを特定する被写体特定部、を更に備える
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記波状の被写体が波のある水面である画像データについて、撮像シーンが夕焼け又は朝焼けであるか否かを認識する撮像シーン認識部、を更に備える
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記画像データの色合いを補正する色補正部、を更に備え、
   前記撮像シーン認識部は、撮像シーンが夕焼け又は朝焼けであると認識した画像データを前記色補正部による補正の対象から除外する
   ことを特徴とする請求項３に記載の画像処理装置。
5. コンピュータが、
   画像データにおける各画素の輝度の勾配方向を算出し、
   輝度の勾配方向が画面上向きかつ予め定めた角度範囲内である上向き勾配の画素、及び前記輝度の勾配方向が画面下向きかつ予め定めた角度範囲内である下向き勾配の画素を抽出し、
   複数の前記上向き勾配の画素が画面左右方向に連続した上向き勾配の横長領域、及び複数の前記下向き勾配の画素が画面左右方向に連続した下向き勾配の横長領域を抽出し、
   前記上向き勾配の横長領域と前記下向き勾配の横長領域とが画面上下方向に繰り返される領域が所定の寸法以上である前記画像データを波状の被写体が存在する画像データと認識する
   ことを特徴とする画像処理方法。
6. 波状の被写体が存在すると認識された画像データにおける前記波状の被写体が波のある水面であるか否かを特定する
   ことを特徴とする請求項５に記載の画像処理方法。
7. 前記波状の被写体が波のある水面であると特定された画像データにおける撮像シーンが夕焼け又は朝焼けであるか否かを認識する
   ことを特徴とする請求項６に記載の画像処理方法。
8. 前記画像データの色合いを補正する処理、を更に有し、
   前記撮像シーンが夕焼け又は朝焼けであると認識した画像データを前記色合いの補正の対象から除外する
   ことを特徴とする請求項７に記載の画像処理方法。
9. 画像データにおける各画素の輝度の勾配方向を算出し、
   前記輝度の勾配方向が画面上向きかつ予め定めた角度範囲内である上向き勾配の画素、及び前記輝度の勾配方向が画面下向きかつ予め定めた角度範囲内である下向き勾配の画素を抽出し、
   複数の前記上向き勾配の画素が画面左右方向に連続した上向き勾配の横長領域、及び複数の前記下向き勾配の画素が画面左右方向に連続した下向き勾配の横長領域を抽出し、
   前記上向き勾配の横長領域と前記下向き勾配の横長領域とが画面上下方向に繰り返される領域が所定の寸法以上である前記画像データを波状の被写体が存在する画像データと認識する、
   処理をコンピュータに実行させるためのプログラム。