JP2017228821A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】倍率色収差の検出精度を落とさずに、倍率色収差の検出処理速度を低減可能な画像処理装置および画像処理方法を提供すること。【解決手段】検出用画像を縮小して縮小画像を生成する画像縮小手段と、縮小画像を分割した縮小ブロックごとに、倍率色収差の検出に適しているか否かの信頼度を算出する算出手段と、検出用画像を複数の像高領域に分割する像高分割手段と、像高領域で分割される検出領域ごとに、信頼度に基づいて検出用画像を分割したブロックのうち倍率色収差の検出を行う検出用ブロックを決定する決定手段と、検出用ブロックに対して倍率色収差の検出を行う検出手段と、を有する。【選択図】図１

Description

本発明は、画像処理装置および画像処理方法に関する。

従来、縮小画像を使用して、ホワイトバランスの制御、露出制御、またはベクトル検出を行う技術が知られている。例えば、特許文献１では、縮小画像を用いて、動きベクトルを検出し、その確からしさを算出することでグローバルモーションを算出する技術が開示されている。また、特許文献２では、縮小画像を用いてホワイトバランスの制御用、または露出の制御用の評価値を算出する技術が開示されている。

特許第５４０７９７４号公報 特許第５７６９５２４号公報

しかしながら、特許文献１に開示された従来技術では、ベクトル検出を行う場合に縮小画像のみを使用しているため、検出精度が低下してしまう。また、特許文献２に開示された従来技術は、像高について考慮しておらず、算出される評価値が像高に依存する倍率色収差検出等にでは適切ではない。

このような課題に鑑みて、本発明は、倍率色収差の検出精度を落とさずに、倍率色収差の検出処理速度を低減可能な画像処理装置および画像処理方法を提供することを目的とする。

本発明の一側面としての画像処理装置は、検出用画像を縮小して縮小画像を生成する画像縮小手段と、前記縮小画像を分割した縮小ブロックごとに、倍率色収差の検出に適しているか否かの信頼度を算出する算出手段と、前記検出用画像を複数の像高領域に分割する像高分割手段と、前記像高領域で分割される検出領域ごとに、前記信頼度に基づいて前記検出用画像を分割したブロックのうち倍率色収差の検出を行う検出用ブロックを決定する決定手段と、前記検出用ブロックに対して倍率色収差の検出を行う検出手段と、を有することを特徴とする。

また、本発明の他の側面としての画像処理方法は、検出用画像を縮小して縮小画像を生成するステップと、前記検出用画像を複数の像高領域に分割するステップと、前記縮小画像を分割した縮小ブロックごとに、倍率色収差の検出に適しているか否かの信頼度を算出するステップと、前記像高領域で分割される検出領域ごとに、前記信頼度に基づいて前記検出用画像を分割したブロックのうち倍率色収差の検出を行う検出用ブロックを決定するステップと、前記検出用ブロックに対して倍率色収差の検出を行うステップと、を有することを特徴とする。

本発明によれば、倍率色収差の検出精度を落とさずに、倍率色収差の検出処理速度を低減可能な画像処理装置および画像処理方法を提供することができる。

本発明の実施形態に係る画像処理装置を備える撮像装置の構成図である。 検出用画像を示す図である。 記憶部に格納される色ずれ量の補正テーブルの撮影条件を示す図である。 ユーザが設定する撮影条件に基づいて色ずれ量を算出する方法の説明図である。 像高分割部が検出用画像を検出像高領域に分割する方法を示す図である。 縮小画像が縮小分割ブロックで分割された状態を示す図である。 各縮小分割ブロックのＲ画素の配列を示す図である。 各縮小分割ブロックのＧ画素の配列を示す図である。 各縮小分割ブロックのＢ画素の配列を示す図である。 縮小画像の方向領域かつ検出像高領域である検出領域の拡大図である。 画像処理を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。

図１を参照して、本発明の実施形態に係る画像処理装置を備える撮像装置１について説明する。図１は、撮像装置１の構成図である。撮像装置１は、画像処理部（画像処理装置）１００、光学系１０１、撮像素子部１０２、および記憶部（記憶手段）１１１を備える。撮像素子部１０２は、ＣＣＤやＣＭＯＳセンサで構成され、光学系１０１より得られる光信号を光電変換する。なお、本実施形態では、光学系１０１は、撮像装置１の内部に設けられているが、撮像装置１に対して交換可能に装着される構成であってもよい。記憶部１１１は、ＲＯＭやＲＡＭで構成され、倍率色収差量（色ずれ量）の補正テーブル群を保持する。なお、本実施形態では記憶部１１１は撮像装置１の内部に画像処理部１００とは別に設けられているが、本発明はこれに限定されない。例えば、記憶部１１１は、撮像装置１の外部に設けられてもよいし、画像処理部１００の内部に設けられてもよい。

画像処理部１００は、ＡＳＩＣで構成され、画像縮小部１０３、ブロック信頼度算出部１０４、方向分割部１０５、色ずれ量算出部１０６、像高分割部１０７、検出部ブロック決定部１０８、倍率色収差検出部１０９、および制御部（ＣＰＵ）１１０を備える。画像縮小部（画像縮小手段）１０３は、撮像素子部１０２から取得した検出用画像を縮小し、縮小した画像をブロック信頼度算出部１０４に出力する。ブロック信頼度算出部（算出手段。以下、信頼度算出部という）１０４は、画像縮小部１０３から取得した縮小画像を分割したブロックごとに、低コントラスト度、および色つき度に基づいて倍率色収差の検出に適するかどうかの度合（信頼度）を算出する。方向分割部（方向分割手段）１０５は、撮像素子部１０２から取得した検出用画像を、画像中心を基点として複数の方向領域に分割する。色ずれ量算出部１０６は、撮影条件に応じて記憶部１１１が保持する倍率色収差量の補正テーブル群から補正テーブルを選択し、選択した補正テーブルに基づいて色ずれ量を算出する。像高分割部（像高分割手段）１０７は、色ずれ量算出部１０６が算出した色ずれ量に基づいて、検出用画像を複数の検出像高領域に分割する。検出ブロック決定部（決定手段。以下、決定部という）１０８は、信頼度算出部１０４が算出した信頼度および制御部１１０が設定する閾値（所定値）に基づいて、検出用画像を分割したブロックから倍率色収差の検出を行う検出ブロックを決定する。倍率色収差検出部（検出手段。以下、検出部という）１０９は、決定部１０８が決定した検出ブロックの倍率色収差の検出を行う。

図２は、倍率色収差の検出が行われる検出用画像３００を示す図である。図２（Ａ）は、検出用画像３００が方向分割部１０５により画像中心（光軸中心）を基点として方向領域Ｄ０〜Ｄ８で分割された状態を示す図である。図２（Ｂ）は、各方向領域の倍率色収差の検出方向を示す図である。図２（Ｃ）は、検出用画像３００が格子状の分割ブロックＢ００〜Ｂ２８５１で分割された状態を示す図である。検出用画像３００では、各分割ブロックが属する方向領域Ｄ０〜Ｄ７の検出方向にしたがって倍率色収差の検出が行われる。図２（Ｂ）に示されるように、方向領域Ｄ０〜Ｄ７の検出方向はそれぞれ、画像中心から上方向、右上方向、右方向、右下方向、下方向、左下方向、左方向、および左上方向である。

次に、図３、図４を参照して、色ずれ量算出部１０６が、色ずれ量を算出する方法について説明する。図３は、記憶部１１１に格納される色ずれ量の補正テーブルの撮影条件（Ｆ値、焦点距離、およびフォーカス位置）を示す図である。図４は、ユーザが設定する撮影条件に基づいて色ずれ量を算出する方法の説明図である。

本実施形態では、ユーザが撮影条件としてＦ値を４．０、焦点距離を３７ｍｍ、フォーカス位置を５０ｃｍに設定した場合について説明する。記憶部１１１は撮影条件ＡＡ１〜ＤＤ２５ごとに補正テーブルを保持し、色ずれ量算出部１０６は撮影条件ＡＡ１３、ＡＡ１８、ＢＢ１３、ＢＢ１８の色ずれ量の補正テーブルを選択する。図４（Ａ）のＥ０〜Ｅ３はそれぞれ、撮影条件ＡＡ１３、ＡＡ１８、ＢＢ１３、ＢＢ１８の色ずれ量の補正テーブルである。補正テーブルは、図４（Ａ）に示されるように、像高方向に沿って０．２５ｃｍ単位で分割された像高領域Ｈ０〜Ｈ７ごとの色ずれ量を保持する。色ずれ量算出部１０６は、図４（Ｂ）に示されるように、図４（Ａ）の補正テーブルＥ０〜Ｅ３の色ずれ量を加算平均および補間することでユーザが設定した撮影条件に基づく補正テーブルＥ４を算出する。なお、本実施形態では、撮影条件は、Ｆ値、焦点距離、およびフォーカス位置を含んでいるが、Ｆ値、焦点距離、およびフォーカス位置のうち少なくとも１つを含んでいればよい。

次に、図５を参照して、像高分割部１０７が検出用画像３００を検出像高領域Ｉ０〜Ｉ７に分割する方法について説明する。図５は、像高分割部１０７が検出用画像３００を検出像高領域Ｉ０〜Ｉ７に分割する方法を示す図である。色ずれ量算出部１０６が算出した像高領域ごとの色ずれ量は、線形や近似曲線で補間される。そこで、色ずれ量の変化が急峻な（色ずれ量の変化量が所定量より大きい）像高領域では実際の色ずれ量と補間された色ずれ量との誤差が大きくなるため、像高分割部１０７は密に倍率色収差の検出が行われるように像高分割を行う。また、色ずれ量の変化がなだらかな（色ずれ量の変化量が所定量より小さい）像高領域では実際の色ずれ量と補間された色ずれ量との誤差が小さいため、像高分割部１０７は疎に倍率色収差の検出が行われるように像高分割を行う。色ずれ量算出部１０６が算出した像高領域ごとの色ずれ量は、レンズの個体差や交換式レンズの光軸中心のずれに起因して、実際の色ずれ量と大きく異なる場合がある。そこで、像高領域ごとに算出された色ずれ量の絶対値が所定値より大きい像高領域では実際の色ずれ量と像高領域ごとに算出された色ずれ量との誤差が大きくなるため、像高分割部１０７は密に倍率色収差の検出が行われるように像高分割を行う。また、像高領域ごとに算出された色ずれ量の絶対値が所定値より小さい像高領域では実際の色ずれ量と像高領域ごとに算出された色ずれ量との誤差が小さいため、像高分割部１０７は疎に倍率色収差の検出が行われるように像高分割を行う。

例えば、像高領域Ｈ０〜Ｈ３では色ずれ量の変化がなだらかで、かつ、色ずれ量の絶対値も小さいため、像高分割部１０７は疎に倍率色収差の検出が行われるように像高分割を行う。像高領域Ｈ４では色ずれ量の変化が急峻であるため、像高分割部１０７は密に倍率色収差の検出が行われるように像高分割を行う。像高領域Ｈ５〜Ｈ６では色ずれ量の絶対値が大きいため、像高分割部１０７は密に倍率色収差の検出が行われるように像高分割を行う。像高領域Ｈ７では色ずれ量の変化が急峻であるため、像高分割部１０７は密に倍率色収差の検出が行われるように像高分割を行う。具体的には、像高分割部１０７は、画像中心から０．５ｃｍの領域を検出像高領域Ｉ０として分割する。同様に、０．５−０．８ｃｍの領域、０．８−１．０ｃｍの領域、１．０−１．５ｃｍの領域、１．５−１．７ｃｍの領域、１．７−１．８ｃｍの領域、１．８−１．９ｃｍの領域、１．９−２．０ｃｍの領域をそれぞれ、検出像高領域Ｉ１〜Ｉ８として分割する。

次に、図６Ａ〜図６Ｂを参照して、信頼度算出部１０４が画像縮小部１０３により縮小された縮小画像７００を用いて、信頼度（低コントラスト度、および色つき度）を算出する方法について説明する。図６Ａは、縮小画像７００が縮小分割ブロック（縮小ブロック）Ａ００〜Ａ２８５１で分割された状態を示す図である。図６Ｂは、各縮小分割ブロックのＲ画素の配列を示す図である。図６Ｃは、各縮小分割ブロックのＧ画素の配列を示す図である。図６Ｄは、各縮小分割ブロックのＢ画素の配列を示す図である。

本実施形態では、検出用画像３００は、水平４０００画素、垂直３０００ラインで、それぞれが水平６４画素、垂直６４ラインの分割ブロックＢ００〜Ｂ２８５１により水平に６２分割、垂直に４６分割された領域に分割される。例えば、縮小率が１／４である場合、縮小画像７００は、水平１０００画素、垂直７５０ラインとなり、それぞれが水平１６画素、垂直１６ラインの縮小分割ブロックＡ００〜Ａ２８５１により水平に６２分割、垂直に４６分割された領域に分割される。

信頼度算出部１０４は、各縮小分割ブロックの図６ＢのＲ画素の配列、図６ＣのＧ画素の配列、図６ＤのＢ画素の配列において、Ｒ画素、Ｇ画素、およびＢ画素の低コントラスト度をそれぞれ以下の式を用いて算出する。

縮小分割ブロックＡ００〜Ａ２８５１の低コントラスト度は、Ｒ画素、Ｇ画素、およびＢ画素の低コントラスト度を加算平均して算出されてもよいし、重みづけ平均して算出されてもよい。

また、信頼度算出部１０４は、各縮小分割ブロックのＲ画素、Ｇ画素、およびＢ画素の配列において、Ｒ画素およびＢ画素の色つき度をそれぞれ以下の式を用いて算出する。

縮小分割ブロックＡ００〜Ａ２８５１の色つき度は、Ｒ画素およびＢ画素の色つき度を加算平均して算出されてもよいし、重みづけ平均して算出されてもよい。

次に、図７を参照して、決定部１０８が信頼度算出部１０４が算出した信頼度（低コントラスト度、および色つき度）と制御部１１０が設定する閾値に基づいて、倍率色収差の検出が行われる検出ブロックを算出する方法について説明する。図７は、縮小画像７００の方向領域Ｄ６かつ検出像高領域Ｉ７である検出領域の拡大図である。図中のブロックの数値は信頼度であり、数値が大きいブロックほど低コントラストかつ色つきであり信頼度が低い。本実施形態では、制御部１１０は、閾値を２０に設定している。決定部１０８は、信頼度が閾値より小さいブロック（図中の白色のブロック）を倍率色収差の検出を行うブロックとして決定し、信頼度が閾値より大きいブロック（図中の灰色のブロック）を倍率色収差の検出を行う検出ブロックとして決定しない。なお、本実施形態では、制御部１１０が設定する閾値を２０に設定しているが、本発明はこれに限定されない。閾値をより小さくすることで、倍率色収差の検出を行う検出ブロックの個数を少なくして更に処理速度を速めることができる。また、閾値をより大きくすることで、倍率色収差の検出を行う検出ブロックの個数は多くなるが、より高精度に倍率色収差の検出を行うことができる。

次に、図８を参照して、本実施形態の画像処理について説明する。図８は、画像処理部１００による画像処理を示すフローチャートである。画像処理部１００により実行される画像処理は、ソフトウエアおよびハードウエア上で動作するコンピュータプログラムとしての画像処理プログラムにしたがって実行される。画像処理プログラムは、例えば、コンピュータが読み取り可能な記録媒体に記録されていてもよい。また、本実施形態では画像処理部１００が画像処理を実行するが、パーソナルコンピュータ（ＰＣ）や専用の装置が画像処理装置として本実施形態の画像処理を実行してもよい。また、本実施形態の画像処理のプログラムに対応する回路を設け、回路を動作させることで本実施形態の画像処理を実行させてもよい。

ステップＳ１００１では、画像縮小部１０３は、ユーザから設定された撮影条件で記録用画像である検出用画像３００が取得されたタイミングで、検出用画像３００を縮小して縮小画像７００を生成する。

ステップＳ１００２では、方向分割部１０５は、検出用画像３００を方向領域Ｄ０〜Ｄ７で分割する。

ステップＳ１００３では、色ずれ量算出部１０６は、撮影条件に基づいて補正テーブルを選択し、色ずれ量を算出する。

ステップＳ１００４では、像高分割部１０７は、色ずれ量算出部１０６から取得する色ずれ量に基づいて、検出用画像３００を検出像高領域Ｉ０〜Ｉ７で分割する。

ステップＳ１００５では、信頼度算出部１０４は、縮小画像７００を縮小分割ブロックＡ００〜Ａ２８５１で分割して、信頼度（低コントラスト度、および色つき度）を算出する。このとき、各縮小分割ブロックは、各検出用ブロックに対して１／４に縮小されている。そのため、縮小分割ブロックＡ００〜Ａ２８５１を用いて信頼度の判定を行う場合、分割ブロックＢ００〜Ｂ２８５１を用いて上記処理を行う場合に比べて、４倍の速さで上記処理を実行することができる。なお、本実施形態では画像縮小部１０３による縮小率を１／４としているが、本発明はこれに限定されない。例えば、縮小率をより大きくすることで更に処理速度を速めることができる。また、縮小率をより小さくすることで、処理速度は遅くなるが、より高精度に上記処理を行うことができる。

ステップＳ１００６では、決定部１０８は、各縮小分割ブロックの信頼度と、制御部１１０が設定する閾値に基づいて、検出用画像３００の各検出ブロックで倍率色収差の検出を行うか否かを決定する。

ステップＳ１００７では、検出部１０９は、方向領域Ｄ０〜Ｄ７および検出像高領域Ｉ０〜Ｉ７で分割された検出領域において、決定部１０８が決定した検出ブロックに対して倍率色収差の検出を行う。検出部１０９は、検出領域内の全てのブロックに対して倍率色収差の検出を行わず、決定部１０８が決定した信頼度の検出ブロックに対して倍率色収差の検出を行うため、精度を保ちながら、倍率色収差の検出の処理時間を短縮することができる。

ステップＳ１００８では、検出部１０９が検出した色ずれ量に基づいて倍率色収差の補正が実行される。

以上説明したように、本実施形態では、検出用画像のうち縮小画像を用いて倍率色収差の検出に適した領域を決定し、決定した領域に対してのみ倍率色収差の検出を行う。そのため、倍率色収差の検出精度を保つとともに、処理時間を短縮することができる。

また、各処理の速度は、画像縮小部１０３で生成される縮小画像の縮小率や制御部１１０が設定する信頼度の閾値を変更することで、撮像装置１の連写や単写などの各種の撮影モードに応じて変更することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 画像処理部（画像処理装置）
１０３ 画像縮小部（画像縮小手段）
１０４ 信頼度算出部（算出手段）
１０７ 像高分割部（像高分割手段）
１０８ 検出ブロック決定部（決定手段）
１０９ 倍率色収差検出部（検出手段）

Claims (12)

1. 検出用画像を縮小して縮小画像を生成する画像縮小手段と、
   前記縮小画像を分割した縮小ブロックごとに、倍率色収差の検出に適しているか否かの信頼度を算出する算出手段と、
   前記検出用画像を複数の像高領域に分割する像高分割手段と、
   前記像高領域で分割される検出領域ごとに、前記信頼度に基づいて前記検出用画像を分割したブロックのうち倍率色収差の検出を行う検出用ブロックを決定する決定手段と、
   前記検出用ブロックに対して倍率色収差の検出を行う検出手段と、を有することを特徴とする画像処理装置。
2. 前記像高分割手段は、撮影条件に応じて選択される倍率色収差量の補正テーブルに基づいて、前記検出用画像を複数の像高領域に分割することを特徴とする請求項１に記載の画像処理装置。
3. 前記像高分割手段は、倍率色収差量の大きさに基づいて、前記検出用画像を複数の像高領域に分割することを特徴とする請求項２に記載の画像処理装置。
4. 前記像高分割手段は、倍率色収差量の変化量に基づいて、前記検出用画像を複数の像高領域に分割することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記決定手段は、前記信頼度が所定値より大きい場合、前記ブロックを前記検出用ブロックとして決定することを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 撮影条件ごとの倍率色収差量の補正テーブルを保持する記憶手段を更に有することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記撮影条件は、焦点距離、フォーカス位置、およびＦ値のうち少なくとも１つであることを特徴とする請求項６に記載の画像処理装置。
8. 前記信頼度は、画素に関する低コントラスト度および色つき度のうち少なくともいずれかであることを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 請求項１から８のいずれか１項に記載の画像処理装置を有することを特徴とする撮像装置。
10. 検出用画像を縮小して縮小画像を生成するステップと、
    前記検出用画像を複数の像高領域に分割するステップと、
    前記縮小画像を分割した縮小ブロックごとに、倍率色収差の検出に適しているか否かの信頼度を算出するステップと、
    前記像高領域で分割される検出領域ごとに、前記信頼度に基づいて前記検出用画像を分割したブロックのうち倍率色収差の検出を行う検出用ブロックを決定するステップと、
    前記検出用ブロックに対して倍率色収差の検出を行うステップと、を有することを特徴とする画像処理方法。
11. 請求項１０に記載の画像処理方法の各工程をコンピュータに実行させるための画像処理プログラム。
12. 請求項１１に記載の画像処理プログラムを記録したコンピュータが読み取り可能な記録媒体。