JP2005128956A - 被写体判定プログラム及びデジタルカメラ - Google Patents

Abstract

【課題】被検画像中の被写体の判定を行う装置としてコンピュータを機能させる際にそのコンピュータの演算の負荷をできるだけ軽減できる被写体判定プログラムを、提供する。
【解決手段】デジタルスチルカメラ内の制御装置７０において、フラッシュメモリ７０ｆ内の被写体判定プログラム７３を実行中のＣＰＵ７０ａは、第１のインターフェース回路７０ｃを通じてアナログデジタル変換器２０から画像データを取得すると、フラッシュメモリ７０ｆ内の各モデル画像データ７１の各々について、そのモデル画像データ７１と取得した画像データ中の各部との積率相関係数を順次算出することにより、積率相関係数の二次元分布データを生成した後、最高値が最上である二次元分布データに対応するモデル画像データ７１を特定し、そのモデル画像データ７１に対応する被写体情報を生成する。
【選択図】図４

Description

本発明は、画像データに基づく画像の中の被写体がどの種のものであるかを判定するための装置としてコンピュータを機能させる被写体判定プログラムと、撮影時に取得した画像データに対して被写体の種類に応じた画質補正用の処理を施すデジタルカメラとに、関する。

周知のように、被写体がデジタルカメラで撮影されたり、被写体が写り込んだポジやネガがスキャナで読み取られたりすると、その被写体の画像を表示するための画像データが生成される。また、このような画像データに対して数学的な演算処理を施すことにより、その画像データに基づく画像の明暗度や尖鋭度や色合い等を変更することができる。このため、デジタルカメラやスキャナの設定や特性、或いは、被写体への照明の具合などにより、画像の画質があまり良くない場合でも、その画像データに適正な演算処理を施すだけで、その画像の画質を簡単に補正することができる。

ところで、近年のデジタルカメラに組み込まれる画像処理用のソフトウエアは、このような画質補正を行うための機能を、通常有している。但し、画質補正の経験が少ない者は、画像中の被写体の種類に応じてどの種の画質補正用の処理を画像データに施すべきかを、理解していない。このため、数ある画像処理用のソフトウエアの中には、撮影時に画質補正を自動的に実行するため、或いは、どの種類の被写体であるかを操作者に提示するために、画像データに基づく画像の中の被写体がどの種のものであるかを判定する機能を備えているものがある（例えば特許文献１参照）。
特開２００３−０１８４５３号公報（段落００６１〜００７９）

しかしながら、上述した従来の画像処理用のソフトウエアは、被写体までの距離や撮影レンズの焦点距離や撮影倍率などの情報をデジタルカメラ中の各装置から取得し、それら情報に基づいて、被写体がどの種のものであるかを判定しており、画像中の被写体の種類をその画像データ自体から判定するようには構成されていないという事情がある。

なお、画像中の被写体を正確に判定する方法として、いわゆるマッチング技術を導入することも考えられなくはない。この場合、各種の被写体の画像の画像データが参照画像データとして事前に多数用意され、画質補正を行う対象である被検画像の画像データが入力されると、この被検画像の特徴量と各参照画像の特徴量との差分がそれぞれ算出され、その後に、最も差分が小さい参照画像が特定される。これにより、被検画像の被写体が、特定された参照画像の被検体と同じであると判定される。

ところが、特にコンパクトなデジタルカメラにおける画像処理のための記憶容量や処理速度には制限があるため、被検画像と各モデル画像とのマッチングに非常に時間が掛かってしまい、画像中の被写体を判定する時に、操作者を待たせることとなる。

本発明は、上述したような従来事情に鑑みてなされたものであり、その課題は、被検画像中の被写体の種類を判定するための装置としてコンピュータを機能させる際にそのコンピュータの演算の負荷をできるだけ軽減できる被写体判定プログラムと、撮影時に取得した画像データに対して被写体の種類に応じた適正な画質補正用の処理を行う場合であってもその処理をできるだけ迅速に行うことができるデジタルカメラとを、提供することにある。

上記の課題を解決するために発明された被写体判定プログラムは、以下に記述されるように、構成されている。

すなわち、この被写体判定プログラムは、コンピュータを、１つ以上のモデル画像データとそのモデル画像データに基づく画像の中の被写体を定義する被写体情報とを対応付けて記憶装置に記憶する記憶手段，被検画像データが入力される入力手段，前記記憶装置内の１つ以上のモデル画像データのそれぞれについて、そのモデル画像データと前記被検画像データの各部との積率相関係数を演算することによって当該積率相関係数の二次元分布データを取得する分布取得手段，前記モデル画像データのそれぞれについて取得した前記各二次元分布データの中で最上の最高値を有する二次元分布データを特定する特定手段，及び、特定された二次元分布データを算出する際に基となったモデル画像データに対応する被写体情報を前記記憶装置から読み出して出力する出力手段として機能させることを、特徴としている。

このように構成されるため、この被写体判定プログラムが実行されたコンピュータは、被検画像データが入力された場合、その被検画像データと各モデル画像データとの積率相関係数の二次元分布データを生成し、生成した各二次元分布データのうち、最上の最高値を有する二次元分布データを特定し、特定した二次元分布データの基であるモデル画像データに対応する被写体情報を出力する。このとき、各二次元分布データは、被検画像データの各部と各モデル画像データとの類似性を判定するための情報であるが、その類似性を判定できる範囲内においてモデル画像データの大きさ（画素数）をできるだけ小さくすることにより、被検画像データとモデル画像データとのマッチングの際の演算の負荷を軽減することができる。

また、上記の課題を解決するために発明されたデジタルカメラは、以下に記述されるように、構成されている。

すなわち、このデジタルカメラは、１つ以上のモデル画像データとそのモデル画像データに基づく画像の中の被写体を定義する被写体情報とを対応付けて記憶する記憶部と、対物光学系が形成する被写体像を撮像して被検画像データを順次生成する撮像デバイスと、所定の補正値を用いて前記被検画像データに演算処理を施すことにより、その被検画像データに基づいて表示装置に表示される画像の画質を変更する画像処理部と、前記記憶装置内の１つ以上のモデル画像データのそれぞれについて、そのモデル画像データと前記被検画像データの各部との積率相関係数を演算することによって当該積率相関係数の二次元分布データを取得する分布取得部と、前記モデル画像データのそれぞれについて取得した前記各二次元分布データの中で最上の最高値を有する二次元分布データを特定する特定部と、特定された二次元分布データを算出する際に基となったモデル画像データに対応する被写体情報を前記記憶部から読み出す読出部と、前記画像処理部が用いる補正値を、読み出された被写体情報に対応した補正値へ変更する設定変更部とを備えることを、特徴としている。

このように構成されるため、撮像デバイスが被検画像データを出力した時には、その被検画像データの各部に対して最も類似するモデル画像データが特定され、そのモデル画像データに対応する被写体情報が読み出され、画像処理部が用いる補正値が、その被写体情報に対応した補正値へ変更される。然も、撮影時であると否とに拘わらず、撮像デバイスからは被検画像データが常時出力されており、被検画像データが撮像デバイスから出力される毎に、前記画像処理部が用いる補正値が、順次変更される。従って、撮影前には、被写体の種類に応じた補正値が必ず画像処理部に設定されているため、操作者が、あらゆる被写体を撮影したとしても、その撮影により生成される画像データに対しては、被写体の種類に応じた適正な画質補正用の処理が、迅速になされることとなる。

以上に説明したように、本発明によれば、被検画像中の被写体の種類を判定するための装置としてコンピュータを機能させる際にそのコンピュータの演算の負荷をできるだけ軽減することができる。また、このような演算負荷を軽減できる結果、撮影時であると否とに拘わらず、画質補正用の設定を、常時、被写体の種類に応じて変更できるため、撮影時に取得した画像データに対し、被写体の種類に応じた適正な画質補正用の処理を迅速に施すことができる。

以下、図面に基づいて、本発明を実施するための最良の形態を説明する。

図１は、本発明の実施形態であるデジタルスチルカメラの内部を概略的に示す構成図である。このデジタルスチルカメラは、撮像デバイス１０，アナログデジタル変換器２０，イメージプロセッサ３０，記憶装置４０，表示装置５０，操作盤６０，及び、制御装置７０を、主要な構成品として備えている。

撮像デバイス１０は、図示せぬ対物光学系が形成する被写体像を撮像するための撮像装置であり、撮像にて得られた画像データを常時出力する。アナログデジタル変換器２０は、撮像デバイス１０が出力する画像データを、アナログ信号の形態からデジタル信号の形態へ順次変換させるための機器である。

イメージプロセッサ３０は、アナログデジタル変換器２０から出力される画像データに所定の処理を施すための画像処理装置である。このイメージプロセッサ３０は、後述の制御装置７０からの指示を受けて、アナログデジタル変換器２０から画像データを取得し、取得した画像データに対し、制御装置７０からの情報に対応した数学的な演算処理を施すことにより、その画像データに基づく画像の画質を変更する。

記憶装置４０は、イメージプロセッサ３０から出力される画像データを順次記憶するためのメモリである。表示装置５０は、イメージプロセッサ３０から出力される画像データに基づく画像を表示するためのディスプレイである。

操作盤６０は、デジタルスチルカメラを操作するための各種のスイッチやボタンやキーを備えており、例えば、主電源を投入又は切断するためのスイッチ，撮影モードや表示モードを切り替えるためのスイッチ，シャッターボタン，各種設定を変更するためのボタンや十字キーなどを、備えている。

制御装置７０は、デジタルスチルカメラ全体を制御するコントローラであり、操作盤６０上のスイッチやボタンやキーになされた操作に応じた処理を実行する。図２は、この制御装置７０を概略的に示す構成図である。

制御装置７０は、ＣＰＵ７０ａ，ＲＡＭ７０ｂ，第１のインターフェース回路７０ｃ，第２のインターフェース回路７０ｄ，第３のインターフェース回路７０ｅ，及び、フラッシュメモリ７０ｆを、備えており、これらハードウエア７０ａ〜７０ｅは、バスＢを介して互いに接続されている。

ＣＰＵ７０ａは、この制御装置７０全体を制御する中央処理装置である。ＲＡＭ７０ｂは、ＣＰＵ７０ａが各種プログラムを実行するに際しての作業領域が展開される主記憶装置である。

第１のインターフェース回路７０ｃは、アナログデジタル変換器２０からの画像データの受信を司る装置である。なお、アナログデジタル変換器２０からは、画像データが出力されており、この第１のインターフェース回路７０ｃが受信した画像データは、ＲＡＭ７０ｂへ順次送られる。

第２のインターフェース回路７０ｄは、操作盤６０上の各種のスイッチやボタンやキーに操作がなされた時にその操作盤６０から出力される情報の受信を司る装置である。

第３のインターフェース回路７０ｅは、イメージプロセッサ３０への情報の送信を司る装置である。この第２のインターフェース回路７０ｄがイメージプロセッサ３０へ送信する情報は、後述するプログラムをＣＰＵ７０ａが実行した結果得られる情報である。

フラッシュメモリ７０ｆは、各種データや各種プログラムが格納されている記憶装置である。このフラッシュメモリ７０ｆは、この制御装置７０の主要部品である基板に備えられたソケットに対して着脱可能に装着されている。このため、このフラッシュメモリ７０ｆは、修正された各種データやバージョンアップされた各種プログラムが記録されたフラッシュメモリ７０ｆへ、交換することができる。このとき、このフラッシュメモリ７０ｆは、交換可能なコンピュータ可読媒体として機能する。

このフラッシュメモリ７０ｆが格納しているデータには、１つ以上のモデル画像データ７１が含まれている。このモデル画像データ７１は、人物，紅葉，花，海，夕焼け，建造物などを被写体とする画像の画像データである。

このモデル画像データ７１は、このデジタルスチルカメラが撮影により生成してフラッシュメモリ７０ｆに格納した画像データであっても良いし、このデジタルスチルカメラの有する図示せぬ通信機能を通じて他のコンピュータからフラッシュメモリ７０ｆに入力された画像データであっても良いし、このデジタルスチルカメラの製品出荷時にフラッシュメモリ７０ｆに格納されていたものであっても良い。

また、フラッシュメモリ７０ｆが格納しているデータには、対応テーブル７２が含まれている。対応テーブル７２は、モデル画像データ７１とそのモデル画像データ７１に基づくモデル画像の中の被写体を定義するための被写体情報とを対応付けて記憶するテーブルである。図３は、この対応テーブル７２を概念的に説明するためのデータ構造図である。

図３に示されるように、対応テーブル７２には、各モデル画像データ７１に対して一意に関連付けられたレコードが、格納されている。これら各レコードは、「ファイル名」フィールド及び「被写体情報」フィールドを、含んでいる。「ファイル名」フィールドには、モデル画像データ７１のファイル名が、格納されている。「被写体情報」フィールドには、被写体の種類に関する被写体情報が、格納されている。

また、フラッシュメモリ７０ｆが格納しているプログラムには、このデジタルスチルカメラ全体を制御するための全体制御プログラムが、含まれている。さらに、この全体制御プログラムには、そのモジュールプログラムとして、本発明に係る被写体判定プログラム７３，補正値設定プログラム，被写体情報表示プログラムが、含まれている。

被写体判定プログラム７３は、ＣＰＵ７０ａに対し、アナログデジタル変換器２０から制御装置７０に連続的に送られてくる画像データのそれぞれについて、その画像データに基づく画像の中の被写体を判定させ、その被写体の被写体情報を特定させるプログラムである。

また、補正値設定プログラムは、ＣＰＵ７０ａに対し、上記被写体判定プログラム７３に従って被写体情報を特定した後に、イメージプロセッサ３０において用いられている明暗度や尖鋭度や色合いなどの補正値を、その被写体情報に対応した補正値へ変換するための情報を生成させ、この情報をイメージプロセッサ３０へ出力させるプログラムである。

また、被写体情報表示プログラムは、ＣＰＵ７０ａに対し、上記被写体判定プログラム７３に従って被写体情報を特定した後に、表示装置５０に表示される画像の中にその被写体情報をスーパーインポーズするための画像データを生成させ、その画像データをその表示装置５０へ送信させるプログラムである。

以下、以上のように構成される制御装置７０において実行される処理について、説明する。

まず、この操作盤６０上の主電源用のスイッチが操作されることによって主電源が投入されると、制御装置７０のＣＰＵ７０ａが、フラッシュメモリ７０ｆ内の全体制御プログラムを読み込み、デジタルスチルカメラ全体の制御を開始する。また、操作盤６０上のモード切替スイッチが操作されることによってデジタルスチルカメラが撮影モードに切り替えられると、ＣＰＵ７０ａは、フラッシュメモリ７０ｆから被写体判定プログラム７３を読み込む。すると、制御装置７０には、被写体判定処理プロセスが生成される。図４は、この被写体判定処理の内容を説明するためのフローチャートである。

被写体判定処理の開始後、最初のステップＳ１０１では、ＣＰＵ７０ａは、アナログデジタル変換器２０から送られてくる画像データが第１のインターフェース回路７０ｃを通じてＲＡＭ７０ｂ内に格納されるまで、待機する。そして、１枚の画像についての画像データがＲＡＭ７０ｂ内に格納されると、ＣＰＵ７０ａは、ステップＳ１０２へ処理を進める。

ステップＳ１０２では、ＣＰＵ７０ａは、ＲＡＭ７０ｂに格納された画像データを簡略化する。ここで実行される簡略化は、例えば、サムネイル化（縮小化），データの間引き，平均化，及び、特定条件を持つ画素の抽出である。ＣＰＵ７０ａは、このような簡略化を実行することにより、画像データの画素数を、数百万の画素数から、例えば３２×３２や６４×６４の画素数まで減少させる。なお、このようにして画素数が減少された画像データを、以下、「被検画像データ」と表記する。この被検画像データの生成後、ＣＰＵ７０ａは、ステップＳ１０３へ処理を進める。

ステップＳ１０３では、ＣＰＵ７０ａは、被検画像データの色空間をＲＧＢからＹＣｒＣｂへ変換する。ここで行われる処理を概念的に説明すると、ＣＰＵ７０ａは、被検画像データの一画素の階調値（Ｒ，Ｇ，Ｂ）を以下の３式に代入して演算することによって階調値（Ｙ，Ｃｒ，Ｃｂ）を生成する演算処理を、各画素について実行する。
Ｙ＝ ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｃｒ＝ ０．７０１Ｒ−０．５８７Ｇ−０．１１４Ｂ
Ｃｂ＝−０．２９９Ｒ−０．５８７Ｇ＋０．８８６Ｂ

このステップＳ１０３の実行後、ＣＰＵ７０ａは、フラッシュメモリ７０ｆ内に格納されている１つ以上のモデル画像データ７１のそれぞれについて、処理ループＬ１を実行する。

この処理ループＬ１では、ＣＰＵ７０ａは、フラッシュメモリ７０ｆ内のモデル画像データ７１を順に処理対象として特定することにより、それらモデル画像データ７１の各々に対し、ステップＳ１１１〜Ｓ１１６を繰り返し実行する。

ステップＳ１１１では、ＣＰＵ７０ａは、処理対象のモデル画像データ７１を簡略化する。ここで実行される簡略化は、ステップＳ１０２で実行される簡略化と同じである。ＣＰＵ７０ａは、このような簡略化を実行することにより、モデル画像データ７１の画素数を、例えば１０×１０や２０×２０へ減少させる。なお、このようにして画素数が減少されたモデル画像データを、以下、「参照画像データ」と表記する。この参照画像データの生成後、ＣＰＵ７０ａは、ステップＳ１１２へ処理を進める。

ステップＳ１１２では、ＣＰＵ７０ａは、参照画像データの色空間をＲＧＢからＹＣｒＣｂへ変換する。ここで行われる処理は、ステップＳ１０３で実行される処理と同じである。変換後、ＣＰＵ７０ａは、ステップＳ１１３へ処理を進める。

ステップＳ１１３では、ＣＰＵ７０ａは、被検画像データのＣｒ成分と処理対象の参照画像データのＣｒ成分とについて、積率相関係数の二次元分布データを算出する。

具体的には、例えば、被検画像データが２０×２０の画素数を持ち、参照画像データが１０×１０の画素数を持つ場合、ＣＰＵ７０ａは、まず、被検画像データ中の１０×１０の画素数の領域を特定し、この領域中の１０×１０個の画素と参照画像データとの積率相関係数を算出する。そして、ＣＰＵ７０ａは、この積率相関係数を算出する処理を、被検画像データ中から（一部重複を認めつつ）抽出できる１０×１０の画素数の領域の全てに対し、繰り返し実行する。この例の場合では、被検画像データ中からは、１０×１０の画素数の領域が、１０×１０個抽出できるので、１０×１０個の積率相関係数が算出されることとなる。この結果、ＣＰＵ７０ａは、積率相関係数を１０×１０個持つ二次元分布データを生成する。

なお、この積率相関係数とは、ｎ個の変量ｘを持つ集団Ｘ，及び、同じくｎ個の変量ｙを持つ集団Ｙの間の関連性の程度を表現するための数値をいい、この積率相関係数は、通常、−１から＋１までの間の値を取る。この積率相関係数の計算方法は、統計学的によく知られているので、簡単に説明すると、以下の数１で表されるように、積率相関係数γは、変量ｘの標準偏差と変量ｙの標準偏差との積で、変量ｘと変量ｙとの共分散を割ることにより、得られる。

このステップＳ１１３の実行により、被検画像データのＣｒ成分と処理対象の参照画像データのＣｒ成分とについて、積率相関係数の二次元分布データを算出した後、ＣＰＵ７０ａは、ステップＳ１１４へ処理を進める。

ステップＳ１１４では、ＣＰＵ７０ａは、被検画像データのＣｂ成分と処理対象の参照画像データのＣｂ成分とについて、積率相関係数の二次元分布データを算出する。なお、算出方法は、ステップＳ１１３の場合と同様である。算出後、ＣＰＵ７０ａは、ステップＳ１１５へ処理を進める。

ステップＳ１１５では、ＣＰＵ７０ａは、Ｃｒ成分についての二次元分布データとＣｂ成分についての二次元分布データとにおける互いに同じ座標上にある積率相関係数同士の相乗平均を算出する。ＣＰＵ７０ａは、この相乗平均の算出を各座標について実行することにより、相乗平均の二次元分布データを生成する。例えば、Ｃｒ成分についての積率相関係数が１０×１０個あり、Ｃｂ成分についての積率相関係数が１０×１０個ある場合、このステップＳ１１５では、相乗平均が、１０×１０個算出される。このような相乗平均の二次元分布データを生成後、ＣＰＵ７０ａは、ステップＳ１１６へ処理を進める。

ステップＳ１１６では、ＣＰＵ７０ａは、ステップＳ１１５において生成した相乗平均の二次元分布データを、処理対象のモデル画像データ７１に対応する被写体情報と対応付けてＲＡＭ７０ｂに記憶し、この処理対象に対する処理ループＬ１を終了する。

ＣＰＵ７０ａは、上述したような処理ループＬ１を、フラッシュメモリ７０ｆ内の全てのモデル画像データ７１に対し、繰り返し実行することにより、全てのモデル画像データ７１のそれぞれについて、相乗平均の二次元分布データを生成する。そして、ＣＰＵ７０ａは、この処理ループＬ１から脱した後、ステップＳ１０４へ処理を進める。

ステップＳ１０４では、ＣＰＵ７０ａは、各モデル画像データ７１について各回の処理ループＬ１でのＳ１１５にて生成した相乗平均の二次元分布データのうち、相乗平均の最高値が最も大きい相乗平均の二次元分布データを特定する。特定後、ＣＰＵ７０ａは、ステップＳ１０５へ処理を進める。

ステップＳ１０５では、ＣＰＵ７０ａは、ステップＳ１０４において特定した相乗平均の二次元分布データの基となるモデル画像データ７１に対応する被写体情報を、対応テーブル７２から読み出す。読み出し後、ＣＰＵ１０ａは、ステップＳ１０６へ処理を進める。

ステップＳ１０６では、ＣＰＵ７０ａは、ステップＳ１０５において読み出した被写体情報を、ＲＡＭ７０ｂ内の所定領域に記録されている被写体情報に上書きすることによって、被写体情報を更新する。更新後、ＣＰＵ７０ａは、この被写体判定処理を終了する。

このような被写体判定処理が、制御装置７０において実行されるので、撮影時と否とに拘わらずアナログデジタル変換器２０から順次送られてくる画像データに基づいて、被写体情報が順次特定され、ＲＡＭ７０ｂ内の所定領域に格納されている被写体情報が順次更新される。

このような状況の下、操作盤６０上のシャッターボタンが操作された際には、補正値設定プログラムが起動され、その時点でＲＡＭ７０ｂ内の所定領域に格納されている被写体情報が読み出され、イメージプロセッサ３０において用いられている補正値をその被写体情報に対応した補正値へ変換するための情報が生成され、この情報がイメージプロセッサ３０へ出力される。そして、この情報が入力されたイメージプロセッサ３０は、撮影時にアナログデジタル変換器２０から取得した画像データに対し、その情報の示す補正値に基づいた画質補正を施すこととなる。

つまり、デジタルスチルカメラの操作者がシャッターボタンを押す前には、既にその被写体が正確に特定され、然も、被写体の種類に対応した補正値がイメージプロセッサ３０に設定されるため、操作者が、あらゆる被写体を撮影したとしても、生成される画像データに対し、被写体の種類に応じた適正な画質補正用の処理が迅速になされることとなる。その結果、操作者が、シャッターボタンを押してから画像データが生成されて記憶装置４０に記録されるまで、待たされることがなくなる。

また、被写体判定処理によってＲＡＭ７０ｂ内の所定領域に格納されている被写体情報が順次更新されると、被写体情報表示プログラムに従ったＣＰＵ７０ａが、表示装置５０に表示される画像の中にその被写体情報をスーパーインポーズするための情報を生成し、表示装置５０が被写体情報をスーパーインポーズした画像を表示する。

このため、操作者は、操作盤６０上のシャッターボタンを押す前に、撮影しようとする被写体にデジタルスチルカメラを向ければ、その被写体に対応する被写体情報を表示装置５０に表示させることができる。その結果、操作者は、これから撮影しようとする被写体に対してなされる画質補正の種類がどの種のものであるかを簡単に知ることができる。

また、制御装置７０がイメージプロセッサ３０に対して補正値の設定を自動的に行わず、操作者が手動で設定しなければならない場合であっても、操作者は、表示装置５０に表示された被写体情報により、どの種の画質補正を行えば良いかを知ることができる。

なお、上述した実施形態では、被写体判定プログラム７３がデジタルスチルカメラの全体制御プログラム内に組み込まれていたが、被写体判定プログラム７３が組み込まれ得るプログラムは、デジタルスチルカメラの全体制御プログラムに限定されるものではない。例えば、パーソナルコンピュータにインストールされる画像処理ソフトウエアであっても良い。このような画像処理ソフトウエアにおいても、被写体判定プログラムが起動されれば、ユーザが任意の画像データに対して画質補正用の処理を行おうとした際、その画像データに基づく画像の中の被写体についての被写体情報を提示することができる。従って、ユーザは、その被写体情報に基づいて、どの種の画質補正を行えば良いかを知ることができる。

以下、上述した被写体判定処理において実際に算出された相乗平均の二次元分布データの具体例を９例示す。

図５は、第１の具体例における被検画像を示し、図６は、第１の具体例における参照画像を示す。図５及び図６に示されるように、第１の具体例は、被検画像の主題が枝先の薄紫色の紫陽花の全体であるとともに、参照画像がその被検画像中の２乃至３個の萼の部分をそのまま切り出したものであるときの例である。なお、図５に示される被検画像の画素数は、６４×６４であり、図６に示される参照画像の画素数は、２４×２４である。

また、図７は、図５の被検画像と図６の参照画像のＣｒ成分についての積率相関係数の二次元分布データに基づいて作成した三次元グラフであり、図８は、図５の被検画像と図６の参照画像のＣｂ成分についての積率相関係数の二次元分布データに基づいて作成した三次元グラフである。

さらに、図９は、上記のＣｒ成分についての二次元分布データとＣｂ成分についての二次元分布データとに基づいて作成された表であり、二次元分布上の各座標での積率相関係数同士の相乗平均を示した表である。図１０は、この相乗平均の二次元分布データに基づいて作成した三次元グラフである。

なお、図７乃至図１０では、グラフを作図し易くするため、及び、計算負荷を抑えるため、負の相関係数とそれに基づく相乗平均は、−０．５にクリップされている。また、相乗平均の二次元分布の表は、計算上、４０×４０個の欄を持っているはずであるが、図９では、紙面の都合上、二次元分布の表中の特徴的な箇所を含んでいる１１×１１個の欄だけが、示されている。

図９及び図１０に示されるように、第１の具体例での相乗平均の二次元分布では、最大の相乗平均が０．９９７である。つまり、この二次元分布は、被検画像におけるこの最大の相乗平均のある位置に対応する部分と参照画像とに極めて強い相関関係があることを、示している。そして、被検画像における当該部分は、参照画像と全く同じ内容を持つ部分であることから、相乗平均の二次元分布は、被検画像と参照画像の相関関係を適切に表すものとして有効に機能している。

図１１は、第２の具体例における被検画像を示す。第２の具体例は、接写された赤色の花の蘂の部分が被検画像の主題であるとともに、第１の具体例と同じ参照画像（図６参照）が用いられたときの例である。なお、図１１に示される被検画像の画素数は、第１の具体例と同様に、６４×６４である。

また、図１２は、第２の具体例でのＣｒ成分についての積率相関係数の三次元グラフであり、図１３は、第２の具体例でのＣｂ成分についての積率相関係数の三次元グラフである。さらに、図１４は、二次元分布上の各座標での積率相関係数同士の相乗平均を示した表であり、図１５は、この相乗平均の三次元グラフである。なお、図１２乃至図１５においても、図７乃至図１０と同様の理由（負側の作図の容易性及び計算負荷の低減）に因り、負の相関係数とそれに基づく相乗平均は、−０．５にクリップされている。また、図１４でも、図９と同様の理由（紙面の都合）に因り、４０×４０個の欄からなる二次元分布の表のうち、特徴的な箇所を含む１１×１１個の欄だけが、示されている。

図１４及び図１５に示されるように、第２の具体例での相乗平均の二次元分布では、最大の相乗平均が０．００３である。つまり、この二次元分布は、被検画像中のどの部分も参照画像とは相関関係が全くないことを、示している。そして、参照画像中の色と類似する色が被検画像中に全く無いことや、図１１と図６とを比較して明らかなように、参照画像中の萼に類似する形状を持つものが被検画像中に全く無いことから、視覚的にも、直観的にも、被検画像の各部と参照画像に相関関係が殆どないことが明らかである。従って、相乗平均の二次元分布は、被検画像と参照画像の相関関係を適切に表すものとして有効に機能している。

図１６は、第３の具体例における被検画像を示す。第３の具体例は、第１の具体例の枝先とは異なる枝先の薄紫色の紫陽花の全体が被検画像の主題であるとともに、第１の具体例と同じ参照画像（図６参照）が用いられたときの例である。なお、図１６に示される被検画像の画素数は、第１の具体例と同様に、６４×６４である。

また、図１７は、第３の具体例でのＣｒ成分についての積率相関係数の三次元グラフであり、図１８は、第３の具体例でのＣｂ成分についての積率相関係数の三次元グラフである。さらに、図１９は、二次元分布上の各座標での積率相関係数同士の相乗平均を示した表であり、図２０は、この相乗平均の三次元グラフである。なお、図１７乃至図２０でも、上記と同様の理由に因り、負の相関係数とそれに基づく相乗平均は、−０．５にクリップされている。また、図１９でも、上記のと同様の理由に因り、４０×４０個の欄からなる二次元分布の表うち、特徴的な箇所を含む１１×１１個の欄だけが、示されている。

図１９及び図２０に示されるように、第３の具体例での相乗平均の二次元分布では、最大の相乗平均が０．３０２である。つまり、この二次元分布は、被検画像におけるこの最大の相乗平均のある位置に対応する部分と参照画像とに多少の相関関係があることを、示している。これは、参照画像中の色とほぼ同じ色が被検画像中に多数存在することに起因している。

図２１は、第４の具体例における被検画像を示す。第４の具体例は、第１及び第３の具体例の枝先とは異なる枝先の薄紫色の紫陽花の全体が被検画像の主題であるとともに、第１の具体例と同じ参照画像（図６参照）が用いられたときの例である。なお、図２１に示される被検画像の画素数は、第１の具体例と同様に、６４×６４である。

また、図２２は、第４の具体例でのＣｒ成分についての積率相関係数の三次元グラフであり、図２３は、第４の具体例でのＣｂ成分についての積率相関係数の三次元グラフである。さらに、図２４は、二次元分布上の各座標での積率相関係数同士の相乗平均を示した表であり、図２５は、この相乗平均の三次元グラフである。なお、図２２乃至図２５でも、負の相関係数とそれに基づく相乗平均は、−０．５にクリップされている。また、図２４でも、４０×４０個の欄からなる二次元分布の表のうち、特徴的な箇所を含む１１×１１個の欄だけが、示されている。

図２４及び図２５に示されるように、第４の具体例での相乗平均の二次元分布では、最大の相乗平均が０．３４９である。つまり、この二次元分布も、第３の具体例と同様に、被検画像におけるこの最大の相乗平均のある位置に対応する部分と参照画像とに多少の相関関係があることを、示している。これも、参照画像中の色とほぼ同じ色が被検画像中に多数存在することに起因している。

図２６は、第５の具体例における被検画像を示し、図２７は、第５の具体例における参照画像を示す。第５の具体例は、薄桃色の服を着た人物の上半身が被検画像の主題であるとともに、薄赤紫色の一輪の花が参照画像の主題であるときの例である。なお、図２６に示される被検画像の画素数は、６４×６４であり、図２７に示される参照画像の画素数は、２４×２４である。

また、図２８は、第５の具体例でのＣｒ成分についての積率相関係数の三次元グラフであり、図２９は、第５の具体例でのＣｂ成分についての積率相関係数の三次元グラフである。さらに、図３０は、二次元分布上の各座標での積率相関係数同士の相乗平均を示した表であり、図３１は、この相乗平均の三次元グラフである。なお、図２８乃至図３１でも、負の相関係数とそれに基づく相乗平均は、−０．５にクリップされている。また、図３０でも、４０×４０個の欄からなる二次元分布の表のうち、特徴的な箇所を含む１１×１１個の欄だけが、示されている。

図３０及び図３１に示されるように、第５の具体例での相乗平均の二次元分布では、最大の相乗平均が０．２１５である。つまり、この二次元分布は、第３の具体例と同様に、被検画像におけるこの最大の相乗平均のある位置に対応する部分と参照画像とにあまり相関関係がないことを、示している。このことから、参照画像中の色と類似する色が被検画像中に存在しているだけでは、相関関係が上がらないことが分かる。

図３２は、第６の具体例における被検画像を示し、図３３は、第６の具体例における参照画像を示す。第６の具体例は、被検画像の主題が人物の上半身であるとともに、参照画像がその被検画像中の顔の部分をそのまま切り出したものであるときの例である。なお、図３２に示される被検画像の画素数は、６８×７０であり、図３３に示される参照画像の画素数は、３４×３０である。

また、図３４は、第６の具体例でのＣｒ成分についての積率相関係数の三次元グラフであり、図３５は、第６の具体例でのＣｂ成分についての積率相関係数の三次元グラフである。さらに、図３６は、二次元分布上の各座標での積率相関係数同士の相乗平均を示した表であり、図３７は、この相乗平均の三次元グラフである。なお、図３４乃至図３７でも、負の相関係数とそれに基づく相乗平均は、−０．５にクリップされている。また、相乗平均の二次元分布の表は、計算上、３４×４０個の欄を持っているはずであるが、図３６では、紙面の都合上、特徴的な箇所を含む１７×９個の欄だけが、示されている。

図３６及び図３７に示されるように、第６の具体例での相乗平均の二次元分布では、最大の相乗平均が１．０００である。つまり、この二次元分布は、被検画像におけるこの最大の相乗平均のある位置に対応する部分と参照画像とに極めて強い相関関係があることを、示している。そして、被検画像における当該部分は、参照画像と全く同じ内容を持つ部分であることから、相乗平均の二次元分布は、被検画像と参照画像の相関関係を適切に表すものとして有効に機能している。

図３８は、第７の具体例における被検画像を示す。第７の具体例は、近代的なビル群が被検画像の主題であるとともに、第６の具体例と同じ参照画像（図３３参照）が用いられたときの例である。なお、図３８に示される被検画像の画素数は、８８×８４である。

また、図３９は、第７の具体例でのＣｒ成分についての積率相関係数の三次元グラフであり、図４０は、第７の具体例でのＣｂ成分についての積率相関係数の三次元グラフである。さらに、図４１は、二次元分布上の各座標での積率相関係数同士の相乗平均を示した表であり、図４２は、この相乗平均の三次元グラフである。なお、図３９乃至図４２でも、負の相関係数とそれに基づく相乗平均は、−０．５にクリップされている。また、図３９でも、５４×５４個の欄からなる二次元分布の表のうち、特徴的な箇所を含む２４×８個の欄だけが、示されている。

図４１及び図４２に示されるように、第７の具体例での相乗平均の二次元分布では、最大の相乗平均が０．２３２である。つまり、この二次元分布は、第３の具体例と同様に、被検画像におけるこの最大の相乗平均のある位置に対応する部分と参照画像とにあまり相関関係がないことを、示している。これは、参照画像中の色と同じか類似する色が被検画像中に殆どないことに起因している。

図４３は、第８の具体例における被検画像を示す。第８の具体例は、第６の具体例とは異なる人物の上半身が被検画像の主題であるとともに、第６の具体例と同じ参照画像（図３３参照）が用いられたときの例である。なお、図４３に示される被検画像の画素数は、７２×４８である。

また、図４４は、第８の具体例でのＣｒ成分についての積率相関係数の三次元グラフであり、図４５は、第８の具体例でのＣｂ成分についての積率相関係数の三次元グラフである。さらに、図４６は、二次元分布上の各座標での積率相関係数同士の相乗平均を示した表であり、図４７は、この相乗平均の三次元グラフである。なお、図４４乃至図４７でも、負の相関係数とそれに基づく相乗平均は、−０．５にクリップされている。また、図４６でも、３８×１８個の欄からなる二次元分布の表のうち、特徴的な箇所を含む１９×７個の欄だけが、示されている。

図４６及び図４７に示されるように、第８の具体例での相乗平均の二次元分布では、最大の相乗平均が０．３１５である。つまり、この二次元分布は、被検画像におけるこの最大の相乗平均のある位置に対応する部分と参照画像とに多少の相関関係があることを、示している。これは、顔の色や顔の形がほぼ同じであることに起因している。

図４８は、第９の具体例における被検画像を示し、図４９は、第９の具体例における参照画像を示す。第９の具体例は、第６及び図８の具体例とは異なる人物の上半身が被検画像の主題であるとともに、その人物とも第６の具体例の人物とも異なる人物の画像における顔の部分を切り出したものであるときの例である。なお、図４８に示される被検画像の画素数は、６４×６４であり、図４９に示される参照画像の画素数は、２４×２４である。

また、図５０は、第９の具体例でのＣｒ成分についての積率相関係数の三次元グラフであり、図５１は、第９の具体例でのＣｂ成分についての積率相関係数の三次元グラフである。さらに、図５２は、二次元分布上の各座標での積率相関係数同士の相乗平均を示した表であり、図５３は、この相乗平均の三次元グラフである。なお、図５０乃至図５３でも、負の相関係数とそれに基づく相乗平均は、−０．５にクリップされている。また、図５２でも、４０×４０個の欄からなる二次元分布の表のうち、特徴的な箇所を含む２０×７個の欄だけが、示されている。

図５１及び図５２に示されるように、第９の具体例での相乗平均の二次元分布では、最大の相乗平均が０．３５５である。つまり、この二次元分布は、被検画像におけるこの最大の相乗平均のある位置に対応する部分と参照画像とに多少の相関関係があることを、示している。これも、第８の具体例と同様に、顔の色や顔の形がほぼ同じであることに起因している。

ところで、本実施形態では、撮像デバイス１０は、常時、画像データを生成するものとして説明したが、これに限定されるものではない。例えば、この撮像デバイス１０は、操作盤６０上にあるシャッターボタンが半押しされた時と、そのシャッターボタンが全押しされた時のみ、画像データを生成するものであっても良い。この場合、操作者は、撮影しようとする被写体にデジタルスチルカメラを向けて、シャッターボタンを半押しすれば、その被写体に対応する被写体情報を表示装置５０に表示させることができる。その結果、操作者は、これから撮影しようとする被写体に対してなされる画質補正の種類がどの種のものであるかを簡単に知ることができる。

また、本実施形態では、デジタルスチルカメラについて説明したが、デジタルビデオカメラであっても、同様の効果を奏することができる。

本実施形態であるデジタルスチルカメラを概略的に示す構成図 制御装置を概略的に示す構成図 対応テーブルのデータ構造図 被写体判定処理の内容を説明するためのフローチャート 第１の具体例での被検画像 第１の具体例での参照画像 第１の具体例でのＣｒ成分についての積率相関係数の三次元グラフ 第１の具体例でのＣｂ成分についての積率相関係数の三次元グラフ 第１の具体例での各座標での積率相関係数同士の相乗平均を示した表 第１の具体例での相乗平均の三次元グラフ 第２の具体例での被検画像 第２の具体例でのＣｒ成分についての積率相関係数の三次元グラフ 第２の具体例でのＣｂ成分についての積率相関係数の三次元グラフ 第２の具体例での各座標での積率相関係数同士の相乗平均を示した表 第２の具体例での相乗平均の三次元グラフ 第３の具体例での被検画像 第３の具体例でのＣｒ成分についての積率相関係数の三次元グラフ 第３の具体例でのＣｂ成分についての積率相関係数の三次元グラフ 第３の具体例での各座標での積率相関係数同士の相乗平均を示した表 第３の具体例での相乗平均の三次元グラフ 第４の具体例での被検画像 第４の具体例でのＣｒ成分についての積率相関係数の三次元グラフ 第４の具体例でのＣｂ成分についての積率相関係数の三次元グラフ 第４の具体例での各座標での積率相関係数同士の相乗平均を示した表 第４の具体例での相乗平均の三次元グラフ 第５の具体例での被検画像 第５の具体例での参照画像 第５の具体例でのＣｒ成分についての積率相関係数の三次元グラフ 第５の具体例でのＣｂ成分についての積率相関係数の三次元グラフ 第５の具体例での各座標での積率相関係数同士の相乗平均を示した表 第５の具体例での相乗平均の三次元グラフ 第６の具体例での被検画像 第６の具体例での参照画像 第６の具体例でのＣｒ成分についての積率相関係数の三次元グラフ 第６の具体例でのＣｂ成分についての積率相関係数の三次元グラフ 第６の具体例での各座標での積率相関係数同士の相乗平均を示した表 第６の具体例での相乗平均の三次元グラフ 第７の具体例での被検画像 第７の具体例でのＣｒ成分についての積率相関係数の三次元グラフ 第７の具体例でのＣｂ成分についての積率相関係数の三次元グラフ 第７の具体例での各座標での積率相関係数同士の相乗平均を示した表 第７の具体例での相乗平均の三次元グラフ 第８の具体例での被検画像 第８の具体例でのＣｒ成分についての積率相関係数の三次元グラフ 第８の具体例でのＣｂ成分についての積率相関係数の三次元グラフ 第８の具体例での各座標での積率相関係数同士の相乗平均を示した表 第８の具体例での相乗平均の三次元グラフ 第９の具体例での被検画像 第９の具体例での参照画像 第９の具体例でのＣｒ成分についての積率相関係数の三次元グラフ 第９の具体例でのＣｂ成分についての積率相関係数の三次元グラフ 第９の具体例での各座標での積率相関係数同士の相乗平均を示した表 第９の具体例での相乗平均の三次元グラフ

符号の説明

１０ 撮像デバイス
２０ アナログデジタル変換器
３０ イメージプロセッサ
４０ 記憶装置
５０ 表示装置
６０ 操作盤
７０ 制御装置
７０ａ ＣＰＵ
７０ｂ ＲＡＭ
７０ｃ 第１のインターフェース回路
７０ｄ 第２のインターフェース回路
７０ｅ 第３のインターフェース回路
７０ｆ フラッシュメモリ
７１ モデル画像データ
７２ 対応テーブル
７３ 被写体判定プログラム

Claims (3)

1. コンピュータを、
   １つ以上のモデル画像データとそのモデル画像データに基づく画像の中の被写体を定義する被写体情報とを対応付けて記憶装置に記憶する記憶手段，
   被検画像データが入力される入力手段，
   前記記憶装置内の１つ以上のモデル画像データのそれぞれについて、そのモデル画像データと前記被検画像データの各部との積率相関係数を演算することによって当該積率相関係数の二次元分布データを取得する分布取得手段，
   前記モデル画像データのそれぞれについて取得した前記各二次元分布データの中で最上の最高値を有する二次元分布データを特定する特定手段，及び、
   特定された二次元分布データを算出する際に基となったモデル画像データに対応する被写体情報を前記記憶装置から読み出して出力する出力手段
   として機能させる
   ことを特徴とする被写体判定プログラム。
2. 前記分布取得手段は、
   前記被検画像データの色空間をＹＣｒＣｂに変換するとともに、前記記憶装置内の全てのモデル画像データの色空間をＹＣｒＣｂに変換する色空間変換手段と、
   前記各モデル画像データのＣｒ成分と前記被検画像データのＣｒ成分の各部との積率相関係数を演算することにより、Ｃｒ成分についての積率相関係数の二次元分布データを取得するとともに、前記各モデル画像データのＣｂ成分と前記被検画像データのＣｂ成分の各部との積率相関係数を演算することにより、Ｃｂ成分についての積率相関係数の二次元分布データを取得する係数演算部と、
   前記二次元分布データにおける互いに同じ座標上の積率相関係数同士の相乗平均を算出する処理を、前記各モデル画像データのそれぞれについて行うことによって、各モデル画像データのそれぞれについて前記相乗平均の二次元分布データを生成する平均演算部と
   からなる
   ことを特徴とする請求項１記載の被写体判定プログラム。
3. １つ以上のモデル画像データとそのモデル画像データに基づく画像の中の被写体を定義する被写体情報とを対応付けて記憶する記憶部と、
   対物光学系が形成する被写体像を撮像して被検画像データを順次生成する撮像デバイスと、
   所定の補正値を用いて前記被検画像データに演算処理を施すことにより、その被検画像データに基づいて表示装置に表示される画像の画質を変更する画像処理部と、
   前記記憶装置内の１つ以上のモデル画像データのそれぞれについて、そのモデル画像データと前記被検画像データの各部との積率相関係数を演算することによって当該積率相関係数の二次元分布データを取得する分布取得部と、
   前記モデル画像データのそれぞれについて取得した前記各二次元分布データの中で最上の最高値を有する二次元分布データを特定する特定部と、
   特定された二次元分布データを算出する際に基となったモデル画像データに対応する被写体情報を前記記憶部から読み出す読出部と、
   前記画像処理部が用いる補正値を、読み出された被写体情報に対応した補正値へ変更する設定変更部と
   を備えることを特徴とするデジタルカメラ。
   

Images