JP2009049707A - 電子カメラおよび被写体認識プログラム、被写体認識装置、被写体認識方法 - Google Patents

Abstract

【課題】
撮影光学系に光学フィルタを装着して撮影された画像から特定の被写体を認識する場合、光学フィルタの影響によって被写体の認識結果に誤りが生じるという問題があった。
【解決手段】
本発明では、撮影光学系から入射する被写体像を撮像して画像データを生成する撮像手段と、前記撮影光学系に着脱可能な光学フィルタまたは接写リングの種類を特定する情報を入力する情報入力手段と、前記撮像手段によって生成された画像データに対し、前記情報入力手段が入力した光学フィルタまたは接写リングの種類に応じた被写体認識処理を選択して実行する被写体認識手段と、前記被写体認識手段の認識結果と前記撮像手段によって生成された画像データとを関連付けて記憶媒体に記録する記録手段とを設けた。
【選択図】 図１

Description

本発明は、撮影光学系に着脱可能な光学フィルタや接写リングを介して撮影された画像から被写体を認識する技術に関する。

従来、撮影者が撮影光学系に着脱可能な光学フィルタを装着して画像を撮像する装置が知られている（例えば、下記特許文献１参照）。一方、撮像した画像から被写体を認識する装置が知られている（例えば、下記特許文献２参照）。
特開２００６−２６７７４９号公報 特開２００５−２５２９５６号公報

一般に、撮影光学系に着脱可能な光学フィルタは、撮影画像に特殊な効果をもたらすために装着されることが多い。ところが、光学フィルタを装着して撮影された画像から特定の被写体（シーンを含む）を認識する場合、撮影された画像は光学フィルタの影響を受けているため、被写体の認識結果に誤りが生じる可能性があった。同様に、接写リング使用する場合も、撮影される被写体の大きさが変わるため、被写体の認識条件に合わなくなる恐れがあった。

本発明の目的は、撮影光学系に着脱可能な光学フィルタや接写リングを装着して撮影した画像であっても、画像中の被写体を高い精度で認識できる被写体認識装置、被写体認識方法、被写体認識プログラム、および電子カメラを提供することである。

本発明に係る電子カメラは、撮影光学系から入射する被写体像を撮像して画像データを生成する撮像手段と、前記撮影光学系に着脱可能な光学フィルタまたは接写リングの種類を特定する情報を入力する情報入力手段と、前記撮像手段によって生成された画像データに対し、前記情報入力手段が入力した光学フィルタまたは接写リングの種類に応じた被写体認識処理を選択して実行する被写体認識手段と、前記被写体認識手段の認識結果と前記撮像手段によって生成された画像データとを関連付けて記憶媒体に記録する記録手段とを有することを特徴とする。

特に、前記情報入力手段は、ユーザーの操作によって選択された光学フィルタまたは接写リングの種類を入力する入力手段であることを特徴とする。

或いは、前記情報入力手段は、光学フィルタまたは接写リングの種類を検出する検出手段であることを特徴とする。

本発明に係る被写体認識プログラムは、画像データ入力部を有するコンピュータのプログラムであって、前記画像データ入力部から画像データを入力する画像データ入力ステップと、前記画像データ入力ステップで入力した画像データを撮影した時の光学フィルタまたは接写リングの種類を特定する情報を入力する情報入力ステップと、前記画像データ入力ステップにより入力された画像データに対し、前記情報入力ステップで入力した光学フィルタまたは接写リングの種類に応じた被写体認識処理を選択して実行する被写体認識ステップとを有することを特徴とする。

さらに、認識された被写体の領域と被写体の種類とを示す認識結果をコンピュータの表示部に表示する表示ステップを更に設けたことを特徴とする。

さらに、前記被写体認識ステップの認識結果と前記画像データ入力ステップで入力した画像データとを関連付けてコンピュータの記憶部に記録する記録ステップを更に設けたことを特徴とする。

また、前記画像データ入力ステップで入力した画像データに、認識結果が付加されている場合は、認識された被写体の領域と被写体の種類とを示す認識結果をコンピュータの表示部に表示する表示ステップを実行し、前記画像データ入力ステップで入力した画像データに、認識結果が付加されていない場合は、前記画像データを撮影した時の光学フィルタまたは接写リングの種類を特定する情報の入力に関するユーザの操作を受け付ける情報入力ステップと、前記画像データ入力ステップにより入力された画像データに対して前記情報入力ステップで入力された光学フィルタまたは接写リングの種類に応じた被写体認識処理を選択して実行する被写体認識ステップとを実行した後、認識された被写体の領域と被写体の種類とを示す認識結果をコンピュータの表示部に表示する表示ステップを実行することを特徴とする。

本発明に係る被写体認識装置は、前記被写体認識プログラムを実行するコンピュータを有することを特徴とする。

本発明に係る被写体認識方法は、画像データ入力部から画像データを入力する画像データ入力手順と、前記画像データ入力手順で入力した画像データを撮影した時の光学フィルタまたは接写リングの種類を特定する情報を入力する情報入力手順と、前記画像データ入力手順により入力された画像データに対し、前記情報入力手順で入力した光学フィルタまたは接写リングの種類に応じた被写体認識処理を選択して実行する被写体認識手順とを有することを特徴とする。

本発明によれば、撮影光学系に着脱可能な光学フィルタや接写リングを装着して撮影された画像であっても、被写体を高い精度で認識することができる。

以下、図面を参照して本発明に係る被写体認識装置、被写体認識方法、被写体認識プログラム、および電子カメラの各実施形態について詳しく説明する。
（第１の実施形態）
図１は第１の実施形態に係る被写体認識機能を有する電子カメラ１００のブロック図である。電子カメラ１００は、カメラ本体１０１と、交換レンズ１０２と、光学フィルタ１０３と、接写リング１０４とで構成される。

カメラ本体１０１は、制御回路１０５と、フラッシュメモリ１０６と、システムバス１０７と、操作部材１０８と、撮像素子１０９と、撮像素子駆動回路１１０と、信号処理回路１１１と、データ処理回路１１２と、表示制御回路１１３と、モニタ１１４と、圧縮／伸長回路１１５と、記録Ｉ／Ｆ１１６と、記憶媒体１１７と、測光回路１１８と、レンズＩ／Ｆ１１９および１２０と、ＲＡＭ１２１とで構成される。

ユーザーは、操作部材１０８にある電源スイッチやレリーズボタンなどの操作インターフェースを介して制御回路１０５に指示を与える。制御回路１０５は、予めフラッシュメモリ１０６に記憶されたプログラムに従って動作し、操作部材１０８の操作内容に応じて、システムバス１０７に接続されている電子カメラ１００全体の動作を制御する。

図１において、光学フィルタ１０３，交換レンズ１０２，接写リング１０４を介して入射する被写体からの光は、撮像素子１０９の受光面に結像される。撮像素子１０９の受光面に結像された光は画像信号として、撮像素子駆動回路１１０からのタイミング信号に応じて、信号処理回路１１１に読み出される。尚、撮像素子１０９は、例えばＣＣＤ型撮像素子やＣＭＯＳ型撮像素子などで構成される。

撮像素子駆動回路１１０は、システムバス１０７を介して入力される制御回路１０５の指令に従って露光タイミングや画像信号の読み出しタイミングを撮像素子１０９に出力する。尚、露光時間は、測光回路１１８が測定した被写体の光量に応じて制御回路１０５が求める。また、制御回路１０５は、被写界の明るさの情報を測光回路１１８の出力から求めてもよいし、撮像素子１０９より出力される画像信号から求めてもよい。

信号処理回路１１１は、システムバス１０７を介して入力される制御回路１０５の指令に従って、撮像素子１０９から読み出される画像信号を所定のレベルに増幅し、Ａ／Ｄ変換してデジタルの画像データに変換する。さらに、ホワイトバランス処理やγ変換などの色変換処理を行って、データ処理回路１１２に出力する。

データ処理回路１１２は、システムバス１０７を介して入力される制御回路１０５の指令に従って、信号処理回路１１１から出力される画像データの解像度変換処理を行う。例えば、信号処理回路１１１は、画像データをモニタ１１４の表示画面の解像度に応じた解像度に変換して、表示制御回路１１３に出力する。或いは、信号処理回路１１１から出力される画像データをそのまま圧縮／伸長回路１１５に出力する。また、制御回路１０５の指令に従って電子ズームを利用する場合の拡大や縮小に伴う解像度変換もデータ処理回路１１２が行う。

表示制御回路１１３は、システムバス１０７を介して入力される制御回路１０５の指令に従って、データ処理回路１１２によって解像度変換された画像データをモニタ１１４に表示する。尚、表示制御回路１１３は、モニタ１１４に表示されている画像データに重畳して、撮影メニュー、カーソルなど制御回路１０５から指令されるオーバーレイ描画や文字を表示する処理も行う。

圧縮／伸長回路１１５は、システムバス１０７を介して入力される制御回路１０５の指令に従って、データ処理回路１１２からスルー出力された画像データをＪＰＥＧ規格など所定の画像圧縮アルゴリズムで画像圧縮処理して、記録Ｉ／Ｆ１１６に出力する。記録Ｉ／Ｆ１１６は、システムバス１０７を介して入力される制御回路１０５のタイミングに従って、圧縮／伸長回路１１５が出力する画像圧縮された画像データを記憶媒体１１７に記録する。逆に、圧縮／伸長回路１１５は、記憶媒体１１７に記録されている画像圧縮された画像データを読み出して、伸長処理を施して非圧縮の画像に戻し、データ処理回路１１２に出力する。データ処理回路１１２は、上述したように、表示制御回路１１３を介してモニタ１１４に画像を表示する。尚、記憶媒体１１７は、例えば、メモリカード、小型ハードディスク、ＤＶＤなどの光ディスクなどで構成される。また、記憶媒体１１７は、電子カメラ１００に内蔵されるものであっても、着脱可能に装着されるものであってもよい。さらに、記憶媒体１１７は電子カメラ１００の外部に設けられ、有線または無線で電気的に接続されるものであってもよい。本実施形態の記憶媒体１１７は、カメラ本体１０１から取り外して外部のパソコンなどに接続可能なメモリカードとする。

レンズＩ／Ｆ１１９は、システムバス１０７を介して接続される制御回路１０５と交換レンズ１０２との間で制御データを入出力するインターフェースである。同様に、レンズＩ／Ｆ１２０は、システムバス１０７を介して接続される制御回路１０５と接写リング１０４との間で制御データを入出力するインターフェースである。尚、制御データについては後で詳しく説明する。

ＲＡＭ１２１は、制御回路１０５が被写体認識などの画像処理を行う際にバッファとして利用される。また、信号処理回路１１１，データ処理回路１１２，圧縮／伸長回路１１５が画像データを処理する際のバッファとしても利用される。

次に、接写リング１０４は、レンズＩ／Ｆ１５１と、レンズＩ／Ｆ１５２と、ＲＯＭ１５３と、レンズ１５４と、レンズＩ／Ｆ１５５とで構成される。カメラ本体１０１のレンズＩ／Ｆ１１９に接続されるレンズＩ／Ｆ１５１は、カメラ本体１０１の制御回路１０５に入出力される制御データをそのままレンズＩ／Ｆ１５５に入出力する。カメラ本体１０１のレンズＩ／Ｆ１２０に接続されるレンズＩ／Ｆ１５２はＲＯＭ１５３に接続される。カメラ本体１０１の制御回路１０５は、システムバス１０７，レンズＩ／Ｆ１２０，レンズＩ／Ｆ１５２を介して、ＲＯＭ１５３に記憶されている接写リング１０４に関する情報（型番，仕様（接写リングの長さや撮影倍率），特性など）を制御データとして読み出す。

次に、交換レンズ１０２は、ＣＰＵ１５６と、ＲＯＭ１５７と、システムバス１５８と、レンズＩ／Ｆ１５９と、レンズ駆動部１６０と、レンズ１６１と、読取装置１６２とで構成される。ＣＰＵ１５６は、予めＲＯＭ１５７に記憶されたプログラムに従って動作し、システムバス１５８を介してレンズ駆動部１６０や読取装置１６２など交換レンズ１０２全体の動作を制御する。また、ＣＰＵ１５６は、システムバス１５８，レンズＩ／Ｆ１５９および接写リング１０４を介して、カメラ本体１０１の制御回路１０５との間で制御データを入出力する。

ここで、交換レンズ１０２とカメラ本体１０１の制御回路１０５との間で入出力する制御データについて説明する。カメラ本体１０１の制御回路１０５が出力する制御データは、例えば、レンズ１６１のフォーカス制御データ，ズーム制御データ，絞り制御データなどがある。制御回路１０５からフォーカス制御データを受け取ったＣＰＵ１５６は、その指令に応じてレンズ駆動部１６０を動作させ、レンズ１６１のフォーカス位置を合わせる。同様に、制御回路１０５からズーム制御データを受け取ったＣＰＵ１５６は、その指令に応じてレンズ駆動部１６０を動作させ、レンズ１６１のズーム位置を可変する。また、制御回路１０５から絞り制御データを受け取ったＣＰＵ１５６は、その指令に応じてレンズ１６１の絞りを可変する。

一方、カメラ本体１０１の制御回路１０５が入力する制御データは、例えば、交換レンズ１０２，光学フィルタ１０３，接写リング１０４に関する情報である。交換レンズ１０２に関する情報（型番，仕様，特性など）は、ＲＯＭ１５７が記憶しており、ＣＰＵ１５６が読み出してカメラ本体１０１の制御回路１０５に出力する。また、光学フィルタ１０３に関する情報（型番など）は、ＣＰＵ１５６が読取装置１６２で読み取って、カメラ本体１０１の制御回路１０５に出力する。さらに、接写リング１０４に関する情報（型番，仕様，特性など）は、カメラ本体１０１の制御回路１０５によってＲＯＭ１５３から読み出される。

次に、読取装置１６２について説明する。読取装置１６２は、交換レンズ１０２の先端に取り付けられている光学フィルタ１０３の型番などの情報が記された刻印１６３を読み取るセンサである。読取装置１６２が読み取った情報は、システムバス１５８を介してＣＰＵ１５６が一旦受け取り、接写リング１０４を介してカメラ本体１０１の制御回路１０５に出力される。尚、読取装置１６２が読み取った情報は、システムバス１５８，カメラＩ／Ｆ１５９，接写リング１０４を介して、直接、カメラ本体１０１の制御回路１０５から読み取れるようにしても構わない。

次に、読取装置１６２の配置について説明する。図２（ａ）は、カメラ本体１０１に交換レンズ１０２と光学フィルタ１０３とを装着した時の断面図である。尚、図１と同符号のものは同じものを示す。交換レンズ１０２の先端の光学フィルタ１０３側に配置された読取装置１６２は、光学フィルタ１０３の交換レンズ側に記された刻印１６３を読み取る。尚、刻印１６３は、光学フィルタ１０３の撮像に影響を及ぼさない領域に記されているものとする。また、読取装置１６２は、例えば、照射した光の反射をモニタして文字などを読み取るスキャナーと同じ構成で実現できる。さらに、図１の電子カメラ１００では、接写リング１０４に関する情報を接写リング１０４のＲＯＭ１５３に記憶しておくようにしたが、図２（ｂ）に示すように、カメラ本体１０１に読取装置４０１を設け、接写リング１０４の刻印４０２を読み取るようにしても構わない。

次に、交換レンズ１０２の読取装置１６２と光学フィルタ１０３の刻印１６３との位置関係について図３を用いて説明する。図３（ａ）は、交換レンズ１０２の一部に配置された読取装置１６２が、光学フィルタ１０３の一部に記された刻印１６３を読み取る様子を示した図である。ところが、一般的な光学フィルタ１０３は交換レンズ１０２の前面にねじ込む構造になっているため、光学フィルタ１０３の刻印１６３が、必ずしも交換レンズ１０２の読取装置１６２に対面する位置に来るとは限らない。そこで、例えば、図３（ｂ）に示すように、光学フィルタ１０３の刻印１６３が、刻印１６３のある円周上のどの位置に来ても読み取れるように、交換レンズ１０２の読取装置１６２ｂを円周上に連続して配置する方法を用いることができる。或いは、図３（ｃ）に示すように、交換レンズ１０２の読取装置１６２に対面する光学フィルタ１０３の円周上に複数の同じ刻印１６３ｃを記しておくことによって、交換レンズ１０２の読取装置１６２はいずれかの刻印１６３ｃを読み取ることが可能になる。

次に、本実施形態に係る電子カメラ１００の撮影時の処理の流れについて、図４のフローチャートを用いて説明する。尚、図４のフローチャートは、図１の制御回路１０５により実行されるプログラムを示す図である。
（ステップＳ２０１）操作部材１０８のレリーズボタンが半押しされると処理が開始される。
（ステップＳ２０２）操作部材１０８のレリーズボタンが半押しされたままの状態か否かを判別する。レリーズボタンの半押しが継続されている場合はステップＳ２０４に進み、レリーズボタンの半押しが解除された場合はステップＳ２０３に進む。
（ステップＳ２０３）レリーズボタンの半押しが解除されたので処理を終了する。
（ステップＳ２０４）レリーズボタンの半押しが継続されているので、ＡＦ（オートフォーカス）処理を行う。尚、ＡＦ処理は制御回路１０５によって行われる。例えば、信号処理回路１１１が撮像素子１０９から読み出した画像データを用いて、撮影画面内に予め設定されているフォーカス検出領域でコントラスト方式などのＡＦ処理を行う。さらに、制御回路１０５は交換レンズ１０２のＣＰＵ１５６に対して、ＡＦ処理によって求められたフォーカス位置にレンズ１６１のフォーカスレンズを移動するよう指令する。
（ステップＳ２０５）操作部材１０８のレリーズボタンが全押しされたか否かを判別する。レリーズボタンが全押しされた場合はステップＳ２０６に進み、レリーズボタンが全押しされていない場合はステップＳ２０２に戻る。
（ステップＳ２０６）レリーズボタンが全押しされたので、光学フィルタ１０３および接写リング１０４の種類を読み取る。制御回路１０５は、先に図２および図３を用いて説明したように、光学フィルタ１０３の刻印１６３を交換レンズ１０２の読取装置１６２が読み取ることによって光学フィルタ１０３の種類を知ることができる。同様に、制御回路１０５は、図１で説明したように、接写リング１０４のＲＯＭ１５３に記憶されている情報を読み取ることによって接写リング１０４の種類を知ることができる。
（ステップＳ２０７）撮影処理を行う。撮影処理は、撮像素子１０９が出力する画像信号を信号処理回路１１１で画像データに変換し、データ処理回路１１２が出力するスルーの画像データを圧縮／伸長回路１１５で画像圧縮して、記録Ｉ／Ｆ１１６を介して記憶媒体１１７に圧縮された画像データを記録する処理である。尚、撮像素子１０９が出力する画像信号は、データ処理回路１１２で解像度変換されて、表示制御回路１１３を介してモニタ１１４にも表示される。
（ステップＳ２０８）被写体認識処理を行う。尚、被写体認識処理については、図８のフローチャートで詳しく説明する。
（ステップＳ２０９）ステップＳ２０８で被写体認識処理された結果を圧縮／伸長回路１１５で画像圧縮した画像データに関連付けて、記録Ｉ／Ｆ１１６を介して記憶媒体１１７に圧縮された画像データと共に記録する。この時、例えば、Ｅｘｉｆ規格のメーカーノート領域（メーカー独自の記憶領域）に被写体認識結果を記録する方法を用いる。記録される被写体認識処理の結果には、被写体認識領域の情報と被写体認識結果の情報が含まれる。被写体認識領域の情報と被写体認識結果の情報について、図５を参照して説明する。図５は、画像４１４の中の被写体認識領域４１５に被写体認識結果として「空」が認識された状態を示している。この場合、被写体認識領域の情報は、被写体認識領域４１５の各画素のＸＹ座標値として記録される。また、被写体認識結果の情報として「空」が記録される。さらに、光学フィルタ１０３の型番や接写リング１０４の型番なども記録するようにしても構わない。尚、制御回路１０５は、表示制御回路１１３を制御して、図５に示す画像をモニタ１１４に表示させる。よって、モニタ１１４に被写体認識領域４１５と認識結果「空」の文字４１６とが画像４１４に重畳して表示される。
（ステップＳ２１０）一連の撮影処理と被写体認識処理を終了する。
尚、図４のフローチャートにおいて、光学フィルタ１０３および接写リング１０４の種類を読み取るステップＳ２０６の処理は、ステップＳ２０７の撮影処理を行った後で実行するようにしても構わない。

次に、本実施形態に係る電子カメラ１００の被写体認識処理について説明する。本実施形態で行う被写体認識処理は、制御回路１０５のソフトウェア処理によって行われる。制御回路１０５は、撮像素子１０９から信号処理回路１１１及びデータ処理回路１１２を介して出力された画像データの画像に対して被写体認識処理を実行する。被写体認識の方法は、予め検出対象の被写体に応じた条件テーブルをフラッシュメモリ１０６に記録しておき、撮影画像がその条件テーブルに合致した場合に検出対象の被写体が撮影画像に写っていると認識する。例えば、「空」を検出するための条件テーブルや「雲」を検出するための条件テーブルなど、複数の条件テーブルをフラッシュメモリ１０６に予め記録しておく。そして、被写体の種類として「空」を検出する場合は、フラッシュメモリ１０６に記憶されている「空」認識用の条件テーブルを用いて、撮影画像がその条件テーブルに合致するか否かを判別する。尚、「空」や「雲」など被写体の種類を判別する条件テーブルは、過去の様々なサンプル画像を評価した結果を学習することによって作成される。

ここで、撮影画像がその条件テーブルに合致するか否かの判別は、撮影画像を複数のブロックに分けて、ブロック毎に条件テーブルに合致するか否かを調べる。例えば、図６（ａ）に示すように、撮像素子１０９で撮影した画像４１７の有効画素数が縦２０画素，横２４画素の場合について説明する。先ず、図６（ｂ）に示すように、画像４１７を４×４画素の１６画素を１ブロックとして、縦５ブロック，横６ブロックの３０ブロックに分ける。その後、ブロックＢ１からブロックＢ３０まで各ブロック毎に、「空」認識用の条件テーブルに合致するか否かを判別する。尚、隣接するブロックが条件テーブルに合致する場合は、図６（ｂ）の斜線で示したブロックＢ９，Ｂ１５，Ｂ１６，Ｂ２１のように１つの検出領域として統合する。

次に、条件テーブルについて説明する。表１は「空」認識用の条件テーブルの一例である。

表１の条件テーブルは、光学フィルタ１０３の有／無および種類と、接写リングの有／無との組み合わせによって、「空」の認識条件が異なる。例えば、デフォルトの認識条件を示す行には、光学フィルタ１０３および接写リング１０４を装着していない場合の「空」の認識条件が示されている。この場合の「空」の認識条件は、色比率Ｂ／Ｇが０．９以上で色比率Ｒ／Ｇが０．４以下の条件を満たし、且つその色比率を満たす領域の縦方向の大きさが０．５以上の条件を満たす場合に、その撮影画像には「空」が撮影されていると認識する。例えば、図６（ｂ）の斜線で示したブロックＢ９，Ｂ１５，Ｂ１６，Ｂ２１で、色比率Ｂ／Ｇが０．９以上で色比率Ｒ／Ｇが０．４以下の条件を満たしていた場合、その領域の縦方向の大きさが０．５以上の条件を満たすか否かを判別する。この判別方法は、画像４１７の縦方向の長さを１．０で正規化して、ブロックＢ９，Ｂ１５，Ｂ１６，Ｂ２１の縦方向の長さが０．５以上あるか否かで判別する。ここで、１つのブロックの縦方向の長さは０．２なので、ブロックＢ９，Ｂ１５，Ｂ２１を合わせた縦方向の長さは０．６となり、０．５以上の条件を満たすことが分かる。この結果、ブロックＢ９，Ｂ１５，Ｂ２１に統合されたブロックＢ１６を含めた領域が「空」の認識条件に合致するので、画像４１７のブロックＢ９，Ｂ１５，Ｂ１６，Ｂ２１の位置に「空」が被写体として含まれていると認識できる。

認識条件１を示す行には、光学フィルタ１０３は装着されていないが、接写リング１０４が装着されている場合の「空」の認識条件が示されている。この場合の「空」の認識条件は、色比率はデフォルトの認識条件と同じであるが、領域の縦方向の大きさが０．７以上になっている。同様に、各認識条件において、接写リング１０４が装着されている場合の領域の縦方向の大きさは０．７以上になっている。これは、接写リング１０４を装着することによって、撮影倍率が大きくなり、撮影画像の被写体の大きさも大きくなるためである。

認識条件２を示す行には、青光低減用の光学フィルタ１０３が装着され、接写リング１０４は装着されていない場合の「空」の認識条件が示されている。青光低減用の光学フィルタ１０３は、青色の光を減衰させるフィルタなので、撮影画像の青色成分が少なくなる。このため、デフォルトの認識条件の色比率Ｂ／Ｇの閾値を用いると、「空」が認識されない可能性がある。そこで、青光低減用の光学フィルタ１０３が装着されている場合の「空」の認識条件は、同じ接写リング１０４がないデフォルトの認識条件において、色比率Ｂ／Ｇの条件だけデフォルトの認識条件よりも小さい色比率０．６以上を満たす認識条件が設定されている。この結果、青光低減用の光学フィルタ１０３の影響を受けずに、「空」を正確に認識することができる。

同様に、赤光低減用の光学フィルタ１０３が装着された場合の認識条件４，５において、赤光低減用の光学フィルタ１０３は、赤色の光を減衰させるフィルタなので、撮影画像の赤色成分が少なくなる。このため、デフォルトの認識条件の色比率Ｒ／Ｇの閾値を用いると、赤味を帯びた画像であっても誤って「空」と認識されてしまう可能性がある。そこで、赤光低減用の光学フィルタ１０３が装着されている場合の「空」の認識条件は、デフォルトの認識条件に対して色比率Ｒ／Ｇの条件だけデフォルトの認識条件よりも小さい色比率０．１以下を満たす認識条件が設定されている。この結果、赤光低減用の光学フィルタ１０３の影響を受けずに、「空」を正確に認識することができる。

撮影画像の光の部分に光条効果を出すためのクロス用の光学フィルタ１０３が装着された場合の認識条件６，７において、色比率Ｂ／Ｇ，Ｒ／Ｇおよび領域の縦方向の大きさの「空」の認識条件はデフォルトの認識条件と同じであるが、光条領域を除外する条件が付加される。

ここで、光条領域の除外方法について、図７を用いて説明する。図７（ａ）は、図６（ｂ）で説明したブロックＢ４を例に挙げて、ブロックＢ４を構成する１６個の画素Ａ１から画素Ａ１６を示した図である。今、図７（ｂ）に示すように、画素Ａ９，Ａ１０，Ａ１１，Ａ１２の直線方向４１２と、画素Ａ２，Ａ７，Ａ１２の直線方向４１３とに光条部分（光の帯）が生じていたとする。この場合、画素Ａ９，Ａ１０，Ａ１１，Ａ１２，Ａ２，Ａ７，Ａ１２の画素は高輝度なので、ブロックＢ４は表１の条件テーブルを満たさない可能性が高い。そこで、ブロックＢ４が「空」の認識条件に合致しているか否かの判別に際して、光条部分の画素Ａ９，Ａ１０，Ａ１１，Ａ１２，Ａ２，Ａ７，Ａ１２を除外した残りの画素Ａ１，Ａ３からＡ６，Ａ８，Ａ１３からＡ１６の１０個の画素を用いて、ブロックＢ４が「空」の認識条件に合致しているか否かの判別を行う。この結果、クロス用の光学フィルタ１０３が装着されている場合でも、光条領域の影響を受けずに、「空」を正確に認識することができる。尚、光条領域であるか否かの判断は、例えば、直線方向４１２および直線方向４１３のように、所定値以上の高輝度の画素が直線上に連続しているか否かによって行うことができる。

表１に戻って、センターフォーカス用の光学フィルタ１０３が装着された場合の認識条件８，９において、色比率Ｂ／Ｇ，Ｒ／Ｇおよび領域の縦方向の大きさに関する「空」の認識条件はデフォルトの認識条件と同じであるが、認識対象領域が異なる。センターフォーカス用の光学フィルタ１０３は撮影画像の周囲のフォーカスを甘くするフィルタで、例えば、図６（ｂ）に示すように、画像４１７の四角線４１１の外側部分のフォーカスは甘くなるので、この部分は誤って認識される可能性がある。そこで、画像４１７が「空」の認識条件に合致しているか否かの判別に際して、画像４１７の四角線４１１の外側部分のブロックＢ１からＢ７，Ｂ１２，Ｂ１３，Ｂ１８，Ｂ１９，Ｂ２４からＢ３０の１８個のブロックを除外する。つまり、画像４１７の四角線４１１の内側部分のブロックＢ８からＢ１１，Ｂ１４からＢ１７，Ｂ２０からＢ２３の各ブロックを用いて、「空」の認識条件に合致しているか否かの判別を行う。この結果、光学フィルタ１０３として装着されたセンターフォーカスフィルタの影響を受けずに、「空」を正確に認識することができる。尚、光学フィルタ１０３として使用される可能性があるフィルタの型番と特性は、予めフラッシュメモリ１０６に記録してあるので、制御回路１０５は、読取装置１６２で光学フィルタ１０３の刻印１６３を読み取って得られた型番から、どの領域のフォーカスが甘くなるかを知ることができる。

このように、本実施形態に係る電子カメラ１００は、装着されている光学フィルタ１０３や接写リング１０４に応じて、被写体認識条件を変えるので、光学フィルタ１０３や接写リング１０４の影響を受けることなく、正確に被写体認識を行うことができる。

尚、表１の条件テーブルにおいて、例えば、青光低減用の光学フィルタを用いた場合の色比率Ｂ／Ｇの閾値を変更するようにしたが、色比率Ｂ／Ｇの条件を除外するようにしても構わない。また、本実施形態では、青光低減用フィルタ，赤光低減用フィルタ，クロスフィルタ，センターフォーカスフィルタの４種類の光学フィルタ１０３を利用する場合を想定したが、減衰量の異なる複数の青光低減用フィルタを利用するなど、上記に限らず別の種類の色温度変換フィルタを用いても構わない。この場合は、被写体認識時に使用する光学フィルタの影響を受けないように、上記と同様に色に関する判断基準を除外もしくはその重み付けを低減して被写体認識条件を設定した条件テーブルを作成して、フラッシュメモリ１０６に予め記録しておく。

次に、図８を用いて被写体認識方法について説明する。図８は、表１で説明した「空」認識用の条件テーブルを用いて、被写体認識する処理のフローチャートである。尚、図８のフローチャートは、図１の制御回路１０５により実行されるプログラムを示す。また、本フローチャートは、図４のフローチャートのステップＳ２０８の処理に対応する。
（ステップＳ３０１）制御回路１０５は、被写体認識処理を開始する。
（ステップＳ３０２）制御回路１０５は、電子カメラ１００の交換レンズ１０２に光学フィルタ１０３が装着されているか否かを判別する。判別方法は、先に説明したように、交換レンズ１０２の読取装置１６２が光学フィルタ１０３の刻印１６３を読み取ることにより検出することができる。ここでは、刻印１６３が認識されない場合は、光学フィルタ１０３が装着されていないと判断する。光学フィルタ１０３が装着されている場合はステップＳ３０６に進み、装着されていない場合はステップＳ３０３に進む。
（ステップＳ３０３）制御回路１０５は、電子カメラ１００のカメラ本体１０１に接写リング１０４が装着されているか否かを判別する。判別方法は、先に説明したように、接写リング１０４のＲＯＭ１５３に記憶されている情報を読み取ることにより検出する。接写リング１０４が装着されている場合はステップＳ３０５に進み、装着されていない場合はステップＳ３０４に進む。
（ステップＳ３０４）光学フィルタ１０３も接写リング１０４も装着していない場合は、表１のデフォルト条件による被写体認識を行う。尚、被写体認識は、先に説明したように、ブロック毎に行う。
（ステップＳ３０５）光学フィルタ１０３は装着されていないが、接写リング１０４が装着されている場合は、表１の認識条件１による被写体認識を行う。
（ステップＳ３０６）制御回路１０５は、電子カメラ１００の交換レンズ１０２に青光低減用の光学フィルタ１０３が装着されているか否かを判別する。判別方法は、ステップＳ３０２と同様である。青光低減用の光学フィルタ１０３が装着されている場合はステップＳ３０７に進み、装着されていない場合はステップＳ３１０に進む。
（ステップＳ３０７）制御回路１０５は、電子カメラ１００のカメラ本体１０１に接写リング１０４が装着されているか否かを判別する。判別方法は、ステップＳ３０３と同様である。接写リング１０４が装着されている場合はステップＳ３０９に進み、装着されていない場合はステップＳ３０８に進む。
（ステップＳ３０８）青光低減用の光学フィルタ１０３は装着されているが、接写リング１０４が装着されていない場合は、表１の認識条件２による被写体認識を行う。
（ステップＳ３０９）青光低減用の光学フィルタ１０３も接写リング１０４も装着されている場合は、表１の認識条件３による被写体認識を行う。
（ステップＳ３１０）制御回路１０５は、電子カメラ１００の交換レンズ１０２に赤光低減用の光学フィルタ１０３が装着されているか否かを判別する。判別方法は、ステップＳ３０２と同様である。赤光低減用の光学フィルタ１０３が装着されている場合はステップＳ３１１に進み、装着されていない場合はステップＳ３１４に進む。
（ステップＳ３１１）制御回路１０５は、電子カメラ１００のカメラ本体１０１に接写リング１０４が装着されているか否かを判別する。判別方法は、ステップＳ３０３と同様である。接写リング１０４が装着されている場合はステップＳ３１３に進み、装着されていない場合はステップＳ３１２に進む。
（ステップＳ３１２）赤光低減用の光学フィルタ１０３は装着されているが、接写リング１０４が装着されていない場合は、表１の認識条件４による被写体認識を行う。
（ステップＳ３１３）赤光低減用の光学フィルタ１０３も接写リング１０４も装着されている場合は、表１の認識条件５による被写体認識を行う。
（ステップＳ３１４）制御回路１０５は、電子カメラ１００の交換レンズ１０２にクロス用の光学フィルタ１０３が装着されているか否かを判別する。判別方法は、ステップＳ３０２と同様である。クロス用の光学フィルタ１０３が装着されている場合はステップＳ３１５に進み、装着されていない場合はステップＳ３１８に進む。
（ステップＳ３１５）制御回路１０５は、電子カメラ１００のカメラ本体１０１に接写リング１０４が装着されているか否かを判別する。判別方法は、ステップＳ３０３と同様である。接写リング１０４が装着されている場合はステップＳ３１７に進み、装着されていない場合はステップＳ３１６に進む。
（ステップＳ３１６）クロス用の光学フィルタ１０３は装着されているが、接写リング１０４が装着されていない場合は、表１の認識条件６による被写体認識を行う。
（ステップＳ３１７）クロス用の光学フィルタ１０３も接写リング１０４も装着されている場合は、表１の認識条件７による被写体認識を行う。
（ステップＳ３１８）制御回路１０５は、電子カメラ１００の交換レンズ１０２にセンタフォーカス用の光学フィルタ１０３が装着されているか否かを判別する。判別方法は、ステップＳ３０２と同様である。センタフォーカス用の光学フィルタ１０３が装着されている場合はステップＳ３１９に進み、装着されていない場合はステップＳ３２２に進む。
（ステップＳ３１９）制御回路１０５は、電子カメラ１００のカメラ本体１０１に接写リング１０４が装着されているか否かを判別する。判別方法は、ステップＳ３０３と同様である。接写リング１０４が装着されている場合はステップＳ３２１に進み、装着されていない場合はステップＳ３２０に進む。
（ステップＳ３２０）センタフォーカス用の光学フィルタ１０３は装着されているが、接写リング１０４が装着されていない場合は、表１の認識条件８による被写体認識を行う。
（ステップＳ３２１）センタフォーカス用の光学フィルタ１０３も接写リング１０４も装着されている場合は、表１の認識条件９による被写体認識を行う。
（ステップＳ３２２）制御回路１０５は、被写体認識処理が終了する。

このように、本実施形態に係る電子カメラ１００は、装着されている光学フィルタ１０３や接写リング１０４に応じて、被写体認識条件を変えるので、光学フィルタ１０３や接写リング１０４の影響を受けることなく、正確に被写体認識を行うことができる。

（第２の実施形態）
次に、第２の実施形態に係る被写体認識装置および被写体認識プログラムについて説明する。本実施形態では、第１の実施形態に係る電子カメラ１００や他の電子カメラの撮影により得られた画像データを用いて被写体認識する。例えば、第１の実施形態に係る電子カメラ１００の撮影により得られた画像データは、メモリカードなどで構成される記憶媒体１１７に記録されている。或いは、他の電子カメラの撮影により得られた画像データもメモリカードなどに記録されている。

ここでは、被写体認識装置としてパソコンを想定し、メモリカードに記憶されている画像データを読み取って、第１の実施形態で説明したような被写体認識処理を行う場合について説明する。尚、被写体認識方法については、第１の実施形態に係る電子カメラ１００と同じなので、重複する説明は省略する。

パソコンの電源が投入され、パソコンのメモリカードＩ／Ｆには画像データが記憶されたメモリカードが挿入されている状態から説明する。パソコンのＣＰＵは、メモリカードが挿入されたことを自動的に認識して、メモリカードに記憶されている画像データに予め対応付けられた被写体認識用のアプリケーションソフトウエアが立ち上がる。パソコンのＣＰＵは、メモリカードＩ／Ｆを制御し、メモリカードに記憶されている画像データを入力する。パソコンの画面９００には、図９（ａ）に示すように、被写体認識用のアプリケーションソフトウエアによって読み出されたメモリカードに記憶されている１枚の画像９０１が表示される。この状態で、ユーザーが被写体認識実行ボタン９０２をクリックすると、図１０に示したフローチャートに従って、被写体認識処理が実行される。尚、図１０のフローチャートは、パソコンのＣＰＵが実行する。
（ステップＳ５０１）被写体認識実行ボタン９０２がクリックされ、画面に表示されている画像９０１に対して被写体認識処理が開始される。
（ステップＳ５０２）パソコンの画面に表示されている画像に対応するメモリカードの画像データに被写体認識結果が付加されているか否かを判別する。画像データに被写体認識結果が既に付加されている場合は被写体認識処理済みであると判断してステップＳ５０７に進み、画像データに被写体認識結果が付加されていない場合はステップＳ５０３に進む。例えば、第１の実施形態に係る電子カメラ１００の撮影により得られた画像データには、被写体認識結果が付加されているが、被写体認識機能を持たない電子カメラの撮影により得られた画像データには、被写体認識結果は付加されていない。
（ステップＳ５０３）被写体認識結果が付加されていない画像データの場合は、図９（ｂ）に示すように、フィルタ種類の選択画面９０３が表示される。ここでは、表示されている画像が撮影された時に、どのような種類の光学フィルタが装着されていたかをユーザーが選択する。例えば、青色光低減フィルタであった場合は、青色光低減フィルタのラジオボタン９０４を選択する。尚、選択画面９０３に表示されるフィルタ種類は、予めパソコンのプログラムやハードディスクなどに記憶されている。或いは、任意のフィルタ特性をフィルタ種類の選択画面９０３で設定できるようにしても構わない。
（ステップＳ５０４）フィルタ種類の選択終了ボタン９０５がクリックされたか否かを判別する。選択画面上の選択終了ボタン９０５がクリックされた場合はステップＳ５０６に進み、選択終了ボタン９０５がクリックされていない場合はステップＳ５０５に進む。
（ステップＳ５０５）キャンセルボタン９０６がクリックされたか否かを判別する。キャンセルボタン９０６がクリックされた場合はステップＳ５０８に進み、キャンセルボタン９０６がクリックされていない場合はステップＳ５０４に戻ってフィルタ種類の選択を継続する。
（ステップＳ５０６）被写体認識処理を行う。尚、被写体認識処理は、第１の実施形態の図８のフローチャートで説明した処理と基本的には同じで、本実施形態ではパソコンのＣＰＵによって実行される。尚、図８のフローチャートと処理が異なる点は、第１の実施形態のように実際の電子カメラ１００に光学フィルタ１０３や接写リング１０４が装着されているか否かを判別するのではなく、ステップＳ５０３のフィルタ種類の選択画面９０３で選択した内容に応じて処理されることである。
（ステップＳ５１０）ステップＳ５０６で被写体認識処理された結果を、入力した画像データのメーカノート領域に記録する。この記録処理については図４のステップＳ２０９と同様の処理なので詳細な説明は省略する。
（ステップＳ５０７）表示されている画像に重畳して、認識された領域と、認識された被写体の種類をパソコンの画面に表示する。尚、この時のパソコンの画面の様子は、第１の実施形態で説明した図５と同じである。
（ステップＳ５０８）被写体認識処理を終了する。

このように、本実施形態に係る被写体認識装置およびプログラムは、既に撮影された画像データを用いて被写体認識を行うことができる。特に、画像データに被写体認識結果が付加されている場合は、その認識結果を画面に表示し、画像データに被写体認識結果が付加されていない場合は、撮影時の光学フィルタを選択することによって、被写体認識条件を変えて被写体認識処理を行うので、光学フィルタの影響を受けることなく、正確に被写体認識を行うことができる。尚、ステップＳ５０３では、光学フィルタのみ選択するようにしたが、接写リングの有無を選択できるようにしても構わない。

以下、各実施形態の変形例について説明する。

（１）第２の実施形態では、メモリカードに記憶されている画像データをパソコンが入力して図１０に示す処理を実行することとした。その代わりに、図１に示す電子カメラ１００の制御回路が、図１０に示す処理を実行することにしてもよい。即ち、制御回路１０５が、記録Ｉ／Ｆを制御して記憶媒体１１７から画像データを入力する。そして制御回路１０５が入力した画像データに対して図１０に示す処理を実行することにしてもよい。

（２）第１の実施形態では、光学フィルタの種類を読取装置１６２の読み取り結果に基づいて制御回路１０５が判定することとした。また、接写リングの種類を、ＲＯＭ１５３に記憶されている情報に基づいて制御回路１０５が判定することとした。その代わりに、第２の実施形態の図１０のステップＳ３０３において説明したのと同様に、ユーザが電子カメラ１００の操作部材１０８を操作することにより、光学フィルタの種類と接写リングの種類を選択して入力できるようにしてもよい。この場合、制御回路１０５は、操作部材１０８からの入力に基づいて光学フィルタの種類と接写リングの種類を判定する。

（３）第１の実施形態で読み取られ、撮影画像データに関連付けて記憶された光学フィルタ、接写リングの種類に基づいて、第２の実施形態の処理を実行するようにしてもよい。この場合は、ステップＳ５０３〜Ｓ５０６，Ｓ５１０の各処理は自動で行われる。

（４）第１の実施形態のステップＳ２０８の被写体認識処理は、ステップＳ２０７の撮影処理の手前で行われるスルー画撮影で行われるものであってもよい。この場合は、ステップＳ２０６はスルー画撮影の手前に行われる。また、認識結果はステップＳ２０９と同様に最終的に撮影して得られた画像ファイルに関連付けされて保存される。

以上、各実施形態で説明してきたように、撮影光学系に着脱可能な光学フィルタや接写リングを装着して撮影した画像であっても、画像中の被写体を高い精度で認識することが可能な電子カメラおよび被写体認識プログラム、被写体認識装置、被写体認識方法を実現することができる。

第１の実施形態に係る電子カメラ１００のブロック図である。 電子カメラ１００の断面図である。 読取装置１６２と刻印１６３の位置関係を示した説明図である。 電子カメラ１００の全体処理を示すフローチャートである。 被写体認識結果を示す説明図である。 撮影画像の認識領域を示す説明図である。 光条領域の除外方法を示す説明図である。 被写体認識処理を示すフローチャートである。 第２の実施形態に係る被写体認識装置および被写体認識プログラムの処理画面を示す説明図である。 第２の実施形態に係る被写体認識装置および被写体認識プログラムのフローチャートである。

符号の説明

１００・・・電子カメラ １０１・・・カメラ本体
１０２・・・交換レンズ １０３・・・光学フィルタ
１０４・・・接写リング １０５・・・制御回路
１０６・・・フラッシュメモリ １０７，１５８・・・システムバス
１０８・・・操作部材 １０９・・・撮像素子
１１０・・・撮像素子駆動回路 １１１・・・信号処理回路
１１２・・・データ処理回路 １１３・・・表示制御回路
１１４・・・モニタ １１５・・・圧縮／伸長回路
１１６・・・記録Ｉ／Ｆ １１７・・・記憶媒体
１１８・・・測光回路
１１９，１２０，１５１，１５２，１５５，１５９・・・レンズＩ／Ｆ
１５３，１５７・・・ＲＯＭ １５４，１６１・・・レンズ
１５６・・・ＣＰＵ １６０・・・レンズ駆動部
１６２・・・読取装置 １６３・・・刻印

Claims (9)

1. 撮影光学系から入射する被写体像を撮像して画像データを生成する撮像手段と、
   前記撮影光学系に着脱可能な光学フィルタまたは接写リングの種類を特定する情報を入力する情報入力手段と、
   前記撮像手段によって生成された画像データに対し、前記情報入力手段が入力した光学フィルタまたは接写リングの種類に応じた被写体認識処理を選択して実行する被写体認識手段と、
   前記被写体認識手段の認識結果と前記撮像手段によって生成された画像データとを関連付けて記憶媒体に記録する記録手段と
   を有することを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記情報入力手段は、ユーザーの操作によって選択された光学フィルタまたは接写リングの種類を入力する入力手段である
   ことを特徴とする電子カメラ。
3. 請求項１に記載の電子カメラにおいて、
   前記情報入力手段は、光学フィルタまたは接写リングの種類を検出する検出手段である
   ことを特徴とする電子カメラ。
4. 画像データ入力部を有するコンピュータのプログラムであって、
   前記画像データ入力部から画像データを入力する画像データ入力ステップと、
   前記画像データ入力ステップで入力した画像データを撮影した時の光学フィルタまたは接写リングの種類を特定する情報を入力する情報入力ステップと、
   前記画像データ入力ステップにより入力された画像データに対し、前記情報入力ステップで入力した光学フィルタまたは接写リングの種類に応じた被写体認識処理を選択して実行する被写体認識ステップと
   を有することを特徴とする被写体認識プログラム。
5. 請求項４に記載の被写体認識プログラムを実行するコンピュータのプログラムであって、
   認識された被写体の領域と被写体の種類とを示す認識結果をコンピュータの表示部に表示する表示ステップを更に設けた
   ことを特徴とする被写体認識プログラム。
6. 請求項４または５に記載の被写体認識プログラムを実行するコンピュータのプログラムであって、
   前記被写体認識ステップの認識結果と前記画像データ入力ステップで入力した画像データとを関連付けてコンピュータの記憶部に記録する記録ステップを更に設けた
   ことを特徴とする被写体認識プログラム。
7. 請求項４に記載の被写体認識プログラムを実行するコンピュータのプログラムであって、
   前記画像データ入力ステップで入力した画像データに、認識結果が付加されている場合は、認識された被写体の領域と被写体の種類とを示す認識結果をコンピュータの表示部に表示する表示ステップを実行し、
   前記画像データ入力ステップで入力した画像データに、認識結果が付加されていない場合は、前記画像データを撮影した時の光学フィルタまたは接写リングの種類を特定する情報の入力に関するユーザの操作を受け付ける情報入力ステップと、前記画像データ入力ステップにより入力された画像データに対して前記情報入力ステップで入力された光学フィルタまたは接写リングの種類に応じた被写体認識処理を選択して実行する被写体認識ステップとを実行した後、認識された被写体の領域と被写体の種類とを示す認識結果をコンピュータの表示部に表示する表示ステップを実行する
   ことを特徴とする被写体認識プログラム。
8. 請求項４から７のいずれか一項に記載の被写体認識プログラムを実行するコンピュータを有する被写体認識装置。
9. 画像データ入力部から画像データを入力する画像データ入力手順と、
   前記画像データ入力手順で入力した画像データを撮影した時の光学フィルタまたは接写リングの種類を特定する情報を入力する情報入力手順と、
   前記画像データ入力手順により入力された画像データに対し、前記情報入力手順で入力した光学フィルタまたは接写リングの種類に応じた被写体認識処理を選択して実行する被写体認識手順と
   を有することを特徴とする被写体認識方法。
   

Images