JP2011077790A - 撮像装置、補正処理プログラム及び記録媒体 - Google Patents

Abstract

【課題】 本発明は、静止画撮影時の構図確認用のスルー画像表示や動画撮影時の動画表示等において、注目対象の視認性を高める手段を提供する。
【解決手段】 撮像装置は、撮像部と、表示部と、抽出部と、設定部と、追尾部と、補正処理部と、表示制御部とを備える。撮像部は、被写体を撮像し、所定のフレームレートで画像を出力する。表示部は、画像を表示する。抽出部は、画像から被写体の特徴部分を抽出する。設定部は、特徴部分に基づいて、その特徴部分を含む対象領域を画像内に設定する。追尾部は、各々の画像内の対象領域の位置を検出し、時系列の複数の画像間にわたって対象領域を追尾する。補正処理部は、各々の画像において、対象領域を除外して設定された背景領域に対して補正処理を行う。表示制御部は、補正処理後の画像を表示部に動画表示させる。
【選択図】 図１

Description

本発明は、電子カメラ等の撮像装置、画像を補正する補正処理プログラム及びその補正処理プログラムが記録された記録媒体に関する。

従来、動画撮影中に動く注目対象（人物等の被写体）を強調表示する画像処理装置が提案されている（例えば、特許文献１参照）。

特許文献１の画像処理装置では、注目対象の領域における画素の輝度等を変更し、画像を補正することで注目対象を強調表示している。

特開２００５−３０３９８３号公報

しかし、上記の従来技術では、注目対象が含まれない領域の状況によっては、ユーザにとって注目対象を発見しにくくなる場合が生じる。

そこで、本発明は、上記事情に鑑み、静止画撮影時の構図確認用のスルー画像表示や動画撮影時の動画表示等において、注目対象の視認性を高める手段を提供することを目的とする。

第１の発明に係る撮像装置は、撮像部と、表示部と、抽出部と、設定部と、追尾部と、補正処理部と、表示制御部とを備える。撮像部は、被写体を撮像し、所定のフレームレートで画像を出力する。表示部は、画像を表示する。抽出部は、画像から被写体の特徴部分を抽出する。設定部は、特徴部分に基づいて、その特徴部分を含む対象領域を画像内に設定する。追尾部は、各々の画像内の対象領域の位置を検出し、時系列の複数の画像間にわたって対象領域を追尾する。補正処理部は、各々の画像において、対象領域を除外して設定された背景領域に対して補正処理を行う。表示制御部は、補正処理後の画像を表示部に動画表示させる。

第２の発明は、第１の発明において、補正処理部は、背景領域のコントラスト、彩度、色相の少なくとも１つを補正する。

第３の発明は、第１の発明において、選択部をさらに備える。選択部は、抽出部が複数の被写体に対応する特徴部分を抽出した場合、注目する被写体を選択する。設定部は、注目する被写体の特徴部分に基づいて、対象領域を設定する。

第４の発明は、第１の発明において、補正処理部は、対象領域に対して背景領域とは異なる補正処理をさらに行う。

第５の発明は、第１から第４の何れか１の発明において、撮像部により撮像された記録用の画像とその画像に対応する被写体の特徴部分を示す情報とを記録する記録制御部をさらに備える。

第６の発明に係るプログラムは、請求項５に記載の撮像装置で記録された記録用の画像と被写体の特徴部分を示す情報とを読み出す読出処理と、情報に基づいて、読み出された画像内に特徴部分を含む対象領域を設定する設定処理と、画像内の対象領域を除外して設定された背景領域に対して補正処理を行う補正処理とをコンピュータに実行させることを特徴とする。

第７の発明に係る記録媒体は、請求項５に記載の撮像装置で記録された記録用の画像と被写体の特徴部分を示す情報とを読み出す読出処理と、情報に基づいて、読み出された画像内に特徴部分を含む対象領域を設定する設定処理と、画像内の対象領域を除外して設定された背景領域に対して補正処理を行う補正処理とをコンピュータに実行させるための命令が記録されたコンピュータ可読な記録媒体であることを特徴とする。

本発明によれば、静止画撮影時の構図確認用のスルー画像表示や動画撮影時の動画表示等において、注目対象の視認性を高める手段を提供することができる。

電子カメラ１の内部構成を説明するブロック図 電子カメラ１の動作の一例を示すフローチャート 追尾撮影モードの設定画面の一例を示す図 簡易設定の処理の一例を説明する図 徒競走を行う同一時点の同一人物に対し、詳細設定により対象領域を設定した場合と、簡易設定により対象領域を設定した場合との比較を示している図 追尾撮影モードによる撮影の一例を説明する図 追尾撮影モードによる撮影の一例を説明する図 追尾撮影モードによる撮影の一例を説明する図 追尾撮影モードによる撮影の一例を説明する図 静止画撮影された画像の一例を示す図 第２実施形態における電子カメラ１の動作の一例を示すフローチャート コンピュータ１００の内部構成を示すブロック図 第３実施形態におけるコンピュータ１００の動作の一例を示すフローチャート 第４実施形態におけるコンピュータ１００の動作の一例を表すフローチャート

（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。なお、第１実施形態で説明する「追尾撮影モード」は、一例として、注目対象（注目する被写体）の動きを追尾してその注目対象を除外して設定された背景領域の画像を補正処理し、注目対象の視認性を高める撮影モードである（詳細は後述する）。第１実施形態では、説明の便宜上、注目対象を人物とする。

図１は、第１実施形態の電子カメラ１の構成を示すブロック図である。図１に示す通り電子カメラ１は、撮影レンズ１０と、撮像部１１と、画像処理部１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４と、表示モニタ１５と、操作部１６と、レリーズ釦１７と、タッチパネル１８と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９と、記録インターフェース部（以下「記録Ｉ／Ｆ部」という）２０と、バス２１とを備える。このうち画像処理部１２、ＲＡＭ１３、ＲＯＭ１４、表示モニタ１５、ＣＰＵ１９及び記録Ｉ／Ｆ部２０は、バス２１を介して互いに接続されている。また、操作部１６、レリーズ釦１７及びタッチパネル１８はＣＰＵ１９に接続されている。

撮影レンズ１０は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。なお、簡単のため、図１では、撮影レンズ１０を１枚のレンズとして図示する。

撮像部１１は、レンズ駆動機構、絞り、シャッタ機構、撮像素子、タイミングジェネレータ及びＡＦＥ（アナログフロントエンド）等からなる。撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型のイメージセンサであっても良い。

また、撮像部１１は、撮影レンズ１０が結像した被写体像を撮像して画像を出力する。なお、撮像部１１は、記録用の静止画の撮影時には、記録用の単一画像を出力する。また、撮像部１１は、撮影待機時には、所定のフレームレートで逐次画像を出力することにより、構図確認用の動画像であるスルー画像を出力する。また、撮像部１１は、記録用の動画撮影時には、所定のフレームレートで逐次画像を出力することにより、記録用の動画像を出力する。撮像部１１が出力する画像は、画像データとしてＲＡＭ１３に一時的に記録される。このＲＡＭ１３は、フレームメモリとしても機能する。

画像処理部１２は、ＲＡＭ１３に記録されている１フレーム分の画像データを読み出し、各種の画像処理（階調変換処理、ホワイトバランス処理等）を施す。

ＲＯＭ１４は、電子カメラ１の制御を行うプログラム等を予め記憶している不揮発性のメモリである。

操作部１６は、例えば、コマンド選択用のコマンドダイヤル、電源ボタン等を有しており、電子カメラ１を操作するための指示入力を受け付ける。

レリーズ釦１７は、半押し操作（撮影前における自動露出（ＡＥ：Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）、自動焦点合わせ（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）等の動作開始）の指示入力と全押し操作（記録撮像動作開始）との指示入力とを受け付ける。

表示モニタ１５は、静止画像、スルー画像、動画像、電子カメラ１の操作メニュー等を表示する。さらに、表示モニタ１５は、顔抽出用の顔枠をスルー画像上に表示する。表示モニタ１５には、液晶のモニタ等を適宜選択して用いることができる。

タッチパネル１８は、タッチパネル表面に接触した指先等の位置を検出する。そして、タッチパネル１８は、検出した位置情報をＣＰＵ１９に出力することでユーザからの入力を受け付ける。

なお、タッチパネル１８は、表示モニタ１５と同等の大きさを有する透明なパネルで構成されており、表示モニタ１５の表面全体に積層して配置される。また、本実施形態の例では、タッチパネル１８は、静電気による電気信号を感知する静電容量式のパネルで構成されている。タッチパネル１８の構成は、静電容量式に限られず、圧力による電圧の変化を検出する抵抗膜式のパネルを用いても良い。

また、記録Ｉ／Ｆ部２０には、着脱自在の記録媒体３０を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ部２０は、そのコネクタに接続された記録媒体３０にアクセスして画像の記録処理等を行う。この記録媒体３０は、例えば、不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体３０を示している。

ＣＰＵ１９は、各種演算及び電子カメラ１の制御を行うプロセッサである。ＣＰＵ１９は、ＲＯＭ１４に予め格納されたシーケンスプログラムを実行することにより、電子カメラ１の各部の制御等を行う。また、本実施形態のＣＰＵ１９は、抽出部１９ａと、選択部１９ｂと、設定部１９ｃと、追尾部１９ｄと、補正処理部１９ｅと、表示制御部１９ｆと、記録制御部１９ｇとしても機能する。

抽出部１９ａは、撮像部１１が出力する画像を解析してその画像から被写体として人物の顔の領域を抽出する。この場合、人物の顔の領域の抽出は、公知の顔抽出処理により行うことができる。本実施形態では、顔の領域を特徴部分とする。抽出部１９ａは、画像データから顔の領域を肌色等の輝度信号に基づいて抽出し、その位置座標、サイズ（範囲）を顔毎に検出する。位置座標のデータ、サイズ（範囲）のデータは、順次、ＲＡＭ１３に一時的に記録される。

選択部１９ｂは、抽出部１９ａが複数の被写体に対応する特徴部分（顔）を抽出した場合、注目する被写体を選択する。具体的には、選択部１９ｂは、抽出部１９ａが抽出した被写体の顔の内から注目する顔を選択する。選択部１９ｂは、抽出部１９ａにより複数の顔が抽出された場合、タッチパネル１８を介して、ユーザの選択指示入力を受け付けることで、注目する顔を選択するようにしても良い。或いは、選択部１９ｂは、例えば、電子カメラ１で撮影された複数の人物の顔の画像データとそれらの複数の人物の優先度とが関連付けられてＲＡＭ１３の保存領域に記録されている場合、ＲＡＭ１３に記録された顔の画像データに基づいて、テンプレートマッチングによる顔認証処理を行い、優先度に基づいて注目する顔を選択するようにしても良い。なお、選択部１９ｂは、人物の被写体が１人の場合にはその被写体の顔を選択することとする。

設定部１９ｃは、特徴部分に基づいて、その特徴部分を含む対象領域を画像内に設定する。例えば、設定部１９ｃは、顔の領域に基づいて顔を含む人物の輪郭を抽出し、その輪郭で囲まれる領域（以下「輪郭形状」という。）を対象領域として設定する（詳細は後述する）。

追尾部１９ｄは、各々の画像内の対象領域の位置を検出し、時系列の複数の画像間にわたって対象領域として人物の輪郭形状を追尾する。一例として、先ず、追尾部１９ｄは、スルー画像のもとになる画像データを用いて対象領域の位置を検出する。この場合、追尾部１９ｄは、公知のフレーム間差分により対象領域の位置の動きを検出し、順次、動きベクトルを算出していく。これにより、追尾部１９ｄは、対象領域（人物の輪郭形状）の動きを検出して、画像内で対象領域を追尾する。なお、追尾部１９ｄは、上記手法に限られず、他の公知の追尾手段によって追尾しても良い。

補正処理部１９ｅは、各々の画像において、対象領域を除外して設定された背景領域に対して補正処理を行う。例えば、補正処理部１９ｅは、背景領域のコントラスト、彩度、色相の少なくとも１つを補正処理する。また、補正処理部１９ｅは、対象領域に対して背景領域とは異なる補正処理をさらに行っても良い。例えば、補正処理部１９ｅは、背景領域のコントラストを下げた場合には対象領域のコントラストを上げ、背景領域の彩度を下げた場合には対象領域のコントラストを上げるなどの補正処理を実行することが好ましい。

表示制御部１９ｆは、補正処理後の画像を表示モニタ１５に表示させる。具体的には、表示制御部１９ｆは、補正処理部１９ｅによって補正処理が施された画像を、例えば、構図確認用のスルー画像として表示モニタ１５に表示させる。

記録制御部１９ｇは、記録用の画像と被写体の特徴部分を示す情報とを記録媒体３０に記録する。ここで、第１実施形態では、記録用の画像は、全押し操作により静止画撮影された画像であって、補正処理部１９ｅによる補正処理が施されていない画像である。

次に、第１実施形態の追尾撮影モードにおける電子カメラ１の動作の一例を説明する。図２は、電子カメラ１の動作の一例を示すフローチャートである。ここで、電子カメラ１の電源がオンされた後、タッチパネル１８が静止画撮影における追尾撮影モードの指示入力を受け付けると、ＣＰＵ１９は、図２に示すフローに示す処理を開始させる。なお、説明の便宜上、ここでは、撮影シーンとして、運動会の徒競走において親（ユーザ）が自分の子供を注目対象として静止画撮影する場合を例示する。

ステップＳ１０１：ＣＰＵ１９は、追尾撮影モードの設定画面を表示モニタ１５に出力させる。図３は、追尾撮影モードの設定画面の一例を示す図である。図３（ａ）に示す通り、ＣＰＵ１９の設定部１９ｃは、対象領域の設定の一例として、詳細設定と簡易設定との２つの設定方式を備える。詳細設定の場合、ＣＰＵ１９は、抽出部１９ａが抽出した顔の領域に基づいて、公知のグラフカット法（Ｇｒａｐｈ Ｃｕｔｓ）を用いて、人物の輪郭形状を推定する。グラフカット法は、一例として、隣接する画素値が同一領域内の画素値とみなせるか否かの判定を「確からしさ」という数学的尺度に基づいて、対象領域（人物の輪郭形状）と背景領域とを分割して対象領域を決定する方法である。設定部１９ｃは、グラフカット法で推定された人物の輪郭形状を対象領域として設定する。

一方、簡易設定の場合、設定部１９ｃは、図４に示す方法を用いて対象領域を設定する。図４は、簡易設定の処理の一例を説明する図である。

先ず、抽出部１９が顔の領域を抽出した場合、ＣＰＵ１９は、顔の領域を囲む矩形５１内における顔の上下方向の向きから身体方向を推定する。そして、ＣＰＵ１９は、矩形５１の身体方向に対し、一例として３倍の長さに伸長した矩形５２を算出する。次に、ＣＰＵ１９は、算出された矩形５２に外接する楕円領域Ｄを算出する。そして、設定部１９ｃは、楕円領域Ｄを簡易設定時の対象領域とする。

図５は、徒競走を行う同一時点の同一人物に対し、詳細設定により対象領域を設定した場合と、簡易設定により対象領域を設定した場合との比較を示している。詳細設定が設定されている場合には、図５（ａ）のように人物の輪郭形状を対象領域として設定するのに対し、簡易設定が設定されている場合には、上述の通り算出した楕円領域Ｄを図５（ｂ）のように対象領域として設定する。

ＣＰＵ１９は、詳細設定と簡易設定との何れかの指示入力をタッチパネル１８を介して受け付けると、図３（ｂ）に示す設定画面に切り換える。

図３（ｂ）は、補正処理部１９ｅの補正処理内容の選択画面の一例を示す。ユーザは、背景領域の補正処理を行う場合において、補正処理のパラメータとしては、コントラスト、彩度、色相のうち少なくとも１つを選択して指示入力することができる。例えば、ＣＰＵ１９は、背景領域の補正処理における彩度の設定の指示入力をタッチパネル１８を介して受け付けたとする。この場合、ＣＰＵ１９は、さらに、図３（ｂ）に示すバー表示において、彩度を０から１００のレベルの範囲で増減させる入力を受け付ける。ＣＰＵ１９は、一例として、彩度の値として“０”を受け付けると、補正処理部１９ｅは、後述するステップＳ１０９において、背景領域をカラー画像からモノクロ画像に変換する補正処理を行う。

また、ＣＰＵ１９は、一例として、コントラストを０から１００のレベルの範囲で増減させる入力を受け付ける。ＣＰＵ１９がコントラストのレベルを上げる入力を受け付けた場合、補正処理部１９ｅは、画像内において背景領域との明暗の差を大きくして、コントラストを硬調にさせる。また、ＣＰＵ１９がコントラストのレベルを下げる入力を受け付けた場合、補正処理部１９ｅは、画像内において背景領域との明暗の差を縮めて、コントラストを軟調にさせる。

また、ＣＰＵ１９は、一例として、色相を変化させる入力を受け付ける。一例として、図３（ｂ）に示す色相のバー表示は、いわゆる色相環の回転量（マイナス１８０度からプラス１８０度の範囲）に対応している。ここで、例えば、現在の色が赤であれば、ＣＰＵ１９がバー表示においてマイナス方向への入力を受け付けた場合、ＣＰＵ１９は、色相環において赤を基準として時計回りに回転した所定の色に変化させる。すなわち、補正される部分の色相は、上記の回転量（角度）に応じて例えば「赤→橙→黄→緑→シアン」と変化する。また、ＣＰＵ１９がバー表示においてプラス方向への入力を受け付けた場合、ＣＰＵ１９は、色相環において赤を基準として反時計回りに回転した所定の色に変化させる。すなわち、補正される部分の色相は、回転量に応じて例えば「赤→ピンク→マゼンタ→紫→青」と変化する。なお、図３（ｂ）の例では、補正処理部１９ｅが色相に応じて背景領域の色を変化させる場合を例示した。

また、補正処理部１９ｅは、対象領域に対して背景領域とは異なる補正処理をさらに行っても良い。この場合、ユーザは、対象領域の補正処理を行う場合において、補正処理のパラメータとしては、背景領域の補正処理と同様、コントラスト、彩度、色相のうち少なくとも１つを選択することができる。ただし、補正処理の設定は、背景領域の補正処理とは異なる内容を受け付ける。つまり、補正処理部１９ｅは、対象領域と背景領域とについて異なる補正処理を行うことで、視認性を高めることができるからでる。

なお、予めディフォルト設定により、ＣＰＵ１９は、ステップＳ１０１の処理をスキップするようにしても良い。例えば、ディフォルト設定の内容は、（１）対象領域の設定は詳細設定し、（２）背景領域の補正処理はモノクロ化とし、（３）対象領域の補正処理は行わない等の設定であっても良い。本実施形態では、説明の便宜上、（１）〜（３）の設定を受け付けたことにする。

ステップＳ１０２：ＣＰＵ１９は、ステップＳ１０１の追尾撮影モードの設定が終了すると、スルー画像の取得を開始させる。そして、ＣＰＵ１９は、表示モニタ１５にスルー画像を表示させる。

ステップＳ１０３：ＣＰＵ１９の抽出部１９ａは、画像を解析して被写体の顔の領域を抽出する。図６は、追尾撮影モードによる撮影の一例を説明する図である。ＣＰＵ１９の表示制御部１９ｆは、抽出部１９ａの解析結果に基づいて、顔枠Ｗ１、Ｗ２をスルー画像に重畳表示させる。なお、本実施形態では、図６に示す通り、網掛けの領域がカラー表示を表していることとする。

ステップＳ１０４：ＣＰＵ１９の選択部１９ｂは、抽出部１９ａが抽出した複数の被写体の顔の内から注目する顔を選択する。具体的には、選択部１９ｂは、タッチパネル１８を介して指先Ａの接触位置の座標を検出する。そして、選択部１９ｂは、指先Ａの接触位置の座標に基づいて、顔枠Ｗ１で囲まれる人物Ｐ１（ユーザの子供）の顔を選択する。

ステップＳ１０５：ＣＰＵ１９の設定部１９ｃは、顔の領域に基づいて、グラフカット法を用いて、人物Ｐ１の輪郭形状を推定する。そして、設定部１９ｃは、人物Ｐ１の輪郭形状を対象領域として設定する。

ステップＳ１０６：ＣＰＵ１９の追尾部１９ｄは、現フレーム（現在のフレーム）と前フレーム（例えば、１つ前のフレーム）とのフレーム間差分により対象領域の動きを検出し、画像内で対象領域を追尾する。具体的には、ＣＰＵ１９の追尾部１９ｄは、一例として画像を１６画素×１６画素のブロックに分割し、ブロック毎に各画素のフレーム間の差分信号が閾値以上になる画素を演算することにより対象領域の動きを検出する。なお、本実施形態では、間引き読み出しにより、前フレームが必ずしも１つ前のフレームに限定されない。また、一旦、対象領域が定まると、追尾部１９ｄは、その後の追尾処理においてフレーム間差分により、人物Ｐ１の画像における形状の変化を推定することができる。

ステップＳ１０７：画像処理部１２は、ＲＡＭ１３に記録されている現在のフレームの画像データを読み出し、標準処理として階調変換処理、ホワイトバランス処理等を施す。

ステップＳ１０８：ＣＰＵ１９は、レリーズ釦１７の押下による撮影の指示入力（全押し操作）の有無の判定を行う。ＣＰＵ１９は、撮影の指示入力を受け付けなかった場合（ステップＳ１０８：Ｎｏ）、ステップＳ１０９に移行する。一方、ＣＰＵ１９は、撮影の指示入力を受け付けた場合（ステップＳ１０８：Ｙｅｓ）、後述するステップＳ１１１に移行する。

ステップＳ１０９：ＣＰＵ１９の補正処理部１９ｅは、現在のフレームの背景領域をカラー画像からモノクロ画像に変換する補正処理を行う。この場合、補正処理部１９ｅは、一例として、カラー画像の各色の画素値をモノクロ画像の画素値に変換する処理を行う。具体的には、補正処理部１９ｅは、各ＲＧＢの画素値を輝度（Ｙ）の画素値（濃淡のみを表す画素値）に変換する。これにより、補正処理部１９ｅは、例えば、各ＲＧＢの画素値に基づいて、グレースケールのモノクロ画像に変換する。

ステップＳ１１０：ＣＰＵ１９の表示制御部１９ｆは、補正処理部１９ｅによる補正処理後の画像をスルー画像として表示モニタ１５に表示させる。そして、ステップＳ１０６に戻り、ＣＰＵ１９は、ステップＳ１０８で全押し操作がなされるまで、ステップＳ１０５からステップＳ１１０の処理を繰り返す。

図７〜９は、追尾撮影モードによる撮影の一例を説明する図である。図７に示す通り、表示制御部１９ｆは、人物Ｐ１（対象領域）以外はモノクロ化したスルー画像を表示モニタ１５に表示させる。追尾部１９ｄは、次フレーム（現フレーム）と前フレームとのフレーム間差分により人物Ｐ１の動きを検出し、画像内で人物Ｐ１を追尾し、ステップＳ１０５からステップＳ１１０の処理を繰り返す。ここで、図８では、人物Ｐ１がゴールに向けて走ってくる状態を示しており、図９では、人物Ｐがゴールに到達した瞬間（シャッタチャンス）を示している。例えば、ＣＰＵ１９は、図９に示す状態下で、レリーズ釦１７の押下による撮影の指示入力を受け付けると（ステップＳ１０８：Ｙｅｓ）、ステップＳ１１１に移行する。

ステップＳ１１１：ＣＰＵ１９は、撮像部１１の撮像素子を駆動する。ＡＦＥは、画像信号のゲイン調整やＡ／Ｄ変換等を行う。このＡＦＥが出力する画像信号は、ＲＡＭ１３に記録用の画像データとして一旦記録される。画像処理部１２は、記録用の画像データに対してホワイトバランス補正処理等の画像処理を行う。ＣＰＵ１９の記録制御部１９ｇは、画像処理を行った画像データと、顔の領域の座標や大きさ等の特徴部分の情報とを記録媒体３０に記録する。

この場合、画像データの記録方式は、一例としてＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ Ｉｍａｇｅ Ｆｉｌｅ Ｆｏｒｍａｔ）形式を採用し、特徴部分の情報は、画像データの所定のヘッダファイルに書き込まれる。図１０は、静止画撮影された記録用の画像の一例を示す図である。図１０では、網掛けはカラー表示を表している。ＣＰＵ１９は、ステップＳ１１１の処理の後、図２に示すフローを終了させる。

以上、本実施形態では、追尾撮影モードとして、運動会の徒競走において親が自分の子供を注目対象として静止画撮影する場合を例示した。例えば、図９に示す通り、運動会の徒競走では、徒競走をしている人物同士が同じ色の服装をしている場合が一般的である。そのため、注目対象のみを補正処理して、例えば、色のコントラストを上げたとしても元々同じ色同士では他の人物と区別がつきにくい。しかし、本実施形態の電子カメラ１では、スルー画像の表示において、例えば対象領域のみをカラー表示にし、背景領域をモノクロ表示にするため、通常の全体がカラー表示のスルー画像の表示に比べて、注目対象の視認性を高めることができる。

（第２実施形態）
次に、本発明の第２実施形態について説明する。第１実施形態では、静止画撮影の場合の追尾撮影モードを取り上げたが、第２実施形態では、動画撮影の場合の追尾撮影モードを取り上げる。なお、本発明の第１実施形態と本発明の第２実施形態とでは、電子カメラ１の内部構成は同様であるので、説明は省略する。

次に、第２実施形態における電子カメラ１の動作の一例を説明する。図１１は、第２実施形態における電子カメラ１の動作の一例を示すフローチャートである。ここで、電子カメラ１の電源がオンされた後、例えば、タッチパネル１８が、動画画撮影における追尾撮影モードの指示入力を受け付けると、ＣＰＵ１９は、図１１に示すフローに示す処理を開始させる。なお、図２に示すフローチャートと同じ処理については、簡略化して説明する。また、撮影シーンは、説明の便宜上、第１実施形態と同じとする。また、図３から図９も必要に応じて適宜流用して説明する。

ステップＳ２０１：ＣＰＵ１９は、追尾撮影モードの設定画面を表示モニタ１５に出力させる（図３）。なお、第２実施形態においても第１実施形態と同様のディフォルト設定の内容を受け付けたとする。

ステップＳ２０２：ＣＰＵ１９の表示制御部１９ｆは、追尾撮影モードの設定が終了すると、表示モニタ１５に確認用の動画像を表示させる。なお、表示制御部１９ｆは、確認用の動画像を記録用の動画像のフレームレートよりも低いフレームレートで表示させる。

ステップＳ２０３：ＣＰＵ１９の抽出部１９ａは、画像から被写体の顔の領域を抽出する。

ステップＳ２０４：ＣＰＵ１９の選択部１９ｂは、タッチパネル１８を介して選択入力された顔枠Ｗ１で囲まれる人物Ｐ１の顔を注目対象の顔として選択する（図６）。

ステップＳ２０５：ＣＰＵ１９の設定部１９ｃは、顔の領域に基づいて、グラフカット法を用いて、人物Ｐ１の輪郭形状を推定する。そして、設定部１９ｃは、人物Ｐ１の輪郭形状を対象領域として設定する。

ステップＳ２０６：ＣＰＵ１９の追尾部１９ｄは、現フレームと前フレームとのフレーム間差分により対象領域の動きを検出し、画像内で対象領域を追尾する。

ステップＳ２０７：画像処理部１２は、ＲＡＭ１３に記録されている現フレームの画像データを読み出し、標準処理として階調変換処理、ホワイトバランス処理等を施す。

ステップＳ２０８：ＣＰＵ１９の記録制御部１９ｇは、動画像を記録媒体３０に順次記録していく。また、ＣＰＵ１９の記録制御部１９ｇは、最初のフレーム内の注目対象の顔の座標も別途記録する。なお、ＣＰＵ１９の記録制御部１９ｇは、フレーム毎に注目対象の顔の座標を別途記録しても良い。

ステップＳ２０９：ＣＰＵ１９の補正処理部１９ｅは、現在のフレームの背景領域をカラー画像からモノクロ画像に変更する補正処理を行う。

ステップＳ２１０：ＣＰＵ１９の表示制御部１９ｆは、補正処理部１９ｅによる補正処理後の動画像を表示モニタ１５に表示させる。

ステップＳ２１１：ＣＰＵ１９は、操作部１６を介して撮影終了の指示入力の有無の判定を行う。ＣＰＵ１９は、撮影終了の指示入力を受け付けなかった場合（ステップＳ２１１：Ｎｏ）、ステップＳ２０６に戻る。一方、ＣＰＵ１９は、撮影終了の指示入力を受け付けた場合（ステップＳ２１１：Ｙｅｓ）、図１１に示すフローを終了させる。

以上より、本実施形態の電子カメラ１では、動画撮影時の表示モニタ１５上の動画表示において、例えば、注目対象である人物Ｐ１をカラー表示し、人物Ｐ１を除く背景領域をモノクロ表示する（図７〜図９）。これにより、本実施形態の電子カメラ１では、通常の画面全体がカラー表示の動画表示に比べて、注目対象の視認性を高めることができる。

（第３実施形態）
次に、本発明の第３実施形態について説明する。第３実施形態では、第１実施形態の電子カメラ１で撮影された記録用の静止画像を用いて、コンピュータの表示モニタ上で再生する際に注目対象の視認性を高めるための補正処理プログラムを提供する。ここで、第３実施形態では、記録媒体４０に記録されている本発明の一実施形態である補正処理プログラムをコンピュータにインストールして実行する。

図１２は、コンピュータの内部構成を示すブロック図である。図１２に示す通り、コンピュータ１００は、記録Ｉ／Ｆ部１０１と、キーボード１０２と、表示モニタ１０３と、ＲＯＭ１０４と、ＲＡＭ１０５と、ＣＰＵ１０６と、バス１０７とを備える。

記録Ｉ／Ｆ部１０１は、着脱自在の記録媒体３０や記録媒体４０を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ部１０１は、そのコネクタに接続された記録媒体３０や記録媒体４０にアクセスする。

キーボード１０２は、コンピュータ１００へのコマンド等の入力装置である。表示モニタ１０３は、静止画像、動画像等を表示する。ＲＯＭ１０４は、コンピュータ１００の制御を行うプログラム等を予め記憶している不揮発性のメモリである。ＲＡＭ１０５は、ＣＰＵ１０６の制御により記録媒体３０に記録されている画像等を格納する。また、ＲＡＭ１０５は、ＣＰＵ１０６の制御により記録媒体４０に記録されているプログラムを格納（インストール）する。

ＣＰＵ１０６は、コンピュータ１００の制御を行うプロセッサである。ＣＰＵ１０６は、ＲＯＭ１０４に予め格納されたシーケンスプログラムを実行することにより、コンピュータ１００の各部の制御等を行う。また、ＣＰＵ１０６は、記録媒体４０から本発明の一実施形態である補正処理プログラムをＲＡＭ１０５に格納することにより、読出処理部１０６ａと、設定処理部１０６ｂと、補正処理部１０６ｃと、追尾処理部１０６ｄとしても機能する。すなわち、補正処理プログラムは、読出処理と、設定処理と、補正処理と、追尾処理とをＣＰＵ１９に実行させる。

また、ＣＰＵ１０６は、補正処理部１０６ｃによる補正処理後の画像を表示モニタ１０３に表示させる表示制御機能を有する。また、ＣＰＵ１０６は、補正処理後の画像を記録媒体３０又は記録媒体４０等に記録する記録機能を有する。ここで、補正処理プログラムは、表示制御機能や記録機能を予め備えていても良い。この場合、ＣＰＵ１０６は、補正処理プログラムがインストールされることにより、表示制御機能や記録機能を実行させることとする。なお、第３実施形態では、補正処理プログラムのうち、読出処理と、設定処理と、補正処理とを実行させる。

読出処理部１０６ａは、図２に示すフローチャートのステップＳ１１１で記録された記録用の静止画像とその静止画像に対応する被写体の特徴部分を示す情報とをＲＡＭ１０５から読み出す。設定処理部１０６ｂは、その情報に基づいて、記録用の静止画像内に特徴部分を含む対象領域を設定する。補正処理部１０６ｃは、記録用の静止画像内の背景領域に対して補正処理を行う。

次に、補正処理プログラムを用いたコンピュータ１００の動作について説明する。ここでは、電子カメラ１で記録された記録用の静止画像や補正処理プログラム等は、予め、記録Ｉ／Ｆ部１０１を介してＲＡＭ１０５に記録されているものとする。

図１３は、第３実施形態におけるコンピュータ１００の動作の一例を示すフローチャートである。ここで、図１３に示すキーボード１０２から補正処理プログラムの起動を受け付けると、ＣＰＵ１０６は、図１３に示すフローに示す処理を開始させる。

ステップＳ３０１：ＣＰＵ１０６は、読出処理を行う。具体的には、ＣＰＵ１０６は、処理対象であるＥｘｉｆ形式の画像データをＲＡＭ１０５から読み出す。また、ＣＰＵ１０６は、画像データの所定のヘッダファイルから被写体の特徴部分を示す情報として顔の領域の座標等を読み出す。

ステップＳ３０２：ＣＰＵ１０６は、設定処理を行う。具体的には、ＣＰＵ１０６は、顔の領域に基づいて、グラフカット法を用いて、人物の輪郭形状を推定する。ＣＰＵ１０６は、グラフカット法で推定された人物の輪郭形状を対象領域として設定する。

ステップＳ３０３：ＣＰＵ１０６は、補正処理を行う。具体的には、ＣＰＵ１０６は、背景領域に対して、カラー画像からモノクロ画像に変換する補正処理を行う。

ステップＳ３０４：ＣＰＵ１０６は、補正処理後の画像を表示モニタ１０３に表示させる。

ステップＳ３０５：ＣＰＵ１０６は、補正処理後の画像をＲＡＭ１０５の保存領域又は記録媒体３０又は４０に記録する。そして、ＣＰＵ１０６は、図１３に示すフローを終了させる。

以上、本実施形態の補正処理プログラムによれば、ＣＰＵ１０６は、記録用の画像に対して被写体の特徴部分を示す情報に基づいて補正処理を行う。そして、ＣＰＵ１０６は、補正処理後の画像を表示モニタ１０３に表示させる。ユーザは、補正処理後の画像を見ることで、注目対象（例えば、人物）を視認しやすくなる。さらに、ユーザは、補正処理後の画像を加工又は修正をするレタッチ処理や、補正処理後の画像の一部を切り出すトリミング処理等がしやすくなる。

（第４実施形態）
次に、本発明の第４実施形態について説明する。第４実施形態では、第２実施形態の電子カメラ１で撮影された記録用の動画像を用いて、コンピュータの表示モニタ上で再生する際に注目対象の視認性を高めるための補正処理プログラムを提供する。

第４実施形態では、第３実施形態同様、コンピュータ１００を使用する。なお、第４実施形態では、補正処理プログラムのうち、読出処理と、設定処理と、補正処理と、追尾処理とを実行させる。

読出処理部１０６ａは、図１１に示すフローチャートのステップＳ２０８で記録された記録用の動画像とその動画像に対応する被写体の特徴部分を示す情報とをＲＡＭ１０５から読み出す。設定処理部１０６ｂは、その情報に基づいて、記録用の動画像内に特徴部分を含む対象領域を設定する。追尾処理部１０６ｄは、動画再生時に、フレーム間にわたって対象領域として人物の輪郭形状の動きを検出し、画像内で対象領域を追尾する。補正処理部１０６ｃは、記録用の動画像内の対象領域を除外して設定された背景領域に対して補正処理を行う。

図１４は、第４実施形態におけるコンピュータ１００の動作の一例を示すフローチャートである。ここで、第３実施形態同様、図１２に示すキーボード１０２から補正処理プログラムの起動を受け付けると、ＣＰＵ１０６は、図１４に示すフローに示す処理を開始させる。

ステップＳ４０１：ＣＰＵ１０６は、読出処理を行う。具体的には、ＣＰＵ１０６は、図１１に示すフローチャートのステップＳ２０８で記録された記録用の動画像ファイルの画像データをＲＡＭ１０５から所定のフレームレートで読み出す。また、ＣＰＵ１０６は、図１１に示すフローチャートのステップＳ２０８で記録された被写体の特徴部分を示す情報（顔の領域の座標等）をＲＡＭ１０５から読み出す。

ステップＳ４０２：ＣＰＵ１０６は、設定処理を行う。具体的には、第３実施形態同様、ＣＰＵ１０６は、顔の領域に基づいて、グラフカット法を用いて、人物の輪郭形状を推定する。ＣＰＵ１０６は、グラフカット法で推定された人物の輪郭形状を対象領域として設定する。

ステップＳ４０３：ＣＰＵ１０６は、例えば、現フレームと前フレームとのフレーム間差分により対象領域の動きを検出し、画像内で対象領域を追尾する。なお、一旦、対象領域が定まると、追尾部１９ｄは、その後の追尾処理においてフレーム間差分により、対象領域（人物Ｐ１の輪郭形状）の画像内での変化を推定することができる。

ステップＳ４０４：ＣＰＵ１０６は、補正処理を行う。具体的には、ＣＰＵ１０６は、背景領域に対して、カラー表示からモノクロ表示に変換する補正処理を行う。

ステップＳ４０５：ＣＰＵ１０６は、画像表示処理を行う。具体的には、ＣＰＵ１０６は、補正処理後の動画像を表示モニタ１０３に表示させる。

ステップＳ４０６：ＣＰＵ１０６は、記録処理を行う。具体的には、ＣＰＵ１０６は、補正処理後の動画像をフレーム単位でＲＡＭ１０５の保存領域又は記録媒体３０又は４０に記録する。

ステップＳ４０７：ＣＰＵ１０６は、再生終了の有無の判定を行う。ＣＰＵ１０６は、最後のフレームを読み出していない場合（ステップＳ４０７：Ｎｏ）、ステップＳ４０３に戻る。一方、ＣＰＵ１０６は、最後のフレームを読み出した場合（ステップＳ４０７：Ｙｅｓ）、図１４に示すフローを終了させる。

以上、第４実施形態の補正処理プログラムによれば、ＣＰＵ１０６の補正処理部１０６ｃは、記録用の動画像内の背景領域に対して補正処理を行う。そして、ＣＰＵ１０６は、補正処理後の動画像を表示モニタ１０３に順次表示させる。ユーザは、補正処理後の再生画像を見ることで、注目対象（この場合、人物）を視認しやすくなる。
＜実施形態の補足事項＞
（１）本実施形態では、ディフォルト設定により、ＣＰＵ１９は、ステップＳ１０１の処理をスキップするようにしても良いと説明したが、ＣＰＵ１９の処理の負荷に応じて対象領域の設定を詳細設定にするか簡易設定にするかを決定しても良い。例えば、ＣＰＵ１９は、動画像の撮像時やスルー画像の撮像時には対象領域の設定を簡易設定とするよう決定し、静止画撮影時には対象領域の設定を詳細設定とするよう決定する。

また、何れか一方の設定における処理のみを施すよう電子カメラを構成しても良い。例えば、処理能力の高いＣＰＵを搭載している電子カメラにおいては詳細設定の場合に説明した処理を施すよう電子カメラを構成し、処理能力の低いＣＰＵを搭載している電子カメラにおいては簡易設定の場合に説明した処理を施すよう電子カメラを構成しても良い。
（２）本実施形態では、補正処理として、コントラストと、彩度と、色相とを取り上げたが、これらは一例であって、３つの処理に限定されるものではない。例えば、補正処理のパラメータは、明度等であっても良い。また、本実施形態では、コントラストと彩度とを調節することにより、背景領域をセピア色にする等の補正処理を行っても良い。
（３）補正処理部１９ｅは、複数の対象領域が選択された場合、例えば優先順位に従って対象領域毎に異なる補正処理を行っても良い。これにより、ユーザは、注目対象毎に視認しやすくなる。
（４）また、第１実施形態及び第２実施形態の電子カメラ１の一部、例えば、ＣＰＵ１９、抽出部１９ａ、選択部１９ｂ、設定部１９ｃ、追尾部１９ｄ、補正処理部１９ｅ、表示制御部１９ｆ及び記録制御部１９ｇの機能をコンピュータで実現するようにしても良い。この場合、各機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。
（５）なお、（４）でいう「コンピュータシステム」とは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）や周辺機器のハードウェアを含むものとする。さらに（４）でいう「コンピュータ読み取り可能な記録媒体」と第３及び第４実施形態でいう「記録媒体４０」とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに前述の「コンピュータ読み取り可能な記録媒体」及び「記録媒体４０」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでも良い。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであっても良い。

１・・・電子カメラ、１１・・・撮像部、１５・・・表示モニタ、１９ａ・・・抽出部、１９ｂ・・・選択部、１９ｃ・・・設定部、１９ｄ・・・追尾部、１９ｅ・・・補正処理部、１９ｆ・・・表示制御部、１９ｇ・・・記録制御部、３０、４０・・・記録媒体、１０６ａ・・・読出処理部、１０６ｂ・・・設定処理部、１０６ｃ・・・補正処理部、１０６ｄ・・・追尾処理部、１００・・・コンピュータ

Claims (7)

1. 被写体を撮像し、所定のフレームレートで画像を出力する撮像部と、
   前記画像を表示する表示部と、
   前記画像から前記被写体の特徴部分を抽出する抽出部と、
   前記特徴部分に基づいて、該特徴部分を含む対象領域を画像内に設定する設定部と、
   各々の画像内の前記対象領域の位置を検出し、時系列の複数の画像間にわたって前記対象領域を追尾する追尾部と、
   各々の画像において、前記対象領域を除外して設定された背景領域に対して補正処理を行う補正処理部と、
   補正処理後の画像を前記表示部に動画表示させる表示制御部と、
   を備えることを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記補正処理部は、前記背景領域のコントラスト、彩度、色相の少なくとも１つを補正することを特徴とする撮像装置。
3. 請求項１に記載の撮像装置において、
   前記抽出部が複数の被写体に対応する特徴部分を抽出した場合、注目する被写体を選択する選択部をさらに備え、
   前記設定部は、前記注目する被写体の特徴部分に基づいて、前記対象領域を設定することを特徴とする撮像装置。
4. 請求項１に記載の撮像装置において、
   前記補正処理部は、前記対象領域に対して前記背景領域とは異なる補正処理をさらに行うことを特徴とする撮像装置。
5. 請求項１から請求項４の何れか１項記載の撮像装置において、
   前記撮像部により撮像された記録用の画像と該画像に対応する前記被写体の特徴部分を示す情報とを記録する記録制御部をさらに備えることを特徴とする撮像装置。
6. 請求項５に記載の撮像装置で記録された前記記録用の画像と前記被写体の特徴部分を示す情報とを読み出す読出処理と、
   前記情報に基づいて、読み出された画像内に前記特徴部分を含む対象領域を設定する設定処理と、
   前記画像内の前記対象領域を除外して設定された背景領域に対して補正処理を行う補正処理と、
   をコンピュータに実行させることを特徴とする補正処理プログラム。
7. 請求項５に記載の撮像装置で記録された前記記録用の画像と前記被写体の特徴部分を示す情報とを読み出す読出処理と、
   前記情報に基づいて、読み出された画像内に前記特徴部分を含む対象領域を設定する設定処理と、
   前記画像内の前記対象領域を除外して設定された背景領域に対して補正処理を行う補正処理と、
   をコンピュータに実行させるための命令が記録されたコンピュータ可読な記録媒体。

Images