JP2012119817A - 電子カメラ及び補正処理プログラム - Google Patents

Abstract

【課題】 本発明は、撮影の構図から邪魔な動体がいなくなるのを待つ必要がなく、撮影したい対象物に動体が写らないようにして静止画像を取得することができる手段を提供する。
【解決手段】 電子カメラは、撮像部、動体検出部、被写体検出部、設定部、判定部及び補正処理部を備える。撮像部は、記録用の静止画像を取得すると共に、静止画像と撮影範囲が共通する複数の画像を時系列に取得する。動体検出部は撮影範囲内の動く被写体を検出する。被写体検出部は、動く被写体が静止画像内に存在するか否かを検出する。設定部は、動く被写体が静止画像内に存在する場合、静止画像内に動く被写体を囲む部分領域を設定する。判定部は、部分領域に対応する位置に設定された対応領域内に動く被写体が存在するか否かを判定する。補正処理部は、動く被写体が対応領域内に存在しないと判断された補正用の画像のデータを用いて、静止画像のうちの部分領域の画像を補正する。
【選択図】 図１

Description

本発明は、動画撮影機能を有する電子カメラ及び画像を補正する補正処理プログラムに関する。

従来、動画再生時に、例えば、ほこりや傷により生じたいわゆるアーティファクトが画像に現れることがある。そこで、画像からアーティファクトを取り除く技術が提案されている（例えば、特許文献１参照）。

特表２００８−５２２５０８号公報

しかし、上記の従来技術では、アーティファクトのような静止体を画像から取り除くことができても、撮影範囲内に存在する邪魔な動体が写っていない画像を取得することは困難である。

例えば、撮影者が対象物（一例として城等の建造物）を電子カメラで記念撮影したい場合、対象物の前の動体（例えば、人等）が撮影の邪魔になることがある。この場合、撮影者が撮影の構図から動体が全ていなくなるのを待っていたのでは、撮影までに時間がかかる。そのため、邪魔な動体が画像に写らないように静止画像を取得する技術が望まれる。

そこで、本発明は、上記事情に鑑み、邪魔な動体が写らない好ましい状態の静止画像を取得するための手段を提供することを目的とする。

第１の発明に係る電子カメラは、撮像部と、動体検出部と、被写体検出部と、設定部と、判定部と、補正処理部とを備える。撮像部は、撮影範囲内の被写体を撮像して、記録用の静止画像を取得すると共に、静止画像と撮影範囲が共通する複数の画像を時系列に取得する。動体検出部は、時系列に取得される複数の画像に基づいて、撮影範囲内の動く被写体を検出する。被写体検出部は、動く被写体が静止画像内に存在するか否かを検出する。設定部は、動く被写体が静止画像内に存在する場合、静止画像内に動く被写体を囲む部分領域を設定する。判定部は、動体検出部の検出結果に基づいて、複数の画像において、部分領域に対応する位置に設定された対応領域内に動く被写体が存在するか否かを判定する。補正処理部は、動く被写体が対応領域内に存在しないと判断された補正用の画像のデータを用いて、静止画像のうちの部分領域の画像を補正する。

第２の発明は、第１の発明において、動体検出部は、輪郭検出部と、ベクトル検出部とを有する。輪郭検出部は、画像から被写体の輪郭を検出する。動きベクトル検出部は、画像を複数のブロックに分割して、各ブロックの動きベクトルを検出する。動体検出部は、動きベクトルに基づいて、動く被写体の輪郭を検出する。

第３の発明は、第１の発明において、動体検出部は、動きベクトル検出部を有する。動きベクトル検出部は、対応領域を複数のブロックに分割して、各ブロックの動きベクトルを検出する。判定部は、対応領域の各ブロックの動きベクトル量が被写体の動きがないと判定できる状態のときに、動く被写体が対応領域内に存在しないと判定する。

第４の発明は、第１から第３の何れか１の発明において、設定部は、動く被写体が複数存在する場合、各々の動く被写体に対して部分領域をそれぞれ設定する。

第５の発明は、第１から第３の何れか１の発明において、記録処理部をさらに備える。記録処理部は、静止画像のデータと、補正用の前記画像のデータとをメモリに記録する。

第６の発明は、第５の発明において、報知部をさらに備える。報知部は、記録処理部が静止画像のデータと補正用の画像のデータとをメモリに記録した後、その旨を音で知らせる。

第７の発明は、第５の発明において、撮像制御部をさらに備える。撮像制御部は、記録処理部が静止画像のデータと補正用の画像のデータとをメモリに記録した後、撮像部に画像の出力を停止させる。

第８の発明は、第１から第７の何れか１の発明において、画像を表示する表示部をさらに備える。設定部は、ユーザの指示入力により、部分領域を静止画像内に設定する。

第９の発明は、第８の発明において、表示部に重ねて配置されると共に、前記ユーザからの操作を受け付けるタッチパネルをさらに備える。設定部は、タッチパネルを介した指示入力により、部分領域を静止画像内に設定する。

第１０の発明に係る補正処理プログラムは、読出処理と、指定処理と、動体検出処理と、被写体検出処理と、設定処理と、追尾処理と、判定処理と、補正処理とをコンピュータに実行させることを特徴とする。読出処理は、動画記録された画像を時系列に読み出す。指定処理は、時系列に読み出される複数の画像のうちから記録用の静止画像を指定する。動体検出処理は、複数の画像に基づいて、撮影範囲内の動く被写体を検出する。被写体検出処理は、動く被写体が静止画像内に存在するか否かを検出する。設定処理は、動く被写体が静止画像内に存在する場合、静止画像内に動く被写体を囲む部分領域を設定する。判定処理は、動体検出処理の検出結果に基づいて、複数の画像において、部分領域に対応する位置に設定された対応領域内に動く被写体が存在するか否かを判定する。補正処理は、動く被写体が対応領域内に存在しないと判断された補正用の画像のデータを用いて、静止画像のうちの部分領域の画像を補正する。

本発明によれば、邪魔な動体が写らない好ましい状態の静止画像を取得することができる。

電子カメラ１の内部構成を説明するブロック図 電子カメラ１の動作の一例を示すフローチャート 記録用の静止画像の一例を示す図 記録用の静止画像に模式的に部分領域を重畳表示した図 人物Ｐが対応領域から離れていく様子を模式的に示す図 補正処理後の静止画像の一例を示す図 複数の人物が対応領域から離れていく様子の一例を模式的に示す図 対応領域における動きベクトルの検出動作を説明する図 コンピュータ１００の内部構成を示すブロック図 コンピュータ１００の動作の一例を示すフローチャート

（第１実施形態）
以下、図面に基づいて本発明の実施の形態を詳細に説明する。なお、第１実施形態で説明する「記念撮影モード」は、一例として、電子カメラ１が、撮影したい対象物に動体（動く被写体）が写らないように静止画像を取得する撮影モードである（詳細は後述する）。第１実施形態では、説明の便宜上、動体を人物とする。

図１は、第１実施形態の電子カメラ１の構成を示すブロック図である。電子カメラ１は、図１に示す通り、撮影レンズ１０と、撮像部１１と、画像処理部１２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１３と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１４と、表示モニタ１５と、操作部１６と、レリーズ釦１７と、タッチパネル１８と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１９と、記録インターフェース部（以下「記録Ｉ／Ｆ部」という）２０と、音声信号処理部２１と、スピーカ４０と、バス２２とを備える。このうち撮像部１１、画像処理部１２、ＲＡＭ１３、ＲＯＭ１４、表示モニタ１５、ＣＰＵ１９、記録Ｉ／Ｆ部２０及び音声信号処理部２１は、バス２２を介して互いに接続されている。また、操作部１６、レリーズ釦１７及びタッチパネル１８は、ＣＰＵ１９に接続されている。

撮影レンズ１０は、ズームレンズと、フォーカスレンズとを含む複数のレンズ群で構成されている。なお、簡単のため、図１では、撮影レンズ１０を１枚のレンズとして図示する。

撮像部１１は、レンズ駆動機構、絞り、シャッタ機構、撮像素子、タイミングジェネレータ及びＡＦＥ（アナログフロントエンド）等からなる。

また、撮像部１１は、撮影レンズ１０が結像した被写体像を撮像素子で撮像して画像を取得する。なお、撮像部１１は、記録用の静止画の撮影の場合、記録用の静止画像を取得する。また、撮像部１１は、記録用の動画撮影の場合、時系列に記録用の動画像を取得する。

さらに、撮像部１１は、「記念撮影モード」の場合、撮影範囲内の被写体を撮像して、記録用の静止画像を取得すると共に、静止画像と撮影範囲が共通する複数の画像を時系列に取得する。ここで、撮像部１１は、「記念撮影モード」の場合、ＣＰＵ１９の指示により動画像であるライブビュー画像（スルー画像）の撮影を行う。なお、「記念撮影モード」では、撮影者は、所定の時間間隔で連続的に静止画像を撮影する連写撮影の設定にすることもできる。この場合、撮像部１１は、ＣＰＵ１９の指示により連写撮影を行う。

撮像部１１が出力する画像は、画像データとしてＲＡＭ１３に一時的に記録される。このＲＡＭ１３は、フレームメモリとしても機能する。

画像処理部１２は、ＲＡＭ１３に記録されている画像データを読み出し、各種の画像処理（階調変換処理、ホワイトバランス処理等）を施す。ＲＯＭ１４は、電子カメラ１の制御を行うプログラム等を予め記憶している不揮発性のメモリである。

表示モニタ１５は、静止画像、スルー画像、動画像、電子カメラ１の操作メニュー等を表示する。表示モニタ１５には、液晶のモニタ等を適宜選択して用いることができる。

操作部１６は、例えば、コマンド選択用のコマンドダイヤル、電源ボタン等を有しており、電子カメラ１を操作するための指示入力を受け付ける。レリーズ釦１７は、半押し操作（撮影前における自動露出（ＡＥ：Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ）、自動焦点合わせ（ＡＦ：Ａｕｔｏ Ｆｏｃｕｓ）等の動作開始）の指示入力と全押し操作（記録撮像動作開始）との指示入力とを受け付ける。

タッチパネル１８は、表示モニタ１５に重ねて配置されると共に、撮影者（ユーザ）からの操作を受け付ける。例えば、タッチパネル１８は、タッチパネル表面に接触した指先等の位置を検出する。そして、タッチパネル１８は、検出した位置情報をＣＰＵ１９に出力することで撮影者からの入力を受け付ける。なお、タッチパネル１８は、表示モニタ１５と同等の大きさを有する透明なパネルで構成されており、表示モニタ１５の表面全体に積層して配置される。また、第１実施形態の例では、タッチパネル１８は、静電気による電気信号を感知する静電容量式のパネルで構成されている。タッチパネル１８の構成は、静電容量式に限られず、例えば、圧力による電圧の変化を検出する抵抗膜式のパネルを用いても良い。

また、記録Ｉ／Ｆ部２０は、着脱自在の記録媒体３０を接続するためのコネクタ（不図示）を有する。そして、記録Ｉ／Ｆ部２０は、そのコネクタに接続された記録媒体３０にアクセスして画像の記録処理等を行う。この記録媒体３０は、例えば、不揮発性のメモリカードである。図１では、コネクタに接続された後の記録媒体３０を示している。

また、音声信号処理部２１は、補正処理に用いる画像データが全て取得された場合、撮影終了を示す報知信号を出力する。スピーカ４０は、報知信号を音に変換して外部に出力する。

ＣＰＵ１９は、各種演算及び電子カメラ１の制御を行うプロセッサである。ＣＰＵ１９は、ＲＯＭ１４に予め格納されたシーケンスプログラムを実行することにより、電子カメラ１の各部の制御等を行う。また、ＣＰＵ１９は、エッジ検出部１９ａ、動きベクトル検出部１９ｂ、被写体検出部１９ｃ、設定部１９ｄ、追尾部１９ｅ、判定部１９ｆ、補正処理部１９ｇ、記録処理部１９ｈ及び撮像制御部１９ｉとしても機能する。なお、ＣＰＵ１９のエッジ検出部１９ａ、動きベクトル検出部１９ｂ及び追尾部１９ｅは、動体の検出及び追尾を行う動体検出部としても機能する。

エッジ検出部１９ａは、被写体の外縁を表す輪郭を検出する。例えば、エッジ検出部１９ａは、各画像の画像信号に基づいて画素値（例えば、輝度値）が急変する部分を算出し、その画素値が急変する部分を輪郭として検出する。

動きベクトル検出部１９ｂは、フレーム（画像）を複数のブロックに分割して、各ブロックの動きベクトルを検出する。具体的には、動きベクトル検出部１９ｂは、時間的に隣り合うフレームとして、現フレーム（現在のフレーム）と前フレーム（例えば、１つ前のフレーム）との間において、フレーム間差分によるブロックマッチングを実施する。例えば、動きベクトル検出部１９ｂは、先ず、前フレームを複数のブロックに分割し、個々のブロックとパターンが近い領域を現フレームから探索する。動きベクトル検出部１９ｂは、この探索により、ブロック毎の動きベクトルを検出する。そして、ＣＰＵ１９は、ブロック毎の動きベクトルに基づいて動く被写体の輪郭を検出することができる。

被写体検出部１９ｃは、動く被写体が静止画像内に存在するか否かを検出する。なお、動く被写体は、撮影者の設定または後述の動体検出により決定される。また、被写体検出部１９ｃは、動く被写体の画像データに基づき、静止画像内の画像データを解析して、静止画像内に動く被写体が存在するか否かを検出する。例えば、被写体検出部１９ｃは、動く被写体の画像データと静止画像内の画像データとをパターンマッチングすることにより、動く被写体が存在するか否かを検出する。

設定部１９ｄは、動く被写体が静止画像内に撮像されている場合、静止画像内に動く被写体を囲む部分領域を設定する。さらに、設定部１９ｄは、動く被写体が複数存在する場合、各々動く被写体に対して部分領域をそれぞれ設定する。

また、設定部１９ｄは、撮影者（ユーザ）の指示入力により、部分領域を領域内に設定しても良い。具体的には、設定部１９ｄは、タッチパネル１８を介した指示入力により、部分領域を静止画像内に設定する。

追尾部１９ｅは、時系列の複数のフレーム間にわたって、ブロック毎の動きベクトルに基づいて、動く被写体を追尾する。

判定部１９ｆは、追尾部１９ｅの検出結果に基づいて、複数の画像において、部分領域に対応する位置に設定された対応領域内に動く被写体が存在するか否かを判定する。

補正処理部１９ｇは、動く被写体が対応領域内に存在しないと判断された画像の画像データを用いて、静止画像のうちの部分領域の画像を補正する。具体例として、補正処理部１９ｇは、静止画像の部分領域の画像データを、動く被写体が対応領域内に存在しないと判断された場合の画像データで置換する。

記録処理部１９ｈは、「記念撮影モード」の場合、静止画像の画像データと、補正処理部１９ｇが補正に用いる画像データとをメモリ（ＲＡＭ１３の保存領域或いは記録媒体３０）に記録する。

撮像制御部１９ｉは、記録処理部１９ｈが静止画像の画像データと補正用の画像の画像データとをメモリに記録した後、撮像部１１に画像の出力を停止させる。

次に、第１実施形態の「記念撮影モード」における電子カメラ１の動作の一例を説明する。図２は、電子カメラ１の動作の一例を示すフローチャートである。ここで、ＣＰＵ１９は、電子カメラ１の電源がオンされた後、タッチパネル１８を介して「記念撮影モード」の指示入力を受け付ける。これにより、ＣＰＵ１９は、例えば、後述する動体の検出処理を撮影者のマニュアル操作で行うのか、或いは、電子カメラ１側で行うかの選択指示入力を受け付けることができる。そして、ＣＰＵ１９は、図２に示すフローに示す処理を開始させる。

なお、第１実施形態では、説明の便宜上、撮影シーンとして、建造物の前に撮影の邪魔となる人物がいる場合を例示する。また、撮影者は、電子カメラ１を三脚に固定して撮影することとする。これは、「記念撮影モード」において、時系列に取得される画像の撮影範囲を共通にするためである。

ステップＳ１０１：ＣＰＵ１９は、撮像部１１にスルー画像の取得を指示する。これにより、ＣＰＵ１９は、例えば、３０ｆｐｓのフレームレートでスルー画像を表示モニタ１５に表示させる。

ステップＳ１０２：ＣＰＵ１９は、「記念撮影モード」でレリーズ釦１７による静止画取得の指示入力を受け付けた場合、例えば、スルー画像を取得する撮影条件で記録用の静止画像の取得を撮像部１１に指示する。これにより、静止画像と、補正に用いる画像との撮影条件を合わせることができる。

続いて、撮像部１１は、記録用の静止画像の画像データを出力する。ＣＰＵ１９の記録処理部１９ｈは、この画像データを、ＲＡＭ１３のデータ保存領域に記録する。

図３は、記録用の静止画像の一例を示す図である。図３の例では、撮影の邪魔となる人物Ｐ（動体）が、建造物５０の前に立っている。なお、この人物Ｐは、時間の経過に伴い移動することとする。

ステップＳ１０３：ＣＰＵ１９は、撮影者の入力による動体の設定の選択指示入力の場合（ステップＳ１０３：Ｙｅｓ）、ステップＳ１０４−１に移行する。一方、電子カメラ１側で動体を検出する選択指示入力の場合（ステップＳ１０３：Ｎｏ）、ステップＳ１０４−２に移行する。

ステップＳ１０４−１：ＣＰＵ１９は、動体の位置の受付処理を行う。図４は、表示モニタ１５に表示されているスルー画像の図である。このスルー画像は、記録用の静止画像が取得された直後であることを表している。ここで、撮影者が表示モニタ１５の表示画面上において人物Ｐの周囲をタッチペン等でなぞると、ＣＰＵ１９は、人物Ｐを囲む領域の位置座標の入力をタッチパネル１８を介して受け付ける。これにより、ＣＰＵ１９は、動体の検出の処理を省くことができると共に動体の検出の精度を高めることができる。また、ＣＰＵ１９は、タッチパネル１８を採用することにより、撮影者からの入力を容易にすることができる。そして、ＣＰＵ１９は、ステップＳ１０５に移行する。

ステップＳ１０４−２：ＣＰＵ１９は、動体検出処理を行う。具体的には、ＣＰＵ１９のエッジ検出部１９ａは、スルー画像の元になる画像データを解析して被写体の輪郭を検出する。例えば、エッジ検出部１９ａは、画像データに基づいて画素値が急変する部分を算出し、その画素値が急変する部分を輪郭として検出する。また、エッジ検出部１９ａは、公知のグラフカット法（Ｇｒａｐｈ Ｃｕｔｓ）を用いて、人物の輪郭形状を推定しても良い。グラフカット法は、一例として、隣接する画素値が同一領域内の画素値とみなせるか否かの判定を「確からしさ」という数学的尺度に基づいて、人物の輪郭形状と背景領域とを分割して、人物の輪郭形状を決定する方法である。

次に、ＣＰＵ１９の動きベクトル検出部１９ｂは、一例として画像を１６画素×１６画素のブロックに分割して、各ブロックの動きベクトルを検出する。ＣＰＵ１９は、ブロック毎の動きベクトルに基づいて、動く被写体の輪郭を検出する。そして、ＣＰＵ１９は、ステップＳ１０５に移行する。

ステップＳ１０５：ＣＰＵ１９の被写体検出部１９ｃは、動く被写体（人物Ｐ）が記録用の静止画像内に存在するか否かを検出する。なお、フローには示していないが、ＣＰＵ１９は、動く被写体（人物Ｐ）が記録用の静止画像内に存在しない場合、図２に示すフローを終了させる。

ステップＳ１０６：ＣＰＵ１９の設定部１９ｄは、動く被写体が静止画像内に存在する場合、静止画像内に動く被写体を囲む部分領域を設定する。例えば、設定部１９ｄは、ステップＳ１０４−１の処理が行われた場合、動く被写体（人物Ｐ）を囲む領域の位置座標に基づいて、記録用の静止画像内に部分領域を設定する。ここで、この部分領域は、後述するステップＳ１０９の補正処理の対象となる領域である。図４では、記録用の静止画像に模式的に部分領域６０を重畳表示している。点線で囲む領域が、部分領域６０に相当する。

また、ＣＰＵ１９の設定部１９ｄは、ステップＳ１０４−２の処理が行われた場合、ＣＰＵ１９が検出した動く被写体（人物Ｐ）を囲む領域を部分領域６０に設定する。さらに、ＣＰＵ１９は、撮像部１１が時系列に出力する各フレーム（画像）について部分領域の対応位置（部分領域と同一座標）に対応領域を設定する。

ステップＳ１０７：ＣＰＵ１９の追尾部１９ｅは、現フレームと前フレームとのフレーム間差分により、動きベクトル検出部１９ｂが検出した追尾対象（動く被写体：人物Ｐ）を画像内で追尾する。なお、第１実施形態では、ＣＰＵ１９の演算負荷を小さくするため、時間軸方向にフレームを間引きし、間引きされたフレーム間で差分を求めても良い。また、第１実施形態では、部分領域や対応領域を矩形枠で表しているが、被写体の輪郭に沿って部分領域や対応領域を設定しても良い。

ステップＳ１０８：ＣＰＵ１９の判定部１９ｆは、ステップＳ１０７の追尾結果に基づいて、複数のフレーム（画像）において、上記の対応領域内に動く被写体が存在するか否かを判定する。判定部１９ｆは、具体的には現フレームにおいて人物Ｐが対応領域から離れたか否かを判定する。判定部１９ｆは、現フレームにおいて人物Ｐが対応領域を離れていないと判定した場合（ステップＳ１０８：Ｎｏ）、追尾部１９ｅは、次フレームを読み出し（ステップＳ１１３）、ステップＳ１０７に戻る。一方、判定部１９ｆは、現フレームにおいて人物Ｐが対応領域を離れたと判定した場合（ステップＳ１０８：Ｙｅｓ）、ステップＳ１０９に移行する。

図５は、人物Ｐが対応領域から離れていく様子を模式的に示す図である。図５（ａ）〜図５（ｃ）に向かって時間が経過することにより、人物Ｐは移動する。この場合、図５（ｃ）において、人物Ｐは対応領域６１ｃから離れる。なお、対応領域の図の番号は、フレーム毎に変えてあるが、対応領域の座標位置は、対応領域６１ａ、６１ｂ、６１ｃ共に、記録用の静止画像の部分領域６０と同じであることとする。

ステップＳ１０９：ＣＰＵ１９の記録処理部１９ｈは、人物Ｐが対応領域を離れたときの画像を補正用の画像としてＲＡＭ１３のデータ保存領域に記録する。記録処理部１９ｈは、補正用の画像に用いない他のフレームについては、保存せずに適宜削除する。これにより、メモリの容量に負荷がかからずに済む。

ステップＳ１１０：ＣＰＵ１９の撮像制御部１９ｉは、撮像部１１に撮像停止の信号を送信することにより動画撮影を停止させる。これにより、無駄な動画撮影をする必要がなくなる。

ステップＳ１１１：ＣＰＵ１９の補正処理部１９ｇは、人物Ｐが対応領域に存在しないと判断された画像のデータを用いて、静止画像のうちの部分領域の画像を補正する。補正処理部１９ｇは、一例として、図４に示す記録用の静止画像の部分領域６０の画像データの各画素値を、図５（ｃ）に示す対応領域６１ｃの画像データの各画素値で、同じ座標毎に置換する処理を行う。

図６は、補正処理後の静止画像を示す図である。図６に示す通り、補正処理部１９ｇは、静止画撮影のタイミングでは人物Ｐが完全に撮影の構図から離れなくても、人物Ｐが写っていない建造物５０の静止画像を生成することができる。

ステップＳ１１２：ＣＰＵ１９は、図１に示す音声信号処理部２１に指示を出すことにより、音声信号処理部２１は、スピーカ４０から報知音を外部に発生させる。これにより、撮影者は、「記念撮影モード」の静止画取得に必要な画像の撮影が終了したことを知ることができる。なお、ステップＳ１１２の処理は、ステップＳ１１０の後に行っても良い。

ＣＰＵ１９は、ステップＳ１１２の処理の後、図２に示すフローを終了させる。ここで、フローには示していないが、記録処理部１９ｈは、補正処理後の画像データを記録媒体３０に保存する。

なお、第１実施形態では、説明を簡単にするため、人物が１人の場合について説明したが、複数の人物がいる場合であっても良い。

図７は、複数の人物が対応領域から離れていく様子の一例を模式的に示す図である。図７（ａ）は、初期状態を表している。設定部１９ｄは、記録用の静止画像において、人物Ｐの部分領域６２と、人物Ｑの部分領域７０とを設定する。これにより、設定部１９ｄは、撮影範囲内に複数の動く人物がいた場合であっても、対応することができる。

ここで、「記念撮影モード」での動画撮影中、人物Ｐが時間の経過と共に対応領域６３ａを離れた場合、記録処理部１９ｈは、図７（ｂ）に示す画像を補正用の画像としてＲＡＭ１３のデータ保存領域に記録する。さらに、人物Ｑが、時間の経過と共に部分領域７１ｂを離れた場合、記録処理部１９ｈは、図７（ｃ）に示す画像を補正用の画像としてＲＡＭ１３のデータ保存領域に記録する。そして、補正処理部１９ｇは、図７（ｂ）に示す対応領域６３ａの画像データを用いて、図７（ａ）に示す部分領域６２の画像データを置換する。また、同様にして、補正処理部１９ｇは、図７（ｃ）に示す対応領域７１ｂの画像データを用いて、図７（ａ）に示す部分領域７０の画像データを置換する。これにより、補正処理部１９ｇは、撮影範囲内に複数の動く人物がいても、図６に示す補正処理後の静止画像を生成することができる。

以上、第１実施形態の電子カメラ１では、撮影の構図から邪魔な動体が全ていなくなるのを待つ必要がなく、邪魔な動体が写らない好ましい状態の静止画像を取得することができる。これにより、電子カメラ１は、撮影時間を短縮することができる。

なお、第１実施形態では、判定部１９ｆは、対応領域から動く被写体が離れたか否かを判定した。ここで、判定部１９ｆは、対応領域の各ブロックの動きベクトル量が被写体の動きがないと判定できる状態のときに、動く被写体が対応領域に存在しないと判定しても良い。

図８は、対応領域における動きベクトルの検出動作を説明する図である。ここで、動きベクトル検出部１９ｃは、対応領域を複数のブロックに分割して、各ブロックの動きベクトルを検出する。図８（ａ）は、対応領域６４の各ブロックの動きベクトルの一例を示す。図８（ａ）では、特定の方向に被写体が移動している状態を表している。図８（ｂ）は、対応領域６４の各ブロックの動きベクトル量がゼロを表している。すなわち、判定部１９ｆは、図８（ｂ）の状態において、動く被写体が対応領域内に存在しないと判定することができる。これにより、ＣＰＵ１９は、対応領域６４内でのみブロックを分割して演算処理をすれば良い。したがって、ＣＰＵ１９は、例えば、画像全体をブロックに分割する必要がなく、また、エッジの検出処理も必要がなくなる。よって、ＣＰＵ１９は、その分、演算負荷を小さくすることができる。

（第２実施形態）
次に、本発明の第２実施形態について説明する。第２実施形態では、第１実施形態の電子カメラ１で撮影された動画像を用いて、記録用の静止画像を生成する。この際、第２実施形態では、静止画像内に邪魔となる動体が写らないように補正する補正処理プログラムを提供する。ここで、第２実施形態では、記録媒体３１に記録されている補正処理プログラムをコンピュータにインストールして実行する。

図９は、コンピュータ１００の内部構成を示すブロック図である。図９に示す通り、コンピュータ１００は、記録Ｉ／Ｆ部１０１と、キーボード１０２と、表示モニタ１０３と、ＲＯＭ１０４と、ＲＡＭ１０５と、ＣＰＵ１０６と、バス１０７とを備える。

記録Ｉ／Ｆ部１０１は、着脱自在の記録媒体３０や記録媒体３１を接続するためのコネクタ（不図示）を有している。そして、記録Ｉ／Ｆ部１０１は、例えば、そのコネクタに接続された記録媒体３０や記録媒体３１にアクセスして、画像データや補正処理プログラムを読み出す処理等を行う。

キーボード１０２は、コンピュータ１００へのコマンド等の入力装置である。表示モニタ１０３は、静止画像、動画像等を表示する。ＲＯＭ１０４は、コンピュータ１００の制御を行うプログラム等を予め記憶している不揮発性のメモリである。ＲＡＭ１０５は、例えば、ＣＰＵ１０６の制御により記録媒体３０に記録されている動画像のファイル等を記録Ｉ／Ｆ部１０１を介して格納する。

ＣＰＵ１０６は、コンピュータ１００の制御を行うプロセッサである。ＣＰＵ１０６は、ＲＯＭ１０４に予め格納されたシーケンスプログラムを実行することにより、コンピュータ１００の各部の制御等を行う。また、ＣＰＵ１０６は、記録媒体３１から本発明の一実施形態である補正処理プログラムをＲＡＭ１０５に格納（インストール）する。これにより、ＣＰＵ１０６は、読出し部１０６ａと、指定部１０６ｂと、動体検出部１０６ｃと、被写体検出部１０６ｄと、設定部１０６ｅと、判定部１０６ｆと、補正処理部１０６ｇとしても機能する。

読出し部１０６ａは、動画記録された画像を時系列に読み出す。指定部１０６ｂは、時系列に読み出される複数の画像のうちから記録用の静止画像を指定する。例えば、指定部１０６ｂは、動画像のファイルの先頭フレームを記録用の静止画像として指定する。
動体検出部１０６ｃは、複数の画像に基づいて、動く被写体を検出する。具体的には、動体検出部１０６ｃは、被写体の外縁を表す輪郭を検出する。そして、動体検出部１０６ｃは、画像を複数のブロックに分割して、各ブロックの動きベクトルに基づいて、動く被写体を検出する。

さらに、動体検出部１０６ｃは、時系列の複数の画像間にわたって、ブロック毎の動きベクトルに基づいて、動く被写体を追尾する。

なお、被写体検出部１０６ｄ、設定部１０６ｅ、判定部１０６ｆ及び補正処理部１０６ｇの機能は、第１実施形態の図１で説明した同名の機能ブロックと同様であるので説明は省略する。

また、ＣＰＵ１０６は、補正処理部１０６ｇによる補正処理後の静止画像を表示モニタ１０３に表示させる表示制御機能を有する。また、ＣＰＵ１０６は、補正処理後の静止画像を記録媒体３０又は記録媒体３１等に記録する記録機能を有する。

次に、補正処理プログラムを用いたコンピュータ１００の動作について説明する。なお、電子カメラ１で記録された動画像のファイルや補正処理プログラム等は、予め、記録Ｉ／Ｆ部１０１を介してＲＡＭ１０５に記録されていることとする。

図１０は、コンピュータ１００の動作の一例を示すフローチャートである。ここで、ＣＰＵ１０６は、図１０に示すキーボード１０２から補正処理プログラムの起動を受け付けた場合、図１０に示すフローに示す処理を開始させる。

ステップＳ２０１：ＣＰＵ１０６の読出し部１０６ａは、動画像のファイルの読み出し処理を行う。具体的には、読出し部１０６ａは、電子カメラ１で記録された動画像のファイルのフレームをＲＡＭ１０５から所定のフレームレート（例えば、３０ｆｐｓ）で読み出す。

ステップＳ２０２：ＣＰＵ１０６の指定部１０６ｂは、動画像のファイルの先頭フレームを記録用の静止画像として指定する。

ステップＳ２０３：ＣＰＵ１０６の動体検出部１０６ｃは、被写体の外縁を表す輪郭を検出する。具体的には、動体検出部１０６ｃは、例えば、グラフカット法等を用いて、記録用の静止画像の画像データを解析して被写体の輪郭を検出する。

次に、ＣＰＵ１０６の動体検出部１０６ｃは、動画像ファイルの複数のフレームにわたって、動きベクトルを検出する。そして、動体検出部１０６ｃは、動きベクトルに基づいて、動く被写体の輪郭を検出する。

ステップＳ２０４：ＣＰＵ１０６の被写体検出部１０６ｄは、動く被写体が記録用の静止画像内に存在するか否かを検出する。

ステップＳ２０５：ＣＰＵ１０６の設定部１０６ｅは、動く被写体が静止画像内に存在する場合、静止画像内に動く被写体を囲む部分領域を設定する。さらに、ＣＰＵ１０６は、各フレームの画像に対しても部分領域に対応付けられる同一座標の対応領域を順次設定する。

ステップＳ２０６：ＣＰＵ１０６の動体検出部１０６ｃは、フレーム間差分により、動く被写体を画像内で追尾する。

ステップＳ２０７：ＣＰＵ１０６の判定部１０６ｆは、現フレームにおいて動く被写体が対応領域を離れたか否かを判定する。現フレームにおいて動く被写体が対応領域を離れていない場合（ステップＳ２０７：Ｎｏ）、動体検出部１０６ｃは、次のフレームを読み出し（ステップＳ２１２）、ステップＳ２０６に戻る。一方、現フレームにおいて動く被写体が対応領域を離れた場合（ステップＳ２０７：Ｙｅｓ）、判定部１０６ｆは、ステップＳ２０８に移行する。

ステップＳ２０８：ＣＰＵ１０６の補正処理部１０６ｇは、被写体が対応領域を離れたフレームにおけるその対応領域の画像データの各画素値を用いて、記録用の静止画像の部分領域の各画素値を、同じ座標毎に置換する処理を行う。

ステップＳ２０９：ＣＰＵ１０６は、動画像のファイルの読み出しを停止させる。

ステップＳ２１０：ＣＰＵ１０６は、補正処理後の静止画像を表示モニタ１０３に表示させる。

ステップＳ２１１：ＣＰＵ１０６は、補正処理後の静止画像を記録媒体３０又は記録媒体３１に記録する。そして、ＣＰＵ１０６は、図１０に示すフローを終了させる。

以上、第２実施形態の補正処理プログラムによれば、ＣＰＵ１０６の補正処理部１０６ｇは、邪魔な動体が写らない好ましい状態の静止画像を取得することができる。
＜実施形態の補足事項＞
（１）第１実施形態では、静止画像の領域内の全ての動く被写体が各々の部分領域を離れた場合、例えば、所定のメッセージ「記念撮影モードの撮影終了」等を表示モニタ１５の表示画面上に重畳表示させて、撮影者にその旨を知らせるようにしても良い。
（２）第１及び第２実施形態では、動体は、人に限らず、例えば、自動車などの乗り物であっても良い。

１・・・電子カメラ、１１・・・撮像部、１５・・・表示モニタ、１９ａ・・・エッジ検出部、１９ｂ・・・動きベクトル検出部、１９ｃ、１０６ｄ・・・被写体検出部、１９ｄ、１０６ｅ・・・設定部、１９ｅ・・・追尾部、１９ｆ、１０６ｆ・・・判定部、１９ｇ、１０６ｇ・・・補正処理部、１９ｈ・・・記録処理部、１９ｉ・・・撮像制御部、４０・・・スピーカ、１０６ａ・・・読出し部、１０６ｂ・・・指定部、１０６ｃ・・・動体検出部

Claims (10)

1. 撮影範囲内の被写体を撮像して、記録用の静止画像を取得すると共に、前記静止画像と撮影範囲が共通する複数の画像を時系列に取得する撮像部と、
   時系列に取得される複数の前記画像に基づいて、前記撮影範囲内の動く被写体を検出する動体検出部と、
   前記動く被写体が前記静止画像内に存在するか否かを検出する被写体検出部と、
   前記動く被写体が前記静止画像内に存在する場合、前記静止画像内に前記動く被写体を囲む部分領域を設定する設定部と、
   前記動体検出部の検出結果に基づいて、複数の前記画像において、前記部分領域に対応する位置に設定された対応領域内に前記動く被写体が存在するか否かを判定する判定部と、
   前記動く被写体が前記対応領域内に存在しないと判断された補正用の画像のデータを用いて、前記静止画像のうちの前記部分領域の画像を補正する補正処理部と
   を備えることを特徴とする電子カメラ。
2. 請求項１に記載の電子カメラにおいて、
   前記動体検出部は、
   前記画像から前記被写体の輪郭を検出する輪郭検出部と、
   前記画像を複数のブロックに分割して、各ブロックの動きベクトルを検出する動きベクトル検出部とを有し、
   前記動体検出部は、前記動きベクトルに基づいて、前記動く被写体の輪郭を検出することを特徴とする電子カメラ。
3. 請求項１に記載の電子カメラにおいて、
   前記動体検出部は、前記対応領域を複数のブロックに分割して、各ブロックの動きベクトルを検出する動きベクトル検出部を有し、
   前記判定部は、前記対応領域の各ブロックの動きベクトル量が被写体の動きがないと判定できる状態のときに、前記動く被写体が前記対応領域内に存在しないと判定することを特徴とする電子カメラ。
4. 請求項１から請求項３の何れか１項に記載の電子カメラにおいて、
   前記設定部は、前記動く被写体が複数存在する場合、各々の前記動く被写体に対して前記部分領域をそれぞれ設定することを特徴とする電子カメラ。
5. 請求項１から請求項４の何れか１項に記載の電子カメラにおいて、
   前記静止画像のデータと、補正用の前記画像のデータとをメモリに記録する記録処理部をさらに備えることを特徴とする電子カメラ。
6. 請求項５に記載の電子カメラにおいて、
   前記記録処理部が、前記静止画像のデータと、補正用の前記画像のデータとを前記メモリに記録した後、その旨を音で知らせる報知部をさらに備えることを特徴とする電子カメラ。
7. 請求項５に記載の電子カメラにおいて、
   前記記録処理部が、前記静止画像のデータと、補正用の前記画像のデータとを前記メモリに記録した後、前記撮像部に前記画像の出力を停止させる撮像制御部をさらに備えることを特徴とする電子カメラ。
8. 請求項１から請求項７の何れか１項に記載の電子カメラにおいて、
   前記画像を表示する表示部をさらに備え、
   前記設定部は、ユーザの指示入力により、前記部分領域を前記静止画像内に設定することを特徴とする電子カメラ。
9. 請求項８に記載の電子カメラにおいて、
   前記表示部に重ねて配置されると共に、前記ユーザからの操作を受け付けるタッチパネルをさらに備え、
   前記設定部は、前記タッチパネルを介した前記指示入力により、前記部分領域を前記静止画像内に設定することを特徴とする電子カメラ。
10. 動画記録された画像を時系列に読み出す読出処理と、
    時系列に読み出される複数の前記画像のうちから記録用の静止画像を指定する指定処理と、
    複数の前記画像に基づいて、前記撮影範囲内の動く被写体を検出する動体検出処理と、
    前記動く被写体が前記静止画像内に存在するか否かを検出する被写体検出処理と、
    前記動く被写体が前記静止画像内に存在する場合、前記静止画像内に前記動く被写体を囲む部分領域を設定する設定処理と、
    前記動体検出処理の検出結果に基づいて、複数の前記画像において、前記部分領域に対応する位置に設定された対応領域内に前記動く被写体が存在するか否かを判定する判定処理と、
    前記動く被写体が前記対応領域内に存在しないと判断された補正用の画像のデータを用いて、前記静止画像のうちの前記部分領域の画像を補正する補正処理と
    をコンピュータに実行させることを特徴とする補正処理プログラム。

Images