JP2016092794A - 撮像装置 - Google Patents

Abstract

【課題】画像の合成方法を、撮影順と距離順とを併用することにより、より自然な合成画像を作成できる撮像装置を提供すること。
【解決手段】連続して撮影された複数の画像を取得する取得手段と、前記画像間各々での動体の動き量を検出する第１検出手段と、前記画像間各々での前記撮像装置と前記動体の距離を検出する第２検出手段と、前記画像間各々での動体の動き量が第１閾値以上である画像から動体画像を抽出して、前記複数の画像の何れかから抽出した背景画像に合成する合成手段を備え、前記合成手段は、前記撮像装置と前記動体の距離の変化量が第２閾値以上の場合は、前記動体画像を前記撮像装置と前記動体までの距離にあわせて合成し、前記撮像装置と前記動体の距離の変化量が第２閾値未満の場合は、前記動体画像を時系列にあわせて合成することを特徴とする。
【選択図】図１

Description

本発明は、連続して撮影された画像を１枚の画像に合成する撮像装置に関し、特に、動いている被写体を抽出して合成する撮像装置に関する。

近年、連続で複数毎撮影し、動いた被写体のみを抽出して一枚の写真に合成する処理がある。合成後の写真は、一枚で被写体の動きを表現することができる。被写体の合成方法は、主に、撮影順に重ね合わせる方法と、手前に来た被写体が上になるように、即ち被写体までの距離に応じて重ね合わせる方法の２通りが考えられる。

特許文献１では、複数の撮像画像から動被写体の軌跡を示す画像を生成する方法として、映像データから複数のフレーム画像を抽出し、輝度値に応じた重みを付けて撮影順に合成し、一枚の静止画像を作成する方法が提案されている。

特開平１０−２９０４５０号公報

しかしながら、特許文献１のように、撮影順に被写体を合成する方法では、以下のような課題がある。図５Ａは、被写体５０１が左から右へ動く様子をカメラ側から見た図である。図５Ｂは、図５Ａを上から見た図であるが、カメラ５０２対し、奥から手前へ距離を変化させながら動いていることが分かる。この場合、被写体５０１を撮影順に合成するとａの部分のように、奥にいる被写体が手前に合成されて不自然になることがある。

また、図６Ａは、被写体６０１が左から右へ動く様子をカメラ側から見た図である。図６Ｂは、図６Ａを上から見た図であるが、カメラ６０２対し、距離の変化がほとんどない状況で動いていることが分かる。この場合、被写体６０１をカメラ６０２との距離順に合成すると、ｂの部分のように、頻繁に前後関係が変わるのは不自然に見えることがある。また、取得した距離のばらつき(誤差)により、前後関係が正しくない可能性がある。

本発明の目的は、カメラと被写体の距離に応じて、画像の合成方法を撮影順か距離順かを切り替えることにより、より自然な合成画像を作成できる撮像装置を提供することにある。

上記の目的を達成するために、本発明の撮像装置は、
連続して撮影された複数の画像を取得する取得手段と、
前記画像間各々での動体の動き量を検出する第１検出手段と、
前記画像間各々での前記撮像装置と前記動体の距離を検出する第２検出手段と、
前記画像間各々での動体の動き量が第１閾値以上である画像から動体画像を抽出して、前記複数の画像の何れかから抽出した背景画像に合成する合成手段を備え、
前記合成手段は、前記撮像装置と前記動体の距離の変化量が第２閾値以上の場合は、前記動体画像を前記撮像装置と前記動体までの距離にあわせて合成し、
前記撮像装置と前記動体の距離の変化量が第２閾値未満の場合は、前記動体画像を時系列にあわせて合成することを特徴とする。

本発明によれば、カメラと被写体の距離に応じて、画像の合成方法を撮影順か距離順かを切り替えることにより、より自然な合成画像を作成できる撮像装置を提供することができる。

撮像装置１００の構成を説明するブロック図 実施例１における連写画像の合成処理を説明する図 実施例１における撮像装置１００の処理を説明するフロー図 実施例１における合成処理を説明するフロー図 連続して撮影した被写体を撮影順に合成した例を説明する図 連続して撮影した被写体を距離順に合成した例を説明する図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
図１は本発明の実施形態にかかわる撮像装置の構成例を示すブロック図である。図１において、本発明における画像表示装置１００の構成について説明する。１０１は、被写体の光学像を集光する対物レンズである。１０２は、光学像を電気信号に変換する撮像素子、ＣＣＤ等で構成される撮像部である。１０３は、撮像部１０２から出力されるアナログ信号をデジタル信号に変換するＡ／Ｄ変換部である。１０４は、被写体の動き量を検出する動き量検出部である。１０５は、被写体を抽出する被写体抽出部である。

１０６は、被写体までの距離を測定する測距情報算出部である。１０７は、画像の合成処理を行う画像合成部である。１０８は、各回路を制御するＣＰＵである。１０９は、ユーザーからの操作を受け付ける操作部である。１１０は、画像データを一時記憶する一時記憶メモリである。１１１は、画像を出力する画像出力部である。１１２は、各回路を接続するバスである。

次に、図１を用いて、本実施例における撮像装置１００の処理について説明する。対物レンズ１０１は、被写体の光学像を集光し、撮像部１０２の撮像素子ＣＣＤに受光する。撮像部１０２において光電変換した電気信号をＡ／Ｄ変換部１０３に出力する。Ａ／Ｄ変換部１０３は、撮像部１０２から出力される電気信号をデジタル信号に変換し、１画面分のデジタル信号を撮影画像データとしてバス１１１を介して一時記憶メモリ１０９に一時的に記憶する。動き量検出部１０４は、連写撮影されて一時記憶メモリ１０９に一時的に記憶された各画像を読み出して動き量検出量を求める。

動き量検出量は、時系列に連続して撮影された時間内に前後する２枚の画像の差分を求め、動き量のある部分（動体部分）を被写体抽出部１０６より抽出する。被写体抽出部１０５より抽出された被写体に対して、撮像装置１００と被写体との距離を、測距情報算出部１０６より算出する。測距情報算出部１０６より算出された距離に応じて、被写体の動体部分を画像合成部１０７により合成する。操作部１０８は、ユーザーが操作することにより操作情報がＣＰＵ１０７に出力され、ＣＰＵ１０７は操作部１０８から入力する操作情報に応じて撮像装置１００全体の動作を制御する。

本実施例における撮像装置１００は、連写した複数枚の画像から、動いた被写体のみを抽出して一枚の写真に合成する機能を備えている。以下、撮像装置１００のＣＰＵ１０７における連写画像の合成処理の制御について、図２を用いて説明する。

以下に説明する状況の例ではスノーボードによる人物の滑降シーンとする。２００は、撮像装置１００を持つ撮影者である。２０１は、撮影対象の被写体（スノーボードで滑走中の人物）である。２１０は、撮像装置１００で撮影した撮影範囲である。２１０（ａ）、２１０（ｂ）、２１０（ｃ）、２１０（ｄ）、２１０（ｅ）、２１０（ｆ）、２１０（ｇ）、２１０（ｈ）、２１０（ｉ）は、撮像装置１００を用いてシャッター速度１／１００ｓｅｃ．にて１０回の連続撮影を行った場合の、被写体２０１の撮影範囲２１０内における軌跡の位置を示す。

撮影者２００が連続撮影を行っている間、撮像装置１００は固定状態としているため、連続撮影によって取得された複数の画像は、動体としての被写体以外の背景などの領域に変化はない。そこで、連続撮影によって得られた各画像から、動き量検出部１０４より、２１０（ａ）、２１０（ｂ）、２１０（ｃ）、２１０（ｄ）、２１０（ｅ）、２１０（ｆ）、２１０（ｇ）、２１０（ｈ）、２１０（ｉ）に示す被写体２０１を動体検出し、抽出した動体を一つの静止画像とするように画像合成部１０６において画像合成処理を行う。これにより、図２に示すような形態の一枚の静止画像を生成する。

図３は実施例１の撮影における一連の流れを説明するためのフローチャートである。Ｓ３０１において、撮影者によって撮像装置１００のメニューから本実施例の撮影モードを選択し（図示せず）、撮影開始操作が行われると、撮像装置１００は撮影動作に入る。本撮影前にＡＦ制御するための撮影をおこなう。

Ｓ３０２において、Ｓ３０１で事前に取得した画像から主被写体を決定する。主被写体の決定方法はさまざまな方法が考えられるが、例えば人物やその他の物体を検出して、動いている被写体が優先的に選択されるように決定される。Ｓ３０３において、ＡＦ制御を行う。ＡＦ制御は、Ｓ３０２で決定した主被写体に合焦するように対物レンズ１０１を駆動する。Ｓ３０４において、撮影動作が行われる。取得した撮影画像に対して、センサー補正処理や現像処理等、各種画像信号処理が行われる。

Ｓ３０５において、Ｓ３０４で処理された画像データをＳＤカード等のメモリカードに記録する。本実施例では撮影したデータを一度外部メモリに記録する例で説明しているが、これは、撮影枚数が多くなると一時記憶メモリ１１０に記憶できる容量を超えてしまうことを考慮したものである。一時記憶メモリに撮影データを記憶しておくだけの容量が十分にある場合は、撮影データを一時記憶メモリ内にためておき、以降の合成処理でそれを読み出しながら合成するようにしてもよい。

Ｓ３０６において、撮影者によって撮影終了操作が行われたか否かを判定する。撮影終了操作が行われるまで撮像装置１００はＳ３０３、３０４およびＳ３０５の撮影動作を繰り返し行う。Ｓ３０７において、画像合成部１０７で画像合成処理をする際の閾値を算出する。Ｓ３０８において、Ｓ３０５で記録した複数の画像を外部メモリから順次読み出し、閾値に基づいて合成処理を行う。合成処理の詳細については後述する。Ｓ３０９において、Ｓ３０８で合成した合成画像をＳＤカード等の外部記録メモリに記録し、撮影を終了する。

次に、本実施例の撮影における画像合成処理について、図４のフローチャートを用いて詳細に説明を行う。Ｓ４０１において、最初に撮影したフレームを読みだす。最初に撮影されたフレームは背景画像として使用し、この画像に対して、２フレーム目以降に撮影した画像から抽出した被写体を順次合成していくようにするために、合成画像として一時記憶メモリ１１０に記憶する。Ｓ４０２において、次に撮影した画像を読み出して一時記憶メモリ１１０へ格納する。

Ｓ４０３において、Ｓ４０２で読みだした処理対象フレームの画像とひとつ前のフレームの画像を使用して、動き量を算出する。動き量の算出は、画像を複数の小領域に分割して、注目領域とその周辺とでテンプレートマッチング処理を行い、算出する。Ｓ４０４では、処理フレームが２枚目のとき、すなわち、動き量を１枚目の画像と２枚目の画像から算出しているか否かを判定し、前者の場合はＳ４０５を実行し、後者の場合はＳ４０６を実行する。Ｓ４０５において、Ｓ４０３で算出した動き量から所定の動き量のある領域を検出し、合成に使用する被写体を決定する。

所定の動き量のある被写体たくさんがいた場合、合成後に見づらくなることがあるので、合成する被写体の数に制限をかけてもよい。たとえば、Ｓ４０５で所定領域毎に動き量の上位の被写体を選択するようにしてもよい。Ｓ４０６において、Ｓ４０３の動き量情報をもとに、Ｓ４０５で合成対象とした被写体が対象フレーム上でどこの位置に移動したかを追跡し、合成する被写体領域を特定する。この処理は、Ｓ４０５で決定した被写体の動きが撮影途中に所定の動き量以下になってしまった状況等で、合成対象の被写体が途中から増減しないようにするために行うものである。

Ｓ４０７において、測距情報算出部１０６を用いて、Ｓ４０５またはＳ４０６で決定した被写体と撮像装置１００の距離情報を算出する。Ｓ４０８において、合成する被写体の領域に、ひとつ前のフレーム以外で、既に合成された被写体がある場合はＳ４０９へ遷移し、既に合成された被写体がない場合はＳ４１０へ遷移する。
Ｓ４０９において、合成領域において、既に合成された被写体と処理対象フレームの被写体で、撮像装置１００との距離が近い方が上にくるよう重ね合わせて新たな合成画像とする。

Ｓ４１０において、Ｓ４０７で算出した被写体と撮像装置１００の距離情報を用いて、閾値よりも被写体と撮像装置１００の距離が大きいか否かを判定する。距離が閾値よりも大きいときはＳ４１１へ遷移し、そうでないときはＳ４１２へ遷移する。Ｓ４１１において、被写体を抽出し、撮像装置１００との距離が近い方が上になるよう合成画像に重ね合わせて新たな合成画像とする。Ｓ４１２において、被写体を抽出し、撮影順の新しい方が上になるよう合成画像に重ね合わせて新たな合成画像とする。

Ｓ４１３において、Ｓ４０５で合成する被写体が複数あった場合は、抽出したすべての被写体に対してＳ４１０からＳ４１３の処理を繰り返し行っていくように制御する。Ｓ４１４において、図５で説明したすべての撮影画像に対して処理を行ったか否かを判定し、処理が終わっていない画像があればＳ４０２からＳ４１４を繰り返しおこない、合成画像を作成していく。すべての撮影画像に対して処理が完了していたら、合成処理は完了となる。

１００ 撮像装置、１０１ 対物レンズ、１０２ 撮像部、１０３ Ａ／Ｄ変換部、
１０４ 動き量検出部、１０５ 被写体抽出部、１０６ 測距情報算出部、
１０７ 画像合成部、１０８ ＣＰＵ、１０９ 操作部、１１０ 一時記憶メモリ、
１１１ 画像出力部、１１２ バス

Claims (3)

1. 連続して撮影された複数の画像を取得する取得手段と、
   前記画像間各々での動体の動き量を検出する第１検出手段と、
   前記画像間各々での前記撮像装置と前記動体の距離を検出する第２検出手段と、
   前記画像間各々での動体の動き量が第１閾値以上である画像から動体画像を抽出して、前記複数の画像の何れかから抽出した背景画像に合成する合成手段を備え、
   前記合成手段は、前記撮像装置と前記動体の距離の変化量が第２閾値以上の場合は、前記動体画像を前記撮像装置と前記動体までの距離にあわせて合成し、
   前記撮像装置と前記動体の距離の変化量が第２閾値未満の場合は、前記動体画像を時系列にあわせて合成することを特徴とする撮像装置。
2. 前記第２閾値は、前記第２検出手段より検出された、前記画像間各々での前記撮像装置と前記動体の距離より算出することを特徴とする請求項１に記載の撮像装置。
3. 前記合成手段は、合成する動体領域において既に合成した動体が存在した場合は、合成する動体と既に合成した動体、各々との前記撮像装置の距離にあわせて合成することを特徴とする請求項１に記載の撮像装置。