JP2014011782A - 撮像装置ならびに撮像方法およびそのプログラム - Google Patents

Abstract

【課題】観光地などで歴史的建造物やモニュメントなどを撮影する際、目の前を通り過ぎる人や車が写真に写りこんでしまう。従来の静止画撮影における被写体を横切る移動物の検知、除去する方法は、画角が変わるパノラマ撮影には使用できなかった。
【解決手段】異なる撮影画角で被写体を順次撮影したときに、撮像素子の同じ読み出し領域から読み出した画像信号を順次合成して時間差を有する複数の時間差画像信号を生成し、当該生成された複数の画像信号を用いて、撮影された被写体像から被写体とは異なる移動体を検出し、当該移動体の検出結果に従って、複数の時間差画像信号を選択的に用いて、異なる撮影画角で撮影された被写体全体の撮影画像を合成する撮像装置。
【選択図】図７

Description

本発明は、光電変換素子を有する撮像装置ならびに撮像方法およびそのプログラムに関し、特にパノラマ画像を撮影するための撮像装置ならびに撮像方法およびそのプログラムに関する。

電子スチルカメラなどの撮像装置で撮影を行う際、被写体の前を人物や車等の移動体が横切って、視野が遮られたシャッタを押すタイミングがつかめないことや、上手いタイミングでシャッタを押したつもりでも撮影画像に移動体が移りこんでしまうことがある。これに対し、例えば、特許文献１は、同一画角で複数の画像を連続撮影し、これらの画像を比較して移動体の写りこんだ部分を検出・除去し、除去された部分を移動体の写りこんでいない画像で補って移動体の写りこんでいない画像を生成する方法を提案している。

特開2000-13681号公報 特開2005-328497号公報

ところで、近年、パノラマ状の画像を撮影するカメラシステムが提案されている（特許文献２）。この撮影の方法は、電子スチルカメラをパンして少しずつ画角をずらしながら連続撮影して互いに重複個所のある複数の画像を得、この複数の画像に対しパターンマッチングで重複個所を判定し、つなぎ合わせることでつなぎ目の無いパノラマ画像を生成している。

このパノラマ撮影では、従来の単眼レンズを用いて固定画角で撮影する撮影に比べて撮影する画角が広いため、移動体が撮影画角内に入る可能性が高くなる。しかしながら、上記特許文献１の移動体除去方法では、固定画角で複数回撮影する必要があるため、パンしながら撮影するパノラマ撮影には適応することができない。
本発明は上記従来技術の問題点に鑑みて考案されたものであり、パノラマ撮影においても移動体を除去した被写体の画像を生成するための撮像装置ならびに撮像方法およびそのプログラムを提供することを目的とする。

本発明によれは、撮像装置は、異なる撮影画角で被写体を順次撮影して撮像素子の同じ読み出し領域から読み出した画像信号を順次合成して時間差を有する複数の時間差画像信号を生成し、当該生成された複数の画像信号を用いて、撮影された被写体像から被写体とは異なる移動体を検出し、当該移動体の検出結果に従って、該複数の時間差画像信号を選択的に用いて、異なる撮影画角で撮影された被写体全体の撮影画像を合成する。

本発明によれば、パノラマ撮影においても移動体を除いた被写体画像を出力画像として得ることが可能となる撮像装置を提供できるため、ユーザにとってパノラマ撮影が容易となる。

本発明の実施形態に係わる撮像装置で用いられる撮像素子の画素配列の回路構成を示す図。 図１の撮像素子で使用する色フィルタアレイの一部を模式的に示す図。 本発明の実施形態に係わる撮像装置の構成を示すブロック図。 本発明の第１の実施例に係わる撮像素子の有効画素領域内の読み出し領域を模式的に示す図。 本発明の第１の実施例に係わるパノラマ撮影の被写体を示す図。 本発明の第１の実施例に係わるパノラマ撮影で取得される画像を示す図。 本発明の第１の実施例に係わる動体の検出方法を概念的に示す図。 本発明の実施形態に係わる撮像装置の駆動動作のフローチャートを示す図。 本発明の第１および第２の実施例に係わるパノラマ撮影の動作のフローチャートを示す図。 本発明の第１および第２の実施例に係わるマッチング処理を模式的に示す図。 本発明の実施形態に係わる撮像装置を外付け雲台の取り付けたときの外観を示す図。 本発明の第１の実施例に係わるパノラマ撮影において、動体検出が『検知不可能』となる場合の例を示す図。 本発明の第２の実施例に係わる撮像素子の有効画素領域内の読み出し領域を模式的に示す図。 本発明の第２の実施例に係わるパノラマ撮影の被写体を示す図。 本発明の第２の実施例に係わる動体の検出方法を概念的に示す図。

［実施例１］
以下、本発明の第１の実施例について、図１〜図１２を用いて説明する。なお、本実施例は、X-Yアドレス型の走査方法を採る撮像素子を備える撮像装置（カメラシステム）に本発明を適用した例である。

図１に本実施例に係わる撮像素子の画素アレイの回路構成の概略を示す。同図において、画素アレイの単位画素１０１の各々は、フォトダイオード（ＰＤ）１０２、転送スイッチ１０３、フローティングデフュージョン（ＦＤ）１０４、ソースフォロアとして機能する増幅ＭＯＳアンプ１０５、選択スイッチ１０６、リセットスイッチ１０７を備える。また、画素アレイは、信号線１０８、増幅ＭＯＳアンプ１０５の負荷となる定電流源１０９、選択スイッチ１１０、出力アンプ１１１、垂直走査回路１１２、読み出し回路１１３、水平走査回路１１４を備えている。なお、図１では図の簡略化のために、画素アレイを画素１０１の４行×４列として示しているが、実際には非常に多数の画素単位１０１が２次元に配置されている。

各単位画素１０１において、ＰＤ１０２で被写体からの光が電荷に変換され、ＰＤ１０２で発生した電荷は転送パルスφＴＸが印加される転送スイッチ１０３を介して転送され、ＦＤ１０４に一時的に蓄積される。ＦＤ１０４、増幅ＭＯＳアンプ１０５、及び定電流源１０９はフローティングディフュージョンアンプを構成する。選択パルスφＳＥＬが印加される選択スイッチ１０６で選択された画素の信号電荷は、電圧に変換され、信号出力線１０８を経て読み出し回路１１３に出力される。さらに水平走査回路１１４により駆動された選択スイッチ１１０により出力する信号が選択され、出力アンプ１１１を経て撮像素子の外部に出力される。ＦＤ１０４に蓄積された電荷の除去は、リセットパルスφＲＥＳをリセットスイッチ１０７に印加することで行われる。また垂直走査回路１１２は、転送スイッチ１０３、選択スイッチ１０６、リセットスイッチ１０７の選択を行う。

図２は、図１の撮像素子で使用する色フィルタアレイの一部を模式的に示している。第１の色フィルタを赤（Ｒ）、第２の色フィルタを緑（Ｇ）、第３の色フィルタを緑（Ｇ）、第４の色フィルタを青（Ｂ）とした色フィルタアレイを示している。この色フィルタアレイの配列は、原色の色フィルタ配列のなかでも、特にベイヤ配列と呼ばれるもので、高い解像度と優れた色再現性を備えた色フィルタ配列である。

図３は、上記撮像素子を用いた撮像装置のシステム概要を示すブロック図である。本撮像装置は、パノラマ撮影モードを含む複数の撮影モードを有し、各撮影モードに従って設定される動作パラメータに基づいて撮影動作を制御する構成となっている。

同図において、カメラシステム３１９は以下のように構成される。

レンズ部３０１（レンズと表記）を通った被写体光は絞り３０５にて適切な光量に調整され、図１に示した構成を有する撮像素子３０６に結像させる。撮像素子３０６に結像した被写体像は、光電変換されて撮像信号として出力される。撮像信号は、ＣＤＳ・ＡＤ３０７にて相関２重サンプリング、ゲイン調整およびアナログ信号をデジタル信号へ変換するＡ／Ｄ変換を受け、Ｒ、Ｇ１、Ｇ２、Ｂの画像データとして画像処理回路３０８に出力される。画像処理回路３０８では、ノイズを軽減するローパスフィルタ処理やシェーディング補正処理、ＷＢ処理などの各種の画像処理、さらに各種の補正、画像データの圧縮等を行う。

レンズ部３０１では、レンズ駆動部３０２によってズーム、フォーカス等の駆動制御がなされる。メカニカルシャッタ３０３（メカシャッタと表記）は、一眼レフカメラに使用されるフォーカルプレーン型のシャッタの後幕に相当する幕のみを有するシャッタ機構である。このメカシャッタ３０３、絞り３０５は、メカニカルシャッタ・絞り駆動部３０４（シャッタ・絞り駆動部と表記）によって駆動制御される。タイミング発生部３０９は、撮像素子３０６、画像処理回路３０８に各種タイミング信号を出力する。全体制御演算部３１１は、撮像装置全体の制御と各種演算を行う。特に図示しないメモリに記憶されているプログラムをロードして実行することにより、後述するフローチャートに示す動作の制御を行う。メモリ部３１０（メモリ部Ｉと表記）は、画像データを一時的に記憶する。記録媒体制御インターフェース部３１２（記録媒体制御Ｉ/Ｆ部と表記）では、記録媒体に画像データの記録または読み出しを行う。表示部３１３は、画像データの表示を行う。記録媒体３１４は、半導体メモリ等の着脱可能記憶媒体であり、画像データの記録または読み出しを行う。外部インターフェース部３１５（外部Ｉ/Ｆ部と表記）は、外部コンピュータ等と通信を行うためのインターフェースである。メモリ部３１６（メモリ部IIと表記）は、全体制御演算部３１１での演算結果を記憶する。操作部３１７にてユーザが設定した撮像装置の駆動条件に関する情報は、全体制御演算部３１１に送られ、これらの情報に基づいて撮像装置全体の制御が行われる。加速度センサ３１８は、カメラの加速度量を全体制御演算部３１１に送り、これに基づいてカメラの移動量、移動速度が算出される。外付け雲台３２０は全体制御演算部３１１からの指令に基づいて動作し、カメラの画角を移動させる。

図１１にカメラシステム３１９が取り付けられた外付け雲台３２０の外観例を示す。符号１１０１はカメラシステム３１９の外観、符号１１０２は外付け雲台３２０の外観を示す。カメラシステム３１９は、外付け雲台３２０に取り付けられたモーターにより左右（パン方向）、または上下（チルト方向）に画角を変えることが出来る。

図４は、図１に示すX-Yアドレス型の撮像素子をその受光面の側から見たときの撮像領域を示す。図４に示すように、撮影者からみて被写体の左側の像は、総画素領域４０１の中の読み出し領域４０２に投影される。同様に被写体の中央部の像は読み出し領域４０３に、被写体の右側の像は読み出し領域４０４に投影される。各読み出し領域からの画像信号の読み出しは、全体制御演算部３１１により撮像素子３０６の駆動を制御することによって行なう。従って、画素領域（画素の配列）における読み出し領域の設定は、全体制御演算部３１１において設定されている。

本発明の第１の実施例に係わる撮像動作を説明するために、図５に示す被写体を撮像装置（カメラシステム）３１９でパノラマ撮影する場合を考える。図５において、家や木々が立ち並ぶ横長の風景が被写体であり、撮影中にその被写体の前を移動体（トラック）が左から右方向へと横切っている。撮影者は、カメラシステム３１９を外付け雲台３２０にセットし、画角の中心をＰ０に合わせて撮影を開始する。外付け雲台３２０は、一定速度Ｖでカメラシステム３１９をパンさせ、カメラの画角中心がＰ１になるまで移動させる。このとき、カメラシステム３１９では一定間隔で連続撮影を行なう。

図８に本発明の第１の実施例に係わるパノラマ撮影の動作のフローチャートを示す。

Ｓ８０１では、全体制御演算部３１１が動作に必要なフラグや制御変数等を初期化し、画像処理回路３０８の各部において必要な所定の初期設定を行う。Ｓ８０２では、全体制御演算部３１１によりシャッタスイッチＳＷ１がＯＮであるかどうかを判定する。ＯＮであるなら、全体制御演算部３１１は、Ｓ８０３にて撮像手段を構成するレンズ部３０１〜タイミング発生部３０９を用いて、絞り値及びシャッタ時間を決定するために測光・測距処理を行い、測光データあるいは設定パラメータを得る。この測光データあるいは設定パラメータと設定されている撮影モードに基づいて、絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）を決定し、決定されたシャッタ速度に応じて、蓄積時間を決定し、その結果をメモリ３１６に記憶する。Ｓ８０２でシャッタスイッチＳＷ１がＯＦＦと判定されたときは、ＯＮと判定されるまでＳ８０２の判定を繰り返す。

Ｓ８０４では、全体制御演算部３１１がシャッタスイッチＳＷ２がＯＮであるかどうかを判定する。ＯＮならば、Ｓ８０５へ進む。シャッタスイッチＳＷ２がＯＦＦと判定されたときは、Ｓ８０２へ進む。

Ｓ８０５では、外付け雲台３２０を駆動させ、画角Ｐ０→Ｐ１の方向への定速度駆動によるパンを開始させる。Ｓ８０６では、外付け雲台３２０を定速度動作させながら、カメラシステム３１９はパノラマ撮影を行う（詳細は後ほど説明する）。

Ｓ８０７で全体制御演算部３１１は、カメラシステム３１９の画角中心がＰ１になった時点で外付け雲台３２０の動作を終了させ、パノラマ撮影を中止する。

Ｓ８０８では、Ｓ８０７で生成した画像データを記憶媒体３１４へ書き込む記録処理を行う。Ｓ８０９では、操作部３１７によってパノラマ撮影の終了が指示されていれば撮影を終了し、指示がなければＳ８０２へ戻る。

次にＳ８０６でのパノラマ撮影の詳細手順を図９のフローチャートを用いて説明する。

Ｓ９０１において、全体制御演算部３１１は、メモリ３１６に格納された絞り値（Ａｖ値）、シャッタ速度（Ｔｖ値）、その他各種パラメータに基づいて撮像手段を制御して画像を撮影する。一定間隔で連続撮影する際、全体制御演算部３１１は、２枚目以降の画像がその一部に１枚前の画像の一部を含む（重複する）画角で撮影が行なわれるように制御する。上記決定された蓄積時間で光電変換された電荷は撮像素子３０６から画像信号として読み出され、上述したようにＣＤＳ・Ａ／Ｄ３０７を経て、画像処理回路３０８に送られる(画像信号読み出し手段)。画像処理回路３０８は、シェーディング補正処理、点キズ補正処理、ホワイトバランス積分演算処理、オプティカルブラック積分演算処理を画像データに施し、そこでの演算結果をメモリ部３１６に格納し、画像データをメモリ部３１０に書き込む。

撮影した画像が１枚目であれば、全体制御演算部３１１はＳ９０２〜Ｓ９０４の処理を行わず、Ｓ９０５まで処理を進める。２枚目以降の撮影画像については、Ｓ９０２において、メモリ部３１０から１つ前のループで作成された画像データとＳ９０１にて生成された画像データに対し全体制御演算部３１１がマッチング処理を行う。マッチング処理では図１０に示すように、１つ前の画像データとの間で風景がマッチングする重複領域（最大相関のある領域）を特定する。マッチング処理の詳細は、本発明の本質ではないのでここでは省略する。特定された最大相関のある領域の情報（最大相関位置情報）は、メモリ部３１６に格納する。

Ｓ９０３では、メモリ部３１６に格納された最大相関位置を基に、１つ前のループで作成された画像データとＳ９０１にて生成された画像データを重ね合わせる。Ｓ９０３での重ね合わせの結果、図６に（Ａ）、（Ｂ）、（Ｃ）で示す画像が生成される（時間差画像生成手段）。
図６（Ａ）は、図４の読み出し領域４０２から読み出された複数の図７（Ｘ）で示される幅Ｌｘの画像データＡ０１〜Ａ２５を重ね合わせることにより生成される画像である。
図６（Ｂ）は、図４の読み出し領域４０３から読み出された複数の図７（Ｘ）で示される幅Ｌｘの画像データＢ０１〜Ｂ２５を重ね合わせることにより作成される画像である。
図６（Ｃ）は、図４の読み出し領域４０４から読み出された複数の図７（Ｘ）で示される幅Ｌｘの画像データＣ０１〜Ｃ２５を重ね合わせることにより作成される画像である。

Ａ０１,Ｂ０１,Ｃ０１は、同じタイミングで露光して撮像された画像の各読み出し領域に対応する画像データであり、Ａ０２,Ｂ０２,Ｃ０２、・・・ＡＮ,ＢＮ,ＣＮ（Ｎは１以上の自然数）も同様である。

画像（Ａ）、画像（Ｂ）、画像（Ｃ）は、それぞれ時間差をもって被写体を撮影（スキャン）した画像である。読み出し領域４０２に投影された被写体像が、撮像装置のパンによって読み出し領域４０３の位置まで移動する時間をΔＴ_１、読み出し領域４０３に投影された被写体像が読み出し領域４０４の位置まで移動する時間をΔＴ_２とする。

このときΔＴ_１は、外付け雲台の移動速度Ｖと、読み出し領域４０２、読み出し領域４０３が同じタイミングで捕らえる被写体間の距離ΔL_１（＝画像（Ａ）と画像（Ｂ）のずれ量）から以下の式で表される。

同様にΔＴ_２は、読み出し領域４０３、読み出し領域４０４が同じタイミングで捕らえる被写体間の距離ΔL_２（＝画像（Ｂ）と画像（Ｃ）のずれ量）から同様に下記式のように表される。

上記式１および式２からΔL_１、ΔL_２の値が大きければ大きいほど、画像（Ａ）、画像（Ｂ）、画像（Ｃ）は、それぞれの撮影時間の差が大きな画像として取得することが出来る。

Ｓ９０４では、これらの（Ａ）〜（Ｃ）の画像の間でマッチング処理を行い、（Ａ）〜（Ｃ）間の画像のずれ量ΔL_１（画像（Ａ）と画像（Ｂ）のずれ量）、ΔL_２（画像（Ａ）と画像（Ｃ）のすれ量）を算出する。算出されたΔL_１、ΔL_２に基づき、図７に示すように、画像（Ｂ）をΔL_１、画像ＣをΔL_２だけずらして、撮影された被写体像の画像内の位置が対応した画像（Ａ）〜（Ｃ）を作成する。そして、（Ａ）〜（Ｃ）の３つの画像について、同一被写体を撮影した領域ごとにマッチング処理を行う。図７のＬ０１、Ｌ０２、Ｌ０７、Ｌ０８の領域においては、（Ａ）〜（Ｃ）の３つの画像がそろっていないので、マッチング処理は行わない。Ｌ０３の領域においては、（Ａ）、（Ｂ）間の相関は高く、（Ｃ）と（Ａ）、（Ｂ）との相関は低い。Ｌ０４の領域においては、（Ａ）、（Ｃ）間の相関は高く、（Ｂ）と（Ａ）、（Ｃ）との相関は低い。Ｌ０５の領域においては、（Ｂ）、（Ｃ）間の相関は高く、（Ａ）と（Ｂ）、（Ｃ）との相関は低い。Ｌ０６の領域においては、（Ａ）、（Ｂ）、（Ｃ）間の相関が高い。

図７の領域Ｌ０３のように、他の何れの画像とも高い相関が得られない画像（Ｃ）が存在する場合、画像（Ｃ）のこの領域を『動体有』と判定し、他の何れかの画像と相関が高い画像（Ａ）〜（Ｂ）のような各画像については、その領域を『動体無』と判定する。画像（Ａ）〜（Ｃ）の領域間において、いずれとも相関が無い場合は、画像（Ａ）〜（Ｃ）の該当領域を『検知不可能』と判定する。

そして、『動体無』と判定された領域を構成する画像データには０、『動体有』と判定された領域を構成する画像データには１、『検知不可能』と判定された領域を構成する画像データには２のフラグを立てて識別する。図７においては、Ａ０１〜Ａ１６、Ａ２５、Ｂ０１〜Ｂ０８、Ｂ１６〜Ｂ２５、Ｃ０８〜Ｃ２５の画像データにはフラグ０、Ａ１７〜Ａ２４、Ｂ０９〜Ｂ１５、Ｃ０１〜Ｃ０７の画像データにはフラグ１を立てる。動体検出しなかった領域を構成する画像データにはフラグ０を立てる。

Ｓ９０５では、Ｓ９０４での判定結果を基づき、画像データを選択的に用いて、即ちフラグ０が立っている画像データを用いてパノラマ画像を合成する（画像合成手段）。フラグ０が立っている画像データの中で、画像（Ｂ）を構成する画像データを優先的に用いる。フラグ０が立っている画像データで、画像（Ｂ）を構成する画像データが無い場合には、画像（Ａ）に含まれる画像データか、画像（Ｃ）に含まれる画像データの何れか、または両方を加算平均等の演算処理した結果を用いる。マッチング処理を行わなかった領域では、パノラマ画像で作成する画像データとして、画像（Ｂ）を構成する画像データを優先的に用いる。画像（Ｂ）を構成する画像データ以外の画像データしかない場合は、その画像データを用いる。

フラグ２が立っている画像データは、動体の移動スピードとカメラのパンする速度の差が小さいために、画像（Ａ）〜（Ｃ）の何れにも動体が写りこんでいる、図１２に示すＬｚの区間のような状態であると考えられる。このような領域は、画像（Ｂ）を構成する画像データのみを用いてパノラマ画像の生成を行う。

図７のように、画像（Ａ），（Ｂ）及び（Ｃ）が生成される場合では、Ａ０１、Ａ０２、Ｂ０１、Ｂ０２〜Ｂ０８、Ａ１１〜Ａ１６、Ｃ１３、Ｂ１６〜Ｂ２５、Ｃ２４、Ｃ２５を用い、それぞれにマッチング処理、重ね合わせを行ってパノラマ画像データを生成する。その後、現像・圧縮・伸張処理部にて圧縮・伸張処理を行いメモリ部３１０に格納する。

Ｓ９０６では、メモリ部３１０に格納されたパノラマ画像データをＥＶＦなどの表示部３１３に表示する。

Ｓ９０７にて、全体制御演算部３１１は、ＳＷ２がＯＮ状態であるかどうかを判定する。ＯＮであれば再びＳ９０１に戻る。そして、カメラの画角中心が図５のＰ１まできて、ＳＷ２がＯＦＦにされるまでＳ９０１からＳ９０６の処理を繰り返す。最終的な出力画像として図７の（Ｄ）に示す動体を除去した被写体全体のパノラマ画像を得ることができる。

本実施例においては、マッチング処理は３つの過程で用いられる。１つ目は、異なる撮影画角での順次撮影により、画像（Ａ）、画像（Ｂ）、画像（Ｃ）を順次合成する過程である。即ち、撮像素子の３つの領域から読み出された画像データＡ０１〜Ａ２５、Ｂ０１〜Ｂ２５、Ｃ０１〜Ｃ２５のそれぞれとその１つ前に撮影された画像との相関の高い領域を検出する過程である。２つ目は、この画像（Ａ）、画像（Ｂ）、画像（Ｃ）を比較することで動体の有無の検出を行う過程である。３つ目は、上記検出結果を基づいて画像データを重ね合わせ、動体を除去したパノラマ画像を生成する過程、である。しかし、本実施例では、外付け雲台３２０にて、カメラシステムを等速運動させながら連続撮影しており、また、加速度センサ３１８にてカメラシステムの移動角度は適宜計測しているため、各画像データの最大相関位置情報は推定可能である。また、画像（Ａ）〜（Ｃ）のずれ量ΔLも、画像（Ａ）〜（Ｃ）が読み出される領域４０２〜４０４の位置関係と加速度センサ３１８の値から推定することが出来る。そのため、マッチング処理を行う領域はこれらの推定される値に誤差等を考慮してマージンを設けた最小範囲について行えばよい。

また、本実施例において、図４に示した読み出し領域は互いに離れているが、読み出し領域４０２、読み出し領域４０３、読み出し領域４０４は互いに離れていても、隣接していても良い。それぞれの領域から画像信号を読み出すタイミングについては、３つの領域を同時に読み出しても、別々のタイミングで読み出しても良い。

本実施例では、読み出し領域が３つの場合について示したが、読み出し領域の数については３つ以上であれば構わない。また、各領域から作成される画像間の時間差を大きくし、動体の検出精度を高くするため、各読み出し領域の間は離れていた方が良い。

また、本実施例ではカメラを外付け雲台により等速でパンさせながら連続撮影を行っているが、手動でパンまたはチルトなどスイングさせながら撮影する場合にも本発明を同様に適応できることは言うまでもない。また、手動でスイングして撮影する場合等においては、画像信号の切り出し幅Ｌｘが狭い方が連続読みし間隔を早くできるため、撮影画角を変化させるスピードに応じて画像領域の幅Ｌｘ（サイズ）を変化させてもよい。

以上のように、本発明の第１の実施例においては、パノラマ撮影を行う際に動体検出、補正を同時に行なうため、移動体の写りこんでいないパノラマ画像を生成することができる。

［実施例２］
以下、本発明の第２の実施例を、図１３〜図１５を用いて説明する。なお、撮像装置の構成は、第１の実施例にて説明した図１〜図３、図１０、図１１と同様であるため、ここでは省略する。また、パノラマ撮影時の撮像装置の動作フローチャートは、第１の実施例の動作(図８、９)と同じである。第１の実施例と異なるのは、パノラマ撮影でのパノラマ画像の生成ステップＳ９０５での処理の内容である。

図１３に、本実施例に係わる撮像素子の撮像領域を示す。撮像素子自体の構成は、第１の実施例と同様であり、また図１３は図４と同様、撮像素子の受光面の側から見たときの撮像領域を示す。

本実施例では、総画素領域１３０１の中から、読み出し領域１３０２、読み出し領域１３０３、読み出し領域１３０４、読み出し領域１３０５、読み出し領域１３０６の５つの読み出し領域から読み出される。撮影者からみて被写体の左側の像は読み出し領域１３０２に投影される。同様に被写体の中央部は読み出し領域１３０４に、被写体の右側は読み出し領域１３０６に投影される。

本実施例において、図１４に示す被写体をパノラマ撮影する場合を考える。図１４は、本実施例に係わるパノラマ撮影の被写体を示し、被写体は、家や木々が立ち並ぶ横長の風景であり、撮影中にその被写体の前を移動体（ランナー）が左から右方向へと横切っている。撮影者は、カメラシステム３１９を外付け雲台３２０にセットし、画角中心をＰ０に合わせ撮影を開始する。外付け雲台３２０は一定速度でカメラシステム３１９をパンさせ、カメラの画角中心がＰ１になるまでパンを継続する。このとき、カメラシステム３１９では一定間隔で連続撮影を行う。

本実施例におけるカメラシステム３１９のパノラマ撮影での全体的な動作のフローは第１の実施例で説明した図８に示すものと同様であるため、ここでは省略する。

次にパノラマ撮影ステップＳ８０６での動作について図９を用いて説明する。Ｓ９０１〜Ｓ９０４までの手順は第１の実施例と同様である。Ｓ９０４まで進んだ時点で図１５の（Ａ’）〜(Ｅ’)に示される５枚の画像が生成される。
（Ａ’）は、図１３の読み出し領域Ａ’から読み出された複数の図１５（Ｘ）で示される幅Ｌｘの画像データＡ’０１〜Ａ’２５を重ね合わせることにより作成された画像である。
（Ｂ’）は、図１３の読み出し領域Ｂ’から読み出された複数の図１５（Ｘ）で示される幅Ｌｘの画像データＢ’０１〜Ｂ’２５を重ね合わせることにより作成された画像である。
（Ｃ’）は、図１３の読み出し領域Ｃ’から読み出された複数の図１５（Ｘ）で示される幅Ｌｘの画像データＣ’０１〜Ｃ’２５を重ね合わせることにより作成された画像である。
（Ｄ’）は、図１３の読み出し領域Ｄ’から読み出された複数の図１５（Ｘ）で示される幅Ｌｘの画像データＤ’０１〜Ｄ’２５を重ね合わせることにより作成された画像である。
（Ｅ’）は、図１３の読み出し領域Ｅ’から読み出された複数の図１５（Ｘ）で示される幅Ｌｘの画像データＥ’０１〜Ｅ’２５を重ね合わせることにより作成された画像である。
Ａ’０１,Ｂ’０１,Ｃ’０１,Ｄ’０１,Ｅ’０１は、同じタイミングで露光して撮像された画像の読み出し領域からの画像データである。Ａ’０２,Ｂ’０２,Ｃ’０２,Ｄ’０２,Ｅ’０２、・・・Ａ’Ｎ,Ｂ’Ｎ,Ｃ’Ｎ,Ｄ’Ｎ,Ｅ’Ｎ（Ｎは１以上の自然数）についても同様である。

画像（Ａ’）、画像（Ｂ’）、画像（Ｃ’）、画像（Ｄ’）、画像（Ｅ’）は、それぞれ時間差をもって被写体を撮影(スキャン)した画像(時間差画像信号)である。

読み出し領域１３０２に投影された被写体が読み出し領域１３０３の位置まで移動する時間をΔＴ_３とする。同様に読み出し領域１３０３に投影された被写体が読み出し領域１３０４の位置まで移動する時間をΔＴ_４、読み出し領域１３０４に投影された被写体が読み出し領域１３０５の位置まで移動する時間をΔＴ_５とする。また、読み出し領域１３０５に投影された被写体が読み出し領域１３０６の位置まで移動する時間をΔＴ_６とする。

このときΔＴ_３は、外付け雲台の移動速度Ｖと、読み出し領域１３０２、読み出し領域１３０３が同じタイミングで捕らえる被写体間の距離ΔL_３（＝画像（Ａ’）と画像（Ｂ’）のずれ量）から以下の式で表される。

同様に、画像（Ｂ’）と画像（Ｃ’）のずれ量をΔL_４、画像（Ｃ’）と画像（Ｄ’）のずれ量をΔL_５、画像（Ｄ’）と画像（Ｅ’）のずれ量をΔL_６とした場合、ΔＴ_４、ΔＴ_５、ΔＴ_６は以下のように表される。

上記式３及び式４からΔL_３〜ΔL_６の値が大きければ大きいほど画像（Ａ’）〜画像（Ｅ’）は、それぞれの撮影の時間差が大きな画像として取得することが出来る。

Ｓ９０４では、これらの（Ａ’）〜（Ｅ’）の画像の間でマッチング処理を行い、画像間のずれ量を算出する。即ち、（Ａ’）〜（Ｂ’）間の画像のずれ量ΔL_３、（画像（Ａ’）と画像（Ｃ’）のずれ量）ΔL_４、（画像（Ａ’）と画像（Ｄ’）のずれ量）ΔL_５、（画像（Ａ’）と画像（Ｅ’）のずれ量）ΔL_６を算出する。

算出されたΔL_３、ΔL_４、ΔL_５、ΔL_６に基づき、図１５のように、画像（Ｂ’）をΔL_３、画像（Ｃ’）をΔL_４、画像（Ｄ’）をΔL_５、画像（Ｅ’）をΔL_６だけずらした画像を作成する。

そして、（Ａ’）〜（Ｅ’）の５つの画像について、同一被写体を撮影した領域ごとにマッチング処理を行う。図１５のＬ０１、Ｌ１３の領域においては、（Ａ’）〜（Ｅ’）のうち３つ以上の画像がそろっていないので、マッチング処理は行わない。Ｌ０３、Ｌ０５、Ｌ０７、Ｌ０９、Ｌ１１の領域においては、それぞれ（Ｅ’）、（Ｄ’）、（Ｃ’）、（Ｂ’）、（Ａ’）が他の画像との相関が低くなっている。他の画像間での相関は高くなっている。Ｌ０２、Ｌ０４、Ｌ０６、Ｌ０８、Ｌ１０、Ｌ１２では、各画像間の相間が高い。

図１５の領域Ｌ０３のように、他の何れの画像の領域とも高い相関が得られない画像（Ｅ’）のような画像が存在する場合、画像（Ｅ’）のこの領域を『動体有』と判定する。一方、他の何れかの画像の領域と相関が高い画像（Ａ’）〜（Ｄ’）のような各画像の領域は、『動体無』と判定する。

画像（Ａ’）〜（Ｅ’）の領域間において、いずれとも相関が無い場合は、画像（Ａ’）〜（Ｅ’）の該当領域を『検知不可能』と判定する。そして、『動体無』と判定された画像の領域を構成する画像データには０、『動体有』と判定された領域を構成する画像データには１、『検知不可能』と判定された領域を構成する画像データには２のフラグを立てる。動体検出を行なわなかった領域を構成する画像データにはフラグ０を立てる。図１５においては、Ａ’１８〜Ａ’２２、Ｂ’１６〜Ｂ’１８、Ｃ’１２〜Ｃ’１６、Ｄ’９〜Ｄ’１２、Ｅ’４〜Ｅ’９の画像データにフラグ１、それ以外の画像データにフラグ０と立てる。

Ｓ９０５では、Ｓ９０４での判定結果を基づき、フラグ１が立っている画像データを優先的に用いてパノラマ画像を作成する。また、フラグ１が立っている画像データが存在しない領域では、フラグ０が立っている画像データを用いる。フラグ０が立っている画像データの中では、画像（Ｃ’）を構成する画像データを優先的に用いる。フラグ０が立っている領域で画像（Ｃ’）を構成する画像データが無い場合には、より画像（Ｃ’）に近い画像を構成する画像データを優先的に用いる。フラグ１が立っている画像データも、フラグ０が立っている画像データもない場合は、フラグ２が立っている画像データを用いる。フラグ２が立っている画像データの中では、画像（Ｃ’）を構成する画像データを優先的に用いる。フラグ２が立っている画像データの中に、画像（Ｃ’）を構成する画像データがない場合は、画像（Ｃ’）により近い画像を構成する画像データを優先的に用いる。

図１５においては、画像データＥ’０１、Ｄ’０１、Ｃ’０１、Ｃ’０２、Ｅ’０４〜Ｅ’０９、Ｄ’０８〜Ｄ’１２、Ｃ’１１〜Ｃ’１７、Ｂ’１６〜Ｂ’１８、Ｃ’１９〜Ｃ’２５、Ｂ２５、Ａ２５を用い、それぞれに対してマッチング処理、重ね合わせを行う。その後、現像・圧縮・伸張処理部にて圧縮・伸張処理を行いメモリ部３１０に格納する。

Ｓ９０６では、第１の実施例と同様に、メモリ部３１０に格納された画像データをＥＶＦなどの表示部３１３に表示する。Ｓ９０７にて、ＳＷ２がＯＮ状態であれば再びＳ９０１に戻る。そして、カメラの画角中心が図１４のＰ１まできてＳＷ２をＯＦＦにするまでＳ９０１からＳ９０６の処理を繰り返す。最終的に出力画像として図１５の撮影画像から動体の軌跡を抜き出した画像（Ｆ’）に示されるパノラマ画像を得ることが出来る。

また、実施例１と同様の方法で動体を除去した画像を作成し、（Ｆ’）とのマッチング処理を行い、画像相関の低い部分領域のみ抜き出してくることで図１５の（Ｇ’）に示すような動体の軌跡のみを切り出した画像を生成することも可能である。

本実施例においても、マッチング処理は３つの過程で用いられる。１つ目は撮像素子の５つの領域からそれぞれ読み出された画像データＡ’０１〜Ａ’２５、Ｂ’０１〜Ｂ’２５、Ｃ’０１〜Ｃ’２５のそれぞれとその１つ前に撮影された画像との相関の高い領域を検出し、画像（Ａ’）〜（Ｅ’）を生成する過程である。２つ目はこの画像（Ａ’）〜（Ｅ’）を比較することで動体の有無の判定を行う過程である。３つ目は上記判定結果を基に画像データを重ね合わせて動体の軌跡を表すパノラマ画像を生成する過程である。

しかし本実施例では、外付け雲台３２０にてカメラシステムを等速運動させながら連続撮影しており、また、加速度センサ３１８にてカメラシステムの移動角度は適宜計測しているため、各画像信号の最大相関位置情報は推定可能である。また、画像（Ａ’）〜（Ｅ’）のずれ量ΔLも、画像（Ａ’）〜（Ｅ’）が読み出される領域１３０２〜１３０６の位置関係と加速度センサ３１８の値から推定することが出来る。そのため、マッチング処理を行う領域はこれらの推定値に誤差等を考慮したマージンを設けた最小範囲について行えばよい。

本実施例において、図１３に示した読み出し領域は互いに離れているが、読み出し領域１３０２〜１３０６は互いに離れていても、隣接していても良い。それぞれの領域から画像信号を読み出すタイミングについては、全て同時に読み出しても、別々のタイミングで読み出しても良い。

本実施例では、読み出し領域が５つの場合について示したが、読み出し領域の数については３つ以上であればいくつでも構わない。また、各領域から作成される画像間の時間差を大きくし、動体を検出精度が高くするため、各読み出し領域は離れていた方が良い。

本実施例では、カメラを外付け雲台により等速でパンさせながら連続撮影を行っているが、手動でパンまたはチルトなどスイングさせながら撮影する場合にも、本発明を同様に適応できることは言うまでもない。また、手動でスイングされて撮影する場合等、画像信号の読み出し領域の幅Ｌｘが狭い方が連続読み出し間隔を早くできるため、撮影画角を変化させるスピードに応じて画像領域の幅Ｌｘを変化させてもよい。

本発明の第２の実施例によれば、パノラマ撮影を行う際、被写体の前の移動体がある場合でも移動体を検出し、検出した移動体の写りこんだ画像信号をパノラマ画像に用いることで、移動体の軌跡を描くパノラマ画像を生成することが可能となる。

以上、本発明によれば、パノラマ撮影を行う際、被写体の前の移動体がある場合でも移動体を検出し除去したパノラマ画像を得る事ができる。また、検出した移動体の写りこんだ画像信号をパノラマ画像に用いることで、移動体の軌跡を描くパノラマ画像を生成することも可能となる。

また、上述した実施形態において図８〜９に示した各処理は、各処理の機能を実現する為のプログラムをメモリから読み出して全体制御演算部３１１のＣＰＵが実行することによりその機能を実現させるものである。

尚、上述した構成に限定されるものではなく、図８〜９に示した各処理の全部または一部の機能を専用のハードウェアにより実現してもよい。また、上述したメモリは、光磁気ディスク装置、フラッシュメモリ等の不揮発性のメモリや、ＣＤ−ＲＯＭ等の読み出しのみが可能な記録媒体、ＲＡＭ以外の揮発性のメモリであってもよい。また、それらの組合せによるコンピュータ読み取り、書き込み可能な記録媒体より構成されていてもよい。

また、図８〜９に示した各処理の機能を実現する為のプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。具体的には、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含む。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらには、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記プログラムは、前述した機能の一部を実現する為のものであっても良い。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組合せで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

また、上記のプログラムを記録したコンピュータ読み取り可能な記録媒体等のプログラムプロダクトも本発明の実施形態として適用することができる。上記のプログラム、記録媒体、伝送媒体およびプログラムプロダクトは、本発明の範疇に含まれる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

以上、本発明を好ましい実施例により説明したが、本発明は上述した実施例に限ることなくクレームに示した範囲で種々の変更が可能である。

Claims (12)

1. 複数の画素の配列を有する撮像素子により被写体像を画像信号に変換して出力する撮像手段を備えた撮像装置において、
   前記複数の画素の配列に設定された複数の読み出し領域から画像信号を読み出す画像信号読み出し手段と、
   異なる撮影画角で被写体を順次撮影したときに、同じ読み出し領域から前記画像信号読み出し手段で読み出された画像信号を順次合成して、時間差を有する前記被写体像の複数の時間差画像信号を生成する時間差画像生成手段と、
   前記時間差画像生成手段で生成された時間差を有する前記複数の画像信号を用いて、撮影された被写体像から前記被写体とは異なる移動体を検出する動体検出手段と、
   上記動体検出手段による移動体の検出結果に従って、前記複数の時間差画像信号を選択的に用いて、異なる撮影画角で撮影された被写体全体の撮影画像を合成する画像合成手段を備えることを特徴とする撮像装置。
2. 前記画像合成手段は、前記動体検出手段の検出結果に従って、前記複数の時間差画像信号を、少なくとも前記検出された移動体の画像信号と前記被写体像の画像信号とに識別し、当該識別に従って前記被写体の画像信号として識別された画像信号を優先的に選択して前記被写体全体の撮影画像を合成することを特徴とする請求項１に記載の撮像装置。
3. 前記画像合成手段は、前記動体検出手段の検出結果に従って、前記複数の時間差画像信号を、少なくとも前記検出された移動体の画像信号と前記被写体像の画像信号とに識別し、当該識別に従って前記移動体の画像信号として識別された画像信号を優先的に選択して、前記被写体全体の撮影画像を合成することを特徴とする請求項１に記載の撮像装置。
4. 前記時間差画像生成手段は、異なる撮影画角での順次撮影において前記画像信号読み出し手段で読み出された同じ読み出し領域の画像信号の重複領域を検出し、当該検出された重複領域に従って前記同じ読み出し領域の画像信号を順次合成して各読み出し領域の画像信号から前記複数の時間差画像信号を生成することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
5. 前記動体検出手段は、前記複数の時間差画像信号の間の相関に基づいて前記読み出し領域の位置のずれ量を検出し、当該検出された位置のずれ量に基づいて前記複数の時間差画像信号を対応つけ、当該対応つけられた複数の時間差画像信号の間の相関に基づいて前記移動体を検出することを特徴とする請求項１乃至４のいずれか一項に記載の撮像装置。
6. 前記画像合成手段は、前記対応つけられた複数の時間差画像信号に対して、少なくとも前記検出された移動体の画像信号と前記被写体像の画像信号との識別を行なうことを特徴とする請求項５に記載の撮像装置。
7. 前記読み出し手段は、前記撮影画角を変化させるスピードに従って、前記異なる撮影画角で同じ読み出し領域から読み出される画像信号が重複領域を有するように前記読み出し領域のサイズを変更することを特徴とする請求項１乃至５のいずれか一項に記載の撮像装置。
8. 複数の画素の配列を有する撮像素子により被写体像を画像信号に変換して出力する撮像手段を用いた撮像方法において、
   前記複数の画素の配列に設定された複数の読み出し領域から画像信号を読み出す画像信号読み出すステップと、
   前記撮像手段で異なる撮影画角で被写体を順次撮影し、前記画像信号読み出しステップで同じ読み出し領域から読み出された画像信号を順次合成して、時間差を有する前記被写体像の複数の時間差画像信号を生成する時間差画像生成ステップと、
   前記時間差画像生成ステップで生成された時間差を有する前記複数の画像信号を用いて、撮影された被写体像から前記被写体とは異なる移動体を検出する動体検出ステップと、
   上記動体検出ステップでの移動体の検出結果に従って、前記複数の時間差画像信号を選択的に用いて、異なる撮影画角で撮影された被写体全体の撮影画像を合成する画像合成ステップを備えることを特徴とする撮像方法。
9. コンピュータを、
   複数の画素の配列を有する撮像素子により被写体像を画像信号に変換して出力する撮像手段を備えた撮像装置の制御方法において、
   前記複数の画素の配列に設定された複数の読み出し領域から画像信号を読み出す画像信号読み出し手段、
   異なる撮影画角で被写体を順次撮影したときに、同じ読み出し領域から前記画像信号読み出し手段で読み出された画像信号を順次合成して、時間差を有する前記被写体像の複数の画像信号を生成する時間差画像生成手段、
   前記時間差画像生成手段で生成された時間差を有する前記複数の時間差画像信号を用いて、撮影された被写体像から前記被写体とは異なる移動体を検出する動体検出手段、
   上記動体検出手段による移動体の検出結果に従って、前記複数の時間差画像信号を選択的に用いて、異なる撮影画角で撮影された被写体全体の撮影画像を合成する画像合成手段して機能させるプログラム。
10. 請求項９のプログラムを記録したコンピュータが読み取り可能な記録媒体。
11. コンピュータを、請求項１乃至７のいずれか一項に記載された撮像装置の各手段として機能させるプログラム。
12. コンピュータを、請求項１乃至７のいずれか一項に記載された撮像装置の各手段として機能させるプログラムを格納した記憶媒体。