JP2014123853A - 撮影機器、画像表示装置 - Google Patents

Abstract

【課題】動体軌跡を表わす静止画像を自動生成する撮影機器を提供する。
【解決手段】機器全体を統括的に制御する制御部１０と、撮影光学系と撮像素子とを有する撮影部１２と、撮影部からの画像データに基く画像を表示する表示部を制御する表示制御部１０ｆと、操作指示信号を出力する指定操作部１５と、指定操作部の指示信号を判定する操作判定部１６と、複数の画像データに基いて撮影領域内への侵入物を検出しその侵入物の撮影領域内での占有領域を検出する侵入物判定部１０ｂと、複数の画像データに基いて撮影領域内の動体を検出する動体検出部１０ａと、侵入物判定部が検出した侵入物の撮影領域内での移動方向を判定する方向判定部１０ｃと、侵入物判定部が検出した侵入物の占有領域を含む所定の画像領域を複数の各画像データから抽出し、これらの複数の画像領域を時系列に並べて画像合成し一枚の静止画像を生成する画像合成部１０ｇとを具備する。
【選択図】図１

Description

この発明は、連続撮影により取得された複数の画像データに基く画像合成処理を行って一つの静止画像を生成する機能を備えた撮影機器、画像表示装置に関するものである。

従来、撮影光学系により結像された光学像を撮像素子等を用いて順次画像信号に変換し、これにより得られた画像信号に基く画像を表示装置を用いて順次連続的に表示するライブビュー機能を備え、撮影指示信号が発生した時には、その指示信号の発生時点における画像信号を取得して、これを記録用画像データに変換して記録媒体に記録する一方、再生指示信号が発生した時には、記録媒体に記録済みの画像データを画像信号に変換して、その画像信号に基く画像を表示装置を用いて再生表示し得る再生機能を有して構成されたデジタルカメラ等の撮影機器が一般に実用化され広く普及している。

このような形態からなる従来の撮影機器においては、所望の被写体の一連の動きに対して連続撮影を行って、複数の画像データを取得し、そうして取得された関連性のある複数の画像データに基く画像合成処理を自動的に行って、その結果、撮影対象とした所望の被写体の一連の動きを一目で確認し得る一つの静止画像を自動的に生成する、といった機能を備えた撮影機器が種々提案され、また実用化されている。

例えば、特開２０１０−１９２９５７号公報によって開示されている撮影機器は、連続撮影して取得された複数の画像データに基く画像を縮小処理若しくは主要部の切り取り処理等を施した上で、各画像を時系列に並べて配置した一つの静止画像を表わす画像データを自動的に生成し、これを記録媒体に自動的に記録し得るというものである。

上記特開２０１０−１９２９５７号公報によって開示されている手段は、被写体自体は移動せずに一定の場所に留まりつつ活動するような撮影対象、具体的には例えばゴルフのスウィング動作等を撮影対象とするような場合に適した手段である。

特開２０１０−１９２９５７号公報

ところが、一般に撮影機器を用いて動きのある被写体を撮影する状況としては、上記の例（ゴルフスウィング等）のように被写体が位置を変えずに活動する状況のほかにも、例えば撮影対象となる被写体自体が移動しつつ活動する状況、具体的には例えばスノーボードやスキー等における人物等の滑降シーンや、その他各種のスポーツシーン等を撮影する状況が容易に考えられる。この種の状況下においては、上記特開２０１０−１９２９５７号公報によって開示されている手段を用いたとしても、良好な撮影結果を得ることができないという問題点がある。

本発明は、上述した点に鑑みてなされたものであって、その目的とするところは、移動する被写体を撮影対象とする連続撮影の結果、取得される一連の複数の画像データに基いて画像合成処理を自動的に実行させ、撮影対象とした移動する被写体の軌跡を表わす画像を簡単に自動取得し得る機能を備えた撮影機器を提供することである。

上記目的を達成するために、本発明の一態様の撮影機器は、機器全体を統括的に制御する制御部と、撮影光学系と撮像素子とを有する撮影部と、上記撮影部により生成された画像データを受けて画像を表示する表示部を制御する表示制御部と、操作入力を受けて対応する操作指示信号を出力する指定操作部と、上記指定操作部からの指示信号を判定する操作判定部と、上記撮影部により取得される複数の画像データに基いて撮影領域内への被写体の侵入を検出し、検出した被写体侵入物の撮影領域内での占有領域を検出する侵入物判定部と、上記撮影部により取得される複数の画像データに基いて撮影領域内の動体を検出する動体検出部と、上記侵入物判定部により検出された侵入物の上記撮影部の撮影領域内での移動方向を判定する方向判定部と、上記侵入物判定部により検出された被写体侵入物の占有領域を含む所定の画像領域を上記撮影部により取得される複数の各画像データより抽出し、これら複数の画像領域を時系列に並べて画像合成して一枚の静止画像を生成する画像合成部とを具備する。

また、本発明の一態様の画像表示装置は、機器全体を統括的に制御する制御部と、画像データを受けて画像を表示する表示部を制御する表示制御部と、操作入力を受けて対応する操作指示信号を出力する指定操作部と、上記指定操作部からの指示信号を判定する操作判定部と、複数の画像データに基いて撮影領域内への被写体の侵入を検出し、検出した被写体侵入物の撮影領域内での占有領域を検出する侵入物判定部と、複数の画像データに基いて撮影領域内の動体を検出する動体検出部と、上記侵入物判定部により検出された侵入物の全画像領域内での移動方向を判定する方向判定部と、上記侵入物判定部により検出された被写体侵入物の占有領域を含む所定の画像領域を複数の各画像データより抽出し、これら複数の画像領域を時系列に並べて画像合成して一枚の静止画像を生成する画像合成部とを具備する。

本発明によれば、移動する被写体を撮影対象とする連続撮影の結果、取得される一連の複数の画像データに基いて画像合成処理を自動的に実行させ、撮影対象とした移動する被写体の軌跡を表わす画像を簡単に自動取得し得る機能を備えた撮影機器を提供することである。

本発明の第１の実施形態の撮影機器における主要な内部構成を示す要部ブロック構成図 図１の撮影機器を用いて連写画像合成モードによる撮影を行う際のようすを示す概念図 図１の撮像機器におけるカメラ制御処理シーケンスのフローチャート 図３のカメラ制御処理シーケンスのうち侵入物判定処理（図３のステップＳ１０４）のサブルーチンを示すフローチャート 図３のカメラ制御処理シーケンスのうち方向判定処理（図３のステップＳ１０６）のサブルーチンを示すフローチャート 図４の侵入物判定処理と図５の方向判定処理との概念を説明する図 図３の画像合成処理の概念を説明する図 本発明の第２の実施形態の撮影機器におけるカメラ制御処理シーケンスのフローチャート 図８の処理シーケンス中における連写動作によって取得される複数の画像データの概念図 本発明の第２の実施形態の撮影機器における画像合成処理後の合成画像変更処理の概略を説明する図 本発明の第３の実施形態の撮影機器におけるカメラ制御処理シーケンスのフローチャート 図１１の処理シーケンス中における合成部分算出処理及び相関マッチング範囲更新処理の概略説明する図

以下、図示の実施の形態によって本発明を説明する。
本発明の各実施形態は、例えば光学レンズにより形成される光学像を固体撮像素子を用いて光電変換し、これによって得られる画像信号を静止画像や動画像を表わすデジタルデータとして記録媒体に記録し、また記録媒体に記録されたデジタル画像データに基いて静止画像や動画像を表示装置に再生表示し得るように構成される撮像機器（以下、単にカメラという）を例示するものである。

なお、以下の説明に用いる各図面においては、各構成要素を図面上で認識可能な程度の大きさとするため、各構成要素毎に縮尺を異ならせて示している場合がある。したがって、本発明は、これらの図面に記載された構成要素の数量，構成要素の形状，構成要素の大きさの比率及び各構成要素の相対的な位置関係は、図示の形態のみに限定されるものではない。

［第１の実施形態］
図１〜図７は、本発明の第１の実施形態を示す図である。このうち、図１は本発明の第１の実施形態の撮影機器の主要構成部材を示す要部ブロック構成図である。図２は本実施形態の撮像機器を用いて連写画像合成モードによる撮影の概念を説明する図である。図３は本実施形態の撮像機器におけるカメラ制御処理シーケンスのフローチャートである。図４は本実施形態の撮像機器におけるカメラ制御処理シーケンス（図３のフローチャート）のうち侵入物判定処理（図３のステップＳ１０４）のサブルーチンを示すフローチャートである。図５は本実施形態の撮像機器におけるカメラ制御処理シーケンス（図３のフローチャート）のうち方向判定処理（図３のステップＳ１０６）のサブルーチンを示すフローチャートである。図６は、図４の侵入物判定処理と図５の方向判定処理との概念を説明する図である。図７は、図３の画像合成処理（ステップＳ１１３）の画像合成処理の概念を説明する図である。

まず、図１を用いて、本実施形態の撮影機器１の主要構成を簡単に説明する。
本実施形態の撮影機器１は、信号処理＆制御部１０と、撮影部１２と、記録部１３と、表示部１４と、指定操作部１５と、操作判定部１６と、加速度判定部１７と、時計部１８等を少なくとも具備して構成されている。

信号処理＆制御部１０は、本撮影機器１の全体的な動作を統括的に制御する制御部としての機能を備えると共に、取得した画像信号（画像データ）に対する各種の信号処理を行う信号処理部としての機能を具備する回路部である。

この画像処理＆制御部１０の内部には、動体検出部１０ａ，侵入物判定部１０ｂ，方向判定部１０ｃ，連写速度判定部１０ｄ，撮影枚数判定部１０ｅ，表示制御部１０ｆ，画像合成部１０ｇ等の各種の回路部が具備されている。

このうち、動体検出部１０ａは、撮影部１２によって取得された画像信号に基いて表示部１４に表示中の画像を対象として、その画像中において移動する被写体（動体）を検出する検出回路部である。

侵入物判定部１０ｂは、撮影部１２によって取得された画像信号に基いて表示部１４に表示中の画像内に、動体である被写体（侵入物）が侵入したかどうかの判定を、上記動体検出部１０ａと連繋して行って、撮影対象とする被写体（侵入物）を含む「侵入物ブロック」を設定する回路部である。

方向判定部１０ｃは、上記動体検出部１０ａ及び上記侵入物判定部１０ｂとによって判定された被写体（動体，侵入物）の画面内における移動方向（上下左右斜めの各方向）を判定する判定回路部である。

連写速度判定部１０ｄは、上記動体検出部１０ａと上記侵入物判定部１０ｂと上記方向判定部１０ｃとによって検出された被写体（動体）の画面内に占める大きさや移動速度及び移動方向等の情報と、使用されている撮影光学系の画角及び被写体までの距離等の条件によって規定される撮影範囲に基いて連続撮影動作を行う際の連写速度を判定する回路部である。

撮影枚数判定部１０ｅは、連写速度判定部１０ｄによって判定された連写速度に基いて必要な撮影枚数を算出し、算出された撮影枚数に係る設定値を自動的に設定する回路部である。

表示制御部１０ｆは、表示部１４を駆動制御する制御回路部である。表示制御部１０ｆは、撮影部１２によって取得された画像信号を受けて表示部１４を駆動制御し表示部１４の表示パネルに画像を表示させる制御を行う。

画像合成部１０ｇは、連続撮影（連写）された複数の画像データに基いて各画像データから撮影対象の被写体（動体）を含む所定の画像領域を切り取って一枚の静止画像を生成する等の画像合成処理を実行する回路部である。

撮影部１２は、被写体からの光を透過させて被写体の光学像を形成する撮影光学系と、この撮影光学系によって形成された被写体像を受けて光電変換処理を行う撮像素子とを含んで構成されるユニットである。撮像素子としては、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ；電荷結合素子）等の回路素子を用いたＣＣＤイメージセンサー若しくはＭＯＳ（Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ；金属酸化膜半導体）等を用いたＭＯＳ型イメージセンサー等の固体撮像素子である光電変換素子等が適用される。撮像素子によって生成されたアナログ画像信号は、画像処理＆制御部１０へと出力されて、この画像処理＆制御部１０における各回路部において各種の画像処理が施される。

記録部１３は、撮影部１２の撮像素子から出力された画像信号を受けて、例えば信号圧縮処理等の信号処理を行って記録形態の画像データに変換して記録媒体に記録したり、記録媒体に記録済みの画像データに対して伸長処理等の信号処理を施して画像信号を復元させる等の信号処理を行う回路部と、この回路部で生成された画像データを記録する記録媒体等を含んで構成されている。

表示部１４は、撮影部１２の撮像素子から出力された画像信号、若しくは記録部１３により伸長処理された画像信号等を受けて、表示形態の画像信号に変換して、画像表示を行う構成部である。

指定操作部１５は、表示部１４の表示パネル上に配置され、使用者が表示パネルに表示される画像の画面上をタッチ操作等を行うことで、画像中の位置指定等の指示を行うことのできる操作部材であって、具体的にはいわゆるタッチパネル等が適用される。また、これとは別に、指定操作部の形態としては、通常の押しボタン式等の操作部材（例えば十字キー，四方向指示ボタン等）を設け、これに画面上に表示する指標表示等を連動させることで、使用者が操作部材を操作して画面上の指標表示を移動させることで、画像中の位置指定等の指示を行うような構成であってもよい。

操作判定部１６は、指定操作部１５からの指示信号を受けて、使用者による指定操作等の判定を行う回路部である。

加速度判定部１７は、加速度センサ等を含んで構成され、その検出結果に基いて撮影機器１の傾きや縦位置，横位置等の姿勢等を判定し、撮影光学系の光軸の仰角等の状態情報を取得するための回路部である。

加速度判定部１７によって判定された撮影光学系の仰角状態情報は、上記撮影部１２の撮影光学系の画角情報（撮影部１２内の情報格納部（不図示）に予め格納されている固有情報等），撮影距離情報等とを合わせて演算することによって、例えば撮影対象の被写体の移動に伴う高さ方向（画面内での上下方向）の距離等（即ち本例におけるスノーボード滑走時のジャンプ高さ等）の情報等を得ることができる。

時計部１８は、いわゆるリアルタイムクロック（Real-Time Clock；ＲＴＣ）と言われるコンピュータの内部時計である。時計部１８は、例えばデータファイル等の日時情報の付与を行ったり、制御処理中における計時や時間制御等の際に活用される。

なお、上記以外のその他の構成部材については、従来の撮影機器と略同様の構成部材を具備するものとして、それらの図示及び詳細説明は省略する。

このように構成された本実施形態の撮影機器１を用いて撮影を行う際の作用を、図２〜図７を用いて以下に説明する。
本実施形態の撮影機器１は、写真撮影を実行し得る動作モードである撮影モードに設定した状態では、通常の撮影を行う通常撮影動作モードのほかに、各種様々な画像処理を自動的に実行して通常撮影により取得し得る通常画像とは異なる印象の画像を取得することができる各種撮影動作モードを備えている。

上記通常の撮影動作モードでは、例えば、使用者が撮影を開始するための所定の操作（具体的には例えばシャッターボタンの押圧操作やタッチパネルのタッチ操作等）を行うことで撮影制御が実行され、通常の画像（撮影対象とする被写体を含む所定の範囲の被写体に忠実な画像）を取得することができる。

一方、各種撮影動作モードでは、撮像素子によって取得された通常画像（データ）に対して各種様々な画像処理を自動的に実行することによって、通常撮影によって取得し得る通常画像とは異なる印象の画像を取得することができる。ここで、通常画像とは異なる印象の画像とは、例えば通常画像に対して被写体の色調，形状等を変更する画像処理や、その他所定の条件に従った画像合成処理等によって演出を加えた画像等である。

以下に説明する本実施形態の撮像機器においては、上述したような各種撮影動作モードのうち、例えば連続撮影動作によって取得した複数の通常画像（データ）に基いて画像合成処理を行うことで一つの静止画像（データ）を生成する連写画像合成モードを備えているものとし、その詳述を以下に行う。

本実施形態の撮影機器における作用のうち、撮影モード時に連写画像合成モードが選択設定されている場合の作用を主に図２を用いて説明する。
以下に説明する状況の例示では、撮影機器１を用いて連写画像合成モードにて撮影する対象の被写体として、例えばスノーボードによる人物の滑降シーンとしている。そのために、まず、使用する撮影機器１の電源をオン状態とし、撮影機器１の動作モードを写真撮影を行い得る撮影モードに設定し、かつ撮影モードのうちの撮影動作モードの設定として連写画像合成モードを選択した状態とする。

このように設定した状態の撮影機器１を、使用者が手によって保持する（図２に示す状態）か、若しくは三脚等に固定して設置する。このとき、撮影機器１の設置位置は、撮影対象の被写体（動体）が、当該撮影機器１によって撮影し得る範囲内を通過するような位置及び向きとなるように設定する。撮影機器１の撮影範囲は、装着されている撮影光学系の画角と、被写体（動体）までの距離によって規定される。なお、撮影光学系の画角は、焦点距離と撮影画面サイズ（通常の場合矩形の長辺，短辺，対角の各距離）とによって規定される数値である。

ここで、［表１］は、撮影光学系の焦点距離と撮影画角との関係を示している。なお、［表１］は撮影画面サイズを１３５フィルムの一コマ分（２４×３６ｍｍ）と同等サイズの場合を例示している。

また、［表２］は、特定の焦点距離（２４ｍｍ）の撮影光学系を用いた場合における水平方向の撮影範囲と、被写体までの撮影距離の関係を示している。なお、［表２］も撮影画面サイズを１３５フィルムの一コマ分（２４×３６ｍｍ）と同等サイズの場合を例示している。

そして、［表３］は、動体の移動速度における時速と秒速とを示している。ここで、動体としてはスノーボードの滑走シーンを想定している。

これら［表１］〜［表３］に示すデータから、撮影光学系の焦点距離を例えば２４ｍｍとし、撮影画面サイズを２４×３６ｍｍとする撮影機器を用いる場合において、例えば時速３０ｋｍ（秒速８．３ｍ）程度の速度の動体を撮影するものとする。この場合において、水平方向の撮影範囲として１０〜２０ｍ程度が確保することができれば、被写体が撮影範囲内を移動するとき、その被写体が撮影範囲内（画面内）に侵入した時点から撮影範囲外（画面外）へ完全に出るまでに少なくとも１〜２秒程度は経過することになる。

従来、撮影機器に用いられる通常の撮像素子におけるフレームレートは、通常６０〜１２０ｆｐｓ（フレーム毎秒）程度のものが実用化されている。したがって、撮影機器を固定した状態（フレーミングを固定した状態）で連続撮影を行った場合、撮影対象とする被写体（動体）が撮影範囲内を移動する間に、複数枚の撮影画像（データ）を取得することは充分に可能である。

図２の例示では、撮影対象の被写体（スノーボードで滑走中の人物）を符号１００で示し、撮影機器１を持つ撮影者を符号１０１で示している。また、撮影範囲を符号１１０で示し、水平方向の撮影範囲を符号Ｘ１で示している。この場合において、シャッター速度１／２０秒（ｓｅｃ．）にて４回の連続撮影を行なった場合、被写体１００の撮影範囲内における軌跡は、符号１１０ａ，１１０ｂ，１１０ｃ，１１０ｄで示す各位置で示すことができる。この連続撮影を行っている間、撮影機器は固定状態としている（フレーミング固定状態）ことから、連続撮影によって取得された複数画像は、動体としての被写体以外の背景や前景等の領域に変化は略無い。そこで、連続撮影によって得られた各画像から、図２に示す符号１１０ａ，１１０ｂ，１１０ｃ，１１０ｄで示す短冊状の画像を取り出して、一つの静止画像とするように画像合成処理を行う。これによって、図２に示すような形態の一枚の静止画像、即ち動体の移動する軌跡を時系列に並べて合成した一枚の静止画像を生成する。

本発明の撮影機器１においては、これら一連の画像処理を自動的に実行しようというものである。
この場合において、［第１の実施形態］は、撮影機器１を固定状態とした時（フレーミング固定状態）に、撮影範囲内に侵入する被写体（動体）を自動的に検出し、適宜のタイミングで自動的に撮影動作を実行する（第１ショット）と同時に、検出した上記被写体（動体）について、その移動速度，移動方向及び撮影機器情報（撮影画面サイズ，撮影画角等）の各種情報に基いて連写速度や撮影枚数を算出して、その判定した撮影動作条件に従って２ショット目からの連続撮影を実行する。そうして取得した複数の画像データに基いて所定の画像合成処理を自動的に実行することによって、最終的に被写体の移動する軌跡を表わす一枚の静止画像を生成するというものである。つまり、撮影動作前に、連続撮影のための条件を、撮影対象の動きから予測して設定し、その条件設定の後、連続撮影及び画像合成処理を実行するというものである。

なお、［第２の実施形態］は、上述の［第１の実施形態］と略同様であるが、撮影開始のタイミングを使用者のレリリーズ操作として任意に連続撮影を実行した後、取得された複数の画像データの中から必要となる画像データを選択して、上述の［第１の実施形態］と略同様の画像合成処理を行って、同様の結果を得るというものである。

また、［第３の実施形態］も、上述の［第１の実施形態］と略同様であるが、連続撮影動作中に一枚分の撮影を行う毎に一連の処理を実行し合成用画像データを取得し、一画面分の撮影範囲の検出をし終えた時点で撮影動作を終了し、取得した複数の合成用画像データの画像合成処理を実行して、同様の結果を得るというものである。

次に、本実施形態の撮影機器１におけるカメラ制御処理シーケンスについて、図３を用いて説明する。
撮影機器１の電源がオン状態とされると、撮影機器１の画像処理＆制御部１０のうちの制御部は、所定の起動処理を実行した後、図３のステップＳ１０１の処理に進む。

ステップＳ１０１において、制御部は、撮影機器１の動作モードが写真撮影を行い得る撮影モードに設定されているか否かの確認を行う。ここで、撮影モードに設定されていることが確認された場合には、次のステップＳ１０２の処理に進む。また、撮影モード以外に設定されていることが確認された場合には、ステップＳ２０３の処理に進む。

ステップＳ１０２において、制御部は、撮影部１２，表示部１４等を制御してライブビュー画像表示処理を実行する。このライブビュー画像表示処理は、撮影部１２の撮像素子によって被写体像の画像データを順次連続的に生成し、この画像データに基く画像を表示部１４の表示画面上に連続的に表示する信号処理である。この処理は従来一般的な撮影機器において行われるものと同様である。このライブビュー画像表示処理を続行しつつ、次のステップＳ１０３の処理に進む。

ステップＳ１０３において、制御部は、撮影動作モードが連写画像合成モードに設定されているか否かの確認を行う。この連写画像合成モードへの設定切り換えは、使用者による操作部材（不図示）や指定操作部１５等を操作することによって行われる。これらの操作部材等が操作されると、所定の指示信号が発生する。その指示信号を操作判定部１６が判定して、その判定結果を制御部へと引き渡す。これにより、制御部は、現在設定されている撮影動作モードを判定する。ここで、連写画像合成モードに設定されていることが確認された場合には、次のステップＳ１０４の処理に進む。また、連写画像合成モードに設定されていないことが確認された場合には、ステップＳ２０１の処理に進む。

なお、上述したように、連写画像合成モードによる撮影時には、撮影機器１の撮影方向を固定状態とする、即ちフレーミングを固定状態とする必要がある。そこで、使用者が連写画像合成モードへの設定切り換えを行うと、制御部の表示制御部１０ｆは、表示部１４の表示画面上に、例えば「連写画像合成モードでの撮影を行います。連写中は機器を固定し動かさないでください。」「フレーミング（構図）を変えないでください。」等の警告表示を表示するような制御を合わせて行う。これにより、通常撮影とは異なる撮影動作モードであることを使用者に知らしめることができ、よって正しい撮影結果を確実に取得することができるようになる。

ステップＳ２０１において、制御部は、操作判定部１６を監視して、操作部材（不図示）若しくは指定操作部１５等から撮影動作を実行する撮影レリーズ指示信号が発生したか否かの確認を行う。この撮影レリーズ指示信号は、例えば操作部材のうちシャッターボタンの押圧操作若しくはタッチパネルへの所定のタッチ操作等により発生する指示信号である。ここで、撮影レリーズ指示信号が発生したことが確認された場合には、次のステップＳ２０２の処理に進み、このステップＳ２０２において、制御部は通常の撮影動作を実行し、その後、ステップＳ２０５の処理に進む。
また、上記ステップＳ２０１の処理にて、撮影レリーズ指示信号の発生が確認されない場合には、ステップＳ２０５の処理に進む。

ステップＳ２０５において、制御部は、操作部材（不図示）や指定操作部１５等からの信号を操作判定部１６を介して監視して、電源をオフ状態とする指示信号、即ち制御終了指示信号の有無を確認する。ここで、制御終了指示信号が確認された場合には電源状態をオフ状態に切り換える制御を行った後、一連の処理を終了する。また、制御終了指示信号が確認されなかった場合には、上述のステップＳ１０１の処理に戻って、以降の処理を繰り返す。

一方、上述のステップＳ１０３において、撮影動作モードが連写画像合成モードに設定されていることが確認されて、ステップＳ１０４の処理に進むと、このステップＳ１０４において、制御部は、侵入物判定処理を実行する。この侵入物判定処理の詳細は、図４のサブルーチンに示している。また、図６は、侵入物判定処理シーケンスを説明する概念図である。ここで、図３のステップＳ１０４に示す侵入物判定処理シーケンスの詳細を、図４，図６を用いて以下に説明する。

図４のステップＳ４０１において、信号処理＆制御部１０の動体検出部１０ａ及び侵入物判定部１０ｂは、撮影部１２の撮像素子によって順次連続的に生成され出力される複数の画像データに基いて動体検出処理、即ちブロック相関マッチング処理を行う。このブロック相関マッチング処理は、撮像素子から順次連続的に出力される複数の画像データのうち、受け取った画像データと、前回受け取った直前の画像データとを比較して、各画像データの同一ブロックの相関の有無を確認する処理である。

そのために、例えば撮像素子から順次連続的に出力される複数の画像データに基く画像について、その全領域を図６に示すように複数ブロックに分割し、同じ位置にある一ブロックの画像領域の比較を行う。図６（ａ），図６（ｂ），図６（ｃ）においては、例えば矩形状の全画像領域に対して、画面長辺方向（横方向，水平方向）に１６分割し、画面短辺方向（縦方向，垂直方向）に９分割して、全体で１６×９個の画像ブロックとした例を示している。

ここで、図６（ａ）は、撮影対象とする動体としての被写体１００の一部が画像１４ａ内に侵入した状態を示している。したがって、図６（ａ）の画像１４ａでは、被写体１００の一部を含む画像ブロック（図６（ａ）において実線で囲む領域１００ａ）において、図６（ａ）の画像１４ａの直前の画像（不図示）に対して変化が生じている。この状態となったとき、前後の画像間に相関が無いものと判定される。

そこで、上記ステップＳ４０１のブロック相関マッチング処理の結果に基いて、次のステップＳ４０２において、相関なしブロックがあることが確認された場合には、次のステップＳ４０３の処理に進み、このステップＳ４０３において、制御部は画面内への侵入物があった旨の判定を行い、一連の処理シーケンスを終了する。その後、元の処理に戻って（リターン）、図３のステップＳ１０５の処理に進む。

一方、上記ステップＳ４０１のブロック相関マッチング処理の結果に基いて、次のステップＳ４０２において、相関なしブロックが無いことが確認された場合には、ステップＳ４０４の処理に進み、このステップＳ４０４において、制御部は画面内への侵入物がない旨の判定を行い、一連の処理シーケンスを終了する。その後、元の処理に戻って（リターン）、図３のステップＳ１０５の処理に進む。

なお、上述の侵入物判定処理が行われることによって撮影対象物としての被写体（動体）が検出された場合には、その被写体を含む画像領域に対して、制御部は、露出制御動作や焦点調節動作を合わせて実行するものとする。そして、ここで設定された露出値，焦点調節結果は固定値として設定される。また、それとは別に、動体が検出された以後は、その動体が画面内にある間、これを追尾して継続して動体検出が行われる。そこで、露出制御動作や焦点調節動作も、動体の移動に合わせて継続して都度、所定の間隔を持って行うようにしてもよい。

図３のステップＳ１０５において、制御部は、上述のステップＳ１０４の侵入物判定処理（図４のサブシーケンス）の結果が「侵入物あり」であったか否かの確認を行う。ここで、「侵入物あり」の判定結果であった場合には、次のステップＳ１０６の処理に進む。また、「侵入物なし」の判定結果であった場合には、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。

次に、ステップＳ１０６において、制御部は、方向判定処理を実行する。この方向判定処理の詳細は、図５のサブルーチンに示している。ここで、図３のステップＳ１０６に示す方向判定処理シーケンスの詳細を、図５，図６を用いて以下に説明する。

図５のステップＳ５０１において、信号処理＆制御部１０の動体検出部１０ａ及び侵入物判定部１０ｂは、動体検出処理（ブロック相関マッチング処理）を行う。ここで行われる処理は、上述の侵入物判定処理における動体検出処理（図４のステップＳ４０１）と同様の処理である。

上記ステップＳ５０１のブロック相関マッチング処理の結果に基いて、次のステップＳ５０２において、動体としての被写体が画面左端から侵入したか否かの確認を行う。この確認は、例えば全画像領域における各ブロックのうち画面左端寄りのブロックに相関なしブロックが検出された場合に、被写体が画面左端から侵入したものと判定される。例えば、図６（ａ）の画像１４ａにおいては、画面内に侵入した被写体の一部を含むブロック１００ａの位置が画面左端寄りのブロックであることを示している。

ここで、被写体（動体）が画面左端から侵入したことが確認された場合には、次のステップＳ５０３の処理に進む。また、被写体（動体）の画面左端からの侵入が確認されない場合（即ち画面右端若しくは上下いずれかの方向からの侵入、又は侵入物無しの場合）には、ステップＳ５０６の処理に進む。

ステップＳ５０６において、制御部の方向判定部１０ｃは、被写体（動体）の移動方向が未確定であると判定し、一連の処理を終了する。その後、元の処理に戻って（リターン）、図３のステップＳ１０７の処理に進む。

続いて、ステップＳ５０３において、制御部は、上記ステップＳ５０１のブロック相関マッチング処理の結果に基いて相関なしブロックが水平方向に移動したか否かを確認する。この場合において、相関なしブロックは、撮影対象とする被写体（侵入物）を含む一塊のブロックであり、被写体（侵入物）の画面内における占有領域であり、これを侵入物ブロックというものとする。

ここで、図６（ｂ）は、図６（ａ）の撮像フレームの次の撮像フレームであるものとする。図６（ｂ）で示す画像１４ｂは、撮影対象とする動体としての被写体１００が画面内で移動した後の状態を示している。図６（ｂ）の画像１４ｂにおける画像ブロック１００ｂは、直前の画像１４ａ（図６（ａ））の画像ブロック１００ａに対して相関が無い。そして、画像ブロック１００ｂは、画像ブロック１００ａに対して画面内において右方向に水平移動していることがわかる。

そこで、ステップＳ５０３の処理にて、侵入物ブロック（相関なしブロック）が水平方向に移動したことが確認された場合には、次のステップＳ５０４の処理に進む。また、侵入物ブロック（相関なしブロック）の水平方向移動が確認されない場合には、ステップＳ５０６の処理に進む（方向未確定）。

続いて、ステップＳ５０４において、制御部は、画面左端ブロックＬ（図６（ｃ）参照）の相関の有無を確認する。
ここで、図６（ｃ）は、図６（ｂ）の撮像フレームの次の撮像フレームであるものとする。図６（ｃ）で示す画像１４ｃは、撮影対象とする動体としての被写体１００が画面内でさらに移動した後の状態を示している。図６（ｃ）の画像１４ｃにおける画像ブロック１００ｃは、直前の画像１４ｂ（図６（ｂ））の画像ブロック１００ｂに対して、さらに画面内において右方向に水平移動している。そして、図６（ｃ）にて符号Ｌで示す画面左端の一列分の画像ブロックには、被写体が含まれない画像となっている。この状態からさらに時間が経過して被写体（動体）が右方向へと移動した後、図６（ｃ）の画像１４ｃとその直後のフレームとの相関マッチングを行うと、当該画面左端ブロックＬは相関ありの状態になる。

そこで、上記ステップＳ５０４において、画面左端ブロックＬの相関ありが確認された場合には、次のステップＳ５０５の処理に進む。また、画面左端ブロックＬの相関ありが確認されない場合には、ステップＳ５０６の処理に進む（方向未確定）。

ステップＳ５０５において、制御部の方向判定部１０ｃは、被写体（動体）の移動方向が画面上を右方向へ移動しているものと確定して、一連の処理を終了する。その後、元の処理に戻って（リターン）、図３のステップＳ１０７の処理に進む。

図３のステップＳ１０７において、制御部は、上述のステップＳ１０６の方向判定処理（図５のサブシーケンス）の結果、被写体の移動方向が確定されたか否かの確認を行う。ここで、被写体の移動方向が確定された場合には、次のステップＳ１０８の処理に進む。また、被写体の移動方向が未確定の場合には、上述のステップＳ１０６の処理に戻り、以降の処理を繰り返す。

次に、ステップＳ１０８において、制御部は、撮影部１２及び記録部１３，表示部１４等を制御して、一枚の静止画像を取得すべく一回の撮影動作（シャッタレリーズ動作）を自動的に実行し、生成された画像データを記録部１３の記録媒体の所定の領域に所定の形態のデータファイルとして記録される。その後、ステップＳ１０９の処理に進む。

ステップＳ１０９において、制御部は、撮影枚数判定部１０ｅによって撮影枚数算出処理を実行する。
図６（ｃ）に示すように、撮影対象とする動体としての被写体は、上述した動体検出処理によって検出されており、全画像領域に対して画像ブロック１００ｃに含まれる領域を占めていることが判っている。ここで、画像ブロック１００ｃの画面長辺（横，水平）方向の幅を符号Ｘｂｌ＿ｄｉｒで示し、全画像領域の画面長辺（横，水平）方向の全幅を符号Ｘｂｌ＿ｗｈｏｌｅで示すものとする。ここで、全画像領域の画面長辺（横，水平）方向に画像ブロック１００ｃを並べることを考えた場合に、必要となる撮影枚数を算出できる。即ち、連写画像合成モードにて必要となる撮影枚数Ｎは、
Ｎ＝Ｒｏｕｎｄ（Ｘｂｌ＿ｗｈｏｌｅ／Ｘｂｌ＿ｄｉｒ，１）
とすることができる。なお、小数点以下の端数が生じた場合には小数点第１位にて四捨五入すればよい。

上述の例では、図６（ｃ）を参照すると、
Ｘｂｌ＿ｗｈｏｌｅ＝１６（ブロック）
Ｘｂｌ＿ｄｉｒ＝４（ブロック）
である。したがって、撮影枚数Ｎ＝１６／４＝４コマとなる。なお、本実施形態においては、上述の図３のステップＳ１０８の処理にて最初の一コマを撮影しているので、後述の連続撮影動作によって取得される画像は、４コマ−１コマ＝３コマとすればよい。

続いて、図３のステップＳ１１０において、制御部は、連写速度判定部１０ｄによって連写速度算出処理を実行する。
連写速度の算出は、次式によって算出することができる。即ち、
連写速度Ｓ［ｆｐｓ］＝Ｆ／ｆ
Ｆ：ライブビュー画像のフレームレート（ｆｐｓ）
ｆ：侵入物検出時点から方向確定時点までのライブビュー画像のフレーム数
である。ここで、ライブビュー画像のフレームレートＦとしては、例えば６０ｆｐｓ若しくは１２０ｆｐｓ等が適用される。また、侵入物検出時点から方向確定時点までのライブビュー画像のフレーム数としては、上述の図６（ａ）〜図６（ｃ）に示す例では、侵入物検出時点を図６（ａ）の画像１４ａとし、方向確定時点を図６（ｃ）の画像１４ｃとするとｆ＝３フレームである。したがって、フレームレートＦ＝６０ｆｐｓとすると、
連写速度Ｓ＝６０／３＝２０ｆｐｓ
となる。

以上のようにして、撮影枚数と連写速度を算出した後は、図３において、次のステップＳ１１１の処理に進む。

ステップＳ１１１において、制御部は、上述のステップＳ１０９，Ｓ１１０の各処理にて得られた条件（撮影枚数，連写速度）に従って連続撮影動作（連写）を開始するための制御を行う。

続いて、ステップＳ１１２において、制御部は、設定した条件による連続撮影動作（連写）が終了したか否かの確認を行う。ここで、連続撮影動作（連写）の終了が確認された場合には、次のステップＳ１１３の処理に進む。また、連続撮影動作（連写）の終了が確認されない場合には、上記ステップＳ１１１の処理に戻り再度同様の処理を繰り返す。

ステップＳ１１３において、制御部は、上記ステップＳ１０８及びステップＳ１１１の処理にて取得した複数の画像データに基いて所定の画像合成処理を実行する。この画像合成処理の結果、生成された合成画像は、所定時間、表示部１４を用いて表示が行われると同時に、記録部１３の記録媒体への記録が行われる。その後、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。

ここで、上記ステップＳ１１３の画像合成処理の概略を図７を用いて以下に説明する。図７は、連写画像合成モードにて自動的に連続撮影を行って取得された複数の画像データ（図７（ａ）〜（ｄ））と、これに基いて自動生成される合成画像（図７（ｅ））の一例を示す概念図である。なお、本例では、上述したように一連の撮影動作によって全部で四枚の画像データを取得するようにしている。

即ち、上記の条件によって取得した複数の画像データについて、各画像データから撮影対象とする被写体（動体）１００を含む所定の領域の画像（Ｘｐｉｘ：図７参照）を抽出する。

ここで、具体例を示すと、図７（ａ）は、上記連続撮影によって取得した四枚の画像データのうちの一番最初のコマ（一枚目）の撮影画像データによって表される画像１４−１である。この画像１４−１から、撮影対象の被写体（動体）１００を含む画像領域、即ち符号「Ｘｐｉｘ＿ｔｒ＿ｓｔａｒｔ」で示す画像領域を抽出する。なお、ここで説明する例では、抽出する画像領域は、被写体を含む画像ブロック（横幅Ｘｂｌ＿ｄｉｒ）であって、全画像領域の短辺相当の縦寸法を有する略短冊形状の画像領域としている。

同様に図７（ｂ）は、上記連続撮影によって取得した四枚の画像データのうちの二枚目の撮影画像データによって表される画像１４−２である。この画像１４−２から、撮影対象の被写体（動体）１００を含む画像領域、即ち符号「Ｘｐｉｘ＿ｔｒ＿２ｎｄ」で示す画像領域を抽出する。

同様に図７（ｃ）は、上記連続撮影によって取得した四枚の画像データのうちの三枚目の撮影画像データによって表される画像１４−３である。この画像１４−３から、撮影対象の被写体（動体）１００を含む画像領域、即ち符号「Ｘｐｉｘ＿ｔｒ＿３ｒｄ」で示す画像領域を抽出する。

同様に図７（ｄ）は、上記連続撮影によって取得した四枚の画像データのうちの最終コマ（四枚目）の撮影画像データによって表される画像１４−４である。この画像１４−４から、撮影対象の被写体（動体）１００を含む画像領域、即ち符号「Ｘｐｉｘ＿ｔｒ＿ｌａｓｔ」で示す画像領域を抽出する。

なお、各画像抽出領域を設定するのに際し、各画像抽出領域の幅として、最終コマ「Ｘｐｉｘ＿ｔｒ＿ｌａｓｔ」と、最終コマ以外（仮に「Ｘｐｉｘ＿ｔｒ」）とすると。

撮影枚数Ｎの算出時に端数が生じて四捨五入による切り上げを行った場合には、
Ｘｐｉｘ＿ｔｒ＝Ｘｐｉｘ＿ｗｈｏｌｅ／Ｎ
Ｎ＝Ｒｏｕｎｄ（Ｘｂｌ＿ｗｈｏｌｅ／Ｘｂｌ＿ｄｉｒ，２）
Ｘｐｉｘ＿ｔｒ＿ｌａｓｔ＝Ｘｐｉｘ＿ｗｈｏｌｅ−Ｘｐｉｘ＿ｔｒ×（Ｎ−１）
とする。また、撮影枚数Ｎの算出時に切り上げが生じない場合には、
Ｘｐｉｘ＿ｔｒ＝Ｘｐｉｘ＿ｔｒ＿ｌａｓｔ
＝Ｘｐｉｘ＿ｗｈｏｌｅ／Ｎ
とすればよい。

このようにして四枚の画像データのそれぞれから被写体を含む画像領域を抽出した後、これに基いて画像合成処理を実行する。即ち、図７（ｅ）は、図７（ａ）〜（ｄ）からそれぞれ抽出された画像領域を、移動方向に従って（本例においては左端から順に）時系列に並べて合成した一つの静止画像データによって表される合成画像１４ｗである。ここで、合成画像１４ｗは、全画像領域の画面長辺（横，水平）方向の全幅に相当する横幅Ｘｐｉｘ＿ｗｈｏｌｅを有する画像となっている。こうして生成された合成画像１４ｗは、撮影対象の被写体（動体）１００が移動する軌跡を一枚の静止画像で示すようにした合成画像である。ここで生成される合成画像においては、単に上述のようにして抽出した各画像領域を合成処理するのみでなく、例えば時計部１８によって得られる計時結果と連写タイミング（時間）等に基いて、各画像領域内の被写体が移動する時間や速度，距離等を制御部において算出し、その算出結果を表示制御部１０ｆを介して表示部１４へ出力するようにして、表示中の合成画像上の所定部位に重畳表示したり、生成された画像データに付随データとして添付するようにしてもよい。

なお、一連の撮影動作によって取得された複数の画像データと、上述のようにして生成された合成画像１４ｗとのそれぞれは、制御部によって所定のデータ形式に変換された後、記録部１３の記録媒体の所定領域に所定の形態のデータファイルとして記録される。また、生成された合成画像１４ｗについては、表示制御部１０ｆを介して表示部１４へと出力されて、その表示画面上に所定の時間だけ表示されるようにしてもよい。

このようにして、図３のステップＳ１１３の処理である画像合成処理（含む表示処理，記録処理）が完了すると、上述のステップＳ１０１の処理に戻って、以降の処理を繰り返す。

なお、上述のステップＳ１０１の処理にて、撮影モード以外に設定されていることが確認されてステップＳ２０３の処理に進むと、このステップＳ２０３において、制御部は、撮影機器１の動作モードが撮影済みの画像を再生表示する再生モードに設定されているか否かの確認を行う。ここで、再生モードに設定されていることが確認された場合には、次のステップＳ２０４の処理に進む。また、再生モードに設定されていないことが確認された場合には、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。なお、本実施形態では、撮影モード以外の動作モードとして再生モードのみを例示しているが、その他の動作モードを持たせてもよいが、本発明に直接関連するところではないので、その説明は省略する。

上述のステップＳ２０３の処理にて再生モードの設定が確認されて、ステップＳ２０４の処理に進むと、このステップＳ２０４において、制御部は、操作部材（不図示）や指定操作部１５等からの信号を操作判定部１６を介して監視して、入力信号に従って記録部１３，表示部１４等を制御することによって、再生動作処理を実行する。この再生動作処理の詳細は、従来の撮影機器で行われている制御処理と同様のものとし、その説明は省略する。なお、この再生動作処理の終了は、使用者による動作モードの切り換え操作による動作モード切換指示信号に従う。再生動作処理を終了すると、その後、上述のステップＳ２０５の処理に進む。

そして、ステップＳ２０５において、制御部は、操作部材（不図示）や指定操作部１５等からの信号を操作判定部１６を介して監視して制御終了指示信号の有無を確認する。ここで、制御終了指示信号が確認された場合には電源状態をオフ状態に切り換える制御を行った後、一連の処理を終了する。また、制御終了指示信号が確認されなかった場合には、上述のステップＳ１０１の処理に戻って、以降の処理を繰り返す。

以上説明したように上記第１の実施形態によれば、所定の動作モード、即ち連写画像合成モードに設定した撮影機器１を、撮影対象とする動体としての被写体が、当該撮影機器１によって撮影し得る範囲内を所定時間かけて通過するような位置及び向きを固定状態として設置する（即ちフレーミング固定状態。撮影機器１の設置手段は使用者の手持ちでもよいし三脚等の固定でもよい）のみで、当該撮影機器１の撮影範囲内（撮影画像内）に撮影対象の所望の被写体（動体）が侵入すると、それを自動的に検出し連続撮影を開始する。同時に連続撮影すべき連写速度，撮影枚数等の条件が自動的に演算され、それによって取得した複数の画像データについて、自動的に画像合成処理を実行し、最終的には、撮影対象の被写体（動体）の軌跡を表わす一枚の静止画像を取得し、これを表示し、記録することができる。

つまり、例えばスノーボード，スキー等の滑降シーン，スケート，体操，陸上競技，水泳競技（高飛び込み等）等、その他各種のスポーツシーン（乗り物の移動やボール等の投擲物等でもよい）等や人物，動物等の動き撮影等における撮影対象物の被写体（動体）の移動状況の軌跡を一画像で示すことができるので、移動時の姿勢（フォーム）や状態変化（回転，演技等）のタイミング等を容易に観察することができ、同一条件で撮影した他人との比較を行なったり、動きそのものを楽しむといった効果を得ることができる。したがって、各種スポーツの技量研究や技量向上等に寄与することができると共に、単に動体の目に見えないような動きを楽しむことができる。

また、例えば画面内の上下方向の移動についても、各種の情報を応用し所定の演算を行うことで、水平方向の移動距離やジャンプ高さ等を算出することも可能である。

本実施形態においては、連続撮影を実行する前に、画像合成に必要な画像データの数及び連写速度等を、撮影対象の被写体の動きに応じて設定し、設定した撮影条件に基いて、自動的に連写を行い、かつ自動的に画像合成処理まで行うので、無駄な撮影を行うことがなく、よって機器内部の一時メモリ容量や、記録部１３の記録媒体容量等を抑えることができる。

［第２の実施形態］
上述の第１の実施形態においては、撮影動作前に、撮影対象の被写体（動体）を検出し、それに対応した連続撮影条件を設定して、連続撮影及び画像合成処理を実行し、被写体（動体）の軌跡を示す一枚の静止画像を取得する例を示している。これに対し、次に説明する第２の実施形態においては、まず、撮影対象の被写体（動体）に対して通常の連続撮影動作（撮影機器は固定）を実行した後、これによって取得された複数の画像データに基いて適切な画像合成処理を実行し、上記第１の実施形態と同様の撮影結果を得るという例示である。

したがって、本発明の第２の実施形態の撮影機器の構成は、上述の第１の実施形態と略同様であり、制御部によって実行されるカメラ制御処理シーケンスの一部が異なるのみである。以下の本実施形態の説明においては、上記第１の実施形態と同様の構成及び処理シーケンスの説明は省略し、異なる部分のみを詳述する。なお、本実施形態の撮影機器の構成は、上述の第１の実施形態で説明した図１のブロック構成図を参照し、説明に用いる各構成部材は同じ符号を用いて説明する。

図８は、本発明の第２の実施形態の撮影機器におけるカメラ制御処理シーケンスのフローチャートである。図９は、図８の処理シーケンス中における連写動作によって取得される複数の画像データの概念図である。図１０は、本実施形態の撮影機器における画像合成処理後の合成画像変更処理の概略を説明する図である。

本実施形態の撮影機器１の作用を説明する。まず、図８において、ステップＳ１０１〜Ｓ１０３の処理は上述の第１の実施形態と同様である。

ステップＳ１０３の処理にて撮影動作モードが連写画像合成モードに設定されていることが確認された場合には、ステップＳ１２１の処理に進む。

ステップＳ１２１において、制御部は、操作部材（不図示）若しくは指定操作部１５等から連続撮影動作の実行を開始するための連写開始指示信号が発生したか否かの確認を行う。ここで、連写開始指示信号が確認された場合には、次のステップＳ１２２の処理に進み、同ステップＳ１２２において撮影動作を実行し、次のステップＳ１２３の処理にて、連写終了指示信号の確認を行う。なお、上記ステップＳ１２１の処理にて、連写開始指示信号が確認されない場合には、上述のステップＳ１０１の処理に戻り、以降の処理を繰り返す。

つまり、本実施形態においては、ステップＳ１２１〜Ｓ１２３の処理において、使用者の意思による連続撮影操作に基いて連写が行われる。なお、この連続撮影操作中の撮影機器１は上述の第１の実施形態と同様に固定状態とされる（フレーミング固定状態）。

このようにして、本実施形態の撮影機器１においては、使用者の操作に基く任意のタイミングで開始及び終了される連続撮影動作によって複数の画像データが取得される（図９参照）。図９において、符号１４ｘで示す点線枠は、上記ステップＳ１２１の連写開始信号発生時点以前のライブビュー画像を示すものとする。図９において、符号１４−１は、連写開始指示信号発生後の最初の取得画像［ｓｔａｒｔ］を示す。符号１４−２は２コマ目の取得画像を示す。以降同様に、符号１４−３，……，１４−７と続き、連写終了指示信号発生直前の最後の取得画像［ｅｎｄ］を示している。

上述のステップＳ１２３において、連写終了指示信号が確認された場合には、次のステップＳ１０６の処理に進む。このステップＳ１０６〜Ｓ１０７の処理は、上述の第１の実施形態と同様である。ただし、ステップＳ１０６の方向判定処理は、上述の第１の実施形態においては、ライブビュー画像のデータに基いて行っていたのに対し、本実施形態においては、撮影済みの上記複数の画像データに基いて行う点で異なる。

つまり、上述の第１の実施形態において連写速度算出処理（図３のステップＳ１１０）は、画面内への侵入物の検出時点から方向確定までの間のライブビュー画像のフレーム数と、フレームレートに基いて算出していた。これに対し、本実施形態において合成画像選択処理（詳細後述；図８のステップＳ１１０Ａ）は、画面内への侵入物の検出時点から方向確定までの実際の撮影枚数とする点が異なる。

図８のステップＳ１０７の処理において、被写体の移動方向が確定した場合には、次のステップＳ１０９Ａの処理に進む。

ステップＳ１０９Ａにおいて、制御部は画像合成処理を行うのに必要となる合成用画像データ数（枚数）の算出を行う。この合成枚数算出処理は、上述の第１の実施形態における撮影枚数算出処理（図３のステップＳ１０９の処理）と同様の処理である。

続いて、ステップＳ１１０Ａにおいて、制御部は連写によって取得された複数の画像データから画像合成処理を行うのに必要な合成用画像データを選択する合成画像選択処理を実行する。この合成画像選択処理は、上述の第１の実施形態における連写速度算出処理（図３のステップＳ１１０の処理）と同様の処理である。その後、ステップＳ１１３の画像合成処理に進む。この画像合成処理は、上述の第１の実施形態と略同様の処理である。

そして、上記ステップＳ１１３の画像合成処理によって、撮影対象の被写体（動体）の軌跡を表わす一枚の静止画像が自動的に生成される。なお、ここで生成された静止画像（画像合成処理結果）は、表示部１４を用いて所定の時間だけ表示される。このときの表示時間は、予め設定された時間、例えば数秒程度であり、その計時は時計部１８を参照してカウントするような制御を行えばよい。

ここで、自動的に生成される合成画像の構成の概念を図１０（ａ）によって説明する。図１０（ａ）において、符号１４−１ａで示される領域「１」は、連写によって取得された複数の画像データのうちの最初の取得画像１４−１から被写体を含む所定領域を抽出した画像を示す。符号１４−３ａで示される領域「３」は、連写によって取得された複数の画像データのうちの取得画像１４−３から被写体を含む所定領域を抽出した画像を示す。以下同様に符号１４−５ａの領域「５」は取得画像１４−５の抽出画像であり、符号１４−７ａの領域「７」は取得画像１４−７の抽出画像である。つまり、この図１０（ａ）に示す例では、連写による取得画像データのうち、１，３，５，７枚目の４枚の取得画像を画像合成処理の対象画像として採用し、各取得画像から被写体を含む所定領域を抽出し、時系列に並べた合成画像によって一枚の静止画像を形成している。

図８のステップＳ１１３の画像合成処理の完了後、ステップＳ１２４の処理に進むと、このステップＳ１２４において、制御部は操作部材（不図示）や指定操作部１５等からの信号を操作判定部１６を介して監視して画像変更指示信号の有無を確認する。画像変更指示信号は、例えば使用者が表示部１４上の指定操作部１５（タッチパネル）の所定領域をタッチ操作する等により生じる指示信号である。例えば、図１０（ａ）においては、表示部１４に表示中の合成画像のうち符号１４−１ａで示す領域「１」を使用者が手指にてタッチ操作をしている状態を示している。

したがって、この時点においては、上述のステップＳ１１３において、表示部１４に合成画像が表示中である。その表示画面上の所定領域、例えば画面隅部等に、合成画像の変更が可能である旨を表わす何らかの表示、例えばアイコン表示や説明文字表示等の表示が表示するようにしている。なお、上述したように、表示部１４への画像合成処理結果の画像表示は予め設定した所定の時間だけ行われる。したがって、上記の変更可能表示も同様に所定の時間だけ表示された後、時間経過後には表示画像と共に消滅し、例えばライブビュー画像に切り換わる（ステップＳ１０１からＳ１０２へと処理が戻った場合）。

図８のステップＳ１２４の処理にて、画像変更指示信号が確認された場合には、次のステップＳ１２５の処理に進む。また、画像変更指示信号が所定の時間の間に確認されない場合には、次のステップＳ１２７の処理にて、生成された合成画像データの記録部１３の記録媒体への記録処理が行われる。その後、上述のステップＳ１０１の処理に戻る。

ステップＳ１２５において、制御部は上記画像変更指示信号に従って画像合成処理を行うべき対象画像の変更を行う。その後、ステップＳ１２６において、制御部は、画像再合成処理を実行する。この画像再合成処理は、上述のステップＳ１１３と同様の処理である。

図１０に示す例では、最初に自動的に生成された合成画像（図１０（ａ）の画像）における領域「１」に対する画像変更指示操作が使用者の手指１０１ａを用いて行われている。これを受けて、図１０（ａ）における領域「１」の画像は、図１０（ｂ）における領域「２」の画像へと変更される。ここで、選択される画像はステップＳ１２１〜Ｓ１２３の連写処理にて取得された複数の画像データのうち、例えば指定された領域「１」と、この領域「１」を含む画像データよりも時間的にあとのタイミングで取得され、かつ領域「１」の次の領域として既に採用されている画像データ（図１０の例では領域「３」を含む画像データ）よりも時間的に以前のタイミングで取得された画像データである。即ち、図１０の例では、図１０（ｂ）に示すように領域「２」を含む画像データ、即ち画像１４−２の画像から抽出される画像１４−２ａが選択される。

こうして、ステップＳ１２６の処理にて、画像再合成処理が完了すると、次のステップＳ１２７の処理にて、生成された合成画像データの記録部１３の記録媒体への記録処理が行われる。その後、上述のステップＳ１０１の処理に戻る。

なお、上記ステップＳ１２６の処理にて行われる画像再合成処理は、上述のステップＳ１１３の画像合成処理と略同様の処理である。なお、画像再合成処理の後、生成された合成画像データは記録部１３の記録媒体の所定領域に所定の形態のデータファイルとして記録される。その他の処理ステップは、上述の第１の実施形態と同様である。

以上説明したように、上記第２の実施形態によれば、上記第１の実施形態と略同様の効果を得ることができる。さらに、本実施形態によれば、撮影機器１による連続撮影動作の開始と終了のタイミングを使用者が任意に自分の意思によって設定して実行した連続撮影操作の結果、取得された複数の画像データに基いて画像合成処理を実行するようにしている。したがって、機器が自動的に行う自動撮影によらず、使用者の撮影意志を尊重した撮影とすることができる。

また、使用者は自動的に生成された合成画像に対して、使用者の意思に基いて合成画像の変更を加えることもできるようにしている。したがって、使用者は、自動的に合成画像を取得することができるだけでなく、使用者の好みを反映させた合成画像を取得することも可能である。

さらに、本実施形態では、連続撮影動作を完了して複数の画像データを取得した後に、各種のデータ処理を行うようにしているので、制御部の処理速度に依存することなく、処理を実行することができ、データの記録容量を充分に確保しておくことによって、全く同様の効果、即ち同様の合成画像を容易に取得することができる。換言すれば、本実施形態では、上記第１の実施形態に比べると高速な処理速度を必要としないので、高性能な制御部ではなくとも同様の効果を得ることができる。

なお、本実施形態では、連続撮影動作の完了後に、取得した複数の画像データに基いて各種のデータ処理を行うようにしている。したがって、上述の例示の如く、撮影機器１が撮影モード時にあって、連続撮影動作完了直後に自動的に合成関連の処理を実行する制御に限ることはない。例えば、撮影機器１の連続撮影動作後に、使用者が所望する任意の時に撮影機器１を再生モードに設定した状態で同様の処理を実行するような制御でもよい。

この場合には、連写画像合成モードによる撮影を行って取得された複数の画像データに対しては、例えば画像データの付随情報として連写画像合成モードによる画像である旨の情報や、一連の連写画像のうちの何番目の画像であるか等の特定情報を附加しておくようにするとよい。そうすれば、再生モードで閲覧する際には、表示画像に重畳させて上記特定情報を表示させることで容易に識別し得る。また、これとは別に、再生モード時の閲覧画面では、一連の連写画像のうちの代表画像（例えば１コマ目又は最終コマ若しくは使用者が任意に選択設定したコマ等）のみを特定情報と共に表示させるような形態としても容易に識別することができる。

このように、取得した画像に特定情報を附加しておけば、撮影を行なった撮影機器１以外の機器、例えば画像表示機能を備えた別の撮影機器や画像表示専用の画像表示装置、若しくは画像信号処理を実行し得る一般的な小型コンピュータ等であっても、上述した各種信号処理を実行し得る制御部及び上記処理シーケンスに対応するソフトウエア等を具備しておれば、全く同様の効果を得ることができる。

［第３の実施形態］
本発明の第３の実施形態の撮影機器の構成は、上述の第１の実施形態と略同様であり、制御部によって実行されるカメラ制御処理シーケンスの一部が異なるのみである。したがって、以下の本実施形態の説明においては、上記第１の実施形態と同様の構成及び処理シーケンスの説明は省略し、異なる部分のみを詳述する。なお、本実施形態の撮影機器の構成は、上述の第１の実施形態で説明した図１のブロック構成図を参照し、説明に用いる各構成部材は同じ符号を用いて説明する。

本実施形態では、連続撮影動作中において、一つの画像データの取得毎、即ち一枚分の撮影を行う毎に方向判定処理と合成部分算出処理とを実行して合成用の画像データを取得して、一画面分の撮影範囲を全て検出し終えた時点で撮影動作を終了し、こうして取得した複数の合成用画像データの画像合成処理を実行するというものである。

図１１は、本発明の第３の実施形態の撮影機器におけるカメラ制御処理シーケンスのフローチャートである。図１２は、図１１の処理シーケンス中における合成部分算出処理及び相関マッチング範囲更新処理の概略説明する図である。

本実施形態の撮影機器１の作用を説明する。まず、図１１のステップＳ１０１〜Ｓ１０７の処理は、上述の第１の実施形態と同様である。そして、ステップＳ１０７の処理にて撮影対象の被写体（動体）の方向が確定すると、次のステップＳ１３１の処理に進む。

ステップＳ１３１の処理にて、まず一枚目の撮影処理が実行される。次のステップＳ１３２において、上記ステップＳ１３１の撮影処理によって取得された画像データに基く画像処理、即ち取得された画像データから合成画像を生成するのに必要となる抽出領域を算出する合成部分算出処理を実行する。その後、ステップＳ１３３の処理に進む。

図１２（ａ）〜図１２（ｃ）は、上述の第１の実施形態の説明に用いた図６（ａ）〜（ｃ）に相当している。つまり、図１２（ａ）にて撮影対象の被写体１００が撮影画面内に侵入した状態の画像１４ａを示している。図１２（ｂ）は、図１２（ａ）の撮像フレームの次の撮像フレームであり、画像１４ｂは、撮影対象の被写体１００が画面内で移動した後の状態を示している。図１２（ｃ）は、図１２（ｂ）の撮像フレームの次の撮像フレームであって、画像１４ｃは、撮影対象の被写体１００が画面内でさらに移動した後の状態を示している。図１２（ａ）〜（ｃ）の３コマで被写体１００の移動する方向の判定がなされるのは、上述の第１の実施形態と同様である。そして、図１２（ｃ）のタイミングで最初の１コマ目の撮影が実行され（図１１のステップＳ１３１）、続けてステップＳ１３２において合成部分算出処理が実行される。

ここでは、図１２（ｃ）の画像１４ｃから合成画像を生成するのに必要となる所定の領域、即ち撮影対象の被写体１００を含む画像ブロック（横幅Ｘｂｌ＿ｄｅｌ［１］）であって、全画像領域の短辺相当の縦寸法を有する略短冊形状の画像領域１４−１を抽出する。

こうして合成部分算出処理が完了すると、続けて、図１１のステップＳ１３３において、相関マッチング範囲を更新する処理を行う。ここで相関マッチング範囲とは、方向判定処理を行うのに際して行う相関マッチング処理の対象とする画像範囲である。

直前の相関マッチング処理においては、図１２（ａ）〜（ｃ）の画像１４ａ，１４ｂ，１４ｃで示す範囲を相関マッチング範囲としていたが、次の相関マッチング処理を行うのに際して、撮影対象の被写体１００が既に通過した範囲では常に相関があるものと推測できる。そこで、この範囲を除外して次の相関マッチング処理を行えば、処理の高速化を期待できる。そこで、図１２（ｃ）で抽出した画像領域１４−１を含み被写体の移動する方向とは反対側の画像領域を対象から外した余の画像領域、即ち図１２（ｄ）の符号１４ｄで示す画像領域を相関マッチング範囲とする。

続いて、図１１のステップＳ１３４において、相関マッチング範囲が全て終了したか否か、つまり相関マッチング処理を行うべき余の画像領域の有無を確認する。ここで、画像領域が全て終了していることが確認された場合には、次のステップＳ１１３の画像合成処理に進む。また、画像領域がまだ残っていることが確認された場合には、ステップＳ１０６の処理に戻り、以降の処理を繰り返す。

なお、ここで行われるステップＳ１１３の画像合成処理は、上述の第１の実施形態と同様の処理である。この画像合成処理が完了すると、その処理の結果生成された画像データは表示部１４において表示されると共に、記録部１３において記録媒体の所定領域に所定の形態のデータファイルとして記録される。その他の処理ステップは、上述の第１の実施形態と同様である。

以上説明したように、上記第３の実施形態によれば、上述の第１の実施形態と同様の効果を得ることができる。さらに、本実施形態によれば、連続撮影動作の実行中において、一枚分の撮影を行う毎に一連の処理（方向判定，合成部分算出処理）を実行して合成用画像データを取得して連写を続行し、一画面分の撮影範囲の検出を終えた時点で連続撮影動作を終了させ、それまでに取得した複数の合成用画像データに基いて画像合成処理を実行し、撮影対象の被写体（動体）の軌跡を表わす一枚の静止画像を自動生成する。つまり、撮影毎に一連の処理（方向判定，合成部分算出処理）を実行するようにしたので、撮影中において予測し得ないような大きな変化、例えば移動速度や移動方向等の変化にも、随時対応することができる。

なお、上述の各実施形態においては、撮影機器による連続撮影時には、撮影機器を固定状態とし、フレーミング固定状態で撮影する例を示しているが、この例示に限られることはない。例えば、撮影機器を手持ちで連続撮影を行うのに際し、動体の移動に合わせて撮影機器を振りつつ撮影を行う、いわゆる流し撮り等の手法を用いた場合にも、本発明は応用し得る。例えば、上記のような手法で取得された複数の画像データに基いて画像合成処理を行うのに際しては、上述の各実施形態にて説明した処理シーケンスに加えて、従来一般的に実用化されている、いわゆるパノラマ合成技術を適用すれば、横長のパノラマ画像上に、撮影対象の被写体（動体）の軌跡を表わすことが可能である。
また、上述の各実施形態においては、連続撮影によって取得した複数の画像データに基いて、所定の画像合成処理を行って一つの静止画像を自動生成し、それを記録するように構成しているが、連続撮影によって取得した複数の画像データも同時に記録されている。そこで、これら複数の画像データに基いて表示を行う際には、その表示形態を工夫することで、さらに撮影結果を楽しむことができる。具体的には、例えば取得済みの一連の複数の画像データについて、例えば１枚当たり１〜５秒程度の間隔で時系列（撮影順）に連続的に表示させるいわゆるスライドショー形式の表示を行えば、疑似的な動画像のような表示も可能である。

上述の各実施形態で説明した各処理シーケンスは、その性質に反しない限り、手順の変更を許容し得る。したがって、上述の処理シーケンスに対して、例えば各処理ステップの実行順序を変更したり、複数の処理ステップを同時に実行させたり、一連の処理シーケンスを実行する毎に、各処理ステップの順序が異なるようにしてもよい。

なお、本発明は上述した実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用を実施し得ることが可能であることは勿論である。さらに、上記実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせによって、種々の発明が抽出され得る。例えば、上記一実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題が解決でき、発明の効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明は、デジタルカメラ等の撮影機能に特化した電子機器である撮影機器に限られることはなく、撮影機能を備えた他の形態の電子機器、例えば携帯電話，録音機器，電子手帳，パーソナルコンピュータ，ゲーム機器，テレビ，時計，ＧＰＳ（Global Positioning System）を利用したナビゲーション機器等、各種の撮影機能付き電子機器にも適用することができる。

１……撮影機器，
１０……信号処理＆制御部，１０ａ……動体検出部，１０ｂ……侵入物判定部，１０ｃ……方向判定部，１０ｄ……連写速度判定部，１０ｅ……撮影枚数判定部，１０ｆ……表示制御部，１０ｇ……画像合成部，
１２……撮影部，１３……記録部，１４……表示部，１５……指定操作部，１６……操作判定部，１７……加速度判定部，１８……時計部，

Claims (5)

1. 機器全体を統括的に制御する制御部と、
   撮影光学系と撮像素子とを有する撮影部と、
   上記撮影部により生成された画像データを受けて画像を表示する表示部を制御する表示制御部と、
   操作入力を受けて対応する操作指示信号を出力する指定操作部と、
   上記指定操作部からの指示信号を判定する操作判定部と、
   上記撮影部により取得される複数の画像データに基いて撮影領域内への被写体の侵入を検出し、検出した被写体侵入物の撮影領域内での占有領域を検出する侵入物判定部と、
   上記撮影部により取得される複数の画像データに基いて撮影領域内の動体を検出する動体検出部と、
   上記侵入物判定部により検出された侵入物の上記撮影部の撮影領域内での移動方向を判定する方向判定部と、
   上記侵入物判定部により検出された被写体侵入物の占有領域を含む所定の画像領域を上記撮影部により取得される複数の各画像データより抽出し、これら複数の画像領域を時系列に並べて画像合成して一枚の静止画像を生成する画像合成部と、
   を具備することを特徴とする撮影機器。
2. 上記侵入物判定部と上記動体検出部と上記方向判定部とによる検出結果に基いて連続撮影動作を行う際の適切な連写速度を撮影動作前に予め判定する連写速度判定部と、
   上記連写速度判定部１０ｄによる判定結果に基いて必要な撮影枚数を撮影動作前に予め判定する撮影枚数判定部と、
   を、さらに具備し、
   上記制御部は、上記撮影枚数判定部によって算出された撮影枚数分の連続撮影動作を自動的に実行することを特徴とする請求項１に記載の撮影機器。
3. 上記指定操作部は、タッチパネルであることを特徴とする請求項１又は請求項２に記載の撮影機器。
4. 上記制御部は、上記指定操作部の操作指示信号を受けて連続撮影動作を実行し、その連続撮影動作の完了後に、上記侵入物判定部、上記動体検出部、方向判定部、画像合成部による各信号処理を実行することを特徴とする請求項１に記載の撮影機器。
5. 機器全体を統括的に制御する制御部と、
   画像データを受けて画像を表示する表示部を制御する表示制御部と、
   操作入力を受けて対応する操作指示信号を出力する指定操作部と、
   上記指定操作部からの指示信号を判定する操作判定部と、
   複数の画像データに基いて撮影領域内への被写体の侵入を検出し、検出した被写体侵入物の撮影領域内での占有領域を検出する侵入物判定部と、
   複数の画像データに基いて撮影領域内の動体を検出する動体検出部と、
   上記侵入物判定部により検出された侵入物の全画像領域内での移動方向を判定する方向判定部と、
   上記侵入物判定部により検出された被写体侵入物の占有領域を含む所定の画像領域を複数の各画像データより抽出し、これら複数の画像領域を時系列に並べて画像合成して一枚の静止画像を生成する画像合成部と、
   を具備することを特徴とする画像表示装置。

Images