JP2010098695A - 撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体 - Google Patents

Abstract

【課題】煩雑な作業を要することなくコマ撮り撮影を行うことが可能な撮像装置の提供。
【解決手段】動き量算出部１０２は、カメラ１が順次撮像することによって生成するフレーム単位の画像データのうち最新のフレームと直前のフレームとの間における画像の動き量を、両フレーム間の画像データの相違に基づいて算出する。記憶制御部１０４は、動き量算出部１０２が算出した画像の動き量が所定値以上から所定値未満に変化したことを条件に、新フレームの画像データ又は前フレームの画像データの一方を、コマ撮り画像としてコマ撮り画像記憶領域１０７に記憶する。
【選択図】図４

Description

本発明は、撮像画像記憶制御装置、撮像画像記憶制御方法、撮像画像記憶制御プログラム及び撮像画像記憶制御プログラムを記憶した記憶媒体に関する。

特開２００１−２９８６９３号公報には、インターバル撮影モードとアニメーション撮影モードとに設定可能なデジタルカメラが記載されている。インターバル撮影モードでは、所定の時間間隔（周期）で静止画像撮影が行われ、アニメーション撮影モードでは、ユーザがシャッター操作を行ったときに静止画像撮影が行われる。

特開２００１−２９８６９３号公報

例えばクレイ・アニメ（clay animation）やパラパラアニメ等を制作する際のコマ撮り撮影において、ユーザは、撮像領域に所望のシーンを作成し、作成したシーンを静止画像で撮像するという作業を交互に繰り返して行う。なお、クレイ・アニメとは、粘土などの材料で制作された造形物の形状を変化させながら１コマごとに繰り返して静止画像を撮影することによって作成される動画映像であり、ユーザは、造形物の形状を変化させることによって各シーンを作成する。

しかし、上記アニメーション撮影モードでは、シーン作成後に都度シャッター操作を行う必要がある。また、上記インターバル撮影モードでは、シーン作成後のシャッター操作は不要であるが、所定の時間間隔内にシーンの変更を完了しなければならない。すなわち、アニメーション撮影モード及びインターバル撮影モードの何れであっても、ユーザの作業が煩雑となる。

本発明は、上記実情に鑑みてなされたものであって、煩雑な作業を要することなくコマ撮り撮影を行うことが可能な撮像装置の提供を目的とする。

本発明の撮像装置は、動き量算出手段と記憶制御手段とを備える。

動き量算出手段は、撮像手段により撮像された動画像を構成するフレーム単位の画像データのうち最新のフレームと直前のフレームとの間における画像の動き量を、両フレーム間の画像データの相違に基づいて算出する。記憶制御手段は、動き量算出手段が算出した画像の動き量が所定値以上から所定値未満に変化したことを条件に、新フレームの画像データ又は前フレームの画像データの一方を、コマ撮り画像として記憶手段に記憶する。

本発明によれば、煩雑な作業を要することなくコマ撮り撮影を行うことができる。

以下、図面を参照して本発明の実施形態について説明する。本実施形態は、本発明の例示であり、本発明を限定するものではなく、本発明の範囲内で任意に変更可能である。

［第１実施形態］
本実施形態の撮像システムは、図１及び図２に示すように、カメラ１と、撮像画像記憶装置として機能するエンタテインメント装置２とを備える。カメラ１は、所定の画角内領域（シーン領域）４を撮像することによって、動画像を構成するフレーム単位の画像データ（静止画像データ）を順次生成し、その画像データをエンタテインメント装置２に順次送信する。エンタテインメント装置２は、カメラ１から受信した画像データに基づく映像を、所定のフレームレート（ＦＰＳ：Frame Per Second）でリアルタイムに表示装置３に表示させる。ユーザは、表示装置３の画面を視ることによって、シーン領域４の被写体５がカメラ１によってとのように撮像されているかを認識することができる。

エンタテインメント装置２は、ユーザからコントローラ３５への設定入力に応じてコマ撮り撮影モードに設定される。コマ撮り撮影モードに設定されたエンタテインメント装置２は、カメラ１から順次送信される画像データに対して、最新に受信したフレーム（以下、新フレームと称する）の画像データと、その直前に受信したフレーム（以下、前フレームと称する）の画像データとを比較し、両フレーム間における画像データの相違に基づいて、前フレームから新フレームへ移行する際の画像の動き量を逐次算出する。算出された動き量が所定値以上から所定値未満に変化した場合、エンタテインメント装置２は、ユーザによるシーン作成（被写体５の形状等の変更作業）が完了したと判定し、新フレームの画像データをコマ撮り画像（各シーンの静止画像データ）として順次保存する。

［エンタテインメント装置のハードウェア構成］
エンタテインメント装置２は、コンピュータプログラムにより所要の機能を形成するコンピュータにより実現される。コンピュータは、例えば図３にそのハードウエア構成を示すように、それぞれ固有の機能を有する複数の半導体デバイスが接続されたメインバスＢ１とサブバスＢ２の２本のバスを有している。バスインタフェースＩＮＴは、２つのバスＢ１、Ｂ２を切り離し可能に接続する。

メインバスＢ１には、主たる半導体デバイスであるメインＣＰＵ１０と、ＲＡＭで構成されるメインメモリ１１と、メインＤＭＡＣ（Direct Memory Access Controller）１２と、ＭＰＥＧ（Moving Picture Experts Group）デコーダ（ＭＤＥＣ）１３と、描画処理装置（ＧＰＵ：Graphic Processing Unit）１４が接続される。ＧＰＵ１４は、内蔵するフレームメモリ（図示省略）に描画されたデータを表示装置３に対して出力することにより、表示装置３の表示制御を行う。

メインＣＰＵ１０は、コンピュータの起動時にサブバスＢ２上のＲＯＭ２３から、バスインタフェースＩＮＴを介して起動プログラムを読み込み、その起動プログラムを実行してオペレーティングシステムを動作させる。また、メディアドライブ２７を制御するとともに、このメディアドライブ２７に装着されたメディア２８からアプリケーションプログラムやデータを読み出し、これをメインメモリ１１に記憶させる。さらに、メディア２８から読み出した各種データ、例えば複数の基本図形（ポリゴン）で構成された３次元オブジェクトデータ（ポリゴンの頂点（代表点）の座標値など）に対して、オブジェクトの形状や動き等を表現するためのジオメトリ処理（座標値演算処理）を行い、そして、ジオメトリ処理によるポリゴン定義情報（使用するポリゴンの形状及びその描画位置、ポリゴンを構成する素材の種類、色調、質感等の指定）をその内容とするディスプレイリストを生成する。

ＧＰＵ１４は、描画コンテクスト（ポリゴン素材を含む描画用のデータ）を保持しており、メインＣＰＵ１０から通知されるディスプレイリストに従って必要な描画コンテクストを読み出してレンダリング処理（描画処理）を行い、フレームメモリにポリゴンを描画する機能を有する半導体デバイスである。

メインＤＭＡＣ１２は、メインバスＢ１に接続されている各回路を対象としてＤＭＡ転送制御を行うとともに、バスインタフェースＩＮＴの状態に応じて、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送制御を行う半導体デバイスであり、ＭＤＥＣ１３は、メインＣＰＵ１０と並列に動作し、ＭＰＥＧ（Moving Picture Experts Group）方式あるいはＪＰＥＧ（Joint Photographic Experts Group）方式等で圧縮されたデータを伸張する機能を有する半導体デバイスである。

サブバスＢ２には、マイクロプロセッサなどで構成されるサブＣＰＵ２０、ＲＡＭで構成されるサブメモリ２１、サブＤＭＡＣ２２、オペレーティングシステムなどの制御プログラムが記憶されているＲＯＭ２３、サウンドメモリ２５に蓄積された音データを読み出してオーディオ出力として出力する音声処理用半導体デバイス（ＳＰＵ：Sound Processing Unit）２４、図示しないネットワークを介して外部装置と情報の送受信を行う通信制御部（ＡＴＭ）２６、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどのメディア２８を装着するためのメディアドライブ２７及び入力部３１が接続されている。

サブＣＰＵ２０は、ＲＯＭ２３に記憶されている制御プログラムに従って各種動作を行う。サブＤＭＡＣ２２は、バスインタフェースＩＮＴがメインバスＢ１とサブバスＢ２を切り離している状態においてのみ、サブバスＢ２に接続されている各回路を対象としてＤＭＡ転送などの制御を行う半導体デバイスである。

入力部３１は、コントローラ３５からの入力信号が入力される接続端子３２、カメラ１からの画像信号が入力される接続端子３３、及びカメラ１からの音声信号が入力される接続端子３４を備える。メインＣＰＵ１０は、接続端子３２を介してコントローラ３５から受け付けたユーザの指示に応じて、ＧＰＵ１４やＳＰＵ２４を制御し、画像の表示や音声の発生を制御する。

メインメモリ１１には、コマ撮り画像記憶領域１０７（図４に示す）と動作フラグのオン／オフ設定領域（図示省略）とが予め設けられている。

このように構成されるコンピュータは、メインＣＰＵ１０、サブＣＰＵ２０、ＧＰＵ１４が、ＲＯＭ２３及びメディア２８等の記録媒体から所要のコンピュータプログラムを読み込んで実行することにより、エンタテインメント装置２として動作する。

エンタテインメント装置２は、コマ撮り撮影モードを含む複数のモードのうち、コントローラ３５を介したユーザからの所定の指示入力に対応したモードに設定される。コマ撮り撮像モードに設定されたエンタテインメント装置２は、カメラ映像表示処理及びコマ撮り記憶処理を実行する。なお、カメラ映像表示処理は、コマ撮り撮像モード以外のモードにおいても実行されてもよい。

［エンタテインメント装置の機能構成］
コマ撮り撮影モードにおいて、エンタテインメント装置２のメインＣＰＵ１０は、図４に示すように、画像入力部１０１、動き量算出部１０２、静止判定部１０３、及び記憶制御部１０４として機能し、ＧＰＵ１４は、表示制御部１０６として機能する。

画像入力部１０１は、カメラ１から送信される画像データを連続的に取り込み、所定の記憶領域（例えば、メインメモリ１１の画像データ仮記憶領域）に順次記憶する。なお、画像取得部１０１は、後述するカメラ映像表示処理及びコマ撮り記憶処理が終了した後、不要なフレームの画像データを記憶領域から順次削除してもよい。

表示制御部１０６は、カメラ映像表示処理を実行する。表示制御部１０６は、画像入力部１０１が取り込んだ画像データに基づく画像を所定のフレームレートでリアルタイムに表示装置３に表示させる。また、表示制御部１０６は、後述するコマ撮り記憶処理が実行される際に、記憶されるコマ撮り画像を表示装置３に所定時間表示させる。

動き量算出部１０２、静止判定部１０３及び記憶制御部１０４は、コマ撮り記憶処理を実行する。動き量算出部１０２は、画像入力部１０１がカメラ１から取り込んだ画像データのうち、新フレームの画像データと前フレームの画像データと比較し、両フレーム間における画像の動き量を算出する。静止判定部１０３は、動き量算出部１０２が算出した動き量が予め設定された所定の閾値以上から閾値未満に変化したか否かを判定する。コマ撮り撮影において、両フレーム間における画像の動き量が閾値以上から閾値未満に変化した場合、ユーザがシーン作成を完了している可能性が高いため、記憶制御部１０４は、メインメモリ１１のコマ撮り画像記憶領域１０７に、新フレームの画像データをコマ撮り画像として順次記憶する。なお、コマ撮り画像記憶領域１０７は、例えばサブメモリ２１やメディア２８に設定されてもよい。また、新フレームの画像データではなく、前フレームの画像データをコマ撮り画像として記憶してもよい。

［画像の動き量の算出］
動き量算出部１０２は、前フレームと新フレームとの間における画像の動き量を、両フレーム間のピクセル差分やオプティカルフローを利用して算出する。

ピクセル差分を利用する場合、動き量算出部１０２は、例えば、両フレーム間で対応するピクセル同士（同じ位置のピクセル同士）を比較し、対応するピクセル間のピクセル差分値（例えば、輝度の差）をそれぞれ算出し、算出したピクセル差分値の総和を画像の動き量として算出する。動き量算出部１０２は、画像の全範囲でピクセル差分値を算出してもよく、予め設定された範囲でピクセル差分値を算出してもよい。

オプティカルフローを利用する場合、動き量算出部１０２は、例えば、両フレームをそれぞれ所定数の領域（要素）に分割し、前フレームの各要素が新フレームの何れの要素に移動したかを判断し、対応する各要素間の変位量（ベクトル）をそれぞれ求め、各要素間のベクトルの大きさ（スカラー）の総和を、画像の動き量として算出する。なお、動き量算出部１０２は、画像の全範囲で各要素間のベクトルを求めてもよく、予め設定された範囲で各要素間のベクトルを求めてもよい。

［コマ撮り記憶処理］
ユーザがエンタテインメント装置２をコマ撮り撮影モードに設定し、クレイ・アニメやパラパラアニメを制作する場合に、メインＣＰＵ１０が実行するコマ撮り記憶処理について、図５のフローチャートに基づき説明する。なお、コマ撮り記憶処理は、エンタテインメント装置２がコマ撮り撮影モードに移行することよって開始され、コマ撮り撮影モードに設定されている間、所定時間毎に繰り返して実行される。また、後述する動作フラグは、コマ撮り撮影モードへの移行時にオフに設定される。

コマ撮り記憶処理が開始されると、新フレームの画像データと前フレームの画像データとを取得し（ステップＳ１）、両フレーム間における画像の動き量を算出する（ステップＳ２）。

次に、ステップＳ２で算出された画像の動き量が予め設定された閾値以上か否かを判定し（ステップＳ３）、画像の動き量が閾値未満の場合（ステップＳ３：Ｎｏ）、動作フラグがオンであるか否かを判定する（ステップＳ４）。

動作フラグがオンの場合（ステップＳ４：Ｙｅｓ）、新フレームの画像データを画像記憶領域１０７にコマ撮り画像として記憶し（ステップＳ６）、動作フラグをオフに設定して（ステップＳ７）、本処理を終了する。

一方、画像の動き量が閾値以上の場合（ステップＳ３：Ｙｅｓ）、動作フラグをオフに設定して（ステップＳ５）、本処理を終了する。

また、画像の動き量が閾値未満で（ステップＳ３：Ｎｏ）、且つ動作フラグがオフの場合（ステップＳ４：Ｎｏ）、本処理を終了する。

コマ撮り撮影モードへの移行直後や、１つのシーンを作成した後に次のシーンの作成を開始する間のように、ユーザが新たなシーン作成に未だ着手していない場合、画像の動き量は閾値未満に維持される。このため、画像の動き量が閾値未満となり（ステップＳ３：Ｎｏ）、且つ動作フラグがオフである（ステップＳ４：Ｎｏ）ため、コマ撮り画像は記憶されない（ステップＳ６の処理は実行されない）。

シーンを作成するために、ユーザがシーン領域４に手を入れて被写体５の状態（形状や姿勢など）を変更するときには、カメラ４の撮像対象にユーザの動く手が含まれる。このため、画像の動き量が閾値以上となり（ステップＳ３：Ｙｅｓ）、動作フラグがオンに設定されるが（ステップＳ５）、コマ撮り画像は記憶されない（ステップＳ６の処理は実行されない）。

シーンの作成が完了し、ユーザがシーン領域４から手を引くと、カメラ４の撮像対象が全て静止した状態となる。これにより画像の動き量が閾値未満となり（ステップＳ３：Ｎｏ）、且つ動作フラグがオンであるため（ステップＳ４：Ｙｅｓ）、新フレームコマ撮り画像が記憶される（ステップＳ６）。

このように、本実施形態のコマ撮り撮像モードによれば、クレイ・アニメやパラパラアニメを制作するユーザは、シーン領域４に被写体５を設定し、シーン領域４内で手を動かして被写体５を所望の状態に設定して所望のシーンを作成した後、シーン領域４から手を引くという作業を繰り返して行うだけで、コマ撮り画像を記憶させるための指示入力を別途行うことなく、例えば図６の（ａ）〜（ｅ）に示すような所望のシーンのコマ撮り画像を順次記憶させることができる。

次に、本発明の他の実施形態について説明する。なお、各実施形態において、上記第１実施形態と同様の構成については、その説明を省略する。

［第２実施形態］
本発明の第２実施形態では、図７に示すように、前フレームと新フレーム１１０，１１１とをそれぞれ中央領域１１２と周縁領域１１３とに分け、両フレーム１１０，１１１の中央領域１１２間における画像の動き量（中央画像の動き量）と周縁領域１１３間における画像の動き量（周縁画像の動き量）とをピクセル差分やオプティカルフローを用いてそれぞれ算出し、周辺画像の動き量に重み付けを施して中央画像の動き量に加算することにより、動き量算出部１０２が両フレーム１１１，１１２間における画像の動き量（画像全域の動き量）を算出する。

例えば、ピクセル差分を用いる場合、中央領域１１２については、両フレーム１１０，１１１の中央領域１１２間で対応するピクセル同士（同じ位置のピクセル同士）を比較し、対応するピクセル間のピクセル差分値をそれぞれ算出し、算出したピクセル差分値の総和を中央領域１１２の画像の動き量として算出する。同様に、周縁領域１１３については、両フレーム１１０，１１１の周縁領域１１３間で対応するピクセル同士（同じ位置のピクセル同士）を比較し、対応するピクセル間のピクセル差分値をそれぞれ算出し、算出したピクセル差分値の総和を周縁領域１１３の画像の動き量として算出する。両フレーム１１１，１１２間における画像の動き量は、周縁領域１１３のピクセル差分値の総和に対して重み付けを施した値（周縁領域１１３のピクセル差分値の総和に１．０を超えた係数を積算した値）と中央領域１１２のピクセル差分値の総和とを加算して求める。

通常、ユーザの手がシーン領域４の被写体５に接触している場合、フレーム１１０，１１１の中央領域１１２と周縁領域１１３との双方に跨る広い範囲に手が写される。このため、中央画像の動き量と周縁画像の動き量とを同等に評価し、両者を単純に加算することによって両フレーム１１０，１１１間における画像の動き量を算出した場合であっても、ユーザが被写体５の状態を変更している間は、画像の動き量が比較的大きな値として算出され易く、所定値以下となる可能性が少ない。

これに対し、シーンの作成が完了し、ユーザが手をシーン領域４から引く際には、周縁領域１１３のみの比較的狭い範囲に手が写される。このため、中央画像の動き量と周縁画像の動き量とを同等に評価し、両者を単純に加算することによって両フレーム１１０，１１１間における画像の動き量を算出すると、シーン作成の完了後にシーン領域４からユーザが手を引く際に、画像の動き量が比較的小さな値として算出されて所定値以下となり、ユーザの手がコマ撮り画像に含まれて記憶されてしまう可能性が生じる。

この点に関し、本実施形態では、中央画像の動き量と周縁画像の動き量とを同等に評価せず、周辺画像の動き量に重み付けを施して中央画像の動き量に加算することにより、両フレーム１１１，１１２間における画像の動き量を算出しているので、シーン作成完了後にユーザが手を引く際に、両フレーム１１０，１１１間における画像の動き量が所定値以下となり難く、ユーザの手がコマ撮り画像に含まれて記憶されてしまう可能性が低減される。従って、シーン作成完了後のユーザの手が誤ってコマ撮り画像に含まれて記憶されてしまうことを防止することができる。

［第３実施形態］
本発明の第３実施形態では、画像の動き量が所定値以上から所定値未満に変化した後、該画像の動き量が所定値未満に所定時間以上維持されたことを条件に、記憶制御部１０４がコマ撮り画像をコマ撮り画像記憶領域１０７に記憶する。また、表示制御部１０６は、画像の動き量が所定値以上から所定値未満に変化した後、該画像動き量が所定値未満に維持されている間、画像の動き量が所定値未満に変化してからの経過時間又は所定時間から経過時間を減算した残り時間の少なくとも一方を示す経過時間情報を表示装置３に表示させる。

例えば、図８のフローチャートに示すように、コマ撮り記憶処理が開始され、新フレームの画像データと前フレームの画像データとを取得し（ステップＳ１）、両フレーム間における画像の動き量を算出し（ステップＳ２）、算出された画像の動き量が予め設定された閾値閾値未満であり（ステップＳ３：Ｎｏ）、且つ動作フラグがオンである（ステップＳ４：Ｙｅｓ）と、メインＣＰＵ１０の内部タイマ（図示省略）による計時を開始する（ステップＳ１１）。なお、内部タイマによる計時が既に実行中の場合は、ステップＳ１１の処理を実行せずにステップＳ１２へ移行する。

次に、内部タイマが所定時間に達したか否か（画像の動き量が所定値以上から所定値未満に変化した後、該画像の動き量が所定値未満に維持されたまま所定時間が経過したか否か）を判定し（ステップＳ１２）、所定時間が経過した場合（ステップＳ１２：Ｙｅｓ）、所定時間の計時開始時に取得した前フレーム又は新フレームの画像データをコマ撮り画像として画像記憶領域１０７に記憶し（ステップＳ６）、動作フラグをオフに設定し（ステップＳ７）、タイマをリセット（停止及びクリア）して（ステップＳ１３）、本処理を終了する。なお、内部タイマによる計時が実行されている間、計時開始時からの経過時間又は所定時間から経過時間を減算した残り時間の少なくとも一方を示す経過時間情報（経過時間のカウントアップ表示及び所定時間からのカウントダウン表示の少なくとも一方）が、ステップＳ６への移行した際に記憶される予定のコマ撮り画像（以下、仮決定コマ撮り画像と称する）とともに表示装置３に表示される。また、ステップＳ６において記憶するコマ撮り画像は、計時開始時から所定時間経過時までに取得した全てのフレームのうち何れの画像データであってもよい。

一方、画像の動き量が閾値以上の場合（ステップＳ３：Ｙｅｓ）、動作フラグをオンに設定し（ステップＳ５）、タイマをリセット（停止及びクリア）して（ステップＳ１４）、本処理を終了する。

また、画像の動き量が閾値未満で（ステップＳ３：Ｎｏ）、動作フラグがオフの場合（ステップＳ４：Ｎｏ）、若しくは画像の動き量が閾値未満で（ステップＳ３：Ｎｏ）、動作フラグがオンで（ステップＳ４：Ｙｅｓ）、所定時間が未だ経過していない場合（ステップＳ１２：Ｎｏ）、本処理を終了する。

ユーザが新たなシーン作成に未だ着手していない場合、画像の動き量は閾値未満に維持される。このため、画像の動き量が閾値未満であり（ステップＳ３：Ｎｏ）、且つ動作フラグがオフであると判定され（ステップＳ４：Ｎｏ）、内部タイマによる計時は開始されず、且つコマ撮り画像は記憶されない（ステップＳ１１及びステップＳ６の処理は実行されない）。

シーンを作成するために、ユーザがシーン領域４に手を入れて被写体５の状態（形状や姿勢など）を変更すると、カメラ４の撮像対象にユーザの動く手が含まれる。このため、画像の動き量が閾値以上となり（ステップＳ３：Ｙｅｓ）、動作フラグがオンに設定されるが（ステップＳ５）、内部タイマによる計時は開始されず、コマ撮り画像は記憶されない（ステップＳ１１及びステップＳ６の処理は実行されない）。

シーンの作成が完了し、ユーザがシーン領域４から手を引くと、カメラ４の撮像対象が全て静止した状態となる。これにより画像の動き量が閾値未満となり（ステップＳ３：Ｎｏ）、且つ動作フラグがオンであるので（ステップＳ４：Ｙｅｓ）、内部タイマによる計時が開始される（ステップＳ１１）。そして、画像の動き量が閾値未満に維持されたまま所定時間が経過すると（ステップＳ１２：Ｙｅｓ）、コマ撮り画像が記憶される（ステップＳ６）。

また、シーンの作成が完了したユーザは、所定時間が経過するまでの間、表示装置３に表示された経過時間情報と仮決定コマ撮り画像とを視ながら、所望のシーンが作成されたか否かを検討することができる。そして、所定時間経過前に所望のシーンが作成されていないと判断した場合には、再度シーン領域４に手を入れて被写体５の状態を変更することにより、画像の動き量が閾値以上となるので（ステップＳ３：Ｙｅｓ）、仮決定コマ撮り画像はコマ撮り画像記憶領域１１に記憶されずに破棄される。一方、所望のシーンが作成されていると判断した場合には、そのまま所定時間の経過を待つことによって、仮決定コマ撮り画像がコマ撮り画像としてそのまま記憶される。

このように、本実施形態によれば、シーン作成完了後にシーンの変更を行いたいユーザは、特別な操作入力等の煩雑な作業を伴うことなく、変更前のシーンの画像データを破棄して変更後のシーンのみをコマ撮り画像として保存することができる。

［第４実施形態］
本発明の第４実施形態のメインＣＰＵ１０は、カメラ１から受信する画像データを解析し、その画像データが所定の画像（ユーザがシーン領域４内に意図的に提示した所定形状の画像であり、例えば、親指と人先指で輪を作った手の画像）を含んでいるか否かを判定する画像認識判定手段として機能する。記憶制御部１０４は、画像の動き量が所定値以上から所定値未満に変化してから所定時間以内に、上記所定の画像を含んでいると判定されたことを条件に、コマ撮り画像をコマ撮り画像記憶領域１０７に記憶する。また、表示制御部１０６は、画像の動き量が所定値以上から所定値未満に変化した後、上記所定の画像を含んでいると判定されるまで、又は画像の動き量が所定値以上から所定値未満に変化してから所定時間が経過するまでの間、画像の動き量が所定値未満に変化してからの経過時間又は所定時間から経過時間を減算した残り時間の少なくとも一方を示す経過時間情報を表示装置３に表示させる。

例えば、図９のフローチャートに示すように、コマ撮り記憶処理が開始され、新フレームの画像データと前フレームの画像データとを取得すると（ステップＳ１）、メインＣＰＵ１０の内部タイマ（図示省略）による計時が実行中であるか否かを判定する（ステップＳ２１）。

内部タイマによる計時が実行中でない場合（ステップＳ２１：Ｎｏ）、両フレーム間における画像の動き量を算出し（ステップＳ２）、算出された画像の動き量が予め設定された閾値閾値未満であり（ステップＳ３：Ｎｏ）、且つ動作フラグがオンである（ステップＳ４：Ｙｅｓ）と、メインＣＰＵ１０の内部タイマ（図示省略）による計時を開始する（ステップＳ１１）。

次に、内部タイマが所定時間に達したか否か（画像の動き量が所定値以上から所定値未満に変化した後、該画像の動き量が所定値未満に維持されたまま所定時間が経過したか否か）を判定し（ステップＳ１２）、所定時間が未だ経過していない場合（ステップＳ１２：Ｎｏ）、所定の画像を認識したか否か（ステップＳ１で取得した新フレームの画像データが所定の画像を含んでいるか否か）を判定する（ステップＳ２２）。通常、内部タイマの計時開始時において所定の画像が認識されることはないため（ステップＳ２２：Ｎｏ）、そのまま本処理を終了する。

内部タイマによる計時が実行中の場合には（ステップＳ２１：Ｙｅｓ）、ステップＳ２２へ移行して所定の画像を認識したか否かを判定し、所定の画像を認識した場合（ステップＳ２２：Ｙｅｓ）、所定時間の計時開始時に取得した前フレーム又は新フレームの画像データをコマ撮り画像として画像記憶領域１０７に記憶し（ステップＳ６）、動作フラグをオフに設定し（ステップＳ７）、タイマをリセット（停止及びクリア）して（ステップＳ１３）、本処理を終了する。なお、内部タイマによる計時が実行されている間、計時開始時からの経過時間又は所定時間から経過時間を減算した残り時間の少なくとも一方を示す経過時間情報（経過時間のカウントアップ表示及び所定時間からのカウントダウン表示の少なくとも一方）が、ステップＳ６への移行した際に記憶される予定のコマ撮り画像（仮決定コマ撮り画像）とともに表示装置３に表示される。

内部タイマが所定時間に達している場合（ステップＳ１２：Ｙｅｓ）、動作フラグをオフに設定し（ステップＳ７）、タイマをリセットして（ステップＳ１３）、本処理を終了する
また、画像の動き量が閾値以上の場合（ステップＳ３：Ｙｅｓ）、動作フラグをオンに設定して（ステップＳ５）、本処理を終了する。

また、画像の動き量が閾値未満で（ステップＳ３：Ｎｏ）、且つ動作フラグがオフである場合（ステップＳ４：Ｎｏ）、本処理を終了する。

ユーザが新たなシーン作成に未だ着手していない場合、内部タイマは計時開始前であり（ステップＳ２１：Ｎｏ）、画像の動き量が閾値未満であり（ステップＳ３：Ｎｏ）、且つ動作フラグがオフであると判定され（ステップＳ４：Ｎｏ）、内部タイマによる計時は開始されず、且つコマ撮り画像は記憶されない（ステップＳ１１及びステップＳ６の処理は実行されない）。

シーンを作成するために、ユーザがシーン領域４に手を入れて被写体５の状態（形状や姿勢など）を変更すると、カメラ４の撮像対象にユーザの動く手が含まれる。このため、画像の動き量が閾値以上となり（ステップＳ３：Ｙｅｓ）、動作フラグがオンに設定されるが（ステップＳ５）、内部タイマによる計時は開始されず、コマ撮り画像は記憶されない（ステップＳ１１及びステップＳ６の処理は実行されない）。

シーンの作成が完了し、ユーザがシーン領域４から手を引くと、カメラ４の撮像対象が全て静止した状態となる。これにより画像の動き量が閾値未満となり（ステップＳ３：Ｎｏ）、且つ動作フラグがオンであるので（ステップＳ４：Ｙｅｓ）、内部タイマによる計時が開始される（ステップＳ１１）。このとき、ユーザはシーン領域４から手を引いているので、所定の画像が認識されることはなく（ステップＳ２２：Ｎｏ）、コマ撮り画像は記憶されない（ステップＳ６の処理は実行されない）。

シーンの作成が完了したユーザは、所定時間が経過するまでの間、表示装置３に表示された経過時間情報と仮決定コマ撮り画像とを視ながら、所望のシーンが作成されたか否かを検討することができる。そして、所望のシーンが作成されていると判断した場合には、シーン領域４内に所定形状（例えば、親指と人先指で輪を作った手）を提示して、所定の画像を認識させることによって（ステップＳ２１→ステップＳ１２→ステップＳ２２：Ｙｅｓ）、コマ撮り画像が記憶される（ステップＳ６）。一方、所望のシーンが作成されていないと判断した場合には、そのまま所定時間の経過を待つことによって（ステップＳ１２→ステップＳ７→ステップＳ１３）、仮決定コマ撮り画像はコマ撮り画像記憶領域１１に記憶されずに破棄される。

このように、本実施形態によれば、シーン作成完了後にシーンの変更を行いたいユーザは、特別な操作入力等の煩雑な作業を伴うことなく、変更前のシーンの画像データを破棄して変更後のシーンのみをコマ撮り画像として保存することができる。

また、シーンの変更を行わない場合には、シーン領域４内に所定形状の提示によってコマ撮り画像を記憶させることができ、所定時間の経過を待つことなく次のシーンの作成を行うことができる。

なお、上記実施形態では、エンタテインメント装置２に撮像画像記憶装置として機能を設けたが、カメラ１に撮像画像記憶装置として機能を内蔵させてもよい。

すなわち、上述の各実施形態の説明は本発明の一例であり、本発明は上述の各実施形態に限定されることはなく、本発明に係る技術的思想を逸脱しない範囲であれば、上述の実施の形態以外であっても種々の変更が可能であることは勿論である。

本発明は、撮像によって順次生成される画像データの記憶制御に広く適用可能である。

第１実施形態の撮像システムの全体構成図である。 カメラとシーン領域と被写体とを示す模式図である。 エンタテインメント装置の構成を示すブロック図である。 エンタテインメント装置の機能構成を示すブロック図である。 コマ撮り記憶処理を示すフローチャートである。 コマ撮り画像の一例を示す図である。 第２実施形態のフレームの中央領域及び周縁領域を示す図である。 第３実施形態のコマ撮り記憶処理を示すフローチャートである。 第４実施形態のコマ撮り記憶処理を示すフローチャートである。

符号の説明

１…カメラ、２…エンタテインメント装置、３…表示装置、４…シーン領域、５…被写体、１０…メインＣＰＵ、１１…メインメモリ、１４…ＧＰＵ、３５…コントローラ、１０１…画像入力部、１０２…動き量算出部、１０３…静止判定部、１０４…記憶制御部、１０７…コマ撮り画像記憶領域

Claims (11)

1. 撮像手段により撮像された動画像を構成するフレーム単位の画像データのうち最新のフレームと直前のフレームとの間における画像の動き量を、両フレーム間の画像データの相違に基づいて算出する動き量算出手段と、
   前記動き量算出手段が算出した画像の動き量が所定値以上から所定値未満に変化したことを条件に、前記新フレームの画像データ又は前記前フレームの画像データの一方を、コマ撮り画像として記憶手段に記憶する記憶制御手段と、
   を備えたことを特徴とする撮像画像記憶制御装置。
2. 請求項１に記載の撮像画像記憶制御装置であって、
   前記両フレーム間の画像データの相違としてピクセル差分を用いる
   ことを特徴とする撮像画像記憶制御装置。
3. 請求項１に記載の撮像画像記憶制御装置であって、
   前記両フレーム間の画像データの相違としてオプティカルフローによって求めたベクトルを用いる
   ことを特徴とする撮像画像記憶制御装置。
4. 請求項１に記載の撮像画像記憶制御装置であって、
   前記動き量算出手段は、前記両フレームの中央領域間における中央画像の動き量と周縁領域間における周縁画像の動き量とを前記画像データの相違に基づいてそれぞれ算出し、前記周辺画像の動き量に重み付けを施して前記中央画像の動き量に加算することにより、前記両フレーム間における画像の動き量を算出する
   ことを特徴とする撮像画像記憶制御装置。
5. 請求項１に記載の撮像画像記憶制御装置であって、
   前記記憶制御手段は、前記画像の動き量が所定値以上から所定値未満に変化した後、該画像の動き量が所定値未満に所定時間以上維持されたことを条件に、前記コマ撮り画像を前記記憶手段に記憶する
   ことを特徴とする撮像画像記憶制御装置。
6. 請求項５に記載の撮像画像記憶制御装置であって、
   前記画像の動き量が所定値以上から所定値未満に変化した後、該画像動き量が所定値未満に維持されている間、前記画像の動き量が所定値未満に変化してからの経過時間又は前記所定時間から前記経過時間を減算した残り時間の少なくとも一方を示す経過時間情報を表示手段に表示制御する表示制御手段をさらに備えた
   ことを特徴とする撮像画像記憶制御装置。
7. 請求項１に記載の撮像画像記憶制御装置であって、
   前記撮像手段が撮像する画像データを解析し、該画像データが所定の画像を含んでいるか否かを判定する画像認識判定手段を備え、
   前記記憶制御手段は、前記画像の動き量が所定値以上から所定値未満に変化してから所定時間以内に、前記所定の画像を含んでいると前記画像認識判定手段が判定したことを条件に、前記コマ撮り画像を前記記憶手段に記憶する
   ことを特徴とする撮像画像記憶制御装置。
8. 請求項７に記載の撮像画像記憶制御装置であって、
   前記画像の動き量が所定値以上から所定値未満に変化した後、前記所定の画像を含んでいると前記画像認識判定手段が判定するまで、又は前記画像の動き量が所定値以上から所定値未満に変化してから所定時間が経過するまでの間、前記画像の動き量が所定値未満に変化してからの経過時間又は前記所定時間から前記経過時間を減算した残り時間の少なくとも一方を示す経過時間情報を表示手段に表示制御する表示制御手段をさらに備えた
   ことを特徴とする撮像画像記憶制御装置。
9. 撮像手段により撮像された動画像を構成するフレーム単位の画像データのうち最新のフレームと直前のフレームとの間における画像の動き量を、動き量算出手段が、両フレーム間の画像データの相違に基づいて算出する動き量算出ステップと、
   前記動き量算出手段が算出した画像の動き量が所定値以上から所定値未満に変化したことを条件に、記憶制御手段が、前記新フレームの画像データ又は前記前フレームの画像データの一方を、コマ撮り画像として記憶手段に記憶する記憶制御ステップと、
   を備えたことを特徴とする撮像画像記憶制御方法。
10. コンピュータを、
    撮像手段により撮像された動画像を構成するフレーム単位の画像データのうち最新のフレームと直前のフレームとの間における画像の動き量を、両フレーム間の画像データの相違に基づいて算出する動き量算出手段と、
    前記動き量算出手段が算出した画像の動き量が所定値以上から所定値未満に変化したことを条件に、前記新フレームの画像データ又は前記前フレームの画像データの一方を、コマ撮り画像として記憶手段に記憶する記憶制御手段と、
    として機能させるための撮像画像記憶制御プログラム。
11. 請求項１０に記載の撮像画像記憶制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体。

Images