JP2010193047A - 撮像装置および画像再生プログラム - Google Patents

Abstract

【課題】
従来技術では、生体情報の変動に対応する画像を適確に得ることができないという問題があった。
【解決手段】
本発明に係る撮像装置は、光学系（１０２）による像を連続的に撮像する撮像部（１０４）と、生体情報を繰り返し取得する取得部（１１３）と、前記生体情報を前記撮像部（１０４）で撮像される複数の画像データの少なくとも一部に関連付けて記録する記録部（１５２，１５３）と、前記画像データに関連付けて記録された生体情報の変動を検出する検出部（１５４）と、前記複数の画像データのうち、前記検出部（１５４）が変動を検出した生体情報に対応する画像データを抽出する抽出部（１５５）とを有することを特徴とする。
【選択図】 図１

Description

本発明は、生体情報を利用する撮像装置に関する。

従来、撮影者の心拍数などの生体情報を検出し、この生体情報に応じて撮影する画像のフレームレートを可変する技術が検討されている（例えば、特許文献１参照）。

ところが、従来技術では、撮影時にリアルタイムで取得する生体情報を用いるので、生体センサから生体情報を入力する際の時間や人間の生体反応の時間などの影響により、画像のフレームレートの制御に遅延が生じるという問題があった。

本発明の目的は、生体情報の変動に対応する画像を適確に得ることができる撮像装置および画像再生プログラムを提供することである。

本発明は、以下のような解決手段により前記課題を解決する。尚、理解を容易にするために、本発明の一実施例を示す図面に対応する符号を付して説明するが、これに限定されるものではない。

請求項１に記載の発明は、光学系（１０２）による像を連続的に撮像する撮像部（１０４）と、生体情報を繰り返し取得する取得部（１１３）と、前記生体情報を前記撮像部（１０４）で撮像される複数の画像データの少なくとも一部に関連付けて記録する記録部（１５２，１５３）と、前記画像データに関連付けて記録された生体情報の変動を検出する検出部（１５４）と、前記複数の画像データのうち、前記検出部（１５４）が変動を検出した生体情報に対応する画像データを抽出する抽出部（１５５）とを有することを特徴とする。

請求項２に記載の発明は、請求項１に記載の撮像装置において、前記抽出部（１５５）は、前記生体情報の変動を検出した第１画像データを撮像した第１時刻より所定時間前の第２時刻に撮像された第２画像データを抽出することを特徴とする。

請求項３に記載の発明は、請求項２に記載の撮像装置において、前記抽出部（１５５）は、前記生体情報の種類に応じて前記所定時間を決定することを特徴とする。

請求項４に記載の発明は、請求項１から３のいずれか一項に記載の撮像装置において、前記抽出部（１５５）が抽出した画像を記憶媒体に記録する記録制御部（１５３）を更に設けたことを特徴とする。

請求項５に記載の発明は、請求項１から４のいずれか一項に記載の撮像装置において、前記抽出部（１５５）が抽出した画像を再生する再生制御部（１５６）を更に設けたことを特徴とする。

請求項６に記載の発明は、請求項５に記載の撮像装置において、前記再生制御部（１５６）は、前記抽出部（１５５）が抽出した複数の画像データの再生レートを前記撮像部（１０４）で撮像した複数の画像データのうち前記抽出部（１５５）で抽出されなかった画像データの再生レートより低くすることを特徴とする。

請求項７に記載の発明は、連続する複数の画像データに生体情報が関連付けて記憶された前記画像データを再生するコンピュータで実行する画像再生プログラムであって、前記画像データに関連付けて記録された生体情報の変動を検出する検出手順（Ｓ１０３）と、変動があった前記生体情報に対応する前記画像データを抽出する抽出手順（Ｓ１０４）と、前記抽出手順（Ｓ１０４）で抽出した前記画像データを再生制御する再生手順（Ｓ１０５，Ｓ１０６）とを有することを特徴とする。

尚、符号を付して説明した構成は適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。

本発明に係る撮像装置および画像再生プログラムは、撮影者が希望する画像を容易に得ることができる。

本実施形態に係る撮像装置１０１の構成を示すブロック図である。 本実施形態に係る撮像装置１０１の外観を示す説明図である。 高速に連写された画像フレームに生体情報を付加する様子を示す説明図である。 高速に連写された画像フレームを再生する様子を示す説明図である。 本実施形態に係る撮像装置１０１の動作を示すフローチャートである。

以下、図面を参照して本発明に係る撮像装置および画像再生プログラムについて説明する。

図１は第１の実施形態に係る撮像装置１０１の構成を示すブロック図である。撮像装置１０１は、光学系１０２と、メカニカルシャッタ１０３と、撮像素子１０４と、ＡＦＥ（アナログフロントエンド）回路１０５と、Ａ／Ｄ変換部１０６と、画像バッファ１０７と、制御部１０８と、操作部１０９と、表示部１１０と、メモリ１１１と、メモリカードＩＦ（インターフェース）１１２と、メモリカード１１２ａと、生体センサ１１３とで構成される。尚、本実施形態に係る撮像装置１０１は、「高フレームレート撮影モード」を有し、例えば１０００コマ／秒などの高速で複数枚の画像（高フレームレート画像）を連写することができる。

図１において、撮影光学系１０２に入射された被写体光は、メカニカルシャッタ１０３を介して撮像素子１０４の受光面に入射される。ここで、撮影光学系１０２は、ズームレンズやフォーカスレンズなどの複数枚のレンズで構成され、絞り１０２ａを有している。

撮像素子１０４の受光面には、二次元状に光電変換部が配置されており、各光電変換部に入射される光量に応じた電気信号に変換し、ＡＦＥ１０５に出力する。

ＡＦＥ１０５は、撮像素子１０４から出力される電気信号のノイズ除去や増幅などを行って、Ａ／Ｄ変換部１０６に出力する。

Ａ／Ｄ変換部１０６は、ＡＦＥ１０５から出力される電気信号をデジタル信号に変換し、１画面分のデジタル信号を撮影画像データとして画像バッファ１０７に一時的に記憶する。

画像バッファ１０７は、撮像素子１０４で撮影された画像データを一時的に記憶するバッファメモリである。

制御部１０８は、内部に予め記憶されているプログラムに従って動作し、撮像装置１０１の各部を制御する。例えば、撮影する画像のフォーカス制御や露出制御などを行ったり、画像バッファ１０７に取り込まれた画像データに所定の画像処理（ホワイトバランス処理，色補正処理，ガンマ変換処理或いはＪＰＥＧ圧縮処理など）を行い、メモリ１１１やメモリカード１１２ａに保存する。或いは、メモリ１１１やメモリカード１１２ａに保存されている画像データを読み出して表示部１１０に表示する。また、本実施形態では、制御部１０８は「高フレームレート撮影モード」で撮影を行い、また高フレームレートで撮影された一連の画像を再生する処理を行う。特に、再生時には、被写体が変化した部分を特殊再生（例えばスロー再生）することができる。「高フレームレート撮影モード」とは、例えば１０００コマ／秒などの高フレームレートで画像を高速撮影する撮影モードで、例えば水滴が水面に落ちる様子やゴルフクラブでゴルフボールを打つ瞬間の様子などを撮影することができる。尚、本実施形態に係る撮像装置１０１の「高フレームレート撮影モード」での撮影および再生については、後で詳しく説明する。

操作部１０９は、電源ボタン、レリーズボタン、カーソルキーなどの操作ボタンで構成される。そして、ユーザーは、これらの操作ボタンを操作して撮像装置１０１を操作する。また、各操作ボタンの操作情報は制御部１０８に出力され、制御部１０８は操作部１０９から入力する操作情報に応じて撮像装置１０１の全体の動作を制御する。

表示部１１０は、制御部１０８の指令に応じて、メモリ１１１に記憶されている画像やメモリカード１１２ａに保存されている画像を表示する。また、制御部１０８が出力するメニュー画面や設定画面なども表示部１１０に表示される。

メモリ１１１は、撮影された画像データを記憶したり、撮像装置１０１の撮影モードや再生モードの設定内容、或いは露出情報やフォーカス情報などのパラメータや設定値などを記憶する。また、メモリ１１１には、「高フレームレート撮影モード」で撮影するフレームレート（例えば１０００コマ／秒，５００コマ／秒，１００コマ／秒など）や、「高フレームレート撮影モード」で撮影した画像の再生時のフレームレート（例えば１００コマ／秒，１０コマ／秒など）の設定値が記憶される。尚、これらのパラメータは、デフォルト値が撮像装置１０１の製造時に記憶されているが、撮像装置１０１の設定メニューで撮影者が変更することができる。さらに、「高フレームレート撮影モード」の撮影時には、制御部１０８は、画像バッファ１０７に一時的に取り込まれた画像データに生体センサ１１３から入力した生体情報を付加した画像データをメモリ１１１やメモリカード１１２ａに記憶する。ここで、生体情報は、例えば画像データのヘッダ情報の一部として付加される。尚、生体情報については、後で詳しく説明する。

メモリカードＩＦ１１２は、メモリカード１１２ａを接続するためのコネクタやデータを読み書きするインターフェース回路が搭載されており、コネクタに接続されたメモリカード１１２ａに対して画像データなどの書き込みや読み込みを実行する。

生体センサ１１３は、人間の生体情報を検出するためのセンサである。生体情報とは、例えば心拍数（脈拍数でも構わない），血圧，発汗，脳波など人間の身体活動に関する情報で、生体センサ１１３は、これらの生体情報を数値に変換して出力する。ここで、撮像装置１０１の生体センサ１１３の一例を図２に示す。生体センサ１１３は、図２（ａ）に示すように、撮像装置１０１のグリップ２０１周辺に設けるのが好ましい。この理由は、撮影者はレリーズボタン２０２を押下するために必ずグリップ２０１を握るので、撮影者の生体情報を容易に取得することができるからである。

次に、生体センサ１１３を撮像装置１０１に配置する例をいくつか説明する。例えば、図２（ｂ）に示すように、グリップ２０１部分に金属板などで構成される導体２０３ａと導体２０３ｂとを少し離して配置しておく。そして、撮影者の指や手のひらが導体２０３ａと導体２０３ｂとに跨るように接触した時の電気抵抗を測定し、測定した抵抗値や電流値を撮影者の発汗量に対応する生体情報として取得する。尚、撮像装置１０１内部には、導体２０３ａと導体２０３ｂとの間に所定電圧を掛けたときに流れる微弱電流を測定する電流計を配置するものとし、制御部１０８は電流計で測定した電流値と所定電圧とから導体２０３ａと導体２０３ｂとの間の電気抵抗を求めるものとする。

或いは、図２（ｃ）に示すように、撮影者の指を通すリング状の測定用ホルダ２０４をグリップ２０１の部分に配置しておく。そして、撮影者は、図２（ｄ）に示すように、中指２０５を測定用ホルダ２０４に通してグリップ２０１を握るので、撮影者の血圧値や脈拍数などを測定することができる。尚、測定用ホルダ２０４は、中指２０５の周囲を加圧できるように筒状の袋構造を有し、中指２０５から撮影者の脈拍を測定する高感度マイクロホンが配置されている。また、撮像装置１０１内部には、制御部１０８の指令に応じて、測定用ホルダ２０４の筒状の袋に空気を送って中指２０５の周囲を加圧する加圧部と、高感度マイクロホンから入力した撮影者の脈拍音の有無や脈拍数を制御部１０８に出力する脈拍測定部とが配置されているものとする。そして、制御部１０８は、脈拍測定部で測定した脈拍数を生体情報として取得したり、或いは加圧部で加圧する圧力値と脈拍測定部から入力する脈拍音の有無から心臓の収縮時や拡張時の血圧値を測定し、これを生体情報として取得する。

尚、本実施形態に係る撮像装置１０１では、撮影者の生体情報を取得するようにしたが、被写体の人物や周辺に居る見学者などの生体情報を取得するようにしても構わない。この場合は、生体センサ１１３を図２のように撮像装置１０１の筐体に一体化するのではなく、撮像装置１０１とは別筐体の独立した生体センサを撮像装置１０１に接続するための生体情報入力ＩＦ（インターフェース）を配置すればよい。この時、別筐体の生体センサを生体情報入力ＩＦに有線で接続しても構わないし、無線で接続するようにしても構わない。

次に、図１の制御部１０８について詳しく説明する。制御部１０８は、内部に予め記憶されているプログラムに従って動作し、撮像装置１０１の各部を制御する。図１において、制御部１０８は、撮影制御部１５１と、生体情報付加部１５２と、メモリ制御部１５３と、生体情報変動検出部１５４と、画像抽出部１５５と、再生制御部１５６とで構成される。尚、本実施形態では説明が分かり易いように、撮影制御部１５１と、生体情報付加部１５２と、メモリ制御部１５３と、生体情報変動検出部１５４と、画像抽出部１５５と、再生制御部１５６は、制御部１０８に含めた構成で描いてあるが、制御部１０８とは別に専用のハードウェア回路で構成してもよい。以下、制御部１０８の各部について順に説明する。

撮影制御部１５１は、撮影する画像のフォーカス制御や露出制御などを行う。例えば、フォーカス制御は、画像バッファ１０７に取り込まれた画像から焦点位置を求めて撮影光学系１０２のフォーカスレンズの位置を移動する。尚、これらの処理はプレビュー画像の撮影時に撮像素子１０４を介して画像バッファ１０７に取り込まれた画像を用いて行われるが、専用のＡＦセンサやＡＥセンサを用いてフォーカス制御や露出制御を行っても構わない。また、プレビュー画像の撮影時は、メカニカルシャッタ１０３を常に開放状態にして撮像素子１０４の露光時間によってシャッタ速度を制御する電子シャッタで撮影を行う。ここで、プレビュー画像とは、撮像素子１０４で時間的に連続して撮影される動画像を表示部１１０に表示して、撮影者が撮影構図などを決めるための画像のことである。そして、撮影者が操作部１０９のレリーズボタンを押下すると、本撮影された画像データが画像バッファ１０７に一時的に記憶される。

生体情報付加部１５２は、「高フレームレート撮影モード」において、画像バッファ１０７に取り込まれた画像データの所定フレームに、生体センサ１１３から入力した生体情報を付加する。尚、生体情報は、例えば先に説明したような撮影者の脈拍数や血圧値などの数値情報で、例えば画像バッファ１０７に取り込まれた画像データのヘッダ情報の一部として付加する。例えば、Ｅｘｉｆ規格による画像ファイルのヘッダ情報のメーカーノート部分に書き込む。

ここで、「高フレームレート撮影モード」で高速に連写された画像フレームに生体情報を付加する様子について、図３を用いて説明する。図３は、高フレームレート（例えば１０００コマ／秒）で撮影された複数枚（１００枚）の画像と、その少なくとも一部（１０フレーム毎）の画像データに生体情報を付加する様子を示した図である。図３において、時間ｔの矢印の方向に連写される画像フレームの列を四角形で示し、時間の古い方から順に画像ｐ１，ｐ２，ｐ３・・・ｐ１０，ｐ１１・・・ｐ２０・・・ｐ９８，ｐ９９，ｐ１００のように並んでいる。画像フレームを示す四角形の中の黒い四角形で示した画像フレームには生体情報が付加されている。従って、図３の例では、生体情報が付加されている画像フレームは、１０フレーム置きに、画像ｐ１０，ｐ２０，ｐ３０，ｐ４０，ｐ５０，ｐ６０，ｐ７０，ｐ８０，ｐ９０およびｐ１００である。尚、本実施形態では、連続して撮影される一連の画像フレームの所定間隔毎（所定枚数毎或いは所定時間毎などでも構わない）に生体情報を付加するようにしたが、必ずしも所定間隔毎でなくてもよい。例えば、ある部分は２フレーム置きに生体情報を付加し、他の部分は１５フレーム置きに生体情報を付加するようにしても構わない。

メモリ制御部１５３は、「高フレームレート撮影モード」で高速に連写された画像データに生体情報付加部１５２が生体情報を付加した画像データをメモリ１１１やメモリカード１１２ａに記憶する。また、「高フレームレート撮影モード」で高速に連写された画像データを再生する際には、メモリ１１１やメモリカード１１２ａに記憶されている生体情報が付加された画像データを読み出す。尚、高フレームレートで撮影された複数の画像データは、それぞれが一枚の静止画像として独立した画像ファイルでメモリ１１１やメモリカード１１２ａに記憶されているものとする。

生体情報変動検出部１５４は、「高フレームレート撮影モード」で高速に連写された画像を再生する際に、メモリ制御部１５３がメモリ１１１やメモリカード１１２ａから読み出した画像データに付加されている生体情報を抽出して、生体情報の変動を検出する。例えば、図３において、「高フレームレート撮影モード」で高速に連写された一連の画像（画像ｐ１から画像ｐ１００まで）を画像ｐ１から撮影順にメモリ制御部１５３がメモリ１１１やメモリカード１１２ａから読み出す。そして、生体情報変動検出部１５４は、画像ｐ１から順に生体情報が付加されている画像フレームから生体情報を抽出し、抽出した生体情報の変動を検出する。例えば、生体情報が撮影者の脈拍数である場合、画像ｐ１０，ｐ２０，ｐ３０，ｐ４０，ｐ５０，ｐ６０，ｐ７０，ｐ８０，ｐ９０およびｐ１００に付加されている脈拍数を抽出する。

ここで、例えば、抽出した脈拍数が各画像フレームで以下のようになっていたものとして説明する。画像ｐ１０の脈拍数＝７３、画像ｐ２０の脈拍数＝７５、画像ｐ３０の脈拍数＝７２、画像ｐ４０の脈拍数＝７８、画像ｐ５０の脈拍数＝１０５、画像ｐ６０の脈拍数＝８５、画像ｐ７０の脈拍数＝８０、画像ｐ８０の脈拍数＝７８、画像ｐ９０の脈拍数＝８２、画像ｐ１００の脈拍数＝７８であったとする。この場合、画像ｐ４０の時の脈拍数は、それまでの画像ｐ１０，ｐ２０およびｐ３０の時の脈拍数と殆ど変わらないが、画像ｐ５０の時の脈拍数は画像ｐ４０の時の脈拍数に比べて高くなっているので、生体情報変動検出部１５４は、画像ｐ５０の画像フレームを生体情報に変動があった画像フレームとして検出する。尚、上記の説明では生体情報として脈拍数を用いたが、生体情報として撮影者の血圧値を用いても構わない。いずれの場合でも、ゴルフボールが撮影画面から消えた直後の画像フレームの生体情報（脈拍数など）がそれ以前の生体情報が付加されている画像フレームと比較して大きく変化する直前の画像フレームに被写体が何らかの変化があった可能性が高い。これは、例えば、ゴルフクラブがゴルフボールに当たった時の大きな音に撮影者が心理的に動揺して脈拍数などが増加するからである。或いは、被写体が変化したのを見て気分が高揚したことによって脈拍数などが増加するからである。尚、生体情報が血圧値の場合でも心理的な同様で高くなるので、脈拍数の代わりに利用することができる。

画像抽出部１５５は、生体情報変動検出部１５４が抽出した生体情報に変動があった時（第１時刻）の画像フレームから予め設定された所定時間前（第２時刻）まで遡った一連の画像フレームを抽出する。例えば、図３において、生体情報変動検出部１５４が検出した脈拍数に変動があった時を第１時刻とし、画像ｐ５０の画像フレームの前に被写体に何らかの変化があった画像が撮影されているものと判断する。そして、予め設定された所定時間を例えば０．１秒とすると、撮影時のフレームレートが１０００コマ／秒の場合は第１時刻の画像フレームから１００コマ前の画像フレームを第２時刻の画像フレームとなるので、画像抽出部１５５は第２時刻から第１時刻までの１００コマの画像フレームを抽出する。尚、上記の説明では時間を用いて所定時間前としたが、所定フレーム前としても構わない。

或いは、脈拍数に変動があった時の画像ｐ５０の画像フレームの１つ前の生体情報が付加されている画像フレームｐ４０の脈拍数には大きな変動はないので、画像ｐ４１以降の１０コマの画像フレーム（画像ｐ４１から画像ｐ５０）を被写体に何らかの変化があったときの画像が撮影されている一連の画像フレームとして抽出するようにしても構わない。この場合は、必ず生体情報が付加されている画像フレーム位置で分割して抽出される。

このように、被写体に動きがある画像フレームは、生体情報に変化があった時の画像フレームより少し前（所定時間前）の部分に撮影されている可能性が高いので、本実施形態に係る撮像装置１０１は、この特性を利用して、高フレームレートで撮影された膨大な枚数の画像フレームの中から被写体に変化のあった画像フレームを見つけることができる。これにより、被写体に変化のあった一連の画像フレームだけを抽出して再生したり、その部分だけを超スロー再生して表示部１１０に表示することができる。

特に、本実施形態に係る撮像装置１０１は、従来技術のように撮影時にリアルタイムで取得する生体情報を用いて再生する画像のフレームレートを変えるのではなく、予め高フレームレートで撮影する際に生体情報を取得して画像データに付加して記憶しておき、再生時に画像データに付加された生体情報を用いて過去に遡って被写体に変化のあった画像フレームを見つけるので、生体センサから生体情報を入力する際の時間や人間の生体反応の時間などの影響によって、画像のフレームレートの制御に遅延が生じるという問題が解消され、一瞬の動的なシーンを逃さずに得ることができる。

再生制御部１５６は、メモリ１１１やメモリカード１１２ａに保存されている高フレームレートで撮影された一連の画像を再生して表示部１１０に表示する。尚、再生する時のフレームレートは、例えば、撮影時のフレームレートを１０００コマ／秒とすると、１００コマ／秒，１０コマ／秒或いは１コマ／秒など速度を落として再生する。特に、本実施形態に係る撮像装置１０１は、「高フレームレート撮影モード」で撮影された画像の中から被写体が変化した部分だけを抽出して特殊再生（例えばスロー再生）する。

ここで、「高フレームレート撮影モード」で撮影された一連の画像を再生する例について、図４を用いて具体的に説明する。図４は、ゴルフクラブでゴルフボールを打つ瞬間を「高フレームレート撮影モード」（例えば１０００コマ／秒）で撮影した一連の画像を示している。尚、図４は図３に対応させて描いてあり、同じ符号のものは同じものを示す。

図４において、高フレームレートで撮影された膨大な枚数の画像の中でゴルフボールを打つ瞬間の画像はほんの一部の画像にしか撮影されておらず、ほとんどの画像は打つ前のティー上に置かれたゴルフボールの画像（画像ｐ１から画像ｐ４０まで）か、打った後のゴルフボールのないティーのみの画像（画像ｐ５０から画像ｐ１００まで）である。このような画像を再生する場合は、ゴルフボールを打つ瞬間を見たくてもなかなかそのシーンを探すことができないという問題がある。特に、ゴルフクラブでゴルフボールを打つ瞬間だけを抽出したり、その部分だけをスロー再生したい場合に、その場面だけを抽出することは容易ではないという問題がある。

これに対して、本実施形態に係る撮像装置１０１は、先に説明したように、撮影者などの生体情報を用いることにより、被写体に何らかの変化が起きたときの画像フレームを適確に抽出できる。例えば、図４において、画像抽出部１５５は画像ｐ４１から画像ｐ５０までの画像フレームを被写体に何らかの変化があったときの画像として抽出しているので、この部分だけフレームレートを遅くして、例えば１コマ／秒（撮影時の１／１０００）で超スロー再生を行う。そして、被写体に変化がない画像ｐ１から画像ｐ４０までと画像ｐ５１から画像ｐ１００までの画像フレームは、例えば１００コマ／秒（撮影時の１／１０）で速めのスロー再生を行う。或いは、画像ｐ４１から画像ｐ５０までの画像フレームのみをスロー再生して表示部１１０に表示するようにしても構わない。または、被写体に変化がない画像ｐ１から画像ｐ４０までと画像ｐ５１から画像ｐ１００までの画像フレームを１／１０や１／１００の数の画像フレームに間引いて再生するようにしても構わない。これにより、被写体に変化が無い画像フレームを飛ばすことができるので、被写体に変化が無い画像フレームを延々と見続けなければならないという問題が解消される。

このように、本実施形態に係る撮像装置１０１は、撮影者などの生体情報を用いることにより、高フレームレートで撮影された膨大な枚数の画像の中から被写体に変化が起きた一瞬の動的なシーンを適確に抽出することができる。

次に、「高フレームレート撮影モード」で撮影された画像データをメモリ１１１やメモリカード１１２ａから読み出して再生する処理について説明する。尚、メモリ１１１やメモリカード１１２ａに記憶されている一連の画像データの中の少なくとも一部の画像データには生体情報が付加されているものとする。図５は、「高フレームレート撮影モード」で撮影された画像の再生処理を示すフローチャートである。尚、図５のフローチャートは、制御部１０８の内部に予め記憶されたプログラムに従って動作する。また、図５のフローチャートは、本発明に係る画像再生プログラムにも対応する。

（ステップＳ１０１）ユーザーは、操作部１０９のカーソルなどの操作ボタンを操作して、メモリ１１１やメモリカード１１２ａに保存されている「高フレームレート撮影モード」で撮影された一連の画像が保存されているフォルダを選択し、再生指示を与える。尚、「高フレームレート撮影モード」で撮影された一連の画像は、フォルダ毎に分けて記憶されているものとする。

（ステップＳ１０２）制御部１０８のメモリ制御部１５３は、ユーザーによって選択されたフォルダ内に記憶されている一連の画像データの内、生体情報が書き込まれたヘッダを有する画像データから生体情報を読み出す。尚、生体情報は、先に説明したように、脈拍数や血圧値などである。

（ステップＳ１０３）制御部１０８の生体情報変化点検出部１５４は、メモリ制御部１５３が読み出した生体情報の変化点を検出する。生体情報の変化点の検出方法は、例えば読み出した生体情報を時系列順に並べて時間的に前後する生体情報の差分値を求め、その差分値が予め設定した閾値以上であるか否かを判別し、閾値以上の場合に生体情報が変化したと判断する。

例えば、生体情報が脈拍数で閾値を５パルス／秒に設定されている場合、撮影順に読み出した画像データの中のある時点の画像データＡに付加されている脈拍数が６０パルス／秒で、次の画像データＢに付加されている脈拍数が７０パルス／秒であったとすると、脈拍数の差分値は１０パルス／秒になるので、生体情報変化点検出部１５４は生体情報に変化があったと判断する。

（ステップＳ１０４）制御部１０８の画像抽出部１５５は、生体情報変化点検出部１５４の検出処理で差分値が閾値以上になった時に計算に用いた時間的に後の生体情報が付加されていた画像データを生体情報に変化があった画像フレームとして抽出する。例えば、ステップＳ１０３の例の場合は、脈拍数が７０パルス／秒であった画像データＢを生体情報に変化があった画像フレームとして抽出する。さらに、画像抽出部１５５は、画像データＢを基にして、被写体に動きがある一連の画像フレームを抽出する。例えば、被写体に動きがある画像フレームは、生体情報に変化があった画像フレームＢより少し前の部分に撮影されている可能性が高いので、画像データＢより前の複数枚の画像フレームを抽出する。尚、抽出する画像フレームの枚数を予め２０枚などに決めておいても構わないし、「高フレームレート撮影モード」で撮影する際のフレームレートに応じて変えるようにしても構わない。この場合は、例えば撮影時のフレームレートが１０００枚／秒の場合は抽出する画像フレーム枚数を５０枚とし、フレームレートが１００枚／秒の場合は抽出する画像フレーム枚数を２０枚とする。

（ステップＳ１０５）制御部１０８の再生制御部１５６は、「高フレームレート撮影モード」で撮影された一連の画像を再生して表示部１１０に表示する際のフレームレートプログラムを作成する。ここで、フレームレートプログラムは、「高フレームレート撮影モード」で撮影された一連の画像を再生する際に、どの画像フレームをどのくらいの速さのフレームレートで再生するかを予め決めておくものである。例えば、再生制御部１５６は、画像抽出部１５５が抽出した一連の画像フレームを再生する時のフレームレートを１コマ／秒とし、それ以外の画像フレームを再生する時のフレームレートを１００コマ／秒とするフレームレートプログラムを作成する。尚、先に説明したように、画像抽出部１５５が抽出した一連の画像フレームのみをスロー再生しても構わないし、それ以外の画像フレームを１／１０や１／１００の数の画像フレームに間引いて再生するようにしても構わない。或いは、画像抽出部１５５が抽出した一連の画像フレームの前半の画像フレームを徐々にフレームレートが遅くなるようにし、後半の画像フレームを徐々にフレームレートが速くなるように、フレームレートプログラムを作成しても構わない。
（ステップＳ１０６）制御部１０８の再生制御部１５６は、ステップＳ１０５で作成したフレームレートプログラムに従って、ユーザーが指定したフォルダに保存されている「高フレームレート撮影モード」で撮影された一連の画像を再生する。

（ステップＳ１０７）画像再生処理を終了する。

尚、図５のフローチャートでは、「高フレームレート撮影モード」で撮影された画像を再生する処理について説明したが、ステップＳ１０４で抽出した生体情報に変化があった画像データＢより前の複数枚の画像フレームを新たな別の画像データとして保存するようにしても構わない。これにより、被写体に動きがある一連の画像フレームのみ保存することができるので、全ての撮影画像データを保存する場合に比べてメモリ１１１やメモリカード１１２ａの記憶容量を節約することができる。

このように、本実施形態に係る撮像装置１０１は、例えば撮影者の生体情報を生体センサ１１３で繰り返し取得して、高フレームレートで撮影された複数枚の画像の少なくとも一部の画像の画像データに生体情報を関連付けてメモリ１１１やメモリカード１１２ａなどに記憶しておき、再生する際に画像データに関連付けて記憶された生体情報を読み取ってその変化点（変動）を検出することにより、変化が起きたときの画像を適確に抽出することができる。そして、生体情報の変化が大きい画像フレームより前の所定枚数の画像フレームを低いフレームレートで再生し、それ以外は高いフレームレートで再生することができる。この結果、例えば、ゴルフクラブでゴルフボールを打つシーンを高フレームレートで撮影して再生する場合に、ティーの大写しの静止した画像フレームを早送りし、ゴルフクラブのヘッドがボールに当たる瞬間の画像フレームをスローで再生することができる。

尚、本実施形態では、撮影者の生体情報を用いる場合の例について説明したが、生体センサ１１３を撮像装置１０１に外部接続できるようにして、撮影者だけでなく被写体人物や周辺の第三者の生体情報を取得できるようにしても構わない。

また、本実施形態では、生体センサ１１３で検出する生体情報を脈拍数や血圧値などのいずれかに設定するようにしたが、複数の生体情報を検出する生体センサを搭載して、ユーザーが選択する撮影モードに応じて使用する生体情報を切り替えるようにしても構わない。例えば、スポーツ撮影モードでは脈拍数を用い、風景撮影モードでは脳波を用いるなどの切り替えを行う。

以上、本発明について詳細に説明してきたが、上記の実施形態は発明の一例に過ぎず、本発明はこれに限定されるものではない。本発明を逸脱しない範囲で変形可能であることは明らかである。

１０１・・・撮像装置 １０２・・・光学系
１０３・・・メカニカルシャッタ １０４・・・撮像素子
１０５・・・ＡＦＥ回路 １０６・・・Ａ／Ｄ変換部
１０７・・・画像バッファ １０８・・・制御部
１０９・・・操作部 １１０・・・表示部
１１１・・・メモリ １１２・・・メモリカードＩＦ
１１３・・・生体センサ
１５１・・・撮影制御部 １５２・・・生体情報付加部
１５３・・・メモリ制御部 １５４・・・生体情報変動検出部
１５５・・・画像抽出部 １５６・・・再生制御部

特開２００８−０６７２１９号公報

Claims (7)

1. 光学系による像を連続的に撮像する撮像部と、
   生体情報を繰り返し取得する取得部と、
   前記生体情報を前記撮像部で撮像される複数の画像データの少なくとも一部に関連付けて記録する記録部と、
   前記画像データに関連付けて記録された生体情報の変動を検出する検出部と、
   前記複数の画像データのうち、前記検出部が変動を検出した生体情報に対応する画像データを抽出する抽出部と
   を有することを特徴とする撮像装置。
2. 請求項１に記載の撮像装置において、
   前記抽出部は、前記生体情報の変動を検出した第１画像データを撮像した第１時刻より所定時間前の第２時刻に撮像された第２画像データを抽出することを特徴とする撮像装置。
3. 請求項２に記載の撮像装置において、
   前記抽出部は、前記生体情報の種類に応じて前記所定時間を決定することを特徴とする撮像装置。
4. 請求項１から３のいずれか一項に記載の撮像装置において、
   前記抽出部が抽出した画像を記憶媒体に記録する記録制御部を更に設けたことを特徴とする撮像装置。
5. 請求項１から４のいずれか一項に記載の撮像装置において、
   前記抽出部が抽出した画像を再生する再生制御部を更に設けたことを特徴とする撮像装置。
6. 請求項５に記載の撮像装置において、
   前記再生制御部は、前記抽出部が抽出した複数の画像データの再生レートを前記撮像部で撮像した複数の画像データのうち前記抽出部で抽出されなかった画像データの再生レートより低くすることを特徴とする撮像装置。
7. 連続する複数の画像データに生体情報が関連付けて記憶された前記画像データを再生するコンピュータで実行する画像再生プログラムであって、
   前記画像データに関連付けて記録された生体情報の変動を検出する検出手順と、
   変動があった前記生体情報に対応する前記画像データを抽出する抽出手順と、
   前記抽出手順で抽出した前記画像データを再生制御する再生手順と
   を有することを特徴とする画像再生プログラム。

Images