JP2008236644A - 撮影装置および画像再生装置 - Google Patents

Abstract

【課題】膨大な枚数の画像それぞれに、それら膨大な枚数の画像の中から必要な画像を抽出するのに役立つ情報を付加して記録することができる撮影装置を提供すること、またその撮影装置で撮影された画像の被写体側の情報を参照して膨大な枚数の画像の中から必要な画像のみを抽出して再生表示することができる画像再生方法を有する画像再生装置を提供する。
【解決手段】音声検出モードが指定されたら、撮影時に被写体側の音声をマイクロフォンで拾って音声の音の大きさを撮影画像に結び付けて記録する。再生時には、その音の大きさが所定の大きさ以上の画像のみ（点線で囲まれた３コマ）を再生表示する。
【選択図】 図７

Description

本発明は、撮像素子を備え、その撮像素子上に被写体像を形成して画像信号を生成する撮影装置および画像信号に基づく画像を再生表示する画像再生装置に関する。

最近、６００万画素で１分間に６０枚という数のフレームを生成することが可能な撮像素子が出現してきている。このような撮像素子を用いて連写撮影を行なうと、膨大な枚数の画像が記録メディアに記録されることになる。このため、今後においては、この膨大な枚数の画像の中から如何に素早く自分の見たい画像を要領よく抽出することができるようにしておくかが重要な問題になってくる。

ところで、最近のデジタルカメラなどにおいてはマイクロフォンを設けて動画像を撮影するときには音声を拾って動画像とともに音声を記録することができるようにしているものが多い。特許文献１では、動画像の撮影時に音声を記録して再生するときにその音声を利用して再生速度を調整したり、特許文献２、３では音声を利用してダイジェストを作成したり、要約映像を作成したりしている。

しかし、いずれの特許文献の技術を適用したとしても、膨大な枚数の画像の中から自分の見たい画像を要領よく抽出することはできない。
特開平１０−２４３３５１号公報 特開２０００−２３９６２号公報 特開２００４−８０６２２号公報

本発明は上記問題点を解決し、本発明は、上記事情に鑑み、膨大な枚数の画像それぞれに、それら膨大な枚数の画像の中から必要な画像を抽出するのに役立つ情報を付加して記録することができる撮影装置を提供すること、またその撮影装置で撮影された画像の被写体側の情報を参照して膨大な枚数の画像の中から必要な画像を抽出して再生表示することができる画像再生装置を提供することを目的とする。

上記目的を達成する本発明の撮影装置は、撮像素子上に被写体を結像させて該被写体を表わす画像を生成する撮影装置において、
撮影時の音声を拾うマイクロフォンと、
上記マイクロフォンで拾った撮影時の音声の特徴量を検出する検出手段と、
上記検出手段で検出された音声の特徴量を上記画像に関連付けて記録する記録手段とを備えたことを特徴とする。

上記本発明の撮影装置によれば、静止画撮影時に上記記録手段によって上記検出手段で検出された音声の特徴量が上記画像に関連付けられ記録される。つまり音声の特徴量がインデックスとなって静止画像が記録される。その結果、再生時にはその音声の特徴量をインデックスとして膨大な枚数の画像の中から欲しい画像を検索して要領よく抽出することができる。

また上記課題を達成する本発明の第２の撮影装置は、撮像素子上に被写体を結像させて該被写体を表わす画像データを生成する撮影装置において、
当該撮影装置は、単写モードと連写モードとを有し、
撮影時の音声を拾うマイクロフォンと、
上記マイクロフォンで拾った音声の特徴量を検出する検出手段と、
上記連写モードにあるときに、その連写モードで得られた複数枚の画像それぞれに、上記検出手段で得られた、複数枚の画像それぞれの撮影の際の音声の特徴量を関連付けて記録する記録手段とを備えたことを特徴とする。

上記本発明の第２の撮影装置によれば、上記連写モードにあるときに上記記録手段によって複数枚の画像それぞれの撮影の際の音声の特徴量が関連付けられ記録される。そうすると、連写モードで今までに比べて膨大な枚数の連写が高速に行なわれたとしても音声の特徴を指定することで必要な部分の画像のみを再生することができる。

ここで、上記検出手段は、上記特徴量として、上記マイクロフォンで拾った音声の大きさを検出するものであることが好ましい。

そうすると、撮影時の、人の声あるいは物の衝突音などの音声の大きさに結びけられて画像が記録される。

また、表示画面を有し、撮影時に、その表示画面上に、上記検出手段で検出された音声の大きさを表示する音量表示手段を備えた態様であるとなお良い。

また、上記検出手段は、上記特徴量として、上記マイクロフォンで拾った音声の平均的な周波数を検出するものであっても良い。

上記本発明を達成する上記本発明の画像再生装置は、画像を表示する表示画面と、データ上の画像を取得する画像取得手段とを有し、その画像取得手段で取得された画像を表示画面上に表示する画像再生装置において、
上記画像取得手段が、それぞれに音声の情報量が関連付けられた複数枚の画像を取得するものであって、
当該画像再生装置が、さらに、
上記画像取得手段によって取得された画像の中から、その画像に関連付けられた音声の特徴量に基づいて画像を抽出する画像抽出手段と、
上記画像抽出手段で抽出された画像を上記表示画面上に表示する画像表示手段とを備えたことを特徴とする。

上記本発明の画像再生装置によれば、例えば上記本発明の撮影装置で上記画像取得手段を構成すると、その画像取得手段によって取得された膨大な枚数の画像の中から上記画像抽出手段によって音声の特徴量に基づいて画像が抽出され、さらに画像抽出手段により抽出された画像が表示される。

そうすると、例えば所定の音声の特徴量が指定されると、その所定の音声の特徴量に基づいて画像が抽出され表示画面上に表示されるようになる。

ここで、上記画像表示手段は、上記画像取得手段によって取得された複数枚の画像を撮影順に並べるとともに、上記表示画面上に、その複数枚の画像のうちの上記画像抽出手段で抽出された画像を表示し、さらに、その画像抽出手段で抽出されなかった画像については間引いて表示するものであることが好ましい。

そうすると、撮影時には連写により膨大な枚数の画像が得られたとしても再生時には必要な画像のみが表示される。

ここで、抽出されなかった画像が間引かれると全体の繋がりが分からなくなる場合もあるので、上記画像表示手段は、上記表示画面上に、上記画像取得手段によって取得された複数枚の画像のうち上記画像抽出手段で抽出された画像を表示し、さらに、画像抽出手段で抽出されなかった画像については抽出された画像の表示サイズよりも小さいサイズで表示するものであっても良い。

また、上記画像取得手段は、音声の特徴としての音声の大きさが関連付けられた複数枚の画像を取得するものであり、上記画像抽出手段は、音声の大きさに基づいて画像を抽出するものであっても良く。

また、上記画像取得手段は、音声の特徴量としての音声の平均的な周波数が関連付けられた複数枚の画像を取得するものであり、上記画像抽出手段は、音声の平均的な周波数に基づいて画像を抽出するものであっても良い。

また上記画像抽出手段における画像抽出の基になる音声の平均的な周波数をユーザ操作により設定する音声設定手段を備えた態様であるとなお良い。

以上、説明したように、膨大な枚数の画像それぞれに、それら膨大な枚数の画像の中から必要な画像を抽出するのに役立つ情報を付加して記録することができる撮影装置を提供すること、またその撮影装置で撮影された画像の被写体側の情報を参照して膨大な枚数の画像の中から必要な画像のみを抽出して再生表示することができる画像再生装置が実現する。

以下図面を参照して本発明の実施の形態を説明する。

図１は、本実施形態のデジタルカメラの構成を示す図である。

図１（ａ）には、デジタルカメラを背面斜め上方から見た図が示されており、図１（ｂ）には、正面斜め上方から見た図が示されている。

図１に示すように、本体前面（図１（ａ）においては左斜め上方が前方になる）には撮影レンズが内蔵されたレンズ鏡胴１１０が設けられており、本体上面にはレリーズボタン１０ａ及び電源スイッチ１０ｂが備えられている。図１（ｂ）に示す本体背面には、液晶モニタ１２５Ａ、ファインダ接眼部１３０、汎用キー１０ｃ、動作モード切替スイッチ１０ｄ、メニューボタン１０ｅ、キャンセルボタン１０ｆ、ディスプレイボタン１０ｇ、ファンクションボタン１０ｈ等が設けられている。また、液晶モニタ１２５Ａの脇にはスピーカＳＰが設けられている。

図１のデジタルカメラ１は、動作モード切替スイッチ１０ｄが撮影モードに切り替えられると、本発明にいう撮影装置として機能し、動作モード切替スイッチ１０ｄが再生モードに切り替えられると、本発明にいう画像再生装置として機能する。その本発明にいう画像再生装置として機能したときには、上記撮影モードにあるときの撮影機能が本発明にいう画像取得手段を担うことになる。

この図１の本実施形態のデジタルカメラ１の本体正面下方にはマイクロフォンＭＫが備えられており、マイクロフォンＭＫにより撮影時の被写体側の音声を拾うことが可能な構成になっている。なお詳細は後述するが、本実施形態のデジタルカメラは、撮影モード、再生モードを問わず音声検出モードというモードを有しており、その音声検出モードがメニューボタン１０ｅと汎用キー１０ｃの操作等により指定されると撮影時モードのときにはマイクロフォンＭＫで音声を拾って音声を表わす音声データが撮影画像に結び付けられて記録され、再生モードのときには音声データに基づいて既撮影画像が抽出され再生表示される。

図２は、図１のデジタルカメラの内部の構成を示すブロック図である。

図２に示す様に、本実施形態のデジタルカメラ１の動作は、ＣＰＵ１００によって統括的に制御されており、そのＣＰＵ１００にはアドレスバス１０４Ａとデータバス１０４Ｄを介してプログラムが記憶されているメインメモリ１００Ｂが接続されている。本実施形態のデジタルカメラ１においてはＣＰＵ１００が電源が投入されたことを受けてそのメインメモリ１００Ｂにメモリ制御１００Ａを介してアクセスして内部のプログラムの手順にしたがってこのデジタルカメラ１の動作の制御を開始する。

ここで、画像データの流れに沿ってこのデジタルカメラ１の構成を順に説明していく。

図２の左側の撮影レンズ１１０１で捉えられている被写体を表わす画像データが、右側の記録媒体１２８に記録されるので、図２の左側にある構成要素から順に説明していく。

図２の左側にある撮影光学系内の撮影レンズ１１０１で捉えられている被写体が撮像素子１２０に結像される。このときには、フォーカスと露出が調整された被写体光を撮像素子１２０に結像させる必要があるので、後述する積算部１２９の積算結果に基づいてＣＰＵ１００がによって絞り駆動部１０２が制御され撮像素子駆動部１０３により電子シャッタのシャッタ秒時や絞りの径等が制御され露出調節が行なわれるとともに、ＣＰＵ１００によってレンズ駆動部１０１が制御され撮影レンズ１１０１の中のフォーカスレンズのフォーカス位置が調整されることによりピント調整が行なわれる。

なお、本実施形態においては、撮影レンズ１１０１を備える撮影光学系内に光学ローパスフィルタ１１０４を挿入してエリアシングなどの発生を抑制したり、撮像素子１２０（本例ではＣＣＤ固体撮像素子）の赤外線側の感度が高いので赤外線カットフィルタ１１０３を挿入して赤外線の悪影響を防止したりしている。

こうして撮影レンズ１１０１が向けられている方向の被写体が撮像素子１２０に結像され撮像素子１２０で被写体を表わす画像データが生成されて撮像素子１２０から被写体を表わす画像データがアナログ信号処理部１２１へと出力される。

図１に示すようなデジタルカメラにおいては背面側の液晶モニタ１２５Ａがファインダ代わりに用いられるので液晶モニタ１２５Ａ上に動画を表示するために電源が投入されたときにＣＰＵ１００は撮像素子駆動部１０３に指示して所定の間隔ごとに撮像素子１２０に画像を生成させてはアナログ信号処理部１２１へと画像データを出力させている。この撮像素子１２０から出力された画像データを受けてアナログ信号処理部１２１では、ノイズ低減処理などが行なわれノイズ低減処理が行われた画像データが後段のＡ／Ｄ部１２２でデジタル信号の画像データに変換されて画像データがデータバス１０４Ｄ上に導かれる。

データバス１０４Ｄ上に導かれた画像データは、まずデジタル信号処理部１２３内のフレームメモリにすべて転送される。このデジタル信号処理部１２３では、ＲＧＢ信号からＹＣ信号への変換などの処理が行なわれＹＣ信号に変換された画像データがＣＰＵ１００の制御の下に表示制御部１２４内の表示バッファメモリ（不図示）に転送される。そして表示制御部１２４の制御の下に表示部１２５が備える液晶モニタ１２５Ａ上に画像データに基づく画像が表示される。ＣＰＵ１００は、前述した様に撮像素子駆動部１０４に指示して撮像素子１２０に所定の間隔ごとに画像を生成させては出力させているので、表示制御部１２４内の画像バッファメモリの内容が所定の間隔ごとに書き換えられて表示部１２５が備える液晶モニタ１２５Ａ上には、撮影レンズ１１０１が捉えている被写体像（以降スルー画という）が表示される。

ここで、その液晶モニタ１２５Ａ上のスルー画を見ながらシャッタチャンスにレリーズボタン１０ａが押されたら、まずレリーズボタン１０ａが半押しされたときにＣＰＵ１００が積算部１２９に測光および測距を行なわせて測光結果と測距結果を受け取って絞り駆動部１０２にシャッタ速度をセットするとともにレンズ駆動部１０１に指示してフォーカスレンズを合焦位置に移動させてピント調整を行なわせる。

続いて全押しされたときにＣＰＵ１００は、積算部１２９で積算された結果に基づいて撮像素子駆動部１０３により蓄積電荷をリセットし、撮像素子１２０に露光を行なわせ所定のシャッタ秒時後に絞り兼用シャッタ１１０２を閉駆動させる。そして撮像素子駆動部１０３に指示して撮像素子１２０に向けて画像読出信号を供給させて被写体を表わす画像データをアナログ信号処理部１２１へと出力させる。なおこのときにＣＰＵ１００が被写界輝度が暗いと判定した場合には、補助光発光部１９０に補助光発光を行なわせて撮影が行なわれる。なおこの例では調光機能付きの補助光発光部１９０が備えられて例が示されており、発光部１９０１から発光された光が受光部１９０２で受光され受光されている光量が所定の光量になったところで発光が停止される構成になっている。
撮像素子１２０から出力された画像データがアナログ信号処理部１２１へ供給されると、アナログ信号処理部１２１では、ノイズ低減処理などが行なわれ、Ａ／Ｄ部１２２でデジタル信号に変換された画像データがバス１０４Ｄ上に導かれ、バス側に導かれた画像データがデジタル信号処理部１２３内のフレームメモリ内にすべて導かれる。

デジタル信号処理部１２３ではＹＣ変換処理などの信号処理が行なわれ、デジタル信号処理部１２３で信号処理が行なわれた後、今度はデータバス１０４Ｄを経由してアドレスバスのアドレス指定に基づいて圧縮伸張処理部１２６に画像データが転送され、この圧縮伸張処理部１２６で画像データが圧縮処理される。さらに圧縮処理された画像データが同様に外部メモリ制御部１２７に転送され外部メモリ制御部１２７の制御の下に記録媒体１２８に記録される。なお、詳細は後述するが、前述した音声検出モードが指定されているときには、マイクロフォンＭＫで検出された音声の大きさを表すデータが画像に結び付けられて記録されるようになっている。

ここで図３を参照してデジタル信号処理部内の構成を簡単に説明しておく。

図３は、図２のデジタル信号処理部１２３内の構成を示す図である。

図３を参照してデジタル信号処理１２３でどのような処理が行なわれるかを、入力側にあたる左側のオフセット補正部から順に説明する。

まずオフセット補正部１２３１に画像信号が供給される。このオフセット処理部１２３１では供給されてきた画像信号の基底レベルである黒レベルにクランプする処理が行なわれる。

一方、ホワイトバランスゲイン算出部１２３８と光源種別判別部１２３９には、積算部１２９で積算された画像信号が表わす画像全体の各色画素ごとの積算値が供給される。ホワイトバランスゲイン算出部１２３８では、それらの積算値に応じてホワイトバランス調整用のゲインが算出され算出されたゲインがゲイン補正部１２３２に設定されてゲイン補正部１２３２で画像信号のホワイトバランスが調整されるよう構成されている。また光源種別判定部１２３９では、上記色画素ごとの積算値から光源の種別が判定され判定された光源種が最終段の色差ＭＴＸ１２３７２に供給される。色差ＭＴＸ部１２３７２では、供給されてきた光源種に応じて光源にあう色差マトリクスが選択されるよう構成されている。

ゲイン補正部１２３２で画像信号のホワイトバランスが調整された画像信号の方は、後段のガンマ補正部１２３３に供給されガンマ補正部１２３３によって液晶モニタ１２５Ａのガンマ特性に応じた輝度曲線になるように処理が施される。そしてＲＧＢ補間部１２３４でＲ、Ｇ、Ｂ画素それぞれの信号の補間処理、例えばＲ画素であれば、Ｇ、Ｂ画素の信号に基づいて補間処理が行なわれて次段のＲＧＢＹＣ変換部１２３５へと供給される。このＲＧＢＹＣ変換部１２３５では、変換行列によってＲＧＢからＹＣＣへの変換が行なわれる。さらに後段のノイズフィルタ部１２３６でノイズが除去され、Ｙ信号が輪郭補正部１２３７１に供給され、Ｃ信号が色差ＭＴＸ部１２３７２に供給され、Ｙ信号とＣ信号とからなるＹＣ信号が、図２の表示制御部１２４に供給される。なお、レリーズ操作に応じてデジタル信号処理部１２３で信号処理を行なって記録媒体１２８に画像信号を記録するときにはこのデジタル信号処理部１２３内でさらに圧縮処理が行なわれて圧縮画像信号が外部メモリ制御部１２７に供給される。

図２に戻ってデジタルカメラが備える他の構成要素を説明する。

本実施形態においては、上記課題を達成するために図１で説明したマイクロフォンＭＫで拾った音声を信号処理する音声処理部１３０が備えられている。その音声処理部１３０にはスピーカＳＰを駆動する駆動部も備えられておりスピーカＳＰから音声を出力することができる構成にもなっている。

この音声処理部１３０内には、音声トラップ部や帯域通過フィルタなどのフィルタ部や音声レベルを検出するレベル検出部や音声記憶部等が内蔵されている。そこで本実施形態においては前述した様に音声検出モードが指定されたときには、マイクロフォンＭＫで拾った音声の特徴量として上記レベル検出部を使って音声の大きさを検出し検出した音声の大きさを表わすデータを音声記憶部内に記憶しておいて、撮影後にその音声データを外部メモリ制御部１２７に転送して撮影時の音声の大きさを表わすデータを画像に結び付けて記録させることができるようにしている。

このような構成を持つデジタルカメラ１で撮影が行なわれるときの撮影処理を説明する。

図４は、ＣＰＵ１００が行なう撮影処理の手順を説明するフローチャートである。

図４（ａ）には音声検出モードが指定されたときの撮影処理の手順が示されており、図４（ｂ）には露光処理ステップＳ４０３の詳細が示されている。

レリーズボタン１０ａが半押しされるとこのフローの処理が開始される。

ステップＳ４０１でＡＥ処理を行なってシャッタ秒時を算出するとともに絞り兼用シャッタ１１０２の径を算出する。ステップＳ４０２でＡＦ処理を行なってレンズ駆動部１０１に指示して撮影レンズ１１０１の中のフォーカスレンズを合焦位置に移動させる。次のステップＳ４０３で、ステップＳ４０１のときに算出しておいたシャッタ秒時で絞り兼用シャッタ１１０２を開閉駆動させて撮像素子１２０に露光を行なわせる。次のステップＳ４０４で撮像素子駆動部１０３に画像読出信号を供給させて撮像素子１２０から画像を出力させる。次のステップＳ４０５でＡ／Ｄ変換部１２２にＡ／Ｄ変換を行なわせて次のステップＳ４０６でデジタル信号処理部１２３にＹＣ信号への変換処理などの画像処理を行なわせる。次のステップＳ４０７でデジタル信号処理部１２３に圧縮処理を行なわせて媒体であるメモリカード１２８に撮影時の音声を表わすデータが付加された画像を記録させてこのフローの処理を終了する。

ここで図４（ｂ）を参照して露光ステップＳ４０３の処理を詳細を説明する。

ステップＳ４０３で露光が開始されると、まずステップＳ４０３１で被写体側の音声をマイクロフォンＭＫで拾って音声処理部１３０内の音声記憶部への音声の記録を開始する。ステップＳ４０３２で、撮像素子駆動部１０３により蓄積電荷をリセットして露光を開始させ、ステップＳ４０３３で補助光発光部１９０に補助光を発光させる必要がある場合には撮影補助光を発光させる。所定のシャッタ秒時が経過したら次のステップＳ４０３４で絞り駆動部１０２に指示して絞り兼用シャッタ１１０２を閉駆動させる。ステップＳ４０３５で音声情報を音声記憶部に記憶して図４（ａ）のステップＳ４０４に戻る。

こうして音声の大きさを表わすデータを画像に結び付けて記録することができる構成にしておくと、再生時に画像を探索するときに撮影時の音声の大きさを表わすデータを検索キーにして画像を検索し抽出することができる。

上記実施形態においては、音声処理部１３０が、本発明にいう検出手段の一例を構成し、外部メモリ制御部１２７が本発明にいう記録手段の一例を構成する。

以上説明した様に、膨大な枚数の画像それぞれにそれら膨大な枚数の画像の中から必要な画像を抽出するのに役立つ情報を付加して記録することができる撮影装置が実現する。

ここで、第１実施形態では、音声検出モードというモードを設けて静止画画像に音声を結び付けて記録する例を説明したが、連写撮影時に自動的に音声検出モードになって音声を拾って撮影コマごとに音声を画像に結び付けて記録することができるようにしておいた方がより顕著な効果が得られる。

図５は、第２実施形態を説明する図である。

図５には、連写モードにあるときの撮影処理の手順が示されている。この第２実施形態においても図１の外観を持ち、図２の構成を内部に持つデジタルカメラ１が用いられるとする。

図５（ａ）の処理は図４（ａ）の処理と露光ステップの処理を除いては同じなので説明を省略し、図５（ｂ）の露光ステップを説明する。なお連写モードにおいては図５（ａ）の処理が所定回数繰り返し行なわれる。また、図５（ｂ）に示す様に単写モードのときには音声検出が行なわれない。

図５（ａ）の露光ステップＳ４０３Ａの処理が開始されると、ステップＳ４０３１Ａで単写モードが指定されているか、連写モードが指定されているかの判定を行なう。連写モードであると判定したらステップＳ４０３２Ａで音声の記録を開始し、ステップＳ４０３３Ａで、撮像素子駆動部１０３により蓄積電荷をリセットして露光を開始させる。次のステップＳ４０３４Ａで撮影補助光の発光が必要な場合には補助光発光部１９０に補助光の発光を行なわせ、ステップＳ４０３５Ａで所定のシャッタ秒時後に絞り兼用シャッタ１１０２を閉駆動させる。ステップＳ４０３６Ａで音声の大きさつまり音量を音声記憶部に記憶したらこのフローの処理を終了して図５（ａ）のステップＳ４０４に戻る。

ステップＳ４０３１Ａで単写モードであると判定した場合には、ステップＳ４０３７Ａで、撮像素子駆動部１０３により蓄積電荷をリセットして露光を開始させ、ステップＳ４０３８Ａで補助光発光の必要がある場合には補助光発光部１９０に補助光の発光を行なわせて所定のシャッタ秒時後に絞り兼用シャッタ１１０２を閉駆動させる。

本実施形態においても、音声処理部１３０が、本発明にいう検出手段の一例を構成し、外部メモリ制御部１２７が本発明にいう記録手段の一例を構成する。

以上の構成にすると、連写撮影により得られた膨大な枚数の画像それぞれに、それら膨大な枚数の画像の中から必要な画像を抽出するのに役立つ情報として撮影時の音量を表わすデータを付加して記録することができるので、連写撮影における画像量が増えたとしても再生時には所定の音量以上の音声情報が付加されている画像を抽出し抽出した画像を再生表示させることができる。

次に動作モード切替スイッチ１０ｄが再生モードに切り替えられたときの処理を説明する。

上記したように連写モードのときには自動的に音声検出モードになるので再生時においては連写モードで撮影された一連の画像は音声検出モードで撮影されたとし、単写モードで撮影された画像は通常モードで撮影されたとして以降説明する。

図６は、第３実施形態を説明する図である。

図６には、図１のデジタルカメラの動作モード切替スイッチ１０ｄが再生モードに切り替えられたときにＣＰＵ１００が行なう再生処理を説明するフローチャートが示されている。

動作モードスイッチ１０ｄが再生モードに切り替えられると、ＣＰＵ１００は図６のフローの処理を開始する。

ステップＳ６０１でまず音声検出モードであるかどうかを判定する。このステップＳ６０１で音声検出モードであると判定したらステップＳ６０２へ進んでステップＳ６０２で例えば２０デシベル以上の大きさの音声に結び付けられた画像をメモリカード１２８から抽出して表示制御部１２４に指示して液晶モニタ１２５Ａ上に並べて再生表示させる。ステップＳ６０１で音声検出モードではなく通常モードであると判定したらステップＳ６０３でメモリカード１２８内のいずれかの画像を液晶モニタ１２５Ａ上に再生表示させてこのフローのステップの処理を終了する。

上記実施形態においては、本発明にいう画像抽出手段の一例がＣＰＵ１００で構成される。また画像取得手段の一例が、撮影モードにあるときの撮像素子１２０、アナログ信号処理部１２１、Ａ／Ｄ部１２２、デジタル信号処理部１２３、圧縮伸張部１２６、外部メモリ制御部１２７、記録媒体１２８、さらに音声処理回路１３０、マイクロフォンＭＫで構成される。

図７は、図６の処理を実行したときの液晶モニタ１２５Ａ上の再生画像を説明する図である。

図７には、ミルククラウンと呼ばれる水滴の形状変化を連写撮影したときの画像が示されている。連写モードが指定されているときには自動的に音声検出モードになって撮影が行なわれているので、図７に示す様に連写画像が１０コマあった場合に図６の処理が実行されると、最初の撮影コマからの画像がすべて表示されずに水滴が落下した直後の２コマ目から５コマ目までの画像（点線で囲まれた３コマ）が再生表示される。

こうしておくと、例えば研究者が研究資料として膨大な枚数の画像を高速連写撮影により得たときに、必要な画像のみを切り分けて再生表示することができるようになる。なお記録媒体の記録容量も大容量になっているので、抽出されなかった画像を削除する必要はなく、通常モードにして連写画像一枚一枚を個別に再生することができる構成にしておくと、膨大な枚数ではあってもその膨大な枚数の画像一枚一枚を丹念にチェックすることができる。

以降において、本実施形態の変形例を説明しておく。

図８は、音声検出モードのときに所定のレベル以上の音声データが結び付けられた画像を再生表示するとともに、所定のレベル未満の音声データが結び付けられた画像を１／２に間引いて再生表示するようにした場合の処理を説明する図である。
ステップＳ８０１でまず音声検出モードであるかどうかを判定する。このステップＳ８０１で音声検出モードであると判定したらステップＳ８０２へ進んでステップＳ８０２で音の大きさが３０ｄｂ以上であるかどうかを判定する。ステップＳ８０２で３０ｄｂ以上であると判定したらステップＳ８０３へ進んで画像を並べて再生表示し、ステップＳ８０２で３０ｄｂ未満であると判定したらステップＳ８０４へ進んで１／２に間引いて並べて再生表示する。ステップＳ８０２で通常モードであると判定したらステップＳ８０５へ進んで画像を液晶モニタ上に順次再生表示させてこのフローの処理を終了する。

図９は、ＣＰＵ１００が図８の処理を実行したときに液晶モニタ１２５Ａ上に再生表示される画面の例を説明する図である。

撮影モードにあるときに取得された複数枚の連写画像を撮影順に並べるとともに、表示画面上に、その複数枚の画像のうち、音声レベルが３０ｄｂ以上の画像（図の上側の４コマ）を抽出して表示し、さらに３０ｄｂ未満の画像については１／２に間引いて表示すると図９の点線で囲まれた部分が並べて液晶モニタ上に表示される。

図９のように表示されると、膨大な枚数の画像の中から必要な画像が液晶モニタ上に撮影順に表示されるとともに、必要度の低い画像が間引かれ表示され全体のつながりを確認しながら連写画像を確認することができる。

ここまでの実施形態では、音声の特徴量として音声の大きさつまり音量を用いたが、音声の特徴量として音声の平均的な周波数を用いても良い。前述したように音声処理部１３０にはバンドパスフィルタが備えられており、しかも様々な周波数帯のバンドパスフィルタが備えられている。

図１０は、音声の周波数を音声の特徴量としたときの処理を説明する図である。
ステップＳ１００１でまず音声検出モードであるかどうかを判定する。このステップＳ１００１で音声検出モードであると判定したらステップＳ１００２へ進んでステップＳ１００２で音の周波数が３００Ｈｚ以上４００Ｈｚ未満であるかどうかを判定する。ステップＳ１００２で３００Ｈｚ以上あって４００Ｈｚ未満であると判定したらステップＳ１００３へ進んで周波数情報を持つ画像を再生表示し、ステップＳ１００２で３０ｄｂ未満であると判定したらステップＳ１００４へ進んで１／２に間引いて再生表示する。ステップＳ１００５で通常モードであると判定したらステップＳ１００６へ進んで記録媒体に記録されている画像のいずれかを液晶モニタ上に再生表示させてこのフローの処理を終了する。

なお、この例では３００Ｈｚ以上４００Ｈｚ未満という周波数を判定基準として用いたが、このデジタルカメラが有する録音機能を用いて人の音声を記録しておいて記録された音声の平均周波数をとって判定基準としても良い。このように音声の特徴量として周波数を用いても良い。

図１１は、必要な画像を大きいサイズで表示し、必要度の低い画像を小さいサイズで表示する例を説明する図である。

図８のフローとほぼ同じであるが、ステップＳ８０３とステップＳ８０４の処理がステップＳ８０３ＡとステップＳ８０４Ａに変更されている。
ステップＳ８０２で音の大きさが３０ｄｂ以上であると判定したら、ステップＳ８０３Ａでサムネイル画像を大きく表示し、ステップＳ８０２で音の大きさが３０ｄｂ未満であると判定したらステップＳ８０４Ａでサムネイル画像を小さく表示する。

図１２はＣＰＵ１００（図２参照）が図１１の処理を実行したときに液晶モニタ１２５Ａ上に表示される画像がどのようなものであるかを説明する図である。
例えば図７のミルククラウンと呼ばれる水滴の形状変化を再生するときには、水滴が落下した直後のサムネイル画像が大きく再生表示され、それ以外は小さく再生表示される。
図１３は、連写画像とともに液晶モニタ上に音量バーＢを表示するようにした場合の表示例を示す図である。

連写撮影時には各撮影コマの画像に音の大きさつまり音量を表わす情報が付加されているので、図１３に示す様にそれらを基に各コマの下方に音量バーＢを表示することができる。こうして音量バーＢが連写画像とともに撮影コマごとに表示されると、撮影時の音声の状態が画像とともに表示されることになるので連写撮影時の状況を把握し易くなる。

本実施形態のデジタルカメラの構成を示す図である。 図１のデジタルカメラの内部の構成を示すブロック図である。 図２のデジタル信号処理部１２３内の構成を示す図である。 ＣＰＵ１００が行なう撮影処理の手順を説明するフローチャートである。 第２実施形態を説明する図である。 第３実施形態を説明する図である。 図６の処理を実行したときの液晶モニタ１２５Ａ上の再生画像を説明する図である。 音声検出モードのときに所定のレベル以上の音声データが結び付けられた画像を再生表示するとともに、所定のレベル未満の音声データが結び付けられた画像を間引いて再生表示するようにした場合の処理を説明する図である。 ＣＰＵ１００が図８の処理を実行したときに液晶モニタ上に再生表示される画面の例を説明する図である。 音声の周波数を音声の特徴量としたときの処理を説明する図である。 必要な画像を大きいサイズで表示し、必要度の低い画像を小さいサイズで表示する例を説明する図である。 ＣＰＵが図１１の処理を実行したときに表示画面に表示される画像がどのようなものであるかを説明する図である。 液晶モニタ上に画像とともに音の大きさを長さで表わすバーを表示した場合の表示例を示す図である。

符号の説明

１ デジタルカメラ
１０ 操作部
１０ａ レリーズボタン
１０ｂ 電源スイッチ
１０ｃ 汎用キー
１０ｄ 動作モードスイッチ
１０ｅ メニューボタン
１０ｆ キャンセルボタン
１０ｇ ディスプレイボタン
１０ｈ ファンクションボタン
１００ ＣＰＵ
１１０ レンズ鏡胴
１１０１ 撮影レンズ
１１０２ 絞り兼用シャッタ
１１０３ 光学ローパスフィルタ
１１０４ 赤外線カットフィルタ
１２０ 撮像素子
１２１ アナログ信号処理部
１２２ Ａ／Ｄ
１２３ デジタル信号処理部
１２４ 表示制御部
１２５ 表示部
１２６ 圧縮伸張処理部
１２７ 外部メモリ制御部
１２８ 記録媒体

Claims (11)

1. 撮像素子上に被写体を結像させて該被写体を表わす画像を生成する撮影装置において、
   撮影時の音声を拾うマイクロフォンと、
   前記マイクロフォンで拾った撮影時の音声の特徴量を検出する検出手段と、
   前記検出手段で検出された音声の特徴量を前記画像に関連付けて記録する記録手段とを備えたことを特徴とする撮影装置。
2. 撮像素子上に被写体を結像させて該被写体を表わす画像データを生成する撮影装置において、
   当該撮影装置は、単写モードと連写モードとを有し、
   撮影時の音声を拾うマイクロフォンと、
   前記マイクロフォンで拾った音声の特徴量を検出する検出手段と、
   前記連写モードにあるときに、該連写モードで得られた複数枚の画像それぞれに、前記検出手段で得られた、複数枚の画像それぞれの撮影の際の音声の特徴量を関連付けて記録する記録手段とを備えたことを特徴とする撮影装置。
3. 前記検出手段は、前記特徴量として、前記マイクロフォンで拾った音声の大きさを検出するものであることを特徴とする請求項１又は２記載の撮影装置。
4. 表示画面を有し、撮影時に、該表示画面上に、前記検出手段で検出された音声の大きさを表示する音量表示手段を備えたことを特徴とする請求項３記載の撮影装置。
5. 前記検出手段は、前記特徴量として、前記マイクロフォンで拾った音声の平均的な周波数を検出するものであることを特徴とする請求項１又は２記載の撮影装置。
6. 画像を表示する表示画面と、データ上の画像を取得する画像取得手段とを有し、該画像取得手段で取得された画像を該表示画面上に表示する画像再生装置において、
   前記画像取得手段が、それぞれに音声の特徴量が関連付けられた複数枚の画像を取得するものであって、
   当該画像再生装置が、さらに、
   前記画像取得手段によって取得された画像の中から、該画像に関連付けられた音声の特徴量に基づいて画像を抽出する画像抽出手段と、
   前記画像抽出手段で抽出された画像を前記表示画面上に表示する画像表示手段とを備えたことを特徴とする画像再生装置。
7. 前記画像表示手段は、前記画像取得手段によって取得された複数枚の画像を撮影順に並べるとともに、前記表示画面上に、該複数枚の画像のうちの前記画像抽出手段で抽出された画像を表示し、さらに、該画像抽出手段で抽出されなかった画像については間引いて表示するものであることを特徴とする請求項６記載の画像再生装置。
8. 前記画像表示手段は、前記表示画面上に、前記画像取得手段によって取得された複数枚の画像のうち前記画像抽出手段で抽出された画像を表示し、さらに、該画像抽出手段で抽出されなかった画像については抽出された画像の表示サイズよりも小さいサイズで表示するものであることを特徴とする請求項６記載の画像再生装置。
9. 前記画像取得手段は、音声の特徴量としての音声の大きさが関連付けられた複数枚の画像を取得するものであり、前記画像抽出手段は、音声の大きさに基づいて画像を抽出するものであることを特徴とする請求項６記載の画像再生装置。
10. 前記画像取得手段は、音声の特徴量としての音声の平均的な周波数が関連付けられた複数枚の画像を取得するものであり、前記画像抽出手段は音声の平均的な周波数に基づいて画像を抽出するものであることを特徴とする請求項６記載の画像再生装置。
11. 前記画像抽出手段における画像抽出の基になる音声の平均的な周波数をユーザ操作により設定する音声設定手段を備えたことを特徴とする請求項１０記載の画像再生装置。

Images