JP2009177740A - 撮像装置及びその制御方法、及び画像処理装置 - Google Patents

Abstract

【課題】 撮像装置における音声データの記録時の操作性を向上すると共に、撮影時に被写体が発した音声をより確実に記録できるようにすること。
【解決手段】 撮像手段から出力される画像データから顔を検出する画像処理部（２０）を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する撮像装置であって、音を取り込んで、メモリ（５２）に音声データを記憶する音声取り込み手段（６８、５０）と、前記画像処理部が顔を検出することによって、前記音声取り込み手段による前記音声データの記憶を開始するシステム制御部（５０）と、前記画像記録が指示されたときに、前記画像処理部が顔を検出する場合には、メモリに記憶された前記音声データを前記画像データに関連付けて前記記録媒体に記録する制御部（２２、５０）とを有する。
【選択図】 図１

Description

本発明は、撮像装置及びその制御方法、及び画像処理装置に関し、更に詳しくは、撮像装置及び画像処理装置における、画像データ及び音声データの記録制御及び該撮像装置の制御方法に関する。

従来のデジタルカメラ等の撮像装置の中には録音機能を備えたものがあり、そのような撮像装置では、録音した音声データを撮影した画像に関連付けて記録することが可能となっている。以降、撮影した画像に関連付けて記録する音声データを「音声メモ」と記す。

音声メモを記録することが可能な撮像装置には、画像を撮影した後に音声を録音して音声メモとして記録するものがあり、これは主に撮影した画像に対するコメントを録音しておくために利用されている。

一方、特許文献１に開示されているように、撮影時に同時に録音した音声を音声メモとして記録するものもあり、これは主に被写体から発せられる音声を録音しておくために利用されている。

特開２００４−３２８１２６号公報

しかし、撮影時に同時に録音された音声を音声メモとして記録する場合、ユーザが撮影を行う前にあらかじめ音声メモを記録するモードに設定しておく必要があった。そのため、撮影前の操作が煩わしかったり、録音された音声が結果的に不要なものであっても音声メモとして記録されてしまったりするという課題があった。また、モード設定を行わずに撮影を行うと、肝心なときに音声メモが記録されていないという課題があった。

本発明は上記問題点を鑑みてなされたものであり、撮像装置における音声データの記録時の操作性を向上すると共に、撮影時に被写体が発した音声をより確実に記録できるようにすることを目的とする。

上記目的を達成するために、撮像手段から出力される画像データから顔を検出する検出手段を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する本発明の撮像装置は、音を取り込んで、記憶手段に音声データを記憶する音声取り込み手段と、前記検出手段が顔を検出することによって、前記音声取り込み手段による前記音声データの記憶を開始する制御手段と、前記画像記録が指示されたときに、前記検出手段が顔を検出する場合には、前記記憶手段に記憶された前記音声データを前記画像データに関連付けて前記記録媒体に記録する記録制御手段とを有する。

また、撮像手段から出力される画像データから顔を検出する検出手段を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する撮像装置の本発明の制御方法は、前記検出手段が顔を検出する検出ステップと、前記検出ステップにて前記検出手段が顔を検出する場合に、音を取り込んで、記憶手段に音声データを記憶する記憶ステップと、前記画像記録が指示されたときに、前記検出手段が顔を検出する場合には、前記記憶手段に記憶される前記音声データを前記画像データに関連付けて前記記録媒体に記録する記録制御ステップとを有する。

更に、撮像手段から出力される画像データから顔を検出する検出手段を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する本発明の画像処理装置は、音を取り込んで、記憶手段に音声データを記憶する音声取り込み手段と、前記検出手段が顔を検出することによって、前記音声取り込み手段による前記音声データの記憶を開始する制御手段と、前記画像記録が指示されたときに、前記検出手段が顔を検出する場合には、前記記憶手段に記憶された前記音声データを前記画像データに関連付けて前記記録媒体に記録する記録制御手段とを有する。

また、別の構成によれば、撮像手段から出力される画像データから顔を検出する検出手段を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する本発明の撮像装置は、音を取り込んで、記憶手段に音声データを記憶する音声取り込み手段と、前記検出手段が顔を検出することによって、前記音声取り込み手段による前記音声データの記憶を開始する制御手段と、前記画像記録が指示されたときに、前記検出手段によって検出される顔が予め設定された条件を満たす場合には、前記記憶手段に記憶された前記音声データを前記画像データに関連付けて前記記録媒体に記録する記録制御手段とを有する。

また、撮像手段から出力される画像データから顔を検出する検出手段を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する撮像装置の本発明の制御方法は、前記検出手段が顔を検出する検出ステップと、前記検出ステップにて前記検出手段が顔を検出する場合に、音を取り込んで記憶手段に音声データを記憶する記憶ステップと、前記画像記録が指示されたときに、前記検出手段によって検出される顔が予め設定された条件を満たす場合には、前記記憶手段に記憶される前記音声データを前記画像データに関連付けて前記記録媒体に記録する記録制御ステップとを有する。

更に、撮像手段から出力される画像データから顔を検出する検出手段を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する本発明の画像処理装置は、音を取り込んで、記憶手段に音声データを記憶する音声取り込み手段と、前記検出手段が顔を検出することによって、前記音声取り込み手段による前記音声データの記憶を開始する制御手段と、前記画像記録が指示されたときに、前記検出手段によって検出される顔が予め設定された条件を満たす場合には、前記記憶手段に記憶された前記音声データを前記画像データに関連付けて前記記録媒体に記録する記録制御手段とを有する。

本発明によれば、撮像装置における音声データの記録時の操作性を向上すると共に、撮影時に被写体が発した音声をより確実に記録することができる。

以下、添付図面を参照して本発明を実施するための最良の形態を詳細に説明する。なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

（装置構成）
図１は、本発明の実施の形態における画像処理機能を有する撮像装置の構成を示すブロック図である。

図１において、１００は撮像装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッター、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をデジタル信号に変換するＡ／Ｄ変換器である。

１８は撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にそれぞれクロック信号や制御信号を供給するタイミング発生部であり、メモリ制御部２２及びシステム制御部５０により制御される。

２０は画像処理部であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して所定の画素補間処理や色変換処理を行う。また、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行う。そして、得られた演算結果に基づいてシステム制御部５０が露光制御部４０、焦点調節部４２に対して、ＴＴＬ（スルー・ザ・レンズ）方式のオートフォーカス（ＡＦ）処理、自動露出（ＡＥ）処理、フラッシュプリ発光（ＥＦ）処理を行っている。さらに、画像処理部２０は、Ａ／Ｄ変換器１６から出力される画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のオートホワイトバランス（ＡＷＢ）処理も行っている。

さらに、画像処理部２０は、後述する音声取り込み部６８から取り込んだ音声データをメモリ５２に記憶する録音処理、及び、記録媒体２００及び２１０に記録する音声記録処理に利用する、顔検出処理も行っている。

２２はメモリ制御部であり、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長部３２を制御する。Ａ／Ｄ変換器１６から出力される画像データは、画像処理部２０、メモリ制御部２２を介して、或いはメモリ制御部２２のみを介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて、周期的に撮像した画像データを順次表示することで、電子ビューファインダー（ＥＶＦ）機能を実現することができる。また、画像表示部２８は、システム制御部５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することができる。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶容量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合、また、動画像撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等、公知の圧縮方法を用いて画像データを圧縮・伸長する圧縮・伸長部である。圧縮・伸長部３２は、メモリ３０に格納された画像を読み込んで、例えばＪＰＥＧ或いはＭＰＥＧ形式で圧縮処理或いは伸長処理を行い、処理を終えたデータを再びメモリ３０に書き込む。

４０は露光制御部であり、絞り機能を備えるシャッター１２を制御する。露光制御部４０は、フラッシュ４８と連携することによりフラッシュ調光機能も有する。４２は撮影レンズ１０のフォーカシングを制御する焦点調節部、４４は撮影レンズ１０のズーミングを制御するズーム制御部、４６はバリアである保護部１０２の動作を制御するバリア制御部である。４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御部４０及び焦点調節部４２はＴＴＬ方式を用いて制御されている。上述の通り、Ａ／Ｄ変換器１６からの画像データを画像処理部２０によって演算した演算結果に基づき、システム制御部５０が露光制御部４０及び焦点調節部４２を制御する。

５０は撮像装置１００全体を制御するシステム制御部、５２はシステム制御部５０の動作用の定数、変数、プログラム等を記憶するメモリである。なお、システム制御部５０は、音声取り込み部６８から音声データを取り込む音声取り込み処理の制御を行っている。

５４はシステム制御部５０でのプログラムの実行に応じて、文字、画像、音声などを用いて動作状態やメッセージなどを外部に通知するための通知部である。通知部５４としては、例えばＬＣＤやＬＥＤなどによる視覚的な表示を行う表示部や音声による通知を行う発音素子などが用いられるが、これらのうち１つ以上の組み合わせにより構成される。特に、表示部の場合には、撮像装置１００の操作部７０近辺の、視認しやすい、単数あるいは複数箇所に設置されている。また、通知部５４は、その一部の機能が光学ファインダー１０４内に設置されている。

通知部５４の表示内容の内、ＬＣＤなどに表示するものとしては以下のものがある。まず、シングルショット／連写撮影表示、セルフタイマー表示等、撮影モードに関する表示がある。また、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示等の記録に関する表示がある。また、シャッタースピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示等の撮影条件に関する表示がある。その他に、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付・時刻表示なども行われる。

また、通知部５４の表示内容の内、光学ファインダー１０４内に表示するものとしては、合焦表示、手ぶれ警告表示、フラッシュ充電表示などがある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、６６及び７０は、システム制御部５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。

ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、プログラム撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することができる。

６２はレリーズスイッチＳＷ１で、不図示のレリーズボタンの操作途中（例えば半押し）でＯＮとなり、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作開始を指示する。

６４はレリーズスイッチＳＷ２で、不図示のレリーズボタンの操作完了（例えば全押し）でＯＮとなり、露光処理、現像処理、及び記録処理からなる一連の処理の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して画像データをメモリ３０に書き込み、更に、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。更に、メモリ３０から画像データを読み出し、圧縮・伸長部３２で圧縮を行い、記録媒体２００あるいは２１０に画像データを書き込む記録処理が行われる。

６６は傾斜センサからなる姿勢検知部で、撮像装置が構えられているのが横位置であるか、縦位置であるか等の装置の姿勢を検出する。

７０は各種ボタンやタッチパネルなどから成る操作部である。一例として、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り換えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。更に、再生画像移動＋（プラス）ボタン、再生画像移動−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、顔選択モード設定ボタンなども含む。

６８は音声取り込み部で、不図示のマイク等により外部から音声データを取り込む。

８０は電源制御部で、電池検出部、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されている。外部電源の接続の有無、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター、又は外部バッテリー等からなる電源部である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタである。９８はコネクタ９２及び／或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知部である。

なお、本実施の形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明しているが、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。

インタフェース及びコネクタとしては、種々の記憶媒体の規格に準拠したものを用いて構成することが可能である。例えば、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）カードやＣＦ（コンパクトフラッシュ（登録商標））カード、ＳＤカード等を挙げることができる。インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（登録商標）カード等の規格に準拠したものを用いて構成した場合、各種通信カードを接続することができる。通信カードとしては、ＬＡＮカードやモデムカード、ＵＳＢ（Universal Serial Bus）カード、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４カードがある。他にも、Ｐ１２８４カード、ＳＣＳＩ（Small Computer System Interface）カード、ＰＨＳ等がある。これら各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。

１０２は、撮像装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護部である。

１０４は光学ファインダであり、画像表示部２８による電子ビューファインダ機能を使用すること無しに、光学ファインダーのみを用いて撮影を行うことが可能である。また、光学ファインダー１０４内には、通知部５４の一部の機能、例えば、合焦状態、手振れ警告、フラッシュ充電、シャッタースピード、絞り値、露出補正などが表示される。

１１０は通信部で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。

１１２は通信部１１０により撮像装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００及び２１０はメモリカードやハードディスク等の記録媒体である。この記録媒体２００及び２１０は、それぞれ、半導体メモリや磁気ディスク等から構成される記録部２０２及び２１２、撮像装置１００とのインタフェース２０４及び２１４、撮像装置１００と接続を行うコネクタ２０６及び２１６を備えている。

記録媒体２００及び２１０としては、ＰＣＭＣＩＡカードやコンパクトフラッシュ（登録商標）等のメモリカード、ハードディスク等を用いることができる。また、マイクロＤＡＴ、光磁気ディスク、ＣＤ−ＲやＣＤ−ＷＲ等の光ディスク、ＤＶＤ等の相変化型光ディスク等で構成されていても勿論構わない。

＜第１の実施形態＞
次に、上述した構成を有する撮像装置を有する本発明の第１の実施形態における動作について、図２を参照して説明する。

図２は、本第１の実施形態の撮像装置１００における、撮影時の動作を示すフローチャートである。なお、本第１の実施形態ではＥＶＦを利用して被写体を観察しながら撮影を行い、図２の処理では、ＥＶＦへの画像の表示がすでに行われている状態である。なお、以下の説明では、ＥＶＦに表示される画像を「ＥＶＦ画像」と呼ぶ。

撮影待機状態において、システム制御部５０は、ステップＳ１００で画像処理部２０によりＥＶＦ画像から被写体の顔を検出する処理を行う（検出ステップ）。被写体の顔が検出されると、ステップＳ１０１で音声取り込み部６８から音声を取り込み、取り込んだ音声を変換して得られた音声データを、メモリ５２に設けられた音声バッファメモリに記録する音声録音処理（記憶ステップ）を開始する。なお、被写体の顔を検出した場合に画像処理部２０から出力される情報として、顔の中心座標や顔のサイズ等の情報がある。

次に、システム制御部５０は、ステップＳ１０２でレリーズボタンが押下されているか否かを判定し、レリーズボタンが押下されていない場合はステップＳ１００に処理を戻し、上記処理を繰り返す。なお、２回目以降のルーチンでは、ステップＳ１００で被写体の顔を検出した場合に、すでに音声録音処理が開始されていたならば、ステップＳ１０１においてそのまま音声録音処理を継続する。

一方、ステップＳ１０２でレリーズボタンが押下されて、画像記録が指示されている場合、ステップＳ１０３に進む。そして、システム制御部５０は、レリーズボタンが押下された時点でのＥＶＦ画像に対して画像処理部２０により被写体の顔の検出を行わせ、その検出結果をメモリ５２に保存する。

次に、システム制御部５０は、ステップＳ１０４で、露光処理及び現像処理からなる一連の撮影の動作開始を指示する。まず、露光処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して画像データをメモリ３０に書き込む。更に、メモリ３０に書き込まれた画像データを読み出して、画像処理部２０やメモリ制御部２２での演算を用いた現像処理が行われる。

撮影を終えると、システム制御部５０は、ステップＳ１０５でメモリ３０に書き込まれた撮影画像データを読み出して、メモリ制御部２２及び画像処理部２０を用いて各種画像処理、また、圧縮・伸長部３２を用いて設定に応じた画像圧縮処理を行う。更に、圧縮した画像データを記録媒体２００或いは２１０へ書き込む記録処理を実行する。

続いて、システム制御部５０は、ステップＳ１０６で音声を録音中かどうかを判断し、録音中であれば、ステップＳ１０７において音声の録音を停止する。そして、ステップＳ１０８で、ステップＳ１０３でメモリ５２に保存したレリーズ時の被写体の顔の検出結果を参照する。レリーズ時に被写体の顔を検出していた場合は、ステップＳ１０９でメモリ５２に設けられた音声バッファメモリに記録されている音声データを撮影した画像データに関連付けて記録媒体に記録し（記録制御ステップ）、処理を終了する。

一方、ステップＳ１０６で音声を録音中でない場合や、ステップＳ１０８でレリーズ時に被写体の顔を検出していなかった場合は、音声データの記録を行わずに処理を終了する。

上記の通り本第１の実施形態によれば、撮影待機状態のＥＶＦ画像に被写体の顔を検出すると音声の録音を自動的に開始し、レリーズ時のＥＶＦ画像に被写体の顔を検出すると録音した音声データを撮影した画像データに関連付けて記録する。これにより、撮影前にあらかじめ音声データを記録するモードに設定する操作を行うことなく、被写体が発した音声をより確実に記録することができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態における撮像装置の動作について説明する。

上述した第１の実施形態では、撮影待機状態でのＥＶＦ画像における顔の検出結果に応じて音声録音を開始する場合の動作について説明したが、本第２の実施形態では、更に、検出した顔の大きさに応じて音声録音を開始する場合の動作について説明する。

図３は、本第２の実施形態の撮像装置１００における、撮影時の動作を示すフローチャートである。なお、図３の処理において、図２と同様の処理には同じステップ番号を付し、適宜説明を省略する。

図３の処理と図２の処理との違いは、撮影待機状態においてステップＳ１００でＥＶＦ画像から被写体の顔を検出すると、検出した被写体の顔のサイズを判定する処理（ステップＳ１１０）が追加されている点である。

撮影待機状態にあるシステム制御部５０は、ステップＳ１００で画像処理部２０によりＥＶＦ画像に被写体の顔を検出すると、ステップＳ１１０で画像処理部２０より出力される検出した被写体の顔の画面上でのサイズを判定する。検出した顔のサイズが所定のサイズＡより大きい場合、システム制御部５０は、ステップＳ１０１に進んで音声取り込み部６８から音声を取り込み、音声データをメモリ５２に設けられた音声バッファメモリに記録する音声録音処理を開始する。

一方、検出した顔のサイズが所定のサイズＡ以下の場合には、システム制御部５０は音声録音処理を開始せずに処理をステップＳ１０２に進める。

なお、レリーズボタンが押下され無かった場合（ステップＳ１０２でＮＯ）の２回目以降のルーチンでは、すでに音声録音処理が開始されていたならば、ステップＳ１０１ではそのまま音声録音処理を継続する。

上記の通り、本第２の実施形態によれば、ＥＶＦ画像から検出した被写体の顔のサイズが所定のサイズより小さい場合は音声の録音を行わない。これにより、被写体までの距離が離れていて、被写体の音声が撮像装置まで届かないと想定される場合には、音声の録音や音声データの記録を行わないようにすることが可能となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態における撮像装置の動作について説明する。

上述した第１の実施形態では、レリーズボタンが押下されて、画像記録が指示された時点でのＥＶＦ画像における顔の検出結果に応じて音声データを記録するか否かを判断する場合について説明した。これに対し、本第３の実施形態では、撮影した画像における顔の検出結果に応じて音声データを記録するか否かを判断する場合の動作について説明する。

図４は、本第３の実施形態の撮像装置１００における、撮影時の動作を示すフローチャートである。なお、図４の処理において、図２と同様の処理には同じステップ番号を付し、適宜説明を省略する。

図４の処理と図２の処理とは、以下の３つの点で異なる。まず、レリーズボタンが押下されて、画像記録が指示された時点でのＥＶＦ画像における被写体の顔の検出結果を保存する処理（図２のステップＳ１０３）を行わない。また、撮影後に、撮影した画像における被写体の顔の検出を行い、その検出結果を保存する処理（ステップＳ１２０）が追加されている。更に、音声録音停止後に、レリーズボタン押下時の検出結果の代わりに（図２のステップＳ１０８）、ステップＳ１２０での検出結果を参照して音声データを記録するか否かを判定する（ステップＳ１２１）。

システム制御部５０は、ステップＳ１０２でレリーズボタンが押下されている場合、ステップＳ１０４で撮影処理を実行する。

次に、システム制御部５０は、ステップＳ１２０において、画像処理部２０により撮影した画像に対して被写体の顔の検出を行い、その検出結果をメモリ５２に保存する。そして、ステップＳ１２１では、メモリ５２に保存した撮影した画像における被写体の顔の検出結果を参照する。撮影した画像から被写体の顔が検出されていれば、ステップＳ１０９でメモリ５２に設けられた音声バッファメモリに記録されている音声データを撮影した画像データに関連付けて記録媒体に記録し、処理を終了する。

一方、音声を録音中でない場合（ステップＳ１０６でＮＯ）や、ステップＳ１２１で撮影した画像から被写体の顔が検出されなかった場合は、音声データの記録を行わずに処理を終了する。

上記の通り本第３の実施形態によれば、撮影した画像から被写体の顔が検出されない場合は音声データを記録しないので、撮影した画像に人物が写っていない場合に音声データの記録を行わないようにすることが可能となる。

＜第４の実施形態＞
次に、本発明の第４の実施形態における撮像装置の動作について説明する。

上述した第１の実施形態では、レリーズボタンが押下されて、画像記録が指示された時点でのＥＶＦ画像における顔の検出結果に応じて音声データを記録するか否かを判断する場合について説明した。これに対し、本第４の実施形態では、音声録音中のＥＶＦ画像における顔の表情変化の検出結果に応じて音声データを記録するかどうかを判断する場合の動作について説明する。

図５は、本第４の実施形態の撮像装置１００における、撮影時の動作を示すフローチャートである。なお、図５の処理において、図２と同様の処理には同じステップ番号を付し、適宜説明を省略する。

図５の処理と図２の処理とは、以下の３つの点で異なる。まず、撮影待機状態で音声録音を開始している場合に被写体の顔の表情変化の有無を保存する処理（ステップＳ１３０〜Ｓ１３２）が追加されている。また、レリーズボタンが押下された時点でのＥＶＦ画像における被写体の顔の検出結果を保存する処理（図２のステップＳ１０３）を行わない。更に、音声録音停止後に、レリーズボタン押下時の検出結果の代わりに（図２のステップＳ１０８）、ステップＳ１３２で保存されてた被写体の顔の表情変化の検出結果を参照して音声データを記録するか否かを判定する（ステップＳ１３３）。

撮影待機状態にあるシステム制御部５０は、ステップＳ１３０で音声録音中かどうかを判断し、音声録音中であれば、処理をステップＳ１３１に進め、画像処理部２０によりＥＶＦ画像の被写体の顔の表情変化を検出する。表情変化を検出すると、ステップＳ１３２で表情変化があったことをメモリ５２に保存する。

次に、システム制御部５０は、ステップＳ１０２でレリーズボタンが押下されて、画像記録が指示されている場合、ステップＳ１０４で撮影処理、ステップＳ１０５で記録処理を実行する。

続いて、ステップＳ１０６で音声録音中であればステップＳ１０７で音声録音を停止し、ステップＳ１３３で、メモリ５２に保存した音声録音中の表情変化の検出結果を参照する。

音声録音中に表情変化があった場合は、ステップＳ１０９でメモリ５２に設けられた音声バッファメモリに記録されている音声データを撮影した画像データに関連付けて記録媒体に記録し、処理を終了する。

一方、音声を録音中でない場合（ステップＳ１０６でＮＯ）や、音声録音中に表情変化が検出されなかった場合は（ステップＳ１３３でＮＯ）、音声データの記録は行わずに処理を終了する。

上記の通り本第４の実施形態によれば、音声録音中に被写体の顔の表情変化があった場合に音声データを記録するので、例えば、被写体の笑い声や泣き声等を音声データとして記録することが可能となる。また、表情変化として唇の動きに注目すれば、被写体が声を発した場合に音声データを記録することも可能である。

＜第５の実施形態＞
次に、本発明の第５の実施形態における撮像装置の動作について説明する。

上述した第１の実施形態では、レリーズボタンが押下された時点でのＥＶＦ画像における顔の検出結果に応じて音声データを記録するか否かを判断する場合の動作について説明した。これに対し、本第５の実施形態では、更に、レリーズボタン押下時に検出した顔の大きさに応じて音声データを記録するか否かを判断する場合の動作について説明する。

図６は、本第５の実施形態の撮像装置１００における、撮影時の動作を示すフローチャートである。なお、図６の処理において、図２と同様の処理には同じステップ番号を付し、適宜説明を省略する。

図６の処理と図２の処理との違いは、以下の２点である。即ち、レリーズボタン押下時にＥＶＦ画像から検出した顔のサイズを保存する処理（ステップＳ１５０）が追加されている点と、音声録音停止後にレリーズボタン押下時に検出した顔のサイズを判定する処理（ステップＳ１５１）が追加されている点である。

システム制御部５０は、ステップＳ１０３でレリーズボタンが押下された時点でのＥＶＦ画像における、画像処理部２０による被写体の顔の検出結果をメモリ５２に保存する。更に、ステップＳ１５０において、レリーズボタンが押下された時点でのＥＶＦ画像について画像処理部２０より出力される検出した被写体の顔の画像上でのサイズをメモリ５２に保存する。

システム制御部５０は、ステップＳ１０８において、メモリ５２に保存されているレリーズ時の被写体の顔の検出結果を参照し、レリーズ時に被写体の顔を検出していた場合は、ステップＳ１５１でメモリ５２に保存されている被写体の顔のサイズを判定する。検出した顔の画面上のサイズが所定のサイズＢより大きい場合、システム制御部５０は、ステップＳ１０９でメモリ５２に設けられた音声バッファメモリに記録されている音声データを撮影した画像データに関連付けて記録媒体に記録し、処理を終了する。

一方、検出した顔のサイズが所定のサイズＢより小さい場合（ステップＳ１５１でＮＯ）、音声データの記録は行わずに処理を終了する。

上記の通り本第５の実施形態によれば、レリーズ時に検出した被写体の顔のサイズが所定のサイズより小さい場合は音声データを記録しない。これにより、被写体までの距離が離れていて被写体の音声が撮像装置まで届かないと想定される場合には、音声データの記録を行わないようにすることが可能となる。

＜第６の実施形態＞
次に、本発明の第６の実施形態における撮像装置の動作について説明する。

上述した第１の実施の形態では、レリーズボタンが押下された時点でのＥＶＦ画像における顔の検出結果に応じて音声データを記録するか否かを判断する場合について説明した。これに対し、本第６の実施形態では、音声録音開始時に検出した顔と、レリーズ時に検出した顔が同一である場合に音声データを記録する場合の動作について説明する。

図７は、本第６の実施形態の撮像装置１００における、撮影時の動作を示すフローチャートである。なお、図７の処理において、図２と同様の処理には同じステップ番号を付し、適宜説明を省略する。

図７の処理と図２の処理とは、以下の３つの点で異なる。まず、音声録音開始時に検出した顔の画像データをメモリ３０に記憶しておく処理（ステップＳ１６０）が追加されている。また、レリーズ時に検出した顔の画像データをメモリ３０に記憶しておく処理（ステップＳ１６１）が追加されている。更に、音声録音停止後に、録音開始時に検出した顔と、レリーズ時に検出した顔が同一であるかを判定する処理（ステップＳ１６２）が追加されている。

ここでは、被写体として、予めユーザーが指定した人物の顔の特徴などの情報を例えばメモリ３０に記憶しておき、この情報を用いて、公知の顔認識の手法を用いて、ＥＶＦ画像から被写体の顔を検出する処理を行う。

システム制御部５０は、ステップＳ１０１で録音処理を開始した後に、ステップＳ１６０において、録音開始時に検出した被写体の顔の画像データＡをメモリ３０に保存する。また、ステップＳ１０３でレリーズ時の顔の検出結果をメモリ５２に記憶した後に、ステップＳ１６１において、レリーズ時に検出した被写体の顔の画像データＢをメモリ３０に保存する。

そして、システム制御部５０は、ステップＳ１０８でメモリ５２に保存されているレリーズ時の被写体の顔の検出結果を参照する。レリーズ時に被写体の顔を検出していれば、ステップＳ１６２でメモリ３０に保存されている、音声録音開始時に検出した被写体の顔の画像データＡと、レリーズ時に検出した被写体の顔の画像データＢとを画像処理部２０にて比較する。ステップＳ１６２において、画像データＡと画像データＢが示す被写体の顔が同一人物の顔であると判定した場合、ステップＳ１０９に進む。システム制御部５０は、ステップＳ１０９において、メモリ５２に設けられた音声バッファメモリに記録されている音声データを撮影した画像データに関連付けて記録媒体に記録し、処理を終了する。

一方、ステップＳ１６２で画像処理部２０により、画像データＡと画像データＢが示す被写体の顔が同一人物の顔ではないと判定した場合、音声データの記録は行わずに処理を終了する。

上記の通り本第６の実施形態によれば、音声録音開始時に検出した被写体の顔と、レリーズ時に検出した被写体の顔が同一である場合に音声データを記録する。これにより、録音した音声が撮影した被写体のものとは異なる場合に音声データの記録を行わないようにすることが可能となる。

＜第７の実施形態＞
最後に、本発明の第７の実施形態における撮像装置の動作について説明する。

上述した第１の実施形態では、レリーズボタンが押下された時点でのＥＶＦ画像における顔の検出結果に応じて音声データを記録するか否かを判断する場合について説明した。これに対し、本第７の実施形態では、最終的に音声データを記録するか否かをユーザに問い合わせてから音声データを記録する場合の動作について説明する。

図８は、本第７の実施形態の撮像装置１００における、撮影時の動作を示すフローチャートである。また、図９は撮像装置１００における、音声データを記録するか否かをユーザに問い合わせる際の画像表示部２８における画面表示例を示している。なお、図８の処理において、図２と同様の処理には同じステップ番号を付し、適宜説明を省略する。

図８の処理と図２の処理とは、以下の２点で異なる。即ち、音声録音停止後に、音声データを記録するか否かをユーザに問い合わせる表示を行う処理（ステップＳ１７０）が追加されている点と、ユーザの音声データを記録するか否かの指示を判定する処理（ステップＳ１７１）が追加されている点である。

システム制御部５０は、ステップＳ１０８でメモリ５２に保存されているレリーズ時の被写体の顔の検出結果を参照する。レリーズ時に被写体の顔を検出していた場合は、ステップＳ１７０で音声データを記録するか否かをユーザに問い合わせるために、画像表示部２８に図９に示す表示を行い、ステップＳ１７１でユーザからの音声データを記録するか否かの指示を判定する。ユーザが図９の表示に対してＯＫを指示した場合、システム制御部５０は、ステップＳ１０９でメモリ５２に設けられた音声バッファメモリに記録されている音声データを撮影した画像データに関連付けて記録媒体に記録し、処理を終了する。

一方、ステップＳ１７１でユーザが図９の表示に対してＣａｎｃｅｌを指示した場合、音声データの記録は行わずに処理を終了する。

上記の通り本第７の実施形態によれば、最終的に撮影者の指示に応じて音声データを記録するので、ユーザが不要な音声データの記録を行わないようにすることが可能となる。

以上、図１〜図９を用いて説明したように、本実施の形態によれば、被写体の顔を検出して音声の録音を自動的に開始し、録音した音声を記録するか否かを被写体の顔の検出結果を元に判定する。これにより、音声データ記録時の操作性を向上すると共に、撮影時に被写体から発した音声をより確実に記録することが可能となる。

なお、上記第１〜第７の実施形態における処理は、処理が互いに矛盾しない限り、その一部及び全てを組み合わせて実行することが可能である。

以上の説明においては、撮影待機状態で被写体の顔を検出した場合に音声の録音を開始し、撮影後に音声の録音を停止するものとして説明を行った。しかしながら、本発明はこれに限るものではなく、撮影待機状態で音声の録音中に被写体の顔を検出しなくなった場合に音声の録音を停止することで、音声バッファメモリを無駄に使用することを防ぎ、必要な音声のみを録音することが可能である。

また、被写体の顔が検出されない場合に直ぐに音声の録音を停止するのではなく、複数回（または、所定時間以上）検出されなかった場合に、音声録音処理を停止するようにしても良い。このようにすることで、一時的に被写体が画面から外れてしまった場合に、音声録音処理が中断するのを防ぐことができる。

また、音声録音を開始して、音声バッファメモリに音声データが記録されている場合には、図１０の３００に示すように、音声データが音声バッファメモリに記録されていることを示す音声録音アイコンを表示してもよい。このようにすることで、ユーザに記録媒体に記録されていない音声データが存在することを通知することができる。また、撮影待機状態でも、たとえばユーザの操作に応じて図１０に示す表示を行ってユーザに音声データを記録するか否か問い合わせるようにすることができる。これにより、撮影後だけでなく、ユーザの指示に応じた任意のタイミングで録音した音声データを記録することが可能である。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ等の画像処理装置、インターフェイス機器、デジタルカメラ、マイクロフォンなど）から構成されるシステムに適用することができる。勿論、上記実施の形態で説明したように、一つの機器からなる装置（例えば、デジタルカメラ、ビデオカメラなど）に適用してもよい。

また、本発明の目的は、以下の様にして達成することも可能である。まず、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、以下のようにして達成することも可能である。即ち、読み出したプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合である。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。また、ＬＡＮ（ローカル・エリア・ネットワーク）やＷＡＮ（ワイド・エリア・ネットワーク）などのコンピュータネットワークを、プログラムコードを供給するために用いることができる。

本発明の実施の形態における撮像装置の構成を示すブロック図である。 本発明の第１の実施形態の撮像装置における、撮影時の動作を示すフローチャートである。 本発明の第２の実施形態の撮像装置における、撮影時の動作を示すフローチャートである。 本発明の第３の実施形態の撮像装置における、撮影時の動作を示すフローチャートである。 本発明の第４の実施形態の撮像装置における、撮影時の動作を示すフローチャートである。 本発明の第５の実施形態の撮像装置における、撮影時の動作を示すフローチャートである。 本発明の第６の実施形態の撮像装置における、撮影時の動作を示すフローチャートである。 本発明の第７の実施形態の撮像装置における、撮影時の動作を示すフローチャートである。 本発明の第７の実施形態の撮像装置における、音声データ記録問い合わせを行う画面表示例である。 本発明の他の実施形態の撮像装置における、音声録音についての画面表示例である。

符号の説明

１０：撮影レンズ、１２：シャッター、１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生部、２０：画像処理部、２２：メモリ制御部、２４：画像表示メモリ、２６：Ｄ／Ａ変換器、２８：画像表示部、３０：メモリ、３２：圧縮伸長部、４０：露光制御部、４２：焦点調節部、４４：ズーム制御部、４６：バリア制御部、４８：フラッシュ、５０：システム制御部、５２：メモリ、５４：通知部、５６：不揮発性メモリ、６０：モードダイアルスイッチ、６２：シャッタースイッチＳＷ１、６４：シャッタースイッチＳＷ２、６６：画像表示ＯＮ／ＯＦＦスイッチ、６８：音声取り込み部、７０：操作部、８０：電源制御部、８２、８４：コネクタ、８６：電源、９０、９４：入出力Ｉ／Ｆ、９２、９６：コネクタ、９８：記録媒体着脱検知部、１００：撮像装置、１０２：保護部、１１０：通信部、１１２：コネクタ（アンテナ）、２００、２１０：記録媒体、２０２、２１２：記録部、２０４、２１４：インタフェース、２０６、２１６：コネクタ

Claims (17)

1. 撮像手段から出力される画像データから顔を検出する検出手段を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する撮像装置であって、
   音を取り込んで、記憶手段に音声データを記憶する音声取り込み手段と、
   前記検出手段が顔を検出することによって、前記音声取り込み手段による前記音声データの記憶を開始する制御手段と、
   前記画像記録が指示されたときに、前記検出手段が顔を検出する場合には、前記記憶手段に記憶された前記音声データを前記画像データに関連付けて前記記録媒体に記録する記録制御手段と
   を有することを特徴とする撮像装置。
2. 撮像手段から出力される画像データから顔を検出する検出手段を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する撮像装置であって、
   音を取り込んで、記憶手段に音声データを記憶する音声取り込み手段と、
   前記検出手段が顔を検出することによって、前記音声取り込み手段による前記音声データの記憶を開始する制御手段と、
   前記画像記録が指示されたときに、前記検出手段によって検出される顔が予め設定された条件を満たす場合には、前記記憶手段に記憶された前記音声データを前記画像データに関連付けて前記記録媒体に記録する記録制御手段と
   を有することを特徴とする撮像装置。
3. 前記制御手段は、更に、前記検出手段によって検出される顔の大きさが予め設定された大きさを越えるかどうかを判定し、前記予め設定された条件は、前記検出手段によって検出される顔の大きさが前記予め設定された大きさを超えることであることを特徴とする請求項２に記載の撮像装置。
4. 前記制御手段は、更に、前記検出手段によって検出される顔の大きさが予め設定された大きさを越えるかどうかを判定し、前記予め設定された大きさを超える場合に前記音声データの記憶を開始し、前記予め設定された大きさ以下の場合には前記音声データの記憶を行わないように制御することを特徴とする請求項１または２に記載の撮像装置。
5. 前記検出手段は、更に、検出した顔の表情変化を検出し、前記予め設定された条件は、前記音声取り込み手段により前記音声データを記憶している間に、前記顔の表情変化が検出されることであることを特徴とする請求項２に記載の撮像装置。
6. 前記制御手段は、更に、前記検出手段によって検出される前記音声データの記憶が開始したときに検出された顔と、前記画像記録が指示されたときに検出された顔が同じかどうかを判定し、前記予め設定された条件は、前記音声データの記憶が開始したときに検出された顔と、前記画像記録が指示されたときに検出された顔が同じと判定されることであることを特徴とする請求項２に記載の撮像装置。
7. 前記記録制御手段は、前記画像記録が指示される場合であって、前記予め設定された条件が満たされている場合に、前記記憶手段に記憶された音声データを前記画像データに関連付けて前記記録媒体に記録するかどうかをユーザに問い合わせる問い合わせ手段を更に有することを特徴とする請求項２に記載の撮像装置。
8. 前記撮像手段により周期的に撮像して得られた画像データを順次表示する電子ビューファインダを有し、
   前記画像記録が指示された場合に、前記検出手段は、前記画像記録が指示された時に前記電子ビューファインダへの表示に用いた画像データから顔を検出する処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記画像記録が指示された場合に、前記検出手段は、前記記録媒体に記録する画像データから顔を検出する処理を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
10. 前記制御手段は、前記音声データを記憶している間に前記検出手段が前記顔を検出できなくなった場合に、前記音声データの記憶を停止するように制御することを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
11. 撮像手段から出力される画像データから顔を検出する検出手段を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する撮像装置の制御方法であって、
    前記検出手段が顔を検出する検出ステップと、
    前記検出ステップにて前記検出手段が顔を検出する場合に、音を取り込んで、記憶手段に音声データを記憶する記憶ステップと、
    前記画像記録が指示されたときに、前記検出手段が顔を検出する場合には、前記記憶手段に記憶される前記音声データを前記画像データに関連付けて前記記録媒体に記録する記録制御ステップと
    を有することを特徴とする撮像装置の制御方法。
12. 撮像手段から出力される画像データから顔を検出する検出手段を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する撮像装置の制御方法であって、
    前記検出手段が顔を検出する検出ステップと、
    前記検出ステップにて前記検出手段が顔を検出する場合に、音を取り込んで記憶手段に音声データを記憶する記憶ステップと、
    前記画像記録が指示されたときに、前記検出手段によって検出される顔が予め設定された条件を満たす場合には、前記記憶手段に記憶される前記音声データを前記画像データに関連付けて前記記録媒体に記録する記録制御ステップと、
    を有することを特徴とする撮像装置の制御方法。
13. 撮像手段から出力される画像データから顔を検出する検出手段を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する画像処理装置であって、
    音を取り込んで、記憶手段に音声データを記憶する音声取り込み手段と、
    前記検出手段が顔を検出することによって、前記音声取り込み手段による前記音声データの記憶を開始する制御手段と、
    前記画像記録が指示されたときに、前記検出手段が顔を検出する場合には、前記記憶手段に記憶された前記音声データを前記画像データに関連付けて前記記録媒体に記録する記録制御手段と
    を有することを特徴とする画像処理装置。
14. 撮像手段から出力される画像データから顔を検出する検出手段を有し、画像記録が指示される場合に前記撮像手段から出力される画像データを記録媒体に記録する画像処理装置であって、
    音を取り込んで、記憶手段に音声データを記憶する音声取り込み手段と、
    前記検出手段が顔を検出することによって、前記音声取り込み手段による前記音声データの記憶を開始する制御手段と、
    前記画像記録が指示されたときに、前記検出手段によって検出される顔が予め設定された条件を満たす場合には、前記記憶手段に記憶された前記音声データを前記画像データに関連付けて前記記録媒体に記録する記録制御手段と
    を有することを特徴とする画像処理装置。
15. コンピュータに、請求項１１または１２に記載の制御方法の各工程を実行させるためのプログラム。
16. コンピュータを、請求項１３または１４に記載の画像処理装置の各手段として動作させるためのプログラム。
17. 請求項１５または１６に記載のプログラムを格納したことを特徴とするコンピュータが読み取り可能な記憶媒体。

Images