JP2006238220A - 撮像装置、撮像方法、及びプログラム - Google Patents

Abstract

【課題】撮像画像に相応しい音声を容易に得ることができる撮像装置を提供すること。
【解決手段】撮像部が画像を撮像した位置を検出する撮像位置検出部と、撮像部の周囲の音声を録音する録音部と、録音部が録音した音声に人の声が含まれるか否かを判断する声判断部と、声判断部が人の声が含まれると判断した場合に、録音部が録音した音声を取得し、声判断部が人の声が含まれないと判断した場合に、撮像位置検出部が検出した位置に対応づけて音声データベースが格納する音声を取得する音声取得部と、撮像部が撮像した画像と音声取得部が取得した音声とを対応づけて格納する画像音声格納部とを備える。
【選択図】図２

Description

本発明は、撮像装置、撮像方法、及びプログラムに関する。特に本発明は、画像を撮像する撮像装置及び撮像方法、並びに撮像装置用のプログラムに関する。

従来、静止画だけでなく動画もメモリカードに記録することができるデジタルスチルカメラがある。このようなデジタルスチルカメラでは、静止画や動画の撮影記録時にマイクロホンで検出した音声を画像に対応させて記録できる（例えば、特許文献１参照。）。また、デジタルスチルカメラで撮影した静止画や動画を表示しながら、画像に対応させて記録された音声を再生することができる電子フォトスタンドが知られている。
特開平７−１５４７３４号公報

しかしながら、このようなカメラを用いた場合、撮影記録時のカメラの周囲の雑音等が録音されてしまうことがある。この場合、記録された画像を再生すると撮影記録時の雑音等が再生されてしまい、ユーザは楽しく画像を鑑賞することができない。撮影記録時のカメラの周囲の音声がユーザにとって好ましくない場合には、撮影された画像に相応しい音声が記録されていることが望ましい。また、ユーザにとっては画像と音声の編集等の煩雑な作業をすることなく、撮影された画像に相応しい音声を簡単に記録して再生できることが望ましい。

そこで本発明は、上記の課題を解決することができる撮像装置、撮像方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。

本発明の第１の形態における撮像装置は、画像を撮像する撮像部と、撮像部が画像を撮像した位置を検出する撮像位置検出部と、撮像部の周囲の音声を録音する録音部と、録音部が録音した音声に人の声が含まれるか否かを判断する声判断部と、声判断部が人の声が含まれると判断した場合に、録音部が録音した音声を取得し、声判断部が人の声が含まれないと判断した場合に、撮像位置検出部が検出した位置に対応づけて音声データベースが格納する音声を取得する音声取得部と、撮像部が撮像した画像と音声取得部が取得した音声とを対応づけて格納する画像音声格納部とを備える。

録音部が録音した音声を、当該音声が録音された位置に対応づけて格納する音声データベースをさらに備え、音声取得部は、声判断部が人の声が含まれないと判断した場合に、撮像位置検出部が検出した位置に対応づけて音声データベースが格納する音声を取得してよい。

音声データベースは、録音部が録音した音声を、当該音声が録音された時刻に対応づけて格納し、声判断部は、撮像部が画像を撮像した時刻を含む予め設定された第１の期間内の音声の中に人の声が含まれるか否かを判断し、音声取得部は、声判断部が第１の期間内に人の声が含まれると判断した場合に、録音部が録音した音声を取得し、声判断部が第１の期間内に人の声が含まれないと判断した場合に、第１の期間を含む第１の期間より広い第２の期間内に録音され、撮像位置検出部が検出した位置に対応づけて音声データベースが格納する音声を取得してよい。

撮像部が有する受光素子により受光した光の画像を表示する表示部をさらに備え、第１の期間は、表示部が画像を表示している状態の動作モードである撮像モードに当該撮像装置が設定されていた期間であり、第２の期間は、第１の期間と、表示部が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置が設定されていた期間とを含む期間であってよい。

本発明の第２の形態における撮像方法は、画像を撮像部で撮像する撮像段階と、撮像部が画像を撮像した位置を検出する撮像位置検出段階と、撮像部の周囲の音声を録音する録音段階と、録音段階において録音された音声に人の声が含まれるか否かを判断する声判断段階と、声判断段階において人の声が含まれると判断された場合に、録音段階において録音された音声を取得し、声判断段階において人の声が含まれないと判断した場合に、撮像位置検出段階において検出された位置に対応づけて音声データベースが格納する音声を取得する音声取得段階と、撮像部が撮像した画像と音声取得段階において取得された音声とを対応づけて格納する画像音声格納段階とを備える。

本発明の第３の形態によると、画像を撮像する撮像装置用のプログラムであって、撮像装置を、画像を撮像する撮像部、撮像部が画像を撮像した位置を検出する撮像位置検出部、撮像部の周囲の音声を録音する録音部、録音部が録音した音声に人の声が含まれるか否かを判断する声判断部、声判断部が人の声が含まれると判断した場合に、録音部が録音した音声を取得し、声判断部が人の声が含まれないと判断した場合に、撮像位置検出部が検出した位置に対応づけて音声データベースが格納する音声を取得する音声取得部、撮像部が撮像した画像と音声取得部が取得した音声とを対応づけて格納する画像音声格納部として機能させるプログラム。

本発明の第４の形態における撮像装置は、画像を撮像する撮像部と、撮像部が撮像した画像の被写体の種別を判断する被写体判断部と、撮像部の周囲の音声を録音する録音部と、録音部が録音した音声に人の声が含まれるか否かを判断する声判断部と、声判断部が人の声が含まれると判断した場合に、録音部が録音した音声を取得し、声判断部が人の声が含まれないと判断した場合に、被写体判断部が判断した被写体の種別に対応づけて音声データベースが格納する音声を取得する音声取得部と、撮像部が撮像した画像と音声取得部が取得した音声とを対応づけて格納する画像音声格納部とを備える。

録音部が録音した音声を、当該音声が録音されたときに被写体判断部が判断した被写体の種別に対応づけて格納する音声データベースをさらに備え、音声取得部は、声判断部が人の声が含まれないと判断した場合に、被写体判断部が判断した被写体の種別に対応づけて音声データベースが格納する音声を取得してよい。

音声データベースは、録音部が録音した音声を、当該音声が録音された時刻に対応づけて格納し、声判断部は、撮像部が画像を撮像した時刻から予め設定された第１の期間内の音声の中に人の声が含まれるか否かを判断し、音声取得部は、声判断部が第１の期間内に人の声が含まれると判断した場合に、録音部が録音した音声を取得し、声判断部が第１の期間内に人の声が含まれないと判断した場合に、撮像部が画像を撮像した時刻から第１の期間より広い第２の期間内に録音され、被写体判断部が判断した被写体の種別に対応づけて音声データベースが格納する音声を取得してよい。

撮像部が有する受光素子により受光した光の画像を表示する表示部をさらに備え、第１の期間は、表示部が画像を表示している状態の動作モードである撮像モードに当該撮像装置が設定されていた期間であり、第２の期間は、第１の期間と、表示部が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置が設定されていた期間とを含む期間であってよい。

本発明の第５の形態における撮像方法は、画像を撮像部で撮像する撮像段階と、撮像部が撮像した画像の被写体の種別を判断する被写体判断段階と、撮像部の周囲の音声を録音する録音段階と、録音段階において録音された音声に人の声が含まれるか否かを判断する声判断段階と、声判断段階において人の声が含まれると判断された場合に、録音段階において録音された音声を取得し、声判断段階において人の声が含まれないと判断された場合に、被写体判断段階において判断された被写体の種別に対応づけて音声データベースが格納する音声を取得する音声取得段階と、撮像部が撮像した画像と音声取得段階において取得された音声とを対応づけて格納する画像音声格納段階とを備える。

本発明の第６の形態によると、画像を撮像する撮像装置用のプログラムであって、画像を撮像する撮像装置用のプログラムであって、撮像装置を、画像を撮像する撮像部、撮像部が撮像した画像の被写体の種別を判断する被写体判断部、撮像部の周囲の音声を録音する録音部、録音部が録音した音声に人の声が含まれるか否かを判断する声判断部、声判断部が人の声が含まれると判断した場合に、録音部が録音した音声を取得し、声判断部が人の声が含まれないと判断した場合に、被写体判断部が判断した被写体の種別に対応づけて音声データベースが格納する音声を取得する音声取得部、撮像部が撮像した画像と音声取得部が取得した音声とを対応づけて格納する画像音声格納部として機能させる。

なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。

本発明によれば、撮像画像に相応しい音声を容易に得ることができる撮像装置を提供することができる。

以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、本発明の一実施形態に係る音声提供システムの一例を示す。音声提供システムは、撮像装置１００、出力装置１４０、及び音声データベース１６０を備える。撮像装置１００は、例えば海岸に遊びにきている子供の画像をユーザ１８０の指示に基づいて撮像する。このとき、撮像装置１００は、撮像装置１００の周囲の音声を集音部１０２で集音して録音する。また、撮像装置１００は、撮像した画像を、液晶モニター等に表示しているときにも、撮像装置１００の周囲の音声を集音部１０２で集音して録音する。そして、撮像装置１００は、撮像装置１００が撮像した画像及び録音した音声を、インターネット等の通信回線１５０を通じて出力装置１４０に送信する。

なお、撮像装置１００は、録音した音声と、当該音声を録音したときの撮像装置１００の位置とを記録している。そして、撮像装置１００は、画像を撮像したときに集音部１０２で集音される音声に人の声が含まれる場合には、集音部１０２からの音声を録音して、撮像した画像とともに記録する。一方、撮像装置１００は、撮像したときに集音部１０２で集音された音声に人の声が含まれない場合には、撮像装置１００が有する音声データベース又は通信回線１５０に接続された音声データベース１６０に格納された音声の中から、過去に同じ場所で録音された音声を取得して、撮像した画像とともに記録する。このため、撮像装置１００は、画像を撮像したときにおける撮像装置１００の周囲の音声に人の声が含まれない場合でも、撮像場所に相応しい音声をユーザ１８０に提供することができる。

出力装置１４０は、撮像装置１００から受け取った画像に撮像装置１００から受け取った音声を同期させて再生する。出力装置１４０は、例えば、ＨＤＴＶ、電子フォトスタンド、コンピュータ等の、画像及び音声を出力する装置であってよい。また、出力装置１４０は、音声を文字として出力してもよい。例えば、出力装置１４０は、液晶等の表示デバイスに画像を表示するときに、音声を文字として表示デバイスに表示させる。なお、出力装置１４０は、画像を表示させる表示デバイスに文字を表示させてよく、画像を表示させる表示デバイスとは別の表示デバイスに文字を表示させてもよい。他にも、出力装置１４０は、プリンタ等の画像を印刷する印刷装置であってもよく、画像を印刷するとともに音声を文字として印刷してもよい。

撮像装置１００は、例えば、デジタルスチルカメラ、カメラ付携帯電話等であってよい。また、撮像装置１００が画像及び音声データを記録媒体に記録して、出力装置１４０は当該記録媒体からデータを受け取ることによって、画像及び音声を出力してもよい。また、撮像装置１００は、画像及び音声データを、通信回線１５０に接続されたサーバの、ユーザ１８０毎にそれぞれ設けられたディレクトリ、例えば撮像装置１００と関連付けられたディレクトリに格納してもよい。そして出力装置１４０は、ユーザ１８０毎にサーバに格納された画像及び音声データを受け取ってもよい。

図２は、撮像装置１００のブロック構成の一例を示す。撮像装置１００は、撮像部２０２、表示部２７０、画像音声格納部２１８、録音部２５０、音声取得部２６２、撮像位置検出部２６４、声判断部２６０、及び音声データベース２８０を備える。

撮像部２０２は、画像を撮像する。撮像部２０２は、具体的には、被写体からの光をＣＣＤ等の撮像デバイスで受光して、被写体を撮像する。なお、撮像部２０２は所定の時間間隔で連続的に被写体を撮像してもよい。そして、撮像部２０２は、連続的に撮像して得られる所定の個数の画像を保持してもよい。そして、撮像部２０２は、撮像部２０２が保持している画像のうち、撮像を指示された時刻に最も近いタイミングで撮像された画像を撮像画像としてもよい。

撮像位置検出部２６４は、撮像部２０２が画像を撮像した位置を検出する。例えば、撮像位置検出部２６４は、ＧＰＳ衛星から受信したＧＰＳ情報を用いて、撮像部２０２が画像を撮像したときに撮像装置１００が位置する場所の緯度及び経度情報を検出する。

録音部２５０は、撮像部２０２の周囲の音声を録音する。声判断部２６０は、録音部２５０が録音した音声に人の声が含まれるか否かを判断する。具体的には、声判断部２６０は、録音部２５０によって録音された音声の周波数スペクトルに基づいて、録音部２５０が録音した音声に人の声が含まれるか否かを判断する。例えば、声判断部２６０は、録音された音声の周波数スペクトルに人間が発する母音に特徴的な周波数スペクトルが含まれる場合に、録音部２５０が録音した音声に人の声が含まれると判断する。

音声データベース２８０は、録音部２５０が録音した音声を、当該音声が録音された位置に対応づけて格納する。なお、音声データベース２８０は、撮像装置１００の外部に備えられてもよい。例えば、撮像装置１００が接続された通信回線１５０に接続されていてもよい。

音声取得部２６２は、声判断部２６０が人の声が含まれると判断した場合に、録音部２５０が録音した音声を取得する。また、音声取得部２６２は、声判断部２６０が人の声が含まれないと判断した場合に、撮像位置検出部２６４が検出した位置に対応づけて音声データベース２８０が格納する音声を取得する。そして、画像音声格納部２１８は、撮像部２０２が撮像した画像と音声取得部２６２が取得した音声とを対応づけて格納する。

なお、音声データベース２８０は、録音部２５０が録音した音声を、当該音声が録音された時刻に対応づけて格納してよい。そして、声判断部２６０は、撮像部２０２が画像を撮像した時刻を含む予め設定された第１の期間内の音声の中に人の声が含まれるか否かを判断する。そして、音声取得部２６２は、声判断部２６０が第１の期間内に人の声が含まれると判断した場合に、録音部２５０が録音した音声を取得する。そして、音声取得部２６２は、声判断部２６０が第１の期間内に人の声が含まれないと判断した場合に、第１の期間を含む第１の期間より広い第２の期間内に録音され、撮像位置検出部２６４が検出した位置に対応づけて音声データベース２８０が格納する音声を取得する。このため、撮像位置検出部２６４は、撮像した場所に相応しい音声を取得することができる。

表示部２７０は、撮像部２０２が有する受光素子により受光した光の画像を表示する。例えば、表示部２７０は、撮像装置１００による撮像時に、撮像されるべき画像を表示する液晶モニターであってよい。そして、撮像部２０２が画像を撮像した時刻を含む第１の期間とは、表示部２７０が画像を表示している状態の動作モードである撮像モードに当該撮像装置１００が設定されていた期間であってよい。また、第２の期間とは、当該第１の期間と、表示部２７０が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置１００が設定されていた期間とを含む期間であってよい。

具体的には、撮像モードとは、撮像部２０２がユーザ１８０の操作を受けて動作している状態にある動作モードであって、撮像されるべき画像が表示部２７０に表示されているときの動作モードを含んでよい。そして、非撮像モードとは、表示部２７０が画像を表示していない状態であって、ユーザ１８０の操作を受け付け得る状態の動作モードである待機モードを含んでよい。また、非撮像モードは、撮像された画像を出力している動作モードである出力モードを含んでよい。

なお、表示部２７０は、撮像部２０２が有する受光素子により受光した光以外の画像、例えば撮像された画像を表示してもよい。そして、出力モードは、撮像された画像を表示部２７０に表示させているときの動作モードを含んでもよい。

以上説明した撮像装置１００によれば、撮像時の撮像装置１００の周囲の音声がユーザ１８０にとって好ましくない場合には、撮像したときの場所に相応しい音声を録音することができる。

図３は、音声データベース２８０が格納するデータの一例をテーブル形式で示す。音声データベース２８０は、複数の音声データ（３０１、３０２、３０３）に対応付けて、各音声データが録音された位置における緯度及び経度、並びに各音声データの音声が録音された時刻を格納する。

なお、音声が録音された時刻とは、音声の録音を開始した録音開始時刻であってよく、音声の録音が終了した録音終了時刻であってもよい。また、音声が録音された時刻には、音声が録音された日付を含んでよい。また、音声データベース２８０は、撮像した画像を出力すべき時間である出力時間の長さを持つ音声を格納してよい。なお、音声データベース２８０は、複数の撮像装置１００によって録音された音声データを格納してよい。

図４は、撮像装置１００の動作モードと音声の録音期間の時間関係の一例を示す。撮像装置１００は、動作モードとして、撮像モード、出力モード、及び待機モードを有する。撮像モードとは、撮像装置１００が撮像及び／又は録音することのできる動作モードであってよい。また、出力モードは、例えば、撮像装置１００が画像及び／又は音声を出力することのできる動作モードであってよい。なお、非撮像モードは、出力モード及び待機モードを含む。そして、撮像装置１００は、撮像モードに設定されている期間（ｔ１〜ｔ３）、出力モードに設定されている期間（ｔ３〜ｔ４）、及び待機モードに設定されている期間（ｔ０〜ｔ１及びｔ４〜ｔ５）に集音部１０２によって集音された音声を録音する。

なお、撮像装置１００は、起動された直後には撮像装置１００は待機モードに設定される。撮像装置１００は、動作モードが待機モード又は出力モードに設定されている場合に、ユーザ１８０によって撮像動作又は録音動作に関する操作がなされた場合に撮像モードに遷移する。撮像動作に関する操作は、例えば、画像を撮像する操作、シャッタスピード、焦点距離等の、撮像条件を調整する操作等を含む。また、録音動作に関する操作は、例えば、音声を録音する操作、録音感度の調整等の、録音条件を調整する操作等を含む。また、撮像装置１００は、動作モードが待機モード又は撮像モードに設定されている場合に、ユーザ１８０によって撮像装置１００の出力動作に関する操作がなされた場合に、出力モードに遷移する。出力動作に関する操作は、例えば、画像を出力する操作、出力する画像を選択する操作、出力速度の調節等の、出力条件を調整する操作等を含む。なお、撮像装置１００は、撮像装置１００が撮像モード又は出力モードに設定されている場合に、ユーザ１８０による撮像装置１００の操作が所定の期間操作されなかったことを条件として、待機モードに遷移してよい。

声判断部２６０は、撮像時刻ｔ２から予め定めた時間だけ前又は後の時間範囲で録音された音声に、人の声が含まれるか否かを判断する。例えば、撮像装置１００がユーザ１８０から撮像するよう時刻ｔ２に指示された場合に、声判断部２６０は撮像時刻ｔ２を含む撮像モードに設定されていた期間（ｔ１〜ｔ３）において録音部２５０で録音された音声に人の声が含まれるか否かを判断する。そして、音声取得部２６２は、声判断部２６０の判断に基づいて人の声が含まれる場合に、期間（ｔ１〜ｔ３）において録音部２５０で録音された音声を取得して、撮像時刻ｔ２において撮像された画像に対応づけて画像音声格納部２１８に格納する。

そして、声判断部２６０によって、撮像時刻ｔ２を含む撮像モードに設定されていた期間（ｔ１〜ｔ３）において録音部２５０で録音された音声に人の声が含まれないと判断された場合には、撮像時刻ｔ２を含む撮像モードに設定されていた期間（ｔ１〜ｔ３）を含む、待機モード又は出力モードに設定されていた期間、例えば期間（ｔ０〜ｔ５）で録音されて音声データベース２８０に格納された音声の中で、撮像位置検出部２６４によって検出された撮像位置に最も近い位置で録音された音声を取得して、撮像時刻ｔ２において撮像された画像に対応づけて画像音声格納部２１８に格納する。

なお、音声取得部２６２は、撮像時刻ｔ２を含む撮像モードに設定されていた期間（ｔ１〜ｔ３）に録音部２５０によって録音された人の声を含む音声のうち、撮像時刻ｔ２の最も近い時刻で録音された音声を取得してよい。また、音声取得部２６２は、撮像時刻ｔ２を含む撮像モードに設定されていた期間（ｔ１〜ｔ３）に録音部２５０によって録音された人の声を含む音声のうち、最も音量の大きい音声を取得してよい。また、音声取得部２６２は、最も音量の大きい人間の声を含む音声を取得してよい。例えば、音声取得部２６２は、録音部２５０によって録音された人の声を含む音声の中で、人間の声に特徴的な周波数帯域、例えば１００Ｈｚ〜５０００Ｈｚの間の周波数帯域に含まれる音量が最も大きい音声を取得してよい。

図５は、撮像画像と音声とを格納する手順の一例を示す。音声取得部２６２は、撮像部２０２が撮像した時刻を含む、撮像装置１００が撮像モードに設定されていた期間を判断する（Ｓ５１２）。そして、音声取得部２６２は、Ｓ５１２で判断された期間に録音された音声に人の声が含まれるか否かを声判断部２６０により判断する（Ｓ５１４）。Ｓ５１４において、Ｓ５１２で判断した期間に録音された音声の中に人の声が含まれると声判断部２６０が判断した場合には（Ｓ５１４：ＹＥＳ）、録音部２５０によって録音された音声を取得する（Ｓ５１６）。そして、画像音声格納部２１８は、撮像部２０２によって撮像された画像と、音声取得部２６２がＳ５１６において取得した音声とを対応づけて格納する（Ｓ５１８）。

Ｓ５１４において、Ｓ５１２で判断された期間において録音された音声の中に人の声が含まれないと声判断部２６０が判断した場合には（Ｓ５１４：ＮＯ）、音声取得部２６２は、撮像位置検出部２６４によって検出された緯度及び経度情報に最も近い位置で録音された音声を音声データベース２８０に格納された音声の中から検索して取得する。そして、画像音声格納部２１８は、撮像部２０２によって撮像された画像と、音声取得部２６２がＳ５２２で取得した音声とを対応づけて格納する（Ｓ５１８）。

なお、音声取得部２６２は、Ｓ５２２において、撮像した位置において録音された音声が音声データベース２８０に複数格納されている場合には、撮像した時刻に最も近い時刻に録音された音声を取得してもよい。他にも、音声取得部２６２は、撮像した位置において録音された音声が音声データベース２８０に複数格納されている場合には、最も音量の大きい音声を取得してもよい。また、音声取得部２６２は、取得した音声が持つ時間の合計時間が、撮像した画像を出力すべき時間である出力時間以上になるよう、音声データベース２８０から１以上の音声を取得してよい。

以上説明した撮像装置１００によれば、例えば、ユーザ１８０が海岸で子供を撮像したときに録音された音声に人の声が含まれない場合には、過去に同じ海岸で録音された音声の中から、当該海岸に最も近い位置で録音されたときの音声を画像とともに記録することができる。したがって、撮像装置１００は、画像を撮像した場所において録音されるべき音声を、画像とともに記録しておくことができる。

図６は、撮像装置６００のブロック構成の一例を示す。なお、撮像装置６００は、図１で説明した音声提供システムが有する撮像装置１００の他の例であってよい。撮像装置６００の利用環境は、図１で説明した撮像装置１００の利用環境と、以下の点を除いて同一であるので説明を省略する。すなわち、撮像装置６００は、集音部１０２から集音された音声に人の声が含まれない場合には、撮像装置６００が撮像した被写体の種別を判断して、判別された被写体を過去に撮像したときに録音した音声又は判別された被写体に関する音声が格納されている音声データベース１６０から取得した音声を、撮像画像に対応づけて記憶する。例えば、撮像装置６００は、撮像時に集音部１０２から集音された音声に人の声が含まれないと判断すると、撮像画像に犬が写っている場合には、犬の鳴き声の音声を音声データベース１６０又は撮像装置６００が備える音声データベースから取得して、撮像画像とともに記録する。したがって、撮像装置６００は、被写体に相応しい音声をユーザ１８０に提供することができる。

撮像装置６００は、撮像部６０２、表示部６７０、画像音声格納部６１８、被写体判断部６６６、録音部６５０、音声取得部６６２、声判断部６６０、及び音声データベース６８０を備える。なお、撮像装置６００の動作及び機能は、以下に説明する部分を除き、撮像装置１００の動作及び機能と同一であるので説明を省略する。具体的には、撮像部６０２、録音部６５０、声判断部６６０、画像音声格納部６１８、及び表示部６７０の動作及び機能は、それぞれ撮像部２０２、録音部２５０、声判断部２６０、画像音声格納部２１８、及び表示部２７０の動作と同一であってよい。なお、撮像装置１００及び撮像装置６００の動作及び機能を組み合わせた撮像装置もまた発明となり得る。

被写体判断部６６６は、撮像部６０２が撮像した画像の被写体の種別を判断する。具体的には、被写体判断部６６６は、撮像部６０２が撮像した画像に含まれる被写体の輪郭をエッジ抽出等によって抽出し、抽出した被写体の輪郭と、被写体の種類毎に用意された被写体のパターンとのパターンマッチング等によって被写体の種類を判断する。音声データベース６８０は、録音部６５０が録音した音声を、当該音声が録音されたときに被写体判断部６６６が判断した被写体の種別に対応づけて格納する。

音声取得部６６２は、声判断部６６０が人の声が含まれると判断した場合に、録音部６５０が録音した音声を取得する。そして、音声取得部６６２は、声判断部６６０が人の声が含まれないと判断した場合に、被写体判断部６６６が判断した被写体の種別に対応づけて音声データベース６８０が格納する音声を取得する。

なお、音声データベース６８０は、録音部６５０が録音した音声を、当該音声が録音された時刻にも対応づけて格納する。そして、声判断部６６０は、撮像部６０２が画像を撮像した時刻から予め設定された第１の期間内の音声の中に人の声が含まれるか否かを判断する。そして、音声取得部６６２は、声判断部６６０が第１の期間内に人の声が含まれると判断した場合に、録音部６５０が録音した音声を取得する。また、音声取得部６６２は、声判断部６６０が第１の期間内に人の声が含まれないと判断した場合に、撮像部６０２が画像を撮像した時刻から第１の期間より広い第２の期間内に録音され、被写体判断部６６６が判断した被写体の種別に対応づけて音声データベース６８０が格納する音声を取得する。

なお、第１の期間とは、表示部６７０が画像を表示している状態の動作モードである撮像モードに当該撮像装置６００が設定されていた期間であってよい。また、第２の期間とは、第１の期間と、表示部６７０が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置６００が設定されていた時間とを含む時間であってよい。

図７は、音声データベース６８０が格納するデータの一例をテーブル形式で示す。音声データベース６８０は、複数の音声データ（７０１、７０２、７０３）に対応付けて、各音声データの音声が録音されたときに被写体判断部６６６によって判断された被写体の種別、及び各音声データの音声が録音された時刻を格納する。

なお、音声が録音された時刻とは、音声の録音を開始した録音開始時刻であってよく、音声の録音が終了した録音終了時刻であってもよい。また、音声が録音された時刻には、音声が録音された日付を含んでよい。また、音声データベース６８０は、撮像した画像を出力すべき時間である出力時間の長さを持つ音声を格納してよい。

図８は、撮像画像と音声とを格納する手順の一例を示す。音声取得部６６２は、撮像部６０２が撮像した時刻を含む、撮像装置６００が撮像モードに設定されていた期間を判断する（Ｓ８１２）。そして、声判断部６６０は、Ｓ８１２で判断された期間に録音された音声に人の声が含まれるか否かを判断する（Ｓ８１４）。Ｓ８１４において、Ｓ８１２で判断された期間に録音された音声に人の声が含まれると声判断部６６０が判断した場合には（Ｓ８１４：ＹＥＳ）、録音部６５０によって録音された音声を取得する（Ｓ８１６）。そして、画像音声格納部６１８は、撮像部６０２によって撮像された画像と、音声取得部６６２がＳ８１６において取得した音声とを対応づけて格納する（Ｓ８１８）。

Ｓ８１４において、Ｓ８１２で判断された期間に録音された音声に人の声が含まれないと声判断部６６０が判断した場合には（Ｓ８１４：ＮＯ）、被写体判断部６６６は、６０２が撮像した画像に写った被写体の種別を判断する（Ｓ８２０）。音声取得部６６２は、音声データベース６８０に格納されている被写体種別の情報を検索して、被写体判断部６６６が判断した被写体に合致する被写体に対応づけられた音声を音声データベース６８０から取得する（Ｓ８２２）。そして、画像音声格納部６１８は、撮像部６０２によって撮像された画像と、音声取得部６６２がＳ８２２で取得した音声とを対応づけて格納する（Ｓ８１８）。

なお、音声取得部２６２は、Ｓ８２２において、取得した音声が持つ時間の合計時間が、撮像した画像を出力すべき時間である出力時間以上になるよう、音声データベース６８０から１以上の音声を取得してよい。

以上説明した撮像装置６００によれば、例えばユーザ１８０が海岸で撮像したときに録音された音声に人の声が含まれない場合には、過去に当該被写体と同じ種類の被写体を撮像したときに録音された音声を記録しておくことができる。このため、撮像装置６００は、撮像した画像を撮像したときに録音されるべき音声を、当該画像とともに記録してユーザ１８０に提供することができる。

図９は、撮像装置１００及び撮像装置６００に係るコンピュータ１５００のハードウェア構成の一例を示す。コンピュータ１５００は、ホスト・コントローラ１５８２により相互に接続されるＣＰＵ１５０５、ＲＡＭ１５２０、グラフィック・コントローラ１５７５、及び表示装置１５８０を有するＣＰＵ周辺部と、入出力コントローラ１５８４によりホスト・コントローラ１５８２に接続される通信インターフェイス１５３０、ハードディスクドライブ１５４０、及びＣＤ−ＲＯＭドライブ１５６０を有する入出力部と、入出力コントローラ１５８４に接続されるＲＯＭ１５１０、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０を有するレガシー入出力部とを備える。

ホスト・コントローラ１５８２は、ＲＡＭ１５２０と、高い転送レートでＲＡＭ１５２０をアクセスするＣＰＵ１５０５、及びグラフィック・コントローラ１５７５とを接続する。ＣＰＵ１５０５は、ＲＯＭ１５１０、及びＲＡＭ１５２０に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等がＲＡＭ１５２０内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置１５８０上に表示させる。これに代えて、グラフィック・コントローラ１５７５は、ＣＰＵ１５０５等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。

入出力コントローラ１５８４は、ホスト・コントローラ１５８２と、比較的高速な入出力装置であるハードディスクドライブ１５４０、通信インターフェイス１５３０、ＣＤ−ＲＯＭドライブ１５６０を接続する。ハードディスクドライブ１５４０は、コンピュータ１５００内のＣＰＵ１５０５が使用するプログラム、及びデータを格納する。通信インターフェイス１５３０は、ネットワークを介して撮像装置１００又は撮像装置６００と通信し、撮像装置１００又は撮像装置６００にプログラム、及びデータを提供する。ＣＤ−ＲＯＭドライブ１５６０は、ＣＤ−ＲＯＭ１５９５からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。

また、入出力コントローラ１５８４には、ＲＯＭ１５１０と、フレキシブルディスク・ドライブ１５５０、及び入出力チップ１５７０の比較的低速な入出力装置とが接続される。ＲＯＭ１５１０は、コンピュータ１５００が起動時に実行するブート・プログラムや、コンピュータ１５００のハードウェアに依存するプログラム等を格納する。フレキシブルディスク・ドライブ１５５０は、フレキシブルディスク１５９０からプログラムまたはデータを読み取り、ＲＡＭ１５２０を介してハードディスクドライブ１５４０、及び通信インターフェイス１５３０に提供する。入出力チップ１５７０は、フレキシブルディスク・ドライブ１５５０や、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を接続する。

ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供されるプログラムは、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５、またはＩＣカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、ＲＡＭ１５２０を介して通信インターフェイス１５３０に提供され、ネットワークを介して撮像装置１００又は撮像装置６００に送信される。撮像装置１００又は撮像装置６００に送信されたプログラムは、撮像装置１００又は撮像装置６００においてインストールされて実行される。

撮像装置１００にインストールされて実行されるプログラムは、撮像装置１００を、図１から図５において説明した撮像装置１００として機能させる。また、撮像装置６００にインストールされて実行されるプログラムは、撮像装置６００を、図６から図８において説明した撮像装置６００として機能させる。

以上に示したプログラムは、外部の記憶媒体に格納されてもよい。記憶媒体としては、フレキシブルディスク１５９０、ＣＤ−ＲＯＭ１５９５の他に、ＤＶＤやＰＤ等の光学記録媒体、ＭＤ等の光磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたはＲＡＭ等の記憶装置を記録媒体として使用し、ネットワークを介してプログラムをコンピュータ１５００に提供してもよい。

以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

音声提供システムの一例を示す図である。 撮像装置１００のブロック構成の一例を示す図である。 音声データベース２８０が格納するデータの一例をテーブル形式で示す図である。 撮像装置１００の動作モードと音声の録音期間の時間関係の一例を示す図である。 撮像画像と音声とを格納する手順の一例を示す図である。 撮像装置６００のブロック構成の一例を示す図である。 音声データベース６８０が格納するデータの一例をテーブル形式で示す図である。 撮像画像と音声とを格納する手順の一例を示す図である。 撮像装置１００及び撮像装置６００に係るコンピュータ１５００のハードウェア構成の一例を示す図である。

符号の説明

１００ 撮像装置
１０２ 集音部
１４０ 出力装置
１５０ 通信回線
１６０ 音声データベース
１８０ ユーザ
２０２ 撮像部
２１８ 画像音声格納部
２５０ 録音部
２６０ 声判断部
２６２ 音声取得部
２６４ 撮像位置検出部
２７０ 表示部
２８０ 音声データベース
６００ 撮像装置
６０２ 撮像部
６７０ 表示部
６１８ 画像音声格納部
６５０ 録音部
６６０ 声判断部
６６２ 音声取得部
６６６ 被写体判断部
６８０ 音声データベース

Claims (12)

1. 画像を撮像する撮像部と、
   前記撮像部が画像を撮像した位置を検出する撮像位置検出部と、
   前記撮像部の周囲の音声を録音する録音部と、
   前記録音部が録音した音声に人の声が含まれるか否かを判断する声判断部と、
   前記声判断部が人の声が含まれると判断した場合に、前記録音部が録音した音声を取得し、前記声判断部が人の声が含まれないと判断した場合に、前記撮像位置検出部が検出した位置に対応づけて音声データベースが格納する音声を取得する音声取得部と、
   前記撮像部が撮像した画像と前記音声取得部が取得した音声とを対応づけて格納する画像音声格納部と
   を備える撮像装置。
2. 前記録音部が録音した音声を、当該音声が録音された位置に対応づけて格納する音声データベース
   をさらに備え、
   前記音声取得部は、前記声判断部が人の声が含まれないと判断した場合に、前記撮像位置検出部が検出した位置に対応づけて前記音声データベースが格納する音声を取得する
   請求項１に記載の撮像装置。
3. 前記音声データベースは、前記録音部が録音した音声を、当該音声が録音された時刻に対応づけて格納し、
   前記声判断部は、前記撮像部が画像を撮像した時刻を含む予め設定された第１の期間内の音声の中に人の声が含まれるか否かを判断し、
   前記音声取得部は、前記声判断部が前記第１の期間内に人の声が含まれると判断した場合に、前記録音部が録音した音声を取得し、前記声判断部が前記第１の期間内に人の声が含まれないと判断した場合に、前記第１の期間を含む前記第１の期間より広い第２の期間内に録音され、前記撮像位置検出部が検出した位置に対応づけて前記音声データベースが格納する音声を取得する
   請求項２に記載の撮像装置。
4. 前記撮像部が有する受光素子により受光した光の画像を表示する表示部
   をさらに備え、
   前記第１の期間は、前記表示部が画像を表示している状態の動作モードである撮像モードに当該撮像装置が設定されていた期間であり、
   前記第２の期間は、前記第１の期間と、前記表示部が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置が設定されていた期間とを含む期間である
   請求項３に記載の撮像装置。
5. 画像を撮像部で撮像する撮像段階と、
   前記撮像部が画像を撮像した位置を検出する撮像位置検出段階と、
   前記撮像部の周囲の音声を録音する録音段階と、
   前記録音段階において録音された音声に人の声が含まれるか否かを判断する声判断段階と、
   前記声判断段階において人の声が含まれると判断された場合に、前記録音段階において録音された音声を取得し、前記声判断段階において人の声が含まれないと判断した場合に、前記撮像位置検出段階において検出された位置に対応づけて音声データベースが格納する音声を取得する音声取得段階と、
   前記撮像部が撮像した画像と前記音声取得段階において取得された音声とを対応づけて格納する画像音声格納段階と
   を備える撮像方法。
6. 画像を撮像する撮像装置用のプログラムであって、前記撮像装置を
   画像を撮像する撮像部、
   前記撮像部が画像を撮像した位置を検出する撮像位置検出部、
   前記撮像部の周囲の音声を録音する録音部、
   前記録音部が録音した音声に人の声が含まれるか否かを判断する声判断部、
   前記声判断部が人の声が含まれると判断した場合に、前記録音部が録音した音声を取得し、前記声判断部が人の声が含まれないと判断した場合に、前記撮像位置検出部が検出した位置に対応づけて音声データベースが格納する音声を取得する音声取得部、
   前記撮像部が撮像した画像と前記音声取得部が取得した音声とを対応づけて格納する画像音声格納部
   として機能させるプログラム。
7. 画像を撮像する撮像部と、
   前記撮像部が撮像した画像の被写体の種別を判断する被写体判断部と、
   前記撮像部の周囲の音声を録音する録音部と、
   前記録音部が録音した音声に人の声が含まれるか否かを判断する声判断部と、
   前記声判断部が人の声が含まれると判断した場合に、前記録音部が録音した音声を取得し、前記声判断部が人の声が含まれないと判断した場合に、前記被写体判断部が判断した被写体の種別に対応づけて音声データベースが格納する音声を取得する音声取得部と、
   前記撮像部が撮像した画像と前記音声取得部が取得した音声とを対応づけて格納する画像音声格納部と
   を備える撮像装置。
8. 前記録音部が録音した音声を、当該音声が録音されたときに前記被写体判断部が判断した被写体の種別に対応づけて格納する音声データベース
   をさらに備え、
   前記音声取得部は、前記声判断部が人の声が含まれないと判断した場合に、前記被写体判断部が判断した被写体の種別に対応づけて前記音声データベースが格納する音声を取得する
   請求項７に記載の撮像装置。
9. 前記音声データベースは、前記録音部が録音した音声を、当該音声が録音された時刻に対応づけて格納し、
   前記声判断部は、前記撮像部が画像を撮像した時刻から予め設定された第１の期間内の音声の中に人の声が含まれるか否かを判断し、
   前記音声取得部は、前記声判断部が前記第１の期間内に人の声が含まれると判断した場合に、前記録音部が録音した音声を取得し、前記声判断部が前記第１の期間内に人の声が含まれないと判断した場合に、前記撮像部が画像を撮像した時刻から前記第１の期間より広い第２の期間内に録音され、前記被写体判断部が判断した被写体の種別に対応づけて前記音声データベースが格納する音声を取得する
   請求項８に記載の撮像装置。
10. 前記撮像部が有する受光素子により受光した光の画像を表示する表示部
    をさらに備え、
    前記第１の期間は、前記表示部が画像を表示している状態の動作モードである撮像モードに当該撮像装置が設定されていた期間であり、
    前記第２の期間は、前記第１の期間と、前記表示部が画像を表示していない状態の動作モードである非撮像モードに当該撮像装置が設定されていた期間とを含む期間である
    請求項９に記載の撮像装置。
11. 画像を撮像部で撮像する撮像段階と、
    前記撮像部が撮像した画像の被写体の種別を判断する被写体判断段階と、
    前記撮像部の周囲の音声を録音する録音段階と、
    前記録音段階において録音された音声に人の声が含まれるか否かを判断する声判断段階と、
    前記声判断段階において人の声が含まれると判断された場合に、前記録音段階において録音された音声を取得し、前記声判断段階において人の声が含まれないと判断された場合に、前記被写体判断段階において判断された被写体の種別に対応づけて音声データベースが格納する音声を取得する音声取得段階と、
    前記撮像部が撮像した画像と前記音声取得段階において取得された音声とを対応づけて格納する画像音声格納段階と
    を備える撮像方法。
12. 画像を撮像する撮像装置用のプログラムであって、前記撮像装置を
    画像を撮像する撮像部、
    前記撮像部が撮像した画像の被写体の種別を判断する被写体判断部、
    前記撮像部の周囲の音声を録音する録音部、
    前記録音部が録音した音声に人の声が含まれるか否かを判断する声判断部、
    前記声判断部が人の声が含まれると判断した場合に、前記録音部が録音した音声を取得し、前記声判断部が人の声が含まれないと判断した場合に、前記被写体判断部が判断した被写体の種別に対応づけて音声データベースが格納する音声を取得する音声取得部、
    前記撮像部が撮像した画像と前記音声取得部が取得した音声とを対応づけて格納する画像音声格納部
    して機能させるプログラム。

Images