JP2004112778A - 画像・音声再生装置、カメラ、画像・音声再生方法およびプログラム - Google Patents

Abstract

【課題】　画像と音声との再生に興趣性を付与する。
【解決手段】　ステップＳ１０１での判断の結果、音声付静止画ファイルが選択された場合には、当該ファイルが過去の音声付きであるか否かを判断する（ステップＳ１０３）。このステップＳ１０３での判断の結果、過去の音声付きであった場合には、音声データに基づき過去の音声の最初から再生を開始し（ステップＳ１０７）、現時点における音声再生タイミングと静止画を撮影した際の撮影タイミングが到来するまでの時間的関係をカウントダウン表示する（ステップＳ１０８）。次に、前記撮影タイミングが到来したか否かを判断する（ステップＳ１０９）。撮影タイミングが到来したならば、ステップＳ１１１で、当該画像ファイルの画像データに基づき静止画を再生表示する。
【選択図】　　　図３

Description

　本発明は、撮影された静止画と、この静止画とともに記録された音声とを再生する画像・音声再生装置、カメラ、画像・音声再生方法およびプログラムに関する。

　近年、シャッター操作に応じて撮影画像を記録するとともに、撮影記録時点前後の音声を記録するデジタルカメラが提案されている（例えば特許文献１参照）。このデジタルカメラは、撮影待機状態において周囲の音声を検出して音声信号を音声記録手段に循環記憶し、シャッターが操作された際には、被写体の画像信号を記録媒体に記録するとともに当該画像信号と音声記録手段に記憶された音声信号とを関連付けて記録する。そして、再生時には記録媒体に記録された画像信号に基づき画像を再生表示するとともに、これに関連付けられた音声信号を音声記録手段に記録された任意の時刻から読み出して音声を再生する。
特開２０００−７８５１６号公報

　しかしながら、前記デジタルカメラの再生時においては、記録された画像とこれに関連付けられた音声とを単に再生するのみであることから、ユーザは再生されている音声と画像の撮影時点との時間的関係を認識することができない。このため、記録された音声が再生放音されかつ画像が再生表示されても、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができるものではなかった。

　本発明は、このような従来の課題に鑑みてなされたものであり、画像と音声との再生に興趣性を付与することのできる画像・音声再生装置及び画像・音声再生制御プログラムを提供することを目的とするものである。

　請求項１に係る発明は、表示手段と、撮影された静止画とこの静止画の撮影タイミングまでの音声と前記音声中における前記静止画の撮影タイミングを表す情報とを記録する記録手段と、前記音声を再生放音する音声再生手段と、前記静止画を前記表示手段に再生表示する画像再生手段と、前記音声再生手段による音声の再生放音と前記画像再生手段による画像の再生表示の際に前記記録手段に記録された前記音声中における前記静止画の撮影タイミングを表す情報に基づき該撮影タイミングが識別可能な態様で前記表示手段による表示が行われるように制御する制御手段とを備える。

　また、請求項２の発明に係る画像・音声再生装置にあっては、前記請求項１に記載した画像・音声再生装置において、さらに前記制御手段は、前記音声再生手段が前記音声の再生放音を開始した後、前記撮影タイミングが到来した時点で、前記静止画を前記表示手段に再生表示させるように前記画像再生手段を制御するものであることを特徴とする。

　また、請求項３の発明に係る画像・音声再生装置にあっては、前記請求項２に記載した画像・音声再生装置において、さらに前記制御手段は、前記音声中における前記静止画の撮影タイミングを表す情報に基づき、前記音声再生手段の現時点における音声再生タイミングと前記撮影タイミングが到来するまでの時間的関係を前記表示手段に表示するように制御するものであることを特徴とする。

　また、請求項４の発明に係る画像・音声再生装置にあっては、前記請求項１に記載した画像・音声再生装置において、さらに前記制御手段は、前記音声中における前記静止画の撮影タイミングを表す情報に基づき、前記音声再生手段の現時点における音声再生タイミングと前記撮影タイミングが到来するまでの時間的関係を前記表示手段に表示するように制御するものであることを特徴とする。

　また、請求項６の発明に係る画像・音声再生装置にあっては、前記請求項１に記載した画像・音声再生装置において、さらに前記制御手段は、前記音声再生手段が前記音声の再生放音を開始した後、前記撮影タイミングが到来した時点で、前記表示手段の表示を異なる表示形態に変更するものであることを特徴とする。

　また、請求項８の発明に係る画像・音声再生装置にあっては、前記請求項１に記載した画像・音声再生装置において、さらに前記制御手段は、前記音声再生手段が前記音声の再生放音を開始した後、前記撮影タイミングが到来するまで、前記表示手段の表示形態を徐々に変化させるものであることを特徴とする。

　また、請求項１０の発明に係る画像・音声再生装置にあっては、前記請求項２に記載した画像・音声再生装置において、さらに前記制御手段は、前記記録手段に前記静止画の撮影タイミング以後の音声が更に記録されている場合には、前記撮影タイミングが到来した後に、該撮影タイミング以後の音声をさらに再生放音させることを特徴とする。

　また、請求項１１の発明に係る画像・音声再生装置にあっては、前記請求項８に記載した画像・音声再生装置において、さらに前記制御手段は、前記記録手段に前記静止画の撮影タイミング以後の音声が更に記録されている場合には、前記撮影タイミングが到来した後に該撮影タイミング以後の音声を再生するとともに、前記表示手段の表示形態を徐々に変化させるものであることを特徴とする。

　また、請求項１２の発明に係る画像・音声再生装置にあっては、前記請求項１に記載した画像・音声再生装置において、前記制御手段による制御を有効とするか否かを指示決定する制御動作禁止手段をさらに有し、前記制御手段は、前記制御動作禁止手段によって前記制御手段による制御が禁止されていない場合にのみ、前記撮影タイミングが識別可能な態様で、前記表示手段による表示が行われるように制御することを特徴とする。

　また、請求項１３の発明に係る画像・音声再生装置にあっては、前記請求項１に記載した画像・音声再生装置において、さらに前記記録手段は、前記静止画と前記音声とを関連付けて複数組記録しているものであり、前記複数組の前記静止画と前記音声のうち、いずれかの組を指定する選択手段をさらに有し、前記音声再生手段は前記選択手段によって指定された音声を再生放音し、前記画像再生手段は前記選択手段によって指定された静止画を前記表示手段に再生表示するものであることを特徴とする

　また、請求項１４の発明に係る画像・音声再生装置にあっては、前記請求項１３に記載した画像・音声再生装置において、さらに前記選択手段によって指定された前記静止画と前記音声の組のデータ中に、前記静止画の撮影タイミングまでの音声が記録されているか否かを判断する判別手段をさらに有し、前記制御手段は、前記選択手段によって指定された前記静止画と前記音声の組のデータ中に、前記静止画の撮影タイミングまでの音声が記録されている場合にのみ、前記撮影タイミングが識別可能な態様で、前記表示手段による表示が行われるように制御することを特徴とする。

　また、請求項１５の発明に係る画像・音声再生装置にあっては、前記請求項１３に記載した画像・音声再生装置において、さらに前記制御手段は、前記複数組の前記静止画と前記音声のうち、前記静止画の撮影タイミングまでの音声が記録されているもののみを抽出して前記選択手段による指定の候補として提示する選択候補抽出手段をさらに有することを特徴とする

　また、請求項１６の発明に係る画像・音声再生装置にあっては、前記請求項１３に記載した画像・音声再生装置において、前記画像・音声再生装置はカメラであって、画像を撮影する撮像手段と、音声を録音する録音手段とをさらに有し、前記記録手段は、前記撮像手段によって撮影された画像と、前記録音手段によって録音された音声とを記録するものであることを特徴とする。

　以上のように、請求項１記載の発明によれば、撮影された静止画とこの静止画の撮影タイミングまでの音声とを再生する際、それらがどのような時間的関係にあるかを認識することができる。

　また、請求項２記載の発明によれば、記録手段に記録されている静止画の撮影タイミングまでの音声であって、撮影タイミングに対して過去の音声の再生放音が開始された後、前記撮影タイミングが到来した時点で、同様に記録されている静止画が再生表示される。よって、ユーザは静止画が再生表示されることによって、再生放音されている音声と再生表示された静止画の撮影時点との時間的関係を認識することができる。これにより、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができる。

　また、請求項３記載の発明によれば、表示される現時点における音声再生タイミングと撮影タイミングが到来するまでの時間的関係をユーザが視認することにより、ユーザに静止画が表示されるまでの期待感を与えることができ、これにより興趣性を高めることもできる。

　また、請求項４記載の発明によれば、表示される現時点における音声再生タイミングと撮影タイミングが到来するまでの時間的関係をユーザが視認することにより、再生放音されている音声と再生表示されている静止画の撮影時点との時間的関係を認識することができる。これにより、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができる。

　また、請求項６記載の発明によれば、ユーザは表示されている静止画の表示形態が変化したことを視認することによって、再生放音されている音声と再生表示されている静止画の撮影時点との時間的関係を認識することができる。これにより、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができる。

　また、請求項８記載の発明によれば、ユーザは表示されている静止画の表示形態が徐々に変化することを視認することによって、再生放音されている音声と再生表示されている静止画の撮影時点との時間的関係を期待感を持って認識することができる。これにより、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができるとともに、これにより興趣性を高めることもできる。

　また、請求項１０記載の発明によれば、ユーザは、記録手段に記録されている静止画の撮影タイミングまでの音声のみならず、さらにその静止画の撮影タイミング以後の音声の再生放音によっても、再生放音されている音声と再生表示されている静止画の撮影時点との時間的関係を認識することができる。これにより、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができるとともに、これにより興趣性を高めることもできる。

　また、請求項１１記載の発明によれば、ユーザは、記録手段に記録されている静止画の撮影タイミングまでの音声のみならず、さらにその静止画の撮影タイミング以後の音声の再生放音によっても、再生放音されている音声と再生表示されている静止画の撮影時点との時間的関係を認識することができる。また、さらにユーザは、その静止画の撮影タイミング以後も、静止画の表示形態が徐々に変化することを視認することによって、再生放音されている音声と再生表示されている静止画の撮影時点との時間的関係を余韻を持って認識することができる。これにより、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができるとともに、これにより興趣性を高めることもできる。

　また、請求項１２記載の発明によれば、ユーザは、本発明に係る画像・音声の再生を行うか否かを選択することができ、ユーザが希望する場合にのみ、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えるようにすることができる。

　また、請求項１３記載の発明によれば、ユーザは、複数の画像ファイルのなかから再生したい画像ファイルを選択することができ、この選択された画像ファイルについて本発明に係る画像・音声の再生を行って、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができる。

　また、請求項１４記載の発明によれば、ユーザが選択した画像に、前記静止画の撮影タイミングまでの音声が記録されている場合にのみ、本発明に係る画像・音声の再生を行って、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができる。

　また、請求項１５記載の発明によれば、本発明に係る画像・音声の再生を行うことができる画像ファイルのみを選択してユーザに提示することができるので、ユーザは各画像ファイルごとに静止画の撮影タイミングまでの音声が記録されているかとうかを意識する必要がなく、ユーザが選んだファイルに対して、常に音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができる。

　また、請求項１６記載の発明によれば、ユーザは、カメラで撮影した画像をその場で直ちに再生して確認することができ、しかも再生放音されている音声と再生表示されている静止画の撮影時点との時間的関係を認識することができるので、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができるとともに、これにより興趣性を高めることもできる。

　以下、本発明の一実施の形態を図にしたがって説明する。
　（第１の実施の形態）
　図１は、本発明の各実施の形態に共通する電子スチルカメラ１の概略構成を示すブロック図である。この電子スチルカメラ１は、切り換え可能な記録モードと再生モード等を備えたものであって、ＣＣＤ２とＤＳＰ／ＣＰＵ３とを有している。ＤＳＰ／ＣＰＵ３は、画像データの圧縮・伸張、音声データの処理を含む各種のデジタル信号処理機能を有するとともに電子スチルカメラ１の各部を制御するワンチップマイコンである。

　ＤＳＰ／ＣＰＵ３には、ＣＣＤ２を駆動するＴＧ（Timing Generator）４が接続されており、ＴＧ４には、ＣＣＤ２から出力される被写体の光学像に応じたアナログの撮像信号が入力するユニット回路５が接続されている。ユニット回路５は、入力した撮像信号を保持するＣＤＳと、その撮像信号を増幅するゲイン調整アンプ（ＡＧＣ）、増幅された撮像信号をデジタルの撮像信号に変換するＡ／Ｄ変換器（ＡＤ）から構成されており、ＣＣＤ２の出力信号はユニット回路５を経てデジタル信号としてＤＳＰ／ＣＰＵ３に送られる。

　ＤＳＰ／ＣＰＵ３には、表示装置６、キー入力部７、時計部８、音声処理部９が接続されるとともに、アドレス・データバス１０を介してバッファメモリ（ＤＲＡＭ）１１、内蔵フラッシュメモリ１２、着脱自在な保存メモリ１３が接続されている。

　バッファメモリ１１は、ＣＣＤ２により撮像された後デジタル化された被写体の画像データ等を一時保存するバッファであるとともに、音声データを循環記憶するリングバッファであり、ＤＳＰ／ＣＰＵ３のワーキングメモリとしても使用される。バッファメモリ１１に一時保存された画像データ及び音声データは、ＤＳＰ／ＣＰＵ３により圧縮（符号化）が行われ、最終的には所定のフォーマット（ＪＰＥＧ方式等）を備えた画像ファイルとして保存メモリ１３に記録される。内蔵フラッシュメモリ１２には、ＤＳＰ／ＣＰＵ３の動作プログラムや各部の制御に使用する各種データが記憶されており、ＤＳＰ／ＣＰＵ３は、前記動作プログラムに従い動作することにより、制御手段、再生制御手段、表示制御手段、音声制御手段、画像制御手段等として機能する。

　表示装置６は本発明の表示手段であり、カラーＬＣＤとその駆動回路とを含み、撮影待機状態にあるときにはＣＣＤ２によって撮像された被写体画像をスルー画像として表示し、記録画像の再生時には保存メモリ１３から読み出され伸張された記録画像を表示する。キー入力部７は、シャッタキー、電源キー、ＭＥＮＵキー、十字キー等の複数の操作キーを含み、使用者によるキー操作に応じたキー入力信号をＤＳＰ／ＣＰＵ３に出力する。時計部８は日付及び時刻をカウントするカレンダー機能と時計機能とを有しており、撮影動作時等に必要に応じて日付データ及び時刻データをＤＳＰ／ＣＰＵ３へ送る。また時計部８は、タイマーとしても用いられる。

　音声処理部９は、内蔵マイク、アンプ、Ａ／Ｄ変換器、内蔵スピーカ等を含み、音声付き撮影モードでの撮影時に内蔵マイクに入力した音声をデジタル信号に変換してＤＳＰ／ＣＰＵ３へ送る。ＤＳＰ／ＣＰＵ３へ送られた音声データは前記画像ファイルに埋め込まれて、保存メモリ１３に記録される。記録された音声データは対応する画像ファイルの画像データと共に再生され、内蔵スピーカから音声出力される。

　以上の構成からなる電子スチルカメラ１において、音声付き静止画撮影モードが設定されると、音声録音を常時行って、音声処理部９の内蔵マイクで検出されてデジタル信号に変換された音声データをバッファメモリ１１に循環記憶させる。シャッターキーが押下されると、静止画撮影処理を開始し、ＣＣＤ２により撮像された後デジタル化された被写体の画像データをバッファメモリ１１に一時保存させる。そして、これらバッファメモリ１１に一時保存した音声データと画像データとに基づき図２に示す画像ファイルを作成して、保存メモリ１３に記録する。

　すなわち図２は、シャッターキーが押下された撮影タイミングから所定秒間前までの音声データである過去の音声データと、撮影タイミングから所定秒間後までの音声データである未来の音声データとが付加されている画像ファイル２０を示すものである。この画像ファイル２０は、音声付フラグ２１、過去フラグ２２、未来フラグ２３、録音開始から撮影までの時間２４、録音時間２５、音声データ２６、及び画像データ２７を含んで構成される。音声付フラグ２１は当該画像ファイル２０が音声データ付きであるか否かを示し、過去フラグ２２は過去の音声データ付きであるか否かを示し、未来フラグ２３は未来の音声データ付きであるか否かを示す。録音開始から撮影までの時間２４は過去の音声データの録音時間を示し、録音時間２５は過去及び未来の音声データの合計録音時間であるが、過去の音声データのみが記録されている場合には、不要であって記録されない。音声データ２６は過去の音声データと未来の音声データとからなる一連の音声データであり、画像データ２７はバッファメモリ１１に一時保存されたシャッター操作時における被写体の静止画データである。したがって、保存メモリ１３には、シャッターキーが押下される都度、この画像ファイル２０が記録されていく。

　そして、再生モードが設定されると、ＤＳＰ／ＣＰＵ３は、表示装置６に上下キーの操作に応じて各画像ファイルが有する画像データに基づく画像を順次スクロール表示させ、ユーザの選択操作によりいずれかの画像の画像ファイルが選択されると、図３に示すフローチャートに従って処理を開始する。すなわち、音声付フラグ２１に基づき選択された画像の画像ファイルが音声付静止画ファイルであるか否かを判断する（ステップＳ１０１）。音声付静止画ファイルではなく、画像データ２７のみからなるファイルである場合には、画像データ２７に基づき表示装置６に静止画を再生表示させる（ステップＳ１０２）。

　また、ステップＳ１０１での判断の結果、音声付静止画ファイルである場合には、過去フラグ２２に基づき当該ファイルが過去の音声付きであるか否かを判断する（ステップＳ１０３）。このステップＳ１０３での判断の結果、過去の音声付きでない場合には、当該ファイルは未来の音声データのみが付加されている未来のみの音声付きである。そして、このように未来の音声データのみが付加されている場合には、この未来の音声データ２６に基づき音声を開始するとともに（ステップＳ１０４）、画像データ２７に基づき静止画を再生表示する（ステップＳ１０５）。

　したがって、このステップＳ１０４とＳ１０５での処理により、音声処理部９の内蔵スピーカからは、シャッター操作時からの未来の音声データに基づく音声が放音されると同時に、表示装置６にはこのシャッター操作時に撮影された画像が表示される。引き続き、未来の音声データに基づく音声再生が終了したか否かを判断し（ステップＳ１０６）、音声再生が終了するまで音声データ２６に基づく音声放音と、画像データ２７に基づく画像表示とを継続し、音声再生が終了した時点で画像表示も終了させる。

　一方、ステップＳ１０３での判断の結果、過去の音声付きであった場合には、音声データに基づき過去の音声の最初から再生を開始する（ステップＳ１０７）。この音声再生に際しては、過去の音声データの再生に要する時間が、「記録開始から撮影までの時間２４」として記録されている時間と精度よく一致するように再生を行う。次に、現時点における音声再生タイミングと前記撮影タイミングが到来するまでの時間的関係をカウントダウン表示する（ステップＳ１０８）。

　具体的には、画像ファイル２０が有する記録開始から撮影までの時間２４を最大値として表示装置６に数値表示した後、図４（ａ）に示すように、この数値３１を音声再生時間の経過に同期させて減少変更表示させる。又は、図４（ｂ）に示すように、記録開始から撮影までの時間２４を１００％として、現時点における再生開始からの経過時間Ｔを円グラフ３２により表示する。若しくは、図４（ｃ）に示すように、記録開始から撮影までの時間２４を１００％として、現時点における再生開始からの経過時間Ｔを棒グラフ３３により表示する等である。

　次に、撮影タイミングが到来したか否か、つまり過去の音声データの再生を開始してから「記録開始から撮影までの時間２４」が示す時間が経過したか否かを判断する（ステップＳ１０９）。そして、撮影タイミングが到来するまで前述のカウントダウン表示を継続し、撮影タイミングが到来したならば、未来フラグ２３に基づき、当該ファイルが未来の音声付きであるか否かを判断する（ステップＳ１１０）。未来の音声付きである場合には、当該画像ファイル２０の画像データ２７に基づき表示装置６に静止画を再生表示する（ステップＳ１１１）。

　したがって、音声付き静止画を再生した際には、過去の音声（当該静止画を撮影したときに既に録音されている撮影タイミングから前の音声）が音声処理部９の内蔵スピーカから放音された後、撮影タイミングに同期して撮影した静止画が表示装置６に表示されることとなる。したがって、ユーザは静止画が表示された時点で、再生放音されている音声と再生表示された静止画の撮影時点との時間的関係を認識することができる。これにより、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができる。しかも、静止画が表示されるまでのカウントダウン表示により、ユーザに期待感を与えることができ、これにより興趣性を高めることもできる。

　引き続き、音声データ（この時点では未来の音声データ）に基づく音声再生が終了したか否かを判断し（ステップＳ１１２）、音声再生が終了するまで音声データ２６に基づく音声放音と、画像データ２７に基づく画像表示とを継続し、音声再生が終了した時点で画像表示も終了させる。したがって、撮影タイミングに同期して撮影した静止画が表示装置６に表示された後に、未来の音声データに基づく音声が音声処理部９の内蔵スピーカから放音されることとなり、これによっても音声と画像の再生がドラマチックなものとなり、ユーザに撮影時の臨場感を与えることができる。

　また、ステップＳ１１０での判断の結果、未来の音声付きでない場合には、当該画像ファイル２０の画像データ２７に基づき表示装置６に静止画を再生表示する（ステップＳ１１３）。したがって、音声データ２６として過去の音声データのみが記録されていた場合には、過去の音声の再生終了と同時にこのタイミングで撮影した静止画が表示装置６に表示されることとなる。

　なお、この実施の形態においては未来の音声データが存在する場合（ステップＳ１１０；ＹＥＳ）、撮影タイミングが到来して画像を表示した後、音声データ（未来の音声データ）の再生を終了するまで、画像の表示を継続するようにしたが、撮影タイミングのみで画像を再生表示させるようにしてもよい。また、ステップＳ１０８で表示装置６にカウントダウン表示させるようにしたが、カウントダウン表示を行わずに、撮影タイミングで突然静止画を表示させるようにしてもよく、これによっても音声と画像の再生をドラマチックなものにすることができる。

　（第２の実施の形態）
　図５は、本発明の第２の実施の形態におけるＤＳＰ／ＣＰＵ３の処理手順を示すフローチャートである。前述と同様に再生モードが設定されると、ＤＳＰ／ＣＰＵ３は、表示装置６に上下キーの操作に応じて各画像ファイルが有する画像データに基づく画像を順次スクロール表示させ、ユーザの選択操作により過去の音声付き静止画を含む画像ファイルが選択されると、図５に示すフローチャートに従って処理を開始する。すなわち、音声データに基づき過去の音声の最初から再生を開始する（ステップＳ２０１）。この音声再生に際しては、過去の音声データの再生に要する時間が、「記録開始から撮影までの時間２４」として記録されている時間と精度よく一致するように再生を行う。

　次に、当該画像ファイル２０の画像データ２７に基づき表示装置６に静止画を再生表示すると同時に、現時点における音声再生タイミングと前記撮影タイミングが到来するまでの時間的関係をカウントダウン表示する（ステップＳ２０２）。

　具体的には、図６（ａ）に示すように、表示装置６の静止画Ｐが表示されている画面の一部に、画像ファイル２０が有する記録開始から撮影までの時間２４を最大値として数値表示した後、この数値３１を音声再生時間の経過に伴って減少変更表示させる。したがって、この場合にはユーザは数値３１が「０」となった時点が、今表示されている静止画Ｐの撮影タイミングであったことを認識することができる。

　又は、図６（ｂ）に示すように、表示装置６の静止画Ｐが表示されている画面の一部に、記録開始から撮影までの時間２４を１００％として、現時点における再生開始からの経過時間Ｔを円グラフ３２により表示する。したがって、この場合にはユーザは円グラフ３２の円が全て塗りつぶされた時点が、今表示されている静止画Ｐの撮影タイミングであったことを認識することができる。

　若しくは、図６（ｃ）に示すように、表示装置６の静止画Ｐが表示されている画面の一部に、記録開始から撮影までの時間２４を１００％として、現時点における再生開始からの経過時間Ｔを棒グラフ３３により表示する。したがって、この場合にはユーザは棒グラフ３３の棒が全て塗りつぶされた時点が、今表示されている静止画Ｐの撮影タイミングであったことを認識することができる。

　引き続き、当該画像ファイル２０の音声データ２６に基づく音声再生が終了したか否かを判断し（ステップＳ２０３）、終了していない場合にはステップＳ２０２の処理を繰り返す。このとき、ステップＳ２０２において、当該画像ファイル２０に未来の音声データが記録されている場合には、未来の音声データの再生を開始した時点からカウントアップ表示に切り換える。

　したがって、図６（ａ）の表示形態の場合、未来の音声データの再生が開始された時点から、数値３１が増加することとなり、これによりユーザは未来の音声データの再生が開始されたことを認識することができる。また、図６（ｂ）の表示形態の場合、未来の音声データの再生が開始された時点から、円グラフ３２の塗りつぶされた部分が徐々に減少することとなる。また、図６（ｃ）の表示形態の場合、未来の音声データの再生が開始された時点から、棒グラフ３３の塗りつぶされた部分が徐々に減少することとなり、これらによりユーザは未来の音声データの再生が開始されことを認識することができる。そして、当該画像ファイル２０の音声データ２６に基づく音声再生が終了したならば、このフローに従った処理を終了する。

　（第３の実施の形態）
　図７は、本発明の第３の実施の形態におけるＤＳＰ／ＣＰＵ３の処理手順を示すフローチャートである。前述と同様に再生モードが設定されると、ＤＳＰ／ＣＰＵ３は、表示装置６に上下キーの操作に応じて各画像ファイルが有する画像データに基づく画像を順次スクロール表示させ、ユーザの選択操作により過去の音声付き静止画を含む画像ファイルが選択されると、図７に示すフローチャートに従って処理を開始する。すなわち、音声データに基づき過去の音声の最初から再生を開始する（ステップＳ３０１）。この音声再生に際しては、過去の音声データの再生に要する時間が、「記録開始から撮影までの時間２４」として記録されている時間と精度よく一致するように再生を行う。

　次に、当該画像ファイル２０の画像データ２７に基づき表示装置６に静止画を再生表示し（ステップＳ３０２）、これにより図８（ａ）に示すように、表示装置６には静止画Ｐが表示されることとなる。次に、撮影タイミングが到来したか否か、つまり過去の音声データの再生を開始してから「記録開始から撮影までの時間２４」が示す時間が経過したか否かを判断する（ステップＳ３０３）。そして、撮影タイミングが到来するまで静止画再生表示を継続し、撮影タイミングが到来したならば、特殊表示処理を実行する（ステップＳ３０４）。

　この特殊表示処理は、図８（ａ）に示した静止画Ｐが表示されている状態から、例えば同図（ｂ）に示すように、表示装置６の画面上下に黒色部分３４、３４を表示させ、同図（ｃ）に示すように、この黒色部分３４、３４の幅を中央部に向かって増大させ、同図（ｄ）に示すように、最終的には表示装置６の全画面を黒色とする表示変化を瞬間的に行うことにより、恰もシャッターが切れたような画面表示を行う。したがって、このシャッターが切れたような画面表示により、ユーザは再生放音されている音声と再生表示されている静止画の撮影時点との時間的関係を認識することができる。これにより、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができる。なお、この特殊表示処理は、図８に示した例に限らず、撮影タイミングが到来した時点でフラッシュ画面表示を行ったり、アイコン表示やメッセージ表示を行う等、要は撮影タイミング前の静止画Ｐと撮影タイミングが到来した時点の表示形態とで異なれば如何なる表示形態であってもよい。

　引き続き、未来フラグ２３に基づき、当該ファイルが未来の音声付きであるか否かを判断する（ステップＳ３０５）。未来の音声付きである場合には、当該画像ファイル２０の画像データ２７に基づき表示装置６に静止画を再生表示する（ステップＳ３０６）。つまり、図８（ｄ）に示した表示装置６の全画面が黒色となっている状態から、図８（ａ）に示した静止画Ｐが表示されている状態に戻す。したがって、再度静止画Ｐが表示されることにより、ユーザは未来の音声データの再生が開始されたことを認識することができる。

　引き続き、音声データ（この時点では未来の音声データ）に基づく音声再生が終了したか否かを判断し（ステップＳ３０７）、音声再生が終了するまで音声データ２６に基づく音声放音と、画像データ２７に基づく画像表示とを継続し、音声再生が終了した時点で画像表示も終了させる。なお、ステップＳ３０５で、未来の音声付きでないと判断された場合には、このフローに従った処理を終了する。

　（第４の実施の形態）
　図９は、本発明の第４の実施の形態におけるＤＳＰ／ＣＰＵ３の処理手順を示すフローチャートである。前述と同様に再生モードが設定されると、ＤＳＰ／ＣＰＵ３は、表示装置６に上下キーの操作に応じて各画像ファイルが有する画像データに基づく画像を順次スクロール表示させ、ユーザの選択操作により過去の音声付き静止画を含む画像ファイルが選択されると、図９に示すフローチャートに従って処理を開始する。すなわち、音声データに基づき過去の音声の最初から再生を開始する（ステップＳ４０１）。この音声再生に際しては、過去の音声データの再生に要する時間が、「記録開始から撮影までの時間２４」として記録されている時間と精度よく一致するように再生を行う。また、ステップＳ４０１における音声再生の開始とともに、当該画像ファイル２０の画像データ２７に基づき、表示装置６に静止画を所定のサイズで縮小表示する。

　次に、当該画像ファイル２０の画像データ２７に基づき、静止画再生サイズを徐々に拡大しつつ表示装置６に静止画を再生表示する（ステップＳ４０２）。これにより、表示装置６には音声再生の時間経過に伴って拡大変化する静止画が表示されることとなる。次に、撮影タイミングが到来したか否か、つまり過去の音声データの再生を開始してから「記録開始から撮影までの時間２４」が示す時間が経過したか否かを判断する（ステップＳ４０３）。そして、撮影タイミングが到来するまで表示装置６に表示されている静止画の拡大変化を継続し、撮影タイミングが到来したならば、静止画をフルサイズ表示する（ステップＳ４０４）。したがって、静止画がフルサイズ表示されることにより、ユーザは再生放音されている音声と再生表示されている静止画の撮影時点との時間的関係を認識することができる。これにより、ユーザに音声と画像とによるドラマチック感を与えたり、記録時の臨場感を与えることができる。

　引き続き、未来フラグ２３に基づき、当該ファイルが未来の音声付きであるか否かを判断する（ステップＳ４０５）。未来の音声付きである場合には、前述のステップＳ４０４でフルサイズ表示させた静止画の静止画再生サイズを徐々に縮小変化させる（ステップＳ４０６）。したがって、表示装置６に表示されている静止画が縮小変化することにより、ユーザは未来の音声データの再生が開始されことを認識することができる。

　さらに、音声データ（この時点では未来の音声データ）に基づく音声再生が終了したか否かを判断し（ステップＳ４０７）、音声再生が終了するまで音声データ２６に基づく音声放音と、表示装置６に表示されている静止画の縮小変化とを継続し、音声再生が終了した時点で静止画の表示を終了してこのフローに従った処理を終了させる。

　この第４の実施形態において、静止画の表示サイズが撮影タイミングの前後で徐々に変わる様子を図１０に示した。

　まず、ステップＳ４０１で音声の再生が開始されるのと同時に表示装置６には、図１０（ａ）のように画像ファイル２０の画像データ２７に基づいた静止画が、所定のサイズに縮小されて表示される。

　続いて、音声の再生を行いながら、それに伴なって図１０（ｂ）のように、徐々に静止画の表示サイズを大きくしていく。そして、ステップＳ４０３で、音声の再生が静止画を撮影したタイミングまで実行されたと判断されたとき、表示装置６には、図１０（ｃ）に示すように静止画をフルサイズで表示する。

　さらに、再生している画像ファイルに未来の音声、ずなわち撮影タイミング以降の音声がさらに付いている場合には、この音声の再生を続けながら、図１０（ｄ）に示すように、静止画の表示サイズを徐々に小さくしていく。そして、未来の音声が終了した時点で、図１０（ｅ）のように縮小された静止画が表示されて、本実施形態における処理を終了する。

　なお、静止画のサイズを任意に変更して表示するためには、例えば、補間などの広く知られた技術を用いて画素を間引きすることによって、画素数を減らすなどの方法を用いればよい。

　また、音声の再生に連れて、どのような比率で拡大縮小するかについても、種々の手法が考えられる。例えば、あらかじめ、音声再生開始当初の静止画の表示サイズが定められているような場合は、画像ファイル２０の録音開始から撮影までの時間データから撮影のタイミングで静止画が最大サイズの表示となるように、一定の比率で拡大していくようにすることができる。この場合、一辺の長さが一定の比率で拡大していくようにすることも可能であるし、表示面積が一定の比率で拡大していくようにすることも可能である。

　さらに、あらかじめ定められている一定の拡大比率で、拡大縮小していくことも可能である。この場合、録音開始から撮影までの時間によっては、図１０（ｃ）で必ずしも静止画を最大サイズで表示することにならないかもしれないが、その場合でも、撮影タイミングを経過した時点で拡大から縮小へと処理を変化させることが望ましい。また、反対に撮影タイミングが到来するまでに、静止画の画像サイズが最大サイズになってしまうかもしれないが、その場合は、撮影タイミングが到来するまで、最大サイズのままで表示を続けるようにしてもよい。

　また、本実施形態では、音声の再生開始とともに静止画の表示を開始するものとして説明したが、必ずしもこれに限られることはなく、撮影タイミングの前後それぞれに、あらかじめ定められた時間だけ静止画の拡大・縮小表示をするようにしてもよい。

　なお、この実施の形態においては、表示装置６に表示させた静止画の再生サイズを徐々に変化させるようにしたが、これに限らず、例えば撮影タイミングが到来するまで徐々に画像の鮮明度を上げ、撮影タイミングが到来した後鮮明度を下げたり、撮影タイミングが到来するまでモノクロからカラー変化させ、撮影タイミングが到来した後逆にカラーからモノクロに変化させる等、画像加工処理の度合いを徐々に変化させるものであれば、如何なる変化形態であってもよい。

　（第５の実施の形態）

　図１１は、本発明の第５の実施の形態におけるＤＳＰ／ＣＰＵ３の処理手順を示すフローチャートである。

　本実施の形態では、まず、ユーザーからの画像再生方法の指定入力が受け付けられる（ステップＳ５０１）。すなわち、本発明に係る画像・音声の再生を行うか、それともそれ以外の通常の再生を行うかがユーザによって指定される。

　続いて、本発明に係る画像・音声の再生を行うか、通常の再生を行うかのいずれの指定がなされたかを判断し（ステップＳ５０２）、通常の再生を行うよう指定されていた場合は、表示装置６にファイル名を列挙表示する等の方法によって記録手段に記録されているファイルを一覧表示し（ステップＳ５０３）、ユーザから再生ファイルが選択されるのを待つ（ステップＳ５０４）。そして、ユーザによって再生ファイルが選択されると、その選択された画像ファイルの画像データと音声データを再生して（ステップＳ５０５）、このフローに従った処理を終了させ、これにより、通常の画像ファイルの再生が行われる。

　一方、ステップＳ５０２で、通常の画像再生ではなく本発明に係る画像・音声の再生を行うよう指定されていると判断された場合には、まず、カウンタｎを１とし（ステップＳ５０６）、ｎ番目の画像ファイルすなわち第１番目の画像ファイルに静止画撮影タイミングより前の音声データが記録されているか否かを調べる（ステップＳ５０７）。

　もしこの第１番目の画像ファイルに、静止画撮影タイミングより前の音声データが記録されていた場合、この第１番目の画像ファイルは以下に述べるステップＳ５１１で選択候補のファイルとするために、選択候補ファイル一覧リストにそのファイル名あるいはカウンタｎの値などを一時記憶させておき（ステップＳ５０８）、全てのファイルが終了したかどうかの判断を行う（ステップＳ５０９）。

　一方、もしこの第１番目の画像ファイルに、静止画撮影タイミングより前の音声データが記録されていなかった場合には、選択候補ファイル一覧リストへの登録は行わずに、全てのファイルが終了したかどうかの判断を行う（ステップＳ５０９）。

　そして、全てのファイルについて、静止画撮影タイミングより前の音声データが記録されているか否かを調べ終わるまで、カウンタｎを１づつ増加させながら（ステップＳ５１０）、ステップＳ５０７からステップＳ５０９の処理をループすることによって、各画像ファイルを順次調べていく。

　そして、ステップＳ５０９で、全てのファイルについて静止画撮影タイミングより前の音声データが記録されているか否かを調べ終わったと判断されたならば、選択候補ファイル一覧リストに記憶されている選択候補ファイルを読み出してそのファイル名を列挙するなどの方法でユーザーに提示し（ステップＳ５１１）、ユーザから再生ファイルが選択されるのを待つ（ステップＳ５１２）。

　そして、ユーザによって再生ファイルが選択されると、その選択された画像ファイルについて、すでに説明した本発明の各実施形態による画像と音声の再生処理を行い（ステップＳ５１３）、このフローに従った処理を終了させる。

　なお、ステップＳ５１３に示した本発明に係る画像・音声再生処理は、本発明の各実施の形態において説明しているので、ここでは説明を省略する。

　また、各実施の形態においては、図２に示したように、１つの画像ファイルに音声データ２６と画像データ２７とが記録されている画像ファイル２０からの再生を行う場合を示したが、音声ファイルと画像ファイルとが個別に作成され、両ファイルが関連付けて記録された記録形式等、再生対象となるファイルの記録形式は如何なるものであってもよい。

　また、各実施の形態においては、本発明を電子スチルカメラの再生モードに適用した場合について説明したが、カメラ付き携帯電話、カメラ付きＰＤＡ、カメラ付きノートパソコン等における再生機能に本発明を適用したり、撮影機能が付いていない再生機能のみを有する携帯電話、ＰＤＡ、パソコン等に本発明を適用してもよく、要は画像及び音声を再生することが可能な機器であれば本発明を適用することができる。

本発明の各実施の形態に共通する電子スチルカメラのブロック図である。 画像ファイルのファイル構成図である。 第１の実施の形態における再生モード時の処理手順を示すフローチャートである。 同実施の形態における表示例を示す図である。 第２の実施の形態における再生モード時の処理手順を示すフローチャートである。 同実施の形態における表示例を示す図である。 第３の実施の形態における再生モード時の処理手順を示すフローチャートである。 同実施の形態における表示遷移図である。 第４の実施の形態における再生モード時の処理手順を示すフローチャートである。 同実施の形態における表示遷移の例を示す図である。 第５の実施の形態における再生モード時の処理手順を示すフローチャートである。

符号の説明

　　１　　電子スチルカメラ
　　２　　ＣＣＤ
　　３　　ＤＳＰ／ＣＰＵ
　　４　　ＴＧ
　　５　　ユニット回路
　　６　　表示装置
　　７　　キー入力部
　　８　　時計部
　　９　　音声処理部
　　１０　　データバス
　　１１　　バッファメモリ
　　１２　　内蔵フラッシュメモリ
　　１３　　保存メモリ
　　２０　　画像ファイル
　　２１　　音声付フラグ
　　２２　　過去フラグ
　　２３　　未来フラグ
　　２６　　音声データ
　　２７　　画像データ
　　Ｐ　　静止画

Claims (22)

1. 　表示手段と、
   　撮影された静止画と、この静止画の撮影タイミングまでの音声と、前記音声中における前記静止画の撮影タイミングを表す情報と、を記録する記録手段と、
   　前記音声を再生放音する音声再生手段と、
   　前記静止画を前記表示手段に再生表示する画像再生手段と、
   　前記音声再生手段による音声の再生放音と前記画像再生手段による画像の再生表示の際に、前記記録手段に記録された前記音声中における前記静止画の撮影タイミングを表す情報に基づき、該撮影タイミングが識別可能な態様で、前記表示手段による表示が行われるように制御する制御手段とを備えることを特徴とする画像・音声再生装置。
2. 　前記制御手段は、前記音声再生手段が前記音声の再生放音を開始した後、前記撮影タイミングが到来した時点で、前記静止画を前記表示手段に再生表示させるように前記画像再生手段を制御するものであることを特徴とする請求項１記載の画像・音声再生装置。
3. 　前記制御手段は、前記音声中における前記静止画の撮影タイミングを表す情報に基づき、前記音声再生手段の現時点における音声再生タイミングと前記撮影タイミングが到来するまでの時間的関係を前記表示手段に表示するように制御するものであることを特徴とする請求項２記載の画像・音声再生装置。
4. 　前記制御手段は、前記音声中における前記静止画の撮影タイミングを表す情報に基づき、前記音声再生手段の現時点における音声再生タイミングと前記撮影タイミングが到来するまでの時間的関係を前記表示手段に表示するように制御するものであることを特徴とする請求項１記載の画像・音声再生装置。
5. 　前記表示手段に表示される時間的関係の表示は、前記静止画とともに棒グラフ、円グラフ、数字の少なくとも１つを表示するものであることを特徴とする請求項４記載の画像・音声再生装置。
6. 　前記制御手段は、前記音声再生手段が前記音声の再生放音を開始した後、前記撮影タイミングが到来した時点で、前記表示手段の表示を異なる表示形態に変更するものであることを特徴とする請求項１記載の画像・音声再生装置。
7. 　前記異なる表示形態は、前記撮影タイミングが到来した時点で前記表示手段に表示されていた前記静止画を、一時的に別の画像で上書き表示するものであることを特徴とする請求項６記載の画像・音声再生装置。
8. 　前記制御手段は、前記音声再生手段が前記音声の再生放音を開始した後、前記撮影タイミングが到来するまで、前記表示手段の表示形態を徐々に変化させるものであることを特徴とする請求項１記載の画像・音声再生装置。
9. 　前記制御手段は、前記音声再生手段が前記音声の再生放音を開始した際に前記表示手段に前記静止画を縮小して表示させ、その後前記撮影タイミングが到来するまで、前記表示手段に表示されている前記静止画を徐々に拡大していくものであることを特徴とする請求項８に記載の画像・音声再生装置。
10. 　前記制御手段は、前記記録手段に前記静止画の撮影タイミング以後の音声が更に記録されている場合には、前記撮影タイミングが到来した後に、該撮影タイミング以後の音声をさらに再生放音させることを特徴とする請求項２記載の画像・音声再生装置。
11. 　前記制御手段は、前記記録手段に前記静止画の撮影タイミング以後の音声が更に記録されている場合には、前記撮影タイミングが到来した後に該撮影タイミング以後の音声を再生するとともに、前記表示手段の表示形態を徐々に変化させるものであることを特徴とする請求項８記載の画像・音声再生装置。
12. 　前記制御手段による制御を有効とするか否かを指示決定する制御動作禁止手段をさらに有し、
    　前記制御手段は、前記制御動作禁止手段によって前記制御手段による制御が禁止されていない場合にのみ、前記撮影タイミングが識別可能な態様で、前記表示手段による表示が行われるように制御することを特徴とする請求項１記載の画像・音声再生装置。
13. 　前記記録手段は、前記静止画と前記音声とを関連付けて複数組記録しているものであり、
    　前記複数組の前記静止画と前記音声のうち、いずれかの組を指定する選択手段をさらに有し、
    　前記音声再生手段は前記選択手段によって指定された音声を再生放音し、
    　前記画像再生手段は前記選択手段によって指定された静止画を前記表示手段に再生表示するものであることを特徴とする請求項１記載の画像・音声再生装置。
14. 　前記選択手段によって指定された前記静止画と前記音声の組のデータ中に、前記静止画の撮影タイミングまでの音声が記録されているか否かを判断する判別手段をさらに有し、
    　前記制御手段は、前記選択手段によって指定された前記静止画と前記音声の組のデータ中に、前記静止画の撮影タイミングまでの音声が記録されている場合にのみ、前記撮影タイミングが識別可能な態様で、前記表示手段による表示が行われるように制御することを特徴とする請求項１３記載の画像・音声再生装置。
15. 　前記制御手段は、前記複数組の前記静止画と前記音声のうち、前記静止画の撮影タイミングまでの音声が記録されているもののみを抽出して前記選択手段による指定の候補として提示する選択候補抽出手段をさらに有することを特徴とする請求項１３記載の画像・音声再生装置。
16. 　前記画像・音声再生装置はカメラであって、
    　画像を撮影する撮像手段と、
    　音声を録音する録音手段とをさらに有し、
    　前記記録手段は、前記撮像手段によって撮影された画像と、前記録音手段によって録音された音声とを記録するものであることを特徴とする請求項１記載のカメラ。
17. 　表示手段と記録手段を有するコンピュータに、
    　前記記録手段から、撮影された静止画と、この静止画の撮影タイミングまでの音声とを読み出すステップと、
    　前記読み出された音声を再生放音するとともに、これと並行して前記読み出された静止画を前記表示手段に再生表示するステップと、
    　前記音声の再生放音と前記画像の再生表示の際に、前記記録手段に記録された前記音声中における前記静止画の撮影タイミングを表す情報に基づき、該撮影タイミングが識別可能な態様で、前記表示手段による表示が行われるように制御するステップとを実行させるプログラム。
18. 　前記制御ステップは、前記音声の再生放音ステップが開始された後、前記撮影タイミングが到来した時点で、前記静止画を前記表示手段に再生表示させるもの（ステップ）であることを特徴とする請求項１７記載のプログラム。
19. 　前記制御ステップは、前記記録手段に記録された前記音声中における前記静止画の撮影タイミングを表す情報に基づき、前記音声の再生放音ステップにおける現在の音声再生タイミングと、前記撮影タイミングが到来するまでの時間的関係を前記表示手段に表示するように制御するものであることを特徴とする請求項１７記載のプログラム。
20. 　前記制御ステップは、前記音声の再生放音ステップが開始された後、前記撮影タイミングが到来した時点で、前記画像を再生表示させるステップで再生表示されている画像を異なる表示形態に変更するものであることを特徴とする請求項１７記載のプログラム。
21. 　前記制御ステップは、前記音声の再生放音ステップが開始された後、前記撮影タイミングが到来するまで、前記表示手段の表示形態を徐々に変化させるものであることを特徴とする請求項１７記載のプログラム。
22. 　記録手段から、撮影された静止画と、この静止画の撮影タイミングまでの音声とを読み出す手順と、
    　前記読み出された音声を再生放音するとともに、これと並行して前記読み出された静止画を前記表示手段に再生表示する手順と、
    　前記音声の再生放音と前記画像の再生表示の際に、前記記録手段に記録された前記音声中における前記静止画の撮影タイミングを表す情報に基づき、該撮影タイミングが識別可能な態様で、前記表示手段による表示が行われるように制御する手順とを有することを特徴とする画像・音声再生方法。
    

Images