JP2012191502A - Recording device, playback device, and recording/playback device - Google Patents
Recording device, playback device, and recording/playback device Download PDFInfo
- Publication number
- JP2012191502A JP2012191502A JP2011054351A JP2011054351A JP2012191502A JP 2012191502 A JP2012191502 A JP 2012191502A JP 2011054351 A JP2011054351 A JP 2011054351A JP 2011054351 A JP2011054351 A JP 2011054351A JP 2012191502 A JP2012191502 A JP 2012191502A
- Authority
- JP
- Japan
- Prior art keywords
- sound
- data
- image data
- recording
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、画像に演出を加えて再生することを可能とする記録装置、再生装置及び記録再生装置に関する。 The present invention relates to a recording apparatus, a reproducing apparatus, and a recording / reproducing apparatus that can reproduce an image with an effect.
動画等の画像データの再生では、例えばレコーダにより音声データ等を使用して被写体の場面の盛り上がりを検出し、この盛り上がった場面の動画を重点的に再生する技術が知られている。又、動画等の画像データを再生する技術としては、音声のみを解析し、この解析結果に応じて動画の再生スピードを変化させるＤＶＤレコーダや、再生している静止画又は動画に音楽を演奏しているような雰囲気を付加する空オケ（歌のないオーケストラ）の装置等がある。 In the reproduction of image data such as a moving image, a technique is known in which, for example, an audio data or the like is detected by a recorder to detect the rising of the scene of the subject, and the moving image of the increased scene is intensively reproduced. In addition, as a technique for reproducing image data such as a moving image, a DVD recorder that analyzes only the sound and changes the reproduction speed of the moving image according to the analysis result, or plays music on the still image or moving image that is being reproduced. There is a device of an empty orchestra (orchestra without a song) that adds an atmosphere like that.
しかしながら、動画等の画像データを再生するときに、盛り上がった場面の動画を重点的に再生したり、動画の再生スピードを変化させる、音楽を付加するなどでは、再生する動画等の画像データを鑑賞するのに単調になり易い。
本発明の目的は、単調になり易い動画等の画像データを再生する時に、撮影画像データそのものに撮影時の状況に合った各種の演出用の画像処理を付加して価値の高い画像再生を可能とする記録装置、再生装置及び記録再生装置を提供することにある。
However, when playing back image data such as a movie, if you want to play the movie in a lively scene, change the playback speed of the movie, add music, etc. It tends to be monotonous to do.
The object of the present invention is to enable high-value image reproduction by adding image processing for various effects suitable for the situation at the time of photographing to the photographed image data itself when reproducing image data such as a moving picture that tends to be monotonous. A recording apparatus, a reproducing apparatus, and a recording / reproducing apparatus.
本発明の主要な局面に係る記録装置は、撮像により取得された画像データを記録すると共に、当該画像データの取得と共に録音される前記撮像時の音声データを記録するデータ記録部と、前記撮像時のシーンモードを設定するシーンモード設定部と、前記シーンモード設定部により設定された前記シーンモードに応じて前記データ記録部に記録されている前記音声データの少なくとも発生時刻を解析する音声解析部とを具備する。 A recording apparatus according to a main aspect of the present invention records image data acquired by imaging, records a voice data at the time of imaging that is recorded together with acquisition of the image data, and at the time of imaging A scene mode setting unit for setting the scene mode, and an audio analysis unit for analyzing at least the generation time of the audio data recorded in the data recording unit according to the scene mode set by the scene mode setting unit; It comprises.
本発明の主要な局面に係る再生装置は、撮像により取得された画像データを表示する表示部と、前記画像データの取得と共に収集される前記撮像時の音声データを解析して取得される少なくとも発生時刻を含む音声解析データに従って前記表示部に表示中の前記画像データに対して前記撮像時のシーンモードに応じた各種の演出用画像処理を行う画像処理部と、前記画像処理部の前記演出用画像処理により得られた前記画像データを前記表示部に表示する再表示部とを具備する。 A playback device according to a main aspect of the present invention includes a display unit that displays image data acquired by imaging, and at least an occurrence that is acquired by analyzing audio data at the time of imaging collected together with the acquisition of the image data An image processing unit that performs various types of image processing for effects corresponding to the scene mode at the time of image capturing on the image data being displayed on the display unit in accordance with audio analysis data including time, and for the effects of the image processing unit A re-display unit that displays the image data obtained by image processing on the display unit.
本発明の主要な局面に係る記録再生装置は、撮像により取得された画像データを表示する表示部と、撮像により取得された画像データを記録すると共に、当該画像データの取得と共に録音される前記撮像時の音声データを記録するデータ記録部と、前記撮像時のシーンモードを設定するシーンモード設定部と、前記シーンモード設定部により設定された前記シーンモードに応じて前記データ記録部に記録されている前記音声データの少なくとも発生時刻を解析する音声解析部と、前記音声解析部の解析により取得された前記音声解析データに従って前記画像データに対して前記撮像時のシーンモードに応じた各種の演出用画像処理を行う画像処理部と、前記画像処理部の前記演出用画像処理により得られた前記画像データを前記表示部に表示する再表示部とを具備する。 A recording / reproducing apparatus according to a main aspect of the present invention includes a display unit that displays image data acquired by imaging, and the imaging that records image data acquired by imaging and that is recorded together with acquisition of the image data. Recorded in the data recording unit according to the scene mode set by the scene mode setting unit, and a scene mode setting unit for setting the scene mode at the time of imaging A voice analysis unit that analyzes at least the generation time of the voice data, and for various effects according to the scene mode at the time of imaging with respect to the image data according to the voice analysis data acquired by the analysis of the voice analysis unit An image processing unit that performs image processing, and the image data obtained by the effect image processing of the image processing unit are displayed on the display unit ; And a re-display unit that.
本発明によれば、単調になり易い動画等の画像データを再生する時に、撮影画像データそのものに撮影時の状況に合った各種の演出用の画像処理を付加して価値の高い画像再生を可能とする記録装置、再生装置及び記録再生装置を提供できる。 According to the present invention, when reproducing image data such as a moving image that tends to be monotonous, high-value image reproduction is possible by adding image processing for various effects suitable for the situation at the time of photographing to the photographed image data itself. A recording apparatus, a reproducing apparatus, and a recording / reproducing apparatus can be provided.
［第１の実施の形態］
以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は記録再生装置の構成図を示す。レンズユニット１は、撮影レンズやフォーカスレンズを含み、被写体からの光をＣＣＤ等から成る撮像素子２に結像する。このレンズユニット１のフォーカスレンズは、アクチュエータ２の動作によって当該レンズユニット１の光軸方向に移動する。アクチュエータ駆動回路３は、アクチュエータ２を駆動してフォーカスレンズを光軸方向に移動させる。
撮像素子４は、レンズユニット１により結像された被写体像を映像信号として出力する。撮像回路５は、撮像素子４から出力された映像信号のゲインを調整し、アナログ−デジタル変換し、画像データとして出力する。この撮像回路５から出力された画像データは、ＣＰＵ６に送られる。
[First Embodiment]
Hereinafter, a first embodiment of the present invention will be described with reference to the drawings.
FIG. 1 shows a configuration diagram of a recording / reproducing apparatus. The
The
このＣＰＵ６は、本装置における記録再生の一連の動作の制御を行う。このＣＰＵ６には、キーマトリクス７と、フレームメモリ８と、記録媒体９と、予め記録再生プログラム等を記憶するためのＥＥＰＲＯＭ１０と、フラッシュランプを含む発光回路１１と、本装置の周囲環境の音響をステレオで集音するためのステレオマイクロフォーン１２と、手振れ補正用ジャイロセンサ１３と、スピーカ１４と、ＬＣＤ表示回路１５と、ＴＦＴ液晶駆動回路１６と、映像出力回路１７と、バックライトユニット１８と、電源回路１９と、電池状態検出回路２０とが接続されている。
The
キーマトリクス７は、動画ボタン７−１と、レリーズボタン７−２とを備えると共に、その他に、例えば電源スイッチ、静止画の撮影モード等の各種動作モードの動作モードボタン、各種のシーンモードの設定用のボタン、バッテリー交換ボタン等を備える。動作モードボタンは、静止画の撮影モードや、動画の撮影モード、静止画の再生モード、動画の再生モード等を設定する。シーンモードの設定用のボタンは、例えばスポーツ、ポートレート、花火、風景、ペット等のシーンモードを設定する。又、キーマトリクス７は、再生モード時に、再生する静止画ファイル又は動画ファイルを選択するための再生選択ボタンを備える。
The
フレームメモリ８は、撮像回路５からＣＰＵ６に送られた画像データから１フレームの画像データを一時的に記憶する。
記録媒体９は、ＣＰＵ６の画像処理により取得された例えば静止画ファイルや動画ファイル、音声ファイルを記録する。
ＥＥＰＲＯＭ１０には、本装置における記録再生の一連の動作を制御するための記録再生プログラムが予め記憶されている。又、この記録再生プログラムは、撮像により取得された画像ファイルを記録すると共に、この画像ファイルの取得と共に録音される撮像時の音声ファイルを記録し、撮像時のシーンモードに応じて音声ファイルの少なくとも発生時刻を解析する。
The
The recording medium 9 records, for example, a still image file, a moving image file, and an audio file acquired by the image processing of the
The EEPROM 10 stores in advance a recording / reproducing program for controlling a series of recording / reproducing operations in this apparatus. The recording / playback program records an image file acquired by imaging, records an audio file at the time of imaging that is recorded together with the acquisition of the image file, and at least the audio file according to the scene mode at the time of imaging. Analyze the time of occurrence.
発光回路１１は、フラッシュランプを閃光発光する。
ステレオマイクロフォーン１２は、本装置の周囲環境の音響をステレオで集音するために例えば２つのマイクロフォーンを有する。
手振れ補正用ジャイロセンサ１３は、本装置に加えられる振動を検出し、その振動検出信号を出力する。
スピーカ１４は、本装置の記録されている音声ファイル中の音声データを音響に変換出力する。
ＬＣＤ表示回路１５には、例えばファインダ用の液晶ディスプレイ（ＬＣＤ）パネル２１が接続されている。このＬＣＤ表示回路１５は、ファインダ用のＬＣＤパネル２１にファインダ用の画像を表示する。
薄型フィルムトランジスタ（ＴＦＴ）駆動回路１６には、表示部としてのＴＦＴパネル２２が接続されている。このＴＦＴ駆動回路１６は、ＣＰＵ６から送られてくる画像ファイルをＴＦＴパネル２２に表示するための表示データに変換してＴＦＴパネル２２に送り、このＴＦＴパネル２２に例えばスルー画像や、静止画ファイル中の静止画データ、動画ファイル中の動画データ等を表示する。
映像出力回路１７は、ＣＰＵ６から送られてくる画像データを外部画像表示装置２３に送るための映像信号に変換する。この映像出力回路１７は、映像出力端子２４を介して外部画像表示装置２３に接続される。
The
The
The hand shake
The
For example, a liquid crystal display (LCD) panel 21 for a finder is connected to the
A thin film transistor (TFT)
The
バックライトユニット１８は、ＴＦＴパネル２２の背面側に配置され、バックライトユニット１８の背面側からバックライト光を照明する。
電源回路１９は、ＣＰＵ６等の本装置の各回路に電力を供給する。この電源回路１９は、交換可能な電池２５が接続されている。電池状態検出回路２０は、電池２５の出力電圧を検出し、例えば電池２５の出力電圧が予め設定された電圧値以下になると、電圧低下の検出信号をＣＰＵ６に送る。又、電源回路１９には、バックアップ電源２６が接続されている。
The
The
ＥＥＰＲＯＭ１０には、音声解析パラメータのデータベースＶＤＢが形成されている。この音声解析パラメータデータベースＶＤＢには、音声解析パラメータが記憶されている。図２は音声解析パラメータデータベースＶＤＢの摸式図を示す。この音声解析パラメータデータベースＶＤＢには、例えばスポーツ、ポートレート、花火、風景、ペット等の各種シーンモードと、これらシーンモード毎に予め設定された各検出音と、これら検出音を解析するための各検出条件とを対応させて記憶する。例えば、シーンモードがスポーツであれば、検出音はピストル音と歓声とである。検出条件は、ピストル音に対して当該ピストル音を検出した時であり、歓声に対して一定以上の歓声の音量を検出した時である。
The
ＣＰＵ６は、例えば、静止画の撮影モード又は動画の撮影モードに応じた一連の撮影動作の制御や、静止画の再生モード又は動画の再生モードに応じた一連の再生動作の制御を行うもので、シーンモード設定部３０と、ファイル生成・管理部３１と、静止画記録・再生部３２と、動画記録・再生部３３と、音声解析部３４と、再生演出効果付加部３５と、演出タイミング管理部３６と、画像圧縮伸張部３７と、記録媒体アクセス部３８と、再表示部３９とを有する。
シーンモード設定部３０は、キーマトリクス７のシーンモードの設定用のボタンにより設定されたシーンモード、例えばスポーツ、ポートレート、花火、風景又はペット等のシーンモードを読み取り、このシーンモードに応じた露光量等を設定して静止画又は動画の撮影動作等の制御を行う。
The
The scene
ファイル生成・管理部３１は、データ記録部として機能するもので、静止画又は動画の撮影動作時に、撮像素子４により撮像され、撮像回路５から出力される画像データに対してシーンモードを示すシーンパラメータＳｐ等を付加して静止画ファイル又は動画ファイルを生成し、これら静止画ファイル又は動画ファイルを記録媒体９に記録し、管理する。
静止画記録・再生部３２は、静止画の撮影モード時、撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、この画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２にスルー画像として表示し、レリーズボタン７−２が押し操作されると、この押し操作時に静止画の画像データを作成する。この静止画記録・再生部３２により作成された静止画の画像データは、ファイル生成・管理部３１によって静止画ファイルとして記録媒体９に記録される。この静止画ファイルは、シーンパラメータＳｐ等を記述するファイルヘッドと静止画の画像データとを含む。
静止画記録・再生部３２は、静止画の再生モード時、記録媒体９に記録されている静止画ファイルを読み出し、この静止画ファイルに含まれる静止画の画像データをＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に表示する。
The file generation /
The still image recording / reproducing
The still image recording / reproducing
動画記録・再生部３３は、動画ボタン７−１が押し操作された動画の撮影モード時、撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、この画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２に動画として表示し、これと共に動画の画像データを作成する。この動画の画像データは、ファイル生成・管理部３１によってシーンパラメータＳｐ等を記述したファイルヘッダと共に動画ファイルとして記録媒体９に記録される。
図３は動画ファイルのファイル構造の摸式図を示す。この動画ファイルＦａは、ファイルヘッダＦａ１と、動画データＦａ２とを有する。ファイルヘッダＦａ１には、シーンパラメータＳｐが含まれる。このシーンパラメータＳｐは、例えばスポーツ、ポートレート、花火、風景、ペット等の各種シーンモードのいずれか１つが記述される。
The moving image recording / reproducing
FIG. 3 shows a schematic diagram of the file structure of a moving image file. The moving image file Fa has a file header Fa1 and moving image data Fa2. The file header Fa1 includes a scene parameter Sp. As the scene parameter Sp, for example, any one of various scene modes such as sports, portrait, fireworks, landscape, and pet is described.
動画記録・再生部３３は、動画の撮影モード時、ステレオマイクロフォーン１２から出力されせる音声信号をデジタル変換して音声データを作成する。この動画記録・再生部３３により作成された音声データは、ファイル生成・管理部３１によって音声ファイルとして記録媒体９に記録される。このときファイル生成・管理部３１は、動画ファイル中の動画データを経過時間の情報と共に記録媒体９に記録し、かつ音声ファイル中の音声データを経過時間の情報と共に記録媒体９に記録する。
動画記録・再生部３３は、動画の再生モード時、記録媒体９に記録されている動画ファイルＦａを読み出し、この動画ファイルＦａに含まれる動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に動画表示すると共に、記録媒体９に記録されている音声ファイルを読み出し、この音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声を再生する。
The moving image recording / reproducing
The moving image recording /
音声解析部３４は、動画の再生モード時に、シーンモード設定部３０により設定されたシーンモードに応じて記録媒体９に記録されている音声ファイル中の音声データの少なくとも発生時刻を解析する。この音声解析部３４は、シーンモードに応じた種類の音声別に音声データを解析する。すなわち、音声解析部３４は、図２に示す音声解析パラメータデータベースＶＤＢの記憶されているシーンモードの種類別に設定された音声の検出条件に従って音声データを解析する。例えば、シーンモードがスポーツであれば、音声解析部３４は、音声データからピストル音と歓声とを検出する。このときの検出条件は、ピストル音に対して当該ピストル音を検出した時であり、歓声に対して一定以上の歓声の音量を検出した時である。なお、音声解析パラメータデータベースＶＤＢは、ＥＥＰＲＯＭ１０に記憶されているが、当該音声解析パラメータデータベースＶＤＢを用いるのは、音声解析部３４であるので、当該音声解析部３４に含まれるものとする。
The
再生演出効果付加部３５は、動画の再生モード時に、音声解析部３４の解析により取得された音声データに従って記録媒体９に記録されている動画ファイルＦａ中の動画データＦａ２に対して撮像時のシーンモードに応じた各種の演出用画像処理を付加する。ここで、シーンモードに応じた各種の演出用画像処理は、例えば、動画データＦａ２に対して時間的変化、色の三要素の変化、又は空間的な大きさの変化のうち少なくとも１つの変化を含む画像処理である。このうち動画データＦａ２に対する時間的変化は、例えば、当該動画データＦａ２を一時的に静止する画像処理、又は動画データＦａ２の再生速度を変化させる画像処理等である。色の三要素の変化は、例えば、動画データＦａ２の輝度を変化させる画像処理等である。動画データＦａ２の再生速度を変化させる処理は、例えば、動画データＦａ２を拡大・縮小する画像処理等である。
The reproduction effect
演出タイミング管理部３６は、動画の再生モード時に、音声解析部３４によって音声解析された音声データの発生時刻から成る音情報解析結果リストを作成し、この音情報解析結果リストを動画ファイルＦａに添付する。図４は動画ファイルＦａの摸式図を示す。この動画ファイルＦａは、フィルイヘッダＦａ１中に音情報解析結果リストＲが添付されている。この音情報解析結果リストＲは、音声解析部３４によって音声解析された音声データの発生時刻のリストが記録されている。
The production
図５は音情報解析結果リストＲの摸式図を示す。この音情報解析結果リストＲは、各音声データ別に作成される。この音情報解析結果リストＲは、例えば動画の撮影により検出された音声データの検出タイミングを記録するための検出タイミングリストＲａを有する。この音情報解析結果リストＲは、例えば動画の撮影中に５回の音声データが発生している。例えば、シーンモードがスポーツであれば、ピストル音を検出した時と、一定以上の歓声の音量を検出した時とが合わせて動画の撮影中に５回あったことを示す。例えば、１回目のピストル音又は一定の音量以上の歓声を検出した検出タイミングの時刻（Ｎｏ．１）は、「０：００：０３．２０」である。このタイミングの時刻（Ｎｏ．１）は、動画の撮影開始の時刻「０：００：００：０．００」からの経過時間を示す。同図の音情報解析結果リストＲは、１つの動画ファイルＦａに対して添付されるもので、動画ファイルＦａが複数存在すれば、これら動画ファイルＦａ毎にそれぞれ音情報解析結果リストＲが添付される。 FIG. 5 is a schematic diagram of the sound information analysis result list R. This sound information analysis result list R is created for each audio data. The sound information analysis result list R includes a detection timing list Ra for recording the detection timing of audio data detected by, for example, shooting a moving image. In the sound information analysis result list R, for example, five times of audio data are generated during shooting of a moving image. For example, if the scene mode is sport, the time when the pistol sound is detected and the time when the sound level of the cheer exceeding a certain level is detected are five times during the shooting of the moving image. For example, the time (No. 1) of the detection timing at which the first pistol sound or cheering of a certain volume or more is detected is “0: 00: 03.20”. The time (No. 1) at this timing indicates an elapsed time from the time “0: 00: 0.00: 0.00” when the moving image was started. The sound information analysis result list R shown in the figure is attached to one moving image file Fa. If there are a plurality of moving image files Fa, the sound information analysis result list R is attached to each moving image file Fa. The
演出タイミング管理部３６は、ＴＦＴパネル２２に動画データＦａ２を動画表示中に、音情報解析結果リストＲに記録された音声データの発生時刻になると、この音声データの発生時刻から動画データＦａ２に対して演出用画像処理を開始し、予め設定された演出用時間、例えば２秒間を経過すると、演出用画像処理を終了する。
従って、再生演出効果付加部３５は、演出タイミング管理部３６により作成された図５に示す音情報解析結果リストＲ中のタイミングの時刻、例えばＮｏ．１〜Ｎｏ．５のタイミングの時刻から予め設定された演出用時間、例えば２秒間経過するまで、動画ファイルＦａ中の動画データＦａ２に対して撮像時のシーンモードに応じた各種の演出用画像処理、例えば動画データＦａ２を一時的に静止する、動画データＦａ２の再生速度を変化させる、動画データＦａ２の輝度を変化させる、動画データＦａ２の再生速度を変化させる、又は動画データＦａ２を拡大・縮小する等の画像処理を付加する。
When the generation time of the audio data recorded in the sound information analysis result list R is reached while the moving image data Fa2 is being displayed on the
Therefore, the reproduction
以上の再生演出効果付加部３５、演出タイミング管理部３６及び画像圧縮伸張部３７は、それぞれ動画ファイルＦａ中の動画データＦａ２に圧縮や伸張等の演出用画像処理を行って動画の動きに印象的な演出を与えるための演出効果を付加するためのものとなる。これら再生演出効果付加部３５、演出タイミング管理部３６及び画像圧縮伸張部３７は、それぞれＣＰＵ６の画像処理機能によって行われる。このＣＰＵ６の画像処理機能は、音声解析部３４の解析により取得された音声データに従って記録媒体９に記録されている動画ファイルＦａ中の動画データＦａ２に対して撮像時のシーンモードに応じた各種の演出用画像処理を行う。
画像圧縮伸張部３７は、記録媒体９に記録されている動画ファイルＦａ中の動画データＦａ２に対して画像圧縮処理又は伸張処理を行う。
記録媒体アクセス部３８は、記録媒体９に静止画ファイルや動画ファイル、音声ファイル等を記録し、かつ記録媒体９に記録されている静止画ファイルや動画ファイル、音声ファイル等を読み出す。
再表示部３９は、再生演出効果付加部３５によって演出用画像処理が付加された動画データＦａ２をＴＦＴ駆動回路１６を介してＴＦＴパネル２２に再表示する。
The reproduction effect
The image compression /
The recording
The
次に、上記の如く構成された装置のカメラ撮影モードの動作について図６に示すカメラ撮影モードの動作フローチャートに従って説明する。
電源が投入（ＯＮ）され、このときカメラ撮影モードが設定されていると、ＣＰＵ６は、ステップＳ１において、初期化を行い、ステップＳ２において、シーンモード設定部３０によりシーンモードの設定を行う。このシーンモード設定部３０は、キーマトリクス７のシーンモードの設定用のボタンに対するユーザの操作を受け、このシーンモードの設定用ボタンから入力された例えばスポーツ、ポートレート、花火、風景、又はペット等のシーンモードを設定する。
Next, the operation of the camera photographing mode of the apparatus configured as described above will be described according to the operation flowchart of the camera photographing mode shown in FIG.
When the power is turned on (ON) and the camera shooting mode is set at this time, the
ＣＰＵ６は、ステップＳ３において、撮影を行うための待機状態となり、次のステップＳ４において、撮影動作を行うか否かを判断する。この判断の結果、撮影動作を行うのであれば、ＣＰＵ６は、ステップＳ５に移って撮影動作を行う。
ＣＰＵ６は、ステップＳ６において、電源が遮断（ＯＦＦ）されたか否かを判断し、遮断（ＯＦＦ）されなければ、ステップＳ２に戻り、シーンモードの設定を行う。電源が遮断（ＯＦＦ）されると、ＣＰＵ６は、ステップＳ７に移り、電源遮断（ＯＦＦ）の処理を行う。
In step S3, the
In step S6, the
次に、本装置の撮影動作（上記ステップＳ５）について図７に示す撮影動作フローチャートに従って説明する。
ＣＰＵ６は、ステップＳ１０において、レリーズボタン又は動画ボタンが押し操作（ＯＮ）されたか否かを判断する。この判断の結果、レリーズボタンが押し操作（ＯＮ）されると、ＣＰＵ６の静止画記録・再生部３２は、ステップＳ１１に移り、静止画の撮影を行う。この静止画の撮影では、撮像素子４は、レンズユニット１により結像された被写体像を映像信号として出力する。撮像回路５は、撮像素子４から出力された映像信号のゲインを調整し、このゲイン調整後の映像信号をアナログ−デジタル変換し、静止画の画像データとして出力する。この静止画の画像データは、ＣＰＵ６に送られる。このＣＰＵ６の静止画記録・再生部３２は、撮像回路５から出力される静止画の画像データを記録媒体９に記録する。
Next, the photographing operation (step S5) of this apparatus will be described with reference to the photographing operation flowchart shown in FIG.
In step S10, the
ファイル生成・管理部３１は、ステップＳ１２において、記録媒体９に記録された静止画の画像データとシーンモードの情報等から静止画ファイルを生成し、ステップＳ１３において、静止画ファイルを記録媒体９に記録し、管理する。なお、静止画記録・再生部３２は、静止画の撮影モード時、レリーズボタンが押し操作（ＯＮ）されていないとき、撮像素子４により撮像され、撮像回路５から出力される画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２にスルー画像として表示する。
In step S12, the file generation /
一方、動画ボタンが押し操作（ＯＮ）されると、動画記録・再生部３３は、ステップＳ１０からステップＳ１４に移り、動画の撮影動作を開始する。この動画の撮影動作中において、撮像素子４は、レンズユニット１により結像された被写体像を映像信号として出力する。撮像回路５は、撮像素子４から出力された映像信号のゲインを調整し、このゲイン調整後の映像信号をアナログ−デジタル変換し、画像データとして出力する。この撮像回路５から出力された画像データは、ＣＰＵ６に送られる。このＣＰＵ６の動画記録・再生部３３は、ステップＳ１２において、撮像回路５から出力される画像データを１フレーム毎にフレームメモリ８に一時的に記憶してから順次記録媒体９に記憶する。これと共に、動画記録・再生部３３は、ステレオマイクロフォーン１２から出力される音声信号をアナログ−デジタル変換し、音声データを含む音声ファイルとして順次記録媒体９に記憶する。
On the other hand, when the moving image button is pressed (ON), the moving image recording / reproducing
動画記録・再生部３３は、動画の撮影動作中、ステップＳ１５において、再度、動画ボタンが押し操作（ＯＮ）されたか否かを判断する。この判断の結果、動画ボタンが再度押し操作（ＯＮ）されなければ、ＣＰＵ６は、動画の撮影を続ける。動画ボタンが再度押し操作（ＯＮ）されると、ＣＰＵ６は、ステップＳ１６に移り、動画の撮影動作を終了する。
ファイル生成・管理部３１は、ステップＳ１７において、記録媒体９に記録された動画の画像データとシーンモードの情報等から図４に示すようなファイルヘッダＫａ１に例えばスポーツ、ポートレート、花火、風景、ペット等のシーンモードを示すシーンパラメータＳｐをファイルヘッダＦａ１に記述した動画ファイルＦａを生成し、この動画ファイルＦａをステップＳ１３において記録媒体９に記録し、管理する。
The moving image recording / reproducing
In step S17, the file generation /
次に、本装置の再生動作について図８に示す再生動作フローチャートに従って説明する。
電源が投入され、再生モードに設定されていると、ＣＰＵ６は、ステップＳ２０において、カメラの初期化を行い、次のステップＳ２１において、キーマトリクス７の再生選択ボタンの操作を受けて、再生を行う静止画ファイル又は動画ファイルの選択（再生コマ選択）を受ける。
ＣＰＵ６は、ステップＳ２２において、キーマトリクス７に対する操作により静止画再生モード又は動画再生モードのいずれかが設定されたかを判断する。この判断の結果、静止画再生モードが選択されると、静止画記録・再生部３２は、ステップＳ２３において、静止画の再生モード時、記録媒体９に記録されている静止画ファイルを読み出し、この静止画ファイルに含まれる静止画の画像データをＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に表示する。
Next, the reproduction operation of this apparatus will be described according to the reproduction operation flowchart shown in FIG.
When the power is turned on and the playback mode is set, the
In step S22, the
一方、動画再生モードが選択されると、動画記録・再生部３３は、通常の動画の再生モード時、記録媒体９に記録されている動画ファイルＦａを読み出し、この動画ファイルＦａに含まれる動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に動画表示する。これと共に、動画記録・再生部３３は、記録媒体９に記録されている音声ファイルを読み出し、この音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声を再生する。
On the other hand, when the video playback mode is selected, the video recording /
ＣＰＵ６は、ステップＳ２５において、モードの変更があるか否かを判断し、例えばカメラ撮影モードへの変更があると、上記図６に示すカメラ撮影モードの動作フローチャートに移る。モードの変更がなければ、ＣＰＵ６は、ステップＳ２６において、電源が遮断（ＯＦＦ）されたか否かを判断し、遮断（ＯＦＦ）されなければ、ステップＳ２２に戻り、再び、再生を行う静止画ファイル又は動画ファイルの選択（再生コマ選択）を行う。電源が遮断（ＯＦＦ）されると、ＣＰＵ６は、ステップＳ２７に移り、電源遮断（ＯＦＦ）の処理を行う。
In step S25, the
次に、演出効果を付加した動画再生モードの動作について図９に示す動画再生モードのフローチャートを参照して説明する。
動画記録・再生部３３は、動画の再生モード時、ステップＳ３０において、記録媒体９に記録されている例えば図４に示すような動画ファイルＦａを読み出し、この動画ファイルＦａに含まれるシーンパラメータＳｐを読み込む。
動画記録・再生部３３は、ステップＳ３１において、シーンパラメータＳｐから例えば図２に示す音声解析パラメータデータベースを参照してシーンパラメータＳｐに記述されているシーンモード、例えばシーンモードがスポーツであれば、当該スポーツに対応する検出音としてピストル音、歓声と、検出条件としてピストル音を検出したとき、歓声の音量が一定以上の音量を検出した時を設定する。
Next, the operation in the moving image reproduction mode with the effect added will be described with reference to the moving image reproduction mode flowchart shown in FIG.
In the moving image playback mode, the moving image recording /
In step S31, the video recording /
動画記録・再生部３３は、ステップＳ３２において、動画ファイルＦａに添付されている音声データを読み込む。
音声解析部３４は、ステップＳ３３において、動画ファイルＦａから読み込んだ音声データに対して例えば検出音としてピストル音、歓声で、これらピストル音、歓声を検出したときの音量が一定以上の音量を検出した時を検出条件としてピストル音、歓声が発生したときの時刻を解析する。この音声解析部３４は、例えば音声データの周波数成分からピストル音、歓声に対応する各周波数成分を検出し、かつこれら周波数成分の現れる時刻を検出する。
In step S32, the moving image recording / reproducing
In step S33, the
演出タイミング管理部３６は、ステップＳ３４において、音声解析部３４によって音声解析された音声データの発生時刻から成る音情報解析結果リストＲを作成し、この音情報解析結果リストＲを動画ファイルＦａに添付する。例えば、演出タイミング管理部３６は、例えば図５に示すような動画の撮影中に５回のピストル音や歓声が発生している各時刻を記録した音情報解析結果リストＲを作成する。この音情報解析結果リストＲは、ピストル音や一定の音量以上の歓声を検出した検出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）をリスト化している。これらピストル音や一定の音量以上の歓声を検出した検出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）は、５回である。
In step S34, the performance
動画記録・再生部３３は、ステップＳ３５において、動画の再生モード時、記録媒体９に記録されている動画ファイルＦａを読み出し、この動画ファイルＦａに含まれる動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に動画の表示を開始する。これと共に、動画記録・再生部３３は、記録媒体９に記録されている音声ファイルを読み出し、この音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声の再生を開始する。
In step S35, the moving image recording / reproducing
演出タイミング管理部３６は、ステップＳ３６において、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）になったか否かを判断する。この判断の結果、ピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１）になると、演出タイミング管理部３６は、動画ファイルＦａの動画データＦａ２に演出効果を付加する旨を再生演出効果付加部３５に送る。
In step S36, the performance
この再生演出効果付加部３５は、ピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１）から予め設定された演出用時間の間に、動画ファイルＦａ中の動画データＦａ２に圧縮や伸張等の演出用画像処理を行って動画の動きに印象的な演出を与えるための演出効果を付加する。例えば、再生演出効果付加部３５は、検出タイミングの時刻（Ｎｏ．１）から予め設定された演出用時間の間に、動画データＦａ２の再生を一時停止し、当該動画データＦａ２を例えば拡大処理し、続いて縮小処理して元の画像サイズに戻す。この動画データＦａ２の拡大・縮小処理は、例えば予め設定された演出用時間、例えば２秒間で行う。この後、再生演出効果付加部３５は、再び、動画データＦａ２の再生を行う。
This reproduction
動画記録・再生部３３は、ステップＳ３８において、動画データＦａ２の再生が終了したか否かを判断する。動画データＦａ２の再生が終了でなければ、演出タイミング管理部３６は、ステップＳ３６に戻り、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している各検出タイミングの時刻（Ｎｏ．２〜Ｎｏ．５）になったか否かを判断する。この判断の結果、各検出タイミングの時刻（Ｎｏ．２〜Ｎｏ．５）になる毎に、再生演出効果付加部３５は、上記同様に、動画データＦａ２の再生を一時停止し、当該動画データＦａ２を例えば拡大処理し、続いて縮小処理して元の画像サイズに戻す。
In step S38, the moving image recording / reproducing
このように上記第１の実施の形態によれば、動画の再生モード時に、シーンモードに応じて音声ファイル中の音声データの少なくとも発生時刻、例えばピストル音や歓声が発生している検出タイミングの時刻を記録した音情報解析結果リストＲを作成し、このタイミングの時刻になると、動画ファイルＦａの動画データＦａ２に演出効果を付加、例えば動画データＦａ２を拡大縮小処理する。かかる動画の再生モード時の処理であれば、当該動画等の画像データを再生するときに、単調になり易い動画等の画像データを再生に、拡大縮小等の今までに無い演出効果を付加して価値の高い画像再生をすることが出来き、動画等の画像データを単調にならずに鑑賞できる。
動画データＦａ２に付加する演出効果は、図２に示す音声解析パラメータのように例えばスポーツ、ポートレート、花火、風景、ペット等の各種シーンモードに応じてそれぞれ異なる検出音、検出条件で音声データを解析して音情報解析結果リストＲを作成するので、各種シーンモードに応じたタイミング時刻で拡大縮小等の演出効果を付加できる。
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、本実施の形態は、図１に示す構成と同一構成を有するもので、その説明では図１を援用し、相違する部分について説明する。
シーンモード設定部３０は、動画ボタンが押し操作（ＯＮ）されると、ＥＥＰＲＯＭ１０に記憶されている音声解析パラメータのデータベース３０からキーマトリクス７のシーンモードの設定用のボタンにより設定されたシーンモード、例えばスポーツ、ポートレート、花火、風景又はペット等のシーンモードをシーンパラメータＳｐとして読み込む。
As described above, according to the first embodiment, at the time of the moving image playback mode, at least the generation time of the audio data in the audio file according to the scene mode, for example, the detection timing time at which the pistol sound or cheer is generated. A sound information analysis result list R in which is recorded is created, and when the time of this timing comes, an effect is added to the moving image data Fa2 of the moving image file Fa, for example, the moving image data Fa2 is enlarged or reduced. If the processing is in the playback mode of the moving image, when the image data such as the moving image is reproduced, the image data such as the moving image that tends to be monotonous is reproduced, and an unprecedented effect such as enlargement / reduction is added. It is possible to reproduce highly valuable images, and to view image data such as movies without being monotonous.
The effect to be added to the moving image data Fa2 is that sound data is detected with different detection sounds and detection conditions depending on various scene modes such as sports, portrait, fireworks, landscape, pets, etc., as in the audio analysis parameters shown in FIG. Since the sound information analysis result list R is generated by analysis, it is possible to add effects such as enlargement / reduction at timings according to various scene modes.
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In addition, this Embodiment has the same structure as the structure shown in FIG. 1, In the description, FIG. 1 is used and a different part is demonstrated.
When the moving image button is pressed (ON), the scene
音声解析部３４は、撮影動作のモード時に、シーンモード設定部３０により設定されたシーンモードに応じて記録媒体９に記録されている音声ファイル中の音声データの少なくとも発生時刻を解析する。この音声解析部３４は、シーンモードに応じた種類の音声別に音声データを解析する。
The
再生演出効果付加部３５は、撮影動作のモード時に、音声解析部３４の解析により取得された音声データに従って記録媒体９に記録されている動画ファイルＦａ中の動画データＦａ２に対して撮像時のシーンモードに応じた各種の演出用画像処理を付加する。
The reproduction
演出タイミング管理部３６は、撮影動作のモード時に、音声解析部３４によって音声解析された音声データの発生時刻から成る図４に示すような音情報解析結果リストＲを作成し、この音情報解析結果リストＲを動画ファイルＦａに添付する。この演出タイミング管理部３６は、ＴＦＴパネル２２に動画データＦａ２を動画表示中に、音声データの発生時刻になると、この音声データの発生時刻から動画データＦａ２に対して演出用画像処理を開始し、予め設定された演出用時間、例えば２秒間を経過すると、演出用画像処理を終了する。
The effect
次に、本装置の撮影動作（上記ステップＳ５）について図１０に示す撮影動作フローチャートに従って説明する。
ＣＰＵ６は、ステップＳ１０において、レリーズボタン又は動画ボタンが押し操作（ＯＮ）されたか否かを判断する。この判断の結果、レリーズボタンが押し操作（ＯＮ）されると、ＣＰＵ６の静止画記録・再生部３２は、ステップＳ１１に移り、上記同様に、静止画の撮影を行う。
ファイル生成・管理部３１は、ステップＳ１２において、記録媒体９に記録された静止画の画像データとシーンモードの情報等から静止画ファイルを生成し、ステップＳ１３において、静止画ファイルを記録媒体９に記録し、管理する。なお、静止画記録・再生部３２は、静止画の撮影モード時、レリーズボタンが押し操作（ＯＮ）されていないとき、撮像素子４により撮像され、撮像回路５から出力される画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２にスルー画像として表示する。
Next, the photographing operation (step S5) of this apparatus will be described with reference to the photographing operation flowchart shown in FIG.
In step S10, the
In step S12, the file generation /
一方、動画ボタンが押し操作（ＯＮ）されると、シーンモード設定部３０は、ステップＳ４０において、ＥＥＰＲＯＭ１０に記憶されている音声解析パラメータのデータベース３０からキーマトリクス７のシーンモードの設定用のボタンにより設定されたシーンモード、例えばスポーツ、ポートレート、花火、風景又はペット等のシーンモードをシーンパラメータＳｐとして読み込む。例えば、上記同様に、シーンモードがスポーツであれば、検出音はピストル音と歓声とである。検出条件は、ピストル音に対して当該ピストル音を検出した時であり、歓声に対して一定以上の歓声の音量を検出した時である。
On the other hand, when the moving image button is pressed (ON), the scene
動画記録・再生部３３は、ステップＳ４１において、シーンパラメータＳｐから例えば図２に示す音声解析パラメータデータベースを参照してシーンパラメータＳｐに記述されているシーンモード、例えばシーンモードがスポーツであれば、当該スポーツに対応する検出音としてピストル音、歓声と、検出条件としてピストル音を検出したとき、歓声の音量が一定以上の音量を検出した時を設定する。
In step S41, the moving image recording /
動画記録・再生部３３は、ステップＳ４２において、動画の撮影動作を開始する。この動画の撮影動作中において、撮像素子４は、レンズユニット１により結像された被写体像を映像信号として出力する。撮像回路５は、撮像素子４から出力された映像信号のゲインを調整し、このゲイン調整後の映像信号をアナログ−デジタル変換し、画像データとして出力する。この撮像回路５から出力された画像データは、ＣＰＵ６に送られる。このＣＰＵ６の動画記録・再生部３３は、撮像回路５から出力される画像データを１フレーム毎にフレームメモリ８に一時的に記憶してから順次記録媒体９に記憶する。この動画記録・再生部３３は、撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、この画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２に動画として表示する。
In step S42, the moving image recording / reproducing
音声解析部３４は、ステップＳ４３において、動画ファイルＦａから読み込んだ音声データに対して例えば検出音としてピストル音、歓声で、これらピストル音、歓声を検出したときの音量が一定以上の音量を検出した時を検出条件としてピストル音、歓声が発生したときの時刻を解析する。この音声解析部３４は、例えば音声データの周波数成分からピストル音、歓声に対応する各周波数成分を検出し、かつこれら周波数成分の現れる時刻を検出する。
In step S43, the
ＣＰＵ６は、動画の撮影動作中、ステップＳ４４において、再度、動画ボタンが押し操作（ＯＮ）されたか否かを判断する。この判断の結果、動画ボタンが再度押し操作（ＯＮ）されなければ、ＣＰＵ６は、ステップＳ４２に戻り、動画の撮影を続ける。動画ボタンが再度押し操作（ＯＮ）されると、ＣＰＵ６は、ステップＳ４３に移り、動画の撮影動作を終了する。
動画の撮影動作が終了すると、動画記録・再生部３３は、ステップＳ４６において、上記の通り撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、これと共に動画の画像データを作成する。この動画の画像データは、図４に示すようにファイル生成・管理部３１によってシーンパラメータＳｐ等を記述したファイルヘッダと共に動画ファイルＦａとして記録媒体９に記録される。
これと共に、演出タイミング管理部３６は、音声解析部３４によって音声解析された音声データの発生時刻から成る音情報解析結果リストＲ、例えば図５に示すような動画の撮影中に５回のピストル音や歓声が発生している各時刻を記録した音情報解析結果リストＲを作成し、この音情報解析結果リストＲを動画ファイルＦａに添付する。
During the moving image shooting operation, the
When the moving image shooting operation is completed, the moving image recording / reproducing
At the same time, the production
次に、フラッシングの演出効果を付加した動画再生モードの動作について図１１に示す動画再生モードのフローチャートを参照して説明する。
演出タイミング管理部３６は、ステップＳ５０において、動画ファイルＦａに添付した音情報解析結果リストＲを読み込む。例えば、演出タイミング管理部３６は、音情報解析結果リストＲから例えば図５に示すような動画の撮影中に５回のピストル音や歓声が発生している各検出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）をリスト化する。
動画記録・再生部３３は、ステップＳ３５において、動画の再生モード時、記録媒体９に記録されている動画ファイルＦａを読み出し、この動画ファイルＦａに含まれる動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に動画の表示を開始する。これと共に、動画記録・再生部３３は、記録媒体９に記録されている音声ファイルを読み出し、この音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声の再生を開始する。
Next, the operation of the moving image playback mode with the effect of flashing added will be described with reference to the flowchart of the moving image playback mode shown in FIG.
In step S50, the effect
In step S35, the moving image recording / reproducing
演出タイミング管理部３６は、ステップＳ３６において、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）になったか否かを判断する。この判断の結果、ピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１）になると、演出タイミング管理部３６は、動画ファイルＦａの動画データＦａ２に演出効果を付加する旨を再生演出効果付加部３５に送る。
In step S36, the performance
この再生演出効果付加部３５は、ピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１）に動画データＦａ２の再生を一時停止し、フラッシングの演出用画像処理を行い、動画の動きに印象的な演出を与えるための演出効果を付加する。この再生演出効果付加部３５は、フラッシングの演出用画像処理を行って例えば２秒経過すると、再び、動画データＦａ２の再生を再開する。
The reproduction
動画記録・再生部３３は、ステップＳ３８において、動画データＦａ２の再生が終了したか否かを判断する。動画データＦａ２の再生が終了でなければ、演出タイミング管理部３６は、ステップＳ３６に戻り、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している各検出タイミングの時刻（Ｎｏ．２〜Ｎｏ．５）になったか否かを判断する。この判断の結果、各検出タイミングの時刻（Ｎｏ．２〜Ｎｏ．５）になる毎に、再生演出効果付加部３５は、上記同様に、動画データＦａ２の再生を一時停止し、フラッシングの演出用画像処理を行い、例えば２秒経過すると、再び、動画データＦａ２の再生を再開する。
In step S38, the moving image recording / reproducing
このように上記第２の実施の形態によれば、撮影動作のモード時に、シーンモードに応じて音声ファイル中の音声データの少なくとも発生時刻、例えばピストル音や歓声が発生している検出タイミングの時刻を記録した音情報解析結果リストＲを作成し、動画の再生モード時に、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している検出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）になったか否かを判断し、この検出タイミングの時刻になると、動画ファイルＦａの動画データＦａ２に演出効果を付加、例えばフラッシングの演出用画像処理を行うので、動画等の画像データを再生するときに、上記第１の実施の形態と同様に、当該動画等の画像データを再生するときに、単調になり易い動画等の画像データを再生に、フラッシング等の今までに無い演出効果を付加して価値の高い画像再生をすることが出来き、動画等の画像データを単調にならずに鑑賞できるなどの効果を奏することができる。
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、本実施の形態は、図１に示す構成と同一構成を有するもので、その説明では図１を援用し、相違する部分について説明する。
図１２は音声解析パラメータデータベースＶＤＢの摸式図を示す。この音声解析パラメータデータベースＶＤＢは、例えばスポーツ、ポートレート、花火、風景、ペット等の各種シーンモードと、これらシーンモード毎に予め設定された各検出音と、これら検出音を解析するための各検出条件と、動画データの演出手法とを対応させて記憶する。例えば、シーンモードがスポーツであれば、検出音はピストル音と歓声とである。検出条件は、ピストル音に対して当該ピストル音を検出した時であり、歓声に対して一定以上の歓声の音量を検出した時である。演出手法は、ピストル音又は歓声を検出したときの時刻の前後の３秒間に亘って動画データをスローで再生するである。
As described above, according to the second embodiment, at the time of the shooting operation mode, at least the generation time of the audio data in the audio file according to the scene mode, for example, the detection timing time when the pistol sound or cheer is generated. The sound information analysis result list R in which the pistol sound and cheer are generated from the sound information analysis result list R attached to the moving image file Fa in the moving image playback mode is created (No. 1 to No. 1). No. 5) is determined, and when the time of this detection timing is reached, an effect is added to the moving image data Fa2 of the moving image file Fa, for example, image processing for effect of flashing is performed. In the same way as in the first embodiment, when reproducing the image data such as the moving image, the image data such as the moving image that tends to be monotonous is reproduced. It is possible to reproduce images with high value by adding effects such as flashing that have never been seen before, and it is possible to view images such as movies without being monotonous. .
[Third Embodiment]
Next, a third embodiment of the present invention will be described. In addition, this Embodiment has the same structure as the structure shown in FIG. 1, In the description, FIG. 1 is used and a different part is demonstrated.
FIG. 12 shows a schematic diagram of the voice analysis parameter database VDB. The voice analysis parameter database VDB includes, for example, various scene modes such as sports, portraits, fireworks, landscapes, pets, detection sounds set in advance for each scene mode, and detections for analyzing these detection sounds. The conditions are stored in association with the moving image data production technique. For example, if the scene mode is sport, the detection sound is a pistol sound and a cheer. The detection condition is when the pistol sound is detected with respect to the pistol sound, and when the sound volume of the cheering level more than a certain level is detected with respect to the cheering sound. The production method is to reproduce the moving image data in a slow manner for 3 seconds before and after the time when the pistol sound or cheer is detected.
図１３は音情報解析結果リストＲの摸式図を示す。この音情報解析結果リストＲは、各音声データ別に作成される。この音情報解析結果リストＲは、例えば動画の撮影中に５回の音声データが発生している。この音情報解析結果リストＲは、検出タイミングリストＲａと、演出タイミングリストＲｂとを有する。この音情報解析結果リストＲは、例えば、シーンモードがスポーツであれば、ピストル音を検出した時と、一定以上の歓声の音量を検出した時とが合わせて動画の撮影中に５回あったことを示す。例えば、１回目のピストル音又は一定の音量以上の歓声を検出した検出タイミングの時刻（Ｎｏ．１）は、「０：００：０３．２０」である。この検出タイミングの時刻（Ｎｏ．１）は、動画の撮影開始の時刻「０：００：００：０．００」からの経過時間を示す。この検出タイミングの時刻（Ｎｏ．１）に対する演出タイミングは、検出タイミングの時刻「０：００：０３．２０」に対して例えば前後３秒（合計６秒）を加算した演出タイミングリストＲｂの時間帯「０：００：０３．１７〜０：００：０３．２３」に設定されている。 FIG. 13 is a schematic diagram of the sound information analysis result list R. This sound information analysis result list R is created for each audio data. In the sound information analysis result list R, for example, five times of audio data are generated during shooting of a moving image. The sound information analysis result list R includes a detection timing list Ra and an effect timing list Rb. In the sound information analysis result list R, for example, if the scene mode is sport, the time when the pistol sound is detected and the time when the sound level of the cheer exceeding a certain level is detected are five times during the shooting of the moving image. It shows that. For example, the time (No. 1) of the detection timing at which the first pistol sound or cheering of a certain volume or more is detected is “0: 00: 03.20”. The time (No. 1) of this detection timing indicates the elapsed time from the time “0: 00: 0.00: 0.00” when the moving image was started. The production timing with respect to the time (No. 1) of this detection timing is the time zone of the production timing list Rb obtained by adding, for example, 3 seconds before and after the detection timing time “0: 00: 03.20” (6 seconds in total). “00: 00: 03.17 to 0: 00: 03.23” is set.
演出タイミング管理部３６は、音声解析部３４によって音声解析された音声データの発生時刻、例えばピストル音を検出した検出タイミングの時刻に対して予め設定された前後の設定時間、例えば前後３秒（合計６秒）を予め記憶し、音声解析部３４によって音声解析された音声データの発生時刻に予め設定された前後の設定時間、例えば前後３秒（合計６秒）を加算して演出タイミングリストＲｂの時間帯を作成する。
The effect
次に、本装置の動画の撮影動作における図１３に示す音情報解析結果リストＲの作成について説明する。
動画ボタンが押し操作（ＯＮ）されると、シーンモード設定部３０は、例えば、上記図１０に示すステップＳ４０において、図１２に示す音声解析パラメータデータベースＶＤＢからキーマトリクス７のシーンモードの設定用のボタンにより設定されたシーンモード、例えばスポーツ、ポートレート、花火、風景又はペット等のシーンモードをシーンパラメータＳｐとして読み込む。ここで、シーンモードが上記同様にスポーツであれば、検出音はピストル音と歓声とである。検出条件は、ピストル音に対して当該ピストル音を検出した時と、歓声に対して一定以上の歓声の音量を検出した時とである。演出手法は、ピストル音又は歓声を検出したときの時刻の前後の３秒間に亘って動画データをスローで再生するである。
Next, the creation of the sound information analysis result list R shown in FIG. 13 in the moving image shooting operation of the present apparatus will be described.
When the moving image button is pressed (ON), for example, the scene
動画記録・再生部３３は、上記ステップＳ４１において、上記図１２に示す音声解析パラメータデータベースを参照してシーンパラメータＳｐに記述されているシーンモード、例えばシーンモードがスポーツであれば、当該スポーツに対応する検出音としてピストル音及び歓声と、検出条件としてピストル音を検出したときと、歓声の音量が一定以上の音量を検出した時と、演出手法としてピストル音又は歓声を検出したときの時刻の前後の３秒間に亘って動画データをスローで再生するを設定する。
In step S41, the video recording /
動画記録・再生部３３は、上記ステップＳ４２において、動画の撮影動作を開始し、撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、この画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２に動画として表示する。
音声解析部３４は、上記ステップＳ４３において、音声ファイルから読み込んだ音声データに対して例えば検出音としてピストル音や歓声で、これらピストル音、歓声を検出したときの音量が一定以上の音量を検出した時を検出条件としてピストル音や歓声が発生したときの時刻を解析する。この音声解析部３４は、例えば音声データの周波数成分からピストル音や歓声に対応する各周波数成分を検出し、かつこれら周波数成分の現れる時刻を検出する。
In step S42, the moving image recording / reproducing
In step S43, the
ＣＰＵ６は、動画の撮影動作中、ステップＳ４４において、再度、動画ボタンが押し操作（ＯＮ）されたか否かを判断する。この判断の結果、動画ボタンが再度押し操作（ＯＮ）されなければ、ＣＰＵ６は、ステップＳ４２に戻り、動画の撮影を続ける。動画ボタンが再度押し操作（ＯＮ）されると、ＣＰＵ６は、ステップＳ４５に移り、動画の撮影動作を終了する。
動画の撮影動作が終了すると、動画記録・再生部３３は、ステップＳ４６において、上記の通り撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、これと共に動画の画像データを作成する。この動画の画像データは、図４に示すようにファイル生成・管理部３１によってシーンパラメータＳｐ等を記述したファイルヘッダと共に動画ファイルＦａとして記録媒体９に記録される。
これと共に、演出タイミング管理部３６は、音声解析部３４によって音声解析された音声データの発生時刻から成る音情報解析結果リストＲ、例えば図１３に示すような動画の撮影中に５回のピストル音や歓声が発生している各時刻を記録した検出タイミングリストＲａと、ピストル音や歓声の発生時刻に予め設定された前後の設定時間、例えば前後３秒（合計６秒）とを加算して演出タイミングリストＲｂを作成する。例えば、検出タイミングの時刻（Ｎｏ．１）に対する演出タイミングは、検出タイミングの時刻「０：００：０３．２０」に対して例えば前後３秒（合計６秒）を加算した演出タイミングリストＲｂの時間帯「０：００：０３．１７〜０：００：０３．２３」に設定される。
During the moving image shooting operation, the
When the moving image shooting operation is completed, the moving image recording / reproducing
At the same time, the production
次に、スロー再生の演出効果を付加した動画再生モードの動作について図１４に示す動画再生モードのフローチャートを参照して説明する。
演出タイミング管理部３６は、ステップＳ５０において、図１２に示す音声解析パラメータのデータベースＶＤＢに記憶されている音情報解析結果リストＲを読み込む。例えば、演出タイミング管理部３６は、図１３に示す音情報解析結果リストＲから例えば動画の撮影中に５回のピストル音や歓声が発生している各演出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）をリスト化する。このリストは、例えば、検出タイミングの時刻（Ｎｏ．１）に対する演出タイミングであれば、検出タイミングの時刻「０：００：０３．２０」に対して例えば前後３秒（合計６秒）を加算した演出タイミングリストＲｂの時間帯「０：００：０３．１７〜０：００：０３．２３」に設定される。
Next, the operation of the video playback mode with the effect of slow playback will be described with reference to the flowchart of the video playback mode shown in FIG.
In step S50, the performance
動画記録・再生部３３は、ステップＳ３５において、動画の再生モード時、記録媒体９に記録されている動画ファイルＦａを読み出し、この動画ファイルＦａに含まれる動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に動画の表示を開始する。これと共に、動画記録・再生部３３は、記録媒体９に記録されている音声ファイルを読み出し、この音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声の再生を開始する。
演出タイミング管理部３６は、ステップＳ３６において、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している演出タイミングの開始時刻（Ｎｏ．１〜Ｎｏ．５）になったか否かを判断する。この判断の結果、演出タイミングの開始時刻（Ｎｏ．１）「０：００：０３．１７」になると、演出タイミング管理部３６は、動画データＦａ２をスロー再生する演出効果を付加する旨を再生演出効果付加部３５に送る。
In step S35, the moving image recording / reproducing
In step S36, the production
この再生演出効果付加部３５は、ステップＳ５１において、動画データＦａ２をスローで再生する演出用画像処理を行う。動画記録・再生部３３は、スローで再生する演出用画像処理が行われた動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２にスローで再生される動画データＦａ２の動画を表示する。
演出タイミング管理部３６は、ステップＳ５２において、動画データＦａ２の再生が終了したか否かを判断する。動画データＦａ２の再生が終了でなければ、演出タイミング管理部３６は、ステップＳ３６に戻り、演出タイミングの開始時刻（Ｎｏ．１）「０：００：０３．１７」になったか否かの判断を行うが、ここでは既に演出タイミング（Ｎｏ．１）でのスロー再生を行っているので、ステップＳ３６からステップＳ５３に映り、演出タイミングの終了時刻（Ｎｏ．１）「０：００：０３．２３」になったか否かを判断する。
In step S51, the reproduction
In step S52, the effect
この判断の結果、検出タイミングの時刻「０：００：０３．２０」に対して例えば前後３秒（合計６秒）の演出タイミングリストＲｂの時間帯「０：００：０３．１７〜０：００：０３．２３」が経過し、演出タイミングの終了時刻（Ｎｏ．１）「０：００：０３．２３」になると、再生演出効果付加部３５は、ステップＳ５４において、動画データＦａ２をスローで再生する演出用画像処理を終了する。スローで再生する演出用画像処理の終了の直後から動画記録・再生部３３は、通常の動画データＦａ２の再生、すなわち動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に動画の表示を行い、かつ音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声の再生を行う。
演出タイミング管理部３６は、ステップＳ５２において、動画データＦａ２の再生が終了したか否かを判断し、動画データＦａ２の再生が終了であれば、動画データＦａ２の再生を終了する。
As a result of this determination, for example, the time zone “0: 00: 03.17 to 0:00” of the production timing list Rb for 3 seconds before and after (total 6 seconds) with respect to the time “0: 00: 03.20” of the detection timing. : 03.23 "has elapsed, and when the production timing end time (No. 1)" 0: 00: 03.23 "is reached, the reproduction production
In step S52, the effect
このように上記第３の実施の形態によれば、シーンモード毎に予め設定された各検出音と、これら検出音を解析するための各検出条件と、動画データの演出手法とを対応させた音声解析パラメータデータベースＶＤＢを有し、かつピストル音等の検出音の発生している各時刻を記録した検出タイミングリストＲａと、検出音の発生時刻に予め設定された前後の設定時間、例えば前後３秒（合計６秒）を加算した演出タイミングリストＲｂとから成る音情報解析結果リストＲを作成し、動画データＦａ２の再生中に、演出タイミングリストＲｂに記録された検出音の発生時刻に予め設定された前後の設定時間を加算した時間帯に、例えばスローで再生する演出用画像処理を行うので、動画等の画像データを再生するときに、上記第１の実施の形態と同様に、当該動画等の画像データを再生するときに、単調になり易い動画等の画像データを再生に、スローで再生等の今までに無い演出効果を付加して価値の高い画像再生をすることが出来き、動画等の画像データを単調にならずに鑑賞できるなどの効果を奏することができる。 As described above, according to the third embodiment, each detection sound set in advance for each scene mode, each detection condition for analyzing these detection sounds, and an effect method for moving image data are associated with each other. A detection timing list Ra having a voice analysis parameter database VDB and recording each time when a detection sound such as a pistol sound is generated, and a set time before and after the occurrence time of the detection sound, for example, before and after 3 A sound information analysis result list R including an effect timing list Rb to which seconds (6 seconds in total) are added is created and set in advance to the generation time of the detected sound recorded in the effect timing list Rb during the reproduction of the moving image data Fa2. In the time zone in which the set times before and after the addition are performed, for example, the image processing for rendering that is played back in slow motion is performed. Therefore, when image data such as a moving image is played back, the first embodiment In the same way, when reproducing image data such as the moving image, it is possible to reproduce image data such as a moving image that tends to be monotonous, and to add an unprecedented presentation effect such as slow reproduction, etc. It is possible to achieve such an effect that image data such as a moving image can be viewed without being monotonous.
動画データＦａ２に付加する演出手法は、図１２に示す音声解析パラメータのように例えばスポーツ、ポートレート、花火、風景、ペット等の各種シーンモードに応じてそれぞれ異なる検出音、検出条件で音声データを解析し、かつ各種シーンモードに応じたスロー再生等の演出手法で動画データに演出効果を付加できる。なお、演出手法は、例えばスポーツ、ポートレート、花火、風景、ペット等の各種シーンモードに応じて例えば主要被写体をズームアップ、被写体以外の明るさを変更、音の発生に合わせて画面をスクロール等により演出効果を付加できる。
演出タイミングリストＲｂの時間帯は、検出タイミングの時刻に対して予め設定された前後の設定時間、例えば前後３秒（合計６秒）を加算して作成しているが、予め設定された前後の設定時間は、任意に変更可能である。又、演出タイミングリストＲｂの時間帯は、検出タイミングの時刻に対して予め設定された前後に限らず、検出タイミングの時刻の前又は後の時間帯のみであってもよい。
［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。なお、本実施の形態は、図１に示す構成と同一構成を有するもので、その説明では図１を援用し、相違する部分について説明する。
ステレオマイクロフォーン１２は、左右の２つのマイクロフォーンを有する。これらマイクロフォーンは、本装置の周囲環境の音響をステレオで集音し、その音声信号を出力する。
音声解析部３４は、音声データが複数チャネル、例えば２チャネルでステレオの音響を構築すれば、これらチャネル別にシーンモードに応じた種類の音声別に音声データを解析する。すなわち、音声解析部３４は、２つのマイクロフォーンからそれぞれ出力される各音声データの各発生時刻を解析すると共に、２つのマイクロフォーンの各音声データに基づく音圧レベルを解析すると共に、２つのマイクロフォーンのうち音圧レベルの大きいマイクロフォーンを解析する。
The effect method to be added to the moving image data Fa2 is that sound data is detected with different detection sounds and detection conditions depending on various scene modes such as sports, portrait, fireworks, landscapes, pets, etc., as in the audio analysis parameters shown in FIG. It is possible to add a production effect to the moving image data by a production method such as slow reproduction according to various scene modes. In addition, for example, according to various scene modes such as sports, portraits, fireworks, landscapes, pets, etc., for example, the main subject is zoomed in, the brightness other than the subject is changed, the screen is scrolled according to the sound generation, etc. A production effect can be added.
The time zone of the performance timing list Rb is created by adding a set time before and after being set in advance with respect to the time of the detection timing, for example, 3 seconds before and after (total 6 seconds). The set time can be arbitrarily changed. In addition, the time zone of the effect timing list Rb is not limited to before and after being preset with respect to the time of the detection timing, and may be only the time zone before or after the time of the detection timing.
[Fourth Embodiment]
Next, a fourth embodiment of the present invention will be described. In addition, this Embodiment has the same structure as the structure shown in FIG. 1, In the description, FIG. 1 is used and a different part is demonstrated.
The
If the audio data is a stereo sound having a plurality of channels, for example, two channels, the
図１５は音情報解析結果リストＲの摸式図を示す。この音情報解析結果リストＲは、各音声データ別に作成される。この音情報解析結果リストＲは、例えば動画の撮影中に５回の音声データが発生している。この音情報解析結果リストＲは、検出タイミングリストＲａと、演出タイミングリストＲｂと、左側の音圧レベルＲｃと、右側の音圧レベルＲｃとを有する。左側の音圧レベルＲｃは、ステレオマイクロフォーン１２における左側のマイクロフォーンから出力される音声データにおける検出音の音圧レベルである。例えば、リスト番号（Ｎｏ．１）の左側の音圧レベルＲｃは、検出タイミングリストＲａ（Ｎｏ．１）「０：００：０３．２０」に検出した検出音の音圧レベルである。同リスト番号（Ｎｏ．１）の右側の音圧レベルＲｄは、検出タイミングリストＲａ（Ｎｏ．１）「０：００：０３．２０」に検出した検出音の音圧レベルである。
FIG. 15 is a schematic diagram of the sound information analysis result list R. This sound information analysis result list R is created for each audio data. In the sound information analysis result list R, for example, five times of audio data are generated during shooting of a moving image. The sound information analysis result list R includes a detection timing list Ra, an effect timing list Rb, a left sound pressure level Rc, and a right sound pressure level Rc. The left sound pressure level Rc is the sound pressure level of the detected sound in the sound data output from the left microphone in the
次に、図１５に示す音情報解析結果リストＲの作成について図１６に示す撮影動作フローチャートを参照して説明する。
動画ボタンが押し操作（ＯＮ）されると、シーンモード設定部３０は、ステップＳ４０において、例えば図１２に示す音声解析パラメータデータベースＶＤＢからキーマトリクス７のシーンモードの設定用のボタンにより設定されたシーンモード、例えばスポーツ、ポートレート、花火、風景又はペット等のシーンモードをシーンパラメータＳｐとして読み込む。
Next, the creation of the sound information analysis result list R shown in FIG. 15 will be described with reference to the photographing operation flowchart shown in FIG.
When the moving image button is pressed (ON), the scene
動画記録・再生部３３は、ステップＳ４１において、上記音声解析パラメータデータベースＶＤＢを参照してシーンパラメータＳｐに記述されているシーンモード、例えばシーンモードがスポーツであれば、当該スポーツに対応する検出音としてピストル音及び歓声と、検出条件としてピストル音を検出したときと、歓声の音量が一定以上の音量を検出した時と、演出手法としてピストル音又は歓声を検出したときの時刻の前後の３秒間に亘って動画データをスローで再生するを設定する。
In step S41, the moving image recording /
動画記録・再生部３３は、ステップＳ４２において、動画の撮影動作を開始し、撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、この画像データをＴＦＴ駆動回路１６によってＴＦＴパネル２２に動画として表示する。
音声解析部３４は、ステップＳ４３において、２つのマイクロフォーンに対応する左右の各音声データに対してそれぞれ例えば検出音としてピストル音や歓声で、これらピストル音、歓声を検出したときの音量が一定以上の音量を検出した時を検出条件としてピストル音や歓声が発生したときの時刻を解析する。この音声解析部３４は、例えば左右の各音声データの各周波数成分からそれぞれピストル音や歓声に対応する各周波数成分を検出し、かつこれら周波数成分の現れる時刻を検出する。
In step S42, the moving image recording / reproducing
In step S43, the
又、音声解析部３４は、２つのマイクロフォーンからそれぞれ出力される各音声データの各発生時刻を解析すると共に、２つのマイクロフォーンの各音声データに基づく音圧レベルを解析すると共に、２つのマイクロフォーンのうち音圧レベルの大きいマイクロフォーンを解析する。音圧レベルの解析結果は、図１５に示す音情報解析結果リストＲにおける左側の音圧レベルＲｃと右側の音圧レベルＲｃとに記録される。
The
ＣＰＵ６は、動画の撮影動作中、ステップＳ４４において、再度、動画ボタンが押し操作（ＯＮ）されたか否かを判断し、動画ボタンが再度押し操作（ＯＮ）されなければ、ステップＳ４２に戻り、動画の撮影を続ける。動画ボタンが再度押し操作（ＯＮ）されると、ＣＰＵ６は、ステップＳ４５に移り、動画の撮影動作を終了する。
動画の撮影動作が終了すると、動画記録・再生部３３は、ステップＳ４６において、上記の通り撮像素子４により撮像され、撮像回路５から出力される画像データを入力し、これと共に動画の画像データを作成する。この動画の画像データは、図４に示すようにファイル生成・管理部３１によってシーンパラメータＳｐ等を記述したファイルヘッダと共に動画ファイルＦａとして記録媒体９に記録される。
これと共に、演出タイミング管理部３６は、音声解析部３４によって音声解析された音声データの発生時刻から成る音情報解析結果リストＲ、例えば図１５に示すような動画の撮影中に５回のピストル音や歓声が発生している各時刻を記録した検出タイミングリストＲａと、ピストル音や歓声の発生時刻に予め設定された前後の設定時間、例えば前後３秒（合計６秒）を加算して演出タイミングリストＲｂを作成する。例えば、検出タイミングの時刻（Ｎｏ．１）に対する演出タイミングは、検出タイミングの時刻「０：００：０３．２０」に対して例えば前後３秒（合計６秒）を加算した演出タイミングリストＲｂの時間帯「０：００：０３．１７〜０：００：０３．２３」に設定される。
During the moving image shooting operation, the
When the moving image shooting operation is completed, the moving image recording / reproducing
At the same time, the production
次に、ズーム再生の演出効果を付加した動画再生モードの動作について図１７に示す動画再生モードのフローチャートを参照して説明する。
演出タイミング管理部３６は、ステップＳ５０において、図１５に示す音声解析パラメータのデータベースＶＤＢに記憶されている音情報解析結果リストＲを読み込む。例えば、演出タイミング管理部３６は、図１５に示す音情報解析結果リストＲから例えば動画の撮影中に５回のピストル音や歓声が発生している各演出タイミングの時刻（Ｎｏ．１〜Ｎｏ．５）をリスト化する。このリストは、例えば、検出タイミングの時刻（Ｎｏ．１）に対する演出タイミングであれば、検出タイミングの時刻「０：００：０３．２０」に対して例えば前後３秒（合計６秒）を加算した演出タイミングリストＲｂの時間帯「０：００：０３．１７〜０：００：０３．２３」に設定される。
Next, the operation of the moving image playback mode with the zoom playback effect added will be described with reference to the flowchart of the moving image playback mode shown in FIG.
In step S50, the performance
動画記録・再生部３３は、ステップＳ３５において、通常の動画の再生モード時、記録媒体９に記録されている動画ファイルＦａを読み出し、ＴＦＴパネル２２に動画の表示を開始すると共に、記録媒体９に記録されている音声ファイルを読み出し、この音声ファイル中の音声データをスピーカ１４に送って動画記録時の音声の再生を開始する。
In step S35, the moving image recording / reproducing
演出タイミング管理部３６は、ステップＳ６０において、動画ファイルＦａに添付した音情報解析結果リストＲからピストル音や歓声が発生している演出タイミングの開始時刻（Ｎｏ．１〜Ｎｏ．５）、すなわち演出効果付加区間になったか否かを判断する。この判断の結果、演出効果付加区間の開始時刻（Ｎｏ．１）「０：００：０３．１７」になると、演出タイミング管理部３６は、ステップＳ６１において、演出効果付加区間の開始時刻から３秒経過したか否かを判断する。すなわち、演出タイミング管理部３６は、検出タイミングの時刻「０：００：０３．２０」よりも以前の時刻「０：００：０３．１７」から３秒が経過したか否かを判断する。
In step S60, the production
この判断の結果、当該時刻「０：００：０３．１７」から３秒が経過していなければ、演出タイミング管理部３６は、動画データＦａ２を拡大ズーム再生する演出効果を付加する旨を再生演出効果付加部３５に送る。
この再生演出効果付加部３５は、ステップＳ６２において、通常の動画データＦａ２の再生を停止し、動画データＦａ２の例えば１コマの画像データを例えば１秒当たり１．２倍の拡大ズームする演出用画像処理を行う。動画記録・再生部３３は、拡大ズームで再生する演出用画像処理が行われた動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に拡大ズームで動画データＦａ２の動画を表示する。
又、再生演出効果付加部３５は、ステップＳ６３において、動画データＦａ２を例えば１秒当たり１．２倍の拡大ズームを行うと共に、図１５に示す音情報解析結果リストＲにおける左右側の各音圧レベルＲｃ、Ｒｃのうち音圧レベルの大きな方向、例えば左側の音圧レベルＲｃが「５」であり、右側の音圧レベルＲｃが「３」であるので、左側の方に動画データＦａ２をスクロールする。このスクロールによりＴＦＴパネル２２に表示される動画データＦａ２は、例えばピストル音や歓声が発生している音源の方向の画像がＴＦＴパネル２２の表示画面の中央部にスクロール移動する。スクロールの移動速度は、例えば１秒当たり１０ピクセルである。
As a result of this determination, if 3 seconds have not elapsed since the time “0: 00: 03.17”, the effect
In step S62, the reproduction
In addition, in step S63, the reproduction effect
演出タイミング管理部３６は、ステップＳ６４において、動画データＦａ２の再生が終了したか否かを判断する。動画データＦａ２の再生が終了でなければ、演出タイミング管理部３６は、ステップＳ６０に戻り、演出効果付加区間になったか否かを判断する。ここでは演出効果付加区間中であるので、演出タイミング管理部３６は、再びステップＳ６１において、演出効果付加区間の開始時刻から３秒経過したか否かを判断する。
In step S64, the effect
この判断の結果、演出効果付加区間の開始時刻から３秒経過すると、演出タイミング管理部３６は、動画データＦａ２を縮小ズーム再生する演出効果を付加する旨を再生演出効果付加部３５に送る。
この再生演出効果付加部３５は、ステップＳ６５において、動画データＦａ２を例えば１秒当たり１／１．２倍の縮小ズームする演出用画像処理を行う。動画記録・再生部３３は、縮小ズームで再生する演出用画像処理が行われた動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に縮小ズームで動画データＦａ２の動画を表示する。
又、再生演出効果付加部３５は、ステップＳ６３において、動画データＦａ２を例えば１秒当たり１／１．２倍の縮小ズームを行うと共に、図１５に示す音情報解析結果リストＲにおける左右側の各音圧レベルＲｃ、Ｒｃのうち音圧レベルの小さな方向、例えば左側の音圧レベルＲｃが「５」であり、右側の音圧レベルＲｃが「３」であるので、右側の方に動画データＦａ２をスクロールする。このスクロールによりＴＦＴパネル２２に表示される動画データＦａ２は、ステップＳ６２で、スクロールする前の画像に戻る。スクロールの移動速度は、例えば１秒当たり１０ピクセルである。
As a result of this determination, when 3 seconds elapses from the start time of the effect effect addition section, the effect
In step S65, the reproduction effect
Further, in step S63, the reproduction effect
図１８（ａ）は通常の動画データＦａ２の再生を模式的に示す。これに対して図１８（ｂ）は拡大縮小の演出効果を付加した動画データＦａ２の再生を模式的に示す。演出効果付加区間になると、通常の動画データＦａ２の再生が一時的に停止し、動画データＦａ２の例えば１コマの画像データを例えば１秒当たり１．２倍の拡大ズームし、続いて１秒当たり１／１．２倍で縮小ズームする。
スクロールする前の画像に戻ると、動画記録・再生部３３は、通常の動画の再生モードに戻る。
FIG. 18A schematically shows reproduction of normal moving image data Fa2. On the other hand, FIG. 18B schematically shows the reproduction of the moving image data Fa2 to which the effect of enlargement / reduction is added. When the effect effect addition section is reached, the playback of the normal moving image data Fa2 is temporarily stopped, and for example, one frame of the moving image data Fa2 is zoomed in at a magnification of 1.2 times per second, and then per second. Zooms out at a magnification of 1 / 1.2.
When returning to the image before scrolling, the moving image recording / reproducing
演出タイミング管理部３６は、ステップＳ６４において、動画データＦａ２の再生が終了したか否かを判断し、動画データＦａ２の再生が終了であれば、動画データＦａ２の再生を終了する。
このように上記第４の実施の形態によれば、２つのマイクロフォーンからそれぞれ出力される各音声データの各発生時刻を解析すると共に、２つのマイクロフォーンの各音声データに基づく音圧レベルを解析すると共に、２つのマイクロフォーンのうち音圧レベルの大きいマイクロフォーンを解析し、動画データＦａ２を拡大縮小のズームを行うと共に、左右側の各音圧レベルＲｃ、Ｒｃのうち音圧レベルの大きな方向に動画データＦａ２をスクロールするので、上記第１の実施の形態と同様に、当該動画等の画像データを再生するときに、単調になり易い動画等の画像データの再生に、拡大縮小と音源の方向へのスクロール移動との今までに無い演出効果を付加して価値の高い画像再生をすることができ、動画等の画像データを単調にならずに鑑賞できる。
In step S64, the effect
As described above, according to the fourth embodiment, the generation times of the audio data output from the two microphones are analyzed, and the sound pressure levels based on the audio data of the two microphones are analyzed. At the same time, a microphone having a high sound pressure level is analyzed out of the two microphones, the moving image data Fa2 is zoomed in and out, and the sound pressure level of the left and right sound pressure levels Rc and Rc is the direction in which the sound pressure level is large. Since the moving image data Fa2 is scrolled in the same manner as in the first embodiment, when reproducing the image data such as the moving image, the reproduction of the image data such as the moving image that tends to be monotonous is performed. High-value image reproduction can be performed with an unprecedented presentation effect with scroll movement in the direction, and image data such as movies can be made monotonous People can watch them.
なお、図１２に示す音声解析パラメータデータベースＶＤＢ中の演出手法は、例えば被写体にスポットライトを照射したようなスポットライト効果を付加するようにしても良い。図１９はスポットライト効果の一例を示す。このスポットライト効果は、動画データＦａ２中から被写体である例えば人物の顔部を検出し、この顔部を中心としてスポットライトを照射したような動画データＦａ２を作成する。動画記録・再生部３３は、当該動画データＦａ２をＴＦＴ駆動回路１６に送り、ＴＦＴパネル２２に拡大ズームで動画データＦａ２の動画を表示する。
Note that the effect method in the voice analysis parameter database VDB shown in FIG. 12 may add a spotlight effect such as irradiating a subject with a spotlight. FIG. 19 shows an example of the spotlight effect. The spotlight effect is to detect moving image data Fa2 by detecting, for example, a human face portion, which is a subject, from moving image data Fa2, and irradiating a spotlight around the face portion. The moving image recording / reproducing
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。 Note that the present invention is not limited to the above-described embodiment as it is, and can be embodied by modifying the constituent elements without departing from the scope of the invention in the implementation stage. In addition, various inventions can be formed by appropriately combining a plurality of components disclosed in the embodiment. For example, some components may be deleted from all the components shown in the embodiment. Furthermore, constituent elements over different embodiments may be appropriately combined.
１：レンズユニット、２：アクチュエータ、３：アクチュエータ駆動回路、４：撮像素子、５：撮像回路、６：ＣＰＵ、７：キーマトリクス、７−１：動画ボタン、７−２：レリーズボタン、８：フレームメモリ、９：記録媒体、１０：ＥＥＰＲＯＭ、１１：発光回路、１２：ステレオマイクロフォーン、１３：手振れ補正用ジャイロセンサ、１４：スピーカ、１５：ＬＣＤ表示回路、１６：ＴＦＴ液晶駆動回路、１７：映像出力回路、１８：バックライトユニット、１９：電源回路、２０：電池状態検出回路、２１：ファインダ用の液晶ディスプレイ（ＬＣＤ）パネル、２２：表示部としてのＴＦＴパネル、２３：外部画像表示装置、２５：電池、２６：バックアップ電源、ＶＤＢ：音声解析パラメータのデータベース、３０：シーンモード設定部、３１：ファイル生成・管理部、３２：静止画記録・再生部、３３：動画記録・再生部、３４：音声解析部、３５：再生演出効果付加部、３６：演出タイミング管理部、３７：画像圧縮伸張部、３８：記録媒体アクセス部、３９：再表示部。 1: Lens unit, 2: Actuator, 3: Actuator drive circuit, 4: Imaging device, 5: Imaging circuit, 6: CPU, 7: Key matrix, 7-1: Movie button, 7-2: Release button, 8: Frame memory, 9: recording medium, 10: EEPROM, 11: light emitting circuit, 12: stereo microphone, 13: camera shake correction gyro sensor, 14: speaker, 15: LCD display circuit, 16: TFT liquid crystal drive circuit, 17: Video output circuit, 18: Backlight unit, 19: Power supply circuit, 20: Battery state detection circuit, 21: Liquid crystal display (LCD) panel for finder, 22: TFT panel as display unit, 23: External image display device, 25: Battery, 26: Backup power supply, VDB: Database of voice analysis parameters, 30: Scene mode Setting unit, 31: File generation / management unit, 32: Still image recording / playback unit, 33: Video recording / playback unit, 34: Audio analysis unit, 35: Reproduction effect adding unit, 36: Production timing management unit, 37 : Image compression / decompression unit, 38: Recording medium access unit, 39: Redisplay unit.
Claims (39)
前記撮像時のシーンモードを設定するシーンモード設定部と、
前記シーンモード設定部により設定された前記シーンモードに応じて前記データ記録部に記録されている前記音声データから検出対象の音の少なくとも発生時刻を解析する音声解析部と、
を具備することを特徴とする記録装置。 A data recording unit that records image data acquired by imaging, and that records audio data at the time of imaging that is recorded together with the acquisition of the image data;
A scene mode setting unit for setting a scene mode at the time of imaging;
A voice analysis unit that analyzes at least the generation time of the sound to be detected from the voice data recorded in the data recording unit according to the scene mode set by the scene mode setting unit;
A recording apparatus comprising:
を備えたことを特徴とする請求項１記載の記録装置。 Various reproduction images according to the scene mode when reproducing the image data recorded in the data recording unit based on at least the generation time of the sound to be detected acquired by the analysis of the audio analysis unit An image processing unit for creating a timing list for adding processing to the image data;
The recording apparatus according to claim 1, further comprising:
前記画像データの取得と共に収集される前記撮像時の音声データを解析して取得される検出対象の音の少なくとも発生時刻を含む音声解析データに従って前記表示部に表示中の前記画像データに対して前記撮像時のシーンモードに応じた各種の演出用画像処理を行う画像処理部と、
を具備し、
前記演出用画像処理により得られた前記画像データを前記表示部に表示することを特徴とする再生装置。 A display unit for displaying image data acquired by imaging;
The image data being displayed on the display unit according to the sound analysis data including at least the generation time of the detection target sound acquired by analyzing the sound data at the time of imaging collected together with the acquisition of the image data An image processing unit for performing various image processing for effects according to the scene mode at the time of imaging;
Comprising
A reproducing apparatus, wherein the image data obtained by the effect image processing is displayed on the display unit.
前記音声解析部は、前記マイクロフォーンから出力される前記検出対象の音の少なくとも前記発生時刻を解析する、
ことを特徴とする請求項８記載の再生装置。 At least one microphone that collects sound and outputs it as the sound data together with the acquisition of the image data;
The voice analysis unit analyzes at least the generation time of the detection target sound output from the microphone;
9. A playback apparatus according to claim 8, wherein
前記音声解析部は、前記２つのマイクロフォーンからそれぞれ出力される前記検出対象の各音の前記各発生時刻を解析すると共に、前記２つのマイクロフォーンのうち前記音声データに基づく音圧の大きい前記マイクロフォーンを解析する、
ことを特徴とする請求項１７記載の再生装置。 Two microphones are provided,
The voice analysis unit analyzes the generation times of the sounds to be detected that are output from the two microphones, and the microphone having a high sound pressure based on the voice data among the two microphones. Analyze the phone,
The playback apparatus according to claim 17.
撮像により取得された画像データを記録すると共に、当該画像データの取得と共に録音される前記撮像時の音声データを記録するデータ記録部と、
前記撮像時のシーンモードを設定するシーンモード設定部と、
前記シーンモード設定部により設定された前記シーンモードに応じて前記データ記録部に記録されている前記音声データ中から検出対象の音の少なくとも発生時刻を解析する音声解析部と、
前記音声解析部の解析により取得された前記音声解析データに従って前記画像データに対して前記撮像時のシーンモードに応じた各種の演出用画像処理を行う画像処理部と、
を具備し、
前記画像処理部の前記演出用画像処理により得られた前記画像データを前記表示部に表示する、
を具備することを特徴とする記録再生装置。 A display unit for displaying image data acquired by imaging;
A data recording unit that records image data acquired by imaging, and that records audio data at the time of imaging that is recorded together with the acquisition of the image data;
A scene mode setting unit for setting a scene mode at the time of imaging;
A voice analysis unit that analyzes at least the generation time of the sound to be detected from the voice data recorded in the data recording unit according to the scene mode set by the scene mode setting unit;
An image processing unit that performs various image processings for production according to the scene mode at the time of image capturing on the image data in accordance with the audio analysis data acquired by the analysis of the audio analysis unit;
Comprising
Displaying the image data obtained by the effect image processing of the image processing unit on the display unit;
A recording / reproducing apparatus comprising:
前記音声解析部は、前記マイクロフォーンから出力される前記音声データの少なくとも前記発生時刻を解析する、
ことを特徴とする請求項２１記載の記録再生装置。 At least one microphone that collects sound and outputs it as the sound data together with the acquisition of the image data;
The voice analysis unit analyzes at least the generation time of the voice data output from the microphone;
The recording / reproducing apparatus according to claim 21, wherein:
前記音声解析部は、前記２つのマイクロフォーンからそれぞれ出力される前記各音声データの前記各発生時刻を解析すると共に、前記２つのマイクロフォーンのうち前記音声データに基づく音圧の大きい前記マイクロフォーンを解析する、
ことを特徴とする請求項３６記載の記録再生装置。 Two microphones are provided,
The sound analysis unit analyzes the generation times of the sound data respectively output from the two microphones, and selects the microphone having a high sound pressure based on the sound data from the two microphones. To analyze,
37. The recording / reproducing apparatus according to claim 36.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011054351A JP2012191502A (en) | 2011-03-11 | 2011-03-11 | Recording device, playback device, and recording/playback device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2011054351A JP2012191502A (en) | 2011-03-11 | 2011-03-11 | Recording device, playback device, and recording/playback device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2012191502A true JP2012191502A (en) | 2012-10-04 |
Family
ID=47084173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011054351A Withdrawn JP2012191502A (en) | 2011-03-11 | 2011-03-11 | Recording device, playback device, and recording/playback device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2012191502A (en) |
-
2011
- 2011-03-11 JP JP2011054351A patent/JP2012191502A/en not_active Withdrawn
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4986886B2 (en) | Imaging apparatus, image reproducing apparatus, imaging control method, and image reproducing method | |
| JP2006345485A (en) | Image sensing apparatus and its control method | |
| JP4993012B2 (en) | Imaging apparatus and image processing apparatus | |
| JP2004312495A (en) | Image processing program and image processor | |
| JP2001197445A (en) | Image reproducing device and digital camera | |
| JP2007089186A (en) | Mobile communication terminal having function of photographing moving picture, and method for operating the same | |
| JP5743512B2 (en) | Imaging apparatus and control method thereof | |
| JP2006261953A (en) | Recording and reproducing device, its controlling method, and imaging apparatus | |
| JP2011250103A (en) | Reproducing apparatus | |
| JP2009218900A (en) | Imaging apparatus, motion picture recording and playback method, and program | |
| JP2013046125A (en) | Imaging apparatus | |
| JP4915978B2 (en) | Movie playback apparatus and program thereof | |
| JP6952584B2 (en) | Imaging device, imaging method and imaging program | |
| JP2012191502A (en) | Recording device, playback device, and recording/playback device | |
| JP2008097727A (en) | Animation-reproducing device | |
| JP2008306587A (en) | Photographing device, image recording method, and program | |
| JP2014086869A (en) | Digital camera | |
| JP4013433B2 (en) | Image reproducing apparatus and digital camera | |
| JP5593652B2 (en) | Camera and movie playback program | |
| JP4322144B2 (en) | Image shooting device | |
| JP5589615B2 (en) | Imaging device | |
| JP2006174086A (en) | Image recording reproducing device and image recording reproducing method | |
| JP2010239363A (en) | Moving image processing device, moving image reproduction method, moving image recording method, and program | |
| JP2004297658A (en) | Image processing program and apparatus | |
| JP5753569B2 (en) | Image reproduction apparatus and image reproduction apparatus reproduction method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |