JP2009207043A - Moving-image reproducing apparatus, animation reproducing method, and program - Google Patents

Moving-image reproducing apparatus, animation reproducing method, and program Download PDF

Info

Publication number
JP2009207043A
JP2009207043A JP2008049314A JP2008049314A JP2009207043A JP 2009207043 A JP2009207043 A JP 2009207043A JP 2008049314 A JP2008049314 A JP 2008049314A JP 2008049314 A JP2008049314 A JP 2008049314A JP 2009207043 A JP2009207043 A JP 2009207043A
Authority
JP
Japan
Prior art keywords
audio
moving image
sound
display
playback mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008049314A
Other languages
Japanese (ja)
Other versions
JP5061955B2 (en
JP2009207043A5 (en
Inventor
Masami Yuyama
将美 湯山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2008049314A priority Critical patent/JP5061955B2/en
Publication of JP2009207043A publication Critical patent/JP2009207043A/en
Publication of JP2009207043A5 publication Critical patent/JP2009207043A5/ja
Application granted granted Critical
Publication of JP5061955B2 publication Critical patent/JP5061955B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To enable a user to securely confirm a voice recorded in an animation, even when a portable device is used outdoors to reproduce the animation recoded with the voice. <P>SOLUTION: A CPU 24 stops an audio output from a speaker 27 when a first audio waveform-display mode is selected after an animation file to be reproduced is selected, and displays on an LCD 14 the audio waveform based on audio data together with the animation based on video data. The audio waveform V2 based on the audio data is shifted in the futural direction of the temporal axis together with the animation based on the video data if some time lag exists both in the image and the voice, based on a focal-distance information on imaging and it is displayed on the LCD 14. Further, the image corresponding to the audio data including a selected sound region is reproduced, when the audio waveform is developed into an audio spectrum and the sound region according to the audio spectrum is selected by the user. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、音声データを含む動画ファイルを再生する動画再生装置、動画再生方法、及びプログラムに関する。   The present invention relates to a moving image reproducing apparatus, a moving image reproducing method, and a program for reproducing a moving image file including audio data.

従来より、画像データの再生時に、当該画像データとともに音声データを音声波形として表示するマルチメディア文書作成装置が提案されている(例えば、特許文献1参照)。   2. Description of the Related Art Conventionally, there has been proposed a multimedia document creation apparatus that displays audio data as an audio waveform together with the image data when reproducing the image data (see, for example, Patent Document 1).

特開平9−297749号公報Japanese Patent Laid-Open No. 9-277749

ところで、ビデオカメラや、デジタルスチルカメラ等の携帯機器において、自機で取得した音声付の動画像を確認のために屋外などで再生する場合がある。しかしながらこの場合、周囲の騒音が大きいために、ユーザが再生された音声を聞き取れないという場合がある。また、例えば、電車等の公共施設内で音声付の動画像を再生する場合も、他の乗客の迷惑となるために、音声を再生することがはばかれるという場合がある。上記の特許文献1では、音声データを波形表示させることは開示されているが、周囲の環境を考慮した再生方法については何ら提示されていない。   By the way, in a mobile device such as a video camera or a digital still camera, there is a case where a moving image with sound acquired by the own device is reproduced outdoors for confirmation. However, in this case, the user may not be able to hear the reproduced voice because of the surrounding noise. In addition, for example, when a moving image with sound is reproduced in a public facility such as a train, it may be annoying to other passengers, and it may be difficult to reproduce the sound. In the above-mentioned Patent Document 1, it is disclosed that audio data is displayed in a waveform, but no reproduction method in consideration of the surrounding environment is disclosed.

そこで本発明は、周囲の環境によらず、再生する動画に同期した音声出力の状況をユーザに確認させることができる動画再生装置、動画再生方法、及びプログラムを提供することを目的とする。   Accordingly, an object of the present invention is to provide a moving image reproducing apparatus, a moving image reproducing method, and a program that allow a user to confirm the state of audio output synchronized with a moving image to be reproduced regardless of the surrounding environment.

上記目的達成のため、請求項1記載の発明による動画再生装置は、動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段と、所定の動画再生モードを設定する設定手段と、前記所定の動画再生モードが設定されているときに、前記音声出力手段による音声出力を停止させる音声停止手段と、前記所定の動画再生モードが設定されているときに、前記音声データに基づく音声に関する指標である音声指標を前記表示手段に表示させる表示制御手段とを具備することを特徴とする。   In order to achieve the above object, a moving picture reproducing apparatus according to the first aspect of the present invention includes a display unit that displays an image based on image data included in a moving picture file, and an audio output that outputs sound based on the audio data included in the moving picture file. Means, setting means for setting a predetermined video playback mode, audio stop means for stopping audio output by the audio output means when the predetermined video playback mode is set, and the predetermined video playback mode Display control means for causing the display means to display a sound index that is a sound-related index based on the sound data.

また、好ましい態様として、例えば請求項2記載のように、請求項1記載の動画再生装置において、前記音声指標とは、動画ファイルの再生時間と前記音声データに基づく音声の音量との対応関係を示す波形であることを特徴とする。   Further, as a preferred aspect, for example, as in claim 2, in the video playback device according to claim 1, the audio index is a correspondence relationship between a playback time of the video file and a volume of audio based on the audio data. It is the waveform which shows.

また、好ましい態様として、例えば請求項3記載のように、請求項2記載の動画再生装置において、動画ファイルに含まれる距離情報に基づき、被写体像が記録された時間と当該被写体が発した音を記録した時間のずれであるタイムラグを算出する算出手段を備え、前記表示制御手段は、前記表示手段に表示されている音声指標を、前記算手段により算出されたタイムラグに対応する時間分だけ、前記再生時間を示す時間軸上において移動させて表示させることを特徴とする。   Further, as a preferred aspect, for example, as described in claim 3, in the moving image reproduction device according to claim 2, based on the distance information included in the moving image file, the time when the subject image is recorded and the sound emitted by the subject are calculated. The display control means includes a calculation means for calculating a time lag that is a recorded time lag, and the sound control indicator displayed on the display means is the time corresponding to the time lag calculated by the calculation means. The display is moved and displayed on the time axis indicating the reproduction time.

また、好ましい態様として、例えば請求項4記載のように、請求項1記載の動画再生装置において、前記音声指標とは、前記前記音声データに基づく音声信号の周波数と信号強度との対応関係を示す波形であることを特徴とする。   Further, as a preferred aspect, for example, as in claim 4, in the moving picture reproducing apparatus according to claim 1, the sound index indicates a correspondence relationship between a frequency of a sound signal based on the sound data and a signal intensity. It is a waveform.

また、好ましい態様として、例えば請求項5記載のように、請求項4記載の動画再生装置において、前記音声指標に対して、特定の前記周波数と特定の前記信号強度との関係により定まる音声情報である音域を指定する指定手段を備え、前記表示制御手段は、前記指定手段により指定された音域を含む音声データに対応付けられた画像データのみを、前記表示手段に表示させることを特徴とする。   Further, as a preferable aspect, for example, as described in claim 5, in the moving image playback device according to claim 4, audio information determined by a relationship between a specific frequency and a specific signal strength with respect to the audio index. The display unit includes a designating unit that designates a certain range, and the display unit displays only the image data associated with the audio data including the range designated by the designating unit.

上記目的達成のため、請求項6記載の発明による動画再生方法は、動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段とを備える携帯機器の動画再生方法であって、所定の動画再生モードを設定する設定ステップと、前記所定の動画再生モードが設定されているときに、前記音声出力手段による音声出力を停止させる音声停止ステップと、前記所定の動画再生モードが設定されているときに、前記音声データに基づく音声に関する指標である音声指標を前記表示手段に表示させる表示制御ステップとを含むことを特徴とする。   In order to achieve the above object, a moving image reproduction method according to a sixth aspect of the present invention includes a display unit that displays an image based on image data included in a moving image file, and an audio output that outputs sound based on audio data included in the moving image file. A video playback method for a portable device comprising: a setting step for setting a predetermined video playback mode; and when the predetermined video playback mode is set, audio output by the audio output unit is stopped An audio stop step; and a display control step of causing the display means to display an audio index, which is an index related to audio based on the audio data, when the predetermined moving image playback mode is set.

上記目的達成のため、請求項7記載の発明によるプログラムは、動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段とを備える携帯機器のコンピュータを、所定の動画再生モードを設定する設定手段、前記所定の動画再生モードが設定されているときに、前記音声出力手段による音声出力を停止させる音声停止手段、前記所定の動画再生モードが設定されているときに、前記音声データに基づく音声に関する指標である音声指標を前記表示手段に表示させる表示制御手段、として機能させることを特徴とする。   In order to achieve the above object, a program according to a seventh aspect of the invention includes a display unit that displays an image based on image data included in a moving image file, and an audio output unit that outputs sound based on audio data included in the moving image file. A setting means for setting a predetermined video playback mode, a voice stop means for stopping audio output by the voice output means when the predetermined video playback mode is set, and the predetermined computer When the moving image reproduction mode is set, the display unit is made to function as a display control unit that displays an audio index, which is an index related to audio based on the audio data, on the display unit.

この発明によれば、音声出力を停止させると共に、画像データが表示されているときに、当該表示されている画像データに対応付けられて記憶されている音声データに基づく音声を示す指標を表示させるようにしたので、携帯型の機器を屋外で使用して音声付の動画を再生する場合であっても、動画に付帯する音声を確実にユーザに確認させることができるという利点が得られる。   According to the present invention, sound output is stopped, and when image data is displayed, an index indicating sound based on the sound data stored in association with the displayed image data is displayed. Since it did in this way, even when it is a case where a moving image with an audio | voice is reproduced | regenerated using a portable apparatus outdoors, the advantage that a user can confirm the audio | voice accompanying an animation is acquired reliably.

以下、本発明の実施の形態を、図面を参照して説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

A.実施形態の構成
図1は、本発明の実施形態による、携帯型のデジタルカメラの構成を示すブロック図である。図において、レンズブロック10は、複数枚の光学レンズ群から構成され、CCD11上に映像を結像させる。CCD11は、被写体画像(イメージ)を結像し、RGBの各色の光の強さを、電流値に変換する。CDS/AD12は、CCD11からの映像信号をデジタル信号に変換し、画像処理部13に供給する。画像処理部13は、ホワイトバランス処理や、色処理、階調処理、輸郭強調、ガンマ補正などの画像処理を施し、LCD14や、バスを介してRAMに供給する。LCD14は、液晶表示器であり、CCD11からの映像(スルー表示)や、RAMに記憶された撮影後の映像などを表示する。BL15は、バックライトであり、LCD14の背面に設置されている。
A. Configuration of Embodiment FIG. 1 is a block diagram showing a configuration of a portable digital camera according to an embodiment of the present invention. In the figure, a lens block 10 is composed of a plurality of optical lens groups, and forms an image on a CCD 11. The CCD 11 forms a subject image (image), and converts the intensity of light of each color of RGB into a current value. The CDS / AD 12 converts the video signal from the CCD 11 into a digital signal and supplies it to the image processing unit 13. The image processing unit 13 performs image processing such as white balance processing, color processing, gradation processing, outline emphasis, and gamma correction, and supplies the processed image data to the RAM via the LCD 14 and the bus. The LCD 14 is a liquid crystal display, and displays an image from the CCD 11 (through display), an image after shooting stored in the RAM, and the like. BL15 is a backlight and is installed on the back surface of the LCD.

モータ16は、フォーカシングや、ズーミングなどを行うためにレンズブロックを駆動する。モータドライバ17は、モータ16を駆動する。垂直/水平ドライバ18は、CCD11を走査する。ストロボ19は、撮影時に発光する。TG20は、タイミングジェネレータであり、モータドライバ17や、垂直/水平ドライバ18、ストロボ19の動作を制御するためのタイミング信号を発生して各部に供給する。   The motor 16 drives the lens block in order to perform focusing or zooming. The motor driver 17 drives the motor 16. The vertical / horizontal driver 18 scans the CCD 11. The strobe 19 emits light during shooting. The TG 20 is a timing generator, which generates timing signals for controlling the operations of the motor driver 17, the vertical / horizontal driver 18, and the strobe 19 and supplies them to each unit.

外部メモリ21には、動画データ(複数の静止画データで構成されるデータ)とこの動画データの再生に同期して出力する音声データとを含む動画ファイルが複数記録されている。外部メモリ21は、コンパクトフラッシュ(登録商標)、メモリースティック、SDカード等の着脱可能な記録メディアである。RAM22は、後述するCPUの動作に伴う各種データなどを記憶する。フラッシュメモリ23は、撮像した映像を保持する内蔵メモリである。また、フラッシュメモリ23には、CPU24を動作させる所定のプログラムが格納されている。CPU24は、前記プログラムに基づいてデジタルカメラ(動画再生装置)の全体を制御する。特に、本実施形態では、CPU24は、所定の動画再生モードが選択された場合、動画データの再生に同期させて、その動画ファイルに含まれる音声データの特徴(音量を示す音声波形)を表示するよう制御する。音声処理部25は、撮影時にマイク26からの音声信号を音声データにデジタル変換して取り込むとともに、動画再生時に動画ファイルに含ませる音声データをアナログ変換してスピーカ27から出力する。   The external memory 21 records a plurality of moving image files including moving image data (data composed of a plurality of still image data) and audio data output in synchronization with the reproduction of the moving image data. The external memory 21 is a removable recording medium such as a compact flash (registered trademark), a memory stick, and an SD card. The RAM 22 stores various data associated with the operation of the CPU, which will be described later. The flash memory 23 is a built-in memory that holds captured images. The flash memory 23 stores a predetermined program for operating the CPU 24. The CPU 24 controls the entire digital camera (moving image playback apparatus) based on the program. In particular, in the present embodiment, when a predetermined video playback mode is selected, the CPU 24 displays the characteristics of the audio data included in the video file (audio waveform indicating the volume) in synchronization with the playback of the video data. Control as follows. The audio processing unit 25 digitally converts the audio signal from the microphone 26 into audio data at the time of shooting, and converts the audio data included in the moving image file into analog data at the time of moving image reproduction and outputs it from the speaker 27.

キー入力部28は、記録/再生モードの切り換えキー、十字キー、メニューキー等からなる。バッテリ29は、再充電可能な二次電池からなる。電源30は、バッテリ29の出力電圧を安定化して各部に電力を供給する。マイコン31は、キー入力部28のキー入力を判別したり、バッテリ29の残量検知、電源オン/オフ操作による電源30の電源供給などを制御する。CPU24とマイコン31とは、相互にデータを送受信可能となっている。   The key input unit 28 includes a recording / playback mode switching key, a cross key, a menu key, and the like. The battery 29 is a rechargeable secondary battery. The power supply 30 stabilizes the output voltage of the battery 29 and supplies power to each unit. The microcomputer 31 discriminates the key input of the key input unit 28, controls the remaining amount of the battery 29, and controls the power supply of the power source 30 by the power on / off operation. The CPU 24 and the microcomputer 31 can exchange data with each other.

B.実施形態の動作
次に、上述した実施形態の動作(動画再生動作)について説明する。
B. Operation of Embodiment Next, the operation (moving image reproduction operation) of the above-described embodiment will be described.

B−1.第1動作例
まず、本実施形態の第1動作例について説明する。
図2は、本実施形態によるデジタルカメラの第1動作例を説明するためのフローチャートである。ユーザが、電源をオンにした後、キー入力部28に設けられているメニューキー等を操作すると、CPU24は、フラッシュメモリ23から前記プログラムを読み出し、これに従って動作することにより図2のフローチャートに示すように処理を実行する。まず、再生する動画ファイルが選択される(ステップS10)。動画ファイルの選択は、保存されている動画ファイルの一覧をLCD14に表示し、その一覧の中からユーザのキー入力部28の操作に応答して選択される。次に、外部メモリ21から選択された動画ファイルが読み出される。次に、ユーザのキー入力部28における切り換えキー等の操作に応答して動画再生モードが選択され(ステップS12)、第1音声波形表示モードが選択されたか、通常再生モードが選択されたかを判断する(ステップS14)。
B-1. First Operation Example First, a first operation example of this embodiment will be described.
FIG. 2 is a flowchart for explaining a first operation example of the digital camera according to the present embodiment. When the user operates a menu key or the like provided in the key input unit 28 after turning on the power, the CPU 24 reads the program from the flash memory 23 and operates in accordance with the program, as shown in the flowchart of FIG. The process is executed as follows. First, a moving image file to be reproduced is selected (step S10). The moving image file is selected by displaying a list of stored moving image files on the LCD 14 and selecting the moving image file in response to the user's operation of the key input unit 28. Next, the selected moving image file is read from the external memory 21. Next, in response to the user's operation of the switching key or the like in the key input unit 28, the moving image playback mode is selected (step S12), and it is determined whether the first audio waveform display mode is selected or the normal playback mode is selected. (Step S14).

そして、第1音声波形表示モードが選択されると、動画再生モードとして第1音声波形表示モードが設定される。次に、スピーカ27から音声を出力中であるか否かを判断し(ステップS16)、スピーカ27から音声を出力中である場合には(ステップS16;YES)、スピーカ27からの音声出力を停止する(ステップS18)。後述する通常再生モードにおいてはスピーカ27から音声が常時出力されるため、通常再生モードでの動画ファイルの再生中に、設定される動画再生モードが第1音声波形表示モードに切り換わった場合に、スピーカ27からの音声出力が停止されることになる。一方、スピーカ27から音声を出力中でない場合には(ステップS16;NO)、そのまま次に進む。   When the first audio waveform display mode is selected, the first audio waveform display mode is set as the moving image reproduction mode. Next, it is determined whether or not sound is being output from the speaker 27 (step S16). If sound is being output from the speaker 27 (step S16; YES), the sound output from the speaker 27 is stopped. (Step S18). Since the sound is always output from the speaker 27 in the normal playback mode described later, when the set video playback mode is switched to the first audio waveform display mode during playback of the video file in the normal playback mode, The audio output from the speaker 27 is stopped. On the other hand, if no sound is being output from the speaker 27 (step S16; NO), the process proceeds to the next.

いずれの場合も、図3に示すように、第1音声波形表示モードが設定された時点以降の動画データの再生の経過に合わせて順次表示されるフレームに同期させて、音声データに基づく音声波形V1をモニタ(LCD14)に表示させる(ステップS20)。音声波形V1は、再生経過時間に沿った、音声データに基づく音量を示す波形であり、音声の特徴を示す指標である。また、この音声波形V1において、横軸は再生経過時間を示す時間軸V11、縦軸は音量を示す音量軸V12である。時間軸V11上において、時間軸V11と音量軸V12とが交差する位置が、現在の再生経過時間を示す位置となる。その後、動画ファイルの再生が終了したか否かを判断し(ステップS28)、動画ファイルの再生が終了していなければ(ステップS28;NO)、ステップS12に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS28;YES)、当該処理を終了する。   In any case, as shown in FIG. 3, the audio waveform based on the audio data is synchronized with the frames that are sequentially displayed in accordance with the progress of the reproduction of the moving image data after the first audio waveform display mode is set. V1 is displayed on the monitor (LCD 14) (step S20). The audio waveform V1 is a waveform indicating the volume based on the audio data along the elapsed playback time, and is an index indicating the characteristics of the audio. In the audio waveform V1, the horizontal axis is a time axis V11 indicating elapsed playback time, and the vertical axis is a volume axis V12 indicating volume. A position where the time axis V11 and the volume axis V12 intersect on the time axis V11 is a position indicating the current playback elapsed time. Thereafter, it is determined whether or not the reproduction of the moving image file has ended (step S28). If the reproduction of the moving image file has not ended (step S28; NO), the process returns to step S12 and the above-described processing is repeated. On the other hand, if the reproduction of the moving image file ends (step S28; YES), the process ends.

また、通常再生モードが選択された場合には、動画再生モードとして通常再生モードが設定される。次に、モニタ(LCD14)に音声波形V1を表示中であるか否かを判断し(ステップS22)、モニタ(LCD14)に音声波形V1を表示中である場合には(ステップS22;YES)、この表示されている音声波形V1を消去する(ステップS24)。第1音声波形表示モードにおいては音声波形V1がモニタ(LCD14)に常時表示されるため、第1音声波形表示モードでの動画ファイルの再生中に、設定される動画再生モードが通常再生モードに切り換わった場合に、モニタ(LCD14)での音声波形V1が消去されることになる。   When the normal playback mode is selected, the normal playback mode is set as the moving image playback mode. Next, it is determined whether or not the audio waveform V1 is being displayed on the monitor (LCD 14) (step S22). If the audio waveform V1 is being displayed on the monitor (LCD 14) (step S22; YES), The displayed voice waveform V1 is erased (step S24). In the first audio waveform display mode, since the audio waveform V1 is always displayed on the monitor (LCD 14), the set video playback mode is switched to the normal playback mode during playback of the video file in the first audio waveform display mode. When it is changed, the voice waveform V1 on the monitor (LCD 14) is deleted.

一方、モニタ(LCD14)に音声波形V1を表示していない場合には(ステップS22;NO)、ステップS26に進む。いずれの場合も、通常再生モード選択後は、動画データをモニタ(LCD14)に再生し、この再生の経過に同期させて音声データに基づく音声をスピーカ27から出力する(ステップS26)。その後、動画ファイルの再生が終了したか否かを判断し(ステップS28)、動画ファイルの再生が終了していなければ(ステップS28;NO)、ステップS12に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS28;YES)、CPU24は、図2に示すフローチャートに基づく動作を終了する。   On the other hand, when the audio waveform V1 is not displayed on the monitor (LCD 14) (step S22; NO), the process proceeds to step S26. In any case, after the normal playback mode is selected, the moving image data is played back on the monitor (LCD 14), and the sound based on the audio data is output from the speaker 27 in synchronization with the progress of the playback (step S26). Thereafter, it is determined whether or not the reproduction of the moving image file has ended (step S28). If the reproduction of the moving image file has not ended (step S28; NO), the process returns to step S12 and the above-described processing is repeated. On the other hand, when the reproduction of the moving image file ends (step S28; YES), the CPU 24 ends the operation based on the flowchart shown in FIG.

上述した第1動作例によれば、第1音声波形表示モードが設定されているときには、音声出力を停止させ、音声波形V1を表示させるようにした。そのため、第1音声波形表示モードが設定されれば、周囲の環境に左右されることなく、再生中の動画の音声の状況を確実にユーザに確認させることができる。   According to the first operation example described above, when the first voice waveform display mode is set, the voice output is stopped and the voice waveform V1 is displayed. Therefore, if the first audio waveform display mode is set, the user can be surely confirmed the audio status of the moving image being reproduced without being influenced by the surrounding environment.

また、動画ファイルの再生途中において、音声の特徴を示す指標を表示するモードから通常再生モードに切り換えた場合には、この指標を消去して音声データに基づく音声を出力するようにしたので、この指標が通常再生時においても再生される動画データの障害にならないという効果を得ることができる。   In addition, when switching from the mode that displays the index indicating the characteristics of the audio to the normal playback mode during playback of the video file, this index is deleted and the audio based on the audio data is output. It is possible to obtain an effect that the index does not become an obstacle to the reproduced moving image data even during normal reproduction.

B−2.第2動作例
次に、本実施形態の第2動作例について説明する。
一般に、遠方の被写体を撮影する場合、被写体が発する音は、この被写体像がCCD11で結像される時点より遅れてマイク26で集音される。そのため、この被写体像を含むフレームを記録し始めるタイミングと、この被写体の発した音を記録し始めるタイミングとがずれてしまう。したがって、遠方の被写体を撮影して得た動画ファイルを再生する場合、この被写体像を含むフレームが表示し始めるタイミングとこの被写体が発した音を出力し始めるタイミングとがずれてしまうこととなり、ユーザは違和感を抱くことになる。そこで、本第2動作例は、この違和感を解消しようとするものである。
B-2. Second Operation Example Next, a second operation example of the present embodiment will be described.
In general, when shooting a distant subject, the sound emitted from the subject is collected by the microphone 26 later than the time when the subject image is formed by the CCD 11. For this reason, the timing at which recording of a frame including the subject image begins to deviate from the timing at which recording of sound generated by the subject begins. Therefore, when playing back a moving image file obtained by shooting a distant subject, the timing at which the frame including the subject image starts to be displayed and the timing at which the sound produced by the subject starts to be output are shifted. Will feel uncomfortable. Therefore, the second operation example is intended to eliminate this uncomfortable feeling.

図4は、遠方の被写体として花火41を撮影して得た動画ファイルの構成を説明するための概念図である。一般に、遠方の花火をデジタルカメラで撮影した場合、花火の爆発音は、花火の像がCCD11で結像される時点より遅れてマイク26で集音される。図4に示す例では、記録される動画データの各フレーム(花火41の像)F1、F2、・・・Fn−1、Fn、Fn+1と、花火41の爆発音の音量との時間軸V41上での対応関係を示している。時間軸V41は、デジタルカメラにより花火41を動画撮影した際の撮影経過時間を示しており、右向きに設定されている。フレームF1は、時間軸V41上で最初に撮影された1枚目のフレームであり、フレームFn+1は、時間軸V41上で最後に撮影されたn+1枚目のフレームである。   FIG. 4 is a conceptual diagram for explaining the structure of a moving image file obtained by photographing fireworks 41 as a distant subject. In general, when a distant firework is photographed by a digital camera, the explosion sound of the firework is collected by the microphone 26 after the time when the firework image is formed by the CCD 11. In the example shown in FIG. 4, the time axis of each frame (image of the fireworks 41) F1, F2,... Fn-1, Fn, Fn + 1 of the recorded moving image data and the volume of the explosion sound of the fireworks 41. The correspondence on V41 is shown. A time axis V41 indicates an elapsed shooting time when the fireworks 41 is shot with a digital camera and is set to the right. The frame F1 is the first frame photographed first on the time axis V41, and the frame Fn + 1 is the n + 1th frame photographed last on the time axis V41.

つまり、フレームは、F1、F2、・・・Fn−1、Fn、Fn+1の順に時間を追ってデジタルカメラに記録されている。花火41が爆発音を発した瞬間を結像したフレームF2が記録される。フレームF2が記録された時点から約2秒後のタイムラグをおいて、フレームFnが記録されている。図4では、フレームF1においては花火41が打ち上げられる像が、フレームF2においては花火41が爆発して徐々に広がっている像が示されている。実際には、フレームF2が記録された時間に、花火41の爆発音が発せられている。しかし、花火41とこの花火を撮影したデジタルカメラ(ユーザ)との間に相応の距離があるため、フレームFnが記録された時間に、花火の爆発音が記録されている。   That is, the frames are recorded on the digital camera in time order of F1, F2,... Fn-1, Fn, Fn + 1. A frame F2 in which the moment when the fireworks 41 emits explosive sound is imaged is recorded. The frame Fn is recorded at a time lag of about 2 seconds after the frame F2 is recorded. FIG. 4 shows an image in which the fireworks 41 are launched in the frame F1, and an image in which the fireworks 41 explodes and gradually spreads in the frame F2. Actually, an explosion sound of the fireworks 41 is emitted at the time when the frame F2 is recorded. However, since there is a suitable distance between the fireworks 41 and the digital camera (user) who photographed the fireworks, the explosion sound of the fireworks is recorded at the time when the frame Fn is recorded.

図5は、本実施形態によるデジタルカメラの第2動作例を説明するためのフローチャートである。ユーザが、電源をオンにした後、キー入力部28に設けられているメニューキー等を操作すると、CPU24は、フラッシュメモリ23から前記プログラムを読み出し、これに従って動作することにより図5のフローチャートに示すように処理を実行する。まず、再生する動画ファイルが選択される(ステップS30)。動画ファイルの選択は、保存されている動画ファイルの一覧をLCD14に表示し、その一覧の中から選択される。本第2動作例においては、図4にその構成を示した動画ファイルが選択されるものとする。動画ファイルが選択されると、次に、動画再生モードが選択され(ステップS32)、第2音声波形表示モードが選択されたか、通常再生モードが選択されたかを判断する(ステップS34)。   FIG. 5 is a flowchart for explaining a second operation example of the digital camera according to the present embodiment. When the user operates a menu key or the like provided in the key input unit 28 after turning on the power, the CPU 24 reads the program from the flash memory 23 and operates according to the program, as shown in the flowchart of FIG. The process is executed as follows. First, a moving image file to be reproduced is selected (step S30). The selection of the moving image file is performed by displaying a list of stored moving image files on the LCD 14 and selecting from the list. In the second operation example, the moving image file whose configuration is shown in FIG. 4 is selected. When the moving image file is selected, next, the moving image reproduction mode is selected (step S32), and it is determined whether the second audio waveform display mode is selected or the normal reproduction mode is selected (step S34).

第2音声波形表示モードが選択されると、動画再生モードとして第2音声波形表示モードが設定される。次に、スピーカ27から音声を出力中であるか否かを判断し(ステップS36)、スピーカ27から音声を出力中である場合には(ステップS36;YES)、スピーカ27からの音声出力を停止する(ステップS38)。一方、スピーカ27から音声を出力中でない場合には(ステップS36;NO)、ステップ40に進む。いずれの場合も、図6に示すように第2音声波形表示モードが設定された時点以降の動画データの再生の経過に合わせて順次表示されるフレームに同期させて、音声データに基づく音声波形V2をモニタ(LCD14)に表示させる(ステップS40)。音声波形V2は、再生経過時間に沿った、音声データに基づく音量を示す波形であり、音声の特徴を示す指標である。また、この音声波形V2において、横軸は再生経過時間を示す時間軸V21、縦軸は音量を示す音量軸V22である。時間軸V21上において、時間軸V21と音量軸V22とが交差する位置が、現在の再生経過時間を示す位置となる。   When the second audio waveform display mode is selected, the second audio waveform display mode is set as the moving image reproduction mode. Next, it is determined whether or not sound is being output from the speaker 27 (step S36). If sound is being output from the speaker 27 (step S36; YES), the sound output from the speaker 27 is stopped. (Step S38). On the other hand, if no sound is being output from the speaker 27 (step S36; NO), the process proceeds to step 40. In any case, as shown in FIG. 6, the audio waveform V2 based on the audio data is synchronized with the frames that are sequentially displayed as the moving image data is reproduced after the second audio waveform display mode is set. Is displayed on the monitor (LCD 14) (step S40). The audio waveform V2 is a waveform indicating the volume based on the audio data along the elapsed playback time, and is an index indicating the characteristics of the audio. In this audio waveform V2, the horizontal axis is a time axis V21 indicating the elapsed playback time, and the vertical axis is a volume axis V22 indicating the volume. On the time axis V21, a position where the time axis V21 and the volume axis V22 intersect is a position indicating the current playback elapsed time.

ここで、ステップS40においては、動画ファイルにExif形式等により付帯する焦点距離情報(被写体にピントが合うときのデジタルカメラと被写体との間の距離情報)を、撮影時におけるデジタルカメラと被写体との距離情報として読み出す。そして、読み出した距離情報に基づく距離を、音速(340m/s)で除することにより、被写体像を記録したタイミングと、被写体の発した音を記録したタイミングとのずれを示す時間であるタイムラグを算出する。図4にその構成を示した動画ファイルでは、このタイムラグは上述の通り約2秒となる。そして、時間軸V21において、音声波形V2を、算出したタイムラグに相当する分だけ左方向へ移動させてモニタ(LCD14)に表示する。その後、動画ファイルの再生が終了したか否かを判断し(ステップS48)、動画ファイルの再生が終了していなければ(ステップS48;NO)、ステップS32に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS48;YES)、当該処理を終了する。   Here, in step S40, focal length information (distance information between the digital camera and the subject when the subject is in focus) attached to the moving image file in the Exif format or the like is obtained between the digital camera and the subject at the time of shooting. Read as distance information. Then, by dividing the distance based on the read distance information by the sound speed (340 m / s), a time lag that is a time indicating a difference between the timing at which the subject image is recorded and the timing at which the sound generated by the subject is recorded is obtained. calculate. In the moving image file whose structure is shown in FIG. 4, this time lag is about 2 seconds as described above. Then, on the time axis V21, the voice waveform V2 is moved leftward by an amount corresponding to the calculated time lag and displayed on the monitor (LCD 14). Thereafter, it is determined whether or not the reproduction of the moving image file has ended (step S48). If the reproduction of the moving image file has not ended (step S48; NO), the process returns to step S32 and the above-described processing is repeated. On the other hand, when the reproduction of the moving image file ends (step S48; YES), the process ends.

また、動画再生モードとして、通常再生モードが選択された場合には、動画再生モードとして通常再生モードが設定される。次に、モニタ(LCD14)に音声波形V2が表示されているか否かを判断し(ステップS42)、表示されている場合には、音声波形V2を消去する(ステップS44)。一方、モニタに音声波形V2を表示していない場合には、そのまま次に進む。いずれの場合も、通常再生モード選択後は、動画データをモニタ(LCD14)に再生し、この再生の経過に同期させて音声データに基づく音声をスピーカ27から出力する(ステップS46)。その後、動画ファイルの再生が終了したか否かを判断し(ステップS48)、動画ファイルの再生が終了していなければ(ステップS48;NO)、ステップS32に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS48;YES)、CPU24は、図5に示すフローチャートに基づく処理を終了する。   When the normal playback mode is selected as the moving image playback mode, the normal playback mode is set as the moving image playback mode. Next, it is determined whether or not the audio waveform V2 is displayed on the monitor (LCD 14) (step S42). If the audio waveform V2 is displayed, the audio waveform V2 is deleted (step S44). On the other hand, if the voice waveform V2 is not displayed on the monitor, the process proceeds to the next. In any case, after the normal playback mode is selected, the moving image data is played back on the monitor (LCD 14), and the sound based on the audio data is output from the speaker 27 in synchronization with the progress of the playback (step S46). Thereafter, it is determined whether or not the reproduction of the moving image file has ended (step S48). If the reproduction of the moving image file has not ended (step S48; NO), the process returns to step S32 and the above-described processing is repeated. On the other hand, if the reproduction of the moving image file ends (step S48; YES), the CPU 24 ends the process based on the flowchart shown in FIG.

上述した第2動作例によれば、算出したタイムラグの分だけ、音声波形V2を時間軸V21上で移動させた。これにより、再生時において動画データを再生するタイミングと音声データを出力するタイミングとの時間的な関係が、撮影時における被写体(花火41)の動作(爆発)のタイミングと被写体が音(爆発音)を発するタイミングとの時間的な関係とずれてしまうことをなくし、ユーザが抱く違和感を解消することができる。   According to the second operation example described above, the speech waveform V2 is moved on the time axis V21 by the calculated time lag. Thus, the temporal relationship between the timing of reproducing the moving image data and the timing of outputting the audio data at the time of reproduction is based on the timing of the operation (explosion) of the subject (fireworks 41) at the time of shooting and the sound of the subject (explosive sound). Therefore, it is possible to eliminate a sense of incongruity that the user has.

B−3.第3動作例
次に、本実施形態の第3動作例について説明する。
本第3動作例では、上述した第1、第2動作例と同様に、動画と共に音声波形(本第3動作例では音声スペクトル)を表示するが、ユーザが動画再生中に任意のタイミングで音域を指定すると、該指定された音域を含む音声データに対応付けられているフレームを検索して再生することを特徴としている。
B-3. Third Operation Example Next, a third operation example of the present embodiment will be described.
In the third operation example, as in the first and second operation examples described above, a sound waveform (a sound spectrum in the third operation example) is displayed together with the moving image. Is specified, a frame associated with the audio data including the specified range is searched and reproduced.

図7及び図8は、本実施形態によるデジタルカメラの第3動作例を説明するためのフローチャートである。ユーザが、電源をオンにした後、キー入力部28に設けられているメニューキー等を操作すると、CPU24は、フラッシュメモリ23から前記プログラムを読み出し、これに従って動作することにより図7及び図8のフローチャートに示すように処理を実行する。まず、再生する動画ファイルが選択される(ステップS50)。動画ファイルの選択は、保存されている動画ファイルの一覧をLCD14に表示し、その一覧の中から選択される。動画ファイルが選択されると、次に、動画再生モードを選択され(ステップS52)、第3音声波形表示モードが選択されたか、通常再生モードが選択されたかを判断する(ステップS54)。   7 and 8 are flowcharts for explaining a third operation example of the digital camera according to the present embodiment. When the user operates a menu key or the like provided in the key input unit 28 after turning on the power, the CPU 24 reads out the program from the flash memory 23 and operates in accordance with the program, thereby performing the operations shown in FIGS. Processing is executed as shown in the flowchart. First, a moving image file to be reproduced is selected (step S50). The selection of the moving image file is performed by displaying a list of stored moving image files on the LCD 14 and selecting from the list. When the moving image file is selected, next, a moving image reproduction mode is selected (step S52), and it is determined whether the third audio waveform display mode is selected or the normal reproduction mode is selected (step S54).

第3音声波形表示モードが選択されると、動画再生モードとして第3音声波形表示モードが設定される。次に、スピーカ27から音声を出力中であるか否かを判断し(ステップS56)、スピーカ27から音声を出力中である場合には(ステップS56;YES)、スピーカ27からの音声出力を停止する(ステップS58)。一方、スピーカ27から音声を出力中でない場合には(ステップS56;NO)、そのまま次に進む。いずれの場合も、第3音声波形表示モード選択後のフレームに関し、図9に示すように、画像データに基づく動画と共に、音声データに基づく音声スペクトルV3をモニタ(LCD14)に表示開始し(ステップS60)、音声スペクトルに対する音域の選択入力を検知したか否かを判断する(ステップS62)。   When the third audio waveform display mode is selected, the third audio waveform display mode is set as the moving image reproduction mode. Next, it is determined whether or not sound is being output from the speaker 27 (step S56). If sound is being output from the speaker 27 (step S56; YES), the sound output from the speaker 27 is stopped. (Step S58). On the other hand, if no sound is being output from the speaker 27 (step S56; NO), the process proceeds to the next. In any case, with respect to the frame after the selection of the third audio waveform display mode, as shown in FIG. 9, the audio spectrum V3 based on the audio data is started to be displayed on the monitor (LCD 14) together with the moving image based on the image data (step S60). ), It is determined whether or not a sound range selection input for the sound spectrum has been detected (step S62).

ここで、音声スペクトルV3においては、横軸は音声データに基づく音声信号の周波数を示す周波数軸V31、縦軸は音声データに基づく音声信号の信号強度を示すパワー軸V32である。ユーザは、図9に示すように、キー入力部28の十字キーにより周波数選択カーソルC1、パワー選択カーソルC2を移動させるなどして、動画再生中の任意のタイミングでモニタ(LCD14)に表示されている音声スペクトルから所望する音域V33を指定する。つまり、音域V33とは、各カーソルC1、C2で指定された周波数と信号強度との対応関係によって定まるものであり、音声の特徴(周波数と信号強度)を示す指標である。   Here, in the audio spectrum V3, the horizontal axis is the frequency axis V31 indicating the frequency of the audio signal based on the audio data, and the vertical axis is the power axis V32 indicating the signal intensity of the audio signal based on the audio data. As shown in FIG. 9, the user moves the frequency selection cursor C1 and the power selection cursor C2 with the cross key of the key input unit 28, and is displayed on the monitor (LCD 14) at any timing during moving image reproduction. The desired sound range V33 is specified from the voice spectrum. That is, the sound range V33 is determined by the correspondence between the frequency designated by the cursors C1 and C2 and the signal intensity, and is an index indicating the characteristics (frequency and signal intensity) of the sound.

そして、ユーザによる音声スペクトルに対する音域の選択入力を検知した場合には、図10に示すように、選択された音域を含む音声データに対応付けられているフレームのみを再生する(ステップS64)。詳細には、音域選択が検知された時点以降の動画ファイルの再生時間におけるフレームに関し、この処理を施す。図示の例では、再生されている動画ファイルのフレームF1〜F4のうち、ユーザにより選択された音域を含む音声データに対応付けられているフレームF2、F3のみ再生する(実際には、さらに多くの対応するフレームが再生される)。その後、動画ファイルの再生が終了したか否かを判断し(ステップS72)、動画ファイルの再生が終了していなければ(ステップS72;NO)、ステップS52に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS72;YES)、当該処理を終了する。   Then, when the selection input of the sound range for the sound spectrum by the user is detected, as shown in FIG. 10, only the frame associated with the sound data including the selected sound range is reproduced (step S64). Specifically, this processing is performed for frames in the playback time of the moving image file after the time point when the range selection is detected. In the illustrated example, only the frames F2 and F3 associated with the audio data including the sound range selected by the user are reproduced from the frames F1 to F4 of the moving image file being reproduced (actually, more The corresponding frame is played). Thereafter, it is determined whether or not the reproduction of the moving image file has been completed (step S72). If the reproduction of the moving image file has not been completed (step S72; NO), the process returns to step S52 and the above-described processing is repeated. On the other hand, if the reproduction of the moving image file ends (step S72; YES), the process ends.

また、ユーザによる音声スペクトルに対する音域の選択入力を検知しない場合には、通常通り、動画ファイルの再生を行い、動画ファイルの再生が終了したか否かを判断し(ステップS72)、動画ファイルの再生が終了していなければ(ステップS72;NO)、ステップS52に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS72;YES)、当該処理を終了する。   On the other hand, when the selection input of the sound range for the audio spectrum by the user is not detected, the moving image file is reproduced as usual, and it is determined whether or not the reproduction of the moving image file is finished (step S72). If not completed (step S72; NO), the process returns to step S52 and the above-described processing is repeated. On the other hand, if the reproduction of the moving image file ends (step S72; YES), the process ends.

また、通常再生モードが選択された場合には、動画再生モードとして通常再生モードが設定される。次に、モニタ(LCD14)に音声波形V3が表示されているか否かを判断し(ステップS66)、表示されている場合には、音声波形V3を消去する(ステップS68)。一方、モニタに音声波形V3を表示していない場合には、そのまま次に進む。いずれの場合も、通常再生モード選択後は、動画データをモニタ(LCD14)に再生し、この再生の経過に同期させて音声データに基づく音声をスピーカ27から出力する(ステップS70)。その後、動画ファイルの再生が終了したか否かを判断し(ステップS72)、動画ファイルの再生が終了していなければ(ステップS72;NO)、ステップS52に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS72;YES)、(ステップS72;YES)、CPU24は、図7に示すフローチャートに基づく動作を終了する。   When the normal playback mode is selected, the normal playback mode is set as the moving image playback mode. Next, it is determined whether or not the audio waveform V3 is displayed on the monitor (LCD 14) (step S66). If the audio waveform V3 is displayed, the audio waveform V3 is deleted (step S68). On the other hand, if the voice waveform V3 is not displayed on the monitor, the process proceeds to the next. In any case, after the normal playback mode is selected, the moving image data is played back on the monitor (LCD 14), and the sound based on the audio data is output from the speaker 27 in synchronization with the progress of the playback (step S70). Thereafter, it is determined whether or not the reproduction of the moving image file has been completed (step S72). If the reproduction of the moving image file has not been completed (step S72; NO), the process returns to step S52 and the above-described processing is repeated. On the other hand, when the reproduction of the moving image file ends (step S72; YES), (step S72; YES), the CPU 24 ends the operation based on the flowchart shown in FIG.

上述した第3動作例によれば、ユーザにより指定された音域に対応する画像を選択的に再生することができる。   According to the third operation example described above, an image corresponding to the sound range designated by the user can be selectively reproduced.

尚、本実施の形態においては、ユーザの選択操作を検出することにより通常再生モードと第1〜第3音声波形表示モードとの切り替えを行なっていたが、通常再生モードによる再生時に常時マイク26で周囲環境音を取得し、この音量が所定値以上であれば、自動的に第1〜第3音声波形表示モードに切り替え、逆に、第1〜第3音声波形表示モードによる再生時にマイク26で取得した周囲環境音の音量が所定値以下であれば、通常再生モードに切り替えるようにしても良い。こうすることにより、ユーザは動画再生時に周囲環境に気を使うことなく動画の再生に同期した音声出力を確認することができる。   In the present embodiment, switching between the normal playback mode and the first to third audio waveform display modes is performed by detecting the user's selection operation. However, the microphone 26 is always used during playback in the normal playback mode. If ambient sound is acquired and the volume is equal to or higher than a predetermined value, the first to third sound waveform display modes are automatically switched, and conversely, the microphone 26 is used for reproduction in the first to third sound waveform display modes. If the volume of the acquired ambient environmental sound is equal to or lower than a predetermined value, the normal playback mode may be switched. By doing so, the user can confirm the audio output synchronized with the reproduction of the moving image without paying attention to the surrounding environment when reproducing the moving image.

本発明は、前述した実施の形態において説明したデジタルカメラに限定されるものではなく、動画再生機能を有した携帯機器、例えば、携帯電話機、PDA(personal
digital assistant)、メディアコンテンツ再生装置等に適用することができる。また、本発明は、上記の実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲で、種々の設計変更ができる。
The present invention is not limited to the digital camera described in the above-described embodiment, and is a mobile device having a video playback function, such as a mobile phone, a PDA (personal
The present invention can be applied to digital assistants, media content playback devices, and the like. The present invention is not limited to the above-described embodiment, and various design changes can be made without departing from the spirit of the present invention.

本発明の実施形態によるデジタルカメラの構成を示すブロック図である。It is a block diagram which shows the structure of the digital camera by embodiment of this invention. 本実施形態によるデジタルカメラの第1動作例を説明するためのフローチャートである。5 is a flowchart for explaining a first operation example of the digital camera according to the present embodiment. 本実施形態によるデジタルカメラの第1動作例における表示例を示す模式図である。It is a schematic diagram which shows the example of a display in the 1st operation example of the digital camera by this embodiment. 遠方の撮影対象を撮影した際の映像と音声とのタイムラグを説明するための概念図である。It is a conceptual diagram for demonstrating the time lag of the image | video and audio | voice at the time of image | photographing the far imaging | photography object. 本実施形態によるデジタルカメラの第2動作例を説明するためのフローチャートである。It is a flowchart for demonstrating the 2nd operation example of the digital camera by this embodiment. 本実施形態によるデジタルカメラの第2動作例における表示例を示す模式図である。It is a schematic diagram which shows the example of a display in the 2nd operation example of the digital camera by this embodiment. 本実施形態によるデジタルカメラの第3動作例を説明するためのフローチャートである。It is a flowchart for demonstrating the 3rd operation example of the digital camera by this embodiment. 本実施形態によるデジタルカメラの第3動作例を説明するためのフローチャートである。It is a flowchart for demonstrating the 3rd operation example of the digital camera by this embodiment. 本実施形態によるデジタルカメラの第3動作例における表示例を示す模式図である。It is a schematic diagram which shows the example of a display in the 3rd operation example of the digital camera by this embodiment. 本実施形態によるデジタルカメラの第3動作例における表示例を示す模式図である。It is a schematic diagram which shows the example of a display in the 3rd operation example of the digital camera by this embodiment.

符号の説明Explanation of symbols

10 レンズブロック
11 CCD
12 CDS/AD
13 画像処理部
14 LCD
15 BL
16 モータ
17 モータドライバ
18 垂直/水平ドライバ
19 ストロボ
20 TG
21 外部メモリ
22 RAM
23 フラッシュメモリ
24 CPU
25 音声処理部
26 マイク
27 スピーカ
28 キー入力部
29 バッテリ
30 電源
31 マイコン
10 Lens block 11 CCD
12 CDS / AD
13 Image processing unit 14 LCD
15 BL
16 Motor 17 Motor driver 18 Vertical / Horizontal driver 19 Strobe 20 TG
21 External memory 22 RAM
23 Flash memory 24 CPU
25 Audio Processing Unit 26 Microphone 27 Speaker 28 Key Input Unit 29 Battery 30 Power Supply 31 Microcomputer

Claims (7)

動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、
動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段と、
所定の動画再生モードを設定する設定手段と、
前記所定の動画再生モードが設定されているときに、前記音声出力手段による音声出力を停止させる音声停止手段と、
前記所定の動画再生モードが設定されているときに、前記音声データに基づく音声に関する指標である音声指標を前記表示手段に表示させる表示制御手段と
を具備することを特徴とする動画再生装置。
Display means for displaying an image based on the image data included in the video file;
Audio output means for outputting audio based on audio data included in the video file;
Setting means for setting a predetermined video playback mode;
Audio stop means for stopping audio output by the audio output means when the predetermined video playback mode is set;
And a display control means for causing the display means to display an audio index, which is an index related to audio based on the audio data, when the predetermined video playback mode is set.
前記音声指標とは、動画ファイルの再生時間と前記音声データに基づく音声の音量との対応関係を示す波形であることを特徴とする請求項1記載の動画再生装置。   2. The moving image reproducing apparatus according to claim 1, wherein the audio index is a waveform indicating a correspondence relationship between a reproduction time of the moving image file and a sound volume based on the audio data. 動画ファイルに含まれる距離情報に基づき、被写体像が記録された時間と当該被写体が発した音を記録した時間のずれであるタイムラグを算出する算出手段を備え、
前記表示制御手段は、前記表示手段に表示されている音声指標を、前記算手段により算出されたタイムラグに対応する時間分だけ、前記再生時間を示す時間軸上において移動させて表示させる
ことを特徴とする請求項2記載の動画再生装置。
Based on distance information included in the moving image file, comprising a calculating means for calculating a time lag which is a difference between the time when the subject image was recorded and the time when the sound emitted by the subject was recorded,
The display control means displays the voice index displayed on the display means by moving it on the time axis indicating the playback time by the time corresponding to the time lag calculated by the calculating means. The moving image reproducing apparatus according to claim 2.
前記音声指標とは、前記前記音声データに基づく音声信号の周波数と信号強度との対応関係を示す波形であることを特徴とする請求項1記載の動画再生装置。   2. The moving image reproducing apparatus according to claim 1, wherein the audio index is a waveform indicating a correspondence relationship between a frequency and an intensity of an audio signal based on the audio data. 前記音声指標に対して、特定の前記周波数と特定の前記信号強度との関係により定まる音声情報である音域を指定する指定手段を備え、
前記表示制御手段は、前記指定手段により指定された音域を含む音声データに対応付けられた画像データのみを、前記表示手段に表示させる
ことを特徴とする請求項4記載の動画再生装置。
A designating unit that designates a sound range that is sound information determined by a relationship between the specific frequency and the specific signal strength with respect to the sound index,
The moving image reproducing apparatus according to claim 4, wherein the display control means causes the display means to display only the image data associated with the audio data including the sound range designated by the designation means.
動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段とを備える携帯機器の動画再生方法であって、
所定の動画再生モードを設定する設定ステップと、
前記所定の動画再生モードが設定されているときに、前記音声出力手段による音声出力を停止させる音声停止ステップと、
前記所定の動画再生モードが設定されているときに、前記音声データに基づく音声に関する指標である音声指標を前記表示手段に表示させる表示制御ステップと
を含むことを特徴とする動画再生方法。
A video playback method for a mobile device comprising: display means for displaying an image based on image data contained in a video file; and audio output means for outputting audio based on audio data contained in the video file,
A setting step for setting a predetermined video playback mode;
An audio stop step for stopping audio output by the audio output means when the predetermined video playback mode is set;
And a display control step of causing the display means to display an audio index that is an index relating to audio based on the audio data when the predetermined video playback mode is set.
動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段とを備える携帯機器のコンピュータを、
所定の動画再生モードを設定する設定手段、
前記所定の動画再生モードが設定されているときに、前記音声出力手段による音声出力を停止させる音声停止手段、
前記所定の動画再生モードが設定されているときに、前記音声データに基づく音声に関する指標である音声指標を前記表示手段に表示させる表示制御手段、
として機能させるプログラム。
A computer of a portable device comprising: display means for displaying an image based on image data included in a moving image file; and audio output means for outputting sound based on audio data included in the moving image file.
Setting means for setting a predetermined video playback mode;
Audio stop means for stopping audio output by the audio output means when the predetermined video playback mode is set;
Display control means for causing the display means to display an audio index, which is an index related to audio based on the audio data, when the predetermined video playback mode is set;
Program to function as.
JP2008049314A 2008-02-29 2008-02-29 Video playback device, video playback method, and program Expired - Fee Related JP5061955B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008049314A JP5061955B2 (en) 2008-02-29 2008-02-29 Video playback device, video playback method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008049314A JP5061955B2 (en) 2008-02-29 2008-02-29 Video playback device, video playback method, and program

Publications (3)

Publication Number Publication Date
JP2009207043A true JP2009207043A (en) 2009-09-10
JP2009207043A5 JP2009207043A5 (en) 2011-04-07
JP5061955B2 JP5061955B2 (en) 2012-10-31

Family

ID=41148835

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008049314A Expired - Fee Related JP5061955B2 (en) 2008-02-29 2008-02-29 Video playback device, video playback method, and program

Country Status (1)

Country Link
JP (1) JP5061955B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010246026A (en) * 2009-04-09 2010-10-28 Canon Inc Image processing apparatus, image processing method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202863A (en) * 2004-01-19 2005-07-28 Olympus Corp Information display program, method and device, and recording medium
JP2005260391A (en) * 2004-03-10 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> Moving image display apparatus, moving image display method, moving image display program, and computer-readable recording medium for recording this program
JP2006033388A (en) * 2004-07-15 2006-02-02 Olympus Corp Display program, display method, display apparatus, and recording medium
JP2007049332A (en) * 2005-08-09 2007-02-22 Sony Corp Recording and reproducing apparatus and method, and recording apparatus and method
JP2008048374A (en) * 2006-07-21 2008-02-28 Victor Co Of Japan Ltd Video camera apparatus
JP2008263460A (en) * 2007-04-13 2008-10-30 Sony Corp Recorder, recording method, sound waveform display device and sound waveform display method

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005202863A (en) * 2004-01-19 2005-07-28 Olympus Corp Information display program, method and device, and recording medium
JP2005260391A (en) * 2004-03-10 2005-09-22 Nippon Telegr & Teleph Corp <Ntt> Moving image display apparatus, moving image display method, moving image display program, and computer-readable recording medium for recording this program
JP2006033388A (en) * 2004-07-15 2006-02-02 Olympus Corp Display program, display method, display apparatus, and recording medium
JP2007049332A (en) * 2005-08-09 2007-02-22 Sony Corp Recording and reproducing apparatus and method, and recording apparatus and method
JP2008048374A (en) * 2006-07-21 2008-02-28 Victor Co Of Japan Ltd Video camera apparatus
JP2008263460A (en) * 2007-04-13 2008-10-30 Sony Corp Recorder, recording method, sound waveform display device and sound waveform display method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010246026A (en) * 2009-04-09 2010-10-28 Canon Inc Image processing apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP5061955B2 (en) 2012-10-31

Similar Documents

Publication Publication Date Title
JP4985834B2 (en) Imaging apparatus and image processing apparatus
CN101263706A (en) Imaging device and recording method
KR102057467B1 (en) Display control apparatus and method for controlling the same
CN104469237A (en) Moving image selection apparatus and moving image selection method
JP3976316B2 (en) Image playback device
JP5743512B2 (en) Imaging apparatus and control method thereof
JP2011250103A (en) Reproducing apparatus
JP5061955B2 (en) Video playback device, video playback method, and program
JP4654947B2 (en) Movie processing apparatus and program thereof
JP2007048173A (en) Recording device and program for the same
JP2013046125A (en) Imaging apparatus
JP4915978B2 (en) Movie playback apparatus and program thereof
JP2010283689A (en) Imaging and recording apparatus, control method thereof, and program
JP2010200056A (en) Recording and reproducing apparatus
JP6452519B2 (en) REPRODUCTION CONTROL DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM
JP2006174086A (en) Image recording reproducing device and image recording reproducing method
JP2019096950A (en) Imaging apparatus, imaging method and imaging program
JP5585693B2 (en) Image playback device
JP2011139300A (en) Image processing apparatus and program
JP2009095047A (en) Recording and reproducing device
JP2006217111A (en) Moving image photographing apparatus and method
JP2014143458A (en) Imaging apparatus and control method therefor
JP2006186932A (en) Still image display device and method, and camera
JP6552193B2 (en) Imaging device and control method of recording device
JP2006101310A (en) Photographing apparatus and program therefor

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120417

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120710

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120723

R150 Certificate of patent or registration of utility model

Ref document number: 5061955

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150817

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees