JP2009207043A - Moving-image reproducing apparatus, animation reproducing method, and program - Google Patents
Moving-image reproducing apparatus, animation reproducing method, and program Download PDFInfo
- Publication number
- JP2009207043A JP2009207043A JP2008049314A JP2008049314A JP2009207043A JP 2009207043 A JP2009207043 A JP 2009207043A JP 2008049314 A JP2008049314 A JP 2008049314A JP 2008049314 A JP2008049314 A JP 2008049314A JP 2009207043 A JP2009207043 A JP 2009207043A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- moving image
- sound
- display
- playback mode
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、音声データを含む動画ファイルを再生する動画再生装置、動画再生方法、及びプログラムに関する。 The present invention relates to a moving image reproducing apparatus, a moving image reproducing method, and a program for reproducing a moving image file including audio data.
従来より、画像データの再生時に、当該画像データとともに音声データを音声波形として表示するマルチメディア文書作成装置が提案されている(例えば、特許文献1参照)。 2. Description of the Related Art Conventionally, there has been proposed a multimedia document creation apparatus that displays audio data as an audio waveform together with the image data when reproducing the image data (see, for example, Patent Document 1).
ところで、ビデオカメラや、デジタルスチルカメラ等の携帯機器において、自機で取得した音声付の動画像を確認のために屋外などで再生する場合がある。しかしながらこの場合、周囲の騒音が大きいために、ユーザが再生された音声を聞き取れないという場合がある。また、例えば、電車等の公共施設内で音声付の動画像を再生する場合も、他の乗客の迷惑となるために、音声を再生することがはばかれるという場合がある。上記の特許文献1では、音声データを波形表示させることは開示されているが、周囲の環境を考慮した再生方法については何ら提示されていない。
By the way, in a mobile device such as a video camera or a digital still camera, there is a case where a moving image with sound acquired by the own device is reproduced outdoors for confirmation. However, in this case, the user may not be able to hear the reproduced voice because of the surrounding noise. In addition, for example, when a moving image with sound is reproduced in a public facility such as a train, it may be annoying to other passengers, and it may be difficult to reproduce the sound. In the above-mentioned
そこで本発明は、周囲の環境によらず、再生する動画に同期した音声出力の状況をユーザに確認させることができる動画再生装置、動画再生方法、及びプログラムを提供することを目的とする。 Accordingly, an object of the present invention is to provide a moving image reproducing apparatus, a moving image reproducing method, and a program that allow a user to confirm the state of audio output synchronized with a moving image to be reproduced regardless of the surrounding environment.
上記目的達成のため、請求項1記載の発明による動画再生装置は、動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段と、所定の動画再生モードを設定する設定手段と、前記所定の動画再生モードが設定されているときに、前記音声出力手段による音声出力を停止させる音声停止手段と、前記所定の動画再生モードが設定されているときに、前記音声データに基づく音声に関する指標である音声指標を前記表示手段に表示させる表示制御手段とを具備することを特徴とする。 In order to achieve the above object, a moving picture reproducing apparatus according to the first aspect of the present invention includes a display unit that displays an image based on image data included in a moving picture file, and an audio output that outputs sound based on the audio data included in the moving picture file. Means, setting means for setting a predetermined video playback mode, audio stop means for stopping audio output by the audio output means when the predetermined video playback mode is set, and the predetermined video playback mode Display control means for causing the display means to display a sound index that is a sound-related index based on the sound data.
また、好ましい態様として、例えば請求項2記載のように、請求項1記載の動画再生装置において、前記音声指標とは、動画ファイルの再生時間と前記音声データに基づく音声の音量との対応関係を示す波形であることを特徴とする。
Further, as a preferred aspect, for example, as in
また、好ましい態様として、例えば請求項3記載のように、請求項2記載の動画再生装置において、動画ファイルに含まれる距離情報に基づき、被写体像が記録された時間と当該被写体が発した音を記録した時間のずれであるタイムラグを算出する算出手段を備え、前記表示制御手段は、前記表示手段に表示されている音声指標を、前記算手段により算出されたタイムラグに対応する時間分だけ、前記再生時間を示す時間軸上において移動させて表示させることを特徴とする。
Further, as a preferred aspect, for example, as described in claim 3, in the moving image reproduction device according to
また、好ましい態様として、例えば請求項4記載のように、請求項1記載の動画再生装置において、前記音声指標とは、前記前記音声データに基づく音声信号の周波数と信号強度との対応関係を示す波形であることを特徴とする。
Further, as a preferred aspect, for example, as in claim 4, in the moving picture reproducing apparatus according to
また、好ましい態様として、例えば請求項5記載のように、請求項4記載の動画再生装置において、前記音声指標に対して、特定の前記周波数と特定の前記信号強度との関係により定まる音声情報である音域を指定する指定手段を備え、前記表示制御手段は、前記指定手段により指定された音域を含む音声データに対応付けられた画像データのみを、前記表示手段に表示させることを特徴とする。 Further, as a preferable aspect, for example, as described in claim 5, in the moving image playback device according to claim 4, audio information determined by a relationship between a specific frequency and a specific signal strength with respect to the audio index. The display unit includes a designating unit that designates a certain range, and the display unit displays only the image data associated with the audio data including the range designated by the designating unit.
上記目的達成のため、請求項6記載の発明による動画再生方法は、動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段とを備える携帯機器の動画再生方法であって、所定の動画再生モードを設定する設定ステップと、前記所定の動画再生モードが設定されているときに、前記音声出力手段による音声出力を停止させる音声停止ステップと、前記所定の動画再生モードが設定されているときに、前記音声データに基づく音声に関する指標である音声指標を前記表示手段に表示させる表示制御ステップとを含むことを特徴とする。 In order to achieve the above object, a moving image reproduction method according to a sixth aspect of the present invention includes a display unit that displays an image based on image data included in a moving image file, and an audio output that outputs sound based on audio data included in the moving image file. A video playback method for a portable device comprising: a setting step for setting a predetermined video playback mode; and when the predetermined video playback mode is set, audio output by the audio output unit is stopped An audio stop step; and a display control step of causing the display means to display an audio index, which is an index related to audio based on the audio data, when the predetermined moving image playback mode is set.
上記目的達成のため、請求項7記載の発明によるプログラムは、動画ファイルに含まれる画像データに基づく画像を表示する表示手段と、動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段とを備える携帯機器のコンピュータを、所定の動画再生モードを設定する設定手段、前記所定の動画再生モードが設定されているときに、前記音声出力手段による音声出力を停止させる音声停止手段、前記所定の動画再生モードが設定されているときに、前記音声データに基づく音声に関する指標である音声指標を前記表示手段に表示させる表示制御手段、として機能させることを特徴とする。 In order to achieve the above object, a program according to a seventh aspect of the invention includes a display unit that displays an image based on image data included in a moving image file, and an audio output unit that outputs sound based on audio data included in the moving image file. A setting means for setting a predetermined video playback mode, a voice stop means for stopping audio output by the voice output means when the predetermined video playback mode is set, and the predetermined computer When the moving image reproduction mode is set, the display unit is made to function as a display control unit that displays an audio index, which is an index related to audio based on the audio data, on the display unit.
この発明によれば、音声出力を停止させると共に、画像データが表示されているときに、当該表示されている画像データに対応付けられて記憶されている音声データに基づく音声を示す指標を表示させるようにしたので、携帯型の機器を屋外で使用して音声付の動画を再生する場合であっても、動画に付帯する音声を確実にユーザに確認させることができるという利点が得られる。 According to the present invention, sound output is stopped, and when image data is displayed, an index indicating sound based on the sound data stored in association with the displayed image data is displayed. Since it did in this way, even when it is a case where a moving image with an audio | voice is reproduced | regenerated using a portable apparatus outdoors, the advantage that a user can confirm the audio | voice accompanying an animation is acquired reliably.
以下、本発明の実施の形態を、図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
A.実施形態の構成
図1は、本発明の実施形態による、携帯型のデジタルカメラの構成を示すブロック図である。図において、レンズブロック10は、複数枚の光学レンズ群から構成され、CCD11上に映像を結像させる。CCD11は、被写体画像(イメージ)を結像し、RGBの各色の光の強さを、電流値に変換する。CDS/AD12は、CCD11からの映像信号をデジタル信号に変換し、画像処理部13に供給する。画像処理部13は、ホワイトバランス処理や、色処理、階調処理、輸郭強調、ガンマ補正などの画像処理を施し、LCD14や、バスを介してRAMに供給する。LCD14は、液晶表示器であり、CCD11からの映像(スルー表示)や、RAMに記憶された撮影後の映像などを表示する。BL15は、バックライトであり、LCD14の背面に設置されている。
A. Configuration of Embodiment FIG. 1 is a block diagram showing a configuration of a portable digital camera according to an embodiment of the present invention. In the figure, a
モータ16は、フォーカシングや、ズーミングなどを行うためにレンズブロックを駆動する。モータドライバ17は、モータ16を駆動する。垂直/水平ドライバ18は、CCD11を走査する。ストロボ19は、撮影時に発光する。TG20は、タイミングジェネレータであり、モータドライバ17や、垂直/水平ドライバ18、ストロボ19の動作を制御するためのタイミング信号を発生して各部に供給する。
The
外部メモリ21には、動画データ(複数の静止画データで構成されるデータ)とこの動画データの再生に同期して出力する音声データとを含む動画ファイルが複数記録されている。外部メモリ21は、コンパクトフラッシュ(登録商標)、メモリースティック、SDカード等の着脱可能な記録メディアである。RAM22は、後述するCPUの動作に伴う各種データなどを記憶する。フラッシュメモリ23は、撮像した映像を保持する内蔵メモリである。また、フラッシュメモリ23には、CPU24を動作させる所定のプログラムが格納されている。CPU24は、前記プログラムに基づいてデジタルカメラ(動画再生装置)の全体を制御する。特に、本実施形態では、CPU24は、所定の動画再生モードが選択された場合、動画データの再生に同期させて、その動画ファイルに含まれる音声データの特徴(音量を示す音声波形)を表示するよう制御する。音声処理部25は、撮影時にマイク26からの音声信号を音声データにデジタル変換して取り込むとともに、動画再生時に動画ファイルに含ませる音声データをアナログ変換してスピーカ27から出力する。
The
キー入力部28は、記録/再生モードの切り換えキー、十字キー、メニューキー等からなる。バッテリ29は、再充電可能な二次電池からなる。電源30は、バッテリ29の出力電圧を安定化して各部に電力を供給する。マイコン31は、キー入力部28のキー入力を判別したり、バッテリ29の残量検知、電源オン/オフ操作による電源30の電源供給などを制御する。CPU24とマイコン31とは、相互にデータを送受信可能となっている。
The
B.実施形態の動作
次に、上述した実施形態の動作(動画再生動作)について説明する。
B. Operation of Embodiment Next, the operation (moving image reproduction operation) of the above-described embodiment will be described.
B−1.第1動作例
まず、本実施形態の第1動作例について説明する。
図2は、本実施形態によるデジタルカメラの第1動作例を説明するためのフローチャートである。ユーザが、電源をオンにした後、キー入力部28に設けられているメニューキー等を操作すると、CPU24は、フラッシュメモリ23から前記プログラムを読み出し、これに従って動作することにより図2のフローチャートに示すように処理を実行する。まず、再生する動画ファイルが選択される(ステップS10)。動画ファイルの選択は、保存されている動画ファイルの一覧をLCD14に表示し、その一覧の中からユーザのキー入力部28の操作に応答して選択される。次に、外部メモリ21から選択された動画ファイルが読み出される。次に、ユーザのキー入力部28における切り換えキー等の操作に応答して動画再生モードが選択され(ステップS12)、第1音声波形表示モードが選択されたか、通常再生モードが選択されたかを判断する(ステップS14)。
B-1. First Operation Example First, a first operation example of this embodiment will be described.
FIG. 2 is a flowchart for explaining a first operation example of the digital camera according to the present embodiment. When the user operates a menu key or the like provided in the
そして、第1音声波形表示モードが選択されると、動画再生モードとして第1音声波形表示モードが設定される。次に、スピーカ27から音声を出力中であるか否かを判断し(ステップS16)、スピーカ27から音声を出力中である場合には(ステップS16;YES)、スピーカ27からの音声出力を停止する(ステップS18)。後述する通常再生モードにおいてはスピーカ27から音声が常時出力されるため、通常再生モードでの動画ファイルの再生中に、設定される動画再生モードが第1音声波形表示モードに切り換わった場合に、スピーカ27からの音声出力が停止されることになる。一方、スピーカ27から音声を出力中でない場合には(ステップS16;NO)、そのまま次に進む。
When the first audio waveform display mode is selected, the first audio waveform display mode is set as the moving image reproduction mode. Next, it is determined whether or not sound is being output from the speaker 27 (step S16). If sound is being output from the speaker 27 (step S16; YES), the sound output from the
いずれの場合も、図3に示すように、第1音声波形表示モードが設定された時点以降の動画データの再生の経過に合わせて順次表示されるフレームに同期させて、音声データに基づく音声波形V1をモニタ(LCD14)に表示させる(ステップS20)。音声波形V1は、再生経過時間に沿った、音声データに基づく音量を示す波形であり、音声の特徴を示す指標である。また、この音声波形V1において、横軸は再生経過時間を示す時間軸V11、縦軸は音量を示す音量軸V12である。時間軸V11上において、時間軸V11と音量軸V12とが交差する位置が、現在の再生経過時間を示す位置となる。その後、動画ファイルの再生が終了したか否かを判断し(ステップS28)、動画ファイルの再生が終了していなければ(ステップS28;NO)、ステップS12に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS28;YES)、当該処理を終了する。 In any case, as shown in FIG. 3, the audio waveform based on the audio data is synchronized with the frames that are sequentially displayed in accordance with the progress of the reproduction of the moving image data after the first audio waveform display mode is set. V1 is displayed on the monitor (LCD 14) (step S20). The audio waveform V1 is a waveform indicating the volume based on the audio data along the elapsed playback time, and is an index indicating the characteristics of the audio. In the audio waveform V1, the horizontal axis is a time axis V11 indicating elapsed playback time, and the vertical axis is a volume axis V12 indicating volume. A position where the time axis V11 and the volume axis V12 intersect on the time axis V11 is a position indicating the current playback elapsed time. Thereafter, it is determined whether or not the reproduction of the moving image file has ended (step S28). If the reproduction of the moving image file has not ended (step S28; NO), the process returns to step S12 and the above-described processing is repeated. On the other hand, if the reproduction of the moving image file ends (step S28; YES), the process ends.
また、通常再生モードが選択された場合には、動画再生モードとして通常再生モードが設定される。次に、モニタ(LCD14)に音声波形V1を表示中であるか否かを判断し(ステップS22)、モニタ(LCD14)に音声波形V1を表示中である場合には(ステップS22;YES)、この表示されている音声波形V1を消去する(ステップS24)。第1音声波形表示モードにおいては音声波形V1がモニタ(LCD14)に常時表示されるため、第1音声波形表示モードでの動画ファイルの再生中に、設定される動画再生モードが通常再生モードに切り換わった場合に、モニタ(LCD14)での音声波形V1が消去されることになる。 When the normal playback mode is selected, the normal playback mode is set as the moving image playback mode. Next, it is determined whether or not the audio waveform V1 is being displayed on the monitor (LCD 14) (step S22). If the audio waveform V1 is being displayed on the monitor (LCD 14) (step S22; YES), The displayed voice waveform V1 is erased (step S24). In the first audio waveform display mode, since the audio waveform V1 is always displayed on the monitor (LCD 14), the set video playback mode is switched to the normal playback mode during playback of the video file in the first audio waveform display mode. When it is changed, the voice waveform V1 on the monitor (LCD 14) is deleted.
一方、モニタ(LCD14)に音声波形V1を表示していない場合には(ステップS22;NO)、ステップS26に進む。いずれの場合も、通常再生モード選択後は、動画データをモニタ(LCD14)に再生し、この再生の経過に同期させて音声データに基づく音声をスピーカ27から出力する(ステップS26)。その後、動画ファイルの再生が終了したか否かを判断し(ステップS28)、動画ファイルの再生が終了していなければ(ステップS28;NO)、ステップS12に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS28;YES)、CPU24は、図2に示すフローチャートに基づく動作を終了する。
On the other hand, when the audio waveform V1 is not displayed on the monitor (LCD 14) (step S22; NO), the process proceeds to step S26. In any case, after the normal playback mode is selected, the moving image data is played back on the monitor (LCD 14), and the sound based on the audio data is output from the
上述した第1動作例によれば、第1音声波形表示モードが設定されているときには、音声出力を停止させ、音声波形V1を表示させるようにした。そのため、第1音声波形表示モードが設定されれば、周囲の環境に左右されることなく、再生中の動画の音声の状況を確実にユーザに確認させることができる。 According to the first operation example described above, when the first voice waveform display mode is set, the voice output is stopped and the voice waveform V1 is displayed. Therefore, if the first audio waveform display mode is set, the user can be surely confirmed the audio status of the moving image being reproduced without being influenced by the surrounding environment.
また、動画ファイルの再生途中において、音声の特徴を示す指標を表示するモードから通常再生モードに切り換えた場合には、この指標を消去して音声データに基づく音声を出力するようにしたので、この指標が通常再生時においても再生される動画データの障害にならないという効果を得ることができる。 In addition, when switching from the mode that displays the index indicating the characteristics of the audio to the normal playback mode during playback of the video file, this index is deleted and the audio based on the audio data is output. It is possible to obtain an effect that the index does not become an obstacle to the reproduced moving image data even during normal reproduction.
B−2.第2動作例
次に、本実施形態の第2動作例について説明する。
一般に、遠方の被写体を撮影する場合、被写体が発する音は、この被写体像がCCD11で結像される時点より遅れてマイク26で集音される。そのため、この被写体像を含むフレームを記録し始めるタイミングと、この被写体の発した音を記録し始めるタイミングとがずれてしまう。したがって、遠方の被写体を撮影して得た動画ファイルを再生する場合、この被写体像を含むフレームが表示し始めるタイミングとこの被写体が発した音を出力し始めるタイミングとがずれてしまうこととなり、ユーザは違和感を抱くことになる。そこで、本第2動作例は、この違和感を解消しようとするものである。
B-2. Second Operation Example Next, a second operation example of the present embodiment will be described.
In general, when shooting a distant subject, the sound emitted from the subject is collected by the
図4は、遠方の被写体として花火41を撮影して得た動画ファイルの構成を説明するための概念図である。一般に、遠方の花火をデジタルカメラで撮影した場合、花火の爆発音は、花火の像がCCD11で結像される時点より遅れてマイク26で集音される。図4に示す例では、記録される動画データの各フレーム(花火41の像)F1、F2、・・・Fn−1、Fn、Fn+1と、花火41の爆発音の音量との時間軸V41上での対応関係を示している。時間軸V41は、デジタルカメラにより花火41を動画撮影した際の撮影経過時間を示しており、右向きに設定されている。フレームF1は、時間軸V41上で最初に撮影された1枚目のフレームであり、フレームFn+1は、時間軸V41上で最後に撮影されたn+1枚目のフレームである。
FIG. 4 is a conceptual diagram for explaining the structure of a moving image file obtained by photographing
つまり、フレームは、F1、F2、・・・Fn−1、Fn、Fn+1の順に時間を追ってデジタルカメラに記録されている。花火41が爆発音を発した瞬間を結像したフレームF2が記録される。フレームF2が記録された時点から約2秒後のタイムラグをおいて、フレームFnが記録されている。図4では、フレームF1においては花火41が打ち上げられる像が、フレームF2においては花火41が爆発して徐々に広がっている像が示されている。実際には、フレームF2が記録された時間に、花火41の爆発音が発せられている。しかし、花火41とこの花火を撮影したデジタルカメラ(ユーザ)との間に相応の距離があるため、フレームFnが記録された時間に、花火の爆発音が記録されている。
That is, the frames are recorded on the digital camera in time order of F1, F2,... Fn-1, Fn,
図5は、本実施形態によるデジタルカメラの第2動作例を説明するためのフローチャートである。ユーザが、電源をオンにした後、キー入力部28に設けられているメニューキー等を操作すると、CPU24は、フラッシュメモリ23から前記プログラムを読み出し、これに従って動作することにより図5のフローチャートに示すように処理を実行する。まず、再生する動画ファイルが選択される(ステップS30)。動画ファイルの選択は、保存されている動画ファイルの一覧をLCD14に表示し、その一覧の中から選択される。本第2動作例においては、図4にその構成を示した動画ファイルが選択されるものとする。動画ファイルが選択されると、次に、動画再生モードが選択され(ステップS32)、第2音声波形表示モードが選択されたか、通常再生モードが選択されたかを判断する(ステップS34)。
FIG. 5 is a flowchart for explaining a second operation example of the digital camera according to the present embodiment. When the user operates a menu key or the like provided in the
第2音声波形表示モードが選択されると、動画再生モードとして第2音声波形表示モードが設定される。次に、スピーカ27から音声を出力中であるか否かを判断し(ステップS36)、スピーカ27から音声を出力中である場合には(ステップS36;YES)、スピーカ27からの音声出力を停止する(ステップS38)。一方、スピーカ27から音声を出力中でない場合には(ステップS36;NO)、ステップ40に進む。いずれの場合も、図6に示すように第2音声波形表示モードが設定された時点以降の動画データの再生の経過に合わせて順次表示されるフレームに同期させて、音声データに基づく音声波形V2をモニタ(LCD14)に表示させる(ステップS40)。音声波形V2は、再生経過時間に沿った、音声データに基づく音量を示す波形であり、音声の特徴を示す指標である。また、この音声波形V2において、横軸は再生経過時間を示す時間軸V21、縦軸は音量を示す音量軸V22である。時間軸V21上において、時間軸V21と音量軸V22とが交差する位置が、現在の再生経過時間を示す位置となる。
When the second audio waveform display mode is selected, the second audio waveform display mode is set as the moving image reproduction mode. Next, it is determined whether or not sound is being output from the speaker 27 (step S36). If sound is being output from the speaker 27 (step S36; YES), the sound output from the
ここで、ステップS40においては、動画ファイルにExif形式等により付帯する焦点距離情報(被写体にピントが合うときのデジタルカメラと被写体との間の距離情報)を、撮影時におけるデジタルカメラと被写体との距離情報として読み出す。そして、読み出した距離情報に基づく距離を、音速(340m/s)で除することにより、被写体像を記録したタイミングと、被写体の発した音を記録したタイミングとのずれを示す時間であるタイムラグを算出する。図4にその構成を示した動画ファイルでは、このタイムラグは上述の通り約2秒となる。そして、時間軸V21において、音声波形V2を、算出したタイムラグに相当する分だけ左方向へ移動させてモニタ(LCD14)に表示する。その後、動画ファイルの再生が終了したか否かを判断し(ステップS48)、動画ファイルの再生が終了していなければ(ステップS48;NO)、ステップS32に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS48;YES)、当該処理を終了する。 Here, in step S40, focal length information (distance information between the digital camera and the subject when the subject is in focus) attached to the moving image file in the Exif format or the like is obtained between the digital camera and the subject at the time of shooting. Read as distance information. Then, by dividing the distance based on the read distance information by the sound speed (340 m / s), a time lag that is a time indicating a difference between the timing at which the subject image is recorded and the timing at which the sound generated by the subject is recorded is obtained. calculate. In the moving image file whose structure is shown in FIG. 4, this time lag is about 2 seconds as described above. Then, on the time axis V21, the voice waveform V2 is moved leftward by an amount corresponding to the calculated time lag and displayed on the monitor (LCD 14). Thereafter, it is determined whether or not the reproduction of the moving image file has ended (step S48). If the reproduction of the moving image file has not ended (step S48; NO), the process returns to step S32 and the above-described processing is repeated. On the other hand, when the reproduction of the moving image file ends (step S48; YES), the process ends.
また、動画再生モードとして、通常再生モードが選択された場合には、動画再生モードとして通常再生モードが設定される。次に、モニタ(LCD14)に音声波形V2が表示されているか否かを判断し(ステップS42)、表示されている場合には、音声波形V2を消去する(ステップS44)。一方、モニタに音声波形V2を表示していない場合には、そのまま次に進む。いずれの場合も、通常再生モード選択後は、動画データをモニタ(LCD14)に再生し、この再生の経過に同期させて音声データに基づく音声をスピーカ27から出力する(ステップS46)。その後、動画ファイルの再生が終了したか否かを判断し(ステップS48)、動画ファイルの再生が終了していなければ(ステップS48;NO)、ステップS32に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS48;YES)、CPU24は、図5に示すフローチャートに基づく処理を終了する。
When the normal playback mode is selected as the moving image playback mode, the normal playback mode is set as the moving image playback mode. Next, it is determined whether or not the audio waveform V2 is displayed on the monitor (LCD 14) (step S42). If the audio waveform V2 is displayed, the audio waveform V2 is deleted (step S44). On the other hand, if the voice waveform V2 is not displayed on the monitor, the process proceeds to the next. In any case, after the normal playback mode is selected, the moving image data is played back on the monitor (LCD 14), and the sound based on the audio data is output from the
上述した第2動作例によれば、算出したタイムラグの分だけ、音声波形V2を時間軸V21上で移動させた。これにより、再生時において動画データを再生するタイミングと音声データを出力するタイミングとの時間的な関係が、撮影時における被写体(花火41)の動作(爆発)のタイミングと被写体が音(爆発音)を発するタイミングとの時間的な関係とずれてしまうことをなくし、ユーザが抱く違和感を解消することができる。 According to the second operation example described above, the speech waveform V2 is moved on the time axis V21 by the calculated time lag. Thus, the temporal relationship between the timing of reproducing the moving image data and the timing of outputting the audio data at the time of reproduction is based on the timing of the operation (explosion) of the subject (fireworks 41) at the time of shooting and the sound of the subject (explosive sound). Therefore, it is possible to eliminate a sense of incongruity that the user has.
B−3.第3動作例
次に、本実施形態の第3動作例について説明する。
本第3動作例では、上述した第1、第2動作例と同様に、動画と共に音声波形(本第3動作例では音声スペクトル)を表示するが、ユーザが動画再生中に任意のタイミングで音域を指定すると、該指定された音域を含む音声データに対応付けられているフレームを検索して再生することを特徴としている。
B-3. Third Operation Example Next, a third operation example of the present embodiment will be described.
In the third operation example, as in the first and second operation examples described above, a sound waveform (a sound spectrum in the third operation example) is displayed together with the moving image. Is specified, a frame associated with the audio data including the specified range is searched and reproduced.
図7及び図8は、本実施形態によるデジタルカメラの第3動作例を説明するためのフローチャートである。ユーザが、電源をオンにした後、キー入力部28に設けられているメニューキー等を操作すると、CPU24は、フラッシュメモリ23から前記プログラムを読み出し、これに従って動作することにより図7及び図8のフローチャートに示すように処理を実行する。まず、再生する動画ファイルが選択される(ステップS50)。動画ファイルの選択は、保存されている動画ファイルの一覧をLCD14に表示し、その一覧の中から選択される。動画ファイルが選択されると、次に、動画再生モードを選択され(ステップS52)、第3音声波形表示モードが選択されたか、通常再生モードが選択されたかを判断する(ステップS54)。
7 and 8 are flowcharts for explaining a third operation example of the digital camera according to the present embodiment. When the user operates a menu key or the like provided in the
第3音声波形表示モードが選択されると、動画再生モードとして第3音声波形表示モードが設定される。次に、スピーカ27から音声を出力中であるか否かを判断し(ステップS56)、スピーカ27から音声を出力中である場合には(ステップS56;YES)、スピーカ27からの音声出力を停止する(ステップS58)。一方、スピーカ27から音声を出力中でない場合には(ステップS56;NO)、そのまま次に進む。いずれの場合も、第3音声波形表示モード選択後のフレームに関し、図9に示すように、画像データに基づく動画と共に、音声データに基づく音声スペクトルV3をモニタ(LCD14)に表示開始し(ステップS60)、音声スペクトルに対する音域の選択入力を検知したか否かを判断する(ステップS62)。
When the third audio waveform display mode is selected, the third audio waveform display mode is set as the moving image reproduction mode. Next, it is determined whether or not sound is being output from the speaker 27 (step S56). If sound is being output from the speaker 27 (step S56; YES), the sound output from the
ここで、音声スペクトルV3においては、横軸は音声データに基づく音声信号の周波数を示す周波数軸V31、縦軸は音声データに基づく音声信号の信号強度を示すパワー軸V32である。ユーザは、図9に示すように、キー入力部28の十字キーにより周波数選択カーソルC1、パワー選択カーソルC2を移動させるなどして、動画再生中の任意のタイミングでモニタ(LCD14)に表示されている音声スペクトルから所望する音域V33を指定する。つまり、音域V33とは、各カーソルC1、C2で指定された周波数と信号強度との対応関係によって定まるものであり、音声の特徴(周波数と信号強度)を示す指標である。
Here, in the audio spectrum V3, the horizontal axis is the frequency axis V31 indicating the frequency of the audio signal based on the audio data, and the vertical axis is the power axis V32 indicating the signal intensity of the audio signal based on the audio data. As shown in FIG. 9, the user moves the frequency selection cursor C1 and the power selection cursor C2 with the cross key of the
そして、ユーザによる音声スペクトルに対する音域の選択入力を検知した場合には、図10に示すように、選択された音域を含む音声データに対応付けられているフレームのみを再生する(ステップS64)。詳細には、音域選択が検知された時点以降の動画ファイルの再生時間におけるフレームに関し、この処理を施す。図示の例では、再生されている動画ファイルのフレームF1〜F4のうち、ユーザにより選択された音域を含む音声データに対応付けられているフレームF2、F3のみ再生する(実際には、さらに多くの対応するフレームが再生される)。その後、動画ファイルの再生が終了したか否かを判断し(ステップS72)、動画ファイルの再生が終了していなければ(ステップS72;NO)、ステップS52に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS72;YES)、当該処理を終了する。 Then, when the selection input of the sound range for the sound spectrum by the user is detected, as shown in FIG. 10, only the frame associated with the sound data including the selected sound range is reproduced (step S64). Specifically, this processing is performed for frames in the playback time of the moving image file after the time point when the range selection is detected. In the illustrated example, only the frames F2 and F3 associated with the audio data including the sound range selected by the user are reproduced from the frames F1 to F4 of the moving image file being reproduced (actually, more The corresponding frame is played). Thereafter, it is determined whether or not the reproduction of the moving image file has been completed (step S72). If the reproduction of the moving image file has not been completed (step S72; NO), the process returns to step S52 and the above-described processing is repeated. On the other hand, if the reproduction of the moving image file ends (step S72; YES), the process ends.
また、ユーザによる音声スペクトルに対する音域の選択入力を検知しない場合には、通常通り、動画ファイルの再生を行い、動画ファイルの再生が終了したか否かを判断し(ステップS72)、動画ファイルの再生が終了していなければ(ステップS72;NO)、ステップS52に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS72;YES)、当該処理を終了する。 On the other hand, when the selection input of the sound range for the audio spectrum by the user is not detected, the moving image file is reproduced as usual, and it is determined whether or not the reproduction of the moving image file is finished (step S72). If not completed (step S72; NO), the process returns to step S52 and the above-described processing is repeated. On the other hand, if the reproduction of the moving image file ends (step S72; YES), the process ends.
また、通常再生モードが選択された場合には、動画再生モードとして通常再生モードが設定される。次に、モニタ(LCD14)に音声波形V3が表示されているか否かを判断し(ステップS66)、表示されている場合には、音声波形V3を消去する(ステップS68)。一方、モニタに音声波形V3を表示していない場合には、そのまま次に進む。いずれの場合も、通常再生モード選択後は、動画データをモニタ(LCD14)に再生し、この再生の経過に同期させて音声データに基づく音声をスピーカ27から出力する(ステップS70)。その後、動画ファイルの再生が終了したか否かを判断し(ステップS72)、動画ファイルの再生が終了していなければ(ステップS72;NO)、ステップS52に戻り、上述した処理を繰り返す。一方、動画ファイルの再生が終了すれば(ステップS72;YES)、(ステップS72;YES)、CPU24は、図7に示すフローチャートに基づく動作を終了する。
When the normal playback mode is selected, the normal playback mode is set as the moving image playback mode. Next, it is determined whether or not the audio waveform V3 is displayed on the monitor (LCD 14) (step S66). If the audio waveform V3 is displayed, the audio waveform V3 is deleted (step S68). On the other hand, if the voice waveform V3 is not displayed on the monitor, the process proceeds to the next. In any case, after the normal playback mode is selected, the moving image data is played back on the monitor (LCD 14), and the sound based on the audio data is output from the
上述した第3動作例によれば、ユーザにより指定された音域に対応する画像を選択的に再生することができる。 According to the third operation example described above, an image corresponding to the sound range designated by the user can be selectively reproduced.
尚、本実施の形態においては、ユーザの選択操作を検出することにより通常再生モードと第1〜第3音声波形表示モードとの切り替えを行なっていたが、通常再生モードによる再生時に常時マイク26で周囲環境音を取得し、この音量が所定値以上であれば、自動的に第1〜第3音声波形表示モードに切り替え、逆に、第1〜第3音声波形表示モードによる再生時にマイク26で取得した周囲環境音の音量が所定値以下であれば、通常再生モードに切り替えるようにしても良い。こうすることにより、ユーザは動画再生時に周囲環境に気を使うことなく動画の再生に同期した音声出力を確認することができる。
In the present embodiment, switching between the normal playback mode and the first to third audio waveform display modes is performed by detecting the user's selection operation. However, the
本発明は、前述した実施の形態において説明したデジタルカメラに限定されるものではなく、動画再生機能を有した携帯機器、例えば、携帯電話機、PDA(personal
digital assistant)、メディアコンテンツ再生装置等に適用することができる。また、本発明は、上記の実施の形態に限定されるものではなく、その趣旨を逸脱しない範囲で、種々の設計変更ができる。
The present invention is not limited to the digital camera described in the above-described embodiment, and is a mobile device having a video playback function, such as a mobile phone, a PDA (personal
The present invention can be applied to digital assistants, media content playback devices, and the like. The present invention is not limited to the above-described embodiment, and various design changes can be made without departing from the spirit of the present invention.
10 レンズブロック
11 CCD
12 CDS/AD
13 画像処理部
14 LCD
15 BL
16 モータ
17 モータドライバ
18 垂直/水平ドライバ
19 ストロボ
20 TG
21 外部メモリ
22 RAM
23 フラッシュメモリ
24 CPU
25 音声処理部
26 マイク
27 スピーカ
28 キー入力部
29 バッテリ
30 電源
31 マイコン
10
12 CDS / AD
13
15 BL
16
21
23
25
Claims (7)
動画ファイルに含まれる音声データに基づく音声を出力する音声出力手段と、
所定の動画再生モードを設定する設定手段と、
前記所定の動画再生モードが設定されているときに、前記音声出力手段による音声出力を停止させる音声停止手段と、
前記所定の動画再生モードが設定されているときに、前記音声データに基づく音声に関する指標である音声指標を前記表示手段に表示させる表示制御手段と
を具備することを特徴とする動画再生装置。 Display means for displaying an image based on the image data included in the video file;
Audio output means for outputting audio based on audio data included in the video file;
Setting means for setting a predetermined video playback mode;
Audio stop means for stopping audio output by the audio output means when the predetermined video playback mode is set;
And a display control means for causing the display means to display an audio index, which is an index related to audio based on the audio data, when the predetermined video playback mode is set.
前記表示制御手段は、前記表示手段に表示されている音声指標を、前記算手段により算出されたタイムラグに対応する時間分だけ、前記再生時間を示す時間軸上において移動させて表示させる
ことを特徴とする請求項2記載の動画再生装置。 Based on distance information included in the moving image file, comprising a calculating means for calculating a time lag which is a difference between the time when the subject image was recorded and the time when the sound emitted by the subject was recorded,
The display control means displays the voice index displayed on the display means by moving it on the time axis indicating the playback time by the time corresponding to the time lag calculated by the calculating means. The moving image reproducing apparatus according to claim 2.
前記表示制御手段は、前記指定手段により指定された音域を含む音声データに対応付けられた画像データのみを、前記表示手段に表示させる
ことを特徴とする請求項4記載の動画再生装置。 A designating unit that designates a sound range that is sound information determined by a relationship between the specific frequency and the specific signal strength with respect to the sound index,
The moving image reproducing apparatus according to claim 4, wherein the display control means causes the display means to display only the image data associated with the audio data including the sound range designated by the designation means.
所定の動画再生モードを設定する設定ステップと、
前記所定の動画再生モードが設定されているときに、前記音声出力手段による音声出力を停止させる音声停止ステップと、
前記所定の動画再生モードが設定されているときに、前記音声データに基づく音声に関する指標である音声指標を前記表示手段に表示させる表示制御ステップと
を含むことを特徴とする動画再生方法。 A video playback method for a mobile device comprising: display means for displaying an image based on image data contained in a video file; and audio output means for outputting audio based on audio data contained in the video file,
A setting step for setting a predetermined video playback mode;
An audio stop step for stopping audio output by the audio output means when the predetermined video playback mode is set;
And a display control step of causing the display means to display an audio index that is an index relating to audio based on the audio data when the predetermined video playback mode is set.
所定の動画再生モードを設定する設定手段、
前記所定の動画再生モードが設定されているときに、前記音声出力手段による音声出力を停止させる音声停止手段、
前記所定の動画再生モードが設定されているときに、前記音声データに基づく音声に関する指標である音声指標を前記表示手段に表示させる表示制御手段、
として機能させるプログラム。
A computer of a portable device comprising: display means for displaying an image based on image data included in a moving image file; and audio output means for outputting sound based on audio data included in the moving image file.
Setting means for setting a predetermined video playback mode;
Audio stop means for stopping audio output by the audio output means when the predetermined video playback mode is set;
Display control means for causing the display means to display an audio index, which is an index related to audio based on the audio data, when the predetermined video playback mode is set;
Program to function as.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008049314A JP5061955B2 (en) | 2008-02-29 | 2008-02-29 | Video playback device, video playback method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008049314A JP5061955B2 (en) | 2008-02-29 | 2008-02-29 | Video playback device, video playback method, and program |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009207043A true JP2009207043A (en) | 2009-09-10 |
JP2009207043A5 JP2009207043A5 (en) | 2011-04-07 |
JP5061955B2 JP5061955B2 (en) | 2012-10-31 |
Family
ID=41148835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008049314A Expired - Fee Related JP5061955B2 (en) | 2008-02-29 | 2008-02-29 | Video playback device, video playback method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5061955B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010246026A (en) * | 2009-04-09 | 2010-10-28 | Canon Inc | Image processing apparatus, image processing method, and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005202863A (en) * | 2004-01-19 | 2005-07-28 | Olympus Corp | Information display program, method and device, and recording medium |
JP2005260391A (en) * | 2004-03-10 | 2005-09-22 | Nippon Telegr & Teleph Corp <Ntt> | Moving image display apparatus, moving image display method, moving image display program, and computer-readable recording medium for recording this program |
JP2006033388A (en) * | 2004-07-15 | 2006-02-02 | Olympus Corp | Display program, display method, display apparatus, and recording medium |
JP2007049332A (en) * | 2005-08-09 | 2007-02-22 | Sony Corp | Recording and reproducing apparatus and method, and recording apparatus and method |
JP2008048374A (en) * | 2006-07-21 | 2008-02-28 | Victor Co Of Japan Ltd | Video camera apparatus |
JP2008263460A (en) * | 2007-04-13 | 2008-10-30 | Sony Corp | Recorder, recording method, sound waveform display device and sound waveform display method |
-
2008
- 2008-02-29 JP JP2008049314A patent/JP5061955B2/en not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005202863A (en) * | 2004-01-19 | 2005-07-28 | Olympus Corp | Information display program, method and device, and recording medium |
JP2005260391A (en) * | 2004-03-10 | 2005-09-22 | Nippon Telegr & Teleph Corp <Ntt> | Moving image display apparatus, moving image display method, moving image display program, and computer-readable recording medium for recording this program |
JP2006033388A (en) * | 2004-07-15 | 2006-02-02 | Olympus Corp | Display program, display method, display apparatus, and recording medium |
JP2007049332A (en) * | 2005-08-09 | 2007-02-22 | Sony Corp | Recording and reproducing apparatus and method, and recording apparatus and method |
JP2008048374A (en) * | 2006-07-21 | 2008-02-28 | Victor Co Of Japan Ltd | Video camera apparatus |
JP2008263460A (en) * | 2007-04-13 | 2008-10-30 | Sony Corp | Recorder, recording method, sound waveform display device and sound waveform display method |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010246026A (en) * | 2009-04-09 | 2010-10-28 | Canon Inc | Image processing apparatus, image processing method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP5061955B2 (en) | 2012-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4985834B2 (en) | Imaging apparatus and image processing apparatus | |
CN101263706A (en) | Imaging device and recording method | |
KR102057467B1 (en) | Display control apparatus and method for controlling the same | |
CN104469237A (en) | Moving image selection apparatus and moving image selection method | |
JP3976316B2 (en) | Image playback device | |
JP5743512B2 (en) | Imaging apparatus and control method thereof | |
JP2011250103A (en) | Reproducing apparatus | |
JP5061955B2 (en) | Video playback device, video playback method, and program | |
JP4654947B2 (en) | Movie processing apparatus and program thereof | |
JP2007048173A (en) | Recording device and program for the same | |
JP2013046125A (en) | Imaging apparatus | |
JP4915978B2 (en) | Movie playback apparatus and program thereof | |
JP2010283689A (en) | Imaging and recording apparatus, control method thereof, and program | |
JP2010200056A (en) | Recording and reproducing apparatus | |
JP6452519B2 (en) | REPRODUCTION CONTROL DEVICE, ITS CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP2006174086A (en) | Image recording reproducing device and image recording reproducing method | |
JP2019096950A (en) | Imaging apparatus, imaging method and imaging program | |
JP5585693B2 (en) | Image playback device | |
JP2011139300A (en) | Image processing apparatus and program | |
JP2009095047A (en) | Recording and reproducing device | |
JP2006217111A (en) | Moving image photographing apparatus and method | |
JP2014143458A (en) | Imaging apparatus and control method therefor | |
JP2006186932A (en) | Still image display device and method, and camera | |
JP6552193B2 (en) | Imaging device and control method of recording device | |
JP2006101310A (en) | Photographing apparatus and program therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110218 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110218 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120326 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120328 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120417 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120710 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120723 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5061955 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150817 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |