JP2006080723A - 記録装置および記録方法、再生装置および再生方法、並びにプログラム - Google Patents

記録装置および記録方法、再生装置および再生方法、並びにプログラム Download PDF

Info

Publication number
JP2006080723A
JP2006080723A JP2004260536A JP2004260536A JP2006080723A JP 2006080723 A JP2006080723 A JP 2006080723A JP 2004260536 A JP2004260536 A JP 2004260536A JP 2004260536 A JP2004260536 A JP 2004260536A JP 2006080723 A JP2006080723 A JP 2006080723A
Authority
JP
Japan
Prior art keywords
image data
moving image
file
thumbnail
thumbnail image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2004260536A
Other languages
English (en)
Inventor
Masayuki Kuwata
昌行 桑田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2004260536A priority Critical patent/JP2006080723A/ja
Priority to US11/218,633 priority patent/US8340497B2/en
Priority to KR1020050083050A priority patent/KR20060051064A/ko
Priority to CNB2005101025384A priority patent/CN100461845C/zh
Publication of JP2006080723A publication Critical patent/JP2006080723A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/326Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is a video-frame or a video-field (P.I.P.)
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/84Television signal recording using optical recording
    • H04N5/85Television signal recording using optical recording on discs or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/806Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal
    • H04N9/8063Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components with processing of the sound signal using time division multiplex of the PCM audio and PCM video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

【課題】 AVストリームファイルが選択された場合に画像を迅速に表示できるようにする。
【解決手段】 AVストリームファイルが選択された場合、制御マイコン46は、AVストリームファイルに対応するサムネイル画像ファイルを読み出し、表示制御部44は、画像処理部43からの制御に基づき、読み出されたサムネイル画像ファイルに基づくサムネイル画像を表示部45に表示させる。また、制御マイコン46は、AVストリームファイルを読み出し、表示制御部44は、コーデック部31からの制御に基づきAVストリームファイルの画像を、サムネイル画像に代えて表示部45に表示するように表示を制御する。本発明は、記録媒体に動画像ファイルを記録したり、記録媒体から動画像ファイルを再生する記録再生装置に適用することができる。
【選択図】図1

Description

本発明は、記録装置および記録方法、再生装置および再生方法、並びにプログラムに関し、特に、画像を迅速に表示できるようにした記録装置および記録方法、再生装置および再生方法、並びにプログラムに関する。
AV(Audio Video)ストリームファイルを記録媒体に記録する記録装置は、例えば、AVデータを、MPEGの形式にエンコードして記録媒体に記録している(例えば、特許文献1参照)。
また例えば、MPEG(Moving Picture Expert Group)1の規格に基づいてエンコードされて記録媒体に記録されている動画像ファイルを再生する再生装置においては、その動画ファイルを先頭から解析することで、先頭ビデオフレームをデコードし、表示部への表示を行っている。
特開2001−111963号公報
しかしながら、MP4ファイルフォーマットの規格に基づいてエンコードされて記録媒体に記録されているAVストリームファイル(動画像ファイル)を再生する再生装置においては、最初にAVストリームファイルからサンプルテーブル(MOOV)を読み込み、先頭のビデオフレームの位置を解析し、次に、AVストリームファイルから先頭ビデオフレームを読み込み、デコードを行って、表示部への表示を行っているため、表示部に先頭のビデオフレームに対応する画像を表示するまでに時間がかかるという課題があった。
この再生装置においては、例えば、MP4ファイルフォーマットの規格に基づいてエンコードされているAVストリームファイルが選択されてからそのAVストリームファイルを読み込んでいる間に「アクセス中」といったメッセージを表示するようにしているものがあるが、ユーザは、待ち時間をストレスに感じるという問題がある。
また、例えば、再生装置においてAVストリームファイルが選択された場合にはサムネイル画像のような代表画像を表示し、再生が指示された場合には、サムネイル画像に対応するAVストリームファイルを新たに読み込み、AVストリームファイルの解析を始めるものがある。しかしながらこの場合であっても、再生が指令された後、再生を開始するまでに時間がかかるという課題があった。
本発明はこのような状況に鑑みてなされたものであり、画像を迅速に表示できるようにするものである。
本発明の記録装置は、動画像データを入力する入力手段と、入力手段により入力された動画像データをエンコードするエンコード手段と、エンコード手段によりエンコードされた動画像データに含まれる、任意のフレーム画像のデータであるフレーム画像データを第1の記憶エリアに記憶し、フレーム画像データを除く動画像データを第2の記憶エリアに記憶する記憶手段と、記憶手段により記憶された動画像データを記録媒体に記録する記録手段と、エンコード手段によりエンコードされた動画像データをデコードするデコード手段と、フレーム画像データに基づいてサムネイル画像を生成するサムネイル画像生成手段とを備え、記録手段は、第1の記憶エリアに記憶されているフレーム画像データと、第2の記憶エリアに記憶されているフレーム画像データを除く動画像データとを合わせて、動画像ファイルとして記録し、デコード手段は、第1の記憶エリアに記憶されているフレーム画像データをデコードし、サムネイル画像生成手段は、デコード手段によりデコードされたフレーム画像データに基づいてサムネイル画像データを生成し、記録手段は、サムネイル画像生成手段により生成されたサムネイル画像データをサムネイル画像ファイルとし、記録した動画像ファイルに関連付けてさらに記録することを特徴とする。
サムネイル画像生成手段により生成されたサムネイル画像データを、静止画を処理する形式で圧縮する圧縮手段をさらに備え、記録手段は、記録した動画像ファイルに関連付けて、圧縮手段により圧縮されたサムネイル画像データをサムネイル画像ファイルとして記録するものとすることができる。
フレーム画像データは、動画像データの先頭のフレーム画像データであるものとすることができる。
エンコード手段は、MP4ファイルフォーマットの規格に基づいて動画像データをエンコードし、デコード手段は、エンコードされている動画像データをMP4ファイルフォーマットの規格に基づいてデコードするものとすることができる。
本発明の記録方法は、動画像データを入力する入力ステップと、入力ステップの処理により入力された動画像データをエンコードするエンコードステップと、エンコードステップの処理によりエンコードされた動画像データに含まれる、任意のフレーム画像のデータであるフレーム画像データを、記憶部の第1の記憶エリアに記憶するよう記憶を制御する第1の記憶制御ステップと、エンコードステップの処理によりエンコードされた動画像データのうちの、第1の記憶エリアに記憶されたフレーム画像を除く動画像データを、記憶部の第2の記憶エリアに記憶するよう記憶を制御する第2の記憶制御ステップと、第1の記憶エリアに記憶されているフレーム画像データと、第2の記憶エリアに記憶されているフレーム画像データを除く動画像データとを合わせて、動画像ファイルとして記録媒体に記録するよう記録を制御する第1の記録制御ステップと、第1の記憶エリアに記憶されているフレーム画像データをデコードするデコードステップと、デコードステップの処理によりデコードされたフレーム画像データに基づいてサムネイル画像データを生成するサムネイル画像生成ステップと、サムネイル画像生成ステップの処理により生成されたサムネイル画像データを、サムネイル画像とし、記録した動画像ファイルに関連付けて記録媒体に記録するよう記録を制御する第2の記録制御ステップとを含むことを特徴とする。
本発明の第1のプログラムは、動画像データを入力する入力ステップと、入力ステップの処理により入力された動画像データをエンコードするエンコードステップと、エンコードステップの処理によりエンコードされた動画像データに含まれる、任意のフレーム画像のデータであるフレーム画像データを、記憶部の第1の記憶エリアに記憶するよう記憶を制御する第1の記憶制御ステップと、エンコードステップの処理によりエンコードされた動画像データのうちの、第1の記憶エリアに記憶されたフレーム画像を除く動画像データを、記憶部の第2の記憶エリアに記憶するよう記憶を制御する第2の記憶制御ステップと、第1の記憶エリアに記憶されているフレーム画像データと、第2の記憶エリアに記憶されているフレーム画像データを除く動画像データとを合わせて、動画像ファイルとして記録媒体に記録するよう記録を制御する第1の記録制御ステップと、第1の記憶エリアに記憶されているフレーム画像データをデコードするデコードステップと、デコードステップの処理によりデコードされたフレーム画像データに基づいてサムネイル画像データを生成するサムネイル画像生成ステップと、サムネイル画像生成ステップの処理により生成されたサムネイル画像データを、サムネイル画像とし、記録した動画像ファイルに関連付けて記録媒体に記録するよう記録を制御する第2の記録制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
第1の本発明においては、入力された動画像データがエンコードされ、エンコードされた動画像データのうち、任意のフレーム画像のデータが記憶部の第1の記憶エリアに記憶され、残りの動画像データが記憶部の第2の記憶エリアに記憶される。また、第1の記憶エリアのフレーム画像データと、第2の記憶エリアの動画像データとが合わせられて、動画像ファイルとして記録媒体に記録される。さらに、第1の記憶エリアのフレーム画像データがデコードされてサムネイル画像データが生成され、サムネイル画像が、動画像ファイルに関連付けて記録媒体に記録される。
本発明の再生装置は、動画像ファイルに関連付けられたサムネイル画像ファイルと、動画像ファイルとを記録媒体から読み出す読み出し手段と、読み出し手段により読み出されたサムネイル画像ファイルに基づくサムネイル画像と、動画像ファイルに基づく動画像との表示部への表示を制御する表示制御手段とを備え、動画像ファイルが選択された場合、読み出し手段は、動画像ファイルに関連付けられたサムネイル画像ファイルを読み出し、表示制御手段は、読み出し手段により読み出されたサムネイル画像ファイルに基づいてサムネイル画像の表示部への表示を制御し、読み出し手段は、動画像ファイルをさらに読み出し、表示制御手段は、読み出し手段により動画像ファイルの先頭フレームの読み出しが完了した場合に、動画像ファイルに基づく動画像を、表示部に表示されているサムネイル画像に代えて表示するように表示部への表示を制御することを特徴とする。
圧縮されているサムネイル画像ファイルのサムネイル画像データを伸長する伸長手段と、エンコードされている動画像ファイルの動画像データをデコードするデコード手段とをさらに備え、動画像ファイルが選択された場合、読み出し手段は、動画像ファイルに関連付けられたサムネイル画像ファイルを読み出し、伸長手段は、読み出し手段により読み出された、圧縮されているサムネイル画像ファイルのサムネイル画像データを伸長し、表示制御手段は、伸長手段により伸長されたサムネイル画像データに基づいてサムネイル画像の表示部への表示を制御し、読み出し手段は、動画像ファイルをさらに読み出し、デコード手段は、読み出し手段により読み出された、エンコードされている動画像ファイルの動画像データをデコードし、表示制御手段は、デコード手段により動画像データのデコードが完了した場合に、動画像データに基づく動画像を、表示部に表示されているサムネイル画像に代えて表示するように表示部への表示を制御するものとすることができる。
サムネイル画像データは、動画像ファイルの先頭のフレーム画像データに対応するサムネイル画像データであるものとすることができる。
サムネイル画像データは、動画像ファイルの先頭のフレーム画像データに対応するサムネイル画像データであって、圧縮されているサムネイル画像ファイルのサムネイル画像データを伸長する伸長手段と、エンコードされている動画像ファイルの動画像データをデコードするデコード手段とをさらに備え、動画像ファイルが選択された場合、読み出し手段は、動画像ファイルに関連付けられたサムネイル画像ファイルを読み出し、伸長手段は、読み出し手段により読み出された、圧縮されているサムネイル画像ファイルのサムネイル画像データを伸長し、表示制御手段は、伸長手段により伸長されたサムネイル画像データに基づいてサムネイル画像の表示部への表示を制御し、読み出し手段は、動画像ファイルの先頭のフレーム画像データをさらに読み出し、デコード手段は、読み出し手段により読み出された、エンコードされている動画像ファイルの先頭のフレーム画像データをデコードし、表示制御手段は、デコード手段により先頭のフレーム画像データのデコードが完了した場合に、先頭のフレーム画像データに基づく画像を、表示部に表示されているサムネイル画像に代えて表示するように表示部への表示を制御し、表示制御手段により、動画像ファイルの先頭のフレーム画像データに基づく画像が表示部に表示された後、動画像ファイルの再生が指令された場合、読み出し手段は、動画像ファイルの2番目以降のフレーム画像データを順次読み出し、デコード手段は、読み出し手段により読み出された、エンコードされている動画像ファイルの2番目以降のフレーム画像データを順次デコードし、表示制御手段は、デコード手段によりデコードされた動画像ファイルの2番目以降のフレーム画像データに基づく動画像の表示部への表示を順次制御するものとすることができる。
記録媒体に記録されている動画像ファイルに含まれる動画像データは、MP4ファイルフォーマットの規格に基づいてエンコードされており、デコード手段は、エンコードされている動画像データをMP4ファイルフォーマットの規格に基づいてデコードするものとすることができる。
本発明の再生方法は、動画像ファイルが選択された場合、動画像ファイルに関連付けられたサムネイル画像ファイルを記録媒体から読み出す第1の読み出しステップと、第1の読み出しステップの処理により読み出されたサムネイル画像ファイルに基づいて、サムネイル画像の表示部への表示を制御する第1の表示制御ステップと、動画像ファイルを記録媒体から読み出す第2の読み出しステップと、第2の読み出しステップの処理により動画像ファイルの先頭フレームの読み出しが完了した場合に、動画像ファイルに基づく動画像を、表示部に表示されているサムネイル画像に代えて表示するように表示部への表示を制御する第2の表示制御ステップとを含むことを特徴とする。
本発明の第2のプログラムは、動画像ファイルが選択された場合、動画像ファイルに関連付けられたサムネイル画像ファイルを記録媒体から読み出す第1の読み出しステップと、第1の読み出しステップの処理により読み出されたサムネイル画像ファイルに基づいて、サムネイル画像の表示部への表示を制御する第1の表示制御ステップと、動画像ファイルを記録媒体から読み出す第2の読み出しステップと、第2の読み出しステップの処理により動画像ファイルの先頭フレームの読み出しが完了した場合に、動画像ファイルに基づく動画像を、表示部に表示されているサムネイル画像に代えて表示するように表示部への表示を制御する第2の表示制御ステップとを含む処理をコンピュータに実行させることを特徴とする。
第2の本発明においては、動画像ファイルが選択された場合、動画像ファイルに関連付けられたサムネイル画像ファイルが記録媒体から読み出され、読み出されたサムネイル画像ファイルに基づいて、サムネイル画像の表示部への表示が制御されるとともに、動画像ファイルが記録媒体から読み出される。また、動画像ファイルの先頭フレームの読み出しが完了した場合に、動画像ファイルに基づく動画像が、表示部に表示されているサムネイル画像に代えて表示される。
第1の本発明によれば、動画像ファイルを記録することができる。特に、第1の本発明によれば、動画像ファイルにサムネイル画像ファイルを関連付けて記録することができる。
第2の本発明によれば、画像を迅速に表示することができる。特に、第2の本発明によれば、動画像ファイルが選択された場合に、動画像ファイルに関連付けられたサムネイル画像を先に表示することができる。
以下に本発明の実施の形態を説明するが、本明細書に記載の発明と、発明の実施の形態との対応関係を例示すると、次のようになる。この記載は、本明細書に記載されている発明をサポートする実施の形態が、本明細書に記載されていることを確認するためのものである。したがって、発明の実施の形態中には記載されているが、発明に対応するものとして、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その発明に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その発明以外の発明には対応しないものであることを意味するものでもない。
更に、この記載は、本明細書に記載されている発明の全てを意味するものでもない。換言すれば、この記載は、本明細書に記載されている発明であって、この出願では請求されていない発明の存在、すなわち、将来、分割出願されたり、補正により出現、追加される発明の存在を否定するものではない。
請求項1に記載の記録装置は、
記録媒体(例えば、図1のMS49)にデータを記録する記録装置(例えば、図1の記録再生装置1)であって、
動画像データを入力する入力手段(例えば、図1の画像処理部43)と、
前記入力手段により入力された前記動画像データをエンコードするエンコード手段(例えば、図3のコーデック部31のエンコード処理部122)と、
前記エンコード手段によりエンコードされた前記動画像データに含まれる、任意のフレーム画像のデータであるフレーム画像データを第1の記憶エリア(例えば、図2の第1ビデオフレームエリア82)に記憶し、前記フレーム画像データを除く前記動画像データを第2の記憶エリア(例えば、図2の通常ビデオフレームエリア83)に記憶する記憶手段(例えば、図2のSDRAM32)と、
前記記憶手段により記憶された前記動画像データを前記記録媒体に記録する記録手段(例えば、図1の制御マイコン46)と、
前記エンコード手段によりエンコードされた前記動画像データをデコードするデコード手段(例えば、図3のコーデック部31のデコード処理部123)と、
前記フレーム画像データに基づいてサムネイル画像を生成するサムネイル画像生成手段(例えば、図3のコーデック部31の縮小処理部128)と
を備え、
前記記録手段は、前記第1の記憶エリアに記憶されている前記フレーム画像データと、前記第2の記憶エリアに記憶されている前記フレーム画像データを除く動画像データとを合わせて、動画像ファイルとして記録し(例えば、図8のステップS30)、
前記デコード手段は、前記第1の記憶エリアに記憶されている前記フレーム画像データをデコードし(例えば、図12のステップS51)、
前記サムネイル画像生成手段は、前記デコード手段によりデコードされた前記フレーム画像データに基づいてサムネイル画像データを生成し(例えば、図12のステップS52)、
前記記録手段は、前記サムネイル画像生成手段により生成された前記サムネイル画像データをサムネイル画像ファイルとし、記録した前記動画像ファイルに関連付けてさらに記録する(例えば、図9のステップS37)
ことを特徴とする。
請求項2に記載の記録装置は、
前記サムネイル画像生成手段により生成された前記サムネイル画像データを、静止画を処理する形式で圧縮する圧縮手段(例えば、図9のステップS36の処理を実行する図4の画像処理部43の圧縮処理部142)をさらに備え、
前記記録手段は、記録した前記動画像ファイルに関連付けて、前記圧縮手段により圧縮された前記サムネイル画像データをサムネイル画像ファイルとして記録する(例えば、図9のステップS37)
ことを特徴とする。
請求項3に記載の記録装置の前記フレーム画像データは、前記動画像データの先頭のフレーム画像データである
ことを特徴とする。
請求項4に記載の記録装置の前記エンコード手段は、MP4ファイルフォーマットの規格に基づいて前記動画像データをエンコードし、
前記デコード手段は、エンコードされている前記動画像データをMP4ファイルフォーマットの規格に基づいてデコードする
ことを特徴とする。
請求項5に記載の記録方法は、
記録媒体にデータを記録する記録装置(例えば、図1の記録再生装置1)の記録方法であって、
動画像データを入力する入力ステップ(例えば、図7のステップS13)と、
前記入力ステップの処理により入力された前記動画像データをエンコードするエンコードステップ(例えば、図7のステップS14)と、
前記エンコードステップの処理によりエンコードされた前記動画像データに含まれる、任意のフレーム画像のデータであるフレーム画像データを、記憶部(例えば、図3のSDRAM32)の第1の記憶エリア(例えば、図2の第1ビデオフレームエリア82)に記憶するよう記憶を制御する第1の記憶制御ステップ(例えば、図7のステップS16)と、
前記エンコードステップの処理によりエンコードされた前記動画像データのうちの、前記第1の記憶エリアに記憶された前記フレーム画像を除く動画像データを、前記記憶部の第2の記憶エリア(例えば、図2の通常ビデオフレームエリア83)に記憶するよう記憶を制御する第2の記憶制御ステップ(例えば、図7のステップS23)と、
前記第1の記憶エリアに記憶されている前記フレーム画像データと、前記第2の記憶エリアに記憶されている前記フレーム画像データを除く動画像データとを合わせて、動画像ファイルとして前記記録媒体に記録するよう記録を制御する第1の記録制御ステップと(例えば、図8のステップS30)、
前記第1の記憶エリアに記憶されている前記フレーム画像データをデコードするデコードステップ(例えば、図12のステップS51)と、
前記デコードステップの処理によりデコードされた前記フレーム画像データに基づいてサムネイル画像データを生成するサムネイル画像生成ステップ(例えば、図12のステップS52)と、
前記サムネイル画像生成ステップの処理により生成された前記サムネイル画像データを、サムネイル画像とし、記録した前記動画像ファイルに関連付けて前記記録媒体に記録するよう記録を制御する第2の記録制御ステップ(例えば、図9のステップS37)と
を含むことを特徴とする。
請求項6に記載のプログラムは、
記録媒体にデータを記録する処理を制御するプログラムであって、
動画像データを入力する入力ステップ(例えば、図7のステップS13)と、
前記入力ステップの処理により入力された前記動画像データをエンコードするエンコードステップ(例えば、図7のステップS14)と、
前記エンコードステップの処理によりエンコードされた前記動画像データに含まれる、任意のフレーム画像のデータであるフレーム画像データを、記憶部(例えば、図3のSDRAM32)の第1の記憶エリア(例えば、図2の第1ビデオフレームエリア82)に記憶するよう記憶を制御する第1の記憶制御ステップ(例えば、図7のステップS16)と、
前記エンコードステップの処理によりエンコードされた前記動画像データのうちの、前記第1の記憶エリアに記憶された前記フレーム画像を除く動画像データを、前記記憶部の第2の記憶エリア(例えば、図2の通常ビデオフレームエリア83)に記憶するよう記憶を制御する第2の記憶制御ステップ(例えば、図7のステップS23)と、
前記第1の記憶エリアに記憶されている前記フレーム画像データと、前記第2の記憶エリアに記憶されている前記フレーム画像データを除く動画像データとを合わせて、動画像ファイルとして前記記録媒体に記録するよう記録を制御する第1の記録制御ステップと(例えば、図8のステップS30)、
前記第1の記憶エリアに記憶されている前記フレーム画像データをデコードするデコードステップ(例えば、図12のステップS51)と、
前記デコードステップの処理によりデコードされた前記フレーム画像データに基づいてサムネイル画像データを生成するサムネイル画像生成ステップ(例えば、図12のステップS52)と、
前記サムネイル画像生成ステップの処理により生成された前記サムネイル画像データを、サムネイル画像とし、記録した前記動画像ファイルに関連付けて前記記録媒体に記録するよう記録を制御する第2の記録制御ステップ(例えば、図9のステップS37)と
を含む処理をコンピュータに実行させることを特徴とする。
請求項7に記載の再生装置は、
動画像データを格納する動画像ファイル(例えば、AVストリームファイル)と、前記動画像ファイルに関連付けられたサムネイル画像データを格納するサムネイル画像ファイルとが記録されている記録媒体(例えば、図1のMS49)を再生する再生装置(例えば、図1の記録再生装置1)であって、
前記動画像ファイルに関連付けられた前記サムネイル画像ファイルと、前記動画像ファイルとを前記記録媒体から読み出す読み出し手段(例えば、図5の制御マイコン46の再生処理部164)と、
前記読み出し手段により読み出された前記サムネイル画像ファイルに基づくサムネイル画像と、前記動画像ファイルに基づく動画像との表示部への表示を制御する表示制御手段(例えば、図1の表示制御部44)と
を備え、
前記動画像ファイルが選択された場合、
前記読み出し手段は、前記動画像ファイルに関連付けられた前記サムネイル画像ファイルを読み出し(例えば、図13のステップS72)、
前記表示制御手段は、前記読み出し手段により読み出された前記サムネイル画像ファイルに基づいてサムネイル画像の表示部への表示を制御し(例えば、図13のステップS74)、
前記読み出し手段は、前記動画像ファイルをさらに読み出し(例えば、図13のステップS76)、
前記表示制御手段は、前記読み出し手段により前記動画像ファイルの先頭フレームの読み出しが完了した場合に、前記動画像ファイルに基づく動画像を、前記表示部に表示されている前記サムネイル画像に代えて表示するように表示部への表示を制御する(例えば、図14のステップS83)
ことを特徴とする。
請求項8に記載の再生装置は、
圧縮されている前記サムネイル画像ファイルのサムネイル画像データを伸長する伸長手段(例えば、図4の伸長処理部143)と、
エンコードされている前記動画像ファイルの前記動画像データをデコードするデコード手段(例えば、図3のデコード処理部123)とをさらに備え、
前記動画像ファイルが選択された場合、
前記読み出し手段は、前記動画像ファイルに関連付けられた前記サムネイル画像ファイルを読み出し(例えば、図13のステップS72)、
前記伸長手段は、前記読み出し手段により読み出された、圧縮されている前記サムネイル画像ファイルのサムネイル画像データを伸長し(例えば、図13のステップS73)、
前記表示制御手段は、前記伸長手段により伸長された前記サムネイル画像データに基づいてサムネイル画像の表示部への表示を制御し(例えば、図13のステップS74)、
前記読み出し手段は、前記動画像ファイルをさらに読み出し(例えば、図13のステップS79)、
前記デコード手段は、前記読み出し手段により読み出された、エンコードされている前記動画像ファイルの動画像データをデコードし(例えば、図14のステップS80)、
前記表示制御手段は、前記デコード手段により前記動画像データのデコードが完了した場合に、前記動画像データに基づく動画像を、前記表示部に表示されている前記サムネイル画像に代えて表示するように前記表示部への表示を制御する(例えば、図14のステップS83)
ことを特徴とする。
請求項9に記載の再生装置の前記サムネイル画像データは、前記動画像ファイルの先頭のフレーム画像データに対応するサムネイル画像データである
ことを特徴とする。
請求項10に記載の再生装置の前記サムネイル画像データは、前記動画像ファイルの先頭のフレーム画像データに対応するサムネイル画像データであって、
圧縮されている前記サムネイル画像ファイルのサムネイル画像データを伸長する伸長手段(例えば、図4の伸長処理部143)と、
エンコードされている前記動画像ファイルの前記動画像データをデコードするデコード手段(例えば、図3のデコード処理部123)とをさらに備え、
前記動画像ファイルが選択された場合、
前記読み出し手段は、前記動画像ファイルに関連付けられた前記サムネイル画像ファイルを読み出し(例えば、図13のステップS72)、
前記伸長手段は、前記読み出し手段により読み出された、圧縮されている前記サムネイル画像ファイルのサムネイル画像データを伸長し(例えば、図13のステップS73)、
前記表示制御手段は、前記伸長手段により伸長された前記サムネイル画像データに基づいてサムネイル画像の表示部への表示を制御し(例えば、図13のステップS74)、
前記読み出し手段は、前記動画像ファイルの先頭のフレーム画像データをさらに読み出し(例えば、図13のステップS79)、
前記デコード手段は、前記読み出し手段により読み出された、エンコードされている前記動画像ファイルの先頭のフレーム画像データをデコードし(例えば、図14のステップS80)、
前記表示制御手段は、前記デコード手段により前記先頭のフレーム画像データのデコードが完了した場合に、前記先頭のフレーム画像データに基づく画像を、前記表示部に表示されている前記サムネイル画像に代えて表示するように前記表示部への表示を制御し(例えば、図14のステップS83)、
前記表示制御手段により、前記動画像ファイルの前記先頭のフレーム画像データに基づく画像が前記表示部に表示された後、動画像ファイルの再生が指令された場合(例えば、図14のステップS85でYESと判定された場合)、
前記読み出し手段は、前記動画像ファイルの2番目以降のフレーム画像データを順次読み出し、
前記デコード手段は、前記読み出し手段により読み出された、エンコードされている前記動画像ファイルの2番目以降のフレーム画像データを順次デコードし(例えば、図14のステップS86)、
前記表示制御手段は、前記デコード手段によりデコードされた前記動画像ファイルの2番目以降のフレーム画像データに基づく動画像の前記表示部への表示を順次制御する(例えば、図14のステップS87)
ことを特徴とする。
請求項11に記載の再生装置の前記記録媒体に記録されている前記動画像ファイルに含まれる前記動画像データは、MP4ファイルフォーマットの規格に基づいてエンコードされており、
前記デコード手段は、エンコードされている前記動画像データをMP4ファイルフォーマットの規格に基づいてデコードする
ことを特徴とする。
請求項12に記載の再生方法は、
動画像データからなる動画像ファイル(例えば、AVストリームファイル)と、前記動画像ファイルに関連付けられたサムネイル画像データからなるサムネイル画像ファイルとが記録されている記録媒体(例えば、図1のMS49)を再生する再生装置(例えば、図1の記録再生装置1)の再生方法であって、
前記動画像ファイルが選択された場合、
前記動画像ファイルに関連付けられた前記サムネイル画像ファイルを前記記録媒体から読み出す第1の読み出しステップ(例えば、図13のステップS72)と、
前記第1の読み出しステップの処理により読み出された前記サムネイル画像ファイルに基づいて、サムネイル画像の表示部への表示を制御する第1の表示制御ステップ(例えば、図13のステップS74)と、
前記動画像ファイルを前記記録媒体から読み出す第2の読み出しステップ(例えば、図13のステップS76)と、
前記第2の読み出しステップの処理により前記動画像ファイルの先頭フレームの読み出しが完了した場合に、前記動画像ファイルに基づく動画像を、前記表示部に表示されている前記サムネイル画像に代えて表示するように前記表示部への表示を制御する第2の表示制御ステップ(例えば、図14のステップS83)と
を含むことを特徴とする。
請求項13に記載のプログラムは、
動画像データからなる動画像ファイル(例えば、AVストリームファイル)と、前記動画像ファイルに関連付けられたサムネイル画像データからなるサムネイル画像ファイルとが記録されている記録媒体(例えば、図1のMS49)を再生する処理を制御するプログラムであって、
前記動画像ファイルが選択された場合、
前記動画像ファイルに関連付けられた前記サムネイル画像ファイルを前記記録媒体から読み出す第1の読み出しステップ(例えば、図13のステップS72)と、
前記第1の読み出しステップの処理により読み出された前記サムネイル画像ファイルに基づいて、サムネイル画像の表示部への表示を制御する第1の表示制御ステップ(例えば、図13のステップS74)と、
前記動画像ファイルを前記記録媒体から読み出す第2の読み出しステップ(例えば、図13のステップS76)と、
前記第2の読み出しステップの処理により前記動画像ファイルの先頭フレームの読み出しが完了した場合に、前記動画像ファイルに基づく動画像を、前記表示部に表示されている前記サムネイル画像に代えて表示するように前記表示部への表示を制御する第2の表示制御ステップ(例えば、図14のステップS83)と
を含む処理をコンピュータに実行させることを特徴とする。
以下、図を参照して、本発明の実施の形態について説明する。
図1は、本発明を適用した記録再生装置1の構成例を示す図である。
この記録再生装置1には、静止画記録処理部11、コーデック部31、SDRAM32、音声処理部33、スピーカ34、およびマイク35が設けられている。
コーデック部31は、画像(動画像)データおよび音声データに関するコーデック処理を行う。例えば、コーデック部31は、動画像データをMP4ファイルフォーマットの規格に基づいてエンコードし、AAC(Advanced Audio Coding)の方式でエンコードされた音声データと合わせて、AVストリームを生成する。また、例えば、コーデック部31は、MP4ファイルフォーマットの規格に基づいてエンコードされている動画像データをデコードする。コーデック部31はまた、マックス処理(いわゆるインターリーブ処理)やデマックス処理(いわゆるデインターリーブ処理)を実行する。さらに、コーデック部31は、画像を縮小する。また、コーデック部31は、SDRAM32に適宜データを記憶させたり、SDRAM32から適宜データを読み出したりする。ここで、MP4ファイルフォーマットは、エンコードされた画像データと音声データとが、インターリーブされた形式、またはそのサンプルテーブル形式を表す。
SDRAM32は、コーデック部31が各種の処理を実行する上で必要なデータを記憶する。また、SDRAM32は、静止画像記録処理部11やコーデック部31からの指令に基づいてデータを読み出したり書き込んだりする。例えば、SDRAM32は、エンコードされた動画像データや音声データ(音声処理部33によりAAC(Advanced Audio Coding)の方式でエンコードされた音声データ)を一時記憶する。なお、図示は省略するが、SDRAM32からMS49への転送は、DMAC(Direct Memory Access コントローラ)により制御され、DMA転送が行われる。
音声処理部33は、音声データに関する処理を実行する。音声処理部33は、例えば、コーデック部31から供給された音声データに対して各種の処理を施し、音声データに基づく音声をスピーカ34に出力させる。また、音声処理部33は、マイク35から供給された音声データに各種の処理を施し、音声データをコーデック部31に供給する。例えば、音声処理部33は、音声データをAACの方式でエンコードしたり、エンコードされている音声データをデコードしたりする。スピーカ34は、音声処理部33から供給された音声データに基づく音声を出力する。マイク35は、外部の音声に基づく音声データを取り込み、音声処理部33に供給する。
静止画記録処理部11には、CCD(Charge Coupled Device)41、AFE(Analog Front End)42、画像処理部43、表示制御部44、表示部45、制御マイコン46、SDRAM47、操作入力部48、MS(メモリスティック(商標))49、MS I/F(インタフェース)ドライブ60、およびリムーバブルメディア61が設けられている。
CCD41は、撮像素子であり、入射される光を各画素毎に光電変換により電圧値からなる電気信号に変換して蓄え、これを画像信号としてAFE(Analog Front End)42に出力する。AFE42は、CCD41より供給される画像信号の各画素単位のレベルを所定のレベルに増幅し、A/D(アナログ/ディジタル)変換を行い、デジタルデータに変換された画像データを、画像処理部43に供給する。
画像処理部43は、入力された画像データに基づく画像処理を実行する。画像処理部43はまた、表示制御部44、コーデック部31、およびSDRAM47と接続されている。画像処理部43は、例えば、表示部45に表示させるための画像データを表示制御部44に供給したり、SDRAM47との間で画像データを授受したりする。また、画像処理部43は、画像データ(動画像データ)をコーデック部31に供給したり、コーデック部31から供給される画像データ(動画像データ)を受け取る。また、画像処理部43は、静止画像(フレーム画像)を圧縮したり、伸長したりする。SDRAM47は、画像処理部43や制御マイコン46が各種の処理を実行する上において適宜必要なデータを記憶する。
制御マイコン46は、記録再生装置1の各部を制御する。また、制御マイコン46は、MS49への記録や読み出し(再生)を、MS I/F50を介して制御する。また、制御マイコン46は、内部にCPU、ROM、RAM、およびバッファ等を有している。制御マイコン46は、SDRAM32やSDRAM47へのデータの記憶や読み出し(再生)を制御したり、操作入力部48から供給された制御信号に基づいて各部を制御したり、コーデック部31に各種の処理を指令する。制御マイコン46にはまた、必要に応じてドライブ61が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア61が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて制御マイコン46にインストールされる。
MS I/F50は、制御マイコン46とMS49との間のインタフェースである。すなわち、MS49への記録処理や再生処理はこのMS I/F50を介して行われる。
なお、図1の記録再生装置1においては、静止画像記録処理部11のみで、静止画像の記録や再生を行うことが可能とされている。
動画像を記録する場合、CCD41により撮像された画像信号がAFE42によりディジタルの画像データに変換され、画像処理部43に供給される。画像処理部43は、画像データをコーデック部31に供給する。コーデック部31は、複数の静止画像データ(複数のフレーム画像データ)からなる動画像データを、適宜SDRAM32に記憶させるとともに、動画像データと音声処理部33から供給されるエンコードされた音声データに基づいてAVストリームを生成し、制御マイコン46に供給する。制御マイコン46は、AVストリームファイルをMS I/F50を介してMS49に記録させる。
一方、AVストリームファイルを再生する場合、制御マイコン46は、MS49に記録されている(エンコードされている)AVストリームをMS I/F50を介して読み出し、SDRAM32に一時記憶させる。コーデック部31は、SDRAM32に記憶されているAVストリームを順次デコードし、デコードして得られた動画像データを画像処理部43に供給する。また、コーデック部31は、エンコードされている音声データを音声処理部33に供給しデコードさせる。画像処理部43は、コーデック部31から供給された動画像データを順次表示制御部44に供給し、表示制御部44は、供給された動画像データに基づく画像を表示部45に表示させるよう表示を制御する。
図2は、図1のSDRAM32の記憶エリアを説明する図である。
SDRAM32の記憶エリア(記憶領域)には、原画キャプチャエリア81、第1ビデオフレームエリア82、通常ビデオフレームエリア83、オーディオフレームエリア84、およびストリームバッファエリア85が設けられている。なお、実際にはその他のデータを記憶するためのエリアが設けられているが、本実施の形態においては省略している。
原画キャプチャエリア81は、コーデック部31によりキャプチャされた原画像(フレーム画像)データを記憶したり、デコードされた元のフレーム画像データ(原画像)を記憶したりするためのエリア(領域)である。第1ビデオフレームエリア82は、記録の処理において先頭のフレーム画像データ、すなわち動画像データの1フレーム目の画像データを記憶するためのエリアである。通常ビデオフレームエリア83は、エンコードされた動画像データを記憶するためのエリア、すなわち、通常のエンコードされたフレーム画像データを記憶するためのエリアである。オーディオフレームエリア84は、AACの方式でエンコードされた音声データを記憶するためのエリアである。ストリームバッファエリア85は、画像データ(ビデオデータ)と音声データ(オーディオデータ)とがインターリーブされた、すなわち、画像データと音声データとがマックス処理されたAVストリームを記憶したり、サンプルテーブルなどやその他の各種データを記憶したりするためのエリアである。
このように、SDRAM32には、複数種類のデータを記憶するためのエリアが設けられている。
次に、図3を参照して、図1のコーデック部31の機能的構成例を説明する。
コーデック部31には、キャプチャ処理部121、エンコード処理部122、デコード処理部123、マックス処理部124、デマックス処理部125、記録処理部126、再生処理部127、縮小処理部128、および出力処理部129が設けられている。コーデック部31内部では、それぞれデータの授受が可能である。
キャプチャ処理部121は、画像処理部43から供給された動画像データに基づいて、キャプチャ処理を実行する。具体的には、キャプチャ処理部121は、画像処理部43から供給された動画像データに基づいて、動画像からフレーム画像を順次キャプチャする。キャプチャ処理部121は、キャプチャ処理した複数のフレーム画像のフレーム画像データを、順次、SDRAM32の原画キャプチャエリア81に書き込む(記憶させる)。ここで、動画像は、複数のフレーム画像からなり、動画像データは、複数のフレームの画像データである複数のフレーム画像データからなる。
エンコード処理部122は、画像データをMP4ファイルフォーマットの規格に基づいてエンコードする処理(エンコード処理)を実行する。具体的には、エンコード処理部122は、SDRAM32の原画キャプチャエリア81に書き込まれているフレーム画像データを順次読み出し、MP4ファイルフォーマットの規格に基づいてエンコードする。エンコード処理部122は、エンコードしたフレーム画像データを、SDRAM32の通常ビデオフレームエリア83に書き込む。このとき、エンコード処理部122は、エンコードしたフレーム画像データが、記録の処理において先頭のフレーム画像のデータである場合、エンコードしたフレーム画像データを、SDRAM32の第1ビデオフレームエリア82に書き込む。
デコード処理部122は、エンコードされている画像データをMP4ファイルフォーマットの規格に基づいてデコードする処理(デコード処理)を実行する。デコード処理部122は、例えば、SDRAM32の通常ビデオフレームエリア83に書き込まれているエンコードされているフレーム画像データ(複数のフレーム画像データ、すなわち、動画像データ)をデコードする。デコード処理部122は、デコードしたフレーム画像データを、SDRAM32の順次原画キャプチャエリア81に書き込む。また、デコード処理部122は、SDRAM32の第1ビデオフレームエリア82に書き込まれている、エンコードされているフレーム画像データ(動画像データのうちの先頭のフレーム画像データ)をデコードする。
マックス処理部124は、フレーム画像データと音声データとをインターリーブする(マックス処理する)。また、マックス処理部124は、インターリーブしたフレーム画像データと音声データとを、1つのAVストリーム(MP4ファイルフォーマットのストリーム)としてSDRAM32のストリームバッファエリア85に書き込む。すなわち、MP4ファイルフォーマットの方式で暗号化されたフレーム画像データと、AAC方式で暗号化された音声データとがインターリーブされてMP4ファイルフォーマットのストリーム(AVストリーム)となる。
デマックス処理部125は、インターリーブされている(マックス処理された)AVストリームを、フレーム画像データと音声データとにデインターリーブする(デマックス処理する)。また、デマックス処理部125は、デインターリーブしたフレーム画像データと音声データのうち、フレーム画像データをSDRAM32の通常ビデオフレームエリア83に書き込み、音声データをSDRAM32のオーディオフレームエリア84に書き込む。
記録処理部126は、SDRAM32のストリームバッファエリア85に記憶されたAVストリーム(フレーム画像データと音声データとからなるストリーム)を、AVストリームファイルとして、記録媒体であるMS49に記録させる処理を実行する。具体的には、記録処理部126は、ストリームバッファエリア85に書き込まれているAVストリームを読み出し、これを制御マイコン46に供給する。制御マイコン46は、このAVストリームをストリームファイルとしてMS49に記録させるよう、MS49への記録を制御する。
再生処理部127は、MS49に記録されているストリームファイルを再生する処理を実行する。具体的には、制御マイコン46がMS49からストリームファイルを読み出し、これを再生処理部127に供給してくるので、再生処理部127は、ストリームファイルのデータをSDRAM32のストリームバッファエリア85に書き込む。
縮小処理部128は、画像を縮小する処理(縮小処理)を実行し、サムネイル画像を生成する。具体的には、縮小処理部128は、デコードされた先頭のフレーム画像データの画像を縮小する処理を実行することで、サムネイル画像を生成する。縮小処理部128は、例えば、SDRAM32の第1ビデオフレームエリア82から読み出され、デコード処理部122によりデコードされた先頭のフレーム画像データを、縮小する。例えば、縮小処理部128は、デコードされた640×480ピクセルの画像を、160×120ピクセルの画像に縮小し、サムネイル画像とする。
出力処理部129は、画像データや音声データを出力する処理を実行する。例えば、出力処理部129は、SDRAM32の原画キャプチャエリア81に書き込まれた、再生されたフレーム画像データ(複数のフレーム画像データからなる動画像データ)を、画像処理部43に出力したり、SDRAM32のオーディオフレームエリア84に書き込まれた、再生された音声データを、音声処理部33に出力したりする。
図4は、図1の画像処理部43の機能的構成例を示すブロック図である。
図4の例の場合、画像処理部43には、主制御部141、圧縮処理部142、および伸長処理部143が設けられている。画像処理部43内部では、それぞれデータの授受が可能である。
主制御部141は、圧縮処理部142と伸長処理部143の各部を制御する。また、主制御部141は、SDRAM47への記憶を制御したり、表示制御部47を制御したりする。さらに主制御部141は、AFE42から供給された動画像データを、コーデック部31に供給する。
圧縮処理部142は、画像データを圧縮する。例えば、圧縮処理部142は、画像をJPEG(Joint Photographic Expert Group)の形式に基づいて圧縮する。圧縮処理部142は、例えば、圧縮した画像データを、SDRAM47に一時記憶させる。伸長処理部143は、圧縮されている画像データを伸長する。例えば、伸長処理部143は、JPEG形式で圧縮されている画像を伸長し、表示用画像(原画像)とする。
図5は、図1の制御マイコン46の機能的構成例を示すブロック図である。
図5の例の場合、制御マイコン46には、主制御部161、転送処理部162、サムネイル画像記録処理部163、および再生処理部164が設けられている。制御マイコン46内部では、それぞれデータの授受が可能である。
主制御部161は、転送処理部162、サムネイル画像記録処理部163、および再生処理部164の各部を制御する。また、主制御部161は、SDRAM32、SDRAM47への記憶を制御したり、操作入力部48から供給された制御信号に基づく処理を実行したりする。また、主制御部161は、コーデック部31を制御する。
転送処理部162は、SDRAM32からデータを読み出し、読み出したデータをSDRAM47に転送する処理を実行する。例えば、転送処理部162は、SDRAM32のストリームバッファエリア85に記憶されているサムネイル画像データを、SDRAM47に転送する。
サムネイル画像記録処理部163は、サムネイル画像の、MS49への記録処理を制御する。例えば、サムネイル画像記録処理部163は、SDRAM47に記憶されているサムネイル画像を読み出し、MS I/F50を介して、MS49への記録を制御する。
再生処理部164は、MS49に記録されているデータを再生する(読み出す)処理を実行する。具体的には、再生処理部164は、MS49に記録されているデータを、MS I/F50を介して読み出す。
図6は、MP4ファイルフォーマットの規格に基づくストリームファイル(AVストリームのファイル)のフォーマットを簡単に説明する図である。
図6に示されるように、MP4ファイルフォーマットの規格に基づくストリームファイルには、ヘッダ、AVストリーム(mdat)、およびサンプルテーブル(MOOV)が含まれている。このストリームファイルを再生する場合、最初に、サンプルテーブル(MOOV)の読み出しが行われて、解析が行われ、AVストリーム(AVI)のフレームの順番が確認される。次に、サンプルテーブルで確認されたフレームの順番に、AVストリームの読み出しが行われる。すなわち、このような規格においては、サンプルテーブルが読み出された後に、先頭のフレーム画像データの位置が確認され、先頭フレーム画像データが読み出されることになる。
次に、図7乃至図9のフローチャートを参照して、図1の記録再生装置1における記録処理の例を説明する。なお、この処理は、記録再生装置1の操作入力部48に、ユーザから動画像データ(および音声データ)の記録が指令されたとき、例えば動画記録モードでレリーズボタンが押下されたときに開始される。また、適宜、処理の流れについて、図10と図11を参照して説明する。
図10は、AVストリームを記録する場合の、動画像データに含まれる先頭のフレーム画像データの流れを示す図である。また、図11は、AVストリームを記録する場合の、先頭のフレーム画像データを除く動画像データの流れを示す図である。図中、コーデック部31、画像処理部43、および制御マイコン46には、図3乃至図5で上述した機能ブロックのうち、必要なものが適宜図示されている。また、図中、ステップ番号が付してある矢印は、図7乃至図9の各ステップに対応する処理である。
ステップS11において、操作入力部48は、ユーザからの動画像と音声(AVストリーム)の記録の指令を受け付け、この指令に対応する制御信号を制御マイコン46に供給する。
ステップS12において、制御マイコン46(制御マイコン46の主制御部161(図5))はコーデック部31にエンコードの開始を指令する。またこのとき、制御マイコン46は、CCD41に撮像を開始させるとともに、音声処理部33にマイク35を介する音声の取り込みを開始させる。CCD41は、撮像して得られた画像信号を、順次AFE42を介して(動画像データとして)画像処理部43に供給する。
そこで、ステップS13において、コーデック部31は、画像処理部43から供給されてきた画像データを受け付け、キャプチャ処理する。具体的には、コーデック部31のキャプチャ処理部121(図3)は、画像処理部43から供給された画像データ(動画像データ)からフレーム画像をキャプチャし、これを、SDRAM32の原画キャプチャエリア81(図2)に書き込む。1回目のステップS13の処理では、先頭のフレーム画像データがキャプチャされるので、例えば、図10のステップS13の矢印で示される処理が行われる。
ステップS14において、コーデック部31はキャプチャしたフレーム画像データをMP4ファイルフォーマットの規格に基づいてエンコードする。具体的には、コーデック部31のエンコード処理部122(図3)は、キャプチャされたフレーム画像データが記憶されているSDRAM32の原画キャプチャエリア81からフレーム画像データを読み出し(図10のステップS14の矢印)、MP4ファイルフォーマットの規格に基づいてエンコードする。
ステップS15において、コーデック部31のエンコード処理部122は、いまエンコードしたフレーム画像データは最初にキャプチャしたフレーム画像データであるか否かを判定する。具体的には、図5の処理が開始してから(ステップS11で記録が指令されてから)1回目のステップS15の処理では最初にキャプチャしたフレーム画像データ(1枚目のフレーム画像データ)であると判定され、2回目以降のステップS15の処理では最初にキャプチャしたフレーム画像データではない(すなわち2枚目以降のフレーム画像データである)と判定される。このように記録の処理において最初に取り込まれたフレーム画像データが、先頭のフレーム画像データとなる。
ステップS15において、いまエンコードしたフレーム画像データが最初にキャプチャしたフレーム画像データであると判定された場合、ステップS16において、コーデック部31は、エンコードしたフレーム画像データをSDRAM32の第1ビデオフレームエリア82(図2)に記憶させる(書き込む)。具体的には、コーデック部31のエンコード処理部122は、エンコードしたフレーム画像データが最初にキャプチャしたフレーム画像データである、すなわち、動画像データの記録において先頭のフレーム画像データであるので、このフレーム画像データを、SDRAM32の第1ビデオフレームエリア82に記憶させる(書き込む)。すなわち、図10のステップS16の矢印に示されるように、第1ビデオフレームエリア82に先頭のフレーム画像データが記憶される。
ステップS17において、音声処理部33は、マイク35を介して取り込んだ音声データをAACの規格に基づいてエンコードする。音声処理部33は、エンコードした音声データをコーデック部31に供給する。
そこで、ステップS18において、コーデック部31は、音声処理部33から供給されてきたエンコードされた音声データを受け付ける。
ステップS19において、コーデック部31は、エンコードされた音声データをSDRAM32のオーディオフレームエリア84に記憶させる(書き込む)。
ステップS20において、コーデック部31は、SDRAM32の第1ビデオフレームエリア82のフレーム画像データと、SDRAM32のオーディオフレームエリア84の音声データとをインターリーブする。具体的には、コーデック部31のマックス処理部124(図3)は、SDRAM32の第1ビデオフレームエリア82に記憶されているフレーム画像データ(先頭のフレーム画像データ)と、SDRAM32のオーディオフレームエリア84に記憶されている音声データ(先頭のフレーム画像データに対応するタイミングの音声データ)とをインターリーブする。すなわち、図10のステップS20の矢印で示されるように、先頭のフレーム画像データがSDRAM32の第1ビデオフレームエリア82から読み出される。ステップS20の処理により、インターリーブされた結果、AVストリームが生成されたことになる。
ステップS20の後、処理はステップS21に進み、コーデック部31は、インターリーブして生成されたAVストリームを、SDRAM32のストリームバッファエリア85に記憶させる。具体的には、コーデック部31のマックス処理部124は、インターリーブして生成されたAVストリームを、SDRAM32のストリームバッファエリア85に書き込む(図10のステップS21の矢印)。
ステップS22において、コーデック部31は、所定のデータ量が、SDRAM32のストリームバッファエリア85に記憶されたか否かを判定する。具体的には、コーデック部31の記憶処理部126が、SDRAM32のストリームバッファエリア85に所定のデータ量(所定の記録単位であるデータ量)だけ記憶されたか否かを判定する。1回目のステップS22では、ストリームバッファエリア85に、先頭のフレーム画像データと、それに対応する音声データ(いずれもエンコードされている)とがインターリーブされて記憶されている状態であるので、これに基づいて判定される。
ステップS22において、所定のデータ量がSDRAM32のストリームバッファエリア85に記憶されていないと判定された場合、処理はステップS13に戻り、それ以降の処理が繰り返される。すなわち、所定のデータ量がSDRAM32のストリームバッファエリア85に記憶されるまで処理は繰り返される。
具体的には、2回目のステップS13で新たに動画像データが受け付けられ、2枚目のフレーム画像がキャプチャされて、SDRAM32の原画キャプチャエリア81(図2)に書き込まれる(図11のステップS13の矢印)。そして、ステップS14において、コーデック部31のエンコード処理部122は、SDRAM32の原画キャプチャエリア81からフレーム画像データを読み出し(図11のステップS14の矢印)、MP4ファイルフォーマットの規格に基づいてエンコードする。そして、ステップS15において、コーデック部31のエンコード処理部122は、いまエンコードしたフレーム画像データは最初にキャプチャしたフレーム画像データであるか否かを判定する。ここでは、2枚目のフレーム画像のデータであるので、NOと判定され、処理はステップS23に進む。
ステップS23において、コーデック部31は、エンコードしたフレーム画像データをSDRAM32の通常ビデオフレームエリア83に記憶させる(図11のステップS23の矢印)。具体的には、コーデック部31のエンコード処理部122(図3)は、エンコードしたフレーム画像データが2枚目以降のフレーム画像データである、すなわち、先頭のフレーム画像データではないので、このフレーム画像データを、SDRAM32の通常ビデオフレームエリア83に記憶させる。このように、動画像データのうち、先頭のフレーム画像データのみがSDRAM32の第1ビデオフレームエリア82に記憶され、動画像データのうち、先頭のフレーム画像データを除く動画像データが、SDRAM32の通常ビデオフレームエリア83に記憶される。
ステップS24において、音声処理部33は、マイク35を介して取り込んだ音声データをAACにエンコードする。音声処理部33は、エンコードした音声データをコーデック部31に供給する。
そこで、ステップS25において、コーデック部31は、音声処理部33から供給されてきたエンコードされた音声データを受け付ける。
ステップS26において、コーデック部31は、エンコードされた音声データをSDRAM32のオーディオフレームエリア84に記憶させる(書き込む)。
ステップS27において、コーデック部31は、SDRAM32の通常ビデオフレームエリア83のフレーム画像データと、SDRAM32のオーディオフレームエリア84の音声データとをインターリーブする。具体的には、コーデック部31のマックス処理部124(図3)は、SDRAM32の通常ビデオフレームエリア83に記憶されているフレーム画像データ(いまの例の場合、2枚目のフレーム画像データ)と、SDRAM32のオーディオフレームエリア84に記憶されている音声データ(いまの例の場合、2枚目のフレーム画像データに対応するタイミングの音声データ)とをインターリーブし、AVストリームとする。ここでは、図11のステップS27の矢印で示されるように、2枚目(以降)のフレーム画像データがSDRAM32の通常ビデオフレームエリア83から読み出される。
ステップS27の後、処理はステップS21に進み、コーデック部31は、インターリーブしたAVストリームを、SDRAM32のストリームバッファエリア85に記憶させる(図11のステップS21の矢印)。具体的には、コーデック部31のマックス処理部124は、インターリーブしたAVストリームを、SDRAM32のストリームバッファエリア85に書き込む。
ステップS22において、コーデック部31は、所定のデータ量が、SDRAM32のストリームバッファエリア85に記憶されたか否かを判定する。具体的には、コーデック部31の記憶処理部126が、SDRAM32のストリームバッファエリア85に所定のデータ量(所定の記録単位であるデータ量)だけ記憶されたか否かを判定する。2回目のステップS22においては、ストリームバッファエリア85に、先頭のフレーム画像データおよび2枚目のフレーム画像データと、それに対応する音声データ(いずれもエンコードされている)とがインターリーブされたAVストリームが記憶されている。すなわち、ステップS21の処理の繰り返しにより、SDRAM32のストリームバッファエリア85には、AVストリームが蓄積されることになる。
ステップS22において、所定のデータ量がSDRAM32のストリームバッファエリア85に記憶されていると判定された場合、処理をステップS28に進める。ステップS28において、コーデック部31(コーデック部31の記録処理部126)は、制御マイコン46に、SDRAM32のストリームバッファエリア85に所定のデータ量のAVストリームが記憶されたことを通知する。
そして、ステップS29において、コーデック部31(コーデック部31の記録処理部126)は、SDRAM32のストリームバッファエリア85に記憶されたAVストリームを制御マイコン46に供給する。
これに対して、制御マイコン46は、ステップS30において、AVストリームをMS49に記録する。具体的には、制御マイコン46の主制御部161は、ストリームバッファエリア85から読み出されたAVストリームを、MS I/F50を介してMS49に記録する。このとき、AVストリームは、AVストリームファイルとして記録される。また、AVストリームファイルの名称を、ここでは「ABC1.mp4」とする。なお、ピリオド以降に記載されている「mp4」は拡張子を示している。ストリームバッファエリア85には、いまの例の場合、先頭のフレーム画像データと、2枚目のフレーム画像データが少なくとも含まれているので、制御マイコン46は、これらのデータを、AVストリームとしてMS49へ記録する。なお、2枚目以降のフレーム画像データは、同じファイル(「ABC1.mp4」に)追加記録される。なお、AVストリームファイルに含まれる全てのフレーム画像データは、図11のステップS30の矢印で示されるルートで転送される。
ステップS31において、制御マイコン46は、記録処理を終了するか否かを判定する。具体的には、制御マイコン46の主制御部161は、ユーザから操作入力部48を介して記録処理の終了が指令されたか否かを判定する。記録処理を終了しないと判定された場合、処理は、ステップS13に戻り、それ以降の処理が繰り返される。すなわち、順次、AVストリームの記録が行われる。
ステップS31において、記録処理を終了すると判定された場合、ステップS32において、制御マイコン46は、コーデック部31にサムネイル画像の生成を指令する。具体的には、制御マイコン46の主制御部161は、コーデック部31に対して、サムネイル画像の生成を指令する。すなわち、制御マイコン46は、通常のAVストリームのMS49への記録が終了した後、サムネイル画像の生成を指令することで、AVストリームの記録とサムネイル画像の生成処理のタイミングの重複を防ぐ。
ステップS33において、コーデック部31は、サムネイル画像生成処理を実行する。具体的には、コーデック部31がサムネイル画像を生成し、生成したサムネイル画像のデータ(サムネイル画像データ)を、SDRAM32のストリームバッファエリア85に記憶させる。なお、この処理の詳細は、図12のフローチャートを参照して後述する。ステップS33の処理でコーデック部31は、サムネイル画像の生成が完了すると、制御マイコン46にサムネイル完了通知を送信する。
そこで、ステップS34において、制御マイコン46は、コーデック部31からのサムネイル完了通知を受け付ける。そして、ステップS35において、制御マイコン46は、SDRAM32のストリームバッファエリア85からサムネイル画像データを、SDRAM47にコピーする。具体的には、制御マイコン46の転送処理部162が、SDRAM32のストリームバッファエリア85に記憶されているサムネイル画像データを読み出し、これをSDRAM47に記憶させる。図10の例の場合、転送処理部162は、サムネイル画像データを、SDRAM47のサムネイル原画エリアに記憶させる。
ステップS36において、画像処理部43は、SDRAM47のサムネイル原画エリアに記憶されたサムネイル画像データを、JPEGの形式に圧縮する。具体的には、画像処理部43の圧縮処理部142が、SDRAM47のサムネイル原画エリアに記憶されたサムネイル画像データを、JPEGの形式に圧縮し、これを、図10のSDRAM47のサムネイルストリームエリアに記憶させる。画像処理部43は、元々静止画像ファイルを生成するために、このJPEG形式の圧縮の機能を有しているので、ステップS36の処理では、サムネイル画像データを圧縮するために、この機能を流用することができる。
ステップS37において、制御マイコン46は、JPEG形式に圧縮されたサムネイル画像データを、AVストリームファイルと同じ名称であって、拡張子が「THM」としたファイル(JPEGファイル)としてMS49に記録させる。具体的には、制御マイコン46のサムネイル画像記録処理部163は、SDRAM47のサムネイルストリームエリア(図10)に記憶されている、JPEG形式に圧縮されているサムネイル画像データを、「ABC1.mp4」のAVストリームファイルと同じ名称であって、拡張子が「THM」としたファイル、この例の場合「ABC1.THM」としたファイルとしてMS I/F50を介してMS49に記録させる(図10のステップS37の矢印)。ここで、記録されるサムネイル画像データのファイルを、以下においては、サムネイル画像ファイルと称する。ステップS37の処理の後、処理は終了される。
図7乃至図9の処理により、AVストリームファイルとは別にサムネイル画像データのJPEGファイルをMS49に記録することができる。また、AVストリームファイルとサムネイル画像ファイルの名称の拡張子以外の名称を一致させることで、AVストリームファイルとサムネイル画像ファイルとの関連性を分かりやすくすることができる。さらに、AVストリームファイルとサムネイル画像ファイルとを関連付けて記録することができる。また、動画像データの先頭のフレーム画像、すなわち、AVストリームファイルを再生する場合に先頭となるフレーム画像のフレーム画像データを、SDRAM32の第1ビデオフレームエリア82に一旦記憶させるようにしたので、サムネイル画像を生成する場合に、容易に先頭画像のフレーム画像データを読み出し、処理することができる。
次に、図12のフローチャートを参照して、図9のステップS33のサムネイル画像生成処理の詳細について説明する。
ステップS51において、コーデック部31のデコード処理部123は、SDRAM32の第1ビデオフレームエリア82のフレーム画像データを読み出しデコードする。この例の場合、SDRAM32の第1ビデオフレームエリア82に記憶されるフレーム画像データは、動画像データの先頭のフレーム画像データであるので、コーデック部31のデコード処理部123は、SDRAM32の第1ビデオフレームエリア82に記憶されている、先頭のフレーム画像データを読み出し、これをデコードする。この処理は図10のステップS51の矢印に対応している。
ステップS52において、コーデック部31の縮小処理部128は、デコードされたフレーム画像データを、静止画のサムネイル画像と同じ画像サイズに縮小する。例えば、コーデック部31の縮小処理部128は、ステップS51の処理でデコードされたフレーム画像データ(640×480ピクセル)を、静止画のサムネイル画像と同じ画像サイズ(160×120ピクセル)に縮小し、これを、サムネイル画像データとする。
ステップS53において、コーデック部31の縮小処理部128は、サムネイル画像データを、SDRAM32のストリームバッファエリア85に記憶させる。この処理は図10のステップS53の矢印に対応している。
ステップS54において、コーデック部31の縮小処理部128は、サムネイル生成の完了を制御マイコン46に通知する。その後、処理は、図9のステップS33に戻る。
図12の処理により、MP4ファイルフォーマットの規格に基づいてエンコードされ、SDRAM32の第1ビデオフレームエリア82に記憶されていたフレーム画像データ(ここでは、先頭のフレーム画像データ)を、デコードし、縮小して、サムネイル画像データを生成することができる。
次に、図13と図14のフローチャートを参照して、AVストリームファイルの再生処理の例を説明する。なお、この処理は、AVストリームファイルとそれに関連付けられている(対応する)サムネイル画像ファイルとがMS49に記録されている状態で開始される。すなわち、図7乃至図9、図12の処理の後に実行される処理である。また、この処理は、ユーザによりAVストリームファイルの選択(動画像ファイルの選択)が指令されたとき開始される。例えば、MS49に記録されている複数の静止画像とAVストリームファイルの先頭画像を、順次1コマずつ送りながら、表示させる指令がユーザにより行われ、その表示の指令がAVストリームファイルに対して行われたとき開始される。すなわち、AVストリームファイルのプレビュー画像(先頭のフレーム画像)の表示が指令されたときに開始される。なお、処理の流れについて、適宜図15と図16を参照して説明する。
図15は、MS49に記録されているAVストリームファイルに対応するサムネイル画像ファイルのデータの流れを示す図である。また、図16は、MS49に記録されているAVストリームファイルの先頭のフレーム画像データを表示するためのデータの流れを示す図である(実際には、先頭のフレーム画像データだけでなく、残りのフレーム画像データも同様の流れである)。図中、コーデック部31、画像処理部43、および制御マイコン46には、図3乃至図5で上述した機能ブロックのうち、必要なものが適宜図示されている。また、図中、ステップ番号が付してある箇所は、図14と図15の各処理に対応するステップである。
ステップS71において、操作入力部48は、ユーザからMS49に記録されているAVストリームファイルの選択の指令を受け付け、この指令に対応する制御信号を制御マイコン46に供給する。例えば、「ABC1.mp4」のAVストリームファイルが選択される。
ステップS72において、制御マイコン46は、選択されたAVストリームファイルに対応するサムネイル画像ファイルをMS49からSDRAM47に読み出す。具体的には、制御マイコン46の再生処理部164(図5)は、ユーザによりステップS71の処理で選択されたAVストリームファイルと拡張子を除く名称が一致するサムネイル画像ファイルを、MS49から読み出し、SDRAM47のサムネイルストリームエリアに書き込む。例えば、制御マイコン46の再生処理部164は、選択された「ABC1.mp4」に対応する「ABC1.thm」のサムネイル画像ファイルをMS49からSDRAM47のサムネイルストリームエリアに書き込む(図15のステップS72の矢印参照)。この「ABC1.thm」のサムネイル画像ファイルは、記録時に圧縮されて記録されたため、JPEGの形式に基づいて圧縮されている。
ステップS73において、画像処理部43は、サムネイル画像ファイルを伸長する。具体的には、画像処理部43の伸長処理部143は、ステップS73の処理でSDRAM47のサムネイルストリームエリアに書き込まれたサムネイル画像ファイルを、JPEGの形式に基づいて伸長し、これをSDRAM47のサムネイル原画エリアに書き込む(図15のステップS73の矢印参照)。これによりサムネイル原画(圧縮されていないサムネイル画像データ)が得られる。
ステップS74において、表示制御部44は、画像処理部43からの制御に基づいて、サムネイル画像を表示部45に表示させる。具体的には、画像処理部43の主制御部141が、伸長されたサムネイル画像データを読み出すとともに、表示制御部44に供給して、表示部45へサムネイル画像を表示するよう制御する。表示制御部44は、画像処理部43からの制御に基づいて、サムネイル画像データに基づくサムネイル画像を表示する。なお、このとき、サムネイル画像は通常の画像より縮小されているので(上述した記録処理における図12のステップS52の処理で縮小されているので)、画像処理部43は、サムネイル画像を拡大し、拡大したサムネイル画像を表示するようにしてもよい。
このように、AVストリームファイルが選択された場合に、迅速にAVストリームファイルに対応するサムネイル画像を表示することができる。具体的には、AVストリームファイルが選択された場合に、AVストリームファイルに格納されている先頭のフレーム画像データに基づく先頭フレーム画像を表示するよりも迅速に、AVストリームファイルに対応する画像(サムネイル画像)を表示することができる。このことは、AVストリームファイルの先頭のフレーム画像を表示するには、サンプルテーブルなどの解析に時間を要するが、サムネイル画像を表示するには、通常の静止画と同様の処理を行えばよいためである。
ステップS75において、制御マイコン46(の主制御部161(図5))は、コーデック部31に、デコードの開始を指令する。
ステップS76において、制御マイコン46は、ステップS71の処理でユーザにより選択されたAVストリームファイルの先頭を、MS49からSDRAM32に読み出す(図16のステップS76の矢印参照)。具体的には、制御マイコン46の再生処理部164は、ユーザにより選択されたAVストリームファイルの先頭(例えば、ヘッダ)をMS49からSDRAM32のストリームバッファエリア85に読み出す。
ステップS77において、コーデック部31は、SDRAM32を参照し、サンプルテーブル(MOOV)の位置を確認する。具体的には、コーデック部31の再生処理部127は、SDRAM32のストリームバッファエリア85に記憶されたAVストリームファイルの先頭データ(例えば、ヘッダ)に基づいて、AVストリームファイルのサンプルテーブルの位置を確認する。
ステップS78において、コーデック部31は、サンプルテーブル(MOOV)を解析し、AVストリームの位置を確認する。具体的には、コーデック部31の再生処理部127は、ステップS77の処理で確認したサンプルテーブルの位置を制御マイコン46に通知し、制御マイコン46の再生処理部164は、MS49のAVストリームファイルから、サンプルテーブルを読み出し、読み出したサンプルテーブルを、コーデック部31の再生処理部127に供給する。コーデック部31の再生処理部127は、このサンプルテーブルに基づいて、AVストリームの位置(フレーム画像データやオーディオ画像データの順番とその位置)を確認する。このようにして、サンプルテーブルの解析が行われ、AVストリームの位置が確認される。
ステップS79において、コーデック部31は、確認したAVストリームファイル上の位置からAVストリームをSDRAM32のストリームバッファエリア85に読み出す。具体的には、コーデック部31の再生処理部127は、確認したAVストリームファイル上の位置からAVストリームを(制御マイコン46を介してMS49から)SDRAM32のストリームバッファエリア85に読み出す(図16のステップS79の矢印参照)。これにより、AVストリームファイルの先頭フレーム(すなわち、記録の処理で最初に記録された先頭のフレーム画像および音声)からAVストリームを読み出すことができる。
ステップS80において、コーデック部31は、先頭からのフレーム画像データとそれに対応するオーディオが再生可能な状態を準備する(図16のステップS80の矢印参照)。このとき、記録処理における処理(図7乃至図9のステップS14、ステップS21乃至ステップS30)と逆の処理が実行される。具体的には、コーデック部31の再生処理部127が制御マイコン46を介してMS49から順次読み出すAVストリームがSDRAM32のストリームバッファエリア85に記憶されているので、コーデック部31のデマックス処理部125は、AVストリームをデインターリーブし(デマックス処理し)、フレーム画像データと音声データとを得る。そして、デマックス処理部125は、得られたフレーム画像データを、SDRAM32の通常ビデオフレームエリア83に書き込むとともに、音声データをSDRAM32のオーディオフレームエリア84に書き込む。ここで、SDRAM32の通常ビデオフレームエリア83に書き込まれているフレーム画像データとオーディオフレームエリア84に書き込まれている音声データとはエンコードされている。そこで、画像処理部43の出力処理部129は、オーディオフレームエリア84の音声データを音声処理部33に供給し、音声処理部33は、音声データをAACの規格に基づいてデコードする。また、コーデック部31のデコード処理部123は、SDRAM32の通常ビデオフレームエリア83に書き込まれているフレーム画像データをMP4ファイルフォーマットの規格に基づいてデコードし、これを、SDRAM32の原画キャプチャエリア81に書き込む。ここまでの処理により、再生可能な状態が準備されたことになる。
ステップS81において、コーデック部31は、先頭のフレーム画像データをSDRAM32から読み出し、画像処理部43に供給する。具体的には、コーデック部31の出力処理部129が、SDRAM32の原画キャプチャエリア81に書き込まれている先頭のフレーム画像データを読み出し、これを、画像処理部43に供給する(図16のステップS81の矢印参照)。
ステップS82において、コーデック部31(コーデック部31の再生処理部127)は、再生準備の完了を制御マイコン46に通知する。この通知を受けた制御マイコン46は、画像処理部43に対して、表示部45に表示されているサムネイル画像を、AVストリームファイルから読み出した先頭のフレーム画像データに差し替えるよう指令する。
これに対して表示制御部44は、ステップS83において、画像処理部43からの制御に基づいて、表示部45に表示されているサムネイル画像を、AVストリームファイルの先頭のフレーム画像に差し替えて(切り替えて)表示させる。具体的には、画像処理部43の主制御部141が、ステップS74の処理で表示部45に表示させたサムネイル画像に代えて、AVストリームファイルの先頭のフレーム画像を表示させるよう、表示制御部44に指令する。表示制御部44は、この指令に従って、表示部45に表示されているサムネイル画像を、コーデック部31から供給された先頭のフレーム画像データに基づく画像(先頭画像)に差し替える。すなわち、表示制御部44は、表示部45に先頭のフレーム画像データに基づく画像(先頭画像)を表示させる。
ステップS84において、制御マイコン46は、AVストリームファイル(ステップS71の処理で選択されたAVストリームファイル)の再生をユーザに対して促す。例えば、制御マイコン46は、表示部45の画面の一部に、再生の指令を促すメッセージを表示させるよう、表示制御部44を制御したり、再生の指令を促す音声をスピーカ34に出力させるよう、音声処理部33を制御したりする。このとき、先頭のフレーム画像が、いわゆるポーズ状態で表示されており、再生指示の待機状態となっている。このように、AVストリームファイルが選択された場合に(ステップS71)、AVストリームファイルに対応するサムネイル画像を表示させておき、その後、AVストリームファイルの再生準備を完了させ、再生の指令の待機待ちとすることで、ユーザにより再生が指令された場合に迅速に再生することができるようにする。
そして、ステップS85において、制御マイコン46は、ユーザから操作入力部48に対してAVストリームファイルの再生の指令が入力されたか否かを判定する。AVストリームファイルの再生の指令が入力されなかった場合(例えば、ステップS71の処理で選択されたAVストリームファイルとは異なる他のAVストリームファイルが選択された場合)には、処理は終了される。
ステップS85においてユーザから操作入力部48に対してAVストリームファイルの再生の指令が入力されたと判定された場合、制御マイコン46により順次AVストリームが読み出され(2番目のフレーム画像データ以降の画像データと音声データとが読み出され)、処理はステップS86に進み、コーデック部31は、デコードを行う。具体的には、制御マイコン46がMS I/F50を介してMS49から順次AVストリームを読み出すので、コーデック部31のデマックス処理部125は、SDRAM32のストリームバッファエリア85に記憶されたAVストリームファイルをデマックス処理し、フレーム画像データをSDRAM32の通常ビデオフレームエリア83に記憶させるとともに、音声データをオーディオフレームエリア84に記憶させる。そして、コーデック部31のデコード処理部123は、通常ビデオフレームエリア83に記憶されているフレーム画像データをMP4ファイルフォーマットの規格に基づいてデコードする。また、出力処理部129は、オーディオフレームエリア84に記憶されている音声データを、音声処理部33に供給し、デコードさせる。このようにして、フレーム画像データと音声データのデコードが行われる。
ステップS86において、画像処理部43は、コーデック部31によりデコードされたフレーム画像データを、表示制御部44に供給し、表示部45に出力(表示)させる。このとき、音声処理部33は、デコードした音声データに基づく音声をスピーカ34に出力させる。なお実際には、ステップS85とステップS86の処理は、そのAVストリームファイルの再生が終了するまで実行される。その後、処理は終了される。このように、ステップS85で再生が指示された場合に、サンプルテーブルなどの解析が既に終了しているので、迅速にAVストリームファイルを再生することができる。
図13と図14の処理により、記録再生装置1は、AVストリームファイルが選択された場合に、まず、AVストリームファイルに対応付けられた(関連づけられた)サムネイル画像ファイルを表示させ、AVストリームファイルのサンプルテーブルを解析して先頭のフレーム画像データの読み出し、フレーム画像データに基づく画像を、サムネイル画像に代えて表示部45に表示させるようにしたので、AVストリームファイルが選択されてから、AVストリームファイルに対応する画像(サムネイル画像)を表示するまでの時間を短くすることができるとともに、AVストリームファイルの再生が指令されたときには既に再生の準備(サンプルテーブルの解析)が終了しているので、迅速にAVストリームファイルを再生することができる。
具体的には、AVストリームファイルの先頭のフレーム画像データを表示するまでの時間が、サムネイル画像を表示するまでの時間と比較して、より時間を要するので、AVストリームファイルが選択された場合に、AVストリームファイルの先頭のフレーム画像データを表示させるようにすると、ユーザにストレスを感じさせてしまうことになるが、図13と図14の処理のように、AVストリームファイルが選択されたとしても、まず、そのAVストリームファイルに対応するサムネイル画像ファイルの画像を迅速に表示するようにすることで、ユーザに待ち時間のストレスを感じさせないようにすることができる。すなわち、ユーザは、AVストリームファイルを選択した場合に、迅速にその内容(サムネイル画像)を確認することができる。
このように、AVストリームファイルの再生準備時間中に短時間で再生できる(静止画)サムネイル画像を表示しておくことで、ユーザは、再生の準備が完了するまでの間に再生予定のAVストリームファイルの内容(先頭のフレーム画像)を確認することができ、ユーザは、再生準備時間をストレスなく待つことができる。
なお、図13と図14の処理では、サムネイル画像ファイルを読み出して表示部45に表示させた後に、AVストリームファイルの再生準備を行うようにしたが、AVストリームファイルの再生準備をしている間に、サムネイル画像ファイルを読み出して表示するようにしてもよい。具体的には、図13のステップS72乃至ステップS74の処理と並行して、ステップS76乃至ステップS82の処理を実行するようにすればよい。本実施の形態の記録再生装置1における静止画記録処理部11とコーデック部31との間では、再生時のデータの授受はないため、MS49からの読み出しのタイミングさえ異なれば、各部に負担をかけることがない。
以上のように、記録再生装置1によれば、MP4ファイルフォーマットの規格でエンコードされた動画像データのうちの、先頭のフレーム画像データをSDRAM32の第1ビデオフレームエリア82に記憶させ、先頭のフレーム画像データを除く動画像データは、第1ビデオフレームエリア82とは異なるエリア(通常ビデオフレームエリア83)に記憶させるようにしたので、サムネイル画像を生成する場合に、第1ビデオフレームエリア82に記憶された画像データを読み出して利用すればよく、容易にサムネイル画像を生成することができる。
また、AVストリームファイルに関連付けてサムネイル画像ファイルを記録するようにしたので、再生時に、AVストリームファイルに対応するサムネイル画像ファイルを迅速に読み出すことができる。具体的には、AVストリームファイルの拡張子を除くファイル名とサムネイル画像ファイルの拡張子を除くファイル名を一致させたため、容易にAVストリームファイルに対応するサムネイル画像ファイルを特定することができる。また、動画の再生が可能になるまでの処理時間内にサムネイル画像を表示することで、ユーザは、選択したAVストリームファイルの先頭画像を事前に確認することができ、再生の要否を判断する時間を持つことができる。
さらに、静止画像と動画像などの複数の画像フォーマットを扱う記録再生装置1において、動画像ファイル(AVストリームファイル)のサムネイル画像を静止画サムネイルのフォーマット(本実施の形態においてはJPEG)で記録するようにしたので、複数の静止画像ファイルと、サムネイル画像ファイルとを高速で再生することができる。具体的には、静止画像ファイルを再生する機能は、図1の記録再生装置の静止画記録処理部11により実現され、サムネイル画像ファイルを再生する場合には、静止画像ファイルと同様に静止画記録処理部11の静止画ファイルの再生と同様に行われるため、コーデック部31を介する必要がなく、よって、サムネイル画像ファイルの再生を迅速に行うことができる。
また、静止画像ファイルを圧縮するための図4の圧縮処理部142が、AVストリームファイルに対応するサムネイル画像データを圧縮するようにしたので、AVストリームファイルのサムネイル画像を処理するための特別な処理部を設ける必要がなくなり、コストを抑えることができる。
さらに、AVストリームファイルと、サムネイル画像ファイルとを別々のファイルとし、先頭のフレーム画像を表示する場合に、AVストリームファイルをデコードせずに、別に記録しておいたサムネイル画像ファイルを静止画処理のための機能(画像処理部43)を用いてデコードして表示させるようにしたので、静止画記録処理部11とコーデック部31との間でデータ転送をすることなく、高速でサムネイル画像を表示することができる。
なお、図7乃至図9の処理では、AVストリームファイルの記録が完了した後(すなわち、図8のステップS31でYESと判定された後)に、サムネイル画像を生成し(ステップS33)、サムネイル画像ファイルを記録する(ステップS37)ようにしたが、AVストリームファイルの記録が完了した後でなくともよい。具体的には、AVストリームファイルの記録中の余裕がある時間などに、サムネイル画像を生成し、記録するようにしてもよい。本発明においては、エンコードした動画像データのうち、先頭のフレーム画像データのみを、通常ビデオフレームエリア83とは異なる第1ビデオフレームエリア82に記憶しておくようにしたので、AVストリームファイルの記録中の余裕がある時間などに、サムネイル画像を生成することができる。
例えば、先頭のフレーム画像データをエンコードせずに、SDRAM32に記憶させた場合、先頭のフレーム画像データのデータ量が多く(例えば、600Kバイト)、SDRAM32により多くの容量が必要となるが、本実施の形態においては、SDRAM32に記憶させる先頭のフレーム画像データを、エンコードされた後のデータ(例えば、80Kバイト)としたので、少ないメモリ領域とすることができる。
また、再生準備が完了するとサムネイル画像から先頭フレーム画像のポーズ状態に移行するようにしたので、再生が指令されると待ち時間なく再生することができる。
なお、図1の記録再生装置1において、制御マイコン46が画像処理部43制御してサムネイル画像データを記録することを考えた場合、コーデック部31がエンコードする動画像データの1フレーム目(先頭のフレーム画像)と同じフレームを正確に抜き出し、サムネイル画像として記録するためには何らかの同期手段が必要になるとともに、技術的に難易度も高くなる。しかしながら、本発明のように、コーデック部31において1フレーム目を第1ビデオフレームエリア82に記憶させておき、AVストリームファイルを記録終了後、またはAVストリームファイル記録中の余裕がある時間にサムネイル画像を生成するようにすることで、容易にサムネイル画像を生成することができる。
また、サムネイル画像ファイルの拡張子を「THM」とするようにしたが、これに限らず、サムネイル画像ファイルを特定できるような拡張子であればどのようなものであってもよい。
MP4ファイルフォーマットの規格のように、ファイルの先頭に先頭のフレーム画像データが記録されているとは限らない規格に基づいてエンコードされたファイルを記録する場合、そのファイルのデータ容量が大きい場合には、全てのサンプルテーブル(MOOV)を解析するには時間がかかってしまう。そこで、上述したように、サンプルテーブルの解析を含む動画再生の準備中に、動画の先頭と同じフレームを縮小保存したサムネイル画像を表示することで、ユーザは動画の内容を判断し、次の画像を要求するなどの操作をすることもできる。
また、図1の記録再生装置1のように、静止画記録処理部11だけで(コーデック部31は用いずに)サムネイル画像の表示を行うことができるので、例えば、静止画記録処理部11にコーデック部を載せるような開発を行う場合には、既存の静止画を記録する装置で動作していたサムネイル再生処理を流用することができ、開発工数を削減することができる。
また、インデックス再生のように小さなサムネイル画像を複数表示する場合であっても、静止画記録処理部11の伸長処理部143を使用して静止画のサムネイル画像と動画のサムネイル画像とを再生することができる。
さらに、サムネイル画像とAVストリームファイル(動画像データ)の先頭フレームが同じフレーム画像データから生成されるので、サムネイル画像から動画の先頭のフレーム画像に表示を切り替える時の変化を小さくすることができる。
また、静止画像と動画像のサムネイル画像とを混ぜた再生(スライドショー)を円滑に行うことができる。
さらに、将来的に様々なメタ情報を画像データに付加して管理するようになった場合であっても、再生と同時に使用したい要求が発生してきたときに、再生準備の間にサムネイル画像を表示する手段は有効である。
なお、以上の例では、記録媒体をMS49としたが、これに限らず、ICメディアや磁気ディスク、光ディスク、光磁気ディスク、コンパクトフラッシュ(登録商標)などの記録媒体であればどのようなものであってもよい。
また、以上の例では、先頭のフレーム画像データに基づいてサムネイル画像を生成するようにしたが、先頭のフレームに限らず、任意のフレーム画像データであってもよい。
さらに、以上の例では、画像処理部43がJPEGの方式で圧縮したり伸長するようにしたが、これに限定されない。例えば、ビットマップやGIF(いずれも商標)などの形式でもよい。また、コーデック部31もMP4ファイルフォーマットの規格に限らず、AVストリームファイルの読み出しに時間を要したり、そのAVストリームファイルの先頭が先頭のフレーム画像と一致しない場合などであれば、本発明を適用することができる。
さらに、以上の例では、画像データと音声データとを含むAVストリームファイルについて説明したが、画像データを含み、画像データを含まないビデオストリームファイル(動画像ファイル)であっても、本発明を適用することができる。
また、本実施の形態では、記録再生装置1が記録処理と再生処理の両方を実行するようにしたが、記録処理のみを行う記録装置と、再生処理のみを行う再生装置とするようにしてもよい。この場合、記録装置が図7乃至図9、並びに図12の処理を実行し、再生装置が図13と図14の処理を実行する。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、図1に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア61よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているハードディスクなどで構成される。
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数の装置により構成される装置全体を表わすものである。
本発明を適用した記録再生装置の構成例を示すブロック図である。 図1のSDRAMの記憶エリアを説明する図である。 図1のコーデック部の機能的構成例を示すブロック図である。 図1の画像処理部の機能的構成例を示すブロック図である。 図1の制御マイコンの機能的構成例を示すブロック図である。 MP4ファイルフォーマットの規格に基づくストリームファイルのフォーマットを簡単に説明する図である。 図1の記録再生装置における記録処理を説明するフローチャートである。 図1の記録再生装置における記録処理を説明するフローチャートである。 図1の記録再生装置における記録処理を説明するフローチャートである。 記録処理における先頭のフレーム画像データの流れを説明する図である。 記録処理における先頭のフレーム画像データを除く動画像データの流れを説明する図である。 サムネイル画像生成処理の詳細を説明するフローチャートである。 図1の記録再生装置における再生処理を説明するフローチャートである。 図1の記録再生装置における再生処理を説明するフローチャートである。 再生処理におけるサムネイル画像データの流れを説明する図である。 再生処理における動画像データの流れを説明する図である。
符号の説明
1 記録再生装置, 31 コーデック部, 32 SDRAM, 33 音声処理部, 43 画像処理部, 44 表示制御部, 46 制御マイコン, 47 SDRAM, 49 MS, 81 原画キャプチャエリア, 82 第1ビデオフレームエリア, 83 通常ビデオフレームエリア, 84 オーディオフレームエリア, 85 ストリームバッファエリア, 122 エンコード処理部, 123 デコード処理部, 124 マックス処理部, 125 デマックス処理部, 126 記録処理部, 127 再生処理部, 128 縮小処理部, 129 出力処理部, 141 主制御部, 142 圧縮処理部, 143 伸長処理部, 161 主制御部, 162 転送処理部, 163 サムネイル画像記録処理部, 164 再生処理部

Claims (13)

  1. 記録媒体にデータを記録する記録装置において、
    動画像データを入力する入力手段と、
    前記入力手段により入力された前記動画像データをエンコードするエンコード手段と、
    前記エンコード手段によりエンコードされた前記動画像データに含まれる、任意のフレーム画像のデータであるフレーム画像データを第1の記憶エリアに記憶し、前記フレーム画像データを除く前記動画像データを第2の記憶エリアに記憶する記憶手段と、
    前記記憶手段により記憶された前記動画像データを前記記録媒体に記録する記録手段と、
    前記エンコード手段によりエンコードされた前記動画像データをデコードするデコード手段と、
    前記フレーム画像データに基づいてサムネイル画像を生成するサムネイル画像生成手段と
    を備え、
    前記記録手段は、前記第1の記憶エリアに記憶されている前記フレーム画像データと、前記第2の記憶エリアに記憶されている前記フレーム画像データを除く動画像データとを合わせて、動画像ファイルとして記録し、
    前記デコード手段は、前記第1の記憶エリアに記憶されている前記フレーム画像データをデコードし、
    前記サムネイル画像生成手段は、前記デコード手段によりデコードされた前記フレーム画像データに基づいてサムネイル画像データを生成し、
    前記記録手段は、前記サムネイル画像生成手段により生成された前記サムネイル画像データをサムネイル画像ファイルとし、記録した前記動画像ファイルに関連付けてさらに記録する
    ことを特徴とする記録装置。
  2. 前記サムネイル画像生成手段により生成された前記サムネイル画像データを、静止画を処理する形式で圧縮する圧縮手段をさらに備え、
    前記記録手段は、記録した前記動画像ファイルに関連付けて、前記圧縮手段により圧縮された前記サムネイル画像データをサムネイル画像ファイルとして記録する
    ことを特徴とする請求項1に記載の記録装置。
  3. 前記フレーム画像データは、前記動画像データの先頭のフレーム画像データである
    ことを特徴とする請求項1に記載の記録装置。
  4. 前記エンコード手段は、MP4ファイルフォーマットの規格に基づいて前記動画像データをエンコードし、
    前記デコード手段は、エンコードされている前記動画像データをMP4ファイルフォーマットの規格に基づいてデコードする
    ことを特徴とする請求項1に記載の記録装置。
  5. 記録媒体にデータを記録する記録装置の記録方法において、
    動画像データを入力する入力ステップと、
    前記入力ステップの処理により入力された前記動画像データをエンコードするエンコードステップと、
    前記エンコードステップの処理によりエンコードされた前記動画像データに含まれる、任意のフレーム画像のデータであるフレーム画像データを、記憶部の第1の記憶エリアに記憶するよう記憶を制御する第1の記憶制御ステップと、
    前記エンコードステップの処理によりエンコードされた前記動画像データのうちの、前記第1の記憶エリアに記憶された前記フレーム画像を除く動画像データを、前記記憶部の第2の記憶エリアに記憶するよう記憶を制御する第2の記憶制御ステップと、
    前記第1の記憶エリアに記憶されている前記フレーム画像データと、前記第2の記憶エリアに記憶されている前記フレーム画像データを除く動画像データとを合わせて、動画像ファイルとして前記記録媒体に記録するよう記録を制御する第1の記録制御ステップと、
    前記第1の記憶エリアに記憶されている前記フレーム画像データをデコードするデコードステップと、
    前記デコードステップの処理によりデコードされた前記フレーム画像データに基づいてサムネイル画像データを生成するサムネイル画像生成ステップと、
    前記サムネイル画像生成ステップの処理により生成された前記サムネイル画像データを、サムネイル画像とし、記録した前記動画像ファイルに関連付けて前記記録媒体に記録するよう記録を制御する第2の記録制御ステップと
    を含むことを特徴とする記録方法。
  6. 記録媒体にデータを記録する処理を制御するプログラムであって、
    動画像データを入力する入力ステップと、
    前記入力ステップの処理により入力された前記動画像データをエンコードするエンコードステップと、
    前記エンコードステップの処理によりエンコードされた前記動画像データに含まれる、任意のフレーム画像のデータであるフレーム画像データを、記憶部の第1の記憶エリアに記憶するよう記憶を制御する第1の記憶制御ステップと、
    前記エンコードステップの処理によりエンコードされた前記動画像データのうちの、前記第1の記憶エリアに記憶された前記フレーム画像を除く動画像データを、前記記憶部の第2の記憶エリアに記憶するよう記憶を制御する第2の記憶制御ステップと、
    前記第1の記憶エリアに記憶されている前記フレーム画像データと、前記第2の記憶エリアに記憶されている前記フレーム画像データを除く動画像データとを合わせて、動画像ファイルとして前記記録媒体に記録するよう記録を制御する第1の記録制御ステップと、
    前記第1の記憶エリアに記憶されている前記フレーム画像データをデコードするデコードステップと、
    前記デコードステップの処理によりデコードされた前記フレーム画像データに基づいてサムネイル画像データを生成するサムネイル画像生成ステップと、
    前記サムネイル画像生成ステップの処理により生成された前記サムネイル画像データを、サムネイル画像とし、記録した前記動画像ファイルに関連付けて前記記録媒体に記録するよう記録を制御する第2の記録制御ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。
  7. 動画像データを格納する動画像ファイルと、前記動画像ファイルに関連付けられたサムネイル画像データを格納するサムネイル画像ファイルとが記録されている記録媒体を再生する再生装置において、
    前記動画像ファイルに関連付けられた前記サムネイル画像ファイルと、前記動画像ファイルとを前記記録媒体から読み出す読み出し手段と、
    前記読み出し手段により読み出された前記サムネイル画像ファイルに基づくサムネイル画像と、前記動画像ファイルに基づく動画像との表示部への表示を制御する表示制御手段と
    を備え、
    前記動画像ファイルが選択された場合、
    前記読み出し手段は、前記動画像ファイルに関連付けられた前記サムネイル画像ファイルを読み出し、
    前記表示制御手段は、前記読み出し手段により読み出された前記サムネイル画像ファイルに基づいてサムネイル画像の表示部への表示を制御し、
    前記読み出し手段は、前記動画像ファイルをさらに読み出し、
    前記表示制御手段は、前記読み出し手段により前記動画像ファイルの先頭フレームの読み出しが完了した場合に、前記動画像ファイルに基づく動画像を、前記表示部に表示されている前記サムネイル画像に代えて表示するように表示部への表示を制御する
    ことを特徴とする再生装置。
  8. 圧縮されている前記サムネイル画像ファイルのサムネイル画像データを伸長する伸長手段と、
    エンコードされている前記動画像ファイルの前記動画像データをデコードするデコード手段とをさらに備え、
    前記動画像ファイルが選択された場合、
    前記読み出し手段は、前記動画像ファイルに関連付けられた前記サムネイル画像ファイルを読み出し、
    前記伸長手段は、前記読み出し手段により読み出された、圧縮されている前記サムネイル画像ファイルのサムネイル画像データを伸長し、
    前記表示制御手段は、前記伸長手段により伸長された前記サムネイル画像データに基づいてサムネイル画像の表示部への表示を制御し、
    前記読み出し手段は、前記動画像ファイルをさらに読み出し、
    前記デコード手段は、前記読み出し手段により読み出された、エンコードされている前記動画像ファイルの動画像データをデコードし、
    前記表示制御手段は、前記デコード手段により前記動画像データのデコードが完了した場合に、前記動画像データに基づく動画像を、前記表示部に表示されている前記サムネイル画像に代えて表示するように前記表示部への表示を制御する
    ことを特徴とする請求項7に記載の再生装置。
  9. 前記サムネイル画像データは、前記動画像ファイルの先頭のフレーム画像データに対応するサムネイル画像データである
    ことを特徴とする請求項7に記載の再生装置。
  10. 前記サムネイル画像データは、前記動画像ファイルの先頭のフレーム画像データに対応するサムネイル画像データであって、
    圧縮されている前記サムネイル画像ファイルのサムネイル画像データを伸長する伸長手段と、
    エンコードされている前記動画像ファイルの前記動画像データをデコードするデコード手段とをさらに備え、
    前記動画像ファイルが選択された場合、
    前記読み出し手段は、前記動画像ファイルに関連付けられた前記サムネイル画像ファイルを読み出し、
    前記伸長手段は、前記読み出し手段により読み出された、圧縮されている前記サムネイル画像ファイルのサムネイル画像データを伸長し、
    前記表示制御手段は、前記伸長手段により伸長された前記サムネイル画像データに基づいてサムネイル画像の表示部への表示を制御し、
    前記読み出し手段は、前記動画像ファイルの先頭のフレーム画像データをさらに読み出し、
    前記デコード手段は、前記読み出し手段により読み出された、エンコードされている前記動画像ファイルの先頭のフレーム画像データをデコードし、
    前記表示制御手段は、前記デコード手段により前記先頭のフレーム画像データのデコードが完了した場合に、前記先頭のフレーム画像データに基づく画像を、前記表示部に表示されている前記サムネイル画像に代えて表示するように前記表示部への表示を制御し、
    前記表示制御手段により、前記動画像ファイルの前記先頭のフレーム画像データに基づく画像が前記表示部に表示された後、動画像ファイルの再生が指令された場合、
    前記読み出し手段は、前記動画像ファイルの2番目以降のフレーム画像データを順次読み出し、
    前記デコード手段は、前記読み出し手段により読み出された、エンコードされている前記動画像ファイルの2番目以降のフレーム画像データを順次デコードし、
    前記表示制御手段は、前記デコード手段によりデコードされた前記動画像ファイルの2番目以降のフレーム画像データに基づく動画像の前記表示部への表示を順次制御する
    ことを特徴とする請求項7に記載の再生装置。
  11. 前記記録媒体に記録されている前記動画像ファイルに含まれる前記動画像データは、MP4ファイルフォーマットの規格に基づいてエンコードされており、
    前記デコード手段は、エンコードされている前記動画像データをMP4ファイルフォーマットの規格に基づいてデコードする
    ことを特徴とする請求項8に記載の記録装置。
  12. 動画像データからなる動画像ファイルと、前記動画像ファイルに関連付けられたサムネイル画像データからなるサムネイル画像ファイルとが記録されている記録媒体を再生する再生装置の再生方法において、
    前記動画像ファイルが選択された場合、
    前記動画像ファイルに関連付けられた前記サムネイル画像ファイルを前記記録媒体から読み出す第1の読み出しステップと、
    前記第1の読み出しステップの処理により読み出された前記サムネイル画像ファイルに基づいて、サムネイル画像の表示部への表示を制御する第1の表示制御ステップと、
    前記動画像ファイルを前記記録媒体から読み出す第2の読み出しステップと、
    前記第2の読み出しステップの処理により前記動画像ファイルの先頭フレームの読み出しが完了した場合に、前記動画像ファイルに基づく動画像を、前記表示部に表示されている前記サムネイル画像に代えて表示するように前記表示部への表示を制御する第2の表示制御ステップと
    を含むことを特徴とする再生方法。
  13. 動画像データからなる動画像ファイルと、前記動画像ファイルに関連付けられたサムネイル画像データからなるサムネイル画像ファイルとが記録されている記録媒体を再生する処理を制御するプログラムであって、
    前記動画像ファイルが選択された場合、
    前記動画像ファイルに関連付けられた前記サムネイル画像ファイルを前記記録媒体から読み出す第1の読み出しステップと、
    前記第1の読み出しステップの処理により読み出された前記サムネイル画像ファイルに基づいて、サムネイル画像の表示部への表示を制御する第1の表示制御ステップと、
    前記動画像ファイルを前記記録媒体から読み出す第2の読み出しステップと、
    前記第2の読み出しステップの処理により前記動画像ファイルの先頭フレームの読み出しが完了した場合に、前記動画像ファイルに基づく動画像を、前記表示部に表示されている前記サムネイル画像に代えて表示するように前記表示部への表示を制御する第2の表示制御ステップと
    を含む処理をコンピュータに実行させることを特徴とするプログラム。
JP2004260536A 2004-09-08 2004-09-08 記録装置および記録方法、再生装置および再生方法、並びにプログラム Pending JP2006080723A (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2004260536A JP2006080723A (ja) 2004-09-08 2004-09-08 記録装置および記録方法、再生装置および再生方法、並びにプログラム
US11/218,633 US8340497B2 (en) 2004-09-08 2005-09-06 Recording apparatus, recording method, reproducing apparatus, reproducing method, and program
KR1020050083050A KR20060051064A (ko) 2004-09-08 2005-09-07 기록 장치 및 기록 방법, 재생 장치 및 재생 방법, 및프로그램
CNB2005101025384A CN100461845C (zh) 2004-09-08 2005-09-08 记录装置、记录方法、再生装置及再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004260536A JP2006080723A (ja) 2004-09-08 2004-09-08 記録装置および記録方法、再生装置および再生方法、並びにプログラム

Publications (1)

Publication Number Publication Date
JP2006080723A true JP2006080723A (ja) 2006-03-23

Family

ID=36033466

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004260536A Pending JP2006080723A (ja) 2004-09-08 2004-09-08 記録装置および記録方法、再生装置および再生方法、並びにプログラム

Country Status (4)

Country Link
US (1) US8340497B2 (ja)
JP (1) JP2006080723A (ja)
KR (1) KR20060051064A (ja)
CN (1) CN100461845C (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010124298A (ja) * 2008-11-20 2010-06-03 Canon Inc 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体
US8265452B2 (en) 2006-12-06 2012-09-11 Hitachi, Ltd. Recording apparatus and method for recording a program and management information
US8391682B2 (en) 2006-12-06 2013-03-05 Hitachi, Ltd. Recording method
US8588586B2 (en) 2006-12-06 2013-11-19 Hitachi Consumer Electronics Co., Ltd. Recording method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080031593A1 (en) * 2006-08-07 2008-02-07 Shih-Fang Chuang Multi-layer structure unit for recording audio/video frame data and its operation method
US8489702B2 (en) * 2007-06-22 2013-07-16 Apple Inc. Determining playability of media files with minimal downloading
KR20120065043A (ko) * 2010-12-10 2012-06-20 삼성전자주식회사 빠른 재생 모드 진입을 위한 디지털 영상 신호 처리 장치 및 이의 제어 방법
US9204175B2 (en) * 2011-08-03 2015-12-01 Microsoft Technology Licensing, Llc Providing partial file stream for generating thumbnail
GB2575030B (en) * 2018-06-22 2020-10-21 Advanced Risc Mach Ltd Data processing systems

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3269037B2 (ja) 1998-12-09 2002-03-25 三洋電機株式会社 画像再生装置
US6798407B1 (en) * 2000-11-28 2004-09-28 William J. Benman System and method for providing a functional virtual environment with real time extracted and transplanted images
JP2001111963A (ja) 1999-10-04 2001-04-20 Hitachi Ltd 光ディスクを利用したビデオカメラにおける録画再生方法
WO2003003371A1 (en) * 2001-05-31 2003-01-09 Canon Kabushiki Kaisha Moving image management apparatus and method
JP3787529B2 (ja) * 2002-02-12 2006-06-21 株式会社日立製作所 光ディスク記録再生装置
JP2003274368A (ja) 2002-03-14 2003-09-26 Fuji Photo Film Co Ltd サムネイル表示装置及びサムネイル表示プログラム
JP3826073B2 (ja) * 2002-06-05 2006-09-27 キヤノン株式会社 スクリーンセーバ作成システムおよび方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8265452B2 (en) 2006-12-06 2012-09-11 Hitachi, Ltd. Recording apparatus and method for recording a program and management information
US8391682B2 (en) 2006-12-06 2013-03-05 Hitachi, Ltd. Recording method
US8588586B2 (en) 2006-12-06 2013-11-19 Hitachi Consumer Electronics Co., Ltd. Recording method
JP2010124298A (ja) * 2008-11-20 2010-06-03 Canon Inc 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体

Also Published As

Publication number Publication date
CN1747544A (zh) 2006-03-15
US8340497B2 (en) 2012-12-25
US20060055798A1 (en) 2006-03-16
KR20060051064A (ko) 2006-05-19
CN100461845C (zh) 2009-02-11

Similar Documents

Publication Publication Date Title
JP4812277B2 (ja) 映像再生方法、映像再生装置、記録媒体
JP4537266B2 (ja) 記録装置及び再生装置
US8340497B2 (en) Recording apparatus, recording method, reproducing apparatus, reproducing method, and program
WO2000064154A1 (en) Imaging device and signal processing method
KR20060058040A (ko) 기록 장치 및 방법, 재생 장치 및 방법, 프로그램, 및 기록매체
JP4958758B2 (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2009147549A (ja) 動画像記録装置、動画像再生装置及びプログラム
JP4385987B2 (ja) 映像処理装置,映像処理方法,およびコンピュータプログラム
JP2002077803A (ja) 映像情報記録装置及び撮像装置
JP2005303336A (ja) 映像信号記録装置および映像信号再生装置
JP2006287578A (ja) 映像処理システム,映像処理装置,映像処理方法,およびコンピュータプログラム
JP2708214B2 (ja) 画像および音声の編集システムおよび方法
JP2005348258A (ja) 撮影装置及び方法、並びにプログラム及び記憶媒体
JP4446669B2 (ja) 動画データの記録方法及びその再生方法並びに動画データの記録装置及びその再生装置
JP4234029B2 (ja) 画像記録再生装置
US20090040382A1 (en) Camera apparatus and still image generating method of camera apparatus
JP3897783B2 (ja) 画像処理装置及びその制御方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体
JP4298583B2 (ja) 撮像装置および携帯電話
JP4487196B2 (ja) 記録装置及びその制御方法
JP2007081466A (ja) 画像処理装置及び方法
JPH08115567A (ja) 画像送信装置
JP3093153U (ja) 光ディスク装置
JP2001309218A (ja) デジタルカメラ
JP2015029211A (ja) 撮像装置
JP4312125B2 (ja) 動画再生方法及び動画再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20081030