JP2009147549A

JP2009147549A - 動画像記録装置、動画像再生装置及びプログラム

Info

Publication number: JP2009147549A
Application number: JP2007321129A
Authority: JP
Inventors: Yoichiro Tauchi; 洋一郎田内; Mineki Taoka; 峰樹田岡
Original assignee: Samsung Techwin Co Ltd
Current assignee: Hanwha Techwin Co Ltd
Priority date: 2007-12-12
Filing date: 2007-12-12
Publication date: 2009-07-02
Also published as: US20090154551A1; KR20090063062A

Abstract

【課題】撮像素子から出力されたＲＡＷ画像データを記録するとともに、その画像データの取り扱いを容易に行うこと。
【解決手段】撮像素子からフレーム単位で順次出力される動画像データをＲＡＷ画像データとして記録メディアに記録するメディア書込部１２０と、動画像データに圧縮処理を施して圧縮画像データを生成するＪＰＥＧエンコーダ１１６と、を備え、メディア書込部１２０は、ＲＡＷ画像データに圧縮画像データをフレーム単位で対応付けて、記録メディアへ記録する。
【選択図】図１

Description

本発明は、動画像記録装置、動画像再生装置及びプログラムに関する。

動画を記録可能なビデオカメラ、カムコーダなどの撮像装置は、一般にＣＣＤ等の撮像素子から出力された信号に所定の画像処理を行った後、ＭＰＥＧ−２等の圧縮処理を施し、フラッシュメモリやＨＤＤ、ＤＶＤ等の記録媒体に記録を行っている。また、静止画用のカメラでは、撮像素子からの出力をそのままＲＡＷ画像データとして記録するものが知られている（特許文献１）。通常、圧縮処理が施されることによって、画像の記録再生品質は、圧縮処理が施される前のデータに比べて低下する。そのため、静止画を記録するデジタルカメラ等の撮像装置には、圧縮処理を行わずに撮像素子から出力された信号をＲＡＷ形式として直接記録するものがある。

一方、動画記録に関しては、高画質動画と低ビットレート動画を同時に記録するカムコーダが知られている（特許文献２）。

特開２００６−２２９４７４号公報特開２００３−３４８５４２号公報

しかしながら、上記従来の技術には、動画像を圧縮することなくＲＡＷ画像データとして記録する技術は開示されていない。動画像をＲＡＷ画像データとして記録した場合、高画質の映像を再生することは可能であるが、データサイズが膨大なものとなるため、撮影しながらのリアルタイム表示を行うことは困難である。また、撮影後にＲＡＷ画像データを用いてサムネイル表示、検索等を行う場合も、処理量が大きくなるため、煩雑な処理が必要となる。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像素子から出力されたＲＡＷ画像データを記録するとともに、その画像データの取り扱いを容易に行うことが可能な、新規かつ改良された動画像記録装置、動画像再生装置、プログラムを提供することにある。

上記課題を解決するために、本発明のある観点によれば、撮像素子からフレーム単位で順次出力される動画像データをＲＡＷ画像データとして記録メディアに記録する記録部と、前記動画像データに圧縮処理を施して圧縮画像データを生成する圧縮処理部と、を備え、前記記録部は、前記ＲＡＷ画像データに前記圧縮画像データをフレーム単位で対応付けて、前記記録メディア記録する動画像記録装置が提供される。

上記構成によれば、撮像素子からフレーム単位で順次出力される動画像データはＲＡＷ画像データとして記録メディアに記録される。また、動画像データに圧縮処理が施されて圧縮画像データが生成される。そして、ＲＡＷ画像データに圧縮画像データがフレーム単位で対応付けられて記録メディア記録される。従って、ＲＡＷ画像データと圧縮画像データの双方を関連付けて記録することができるため、高画質再生を行う場合はＲＡＷ画像データを使用し、リアルタイム表示、画像検索等では、データ量の少ない圧縮画像データを用いることができる。これにより、高画質かつ操作性の優れた動画像記録装置を提供することが可能となる。

また、前記記録部は、前記ＲＡＷ画像データに前記圧縮画像データをフレーム単位で対応付けて、前記記録メディアの記録フォーマット上で前記圧縮画像データ、前記ＲＡＷ画像データの順に記録するものであってもよい。かかる構成によれば、記録メディアの記録フォーマット上で圧縮画像データ、ＲＡＷ画像データの順に記録されるため、再生時にＲＡＷ画像データを再生する必要がない場合は、ＲＡＷ画像データを処理することなく、ＲＡＷ画像データよりも前に記録された圧縮画像データを再生することが可能となる。

また、音声を符号化して音声データを生成する音声符号化部を備え、前記記録部は、前記音声データ、前記圧縮画像データ、及び前記ＲＡＷ画像データをフレーム単位で対応付けて、前記記録メディアの記録フォーマット上で前記音声データ、前記圧縮画像データ、前記ＲＡＷ画像データの順に記録するものであってもよい。かかる構成によれば、記録メディアの記録フォーマット上で音声データ、圧縮画像データ、ＲＡＷ画像データの順に記録されるため、再生時にＲＡＷ画像データを再生する必要がない場合は、ＲＡＷ画像データを処理することなく、ＲＡＷ画像データよりも前に記録された音声データ、圧縮画像データを再生することが可能となる。

また、前記音声データ、前記圧縮画像データ、及び前記ＲＡＷ画像データのデータサイズをフレーム単位で取得するデータサイズ取得部を備え、前記記録部は、前記音声データ、前記圧縮画像データ、及び前記ＲＡＷ画像データのデータサイズをフレーム毎に前記記録メディアに記録するものであってもよい。かかる構成によれば、音声データ、圧縮画像データ、及びＲＡＷ画像データのデータサイズがフレーム毎に記録されるため、データサイズに基づいて音声データ、圧縮画像データ、及びＲＡＷ画像データのいずれかをスキップして再生することが可能となる。

また、上記課題を解決するために、本発明の別の観点によれば、動作モードが入力される動作モード入力部と、撮像素子からフレーム単位で順次出力された動画像がＲＡＷ画像データとして記録されるとともに、前記動画像データに圧縮処理が施された圧縮画像データ及び音声データが前記ＲＡＷ画像データにフレーム単位で対応付けられて記録された記録メディアから、前記動作モードに応じて前記ＲＡＷ画像データ、前記圧縮画像データ及び前記音声データの少なくとも１つを読み出すデータ読出部と、前記データ読出部により読み出された前記ＲＡＷ画像データを現像処理する現像処理部と、前記データ読出部により読み出された前記圧縮画像データをデコードするデコード部と、前記現像処理部又は前記デコード部からの信号を出力する映像出力部と、前記音声データを出力する音声出力部と、を備える動画像再生装置が提供される。

上記構成によれば、撮像素子からフレーム単位で順次出力された動画像がＲＡＷ画像データとして記録されるとともに、動画像データに圧縮処理が施された圧縮画像データ及び音声データがＲＡＷ画像データにフレーム単位で対応付けられて記録された記録メディアから、動作モード入力部に入力された動作モードに応じてＲＡＷ画像データ、圧縮画像データ及び音声データの少なくとも１つが読み出される。また、データ読出部により読み出されたＲＡＷ画像データは現像処理されて出力され、データ読出部により読み出された圧縮画像データはデコードされて出力され、音声データが出力される。従って、記録メディアから、ＲＡＷ画像データ、圧縮画像データ及び音声データの少なくとも１つを読み出して再生することで、動作モードに応じた再生を効率良く行うことができる。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力される動画像データをＲＡＷ画像データとして記録メディアに記録する手段、前記動画像データに圧縮処理を施して圧縮画像データを生成する手段、前記ＲＡＷ画像データに前記圧縮画像データをフレーム単位で対応付けて、前記記録メディアへ記録する手段、としてコンピュータを機能させるためのプログラムが提供される。

上記構成によれば、撮像素子からフレーム単位で順次出力される動画像データはＲＡＷ画像データとして記録メディアに記録される。また、動画像データに圧縮処理が施されて圧縮画像データが生成される。そして、ＲＡＷ画像データに圧縮画像データがフレーム単位で対応付けられて記録メディア記録される。従って、ＲＡＷ画像データと圧縮画像データの双方を関連付けて記録することができるため、高画質再生を行う場合はＲＡＷ画像データを使用し、リアルタイム表示、画像検索等では、データ量の少ない圧縮画像データを用いることができる。これにより、高画質かつ操作性の優れた動画像記録を行うことが可能となる。

また、上記課題を解決するために、本発明の別の観点によれば、撮像素子からフレーム単位で順次出力された動画像がＲＡＷ画像データとして記録されるとともに、前記動画像データに圧縮処理が施された圧縮画像データ及び音声データが前記ＲＡＷ画像データにフレーム単位で対応付けられて記録された記録メディアから、動作モードに応じて前記ＲＡＷ画像データ、前記圧縮画像データ及び前記音声データの少なくとも１つを読み出す手段、前記データ読出部により読み出された前記ＲＡＷ画像データを現像処理する手段、前記データ読出部により読み出された前記圧縮画像データをデコードする手段、前記現像処理部又は前記デコード部からの信号を出力する手段、前記音声データを出力する手段、としてコンピュータを機能させるためのプログラムが提供される。

本発明によれば、撮像素子から出力されたＲＡＷ画像データを記録するとともに、その画像データの取り扱いを容易に行うことが可能な動画像記録装置、動画像再生装置、及びプログラムを提供することが可能となる。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

図１は、本発明の一実施形態にかかる動画像記録装置１００の構成を示すブロック図である。図１に示すように、動画像記録装置１００は、カメラ１０２の撮像素子（ＣＣＤ(Charge Coupled Device)、ＣＭＯＳ(Complementary Metal Oxide Semiconductor)等のセンサー）から出力された１フレーム毎の動画像データが入力されるカメラ信号処理部１０４を備えている。カメラ信号処理部１０４は、入力された信号をＡＤ変換するＡＤコンバータを含んでいる。

カメラ信号処理部１０４から出力されたデジタル映像信号は、現像処理部１０６とベイヤーフォーマット部(Bayer Format)１０８の双方へ送られる。現像処理部１０６では、入力された映像データに対して、ホワイトバランス処理、ベイヤー配列からの補間処理、ノイズ除去、輝度及び色補正等の一連の現像処理が行われる。

現像処理部１０６で現像処理が行われたデータは、縮小処理部１１０へ送られる。縮小処理部１１０では、必要に応じて、ＥＶＦ(Electronic View Finder)１１２、ＬＣＤ(Liquid Crystal Display)１１４などの表示装置の画面サイズに合わせて、動画像データのサイズを縮小する処理を行う。縮小処理部１１０から出力されたデータは、ＥＶＦ１１２、ＬＣＤ１１４に送られて、画面上に表示される。これにより、ユーザは、カメラ１０２で撮影された映像をリアルタイムで認識することができる。

また、縮小処理部１１０から出力されたデータは、ＪＰＥＧエンコーダ１１６へ送られる。ＪＰＥＧエンコーダ１１６は、入力されたデータにＪＰＥＧの圧縮符号化処理を施し、多重ファイル(Multiplex File)化部１１８へ送る。多重ファイル化部１１８は、ＪＰＥＧエンコーダ１１６で圧縮処理された圧縮画像データ（圧縮画像データ）を一時的に溜める。サイズカウント部１２２は、多重ファイル化部１１８へ入力される圧縮画像データのデータサイズをカウントし、サイズ情報作成部１２４へ送る。

ベイヤーフォーマット部１０８では、デジタル変換された映像データに対して、ベイヤーフォーマットに合わせてＲ，Ｇ，Ｂの各信号を並び換える。また、ベイヤーフォーマット部１０８では、可逆的な圧縮処理を映像データに対して施す。可逆圧縮処理によって、画質などを低下させずに画像データを記録、再生することができる。可逆圧縮方式には、例えば、フレーム内データの差分のハフマン符号によるエントロピー符号化等がある。なお、可逆圧縮方式は、厳密な「可逆」に限定されない。このように、ベイヤーフォーマット部１０８によるベイヤーフォーマット処理では、ＲＡＷ画像データとしての画質を維持するため、画質を損なうような圧縮処理は施されない。一方、ＲＡＷ画像データは非常に大きなファイルサイズとなるため、冗長度の少ないデータに処理する。

ベイヤーフォーマット部１０８でベイヤーフォーマット処理された動画像データは、そのままＲＡＷ画像データとして多重ファイル化部１１８へ入力される。多重ファイル化部１１８は、ベイヤーフォーマット部１０８から送られたＲＡＷ画像データを蓄積する。サイズカウント部１２６は、多重ファイル化部１１８へ入力されるＲＡＷ画像データのサイズをカウントし、サイズ情報作成部１２４へ送る。

また、マイクロホン１２６は、カメラ１０２による動画撮影と同時に被写体の音声を取得し、音声信号処理部１２８へ送る。音声信号処理部１２８は、入力された音声のアナログ信号をＡＤ変換するＡＤコンバータを含んでいる。音声信号処理部１２８から出力されたデジタル音声信号は、オーディオフォーマット部(Audio Format)１３０へ送られる。オーディオフォーマット部１３０では、非圧縮のＰＣＭ方式、またはＡＤＰＣＭ方式、ＡＡＣ方式、ＡＣ３方式、ＭＰ３方式などの圧縮処理により、音声データをフォーマットする。オーディオフォーマット部１３０でフォーマットされた音声データは、多重ファイル化部１１８へ入力される。多重ファイル化部１１８は、音声データを一時的に蓄積する。サイズカウント部１３２は、多重ファイル化部１１８へ入力される音声データのサイズをカウントし、サイズ情報作成部１２４へ送る。

多重ファイル化部１１８に蓄積された圧縮画像データ、ＲＡＷ画像データ、および音声データは、メディア書込部１２０へ送られ、記録メディアの記録フォーマットに従い記録メディアに記録される。記録メディアとしては、例えば、光学式記録媒体（ＣＤ、ＤＶＤ等）、光磁気ディスク、磁気ディスク、半導体記憶媒体などが挙げられる。

ホストＣＰＵ１３４は、多重ファイル化部１１８からメディア書込部１２０へのデータ送信、及びメディア書込部１２０による記録メディアへのデータの記録を制御する。ホストＣＰＵ１３４は、多重ファイル化部１１８に蓄積されている圧縮画像データ、ＲＡＷ画像データ、および音声データを所定量毎（例えば、１フレームのデータ量毎）にメディア書込部１２０へ送り、記録メディアに順次に記録するように、多重ファイル化部１１８及びメディア書込部１２０を制御する。ホストＣＰＵ１３４は、圧縮画像データ、ＲＡＷ画像データ、音声データを所定の順番で記録メディアに記録するとともに、サイズ情報作成部１２４から送られた各データのサイズを記録メディアの所定箇所に記録する。

動作モード指定部１３６は、ユーザの入力に応じて動作モードを設定し、設定した動作モードをホストＣＰＵ１３４へ送る。ホストＣＰＵ１３４は、動作モード指定部１３６から送られた動作モードに応じて、多重ファイル化部１１８、およびメディア書込部１２０による記録メディアへの記録を制御する。

なお、動画像記録装置１００における一連の処理は、ハードウェアで処理しても良いし、コンピュータ上のプログラムによるソフトウェア処理で実現しても良い。

以上のように構成された本実施形態の動画像記録装置１００では、カメラ１０２の撮像素子から出力されてＡＤ変換されたデジタル映像データが、ベイヤーフォーマット化部１０８に送られ、ＲＡＷ画像データのまま記録メディアに記録される。従って、記録メディアには、高画質のＲＡＷ画像データが記録され、ＲＡＷ画像データを読み出して表示することで、圧縮された映像データに比べて、高画質の映像を再生することが可能となる。

一方、ＲＡＷ画像データはデータ量が多いため、ＲＡＷ画像データのままではＥＶＦ１１２、ＬＣＤ１１４へのリアルタイム画面表示を行うことはできず、またＪＰＥＧ等の圧縮処理を直接行うことができない。本実施形態の動画像記録装置１００では、ＲＡＷ画像データの記録とともに、動画像データの現像処理、縮小処理、圧縮処理を行うため、撮影と同時にＥＶＦ１１２、ＬＣＤ１１４へのリアルタイム表示を行うことができ、表示画面をモニタしながら撮影を行うことができる。また、記録メディアにはＲＡＷ画像データとともに圧縮画像データが記録されるため、再生時には、圧縮画像データにより映像の検索、サムネイル表示等を行うことが可能である。これにより、映像中の重要な部分についてはＲＡＷ画像データによる高画質再生が可能となり、映像中で比較的重要度の低い部分については、圧縮画像データを高速に読み出すことで簡易的な再生が可能となる。

次に、記録メディアにおける記録フォーマットについて説明する。図２は、動画像記録装置１００による、記録メディアへの記録のフォーマットを示す模式図である。ここで、図２（Ａ）は、ベイヤーフォーマット化部１０８によりＲＧＢデータが並び換えられる前のＲＡＷ画像データを模式的に示している。図２（Ａ）に示すように、撮像素子が例えばベイヤー配列の単板の場合には、出力されるデータはＲ：Ｇ：Ｂ＝１：２：１のベイヤー配列された画素の順番で出力される。動画像記録装置１００は、このベイヤー配列データを画質を損なうことなく記録するため、ベイヤーフォーマット部１０８によりＧＢＲの順に並び替え、画質を損なうような圧縮処理を施すことなく記録する。

図２（Ｂ）は、映像の記録開始（録画スタート）から記録停止（録画ストップ）までの間の１つの動画ファイルを示している。また、図２（Ｃ）は、図２（Ｂ）の記録データのうち、１フレーム分のデータを示している。

図２（Ａ）に示すベイヤー配列のＲＧＢデータは、ベイヤーフォーマット化部１０８により並べ替えられ、記録メディアのデータ領域に記録される。また、ＪＰＥＧエンコーダ１１６によりエンコードされた圧縮画像データ、およびオーディオフォーマット部１３０でフォーマットされた音声データも記録メディアのデータ領域に記録される。図２（Ｂ）に示すように、記録フォーマットの先頭には、ヘッダー(Header)が記録される。ヘッダーには、セットに関する情報（言語、メーカー名、セット名等）、記録に関する情報（撮影開始日時、撮影終了日時等）、カメラに関する情報（画素数、画素ピッチ、画素配置、レンズ種類等）、構造に関する情報（フレームレート、ＲＡＷ圧縮モード、現像データ圧縮モード、オーディオ圧縮モード等）、オーディオのチャンネル数、ビット数、記録メディアの記録フォーマット情報、カメラのレンズの仕様データ等の全体的な情報が記録される。ヘッダーに続いて、映像の１フレーム毎にデータが記録される。

１フレーム毎のデータは、フレームヘッダー(Frame Header 0, 1,…,n)とフレーム毎のデータ(F0, F1,…Fn)から構成される。フレームヘッダーには、フレームに関する情報(Absolute Frame number、タイムコード等)、撮影条件に関する情報（絞り値、フォーカス、ＩＳＯ感度、電子シャッター等）、サーチ用フラグ、タイトル、データサイズ（音声データ、圧縮画像データ、ＲＡＷ画像データ）が記録される。図２（Ｃ）に示すように、フレーム毎のデータは、音声データ、圧縮画像データ、ＲＡＷ画像データ（Ｇ，Ｂ，Ｒ）の順でフレーム単位で繰り返し記録される。そして、最後のフレームFnのデータに続いて、フッター(Footer)が記録される。フッターには、全フレームに関する情報（全フレーム数、フレームヘッダーアドレス等）、撮影後の情報（重要度、シーンの種類等）が記録される。

各フレームのフレームヘッダーには、サイズ情報作成部１２４から送られた、各フレームの音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズが記録される。図２（Ｃ）の例において、フレーム０の音声データのデータサイズＳａ、圧縮画像データのデータサイズＳｖ、ＲＡＷ画像データのデータサイズＳｒは、フレーム０のフレームヘッダー(Frame Header 0)に記録される。

このように、各フレームのフレームヘッダーに各データのサイズを記録することで、再生時にフレームヘッダーを読み出した際に、各データのサイズを取得することが可能になる。そして、再生時に、データ数をカウントして各データを読み出すことで、音声データ、圧縮画像データ、ＲＡＷ画像データの先頭を速やかに検出することが可能となる。従って、データサイズの大きいＲＡＷ画像データを記録した場合であっても、フレームヘッダーに記録されたサイズ情報に基づいて、音声データのみ、又は圧縮画像データのみを再生した後、ＲＡＷ画像データを再生することなく、次のフレームの音声データ、圧縮画像データを再生する等の処理が可能となる。これにより、映像中の比較的重要度が低い動画像については、ＲＡＷ画像データを再生することなく、音声データ又は圧縮画像データのみを再生することで、映像の検索や、高速再生が可能となる。また、映像中で重要度が高い動画像については、ＲＡＷ画像データを再生することで高画質の再生が可能となる。また、音声データを各フレームのデータの先頭に配置することで、高速再生時などの場合に音声データのみを高速に読み出すことが可能となる。

図３は、現像処理画像データの再生時に、音声データ及び圧縮画像データのみを読み出して再生する方法を示す模式図である。各フレームヘッダーには、音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズが記録されているため、図３に示すように、音声データ、圧縮画像データのみを読み出して再生し、ＲＡＷ画像データを読み飛ばす処理が可能となる。これにより、例えば、ＲＡＷ画像データの再生が必要となるフレームに到達するまでの間は、ＲＡＷ画像データを読み飛ばして音声データ、圧縮画像データのみを再生して画像を検索し、ＲＡＷ画像データの再生が必要なフレームに到達した時点からＲＡＷ画像データを再生すること等が可能となる。本フォーマットによれば、ＲＡＷ画像データと圧縮画像データが１対１で対応しているため、圧縮画像データからＲＡＷ画像データのフレームを関連付けて、ＲＡＷ画像データを瞬時に読み出すことが可能である。

なお、フレームヘッダーには、音声データ、圧縮画像データ、ＲＡＷ画像データの３つのデータのサイズを記録することが望ましいが、いずれか１つのデータ、又はいずれか２つのデータのサイズを記録しても良い。このような構成においても、記録されたサイズに基づいて、不要なデータをスキップすることができるため、必要なデータのみを読み出して再生することが可能である。

次に、図１の動画像記録装置１００で記録された動画像データを再生する動画像再生装置２００について説明する。図４は、動画像再生装置２００の構成を示すブロック図である。図４に示すように、動画像再生装置２００は、ホストＣＰＵ２０２、メディア読出部２０４、データサイズ抽出部２０６、動作モード指定部２０８、データ分離部(De-Multiplex)２１０、オーディオデフォーマット部(Audio De-Format)２１２、オーディオ信号処理部２１４、オーディオ出力部２１６、ＪＰＥＧデコード部(JPEG Decode)２１８、縮小拡大処理部２２０、ビデオ信号処理部２２２、ビデオ出力部２２４、ベイヤーデフォーマット部(Bayer De-Format)２２６、現像処理部２２８、縮小処理部２３０、ＭＵＸ２３２，２３４、ＥＶＦ２３６、ＬＣＤ２３８を有して構成されている。

メディア読出部２０４は、ホストＣＰＵ２０２からの指令により、記録メディアからデータを読み出す。データサイズ抽出部２０６は、フレームヘッダーに記録された音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズを抽出し、ホストＣＰＵ２０２に送る。ホストＣＰＵ２０２は、データサイズ抽出部２０６から送られたデータサイズに基づいて、メディア読出部２０４によるデータの読み出しを制御する。

動作モード指定部２０８は、再生時の動作モードを指定する。ここで、再生時の動作モードとしては、例えば、ＲＡＷ画像データ再生、圧縮画像データ再生、その他特殊再生（高速再生等）が挙げられる。

データ分離部２１０は、メディア読出部２０４から読み出したデータを一時的に溜め、オーディオデフォーマット部２１２、ＪＰＥＧデコード部２１８、ベイヤーデフォーマット部２２６のそれぞれに送る。この際、データ読出部２０４によるデータの読み出しは、データサイズ抽出部２０６で抽出されたデータサイズに応じて行われるため、De-Multiplex２１０は、記録メディアから読み出した音声データ、圧縮画像データ、ＲＡＷ画像データのそれぞれを、オーディオデフォーマット部２１２、ＪＰＥＧデコード部２１８、ベイヤーデフォーマット部２２６のそれぞれに振り分けることができる。

オーディオデフォーマット部２１２は、音声データをデフォーマットし、オーディオ信号処理部２１４へ送る。オーディオ信号処理部２１４は、デフォーマットされた信号をＤＡ変換し、オーディオ出力部２１６に送る。オーディオ出力部２１６は、アナログ変換されたオーディオ信号を出力する。

また、ＪＰＥＧデコード部２１８は、圧縮画像データをデコードし、縮小拡大処理部２３０に送る。縮小拡大処理部２２０は、デコードされた映像データを縮小または拡大し、ＭＵＸ２３２，２３４へ送る。

また、ベイヤーデフォーマット部２２６は、ＲＡＷ画像データをベイヤーデフォーマットし、ベイヤー配列に並べ替えて現像処理部２２８へ送る。現像処理部２２８は、デフォーマットされたＲＡＷ画像データに対して、ホワイトバランス処理、ベイヤー配列からの補間処理、ノイズ除去、輝度及び色補正等の一連の現像処理を行う。縮小処理部２３０は、現像処理が行われたＲＡＷ画像データのサイズを縮小する処理を行い、ＭＵＸ２３２，２３４へ送る。

ＭＵＸ２３２は、ホストＣＰＵ２０２の指示に基づいて、縮小拡大処理部２２０から送られた映像データ、または縮小処理部２３０から送られた映像データのいずれかをビデオ信号処理部２２２へ送る。ビデオ信号処理部２２２では、送られたデータをＤＡ変換する。ビデオ出力部２２４は、ビデオ信号処理部２２２から送られたデータを出力する。

ＭＵＸ２３４は、ホストＣＰＵ２０２の指示に基づいて、縮小拡大処理部２２０から送られた映像データ、または縮小処理部２３０から送られた映像データのいずれかをＥＶＦ２３６、ＬＣＤ２３８へ送る。ＥＶＦ２３６、ＬＣＤ２３８は、送られた映像データを表示する。

なお、動画像再生装置２００における一連の処理は、ハードウェアで処理しても良いし、コンピュータ上のプログラムによるソフトウェア処理で実現しても良い。

以上のように構成された本実施形態の動画像再生装置２００では、メディア読出部２０４から読み出したファイルの中のヘッダーおよび各フレームヘッダーの情報から音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズを抽出し、動作モード指定部２０８で指定された各動作モードに従って記録メディアから適切なデータの読み出しを行い、ＭＵＸ２３２，２３４で出力データを選択することで、動作モードに応じた再生を効率良く行うことができる。

ＲＡＷ画像データの再生時には、記録メディアからＧ、Ｂ、Ｒの各ＲＡＷ画像データを読み出し、そのデータを現像処理することによって、ＲＡＷ画像データが映像信号化される。この信号は、ビデオ出力部２２４からビデオ出力するため、またはＥＶＦ２３６、ＬＣＤ２３８から出力するため、所定の画像サイズに縮小処理される。これにより、動画像再生装置２００内で高画質な再生が可能となる。

圧縮画像データを再生する場合は、記録メディアからフレーム単位に圧縮画像データを順次に読み出すことで、圧縮画像データを再生することができる。この場合、読み出されるデータサイズはＲＡＷ画像データに比べて極めて小さい。ＪＰＥＧデコードされた映像信号を所定の画像サイズに縮小処理、または拡大処理して出力することで、ＲＡＷ画像データの再生に比べて軽い処理で再生を行うことが可能となる。このように、圧縮画像データによる簡易再生モードを活用することにより、動画像再生装置２００のハードウェア構成を大幅に削減できるとともに、消費電力を大幅に低減できる。

また、特殊再生モードとして、高速再生モードについても、ＪＰＥＧデータを用いることで、負荷の少ない処理が可能となる。この場合、再生の倍速率に合わせてフレームヘッダーのみをサーチしながら、音声データ、圧縮画像データ、ＲＡＷ画像データのデータサイズ情報から必要なフレームだけを飛び越し走査して圧縮画像データを読み出し、ＪＰＥＧデコードして読み出せば良い。逆転方向の再生も同様の方法を用いることで容易に実現可能である。

また、圧縮画像データを用いて、ファイルの中の撮影画像の一覧をサムネイル表示することも可能である。この場合、例えば複数の動画ファイルのそれぞれについて、１フレームの画像をサムネイル表示しても良いし、各動画ファイルを動画としてサムネイル表示しても良い。

以上説明したように本実施形態によれば、ＲＡＷ画像データと圧縮画像データの双方を関連付けて記録することができるため、高画質再生を行う場合はＲＡＷ画像データを使用し、リアルタイム表示、画像検索等では、データ量の少ない圧縮画像データを用いることができる。これにより、高画質かつ操作性の優れた動画像記録装置１００、および動画像再生装置２００を提供することが可能となる。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

本発明の一実施形態にかかる動画像記録装置の構成を示すブロック図である。動画像記録装置による、記録メディアへの記録のフォーマットを示す模式図である。現像処理画像データの再生時に、音声データ及び圧縮画像データのみを読み出して再生する方法を示す模式図である。動画像再生装置の構成を示すブロック図である。

符号の説明

１００動画像記録装置
１１６ＪＰＥＧエンコーダ
１２２，１２６，１３２サイズカウント部
１２４サイズ情報作成部
１２８音声信号処理部
２００動画像再生装置
２０４メディア読出部
２１６オーディオ出力部
２１８ＪＰＥＧデコード部
２２８現像処理部
２２４ビデオ出力部

Claims

撮像素子からフレーム単位で順次出力される動画像データをＲＡＷ画像データとして記録メディアに記録する記録部と、
前記動画像データに圧縮処理を施して圧縮画像データを生成する圧縮処理部と、を備え、
前記記録部は、前記ＲＡＷ画像データに前記圧縮画像データをフレーム単位で対応付けて、前記記録メディアへ記録することを特徴とする、動画像記録装置。
前記記録部は、前記ＲＡＷ画像データに前記圧縮画像データをフレーム単位で対応付けて、前記記録メディアの記録フォーマット上で前記圧縮画像データ、前記ＲＡＷ画像データの順に記録することを特徴とする、請求項１に記載の動画像記録装置。
音声を符号化して音声データを生成する音声符号化部を備え、
前記記録部は、前記音声データ、前記圧縮画像データ、及び前記ＲＡＷ画像データをフレーム単位で対応付けて、前記記録メディアの記録フォーマット上で前記音声データ、前記圧縮画像データ、前記ＲＡＷ画像データの順に記録することを特徴とする、請求項１に記載の動画像記録装置。
前記音声データ、前記圧縮画像データ、及び前記ＲＡＷ画像データのデータサイズをフレーム単位で取得するデータサイズ取得部を備え、
前記記録部は、前記音声データ、前記圧縮画像データ、及び前記ＲＡＷ画像データのデータサイズをフレーム毎に前記記録メディアに記録することを特徴とする、請求項３に記載の動画像記録装置。
動作モードが入力される動作モード入力部と、
撮像素子からフレーム単位で順次出力された動画像がＲＡＷ画像データとして記録されるとともに、前記動画像データに圧縮処理が施された圧縮画像データ及び音声データが前記ＲＡＷ画像データにフレーム単位で対応付けられて記録された記録メディアから、前記動作モードに応じて前記ＲＡＷ画像データ、前記圧縮画像データ及び前記音声データの少なくとも１つを読み出すデータ読出部と、
前記データ読出部により読み出された前記ＲＡＷ画像データを現像処理する現像処理部と、
前記データ読出部により読み出された前記圧縮画像データをデコードするデコード部と、
前記現像処理部又は前記デコード部からの信号を出力する映像出力部と、
前記音声データを出力する音声出力部と、
を備えることを特徴とする、動画像再生装置。
撮像素子からフレーム単位で順次出力される動画像データをＲＡＷ画像データとして記録メディアに記録する手段、
前記動画像データに圧縮処理を施して圧縮画像データを生成する手段、
前記ＲＡＷ画像データに前記圧縮画像データをフレーム単位で対応付けて、前記記録メディアへ記録する手段、
としてコンピュータを機能させるためのプログラム。
撮像素子からフレーム単位で順次出力された動画像がＲＡＷ画像データとして記録されるとともに、前記動画像データに圧縮処理が施された圧縮画像データ及び音声データが前記ＲＡＷ画像データにフレーム単位で対応付けられて記録された記録メディアから、動作モードに応じて前記ＲＡＷ画像データ、前記圧縮画像データ及び前記音声データの少なくとも１つを読み出す手段、
前記データ読出部により読み出された前記ＲＡＷ画像データを現像処理する手段、
前記データ読出部により読み出された前記圧縮画像データをデコードする手段、
前記現像処理部又は前記デコード部からの信号を出力する手段、
前記音声データを出力する手段、
としてコンピュータを機能させるためのプログラム。