JP2009055131A - 画像記録装置 - Google Patents

Abstract

【課題】超解像処理技術を効果的に適用して、入力する動画像の所望のシーンについて動画像及び静止画像の高解像度化を実現すること。
【解決手段】入力する画像データを画質を変えて圧縮する圧縮部２３と、圧縮した画像データを記録する記憶装置２６と、記録した画像データ中の複数枚の画像データを用いて高解像度化する超解像処理部２５と、圧縮部と超解像処理部を制御する制御部６０とを備える。制御部６０は、超解像処理部２５により高解像度化する画像データのうち、特に高画質化する画像データについては、圧縮部２３により予め高画質化して圧縮しておく。
【選択図】図１

Description

本発明は、動画像や静止画像を高解像化して記録する画像記録装置に関する。

撮影部と録画部を一体化したビデオカメラやＤＶＤカムといった画像記録装置において、記録する画像の高画質・高解像度化が進められている。また、動画像を記録したのち、その動画像データをもとに静止画像を切り出し、記録・表示を行うことも可能になっている。その際、入力された画像信号をそのまま記録・表示するのではなく、デジタル信号処理によって水平・垂直方向の画素数を増やして高画質化する技術が有効になる。例えば、一般的に知られているＳｉｎｃ関数を用いた補間ローパスフィルタやスプライン関数等によって画素数を増やす手法があるが、真の解像度を上げることはできなかった。

これに関連する画像処理技術として次のような提案がなされている。
特許文献１には、入力された複数のデジタル画像から入力画像以上の解像度を持つ１枚の高解像度画像を出力する技術（以下、超解像処理と呼ぶ）が開示されている。これは、同一の信号について、標本化位置を変えて同一の標本化間隔でｎ回の標本化によって得られるｎ組のデータを用いて、標本化によって生じた折り返し成分を打ち消し、ナイキスト周波数以上の原信号の高周波成分を復元するものである。

また特許文献２には、動画を構成するフレーム画像から適正な画質からなる静止画を生成する技術が開示される。例えば、動画用のガンマ処理が施された動画のフレーム画像に所定のガンマ処理を施すことにより静止画用のガンマ処理が施された静止画を生成するものである。

特開平８−３３６０４６号公報 特開２００６−３０３８４９号公報

画像記録装置において、入力する動画像データをもとに動画像の高解像度化、あるいは動画像から切り出す静止画像を高解像度化したいという要求がある。上記特許文献１に記載されるような超解像処理技術を適用すれば、画質の改善が期待できる。その際、超解像処理技術の効果を十分発揮させるためには、次のような課題がある。

一般に、ビデオカメラなどで撮影される動画像の解像度は、デジタルカメラで撮影される静止画像の解像度の数分の一であり、これから切り出して得られる静止画像の解像度は低い。このような解像度が低く、圧縮によって情報量が大きく削減された画像に対して超解像処理技術を適用したとしても、十分に満足できる静止画像を得ることは困難である。これは動画像の高解像度化についても同様に困難である。なお、上記特許文献２に記載の静止画生成技術は、静止画に適したガンマ処理を施すことであり、画像の高解像度化を図るものではない。

またビデオカメラの撮影では、撮影開始時点に設定した記録条件（画質やビットレート）にて、撮影終了するまで同一条件で記録することが多い。その理由として、撮影途中で記録媒体の容量不足といったトラブルを回避することがあげられる。よって、撮影中にユーザが高画質化したいシーンがあっても、途中で記録条件を変更し、画質やビットレートを大幅に向上させて記録することができない。その結果、撮影される動画データのビットレートは１つの撮影期間中ほぼ一定であり、超解像処理技術を適用しても、所望のシーンを特に高画質化することが困難であった。

本発明では、これらの課題を鑑み、超解像処理技術を効果的に適用して、入力する動画像の所望のシーンについて動画像及び静止画像の高解像度化を実現することである。

本発明の画像記録装置は、入力する画像データを画質を変えて圧縮する圧縮部と、圧縮した画像データを記録する記憶装置と、記録した画像データ中の複数枚の画像データを用いて高解像度化する超解像処理部と、圧縮部と超解像処理部を制御する制御部とを備え、制御部は、超解像処理部により高解像度化する画像データのうち、特に高画質化する画像データについて、圧縮部により予め高画質化して圧縮しておく。

ここに圧縮部は、圧縮時のビットレートを切り替えることで画質を変えるものであって、制御部は、特に高画質化する画像データについては圧縮部のビットレートを高ビットレートに設定する。

また、超解像処理部にて高解像度化した画像データを記録部にて記録するとき、制御部は、記録する画像データのうち、特に高画質化する画像データではない画像データについて、圧縮部にて低画質化して圧縮させる。

本発明によれば、入力する動画像の所望のシーンについて動画像及び静止画像の高解像度化を実現して、好適に記録又は表示することができる。

以下、本発明の実施形態を図面を用いて説明する。

図１は、本発明による画像記録装置の一実施例を示す構成図である。本装置は、被写体を撮影して画像データを取得する撮影部１０、取り込んだ画像データに対して高画質化・高解像度化などの処理を行う画像処理部２０、画像データを表示する液晶パネルやテレビなどの表示部３０、画像データを記録媒体に記録する記録部４０、画像データが記録される記録媒体５０、操作部による指示を受けて撮影部１０や画像処理部２０や表示部３０や記録部４０を制御するシステム制御部６０、ボタンやタッチパネルなどにより動作指示をシステム制御部６０に対して与える操作部７０からなる。なお、撮影部１０や表示部３０は、本装置から分離して外部装置として接続してもよい。

撮影部１０と画像処理部２０と表示部３０と記録部４０とシステム制御部６０の間での制御は、各ブロックから制御レジスタ１４，２８，２９，３１，４１に対する書込みと読出しによって実現される。これらの制御レジスタは、ほぼすべてのブロックから読み出し、書込みが可能である。

撮影部１０は、レンズ１１、撮像素子１２、Ａ／Ｄコンバータ１３を有する。画像処理部２０は、データや命令を伝達する伝送路２１、画像処理の実行や画像処理部内の各ブロックに対して動作指示を与えるＣＰＵ２２、ＭＰＥＧ２やＨ．２６４／ＡＶＣといった圧縮率（ビットレート）の異なる複数の方式を用いて画像データを圧縮する圧縮部２３、圧縮された画像データを伸張する伸張部２４、２枚以上の静止画像を用いて高解像度の静止画像を生成する超解像処理を行う超解像処理部２５を有する。

記憶装置２６はハードディスク、ＤＲＡＭ、Ｆｌａｓｈメモリ、ＤＶＤといった記録媒体を有する記憶装置であり、複数の記憶装置から構成されていてもよい。記憶装置２６には、圧縮部２３によって生成される圧縮画像データや、伸張部２４により伸張される画像データや、超解像処理部２５によって生成された高解像度画像データや各種処理の中間データなどを記録する。ＤＭＡＣ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ）２７は、記憶装置２６とデータのやりとりを行い、各ブロックに対して高速にデータの転送を行う。

撮影部１０により取得した画像データは、圧縮部２３に転送してデータ圧縮を行い、記憶装置２６に記録する。あるいは、撮影した画像データをそのまま記憶装置２６に格納し、その後これを読み出し圧縮部２３にてデータ圧縮を行い、再度記憶装置２６に記録するようにしてもよい。そして記憶装置２６から読み出した画像データを伸張部２４にて伸張し、超解像処理部２５は、複数の伸張された画像データを用いて超解像処理を行う。超解像処理により動画像の高解像度化だけでなく、動画像から静止画像を切り出して高解像度化することもできる。超解像処理を施された動画像あるいは静止画像は、表示部３０に送られて表示され、あるいは記録部４０に送られて記録媒体５０に記録保存される。記録媒体５０としては、ハードディスク、Ｆｌａｓｈメモリ、ＤＶＤなどの大容量媒体が適する。なおこの記録媒体５０は、前記記憶装置２６の記録媒体と共通としても良い。

画像処理部２０内のブロックはそれぞれ伝送路２１を介して接続されているが、伝送路２１を介さず各ブロック間で直接データ転送や制御を行ってもよい。このとき、伝送路２１は限定されず、光ファイバなどの有線伝送や、Ｂｌｕｅｔｏｏｔｈなどの無線伝送であってもよい。伝送路２１を無線伝送とすることで、画像処理部２０内の各ブロックは離れた場所に存在する装置にて構成することができる。

本実施例の装置は１つの筐体で実現される必要はない。例えば、ＤＶＤカムによって画像データを記録し、光ファイバのような伝送路やＢｌｕ−ｒａｙ Ｄｉｓｃのような記録媒体を介して、プラズマテレビのような画像再生装置に転送し、プラズマテレビ内の伸張部や超解像処理部、表示部や記録部によって同様の処理が実現されてもよい。

このように本実施例の画像記録装置では、ビットレートを切り替えて画像データを圧縮する圧縮部２３を設けることで所望のシーンについて高画質の画像データを得るとともに、高解像度化を行う超解像処理部２５を設けることで高画質の画像データから高解像度の静止画像あるいは動画像を得るようにした。

以下、本実施例における高画質化処理（処理１）と高解像度化処理（処理２）について説明する。
図２は、撮影中の画像に対して高画質化処理（処理１）を行って記録するフローチャートの一例を示す図である。

ユーザは操作部７０から、撮影開始の指示と撮影モードの選択を行う。操作部７０からの指示に基づき、システム制御部６０は、撮影する画像データの解像度、記録するデータの圧縮方法、圧縮データのビットレートなどの撮影モードを設定して、制御レジスタ２９に書き込む。すなわち、ユーザが高画質の記録を選択した場合は、高ビットレートモードに設定する（Ｓ１０１）。

ＣＰＵ２２は制御レジスタ２９に設定されている撮影モードを参照し、高ビットレートモードに設定されているかどうかを判定する（Ｓ１０２）。判定の結果、高ビットレートモードが設定されている場合は高ビットレートの圧縮設定を行い（Ｓ１０３）、高ビットレートモードが設定されていない場合は標準ビットレートでの圧縮設定を行う（Ｓ１０４）。これらのビットレート圧縮設定は、システム制御部６０が制御レジスタ２９に対して圧縮方法とビットレート条件を書込み、ＣＰＵ２２がこの条件を読み出し、圧縮部２３に対して圧縮方法とビットレートの設定を行う。

圧縮部２３では、撮影した画像データを設定された圧縮条件によって圧縮する（Ｓ１０５）。そして、圧縮した画像データを記憶装置２６に記録する（Ｓ１０６）。操作部７０から撮影終了の指示が行われているかどうかを判定する（Ｓ１０７）。撮影終了の指示が行われていない場合は撮影を継続し、撮影モードの設定（Ｓ１０１）に戻り、それに従い画像データの記録を継続する。Ｓ１０１にてユーザの指示により撮影モードの設定が変更されていれば、変更された条件でビットレートの圧縮設定を行う。撮影終了の指示が行われている場合は、撮影単位にその記録履歴情報（高ビットレートで記録した部分があればその開始・終了時間）を記憶装置２６に保存し（Ｓ１０８）、撮影を終了する。

撮影中は上記ループを繰り返すことにより、随時ユーザの指示を受け付けて撮影モードを変更することができる。ループ繰り返しの頻度は数フレーム単位（０．１秒程度）とすることが可能であり、よってユーザが任意のシーンに対して高画質化の切り替え操作を行っても、これに迅速に追従して応答することができる。

図４は、ビットレート圧縮設定ならびに取り扱いデータ設定の一例を示す図である。これは、システム制御部６０により画像処理部２０の制御レジスタ２９に書き込まれた圧縮方法や記録時のビットレートの設定条件の例である。

圧縮方法の設定は、動画データを圧縮する際の周波数変換方法の変更や量子化処理方法の変更、可変長符号化方法の変更を意味する。動画像圧縮規格の設定やビットレートの設定を行うことで、処理に用いるパラメータを変更する。高ビットレート圧縮が設定される場合は、標準のビットレート圧縮設定が行われる場合よりも、圧縮によって失われる情報量が少なくなるように設定される。具体的には、周波数変換後に切り捨てる周波数範囲を小さくしたり、量子化の際の量子化テーブル係数を小さくすることにより、圧縮前の画像情報に対して失われる情報は小さくなる。これにより、ビットレートが大きな圧縮データが生成され、これを伸張した場合の画質は高画質なものとなる。
なお、ビットレートの設定は２種類に限定されず、３種類以上の設定とすればよりきめ細かな処理を行うことができる。

図５は、記憶装置に格納されている画像データの記録履歴情報の一例を示す図である。これには、格納した画像データを連続した撮影を単位として区分し、撮影単位ごとの全記録時間情報４０１と、その中で高ビットレートで記録した時間情報４０２（開始時刻と終了時刻）とを保存している。これらの情報は、ＣＰＵ２２または圧縮部２３によって記憶装置２６内に記録して保存される。この高ビットレートデータの記録時間情報４０２を参照することで、格納した画像データの中から高ビットレートで記録した部分を検索して読出し、次の高解像度処理（処理２）を実施することができる。

図３は、記録した画像データについて高解像度化処理（処理２）を行って表示または記録するフローチャートの一例を示す図である。

ユーザは操作部７０から、表示／記録開始の指示と表示／記録モード（静止画／動画の区別、高解像度化処理の要否を含む）の選択を行う。操作部７０からの指示に基づき、システム制御部６０は制御レジスタ２９，３１，４１に対して、表示／記録を行うための指示を書き込むことで、表示／記録モードを設定する（Ｓ１１１）。ＣＰＵ２２は制御レジスタ２９の値を読み出し、ＤＭＡＣ２７に対して画像データの転送を指示する。ＤＭＡＣ２７は指示された画像データを記憶装置２６から読出し、伸張部２４へ転送する（Ｓ１１２）。伸張部２４は受け取った画像データを伸張し、超解像処理部２５へ転送する（Ｓ１１３）。画像データの転送はＤＭＡＣ２７が行ってもよい。

超解像処理部２５は、伸張された隣接する画像データを２枚以上用いて、超解像処理により高解像度の画像データを生成する（Ｓ１１４）。このとき用いる画像データのうち、前記高画質化処理（処理１）を行ったものは、超解像処理をより効果的に適用することができる。これにより高解像度の静止画像だけでなく、超解像処理を連続的に行うことで高解像度の動画像も生成可能である。このとき適用する超解像処理の一例については、図６にて後述する。

続いてシステム制御部６０は、制御レジスタ２９に設定されている表示／記録モードを判定する（Ｓ１１５）。表示モードが設定されている場合は、超解像処理部２５によって生成された画像データを表示部３０へ転送し、高解像度の静止画または動画を表示する（Ｓ１１６）。また、画像記録モードが設定されている場合は、高解像度化処理された画像データを記録部４０へ転送し、記録媒体５０に記録する（Ｓ１１７）。また、圧縮記録モードが設定されている場合は、高解像度化処理された画像データを再度圧縮して（Ｓ１１８）、記録媒体５０に記録する（Ｓ１１９）。このとき記録ビットレートを調整して圧縮記録することで、記録媒体５０のビットレート上限や記録容量の許容範囲で記録することができる。また、記憶装置２６に格納されている記録履歴情報に基づき、高ビットレート記録部分４０２のビットレートを他よりも高くして圧縮記録してもよい。この記録ビットレートの調整については、図７〜図９で後述する。

その後、表示または記録の終了指示を確認し（Ｓ１２０）、終了指示が出ている場合は終了する。終了指示がない場合は、Ｓ１１２に戻り処理を継続する。これにより、高画質化及び高解像度化処理を施した静止画像あるいは動画像を、ユーザの指示に従い表示又は記録保存することができる。

ここで図２の高画質化処理（処理１）と図３の高解像度化処理（処理２）は、処理対象となる画像データ部分が共通であるから、一連の処理として実行するのが望ましい。よって、両者を同時に実行し、一部の工程を省略してもよい。例えば、圧縮処理（Ｓ１０５）で圧縮した画像データを、記憶装置２６を経由せずにそのまま記録部４０へ転送し、記録媒体５０に記録してもよい。また、圧縮処理（Ｓ１０５）で圧縮された画像データを、記憶装置２６を経由せずに伸張部２４と超解像処理部２５に転送し、伸張処理（Ｓ１１３）と超解像処理（Ｓ１１４）を行って、表示（Ｓ１１６）や記録（Ｓ１１７）を行ってもよい。さらに、記録処理（Ｓ１０６）において、記録媒体５０に圧縮データを記録し、記録媒体５０から画像データを読み出して伸張処理（Ｓ１１３）と超解像処理（Ｓ１１４）を行ってもよい。また、表示（Ｓ１１６）と記録（Ｓ１１７）、あるいは表示（Ｓ１１６）と再圧縮（Ｓ１１８）と記録（Ｓ１１９）は同時に行ってもよい。すなわち、超解像処理（Ｓ１１４）を行ったデータを表示部３０ならびに記録部４０両方に転送し、表示（Ｓ１１６）と記録（Ｓ１１７）を同時に行ってもよい。

図６は、超解像処理部２５による超解像処理について説明する図である。まず（ａ）のように、隣接する複数（ここでは３枚）の原画像６００〜６０２を準備し、小数画素精度で位置合わせを行う。（ｂ）は、基準位置とする画像６００に対して他の画像６０１、６０２を位置合わせした状態を示す。位置合わせは、回転や拡大・縮小などの動きも考慮する。こうして標本化位置が整数画素位置からずれた１枚の合成画像を生成する。その後（ｃ）のように、目的とする解像度で再度サンプリングしなおして高解像画像６０３を生成する。再サンプリングにあたっては、ローパスフィルタを用いて画素数（サンプリング点）を補間して増やす方法、あるいは、点広がり関数の逆関数を適用するなどの方法で周辺画素の影響を畳み込みながら、画素値を決定する。その結果、原画像の高周波成分を復元し、ぼけの少ない高解像度画像を生成することができる。

次に、高解像度化処理を行った画像データを記録媒体に記録、あるいは表示部へ転送する際の、ビットレートの調整について説明する。

図７は、動画撮影中のある期間のみ高ビットレートで記録した場合のビットレートの推移を示した図である。ビットレートを予め設定した一定値Ｒ０で記録する場合に対して、高ビットレート記録した期間Ｔでは、ビットレートがＲ１に大きくなる。このような動画データを記録媒体５０へ記録する場合や、動画データを表示部３０へ転送する場合に、一部の期間でビットレートを大きくしたため、記録や表示が正常に行えない場合がある。すなわち、記録媒体の容量が不足する場合、記録媒体の動画データ再生規格によってビットレートの上限値が規定されている場合、デコード処理能力からビットレートが制約されている場合などが該当し、動画データをそのまま記録や転送することができない。

そこで本実施例では、記録媒体に記録する画像データや表示部へ転送する画像データのビットレートを含めた記録パラメータや転送パラメータの調整を行う。

図８は、記録媒体に記録する画像データの記録パラメータの調整を説明する図である。

システム制御部６０はユーザの操作指示を基に、記録する動画データに関して、ビットレートの値や記録時間などのパラメータを調整して、制御レジスタ２８に設定する。設定するパラメータとして、記録データの平均ビットレートＲａｖ、高ビットレート記録を行う場合のビットレートＲ１、低ビットレート記録を行う場合のビットレートＲ２、データ全体の記録開始時刻ｔ０、データ全体の記録時間Ｔ０、高ビットレート記録の記録開始時刻ｔ１、高ビットレート記録の記録時間Ｔ１、低ビットレート記録の記録開始時刻ｔ２、低ビットレート記録の記録時間Ｔ２である。

パラメータの調整では、高ビットレートＲ１の記録期間Ｔ１を設けた分だけ、低いビットレートＲ２での記録期間Ｔ２を設け、平均ビットレートＲａｖが許容範囲内となるようにする。あるいは、高ビットレートＲ１の記録期間Ｔ１以外の期間は予め設定したビットレートＲ０での記録を行い、全体の記録時間Ｔ０を短くするように設定してもよい。このようにして、全体の記録データ量が記録媒体の容量を超えないようにしている。なお、これらのビットレート設定Ｒａｖ、Ｒ１、Ｒ２は、圧縮された動画データ自体のビットレートより大きく設定してもよい。また、高ビットレート記録の記録時間Ｔ１や低ビットレート記録の記録時間Ｔ２は複数存在してもよく、それに応じて、制御レジスタ２８の構成を変更する。

図９は、設定した記録パラメータの一例である。操作部７０からのユーザ指定に従い、システム制御部６０は他の記録パラメータを算出して制御レジスタ２８に書き込む。

本実施例では、記録媒体５０の記録可能容量ならびにユーザにより指定された条件に従い各パラメータを設定することで、ビットレートの上限ならびに記録容量の範囲内で記録を実現する。例えばユーザが、全体の記録時間Ｔ０、高ビットレートＲ１、高ビットレート記録の記録開始時刻ｔ１、ならびに高ビットレート記録の記録時間Ｔ１を指定する。これに対しシステム制御部６０は、記録媒体５０の記録可能な容量の範囲で、平均ビットレートＲａｖを自動的に算出して設定し、記録を行わせる。あるいはユーザが、平均ビットレートＲａｖ、高ビットレートＲ１、高ビットレート記録開始時刻ｔ１、高ビットレート記録時間Ｔ１、低ビットレートＲ２を指定すれば、平均ビットレートＲａｖを満たすように低ビットレート記録時間Ｔ２を自動的に算出して設定し、記録を行うことができる。このように、ユーザが幾つかの条件を設定すれば、記録動作が破綻しないようにパラメータを設定して記録できる。

以上、記録媒体に記録する際の記録パラメータの調整を説明したが、画像データを表示部へ転送する際の転送パラメータの調整についても同様である。

また、記録パラメータの調整は、高解像度化処理（超解像処理）後の記録時（図３のＳ１１７，Ｓ１１９）だけでなく、高画質化処理（圧縮処理）後の記録（図２のＳ１０６）の時点でも実行できる。すなわち、図８と同様にビットレートの値（Ｒａｖ、Ｒ１、Ｒ２）などを調整して設定することが可能である。または全体の記録時間Ｔ０を設定しておき、その記録時間Ｔ０を守る形で、圧縮処理後の記録時（図２のＳ１０６）の記録パラメータを調整することも可能である。

このように本実施例によれば、高画質化、高解像度化した画像データを記録あるいは転送する際に、ビットレートの調整を行うことで記録や表示動作が破綻することがなく好適に実行できる。よってユーザは、撮影途中で所望のシーンでの高画質モードへの切り替えを自由にできる。

図１０は、本発明による画像記録装置の他の実施例を示す構成図である。実施例１における画像記録装置（図１）の構成に対して、圧縮部２３を第１の圧縮部２３ａと第２の圧縮部２３ｂに分離し、記憶装置２６を第１の記憶装置２６ａと第２の記憶装置２６ｂに分離した。そして、第１の圧縮部２３ａは高ビットレートでの圧縮を行う場合に動作し、圧縮した画像データを第１の記憶装置２６ａに記録する。一方第２の圧縮部２３ｂは、予め設定された標準のビットレートで圧縮を行う場合に動作し、圧縮した画像データを第２の記憶装置２６ｂに記録する。他の構成は実施例１と同様である。

次に、本実施例における高画質化処理（処理１）と高解像度化処理（処理２）を説明する。なお、実施例１と共通の部分については簡単に説明する。
図１１は、撮影中の画像に対して高画質化処理（処理１）を行って記録するフローチャートの一例を示す図である。

ユーザは操作部７０から、撮影開始の指示と撮影モードの選択を行い、システム制御部６０は、圧縮データのビットレートなどの撮影モードを設定して、制御レジスタ２９に書き込む（Ｓ２０１）。システム制御部６０は、高ビットレートモードに設定されているかどうかを判定する（Ｓ２０２）。

判定の結果、高ビットレートモードが設定されている場合は、撮影した画像データを第１の圧縮部２３ａにて高ビットレートで圧縮するとともに（Ｓ２０３）、第２の圧縮部２３ｂにて標準ビットレートで圧縮する（Ｓ２０４）。高ビットレートモード設定されていない場合は第１の圧縮部２３ａの動作を停止し、第２の圧縮部２３ｂにて標準ビットレートでの圧縮のみを実行する（Ｓ２０４）。高ビットレートで圧縮された画像データは第１の記憶装置２６ａに記録し（Ｓ２０５）、標準ビットレートで圧縮された画像データは第２の記憶装置２６ｂに記録する（Ｓ２０６）。

操作部７０から撮影終了の指示が行われているかどうかを判定する（Ｓ２０７）。撮影終了の指示が行われていない場合は撮影を継続し、撮影モードの設定（Ｓ２０１）に戻り、それに従い画像データの記録を継続する。撮影終了の指示が行われている場合は、撮影単位にその記録履歴情報を記憶装置２６ａ，２６ｂに保存し（Ｓ２０８）、撮影を終了する。この場合も撮影中は上記ループを繰り返すことにより、随時ユーザの指示を受け付けて撮影モードを変更することができる。

以上の結果、高ビットレートで圧縮された画像データは第１の記憶装置２６ａに、標準ビットレートで圧縮された画像データは第２の記憶装置２６ｂにそれぞれ分かれて記録される。また、高ビットレートモードに設定されている場合には、高ビットレートで圧縮された画像データだけでなく標準ビットレートで圧縮された画像データも記録される。

実際には、第１の圧縮部２３ａと第２の圧縮部２３ｂは共通の回路で構成し、高ビットレートでの圧縮処理と標準ビットレートでの圧縮処理とを時分割して実行するようにしてもよい。また、第１の記憶装置２６ａと第２の記憶装置２６ｂとを共通の装置として、記録する領域（アドレス）を分離しておくことでも実現できる。

図１２は、記録した画像データについて高解像度化処理（処理２）を行って表示または記録するフローチャートの一例を示す図である。

ユーザは操作部７０から、表示／記録開始の指示を行うと、システム制御部６０は制御レジスタ２９，３１，４１に対して、表示／記録モードを設定する（Ｓ２１１）。ＣＰＵ２２は制御レジスタ２９の値を読み出し、対象データとして第１の記憶装置２６ａの高ビットレートの圧縮データを扱うか、第２の記憶装置２６ｂの標準ビットレートの圧縮データを扱うかを選択する（Ｓ２１２）。取り扱う画像データに対して、超解像処理を実行するかどうかを判定する（Ｓ２１３）。そして対象となる画像データを記憶装置２６ａ，２６ｂから読出し、伸張部２４へ転送（Ｓ２１４）、もしくは記憶装置２６ａ、２６ｂから読出し、記録部へ転送（Ｓ２２２）する。超解像処理を行わないと判断した場合、読出したデータをそのまま記録部４０に転送し、記録媒体５０に記録を行う（Ｓ２２３）。これにより、記録した圧縮データを編集することなく、記録媒体５０に記録することができる。

超解像処理を行う場合は、伸張部２４は記憶装置２６ａ、２６ｂから受け取った圧縮された画像データを伸張し（Ｓ２１５）、超解像処理部２５は、超解像処理により高解像度の画像データを生成する（Ｓ２１６）。システム制御部６０は、制御レジスタ２９に設定されている表示／記録モードを判定する（Ｓ２１７）。その後、指定されたモードに従い、表示、画像記録、圧縮記録などの処理を行う（Ｓ２１８〜Ｓ２２１，Ｓ２２４）。その内容は図５と同様であり、説明を省略する。また、実施例１で説明したようにビットレートの調整を行えば、記録や表示動作が破綻することがない。

このように本実施例では、撮影した画像データを異なる２系統のビットレートで圧縮記録しているので、撮影時の画質選択と表示／記録時の解像度選択とが一致しない場合でも、伸張／再圧縮の工程を省略することができ、記録媒体５０に効率よく記録を行うことができる。さらに圧縮記録のビットレートを３系統以上の複数系統とすることも可能であり、これにより処理効率がさらに向上する。

本発明による画像記録装置の一実施例を示す構成図（実施例１）。 撮影中の画像に対して高画質化処理を行って記録するフローチャートの一例を示す図。 記録した画像データについて高解像度化処理を行って表示または記録するフローチャートの一例を示す図。 ビットレート圧縮設定ならびに取り扱いデータ設定の一例を示す図。 記憶装置に格納されている画像データの記録履歴情報の一例を示す図。 超解像処理部による超解像処理について説明する図。 動画撮影中のある期間のみ高ビットレートで記録した場合のビットレートの推移を示した図。 記録媒体に記録する画像データの記録パラメータの調整を説明する図。 設定した記録パラメータの一例を示す図。 本発明による画像記録装置の他の実施例を示す構成図（実施例２）。 撮影中の画像に対して高画質化処理を行って記録するフローチャートの一例を示す図。 記録した画像データについて高解像度化処理を行って表示または記録するフローチャートの一例を示す図。

符号の説明

１０…撮影部
２０…画像処理部
２１…伝送路
２２…ＣＰＵ
２３，２３ａ，２３ｂ…圧縮部
２４…伸張部
２５…超解像処理部
２６，２６ａ，２６ｂ…記憶装置
２７…ＤＭＡＣ
３０…表示部
４０…記録部
５０…記録媒体
６０…システム制御部
７０…操作部。

Claims (10)

1. 入力する画像データを画質を変えて圧縮する圧縮部と、
   圧縮した画像データを記録する記憶装置と、
   記録した画像データ中の複数枚の画像データを用いて高解像度化する超解像処理部と、
   上記圧縮部と上記超解像処理部を制御する制御部とを備え、
   該制御部は、上記超解像処理部により高解像度化する画像データのうち、特に高画質化する画像データについては、上記圧縮部により予め高画質化して圧縮しておくことを特徴とする画像記録装置。
2. 請求項１記載の画像記録装置において、
   前記圧縮部は圧縮時のビットレートを切り替えることで画質を変えるものであって、
   前記制御部は、特に高画質化する画像データについては前記圧縮部のビットレートを高ビットレートに設定することを特徴とする画像記録装置。
3. 請求項１記載の画像記録装置において、
   前記圧縮部は圧縮時のビットレートが異なる複数の圧縮部を有し、
   前記記憶装置は、上記複数の圧縮部が圧縮した画像データをそれぞれ記録する複数の記憶装置を有し、
   前記制御部は、高解像度化する画像データについては上記複数の圧縮部により複数のビットレートにて圧縮し、圧縮した複数の画像データを上記複数の記憶装置にそれぞれ記録させることを特徴とする画像記録装置。
4. 請求項１記載の画像記録装置において、
   前記記憶装置から読み出した圧縮された画像データを伸張する伸張部を有し、
   前記超解像処理部は、上記伸張部にて伸張された隣接する複数枚の画像を位置合わせして１枚の画像を合成し、目的の解像度で再度サンプリングすることで高解像度の画像を生成するものであることを特徴とする画像記録装置。
5. 請求項４記載の画像記録装置において、
   前記超解像処理部は、伸張された動画データから高解像度の静止画像を生成することを特徴とする画像記録装置。
6. 請求項１乃至５のいずれか１項に記載の画像記録装置において、
   前記超解像処理部にて高解像度化した画像データを記録媒体に記録する記録部を有することを特徴とする画像記録装置。
7. 請求項１乃至５のいずれか１項に記載の画像記録装置において、
   前記超解像処理部にて高解像度化した画像データを転送して表示する表示部を有することを特徴とする画像記録装置。
8. 請求項６又は７に記載の画像記録装置において、
   前記超解像処理部にて高解像度化した画像データを前記記録部にて記録するとき、前記制御部は、記録する画像データのうち特に高画質化する画像データではない画像データについて、前記圧縮部にて低画質化して圧縮させることを特徴とする画像記録装置。
9. 請求項８記載の画像記録装置において、
   前記制御部は、高解像度化する画像データのうち、特に高画質化する画像データではない画像データのビットレートを下げることにより、記録又は転送する画像データ全体の平均ビットレートを許容範囲内となるように制御することを特徴とする画像記録装置。
10. 請求項１乃至９のいずれか１項に記載の画像記録装置において、
    被写体を撮影して画像データを取得する撮影部を有し、
    該撮影部にて取得した画像データを入力して記録することを特徴とする画像記録装置。

Images