JP2008252512A - 撮像記録装置 - Google Patents

Abstract

【課題】フレームレートの変化により単位時間当たりの画像データ量が大きく変化する場合でも、画質を大幅に劣化させることなく画像データの記録を行うことができる撮像記録装置を提供する。
【解決手段】フレームレート設定部７は撮像時のフレームレートを設定する。画像データ圧縮部１１は、１つのフレーム内の情報に基づいて画像データを圧縮するフレーム内圧縮と、複数フレーム間の情報に基づいて画像データを圧縮するフレーム間予測とを用いて画像データを圧縮する。Ｉフレーム制御部１０は。フレームレートに応じて、フレーム内圧縮を行うＩフレームの間隔を制御する。
【選択図】図１

Description

本発明は、撮像した画像情報の読み出しレートであるフレームレートが変更可能な撮像素子を備え、撮像によって生成した画像データを記録する撮像記録装置に関する。

可変フレームレート撮像等で単位時間当たりの画像データ量が大きく変動する場合、その画像データを漏れがないように記録するには、通常、単位時間当たりの記録能力の高い記録装置を用いる必要がある。記録装置がハードディスク装置の場合、ＲＡＩＤ（Redundant Arrays of Inexpensive Disks）技術により単位時間当たりの記録能力を高める手法がよく用いられる。また、フラッシュメモリ等においても、複数のフラッシュメモリ装置によるパラレル記録が行われてきた。

しかし、上記のＲＡＩＤ技術や、フラッシュメモリ装置によるパラレル記録等の手法では、複数の記録装置とそのコントローラが必要となり、記録装置全体のコストアップと消費電力の増大に繋がってしまう。これに対して、単位時間当たりの情報量が変化する場合において、記録装置の規模を大きくすることなく、画像データを漏れなく記録する方法として、特許文献１，２に記載された方法が提案されている。

特許文献１には、画像データ量の上限値を決定し、その範囲内に符号量が収まるように画質パラメータを順に変更し、最適なパラメータを求める方法が記載されている。

特許文献２には、ネットワークに対する帯域要求の結果に応じてＩフレームまたはＰフレームでの送信を行う方法が記載されている。Ｉフレームとは、１つのフレーム内の情報に基づいて画像データを圧縮するフレーム内圧縮を行うものであり、Ｐフレームとは、複数フレーム間の情報に基づいて画像データを圧縮するフレーム間予測を行うものである。そして、特許文献２に記載された方法では、Ｉフレームの伝送に必要な帯域の確保の要求をネットワークに対して行い、要求が許可された場合は、Ｉフレームでの送信を行い、許可されなかった場合は、許可されるまでＰフレームでの送信を行う。
特開２００２−２３２８７９号公報 特開２０００−３０８０６７号公報

しかし、特許文献１に記載された方法は、上限値を超えない最適値を求める点で優れた手法ではあるが、画像データ量が大きくなる場合には、圧縮率を大きくする必要があり、画質が劣化することが懸念される。

また、特許文献２に記載された方法を記録処理に置き換えて考えると、以下の問題がある。記録装置は、通常、一定時間内に記録が完了するか否かを記録処理前に判定する手段を有していない。したがって、記録を行う予定のデータを内部バッファにコピーし、バッファから順次データをセグメント単位で取り出して記録する手順を採ることとなる。この場合に、バッファに一定以上の空きエリアがあればＩフレーム、一定以上の空きエリアがない場合はＰフレームとしてデータを圧縮することとなる。しかし、画像データ量が増大する場合には、Ｉフレームの間隔が不規則かつかなり大きくなることが想定される。動画像再生装置において画像データを駒送りで再生するような場合、Ｉフレームの間隔が大きく空いていると、スムーズな再生が困難となる場合が発生する。

本発明は、上述した課題に鑑みてなされたものであって、フレームレートの変化により単位時間当たりの画像データ量が大きく変化する場合でも、画質を大幅に劣化させることなく画像データの記録を行うことができる撮像記録装置を提供することを第１の目的とする。また、本発明は、スムーズな再生が可能な画像データの記録を行うことができる撮像記録装置を提供することを第２の目的とする。

本発明は、上記の課題を解決するためになされたもので、撮像した画像情報の読み出しレートであるフレームレートが変更可能な撮像素子と、前記画像情報に基づいた画像データを生成する画像データ生成手段と、フレームレートを設定するフレームレート設定手段と、１つのフレーム内の情報に基づいて画像データを圧縮するフレーム内圧縮と、複数フレーム間の情報に基づいて画像データを圧縮するフレーム間予測とを用いて画像データを圧縮する圧縮手段と、前記圧縮手段によって圧縮された画像データを記録する記録手段と、前記フレームレート設定手段によって設定されたフレームレートに応じて、前記フレーム内圧縮を行うフレームの間隔を制御する制御手段とを有することを特徴とする撮像記録装置である。

また、本発明の撮像記録装置において、前記制御手段は、前記フレーム内圧縮を行うフレームの間隔を、前記フレームレート設定手段によって設定されたフレームレートに応じた一定間隔に制御することを特徴とする。

また、本発明の撮像記録装置において、前記制御手段は、撮像中にフレームレートが高フレームレート側に変化する場合に、前記フレーム内圧縮を行うフレームの間隔を、フレームレートの変化前より長くなるように制御することを特徴とする。

また、本発明の撮像記録装置において、前記制御手段は、撮像中にフレームレートが低フレームレート側に変化する場合に、前記フレーム内圧縮を行うフレームの間隔を、フレームレートの変化前より短くなるように制御することを特徴とする。

また、本発明の撮像記録装置において、前記制御手段は、圧縮後の前記画像データのデータ量が、前記記録手段によって記録可能なデータ量となるように、前記フレーム内圧縮を行うフレームの間隔を制御することを特徴とする。

本発明によれば、フレームレートに応じて、フレーム内圧縮を行うフレームの間隔を制御することによって、フレームレートの変化により単位時間当たりの画像データ量が大きく変化する場合でも、画質を大幅に劣化させることなく画像データの記録を行うことができるという効果が得られる。また、本発明によれば、フレーム内圧縮を行うフレームの間隔を、フレームレートに応じた一定間隔に制御することによって、スムーズな再生が可能な画像データの記録を行うことができるという効果が得られる。

以下、図面を参照し、本発明の実施形態を説明する。図１は、本発明の一実施形態による撮像記録装置の構成を示している。図１において、撮像レンズ１は被写体からの光線を固体撮像素子２の撮像平面上に集光する。固体撮像素子２は、被写体の像を光電変換することにより、画像信号を生成する。撮像素子駆動回路３は固体撮像素子２の駆動制御等を行う。アナログ信号処理部４は、アナログの画像信号を処理するアンプや、Ｓ／Ｈ（サンプルホールド）回路、信号レベルを調整するＡＧＣ回路等を備えている。Ａ／Ｄ変換部５はアナログの画像信号をデジタル画像信号に変換し、この信号をカメラ信号処理部６へ出力する。

カメラ信号処理部６は、色調整やその他の処理により、ガンマカーブ等がテレビジョン信号として適切になるような処理を行い、映像信号を出力する。フレームレート設定部７は、ユーザからの指示に応じて撮像時のフレームレートを設定する。例えば、１フレーム／秒〜１２０フレーム／秒の範囲でフレームレートを任意に設定することが可能である。

フレームレート変換処理部８は、フレームレート設定部７によって設定されたフレームレートに応じて映像信号のフレームレートを変換する。変換方法としては、撮像素子駆動回路３に指示を与え固体撮像素子２の駆動タイミングを変更する方法や、映像信号のフレームデータ（フレーム毎の画像データ）をバッファ９に蓄え、フレームデータのコピーや間引き等を行う方法がある。Ｉフレーム制御部１０は、フレーム内圧縮を行うＩフレームの間隔を示すＩフレーム間隔値をフレームレートから算出し、その値を画像データ圧縮部１１に通知する。

画像データ圧縮部１１は、量子化テーブル１２を用いてフレームデータを圧縮符号化する。量子化テーブル１２は、圧縮率に影響を与えるテーブルであり、基本的に圧縮率が小さいと画質は良くなり、圧縮率が大きいとその逆となる。圧縮符号化された符号化データはバッファ１３に格納された後、記録装置１４によって記録される。

図２は画像データ圧縮部１１の構成を示している。図２において、メモリ２０には、Ｉフレーム制御部１０から通知されたＩフレーム間隔値が格納される。フレーム判定部２１は、フレームレート変換処理部８から受け取ったフレームデータをＩフレーム、Ｐフレームのどちらとして処理するかを判定する。この判定は、メモリ２０に格納されているＩフレーム間隔値に基づいて行われる。フレームデータをＩフレームとして処理すると判定された場合、フレームデータはＤＣＴ２８に引き渡される。また、フレームデータをＰフレームとして処理すると判定された場合、フレームデータはブロック切り出し部２２に引き渡される。

ブロック切り出し部２２は１フレーム内の画像全体をＮ×Ｍ画素（Ｎ，Ｍは整数）のブロックに切り出す（分割する）。ブロック取り出し部２３は、ブロック切り出し部２２によって切り出されたブロックを順次１ブロック毎に取り出す。

動き補償予測部２４はフレーム間の動きベクトルをブロック毎に算出する。図３に示すように、Ｎ×Ｍ個に分割された各ブロックと参照フレームの所定範囲内のブロックとのブロックマッチングが行われ、動きベクトルが求められる。ブロックマッチングは、参照フレーム内で対象フレームの各ブロックと同一の座標位置を中心として、定量ドット（例えば＋−１５ドット）ずつずらした範囲内で行われる（図４参照）。１ドットずつ順番に位置ずらしを行い、ブロック同士の画素値の絶対値差分が最小になる位置が動きベクトルとして判定される。この動きベクトルにより、対象フレームと参照フレームのブロック毎の対応付けが行われる。

演算部２５は画素値の差分を演算する。より具体的には、演算部２５は、分割された個々のブロックついて、動き補償予測部２４が求めた動きベクトルで対応付けられている参照フレームのブロックとの差分を求める。図３では、矢印３００が、動き補償予測部２４によって求められた動きベクトルである。演算部２５は、矢印３００によって対応付けられているブロック３０１とブロック３０２の画素値の差分を求める。

差分加算部２６は、演算部２５によって求められた個々のブロックの差分値をフレーム全体で加算する。加算値保存部２７は、差分加算部２６によって加算された結果を保存する。１ブロックの差分値が加算される毎に加算値保存部２７に保存された加算値が更新される。この加算値は、例えば量子化部２９が量子化テーブル１２から適切なテーブルを選択するのに用いられる。

ＤＣＴ２８はブロック毎の差分値からなる信号を空間周波数領域の信号に変換する（ＤＣＴ変換）。この処理は一般的なＭＰＥＧの処理と同一であり、文献（「総合マルチメディア選書 ＭＰＥＧ 映像情報メディア学会編」オーム社出版局、平成８年４月２０日発行）の５章（ＭＰＥＧビデオ符号化）に記載されている。量子化部２９は、図１に示した量子化テーブル１２を用いてＤＣＴ係数の量子化を行い、フレームデータの圧縮を行う。

フレーム判定部３０は、量子化部２９から受け取ったフレームデータがＩフレーム、Ｐフレームのどちらとして処理されているのかを判定する。この判定は、フレーム判定部２１によって行われる判定と同様に、メモリ２０に格納されているＩフレーム間隔値に基づいて行われる。フレームデータがＩフレームとして処理されていると判定された場合、フレームデータは可変長符号化部３１および逆量子化部３２に引き渡される。また、フレームデータがＰフレームとして処理されていると判定された場合、フレームデータは可変長符号化部３１に引き渡される。

可変長符号化部３１は、出現頻度がより高いデータにより短いコードを割り当てる方法により、フレームデータの可変長符号化を行い、符号化データとして出力する。逆量子化部３２は、量子化されたＩフレームの逆量子化を行う。逆ＤＣＴ３３は、逆量子化されたＩフレームの周波数データを復号化することにより、元のＩフレームを復元する。復元されたＩフレームはフレームメモリ３４に蓄積される。フレームメモリ３４に蓄積されたＩフレームは元のデータに戻されており、フレーム間の動きベクトルを求める場合の参照フレームとして利用される。ブロック切り出し部３５は、動き補償予測部２４による動きベクトルの算出に用いられるブロックを、フレームメモリ３４に蓄積されたＩフレームから切り出す。

次に、フレームレートとＩフレーム間隔値の対応関係を説明する。図５（ａ）は、通常のフレームレート、例えば３０フレーム／秒の場合のフレーム構成を示している。Ｉフレーム（例えば図５のフレーム５００Ｉ）は、他のフレームデータとは独立して符号化されるものであり、Ｉフレームを周期的に配置することによって、再生表示やエラー回復のポイントとして用いることができるが、符号化効率が落ちる（データ量が増える）。

Ｐフレーム（例えば図５のフレーム５００Ｐ）は、時間的に過去に位置するＩフレームまたはＰフレームから予測符号化されるものであり、Ｐフレームでは、Ｉフレームに比べて高い符号化効率を得ることができる。また、Ｂフレーム（例えば図５のフレーム５００Ｂ）は、時間的に前後に位置するＩフレームまたはＰフレームを用いて、前方向、後方向、または両方向のフレームデータから予測符号化を行うもので、物体の消失や出現が発生した場合でも予測符号化ができるようになる。Ｂフレームでも、Ｐフレームと同様にＩフレームに比べて高い符号化効率を得ることができる。図５では、ＰフレームとＢフレームを区別して表示しているが、Ｂフレームも、前方予測符号化を行えばＰフレームと同一となるので、本実施形態では両者を区別しないでＰフレームとして説明する。

図５（ｂ）は、フレームレートが高くなった場合のフレームの構成を示している。例えば、フレームレートが４０フレーム／秒に上がった場合には、Ｉフレームの間隔が長くなる。図５（ｃ）は逆にフレームレートが低くなった場合のフレームの構成を示している。例えば、フレームレートが２０フレーム／秒に下がった場合には、Ｉフレームの間隔が短くなる。フレームレートを低フレームレートに設定した場合に、Ｉフレームの間隔を短くする代わりに、圧縮率を低く設定して画質を良くしてもよい。

Ｉフレーム間隔値は以下のようにして算出される。例えば、記録装置１４の記録速度をＲ（メガバイト／秒）、フレームレートをＦ（フレーム／秒）、Ｉフレームの平均データ量をＩ（メガバイト／秒）、Ｐフレームの平均データ量をＰ（メガバイト／秒）、Ｉフレーム間隔値をＤとする（単位はなし。値は１〜）。すると、以下の（１）式が成り立つ必要がある。
Ｆ×（Ｉ／Ｄ＋Ｐ×（１−１／Ｄ））＜Ｒ ・・・（１）

これを整理すると、以下の（２）式となる。フレームレートを変更した場合に、（２）式を満たす間隔にＩフレーム間隔値Ｄを変更すれば、記録装置１４での記録速度に間に合わせることができる。
Ｄ＞Ｆ×(Ｉ−Ｐ)／(Ｒ−Ｆ×Ｐ) ・・・（２）

次に、図６を参照しながら、Ｉフレーム制御部１０の動作を説明する。まず、Ｉフレーム制御部１０は、フレームレート設定部７からフレームレートの通知を受ける（ステップＳ１００）。続いて、Ｉフレーム制御部１０は、通知されたフレームレートから、（２）式を満たすＩフレーム間隔値を計算する（ステップＳ１０１）。このＩフレーム間隔値は、フレームレート毎に異なる一定値となる。続いて、Ｉフレーム制御部１０は画像データ圧縮部１１にＩフレーム間隔値を通知する（ステップＳ１０２）。この値は、画像データ圧縮部１１内のメモリ２０に格納される。

次に、図７を参照しながら、画像データ圧縮部１１の動作を説明する。図７に示した動作は１フレーム分のフレームデータに関する動作であり、図７に示した動作は繰り返し実行される。フレームレート変換処理部８からフレームデータが入力されると、フレーム判定部２１は、メモリ２０に格納されているＩフレーム間隔値に基づいて、現在のフレームデータをＩフレームとして処理するか否かを判定する（ステップＳ２００）。撮影シーンが変化した場合には、動き補償予測部２４が動きベクトルから撮影シーンの変化を検出できるので、その結果を踏まえて、一定間隔を待たずにＩフレームと判定してもよい。

続いて、ブロック切り出し部２２はフレームデータをＮ×Ｍ個のブロックに切り出す（ステップＳ２０１）。続いて、図示せぬ制御部により、全てのブロックの処理が終了したか否かが判定される（ステップＳ２０２）。全てのブロックの処理が終了した場合には、処理がＳ２０６に移行する。また、処理が終了していないブロックがある場合には、処理がステップＳ２０３に移行する。

ステップＳ２０３では、ブロック取り出し部２３は、切り出されたブロックの１つを取り出す（ステップＳ２０３）。動き補償予測部２４は、取り出されたブロックの動き補償予測を行う（ステップＳ２０４）。演算部２５は、動きを予測した現在のフレームのブロックと参照フレームのブロックの差分を演算する。また、差分加算部２６は、ブロックの差分値を、加算値保存部２７に保存されている加算値に加算し、加算値を加算値保存部２７に保存する（ステップＳ２０５）。続いて、処理はステップＳ２０２に戻る。

ステップＳ２０３〜Ｓ２０５の処理が全てのブロックについて終了した場合、ＤＣＴ２５は、ブロック毎の差分値からなる信号を空間周波数領域の信号に変換する（ステップＳ２０６）。量子化部２９は、量子化テーブル１２を参照しながら量子化を行う（ステップＳ２０７）。続いて、フレーム判定部３０は、現在のフレームデータがＩフレームであるか否かを判断する（ステップＳ２０８）。現在のフレームデータがＩフレームである場合には、処理がステップＳ２０９に移行し、現在のフレームデータがＩフレームでない場合には、処理がステップＳ２１０に移行する。

現在のフレームデータがＩフレームである場合、逆量子化部３２および逆ＤＣＴ３３がそれぞれ処理を行い、復元されたＩフレームがフレームメモリ３４に格納される（ステップＳ２０９）。フレームメモリ３４に格納されたＩフレームは、他フレームとの動きベクトルおよび差分値の算出に用いられる。最後に、可変長符号化部３１はフレームデータの可変長符号化を行い、符号化データとして図１のバッファ１３へ出力する。以上により、１フレーム分のフレームデータの処理が終了する。

上述したように、本実施形態では、フレームレートに応じて、フレーム内圧縮を行うフレームの間隔（Ｉフレーム間隔値）が制御される。すなわち、撮像中にフレームレートが高フレームレート側に変化する場合には、Ｉフレーム間隔値がフレームレートの変化前より長くなり、撮像中にフレームレートが低フレームレート側に変化する場合には、Ｉフレーム間隔値がフレームレートの変化前より短くなる。これによって、フレームレートの変化により単位時間当たりの画像データ量が大きく変化する場合でも、画質を大幅に劣化させることなく画像データの記録を行うことができる。

また、フレームレートが高くなり、単位時間当たりの画像データ量が大きくなる状況でも、フレーム内圧縮を行うフレームの間隔を、フレームレートに応じた一定間隔に制御することによって、Ｉフレームの間隔が不規則かつかなり大きくなる状況が回避されるので、スムーズな再生が可能な画像データの記録を行うことができる。

以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

本発明の一実施形態による撮像記録装置の構成を示すブロック図である。 本発明の一実施形態による撮像記録装置が備える画像データ圧縮部の構成を示すブロック図である。 本発明の一実施形態における動きベクトルの算出方法を説明するための説明図である。 本発明の一実施形態における動きベクトルの算出方法を説明するための説明図である。 本発明の一実施形態におけるフレームレートとＩフレームの間隔の関係を説明するための説明図である。 本発明の一実施形態による撮像記録装置が備えるＩフレーム制御部の動作の手順を示すフローチャートである。 本発明の一実施形態による撮像記録装置が備える画像データ圧縮部の動作の手順を示すフローチャートである。

符号の説明

１・・・撮像レンズ、２・・・固体撮像素子、３・・・撮像素子駆動回路、４・・・アナログ信号処理部、５・・・Ａ／Ｄ変換部（画像データ生成手段）、６・・・カメラ信号処理部（画像データ生成手段）、７・・・フレームレート設定部、８・・・フレームレート変換処理部、９，１３・・・バッファ、１０・・・Ｉフレーム制御部（制御手段）、１１・・・画像データ圧縮部（圧縮手段）、１２・・・量子化テーブル、１４・・・記録装置（記録手段）、２０・・・メモリ、２１，３０・・・フレーム判定部、２２，３５・・・ブロック切り出し部、２３・・・ブロック取り出し部、２４・・・動き補償予測部、２５・・・演算部、２６・・・差分加算部、２７・・・加算値保存部、２８・・・ＤＣＴ、２９・・・量子化部、３１・・・可変長符号化部、３２・・・逆量子化部、３３・・・逆ＤＣＴ、３４・・・フレームメモリ

Claims (5)

1. 撮像した画像情報の読み出しレートであるフレームレートが変更可能な撮像素子と、
   前記画像情報に基づいた画像データを生成する画像データ生成手段と、
   フレームレートを設定するフレームレート設定手段と、
   １つのフレーム内の情報に基づいて画像データを圧縮するフレーム内圧縮と、複数フレーム間の情報に基づいて画像データを圧縮するフレーム間予測とを用いて画像データを圧縮する圧縮手段と、
   前記圧縮手段によって圧縮された画像データを記録する記録手段と、
   前記フレームレート設定手段によって設定されたフレームレートに応じて、前記フレーム内圧縮を行うフレームの間隔を制御する制御手段と、
   を有することを特徴とする撮像記録装置。
2. 前記制御手段は、前記フレーム内圧縮を行うフレームの間隔を、前記フレームレート設定手段によって設定されたフレームレートに応じた一定間隔に制御することを特徴とする請求項１に記載の撮像記録装置。
3. 前記制御手段は、撮像中にフレームレートが高フレームレート側に変化する場合に、前記フレーム内圧縮を行うフレームの間隔を、フレームレートの変化前より長くなるように制御することを特徴とする請求項１または請求項２に記載の撮像記録装置。
4. 前記制御手段は、撮像中にフレームレートが低フレームレート側に変化する場合に、前記フレーム内圧縮を行うフレームの間隔を、フレームレートの変化前より短くなるように制御することを特徴とする請求項１または請求項２に記載の撮像記録装置。
5. 前記制御手段は、圧縮後の前記画像データのデータ量が、前記記録手段によって記録可能なデータ量となるように、前記フレーム内圧縮を行うフレームの間隔を制御することを特徴とする請求項１〜請求項４のいずれかに記載の撮像記録装置。

Images