JP2015220543A - 画像処理装置 - Google Patents

Abstract

【課題】複数領域に分割した後に圧縮処理を行う場合においても、画質劣化をより抑えることができる。【解決手段】圧縮データ選択部２０２は、画像データの端部分にダミー領域を付加する。圧縮制御部２０１は、画像データを同一形状の複数の矩形画像データに分割する位置をランダムに決定する。圧縮データ選択部２０２は、圧縮制御部２０１が決定した位置に基づいて画像データを複数の前記矩形画像データに分割する。圧縮部２０３は、圧縮データ選択部２０２が分割した矩形画像データを圧縮する。【選択図】図１

Description

本発明は、画像処理装置に関する。

デジタルカメラなどの画像処理装置においては、近年の高画素化に伴い、画像圧縮技術が採用されている。また、画像の圧縮に関しては、ＪＰＥＧ等に代表されるようなＹＣｂＣｒデータを圧縮するものが一般的に知られているが、近年では、ＲＡＷデータを圧縮するような技術も多数採用されている。

また、画像データを複数の画像領域に分割し、各画像領域において圧縮パラメータを選択して圧縮処理を行うことで、効率的に圧縮することができることが知られている（例えば、特許文献１参照）。

特許文献１に記載の内容では、図２０に示すように、フレームを１０画素×１０画素の矩形領域に分割し、矩形領域毎にＲＡＷデータを圧縮している。このように矩形領域毎にデータを圧縮することで、矩形領域毎に最適な圧縮処理を施すことができる。そのため、より効率的な圧縮処理が可能となる。しかしながら、矩形領域毎に圧縮処理を施すため、矩形領域の境界付近の画像データが不連続になりやすい。その結果、矩形領域の境界付近に意図しない模様が現れることがある。

また、一方、近年では、動画像も高画素化が進み、動画像にも圧縮技術を採用するケースが増大している。その場合、静止画では目立たないような画質劣化が動画像で現れる場合がある。特に、フレーム間で動きが少ない動画では、この境界付近の画質劣化がちらつきとしてとして現れやすい傾向にある。

そこで、画像データを複数の画像領域に分割し、画像領域毎に圧縮処理を行う場合、画像領域の区切り位置を水平あるいは垂直方向にずらすことで、画像領域の境界付近での画質劣化を低減することができることが知られている（例えば、特許文献２参照）。

特許文献２に記載の内容では、図２１に示すように、フレームを矩形ブロックに区切り、１ライン毎に交互に水平方向あるいは垂直方向にずらし、矩形の境界部分を前ラインとずらすことで、矩形の境界付近の画質劣化を低減している。

特開２００６−３３２９５５号公報 特開平４−２６９０８４号公報

しかしながら、特許文献２に記載の方法では、矩形ブロックの境界位置が密の部分と疎の部分が存在するため、矩形の境界付近の画質劣化の低減効果が弱まる場合がある。例えば、図２２示すように、フレームを１ライン毎に交互に水平方向にずらして矩形ブロックに区切った場合、境界位置が密の部分（例えば、領域９３２）と疎の部分（例えば、領域９３１）とがそれぞれ存在している。また、境界位置が密の部分では、画質劣化が著しく、境界位置が疎の部分では画質劣化が見られないといったフレーム内での画質にばらつきが生じる。そのため、結果的に、境界付近の画質劣化が目立ってしまうという課題がある。

本発明は、上記の課題を解決するためになされたものであり、複数領域に分割した後に圧縮処理を行う場合においても、画質劣化をより抑えることができる画像処理装置を提供することを目的とする。

本発明の一態様によれば、画像データの端部分にダミー領域を付加するダミー領域付加部と、前記画像データを同一形状の複数の矩形画像データに分割する位置をランダムに決定する分割位置決定部と、前記分割位置決定部が決定した位置に基づいて前記画像データを複数の前記矩形画像データに分割する分割部と、前記分割部が分割した前記矩形画像データを圧縮する圧縮部と、を備えることを特徴とする画像処理装置である。

また、本発明の他の態様の画像処理装置において、前記ダミー領域付加部は、イメージャが出力する周辺画素データを用いて前記ダミー領域を付加することを特徴とする。

また、本発明の他の態様の画像処理装置において、前記ダミー領域付加部は、固定値を用いて前記ダミー領域を付加することを特徴とする。

また、本発明の他の態様の画像処理装置において、前記ダミー領域付加部は、前記ダミー領域近傍の前記画像データを用いて前記ダミー領域を付加することを特徴とする。

また、本発明の他の態様の画像処理装置において、前記ダミー領域付加部は、イメージャのオプティカルブラック領域を用いて前記ダミー領域を付加し、前記圧縮部は、前記ダミー領域を圧縮しないことを特徴とする。

また、本発明の他の態様の画像処理装置において、前記画像データは動画を構成するフレームであり、前記分割位置決定部は、前記フレーム毎に前記分割する位置をランダムに決定することを特徴とする。

また、本発明の他の態様は、画像データを複数の矩形画像データに分割して圧縮された圧縮矩形画像データを伸張する伸張部と、前記伸張部が伸張した前記矩形画像データのうち、ダミー領域を削除して前記画像データを生成する画像データ復元部と、を備えることを特徴とする画像処理装置である。

本発明の一態様によれば、ダミー領域付加部は、画像データの端部分にダミー領域を付加する。また、分割位置決定部は、画像データを同一形状の複数の矩形画像データに分割する位置をランダムに決定する。また、分割部は、分割位置決定部が決定した位置に基づいて画像データを複数の矩形画像データに分割する。また、圧縮部は、分割部が分割した矩形画像データを圧縮する。

この構成により、画像データを複数の矩形画像データに分割する際には、矩形画像データの分割位置をランダムに決定する。これにより、矩形領域毎に最適な圧縮処理を施しつつ、矩形領域の境界位置が密の部分と疎の部分との存在を無くすことができる。従って、複数領域に分割した後に圧縮処理を行う場合においても、画質劣化をより抑えることができる。

本発明の第１の実施形態における撮像装置の構成を示したブロック図である。 本発明の第１の実施形態における圧縮制御部の構成を示したブロック図である。 本発明の第１の実施形態における圧縮制御部の構成を示したブロック図である。 本発明の第１の実施形態におけるラインの左端の矩形画像データと、ラインの右端の矩形画像データの例を示した概略図である。 本発明の第１の実施形態において、イメージャからの画像データをそのままダミー領域の画像データとして用いた場合の矩形画像データの例を示している。 本発明の第１の実施形態において、ダミー領域の値を固定値で埋めた場合の矩形画像データの例を示している。 本発明の第１の実施形態において、ダミー領域付近の画像データをコピーして、ダミー領域の画像データとして用いた場合の矩形画像データの例を示している。 本発明の第１の実施形態において、ダミー領域付近の画像データをミラーコピーして、ダミー領域の画像データとして用いた場合の矩形画像データの例を示している。 本発明の第１の実施形態において、伸張部が、圧縮画像データを矩形画像データ毎に伸張処理を行った画像データの例を示した概略図である。 本発明の第１の実施形態において、画像伸張装置が伸張処理を行った画像データの例を示した概略図である。 本発明の第１の実施形態における圧縮部の構成を示したブロック図である。 本発明の第１の実施形態における伸張部の構成を示したブロック図である。 本発明の第２の実施形態における撮像装置の構成を示したブロック図である。 本発明の第２の実施形態におけるＯＢ領域と有効領域との関係を示した概略図である。 本発明の第２の実施形態において、ＯＢ領域を水平方向にコピーし、ＯＢ領域のみを１つの矩形電気信号データとして分割し、圧縮する例を示した概略図である。 本発明の第２の実施形態において、ＯＢ領域１４０１を圧縮せず、有効領域のみを圧縮する例を示した概略図である。 本発明の第３の実施形態における各フレームを矩形画像データに分割する例を示した概略図である。 矩形画像データを垂直方向にずらした例を示した概略図である。 矩形画像データの例を示した概略図である。 従来知られている、フレームを１０画素×１０画素の矩形領域に分割し、矩形領域毎にＲＡＷデータを圧縮する例を示した概略図である。 従来知られている、フレームを矩形ブロックに区切り、１ライン毎に交互に水平方向あるいは垂直方向にずらし、矩形の境界部分を前ラインとずらす例を示した概略図である。 従来知られている、フレームを１ライン毎に交互に水平方向にずらして矩形ブロックに区切った場合における境界位置が密の部分と疎の部分とを示した概略図である。

（第１の実施形態）
以下、図面を参照し、本発明の第１の実施形態について説明する。初めに、撮像装置の構成について説明する。図１は本実施形態における撮像装置１０１の構成を示したブロック図である。撮像装置１０１は、画像圧縮装置２００と、画像伸張装置３００と、イメージャ１０２と、撮像部１０３と、記憶部１０４とを備えている。

イメージャ１０２は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサやＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサであり、図示せぬレンズからの光を電気信号に変換して出力する。撮像部１０３は、イメージャ１０２が出力した電気信号に基づいて画像データを生成する。画像圧縮装置２００は、圧縮制御部２０１（分割位置決定部）と、圧縮データ選択部２０２（ダミー領域付加部、分割部）と、圧縮部２０３とを備える。画像圧縮装置２００は、撮像部１０３が生成した画像データを圧縮し、圧縮画像データを生成する。圧縮画像データの生成方法については後述する。

記憶部１０４は、撮像装置１０１が備える各部が用いるデータを記憶する。例えば、画像圧縮装置２００が生成した圧縮画像データを記憶する。画像伸張装置３００は、伸張部３０１と、伸張制御部３０２と、伸張データ選択部３０３（画像データ復元部）と、画像処理部３０４（画像データ復元部）とを備える。画像伸張装置３００は、記憶部１０４が記憶している圧縮画像データを伸張し、画像データを生成する。画像データの生成方法については後述する。

次に、画像圧縮装置２００による圧縮画像データの生成方法について説明する。画像圧縮装置２００による圧縮方法は、具体的には以下の手順で行う。初めに、圧縮制御部２０１は、矩形画像データの分割位置をランダムに決定する。続いて、圧縮データ選択部２０２は、圧縮制御部２０１が決定した分割位置に基づいて、画像データを複数の矩形画像データに分割する。その後、圧縮部２０３は、圧縮データ選択部２０２が分割した矩形画像データ毎に、圧縮処理を行う。

このように、本実施形態では、画像圧縮装置２００は、画像データを矩形画像データに分割し、矩形画像データ毎にデータを圧縮する。また、本実施形態では、画像データを矩形画像データに分割する際には、矩形画像データの分割位置をランダムに決定する。これにより、矩形領域毎に最適な圧縮処理を施しつつ、矩形領域の境界位置が密の部分と疎の部分との存在を無くすことができる。よって、複数領域に分割した後に圧縮処理を行う場合においても、画質劣化をより抑えることができる。

図２は、本実施形態における圧縮制御部２０１の構成を示したブロック図である。図示する例では、圧縮制御部２０１は、ラインカウンタ２０１１と、ランダム値生成部２０１２と、オフセット値設定部２０１３とを備えている。ラインカウンタ２０１１は、画像データのラインをカウントする。ランダム値生成部２０１２は、ランダム値を生成する。オフセット値設定部２０１３は、ラインカウンタ２０１１がカウントしたラインのオフセット値を、ランダム値生成部２０１２が生成したランダム値と設定する。

以下、画像データの分割例について説明する。図３は、本実施形態において、画像データを矩形画像データに分割した例を示した概略図である。図示する例では、画像データをライン９０１〜ライン９１２の１２ラインに分割している。なお、分割するライン数は１２ラインに限らず、２ライン以上であればどのようなライン数であってもよい。また、分割するライン数は、予め決められていてもよく、任意に設定できるようにしてもよい。

また、図示する例では、データパック量（画像データの横方向の画素数）をｎ画素としている。なお、データパック量はｎ画素に限らず、どのような画像数であってもよい。また、データパック量は、予め決められていてもよく、任意に設定できるようにしてもよい。また、データパック量がｎ画素である場合、ランダム値生成部２０１２が生成するランダム値は１からｎ−１のいずれかの整数である。また、データパック量がｎ画素である場合、ダミー領域の横方向の画素数は、最大ｎ−１画素である。

すなわち、圧縮制御部２０１は、画像データを図３に示すような矩形画像データに区切る場合、ラインカウンタ２０１１がカウントアップする毎に、現ラインのオフセット値に対してランダム値（１からｎ−１のいずれかの整数）を繰り返し加算して、次ラインのオフセット値を生成する。

圧縮データ選択部２０２は、圧縮制御部２０１が生成したオフセット値およびデータパック量を基に、オフセット値で指定された位置から画像データの読み出しを開始し、データパック量分のデータが溜まった時点で矩形画像データとして分割し、圧縮部２０３に矩形画像データを転送する。例えば、オフセット値がｘである場合、圧縮データ選択部２０２は、ｘ画素分遡った位置（オフセットした位置）から画像データの読み出しを開始し、データパック量分のデータが溜まった時点で矩形画像データとして分割し、圧縮部２０３に矩形画像データを転送する。

なお、全ての矩形画像データの形状を同一形状とするためには、各ラインの左端の矩形画像データと、各ラインの右端の矩形画像データには、ダミー領域を付加する必要がある場合がある。そこで、圧縮データ選択部２０２は、ダミー領域を付加する必要がある場合には、矩形画像データとして分割する際にダミー領域を付加する。

図４は、ラインの左端の矩形画像データと、ラインの右端の矩形画像データの例を示した概略図である。図４（Ａ）は、オフセット値がｘである場合における、ラインの左端の矩形画像データを示している。図示するように、オフセット値がｘであるため、ラインの左端の矩形画像データには、横方向ｘ画素のダミー領域７０１が付加されている。また、オフセット値がｘであるため、ラインの右端の矩形画像データには、（ｎ−ｘ）画素のダミー領域７０２が付加されている。なお、オフセット値が０のラインの右端の矩形画像データと左端の矩形画像データには、ダミー領域を付加する必要はない。

ダミー領域の付加方法としては、例えば、以下の４つの方法がある。
（ａ）イメージャ１０２の有効領域に余裕がある場合、イメージャ１０２からの画像データをそのままダミー領域として用いる。図５は、イメージャ１０２からの画像データをそのままダミー領域の画像データとして用いた場合の矩形画像データの例を示している。図示する例では、ダミー領域７０３の画像データは、イメージャ１０２からの画像データである。この場合、ダミー領域と有効領域で圧縮処理を分ける必要がなくなるので、画像圧縮装置２００を簡単に構成しやすい。

（ｂ）ダミー領域の値を、固定値０または固定値０ｘＦＦ等で埋める。図６は、ダミー領域の値を固定値で埋めた場合の矩形画像データの例を示している。図示する例では、ダミー領域７０４の画像データは、固定値である。この場合、ダミー領域７０４用としてイメージャ１０２からの画像データが入力されなくてもダミー領域７０４を付加することができる。この方法は、例えばブランキング時間に余裕がない場合は特に有効である。

（ｃ）ダミー領域付近の画素データをコピーして、ダミー領域の画像データとして利用する。図７は、ダミー領域付近の画像データをコピーして、ダミー領域の画像データとして用いた場合の矩形画像データの例を示している。図示する例では、ダミー領域７０５の画像データは、ダミー領域７０５付近の画像データ７０６をコピーしたデータである。（ｂ）のように固定値を用いる場合、圧縮方式によっては画質劣化が発生するケースもあるが、この方法では実際の画像データを用いているため、画質劣化を防止することが可能である。

（ｄ）ダミー領域付近の画像データをミラーコピーして、ダミー領域の画像データとして利用する。図８は、ダミー領域付近の画像データをミラーコピーして、ダミー領域の画像データとして用いた場合の矩形画像データの例を示している。図示する例では、ダミー領域７０７の画像データは、ダミー領域７０７付近の画像データ７０８〜７１０をミラーコピーしたデータである。（ｂ）の方法のように固定値を用いる場合、圧縮方式によっては画質劣化が発生するケースもあるが、この方法では（ｃ）の方法と同様に実際の画像データを用いているため、画質劣化を防止することが可能である。

上述したように、各ラインの左端の矩形画像データと、各ラインの右端の矩形画像データにダミー領域を付加することで、オフセット値に基づいて矩形画像データを分割したとしても、全ての矩形画像データの形状を同一形状とすることができる。

圧縮部２０３は、圧縮データ選択部２０２が分割した矩形画像データを受け、矩形画像データ毎に圧縮処理を行う。また、圧縮部２０３は、圧縮した矩形画像データを、バスを介して記憶部１０４に転送する。記憶部１０４は、１枚の画像データを構成する複数の圧縮された矩形画像データを圧縮画像データとして記録する。

次に、画像伸張装置３００による圧縮画像データの伸張方法について説明する。画像伸張装置３００による伸張方法は、具体的には以下の手順で行う。初めに、伸張部３０１は、記憶部１０４が記録している圧縮画像データを読み出す。また、伸張部３０１は、記憶部１０４から読み出した圧縮画像データを、矩形画像データ毎に伸張処理を行う。

図９は、伸張部３０１が、圧縮画像データを矩形画像データ毎に伸張処理を行った画像データの例を示した概略図である。図示するように、伸張部３０１が伸張処理を行った画像データ７１１には、ダミー領域７１２が含まれている。そこで、画像伸張装置３００は、ダミー領域７１２を削除する処理を行う。

具体的には、伸張制御部３０２は、伸張部が伸張処理を行った画像データ７１１から、ダミー領域７１２を除いた有効領域の画像データを選択する。例えば、図４（Ａ）に示した例では、ラインの左端の矩形画像データは、横方向がｎ画素のダミー領域７０１を左側に含んでいる。また、図４（Ｂ）に示した例では、ラインの右端の矩形画像データは、横方向が（ｎ−ｘ）画素のダミー領域７０２を右側に含んでいる。

このとき、伸張制御部３０２は、ダミー領域を特定するために、画像圧縮装置２００で圧縮処理を行った際に使用したオフセット値および矩形画像データのパラメータを取得する必要がある。画像圧縮装置２００で圧縮処理を行った際に使用したオフセット値および矩形画像データのパラメータを取得する方法としては、例えば、以下の２つの方法がある。

（ａ）圧縮制御部２０１と伸張制御部３０２とは、同一のシード値に対して同一のランダム値を生成するランダム値生成部２０１２を備える。そして、シード値に対応したオフセット値およびデータパック量を、圧縮処理時と伸張処理時とで用いる。これにより、伸張制御部３０２は、ダミー領域を特定することができる。

（ｂ）圧縮制御部２０１のみ、ランダム値生成部２０１２を備える。この場合、圧縮制御部２０１が圧縮処理時に用いたオフセット値およびデータパック量を一旦記憶部１０４に記録させる。そして、伸張制御部３０２は、伸張処理時に記憶部１０４から読み出したオフセット値およびデータパック量を用いる。これにより、伸張制御部３０２は、ダミー領域を特定することができる。

伸張データ選択部３０３は、伸張制御部３０２が特定したダミー領域に基づいて、ダミー領域が含まれている矩形画像データから、ダミー領域を削除する。続いて、画像処理部３０４は、複数の矩形画像データの画像処理を行い、１枚の画像データを生成する。

図１０は、画像伸張装置３００が伸張処理を行った画像データの例を示した概略図である。図示するように、画像伸張装置３００が伸張処理を行った画像データ７１３には、ダミー領域が含まれていない。このように、上述した処理により、画像伸張装置３００は、画像圧縮装置２００が圧縮した圧縮画像データを伸張することができる。

次に、圧縮部２０３の具体例について説明する。図１１は、本実施形態における圧縮部２０３の構成を示したブロック図である。図示する例では、圧縮部２０３は、予測部２０３１と、演算部２０３２と、絶対値化部２０３３と、符号化部２０３４と、極性符号化部２０３５と、極性付与部２０３６と、データパッキング部２０３７とを備えている。

圧縮処理は、以下の手順で行う。初めに、予測部２０３１は、入力される矩形画像データに対して予測値を求める。続いて、演算部２０３２は、入力される矩形画像データと、予測部２０３１が予測した予測値の差分を求めて出力する。続いて、絶対値化部２０３３は、演算部２０３２が出力した差分の絶対値を求めて出力する。続いて、符号化部２０３４は、絶対値化部２０３３が出力した絶対値を符号化する。また、符号化部２０３４は、符号化により求められたプリフィックス（「商」の符号化後のデータ）を極性付与部２０３６に対して出力するとともに、符号化により求められたサフィックス（「余り」の符号化後のデータ）を記憶部１０４に出力する。一方、極性符号化部２０３５は、演算部２０３２が出力した差分の極性に対して符号化を行い出力する。

極性付与部２０３６は、符号化部２０３４が出力したプリフィックスに、極性符号化部２０３５が出力した極性データを付与する。続いて、データパッキング部２０３７は、極性付与部２０３６が出力したデータを所定量データ毎に分けて記憶部１０４に出力する。ここで、符号化部２０３４は、エントロピー符号化、ゴロムライス符号化、ハフマン符号化のいずれを行ってもよく、圧縮方法は特に問わない。

次に、伸張部３０１の具体例について説明する。図１２は、本実施形態における伸張部３０１の構成を示したブロック図である。図示する例では、伸張部３０１は、データデパッキング部３０１１と、復号化部３０１２と、極性付与部３０１３と、予測部３０１４と、演算部３０１５とを備えている。

伸張処理は、以下の手順で行う。初めに、データデパッキング部３０１１は、記憶部１０４から圧縮部２０３が圧縮したデータを読み出す。データデパッキング部３０１１は、バイト単位で読み出されるプリフィックスを複数分まとめて復号化部３０１２に対して出力する。復号化部３０１２は、プリフィックスを復号化し、極性付与部に対して出力する。また、復号化部３０１２は、プリフィックスから極性を抽出し、極性付与部３０１３に対して出力する。

極性付与部３０１３は、復号化部３０１２から出力される復号化されたデータに、復号化部３０１２から出力される極性データを付与し、予測部３０１４に対して出力する。予測部３０１４は、極性付与部３０１３が出力したデータを使って、復号対象のデータに対する予測値を求めて出力する。演算部３０１５は、予測部３０１４が出力した予測値と、極性付与部が出力したデータとを加算して元の画像データに復元し、伸張データ選択部３０３に対して出力する。ここで、復号化部３０１２は、エントロピー復号化、ゴロムライス復号化、ハフマン復号化のいずれを行ってもよく、復号方法は特に問わない。

なお、本実施形態の本質は、圧縮単位の境界部分に起因する画質劣化を防止する為に、圧縮領域をいろいろと変化させるものであって、圧縮部２０３や伸張部３０１そのものの動作に関しては、特に限定されない。

上述したとおり、本実施形態によれば、画像圧縮装置２００は、画像データを矩形画像データに分割し、矩形画像データ毎にデータを圧縮する。また、本実施形態では、画像データを矩形画像データに分割する際には、矩形画像データの分割位置をランダムに決定する。これにより、矩形領域毎に最適な圧縮処理を施しつつ、矩形領域の境界位置が密の部分と疎の部分との存在を無くすことができる。よって、複数領域に分割した後に圧縮処理を行う場合においても、画質劣化をより抑えることができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図１３は、本実施形態における撮像装置４０１の構成を示したブロック図である。撮像装置４０１は、イメージャ４０２と、撮像部４０３と、記憶部４０４と、画像処理部４０５とを備えている。イメージャ４０２は、画素４０２１と、画像圧縮装置５００とを備えている。画像圧縮装置５００は、圧縮制御部２０１と、圧縮データ選択部２０２と、圧縮部２０３とを備えている。なお、圧縮制御部２０１と、圧縮データ選択部２０２と、圧縮部２０３とは、第１の実施形態の各部と同様である。

撮像部４０３は、画像伸張装置６００と、撮像処理部４０３１とを備えている。画像伸張装置６００は、伸張部３０１と、伸張制御部３０２と、伸張データ選択部３０３とを備えている。なお、伸張部３０１と、伸張制御部３０２と、伸張データ選択部３０３とは、第１の実施形態の各部と同様である。

本実施形態と第１の実施形態とで異なる点は、第１の実施形態では、イメージャ１０２からのデータを、直接、撮像部１０３に受け渡していたが、本実施形態では、イメージャ４０２内で画素４０２１が出力する電気信号を圧縮して撮像部４０３に受け渡す。そして、撮像部４０３は、圧縮された電気信号を伸張し、伸張した電気信号に基づいて画像データを生成する点である。

この場合においても、第１の実施形態と同様に、画素４０２１が出力する１枚の画像データの元となる電気信号データの左右両端にダミー領域を付加し、電気信号データを矩形電気信号データに区切り、矩形電気信号データ毎に圧縮する方法を適用することができる。

具体的には、画像圧縮装置５００は、画素４０２１が出力する電気信号データを矩形電気信号データに分割し、矩形電気信号データ毎にデータを圧縮する。また、電気信号データを矩形電気信号データに分割する際には、矩形電気信号データの分割位置をランダムに決定する。これにより、矩形領域毎に最適な圧縮処理を施しつつ、矩形領域の境界位置が密の部分と疎の部分との存在を無くすことができる。よって、複数領域に分割した後に圧縮処理を行う場合においても、画質劣化をより抑えることができる。なお、画像圧縮装置５００の構成および動作は、第１の実施形態における画像圧縮装置２００の構成および動作と同様である。

また、画像圧縮装置５００が圧縮した電気信号データを伸張する方法も、第１の実施形態と同様である。すなわち、画像伸張装置６００の構成および動作は、第１の実施形態における画像伸張装置３００の構成および動作と同様である。

なお、本実施形態では、撮像部４０３は、イメージャ４０２が圧縮した電気信号データを伸張し、伸張した電気信号データに基づいて画像データを生成する。撮像部４０３は、図１４に示すように、有効領域の左側に存在するＯＢ（オプティカルブラック）領域を基準として、イメージャ４０２からのデータをＯＢ補正する場合がある。図１４は、本実施形態におけるＯＢ領域と有効領域との関係を示した概略図である。図示する例では、ＯＢ領域１４０１は、有効領域１４０２の左側に存在している。

ＯＢ領域１４０１を基準として、イメージャ４０２からのデータをＯＢ補正する場合には、ＯＢ領域１４０１を含む状態で矩形電気信号データに区切って圧縮してしまうと、ＯＢ領域１４０１の基準が崩れてしまい、有効領域の画質が劣化してしまう。そこで、以下のようなＯＢ領域１４０１に対する対策を施すことで、有効領域の画質の劣化を抑えることができる。

ＯＢ領域１４０１に対する対策方法としては、例えば、以下の２つの方法がある。
（ａ）ＯＢ領域１４０１の横幅がデータパック量となるように、ＯＢ領域１４０１を水平方向にコピーし、ＯＢ領域のみを１つの矩形電気信号データとして分割できるようにする。また、有効領域１４０２の圧縮は、第１の実施形態と同様に、ランダムに矩形電気信号データに分割し、矩形電気信号データ毎に圧縮する。図１５は、ＯＢ領域１４０１を水平方向にコピーし、ＯＢ領域のみを１つの矩形電気信号データとして分割し、圧縮する例を示した概略図である。この場合においても、全ての矩形電気信号データの形状は同一となるため、圧縮処理および伸張処理の負荷を低減させることができる。

（ｂ）ＯＢ領域１４０１については圧縮せず、有効領域１４０２の圧縮のみを第１の実施形態と同様に、ランダムに矩形電気信号データに分割し、矩形電気信号データ毎に圧縮する。図１６は、ＯＢ領域１４０１を圧縮せず、有効領域１４０２のみを圧縮する例を示した概略図である。この場合においても、有効領域１４０２の矩形電気信号データの形状は同一となるため、圧縮処理および伸張処理の負荷を低減させることができる。

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。第１の実施形態および第２の実施形態では、１フレーム単位（１枚の画像データの単位）で、矩形画像領域の配置方法を工夫することで、画質劣化を低減させる例について説明したが、本実施形態では、動画像を構成するフレームの圧縮方法について説明する。

図１７は、本実施形態における各フレームを矩形画像データに分割する例を示した概略図である。図１７（Ａ）は、ｙフレーム目のフレームを矩形画像データに分割する例を示している。図１７（Ｂ）は、（ｙ＋１）フレーム目のフレームを矩形画像データに分割する例を示している。図１７（Ｃ）は、（ｙ＋２）フレーム目のフレームを矩形画像データに分割する例を示している。

図示するように、各フレームは、第１の実施形態と同様に、ランダムに複数の矩形画像データに分割されている。また、図示するように、本実施形態では、フレーム間でさらに矩形画像データの分割方法を変化させている。例えば、ｙフレーム目と（ｙ＋１）フレーム目とでは、矩形画像データに分割する位置がそれぞれ異なっている。また、（ｙ＋１）フレーム目と（ｙ＋２）フレーム目とでは、矩形画像データに分割する位置がそれぞれ異なっている。このように、フレーム間でさらに矩形画像データの分割方法を変化させることで、フレーム間での画質劣化も低減させることができる。

例えば、フレーム間で矩形画像データの分割方法を変化させる方法としては、矩形画像データの分割位置を決めるパラメータ情報（オフセット値、データパック量）をもつシード値をフレーム毎に変える方法がある。

以上、この発明の第１の実施形態〜第３の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、上述した実施形態では、矩形画像データの分割位置を水平方向にずらしていたが、これに限らず、矩形画像データの分割方法を垂直方向にずらすようにしてもよい。

図１８は、矩形画像データを垂直方向にずらした例を示した概略図である。図示するように、矩形画像データを垂直方向にずらした場合においても、矩形領域の境界位置が密の部分と疎の部分との存在を無くすことができる。

また、上述した例では、画像データを複数の矩形画像データに分割し、矩形画像データ毎に圧縮処理を行う例を用いて説明したが、矩形画像データは、縦１０画素×横１０画素など縦と横の画素数が同じ正方形であっても良いし、縦２画素×横３画素など縦と横の画素数が異なる長方形であっても良いし、縦１画素×横１０画素など１次元方向のみに複数画素が存在する長方形であってもよい。

図１９は、矩形画像データの例を示した概略図である。図１９（Ａ）は、縦１０画素×横１０画素の矩形画像データを示した概略図である。図１９（Ｂ）は、縦１画素×横１０画素の矩形画像データを示した概略図である。

なお、上述した画像圧縮装置２００，５００が備える各部の機能全体あるいはその一部、上述した画像伸張装置３００，６００が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時刻の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時刻プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。

１０１ 撮像装置
１０２ イメージャ
１０３ 撮像部
１０４ 記憶部
２００ 画像圧縮装置
２０１ 圧縮制御部
２０２ 圧縮データ選択部
２０３ 圧縮部
３００ 画像伸張装置
３０１ 伸張部
３０２ 伸張制御部
３０３ 伸張データ選択部
３０４ 画像処理部
４０１ 撮像装置
４０２ イメージャ
４０３ 撮像部
４０４ 記憶部
４０５ 画像処理部
５００ 画像圧縮装置
６００ 画像伸張装置
２０１１ ラインカウンタ
２０１２ ランダム値生成部
２０１３ オフセット値設定部
２０３１ 予測部
２０３２ 演算部
２０３３ 絶対値化部
２０３４ 符号化部
２０３５ 極性符号化部
２０３６ 極性付与部
２０３７ データパッキング部
３０１１ データデパッキング部
３０１２ 復号化部
３０１３ 極性付与部
３０１４ 予測部
３０１５ 演算部
４０２１ 画素
４０３１ 撮像処理部

Claims (7)

1. 画像データの端部分にダミー領域を付加するダミー領域付加部と、
   前記画像データを同一形状の複数の矩形画像データに分割する位置をランダムに決定する分割位置決定部と、
   前記分割位置決定部が決定した位置に基づいて前記画像データを複数の前記矩形画像データに分割する分割部と、
   前記分割部が分割した前記矩形画像データを圧縮する圧縮部と、
   を備えることを特徴とする画像処理装置。
2. 前記ダミー領域付加部は、イメージャが出力する周辺画素データを用いて前記ダミー領域を付加する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記ダミー領域付加部は、固定値を用いて前記ダミー領域を付加する
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記ダミー領域付加部は、前記ダミー領域近傍の前記画像データを用いて前記ダミー領域を付加する
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記ダミー領域付加部は、イメージャのオプティカルブラック領域を用いて前記ダミー領域を付加し、
   前記圧縮部は、前記ダミー領域を圧縮しない
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記画像データは動画を構成するフレームであり、
   前記分割位置決定部は、前記フレーム毎に前記分割する位置をランダムに決定する
   ことを特徴とする請求項１から請求項５のいずれか１項に記載の画像処理装置。
7. 画像データを複数の矩形画像データに分割して圧縮された圧縮矩形画像データを伸張する伸張部と、
   前記伸張部が伸張した前記矩形画像データのうち、ダミー領域を削除して前記画像データを生成する画像データ復元部と、
   を備えることを特徴とする画像処理装置。

Images