JP2017005456A - 画像圧縮方法、画像圧縮装置及び撮像装置 - Google Patents
画像圧縮方法、画像圧縮装置及び撮像装置 Download PDFInfo
- Publication number
- JP2017005456A JP2017005456A JP2015116632A JP2015116632A JP2017005456A JP 2017005456 A JP2017005456 A JP 2017005456A JP 2015116632 A JP2015116632 A JP 2015116632A JP 2015116632 A JP2015116632 A JP 2015116632A JP 2017005456 A JP2017005456 A JP 2017005456A
- Authority
- JP
- Japan
- Prior art keywords
- difference value
- value
- processing unit
- pixel block
- multiple regression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【解決手段】RAW画像データを正方形形状のエリアに分割し、エリア内の中心に位置する画素の組を基準画素ブロックとして選択し、次にエリア内の基準画素ブロックの周囲に隣接する、基準画素ブロックと等しい画素の組よりなる8個の周辺画素ブロックと、周辺画素ブロックに隣接するエリア内の基準画素との画素値の差分値を算出する。次に、差分値の絶対値が所定の閾値以下の差分値を量子化して量子化差分値を得る。そして、量子化差分値に可逆性の符号化を施して符号化差分値を得る。一方、量子化差分値と、これに近接する基準画素ブロックを説明変数として、差分値を目的変数とする重回帰分析を、重回帰分析処理部にて行い、重回帰式の係数を得る。
【選択図】図3
Description
しかし、撮像素子の能力を最大限に活用するため、撮像素子の出力データをそのままストレージに保存しようとすると、撮像素子が出力する膨大なデータ量によって、大容量のストレージをすぐに使い切ってしまう。更に、撮像素子の出力データに可逆圧縮を施そうとしても、最大でもデータ量の半分程度にしか圧縮できない。何故ならば、テキストデータ等とは異なり、画像データは不均一性が高いため、可逆圧縮に不利であるからである。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明は、特許文献1に開示された技術の改良である。すなわち、画像データを正方形のブロックに分割し、中心のブロックをそのまま保存し、中心のブロックの周囲に存在する8個のブロックと、中心のブロックとの差分を量子化する。差分が所定の閾値以上の値である場合は、量子化の対象外としてそのまま保存する。
第一の実施形態では、画像データの低周波成分を圧縮する技術について説明する。
第二の実施形態では、第一の実施形態に加え、画像データの高周波成分を圧縮する技術について説明する。
以下、本発明の第一の実施形態例について、図1〜図11を参照して説明する。
[全体構成]
図1Aは、本発明の第一の実施形態例に用いられる撮像装置101の機能ブロック図である。
図1Bは、本発明の第一の実施形態例に用いられる撮影画像再生装置108の機能ブロック図である。
図1Cは、本発明の第一の実施形態例に用いられる撮像装置の変形例(撮像装置112)の機能ブロック図である。なお、図1Aの撮像装置101と、図1Cの撮像装置112との相違点は、撮像装置112にモニタ機能が付加されている点である。
撮像素子102は、光学系103から受光したイメージをアナログ信号に変換する。撮像素子102が出力するアナログ信号は、A/D変換器104によってデジタルデータに変換され、一旦フレームメモリ105に蓄積される。このフレームメモリ105に蓄積されたデータは、RAW画像データと呼ばれる。一部のデジタル一眼レフカメラ等は、このRAW画像データを直接不揮発性ストレージ106に保存する機能を有する。
なお、撮像装置101をネットワーク(図示せず)に接続した監視カメラとして利用する場合、通常、不揮発性ストレージ106の先にネットワークを接続して、圧縮RAW画像ファイルを所定のサーバに転送して利用する。あるいは、圧縮処理部107と不揮発性ストレージ106との間をネットワークで接続して利用することも可能である。
不揮発性ストレージ106に記憶されている圧縮RAW画像ファイルは、伸長処理部109によってRAW画像データに戻された後、表示用変換処理部110に供給される。
表示用変換処理部110は、RAW画像データに対し、現像処理とも呼ばれる、露出、ホワイトバランス、明度等の調整を行った後、1ピクセル8ビット×3、すなわち合計24ビットの画像フォーマット変換処理を行う。また、表示用変換処理部110は必要に応じて、JPEG等の圧縮処理を行う。こうして、表示用変換処理部110によって変換された画像データは、一般的な表示部111に表示したり、JPEG等の汎用フォーマットに変換して不揮発性ストレージ106に記憶させたり、図示しないネットワーク等を通じて流通させることができる。
光学系103、撮像素子102、A/D変換器104、フレームメモリ105までの、イメージからRAW画像データを生成する流れは図1Aの撮像装置101と同じなので説明を割愛する。
フレームメモリ105内のRAW画像データは、モニタ用に表示用変換処理部110に供給される他、圧縮処理部107によって圧縮され、不揮発性ストレージ106に圧縮RAW画像ファイルとして記憶される。
一方、不揮発性ストレージ106に記憶されている圧縮RAW画像ファイルは、伸長処理部109によってRAW画像データに戻された後、表示用変換処理部110に供給される。そして、表示用変換処理部110によって変換された画像データは、表示部111に表示される。
図2Bは、本発明の第一の実施形態例に用いられる情報処理装置201のハードウェア構成を示すブロック図である。
図2Cは、本発明の第一の実施形態例に用いられる情報処理装置201のソフトウェア機能を示すブロック図である。
本発明の第一の実施形態例に係るRAW画像データの圧縮処理及び伸長処理は、パソコン等の情報処理装置201にて単独で実行可能である。
これ以降の処理は、図1Cの撮像装置112と実質的に等しい。
フレームメモリ105内のRAW画像データは、モニタ用として表示用変換処理部110に供給される他、圧縮処理部107によって圧縮され、不揮発性ストレージ106に圧縮RAW画像ファイルとして記憶される。
一方、不揮発性ストレージ106に記憶されている圧縮RAW画像ファイルは、伸長処理部109によってRAW画像データに戻された後、表示用変換処理部110に供給される。そして、表示用変換処理部110によって変換された画像データは、表示部111に表示される。
また、撮影画像再生装置108、撮像装置112及び情報処理装置201は、圧縮RAW画像ファイルからRAW画像データを復元する伸長処理部109を有する。
また、図2A、図2B及び図2Cに示した情報処理装置201は、圧縮処理部107の機能を主体とする画像圧縮装置ということもできる。
同様に、図2A、図2B及び図2Cに示した情報処理装置201は、伸長処理部109の機能を主体とする圧縮画像伸長装置ということもできる。
図3は、圧縮処理部107のソフトウェア機能を示すブロック図である。図3中、実線矢印はデータの流れを示し、点線矢印は処理の流れ(順序)を示す。
RAW画像データは、一旦フレームメモリ105に格納される。基準画素選択部301は、基準画素選択過程として、フレームメモリ105内のRAW画像データから、後述する基準画素を指し示すアドレス情報を作成し、基準画素アドレス配列302を作成する。また、基準画素選択部301は、フレームメモリ105内のRAW画像データから、後述する端数画素を指し示すアドレスの集合体である端数画素アドレス配列303を作成する。基準画素選択部301は、自身の処理が終了したら、点線矢印で示すように、差分値算出部304を起動する。
ここで一旦、基準画素選択部301と差分値算出部304の処理の詳細を説明するため、RAW画像データ401の構造と併せて、基準画素と周縁部分の画素について説明する。
図4Aは、RAW画像データ401の左上の部分を拡大した概略図である。
図4Bは、RAW画像データ401の基準画素と周縁部分の画素との差分値の演算順番を説明する概略図である。
図4Cは、RAW画像データ401の基準画素と周縁部分の画素との差分値を説明する概略図である。
図4Dは、RAW画像データ401の基準画素の並び順のバリエーションを説明する概略図である。
本実施形態例の圧縮処理部107は、この4個の画素データを、処理の基準単位である1個のブロック402として扱う。そして、基準画素選択部301と差分値算出部304は、縦3個、横3個の合計9個のブロック402の集合体を処理の一区切りである1個の領域(以下「エリア」)403として扱う。すなわち、2×2画素がブロック402であり、3×3ブロックがエリア403である。1ブロックはJPEGやPNG等、通常の画像データにおけるピクセルに相当する。
図4Bに示すように、9個のブロックよりなるエリア403の中心がブロック「0」である。これ以降、ブロック「0」を基準画素ブロック404と呼ぶ。
基準画素選択部301は、フレームメモリ105に格納されているRAW画像データ401のうち、基準画素ブロック404の左上の画素データのアドレスをリストにする。この画素データのリストが基準画素アドレス配列302となる。
差分値算出部304は、基準画素ブロック404であるブロック「0」に存在する4個の各画素と、周辺画素ブロック405であるブロック「1」からブロック「8」の各画素との差を算出する。
あるエリアにおける基準画素ブロック404に当たる、n番目のブロックであるブロック「0」は、赤の画素Rn、第一の緑の画素G1n、第二の緑の画素G2n、青の画素Bnよりなる。
このブロック「0」の右隣りに存在する周辺画素ブロック405である、n+1番目のブロックであるブロック「4」は、赤の画素Rn+1、第一の緑の画素G1n+1、第二の緑の画素G2n+1、青の画素Bn+1よりなる。
差分値算出部304は、これらの画素についてそれぞれ以下の式を計算する。
ΔG1(n,n+1)=G1n−G1n+1
ΔG2(n,n+1)=G2n−G2n+1
ΔB(n,n+1)=Bn−Bn+1
計算の順番は図4Bに示す周辺画素ブロック405のブロック「1」からブロック「8」の順である。差分値算出部304は、この計算処理をRAW画像データ401に存在する全てのエリアに対して実行し、計算の結果得られた差分値を差分メモリ305に記憶する。
各画素の値は0(0x000)から4095(0xFFF)までなので、差分値は−4095(=0−4095)から4095(=4095−0)までの値をとり得る。
低周波量子化処理部306は、差分値算出部304の処理の終了に呼応して起動されると、量子化過程として、差分メモリ305に格納されている差分値の絶対値を閾値307と比較する。そして、差分値の絶対値が閾値307に満たない差分値について量子化処理を施し、量子化した値(量子化差分値)を低周波量子化メモリ308に格納する。またその一方で、差分値の絶対値が閾値307以上の差分値については、その差分値(高周波差分データ)を高周波差分メモリ309に格納すると共に、低周波量子化メモリ308には極大値を示す値を格納する。
低周波量子化処理部306は、自身の処理が終了したら、点線矢印に示すように、低周波圧縮処理部310と低周波重回帰分析処理部311を起動する。
ここで、図5A、図5Bを参照して、低周波量子化処理部306の処理の詳細を説明するため、差分値の範囲と量子化値の対応と閾値307について説明する。
図5Aは、差分値の出現頻度と閾値307の対応関係を示すグラフである。縦軸は差分値の出現頻度であり、横軸は差分値である。
図5Bは、差分値の範囲と量子化値の対応関係を示す量子化値テーブル501である。
多くの場合、あるブロックに隣接するブロックの色は類似する色である。すなわち、隣り合うブロック同士の差分値(色差)は小さい。このような差分値の傾向をグラフ化すると、図5Aに示すように、概ねガウス曲線に従う正規分布になる。
先ず、差分値Dが−15≦D≦15を量子化値「0」とする。次に、16≦D≦31を量子化値「1」とする。以降、464≦D≦479を量子化値「29」とするまで、差分値を16刻みで1個の量子化値に割り当てる。
そして、D≧480と、D≦−480を量子化値「127」に割り当てる。すなわち、差分値Dの絶対値が「479」となる値を、閾値307とする。そして、閾値307を超える差分値については、量子化処理の対象外とし、そのことを示すため、「127」というダミーの量子化値を割り当てる。閾値307を超える差分値は、画像データの中で、できるだけ情報量を失ってはいけない高周波成分だからである。
なお、「127」とは、C言語等のプログラミング言語におけるsigned char型、すなわち8ビット(1バイト)で表現できる符号付き整数値の最大値である。
低周波量子化処理部306の終了に呼応して低周波圧縮処理部310が起動されると、低周波圧縮処理部310は、エントロピー符号化過程として、低周波量子化メモリ308に格納されている量子化差分値についてエントロピー符号化の一種であるハフマン圧縮処理を施す。そして、低周波圧縮処理部310は、量子化圧縮データを作成してデータ結合処理部312へ送る。
以下、低周波圧縮処理部310の詳細について、図6を参照して説明する。図6は、低周波圧縮処理部310の詳細な機能を示すブロック図である。
先ず、出現頻度カウンタ601は、低周波量子化メモリ308に格納されている量子化差分値について、その量子化差分値毎に出現頻度を計数して、出現頻度リスト602を作成する。
そして、ハフマン符号化処理部604は、並べ替えられた出現頻度リスト602を基に辞書を作成し、この辞書に基づいて低周波量子化メモリ308に格納されている量子化差分値にハフマン符号化処理を施して、量子化圧縮データを作成する。
低周波量子化処理部306は、異なる値の差分値を量子化差分値毎にグループ化する。これにより、低周波量子化処理部306は、画像データ中の低周波成分について、ハフマン符号化処理部604における圧縮処理の効率を向上させることができる。
ところで、量子化処理とは情報を間引く処理である。差分値を量子化した量子化差分値から、元のデータに近い値を復元することも可能ではある。例えば、量子化差分値「1」の差分値Dは16≦D≦31なので、量子化差分値「1」の差分値を全て、16から31の中間値である24であるものとみなして、基準画素のブロックに隣接するブロックにおける元の値を算出することもできる。
図3の点線矢印で示すように、低周波量子化処理部306の終了に呼応して低周波重回帰分析処理部311が起動されると、低周波重回帰分析処理部311は、重回帰分析処理過程として、差分メモリ305に格納されている差分値と、低周波量子化メモリ308に格納されている量子化差分値と、フレームメモリ105から基準画素アドレス配列302を参照して読み出す基準画素ブロックに基づいて、重回帰分析を行う。そして、重回帰分析の係数を作成し、係数をデータ結合処理部312へ送る。
低周波重回帰分析処理部311の処理について、図7及び図8を参照して説明する。
図7は、低周波重回帰分析処理部311による演算処理の対象となる、説明変数と目的変数の配置関係をブロック単位で説明するための概略図である。
図8は、低周波重回帰分析処理部311による演算処理の対象となる、説明変数と目的変数の配置関係を画素単位で説明するための概略図である。
図7において、あるエリアを中心として、そのエリアの周りに8個のエリアが存在する。中心のエリアの基準画素ブロック404をC0、C0の周りの周辺画素ブロック405を左上からC1、C2、C3、C4、C5、C6、C7、C8とする。
C1は、C0、S8、S1、S2と差分値が小さい可能性が高い。
C2は、C0、S1、S2、S3と差分値が小さい可能性が高い。
C3は、C0、S2、S3、S4と差分値が小さい可能性が高い。
C4は、C0、S3、S4、S5と差分値が小さい可能性が高い。
C5は、C0、S4、S5、S6と差分値が小さい可能性が高い。
C6は、C0、S5、S6、S7と差分値が小さい可能性が高い。
C7は、C0、S6、S7、S8と差分値が小さい可能性が高い。
C8は、C0、S7、S8、S1と差分値が小さい可能性が高い。
同様に、C2を例に取ると、C2とC0を結ぶ直線上に位置する、隣接するエリアの基準画素ブロック404はS2である。更にS2のエリアの両側に隣接するエリアの基準画素ブロック404は、S1とS3である。
図8において、各ブロックの赤の画素にのみ注目して、演算式を説明する。
図7におけるC0の赤の画素をRx、C1の赤の画素をRt−1、C2の赤の画素をRt、C3の赤の画素をRt+1、S1の赤の画素をRn−1、S2の赤の画素をRn、S3の赤の画素をRn+1、S4の赤の画素をRx+1、S8の赤の画素をRx−1とする。
低周波重回帰分析処理部311は、以下に示す重回帰式の係数A,B,C,D,E及びAi,Bi,Ci,Di,Eiを求める。
Rt−Rx=A×Q(Rt−Rx)+B×Rn−1+C×Rn+D×Rn+1+E
Rt−Rx<0の場合:
Rt−Rx=Ai×Q(Rt−Rx)+Bi×Rn−1+Ci×Rn+Di×Rn+1+Ei
Rt−1−Rx≧0の場合:
Rt−1−Rx=A×Q(Rt−1−Rx)+B×Rx−1+C×Rn−1+D×Rn+E
Rt−1−Rx<0の場合:
Rt−1−Rx=Ai×Q(Rt−1−Rx)+Bi×Rx−1+Ci×Rn−1+Di×Rn+Ei
Rt+1−Rx≧0の場合:
Rt+1−Rx=A×Q(Rt+1−Rx)+B×Rn+C×Rn+1+D×Rx+1+E
Rt+1−Rx<0の場合:
Rt+1−Rx=Ai×Q(Rt+1−Rx)+Bi×Rn+Ci×Rn+1+Di×Rx+1+Ei
但し、Q:量子化関数 A,B,C,D,E,Ai,Bi,Ci,Di,Ei:重回帰直線の係数
すなわち低周波重回帰分析処理部311は、差分値を目的変数とし、隣接するエリアの基準画素ブロック404の画素と上記差分値を量子化した量子化差分値を説明変数として、重回帰直線の係数を求める。その際、差分値が正の値の場合と負の値の場合とで、別々の重回帰分析を行うことで、重回帰式の精度を上げるようにする。
ここで注目すべき点は、低周波重回帰分析処理部311の処理対象に、差分値が大きい値が低周波量子化処理部306によって除外されている点である。このため、低周波重回帰分析処理部311による演算結果から算出される相関係数は、0.998という高い値が得られる。
以上説明したように、低周波重回帰分析処理部311の処理によって、情報量を削減しつつ、元の情報に近い精度を実現することができる。
例えば、基準画素ブロック404であるC0のエリアがRAW画像データ401の一番左上に位置している場合、周辺画素ブロック405のC1、C2、C3、C7及びC8は重回帰式で置換できない。したがって、基準画素ブロック404と同様に、そのままの値を保存せざるを得ない。これ以降、このような周辺画素ブロック405を端数画素ブロックと呼ぶ。
図9Aは、RAW画像データ401における、基準画素ブロック404と端数画素ブロック901の位置関係を説明する概略図である。図9Aの図は、巨大なRAW画像データ401の四隅の部分を拡大した概念図である。一つの正方形は一つのブロックを示す。
前述の通り、RAW画像データ401の上端と左端は、基準画素ブロック404を含む2列分の周辺画素ブロック405が、端数画素ブロック901となる。
図9Bは、RAW画像データ401の右端がエリアである場合を示す。この場合は、図9Aの、RAW画像データ401の左端と同様、基準画素ブロック404を含む2列分の周辺画素ブロック405が、端数画素ブロック901となる。
図9Cは、RAW画像データ401の右端がエリアに加えて1列分のブロックを有する場合を示す。この場合は、基準画素ブロック404を含む3列分の周辺画素ブロック405が、端数画素ブロック901となる。
図9A、B、C及びDを見て判るように、これら端数画素ブロック901の配置関係は、簡単な整数演算で容易に算出できる。図3の基準画素選択部301は、基準画素アドレス配列302に加え、端数画素のアドレスをRAW画像データ401のサイズから算出して、端数画素アドレス配列303に格納する。
図3と図10を参照して、機能ブロックの詳細説明を続ける。
図10は、圧縮データメモリ313に格納される圧縮RAW画像ファイル1001のデータ構造を示す概略図である。
データ結合処理過程を実行するデータ結合処理部312は、基準画素アドレス配列302を参照して、フレームメモリ105から基準画素ブロック404を読み出し、圧縮RAW画像ファイル1001の非圧縮画素データ領域1002に書き込む。
また、データ結合処理部312は、高周波差分メモリ309に格納されている、絶対値が閾値307以上の差分値(高周波差分データ)を、高周波差分データ領域1003に書き込む。
更に、データ結合処理部312は、低周波圧縮処理部310が出力する、量子化圧縮データを、低周波量子化圧縮データ領域1004に書き込む。
また、データ結合処理部312は、低周波重回帰分析処理部311が出力する重回帰直線の係数A,B,C,D,E及びAi,Bi,Ci,Di,Eiを、低周波重回帰直線係数データ領域1005に書き込む。
図11は、伸長処理部109のソフトウェア機能を示すブロック図である。図3と同様に、図11中、実線矢印はデータの流れを示し、点線矢印は処理の流れ(順序)を示す。
図10で説明した圧縮RAW画像ファイル1001は、一旦圧縮データメモリ313に格納される。そして、最初に非圧縮データ再配置処理部1101が、圧縮データメモリ313中の圧縮RAW画像ファイル1001から、基準画素データと端数画素データを読み出して、フレームメモリ105に書き込む。
低周波伸長処理部1102は、圧縮RAW画像ファイル1001から量子化圧縮データを読み出して伸長処理を行い、量子化差分値を復元する。そして、量子化圧縮データから復元した量子化差分値を低周波量子化メモリ308に書き込む。
加算処理部1105は、差分メモリ305に格納されている差分データと、フレームメモリ105に書き込まれている基準画素データを用いて周辺画素ブロック405を算出し、フレームメモリ105に書き込む。
また、従来の離散コサイン変換等の非可逆圧縮とは異なり、元のRAW画像データ401から高周波成分を失うことがない。
すなわち、本実施形態例の圧縮処理部107による、RAW画像データ401に対する非可逆圧縮処理は、極めて再現性が高いということができる。
また、非可逆圧縮に伴う、情報を失うことによる劣化を最小限に留めるため、重回帰分析を採用した。発明者は更に本発明の改良を進めた結果、この非可逆圧縮処理を高周波成分にも適用することが可能であることを見出した。
以下、第一の実施形態例を更に改良した第二の実施形態例について、図12〜図17を参照して説明する。
図12は、本発明の第二の実施形態例に係る圧縮処理部1201のソフトウェア機能を示すブロック図である。図12中、第一の実施形態例の圧縮処理部107を説明した図3と同じ機能ブロックについては同一名称と同一符号を付して、説明を省略する。すなわち、圧縮処理部1201は、第一の実施形態例の圧縮処理部107と置換可能である。
図12に示す圧縮処理部1201の、第一の実施形態例における圧縮処理部107(図3参照)との相違点は、高周波差分メモリ309とデータ結合処理部312との間に、高周波圧縮処理部1202が新たに設けられている点である。
図13は、高周波圧縮処理部1202のソフトウェア機能を示すブロック図である。
高周波差分メモリ309に格納されている、絶対値が閾値307以上の差分値(高周波差分データ)は、フレームメモリ105から基準画素アドレス配列302を通じて読み出される基準画素データと共に、高周波重回帰分析処理部1301に入力される。また、12ビットの高周波差分データは、上位ビット抽出過程を実行する上位ビット抽出処理部1302によって下位4ビットが捨象され、高周波差分データの上位8ビットのデータ(以下「高周波差分上位ビットデータ」)が高周波差分上位ビットメモリ1303に格納された後、高周波重回帰分析処理部1301に入力される。
図14A及び図14Bは、高周波重回帰分析処理部1301による演算処理の対象となる、説明変数と目的変数の配置関係をブロック単位で説明するための概略図である。
図15は、高周波重回帰分析処理部1301による演算処理の対象となる、説明変数と目的変数の配置関係を画素単位で説明するための概略図である。
今、C1の画素と基準画素ブロック404であるC0に対する差分値の絶対値が閾値307以上であるとする。すなわち、周辺画素ブロック405であるC1が高周波成分であるならば、C1の画素の値は、説明変数となる基準画素ブロック404であるC0の画素とは大きく異なる値となる。
ここで、C1とC0を通過する直線上に、C0とC1が属するエリアに隣接する二つのエリアの基準画素ブロック404について注目する。
つまり、C1とC0との間に輝度の大きな変化(エッジ)が生じている場合、C1とC0を結ぶ直線上に位置する基準画素ブロックにおいて、C1とC0の輝度の変動方向の逆の変化が生じる可能性はない、と考えることができる。
同様に、C2が高周波成分である場合、C2とC0の変動は、C2とS2の変動と、C0とS6の変動と類似する可能性が高い。
同様に、C3が高周波成分である場合、C3とC0の変動は、C3とS3の変動と、C0とS7の変動と類似する可能性が高い。
同様に、C4が高周波成分である場合、C4とC0の変動は、C4とS4の変動と、C0とS8の変動と類似する可能性が高い。
また、同様に、図14Bを参照して説明すると、C5が高周波成分である場合、C5とC0の変動は、C5とS5の変動と、C0とS1の変動と類似する可能性が高い。
同様に、C6が高周波成分である場合、C6とC0の変動は、C6とS6の変動と、C0とS2の変動と類似する可能性が高い。
同様に、C7が高周波成分である場合、C7とC0の変動は、C7とS7の変動と、C0とS3の変動と類似する可能性が高い。
同様に、C8が高周波成分である場合、C8とC0の変動は、C8とS8の変動と、C0とS4の変動と類似する可能性が高い。
周辺画素ブロック405について、C1を例に取ると、C1と隣接する基準画素ブロック404であるC0を結ぶ直線上に、そのエリアを挟んで隣接するエリアの基準画素ブロック404は、S1とS5である。
同様に、C2を例に取ると、C2と隣接する基準画素ブロック404であるC0を結ぶ直線上に、そのエリアを挟んで隣接するエリアの基準画素ブロック404は、S2とS6である。
先ず、図15において、各ブロックの赤の画素にのみ注目して、演算式を説明する。
図14AにおけるC0の赤の画素をRx、C2の赤の画素をRt、S2の赤の画素をRn、S6の赤の画素をRinとする。
高周波重回帰分析処理部1301は、以下に示す重回帰式の係数A,B,C,D,E及びAi,Bi,Ci,Di,Eiを求める。
Rt−Rx=A×Q’(Rt−Rx)+B×Rn+C×Rx+D×Rin+E
Rt−Rx<0の場合:
Rt−Rx=Ai×Q’(Rt−Rx)+Bi×Rn+Ci×Rx+Di×Rin+Ei
但し、Q’:入力された12ビットの値の、上位8ビットを抽出 A,B,C,D,E,Ai,Bi,Ci,Di,Ei:重回帰直線の係数
すなわち、高周波重回帰分析処理部1301は、差分値を目的変数、目的変数の基となる周辺画素ブロック405と、周辺画素ブロック405に隣接する基準画素ブロック404を結ぶ直線上に存在する、隣接するエリアの基準画素ブロック404の画素と、差分値の上位8ビットを説明変数として、重回帰直線の係数を求める。その際、差分値が正の値の場合と負の値の場合とで、別々の重回帰分析を行うことで、重回帰式の精度を上げることができる。
以上より、高周波重回帰分析処理部1301の処理によって、情報量を削減しつつ、元の情報に近い精度を実現することができる。
上位ビット抽出処理部1302が高周波重回帰分析処理部1301に出力した高周波差分上位ビットデータは、差分値圧縮処理部1304にも入力される。
差分値圧縮処理部1304は、先ず、高周波差分上位ビットデータを絶対値に変換した後、その度数分布から算術平均による中心値を算出し、データ結合処理部312に出力する。次に、算出した中心値に基づき、高周波差分上位ビットデータの各々のデータと、その中心値からの差分値(以下「上位ビット差分値」)を生成して、上位ビット差分値メモリ1305に格納する。
高周波エントロピー符号化処理部ともいえるハフマン圧縮処理部1306は、高周波エントロピー符号化過程であり、図6の低周波圧縮処理部310と実質的に同じ処理を行う。すなわち、入力された上位ビット差分値に対し、出現頻度を計数し、これをソートして、ハフマン符号化を施す。こうして、ハフマン圧縮処理部1306は圧縮上位ビット差分値をデータ結合処理部312に出力する。
図16に示す圧縮RAW画像ファイル1601のデータ構造の、図10に示す圧縮RAW画像ファイル1001のデータ構造との相違点は、高周波差分データ領域1003の代わりに、高周波量子化圧縮データ領域1602と、高周波差分中心値1603と、高周波重回帰直線係数データ領域1604が存在する点である。
図17は、伸長処理部1701のソフトウェア機能を示すブロック図である。
図17に示す伸長処理部1701と、第一の実施形態における図11の伸長処理部109との相違点は、圧縮データメモリ313と高周波差分配置処理部1103との間に、高周波伸長処理部1702、上位ビット差分値メモリ1305、差分値復元処理部1703、高周波差分上位ビットメモリ1303、高周波重回帰直線演算処理部1704と高周波差分メモリ309が介在している点である。
低周波伸長処理部1102は、圧縮RAW画像ファイル1601から量子化圧縮データを読み出して、伸長処理を行い、量子化差分値を復元する。そして、量子化圧縮データから復元した量子化差分値を低周波量子化メモリ308に書き込む。
差分値復元処理部1703は、上位ビット差分値メモリ1305に格納されている上位ビット差分値から、圧縮データメモリ313に格納されている中心値を用いて、高周波差分上位ビットデータを復元し、高周波差分上位ビットメモリ1303に格納する。
低周波重回帰直線演算処理部1104は、低周波量子化メモリ308に格納されている量子化差分値のうち、高周波差分データ以外の差分値(量子化低周波差分データ)と、圧縮RAW画像ファイル1601の低周波重回帰直線係数データ領域1005から読み出した重回帰直線の係数A,B,C,D,E及びAi,Bi,Ci,Di,Eiと、フレームメモリ105に書き込まれている基準画素データを用いて重回帰式を演算して、低周波差分データを算出し、差分メモリ305に書き込む。
加算処理部1105は、差分メモリ305に格納されている差分データと、フレームメモリ105に書き込まれている基準画素データを用いて周辺画素ブロック405を算出し、フレームメモリ105に書き込む。
(1)第一の実施形態例における圧縮処理部107及び第二の実施形態例における圧縮処理部1201は、RAW画像データに品質を維持しつつ従来技術より高い圧縮率を実現する、優れた品質の非可逆圧縮を実施する。しかし、この圧縮処理部107及び圧縮処理部1201は、低周波成分において重回帰分析という、浮動小数点演算を含む膨大な演算処理を必要とする。近年の半導体デバイス技術の進歩により、この演算処理の問題は解決されつつあるが、バッテリ駆動で演算能力が限られる携帯型機器等では不利になるケースが生じることが考えられる。そこで、携帯型機器の場合、重回帰分析は携帯型機器で処理せず、ネットワーク上のサーバやパソコン等の、潤沢な演算能力を有する情報処理装置で重回帰分析を実行する、という方法が考えられる。
Rt−Rx=A×Q(Rt−Rx)+B×(Rn−1−Rx)+C×(Rn−Rx)+D×(Rn+1−Rx)+E
Rt−Rx<0の場合:
Rt−Rx=Ai×Q(Rt−Rx)+Bi×(Rn−1−Rx)+Ci×(Rn−Rx)+Di×(Rn+1−Rx)+Ei
Rt−Rx=A×Q’(Rt−Rx)+B×(Rn−Rx)+C×(Rn−Rin)+D×(Rin−Rx)+E
Rt−Rx<0の場合:
Rt−Rx=Ai×Q’(Rt−Rx)+Bi×(Rn−Rx)+Ci×(Rn−Rin)+Di×(Rin−Rx)+Ei
先ず、基準画素選択部でRAW画像データを正方形形状のエリアに分割し、エリア内の中心に位置する画素の組を基準画素ブロックとして選択し、次に差分値算出部にてエリア内の基準画素ブロックの周囲に隣接する、基準画素ブロックと等しい画素の組よりなる8個の周辺画素ブロックと、周辺画素ブロックに隣接するエリア内の基準画素との画素値の差分値を算出する。
一方、量子化処理部によって情報を失った量子化差分値と、これに近接する基準画素ブロックを説明変数として、差分値を目的変数とする重回帰分析を、重回帰分析処理部にて行い、重回帰式の係数を得る。
重回帰分析を用いることで、量子化処理部によって失われた情報を補い、劣化が目立たないRAW画像データの非可逆圧縮を実現できる。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
Claims (7)
- 静止画像データを縦と横が等しい画素数からなる正方形形状のエリアに分割し、前記エリア内の中心に位置する画素の組を基準画素ブロックとして選択する基準画素選択過程と、
前記エリア内の前記基準画素ブロックの周囲に隣接する、前記基準画素ブロックと等しい画素の組よりなる8個の周辺画素ブロックと、前記周辺画素ブロックに隣接するエリア内の基準画素との画素値の差分値を算出する差分値算出過程と、
前記差分値の絶対値が所定の閾値以下の前記差分値を量子化して量子化差分値を得る量子化過程と、
前記量子化差分値に可逆性の符号化を施して符号化差分値を得るエントロピー符号化過程と、
前記差分値を目的変数として、前記量子化差分値の基となった前記周辺画素ブロックに近接する前記基準画素ブロックの画素の値と、前記量子化差分値の基となった前記差分値を説明変数として、重回帰分析を行い、重回帰式の係数を得る、重回帰分析処理過程と、
前記基準画素ブロックのデータと、前記符号化差分値と、前記重回帰式の係数とを含む圧縮画像データを生成するデータ結合処理過程と
を有する、画像圧縮方法。 - 前記データ結合処理過程は、前記差分値の絶対値が所定の閾値を超える前記差分値を含めて前記圧縮画像データを生成する、
請求項1に記載の画像圧縮方法。 - 更に、
前記差分値の絶対値が所定の閾値を超える前記差分値の上位ビットを抽出して高周波差分上位ビットデータを得る上位ビット抽出過程と、
前記高周波差分上位ビットデータに可逆性の符号化を施して高周波符号化差分値を得る高周波エントロピー符号化過程と、
前記差分値を目的変数として、前記差分値の基となった前記周辺画素ブロックに近接する前記基準画素ブロックの画素の値と、前記高周波差分上位ビットデータを説明変数として、重回帰分析を行い、高周波重回帰式の係数を得る、高周波重回帰分析処理過程と
を有し、
前記データ結合処理過程は、前記高周波差分上位ビットデータと、前記高周波重回帰式の係数を含めて前記圧縮画像データを生成する、
請求項1に記載の画像圧縮方法。 - 静止画像データを縦と横が等しい画素数からなる正方形形状のエリアに分割し、前記エリア内の中心に位置する画素の組を基準画素ブロックとして選択する基準画素選択部と、
前記エリア内の前記基準画素ブロックの周囲に隣接する、前記基準画素ブロックと等しい画素の組よりなる8個の周辺画素ブロックと、前記周辺画素ブロックに隣接するエリア内の基準画素との画素値の差分値を算出する差分値算出部と、
前記差分値の絶対値が所定の閾値以下の前記差分値を量子化して量子化差分値を得る量子化処理部と、
前記量子化差分値に可逆性の符号化を施して符号化差分値を得る低周波圧縮処理部と、
前記差分値を目的変数として、前記量子化差分値の基となった前記周辺画素ブロックに近接する前記基準画素ブロックの画素の値と、前記量子化差分値の基となった前記差分値を説明変数として、重回帰分析を行い、重回帰式の係数を得る、重回帰分析処理部と、
前記基準画素ブロックのデータと、前記符号化差分値と、前記重回帰式の係数とを含む圧縮画像データを生成するデータ結合処理部と
を具備する、画像圧縮装置。 - 前記データ結合処理部は、前記差分値の絶対値が所定の閾値を超える前記差分値を含めて前記圧縮画像データを生成する、
請求項1に記載の画像圧縮装置。 - 更に、
前記差分値の絶対値が所定の閾値を超える前記差分値の上位ビットを抽出して高周波差分上位ビットデータを得る上位ビット抽出処理部と、
前記高周波差分上位ビットデータに可逆性の符号化を施して高周波符号化差分値を得る高周波エントロピー符号化処理部と、
前記差分値を目的変数として、前記差分値の基となった前記周辺画素ブロックに近接する前記基準画素ブロックの画素の値と、前記高周波差分上位ビットデータを説明変数として、重回帰分析を行い、高周波重回帰式の係数を得る、高周波重回帰分析処理部と
を具備し、
前記データ結合処理部は、前記高周波符号化差分値と、前記高周波重回帰式の係数を含めて前記圧縮画像データを生成する、
請求項1に記載の画像圧縮装置。 - 撮像素子と、
前記撮像素子から得られる静止画像データを縦と横が等しい画素数からなる正方形形状のエリアに分割し、前記エリア内の中心に位置する画素の組を基準画素ブロックとして選択する基準画素選択部と、
前記エリア内の前記基準画素ブロックの周囲に隣接する、前記基準画素ブロックと等しい画素の組よりなる8個の周辺画素ブロックと、前記周辺画素ブロックに隣接するエリア内の基準画素との画素値の差分値を算出する差分値算出部と、
前記差分値の絶対値が所定の閾値以下の前記差分値を量子化して量子化差分値を得る量子化処理部と、
前記量子化差分値に可逆性の符号化を施して符号化差分値を得る低周波圧縮処理部と、
前記差分値を目的変数として、前記量子化差分値の基となった前記周辺画素ブロックに近接する前記基準画素ブロックの画素の値と、前記量子化差分値の基となった前記差分値を説明変数として、重回帰分析を行い、重回帰式の係数を得る、重回帰分析処理部と、
前記基準画素ブロックのデータと、前記符号化差分値と、前記重回帰式の係数とを含む圧縮画像データを生成するデータ結合処理部と
を具備する、撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015116632A JP2017005456A (ja) | 2015-06-09 | 2015-06-09 | 画像圧縮方法、画像圧縮装置及び撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015116632A JP2017005456A (ja) | 2015-06-09 | 2015-06-09 | 画像圧縮方法、画像圧縮装置及び撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2017005456A true JP2017005456A (ja) | 2017-01-05 |
Family
ID=57752332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015116632A Pending JP2017005456A (ja) | 2015-06-09 | 2015-06-09 | 画像圧縮方法、画像圧縮装置及び撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2017005456A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111510718A (zh) * | 2019-01-30 | 2020-08-07 | 韩国斯诺有限公司 | 通过图像文件的块间差异提高压缩率的方法及系统 |
CN113784140A (zh) * | 2021-09-15 | 2021-12-10 | 深圳市朗强科技有限公司 | 一种数学无损编码方法及设备 |
CN115268831A (zh) * | 2022-09-22 | 2022-11-01 | 北京中科心研科技有限公司 | 浮点数据压缩方法、装置、可穿戴智能设备及存储介质 |
US11539955B2 (en) | 2019-01-30 | 2022-12-27 | Snow Corporation | Method and system for improving compression ratio through pixel conversion of image file |
US11627250B2 (en) | 2020-04-29 | 2023-04-11 | Samsung Electronics Co., Ltd. | Image compression method, encoder, and camera module including the encoder |
CN116957524A (zh) * | 2023-09-21 | 2023-10-27 | 青岛阿斯顿工程技术转移有限公司 | 一种技术转移过程中人才信息智能管理方法及系统 |
-
2015
- 2015-06-09 JP JP2015116632A patent/JP2017005456A/ja active Pending
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200094364A (ko) * | 2019-01-30 | 2020-08-07 | 스노우 주식회사 | 이미지 파일의 블록 간 차이를 통한 압축율 향상 방법 및 시스템 |
KR102152346B1 (ko) * | 2019-01-30 | 2020-09-04 | 스노우 주식회사 | 이미지 파일의 블록 간 차이를 통한 압축율 향상 방법 및 시스템 |
US11308647B2 (en) | 2019-01-30 | 2022-04-19 | Snow Corporation | Method and system for improving compression ratio by difference between blocks of image file |
US11823418B2 (en) | 2019-01-30 | 2023-11-21 | Snow Corporation | Method and system for improving compression ratio by difference between blocks of image file |
CN111510718A (zh) * | 2019-01-30 | 2020-08-07 | 韩国斯诺有限公司 | 通过图像文件的块间差异提高压缩率的方法及系统 |
US11539955B2 (en) | 2019-01-30 | 2022-12-27 | Snow Corporation | Method and system for improving compression ratio through pixel conversion of image file |
US11627250B2 (en) | 2020-04-29 | 2023-04-11 | Samsung Electronics Co., Ltd. | Image compression method, encoder, and camera module including the encoder |
CN113784140B (zh) * | 2021-09-15 | 2023-11-07 | 深圳市朗强科技有限公司 | 一种数学无损编码方法及设备 |
CN113784140A (zh) * | 2021-09-15 | 2021-12-10 | 深圳市朗强科技有限公司 | 一种数学无损编码方法及设备 |
CN115268831B (zh) * | 2022-09-22 | 2022-12-20 | 北京中科心研科技有限公司 | 浮点数据压缩方法、装置、可穿戴智能设备及存储介质 |
CN115268831A (zh) * | 2022-09-22 | 2022-11-01 | 北京中科心研科技有限公司 | 浮点数据压缩方法、装置、可穿戴智能设备及存储介质 |
CN116957524A (zh) * | 2023-09-21 | 2023-10-27 | 青岛阿斯顿工程技术转移有限公司 | 一种技术转移过程中人才信息智能管理方法及系统 |
CN116957524B (zh) * | 2023-09-21 | 2024-01-05 | 青岛阿斯顿工程技术转移有限公司 | 一种技术转移过程中人才信息智能管理方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2017005456A (ja) | 画像圧縮方法、画像圧縮装置及び撮像装置 | |
JP2012523765A (ja) | 画像圧縮のためのシステム及び方法 | |
JP5529685B2 (ja) | 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置 | |
CN111275628A (zh) | 一种图像信号转换处理方法、装置及终端设备 | |
JP5530198B2 (ja) | 画像符号化方法、復号化方法、装置 | |
US8675984B2 (en) | Merging multiple exposed images in transform domain | |
TW200305830A (en) | System and method for progressively transforming and coding digital data | |
US10785493B2 (en) | Method of compressing and decompressing image data | |
JP2016508700A (ja) | ビデオカメラ | |
US8682091B2 (en) | Real-time image compression | |
WO2010082252A1 (ja) | 画像符号化・復号化装置 | |
JP2017224939A (ja) | 撮像装置 | |
JP6685198B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
JP2015019364A (ja) | 画像圧縮装置及び方法 | |
JP6352625B2 (ja) | 画像データ圧縮回路、画像データ圧縮方法及び撮像装置 | |
CN107592297B (zh) | 一种移动侦测的方法、系统及终端设备 | |
Kumar et al. | A novel method for image compression using spectrum | |
US10893300B2 (en) | System and method for video processing | |
US9591332B2 (en) | Image processing apparatus performing preprocessing to prevent boundary positions of divided rectangular regions of image data from being separated into dense and sparse portions | |
CN113454995A (zh) | 跨多个图像的压缩 | |
JP6486120B2 (ja) | 符号化装置、符号化装置の制御方法、及びプログラム | |
US10015507B2 (en) | Transform system and method in video and image compression | |
JP6285711B2 (ja) | 画像処理装置 | |
WO2022217472A1 (zh) | 点云编解码方法、编码器、解码器及计算机可读存储介质 | |
CN114764834A (zh) | 图像处理方法及模组、设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180405 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190212 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20190403 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20190820 |