JP2017005456A - 画像圧縮方法、画像圧縮装置及び撮像装置 - Google Patents

画像圧縮方法、画像圧縮装置及び撮像装置 Download PDF

Info

Publication number
JP2017005456A
JP2017005456A JP2015116632A JP2015116632A JP2017005456A JP 2017005456 A JP2017005456 A JP 2017005456A JP 2015116632 A JP2015116632 A JP 2015116632A JP 2015116632 A JP2015116632 A JP 2015116632A JP 2017005456 A JP2017005456 A JP 2017005456A
Authority
JP
Japan
Prior art keywords
difference value
value
processing unit
pixel block
multiple regression
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2015116632A
Other languages
English (en)
Inventor
平冶郎 早瀬
Heijiro Hayase
平冶郎 早瀬
吉岡 晴彦
Haruhiko Yoshioka
晴彦 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bisma Co Ltd
Original Assignee
Bisma Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bisma Co Ltd filed Critical Bisma Co Ltd
Priority to JP2015116632A priority Critical patent/JP2017005456A/ja
Publication of JP2017005456A publication Critical patent/JP2017005456A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】画像データ中の高周波成分を極力保持しつつ、単純な可逆圧縮処理よりも高い圧縮率を実現する、画像圧縮方法、画像圧縮装置及び撮像装置を提供する。
【解決手段】RAW画像データを正方形形状のエリアに分割し、エリア内の中心に位置する画素の組を基準画素ブロックとして選択し、次にエリア内の基準画素ブロックの周囲に隣接する、基準画素ブロックと等しい画素の組よりなる8個の周辺画素ブロックと、周辺画素ブロックに隣接するエリア内の基準画素との画素値の差分値を算出する。次に、差分値の絶対値が所定の閾値以下の差分値を量子化して量子化差分値を得る。そして、量子化差分値に可逆性の符号化を施して符号化差分値を得る。一方、量子化差分値と、これに近接する基準画素ブロックを説明変数として、差分値を目的変数とする重回帰分析を、重回帰分析処理部にて行い、重回帰式の係数を得る。
【選択図】図3

Description

本発明は、画像圧縮方法、画像圧縮装置及び撮像装置に関する。
デジタルカメラの普及から始まり、携帯電話、そしてスマートフォンの普及によって、撮像素子は高性能化及び低価格化が進められた。その結果、今日、高性能な撮像素子を備える装置が低価格にて市場に流通している。例えば、USBカメラやドライブレコーダー等の撮影機能を有する機器が安価に入手可能である。
これ程までに高性能化及び低価格化が進んだ撮像素子を有効に活用する用途として、監視カメラが挙げられる。例えば、公道にくまなく監視カメラを設置し、IPv6のアドレスを割り当てて、静止画又は動画を撮影して得た画像データ又は動画データを、ネットワークを通じてストレージに保存する。そして、ストレージに保存した画像データ又は動画データから交通事故や犯罪行為の客観的な証拠画像を取得することで、国民生活になくてはならない治安の維持向上が期待できる。
特許第3530844号公報
市場に流通する様々な撮像装置の殆どは、周知のJPEG等の静止画像、またはMPEG4等の動画像を出力する。これらの画像フォーマットは離散コサイン変換等の非可逆圧縮処理が施されている。この非可逆圧縮処理は、撮像素子が本来出力していた、画像データ中に存在する、被写体の輪郭部分等に存在する、画像データの高周波成分を捨て去ってしまう。このため、輪郭がぼやけ、撮像素子の撮影能力が活かされていないという問題がある。
監視カメラは、撮影した画像を拡大する用途が非常に多い。したがって、撮像素子を監視カメラとして活用する上で、このような高周波成分を捨てる処理は好ましくない。
しかし、撮像素子の能力を最大限に活用するため、撮像素子の出力データをそのままストレージに保存しようとすると、撮像素子が出力する膨大なデータ量によって、大容量のストレージをすぐに使い切ってしまう。更に、撮像素子の出力データに可逆圧縮を施そうとしても、最大でもデータ量の半分程度にしか圧縮できない。何故ならば、テキストデータ等とは異なり、画像データは不均一性が高いため、可逆圧縮に不利であるからである。
特許文献1には、汎用の画像フォーマットに対する圧縮技術が開示されている。特許文献1に開示される技術は、画像データの高周波成分を保持する有効な技術である。しかしながら、JPEGやMPEG4等の、既に高周波成分が欠損した画像データに特許文献1の技術を適用することの重要性は低い。監視カメラには、撮像素子本来の能力を損なうことなくデータ量を圧縮できる、監視カメラに適した画像圧縮技術が必要である。
本発明はかかる点に鑑みてなされたものであり、画像データ中の高周波成分を極力保持しつつ、単純な可逆圧縮処理よりも高い圧縮率を実現する、画像圧縮方法、画像圧縮装置及び撮像装置を提供することを目的とする。
上記課題を解決するために、本発明の画像圧縮方法は、静止画像データを縦と横が等しい画素数からなる正方形形状のエリアに分割し、エリア内の中心に位置する画素の組を基準画素ブロックとして選択する基準画素選択過程と、エリア内の基準画素ブロックの周囲に隣接する、基準画素ブロックと等しい画素の組よりなる8個の周辺画素ブロックと、周辺画素ブロックに隣接するエリア内の基準画素との画素値の差分値を算出する差分値算出過程とを有する。更に、差分値の絶対値が所定の閾値以下の差分値を量子化して量子化差分値を得る量子化過程と、量子化差分値に可逆性の符号化を施して符号化差分値を得るエントロピー符号化過程とを有する。更に、差分値を目的変数として、量子化差分値の基となった周辺画素ブロックに近接する基準画素ブロックの画素の値と、量子化差分値の基となった差分値を説明変数として、重回帰分析を行い、重回帰式の係数を得る、重回帰分析処理過程と、基準画素ブロックのデータと、符号化差分値と、重回帰式の係数とを含む圧縮画像データを生成する生成過程とを有する。
本発明により、画像データ中の高周波成分を極力保持しつつ、単純な可逆圧縮処理よりも高い圧縮率を実現する、画像圧縮方法、画像圧縮装置及び撮像装置を提供することができる。
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
本発明の第一の実施形態の例である、撮像装置及び撮影画像再生装置の機能ブロック図である。 本発明の第一の実施形態の例である、情報処理装置の全体構成を示す概略図と、ハードウェア構成とソフトウェア機能を示すブロック図である。 圧縮処理部のソフトウェア機能を示すブロック図である。 RAW画像データの左上の部分を拡大した概略図と、基準画素と周縁部分の画素との差分値の演算順番を説明する概略図と、基準画素と周縁部分の画素との差分値を説明する概略図と、基準画素の並び順のバリエーションを説明する概略図である。 差分値の出現頻度と閾値の対応関係を示すグラフと、差分値の範囲と量子化値の対応関係を示す量子化値テーブルである。 低周波圧縮処理部の詳細な機能を示すブロック図である。 低周波重回帰分析処理部による演算処理の対象となる、説明変数と目的変数の配置関係をブロック単位で説明するための概略図である。 低周波重回帰分析処理部による演算処理の対象となる、説明変数と目的変数の配置関係を画素単位で説明するための概略図である。 RAW画像データにおける、基準画素ブロックと端数画素ブロックの位置関係を説明する概略図と、RAW画像データの右端の、基準画素ブロックと端数画素ブロックの位置関係を説明する概略図である。 圧縮データメモリに格納される圧縮RAW画像ファイルのデータ構造を示す概略図である。 伸長処理部のソフトウェア機能を示すブロック図である。 本発明の第二の実施形態に係る圧縮処理部のソフトウェア機能を示すブロック図である。 高周波圧縮処理部のソフトウェア機能を示すブロック図である。 高周波重回帰分析処理部による演算処理の対象となる、説明変数と目的変数の配置関係をブロック単位で説明するための概略図である。 高周波重回帰分析処理部による演算処理の対象となる、説明変数と目的変数の配置関係を画素単位で説明するための概略図である。 圧縮データメモリに格納される圧縮RAW画像ファイルのデータ構造を示す概略図である。 伸長処理部のソフトウェア機能を示すブロック図である。
実施形態を説明する前に、本発明の概略を説明する。
本発明は、特許文献1に開示された技術の改良である。すなわち、画像データを正方形のブロックに分割し、中心のブロックをそのまま保存し、中心のブロックの周囲に存在する8個のブロックと、中心のブロックとの差分を量子化する。差分が所定の閾値以上の値である場合は、量子化の対象外としてそのまま保存する。
特許文献1に開示されている技術は、24ビットの一般的な画像データに対する圧縮技術であるが、本実施形態では、この技術をRAW画像データに適用し、更にRAW画像データ中の低周波成分の再現性を改善するために、重回帰分析を導入している。
第一の実施形態では、画像データの低周波成分を圧縮する技術について説明する。
第二の実施形態では、第一の実施形態に加え、画像データの高周波成分を圧縮する技術について説明する。
<第一の実施形態例>
以下、本発明の第一の実施形態例について、図1〜図11を参照して説明する。
[全体構成]
図1Aは、本発明の第一の実施形態例に用いられる撮像装置101の機能ブロック図である。
図1Bは、本発明の第一の実施形態例に用いられる撮影画像再生装置108の機能ブロック図である。
図1Cは、本発明の第一の実施形態例に用いられる撮像装置の変形例(撮像装置112)の機能ブロック図である。なお、図1Aの撮像装置101と、図1Cの撮像装置112との相違点は、撮像装置112にモニタ機能が付加されている点である。
図1Aの撮像装置101は、監視カメラとしての利用を想定した撮像装置である。
撮像素子102は、光学系103から受光したイメージをアナログ信号に変換する。撮像素子102が出力するアナログ信号は、A/D変換器104によってデジタルデータに変換され、一旦フレームメモリ105に蓄積される。このフレームメモリ105に蓄積されたデータは、RAW画像データと呼ばれる。一部のデジタル一眼レフカメラ等は、このRAW画像データを直接不揮発性ストレージ106に保存する機能を有する。
フレームメモリ105内のRAW画像データは、圧縮処理部107によって圧縮され、不揮発性ストレージ106に圧縮RAW画像ファイルとして記憶される。
なお、撮像装置101をネットワーク(図示せず)に接続した監視カメラとして利用する場合、通常、不揮発性ストレージ106の先にネットワークを接続して、圧縮RAW画像ファイルを所定のサーバに転送して利用する。あるいは、圧縮処理部107と不揮発性ストレージ106との間をネットワークで接続して利用することも可能である。
図1Bの撮影画像再生装置108は、図1Aの撮像装置101によって作成された圧縮RAW画像ファイルを、JPEGやPNG等の一般的なフォーマットの画像ファイルに変換する機能を有する。
不揮発性ストレージ106に記憶されている圧縮RAW画像ファイルは、伸長処理部109によってRAW画像データに戻された後、表示用変換処理部110に供給される。
表示用変換処理部110は、RAW画像データに対し、現像処理とも呼ばれる、露出、ホワイトバランス、明度等の調整を行った後、1ピクセル8ビット×3、すなわち合計24ビットの画像フォーマット変換処理を行う。また、表示用変換処理部110は必要に応じて、JPEG等の圧縮処理を行う。こうして、表示用変換処理部110によって変換された画像データは、一般的な表示部111に表示したり、JPEG等の汎用フォーマットに変換して不揮発性ストレージ106に記憶させたり、図示しないネットワーク等を通じて流通させることができる。
図1Cの撮像装置112は、モニタ機能を有するデジタルカメラとしての利用を想定した撮像装置である。
光学系103、撮像素子102、A/D変換器104、フレームメモリ105までの、イメージからRAW画像データを生成する流れは図1Aの撮像装置101と同じなので説明を割愛する。
フレームメモリ105内のRAW画像データは、モニタ用に表示用変換処理部110に供給される他、圧縮処理部107によって圧縮され、不揮発性ストレージ106に圧縮RAW画像ファイルとして記憶される。
表示用変換処理部110は、RAW画像データに対し、露出、ホワイトバランス、明度等の調整を行った後、1ピクセル8ビット×3、すなわち合計24ビットの画像フォーマット変換処理を行う。こうして、表示用変換処理部110によって変換された画像データは、表示部111に表示される。
一方、不揮発性ストレージ106に記憶されている圧縮RAW画像ファイルは、伸長処理部109によってRAW画像データに戻された後、表示用変換処理部110に供給される。そして、表示用変換処理部110によって変換された画像データは、表示部111に表示される。
図2Aは、本発明の第一の実施形態例に用いられる情報処理装置201の全体構成を示す概略図である。
図2Bは、本発明の第一の実施形態例に用いられる情報処理装置201のハードウェア構成を示すブロック図である。
図2Cは、本発明の第一の実施形態例に用いられる情報処理装置201のソフトウェア機能を示すブロック図である。
本発明の第一の実施形態例に係るRAW画像データの圧縮処理及び伸長処理は、パソコン等の情報処理装置201にて単独で実行可能である。
図2Aにおいて、情報処理装置201は、デジタル一眼レフカメラ等によってRAW画像データファイルが格納された記憶媒体202(周知のSDメモリカード等)からRAW画像データファイルを読み込み、RAW画像データに圧縮処理を施して、圧縮RAW画像ファイルを作成する。そして、圧縮RAW画像ファイルを内蔵する不揮発性ストレージ106に記憶する。
図2Bに示すように、一般的なパソコンよりなる情報処理装置201は、CPU203、ROM204、RAM205、不揮発性ストレージ106、表示部111、そして操作部206が、バス207に接続されている。この他、記憶媒体202を読み取るカードリーダ208も、バス207に接続される。
図2Cにおいて、記憶媒体202から読み出されたRAW画像データファイルは、一旦フレームメモリ105に読み込まれる。
これ以降の処理は、図1Cの撮像装置112と実質的に等しい。
フレームメモリ105内のRAW画像データは、モニタ用として表示用変換処理部110に供給される他、圧縮処理部107によって圧縮され、不揮発性ストレージ106に圧縮RAW画像ファイルとして記憶される。
表示用変換処理部110は、RAW画像データに対し、露出、ホワイトバランス、明度等の調整を行った後、1ピクセル8ビット×3、すなわち合計24ビットの画像フォーマット変換処理を行う。そして、表示用変換処理部110によって変換された画像データは、表示部111に表示される。
一方、不揮発性ストレージ106に記憶されている圧縮RAW画像ファイルは、伸長処理部109によってRAW画像データに戻された後、表示用変換処理部110に供給される。そして、表示用変換処理部110によって変換された画像データは、表示部111に表示される。
以上に説明した撮像装置101、撮像装置112及び情報処理装置201は、RAW画像データから圧縮RAW画像ファイルを作成する圧縮処理部107を有する。
また、撮影画像再生装置108、撮像装置112及び情報処理装置201は、圧縮RAW画像ファイルからRAW画像データを復元する伸長処理部109を有する。
すなわち、本発明の第一の実施形態例における圧縮処理部107及び伸長処理部109の実体はプログラムであり、パソコン等の情報処理装置201が実行するソフトウェアとして提供される他、圧縮処理部107は監視カメラやデジタルカメラのファームウェアの一部として提供される。また、伸長処理部109はデジタルカメラのファームウェアの一部として提供される他、監視カメラに接続されるサーバやモニタ装置等のソフトウェアとして提供される。
また、図2A、図2B及び図2Cに示した情報処理装置201は、圧縮処理部107の機能を主体とする画像圧縮装置ということもできる。
同様に、図2A、図2B及び図2Cに示した情報処理装置201は、伸長処理部109の機能を主体とする圧縮画像伸長装置ということもできる。
[圧縮処理部107のソフトウェア機能]
図3は、圧縮処理部107のソフトウェア機能を示すブロック図である。図3中、実線矢印はデータの流れを示し、点線矢印は処理の流れ(順序)を示す。
RAW画像データは、一旦フレームメモリ105に格納される。基準画素選択部301は、基準画素選択過程として、フレームメモリ105内のRAW画像データから、後述する基準画素を指し示すアドレス情報を作成し、基準画素アドレス配列302を作成する。また、基準画素選択部301は、フレームメモリ105内のRAW画像データから、後述する端数画素を指し示すアドレスの集合体である端数画素アドレス配列303を作成する。基準画素選択部301は、自身の処理が終了したら、点線矢印で示すように、差分値算出部304を起動する。
差分値算出部304は、基準画素選択部301における処理の終了に呼応して起動されると、差分値算出過程として、基準画素アドレス配列302にしたがってフレームメモリ105内の基準画素を読み込み、基準画素と基準画素を取り巻く周縁部分の画素の差分値を算出し、差分メモリ305に格納する。差分値算出部304は、自身の処理が終了したら、点線矢印で示すように、低周波量子化処理部306を起動する。
[RAW画像データ401の構造と、基準画素選択部301と差分値算出部304の処理]
ここで一旦、基準画素選択部301と差分値算出部304の処理の詳細を説明するため、RAW画像データ401の構造と併せて、基準画素と周縁部分の画素について説明する。
図4Aは、RAW画像データ401の左上の部分を拡大した概略図である。
図4Bは、RAW画像データ401の基準画素と周縁部分の画素との差分値の演算順番を説明する概略図である。
図4Cは、RAW画像データ401の基準画素と周縁部分の画素との差分値を説明する概略図である。
図4Dは、RAW画像データ401の基準画素の並び順のバリエーションを説明する概略図である。
図4Aにおいて、RAW画像データ401は、正方形形状に並んでいる4個の画素データの集合体である。4個の画素データはそれぞれ、赤を表す「R」と、青を表す「B」と、緑を表す「G1」と「G2」である。全ての画素データは、12ビットである。
本実施形態例の圧縮処理部107は、この4個の画素データを、処理の基準単位である1個のブロック402として扱う。そして、基準画素選択部301と差分値算出部304は、縦3個、横3個の合計9個のブロック402の集合体を処理の一区切りである1個の領域(以下「エリア」)403として扱う。すなわち、2×2画素がブロック402であり、3×3ブロックがエリア403である。1ブロックはJPEGやPNG等、通常の画像データにおけるピクセルに相当する。
図4Bに示すように、9個のブロックよりなるエリア403の中心がブロック「0」である。これ以降、ブロック「0」を基準画素ブロック404と呼ぶ。
基準画素選択部301は、フレームメモリ105に格納されているRAW画像データ401のうち、基準画素ブロック404の左上の画素データのアドレスをリストにする。この画素データのリストが基準画素アドレス配列302となる。
図4Bに示すように、基準画素ブロック404であるブロック「0」の左上がブロック「1」、ブロック「0」の上かつブロック「1」の右隣りがブロック「2」、ブロック「0」の右上かつブロック「2」の右隣りがブロック「3」、ブロック「0」の右かつブロック「3」の下がブロック「4」、ブロック「0」の右下かつブロック「4」の下がブロック「5」、ブロック「0」の下かつブロック「5」の左隣りがブロック「6」、ブロック「0」の左下かつブロック「6」の左隣りがブロック「7」、ブロック「0」の左かつブロック「7」の上がブロック「8」である。ブロック「1」からブロック「8」までは、基準画素を取り巻く周縁部分の画素である。これ以降、ブロック「1」からブロック「8」を周辺画素ブロック405と呼ぶ。
差分値算出部304は、基準画素ブロック404であるブロック「0」に存在する4個の各画素と、周辺画素ブロック405であるブロック「1」からブロック「8」の各画素との差を算出する。
一例として、図4Cを参照して、基準画素ブロック404であるブロック「0」と周辺画素ブロック405であるブロック「4」との差の値の計算手順を説明する。
あるエリアにおける基準画素ブロック404に当たる、n番目のブロックであるブロック「0」は、赤の画素R、第一の緑の画素G1、第二の緑の画素G2、青の画素Bよりなる。
このブロック「0」の右隣りに存在する周辺画素ブロック405である、n+1番目のブロックであるブロック「4」は、赤の画素Rn+1、第一の緑の画素G1n+1、第二の緑の画素G2n+1、青の画素Bn+1よりなる。
差分値算出部304は、これらの画素についてそれぞれ以下の式を計算する。
ΔR(n,n+1)=R−Rn+1
ΔG1(n,n+1)=G1−G1n+1
ΔG2(n,n+1)=G2−G2n+1
ΔB(n,n+1)=B−Bn+1
上述のR(n,n+1)、ΔG1(n,n+1)、ΔG2(n,n+1)及びΔB(n,n+1)を、差分値と総称する。
計算の順番は図4Bに示す周辺画素ブロック405のブロック「1」からブロック「8」の順である。差分値算出部304は、この計算処理をRAW画像データ401に存在する全てのエリアに対して実行し、計算の結果得られた差分値を差分メモリ305に記憶する。
各画素の値は0(0x000)から4095(0xFFF)までなので、差分値は−4095(=0−4095)から4095(=4095−0)までの値をとり得る。
なお、図4Dに示すように、ブロック内における各画素の並び順は、撮像素子102の種類によってまちまちである。このため、本実施形態例の圧縮処理部107は、撮像素子102における各画素の並び順を、予め把握しておく必要がある。例えば、図1A、図1Cのような組み込み用途のファームウェアの場合は、対応する撮像素子102が一種類だけなので、予め図示しないROMに情報を記憶しておけばよい。
しかし、図2のようなパソコン等の情報処理装置201の場合は、不特定多数の撮像素子102が作成するRAW画像データ401を対象とするので、読み込むRAW画像データ401を格納するRAW画像データファイルから、撮像素子102における各画素の並び順を割り出すための情報を何らかの形で取得しておく必要がある。具体的には、RAW画像データファイルに記憶される撮像素子102や撮像装置112のメーカー名や機種名、あるいはそれらの情報を特定できる特殊なデータ列等を予め取得することが必要である。
図3に戻って、機能ブロックの詳細説明を続ける。
低周波量子化処理部306は、差分値算出部304の処理の終了に呼応して起動されると、量子化過程として、差分メモリ305に格納されている差分値の絶対値を閾値307と比較する。そして、差分値の絶対値が閾値307に満たない差分値について量子化処理を施し、量子化した値(量子化差分値)を低周波量子化メモリ308に格納する。またその一方で、差分値の絶対値が閾値307以上の差分値については、その差分値(高周波差分データ)を高周波差分メモリ309に格納すると共に、低周波量子化メモリ308には極大値を示す値を格納する。
低周波量子化処理部306は、自身の処理が終了したら、点線矢印に示すように、低周波圧縮処理部310と低周波重回帰分析処理部311を起動する。
[差分値の範囲と量子化値の対応と低周波量子化処理部306の処理]
ここで、図5A、図5Bを参照して、低周波量子化処理部306の処理の詳細を説明するため、差分値の範囲と量子化値の対応と閾値307について説明する。
図5Aは、差分値の出現頻度と閾値307の対応関係を示すグラフである。縦軸は差分値の出現頻度であり、横軸は差分値である。
図5Bは、差分値の範囲と量子化値の対応関係を示す量子化値テーブル501である。
多くの場合、あるブロックに隣接するブロックの色は類似する色である。すなわち、隣り合うブロック同士の差分値(色差)は小さい。このような差分値の傾向をグラフ化すると、図5Aに示すように、概ねガウス曲線に従う正規分布になる。
そこで、情報量を削減するために、図5Aに示される差分値の出現頻度に注目して、出現頻度が高い、値が小さい差分値について、低周波量子化処理部306によって量子化を行う。つまり、低周波量子化処理部306は、画像の低周波成分に相当する、小さい値の差分値について、情報量を削減するための量子化を行う。この量子化のルールが図5Bの量子化値テーブル501である。
先ず、差分値Dが−15≦D≦15を量子化値「0」とする。次に、16≦D≦31を量子化値「1」とする。以降、464≦D≦479を量子化値「29」とするまで、差分値を16刻みで1個の量子化値に割り当てる。
また、−16≧D≧−31を量子化値「−1」とする。以降、−464≧D≧−479を量子化値「−29」とするまで、差分値を−16刻みで1個の量子化値に割り当てる。
そして、D≧480と、D≦−480を量子化値「127」に割り当てる。すなわち、差分値Dの絶対値が「479」となる値を、閾値307とする。そして、閾値307を超える差分値については、量子化処理の対象外とし、そのことを示すため、「127」というダミーの量子化値を割り当てる。閾値307を超える差分値は、画像データの中で、できるだけ情報量を失ってはいけない高周波成分だからである。
なお、「127」とは、C言語等のプログラミング言語におけるsigned char型、すなわち8ビット(1バイト)で表現できる符号付き整数値の最大値である。
閾値307をどのように決定するかは、画像データの性質に依存する。本実施形態における閾値307の「479」(=16×29+15)という値は、撮像素子102で撮影する一般的な風景を対象とした閾値である。もし、画像データが白黒の文字だけのデータの場合は、閾値307は極端に小さくなる。同様に、漫画やアニメーション等の、エッジが多い画像データの場合も、閾値307は自然風景と比べて小さくなる。本実施形態例の圧縮処理部107は閾値307を固定値にしているが、画像中の高周波成分の出現頻度を演算によって求め、閾値307を動的に変更してもよい。
低周波量子化処理部306は、閾値307を境に、閾値307の範囲内の値を量子化して量子化差分値を作成し、この量子化差分値を低周波量子化メモリ308に格納する。また、閾値307の範囲外の値は高周波差分メモリ309に格納する。つまり、低周波量子化メモリ308に書き込まれているダミーの量子化値「127」の位置が、高周波差分メモリ309に格納されている高周波差分データを指し示すアドレスの役割を担う。
図3に戻って、機能ブロックの詳細説明を続ける。
低周波量子化処理部306の終了に呼応して低周波圧縮処理部310が起動されると、低周波圧縮処理部310は、エントロピー符号化過程として、低周波量子化メモリ308に格納されている量子化差分値についてエントロピー符号化の一種であるハフマン圧縮処理を施す。そして、低周波圧縮処理部310は、量子化圧縮データを作成してデータ結合処理部312へ送る。
[低周波圧縮処理部310の処理]
以下、低周波圧縮処理部310の詳細について、図6を参照して説明する。図6は、低周波圧縮処理部310の詳細な機能を示すブロック図である。
先ず、出現頻度カウンタ601は、低周波量子化メモリ308に格納されている量子化差分値について、その量子化差分値毎に出現頻度を計数して、出現頻度リスト602を作成する。
この出現頻度リスト602はソート処理部603に送られ、ソート処理部603は、この出現頻度リスト602を計数値で並べ替える。
そして、ハフマン符号化処理部604は、並べ替えられた出現頻度リスト602を基に辞書を作成し、この辞書に基づいて低周波量子化メモリ308に格納されている量子化差分値にハフマン符号化処理を施して、量子化圧縮データを作成する。
図3に戻って、機能ブロックの詳細説明を続ける。
低周波量子化処理部306は、異なる値の差分値を量子化差分値毎にグループ化する。これにより、低周波量子化処理部306は、画像データ中の低周波成分について、ハフマン符号化処理部604における圧縮処理の効率を向上させることができる。
ところで、量子化処理とは情報を間引く処理である。差分値を量子化した量子化差分値から、元のデータに近い値を復元することも可能ではある。例えば、量子化差分値「1」の差分値Dは16≦D≦31なので、量子化差分値「1」の差分値を全て、16から31の中間値である24であるものとみなして、基準画素のブロックに隣接するブロックにおける元の値を算出することもできる。
しかし、このような演算方法では誤差の大きい、粗い画像になってしまう。そこで、画像データ中の低周波成分について、間引いた情報を補う処理を施すことで、量子化処理で情報を間引いたことで生じる画像の粗さを目立たなくさせることが好ましい。このための処理が、低周波重回帰分析処理部311の処理である。
図3の点線矢印で示すように、低周波量子化処理部306の終了に呼応して低周波重回帰分析処理部311が起動されると、低周波重回帰分析処理部311は、重回帰分析処理過程として、差分メモリ305に格納されている差分値と、低周波量子化メモリ308に格納されている量子化差分値と、フレームメモリ105から基準画素アドレス配列302を参照して読み出す基準画素ブロックに基づいて、重回帰分析を行う。そして、重回帰分析の係数を作成し、係数をデータ結合処理部312へ送る。
[低周波重回帰分析処理部311の処理]
低周波重回帰分析処理部311の処理について、図7及び図8を参照して説明する。
図7は、低周波重回帰分析処理部311による演算処理の対象となる、説明変数と目的変数の配置関係をブロック単位で説明するための概略図である。
図8は、低周波重回帰分析処理部311による演算処理の対象となる、説明変数と目的変数の配置関係を画素単位で説明するための概略図である。
周知のように重回帰分析は、1個の目的変数を2個以上の説明変数で表現する。本実施形態例における低周波重回帰分析処理部311は、RAW画像データ401の低周波成分に相当する箇所において、殆どの場合、隣接するブロック同士の差分値は小さい、という性質に着目した。
図7において、あるエリアを中心として、そのエリアの周りに8個のエリアが存在する。中心のエリアの基準画素ブロック404をC0、C0の周りの周辺画素ブロック405を左上からC1、C2、C3、C4、C5、C6、C7、C8とする。
また、中心のエリアの左上にあるエリアの基準画素ブロック404をS1、中心のエリアの上にあるエリアの基準画素ブロック404をS2、中心のエリアの右上にあるエリアの基準画素ブロック404をS3、中心のエリアの右にあるエリアの基準画素ブロック404をS4、中心のエリアの右下にあるエリアの基準画素ブロック404をS5、中心のエリアの下にあるエリアの基準画素ブロック404をS6、中心のエリアの左下にあるエリアの基準画素ブロック404をS7、中心のエリアの左8にあるエリアの基準画素ブロック404をS8とする。
また、周辺画素ブロック405であるC1、C2、C3、C4、C5、C6、C7、C8は、全て基準画素ブロック404であるC0に対する差分値が閾値307以下であるものとする。
C1は、C0、S8、S1、S2と差分値が小さい可能性が高い。
C2は、C0、S1、S2、S3と差分値が小さい可能性が高い。
C3は、C0、S2、S3、S4と差分値が小さい可能性が高い。
C4は、C0、S3、S4、S5と差分値が小さい可能性が高い。
C5は、C0、S4、S5、S6と差分値が小さい可能性が高い。
C6は、C0、S5、S6、S7と差分値が小さい可能性が高い。
C7は、C0、S6、S7、S8と差分値が小さい可能性が高い。
C8は、C0、S7、S8、S1と差分値が小さい可能性が高い。
すなわち、ある周辺画素ブロック405の値は、その周辺画素ブロック405と隣接する基準画素ブロック404を結ぶ直線上に位置する、隣接するエリアの基準画素ブロック404と、更にそのエリアの両側に隣接するエリアの基準画素ブロック404と、値が近い可能性が高い。
周辺画素ブロック405について、C1を例に取ると、C1と基準画素ブロック404であるC0を結ぶ直線上に位置する、隣接するエリアの基準画素ブロック404はS1である。更にS1のエリアの両側に隣接するエリアの基準画素ブロック404は、S8とS2である。
同様に、C2を例に取ると、C2とC0を結ぶ直線上に位置する、隣接するエリアの基準画素ブロック404はS2である。更にS2のエリアの両側に隣接するエリアの基準画素ブロック404は、S1とS3である。
以上の仮定を基に、重回帰分析の式を作成する。
図8において、各ブロックの赤の画素にのみ注目して、演算式を説明する。
図7におけるC0の赤の画素をR、C1の赤の画素をRt−1、C2の赤の画素をR、C3の赤の画素をRt+1、S1の赤の画素をRn−1、S2の赤の画素をR、S3の赤の画素をRn+1、S4の赤の画素をRx+1、S8の赤の画素をRx−1とする。
低周波重回帰分析処理部311は、以下に示す重回帰式の係数A,B,C,D,E及びAi,Bi,Ci,Di,Eiを求める。
−R≧0の場合:
−R=A×Q(R−R)+B×Rn−1+C×R+D×Rn+1+E
−R<0の場合:
−R=Ai×Q(R−R)+Bi×Rn−1+Ci×R+Di×Rn+1+Ei

t−1−R≧0の場合:
t−1−R=A×Q(Rt−1−R)+B×Rx−1+C×Rn−1+D×R+E
t−1−R<0の場合:
t−1−R=Ai×Q(Rt−1−R)+Bi×Rx−1+Ci×Rn−1+Di×R+Ei

t+1−R≧0の場合:
t+1−R=A×Q(Rt+1−R)+B×R+C×Rn+1+D×Rx+1+E
t+1−R<0の場合:
t+1−R=Ai×Q(Rt+1−R)+Bi×R+Ci×Rn+1+Di×Rx+1+Ei
但し、Q:量子化関数 A,B,C,D,E,Ai,Bi,Ci,Di,Ei:重回帰直線の係数
低周波重回帰分析処理部311は、以上の式に従う演算処理を、赤の画素、緑の画素、青の画素と、それぞれ独立して実施する。緑の画素はG1とG2とあるが、共通の係数として計算する。
すなわち低周波重回帰分析処理部311は、差分値を目的変数とし、隣接するエリアの基準画素ブロック404の画素と上記差分値を量子化した量子化差分値を説明変数として、重回帰直線の係数を求める。その際、差分値が正の値の場合と負の値の場合とで、別々の重回帰分析を行うことで、重回帰式の精度を上げるようにする。
ここで注目すべき点は、低周波重回帰分析処理部311の処理対象に、差分値が大きい値が低周波量子化処理部306によって除外されている点である。このため、低周波重回帰分析処理部311による演算結果から算出される相関係数は、0.998という高い値が得られる。
以上説明したように、低周波重回帰分析処理部311の処理によって、情報量を削減しつつ、元の情報に近い精度を実現することができる。
重回帰直線の係数A,B,C,D,E及びAi,Bi,Ci,Di,Eiはそれぞれ64ビットの倍精度浮動小数点型である。この10個の係数が赤、緑及び青のそれぞれに設けられるので、重回帰直線の係数10個を合計すると、64ビット×10×3=1920ビット=240バイトとなる。
図7及び図8を見ると、重回帰式で置換が可能なブロックは、その周りに基準画素ブロック404が3個存在することが必要である。図7を参照して説明するならば、周辺画素ブロック405であるC1が重回帰式で置換可能であるためには、基準画素ブロック404のS8、S1及びS2が存在することが必要である。逆に言えば、基準画素ブロック404のS8、S1及びS2のどれか一つでも欠けていると、ブロックC1を重回帰式で置換することはできない。
例えば、基準画素ブロック404であるC0のエリアがRAW画像データ401の一番左上に位置している場合、周辺画素ブロック405のC1、C2、C3、C7及びC8は重回帰式で置換できない。したがって、基準画素ブロック404と同様に、そのままの値を保存せざるを得ない。これ以降、このような周辺画素ブロック405を端数画素ブロックと呼ぶ。
[基準画素ブロック404と端数画素ブロック901の位置関係]
図9Aは、RAW画像データ401における、基準画素ブロック404と端数画素ブロック901の位置関係を説明する概略図である。図9Aの図は、巨大なRAW画像データ401の四隅の部分を拡大した概念図である。一つの正方形は一つのブロックを示す。
前述の通り、RAW画像データ401の上端と左端は、基準画素ブロック404を含む2列分の周辺画素ブロック405が、端数画素ブロック901となる。
図9B、図9C及び図9Dは、RAW画像データ401の右端の、基準画素ブロック404と端数画素ブロック901の位置関係を説明する概略図である。
図9Bは、RAW画像データ401の右端がエリアである場合を示す。この場合は、図9Aの、RAW画像データ401の左端と同様、基準画素ブロック404を含む2列分の周辺画素ブロック405が、端数画素ブロック901となる。
図9Cは、RAW画像データ401の右端がエリアに加えて1列分のブロックを有する場合を示す。この場合は、基準画素ブロック404を含む3列分の周辺画素ブロック405が、端数画素ブロック901となる。
図9Dは、RAW画像データ401の右端がエリアに加えて2列分のブロックを有する場合を示す。この場合は、基準画素ブロック404を含む1列分の周辺画素ブロック405が、端数画素ブロック901となる。
図9A、B、C及びDを見て判るように、これら端数画素ブロック901の配置関係は、簡単な整数演算で容易に算出できる。図3の基準画素選択部301は、基準画素アドレス配列302に加え、端数画素のアドレスをRAW画像データ401のサイズから算出して、端数画素アドレス配列303に格納する。
[圧縮RAW画像ファイルのデータ構造]
図3と図10を参照して、機能ブロックの詳細説明を続ける。
図10は、圧縮データメモリ313に格納される圧縮RAW画像ファイル1001のデータ構造を示す概略図である。
データ結合処理過程を実行するデータ結合処理部312は、基準画素アドレス配列302を参照して、フレームメモリ105から基準画素ブロック404を読み出し、圧縮RAW画像ファイル1001の非圧縮画素データ領域1002に書き込む。
同様に、データ結合処理部312は、端数画素アドレス配列303を参照して、フレームメモリ105から端数画素ブロック901を読み出し、圧縮RAW画像ファイル1001の非圧縮画素データ領域1002に書き込む。
また、データ結合処理部312は、高周波差分メモリ309に格納されている、絶対値が閾値307以上の差分値(高周波差分データ)を、高周波差分データ領域1003に書き込む。
更に、データ結合処理部312は、低周波圧縮処理部310が出力する、量子化圧縮データを、低周波量子化圧縮データ領域1004に書き込む。
また、データ結合処理部312は、低周波重回帰分析処理部311が出力する重回帰直線の係数A,B,C,D,E及びAi,Bi,Ci,Di,Eiを、低周波重回帰直線係数データ領域1005に書き込む。
上述の処理に伴い、データ結合処理部312は、図10に示すように、ヘッダ1006に、元のRAW画像データ401の画像サイズ、ブロックにおける画素の配置を示す情報、後続のデータ領域のアドレス範囲等を書き込む。後続のデータ領域のアドレス範囲とは、ヘッダ1006に続く低周波量子化圧縮データ領域1004、高周波差分データ領域1003、非圧縮画素データ領域1002及び低周波重回帰直線係数データ領域1005のアドレス情報である。こうして、圧縮RAW画像ファイル1001が完成すると、圧縮処理部107は一連の処理を終了する。
なお、図10に示す圧縮RAW画像ファイル1001のデータ構造は、ヘッダ1006以外はどの順番であってもよい。また、非圧縮画素データ領域1002を基準画素データと端数画素データとで別々の領域を形成してもよい。
[伸長処理部109のソフトウェア機能]
図11は、伸長処理部109のソフトウェア機能を示すブロック図である。図3と同様に、図11中、実線矢印はデータの流れを示し、点線矢印は処理の流れ(順序)を示す。
図10で説明した圧縮RAW画像ファイル1001は、一旦圧縮データメモリ313に格納される。そして、最初に非圧縮データ再配置処理部1101が、圧縮データメモリ313中の圧縮RAW画像ファイル1001から、基準画素データと端数画素データを読み出して、フレームメモリ105に書き込む。
低周波伸長処理部1102は、圧縮RAW画像ファイル1001から量子化圧縮データを読み出して伸長処理を行い、量子化差分値を復元する。そして、量子化圧縮データから復元した量子化差分値を低周波量子化メモリ308に書き込む。
高周波差分配置処理部1103は、低周波量子化メモリ308に格納されている量子化差分値のうち、ダミーの量子化差分値「127」に該当する差分値(高周波差分データ)を、高周波差分データ領域1003(図10参照)から読み出して、差分メモリ305に書き込む。
低周波重回帰直線演算処理部1104は、低周波量子化メモリ308に格納されている量子化差分値のうち、高周波差分データ以外の差分値(量子化低周波差分データ)を読み出す。そして、この量子化低周波差分データと、圧縮RAW画像ファイル1001の低周波重回帰直線係数データ領域1005から読み出した重回帰直線の係数A,B,C,D,E及びAi,Bi,Ci,Di,Eiと、フレームメモリ105に書き込まれている基準画素データを用いて重回帰式を演算して、低周波差分データを算出する。なお、重回帰式を演算して算出された低周波差分データは、差分メモリ305に書き込まれる。
加算処理部1105は、差分メモリ305に格納されている差分データと、フレームメモリ105に書き込まれている基準画素データを用いて周辺画素ブロック405を算出し、フレームメモリ105に書き込む。
以上説明した、本実施形態例の圧縮処理部107による、RAW画像データ401に対する非可逆圧縮処理にて作成される圧縮RAW画像ファイル1001は、元のRAW画像データ401から凡そ1/3程度のデータ量まで圧縮することができる。
また、従来の離散コサイン変換等の非可逆圧縮とは異なり、元のRAW画像データ401から高周波成分を失うことがない。
更に、本実施形態例の圧縮処理部107は、非可逆圧縮であるにもかかわらず、元のRAW画像データ401と、圧縮RAW画像ファイル1001から伸長処理部109を通じて得られた復元RAW画像データとの相関係数は、0.998という高い値になる。
すなわち、本実施形態例の圧縮処理部107による、RAW画像データ401に対する非可逆圧縮処理は、極めて再現性が高いということができる。
以上説明した、本発明の第一の実施形態例に係る圧縮処理部107は、RAW画像データ401中の低周波成分のみ非可逆圧縮を行うものであった。
また、非可逆圧縮に伴う、情報を失うことによる劣化を最小限に留めるため、重回帰分析を採用した。発明者は更に本発明の改良を進めた結果、この非可逆圧縮処理を高周波成分にも適用することが可能であることを見出した。
<第二の実施形態例>
以下、第一の実施形態例を更に改良した第二の実施形態例について、図12〜図17を参照して説明する。
[圧縮処理部1201のソフトウェア機能]
図12は、本発明の第二の実施形態例に係る圧縮処理部1201のソフトウェア機能を示すブロック図である。図12中、第一の実施形態例の圧縮処理部107を説明した図3と同じ機能ブロックについては同一名称と同一符号を付して、説明を省略する。すなわち、圧縮処理部1201は、第一の実施形態例の圧縮処理部107と置換可能である。
図12に示す圧縮処理部1201の、第一の実施形態例における圧縮処理部107(図3参照)との相違点は、高周波差分メモリ309とデータ結合処理部312との間に、高周波圧縮処理部1202が新たに設けられている点である。
[高周波圧縮処理部1202のソフトウェア機能]
図13は、高周波圧縮処理部1202のソフトウェア機能を示すブロック図である。
高周波差分メモリ309に格納されている、絶対値が閾値307以上の差分値(高周波差分データ)は、フレームメモリ105から基準画素アドレス配列302を通じて読み出される基準画素データと共に、高周波重回帰分析処理部1301に入力される。また、12ビットの高周波差分データは、上位ビット抽出過程を実行する上位ビット抽出処理部1302によって下位4ビットが捨象され、高周波差分データの上位8ビットのデータ(以下「高周波差分上位ビットデータ」)が高周波差分上位ビットメモリ1303に格納された後、高周波重回帰分析処理部1301に入力される。
高周波重回帰分析処理過程を実行する高周波重回帰分析処理部1301は、第一の実施形態例における低周波重回帰分析処理部311と同様の、重回帰分析を行い、係数を出力する。但し、説明変数の配置は第一の実施形態例にて説明した低周波重回帰分析処理部311とは異なる。
図14A及び図14Bは、高周波重回帰分析処理部1301による演算処理の対象となる、説明変数と目的変数の配置関係をブロック単位で説明するための概略図である。
図15は、高周波重回帰分析処理部1301による演算処理の対象となる、説明変数と目的変数の配置関係を画素単位で説明するための概略図である。
図14A及び図14Bにおいて、あるエリアを中心として、そのエリアの周りに8個のエリアが存在する。中心のエリアの基準画素ブロック404をC0、C0の周りの周辺画素ブロック405を左上からC1、C2、C3、C4、C5、C6、C7、C8とする。また、中心のエリアの左上にあるエリアの基準画素ブロック404をS1、中心のエリアの上にあるエリアの基準画素ブロック404をS2、中心のエリアの右上にあるエリアの基準画素ブロック404をS3、中心のエリアの右にあるエリアの基準画素ブロック404をS4、中心のエリアの右下にあるエリアの基準画素ブロック404をS5、中心のエリアの下にあるエリアの基準画素ブロック404をS6、中心のエリアの左下にあるエリアの基準画素ブロック404をS7、中心のエリアの左8にあるエリアの基準画素ブロック404をS8とする。
図14Aにおいて、目的変数の基となる周辺画素ブロック405であるC1に注目する。
今、C1の画素と基準画素ブロック404であるC0に対する差分値の絶対値が閾値307以上であるとする。すなわち、周辺画素ブロック405であるC1が高周波成分であるならば、C1の画素の値は、説明変数となる基準画素ブロック404であるC0の画素とは大きく異なる値となる。
ここで、C1とC0を通過する直線上に、C0とC1が属するエリアに隣接する二つのエリアの基準画素ブロック404について注目する。
もし、C1の値がC0より大きい場合、C1の側に隣接するエリアの基準画素ブロック404であるS1の値は、C1と同じかC1より大きい可能性が高い。少なくとも、C1より値が小さくなる可能性は、画素の不具合以外にはほぼあり得ない。同様に、C0の側に隣接するエリアの基準画素ブロック404であるS5の値は、C0と同じかC0より小さい可能性が高い。少なくとも、C0より値が大きくなる可能性は、画素の不具合以外にはほぼあり得ない。
つまり、C1とC0との間に輝度の大きな変化(エッジ)が生じている場合、C1とC0を結ぶ直線上に位置する基準画素ブロックにおいて、C1とC0の輝度の変動方向の逆の変化が生じる可能性はない、と考えることができる。
図14Aを参照して説明すると、C1が高周波成分である場合、C1とC0の変動は、C1とS1の変動と、C0とS5の変動と類似する可能性が高い。
同様に、C2が高周波成分である場合、C2とC0の変動は、C2とS2の変動と、C0とS6の変動と類似する可能性が高い。
同様に、C3が高周波成分である場合、C3とC0の変動は、C3とS3の変動と、C0とS7の変動と類似する可能性が高い。
同様に、C4が高周波成分である場合、C4とC0の変動は、C4とS4の変動と、C0とS8の変動と類似する可能性が高い。
また、同様に、図14Bを参照して説明すると、C5が高周波成分である場合、C5とC0の変動は、C5とS5の変動と、C0とS1の変動と類似する可能性が高い。
同様に、C6が高周波成分である場合、C6とC0の変動は、C6とS6の変動と、C0とS2の変動と類似する可能性が高い。
同様に、C7が高周波成分である場合、C7とC0の変動は、C7とS7の変動と、C0とS3の変動と類似する可能性が高い。
同様に、C8が高周波成分である場合、C8とC0の変動は、C8とS8の変動と、C0とS4の変動と類似する可能性が高い。
すなわち、あるエリアの周辺画素ブロック405の値と、その周辺画素ブロック405に隣接する基準画素ブロック404の値の変化の度合いは、周辺画素ブロック405と隣接する基準画素ブロック404を結ぶ直線上に、そのエリアを挟んで隣接するエリアの基準画素ブロック404との変化の度合いに類似する可能性が高い。
周辺画素ブロック405について、C1を例に取ると、C1と隣接する基準画素ブロック404であるC0を結ぶ直線上に、そのエリアを挟んで隣接するエリアの基準画素ブロック404は、S1とS5である。
同様に、C2を例に取ると、C2と隣接する基準画素ブロック404であるC0を結ぶ直線上に、そのエリアを挟んで隣接するエリアの基準画素ブロック404は、S2とS6である。
以上説明した内容を前提として、重回帰分析の式を作成する。
先ず、図15において、各ブロックの赤の画素にのみ注目して、演算式を説明する。
図14AにおけるC0の赤の画素をR、C2の赤の画素をR、S2の赤の画素をR、S6の赤の画素をRinとする。
高周波重回帰分析処理部1301は、以下に示す重回帰式の係数A,B,C,D,E及びAi,Bi,Ci,Di,Eiを求める。
−R≧0の場合:
−R=A×Q’(R−R)+B×R+C×R+D×Rin+E
−R<0の場合:
−R=Ai×Q’(R−R)+Bi×R+Ci×R+Di×Rin+Ei

但し、Q’:入力された12ビットの値の、上位8ビットを抽出 A,B,C,D,E,Ai,Bi,Ci,Di,Ei:重回帰直線の係数
高周波重回帰分析処理部1301は、以上の式に従う演算処理を、赤の画素、緑の画素、青の画素と、それぞれ独立して実施する。緑の画素はG1とG2とあるが、共通の係数として計算する。
すなわち、高周波重回帰分析処理部1301は、差分値を目的変数、目的変数の基となる周辺画素ブロック405と、周辺画素ブロック405に隣接する基準画素ブロック404を結ぶ直線上に存在する、隣接するエリアの基準画素ブロック404の画素と、差分値の上位8ビットを説明変数として、重回帰直線の係数を求める。その際、差分値が正の値の場合と負の値の場合とで、別々の重回帰分析を行うことで、重回帰式の精度を上げることができる。
以上より、高周波重回帰分析処理部1301の処理によって、情報量を削減しつつ、元の情報に近い精度を実現することができる。
再び、図13に戻って、高周波圧縮処理部1202の説明を続ける。
上位ビット抽出処理部1302が高周波重回帰分析処理部1301に出力した高周波差分上位ビットデータは、差分値圧縮処理部1304にも入力される。
差分値圧縮処理部1304は、先ず、高周波差分上位ビットデータを絶対値に変換した後、その度数分布から算術平均による中心値を算出し、データ結合処理部312に出力する。次に、算出した中心値に基づき、高周波差分上位ビットデータの各々のデータと、その中心値からの差分値(以下「上位ビット差分値」)を生成して、上位ビット差分値メモリ1305に格納する。
上位ビット差分値メモリ1305に格納された上位ビット差分値は、ハフマン圧縮処理部1306に入力される。
高周波エントロピー符号化処理部ともいえるハフマン圧縮処理部1306は、高周波エントロピー符号化過程であり、図6の低周波圧縮処理部310と実質的に同じ処理を行う。すなわち、入力された上位ビット差分値に対し、出現頻度を計数し、これをソートして、ハフマン符号化を施す。こうして、ハフマン圧縮処理部1306は圧縮上位ビット差分値をデータ結合処理部312に出力する。
低周波成分の圧縮処理では、中心値は図5Aを見て明らかなように、その差分値から自ずと決定できるが、高周波成分については中心値が不明である。そこで、算術平均にて中心値を定めて、ハフマン符号化の効率を高める。
図16は、圧縮データメモリ313に格納される圧縮RAW画像ファイル1601のデータ構造を示す概略図である。
図16に示す圧縮RAW画像ファイル1601のデータ構造の、図10に示す圧縮RAW画像ファイル1001のデータ構造との相違点は、高周波差分データ領域1003の代わりに、高周波量子化圧縮データ領域1602と、高周波差分中心値1603と、高周波重回帰直線係数データ領域1604が存在する点である。
[伸長処理部109のソフトウェア機能]
図17は、伸長処理部1701のソフトウェア機能を示すブロック図である。
図17に示す伸長処理部1701と、第一の実施形態における図11の伸長処理部109との相違点は、圧縮データメモリ313と高周波差分配置処理部1103との間に、高周波伸長処理部1702、上位ビット差分値メモリ1305、差分値復元処理部1703、高周波差分上位ビットメモリ1303、高周波重回帰直線演算処理部1704と高周波差分メモリ309が介在している点である。
圧縮RAW画像ファイル1601は、一旦圧縮データメモリ313に格納される。そして、最初に非圧縮データ再配置処理部1101が、圧縮データメモリ313中の圧縮RAW画像ファイル1601から、基準画素データと端数画素データを読み出して、フレームメモリ105に書き込む。
低周波伸長処理部1102は、圧縮RAW画像ファイル1601から量子化圧縮データを読み出して、伸長処理を行い、量子化差分値を復元する。そして、量子化圧縮データから復元した量子化差分値を低周波量子化メモリ308に書き込む。
一方、高周波伸長処理部1702は、圧縮RAW画像ファイル1601から圧縮上位ビット差分値を読み出して、伸長処理を行い、上位ビット差分値を復元する。そして、圧縮上位ビット差分値から復元した上位ビット差分値を上位ビット差分値メモリ1305に書き込む。
差分値復元処理部1703は、上位ビット差分値メモリ1305に格納されている上位ビット差分値から、圧縮データメモリ313に格納されている中心値を用いて、高周波差分上位ビットデータを復元し、高周波差分上位ビットメモリ1303に格納する。
高周波重回帰直線演算処理部1704は、高周波差分上位ビットメモリ1303に格納されている高周波差分上位ビットデータと、圧縮RAW画像ファイル1601の高周波重回帰直線係数データ領域1604から読み出した重回帰直線の係数A,B,C,D,E及びAi,Bi,Ci,Di,Eiと、フレームメモリ105に書き込まれている基準画素データを用いて重回帰式を演算して、高周波差分データを算出し、高周波差分メモリ309に書き込む。
高周波差分配置処理部1103は、低周波量子化メモリ308に格納されている量子化差分値のうち、ダミーの量子化差分値「127」に該当する差分値(高周波差分データ)を、高周波差分メモリ309から読み出して、差分メモリ305に書き込む。
低周波重回帰直線演算処理部1104は、低周波量子化メモリ308に格納されている量子化差分値のうち、高周波差分データ以外の差分値(量子化低周波差分データ)と、圧縮RAW画像ファイル1601の低周波重回帰直線係数データ領域1005から読み出した重回帰直線の係数A,B,C,D,E及びAi,Bi,Ci,Di,Eiと、フレームメモリ105に書き込まれている基準画素データを用いて重回帰式を演算して、低周波差分データを算出し、差分メモリ305に書き込む。
加算処理部1105は、差分メモリ305に格納されている差分データと、フレームメモリ105に書き込まれている基準画素データを用いて周辺画素ブロック405を算出し、フレームメモリ105に書き込む。
以上説明した第二の実施形態例に係る圧縮処理部1201は、第一の実施形態例の圧縮処理部107で実現した低周波成分の重回帰分析に加え、高周波成分においても重回帰分析を実施している。これに伴い、高周波成分は非可逆圧縮になるが、その品質は殆ど劣化しない。
本実施形態は、以下の様な応用が可能である。
(1)第一の実施形態例における圧縮処理部107及び第二の実施形態例における圧縮処理部1201は、RAW画像データに品質を維持しつつ従来技術より高い圧縮率を実現する、優れた品質の非可逆圧縮を実施する。しかし、この圧縮処理部107及び圧縮処理部1201は、低周波成分において重回帰分析という、浮動小数点演算を含む膨大な演算処理を必要とする。近年の半導体デバイス技術の進歩により、この演算処理の問題は解決されつつあるが、バッテリ駆動で演算能力が限られる携帯型機器等では不利になるケースが生じることが考えられる。そこで、携帯型機器の場合、重回帰分析は携帯型機器で処理せず、ネットワーク上のサーバやパソコン等の、潤沢な演算能力を有する情報処理装置で重回帰分析を実行する、という方法が考えられる。
先ず、撮像素子を含む撮像装置内部では重回帰分析を行わず、中間的な形式の圧縮ファイルを作成する。次に、その圧縮ファイルを、ネットワーク等を通じて、不揮発性ストレージを含む、高い演算能力を備えるサーバに転送する。サーバは撮像装置から受信した圧縮ファイルに対して重回帰分析を行って、最終的な圧縮RAW画像ファイル1001を作成する。
中間的な形式とは、重回帰分析を行う代わりに、低周波量子化メモリ308に格納される量子化差分値の他に、量子化差分値から差分メモリ305に格納される差分値を復元可能な情報を作成することである。重回帰分析には説明変数である量子化差分値と、目的変数である量子化されていない差分値が必要である。したがって、量子化されていない差分値を量子化差分値から復元するための情報を作成すればよい。そのためには、量子化差分値に対応する基準値を定め、差分値から基準値を引いた値を出力する。この、差分値から基準値を引いた値をオフセット値とする。
図5Bを参照して、例えば、差分値が「18」である場合、量子化差分値は「1」である。一方、量子化差分値「1」の差分値範囲は「16≦D≦31」である。この量子化差分値「1」について、基準値を「16」とする。すると、差分値から基準値を引いたオフセット値Jは、J=18−16=2である。このように、量子化差分値の他にオフセット値を出力することで、量子化差分値とオフセット値から差分値を復元することが可能になる。オフセット値の存在により、重回帰分析を行うよりも生成されるデータのデータ量が増えるが、量子化差分値があることにより、ハフマン圧縮の圧縮効率がよい。
(2)第二の実施形態例に係る圧縮処理部1201における高周波成分の重回帰分析を、上述のように携帯型機器で行わない場合は、高周波差分データから上位8ビットの高周波差分上位ビットデータを出力する上位ビット抽出処理部1302の他に、高周波差分データから下位4ビットのデータを出力する機能を設けて、それぞれにハフマン圧縮等のエントロピー符号化を施せばよい。
(3)低周波重回帰分析処理部311が演算する重回帰式について、以下に示すように、全ての説明変数を画素同士の差分値に置き換えてもよい。
−R≧0の場合:
−R=A×Q(R−R)+B×(Rn−1−R)+C×(R−R)+D×(Rn+1−R)+E
−R<0の場合:
−R=Ai×Q(R−R)+Bi×(Rn−1−R)+Ci×(R−R)+Di×(Rn+1−R)+Ei
(4)同様に、高周波重回帰分析処理部1301が演算する重回帰式について、以下に示すように、全ての説明変数を画素同士の差分値に置き換えてもよい。
−R≧0の場合:
−R=A×Q’(R−R)+B×(R−R)+C×(R−Rin)+D×(Rin−R)+E
−R<0の場合:
−R=Ai×Q’(R−R)+Bi×(R−R)+Ci×(R−Rin)+Di×(Rin−R)+Ei
本発明の第一及び第二の実施形態例においては、撮像装置101、撮影画像再生装置108、撮像装置112及び情報処理装置201と、これらに用いる圧縮処理部107及び圧縮処理部1201と、伸長処理部109及び伸長処理部1701を開示した。
先ず、基準画素選択部でRAW画像データを正方形形状のエリアに分割し、エリア内の中心に位置する画素の組を基準画素ブロックとして選択し、次に差分値算出部にてエリア内の基準画素ブロックの周囲に隣接する、基準画素ブロックと等しい画素の組よりなる8個の周辺画素ブロックと、周辺画素ブロックに隣接するエリア内の基準画素との画素値の差分値を算出する。
次に、量子化処理部にて差分値の絶対値が所定の閾値以下の差分値を量子化して量子化差分値を得る。そして、低周波圧縮処理部にて、量子化差分値に可逆性の符号化を施して符号化差分値を得る。
一方、量子化処理部によって情報を失った量子化差分値と、これに近接する基準画素ブロックを説明変数として、差分値を目的変数とする重回帰分析を、重回帰分析処理部にて行い、重回帰式の係数を得る。
重回帰分析を用いることで、量子化処理部によって失われた情報を補い、劣化が目立たないRAW画像データの非可逆圧縮を実現できる。
以上、本発明の第一及び第二の実施形態例について説明したが、本発明は上記実施形態に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の揮発性あるいは不揮発性のストレージ、または、ICカード、光ディスク等の記録媒体に保持することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
101…撮像装置、102…撮像素子、103…光学系、104…A/D変換器、105…フレームメモリ、106…不揮発性ストレージ、107…圧縮処理部、108…撮影画像再生装置、109…伸長処理部、110…表示用変換処理部、111…表示部、112…撮像装置、201…情報処理装置、202…記憶媒体、203…CPU、204…ROM、205…RAM、206…操作部、207…バス、208…カードリーダ、301…基準画素選択部、302…基準画素アドレス配列、303…端数画素アドレス配列、304…差分値算出部、305…差分メモリ、306…低周波量子化処理部、307…閾値、308…低周波量子化メモリ、309…高周波差分メモリ、310…低周波圧縮処理部、311…低周波重回帰分析処理部、312…データ結合処理部、313…圧縮データメモリ、401…RAW画像データ、402…ブロック、403…エリア、404…基準画素ブロック、405…周辺画素ブロック、501…量子化値テーブル、601…出現頻度カウンタ、602…出現頻度リスト、603…ソート処理部、604…ハフマン符号化処理部、901…端数画素ブロック、1001…圧縮RAW画像ファイル、1002…非圧縮画素データ領域、1003…高周波差分データ領域、1004…低周波量子化圧縮データ領域、1005…低周波重回帰直線係数データ領域、1006…ヘッダ、1101…非圧縮データ再配置処理部、1102…低周波伸長処理部、1103…高周波差分配置処理部、1104…低周波重回帰直線演算処理部、1105…加算処理部、1201…圧縮処理部、1202…高周波圧縮処理部、1301…高周波重回帰分析処理部、1302…上位ビット抽出処理部、1303…高周波差分上位ビットメモリ、1304…差分値圧縮処理部、1305…上位ビット差分値メモリ、1306…ハフマン圧縮処理部、1601…圧縮RAW画像ファイル、1602…高周波量子化圧縮データ領域、1603…高周波差分中心値、1604…高周波重回帰直線係数データ領域、1701…伸長処理部、1702…高周波伸長処理部、1703…差分値復元処理部、1704…高周波重回帰直線演算処理部

Claims (7)

  1. 静止画像データを縦と横が等しい画素数からなる正方形形状のエリアに分割し、前記エリア内の中心に位置する画素の組を基準画素ブロックとして選択する基準画素選択過程と、
    前記エリア内の前記基準画素ブロックの周囲に隣接する、前記基準画素ブロックと等しい画素の組よりなる8個の周辺画素ブロックと、前記周辺画素ブロックに隣接するエリア内の基準画素との画素値の差分値を算出する差分値算出過程と、
    前記差分値の絶対値が所定の閾値以下の前記差分値を量子化して量子化差分値を得る量子化過程と、
    前記量子化差分値に可逆性の符号化を施して符号化差分値を得るエントロピー符号化過程と、
    前記差分値を目的変数として、前記量子化差分値の基となった前記周辺画素ブロックに近接する前記基準画素ブロックの画素の値と、前記量子化差分値の基となった前記差分値を説明変数として、重回帰分析を行い、重回帰式の係数を得る、重回帰分析処理過程と、
    前記基準画素ブロックのデータと、前記符号化差分値と、前記重回帰式の係数とを含む圧縮画像データを生成するデータ結合処理過程と
    を有する、画像圧縮方法。
  2. 前記データ結合処理過程は、前記差分値の絶対値が所定の閾値を超える前記差分値を含めて前記圧縮画像データを生成する、
    請求項1に記載の画像圧縮方法。
  3. 更に、
    前記差分値の絶対値が所定の閾値を超える前記差分値の上位ビットを抽出して高周波差分上位ビットデータを得る上位ビット抽出過程と、
    前記高周波差分上位ビットデータに可逆性の符号化を施して高周波符号化差分値を得る高周波エントロピー符号化過程と、
    前記差分値を目的変数として、前記差分値の基となった前記周辺画素ブロックに近接する前記基準画素ブロックの画素の値と、前記高周波差分上位ビットデータを説明変数として、重回帰分析を行い、高周波重回帰式の係数を得る、高周波重回帰分析処理過程と
    を有し、
    前記データ結合処理過程は、前記高周波差分上位ビットデータと、前記高周波重回帰式の係数を含めて前記圧縮画像データを生成する、
    請求項1に記載の画像圧縮方法。
  4. 静止画像データを縦と横が等しい画素数からなる正方形形状のエリアに分割し、前記エリア内の中心に位置する画素の組を基準画素ブロックとして選択する基準画素選択部と、
    前記エリア内の前記基準画素ブロックの周囲に隣接する、前記基準画素ブロックと等しい画素の組よりなる8個の周辺画素ブロックと、前記周辺画素ブロックに隣接するエリア内の基準画素との画素値の差分値を算出する差分値算出部と、
    前記差分値の絶対値が所定の閾値以下の前記差分値を量子化して量子化差分値を得る量子化処理部と、
    前記量子化差分値に可逆性の符号化を施して符号化差分値を得る低周波圧縮処理部と、
    前記差分値を目的変数として、前記量子化差分値の基となった前記周辺画素ブロックに近接する前記基準画素ブロックの画素の値と、前記量子化差分値の基となった前記差分値を説明変数として、重回帰分析を行い、重回帰式の係数を得る、重回帰分析処理部と、
    前記基準画素ブロックのデータと、前記符号化差分値と、前記重回帰式の係数とを含む圧縮画像データを生成するデータ結合処理部と
    を具備する、画像圧縮装置。
  5. 前記データ結合処理部は、前記差分値の絶対値が所定の閾値を超える前記差分値を含めて前記圧縮画像データを生成する、
    請求項1に記載の画像圧縮装置。
  6. 更に、
    前記差分値の絶対値が所定の閾値を超える前記差分値の上位ビットを抽出して高周波差分上位ビットデータを得る上位ビット抽出処理部と、
    前記高周波差分上位ビットデータに可逆性の符号化を施して高周波符号化差分値を得る高周波エントロピー符号化処理部と、
    前記差分値を目的変数として、前記差分値の基となった前記周辺画素ブロックに近接する前記基準画素ブロックの画素の値と、前記高周波差分上位ビットデータを説明変数として、重回帰分析を行い、高周波重回帰式の係数を得る、高周波重回帰分析処理部と
    を具備し、
    前記データ結合処理部は、前記高周波符号化差分値と、前記高周波重回帰式の係数を含めて前記圧縮画像データを生成する、
    請求項1に記載の画像圧縮装置。
  7. 撮像素子と、
    前記撮像素子から得られる静止画像データを縦と横が等しい画素数からなる正方形形状のエリアに分割し、前記エリア内の中心に位置する画素の組を基準画素ブロックとして選択する基準画素選択部と、
    前記エリア内の前記基準画素ブロックの周囲に隣接する、前記基準画素ブロックと等しい画素の組よりなる8個の周辺画素ブロックと、前記周辺画素ブロックに隣接するエリア内の基準画素との画素値の差分値を算出する差分値算出部と、
    前記差分値の絶対値が所定の閾値以下の前記差分値を量子化して量子化差分値を得る量子化処理部と、
    前記量子化差分値に可逆性の符号化を施して符号化差分値を得る低周波圧縮処理部と、
    前記差分値を目的変数として、前記量子化差分値の基となった前記周辺画素ブロックに近接する前記基準画素ブロックの画素の値と、前記量子化差分値の基となった前記差分値を説明変数として、重回帰分析を行い、重回帰式の係数を得る、重回帰分析処理部と、
    前記基準画素ブロックのデータと、前記符号化差分値と、前記重回帰式の係数とを含む圧縮画像データを生成するデータ結合処理部と
    を具備する、撮像装置。
JP2015116632A 2015-06-09 2015-06-09 画像圧縮方法、画像圧縮装置及び撮像装置 Pending JP2017005456A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015116632A JP2017005456A (ja) 2015-06-09 2015-06-09 画像圧縮方法、画像圧縮装置及び撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015116632A JP2017005456A (ja) 2015-06-09 2015-06-09 画像圧縮方法、画像圧縮装置及び撮像装置

Publications (1)

Publication Number Publication Date
JP2017005456A true JP2017005456A (ja) 2017-01-05

Family

ID=57752332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015116632A Pending JP2017005456A (ja) 2015-06-09 2015-06-09 画像圧縮方法、画像圧縮装置及び撮像装置

Country Status (1)

Country Link
JP (1) JP2017005456A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111510718A (zh) * 2019-01-30 2020-08-07 韩国斯诺有限公司 通过图像文件的块间差异提高压缩率的方法及系统
CN113784140A (zh) * 2021-09-15 2021-12-10 深圳市朗强科技有限公司 一种数学无损编码方法及设备
CN115268831A (zh) * 2022-09-22 2022-11-01 北京中科心研科技有限公司 浮点数据压缩方法、装置、可穿戴智能设备及存储介质
US11539955B2 (en) 2019-01-30 2022-12-27 Snow Corporation Method and system for improving compression ratio through pixel conversion of image file
US11627250B2 (en) 2020-04-29 2023-04-11 Samsung Electronics Co., Ltd. Image compression method, encoder, and camera module including the encoder
CN116957524A (zh) * 2023-09-21 2023-10-27 青岛阿斯顿工程技术转移有限公司 一种技术转移过程中人才信息智能管理方法及系统

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200094364A (ko) * 2019-01-30 2020-08-07 스노우 주식회사 이미지 파일의 블록 간 차이를 통한 압축율 향상 방법 및 시스템
KR102152346B1 (ko) * 2019-01-30 2020-09-04 스노우 주식회사 이미지 파일의 블록 간 차이를 통한 압축율 향상 방법 및 시스템
US11308647B2 (en) 2019-01-30 2022-04-19 Snow Corporation Method and system for improving compression ratio by difference between blocks of image file
US11823418B2 (en) 2019-01-30 2023-11-21 Snow Corporation Method and system for improving compression ratio by difference between blocks of image file
CN111510718A (zh) * 2019-01-30 2020-08-07 韩国斯诺有限公司 通过图像文件的块间差异提高压缩率的方法及系统
US11539955B2 (en) 2019-01-30 2022-12-27 Snow Corporation Method and system for improving compression ratio through pixel conversion of image file
US11627250B2 (en) 2020-04-29 2023-04-11 Samsung Electronics Co., Ltd. Image compression method, encoder, and camera module including the encoder
CN113784140B (zh) * 2021-09-15 2023-11-07 深圳市朗强科技有限公司 一种数学无损编码方法及设备
CN113784140A (zh) * 2021-09-15 2021-12-10 深圳市朗强科技有限公司 一种数学无损编码方法及设备
CN115268831B (zh) * 2022-09-22 2022-12-20 北京中科心研科技有限公司 浮点数据压缩方法、装置、可穿戴智能设备及存储介质
CN115268831A (zh) * 2022-09-22 2022-11-01 北京中科心研科技有限公司 浮点数据压缩方法、装置、可穿戴智能设备及存储介质
CN116957524A (zh) * 2023-09-21 2023-10-27 青岛阿斯顿工程技术转移有限公司 一种技术转移过程中人才信息智能管理方法及系统
CN116957524B (zh) * 2023-09-21 2024-01-05 青岛阿斯顿工程技术转移有限公司 一种技术转移过程中人才信息智能管理方法及系统

Similar Documents

Publication Publication Date Title
JP2017005456A (ja) 画像圧縮方法、画像圧縮装置及び撮像装置
JP2012523765A (ja) 画像圧縮のためのシステム及び方法
JP5529685B2 (ja) 画像符号化方法、画像復号化方法、画像符号化装置及び画像復号化装置
CN111275628A (zh) 一种图像信号转换处理方法、装置及终端设备
JP5530198B2 (ja) 画像符号化方法、復号化方法、装置
US8675984B2 (en) Merging multiple exposed images in transform domain
TW200305830A (en) System and method for progressively transforming and coding digital data
US10785493B2 (en) Method of compressing and decompressing image data
JP2016508700A (ja) ビデオカメラ
US8682091B2 (en) Real-time image compression
WO2010082252A1 (ja) 画像符号化・復号化装置
JP2017224939A (ja) 撮像装置
JP6685198B2 (ja) 撮像装置及びその制御方法及びプログラム
JP2015019364A (ja) 画像圧縮装置及び方法
JP6352625B2 (ja) 画像データ圧縮回路、画像データ圧縮方法及び撮像装置
CN107592297B (zh) 一种移动侦测的方法、系统及终端设备
Kumar et al. A novel method for image compression using spectrum
US10893300B2 (en) System and method for video processing
US9591332B2 (en) Image processing apparatus performing preprocessing to prevent boundary positions of divided rectangular regions of image data from being separated into dense and sparse portions
CN113454995A (zh) 跨多个图像的压缩
JP6486120B2 (ja) 符号化装置、符号化装置の制御方法、及びプログラム
US10015507B2 (en) Transform system and method in video and image compression
JP6285711B2 (ja) 画像処理装置
WO2022217472A1 (zh) 点云编解码方法、编码器、解码器及计算机可读存储介质
CN114764834A (zh) 图像处理方法及模组、设备、存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180405

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190403

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190820