JP2005323192A - 撮影装置およびこれに用いるプログラム並びに画像記憶方法 - Google Patents

撮影装置およびこれに用いるプログラム並びに画像記憶方法 Download PDF

Info

Publication number
JP2005323192A
JP2005323192A JP2004140064A JP2004140064A JP2005323192A JP 2005323192 A JP2005323192 A JP 2005323192A JP 2004140064 A JP2004140064 A JP 2004140064A JP 2004140064 A JP2004140064 A JP 2004140064A JP 2005323192 A JP2005323192 A JP 2005323192A
Authority
JP
Japan
Prior art keywords
block noise
image
block
compressed image
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004140064A
Other languages
English (en)
Other versions
JP4281615B2 (ja
Inventor
Poon Yunis
プーン ユニス
Megumi Kanda
めぐみ 神田
Clark Ian
クラーク イアン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2004140064A priority Critical patent/JP4281615B2/ja
Priority to US11/125,326 priority patent/US20060034531A1/en
Publication of JP2005323192A publication Critical patent/JP2005323192A/ja
Application granted granted Critical
Publication of JP4281615B2 publication Critical patent/JP4281615B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

【課題】 撮影した画像に応じた圧縮率により圧縮して記憶媒体に記憶する。
【解決手段】 撮影した画像をデフォルト値の圧縮率ρによりJPEG圧縮し(S110)、JPEG圧縮した圧縮画像のブロックノイズの程度を判定する(S120)。そして、ブロックノイズの程度として計算されたブロックノイズ評価値Bを設定値Bsetと比較し(S130)。ブロックノイズ評価値Bが設定値Bsetより大きいときには、ブロックノイズ評価値Bが設定値Bset以下となるまで圧縮率ρを小さくしてJPEG圧縮する(S140)。そして、ブロックノイズ評価値Bが設定値Bset以下になると、その圧縮画像データに撮影順のIDを付与して記憶媒体に保存する(S150)。この結果、撮影した画像に応じた圧縮率により圧縮して画像を記憶媒体に記憶することができる。
【選択図】 図4

Description

本発明は、撮影装置およびこれに用いるプログラム並びに画像記憶方法に関する。
従来、この種の撮影装置としては、撮影した画像を液晶モニタに表示するものが提案されている(例えば、特許文献1参照)。この装置では、撮影した画像をその場で液晶モニタに表示し、撮影者に撮影した内容(画像)を確認させ、着脱自在な記憶媒体に記憶する。
特開2000−209467号公報
しかしながら、上述の撮影装置では、撮影した画像をその場で目視によって確認することができるものの、その後にJPEG(Joint Photographic Experts Group)圧縮などを施して記憶媒体に記憶した画像に生じ得る圧縮に伴うノイズの確認はできない。
画像の圧縮に伴うノイズは、目視に対しては滑らかに色調や明るさが変化するような画像では比較的低圧縮率としても影響が生じやすく、色調や明るさが大きく変化する画像では比較的高圧縮率としても影響は生じにくい。即ち、画像の圧縮に伴うノイズは画像によって異なるものとなる。このため、画像の圧縮に伴うノイズの影響を小さくするために一律に圧縮率を低下することも考えられるが、圧縮率を低下すると、記憶媒体に記憶できる圧縮した画像の数が少なくなってしまう。
本発明の撮影装置は、撮影した画像に応じた圧縮率により圧縮して記憶媒体に記憶することを目的の一つとする。また、本発明の撮影装置は、画像を圧縮する際に生じ得るノイズの影響を確認することを目的の一つとする。さらに、本発明の撮影装置は、画像を圧縮する際に生じ得るノイズの影響をより適正に判定することを目的の一つとする。
本発明の撮影装置用のプログラムは、撮影装置を撮影した画像に応じた圧縮率により圧縮して記憶媒体に記憶するよう機能させることを目的の一つとする。また、本発明の撮影装置用のプログラムは、画像を圧縮する際に生じ得るノイズの影響をより適正に判定することを目的の一つとする。
本発明の画像記憶方法は、撮影した画像をより適正な圧縮率を用いて圧縮して記憶媒体に記憶することを目的の一つとする。また、本発明の画像記憶方法は、画像を圧縮する際に生じ得るノイズの影響をより適正に判定して画像を圧縮して記憶媒体に記憶することを目的の一つとする。
本発明の撮影装置およびこれに用いるプログラム並びに画像記憶方法は、上述の目的の少なくとも一部を達成するために以下の手段を採った。
本発明の撮影装置は、
画像を撮影する撮影装置であって、
撮影した画像を縦横が所定の画素数のブロックに分割して圧縮した圧縮画像を生成する圧縮画像生成手段と、
前記圧縮画像を記憶可能な記憶手段と、
前記圧縮画像に対して圧縮に伴ってブロック境界に生じ得るブロックノイズの程度を判定するブロックノイズ判定手段と、
前記判定されたブロックノイズの程度が所定のブロックノイズの程度以上のときには前記撮影した画像の圧縮率を低減した圧縮画像が作成されるよう前記画像圧縮手段を制御し、前記判定されたブロックノイズの程度が前記所定のブロックノイズの程度以下のときには前記圧縮画像が前記記憶手段に記憶されるよう制御する画像圧縮記憶制御手段と、
を備えることを要旨とする。
この本発明の撮影装置では、撮影した画像を縦横が所定の画素数のブロックに分割して圧縮した圧縮画像を生成し、この圧縮画像に対して圧縮に伴ってブロック境界に生じ得るブロックノイズの程度を判定し、判定したブロックノイズの程度が所定のブロックノイズの程度以上のときには撮影した画像の圧縮率を低減した圧縮画像を作成する。こうして作成された圧縮画像は再びブロックノイズの程度が判定される。そして、判定したブロックノイズの程度が所定のブロックノイズの程度以下のときにはその圧縮画像を記憶手段に記憶する。したがって、撮影した画像を所定のブロックノイズの程度以下の圧縮画像として記憶することができる。即ち、撮影した画像に応じた圧縮率により圧縮して記憶手段に記憶することができるのである。
こうした本発明の撮影装置において、前記ブロックノイズ判定手段は、前記圧縮画像における各画素に対して所定の方向に隣接する画素に対する輝度成分に基づいて各画素間の輝度強度差を演算し、各画素間の輝度強度差の前記所定の方向における前後の差分に基づいて各画素における輝度の変化の滑らかさを演算し、前記ブロックの境界に位置しない画素における輝度の変化の滑らかさの平均に対する前記ブロックの境界に位置する画素における輝度の変化の滑らかさの平均の比に基づいてブロックノイズ評価指数を演算し、該演算したブロックノイズ評価指数に基づいてブロックノイズの程度を判定する手段であるものとすることもできる。こうすれば、ブロックの境界に位置する画素と隣接する画素とにおける輝度の変化の滑らかさに基づいてブロックノイズの程度を判定するから、より適正にブロックノイズの程度を判定することができる。また、規格的に演算するだけであるから、より迅速にブロックノイズの程度を判定することができる。
このブロックの境界に位置する画素と隣接する画素とにおける輝度の変化の滑らかさに基づいてブロックノイズの程度を判定する態様の本発明の撮影装置において、前記所定の方向は、縦方向と横方向との二方向であるものとすることもできる。この場合、ブロックノイズ判定手段は、縦方向における前記比と横方向における前記比との平均に基づいてブロックノイズ評価指数を演算する手段であるものとすることもできる。
また、ブロックの境界に位置する画素と隣接する画素とにおける輝度の変化の滑らかさに基づいてブロックノイズの程度を判定する態様の本発明の撮影装置において、前記所定の方向は、縦方向または横方向のうちのいずれか一方向であるものとすることもできる。こうすれば、より迅速にブロックノイズの程度を判定することができる。
さらに、ブロックの境界に位置する画素と隣接する画素とにおける輝度の変化の滑らかさに基づいてブロックノイズの程度を判定する態様の本発明の撮影装置において、前記ブロックノイズ判定手段は、各画素に対して所定の方向に隣接する画素に対する輝度成分の差分を前記各画素の輝度強度差として演算する手段であるものとすることもできる。また、前記ブロックノイズ判定手段は、各画素間の輝度強度差の前記所定の方向における前後の差分の絶対値の和を前記各画素における輝度の変化の滑らかさとして演算する手段であるものとすることもできる。あるいは、前記ブロックノイズ判定手段は、ブロックノイズの程度が大きくなるほど大きな値となるようブロックノイズ評価指数を演算する手段であるものとすることもできる。
また、本発明の撮影装置において、前記圧縮画像作成手段は、デフォルト値として所定の圧縮率を用いて前記撮影した画像の圧縮画像を作成する手段であるものとすることもできる。こうすれば、まず、デフォルトの圧縮率を用いて圧縮画像を作成することができる。このデフォルトの圧縮率としては、スナップ写真などとして撮影される通常の画像において圧縮に伴うノイズの影響が生じにくい比較的大きな圧縮率とすることができる。こうすれば、多くの撮影した画像に対しては比較的大きな圧縮率による圧縮画像として記憶手段に記憶することができる。
本発明の撮影装置において、前記画像圧縮記憶制御手段は、前記判定されたブロックノイズの程度が所定のブロックノイズの程度以上のときには予め定められた段階的に低減する圧縮率を順次選択して前記撮影した画像の圧縮画像が作成されるよう前記画像圧縮手段を制御する手段であるものとすることもできる。こうすれば、圧縮率を設定する必要がなく、効率よく圧縮率を変更して撮影した画像の圧縮画像を作成することができる。
本発明の撮影装置において、画像や文字などの表示情報を表示可能な表示手段と、前記判定されたブロックノイズの程度を前記表示手段に表示するブロックノイズ表示制御手段と、を備えるものとすることもできる。こうすれば、画像を圧縮する際に生じ得るノイズの程度を操作者に確認させることができる。
このブロックノイズの程度を表示手段に表示する態様の本発明の撮影装置において、前記ブロックノイズ表示制御手段は、前記判定されたブロックノイズの程度を数値および/またはグラフをもって前記表示手段に表示する手段であるものとすることもできる。こうすれば、ブロックノイズの程度をより的確に表示することができる。
またブロックノイズの程度を表示手段に表示する態様の本発明の撮影装置において、前記画像圧縮記憶制御手段は、操作者による前記撮影した画像の圧縮率を低減した圧縮画像の作成の指示がなされたときに前記撮影した画像の圧縮率を低減した圧縮画像が作成されるよう前記画像圧縮手段を制御する手段であるものとすることもできる。こうすれば、操作者の所望のブロックノイズの程度として圧縮画像を記憶手段に記憶させることができる。
本発明の撮影装置用のプログラムは、
撮影した画像を記憶可能な記憶手段を有する撮影装置用のプログラムであって、
(a)撮影した画像を縦横が所定の画素数のブロックに分割して圧縮した圧縮画像を生成するモジュールと、
(b)前記圧縮画像に対して圧縮に伴ってブロック境界に生じ得るブロックノイズの程度を判定するモジュールと、
(c)前記判定されたブロックノイズの程度が所定のブロックノイズの程度以上のときには前記撮影した画像の圧縮率を低減した圧縮画像が作成されるよう前記画像圧縮手段を制御し、前記判定されたブロックノイズの程度が前記所定のブロックノイズの程度以下のときには前記圧縮画像が前記記憶手段に記憶されるよう制御するモジュールと、
を備えることを要旨とする。
この本発明の撮影装置用のプログラムでは、撮影装置にインストールして起動することにより、撮影装置を、撮影した画像を縦横が所定の画素数のブロックに分割して圧縮した圧縮画像を生成し、この圧縮画像に対して圧縮に伴ってブロック境界に生じ得るブロックノイズの程度を判定し、判定したブロックノイズの程度が所定のブロックノイズの程度以上のときには撮影した画像の圧縮率を低減した圧縮画像を作成し、判定したブロックノイズの程度が所定のブロックノイズの程度以下のときにはその圧縮画像を記憶手段に記憶する、装置として機能させることができる。したがって、撮影した画像を所定のブロックノイズの程度以下の圧縮画像として記憶することができる。
こうした本発明の撮影装置用のプログラムにおいて、前記モジュール(b)は、前記圧縮画像における各画素に対して所定の方向に隣接する画素に対する輝度成分に基づいて各画素間の輝度強度差を演算し、各画素間の輝度強度差の前記所定の方向における前後の差分に基づいて各画素における輝度の変化の滑らかさを演算し、前記ブロックの境界に位置しない画素における輝度の変化の滑らかさの平均に対する前記ブロックの境界に位置する画素における輝度の変化の滑らかさの平均の比に基づいてブロックノイズ評価指数を演算し、該演算したブロックノイズ評価指数に基づいてブロックノイズの程度を判定するモジュールであるものとすることもできる。こうすれば、ブロックの境界に位置する画素と隣接する画素とにおける輝度の変化の滑らかさに基づいてブロックノイズの程度を判定するから、より適正にブロックノイズの程度を判定することができる。
本発明の画像記憶方法は、
画像を記憶する画像記憶方法であって、
(a)画像を縦横が所定の画素数のブロックに分割して圧縮した圧縮画像を生成し、
(b)前記圧縮画像に対して圧縮に伴ってブロック境界に生じ得るブロックノイズの程度を判定し、
(c)前記判定されたブロックノイズの程度が所定のブロックノイズの程度以上のときには前記画像の圧縮率を低減した圧縮画像を作成し、前記判定されたブロックノイズの程度が前記所定のブロックノイズの程度以下のときには前記圧縮画像を記憶する、
ことを要旨とする。
この本発明の画像記憶方法では、画像を縦横が所定の画素数のブロックに分割して圧縮した圧縮画像を生成し、この圧縮画像に対して圧縮に伴ってブロック境界に生じ得るブロックノイズの程度を判定し、判定したブロックノイズの程度が所定のブロックノイズの程度以上のときには画像の圧縮率を低減した圧縮画像を作成する。こうして作成された圧縮画像は再びブロックノイズの程度を判定する。そして、判定したブロックノイズの程度が所定のブロックノイズの程度以下のときにはその圧縮画像を記憶手段に記憶する。したがって、画像を所定のブロックノイズの程度以下の圧縮画像として記憶することができる。
こうした本発明の画像記憶方法において、前記ステップ(b)は、前記圧縮画像における各画素に対して所定の方向に隣接する画素に対する輝度成分に基づいて各画素間の輝度強度差を演算し、各画素間の輝度強度差の前記所定の方向における前後の差分に基づいて各画素における輝度の変化の滑らかさを演算し、前記ブロックの境界に位置しない画素における輝度の変化の滑らかさの平均に対する前記ブロックの境界に位置する画素における輝度の変化の滑らかさの平均の比に基づいてブロックノイズ評価指数を演算し、該演算したブロックノイズ評価指数に基づいてブロックノイズの程度を判定するステップであるものとすることもできる。こうすれば、ブロックの境界に位置する画素と隣接する画素とにおける輝度の変化の滑らかさに基づいてブロックノイズの程度を判定するから、より適正にブロックノイズの程度を判定することができる。
次に、本発明を実施するための最良の形態を実施例を用いて説明する。
図1は本発明の一実施例としての撮影装置であるデジタルカメラ20の外観を例示する斜視図であり、図2は実施例のデジタルカメラ20の背面を例示する背面図であり、図3は実施例のデジタルカメラ20の機能ブロックを例示するブロック図である。
実施例のデジタルカメラ20は、図1に示すように、正面には光学3倍ズームが可能なズーム機構付きレンズ21と、点滅することによりセルフタイマーが動作中であることを表示するセルフタイマー点灯部25とを備え、上部にはモードを選択するモードダイヤル23と、このモードダイヤル23の中央に配置された電源ボタン22と、シャッターボタン24とを備える。また、デジタルカメラ20は、図2に示すように、背面30には、中央の左寄りに配置された液晶ディスプレイ31と、その右側に配置され上下左右の方向に操作可能な4方向ボタン32と、背面30の左上に配置された印刷ボタン33と、ズーム機能を操作するWボタン34aおよびTボタン34bと、4方向ボタン32の左上に配置されたメニューボタン35と、液晶ディスプレイ31の下方の左右に配置されたAボタン36およびBボタン37と、4方向ボタン32の下方左に配置され液晶ディスプレイ31への表示を切り替えるディスプレーボタン38と、その右方向に配置されたレビューボタン39とを備える。
実施例のデジタルカメラ20は、機能的には図3に例示するように、中央演算処理装置としてのCPU40aや処理プログラムを記憶するROM40b,一時的にデータを記憶するワークメモリ40c,設定されたデータを不揮発的に記憶するフラッシュメモリ40dなどを中心として構成されている。デジタルカメラ20は、撮影系として、レンズや絞りなどにより構成された光学系42や、この光学系42により結像される光学像を光電変換して得られる電荷を受光セル毎に一定時間蓄積し受光セル毎の受光量に応じた電気信号を出力するイメージセンサ43、このイメージセンサ43を駆動するために必要な駆動パルスをイメージセンサ43に出力する駆動回路としてのセンサコントローラ44、イメージセンサ43から出力される電気信号を量子化してディジタル信号に変換するアナログフロントエンド(AFE)部45、このAFE部45から出力されたディジタル信号に対して画像形成処理,ホワイトバランス補正,γ補正,色空間変換等を施して各画素についてR,G,Bの階調値やY,Cb,Crの階調値などを表すディジタル画像を出力するデジタル画像処理部46、ディジタル画像の系列変換(離散コサイン変換やウェーブレット変換等)及びエントロピー符号化(ランレングス符号化やハフマン符号化等)を行なうことによりディジタル画像を圧縮しそれらの逆変換を施すことによりディジタル画像を伸張する圧縮伸張部47などを備える。また、実施例のデジタルカメラ20は、液晶ディスプレイ31の一画面分のデータを格納するためのフレームバッファやフレームバッファに格納されたディジタル画像に基づいて液晶ディスプレイ31を駆動するための表示回路を有するディスプレイコントローラ50やモードダイヤル23,4方向ボタン32,各種ボタン24,33〜39の入力および着脱可能なフラッシュメモリなどの記憶媒体53への入出力を司る入出力インタフェース52、USB(Universal Serial Bus)接続端子55に接続された機器(コンピュータやプリンタ)と通信のやり取りを管理するUSBホストコントローラ54やUSBデバイスコントローラ56なども備えている。なお、実施例では、圧縮伸張部47は圧縮率を指定して縦横8ピクセルのブロック毎に圧縮するJPEG(Joint Photographic Experts Group)圧縮により画像データを圧縮画像データとしたり、逆に圧縮画像データをJPEG展開により圧縮画像データを通常の画像データに戻す。デジタル画像処理部46により画像処理された画像データや圧縮伸張部47によりJPEG圧縮やJPEG展開(圧縮・伸張)された画像データは、一旦ワークメモリ40cに書き込まれ、後述するブロックノイズ判定処理により適合した画像データとして、その後、撮影順にIDとしてのファイル名が付与されて画像ファイルとして入出力インタフェース52を介して記憶媒体53に書き込まれる。
次に、こうして構成された実施例のデジタルカメラ20の動作、特に撮影した画像データを記憶媒体53に記憶する際の動作について説明する。図4は、撮影した画像データを記憶媒体53に記憶する際にCPU40aにより実行される画像記憶処理の一例を示すフローチャートである。画像記憶処理が実行されると、CPU40aは、まず、デフォルト値を圧縮率ρに設定し(ステップS100)、撮影した画像データを圧縮率ρによるJPEG圧縮を行なう(ステップS110)。ここで、圧縮率ρのデフォルト値は、色調や明るさが大きく変化する画像をJPEG圧縮した際に画像の圧縮に伴うブロック境界に生じ得るノイズ(以下、ブロックノイズという。)の影響があまり生じない程度として設定されている。また、圧縮率ρによるJPEG圧縮は、デジタル画像処理部46により画像処理されてワークメモリ40cに記憶されている画像データに対して圧縮伸張部47により実行される。なお、前述したようにJPEG圧縮された圧縮画像データは、ワークメモリ40cに書き込まれる。
次に、JPEG圧縮された圧縮画像のブロックノイズの程度を判定する(ステップS120)。このブロックノイズの程度の判定は、図5に例示するブロックノイズ判定処理ルーチンにより実行される。画像記憶処理の説明を中断し、ブロックノイズの判定処理について説明する。
ブロックノイズの判定は、まず、JPEG展開された対象となる赤(R),緑(G),青(B)の表色系で表現された画像(RGB画像)を次式(1)によりY(輝度),I(オレンジ−シアン),Q(緑−マゼンダ)の三要素からなるYIQ色空間に変換する(ステップS200)。
Figure 2005323192
続いて、YIQ色空間に変換した画像のYチャンネルを用いて水平方向と垂直方向における各画素間の輝度強度差を計算する(ステップS210)。実施例では、輝度強度差は、水平方向の輝度強度差をdx(x,y)とし、垂直方向の輝度強度差をdy(x,y)とし、各画素の輝度をY(x,y)とすると、次式(2)および式(3)により計算される。この輝度強度差は、式(2)および式(3)から解るように、隣接する画素間の輝度の偏差を表わす。
dx(x,y)=Y(x+1,y)-Y(x,y) (2)
dy(x,y)=Y(x,y+1)-Y(x,y) (3)
次に、計算した輝度強度差から水平方向と垂直方向の各画素における輝度の変化の滑らかさを計算する(ステップS220)。実施例では、各画素における輝度の変化の滑らかさは、水平方向の画素における輝度の変化の滑らかさをsx(x,y)とし、垂直方向の画素における輝度の変化の滑らかさをsy(x,y)とすると、次式(4)および式(5)により計算される。この画素における輝度の変化の滑らかさは、式(4)および式(5)から解るように、隣接する画素間の輝度の偏差の絶対値の和の大きさを表わす。
sx(x,y)=|dx(x-1,y)-dx(x,y)|+|dx(x,y)-dx(x+1,y)| (4)
sy(x,y)=|dy(x,y-1)-dy(x,y)|+|dy(x,y)-dy(x,y+1)| (5)
こうして各画素の輝度の変化の滑らかさを計算すると、JPEG圧縮に用いたブロックの境界に位置する画素(以下、境界ピクセルという。)における水平方向および垂直方向の輝度の変化の滑らかさの平均ave(psx),ave(psy)を計算すると共に(ステップS230)、境界ピクセル以外の画素(以下、内部ピクセルという。)における水平方向および垂直方向の輝度の変化の滑らかさの平均ave(nsx),ave(nsy)を計算する(ステップS240)。具体的には、水平方向の境界ピクセルにおける輝度の変化の滑らかさの平均ave(psx)についてxが8の倍数のsx(x,y)の総和をその個数で割ることにより計算し、垂直方向の境界ピクセルにおける輝度の変化の滑らかさの平均ave(psy)についてyが8の倍数のsx(x,y)の総和をその個数で割ることにより計算し、水平方向の内部ピクセルにおける輝度の変化の滑らかさの平均ave(nsx)についてxが8の倍数ではないsx(x,y)の総和をその個数で割ることにより計算し、垂直方向の内部ピクセルにおける輝度の変化の滑らかさの平均ave(nsy)についてyが8の倍数ではないsx(x,y)の総和をその個数で割ることにより計算する。
そして、水平方向の内部ピクセルにおける輝度の変化の滑らかさの平均ave(nsx)に対する水平方向の境界ピクセルにおける輝度の変化の滑らかさの平均ave(psx)の比{ave(psx)/ave(nsx)}として水平方向のブロックノイズ評価値Bhを計算すると共に(ステップS250)、垂直方向の内部ピクセルにおける輝度の変化の滑らかさの平均ave(nsy)に対する垂直方向の境界ピクセルにおける輝度の変化の滑らかさの平均ave(psy)の比{ave(psy)/ave(nsy)}として垂直方向のブロックノイズ評価値Bvを計算し(ステップS260)、水平方向のブロックノイズ評価値Bhと垂直方向のブロックノイズ評価値Bvとの平均を画像におけるブロックノイズ評価値Bとして計算する(ステップS270)。水平方向のブロックノイズ評価値Bhや垂直方向のブロックノイズ評価値Bvは、内部ピクセルにおける輝度の変化の滑らかさの平均に対する境界ピクセルにおける輝度の変化の滑らかさの比であるから、ブロックノイズの程度が小さいときには値1に近い値となり、ブロックノイズの程度が大きいときには値1より大きな値となる。しかも、内部ピクセルにおける輝度の変化の滑らかさの平均が小さいとき、例えば滑らかに色調や明るさが変化するような画像では、境界ピクセルにおける輝度の変化の滑らかさの平均が際だつから、ブロックノイズ評価値として大きな値となり、内部ピクセルにおける輝度の変化の滑らかさの平均が大きいとき、例えば、色調や明るさが大きく変化する画像では、境界ピクセルにおける輝度の変化の滑らかさの平均が埋没するから、ブロックノイズ評価値として小さな値となる。したがって、より適切にブロックノイズの程度を表わすことができる。そして、ブロックノイズ評価値Bの値に基づいてブロックノイズの程度を判定する(ステップS280)。実施例では、ブロックノイズ評価値Bとして、ブロックノイズが全くないときには値1となり、ブロックノイズがひどいときには値10に近くなるから、値1から値10の範囲でブロックノイズの程度を判定することができる。
こうしてブロックノイズの程度を判定すると、図4の画像記憶処理では、計算したブロックノイズ評価値Bを設定値Bsetと比較する(ステップS130)。ここで、設定値Bsetは、目視によってはブロックノイズを判別することができない程度のブロックノイズの評価値として設定されており、例えば、値1.5や値2や値2.5などのように定めることができる。計算したブロックノイズ評価値Bが設定値Bsetより大きいときには、圧縮画像のブロックノイズの程度は大きいと判断し、圧縮率ρに値0より大きく値1より小さな低減係数kを乗じて圧縮率ρを小さくし(ステップS140)、ステップS110に戻ってワークメモリ40cに書き込まれている画像データに対して小さくした圧縮率ρによるJPEG圧縮を実行し、ステップS130の処理によりブロックノイズ評価値Bが設定値Bset以下になるまで、圧縮率ρを小さくしてJPEG圧縮し、ブロックノイズ評価値Bを計算する処理、即ちステップS110〜S140の処理を繰り返す。
ブロックノイズ評価値Bが設定値Bset以下になると、その圧縮画像データに撮影順のIDを付与して入出力インタフェース52を介して記憶媒体53にJPEG保存して(ステップS150)、画像記憶処理を終了する。
以上説明した実施例のデジタルカメラ20によれば、ブロックノイズ評価値Bが目視によってはブロックノイズを判別することができない程度のブロックノイズの評価値として設定された設定値Bset以下となった圧縮率ρによるJPEG圧縮された圧縮画像データを記憶媒体53に記憶するから、撮影した画像に対してより適正な圧縮率を用いて圧縮して記憶媒体53に記憶することができる。
また、実施例のデジタルカメラ20によれば、境界ピクセルにおける輝度の変化の滑らかさに基づいてブロックノイズの程度を判定するから、より適正にブロックノイズの程度を判定することができる。しかも、ブロックノイズ評価値Bを内部ピクセルにおける輝度の変化の滑らかさの平均に対する境界ピクセルにおける輝度の変化の滑らかさの比として計算するから、滑らかに色調や明るさが変化するような画像では境界ピクセルにおける輝度の変化の滑らかさの平均を際だたせて大きな値としてブロックノイズ評価値Bを計算し、色調や明るさが大きく変化する画像では境界ピクセルにおける輝度の変化の滑らかさの平均を埋没させて小さな値としてブロックノイズ評価値Bを計算するから、ブロックノイズ評価値Bによる評価を目視の評価に対応させることができる。この結果、より適正にブロックノイズの程度を判定することができる。さらに、値1から値10の範囲となるブロックノイズ評価値Bを用いるから、数値によってブロックノイズを判定することができる。こうしたブロックノイズを適正に判定することができる結果、画像を圧縮する際に生じ得るノイズの影響をより適正に判定して画像を圧縮して記憶媒体に記憶することができる。
実施例のデジタルカメラ20では、圧縮伸張部47が圧縮画像生成手段に相当し、記憶媒体53が記憶手段に相当し、図5のブロックノイズ判定処理を実行するCPU40aがブロックノイズ判定手段に相当し、図4の画像記憶処理を実行するCPU40aが画像圧縮記憶制御手段に相当する。
次に本発明の第2実施例としてのデジタルカメラ20Bについて説明する。第2実施例のデジタルカメラ20Bは、第1実施例のデジタルカメラ20と同一のハード構成をしている。このため、第2実施例のデジタルカメラ20Bのハード構成については、第1実施例のデジタルカメラ20のハード構成と同一の符号を付し、その詳細な説明は省略する。第2実施例のデジタルカメラ20Bでは、画像が撮影されると、図4の画像記憶処理に代えて図6の画像記憶処理が実行される。
図6の画像記憶処理が実行されると、CPU40aは、図4の画像記憶処理のステップS100ないしS120と同様に、デフォルト値を圧縮率ρに設定し(ステップS300)、撮影した画像データを圧縮率ρによるJPEG圧縮を行ない(ステップS310)、JPEG圧縮された圧縮画像のブロックノイズの程度を図5に例示したブロックノイズ判定方法を用いて判定する(ステップS320)。そして、ブロックノイズ評価値Bを含む操作画面を液晶ディスプレイ31に表示する(ステップS330)。操作画面の一例を液晶ディスプレイ31に表示した状態の背面30を図7に示す。図7の例では、撮影した画像が液晶ディスプレイ31に表示されると共にブロックノイズ評価値Bがその数値と共に画面の下部に棒グラフとして表示される。また、操作画面の下部左右には、「圧縮率変更」と「保存」とがAボタン36とBボタン37に対応するよう表示される。操作者は、この操作画面の状態でAボタン36を操作することにより、JPEG圧縮における圧縮率ρを変更することができる。また、操作者は、この操作画面の状態でBボタン37を操作することにより、JPEG圧縮された圧縮画像データを記憶媒体53に記憶することができる。
操作者による操作画面でのAボタン36またはBボタン37の操作が行なわれると、操作ボタンの操作を判定し(ステップS340)、Aボタン36が操作されて圧縮率の変更が選択されたときには、圧縮率ρに低減係数kを乗じて圧縮率ρを小さくし(ステップS350)、ステップS310に戻ってワークメモリ40cに書き込まれている画像データに対して小さくした圧縮率ρによるJPEG圧縮を実行し、再びブロックノイズの程度を判定し(ステップS320)、ブロックノイズ評価値Bを含む操作画面を再び液晶ディスプレイ31に表示する(ステップS330)。このように、操作画面が表示されている状態でAボタン36が操作されると、JPEG圧縮における圧縮率ρを小さくしてJPEG圧縮してブロックノイズの程度を判定する処理を繰り返す。
一方、操作者が操作画面でBボタン37を操作すると、JPEG圧縮された圧縮画像データに撮影順のIDを付与して入出力インタフェース52を介して記憶媒体53にJPEG保存して(ステップS360)、画像記憶処理を終了する。
以上説明した第2実施例のデジタルカメラ20Bによれば、撮影した画像をJPEG圧縮した圧縮画像のブロックノイズ評価値Bを確認して保存することができる。しかも、圧縮率ρを変更してJPEG圧縮した圧縮画像を保存することができるから、撮影した画像を適切な圧縮率ρによりJPEG圧縮して保存することができる。もとより、図5に例示したブロックノイズの判定方法によりブロックノイズの程度を判定するから、より適正にブロックノイズの程度を判定することができる。
この第2実施例のデジタルカメラ20Bでは、圧縮伸張部47が圧縮画像生成手段に相当し、記憶媒体53が記憶手段に相当し、図5のブロックノイズ判定処理を実行するCPU40aがブロックノイズ判定手段に相当し、液晶ディスプレイ31が表示手段に相当し、図6の画像記憶処理におけるステップS330の処理を実行するCPU40aがブロックノイズ表示制御手段に相当し、図6の画像記憶処理を実行するCPU40aが画像圧縮記憶制御手段に相当する。
第2実施例のデジタルカメラ20Bでは、ブロックノイズ評価値Bを計算する毎に操作画面を液晶ディスプレイ31に表示するものとしたが、ブロックノイズ評価値Bが所定の値以下のときにだけブロックノイズ評価値Bを液晶ディスプレイ31に表示し、ブロックノイズ評価値Bが所定の値より大きいときには、操作者に確認することなく圧縮率ρを小さくして再びJPEG圧縮するものとしてもよい。
第2実施例のデジタルカメラ20Bでは、ブロックノイズ評価値Bを棒グラフと数値とにより液晶ディスプレイ31に表示するものとしたが、ブロックノイズ評価値Bを棒グラフなどのグラフにしたものだけを液晶ディスプレイ31に表示し、数値を表示しないものとしてもよいし、ブロックノイズ評価値Bを数値として液晶ディスプレイ31に表示するだけで棒グラフとして表示しないものとしてもよい。
第1実施例や第2実施例のデジタルカメラ20,20Bでは、ブロックノイズ判定方法として、水平方向におけるブロックノイズ評価値Bhと垂直方向におけるブロックノイズ評価値Bvとの平均としてブロックノイズ評価値Bを計算するものとしたが、水平方向におけるブロックノイズ評価値Bhだけを計算し、この計算したブロックノイズ評価値Bhを画像のブロックノイズ評価値Bとして取り扱うものとしてもよいし、垂直方向におけるブロックノイズ評価値Bvだけを計算し、この計算したブロックノイズ評価値Bvを画像のブロックノイズ評価値Bとして取り扱うものとしてもよい。こうすれば、ブロックノイズ評価値Bを計算する演算量を少なくすることができる。
第1実施例や第2実施例のデジタルカメラ20,20Bでは、ブロックノイズ判定方法として、値1〜値10の範囲となるブロックノイズ評価値Bを用いたが、ブロックノイズ評価値Bが値1〜値100の範囲などいかなる範囲となるよう調整するものとしてもよい。
第1実施例や第2実施例のデジタルカメラ20,20Bでは、ブロックノイズ判定方法として、すべての画素(ピクセル)について画素における輝度の変化の滑らかさを計算するものとしたが、境界ピクセルについてはすべてのピクセルについて画素における輝度の変化の滑らかさを計算するが、内部ピクセルについては一部、例えばxやyについて8で除したときに1,4の余りが生じるピクセルや2,6の余りが生じるピクセルについてのみ画素における輝度の変化の滑らかさを計算するものとしてもよい。
第1実施例や第2実施例では、撮影した画像を縦横8ピクセルをブロックとして圧縮するJPEG圧縮すると共に圧縮画像の圧縮に伴ってブロック境界に生じ得るブロックノイズの程度を判定し、所定の程度以下となるようにして圧縮画像を記憶媒体53に保存するものとして説明したが、縦横所定のサイズのブロックとして圧縮するものであれば、JPEG圧縮に限られず、縦横いかなるサイズのブロックとして圧縮する場合にも適用することができる。
実施例では、撮影し多画像をJPEG圧縮すると共に圧縮に伴ってブロック境界に生じ得るブロックノイズの程度を判定し、所定の程度以下の圧縮画像として記憶媒体53に保存するデジタルカメラ20として説明したが、こうしたデジタルカメラ20に用いられるプログラムの形態や画像記憶方法の形態としてもよい。プログラムの場合、図4や図6に例示する画像記憶処理や図5に例示するブロックノイズの判定処理を各手順として適当なプログラミング言語によりプログラムすればよい。
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において、種々なる形態で実施し得ることは勿論である。
本発明は、撮影装置製造業に利用可能である。
第1実施例のデジタルカメラ20の外観を例示する斜視図。 第1実施例のデジタルカメラ20の背面を例示する背面図。 第1実施例のデジタルカメラ20の機能ブロックを例示するブロック図。 画像記憶処理の一例を示すフローチャート。 ブロックノイズの判定処理の一例を示すフローチャート。 第2実施例の画像記憶処理の一例を示すフローチャート。 操作画面を表示している際の背面30を示す説明図。
符号の説明
20,20B デジタルカメラ、21 ズーム機構付きレンズ、22 電源ボタン、23 モードダイヤル、24 シャッターボタン、25 セルフタイマー点灯部、30 背面、31 液晶ディスプレイ、32 4方向ボタン、33 印刷ボタン、34a Wボタン、34b Tボタン、35 メニューボタン、36 Aボタン、37 Bボタン、38 ディスプレーボタン、39 レビューボタン、40a CPU、40b ROM、40c ワークメモリ、40d フラッシュメモリ、42 光学系、43 イメージセンサ、44 センサコントローラ、45 アナログフロントエンド(AFE)部、46 デジタル画像処理部、47 圧縮伸張部、50 ディスプレイコントローラ、52 入出力インタフェース、53 記憶媒体、54 USBホストコントローラ、55 USB接続端子、56 USBデバイスコントローラ。

Claims (17)

  1. 画像を撮影する撮影装置であって、
    撮影した画像を縦横が所定の画素数のブロックに分割して圧縮した圧縮画像を生成する圧縮画像生成手段と、
    前記圧縮画像を記憶可能な記憶手段と、
    前記圧縮画像に対して圧縮に伴ってブロック境界に生じ得るブロックノイズの程度を判定するブロックノイズ判定手段と、
    前記判定されたブロックノイズの程度が所定のブロックノイズの程度以上のときには前記撮影した画像の圧縮率を低減した圧縮画像が作成されるよう前記画像圧縮手段を制御し、前記判定されたブロックノイズの程度が前記所定のブロックノイズの程度以下のときには前記圧縮画像が前記記憶手段に記憶されるよう制御する画像圧縮記憶制御手段と、
    を備える撮影装置。
  2. 前記ブロックノイズ判定手段は、前記圧縮画像における各画素に対して所定の方向に隣接する画素に対する輝度成分に基づいて各画素間の輝度強度差を演算し、各画素間の輝度強度差の前記所定の方向における前後の差分に基づいて各画素における輝度の変化の滑らかさを演算し、前記ブロックの境界に位置しない画素における輝度の変化の滑らかさの平均に対する前記ブロックの境界に位置する画素における輝度の変化の滑らかさの平均の比に基づいてブロックノイズ評価指数を演算し、該演算したブロックノイズ評価指数に基づいてブロックノイズの程度を判定する手段である請求項1記載の撮影装置。
  3. 前記所定の方向は、縦方向と横方向との二方向である請求項2記載の撮影装置。
  4. 前記ブロックノイズ判定手段は、縦方向における前記比と横方向における前記比との平均に基づいてブロックノイズ評価指数を演算する手段である請求項3記載の撮影装置。
  5. 前記所定の方向は、縦方向または横方向のうちのいずれか一方向である請求項2記載の撮影装置。
  6. 前記ブロックノイズ判定手段は、各画素に対して所定の方向に隣接する画素に対する輝度成分の差分を前記各画素の輝度強度差として演算する手段である請求項2ないし5いずれか記載の撮影装置。
  7. 前記ブロックノイズ判定手段は、各画素間の輝度強度差の前記所定の方向における前後の差分の絶対値の和を前記各画素における輝度の変化の滑らかさとして演算する手段である請求項2ないし6いずれか記載の撮影装置。
  8. 前記ブロックノイズ判定手段は、ブロックノイズの程度が大きくなるほど大きな値となるようブロックノイズ評価指数を演算する手段である請求項2ないし7いずれか記載の撮影装置。
  9. 前記圧縮画像作成手段は、デフォルト値として所定の圧縮率を用いて前記撮影した画像の圧縮画像を作成する手段である請求項1ないし8いずれか記載の撮影装置。
  10. 前記画像圧縮記憶制御手段は、前記判定されたブロックノイズの程度が所定のブロックノイズの程度以上のときには予め定められた段階的に低減する圧縮率を順次選択して前記撮影した画像の圧縮画像が作成されるよう前記画像圧縮手段を制御する手段である請求項1ないし9いずれか記載の撮影装置。
  11. 請求項1ないし10いずれか記載の撮影装置であって、
    画像や文字などの表示情報を表示可能な表示手段と、
    前記判定されたブロックノイズの程度を前記表示手段に表示するブロックノイズ表示制御手段と、
    を備える撮影装置。
  12. 前記ブロックノイズ表示制御手段は、前記判定されたブロックノイズの程度を数値および/またはグラフをもって前記表示手段に表示する手段である請求項11記載の撮影装置。
  13. 前記画像圧縮記憶制御手段は、操作者による前記撮影した画像の圧縮率を低減した圧縮画像の作成の指示がなされたときに前記撮影した画像の圧縮率を低減した圧縮画像が作成されるよう前記画像圧縮手段を制御する手段である請求項11または12記載の撮影装置。
  14. 撮影した画像を記憶可能な記憶手段を有する撮影装置用のプログラムであって、
    (a)撮影した画像を縦横が所定の画素数のブロックに分割して圧縮した圧縮画像を生成するモジュールと、
    (b)前記圧縮画像に対して圧縮に伴ってブロック境界に生じ得るブロックノイズの程度を判定するモジュールと、
    (c)前記判定されたブロックノイズの程度が所定のブロックノイズの程度以上のときには前記撮影した画像の圧縮率を低減した圧縮画像が作成されるよう前記画像圧縮手段を制御し、前記判定されたブロックノイズの程度が前記所定のブロックノイズの程度以下のときには前記圧縮画像が前記記憶手段に記憶されるよう制御するモジュールと、
    を備えるプログラム。
  15. 前記モジュール(b)は、前記圧縮画像における各画素に対して所定の方向に隣接する画素に対する輝度成分に基づいて各画素間の輝度強度差を演算し、各画素間の輝度強度差の前記所定の方向における前後の差分に基づいて各画素における輝度の変化の滑らかさを演算し、前記ブロックの境界に位置しない画素における輝度の変化の滑らかさの平均に対する前記ブロックの境界に位置する画素における輝度の変化の滑らかさの平均の比に基づいてブロックノイズ評価指数を演算し、該演算したブロックノイズ評価指数に基づいてブロックノイズの程度を判定するモジュールである請求項14記載のプログラム。
  16. 画像を記憶する画像記憶方法であって、
    (a)画像を縦横が所定の画素数のブロックに分割して圧縮した圧縮画像を生成し、
    (b)前記圧縮画像に対して圧縮に伴ってブロック境界に生じ得るブロックノイズの程度を判定し、
    (c)前記判定されたブロックノイズの程度が所定のブロックノイズの程度以上のときには前記画像の圧縮率を低減した圧縮画像が作成し、前記判定されたブロックノイズの程度が前記所定のブロックノイズの程度以下のときには前記圧縮画像を記憶する、
    画像記憶方法。
  17. 前記ステップ(b)は、前記圧縮画像における各画素に対して所定の方向に隣接する画素に対する輝度成分に基づいて各画素間の輝度強度差を演算し、各画素間の輝度強度差の前記所定の方向における前後の差分に基づいて各画素における輝度の変化の滑らかさを演算し、前記ブロックの境界に位置しない画素における輝度の変化の滑らかさの平均に対する前記ブロックの境界に位置する画素における輝度の変化の滑らかさの平均の比に基づいてブロックノイズ評価指数を演算し、該演算したブロックノイズ評価指数に基づいてブロックノイズの程度を判定するステップである請求項16記載の画像記憶方法。
JP2004140064A 2004-05-10 2004-05-10 撮影装置およびこれに用いるプログラム並びに画像記憶方法 Expired - Fee Related JP4281615B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2004140064A JP4281615B2 (ja) 2004-05-10 2004-05-10 撮影装置およびこれに用いるプログラム並びに画像記憶方法
US11/125,326 US20060034531A1 (en) 2004-05-10 2005-05-10 Block noise level evaluation method for compressed images and control method of imaging device utilizing the evaluation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004140064A JP4281615B2 (ja) 2004-05-10 2004-05-10 撮影装置およびこれに用いるプログラム並びに画像記憶方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009021518A Division JP2009105960A (ja) 2009-02-02 2009-02-02 撮影装置およびこれに用いるプログラム並びに画像記憶方法

Publications (2)

Publication Number Publication Date
JP2005323192A true JP2005323192A (ja) 2005-11-17
JP4281615B2 JP4281615B2 (ja) 2009-06-17

Family

ID=35470123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004140064A Expired - Fee Related JP4281615B2 (ja) 2004-05-10 2004-05-10 撮影装置およびこれに用いるプログラム並びに画像記憶方法

Country Status (1)

Country Link
JP (1) JP4281615B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094644A (ja) * 2007-10-04 2009-04-30 Canon Inc 動画像符号化装置及びその制御方法
JP2013507083A (ja) * 2009-10-05 2013-02-28 アイ.シー.ヴイ.ティー リミテッド デジタル画像を再圧縮するための装置および方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094644A (ja) * 2007-10-04 2009-04-30 Canon Inc 動画像符号化装置及びその制御方法
JP2013507083A (ja) * 2009-10-05 2013-02-28 アイ.シー.ヴイ.ティー リミテッド デジタル画像を再圧縮するための装置および方法
US9503738B2 (en) 2009-10-05 2016-11-22 Beamr Imaging Ltd Apparatus and methods for recompression of digital images
US9866837B2 (en) 2009-10-05 2018-01-09 Beamr Imaging Ltd Apparatus and methods for recompression of digital images
US10362309B2 (en) 2009-10-05 2019-07-23 Beamr Imaging Ltd Apparatus and methods for recompression of digital images
US10674154B2 (en) 2009-10-05 2020-06-02 Beamr Imaging Ltd Apparatus and methods for recompression of digital images

Also Published As

Publication number Publication date
JP4281615B2 (ja) 2009-06-17

Similar Documents

Publication Publication Date Title
JP4869149B2 (ja) 画像データ圧縮装置、画像データ圧縮方法およびプログラム
US20060034531A1 (en) Block noise level evaluation method for compressed images and control method of imaging device utilizing the evaluation method
JP2006115446A (ja) 撮影装置、及び画像評価方法
JP2006050014A (ja) 撮像装置、明るさ補正方法及びプログラム
JP5553230B2 (ja) 撮像装置および撮像処理方法
US7525591B2 (en) Image display apparatus having image correction function
JP2007259411A (ja) 露出判別装置およびその方法
US20140147090A1 (en) Image capturing apparatus, image processing apparatus, and control method therefor
JP4281615B2 (ja) 撮影装置およびこれに用いるプログラム並びに画像記憶方法
US20020039451A1 (en) Method of compressing digital images
JP2005167476A (ja) ホワイトバランス制御装置
JP2008067298A (ja) 撮影装置及びプログラム
JP4908742B2 (ja) 撮影装置およびこの制御方法
JP2009105960A (ja) 撮影装置およびこれに用いるプログラム並びに画像記憶方法
JP2012165350A (ja) 撮像装置
JP2008124793A (ja) 撮像装置、撮像方法
JP2017126920A (ja) 撮像装置
JP2010103820A (ja) 画像処理装置および画像処理方法並びにプログラム
JP2020112730A (ja) 表示装置及びその制御方法、プログラム、記憶媒体
JP4745165B2 (ja) 画像撮影装置
JP2016052081A (ja) 撮像装置、画像保存方法及びプログラム
JP2006025213A (ja) 撮影装置およびその制御方法、撮影装置用プログラム
JP7214484B2 (ja) 映像信号処理装置、映像信号処理方法、及びプログラム
JP4826260B2 (ja) 撮像装置及びプログラム
EP2282524B1 (en) Imaging apparatus and information processing apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070306

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081202

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090224

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090309

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120327

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees