JP2006013858A - Image processing apparatus and image processing program - Google Patents
Image processing apparatus and image processing program Download PDFInfo
- Publication number
- JP2006013858A JP2006013858A JP2004187768A JP2004187768A JP2006013858A JP 2006013858 A JP2006013858 A JP 2006013858A JP 2004187768 A JP2004187768 A JP 2004187768A JP 2004187768 A JP2004187768 A JP 2004187768A JP 2006013858 A JP2006013858 A JP 2006013858A
- Authority
- JP
- Japan
- Prior art keywords
- black level
- image
- reference data
- level reference
- effective pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、電子カメラで撮影された撮影画像を加工する画像処理装置および画像処理プログラムに関する。 The present invention relates to an image processing apparatus and an image processing program for processing a photographed image photographed by an electronic camera.
近年、撮像素子により被写体像を光電変換して撮影画像のデジタルデータ(撮影画像データ)を生成する電子カメラが急速に普及している。そして、撮影画像データの各種パラメータをコンピュータ上で調整してユーザーの意図に沿った画像を作り込むことも一般的に行われるようになっている。
ここで、特許文献1にはデジタル画像をコンピュータ上で再生する場合において、日時、撮影場所等の撮影状況に関する付帯情報を撮影画像データと関連付けてコンピュータに受け渡す構成の画像再生装置が開示されている。
Here,
ところで、電子カメラの撮像素子の出力には暗電流成分による黒レベル分のノイズが含まれており、電子カメラでは撮像素子の一部を遮光して黒レベルを検出し、画像レベルから検出した黒レベルを減算することで黒レベル補正を行っている。そのため、コンピュータ上で撮影画像データを加工して画像の明るさを調整する場合には、電子カメラで行われた黒レベル補正の情報があれば画像の明るさの調整基準となり、補正可能範囲も明確となる。 By the way, the output of the image sensor of the electronic camera contains noise for the black level due to the dark current component, and the electronic camera detects the black level by shielding a part of the image sensor and detects the black level detected from the image level. Black level correction is performed by subtracting the level. Therefore, when adjusting the brightness of the image by processing the captured image data on the computer, if there is information on the black level correction performed by the electronic camera, it becomes a reference for adjusting the brightness of the image, and the correction range is also It becomes clear.
しかし、従来、電子カメラが生成した撮影画像データには黒レベル補正の情報が残されておらず、ユーザーがコンピュータ上で画像処理を行う場合には画像データからどのような黒レベル補正が行われたかを判断することが極めて困難であった。また、上記の特許文献1においても、付帯情報には電子カメラが行った画像処理の内容を示す情報は含まれてはいない。したがって、ユーザーはコンピュータ上で画像の明るさを調整する場合には試行錯誤を繰り返さざるを得ず、コンピュータ上で画像データの微細な明るさの調整を行おうとするユーザーの要求には十分対応できていないのが実情であった。
However, conventionally, no information on black level correction is left in captured image data generated by an electronic camera, and when a user performs image processing on a computer, what kind of black level correction is performed from the image data. It was extremely difficult to judge whether or not Also in the above-mentioned
本発明は上記従来技術の課題を解決するためのものであって、コンピュータ等を利用した事後的な画像処理において、電子カメラの行った黒レベル補正の情報に基づいてユーザーが画面の明るさを調整できる画像処理装置を提供することである。 The present invention is to solve the above-described problems of the prior art, and in the subsequent image processing using a computer or the like, the user adjusts the screen brightness based on the information of the black level correction performed by the electronic camera. An image processing apparatus capable of adjustment is provided.
請求項1の発明は、有効画素領域と前記有効画素領域の外周に形成された遮光領域とを備えた撮像素子を有する電子カメラの撮影画像を加工する画像処理装置であって、前記有効画素領域の出力に基づいて生成された画像データと、前記遮光領域の出力に基づいて生成された黒レベル基準データとを備えた撮影画像データを読み込む読込部と、前記黒レベル基準データと前記画像データとの対応関係を表示する表示部と、前記黒レベル基準データを変更するための入力部と、前記入力部で変更された前記黒レベル基準データに基づいて前記画像データの黒レベルを補正する補正処理部と、を有することを特徴とする。
The invention according to
請求項2の発明は、請求項1の発明において、前記表示部は、前記黒レベル基準データの現在値および変更可能範囲と、前記画像データに基づく再生画像と、を表示することを特徴とする。
請求項3の発明は、請求項1または請求項2の発明において、前記黒レベル基準データは複数の値からなり、該複数の値は前記画像データを水平方向または垂直方向に分割した処理単位ごとにそれぞれ関連付けされており、前記処理単位から任意に選択される指定位置の黒レベル基準データを変更する場合において、前記黒レベル補正部は、前記指定位置の水平方向または垂直方向に近接する前記処理単位の黒レベル基準データを前記指定位置の黒レベル基準データの変化に連動させて変更し、前記指定位置から所定範囲までの黒レベル基準データの変化を滑らかに補間することを特徴とする。
According to a second aspect of the present invention, in the first aspect of the invention, the display unit displays a current value and a changeable range of the black level reference data, and a reproduced image based on the image data. .
According to a third aspect of the present invention, in the first or second aspect of the present invention, the black level reference data includes a plurality of values, and the plurality of values are each processing unit obtained by dividing the image data in a horizontal direction or a vertical direction. When the black level reference data at a designated position arbitrarily selected from the processing unit is changed, the black level correction unit is configured to make the processing adjacent to the designated position in the horizontal direction or the vertical direction. The unit black level reference data is changed in conjunction with the change of the black level reference data at the designated position, and the change of the black level reference data from the designated position to the predetermined range is smoothly interpolated.
請求項4の発明は、有効画素領域と前記有効画素領域の外周に形成された遮光領域とを備えた撮像素子を有する電子カメラの撮影画像を加工する画像処理装置であって、前記有効画素領域の出力に基づいて生成され、水平方向または垂直方向に複数の処理単位で分割された画像データと、前記遮光領域の出力に基づいて生成され、前記処理単位ごとにそれぞれ関連付けされてなる複数の黒レベル基準データとを備えた撮影画像データを読み込む読込部と、前記黒レベル基準データの空間変化量に基づいて、前記空間変化量が閾値以上である特異点を検出する特異点判定部と、前記特異点に対応する前記黒レベル基準データを前記空間変化量に基づいて補正する補正処理部と、を有することを特徴とする。 According to a fourth aspect of the present invention, there is provided an image processing apparatus for processing an image captured by an electronic camera having an image pickup device having an effective pixel region and a light shielding region formed on an outer periphery of the effective pixel region, wherein the effective pixel region And a plurality of black data generated based on the output of the light shielding region and associated with each processing unit. A reading unit that reads captured image data including level reference data; a singularity determination unit that detects a singularity where the spatial change amount is equal to or greater than a threshold based on the spatial change amount of the black level reference data; And a correction processing unit that corrects the black level reference data corresponding to a singular point based on the amount of spatial change.
請求項5の発明は、有効画素領域と前記有効画素領域の外周に形成された遮光領域とを備えた撮像素子を有する電子カメラの撮影画像を加工する画像処理装置であって、前記有効画素領域の出力に基づいて生成され、水平方向または垂直方向に複数の処理単位で分割された画像データと、前記遮光領域の出力に基づいて生成され、前記処理単位ごとにそれぞれ関連付けされてなる複数の黒レベル基準データとを備えた撮影画像データを読み込む読込部と、前記黒レベル基準データの空間変化量に基づいて、水平方向または垂直方向のシェーディング補正係数を生成する補正係数生成部と、前記補正係数を用いて前記画像データにシェーディング補正を行う補正処理部と、を有することを特徴とする。
The invention according to
請求項6の発明は、請求項1から請求項5の発明において、前記電子カメラは、前記画像データの黒レベル補正を行うクランプ部をさらに有し、前記黒レベル基準データが、前記クランプ部における黒レベル補正に使用されたデータであることを特徴とする。
請求項7の発明は、請求項1から請求項6の発明において、前記電子カメラの撮影条件と、該撮影条件に基づく前記黒レベル基準データのオフセット値との対応関係を格納した記録部をさらに有し、前記補正処理部は、前記電子カメラの撮影条件に基づいて、該撮影条件に対応する前記オフセット値を前記記録部から取得し、前記オフセット値に基づいて前記画像データの黒レベルを補正することを特徴とする。
According to a sixth aspect of the present invention, in the first to fifth aspects of the present invention, the electronic camera further includes a clamp unit that performs black level correction of the image data, and the black level reference data is stored in the clamp unit. The data is used for black level correction.
According to a seventh aspect of the present invention, in the first to sixth aspects of the present invention, the recording unit further stores a correspondence relationship between the photographing condition of the electronic camera and the offset value of the black level reference data based on the photographing condition. And the correction processing unit acquires the offset value corresponding to the shooting condition from the recording unit based on the shooting condition of the electronic camera, and corrects the black level of the image data based on the offset value. It is characterized by doing.
請求項8の発明は、有効画素領域と前記有効画素領域の外周に形成された遮光領域とを備えた撮像素子を有する電子カメラの撮影画像を加工する画像処理プログラムであって、前記有効画素領域の出力に基づいて生成された画像データと、前記遮光領域の出力に基づいて生成された黒レベル基準データとを備えた撮影画像データを読み込む手順と、前記黒レベル基準データと前記画像データとの対応関係を表示する手順と、操作者の入力により変更された前記黒レベル基準データに基づいて前記画像データの黒レベルを補正する手順と、をコンピュータに実行させる。 The invention according to claim 8 is an image processing program for processing an image captured by an electronic camera having an imaging element having an effective pixel area and a light shielding area formed on an outer periphery of the effective pixel area, wherein the effective pixel area A procedure for reading captured image data including image data generated based on the output of the image and black level reference data generated based on the output of the light-shielding region, and the black level reference data and the image data. The computer is caused to execute a procedure for displaying the correspondence relationship and a procedure for correcting the black level of the image data based on the black level reference data changed by an operator input.
請求項9の発明は、有効画素領域と前記有効画素領域の外周に形成された遮光領域とを備えた撮像素子を有する電子カメラの撮影画像を加工する画像処理プログラムであって、前記有効画素領域の出力に基づいて生成され、水平方向または垂直方向に複数の処理単位で分割された画像データと、前記遮光領域の出力に基づいて生成され、前記処理単位ごとにそれぞれ関連付けされてなる複数の黒レベル基準データとを備えた撮影画像データを読み込む手順と、前記黒レベル基準データの空間変化量に基づいて、前記空間変化量が閾値以上である特異点を検出する手順と、前記特異点に対応する前記黒レベル基準データを前記変化量に基づいて補正する手順と、をコンピュータに実行させる。 The invention according to claim 9 is an image processing program for processing an image captured by an electronic camera having an image sensor having an effective pixel area and a light-shielding area formed on an outer periphery of the effective pixel area, wherein the effective pixel area And a plurality of black data generated based on the output of the light shielding region and associated with each processing unit. Corresponding to the procedure for reading captured image data including level reference data, the procedure for detecting a singular point where the spatial change amount is equal to or greater than a threshold based on the spatial change amount of the black level reference data, and the singular point And correcting the black level reference data based on the amount of change.
請求項10の発明は、有効画素領域と前記有効画素領域の外周に形成された遮光領域とを備えた撮像素子を有する電子カメラの撮影画像を加工する画像処理プログラムであって、前記有効画素領域の出力に基づいて生成され、水平方向または垂直方向に複数の処理単位で分割された画像データと、前記遮光領域の出力に基づいて生成され、前記処理単位ごとにそれぞれ関連付けされてなる複数の黒レベル基準データとを備えた撮影画像データを読み込む手順と、前記黒レベル基準データの空間変化量に基づいて、水平方向または垂直方向のシェーディング補正係数を生成する手順と、前記補正係数を用いて前記画像データにシェーディング補正を行う手順と、をコンピュータに実行させる。
The invention according to
本発明では、電子カメラの行った黒レベル補正に関する黒レベル基準データが画像データに関連付けて表示される。そして、電子カメラの行った黒レベル補正の情報に基づいてユーザーが画面の明るさを調整できるので、コンピュータ等を利用した事後的な画像処理において、より微細な黒レベルの補正を容易に行うことが可能となる。特に電子カメラのRAWデータ(撮像素子から出力された生データ)をコンピュータ上のソフトウエアで加工する場合にその効果が顕著である。 In the present invention, the black level reference data relating to the black level correction performed by the electronic camera is displayed in association with the image data. And, since the user can adjust the screen brightness based on the information of the black level correction performed by the electronic camera, it is easy to perform a finer black level correction in the subsequent image processing using a computer or the like. Is possible. The effect is particularly remarkable when RAW data (raw data output from the image sensor) of an electronic camera is processed by software on a computer.
以下、図面に基づいて本発明の実施の形態を詳細に説明する。
(第1実施形態の説明)
図1は第1実施形態の画像処理装置の機能ブロック図である(請求項1〜請求項7の画像処理装置および請求項8〜請求項10の画像処理プログラムに対応する)。本実施形態は、パーソナルコンピュータ等に画像処理プログラムを実行させて画像処理装置を構成する例である。
Hereinafter, embodiments of the present invention will be described in detail based on the drawings.
(Description of the first embodiment)
FIG. 1 is a functional block diagram of the image processing apparatus of the first embodiment (corresponding to the image processing apparatus of
まず、図2に基づいて本実施形態の対象となる撮影画像データの概要を説明する。撮影画像データは電子カメラによって生成されたものであって、画像データと黒レベル基準データとを有している。画像データは、電子カメラの撮像素子の有効画素領域の出力に基づいて生成されたデータであって、電子カメラの撮影光学系で結像された被写体像が記録されている。一方、黒レベル基準データは、有効画素領域の外周に隣接して形成され、その表面が遮光膜で覆われてなる遮光領域(オプティカルブラック領域)の出力に基づくデータである。 First, based on FIG. 2, the outline | summary of the picked-up image data used as the object of this embodiment is demonstrated. The photographed image data is generated by an electronic camera and has image data and black level reference data. The image data is data generated based on the output of the effective pixel area of the image sensor of the electronic camera, and the subject image formed by the photographing optical system of the electronic camera is recorded. On the other hand, the black level reference data is data based on the output of a light shielding region (optical black region) formed adjacent to the outer periphery of the effective pixel region and having its surface covered with a light shielding film.
撮像素子における遮光領域の出力は、被写体光が入射されない部分、すなわち、被写体像の黒色に相当するデータとみなすことができる。したがって、電子カメラではこの遮光領域の出力を用いて画像データの黒レベル補正を行っている。
図2の例では、画像データの右側に位置する遮光領域の部分に、電子カメラで水平方向の各行の黒レベル補正に使用されたクランプデータが記録されている(図2(b)参照)。画像データの各行の末尾には、その行の補正に使用されたクランプデータデータがそれぞれ関連づけされて記録されている。本実施形態では、上記のクランプデータが水平方向の黒レベル基準データを構成する。なお、電子カメラによってはすべての行を同一の黒レベル値で補正する場合や、複数行単位で同一の黒レベル値で補正する場合も想定でき、これらの場合には、クランプデータは処理単位に対応する分が記録されていることとなる。
The output of the light-shielding region in the image sensor can be regarded as a portion where no subject light is incident, that is, data corresponding to black in the subject image. Therefore, the electronic camera corrects the black level of the image data using the output of the light shielding area.
In the example of FIG. 2, the clamp data used for the black level correction of each row in the horizontal direction by the electronic camera is recorded in the portion of the light-shielding region located on the right side of the image data (see FIG. 2B). At the end of each line of image data, clamp data used for correcting the line is recorded in association with each other. In the present embodiment, the above clamp data constitutes black level reference data in the horizontal direction. Depending on the electronic camera, it can be assumed that all lines are corrected with the same black level value, or that correction is made with the same black level value in units of multiple lines. The corresponding minutes are recorded.
次に本実施形態の画像処理装置1の構成を説明する。画像処理装置1は、マイクロプロセッサ2と、メモリ3と、バスインターフェース部4と、表示ドライバ部5と、ディスクドライブ部6と、各部を接続するシステムバス7とを有している。また、画像処理装置1には、キーボードやポインティングデバイス等の入力手段8と、モニタ9とが接続されている。
Next, the configuration of the
マイクロプロセッサ2は画像処理装置1の各部を制御し、後述の画像処理プログラムを実行して撮影画像データの黒レベルを補正する。メモリ3には、撮影条件(例えば、カメラの機種による撮像素子の特性、撮影時間、露出補正など)と、この撮影条件の組み合わせに応じて変化する黒レベル基準データのオフセット値との対応関係がテーブル化されて記憶されている。なお、黒レベル基準データのオフセット値は、予め統計的に求められた値であってもよく、ユーザーがカスタマイズしたデータであってもよい。
The
バスインターフェース部4は、画像処理装置1に接続された周辺機器とのデータ送受信をUSB(Universal Serial Bus)やIEEE1394などのシリアル通信規格に準拠して制御する。表示ドライバ部5はモニタ9に画像出力を行う。ディスクドライブ部6は、光磁気記録媒体に対してデータの読み出し/書き込みを実行する。
第1実施形態の画像処理装置1は上記のように構成され、以下、図3の流れ図に従って本実施形態の画像処理プログラムの動作を説明する。
The bus interface unit 4 controls data transmission / reception with peripheral devices connected to the
The
ステップS101:マイクロプロセッサ2は、バスインターフェース部4に接続された記録媒体(またはバスインターフェース部4に接続された電子カメラ自体)や、ディスクドライブ部6に挿入された光磁気記録媒体などから撮影画像データを読み込む。
ステップS102:マイクロプロセッサ2は、画像データおよび黒レベル基準データに関する表示をモニタ9に出力する。図4に示すように、モニタ9上の中央部には画像データの再生画像10が表示される。また、モニタ9上の再生画像10の左側には、黒レベル基準データに基づく黒レベル値の現在値を表示する表示領域11が表示される。この表示領域11には、画像データの水平方向の各行に対応する黒レベル値が表示されている。
Step S101: The
Step S102: The
モニタ9上の表示領域11では、黒レベル値の上限「H」および下限「L」(変更可能範囲)と、各行ごとの黒レベル値の現在値とが表示される。図4に示すように、表示領域11には画面上下方向における黒レベル値の変化がグラフ状に表示されることとなる。また、表示領域11内には、いずれかの行を指定するためのポインタ12が表示され、入力手段8からの入力によりポインタ12を各表示領域内で移動できるようになっている(なお、図4では仮想的に指定行を一点鎖線で示す)。そして、モニタ9の表示領域の近傍には、ポインタ12で指定された行に対応する黒レベル値の数値が表示されるようになっている。
In the display area 11 on the monitor 9, the upper limit “H” and lower limit “L” (changeable range) of the black level value and the current value of the black level value for each line are displayed. As shown in FIG. 4, the change in the black level value in the vertical direction of the screen is displayed in a graph in the display area 11. Further, a
したがって、ユーザーは撮影画像データの画像データ(再生画像)およびクランプデータに基づく黒レベル値を、モニタ9上の再生画像10および表示領域11で確認し、画像データの黒レベル値の変更可能範囲や画面上下方向の黒レベル値の変化を明確に把握して、補正の要否を判断することができる。
ステップS103:マイクロプロセッサ2は、再生表示された画像データの変更操作をユーザーが終了するか否か(例えば、別の撮影画像データの読み込み指示や画像処理プログラムの終了指示があるか)を判定する。変更操作をユーザーが終了する場合(YES側)には、マイクロプロセッサ2は現在の撮影画像データに対する処理を終了する。このとき、撮影画像データを任意の記録媒体に保存するようにしてもよい。一方、変更操作をユーザーが終了しない場合(NO側)には、マイクロプロセッサ2はステップS104に移行する。
Therefore, the user confirms the black level value based on the image data (reproduced image) of the photographed image data and the clamp data on the reproduced
Step S103: The
ステップS104:マイクロプロセッサ2は、オート補正モードがOFFか否かを判定する。オート補正モードがOFFの場合(YES側)にはマイクロプロセッサ2はステップS105に移行する。一方、オート補正モードがONの場合(NO側)にはマイクロプロセッサ2はステップS106に移行する。
ステップS105:この場合には、マイクロプロセッサ2はユーザーの入力に基づいて画像データの黒レベル補正を行う。ユーザーは入力手段8で表示領域11のポインタ12を操作して黒レベル値を変更する行を指定する。次に、ユーザーは指定行でポインタ12を左右にスライドさせるか、あるいは黒レベル値の数値を直接入力することで指定行の黒レベル値を変更する。
Step S104: The
Step S105: In this case, the
例えば、画像データの表現範囲が12bit(0〜4095LSB:数値が多いほど薄い)である場合について説明すると、指定行の黒レベル値が200LSBの場合には、再生画像が200〜4095LSBの階調で表現されている。そして、ユーザーが明るめの画像を希望する場合には黒レベル値を増加して、暗めの画像を希望する場合には黒レベル値を減少する。そして、マイクロプロセッサ2は、変更前後の黒レベル値の差分に基づいて画像データの黒レベルを再補正し、画像データの指定行の黒レベル基準データを変更後の黒レベル値のデータで更新する。
For example, the case where the representation range of the image data is 12 bits (0 to 4095 LSB: the thinner the numerical value, the thinner) will be described. When the black level value of the designated row is 200 LSB, the reproduced image has a gradation of 200 to 4095 LSB. It is expressed. When the user desires a lighter image, the black level value is increased, and when the user desires a darker image, the black level value is decreased. Then, the
ここで、上記補正において指定された行の黒レベルのみを補正すると、再生画像で補正された指定行のみが周囲から浮き上がってしまうことがある。そのため、マイクロプロセッサ2は、指定行の上下で近接する所定範囲の行についても指定行の黒レベル補正に連動させて黒レベル補正を行うようにしてもよい(図5参照)。
例えば、マイクロプロセッサ2は、指定行から所定範囲の行について、指定行の黒レベル値の変更量に補間係数を乗じた値を現在の黒レベル値に加算して補正する。これにより、指定行から所定範囲までの黒レベル値の変化は滑らかなものとなる。上記の補間係数は0より大きく1未満であって、指定行から離間するにつれて小さくなるように設定される。特に指定行から所定範囲までの黒レベル値が曲線状に変化するように補間係数が設定されるのが好ましい。なお、補間係数の演算には、例えばスプライン補間などの公知の補間方法を適用することができる。
Here, if only the black level of the line designated in the above correction is corrected, only the designated line corrected in the reproduced image may float from the surroundings. For this reason, the
For example, the
そして、ステップS105で黒レベル補正が実行された後、マイクロプロセッサ2はステップS102に移行して、黒レベルが再補正された再生画像と更新後の黒レベル値とをモニタ9に表示する。これにより、ユーザーは黒レベル補正の適否を判断することができる。
ステップS106:この場合には、マイクロプロセッサ2はユーザーの設定によって、以下の(1)から(3)の補正処理を選択的に実行する。
After the black level correction is executed in step S105, the
Step S106: In this case, the
(1)暗転現象の補正
「暗転現象」とは、黒レベル補正に使用する遮光領域の近傍に高輝度被写体が位置するときに、高輝度被写体付近の遮光領域に迷光が侵入して信号レベルが引き上げられてしまい、黒レベル補正後の画像が筋状に暗く沈んでしまう現象をいう(図6参照)。この補正モードでは、マイクロプロセッサ2は図7に示す以下の処理を実行する。
(1) Correction of dark transition phenomenon “Dark transition phenomenon” means that when a high brightness subject is located in the vicinity of a light shielding area used for black level correction, stray light enters the light shielding area near the high brightness subject and the signal level is increased. This is a phenomenon in which the black level corrected image sinks darkly in a streak shape (see FIG. 6). In this correction mode, the
まず、マイクロプロセッサ2は、上下に隣接する行の黒レベル基準データの差(空間変化量)を各行ごとにそれぞれ演算する(S201)。次に、マイクロプロセッサ2は演算した空間変化量が閾値以上である特異点を検出する(S202)。この特異点のある行は暗転現象の開始点(または終了点)に該当する。そして、マイクロプロセッサ2は、特異点に対応する範囲(暗転現象の発生した行)の黒レベル値を、特異点の行における空間変化量に基づいて補正し、画像データの黒レベルを補正する(S203)。上記動作により、画像処理装置による後処理工程においても黒レベル基準データを用いて撮影画像の暗転現象を緩和させることができ、より良好な撮影画像を得ることができる。
First, the
(2)シェーディング補正
電子カメラの撮像素子の出力には、センサの感度むら等の影響で振幅に局所的なひずみ(シェーディング)が生じるので、これを補正するものである。この補正モードでは、マイクロプロセッサ2は図8に示す以下の処理を実行する。
まず、マイクロプロセッサ2は、上下方向の一定間隔毎に黒レベル値をサンプリングし、これらの黒レベル基準データの差(空間変化量)を演算する(S301)。次に、マイクロプロセッサ2は、任意のサンプリング点の黒レベル値をオフセット量に設定する(S302)。マイクロプロセッサ2は、S302のオフセット量に各行の空間変化量に基づく値を加算して、シェーディング補正係数を各行ごとに演算する(S303)。そして、マイクロプロセッサ2は、各行毎にシェーディング補正係数を黒レベル値から減じて、画像データの黒レベルを補正する(S304)。上記動作により、画像処理装置による後処理工程においても黒レベル基準データを用いて画面上下方向のシェーディング補正を行うことができ、より良好な撮影画像を得ることができる。
(2) Shading correction A local distortion (shading) in the amplitude is generated in the output of the image sensor of the electronic camera due to the sensitivity unevenness of the sensor, and this is corrected. In this correction mode, the
First, the
(3)撮影条件に基づくオフセット値による補正
この補正モードでは、マイクロプロセッサ2は、ユーザーにより予め指定された撮影条件の設定(カメラの機種、撮影時間、露出補正など)に基づいて、メモリ3から黒レベル基準データのオフセット値を読み出し、該オフセット値によって画像データの黒レベルを補正する。上記動作により、画像処理装置による後処理工程において撮影条件ごとに異なる黒レベル補正を簡便に行うことができ、ユーザーの意図する撮影画像を容易に得ることができる。
(3) Correction by Offset Value Based on Shooting Condition In this correction mode, the
そして、ステップS106で黒レベル補正が実行された後、マイクロプロセッサ2はステップS102に移行して、黒レベルが再補正された再生画像と更新後の黒レベル値とをモニタ9に表示する。これにより、ユーザーは黒レベル補正の適否を判断することができ、さらに補正が必要な場合にはS105のマニュアル補正によって、ユーザーの意図する撮影画像を実現することができる。
After the black level correction is executed in step S106, the
(第2実施形態の説明)
図9は第2実施形態の画像処理プログラムにおける表示画面の一例を示す図である(請求項1〜請求項7の画像処理装置および請求項8〜請求項10の画像処理プログラムに対応する)。第2実施形態は第1実施形態の変形例であって、画像データの水平方向の各行についてはクランプデータを用いた黒レベル補正を行い、かつ垂直方向の各列についても遮光領域のデータを用いた補正処理を行う例である。なお、第1実施形態と同一の構成には同一符号を付して説明を省略する。
(Description of Second Embodiment)
FIG. 9 is a diagram showing an example of a display screen in the image processing program of the second embodiment (corresponding to the image processing apparatus of
第2実施形態のマイクロプロセッサ2は、有効画素領域の上方または下方に位置する遮光領域の生データから垂直方向の各列に対応する黒レベル基準データを生成する。そして、図9に示すモニタ9の再生画像10の上側には、画像データの垂直方向の各列における黒レベル値が表示される表示領域11が設定されている。
第2実施形態では、ユーザーは垂直方向の各列についても表示領域11のポインタ12を操作して任意の列の黒レベル値を変更し、画像データの黒レベルを再補正することができる。なお、画像データの垂直方向に対応する黒レベル値は、遮光領域に対応するデータ領域における不使用部分に所定の形式で上書きされて保存される。
The
In the second embodiment, the user can change the black level value of any column by operating the
また、第2実施形態では画像データの垂直方向の黒レベル値を変更できるので、画面左右方向のシェーディング補正が可能となることに加えて、画面の上下端まで及ぶブルーミングの補正が可能となる。ここで、「ブルーミング」とは、CCDで高輝度被写体を撮影した場合に画素の飽和容量を越えた電子が発生し、CCDの読み出し線の方向に沿って隣接画素に電子が漏れ出してしまう現象をいう(図10参照)。 In the second embodiment, since the black level value in the vertical direction of the image data can be changed, it is possible to correct shading correction in the left-right direction of the screen, and correction of blooming extending to the upper and lower ends of the screen. Here, “blooming” is a phenomenon in which when a high-brightness object is photographed with a CCD, electrons exceeding the saturation capacity of the pixel are generated, and electrons leak into adjacent pixels along the direction of the readout line of the CCD. (See FIG. 10).
このブルーミングの補正については、上記の暗転現象の補正とほぼ同様の工程でマイクロプロセッサ2が補正することもできる。すなわち、マイクロプロセッサ2は左右に隣接する列の黒レベル基準データの差(空間変化量)を各列ごとにそれぞれ演算する。次に、マイクロプロセッサ2は演算した空間変化量が閾値以上である特異点を検出する。この特異点のある列はブルーミングの開始点(または終了点)に該当する。そして、マイクロプロセッサ2は、特異点に対応する範囲(ブルーミングの発生した列)の黒レベル値を空間変化量に基づいて変更し、画像データの黒レベルを補正する。
The blooming can be corrected by the
ここで、ブルーミングの補正において黒レベル値から特異点の列の空間変化量をそのまま減じると、高輝度被写体の部分で補正箇所が筋状に暗く沈んでしまって不自然な画像となってしまう(図11参照)。そのため、ブルーミングの補正では、特異点の行の空間変化量を補正値としてそのまま用いるのではなく、空間変化量に所定の係数を乗じた値(例えば、空間変化量の50〜80%の値)を補正値として使用するのが好ましい。 Here, if the amount of spatial change of the singularity column is subtracted from the black level value as it is in the blooming correction, the correction portion sinks darkly in a high-luminance subject portion, resulting in an unnatural image ( FIG. 11). Therefore, in the blooming correction, the spatial change amount in the row of singular points is not used as a correction value as it is, but a value obtained by multiplying the spatial change amount by a predetermined coefficient (for example, a value of 50 to 80% of the spatial change amount). Is preferably used as the correction value.
上記動作により、画像処理装置による後処理工程において画面の上下端まで及ぶブルーミングが緩和され、より良好な撮影画像を得ることができる。
(請求項と実施形態との対応関係)
ここで、請求項と実施形態との対応関係を示しておく。なお、以下に示す対応関係はあくまで参考のために示した解釈であって、本発明の技術的範囲を限定するものではない。
By the above operation, blooming extending to the upper and lower ends of the screen in the post-processing step by the image processing apparatus is alleviated, and a better captured image can be obtained.
(Correspondence between Claims and Embodiments)
Here, the correspondence between the claims and the embodiment is shown. Note that the correspondence shown below is an interpretation given for reference only, and does not limit the technical scope of the present invention.
「読込部」にはバスインターフェース部4,ディスクドライブ部6が対応する。「表示部」にはモニタ9が対応する。「入力部」には入力手段8が対応する。「補正処理部」、「特異点判定部」および「補正係数生成部」にはマイクロプロセッサ2が対応する。「記録部」にはメモリ3が対応する。請求項8〜10のプログラムはマイクロプロセッサ2によって実行される。
The “reading unit” corresponds to the bus interface unit 4 and the
(実施形態の補足事項)
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではない。例えば、上記の暗転現象、シェーディング補正、ブルーミング補正については、ユーザーによるマニュアル補正(S105)によっても補正することが勿論可能である。
(Supplementary items of the embodiment)
As mentioned above, although this invention has been demonstrated by said embodiment, the technical scope of this invention is not limited to the said embodiment. For example, the darkening phenomenon, shading correction, and blooming correction can be corrected by manual correction (S105) by the user.
また、上記実施形態では、コンピュータ上で画像処理装置を実現する例を説明してきたが、例えば電子カメラに上記プログラムを実行させて、撮影後の画像の暗転現象やブルーミングなどを電子カメラ上で自動補正できるようにしてもよい。なお、この場合には黒レベル値を外部に表示することは必ずしも要しない。 In the above-described embodiment, an example in which the image processing apparatus is realized on a computer has been described. However, for example, by causing the electronic camera to execute the program, the darkening phenomenon or blooming of an image after shooting is automatically performed on the electronic camera. Correction may be made. In this case, it is not always necessary to display the black level value outside.
本発明は、電子カメラの撮影画像を加工する画像処理装置および画像処理プログラムに適用することができる。 The present invention can be applied to an image processing apparatus and an image processing program for processing a captured image of an electronic camera.
1 画像処理装置
2 マイクロプロセッサ
3 メモリ
4 バスインターフェース部
5 表示ドライバ部
6 ディスクドライブ部
7 システムバス
8 入力手段
9 モニタ
10 再生画像
11 黒レベル値の表示領域
12 ポインタ
DESCRIPTION OF
Claims (10)
前記有効画素領域の出力に基づいて生成された画像データと、前記遮光領域の出力に基づいて生成された黒レベル基準データとを備えた撮影画像データを読み込む読込部と、
前記黒レベル基準データと前記画像データとの対応関係を表示する表示部と、
前記黒レベル基準データを変更するための入力部と、
前記入力部で変更された前記黒レベル基準データに基づいて前記画像データの黒レベルを補正する補正処理部と、
を有することを特徴とする画像処理装置。 An image processing apparatus for processing a captured image of an electronic camera having an imaging element having an effective pixel area and a light shielding area formed on an outer periphery of the effective pixel area,
A reading unit that reads captured image data including image data generated based on the output of the effective pixel region and black level reference data generated based on the output of the light shielding region;
A display unit for displaying a correspondence relationship between the black level reference data and the image data;
An input unit for changing the black level reference data;
A correction processing unit that corrects the black level of the image data based on the black level reference data changed in the input unit;
An image processing apparatus comprising:
前記処理単位から任意に選択される指定位置の黒レベル基準データを変更する場合において、前記黒レベル補正部は、前記指定位置の水平方向または垂直方向に近接する前記処理単位の黒レベル基準データを前記指定位置の黒レベル基準データの変化に連動させて変更し、前記指定位置から所定範囲までの黒レベル基準データの変化を滑らかに補間することを特徴とする請求項1または請求項2に記載の画像処理装置。 The black level reference data includes a plurality of values, and the plurality of values are associated with each processing unit obtained by dividing the image data in the horizontal direction or the vertical direction,
In the case of changing the black level reference data at a designated position arbitrarily selected from the processing unit, the black level correction unit changes the black level reference data of the processing unit adjacent to the designated position in the horizontal direction or the vertical direction. 3. The change according to claim 1 or 2, wherein the change is performed in conjunction with the change in the black level reference data at the specified position, and the change in the black level reference data from the specified position to a predetermined range is smoothly interpolated. Image processing apparatus.
前記有効画素領域の出力に基づいて生成され、水平方向または垂直方向に複数の処理単位で分割された画像データと、前記遮光領域の出力に基づいて生成され、前記処理単位ごとにそれぞれ関連付けされてなる複数の黒レベル基準データとを備えた撮影画像データを読み込む読込部と、
前記黒レベル基準データの空間変化量に基づいて、前記空間変化量が閾値以上である特異点を検出する特異点判定部と、
前記特異点に対応する前記黒レベル基準データを前記空間変化量に基づいて補正する補正処理部と、
を有することを特徴とする画像処理装置。 An image processing apparatus for processing a captured image of an electronic camera having an imaging element having an effective pixel area and a light shielding area formed on an outer periphery of the effective pixel area,
Generated based on the output of the effective pixel region, divided into a plurality of processing units in the horizontal direction or the vertical direction, and generated based on the output of the light shielding region, and associated with each processing unit. A reading unit that reads captured image data including a plurality of black level reference data,
A singularity determination unit that detects a singularity where the spatial variation is equal to or greater than a threshold based on the spatial variation of the black level reference data;
A correction processing unit that corrects the black level reference data corresponding to the singular point based on the amount of spatial change;
An image processing apparatus comprising:
前記有効画素領域の出力に基づいて生成され、水平方向または垂直方向に複数の処理単位で分割された画像データと、前記遮光領域の出力に基づいて生成され、前記処理単位ごとにそれぞれ関連付けされてなる複数の黒レベル基準データとを備えた撮影画像データを読み込む読込部と、
前記黒レベル基準データの空間変化量に基づいて、水平方向または垂直方向のシェーディング補正係数を生成する補正係数生成部と、
前記補正係数を用いて前記画像データにシェーディング補正を行う補正処理部と、
を有することを特徴とする画像処理装置。 An image processing apparatus for processing a captured image of an electronic camera having an imaging element having an effective pixel area and a light shielding area formed on an outer periphery of the effective pixel area,
Generated based on the output of the effective pixel region, divided into a plurality of processing units in the horizontal direction or the vertical direction, and generated based on the output of the light shielding region, and associated with each processing unit. A reading unit that reads captured image data including a plurality of black level reference data,
A correction coefficient generation unit that generates a horizontal or vertical shading correction coefficient based on a spatial change amount of the black level reference data;
A correction processing unit that performs shading correction on the image data using the correction coefficient;
An image processing apparatus comprising:
前記黒レベル基準データが、前記クランプ部における黒レベル補正に使用されたデータであることを特徴とする請求項1から請求項5のいずれか1項に記載の画像処理装置。 The electronic camera further includes a clamp unit that performs black level correction of the image data,
6. The image processing apparatus according to claim 1, wherein the black level reference data is data used for black level correction in the clamp unit.
前記補正処理部は、前記電子カメラの撮影条件に基づいて、該撮影条件に対応する前記オフセット値を前記記録部から取得し、前記オフセット値に基づいて前記画像データの黒レベルを補正することを特徴とする請求項1から請求項6のいずれか1項に記載の画像処理装置。 A recording unit that stores a correspondence relationship between the photographing condition of the electronic camera and the offset value of the black level reference data based on the photographing condition;
The correction processing unit acquires the offset value corresponding to the shooting condition from the recording unit based on the shooting condition of the electronic camera, and corrects the black level of the image data based on the offset value. The image processing apparatus according to claim 1, wherein the image processing apparatus is characterized.
前記有効画素領域の出力に基づいて生成された画像データと、前記遮光領域の出力に基づいて生成された黒レベル基準データとを備えた撮影画像データを読み込む手順と、
前記黒レベル基準データと前記画像データとの対応関係を表示する手順と、
操作者の入力により変更された前記黒レベル基準データに基づいて前記画像データの黒レベルを補正する手順と、
をコンピュータに実行させるための画像処理プログラム。 An image processing program for processing a photographed image of an electronic camera having an image pickup device having an effective pixel region and a light shielding region formed on an outer periphery of the effective pixel region,
A procedure for reading captured image data including image data generated based on the output of the effective pixel region and black level reference data generated based on the output of the light shielding region;
A procedure for displaying a correspondence relationship between the black level reference data and the image data;
Correcting the black level of the image data based on the black level reference data changed by an operator's input;
An image processing program for causing a computer to execute.
前記有効画素領域の出力に基づいて生成され、水平方向または垂直方向に複数の処理単位で分割された画像データと、前記遮光領域の出力に基づいて生成され、前記処理単位ごとにそれぞれ関連付けされてなる複数の黒レベル基準データとを備えた撮影画像データを読み込む手順と、
前記黒レベル基準データの空間変化量に基づいて、前記空間変化量が閾値以上である特異点を検出する手順と、
前記特異点に対応する前記黒レベル基準データを前記変化量に基づいて補正する手順と、
をコンピュータに実行させるための画像処理プログラム。 An image processing program for processing a photographed image of an electronic camera having an image pickup device having an effective pixel region and a light shielding region formed on an outer periphery of the effective pixel region,
Generated based on the output of the effective pixel region, divided into a plurality of processing units in the horizontal direction or the vertical direction, and generated based on the output of the light shielding region, and associated with each processing unit. A procedure for reading captured image data comprising a plurality of black level reference data,
A procedure for detecting a singular point where the spatial variation is equal to or greater than a threshold based on the spatial variation of the black level reference data;
Correcting the black level reference data corresponding to the singular point based on the amount of change;
An image processing program for causing a computer to execute.
前記有効画素領域の出力に基づいて生成され、水平方向または垂直方向に複数の処理単位で分割された画像データと、前記遮光領域の出力に基づいて生成され、前記処理単位ごとにそれぞれ関連付けされてなる複数の黒レベル基準データとを備えた撮影画像データを読み込む手順と、
前記黒レベル基準データの空間変化量に基づいて、水平方向または垂直方向のシェーディング補正係数を生成する手順と、
前記補正係数を用いて前記画像データにシェーディング補正を行う手順と、
をコンピュータに実行させるための画像処理プログラム。 An image processing program for processing a photographed image of an electronic camera having an image pickup device having an effective pixel region and a light shielding region formed on an outer periphery of the effective pixel region,
Generated based on the output of the effective pixel region, divided into a plurality of processing units in the horizontal direction or the vertical direction, and generated based on the output of the light shielding region, and associated with each processing unit. A procedure for reading captured image data comprising a plurality of black level reference data,
Generating a horizontal or vertical shading correction coefficient based on the amount of spatial change of the black level reference data;
A procedure for performing shading correction on the image data using the correction coefficient;
An image processing program for causing a computer to execute.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004187768A JP4507719B2 (en) | 2004-06-25 | 2004-06-25 | Image processing apparatus and image processing program |
EP20050007665 EP1594307A3 (en) | 2004-05-07 | 2005-04-07 | Clamp level adjusting apparatus, electronic camera, image processing apparatus, and image processing program |
US11/100,385 US7688356B2 (en) | 2004-05-07 | 2005-04-07 | Clamp level adjusting apparatus, electronic camera, image processing apparatus, and image processing program |
CN2005100667092A CN1694507B (en) | 2004-05-07 | 2005-04-30 | Clamp level adjusting apparatus, electronic camera, image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004187768A JP4507719B2 (en) | 2004-06-25 | 2004-06-25 | Image processing apparatus and image processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006013858A true JP2006013858A (en) | 2006-01-12 |
JP4507719B2 JP4507719B2 (en) | 2010-07-21 |
Family
ID=35780569
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004187768A Expired - Fee Related JP4507719B2 (en) | 2004-05-07 | 2004-06-25 | Image processing apparatus and image processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4507719B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007281546A (en) * | 2006-04-03 | 2007-10-25 | Samsung Techwin Co Ltd | Imaging apparatus and imaging method |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01212180A (en) * | 1988-02-19 | 1989-08-25 | Sony Corp | Solid-state image pickup device |
JP2000066312A (en) * | 1998-05-20 | 2000-03-03 | Fuji Photo Film Co Ltd | Method and device for reproducing picture |
JP2002077697A (en) * | 2000-09-05 | 2002-03-15 | Dainippon Screen Mfg Co Ltd | Image input device |
JP2002290841A (en) * | 2001-03-23 | 2002-10-04 | Nikon Corp | Imaging device, and electronic camera |
JP2003209713A (en) * | 2002-01-15 | 2003-07-25 | Seiko Epson Corp | Black level correction apparatus and black level correction method |
JP2004104464A (en) * | 2002-09-10 | 2004-04-02 | Sony Corp | Digital still camera and method of correcting image |
JP2004128809A (en) * | 2002-10-01 | 2004-04-22 | Canon Inc | Method and apparatus for image processing, and imaging device |
JP2004312281A (en) * | 2003-04-04 | 2004-11-04 | Sony Corp | Video image editing apparatus and processing method thereof |
JP2004350105A (en) * | 2003-05-23 | 2004-12-09 | Nikon Corp | Signal processing apparatus and electronic camera |
JP2005323041A (en) * | 2004-05-07 | 2005-11-17 | Nikon Corp | Clamp level adjusting device and electronic camera |
-
2004
- 2004-06-25 JP JP2004187768A patent/JP4507719B2/en not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH01212180A (en) * | 1988-02-19 | 1989-08-25 | Sony Corp | Solid-state image pickup device |
JP2000066312A (en) * | 1998-05-20 | 2000-03-03 | Fuji Photo Film Co Ltd | Method and device for reproducing picture |
JP2002077697A (en) * | 2000-09-05 | 2002-03-15 | Dainippon Screen Mfg Co Ltd | Image input device |
JP2002290841A (en) * | 2001-03-23 | 2002-10-04 | Nikon Corp | Imaging device, and electronic camera |
JP2003209713A (en) * | 2002-01-15 | 2003-07-25 | Seiko Epson Corp | Black level correction apparatus and black level correction method |
JP2004104464A (en) * | 2002-09-10 | 2004-04-02 | Sony Corp | Digital still camera and method of correcting image |
JP2004128809A (en) * | 2002-10-01 | 2004-04-22 | Canon Inc | Method and apparatus for image processing, and imaging device |
JP2004312281A (en) * | 2003-04-04 | 2004-11-04 | Sony Corp | Video image editing apparatus and processing method thereof |
JP2004350105A (en) * | 2003-05-23 | 2004-12-09 | Nikon Corp | Signal processing apparatus and electronic camera |
JP2005323041A (en) * | 2004-05-07 | 2005-11-17 | Nikon Corp | Clamp level adjusting device and electronic camera |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007281546A (en) * | 2006-04-03 | 2007-10-25 | Samsung Techwin Co Ltd | Imaging apparatus and imaging method |
JP4662880B2 (en) * | 2006-04-03 | 2011-03-30 | 三星電子株式会社 | Imaging apparatus and imaging method |
Also Published As
Publication number | Publication date |
---|---|
JP4507719B2 (en) | 2010-07-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI491214B (en) | Image capturing apparatus and method for controlling image capturing apparatus | |
US7688356B2 (en) | Clamp level adjusting apparatus, electronic camera, image processing apparatus, and image processing program | |
JP5350466B2 (en) | Column fixed pattern noise correction method | |
JP6300529B2 (en) | Imaging apparatus, control method therefor, program, and storage medium | |
JP4433883B2 (en) | White balance correction device, white balance correction method, program, and electronic camera device | |
JP4992698B2 (en) | Chromatic aberration correction apparatus, imaging apparatus, chromatic aberration calculation method, and chromatic aberration calculation program | |
JP5177284B2 (en) | Subject motion detection apparatus and method | |
JPH07284011A (en) | Digital electronic still camera | |
JP5146498B2 (en) | Image composition apparatus, image composition method, and program | |
JP2012050010A (en) | Imaging apparatus and control method for the same | |
JP5268448B2 (en) | Imaging apparatus, image processing method thereof, and program | |
JP2006050042A (en) | Image processing apparatus | |
JP4935665B2 (en) | Imaging apparatus and image effect providing program | |
JP4507719B2 (en) | Image processing apparatus and image processing program | |
JP6108854B2 (en) | Imaging apparatus and control method thereof | |
JP6090565B2 (en) | Imaging apparatus, imaging method, and program | |
JP5172283B2 (en) | Stereo image processing apparatus, stereo image processing method, and program | |
JP2018026606A (en) | Image processing device | |
JP4973428B2 (en) | Image processing apparatus, electronic camera, and image processing program | |
JP2007049496A (en) | Image processing method and apparatus | |
JP2009201062A (en) | Imaging device and imaging method | |
JP4720255B2 (en) | Camera device, photographing method and photographing program | |
WO2012114390A1 (en) | Imaging device, imaging method and program | |
JP2006287582A (en) | Image processing apparatus and method | |
JP2012147499A (en) | Imaging apparatus and video signal processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070409 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100104 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100413 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100426 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4507719 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |