JP4321317B2 - Electronic camera, camera system, and black spot correction method for electronic camera - Google Patents
Electronic camera, camera system, and black spot correction method for electronic camera Download PDFInfo
- Publication number
- JP4321317B2 JP4321317B2 JP2004069167A JP2004069167A JP4321317B2 JP 4321317 B2 JP4321317 B2 JP 4321317B2 JP 2004069167 A JP2004069167 A JP 2004069167A JP 2004069167 A JP2004069167 A JP 2004069167A JP 4321317 B2 JP4321317 B2 JP 4321317B2
- Authority
- JP
- Japan
- Prior art keywords
- fixed object
- image data
- aperture value
- black spot
- exit pupil
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Devices (AREA)
Description
本発明は電子カメラに関し、特に撮像素子の前面に固着した固着物の陰影による黒点を、射出瞳位置および絞り値に対応して補正する黒点補正処理技術に関する。 The present invention relates to an electronic camera, and more particularly to a black spot correction processing technique for correcting a black spot caused by a shadow of a fixed object fixed to the front surface of an image pickup device in accordance with an exit pupil position and an aperture value.
従来から、被写体像を光電変換して画像データを生成する電子カメラでは、CCD等の撮像素子が広く適用されている。この撮像素子に光電変換を正常に行うことのできない欠陥画素がある場合には、生成された画像データに欠陥画素が黒点として表示される。近年では撮像素子の集積度は高まる一方であり、生産性を向上させるために欠陥画素による黒点を補正することが一般的に行われている(特許文献1参照)。 2. Description of the Related Art Conventionally, an imaging device such as a CCD has been widely applied to electronic cameras that generate image data by photoelectrically converting a subject image. When there is a defective pixel that cannot perform photoelectric conversion normally in this image sensor, the defective pixel is displayed as a black dot in the generated image data. In recent years, the degree of integration of image sensors has been increasing, and correction of black spots due to defective pixels is generally performed in order to improve productivity (see Patent Document 1).
また、撮像素子の受光素子の前面には、光学的ローパスフィルタ、カバーガラス、マイクロレンズ等の光学部品が配置されている。製造工程中に撮像素子の光学部品の間にゴミ等が定着した場合や、撮像素子の光学部品の内部に微少な傷がある場合(すなわち、撮像素子の前面に固着物がある場合)には、撮像素子自体に欠陥画素がなくてもその固着物の陰影が黒点として表示される。この点に関して、例えば、特許文献2では、光学的ローパスフィルタの表面に付着したゴミによる黒点の補正技術が開示されている。
ここで、撮像素子前面の固着物の陰影による黒点は、特許文献1の欠陥画素の黒点とは異なり、カメラの絞り値や射出瞳位置によって黒点の位置や範囲が異なって現れる。しかも、撮像素子の光学部品の間に固着した固着物の場合、撮像素子の平行面における高さ方向位置および幅方向位置が同じでも、その奥行方向位置が異なれば、絞り値や射出瞳位置に対応した黒点の変化は異なったものとなる。しかし、上記の特許文献2では、カメラの絞り値や射出瞳位置による黒点の位置変化や、固着物の奥行方向位置による黒点の位置変化は考慮されておらず、その点でなお改善の余地があった。
Here, the black spot due to the shadow of the fixed object in front of the image pickup device appears differently from the black spot of the defective pixel in
本発明は、上記従来技術の課題を解決するためのものであり、その目的は、撮像素子の前面に固着した固着物の陰影による黒点を、その固着物の位置、射出瞳位置および絞り値を考慮して高い精度で補正する電子カメラを提供することである。 The present invention is for solving the above-described problems of the prior art, and its purpose is to determine the black spot due to the shadow of a fixed object fixed to the front surface of the image sensor, the position of the fixed object, the exit pupil position, and the aperture value. It is an object of the present invention to provide an electronic camera that corrects with high accuracy in consideration.
(請求項1の発明)
請求項1の発明は、撮影レンズによって形成された被写体像を光電変換する撮像素子と、前記撮影レンズから射出瞳位置および絞り値を取得するレンズ情報取得部と、前記撮像素子の前面に固着した固着物の高さ方向位置、幅方向位置および奥行方向位置からなる固着物位置情報と、前記射出瞳位置と、前記絞り値とに基づいて光路計算を行って、前記射出瞳位置および前記絞り値に応じた黒点の発生位置に関する補正データを生成する黒点補正データ生成部と、前記撮像素子が撮像指示に応じた撮像により出力する出力信号に画像処理を施して画像データを生成し、かつ前記撮像前に前記レンズ情報取得部により取得した前記射出瞳位置および前記絞り値と前記補正データとに基づいて前記画像データにおいて黒点が発生する画素位置を特定し、当該画素を補正する画像処理部と、を有することを特徴とする電子カメラである。
(Invention of Claim 1)
According to the first aspect of the present invention, an image sensor that photoelectrically converts a subject image formed by a photographing lens, a lens information acquisition unit that acquires an exit pupil position and an aperture value from the photographing lens, and a front surface of the image sensor are fixed. the height direction position of the attached material, by performing a fixed object position information consisting of position in the width direction and the depth direction position, and the exit pupil position, the optical path computation based on said aperture, the exit pupil position and the aperture value A black point correction data generating unit that generates correction data relating to a black spot generation position according to the image , an image processing is performed on an output signal output by the imaging element in accordance with an imaging instruction, and image data is generated, and the imaging JP pixel position black spots occur in the image data on the basis of the lens information acquisition unit obtained with the exit pupil position and the aperture value by the before and the correction data And, an electronic camera comprising: an image processing unit that corrects the pixel, a.
(請求項2の発明)
請求項2の発明は、請求項1の発明において、前記黒点補正データ生成部は、判定手段と固着物位置取得手段とを有する。
判定手段は、所定の絞り値および所定の射出瞳位置で生成した基準画像データの黒点位置と、前記基準画像データの絞り値または前記射出瞳位置のいずれかを変更して生成した比較画像データの黒点位置との対比によって、前記画像データの黒点が前記固着物の陰影か欠陥画素かを判定する。
(Invention of Claim 2)
According to a second aspect of the present invention, in the first aspect of the invention, the black spot correction data generation unit includes a determination unit and a fixed object position acquisition unit.
The determination means includes a black spot position of the reference image data generated at a predetermined aperture value and a predetermined exit pupil position, and comparison image data generated by changing either the aperture value or the exit pupil position of the reference image data. Whether the black spot of the image data is a shadow of the fixed object or a defective pixel is determined by comparison with the black spot position.
固着物位置取得手段は、前記判定手段の判定結果が前記固着物の陰影の場合に、前記基準画像データの黒点位置から前記固着物の高さ方向位置および幅方向位置を取得し、かつ前記基準画像データおよび比較画像データの前記黒点位置の変化から、固着物の奥行方向位置を光路計算で演算する。
(請求項3の発明)
請求項3の発明は、請求項1または請求項2の発明において、前記画像処理部は、前記絞り値が所定の閾値より開放側の場合に前記黒点の補正を行わないことを特徴とする。
The fixed object position acquisition means acquires the height direction position and the width direction position of the fixed object from the black spot position of the reference image data when the determination result of the determination means is a shadow of the fixed object, and the reference From the change in the black spot position of the image data and the comparison image data, the depth direction position of the fixed object is calculated by optical path calculation.
(Invention of Claim 3)
A third aspect of the invention is characterized in that, in the first or second aspect of the invention, the image processing unit does not correct the black spot when the aperture value is closer to the open side than a predetermined threshold value.
(請求項4の発明)
請求項4の発明は、請求項1から請求項3の発明において、前記撮影レンズが交換可能に構成されていることを特徴とする。
(請求項5の発明)
請求項5の発明は、電子カメラと、前記電子カメラに通信回線を介して接続されるサーバーとを備えるカメラシステムである。
(Invention of Claim 4)
According to a fourth aspect of the present invention, in the first to third aspects of the present invention, the photographic lens is configured to be replaceable.
(Invention of Claim 5)
The invention of
前記電子カメラは、撮影レンズによって形成された被写体像を光電変換する撮像素子と、前記撮影レンズから射出瞳位置および絞り値を取得するレンズ情報取得部と、前記撮像素子の出力信号に画像処理を施して画像データを生成する画像処理部と、前記撮像素子の前面に固着した固着物の高さ方向位置、幅方向位置および奥行方向位置からなる固着物位置情報を光路計算で演算する固着物位置取得手段と、前記通信回線に接続されてデータの送受信を実行するカメラ通信部と、を有する。 The electronic camera includes an image sensor that photoelectrically converts a subject image formed by a photographic lens, a lens information acquisition unit that acquires an exit pupil position and an aperture value from the photographic lens, and image processing on an output signal of the image sensor. And an image processing unit that generates image data, and a fixed object position that calculates, by optical path calculation, fixed object position information including a height direction position, a width direction position, and a depth direction position of the fixed object fixed to the front surface of the imaging device. An acquisition unit; and a camera communication unit that is connected to the communication line and transmits and receives data.
前記サーバーは、前記固着物の位置ごとに、前記射出瞳位置と、前記絞り値とに基づいて予め光路計算で生成された、前記固着物の陰影による黒点の発生位置に関する補正データと、前記固着物位置情報との対応関係を記録した記録部と、前記通信回線に接続されてデータの送受信を実行する通信制御部と、を有する。
そして、前記カメラシステムでは、前記サーバーの通信制御部が、前記電子カメラから受信した前記固着物位置情報を前記記録部に照会して、前記固着物位置情報に対応する前記補正データを送信し、前記電子カメラの画像処理部が、前記サーバーから受信した補正データに基づいて前記画像データの前記黒点を補正する。
The server, for each position of the fixed object, correction data relating to the black spot generation position caused by the shadow of the fixed object, which is generated in advance by optical path calculation based on the exit pupil position and the aperture value, and the fixed object. A recording unit that records a correspondence relationship with the kimono position information; and a communication control unit that is connected to the communication line and that transmits and receives data.
In the camera system, the communication control unit of the server inquires the recording unit for the fixed object position information received from the electronic camera, and transmits the correction data corresponding to the fixed object position information. The image processing unit of the electronic camera corrects the black spot of the image data based on the correction data received from the server.
(請求項6の発明)
請求項6の発明は、撮影レンズによって形成された被写体像を光電変換する撮像素子と、前記撮影レンズから射出瞳位置および絞り値を取得するレンズ情報取得部と、前記撮像素子の前面に固着した固着物の高さ方向位置、幅方向位置および奥行方向位置からなる固着物位置情報と、前記射出瞳位置と、前記絞り値とに基づいて光路計算を行って、前記射出瞳位置および前記絞り値に応じた黒点の発生位置に関する補正データを生成する黒点補正データ生成部と、前記撮像素子が撮像指示に応じた撮像により出力する出力信号に画像処理を施して画像データを生成し、かつ前記レンズ情報取得部により取得した前記射出瞳位置および前記絞り値と前記補正データとに基づいて前記画像データにおいて黒点が発生する画素位置を特定し、当該画素を補正する画像処理部と、を有する電子カメラの黒点補正方法であって、
前記黒点補正データ生成部が、前記画像データにより前記固着物位置情報を予め取得する工程と、前記黒点補正データ生成部が、前記固着物位置情報と、前記射出瞳位置と、前記絞り値とに基づいて光路計算を行って、前記補正データを生成する工程と、前記画像処理部が、前記射出瞳位置および前記絞り値と前記補正データとに基づいて前記画像データの前記黒点を補正する工程と、を備えることを特徴とする。
(Invention of Claim 6)
According to a sixth aspect of the present invention, an image sensor that photoelectrically converts a subject image formed by a photographic lens, a lens information acquisition unit that acquires an exit pupil position and an aperture value from the photographic lens, and a front surface of the image sensor. the height direction position of the attached material, by performing a fixed object position information consisting of position in the width direction and the depth direction position, and the exit pupil position, the optical path computation based on said aperture, the exit pupil position and the aperture value A black spot correction data generating unit that generates correction data relating to a black spot generation position according to the image , an image processing is performed on an output signal output by the imaging element in response to an imaging instruction, and image data is generated, and the lens It specifies a pixel position where black spots occur in the image data on the basis of the acquired position of the exit pupil and the aperture value by the information acquisition unit and the said correction data, the image A black point correction method of an electronic camera with an image processing unit for correcting the,
The black spot correction data generation unit acquires the fixed object position information in advance from the image data, and the black point correction data generation unit includes the fixed object position information, the exit pupil position, and the aperture value. Performing an optical path calculation based on the generated image and generating the correction data; and correcting the black spot of the image data based on the exit pupil position, the aperture value, and the correction data. It is characterized by providing.
本発明では、電子カメラの撮像素子の前面に固着物がある場合において、その固着物の陰影による黒点を、射出瞳位置および絞り値に対応して補正することができる。また、本発明では、固着物の位置は撮像素子の奥行方向位置を考慮するので、特に撮像素子の前面の光学部品の間の固着物による黒点についても、高い精度で補正することが可能である。 In the present invention, when there is a fixed object on the front surface of the image sensor of the electronic camera, the black spot due to the shadow of the fixed object can be corrected in accordance with the exit pupil position and the aperture value. Further, in the present invention, since the position of the fixed object takes into account the depth direction position of the image sensor, it is possible to correct black spots caused by the fixed object between the optical components on the front surface of the image sensor with high accuracy. .
以下、図面に基づいて本発明の実施の形態を詳細に説明する。
(第1実施形態の構成)
図1は、本発明の第1実施形態の電子カメラの概要図である(請求項1から請求項4の電子カメラと、請求項6の黒点補正方法に対応する)。第1実施形態の電子カメラは、撮影レンズ100と、撮影レンズ100を交換可能に取り付けられたカメラ本体200とから構成される。また、第1実施形態の電子カメラは、図示しないモード設定スイッチの変更によって、撮影モードと、補正データ生成モードとを切り替えることが可能である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(Configuration of the first embodiment)
FIG. 1 is a schematic diagram of an electronic camera according to a first embodiment of the present invention (corresponding to the electronic camera of
撮影レンズ100は、複数のレンズを組み合わせてなるレンズ系1と、絞り2と、レンズ系1および絞り2の相対位置を光軸方向に駆動させる駆動機構3と、レンズ情報出力部4と、を有している。ここで、レンズ情報出力部4は、駆動機構3による射出瞳位置の変化、絞り2の絞り値の変化、撮影レンズ100の型番等をカメラ本体200に出力する。なお、電子カメラの射出瞳位置は、カメラ本体200に対して撮影レンズ100を交換した場合や、取り付けた撮影レンズをズームさせた場合に変化する。
The photographing
カメラ本体200は、撮像素子5と、撮像素子5の駆動パルス等を生成するタイミングジェネレータ(TG)6と、A/D変換部7と、画像処理部8と、CPU9と、メモリ10と、カードインターフェース11および記録媒体12と、各部を接続するデータバス13とを有している。また、カメラ本体200の撮影レンズ100との接続部には、レンズ情報出力部4とCPU9とを信号接続するレンズ情報取得部14が設けられている。
The
撮像素子5は、撮影レンズ100の像空間側に配置される。撮像素子5の受光面は撮影レンズ100と相対しており、被写体像を光電変換してアナログ画像信号を生成する受光素子15が2次元配列されている。また、撮像素子5の前面には、光学的ローパスフィルタ16、カバーガラス17、各受光素子15に対応するマイクロレンズ18等の光学部品が、撮像素子5の受光面と平行に配置されている(図2参照)。この撮像素子5の受光面に投影された被写体像は、受光素子15により光電変換されてアナログ画像信号として出力される。この撮像素子5のアナログ画像信号は、A/D変換部7によってデジタル画像信号に変換されて画像処理部8に入力される。
The
画像処理部8は、デジタル画像信号にガンマ補正、色分離、ホワイトバランスなどの処理を行って画像データを生成する。また、画像処理部8は、撮影モードの画像データに写り込んだ黒点(固着物の陰影による黒点、欠陥画素の黒点)を、後述の補正データに基づいて補正する。
CPU9は、データバス13を介してカメラ本体200の各部の動作を制御し、カメラ本体200の合焦制御、露光制御に必要な演算処理を実行する。また、第1実施形態のCPU9は、補正データ生成モードにおいて以下の機能を有する「黒点補正データ生成部」として機能する。
The
The
第1にCPU9は、画像データの黒点が固着物の陰影か欠陥画素かを判定する「判定手段」として機能する。具体的には、CPU9は、所定の絞り値および所定の射出瞳位置での生成された基準画像データと、この基準画像データの絞り値または基準射出瞳位置のいずれかを変更して生成された比較画像データとを対比して、黒点の種類を判定する。
ここで、固着物の陰影による黒点と欠陥画素の黒点との相違を簡単に説明する。固着物の陰影による黒点の場合、画像データの黒点位置は射出瞳位置や絞り値に対応して変化する。
First, the
Here, the difference between the black spot due to the shadow of the fixed object and the black spot of the defective pixel will be briefly described. In the case of a black spot due to the shadow of a fixed object, the black spot position of the image data changes corresponding to the exit pupil position and the aperture value.
例えば、図3に示すように、基準画像データの撮影条件を基準として、撮影レンズ100の射出瞳位置を撮像素子5に近づけると、画像データの黒点位置は光軸を中心として半径方向の外側に移動する。一方、射出瞳位置を撮像素子5から遠ざけると、画像データの黒点位置は光軸を中心として半径方向の内側に移動する。
また、基準画像データの撮影条件を基準として、撮影レンズ100の絞り2を絞った場合には画像データの黒点は鮮明になるが、絞り2を開放側に変化させた場合には画像データの黒点はぼやけて広がるように変化する。一例として、基準画像データの撮影条件から射出瞳位置を撮像素子5に近づけ、かつ絞りを開放側に変化させた場合には、画像データの黒点位置は光軸を中心として半径方向外側にぼやけて広がる(図4参照)。
For example, as shown in FIG. 3, when the exit pupil position of the photographing
Further, when the
これに対し、欠陥画素の黒点の場合には、射出瞳位置や絞り値の変化に拘わらず画像データの黒点位置は常に一定である。したがって、補正データ生成モードでは、CPU9は、基準画像データおよび比較画像データの黒点位置を対比して、黒点位置が一致する場合は欠陥画素と判定し、不一致の場合は固着物の陰影と判定する。
第2にCPU9は、黒点が固着物の陰影の場合に、固着物の高さ方向位置、幅方向位置および奥行方向位置からなる固着物位置情報を取得する「固着物位置取得手段」として機能する。具体的には、CPU9は、固着物の高さ方向位置および幅方向位置を、基準画像データの黒点位置に基づいて取得する。そして、固着物の奥行方向位置を、基準画像データおよび比較画像データの黒点位置の変化に基づいて光路計算で演算して取得する。
On the other hand, in the case of a black spot of a defective pixel, the black spot position of the image data is always constant regardless of changes in the exit pupil position and the aperture value. Therefore, in the correction data generation mode, the
Secondly, the
第3にCPU9は、固着物位置情報と、射出瞳位置と、絞り値とに基づいて光路計算を行って、撮像素子5の受光面に現れる固着物の陰影(画像データの黒点位置)を演算する。そして、CPU9は、射出瞳位置および絞り値の組み合わせと、画像データの黒点位置との対応関係からなる補正データを生成する。
メモリ10はSDRAM等で構成され、走査順に出力されて一部の画像処理のみが施されたデジタル画像信号や、記録媒体12に記録する前の画像データなどが一時待避される。また、第1実施形態のメモリ10には、補正データ生成モードにおいてCPU9が生成した補正データが記録される。
Thirdly, the
The
さらに、メモリ10には、撮影レンズ100の射出瞳位置と絞り値の組み合わせの情報が記憶されている。この射出瞳位置と絞り値の組み合わせの情報は、固着物の陰影の補正データの生成に用いられる。なお、カメラ本体200に取付可能な撮影レンズ100が複数ある場合は、射出瞳位置と絞り値の組み合わせの情報は、各撮影レンズ100の分だけ記録されている。
Further, the
カードインターフェース11には、記録媒体12が着脱可能に装着されている。記録媒体12は、例えばコンパクトフラッシュ(登録商標)等の公知の半導体メモリなどが該当する。記録媒体12には、固着物の陰影による黒点が補正された画像データが最終的に格納される。
(第1実施形態の作用)
第1実施形態の電子カメラは上記のように構成され、以下、第1実施形態の電子カメラの動作説明を、図5に示す補正データ生成モードと、図6に示す撮影モードとに分けてそれぞれ説明する。
A recording medium 12 is detachably attached to the
(Operation of the first embodiment)
The electronic camera of the first embodiment is configured as described above. Hereinafter, the operation of the electronic camera of the first embodiment is divided into a correction data generation mode shown in FIG. 5 and a photographing mode shown in FIG. explain.
(補正データ生成モードの場合)
第1実施形態の補正データ生成モードは、例えば、工場での製品検査時や、ユーザーによる電子カメラの調整時に利用される。補正データ生成モードでは、所定の撮影レンズ(基準レンズ)100をカメラ本体200に予め取り付け、白一面のパネル等を基準被写体として用意する。
(In correction data generation mode)
The correction data generation mode of the first embodiment is used, for example, at the time of product inspection at a factory or when the user adjusts the electronic camera. In the correction data generation mode, a predetermined photographing lens (reference lens) 100 is attached to the
ステップS101:補正データ生成モードが開始されると、CPU9は、所定の絞り値および所定の射出瞳位置(例えば、基準レンズにおける無限遠の射出瞳位置、最小絞り値の撮影条件)で基準被写体を撮影し、基準画像データを生成する。次にCPU9は、基準画像データの撮影条件のうち、絞り値または射出瞳位置のいずれか一方を変更して基準被写体を再撮影し、比較画像データを生成する。
Step S101: When the correction data generation mode is started, the
ステップS102:CPU9は、基準画像データおよび比較画像データから、エッジ検出等の画像解析によって黒点(低輝度値の画素)を抽出し、その黒点位置(画像データ中の黒点のXY座標値)を取得する。基準被写体は白一色であるため、画像データ中の低輝度値の画素は欠陥画素の黒点か、あるいは固着物の陰影による黒点であると判断できる。
ステップS103:CPU9は、基準画像データおよび比較画像データに黒点(低輝度値の画素)が存在するか否かを判定する。黒点が存在する場合(YES側)には、CPU9はステップS104に移行する。一方、黒点がない場合(NO側)には補正の必要がないので、CPU9は補正データ生成モードを終了する。
Step S102: The
Step S103: The
ステップS104:CPU9は、基準画像データおよび比較画像データの黒点位置を対比して、両者の黒点位置が一致するか否かを判定する。黒点位置が一致する場合(YES側)には、CPU9は黒点を欠陥画素と判定してステップS105に移行する。一方、黒点位置が不一致の場合(NO側)には、CPU9は黒点を固着物の陰影と判定してステップS106に移行する。なお、画像データ中に黒点が複数ある場合には、各黒点においてこの判定がそれぞれ行われる。
Step S104: The
ステップS105:CPU9は、基準画像データまたは比較画像データの黒点位置をそのまま取得して欠陥画素の補正データを生成し、メモリ10に欠陥画素の補正データを記憶する。そして、CPU9は補正データ生成モードを終了する。
ステップS106:CPU9は、基準画像データの黒点位置に基づいて、固着物位置情報の高さ方向位置、幅方向位置を取得する。また、CPU9は、基準画像データおよび比較画像データの黒点位置と、射出瞳位置および絞り値とに基づいて、固着物の奥行方向位置を光路計算で演算して割り出す。
Step S <b> 105: The
Step S106: The
ステップS107:CPU9は、固着物位置情報(S106)と、射出瞳位置と、絞り値とに基づいて光路計算を行って、撮像素子5の受光面に現れる固着物の陰影(画像データの黒点位置)を演算して、固着物の陰影による黒点の補正データを生成する。このとき、CPU9は、射出瞳位置および絞り値の組み合わせの全パターンにおいて、画像データの黒点位置をそれぞれ演算する。
Step S107: The
ステップS108:CPU9は、固着物の陰影による黒点の補正データ(射出瞳位置および絞り値の組み合わせと、画像データの黒点位置との対応関係)をメモリ10に記憶し、補正データ生成モードを終了する。
(撮影モードの場合)
ステップS201:図示しないレリーズスイッチの半押し等の所定の入力があった場合、CPU9は合焦制御や露光制御を実行して撮影を準備する。このとき、CPU9は、レンズ情報取得部14を介して、撮影レンズ100から射出瞳位置および絞り値の情報をリアルタイムで取得する。
Step S108: The
(In shooting mode)
Step S201: When there is a predetermined input such as a half-press of a release switch (not shown), the
ステップS202:図示しないレリーズスイッチの全押し等の所定の入力にしたがってCPU9はレリーズ動作を開始する。撮像素子5は、CPU9の決定した露出条件で被写体像の光電変換を実行してアナログ画像信号を出力する。このとき、撮像素子5の光学部品に固着物がある場合は、該固着物の陰影も被写体像とともに光電変換され、該固着物の陰影が黒点として画面に写り込む。
Step S202: The
ステップS203:A/D変換部7が、撮像素子5から出力されたアナログ画像信号をデジタル画像信号に変換する。A/D変換部7から走査順に出力されたデジタル画像信号は、画像処理部8で一部の画像処理のみが施されてメモリ10に一時的に格納される。画像処理部8は、1画面分のデジタル画像信号がメモリ10に揃った段階でデジタル画像信号を再度読み出し、残された画像処理を施して画像データを生成する。なお、画像データに欠陥画素の黒点がある場合には、画像処理部8は、欠陥画素の補正データに基づいてこの段階で欠陥画素の黒点を補正する。
Step S203: The A /
ステップS204:CPU9は、ステップS201で取得した絞り値が所定の閾値より開放側か否かを判定する。絞り値が閾値より開放側の場合(YES側)には、CPU9は画像処理部8に黒点の補正指示を与えずにステップS206に移行する。一方、絞り値が閾値と同じか、絞り側の場合(NO側)には、ステップS205に移行して黒点の補正処理が行われる。
Step S204: The
ここで、絞り値が所定の絞り値より開放側の場合に黒点の補正をしないのは以下の理由による。第1実施形態では、後述のように、黒点の画素を周囲画素の出力で補間する。しかし、黒点位置の近傍に濃淡の境界が存在する場合やコントラストが急激に変化している場合などでは、画像データの補正跡が不連続となることがある。その一方で、絞り値を開放側に近づけた場合には、固着物の陰影はぼやけて次第に目だたなくなるので、開放側の絞り値では特に黒点の補正をしなくとも不都合はないからである。 Here, when the aperture value is closer to the open side than the predetermined aperture value, the black point is not corrected for the following reason. In the first embodiment, as described later, black point pixels are interpolated by the output of surrounding pixels. However, the correction trace of the image data may be discontinuous when there is a light / dark boundary near the black spot position or when the contrast changes rapidly. On the other hand, when the aperture value is brought closer to the open side, the shadow of the fixed object becomes blurred and gradually becomes inconspicuous, so there is no inconvenience even if the black point is not corrected with the open side aperture value. .
ステップS205:画像処理部8は、固着物の陰影による黒点の補正データに基づいて画像データの黒点を補正する。具体的には、CPU9は、ステップS201で取得した射出瞳位置および絞り値をメモリ10に照会し、その射出瞳位置および絞り値の組み合わせに対応する画像データの黒点位置をメモリ10から取得する。画像処理部8は、CPU9が取得した画像データの黒点位置に基づいて、固着物の陰影による黒点の画素を特定する。そして、画像処理部8は、その黒点の画素を周囲画素の出力の平均値等で補間して画像データを補正する。
Step S205: The
ステップS206:CPU9は、画像処理部8から出力された補正済みの画像データを記録媒体12に記憶する。以上で、撮影モードの一連の動作が終了する。
(第1実施形態の効果)
第1実施形態では、撮像素子前面の固着物の陰影による黒点を、絞り値の変化や、レンズの種類やズーム位置で異なる射出瞳位置の変化に対応して補正するので、高い精度で画像データの黒点を除去できる。特に、第1実施形態では、固着物の奥行方向位置を含む固着物位置情報に基づいて補正データを生成するので、撮像素子のいずれの光学部品の間に固着物がある場合でも高い精度で黒点を補正できる。また、副次的な効果として、製造工程で固着物の陰影で不良とされる場合が減少するので電子カメラの生産性も向上する。
Step S206: The
(Effect of 1st Embodiment)
In the first embodiment, the black point due to the shadow of the fixed object on the front surface of the image sensor is corrected in accordance with the change of the aperture value, the change of the exit pupil position that differs depending on the type of lens and the zoom position, and thus the image data with high accuracy. Can remove black spots. In particular, in the first embodiment, the correction data is generated based on the fixed object position information including the position in the depth direction of the fixed object. Therefore, even if there is a fixed object between any optical components of the image sensor, Can be corrected. Further, as a secondary effect, the productivity of the electronic camera is improved because the number of cases where it is considered defective due to the shadow of the fixed object in the manufacturing process is reduced.
さらに、第1実施形態では、固着物の陰影がぼやけて目立たない開放側の絞り値では補正を行わないので、画像データの補正跡が不連続となる場合が最小限に抑制される。
(第2実施形態の構成)
図7は、本発明の第2実施形態のカメラシステムの概要図である(請求項5のカメラシステムと、請求項6の黒点補正方法に対応する)。第2実施形態のカメラシステムは、電子カメラとサーバー300とで構成され、電子カメラおよびサーバー300は、公知の通信回線(有線、無線のいずれも含む)で接続されている。なお、第2実施形態において、第1実施形態と同様の構成には、同一符号を付して説明を省略する。
Furthermore, in the first embodiment, correction is not performed with the aperture value on the open side where the shadow of the fixed object is not noticeable due to blurring, so that the case where the correction trace of the image data becomes discontinuous is minimized.
(Configuration of Second Embodiment)
FIG. 7 is a schematic diagram of a camera system according to a second embodiment of the present invention (corresponding to the camera system of
第2実施形態の電子カメラは、第1実施形態のカメラとほぼ同様の構成であり、撮影モードおよび補正データ生成モードを有している。なお、撮影モードの電子カメラは単体で機能し、サーバー300と接続されている必要はない。
電子カメラは、撮影レンズ100と、撮影レンズ100を交換可能に取り付けられたカメラ本体200とから構成される。カメラ本体200は、撮像素子5と、タイミングジェネレータ6と、A/D変換部7と、画像処理部8と、CPU9と、メモリ10と、カードインターフェース11および記録媒体12と、データバス13と、レンズ情報取得部14のほかに、カメラ通信部19を備えている。カメラ通信部19は、例えば、USB(Universal Serial Bus)またはIEEE1394規格のシリアルバスの出力ポートや、無線LAN等による通信回線への接続手段を備えており、通信回線を介してサーバー300とのデータ送受信を実行する。
The electronic camera of the second embodiment has substantially the same configuration as the camera of the first embodiment, and has a shooting mode and a correction data generation mode. Note that the electronic camera in the shooting mode functions alone and does not need to be connected to the
The electronic camera includes a
また、第2実施形態のCPU9は、「判定手段」および「固着物位置取得手段」の機能を有し、取得した固着物位置情報をサーバー300に送信して、サーバー300から補正データを取得する。すなわち、第1実施形態ではCPU9の光路計算で補正データが生成されるが、第2実施形態ではサーバー300に補正データが生成されている点で相違する。
Further, the
第2実施形態のサーバー300は、記録部20と、通信制御部21とから構成されている。なお、第2実施形態における請求項6との対応関係を示すと、カメラ本体200のCPU9およびサーバー300が「黒点補正データ生成部」に該当する。
記録部20には、予め光路計算により生成された補正データ(射出瞳位置および絞り値の組み合わせと、画像データの黒点位置との対応関係)が記録されている。この補正データは、撮像素子5の固着物の位置の全パターンにおいて予め用意されている。
A
The
通信制御部21は、通信回線を介して接続されたカメラ本体200とのデータ送受信を行う。また、通信制御部21は、カメラ本体200から受信した固着物位置情報を記録部20に照会し、固着物位置情報に対応する記録部20の補正データをカメラ本体200に送信する。
(第2実施形態の作用)
以下、第2実施形態の補正データ生成モードの動作説明を図8にしたがって説明する。ここで、図8のステップS301〜S306は、第1実施形態のステップS101〜S106と共通するので説明を省略する。なお、第2実施形態の撮影モードは第1実施形態と共通であるのでその動作説明を省略する。
The communication control unit 21 performs data transmission / reception with the
(Operation of Second Embodiment)
The operation of the correction data generation mode of the second embodiment will be described below with reference to FIG. Here, steps S301 to S306 in FIG. 8 are the same as steps S101 to S106 in the first embodiment, and thus description thereof is omitted. Note that the shooting mode of the second embodiment is the same as that of the first embodiment, and thus the description of the operation is omitted.
(補正データ生成モードの場合)
ステップS307:CPU9は、S306で生成した固着物位置情報をサーバー300に送信する。
ステップS308:サーバー300の通信制御部21は、受信した固着物位置情報を記録部20に照会し、固着物位置情報に対応する補正データを取得する。この補正データは、射出瞳位置および絞り値の組み合わせの全パターンにおける画像データの黒点位置の対応関係を示したものである。そして、通信制御部21は、カメラ本体200に補正データを送信する。
(In correction data generation mode)
Step S307: The
Step S308: The communication control unit 21 of the
ステップS309:CPU9は、サーバー300から受信した補正データをメモリ10に記憶し、補正データ生成モードを終了する。
(第2実施形態の効果)
第2実施形態では、上記第1実施形態の効果に加えて、補正データをサーバーに記憶することで、光路計算によるカメラ本体のCPUの負荷を減らすことができる。また、例えば、新しい交換レンズが発売された場合など、補正データに修正が必要な場合でも、必要な補正データをサーバーから適宜ダウンロードできるので、ユーザー側の利便性も向上する。
Step S309: The
(Effect of 2nd Embodiment)
In the second embodiment, in addition to the effects of the first embodiment, by storing correction data in the server, the load on the CPU of the camera body due to optical path calculation can be reduced. In addition, even when correction data needs to be corrected, for example, when a new interchangeable lens is released, necessary correction data can be downloaded from the server as appropriate, so that convenience for the user is improved.
(実施形態の補足事項)
以上、本発明を上記の実施形態によって説明してきたが、本発明の技術的範囲は上記実施形態に限定されるものではない。例えば、本発明は上記実施形態のようなレンズ交換式の電子カメラには限定されず、撮影レンズを交換できないコンパクトタイプの電子カメラにも適用できる。また、絞り値によって固着物の陰影の濃度は変化するため、補正データに黒点の濃度に関する情報を含め、絞り値による黒点の濃度変化を考慮して画像データの補正を行ってもよい。さらに、上記実施形態では、画像データの黒点を周辺画素の出力で補間して補正を行う例を示したが、黒点の画素の出力に所定の補正係数を乗算し、黒点の画素のゲイン増加によって画像データを補正してもよい。
(Supplementary items of the embodiment)
As mentioned above, although this invention has been demonstrated by said embodiment, the technical scope of this invention is not limited to the said embodiment. For example, the present invention is not limited to the interchangeable lens type electronic camera as in the above embodiment, and can also be applied to a compact type electronic camera in which the photographing lens cannot be replaced. Further, since the density of the shadow of the fixed object varies depending on the aperture value, the correction data may include information on the density of the black point, and the image data may be corrected in consideration of the density change of the black point due to the aperture value. Furthermore, in the above-described embodiment, an example is shown in which correction is performed by interpolating the black point of the image data with the output of the peripheral pixels, but by multiplying the output of the black point pixel by a predetermined correction coefficient, the gain of the black point pixel is increased. Image data may be corrected.
さらにまた、画像処理部は、補間による画像データ補正と、ゲイン増加による画像データ補正を組み合わせて、絞り値に応じて画像データの補正方法を変更するようにしてもよい。例えば、絞り値が絞り側であって黒点が1画素のみに鮮明に現れる場合には補間によって画像データを補正し、絞り値が開放側であって黒点が複数画素にぼやけて現れる場合には、ゲイン増加によって画像データを補正するようにしてもよい。 Furthermore, the image processing unit may combine the image data correction by interpolation and the image data correction by increasing the gain, and change the image data correction method according to the aperture value. For example, when the aperture value is on the aperture side and a black spot appears clearly only on one pixel, the image data is corrected by interpolation, and when the aperture value is on the open side and the black spot appears blurry on multiple pixels, Image data may be corrected by increasing the gain.
なお、本発明にいう「電子カメラ」は、上記実施形態の例に限定されず、例えば、光電変換によって画像データを取得するスキャナ等の撮像装置も広く含む趣旨である。 Note that the “electronic camera” referred to in the present invention is not limited to the example of the above embodiment, and is intended to include a wide range of imaging devices such as a scanner that acquires image data by photoelectric conversion, for example.
本発明は、電子カメラの画像データの黒点の補正、特に撮像素子の前面に固着した固着物の陰影による黒点の補正に利用できる。 INDUSTRIAL APPLICABILITY The present invention can be used for correcting black spots in image data of an electronic camera, in particular, correcting black spots due to shadows of fixed objects fixed on the front surface of an image sensor.
1 レンズ系
2 絞り
3 駆動機構
4 レンズ情報出力部
5 撮像素子
6 タイミングジェネレータ(TG)
7 A/D変換部
8 画像処理部
9 CPU
10 メモリ
11 カードインターフェース
12 記録媒体
13 データバス
14 レンズ情報取得部
15 受光素子
16 光学的ローパスフィルタ
17 カバーガラス
18 マイクロレンズ
19 カメラ通信部
20 記録部
21 通信制御部
100 撮影レンズ
200 カメラ本体
300 サーバー
DESCRIPTION OF
7 A /
DESCRIPTION OF
Claims (6)
前記撮影レンズから射出瞳位置および絞り値を取得するレンズ情報取得部と、
前記撮像素子の前面に固着した固着物の高さ方向位置、幅方向位置および奥行方向位置からなる固着物位置情報と、前記射出瞳位置と、前記絞り値とに基づいて光路計算を行って、前記射出瞳位置および前記絞り値に応じた黒点の発生位置に関する補正データを生成する黒点補正データ生成部と、
前記撮像素子が撮像指示に応じた撮像により出力する出力信号に画像処理を施して画像データを生成し、かつ前記撮像前に前記レンズ情報取得部により取得した前記射出瞳位置および前記絞り値と前記補正データとに基づいて前記画像データにおいて黒点が発生する画素位置を特定し、当該画素を補正する画像処理部と、
を有することを特徴とする電子カメラ。 An image sensor that photoelectrically converts a subject image formed by the taking lens;
A lens information acquisition unit for acquiring an exit pupil position and an aperture value from the photographing lens;
Based on the fixed object position information consisting of the height direction position, the width direction position and the depth direction position of the fixed object fixed to the front surface of the image sensor, the exit pupil position, and the aperture value, and calculating the optical path, A black point correction data generating unit that generates correction data related to the black dot generation position according to the exit pupil position and the aperture value ;
The imaging element performs image processing on an output signal output by imaging according to an imaging instruction to generate image data, and the exit pupil position and aperture value acquired by the lens information acquisition unit before imaging An image processing unit that specifies a pixel position where a black spot occurs in the image data based on the correction data, and corrects the pixel ;
An electronic camera comprising:
前記判定手段の判定結果が前記固着物の陰影の場合に、前記基準画像データの黒点位置から前記固着物の高さ方向位置および幅方向位置を取得し、かつ前記基準画像データおよび比較画像データの前記黒点位置の変化から、固着物の奥行方向位置を光路計算で演算する固着物位置取得手段と、を有することを特徴とする請求項1に記載の電子カメラ。 The black spot correction data generation unit generates a black spot position of the reference image data generated at a predetermined aperture value and a predetermined exit pupil position, and changes either the aperture value of the reference image data or the reference exit pupil position. Determining means for determining whether the black spot of the image data is a shadow or a defective pixel of the fixed object by comparing with the black spot position of the comparison image data,
When the determination result of the determination means is a shadow of the fixed object, the height direction position and the width direction position of the fixed object are acquired from the black spot position of the reference image data, and the reference image data and the comparison image data The electronic camera according to claim 1, further comprising: a fixed object position acquisition unit that calculates a depth direction position of the fixed object by optical path calculation based on the change in the black spot position.
前記電子カメラは、撮影レンズによって形成された被写体像を光電変換する撮像素子と、前記撮影レンズから射出瞳位置および絞り値を取得するレンズ情報取得部と、前記撮像素子の出力信号に画像処理を施して画像データを生成する画像処理部と、前記撮像素子の前面に固着した固着物の高さ方向位置、幅方向位置および奥行方向位置からなる固着物位置情報を光路計算で演算する固着物位置取得手段と、前記通信回線に接続されてデータの送受信を実行するカメラ通信部と、を有し、
前記サーバーは、前記固着物の位置ごとに、前記射出瞳位置と、前記絞り値とに基づいて予め光路計算で生成された、前記固着物の陰影による黒点の発生位置に関する補正データと、前記固着物位置情報との対応関係を記録した記録部と、前記通信回線に接続されてデータの送受信を実行する通信制御部と、を有し、
前記サーバーの通信制御部は、前記電子カメラから受信した前記固着物位置情報を前記記録部に照会して、前記固着物位置情報に対応する前記補正データを送信し、
前記電子カメラの画像処理部は、前記サーバーから受信した補正データに基づいて前記画像データの前記黒点を補正することを特徴とするカメラシステム。 A camera system comprising an electronic camera and a server connected to the electronic camera via a communication line,
The electronic camera includes an image sensor that photoelectrically converts a subject image formed by a photographic lens, a lens information acquisition unit that acquires an exit pupil position and an aperture value from the photographic lens, and image processing on an output signal of the image sensor. And an image processing unit that generates image data, and a fixed object position that calculates, by optical path calculation, fixed object position information including a height direction position, a width direction position, and a depth direction position of the fixed object fixed to the front surface of the imaging device. An acquisition means, and a camera communication unit connected to the communication line to execute transmission / reception of data,
The server, for each position of the fixed object, correction data relating to the black spot generation position caused by the shadow of the fixed object, which is generated in advance by optical path calculation based on the exit pupil position and the aperture value, and the fixed object. A recording unit that records a correspondence relationship with the kimono position information, and a communication control unit that is connected to the communication line and executes transmission and reception of data,
The communication control unit of the server queries the recording unit for the fixed object position information received from the electronic camera, and transmits the correction data corresponding to the fixed object position information.
An image processing unit of the electronic camera corrects the black spot of the image data based on correction data received from the server.
前記黒点補正データ生成部が、前記画像データにより前記固着物位置情報を予め取得する工程と、
前記黒点補正データ生成部が、前記固着物位置情報と、前記射出瞳位置と、前記絞り値とに基づいて光路計算を行って、前記補正データを生成する工程と、
前記画像処理部が、前記射出瞳位置および前記絞り値と前記補正データとに基づいて前記画像データの前記黒点を補正する工程と、を備えることを特徴とする電子カメラの黒点補正方法。 An image sensor that photoelectrically converts a subject image formed by the photographic lens, a lens information acquisition unit that acquires an exit pupil position and an aperture value from the photographic lens, and a height direction position of a fixed object fixed to the front surface of the image sensor , A fixed object position information including a width direction position and a depth direction position, the exit pupil position, and the aperture value to perform an optical path calculation, and a black spot generation position corresponding to the exit pupil position and the aperture value A black spot correction data generating unit that generates correction data relating to the image data, and generating image data by performing image processing on an output signal output by the imaging device in response to an imaging instruction , and the lens information acquiring unit acquires the data based on the exit pupil position and the aperture value and the correction data specifying the pixel position black spot is generated in the image data, image processing for correcting the pixel And parts, a black point correction method of an electronic camera having,
The black spot correction data generation unit acquiring in advance the fixed object position information from the image data;
The black spot correction data generation unit performs optical path calculation based on the fixed object position information, the exit pupil position, and the aperture value, and generates the correction data;
Wherein the image processing section, the exit pupil position and the aperture value and the correction data and the black point correction method of an electronic camera, characterized in that it comprises a step, a correcting the black point of the image data based on.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004069167A JP4321317B2 (en) | 2004-03-11 | 2004-03-11 | Electronic camera, camera system, and black spot correction method for electronic camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004069167A JP4321317B2 (en) | 2004-03-11 | 2004-03-11 | Electronic camera, camera system, and black spot correction method for electronic camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005260573A JP2005260573A (en) | 2005-09-22 |
JP4321317B2 true JP4321317B2 (en) | 2009-08-26 |
Family
ID=35085876
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004069167A Expired - Fee Related JP4321317B2 (en) | 2004-03-11 | 2004-03-11 | Electronic camera, camera system, and black spot correction method for electronic camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4321317B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4956009B2 (en) * | 2006-02-02 | 2012-06-20 | キヤノン株式会社 | Imaging apparatus and control method thereof |
JP2008244868A (en) * | 2007-03-27 | 2008-10-09 | Canon Inc | Imaging apparatus, and control method, program and storage medium thereof |
JP6083968B2 (en) * | 2012-07-03 | 2017-02-22 | キヤノン株式会社 | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD |
-
2004
- 2004-03-11 JP JP2004069167A patent/JP4321317B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005260573A (en) | 2005-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3762725B2 (en) | Imaging system and image processing program | |
KR101352440B1 (en) | Image processing apparatus, image processing method, and recording medium | |
JP4603319B2 (en) | Image input device | |
KR101449805B1 (en) | Image processing device that performs image processing | |
JP2009044367A (en) | Imaging method and imaging apparatus | |
JPWO2005043891A1 (en) | Image correction method and imaging apparatus | |
JP4433883B2 (en) | White balance correction device, white balance correction method, program, and electronic camera device | |
JP2009031682A (en) | Imaging system and image signal processing program | |
KR101639664B1 (en) | Photographing apparatus and photographing method | |
JP5272699B2 (en) | Image processing apparatus, imaging apparatus, program, and image processing method | |
JP5183348B2 (en) | Imaging device | |
EP1667438A2 (en) | Imaging apparatus, imaging method and imaging processing program | |
JP2007329620A (en) | Imaging device and video signal processing program | |
JP2002190979A (en) | Electronic camera, and recording medium of image processing program | |
US20070269133A1 (en) | Image-data noise reduction apparatus and method of controlling same | |
JP5173664B2 (en) | Image processing apparatus and image processing method | |
JP2009141571A (en) | Imaging apparatus | |
JP4321317B2 (en) | Electronic camera, camera system, and black spot correction method for electronic camera | |
JP2006253970A (en) | Imaging apparatus, shading correction data generating method, and program | |
JP2000041179A (en) | Shading correction method for image input device and image input device | |
JP4272566B2 (en) | Color shading correction method and solid-state imaging device for wide dynamic range solid-state imaging device | |
WO2017159336A1 (en) | Focal position detection device and focal position detection method | |
JP5284183B2 (en) | Image processing apparatus and method | |
JP2000217039A (en) | Point defect detection method and point defect pixel value correction method | |
JP2006217249A (en) | Electronic camera, electronic camera system and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070122 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090327 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090512 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4321317 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120612 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150612 Year of fee payment: 6 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150612 Year of fee payment: 6 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150612 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |