JP2016158276A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2016158276A JP2016158276A JP2016076582A JP2016076582A JP2016158276A JP 2016158276 A JP2016158276 A JP 2016158276A JP 2016076582 A JP2016076582 A JP 2016076582A JP 2016076582 A JP2016076582 A JP 2016076582A JP 2016158276 A JP2016158276 A JP 2016158276A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- focus
- imaging device
- value
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
Abstract
Description
本発明は、撮影レンズを透過した光束を撮像素子で撮像する撮像装置に関する。 The present invention relates to an image pickup apparatus that picks up an image of a light beam transmitted through a photographing lens with an image pickup element.
撮像素子(CCD等)は、撮像素子パッケージに収納されて使用される。撮像素子(CCD等)を基板に実装して撮像素子パッケージに収納する場合、基板、撮像素子、シール部材等の線膨張係数の差により、撮像素子(単に「チップ」とも呼ぶ)に反りが発生することがある。例えば、チップを基板にハンダ付けにより実装する際や、基板を樹脂(接着材等)によりパッケージに装着する際に発生する線膨張係数の差により、チップに反りが発生することがある。デジタルカメラ等の撮像装置では、撮像素子の撮像面(受光面)に反りがあると、部分的に焦点位置がずれるためピントボケが発生し、良好な画像を得ることができなくなる。 An image sensor (CCD or the like) is used by being housed in an image sensor package. When an image sensor (CCD, etc.) is mounted on a substrate and housed in an image sensor package, warpage occurs in the image sensor (also simply referred to as “chip”) due to differences in linear expansion coefficients of the substrate, image sensor, seal member, etc. There are things to do. For example, the chip may be warped due to a difference in coefficient of linear expansion that occurs when the chip is mounted on a substrate by soldering or when the substrate is mounted on a package with a resin (adhesive or the like). In an imaging apparatus such as a digital camera, if the imaging surface (light-receiving surface) of the imaging element is warped, the focal position is partially shifted, causing out-of-focus, and a good image cannot be obtained.
なお、関連する画像処理装置がある(例えば、特許文献1を参照)。この特許文献1の画像処理装置は、撮影レンズに起因した歪曲収差、倍率色収差、周辺光量不足およびピントボケの少なくとも1つの補正をする際、撮影レンズの撮影レンズタイプ識別コードが識別されない場合でも、均一かつ適切な前記収差の補正を忘れることなく確実に行うことのできる画像処理装置を提供することを目的としている。
There is a related image processing apparatus (see, for example, Patent Document 1). The image processing apparatus disclosed in
しかしながら、上述の特許文献1の画像処理装置のように、撮影レンズによってピントボケ補正を行ったとしても、そのピントボケ補正は、撮影レンズの特性による同心円状に変化するボケが補正の対象となる。しかしながら、撮像素子自体に発生している反りは同心円状とは限らず、歪んだ形状の場合もあれば、撮像素子の個体差により異なる場合もある。そのため、撮像素子自体に発生している反りに起因するピントボケを、撮影レンズだけの情報では、適切に減じることができないことがある。
However, even if the focus blur correction is performed by the photographic lens as in the image processing apparatus of
本発明は、斯かる実情に鑑みなされたものであり、本発明の目的は、撮像素子の反りにより発生する画像のピントボケを減じることができる、撮像装置を提供することにある。 The present invention has been made in view of such circumstances, and an object of the present invention is to provide an imaging apparatus that can reduce the out-of-focus blur of an image caused by warping of the imaging element.
本発明は、上記課題を解決するためになされたものであり、一態様の撮像装置は、被写体を撮像する撮像素子と、前記撮像素子の反りに関する情報により前記撮像素子で撮像された被写体の画像データを補正する補正部と、を備える。 The present invention has been made to solve the above problems, and an image pickup apparatus according to an aspect includes an image pickup device that picks up an image of a subject and an image of the subject picked up by the image pickup device based on information related to warpage of the image pickup device. A correction unit that corrects the data.
本発明によれば、撮像素子の反りにより発生する画像のピントボケを減じることができる。 According to the present invention, it is possible to reduce the out-of-focus blur of an image caused by the warp of the image sensor.
以下、本発明の実行の形態を添付図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings.
[撮像素子の反りについての説明]
最初に、撮像素子の反りによるピントボケの発生について補足して説明する。前述のように撮像素子(CCD等)は、撮像素子パッケージに収納されて使用される。例えば、図10は、撮像素子パッケージの概略イメージを示す図である。この図に示すように、撮像素子パッケージ30は、撮像素子11が実装された基板31をシール部材32に固着し、撮像素子11と基板31とをシール部材32と保護ガラス33と形成される容器内に収納して構成されている。このように、撮像素子11を基板31に実装して撮像素子パッケージ30に収納する場合、基板、撮像素子、シール部材等の線膨張係数の差により、撮像素子(チップ)11に反りが発生することがある。例えば、図11(A)は、チップ反りのイメージを示す図である。この図11に示すように、撮像素子11において、3次元形状のそれぞれの方向(直交するX,Y,Z軸方向)において反りが発生することがある。
[Explanation of image sensor warpage]
First, the occurrence of out-of-focus blur due to the warp of the image sensor will be supplementarily described. As described above, an image sensor (CCD or the like) is used while being housed in an image sensor package. For example, FIG. 10 is a diagram illustrating a schematic image of the image sensor package. As shown in this figure, the image
また、図11(B)は、撮像素子の反りのイメージを示す図であり、この図11(B)は、図11(A)に示す撮像素子11におけるX方向(A−A’方向)の断面図を示しており、撮像素子11の反りの状態を模式的に示したものある。この図11(B)に示すように、撮像素子11の仮想的なチップ基準面Rpを算出して、この基準面Rpからの各所での高さ方向、すなわち、Z方向の変位量(ΔZ)を反りの値(反り値)とする。そして、基準面Rpより上側をプラス(+)、下側をマイナス(−)で定義する。このようにデジタルカメラ等の撮像装置では、撮像素子(チップ)11を撮像素子パッケージに収納する際に撮像面(受光面)に反りが発生し、部分的に焦点位置がずれるためピントボケが発生し、良好な画像を得ることができないことがある。
FIG. 11B is a diagram showing an image of warping of the image sensor, and FIG. 11B is an X direction (AA ′ direction) in the
例えば、図12は、チップに反りがある場合のピントボケの発生の例を示す図である。図12(A)は、チップの反りの形状を示しており、図12(B)は、撮像素子11により撮像される画像を示している。
For example, FIG. 12 is a diagram illustrating an example of occurrence of out-of-focus when the chip is warped. FIG. 12A shows the shape of the warp of the chip, and FIG. 12B shows an image captured by the
この図12(A)において、領域1の範囲は、撮像素子11による反りが少なく画像への影響のない範囲であり、領域2の範囲は、撮像素子11の反りが大きく画像への影響がある範囲である。この撮像素子11の反りが大きい範囲では、図12(B)の画像の例に示すように、領域2(破線Sで囲む部分)においてピントボケが発生し、良好な画像を得ることができなくなる。本実施形態の撮像装置では、この撮像素子11の反りにより発生するピントボケを補正するものである。
In FIG. 12A, the range of the
[撮像装置の構成]
図1は、本発明の実施形態に係わる撮像装置の構成を示すブロック図である。図1に示す撮像装置は、デジタルカメラ等の電子カメラの構成例を示すものであり、本発明に直接関係する部分のみを示したものである。この撮像装置10は、撮像素子11を備える撮像部11Aと、光学系の撮影レンズ12と、制御部13と、記録部14と、記憶部15と、設定部17と、信号処理用ASIC20と、を有して構成されている。
[Configuration of imaging device]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to an embodiment of the present invention. The imaging apparatus shown in FIG. 1 shows a configuration example of an electronic camera such as a digital camera, and shows only a part directly related to the present invention. The
撮像部11Aは、撮像素子11およびA/D変換器(不図示)などを有し、撮像素子11の受光面に結像された被写体像を受光量に応じて電気信号に変換し、さらにA/D変換後の画像データを信号処理用ASIC20に出力する。
制御部13は、撮像装置10が備えるレリーズ釦等の各操作スイッチ(不図示)が操作されたことを検出して撮影レンズ12の駆動を制御し、光学系における焦点検出/調節処理などを行う。また、制御部13は、信号処理用ASIC20との間で同期信号及び制御信号を入出力することにより、この信号処理用ASIC20の動作を制御する。さらに、制御部13は、信号処理用ASIC20に対して反り補正制御信号Scを送信することにより、信号処理部22(より正確にはピントボケ補正部23)における反り補正処理(後述するピントボケ補正)の実行、不実行を制御する。記録部14は、信号処理用ASIC20により処理された画像データを記録する。
The
The
記憶部15は、ピントボケ補正を行う際に使用する反り値を基に算出されたピントボケ補正値を記録する。例えば、撮像装置10の組み立て工程または調整工程において、撮像素子11の反り測定を行い、チップの反りの形状とその反り値を事前に取得し、この反り値からピントボケ補正値を算出し、この算出したピントボケ補正値16を記憶部15に記録する。信号処理部22内のピントボケ補正部23では、制御部13からピントボケ補正の実行を指示された場合に、記憶部15に記録されたピントボケ補正値16を読み出して、撮像素子11により撮影された画像に対してピントボケ補正を行う。
設定部17は、電源ボタン、シャッターボタン、モード選択ダイヤル、メニューボタン、十字キーなどで構成される操作部を含む。利用者は、この設定部17を操作することにより、シャッタースピードやISO感度などの撮影条件、および撮影モードなどを設定する。この設定部17において設定された撮影条件および撮影モードの情報は制御部13に向けて出力される。
The
The setting
この撮像装置10の撮像部11Aにおいて、撮影レンズ12に入射される被写体光が、CCDである撮像素子11上で結像される。撮像素子11から出力される画像信号は、画像処理用のASIC20に出力される。画像処理用のASIC20に入力された画像信号は、前処理部21に入力される。前処理部21では、画像信号をデジタル信号に変換するとともに、ガンマ補正等の画像前処理を行ない、この前処理を施した画像信号を信号処理部(後処理部)22に出力する。
In the
信号処理部(後処理部)22は、前処理部21から入力した画像信号を基に表示用の画像データを生成する処理を行う。また、信号処理部22は、ピントボケ補正部23により、画像信号に対してピントボケ補正を行う。なお、ピントボケ補正部23によるピントボケ補正を行う際には、一般的によく知られたシャープネス、アンシャープマスク等の手法を用いることによりピントボケ補正を行うことができる。
The signal processing unit (post-processing unit) 22 performs processing for generating image data for display based on the image signal input from the
[反り値の取得とピントボケ補正値の算出]
本実施形態の撮像装置10では、図2(A)に示す撮像素子11を、図2(B)に示すように複数の領域に区分して、各領域における反り値を測定する。
図2(B)は、図2(A)に示す撮像素子(チップ)11の撮像面(受光面)を上方向(Z軸の+方向)から見た平面図(X,Y軸方向の平面図)を示しており、撮像素子11の平面(受光面)をm×n(m行、n列)の複数の矩形状の領域に区分することにより、各領域における反り値を測定する。そして、各領域における中心位置pにおける反り値を測定し、この反り値を、当該領域における反り値とする。例えば、撮像素子11の大きさ(チップサイズ)が40×30mmの場合には、35×24分割などに区分して、各領域における反り値を計測する。
[Acquisition of warp value and calculation of focus blur correction value]
In the
2B is a plan view (X and Y axis direction planes) of the image pickup surface (light receiving surface) of the image pickup element (chip) 11 shown in FIG. 2A viewed from the upper direction (+ direction of the Z axis). The warp value in each region is measured by dividing the plane (light receiving surface) of the
この反り値を測定する際には、例えば、レーザ干渉計を用いて、撮像素子11に対して非接触で表面形状を測定することにより、高精度(例えば、ナノメートル単位やマイクロメートル単位)で反り値を取得することができる。この反り値は、先に説明した図11(B)に示すように、仮想的な基準面Rpに対する高低差、すなわち、プラス(+)方向の変位量と、マイナス(−)方向の変位量として取得することができる。
When measuring the warp value, the surface shape is measured in a non-contact manner with respect to the
本実施形態の撮像装置10では、この測定した反り値を基に算出されたピントボケ補正値を記憶部15に記憶する。このピントボケ補正値を算出する際には、図3に示すように、撮像装置10の設計段階或いは開発段階において、反り値に対するピントボケ補正値の最適値を、実験式cを基に予め求めておく。そして、この実験式cを基に、各領域における反り値からピントボケ補正値を求めて、記憶部15にピントボケ補正値16として記憶する。なお、反り値が少ない場合、例えば、図3に示す領域1における反り値が、焦点ズレ量(人間の目の特性により焦点がずれても画像がピントボケしない範囲)の範囲内であれば、ピントボケ補正値をゼロ(0)とすることもできる。なお、この焦点ズレ量は、レンズの種類とF値(絞りの大小)により決まる値である。
In the
ピントボケ補正部23では、撮像素子11で撮影された画像信号に対して、図2(B)に示すそれぞれの領域ごとに、記憶部15からピントボケ補正値を読み出し、このピントボケ補正値を用いて画像に対してピントボケ補正を行う。このピントボケ補正部23は、画像に対してシャープネスや、アンシャープマスクを行うことにより、輪郭の強調感やディテイルの再現性を調整し、ピントボケした部分をクッキリと再現する。
なお、ピントボケ補正部23においてピントボケ補正(例えば、シャープネス)を実行する際に、ピントボケ補正値そそのまま用いて画像に対してピントボケ補正を行う他に、後述するようにピントボケ補正値の強度を弱めて(例えば、「ピントボケ補正値×0.6」とするようにピントボケ補正値を所定の割り合いに減じて)ピントボケ補正を行うこともできる。
The out-of-focus
In addition, when performing out-of-focus correction (for example, sharpness) in the out-of-focus
図4は、ピントボケ補正の効果の例を示す図である。図4(A)は、チップの反りがある場合のチップ形状を示す図であり、先に説明した図12(A)と同じ図である。この図4(A)において、領域1の範囲は、チップによる反りが少なく画像への影響のない範囲である。すなわち、領域1の範囲では、反り値が焦点ズレ量の範囲内であり、画像にピントボケが発生しない。一方、領域2の範囲は、チップによる反りが大きく画像への影響がある範囲である。このチップによる反りが大きい領域2の範囲では、図4(B)の画像の例に示すように、ピントボケ(破線Sで囲む部分)が発生し、良好な画像を得ることができなくなる。そこで、ピントボケ補正部23により、ピントボケ(破線Sで囲む部分)に対してピントボケ補正(例えば、シャープネス)を行い、図4(C)に示すようにピントボケをなくした画像を得ることができる。
FIG. 4 is a diagram illustrating an example of the effect of defocus correction. FIG. 4A is a diagram showing a chip shape when there is warping of the chip, and is the same view as FIG. 12A described above. In FIG. 4A, the range of
このように、ピントボケ補正部23により、撮像素子11の反りに対してピントボケ補正を行うことにより、図5(A)に示すように、撮像素子11を等価的に反りのない状態にすることができ、図5(B)に示すピントボケをなくした画像を得ることができる。
As described above, by performing the focus blur correction on the warp of the
なお、ピントボケ補正を実行する場合、反りが基準面Rpに対してプラス(+)側であっても、マイナス(−)側であってもピントボケするという現象は同じであり、前ピンか後ピンかの違いしかなく、反りの影響のある所をシャープネスやアンシャープマスクを用いて輪郭を強調することになる。
また、本実施形態の撮像装置10では、撮像素子(チップ)11の反りを基準面Rpからの高低差(+、−)により求めているが、チップ表面の曲率(曲がり具合)を基に反りを求めるようにしてもよい。
Note that, when performing defocus correction, the phenomenon of defocusing is the same regardless of whether the warp is on the plus (+) side or minus (−) side with respect to the reference plane Rp. However, the outline is emphasized by using a sharpness or unsharp mask where warping is affected.
Further, in the
[ピントボケ補正の実行と不実行の制御]
上述したように画像に対してシャープネスや、アンシャープマスクを行うと、輪郭の強調感やディテイルの再現性が調整され、ピントボケした部分がクッキリと再現されるが、その反面、画像のノイズが目立ちやすくなる。このため、ピントボケ補正を行うことにより、ノイズが強調されて表示されることがあり、また、画像に不自然さが現れてしまうことがある。そこで、本実施形態の撮像装置10では、毎回の撮影時において、必ずピントボケ補正を行うのではなく、ISO感度、F値、シャッタースピード、および撮影モードなどの撮影条件に応じて、ピントボケ補正の実行と不実行を制御するように構成されている。
[Control of execution and non-execution of focus blur correction]
As described above, when sharpness or unsharp masking is performed on an image, the contour emphasis and detail reproducibility are adjusted, and the out-of-focus area is clearly reproduced. However, on the other hand, the image noise is conspicuous. It becomes easy. For this reason, by performing out-of-focus correction, noise may be emphasized and displayed, and unnaturalness may appear in the image. Therefore, the
例えば、ノイズが多い高感度の撮影においてはピントボケ補正によりノイズが目立って表示される可能性高い。従って、ノイズが少ない低感度の撮影で補正を実行することを可能とし、また、ピントボケ補正の強度も調整可能する。また、被写界深度が深い(F値が大きい)場合、主要被写体はもちろん、背景にもピントがあっているシーンが多くなるため、チップの反りがあると、反りによるピントボケが目立つ可能性がある。従って、F値が大きい場合は、補正を実行し、被写界深度が浅い(F値が小さい)場合は、補正を実行しない、というような制御も可能とする。また、撮影モードの種類により、ISO感度が高め、低めになる場合や、撮影レンズのF値が大きめ、小さめになる場合があるので、撮影モードによってピントボケ補正の実行、未実行、および補正の強度を制御できるようにする。 For example, in high-sensitivity shooting with a lot of noise, there is a high possibility that noise will be conspicuously displayed due to out-of-focus correction. Therefore, it is possible to perform correction with low-sensitivity shooting with less noise, and it is possible to adjust the intensity of focus blur correction. In addition, when the depth of field is deep (the F value is large), there are many scenes in which the background is in focus as well as the main subject. is there. Accordingly, it is possible to perform control such that correction is executed when the F value is large, and correction is not executed when the depth of field is shallow (F value is small). Also, depending on the type of shooting mode, ISO sensitivity may be higher and lower, or the F-number of the shooting lens may be larger and smaller. Can be controlled.
(ISO感度とシャッタースピードに応じたピントボケ補正)
図6は、ISO感度とシャッタースピードに応じてピントボケ補正を実行するか否かを表で示したものであり、シャープネスによりピントボケ補正を場合の例である。この図6に示す表は、横方向にISO感度をパラメータとして示し、縦方向にシャッタースピードTをパラメータとして示したものである。また、表中の○印はピントボケ補正を実行することを示し、×印はピントボケ補正を実行しないこと(不実行)を示している。
(Focus blur correction according to ISO sensitivity and shutter speed)
FIG. 6 is a table showing whether or not to perform out-of-focus correction according to ISO sensitivity and shutter speed, and is an example in which out-of-focus correction is performed by sharpness. The table shown in FIG. 6 shows the ISO sensitivity as a parameter in the horizontal direction and the shutter speed T as a parameter in the vertical direction. In the table, a circle indicates that the out-of-focus correction is performed, and a cross indicates that the out-of-focus correction is not performed (non-execution).
この表に示すように、シャッタースピードTが低速秒時、すなわち、シャッタースピードが1/8secよりも長い時は、ISO感度が400以下の場合にピントボケ補正を実行し、ISO感度が400を超える場合はピントボケ補正を実行しない。また、シャッタースピードTが高速秒時(1/8sec以下)の時は、ISO感度が800以下の場合にピントボケ補正を行い、ISO感度が800を超える場合ではピントボケ補正を実行しない。 As shown in this table, when the shutter speed T is a low speed, that is, when the shutter speed is longer than 1/8 sec, focus blur correction is executed when the ISO sensitivity is 400 or less, and the ISO sensitivity exceeds 400. Does not perform out-of-focus correction. When the shutter speed T is a high-speed second (1/8 sec or less), the focus blur correction is performed when the ISO sensitivity is 800 or less, and the focus blur correction is not performed when the ISO sensitivity exceeds 800.
これは、ピントボケ補正を実行することにより画像のノイズも強調されることがあり、ノイズが多い高感度ではピントボケ補正によりノイズが目立つ可能性高い。従って、ノイズが少ない低感度のみでピントボケ補正を実行することを可能とし、また、ピントボケ補正の強度も調整可能にする。この場合、シャッタースピードTにより像面の露光量が変化するので、露光量の多い場合(1/8sec以上)は、ISO感度400以下でピントボケ補正を実行し、露光量の少ない場合(1/8sec以下)は、ISO感度800以下でピントボケ補正を実行する。すなわち、露光量の多い場合のISO感度(判定基準となるISO感度)を、露光量の少ない場合のISO感度よりも低めに設定する。 This is because image noise may be enhanced by performing out-of-focus blur correction, and there is a high possibility that noise is conspicuous due to out-of-focus blur correction at high sensitivity with much noise. Therefore, it is possible to execute the focus blur correction only with low sensitivity with less noise, and it is also possible to adjust the strength of the focus blur correction. In this case, since the exposure amount of the image plane changes depending on the shutter speed T, when the exposure amount is large (1/8 sec or more), the focus blur correction is performed with an ISO sensitivity of 400 or less, and when the exposure amount is small (1/8 sec). In the following, focus blur correction is executed at an ISO sensitivity of 800 or less. In other words, the ISO sensitivity when the exposure amount is large (ISO sensitivity as a criterion) is set lower than the ISO sensitivity when the exposure amount is small.
このように、ISO感度とシャッタースピードTとに応じて、ピントボケ補正を実行するか否かを選択することにより、画像のノイズが目立ちやすくなることを回避しながら、チップの反りによるピントボケを補正することができる。
なお、ピントボケ補正を実行する際には、ピントボケ補正値の強度を弱めて、ピントボケ補正を行うこともできる。例えば、シャッタースピードTが1/8より長い場合(T>1/8sec)において、ピントボケ補正を実行しないISO感度800の場合は、ピントボケ補正を実行するISO感度400の領域に隣接しており、このISO感度800の場合において、ピントボケ補正の強度を弱めて(例えば、「ピントボケ補正値×0.6」とするようにピントボケ補正値を所定の割り合いに減じて)補正するようにしてもよい。
In this way, by selecting whether or not to perform out-of-focus correction according to the ISO sensitivity and the shutter speed T, it is possible to correct out-of-focus due to warping of the chip while avoiding image noise being noticeable. be able to.
It should be noted that when executing out-of-focus correction, it is possible to perform out-of-focus correction by reducing the intensity of the out-of-focus correction value. For example, when the shutter speed T is longer than 1/8 (T> 1/8 sec), the
なお、図6に示す表は一例を示すものであり、ピントボケ補正を実行するか否かを判定する際の境界となるISO感度は、撮像素子の反り値の範囲、撮影レンズの種類とF値できまる焦点ズレ量等に応じて変更される得るものである。
例えば、撮像素子の撮像面全体の反り値の範囲(反りの最大値と最小値の範囲)が小さい場合は、ピントボケ補正値が小さくなり、ピントボケ補正によるノイズが目立つことが少なくなるため、ピントボケ補正を実行するか否かの判定基準(境界)となるISO感度を上げることができる。逆に、撮像素子の反り値の範囲が大きい場合は、ピントボケ補正量が大きくなり、ピントボケ補正によるノイズが目立つことが多くなるため、判定基準(境界)となるISO感度を低下させる必要がある。
このように、ピントボケ補正を実行するか否かを判定する際の判定基準(境界)となるISO感度を、撮像素子11の撮像面全体の反り値の範囲に応じて設定することができる。
Note that the table shown in FIG. 6 shows an example, and the ISO sensitivity, which is a boundary when determining whether or not to perform focus blur correction, is the range of the warp value of the image sensor, the type of the photographing lens, and the F value. It can be changed in accordance with the amount of focus shift and the like.
For example, when the range of the warp value of the entire imaging surface of the image sensor (the range between the maximum value and the minimum value of the warp) is small, the out-of-focus correction value is small, and noise due to out-of-focus correction is less noticeable. ISO sensitivity that is a criterion (boundary) for determining whether or not to execute can be increased. On the other hand, when the range of the warp value of the image sensor is large, the amount of focus blur correction becomes large, and noise due to the focus blur correction often becomes conspicuous. Therefore, it is necessary to reduce the ISO sensitivity that is a determination criterion (boundary).
As described above, the ISO sensitivity that is a determination reference (boundary) when determining whether or not to perform the focus blur correction can be set according to the range of the warp value of the entire imaging surface of the
また、判定基準(境界)となるISO感度は、撮影レンズの焦点ズレ量(人間の目の特性により焦点がずれても画像がピントボケしない範囲)と撮像素子の全体の反り値の範囲(反りの最大値と最小値の範囲)により変化させることもできる。これは、焦点ズレ量が大きい程、また、反り値の範囲が小さい程、ピントボケ補正値を小さくできるためである。このように、ピントボケ補正を実行するか否かを判定する際の基準(境界)となるISO感度を、撮影レンズ12の焦点ズレ量と、撮像素子11の全体の反り値の範囲とに応じて設定することもできる。
In addition, the ISO sensitivity that is a criterion (boundary) is the range of the focal shift amount of the photographing lens (the range in which the image is not out of focus even if the focus is shifted due to the characteristics of the human eye) and the overall warp value range of the image sensor It can be changed according to the range of the maximum value and the minimum value. This is because the out-of-focus correction value can be reduced as the defocus amount increases and the warp value range decreases. As described above, the ISO sensitivity, which is a reference (boundary) when determining whether or not to perform the focus blur correction, is determined according to the defocus amount of the photographing
(F値に応じたピントボケ補正)
また、図7は、F値に応じてピントボケ補正を実行するか否かを表で示したものである。この図7に示す表は、横方向にF値をパラメータとして示し、このF値に応じて、ピントボケ補正を実行するか否かを示したものである。また、表中の○印はピントボケ補正を実行することを示し、×印はピントボケ補正を実行しないこと(不実行)を示している。
この表に示すように、F値が2.8以下の場合と、F値がF8を超える場合には、ピントボケ補正を実行し、F値がF4を超えF8以下の場合は、ピントボケ補正を実行しない。
(Focus blur correction according to F value)
FIG. 7 is a table showing whether or not focus blur correction is performed according to the F value. The table shown in FIG. 7 shows the F value as a parameter in the horizontal direction, and indicates whether or not to perform out-of-focus correction according to the F value. In the table, a circle indicates that the out-of-focus correction is performed, and a cross indicates that the out-of-focus correction is not performed (non-execution).
As shown in this table, when the F value is 2.8 or less and when the F value exceeds F8, focus blur correction is executed. When the F value exceeds F4 and is less than F8, focus blur correction is executed. do not do.
すなわち、撮影レンズ絞りの開放と絞りの両端側でピントボケ補正を実行し、中間においては実行しない。これは、開放側(F値が小さい側)ではチップ反りによるピントボケの発生が目立つことが経験的に知られており、F値が2.8以下の場合には、ピントボケ補正を実行する。一方、絞り側(F値が大きい)では被写界深度が深くなることにより鮮明な画像が得られることがユーザから期待されるが、被写界深度が深い(F値が大きい)場合、主要被写体はもちろん、背景にもピントがあっているシーンが多くなるため、チップの反りがあると、反りによるピントボケが目立つ可能性がある。従って、F値が大きい場合(F値がF8を超える場合)にはピントボケ補正を実行する。 In other words, focus blur correction is performed at the opening of the photographic lens aperture and at both ends of the aperture, and is not performed in the middle. It is empirically known that occurrence of out-of-focus blur due to chip warpage is conspicuous on the open side (side with a small F value). When the F value is 2.8 or less, out-of-focus correction is executed. On the other hand, on the diaphragm side (F value is large), the user is expected to obtain a clear image by increasing the depth of field. However, when the depth of field is deep (F value is large), Since there are many scenes that focus on the background as well as on the subject, if there is a warp of the chip, the out-of-focus blur may be noticeable. Therefore, when the F value is large (when the F value exceeds F8), the out-of-focus correction is performed.
このように、写界深度が浅い(F値が小さい)場合と、被写界深度が深い(F値が大きい)場合には、ピントボケ補正を実行し、その中間域ではピントボケ補正を実行しないようにすることにより、画像のノイズが目立ちやすくなることを回避しながら、チップの反りにより発生するピントボケを補正することができる。 As described above, when the depth of field is shallow (F value is small) and when the depth of field is deep (F value is large), focus blur correction is performed, and focus blur correction is not performed in the intermediate range. By doing so, it is possible to correct out-of-focus blur caused by warping of the chip while avoiding that the noise of the image becomes conspicuous.
なお、図7に示す表は、一例を示すものであり、ピントボケ補正を実行するか否かを判定する際の基準(境界)となるF値は、撮像素子の反り値の範囲と焦点ズレ量に応じて設定することもできる。
例えば、撮像素子の撮像面全体の反り値の範囲が小さい場合は、ピントボケ補正値が小さくなり、ピントボケ補正によるノイズや不自然さが目立つことが少なくなるため、ピントボケ補正を実行することができるF値の範囲を拡大することができる。このように、ピントボケ補正を実行するか否かを判定する際の基準(境界)となるF値を、撮像素子11の撮像面全体の反り値の大きさに応じて最適に設定することができる。
Note that the table shown in FIG. 7 shows an example, and the F value serving as a reference (boundary) when determining whether or not to perform focus blur correction is the range of the warp value of the image sensor and the amount of focus deviation. It can also be set according to.
For example, when the range of the warp value of the entire imaging surface of the image sensor is small, the out-of-focus correction value is small, and noise and unnaturalness due to out-of-focus blur correction are less noticeable, and thus out-of-focus correction can be performed. The range of values can be expanded. As described above, the F value serving as a reference (boundary) when determining whether or not to perform focus blur correction can be optimally set according to the magnitude of the warp value of the entire imaging surface of the
また、F値は、撮影レンズの焦点ズレ量と撮像素子の全体の反り値(最大と最小の反り値の範囲)により変化させることもできる。これは、焦点ズレ量が大きい程、また、反り値の範囲の範囲が小さい程、ピントボケ補正値が小さくなり、ピントボケ補正を行った際にノイズが強調されることが少なくなり、また不自然さが目立つことが少なくなるためである。このため、焦点ズレ量が大きい程、また、反り値の範囲の範囲が小さい程、ピントボケ補正を実行することができるF値の範囲を拡大することができる。このように、ピントボケ補正を実行するか否かを判定する際の基準(境界)となるF値を、焦点ズレ量と、撮像素子11の全体の反り値の範囲に応じて、設定することもできる。
The F value can also be changed by the amount of defocus of the taking lens and the overall warp value of the image sensor (the range of the maximum and minimum warp values). This is because the greater the defocus amount and the smaller the range of the warp value, the smaller the focus blur correction value, so that noise is less emphasized when focus blur correction is performed, and it is unnatural. This is because there is less conspicuousness. For this reason, the larger the focus shift amount is, and the smaller the range of the warp value range is, the larger the range of the F value at which the focus blur correction can be performed. As described above, the F value serving as a reference (boundary) for determining whether or not to perform the focus blur correction may be set according to the focus shift amount and the range of the overall warp value of the
(ISO感度とF値とに応じたピントボケ補正)
また、図8は、ISO感度とF値に応じてピントボケ補正を実行するか否かを表で示したものである。図8(A)は、シャッタースピードTが低速秒時(シャッタースピードが1/8secよりも長い場合)を示し、図8(B)は、シャッタースピードTが高速秒時(シャッタースピードが1/8sec以下の場合)を示している。図8(A)および図8(B)に示す表においては、横方向にF値をパラメータとして示し、縦方向にISO感度をパラメータとして示し、これらのF値とISO感度とに応じて、ピントボケ補正を実行するか否かを示している。また、表中の○印はピントボケ補正を実行することを示し、×印はピントボケ補正を実行しないこと(不実行)を示し、△印は、ピントボケ補正を実行する際に、ピントボケ補正値の強度を弱めて(例えば、「ピントボケ補正値×0.6」とするようにピントボケ補正値を所定の割り合いに減じて)ピントボケ補正を実行することを示している。
(Defocus correction according to ISO sensitivity and F value)
FIG. 8 is a table showing whether or not the focus blur correction is performed according to the ISO sensitivity and the F value. 8A shows the shutter speed T when the shutter speed T is low (when the shutter speed is longer than 1/8 sec), and FIG. 8B shows the shutter speed T when the shutter speed T is high (the shutter speed is 1/8 sec). In the following cases). In the tables shown in FIGS. 8A and 8B, the F value is shown as a parameter in the horizontal direction, and the ISO sensitivity is shown as a parameter in the vertical direction. Depending on the F value and the ISO sensitivity, the focus blur is generated. It indicates whether or not to execute correction. In the table, a circle indicates that focus correction is performed, a cross indicates that focus correction is not performed (non-execution), and a triangle indicates the strength of the focus blur correction value when performing focus blur correction. (For example, reducing the out-of-focus blur correction value to a predetermined ratio so as to be “out-of-focus blur correction value × 0.6”) and executing the out-of-focus blur correction.
図8(A)に示す低速秒時、すなわちシャッタースピードが1/8secよりも長い時は、F値がF2.8以下であるかまたはF8を超える場合であって、かつISO感度が400以下である場合に、ピントボケ補正を実行する。また、F値がF2.8を超えるとともにF8以下である場合であって、かつISO感度が400以下の場合に、ピントボケ補正値の強度を弱めて(ピントボケ補正値を所定の割り合に減じて)ピントボケ補正を実行する。また、F値がF2.8以下であるかまたはF8を超える場合であって、かつISO感度が400を超える場合に、ピントボケ補正値の強度を弱めて(ピントボケ補正値を所定の割り合に減じて)ピントボケ補正を実行する。また、F値がF2.8を超えるとともにF8以下の場合であって、かつISO感度が400を超える場合に、ピントボケ補正を実行しない。 8A, when the shutter speed is longer than 1/8 sec, the F value is F2.8 or less or exceeds F8, and the ISO sensitivity is 400 or less. In some cases, focus correction is performed. Further, when the F value exceeds F2.8 and is F8 or less and the ISO sensitivity is 400 or less, the strength of the focus blur correction value is reduced (the focus blur correction value is reduced to a predetermined ratio). ) Perform out-of-focus correction. Further, when the F value is less than or equal to F2.8 or exceeds F8 and the ISO sensitivity exceeds 400, the strength of the focus blur correction value is reduced (the focus blur correction value is reduced to a predetermined ratio). ) Perform out-of-focus correction. Further, when the F value exceeds F2.8 and is equal to or less than F8, and the ISO sensitivity exceeds 400, the out-of-focus correction is not executed.
また、図8(B)に示す高速秒時、すなわちシャッタースピードが1/8sec以下の時は、F値がF2.8以下であるかまたはF8を超える場合であって、かつISO感度が800以下である場合に、ピントボケ補正を実行する。また、F値がF2.8を超えるとともにF8以下である場合であって、かつISO感度が800以下の場合に、ピントボケ補正値の強度を弱めて(ピントボケ補正値を所定の割り合に減じて)ピントボケ補正を実行する。また、F値がF2.8以下であるかまたはF8を超える場合であって、かつISO感度が800を超える場合に、ピントボケ補正値の強度を弱めて(ピントボケ補正値を所定の割り合に減じて)ピントボケ補正を実行する。また、F値がF2.8を超えるとともにF8以下の場合であって、かつISO感度が800を超える場合に、ピントボケ補正を実行しない。
このように、ピントボケ補正部23においてピントボケ補正を実行するか否かを、ISO感度とF値とを基に判定することができる。また、判定に用いるISO感度をシャッタースピードに応じて変化させることができる。
8B, when the shutter speed is 1/8 sec or less, the F value is F2.8 or less or exceeds F8, and the ISO sensitivity is 800 or less. If it is, the out-of-focus correction is executed. Further, when the F value exceeds F2.8 and is F8 or less and the ISO sensitivity is 800 or less, the strength of the focus blur correction value is reduced (the focus blur correction value is reduced to a predetermined ratio). ) Perform out-of-focus correction. When the F value is less than or equal to F2.8 or exceeds F8 and the ISO sensitivity exceeds 800, the strength of the focus blur correction value is reduced (the focus blur correction value is reduced to a predetermined ratio). ) Perform out-of-focus correction. Further, when the F value exceeds F2.8 and is equal to or less than F8, and the ISO sensitivity exceeds 800, the out-of-focus correction is not executed.
In this way, it is possible to determine whether or not the focus
なお、図8に示す表は、一例を示すものであり、ピントボケ補正を実行するか否かを判定する際の基準(境界)となるISO感度とF値は、図6および図7の場合と同様に、撮像素子の反り値の範囲と、焦点ズレ量とに応じて変更される得るものである。 The table shown in FIG. 8 shows an example, and the ISO sensitivity and the F value that serve as a reference (boundary) when determining whether or not to perform focus blur correction are the same as those in FIGS. 6 and 7. Similarly, it can be changed according to the range of the warp value of the image sensor and the focus shift amount.
(撮影モード応じたピントボケ補正)
また、図9は、撮影モードに応じたピントボケ補正の実行の有無を表で示した図である。この図9に示す表では、撮影モード(撮影対象)として、ポートレイト、風景、子供のスナップ、スポーツ、及び夜景を撮影する場合は、ピントボケ補正を実行し、マクロ、料理、及びペットを撮影する場合は、ピントボケ補正を実行しない。これは、撮影モードの種類により、ISO感度が高め、低めになる場合や、また、F値が大きめ、小さめになる場合があるので、撮影モードによってピントボケ補正の実行、不実行の制御、及びピントボケ補正の強度を制御できるようにする。このように、撮影モード(撮影対象)に応じて、ピントボケ補正を実行するか否かを決定することにより、ノイズや不自然さが目立つことがないと推測される撮影モードを選択して、ピントボケ補正を実行することができる。
(Defocus correction according to shooting mode)
FIG. 9 is a table showing whether or not focus blur correction is performed according to the shooting mode. In the table shown in FIG. 9, when shooting portrait, landscape, children's snap, sports, and night view as shooting modes (shooting targets), focus blur correction is performed and macros, dishes, and pets are shot. If this is the case, focus correction will not be performed. Depending on the type of shooting mode, the ISO sensitivity may be increased and decreased, or the F value may be increased and decreased. Therefore, depending on the shooting mode, execution of focus blur correction, non-execution control, and focus blur may be performed. Allows the intensity of correction to be controlled. In this way, by determining whether or not to perform out-of-focus correction according to the shooting mode (shooting target), a shooting mode in which noise or unnaturalness is estimated to be inconspicuous is selected, and out-of-focus is selected. Correction can be performed.
なお、撮影モード(撮影対象)の選択は、例えば、メニュー設定ボタン(例えば、ダイヤルボタン等)やメニュー画面により、カメラを操作するユーザにより行われるものである。
また、図9に示す表は、一例を示すものであり、撮像装置の構成、撮影レンズの種類、撮像素子のチップサイズ等に応じて、ピントボケ補正を実行するか否かを決定する撮影モードは変更される得るものである。
Note that the selection of the shooting mode (shooting target) is performed by a user who operates the camera by using, for example, a menu setting button (for example, a dial button) or a menu screen.
Further, the table shown in FIG. 9 shows an example, and the shooting mode for determining whether or not to perform the focus blur correction according to the configuration of the imaging device, the type of the shooting lens, the chip size of the imaging device, and the like is as follows. It can be changed.
(焦点ズレ量と反り値の範囲とに応じたピントボケ補正)
以上、種々の撮影条件(ISO感度、F値、撮影モード)を基にピントボケ補正を実行するか否かを制御する例について説明したが、ここで、焦点ズレ量と反り値の範囲とに応じたピントボケ補正について補足して説明する。
(Out-of-focus correction according to the amount of defocus and the range of the warp value)
As described above, the example of controlling whether or not to perform the focus blur correction based on various shooting conditions (ISO sensitivity, F value, shooting mode) has been described. Here, depending on the focus shift amount and the range of the warp value. The out-of-focus correction will be supplementarily described.
撮像装置においては、撮影レンズの光量を絞りにより調整してF値を調整することができる。このF値が変更されることにより、焦点の前後で画像として鮮明に撮影できる範囲が変化し、撮像素子(チップ)11上の像面(受光面)のピント幅(焦点ズレ量)が変化する。例えば、F値を大きくする(絞り穴を小さくする)ことにより、焦点ズレ量が増加する。従って、撮像素子(チップ)11の反り値が焦点ズレ量の範囲内であれば、ピントボケは発生しない。 In the imaging apparatus, the F value can be adjusted by adjusting the light quantity of the photographing lens with a diaphragm. By changing the F value, the range in which the image can be clearly captured before and after the focus changes, and the focus width (focus shift amount) of the image surface (light receiving surface) on the image sensor (chip) 11 changes. . For example, increasing the F value (decreasing the aperture) increases the amount of focus shift. Therefore, if the warp value of the image sensor (chip) 11 is within the range of the focus shift amount, the out-of-focus is not generated.
このため、撮像素子11上のある領域において、反り値が焦点ズレ量の範囲内であれば、ピントボケ補正を実行する必要がなくなる。そして、チップの反り値が焦点ズレ量の範囲外の場合に、上述した、ISO感度、F値、および撮影モードなどの撮影条件を基に、ピントボケ補正を実行するか否かを判定することになる。
このように、反り値が焦点ズレ量の範囲内であれば、ピントボケ補正を実行せず、反り値が焦点ズレ量の範囲を超える場合にのみ、ISO感度等の撮像条件に従いピントボケ補正を実行するか否かを判定することができる。
For this reason, in a certain area on the
As described above, when the warp value is within the range of the focus shift amount, the focus blur correction is not performed, and only when the warp value exceeds the range of the focus shift amount, the focus blur correction is performed according to the imaging conditions such as the ISO sensitivity. It can be determined whether or not.
以上説明したように、本実施形態の撮像装置10では、ピントボケ補正部23により、撮像素子11の反りに対してピントボケ補正を行うことにより、ピントボケをなくした画像を得ることができる。特に、DSLR(Digital Single Lens Reflex camera;デジタル一眼レフカメラ)のように大型のセンサチップを使用する場合、反りも大きくなる。また、技術の進歩とともに画素が微細化され、ピントボケが与える響が大きくなってきている。このような場合に、本実施形態の構成を用いることにより、ピントボケを効果的に低減することができる。
As described above, in the
以上、本発明の実施形態について説明したが、ここで、本発明と上記実施形態との対応関係について補足して説明する。上記実施形態において、本発明における撮像装置は、図1に示す撮像装置10が対応し、本発明における撮像素子は撮像素子(チップ)11が対応し、本発明における撮像部は、撮像素子11と含み、被写体の像を検出し、この被写体の画像データを出力する撮像部11Aが対応する。また、本発明における制御部は、制御部13が対応し、本発明における補正部は、信号処理用ASIC20内のピントボケ補正部23が対応する。また、本発明における記憶部は、記憶部15が対応し、本発明における設定部は、設定部17が対応する。また、本発明における反りに関する情報は、反り値と、この反り値を基に算出されるピントボケ補正値と、が対応する。
Although the embodiment of the present invention has been described above, the correspondence between the present invention and the above embodiment will be supplementarily described. In the above embodiment, the imaging apparatus according to the present invention corresponds to the
(1)そして、上記実施形態において、撮像装置10は、光電変換機能を有する撮像素子11を備え、画像データを生成する撮像部11Aと、撮像素子11の撮像面の法線方向における反りに関する情報を記憶する記憶部15と、上記情報に基づいて、画像データを補正する補正部(ピントボケ補正部23)と、を備える。
このような構成の撮像装置10では、撮像装置の組み立て工程や調整工程等において、撮像素子(チップ)の反り値を測定する。そして、この反り値からピントボケの補正値を算出し、このピントボケ補正値を撮像装置10の記憶部15に予め記憶させておく。そして、撮影された画像に対して、上記記憶部15に記憶したピントボケ補正値を用いてピントボケ補正を行う。ピントボケ補正を行う際には、周知のシャープネスやアンシャープマスクの手法を使用する。
これにより、撮像素子の反りにより発生する画像のピントボケを減じることができる。
(1) In the above-described embodiment, the
In the
As a result, it is possible to reduce the out-of-focus image blur caused by the warp of the image sensor.
(2)また、上記実施形態において、記憶部15は、撮像面の複数の領域ごとに上記情報を記憶し、補正部(ピントボケ補正部23)は、領域ごとに記憶された上記情報に基づいて、領域に対応する画像データを補正する。
このような構成の撮像装置10では、撮像装置の組み立て工程や調整工程等において、撮像素子(チップ)の各領域における反り値を測定する。そして、この反り値からピントボケの補正値を算出し、このピントボケ補正値を撮像装置10の記憶部15に予め記憶させておく。そして、撮影された画像の各領域ごとに、上記記憶部15に記憶したピントボケ補正値を用いてピントボケ補正を行う。ピントボケ補正を行う際には、周知のシャープネスやアンシャープマスクの手法を使用する。
これにより、撮像素子の反りにより発生する画像のピントボケを減じることができる。
(2) In the above embodiment, the
In the
As a result, it is possible to reduce the out-of-focus image blur caused by the warp of the image sensor.
(3)また、上記実施形態において、撮像装置10は、撮像部11Aの撮影条件を設定する設定部17と、設定部17により設定された撮影条件に応じて、補正部(ピントボケ補正部23)による画像データの補正を実行するか否か制御する制御部13と、を備える。
このような構成の撮像装置10では、制御部13が、撮影条件(例えば、ISO感度、F値、撮影モード等)に応じて、ピントボケ補正部23においてピントボケ補正を実行するか否かを制御する。ピントボケの補正方法としては、シャープネスやアンシャープマスク等が良く知られているが、これらの方法を使ってピントボケ補正を行うと、ノイズが強調されることがあり、また、不自然さが目立つことがある。そこで、毎回の撮影おいて必ず補正を行うのではなく、撮影条件に応じて、ピントボケ補正の実行、不実行、またはピントボケ補正の強度を制御する。
これにより、撮影条件に応じて、ピントボケ補正を実行するか否かを制御することができる。このため、ピントボケ補正により画像のノイズが強調されることや、不自然さが目立ってしまうことを回避できる。
(3) In the above-described embodiment, the
In the
Accordingly, it is possible to control whether or not to perform the focus blur correction according to the shooting condition. For this reason, it can be avoided that the noise of the image is emphasized by the out-of-focus correction and the unnaturalness is conspicuous.
(4)また、上記実施形態において、撮影条件はISO感度であり、制御部13は、ISO感度の値に応じて、補正部(ピントボケ補正部23)による画像データの補正を実行するか否か制御する。
このような構成の撮像装置10では、例えば、ISO感度が低い場合、すなわち、ノイズが少ない低感度のみでピントボケ補正を実行する。
これにより、ISO感度が高く、画像のノイズが多く含まれる場合に、ピントボケ補正により画像のノイズが強調されることや、不自然さが目立ってしまうことを回避できる。
(4) In the above embodiment, the photographing condition is ISO sensitivity, and the
In the
Thereby, when the ISO sensitivity is high and a lot of image noise is included, it can be avoided that the image noise is emphasized by the out-of-focus correction and the unnaturalness is conspicuous.
(5)また、上記実施形態において、撮影条件は撮影レンズのF値であり、制御部13は、F値に応じて、補正部(ピントボケ補正部23)による画像データの補正を実行するか否か制御する。
このような構成の撮像装置10では、F値の大小(画像の明るさと被写界深度)に応じて、ピントボケ補正部23おいてピントボケ補正を実行するか否かを制御する。
これにより、例えば、F値が小さい場合、すなわち、被写界深度(より正確には焦点ズレ量)が小さく撮像素子11の反りによるピントボケが発生しやすい場合に、このピントボケを補正することができる。
(5) In the above embodiment, the photographing condition is the F value of the photographing lens, and the
In the
Thereby, for example, when the F value is small, that is, when the depth of field (more precisely, the amount of defocus) is small and the blur due to the warp of the
(6)また、上記実施形態において、撮影条件はISO感度とF値とであり、制御部13は、ISO感度とF値とに応じて、補正部(ピントボケ補正部23)による画像データの補正を実行するか否か制御する。
このような構成の撮像装置10では、ISO感度の高低と、F値の大小に応じて、ピントボケ補正部23においてピントボケ補正を行うか否かを制御する。
これにより、ISO感度とF値の両方のパラメータを基にして、ピントボケ補正部23においてピントボケ補正を行うか否かをきめ細かく制御することができる。
(6) In the above embodiment, the photographing conditions are the ISO sensitivity and the F value, and the
In the
Accordingly, it is possible to finely control whether or not the focus
(7)また、上記実施形態において、撮影条件は撮影モードであり、制御部13は、撮影モードに応じて、補正部(ピントボケ補正部23)による画像データの補正を実行するか否か制御する。
このような構成の撮像装置10では、撮影モードに応じて、ピントボケ補正部23においてピントボケ補正を実行するか否かを制御する。これは、撮影モードの種類により、ISO感度が高めまたは低めに設定されることがあり、また、撮影レンズのF値が大きめまたは小さめに設定されることがあるので、撮影モードによってピントボケ補正の実行、不実行、あるいはピントボケ補正の強度を制御できるようにする。
これにより、撮影モードを選択することにより、この撮影モードに応じてピントボケのない鮮明な画像を得ることができる。
(7) In the above embodiment, the shooting condition is the shooting mode, and the
In the
Thus, by selecting the shooting mode, it is possible to obtain a clear image without out-of-focus according to the shooting mode.
(8)また、上記実施形態において、制御部13は、反りの大きさと、撮影レンズの種類とF値で決まる焦点ズレ量と、に応じて、補正部(ピントボケ補正部23)による画像データの補正を実行するか否か制御する。
このような構成の撮像装置10では、反り値の範囲が、撮影レンズ12の種類とF値で決まる焦点ズレ量を超える場合に、上記撮像条件に従いピントボケ補正を実行するか否かを制御する。撮像装置10においては、撮影レンズの光量を絞りにより調整してF値を調整することができる。このF値が変更されることにより、焦点の前後で画像として鮮明に撮影できる範囲が変化し、撮像素子(チップ)11上での像面のピント幅(焦点ズレ量)が変化する。従って、撮像素子11の反り値が焦点ズレ量の範囲内であれば、ピントボケは発生しない。このため、撮像素子11上のある領域において、反り値が焦点ズレ量の範囲内であれば、ピントボケ補正を実行せず、反り値が焦点ズレ量の範囲外の場合に、上記撮像条件に従いピントボケ補正を実行する。
これにより、反り値の範囲が焦点ズレ量の範囲内であれば、ピントボケ補正を実行しないようにできる。
(8) In the above-described embodiment, the
In the
Thereby, if the range of the warp value is within the range of the focus shift amount, it is possible to prevent the out-of-focus correction.
(9)また、上記実施形態において、撮影条件がISO感度である場合に、制御部13は、ISO感度が所定のISO感度以下の場合に、補正部(ピントボケ補正部23)に画像データの補正を実行させ、所定のISO感度を超える場合に、補正部(ピントボケ補正部23)に画像データの補正を実行させない。
このような構成の撮像装置10では、ISO感度が所定のISO感度以下の場合にピントボケ補正部23にピントボケ補正を実行させる。ピントボケ補正はノイズを強調する効果もあるので、ノイズが多い高感度では補正によりノイズが目立つ可能性が高い。従って、ノイズが少ない低感度のみで補正を実行することを可能とし、また強度も調整可能にする。
(9) In the above embodiment, when the shooting condition is ISO sensitivity, the
In the
(10)また、上記実施形態において、所定のISO感度は、シャッタースピードに応じて設定される。
このような構成の撮像装置10では、ピントボケ補正を行うか否かを判定するISO感度を、シャッタースピードに応じて設定する。これは、撮像素子11の露光量はISO感度とシャッタースピードに応じて決まるので、シャッタースピードの遅い場合(露光量の多い場合)には、ピントボケ補正を行うか否かを判定するISO感度を低めに設定する。
これにより、シャッタースピードに応じて、ピントボケ補正を行うか否かを判定するISO感度を設定することができる。このため、ピントボケ補正によりノイズが強調されることを回避できる。
(10) In the above embodiment, the predetermined ISO sensitivity is set according to the shutter speed.
In the
Accordingly, it is possible to set the ISO sensitivity for determining whether or not to perform the focus blur correction according to the shutter speed. For this reason, it is possible to avoid noise enhancement due to out-of-focus correction.
(11)また、上記実施形態において、上記所定のISO感度は、撮像素子11の撮像面全体の反り大きさに応じて設定される。
このような構成の撮像装置10では、ピントボケ補正を行うか否かを判定する基準となるISO感度を、撮像素子11の撮像面全体の反り値の範囲(反りの最大値と最小値の範囲)に応じて設定する。これは、反り値の範囲が小さい程、ピントボケ補正を実行する際に用いるピントボケ補正値が少なくなり、ピントボケ補正による画像ノイズが強調されにくくなる。このため、ピントボケ補正を行う判定基準(境界)となるISO感度の値を大きくすることができる。
これにより、ピントボケ補正を行う判定基準(境界)となるISO感度を、撮像素子11の反り値の範囲に応じて、最適に設定することができる。
(11) In the above embodiment, the predetermined ISO sensitivity is set according to the warpage magnitude of the entire imaging surface of the
In the
As a result, the ISO sensitivity, which is a determination reference (boundary) for performing the focus blur correction, can be optimally set according to the range of the warp value of the
(12)また、上記実施形態において、上記所定のISO感度は、撮像素子11の撮像面全体の反り大きさと、撮影レンズの種類とF値に応じて決まる焦点ズレ量と、に応じて設定される。
このような構成の撮像装置10では、ピントボケ補正を行うか否かを判定する基準となるISO感度を、撮像素子11の撮像面全体の反り値の範囲と、撮影レンズ12の焦点ズレ量と、により設定する。これは、焦点ズレ量が大きい程、また、反り値の範囲(反りの最大値と最小値の範囲)が小さい程、ピントボケ補正を実行する際に用いるピントボケ補正値が少なくなり、ピントボケ補正による画像ノイズが強調されにくくなる。このため、ピントボケ補正を行う判定基準(境界)となるISO感度の値を大きくすることができる。
これにより、ピントボケ補正を行う判定基準(境界)となるISO感度を、撮像素子11の反り値の範囲と、撮影レンズ12の焦点ズレ量とに応じて、最適に設定することができる。
(12) In the above-described embodiment, the predetermined ISO sensitivity is set according to the amount of warpage of the entire imaging surface of the
In the
As a result, the ISO sensitivity, which is a determination criterion (boundary) for performing defocus correction, can be optimally set according to the range of the warp value of the
(13)また、上記実施形態において、撮像装置10は、撮影条件がF値である場合に、制御部13は、F値が所定の第1のF値以下の場合および所定の第2のF値を超える場合に、補正部(ピントボケ補正部23)に画像データの補正を実行させ、F値が第1のF値を超え所定の第2のF値以下の場合に、補正部(ピントボケ補正部23)に画像データの補正を実行させない。
このような構成の撮像装置10では、撮影条件がF値である場合に、制御部13は、図7に示すように、F値が所定の第1のF値(F2.8)以下の場合および所定の第2のF値(F8)を超える場合に、ピントボケ補正部23にピントボケ補正を実行させ、F値が第1のF値(F2.8)を超え所定の第2のF値(F8)以下の場合に、ピントボケ補正部23にピントボケ補正を実行させない。これは、開放側(F値が小さい側)ではチップ反りによるピントボケの発生が目立つことが経験的に知られており、F値が2.8以下の場合には、ピントボケ補正を実行する。一方、絞り側(F値が大きい)では被写界深度が深くなることにより鮮明な画像が得られることがユーザから期待されるが、被写界深度が深い(F値が大きい)場合、主要被写体はもちろん、背景にもピントがあっているシーンが多くなるため、撮像素子11の反りがあると、反りによるピントボケが目立つ可能性がある。従って、F値が大きい場合(絞り側のF値がF8を超える場合)にはピントボケ補正を実行する。
このように、写界深度が浅い(F値が小さい)場合と、被写界深度が深い(F値が大きい)場合には、ピントボケ補正を実行し、その中間域ではピントボケ補正を実行しないように制御することにより、画像のノイズが目立ちやすくなることを回避しながら、チップの反りにより発生するピントボケを補正することができる。
(13) In the above embodiment, when the imaging condition is the F value, the
In the
As described above, when the depth of field is shallow (F value is small) and when the depth of field is deep (F value is large), focus blur correction is performed, and focus blur correction is not performed in the intermediate range. With this control, it is possible to correct out-of-focus blur caused by chip warp while avoiding image noise becoming conspicuous.
(14)また、上記実施形態において、上記所定の第1のF値と第2のF値は、撮像素子11の撮像面全体の反りの大きさに応じて設定される
このような構成の撮像装置10では、第1のF値と第2のF値を、撮像素子11の反り値の範囲に応じて設定する。これは、撮像素子11の撮像面全体の反り値の範囲(反りの最大値と最小値の範囲)が小さい場合は、反り値が撮影レンズとF値とで決まる焦点ズレ量(画像が鮮明に見える範囲)の範囲内に収まることが多くなる。このため、ピントボケ補正を実行する際に用いるピントボケ補正値が少なくなり、ピントボケ補正による画像ノイズが強調されにくくなる。このため、ピントボケ補正を実行することができるF値の範囲を拡大することができる。
(14) In the above embodiment, the predetermined first F value and the second F value are set according to the amount of warpage of the entire imaging surface of the
(15)また、上記実施形態において、上記所定の第1のF値と第2のF値は、撮像素子11の撮像面全体の反りの大きさと、撮影レンズ12の種類とF値に応じて決まる焦点ズレ量と、に応じて設定される。
このような構成の撮像装置10では、ピントボケ補正を行うか否かを判定する基準となるF値を、撮像素子11の反り値の範囲と、撮影レンズ12の焦点ズレ量と、により設定する。これは、焦点ズレ量が大きい程、また、反り値の範囲が小さい程、反り値が撮影レンズとF値とで決まる焦点ズレ量の範囲内に収まることが多くなる。このため、ピントボケ補正を実行する際に用いるピントボケ補正値が少なくなり、ピントボケ補正による画像ノイズが強調されにくくなる。このため、ピントボケ補正を実行することができるF値の範囲を拡大することができる。
(15) In the above-described embodiment, the predetermined first F value and the second F value depend on the warp size of the entire imaging surface of the
In the
(16)また、上記実施形態において、撮影条件がISO感度とF値である場合に、制御部13は、F値が所定の第1のF値(F2.8)以下であるかまたは所定の第2のF値(F8)を超える場合であって、かつISO感度が所定のISO感度(400)以下である場合に、補正部(ピントボケ補正部23)に画像データの補正を実行させ、F値が所定の第1のF値(F2.8)を超えるとともに所定の第2のF値(F8)以下である場合であって、かつISO感度が所定のISO感度(400)以下の場合に、画像データの補正量を所定の割り合に減じて補正部(ピントボケ補正部23)に補正を実行させ、F値が所定の第1のF値(F2.8)以下であるかまたは所定の第2のF値(F8)を超える場合であって、かつISO感度が所定のISO感度(400)を超える場合に、画像データの補正量を所定の割り合に減じて補正部(ピントボケ補正部23)に補正を実行させ、F値が所定の第1のF値(F2.8)を超えるとともに所定の第2のF値(F8)以下の場合であって、かつISO感度が所定のISO感度(400)を超える場合に、補正部(ピントボケ補正部23)に画像データの補正を実行させない。
これにより、ISO感度とF値とに応じて、ピントボケ補正を実行するか否かを制御することができる。
(16) In the above embodiment, when the shooting conditions are the ISO sensitivity and the F value, the
Thereby, it is possible to control whether or not to perform out-of-focus correction according to the ISO sensitivity and the F value.
(17)また、上記実施形態において、所定のISO感度が、シャッタースピードに応じて設定される。
これにより、ISO感度とF値とに応じて、ピントボケ補正を実行するか否かを制御することができるとともに、ピントボケ補正を実行するか否かを判定する基準(境界)となるISO感度とF値とをシャッタースピードに応じて設定することができる。
(17) In the above embodiment, the predetermined ISO sensitivity is set according to the shutter speed.
Thus, it is possible to control whether or not to perform out-of-focus correction according to the ISO sensitivity and the F value, and to determine whether or not to execute out-of-focus correction. The value can be set according to the shutter speed.
(18)また、上記実施形態において、上記所定の第1及び第2のF値と、所定のISO感度とが、撮像素子11の撮像面全体の反りの大きさに応じて設定される。
これにより、ピントボケ補正を行うか否かを判定する基準となる第1及び第2のF値と、ISO感度とを、撮像素子11の反り値の大きさに応じて設定することができる。
(18) In the above-described embodiment, the predetermined first and second F values and the predetermined ISO sensitivity are set according to the warpage of the entire imaging surface of the
As a result, the first and second F values and the ISO sensitivity, which are criteria for determining whether or not to perform focus blur correction, can be set according to the magnitude of the warp value of the
(19)また、上記実施形態において、上記所定の第1及び第2のF値と、所定のISO感度とが、撮像素子11の撮像面全体の反りの大きさと、撮影レンズの種類とF値により決まる焦点ズレ量と、に応じて設定される。
これにより、ピントボケ補正を行うか否かを判定する基準となる第1及び第2のF値と、ISO感度とを、撮像素子11の反り値の範囲と、撮影レンズ12の焦点ズレ量に応じて設定することができる。
(19) In the above embodiment, the predetermined first and second F values and the predetermined ISO sensitivity are determined by the amount of warpage of the entire imaging surface of the
As a result, the first and second F values and the ISO sensitivity, which are the criteria for determining whether or not to perform focus blur correction, are set according to the range of the warp value of the
(20)また、上記実施形態において、上記画像データの補正が、シャープネスまたはアンシャープマスクにより行われる。
これにより、ピントボケ補正部23においてピントボケ補正を実行する際に、よく知られたシャープネスやアンシャープマスクの手法を用いて、ピントボケ補正を行うことができる。
(20) In the above embodiment, the correction of the image data is performed by a sharpness or unsharp mask.
Thus, when the out-of-
以上、本発明の実施の形態について説明したが、本発明の撮像装置は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。 Although the embodiments of the present invention have been described above, the image pickup apparatus of the present invention is not limited to the illustrated examples described above, and various modifications can be made without departing from the scope of the present invention. Of course.
10…撮像装置、11…撮像素子、11A…撮像部、12…撮影レンズ、13…制御部、14…記録部、15…記憶部、17…設定部、20…信号処理用ASIC、21…前処理部、22…信号処理部、23…ピントボケ補正部、30…撮像素子パッケージ、31…基板、32…シール部材、33…保護ガラス
DESCRIPTION OF
Claims (15)
前記撮像素子の反りに関する情報により前記撮像素子で撮像された被写体の画像データを補正する補正部と、
を備える撮像装置。 An image sensor for imaging a subject;
A correction unit that corrects image data of a subject imaged by the image sensor based on information on the warp of the image sensor;
An imaging apparatus comprising:
前記補正部は、前記第1撮像領域における前記撮像素子の反りに関する情報により前記第1撮像領域で撮像された被写体の画像データを補正し、前記第2撮像領域における前記撮像素子の反りに関する情報により前記第2撮像領域で撮像された被写体の画像データを補正する
請求項1に記載の撮像装置。 The imaging device has a first imaging region and a second imaging region different from the first imaging region,
The correction unit corrects image data of a subject imaged in the first imaging area based on information related to the warp of the imaging element in the first imaging area, and uses information related to the warp of the imaging element in the second imaging area. The imaging apparatus according to claim 1, wherein image data of a subject imaged in the second imaging area is corrected.
請求項1又は請求項2に記載の撮像装置。 The imaging device according to claim 1, wherein the imaging element is disposed on a substrate having a linear expansion coefficient different from that of the imaging element.
請求項3に記載の撮像装置。 The correction unit corrects image data of a subject imaged by the imaging device based on information on a warp of the imaging device based on a difference between a linear expansion coefficient of the imaging device and a linear expansion coefficient of the substrate. The imaging device described.
請求項1から請求項4のいずれか一項に記載の撮像装置。 5. The correction unit corrects image data of a subject imaged by the imaging device based on information related to warpage of the imaging device based on a curvature of a surface of the imaging device. 6. Imaging device.
請求項1から請求項5のいずれか一項に記載の撮像装置。 The correction unit corrects image data of a subject imaged by the imaging device based on information on warpage of the imaging device based on a displacement amount between an imaging surface of the imaging device and a predetermined reference surface. The imaging device according to claim 5.
前記設定部で設定された撮影条件により、前記補正部において前記撮像素子の反りに関する情報により前記撮像素子で撮像された被写体の画像データを補正するか否かを制御する制御部と、
を備える請求項1から請求項6のいずれか一項に記載の撮像装置。 A setting unit for setting shooting conditions of the image sensor;
A control unit that controls whether to correct the image data of the subject imaged by the imaging device based on the information on the warp of the imaging device in the correction unit, according to the imaging condition set by the setting unit;
An imaging apparatus according to any one of claims 1 to 6, further comprising:
前記制御部は、前記設定部により設定されたISO感度により、前記補正部において前記撮像素子の反りに関する情報により前記撮像素子で撮像された被写体の画像データを補正するか否か制御する
請求項7に記載の撮像装置。 The setting unit sets the ISO sensitivity of the image sensor as the shooting condition,
The control unit controls whether or not to correct the image data of the subject imaged by the imaging device by the correction unit based on the information related to the warp of the imaging device, according to the ISO sensitivity set by the setting unit. The imaging device described in 1.
前記制御部は、前記設定部により設定されたシャッタースピードにより、前記補正部において前記撮像素子の反りに関する情報により前記撮像素子で撮像された被写体の画像データを補正するか否か制御する
請求項7又は請求項8に記載の撮像装置。 The setting unit sets a shutter speed of the image sensor as the shooting condition;
The control unit controls whether or not to correct image data of a subject imaged by the imaging element by the correction unit based on information related to warping of the imaging element by the shutter speed set by the setting unit. Or the imaging device of Claim 8.
請求項7から請求項9のいずれか一項に記載の撮像装置。 The control unit controls whether or not the correction unit corrects the image data of the subject imaged by the imaging device based on the information regarding the warp of the imaging device by the F value of the lens that emits light to the imaging device. The imaging device according to any one of claims 7 to 9.
請求項7から請求項10のいずれか一項に記載の撮像装置。 The control unit controls whether the correction unit corrects image data of a subject imaged by the imaging device based on information about warpage of the imaging device in the correction unit, according to a set shooting mode. The imaging device according to any one of 10.
請求項1から請求項6のいずれか一項に記載の撮像装置。 A controller that controls whether or not the correction unit corrects image data of the subject imaged by the imaging element based on information about the warp of the imaging element by the F value of the lens that emits light to the imaging element; The imaging device according to any one of claims 1 to 6.
請求項12に記載の撮像装置。 The control unit according to claim 12, wherein the control unit controls whether the correction unit corrects image data of a subject imaged by the imaging device based on information about warpage of the imaging device in the correction unit according to a set shooting mode. Imaging device.
請求項1から請求項6のいずれか一項に記載の撮像装置。 The control part which controls whether the image data of the to-be-photographed object imaged with the said image pick-up element is correct | amended by the information regarding the curvature of the said image pick-up element in the said correction | amendment part by the imaging | photography mode set is provided. The imaging device according to any one of the above.
請求項1から請求項14のいずれか一項に記載の撮像装置。 The imaging unit according to any one of claims 1 to 14, wherein the correction unit corrects image data of a subject imaged by the imaging device based on information related to warping of the imaging device by a sharpness or an unsharp mask. apparatus.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016076582A JP6210122B2 (en) | 2016-04-06 | 2016-04-06 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016076582A JP6210122B2 (en) | 2016-04-06 | 2016-04-06 | Imaging device |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012033354A Division JP5915238B2 (en) | 2012-02-17 | 2012-02-17 | Imaging device |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017175419A Division JP6428886B2 (en) | 2017-09-13 | 2017-09-13 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016158276A true JP2016158276A (en) | 2016-09-01 |
JP6210122B2 JP6210122B2 (en) | 2017-10-11 |
Family
ID=56826907
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016076582A Active JP6210122B2 (en) | 2016-04-06 | 2016-04-06 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6210122B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09135010A (en) * | 1995-11-07 | 1997-05-20 | Konica Corp | Mounting of bare chip ccd |
JP2007166494A (en) * | 2005-12-16 | 2007-06-28 | Nikon Corp | Camera and imaging unit |
JP2008028591A (en) * | 2006-07-20 | 2008-02-07 | Kyocera Corp | Image processing method in imaging device, and imaging device |
JP2011066092A (en) * | 2009-09-15 | 2011-03-31 | Olympus Corp | Imaging unit |
-
2016
- 2016-04-06 JP JP2016076582A patent/JP6210122B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09135010A (en) * | 1995-11-07 | 1997-05-20 | Konica Corp | Mounting of bare chip ccd |
JP2007166494A (en) * | 2005-12-16 | 2007-06-28 | Nikon Corp | Camera and imaging unit |
JP2008028591A (en) * | 2006-07-20 | 2008-02-07 | Kyocera Corp | Image processing method in imaging device, and imaging device |
JP2011066092A (en) * | 2009-09-15 | 2011-03-31 | Olympus Corp | Imaging unit |
Also Published As
Publication number | Publication date |
---|---|
JP6210122B2 (en) | 2017-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9531960B2 (en) | Imaging apparatus for generating HDR image from images captured at different viewpoints and method for controlling imaging apparatus | |
US10393996B2 (en) | Image processing apparatus, image pickup apparatus, image processing method, and storage medium | |
CN108462830B (en) | Image pickup apparatus and control method of image pickup apparatus | |
JPWO2006035778A1 (en) | Camera module and electronic device including the same | |
JP2008289032A (en) | Imaging apparatus | |
JP5769773B2 (en) | Camera system and focus detection pixel correction method | |
US9191573B2 (en) | Image capturing apparatus for determining an exposure condition by calculating aphotmetric value for each object region and method of controlling the same | |
JP2017003832A (en) | Automatic focus adjustment device and optical apparatus | |
US10630882B2 (en) | Image pickup apparatus having function of correcting defocusing and method for controlling the same | |
JP5712031B2 (en) | Imaging device, photographing lens unit, and imaging unit | |
JP5173664B2 (en) | Image processing apparatus and image processing method | |
JP5915238B2 (en) | Imaging device | |
JP6428886B2 (en) | Imaging device | |
JP6210122B2 (en) | Imaging device | |
JP6705485B2 (en) | Imaging device | |
JP6381206B2 (en) | Image processing apparatus, control method thereof, and program | |
JP2019134431A (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
JP6570230B2 (en) | Imaging apparatus and imaging method | |
JP2017058563A (en) | Automatic focus adjustment device, imaging device, and automatic focus adjustment method | |
JP2017085393A (en) | Image processing apparatus, imaging apparatus, image processing method, program, and storage medium | |
JP2024033494A (en) | Image stabilization control apparatus and method | |
JP5679718B2 (en) | Imaging device | |
JP2013149043A (en) | Image processing device | |
JP2013041059A (en) | Exposure calculation unit and camera | |
JP2018050231A (en) | Imaging apparatus, imaging method and imaging control program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161219 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170815 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170828 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6210122 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |