JP2011114581A - Image capturing apparatus and method - Google Patents
Image capturing apparatus and method Download PDFInfo
- Publication number
- JP2011114581A JP2011114581A JP2009269117A JP2009269117A JP2011114581A JP 2011114581 A JP2011114581 A JP 2011114581A JP 2009269117 A JP2009269117 A JP 2009269117A JP 2009269117 A JP2009269117 A JP 2009269117A JP 2011114581 A JP2011114581 A JP 2011114581A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image area
- effective image
- area
- lens
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
Abstract
Description
本発明は、撮像装置及び撮像方法に関し、特に、撮像素子の撮像領域にレンズにより受光された撮像光が入射される有効画像領域と、撮像光が入射されない無効画像領域と、が現れる撮像装置において露光を制御する技術に関する。 The present invention relates to an imaging apparatus and an imaging method, and more particularly, in an imaging apparatus in which an effective image area where imaging light received by a lens is incident on an imaging area of an imaging element and an invalid image area where imaging light is not incident appear. The present invention relates to a technique for controlling exposure.
従来、魚眼レンズを含む広角レンズカメラ等の撮像装置には、一般に、自動的に露出(露光)量を調整するAE(Automatic Exposure:自動露出)機能が設けられている。露光制御は、視野内の光量を測光し、その測光結果に基づき、レンズの開口度、シャッタ速度及び撮像素子から出力される撮像信号の利得を調整することにより行われる。 Conventionally, an imaging apparatus such as a wide-angle lens camera including a fisheye lens is generally provided with an AE (Automatic Exposure) function for automatically adjusting an exposure (exposure) amount. The exposure control is performed by measuring the amount of light in the field of view, and adjusting the aperture of the lens, the shutter speed, and the gain of the imaging signal output from the imaging device based on the photometric result.
一般的な、露光制御方法としては、まず、撮像素子の画素画面からなる領域(以下「撮像領域」という)をN個のブロックに分割し、ブロック毎にそれぞれのブロックに含まれる画素の平均輝度を求め、N個のブロックの平均輝度をフレームの輝度として求める。そして、この輝度に応じて、シャッタ速度又は利得を調整する。図1は、撮像領域を12個のブロックに分割した例である。 As a general exposure control method, first, an area consisting of a pixel screen of an image sensor (hereinafter referred to as an “imaging area”) is divided into N blocks, and the average luminance of pixels included in each block is divided into blocks. And the average luminance of the N blocks is obtained as the luminance of the frame. Then, the shutter speed or gain is adjusted according to the luminance. FIG. 1 shows an example in which the imaging area is divided into 12 blocks.
また、従来、魚眼レンズを含む広角レンズカメラ等の撮像装置には、一般に、周辺光量落ち補正機能が設けられている。周辺光量落ちとは、レンズの特性により、レンズの中心部付近の撮像信号の光量レベルに対して、中心部から距離が離れるに従って撮像信号の光量レベルが暗くなる特性をいう。図2Aに、周辺光量落ちの様子を示す。 Conventionally, an imaging apparatus such as a wide-angle lens camera including a fisheye lens is generally provided with a peripheral light amount drop correction function. The drop in the amount of peripheral light refers to a characteristic that the light amount level of the image pickup signal becomes darker as the distance from the center portion becomes larger than the light amount level of the image pickup signal near the center portion of the lens due to the characteristics of the lens. FIG. 2A shows a state in which the peripheral light amount is reduced.
周辺光量落ち補正とは、レンズ周辺の撮像信号の利得を上げる補正をいう。図2Bは、周辺光量落ち補正に用いるゲインアップ特性の一例を示している。図2Bにおいて、横軸は、レンズの中心部からの撮像光が入射される画素領域からの距離rであり、縦軸は、ゲインを示している。図2Bに示すゲインアップ特性を用いることにより、レンズ周辺の撮像信号の光量を上げることができる。 The peripheral light amount drop correction is correction that increases the gain of the imaging signal around the lens. FIG. 2B shows an example of gain-up characteristics used for peripheral light amount drop correction. In FIG. 2B, the horizontal axis is the distance r from the pixel region where the imaging light from the center of the lens is incident, and the vertical axis indicates the gain. By using the gain-up characteristic shown in FIG. 2B, it is possible to increase the light amount of the imaging signal around the lens.
ところで、広角レンズカメラ等の撮像装置においては、撮像素子の撮像領域に、レンズから光が届き、レンズにより受光された撮像光が入射される領域(以下「有効画像領域」という)と、レンズから光が届かず、レンズにより受光された撮像光が入射されない領域(以下「無効画像領域」という)とが発生する。 By the way, in an imaging device such as a wide-angle lens camera, an area where light from the lens reaches the imaging area of the imaging device and the imaging light received by the lens is incident (hereinafter referred to as “effective image area”), and from the lens There is a region where the light does not reach and the imaging light received by the lens is not incident (hereinafter referred to as “invalid image region”).
図3は、広角レンズを用いた場合の撮像領域と有効画像領域との位置関係の一例を示す図である。図3において、長方形の領域は撮像領域(撮像素子または撮像面と呼んでもよい)を示し、円形の領域は撮像面での撮像光の受光領域を示す。また、白塗りの領域は有効画像領域を示し、黒塗りの領域は無効画像領域を示している。特に、魚眼レンズを含む広角レンズカメラ等の広い画角を有する撮像装置では、広範囲の視野画像を得るために、撮像光全てが撮像領域(撮像素子)に入射されるように設定されている。そのため、図3からも分かるように、広角レンズを用いた撮像装置では、撮像領域に無効画像領域が存在する。 FIG. 3 is a diagram illustrating an example of a positional relationship between an imaging region and an effective image region when a wide-angle lens is used. In FIG. 3, a rectangular area indicates an imaging area (which may be referred to as an imaging element or an imaging surface), and a circular area indicates a light receiving area for imaging light on the imaging surface. The white area indicates an effective image area, and the black area indicates an invalid image area. In particular, in an imaging device having a wide angle of view, such as a wide-angle lens camera including a fisheye lens, in order to obtain a wide field of view image, all imaging light is set to be incident on an imaging region (imaging element). Therefore, as can be seen from FIG. 3, in the imaging apparatus using the wide-angle lens, an invalid image area exists in the imaging area.
一方、図4は、標準レンズ(又は望遠レンズ)を用いた場合の撮像領域と有効画像領域との位置関係の一例を示す図である。図4において、長方形の領域は撮像領域(撮像素子または撮像面と呼んでもよい)、円形の領域は撮像面での撮像光の受光領域を示す。図4に示すように、標準レンズ(又は望遠レンズ)の場合には、撮像面全体に撮像光が入射されるため、撮像領域に無効画像領域が存在しない。 On the other hand, FIG. 4 is a diagram illustrating an example of a positional relationship between an imaging region and an effective image region when a standard lens (or a telephoto lens) is used. In FIG. 4, a rectangular area indicates an imaging area (which may be referred to as an imaging element or an imaging surface), and a circular area indicates a light receiving area for imaging light on the imaging surface. As shown in FIG. 4, in the case of a standard lens (or a telephoto lens), imaging light is incident on the entire imaging surface, and therefore there is no invalid image area in the imaging area.
このように、レンズの画角が広い広角レンズ等を用いた場合と、広角レンズに比べ画角が狭い標準レンズ等を用いた場合とでは、有効画像領域が異なる。 As described above, the effective image area is different between the case where a wide-angle lens having a wide angle of view is used and the case where a standard lens having a narrow angle of view is used compared to the wide-angle lens.
特許文献1には、装着されたレンズが、画角が広い魚眼レンズか否か判定し、装着されたレンズが魚眼レンズの場合には、撮像領域の中央領域を有効画像領域として利用して輝度を算出する方法が記載されている。 In Patent Document 1, it is determined whether or not the attached lens is a fish-eye lens having a wide angle of view. If the attached lens is a fish-eye lens, luminance is calculated using the central area of the imaging area as an effective image area. How to do is described.
また、特許文献1には、図3に示すように、有効画像領域が撮像領域の上辺及び下辺に接し、かつ、撮像領域の中央に存在する場合の輝度算出方法が記載されている。 Patent Document 1 describes a luminance calculation method in the case where the effective image area is in contact with the upper side and the lower side of the imaging area and exists in the center of the imaging area, as shown in FIG.
しかしながら、広角レンズカメラ等の撮像装置においては、レンズ及び撮像素子の個体差、或いは、撮像素子のサイズ、レンズと撮像素子との配置対応関係等により、撮像素子の撮像領域に対し有効画像領域が変動する場合がある。 However, in an image pickup apparatus such as a wide-angle lens camera, the effective image area is different from the image pickup area of the image sensor due to individual differences between the lens and the image sensor, or the size of the image sensor, the correspondence relationship between the lens and the image sensor, May vary.
図5A、図5B、図5C、図5Dは、撮像領域に対する無効画像領域の関係の例を示した図である。 FIG. 5A, FIG. 5B, FIG. 5C, and FIG. 5D are diagrams illustrating examples of the relationship between the invalid image area and the imaging area.
図5A、図5Bに示すように、有効画像領域が、撮像領域の上辺及び下辺に接していないような場合には、特許文献1に記載の輝度算出方法を適用しただけでは、無効画像領域における輝度も算出結果に含まれてしまう。そのため、無効画像領域が大きい場合に、良好な輝度調整を行うことが難しい。 As shown in FIGS. 5A and 5B, when the effective image area is not in contact with the upper side and the lower side of the imaging area, the application of the luminance calculation method described in Patent Document 1 only applies to the invalid image area. The luminance is also included in the calculation result. Therefore, it is difficult to perform good brightness adjustment when the invalid image area is large.
また、図5A、図5Bに示すように、有効画像領域の中心が撮像領域の中心に一致している場合においても、有効画像領域が、撮像領域の上辺及び下辺に接しておらず、有効画像領域の大きさが変わる場合には、単に周辺光量落ち補正を行っても、不整合が生じ、良好に補正できない場合がある。 As shown in FIGS. 5A and 5B, even when the center of the effective image area coincides with the center of the imaging area, the effective image area is not in contact with the upper side and the lower side of the imaging area, and the effective image When the size of the region changes, even if the peripheral light amount drop correction is simply performed, mismatch may occur and correction may not be performed satisfactorily.
また、図5C、図5Dに示すように、有効画像領域が、撮像領域の上辺及び下辺に接していても、有効画像領域の中心と撮像領域の中心とが一致しないような場合には、単に周辺光量落ち補正を行っても、不整合が生じ、良好に補正できない場合がある。 Further, as shown in FIGS. 5C and 5D, when the effective image area is in contact with the upper side and the lower side of the imaging area, the center of the effective image area does not coincide with the center of the imaging area. Even if the peripheral light amount drop correction is performed, mismatch may occur and correction may not be performed satisfactorily.
このように、特許文献1に記載の方法では、不特定のレンズと不特定の撮像素子との画角に対応するのが困難である。 As described above, in the method described in Patent Document 1, it is difficult to cope with the angle of view between the unspecified lens and the unspecified imaging element.
本発明はかかる点を考慮してなされたものであり、撮像素子の撮像領域にレンズにより受光された撮像光が入射されない無効画像領域が現れる場合においても、最適な露光制御を行うことができる撮像装置及び撮像方法を提供する。 The present invention has been made in consideration of such points, and imaging capable of performing optimal exposure control even when an invalid image area where the imaging light received by the lens is not incident appears in the imaging area of the imaging device. An apparatus and an imaging method are provided.
本発明の撮像装置の一つの態様は、撮像素子の撮像領域に、レンズにより受光された撮像光が入射される有効画像領域と前記撮像光が入射されない無効画像領域がある撮像装置であって、前記有効画像領域を検出する検出手段と、検出した前記有効画像領域の輝度を算出する輝度算出手段と、算出した前記輝度に応じて、前記有効画像領域のゲインを調整する利得調整手段と、を具備する構成を採る。 One aspect of the imaging apparatus of the present invention is an imaging apparatus in which an imaging area of an imaging device includes an effective image area where imaging light received by a lens is incident and an invalid image area where the imaging light is not incident, Detecting means for detecting the effective image area; brightness calculating means for calculating the brightness of the detected effective image area; and gain adjusting means for adjusting the gain of the effective image area according to the calculated brightness. The structure to comprise is taken.
本発明の撮像方法の一つの態様は、撮像素子の撮像領域に、レンズにより受光された撮像光が入射される有効画像領域と前記撮像光が入射されない無効画像領域がある撮像装置に用いられ、前記有効画像領域を検出する検出ステップと、検出した前記有効画像領域の輝度を算出する輝度算出ステップと、算出した前記輝度に応じて、前記有効画像領域のゲインを調整する利得調整ステップと、を含むようにした。 One aspect of the imaging method of the present invention is used in an imaging apparatus in which an imaging area of an imaging device includes an effective image area where imaging light received by a lens is incident and an invalid image area where the imaging light is not incident, A detecting step for detecting the effective image region; a luminance calculating step for calculating a luminance of the detected effective image region; and a gain adjusting step for adjusting a gain of the effective image region according to the calculated luminance. I included it.
本発明によれば、撮像素子の撮像領域にレンズにより受光された撮像光が入射されない無効画像領域が現れる場合においても、最適な露光制御を行うことができる。 According to the present invention, optimal exposure control can be performed even when an invalid image area where the imaging light received by the lens is not incident appears in the imaging area of the imaging device.
以下、本発明の実施の形態について図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
(実施の形態)
図6に、本発明の実施の形態に係る撮像装置の構成を示す。撮像装置100は、大きく分けて、撮像部110と、補正部120と、有効画像領域検出部130と、輝度算出部140と、画像処理部150とを有する。
(Embodiment)
FIG. 6 shows a configuration of the imaging apparatus according to the embodiment of the present invention. The
撮像部110は、レンズ111及び撮像素子112を有する。なお、撮像部110の構成は、公知の構成を用いればよい。例えば、撮像部110は、入力光を調整するために、絞り制御機構、シャッタ速度制御機構及び焦点制御機構などを有する。ここで、撮像部110は、後述の輝度算出部140からフィードバックされる輝度に応じて、絞り制御等を行う。なお、本発明においては、撮像部110内でのこれら制御機構のための構成及び方法は特に限定されるものではなく、従来提案されている種々の構成及び方法を適用してよい。
The
レンズ111は、被写体像(図示せぬ)を受光し、受光した撮像光を撮像素子112の撮像領域上に撮像画像として受光させる。なお、レンズ111は、取り外し/装着可能な交換レンズであってもよい。 The lens 111 receives a subject image (not shown), and receives the received imaging light as a captured image on the imaging area of the imaging element 112. The lens 111 may be an interchangeable lens that can be removed / attached.
撮像素子112は、撮像画像を光電変換する。撮像素子112としては、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)センサ等を用いることができる。撮像素子112は、光電変換後の撮像信号を補正部120に出力する。
The image sensor 112 photoelectrically converts the captured image. As the imaging device 112, a charge coupled device (CCD), a complementary metal-oxide semiconductor (CMOS) sensor, or the like can be used. The imaging element 112 outputs the imaging signal after photoelectric conversion to the
補正部120は、利得調整部121及び周辺光量落ち補正部122を有する。
The
利得調整部121は、輝度算出部140からフィードバックされる輝度に応じて、光電変換後の撮像信号のゲインを調整する。これにより、撮像領域の全体の露光が一括制御される。ゲインの調整方法については、後述する。利得調整部121は、ゲイン調整後の撮像信号を周辺光量落ち補正部122に出力する。
The
周辺光量落ち補正部122は、ゲイン調整後の撮像信号及び後述の有効画像領域検出部130から通知される有効画像領域の情報を入力とし、有効画像領域の情報に基づいて、ゲイン調整後の撮像信号の周辺光量落ちを補正する。周辺光量落ち補正の方法については、後述する。周辺光量落ち補正部122は、周辺光量落ち補正後の撮像信号を有効画像領域検出部130に出力する。
The peripheral light amount
有効画像領域検出部130は、撮像信号を入力とし、撮像領域のうち有効画像領域を検出する。具体的には、有効画像領域検出部130は、有効画像領域が円と仮定して、有効画像領域の円の中心座標及び半径を算出する。なお、有効画像領域の円の中心座標及び半径の算出方法については、後述する。有効画像領域検出部130は、算出した有効画像領域の円の中心座標及び半径の情報を、輝度算出部140及び周辺光量落ち補正部122に出力する。
The effective image
画像処理部150は、撮像信号に対し、記録解像度、フレームレート、画質の調整等の画像処理を含むその他の一般的なカメラ信号処理(γ補正、Knee補正、ホワイトバランス等)を行う。なお、画像処理部150を設けず、補正部120がこれら処理を行うようにしてもよい。
The
クロック供給部160は、撮像装置100の各部にクロックを供給したり、各部へのクロックの提供を停止したりして、各部を制御する。例えば、クロック供給部160が、撮像部110へのクロックの供給を停止することにより、撮像部110の撮像を停止させることができる。また、クロック供給部160が、撮像部110に低レートのクロックを供給することにより、撮像画像のフレームレート或いは解像度を下げることができる。
The
図7は、有効画像領域検出部130の内部構成の一例を示すブロック図である。
FIG. 7 is a block diagram illustrating an example of an internal configuration of the effective image
2値画像生成部131は、撮像信号を閾値処理により2値化して、2値画像を生成する。これにより、被写体像が受光された画素では「1」に、それ以外の画素では「0」に2値化された2次元情報(2値画像)のフレームが生成される。
The binary
ノイズ除去部132は、2値画像のノイズを除去する。ノイズ除去方法としては、例えば、メディアンフィルタを用いた膨張収縮処理により行う。
The
弦検出部133は、ノイズ除去後の2値画像から有効画像領域を形成する円の弦を検出する。円の弦の検出方法としては、例えば、有効画像領域に含まれる画素の撮像信号が「1」に2値化されることを利用した以下のような方法#1又は方法#2を用いることができる。
The
[円の弦の検出方法#1]
弦検出部133は、水平方向(画素方向)及び垂直方向(ライン方向)に、撮像素子112の撮像領域を順次走査する。そして、弦検出部133は、(1)撮像領域の上部、(2)撮像領域の下部、(3)撮像領域の左部、(4)撮像領域の右部において、所定画素数以上又は所定ライン数以上連続した「1」の弦を検出する。すなわち、弦検出部133は、撮像光を閾値処理により、被写体像が受光された画素と被写体像が受光されない画素とに2値化して得た2値画像のうち、連続して被写体像が受光された画素から構成される弦を検出する。
[Circle detection method # 1]
The
なお、図8A及び図8Bは、弦検出部133が、20画素及び20ライン以上連続した「1」の弦を検出した例である。図8Aは、弦の画素数及びライン数が20の例であり、図8Bは、弦の画素数が25、30であり、ライン数が20の例である。
8A and 8B are examples in which the
[円の弦の検出方法#2]
弦検出部133は、所定の画素列及び所定のラインにおける撮像素子112の画素を走査し、円の弦を検出する。そして、弦検出部133は、検出した弦のうち、「1」が連続する画素数又はライン数が所定の閾値以上の弦を、水平方向(画素方向)及び垂直方向(ライン方向)それぞれ少なくても2個抽出する。
[Circle detection method # 2]
The
このように、本実施の形態では、弦検出部133は、有効画像領域が円であると仮定して、所定の閾値以上の長さの円の弦であって、平行な弦の組み合わせを、少なくとも2組み検出し、検出時の以下の座標を保持する。
As described above, in the present embodiment, the
・該当弦の画素及びラインの座標
・該当弦において「1」が開始する画素及びラインの座標
・該当弦において「1」が連続する画素数及びライン数
-Pixel and line coordinates of the relevant string-Pixel and line coordinates where "1" starts in the relevant string-Number of pixels and lines where "1" continues in the relevant string
このようにして、弦検出部133は、撮像領域の水平方向(画素方向)及び垂直方向(ライン方向)のそれぞれに、所定画素数及び所定ライン数以上「1」が連続した弦を検出し、上記円の弦の座標の情報を保持する。
In this way, the
弦検出部133は、検出した円の弦の座標の情報を領域算出部134に出力する。
The
領域算出部134は、弦検出部133において検出された円の弦の情報を用いて、有効画像領域の円の中心座標及び半径を算出する。図9を用いて、円の中心座標及び半径の算出方法について説明する。
The area calculation unit 134 calculates the center coordinates and radius of the circle of the effective image area using the information on the string of the circle detected by the
図9は、弦検出部133において検出された4つの円の弦の座標を示した図である。図9に示すように、弦検出部133において、撮像領域の水平方向(画素方向)及び垂直方向(ライン方向)のそれぞれに、弦の座標がそれぞれ以下のように検出された例である。
FIG. 9 is a diagram showing the coordinates of the four circular chords detected by the
水平方向の弦:(x1,y1)、(x1+w1,y1)
水平方向の弦:(x2,y2)、(x2+w2,y2)
垂直方向の弦:(x3,y3)、(x3+h1,y3)
垂直方向の弦:(x4,y4)、(x4+h2,y4)
Horizontal strings: (x1, y1), (x1 + w1, y1)
Horizontal string: (x2, y2), (x2 + w2, y2)
Vertical strings: (x3, y3), (x3 + h1, y3)
Vertical strings: (x4, y4), (x4 + h2, y4)
領域算出部134は、上記座標、式(1−1)及び式(1−2)により、中心座標(x0,y0)を算出する。
さらに、領域算出部134は、式(2)を用いて、円の半径r0を算出する。具体的には、領域算出部134は、式(2)の(x,y)に、円の弦の上記8点の座標をそれぞれ代入して8個の半径rを算出し、8個の半径rの平均値を、有効画像領域の半径とする。
なお、走査において誤差が生じる可能性もあるため、領域算出部134は、複数フレームの平均をとり、円の中心座標及び半径の算出精度を上げるようにしてもよい。 Since there may be an error in scanning, the area calculation unit 134 may take an average of a plurality of frames to increase the calculation accuracy of the center coordinates and radius of the circle.
また、領域算出部134は、異なる2点の組み合わせから(x0,y0)を算出し、(x0,y0)のばらつきに応じて信頼性を判定し、ばらつきが大きい場合には平均演算には含めないという処理を行ってもよい。 Further, the area calculation unit 134 calculates (x0, y0) from a combination of two different points, determines the reliability according to the variation of (x0, y0), and includes the average calculation when the variation is large. You may perform the process of not having.
領域算出部134は、算出した有効画像領域の円の中心座標及び半径の情報を、有効画像領域の情報として、輝度算出部140及び周辺光量落ち補正部122に出力する。
The area calculation unit 134 outputs the calculated center coordinate and radius information of the circle of the effective image area to the
輝度算出部140は、有効画像領域検出部130において算出された有効画像領域の輝度を算出する。例えば、輝度算出部140は、有効画面領域を複数のブロックに分割し、ブロックの平均輝度を求め、フレームの平均輝度とする。輝度算出部140は、算出した輝度の情報を撮像部110に出力する。撮像部110では、輝度に応じた絞り制御及びシャッタ速度制御が行われる。また、輝度算出部140は、算出した輝度を利得調整部121に出力する。
The
利得調整部121は、輝度算出部140から通知される輝度に応じて、撮像素子112から出力される撮像信号のゲインを調整する。ここで、輝度算出部140から通知される輝度は、有効画像領域内の輝度であるため、当該輝度に応じて、撮像画像の全体のゲインを調整することにより、有効画像領域内の撮像信号の露光が良好に調整されるようになる。利得調整部121は、ゲイン調整後の撮像信号を周辺光量落ち補正部122に出力する。
The
周辺光量落ち補正部122は、ゲイン調整後の撮像信号及び有効画像領域の情報を入力とし、有効画像領域の情報に基づいて、ゲイン調整後の撮像信号の周辺光量落ちを補正する。具体的には、周辺光量落ち補正部122は、有効画像領域の円の中心座量及び半径に基づいて、内部に保持しているゲインアップ特性を補正する。図10を用いて、ゲインアップ特性の補正方法について説明する。
The peripheral light amount
図10において、実線(S11)は周辺光量落ち補正部122が内部に保持する基準のゲインアップ特性を示し、破線(S12)は補正後のゲインアップ特性を示している。なお、図10において、横軸は、基準となるレンズの中心部から入射されたからの撮像光が入射される画素領域からの距離rであり、縦軸は、ゲインを示している。
In FIG. 10, a solid line (S11) indicates a reference gain-up characteristic held by the peripheral light amount
周辺光量落ち補正部122は、例えば、有効画面領域の円の中心座標が(x0,y0)であり、半径がr0の場合、図10に示したゲインアップ特性S11の中心座標が(x0,y0)になるよう、ゲインアップ特性をシフトさせる。更に、周辺光量落ち補正部122は、中心(x0,y0)から半径r0の周辺領域でゲインがアップされるよう、ゲインアップ特性S11をゲインアップ特性S12のように補正する。
For example, when the center coordinate of the circle of the effective screen area is (x0, y0) and the radius is r0, the peripheral light amount
そして、周辺光量落ち補正部122は、補正後のゲインアップ特性S12を用いて、撮像信号の周辺のゲインを補正する。これにより、有効画像領域の中心が変動するような場合においても、周辺光量落ちを良好に補正することができるようになる。周辺光量落ち補正部122は、補正後の撮像信号を画像処理部150に出力する。
Then, the peripheral light amount
以上説明したように、本実施の形態によれば、有効画像領域検出部130は、撮像素子112の撮像領域にレンズ111により受光された撮像光が入射される有効画像領域を検出し、輝度算出部140は、有効画像領域の輝度を算出し、利得調整部121は、当該輝度に応じて、有効画像領域のゲインを調整する。これにより、撮像素子112の撮像領域にレンズ111により受光された撮像光が入射される有効画像領域が変動する場合においても、最適な露光制御を行うことができる。
As described above, according to the present embodiment, the effective image
また、有効画像領域検出部130において、2値画像生成部131は、撮像信号を閾値処理により2値化して、2値画像を生成し、弦検出部133は、連続して被写体像が受光された画素から構成される弦を検出する。このとき、弦検出部133は、有効画像領域である円の平行な弦の組み合わせを、少なくとも2組み検出する。そして、領域算出部134は、弦検出部133において検出された円の弦の情報を用いて、有効画像領域の円の中心座標及び半径を算出する。このようにして、有効画像領域検出部130は、被写体像が受光された画素と被写体像が受光されない画素とに2値化して得た2値画像に基づいて、有効画像領域を検出するため、比較的少ない演算量で、有効画像領域を検出することができる。
In the effective image
また、周辺光量落ち補正部122は、有効画像領域に基づいて、有効画像領域の周辺光量落ちを補正するので、撮像領域における有効画像領域の位置又は大きさが変動した場合においても、光量落ちしている周辺を最適に補正することができる。
Further, since the peripheral light amount
なお、電源切断(OFF)時にのみレンズ111を交換し、電源投入(ON)後はレンズ111を交換しない場合には、最初の数フレームの期間のみ有効画像領域検出部130を動作させるようにしてもよい。すなわち、クロック供給部160は、最初の数フレームの期間のみ有効画像領域検出部130にクロックを供給し、当該期間経過後にはクロックの供給を停止するようにしてもよい。これにより、省電力化を図ることができる。
When the lens 111 is exchanged only when the power is turned off (OFF) and is not exchanged after the power is turned on (ON), the effective image
また、電源投入後にレンズ111を交換するような場合には、レンズ交換動作を接点入力等により検知し、電源投入時及び接点入力時にのみ、有効画像領域検出部130を動作させるようにしてもよい。すなわち、電源投入時及び接点入力時にのみ、クロック供給部160がクロックを供給するようにしてもよい。これにより、レンズ111及び撮像素子112の個体差、或いは、撮像素子112のサイズ、レンズ111と撮像素子112との配置対応関係等により、撮像素子112の撮像領域に対し有効画像領域が変動する場合においても、有効画像領域を随時特定することができるので、良好な露光制御を行うことができる。
When the lens 111 is replaced after the power is turned on, the lens replacement operation may be detected by contact input or the like, and the effective image
なお、以上の説明では、周辺光量落ち補正部122が、利得調整部121の後段に設けられる場合について説明したが、周辺光量落ち補正部122が、利得調整部121の前段に設けられるようにしてもよい。この場合、周辺光量落ち補正部122は、光電変換後の撮像信号及び有効画像領域検出部130から通知される有効画像領域の情報を入力とし、有効画像領域の情報に基づいて、光電変換後の撮像信号の周辺光量落ちを補正する。そして、利得調整部121は、輝度算出部140からフィードバックされる輝度に応じて、周辺光量落ちを補正後の撮像信号のゲインを調整する。
In the above description, the peripheral light amount
また、以上の説明では、有効画像領域検出部130が、利得調整後及び周辺光量落ち補正後の撮像信号を入力とする場合について説明したが、これに限られない。すなわち、有効画像領域検出部130は、利得調整補正前及び周辺光量落ち補正前の撮像信号、利得調整補正前の撮像信号、又は、周辺光量落ち補正前の撮像信号を入力とし、これら撮像信号に基づいて、有効画像領域を検出するようにしてもよい。更には、有効画像領域検出部130が用いる撮像信号を、利得調整補正前及び周辺光量落ち補正前の撮像信号、利得調整補正前の撮像信号、又は、周辺光量落ち補正前の撮像信号のいずれかに切り替えるためのセレクタを設けるようにしてもよい。
In the above description, the case where the effective image
また、以上の説明では、輝度算出部140が、利得調整後及び周辺光量落ち補正後の撮像信号を入力とする場合について説明したが、これに限られない。すなわち、輝度算出部140は、利得調整補正前及び周辺光量落ち補正前の撮像信号、利得調整補正前の撮像信号、又は、周辺光量落ち補正前の撮像信号を入力とし、これら撮像信号に基づいて、有効画像領域の輝度を算出するようにしてもよい。更には、輝度算出部140が用いる撮像信号を、利得調整補正前及び周辺光量落ち補正前の撮像信号、利得調整補正前の撮像信号、又は、周辺光量落ち補正前の撮像信号のいずれかに切り替えるためのセレクタを設けるようにしてもよい。
In the above description, the
また、以上の説明では、補正部120が、利得調整部121及び周辺光量落ち補正部122を有する場合について説明したが、補正部120が、利得調整部121又は周辺光量落ち補正部122の一方のみを有していてもよい。そして、補正部120が、利得調整部121のみを有する場合には、有効画像領域検出部130及び輝度算出部140は、利得調整後の撮像信号を入力とすればよい。また、補正部120が、周辺光量落ち補正部122のみを有する場合には、有効画像領域検出部130及び輝度算出部140は、周辺光量落ち補正後の撮像信号を入力とすればよい。
In the above description, the
また、有効画像領域が円でない場合においても、例えば、弦検出部133が、水平方向(画素方向)及び垂直方向(ライン方向)に、撮像素子112の撮像領域を順次走査し、撮像信号が「1」に2値化された画素の集合を有効画像領域として検出するようにしてもよい。レンズの形状等により、有効画像領域の形状が円とならないような場合においても、最適な露光制御を行うことができる。
Even when the effective image area is not a circle, for example, the
本発明は、撮像素子の撮像領域にレンズにより受光された撮像光が入射される有効画像領域が変動する場合においても、最適な露光制御を行うことができ、例えば、レンズにより受光された被写体像が表示されない無効画像領域が現れる撮像装置等において有用である。 The present invention can perform optimum exposure control even when the effective image area where the imaging light received by the lens is incident on the imaging area of the imaging element changes, for example, the subject image received by the lens This is useful in an imaging apparatus or the like in which an invalid image area where no is displayed appears.
100 撮像装置
110 撮像部
111 レンズ
112 撮像素子
120 補正部
121 利得調整部
122 周辺光量落ち補正部
130 有効画像領域検出部
131 2値画像生成部
132 ノイズ除去部
133 弦検出部
134 領域算出部
140 輝度算出部
150 画像処理部
DESCRIPTION OF
Claims (6)
前記有効画像領域を検出する検出手段と、
検出した前記有効画像領域の輝度を算出する輝度算出手段と、
算出した前記輝度に応じて、前記有効画像領域のゲインを調整する利得調整手段と、
を具備する撮像装置。 An imaging apparatus having an effective image area in which imaging light received by a lens is incident and an invalid image area in which the imaging light is not incident are in an imaging area of an imaging element,
Detecting means for detecting the effective image area;
Luminance calculation means for calculating the luminance of the detected effective image area;
Gain adjusting means for adjusting the gain of the effective image area in accordance with the calculated luminance;
An imaging apparatus comprising:
請求項1に記載の撮像装置。 Correction means for correcting a peripheral light amount drop of the lens based on the effective image area;
The imaging device according to claim 1.
前記有効画像領域である円の平行な弦の組み合わせを、少なくとも2組み検出し、前記組み合わせに含まれる弦の座標に基づいて、前記有効画像領域の中心及び半径を算出する、
請求項1または請求項2に記載の撮像装置。 The detection means includes
Detecting at least two pairs of parallel chords of a circle which is the effective image area, and calculating a center and a radius of the effective image area based on coordinates of the chords included in the combination;
The imaging device according to claim 1 or 2.
前記撮像光を閾値処理により、被写体像が受光された画素と被写体像が受光されない画素とに2値化して得た2値画像に基づいて、前記有効画像領域の中心及び半径を算出する、
請求項3に記載の撮像装置。 The detection means includes
Calculating a center and a radius of the effective image area based on a binary image obtained by binarizing the imaging light into a pixel in which the subject image is received and a pixel in which the subject image is not received by threshold processing;
The imaging device according to claim 3.
請求項1ないし請求項4のいずれかに記載の撮像装置。 The lens is a wide-angle lens with a wide angle of view.
The imaging device according to any one of claims 1 to 4.
前記有効画像領域を検出する検出ステップと、
検出した前記有効画像領域の輝度を算出する輝度算出ステップと、
算出した前記輝度に応じて、前記有効画像領域のゲインを調整する利得調整ステップと、
を含む撮像方法。 Used in an imaging device having an effective image area in which imaging light received by a lens is incident and an invalid image area in which the imaging light is not incident, in an imaging area of the imaging element,
A detecting step for detecting the effective image area;
A luminance calculating step for calculating the luminance of the detected effective image area;
A gain adjustment step of adjusting the gain of the effective image area according to the calculated brightness;
An imaging method including:
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009269117A JP2011114581A (en) | 2009-11-26 | 2009-11-26 | Image capturing apparatus and method |
PCT/JP2010/006540 WO2011064949A1 (en) | 2009-11-26 | 2010-11-08 | Image pickup apparatus and exposure control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009269117A JP2011114581A (en) | 2009-11-26 | 2009-11-26 | Image capturing apparatus and method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011114581A true JP2011114581A (en) | 2011-06-09 |
Family
ID=44066064
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009269117A Pending JP2011114581A (en) | 2009-11-26 | 2009-11-26 | Image capturing apparatus and method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2011114581A (en) |
WO (1) | WO2011064949A1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013232738A (en) * | 2012-04-27 | 2013-11-14 | Dainippon Printing Co Ltd | Image processing device, image processing method, and image processing program |
JP2018004663A (en) * | 2016-06-27 | 2018-01-11 | 株式会社シグマ | Imaging apparatus |
JP2019028326A (en) * | 2017-08-01 | 2019-02-21 | 株式会社シグマ | Signal processing device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3862603B2 (en) * | 2002-05-14 | 2006-12-27 | キヤノン株式会社 | Parameter processing apparatus, parameter processing method, omnidirectional imaging apparatus, omnidirectional imaging apparatus control method, program, and storage medium |
JP4014612B2 (en) * | 2005-11-09 | 2007-11-28 | シャープ株式会社 | Peripheral light amount correction device, peripheral light amount correction method, electronic information device, control program, and readable recording medium |
JP2007300360A (en) * | 2006-04-28 | 2007-11-15 | Sony Corp | Shading correction circuit, shading correction method, and camera system |
JP2008160561A (en) * | 2006-12-25 | 2008-07-10 | Auto Network Gijutsu Kenkyusho:Kk | Imaging system and imaging apparatus |
-
2009
- 2009-11-26 JP JP2009269117A patent/JP2011114581A/en active Pending
-
2010
- 2010-11-08 WO PCT/JP2010/006540 patent/WO2011064949A1/en active Application Filing
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013232738A (en) * | 2012-04-27 | 2013-11-14 | Dainippon Printing Co Ltd | Image processing device, image processing method, and image processing program |
JP2018004663A (en) * | 2016-06-27 | 2018-01-11 | 株式会社シグマ | Imaging apparatus |
JP2019028326A (en) * | 2017-08-01 | 2019-02-21 | 株式会社シグマ | Signal processing device |
Also Published As
Publication number | Publication date |
---|---|
WO2011064949A1 (en) | 2011-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5459717B2 (en) | Method for generating a focus signal in an autofocus image system | |
US8462234B2 (en) | Image pickup apparatus and dark current correction method therefor | |
JP6351231B2 (en) | IMAGING DEVICE, IMAGING SYSTEM, IMAGING DEVICE CONTROL METHOD, PROGRAM, AND STORAGE MEDIUM | |
JP2009069577A (en) | Imaging apparatus | |
CN103139492B (en) | Camera head, image capture method and the system of supervision | |
JP5572700B2 (en) | Imaging apparatus and imaging method | |
JP2009219096A (en) | Image processing device, imaging device, correction coefficient calculating method, and image processing program | |
JP2003304548A5 (en) | ||
JP2008072565A (en) | Imaging device and defective pixel correction method | |
WO2011064949A1 (en) | Image pickup apparatus and exposure control method | |
JP2006238060A (en) | Image processor and digital camera provided with the same | |
JP4523629B2 (en) | Imaging device | |
JP4940661B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
US7450167B2 (en) | Method for improving image quality | |
JP5387341B2 (en) | Imaging device | |
JP2009055442A (en) | Image correcting device | |
JP2017098790A (en) | Imaging apparatus, control method of the same, program, and storage medium | |
JP2010056817A (en) | Imaging apparatus | |
JP6659163B2 (en) | Flash band determination device, control method thereof, and program | |
JP2010273147A (en) | Imaging signal specific state detector, imaging apparatus, detection method for imaging signal specific state, program and integrated circuit | |
JP5022802B2 (en) | Imaging apparatus and control method thereof | |
JP2009047735A (en) | Imaging apparatus and image processing program | |
JP2006157344A (en) | Imaging apparatus | |
JP2003179809A (en) | Camera and signal processing method thereof | |
JP2011193276A (en) | Imaging device, method for controlling the same, and program |