JP2016111568A - Image blur correction control device, imaging apparatus, control method and program thereof - Google Patents
Image blur correction control device, imaging apparatus, control method and program thereof Download PDFInfo
- Publication number
- JP2016111568A JP2016111568A JP2014248417A JP2014248417A JP2016111568A JP 2016111568 A JP2016111568 A JP 2016111568A JP 2014248417 A JP2014248417 A JP 2014248417A JP 2014248417 A JP2014248417 A JP 2014248417A JP 2016111568 A JP2016111568 A JP 2016111568A
- Authority
- JP
- Japan
- Prior art keywords
- image
- sensitivity
- motion vector
- exposure
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Abstract
Description
本発明は、像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラムに関し、特に動きベクトル検出技術に関する。 The present invention relates to an image blur correction control device, an imaging device, a control method thereof, and a program, and more particularly to a motion vector detection technique.
従来、撮像装置等の手ぶれ検出等を目的として、撮影された映像のフレーム間の動きベクトルを検出する技術が知られている。また、動きベクトルの検出にフレーム間の相関を利用する場合、高フレームレートで撮影された画像を用いることで相関を求める際の探索範囲が小さくなり、より安定した動きベクトルの検出が可能になることが知られている。 2. Description of the Related Art Conventionally, a technique for detecting a motion vector between frames of a captured video for the purpose of detecting camera shake of an imaging device or the like is known. Also, when using correlation between frames for motion vector detection, the search range for obtaining correlation is reduced by using an image shot at a high frame rate, and more stable motion vector detection is possible. It is known.
特許文献１は、撮像素子から高フレームレートで読み出した画像を用いて動きベクトルを検出し、低フレームレートで読み出した画像を用いて視聴や記録用の画像を生成することで、動きベクトル検出と記録等に用いる画像の生成の両立を図る技術を提案している。 Patent Document 1 detects motion vectors using an image read out from an image sensor at a high frame rate, and generates an image for viewing or recording using an image read out at a low frame rate. A technique for achieving both generation of images used for recording and the like has been proposed.
上述した従来技術では、撮像素子の電荷を読み出す際に蓄積された電荷を残したままで読み出す方法（即ち非破壊）で高フレームレートの画像を生成してベクトル検出を行う。このような高フレームレートで読み出した画像は露光量が少ない場合もあるため、動きベクトルの検出を行う場合に低輝度部の黒潰れや低コントラストの影響を受け易く、正確なベクトル検出ができない場合がある。他方、フレームレートを低下させて読み出した画像を用いて動きベクトルの検出を行う場合、高輝度部の飽和の影響を受け易く、同様に正確なベクトル検出ができない場合がある。 In the above-described prior art, a vector detection is performed by generating an image with a high frame rate by a method of reading the charge of the image sensor while reading the accumulated charge (that is, nondestructive). Since the image read out at such a high frame rate may have a small exposure amount, when detecting a motion vector, it is likely to be affected by blackout or low contrast in a low-brightness area, and accurate vector detection cannot be performed. There is. On the other hand, when a motion vector is detected using an image read out at a reduced frame rate, it is likely to be affected by the saturation of the high luminance part, and similarly, accurate vector detection may not be possible.
本発明は、上述の従来技術の問題点に鑑みてなされたものである。即ち、低輝度部の黒潰れの影響や高輝度部の飽和の影響を低減して正確な動きベクトルを検出することが可能な像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラムを提供することを目的とする。 The present invention has been made in view of the above-mentioned problems of the prior art. In other words, an image blur correction control device, an imaging device, a control method thereof, and a program capable of detecting an accurate motion vector by reducing the influence of black crushing in a low luminance portion and saturation of a high luminance portion are provided. The purpose is to do.
この課題を解決するため、例えば本発明の像ぶれ補正制御装置は以下の構成を備える。すなわち、異なる露出で撮影された複数の第１の画像と、第１の画像とは異なるタイミングにおいて異なる露出で撮影された複数の第２の画像とを取得する取得手段と、第１の画像と第２の画像のうち同一の露出で撮影された画像の組を用いて、それぞれの露出の画像の組の、画像内の所定の領域ごとの動きベクトルを検出するベクトル検出手段と、ベクトル検出手段により検出される動きベクトルに対する検出結果の信頼度に基づいて、露出が異なる画像の組のそれぞれから検出された動きベクトルについて、像ぶれ補正に用いるか否かをそれぞれの露出の画像内の所定の領域ごとに判定する判定手段と、を有することを特徴とする。 In order to solve this problem, for example, an image blur correction control apparatus of the present invention has the following configuration. That is, an acquisition unit that acquires a plurality of first images shot at different exposures and a plurality of second images shot at different exposures at different timings of the first images, Vector detection means for detecting a motion vector for each predetermined area in an image set of images of each exposure using a set of images taken at the same exposure in the second image, and vector detection means Based on the reliability of the detection result with respect to the motion vector detected by the above, whether or not the motion vector detected from each of the sets of images with different exposures is used for image blur correction is determined according to a predetermined value in each exposure image. Determining means for determining each area.
本発明によれば、低輝度部の黒潰れの影響や高輝度部の飽和の影響を低減して正確な動きベクトルを検出することが可能になる。 According to the present invention, it is possible to detect an accurate motion vector by reducing the influence of black crushing in a low luminance part and the influence of saturation in a high luminance part.
（実施形態１）
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下では像ぶれ補正制御装置を含む撮像装置の一例として、画像を撮像して動きベクトルを検出し、手ぶれを補正することが可能な任意のデジタルカメラに本発明を適用した例を説明する。しかし、本発明は、撮像手段を備えず、取得した画像から動きベクトルを検出して手ぶれ補正を行うことが可能な交換レンズにも適用可能である。
(Embodiment 1)
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the drawings. In the following, an example in which the present invention is applied to an arbitrary digital camera capable of correcting an image by capturing an image and detecting a motion vector as an example of an imaging apparatus including an image blur correction control apparatus will be described. . However, the present invention is also applicable to an interchangeable lens that does not include an imaging unit and can detect a motion vector from an acquired image and perform camera shake correction.
（デジタルカメラ１００の構成）
図１（ａ）は、本実施形態の像ぶれ補正制御装置を含む撮像装置の一例としてデジタルカメラ１００の機能構成例を示すブロック図である。なお、図１（ａ）および（ｂ）に示す機能ブロックの１つ以上は、ＡＳＩＣやプログラマブルロジックアレイ（ＰＬＡ）などのハードウェアによって実現されてもよい。また、ＣＰＵやＭＰＵ等のプログラマブルプロセッサがソフトウェアを実行することによって実現されてもよく、ソフトウェアとハードウェアの組み合わせによって実現されてもよい。従って、以下の説明において、異なる機能ブロックが動作主体として記載されている場合であっても、同じハードウェアが主体として実現されうる。
(Configuration of digital camera 100)
FIG. 1A is a block diagram illustrating a functional configuration example of a digital camera 100 as an example of an imaging apparatus including the image blur correction control apparatus according to the present embodiment. Note that one or more of the functional blocks shown in FIGS. 1A and 1B may be realized by hardware such as an ASIC or a programmable logic array (PLA). Further, a programmable processor such as a CPU or MPU may be realized by executing software, or may be realized by a combination of software and hardware. Therefore, in the following description, even when different functional blocks are described as the operation subject, the same hardware can be realized as the subject.
光学系１０１は、ズームレンズやフォーカスレンズから構成されるレンズ群であり、レンズ駆動装置や絞り調整装置、シャッター装置を含む。光学系１０１は、制御部１０９からの指示に応じて絞り制御やシャッター制御を行うほか、グローバルベクトル算出部１０６からの指示に応じて像ぶれ補正のためのレンズ駆動制御を行う。 The optical system 101 is a lens group including a zoom lens and a focus lens, and includes a lens driving device, an aperture adjustment device, and a shutter device. The optical system 101 performs aperture control and shutter control according to an instruction from the control unit 109, and performs lens drive control for image blur correction according to an instruction from the global vector calculation unit 106.
撮像素子１０２は、光電変換素子を有する画素が複数、２次元的に配列された構成を有する。撮像素子１０２は、光学系１０１により結像された被写体光学像を各画素で光電変換し、さらにＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号を出力する。撮像素子１０２は、ＣＣＤ（Charge-Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子であってよい。図３を参照して後述するように、撮像素子１０２は、所定の単位（例えば２ライン単位）で感度特性が異なる画素を有する。撮像素子１０２は、高感度用のラインに配置された高感度な画素で受光して生成される画像（高感度画像）と、低感度用のラインに配置された低感度な画素で受光して生成される画像（低感度画像）とを出力する。高感度画像および低感度画像は、メモリ部１０４およびベクトル検出部１０５の両方に出力される。 The imaging element 102 has a configuration in which a plurality of pixels each having a photoelectric conversion element are two-dimensionally arranged. The image sensor 102 photoelectrically converts the subject optical image formed by the optical system 101 at each pixel, and further performs analog / digital conversion by an A / D conversion circuit to output a digital signal in units of pixels. The image sensor 102 may be an image sensor such as a CCD (Charge-Coupled Device) image sensor or a CMOS (Complementary Metal Oxide Semiconductor) image sensor. As will be described later with reference to FIG. 3, the image sensor 102 includes pixels having different sensitivity characteristics in a predetermined unit (for example, in units of two lines). The image sensor 102 receives an image (high sensitivity image) generated by receiving light with a high sensitivity pixel arranged in a high sensitivity line and a low sensitivity pixel arranged in a low sensitivity line. The generated image (low sensitivity image) is output. The high sensitivity image and the low sensitivity image are output to both the memory unit 104 and the vector detection unit 105.
カメラ信号処理部１０３は、撮像素子１０２からメモリ部１０４を介して高感度画像および低感度画像を取得して、それぞれの画像に対する画素補間処理を行う。そして、補間処理を施したそれぞれの画像を用いてＨＤＲ（ＨｉｇｈＤｙｎａｍｉｃＲｅｎｇｅ）合成によりダイナミックレンジの広い画像（ＨＤＲ合成画像）を生成し、表示部１０７や記録部１０８に出力する。また、不図示の操作部に対してユーザから動画撮影の指示があった場合、カメラ信号処理部１０３は、所定のフレームレートでＨＤＲ合成を行って動画像を生成し、この動画像を表示部１０７や記録部１０８に出力する。 The camera signal processing unit 103 acquires a high-sensitivity image and a low-sensitivity image from the image sensor 102 via the memory unit 104, and performs pixel interpolation processing on each image. Then, an image having a wide dynamic range (HDR synthesized image) is generated by HDR (High Dynamic Range) synthesis using each image subjected to the interpolation processing, and is output to the display unit 107 and the recording unit 108. In addition, when a user gives an instruction to shoot a moving image to an operation unit (not shown), the camera signal processing unit 103 generates a moving image by performing HDR synthesis at a predetermined frame rate, and displays the moving image on the display unit. 107 and the recording unit 108.
メモリ部１０４は、揮発性の半導体メモリを含み、撮像素子１０２から出力された高感度画像および低感度画像を格納する。格納された低感度画像と高感度画像は、タイミングを異ならせた（例えば１フレーム前の）参照用の画像としてベクトル検出部１０５に用いられるほか、上述したようにカメラ信号処理部１０３によってＨＤＲ合成に用いられる。 The memory unit 104 includes a volatile semiconductor memory, and stores a high-sensitivity image and a low-sensitivity image output from the image sensor 102. The stored low-sensitivity image and high-sensitivity image are used in the vector detection unit 105 as reference images with different timings (for example, one frame before), and as described above, the camera signal processing unit 103 performs HDR synthesis. Used for.
ベクトル検出部１０５は、像ぶれ補正制御装置として機能し、メモリ部１０４および撮像素子１０２から低感度画像および高感度画像を取得して、後述する本発明に係る動きベクトル検出処理を行う。ベクトル検出部１０５は、１フレーム前の画像をメモリ部１０４から、現在のフレームの画像を撮像素子１０２からそれぞれ取得する。また、ベクトル検出部１０５は、検出した動きベクトルの情報をグローバルベクトル算出部１０６へ出力する。 The vector detection unit 105 functions as an image blur correction control device, acquires a low-sensitivity image and a high-sensitivity image from the memory unit 104 and the image sensor 102, and performs a motion vector detection process according to the present invention described later. The vector detection unit 105 acquires an image of the previous frame from the memory unit 104 and an image of the current frame from the image sensor 102. Further, the vector detection unit 105 outputs information of the detected motion vector to the global vector calculation unit 106.
グローバルベクトル算出部１０６は、ベクトル検出部１０５から出力された動きベクトルの情報に基づいて、動きベクトルのヒストグラムを生成してサブピクセル推定を行い、デジタルカメラの相対的な動きを示すグローバルモーションを算出する。また、グローバルベクトル算出部１０６は、算出したフレーム間のグローバルモーションに基づいて像ぶれ補正のための制御量を算出し、当該制御量に基づいて光学系１０１のレンズ駆動制御を行う。本実施形態では、ベクトル検出部１０５とグローバルベクトル算出部１０６とを合わせて像ぶれ補正制御装置を構成する。 The global vector calculation unit 106 generates a motion vector histogram based on the motion vector information output from the vector detection unit 105 and performs sub-pixel estimation to calculate global motion indicating the relative motion of the digital camera. To do. Further, the global vector calculation unit 106 calculates a control amount for image blur correction based on the calculated global motion between frames, and performs lens drive control of the optical system 101 based on the control amount. In the present embodiment, the vector detection unit 105 and the global vector calculation unit 106 together constitute an image blur correction control device.
表示部１０７は、ＬＣＤ等の表示装置を含み、デジタルカメラ１００の動作モードが動画撮影モードである場合、カメラ信号処理部１０３から出力される動画像を表示して、ライブビュー表示を実現する。また、表示部１０７はタッチパネルを含み、操作を行うためのユーザインターフェースを表示する。 The display unit 107 includes a display device such as an LCD. When the operation mode of the digital camera 100 is the moving image shooting mode, the display unit 107 displays a moving image output from the camera signal processing unit 103 to realize live view display. The display unit 107 includes a touch panel and displays a user interface for performing an operation.
記録部１０８は、ＥＥＰＲＯＭ等の不揮発性の半導体メモリやハードディスクを含む記録媒体であり、カメラ信号処理部１０３から出力された動画像や画像を格納する。 The recording unit 108 is a recording medium including a nonvolatile semiconductor memory such as an EEPROM and a hard disk, and stores a moving image and an image output from the camera signal processing unit 103.
制御部１０９は、例えばＣＰＵあるいはＭＰＵを含み、不図示のＲＯＭに格納されたプログラムを不図示のＲＡＭの作業エリアに展開し、実行することにより、デジタルカメラ１００全体を制御する。なお、制御部１０９は、制御量を含む指示（コマンド）を不図示の制御線に送信してデジタルカメラ１００を構成する各部を制御する。 The control unit 109 includes, for example, a CPU or MPU, and controls the entire digital camera 100 by developing and executing a program stored in a ROM (not shown) in a work area of a RAM (not shown). The control unit 109 transmits an instruction (command) including a control amount to a control line (not shown) to control each unit configuring the digital camera 100.
（撮像素子１０２の構成と出力画像）
次に、本実施形態に係る撮像素子１０２の機能構成例および、撮像素子１０２から出力される画像例について、図３ないし図５を参照して説明する。
(Configuration of image sensor 102 and output image)
Next, a functional configuration example of the image sensor 102 according to the present embodiment and an image example output from the image sensor 102 will be described with reference to FIGS. 3 to 5.
撮像素子１０２は、図３に示すように、感度の異なる画素が所定の間隔（例えば２ライン）を単位として交互に配置された構成を有する。高感度ライン３０５は高感度の画素が配置された画素ラインの領域であり、低感度ライン３０６は低感度の画素が配置された画素ラインの領域である。 As shown in FIG. 3, the image sensor 102 has a configuration in which pixels having different sensitivities are alternately arranged with a predetermined interval (for example, two lines) as a unit. The high sensitivity line 305 is a pixel line area in which high sensitivity pixels are arranged, and the low sensitivity line 306 is a pixel line area in which low sensitivity pixels are arranged.
本実施形態では、撮像素子１０２を構成する各画素はベイヤ配列を形成するように配置され、それぞれの画素にＲＧＢのいずれかのカラーフィルタが割り当てられる。例えば画素３０１はＲ（赤）、画素３０４はＢ（青）、画素３０２および３０３はＧ（緑）のカラーフィルタを有する。 In the present embodiment, each pixel constituting the image sensor 102 is arranged so as to form a Bayer array, and one of RGB color filters is assigned to each pixel. For example, the pixel 301 has a color filter of R (red), the pixel 304 has a color filter of B (blue), and the pixels 302 and 303 have a color filter of G (green).
撮像素子１０２は、高感度ライン３０５および低感度ライン３０６の画素から出力される信号をそれぞれ用いることにより、感度の異なる画像を生成することができる。感度特性の異なる画素ラインは、ＦＤ（フローティングディフュージョン）の容量を例えば２ライン単位で可変にすることで実現され、ＦＤ容量の小さいラインは高感度ラインとなり、ＦＤ容量の大きいラインは低感度ラインとなる。 The image sensor 102 can generate images with different sensitivities by using signals output from the pixels of the high sensitivity line 305 and the low sensitivity line 306, respectively. Pixel lines with different sensitivity characteristics are realized by changing the FD (floating diffusion) capacity, for example, in units of two lines. A line with a small FD capacity becomes a high sensitivity line, and a line with a large FD capacity is a low sensitivity line. Become.
さらに、撮像素子１０２が備える画素の感度特性について図４を参照して説明する。図４の横軸は画素が受光する光量（Ｑ）、縦軸は画素の出力（Ｖ）を表しており、感度特性４０１は高感度な画素（高感度画素）の感度特性を、感度特性４０２は低感度な画素（低感度画素）の感度特性をそれぞれ示している。 Further, sensitivity characteristics of pixels included in the image sensor 102 will be described with reference to FIG. The horizontal axis in FIG. 4 represents the amount of light (Q) received by the pixel, and the vertical axis represents the output (V) of the pixel. The sensitivity characteristic 401 represents the sensitivity characteristic of a highly sensitive pixel (high sensitivity pixel), and the sensitivity characteristic 402. Indicates the sensitivity characteristics of low-sensitivity pixels (low-sensitivity pixels).
感度特性４０１は、同一の光量が入射した場合、感度特性４０２と比較してノイズ４０３の割合が小さいため、相対的にＳＮ比が良い。しかし、感度特性４０２よりも少ない光量で飽和する。従って、この特性を有する高感度画素の出力は、入射光量が少なく低輝度となる場合に黒潰れが少ないため、低輝度な画像領域において有効な動きベクトル検出を行うことができる。一方、入射光量が多く高輝度となる場合、当該出力は飽和が多くなるため、高輝度な画像領域において有効な動きベクトル検出を行うことができない。 The sensitivity characteristic 401 has a relatively high S / N ratio because the ratio of the noise 403 is smaller than the sensitivity characteristic 402 when the same amount of light is incident. However, it saturates with less light than the sensitivity characteristic 402. Therefore, since the output of the high-sensitivity pixel having this characteristic has less black crushing when the amount of incident light is small and the luminance is low, effective motion vector detection can be performed in a low-luminance image region. On the other hand, when the amount of incident light is large and the luminance is high, the output is saturated, so that effective motion vector detection cannot be performed in a high luminance image region.
感度特性４０２は、同一の光量が入射した場合、感度特性４０１と比較してノイズ４０３の割合が高いため、相対的にＳＮ比が低下するが、相対的に飽和し難い特性を持つ。従って、この特性を有する低感度画素からの出力は、高感度画素の出力とは逆に、入射光量が少なく低輝度となる場合に黒潰れが多くなるため、低輝度な画像領域において有効な動きベクトル検出を行うことができない。一方、入射光量が多く高輝度となる場合には飽和が少なくなるから、高輝度な画像領域において有効な動きベクトル検出を行うことができる。 The sensitivity characteristic 402 has a characteristic that the ratio of the noise 403 is higher than that of the sensitivity characteristic 401 when the same amount of light is incident, so that the SN ratio is relatively lowered, but is relatively difficult to be saturated. Therefore, the output from the low-sensitivity pixel having this characteristic, contrary to the output of the high-sensitivity pixel, causes black crushing when the amount of incident light is low and the luminance is low. Vector detection cannot be performed. On the other hand, when the amount of incident light is large and the luminance is high, the saturation is reduced. Therefore, effective motion vector detection can be performed in a high luminance image region.
高感度画素および低感度画素からの出力に基づいて生成される画像は、例えば図５に示すような画像になる。まず図５（ａ）は、撮影対象の一例としての被写体５０１を示している。この被写体５０１を撮像素子１０２により撮像した際に、上述した高感度画素および低感度画素から出力される信号を模式的に表しているのが図５（ｂ）の画像５０２である。画像５０２における明暗は、図３に示した高感度ライン３０５に配置された画素の出力および低感度ライン３０６に配置された画素の出力に対応している。本実施形態では、例えば、画像５０２は水平４０００画素、垂直３０００ラインとなる。 An image generated based on the output from the high sensitivity pixel and the low sensitivity pixel is, for example, an image as shown in FIG. First, FIG. 5A shows a subject 501 as an example of a photographing target. An image 502 in FIG. 5B schematically shows signals output from the above-described high-sensitivity pixel and low-sensitivity pixel when the subject 501 is imaged by the image sensor 102. The contrast in the image 502 corresponds to the output of the pixels arranged on the high sensitivity line 305 and the output of the pixels arranged on the low sensitivity line 306 shown in FIG. In the present embodiment, for example, the image 502 has horizontal 4000 pixels and vertical 3000 lines.
図５（ｃ）に示す低感度画像５０３および図５（ｄ）に示す高感度画像５０４は、それぞれ画像５０２の低感度画素および高感度画素の出力からなる画像であり、画像のサイズは各々水平４０００画素、垂直１５００ラインとなる。 The low-sensitivity image 503 shown in FIG. 5C and the high-sensitivity image 504 shown in FIG. 5D are images each composed of the output of the low-sensitivity pixel and the high-sensitivity pixel of the image 502, and the image sizes are horizontal. It becomes 4000 pixels and 1500 vertical lines.
撮像素子１０２が低感度画像５０３および高感度画像５０４を出力すると、ベクトル検出部１０５はこれらの画像に基づいて動きベクトル検出処理を行う。一方、カメラ信号処理部１０３は、メモリ部１０４を介して画像を入力すると、欠落しているラインを各々補間して画像５０２と同様のサイズの低感度画像および高感度画像を生成し、これらに対してＨＤＲ合成処理を施す。このようにして、表示部１０７および記録部１０８にはダイナミックレンジが広く画素数に対応したサイズの画像が提供される。 When the image sensor 102 outputs the low-sensitivity image 503 and the high-sensitivity image 504, the vector detection unit 105 performs a motion vector detection process based on these images. On the other hand, when the camera signal processing unit 103 inputs an image via the memory unit 104, the camera signal processing unit 103 interpolates each missing line to generate a low-sensitivity image and a high-sensitivity image having the same size as the image 502. The HDR synthesis process is performed on this. In this manner, the display unit 107 and the recording unit 108 are provided with images having a wide dynamic range and a size corresponding to the number of pixels.
（動きベクトル検出処理の概要）
さらに、図６を参照して、本発明に本発明に係る動きベクトル検出処理の概要について説明する。図６（ａ）に示す画像（高感度原画像６０１）は、撮像素子１０２から直接ベクトル検出部１０５に入力される高感度画像である。この高感度画像は、動画像における現在のフレームの画像（原画像）として使用される。Ａ０〜Ａ２７は、高感度原画像６０１の所定の領域に配置された、動きベクトル検出を行うための所定の大きさの画像領域（ブロック）である。
(Outline of motion vector detection process)
Furthermore, the outline of the motion vector detection processing according to the present invention will be described with reference to FIG. An image (high-sensitivity original image 601) illustrated in FIG. 6A is a high-sensitivity image directly input from the image sensor 102 to the vector detection unit 105. This high-sensitivity image is used as an image (original image) of the current frame in the moving image. A0 to A27 are image areas (blocks) having a predetermined size for performing motion vector detection, which are arranged in a predetermined area of the high-sensitivity original image 601.
図６（ｂ）に示す画像（高感度参照画像６０２）は、メモリ部１０４からベクトル検出部１０５に入力される高感度画像である。この高感度画像は、上述した高感度原画像６０１に対して１フレーム前の画像（参照画像）として使用される。Ｂ０〜Ｂ２７は、高感度原画像６０１のブロックＡ０〜Ａ２７が動きベクトル検出を行う際の探索領域（サーチエリア）である。 An image (high-sensitivity reference image 602) illustrated in FIG. 6B is a high-sensitivity image input from the memory unit 104 to the vector detection unit 105. This high-sensitivity image is used as an image (reference image) one frame before the high-sensitivity original image 601 described above. B0 to B27 are search areas (search areas) when the blocks A0 to A27 of the high-sensitivity original image 601 perform motion vector detection.
同様に、図６（ｃ）に示す画像は低感度の原画像（低感度原画像６０３）であり、ブロックＣ０〜Ｃ２７を有する。また、図６（ｄ）に示す画像は低感度の参照画像（低感度参照画像６０４）であり、サーチエリアＤ０〜Ｄ２７は、ブロックＣ０〜Ｃ２７が動きベクトル検出を行う際のサーチエリアである。 Similarly, the image shown in FIG. 6C is a low-sensitivity original image (low-sensitivity original image 603), and includes blocks C0 to C27. The image shown in FIG. 6D is a low-sensitivity reference image (low-sensitivity reference image 604), and search areas D0 to D27 are search areas when the blocks C0 to C27 perform motion vector detection.
ベクトル検出部１０５は、制御部１０９の指示により設定されたサーチエリアの配置に基づいて、高感度および低感度それぞれの２枚のフレーム間における動きベクトルを検出する。本実施形態における動きベクトルの検出方法は、公知のテンプレートマッチング方式を用いることができる。 The vector detection unit 105 detects a motion vector between two frames of high sensitivity and low sensitivity based on the arrangement of search areas set by an instruction from the control unit 109. A known template matching method can be used as the motion vector detection method in the present embodiment.
ベクトル検出部１０５は、高感度原画像６０１における所定の位置にブロックＡ０〜Ａ２７を配置して、高感度参照画像６０２のサーチエリアＢ０〜Ｂ２７との相関値を算出する。同様に、低感度原画像６０３における所定の位置にブロックＣ０〜Ｃ２７を配置して、低感度参照画像６０４のサーチエリアＤ０〜Ｄ２７との相関値を算出する。このとき、例えばブロックＡ０〜Ａ２７とブロックＢ０〜Ｂ２７とは同一座標に配置され、サーチエリアＢ０〜Ｂ２７とサーチエリアＤ０〜Ｄ２７とは同一座標に配置される。 The vector detection unit 105 arranges blocks A0 to A27 at predetermined positions in the high sensitivity original image 601, and calculates a correlation value with the search areas B0 to B27 of the high sensitivity reference image 602. Similarly, blocks C0 to C27 are arranged at predetermined positions in the low sensitivity original image 603, and correlation values with the search areas D0 to D27 of the low sensitivity reference image 604 are calculated. At this time, for example, the blocks A0 to A27 and the blocks B0 to B27 are arranged at the same coordinates, and the search areas B0 to B27 and the search areas D0 to D27 are arranged at the same coordinates.
本実施形態において、ベクトル検出部１０５は、式（１）に示す、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、ＳＡＤ）を算出する。 In the present embodiment, the vector detection unit 105 calculates a sum of absolute differences (SAD) as an example of a correlation value calculation method shown in Expression (1).
式（１）において、ｆ（ｉ，ｊ）はブロックＡ０〜Ａ２７内、または、ブロックＣ０〜Ｃ２７内の座標（ｉ，ｊ）における画素値を表す。またｇ（ｉ，ｊ）はサーチエリアＢ０〜Ｂ２７またはサーチエリアＤ０〜Ｄ２７の範囲における、相関値算出の対象となる領域内の各画素値を表す。 In Expression (1), f (i, j) represents a pixel value at coordinates (i, j) in blocks A0 to A27 or in blocks C0 to C27. Further, g (i, j) represents each pixel value in a region for which a correlation value is to be calculated in the search areas B0 to B27 or the search areas D0 to D27.
ベクトル検出部１０５は、各画素値ｆ（ｉ，ｊ）およびｇ（ｉ，ｊ）について差分絶対値和を算出することで相関値Ｓ＿ＳＡＤを得る。即ち、相関値Ｓ＿ＳＡＤの値が小さいほど両ブロック間の輝度値の差分が小さい、つまりブロックと相関値算出領域内のテクスチャが類似していることを表す。ベクトル検出部１０５は、（ｉ，ｊ）をブロック内で移動させて、所定の座標位置について相関値の算出を繰り返し、ブロックと最も類似する相関値算出領域への相対位置を動きベクトルとして検出する。 The vector detection unit 105 obtains a correlation value S_SAD by calculating a sum of absolute differences for each pixel value f (i, j) and g (i, j). That is, the smaller the correlation value S_SAD, the smaller the difference in luminance value between the two blocks, that is, the block and the texture in the correlation value calculation area are similar. The vector detection unit 105 moves (i, j) within the block, repeats the calculation of the correlation value for a predetermined coordinate position, and detects the relative position to the correlation value calculation region most similar to the block as a motion vector. .
なお、相関値の算出はＳＡＤに限らず、領域内の相関値を算出できる方法であれば差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の方法を用いてもよい。 The calculation of the correlation value is not limited to SAD, and other methods such as sum of squared differences (SSD) and normalized cross-correlation (NCC) may be used as long as the correlation value in the region can be calculated.
ベクトル検出部１０５が各ブロックＡ０〜Ａ２７（およびＣ０〜Ｃ２７）におけるそれぞれの動きベクトルの検出を完了すると、検出結果をグローバルベクトル算出部１０６に出力する。グローバルベクトル算出部１０６は、各ブロックに対して検出された動きベクトルを用いてカメラの動きを示すグローバルモーションを算出する。 When the vector detection unit 105 completes the detection of each motion vector in each of the blocks A0 to A27 (and C0 to C27), the detection result is output to the global vector calculation unit 106. The global vector calculation unit 106 calculates a global motion indicating the motion of the camera using the motion vector detected for each block.
（ベクトル検出部１０５の構成）
次に、動きベクトル検出処理を行うベクトル検出部１０５の機能構成例について、図１（ｂ）を参照して説明する。
(Configuration of Vector Detection Unit 105)
Next, a functional configuration example of the vector detection unit 105 that performs motion vector detection processing will be described with reference to FIG.
画像取得部１１６は、撮像素子１０２から高感度原画像および低感度原画像を取得するとともに、メモリ部１０４から高感度参照画像および低感度参照画像を取得する。画像取得部１１６は、これに接続された各ブロックに対して対応する画像を出力する。 The image acquisition unit 116 acquires a high-sensitivity original image and a low-sensitivity original image from the image sensor 102 and acquires a high-sensitivity reference image and a low-sensitivity reference image from the memory unit 104. The image acquisition unit 116 outputs a corresponding image for each block connected thereto.
ブロックベクトル検出部１１１は、高感度原画像６０１から各ブロック（高感度ブロックともいう）と、高感度参照画像６０２から対応するサーチエリア（高感度サーチエリアともいう）とを順次読み出して、ブロックごとに動きベクトルを検出する。 The block vector detection unit 111 sequentially reads out each block (also referred to as a high sensitivity block) from the high sensitivity original image 601 and a corresponding search area (also referred to as a high sensitivity search area) from the high sensitivity reference image 602, for each block. A motion vector is detected.
ブロックベクトル検出部１１２は、ブロックベクトル検出部１１１と異なり、低感度画像のブロックに対する動きベクトルを検出する。即ち、低感度原画像６０３から各ブロック（Ｃ０〜Ｃ２７、低感度ブロックともいう）と、対応する低感度参照画像６０４のサーチエリア（Ｄ０〜Ｄ２７、低感度サーチエリアともいう）とを順次読み出して、動きベクトルの検出を行う。ブロックベクトル検出部１１１およびブロックベクトル検出部１１２は、検出した動きベクトルの情報（ベクトル検出結果ともいう）をブロックベクトル判定部１１５に出力する。 Unlike the block vector detection unit 111, the block vector detection unit 112 detects a motion vector for a block of a low-sensitivity image. That is, each block (C0 to C27, also referred to as a low sensitivity block) and a corresponding low sensitivity reference image 604 search area (D0 to D27, also referred to as a low sensitivity search area) are sequentially read from the low sensitivity original image 603. The motion vector is detected. The block vector detection unit 111 and the block vector detection unit 112 output detected motion vector information (also referred to as a vector detection result) to the block vector determination unit 115.
上述したように動きベクトルの検出は、画像内の所定の領域の相関値を最小にするような動きベクトルを求めるため、黒潰れや飽和によって均一な画素値が分布する場合は検出結果に誤りが生じる可能性が高くなる。このため、低感度画像と高感度画像のそれぞれにおいて動きベクトルを検出することで、低感度画像を用いた場合に黒潰れの影響などにより適切に動きベクトルを検出できない低輝度部については、高感度画像を用いて動きベクトルを適切に検出できる。反対に、高感度画像を用いた場合に飽和の影響などにより適切に動きベクトルを検出できない高輝度部については、低感度画像を用いて動きベクトルを適切に検出することができる。つまり、低感度画像を用いる場合と高感度画像を用いる場合とが補間し合い、黒潰れや飽和の影響を低減した動きベクトルの検出が可能になる。 As described above, the detection of the motion vector is to obtain a motion vector that minimizes the correlation value of a predetermined area in the image. Therefore, when uniform pixel values are distributed due to black crushing or saturation, an error is detected in the detection result. Is more likely to occur. For this reason, by detecting the motion vector in each of the low-sensitivity image and the high-sensitivity image, the low-sensitivity part that cannot properly detect the motion vector due to the influence of black crushing when using the low-sensitivity image is highly sensitive. A motion vector can be appropriately detected using an image. On the contrary, when a high-sensitivity image is used, a motion vector can be appropriately detected using a low-sensitivity image for a high-luminance part where a motion vector cannot be appropriately detected due to the influence of saturation or the like. That is, the case where a low-sensitivity image is used and the case where a high-sensitivity image is used are interpolated to enable detection of a motion vector in which the influence of blackout or saturation is reduced.
ブロック信頼度算出部１１３は、高感度原画像６０１から高感度ブロックＡ０〜Ａ２７のそれぞれを順次読み出して、各ブロックの信頼度を算出する。即ち、ブロック信頼度算出部１１３は、これらの検出結果に誤りが生じる可能性の高い黒潰れ等の事象の発生度合を判定して、信頼度（即ち、そのブロックに対する検出結果の信頼性を表す指標）を算出する。ブロック信頼度算出部１１４も同様に、低感度原画像６０３から低感度ブロックＣ０〜Ｃ２７のそれぞれを順次読み出して当該ブロックの信頼度を算出する。以下の具体的な説明においては、ブロック信頼度算出部１１３についてのみ説明するが、ブロック信頼度算出部１１４については、処理対象となるブロックを低感度ブロックと適宜読み替えればよい。 The block reliability calculation unit 113 sequentially reads each of the high sensitivity blocks A0 to A27 from the high sensitivity original image 601, and calculates the reliability of each block. That is, the block reliability calculation unit 113 determines the degree of occurrence of an event such as black crush that is likely to cause an error in these detection results, and represents the reliability (that is, the reliability of the detection result for the block). Index). Similarly, the block reliability calculation unit 114 sequentially reads the low sensitivity blocks C0 to C27 from the low sensitivity original image 603 and calculates the reliability of the block. In the following specific description, only the block reliability calculation unit 113 will be described, but for the block reliability calculation unit 114, a block to be processed may be appropriately read as a low sensitivity block.
本実施形態において、ブロック信頼度算出部１１３は、検出結果に誤りが生じる可能性の高い事象の判定として、黒潰れおよび白飛びに加えて、低コントラストと繰り返し模様の場合について判定を行う。輝度差の少ない画素が分布する低コントラストの場合や同一または類似の画素値が所定の間隔で出現するテクスチャを有する場合についても動きベクトルの検出において検出結果に誤りが生じる可能性が高いためである。低コントラストや繰り返し模様は、高輝度部および低輝度部の双方において動きベクトルの検出が適切に行えない場合が多い。このため、本実施形態では、低コントラストや繰り返し模様の存在を信頼度に加味することで、高輝度部および低輝度部の双方におけるこれらの影響をより低減する。 In the present embodiment, the block reliability calculation unit 113 determines the case of low contrast and a repetitive pattern in addition to black crushing and whiteout as a determination of an event that is likely to cause an error in the detection result. This is because there is a high possibility that an error will occur in the detection result in motion vector detection even in the case of low contrast in which pixels with small luminance difference are distributed or in the case of having a texture in which the same or similar pixel values appear at a predetermined interval. . In many cases, the low contrast and the repetitive pattern cannot appropriately detect the motion vector in both the high luminance part and the low luminance part. For this reason, in the present embodiment, the influence of both the high luminance part and the low luminance part is further reduced by taking into account the existence of the low contrast and the repeated pattern in the reliability.
ブロック信頼度算出部１１３は、各判定においてそれぞれの度合を算出し、算出結果に基づいて各ブロックに対する信頼度を算出する。各ブロックに対する信頼度は、例えば、以下のような計算式により求められる。
信頼度＝１００−ＭＡＸ（低コントラスト度×α、繰り返し度×β、黒潰れ度×γ、白飛び度×ζ）
α、β、γおよびζは、それぞれ低コントラスト判定、繰り返し判定、黒潰れ判定および白飛び判定の重み付けを行うための重み付け係数である。ブロック信頼度算出部１１３は、制御部１０９の指示に応じてα、β、γおよびζを設定する。
The block reliability calculation unit 113 calculates the respective degrees in each determination, and calculates the reliability for each block based on the calculation result. For example, the reliability for each block is obtained by the following calculation formula.
Reliability = 100−MAX (low contrast × α, repeatability × β, black crushing × γ, white skip × ζ)
α, β, γ, and ζ are weighting coefficients for weighting the low contrast determination, the repetition determination, the blackout determination, and the whiteout determination, respectively. The block reliability calculation unit 113 sets α, β, γ, and ζ according to an instruction from the control unit 109.
低コントラスト判定は、ブロック信頼度算出部１１３が各高感度ブロックを読み込んで、例えば、輝度値の取り得る最大範囲に対する、当該ブロック内の輝度値の最大値と最小値の差分の比率を算出する。算出した比率は、低コントラストであるほど１００に近づくように１〜１００の出力値に適宜変換して出力する。 In the low contrast determination, the block reliability calculation unit 113 reads each high-sensitivity block and calculates, for example, the ratio of the difference between the maximum value and the minimum value of the luminance value in the block with respect to the maximum range that the luminance value can take. . The calculated ratio is appropriately converted to an output value of 1 to 100 and output so as to approach 100 as the contrast is lower.
繰り返し判定は、ブロック信頼度算出部１１３が各高感度ブロックを読み込んで、例えばヒストグラム等の公知のテクスチャ特徴量を算出し、動きベクトルの検出精度が下がる予め定めた特徴量との類似度が高いほど１００に近づくようして出力する。 In the repeated determination, the block reliability calculation unit 113 reads each high-sensitivity block, calculates a known texture feature amount such as a histogram, for example, and has a high similarity to a predetermined feature amount that reduces the motion vector detection accuracy. The output is as close to 100 as possible.
黒潰れ判定は、ブロック信頼度算出部１１３が、各高感度ブロックを読み出して、例えば輝度値の取りうる最小値である画素値の個数を算出し、算出した個数が多いほど黒潰れの度合いが１００に近づくようして出力する。 In the black crushing determination, the block reliability calculation unit 113 reads out each high-sensitivity block, calculates the number of pixel values that are the minimum values that the luminance value can take, for example, and the degree of black crushing increases as the calculated number increases. The output is made close to 100.
白飛び判定は、ブロック信頼度算出部１１３が各高感度ブロックを読み出して、例えば輝度値の取りうる最大値である画素値の個数を算出し、算出した個数が多いほど白飛びの度合いが１００に近づくようにして出力する。 In the whiteout determination, the block reliability calculation unit 113 reads out each high-sensitivity block and calculates the number of pixel values that are the maximum values that the luminance value can take, for example. Output as close to.
このように各判定処理を行ったうえで式（１）を算出することによって、例えば、高感度原画像６０１の各ブロックＡ０〜Ａ２７について図１０（ａ）に示すような信頼度が算出される。同様にして、低感度原画像６０３の各ブロックＣ０〜Ｃ２７について、図１０（ｂ）に示すような信頼度が算出される。 By calculating Equation (1) after performing each determination process in this way, for example, the reliability as shown in FIG. 10A is calculated for each of the blocks A0 to A27 of the high-sensitivity original image 601. . Similarly, the reliability as shown in FIG. 10B is calculated for each of the blocks C0 to C27 of the low-sensitivity original image 603.
ブロックベクトル判定部１１５は、ブロック信頼度算出部１１３およびブロック信頼度算出部１１４から取得した各ブロックに対する信頼度により、ブロックベクトル検出部１１１およびブロックベクトル検出部１１２のベクトル検出結果に対する判定を行う。そして判定の結果に基づいて、当該ベクトル検出結果を用いるか否かの選択を行う。ブロックベクトル判定部１１５は、予め定められた低感度ブロックおよび高感度ブロックに対する信頼度の閾値を用いて、以下のように信頼度の判定を行ってベクトル検出結果の選択を行う。 The block vector determination unit 115 determines the vector detection results of the block vector detection unit 111 and the block vector detection unit 112 based on the reliability of each block acquired from the block reliability calculation unit 113 and the block reliability calculation unit 114. Based on the result of the determination, whether or not to use the vector detection result is selected. The block vector determination unit 115 performs reliability determination as follows using a predetermined reliability threshold for the low-sensitivity block and the high-sensitivity block, and selects a vector detection result.
ブロックベクトル判定部１１５は、
高感度ブロックの信頼度 ≦ 閾値１
低感度ブロックの信頼度 ＞ 閾値２
である場合、低感度ブロックにおける動きベクトルのみを使用するため、ブロックベクトル検出部１１２で検出されたベクトル検出結果を選択して、グローバルベクトル算出部１０６へ出力する。
The block vector determination unit 115
High-sensitivity block reliability ≤ threshold 1
Low-sensitivity block reliability> Threshold 2
In this case, since only the motion vector in the low sensitivity block is used, the vector detection result detected by the block vector detection unit 112 is selected and output to the global vector calculation unit 106.
ブロックベクトル判定部１１５は、
高感度ブロックの信頼度 ＞ 閾値１
低感度ブロックの信頼度 ≦ 閾値２
である場合、高感度ブロックにおける動きベクトルのみを使用するため、ブロックベクトル検出部１１１で検出されたベクトル検出結果を選択して、グローバルベクトル算出部１０６へ出力する。
The block vector determination unit 115
High-sensitivity block reliability> threshold 1
Low-sensitivity block reliability ≤ threshold 2
In this case, since only the motion vector in the high sensitivity block is used, the vector detection result detected by the block vector detection unit 111 is selected and output to the global vector calculation unit 106.
ブロックベクトル判定部１１５は、
高感度ブロックの信頼度 ≦ 閾値１
低感度ブロックの信頼度 ≦ 閾値２
である場合、いずれのブロックにおける動きベクトルも使用不可であるとして、ブロックベクトル検出部１１１およびブロックベクトル検出部１１２のいずれのベクトル検出結果もグローバルベクトル算出部１０６へ出力しない。
The block vector determination unit 115
High-sensitivity block reliability ≤ threshold 1
Low-sensitivity block reliability ≤ threshold 2
In this case, it is determined that the motion vector in any block is unusable, and neither vector detection result of the block vector detection unit 111 or the block vector detection unit 112 is output to the global vector calculation unit 106.
ブロックベクトル判定部１１５は、
高感度ブロックの信頼度 ＞ 閾値１
低感度ブロックの信頼度 ＞ 閾値２
である場合、いずれのブロックにおける動きベクトルも使用可能であると判定する。この場合、ブロックベクトル検出部１１１で検出されたベクトル検出結果とブロックベクトル検出部１１２で検出されたベクトル検出結果とを重み付け演算してグローバルベクトル算出部１０６へ出力する。
The block vector determination unit 115
High-sensitivity block reliability> threshold 1
Low-sensitivity block reliability> Threshold 2
If it is, it is determined that the motion vector in any block can be used. In this case, the vector detection result detected by the block vector detection unit 111 and the vector detection result detected by the block vector detection unit 112 are weighted and output to the global vector calculation unit 106.
さらに、図１０を参照してブロックベクトル判定部１１５の処理の具体例について説明する。なお、ブロックベクトル判定部１１５は、制御部１０９からの指示に基づいて各閾値を、例えば閾値１を６５、閾値２を７５に設定しているものとする。 Furthermore, a specific example of the processing of the block vector determination unit 115 will be described with reference to FIG. Note that the block vector determination unit 115 sets each threshold, for example, 65 for the threshold 1 and 75 for the threshold 2 based on an instruction from the control unit 109.
図１０（ａ）は高感度ブロックに対する判定結果や信頼度を、図１０（ｂ）には低感度ブロックに対する判定結果や信頼度を示している。例えば、ブロックＡ０とブロックＣ０や、ブロックＡ１２とブロックＣ１２の組では、高感度ブロックの信頼度が閾値を上回る一方、低感度ブロックの信頼度は閾値を下回っている。このため、ブロックベクトル判定部１１５は、ブロックベクトル検出部１１１で検出された高感度ブロックのベクトル検出結果をグローバルベクトル算出部１０６へ出力する。 FIG. 10A shows the determination result and reliability for the high sensitivity block, and FIG. 10B shows the determination result and reliability for the low sensitivity block. For example, in the group of the block A0 and the block C0 or the block A12 and the block C12, the reliability of the high sensitivity block exceeds the threshold value, while the reliability of the low sensitivity block is below the threshold value. Therefore, the block vector determination unit 115 outputs the vector detection result of the high-sensitivity block detected by the block vector detection unit 111 to the global vector calculation unit 106.
また、ブロックＡ２７とブロックＣ２７の組では、高感度ブロックの信頼度が閾値を下回る一方、低感度ブロックの信頼度は閾値を上回っている。このため、ブロックベクトル判定部１１５は、ブロックベクトル検出部１１２で検出された低感度ブロックのベクトル検出結果をグローバルベクトル算出部１０６へ出力する。 In the group of block A27 and block C27, the reliability of the high sensitivity block is lower than the threshold value, while the reliability of the low sensitivity block is higher than the threshold value. For this reason, the block vector determination unit 115 outputs the vector detection result of the low sensitivity block detected by the block vector detection unit 112 to the global vector calculation unit 106.
さらに、ブロックＡ１とブロックＣ１、ブロックＡ１１とブロックＣ１１の組では、いずれのブロックの信頼度も閾値を下回っている。このため、ブロックベクトル判定部１１５は、ブロックベクトル検出部１１１およびブロックベクトル検出部１１２で検出されたいずれのベクトル検出結果もグローバルベクトル算出部１０６に出力しない。 Further, in the set of the block A1 and the block C1, and the block A11 and the block C11, the reliability of any block is lower than the threshold value. For this reason, the block vector determination unit 115 does not output any of the vector detection results detected by the block vector detection unit 111 and the block vector detection unit 112 to the global vector calculation unit 106.
最後に、ブロックＡ２６とブロックＣ２６の組では、いずれのブロックの信頼度も閾値を上回っている。このため、ブロックベクトル判定部１１５は、ブロックベクトル検出部１１１およびブロックベクトル検出部１１２で検出されたベクトル検出結果を重み付け演算してグローバルベクトル算出部１０６に出力する。 Finally, in the set of block A26 and block C26, the reliability of any block exceeds the threshold value. Therefore, the block vector determination unit 115 performs a weighted calculation on the vector detection results detected by the block vector detection unit 111 and the block vector detection unit 112 and outputs the result to the global vector calculation unit 106.
（動きベクトル検出処理に係る一連の動作）
次に、図２を参照して、本実施形態に係る動きベクトル検出処理に係る一連の動作を説明する。なお、本処理は、不図示の操作部に対する動画撮影の指示により動画撮影が開始され、任意の１フレーム分の低感度画像と高感度画像が撮像素子１０２から出力される時点から開始される。
(A series of operations related to motion vector detection processing)
Next, a series of operations related to the motion vector detection process according to the present embodiment will be described with reference to FIG. Note that this processing is started from the time when moving image shooting is started by an instruction for moving image shooting to an operation unit (not shown), and a low-sensitivity image and a high-sensitivity image for an arbitrary frame are output from the image sensor 102.
Ｓ１００１において画像取得部１１６は、撮像素子１０２から高感度および低感度の原画像を取得するとともに、メモリ部１０４から高感度および低感度の参照画像を取得する。 In step S <b> 1001, the image acquisition unit 116 acquires high-sensitivity and low-sensitivity original images from the image sensor 102 and acquires high-sensitivity and low-sensitivity reference images from the memory unit 104.
Ｓ１００２においてブロックベクトル検出部１１２は、低感度原画像６０３内の特定のブロックに対する動きベクトルを検出する。より具体的には、低感度原画像６０３内の第ｉ番目のブロックと低感度参照画像６０４内の対応するテンプレートエリアの画素値を読み出して上述した相関計算を行い、動きベクトルを検出する。 In S1002, the block vector detection unit 112 detects a motion vector for a specific block in the low-sensitivity original image 603. More specifically, the pixel value of the i-th block in the low-sensitivity original image 603 and the corresponding template area in the low-sensitivity reference image 604 is read out, and the correlation calculation described above is performed to detect a motion vector.
Ｓ１００３においてブロック信頼度算出部１１４は、低感度原画像６０３内の特定のブロックに対する信頼度を算出する。低感度原画像６０３内の第ｉ番目のブロックの画素値を読み出して上述した信頼度を算出する。 In S1003, the block reliability calculation unit 114 calculates the reliability for a specific block in the low-sensitivity original image 603. The pixel value of the i-th block in the low-sensitivity original image 603 is read to calculate the reliability described above.
Ｓ１００４においてブロックベクトル検出部１１１は、高感度原画像６０１内の特定のブロックに対する動きベクトルを検出する。高感度原画像６０１内の第ｉ番目のブロックと高感度参照画像６０２内の対応するテンプレートエリアの画素値を読み出して上述した相関計算を行い、動きベクトルを検出する。 In S1004, the block vector detection unit 111 detects a motion vector for a specific block in the high-sensitivity original image 601. Pixel values of the i-th block in the high-sensitivity original image 601 and the corresponding template area in the high-sensitivity reference image 602 are read out, and the correlation calculation described above is performed to detect a motion vector.
Ｓ１００５においてブロック信頼度算出部１１３は、高感度原画像６０１内の所定のブロックに対する信頼度を算出する。高感度原画像６０１内の第ｉ番目のブロックの画素値を読み出して上述した信頼度を算出する。 In S1005, the block reliability calculation unit 113 calculates the reliability for a predetermined block in the high-sensitivity original image 601. The pixel value of the i-th block in the high-sensitivity original image 601 is read to calculate the reliability described above.
Ｓ１００６においてブロックベクトル判定部１１５は、処理対象のブロックに対する信頼度の判定を行う。より具体的には、ブロック信頼度算出部１１３およびブロック信頼度算出部１１４による信頼度の算出結果に基づいて、上述した信頼度の判定を行う。ブロックベクトル判定部１１５は、低感度画像のみ信頼度が低い場合はＳ１００７に処理を進め、高感度画像のみ信頼度が低い場合はＳ１００８に処理を進める。また、低感度画像と高感度画像のいずれも信頼度が低い場合はＳ１００９に処理を進め、低感度画像と高感度画像のいずれも信頼度が高い場合はＳ１０１０に処理を進める。 In step S1006, the block vector determination unit 115 determines the reliability of the block to be processed. More specifically, the above-described reliability determination is performed based on the reliability calculation results by the block reliability calculation unit 113 and the block reliability calculation unit 114. The block vector determination unit 115 proceeds to S1007 when the reliability is low only for the low-sensitivity image, and proceeds to S1008 when the reliability is low only for the high-sensitivity image. If both the low-sensitivity image and the high-sensitivity image have low reliability, the process proceeds to S1009. If both the low-sensitivity image and the high-sensitivity image have high reliability, the process proceeds to S1010.
Ｓ１００７においてブロックベクトル判定部１１５は、低感度画像のみ信頼度が低いため、高感度画像から検出されたベクトル検出結果をグローバルベクトル算出部１０６へ出力する。同様に、Ｓ１００８においてブロックベクトル判定部１１５は、高感度画像のみが信頼度が低いため、低感度画像から検出されたベクトル検出結果をグローバルベクトル算出部１０６へ出力する。 In S1007, the block vector determination unit 115 outputs the vector detection result detected from the high-sensitivity image to the global vector calculation unit 106 because only the low-sensitivity image has low reliability. Similarly, in S1008, the block vector determination unit 115 outputs the vector detection result detected from the low sensitivity image to the global vector calculation unit 106 because only the high sensitivity image has low reliability.
Ｓ１００９においてブロックベクトル判定部１１５は、いずれの画像も信頼度が低いため、当該ブロックのベクトル検出結果はグローバルベクトル算出部１０６へ出力せずに処理を進める。 In step S <b> 1009, the block vector determination unit 115 proceeds with the process without outputting the vector detection result of the block to the global vector calculation unit 106 because all the images have low reliability.
Ｓ１０１０においてブロックベクトル判定部１１５は、高感度画像と低感度画像のいずれの信頼度も高いため、それぞれの画像から検出されたベクトル検出結果の重み付け演算を行って、グローバルベクトル算出部１０６へ出力する。 In step S <b> 1010, the block vector determination unit 115 performs a weighting operation on the vector detection result detected from each image because the reliability of both the high-sensitivity image and the low-sensitivity image is high, and outputs the result to the global vector calculation unit 106. .
Ｓ１０１１においてベクトル検出部１０５は、１画面における全てのブロック（Ａ０〜Ａ２７、Ｃ０〜Ｃ２７）のベクトル検出が終了したか判定し、全てのベクトル検出が完了した場合には処理をＳ１０１２に進める。全てのベクトル検出が完了していない場合、次のブロック（例えば第ｉ＋１番目）に対する処理を行うためにＳ１００２およびＳ１００３に処理を戻す。 In S1011, the vector detection unit 105 determines whether vector detection of all blocks (A0 to A27, C0 to C27) in one screen has been completed, and if all vector detection is completed, the process proceeds to S1012. If all the vector detections are not completed, the process returns to S1002 and S1003 to perform the process for the next block (for example, the i + 1th block).
Ｓ１０１２においてグローバルベクトル算出部１０６は、ベクトル検出部１０５から出力された動きベクトルを用いて画像内のグローバルモーションを算出する。 In step S <b> 1012, the global vector calculation unit 106 calculates global motion in the image using the motion vector output from the vector detection unit 105.
Ｓ１０１３においてグローバルベクトル算出部１０６は、算出したグローバルモーションに基づいて、光学系１０１のレンズ駆動制御を行って、本処理に係る一連の動作を終了する。 In step S <b> 1013, the global vector calculation unit 106 performs lens driving control of the optical system 101 based on the calculated global motion, and ends a series of operations related to this processing.
以上説明したように本実施形態では、低感度の画素で取得された２つの低感度画像と、高感度の画素で取得された２つの高感度画像のそれぞれで動きベクトルを検出するようにした。また、高感度画像で検出した動きベクトルと低感度画像で検出した動きベクトルを、動きベクトルの検出結果の信頼性に応じて判定するようにした。このようにすることで、低輝度部については高感度画像を用いて検出した信頼度の高いベクトル検出結果を活用し、高輝度部については低感度画像を用いて検出した信頼度の高いベクトル検出結果を活用することができる。換言すれば、低感度画像を用いた場合に黒潰れの影響などにより適切に動きベクトルを検出できない低輝度部については、高感度画像を用いて動きベクトルを適切に検出できる。反対に、高感度画像を用いた場合に飽和の影響などにより適切に動きベクトルを検出できない高輝度部については、低感度画像を用いて動きベクトルを適切に検出することができる。従って、高感度画像と低感度画像による動きベクトルを相補的に用いることによって適切な動きベクトルの検出を実現することができる。 As described above, in this embodiment, a motion vector is detected in each of two low-sensitivity images acquired with low-sensitivity pixels and two high-sensitivity images acquired with high-sensitivity pixels. Further, the motion vector detected in the high-sensitivity image and the motion vector detected in the low-sensitivity image are determined according to the reliability of the motion vector detection result. This makes it possible to use highly reliable vector detection results detected using high-sensitivity images for low-luminance parts, and highly reliable vector detection detected using low-sensitivity images for high-luminance parts. The result can be utilized. In other words, a motion vector can be appropriately detected using a high-sensitivity image for a low-luminance part that cannot properly detect a motion vector due to the influence of black crushing when a low-sensitivity image is used. On the contrary, when a high-sensitivity image is used, a motion vector can be appropriately detected using a low-sensitivity image for a high-luminance part where a motion vector cannot be appropriately detected due to the influence of saturation or the like. Therefore, it is possible to realize appropriate motion vector detection by using the motion vectors of the high-sensitivity image and the low-sensitivity image in a complementary manner.
また、信頼度の算出において、低輝度部の黒潰れや高輝度部の飽和の影響を考慮するほか、低コントラストや繰り返し模様の影響を判定するようにした。このようにすることで高輝度部および低輝度部の双方における低コントラストや繰り返し模様の影響を低減して、より正確な動きベクトルを検出することができる。 In addition, in the calculation of reliability, in addition to taking into account the effects of black crushing in low luminance areas and saturation in high luminance areas, the influence of low contrast and repetitive patterns is determined. By doing so, it is possible to reduce the influence of low contrast and repetitive patterns in both the high luminance part and the low luminance part, and to detect a more accurate motion vector.
なお、本実施形態では高感度画素と低感度画素がそれぞれ水平方向に隣接して配置され、かつ直行する方向（垂直方向）に交互に配置される場合を例に説明したが、画素の配置はこの例に限定されない。高感度画素および低感度画素が垂直方向に隣接して配置され、かつ水平方向に交互に配置されるようにしても同様の効果が得られる。 In this embodiment, the case where the high-sensitivity pixels and the low-sensitivity pixels are arranged adjacent to each other in the horizontal direction and alternately arranged in the orthogonal direction (vertical direction) has been described as an example. It is not limited to this example. The same effect can be obtained even when the high-sensitivity pixels and the low-sensitivity pixels are arranged adjacent to each other in the vertical direction and alternately arranged in the horizontal direction.
また、本実施形態では高感度画素と低感度画素を、垂直方向に２画素を単位として交互に配置しているが、例えばイメージセンサを３層に積層してＲＧＢを分別する構成などベイヤ配列を構成する必要がない場合には１画素を単位として交互に配置してもよい。反対に、２画素以上の画素を単位として交互に配置しても本発明に係る動きベクトル検出処理を実現できる。 In this embodiment, the high-sensitivity pixels and the low-sensitivity pixels are alternately arranged in units of two pixels in the vertical direction. For example, a Bayer array such as a configuration in which image sensors are stacked in three layers to separate RGB is used. When it is not necessary to configure, one pixel may be alternately arranged as a unit. On the contrary, the motion vector detection process according to the present invention can be realized by alternately arranging two or more pixels as a unit.
さらに、本実施形態では、感度の異なる画素を配置した撮像素子を用いることにより、例えば動画像の１つのフレームの時間内に露出の異なる２つの画像を取得して、動きベクトルを検出する例を説明した。しかし、本発明に係る動きベクトルの検出方法は、１つのフレームに対して露出の異なる２つの画像を同時に取得する場合に限られない。例えば、高いフレームレートで露出の異なる画像を交互に撮影する場合にも適用可能である。即ち、連続する２つのフレームで露出を異ならせた画像において、動きの差異が無いとみなせる程度にフレームレートが高い場合は、交互に撮影した各画像を高感度原画像および低感度原画像として本発明を適用できる。この場合は、連続する２つのフレームで撮影される時間を本発明における１フレームの時間として、露出の異なる２つの画像を取得したものとして本発明を適用してもよい。 Furthermore, in the present embodiment, an example of detecting a motion vector by acquiring two images with different exposures within the time of one frame of a moving image, for example, by using an image sensor in which pixels with different sensitivities are arranged. explained. However, the motion vector detection method according to the present invention is not limited to the case of simultaneously acquiring two images with different exposures for one frame. For example, the present invention can also be applied when alternately capturing images with different exposures at a high frame rate. In other words, if the frame rate is high enough that it can be considered that there is no difference in motion in images with different exposures in two consecutive frames, the alternately captured images are recorded as high-sensitivity original images and low-sensitivity original images. The invention can be applied. In this case, the present invention may be applied on the assumption that two images with different exposures are acquired with the time taken in two consecutive frames as the time of one frame in the present invention.
また、本実施形態では、各ブロックベクトル検出部がベクトル検出結果を出力しているが、ブロックベクトル判定部１１５が信頼度を判定した後に、ブロックベクトル検出部が検出処理を行っても良い。このようにすれば、信頼度の高い画像においてのみベクトル検出処理を実行することができ、処理の効率化を図ることができる。 In this embodiment, each block vector detection unit outputs a vector detection result. However, after the block vector determination unit 115 determines the reliability, the block vector detection unit may perform a detection process. In this way, the vector detection process can be executed only for an image with high reliability, and the process can be made more efficient.
（実施形態２）
次に実施形態２について説明する。実施形態２では、高感度および低感度ブロックのいずれも信頼度が高い場合、当該高感度および低感度ブロックに組み合わせて画素数の増加したブロックおよびサーチエリアを生成する感度均一化処理を行って動きベクトルの検出を行う。このため、本実施形態のベクトル検出部７０１は、感度均一化処理を行って動きベクトルの検出を行う構成を有する点で実施形態１と異なるが、その他の構成は同一である。このため、同一の構成については同一の符号を付して重複する説明は省略し、相違点について重点的に説明する。
(Embodiment 2)
Next, Embodiment 2 will be described. In the second embodiment, when both the high sensitivity and low sensitivity blocks have high reliability, the motion is performed by performing sensitivity equalization processing for generating blocks and search areas with an increased number of pixels in combination with the high sensitivity and low sensitivity blocks. Perform vector detection. For this reason, the vector detection unit 701 of the present embodiment is different from the first embodiment in that it has a configuration that performs sensitivity equalization processing to detect a motion vector, but the other configurations are the same. For this reason, the same reference numerals are assigned to the same components, and redundant descriptions are omitted, and differences will be mainly described.
（デジタルカメラ７００の構成）
図７（ａ）は、実施形態２に係るデジタルカメラ７００の機能構成例を示している。
(Configuration of digital camera 700)
FIG. 7A illustrates a functional configuration example of the digital camera 700 according to the second embodiment.
ベクトル検出部７０１は、実施形態１に係るベクトル検出部１０５の構成に加えて、低感度画像と高感度画像の感度を均一化した画像を生成して動きベクトルを検出する構成を備えるベクトル検出部である。撮像素子１０２から低感度原画像および高感度原画像を、メモリ部１０４から低感度参照画像および高感度参照画像をそれぞれ取得して、検出した動きベクトルをグローバルベクトル算出部１０６に出力する点については共通である。 In addition to the configuration of the vector detection unit 105 according to the first embodiment, the vector detection unit 701 includes a configuration that generates an image in which the sensitivity of a low-sensitivity image and a high-sensitivity image is uniformed and detects a motion vector. It is. Regarding acquisition of a low-sensitivity original image and a high-sensitivity original image from the image sensor 102 and a low-sensitivity reference image and a high-sensitivity reference image from the memory unit 104, respectively, and outputting the detected motion vector to the global vector calculation unit 106 It is common.
（ベクトル検出部７０１の構成）
次に、ベクトル検出部７０１の構成について、図７（ｂ）を参照して説明する。
(Configuration of Vector Detection Unit 701)
Next, the configuration of the vector detection unit 701 will be described with reference to FIG.
ブロック感度均一部７１６は、高感度原画像から高感度ブロックと、低感度画像から対応する低感度ブロックとを順次読み出して、感度を均一化した新たな画像領域を生成する。感度均一化を行った各ブロック領域の画像領域をブロックベクトル検出部７１８に出力する。 The block sensitivity uniform unit 716 sequentially reads out the high sensitivity block from the high sensitivity original image and the corresponding low sensitivity block from the low sensitivity image, and generates a new image area with uniform sensitivity. The image area of each block area that has been subjected to uniform sensitivity is output to the block vector detection unit 718.
ブロック感度均一部７１６における感度均一化処理では、まず高感度画素の出力と低感度画素の出力を、それぞれ同一の感度を有する仮想的な画素の出力となるように画素値の補正処理を行う。そして、補正した各画素の出力を、図３に示した撮像素子１０２の画素配置に配置して、画素数の増加させた画像領域を再構成する。図９の例では、高感度のブロックＡ２６と低感度のブロックＣ２６は、同一の感度の画素出力に補正され、ブロックＡ２６とブロックＣ２６が交互に配置された２倍のライン数を有する画像領域（ブロック９０１）が再構成されている。 In the sensitivity equalization processing in the block sensitivity uniformization unit 716, first, pixel value correction processing is performed so that the output of the high sensitivity pixel and the output of the low sensitivity pixel become the output of a virtual pixel having the same sensitivity. Then, the corrected output of each pixel is arranged in the pixel arrangement of the image sensor 102 shown in FIG. 3 to reconstruct an image area with an increased number of pixels. In the example of FIG. 9, the high-sensitivity block A26 and the low-sensitivity block C26 are corrected to the same sensitivity pixel output, and an image area having twice the number of lines in which the blocks A26 and C26 are alternately arranged ( Block 901) has been reconfigured.
サーチエリア感度均一部７１７は、高感度参照画像から高感度サーチエリアと、低感度参照画像から対応する低感度サーチエリアとを順次読み出して、それぞれの感度の均一化を行う。感度均一化処理はブロック感度均一部７１６と同様である。サーチエリア感度均一部７１７は、感度均一化を行ったサーチエリアの画像領域をブロックベクトル検出部７１８に出力する。図９の例では、ブロック感度均一部７１６における感度均一化処理と同様、高感度のサーチエリアＢ２６と低感度のサーチエリアＤ２６は、同一の感度の画素出力に補正され、サーチエリアＢ２６とサーチエリアＤ２６が交互に配置されて２倍のライン数を有するサーチエリア９０２が生成されている。 The search area sensitivity uniform section 717 sequentially reads out the high sensitivity search area from the high sensitivity reference image and the corresponding low sensitivity search area from the low sensitivity reference image, and equalizes each sensitivity. The sensitivity uniformization process is the same as that of the block sensitivity uniform part 716. The search area sensitivity uniform unit 717 outputs the image area of the search area that has been subjected to uniform sensitivity to the block vector detection unit 718. In the example of FIG. 9, the high sensitivity search area B26 and the low sensitivity search area D26 are corrected to the same sensitivity pixel output as in the sensitivity uniformization process in the block sensitivity uniform section 716, and the search area B26 and the search area are corrected. A search area 902 having the number of lines doubled by alternately arranging D26 is generated.
ブロックベクトル検出部７１８は、ブロック感度均一部７１６により感度が均一化されたブロックと、サーチエリア感度均一部７１７により感度が均一化されたサーチエリアを用いて動きベクトルを検出する。このように、感度均一化によってライン数が２倍となったブロックおよびサーチエリアを用いることで、より正確な動きベクトルの検出が可能になる。 The block vector detection unit 718 detects a motion vector using a block whose sensitivity is uniformed by the block sensitivity uniform unit 716 and a search area whose sensitivity is uniformed by the search area sensitivity uniform unit 717. As described above, by using the block and the search area in which the number of lines is doubled by equalizing the sensitivity, a more accurate motion vector can be detected.
ブロックベクトル判定部７１５は、ブロック信頼度算出部１１３、ブロック信頼度算出部１１４、ブロックベクトル検出部１１１およびブロックベクトル検出部１１２からベクトル検出結果を入力して、ベクトル検出結果の選択を行う。 The block vector determination unit 715 inputs vector detection results from the block reliability calculation unit 113, the block reliability calculation unit 114, the block vector detection unit 111, and the block vector detection unit 112, and selects a vector detection result.
ブロックベクトル判定部７１５は、
高感度ブロックの信頼度 ＞ 閾値１
低感度ブロックの信頼度 ＞ 閾値２
である場合、ブロックベクトル検出部７１８で検出されたベクトル検出結果を入力して、グローバルベクトル算出部１０６へ出力する。
The block vector determination unit 715
High-sensitivity block reliability> threshold 1
Low-sensitivity block reliability> Threshold 2
If it is, the vector detection result detected by the block vector detection unit 718 is input and output to the global vector calculation unit 106.
図１０（ａ）の例では、ブロックＡ２６とブロックＣ２６の組は、高感度ブロックの信頼度と低感度ブロックの信頼度がともに信頼度が閾値を上回っている。このため、ブロックベクトル判定部７１５は、当該ブロックおよび対応するサーチエリアを感度均一化して検出されたブロックベクトル検出部７１８のベクトル検出結果をグローバルベクトル算出部１０６へ出力する。このようにすることで、高感度ブロックと低感度ブロックの信頼度がいずれも高い場合、より解像度の高いベクトル検出結果を得ることができる。 In the example of FIG. 10A, in the group of block A26 and block C26, the reliability of the high sensitivity block and the reliability of the low sensitivity block both exceed the threshold. Therefore, the block vector determination unit 715 outputs the vector detection result of the block vector detection unit 718 detected by equalizing the sensitivity of the block and the corresponding search area to the global vector calculation unit 106. By doing in this way, when both the high sensitivity block and the low sensitivity block have high reliability, a vector detection result with higher resolution can be obtained.
なお、上述した感度均一化処理およびブロックベクトル検出部７１８における動きベクトルの検出は、ブロックベクトル判定部７１５が高感度ブロックおよび低感度ブロックのいずれの信頼度も高いと判定した場合にのみ、動作するようにすればよい。このようにすれば、感度均一化処理や再度の動きベクトルの検出処理を適切なブロックに対してのみ限定することができるため、処理の効率化を図ることができる。 Note that the above-described sensitivity equalization processing and motion vector detection in the block vector detection unit 718 operate only when the block vector determination unit 715 determines that the reliability of both the high sensitivity block and the low sensitivity block is high. What should I do? In this way, the sensitivity equalization process and the motion vector detection process again can be limited only to an appropriate block, so that the process efficiency can be improved.
（動きベクトル検出処理に係る一連の動作）
次に、図８を参照して、本実施形態に係る動きベクトル検出処理に係る一連の動作を説明する。なお、実施形態１と同一のステップには同一の参照番号を付して説明は省略する。
(A series of operations related to motion vector detection processing)
Next, a series of operations related to the motion vector detection process according to the present embodiment will be described with reference to FIG. Note that the same steps as those in the first embodiment are denoted by the same reference numerals, and description thereof is omitted.
ベクトル検出部７０１は、Ｓ１００１〜Ｓ１００９における各ステップを実行する。 The vector detection unit 701 executes each step in S1001 to S1009.
Ｓ８００１においてベクトル検出部７０１は、低感度画像および高感度画像について感度均一化処理を行って動きベクトルを検出する。より具体的には、ブロックベクトル判定部７１５は、高感度ブロックおよび低感度ブロックのいずれの信頼度も高い場合、ブロック感度均一部７１６およびサーチエリア感度均一部７１７に対して、上述した感度均一化処理を行わせる。そして、ブロックベクトル検出部７１８は感度均一化されたブロックおよびサーチブロックを用いて動きベクトルを検出し、ブロックベクトル判定部７１５を介してベクトル検出結果をグローバルベクトル算出部１０６に出力する。その後、Ｓ１０１１〜Ｓ１０１３の処理を行うと本処理に係る一連の動作を終了する。 In step S8001, the vector detection unit 701 performs sensitivity equalization processing on the low-sensitivity image and the high-sensitivity image to detect a motion vector. More specifically, when the reliability of both the high sensitivity block and the low sensitivity block is high, the block vector determination unit 715 performs the above-described sensitivity uniformization on the block sensitivity uniform unit 716 and the search area sensitivity uniform unit 717. Let the process do. Then, the block vector detection unit 718 detects a motion vector using the block and the search block with uniform sensitivity, and outputs the vector detection result to the global vector calculation unit 106 via the block vector determination unit 715. Thereafter, when the processing of S1011 to S1013 is performed, a series of operations related to this processing is terminated.
以上説明したように、本実施形態では、高感度ブロックおよび低感度ブロックの信頼度がいずれも高い場合、感度均一化を施してベクトル検出を行うようにした。このようにすることで、低輝度部や高輝度部の双方を用いてより正確で解像度の高い動きベクトルを検出することができる。 As described above, in the present embodiment, when both the high sensitivity block and the low sensitivity block have high reliability, the sensitivity is equalized and vector detection is performed. By doing so, it is possible to detect a motion vector with higher accuracy and higher resolution by using both the low luminance part and the high luminance part.
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
(Other embodiments)
The present invention supplies a program that realizes one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program This process can be realized. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
１０２…撮像素子、１０５…ベクトル検出部、１１１、１１２…ブロックベクトル検出部、１１３、１１４…ブロック信頼度算出部、１１５…ブロックベクトル判定部、１１６…画像取得部 DESCRIPTION OF SYMBOLS 102 ... Image pick-up element, 105 ... Vector detection part, 111, 112 ... Block vector detection part, 113, 114 ... Block reliability calculation part, 115 ... Block vector determination part, 116 ... Image acquisition part
Claims (17)
前記第１の画像と前記第２の画像のうち同一の露出で撮影された画像の組を用いて、それぞれの露出の画像の組の、画像内の所定の領域ごとの動きベクトルを検出するベクトル検出手段と、
前記ベクトル検出手段により検出される動きベクトルに対する検出結果の信頼度に基づいて、露出が異なる画像の組のそれぞれから検出された動きベクトルについて、像ぶれ補正に用いるか否かを前記それぞれの露出の画像内の所定の領域ごとに判定する判定手段と、を有することを特徴とする像ぶれ補正制御装置。 Obtaining means for obtaining a plurality of first images photographed at different exposures and a plurality of second images photographed at different exposures at a timing different from the first image;
A vector for detecting a motion vector for each predetermined region in an image set of each exposure using a set of images taken at the same exposure of the first image and the second image Detection means;
Based on the reliability of the detection result with respect to the motion vector detected by the vector detection means, whether or not the motion vector detected from each of the sets of images having different exposures is used for image blur correction is determined. An image blur correction control apparatus comprising: a determination unit configured to determine each predetermined region in the image.
前記判定手段は、前記ベクトル検出手段により検出される動きベクトルのうち、前記算出された信頼度が予め定められた値より高い動きベクトルを、前記像ぶれ補正に用いる動きベクトルとして判定する、ことを特徴とする請求項１に記載の像ぶれ補正制御装置。 A reliability calculation means for calculating the reliability of the detection result for each predetermined region in the image of each image with different exposure;
The determination unit determines a motion vector having a calculated reliability higher than a predetermined value among the motion vectors detected by the vector detection unit as a motion vector used for the image blur correction. 2. The image blur correction control apparatus according to claim 1, wherein
前記判定手段は、前記第１の露出の画像の組および前記第２の露出の画像の組のそれぞれから検出された動きベクトルについて、いずれかまたは両方を像ぶれ補正に用いるか否かを判定をすることを特徴とする請求項１から６のいずれか１項に記載の像ぶれ補正制御装置。 The images taken at the different exposures are a first exposure image and a second exposure image with a lower exposure than the first exposure image,
The determination unit determines whether or not one or both of motion vectors detected from each of the first exposure image set and the second exposure image set are used for image blur correction. The image blur correction control apparatus according to any one of claims 1 to 6, wherein the image blur correction control apparatus includes:
請求項６に記載の像ぶれ補正制御装置と、を有する撮像装置であって、
前記撮像素子は、前記第１の領域から読み出される第１の露出の画像と、前記第２の領域から読み出される第２の露出の画像とを出力し、
前記取得手段は、前記撮像素子から出力される前記第１の画像および前記第２の画像とを取得する、ことを特徴とする撮像装置。 A first region in which pixels having a first sensitivity are adjacent in a first direction, and a second region in which pixels having a second sensitivity lower than the first sensitivity are adjacent in the first direction; Imaging elements alternately arranged in units of a predetermined number of pixels in a direction perpendicular to the first direction;
An image blur correction control device according to claim 6, comprising:
The image sensor outputs a first exposure image read from the first area and a second exposure image read from the second area,
The image pickup apparatus characterized in that the acquisition means acquires the first image and the second image output from the image pickup device.
前記補正された第１の露出の画像と前記補正された第２の露出の画像の画素値を前記第１の方向と垂直な方向に交互に配置することによって画素数の増加した画像領域を再構成する再構成手段と、をさらに有し、
前記ベクトル検出手段は、前記再構成された画像領域の組を用いて、動きベクトルを検出する、ことを特徴とする請求項１０に記載の撮像装置。 Correction means for correcting the image of the first exposure and the image of the second exposure to an image photographed with the same sensitivity;
By re-arranging the pixel values of the corrected first exposure image and the corrected second exposure image in a direction perpendicular to the first direction, an image region having an increased number of pixels is reproduced. Reconfiguring means to configure,
The imaging apparatus according to claim 10, wherein the vector detection unit detects a motion vector using the reconstructed set of image regions.
ベクトル検出手段が、前記第１の画像と前記第２の画像のうち同一の露出で撮影された画像の組を用いて、それぞれの露出の画像の組の、画像内の所定の領域ごとの動きベクトルを検出するベクトル検出工程と、
判定手段が、前記ベクトル検出手段により検出される動きベクトルに対する検出結果の信頼度に基づいて、露出が異なる画像の組のそれぞれから検出された動きベクトルについて、像ぶれ補正に用いるか否かを前記それぞれの露出の画像内の所定の領域ごとに判定する判定工程と、を有することを特徴とする像ぶれ補正制御装置の制御方法。 An acquisition step in which the acquisition unit acquires a plurality of first images captured at different exposures and a plurality of second images captured at different exposures at a timing different from the first image;
The vector detection means uses a set of images taken at the same exposure of the first image and the second image, and moves each set of images for each predetermined region in the image. A vector detection step for detecting vectors;
Whether the determination unit uses the motion vector detected from each of the sets of images having different exposures based on the reliability of the detection result with respect to the motion vector detected by the vector detection unit, as described above. And a determination step of determining for each predetermined region in each exposure image. A control method for an image blur correction control apparatus, comprising:
取得手段が、撮像素子から出力される異なる露出で撮影された複数の第１の画像と、前記第１の画像とは異なるタイミングにおいて異なる露出で撮影された複数の第２の画像とを取得する取得工程と、
ベクトル検出手段が、前記第１の画像と前記第２の画像のうち同一の露出で撮影された画像の組を用いて、それぞれの露出の画像の組の、画像内の所定の領域ごとの動きベクトルを検出するベクトル検出工程と、
判定手段が、前記ベクトル検出手段により検出される動きベクトルに対する検出結果の信頼度に基づいて、露出が異なる画像の組のそれぞれから検出された動きベクトルについて、像ぶれ補正に用いるか否かを前記それぞれの露出の画像内の所定の領域ごとに判定する判定工程と、を有する撮像装置の制御方法。 A first region in which pixels having a first sensitivity are adjacent in a first direction, and a second region in which pixels having a second sensitivity lower than the first sensitivity are adjacent in the first direction; A method for controlling an imaging apparatus having imaging elements alternately arranged in a direction perpendicular to a first direction in units of a predetermined number of pixels,
An acquisition unit acquires a plurality of first images shot at different exposures output from the image sensor and a plurality of second images shot at different exposures at a timing different from the first image. Acquisition process;
The vector detection means uses a set of images taken at the same exposure of the first image and the second image, and moves each set of images for each predetermined region in the image. A vector detection step for detecting vectors;
Whether the determination unit uses the motion vector detected from each of the sets of images having different exposures based on the reliability of the detection result with respect to the motion vector detected by the vector detection unit, as described above. A determination step of determining for each predetermined region in each exposure image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014248417A JP2016111568A (en) | 2014-12-08 | 2014-12-08 | Image blur correction control device, imaging apparatus, control method and program thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014248417A JP2016111568A (en) | 2014-12-08 | 2014-12-08 | Image blur correction control device, imaging apparatus, control method and program thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016111568A true JP2016111568A (en) | 2016-06-20 |
Family
ID=56125041
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014248417A Pending JP2016111568A (en) | 2014-12-08 | 2014-12-08 | Image blur correction control device, imaging apparatus, control method and program thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016111568A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017098750A (en) * | 2015-11-24 | 2017-06-01 | ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． | Vector calculation apparatus and vector calculation method |
| JP2018160785A (en) * | 2017-03-22 | 2018-10-11 | パナソニックＩｐマネジメント株式会社 | Image generation device, image generation method, program and record medium recording the same |
| WO2019239479A1 (en) * | 2018-06-12 | 2019-12-19 | オリンパス株式会社 | Image processing device and image processing method |
| JP2020017860A (en) * | 2018-07-25 | 2020-01-30 | キヤノン株式会社 | Imaging apparatus, imaging method and program |
-
2014
- 2014-12-08 JP JP2014248417A patent/JP2016111568A/en active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017098750A (en) * | 2015-11-24 | 2017-06-01 | ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． | Vector calculation apparatus and vector calculation method |
| JP2018160785A (en) * | 2017-03-22 | 2018-10-11 | パナソニックＩｐマネジメント株式会社 | Image generation device, image generation method, program and record medium recording the same |
| WO2019239479A1 (en) * | 2018-06-12 | 2019-12-19 | オリンパス株式会社 | Image processing device and image processing method |
| US11488291B2 (en) | 2018-06-12 | 2022-11-01 | Olympus Corporation | Image processing apparatus for generating a combined image from plural captured images having been subjected to position alignment, and image processing method |
| JP2020017860A (en) * | 2018-07-25 | 2020-01-30 | キヤノン株式会社 | Imaging apparatus, imaging method and program |
| JP7086774B2 (en) | 2018-07-25 | 2022-06-20 | キヤノン株式会社 | Imaging equipment, imaging methods and programs |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6172967B2 (en) | Imaging apparatus and control method thereof | |
| US9094648B2 (en) | Tone mapping for low-light video frame enhancement | |
| JP6460653B2 (en) | Image processing apparatus, imaging apparatus including the same, image processing method, and image processing program | |
| US8384805B2 (en) | Image processing device, method, and computer-readable medium for executing pixel value correction in a synthesized image | |
| US20110279693A1 (en) | Image capturing apparatus and camera shake correction method, and computer-readable medium | |
| JP4748230B2 (en) | Imaging apparatus, imaging method, and imaging program | |
| JP2007300595A (en) | Method of avoiding shaking during still image photographing | |
| JP6312487B2 (en) | Image processing apparatus, control method therefor, and program | |
| KR101889932B1 (en) | Apparatus and Method for photographing image | |
| JP2007324856A (en) | Imaging apparatus and imaging control method | |
| JP2013162347A (en) | Image processor, image processing method, program, and device | |
| JP2016111568A (en) | Image blur correction control device, imaging apparatus, control method and program thereof | |
| JP5829122B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
| JP2019110430A (en) | Control apparatus, imaging apparatus, control method, and program | |
| CN115170554A (en) | Image detection method and electronic equipment | |
| JP6871795B2 (en) | Imaging device, its control method, program and recording medium | |
| JP4687619B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6603557B2 (en) | Image processing apparatus and image processing method | |
| JP5721552B2 (en) | Imaging apparatus and image composition method | |
| JP5301690B2 (en) | Imaging apparatus, method, and program | |
| JP2017147498A (en) | Image processing apparatus, image processing method and program | |
| JP6066942B2 (en) | Image processing device | |
| JP2009089228A (en) | Imaging apparatus | |
| JP2018050231A (en) | Imaging apparatus, imaging method and imaging control program |