JP2019092033A - Image processing apparatus, imaging apparatus, image processing method, and program - Google Patents
Image processing apparatus, imaging apparatus, image processing method, and program Download PDFInfo
- Publication number
- JP2019092033A JP2019092033A JP2017219326A JP2017219326A JP2019092033A JP 2019092033 A JP2019092033 A JP 2019092033A JP 2017219326 A JP2017219326 A JP 2017219326A JP 2017219326 A JP2017219326 A JP 2017219326A JP 2019092033 A JP2019092033 A JP 2019092033A
- Authority
- JP
- Japan
- Prior art keywords
- image
- value
- pixel value
- pixel
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 54
- 238000003384 imaging method Methods 0.000 title claims abstract description 36
- 238000003672 processing method Methods 0.000 title claims description 4
- 239000013598 vector Substances 0.000 claims abstract description 78
- 238000011156 evaluation Methods 0.000 claims abstract description 39
- 230000002093 peripheral effect Effects 0.000 claims abstract description 36
- 238000000034 method Methods 0.000 claims abstract description 29
- 238000001514 detection method Methods 0.000 claims abstract description 24
- 238000012937 correction Methods 0.000 claims abstract description 20
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 12
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 12
- 239000002131 composite material Substances 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 description 68
- 238000010586 diagram Methods 0.000 description 14
- 238000012935 Averaging Methods 0.000 description 8
- 210000003127 knee Anatomy 0.000 description 5
- 239000000203 mixture Substances 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 210000000746 body region Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Abstract
Description
本発明は、画像処理装置、撮像装置、画像処理方法、及びプログラムに関する。 The present invention relates to an image processing apparatus, an imaging apparatus, an image processing method, and a program.
近年、複数枚の画像を合成し、合成画像を記録するデジタルカメラやデジタルビデオカメラといった撮像装置が数多く製品化されている。これらの撮像装置の中には、異なるタイミングで撮影した複数枚の画像を合成することにより、ランダムノイズを低減した合成画像を生成する機能を持つ撮像装置がある。これによりユーザは、合成しない１枚の画像よりもランダムノイズを低減した合成画像を得ることができる。 In recent years, many imaging devices such as digital cameras and digital video cameras that combine a plurality of images and record the combined image have been commercialized. Among these imaging devices, there are imaging devices having a function of generating a composite image with reduced random noise by combining a plurality of images captured at different timings. As a result, the user can obtain a composite image in which random noise is reduced more than that of a single non-composite image.
しかしながら、複数枚の画像を撮影中に被写体が移動した場合、移動した被写体が合成画像において多重像になってしまうことがある。多重像の発生を抑制するために、被写体の移動が検出された領域については、合成処理を禁止する技術が開示されている。特許文献１には、手ぶれ量に応じて決めた縮小率で縮小した複数枚の画像間におけるフレーム間差分絶対値に基づき、動体領域を検出する技術が開示されている。また、特許文献２には、複数枚の画像の位置合わせ後に残存する位置のずれに応じて縮小画像を選択し、選択した複数枚の縮小画像のフレーム間差分絶対値に基づき、動体領域を検出する技術が開示されている。 However, when the subject moves while shooting a plurality of images, the moved subject may become a multiple image in the composite image. A technique is disclosed that prohibits the combining process for an area in which movement of an object is detected in order to suppress the occurrence of multiple images. Patent Document 1 discloses a technique for detecting a moving subject region based on an inter-frame difference absolute value between a plurality of images reduced at a reduction rate determined according to a camera shake amount. Further, according to Patent Document 2, a reduced image is selected according to a positional deviation remaining after alignment of a plurality of images, and a moving subject region is detected based on an inter-frame difference absolute value of the selected plurality of reduced images. Technology is disclosed.
フレーム間差分絶対値に基づく動体領域検出においては、例えば、高感度で撮影した画像の場合、ランダムノイズによりフレーム間差分絶対値が大きくなる。そのため、移動被写体とランダムノイズとを区別することが困難となり、ランダムノイズの大きい領域を動体領域として誤検出する可能性がある。ランダムノイズによる動体領域の誤検出を抑制しようとすると、移動被写体を正しく動体領域として検出できない場合がある。特に、ランダムノイズによるフレーム間差分絶対値よりもフレーム間差分絶対値が小さい移動被写体の一部又は全体は、動体領域として検出することが困難となる。 In the moving object region detection based on the inter-frame difference absolute value, for example, in the case of an image captured at high sensitivity, the inter-frame difference absolute value becomes large due to random noise. Therefore, it becomes difficult to distinguish between a moving subject and random noise, and a region with large random noise may be erroneously detected as a moving object region. In order to suppress false detection of a moving object area due to random noise, there are cases where a moving subject can not be detected correctly as a moving object area. In particular, it is difficult to detect a part or all of the moving subject whose inter-frame difference absolute value is smaller than the inter-frame difference absolute value due to random noise as a moving object region.
そこで、特許文献１では、手ぶれ量を基に画像縮小率を変更することにより、手ぶれによる静止被写体の位置のズレや、ランダムノイズの影響を軽減し、移動被写体領域の検出精度を向上させている。また、特許文献２では、複数枚の画像の位置合わせ後に残存する位置のずれに応じて縮小画像を選択することにより、手ぶれによる静止被写体の位置のズレや、ランダムノイズの影響を軽減し、移動被写体領域の検出精度を向上させている。 Therefore, in Japanese Patent Application Laid-Open No. 2008-101, the detection accuracy of a moving subject region is improved by changing the image reduction ratio based on the amount of camera shake, thereby reducing the influence of the position shift of a stationary subject due to camera shake and random noise. . Further, in Patent Document 2, by selecting a reduced image according to the positional deviation remaining after alignment of a plurality of images, the influence of positional deviation of a stationary subject due to camera shake or random noise is reduced and movement is performed. The detection accuracy of the subject area is improved.
しかしながら、縮小画像間のフレーム間差分絶対値に基づき動体領域を検出する場合、縮小画像間で検出した動体領域を元の解像度まで拡大処理することにより、移動被写体周辺の静止領域まで動体領域として検出されてしまうことがある。 However, when a moving object area is detected based on the inter-frame difference absolute value between the reduced images, the moving object area detected between the reduced images is enlarged to the original resolution to detect the still area around the moving object as the moving object area. It may be done.
本発明はこのような状況に鑑みてなされたものであり、画像間の画素値の差分に基づく評価値の精度を向上させる技術を提供することを目的とする。 The present invention has been made in view of such circumstances, and an object thereof is to provide a technique for improving the accuracy of an evaluation value based on the difference in pixel value between images.
上記課題を解決するために、本発明は、第１の画像及び第２の画像が含む所定の撮影範囲の各位置の評価値を、前記撮影範囲の各位置における前記第１の画像の画素値と前記第２の画像の画素値の差分に基づいて取得する取得手段と、前記撮影範囲の各位置において前記第１の画像と前記第２の画像との間の動きベクトルを検出することにより、前記第１の画像と前記第２の画像との間で移動した被写体の前記第１の画像における位置及び前記第２の画像における位置を検出する検出手段と、前記撮影範囲の各位置について前記第１の画像の画素値又は前記第２の画像の画素値を選択する選択手段であって、前記被写体が前記第１の画像には存在し前記第２の画像には存在しない位置については前記第１の画像の画素値を選択し、前記被写体が前記第２の画像には存在し前記第１の画像には存在しない位置については前記第２の画像の画素値を選択する、選択手段と、前記撮影範囲の各位置について、対象位置の前記評価値と前記対象位置の周辺位置の前記評価値とを合成することにより補正評価値を生成する補正評価値生成手段であって、前記選択手段により前記対象位置について選択された画素値と前記周辺位置について選択された画素値との類似度が第１の度合いの場合、前記第１の度合いよりも大きい第２の度合いの場合よりも前記周辺位置の前記評価値の合成比率が小さくなるように前記合成を行う、補正評価値生成手段と、を備えることを特徴とする画像処理装置を提供する。 In order to solve the above problems, the present invention provides an evaluation value of each position of a predetermined imaging range included in the first image and the second image, and a pixel value of the first image at each position in the imaging range. Acquisition means for acquiring based on a difference between pixel values of the second image and the second image, and detecting a motion vector between the first image and the second image at each position of the imaging range, A detection unit for detecting the position in the first image of the subject moved between the first image and the second image and the position in the second image; Selecting means for selecting the pixel value of the first image or the pixel value of the second image, wherein the subject is present in the first image and not present in the second image. Select the pixel value of the image of 1, and Selection means for selecting pixel values of the second image for positions which are present in the second image but not in the first image, and for each position of the photographing range, the evaluation of the target position A correction evaluation value generation unit that generates a correction evaluation value by combining a value and the evaluation value of the peripheral position of the target position, the pixel value selected for the target position by the selection unit and the peripheral position When the degree of similarity with the pixel value selected for is a first degree, the synthesis ratio of the evaluation value of the peripheral position is smaller than in the case of a second degree larger than the first degree. An image processing apparatus comprising: a correction evaluation value generation unit that performs synthesis.
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。 Other features of the present invention will become more apparent from the description in the accompanying drawings and the following detailed description of the invention.
本発明によれば、画像間の画素値の差分に基づく評価値の精度を向上させることが可能となる。 According to the present invention, it is possible to improve the accuracy of the evaluation value based on the difference in pixel value between images.
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。また、別々の実施形態の中で説明されている特徴を適宜組み合せることも可能である。 Hereinafter, embodiments of the present invention will be described with reference to the accompanying drawings. The technical scope of the present invention is determined by the scope of the claims, and is not limited by the following individual embodiments. Moreover, not all combinations of features described in the embodiments are essential to the present invention. Also, features described in different embodiments may be combined as appropriate.
［第１の実施形態］
図１は、画像処理装置の一例である撮像装置１００の構成を示すブロック図である。図１において、制御部１０１は、例えばＣＰＵであり、撮像装置１００が備える各ブロックの動作プログラムを後述のＲＯＭ１０２より読み出し、後述のＲＡＭ１０３に展開して実行することにより、撮像装置１００が備える各ブロックの動作を制御する。ＲＯＭ１０２は、電気的に消去・記録可能な不揮発性メモリであり、撮像装置１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭ１０３は、書き換え可能な揮発性メモリであり、撮像装置１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。
First Embodiment
FIG. 1 is a block diagram showing a configuration of an imaging apparatus 100 which is an example of an image processing apparatus. In FIG. 1, the control unit 101 is, for example, a CPU, reads out an operation program of each block included in the imaging apparatus 100 from the ROM 102 described later, and expands and executes the program on the RAM 103 described later. Control the operation of The ROM 102 is an electrically erasable and recordable nonvolatile memory, and stores parameters and the like necessary for the operation of each block in addition to the operation program of each block included in the imaging apparatus 100. The RAM 103 is a rewritable volatile memory, and is used as a temporary storage area of data output in the operation of each block included in the imaging device 100.
光学系１０４は、ズームレンズ、フォーカスレンズを含むレンズ群を含み、被写体像を後述の撮像部１０５に結像する。撮像部１０５は、例えばＣＣＤやＣＭＯＳセンサー等の撮像素子であり、光学系１０４により撮像部１０５に結像された光学像を光電変換し、得られたアナログ画像信号をＡ／Ｄ変換部１０６に出力する。Ａ／Ｄ変換部１０６は、入力されたアナログ画像信号をデジタル画像信号に変換し、得られたデジタル画像信号（画像データ）をＲＡＭ１０３に出力する。また、Ａ／Ｄ変換部１０６は、制御部１０１が決定した増幅率（感度情報）に基づき、アナログ画像信号又はデジタル画像信号を増幅する。 The optical system 104 includes a lens group including a zoom lens and a focus lens, and forms an object image on an imaging unit 105 described later. The imaging unit 105 is an imaging element such as a CCD or a CMOS sensor, for example, and photoelectrically converts an optical image formed on the imaging unit 105 by the optical system 104 and obtains an analog image signal to the A / D converter 106. Output. The A / D conversion unit 106 converts the input analog image signal into a digital image signal, and outputs the obtained digital image signal (image data) to the RAM 103. Further, the A / D conversion unit 106 amplifies the analog image signal or the digital image signal based on the amplification factor (sensitivity information) determined by the control unit 101.
画像処理部１０７は、ＲＡＭ１０３に記憶されている画像データに対して、ホワイトバランス調整、色補間、ガンマ処理など、様々な画像処理を適用する。また、画像処理部１０７は、後述する合成画像生成部２００を具備し、ＲＡＭ１０３に記憶されている複数の画像データを合成し、合成画像を生成する。 An image processing unit 107 applies various image processing such as white balance adjustment, color interpolation, and gamma processing to the image data stored in the RAM 103. The image processing unit 107 further includes a composite image generation unit 200 described later, and composites a plurality of image data stored in the RAM 103 to generate a composite image.
記録部１０８は着脱可能なメモリカード等である。画像処理部１０７で処理された画像データは、ＲＡＭ１０３を介して、記録部１０８に記録画像として記録される。表示部１０９は、ＬＣＤ等の表示デバイスであり、ＲＡＭ１０３及び記録部１０８に記録した画像データや、ユーザからの指示を受け付けるためのユーザインタフェースなどを表示する。 The recording unit 108 is a removable memory card or the like. The image data processed by the image processing unit 107 is recorded as a recorded image in the recording unit 108 via the RAM 103. The display unit 109 is a display device such as an LCD, and displays image data recorded in the RAM 103 and the recording unit 108, a user interface for receiving an instruction from a user, and the like.
次に、画像処理部１０７の動作について、詳細に説明を行う。本実施形態では、補正動体尤度に基づいて２枚の画像を合成することにより、移動被写体（例えば、移動している人）の多重像を抑制し、ランダムノイズが低減した合成画像を生成する例について説明する。 Next, the operation of the image processing unit 107 will be described in detail. In the present embodiment, by combining two images based on the corrected moving body likelihood, a multiple image of a moving subject (for example, a moving person) is suppressed, and a combined image with reduced random noise is generated. An example will be described.
図２を参照して、画像処理部１０７が具備する合成画像生成部２００の構成について説明する。合成画像生成部２００は、ＲＡＭ１０３に記憶されている２枚の画像を合成し、合成画像を生成する。合成画像生成部２００は、位置合わせ部２０１、動体領域検出部２０２、及び画像合成部２０３を含む。 The configuration of the composite image generation unit 200 included in the image processing unit 107 will be described with reference to FIG. The composite image generation unit 200 composites the two images stored in the RAM 103 to generate a composite image. The composite image generation unit 200 includes an alignment unit 201, a moving subject region detection unit 202, and an image combining unit 203.
次に、図３を参照して、合成画像生成部２００が実行する処理について説明する。Ｓ３０１で、制御部１０１は、ＲＡＭ１０３に記憶されている複数の画像から、合成の基準となる基準画像、及び基準画像に対して合成を行う参照画像を選択する。例えば、制御部１０１は、撮像装置１００のシャッターが押下された直後に撮影された１枚目の画像を基準画像として選択し、２枚目以降の画像を参照画像として選択する。合成画像生成部２００は、選択された基準画像及び参照画像をＲＡＭ１０３から取得する。 Next, processing performed by the composite image generation unit 200 will be described with reference to FIG. In step S301, the control unit 101 selects, from among the plurality of images stored in the RAM 103, a reference image to be a reference of synthesis and a reference image to be synthesized with respect to the reference image. For example, the control unit 101 selects the first image taken immediately after the shutter of the imaging device 100 is pressed as a reference image, and selects the second and subsequent images as a reference image. The composite image generation unit 200 acquires the selected reference image and reference image from the RAM 103.
Ｓ３０２で、位置合わせ部２０１は、基準画像と参照画像との間の動きベクトルを検出し、動きベクトルに基づいて参照画像を幾何変換することにより、参照画像の位置を基準画像と合わせる。 In step S302, the alignment unit 201 detects a motion vector between the reference image and the reference image, and geometrically transforms the reference image based on the motion vector to align the position of the reference image with the reference image.
ここで、図４を参照して、位置合わせ処理について説明する。図４（Ａ）は基準画像を示し、図４（Ｂ）は参照画像を示し、図４（Ｃ）は位置合わせが行われた参照画像を示す。図４（Ａ）〜図４（Ｃ）に示す３つの画像は、以下に説明するように被写体の位置が異なるなどの相違はあるが、いずれも所定の撮影範囲を含んでいる。 Here, the alignment process will be described with reference to FIG. FIG. 4A shows a reference image, FIG. 4B shows a reference image, and FIG. 4C shows a reference image on which alignment has been performed. The three images shown in FIG. 4A to FIG. 4C differ in that the position of the subject is different as described below, but all of them include a predetermined imaging range.
図４（Ｂ）の参照画像は、図４（Ａ）の基準画像とは異なる時刻に撮影されているため、手ぶれ等により図４（Ａ）の基準画像と位置がずれている。位置合わせ部２０１は、このような位置のずれを位置合わせ処理により補正する。位置を合わせるために、まず、位置合わせ部２０１は、基準画像と参照画像との間の大局的な動きを示す動きベクトルを算出する。動きベクトルの算出方法としては、例えば、ブロックマッチング法が挙げられる。ブロックマッチング法に関しては、後述する動きベクトル算出部６１１の処理で説明する。次に、位置合わせ部２０１は、算出した動きベクトルに基づき、参照画像を幾何変換するための係数である、式（１）に示すような幾何変換係数Ａを算出する。
The reference image in FIG. 4B is photographed at a time different from that of the reference image in FIG. 4A, so the position is shifted from the reference image in FIG. 4A due to camera shake or the like. The alignment unit 201 corrects such positional deviation by alignment processing. In order to align the position, first, the alignment unit 201 calculates a motion vector indicating global movement between the reference image and the reference image. As a method of calculating a motion vector, for example, a block matching method may be mentioned. The block matching method will be described in the processing of the motion vector calculation unit 611 described later. Next, based on the calculated motion vector, the alignment unit 201 calculates a geometric transformation coefficient A as shown in equation (1), which is a coefficient for performing geometric transformation of the reference image.
位置合わせ部２０１は、幾何変換係数Ａを用いて、参照画像に対して式（２）に示すような幾何変換を行うことにより、図４（Ｃ）の位置合わせ済み参照画像を生成する。なお、参照画像をＩ（ｘ座標,ｙ座標）、位置合わせ済み参照画像をＩ’（ｘ’座標,ｙ’座標）とする。
The alignment unit 201 generates the aligned reference image in FIG. 4C by performing geometric conversion as shown in Expression (2) on the reference image using the geometric conversion coefficient A. The reference image is I (x coordinate, y coordinate), and the aligned reference image is I '(x' coordinate, y 'coordinate).
このような位置合わせ処理により、図４（Ｃ）の位置合わせ済み参照画像のように、基準画像と参照画像の静止被写体（例えば、建物や木）の位置を合わせることができる。 By such alignment processing, as in the aligned reference image of FIG. 4C, the positions of the stationary subject (for example, a building or a tree) of the reference image and the reference image can be aligned.
図３に戻り、Ｓ３０３で、動体領域検出部２０２は、基準画像と位置合わせ済み参照画像（以下、単に「参照画像」とも呼ぶ）とを比較することにより、動体領域を検出し、補正動体尤度を算出する。本実施形態では、動体領域は、動体尤度と呼ばれる多値で表現されるデータで表すものとする。動体領域検出部２０２の詳細、及び補正動体尤度算出処理の詳細については後述する。 Returning to FIG. 3, in step S303, the moving subject region detection unit 202 detects a moving subject region by comparing the reference image and the registered reference image (hereinafter, also simply referred to as "reference image"). Calculate the degree. In the present embodiment, the moving body region is represented by data expressed by multiple values called moving body likelihood. Details of the moving object region detection unit 202 and details of the correction moving object likelihood calculation process will be described later.
Ｓ３０４で、画像合成部２０３は、式（３）で示すように、補正動体尤度に基づいて決定される基準画像の合成比率ｗに応じて、基準画像と参照画像とを合成し、合成画像を生成する。
Ｐ ＝ ｗ × Ｐｂａｓｅ ＋ （１−ｗ）× Ｐｒｅｆ ・・・（３）
なお、Ｐｂａｓｅは基準画像の画素値を表し、Ｐｒｅｆは参照画像の画素値を表し、ｗは基準画像の合成比率を表し、Ｐは合成画像の画素値を表す。
In step S304, the image combining unit 203 combines the reference image and the reference image according to the combining ratio w of the reference image determined based on the corrected moving body likelihood as shown by the equation (3), and combines the combined image Generate
P = w x Pbase + (1-w) x Pref (3)
Pbase represents a pixel value of a reference image, Pref represents a pixel value of a reference image, w represents a composition ratio of the reference image, and P represents a pixel value of a composite image.
ここで、図５を参照して、基準画像の合成比率ｗの決定方法について説明する。図５は、補正動体尤度と基準画像の合成比率ｗとの関係を示す図である。図５の例では、補正動体尤度が大きいほど、基準画像の合成比率ｗも大きくなる。図５の例では、補正動体尤度が１００以上の動体領域については、基準画像の合成比率が１００％（ｗ＝１）に設定される。そのため、動体領域の合成処理を実質的に禁止し、多重像の発生を抑制することができる。即ち、補正動体尤度が１００以上である場合、合成画像の画素値として基準画像の画素値が用いられる。一方、補正動体尤度が０の静止領域については、基準画像の合成比率が５０％（ｗ＝０．５）に設定される。そのため、基準画像と参照画像とを均等に合成し、ランダムノイズを低減することができる。図５から理解できるように、補正動体尤度が小さい場合、基準画像の画素値の合成比率と参照画像の画素値の合成比率との差が小さくなる。 Here, with reference to FIG. 5, a method of determining the synthesis ratio w of the reference image will be described. FIG. 5 is a diagram showing the relationship between the corrected moving body likelihood and the synthesis ratio w of the reference image. In the example of FIG. 5, as the corrected moving body likelihood is larger, the composition ratio w of the reference image is also larger. In the example of FIG. 5, the combining ratio of the reference image is set to 100% (w = 1) for a moving object region where the corrected moving object likelihood is 100 or more. Therefore, it is possible to substantially inhibit the synthesis processing of the moving subject region and to suppress the generation of multiple images. That is, when the corrected moving body likelihood is 100 or more, the pixel value of the reference image is used as the pixel value of the combined image. On the other hand, for the stationary region where the corrected moving body likelihood is 0, the composition ratio of the reference image is set to 50% (w = 0.5). Therefore, the reference image and the reference image can be uniformly synthesized to reduce random noise. As can be understood from FIG. 5, when the corrected moving body likelihood is small, the difference between the composition ratio of the pixel values of the reference image and the composition ratio of the pixel values of the reference image becomes small.
次に、図６を参照して、動体領域検出部２０２の構成について説明する。動体領域検出部２０２は、動体尤度算出部６００及び動体尤度補正部６１０を有し、基準画像と参照画像との間のフレーム間差分絶対値に基づき、補正動体尤度を算出する。 Next, the configuration of the moving subject region detection unit 202 will be described with reference to FIG. The moving subject region detection unit 202 includes a moving subject likelihood calculation unit 600 and a moving subject likelihood correction unit 610, and calculates a corrected moving subject likelihood based on the inter-frame difference absolute value between the reference image and the reference image.
動体尤度算出部６００は、基準画像と参照画像との間のフレーム間差分絶対値に基づき、動体尤度を算出する。動きベクトル算出部６１１は、基準画像と参照画像との間における動きベクトル及びその信頼度を算出する。画像選択マップ生成部６１２は、動きベクトル及びその信頼度に基づき、画像選択マップを生成する。類似度重み係数算出部６１３は、画像選択マップに従って選択した画像の画素値に基づき、着目座標の周辺座標毎に類似度重み係数を算出する。加重加算平均処理部６１４は、類似度重み係数に基づき、着目座標及び周辺座標の動体尤度を加重加算平均処理し、補正動体尤度を算出する。 The moving body likelihood calculation unit 600 calculates the moving body likelihood based on the inter-frame difference absolute value between the reference image and the reference image. The motion vector calculation unit 611 calculates a motion vector between the reference image and the reference image and the reliability thereof. The image selection map generation unit 612 generates an image selection map based on the motion vector and the reliability thereof. The similarity weight coefficient calculation unit 613 calculates a similarity weight coefficient for each peripheral coordinate of the coordinate of interest based on the pixel value of the image selected according to the image selection map. The weighted addition average processing unit 614 performs weighted addition averaging processing of moving object likelihoods of the coordinates of interest and peripheral coordinates based on the similarity weighting factor to calculate a corrected moving object likelihood.
なお、本実施形態では、動体尤度算出部６００が動体尤度を算出するものとして説明を行うが、動体尤度は動体尤度算出部６００が算出する評価値の一例に過ぎず、動体尤度算出部６００はフレーム間差分絶対値に基づいて他の種類の評価値を算出してもよい。また、フレーム間差分絶対値に基づく評価値の算出は、フレーム間の差分に基づいて評価値を算出する処理の一例に過ぎず、動体尤度算出部６００は、フレーム間の差分の符号も考慮してもよい。 In the present embodiment, although the moving body likelihood calculating unit 600 is described as calculating the moving body likelihood, the moving body likelihood is only an example of the evaluation value calculated by the moving body likelihood calculating unit 600, and the moving body likelihood is The degree calculator 600 may calculate another type of evaluation value based on the inter-frame difference absolute value. In addition, calculation of the evaluation value based on the inter-frame difference absolute value is only an example of processing for calculating the evaluation value based on the inter-frame difference, and the moving body likelihood calculation unit 600 also takes into consideration the sign of the inter-frame difference You may
次に、図７を参照して、動体領域検出部２０２が実行する補正動体尤度算出処理について説明する。Ｓ７０１で、動体領域検出部２０２は、基準画像及び参照画像を取得する。基準画像及び参照画像の例を、図４（Ａ）、図４（Ｃ）、図１３（Ａ）、及び図１３（Ｂ）に示す。図４（Ａ）は基準画像を示す図であり、図４（Ｃ）は参照画像（位置合わせ済み参照画像）を示す図である。また、図１３（Ａ）は、図４（Ａ）の基準画像の人４１１周辺を簡略化した図であり、図１３（Ｂ）は、図４（Ｃ）の参照画像の人４２１周辺を簡略化した図である。基準画像と参照画像とは異なる時刻に撮影されているため、撮影中に移動した被写体の位置は異なる。図４（Ａ）及び図４（Ｃ）の例では、図４（Ａ）の基準画像の人４１０は、図４（Ｃ）の人４２０の位置に移動し、図４（Ａ）の基準画像の人４１１は、図４（Ｃ）の参照画像の人４２１の位置に移動している。同様に、図１３（Ａ）及び図１３（Ｂ）の例では、図１３（Ａ）の基準画像の人４１１は、図１３（Ｂ）の参照画像の人４２１の位置に移動している。動体領域検出部２０２は、このような移動している領域を動体領域として検出する。以下では、図１３（Ａ）及び図１３（Ｂ）に示される画像領域に注目して説明を行うが、他の画像領域に対しても同様の処理が行われる。 Next, with reference to FIG. 7, the corrected moving body likelihood calculation process performed by the moving body region detection unit 202 will be described. In S701, the moving subject region detection unit 202 acquires a reference image and a reference image. Examples of the reference image and the reference image are shown in FIG. 4 (A), FIG. 4 (C), FIG. 13 (A), and FIG. 13 (B). FIG. 4A shows a reference image, and FIG. 4C shows a reference image (aligned reference image). 13A is a simplified view of the area around the person 411 of the reference image in FIG. 4A, and FIG. 13B is a simplified view around the area 421 of the reference image in FIG. 4C. FIG. Since the reference image and the reference image are shot at different times, the position of the subject moved during shooting is different. In the example shown in FIGS. 4A and 4C, the person 410 in the reference image in FIG. 4A moves to the position of the person 420 in FIG. 4C, and the reference image in FIG. The person 411 is moved to the position of the person 421 in the reference image of FIG. Similarly, in the example of FIGS. 13A and 13B, the person 411 of the reference image of FIG. 13A is moved to the position of the person 421 of the reference image of FIG. 13B. The moving subject region detection unit 202 detects such a moving region as a moving subject region. Although the following description is given focusing on the image areas shown in FIGS. 13A and 13B, the same processing is performed on other image areas.
図７に戻り、Ｓ７０２で、動体尤度算出部６００は、図１３（Ａ）の基準画像と図１３（Ｂ）の参照画像との間のフレーム間差分絶対値を画素毎に算出し、フレーム間差分絶対値に基づいて動体尤度を算出する。即ち、動体尤度算出部６００は、基準画像及び参照画像が含む所定の撮影範囲の各位置についてフレーム間差分絶対値を算出し、動体尤度を算出する。例えば、動体尤度算出部６００は、図８に示すような動体尤度算出カーブに基づいて動体尤度を算出する。図８の例では、フレーム間差分絶対値が大きくなるほど動体尤度が高くなるように動体尤度算出カーブが設計されている。この例では、動体尤度は０〜２００の値で表現され、２００が最も高い動体尤度である。動体尤度算出カーブには２つの閾値ＴＨ０及びＴＨ１（０＜ＴＨ０＜ＴＨ１）が設定されている。ＴＨ０が０よりも大きい値に設定されているため、動体と背景の画素値の差が小さい場合に動体領域の検出に失敗する可能性があるが、ランダムノイズにより動体領域を誤検出する可能性を抑制することができる。 Referring back to FIG. 7, in step S702, the moving body likelihood calculation unit 600 calculates, for each pixel, an inter-frame difference absolute value between the reference image of FIG. 13A and the reference image of FIG. The moving body likelihood is calculated based on the inter-frame difference absolute value. That is, the moving body likelihood calculation unit 600 calculates an inter-frame difference absolute value for each position in a predetermined imaging range included in the reference image and the reference image to calculate the moving body likelihood. For example, the moving body likelihood calculation unit 600 calculates a moving body likelihood based on a moving body likelihood calculation curve as shown in FIG. In the example of FIG. 8, the moving object likelihood calculation curve is designed such that the moving object likelihood increases as the inter-frame difference absolute value increases. In this example, the motion likelihood is expressed as a value between 0 and 200, with 200 being the highest motion likelihood. Two threshold values TH0 and TH1 (0 <TH0 <TH1) are set in the moving body likelihood calculation curve. Since TH0 is set to a value larger than 0, detection of the moving object area may fail if the difference between the pixel values of the moving object and the background is small, but the possibility of erroneous detection of the moving object area due to random noise Can be suppressed.
図１３（Ａ）〜（Ｃ）を参照して、動体尤度の例について説明する。図１３（Ａ）の基準画像には、道路の模様１３０１が含まれている。基準画像の人４１１は、図１３（Ｂ）の参照画像においては人４２１に示す位置に移動しており、模様１３０１の一部と重なっている。人４２１の画素値と模様１３０１の画素値との差分は、人４２１の画素値と背景の画素値との差分よりも小さい。そのため、模様１３０１に重なっている人４２１の膝領域のフレーム間差分絶対値は、人４２１のその他の領域と比べて小さい値となる。その結果、図８のような動体尤度算出カーブにより動体尤度を算出した場合、図１３（Ｃ）に示すように、模様１３０１に重なっている人４２１の膝領域の動体尤度は、他の領域に比べて小さい。なお、図１３（Ｃ）では、各画素の動体尤度が画素値で表現されており、白に近い画素ほど動体尤度が大きく、黒に近い画素ほど動体尤度が小さい。人４２１の膝領域は、白と黒の中間の色（グレー）であり、白に近い色を持つ人４２１の他の領域に比べて動体尤度が小さい。 An example of the moving body likelihood will be described with reference to FIGS. 13 (A) to 13 (C). The reference image of FIG. 13A includes a road pattern 1301. The person 411 in the reference image has moved to the position shown by the person 421 in the reference image in FIG. 13B and overlaps a part of the pattern 1301. The difference between the pixel value of the person 421 and the pixel value of the pattern 1301 is smaller than the difference between the pixel value of the person 421 and the pixel value of the background. Therefore, the inter-frame difference absolute value of the knee region of the person 421 overlapping the pattern 1301 is smaller than the other regions of the person 421. As a result, when the moving body likelihood is calculated by the moving body likelihood calculation curve as shown in FIG. 8, the moving body likelihood of the knee region of the person 421 overlapping the pattern 1301 is the other as shown in FIG. Small compared to the area of In FIG. 13C, the moving body likelihood of each pixel is expressed by a pixel value, and the moving body likelihood is larger as the pixel is closer to white, and the moving body likelihood is smaller as the pixel is closer to black. The knee region of the person 421 is a color (grey) between white and black, and the motion likelihood is smaller compared to other regions of the person 421 having a color close to white.
図７に戻り、Ｓ７０３で、動きベクトル算出部６１１は、図１３（Ａ）の基準画像と図１３（Ｂ）の参照画像との間における動きベクトル及びその信頼度を算出する。動きベクトルの算出方法について、図９及び図１０を参照して詳しく説明する。 Referring back to FIG. 7, in step S703, the motion vector calculation unit 611 calculates a motion vector between the reference image in FIG. 13A and the reference image in FIG. 13B and the reliability thereof. The method of calculating the motion vector will be described in detail with reference to FIG. 9 and FIG.
図９は、動きベクトル算出部６１１が実行する動きベクトル算出処理のフローチャートである。図１０は、ブロックマッチング法による動きベクトルの算出方法を示す図である。なお、本実施形態では、動きベクトルの算出方法の例として、ブロックマッチング法について説明するが、動きベクトルの算出方法はこれに限ったものではない。例えば、オプティカルフロー手法を用いてもよい。 FIG. 9 is a flowchart of motion vector calculation processing performed by the motion vector calculation unit 611. FIG. 10 is a diagram showing a method of calculating a motion vector by the block matching method. In the present embodiment, the block matching method is described as an example of the motion vector calculation method, but the motion vector calculation method is not limited to this. For example, an optical flow method may be used.
Ｓ９０１で、動きベクトル算出部６１１は、図１０に示すように、基準画像１００１においてＮ×Ｎ画素の基準ブロック１００２を配置する。Ｓ９０２で、動きベクトル算出部６１１は、図１０に示すように、参照画像１００３において、基準ブロック１００２に対応する座標１００４の周囲（Ｎ＋ｎ）×（Ｎ＋ｎ）画素を探索範囲１００５として設定する。 In S901, the motion vector calculation unit 611 arranges a reference block 1002 of N × N pixels in the reference image 1001, as shown in FIG. In S902, the motion vector calculation unit 611 sets (N + n) × (N + n) pixels around the coordinates 1004 corresponding to the reference block 1002 as the search range 1005 in the reference image 1003, as shown in FIG.
Ｓ９０３で、動きベクトル算出部６１１は、探索範囲１００５の様々な座標に存在するＮ×Ｎ画素の参照ブロックと基準ブロック１００２との間の相関演算を行い、相関値を算出する。相関値は、基準ブロック１００２及び参照ブロックの画素に対する、フレーム間差分絶対値和に基づき算出される。即ち、差分絶対値和の値が最も小さい座標が、最も相関値が高い座標となる。なお、相関値の算出方法は、差分絶対値和に限ったものではない。例えば、差分二乗和や正規相互相関値に基づき、相関値を算出してもよい。図１０の例では、参照ブロック１００６が最も相関が高いことを示している。 In step S 903, the motion vector calculation unit 611 performs correlation calculation between a reference block of N × N pixels existing at various coordinates in the search range 1005 and the reference block 1002 to calculate a correlation value. The correlation value is calculated based on the inter-frame difference absolute value sum for the pixels of the reference block 1002 and the reference block. That is, the coordinate with the smallest difference absolute value sum is the coordinate with the highest correlation value. The method of calculating the correlation value is not limited to the sum of absolute differences. For example, the correlation value may be calculated based on the sum of squared differences or the normal cross correlation value. In the example of FIG. 10, the reference block 1006 indicates that the correlation is the highest.
Ｓ９０４で、動きベクトル算出部６１１は、最も高い相関値を示す参照ブロックの座標に基づいて動きベクトルを算出する。図１０の例では、基準ブロック１００２に対応する座標１００４から参照ブロック１００６の中心座標へのベクトルが動きベクトルとして算出される。また、動きベクトル算出部６１１は、算出した動きベクトルの相関値を、動きベクトルの信頼度とする。従って、相関値が高い動きベクトルほど、その信頼度が高くなる。 In S904, the motion vector calculation unit 611 calculates a motion vector based on the coordinates of the reference block indicating the highest correlation value. In the example of FIG. 10, a vector from the coordinates 1004 corresponding to the reference block 1002 to the center coordinates of the reference block 1006 is calculated as a motion vector. Also, the motion vector calculation unit 611 sets the calculated correlation value of the motion vector as the reliability of the motion vector. Therefore, the higher the correlation value, the higher the reliability of the motion vector.
Ｓ９０５で、動きベクトル算出部６１１は、基準画像１００１の全画素について動きベクトルの算出が完了したか否かを判定する。全画素について動きベクトルの算出が完了した場合、本フローチャートの処理は終了し、そうでない場合、処理はＳ９０１に戻る。Ｓ９０１において基準ブロックが配置される座標は毎回変化する。従って、動きベクトル算出部６１１は、基準ブロック１００２の位置を移動させながら、基準画像１００１の全画素について動きベクトルの算出が完了するまで、Ｓ９０１〜Ｓ９０４の処理を繰り返す。その結果、基準画像１００１の全画素について、動きベクトル及びその信頼度が算出される。尚、全画素の動きベクトルを算出するのではなく、一部の画素についてのみ動きベクトルを算出してもよい。 In step S905, the motion vector calculation unit 611 determines whether calculation of motion vectors has been completed for all pixels of the reference image 1001. If motion vector calculation has been completed for all pixels, the processing of this flowchart ends, otherwise the processing returns to step S901. The coordinates at which the reference block is placed in step S901 change every time. Accordingly, while moving the position of the reference block 1002, the motion vector calculation unit 611 repeats the processing of S901 to S904 until the calculation of the motion vector is completed for all the pixels of the reference image 1001. As a result, for all pixels of the reference image 1001, motion vectors and their reliabilities are calculated. Note that instead of calculating motion vectors of all pixels, motion vectors may be calculated for only some of the pixels.
上述の動きベクトル算出処理により算出した動きベクトルの例を図１３（Ｄ）に示す。なお、図１３（Ｄ）には算出した全ての動きベクトルは図示されておらず、簡略化のために代表的な動きベクトルのみが図示されている。図１３（Ｄ）の動きベクトルの始点は、図１３（Ａ）の基準画像の人４１１の位置であり、動きベクトルの終点は、図１３（Ｂ）の参照画像の人４２１の位置である。また、人４１１及び人４２１以外の位置は、静止している背景のため、動きベクトルの長さは０である。 An example of the motion vector calculated by the above-described motion vector calculation process is shown in FIG. Note that all the calculated motion vectors are not shown in FIG. 13D, and only representative motion vectors are shown for simplification. The start point of the motion vector of FIG. 13D is the position of the person 411 of the reference image of FIG. 13A, and the end point of the motion vector is the position of the person 421 of the reference image of FIG. In addition, since the position other than the person 411 and the person 421 is a stationary background, the length of the motion vector is zero.
なお、動きベクトルは、前述の通りブロック単位の相関演算により算出される。そのため、画素単位のフレーム間差分絶対値とは異なり、領域（画素の集合）に基づいて動きを検出することが可能である。そのため、図１３（Ｃ）に示すように移動被写体の一部として動体尤度が小さい（フレーム間差分絶対値が小さい）領域が存在している場合であっても、実際の動きに近い動きベクトルを算出することが可能である。 The motion vector is calculated by the correlation calculation in units of blocks as described above. Therefore, unlike the inter-frame difference absolute value in pixel units, it is possible to detect motion based on the area (set of pixels). Therefore, as shown in FIG. 13C, even if there is a region with a small moving object likelihood (small absolute value of inter-frame difference) as a part of the moving subject, a motion vector close to the actual motion It is possible to calculate
図７に戻り、Ｓ７０４で、画像選択マップ生成部６１２は、動きベクトル及びその信頼度に基づき、画像選択マップを生成する。画像選択マップ生成部６１２が実行する画像選択マップ生成処理について、図１１のフローチャートを参照して説明する。 Referring back to FIG. 7, in step S704, the image selection map generation unit 612 generates an image selection map based on the motion vector and the reliability thereof. The image selection map generation processing performed by the image selection map generation unit 612 will be described with reference to the flowchart in FIG.
Ｓ１１０１で、画像選択マップ生成部６１２は、画像選択マップの全体（全ての位置）において、基準画像を選択するように初期化する。Ｓ１１０２で、画像選択マップ生成部６１２は、動きベクトル算出部６１１が算出した動きベクトル及びその信頼度を取得する。 In step S1101, the image selection map generation unit 612 initializes the entire image selection map (all positions) to select a reference image. In S1102, the image selection map generation unit 612 acquires the motion vector calculated by the motion vector calculation unit 611 and the reliability thereof.
Ｓ１１０３で、画像選択マップ生成部６１２は、Ｓ１１０２で取得した動きベクトルのうち、長さが所定値以下（閾値以下）の動きベクトルを削除する。図１３（Ｄ）の例では、人以外の静止している領域である背景領域の動きベクトルを削除する。 In S1103, the image selection map generation unit 612 deletes a motion vector having a length equal to or less than a predetermined value (equal to or less than a threshold) among the motion vectors acquired in S1102. In the example of FIG. 13D, the motion vector of the background area which is a stationary area other than a person is deleted.
Ｓ１１０４で、画像選択マップ生成部６１２は、Ｓ１１０２で取得した動きベクトルのうち、信頼度が所定値以下（閾値以下）の動きベクトルを削除する。信頼度が低い動きベクトルを用いた場合、間違った類似度算出画像の選択処理をしてしまう可能性がある。そのため、信頼度が低い動きベクトルを削除する。 In step S1104, the image selection map generation unit 612 deletes the motion vector having the reliability equal to or less than a predetermined value (equal to or less than the threshold value) among the motion vectors acquired in step S1102. When a motion vector with a low degree of reliability is used, there is a possibility that the process of selecting the wrong similarity degree calculation image may be performed. Therefore, motion vectors with low reliability are deleted.
Ｓ１１０５で、画像選択マップ生成部６１２は、画像選択マップにおいて、残存している動きベクトルの終点座標の設定を、参照画像を選択するように変更する。こうして得られた画像選択マップの例を図１３（Ｅ）に示す。図１３（Ｅ）において、白の画素は基準画像を選択することを示し、黒の画素は参照画像を選択することを示す。図１３（Ｅ）の画像選択マップに基づく類似度算出画像の例を図１３（Ｆ）に示す。図示されるように、人４２１の画素については図１３（Ｂ）の参照画像から画素値が選択され、それ以外の画素については図１３（Ａ）の基準画像から画素値が選択される。 In step S1105, the image selection map generation unit 612 changes the setting of the end point coordinates of the remaining motion vector in the image selection map so as to select the reference image. An example of the image selection map obtained in this way is shown in FIG. In FIG. 13E, a white pixel indicates selecting a reference image, and a black pixel indicates selecting a reference image. An example of the similarity calculation image based on the image selection map of FIG. 13E is shown in FIG. As illustrated, the pixel value is selected from the reference image of FIG. 13B for the pixel of the person 421, and the pixel value is selected from the reference image of FIG. 13A for the other pixels.
なお、画像選択マップ生成部６１２は、画像選択マップを類似度重み係数算出部６１３へ出力すればよく、類似度算出画像を実際に生成する必要はない。また、上の説明では、動きベクトルの終点座標以外の位置については基準画像が選択されるものとしたが、移動被写体が基準画像及び参照画像の両方に存在しない位置については、基準画像及び参照画像のいずれを選択してもよい。一般化すると、画像選択マップ生成部６１２は、移動被写体が基準画像には存在し参照画像には存在しない位置については基準画像の画素値を選択し、移動被写体が参照画像には存在し基準画像には存在しない位置については参照画像の画素値を選択する。また、画像選択マップ生成部６１２は、移動被写体が基準画像及び参照画像の両方に存在しない位置については基準画像の画素値を選択してもよいし、参照画像の画素値を選択してもよい。また、移動被写体の移動量が小さい場合、移動被写体が基準画像及び参照画像の両方に存在する位置が発生する可能性がある。この場合、画像選択マップ生成部６１２は、移動被写体が基準画像及び参照画像の両方に存在する位置については基準画像の画素値を選択してもよいし、参照画像の画素値を選択してもよい。 The image selection map generation unit 612 may output the image selection map to the similarity weight coefficient calculation unit 613, and it is not necessary to actually generate the similarity calculation image. In the above description, the reference image is selected for positions other than the end point coordinates of the motion vector, but for positions where the moving subject is not present in both the reference image and the reference image, the reference image and the reference image You may choose any of. When generalized, the image selection map generation unit 612 selects the pixel value of the reference image for the position where the moving subject exists in the reference image and does not exist in the reference image, and the moving subject exists in the reference image and the reference image The pixel value of the reference image is selected for the position not existing in. Further, the image selection map generation unit 612 may select the pixel value of the reference image or the pixel value of the reference image for the position where the moving subject is not present in both the reference image and the reference image. . In addition, when the moving amount of the moving subject is small, there is a possibility that the position where the moving subject exists in both the reference image and the reference image may occur. In this case, the image selection map generation unit 612 may select the pixel value of the reference image for the position where the moving subject is present in both the reference image and the reference image, or may select the pixel value of the reference image. Good.
図７に戻り、Ｓ７０５で、類似度重み係数算出部６１３は、画像選択マップに従って画素毎に基準画像又は参照画像を選択し、選択した画像の画素値に基づいて、画素毎に類似度重み係数を算出する。なお、前述の通り図１３（Ｆ）の類似度算出画像を実際に生成する必要はないが、画像選択マップに従って画素毎に基準画像又は参照画像を選択し、選択した画像の画素値を取得すれば、結果的に類似度算出画像の各画素の画素値が得られる。 Returning to FIG. 7, in S705, the similarity weighting factor calculation unit 613 selects a reference image or a reference image for each pixel according to the image selection map, and based on the pixel value of the selected image, the similarity weighting factor for each pixel Calculate Although it is not necessary to actually generate the similarity calculation image of FIG. 13F as described above, a reference image or a reference image is selected for each pixel according to the image selection map, and the pixel value of the selected image is acquired. For example, the pixel value of each pixel of the similarity calculation image is obtained as a result.
図１２（Ａ）〜（Ｃ）を参照して、類似度重み係数の算出方法について具体的に説明する。図１２（Ａ）は、類似度算出に用いる画素の位置関係を示す図であり、小さい四角が１画素を示している。また、黒塗りの画素は、着目画素（補正の対象位置）を示し、白塗りの画素は、周辺画素を示す。着目画素は、類似度算出画像のいずれかの画素に対応する。 With reference to FIGS. 12A to 12C, the method of calculating the similarity weighting factor will be specifically described. FIG. 12A is a diagram showing a positional relationship of pixels used for similarity calculation, and a small square shows one pixel. In addition, a black-painted pixel indicates a target pixel (target position of correction), and a white-painted pixel indicates a peripheral pixel. The target pixel corresponds to any pixel of the similarity calculation image.
図１２（Ｂ）は、画素値の類似度を類似度重み係数に変換する類似度重み係数カーブを示す図である。図１２（Ｃ）は、着目画素の類似度重み係数を示す図である。類似度重み係数算出部６１３は、まず、式（４）に従い、図１２（Ａ）に示す２４の周辺画素それぞれについて、着目画素の画素値との差分絶対値に基づいて類似度Ｓｉを算出する。なお、類似度とは、着目画素の画素値と周辺画素の画素値が似ている度合いを示す評価値である。
Ｓｉ＝１÷（｜Ｙｃ−Ｙｓｉ｜＋｜Ｕｃ−Ｕｓｉ｜＋｜Ｖｃ−Ｖｓｉ｜） ・・・（４）
ここで、Ｙｃは着目画素の輝度値、Ｕｃ及びＶｃは着目画素の色差値を示し、Ｙｓｉは周辺画素の輝度値、Ｕｓｉ及びＶｓｉは周辺画素の色差値を示す。つまり、着目画素の画素値と周辺画素の画素値の差分絶対値が大きいほど、類似度Ｓｉは小さくなり、着目画素の画素値と周辺画素の画素値の差分絶対値が小さいほど、類似度Ｓｉは大きくなる。なお、式（４）の分母が０の場合、即ち、着目画素の画素値と周辺画素の画素値の差分絶対値が０の場合、類似度Ｓｉは１．０であるものとする。
FIG. 12B is a diagram showing a similarity weight coefficient curve for converting the similarity of pixel values into a similarity weight coefficient. FIG. 12C is a diagram showing the similarity weight coefficient of the pixel of interest. The similarity weighting factor calculation unit 613 first calculates the similarity Si based on the difference absolute value with the pixel value of the pixel of interest for each of the 24 surrounding pixels shown in FIG. 12A according to the equation (4). . The similarity is an evaluation value indicating the degree to which the pixel value of the pixel of interest and the pixel values of the peripheral pixels are similar.
Si = 1 ÷ (| Yc-Ysi | + | Uc-Usi | + | Vc-Vsi |) (4)
Here, Yc indicates the luminance value of the target pixel, Uc and Vc indicate the color difference values of the target pixel, Ysi indicates the luminance values of the peripheral pixels, and Usi and Vsi indicate the color difference values of the peripheral pixels. That is, the larger the difference absolute value between the pixel value of the pixel of interest and the pixel values of the peripheral pixels, the smaller the similarity Si, and the smaller the absolute difference between the pixel value of the pixel of interest and the pixel values of the peripheral pixels, the similarity Si Will grow. When the denominator in equation (4) is 0, that is, when the absolute difference between the pixel value of the pixel of interest and the pixel values of the peripheral pixels is 0, the similarity Si is 1.0.
次に、類似度重み係数算出部６１３は、２４の周辺画素それぞれの類似度について、図１２（Ｂ）に示す類似度重み係数算出カーブに基づき、図１２（Ｃ）に示すような類似度重み係数を算出する。ここで、着目画素の類似度重み係数は、例えば１．０のような固定値とする。図１２（Ｂ）の例では、類似度が大きくなるほど類似度重み係数が大きくなるように類似度重み係数算出カーブを設定している。図１２（Ｂ）で示す類似度重み係数は、０．０〜１．０の値で表現され、１．０が最も大きい。 Next, based on the similarity weighting factor calculation curve shown in FIG. 12 (B), the similarity weighting factor calculation unit 613 calculates the similarity weighting as shown in FIG. 12 (C) for the similarity of each of the 24 peripheral pixels. Calculate the coefficient. Here, the similarity weighting coefficient of the pixel of interest is a fixed value such as 1.0. In the example of FIG. 12B, the similarity weighting factor calculation curve is set such that the similarity weighting factor becomes larger as the similarity becomes larger. The similarity weighting coefficient shown in FIG. 12B is expressed by a value of 0.0 to 1.0, and 1.0 is the largest.
類似度重み係数算出部６１３は、類似度算出画像の各画素を着目画素として、上記の手順に従って類似度重み係数を算出する。その結果、類似度算出画像の各画素について、図１２（Ｃ）に示すような５×５＝２５の類似度重み係数が得られる。なお、上の説明では、周辺画素の数を２４としたが、周辺画素の数はこれに限定されず、より多い周辺画素を参照してもよいし、より少ない周辺画素しか参照しなくてもよい。 The similarity weight coefficient calculation unit 613 calculates the similarity weight coefficient according to the above-described procedure, with each pixel of the similarity calculation image as a pixel of interest. As a result, 5 × 5 = 25 similarity weighting coefficients as shown in FIG. 12C are obtained for each pixel of the similarity calculation image. In the above description, although the number of peripheral pixels is set to 24, the number of peripheral pixels is not limited to this, and a larger number of peripheral pixels may be referred to, or even a smaller number of peripheral pixels may be referred to. Good.
図７に戻り、Ｓ７０６で、加重加算平均処理部６１４は、類似度算出画像の各画素の類似度重み係数に基づき、図１３（Ｃ）の各位置の動体尤度を加重加算平均処理し、補正動体尤度を算出する（補正評価値生成処理）。例えば、加重加算平均処理部６１４は、図１３（Ｃ）の動体尤度を、各位置の動体尤度を画素値として持つ画像（動体尤度画像）として扱う。そして、加重加算平均処理部６１４は、動体尤度画像の着目座標及び周辺座標の画素値（動体尤度）に類似度重み係数を積和演算し、類似度重み係数の総和で除算する。これにより、着目画素の補正画素値、即ち補正動体尤度が得られる。加重加算平均処理部６１４は、動体尤度画像の各画素を着目画素として、補正動体尤度の算出を行う。これにより、動体尤度画像の各画素の補正画素値、即ち補正動体尤度が得られる。Ｓ７０６の処理により得られた補正動体尤度の例を図１３（Ｇ）に示す。 Referring back to FIG. 7, in step S706, the weighted average processing unit 614 performs weighted average processing on the moving body likelihood of each position in FIG. 13C based on the similarity weighting coefficient of each pixel of the similarity calculation image. A corrected moving body likelihood is calculated (correction evaluation value generation processing). For example, the weighted average processing unit 614 treats the moving body likelihood shown in FIG. 13C as an image having a moving body likelihood at each position as a pixel value (moving body likelihood image). Then, the weighted addition average processing unit 614 performs a product-sum operation on the pixel values (moving object likelihoods) of the coordinates of interest and peripheral coordinates of the moving object likelihood image, and divides by the sum of the similarity weighting coefficients. Thereby, the corrected pixel value of the target pixel, that is, the corrected moving body likelihood is obtained. The weighted average processing unit 614 calculates the corrected moving object likelihood with each pixel of the moving object likelihood image as a target pixel. Thereby, the corrected pixel value of each pixel of the moving body likelihood image, that is, the corrected moving body likelihood is obtained. An example of the corrected moving body likelihood obtained by the process of S706 is shown in FIG.
ところで、図１２（Ｂ）の類似度重み係数算出カーブの例では、類似度が小さいほど類似度重み係数が小さく、類似度が０.２未満の場合に類似度重み係数が０となっている。これは、類似度が小さい周辺画素の動体尤度を除外し、類似度が大きい周辺画素の動体尤度のみを加重加算平均処理することにより、移動被写体周辺の静止被写体の動体尤度が高くなってしまうことを抑制するためである。換言すると、加重加算平均処理部６１４は、対象位置について選択された画素値と周辺位置について選択された画素値との類似度が小さいほど周辺位置の動体尤度の合成比率が小さくなるように、対象位置の動体尤度と周辺位置の動体尤度とを合成する。 By the way, in the example of the similarity weighting factor calculation curve in FIG. 12B, the similarity weighting factor is smaller as the similarity is smaller, and the similarity weighting factor is 0 when the similarity is less than 0.2. . This excludes the moving body likelihood of peripheral pixels having a low degree of similarity, and performs weighted averaging on only the moving body likelihoods of peripheral pixels having a high degree of similarity, thereby increasing the moving body likelihood of a still subject around a moving subject. In order to suppress the In other words, the weighted addition average processing unit 614 is configured such that the smaller the similarity between the pixel value selected for the target position and the pixel value selected for the peripheral position is, the smaller the combined ratio of moving body likelihoods for the peripheral position becomes. The motion likelihood of the target position and the motion likelihood of the peripheral position are synthesized.
この点を更に詳細に説明すると、図１３（Ａ）〜（Ｂ）の例では、基準画像の人４１１及び参照画像の人４２１を動体領域として検出することが正しい検出結果である。しかしながら、前述の通り、人４２１の膝領域については、動体尤度が他の領域よりも低い（図１３（Ｃ）参照）。そこで、加重加算平均処理部６１４は、周辺画素の動体尤度を用いた加重加算平均処理により、動体尤度を補正する。しかしながら、周辺画素の類似度を考慮せずに動体尤度を加重加算平均した場合、人４１１又は人４２１の周辺領域に存在する静止被写体である背景まで動体尤度が高くなってしまう可能性がある。そこで、類似度重み係数算出部６１３は、画像選択マップに基づき、人４２１の領域については参照画像を用い、それ以外の領域については基準画像を用いて類似度及び類似度重み係数を算出する。類似度の算出に用いる画像を領域毎に変更することにより、動体尤度と類似度の算出に用いる画像との整合を取ることができる。加重加算平均処理部６１４は、類似度が大きい周辺画素の動体尤度のみを加重加算平均処理することにより、画素値が類似している同じ被写体内の動体尤度を用いて着目画素の動体尤度を補正することができる。その結果、移動被写体周辺の静止被写体の動体尤度が高くなってしまうことを抑制することができる。また、図１３（Ｃ）に示すように動体尤度が小さくなってしまった人４２１の膝領域については、動体尤度が大きくなる方向に補正することができる。 To explain this point in more detail, in the example of FIGS. 13A to 13B, it is a correct detection result to detect the person 411 of the reference image and the person 421 of the reference image as a moving object region. However, as described above, with regard to the knee region of the person 421, the moving body likelihood is lower than that of the other regions (see FIG. 13C). Therefore, the weighted average averaging processing unit 614 corrects the moving object likelihood by the weighted addition averaging process using the moving object likelihood of the peripheral pixels. However, when the weighted average of moving body likelihoods is performed without considering the similarity between peripheral pixels, there is a possibility that the moving body likelihood may increase to the background which is a still subject existing in the peripheral area of the person 411 or the person 421. is there. Therefore, based on the image selection map, the similarity weighting factor calculation unit 613 calculates the similarity and the similarity weighting factor using the reference image for the area of the person 421 and the reference image for the other areas. By changing the image used for calculation of the degree of similarity for each area, matching with the image used for calculation of the moving body likelihood and the degree of similarity can be achieved. The weighted averaging processor 614 performs weighted averaging on only moving body likelihoods of peripheral pixels having a high degree of similarity, thereby using the moving body likelihood within the same subject having similar pixel values to determine the moving body likelihood of the pixel of interest. The degree can be corrected. As a result, it is possible to suppress an increase in the moving object likelihood of the still subject around the moving subject. Further, as shown in FIG. 13C, the knee region of the person 421 whose moving body likelihood has become smaller can be corrected in the direction in which the moving body likelihood becomes larger.
以上の処理により、補正動体尤度が得られる。その後、前述の通り、補正動体尤度に基づいて基準画像及び参照画像の合成処理が画素毎に（即ち、撮影範囲の各位置について）行われる（図３のＳ３０４参照）。 The corrected moving body likelihood is obtained by the above processing. Thereafter, as described above, the combining process of the reference image and the reference image is performed for each pixel (that is, for each position in the imaging range) based on the corrected moving body likelihood (see S304 in FIG. 3).
以上説明したように、第１の実施形態によれば、撮像装置１００は、基準画像と参照画像（位置合わせ済み参照画像）との間のフレーム間差分絶対値に基づいて動体尤度（評価値）を算出する。また、撮像装置１００は、基準画像と参照画像との間における動きベクトルを算出し、動きベクトルに基づいて画像選択マップを生成し、画像選択マップに基づいて選択された基準画像又は参照画像の画素値に基づいて類似度重み係数を算出する。そして、撮像装置１００は、類似度重み係数に基づいて動体尤度を補正することにより、補正動体尤度（補正評価値）を得る。これにより、動体尤度の精度を向上させることができる。 As described above, according to the first embodiment, the imaging apparatus 100 generates the moving object likelihood (evaluation value) based on the inter-frame difference absolute value between the reference image and the reference image (the aligned reference image). Calculate). Further, the imaging device 100 calculates a motion vector between the reference image and the reference image, generates an image selection map based on the motion vector, and pixels of the reference image or the reference image selected based on the image selection map Calculate the similarity weighting factor based on the value. Then, the imaging apparatus 100 obtains a corrected moving body likelihood (corrected evaluation value) by correcting the moving body likelihood based on the similarity weight coefficient. Thereby, the accuracy of the moving body likelihood can be improved.
なお、本実施形態では、基準画像から参照画像への動きベクトルを算出する例を説明したが、算出する動きベクトルの方向はこれに限ったものではない。例えば、動きベクトル算出部６１１は、参照画像から基準画像への動きベクトルを算出してもよい。この場合、図１１のＳ１１０５で、画像選択マップ生成部６１２は、画像選択マップにおいて、残存している動きベクトルの始点座標の設定を、参照画像を選択するように変更する。 In the present embodiment, the example of calculating the motion vector from the reference image to the reference image has been described, but the direction of the motion vector to be calculated is not limited to this. For example, the motion vector calculation unit 611 may calculate a motion vector from the reference image to the reference image. In this case, in S1105 of FIG. 11, the image selection map generation unit 612 changes the setting of the start point coordinates of the remaining motion vector in the image selection map so as to select the reference image.
また、本実施形態では、類似度重み係数が０．０〜１．０の多値の範囲を持つ例について説明したが、類似度重み係数は、０．０及び１．０といった２値で表現してもよい。この場合、加重加算平均処理部６１４において、重み係数の乗算処理が不要になるため、処理量を減らすことができる。 Also, in the present embodiment, an example has been described in which the similarity weight coefficient has a multi-value range of 0.0 to 1.0, but the similarity weight coefficient is expressed by two values such as 0.0 and 1.0. You may In this case, the processing of weighting can be reduced because the weighting and averaging processing unit 614 does not need the multiplication processing of the weighting factor.
また、本実施形態では、着目画素が１画素の例について説明をしたが、複数の画素を着目領域として動体尤度を補正してもよい。この場合、類似度重み係数算出部６１３は、着目領域の平均画素値と周辺領域の画素値との差分絶対値に基づき類似度を算出する。 Further, in the present embodiment, the example in which the target pixel is one pixel has been described, but the moving object likelihood may be corrected with a plurality of pixels as the target area. In this case, the similarity weighting factor calculation unit 613 calculates the similarity based on the absolute value of the difference between the average pixel value of the target area and the pixel value of the peripheral area.
また、本実施形態では、ランダムノイズを低減する画像合成処理のために補正動体尤度を使用する例について説明をしたが、補正動体尤度の用途はこれに限ったものではない。例えば、異なる露出で撮影した複数枚の画像を合成することによりダイナミックレンジを拡大するＨＤＲ合成処理のために補正動体尤度を使用してもよい。この場合、異なる露出で撮影した基準画像と参照画像との明るさレベルを合わせ、動体領域検出部２０２に入力することにより、補正動体尤度を算出することができる。 Further, in the present embodiment, an example of using the corrected moving body likelihood for the image combining process for reducing random noise has been described, but the application of the corrected moving body likelihood is not limited to this. For example, the corrected moving object likelihood may be used for HDR combining processing that expands a dynamic range by combining a plurality of images captured at different exposures. In this case, the corrected moving body likelihood can be calculated by matching the brightness levels of the reference image and the reference image captured at different exposures and inputting the same to the moving body region detection unit 202.
［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
Other Embodiments
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. Can also be realized. It can also be implemented by a circuit (eg, an ASIC) that implements one or more functions.
１００…撮像装置、２０２…動体領域検出部、６００…動体尤度算出部、６１０…動体尤度補正部、６１１…動きベクトル算出部、６１２…画像選択マップ生成部、６１３…類似度重み係数算出部、６１４…加重加算平均処理部 100 ... imaging device, 202 ... moving body area detection unit, 600 ... moving body likelihood calculation unit, 610 ... moving body likelihood correction unit, 611 ... motion vector calculation unit, 612 ... image selection map generation unit, 613 ... similarity weight coefficient calculation Part 614: Weighted averaging processor
Claims (10)
前記撮影範囲の各位置において前記第１の画像と前記第２の画像との間の動きベクトルを検出することにより、前記第１の画像と前記第２の画像との間で移動した被写体の前記第１の画像における位置及び前記第２の画像における位置を検出する検出手段と、
前記撮影範囲の各位置について前記第１の画像の画素値又は前記第２の画像の画素値を選択する選択手段であって、前記被写体が前記第１の画像には存在し前記第２の画像には存在しない位置については前記第１の画像の画素値を選択し、前記被写体が前記第２の画像には存在し前記第１の画像には存在しない位置については前記第２の画像の画素値を選択する、選択手段と、
前記撮影範囲の各位置について、対象位置の前記評価値と前記対象位置の周辺位置の前記評価値とを合成することにより補正評価値を生成する補正評価値生成手段であって、前記選択手段により前記対象位置について選択された画素値と前記周辺位置について選択された画素値との類似度が第１の度合いの場合、前記第１の度合いよりも大きい第２の度合いの場合よりも前記周辺位置の前記評価値の合成比率が小さくなるように前記合成を行う、補正評価値生成手段と、
を備えることを特徴とする画像処理装置。 The evaluation value of each position of the predetermined imaging range included in the first image and the second image is the difference between the pixel value of the first image and the pixel value of the second image at each position of the imaging range. Acquisition means to acquire based on
By detecting a motion vector between the first image and the second image at each position of the photographing range, the movement of the subject moved between the first image and the second image Detection means for detecting the position in the first image and the position in the second image;
Selecting means for selecting the pixel value of the first image or the pixel value of the second image for each position in the photographing range, wherein the subject is present in the first image and the second image The pixel value of the first image is selected for the position not present in the image, and the pixel of the second image is displayed for the position not present in the first image and the object is present in the second image. Selecting means, selecting means,
A correction evaluation value generation unit that generates a correction evaluation value by combining the evaluation value of the target position and the evaluation value of the peripheral position of the target position for each position in the imaging range, the selection unit When the similarity between the pixel value selected for the target position and the pixel value selected for the peripheral position is a first degree, the peripheral position is more than the second degree larger than the first degree. Correction evaluation value generation means for performing the synthesis such that the synthesis ratio of the evaluation values of
An image processing apparatus comprising:
ことを特徴とする請求項１に記載の画像処理装置。 When the absolute value of the difference is a first value, the acquisition means acquires, as the evaluation value, a smaller value than in the case of a second value larger than the first value. An image processing apparatus according to Item 1.
前記合成画像生成手段は、前記対象位置の前記補正評価値が第３の値の場合、前記第３の値よりも大きい第４の値の場合よりも前記対象位置における前記第１の画像の画素値の合成比率と前記第２の画像の画素値の合成比率との差が小さくなるように前記合成を行う
ことを特徴とする請求項２に記載の画像処理装置。 Composite image generating means for generating a composite image by combining the pixel value of the first image and the pixel value of the second image based on the correction evaluation value of the target position at each position of the imaging range And further
The composite image generation unit, when the correction evaluation value of the target position is a third value, is a pixel of the first image at the target position than in the case of a fourth value larger than the third value. The image processing apparatus according to claim 2, wherein the combining is performed such that a difference between a combining ratio of values and a combining ratio of pixel values of the second image is reduced.
ことを特徴とする請求項３に記載の画像処理装置。 4. The apparatus according to claim 3, wherein the composite image generation unit uses a pixel value of the first image as a pixel value of the composite image when the correction evaluation value of the target position is the fourth value. Image processing apparatus as described.
ことを特徴とする請求項４に記載の画像処理装置。 The selection unit is configured to determine the position where the subject is present in both the first image and the second image, and the position where the subject is not present in both the first image and the second image. The image processing apparatus according to claim 4, wherein a pixel value of the first image is selected.
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。 The detection means detects the position of the subject in the first image and the position in the second image without using a motion vector having a size equal to or less than a first threshold among the detected motion vectors. The image processing apparatus according to any one of claims 1 to 5, characterized in that:
ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。 The detection means obtains the reliability of each of the detected motion vectors, and does not use a motion vector having a reliability less than or equal to a second threshold among the detected motion vectors, and does not use the first one of the objects. The image processing apparatus according to any one of claims 1 to 6, wherein a position in an image and a position in the second image are detected.
前記第１の画像及び前記第２の画像を生成する撮像手段と、
を備えることを特徴とする撮像装置。 An image processing apparatus according to any one of claims 1 to 7.
Imaging means for generating the first image and the second image;
An imaging apparatus comprising:
第１の画像及び第２の画像が含む所定の撮影範囲の各位置の評価値を、前記撮影範囲の各位置における前記第１の画像の画素値と前記第２の画像の画素値の差分に基づいて取得する取得工程と、
前記撮影範囲の各位置において前記第１の画像と前記第２の画像との間の動きベクトルを検出することにより、前記第１の画像と前記第２の画像との間で移動した被写体の前記第１の画像における位置及び前記第２の画像における位置を検出する検出工程と、
前記撮影範囲の各位置について前記第１の画像の画素値又は前記第２の画像の画素値を選択する選択工程であって、前記被写体が前記第１の画像には存在し前記第２の画像には存在しない位置については前記第１の画像の画素値を選択し、前記被写体が前記第２の画像には存在し前記第１の画像には存在しない位置については前記第２の画像の画素値を選択する、選択工程と、
前記撮影範囲の各位置について、対象位置の前記評価値と前記対象位置の周辺位置の前記評価値とを合成することにより補正評価値を生成する補正評価値生成工程であって、前記選択工程により前記対象位置について選択された画素値と前記周辺位置について選択された画素値との類似度が第１の度合いの場合、前記第１の度合いよりも大きい第２の度合いの場合よりも前記周辺位置の前記評価値の合成比率が小さくなるように前記合成を行う、補正評価値生成工程と、
を備えることを特徴とする画像処理方法。 An image processing method performed by an image processing apparatus, comprising:
The evaluation value of each position of the predetermined imaging range included in the first image and the second image is the difference between the pixel value of the first image and the pixel value of the second image at each position of the imaging range. An acquisition process to acquire based on
By detecting a motion vector between the first image and the second image at each position of the photographing range, the movement of the subject moved between the first image and the second image Detecting the position in the first image and the position in the second image;
A selection step of selecting a pixel value of the first image or a pixel value of the second image for each position in the imaging range, wherein the subject is present in the first image and the second image The pixel value of the first image is selected for the position not present in the image, and the pixel of the second image is displayed for the position not present in the first image and the object is present in the second image. Select value, select step,
A correction evaluation value generation step of generating a correction evaluation value by combining the evaluation value of the target position and the evaluation value of the peripheral position of the target position for each position in the imaging range, and the selection step When the similarity between the pixel value selected for the target position and the pixel value selected for the peripheral position is a first degree, the peripheral position is more than the second degree larger than the first degree. A correction evaluation value generation step of performing the synthesis such that the synthesis ratio of the evaluation values of
An image processing method comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017219326A JP6979859B2 (en) | 2017-11-14 | 2017-11-14 | Image processing equipment, imaging equipment, image processing methods, and programs |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017219326A JP6979859B2 (en) | 2017-11-14 | 2017-11-14 | Image processing equipment, imaging equipment, image processing methods, and programs |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019092033A true JP2019092033A (en) | 2019-06-13 |
| JP6979859B2 JP6979859B2 (en) | 2021-12-15 |
Family
ID=66837534
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017219326A Active JP6979859B2 (en) | 2017-11-14 | 2017-11-14 | Image processing equipment, imaging equipment, image processing methods, and programs |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6979859B2 (en) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013243780A (en) * | 2013-08-27 | 2013-12-05 | Morpho Inc | Image synthesizing apparatus, image synthesizing method, image synthesizing program, and recording medium |
-
2017
- 2017-11-14 JP JP2017219326A patent/JP6979859B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013243780A (en) * | 2013-08-27 | 2013-12-05 | Morpho Inc | Image synthesizing apparatus, image synthesizing method, image synthesizing program, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6979859B2 (en) | 2021-12-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9508153B2 (en) | Distance measurement apparatus, imaging apparatus, distance measurement method, and program | |
| JP5374119B2 (en) | Distance information acquisition device, imaging device, and program | |
| US9619886B2 (en) | Image processing apparatus, imaging apparatus, image processing method and program | |
| JP2011004190A (en) | Image processing apparatus and method therefor | |
| US9811909B2 (en) | Image processing apparatus, distance measuring apparatus, imaging apparatus, and image processing method | |
| JP2012029014A (en) | Image processing device, and control method of the same | |
| JP6604908B2 (en) | Image processing apparatus, control method thereof, and control program | |
| JP2012049603A (en) | Image processing apparatus and image processing program | |
| US10116865B2 (en) | Image processing apparatus and image processing method for calculating motion vector between images with different in-focus positions | |
| JP6494402B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
| JP6395429B2 (en) | Image processing apparatus, control method thereof, and storage medium | |
| JP2019101997A (en) | Image processing apparatus and image processing method reducing noise by composing plural captured images | |
| JP6614824B2 (en) | Image processing apparatus, image processing system, imaging apparatus, image processing method, and program | |
| JP7009252B2 (en) | Image processing equipment, image processing methods and programs | |
| JP6979859B2 (en) | Image processing equipment, imaging equipment, image processing methods, and programs | |
| JP6218520B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2012085205A (en) | Image processing apparatus, imaging device, image processing method, and image processing program | |
| JP7157526B2 (en) | IMAGE PROCESSING DEVICE, IMAGING DEVICE, IMAGE PROCESSING METHOD, AND PROGRAM | |
| US10776927B2 (en) | Image processing apparatus, image processing method, and program | |
| JP6873815B2 (en) | Image processing equipment, imaging equipment, image processing methods, programs, and storage media | |
| US10200674B2 (en) | Image processing apparatus, image capturing apparatus, and recording medium | |
| JP4919165B2 (en) | Image composition apparatus and program | |
| JP2017108243A (en) | Image processing device and image processing method | |
| JP2016062447A (en) | Image processor, image processing method, and image processing program | |
| JP2021082903A (en) | Image processing device, imaging device, image processing method, program, and recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201116 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210906 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211018 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211116 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6979859 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |