JP2017502557A - バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置 - Google Patents

バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置 Download PDF

Info

Publication number
JP2017502557A
JP2017502557A JP2016531711A JP2016531711A JP2017502557A JP 2017502557 A JP2017502557 A JP 2017502557A JP 2016531711 A JP2016531711 A JP 2016531711A JP 2016531711 A JP2016531711 A JP 2016531711A JP 2017502557 A JP2017502557 A JP 2017502557A
Authority
JP
Japan
Prior art keywords
pixel
image frame
value
channel
underexposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016531711A
Other languages
English (en)
Other versions
JP6090820B2 (ja
Inventor
カオ、ジシェン
ユ、リフ
ゾン、ウェンフイ
ワン、ミンギュ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of JP2017502557A publication Critical patent/JP2017502557A/ja
Application granted granted Critical
Publication of JP6090820B2 publication Critical patent/JP6090820B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

本発明は、奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するステップと、イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、それぞれＲＧＢチャネルにおけるアンダー露出又はオーバー露出二列ピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、ＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップと、を含む、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置を開示し、前記方法により、本発明は高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを低減させることができる。

Description

本発明はハイダイナミックレンジ（ｈｉｇｈ ｄｙｎａｍｉｃ Ｒａｎｇｅ、以下略称をＨＤＲという）の動画録画の技術分野に関し、特にバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置に関する。
デジタルカメラにおいて、光が強い環境で撮影するとき、通常のカメラはダイナミックレンジの制限を受けるため、極端に明るい又は暗い細部を記録することができないが、ＨＤＲ動画録画はハイライト及びローライトのエリアで共に正常撮影より更に良い明暗のステップが取得しやすい。実際シーンのダイナミックレンジは常に１００ｄＢ以上であり、センサーはデジタル映像機器イメージングの核心器具である。従来のデジタルカメラが採用するセンサーの部品はＣＣＤ（Ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ、電荷カップリング素子）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ、相補金属酸化物半導体）であり、通常は約６０ｄＢのダイナミックレンジのみあり、ダイナミックレンジが比較的狭いセンサーを用いてダイナミックレンジが比較的広いシーンを記録する場合、何度もイメージングする必要がある。１００ｄＢのシーンを例に挙げると、まずシャッタースピードを高め、１枚０〜６０ｄＢのアンダー露出写真を撮影し、再びシャッタースピードを下げ、１枚４０〜１００ｄＢのオーバー露出写真を撮影し、最後に２枚の写真を１枚に合成させて且つ再びトーンマッピングの関係を算出する。
現在のメーカーはＨＤＲ動画を撮影するとき、ハイフレームレートセンサーを採用し、快速で連続して複数枚の異なる露出値の画像を撮影でき、ＨＤＲ方法によって一枚の写真に合成する。但し移動中のオブジェクトを撮影するとき、写真にブラーが発生する可能性がある。マルチフレームのイメージを収集した後、特殊なＨＤＲ算出方法を用いてマルチフレームのイメージを一個のフレームに合成する必要がある。
現代のＣＭＯＳセンサーは、通常カラーフィルタアレイの構造であり、バイヤーフィルタアレイで撮影するイメージの略称をバイヤーパターンという。各画素は１０〜１４ビットの単色情報を記録し、ＲＧＢの三原色情報は、この画素と周囲画素に対して補間の算出を行うことで取得する必要がある。
ＨＤＲ動画の撮影方法は主に二個の核心技術点を含み、多露出フレームの収集及びＨＤＲフレームの合成アルゴリズムがある。多露出フレームの収集は異なる露出値によって高速に連続撮影をしてマルチフレームのイメージを取得する。二個の弱点が存する。一方では、シーンの中に高速移動の物体が存する場合、二個のフレーム間は点と点の整合が取れず、合成後のイメージは移動ブラーが発生しやすい。その他、高速での連続撮影は極めて高いフレームレートを必要とし、動画を撮影するシャッターの下限を制限する。
既存のＨＤＲのアルゴリズムはまず複数の露出フレームによってカメラの輝度応答関数を予測し、その後トーンマッピング法で新しいーンマッピング表を算出し、最後に新しいＨＤＲイメージを算出する。カメラの輝度応答関数が通常各トーンに対してパラメータの予測をする必要があるため、算出の複雑さは８ビットのイメージ（２５６個のトーン）の場合は受けられるが、バイヤーパターン（１４ビット）に対して算出量が膨大すぎるため、直接ＨＤＲ動画録画に応用できない。その他の常用されるフレームの合成方法として加重平均法がある。二フレームのイメージの合成を例に挙げると、合成画素値ｐｎｅｗは式（１）を用いて算出できる：
ｐｎｅｗ＝ｗ１ｐ１＋（１−ｗ１）ｐ２ （１）
式中、ｐ１、ｐ２はそれぞれアンダー露出図及びオーバー露出図上にある指定位置の画素値であり、ｗ１は０〜１の間の数字であり、画素１が合成画素の中で占める重みを表す。従来方法は重みを割り当てるとき通常考えられる要素は主に画素のオーバー露出及びアンダー露出であり、そして通常閾値を設定して露出の異常を検出する。オーバー露出又はアンダー露出の画素重みは正常画素値よりはるかに低い。８ビットのイメージを例に挙げると、式（２）を用いて重みを算出する：
Figure 2017502557
 式中、Ｔ１及びＴ２はそれぞれアンダー露出及びオーバー露出の閾値である。このようにオーバー露出及びアンダー露出を簡単に区別するとシーンに対しての適応性が悪く、アーティファクトが発生しやすく、更に画素を合成するとき遷移が不自然な情況が現れる。
本発明が解決する技術的問題は、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置を提供することであり、本発明によれば高速移動ブラーの問題を克服し、高速で連続撮影のフレームレートを低減させることができる。
上記の技術的問題を解決するため、本発明の実施例はバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法を提供し、この方法は、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、奇数二列は前記イメージフレームの総列数を４で割って余りが０又は１の列であり、偶数二列は前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含む。
ここで、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。
ここで、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出のイメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。
ここで、補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含む。
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
Figure 2017502557
 （式中、Ｐ１、Ｐ２はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）はＰ１におけるＴ１より小さいアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）はＰ２におけるＴ２より大きいオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
Figure 2017502557
 （式中、ω１はアンダー露出イメージフレームにおける輝度がＰ１ピクセルの重みであり、ω２はオーバー露出イメージフレームにおける輝度がＰ２ピクセルの重みである）
を用いて各ピクセルの重みを算出するステップと、
を含む。
ここで、各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームステップを取得するステップは、
二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行うステップと、
以下の関係式
Figure 2017502557
 （式中、
Figure 2017502557
 は、コントラストを強めることに用い、ｑ１，ｉ及びｑ２，ｉはそれぞれＲＧＢ図の三色チャネルとなる）
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む。
上記の技術的問題を解決するため、本発明の実施例は、
奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、奇数二列は前記イメージフレームの総列数を４で割って余りが０又は１の列であり、偶数二列は前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
センサーモジュールと接続され、イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
分解モジュールと接続され、アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
分解モジュールと接続され、オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
アンダー露出画素回復モジュール及びオーバー露出画素回復モジュールと接続され、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレーム及びアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
を含むバイヤーカラーフィルタアレイのハイダイナミックレンジの動画録画装置を更に提供する。
ここで、アンダー露出画素回復モジュールは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得することと、
Ｒ、Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を用いて足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている。
ここで、オーバー露出画素回復モジュールは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出することと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出することと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得することと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
を行うように構成されている。
ここで、補間は、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。
ここで、合成モジュールは、
ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得することと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得することと、
各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得することと、
を行うように構成されている。
ここで、合成モジュールは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
Figure 2017502557
 （式中、Ｐ１、Ｐ２はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）はＰ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）はＰ２におけるＴ２より大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出することと、
自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
Figure 2017502557
 （式中、ω１はアンダー露出イメージフレームにおいて輝度がＰ１であるピクセルの重みであり、ω２はオーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて各ピクセルの重みを算出することと、
を行うように更に構成されている。
ここで、合成モジュールは、
二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行うことと、
以下の関係式
Figure 2017502557
 （式中、
Figure 2017502557
 は、コントラストを強めることに用い、ｑ１，ｉ及びｑ２，ｉはそれぞれＲＧＢ図の三色チャネルである）
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすことと、
を行うように更に構成されている。
上記の技術的問題を解決するため、本発明の実施例はバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法を提供し、この方法は、
奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、奇数二列はイメージフレームの総列数を４で割って余りが０又は１の列であり、偶数二列はイメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含み、
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップと、
を含む。
ここで、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。
ここで、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出のイメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出するステップと、
Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける画素回復値の差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得するステップと、
Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
を含む。
ここで、補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。
ここで、アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
Figure 2017502557
 （式中、Ｐ１、Ｐ２はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）はＰ１におけるＴ１より小さいアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）はＰ２におけるＴ２より大きいオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
Figure 2017502557
 （式中、ω１はアンダー露出イメージフレームにおける輝度がＰ１ピクセルの重みであり、ω２はオーバー露出イメージフレームにおける輝度がＰ２ピクセルの重みである）
を用いて各ピクセルの重みを算出するステップと、
を含む。
ここで、各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行うステップと、
以下の関係式
Figure 2017502557
 （式中、
Figure 2017502557
 は、コントラストを強めることに用い、ｑ１，ｉ及びｑ２，ｉはそれぞれＲＧＢ図の三色チャネルとなる）
を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
を含む。
上記の解決手段により、従来技術と比較し、本発明の効果は以下のとおりである：奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得する。イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。再びアンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得し、高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを低減させることができる。
図１は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法のフローチャートである。 図２は本発明の第一実施例の露出のバイヤーパターンである。 図３は本発明の第一実施例のステップＳ１２を実現する方法のフローチャートである。 図４は本発明の第一実施例のステップＳ１２における欠失二列ピクセルの画素予測値を取得する方法の概要図である。 図５は本発明の第一実施例のステップＳ１２におけるＲチャネルにおけるピクセルの画素予測値を取得する方法の概要図である。 図６は本発明の第一実施例のステップＳ１４の実現方法のフローチャートである。 図７は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法の結果概要図である。 図８は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置の構造概要図である。
図１を参照して、図１は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法のフローチャートである。図１に示すように、バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法は以下を含む：
ステップＳ１０：奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、奇数二列は前記イメージフレームの総列数を４で割って余りが０又は１の列であり、偶数二列は前記イメージフレームの総列数を４で割って余りが２又は３の列である。
本発明に用いられるバイヤーパターンにおいて、一つのカラーフィルタユニットは一つのＲ及びＢユニットを含み、二個のＧユニット、空間上に２×２配列で現れ、すなわち各カラーフィルタユニットは二行及び二列を占める。具体的に、列の符号をｃと定義し、０≦ｃ≦Ｃであり、ここでＣはイメージフレームの総列数であり、Ｃは一般的に偶数であり、好ましくは、Ｃは４の倍数である。奇数二列を（ｃ１、ｃ２）と定義し、ここでｃ１は４で割り切れられ、ｃ２は４で割って余りが０又は１、ｃ２＝ｃ１＋１となり、偶数二列を（ｃ３、ｃ４）と定義し、ここでｃ３は４で割って余りが２となり、ｃ４は４で割って余りが３、ｃ４＝ｃ３＋１となる。このような配置は奇数二列及び偶数二列が共に完全に一組のバイヤーカラーアレイを含むことを保証できる。
Ｓ１０ステップにおいて、図２に示すように、二列をユニットとし、奇数二列及び偶数二列をそれぞれ露出する方法を用い、奇数二列についてアンダー露出を行い、偶数二列についてオーバー露出を行い、奇数二列と偶数二列との異なる露出値の一個のイメージフレームを得る。例えば、センサーは奇数二列と偶数二列とに異なる露出時間を割り当てることにより、二個の異なる露出値のイメージフレームを取得することにより、この時の各イメージフレームは、オリジナルフレームの半分程度の幅にすぎない。このように、従来方法によって６０フレーム／秒のフレームレートを用いて撮影する動画であれば、本発明では３０フレーム／秒のフレームレートだけを必要として同じ効果を達成できる。当然ながら、本発明のその他の実施例において、偶数二列についてアンダー露出を行い、奇数二列についてオーバー露出を行うこともできる。この単フレームマルチ露出の方法は、一列毎の露出が必ず一組の完全なカラーフィルタユニットを含むことを保証する。
ステップＳ１１：イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。
ステップＳ１１において、ステップＳ１０で得たイメージフレームに対して分解を行い、アンダー露出イメージフレーム及びオーバー露出イメージフレームを得る。具体的に、オリジナルイメージフレームにおいて、アンダー露出の奇数二列は変えず、偶数二列を欠失列に変え、アンダー露出イメージフレームを得る。オリジナルイメージフレームにおいて、オーバー露出の偶数二列は変えず、奇数二列を欠失列に変え、オーバー露出イメージフレームを得る。そのため、アンダー露出イメージフレームにおけるアンダー露出二列及び欠失二列が順次間隔分布され、オーバー露出イメージフレームにおけるオーバー露出二列及び欠失二列が順次間隔分布される。
ステップＳ１２：アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。
アンダー露出イメージフレームに対して、図３に示すように、アンダー露出イメージフレームにおけるＲＧＢ情報に対する回復は以下を含む：
ステップＳ１２０：隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出する。
アンダー露出イメージフレームにおいて、偶数二列を欠失列とし、ステップＳ１２０において、隣り合う奇数二列の補間を用いて偶数二列の欠失値を算出する。図４に示すように、例えば平均補間方式を採用し、すなわちＲ３＝（Ｒ１＋Ｒ５）／２、Ｇ４＝（Ｇ２＋Ｇ６）／２、Ｇ９＝（Ｇ７＋Ｇ１１）／２、Ｂ１０＝（Ｂ８＋Ｂ１２）／２となる。
ステップＳ１２１：補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得する。
アンダー露出イメージフレームにおけるＧチャネルの情報がＲ、Ｂチャネルより多いことを考慮して、まず補間の方法を用いてＧチャネルの情報を回復する。この補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含み、当然ながら、本発明のその他の実施例において、その他の補間の方法を応用してＧチャネルの情報を回復できる。
ステップＳ１２２：Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出する。
アンダー露出イメージフレームにおけるＲ、Ｂチャネルの画素数が比較的少ないことを考慮して、直接Ｒ、Ｂチャネルの画素に対して回復を行わず、Ｒ、Ｂチャネルの既知画素とＧチャネルとの差を対象とし、Ｒ、Ｂチャネルの画素を回復するように構成される。具体的に、図５に示すように、Ｒチャネルを例に挙げると、Ｒチャネルの既知画素とＧチャネルとの差値がＲ１であり、Ｒ１＝Ｒ−Ｇと記録し、ここでＲはイメージング位置の赤色の画素値であり、Ｇは対応位置がＧチャネルの画素回復値である。
ステップＳ１２３：前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得する。すなわち、Ｒチャネルの既知画素とＧチャネルとの差値Ｒ１に対して補間を行い、これによってＲチャネルにおける欠失ピクセルの差である回復値を得る。
ステップＳ１２４：Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける前記画素回復値を用いて足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。
Ｒチャネルにおける欠失ピクセルの差である回復値Ｒ１を得た後、赤画素の予測値Ｒは、Ｒチャネルにおける欠失ピクセルの差から得た回復値Ｒ１とＧチャネルにおける画素回復値Ｇとの和、すなわちＲ＝Ｒ１＋Ｇとする。図５で記載の回復情報における右側一列が欠失列である。欠失列が左側にあるとき、類似している算出方法で欠失列の画素回復値を取得しやすい。この時の欠失列の画素回復値は、隣り合う奇数二列の補間によって算出して得た偶数二列を入れ替えて得た欠失値である。Ｂチャネルは図５に記載の同様の方法を用いて処理を行い、ここではその説明を省略する。最終的にアンダー露出イメージフレームのＲＧＢ三チャネルにおける欠失列の画素回復値を取得しており、後続するフレームの合成処理に用いられる。
また図１に示すように、ステップＳ１３は下記のとおりである：オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。
補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得する。それぞれＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差を算出する。Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差を補間として算出し、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得する。Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足し合わせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。具体的に図５で記載のオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値の取得方法と同様であり、ここではその説明を省略する。最終的オーバー露出イメージフレームのＲＧＢ三チャネルにおける欠失列の画素回復値を得て、後続するフレームの合成処理に用いられる。
ステップＳ１４：アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する。
従来のＨＤＲ動画が採用するフレームの合成演算では、アーティファクト及び遷移が不自然な問題が発生しやすく、アーティファクトが発生する原因としては、フレームの合成時に、遷移エリアに輝度が反転する現象が存在し、従来方法では高輝度及び低輝度の閾値を選択するときにこの問題を回避できず、輝度が大いに変わるエリアでこの問題が現れる。遷移が不自然なのは孤立点と孤立ブロックの情況を考慮していないためである。自然なシーンの光線は複雑であるため、オーバー露出とアンダー露出エリアが入り混じる状況が発生しやすく、簡単な合成は遷移が不自然となる問題を起こしやすい。図６に示すように、オーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、以下を含む。
ステップＳ１４０：ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得する。
ステップＳ１４０において、輝度の取得は従来技術を用い、輝度を（Ｒ＋Ｇ＋Ｂ）／３とし、当然その他の方法を用いてＲＧＢチャネルにおけるピクセルの画素値によって輝度を取得してもよい。
ステップＳ１４１：アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得する。
ステップＳ１４１において，所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
Figure 2017502557
 （式中、Ｐ１、Ｐ２はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１のＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２のＴ２より大きいすべてのオーバー露出画素集を表す）
を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出する。分かるように、Ｔ１，ｎｅｗは、Ｐ２の中のＰ１と対応するアンダー露出位置の画素値の上限を表し、Ｔ２，ｎｅｗは、Ｐ１の中のＰ２と対応するオーバー露出位置の画素値の下限を表す。
その後、自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のアンダー露出閾値Ｔ２，ｎｅｗによって下記関係式
Figure 2017502557
 （式中、ω１はアンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２はオーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて各ピクセルの重みを算出する。
ステップＳ１４２：各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する。
オーバー露出及びアンダー露出エリアが入り混じって遷移が不自然な問題を回避するために、重みマップω１、ω２に対してガウスブラー化を行う。ステップＳ１４２において、まず二次元ガウスフィルタ及び各ピクセルの重みを用いてコンボリューションを行う。具体的に、窓の幅をＨとし、分散をσとした二次元ガウスフィルタを用いて、ω１、ω２に対してコンボリュートする。Ｈはイメージフレームのサイズと関連し、通常σ＝Ｈ／６を選択し、当然ながら、分散σも必要に応じてその他の値を選択することができる。
その後、以下の関係式
Figure 2017502557
 （式中、
Figure 2017502557
 は、コントラストを強めることに用い、ｑ１，ｉ及びｑ２，ｉはそれぞれＲＧＢ図の三色チャネルとなる）
を用いてフレーム合成の算出を行い、そしてコントラストを引き伸ばす。
従来方法と本発明の方法によって撮影する写真を比較すると、図７に示すように、左上の写真はアンダー露出の写真であり、右上の写真はオーバー露出の写真であり、左下は従来方法を応用して合成した写真であり、右下は本発明の方法を応用して得る写真である。分かるように、本発明の方法によって撮影する写真のコントラストは良好であり、アーティファクトが存在せず、遷移エリアが自然であり、従来の方法より優れる。
本発明の実施例において、奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得する。イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。再びアンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得し、高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを下げ、同時にアーティファクト及び遷移が不自然な問題を解決する。
図８を参照して、図８は本発明の第一実施例のバイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置の構造概要図である。図８に示すように、バイヤーカラーフィルタアレイのハイダイナミックレンジの動画録画装置１０は、センサーモジュール１１、分解モジュール１２、アンダー露出画素回復モジュール１３、オーバー露出画素回復モジュール１４及び合成モジュール１５を含む。センサーモジュール１１は奇数二列と偶数二列とによって異なる露出時間を割り当てて露出を行い、奇数二列と偶数二列とが異なる露出値のイメージフレームを取得する。分解モジュール１２は、センサーモジュール１１と接続され、イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出画素回復モジュール１３は、分解モジュール１２と接続され、アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするように構成される。オーバー露出画素回復モジュール１４は、分解モジュール１２と接続され、オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするように構成される。合成モジュール１５はアンダー露出画素回復モジュール１３及びオーバー露出画素回復モジュール１４と接続され、アンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するように構成される。
本発明の実施例において、本発明において用いるバイヤーパターンにおいて、一個のカラーフィルタユニットは一個のＲとＢユニットを含み、二個のＧユニット、空間上に２×２配列で現れ、すなわち各カラーフィルタユニットは二行及び二列を占める。センサーモジュール１１は奇数二列及び偶数二列をそれぞれ露出する方法を用い、すなわち奇数二列についてアンダー露出を行い、偶数二列についてオーバー露出を行い、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを得る。この露出方法は一列毎の露出が必ず一組の完全なカラーフィルタユニットを含むことを保証する。分解モジュール１２はイメージフレームに対して分解を行い、アンダー露出イメージフレーム及びオーバー露出イメージフレームを得る。具体的には、オリジナルイメージフレームにおいて、アンダー露出の奇数二列は変えず、偶数二列を欠失列に変え、アンダー露出イメージフレームを得る。オリジナルイメージフレームにおいて、オーバー露出の偶数二列は変えず、奇数二列を欠失列に変え、オーバー露出イメージフレームを得る。そのためアンダー露出イメージフレームにおけるアンダー露出二列及び欠失二列が順次間隔分布され、オーバー露出イメージフレームにおけるオーバー露出二列及び欠失二列が順次間隔分布される。
具体的に、アンダー露出画素回復モジュール１３は以下に用いられる：隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出する。例えば平均の補間方式を用いる。アンダー露出イメージフレームにおけるＧチャネルの情報がＲ、Ｂチャネルより多いことを考慮し、まず補間の方法を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得する。この補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含み、当然ながら、本発明のその他の実施例において、その他の補間の方法を応用してＧチャネルの情報を回復してもよい。再びＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出する。更にＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差を補間として算出し、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得する。ここの補間の方法は、上記と同様であり、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。最後にＲ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足し合わせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、アンダー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。Ｂチャネルは上記と同様の方法を用いて処理を行い、ここではその説明を省略する。最終的にアンダー露出イメージフレームそれぞれのＲＧＢ三チャネルにおける欠失列の画素回復値を得て、後続するフレームの合成処理に用いられる。
オーバー露出画素回復モジュール１４は以下に用いられる：隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出する。例えば平均の補間方式を採用する。アンダー露出イメージフレームにおけるＧチャネルの情報がＲ、Ｂチャネルより多いことを考慮し、まず補間を利用してＧチャネルにおける欠失ピクセルの画素回復値を取得する。この補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含み、当然ながら、本発明のその他の実施例において、その他の補間の方法を応用してＧチャネルの情報を回復してもよい。再びＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差をそれぞれ算出する。そしてＲ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける画素回復値との差を補間として算出し、Ｒ／Ｂチャネルにおける欠失ピクセルの差である回復値を取得する。ここの補間の方法は、上記と同様であり、バイリニア型補間、立方体補間のうちの少なくとも一方を含む。最後にＲ／Ｂチャネルにおける欠失ピクセルの差である回復値とＧチャネルにおける画素回復値を足し合わせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、オーバー露出イメージフレームにおける欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とする。Ｂチャネルは上記と同様の方法を用いて処理を行い、ここではその説明を省略する。最終的にオーバー露出イメージフレームのＲＧＢ三チャネルにおける欠失列の回復値を得て、後続するフレームの合成処理に用いられる。
合成モジュール１５は以下に用いられる：ＲＧＢチャネルにおけるピクセルの画素値によってアンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得する。輝度の取得は従来技術を採用し、例えば輝度を（Ｒ＋Ｇ＋Ｂ）／３とし、当然ながら、その他のＲＧＢチャネルにおけるピクセルの画素値によって輝度を取得する方法も採用できる。その後アンダー露出イメージフレーム及びオーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得する。具体的に、所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
Figure 2017502557
 （式中、Ｐ１、Ｐ２はそれぞれアンダー露出イメージフレーム及びオーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）はＰ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）はＰ２におけるＴ２より大きいすべてのオーバー露出画素集を表す）
を用いて自動適応するアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出する。分かるように、Ｔ１，ｎｅｗはＰ２の中のＰ１と対応するアンダー露出位置の画素値の上限を表し、Ｔ２，ｎｅｗはＰ１の中のＰ２と対応するオーバー露出位置の画素値の下限を表す。その後自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のアンダー露出閾値Ｔ２，ｎｅｗによって下記関係式
Figure 2017502557
 （式中、ω１はアンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２はオーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
を用いて各ピクセルの重みを算出する。最後に各ピクセルの重みによってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する。
オーバー露出及びアンダー露出エリアが入り混じって遷移が不自然な問題を回避するために、重みマップω１、ω２に対してガウスブラー化を行う。二次元のガウスフィルタ及び各ピクセルの重みを用いてコンボリュートし、具体的に、窓の幅をＨとし、分散をσとした二次元ガウスフィルタを用いて、ω１、ω２に対してコンボリュートする。Ｈはイメージフレームのサイズと関連し、通常σ＝Ｈ／６を選択し、当然ながら、分散σも必要に応じてその他の値を選択することができる。その後以下の関係式
Figure 2017502557
 （式中、
Figure 2017502557
 は、 コントラストを強めることに用い、ｑ１，ｉ及びｑ２，ｉはそれぞれＲＧＢ図の三色チャネルとなる）
を用いてフレーム合成の算出を行い、そしてコントラストを引き伸ばす。本発明の方法によって撮影する写真のコントラストは良好であり、アーティファクトが存在せず、遷移エリアが自然であり、従来の方法より優れる。
要するに、本発明は奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得する。イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解する。アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によってアンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によってオーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とする。再びアンダー露出イメージフレーム及びオーバー露出イメージフレームそれぞれのＲＧＢチャネルにおけるピクセルの画素値によってオーバー露出イメージフレームとアンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得し、高速移動ブラーの問題を克服し、高速連続撮影のフレームレートを低減させることができ、イメージフレームを合成するときの重みに対して更に処理を行うとアーティファクト及び遷移が不自然な問題も解決できる。
本発明の提供する複数の実施例の中で、理解されるように、開示したシステム、装置及び方法は、その他の方法により実現できる。例えば、上記で説明する装置の実施例は概略的なものにすぎず、例えば、前記モジュール又はユニットの区別は、論理的な機能上の区別にすぎず、実際に実現するときに別の区別方法であってもよく、例えば複数のユニット又はモジュールは結合するか又は他のシステムに集積でき、又は複数の特徴は省略でき、又は実行しない。その他の点は、表示又は検討する相互間の結合又は直接な結合又は通信の接続は複数のインターフェイス、装置又はユニットにより間接的結合又は通信接続でき、電気的、機械的又はその他の形式でもよい。
前記分離部品として説明されるユニットは物理的に分解しても又はしなくてもよく、ユニットが示す部品は物理的ユニットでも又はそうでなくてもよく、一個の場所に位置することができ、又は複数のネットワークユニット上にも分布できる。実際に必要に応じてここでの一部又は全てのユニットを選択して本実施例の解決手段の目的を実現できる。
また、本発明の各実施例における各機能ユニットを一個の処理ユニットに集積でき、各ユニットが単独で物理的に存在することも可能であり、二個又は二個以上のユニットが一個のユニットの中で集積できる。上記の集積されたユニットはハードウエアの形式の実現を採用して実現でき、又はソフトウェア機能ユニットの形式で実現できる。
前記集積されたユニットをソフトウェア機能ユニットの形式で独立して製品販売又は使用する場合、１台のコンピュータで読取り可能な記憶媒体に保存できる。このような理解により、本発明の技術的解決手段は本質上又は従来技術に対して寄与する部分又はこの技術的解決手段の全部又は一部に対してソフトウェア製品の形式で体現でき、このコンピュータのソフトウェア製品は記憶媒体に保存され、コンピュータ機器（パソコン、サーバー、又はネット機器などが可能）又はプロセッサー（ｐｒｏｃｅｓｓｏｒ）に本発明の各実施例で記述する全部又は一部のステップを実行させるための複数の命令を含む。また前記記憶媒体は、ＵＳＢメモリ、ポータブルハードディスク、読取り専用メモリ（ＲＯＭ、Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フロッピー（登録商標）ディスク又は光ディスクなど各種プログラムコードを記憶できる媒体を含む。
以上の記述は本発明の実施例にすぎず、そのため本発明の特許の範囲を限定するものではなく、本発明の明細書及び添付図の内容で作成する等価構造又は等価流れの変換、又は直接的又は間接的にその他の関連する技術分野に応用するものであれば、いずれも同じ理由で本発明の特許の保護範囲内に含まれる。

Claims (20)

  1. バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
    奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
    前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
    前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
    前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
    前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
    を含むことを特徴とする方法。
  2. 前記それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
    隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
    補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
    Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
    前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
    Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
    を含むことを特徴とする請求項１に記載の方法。
  3. 前記それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
    隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
    補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
    Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
    前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
    Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
    を含むことを特徴とする請求項１に記載の方法。
  4. 前記補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項２又は３に記載の方法。
  5. 前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップは、
    前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
    前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
    各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
    を含むことを特徴とする請求項１に記載の方法。
  6. 前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
    所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式ステップ
    Figure 2017502557
     （式中、Ｐ１、Ｐ２は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２におけるＴ２より大きいすべてのオーバー露出画素集を表す）
    を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
    前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式ステップ
    Figure 2017502557
     （式中、ω１は、前記アンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２は、前記オーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
    を用いて前記各ピクセルの重みを算出するステップと、
    を含むことを特徴とする請求項５に記載の方法。
  7. 前記各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップは、
    二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うステップと、
    以下の関係式ステップ
    Figure 2017502557
     （式中、
    Figure 2017502557
     は、コントラストを強めることに用いられ、ｑ１，ｉ及びｑ２，ｉは、それぞれＲＧＢ図の三色チャネルである）
    を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
    を含むことを特徴とする請求項６に記載の方法。
  8. バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画装置であって、
    奇数二列と偶数二列とに異なる露出時間を配置して露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得するためのセンサーモジュールであって、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるセンサーモジュールと、
    前記センサーモジュールと接続され、前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するための分解モジュールと、
    前記分解モジュールと接続され、前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのアンダー露出画素回復モジュールと、
    前記分解モジュールと接続され、前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするためのオーバー露出画素回復モジュールと、
    前記アンダー露出画素回復モジュール及び前記露出を割り当てる画素回復モジュールと接続され、前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレーム及び前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するための合成モジュールと、
    を含むことを特徴とする装置。
  9. 前記アンダー露出画素回復モジュールは、
    隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出することと、
    補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
    Ｒ、Ｂチャネルにおけるピクセルの画素値及びＧチャネルにおける前記画素回復値の差をそれぞれ算出することと、
    前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得することと、
    前記Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
    を行うように構成されていることを特徴とする請求項８に記載の装置。
  10. 前記オーバー露出画素回復モジュールは、
    隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出することと、
    補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得することと、
    Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出することと、
    前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得することと、
    Ｒ／Ｂチャネルにおける欠失ピクセルの差の復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とすることと、
    を行うように構成されていることを特徴とする請求項８に記載の装置。
  11. 前記補間は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項９又は１０に記載の装置。
  12. 前記合成モジュールは、
    前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得することと、
    前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得することと、
    各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得することと、
    を行うように構成されていることを特徴とする請求項８に記載の装置。
  13. 前記合成モジュールは、
    所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式
    Figure 2017502557
     （式中、Ｐ１、Ｐ２は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２におけるＴより大きいすべてのオーバー露出画素集を表す）
    を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出することと、
    前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式
    Figure 2017502557
     （式中、ω１は、前記アンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２は、オーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
    を用いて各ピクセルの重みを算出することと、
    を行うように更に構成されていることを特徴とする請求項１２に記載の装置。
  14. 前記合成モジュールは、
    二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うことと、
    以下の関係式
    Figure 2017502557
     （式中、
    Figure 2017502557
     は、コントラストを強めることに用いられ、ｑ１，ｉ及びｑ２，ｉは、それぞれＲＧＢ図の三色チャネルとなる）
    を用いてフレームの合成算出を行い、コントラストを引き伸ばすことと、
    をさらに行うように構成されていることを特徴とする請求項１３に記載の装置。
  15. バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法であって、
    奇数二列と偶数二列とに異なる露出時間を割り当てて露出を行うことにより、奇数二列と偶数二列とが異なる露出値を有するイメージフレームを取得し、前記奇数二列は、前記イメージフレームの総列数を４で割って余りが０又は１の列であり、前記偶数二列は、前記イメージフレームの総列数を４で割って余りが２又は３の列であるステップと、
    前記イメージフレームを、アンダー露出二列及び欠失二列が順次間隔分布されてなるアンダー露出イメージフレームと、オーバー露出二列及び欠失二列が順次間隔分布されてなるオーバー露出イメージフレームとに分解するステップと、
    前記アンダー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
    前記オーバー露出イメージフレームに対し、それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップと、
    前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、を含み、
    前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームそれぞれの前記ＲＧＢチャネルにおけるピクセルの画素値によって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得する前記ステップは、
    前記ＲＧＢチャネルにおけるピクセルの画素値によって前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度をそれぞれ取得するステップと、
    前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップと、
    各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームとを合成し、ハイダイナミックレンジフレームを取得するステップと、
    を含むことを特徴とする方法。
  16. 前記それぞれＲＧＢチャネルにおけるアンダー露出二列ピクセルの画素値によって前記アンダー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
    隣り合うアンダー露出二列ピクセルの画素値を用いて欠失二列ピクセルの予測画素値を算出するステップと、
    補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
    Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
    前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
    Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記アンダー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
    を含むことを特徴とする請求項１５に記載の方法。
  17. 前記それぞれＲＧＢチャネルにおけるオーバー露出二列ピクセルの画素値によって前記オーバー露出イメージフレームにおける欠失二列ピクセルの画素回復値を取得して係るピクセルの画素値とするステップは、
    隣り合うオーバー露出二列ピクセルの画素値を用いて欠失二列ピクセルの画素予測値を算出するステップと、
    補間を用いてＧチャネルにおける欠失ピクセルの画素回復値を取得するステップと、
    Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差をそれぞれ算出するステップと、
    前記Ｒ、Ｂチャネルにおけるピクセルの画素値とＧチャネルにおける前記画素回復値との差に対して、補間の算出を行い、Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値を取得するステップと、
    Ｒ／Ｂチャネルにおける欠失ピクセルの差の回復値とＧチャネルにおける前記画素回復値とを足しあわせ、Ｒ、Ｂチャネルにおける画素回復値を取得し、前記オーバー露出イメージフレームにおける前記欠失二列ピクセルの予測値を入れ替え、係るピクセルの画素値とするステップと、
    を含むことを特徴とする請求項１５に記載の方法。
  18. 前記補間の方法は、バイリニア型補間、立方体補間のうちの少なくとも一方を含むことを特徴とする請求項１６又は１７に記載の方法。
  19. 前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおける各ピクセルの輝度によって各ピクセルの重みを取得するステップは、
    所定のアンダー露出閾値Ｔ１及びオーバー露出閾値Ｔ２によって下記関係式ステップ
    Figure 2017502557
     （式中、Ｐ１、Ｐ２は、それぞれ前記アンダー露出イメージフレーム及び前記オーバー露出イメージフレームにおけるピクセルの輝度であり、∪（Ｐ１＜Ｔ１）は、Ｐ１におけるＴ１より小さいすべてのアンダー露出画素集を表し、∪（Ｐ２＞Ｔ２）は、Ｐ２におけるＴ２より大きいすべてのオーバー露出画素集を表す）
    を用いて自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び自動適応のオーバー露出閾値Ｔ２，ｎｅｗを算出するステップと、
    前記自動適応のアンダー露出閾値Ｔ１，ｎｅｗ及び前記自動適応のオーバー露出閾値Ｔ２，ｎｅｗによって下記関係式ステップ
    Figure 2017502557
     （式中、ω１は、前記アンダー露出イメージフレームにおける輝度がＰ１であるピクセルの重みであり、ω２は、前記オーバー露出イメージフレームにおける輝度がＰ２であるピクセルの重みである）
    を用いて前記各ピクセルの重みを算出するステップと、
    を含むことを特徴とする請求項１５に記載の方法。
  20. 前記各ピクセルの前記重みによって前記オーバー露出イメージフレームと前記アンダー露出イメージフレームを合成し、ハイダイナミックレンジフレームを取得するステップは、
    二次元のガウスフィルタを用いて各ピクセルの前記重みに対してコンボリューションを行うステップと、
    以下の関係式ステップ
    Figure 2017502557
     （式中、
    Figure 2017502557
     は、コントラストを強めることに用いられ、ｑ１，ｉ及びｑ２，ｉは、それぞれＲＧＢ図の三色チャネルとなる）
    を用いてフレームの合成算出を行い、そしてコントラストを引き伸ばすステップと、
    を含むことを特徴とする請求項１９に記載の方法。
JP2016531711A 2014-06-27 2014-06-27 バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置 Expired - Fee Related JP6090820B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2014/080967 WO2015196456A1 (zh) 2014-06-27 2014-06-27 基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置

Publications (2)

Publication Number Publication Date
JP2017502557A true JP2017502557A (ja) 2017-01-19
JP6090820B2 JP6090820B2 (ja) 2017-03-08

Family

ID=54936517

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016531711A Expired - Fee Related JP6090820B2 (ja) 2014-06-27 2014-06-27 バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置

Country Status (3)

Country Link
US (1) US9858644B2 (ja)
JP (1) JP6090820B2 (ja)
WO (1) WO2015196456A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205533A (zh) * 2021-10-20 2022-03-18 浙江大华技术股份有限公司 视频帧校正方法、电子设备和计算机可读存储介质

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016078094A1 (en) * 2014-11-21 2016-05-26 SZ DJI Technology Co., Ltd. System and method of fast adaptive blending for high dynamic range imaging
JP6561571B2 (ja) * 2015-05-12 2019-08-21 ソニー株式会社 医療用撮像装置、撮像方法及び撮像装置
US10366478B2 (en) * 2016-05-18 2019-07-30 Interdigital Ce Patent Holdings Method and device for obtaining a HDR image by graph signal processing
TWI626620B (zh) * 2016-12-20 2018-06-11 廣東歐珀移動通訊有限公司 圖像處理方法與裝置、電子裝置及計算機可讀儲存介質
US11310532B2 (en) 2017-02-24 2022-04-19 Interdigital Vc Holdings, Inc. Method and device for reconstructing image data from decoded image data
CN109409299A (zh) * 2018-10-30 2019-03-01 盯盯拍（深圳）云技术有限公司 图像识别方法及图像识别装置
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법
CN112204948A (zh) * 2019-09-19 2021-01-08 深圳市大疆创新科技有限公司 Hdr图像生成方法、滤光片阵列、图像传感器、图像处理芯片以及摄像装置
KR20220121328A (ko) * 2021-02-25 2022-09-01 삼성전자주식회사 영상 처리 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014030073A (ja) * 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101643319B1 (ko) 2010-01-11 2016-07-27 삼성전자주식회사 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법
CN102075688B (zh) * 2010-12-28 2012-07-25 青岛海信网络科技股份有限公司 单帧双曝光图像宽动态处理方法
US9077917B2 (en) * 2011-06-09 2015-07-07 Apple Inc. Image sensor having HDR capture capability
CN102647565A (zh) * 2012-04-18 2012-08-22 格科微电子（上海）有限公司 像素阵列的排列方法、图像传感器及图像传感方法
CN102970549B (zh) 2012-09-20 2015-03-18 华为技术有限公司 图像处理方法及装置
CN104168403B (zh) * 2014-06-27 2018-03-02 深圳市大疆创新科技有限公司 基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014030073A (ja) * 2012-07-31 2014-02-13 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114205533A (zh) * 2021-10-20 2022-03-18 浙江大华技术股份有限公司 视频帧校正方法、电子设备和计算机可读存储介质
CN114205533B (zh) * 2021-10-20 2024-06-07 浙江华感科技有限公司 视频帧校正方法、电子设备和计算机可读存储介质

Also Published As

Publication number Publication date
WO2015196456A1 (zh) 2015-12-30
US9858644B2 (en) 2018-01-02
US20170103497A1 (en) 2017-04-13
JP6090820B2 (ja) 2017-03-08

Similar Documents

Publication Publication Date Title
JP6090820B2 (ja) バイヤーカラーフィルタアレイに基づくハイダイナミックレンジの動画録画方法及び装置
US9094648B2 (en) Tone mapping for low-light video frame enhancement
US9307212B2 (en) Tone mapping for low-light video frame enhancement
US8878967B2 (en) RGBW sensor array
US8199222B2 (en) Low-light video frame enhancement
CN104168403B (zh) 基于拜尔颜色滤波阵列的高动态范围视频录制方法和装置
JP5016715B2 (ja) 画像のダイナミック・レンジを改善するためのマルチ露光パターン
US8581992B2 (en) Image capturing apparatus and camera shake correction method, and computer-readable medium
TWI390971B (zh) 成像裝置，成像處理方法及成像控制程式
JP4565504B2 (ja) 画像合成装置
JP5408053B2 (ja) 画像処理装置、画像処理方法
CN113228094A (zh) 图像处理器
JP2013509820A (ja) 符号化ローリングシャッタの方法およびシステム
JP2011004353A (ja) 画像処理装置、画像処理方法
JP2012234393A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP2007180631A (ja) 撮像装置および撮影方法
JP2008533781A (ja) 写真を生成する方法及び装置
JP4217041B2 (ja) フィルタ処理
US20220198625A1 (en) High-dynamic-range image generation with pre-combination denoising
JP6087612B2 (ja) 画像処理装置および画像処理方法
US9414035B2 (en) Image capturing apparatus provided with a function of combining a plurality of captured images
EP2996328A1 (en) Image processing method and apparatus, and image capturing device
JP2017216657A (ja) 画像処理装置、画像処理方法、及びプログラム
JP6072191B2 (ja) 画像処理装置及び画像処理装置の制御方法
JP2010135883A (ja) 画像処理装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170201

R150 Certificate of patent or registration of utility model

Ref document number: 6090820

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees