JP2022077438A - 符号化装置及び方法、撮像装置、プログラム、記憶媒体 - Google Patents
符号化装置及び方法、撮像装置、プログラム、記憶媒体 Download PDFInfo
- Publication number
- JP2022077438A JP2022077438A JP2020188302A JP2020188302A JP2022077438A JP 2022077438 A JP2022077438 A JP 2022077438A JP 2020188302 A JP2020188302 A JP 2020188302A JP 2020188302 A JP2020188302 A JP 2020188302A JP 2022077438 A JP2022077438 A JP 2022077438A
- Authority
- JP
- Japan
- Prior art keywords
- raw data
- quantization
- quantization parameter
- exposure
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】露光時間が異なる画素信号が混在したRAWデータを符号化し記録する際のデータ量を削減する。【解決手段】画素ごとに異なる露光時間で撮像可能な撮像素子を用いて、第1の露光時間の第1のRAWデータと第1の露光時間とは異なる第2の露光時間の第2のRAWデータを取得する取得部と、第1及び第2のRAWデータを量子化する量子化部と、量子化部で量子化した第1及び第2のRAWデータを符号化する符号化部とを備え、量子化部は、第1のRAWデータの明るさで分類した領域ごとに、第1のRAWデータの量子化パラメータ及び第2のRAWデータの量子化パラメータを決定する。【選択図】 図7
Description
本発明は、画素ごとに露光時間が異なる画像データを符号化して記録する技術に関するものである。
従来の撮像装置では、撮像素子によって撮像された生の画像情報(RAWデータ)をデベイヤー処理(デモザイク処理)し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化し、記録媒体に記録するのが一般的である。
一方、撮像素子で得られた直後の未現像の撮像データ(RAWデータ)を記録媒体に格納する撮像装置もある。RAWデータは、撮像素子からの色情報を損ねることなく豊富な色階調数を保ったまま記録されるため、自由度の高い編集が可能である。しかし、RAWデータは記録データ量が膨大であるため、記録メディアに多くの空き領域を必要とするという問題がある。そのため、RAWデータにおいても圧縮符号化を行い、データ量を抑えて記録することが望まれる。
ところで、近年、HDRモニタに代表される高階調な表示装置の普及に伴い、ダイナミックレンジ(以降DRと呼ぶ)の広い高品位な写真や映像のニーズが高まっている。このようなDRの広い写真や映像を得る手法の一つにハイダイナミックレンジ(以降HDRと呼ぶ)合成処理がある。HDR合成処理は、露光量の異なる複数の画像データを加算合成することでDRを拡張する技術である。近年は、HDR合成処理に必要な各種露光画像を1度の撮影で得るため、露光時間の異なる画素を同一平面に配置したクアッドベイヤー配列と呼ばれる撮像デバイスも登場している。特許文献1には、クアッドベイヤー配列の撮像デバイスを使用して、DRの広い画像を得るための合成方法が開示されている。
しかしながら、上述の特許文献1には、合成前のRAWデータを符号化する方法が開示されていない。また、合成前の露光時間の異なる画素信号が混在するRAWデータを符号化する場合、同一平面上に配置された露光時間の異なる画素間でのレベル差が大きいため、高周波成分が多く発生し符号化効率が低下する。そのため、RAWデータを記録する際のデータ量が大きくなる課題があった。
本発明は上述した課題に鑑みてなされたものであり、その目的は、露光時間が異なる画素信号が混在したRAWデータを符号化し記録する際のデータ量を削減することである。
本発明に係わる符号化装置は、画素ごとに異なる露光時間で撮像可能な撮像素子を用いて、第1の露光時間の第1のRAWデータと前記第1の露光時間とは異なる第2の露光時間の第2のRAWデータを取得する取得手段と、前記第1及び第2のRAWデータを量子化する量子化手段と、前記量子化手段で量子化した前記第1及び第2のRAWデータを符号化する符号化手段とを備え、前記量子化手段は、前記第1のRAWデータの明るさで分類した領域ごとに、前記第1のRAWデータの量子化パラメータ及び第2のRAWデータの量子化パラメータを決定することを特徴とする。
本発明によれば、露光時間が異なる画素信号が混在したRAWデータを符号化し記録する際のデータ量を削減することが可能となる。
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
(第1の実施形態)
図1は、撮像装置100の機能構成例を示すブロック図である。撮像装置100は、撮像部101、分離部102、RAW符号化部103、記録処理部104、記録媒体105、メモリI/F106、メモリ107、制御部108を備える。本実施形態における撮像装置100は、画素毎に露光量が制御可能(露光時間が異なる画像を撮像可能)な撮像素子を備える。
図1は、撮像装置100の機能構成例を示すブロック図である。撮像装置100は、撮像部101、分離部102、RAW符号化部103、記録処理部104、記録媒体105、メモリI/F106、メモリ107、制御部108を備える。本実施形態における撮像装置100は、画素毎に露光量が制御可能(露光時間が異なる画像を撮像可能)な撮像素子を備える。
撮像部101は、フォーカス制御及び光学ズーム制御が可能なレンズ光学系と、光量を調節する絞りと、光電変換素子を有する画素が複数、2次元的に配列されたイメージセンサ(撮像素子)とを含む。イメージセンサは、レンズ光学系により結像された被写体光学像を各画素で光電変換し、その信号をA/D変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号(すなわちRAWデータ)を出力する。イメージセンサには、CCDイメージセンサやCMOSイメージセンサなどが用いられる。なお、本実施形態において、イメージセンサの各画素には、図2に示すようにR(赤)、G1/G2(緑)、B(青)の何れかのカラーフィルタが設けられている。本実施形態のイメージセンサの画素配列は、図2に示すように、一般的なベイヤー配列とは異なり、同色成分が隣接するような画素配列となっている。DR(ダイナミックレンジ)を拡張するために、異なる露光時間の同色画素が隣接して配置されているが、その詳細な説明は後述する。なお、撮像部101から出力されるRAWデータ(RAW画像データ、画素データ)は、メモリI/F106を介してメモリ107に格納される。
分離部102は、撮像部101で取得されたRAWデータを露光時間ごとのRAWデータに分離する。メモリ107に格納されているRAWデータをメモリI/F106を介して読み出して、露光時間ごとのRAWデータに分離して、RAW符号化部103へ出力する。分離部102で行うRAWデータの分離方法の詳細は後述する。
RAW符号化部103は、RAWデータに対する演算を行う回路またはモジュールであり、分離部102から入力されたRAWデータを符号化する。RAW符号化部103は、符号化によって生成した符号化データをメモリI/F106を介してメモリ107に出力する。
記録処理部104は、メモリ107へ格納された符号化データ等の各種データを、メモリI/F106を介して読み出し、記録媒体105へ記録する。記録媒体105は、大容量のランダムアクセス可能な、例えば不揮発性メモリで構成される記録メディアである。
メモリI/F106は、各処理部からのメモリ・アクセス要求を調停し、メモリ107に対する読み出し/書き込み制御を行う。メモリ107は、例えばSDRAMなどの揮発性メモリであり、記憶手段として動作する。メモリ107は、上述の画像データ、音声データ等の各種のデータ、あるいは撮像装置100を構成する各処理部から出力される各種データを格納するための記憶領域を提供する。
制御部108は、撮像部101、分離部102、RAW符号化部103、記録処理部104の動作を制御する。
次に、撮像部101の画素配列について図2を参照して説明する。図2に示す撮像部101の画素配列では、2×2の画素グループごとにR画素、G1画素、G2画素、B画素が配置されており、同一色の画素が2×2画素ごとに配列されている。そして、図2に太線で囲んで示した4×4画素を最小単位として、この最小単位が繰り返し配列されている。
図2に示す画素配列における露光時間の設定について、図3を参照して説明する。図3では、水平方向をx方向、垂直方向をy方向として、列番号をx座標で表し、行番号をy座標で表している。括弧で示した数字はイメージセンサ上の各画素の位置を示す座標を示している。また、白色の画素が短時間露光画素、灰色の画素が長時間露光画素である。本実施形態においては、図3に示すように、列方向にジグザグ状に短時間露光を行う短時間露光画素と長時間露光を行う長時間露光画素が配置されている。
例えば、図3の左上端の4つのR画素の露光時間の設定は以下のとおりである。R(1,1)は短時間露光画素、R(2,1)は長時間露光画素、R(1,2)は長時間露光画素、R(2,2)は短時間露光画素である。このように各列において短時間露光画素と長時間露光画素が交互に配置され、また各行に短時間露光画素と長時間露光画素が交互に配置された構造となっている。第1列と、第2列においてy方向に短時間露光画素のみを辿ると、上から第1行では第1列が短時間露光画素、第2行では第2列が短時間露光画素、第3行では第1列が短時間露光画素、第4行では第2列が短時間露光画素である。同様に、第1列と、第2列においてy方向に長時間露光画素のみを辿ると、上から第1行では第2列が長時間露光画素、第2行では第1列が長時間露光画素、第3行では第2列が長時間露光画素、第4行では第1列が長時間露光画素である。
以上のように、本実施形態の画素配列とその露光時間の設定では、同一色の画素が2×2画素単位で配置され、この4画素中に2つの短時間露光画素と2つの長時間露光画素が配置されている。
ここで、撮像部101でRAWデータを取得した状態のまま、すなわち露光時間の異なる画素が混在したまま符号化しようとすると、露光時間が異なる画素間でのレベル差が大きいため、高周波成分が多く発生しRAWデータの記録データ量が大きくなってしまう。そこで本実施形態では、分離部102で露光時間ごとのRAWデータに分離して、画素間のレベルを合わせて高周波成分を抑制し、RAWデータの記録データ量を削減する。
次に、その分離方法に関して図4を参照して説明する。分離部102は、図4(a)~図5(b)に示すように、撮像部101から入力されるRAWデータを、短時間露光画素のみで構成するRAWデータと長時間露光画素のみで構成するRAWデータにそれぞれ分離して、RAW符号化部103へ出力する。
具体的には、短時間露光画素のみで構成されるRAWデータは、図4(a)の401aと図4(b)の401bに示す2面の短時間露光RAWデータに分離される。データ401aは、図4(a)に示すように、奇数行・奇数列のひし形で囲った短時間露光画素を抜き出して構成される短時間露光RAWデータである。また、データ401bは、図4(b)に示すように、偶数行・偶数列のひし形で囲った短時間露光画素を抜き出して構成される短時間露光RAWデータである。
同様にして、長時間露光画素のみで構成されるRAWデータは、図5(a)の401cと図5(b)の401dに示す2面の長時間露光RAWデータに分離される。データ401cは、図5(a)に示すように、奇数行・偶数列のひし形で囲った長時間露光画素を抜き出して構成される長時間露光RAWデータである。また、データ401dは、図5(b)に示すように、偶数行・奇数列のひし形で囲った長時間露光画素を抜き出して構成される長時間露光RAWデータである
RAW符号化部103は、分離部102からベイヤー配列状に入力されるRAWデータ401a,401b,401c,401dをそれぞれ符号化する。RAW符号化部103の詳細な構成は後述する。
RAW符号化部103は、分離部102からベイヤー配列状に入力されるRAWデータ401a,401b,401c,401dをそれぞれ符号化する。RAW符号化部103の詳細な構成は後述する。
なお、ここまでは図2の画素配列を用いて、同一平面上に配置される画素の露光時間が異なる場合の分離部102の分離方法について説明した。次に画素の露光時間を全て同じにした場合の分離部102の動作に関して図6を参照して説明する。
この場合、分離部102は撮像部101で取得したRAWデータに対して図6で示す灰色のひし形で囲った同一の色成分4画素ごと(近傍画素)の画素平均値を算出してデータ501を作成し、RAW符号化部103へ出力する。具体的には、下記の式1~式4に示すように同色成分ごとの加算平均を算出して分離を行う。
続いて、短時間露光RAWデータ401a,401bと長時間露光RAWデータ401c,401dの符号化処理を行うRAWデータ符号化部103の詳細な構成及び処理の流れについて図7に示すブロック図を参照しながら説明する。
RAWデータ符号化部103は、主にチャネル変換部601、周波数変換部602、量子化パラメータ生成部603、量子化部604、符号化部605を備えて構成されている。
チャネル変換部601は、分離部102から入力されるベイヤー配列状のRAWデータを複数のチャネルに変換する。ここでは、ベイヤー配列のR、G1、G2、B毎に4つのチャネルへ変換する。
周波数変換部602は、チャネル単位に所定の分解レベル(以降、levと呼ぶ)で離散ウェーブレット変換による周波数変換処理を行い、生成されたサブバンドデータ(変換係数)を量子化パラメータ生成部603及び量子化部604へ出力する。
図8(a)は、lev=1のサブバンド分割処理に関わる離散ウェーブレット変換を実現するためのフィルタバンクの構成を示している。離散ウェーブレット変換処理を水平、垂直方向に実行した結果、図8(b)に示すように1つの低周波数サブバンド(LL)と3つの高周波数サブバンド(HL,LH,HH)へ分割される。
図8(a)で示すローパスフィルタ(以降、lpfと呼ぶ)及びハイパスフィルタ(以降、hpfと呼ぶ)の伝達関数をそれぞれ下式5、式6に示す。
lpf(Z)=(-Z-2+2Z-1+6+2Z1-Z2)/8 式5
hpf(Z)=(-Z-1+2-Z1)/2 式6
levが1よりも大きい場合には、低周波数サブバンド(LL)に対して階層的にサブバンド分割が実行される。なお、ここでは離散ウェーブレット変換は上記の式5、式6に示すように5タップのlpfと3タップのhpfで構成されているが、これとは異なるタップ数及び異なる係数のフィルタ構成であってもよい。
hpf(Z)=(-Z-1+2-Z1)/2 式6
levが1よりも大きい場合には、低周波数サブバンド(LL)に対して階層的にサブバンド分割が実行される。なお、ここでは離散ウェーブレット変換は上記の式5、式6に示すように5タップのlpfと3タップのhpfで構成されているが、これとは異なるタップ数及び異なる係数のフィルタ構成であってもよい。
量子化パラメータ生成部603は、周波数変換部602により生成されたサブバンドデータ(変換係数)について、所定の係数単位(1係数以上の矩形ブロック、1画素以上の矩形領域))で明るさの特徴量を算出し、特徴量に応じた量子化パラメータを生成する。量子化も同様に所定の係数単位(1係数以上の矩形ブロック)で行われるが、画質の制御性を考慮すると、特徴量の算出単位と揃えることが望ましい。明るさに応じた量子化パラメータの設定方法、および量子化パラメータの生成の流れについての詳細な説明は後述する。そして、生成した量子化パラメータを量子化部604へ出力する。
量子化部604は、周波数変換部602から入力されたサブバンドデータ(変換係数)に対して、量子化パラメータ生成部603から供給される量子化パラメータを用いて量子化処理を行い、量子化後のサブバンドデータ(変換係数)を符号化部605へ出力する。
符号化部605は、量子化部604から入力された量子化後のサブバンドデータ(変換係数)に対して、サブバンド毎にラスタースキャン順で予測差分型エントロピー符号化を行い、生成した符号化RAWデータをメモリ107へ格納する。なお、予測方式やエントロピー符号化方式は、他の方式であってもよい。
ここで、HDR(ハイダイナミックレンジ)合成処理方法について図9を用いて説明する。図9は、HDR合成を行うための処理ブロック図である。撮像装置100は露光量が異なる2枚のRAWデータを記録する構成をとるため、本実施形態におけるHDR合成処理も2枚のRAWデータを対象にHDR合成を行うものとして説明する。なお、各露光RAWデータのうち1つは適正露出で撮像したRAWデータである。もう一方はDR拡張のための補助データとして撮像される露出オーバー或いは露出アンダーとなる露光時間で撮像したRAWデータである。
現像処理部801は、長時間露光RAWデータに対して現像処理を行う。そして生成した現像済みの長時間露光画像をゲイン補正部803へ出力する。現像処理部802は、短時間露光RAWデータに対して現像処理を行う。そして生成した現像済みの短時間露光画像をゲイン補正部804へ出力する。
ゲイン補正部803は、長時間露光画像に対して所定の合成割合に基づくゲイン値を用いてゲイン補正を行う。合成割合については後述する。ゲイン補正部804は、短時間露光画像に対して所定の合成割合に基づくゲイン値を用いてゲイン補正を行う。合成割合については後述する。加算処理部805は、長時間露光画像と短時間露光画像について、同一座標位置にある画素同士の加算処理を行う。
このようにHDR合成処理では、露光量が異なる2枚のRAWデータに対して現像処理を施して生成した画像に対してゲイン補正処理と加算処理を行う。なお、このHDR合成処理は、画像データを構成する各色成分(R、G、B)で同様の処理が行われる。また、現像処理には、デベイヤー処理、輝度色差変換処理、ノイズ除去処理、光学的な歪補正処理などが含まれる。
次に、短時間露光画像データと長時間露光画像データの合成割合について説明する。各露光画像データのいずれが適正露出の画像データかに基づいて、合成割合の考え方が異なる。長時間露光画像データが適正露出の場合と短時間露光画像データが適正露出の場合に分けてそれぞれ説明する。
まず長時間露光画像データが適正露出となる場合の合成割合について説明する。長時間露光画像データが適正露出で撮像される場合、短時間露光画像データは長時間露光画像データに比べて相対的に露光時間が短いため、露出アンダーとなる。
この露光条件で撮像した場合の画像データのヒストグラムの例を図10(a)に示す。図10(a)に示すヒストグラムは、画像データを構成する特定の色成分のヒストグラムである。ヒストグラムの横軸は画像データの明るさを示す画素値、縦軸は画素数である。また、TaとTbは画素の閾値、Tcは画素の上限値を表す。画素値≦Taの条件を満たす領域を暗部、Ta<画素値≦Tbの条件を満たす領域を中間部、Tb<画素値の条件を満たす領域を明部と呼ぶこととする。このヒストグラムでは、長時間露光画像データは、暗部領域と中間部領域においては階調が正しく表現できているものの、明部領域においては、画素上限となるTc以上の領域に多くの画素が存在しており、白飛びの発生によって階調が失われた状態となっている。HDR合成処理では、この白飛びが発生した箇所の階調を広げるために、同一座標位置の短時間露光画像データを合成する。この露光条件におけるHDR合成処理では、適正露出でDRが確保できる暗部領域と中間部領域は長時間露光画像データの合成割合が大きく、適正露出でDRを確保することが難しい明部領域は短時間露光画像データの合成割合が大きくなるようにゲイン補正をして加算処理を行う。
合成割合の例を図10(b)に示す。横軸は長時間露光画像データ(適正露出)の画素値、縦軸は合成割合を示す。図10(b)のグラフは画素値に応じた各露光画像データの合成割合を表しており、各露光画像データの合成割合の合計が常に100%となるように推移している。図10(a)で説明した通り、明部は白飛びが発生する画素が多いことから、図10(b)のグラフでは、閾値Tbを境に、長時間露光画像データの合成割合が画素上限値Tcにおいて0%まで減少するように、また、短時間露光画像データの合成割合が画素上限値Tcにおいて100%まで増加するように推移している。このような合成割合を用いることで、合成後の画像は白飛びの影響を減らしてDRを拡張することが可能となる。なお、説明を分かりやすくするために、閾値Tbを分岐点として合成割合が変化する例について説明したが、各露光画像データの合成割合はこれに限定されるものでない。
上記を踏まえて、長時間露光画像データと短時間露光画像データの合成割合の大小関係を図10(c)に示す。図中のA0は長時間露光画素の暗部の合成割合、A1は長時間露光画素の中間部の合成割合、A2は長時間露光画素の明部の合成割合を表す。また、A3は短時間露光画素の暗部の合成割合、A4は短時間露光画素の中間部の合成割合、A5は短時間露光画素の明部の合成割合を表す。明るさの領域毎の合成割合の大小関係は、暗部はA0>A3、中間部はA1>A4、明部はA2<A5となる。
次に、短時間露光画像データが適正露出となる場合の合成割合について説明する。短時間露光画像データが適正露出で撮像される場合、長時間露光画像データは短時間露光画像データに比べて相対的に露光時間が長いため露出オーバーとなる。
この露光条件で撮像した場合の画像データのヒストグラムの例を図11(a)に示す。図11(a)に示すヒストグラムは、画像データを構成する特定の色成分のヒストグラムである。ヒストグラムの横軸は画像データの明るさを示す画素値、縦軸は画素数である。また、TaとTbは画素の閾値、Tdは画素の下限値を表す。画素値≦Taの条件を満たす領域を暗部、Ta<画素値≦Tbの条件を満たす領域を中間部、Tb<画素値の条件を満たす領域を明部と呼ぶこととする。このヒストグラムでは、短時間露光画像データは、中間部領域と明部領域においては階調が正しく表現できているものの、暗部領域においては、画素下限となるTd以下の領域に多くの画素が存在しており、黒潰れの発生によって階調が失われた状態となっている。HDR合成処理では、この黒潰れが発生した箇所の階調を広げるために、同一座標位置の長時間露光画像データを合成する。この露光条件におけるHDR合成処理は、適正露出でDRが確保できる中間部領域と明部領域は短時間露光画像データの合成割合が大きく、適正露出でDRを確保することが難しい暗部領域は長時間露光画像データの合成割合が大きくなるようにゲイン補正をして加算処理を行う。
次に、合成割合の例を図11(b)に示す。横軸は短時間露光画像データ(適正露出)の画素値、縦軸は合成割合を示す。図11(b)のグラフは、画素値に応じた各露光画像データの合成割合を表しており、各露光画像データの合成割合の合計が常に100%となるように推移している。図11(a)で説明した通り、暗部は黒潰れが発生する画素が多いことから、図11(b)のグラフは、長時間露光画像データの合成割合が画素下限値Tdにおいて100%となるように、また、短時間露光画像データの合成割合が画素下限値Tdにおいて0%となるように推移させている。このような合成割合を用いることで、合成後の画像は黒潰れの影響を減らしてDRを拡張することが可能となる。なお、説明を分かりやすくするために、閾値Tdを分岐点として合成割合が変化する例について説明したが、各露光画像データの合成割合はこれに限定されるものでない。
上記を踏まえて、長時間露光画像データと短時間露光画像データの合成割合の大小関係を図11(c)に示す。図中のB0は短時間露光画素の暗部の合成割合、B1は短時間露光画素の中間部の合成割合、B2は短時間露光画素の明部の合成割合を表す。また、B3は長時間露光画素の暗部の合成割合、B4は長時間露光画素の中間部の合成割合、B5は長時間露光画素の明部の合成割合を表す。明るさの領域毎の合成割合の大小関係は、暗部はB0<B3、中間部はB1>B4、明部はB2>B5となる。
このようにHDR合成処理では、適正露出か否かや、画素値の大きさ(明るさ)に応じて、各露光画像データの合成割合が変わる。合成割合の大きさは画質への影響度であり、合成割合の大きい領域は画質への影響が大きく、合成割合の小さい領域ほど画質への影響は少ない。よって、圧縮記録するRAWデータも、HDR合成処理の合成割合に基づく画質への影響度に応じて符号量を最適に配分する必要がある。すなわち、合成割合が大きい領域ほど符号量を多く割り振ることで画質を担保し、合成割合が小さく画質への影響が軽微な領域の符号量を削減するように量子化パラメータを設定することが重要となる。
続いて、量子化パラメータ生成部603が行う量子化パラメータ生成における基本的な考え方について説明する。これまで説明したように、HDR合成処理を想定した合成割合に応じて量子化パラメータの重みづけを行うことが前提である。これに、画像の視覚特性を考慮した明るさに応じた量子化パラメータの重みづけの考え方を加える。
RAWデータは、現像後のポスト処理においてガンマ補正処理、トーンカーブ補正処理といった輝度レベルの調整が行われる。元の輝度レベルが小さい暗部と元の輝度レベルが大きい明部を比較した場合、同一の輝度レベルに調整をしたとしても暗部のほうが画素値の変動割合が大きい。仮に、暗部と明部とで同一の量子化パラメータで量子化処理を行うと、暗部の方が画素値の変動割合が大きいため、量子化処理による量子化誤差も増幅されて、画質劣化が目立ちやすくなる。一方、輝度レベルの変動割合の小さい明部は、画素値の変動割合も小さいため、量子化誤差の増幅も少なく、画質劣化が目立ちにくい。RAWデータは、ポスト処理後の画質を担保する必要があるため、ポスト処理によって増幅する量子化誤差を考慮して量子化を行う必要がある。また、暗部は明部と比べて相対的にコントラストが小さく、サブバンドデータの信号レベルが小さい。そのため暗部に対して粗い量子化を施すと、量子化後のサブバンドデータが0になりやすい。一度係数が0になってしまうと逆量子化工程で信号を復元することはできず目立った画質劣化が生じる。
このような理由から、画質劣化が目立ちやすい暗部領域は量子化パラメータが小さくなるように、画質劣化が目立ちにくい明部領域は量子化パラメータが大きくなるように制御する。本実施形態では、各サブバンドに対する量子化パラメータをひとまとめにした量子化テーブルを予め用意しておき、合成割合や明るさの特徴量に応じて参照する量子化テーブルを切り替える構成について説明する。この量子化テーブルは、levに応じたサブバンドデータ毎の量子化パラメータによって構成される。画質劣化が目立ちやすい低域サブバンドほど量子化パラメータが小さくなるように、各サブバンドの量子化パラメータが設定される。仮にlev=1であったとすると、各サブバンドの量子化パラメータの大小関係は、1LL<1HL=1LH<1HHのようになる。
この明るさに応じた量子化パラメータの重みづけの考え方を踏まえて、各露光時間で撮像したRAWデータに対する量子化テーブルの設定例を、以下の3つの条件に分けて説明する。なお本実施形態では、明るさの特徴量を暗部、中間部、明部の3つの特徴領域に分類する例について説明する。なお、分類する特徴の定義は図10、図11のヒストグラムと同様である。
[短時間露光RAWデータと長時間露光RAWデータの露光時間が同じ]
この条件では、隣接する同一色成分4画素ごとの画素平均によって1つのRAWデータが生成される(図6参照)。量子化対象となるのは1つのRAWデータで、HDR合成処理が行われることはないため、画素平均によって生成したRAWデータを用いて明るさの特徴分類を行い、分類結果に応じた量子化テーブルを用いて量子化を行う。量子化テーブルの設定例を図12(a)に示す。Q0は暗部の画質を保証する量子化テーブル、Q1は中間の画質を保証する量子化テーブル、Q2は明部の画質を保証する量子化テーブルである。量子化テーブルの大小関係は以下の通りである。
この条件では、隣接する同一色成分4画素ごとの画素平均によって1つのRAWデータが生成される(図6参照)。量子化対象となるのは1つのRAWデータで、HDR合成処理が行われることはないため、画素平均によって生成したRAWデータを用いて明るさの特徴分類を行い、分類結果に応じた量子化テーブルを用いて量子化を行う。量子化テーブルの設定例を図12(a)に示す。Q0は暗部の画質を保証する量子化テーブル、Q1は中間の画質を保証する量子化テーブル、Q2は明部の画質を保証する量子化テーブルである。量子化テーブルの大小関係は以下の通りである。
Q0<Q1<Q2
このように、視覚特性に基づく明るさに応じた量子化テーブルが設定される。
このように、視覚特性に基づく明るさに応じた量子化テーブルが設定される。
[短時間露光RAWデータと長時間露光RAWデータの露光時間が異なり、かつ、短時間露光RAWデータが適正露出の場合]
この条件では、画像データは、短時間露光RAWデータと長時間露光RAWデータに分離される(図4、図5参照)。量子化テーブルの設定例を図12(b)に示す。上述した通り、適正露出で撮像される短時間露光RAWデータは黒潰れが起こりやすいため、露出オーバーで撮像した長時間露光RAWデータを用いて暗部のDRの拡張を行う。図中のQ1とQ2の量子化テーブルについては図12(a)と同様(図12(a)に対応する)である。ここでは新たにQ3、Q4の2つの量子化テーブルが追加される。Q3はHDR合成処理において合成割合が少なく、画質への影響が小さい領域として発生符号量を抑制することを目的としたテーブルである。Q4はHDR合成処理において黒潰れが起こりやすい暗部のDRを拡張するために、符号量を多く割り当てることを目的とした量子化テーブルである。量子化テーブルの大小関係は以下の通りである。
この条件では、画像データは、短時間露光RAWデータと長時間露光RAWデータに分離される(図4、図5参照)。量子化テーブルの設定例を図12(b)に示す。上述した通り、適正露出で撮像される短時間露光RAWデータは黒潰れが起こりやすいため、露出オーバーで撮像した長時間露光RAWデータを用いて暗部のDRの拡張を行う。図中のQ1とQ2の量子化テーブルについては図12(a)と同様(図12(a)に対応する)である。ここでは新たにQ3、Q4の2つの量子化テーブルが追加される。Q3はHDR合成処理において合成割合が少なく、画質への影響が小さい領域として発生符号量を抑制することを目的としたテーブルである。Q4はHDR合成処理において黒潰れが起こりやすい暗部のDRを拡張するために、符号量を多く割り当てることを目的とした量子化テーブルである。量子化テーブルの大小関係は以下の通りである。
Q0≦Q4<Q1<Q2<Q3
または、
Q0<Q4≦Q1<Q2<Q3
Q4の量子化パラメータは、Q0の量子化パラメータ以上で、Q2の量子化パラメータよりも小さい。このように、視覚特性に基づく明るさに応じた量子化テーブルに加えて、合成割合が多い長時間露光RAWデータの暗部に対して比較的小さい量子化テーブルを設定することで、HDR合成処理後の画質を担保することが可能となる。一方、合成割合の少ない短時間露光RAWデータの暗部、長時間露光RAWデータの中間部と明部に大きい量子化テーブルを設定することで、HDR合成処理後の画質を低下させることなく効果的にデータ量を削減することが可能となる。
または、
Q0<Q4≦Q1<Q2<Q3
Q4の量子化パラメータは、Q0の量子化パラメータ以上で、Q2の量子化パラメータよりも小さい。このように、視覚特性に基づく明るさに応じた量子化テーブルに加えて、合成割合が多い長時間露光RAWデータの暗部に対して比較的小さい量子化テーブルを設定することで、HDR合成処理後の画質を担保することが可能となる。一方、合成割合の少ない短時間露光RAWデータの暗部、長時間露光RAWデータの中間部と明部に大きい量子化テーブルを設定することで、HDR合成処理後の画質を低下させることなく効果的にデータ量を削減することが可能となる。
[短時間露光RAWデータと長時間露光RAWデータの露光時間が異なり、かつ、長時間露光RAWデータが適正露出の場合]
この条件でも、画像データは、短時間露光画素で構成されるRAWデータと長時間露光画素で構成されるRAWデータに分離される(図4、図5参照)。量子化テーブルの設定例を図12(c)に示す。上述した通り、適正露出で撮像される長時間露光画素は白飛びが起こりやすいため、露出アンダーで撮像した短時間露光画素を用いて明部のDRの拡張を行う。図中のQ0、Q1、Q3の量子化テーブルについては図12(a)、図12(b)と同様である。ここでは新たにQ5の量子化テーブルが追加される。Q5はHDR合成処理において白飛びが起こりやすい明部のDRを拡張するために、符号を多く割り当てることを目的とした量子化テーブルである。量子化テーブルの大小関係は以下の通りである。
この条件でも、画像データは、短時間露光画素で構成されるRAWデータと長時間露光画素で構成されるRAWデータに分離される(図4、図5参照)。量子化テーブルの設定例を図12(c)に示す。上述した通り、適正露出で撮像される長時間露光画素は白飛びが起こりやすいため、露出アンダーで撮像した短時間露光画素を用いて明部のDRの拡張を行う。図中のQ0、Q1、Q3の量子化テーブルについては図12(a)、図12(b)と同様である。ここでは新たにQ5の量子化テーブルが追加される。Q5はHDR合成処理において白飛びが起こりやすい明部のDRを拡張するために、符号を多く割り当てることを目的とした量子化テーブルである。量子化テーブルの大小関係は以下の通りである。
Q0<Q1≦Q5<Q2<Q3
または、
Q0<Q1<Q5≦Q2<Q3
Q5の量子化パラメータは、Q2の量子化パラメータ以下で、Q0の量子化パラメータよりも大きい。このように、視覚特性に基づく明るさに応じた量子化テーブルに加えて、合成割合が多い短時間露光RAWデータの明部に対して比較的小さい量子化テーブルを設定することで、HDR合成処理後の画質を担保することが可能となる。一方、合成割合の少ない長時間露光RAWデータの明部、短時間露光RAWデータの暗部と中間部に大きい量子化テーブルを設定することで、HDR合成処理後の画質を低下させることなく効果的にデータ量を削減することが可能となる。
または、
Q0<Q1<Q5≦Q2<Q3
Q5の量子化パラメータは、Q2の量子化パラメータ以下で、Q0の量子化パラメータよりも大きい。このように、視覚特性に基づく明るさに応じた量子化テーブルに加えて、合成割合が多い短時間露光RAWデータの明部に対して比較的小さい量子化テーブルを設定することで、HDR合成処理後の画質を担保することが可能となる。一方、合成割合の少ない長時間露光RAWデータの明部、短時間露光RAWデータの暗部と中間部に大きい量子化テーブルを設定することで、HDR合成処理後の画質を低下させることなく効果的にデータ量を削減することが可能となる。
次に量子化処理手順について、図13に示すフローチャートを用いて説明する。本実施形態では、説明を分かりやすくするためにlev=1とし、適正露出となる露光時間で撮像したRAWデータを構成するサブバンドデータを用いて明るさの特徴量を算出するものとする。
明るさの特徴量の算出、および量子化処理は1係数単位で行うものとし、係数毎の明るさの特徴量に応じて、露光時間が異なるそれぞれのRAWデータに適用する量子化テーブル(詳細は図12参照)を一意に決定するように動作する。
本実施形態では、画素毎に露光時間を変えて撮像する際の動作モードをHDRモード、露光時間を変えずに撮像する際の動作モードを通常モードと呼ぶこととする。上述した通り、HDRモードは通常モードに比べて記録するRAWデータの水平サイズ、垂直サイズが倍となるため(図4、図5、図6参照)、それぞれのモードで量子化処理対象のデータ量は異なる。
ステップS1201では、制御部108は、撮像装置100の動作モードがHDRモードであるか否かを判定する。HDRモードである場合はステップS1202に、そうでない場合はステップS1219に処理を進める。
ステップS1202では、制御部108は、短時間露光RAWデータが適正露出であるか否かを判定する。短時間露光RAWデータが適正露出である場合はステップS1203に、そうでない場合はステップS1211に処理を進める。
ステップS1203では、制御部108は、適正露出となる短時間露光サブバンドデータを用いて明るさの特徴量を算出する。明るさの特徴量はG1(緑)成分の1LLサブバンドの係数の大きさを用いる。LLサブバンドはDC成分であることから、明るさを表すことができ、また、G1成分を用いるのは、人間の視覚特性がG成分の変化に敏感で、重要な視覚情報となるためである。
ステップS1204では、制御部108は、ステップS1203で算出した明るさの特徴量と所定の閾値との大小関係に基づき暗部であるか否かを判定する。暗部である場合はステップS1205に、そうでない場合はステップS1206に処理を進める。
ステップS1205では、制御部108は、短時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ3に決定し、長時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ4に決定して量子化処理を実行する。
ステップS1206では、制御部108は、ステップS1203で算出された明るさの特徴量と所定の閾値との大小関係に基づき中間部であるか否かを判定する。中間部である場合はステップS1207に、そうでない場合はステップS1208に処理を進める。
ステップS1207では、短時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ1に、長時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ3に決定して量子化処理を実行する。
ステップS1208では、制御部108は、短時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ2に、長時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ3に決定して量子化処理を実行する。
ステップS1209では、制御部108は、画面内の全サブバンドデータに対する量子化処理が完了したか否かを判定する。全てのサブバンドデータの量子化が完了した場合は処理を終了し、そうでない場合はステップS1210に処理を進める。
ステップS1210では、制御部108は、量子化処理対象係数を更新する。係数の更新が完了するとステップS1203に処理を戻す。
ステップS1211では、制御部108は、適正露出となる長時間露光サブバンドデータを用いて明るさの特徴量を算出する。ステップS1203と同様に明るさの特徴量はG1成分の1LLサブバンドの係数の大きさを用いる。
ステップS1212では、制御部108は、ステップS1211で算出された明るさの特徴量と所定の閾値との大小関係に基づき暗部であるか否かを判定する。暗部である場合はステップS1213に、そうでない場合はステップS1214に処理を進める。
ステップS1213では、短時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ3に、長時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ0に決定して量子化処理を実行する。
ステップS1214では、制御部108は、ステップS1211で算出された明るさの特徴量と所定の閾値との大小関係に基づき中間部であるか否かを判定する。中間部である場合はステップS1215に、そうでない場合はステップS1216に処理を進める。
ステップS1215では、制御部108は、短時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ3に、長時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ1に決定して量子化処理を実行する。
ステップS1216では、制御部108は、短時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ5に、長時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ3に決定して量子化処理を実行する。
ステップS1217では、制御部108は、画面内の全サブバンドデータに対する量子化処理が完了したか否かを判定する。全てのサブバンドデータの量子化が完了した場合は処理を終了し、そうでない場合はステップS1218に処理を進める。
ステップS1218では、制御部108は、量子化処理対象係数を更新する。係数の更新が完了するとステップS1211に処理を戻す。
ステップS1219では、通常モードとなるため、制御部108は、加算平均して生成したRAWデータを周波数変換して得たサブバンドデータを用いて明るさの特徴量を算出する。ステップS1203と同様に、明るさの特徴量は加算平均したG1成分の1LLサブバンドの係数の大きさを用いる。
ステップS1220では、制御部108は、ステップS1219で算出された明るさの特徴量と所定の閾値との大小関係に基づき暗部であるか否かを判定する。暗部である場合はステップS1221に、そうでない場合はステップS1222に処理を進める。
ステップS1221では、制御部108は、RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ0に決定して量子化処理を実行する。
ステップS1222では、制御部108は、ステップS1219で算出された明るさの特徴量と所定の閾値との大小関係に基づき中間部であるか否かを判定する。中間部である場合はステップS1223に、そうでない場合はステップS1224に処理を進める。
ステップS1223では、制御部108は、RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ1に決定して量子化処理を実行する。
ステップS1224では、制御部108は、RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ2に決定して量子化処理を実行する。
ステップS1225では、制御部108は、画面内の全サブバンドデータに対する量子化処理が完了したか否かを判定する。全てのサブバンドデータの量子化が完了した場合は処理を終了し、そうでない場合はステップS1226に処理を進める。
ステップS1226では、制御部108は、量子化処理対象係数を更新する。係数の更新が完了するとステップS1219に処理を戻す。
以上説明したように、本実施形態では分離部102で露光時間ごとにRAWデータを分離して、露光時間が異なる画素間のレベル差をなくし、高周波成分を抑制することによりRAWデータの記録データ量を削減することが可能となる。そして、現像処理後のHDR合成処理を想定した合成割合を考慮した量子化パラメータの重みづけによって、RAWデータの記録データ量を効果的に削減することが可能となる。
なお、本実施形態では、明るさの特徴を3つに分類する例について説明したが、分類する領域の数はこれに限定されるものではなく、特徴の段階を更に増やしてもよい。
また、図13に示したフローチャートでは、G1成分の1LLサブバンドデータを用いて算出した特徴量に基づきその他の色成分のサブバンドデータに対する量子化テーブルを一意に決定するような構成で説明した。しかし、各色成分について独立して特徴量を算出して量子化テーブルを決定するように動作させてもよい。
また、特徴量の算出単位と量子化の処理単位を1係数毎に行う例について説明したが、係数ブロック(2係数以上)を処理単位にしてもよい。
また、図13に示したフローチャートでは、lev=1の例について説明しているが、lev=2以上となる場合は、levに応じてサブバンドデータの水平、垂直サイズが異なる。そのため特徴量の算出単位と量子化の処理単位を同一サイズにすることはできない。仮に、lev=2で、2LLサブバンドデータの1係数単位で特徴量を算出したとする。この場合は、周波数分解におけるサブサンプリングの性質により、lev=1のサブバンドデータは2×2のブロックを量子化の処理単位として設定する必要がある。
また、明るさの特徴量を1LLサブバンドデータの係数の大きさとしたが、複数の色成分の1LLサブバンドデータの係数から算出した平均値や画素を用いる等、その他の方法によって明るさを表す特徴量を生成してもよく、上記の方法に限定されるものではない。
また、チャネル変換部601は、ベイヤー配列のR、G1、G2、Bの色要素毎に4つのチャネルへ変換する例を用いて説明したが、R、G1、G2、Bに対して更に以下の変換式7~10により変換された4つのチャネルへ変換してもよい。
Y=(R+G1+G2+B)/4 式7
C0=R-B 式8
C1=(G0+G1)/2-(R+B)/2 式9
C2=G0-G1 式10
上記の変換式は、輝度と色差で構成される4つのチャネルへの変換例を示している。この場合は、人間の視覚特性を利用して輝度成分の量子化パラメータを小さくし、その他の色差成分に対する量子化パラメータを大きくするように制御すれば符号化効率は高まる。なお、チャネル数と変換方法は上記以外の方法であってもよい。
C0=R-B 式8
C1=(G0+G1)/2-(R+B)/2 式9
C2=G0-G1 式10
上記の変換式は、輝度と色差で構成される4つのチャネルへの変換例を示している。この場合は、人間の視覚特性を利用して輝度成分の量子化パラメータを小さくし、その他の色差成分に対する量子化パラメータを大きくするように制御すれば符号化効率は高まる。なお、チャネル数と変換方法は上記以外の方法であってもよい。
(第2の実施形態)
次に第2の実施形態について説明する。第2の実施形態では、適正露出でないRAWデータについての、合成割合の大きい特徴領域に対する量子化テーブルの決定方法が第1の実施形態と異なる。第1の実施形態では、適正露出でないRAWデータの合成割合が大きい特徴領域に対する量子化テーブルを予め用意した固定パターンを設定していた。そのため、各露光RAWデータが適正露出と極端に異なるような露光時間で撮像されたとすると、明るさに応じた最適な量子化テーブルを選択できず、画質劣化を引き起こしたり、不要に符号を増加させてしまう可能性があった。そこで本実施形態では、合成割合の大きい特徴領域については、適正露出でないRAWデータに対しても明るさの特徴判定を行い、特徴に応じた最適な量子化テーブルを選択することで符号化効率を更に高める方法について説明する。なお、第2の実施形態の撮像装置の構成は第1の実施形態の構成と同様であるため、説明を省略する。
次に第2の実施形態について説明する。第2の実施形態では、適正露出でないRAWデータについての、合成割合の大きい特徴領域に対する量子化テーブルの決定方法が第1の実施形態と異なる。第1の実施形態では、適正露出でないRAWデータの合成割合が大きい特徴領域に対する量子化テーブルを予め用意した固定パターンを設定していた。そのため、各露光RAWデータが適正露出と極端に異なるような露光時間で撮像されたとすると、明るさに応じた最適な量子化テーブルを選択できず、画質劣化を引き起こしたり、不要に符号を増加させてしまう可能性があった。そこで本実施形態では、合成割合の大きい特徴領域については、適正露出でないRAWデータに対しても明るさの特徴判定を行い、特徴に応じた最適な量子化テーブルを選択することで符号化効率を更に高める方法について説明する。なお、第2の実施形態の撮像装置の構成は第1の実施形態の構成と同様であるため、説明を省略する。
本実施形態の量子化処理手順を図14に示す。第1の実施形態との差分は、処理ステップS1301~S1312が追加されている点である。第1の実施形態と同様の処理ステップについては説明を省略し、差分についてのみ説明する。
ステップS1301では、制御部108は、露出オーバーとなる長時間露光サブバンドデータを用いて明るさの特徴量を算出する。第1の実施形態と同様に明るさの特徴量はG1成分の1LLサブバンドの係数の大きさを用いる。
ステップS1302では、制御部108は、ステップS1301で算出された明るさの特徴量と所定の閾値との大小関係に基づき暗部であるか否かを判定する。暗部である場合はステップS1303に、そうでない場合はステップS1304に処理を進める。
ステップS1303では、制御部108は、長時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ0に決定して量子化処理を実行する。
ステップS1304では、制御部108は、ステップS1301で算出された明るさの特徴量と所定の閾値との大小関係に基づき中間部であるか否かを判定する。中間部である場合はステップS1305に、そうでない場合はステップS1306に処理を進める。
ステップS1305では、制御部108は、長時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ1に決定して量子化処理を実行する。
ステップS1306では、制御部108は、長時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ2に決定して量子化処理を実行する。
ステップS1307では、制御部108は、露出アンダーとなる短時間露光サブバンドデータを用いて明るさの特徴量を算出する。第1の実施形態と同様に、明るさの特徴量は、G1成分の1LLサブバンドの係数の大きさを用いる。
ステップS1308では、制御部108は、ステップS1307で算出された明るさの特徴量と所定の閾値との大小関係に基づき暗部であるか否かを判定する。暗部である場合はステップS1309に、そうでない場合はステップS1310に処理を進める。
ステップS1309では、制御部108は、短時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ0に決定して量子化処理を実行する。
ステップS1310では、制御部108は、ステップS1307で算出された明るさの特徴量と所定の閾値との大小関係に基づき中間部であるか否かを判定する。中間部である場合はステップS1311に、そうでない場合はステップS1312に処理を進める。
ステップS1311では、制御部108は、短時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ1に決定して量子化処理を実行する。
ステップS1312では、制御部108は、短時間露光RAWデータを構成する各色成分サブバンドデータの量子化テーブルをQ2に決定して量子化処理を実行する。
以上説明したように、非適正露出の露光時間で撮像したRAWデータに対しても明るさに応じた最適な量子化テーブルを設定することで、符号化効率を更に高めることが可能となる。
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100:撮像装置、101:撮像部、102:分離部、103:RAW符号化部、104:記録処理部、105:記録媒体、106:メモリI/F、107:メモリ、108:制御部
Claims (15)
- 画素ごとに異なる露光時間で撮像可能な撮像素子を用いて、第1の露光時間の第1のRAWデータと前記第1の露光時間とは異なる第2の露光時間の第2のRAWデータを取得する取得手段と、
前記第1及び第2のRAWデータを量子化する量子化手段と、
前記量子化手段で量子化した前記第1及び第2のRAWデータを符号化する符号化手段とを備え、
前記量子化手段は、前記第1のRAWデータの明るさで分類した領域ごとに、前記第1のRAWデータの量子化パラメータ及び第2のRAWデータの量子化パラメータを決定することを特徴とする符号化装置。 - 前記量子化手段は、
前記第1のRAWデータと前記第2のRAWデータのうちどちらが適正露出であるかを判定し、
前記第1のRAWデータが適正露出の場合は、前記第1のRAWデータの明るさで分類した領域ごとに、前記第1のRAWデータの量子化パラメータ及び第2のRAWデータの量子化パラメータを決定し、前記第2のRAWデータが適正露出の場合は、前記第2のRAWデータの明るさで分類した領域ごとに、前記第1のRAWデータの量子化パラメータ及び第2のRAWデータの量子化パラメータを決定する
ことを特徴とする請求項1に記載の符号化装置。 - 前記第1の露光時間は、前記第2の露光時間より短いことを特徴とする請求項2に記載の符号化装置。
- 前記量子化手段は、前記第1のRAWデータについては、暗いと分類された領域の量子化パラメータを、明るいと分類された領域の量子化パラメータよりも大きい量子化パラメータに決定し、前記第2のRAWデータについては、明るいと分類された領域の量子化パラメータを、暗いと分類された領域の量子化パラメータよりも大きい量子化パラメータに決定することを特徴とする請求項3に記載の符号化装置。
- 前記撮像素子により、画素ごとに異なる露光時間で撮像せずに、同じ露光時間で撮像する場合は、
前記取得手段は、近傍にある同一色の画素データを平均した第3のRAWデータを取得し、
前記量子化手段は、前記第3のRAWデータの明るさで分類される領域ごとに、前記第3のRAWデータの量子化パラメータを決定して、前記第3のRAWデータを量子化し、
前記符号化手段は、前記量子化された第3のRAWデータを符号化する
ことを特徴とする請求項2乃至4のいずれか1項に記載の符号化装置。 - 前記量子化手段は、
前記第1のRAWデータが適正露出の場合は、明るいと分類される領域の前記第1のRAWデータの量子化パラメータは、前記第3のRAWデータにおいて明るいと分類される領域で使用する量子化パラメータに対応する量子化パラメータに決定し、
前記第2のRAWデータが適正露出の場合は、暗いと分類される領域の前記第2のRAWデータの量子化パラメータは、前記第3のRAWデータにおいて暗いと分類される領域で使用する量子化パラメータに対応する量子化パラメータに決定する
ことを特徴とする請求項5に記載の符号化装置。 - 前記量子化手段は、
前記第1のRAWデータが適正露出の場合は、明るいと分類される領域の前記第1のRAWデータの量子化パラメータは、前記第3のRAWデータにおいて使用する量子化パラメータよりも大きな値の量子化パラメータに決定し、
前記第2のRAWデータが適正露出の場合は、暗いと分類される領域の前記第2のRAWデータの量子化パラメータは、使用する量子化パラメータよりも大きな値の量子化パラメータに決定する
ことを特徴とする請求項6に記載の符号化装置。 - 前記量子化手段は、前記第1のRAWデータが適正露出の場合には、暗いと分類される領域の前記第2のRAWデータの量子化パラメータを、前記第3のRAWデータにおいて暗いと分類される領域で使用する量子化パラメータ以上であり前記第3のRAWデータにおいて明るいと分類される領域で使用する量子化パラメータよりも小さい値の量子化パラメータに決定することを特徴とする請求項5乃至7のいずれか1項に記載の符号化装置。
- 前記量子化手段は、前記第2のRAWデータが適正露出の場合には、明るいと分類される領域の前記第1のRAWデータの量子化パラメータを、前記第3のRAWデータにおいて明るいと分類される領域で使用する量子化パラメータ以下であり前記第3のRAWデータにおいて暗いと分類される領域で使用する量子化パラメータよりも大きい値の量子化パラメータに決定することを特徴とする請求項5乃至8のいずれか1項に記載の符号化装置。
- 前記量子化手段は、暗部であるか否かを判定する第1の閾値と、明部であるか否かを判定する第2の閾値を用いて、前記第1のRAWデータまたは前記第2のRAWデータの領域ごとに明るさを分類することを特徴とする請求項1乃至9のいずれか1項に記載の符号化装置。
- 前記領域とは、1画素以上の矩形領域であることを特徴とする請求項1乃至10のいずれか1項に記載の符号化装置。
- 前記撮像素子と、
請求項1乃至11のいずれか1項に記載の符号化装置と、
を備えることを特徴とする撮像装置。 - 画素ごとに異なる露光時間で撮像可能な撮像素子を用いて、第1の露光時間の第1のRAWデータと前記第1の露光時間とは異なる第2の露光時間の第2のRAWデータを取得する取得工程と、
前記第1及び第2のRAWデータを量子化する量子化工程と、
前記量子化工程で量子化した前記第1及び第2のRAWデータを符号化する符号化工程とを有し、
前記量子化工程では、前記第1のRAWデータの明るさで分類した領域ごとに、前記第1のRAWデータの量子化パラメータ及び第2のRAWデータの量子化パラメータを決定することを特徴とする符号化方法。 - コンピュータを、請求項1乃至11のいずれか1項に記載の符号化装置の各手段として機能させるためのプログラム。
- コンピュータを、請求項1乃至11のいずれか1項に記載の符号化装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020188302A JP2022077438A (ja) | 2020-11-11 | 2020-11-11 | 符号化装置及び方法、撮像装置、プログラム、記憶媒体 |
US17/327,538 US11483497B2 (en) | 2020-05-29 | 2021-05-21 | Encoding apparatus and method, image capture apparatus, and storage medium |
EP21175208.4A EP3917138A1 (en) | 2020-05-29 | 2021-05-21 | Encoding apparatus and method, image capture apparatus, and storage medium |
CN202110569607.1A CN113747152A (zh) | 2020-05-29 | 2021-05-25 | 编码装置和方法、图像捕获装置以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020188302A JP2022077438A (ja) | 2020-11-11 | 2020-11-11 | 符号化装置及び方法、撮像装置、プログラム、記憶媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022077438A true JP2022077438A (ja) | 2022-05-23 |
Family
ID=81654210
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020188302A Pending JP2022077438A (ja) | 2020-05-29 | 2020-11-11 | 符号化装置及び方法、撮像装置、プログラム、記憶媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022077438A (ja) |
-
2020
- 2020-11-11 JP JP2020188302A patent/JP2022077438A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4083587B2 (ja) | 画質向上方法及びそのための装置 | |
JP5713752B2 (ja) | 画像処理装置、及びその制御方法 | |
US8363123B2 (en) | Image pickup apparatus, color noise reduction method, and color noise reduction program | |
US7868927B2 (en) | Image data generating apparatus, method and program | |
JP5231529B2 (ja) | ビデオカメラ | |
US7444031B2 (en) | Image processing apparatus | |
US7893967B1 (en) | Digital video camera with binning or skipping correction | |
JP3893099B2 (ja) | 撮像システムおよび撮像プログラム | |
WO2004064388A1 (ja) | 画像処理装置および方法 | |
JP2012523790A (ja) | ビデオカメラ | |
JP2004128583A (ja) | 撮像装置、画像処理方法、プログラム及び記録媒体 | |
JP5468930B2 (ja) | 画像処理装置及び画像処理プログラム | |
US20100118186A1 (en) | Signal processing method and signal processing system | |
JP2021103875A (ja) | 画像符号化装置及び画像復号装置、並びにそれらの制御方法及びプログラム、及び、撮像装置 | |
EP3917138A1 (en) | Encoding apparatus and method, image capture apparatus, and storage medium | |
US8345121B2 (en) | Image processing apparatus, method, and program | |
US10497093B2 (en) | Image processing apparatus for minimizing deterioration of image quality of a raw image | |
JP6700798B2 (ja) | 撮像装置及びその制御方法 | |
JP2001061148A (ja) | 圧縮符号化方法,圧縮符号化プログラムを記録した記録媒体,および圧縮符号化方法を実施する電子カメラ | |
KR101434897B1 (ko) | 화상 처리 장치, 및 화상 처리 장치의 제어 방법 | |
JP2022077438A (ja) | 符号化装置及び方法、撮像装置、プログラム、記憶媒体 | |
KR101932538B1 (ko) | 워터마크 처리 장치 및 방법, 그리고 영상 촬영 장치 | |
JP2004187036A (ja) | 輪郭補正システム | |
JP2006295581A (ja) | 撮影システム、および映像信号処理プログラム | |
Sato et al. | Image-processing algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231019 |