JP2019106572A - 画像符号化装置及びその制御方法、並びにプログラム - Google Patents

画像符号化装置及びその制御方法、並びにプログラム Download PDF

Info

Publication number
JP2019106572A
JP2019106572A JP2017236294A JP2017236294A JP2019106572A JP 2019106572 A JP2019106572 A JP 2019106572A JP 2017236294 A JP2017236294 A JP 2017236294A JP 2017236294 A JP2017236294 A JP 2017236294A JP 2019106572 A JP2019106572 A JP 2019106572A
Authority
JP
Japan
Prior art keywords
value
plane
block
quantization
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017236294A
Other languages
English (en)
Other versions
JP7065594B2 (ja
Inventor
晃弘 大石
Akihiro Oishi
晃弘 大石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2017236294A priority Critical patent/JP7065594B2/ja
Priority to US16/205,299 priority patent/US10771785B2/en
Publication of JP2019106572A publication Critical patent/JP2019106572A/ja
Application granted granted Critical
Publication of JP7065594B2 publication Critical patent/JP7065594B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/18Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience

Abstract

【課題】 目標符号量への符号量制御を行いながらも、画質劣化の抑制した符号化データを生成する。【解決手段】 動画像を符号化する画像符号化装置であって、入力した動画像のフレームを、それぞれが単一の成分で構成される複数のプレーンに分離する分離部と、分離して得た複数のプレーンにおける着目プレーンをウェーブレット変換するウェーブレット変換部と、該ウェーブレット変換部で得られた各サブバンドから、画像の同じ領域を表すブロックを順に抽出する抽出部と、量子化パラメータを用いて、ブロック毎にウェーブレット変換係数を量子化する量子化部と、該量子化部による量子化後のウェーブレット変換係数を符号化する符号化部とを有する。ここで、量子化部は、ブロック毎に、当該ブロックの直流値及び交流値に基づいて量子化パラメータを補正するための補正パラメータを決定する決定部を含み、決定部で決定した補正パラメータで補正した量子化パラメータに従って、ウェーブレット変換係数を量子化する。【選択図】 図3

Description

本発明は、動画像の符号化技術に関するものである。
デジタルビデオカメラ等に代表される撮像装置では、撮像センサで得られた生の画像データ(RAW画像)はデベイヤー処理(或いはデモザイク処理とも呼ばれる)され、1つの輝度成分データと2つの色差成分データから成る信号に変換され、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理が行われる。そして、この現像処理された輝度信号及び色差信号は圧縮符号化して、記録媒体に記録されるのが一般的である。
一方で、RAW画像を記録できる装置も存在する。RAW画像は、記録されるデータ量が膨大になるが、現像処理前の実質的に無加工の画像データであり、後になって高度な編集が可能である利点から、上級者が好んで使われる記録画像データの形式である。
ただし、RAW画像は上記の通り、そのデータ量が膨大であるため、限りある記録媒体に記録するために圧縮させたい。しかしながら、撮影条件によっては、この圧縮によって画質劣化を招くことがある。
特開2007−243515号公報
特許文献1には、視覚特性に応じて量子化係数を変更する適応量子化による符号化の構成が記載されている。しかしながら、視覚特性で量子化係数を変更する場合、補正個所の多い画像では、補正度合いが弱くする、もしくは符号量が制御出来なくなってしまう等の問題が発生する。
本発明はかかる問題に鑑みなされたものであり、目標符号量への符号量制御を行いながらも、画質劣化の抑制した符号化データを生成する技術を提供しようとするものである。
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
動画像を符号化する画像符号化装置であって、
入力した動画像のフレームを、それぞれが単一の成分で構成される複数のプレーンに分離する分離手段と、
分離して得た前記複数プレーンにおける着目プレーンをウェーブレット変換するウェーブレット変換手段と、
該ウェーブレット変換手段で得られた各サブバンドから、画像の同じ領域を表すブロックを順に抽出する抽出手段と、
量子化パラメータを用いて、前記ブロック毎にウェーブレット変換係数を量子化する量子化手段と、
該量子化手段による量子化後のウェーブレット変換係数を符号化する符号化手段とを有し、
前記量子化手段は、
前記ブロック毎に、当該ブロックの直流値及び交流値に基づいて前記量子化パラメータを補正するための補正パラメータを決定する決定手段を含み、
前記決定手段で決定した補正パラメータで補正した量子化パラメータに従って、ウェーブレット変換係数を量子化することを特徴とする。
本発明によれば、目標符号量への符号量制御を行いながらも、画質劣化の抑制した符号化データを生成することが可能になる。
実施形態が適用する撮像装置のブロック構成図。 ベイヤ配列の例を示す図。 実施形態におけるRAW圧縮部のブロック構成図。 プレーン分離部のプレーン分離処理を示す図。 ウェーブレット変換によるサブバンドの関係と、符号化するブロックとの関係を示す図。 補正パラメータ無しの場合と補正パラメータ有りの場合における符号量の推移の例を示す図。 実施形態における補正パラメータテーブルの一例を示す図。 実施形態におけるカウンタの例を示す図。 実施形態におけるRAW画像の圧縮符号化処理を示すフローチャート。 G1プレーンの符号化処理の詳細を示すフローチャート。
以下添付図面に従って本発明に係る実施形態を詳細に説明する。
[第1の実施形態]
図1は、第1の実施形態の画像符号化装置が適用する撮像装置100のブロック構成図である。
撮像装置100は、装置全体の制御を司る制御部150、び、ユーザの指示操作を受け付ける操作部151を有する。制御部150は、例えばCPU及びCPUが実行するプログラムを格納したROM及びワークエリアとして使用されるRAMで構成される。そして、撮像装置100は、撮像光学部101、撮像センサ部102、センサ信号処理部103、現像部104、表示処理部105、表示部106、外部出力端子107、RAW圧縮部109、RAW伸長部110、バッファ111、記録部112を有する。
以下は、上記構成における記録時の処理の説明である。この処理は操作部151から記録が指示された場合における制御部150による制御下で行われるものである。
撮像対象となる被写体の光学像は、撮像光学部101を介して、撮像センサ部102上に結像する。撮像センサ部102は、赤、緑、青のカラーフィルタを前面に配置した2次元配列の多数の撮像素子で構成され、それぞれで得られた光の強度に応じた電気信号を生成する。そして、撮像センサ部102は、30フレーム/秒で撮像して得た画像の電気信号を出力する。実施形態における撮像センサ部102のカラーフィルタの配列は、図2に示すようになっている。この配列における2×2画素は、2つの緑(G1、G2)の画素(参照符号1101a,1101b)、1つの青(B)の画素(参照符号1102)、1つの赤(R)の画素(参照符号1103)で構成される。そして、この2×2の画素が周期的に配置されている。このような配列は一般にベイヤー配列と呼ばれる。
撮像センサ部102によって得られた電気信号は、センサ信号処理部103によってデジタルデータに変換され、画素の修復処理が施される。修復処理には、撮像センサ部102における欠落画素や信頼性の低い画素の値に対し、周辺画素値を用いて修復対象の画素を補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサ信号処理部103から出力されるベイヤ配列の画像情報を、生(未現像)の画像を意味するRAW画像もしくはRAW画像データと称す。
現像部104は、センサ信号処理部103、或いは、後述するRAW伸長部110からのRAW画像に対し現像処理を行う。具合的には、現像部104は、RAW画像に対してデベイヤー処理(デモザイク処理)を施し、ホワイトバランス調整を行い、1画素が1つの輝度成分と2つの色差成分から成る信号に変換して、各信号に含まれるノイズを除去、光学的な歪を補正し、画像を適正化するなどの所謂現像処理を行う。そして、現像部104は現像後の画像データを表示処理部105に供給する。
表示処理部105は、現像部104からの画像データを、表示部106の解像度に応じてリサイズし、表示部106に出力し、画像を表示させる。表示処理部105は、現像処理された画像データを映像出力端子107により、外部に接続された表示機器に出力してもよい。映像出力端子107は、例えばHDMI(登録商標)やSDIのような汎用インタフェースである。
RAW圧縮部109は、センサ信号処理部103からのRAW画像を受信し、ウェーブレット変換や、差分符号化等の技術を用いて高能率符号化して符号化データを生成し、RAW画像データの符号化データとしてバッファ111に格納する。記録部112は、バッファに格納された符号化データを、RAW画像のファイルとして、記録媒体113に格納(保存)する。記録媒体113は、内蔵式の大容量メモリやハードディスク、又は、着脱式のメモリカードやネットワーク上の記録領域等であり、その種類は特に問わない。
次に、上記構成における再生時の処理を説明する。この処理は操作部151から再生が指示された場合における制御部150による制御下で行われるものである。
再生動作が開始されると、記録部112は、ユーザが指定したRAW画像の符号化データであるファイルを記録媒体113からバッファ111に読み出す。そして、RAW伸長部110は、バッファ111に読み出されたRAW画像の符号化データを伸長(復号)し、その結果であるRAW画像を現像部104に供給する。これ以降は、記録時と同じであり、伸長して得られRAW画像が表す画像が表示部106に表示される、又は外部出力端子107に接続された不図示の表示装置に表示されることになる。
次に実施形態における特徴であるRAW圧縮部109の構造と処理について詳細に説明する。
図3は、実施形態におけるRAW圧縮部109のブロック構成図である。RAW圧縮部109は、プレーン分離部301、DWT(ウェーブレット変換)部302、バッファ303、ブロック抽出部304、量子化部305、エントロピー符号化部306、符号量算出部307、パラメータ処理部308、符号量制御部309を含む。
プレーン分離部301は、センサ信号処理部103からのRAW画像を受信し、RAW画像を複数プレーンに分離する。具体的には、図4に示すように、プレーン分離部301は、RAW画像を、G1成分のみで構成されるG1プレーン、G2成分のみで構成されるG2プレーン、R成分のみで構成されるRプレーン、及び、B成分のみで構成されるBプレーンに分離する。RAW画像の水平方向画素数をW,垂直方向画素数をHとすると、これら4つのプレーンの各々は水平方向画素数W/2、垂直方向画素数H/2のサイズであり、各プレーンは、1画素1成分のモノクロ多値画像を表すものと言える。そして、プレーン分離部301は、分離処理で得られたG1プレーン、G2プレーン、Rプレーン、Bプレーンをその順にDWT部301に供給する。また、これ以降の処理は、G1プレーン、G2プレーン、Rプレーン、Bプレーンの種類を問わず、1つのプレーン、つまり、モノクロ多値画像としての符号化処理となる。また、以下では、符号化対象のプレーンを着目プレーンと称する。
DTW部302は、プレーン分離部301から供給された着目プレーン(G1プレーン、G2プレーン、Rプレーン、Bプレーンのいずれか)をモノクロ多値画像としてウェーブレット変換する。一般に、ウェーブレット変換は、前回の変換で得られたサブバンドLLに対して再帰的に適用できるが、実施形態では説明を単純化するため、ウェーブレット変換は1回だけ行うものとして説明する。図5は、1回のウェーブレット変換で得られるサブバンドLL,HL,LH,HHの位置関係を示している。DWT部302はウェーブレット変換を行って得た各サブバンド内の変換係数をバッファ303に格納する。
ブロック抽出部304は、バッファ303に格納されたサブバンドLL,HL,LH,HHから、予め設定されたm×n個(複数)の変換係数で構成されるブロック501乃至504をラスタースキャン順に抽出していく。そして、ブロック抽出部304は、抽出したブロック501乃至504を、量子化部305及びパラメータ設定部309に供給する。なお、当業者であればわかるように、ブロック501乃至504は、それぞれが属するサブバンドの種類は異なるものの、符号化対象の画像の同一領域のウェーブレット変換係数の集合を表す。また、以降、符号化しようとしているブロック501乃至504を着目ブロックと称する。
量子化部305は、ブロック抽出部から供給された着目ブロックの変換係数を、符号量制御部308から設定された量子化パラメータQで規定される量子化ステップを用いて量子化し、その結果をエントロピー符号化部306に供給する。
エントロピー符号化部306は、着目ブロックにおける量子化係数をエントロピー符号化し、生成された符号化データをバッファ111(図1参照)に出力する。また、エントロピー符号化部306は、着目ブロックから得られた符号化データの符号量を示す情報を符号量算出部307に供給する。なお、エントロピー符号化としては、ゴロム符号とするが、その種類は問わない。
符号量算出部307は、着目ブロックの直前のブロックまでに発生した符号化データの累積符号量と、直前のブロックの時点での目標符号量との差を算出し、その結果を符号量制御部308に供給する。
1つのサブバンドに含まれるブロック数がNであるとする。また、制御部150から設定される1プレーンの目標符号量をTと表す。故に、1ブロック当たりの目標符号量は『T/N』と表せる。また、着目プレーンの第i番目のブロックをBiと表し、ブロックBiを符号化することで得られた符号化データの符号量をC(Bi)と表す。すると、そのブロックBiから生成された符号の符号量と、1ブロック当たりの目標符号量T/Nの差E(i)は以下のように表せる。
E(i)=C(Bi)−T/N
今、符号化しようとする着目ブロックが第i番目のブロックBkであるとする。つまり、先頭のブロックB1から直前のブロックBi-1までは、符号化が完了しているとする。この場合、符号量算出部307は、最初のブロックB1の差E(1)から、直前のブロックBi-1の差E(i−1)まで累積加算(合算)した値『ΣE(i−1)』(以下、累積符号量差)を求め、符号量制御部308に供給する。
ΣE(i−1)=Σ{C(Bk)−T/N}
又は
ΣE(i−1)=ΣC(Bk)−(i−1)×T/N
(但し、k=1、2、…、i−1)
パラメータ処理部308は、着目ブロックBiのウェーブレット変換係数に基づき、着目ブロック用の量子化パラメータを補正するための補正パラメータPxを算出し、符号量制御部309に設定する(詳細後述)。
符号量制御部309は、次式に従って、着目ブロックBiの量子化パラメータQを決定し、量子化部305に設定する。
Q=Qini+r×ΣE(i−1)+Px …(1)
ここで、Qiniは初期量子化パラメータ、rは制御感度を示す係数であり、これらは共に制御部150より設定されるものである。感度rは、その値が大きいほど、量子化パラメータQの変動幅が大きくなり、符号量の制御が容易となる。反面、ブロック刊での量子化パラメータの差が大きくなりやすいので、ブロック間の画質の差となって現れる。
ここで、式(1)の補正パラメータPxが無い、或いはPx=0の場合について考察する。
図6(a)は、この場合の着目プレーンの符号化処理における符号量の推移を示すグラフである。水平軸がブロック数、垂直軸が符号量を表している。直線601は、y=i×T/Nを表している。直線601は、最終ブロックの位置のプレーンの目標符号量Tと原点とを結ぶ直線と言うこともできる。一方、曲線602は、実際に符号化処理していく過程での累積符号量を表している。具体的には、y=ΣC(Bi)を表している。
図示の如く、直前のブロックBi-1の時点での累積符号量が、直線601を上回った場合、式(1)に従って着目ブロックBi用の量子化パラメータQは、より大きな値に更新される。故に、着目ブロックBiにおける量子化後の変換係数の値は小さくなり易くなり、結果、着目ブロックBiの符号量を少なくなる傾向に制御できる。
一方、直前のブロックBi-1の時点での累積符号量が、直線601を下回った場合、式(1)に従って着目ブロックBi用の量子化パラメータQは、より小さな値に更新される。故に、着目ブロックBiにおける量子化後の変換係数の値は大きくなり易くなり、結果、着目ブロックBiの符号量を増やす傾向に制御できる。
上記の処理を最終ブロックまで継続して行うことで、着目プレーンの総符号量は目標符号量Tに近似させるように制御できる。
しかしながら、上記の符号量制御処理は、専らブロック毎の符号化によって得られた符号量のみに着目したものであり、画質の劣化の程度は考慮されていない。ウェーブレット変換によって得られる変換係数が比較的小さい値の場合、その量子化後の値は0となってしまい、もともと変換係数が持っていた情報が失われてしまう。特に、画像中の暗部から得たウェーブレット変換係数は、どのサブバンドにおいても、概ね小さい値となる傾向がある。この結果、復号して得た画像の暗部は本来有していた階調数よりも少ない階調で表現されることになり、画質は悪いものとなる。そこで、実施形態では、画像における暗部では、量子化パラメータは小さい値になり易くする。
先に説明したように、着目ブロックBiが暗部に属している程度は、ウェーブレット変換で得られた量子化前の変換係数から推定できる。そこで、実施形態におけるパラメータ処理部308は、ウェーブレット変換で得られた着目ブロックBiの変換係数を表すブロック501乃至504に基づき、補正パラメータPxを算出する。つまり、着目ブロックBiが暗部に属している程度が強いほど、符号量制御部309が発生する符号化パラメータが小さくなり易くするための補正パラメータPxを決定する。
具体的には、パラメータ処理部308は、着目ブロックBiのブロック501乃至504におけるウェーブレット変換係数の平均値LLave、HLave、LHave,HHaveを算出する。このうち、HLave、LHave,HHaveの最大値を、着目ブロックの周波数の高低の程度を表す値とする。この値を以降、AC値(又は交流値)と言う。また、LLaveは、着目ブロックの直流成分である明度の程度を表す値とする。以降、この値をDC値(直流値)と言う。
AC=max{HLave,LHave,HHave
DC=LLave
(ここで、max{…}は括弧内の最大値を返す関数である)
そして、パラメータ処理部308は、図7(a)のように、2次元座標空間で示される補正パラメータテーブルを参照し、上記処理で求めた座標{DC,AC}の位置に格納された1つの値を選択し、補正パラメータPxとして符号量制御部309に供給する。
図7(a)の補正パラメータテーブルにおいて、水平右方向が明るさに対応し、垂直下方向が周波数に対応するものである。図示のテーブルでは、明るさ軸について閾値Th_01,Th_02が設定され、周波数軸について閾値Th_10、Th_20が設定されている。そして、これらの閾値により、明度、周波数の座標空間が3×3個の領域に分割される。各領域における括弧内の記号は、その領域が表す補正パラメータの値の正負を表す符号を表し、領域における補正パラメータの関係は次の通りである。
P00<P10<P01=P20<P11=0<P21<P02<P12<P22
つまり、暗く、周波数が低いほどゼロより小さい値となり、明るく、周波数が高くなるほどゼロより大きな値(正の値)となる。
今、着目ブロックBiが符号化対象のプレーンの暗部に属する場合を考察する。この場合、先に説明した理由から、着目ブロックのDC値、AC値は共に小さくなるだろう。結果、パラメータ処理部308は、負の値の補正パラメータをテーブルから選択し、符号量制御部309に補正パラメータPxとして設定することになる。従って、着目ブロックBiを符号化する際に用いられる量子化パラメータQは、先に説明した補正パラメータPxが無い場合と比較して、より小さい値に補正されることになる。そして、符号量制御部309は、この補正後の量子化パラメータを量子化部305に設定することになる。この結果、量子化による情報損失を少なくなるように制御できることになり、特に暗部の画質劣化を抑制できるようになる。
ここで注意したいのは、先に示した式(1)は符号量制御だけでなく、画質劣化の抑制のための補正パラメータPxが新たに加わっている点である。単純に符号量制御だけ行えば図6(a)に示すように、着目プレーンの総符号量を目標符号量Tに近似させることができる。一方、上記DC、AC成分に基づく補正パラメータPxの画質劣化抑制の利き目を必要以上に大きくしてしまうと、図6(b)に示すように、補正過多となってしまい、目標符号量Tよりも多い符号量となるプレーンが連続して発生する可能性がでてくる。
そこで、実施形態のパラメータ処理部308は、このような連続して補正過多に陥らないように、補正パラメータPxを決定する。以下に、その課題の具体的解決する例を示す。
パラメータ処理部308は、図8に示すように、3×3個のカウンタC00乃至C22を有する。カウンタC00乃至C22は、図7(a)に示した補正パラメータテーブルにおける3×3個の補正パラメータP00乃至P22に対応する。そして、パラメータ処理部308は、符号化対象が4つのプレーンのうちのG1プレーンである場合、図7(a)に示す補正パラメータテーブルにおける補正パラメータP00乃至P22の中の1つを選択する度に、対応するカウンタを"1"だけカウントアップする処理を行う。例えば、パラメータ処理部308が、補正パラメータP00を選択し、それを補正パラメータPxとして符号量制御部309に設定した場合、カウンタC00を"1"だけ増加させる。上記の結果、G1プレーンの符号化が完了した場合、カウンタC00乃至C22から、そのG1プレーンを符号化した際に、補正パラメータP00乃至P22の使用頻度がわかる。
なお、G1プレーン以外のG2プレーン、Rプレーン、Bプレーンについては後述することとし、ここではG1プレーンについての説明を継続する。
図7(a)からわかるように、負の値の補正パラメータはP00,P10、P01、P20であるので、G1プレーンの符号化処理で負の値の補正パラメータPxを用いた回数CはC00、C10、C01、C20の合計である。
C=C00+C10+C01+C20
パラメータ処理部308は所定の記憶保持部を有し、G1プレーンの符号化が完了した場合、上記回数Cが表す値を記憶保持部に記憶する。
また、パラメータ処理部308は、G1プレーンの符号化が完了したとき、プレーンの目標符号量Tに対する差分符号量ΣE(N)を記憶保持部に格納する。差分符号量ΣE(N)が0の場合、G1プレーンの符号量が目標符号量Tと同じであることを示す。また、差分符号量ΣE(N)が正の場合、G1プレーンの符号量は目標符号量Tを超えたことを示す。差分符号量ΣE(N)が負の場合はG1プレーンの符号量は目標符号量T未満であったことを示すことになる。
さて、パラメータ処理部308は、着目フレーム(RAW画像)から得た4つのプレーンの中の最初のG1プレーンの符号化を開始するとき、1つ前のフレームのG1プレーン(以下、前G1プレーン、或いは、単に前プレーンと言う)の符号化完了時の差分符号量ΣE(N)と値Cを記憶保持部から読み出す。
そして、パラメータ処理部308は、前G1プレーンの符号化で補正過多があったか否か、つまり、必要以上に負の補正パラメータPxの使い過ぎが原因の符号量増大を招いたか否かを、差分符号量ΣE(N)と値Cに基づき判定する。
具体的には、パラメータ処理部308は、予め設定された正の閾値Th_a、Th_bを用いて、次の条件を満たす場合、前G1プレーンの符号化処理にて、補正過多があったと判定する。
条件: ΣE(N)>Th_a 且つ C>Th_b
前G1プレーンが補正過多であった場合、パラメータ処理部308は、着目G1プレーンの符号化に先立って、図7の補正パラメータテーブルを定義する閾値Th_01、Th_02、Th_10、Th_20を次式(2)に従って更新する。
Th_01←Th_01−ΔT0
Th_02←Th_02−ΔT0
Th_10←Th_10−ΔT1
Th_20←Th_20−ΔT1 …(2)
ここで、ΔT0,ΔT1は、予め設定された正の値である。
上記の結果、図7(a)の補正パラメータテーブルは、同図(b)の補正パラメータテーブルのように更新され、負の補正パラメータが表す論理的な面積は小さくなる分、負の補正パラメータが選択されにくくなる。
そして、着目G1プレーンを符号化する場合、パラメータ処理部308は、ブロック抽出部304から受信したウェーブレット変換係数に基づき、AC値、DC値を算出し、更新後の図7(b)の補正パラメータテーブルを参照して、補正パラメータPxを決定し、符号量制御部309に供給する。
以上の結果、前G1プレーンの符号化にて、補正過多が原因で符号量が目標符号量Tを超過したとしても、その超過状態が連続して発生することを抑制することが可能となる。
なお、上記説明では、補正パラメータテーブルを決める閾値をΔT0,ΔT1で減じるものとしたが、次式(2’)に示すように、係数R0、R1(0<R0,R1<1)を以前の閾値に乗算することで、更新させても良い。
Th_01←Th_01×R0
Th_02←Th_02×R0
Th_10←Th_10×R1
Th_20←Th_20×R1 …(2’)
なお、前G1プレーンの差分符号量ΣE(N)が負となり、且つ、補正パラメータのテーブルの閾値が初期値よりも小さい場合、閾値を元に戻すように増加させるものとする。増加処理は、以下の演算に従って実行すればよいであろう。
Th_01←Th_01+ΔT0
Th_02←Th_02+ΔT0
Th_10←Th_10+ΔT1
Th_20←Th_20+ΔT1 …(3)
上記は着目プレーンから生成されたG1プレーンについてのものであったが、G2プレーン、Rプレーン、Bプレーンにおける符号化処理時における補正パラメータについては以下の通りである。
まず、G2プレーンであるが、このG2プレーンはG1プレーンと同じ色成分であるので、G1プレーンで決定された補正パラメータテーブルをそのまま用いて符号化する。Rプレーンについては、着目G1プレーンを符号化する際に決定した補正パラメータのテーブルの閾値に、所定の値を乗算して、Rプレーン用の補正パラメータのテーブルの閾値を決定する。BプレーンプレーンもRプレーンと同様、着目G1プレーンを符号化する際に決定した補正パラメータのテーブルの閾値に所定の値を乗算して、Rプレーン用の補正パラメータのテーブルの閾値を決定する。
上記を踏まえ、実施形態におけるRAW圧縮部109の符号化処理を図9のフローチャートに従って説明する。
まず、ステップS101にて、制御部150は、RAW画像の動画像の記録に先立ち、動画像の記録の最初のフレームの符号化時に用いるG1プレーン用の補正パラメーテーブルの閾値Th_01、Th_02、Th_10、Th_10を初期化(初期値設定)する。また、制御部150は、Rプレーン、Bプレーン用の補正パラメーテーブルの閾値を初期化する。また、最初のフレームより前のフレームは存在しないが、便宜的に前G1プレーンの差分符号量ΣE(N)が"0"であったとして設定する。
ステップS102にて、パラメータ処理部308は、G1プレーンの補正パラメータテーブルの閾値Th_01、Th_02、Th_10、Th_10を更新すべきか否かを判定する。次に示す条件1、2の少なくとも一方が満たされる場合、更新すべきと判定される。
条件1:前G1プレーンが補正過多であった。
条件2:前G1プレーンの総符号量が目標符号量T未満(つまり、E(N)<0)であり、G1プレーンの補正パラメータテーブルの閾値が、初期設定した値よりも小さい。
先に説明したように、ステップS102では、ΣE(N)=0としているので、条件1、2はいずれも満たされない。故に、最初のフレームの符号化時では、初期設定された補正パラメータテーブルが用いられることになり、処理はステップS105に分岐することになる。
また、先頭以降のフレームの符号化が行われていく過程で上記条件1、条件2のいずれかが満たされた場合、パラメータ処理部308はステップS103にて、G1プレーンの補正パラメータテーブルの閾値を更新する。
具体的には、条件1が満たされた場合、パラメータ処理部308は、先に示した式(1)に従って、G1プレーン用の補正パラメータテーブルの閾値Th_01、Th_02、Th_10、Th_10を更新する。
また、条件2が満たされた場合、パラメータ処理部308は、先に示した式(2)に従って、G1プレーン用の補正パラメータテーブルの閾値Th_01、Th_02、Th_10、Th_10を更新する。
G1プレーンの補正パラメータテーブルの閾値の更新処理を終えると、パラメータ処理部308は処理をステップS104に進める。このステップS104では、更新後のG1プレーンの補正パラメータテーブルの閾値に基づき、Rプレーン及びBプレーンの補正パラメータテーブルの閾値を予め設定された関数やテーブルを用いて決定する。なお、先に説明したようにG2プレーンを符号化する際にはG1プレーンの補正パラメータテーブルをそのまま利用することになるので、更新処理は不要である。
ステップS105にて、プレーン分離部105は、センサ信号処理部103から着目フレームであるRAW画像データを入力し、RAW画像データからG1プレーン、G2プレーン、Rプレーン、Bプレーンの4つのプレーンを生成し、この順番にDWT部302に供給する。この結果、ステップS106におけるG1プレーンの符号化処理、ステップS107におけるG2プレーン、Rプレーン、Bプレーンの符号化処理が行われる。
そして、ステップS108にて、制御部150は、操作部151を介してユーザから動画像の記録終了の指示を受けたか否かを判定する。終了指示があった場合、制御部150はRAW圧縮部109による符号化処理を終了する。また、終了指示が無い場合、制御部150は処理をステップS102に戻し、次のフレームの符号化処理を継続する。
ここで、ステップS106のG1プレーンの符号化処理を図10のフローチャートに従って説明する。
ステップS111にて、DWT部302はプレーン分割部301から供給されたG1プレーンを受信し、ウェーブレット変換を実行する。そして、DWT部302は、ウェーブレット変換で得られた各サブバンドのウェーブレット変換係数をバッファ303に格納する。
ステップS112にて、ブロック抽出部304は、バッファ303から、符号化対象の着目ブロックBi(図5の501乃至504)を抽出し、パラメータ処理部308、量子化部305に供給する。
ステップS113にて、パラメータ処理部308は、ブロック抽出部304より供給された着目ブロックBiのDC値、AC値を算出する。そして、パラメータ処理部308は、算出したDC値,AC値に基づき、補正パラメータテーブル(図7参照)内の補正パラメータP00乃至P22の1つを選択し、それを補正パラメータPxとして符号量制御部309に供給する。このとき、パラメータ処理部308は、図8に示すカウンタC00乃至C22内の該当する1つを"1"だけ増加させる。
ステップS114にて、符号量制御部309は、パラメータ処理部308からの補正パラメータPx、符号量算出部307からの着目ブロックiの直前のブロックまでの差分符号量ΣE(i−1)に基づき、着目ブロックBiの量子化パラメータQを決定する(式(1)参照)。そして、符号量制御部309は、決定した量子化パラメータQを量子化部305に設定する。
ステップS115にて、量子化部305は、ブロック抽出部305から供給された着目ブロックBiのウェーブレット変換係数を量子化する。そして、量子化部305は、量子化後のウェーブレット変換係数をエントロピー符号化部306に供給する。
ステップS116にて、エントロピー符号化部306は、量子化部305からの量子化後の変換係数を符号化して符号化データを生成しバッファ111に出力する。このとき、エントロピー符号化部306は、着目ブロックBiの符号量C(Bi)を符号量算出部307に供給する。
ステップS117にて、符号量算出部307は、符号量算出部307からの符号量C(Bi)を受信し、着目G1プレーンの先頭ブロックから着目ブロックBiまでの差分符号量ΣE(i)を更新する。
そして、制御部150は、ステップS118にて、着目ブロックBiが、着目G1プレーンの最後のブロックであるか否かを判定する。着目ブロックが最後のブロックでない場合、次のブロックの符号化のため、制御部150は処理はS112に戻す。一方、着目ブロックが最後のブロックの場合、制御部150は、符号量制御部309に対し、着目プレーンの差分符号量E(N)、及び、負の補正パラメータの選択回数を表す値Cを記憶部に保存させ、本処理を終える。
以上がG1プレーンの符号化処理である。G2プレーン、Rプレーン、Bプレーンの符号化は、基本的に図9と同じであるので、その説明は省略する。
以上説明したように本実施形態によれば、画像中の暗部の階調性の劣化を抑制しつつ、局所的にはフレームの目標符号量を超えることがあったとしても、フレーム当たりの平均の符号量は目標符号量に近似させることが可能になる。
なお、上記実施形態では、G1プレーンについて補正パラメータテーブルの閾値更新を行うか否かを判定し、R,BプレーンについてはG1プレーンに判定に従うものとした。しかし、G2プレーンはG1プレーンと同じで良いものの、R,BプレーンについてもG1プレーンと同じように判定しても良い。
また、上記実施形態での補正パラメータテーブルは、直流値を表す軸方向、並びに、周波数を表す軸方向を共に3分割した3×3個の領域で構成されるものとした。しかし、この個数に限定されるものではなく、一般にn×m個の補正パラメータを持つテーブルを利用できる。
なお、上記実施形態では、ウェーブレット変換を1回行うものとして説明したが、ウェーブレット変換の回数は特に問わない。例えば、ウェーブレット変換を例えばn回行うものとする。この場合、n回目のウェーブレット変換で得たサブバンドにおけるブロックのサイズは、1回目に対し、水平、垂直とも1/2n-1のサイズとなる。DC値はn回目のサブバンドLL内の変換係数を平均値から求めればよい。そして、AC値は、各段階でのサブバンドをHL、LH,HHの平均値の最大値に、適当な重み係数αを乗算した和を求めればよい。
具体的には、第j回目のウェーブレット変換で得られたサブバンドHL,LH,HHにおける変換係数の平均値をHLave(j),LHave(j),HHave(j)と表現し、j回目用の乗算係数をαjすると、着目ブロックBiのAC値は次式のように表せる。
AC= αn×max{HLave(n)、LHave(n)、HHave(n)+αn-1×max{HLave(n-1)、LHave(n-1)、HHave(n-1)+…+α1×max{HLave(1)、LHave(1)、HHave(1)
そして、ウェーブレット変換をn回行う場合には、パラメータ処理部308は、上記のようにして算出したDC値、AC値に基づいて補正パラメータを選択すればよい。
[第2の実施形態]
上記第1の実施形態では、RAW画像からG1,G2,R,Bプレーンを分離し、それぞれを符号化するものとして説明した。符号化データからRAW画像を再構成できれば良いので、上記4つのプレーンに限定されるものではない。
例えば、プレーン分離部301は、次式(4)に従って1つの明度成分Yと、3つの色差成分C1,C2,C3を算出する。
Figure 2019106572
そして、プレーン分離部301は、単一成分で構成されるYプレーン、C1プレーン、C2プレーン、C3プレーンを生成する。この場合、明度を表すYプレーンについて補正パラメータテーブルの更新処理の可否判定を行い、色差プレーンC1,C2,C3プレーンについては、明度Yプレーンに追従するように更新させていけば良い。RAW伸長部110は、符号化データの復号結果であるY,C1,C2,C3プレーンからG1,G2,R,B値を逆算し、ベイヤ配列のRAW画像を生成すれば良い。
[第3の実施形態]
第1の実施形態では、前G1プレーンの符号化処理にて補正過多があった場合、補正パラメータテーブルの閾値を小さくすることで、着目G1プレーンの符号化処理中には負の補正パラメータの選択されにくくするようにした。しかし、複数のフレームに渡って補正過多が発生する可能性は否定できない。補正過多が連続して発生すると、目標符号量Tを超えるフレームが連続してしまい、許容できる符号量の上限を超える可能性があることを意味する。
そこで、本第3の実施形態では、補正過多の連続するフレーム数が例えばM0になった場合、それ以降では補正パラメータテーブルの閾値Th_01、Th_02、Th_10、Th_20の更新はせず、補正パラメータテーブルの補正パラメータP00乃至P22そのものを補正する例を説明する。
図7に示すように、初期値の設定における補正パラメータP00乃至P22の関係は次に示す関係である。
P00<P10<P01=P20<P11=0<P21<P02<P12<P22
補正過多が発生して、その連続回数がM0回未満の場合には第1の実施形態に従った処理を行う。そして、補正過多がM0回連続した場合、制御部150はパラメータ処理部308に対して、以下の設定を行う。
P00<P10<P01=P20=0<P11<P21<P02<P12<P22
そして、更に、補正過多がM1回連続した場合、制御部150はパラメータ処理部308に対して、以下の設定を行う。
P00<P10=0<P01=P20<P11<P21<P02<P12<P22
つまり、補正過多の回数が増えるほど、明、高周波から暗、低周波に向かって、正の補正パラメータの個数を増やしていく。還元すれば、補正過多の回数が増えるほど、暗、低周波から明、高周波に向かって負の補正パラメータの数を減らしていく。
また、前G1プレーンの差分符号量ΣE(N)が負(目標符号量T未満)になった場合には、制御部150は初期の関係:
P00<P10<P01=P20<P11=0<P21<P02<P12<P22
に戻す処理を行う。
以上の結果、本第3の実施形態によれば、補正過多に起因する符号量増加を抑制できるようになる。なお、第3の実施形態は、第1の実施形態を前提とするものとしたが、第2の実施形態に適用しても構わない。
(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
301…プレーン分離部、302…DWT部、303…バッファ、304…ブロック抽出部、305…量子化部、306…エントロピー符号化部、307…符号量算出部、308…パラメータ処理部、309…符号量制御部

Claims (13)

  1. 動画像を符号化する画像符号化装置であって、
    入力した動画像のフレームを、それぞれが単一の成分で構成される複数のプレーンに分離する分離手段と、
    分離して得た前記複数のプレーンにおける着目プレーンをウェーブレット変換するウェーブレット変換手段と、
    該ウェーブレット変換手段で得られた各サブバンドから、画像の同じ領域を表すブロックを順に抽出する抽出手段と、
    量子化パラメータを用いて、前記ブロック毎にウェーブレット変換係数を量子化する量子化手段と、
    該量子化手段による量子化後のウェーブレット変換係数を符号化する符号化手段とを有し、
    前記量子化手段は、
    前記ブロック毎に、当該ブロックの直流値及び交流値に基づいて前記量子化パラメータを補正するための補正パラメータを決定する決定手段を含み、
    前記決定手段で決定した補正パラメータで補正した量子化パラメータに従って、ウェーブレット変換係数を量子化する
    ことを特徴とする画像符号化装置。
  2. 前記決定手段は、
    量子化対象となる着目ブロックの直流値及び交流値に対応する補正パラメータを、複数の補正パラメータの中から、前記着目ブロックの量子化パラメータを補正するために使用する補正パラメータとして選択し、
    前記複数の補正パラメータにける、各補正パラメータが選択された回数の状態に応じて、直流値及び交流値と前記複数の補正パラメータとの対応関係を変更する
    ことを特徴とする請求項1に記載の画像符号化装置。
  3. 前記量子化手段は、前記着目ブロックより前に生成された符号化データの符号量に従って決定される量子化パラメータを前記決定手段で決定した補正パラメータで補正し、当該補正後の量子化パラメータに従って前記着目ブロックにおけるウェーブレット変換係数を量子化する
    ことを特徴とする請求項2に記載の画像符号化装置。
  4. 第i番目のブロックBiの符号化データの符号量をC(Bi)と表し、
    前記着目プレーンの目標符号量をT、前記着目プレーンに含まれるブロック数をNとし、
    前記着目ブロックが第i番目のブロックBiであって、着目ブロックBiの直流値、交流値に基づいて決定される前記補正パラメータをPxと表したとき、
    前記量子化手段は、前記着目ブロックBi用の量子化パラメータQを、
    Q=Qini+r×Σ{C(Bk)−T/N}+Px
    (ここで、Σはk=1、2、…、i−1の合算を表し、Qiniは初期の量子化パラメータ、rは予め設定された感度を表す係数を示す)
    として決定することを特徴とする請求項3に記載の画像符号化装置。
  5. 第i番目のブロックBiの符号化データの符号量をC(Bi)と表し、
    前記着目プレーンの目標符号量をT、前記着目プレーンに含まれるブロック数をNとし、
    前記着目ブロックが第i番目のブロックBiであって、着目ブロックBiの直流値、交流値に基づいて決定される前記補正パラメータをPxと表したとき、
    前記量子化手段は、前記着目ブロックBi用の量子化パラメータQを、
    Q=Qini+r×Σ{C(Bk)−T/N}+Px
    (ここで、Σはk=1、2、…、i−1の合算を表し、Qiniは初期の量子化パラメータ、rは予め設定された感度を表す係数を表す)
    として決定することを特徴とする請求項3に記載の画像符号化装置。
  6. 前記決定手段は、
    サブバンドLL,HL,LH,HHにおける、前記着目ブロックのウェーブレット変換係数の平均値LLave、HLave、LHave,HHaveを求め、前記着目ブロックの直流値を示すDC値、及び、交流値を示すAC値を次式に従って決定し、
    DC=LLave
    AC=max{HLave,LHave,HHave
    (ここで、max{…}は括弧内の最大値を返す関数である)
    予め設定された直流値と交流値の2次元座標空間に割り当てられた1つの値を、前記DC値、AC値が表す座標に基づいて前記補正パラメータであるPxとして選択する
    ことを特徴とする請求項5に記載の画像符号化装置。
  7. 前記2次元座標空間は、直流値及び交流値の軸方向に沿って予め設定された個数の閾値に従って分割されたn×m個の領域で構成され、
    前記n×m個の領域に割り当てられる値は、直流値が小さく、交流値が小さいほどゼロより小さい値となり、直流値が大きく、交流値が大きいほどゼロより大きな値が割り当てられる
    ことを特徴とする請求項6に記載の画像符号化装置。
  8. 前記着目プレーンが属するフレームの1つ前のフレームにおける、前記着目プレーンと同じ成分のプレーンを前プレーンとしたとき、
    負の値の前記補正パラメータの選択回数が予め設定された回数を上回り、符号化データの符号量が目標符号量を超過したことを表す補正過多が、前記前プレーンにおいてあったか否かを判定する判定手段と、
    前記判定手段により前記前プレーンの符号化にて前記補正過多があったと判定された場合、前記n×m個の領域を決定するための閾値を、より小さい値に補正する補正手段と、
    を更に有することを特徴とする請求項7に記載の画像符号化装置。
  9. 前記分離手段は、ベイヤ配列のフレームの画像から、前記ベイヤ配列の2×2画素それぞれの成分であるG1プレーン、G2プレーン、Rプレーン、Bプレーンを分離する
    ことを特徴とする請求項8に記載の画像符号化装置。
  10. 前記分離手段は、ベイヤ配列のフレームの画像における2×2画素が表すG1,G2,R,Bの値から、1つの明度成分Yと、3つの色差成分C1、C2,C3を次式に従って算出し、Yプレーン、C1プレーン、C2プレーン、C3プレーンを生成する
    Figure 2019106572
    ことを特徴とする請求項8に記載の画像符号化装置。
  11. 前記補正手段の補正が、予め設定されたフレーム数に渡った連続して行われた場合、前記n×m個の領域に割り当てられた値のうち、負の値を持つ領域の個数を減らす手段を更に有することを特徴とする請求項8乃至10のいずれか1項に記載の画像符号化装置。
  12. 動画像を符号化する画像符号化装置の制御方法であって、
    入力した動画像のフレームを、それぞれが単一の成分で構成される複数のプレーンに分離する分離工程と、
    分離して得た前記複数のプレーンにおける着目プレーンをウェーブレット変換するウェーブレット変換工程と、
    該ウェーブレット変換工程で得られた各サブバンドから、画像の同じ領域を表すブロックを順に抽出する抽出工程と、
    量子化パラメータを用いて、前記ブロック毎にウェーブレット変換係数を量子化する量子化工程と、
    該量子化工程による量子化後のウェーブレット変換係数を符号化する符号化工程とを有し、
    前記量子化工程は、
    前記ブロック毎に、当該ブロックの直流値及び交流値に基づいて前記量子化パラメータを補正するための補正パラメータを決定する決定工程を含み、
    前記決定工程で決定した補正パラメータで補正した量子化パラメータに従って、ウェーブレット変換係数を量子化する
    ことを特徴とする画像符号化装置の制御方法。
  13. コンピュータが読み込み実行することで、前記コンピュータに、請求項12に記載の方法の各工程を実行させるためのプログラム。
JP2017236294A 2017-12-08 2017-12-08 画像符号化装置及びその制御方法、並びにプログラム Active JP7065594B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017236294A JP7065594B2 (ja) 2017-12-08 2017-12-08 画像符号化装置及びその制御方法、並びにプログラム
US16/205,299 US10771785B2 (en) 2017-12-08 2018-11-30 Image encoding apparatus, method of controlling the same, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017236294A JP7065594B2 (ja) 2017-12-08 2017-12-08 画像符号化装置及びその制御方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2019106572A true JP2019106572A (ja) 2019-06-27
JP7065594B2 JP7065594B2 (ja) 2022-05-12

Family

ID=66697529

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017236294A Active JP7065594B2 (ja) 2017-12-08 2017-12-08 画像符号化装置及びその制御方法、並びにプログラム

Country Status (2)

Country Link
US (1) US10771785B2 (ja)
JP (1) JP7065594B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10939138B1 (en) * 2019-01-30 2021-03-02 Vulcan Inc. Quality control engine for video decompression
US10979737B1 (en) 2019-01-30 2021-04-13 Vulcan Inc. Key and difference block video compression
US11470355B1 (en) 2019-01-30 2022-10-11 Vulcan Inc. Quality control engine for video compression
US11134276B1 (en) * 2019-01-30 2021-09-28 Vulcan Inc. Key and difference block video decompression
EP3917138A1 (en) * 2020-05-29 2021-12-01 Canon Kabushiki Kaisha Encoding apparatus and method, image capture apparatus, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165154A (ja) * 1992-11-24 1994-06-10 Victor Co Of Japan Ltd 画像符号化装置、画像復号化装置及び画像符号化復号化装置
JPH06189287A (ja) * 1992-12-15 1994-07-08 Sony Corp 画像符号化装置、画像符号化方法、画像復号化装置、および画像復号化方法
JP2016005205A (ja) * 2014-06-18 2016-01-12 キヤノン株式会社 撮像装置、撮像装置の制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4714044B2 (ja) 2006-03-08 2011-06-29 日本放送協会 カラー画像信号符号化装置
ES2628010T3 (es) * 2009-12-16 2017-08-01 Red.Com, Llc Formateo basado en resolución de datos de imagen comprimidos
US9230340B2 (en) * 2012-05-04 2016-01-05 Semiconductor Components Industries, Llc Imaging systems with programmable fixed rate codecs
US9924142B2 (en) * 2012-11-21 2018-03-20 Omnivision Technologies, Inc. Camera array systems including at least one bayer type camera and associated methods

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06165154A (ja) * 1992-11-24 1994-06-10 Victor Co Of Japan Ltd 画像符号化装置、画像復号化装置及び画像符号化復号化装置
JPH06189287A (ja) * 1992-12-15 1994-07-08 Sony Corp 画像符号化装置、画像符号化方法、画像復号化装置、および画像復号化方法
JP2016005205A (ja) * 2014-06-18 2016-01-12 キヤノン株式会社 撮像装置、撮像装置の制御方法

Also Published As

Publication number Publication date
US10771785B2 (en) 2020-09-08
JP7065594B2 (ja) 2022-05-12
US20190182483A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
JP7065594B2 (ja) 画像符号化装置及びその制御方法、並びにプログラム
JP5773984B2 (ja) ビデオカメラ
US8654221B2 (en) Image processing device and method, and program
JP2008533937A (ja) Dctコード化されたビデオの品質を、オリジナルビデオシーケンスを用いて、もしくは用いずに客観評価する装置及び方法
CN108476325B (zh) 用于高动态范围颜色转换校正的介质、方法和设备
CN104702926A (zh) 摄像机
JP2017055267A (ja) 画像符号化装置、画像処理装置、画像符号化方法
US11336896B2 (en) Image encoding apparatus and image decoding apparatus, methods of controlling the same, and non-transitory computer-readable storage medium
JP2016213528A (ja) 画像符号化装置、画像処理装置、画像符号化方法
CN111429357B (zh) 训练数据确定方法、视频处理方法、装置、设备及介质
JP4097587B2 (ja) 画像処理装置および画像処理方法
US10742986B2 (en) High dynamic range color conversion correction
JP4293912B2 (ja) ウェーブレット変換を使用するカラー画像のデータ圧縮
US10497093B2 (en) Image processing apparatus for minimizing deterioration of image quality of a raw image
EP1173026B1 (en) A method of compressing digital images
JP6685198B2 (ja) 撮像装置及びその制御方法及びプログラム
JP6700798B2 (ja) 撮像装置及びその制御方法
CN116074538A (zh) 图像编码设备及其控制方法和计算机可读存储介质
US20020041716A1 (en) Method of compressing digital images
JP2021182700A (ja) 符号化装置及び方法、プログラム、記憶媒体
JP6775339B2 (ja) 画像符号化装置及びその制御方法
JP7256629B2 (ja) 画像符号化装置及びその制御方法及びプログラム
US10715772B2 (en) High dynamic range color conversion correction
JP6812214B2 (ja) 画像符号化装置、画像符号化方法、及びプログラム
JP2023070055A (ja) 画像符号化装置及びその制御方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201110

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220328

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220426

R151 Written notification of patent or utility model registration

Ref document number: 7065594

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151