JP3932244B2 - Image encoding / decoding method and apparatus, and recording medium recording the program - Google Patents

Description

【００１４】
従って、第２直交ベクトル〈ｕ₂'〉は第２基底候補ベクトル〈ｕ₂〉から前記射影分のベクトルを引くことで得られる。
【００１５】
【数２】

【００１６】
図１５（Ｂ）において、次に第３基底候補ベクトル〈ｕ₃〉を第１，第２の基底ベクトル〈ｕ₁'〉，〈ｕ₂'〉に直交化する。この図は３次元的に描かれている。まず第３基底候補ベクトル〈ｕ₃〉を第１基底ベクトル〈ｕ₁'〉に直交化すると上記同様にして中間の直交ベクトル〈ｕ₃''〉が得られる。
【００１７】
【数３】

【００１８】
更にこの中間直交ベクトル〈ｕ₃''〉を第２基底ベクトル〈ｕ₂'〉に直交化すると第３基底ベクトル〈ｕ₃'〉が得られる。
【００１９】
【数４】

【００２０】
図１３に戻り、ステップＳ１２６では得られた直交ベクトル〈ｕ_i'〉を使用し、残差ベクトル〈ｄ_k〉（但し、最初は〈ｄ_j〉）との距離を最小とする様なスカラー係数α_iを求める。
【００２１】
図１５（Ｃ）にその処理イメージを示す。図において、ある時点の残差ベクトルを〈ｄ_k〉とする時に、これを直交ベクトル〈ｕ_i'〉で近似した後の残差ベクトルの二乗ノルムｅｉ＝‖〈ｄ_k〉−α_i〈ｕｉ'〉‖²が最小となるのは、図より明らかなように、直交ベクトル〈ｕｉ'〉にスカラー係数α_iを掛けたものと、残差ベクトル｛〈ｄ_k〉−α_i〈ｕ_ｉ'〉｝とが直交する時（内積＝０）である。従って、スカラー係数α_iは（５）式の関係により求まる。
【００２２】
【数５】

【００２３】
なお、図には残差ベクトル〈ｄ_k〉（但し、ｋ＝０）を他の第１基底候補ベクトル〈ｕ_j'〉で近似した場合が描かれている。第１基底候補ベクトル〈ｕ_j'〉は任意方向をとり得るから、図示のようなイメージとなる。
【００２４】
図１４に戻り、ステップＳ１２７では残差ベクトル〈ｄ_k〉を基底候補ベクトルα_i〈ｕ_i'〉で近似した後の誤差ベクトルの二乗ノルムｅ_iを求める。この演算は（６）式により得られる。
【００２５】
【数６】

【００２６】
ステップＳ１２８ではｅ_i＜Ｅ'か否かを判別する。ｅ_i＜Ｅ'の場合はステップＳ１２９でＥ'の内容をｅ_iで更新する。またその時のα_i，〈ｕ_i'〉，〈ｕ_i〉等に係る情報を配列［α_k］，［ｕ_k'］，［ｕ_k］に保持する。またｅ_i＜Ｅ'でない場合は上記ステップＳ１２９の処理をスキップする。
【００２７】
ステップＳ１３０ではカウンタｉに＋１し、更にステップＳ１３１ではｉ≧Ｎ（＝８１９２）か否かを判別する。ｉ≧Ｎでない場合はステップＳ１２４に戻り、次の基底候補ベクトル〈ｕ_i〉につき上記同様の処理を行う。以下同様にして進み、やがて、ステップＳ１３１の判別でｉ≧Ｎになるとこの段階における全基底候補ベクトル〈ｕ_i〉が試されたことになる。この時、レジスタＥ'は最小の二乗ノルムｅ_iを保持している。
【００２８】
ステップＳ１３２ではＥ’≦Ｚか否かを判別し、Ｅ’≦Ｚでない場合はステップＳ１３３でＥ＝Ｅ'とする。即ち、残差ベクトルの二乗ノルムを更新する。ステップＳ１３４ではｋに＋１し、ステップＳ１２２に戻る。またＥ’≦Ｚの場合はこの処理を抜ける。こうして、最初の残差ベクトル〈ｄ_j〉との差を許容誤差Ｚ以下に近似するための直交基底系α_k〈ｕ_k'〉（ｋ＝１〜ｍ）が得られる。
【００２９】
【発明が解決しようとする課題】
しかし、上記従来方式では基底候補ブロック〈Ｕ_i〉のブロック平均値ａ_iにつきその小数点以下を四捨五入（又は切り捨て等）していたため、画質の改善が頭打ちとなる不都合があった。これを図１６に従って説明する。
【００３０】
図１６（ａ）は基底候補ブロック〈Ｕ_i〉のある行の画素値を列（ｘ）方向に見た場合を示している。実際は１６画素分のブロック平均値であるが、ここでは説明の簡単のため４画素で説明する。図１６（ａ）において、各画素値は「５，２，４，３」からなりそのブロック平均値ａ_i＝３．５である。今、例えばこの小数点以下を切り捨てるとすると、図１６（ｂ）に示す如く、基底候補ベクトル〈ｕ_i〉のブロック平均値ａ_i＝０．５となる。図１６（ｃ）において、復号ブロックのＤＣ値ＤＣ_Jに基底ベクトルβ_k〈ｕ_k〉を加算すると、復号画像のターゲットブロック〈Ｒ_j〉にはＤＣ成分（ａ_i＝０．５）が重畳されてしまう。しかも、基底数が複数の場合は、このようなＤＣ成分は０＜ａ_i＜１の範囲の様々な値でＤＣ_Jに重畳される結果、復号画像ではブロック毎に一種の雑音が重畳された形となり、このため画質の改善が図れなかった。以上のことは小数点以下を四捨五入又は切り上げする場合も同様である。
【００３１】
また、従来のＡＯＴ処理では各基底候補ベクトル〈ｕ_i〉を一々前の基底ベクトル〈ｕ_k'〉に直交化していたため、ＡＯＴ処理に多大の演算と時間を要していた。
【００３２】
本発明は上記従来技術の問題点に鑑み成されたもので、その目的とする所は、より高画質かつ高速の符号／復号が得られる画像符号／復号方法及びその装置並びにそのプログラムを記録した記録媒体を提供することにある。
【００３３】
【課題を解決するための手段】
上記の課題は例えば図１の構成により解決される。即ち、本発明（１）の画像符号方法は、画像データをＢ画素毎にブロック分割して各ブロック平均値からなるＤＣ画像を生成し、該ＤＣ画像の一部を抽出した各ＤＣ画素の下位ｎ（ｎ＝log₂Ｂ）ビットを０にしてＤＣネストとするステップと、符号対象の画素ブロック〈Ｒ_j〉からそのブロック平均値ＤＣ_Jを分離した後の残差ベクトル〈ｄ_j〉の大きさが所定の許容値Ｚを超えると判定した場合に、前記ＤＣネストより順次基底候補ブロック〈Ｕ_ｉ〉を抽出し、該ブロックからブロック平均値ａ_iを分離して基底候補ベクトル〈ｕ_i〉を生成し、該基底候補ベクトルを使用した適応的直交変換（ＡＯＴ）処理により前記残差ベクトルを許容値以下に近似するための１又は２以上の基底ベクトルを求めるステップと、を備えるものである。従って、ブロック平均値ａ_iに小数点以下の端数は生ぜず、整数精度のブロック平均値ａ_iが高速に得られる。また、１回のネスト生成処理でその下位ｎビットを０にされたＤＣネストが効率よく得られる。
【００３４】
また、本発明（２）の画像符号方法は、画像データをＢ画素毎にブロック分割して各ブロック平均値からなるＤＣ画像を生成し、その一部をＤＣネストとするステップと、符号対象の画素ブロックからそのブロック平均値を分離した後の残差ベクトルの大きさが所定の許容値を超えると判定した場合に、前記ＤＣネストより順次基底候補ブロックを抽出し、該ブロックを構成する各ＤＣ画素の下位ｎ（ｎ＝log₂Ｂ）ビットを０にしてからそのブロック平均値を分離して基底候補ベクトル〈ｕ_i〉を生成し、該基底候補ベクトルを使用した適応的直交変換処理により前記残差ベクトルを許容値以下に近似するための１又は２以上の基底ベクトルを求めるステップと、を備えるものである。
【００３６】
上記本発明（１），（２）のような基底候補ベクトル〈ｕ_i〉はその全要素の和（ブロック平均値）が常に０であり、ＤＣ成分が完全に分離されている。従って、復号側でこのような基底ベクトル〈ｕ_k〉を幾つ重ねても不要なＤＣ成分（雑音）は生じない。そして、これにより本ＨＶＱ方式の画質が大幅に改善された。
【００３９】
また好ましくは本発明（３）においては、上記本発明（１）又は（２）において、適応的直交変換処理は ＤＣネストを使用して最初の残差ベクトル〈ｄ〉との差の大きさを最小とするための第１基底ベクトル〈ｕ_１〉を探査する処理を含み、該処理は、ＤＣネストから順次抽出した基底候補ベクトルを〈ｕ_ｉ〉とするときに、
ｈ_i＝〈ｄ・ｕ_i〉²／‖ｕ_i‖²
を最大とする前記基底候補ベクトル〈ｕ_ｉ〉を第１基底ベクトル〈ｕ_１〉として抽出するステップと、該第１基底ベクトル〈ｕ₁〉をその大きさで正規化して第１正規化基底ベクトル〈ｖ₁〉となし、これを保持するステップと、第１スカラー係数α₁を残差ベクトル〈ｄ〉の第１正規化基底ベクトル〈ｖ₁〉への射影分として求め、これを保持するステップと、を備えるものである。
【００４０】
本発明（３）によれば、図１４の従来のステップＳ１２６，Ｓ１２７で行っていたような最初の残差ベクトル〈ｄ〉との差の二乗ノルム‖〈ｄ〉−α_i〈ｕ_i〉‖²を最小とするような条件を上記簡単な演算及び条件で探索できる。従って、ＡＯＴ処理を高速化できる。例えば第１スカラー係数α ₁ の演算は、抽出された第１正規化基底ベクトル〈ｖ ₁ 〉への射影分として一回求めれば良く、演算が大幅に簡略化される。
【００４１】
また好ましくは本発明（４）においては、上記本発明（３）において、適応的直交変換処理は 最初の残差ベクトル〈ｄ〉を第１スカラー係数α₁と第１正規化基底ベクトル〈ｖ₁〉とのスカラー積α_１〈ｖ_１〉により近似した後の第１残差ベクトル〈ｄ_１〉が所定の許容値を超えると判定した場合に、ＤＣネストを使用して第１残差ベクトル〈ｄ_１〉との差の大きさを最小とするための第２基底ベクトル〈ｕ_２〉を探査する処理を含み、該処理は、ＤＣネストから順次抽出した基底候補ベクトルを〈ｕ_ｉ〉とするときに、
ｈ_i＝｛〈ｄ・ｕ_i〉−（〈ｄ・ｕ₁〉〈ｕ₁・ｕ_i〉）／‖ｕ₁‖²｝²
／｛‖ｕ_i‖²−（〈ｕ₁・ｕ_i〉）／‖ｕ₁‖）²｝
を最大とする前記基底候補ベクトル〈ｕ_ｉ〉を第２基底ベクトル〈ｕ_２〉として抽出するステップと、該第２基底ベクトル〈ｕ_２〉を正規化及び第１正規化基底ベクトル〈ｖ₁〉に直交化して第２正規化基底ベクトル〈ｖ_２〉となし、これを保持するステップと、第２スカラー係数α_２を第１残差ベクトル〈ｄ_１〉の第２正規化基底ベクトル〈ｖ_２〉への射影分として求め、これを保持するステップと、を備えるものである。
【００４２】
本発明（４）によれば、上記本発明（３）の効果に加え、上式分子の〈ｄ・ｕ₁〉，‖ｕ₁‖及び分母の‖ｕ_i‖²，‖ｕ₁‖については既に第１基底探索で行った演算結果を利用できるため、ＡＯＴ処理を更に効率化、高速化できる。また、ベクトルの直交化演算も抽出した第２基底ベクトル〈ｕ _２ 〉につき第１正規化基底ベクトル〈ｖ ₁ 〉に対して１回行えば良く、演算が大幅に簡略化される。
【００４３】
また好ましくは本発明（５）においては、上記本発明（４）において、適応的直交変換処理は 第１残差ベクトル〈ｄ_１〉を第２スカラー係数α_２と第２正規化基底ベクトル〈ｖ_２〉とのスカラー積α₂〈ｖ₂〉により近似した後の第２残差ベクトル〈ｄ_２〉が所定の許容値を超えると判定した場合に、ＤＣネストを使用して第２残差ベクトル〈ｄ_２〉との差の大きさを最小とするための第３基底ベクトル〈ｕ_３〉を探査する処理を含み、該処理は、ＤＣネストから順次抽出した基底候補ベクトルを〈ｕ_ｉ〉とするときに、
ｈ_i＝
（〈ｄ・ｕ_i〉−〈ｄ・ｖ₁〉〈ｖ₁・ｕ_i〉−〈ｄ・ｖ₂〉〈ｖ₂・ｕ_i〉）²
／｛‖ｕ_i‖²−〈ｖ₁・ｕ_i〉²−〈ｖ₂・ｕ_i〉²｝
を最大とする前記基底候補ベクトル〈ｕ_ｉ〉を第３基底ベクトル〈ｕ_３〉として抽出するステップと、該第３基底ベクトル〈ｕ_３〉を正規化及び第１正規化基底ベクトル〈ｖ₁〉と第２正規化基底ベクトル〈ｖ_２〉とに直交化して第３正規化基底ベクトル〈ｖ_３〉となし、これを保持するステップと、第３スカラー係数α_３を第２残差ベクトル〈ｄ_２〉の第３正規化基底ベクトル〈ｖ_３〉への射影分として求め、これを保存するステップと、
を備えるものである。
【００４４】
本発明（５）によれば、上記本発明（３），（４）の効果に加え、上式分子の（〈ｄ・ｕ_ｉ〉−〈ｄ・ｖ_１〉〈ｖ_１・ｕ_ｉ〉）及び分母の（‖ｕ_ｉ‖^２−〈ｖ_１・ｕ_ｉ〉^２）については既に第１，第２の基底探索で行った演算結果を利用できるため、こうしてＡＯＴ処理を更に効率化、高速化できる。
【００４５】
また好ましくは本発明（６）においては、上記本発明（３）〜（５）において、適応的直交変換処理は 最初の残差ベクトル〈ｄ〉＝（d_１,d_２…，d_ｎ）との差の大きさを最小とする基底候補ベクトル〈ｕ_i〉＝（u_１,u_２,…，u_ｎ）を探査すべく両者の内積〈ｄ・ｕ_i〉を求める演算を含み、該演算は、基底候補ベクトル〈ｕ_i〉の任意要素（例えばｕ _ｑ ）を残りの要素の一次結合で置き換えると共に、残差ベクトル〈ｄ〉と基底候補ベクトル〈ｕ_i〉との内積〈ｄ・ｕ_i〉を、
〈ｄ・ｕ_i〉＝（ｄ₁−ｄ _ｑ ）ｕ₁＋（ｄ₂−ｄ _ｑ ）ｕ₂＋，
…，＋（ｄ _ｎ −ｄ _ｑ ）ｕ _ｎ
但し、（ｄ _ｑ −ｄ _ｑ ）ｕ _ｑ の項を除く
の積和演算により求めるものである。
【００４６】
本発明（６）においては、上記基底候補ベクトル〈ｕ_i〉の全要素の和が常に０であることにより、その任意要素（例えばｕ _ｑ ）を残りの要素の一次結合で表せる。従って、最初の残差ベクトル〈ｄ〉との内積演算〈ｄ・ｕ_i〉は上式のような積和演算に展開でき、こうして面倒な積和演算の回数を１回分省略できる。ＨＶＱ方式による画像符号処理ではベクトルの内積演算が大量に行われるため、各１回の省略は全体としての符号処理の高速化に大きく貢献する。
【００４７】
また好ましくは本発明（７）においては、上記本発明（３）〜（５）において、ｍ個のスカラー係数α_k(ｋ＝１〜ｍ）とｍ個の正規化基底ベクトル〈ｖ_k〉(ｋ＝１〜ｍ）とからなる正規直交基底系の組をｍ個のスカラー展開計数β_k(ｋ＝１〜ｍ）と前記各正規化基底ベクトルの元となったｍ個の基底候補ベクトル〈ｕ_k〉(ｋ＝１〜ｍ）とからなる非直交基底系の組に変換するステップと、該変換したｍ個のスカラー展開計数β_kと、ＤＣネストからｍ個の基底候補ベクトル〈ｕ_k〉を抽出するための抽出情報とからなる組と、ＤＣ画像とをそれぞれ符号化して符号データを出力するステップと、を更に備えるものである。
このように正規直交基底系α_k，〈ｖ_k〉(ｋ＝１〜ｍ)の組を非直交基底系β_k，〈ｕ_k〉(ｋ＝１〜ｍ)の組に変換することにより、復号側では各基底候補ベクトル〈ｕ_k〉を一々直交化する必要は無く、夫々にβ_kを掛けて加算することにより残差ベクトル〈ｄ_j〉を近似できる。従って、復号処理を簡単かつ高速に行える。
また本発明（８）の画像符号方法は、上記本発明（７）において、ｍ個のスカラー展開係数β₁〜β_ｍのノルムをその大きさ順に並べ替え、０を含む隣接ノルム間の各差分を求め、得られた各差分につき所定ビット数の下位ビットを除く残りの上位ビットにハフマン符号化を適用するものである。
【００４８】
一般にスカラー展開係数β_１〜β_ｍのノルムは様々な値をとり得るが、これらを大きさ順に並べて０を含む隣接ノルム間の各差分をとると、各差分の大きさは互いに近似（又は同一）となる場合が少なくない。そこで、これらの差分値につき所定ビット数の下位ビットを除く残りの上位ビットにハフマン符号を適用することで更なる符号圧縮が可能となる。
【００４９】
また好ましくは本発明（９）においては、上記本発明（１），（３）又は（５）において、適応的直交変換処理で求めた基底ベクトルの数が所定以上の場合は、基底系の符号化に代えて、符号対象ブロックの画像データそのものを符号化するものである。従って、復号画質の改善が図れる。また実際上このような状況は極めて少ないので符号圧縮率に与える影響は極めて少ない。
【００５０】
また上記の課題は例えば図１０の構成により解決される。即ち，本発明（１０）の画像復号方法は、本発明（７）に記載の符号データからＢ画素毎の各ブロック平均値に相当するＤＣ画像を再生し、該ＤＣ画像の一部を抽出した各ＤＣ画素の下位ｎ（ｎ＝log₂Ｂ）ビットを０にしてＤＣネストとするステップと、前記符号データからｍ個のスカラー展開計数と、ｍ個の抽出情報とからなる組を復号するステップと、ターゲットブロックに対するｍ個のスカラー展開計数と、ｍ個の抽出情報によりＤＣネストから抽出した各基底候補ブロックとのスカラー積β_k〈Ｕ_k〉(ｋ＝１〜ｍ）を生成してこれらをブロック毎に累積加算すると共に、該加算結果からそのブロック平均値を分離して残差ベクトル〈ｄ_ｊ〉を生成し、これをターゲットブロックのＤＣ値に合成して画像データを再生するステップと、を備えるものである。従って、ブロック平均値に小数点以下の端数は生ぜず、整数精度のブロック平均値が高速に得られる。
【００５１】
また本発明（１１）の画像復号方法は、本発明（７）に記載の符号データからＢ画素毎の各ブロック平均値に相当するＤＣ画像を再生し、その一部をＤＣネストとするステップと、前記符号データからｍ個のスカラー展開計数と、ｍ個の抽出情報とからなる組を復号するステップと、ターゲットブロックに対するｍ個のスカラー展開計数β_k(ｋ＝１〜ｍ）と、ｍ個の抽出情報によりＤＣネストから抽出した各基底候補ブロック〈Ｕ_k〉(ｋ＝１〜ｍ）につき各ＤＣ画素の下位ｎ（ｎ＝log₂Ｂ）ビットを０にしたもの、とのスカラー積β_k〈Ｕ_k〉(ｋ＝１〜ｍ）を生成してこれらをブロック毎に累積加算すると共に、該加算結果からそのブロック平均値を分離して残差ベクトル〈ｄ_ｊ〉を生成し、これをターゲットブロックのＤＣ値に合成して画像データを再生するステップと、を備えるものである。
【００５２】
本発明（１０），（１１）においては、各選択ブロック〈Ｕ_k〉の下位ｎビットが０にされていることにより、これらを予め累積加算しても、その加算結果はブロックサイズＢ（例えば１６）の整数倍となる。なお、展開係数β_kは整数精度とする。従って、最後にこの累積加算結果をブロック画素数Ｂで除算すれば１回の除算でブロック平均値Ａ_jが効率よく求まる。従って、基底ブロックβ_k〈Ｕ _k〉（ｋ＝１〜ｍ）を重ね合わせる演算を効率よく行える。
【００５４】
また本発明（１２）の画像符号装置は、画像データをＢ画素毎にブロック分割して各ブロック平均値からなるＤＣ画像を生成すると共に、該ＤＣ画像の一部を抽出した各ＤＣ画素の下位ｎ（ｎ＝log₂Ｂ）ビットを０にしてＤＣネストを生成し、メモリに記憶するＤＣネスト生成手段と、符号対象の画素ブロック〈Ｒ_j〉からそのブロック平均値ＤＣ_Jを分離した後の残差ベクトル〈ｄ_j〉の大きさが所定の許容値Ｚを超えると判定した場合に、前記ＤＣネストより順次基底候補ブロックを抽出し、該ブロックからブロック平均値を分離して基底候補ベクトルを生成し、該基底候補ベクトルを使用した適応的直交変換（ＡＯＴ）処理により前記残差ベクトル〈ｄ_j〉を許容値以下に近似するための１又は２以上の基底ベクトルを求める演算手段と、を備えるものである。
【００５５】
また本発明（１３）の画像復号装置は、本発明（７）に記載の符号データからＢ画素毎の各ブロック平均値に相当するＤＣ画像を再生すると共に、該ＤＣ画像の一部を抽出した各ＤＣ画素の下位ｎ（ｎ＝log₂Ｂ）ビットを０にしてＤＣネストを再生し、メモリに記憶するＤＣネスト再生手段と、前記符号データからｍ個のスカラー展開計数と、ｍ個の抽出情報とからなる組を復号する復号手段と、ターゲットブロックに対するｍ個のスカラー展開計数と、ｍ個の抽出情報によりＤＣネストから抽出した各基底候補ブロックとのスカラー積β_k〈Ｕ_k〉(ｋ＝１〜ｍ）を生成してこれらをブロック毎に累積加算すると共に、該加算結果からそのブロック平均値を分離して残差ベクトル〈ｄ_ｊ〉を生成し、これをターゲットブロックのＤＣ値に合成して画像データを再生する画像再生手段と、を備えるものである。
【００５６】
また本発明（１４）の記録媒体は、上記本発明（１）乃至（１１）の何れか１つに記載の処理をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体である。
【００５７】
【発明の実施の形態】
以下、添付図面に従って本発明に好適なる実施の形態を詳細に説明する。なお、全図を通して同一符号は同一又は相当部分を示すものとする。
【００５８】
図２は実施の形態による画像符号装置のブロック図で、図において、３１は復号ＤＣ画像から本発明によるＤＣネストを生成するＤＣネスト生成部、１７は生成されたＤＣネストを記憶するＤＣネストメモリ、３２はＡＯＴ処理を効率よくかつ高速に行う適応的直交変換処理部（ＡＯＴ）、３３は係数変換部、３４は展開係数β_kの更に高圧縮を可能とする符号部である。その他の構成については上記図１３で述べたものと同様でよい。なお、上記各部の特徴は以下の動作説明によって明らかとなる。
【００５９】
図３は実施の形態による画像符号（メイン）処理のフローチャートである。ステップＳ１では原画像メモリ１１に原画像データを読み込む。例えばＲＧＢ系の対象画像をＹＵＶ系に変換して読み込む。Ｙは輝度データ、Ｕ，Ｖは色差データに相当し、Ｕ，Ｖは横２画素の輝度平均を用いてダウンサンプリングされる。一例の輝度データＹは縦９６０×横１２８０画素からなり、画素毎に例えば８ビットが割り付けられている。なお、以下は輝度データＹの処理を中心に述べるが、Ｕ，Ｖについても同様に処理できる。
【００６０】
ステップＳ２では全画像データにつき４×４画素毎のブロック平均（ＤＣ）値を求める。このとき小数点以下は例えば四捨五入される。ステップＳ３では全ＤＣ値を公知の２次元ＤＰＣＭ法等により符号化して出力する。ステップＳ４では全ＤＰＣＭ出力をＩＤＰＣＭ復号してＤＣ画像を再生し、ＤＣ画像メモリ１５に格納する。これは符号側／復号側のＡＯＴ処理条件を同一にするためである。ステップＳ５ではＤＣネスト生成部３１がＤＣ画像からＤＣネストを生成し、ＤＣネストメモリ１７に格納する。なお、ＤＣネストを切り出す領域の選択等は従来と同様でよい。
【００６１】
図７にＤＣネストの生成イメージを示す。図７（ａ）において、本実施の形態ではＤＣ画像メモリ１５から切り出した各ＤＣ画素ＤＣ_Jの下位４ビットをマスク（＝０）してこれをＤＣネストメモリ１７のネスト画素Ｎ_jに記憶する。下位４ビットは２⁴＝Ｂ（Ｂ＝ブロックサイズ１６）又は４＝log₂Ｂの関係にある。下位４ビットをマスクした結果、基底候補ブロック〈Ｕ_i〉の総和は常に１６の整数倍となり、よってこれを１／１６したブロック平均値ａ_iは常に整数となる。従って、基底候補ブロック〈Ｕ_i〉からブロック平均値ａ_iを分離した基底候補ベクトル〈ｕ_i〉のブロック平均値は常に０となる。
【００６２】
図７（ａ），（ｂ）に具体的な数値例をグラフで示す。但し、ここでは説明の簡単のため４画素分の平均をとっている。図７（ｃ）において、復号ブロック〈Ｒ_j〉のＤＣ値ＤＣ_Jに複数の基底ベクトルβ_k〈ｕ_k〉を累積加算しても、各基底ベクトルβ_k〈ｕ_k〉のブロック平均値は常に０であるため、従来のような雑音は重畳されない。これにより画質の大幅な改善が図れた。
【００６３】
図８（ａ）に図７の数値例を表で示す。ＤＣ画素Ａ〜Ｄの合計ＳＵＭ＝２５１であり、その平均値ＡＶ＝２５１／４＝６２．７５（非整数）である。これらのＤＣ画素Ａ〜Ｄをネスト画素Ａ〜Ｄに転送する際に下位４ビットをマスクする。これによりネスト画素Ａ〜Ｄの合計ＳＵＭ＝２２４となり、その平均値ＡＶ＝２２４／４＝５６（整数）となる。更に、ネスト画素Ａ〜Ｄからその平均値ＡＶ＝５６を分離した基底候補ベクトル〈ｕ_i〉の各要素ａ〜ｄは「２４，−２４，８，−８」となり、これらの総和ｓｕｍ＝０（完全平均値分離）となっている。
【００６４】
図８（ｂ）は図８（ａ）と同じ数値例を示している。但し、ＤＣ画素Ａ〜Ｄをそのままネスト画素Ａ〜Ｄにコピーし、ネスト画素Ａ〜Ｄの総和ＳＵＭから下位４ビットをマスク（＝０）する点で異なっている。この方法でも総和ＳＵＭは１６の倍数になるから、ブロック平均値ＡＶ＝６０（整数）となる。しかしこの方法によると、ネスト画素Ａ〜Ｄからその平均値ＡＶ＝６０を分離した基底候補ベクトル〈ｕ_i〉の各要素ａ〜ｄは「３３，−２５，１３，−１０」となり、必ずしもその総和ｓｕｍ＝０（完全平均値分離）とはならない。
【００６５】
なお、図８（ｂ）に示す如くＤＣ画像の一部をそのままＤＣネストにコピーしておき、該ＤＣネストから基底候補ブロック〈Ｕ_i〉をダウンサンプルする時に各画素から下位４ビットをマスク（＝０）しても良い。
【００６６】
図３に戻り、ステップＳ６では原画像メモリ１１及びＤＣ画像メモリ１５に対する各インデクスカウンタｊ，Ｊを共に０に初期化する。但し、ｊは符号対象のターゲットブロック〈Ｒ_j〉のインデクスカウンタ、ＪはＤＣ画素のインデクスカウンタを夫々表す。ステップＳ７ではターゲットブロック〈Ｒ_j〉から対応する復号ＤＣ値ＤＣ_Jを分離して残差ベクトル〈ｄ_j〉を求める。ステップＳ８では残差ベクトルの二乗ノルム‖ｄ_j‖²が許容誤差Ｚより大きいか否かを判別する。‖ｄ_j‖²＞Ｚでない場合はステップＳ１７で基底数「０」を符号出力する。この場合のターゲットブロック〈Ｒ_j〉は後述の交流成分予測法により復号される。また‖ｄ_j‖²＞Ｚの場合はステップＳ９で後述の適応的直交変換処理を行う。
【００６７】
ステップＳ１０では適応的直交変換で生成された基底数ｋ＞４か否かを判別する。因みに、実測ではほとんどの場合にｋ＝１〜３程度の統計結果が得られている。そこで、ｋ＞４の場合はステップＳ１８で基底数「５」を符号出力し、かつターゲットブロック〈Ｒ_j〉の各画素値を符号出力する。またｋ＞４でない場合はステップＳ１１で後述の展開係数β_kへの変換を行う。ステップＳ１２では基底数「ｍ」，展開係数β_k及び非直交基底ベクトル〈ｕ_i〉のインデクス情報ｉを夫々符号出力する。
【００６８】
ステップＳ１３ではカウンタｊ，Ｊに夫々＋１する。但し、カウンタｊに対する＋１は１画素ブロック分の更新を意味する。ステップＳ１４ではｊ≧Ｍ（＝全画像ブロック数）か否かを判別する。ｊ≧Ｍでない場合はステップＳ７に戻り、次のターゲットブロック〈Ｒ_j〉につき上記同様の符号処理を行う。以下同様にして進み、やがて、ステップＳ１４の判別でｊ≧Ｍになると、ステップＳ１５ではハフマン等による符号化を行う。この符号化については後述する。こうして１画像分の符号処理を終了する。
【００６９】
図４〜図６は実施の形態による適応的直交変換処理のフローチャート（１）〜（３）で、必要最少数の直交基底系α_k〈ｖ_k〉（ｋ＝１〜ｍ）を効率よくかつ高速に求め得る場合を示している。なお、以下の説明では上記ステップＳ７で求められた最初の残差ベクトル〈ｄ_j〉を〈ｄ〉で表し、その後に更新される残差ベクトルを〈ｄ_k〉（ｋ＝１〜ｍ）で表す。
【００７０】
図４は第１基底の探索処理を示している。この処理の説明前に、該処理を高速に行うために行った計算上の工夫を説明する。即ち、通常なら第１基底は残差ベクトル〈ｄ〉との差の二乗ノルムｅ_iを最小とする基底候補ベクトル〈ｕ_i〉として求められるが、この関係式を更に展開すると（７）式が得られる。
【００７１】
【数７】

【００７２】
ところで、（７）式右辺第１項の‖d‖²＞０は基底候補によらず一定であるから、同右辺第２項を最大にする〈ｕ_i〉が第１基底となり得る。そこで、この右辺第２項をｈ_iとおく。
【００７３】
【数８】

【００７４】
以下は、ｈ_iを最大とするような第１基底α_k〈ｖ_k〉を探索・決定する処理である。ステップＳ２１では後述の内積演算〈ｄ・ｕ_i〉の前処理として〈ｄ〉の第１６成分を残りの各成分の値から差し引いた１５次元ベクトル〈ｄ'〉を求める。ステップＳ２２ではｉ＝０〜（Ｎ−１）につきｈ_i分子の内積〈ｄ'・ｕ_i〉を求め、これらを配列［Ｐ_i］｛ｉ＝０〜（Ｎ−１）｝に格納する。
【００７５】
この内積演算を具体的に言うと、〈ｕ_i〉は本来１６次元ベクトルであるが、本実施の形態ではそのブロック平均値（全要素の和）＝０により、その第１６成分ｕ₁₆は残りの１５成分の一次結合で表せる。
【００７６】
【数９】

【００７７】
従って、ｈ_i分子の内積〈ｄ・ｕ_i〉をこれと等価な〈ｄ'・ｕ_i〉により求め、こうして積和演算を１回分（全ｉでは８１９２回分）省略できる。
【００７８】
【数１０】

【００７９】
ステップＳ２３ではｉ＝０〜（Ｎ−１）につきｈ_i分母の二乗ノルム‖ｕ_i‖²を求め、これらを配列［Ｌ_i］｛ｉ＝０〜（Ｎ−１）｝に格納する。
【００８０】
【数１１】

【００８１】
配列［Ｌ_i］は一度求めておけば後に結果を利用できる。ステップＳ２４ではｈ_iの最大値を保持するレジスタＥ＝０，基底候補ベクトル〈ｕ_i〉のインデクスカウンタｉ＝０，基底数カウンタｋ＝１に夫々初期化する。
【００８２】
ステップＳ２５ではｈ_i＝Ｐ_i ²／Ｌ_iを求める。ステップＳ２６ではｈ_i＞Ｅか否かを判別する。ｈ_i＞Ｅの場合はステップＳ２７でＥをｈ_iで更新し、かつその時のｉを配列［Ｉ_k］（ｋ＝１）に保持する。またｈ_i＞Ｅでない場合は上記ステップＳ２７の処理をスキップする。
【００８３】
ステップＳ２８ではｉに＋１し、更にステップＳ２９ではｉ≧Ｎ（全候補数）か否かを判別する。ｉ≧Ｎでない場合はステップＳ２５に戻り、次のｈ_iにつき上記同様の最大値探索処理を行う。以下、同様にして進み、やがてｉ≧Ｎになると全ネストブロックの探索終了である。この時、上記配列［Ｉ_k］にはｈ_iを最大とするような第１基底ベクトル〈ｕ₁〉のインデクス値ｉが保持されている。
【００８４】
ステップＳ３０では第１基底ベクトル〈ｕ₁〉を正規化して正規化基底ベクトル〈ｖ₁〉となし、これを配列［Ｖ_k］（ｋ＝１）に格納する。またスカラー係数α₁（〈ｄ〉の〈ｖ₁〉への射影）を求め、これを配列［Ａ_k］（ｋ＝１）に格納する。
【００８５】
ステップＳ３１では残差ベクトル〈ｄ〉を第１基底で近似後の残差ベクトル〈ｄ₁〉＝〈ｄ〉−α₁〈ｖ₁〉により更新する。ステップＳ３２では新たな残差ベクトルの二乗ノルムｅ＝‖ｄ₁‖²を求め、更にステップＳ３３ではｅ≦Ｚか否かを判別する。ｅ≦Ｚの場合はこの段階でＡＯＴ処理を終了し、またｅ≦Ｚでない場合は次いで第２基底の探索処理を行う。
【００８６】
図５は第２基底の探索処理を示している。この処理の説明前に該処理を効率よく行うために行った計算上の工夫を説明する。即ち、通常なら第２基底は残差ベクトル〈ｄ₁〉との差の二乗ノルムｅ_iを最小とする直交ベクトル〈ｕ_i'〉として求められるが、この関係式を更に展開すると（１２）式が得られる。
【００８７】
【数１２】

【００８８】
ここで、直交ベクトル〈ｕ_i'〉は第２基底の候補ベクトル＜ｕ_i＞を第１正規化基底ベクトル＜ｖ₁＞に直交化したものである。
【００８９】
【数１３】

【００９０】
同様にして、上記（１２）式右辺第１項の‖d₁‖²＞０は基底候補によらず一定であるから、同右辺第２項を最大にするような直交ベクトル〈ｕ_i'〉が第２基底となり得る。この右辺第２項をｈ_iとおく。
【００９１】
【数１４】

【００９２】
ｈ_iは、このまま求めても良いが、上記図４の演算結果を効率よく利用するために（１４）式の分母を変形する。即ち、まずｈ_i分子の直交ベクトル〈ｕ_i'〉を基底候補ベクトル〈ｕ_i〉で表すと、ｈ_i分子は（１５）式で表せる。
【００９３】
【数１５】

【００９４】
更に残差ベクトル〈ｄ₁〉を最初の残差ベクトル〈ｄ〉で表すと、ｈ_i分子は（１６）式で表せる。
【００９５】
【数１６】

【００９６】
従って、ｈ_i分子の演算には第１基底探索で得られた演算結果〈ｄ・ｕ₁〉，‖ｕ₁‖を利用できる。また、同様にしてｈ_i分母を変形すると（１７）式で表せる。
【００９７】
【数１７】

【００９８】
従って、ｈ_i分母の演算には第１基底探索で得られた演算結果‖ｕ_i‖²，‖ｕ₁‖を利用できる。以上を（１４）式のｈ_iに代入すると、ｈ_iは（１８−１）式となり、最終的に（１８−２）式で表せる。
【００９９】
【数１８】

【０１００】
ここで、Ｐ_i＝〈ｄ・ｕ_i〉，Ｌｉ＝‖ｕ_ｉ‖²は配列［Ｐ_i］，［Ｌ_ｉ］の演算結果を夫々利用でき、かつＰ_k＝Ｐ₁＝〈ｄ・ｕ₁〉，√（Ｌ_k）＝√（Ｌ₁）＝‖ｕ₁‖も前回の演算結果を利用できる。従って、今回新たに演算するのは〈ｕ_k・ｕ_i〉＝〈ｕ₁・ｕ_i〉の部分である。
【０１０１】
以上を前提として、第２基底の探索は以下の演算処理を行う。即ち、ステップＳ４１ではｋ＝１によりＰ₁＝〈ｄ・ｕ₁〉，L₁＝‖ｕ₁‖²を保持する。これらは上記ステップＳ２２，Ｓ２３で求めた結果を利用できる。なお、添え字の「１」は第１基底〈ｕ₁〉を指すインデクスカウンタｉの内容であり、これは上記ステップＳ２７の処理により配列［Ｉ_k］に保持されている。ステップＳ４２では（１９）式の演算を行い、結果をレジスタη，κに格納する。
【０１０２】
【数１９】

【０１０３】
ステップＳ４３では後述の内積演算〈ｕ₁・ｕ_i〉の前処理として〈ｕ₁〉の第１６成分を残りの各成分の値から差し引いた１５次元ベクトル〈ｗ₁〉を求める。ステップＳ４４ではｉ＝０〜（Ｎ−１）につき内積〈ｗ_k・ｕ_i〉ηを求め、これらを配列［Ｑ_i］に格納する。ステップＳ４５ではｉ＝０〜（Ｎ−１）につき（Ｐ_i−κＱ_i）を求め、これらを配列［Ｐ_i］に格納する。ここで、右辺のＰ_iは上記ステップＳ２２の演算結果であり、更にこのステップＳ４５の演算結果をステップＳ２２の配列［Ｐ_i］に上書き保存することで、配列［Ｐ_i］の内容は過去の演算結果を反映して逐次更新される。ステップＳ４６ではｉ＝０〜（Ｎ−１）につき（Ｌ_i−Ｑ_i ²）を求め、これらを配列［Ｌ_i］に格納（上書）する。ここで、右辺のＬ_iは上記ステップＳ２３の演算結果であり、更にこのステップＳ４６の演算結果をステップＳ２３の配列［Ｌ_i］に上書き保存することで、配列［Ｌ_i］の内容も過去の演算結果を反映して逐次更新される。以上によるｈ_iの繰り返し演算は最終的に（２０）式で表せる。
【０１０４】
【数２０】

【０１０５】
ステップＳ４７ではｈ_iの最大値を保持するレジスタＥ＝０，基底候補ベクトル〈ｕ_i〉のインデクスカウンタｉ＝０に夫々初期化し、かつ基底数カウンタｋに＋１する。この時点でｋ＝２となる。
【０１０６】
ステップＳ４８ではｈ_i＝Ｐ_i ²／Ｌ_iを求める。ステップＳ４９ではｈ_i＞Ｅか否かを判別する。ｈ_i＞Ｅの場合はステップＳ５０でＥをｈ_iで更新し、その時のｉを配列［Ｉ_k］（ｋ＝２）に保持する。またｈ_i＞Ｅでない場合は上記ステップＳ５０の処理をスキップする。
【０１０７】
ステップＳ５１ではｉに＋１し、更にステップＳ５２ではｉ≧Ｎか否かを判別する。ｉ≧Ｎでない場合はステップＳ４８に戻り、次のｈ_iにつき上記同様の最大値探索処理を行う。以下、同様にして進み、やがて、ｉ≧Ｎになると全ネストブロックの探索終了である。この時、上記配列［Ｉ_k］（ｋ＝２）にはｈ_iを最大とするような第２基底ベクトル〈ｕ₂〉のインデクス値ｉが保持されている。
【０１０８】
ステップＳ５３では第２基底ベクトル〈ｕ₂〉を〈ｖ₁〉に正規直交化して正規化基底ベクトル〈ｖ₂〉となし、これを配列［Ｖ_k］（ｋ＝２）に格納する。またスカラー係数α₂（〈ｄ₁〉の〈ｖ₂〉への射影）を求め、これを配列［Ａ_k］（ｋ＝２）に格納する。このように基底ベクトル〈ｕ₂〉の正規直交化とスカラー係数α₂の演算は上記探索結果について１回行えばよく、これによってＡＯＴ処理の大幅な軽量化と高速化が図られる。以下も同様である。
【０１０９】
ステップＳ５４では残差ベクトル〈ｄ₁〉を第２基底で近似後の残差ベクトル〈ｄ₂〉＝〈ｄ₁〉−α₂〈ｖ₂〉により更新する。ステップＳ５５では新たな残差ベクトルの二乗ノルムｅ＝‖ｄ₂‖²を求め、更にステップＳ５６ではｅ≦Ｚか否かを判別する。ｅ≦Ｚの場合はこの段階でＡＯＴ処理を終了し、またｅ≦Ｚでない場合は第３基底の探索処理を行う。
【０１１０】
図６は第３基底の探索処理を示している。この処理の説明前に該処理を効率よく行うために行った計算上の工夫を説明する。即ち、通常なら第３基底は残差ベクトル〈ｄ₂〉との差の二乗ノルムｅ_iを最小とする直交ベクトル〈ｕ_i'〉として求められるが、この関係式を更に展開すると（２１）式が得られる。
【０１１１】
【数２１】

【０１１２】
ここで、直交ベクトル〈ｕ_i'〉は第３基底の候補ベクトル〈ｕ_i〉を第１，第２の正規化基底ベクトル〈ｖ₁〉，〈ｖ₂〉に直交化したものである。
【０１１３】
【数２２】

【０１１４】
同様にして上記（２１）式右辺第１項の‖d₂‖²＞０は基底候補によらず一定であるから、同右辺第２項を最大にするような直交ベクトル〈ｕ_i'〉が第３基底となり得る。この右辺第２項をｈ_iとおく。
【０１１５】
【数２３】

【０１１６】
更にｈ_i分子の直交ベクトル〈ｕ_i'〉を基底候補ベクトル〈ｕ_i〉で表すと、ｈ_i分子は（２４）式で表せる。
【０１１７】
【数２４】

【０１１８】
更に（２４）式の残差ベクトル〈ｄ₂〉を最初の残差ベクトル〈ｄ〉で表すと、ｈ_i分子は（２５）式で表せる。
【０１１９】
【数２５】

【０１２０】
同様にしてｈ_i分母を変形すると（２６）式で表せる。
【０１２１】
【数２６】

【０１２２】
以上を（２３）式のｈ_iに代入すると（２７）式が得られる。
【０１２３】
【数２７】

【０１２４】
ところで、（２７）式分子／分母の各第２項までは既に計算されており、これらには（２８）式の関係がある。
【０１２５】
【数２８】

【０１２６】
従って、ｈ_iの演算は上記（１８−２）式に習って最終的に（２９）式で表せる。
【０１２７】
【数２９】

【０１２８】
（２９）式は内積〈ｕ_k・ｕ_i〉が〈ｖ_k・ｕ_i〉になっていることを除き、上記（１８−２）式と同じ形をしている。従って、これ以降の各基底は図５と同様のルーティンを再帰的に使用することで効率よく求まる。
【０１２９】
以上を前提として、第３基底以降の探索は以下の演算処理を行う。即ち、ステップＳ６１ではｋ＝２によりＰ₂＝〈ｄ₁・ｕ₂〉，L₂＝‖ｕ₂‖²を保持する。ステップＳ６２では（３０）式の演算を行い、結果をレジスタη，κに格納する。
【０１３０】
【数３０】

【０１３１】
ステップＳ６３では後述の内積演算〈ｖ₂・ｕ_i〉の前処理として〈ｖ₂〉の第１６成分を残りの各成分の値から差し引いた１５次元ベクトル〈ｗ₂〉を求める。但し、〈ｖ₂〉の各成分は整数値ではないので、このままでは内積演算を実数型で行う必要が生じる。これを避けるために、予め〈ｖ₂〉(即ち、〈ｗ₂〉）の各成分に定数ａを掛けて整数にしておく。
【０１３２】
ステップＳ６４ではｉ＝０〜（Ｎ−１）につき内積（〈ｗ₂・ｕ_i〉η／ａ）を求め、これらを配列［Ｑ_i］に格納（上書）する。この時、各演算結果を定数ａで割ることにより、位を戻す。ステップＳ６５ではｉ＝０〜（Ｎ−１）につき（Ｐ_i−κＱ_i）を求め、これらを配列［Ｐ_i］に格納（上書）する。ステップＳ６６ではｉ＝０〜（Ｎ−１）につき（Ｌ_i−Ｑ_i ²）を求め、これらを配列［Ｌ_i］に格納（上書）する。以上により上記（２９）式の演算は（３１）式で表せる。
【０１３３】
【数３１】

【０１３４】
ステップＳ６７ではｈ_iの最大値を保持するレジスタＥ＝０，基底候補ベクトル〈ｕ_i〉のインデクスカウンタｉ＝０に夫々初期化し、かつ基底数カウンタｋに＋１する。この時点でｋ＝３となる。
【０１３５】
ステップＳ６８ではｈ_i＝Ｐ_i ²／Ｌ_iを求める。ステップＳ６９ではｈ_i＞Ｅか否かを判別する。ｈ_i＞Ｅの場合はステップＳ７０でＥをｈ_iで更新し、その時のｉを配列［Ｉ_k］（ｋ＝３）に保持する。またｈ_i＞Ｅでない場合は上記ステップＳ７０の処理をスキップする。
【０１３６】
ステップＳ７１ではｉに＋１し、更にステップＳ７２ではｉ≧Ｎか否かを判別する。ｉ≧Ｎでない場合はステップＳ６８に戻り、次のｈ_iにつき上記同様の最大値探索処理を行う。以下、同様にして進み、やがて、ｉ≧Ｎになると全ネストブロックの探索終了である。この時、上記配列［Ｉ_k］（ｋ＝３）にはｈ_iを最大とするような第３基底ベクトル〈ｕ₃〉のインデクス値ｉが保持されている。
【０１３７】
ステップＳ７３では第３基底ベクトル〈ｕ₃〉を〈ｖ₁〉，〈ｖ₂〉に直交化かつ正規化して正規化基底ベクトル〈ｖ₃〉となし、これを配列［Ｖ_k］に格納する。またスカラー係数α₃（〈ｄ₂〉の〈ｖ₃〉への射影）を求め、これを配列［Ａ_k］に格納する。
【０１３８】
ステップＳ７４では残差ベクトル〈ｄ₂〉を第３基底で近似後の残差ベクトル〈ｄ₃〉＝〈ｄ₂〉−α₃〈ｖ₃〉により更新する。ステップＳ７５では新たな残差ベクトルの二乗ノルムｅ＝‖ｄ₃‖²を求め、更にステップＳ７６ではｅ≦Ｚか否かを判別する。ｅ≦Ｚの場合はこの段階でＡＯＴ処理を終了し、またｅ≦Ｚでない場合はステップＳ６１に戻り、第４基底以降の前処理及び探索処理を行う。なお、図示しないが、好ましくは、例えば上記ステップＳ７６の次にｋ≧４か否かの判別処理を設け、ｋ≧４の場合はこのＡＯＴ処理を抜けるようにする。
【０１３９】
以上により、ＡＯＴ処理の大幅な軽量化、かつ高速化が可能となり、演算時間は実測比で従来の１／３〜１／１０に短縮された。
【０１４０】
図２を参照し、ＡＯＴ３２からはα_k，〈ｖ_k〉(ｋ＝１〜ｍ）の組が得られ、これらの一次結合により残差ベクトル〈ｄ_j〉を許容誤差Ｚ以内に近似できる。更に、係数変換部３３はα_k，〈ｖ_k〉(ｋ＝１〜ｍ）の組をβ_k，〈ｕ_k〉(ｋ＝１〜ｍ）の組に変換すべく、以下（従来と同様）の方法により展開係数β_kを求める。即ち、今、基底候補ベクトル〈ｕ_k〉，展開係数β_k，正規化基底ベクトル〈ｖ_k〉，スカラー係数α_kの各行列を（３２）式とおく時に、
【０１４１】
【数３２】

【０１４２】
これらを（３３）式で関係つける。
【０１４３】
【数３３】

【０１４４】
これを行列Ｂについて解くためには、まず行列Ｕを正方行列に変換すべく、両辺に行列Ｕの転置行列Ｕ^Tを左側から掛ける。
【０１４５】
【数３４】

【０１４６】
この行列（Ｕ^TＵ）は、（３５）式の様に展開され、
【０１４７】
【数３５】

【０１４８】
ここで〈ｕ_i・ｕ_j〉は内積を表し、かつ〈ｕ_i・ｕ_j〉＝〈ｕ_j・ｕ_i〉であるから、対角要素に対して対称な正方行列が得られ、かつ〈ｕ_i〉と〈ｕ_j〉とが異なるから、逆行列が存在する。そこで、更に両辺の左側から行列（Ｕ^TＵ）の逆行列（Ｕ^TＵ）^-1を掛けることで（３６）式が得られ、β_kが求まる。
【０１４９】
【数３６】

【０１５０】
このように正規直交基底系α_k，〈ｖ_k〉(ｋ＝１〜ｍ）の組を非直交基底系β_k，〈ｕ_k〉(ｋ＝１〜ｍ）の組に変換することにより、復号側では各基底候補ベクトル〈ｕ_k〉を一々直交化する必要は無く、夫々にβ_kを掛けて加算することにより残差ベクトル〈ｄ_j〉を近似できる。従って、復号処理を簡単かつ高速に行える。次に展開係数β_kの圧縮符号処理を説明する。
【０１５１】
図９は実施の形態による展開係数符号処理のイメージ図である。図９（ａ）において、生成されたβ₁〜β₄からノルム（大きさ）を抽出する。図９（ｂ）において、ノルムを例えば昇順（β₃，β₂，β₄，β₁）に並べ換え、前方（最初は０）から順に差分（△β₃，△β₂，△β₄，△β₁）を求める。図９（ｃ）において、係数残差（△β₃，△β₂，△β₄，△β₁）をその下位２ビットと上位ビットとに分離し、上位ビットをハフマン符号化する。
【０１５２】
この例では△β₃と（△β₂＝△β₄＝△β₁）との２組の値が発生しており、よってハフマン符号では発生頻度の高い（△β₂，△β₄，△β₁）にはビット数の少ない符号が割り振られ、また発生頻度の低い△β₃にはビット数の多い符号が割り振られる。従って、展開係数β_kの圧縮符号化が可能となる。しかも、係数残差△β_kの上位ビットをハフマン符号化する構成により、下位ビットの端数分が切り離されることになり、よって上位ビットでは図示の如く△β₂＝△β₄＝△β₁となるような可能性が高い。
【０１５３】
また、残差△β_kの下位２ビットは正負の符号ビットと共に対応する基底ベクトル〈ｕ_k〉のインデクス情報（１３ビット＝０〜８１９１）と共に２バイト固定長符号エリアにパッキングされ、固定長符号として出力される。これらの符号の出力順は△β₃，△β₂，△β₄，△β₁（即ち、ｕ₃，ｕ₂，ｕ₄，ｕ₁）の順である。
【０１５４】
図９（ｄ）において、復号側では各符号をｕ₃，ｕ₂，ｕ₄，ｕ₁の順で入力し、夫々から係数△β₃，△β₂，△β₄，△β₁を分離する。更に最初の△β₃からβ₃を復号し、該β₃に△β₂を加えてβ₂を復号し、該β₂に△β₄を加えてβ₄を復号し、そして、該β₄に△β₁を加えてβ₁を復号する。β_k〈ｕ_k〉はこれらの和（一次結合）をとって機能するものであるから、これらの順序は問題ではない。
【０１５５】
なお、上記ノルムを昇順に並べ換え、前方（最初は０）から順に差分を求めたが、逆にノルムを降順に並べ換え、後方（最初は０）から順に差分を求めても良い。
【０１５６】
以下、符号部３４による符号処理を説明する。ＤＰＣＭの予測残差△ＤＣ_J,I については量子化係数Ｑ（Ｚ）で量子化すると共に、△ＤＣ_J,I ＝０の場合のみランレングスを考慮し、予測残差△ＤＣ_J,I 及びランレングスを夫々独立にハフマン符号化する。基底数ｋは、ｋ＝０の場合のみランレングスを考慮し、基底数ｋ 及びランレングスを夫々独立にハフマン符号化する。係数残差△β_kの上位ビットは定数Ｑ（例えば８）で量子化した商をハフマン符号化する。また基底ベクトル〈ｕ_k〉のコード情報ｉ（＝１３ビット）に展開係数β_kの符号ビット及び係数残差△β_kの下位２ビットを詰めて計１６ビットの固定長符号となし、これらは残差△β_kの昇順（又は降順）に詰めて送られる。全体としては画素ブロック単位で出現順に詰めて符号列を構成する。必要なら画素ブロックの切り替わりを示すための符号ＥＯＢを書き込む。
【０１５７】
図１０は実施の形態による画像復号装置のブロック図で、上記図２の画像符号装置に対応したものである。図において、４１はハフマン等による復号部、４２は注目画素ＤＣ_Jを含む周囲のＤＣ値ＤＣ_J'から交流成分を含むターゲットブロック〈Ｒ_j〉を推定する交流成分予測部、４３は復号基底系β_k〈ｕ_k〉（ｋ＝１〜ｍ）に基づきく近似残差ベクトル〈ｄ_j〉を再生する残差ベクトル再生部、４４は復号ブロック〈Ｒ_j〉に基づきターゲットブロック〈Ｒ_j〉を再生するＲ_j再生部、４５は再生画像を記憶する再生画像メモリ、４６は復号ＤＣ値をＩＤＰＣＭ復号するＩＤＰＣＭ部、４７は復号ＤＣ画像を記憶するＤＣ画像メモリ、４８は図２と同様のＤＣネスト生成部、４９はＤＣネストを記憶するＤＣネストメモリ、５０はＤＣネストからダウンサンプルされた選択ブロック〈Ｕ_k〉を保持する選択ブロックバッファ、５１は〈Ｕ_k〉にβ_kを乗算する乗算器、５２，５３はβ_k〈Ｕ_k〉（ｋ＝１〜ｍ）の累積加算部、５４は累積加算結果のブロック平均値Ａ_jを求める平均器、５５は累積加算結果からブロック平均値Ａ_jを分離する減算器、５６は再生近似残差ベクトル〈ｄ_j〉を保持する近似ベクトルバッファ、５７はターゲットブロック〈Ｒ_j〉の再生ＤＣ値ＤＣ_Jに再生近似残差ベクトル〈ｄ_j〉を加算する加算器である。
【０１５８】
図１１は実施の形態による画像復号処理のフローチャートである。ステップＳ１０１では画像符号データを読み込む。ステップＳ１０２では図２と同様のＩＤＰＣＭ法によりＹ，Ｕ，Ｖの各ＤＣ値を解凍（復号）し、ＤＣ画像を再生する。ステップＳ１０３ではＹ成分のＤＣ画像からＤＣネストを生成する。この時、上記図７で示した如く、各ＤＣ画素値ＤＣ_Jの下位４ビットがマスク（＝０）され、各ＤＣネスト画素値Ｎ_jとなる。なお、ＤＣ画像の切り出し位置等の情報は別途に受け取る。ステップＳ１０４では原画像メモリ４５及びＤＣ画像メモリ４７に対するインデクスカウンタｊ，Ｊを共に０に初期化する。
【０１５９】
ステップＳ１０５では１ブロック画像分の符号データを入力する。ステップＳ１０６では基底数ｋ＝０か否かを判別する。ｋ＝０の場合はステップＳ１１４で後述する交流成分予測法によりターゲットブロック〈Ｒ_ｊ〉を再生する。またｋ≠０の場合は更にステップＳ１０７で１≦ｋ≦４か否かを判別する。
【０１６０】
１≦ｋ≦４の場合はステップＳ１１２で残差ベクトル〈ｄ_j〉を逆量子化する。本実施の形態では予めＤＣネストの下位４ビットがマスク（＝０）されているため、各選択ブロック〈Ｕ_k〉に直接β_kを掛けてこれらを累積加算し、累積加算結果からそのブロック平均値Ａ_jを１回だけ分離することで残差ベクトル〈ｄ_j〉が一挙に得られる。よって復号処理が高速化される。ステップＳ１１３では得られた残差ベクトル〈ｄ_j〉に対応するＤＣ値ＤＣ_Jを加算する。
【０１６１】
また１≦ｋ≦４でない場合はステップＳ１０８でターゲットブロック〈Ｒ_j〉の復号データよりターゲットブロック〈Ｒ_j〉を直接再生する。こうして、上記何れかの方法により４×４画素のターゲットブロック〈Ｒ_ｊ〉が再生された。ステップＳ１０９では再生されたターゲットブロック〈Ｒ_ｊ〉を再生画像メモリ４５に格納する。
【０１６２】
ステップＳ１１０ではカウンタｊ，Ｊに夫々＋１し、更にステップＳ１１１ではｉ≧Ｍ（全画素ブロック数）か否かを判別する。ｉ≧Ｍでない場合はステップＳ１０５に戻り、次のブロック画像符号データにつき上記同様の復号・再生処理を行う。以下同様にして進み、やがて、ステップＳ１１１の判別でｊ≧Ｍになると、１画像分の復号処理を終了する。
【０１６３】
図１２は実施の形態における交流成分予測のイメージ図で、公知の予測法を採用できる．図１２（Ａ）は段階的交流成分予測法を示しており、以下に内容を概説する。その第１段階では注目ブロックＳ上の各サブブロックＳ₁ 〜Ｓ₄ を該Ｓを含む周囲４ブロック（Ｕ，Ｒ，Ｂ，Ｌ）の各ＤＣ値から次式により推定する。
【０１６４】
Ｓ₁ ＝Ｓ＋（Ｕ＋Ｌ−Ｂ−Ｒ）／８
Ｓ₂ ＝Ｓ＋（Ｕ＋Ｒ−Ｂ−Ｌ）／８
Ｓ₃ ＝Ｓ＋（Ｂ＋Ｌ−Ｕ−Ｒ）／８
Ｓ₄ ＝Ｓ＋（Ｂ＋Ｒ−Ｕ−Ｌ）／８
同様にして、この第１段階目ではＵ₁ 〜Ｕ₄ ，Ｌ₁ 〜Ｌ₄ ，Ｒ₁ 〜Ｒ₄ ，Ｂ₁ 〜Ｂ₄ 等が推定される。更に、その第２段階では上記方法を再帰的に使用することで、Ｓ₁ 上の４画素Ｐ₁ 〜Ｐ₄ を次式により推定する。
【０１６５】
Ｐ₁ ＝Ｓ₁ ＋（Ｕ₃ ＋Ｌ₂ −Ｓ₃ −Ｓ₂ ）／８
Ｐ₂ ＝Ｓ₁ ＋（Ｕ₃ ＋Ｓ₂ −Ｓ₃ −Ｌ₂ ）／８
Ｐ₃ ＝Ｓ₁ ＋（Ｓ₃ ＋Ｌ₂ −Ｕ₃ −Ｓ₂ ）／８
Ｐ₄ ＝Ｓ₁ ＋（Ｓ₃ ＋Ｓ₂ −Ｕ₃ −Ｌ₂ ）／８
Ｓ₂ 〜Ｓ₄ 上の各４画素Ｐ₁ 〜Ｐ₄ についても同様である。このような２段階処理によりターゲットブロック〈Ｒ_ｊ〉が再生される。
【０１６６】
図１３（Ｂ）は本件出願人による既提案の非段階的交流成分予測法を示しており、注目ブロックＳを含む周囲４ブロック（Ｕ，Ｒ，Ｂ，Ｌ）の各ＤＣ値から各サブブロックＳ₁ 〜Ｓ₄ における各４画素Ｐ₁ 〜Ｐ₄ を一挙に推定する。以下内容を概説する。まずＳ₁ 上の４画素Ｐ₁ 〜Ｐ₄ を求める場合は、Ｓ₂ ≒Ｓ₃ ≒Ｓ，Ｕ₃ ≒Ｕ，Ｌ₂ ≒Ｌの各近似を行う。この近似を上記Ｓ₁ 上のＰ₁ の式に適用すると、
Ｐ₁ ＝Ｓ₁ ＋（Ｕ₃ ＋Ｌ₂ −Ｓ₃ −Ｓ₂ ）／８
＝Ｓ₁ ＋（Ｕ＋Ｌ−Ｓ−Ｓ）／８
が得られる。更にこの式に上記Ｓ₁ の式、Ｓ₁ ＝Ｓ＋（Ｕ＋Ｌ−Ｂ−Ｒ）／８を代入すると、Ｓ₁ 上のＰ₁ は最終的に、
Ｐ₁ ＝Ｓ＋（２Ｕ＋２Ｌ−２Ｓ−Ｂ−Ｒ）／８
で表せる。また上記Ｓ₁ 上のＰ₂ については、
Ｐ₂ ＝Ｓ₁ ＋（Ｕ₃ ＋Ｓ₂ −Ｓ₃ −Ｌ₂ ）／８
＝Ｓ₁ ＋（Ｕ＋Ｓ−Ｓ−Ｌ）／８
が得られる。更にこの式に上記Ｓ₁ の式、Ｓ₁ ＝Ｓ＋（Ｕ＋Ｌ−Ｂ−Ｒ）／８を代入すると、Ｓ₁ 上のＰ₂ は最終的に、
Ｐ₂ ＝Ｓ＋（２Ｕ−Ｂ−Ｒ）／８
で表せる。また上記Ｓ₁ 上のＰ₃ については、
Ｐ₃ ＝Ｓ₁ ＋（Ｓ₃ ＋Ｌ₂ −Ｕ₃ −Ｓ₂ ）／８
＝Ｓ₁ ＋（Ｓ＋Ｌ−Ｕ−Ｓ）／８
が得られる。更にこの式に上記Ｓ₁ の式、Ｓ₁ ＝Ｓ＋（Ｕ＋Ｌ−Ｂ−Ｒ）／８を代入すると、Ｓ₁ 上のＰ₃ は最終的に、
Ｐ₃ ＝Ｓ＋（２Ｌ−Ｂ−Ｒ）／８
で表せる。また上記Ｓ₁ 上のＰ₄ については、
Ｐ₄ ＝Ｓ₁ ＋（Ｓ₃ ＋Ｓ₂ −Ｕ₃ −Ｌ₂ ）／８
＝Ｓ₁ ＋（Ｓ＋Ｓ−Ｕ−Ｌ）／８
が得られる。更にこの式に上記Ｓ₁ の式、Ｓ₁ ＝Ｓ＋（Ｕ＋Ｌ−Ｂ−Ｒ）／８を代入すると、Ｓ₁ 上のＰ₄ は最終的に、
Ｐ₄ ＝Ｓ＋（２Ｓ−Ｂ−Ｒ）／８
で表せる。従って、Ｓ₁ 上の４画素Ｐ₁ 〜Ｐ₄ は、
Ｐ₁ ＝Ｓ＋（２Ｕ＋２Ｌ−２Ｓ−Ｂ−Ｒ）／８
Ｐ₂ ＝Ｓ＋（２Ｕ−Ｂ−Ｒ）／８
Ｐ₃ ＝Ｓ＋（２Ｌ−Ｂ−Ｒ）／８
Ｐ₄ ＝Ｓ＋（２Ｓ−Ｂ−Ｒ）／８
により非段階的に一挙に求まる。Ｓ₂ 〜Ｓ₄上の各４画素Ｐ₁ 〜Ｐ₄ についても同様である。
【０１６７】
なお、上記実施の形態を具体的数値例を伴って説明したが本発明がこれらに限定されないことは明らかである。
【０１６８】
また、上記本発明に好適なる実施の形態を述べたが、本発明思想を逸脱しない範囲内で各部の構成、制御、処理及びこれらの組合せの様々な変更が行えることは言うまでも無い。
【０１６９】
【発明の効果】
以上述べた如く本発明によれば、ＤＣネストの改良により高画質が得られ、またＡＯＴ演算の工夫により高速符号化が得られた。従って、ＨＶＱ方式の高画質化、高速符号化に寄与するところが極めて大きい。
【図面の簡単な説明】
【図１】本発明の原理を説明する図である。
【図２】実施の形態による画像符号装置のブロック図である。
【図３】実施の形態による画像符号（メイン）処理のフローチャートである。
【図４】実施の形態による適応的直交変換処理のフローチャート（１）である。
【図５】実施の形態による適応的直交変換処理のフローチャート（２）である。
【図６】実施の形態による適応的直交変換処理のフローチャート（３）である。
【図７】実施の形態によるＤＣネストの説明図（１）である。
【図８】実施の形態によるＤＣネストの説明図（２）である。
【図９】実施の形態による展開係数符号処理のイメージ図である。
【図１０】実施の形態による画像復号装置のブロック図である。
【図１１】実施の形態による画像復号処理のフローチャートである。
【図１２】実施の形態における交流成分予測のイメージ図である。
【図１３】従来の画像符号装置のブロック図である。
【図１４】従来の適応的直交変換処理のフローチャートである。
【図１５】従来の適応的直交変換処理のイメージ図である。
【図１６】従来の平均値分離処理のイメージ図である。
【符号の説明】
１１ 原画像メモリ
１２ ＤＣ値生成部
１３ 差分ＰＣＭ符号部（ＤＰＣＭ）
１４ 逆ＤＰＣＭ符号部（ＩＤＰＣＭ）
１５ ＤＣ画像メモリ
１６ ＤＣネスト生成部
１７ ＤＣネストメモリ
１８ 減算器
１９ 残差ベクトルバッファ
２０ 抽出部ブロックバッファ
２１ 平均器
２２ 減算器
２３ 候補ベクトルバッファ
２４ 適応的直交変換処理部（ＡＯＴ）
２５ 係数変換部
２６ 符号部
３１ ＤＣネスト生成部
３２ 適応的直交変換処理部（ＡＯＴ）
３３ 係数変換部
３４ 符号部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image encoding / decoding method and apparatus and a recording medium on which the program is recorded. More specifically, the present invention relates to an image encoding / decoding method and apparatus and program based on hybrid vector quantization (HVQ). The recording medium.
[0002]
Today, the JPEG (Joint Photographic Expert Group) system, which is an international standard for still image compression, converts 8 × 8 pixel blocks into DC values and coefficient values of fundamental to 63 times frequency by two-dimensional DCT, Using the fact that the frequency components are concentrated in the low frequency region, each coefficient value is quantized with a different quantization width within a range where the image quality does not deteriorate, and the amount of information is reduced, and then Huffman coding is performed. ing.
[0003]
On the other hand, the HVQ method is a kind of average value separation type block coding like JPEG, but adaptive orthogonal transform (AOT) is an intermediate method between vector quantization and orthogonal transform coding. The compression principle is used. Here, AOT is a method of selecting a necessary minimum number of non-orthogonal basis systems from a base nest corresponding to a vector quantization codebook and approximating a target block within a desired tolerance Z. In the HVQ method, decoding can be performed in an integer type, so that decoding is fast. In addition, since mosquito and block noise peculiar to JPEG and pseudo contour peculiar to GIF do not occur, natural images and artificial images (animation images, CG images) can be compressed with high image quality. The present invention relates to further improvement in image quality and speeding up of the encoding operation in such an HVQ system.
[0004]
[Prior art]
The present applicant has already proposed an image encoding / decoding method based on the HVQ method using self-similarity of images (Japanese Patent Application No. 10-189239). The contents will be described below. Throughout this specification, the symbol <a> represents the vector a or block a, the symbol ‖a‖ represents the magnitude (norm) of the vector a, and the symbol <a · b> represents the inner product of the vectors a and b. Also, vectors and blocks in figures and [number] are shown in bold letters.
[0005]
FIG. 13 is a block diagram of a conventional image encoding device (encoder). In the figure, 11 is an original image memory for storing original image data, 12 is a block average (4 × 4 pixels) for each pixel block (4 × 4 pixels) of the original image data. DC) a DC value generator for obtaining a value, 13 is a differential PCM encoder (DPCM) that performs differential prediction encoding for each DC value, 14 is an inverse DPCM encoder (IDPCM) that decodes each DC value from the differential PCM code, 15 is a DC image memory for storing a decoded DC image, 16 is a DC nest generation unit for cutting out a DC nest of a predetermined size from a part of the DC image, and 17 is a DC nest memory for storing the DC nest.
[0006]
Further, reference numeral 18 denotes a target image block <R to be coded._jThe corresponding decoded DC value DC_J, 19 is a DC-separated residual vector <d_j> Is a residual vector buffer 20 for storing 4 × 4 pixel base candidate blocks <U_i> Is a candidate block buffer for storing the base candidate block <U_i> Block average value a_i, 22 is a base candidate block <U_i> Block average value a_i, 23 is a base candidate vector <u_iThe candidate vector buffer 24 stores the square norm ‖d of the residual vector._j‖²If the error exceeds the tolerance Z, the DC nest is searched for a residual vector <d_j) To approximate within an allowable error Z_k<U_k'> (K = 1 to m) generating an adaptive orthogonal transform processing unit (AOT), 25 is a generated orthogonal basis set α_k<U_k'> (K = 1 to m), each corresponding non-orthogonal basis vector <u_k> (K = 1 to m) multiplied by the equivalent non-orthogonal basis set β_k<U_k> A coefficient conversion unit for obtaining the expansion coefficient βk for generating (k = 1 to m), 26 is a DPCM code of the DC value and a non-orthogonal basis set β_k<U_k> Is a code part using Huffman, run length, fixed-length code, etc. for further compression encoding.
[0007]
The DC value generation unit 12 obtains a block average value of 4 × 4 pixels, and rounds off (or rounds down) after the decimal point. Although not shown, the DPCM 13 converts the DC value of the J row and the I column to DC._{J, I}The DC_{J, I}Predicted value DC_{J, I}For example DC_{J, I}'= (DC_{J, I-1}+ DC_{J-1, I}) / 2, and its prediction error ΔDC_{J, I}= DC_{J, I}-DC_{J, I}'Is quantized coefficient Q (Z) To linearly quantize and output. The quantization coefficient Q (Z) is associated with the allowable error Z, and changes in the range of 1 to 8 according to the allowable error Z.
[0008]
The DC nest generation unit 16 cuts out (copies), for example, a 39 × 71 area directly from the DC image to obtain a DC nest. Since the DC nest is used as a code book, it is desirable to include a large amount of alternating current components. Therefore, for a plurality of candidate regions, the difference between adjacent DC values in each region is calculated to obtain the sum of these absolute values and the region where the sum is maximized is cut out to be a DC nest.
[0009]
The base candidate block <U_iThe down-sample of> sets a vertex (px, py) ∈ [0, 63] x [0, 31] for each vertical and horizontal 1DC value, and the subsample interval is (sx, sy) ∈ {(1, 1 ), (1,2), (2,1), (2,2)}. Therefore, in total, N (= 8192) base candidate blocks <U_i> Are referred to by the index counter i from the AOT 24. The operation of the conventional adaptive orthogonal transform processing unit 24 will be described below.
[0010]
FIG. 14 is a flowchart of conventional adaptive orthogonal transform processing, and FIG. 15 is an image diagram of the processing. In FIG. 14, the square norm of the residual vector ‖ <d_j〉 ‖²If it is> Z, this process is input. In step S121, the residual vector square norm に <d_j〉 ‖²Set. Also, the base number counter k = 1 is initialized. In step S122, a large value (for example, 100,000) is set in the minimum value holding register E '. In step S123, the base candidate block <U_i> Is initialized to 0. This corresponds to the DC nest start address (px, py) = (0, 0) and the subsample interval (sx, sy) = (1, 1).
[0011]
In step S124, the base candidate block <U_iThe block average value ai is separated from the base candidate vector <u_i> Is generated. Since this operation is performed with integer precision, the block average value a_iIf a value after the decimal point occurs, round it off (or round it down). If necessary (k> 1) in step S125, the basis candidate vector <u_i> Is the previous orthogonal basis vector <u_kOrthogonalizes to '>.
[0012]
FIGS. 15A and 15B show image diagrams of orthogonalization processing. In FIG. 15A, first, the first basis candidate vector <u₁> As it is, the first basis vector <u₁It can be '>. Next, the second basis candidate vector <u₂Is the first basis vector <u by the following method:₁'> Is orthogonalized. That is, the second basis candidate vector <u₂First basis vector <u₁Projection to '> is obtained by the relationship of equation (1).
[0013]
[Expression 1]

[0014]
Therefore, the second orthogonal vector <u₂'> Is the second basis candidate vector <u₂> Is obtained by subtracting the vector of the projection.
[0015]
[Expression 2]

[0016]
In FIG. 15B, the third basis candidate vector <u_ThreeIs the first and second basis vectors <u₁'>, <U₂Orthogonalizes to '>. This figure is drawn three-dimensionally. First, the third basis candidate vector <u_ThreeIs the first basis vector <u₁When orthogonalized to '>, the intermediate orthogonal vector <u_Three''> Is obtained.
[0017]
[Equation 3]

[0018]
Further, this intermediate orthogonal vector <u_Three''> To the second basis vector <u₂When orthogonalized to '>, the third basis vector <u_Three'> Is obtained.
[0019]
[Expression 4]

[0020]
Returning to FIG. 13, in step S126, the obtained orthogonal vector <u_i'> And the residual vector <d_k(However, at first <d_j>) Scalar coefficient α that minimizes the distance to_iAsk for.
[0021]
FIG. 15C shows the processing image. In the figure, the residual vector at a certain time is expressed as <d_k>, This is the orthogonal vector <u_iThe square norm ei = ｅ <d of the residual vector after approximation with '>_k> -Α_i<Ui '> ‖²As is clear from the figure, the scalar coefficient α is minimized in the orthogonal vector <ui ′>._iMultiplied by the residual vector {<d_k> -Α_i<U_i'>} Is orthogonal (inner product = 0). Therefore, the scalar coefficient α_iIs obtained from the relationship of equation (5).
[0022]
[Equation 5]

[0023]
In the figure, the residual vector <d_k> (Where k = 0) is replaced with another first basis candidate vector <u_jThe case approximated by '> is drawn. First basis candidate vector <u_jSince “>” can take any direction, the image is as shown in the figure.
[0024]
Returning to FIG. 14, in step S127, the residual vector <d_k> Is the basis candidate vector α_i<U_iThe square norm of the error vector after approximation with '> e_iAsk for. This calculation is obtained by equation (6).
[0025]
[Formula 6]

[0026]
In step S128, e_iIt is determined whether or not <E ′. e_iIf <E ′, the content of E ′ is changed to e in step S129._iUpdate with. Α at that time_i, <U_i'>, <U_i> Information related to the array [α_k], [U_k'], [U_k]. E_iIf not <E ′, the process of step S129 is skipped.
[0027]
In step S130, the counter i is incremented by 1, and in step S131, it is determined whether i ≧ N (= 8192). If i ≧ N is not satisfied, the process returns to step S124, and the next basis candidate vector <u_iThe same processing as above is performed for Thereafter, the process proceeds in the same manner. Eventually, when i ≧ N in the determination in step S131, all the basis candidate vectors <u at this stage_i> Has been tried. At this time, the register E ′ has the minimum square norm e._iHolding.
[0028]
In step S132, it is determined whether E ′ ≦ Z. If E ′ ≦ Z is not satisfied, E = E ′ is set in step S133. That is, the square norm of the residual vector is updated. In step S134, k is incremented by 1, and the process returns to step S122. If E ′ ≦ Z, the process is exited. Thus, the first residual vector <d_jThe orthogonal basis set α for approximating the difference from_k<U_k'> (K = 1 to m) is obtained.
[0029]
[Problems to be solved by the invention]
However, in the above conventional method, the base candidate block <U_i> Block average value a_iSince the number after the decimal point is rounded off (or rounded down, etc.), there has been a disadvantage that the improvement in image quality has reached its peak. This will be described with reference to FIG.
[0030]
FIG. 16A shows a base candidate block <U_iThe pixel value of a certain line is seen in the column (x) direction. Actually, it is a block average value for 16 pixels, but here it will be described with 4 pixels for simplicity of explanation. In FIG. 16A, each pixel value is composed of “5, 2, 4, 3” and its block average value a_i= 3.5. Now, for example, if this decimal point is rounded down, as shown in FIG._i> Block average value a_i= 0.5. In FIG. 16C, the DC value DC of the decoded block_JTo the basis vector β_k<U_k> Is added, the decoded image target block <R_j> Has a DC component (a_i= 0.5) is superimposed. In addition, when there are a plurality of basis numbers, such a DC component is 0 <a_i<DC at various values in the range of <1_JAs a result, a kind of noise is superimposed on each block in the decoded image, so that the image quality cannot be improved. The same applies to the case where the decimal part is rounded off or rounded up.
[0031]
In the conventional AOT processing, each base candidate vector <u_i> Is the basis vector <u_kSince it was orthogonalized to '>, the AOT process required a great deal of computation and time.
[0032]
The present invention has been made in view of the above-mentioned problems of the prior art, and its object is to record an image encoding / decoding method and apparatus for obtaining higher image quality and higher speed encoding / decoding, and a program thereof. It is to provide a recording medium.
[0033]
[Means for Solving the Problems]
  The above problem is solved by the configuration of FIG. That is, according to the image coding method of the present invention (1), the image data is divided into blocks for each B pixel to generate a DC image composed of the average value of each block, and a subordinate of each DC pixel obtained by extracting a part of the DC image. n (n = log₂B) A step of setting a bit to 0 to make a DC nest and a pixel block <R_j> The block average value DC_JResidual vector <d after separating_j> Exceeds a predetermined tolerance ZIs determined, Base candidate blocks <U_i> And the block average value a from the block_iAnd the basis candidate vector <u_iAnd generating one or more basis vectors for approximating the residual vector to a tolerance or less by adaptive orthogonal transformation (AOT) processing using the basis candidate vectors. is there. Therefore, the block average value a_iDoes not produce any fractional part, and the block precision a with integer precision a_iCan be obtained at high speed. Further, a DC nest in which the lower n bits are set to 0 in one nest generation process can be obtained efficiently.
[0034]
  In the image encoding method of the present invention (2), the image data is divided into blocks for each B pixel to generate a DC image composed of each block average value, a part of which is DC nest, The magnitude of the residual vector after separating the block average value from the pixel block exceeds a predetermined toleranceIs determined, Sequentially extract base candidate blocks from the DC nest, and the lower n (n = log) of each DC pixel constituting the block₂B) After setting the bit to 0, the block average value is separated and the basis candidate vector <u_iAnd obtaining one or more base vectors for approximating the residual vector to a tolerance or less by an adaptive orthogonal transformation process using the base candidate vectors.
[0036]
  In the present invention (1), (2)Such a basis candidate vector <u_iThe sum of all elements (block average value) is always 0, and the DC component is completely separated. Therefore, on the decoding side, such a basis vector <u_k>, No unnecessary DC component (noise) is generated. As a result, the image quality of the present HVQ method is greatly improved.
[0039]
  Also preferably, in the present invention (3), in the present invention (1) or (2), the adaptive orthogonal transform process uses a DC nest to set the magnitude of the difference from the first residual vector <d>. First basis vector <u for minimization₁, Which includes a base candidate vector sequentially extracted from the DC nest.The<U_i>
  h_i= <D · u_i>²/ ‖U_i‖²
The basis candidate vector <u_iIs the first basis vector <u₁> And the first basis vector <u₁Is normalized by the magnitude of the first normalized basis vector <v₁> And nothing, thisHoldStep and first scalar coefficient α₁Is the first normalized basis vector <v of the residual vector <d>₁Is obtained as a projection to &gt; and holds this.
[0040]
    The present invention (3) According to the conventional steps S126 and S127 of FIG.the firstThe square norm of the difference from the residual vector <d> ‖ <d> −α_i<U_i〉 ‖²It is possible to search for a condition that minimizes the above-described simple calculation and conditions. Therefore, the AOT process can be speeded up.For example, the first scalar coefficient α ₁ Is calculated by extracting the first normalized basis vector <v ₁ It only needs to be obtained once as a projection to〉, and the calculation is greatly simplified.
[0041]
  Also preferably, in the present invention (4), in the present invention (3), the adaptive orthogonal transform processing uses the first residual vector <d> as the first scalar coefficient α.₁And the first normalized basis vector <v₁> Scalar product α₁<V₁The first residual vector <d₁> Exceeds the specified toleranceIs determined, The first residual vector <d₁The second basis vector <u for minimizing the difference between₂, Which includes a base candidate vector sequentially extracted from the DC nest.The<U_i>
  h_i= {<D · u_i>-(<D · u₁> <U₁・ U_i>) / ‖U₁‖²}²
          / {‖U_i‖²-(<U₁・ U_i>) / ‖U₁‖)²}
The basis candidate vector <u_iTo the second basis vector <u₂> And the second basis vector <u₂Is normalized and the first normalized basis vector <v₁To the second normalized basis vector <v₂>, The step of holding this, and the second scalar coefficient α₂To the first residual vector <d₁The second normalized basis vector <v of₂Is obtained as a projection to &gt; and holds this.
[0042]
  The present invention (4) According to the present invention (3) In addition to the effect of <d · u₁>, ‖U₁‖ And denominator ‖u_i‖², ‖U₁As for ‖, since the calculation result already performed in the first basis search can be used, the AOT process can be further improved in efficiency and speed.In addition, the second basis vector <u ₂ The first normalized basis vector <v ₁ > Is performed once, and the calculation is greatly simplified.
[0043]
  Preferably, in the present invention (5), in the present invention (4), the adaptive orthogonal transform processing is performed by the first residual vector <d₁Is the second scalar coefficient α₂And the second normalized basis vector <v₂> Scalar product α₂<V₂> Second residual vector <d₂Is determined to exceed a predetermined allowable value, the second residual vector <d₂> The third basis vector <u for minimizing the difference between₃, Which includes a base candidate vector sequentially extracted from the DC nest.The<U_i>
  h_i=
  (<D · u_i〉 −<d ・ v₁> <V₁・ U_i>-<D · v₂> <V₂・ U_i>)²
      / {‖U_i‖²-<V₁・ U_i>²− <V₂・ U_i>²}
The maximumRuThe basis candidate vector <u_i> The third basis vector <u₃> And the third basis vector <u₃Is normalized and the first normalized basis vector <v₁> And the second normalized basis vector <v₂And the third normalized basis vector <v₃>, The step of holding this, and the third scalar coefficient α₃To the second residual vector <d₂The third normalized basis vector <v of₃Step of saving as a projection of
Is provided.
[0044]
  According to the present invention (5), in addition to the effects of the present inventions (3) and (4), (<d · u_i〉 −<d ・ v₁> <V₁・ U_i>) And denominator (‖u_i‖²− <V₁・ U_i>²As for (), since the calculation results already performed in the first and second basis searches can be used, the AOT process can be further improved in efficiency and speed.
[0045]
  Preferably, in the present invention (6), in the present inventions (3) to (5), the adaptive orthogonal transform processing is performed by using the first residual vector <d> = (d₁, d₂…, D_nCandidate vector <u that minimizes the difference between_i> = (U₁, u₂, ..., u_n) To find the inner product <d · u_i> Which includes a basis candidate vector <u_i> Optional elements (for example,u _q ) Is replaced with a linear combination of the remaining elements, and the residual vector <d> and the basis candidate vector <u_i> Inner product <d · u_i>
  <D · u_i> = (D₁−d _q ) U₁+ (D₂−d _q ) U₂+,
                  …, + (d _n −d _q )u _n
  However, (d _q -D _q ) U _q Except for
It is obtained by the product-sum operation.
[0046]
  In the present invention (6), the basis candidate vector <u_iThe sum of all elements ofu _q ) Can be expressed as a linear combination of the remaining elements. Therefore, the inner product operation <d · u with the first residual vector <d>_i> Can be expanded into a product-sum operation as shown in the above equation, and thus the number of troublesome product-sum operations can be omitted by one. In image coding processing by the HVQ method, a large number of vector inner product operations are performed. Therefore, omission of each time greatly contributes to speeding up of the coding processing as a whole.
[0047]
  Preferably, in the present invention (7), m scalar coefficients α in the present inventions (3) to (5)._k(k = 1 to m) and m normalized basis vectors <v_k> (K = 1 to m) and the set of orthonormal basis sets m scalar expansion count β_k(k = 1 to m) and m basis candidate vectors <u that are the basis of each of the normalized basis vectors_k> A set of non-orthogonal basis sets consisting of (k = 1 to m), and the converted m scalar expansion counts β_kAnd m basis candidate vectors <u from the DC nest_k>, And a step of encoding each of the DC images and outputting code data.
  The orthonormal basis set α_k, <V_k> (K = 1 to m)_k, <U_k> (K = 1 to m), the decoding side converts each basis candidate vector <u_k> Do not need to be orthogonalized, and β_kThe residual vector <d_j> Can be approximated. Therefore, the decoding process can be performed easily and at high speed.
  The image encoding method according to the present invention (8) is the same as the image encoding method according to the present invention (7).₁~ Β_mThe norms are sorted in the order of their sizes, and each difference between adjacent norms including 0 is obtained. For each obtained differenceTo the remaining high-order bits excluding the low-order bits of the specified number of bitsHuffman coding is applied.
[0048]
  Generally scalar expansion coefficient β₁~ Β_mThe norms of can take various values, but when these are arranged in order of magnitude and each difference between adjacent norms including 0 is taken, the magnitudes of the differences are often approximate (or identical) to each other. Therefore, these difference valuesTo the remaining upper bits excluding the lower bits of the specified number of bitsBy applying the Huffman code, further code compression is possible.
[0049]
  Preferably, in the present invention (9), the adaptive orthogonal transform processing in the present invention (1), (3) or (5) is performed.Found basisVectorIf the number is more than the predetermined,Instead of the base system encoding, the image data itself of the encoding target block is encoded. Therefore, the decoding image quality can be improved. In fact, since such a situation is extremely small, the influence on the code compression rate is extremely small.
[0050]
  Further, the above problem is solved by, for example, the configuration of FIG. That is, the image decoding method of the present invention (10) reproduces a DC image corresponding to the block average value for each B pixel from the code data described in the present invention (7), and extracts a part of the DC image. The lower n of each DC pixel (n = log₂B) A step of setting a bit to 0 to make a DC nest, a step of decoding a set of m scalar expansion counts and m pieces of extracted information from the code data, and m scalar expansion counts for the target block And a scalar product β with each base candidate block extracted from the DC nest by m pieces of extraction information_k<U_k> (K = 1 to m)blockThe cumulative addition is performed every time, and the block average value is separated from the addition result to obtain a residual vector <d_jIs generated, and this is combined with the DC value of the target block to reproduce the image data. Therefore, no fractional part is generated in the block average value, and an integer-precision block average value can be obtained at high speed.
[0051]
  The image decoding method of the present invention (11) includes a step of reproducing a DC image corresponding to each block average value for each B pixel from the code data described in the present invention (7), and setting a part of the DC image as a DC nest. , Decoding a set of m scalar expansion counts from the code data and m pieces of extracted information, and m scalar expansion counts β for the target block_k(k = 1 to m) and each base candidate block <U extracted from the DC nest by m pieces of extraction information_k> For each DC pixel per k (k = 1 to m) (n = log₂B) Scalar product β with 0 bit_k<U_k> (K = 1 to m)blockThe cumulative addition is performed every time, and the block average value is separated from the addition result to obtain a residual vector <d_jIs generated, and this is combined with the DC value of the target block to reproduce the image data.
[0052]
  In the present invention (10), (11), each selected block <U_kSince the lower n bits of> are set to 0, even if these are accumulated in advance, the addition result is an integral multiple of the block size B (for example, 16). The expansion coefficient β_kIs an integer precision. Therefore, if this cumulative addition result is finally divided by the block pixel number B, the block average value A can be obtained by one division._jIs obtained efficiently. Therefore, the baseblockβ_k<U _k> (K = 1 to m) can be efficiently calculated.
[0054]
  Further, the image encoding device of the present invention (12) divides the image data into blocks for each B pixel to generate a DC image consisting of each block average value, and subtracts each DC pixel from which a part of the DC image is extracted. n (n = log₂B) DC nest generation means for generating a DC nest by setting a bit to 0 and storing it in a memory, and a pixel block <R_j> The block average value DC_JResidual vector <d after separating_j> Exceeds a predetermined tolerance ZIs determined, Sequentially extracting a base candidate block from the DC nest, separating a block average value from the block to generate a base candidate vector, and performing the adaptive orthogonal transform (AOT) processing using the base candidate vector to generate the residual vector <D_jCalculating means for obtaining one or more basis vectors for approximating the value of> to a tolerance value or less.
[0055]
  The image decoding apparatus according to the present invention (13) reproduces a DC image corresponding to each block average value for each B pixel from the code data according to the present invention (7) and extracts a part of the DC image. The lower n of each DC pixel (n = log₂B) DC nest reproducing means for reproducing a DC nest with bits set to 0 and storing it in a memory; Decoding means for decoding a set of m scalar expansion counts and m extracted information from the code data; , A scalar product β of m scalar expansion counts for the target block and each base candidate block extracted from the DC nest by m pieces of extraction information_k<U_k> (K = 1 to m)blockThe cumulative addition is performed every time, and the block average value is separated from the addition result to obtain a residual vector <d_jIs generated and combined with the DC value of the target block to reproduce the image data.
[0056]
  The present invention (14) Recording media of the present invention (1) to (11The computer-readable recording medium which recorded the program for making a computer perform the process as described in any one of 1).
[0057]
DETAILED DESCRIPTION OF THE INVENTION
DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments of the invention will be described in detail with reference to the accompanying drawings. Note that the same reference numerals denote the same or corresponding parts throughout the drawings.
[0058]
FIG. 2 is a block diagram of the image coding apparatus according to the embodiment. In the figure, 31 is a DC nest generation unit that generates a DC nest according to the present invention from a decoded DC image, and 17 is a DC nest memory that stores the generated DC nest. , 32 is an adaptive orthogonal transform processing unit (AOT) that performs AOT processing efficiently and at high speed, 33 is a coefficient transforming unit, and 34 is a expansion coefficient β._kIt is a code | cord | chord part which enables further high compression. Other configurations may be the same as those described in FIG. Note that the characteristics of each of the above parts will become apparent from the following description of the operation.
[0059]
FIG. 3 is a flowchart of image code (main) processing according to the embodiment. In step S1, original image data is read into the original image memory 11. For example, an RGB target image is converted into a YUV system and read. Y corresponds to luminance data, U and V correspond to color difference data, and U and V are down-sampled using a luminance average of two horizontal pixels. The luminance data Y as an example is composed of 960 pixels vertically × 1280 pixels horizontally, and, for example, 8 bits are assigned to each pixel. In the following, the processing of luminance data Y will be mainly described, but U and V can be processed in the same manner.
[0060]
In step S2, a block average (DC) value for every 4 × 4 pixels is obtained for all image data. At this time, the decimal part is rounded off, for example. In step S3, all DC values are encoded and output by a known two-dimensional DPCM method or the like. In step S 4, all DPCM outputs are IDPCM decoded to reproduce a DC image and store it in the DC image memory 15. This is to make the AOT processing conditions on the code side / decoding side the same. In step S <b> 5, the DC nest generation unit 31 generates a DC nest from the DC image and stores it in the DC nest memory 17. It should be noted that the selection of the area from which the DC nest is cut out may be the same as in the past.
[0061]
FIG. 7 shows a DC nest generation image. 7A, in this embodiment, each DC pixel DC cut out from the DC image memory 15 is used._JAre masked (= 0) and this is used as a nested pixel N in the DC nested memory 17._jTo remember. The lower 4 bits are 2^Four= B (B = block size 16) or 4 = log₂B relationship. As a result of masking the lower 4 bits, the base candidate block <U_i> Is always an integer multiple of 16, and therefore the block average value a that is 1/16 of the sum_iIs always an integer. Therefore, the base candidate block <U_i> Block average value a_iBase candidate vector <u_iThe block average value of> is always 0.
[0062]
FIGS. 7A and 7B are graphs showing specific numerical examples. However, an average of four pixels is taken here for simplicity of explanation. In FIG. 7C, the decoding block <R_j> DC value DC_JMultiple basis vectors β_k<U_k> Is cumulative, each basis vector β_k<U_kSince the block average value of> is always 0, conventional noise is not superimposed. This greatly improved the image quality.
[0063]
FIG. 8A shows a numerical example of FIG. 7 in a table. The sum SUM of the DC pixels A to D is 251 and the average value AV is 251/4 = 62.75 (non-integer). When the DC pixels A to D are transferred to the nested pixels A to D, the lower 4 bits are masked. As a result, the sum SUM of the nested pixels A to D becomes 224, and the average value AV becomes 224/4 = 56 (integer). Further, a base candidate vector <u that separates the average value AV = 56 from the nested pixels A to D_iThe elements a to d in “>” are “24, −24, 8, and −8”, and the sum of these elements is sum = 0 (complete average value separation).
[0064]
FIG. 8B shows the same numerical example as FIG. However, the difference is that the DC pixels A to D are copied as they are to the nested pixels A to D, and the lower 4 bits are masked (= 0) from the sum SUM of the nested pixels A to D. Even in this method, since the sum SUM is a multiple of 16, the block average value AV = 60 (integer). However, according to this method, a base candidate vector <u that is obtained by separating the average value AV = 60 from the nested pixels A to D._i> Elements “a” to “d” are “33, −25, 13, −10”, and the sum “sum” is not necessarily 0 (complete average value separation).
[0065]
As shown in FIG. 8B, a part of the DC image is directly copied to the DC nest, and the base candidate block <U_i> May be masked (= 0) from each pixel.
[0066]
Returning to FIG. 3, in step S6, the index counters j and J for the original image memory 11 and the DC image memory 15 are both initialized to zero. Where j is the target block to be encoded <R_j> Represents an index counter for J, and J represents an index counter for a DC pixel. In step S7, the target block <R_jThe corresponding decoded DC value DC_JAnd the residual vector <d_j> In step S8, the square norm of the residual vector ‖d_j‖²Is greater than the allowable error Z. ‖D_j‖²If not> Z, the base number “0” is output as a sign in step S17. Target block <R in this case_j> Is decoded by an AC component prediction method described later. ‖D_j‖²If> Z, adaptive orthogonal transform processing described later is performed in step S9.
[0067]
In step S10, it is determined whether or not the basis number k> 4 generated by the adaptive orthogonal transform. Incidentally, in the actual measurement, statistical results of about k = 1 to 3 are obtained in most cases. Therefore, if k> 4, the base number “5” is output in step S18, and the target block <R_jEach pixel value of> is output as a sign. On the other hand, if k> 4 is not satisfied, an expansion coefficient β described later is obtained in step S11._kConvert to. In step S12, the basis number “m” and the expansion coefficient β_kAnd non-orthogonal basis vectors <u_iThe index information i is output as a code.
[0068]
In step S13, the counters j and J are incremented by one. However, +1 with respect to the counter j means an update for one pixel block. In step S14, it is determined whether or not j ≧ M (= total number of image blocks). If not j ≧ M, the process returns to step S7, and the next target block <R_jThe same sign processing as described above is performed for Thereafter, the process proceeds in the same manner. Eventually, when j ≧ M is determined in step S14, encoding by Huffman or the like is performed in step S15. This encoding will be described later. Thus, the encoding process for one image is completed.
[0069]
4 to 6 are flowcharts (1) to (3) of the adaptive orthogonal transform processing according to the embodiment._k<V_k> (K = 1 to m) can be obtained efficiently and at high speed. In the following description, the first residual vector <d determined in step S7 above._jIs represented by <d>, and the residual vector updated thereafter is represented by <d_k> (K = 1 to m).
[0070]
FIG. 4 shows the first base search process. Prior to the description of this process, a calculation device performed to perform the process at high speed will be described. That is, normally, the first basis is the square norm e of the difference from the residual vector <d>._iBasis candidate vector <u_iHowever, when this relational expression is further expanded, Expression (7) is obtained.
[0071]
[Expression 7]

[0072]
By the way, ‖d‖ in the first term on the right side of equation (7)²Since> 0 is constant regardless of the basis candidates, the second term on the right side is maximized <u_i> May be the first basis. Therefore, the second term on the right side is changed to h_ifar.
[0073]
[Equation 8]

[0074]
The following is h_iThe first basis α that maximizes_k<V_k> In step S21, inner product calculation <d · u, which will be described later._iAs a pre-processing, a 15-dimensional vector <d ′> is obtained by subtracting the 16th component of <d> from the values of the remaining components. In step S22, h for i = 0 to (N-1)._iInner product of molecules <d '· u_i> And the array [P_i] {I = 0 to (N−1)}.
[0075]
Specifically, this inner product operation is expressed as <u_iIs originally a 16-dimensional vector, but in the present embodiment, its block average value (sum of all elements) = 0, so that its 16th component u₁₆Can be expressed by a linear combination of the remaining 15 components.
[0076]
[Equation 9]

[0077]
Therefore, h_iInner product of molecules <d · u_iIs equivalent to <d '· u_iThus, the product-sum operation can be omitted once (8192 times for all i).
[0078]
[Expression 10]

[0079]
In step S23, h for i = 0 to (N-1)._iDenominator square norm ‖u_i‖²Are obtained and the array [L_i] {I = 0 to (N−1)}.
[0080]
## EQU11 ##

[0081]
Array [L_i] Can be used once and the results can be used later. In step S24, h_iRegister E = 0 which holds the maximum value of the base candidate vector <u_iThe index counter i = 0 and the base number counter k = 1 are initialized.
[0082]
In step S25, h_i= P_i ²/ L_iAsk for. In step S26, h_iIt is determined whether or not> E. h_iIf> E, h in step S27_iAnd the current i is updated to the array [I_k] (K = 1). H_iIf not> E, the process of step S27 is skipped.
[0083]
In step S28, i is incremented by 1, and in step S29, it is determined whether i ≧ N (total number of candidates). If i ≧ N is not satisfied, the process returns to step S25, and the next h_iThe maximum value search process similar to the above is performed. Thereafter, the process proceeds in the same manner. When i ≧ N, the search for all nested blocks is completed. At this time, the array [I_k] For h_iThe first basis vector <u₁> Index value i is held.
[0084]
In step S30, the first basis vector <u₁) To normalize basis vectors <v₁> And nothing, the array [V_k] (K = 1). The scalar coefficient α₁(<D> <v₁To the array [A_k] (K = 1).
[0085]
In step S31, the residual vector <d> is approximated to the residual vector <d> by the first basis.₁> = <D> -α₁<V₁Update with <>. In step S32, the square norm of the new residual vector e = ‖d₁‖²In step S33, it is determined whether or not e ≦ Z. If e ≦ Z, the AOT process is terminated at this stage. If e ≦ Z is not satisfied, the second base search process is performed.
[0086]
FIG. 5 shows the second base search process. Prior to the description of this process, a calculation device used to efficiently perform the process will be described. That is, normally, the second basis is the residual vector <d₁The square norm of the difference from>_iOrthogonal vector <u_iAlthough it is calculated | required as'>, Formula (12) will be obtained if this relational expression is developed further.
[0087]
[Expression 12]

[0088]
Here, the orthogonal vector <u_i'> Is the second basis candidate vector <u_iIs the first normalized basis vector <v₁> Is orthogonalized.
[0089]
[Formula 13]

[0090]
Similarly, ‖d in the first term on the right side of equation (12) above₁‖²Since> 0 is constant regardless of the basis candidates, an orthogonal vector <u that maximizes the second term on the right side of the same_i'> Can be the second basis. The second term on the right side is h_ifar.
[0091]
[Expression 14]

[0092]
h_iMay be obtained as it is, but the denominator of the equation (14) is modified in order to efficiently use the calculation result of FIG. First, h_iMolecular orthogonal vector <u_i'> To base candidate vector <u_i>_iThe numerator can be expressed by equation (15).
[0093]
[Expression 15]

[0094]
Furthermore, the residual vector <d₁Is represented by the first residual vector <d>, h_iThe molecule can be expressed by the formula (16).
[0095]
[Expression 16]

[0096]
Therefore, h_iFor the calculation of the numerator, the calculation result obtained by the first basis search <d · u₁>, ‖U₁You can use firewood. Similarly, h_iWhen the denominator is deformed, it can be expressed by equation (17).
[0097]
[Expression 17]

[0098]
Therefore, h_iThe calculation result ‖u obtained by the first basis search is used for the denominator calculation._i‖², ‖U₁You can use firewood. The above is the h in equation (14)_iSubstituting for, h_iBecomes the equation (18-1) and can be finally expressed by the equation (18-2).
[0099]
[Expression 18]

[0100]
Where P_i= <D · u_i>, Li = ‖u_i‖²Is the array [P_i], [L_i] Can be used respectively, and P_k= P₁= <D · u₁>, √ (L_k) = √ (L₁) = ‖U₁‖ Can also use the previous calculation results. Therefore, the new calculation this time is <u_k・ U_i> = <U₁・ U_iIt is a part of>.
[0101]
Assuming the above, the search for the second basis performs the following arithmetic processing. That is, in step S41, P = 1 because k = 1.₁= <D · u₁>, L₁= ‖U₁‖²Hold. These can use the results obtained in steps S22 and S23. The subscript “1” is the first basis <u₁Is the contents of the index counter i, which indicates the array [I_k]. In step S42, the calculation of equation (19) is performed, and the result is stored in the registers η and κ.
[0102]
[Equation 19]

[0103]
In step S43, the inner product calculation <u₁・ U_i<U>₁15-dimensional vector <w obtained by subtracting the 16th component of> from the values of the remaining components₁> In step S44, the inner product <w for i = 0 to (N-1)._k・ U_i> Η is obtained, and these are arranged in the array [Q_i]. In step S45, for i = 0 to (N-1) (P_i-ΚQ_i) To obtain the array [P_i]. Where P on the right side_iIs the calculation result of step S22, and the calculation result of step S45 is further converted to the array [P_i] To overwrite the array [P_i] Are updated sequentially reflecting the past calculation results. In step S46, for i = 0 to (N-1) (L_i-Q_i ²) And these are arranged in the array [L_i] (Overwrite). Where L on the right side_iIs the calculation result of step S23, and the calculation result of step S46 is further converted to the array [L_i] To overwrite the array [L_i] Is also updated sequentially reflecting the past calculation results. H_iThe repetitive calculation of can be finally expressed by equation (20).
[0104]
[Expression 20]

[0105]
In step S47, h_iRegister E = 0 which holds the maximum value of the base candidate vector <u_iThe index counter i is initialized to 0, and the base number counter k is incremented by one. At this point, k = 2.
[0106]
In step S48, h_i= P_i ²/ L_iAsk for. In step S49, h_iIt is determined whether or not> E. h_iIf> E, h in step S50_iAnd the current i is updated to the array [I_k] (K = 2). H_iIf not> E, the process of step S50 is skipped.
[0107]
In step S51, i is incremented by 1. In step S52, it is determined whether i ≧ N. If i ≧ N is not satisfied, the process returns to step S48, and the next h_iThe maximum value search process similar to the above is performed. Thereafter, the process proceeds in the same manner. When i ≧ N, the search for all nested blocks is completed. At this time, the array [I_k] (K = 2) is h_iThe second basis vector <u₂> Index value i is held.
[0108]
In step S53, the second basis vector <u₂> To <v₁> Is normalized to a normalized basis vector <v₂> And nothing, the array [V_k] (K = 2). The scalar coefficient α₂(<D₁<V₂To the array [A_k] (K = 2). In this way, the basis vector <u₂> Orthonormalization and scalar coefficient α₂This calculation may be carried out once for the search result, thereby significantly reducing the weight and speed of the AOT process. The same applies to the following.
[0109]
In step S54, the residual vector <d₁> Is a residual vector <d₂> = <D₁> -Α₂<V₂Update with <>. In step S55, the square norm of the new residual vector e = ‖d₂‖²In step S56, it is determined whether e ≦ Z. If e ≦ Z, the AOT process is terminated at this stage, and if e ≦ Z is not satisfied, the third base search process is performed.
[0110]
FIG. 6 shows the third basis search process. Prior to the description of this process, a calculation device used to efficiently perform the process will be described. That is, normally, the third basis is the residual vector <d₂The square norm of the difference from>_iOrthogonal vector <u_iAlthough it is calculated | required as'>, Formula (21) will be obtained if this relational expression is developed further.
[0111]
[Expression 21]

[0112]
Here, the orthogonal vector <u_i'> Is the third basis candidate vector <u_iFor the first and second normalized basis vectors <v₁>, <V₂> Is orthogonalized.
[0113]
[Expression 22]

[0114]
Similarly, ‖d in the first term on the right side of equation (21) above₂‖²Since> 0 is constant regardless of the basis candidates, an orthogonal vector <u that maximizes the second term on the right side of the same_i'> Can be the third basis. The second term on the right side is h_ifar.
[0115]
[Expression 23]

[0116]
Furthermore h_iMolecular orthogonal vector <u_i'> To base candidate vector <u_i>_iThe molecule can be expressed by the formula (24).
[0117]
[Expression 24]

[0118]
Furthermore, the residual vector <d in equation (24)₂Is represented by the first residual vector <d>, h_iThe molecule can be expressed by the formula (25).
[0119]
[Expression 25]

[0120]
Similarly h_iWhen the denominator is deformed, it can be expressed by equation (26).
[0121]
[Equation 26]

[0122]
The above is the h in equation (23)_i(27) is obtained by substituting for.
[0123]
[Expression 27]

[0124]
By the way, each second term of the numerator / denominator (27) has already been calculated, and there is a relationship of the expression (28).
[0125]
[Expression 28]

[0126]
Therefore, h_iThis calculation can be finally expressed by equation (29) following the equation (18-2).
[0127]
[Expression 29]

[0128]
(29) is the inner product <u_k・ U_i> Is <v_k・ U_iIt has the same shape as the above equation (18-2) except that it is>. Therefore, the subsequent bases can be obtained efficiently by recursively using the same routine as in FIG.
[0129]
Based on the above, the search after the third basis performs the following arithmetic processing. That is, in step S61, P = 2 with k = 2.₂= <D₁・ U₂>, L₂= ‖U₂‖²Hold. In step S62, the calculation of equation (30) is performed, and the result is stored in the registers η and κ.
[0130]
[30]

[0131]
In step S63, the inner product calculation <v₂・ U_iAs a pre-processing of₂15-dimensional vector <w obtained by subtracting the 16th component of> from the values of the remaining components₂> However, <v₂Since each component of> is not an integer value, it is necessary to perform an inner product operation in a real number type as it is. In order to avoid this, <v₂> (Ie <w₂>) Is multiplied by a constant a to make an integer.
[0132]
In step S64, the inner product (<w₂・ U_i> Η / a), and these are arranged in the array [Q_i] (Overwrite). At this time, the result is divided by dividing each operation result by a constant a. In step S65, for i = 0 to (N-1) (P_i-ΚQ_i) To obtain the array [P_i] (Overwrite). In step S66, for i = 0 to (N-1), (L_i-Q_i ²) And these are arranged in the array [L_i] (Overwrite). As described above, the calculation of the equation (29) can be expressed by the equation (31).
[0133]
[31]

[0134]
In step S67, h_iRegister E = 0 which holds the maximum value of the base candidate vector <u_iThe index counter i is initialized to 0, and the base number counter k is incremented by one. At this point, k = 3.
[0135]
In step S68, h_i= P_i ²/ L_iAsk for. In step S69, h_iIt is determined whether or not> E. h_iIf> E, h in step S70_iAnd the current i is updated to the array [I_k] (K = 3). H_iIf not> E, the process of step S70 is skipped.
[0136]
In step S71, i is incremented by 1, and in step S72, it is determined whether i ≧ N. If i ≧ N is not satisfied, the process returns to step S68, and the next h_iThe maximum value search process similar to the above is performed. Thereafter, the process proceeds in the same manner. When i ≧ N, the search for all nested blocks is completed. At this time, the array [I_k] (K = 3) is h_iThe third basis vector <u_Three> Index value i is held.
[0137]
In step S73, the third basis vector <u_Three> To <v₁>, <V₂> Is normalized and normalized to a normalized basis vector <v_Three> And nothing, the array [V_k]. The scalar coefficient α_Three(<D₂<V_ThreeTo the array [A_k].
[0138]
In step S74, the residual vector <d₂> Is a residual vector <d_Three> = <D₂> -Α_Three<V_ThreeUpdate with <>. In step S75, the square norm of the new residual vector e = ‖d_Three‖²In step S76, it is determined whether or not e ≦ Z. If e ≦ Z, the AOT process is terminated at this stage. If e ≦ Z is not satisfied, the process returns to step S61 to perform preprocessing and search processing for the fourth and subsequent bases. Although not shown, preferably, for example, a determination process for determining whether or not k ≧ 4 is provided after step S76, and when A ≧ 4, the AOT process is skipped.
[0139]
As described above, the AOT process can be significantly reduced in weight and speeded up, and the calculation time is shortened to 1/3 to 1/10 of the conventional measurement ratio.
[0140]
Referring to FIG. 2, from AOT32, α_k, <V_k> (K = 1 to m) are obtained, and the residual vector <d_j> Can be approximated within an allowable error Z. Furthermore, the coefficient conversion unit 33_k, <V_k> (K = 1 to m)_k, <U_k> In order to convert into a set of (k = 1 to m), the expansion coefficient β_kAsk for. That is, now the basis candidate vector <u_k>, Expansion coefficient β_k, Normalized basis vector <v_k>, Scalar coefficient α_kWhen each matrix is set to (32),
[0141]
[Expression 32]

[0142]
These are related by the equation (33).
[0143]
[Expression 33]

[0144]
In order to solve this for the matrix B, first, in order to convert the matrix U to a square matrix, the transposed matrix U of the matrix U on both sides.^THung from the left side.
[0145]
[Expression 34]

[0146]
This matrix (U^TU) is expanded as shown in equation (35),
[0147]
[Expression 35]

[0148]
Where <u_i・ U_j> Represents the inner product, and <u_i・ U_j> = <U_j・ U_i>, A square matrix symmetric with respect to the diagonal element is obtained, and <u_i> And <u_jSince> is different, there is an inverse matrix. Therefore, the matrix (U^TU) inverse matrix (U^TU)^-1Is multiplied by (36) to obtain β_kIs obtained.
[0149]
[Expression 36]

[0150]
The orthonormal basis set α_k, <V_k> (K = 1 to m)_k, <U_k> (K = 1 to m) to convert each base candidate vector <u_k> Do not need to be orthogonalized, and β_kThe residual vector <d_j> Can be approximated. Therefore, the decoding process can be performed easily and at high speed. Next, the expansion coefficient β_kThe compression code processing will be described.
[0151]
FIG. 9 is an image diagram of expansion coefficient code processing according to the embodiment. In FIG. 9A, the generated β₁~ Β_FourExtract the norm (size) from. In FIG. 9B, the norm is set in ascending order (β_Three, Β₂, Β_Four, Β₁), And the difference (Δβ in order from the front (initially 0)_Three, △ β₂, △ β_Four, △ β₁) In FIG. 9C, the coefficient residual (Δβ_Three, △ β₂, △ β_Four, △ β₁) Is divided into the lower 2 bits and the upper bits, and the upper bits are Huffman encoded.
[0152]
In this example, △ β_ThreeAnd (△ β₂= △ β_Four= △ β₁)), And the Huffman code has a high frequency of occurrence (Δβ).₂, △ β_Four, △ β₁) Is assigned a code with a small number of bits, and △ β is less frequent_ThreeA code having a large number of bits is assigned to. Therefore, the expansion coefficient β_kCan be compressed and encoded. Moreover, coefficient residual Δβ_kBy the Huffman coding of the higher-order bits, the fraction of the lower-order bits is cut off.₂= △ β_Four= △ β₁Is likely to be.
[0153]
Also, residual △ β_kThe lower two bits of the corresponding base vector <u_kThe index information (13 bits = 0 to 8191) is packed into a 2-byte fixed-length code area and output as a fixed-length code. The output order of these codes is △ β_Three, △ β₂, △ β_Four, △ β₁(Ie u_Three, U₂, U_Four, U₁) In that order.
[0154]
In FIG. 9D, each code is represented by u on the decoding side._Three, U₂, U_Four, U₁Are entered in the order of_Three, △ β₂, △ β_Four, △ β₁Isolate. The first △ β_ThreeTo β_ThreeAnd the β_Three△ β₂Plus β₂And the β₂△ β_FourPlus β_FourAnd the β_Four△ β₁Plus β₁Is decrypted. β_k<U_kSince> functions by taking the sum (primary combination) of these, the order of these does not matter.
[0155]
The norms are rearranged in ascending order, and the difference is obtained in order from the front (initially 0). Conversely, the norms are rearranged in descending order, and the difference may be obtained in order from the rear (initially 0).
[0156]
Hereinafter, the encoding process by the encoding unit 34 will be described. DPCM prediction residual ΔDC_{J, I}Is quantized with a quantization coefficient Q (Z) and ΔDC_{J, I}Only when = 0, the run length is considered and the prediction residual ΔDC_{J, I}And the run length are independently Huffman coded. The basis number k considers the run length only when k = 0, and the basis number k And the run length are independently Huffman coded. Coefficient residual △ β_kThe higher-order bits are Huffman-encoded for the quotient quantized with a constant Q (for example, 8). The basis vector <u_k> In the code information i (= 13 bits)_kSign bit and coefficient residual Δβ_kThe lower 2 bits are packed into a fixed-length code of 16 bits in total, and these are the residual Δβ_kIn ascending (or descending) order. As a whole, a code string is formed by packing the pixel blocks in the order of appearance. If necessary, a code EOB for indicating switching of the pixel block is written.
[0157]
FIG. 10 is a block diagram of the image decoding apparatus according to the embodiment and corresponds to the image encoding apparatus of FIG. In the figure, 41 is a decoding unit such as Huffman, 42 is a pixel of interest DC_JAmbient DC value including DC_JTarget block containing AC components from R_j>, An AC component prediction unit 43 for decoding basis set β_k<U_k> (K = 1 to m) based on the approximate residual vector <d_jThe residual vector reproduction unit 44 reproduces the decoded block <R_j> Based on the target block <R_jR to play_jA playback unit, 45 is a playback image memory for storing playback images, 46 is an IDPCM unit for IDPCM decoding of decoded DC values, 47 is a DC image memory for storing decoded DC images, 48 is a DC nest generation unit similar to FIG. 49 is a DC nest memory for storing DC nests, and 50 is a selection block <U_k> Is a selected block buffer 51 for holding <U_k> Β_k, 52 and 53 are β_k<U_k> (K = 1 to m) cumulative adder, 54 is the block average value A of the cumulative addition result_jThe averager 55 calculates the block average value A from the cumulative addition result._j, 56 is a reproduction approximate residual vector <d_j> Is an approximate vector buffer, 57 is a target block <R_j> Reproduction DC value DC_JReproduction approximate residual vector <d_j> Is added.
[0158]
FIG. 11 is a flowchart of image decoding processing according to the embodiment. In step S101, image code data is read. In step S102, the Y, U, and V DC values are decompressed (decoded) by the IDPCM method similar to that in FIG. 2, and the DC image is reproduced. In step S103, a DC nest is generated from the DC image of the Y component. At this time, as shown in FIG._JAre masked (= 0), and each DC nest pixel value N_jIt becomes. Note that information such as the cutout position of the DC image is received separately. In step S104, the index counters j and J for the original image memory 45 and the DC image memory 47 are both initialized to zero.
[0159]
In step S105, code data for one block image is input. In step S106, it is determined whether or not the basis number k = 0. If k = 0, the target block <R is determined by the AC component prediction method described later in step S114._jPlay>. If k ≠ 0, it is further determined in step S107 whether 1 ≦ k ≦ 4.
[0160]
If 1 ≦ k ≦ 4, the residual vector <d in step S112_j> Is inversely quantized. In this embodiment, since the lower 4 bits of the DC nest are masked (= 0) in advance, each selected block <U_k> Directly into β_kMultiply these values and add them up to the block average value A_jTo separate the residual vector <d_j> Is obtained at once. Therefore, the decoding process is speeded up. In step S113, the obtained residual vector <d_jDC value corresponding to_JIs added.
[0161]
If 1 ≦ k ≦ 4 is not satisfied, the target block <R in step S108._jFrom the decoded data of <>, the target block <R_j<> Is played directly. Thus, the target block of 4 × 4 pixels <R_j> Has been played back. In step S109, the reproduced target block <R_jIs stored in the reproduced image memory 45.
[0162]
In step S110, the counters j and J are incremented by 1, respectively, and in step S111, it is determined whether i ≧ M (total number of pixel blocks). If i ≧ M is not true, the process returns to step S105, and the same decoding / reproduction processing is performed for the next block image code data. Thereafter, the process proceeds in the same manner. When j ≧ M is determined in step S111, the decoding process for one image is terminated.
[0163]
FIG. 12 is an image diagram of AC component prediction in the embodiment, and a known prediction method can be adopted. FIG. 12 (A) shows a stepwise AC component prediction method, which will be outlined below. In the first stage, each sub-block S on the target block S₁~ S_FourIs estimated from the DC values of the surrounding four blocks (U, R, B, L) including S by the following equation.
[0164]
S₁= S + (U + L-B-R) / 8
S₂= S + (U + R−B−L) / 8
S_Three= S + (B + L−U−R) / 8
S_Four= S + (B + R−UL) / 8
Similarly, in this first stage, U₁~ U_Four, L₁~ L_Four, R₁~ R_Four, B₁~ B_FourEtc. are estimated. Furthermore, in the second stage, the above method is used recursively, so that S₁Upper 4 pixels P₁~ P_FourIs estimated by the following equation.
[0165]
P₁= S₁+ (U_Three+ L₂-S_Three-S₂) / 8
P₂= S₁+ (U_Three+ S₂-S_Three-L₂) / 8
P_Three= S₁+ (S_Three+ L₂-U_Three-S₂) / 8
P_Four= S₁+ (S_Three+ S₂-U_Three-L₂) / 8
S₂~ S_FourEach 4 pixels P above₁~ P_FourThe same applies to. The target block <R by such a two-step process._j> Is played back.
[0166]
FIG. 13B shows a non-stepped AC component prediction method proposed by the applicant of the present application. From each DC value of four surrounding blocks (U, R, B, L) including the block of interest S, each sub-block is shown. S₁~ S_FourEach 4 pixels P₁~ P_FourIs estimated at once. The contents are outlined below. First S₁Upper 4 pixels P₁~ P_FourS₂≒ S_Three≒ S, U_Three≒ U, L₂Each approximation of ≈L is performed. This approximation can be expressed as S₁P above₁Applied to the expression
P₁= S₁+ (U_Three+ L₂-S_Three-S₂) / 8
= S₁+ (U + LS-S) / 8
Is obtained. Furthermore, the above S₁The formula of S₁= S + (U + L−B−R) / 8 is substituted, S₁P above₁Finally
P₁= S + (2U + 2L-2S-BR) / 8
It can be expressed as The above S₁P above₂about,
P₂= S₁+ (U_Three+ S₂-S_Three-L₂) / 8
= S₁+ (U + S−S−L) / 8
Is obtained. Furthermore, the above S₁The formula of S₁= S + (U + L−B−R) / 8 is substituted, S₁P above₂Finally
P₂= S + (2U-BR) / 8
It can be expressed as The above S₁P above_Threeabout,
P_Three= S₁+ (S_Three+ L₂-U_Three-S₂) / 8
= S₁+ (S + L−U−S) / 8
Is obtained. Furthermore, the above S₁The formula of S₁= S + (U + L−B−R) / 8 is substituted, S₁P above_ThreeFinally
P_Three= S + (2L-BR) / 8
It can be expressed as The above S₁P above_Fourabout,
P_Four= S₁+ (S_Three+ S₂-U_Three-L₂) / 8
= S₁+ (S + S−UL) / 8
Is obtained. Furthermore, the above S₁The formula of S₁= S + (U + L−B−R) / 8 is substituted, S₁P above_FourFinally
P_Four= S + (2S-BR) / 8
It can be expressed as Therefore, S₁Upper 4 pixels P₁~ P_FourIs
P₁= S + (2U + 2L-2S-BR) / 8
P₂= S + (2U-BR) / 8
P_Three= S + (2L-BR) / 8
P_Four= S + (2S-BR) / 8
Is determined in a step by step. S₂~ S_FourEach 4 pixels P above₁~ P_FourThe same applies to.
[0167]
Although the above embodiment has been described with specific numerical examples, it is obvious that the present invention is not limited thereto.
[0168]
Further, although the preferred embodiment of the present invention has been described, it goes without saying that various changes in the configuration, control, processing, and combination of each part can be made without departing from the spirit of the present invention.
[0169]
【The invention's effect】
As described above, according to the present invention, high image quality can be obtained by improving the DC nest, and high-speed coding can be obtained by devising the AOT calculation. Therefore, it greatly contributes to high image quality and high-speed encoding in the HVQ method.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating the principle of the present invention.
FIG. 2 is a block diagram of an image encoding device according to an embodiment.
FIG. 3 is a flowchart of image code (main) processing according to the embodiment.
FIG. 4 is a flowchart (1) of adaptive orthogonal transform processing according to the embodiment.
FIG. 5 is a flowchart (2) of the adaptive orthogonal transform process according to the embodiment.
FIG. 6 is a flowchart (3) of adaptive orthogonal transform processing according to the embodiment.
FIG. 7 is an explanatory diagram (1) of a DC nest according to an embodiment.
FIG. 8 is an explanatory diagram (2) of the DC nest according to the embodiment.
FIG. 9 is an image diagram of expansion coefficient code processing according to the embodiment.
FIG. 10 is a block diagram of an image decoding apparatus according to an embodiment.
FIG. 11 is a flowchart of image decoding processing according to the embodiment.
FIG. 12 is an image diagram of AC component prediction in the embodiment.
FIG. 13 is a block diagram of a conventional image encoding device.
FIG. 14 is a flowchart of a conventional adaptive orthogonal transform process.
FIG. 15 is an image diagram of conventional adaptive orthogonal transform processing.
FIG. 16 is a conceptual diagram of a conventional average value separation process.
[Explanation of symbols]
11 Original image memory
12 DC value generator
13 Differential PCM code part (DPCM)
14 Inverse DPCM code part (IDPCM)
15 DC image memory
16 DC nest generator
17 DC Nest Memory
18 Subtractor
19 Residual vector buffer
20 Extractor block buffer
21 Average device
22 Subtractor
23 Candidate vector buffer
24 Adaptive Orthogonal Transform Processing Unit (AOT)
25 Coefficient converter
26 Code part
31 DC nest generator
32 Adaptive Orthogonal Transform Processing Unit (AOT)
33 Coefficient converter
34 Code part

Claims (14)

The image data is divided into blocks for each B pixel to generate a DC image consisting of each block average value, and the lower n (n = log ₂ B) bits of each DC pixel from which a part of the DC image is extracted is set to 0. DC nesting step;
If the magnitude of the residual vector after separating the block mean value from the code target pixel block is determined to exceed a predetermined allowable value, then extracted sequentially base candidate block from the DC nest, the block from the block Separating average values to generate basis candidate vectors, and obtaining one or more basis vectors for approximating the residual vector to an allowable value or less by an adaptive orthogonal transformation process using the basis candidate vectors; ,
An image encoding method comprising: Dividing the image data into blocks for each B pixel to generate a DC image consisting of each block average value, and making a part of the DC image a DC nest;
If the magnitude of the residual vector after separating the block mean value from the code target pixel block is determined to exceed a predetermined allowable value, then extracted sequentially base candidate block from the DC nest, constituting the block The lower n (n = log ₂ B) bits of each DC pixel to be set are set to 0, the block average value is separated to generate a base candidate vector, and the remaining is obtained by adaptive orthogonal transform processing using the base candidate vector. Obtaining one or more basis vectors for approximating the difference vector below an allowable value;
An image encoding method comprising: The adaptive orthogonal transform process includes a process of searching for a first basis vector <u ₁ > for minimizing the difference from the first residual vector <d> using a DC nest, , When the base candidate vector sequentially extracted from the DC nest is <u _i >
h _i = <d · u _i > ² / ‖u _i ‖ ²
Extracting the basis candidate vector <u _i > that maximizes as a first basis vector <u ₁ >;
Normalizing the first basis vector <u ₁ > with its magnitude to form a first normalized basis vector <v ₁ > and holding it;
Obtaining a first scalar coefficient α ₁ as a projection of the residual vector <d> to the first normalized basis vector <v ₁ > and holding it;
The image encoding method according to claim 1, further comprising: The adaptive orthogonal transformation process is performed by approximating the first residual vector <d> by the scalar product α ₁ <v ₁ > of the first scalar coefficient α ₁ and the first normalized basis vector <v ₁ >. A second basis vector for minimizing the magnitude of the difference from the first residual vector <d ₁ > using the DC nest when it is determined that the difference vector <d ₁ > exceeds a predetermined allowable value <U ₂ > is searched for, and when the base candidate vector sequentially extracted from the DC nest is <u _i >,
_{h i = {<d · u} i> - (<d · u 1><u 1 · u i>) / ‖u 1 ‖ ^{2} 2}
/ {‖U _i ‖ ² − (<u ₁ · u _i >) / ‖u ₁ ‖) ² }
Extracting the basis candidate vector <u _i > that maximizes as a second basis vector <u ₂ >;
Normalizing and orthogonalizing the second basis vector <u ₂ > to a first normalized basis vector <v ₁ > to form a second normalized basis vector <v ₂ >, and holding this;
Obtaining a second scalar coefficient α ₂ as a projection of the first residual vector <d ₁ > to the second normalized basis vector <v ₂ > and holding it;
The image encoding method according to claim 3, further comprising: The adaptive orthogonal transform processing is performed by approximating the first residual vector <d ₁ > by the scalar product α ₂ <v ₂ > of the second scalar coefficient α ₂ and the second normalized basis vector <v ₂ >. A third basis for minimizing the magnitude of the difference from the second residual vector <d ₂ > using the DC nest when it is determined that the residual vector <d ₂ > exceeds a predetermined allowable value Including a process of searching for a vector <u ₃ >, and when the base candidate vector sequentially extracted from the DC nest is <u _i >,
h _i =
(<D · u _i > − < d · v ₁ ><v ₁ · u _i > − <d · v ₂ ><v ₂ · u _i >) ²
/ {‖U _i ‖ ² − <v ₁ · u _i > ² − <v ₂ · u _i > ² }
Extracting the basis candidate vector <u _i > that maximizes as a third basis vector <u ₃ >;
The third basis vector <u ₃ > is normalized and orthogonalized to a first normalized basis vector <v ₁ > and a second normalized basis vector <v ₂ > to obtain a third normalized basis vector <v ₃ > None, a step to hold this,
Determining a third scalar coefficient α ₃ as a projection of the second residual vector <d ₂ > to the third normalized basis vector <v ₃ > and storing it;
The image encoding method according to claim 4, further comprising: The first residual vector is adaptively orthogonal transform processing _{<d> = (d 1,} d 2 ..., d n) basis candidate vectors which minimize the magnitude of the difference between _{<u i> = (u 1} , u 2 ,..., U _n ) to find the inner product <d · u _i > of the two, and this operation takes an arbitrary element (eg, u _q ) of the basis candidate vector <u _i > And replacing the inner product <d · u _i > between the residual vector <d> and the base candidate vector <u _i >
<D · u _i > = (d ₁ −d _q ) u ₁ + (d ₂ −d _q ) u ₂ +,
_{..., + (d n - d} q) u n
However, (d q _{-d q)} image encoding method according to any one of claims 3 to 5, wherein the determination by <br/> sum of products, except the term of u _q. A set of orthonormal basis sets consisting of m scalar coefficients α _k (k = 1 to m) and m normalized basis vectors <v _k > (k = 1 to m) is expressed as m scalar expansion coefficients β. _{k (k} = 1~m) and the step of converting the to the set of original and became the m base candidate vectors _{<u k> (k = 1~m} ) consisting a non-orthogonal basis set of the normalized basis vectors When,
The encoded data is obtained by encoding the set of the m scalar expansion counts β _k thus converted and the extraction information for extracting m basis candidate vectors <u _k > from the DC nest and the DC image. Output step;
The image encoding method according to claim 3, further comprising: Sort the norm of the m scalar development coefficients β ₁ ~β _m to the order of magnitude, the remaining upper excluding the low-order bits of each difference of the calculated, predetermined number of bits for each obtained difference between adjacent norm containing 0 8. The image coding method according to claim 7 , wherein Huffman coding is applied to the bits .   The image data itself of the encoding target block is encoded instead of the encoding of the basis system when the number of basis vectors obtained by the adaptive orthogonal transform processing is equal to or greater than a predetermined number. 6. The image encoding method according to 5. A DC image corresponding to each block average value for each B pixel is reproduced from the code data according to claim 7, and the lower n (n = log ₂ B) bits of each DC pixel from which a part of the DC image is extracted Zeroing to DC nest,
Decoding a set of m scalar expansion counts and m pieces of extracted information from the code data;
Generate a scalar product β _k <U _k > (k = 1 to m) of m scalar expansion counts for the target block and each base candidate block extracted from the DC nest using m pieces of extraction information, and block these Accumulating each time, separating the block average value from the addition result to generate a residual vector <d _j >, combining this with the DC value of the target block, and reproducing the image data;
An image decoding method comprising: Regenerating a DC image corresponding to each block average value for each B pixel from the code data according to claim 7, and making a part thereof a DC nest;
Decoding a set of m scalar expansion counts and m pieces of extracted information from the code data;
Each DC pixel for each base candidate block <U _k > (k = ₁ to m) extracted from the DC nest by m pieces of scalar expansion counts β _k (k = ₁ to m) for the target block and m pieces of extraction information. A scalar product β _k <U _k > (k = 1 to m) of the lower n (n = log ₂ B) bits of 0 is generated, and these are cumulatively added for each block. Separating the block average value from the result to generate a residual vector <d _j > and combining it with the DC value of the target block to reproduce the image data;
An image decoding method comprising: The image data is divided into blocks for each B pixel to generate a DC image consisting of each block average value, and the lower n (n = log ₂ B) bits of each DC pixel from which a part of the DC image is extracted is set to 0. DC nest generating means for generating a DC nest and storing it in a memory;
If the magnitude of the residual vector after separating the block mean value from the code target pixel block is determined to exceed a predetermined allowable value, then extracted sequentially base candidate block from the DC nest, the block from the block Arithmetic means for generating one or more base vectors for generating a base candidate vector by separating an average value and approximating the residual vector to an allowable value or less by an adaptive orthogonal transform process using the base candidate vector When,
An image encoding device comprising: The DC image corresponding to each block average value for each B pixel is reproduced from the code data according to claim 7, and the lower n (n = log ₂ B) bits of each DC pixel from which a part of the DC image is extracted DC nest reproducing means for reproducing DC nest with 0 and storing it in memory;
Decoding means for decoding a set of m scalar expansion counts and m pieces of extracted information from the code data;
Generate a scalar product β _k <U _k > (k = 1 to m) of m scalar expansion counts for the target block and each base candidate block extracted from the DC nest using m pieces of extraction information, and block these Image reproducing means for accumulating each time and generating a residual vector <d _j > by separating the block average value from the addition result and combining it with the DC value of the target block to reproduce the image data; ,
An image decoding apparatus comprising:   A computer-readable recording medium having recorded thereon a program for causing a computer to execute the processing according to claim 1.

Images