JP2023030585A - 画像符号化装置及び方法及びプログラム - Google Patents
画像符号化装置及び方法及びプログラム Download PDFInfo
- Publication number
- JP2023030585A JP2023030585A JP2021135803A JP2021135803A JP2023030585A JP 2023030585 A JP2023030585 A JP 2023030585A JP 2021135803 A JP2021135803 A JP 2021135803A JP 2021135803 A JP2021135803 A JP 2021135803A JP 2023030585 A JP2023030585 A JP 2023030585A
- Authority
- JP
- Japan
- Prior art keywords
- encoding
- color difference
- block
- image
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/162—User input
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
- H04N19/96—Tree coding, e.g. quad-tree coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】 画像、特に色差成分の符号化効率を向上させる。【解決手段】 本発明の画像符号化装置は、入力フレームにおける色差成分の特性を判定する判定部と、入力フレームの輝度成分で構成されるブロック画像を、所定のアルゴリズムに従って再帰的にブロック分割し、符号化する第1の符号化部と、第1の符号化部によるブロック分割の結果を参照して、入力フレームの色差成分で構成されるブロック画像を分割し、符号化する第2の符号化部と、入力フレームの色差成分で構成されるブロック画像を、予め設定されたサイズのブロックで分割し、符号化する第3の符号化部と、判定部の判定に基づいて、色差成分のブロック画像を、第2、第3の符号化部のいずれかを選択する選択部と、第1の符号化部で得た輝度成分の符号化データ、及び、選択部で選択した符号化部で得た色差成分の符号化データを出力する出力部とを備える。【選択図】 図3
Description
本発明は、画像の符号化技術に関するものである。
近年、4Kや8K解像度対応など、映像機器が取り扱うデータ量は増加の一途である。そのためH.265/HEVCよりもさらに高効率な圧縮ができる次世代映像符号化方式、VVC(Versatile Video Coding)/MPEG-I Part3の規格化が進んでいる。
VVC規格で新たな符号化ツールとして採用予定となっている技術の一つとして、色差成分分離ツリー(CST:Chroma Separate Tree)、またはデュアルツリー構造(DT:Dual Tree Structure)と呼称されるブロック分割方式が検討されている。
従来でのHEVC規格における符号化単位(CTU:Coding Tree Unit)のブロック分割は、輝度成分画素サンプルと色差成分画素サンプルで同一のブロック分割構造のみだったが、VVC規格では画面内予測符号化を行ったイントラスライスにおいて、輝度成分サンプルと色差成分サンプルのコーディングツリー構造をそれぞれ独立して持つことを選択できるようになった。
一般に、自然画像は輝度成分に比べて色差成分は画素値変化が少なく、空間的な冗長性が高い。このため、上述のCST方式を用いて、色差成分に大きいブロックサイズを割り当て、ツリー構造の階層数を少なくすることができれば、冗長な分割フラグや階層数を示すシンタックス情報の符号データ量を低減できるため、符号化効率の向上を期待できる。
特許文献1には、輝度成分と色差成分とを独立してブロック分割して符号化する手段を備えた符号化装置において、色差成分のブロック分割形状を符号化済みの輝度成分のブロックの分割形状に基づいて判断する手段を備え、色差成分のブロック境界が、対応する輝度成分のブロック境界が同じになるように、色差成分の分割形状を決定する技術が開示されている。
しかしながら、特許文献1に記載のように、前記CSTを用いた輝度成分と色差成分のブロック分割を独立に行う符号化器においては、ブロック分割形状の決定時に、輝度成分と色差成分を同一のブロック形状とツリー構造で分割する場合と、それぞれの成分を独立して分割する場合とを両方計算し、双方の発生符号量または予測画像との差分値和(SAD)等のコスト比較を行ってから最終決定する処理ステップとなるため、演算負荷が増加してしまう虞がある。
本発明では、上記課題に鑑み、符号化処理の演算負荷を増やすことなく、画像の符号化効率を向上させる技術を提供しようとするものである。
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
撮像手段で得た入力フレームを、所定のサイズの画素ブロックを単位に圧縮符号化する画像符号化装置であって、
前記入力フレームにおける色差成分の特性を判定する判定手段と、
前記入力フレームの輝度成分で構成されるブロック画像を、所定のアルゴリズムに従って再帰的にブロック分割し、符号化する第1の符号化手段と、
前記第1の符号化手段によるブロック分割の結果を参照して、前記入力フレームの色差成分で構成されるブロック画像を分割し、符号化する第2の符号化手段と、
前記入力フレームの色差成分で構成されるブロック画像を、予め設定されたサイズのブロックで分割し、符号化する第3の符号化手段と、
前記判定手段の判定に基づいて、色差成分のブロック画像を、前記第2、第3の符号化手段のいずれかを選択する選択手段と、
前記第1の符号化手段で得た輝度成分の符号化データ、及び、前記選択手段で選択した符号化手段で得た色差成分の符号化データを出力する出力手段とを備える。
撮像手段で得た入力フレームを、所定のサイズの画素ブロックを単位に圧縮符号化する画像符号化装置であって、
前記入力フレームにおける色差成分の特性を判定する判定手段と、
前記入力フレームの輝度成分で構成されるブロック画像を、所定のアルゴリズムに従って再帰的にブロック分割し、符号化する第1の符号化手段と、
前記第1の符号化手段によるブロック分割の結果を参照して、前記入力フレームの色差成分で構成されるブロック画像を分割し、符号化する第2の符号化手段と、
前記入力フレームの色差成分で構成されるブロック画像を、予め設定されたサイズのブロックで分割し、符号化する第3の符号化手段と、
前記判定手段の判定に基づいて、色差成分のブロック画像を、前記第2、第3の符号化手段のいずれかを選択する選択手段と、
前記第1の符号化手段で得た輝度成分の符号化データ、及び、前記選択手段で選択した符号化手段で得た色差成分の符号化データを出力する出力手段とを備える。
本発明によれば、色差成分の符号化効率を向上させることが可能になる。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
[第1の実施形態]
図1は、本実施形態が適用する動画像符号化装置のシステム構成図を示す。また、図2は図1における画像符号化部102のブロック構成図を示し、図3はその処理手順を示すフローチャートである。
図1は、本実施形態が適用する動画像符号化装置のシステム構成図を示す。また、図2は図1における画像符号化部102のブロック構成図を示し、図3はその処理手順を示すフローチャートである。
<全体システム構成>
動画像符号化装置は、撮像部100、画像処理部101、画像符号化部102、記録部103、メモリバス104、フレームメモリ105、CPU106、フラッシュメモリ107、CPUバス108、及び、操作部109から構成されている。
動画像符号化装置は、撮像部100、画像処理部101、画像符号化部102、記録部103、メモリバス104、フレームメモリ105、CPU106、フラッシュメモリ107、CPUバス108、及び、操作部109から構成されている。
撮像部100は、レンズやCCD等のカメラ部、光学部、更には、レンズから取り込んだ光信号を電気信号へ変換する撮像センサを含む。この撮像センサの結像面には、赤、青、緑の3種類のフィルタが繰り返し配列されている。本実施形態では、この配列はベイヤ配列であるものとする。したがって、撮像部100が出力する撮像画像データは、ベイヤ配列の画像データとなる。撮像部100は、撮像して得たベイヤー配列の画像データ(デジタルRAW画像データ)を、メモリバス104を介して、大容量DRAM等のフレームメモリ105に出力する。なお、撮像部100は、例えば、30フレーム/秒のフレームレートで撮像を行うものとする。
画像処理部101は、フレームメモリ105に格納されたRAW画像データに対してデベイヤー処理(デモザイク処理)を施し、輝度と色差からなる信号に変換後、各信号に含まれるノイズ除去、光学的な歪を補正し、画像を適正化する等、所謂現像処理を行う。そして、画像処理部101は、現像処理後の画像データを圧縮符号化するため、再度フレームメモリ105へ出力する。
画像符号化部102は、現像済みの画像データをフレームメモリ105からの読み出し、フレーム間予測とエントロピー符号化による画像データの冗長性を利用した映像圧縮を行ない、符号化ビットストリームを生成し、出力する。本実施形態における画像符号化部102は、映像圧縮方式としてVVC(Versatile Video Codec)方式を採用することを特徴とする。
記録部103は、画像符号アブ102が生成した符号化ビットストリームを、MP4やMOV形式等の各種PCアプリケーションで再生や編集互換性が保たれている所定のコンテナ形式に変換し、USB、SDカードまたはハードディスクなど不揮発の記憶媒体150に記録する。
メモリバス104は、前記撮像部100、画像処理部101、画像符号化部102、記録部103と、フレームメモリ105との間に接続し、画像データ、符号化データ、各種パラメタデータを高速転送するためのデータバスである。
バス転送方式にはISA,PCIーExpress、AXI等の標準的にバス規格でも、独自のバス方式を採用しても良く、本実施形態では特にその方式を問わない。
フレームメモリ105は、画像符号化部102の符号化処理の過程で使用する原画像データや、フレーム間予測のための参照画像データ、符号化ビットストリーム等を格納する。
CPU106は、本実施形態における動画像符号化装置を構成する撮像部100、画像処理部101、画像符号化部102、記録部103の起動や停止、割り込み通知などのハードウェア制御を、CPUバスを介して行うコントローラである。
フラッシュメモリ107は、CPU106が実行するプログラムやパラメータ等を格納した不揮発性メモリであり、CPU106のフェッチ動作で当該メモリへアクセスする。
CPUバス108は、CPU106と各ペリフェラルとを接続する制御用のバスであり、メモリバス104と同様の標準化バス規格方式でも良いし、十分な処理余裕があれば低速なI2C等のシリアル方式でも良く、その方式の制限はない。
操作部109は、各種ボタン、スイッチ、タッチパネル等で構成され、ユーザからの指示をCPU106に通知する。
以上、第1の実施形態における動画像符号化装置の構成について説明した。続いて、本実施形態の特徴となる画像符号化部102の内部構成と、その処理内容について説明する。
<画像符号化部>
画像符号化部102は、ブロック分割部200、イントラ予測部201、インター予測部202、イントラ・インター判定部203、予測画像生成部204、変換部205、量子化部206、エントロピー符号化部207、符号量制御部208、逆量子化部209、逆変換部210、及び、ループフィルタ211を含む。
画像符号化部102は、ブロック分割部200、イントラ予測部201、インター予測部202、イントラ・インター判定部203、予測画像生成部204、変換部205、量子化部206、エントロピー符号化部207、符号量制御部208、逆量子化部209、逆変換部210、及び、ループフィルタ211を含む。
ブロック分割部200は、フレームメモリ105に格納されたフレーム画像データ(現像済み画像データ)から符号化対象ブロック(CTU)単位で画像データを読み出し、さらに、この画像データを輝度及び色差成分それぞれに対して、最適な予測ブロックサイズを設定する。
なお、図2には、フレームメモリ105が2つあるように示しているが、これは便宜的なものであり、図1のフレームメモリ105のアドレス空間を分けて示しているものと理解されたい。
CTUは4分木構造を使用することによってCU(Coding Unit)に分割され、この単位で後段のイントラ予測やインター予測の予測処理に適用される。
イントラ予測部201は、ブロック分割部200で分割された符号化対象のブロック画像に対して、当該対象ブロックの周辺の参照画素データから生成される複数のイントラ予測画像との相関を計算する。そして、イントラ予測部201は、最も相関の高いイントラ予測方式を選択してイントラ・インター判定部202へ通知する。
インター予測部202は、同様にブロック分割部200で分割された分割済みブロック画像と、フレームメモリ105内の符号化済みフレームにおける画像データを参照画像として受信し、ブロック単位で画素データ同士のパターンマッチング等の動き検出を行って動きベクトルを算出する。
イントラ・インター判定部203は、イントラ予測部201と、インター予測部202からの出力の結果に基づいて、着目ブロックを符号化する予測方式を選択決定する。
具体的な選択方法としては、イントラ・インター判定部203は、符号化対象画像ブロックとイントラ予測部201において計算したイントラ予測画像との差、及び、符号化対象画像ブロックとインター予測部202で導出した動きベクトルが示す参照画像から生成したインター予測画像との差とを比較する。そして、イントラ・インター判定部203は差が小さい方を選択する。
または、イントラ予測部201及びインター予測部202は、それぞれ決定した予測画像と符号化対象画像との予測誤差をもとめる。そして、イントラ・インター判定部203は、イントラ予測部201及びインター予測部202から、予測誤差を取得後、それらを比較評価することで、予測方式を選択しても良い。
いずれにしても、イントラ・インター判定部203は、差分値が小さい方の予測モードを符号化予測モードと判定して予測画像生成部204に出力する。
予測画像生成部204は、イントラ・インター判定部203で選択された予測モードに応じて予測画像を生成する。そして予測画像生成部204は、生成した予測画像を変換部205の前段の減算器に出力し、入力画像との予測画像との差分画像を算出させる。この差分画像は、ローカルデコード画像生成のために逆変換部210の後段の加算器に出力される。
変換部205は、ブロック単位の差分画素データを、空間解像度変換して空間周波数領域に変換する。
量子化部206は、目標符号量に基づいて量子化係数を算出し、変換部205で空間周波数領域に変換された係数データに対して量子化処理を行う。量子化部206は、量子化された係数データを、エントロピー符号化を行うためにエントロピー符号化部207と、参照画像や予測画像を算出するために逆量子化部209の両方へ出力する。
エントロピー符号化部207は、量子化部206から入力した量子化後の係数データや、インター予測の場合には動き予測で用いたベクトル値を、CABAC(コンテキスト適応算術符号化)方式等のビットデータの出現確率の偏りを利用したエントロピー符号化による情報圧縮を行い、復号処理のために必要なパラメタ(SPSやPPS等のヘッダ情報)を付加し、所定のデータフォーマットへ整形してフレームメモリ105に出力する。上述の記録部103は、フレームメモリ105に格納された符号化データを、所定のコンテナ形式に変換した後にファイルとして記録媒体に保存する。また、エントロピー符号化部207は、ブロック単位の符号化を行った際の符号量を、符号量制御部208に出力する。
符号量制御部208は、エントロピー符号化部207から供給された1ブロック当たりの符号量を累積し、1ピクチャ(フレーム)当たりの符号化データの符号量を求める。そして、符号量制御部208は、ビットレートやバッファモデルに基づいて、次に符号化する1ピクチャ当たりの目標符号量を算出した後、次のピクチャに対する量子化パラメータを決定し、量子化部206に設定するフィードバック制御を行う。
逆量子化部209は、量子化部206にて量子化した係数データを、再度量子化係数を乗じて係数データを計算する。
逆量子化部209は、量子化部206にて量子化した係数データを、再度量子化係数を乗じて係数データを計算する。
逆変換部210は、逆量子化部209から出力された係数データを、変換部205の逆の変換を行い、ブロック単位の差分画素データを生成し、後段の加算器に出力する。
ループフィルタ211は、逆変換部210から出力された画像データと予測画像との加算で得た画像データに対して、ブロック境界で発生する符号化歪みを軽減するフィルタ処理を施した後、フレームメモリ105へローカルデコード画像として出力される。
上述のエントロピー符号化部207、符号量制御部208は、通常1画面分のピクチャ単位の制御を行い、その他の処理ブロックは、所定の矩形画素ブロック単位に制御を行うものとする。
特に、本発明の適用対象となるVVC方式においては、量子化はCU(Coding Unit),イントラ予測およびインター予測の動きベクトル探索をPU(Prediction Unit)、変換はTU(Transform Unit)単位で行うものとする。
以上が本実施形態における画像符号化部102の構成とその動作である。
<処理フロー>
続いて、本実施形態の特徴となる上述の装置構成におけるブロック分割部200の処理フローを、図3のフローチャートを参照して説明する。この処理フローは、ユーザによる操作部109へのユーザ操作をトリガとして、本装置が撮像映像の記録状態となった場合の1フレーム毎に実行するものとする。
続いて、本実施形態の特徴となる上述の装置構成におけるブロック分割部200の処理フローを、図3のフローチャートを参照して説明する。この処理フローは、ユーザによる操作部109へのユーザ操作をトリガとして、本装置が撮像映像の記録状態となった場合の1フレーム毎に実行するものとする。
初めにS301にて、ブロック分割部200は、当該動画像符号化装置の操作部109からのユーザ操作および設定によってなされた撮影モードを取得する。
撮影モードとしては、撮像部100への絞りやホワイトバランス、シャッタースピード、色味、ボケ具合等の各種設定パラメータを予め定めた最適な所定値となるよう組み合わせた、例えば夜景モード、キッズモード、ポートレートモード、セピアモード、モノクロモード等である。もちろん、これ以外のモードであっても良く、その種類は特に問わない。 続いてS302に、ブロック分割部200は、符号化対象のフレームの画像データについて、全CTUブロックに対してブロック分割処理が完了したかどうかを判定する。全CTUブロックのブロック分割完了した場合(S302のTRUEの場合)、当該符号化対象のフレームについての符号化処理が完了したと判断して、本フローを終了する。
一方、ブロック分割部200が、未ブロック分割のCTUが存在すると場合(S302のFALSEの場合)、すなわち、未符号化のCTUが存在する判定した場合、処理をS303に進める。このS303にて、ブロック分割部200は、フレームメモリ105に格納されている入力画像における対象CTUの原画像データを読み込む。
本実施形態において、CTUブロックのサイズは特に限定はないが、水平方向画素数×垂直方向画素数(or垂直方向ライン数)で表現した場合、例えば128×128画素、または64×64画素のサイズであり、ブロック分割部200は、この矩形ブロック画像を単位に読み込むものとする。尚、読み込む画像データフォーマットは、YCbCr形式またはYUV形式のように輝度成分と色差成分の複数の色成分から構成される方式を扱うものとする。また、後述のブロック単位の符号化処理では、輝度成分画素だけを集めたブロック画素データと、色差成分画素だけど集めたブロック画素データそれぞれについて処理を行う。
以降、当該CTUブロック画像データについて、上述のブロック分割部200におけるブロック分割処理について説明する。
本実施形態においてブロック分割部200による分割処理は、最初に輝度成分のブロック分割を行い、その後で色差成分のブロック分割を行うものとする。S304は、該処理順番を管理するための色差成分のブロック分割を実行するか否かの判定ステップである。 現在のCTUブロック分割を行う対象データが輝度成分ブロックの場合、ブロック分割部200はS304の判定結果をFALSEとし、処理をS306に移行する。S306にて、ブロック分割部200は、着目しているCTUについて通常のブロック分割処理を行う。
本実施形態における通常のブロック分割処理においては、ブロック分割部200は、例えば当該矩形ブロック画像を4分木のサブブロック画像に分割し、サブブロック領域ごとに、その領域内の画素値のバラつきを示す指標である分散値を導出する。そしてブロック分割部200は、全てのサブブロックの分散値が予め定めた閾値以下の場合、当該CTUブロックについては分割前のブロックサイズを採用する。一方で、いずれかのサブブロックの分散値が前記閾値より大きい場合は、さらに当該サブブロックを4分岐してより小さいサブブロック画像に分割して、各サブブロックについて同様に分散値による再帰的なブロック分割を行うものとする。ただし最小の分割サブブロックのサイズは、例えば8×8画素のように、規格上定められる下限サイズ、または該サイズよりも大きな予め定めたサイズまでの分割とする。
上述の通常のブロック分割処理として述べた、サブブロック領域毎の分散値と閾値判断に基づいたブロック分割処理のアルゴリズムについては一例であり、その他の手法でもブロック分割は実施可能であるため、本発明を特に限定するものではない。
ブロック分割部200は、S306にて、輝度成分データのブロック分割を完了すると、ブロック分割の対象を色差成分データのブロックに変更し、S304に処理を戻す。
上記の結果、分割対象が色差成分のブロックとなるので、ブロック分割部200はS304の判定結果をTRUEとし、処理をS305に進める。
S305にて、ブロック分割部200は、S301で取得した撮影モード情報に基づき、当該符号化対象の入力画像が色差成分の画素値について変化が少ないモードか否かを判断する。
S305にて、ブロック分割部200は、S301で取得した撮影モード情報に基づき、当該符号化対象の入力画像が色差成分の画素値について変化が少ないモードか否かを判断する。
本実施形態では、色差成分の変化が少ない(色差成分の変化を抑制する)モードとして、モノクロモードまたはセピアモードが設定されている場合とし、上記二つのモード設定時には入力画像として色差成分が存在しない、または少ない画像データであると符号化処理前に判断可能であることを特徴とする。
そして、上記モード設定時(S305のTRUE)は、当該CTUブロックは上述の輝度成分と色差成分とを独立してブロック分割を行うCST方式を適応する方が、圧縮効率が良くなる。したがって、S307にて、ブロック分割部200は、色差成分ブロック画像について、再帰的な階層による4分木で小さなサイズまでにブロック分割を行わず、所定のサイズでブロック分割を行うものとして決定する(S307)。
色差成分ブロック分割時の所定サイズは、例えばCTUのサイズそのまま、または1階層4分木分割したブロックサイズまでとし、画素値変化が当該ブロック内で存在しない前提で、後段の予測処理でDC予測やスキップベクトル等、ほとんど予測差分、符号化コストが発生しない結果、および同等の効果になれば特に良いものとする。
一方で、上記モード値以外を設定している場合(S305のFALSEの場合)は、ブロック分割部200は、処理をS308に進める。このS308にて、ブロック分割部200は、上記S306で処理した輝度成分ブロックのブロック分割情報に基づいて、従来のHEVC規格方式と同様に、当該色差成分のブロックを分割する。
色差成分のブロック分割について、S307またはS308を実行すると、当該ブロックに対して、図2を用いて説明した一連の符号化処理が行われることになる。したがって、ブロック分割部200は、次のCTUブロックの分割処理&符号化のため、処理をS302に戻し、全CTUブロックについてブロック分割および符号化処理が完了するまで、本フローを繰り返す。以上、本実施形態におけるブロック分割処理&符号化処理を説明した。
<ブロック分割例>
上述したフローにしたがって、画像符号化部102、特にブロック分割部200におけるブロック分割処理を行った場合についてのブロック分割例を説明する。
上述したフローにしたがって、画像符号化部102、特にブロック分割部200におけるブロック分割処理を行った場合についてのブロック分割例を説明する。
図4(a)、(b)は、CTUブロックサイズが128×128画素であり、輝度成分、色彩成分のサブサンプリングを行ったクロマフォーマットが4:2:0のケースについてそれぞれ示した。
図4(a)は、これまでのHEVC規格と同じく、輝度成分と色差成分が同じブロック分割を行った場合の輝度成分の分割状態401と色差成分の分割状態402を示している。上述の図1から図3までに説明したフローに基づいて撮影モードとして、色差成分の変化が存在するモードを選択した場合には、当該ブロック分割が行われる。
一方で、撮影モードが色差成分については変化が少ないモード(モノクロモードやセピアモード)を選択した場合は、図4(b)のように、輝度成分は被写体の構造に準じた従来の再帰的なブロック分割が行われ分割状態403となるが、色差成分は、ほぼ画素値勾配が無いために、輝度成分とは独立してブロック分割を行わない、または予め定めた大きなブロックサイズで符号化を行うことで、分割状態404となる。
結果、CTUブロック全体として、再帰的なブロック分割を行ったことを示すフラグ等のシンタックス情報の冗長な伝送をしなくて済むため、符号化効率を向上させることができる。
[第2の実施形態]
上記第1の実施形態では、モノクロやセピアモード等、色差成分の画素変化が無いことが確実な撮影モードでの入力画像を符号化する時、当該入力画像の全CTUブロックについてCST方式を適応して、色差成分のブロック分割を輝度成分とは独立して、予め定めたブロックサイズで分割する方法を示した。
上記第1の実施形態では、モノクロやセピアモード等、色差成分の画素変化が無いことが確実な撮影モードでの入力画像を符号化する時、当該入力画像の全CTUブロックについてCST方式を適応して、色差成分のブロック分割を輝度成分とは独立して、予め定めたブロックサイズで分割する方法を示した。
第2の実施形態では、ユーザ設定の撮影モードに応じて、一律に当該フレームの全CTUブロックについてCST方式を適用するのではなく、ブロック単位に従来のブロック分割と、CST方式を適用したブロック分割の両方についてコスト計算と比較を行い、より好適なブロック分割を選択して符号化する方法を、さらに異なる動作として実施する。
以下、本第2の実施形態におけるブロック分割部200のブロック分割処理を図5のフローチャートを参照して説明する。なお、上記第1の実施形態と共通する部分については、適宜その説明を省略する。なお、本第2の実施形態を実現する装置構成及び画像符号化部102の構成要素と機能は、第1の実施形態を同じため説明を省略する。
<処理フロー>
図5において、S301からS305までは、第1の実施形態と同じである。S305にて、ブロック分割部200は、色差成分のCTUブロック分割する場合、撮影モードとして色差成分の変化が少ない(変化を抑制する)モード(モノクロモードやセピアモード)が選択されているか否かを判断する。ブロック分割部200は、色差成分の変化が少ないモードが選択されていると判定した場合(S305がTRUEの場合)、処理をS307に進める。このS307にて、ブロック分割部200は、色差成分のブロックについて予め定めたブロック分割を行い、処理をS308に進める。このS308にて、ブロック分割部200は、S306で行った分割情報を参照して、着目している色差成分のブロックについて、輝度成分と同じブロック分割を行う。そして、S401にて、ブロック分宅部200は、CST方式を適応した場合と、従来のブロック分割を行った場合の両方について、分割フラグや階層数も含めたシンタックス情報の符号量も含めて、後段の予測ブロックにてコスト計算を行い、より符号化効率が高い分割方式を選択する。典型的には、2つのブロック分割それぞれで符号化を行い、生成される符号量の少ない分割方法を採用する。
図5において、S301からS305までは、第1の実施形態と同じである。S305にて、ブロック分割部200は、色差成分のCTUブロック分割する場合、撮影モードとして色差成分の変化が少ない(変化を抑制する)モード(モノクロモードやセピアモード)が選択されているか否かを判断する。ブロック分割部200は、色差成分の変化が少ないモードが選択されていると判定した場合(S305がTRUEの場合)、処理をS307に進める。このS307にて、ブロック分割部200は、色差成分のブロックについて予め定めたブロック分割を行い、処理をS308に進める。このS308にて、ブロック分割部200は、S306で行った分割情報を参照して、着目している色差成分のブロックについて、輝度成分と同じブロック分割を行う。そして、S401にて、ブロック分宅部200は、CST方式を適応した場合と、従来のブロック分割を行った場合の両方について、分割フラグや階層数も含めたシンタックス情報の符号量も含めて、後段の予測ブロックにてコスト計算を行い、より符号化効率が高い分割方式を選択する。典型的には、2つのブロック分割それぞれで符号化を行い、生成される符号量の少ない分割方法を採用する。
以上が本第2の実施形態における、画像分割処理&画像符号化処理フローである。
[第3の実施形態]
上述の第1、第2の実施形態では、撮影記録前にユーザが予め設定した撮影モードに基づき、符号化対象の入力画像について色差成分変化が少ないモード値の場合、当該入力画像に対して、輝度成分と色差成分のブロック分割を独立して行うCST方式を適用して符号化を行う方法を示した。
上述の第1、第2の実施形態では、撮影記録前にユーザが予め設定した撮影モードに基づき、符号化対象の入力画像について色差成分変化が少ないモード値の場合、当該入力画像に対して、輝度成分と色差成分のブロック分割を独立して行うCST方式を適用して符号化を行う方法を示した。
第3の実施形態では、上述の符号化装置を構成する画像処理部101にて、現像処理に加え入力画像データの画像解析を行い、解析結果を画像符号化部102に通知する構成を備え、さらに異なる動作を実施することを特徴とする。以下、本第3の実施形態を、図6および図7を参照して説明する。なお、第3の実施形態の説明において、上述した第1,第2の実施形態と共通する部分については、適宜説明を省略する。
<ブロック図>
図6は、第3の実施形態における画像符号化部102及びその周辺の構成図である。本第3の実施形態における画像符号化部102は、第1の実施形態における画像符号化部102と実質的に同じ構成である。第3の実施形態の特徴部分は、図6に示すように、ブロック分割部200が画像処理部101とCPUバス等のインタフェースを介して情報の送受信を行うことを特徴とする。
図6は、第3の実施形態における画像符号化部102及びその周辺の構成図である。本第3の実施形態における画像符号化部102は、第1の実施形態における画像符号化部102と実質的に同じ構成である。第3の実施形態の特徴部分は、図6に示すように、ブロック分割部200が画像処理部101とCPUバス等のインタフェースを介して情報の送受信を行うことを特徴とする。
また、本第3の実施形態における画像処理部101は、図1を用いて説明したRAW画像データの現像処理とフレームメモリ105への画像出力機能に加えて、当該出力画像について画像データ特性を解析し、解析結果を出力する機能をさらに有する。画像データの特性解析とは、例えば被写体画像データ内の画素ヒストグラムを取得し、色成分ごとに上記ヒストグラムの最大値と最小値の範囲を導出することである。
一例を示すのであれば、例えば画像処理部101は、現像後のフレーム画像の画素ヒストグラムを求め、度数が予め設定された個数以上となる画素値において、色差成分Cr及びCbそれぞれについて最大値と最小値との差を求める。理解を容易にするため、色差Crの最大値、最小値をCr_max、Cr_minと表現し、色差Cbの最大値、最小値をCb_max、Cb_minと表現する。
画像処理部101は、次式(1)及び(2)を満たすとき、該当するフレームは色差の変化が少ないと判定する。
Cr_max - Cr_min ≦ Th_Cr …(1)
Cb_max - Cb_min ≦ Th_Cb …(2)
ここで、Th_Cr、Th_Cbは、予め設定した正の閾値である。なお、ここではフレーム単位に判定するものとしたが、CTU単位に上記判定を行っても構わない。
Cr_max - Cr_min ≦ Th_Cr …(1)
Cb_max - Cb_min ≦ Th_Cb …(2)
ここで、Th_Cr、Th_Cbは、予め設定した正の閾値である。なお、ここではフレーム単位に判定するものとしたが、CTU単位に上記判定を行っても構わない。
上記画像処理部101の解析結果を受けて、前記ブロック分割部200は、符号化処理より前もって、当該入力画像は色差成分の変化が少ないことを判断可能となるため、撮影モードで一律に全CTUブロックに対してCST方式を適用するよりも精度の高い制御ができるようになる。
当該実施形態において、上記ヒストグラム取得による特性解析は一例であり、同等の解析を定量的に導出可能な画像処理部101であれば、特に限定しない。その他解析方法としては、撮像部100にて取得した被写体画像中の合焦領域がどこか情報として分かれば、光学部の被写界深度に依存するものの、該領域外の非合焦領域はボケたものとなる。画像がボケは、画素値の勾配、変化量が少ない領域であると間接的に推定することが可能である。
本第3の実施形態では、上述の画像処理部101で実行した解析結果を、入力画像フレーム全体、または当該ブロック分割部200で実行するCTUブロックの画像領域毎のいずれかの単位で、画像処理部101と画像符号化部102間で送受信する構成を有する。全CTUブロック分の解析結果のCPUバスを用いた場合は、バストラフィックが煩雑になる可能性もあるため、色変化が大きいブロックをビット“1”、変化が少ないブロックをビット“0”とビット単位で識別可能なビットマップ情報としてまとめてからフレームメモリ105にバースト的にアクセスする方式としても良い。その他のブロック機能については、第一の実施形態と同様であるため説明を省略する。
<処理フロー>
本第3の実施形態の特徴となる、ブロック分割部の分割処理を図7のフローチャートを参照して説明する。尚、第1の実施形態と内容が重複する処理ステップについては説明を省略する。
本第3の実施形態の特徴となる、ブロック分割部の分割処理を図7のフローチャートを参照して説明する。尚、第1の実施形態と内容が重複する処理ステップについては説明を省略する。
初めにS701にて、ブロック分割部200は、画像処理部101から、符号化対象のフレームに対する画像解析結果を取得する。続く、S302からS304までは第1の実施形態と同じである。
色差成分のCTUブロック分割のシーケンスに移行したS702にて、ブロック分割部200は、上述のS701で取得した解析結果を参照して、当該入力画像が色差成分の変化が少ないか否かを判定する。そして、ブロック分割部200が、解析結果として色差成分の変化が少ない画像であると判定した場合(S702のTRUEの場合)、処理をS307に進め、色差成分の変化が多い画像であると判定した場合(S702のFALSEの場合)、処理をS308に進める。
S307にて、ブロック分割部200は、当該CTUブロックに対してCST方式を適応し、所定のサイズでブロック分割を行う。一方、S308に進んだ場合、ブロック分割部20は、S306で処理した輝度成分ブロックのブロック分割情報に基づいて、従来のHEVC規格方式と同様に、当該色差成分ブロックを分割する。
色差成分のブロック分割について、S307またはS308を実行後、当該ブロックに対して図2を用いて説明した一連の符号化処理ステップが実行される。この符号化を行った後、ブロック分割部200は、再びS302に戻り当該入力画像の全CTUブロックについてブロック分割および符号化処理が完了するまで本フローを繰り返す。
以上、本第3の実施形態におけるブロック分割処理&画像符号化処理フローを説明した。
[第4の実施形態]
上述の第3の実施形態では、画像処理部101での入力画像の解析結果に基づいて、色差星雲の画素変化が少ない場合に、色差成分のブロック分割を輝度成分のブロックと独立して、予め定めたブロックサイズで分割する方法を示した。
上述の第3の実施形態では、画像処理部101での入力画像の解析結果に基づいて、色差星雲の画素変化が少ない場合に、色差成分のブロック分割を輝度成分のブロックと独立して、予め定めたブロックサイズで分割する方法を示した。
第4の実施形態では、画像フレーム単位の解析結果応じて一律に当該フレームの全CTUブロックについてCST方式を適用するのではなく、ブロック単位に従来のブロック分割と、CST方式を適用したブロック分割の両方についてコスト計算と比較を行い、より好適なブロック分割を選択して符号化する方法を、さらに異なる動作として実施する。
以下、本第4の実施形態を、図8のフローチャートを参照して説明する。なお、第4の実施形態の説明において、上述した第1乃至第3の実施形態と共通する部分について、適宜説明を省略する。また、当該第4の実施形態を実現するシステム構成及び画像符号化部102の構成要素と機能については前記第3の実施形態と同一であるため説明を省略する。
<処理フロー>
本第4の実施形態における画像処理部101は、符号化対象のフレーム内のCTUブロック単位にヒストグラムを求め、所定の度数以上の画素について、先に示した式(1)及び(2)を満たすか否かを判定することを、全CTUに対して行い、その判定結果(色差成分の変化の有無を示す情報)を、ブロック分割部200に供給するものとする。
本第4の実施形態における画像処理部101は、符号化対象のフレーム内のCTUブロック単位にヒストグラムを求め、所定の度数以上の画素について、先に示した式(1)及び(2)を満たすか否かを判定することを、全CTUに対して行い、その判定結果(色差成分の変化の有無を示す情報)を、ブロック分割部200に供給するものとする。
図8における、S701、S702,S302、S304、S306~S308は第3の実施形態と同じである。ただし、図8のS701にて、ブロック分割部200は、画像処理部101による、符号化対象のフレームの全CTUブロック分の色差成分の変化の有無を解析した結果を取得し、S707では、符号化対象のCTUごとに、取得した情報に基づき判定する点が異なる。
S702にて、ブロック分割部200が、色差成分の着目CTUが、色差成分の変化が少ないと判定した場合は、当該色差成分ブロックについて、CST方式を適用し、予め定めたブロック分割を行う。更に、S308にて、ブロック分割部200は、S306で行った分割情報を参照して、従来の輝度成分と同じブロック分割を行う。そして、S401にて、ブロック分割部200は、CST方式を適用した場合と、従来のブロック分割を行った場合の両方について、分割フラグや階層数も含めたシンタックス情報の符号量も含めて、予測ブロックにてのコスト計算を行い、より符号化効率が高い分割方式を選択する。以上が本第4の実施形態における、画像符号化処理フローである。
[第5の実施形態]
上記の第3、第4の実施形態では、画像処理部101の画像特性の解析結果に基づき、符号化対象の入力画像データについて色差成分変化が少ない場合、輝度成分と色差成分のブロック分割を独立して行うCST方式を適用して符号化を行う方法を示した。
上記の第3、第4の実施形態では、画像処理部101の画像特性の解析結果に基づき、符号化対象の入力画像データについて色差成分変化が少ない場合、輝度成分と色差成分のブロック分割を独立して行うCST方式を適用して符号化を行う方法を示した。
これに対し、本第5の実施形態では、
第五の実施形態では、上述してきた本発明の実施形態おけるCST方式を用いたブロック分割を適応したか否かを示す識別情報を、規格上定めたデコーダ側での判断用途で圧縮符号化ストリーム中に埋め込むだけでなく、さらに上位のファイルコンテナ層にも定義して記憶する方法を、さらに異なる動作として実施する。
第五の実施形態では、上述してきた本発明の実施形態おけるCST方式を用いたブロック分割を適応したか否かを示す識別情報を、規格上定めたデコーダ側での判断用途で圧縮符号化ストリーム中に埋め込むだけでなく、さらに上位のファイルコンテナ層にも定義して記憶する方法を、さらに異なる動作として実施する。
以下、本第五の実施形態を図9のフローチャートを参照して説明する。なお、第5の実施形態の説明において、上述した第1乃至第4の実施形態と共通する部分について、適宜説明を省略する。また、当該第5の実施形態を実現する装置構成及び画像符号化部102の構成要素と機能については、上記第4の実施形態と同一であるものとし、その説明は省略する。
<処理フロー>
本第5の実施形態の特徴を示す図9において、S901,S902を除くステップは、第4の実施形態と同じであるので、その説明は省略する。
本第5の実施形態の特徴を示す図9において、S901,S902を除くステップは、第4の実施形態と同じであるので、その説明は省略する。
全CTUブロックのブロック分割を終え、全CTUの符号化処理を終えた場合(S302がTRUEの場合)、ブロック分割部200は、処理をS901に進める。このS901にて、ブロック分割部200は、符号化したフレーム画像に対し、輝度成分と色差成分のブロック分割を独立して行って符号化処理をするCST方式を適用したブロック分割を行ったか否かを判断する。そして、CST方式を適用したと判定した場合(S901のTRUEの場合)、ブロック分割部200は、CPUに106に対し、その旨を通知する。CPU106は、画像符号化部102を制御し、当該フレームの符号化画像の符号化データを記録部103がSDカード等の記録媒体150に記録する際、MP4データのコンテナ構造としてユーザ用メタデータとして定義されているパラメータフィールド(例えばudta atom)に、CST方式を適応したことを示す識別情報を記録させる。
上記の識別情報をコンテナファイルとして格納しておくことで、再生機またはデコーダ装置として、VVC規格で新規採用されたCST方式の復号処理をサポートしていなケースにおいて、実際に符号化ストリームをデコードする前に、再生互換性がサポートされているか否かを判別することが可能となる。
以上が第5の実施形態における、画像符号化処理フローである。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
100…撮像部、101…画像処理部、102…画像符号化部、103…記録部、104…メモリバス、105…フレームメモリ、106…CPU、107…フラッシュメモリ、108…CPUバス、200…ブロック分割部、201…イントラ予測部、202…インター予測部、203…イントラ・インター判定部、204…予測画像生成部、205…変換部、206…量子化部、207…エントロピー符号化部、208…符号量制御部、209…逆量子化部、210…逆変換部、211…ループフィルタ
Claims (8)
- 撮像手段で得た入力フレームを、所定のサイズの画素ブロックを単位に圧縮符号化する画像符号化装置であって、
前記入力フレームにおける色差成分の特性を判定する判定手段と、
前記入力フレームの輝度成分で構成されるブロック画像を、所定のアルゴリズムに従って再帰的にブロック分割し、符号化する第1の符号化手段と、
前記第1の符号化手段によるブロック分割の結果を参照して、前記入力フレームの色差成分で構成されるブロック画像を分割し、符号化する第2の符号化手段と、
前記入力フレームの色差成分で構成されるブロック画像を、予め設定されたサイズのブロックで分割し、符号化する第3の符号化手段と、
前記判定手段の判定に基づいて、色差成分のブロック画像を、前記第2、第3の符号化手段のいずれかを選択する選択手段と、
前記第1の符号化手段で得た輝度成分の符号化データ、及び、前記選択手段で選択した符号化手段で得た色差成分の符号化データを出力する出力手段と、
を備える画像符号化装置。 - 前記判定手段は、予め設定された複数の撮影モードのうち、色差成分についての変化が抑制された撮影モードで撮影されているか否かを判定し、
前記選択手段は、前記判定手段によって色差成分についての変化が抑制された撮影モードであると判定された場合は前記第3の符号化手段を選択し、それ以外の場合の撮影モードである場合は前記第2の符号化手段を選択する
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記判定手段は、予め設定された複数の撮影モードのうち、色差成分についての変化が抑制された撮影モードで撮影されているか否かを判定し、
前記選択手段は、
前記判定手段によって色差成分についての変化が抑制された撮影モードであると判定された場合は、前記第2の符号化手段及び前記第3の符号化手段それぞれのコストを計算し、当該コストに基づいて符号化効率の高い方を選択し、
前記判定手段によって色差成分についての変化が抑制されない撮影モードであると判定された場合は、前記第2の符号化手段を選択する
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記判定手段は、前記入力フレームにおける画素のヒストグラムを求め、当該ヒストグラムにおける予め設定された度数以上となる画素値において、色差成分の最大値と最小値との差を求め、当該差が所定の閾値以下であるか否かを判定し、
前記選択手段は、前記判定手段によって前記差が閾値以下であると判定された場合は前記第3の符号化手段を選択し、それ以外の場合の撮影モードである場合は前記第2の符号化手段を選択する
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記判定手段は、前記入力フレームにおける前記画素ブロック単位にヒストグラムを求め、当該ヒストグラムにおける予め設定された度数以上となる画素値において、色差成分の最大値と最小値との差が所定の閾値以下であるか否かを判定し、
前記選択手段は、
前記判定手段によって、着目画素ブロックにおける前記差が閾値以下であると判定された場合は、前記第2の符号化手段及び前記第3の符号化手段それぞれのコストを計算し、当該コストに基づいて符号化効率の高い方を選択し、
前記判定手段によって前記着目画素ブロックにおける前記差が閾値以下ではないと判定された場合は、前記第2の符号化手段を選択する
ことを特徴とする請求項1に記載の画像符号化装置。 - 前記出力手段は、前記入力フレームに対する符号化データに、前記第3の符号化手段による符号化データが含まれるか否かを示す情報を更に出力することを特徴とする請求項1乃至5のいずれか1項に記載の画像符号化装置。
- 撮像手段で得た入力フレームを、所定のサイズの画素ブロックを単位に圧縮符号化する画像符号化装置の制御方法であって、
前記入力フレームにおける色差成分の特性を判定する判定工程と、
前記入力フレームの輝度成分で構成されるブロック画像を、所定のアルゴリズムに従って再帰的にブロック分割し、符号化する第1の符号化工程と、
前記第1の符号化工程によるブロック分割の結果を参照して、前記入力フレームの色差成分で構成されるブロック画像を分割し、符号化する第2の符号化工程と、
前記入力フレームの色差成分で構成されるブロック画像を、予め設定されたサイズのブロックで分割し、符号化する第3の符号化工程と、
前記判定工程の判定に基づいて、色差成分のブロック画像を、前記第2、第3の符号化工程のいずれかを選択する選択工程と、
前記第1の符号化工程で得た輝度成分の符号化データ、及び、前記選択工程で選択した符号化工程で得た色差成分の符号化データを出力する出力工程と、
を備える画像符号化装置の制御方法。 - コンピュータが読み込み実行することで、前記コンピュータに請求項7に記載の各工程を実行させるためのコンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021135803A JP2023030585A (ja) | 2021-08-23 | 2021-08-23 | 画像符号化装置及び方法及びプログラム |
US17/883,715 US12028521B2 (en) | 2021-08-23 | 2022-08-09 | Encoder, method, and non-transitory computer-readable storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021135803A JP2023030585A (ja) | 2021-08-23 | 2021-08-23 | 画像符号化装置及び方法及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023030585A true JP2023030585A (ja) | 2023-03-08 |
Family
ID=85228213
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021135803A Pending JP2023030585A (ja) | 2021-08-23 | 2021-08-23 | 画像符号化装置及び方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US12028521B2 (ja) |
JP (1) | JP2023030585A (ja) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7138453B2 (ja) | 2017-03-10 | 2022-09-16 | 日本放送協会 | 符号化装置、復号装置及びプログラム |
US20190281215A1 (en) * | 2018-03-06 | 2019-09-12 | Hong Kong Applied Science and Technology Research Institute Company, Limited | Method for High-Quality Panorama Generation with Color, Luminance, and Sharpness Balancing |
WO2020057662A1 (en) * | 2018-09-21 | 2020-03-26 | Huawei Technologies Co., Ltd. | Apparatus and method for inverse quantization |
CN112449099B (zh) * | 2019-08-30 | 2022-08-19 | 华为技术有限公司 | 一种图像处理方法、电子设备及云服务器 |
WO2021086237A2 (en) * | 2020-04-01 | 2021-05-06 | Huawei Technologies Co., Ltd. | Method and apparatus of sample fetching and padding for downsampling filtering for cross-component linear model prediction |
-
2021
- 2021-08-23 JP JP2021135803A patent/JP2023030585A/ja active Pending
-
2022
- 2022-08-09 US US17/883,715 patent/US12028521B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20230057659A1 (en) | 2023-02-23 |
US12028521B2 (en) | 2024-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI782904B (zh) | 合併用於視訊寫碼之用於多類別區塊之濾波器 | |
TWI571104B (zh) | 圖像處理裝置、圖像處理方法、圖像處理程式及記錄媒體 | |
TW202005399A (zh) | 基於區塊之自適應迴路濾波器(alf)之設計及發信令 | |
JP7530465B2 (ja) | ビデオ符号化及び復号化 | |
JP7463460B2 (ja) | ビデオ復号方法およびビデオデコーダ | |
TWI782233B (zh) | 視訊編碼及解碼 | |
TW202106012A (zh) | 用於視訊寫碼之多重自適應迴路濾波器集合 | |
JP7413557B2 (ja) | サインデータハイディング関連映像デコーディング方法及びその装置 | |
JP2019534631A (ja) | ピークサンプル適応オフセット | |
EP3632113A1 (en) | A method and a device for picture encoding and decoding | |
JP7439841B2 (ja) | ループ内フィルタリングの方法及びループ内フィルタリングの装置 | |
TW202044833A (zh) | 使用不同色度格式之三角預測單元模式中之視訊寫碼 | |
TW202029774A (zh) | 藉由轉換域濾波之量化假影抑制及信號恢復 | |
TW202127884A (zh) | 用於用於視訊譯碼的跨分量適應性環路濾波的位元位移 | |
JP7493656B2 (ja) | フィルタリングに基づく画像コーディング装置及び方法 | |
JP2007134755A (ja) | 動画像符号化装置及び画像記録再生装置 | |
KR102513756B1 (ko) | 이미지 인코딩 방법, 디코딩 방법, 인코더, 디코더 및 저장매체 | |
JP2024019434A (ja) | デブロッキングフィルタリングに基づく映像コーディング方法及びその装置 | |
JP7321345B2 (ja) | ビデオ符号化及び復号 | |
JP2023052553A (ja) | ビデオ符号化及び復号 | |
WO2022077490A1 (zh) | 一种帧内预测方法、编码器、解码器及存储介质 | |
JP2023030585A (ja) | 画像符号化装置及び方法及びプログラム | |
TWI843809B (zh) | 用於視訊寫碼中具有運動向量差之合併模式之信令傳輸 | |
WO2024007116A1 (zh) | 解码方法、编码方法、解码器以及编码器 | |
WO2024138705A1 (zh) | 一种帧内预测方法、视频编解码方法、装置和系统 |