JP2017175191A - 符号化処理プログラム、符号化処理方法及び符号化処理装置 - Google Patents

符号化処理プログラム、符号化処理方法及び符号化処理装置 Download PDF

Info

Publication number
JP2017175191A
JP2017175191A JP2016055694A JP2016055694A JP2017175191A JP 2017175191 A JP2017175191 A JP 2017175191A JP 2016055694 A JP2016055694 A JP 2016055694A JP 2016055694 A JP2016055694 A JP 2016055694A JP 2017175191 A JP2017175191 A JP 2017175191A
Authority
JP
Japan
Prior art keywords
image
image data
area
feature information
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016055694A
Other languages
English (en)
Other versions
JP6665611B2 (ja
Inventor
隆洋 小早川
Takahiro Kobayakawa
隆洋 小早川
恭雄 簾田
Yasuo Sumita
恭雄 簾田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016055694A priority Critical patent/JP6665611B2/ja
Priority to US15/458,391 priority patent/US10616588B2/en
Publication of JP2017175191A publication Critical patent/JP2017175191A/ja
Application granted granted Critical
Publication of JP6665611B2 publication Critical patent/JP6665611B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions

Abstract

【課題】符号化処理における演算量を削減すること。【解決手段】符号化処理装置１０は、第１画像データと第２画像データのそれぞれについて、複数に区分した複数の画像領域それぞれの画像特徴情報を取得する処理と、第１画像データに含まれる複数の画像領域と第２画像データに含まれる複数の画像領域のうちの、画像データにおける位置が対応する画像領域について、取得した画像特徴情報の比較結果に基づいて、画像特徴情報が第１画像データの画像領域と第２画像データの画像領域との間で所定以上の相関を有するか否かを判定し、画像特徴情報が所定以上の相関を有すると判定された第１画像データの画像領域に適用された符号化処理単位を所定以上の相関を有すると判定された第２画像データの画像領域に適用して、第２画像データの符号化を行う処理と、を実行する。【選択図】図１

Description

本発明は、符号化処理プログラム、符号化処理方法及び符号化処理装置に関する。
Ｈ．２６４の２倍以上の効率での圧縮符号化を可能とする符号化方式としてＨＥＶＣ（High Efficiency Video Coding）がある。ＨＥＶＣは次世代の４Ｋ、８Ｋ画像の放送、配信及び蓄積を実現するための基盤となる技術である。また、ＨＥＶＣは、Ｆｕｌｌ ＨＤ以下の画像伝送・配信・蓄積においても高品質化、多チャンネル化を可能とする。
Ｈ．２６４では、１６×１６画素に固定された画像領域であるＭＢ（Macroblock）が符号化処理の基本単位であった。一方、ＨＥＶＣでは、階層４分木構造を持ち８×８〜６４×６４画素の間で可変であるＣＵ（Coding Unit）、及びＰＵ（Prediction Unit）もしくはＴＵ（Transform Unit）が符号化処理の基本単位である。このように、ＨＥＶＣは、符号化処理の単位を適応的、階層的に決定することで圧縮符号化の効率を向上させている。
特開２０１４−２０４２０７号公報
しかしながら、ＨＥＶＣには、多大な演算量が要求されるという問題がある。
例えば、ＨＥＶＣにおいて画質及び効率を両立させるためには、取り得る全てのＣＵサイズ、及びＣＵサイズごとのＰＵもしくはＴＵの組み合わせについての画質及び効率の評価を行い、最適な組み合わせを抽出する。このとき、評価のために生じる予測処理及び変換処理等において求められる演算量は、最大でＨ．２６４の４倍以上になる。そして、演算量の増加にともなって圧縮符号化のための回路規模及び処理装置の消費電力が大きくなる。
１つの側面では、演算量を削減することができる符号化処理プログラム、符号化処理方法及び符号化処理装置を提供することを目的とする。
一態様の符号化処理プログラムは、コンピュータに、第１画像データと第２画像データのそれぞれについて、複数に区分した複数の画像領域それぞれの画像特徴情報を取得し、前記第１画像データに含まれる複数の画像領域と前記第２画像データに含まれる複数の画像領域のうちの、画像データにおける位置が対応する画像領域について、取得した前記画像特徴情報の比較結果に基づいて、前記画像特徴情報が前記第１画像データの画像領域と前記第２画像データの画像領域との間で所定以上の相関を有するか否かを判定し、画像特徴情報が前記所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位を前記所定以上の相関を有すると判定された前記第２画像データの画像領域に適用して、前記第２画像データの符号化を行う処理を実行させる。
符号化処理における演算量を削減することができる。
図１は、本実施例に係る符号化処理装置の機能的構成を示すブロック図である。 図２は、符号化処理単位の一例を示す図である。 図３は、本実施例に係る符号化処理装置の符号化部の機能的構成を示すブロック図である。 図４は、本実施例に係る符号化処理装置の予測部の機能的構成を示すブロック図である。 図５は、静止領域の一例を示す図である。 図６は、ＰＵ分割条件の一例を示す図である。 図７は、符号化処理単位の継承の一例を示す図である。 図８は、本実施例に係る符号化処理の手順を示すフローチャートである。 図９は、本実施例に係る静止領域判定の手順を示すフローチャートである。 図１０は、本実施例に係る等速移動領域判定の手順を示すフローチャートである。 図１１は、本実施例に係る符号化処理プログラムを実行するコンピュータのハードウェア構成例を示す図である。
以下に添付図面を参照して本願に係る符号化処理プログラム、符号化処理方法及び符号化処理装置について説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
［符号化処理装置１０の構成］
図１は、本実施例に係る符号化処理装置の機能的構成を示すブロック図である。図１に示す符号化処理装置１０は、画像を所定の符号化処理単位に分割し、符号化処理単位ごとに符号化する符号化処理を実行するものである。
一実施形態として、符号化処理装置１０は、パッケージソフトウェアやオンラインソフトウェアとして上記の符号化処理を実行する符号化処理プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の符号化処理プログラムを情報処理装置に実行させることにより、情報処理装置を符号化処理装置１０として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal Handyphone System）などの移動体通信端末、さらには、ＰＤＡ（Personal Digital Assistant）などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の符号化処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、符号化処理装置１０は、画像を入力とし、当該画像に対する上記の符号化処理の実行結果を出力する符号化処理サービスを提供するサーバ装置として実装される。この場合、符号化処理装置１０は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の符号化処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。
図１に示すように、符号化処理装置１０は、制御部２０と、記憶部３０とを有する。なお、図１には、データの入出力の関係を表す実線が示されているが、説明の便宜上、最小限の部分について示されているに過ぎない。すなわち、各処理部に関するデータの入出力は、図示の例に限定されず、図示以外のデータの入出力、例えば処理部及び処理部の間、処理部及びデータの間、並びに、処理部及び外部装置の間のデータの入出力が行われることとしてもかまわない。
記憶部３０は、制御部２０で実行されるＯＳ（Operating System）や画像処理ソフトを始め、アプリケーションプログラムなどの各種プログラムに用いられるデータを記憶するデバイスである。
一実施形態として、記憶部３０は、符号化処理装置１０における主記憶装置として実装される。例えば、記憶部３０には、各種の半導体メモリ素子、例えばＲＡＭ（Random Access Memory)やフラッシュメモリを採用できる。また、記憶部３０は、補助記憶装置として実装することもできる。この場合、ＨＤＤ（Hard Disk Drive）、光ディスクやＳＳＤ（Solid State Drive）などを採用できる。
記憶部３０は、制御部２０で実行されるプログラムに用いられるデータを記憶する領域の一例として、フレームメモリ３１及び予測メモリ３２を有する。その他にも、記憶部３０には、他の電子データ、例えばハイライト表示に関する定義データなども併せて記憶することもできる。なお、上記のフレームメモリ３１及び予測メモリ３２については、各データの登録または参照を行う処理部の説明に合わせて説明を行うこととする。
制御部２０は、各種のプログラムや制御データを格納する内部メモリを有し、これらによって種々の処理を実行するものである。
一実施形態として、制御部２０は、中央処理装置、いわゆるＣＰＵ（Central Processing Unit）として実装される。制御部２０は、必ずしも中央処理装置として実装されずともよく、ＭＰＵ（Micro Processing Unit）やＤＳＰ（Digital Signal Processor）として実装されることとしてもよい。このように、制御部２０は、プロセッサとして実装されればよく、その種別が汎用型または特化型であるかは問われない。また、制御部２０は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによっても実現できる。
制御部２０は、各種のプログラムを実行することによって下記の処理部を仮想的に実現する。例えば、制御部２０は、図１に示すように、符号化部２１と予測部２２とを有する。
符号化部２１は、入力原画を符号化処理単位に分割し、分割した符号化処理単位ごとに、予測画像との差分による情報量削減、直行変換による高周波成分の除去及びエントロピー符号化処理等を行う処理部である。
ここで、符号化処理単位について説明する。図２は、符号化処理単位の一例を示す図である。Ｈ．２６４では、１６×１６画素に固定された画像領域であるＭＢが符号化処理の基本単位であった。これに対し、図２に示すように、ＨＥＶＣの符号化処理単位には階層４分木構造を持ち８×８〜６４×６４画素の間で可変であるＣＵ、及びＰＵもしくはＴＵがある。また、ＣＴＢ（Coding Tree Block）は最大ＣＵサイズのブロックであり、ＣＴＢを再帰的に４分木分割することでＣＵが決定される。このように、ＨＥＶＣは、符号化処理の単位を適応的、階層的に決定することで圧縮符号化の効率を向上させている。なお、本実施例の説明において「サイズ」は、画像領域の縦横方向の画素数を意味する。例えば、８×８画素のブロックと記載した場合、縦方向と横方向の画素数それぞれが８画素の矩形の画像領域を意味する。
符号化部２１の各処理はＣＵ単位で行われる。ＰＵは、イントラ・インター予測等を行う符号化処理単位として、ＣＵをさらに分割した符号化処理単位である。図２に示すように、ＰＵには２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎなどのパターンがある。また、ＴＵはＣＵをさらに４分木分割した符号化処理単位であり、変換処理・量子化処理等を行うための符号化処理単位である。
図３は、本実施例に係る符号化処理装置の符号化部の機能的構成を示すブロック図である。なお、図３には、データの入出力の関係を表す実線及び破線が示されているが、説明の便宜上、最小限の部分について示されているに過ぎない。すなわち、各処理部に関するデータの入出力は、図示の例に限定されず、図示以外のデータの入出力、例えば処理部及び処理部の間、処理部及びデータの間、並びに、処理部及び外部装置の間のデータの入出力が行われることとしてもかまわない。
例えば、符号化部２１は、図３に示すように、ブロック分割部２１ａ、イントラ予測部２１ｂ、インター予測２１ｃ、変換／量子化部２１ｄ、逆量子化／逆変換部２１ｅ、フィルタ部２１ｆ、エントロピー符号化部２１ｇ、ＣＵ分割判定部２１ｈを有する。
ブロック分割部２１ａは、入力原画を所定の符号化処理単位に分割する処理部である。
イントラ予測部２１ｂは、入力原画のあるＰＵにおける画素を、入力原画の他のＰＵの画素から予測するイントラ予測を行う処理部である。イントラ予測部２１ｂにおけるイントラ予測結果は予測メモリ３２に記憶される。なお、イントラ予測はフレーム内予測と呼ばれる場合もある。
インター予測部２１ｃは、入力原画のあるＰＵにおける画素を、参照画との間における動き補償によって予測するインター予測を行う処理部である。インター予測部２１ｃにおける動きベクトル及びインター予測結果は予測メモリ３２に記憶される。なお、インター予測はフレーム間予測と呼ばれる場合もある。
減算部２１ｉは入力原画からインター予測結果を減じることで予測誤差画像を作成し出力する。
変換／量子化部２１ｄは、予測誤差画像またはイントラ予測結果の直交変換をＴＵごとに行い、変換したデータを量子化する処理部である。ここで、ＴＵ分割の結果は予測メモリ３２に記憶される。また、スイッチ２１ｉを切り替えることにより、変換／量子化部２１ｄが予測誤差画像を取得するか、またはイントラ予測結果を取得するかが制御される。
逆量子化／逆変換部２１ｅは、変換／量子化部２１ｄで量子化されたデータの逆量子化を行い、逆量子化したデータを逆直交変換によって予測誤差画像のデータに変換する処理部である。
加算部２１ｊは、予測誤差画像にインター予測結果を加えた結果をフォルタ部２１ｆに出力する。なお、スイッチ２１ｌを切り替えることによって加算部２１ｊはインター予測結果を取得することができる。
フィルタ部２１ｆは、ＰＵ及びＴＵの境界画素にデブロッキングフィルタを適用し、ＰＵ及びＴＵ間の凹凸をなめらかにする処理部である。
エントロピー符号化部２１ｇは、ＴＵ単位で量子化されたデータを、シンボルの出現頻度に応じて可変長の符号を割り当てるエントロピー符号化によって符号化し、ビデオ符号化データとして出力する処理部である。
ＣＵ分割判定部２１ｈは、ブロック分割部２１ａからＣＵ分割を、イントラ予測部２１ｂ及びインター予測部２１ｃからＰＵ分割を、変換／量子化部２１ｄからＴＵ分割を取得し、最適なＣＵ、ＴＵ、ＰＵの組み合わせを選択する処理部である。
一実施形態として、ＣＵ分割判定部２１ｈは、ＣＵ、ＴＵ、ＰＵの組み合わせごとに動きベクトル検出の評価と直交変換による周波数特性評価を行い、最も符号化効率が良いＣＵ、ＴＵ、ＰＵの組み合わせを選択する。その後、符号化部２１の各処理部は、ＣＵ分割判定部２１ｈが選択したＣＵ、ＰＵ、ＴＵに基づいて符号化処理を行う。
なお、符号化部２１の構成及び各処理部の処理は上記のものに限られない。符号化部２１は、例えば所定のＣＵ、ＰＵ、ＴＵを適用しＨＥＶＣを用いた符号化処理が実行可能な構成であればよい。
図４は、本実施例に係る符号化処理装置の予測部の機能的構成を示すブロック図である。例えば、予測部２２は、図４に示すように、指定部２２ａ、取得部２２ｂ、静止判定部２２ｃ、等速移動判定部２２ｄ、適用部２２ｅを有する。
予測部２２は、符号化部２１における符号化処理で用いられる最適な符号化処理単位を予測し、符号化部２１における符号化処理単位として適用する処理部である。
予測部２２は、静止判定部２２ｃまたは等速移動判定部２２ｄにより、画像特徴情報が第１画像データすなわち参照画の画像領域と、第２画像データすなわち入力原画の画像領域との間に所定以上の相関があるか否かを判定する。予測部２２は、参照画に含まれる複数の画像領域と入力原画に含まれる複数の画像領域のうちの、画像データにおける位置が対応する画像領域について、取得した画像特徴情報の比較結果に基づいて、画像特徴情報が参照画の画像領域と入力原画の画像領域との間で所定以上の相関を有するか否かを判定する。適用部２２ｅは、画像特徴情報が所定以上の相関を有すると判定された参照画の画像領域に適用された符号化処理単位を所定以上の相関を有すると判定された入力原画の画像領域に適用する。
一実施形態として、予測部２２は、入力原画の所定の画像領域の画像特徴情報が所定の条件を満たすか否かを判定する。所定の条件が満たされる場合、予測部２２は、予測メモリ３２に記憶されている過去予測結果から参照画における符号化処理単位であるＣＵ、ＴＵ、ＰＵの一部または全部を取得し、分割予測結果としてブロック分割部２１ａに通知する。符号化部２１は、符号化処理単位の評価及び選択をＣＵ分割判定部２１ｈによって行わずに、通知された符号化処理単位を用いて符号化処理を行う。なお、参照画は、既に符号化済みの入力原画と異なる画像フレームであり、フレームメモリ３１に記憶されているものとする。
指定部２２ａは、画像データを所定のサイズで複数の画像領域に区分し、区分した画像領域を、入力原画の符号化処理単位を予測する画像領域である評価ブロックに指定する処理部である。
一実施形態として、指定部２２ａは、評価ブロックのサイズとしてＨＥＶＣの符号化パラメータの１つであるＭｉｎｉｍｕｍ ＣＵ Ｓｉｚｅを指定する。例えば、ＣＵサイズが１６×１６画素〜６４×６４画素である場合、１６×１６画素が評価ブロックのサイズに指定される。
取得部２２ｂは、入力原画の評価ブロック及び対応する参照画の評価ブロックの画像特徴情報を取得する処理部である。取得部２２ｂは、参照画と入力原画のそれぞれについて、画像データを所定のサイズで区分した複数の評価ブロックそれぞれの画像特徴情報を取得する。
一実施形態として、取得部２２ｂは、画像特徴情報として式（１）により評価ブロック単位の画素差分値和であるＳＡＤを算出する。なお、Ｐｏｒｇは入力原画の画素であり、Ｐｒｅｆは参照画の画素である。また、Ｎは評価ブロック内の画素数であり、ｉは画素位置を表している。
Figure 2017175191
また、取得部２２ｂは、画像特徴情報として式（２）により直交変換値の差分絶対値和であるＳＡＴＤを取得するようにしてもよい。
Figure 2017175191
静止判定部２２ｃは、参照画の評価ブロックとの比較結果に基づいて、画像特徴情報が参照画の評価ブロックと所定以上の相関を有すると判定された入力原画の評価ブロックを静止領域と判定する処理部である。
一実施形態として、静止判定部２２ｃは、入力原画の評価ブロック及び参照画の同じ位置にある評価ブロックのＳＡＤもしくはＳＡＴＤが所定の閾値以下であるか否かを判定する。そして、ＳＡＤもしくはＳＡＴＤが所定の閾値以下である場合、静止判定部２２ｃは、当該入力画像の評価ブロックを、対応する参照画の評価ブロックと所定以上の相関を有するものとして、静止領域と判定する。ここで、閾値は調整可能なパラメータとして与えられるようにしてもよい。
図５は、静止領域の一例を示す図である。図５に示すように、静止判定部２２ｃは、まずＣＴＢ内でＭｉｎｉｍｕｍ ＣＵ Ｓｉｚｅである１６×１６画素ごとに静止領域の判定を行う。その後、静止判定部２２ｃは、３２×３２画素、さらにはＣＴＢである６４×６４画素の領域における静止領域と判定した評価ブロックの集合の個数及び形状を評価する。そして、静止領域と判定した評価ブロックの集合の個数及び形状が所定の条件を満たす場合は、静止判定部２２ｃは３２×３２画素、もしくは６４×６４画素のブロック全体を静止領域とみなすようにしてもよい。
等速移動判定部２２ｄは、入力原画の評価ブロックのうち、特徴情報の比較結果に基づいて、グローバルベクトルに基づいて特定される移動元である参照画の評価ブロックと所定以上の相関を有する評価ブロックを、等速移動領域と判定する処理部である。
等速移動判定部２２ｄは、参照画と入力原画との間のグローバルベクトルを取得し、グローバルベクトルを基に、静止領域と判定されなかった入力原画の評価ブロックの移動元である移動元評価ブロックを特定する。そして、等速移動判定部２２ｄは、移動元評価ブロックとの比較結果に基づいて、画像特徴情報が移動元評価ブロックと所定以上の相関を有すると判定された入力原画の評価ブロックを等速移動領域と判定する。適用部２２ｅは、等速移動領域に対し画像特徴情報が所定以上の相関を有すると判定された参照画の評価ブロックに適用された符号化処理単位のうちのＰＵを適用する。
一実施形態として、等速移動判定部２２ｄは、まず入力原画と参照画との間のグローバルベクトルを取得する。なお、グローバルベクトルとは、画像全体もしくは所定の領域単位の大きな動きを表すベクトルである。そして、等速移動判定部２２ｄは、グローバルベクトルを基に入力原画の評価ブロックの移動元である評価ブロックを参照画から特定する。
そして、入力原画の評価ブロック及び移動元の評価ブロックのＳＡＤもしくはＳＡＴＤが所定の閾値以下である場合、当該入力画像の評価ブロックを、移動元の参照画の評価ブロックと所定以上の相関を有するものとして、等速移動領域と判定する。ここで、閾値は静止判定部２２ｂにおける閾値とは異なる調整可能なパラメータとして与えられるようにしてもよい。なお、静止判定部２２ｃが静止領域と判定された評価ブロックは等速移動領域の判定対象から除外される。
また、等速移動判定部２２ｄは、ＳＡＤもしくはＳＡＴＤだけでなく、ＰＵ分割条件を満たす場合に等速移動領域と判定するようにしてもよい。図６は、ＰＵ分割条件の一例を示す図である。図６に示すように、例えば入力原画の１６×１６画素の評価ブロックに対応する参照画における移動元の評価ブロックが、複数のＣＵと重複する場合がある。この場合、移動元の評価ブロックに異なるＰＵの境界がないこと、及び予測メモリ３２に記憶されている過去の予測結果から取得される当該複数のＣＵの動きベクトルが全て等しいことをＰＵ分割条件とする。また、グローバルベクトル周辺のＣＵで原画像の特性に近いＣＵが存在する場合、等速移動判定部２２ｄは当該ＣＵとのＳＡＤ値、ＳＡＴＤ値が閾値以下であれば等速移動領域と判定するようにしてもよい。
また、等速移動判定部２２ｄは、静止判定部２２ｃと同様に、まずＣＴＢ内でＭｉｎｉｍｕｍ ＣＵ Ｓｉｚｅである１６×１６画素ごとに等速移動領域の判定を行う。その後、等速移動判定部２２ｄは、３２×３２画素、さらにはＣＴＢである６４×６４画素の領域における等速移動領域と判定した評価ブロックの集合の個数及び形状を評価する。そして、等速移動領域と判定した評価ブロックの集合の個数及び形状が所定の条件を満たす場合は、等速移動判定部２２ｄは３２×３２画素、もしくは６４×６４画素のブロック全体を等速移動領域とみなすようにしてもよい。
適用部２２ｅは、入力原画の静止領域及び等速移動領域に、参照画の符号化処理単位を適用する処理部である。
一実施形態として、適用部２２ｅは、静止領域が一定割合以上であるＣＴＢについては、参照画の同じ位置にあるＣＴＢのＣＵ、ＰＵ、ＴＵを適用する。また、静止領域が一定割合以上でなく、等速移動領域を含むＣＴＢについては、参照画の移動元評価ブロックを含むＣＴＢのＰＵを適用する。
また、静止領域が一定割合以上でなく、等速移動領域を含まないＣＴＢはシーンチェンジ領域とする。シーンチェンジ領域においては、符号化処理単位の再判定が行われる。すなわち、シーンチェンジ領域においてはＣＵ分割判定部２１ｈが選択したＣＵ、ＰＵ、ＴＵが適用される。
さらに、静止領域及び等速移動領域のいずれとも判定されなかった入力原画の評価ブロックに対し符号化処理単位に予め設定された固定値を適用して符号化を行うようにしてもよい。例えば、シーンチェンジ領域のＣＵサイズを固定値、または入力原画の統計処理によってプログラマブルに決定される値とすることで、処理量を削減する。
図７は、符号化処理単位の継承の一例を示す図である。例として、Ｍｉｎｉｍｕｍ ＣＵ Ｓｉｚｅは１６×１６画素であるものとる。また、例として、適用部２２ｅは、静止領域が１０／１６以上である場合に静止領域が一定割合以上であると判定することとする。図７に示すように、ＣＴＢ５１は静止領域が１２／１６であり一定割合以上であるため、適用部２２ｅは参照画のＣＴＢ５１ａにおけるＣＵ、ＰＵ、ＴＵをＣＴＢ５１に適用する。また、ＣＴＢ５２は静止領域が２／１６であり一定割合以上でなく、等速移動領域を含まないためシーンチェンジ領域として処理される。図７の例ではシーンチェンジ領域のＣＵは１６×１６画素固定であるものとする。また、ＣＴＢ５３は静止領域が１２／１６であり一定割合以上であるため、適用部２２ｅは参照画のＣＴＢ５３ａにおけるＣＵ、ＰＵ、ＴＵをＣＴＢ５３に適用する。また、ＣＴＢ５４は静止領域が４／１６であり一定割合以上でなく、等速移動領域を含むため、適用部２２ｅはＣＴＢ５４の移動元である参照画のＣＴＢ５４ｂにおけるＰＵをＣＴＢ５４に適用する。
［処理の流れ］
次に、本実施例に係る符号化処理装置１０の処理の流れについて説明する。なお、ここでは、符号化処理装置１０によって実行される（１）全体の処理の流れ、（２）静止領域判定処理、（３）等速移動領域判定処理の順に説明することとする。
（１）全体の処理の流れ
図８は、本実施例に係る符号化処理の手順を示すフローチャートである。この処理は、自動的に開始することもできるし、手動設定で開始することもできる。なお、図８に示す処理のうちＳ１２〜Ｓ１８については、１つの入力原画ごとに行われる処理であり、入力原画が入力されるごとに繰り返し行われる。
図８に示すように、指定部２２ａは評価ブロックサイズを指定する（ステップＳ１１）。このとき、指定部２２ａは例えばＨＥＶＣの符号化パラメータの１つであるＭｉｎｉｍｕｍ ＣＵ Ｓｉｚｅを評価ブロックサイズに指定する。
次に、静止判定部２２ｃは、静止領域判定を行う（ステップＳ１２）。静止領域判定において取得部２２ｂは、入力原画の評価ブロック、及び入力原画の評価ブロックと同位置に存在する参照画の評価ブロックにおける画像特徴情報を取得する。
静止領域であると判定された入力原画のＣＴＢについて（ステップＳ１３Ｙｅｓ）、適用部２２ｅは参照画のＣＵ、ＰＵ、ＴＵを適用する（ステップＳ１４）。ここで、ステップＳ１３では、例えば静止領域判定において静止領域であると判定された評価ブロックの割合が一定以上であるＣＴＢは静止領域であると判定される。
また、静止領域であると判定されなかったＣＴＢについて（ステップＳ１３Ｎｏ）、等速移動判定部２２ｄは等速移動領域判定を行う（ステップＳ１５）。等速移動領域判定の結果、等速移動領域であると判定された入力原画のＣＴＢについて（ステップＳ１６Ｙｅｓ）、適用部２２ｅは参照画のＰＵを適用する（ステップＳ１７）。等速移動領域判定において取得部２２ｂは、入力原画の評価ブロック、及び入力原画の評価ブロックの移動元である参照画の評価ブロックにおける画像特徴情報を取得する。
また、等速移動領域判定の結果、等速移動領域であると判定されなかった入力原画のＣＴＢについて（ステップＳ１６Ｎｏ）は、シーンチェンジ領域処理が行われる（ステップＳ１８）。シーンチェンジ領域処理においては、符号化処理単位の再判定、または固定値として設定されたＣＵサイズを用いた符号化処理が行われる。
（２）静止領域判定処理
図９は、本実施例に係る静止領域判定の手順を示すフローチャートである。取得部２２ｂは、入力画の評価ブロックごとに参照画の同位置に存在する評価ブロックとのＳＡＤ及びＳＡＴＤの演算を行う（ステップＳ１２１）。
このとき、ＳＡＤもしくはＳＡＴＤが閾値以下である場合（ステップＳ１２２Ｙｅｓ）、静止判定部２２ｃは当該評価ブロックを静止領域ブロックであると判定する（ステップＳ１２３）。また、ＳＡＤもしくはＳＡＴＤがいずれも閾値以下でない場合（ステップＳ１２２Ｎｏ）、静止判定部２２ｃは当該評価ブロックを非静止領域ブロックであると判定する（ステップＳ１２４）。
そして、ＣＴＢ内の全ブロックの判定が完了していない場合（ステップＳ１２５Ｎｏ）、静止判定部２２ｃはステップＳ１２１に戻り処理を繰り返す。また、ＣＴＢ内の全ブロックの判定が完了した場合（ステップＳ１２５Ｙｅｓ）、静止判定部２２ｃは評価ブロックサイズより大きいサイズのＣＵが静止領域とみなせるか否かを判定する（ステップＳ１２６）。そして、静止判定部２２ｃは静止領域とみなせる評価ブロックサイズより大きいサイズのＣＵを静止領域と判定し処理を終了する。
（３）等速移動領域判定処理
図１０は、本実施例に係る等速移動領域判定の手順を示すフローチャートである。取得部２２ｂは、入力画の評価ブロックごとに、グローバルベクトルを基に特定される参照画の移動元となる位置に存在する評価ブロックとのＳＡＤ及びＳＡＴＤの演算を行う（ステップＳ１５１）。
このとき、ＳＡＤもしくはＳＡＴＤが閾値以下であり、ＰＵ分割条件が満たされている場合（ステップＳ１５２Ｙｅｓ）、等速移動判定部２２ｄは当該評価ブロックを等速移動領域ブロックであると判定する（ステップＳ１５５）。
また、ＳＡＤもしくはＳＡＴＤがいずれも閾値以下でなく、ＰＵ分割条件が満たされていない場合（ステップＳ１５２Ｎｏ）がある。この場合、取得部２２ｂはグローバルベクトル周辺のＣＵブロックと原画の評価ブロックとのＳＡＤ及びＳＡＴＤの演算を行う（ステップＳ１５３）。
このとき、ＳＡＤもしくはＳＡＴＤが閾値以下である場合（ステップＳ１５４Ｙｅｓ）、等速移動判定部２２ｄは当該評価ブロックを等速移動領域ブロックであると判定する（ステップＳ１５５）。また、ＳＡＤもしくはＳＡＴＤがいずれも閾値以下でない場合（ステップＳ１５４Ｎｏ）、等速移動判定部２２ｄは当該評価ブロックを非等速移動領域ブロックであると判定する（ステップＳ１５６）。
そして、ＣＴＢ内の全ブロックの判定が完了していない場合（ステップＳ１５７Ｎｏ）、等速移動判定部２２ｄはステップＳ１５１に戻り処理を繰り返す。また、ＣＴＢ内の全ブロックの判定が完了した場合（ステップＳ１５７Ｙｅｓ）、等速移動判定部２２ｄは評価ブロックサイズより大きいサイズのＣＵが等速移動領域とみなせるか否かを判定する（ステップＳ１５８）。そして、等速移動判定部２２ｄは、等速移動領域とみなせる評価ブロックサイズより大きいサイズのＣＵを等速移動領域と判定し処理を終了する。
［効果の一側面］
上述してきたように、本実施例に係る符号化処理装置１０は、画像特徴情報が参照画の画像領域と入力原画の画像領域との間で所定以上の相関を有するか否かを判定する。符号化処理装置１０は、参照画に含まれる複数の画像領域と入力原画に含まれる複数の画像領域の、画像データにおける位置が対応する画像領域についての、取得した画像特徴情報の比較結果に基づいて上記の判定を行う。符号化処理装置１０は、画像特徴情報が所定以上の相関を有する参照画の画像領域に適用された符号化処理単位を適用する。
これにより、ＨＥＶＣにおける最適な符号化処理単位の算出のための再帰的な演算量を削減することができる。さらに、演算量の削減にともなって、符号化処理のための回路規模及び消費電力が削減される。
符号化処理装置１０は、例えば参照画の評価ブロックとの比較結果に基づいて、画像特徴情報が参照画の評価ブロックと所定以上の相関を有する入力原画の評価ブロックを静止領域と判定する。そして、符号化処理装置１０は、静止領域については参照画のＣＵ、ＰＵ、ＴＵを適用する。
これにより、静止領域における符号化処理単位の算出のための演算が不要となる。
また、符号化処理装置１０は、参照画と入力原画との間のグローバルベクトルを取得し、グローバルベクトルを基に、静止領域と判定されなかった入力原画の評価ブロックの移動元である移動元評価ブロックを特定する。そして、符号化処理装置１０は、移動元評価ブロックとの比較結果に基づいて、画像特徴情報が移動元評価ブロックと所定以上の相関を有する入力原画の評価ブロックを等速移動領域と判定する。符号化処理装置１０は、等速移動領域に対し画像特徴情報が所定以上の相関を有する参照画の評価ブロックに適用された符号化処理単位のうちのＰＵを適用する。
これにより、等速移動領域における符号化処理単位の算出のうち、ＰＵ算出のための演算が不要となる。
さらに、静止領域及び等速移動領域のいずれとも判定されなかった入力原画の評価ブロックに対し符号化処理単位に予め設定された固定値を適用して符号化を行うようにしてもよい。これにより、静止領域及び等速移動領域以外の領域についても符号化処理単位の算出のための演算量を削減できる。
これにより、ＨＥＶＣにおけるＣＵ、ＰＵ、ＴＵの算出のための再帰的な演算量を削減することができる。さらに、演算量の削減にともなって、符号化処理のための回路規模及び消費電力が削減される。
例えば、ＣＴＢが６４×６４画素、ＣＵが４種類、ＰＵが８種類のパターンが存在する場合、ＣＵ４種類×ＰＵ８種類の３２通りの組み合わせについての演算が必要になる。一方、静止領域であれば参照画のＣＵ、ＰＵ、ＴＵが適用され、１通りの演算で済むため演算量は１／３２である。仮に入力原画の１／３が静止領域であれば、式（３）より３２．３％の演算量削減効果が得られることがわかる。
（１／３）×（１−１／３２）×１００＝３２．３・・・（３）
［分散および統合］
また、図示した各装置の構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、符号化部２１または予測部２２を符号化処理装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、符号化部２１及び予測部２２を別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の符号化処理装置１０の機能を実現するようにしてもよい。
［符号化処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１１を用いて、上記の実施例と同様の機能を有する符号化処理プログラムを実行するコンピュータの一例について説明する。
図１１は、本実施例に係る符号化処理プログラムを実行するコンピュータのハードウェア構成例を示す図である。図１１に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
ＨＤＤ１７０には、図１１に示すように、上記の本実施例で示した符号化部２１、予測部２２と同様の機能を発揮する符号化処理プログラム１７０ａが記憶される。この符号化処理プログラム１７０ａは、図３及び図４に示した符号化部２１、予測部２２の各構成要素と同様、統合または分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の本実施例で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。
このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から符号化処理プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、符号化処理プログラム１７０ａは、図１１に示すように、符号化処理プロセス１８０ａとして機能する。この符号化処理プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち符号化処理プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、符号化処理プロセス１８０ａが実行する処理の一例として、図８〜図１０に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の本実施例で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
なお、上記の符号化処理プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。
１０ 符号化処理装置
２０ 制御部
２１ 符号化部
２１ａ ブロック分割部
２１ｂ イントラ予測部
２１ｃ インター予測部
２１ｄ 変換／量子化部
２１ｅ 逆量子化／変換部
２１ｆ フィルタ部
２１ｇ エントロピー符号化部
２１ｈ ＣＵ分割判定部
２１ｉ 減算部
２１ｊ 加算部
２１ｋ、２１ｌ スイッチ
２２ 予測部
２２ａ 指定部
２２ｂ 取得部
２２ｃ 静止判定部
２２ｄ 等速移動判定部
２２ｅ 適用部
３０ 記憶部
３１ フレームメモリ
３２ 予測メモリ

Claims (9)

  1. コンピュータに、
    第１画像データと第２画像データのそれぞれについて、複数に区分した複数の画像領域それぞれの画像特徴情報を取得し、
    前記第１画像データに含まれる複数の画像領域と前記第２画像データに含まれる複数の画像領域のうちの、画像データにおける位置が対応する画像領域について、取得した前記画像特徴情報の比較結果に基づいて、前記画像特徴情報が前記第１画像データの画像領域と前記第２画像データの画像領域との間で所定以上の相関を有するか否かを判定し、
    画像特徴情報が前記所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位を前記所定以上の相関を有すると判定された前記第２画像データの画像領域に適用して、前記第２画像データの符号化を行う
    処理を実行させることを特徴とする符号化処理プログラム。
  2. コンピュータに、
    前記画像特徴情報が前記第１画像データの画像領域と所定以上の相関を有すると判定された前記第２画像データの画像領域を静止領域と判定する
    処理をさらに実行させ、
    前記符号化を行う処理は、前記静止領域に対し画像特徴情報が所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位を適用して符号化を行う、
    ことを特徴とする請求項１に記載の符号化処理プログラム。
  3. コンピュータに、
    前記第１画像データと前記第２画像データとの間のグローバルベクトルを取得し、前記グローバルベクトルを基に、前記静止領域と判定されなかった前記第２画像データの画像領域の移動元である移動元画像領域を特定し、画像特徴情報が前記移動元画像領域と所定以上の相関を有すると判定された前記第２画像データの画像領域を等速移動領域と判定する
    処理をさらに実行させ、
    前記符号化を行う処理は、前記等速移動領域に対し画像特徴情報が前記所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位のうちのＰＵを適用して符号化を行う、
    ことを特徴とする請求項２に記載の符号化処理プログラム。
  4. 前記符号化を行う処理は、前記静止領域及び前記等速移動領域のいずれとも判定されなかった前記第２画像データの画像領域に対し符号化処理単位に予め設定された固定値を適用して符号化を行う
    ことを特徴とする請求項３に記載の符号化処理プログラム。
  5. コンピュータが、
    第１画像データと第２画像データのそれぞれについて、複数に区分した複数の画像領域それぞれの画像特徴情報を取得し、
    前記第１画像データに含まれる複数の画像領域と前記第２画像データに含まれる複数の画像領域のうちの、画像データにおける位置が対応する画像領域について、取得した前記画像特徴情報の比較結果に基づいて、前記画像特徴情報が前記第１画像データの画像領域と前記第２画像データの画像領域との間で所定以上の相関を有するか否かを判定し、
    画像特徴情報が前記所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位を前記所定以上の相関を有すると判定された前記第２画像データの画像領域に適用して、前記第２画像データの符号化を行う、
    処理を実行することを特徴とする符号化処理方法。
  6. 第１画像データと第２画像データのそれぞれについて、複数に区分した複数の画像領域それぞれの画像特徴情報を取得する取得部と、
    前記第１画像データに含まれる複数の画像領域と前記第２画像データに含まれる複数の画像領域のうちの、画像データにおける位置が対応する画像領域について、取得した前記画像特徴情報の比較結果に基づいて、前記画像特徴情報が前記第１画像データの画像領域と前記第２画像データの画像領域との間で所定以上の相関を有するか否かを判定し、画像特徴情報が前記所定以上の相関を有すると判定された前記第１画像データの画像領域に適用された符号化処理単位を前記所定以上の相関を有すると判定された前記第２画像データの画像領域に適用して、前記第２画像データの符号化を行う適用部と、
    を有することを特徴とする符号化処理装置。
  7. コンピュータに、
    第１画像データ及び符号化処理が行われた第２画像データのそれぞれについて、複数に区分した画像領域それぞれの画像特徴情報を取得し、
    前記第１画像データと前記第２画像データとの間のグローバルベクトルを取得し、前記グローバルベクトルを基に、前記第１画像データから、前記第２画像データの第２画像領域の移動元である第１画像領域を特定し、
    前記第２画像領域の前記画像特徴情報が、前記第１画像領域の前記画像特徴情報と所定以上の相関を有する場合、前記第２画像領域の符号化処理単位のうちのＰＵとして、前記第１画像領域のＰＵを適用する
    処理を実行させることを特徴とする符号化処理プログラム。
  8. コンピュータが、
    第１画像データ及び符号化処理が行われた第２画像データのそれぞれについて、複数に区分した画像領域それぞれの画像特徴情報を取得し、
    前記第１画像データと前記第２画像データとの間のグローバルベクトルを取得し、前記グローバルベクトルを基に、前記第１画像データから、前記第２画像データの第２画像領域の移動元である第１画像領域を特定し、
    前記第２画像領域の前記画像特徴情報が、前記第１画像領域の前記画像特徴情報と所定以上の相関を有する場合、前記第２画像領域の符号化処理単位のうちのＰＵとして、前記第１画像領域のＰＵを適用する
    処理を実行することを特徴とする符号化処理方法。
  9. 第１画像データ及び符号化処理が行われた第２画像データのそれぞれについて、複数に区分した画像領域それぞれの画像特徴情報を取得する取得部と、
    前記第１画像データと前記第２画像データとの間のグローバルベクトルを取得し、前記グローバルベクトルを基に、前記第１画像データから、前記第２画像データの第２画像領域の移動元である第１画像領域を特定する等速移動判定部と、
    前記第２画像領域の前記画像特徴情報が、前記第１画像領域の前記画像特徴情報と所定以上の相関を有する場合、前記第２画像領域の符号化処理単位のうちのＰＵとして、前記第１画像領域のＰＵを適用する適用部と、
    を有することを特徴とする符号化処理装置。
JP2016055694A 2016-03-18 2016-03-18 符号化処理プログラム、符号化処理方法及び符号化処理装置 Active JP6665611B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016055694A JP6665611B2 (ja) 2016-03-18 2016-03-18 符号化処理プログラム、符号化処理方法及び符号化処理装置
US15/458,391 US10616588B2 (en) 2016-03-18 2017-03-14 Non-transitory computer-readable storage medium, encoding processing method, and encoding processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016055694A JP6665611B2 (ja) 2016-03-18 2016-03-18 符号化処理プログラム、符号化処理方法及び符号化処理装置

Publications (2)

Publication Number Publication Date
JP2017175191A true JP2017175191A (ja) 2017-09-28
JP6665611B2 JP6665611B2 (ja) 2020-03-13

Family

ID=59847276

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016055694A Active JP6665611B2 (ja) 2016-03-18 2016-03-18 符号化処理プログラム、符号化処理方法及び符号化処理装置

Country Status (2)

Country Link
US (1) US10616588B2 (ja)
JP (1) JP6665611B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212639A (ja) * 2016-05-26 2017-11-30 株式会社リコー 情報処理装置、会議システムおよび情報処理装置の制御方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965750B (zh) * 2020-07-20 2023-08-01 武汉Tcl集团工业研究院有限公司 一种图像编码方法、存储介质及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042654A1 (ja) * 2010-09-30 2012-04-05 富士通株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラム
WO2012077332A1 (ja) * 2010-12-06 2012-06-14 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2012101781A1 (ja) * 2011-01-26 2012-08-02 株式会社日立製作所 画像復号化装置
WO2014009644A1 (fr) * 2012-07-09 2014-01-16 Orange Procédé de codage video par prediction du partitionnement d'un bloc courant, procédé de décodage, dispositifs de codage et de décodage et programmes d'ordinateur correspondants
JP2014204207A (ja) * 2013-04-02 2014-10-27 日本電信電話株式会社 ブロックサイズ決定方法、映像符号化装置、及びプログラム

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04150284A (ja) 1990-10-09 1992-05-22 Olympus Optical Co Ltd 動ベクトル検出方法およびその装置
US5353119A (en) * 1990-11-15 1994-10-04 Sony United Kingdom Limited Format conversion of digital video signals, integration of digital video signals into photographic film material and the like, associated signal processing, and motion compensated interpolation of images
US5510840A (en) 1991-12-27 1996-04-23 Sony Corporation Methods and devices for encoding and decoding frame signals and recording medium therefor
JPH05236466A (ja) 1992-02-25 1993-09-10 Nec Corp 動き補償フレーム間予測画像符号化装置及び方法
JPH05328333A (ja) 1992-05-15 1993-12-10 Toshiba Corp 動きベクトル検出装置
KR100283343B1 (ko) 1992-06-25 2001-03-02 이데이 노부유끼 화상신호 부호화방법 및 복호화방법과 화상신호 부호화장치 및 복호화장치
US5253056A (en) 1992-07-02 1993-10-12 At&T Bell Laboratories Spatial/frequency hybrid video coding facilitating the derivatives of variable-resolution images
JPH06225289A (ja) 1993-01-25 1994-08-12 Matsushita Electric Ind Co Ltd 映像信号符号化装置
KR950014343B1 (ko) 1993-05-20 1995-11-24 한국방송공사 고화질 티브(hdtv)의 화상데이타 움직임 추정방법 및 그 장치
JPH07212764A (ja) 1994-01-21 1995-08-11 Sony Corp 動きベクトル検出装置
JPH07231445A (ja) 1994-02-18 1995-08-29 Hitachi Ltd 画像符号化方法およびその装置
JPH07288817A (ja) 1994-04-19 1995-10-31 Sony Corp 動きベクトル検出装置
EP0710028A3 (en) 1994-10-28 2000-01-19 Kabushiki Kaisha Toshiba Image decoding apparatus
KR970705240A (ko) 1995-07-19 1997-09-06 니시무로 타이조 레터박스 변환 장치(letter-box transformation device)
JPH0937269A (ja) 1995-07-25 1997-02-07 Hitachi Ltd 画像圧縮装置
JPH0955940A (ja) 1995-08-11 1997-02-25 Nippon Telegr & Teleph Corp <Ntt> 動き補償モジュール
JP3994445B2 (ja) 1995-12-05 2007-10-17 ソニー株式会社 動きベクトル検出装置及び動きベクトル検出方法
DE19601005A1 (de) 1996-01-15 1997-07-17 Bosch Gmbh Robert Verfahren zur Erkennung bewegter Objekte in zeitlich aufeinanderfolgenden Bildern
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
JP3374014B2 (ja) 1996-07-22 2003-02-04 富士通株式会社 画像相関器
JP4294743B2 (ja) 1996-12-13 2009-07-15 富士通株式会社 動きベクトル探索装置および動画像符号化装置
US6212237B1 (en) 1997-06-17 2001-04-03 Nippon Telegraph And Telephone Corporation Motion vector search methods, motion vector search apparatus, and storage media storing a motion vector search program
JPH11239354A (ja) 1998-02-23 1999-08-31 Mitsubishi Electric Corp 動きベクトル検出器
KR100275694B1 (ko) 1998-03-02 2000-12-15 윤덕용 실시간 동영상 부호화를 위한 초고속 움직임 벡터 추정방법
JP3646845B2 (ja) 1998-03-03 2005-05-11 Ｋｄｄｉ株式会社 ビデオ符号化装置
US6400763B1 (en) 1999-02-18 2002-06-04 Hewlett-Packard Company Compression system which re-uses prior motion vectors
JP3531532B2 (ja) 1999-05-18 2004-05-31 日本電気株式会社 動画像符号化装置、及び方法
JP2002218474A (ja) 2001-01-24 2002-08-02 Mitsubishi Electric Corp 画像データ符号化装置
JP4195969B2 (ja) 2002-08-05 2008-12-17 パナソニック株式会社 動きベクトル検出装置
US7349583B2 (en) * 2003-09-05 2008-03-25 The Regents Of The University Of California Global motion estimation image coding and processing
JP4252916B2 (ja) * 2004-03-18 2009-04-08 富士通マイクロエレクトロニクス株式会社 動きベクトルの探索範囲を決定する方法
US8878851B2 (en) * 2004-11-12 2014-11-04 Synchronica Plc Method and system for streaming documents, e-mail attachments and maps to wireless devices
JP4764136B2 (ja) * 2005-10-31 2011-08-31 富士通セミコンダクター株式会社 動画像符号化装置、及びフェードシーン検出装置
JP2007215114A (ja) * 2006-02-13 2007-08-23 Sony Corp 撮像画像の歪み補正方法、撮像画像の歪み補正装置および撮像装置
JP4764807B2 (ja) * 2006-11-30 2011-09-07 富士通セミコンダクター株式会社 動きベクトル検出装置および動きベクトル検出方法
JP2009290827A (ja) * 2008-06-02 2009-12-10 Sony Corp 画像処理装置および画像処理方法
US9215467B2 (en) * 2008-11-17 2015-12-15 Checkvideo Llc Analytics-modulated coding of surveillance video
JP2012151796A (ja) * 2011-01-21 2012-08-09 Sony Corp 画像処理装置と画像処理方法およびプログラム
US20170337711A1 (en) * 2011-03-29 2017-11-23 Lyrical Labs Video Compression Technology, LLC Video processing and encoding
GB2492329B (en) * 2011-06-24 2018-02-28 Skype Video coding
GB2492330B (en) * 2011-06-24 2017-10-18 Skype Rate-Distortion Optimization with Encoding Mode Selection
US9497482B2 (en) * 2013-10-02 2016-11-15 Amlogic Co., Limited Methods for comparing a target block to a reference window for motion estimation during video encoding
US10136132B2 (en) * 2015-07-21 2018-11-20 Microsoft Technology Licensing, Llc Adaptive skip or zero block detection combined with transform size decision
WO2017086747A1 (ko) * 2015-11-20 2017-05-26 한국전자통신연구원 기하 변환 픽처를 이용한 영상의 부호화/복호화 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012042654A1 (ja) * 2010-09-30 2012-04-05 富士通株式会社 画像復号方法、画像符号化方法、画像復号装置、画像符号化装置、画像復号プログラム、及び画像符号化プログラム
WO2012077332A1 (ja) * 2010-12-06 2012-06-14 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2012101781A1 (ja) * 2011-01-26 2012-08-02 株式会社日立製作所 画像復号化装置
WO2014009644A1 (fr) * 2012-07-09 2014-01-16 Orange Procédé de codage video par prediction du partitionnement d'un bloc courant, procédé de décodage, dispositifs de codage et de décodage et programmes d'ordinateur correspondants
JP2014204207A (ja) * 2013-04-02 2014-10-27 日本電信電話株式会社 ブロックサイズ決定方法、映像符号化装置、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017212639A (ja) * 2016-05-26 2017-11-30 株式会社リコー 情報処理装置、会議システムおよび情報処理装置の制御方法

Also Published As

Publication number Publication date
JP6665611B2 (ja) 2020-03-13
US10616588B2 (en) 2020-04-07
US20170272761A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
TWI759389B (zh) 用於視訊寫碼之低複雜度符號預測
JP2018524918A (ja) 画像予測方法および画像予測装置
JP2019129371A (ja) 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
JP2019110530A (ja) ビデオデータを符号化するための方法及び装置
Liu et al. H. 264/AVC video error concealment algorithm by employing motion vector recovery under cloud computing environment
JP5613319B2 (ja) 映像符号化装置、映像符号化方法および映像符号化プログラム
JP6665611B2 (ja) 符号化処理プログラム、符号化処理方法及び符号化処理装置
US20220101492A1 (en) Method and apparatus for block-wise neural image compression with post filtering
KR102633549B1 (ko) 대체 신경 잔차 압축을 위한 방법 및 장치
JP5702820B2 (ja) 予測モード決定方法、動画像符号化装置、及び予測モード決定プログラム
JP6069128B2 (ja) 変換量子化方法、変換量子化装置及び変換量子化プログラム
CN110035288B (zh) 对视频序列进行编码的方法、编码装置和存储介质
US20160057429A1 (en) Coding apparatus, method, computer product, and computer system
JP2019102861A (ja) 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
US11528485B2 (en) Encoding apparatus and program
JP2015076765A (ja) 画像処理装置及びその制御方法、並びに、コンピュータプログラム
JP2013207402A (ja) 画像符号化装置及びプログラム
KR20220024020A (ko) 모션 보상 처리 방법, 인코더, 디코더 및 저장 매체
KR20190087329A (ko) 복수의 예측 모드 후보군을 사용하여 화면내 예측을 수행하는 영상 부호화/복호화 방법 및 장치
JP6841709B2 (ja) 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム
US10034011B2 (en) Video coding apparatus
Krishnegowda et al. Optimal coding unit decision for early termination in high efficiency video coding using enhanced whale optimization algorithm
JP2016178375A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JPWO2022072093A5 (ja)
JP6323185B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181210

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191023

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200203

R150 Certificate of patent or registration of utility model

Ref document number: 6665611

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150