JP2019212089A - 半導体装置及び半導体装置による処理方法 - Google Patents

半導体装置及び半導体装置による処理方法 Download PDF

Info

Publication number
JP2019212089A
JP2019212089A JP2018108454A JP2018108454A JP2019212089A JP 2019212089 A JP2019212089 A JP 2019212089A JP 2018108454 A JP2018108454 A JP 2018108454A JP 2018108454 A JP2018108454 A JP 2018108454A JP 2019212089 A JP2019212089 A JP 2019212089A
Authority
JP
Japan
Prior art keywords
image
compression
circuit
processing
tile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018108454A
Other languages
English (en)
Other versions
JP7082529B2 (ja
Inventor
亮司 橋本
Ryoji Hashimoto
亮司 橋本
松本　圭介
Keisuke Matsumoto
圭介 松本
ヴァン ニャット ウィン
Van Huynh Nhat
ヴァン ニャット ウィン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2018108454A priority Critical patent/JP7082529B2/ja
Priority to US16/409,502 priority patent/US10977834B2/en
Priority to EP19176102.2A priority patent/EP3579112B1/en
Priority to CN201910451663.8A priority patent/CN110572663B/zh
Publication of JP2019212089A publication Critical patent/JP2019212089A/ja
Application granted granted Critical
Publication of JP7082529B2 publication Critical patent/JP7082529B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Memory System (AREA)

Abstract

【課題】回路規模を増大させることなく、効率よく圧縮処理を行うことが可能な半導体装置及び半導体装置による処理方法を提供すること。【解決手段】一実施の形態によれば、画像処理装置１は、複数のタイルに分割された対象画像ＤＶｉｎをタイル毎に画像処理する符号化回路１１と、対象画像ＤＶｉｎの圧縮単位である画像ブロックの領域に、タイル境界Ｘ１が含まれるか否かを判定する判定回路１２と、符号化回路１１によって画像処理された画像ブロックに対して、判定回路１２による判定結果に応じた圧縮処理を行う圧縮処理回路１３と、を備える。【選択図】図１

Description

本発明は半導体装置及び半導体装置による処理方法に関し、例えば、回路規模を増大させることなく効率よく画像データの圧縮処理を行うのに適した半導体装置及び半導体装置による処理方法に関する。
画像処理装置は、例えば、動画像を構成する各画像（フレーム）を符号化して符号化ストリームを生成する。ここで、画像処理装置は、符号化ストリームの各画像に対応する局所復号画像を、書き込みバスを介して外部メモリに書き込むとともに、外部メモリに書き込まれた別の局所復号画像を、読み出しバスを介して読み出して、符号化対象の画像の予測に用いている。
しかしながら、この画像処理装置では、画像が大容量である場合、画像処理装置と外部メモリとの間のバスの帯域が大幅に消費されてしまうため、効率よく画像処理を行うことができないという問題があった。
このような問題に対する解決策が特許文献１に開示されている。特許文献１には、符号化されたデータを圧縮したうえでメモリに書き込む半導体装置の構成が開示されている。それにより、この半導体装置は、当該半導体装置とメモリとの間のバスの帯域の消費を抑制することができるため、効率よく画像処理を行うことができる。
特開２０１７−１１７１４５号公報
ところで、近年では、画像処理装置は、符号化対象の画像を複数のタイルに分割してタイル毎に画像処理（例えば符号化処理）を行っている。この画像処理装置に特許文献１の圧縮処理の技術を適用した場合、当該画像処理装置は、例えば２つのタイルに跨がって設けられた圧縮単位の画像ブロックに対する圧縮処理を、当該２つのタイルの画像処理が共に完了した後にしか行うことができない。そのため、この画像処理装置は、一方のタイルの画像処理完了後から他方のタイルの画像処理が完了するまでの間に一方のタイルの画像処理結果を保持するための保持回路を備える必要があり、回路規模を増大させてしまうという問題があった。その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
一実施の形態によれば、半導体装置は、複数のタイルに分割された対象画像を当該タイル毎に画像処理する画像処理回路と、前記対象画像の圧縮単位である画像ブロックの領域に、前記タイル境界が含まれるか否かを判定する判定回路と、前記画像処理回路によって画像処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行う圧縮処理回路と、を備える。
他の実施の形態によれば、半導体装置による処理方法は、複数のタイルによって分割された対象画像を当該タイル毎に画像処理し、前記対象画像の圧縮単位である画像ブロックの領域に、前記タイル境界が含まれるか否かを判定する判定処理を行い、画像処理された前記画像ブロックに対して、判定結果に応じた圧縮処理を行う。
前記一実施の形態によれば、回路規模を増大させることなく、効率よく圧縮処理を行うことが可能な半導体装置及び半導体装置による処理方法を提供することができる。
実施の形態１にかかる画像処理システムの構成例を示す図である。 対象画像ＤＶｉｎの一部の領域Ｐ１を模式的に示す図である。 対象画像ＤＶｉｎの一部の領域Ｐ２を模式的に示す図である。 対象画像ＤＶｉｎの一部の領域Ｐ３を模式的に示す図である。 対象画像ＤＶｉｎの一部の領域Ｐ３にダミー領域を挿入した場合のイメージ図である。 圧縮の有無による画像ブロックのメモリ上での配置の違いを示す図である。 実施の形態４にかかる画像処理システムの構成例を示す図である。
説明の明確化のため、以下の記載及び図面は、適宜、省略、及び簡略化がなされている。また、様々な処理を行う機能ブロックとして図面に記載される各要素は、ハードウェア的には、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
＜実施の形態１＞
図１は、実施の形態１にかかる画像処理システム（半導体システム）ＳＹＳ１の構成例を示すブロック図である。本実施の形態にかかる画像処理システムＳＹＳ１は、動画像を構成する各画像（フレーム）の符号化処理及び圧縮処理を行うシステムである。以下、具体的に説明する。
図１に示すように、画像処理システムＳＹＳ１は、符号化回路（画像処理回路）１１と、判定回路１２と、圧縮処理回路１３と、伸張処理回路１４と、バス１５と、バス１６と、メモリ１７と、を備える。なお、画像処理システムＳＹＳ１の構成要素のうちメモリ１７以外の構成要素によって画像処理装置（半導体装置）１が構成されている。
符号化回路１１は、符号化対象の画像（以下、対象画像と称す）ＤＶｉｎを符号化することによって符号化ストリームＢＳｏｕｔを生成する部である。具体的には、符号化回路１１は、タイル分割部１１１と、減算器１１２と、直交変換部１１３と、量子化部１１４と、可変長符号化部１１５と、逆量子化部１１６と、逆直交変換部１１７と、加算器１１８と、フィルタ１１９と、動き予測部１２０と、を備える。
タイル分割部１１１は、対象画像ＤＶｉｎを符号化単位である複数の矩形状のタイルに分割する。なお、符号化回路１１による各タイルの符号化処理は、実際には、各タイルを構成する複数の処理ブロックの単位で細分化して行われる。例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、各タイルを構成する複数のＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）の単位で符号化処理が行われる。また、ＶＰ９では、各タイルを構成する複数のＳｕｐｅｒｂｌｏｃｋの単位で符号化処理が行われる。なお、当然ながら、ＣＴＢやＳｕｐｅｒｂｌｏｃｋの単位で符号化処理が行われる場合に限られず、それ以外でも、各タイルを構成する複数の処理ブロック単位で符号化処理が行われることができる。
減算器１１２は、タイル分割部１１１から一つずつ順番に出力されるタイル（以下、符号化対象タイルと称す）から、動き予測部１２０から出力された対応する予測タイルを減算することにより、差分タイルを出力する。なお、差分タイルは、符号化対象タイルから空間的な冗長性及び時間的な冗長性を取り除いたものである。
直交変換部１１３は、各差分タイルに対してＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）を施すことによってＤＣＴ係数を出力する。量子化部１１４は、直交変換部１１３から出力されたＤＣＴ係数を量子化する。なお、本実施の形態では、直交変換部１１３が、各差分タイルに対してＤＣＴを施す場合を例に説明しているが、これに限られない。直交変換部１１３は、各差分タイルに対してＤＳＴ（Ｄｉｓｃｒｅａｔｅ Ｓｉｇｎ Ｔｒａｎｓｆｏｒｍ）等の他の種類の直交変換処理を施すように構成されても良い。
可変長符号化部１１５は、量子化部１１４によって量子化されたＤＣＴ係数に対して可変長の符号化を行う。
逆量子化部１１６は、量子化されたＤＣＴ係数に対して逆量子化を行う。逆直交変換部１１７は、逆量子化部１１６によって逆量子化されたＤＣＴ係数に対して逆ＤＣＴを施すことによって、差分復号タイルを出力する。なお、差分復号タイルは、減算器１１２から出力される差分タイルに対応する情報である。
加算器１１８は、予測タイルと、差分復号タイルと、を加算する。フィルタ１１９は、加算器１１８の出力結果に対してフィルタ処理を施すことによって、局所復号タイルを出力する。例えば、フィルタ１１９は、タイル境界の凹凸を滑らかにするためのフィルタ処理を行う。
ここで、符号化回路１１は、対象画像ＤＶｉｎを構成する複数の符号化対象タイルのそれぞれに対して同様の処理を行うことによって、対象画像ＤＶｉｎが符号化された符号化ストリームＢＳｏｕｔを出力するとともに、複数の局所復号タイルからなる局所復号画像ＬＤＩを出力する。
判定回路１２は、タイル分割部１１１による分割情報、及び、圧縮処理回路１３による圧縮情報に基づいて、局所復号画像ＬＤＩ（より詳しくは局所復号画像ＬＤＩの元となった対象画像ＤＶｉｎ）の圧縮単位である各画像ブロックにタイル境界Ｘ１が含まれているか否かを判定する。なお、タイル分割部１１１による分割情報には、例えば、各タイルの位置及びサイズの情報が含まれる。また、圧縮処理回路１３による圧縮情報には、例えば、各画像ブロックの位置及びサイズの情報が含まれる。なお、各画像ブロックの位置及びサイズは、メモリ１７の格納先アドレスから取得することもできる。
圧縮処理回路１３は、局所復号画像ＬＤＩの圧縮単位である各画像ブロックに対して、判定回路１２による判定結果に応じた圧縮処理を行う。例えば、判定回路１２によって圧縮処理対象の画像ブロックにタイル境界Ｘ１が含まれていないと判定された場合、圧縮処理回路１３は、当該画像ブロックを圧縮する。それに対し、判定回路１２によって圧縮処理対象の画像ブロックにタイル境界Ｘ１が含まれていると判定された場合、圧縮処理回路１３は、当該画像ブロックを圧縮しない。圧縮処理回路１３によって圧縮処理（圧縮しない処理を含む）された画像ブロックは、バス１５を介して、メモリ１７に書き込まれる。メモリ１７に書き込まれた画像ブロックは、符号化回路１１に設けられた動き予測部１２０による画像間予測（フレーム間予測）に用いられる。
伸張処理回路１４は、メモリ１７からバス１６を介して読み出された複数の画像ブロックのうち、圧縮処理回路１３によって圧縮された画像ブロックに対して伸張処理を行う。そして、伸張処理回路１４は、これら複数の画像ブロックを結合させることによって局所復号画像ＬＤＩを再生する。
符号化回路１１において、動き予測部１２０は、符号化対象タイルと、局所復号画像ＬＤＩのうち符号化対象タイルに対応する領域のタイル（参照タイル）と、を比較することによって、タイル間の画像の動きを予測し、予測された画像の動きを補償するタイルを予測タイルとして出力する。この予測タイルは、既に説明したように、減算器１１２及び加算器１１８に供給される。
このように、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、タイル境界Ｘ１が含まれる画像ブロックについては圧縮を行わないため、タイル境界Ｘ１を挟んで形成された２つのタイルの一方のタイルの符号化完了後、他方のタイルの符号化が完了するまで、の間に、一方のタイルの符号化結果を保持するための保持回路を備える必要がない。また、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、タイル境界Ｘ１が含まれない画像ブロックについては圧縮を行うため、画像処理装置１とメモリ１７との間のバス１５の帯域の消費を抑制することができ、その結果、効率よく画像処理を行うことができる。即ち、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、回路規模を増大させることなく、効率よく画像処理を行うことができる。
（画像処理装置１による処理内容の具体例）
続いて、画像処理装置１による判定処理及び圧縮処理の詳細について、図２を用いて説明する。
図２は、画像ＤＶｉｎの一部の領域Ｐ１を模式的に示す図である。図２の例では、対象画像ＤＶｉｎの一部の領域Ｐ１が、符号化単位である矩形状のタイルＴ１，Ｔ２に分割されている。また、図２の例では、対象画像ＤＶｉｎの一部の領域Ｐ１が、圧縮単位である矩形状の画像ブロックＢ１〜Ｂ１２に分割されている。
例えば、画像ＤＶｉｎの一部の領域Ｐ１では、まず、タイルＴ１の領域に対して符号化処理が行われ、その後、タイルＴ２の領域に対して符号化処理が行われる。具体的には、まず、４行に分割されたタイルＴ１の領域のうち、１行目の領域Ｅ１から領域Ｅ２、２行目の領域Ｅ３から領域Ｅ４、３行目の領域Ｅ５から領域Ｅ６、及び、４行目の領域Ｅ７から領域Ｅ８にかけて、連続して符号化処理が行われる。その後、４行に分割されたタイルＴ２の領域のうち、１行目の領域Ｅ９から領域Ｅ１０、２行目の領域Ｅ１１から領域Ｅ１２、３行目の領域Ｅ１３から領域Ｅ１４、及び、４行目の領域Ｅ１５から領域Ｅ１６にかけて、連続して符号化処理が行われる。
また、符号化処理と並行して圧縮処理が行われる。
まず、判定回路１２は、画像ブロックＢ１の領域にタイルＴ１、Ｔ２の境界線（以下、タイル境界と称す）Ｘ１が含まれているか否かの判定を行う。本例では、判定回路１２は、画像ブロックＢ１の領域にタイル境界Ｘ１が含まれていないと判定する。それにより、圧縮処理回路１３は、符号化処理された画像ブロックＢ１を圧縮する。圧縮された画像ブロックＢ１は、バス１５を介して、メモリ１７に書き込まれる。画像ブロックＢ２〜Ｂ４においても同様の処理が行われる。
次に、判定回路１２は、画像ブロックＢ５の領域にタイル境界Ｘ１が含まれているか否かの判定を行う。本例では、判定回路１２は、画像ブロックＢ５の領域にタイル境界Ｘ１が含まれていると判定する。それにより、圧縮処理回路１３は、画像ブロックＢ５の領域のうち、先に符号化処理されたタイルＴ１側の領域Ｅ２の画像データ（以下、画像データＥ２と称す）の圧縮を行わない。この圧縮されていない画像データＥ２は、ダミーの画像データ（以下、ダミーデータと称す）Ｄ９とともに、バス１５を介して、メモリ１７に書き込まれる。なお、ダミーデータＤ９は、まだ符号化処理されていないタイルＴ２側の領域Ｅ９の画像データの代わりのデータである。したがって、ダミーデータＤ９を付加せずに画像データＥ２のみがメモリ１７に書き込まれても良い。画像ブロックＢ６〜Ｂ８においても同様の処理が行われる。
その後、タイルＴ２の領域Ｅ９の符号化処理が完了すると、符号化処理されたタイルＴ２側の領域Ｅ９の画像データ（以下、画像データＥ９と称す）は、圧縮されずに、バス１５を介して、メモリ１７に書き込まれる。このとき、メモリ１７にダミーデータＤ９が書き込まれている場合には、ダミーデータＤ９は、画像データＥ９によって上書きされる。ここで、画像データＥ２及びダミーデータＤ９は圧縮されずにメモリ１７に格納されているため、ダミーデータＤ９の格納先アドレスの算出は容易である。なお、画像データＥ９は、符号化回路１１から圧縮処理回路１３を経由してメモリ１７に書き込まれてもよいし、符号化回路１１からメモリ１７に直接書き込まれてもよい。画像ブロックＢ６〜Ｂ８においても、それぞれ領域Ｅ１１，１３，Ｅ１５の符号化処理の完了後に同様の処理が行われる。
次に、判定回路１２は、画像ブロックＢ９の領域にタイルＴ１、Ｔ２の境界線であるタイル境界Ｘ１が含まれていないと判定する。それにより、圧縮処理回路１３は、符号化処理された画像ブロックＢ９を圧縮する。圧縮された画像ブロックＢ９は、バス１５を介して、メモリ１７に書き込まれる。画像ブロックＢ１０〜Ｂ１２においても同様の処理が行われる。
このように、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、タイル境界Ｘ１が含まれる画像ブロック（例えば画像ブロックＢ５）の圧縮を行わないため、タイル境界Ｘ１を挟んで形成されたタイルＴ１，Ｔ２の一方のタイルＴ１の符号化完了後、他方のタイルＴ２の符号化が完了するまで、の間に、一方のタイルＴ１の符号化結果を保持するための保持回路を備える必要がない。また、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、タイル境界Ｘ１が含まれない画像ブロック（例えば画像ブロックＢ１）については圧縮を行うため、画像処理装置１とメモリ１７との間のバス１５の帯域の消費を抑制することができ、その結果、効率よく画像処理を行うことができる。即ち、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、回路規模を増大させることなく、効率よく画像処理を行うことができる。
なお、特許文献１の画像処理装置において、保持回路を設けることなく全ての画像ブロックの圧縮を行うことを目的として、画像ブロック間の境界線上にタイル境界Ｘ１が位置するように強引に調整しようとすると、タイルのサイズが統一されない等の問題がある。仮に、画像ブロック間の境界線上にタイル境界Ｘ１が位置するように調整された場合でも、タイル境界Ｘ１の画像にはフィルタ処理が行われるのが一般的である。そのため、タイル境界Ｘ１を挟んで設けられた２つのタイルの一方のタイルの画像処理が完了してから、他方のタイルの画像処理が完了し、かつ、タイル境界Ｘ１の画像に対してフィルタ処理が行われるまで、の間に、一方のタイルの画像処理結果を保持するための保持回路を備える必要がある。そのため、依然として回路規模が増大してしまうという問題がある。
＜実施の形態２＞
本実施の形態では、画像処理装置１による判定処理及び圧縮処理の他の例について、図３を用いて説明する。
図３は、符号化対象の画像ＤＶｉｎの一部の領域Ｐ２を模式的に示す図である。図３の例では、対象画像ＤＶｉｎの一部の領域Ｐ２が、符号化単位である矩形状のタイルＴ１，Ｔ２に分割されている。また、図３の例では、対象画像ＤＶｉｎの一部の領域Ｐ２が、圧縮単位である矩形状の画像ブロックＢ１〜Ｂ８に分割されている。
ここで、図３の例では、隣接する画像ブロックＢ１，Ｂ５の境界線上にタイル境界Ｘ１が存在している。同様に、隣接する画像ブロックＢ２，Ｂ６の境界線上、隣接する画像ブロックＢ３，Ｂ７の境界線上、及び、隣接する画像ブロックＢ４，Ｂ８の境界線上に、タイル境界Ｘ１が存在している。
例えば、画像ＤＶｉｎの一部の領域Ｐ２では、まず、タイルＴ１の領域に対して符号化処理が行われ、その後、タイルＴ２の領域に対して符号化処理が行われる。具体的には、まず、４行に分割されたタイルＴ１の領域のうち、１行目の領域Ｅ１から領域Ｅ２、２行目の領域Ｅ３から領域Ｅ４、３行目の領域Ｅ５から領域Ｅ６、及び、４行目の領域Ｅ７から領域Ｅ８にかけて、連続して符号化処理が行われる。その後、４行に分割されたタイルＴ２の領域のうち、１行目の領域Ｅ９から領域Ｅ１０、２行目の領域Ｅ１１から領域Ｅ１２、３行目の領域Ｅ１３から領域Ｅ１４、及び、４行目の領域Ｅ１５から領域Ｅ１６にかけて、連続して符号化処理が行われる。
まず、判定回路１２は、隣接する画像ブロックＢ１，Ｂ５の境界線上にタイル境界Ｘ１が存在すると判定する。それにより、圧縮処理回路１３は、符号化処理された画像ブロックＢ１を圧縮しない。この圧縮されていない画像ブロックＢ１は、バス１５を介して、メモリ１７に書き込まれる。画像ブロックＢ２〜Ｂ４においても同様の処理が行われる。
その後、タイルＴ２に属する画像ブロックＢ５の符号化処理が完了すると、フィルタ１１９によって、符号化処理された画像ブロックＢ１，Ｂ５の境界領域に対するフィルタ処理が行われる。その後、フィルタ処理された境界領域のうち、画像ブロックＢ１側の領域に対するフィルタ処理結果は、バス１５を介して、メモリ１７に書き込まれる。このとき、メモリ１７に格納された画像ブロックＢ１のうち画像ブロックＢ２との境界領域は、フィルタ処理結果によって上書きされる。ここで、画像ブロックＢ１は圧縮されずにメモリ１７に格納されているため、フィルタ処理結果によって上書きされる記憶領域のアドレスの算出は容易である。なお、フィルタ処理結果は、符号化回路１１から圧縮処理回路１３を経由してメモリ１７に書き込まれても良いし、符号化回路１１からメモリ１７に直接書き込まれても良い。画像ブロックＢ６〜Ｂ８においても、それぞれ画像ブロックＢ２〜Ｂ４との境界領域に対するフィルタ処理の完了後に同様の処理が行われる。
また、圧縮処理回路１３は、符号化処理され、かつ、フィルタ処理された画像ブロックＢ５を圧縮する。圧縮された画像ブロックＢ５は、バス１５を介して、メモリ１７に書き込まれる。画像ブロックＢ６〜Ｂ８においても、同様の処理が行われる。
このように、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、隣接する画像ブロックの境界線上にタイル境界Ｘ１が存在する場合でも、実施の形態１の場合と同様に、回路規模を増大させることなく、効率よく画像処理を行うことができる。
＜実施の形態３＞
本実施の形態では、画像処理装置１による判定処理及び圧縮処理の他の例について、図４〜図６を用いて説明する。なお、本実施の形態では、タイル境界Ｘ１における画像のフィルタ処理が不要であるものとする。
図４は、符号化対象の画像ＤＶｉｎの一部の領域Ｐ３を模式的に示す図である。なお、図４に示す領域Ｐ３のタイルＴ１，Ｔ２及び画像ブロックＢ１〜Ｂ１２の関係については、図２に示す領域Ｐ１の場合と同様であるため、その説明を省略する。また、図５は、対象画像ＤＶｉｎの一部の領域Ｐ３にダミー領域を挿入した場合のイメージ図である。図６は、圧縮の有無による画像ブロックのメモリ上での配置の違いを示す図である。
圧縮処理回路１３は、タイル境界Ｘ１における画像のフィルタ処理が不要である場合、圧縮処理対象の画像ブロックの領域にタイル境界Ｘ１が含まれているか否かに関わらず、当該画像ブロックを圧縮する。
例えば、圧縮処理回路１３は、判定回路１２によって画像ブロックＢ５の領域にタイル境界Ｘ１が含まれていると判定された場合でも、当該画像ブロックＢ５を圧縮する。
具体的には、圧縮処理回路１３は、まず、先に符号化されたタイルＴ１側の領域Ｅ２の画像データ（以下、画像データＥ２と称す）と、ダミーデータＤ９と、からなる圧縮単位の画像ブロックＢ５＿１を圧縮する。圧縮された画像ブロックＢ５＿１は、バス１５を介して、メモリ１７に書き込まれる。同様に、画像データＥ４，Ｅ６，Ｅ８とダミーデータＤ１１，Ｄ１３，Ｄ１５とをそれぞれ組み合わせた画像ブロックＢ６＿１，Ｂ７＿１，Ｂ８＿１が、バス１５を介して、メモリ１７に書き込まれる。
その後、タイルＴ２側の領域Ｅ９の符号化処理が完了すると、圧縮処理回路１３は、符号化処理されたタイルＴ２側の領域Ｅ９の画像データ（以下、画像データＥ９と称す）と、ダミーデータＤ２と、からなる圧縮単位の画像ブロックＢ５＿２を圧縮する。圧縮された画像ブロックＢ５＿２は、バス１５を介して、メモリ１７に書き込まれる。同様に、画像データＥ１１，Ｅ１３，Ｅ１５とダミーデータＤ４，Ｄ６，Ｄ８とをそれぞれ組み合わせた画像ブロックＢ６＿２，Ｂ７＿２，Ｂ８＿２が、バス１５を介して、メモリ１７に書き込まれる。
画像ブロックＢ５の読み出しは以下の手順で行われる。まず、伸張処理回路１４は、メモリ１７からバス１６を介して、圧縮された画像ブロックＢ５＿１，Ｂ５＿２を読み出す。その後、伸張処理回路１４は、圧縮された画像ブロックＢ５＿１，Ｂ５＿２のそれぞれに対して伸長処理を行う。そして、伸張処理回路１４は、伸長処理された画像ブロックＢ５＿１，Ｂ５＿２からそれぞれダミーデータＤ９，Ｄ２を除去し、残った画像データＥ２，Ｅ９を結合させることによって画像データＢ５を再生する。
なお、圧縮された画像データＢ５＿１，Ｂ５＿２のメモリ１７の格納先の先頭アドレスは、圧縮されずに格納された場合と同じ先頭アドレスとなるように設定されることが好ましい（図６参照）。それにより、画像データＢ５＿１，Ｂ５＿２のアクセスが容易になる。あるいは、圧縮された画像データＢ５＿１，Ｂ５＿２をメモリ１７に書き込む際に、画像データＢ５が画像データＢ５＿１，Ｂ５＿２の２つに分割されたことを示す情報、及び、画像ブロックＢ５＿１，Ｂ５＿２にダミーデータＤ９，Ｄ２が付加される前のそれぞれのデータサイズを補助情報として書き込むようにしてもよい。
このように、本実施の形態にかかる画像処理装置１及びそれを備えた画像処理システムＳＹＳ１は、タイル境界Ｘ１における画像のフィルタ処理が不要である場合には、圧縮単位の画像ブロックのうちタイル境界Ｘ１によって分割された一方の領域をダミーデータとともに一つの画像ブロックとして圧縮するとともに、他方の領域をダミーデータとともに別の一つの画像ブロックとして圧縮する。それにより、本実施の形態にかかる画像処理装置１及び画像処理システムＳＹＳ１では、メモリ１７の記憶容量を増やす必要があるものの、画像処理装置１とメモリ１７との間のバスの帯域の消費を抑制することができる。
＜実施の形態４＞
上記実施の形態１〜３では、画像の符号化を行う画像処理装置１について説明した。それに対し、本実施の形態では、符号化ストリームの復号化を行う画像処理装置２について説明する。
図７は、画像処理システム（半導体システム）ＳＹＳ２の構成例を示すブロック図である。画像処理システムＳＹＳ２は、符号化ストリームＢＳｉｎの復号化処理及び圧縮処理を行うシステムである。
図７に示すように、画像処理システムＳＹＳ２は、復号化回路（画像処理回路）２１と、判定回路２２と、圧縮処理回路２３と、伸張処理回路２４と、バス２５と、バス２６と、メモリ２７と、を備える。なお、画像処理システムＳＹＳ２の構成要素のうちメモリ２７以外の構成要素によって画像処理装置（半導体装置）２が構成されている。
復号化回路２１は、復号化対象の符号化ストリームＢＳｉｎを復号化することによって画像ＤＶｏｕｔを生成する部である。具体的には、タイル分割部２１１と、可変長復号化部２１２と、逆量子化部２１３と、逆直交変換部２１４と、加算器２１５と、フィルタ２１６と、動き予測部２１７と、を備える。
タイル分割部２１１は、復号化対象の符号化ストリームＢＳｉｎを復号化単位である複数のタイルに分割する。なお、復号化回路２１による各タイルの復号化処理は、実際には、各タイルを構成する複数の処理ブロックの単位で細分化して行われる。例えば、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）では、各タイルを構成する複数のＣＴＢ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｂｌｏｃｋ）の単位で復号化処理が行われる。また、ＶＰ９では、各タイルを構成する複数のＳｕｐｅｒｂｌｏｃｋの単位で復号化処理が行われる。なお、当然ながら、ＣＴＢやＳｕｐｅｒｂｌｏｃｋの単位で復号化処理が行われる場合に限られず、それ以外でも、各タイルを構成する複数の処理ブロック単位で復号化処理が行われることができる。
可変長復号化部２１２は、タイル分割部２１１から一つずつ順番に出力されるタイル（以下、復号化対象タイルと称す）に対して可変長の復号化を行うことにより、量子化されたＤＣＴ係数を出力する。
逆量子化部２１３は、量子化されたＤＣＴ係数に対して逆量子化を行う。逆直交変換部２１４は、逆量子化部２１３によって逆量子化されたＤＣＴ係数に対して逆ＤＣＴを施すことによって、差分復号タイルを出力する。
加算器２１５は、差分復号タイルと、動き予測部２１７から出力された対応する予測タイルと、を加算する。フィルタ２１６は、加算器２１５の出力結果に対してフィルタ処理を施すことによって、復号化されたタイル（復号化タイル）を出力する。例えば、フィルタ２１６は、タイル境界の凹凸を滑らかにするフィルタ処理を行う。
ここで、復号化回路２１は、復号化対象の符号化ストリームＢＳｏｕｔを構成する複数の復号化対象タイルのそれぞれに対して同様の処理を行うことによって、複数の復号化タイルからなる画像ＤＶｏｕｔを出力する。
判定回路２２は、タイル分割部２１１による分割情報、及び、圧縮処理回路２３による圧縮情報に基づいて、画像ＤＶｏｕｔの圧縮単位である各画像ブロックに、タイル境界Ｘ１が含まれるか否かを判定する。なお、タイル分割部２１１による分割情報には、例えば、各タイルの位置及びサイズの情報が含まれる。また、圧縮処理回路２３による圧縮情報には、例えば、各画像ブロックの位置及びサイズの情報が含まれる。なお、各画像ブロックの位置及びサイズは、メモリ２７の格納先アドレスから取得することもできる。
圧縮処理回路２３は、画像ＤＶｏｕｔの圧縮単位である各画像ブロックに対して、判定回路２２による判定結果に応じた圧縮処理を行う。例えば、判定回路２２によって圧縮処理対象の画像ブロックにタイル境界Ｘ１が含まれていないと判定された場合、圧縮処理回路２３は、当該画像ブロックを圧縮する。それに対し、判定回路２２によって圧縮処理対象の画像ブロックにタイル境界Ｘ１が含まれていると判定された場合、圧縮処理回路２３は、当該画像ブロックを圧縮しない。圧縮処理回路２３によって圧縮処理（圧縮処理しない処理を含む）された画像ブロックは、バス２５を介して、メモリ２７に書き込まれる。メモリ２７に書き込まれた画像ブロックは、復号化回路２１に設けられた動き予測部２１７による画像間予測（フレーム間予測）に用いられる。
伸張処理回路２４は、メモリ２７からバス２６を介して読み出された複数の画像ブロックのうち、圧縮処理回路２３によって圧縮された画像ブロックに対して伸張処理を行う。そして、伸張処理回路２４は、これら複数の画像ブロックを結合させることによって画像ＤＶｏｕｔを再生する。
復号化回路２１において、動き予測部２１７は、復号化対象タイルと、画像ＤＶｏｕｔのうち復号化対象タイルに対応する領域のタイル（参照タイル）と、を比較することによってタイル間の画像の動きを予測し、予測された画像の動きを補償するタイルを予測タイルとして出力する。この予測タイルは、既に説明したように、加算器２１５に供給される。
このように、本実施の形態にかかる画像処理装置２及びそれを備えた画像処理システムＳＹＳ２は、タイル境界Ｘ１が含まれる画像ブロックについては圧縮を行わないため、タイル境界Ｘ１を挟んで形成された２つのタイルの一方のタイルの復号化完了後、他方のタイルの復号化が完了するまで、の間に、一方のタイルの復号化結果を保持するための保持回路を備える必要がない。また、本実施の形態にかかる画像処理装置２及びそれを備えた画像処理システムＳＹＳ２は、タイル境界Ｘ１が含まれない画像ブロックについては圧縮を行うため、画像処理装置２とメモリ２７との間のバスの帯域の消費を抑制することができ、その結果、効率よく画像処理を行うことができる。即ち、本実施の形態にかかる画像処理装置２及びそれを備えた画像処理システムＳＹＳ２は、回路規模を増大させることなく、効率よく画像処理を行うことができる。
なお、本実施の形態４にかかる画像処理装置２による判定処理及び圧縮処理については、上記実施の形態１〜３にかかる画像処理装置１による判定処理及び圧縮処理の場合と同様であるため、その説明を省略する。
以上のように、上記実施の形態１〜４にかかる画像処理装置及びそれを備えた画像処理システムは、タイル境界Ｘ１が含まれる画像ブロックについては圧縮を行わないため、タイル境界Ｘ１を挟んで形成された２つのタイルの一方のタイルの画像処理後、他方のタイルの画像処理が完了するまで、の間に、一方のタイルの画像処理結果を保持するための保持回路を備える必要がない。また、上記実施の形態１〜４にかかる画像処理装置及びそれを備えた画像処理システムは、タイル境界Ｘ１が含まれない画像ブロックについては圧縮を行うため、画像処理装置とメモリとの間のバスの帯域の消費を抑制することができ、その結果、効率よく画像処理を行うことができる。即ち、上記実施の形態１〜４にかかる画像処理装置及びそれを備えた画像処理システムは、回路規模を増大させることなく、効率よく画像処理を行うことができる。
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。
１ 画像処理装置
２ 画像処理装置
１１ 符号化回路
１２ 判定回路
１３ 圧縮処理回路
１４ 伸張処理回路
１５ バス
１６ バス
１７ メモリ
２１ 復号化回路
２２ 判定回路
２３ 圧縮処理回路
２４ 伸張処理回路
２５ バス
２６ バス
２７ メモリ
１１１ タイル分割部
１１２ 減算器
１１３ 直交変換部
１１４ 量子化部
１１５ 可変長符号化部
１１６ 逆量子化部
１１７ 逆直交変換部
１１８ 加算器
１１９ フィルタ
１２０ 動き予測部
２１１ タイル分割部
２１２ 可変長復号化部
２１３ 逆量子化部
２１４ 逆直交変換部
２１５ 加算器
２１６ フィルタ
２１７ 動き予測部
ＳＹＳ１ 画像処理システム
ＳＹＳ２ 画像処理システム
Ｔ１，Ｔ２ タイル
Ｘ１ タイル境界

Claims (17)

  1. 複数のタイルに分割された対象画像を当該タイル毎に画像処理する画像処理回路と、
    前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定回路と、
    前記画像処理回路によって画像処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行う圧縮処理回路と、
    を備えた、半導体装置。
  2. 前記圧縮処理回路は、前記判定回路によって圧縮処理対象の前記画像ブロックの領域に前記タイル境界が含まれると判定された場合、前記画像処理回路によって画像処理された前記圧縮処理対象の画像ブロックを圧縮しないように構成されている、
    請求項１に記載の半導体装置。
  3. 前記圧縮処理回路は、前記判定回路によって圧縮処理対象の前記画像ブロックの領域に前記タイル境界が含まれないと判定された場合、前記画像処理回路によって画像処理された前記圧縮処理対象の画像ブロックを圧縮するように構成されている、
    請求項１に記載の半導体装置。
  4. 前記画像処理回路は、前記対象画像を前記タイル毎に符号化して符号化ストリームを生成するとともに、前記符号化ストリームに対応する局所復号画像を生成する、符号化回路であって、
    前記圧縮処理回路は、前記符号化回路によって符号化処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行うように構成されている、
    請求項１に記載の半導体装置。
  5. 前記画像処理回路は、前記対象画像を前記タイル毎に復号化して復号化画像を生成する復号化回路であって、
    前記圧縮処理回路は、前記復号化回路によって復号化処理された前記画像ブロックに対して、前記判定回路による判定結果に応じた圧縮処理を行うように構成されている、
    請求項１に記載の半導体装置。
  6. 前記判定回路によって圧縮処理対象の前記画像ブロックの領域に前記タイル境界が含まれると判定された場合、
    前記画像処理回路は、前記圧縮処理対象の画像ブロックのうち前記タイル境界によって分割された一方の領域の画像に対して画像処理を行った後に、他方の領域の画像に対して画像処理を行うように構成され、
    前記圧縮処理回路は、画像処理された前記一方の領域の画像を圧縮せずにメモリに書き込んだ後、画像処理された前記他方の領域の画像を圧縮せずに前記メモリに書き込むように構成されている、
    請求項１に記載の半導体装置。
  7. 前記圧縮処理回路は、画像処理された前記一方の領域の画像に加えて前記他方の領域の画像に代わるダミー画像を前記メモリに書き込んだ後、画像処理された前記他方の領域の画像を、圧縮せずに、前記メモリの前記ダミー画像が書き込まれた記憶領域に上書きするように構成されている、
    請求項６に記載の半導体装置。
  8. 前記画像処理回路は、さらに、前記一方の領域の画像と前記他方の領域の画像との境界領域に対してフィルタ処理を行うように構成され、
    前記圧縮処理回路は、画像処理された前記一方の領域の画像を圧縮せずにメモリに書き込んだ後、前記フィルタ処理の結果のうち前記一方の領域の画像に対するフィルタ処理の結果を圧縮せずに前記メモリの対応する記憶領域に上書きし、かつ、画像処理されかつフィルタ処理された前記他方の領域の画像を圧縮せずに前記メモリに書き込むように構成されている、
    請求項６に記載の半導体装置。
  9. 前記判定回路によって、隣接する前記画像ブロックである第１画像ブロック及び第２画像ブロックの境界線上に前記タイル境界が存在すると判定された場合、
    前記画像処理回路は、前記第１及び前記第２画像ブロックのそれぞれに対して画像処理を行った後に、前記第１及び前記第２画像ブロックの境界領域に対してフィルタ処理を行うように構成され、
    前記圧縮処理回路は、画像処理された前記第１画像ブロックを圧縮せずにメモリに書き込んだ後、前記第１及び前記第２画像ブロックの境界領域に対するフィルタ処理結果のうち、前記第１画像ブロックの領域に対するフィルタ処理結果を圧縮せずに前記メモリの対応する記憶領域に上書し、かつ、画像処理されかつフィルタ処理された前記第２画像ブロックを圧縮して前記メモリに書き込むように構成されている、
    請求項１に記載の半導体装置。
  10. 前記画像処理回路は、前記画像ブロックのうち前記タイル境界によって分割された一方の領域の画像に対して画像処理を行った後に、他方の領域の画像に対して画像処理を行うように構成され、
    前記圧縮処理回路は、前記画像処理回路によって前記タイル境界における画像のフィルタ処理が行われない場合、前記判定回路による判定結果に関わらず、画像処理された前記一方の領域の画像と、前記他方の領域の画像に代わる第１ダミー画像と、からなる圧縮単位の第１分割画像ブロックを圧縮してメモリに書き込んだ後、画像処理された前記他方の領域の画像と、前記一方の領域の画像に代わる第２ダミー画像と、からなる圧縮単位の第２分割画像ブロックを圧縮して前記メモリに書き込むように構成されている、
    請求項１に記載の半導体装置。
  11. 前記メモリから読み出された圧縮後の前記第１及び前記第２分割画像ブロックをそれぞれ伸張した後、伸張された前記一方の領域の画像及び伸張された前記他方の領域の画像を結合させることによって前記画像ブロックを再生する伸張処理回路をさらに備えた、
    請求項１０に記載の半導体装置。
  12. バスと、
    前記バスに接続された請求項１に記載の半導体装置と、
    前記半導体装置の出力結果が前記バスを介して書き込まれるメモリと、
    を備えた半導体システム。
  13. 複数のタイルによって分割された対象画像を当該タイル毎に画像処理し、
    前記対象画像の圧縮単位である画像ブロックの領域に、タイル境界が含まれるか否かを判定する判定処理を行い、
    画像処理された前記画像ブロックに対して、判定結果に応じた圧縮処理を行う、
    半導体装置による処理方法。
  14. 前記圧縮処理では、前記判定処理において圧縮処理対象の前記画像ブロックの領域に前記タイル境界が含まれると判定された場合、画像処理された前記圧縮処理対象の画像ブロックを圧縮しない、
    請求項１３に記載の半導体装置による処理方法。
  15. 前記圧縮処理では、前記判定処理において圧縮処理対象の前記画像ブロックの領域に前記タイル境界が含まれないと判定された場合、画像処理された前記圧縮処理対象の画像ブロックを圧縮する、
    請求項１３に記載の半導体装置による処理方法。
  16. 前記画像処理では、前記対象画像を前記タイル毎に符号化して符号化ストリームを生成するとともに、前記符号化ストリームに対応する局所復号画像を生成し、
    前記圧縮処理では、符号化処理された前記画像ブロックに対して、前記判定結果に応じた圧縮処理を行う、
    請求項１３に記載の半導体装置による処理方法。
  17. 前記画像処理では、前記対象画像を前記タイル毎に復号化して復号化画像を生成し、
    前記圧縮処理では、復号化処理された前記画像ブロックに対して、前記判定結果に応じた圧縮処理を行う、
    請求項１３に記載の半導体装置による処理方法。
JP2018108454A 2018-06-06 2018-06-06 半導体装置及び半導体装置による処理方法 Active JP7082529B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018108454A JP7082529B2 (ja) 2018-06-06 2018-06-06 半導体装置及び半導体装置による処理方法
US16/409,502 US10977834B2 (en) 2018-06-06 2019-05-10 Semiconductor device and method for image processing and image compression using the semiconductor device
EP19176102.2A EP3579112B1 (en) 2018-06-06 2019-05-23 Semiconductor device and processing method using the semiconductor device
CN201910451663.8A CN110572663B (zh) 2018-06-06 2019-05-28 半导体器件和使用半导体器件的处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018108454A JP7082529B2 (ja) 2018-06-06 2018-06-06 半導体装置及び半導体装置による処理方法

Publications (2)

Publication Number Publication Date
JP2019212089A true JP2019212089A (ja) 2019-12-12
JP7082529B2 JP7082529B2 (ja) 2022-06-08

Family

ID=66647066

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018108454A Active JP7082529B2 (ja) 2018-06-06 2018-06-06 半導体装置及び半導体装置による処理方法

Country Status (4)

Country Link
US (1) US10977834B2 (ja)
EP (1) EP3579112B1 (ja)
JP (1) JP7082529B2 (ja)
CN (1) CN110572663B (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010098352A (ja) * 2008-10-14 2010-04-30 Panasonic Corp 画像情報符号化装置
JP2010226672A (ja) * 2009-03-25 2010-10-07 Nippon Hoso Kyokai <Nhk> 画像分割装置、分割画像符号化装置及びプログラム
JP2012044240A (ja) * 2010-08-12 2012-03-01 Fujitsu Ltd 動画像符号化装置
WO2013111593A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
US20130208808A1 (en) * 2012-02-08 2013-08-15 Panasonic Corporation Image coding method and image decoding method

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3948619B2 (ja) * 2003-03-31 2007-07-25 株式会社リコー 画像圧縮装置、画像圧縮方法、プログラム及び記録媒体
JP4703759B2 (ja) * 2009-11-27 2011-06-15 株式会社東芝 画像処理装置および同装置における画像処理方法
US8588536B2 (en) * 2010-02-22 2013-11-19 Texas Instruments Incorporated Guaranteed-rate tiled image data compression
WO2012046435A1 (ja) * 2010-10-04 2012-04-12 パナソニック株式会社 画像処理装置、画像符号化方法および画像処理方法
CN106658014B (zh) * 2011-06-30 2021-01-08 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
US9407920B2 (en) * 2013-01-22 2016-08-02 Vixs Systems, Inc. Video processor with reduced memory bandwidth and methods for use therewith
US20160092112A1 (en) * 2014-09-25 2016-03-31 Intel Corporation Instruction and logic for hardware compression with tiled data structures of dissimilar dimensions
JP6605323B2 (ja) 2015-12-24 2019-11-13 ルネサスエレクトロニクス株式会社 半導体装置、データ処理システム及び半導体装置の制御方法
CN105578190B (zh) * 2016-02-03 2018-05-04 珠海全志科技股份有限公司 应用于视频硬解码的无损压缩方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010098352A (ja) * 2008-10-14 2010-04-30 Panasonic Corp 画像情報符号化装置
JP2010226672A (ja) * 2009-03-25 2010-10-07 Nippon Hoso Kyokai <Nhk> 画像分割装置、分割画像符号化装置及びプログラム
JP2012044240A (ja) * 2010-08-12 2012-03-01 Fujitsu Ltd 動画像符号化装置
WO2013111593A1 (ja) * 2012-01-27 2013-08-01 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
US20130208808A1 (en) * 2012-02-08 2013-08-15 Panasonic Corporation Image coding method and image decoding method

Also Published As

Publication number Publication date
CN110572663B (zh) 2022-09-13
US10977834B2 (en) 2021-04-13
US20190378306A1 (en) 2019-12-12
EP3579112A3 (en) 2019-12-18
JP7082529B2 (ja) 2022-06-08
EP3579112B1 (en) 2022-07-06
CN110572663A (zh) 2019-12-13
EP3579112A2 (en) 2019-12-11

Similar Documents

Publication Publication Date Title
US8472083B2 (en) Intra prediction apparatus and intra prediction method using first blocks obtained by dividing a picture and second blocks obtained by dividing the first block
JP2008529412A (ja) 中間ループフィルタデータを格納するスクラッチパッド
US8675979B2 (en) Transcoder, method of transcoding, and digital recorder
TW201941608A (zh) 影像處理設備、濾波方法、非暫態電腦可讀取記錄媒體以及影像裝置
JP2006217180A (ja) 画像処理装置及び方法
JP2006311526A (ja) 画像復号装置、画像復号方法、画像復号プログラム、画像復号集積回路
JPWO2008136164A1 (ja) 復号化回路、復号化方法及び画像再生装置
JPH10224790A (ja) 圧縮伸張された画像中のブロック状ノイズを除去するフィルタおよびフィルタ方法
JP7082529B2 (ja) 半導体装置及び半導体装置による処理方法
JPWO2012160626A1 (ja) 画像圧縮装置、画像復元装置、及びプログラム
TWI510060B (zh) Dynamic image predictive coding method, dynamic image predictive coding device, dynamic image predictive coding program, dynamic image prediction decoding method, dynamic image prediction decoding device and dynamic image prediction decoding program
EP2320662A1 (en) Compressed image noise removal device and reproduction device
JP7359653B2 (ja) 動画像符号化装置
JP7020782B2 (ja) 再生装置及びその制御方法
TWI853577B (zh) 圖像編碼裝置、圖像解碼裝置、圖像編碼方法、圖像解碼方法
WO2012120910A1 (ja) 動画像符号化装置および動画像符号化方法
US9191678B2 (en) Apparatus and method of restoring image
US9723326B2 (en) Image encoding method and image encoding appartaus
US10015506B2 (en) Frequency reduction and restoration system and method in video and image compression
CN110612725B (zh) 处理设备及其控制方法
JP2005312054A (ja) 補完映像を生成してデブロッキング処理に用いる映像圧縮装置及び方法
JP2018056957A (ja) 符号化装置、復号装置、符号化方法、及び、復号方法
JP2002271799A (ja) 動画像処理装置、動画像処理方法、及び動画像処理プログラム
JP2021153240A (ja) 動画像符号化システムおよび動画像符号化方法
JP2024527952A (ja) 映像に対するａｉ基盤フィルタリングのための装置及びその方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220517

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220527

R150 Certificate of patent or registration of utility model

Ref document number: 7082529

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150