JP2014060543A - エンコード装置、デコード装置およびスイッチャ装置 - Google Patents
エンコード装置、デコード装置およびスイッチャ装置 Download PDFInfo
- Publication number
- JP2014060543A JP2014060543A JP2012203602A JP2012203602A JP2014060543A JP 2014060543 A JP2014060543 A JP 2014060543A JP 2012203602 A JP2012203602 A JP 2012203602A JP 2012203602 A JP2012203602 A JP 2012203602A JP 2014060543 A JP2014060543 A JP 2014060543A
- Authority
- JP
- Japan
- Prior art keywords
- frequency
- signal processing
- unit
- component
- frequency component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/20—Contour coding, e.g. using detection of edges
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
- H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】信号処理用のハードウェアの規模縮小、省電力化を図る。
【解決手段】エンコード装置は、画像データから局所的な画像処理の対象となる境界成分を抽出する抽出部と、境界成分を抽出した残りの画像データを第１の低周波成分と第１の高周波成分に周波数分解する第１の周波数分解部と、第１の低周波成分について信号処理を行う低周波信号処理部と、第１の高周波成分について信号処理を行う高周波信号処理部と、抽出された境界成分について信号処理を行う境界成分信号処理部と、信号処理された境界成分を第２の低周波成分と第２の高周波成分に周波数分解する第２の周波数分解部と、信号処理された第１の高周波成分ならびに周波数分解された第２の低周波成分および第２の高周波成分をそれぞれエントロピー符号化する符号化部と、第１の低周波成分と、符号化された第２の低周波成分ならびに第１および第２の高周波成分とを伝送する伝送部とを具備する。
【選択図】図１
【解決手段】エンコード装置は、画像データから局所的な画像処理の対象となる境界成分を抽出する抽出部と、境界成分を抽出した残りの画像データを第１の低周波成分と第１の高周波成分に周波数分解する第１の周波数分解部と、第１の低周波成分について信号処理を行う低周波信号処理部と、第１の高周波成分について信号処理を行う高周波信号処理部と、抽出された境界成分について信号処理を行う境界成分信号処理部と、信号処理された境界成分を第２の低周波成分と第２の高周波成分に周波数分解する第２の周波数分解部と、信号処理された第１の高周波成分ならびに周波数分解された第２の低周波成分および第２の高周波成分をそれぞれエントロピー符号化する符号化部と、第１の低周波成分と、符号化された第２の低周波成分ならびに第１および第２の高周波成分とを伝送する伝送部とを具備する。
【選択図】図１
Description
本技術は、高解像度の画像データの伝送に好適なエンコード装置、デコード装置およびスイッチャ装置に関する。
近年、テレビ放送は高解像度化が進み、４Ｋハイビジョンや８Ｋスーパーハイビジョンなどの高解像度の画像が扱われるようになってきている。
４Ｋハイビジョンや８Ｋスーパーハイビジョンの伝送については圧縮ベースである。一方、４Ｋハイビジョンや８Ｋスーパーハイビジョンの画像処理については依然としてベースバンド（非圧縮）処理が実施されている。
４Ｋハイビジョンや８Ｋスーパーハイビジョンの伝送については圧縮ベースである。一方、４Ｋハイビジョンや８Ｋスーパーハイビジョンの画像処理については依然としてベースバンド（非圧縮）処理が実施されている。
例えば、特許文献１には、ＪＰＥＧ−２０００符号化信号をＥＢＣＯＴ復号した段階で２つの画像を合成して符号化することができる画像合成装置に関する技術が開示されている。この特許文献１の画像合成装置は、ＪＰＥＧ−２０００規格に従って符号化された符号化コードストリームを復号してコードブロック毎の量子化係数を生成する。クロスフェード部において、加算器では量子化係数に対してそれぞれ係数α（ｔ）、（１−α（ｔ））が乗算され、これらが加算器で加算されてクロスフェード量子化係数となる。そしてこのクロスフェード量子化係数が符号化され、最終的な符号化コードストリームが出力される。この特許文献１の画像合成装置によれば、少ないメモリ使用量で容易且つ効果的に２つの符号化コードストリームが合成される、という効果が謳われている。
４Ｋハイビジョンや８Ｋスーパーハイビジョンなどの高解像度の画像のデータ量は膨大になる。エンコード装置および画像処理装置（スイッチャ装置等）又はデコード装置において、この高解像度の画像に画像処理として一般的な信号処理を行うと、信号処理のためのトータルの演算量も膨大となる。昨今、ＣＰＵなどの演算処理装置の高速化は目覚しいとは言え、より大規模なＬＳＩ（Large Scale Integration）等が必要になり、求められるハードウェア資源の大規模化や消費電力の増加は避けられなかった。
以上のような事情に鑑み、本技術の目的は、信号処理用のハードウェア資源の規模縮小を図ることのできるエンコード装置、デコード装置およびスイッチャ装を提供することにある。
上記の課題を解決するために、本技術の一形態であるエンコード装置は、画像データから局所的な画像処理の対象となる境界成分を抽出する抽出部と、前記境界成分を抽出した残りの画像データを第１の低周波成分と第１の高周波成分に周波数分解する第１の周波数分解部と、前記周波数分解された第１の低周波成分について信号処理を行う低周波信号処理部と、前記周波数分解された第１の高周波成分について信号処理を行う高周波信号処理部と、前記抽出された境界成分について信号処理を行う境界成分信号処理部と、前記信号処理された境界成分を第２の低周波成分と第２の高周波成分に周波数分解する第２の周波数分解部と、前記信号処理された第１の高周波成分ならびに前記周波数分解された第２の低周波成分および第２の高周波成分をそれぞれエントロピー符号化する符号化部と、前記第１の低周波成分と、前記符号化された第２の低周波成分ならびに第１および第２の高周波成分とを伝送する伝送部とを具備する。
上記のエンコード装置は、前記境界成分抽出前の画像データに対して前記低周波信号処理部、前記高周波信号処理部、および前記境界成分信号処理部で行われる信号処理以外の信号処理を行う前段信号処理部をさらに具備するものであってよい。
本技術の他の形態であるデコード装置は、画像データから局所的な画像処理の対象となる境界成分を抽出する抽出部と、前記境界成分を抽出した残りの画像データを第１の低周波成分と第１の高周波成分に周波数分解する第１の周波数分解部と、前記周波数分解された第１の低周波成分について信号処理を行う低周波信号処理部と、前記周波数分解された第１の高周波成分について信号処理を行う高周波信号処理部と、前記抽出された境界成分について信号処理を行う境界成分信号処理部と、前記信号処理された境界成分を第２の低周波成分と第２の高周波成分に周波数分解する第２の周波数分解部と、前記信号処理された第１の高周波成分ならびに前記周波数分解された第２の低周波成分および第２の高周波成分をそれぞれエントロピー符号化する符号化部と、前記第１の低周波成分と、前記符号化された第２の低周波成分ならびに第１および第２の高周波成分とを伝送する伝送部とを具備するエンコード装置より伝送された画像データを入力する入力部と、前記入力された画像データから第１および第２の低周波成分を分離して第１の解像度の画像データを生成する分離部と、前記入力された画像データをエントロピー逆符号化するエントロピー逆符号化部と、前記エントロピー逆符号化された画像データを周波数逆分解して第１の解像度より大きい第２の解像度の画像データを生成する周波数逆変換部とを具備する。
本技術の他の形態であるスイッチャ装置は、画像データから局所的な画像処理の対象となる境界成分を抽出する抽出部と、前記境界成分を抽出した残りの画像データを第１の低周波成分と第１の高周波成分に周波数分解する第１の周波数分解部と、前記周波数分解された第１の低周波成分について信号処理を行う低周波信号処理部と、前記周波数分解された第１の高周波成分について信号処理を行う高周波信号処理部と、前記抽出された境界成分について信号処理を行う境界成分信号処理部と、前記信号処理された境界成分を第２の低周波成分と第２の高周波成分に周波数分解する第２の周波数分解部と、前記信号処理された第１の高周波成分ならびに前記周波数分解された第２の低周波成分および第２の高周波成分をそれぞれエントロピー符号化する第１の符号化部と、前記第１の低周波成分と、前記符号化された第２の低周波成分ならびに第１および第２の高周波成分とを伝送する第１の伝送部とをそれぞれ具備する複数のエンコード装置より伝送される複数の画像データを入力する入力部と、前記入力された複数の画像データの中から１以上の画像データを選択するセレクト部と、前記選択された１以上の画像データについてそれぞれエントロピー逆符号化を行う１以上のエントロピー逆符号化部と、前記エントロピー逆符号化された１以上の画像データに対してそれぞれ信号処理を行う１以上の信号処理部と、前記信号処理された１以上の画像データをエントロピー符号化する第２の符号化部と、前記エントロピー符号化された画像データを伝送する第２の伝送部とを具備する。
以上のように、本技術によれば、信号処理用のハードウェアの規模縮小、省電力化を図ることができる。
以下、本技術に係る第１の実施形態を、図面を参照しながら説明する。
＜第１の実施形態＞
本実施形態は、高解像度の画像データの信号処理に好適なエンコード装置およびデコード装置に関するものである。
＜第１の実施形態＞
本実施形態は、高解像度の画像データの信号処理に好適なエンコード装置およびデコード装置に関するものである。
［エンコード装置の構成］
図１は、本技術に係る第１の実施形態のエンコード装置１００の構成を示すブロック図である。
このエンコード装置１００は、画像入力部１０１、前段信号処理部１０２、境界成分抽出部１１０（抽出部）、第１の周波数分解部１０３、低周波信号処理部１０４、高周波信号処理部１０５、境界成分信号処理部１１１、第２の周波数分解部１０７、符号化部１０８、伝送／保存部１０９（伝送部）を備える。
図１は、本技術に係る第１の実施形態のエンコード装置１００の構成を示すブロック図である。
このエンコード装置１００は、画像入力部１０１、前段信号処理部１０２、境界成分抽出部１１０（抽出部）、第１の周波数分解部１０３、低周波信号処理部１０４、高周波信号処理部１０５、境界成分信号処理部１１１、第２の周波数分解部１０７、符号化部１０８、伝送／保存部１０９（伝送部）を備える。
画像入力部１０１は、図示しない高速度カメラなどの撮像装置より供給された高解像度の画像データを入力し、前段信号処理部１０２に供給する。
前段信号処理部１０２は、傷補正処理、収差補正処理、画像反転処理、水平垂直移動処理など、周波数分解された信号の状態では画像処理の実施が困難なアルゴリズムについて、周波数分解処理の前段で、ベースバンドでの信号処理を行う。
境界成分抽出部１１０は、忠実に処理したい画素を判定し、境界成分として分離抽出し、境界成分信号処理部１１１に供給する。残りの成分は第１の周波数分解部１０３に供給される。
第１の周波数分解部１０３は、境界成分抽出部１１０より供給された高解像度の画像データをウェーブレット変換などの周波数分解アルゴリズムにより低周波成分と高周波成分に分解する。第１の周波数分解部１０３は、高解像度の画像データに対する周波数分解により得られた低周波成分を低周波信号処理部１０４に供給する。また、第１の周波数分解部１０３は、高解像度の画像データに対する周波数分解により得られた高周波成分を高周波信号処理部１０５に供給する。
低周波信号処理部１０４は、高解像度の画像データに対する第１の周波数分解部１０３による周波数分解により得られた低周波成分に対して予めユーザにより指定された信号処理を行う。信号処理の種類については後で説明する。
高周波信号処理部１０５は、高解像度の画像データに対する第１の周波数分解部１０３による周波数分解により得られた高周波成分に対して予めユーザにより指定された信号処理を簡易的に行う。信号処理の種類については後で説明する。
境界成分信号処理部１１１は、高解像度の画像データから境界成分抽出部１１０により抽出された境界成分に対して予めユーザにより指定された信号処理を行う。
第２の周波数分解部１０７は、境界成分信号処理部１１１より供給されたデータをウェーブレット変換などの周波数分解アルゴリズムにより低周波成分と高周波成分に分解する。
符号化部１０８（圧縮符号化部）は、低周波信号処理部１０４、高周波信号処理部１０５、および第２の周波数分解部１０７より供給された、信号処理後の低周波成分と高周波成分をエントロピー符号化によって圧縮符号化する。エントロピー符号化の方式としては、可変長符号、固定長符号などがある。
伝送／保存部１０９は、符号化部１０８により符号化された圧縮データを伝送又は所定の記憶装置に保存する。
［エンコード装置１００の動作］
次に、このエンコード装置１００の動作を説明する。
図２はエンコード装置１００の動作を示すフローチャートである。
まず、エンコード装置１００内のレジスタおよびメモリの初期化処理が行われる。初期化が完了すると、画像入力部１０１は、高速度カメラなどの撮像装置より供給された高解像度の画像データを入力する（ステップＳ３０１）。
次に、このエンコード装置１００の動作を説明する。
図２はエンコード装置１００の動作を示すフローチャートである。
まず、エンコード装置１００内のレジスタおよびメモリの初期化処理が行われる。初期化が完了すると、画像入力部１０１は、高速度カメラなどの撮像装置より供給された高解像度の画像データを入力する（ステップＳ３０１）。
前段信号処理部１０２は、傷補正処理、収差補正処理、画像反転処理、水平垂直移動処理など、周波数分解された状態では信号処理（画像処理）の実施が困難なアルゴリズムについて、ベースバンドでの信号処理を行う（ステップＳ３０２）。
境界成分抽出部１１０は、忠実に処理したい画素、すなわち境界成分であるか否かの判定を行う（ステップＳ３０３）。この判定により、局所的に画像処理したい個所が境界成分として抽出される。
処理する画素が境界成分である場合（ステップＳ３０３／Ｙｅｓ）、境界成分信号処理部１１１が、境界成分に対して予めユーザにより指定された信号処理を行う（ステップＳ３０４）。
第２の周波数分解部１０７は、境界成分信号処理部１１１より供給された高解像度の画像データをウェーブレット変換などの周波数分解アルゴリズムにより低周波成分と高周波成分に分解する（ステップＳ３０５）。第２の周波数分解部１０７は、高解像度の画像データに対する周波数分解によって得た低周波成分および高周波数成分を符号化部１０８に供給する。
ステップＳ３０３において、処理する画素が境界成分ではない場合（ステップＳ３０３／Ｎｏ）、第１の周波数分解部１０３は、境界成分抽出部１１０より供給された高解像度の画像データをウェーブレット変換などの周波数分解アルゴリズムにより低周波成分と高周波成分に分解する（ステップＳ３０７）。第１の周波数分解部１０３は、高解像度の画像データに対する周波数分解によって得た低周波成分を低周波信号処理部１０４に供給する。また、第１の周波数分解部１０３は、高解像度の画像データに対する周波数分解によって得た高周波成分を高周波信号処理部１０５に供給する。
低周波信号処理部１０４は、画像データの低周波成分に対して予めユーザにより指定された信号処理を行う（ステップＳ３０９）。信号処理された結果は符号化しないので、直接、伝送／保存部１０９に供給される。ここで実施される信号処理には、画像に対して一様に施される処理、例えば、ホワイトバランス調整、ブラックバランス調整、フレア調整、サチュレーション調整、マトリクス調整、ガンマ調整、ニー調整、ホワイトクリップ調整などが挙げられる。
高周波信号処理部１０５は、高周波成分に対して予めユーザにより指定された信号処理を簡易的な方法により行い（ステップＳ３０８）、その結果を符号化部１０８に供給する。
ここで、簡易的な方法とは、より具体的には次のようなものである。
１．高周波成分に対してそのまま信号処理を行う。
２．信号処理の種類によっては何も処理を行わない。例えば、ホワイトバランス調整などは実際には処理がされない。
１．高周波成分に対してそのまま信号処理を行う。
２．信号処理の種類によっては何も処理を行わない。例えば、ホワイトバランス調整などは実際には処理がされない。
以上のようにして、高周波信号処理部１０５によって信号処理が施された高周波成分、そして境界成分信号処理部１１１によって信号処理が施され第２の周波数分解部１０７によって分解された低周波成分および高周波成分は符号化部１０８にてそれぞれエントロピー符号化され（ステップＳ３０６）、伝送／保存部１０９によって伝送もしくは所定の記憶装置に保存される（ステップＳ３１０）。
以上の動作は、高速度カメラなどの撮像装置より画像データが供給される間繰り返される（ステップＳ３１１）。
なお、第１の周波数分解部１０３、第２の周波数分解部１０７による周波数分解は１回もしくは複数回行われてもよい。例えば、２回の周波数分解が行われる場合、原画像データが８Ｋのスーパーハイビジョン映像である場合には、１回目の周波数分解により、４Ｋサイズの低周波数成分（第１階層目の低周波成分）が得られる。さらに２回目の周波数分解により、この４Ｋサイズの低周波数成分からＨＤサイズの最低周波数成分（第２階層目の低周波成分）が得られる。低周波信号処理部１０４で処理される低周波成分は第１階層目の低周波成分および第２階層目の低周波成分のどちらであってもよく、設定により選択可能である。
［デコード装置３００の構成］
次に、上記の実施形態のエンコード装置１００と組み合わせて用いられるデコード装置３００について説明する。
図３は本実施形態におけるデコード装置３００の構成を示すブロック図である。図４はデコード装置３００の動作を示すフローチャートである。
次に、上記の実施形態のエンコード装置１００と組み合わせて用いられるデコード装置３００について説明する。
図３は本実施形態におけるデコード装置３００の構成を示すブロック図である。図４はデコード装置３００の動作を示すフローチャートである。
このデコード装置３００は、入力部４０１、データ分離部４０２（分離部）、第１の逆符号化部４０３（エントロピー逆符号化部）、第１の周波数逆分解部４０４（周波数逆変換部）、第２の逆符号化部４０５、第２の周波数逆分解部４０６、第１の伝送／保存部４０７、第２の伝送／保存部４０８、第３の伝送／保存部４０９を備える。
入力部４０１は、エンコード装置１００にて符号化された画像データを入力し（ステップＳ１４０１）、データ分離部４０２に供給する。なお、ここで、入力される符号化された画像データは、２階層の周波数分解が施された８Ｋのスーパーハイビジョン映像である場合を想定する。
データ分離部４０２は、ＨＤモニター、４Ｋモニターおよび８Ｋモニターに画像を表示させるために、入力された８Ｋの画像データからＨＤサイズの最低周波数成分（第２階層目の低周波成分）を分離してＨＤモニターに関連付けられた第１の伝送／保存部４０７に送るとともに、８Ｋの画像データから４Ｋサイズの低周波数成分（第１階層目の低周波成分）を分離して第１の逆符号化部４０３に供給し、さらに８Ｋの画像データをそのまま第２の逆符号化部４０５に供給する（ステップＳ１４０２）。
第１の逆符号化部４０３（１階層目逆符号化部）は、データ分離部４０２より供給された４Ｋサイズの低周波数成分（第１階層目の低周波成分）をエントロピー逆符号化して第１の周波数逆分解部４０４に供給する（ステップＳ１４０３）。第１の周波数逆分解部４０４は、第１の逆符号化部４０３より供給された画像データの周波数逆分解によって４Ｋサイズの画像データを生成し（ステップＳ１４０４）、４Ｋモニターに関連付けられた第２の伝送／保存部４０８に供給する（ステップＳ１４０５）。
また、第２の逆符号化部４０５（２階層目逆符号化部）は、データ分離部４０２より供給された８Ｋサイズの画像データをエントロピー逆符号化して第２の周波数逆分解部４０６に供給する（ステップＳ１４０６）。第２の周波数逆分解部４０６は、第２の逆符号化部４０５より供給された画像データの周波数逆分解によって８Ｋサイズの画像データを生成し（ステップＳ１４０７）、８Ｋモニターに関連付けられた第３の伝送／保存部４０９に供給する（ステップＳ１０８）。
以上の動作が、エンコード装置１００より画像符号化データが供給される間繰り返される（ステップＳ１４０９）。
［スイッチャ装置の構成］
次に、画像データを選択する手段として用いられるスイッチャ装置は、例えば上記のエンコード装置１００にて符号化された周波数分解画像などに信号処理を施して後段に伝送する手段を設けたものである。
次に、画像データを選択する手段として用いられるスイッチャ装置は、例えば上記のエンコード装置１００にて符号化された周波数分解画像などに信号処理を施して後段に伝送する手段を設けたものである。
図５は本技術に係るスイッチャ装置２００の構成を示すブロック図である。図６はスイッチャ装置２００の動作のフローチャートである。
このスイッチャ装置２００は、入力部２０１−１〜２０１−４、セレクト部２０２、第１の逆符号化部２０３（エントロピー逆符号化部）、第２の逆符号化部２０４、第１の信号処理部２０５（信号処理部）、第２の信号処理部２０６、圧縮信号処理部２０７（合成処理部）、符号化部２０８（第２の符号化部）、伝送／保存部２０９（第２の伝送部）を備える。
このスイッチャ装置２００は、入力部２０１−１〜２０１−４、セレクト部２０２、第１の逆符号化部２０３（エントロピー逆符号化部）、第２の逆符号化部２０４、第１の信号処理部２０５（信号処理部）、第２の信号処理部２０６、圧縮信号処理部２０７（合成処理部）、符号化部２０８（第２の符号化部）、伝送／保存部２０９（第２の伝送部）を備える。
複数の入力部２０１−１〜２０１−４は、例えば上記のエンコード装置１００が複数存在する場合に、それぞれのエンコード装置１００にて符号化された複数の画像データを取り込み、セレクト部２０２に供給する（ステップＳ７０１）。
セレクト部２０２は、複数の画像データから後段に伝送する画像データを選択する（ステップＳ７０２）。ここでは、４つの画像データの中から２つの画像（ストリームＡ）、画像（ストリームＢ）を選択する場合を想定する。一方の画像（ストリームＡ）は第１の逆符号化部２０３に供給され、他方の画像（ストリームＢ）は第２の逆符号化部２０４に供給される。
第１の逆符号化部２０３は、セレクト部２０２より供給された画像（ストリームＡ）を逆符号化して、第１の信号処理部２０５に供給する。
第２の逆符号化部２０４は、セレクト部２０２より供給された画像（ストリームＢ）を逆符号化して、第２の信号処理部２０６に供給する（ステップＳ７０３）。
第２の逆符号化部２０４は、セレクト部２０２より供給された画像（ストリームＢ）を逆符号化して、第２の信号処理部２０６に供給する（ステップＳ７０３）。
第１の信号処理部２０５は、第１の逆符号化部２０３により逆符号化されることによって得られた低周波成分と高周波成分からなる画像データについて信号処理を行い、その結果を圧縮信号処理部２０７に供給する。ここで、信号処理は低周波成分のみに対して行うようにしてもよいし、低周波成分と高周波成分の両方に対して行うようにしてもよい。
一方、第２の信号処理部２０６においても同様に、第２の逆符号化部２０４により逆符号化されることによって得られた低周波成分と高周波成分からなる画像データについて信号処理が行われ、その結果が圧縮信号処理部２０７に供給される。
なお、第１の信号処理部２０５および第２の信号処理部２０６で行うことが可能な信号処理には、画像に対して一様に施される処理、例えば、ホワイトバランス調整、ブラックバランス調整、フレア調整、サチュレーション調整、マトリクス調整、ガンマ調整、ニー調整、ホワイトクリップ調整などが挙げられる。
圧縮信号処理部２０７は、第１の信号処理部２０５および第２の信号処理部２０６よりそれぞれ供給された２つの画像データについて、まず、境界成分であるか否かを判定する（ステップＳ７０４）。境界成分とは、ＷＩＰＥ処理やキー処理において合成する２つの画像の境界となる部分であり、圧縮信号処理部２０７において、局所的に画像処理したい個所のことである。
境界成分である場合（ステップＳ７０４／Ｙｅｓ）、すなわちＷＩＰＥ処理やキー処理における境界である場合、圧縮信号処理部２０７は、境界成分の抽出を行い、周波数逆分解を行ってから（ステップＳ７０５）、信号処理を行い（ステップＳ７０６）、再度、周波数分解を行う（ステップＳ７０７）。
ステップＳ７０４において、境界成分でない場合（ステップＳ７０４／Ｎｏ）、圧縮信号処理部２０７は、高周波成分および低周波成分それぞれに対し、信号処理を行う（ステップＳ７０８、７０９）。このように、圧縮信号処理部２０７は、画像データの低周波成分、高周波成分、および境界成分に対して、それぞれ画像処理を行う。
圧縮信号処理部２０７における画像処理としては、例えば、ＷＩＰＥ、ＭＩＸ、クロマキー、ＰｉｎＰ、ロゴやテロップ挿入などの画像合成が可能である。
合成された画像の高周波成分および境界成分は、符号化部２０８にてエントロピー符号化され（ステップＳ７１０）、後段の伝送／保存部２０９に供給される（ステップＳ７１１）。合成された画像の低周波成分は、符号化されることなく伝送／保存部２０９に供給される。
（ＭＩＸ処理）
圧縮信号処理部２０７は、２つの画像データそれぞれの低周波成分を任意の割合で混合し、高周波成分については所定の閾値以上の部分のみ任意の割合で混合する。
圧縮信号処理部２０７は、２つの画像データそれぞれの低周波成分を任意の割合で混合し、高周波成分については所定の閾値以上の部分のみ任意の割合で混合する。
（ＷＩＰＥ処理）
ＷＩＰＥとは、元の画面と次の画面を拭き取るように切り替える処理である。
圧縮信号処理部２０７は、２つの画像データそれぞれの低周波成分についてＷＩＰＥ処理を行い、高周波成分については所定の閾値以上の部分のみを対象にＷＩＰＥ処理を行う。この際、圧縮信号処理部２０７は、必要に応じて、２つの画像の分割部分の境界である境界成分のみ周波数逆変換し、低周波成分と同様のＷＩＰＥ処理を行った後、再度、周波数変換を行って周波数分解画像の状態に戻すようにしてもよい。
ＷＩＰＥとは、元の画面と次の画面を拭き取るように切り替える処理である。
圧縮信号処理部２０７は、２つの画像データそれぞれの低周波成分についてＷＩＰＥ処理を行い、高周波成分については所定の閾値以上の部分のみを対象にＷＩＰＥ処理を行う。この際、圧縮信号処理部２０７は、必要に応じて、２つの画像の分割部分の境界である境界成分のみ周波数逆変換し、低周波成分と同様のＷＩＰＥ処理を行った後、再度、周波数変換を行って周波数分解画像の状態に戻すようにしてもよい。
ＰｉｎＰ処理、クロマキー処理、ロゴやテロップ挿入などの処理も、ＷＩＰＥ処理と同様に行われる。
（本実施形態の効果等）
一般的に行われるベースバンド信号に対する信号処理は、４Ｋハイビジョンや８Ｋスーパーハイビジョンなどの高解像度の画像に対して行うとなると、大規模なＤＳＰ（デジタル信号処理装置）などが必要となり、ハードウェア資源の規模の増大、消費電力の増大などを招く。これに対し、本実施形態のデコード装置１００では、一部の信号処理を周波数分解画像の中の例えば低周波数成分に対して行ったり、境界成分に絞って行ったりすることによって、全体的な演算量が低減され、小規模なハードウェア構成を実現可能とし、消費電力の低減も図られる。
一般的に行われるベースバンド信号に対する信号処理は、４Ｋハイビジョンや８Ｋスーパーハイビジョンなどの高解像度の画像に対して行うとなると、大規模なＤＳＰ（デジタル信号処理装置）などが必要となり、ハードウェア資源の規模の増大、消費電力の増大などを招く。これに対し、本実施形態のデコード装置１００では、一部の信号処理を周波数分解画像の中の例えば低周波数成分に対して行ったり、境界成分に絞って行ったりすることによって、全体的な演算量が低減され、小規模なハードウェア構成を実現可能とし、消費電力の低減も図られる。
また、本実施形態によれば、エンコード装置１００、スイッチャ装置２００、デコード装置３００の間での画像の伝送及び保存が周波数分解された圧縮画像の状態で行われる。このため画像の伝送効率の向上を図ることも可能である。
以上、高速度カメラなどにより撮影された高解像度の画像データを処理する方法および装置について説明してきたが、本技術は、その他の映画用カメラ、ビデオカメラにより撮影された画像データなどを処理する装置にも、信号処理用のハードウェアの規模縮小等を図るために適用可能であることは言うまでもない。
１００…エンコード装置
１０１…画像入力部
１０２…前段信号処理部
１０３…第１の周波数分解部
１０４…低周波信号処理部
１０５…高周波信号処理部
１０７…第２の周波数分解部
１０８…符号化部
１０９…伝送／保存部
１１０…境界成分抽出部
１１１…境界成分信号処理部
２００…スイッチャ装置
２０１…２０１−１〜２０１−４
２０２…セレクト部
２０３…第１の逆符号化部
２０４…第２の逆符号化部
２０５…第１の信号処理部
２０６…第２の信号処理部
２０７…圧縮信号処理部
２０８…符号化部
２０９…伝送／保存部
３００…デコード装置
４０１…入力部
４０２…データ分離部
４０３…第１の逆符号化部
４０４…第１の周波数逆分解部
４０５…第２の逆符号化部
４０６…第２の周波数逆分解部
４０７…第１の伝送／保存部
４０８…第２の伝送／保存部
４０９…第３の伝送／保存部
１０１…画像入力部
１０２…前段信号処理部
１０３…第１の周波数分解部
１０４…低周波信号処理部
１０５…高周波信号処理部
１０７…第２の周波数分解部
１０８…符号化部
１０９…伝送／保存部
１１０…境界成分抽出部
１１１…境界成分信号処理部
２００…スイッチャ装置
２０１…２０１−１〜２０１−４
２０２…セレクト部
２０３…第１の逆符号化部
２０４…第２の逆符号化部
２０５…第１の信号処理部
２０６…第２の信号処理部
２０７…圧縮信号処理部
２０８…符号化部
２０９…伝送／保存部
３００…デコード装置
４０１…入力部
４０２…データ分離部
４０３…第１の逆符号化部
４０４…第１の周波数逆分解部
４０５…第２の逆符号化部
４０６…第２の周波数逆分解部
４０７…第１の伝送／保存部
４０８…第２の伝送／保存部
４０９…第３の伝送／保存部
Claims (4)
- 画像データから局所的な画像処理の対象となる境界成分を抽出する抽出部と、
前記境界成分を抽出した残りの画像データを第１の低周波成分と第１の高周波成分に周波数分解する第１の周波数分解部と、
前記周波数分解された第１の低周波成分について信号処理を行う低周波信号処理部と、
前記周波数分解された第１の高周波成分について信号処理を行う高周波信号処理部と、
前記抽出された境界成分について信号処理を行う境界成分信号処理部と、
前記信号処理された境界成分を第２の低周波成分と第２の高周波成分に周波数分解する第２の周波数分解部と、
前記信号処理された第１の高周波成分ならびに前記周波数分解された第２の低周波成分および第２の高周波成分をそれぞれエントロピー符号化する符号化部と、
前記第１の低周波成分と、前記符号化された第２の低周波成分ならびに第１および第２の高周波成分とを伝送する伝送部と
を具備するエンコード装置。 - 請求項１に記載のエンコード装置であって、
前記境界成分抽出前の画像データに対して前記低周波信号処理部、前記高周波信号処理部、および前記境界成分信号処理部で行われる信号処理以外の信号処理を行う前段信号処理部
をさらに具備する
エンコード装置。 - 画像データから局所的な画像処理の対象となる境界成分を抽出する抽出部と、
前記境界成分を抽出した残りの画像データを第１の低周波成分と第１の高周波成分に周波数分解する第１の周波数分解部と、
前記周波数分解された第１の低周波成分について信号処理を行う低周波信号処理部と、
前記周波数分解された第１の高周波成分について信号処理を行う高周波信号処理部と、
前記抽出された境界成分について信号処理を行う境界成分信号処理部と、
前記信号処理された境界成分を第２の低周波成分と第２の高周波成分に周波数分解する第２の周波数分解部と、
前記信号処理された第１の高周波成分ならびに前記周波数分解された第２の低周波成分および第２の高周波成分をそれぞれエントロピー符号化する符号化部と、
前記第１の低周波成分と、前記符号化された第２の低周波成分ならびに第１および第２の高周波成分とを伝送する伝送部とを具備するエンコード装置より伝送された画像データを入力する入力部と、
前記入力された画像データから第１および第２の低周波成分を分離して第１の解像度の画像データを生成する分離部と、
前記入力された画像データをエントロピー逆符号化するエントロピー逆符号化部と、
前記エントロピー逆符号化された画像データを周波数逆分解して第１の解像度より大きい第２の解像度の画像データを生成する周波数逆変換部と
を具備するデコード装置。 - 画像データから局所的な画像処理の対象となる境界成分を抽出する抽出部と、
前記境界成分を抽出した残りの画像データを第１の低周波成分と第１の高周波成分に周波数分解する第１の周波数分解部と、
前記周波数分解された第１の低周波成分について信号処理を行う低周波信号処理部と、
前記周波数分解された第１の高周波成分について信号処理を行う高周波信号処理部と、
前記抽出された境界成分について信号処理を行う境界成分信号処理部と、
前記信号処理された境界成分を第２の低周波成分と第２の高周波成分に周波数分解する第２の周波数分解部と、
前記信号処理された第１の高周波成分ならびに前記周波数分解された第２の低周波成分および第２の高周波成分をそれぞれエントロピー符号化する第１の符号化部と、
前記第１の低周波成分と、前記符号化された第２の低周波成分ならびに第１および第２の高周波成分とを伝送する第１の伝送部とをそれぞれ具備する複数のエンコード装置より伝送される複数の画像データを入力する入力部と、
前記入力された複数の画像データの中から１以上の画像データを選択するセレクト部と、
前記選択された１以上の画像データについてそれぞれエントロピー逆符号化を行う１以上のエントロピー逆符号化部と、
前記エントロピー逆符号化された１以上の画像データに対してそれぞれ信号処理を行う１以上の信号処理部と、
前記信号処理された１以上の画像データをエントロピー符号化する第２の符号化部と、
前記エントロピー符号化された画像データを伝送する第２の伝送部と
を具備するスイッチャ装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012203602A JP2014060543A (ja) | 2012-09-14 | 2012-09-14 | エンコード装置、デコード装置およびスイッチャ装置 |
| US14/016,283 US20140079328A1 (en) | 2012-09-14 | 2013-09-03 | Encoding apparatus, decoding apparatus, and switcher apparatus |
| CN201310403266.6A CN103686174A (zh) | 2012-09-14 | 2013-09-06 | 编码设备、解码设备以及切换器设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2012203602A JP2014060543A (ja) | 2012-09-14 | 2012-09-14 | エンコード装置、デコード装置およびスイッチャ装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2014060543A true JP2014060543A (ja) | 2014-04-03 |
Family
ID=50274542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2012203602A Pending JP2014060543A (ja) | 2012-09-14 | 2012-09-14 | エンコード装置、デコード装置およびスイッチャ装置 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20140079328A1 (ja) |
| JP (1) | JP2014060543A (ja) |
| CN (1) | CN103686174A (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6975004B2 (ja) * | 2017-10-03 | 2021-12-01 | ソニー・オリンパスメディカルソリューションズ株式会社 | 医療用観察装置、および医療用観察システム |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5235420A (en) * | 1991-03-22 | 1993-08-10 | Bell Communications Research, Inc. | Multilayer universal video coder |
| KR100249028B1 (ko) * | 1995-03-20 | 2000-03-15 | 전주범 | 정지영상을 가진 영상신호를 부호화/복호화하기 위한 부호화/복호화시스템 |
| US5870502A (en) * | 1996-04-08 | 1999-02-09 | The Trustees Of Columbia University In The City Of New York | System and method for a multiresolution transform of digital image information |
| US6795577B2 (en) * | 1999-12-03 | 2004-09-21 | Canon Research Centre France S.A. | Digital signal analysis, with hierarchical segmentation |
| JP4517504B2 (ja) * | 2000-12-22 | 2010-08-04 | 株式会社ニコン | 画像符号化装置、電子カメラおよび記録媒体 |
| FR2906093A1 (fr) * | 2006-09-18 | 2008-03-21 | Canon Kk | Procedes et dispositifs de codage et de decodage, systeme de telecommunication et programme d'ordinateur les mettant en oeuvre |
| US8249372B2 (en) * | 2007-03-16 | 2012-08-21 | Canon Kabushiki Kaisha | Methods and devices for coding and decoding multidimensional digital signals |
| JP5035154B2 (ja) * | 2008-03-07 | 2012-09-26 | 富士通株式会社 | 映像信号処理装置及び映像信号処理方法 |
| JP2012235383A (ja) * | 2011-05-06 | 2012-11-29 | Sony Corp | エンコーダ、デコーダ、エンコーダシステム、デコーダシステム、伝送アダプタ、エンコード方法、デコード方法、および撮像装置 |
-
2012
- 2012-09-14 JP JP2012203602A patent/JP2014060543A/ja active Pending
-
2013
- 2013-09-03 US US14/016,283 patent/US20140079328A1/en not_active Abandoned
- 2013-09-06 CN CN201310403266.6A patent/CN103686174A/zh active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN103686174A (zh) | 2014-03-26 |
| US20140079328A1 (en) | 2014-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101656825B (zh) | 一种信号处理的方法及系统 | |
| US20050012812A1 (en) | Digital video signal processing apparatus of mobile communication system and method thereof | |
| CN107637078B (zh) | 整数变换系数的视频译码系统和方法 | |
| CN1302419A (zh) | 缩放压缩的图象 | |
| JP2004531969A (ja) | ビデオ画像の解像度をダウンスケールする方法及び装置 | |
| US20140086504A1 (en) | Encoding apparatus, decoding apparatus, and switch apparatus | |
| JP4541896B2 (ja) | 多重記述符合化のための装置及び方法 | |
| JP2010098352A (ja) | 画像情報符号化装置 | |
| JPH07298258A (ja) | 画像符号化復号化方法 | |
| EP2054841B1 (en) | Method and apparatus for transferring digital data between circuits | |
| US8798379B2 (en) | Image processing method, encoding device, decoding device, and image processing apparatus | |
| CN1379594A (zh) | 对被编码的视频信号同时进行格式压缩和解码的方法 | |
| WO2010055675A1 (ja) | 動画像符号化装置及び動画像復号装置 | |
| JP4693096B2 (ja) | 多地点会議装置 | |
| JP4580880B2 (ja) | 画像符号化装置、画像復号装置及び画像処理システム | |
| JP2014060543A (ja) | エンコード装置、デコード装置およびスイッチャ装置 | |
| Nakamura et al. | Low delay 4K 120fps HEVC decoder with parallel processing architecture | |
| JP4795141B2 (ja) | 映像符号化合成装置、映像符号化合成方法及び映像伝送システム | |
| WO2020210528A1 (en) | Block size determination for video coding systems and methods | |
| US8929446B1 (en) | Combiner processing system and method for support layer processing in a bit-rate reduction system | |
| JP2012004898A (ja) | 記憶装置、符号化装置、符号化方法及びコンピュータプログラム | |
| KR102113759B1 (ko) | 다채널 부화면 처리장치 및 처리방법 | |
| JP3617358B2 (ja) | 映像符号化方法および装置 | |
| JPH0918878A (ja) | 画像符号化装置および画像符号化方法 | |
| Zhang et al. | New regions of interest image coding using Up-Down Bitplanes Shift for network applications |