JP2012015914A - 映像処理装置、映像処理方法及びコンピュータプログラム - Google Patents

映像処理装置、映像処理方法及びコンピュータプログラム Download PDF

Info

Publication number
JP2012015914A
JP2012015914A JP2010152366A JP2010152366A JP2012015914A JP 2012015914 A JP2012015914 A JP 2012015914A JP 2010152366 A JP2010152366 A JP 2010152366A JP 2010152366 A JP2010152366 A JP 2010152366A JP 2012015914 A JP2012015914 A JP 2012015914A
Authority
JP
Japan
Prior art keywords
encoding
unit
region
statistical information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010152366A
Other languages
English (en)
Inventor
Masakazu Kono
雅一 河野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2010152366A priority Critical patent/JP2012015914A/ja
Priority to US13/161,620 priority patent/US20120002864A1/en
Priority to CN2011101829865A priority patent/CN102316345A/zh
Publication of JP2012015914A publication Critical patent/JP2012015914A/ja
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】３Ｄコンテンツを見るユーザが３Ｄ映像として知覚しやすい領域以外の符号化処理を省略することにより、高速にエンコード処理を実行することが可能な映像処理装置を提供する。
【解決手段】三次元映像として認識させることができる複数の視点からの画像データに対してマクロブロック単位で統計情報を計算する統計情報計算部と、統計情報計算部が計算した統計情報を用いて、三次元映像としての認識性の高低を判定基準として画像データに対して領域の判定を実行する領域判定部と、領域判定部が実行した領域の判定の結果に応じて、一方の視点からの画像データに対し、マクロブロック毎に符号化処理の内容を変化させて直交変換及び動き補償を用いて符号化する符号化処理部と、を備える、映像処理装置が提供される。これにより、３Ｄ映像として知覚しやすい領域以外の符号化処理を省略して、高速にエンコード処理を実行することができる。
【選択図】図１

Description

本発明は、映像処理装置、映像処理方法及びコンピュータプログラムに関する。
近年、画像情報をデジタルとして取り扱い、その際、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮する方式（例えば、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ））に準拠した装置が、放送局などの情報配信、及び一般家庭における情報受信の双方において普及しつつある。
さらに、近年ではＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）（ＭＰＥＧ４ ｐａｒｔ１０、ＩＳＯ／ＩＥＣ １４４９６−１０ ｜ ＩＴＵ−Ｔ（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ − Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ） Ｈ．２６４）（以下、ＡＶＣ／Ｈ．２６４と称する）という標準の規格化が行われている。ＩＴＵ−Ｔと ＩＳＯ／ＩＥＣ の間で、共同でビデオ符号化の標準化を行う、ＪＶＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｔｅａｍ）という団体が設立され、この団体で規格化を進めている。Ｈ．２６４はＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化および復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。
ＡＶＣ／Ｈ．２６４は、ＭＰＥＧ２やＭＰＥＧ４といった既存のビデオ符号化方式と比較して、倍以上の高い圧縮効率（符号化効率）を実現するが、その分、復号処理の処理量も飛躍的に増加する。また、画像の高画質化による画像データのデータ量の増大に伴い、復号処理の処理量はさらに増加する。しかしながら、例えば、伝送されてきた符号化データのビットストリームを順次復号する場合や、記録媒体に記録されている符号化データを読み出して復号し、画像を再生する場合のように、復号処理による遅延の許容範囲が少なく、高速に、かつ安定して復号処理を行うことが求められる場合がある。
そこで、復号処理を効率よく行うために、符号化データのビットストリームを複数に分割し、複数のデコーダ（プロセッサやＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ））を用いて並列に復号処理を行うことにより、復号処理の高速化を実現する方法がある（例えば、特許文献１参照）。
特許文献１に記載の方法は、ビットストリームをマクロブロックと称されるデータ単位で各プロセッサに分配し、並列に符号化処理や復号処理を行わせている。これにより、復号処理の高速化を実現している。
また、この他にも、例えば、図１に示されるように複数のマクロブロックからなるスライスと称されるデータ単位毎にビットストリームを分割し、復号処理を並列に実行させる方法もある。図１の例の場合、１ピクチャ分のビットストリームが、６つのスライス（スライス１〜スライス６）に分割され、３つのプロセッサ（プロセッサ１〜プロセッサ３）に２つずつ分配される。各プロセッサは、同時並行的に割り当てられたスライスを復号する。これにより、復号処理の高速化を実現している。
その一方で、ユーザに立体的な奥行きのある映像として知覚させるための立体視（３Ｄ）コンテンツを表示するための家庭用テレビの販売も本格的に開始され、これに伴って多くの３Ｄコンテンツの作成要望が高まってきている。従って、３Ｄコンテンツを短時間で数多く作成するための高速なエンコーダが求められている。
特開２０００−３００４７号公報
従来のエンコーダをそのまま３Ｄコンテンツのエンコードに普通に適用しようとすると、左目用の画像、右目用の画像の両方に対して符号化が実行される。そして、その符号化をマクロブロック単位、ピクチャ単位で繰り返されることになる。この方法により３Ｄとしての画質を万遍なく維持しつつエンコードする事は可能である。しかし、３Ｄコンテンツは単純にエンコードしなければならないデータ量が倍に増えているので、最低でも通常のコンテンツの時の倍以上の計算量となり、従来のエンコード方法のままでは、エンコードするのに非常に時間がかかってしまうという問題がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、３Ｄコンテンツを見るユーザが３Ｄとして知覚しやすい領域以外の符号化処理を省略することにより、高速にエンコード処理を実行することが可能な、新規かつ改良された映像処理装置、映像処理方法及びコンピュータプログラムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、複数の視点の画像データに対してマクロブロック単位で統計情報を計算する統計情報計算部と、前記統計情報計算部が計算した統計情報を用いて、三次元映像としての認識性の高低を判定基準として、前記画像データに対して領域の判定を実行する領域判定部と、前記領域判定部が実行した領域の判定の結果に応じて、マクロブロック毎に符号化処理の内容を変化させながら、各視点の画像データを符号化して符号化ストリームを生成する符号化処理部と、を備える、映像処理装置が提供される。
前記領域判定部は、前記統計情報計算部が計算した統計情報を用いて、三次元映像として認識できる領域と視点間の差分が少ない領域とに前記画像データを区別し、前記符号化処理部は、前記視点間の差分が少ない領域に対しては、別の視点の画像データよりも簡略化した処理によって符号化してもよい。
前記符号化処理部は、前記視点間の差分が少ない領域に対しては、固定の動きベクトル及びモードを用いて符号化してもよい。
前記領域判定部は、前記三次元映像として認識できる領域を、前記統計情報計算部が計算した統計情報を用いて、前記三次元映像として認識しやすい領域と、前記三次元映像として認識し難い領域とに区別し、前記符号化処理部は、前記三次元映像として認識し難い領域に対しては、別の視点からの画像データよりも簡略化した処理によって符号化してもよい。
前記符号化処理部は、前記視点間の差分が少ない領域に対しては、固定のモードを用いて符号化してもよい。
前記統計情報計算部は、統計情報として、前記マクロブロック単位で輝度及びコントラストを計算して、当該マクロブロックのエッジ判定を実行してもよい。
前記領域判定部が、同一の領域であると所定数以上連続して判定した場合は、該領域が所定数以上連続していることを示す情報を、前記符号化手段により生成された符号化ストリームとともに伝送してもよい。
また、上記課題を解決するために、本発明の別の観点によれば、複数の視点の画像データに対してマクロブロック単位で統計情報を計算する統計情報計算ステップと、前記統計情報計算ステップで計算した統計情報を用いて、三次元映像としての認識性の高低を判定基準として、前記画像データに対して領域の判定を実行する領域判定ステップと、前記領域判定ステップが実行した領域の判定の結果に応じて、マクロブロック毎に符号化処理の内容を変化させながら、各視点の画像データを符号化して符号化ストリーム生成するステップと、備える、映像処理方法が提供される。
以上説明したように本発明によれば、３Ｄコンテンツを見るユーザが３Ｄ映像として知覚しやすい領域以外の符号化処理を省略することにより、高速にエンコード処理を実行することが可能な、新規かつ改良された映像処理装置、映像処理方法及びコンピュータプログラムを提供することができる。
従来の符号化処理の概要を示す説明図である。 本発明の一実施形態にかかる映像処理装置１００の構成を示す説明図である。 １枚の画像を複数のマクロブロックに分割した状態を示す説明図である。 符号化処理部１５０の構成を示す説明図である。 本発明の一実施形態にかかる映像処理装置１００の動作を示す流れ図である。 領域判定部１４０による領域判定処理を示す流れ図である。 本発明の一実施形態にかかる画像処理装置のハードウェア構成例を示す説明図である
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
＜１．本発明の一の実施形態＞
［１−１．映像処理装置の構成］
［１−２．符号化部の構成］
［１−３．映像処理装置の動作］
［１−４．領域判定処理］
［１−５．ハードウェア構成例］
＜２．まとめ＞
＜１．本発明の一の実施形態＞
［１−１．映像処理装置の構成］
まず、本発明の一実施形態にかかる映像処理装置の構成について図面を参照しながら説明する。図２は、本発明の一実施形態にかかる映像処理装置１００の構成を示す説明図である。以下、図２を用いて本発明の一実施形態にかかる映像処理装置１００の構成について説明する。
本実施形態にかかる映像処理装置１００には、通常の映像（２Ｄ映像）のみならず３Ｄ映像も送られてくる。映像処理装置１００は、３Ｄ映像が送られた場合には、左目用画像と右目用画像の両方に対してエンコード処理を実行することになる。図２に示したように、本発明の一実施形態にかかる映像処理装置１００は、Ａ／Ｄ変換部１１０と、バッファ１２０と、統計情報計算部１３０と、領域判定部１４０と、符号化処理部１５０と、を含んで構成される。
Ａ／Ｄ変換部１１０は、映像処理装置１００の外部から供給されるアナログの画像信号（入力信号）をデジタルデータに変換するものである。Ａ／Ｄ変換部１１０は、画像信号をデジタル画像データに変換すると、後段のバッファ１２０に出力する。なお、映像処理装置１００の外部から供給される画像信号がデジタルデータである場合にはＡ／Ｄ変換部１１０を介する必要はない。
バッファ１２０は、Ａ／Ｄ変換部１１０から出力されるデジタル画像データの供給を受けて、画像圧縮情報のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓ）構造に応じ、フレームの並べ替えを行うものである。バッファ１２０においてフレームの並び替えが行われた画像データは統計情報計算部１３０に送られる。
統計情報計算部１３０は、バッファ１２０においてフレームの並び替えが行われた画像データに対して、左目用画像、右目等画像のそれぞれをピクチャ単位で読み込み、各フレームの統計情報を左目用画像、右目等画像それぞれのマクロブロック単位で計算するものである。
図３は、１枚の画像を複数のマクロブロックに分割した状態を示す説明図である。図３に示したピクチャＰ１は、１ピクチャ分の画像データを示しており、その内部の各四角形のブロックがそれぞれマクロブロックを示している。なお、各マクロブロックの数字は、それぞれの識別情報（マクロブロックアドレス）の例を模式的に表わしたものである。マクロブロックアドレスは、左上端のマクロブロックからラスタ順に、自然数が昇順に割り当てられる。
統計情報計算部１３０は、統計情報として、左目用画像、右目等画像のそれぞれをピクチャ単位で読み込み、左目用画像、右目等画像それぞれのマクロブロック単位の輝度平均値、分散値、コントラストを算出するとともに、当該マクロブロックがエッジ部分であるかどうかの判定を実行する。それぞれの情報は、例えば以下のように算出する。
輝度平均値Ａｖｇは、ピクセル単位の画像値Ｘｉを全て加算し、マクロブロック内のピクセルの総数で割ることで算出することが出来る。また、分散値はＶａｒ２＝（Ｘｉ−Ａｖｇ）２で算出することができる。さらに、コントラスト値Ｃｏｎｔｒａｓｔは、Ｃｏｎｔｒａｓｔ＝（ΣＸｉ−Ａｖｇ）／２５６で算出することが出来る。
また、分散値だけでは判断できない複雑なテクスチャとエッジの判別のために、統計情報計算部１３０は、例えば以下のようにエッジ判定を行う。もちろん、以下に示した方法はエッジ判定方法の一例であり、本発明では、エッジ判定の方法はかかる例に限られないことは言うまでもない。
（１）明確なエッジの検出
統計情報計算部１３０は、フィルタ処理により算出されるフィルタ後のマクロブロック単位の平均値を求めておく。すなわち、統計情報計算部１３０は、Ｆｉｌｔｅｒ＿ＭＡＤ＝（Σ｜Ｆｉｌｔｅｒ＿Ｘｉ−Ｆｉｌｔｅｒ＿Ｍｅａｎ｜）／ｎを計算する。
（２）エッジの方向の揃い具合の判定
統計情報計算部１３０は、下記の数式１により、Ｃｏｈの値を算出する。
Figure 2012015914
なお、Ｇｘ、Ｇｙは単純なフィルタのｘオペレータまたはｙオペレータへの応答を示す。そしてＷはＷｉｎｄｏｗを表し、本実施形態においては１マクロブロック単位となる。
上記（１）によって求められたＦｉｌｔｅｒ＿ＭＡＤ／Ｆｉｌｔｅｒ＿Ｍｅａｎの値が所定の値より高い値となり、上記（２）によって求められたＣｏｈの値が所定の値より高くなり、更にＦｉｌｔｅｒ＿Ｍｅａｎを近傍のマクロブロック（例えば８マクロブロック）と比較して、Ｆｉｌｔｅｒ＿Ｍｅａｎが非常に高い応答を示し、且つ周辺に低い応答を示すマクロブロックが半分以上存在する場合に、後段の領域判定部１４０は、当該マクロブロックをエッジと判定する。
左目用画像と右目用画像の差分絶対値和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）は以下の様に求まる。すなわち、左目用画像と右目用画像の差分絶対値和は、左目用画像のピクセル単位の画像値から、右目用画像のピクセル単位の画像値を引いたものを画像全体で加算することに寄って求めることができる。
ＳＡＤ＝Σ（Ｌｅｆｔ＿Ｘｉ−Ｒｉｇｈｔ＿Ｘｉ）
後段の領域判定部１４０では、まず統計情報計算部１３０が算出した、左目用画像と右目用画像のマクロブロック単位の差分絶対値和を用いて、左目用画像と右目用画像との間で差の有るブロックかどうかを判定する。左目用画像と右目用画像との間でほとんど差のないブロックであれば、左目用画像については通常のエンコード処理（動き予測、モード決定）を実行し、右目用画像については動き予測、モード決定は行わず、決められた動きベクトル、フレームインデックス、モードを用いてエンコード処理を行う。以下、左目用画像と右目用画像との間でほとんど差のないブロックを「領域Ｃ」と称する。
左目用画像と右目用画像との間の差分絶対値和が所定量以上差の有るブロックであれば、そのマクロブロックは左目用画像と右目用画像との間で差分があるブロックであるので、そのマクロブロックが３Ｄ映像として知覚しやすいブロックであるかどうかを判定するために、領域判定部１４０は、統計情報計算部１３０が算出した統計情報を用いて領域判定を行う。以下、３Ｄ映像として知覚しやすいブロックを「領域Ａ」、３Ｄ映像として知覚しにくいブロックを「領域Ｂ」とそれぞれ称する。
領域判定部１４０は、統計情報計算部１３０が算出した統計情報に基づいて、各マクロブロックの領域判定を行う。
具体的には、領域判定部１４０は、上述したように、統計情報計算部１３０が算出した、左目用画像と右目用画像のマクロブロック単位の差分絶対値和を用いて、左目用画像と右目用画像との間で差の有るブロックかどうかを判定する。より詳細には、領域判定部１４０は、統計情報計算部１３０が算出した左目用画像と右目用画像の差分絶対値和が所定の閾値を上回っているかどうかを判定する。
次に、領域判定部１４０は、統計情報計算部１３０が算出した左目用画像と右目用画像の差分絶対値和が所定の閾値を上回っているマクロブロックに対し、統計情報計算部１３０が算出した統計情報を用いて、３Ｄ映像として知覚しやすいブロックであるかどうかを判定する。３Ｄ映像として知覚しやすいブロックであれば、そのマクロブロックについては、左目用画像、右目用画像共に、通常のエンコード処理（動き予測、モード決定）を後段の符号化処理部１５０に実行させ、３Ｄ映像として知覚しにくいブロックであれば、そのマクロブロックについては、左目用画像については通常のエンコード処理を符号化処理部１５０に実行させるが、右目用画像については動き予測は行うが、モードは予め決めたモードに固定したエンコード処理を符号化処理部１５０に実行させる。
このように、統計情報計算部１３０が算出した統計情報に基づいて領域判定部１４０が領域判定を行うことで、符号化処理部１５０でのエンコード処理は、全てのマクロブロックにおいて左目用画像、右目用画像共に通常のエンコード処理（動き予測、モード決定）を実行する必要はなく、３Ｄ映像をエンコードする際の処理負荷を軽減させて、エンコード処理に要する時間を短縮させることができる。
符号化処理部１５０は、バッファ１２０においてフレームの並び替えが行われた画像データに対するエンコード処理を実行するものである。
本実施形態では、符号化処理部１５０はフレーム間予測により画像データの符号化処理を実行する。符号化処理部１５０の構成の詳細については後述するが、本実施形態では、符号化処理部１５０は、動き予測処理や動き補償処理、モード決定処理、離散コサイン変換処理、量子化処理、符号化処理を実行することで、画像データの符号化処理を行う。
そして、本実施形態では、領域判定部１４０による判定結果に基づいて、符号化処理部１５０における右目用画像に対する符号化処理の内容が変化する。３Ｄ映像として知覚しやすいマクロブロック（領域Ａ）に対しては、符号化処理部１５０は、左目用画像と同様のエンコード処理を右目用画像にも実行する。一方、３Ｄ映像として知覚しにくいマクロブロック（領域Ｂ）に対しては、符号化処理部１５０は固定のモードでエンコード処理を実行し、左目用画像と右目用画像との間で差の無いマクロブロック（領域Ｃ）に対しては、符号化処理部１５０は決められた動きベクトル、フレームインデックス、モードを用いてエンコード処理を実行する。
このように、統計情報計算部１３０が算出した統計情報に基づいて領域判定部１４０が判定した領域に応じて符号化処理部１５０でのエンコード処理の内容を変化させることで、３Ｄ映像をエンコードする際の処理負荷を軽減させて、エンコード処理に要する時間を短縮させることができる。
以上、図２を用いて本発明の一実施形態にかかる映像処理装置１００の構成について説明した。次に、本発明の一実施形態にかかる映像処理装置１００に含まれる符号化処理部１５０の構成について説明する。
［１−２．符号化部の構成］
図４は、本発明の一実施形態にかかる映像処理装置１００に含まれる符号化処理部１５０の構成を示す説明図である。以下、図４を用いて本発明の一実施形態にかかる映像処理装置１００に含まれる符号化処理部１５０の構成について説明する。
図４に示したように、本発明の一実施形態にかかる映像処理装置１００に含まれる符号化処理部１５０は、動き予測部１５１と、離散コサイン変換部１５３と、量子化部１５４と、符号化部１５５と、逆量子化部１５６と、逆変換部１５７と、加算器１５２、１５９と、を含んで構成される。
動き予測部１５１は、参照画像に対する、符号化対象画像の動きベクトルを検出し、その動きベクトルに従って、参照画像を動き補償することにより、予測画像をマクロブロック毎に生成するものである。動き予測部１５１は、その予測画像の画像データ（予測画像データ）を加算器１５２に供給する。ここで符号化対象画像とは、領域判定部１４０から送られてくる画像データによる画像であり、参照画像とは後述の加算部１５９から送られてくる画像データによる画像である。フレーム間隔予測による符号化（インター符号化）の際には、符号化対象画像と、動き予測部１５１で生成された予測画像の差分（予測残差）がマクロブロック毎に求められ、生成されたマクロブロック毎の差分データが直交変換された後に、量子化・符号化される。
また、動き予測部１５１は、予測画像の動きベクトルに関する情報である動きベクトル情報を符号化部１５５に供給する。符号化部１５５は、その動きベクトル情報に対して可逆符号化処理を施し、差分データから生成された符号化データのヘッダ部に挿入する。
そして、動き予測部１５１は、画像データの符号化モードを決定するものである。画像データの符号化モードには、例えば縦１６個、横１６個の画素を１つのブロックとした１６×１６モード、縦８個、横１６個の画素を１つのブロックとした８×１６モード、縦１６個、横８個の画素を１つのブロックとした１６×８モード、縦８個、横８個の画素を１つのブロックとした８×８モード等がある。より具体的には、動き予測部１５１は、検出した動きベクトルにより参照画像を動き補償してインター符号化の際の最適モードを検出する。また、インター符号化により符号化処理を実行する場合、動き予測部１５１はこの最適モードにより予測画像データを生成して加算器１５２に供給する。
加算器１５２は、符号化処理部１５０に供給される画像データと動き予測部１５１で生成された予測画像の差分（予測残差）をマクロブロックごとに求めて出力するものである。加算器１５２で生成されたマクロブロックごとの差分データは、離散コサイン変換部１５３に供給されて離散コサイン変換され、量子化部１５４において量子化され、符号化部１５５において符号化される。
離散コサイン変換部１５３は、加算器１５２から供給される画像データに対して、そのマクロブロック毎に、離散コサイン変換を行うものである。なお、本実施形態では、離散コサイン変換部１５３において離散コサイン変換を行っているが、本発明では、カルーネン・レーベ変換等の直交変換を施してもよい。離散コサイン変換部１５３は、離散コサイン変換により得られた直交変換係数を量子化部１５４に供給する。なお、この直交変換処理を行うデータ単位（直交変換処理単位）を符号化処理単位とする。すなわち、この場合、符号化処理単位はマクロブロックとなる。
量子化部１５４は、離散コサイン変換部１５３から供給された直交変換係数に対して量子化を行うものである。量子化部１５４は、量子化後のデータを符号化部１５５に供給する。また、量子化部１５４は、量子化された直交変換係数を逆量子化部１６９にも供給する。
符号化部１５５は、量子化部１５４で量子化された直交変換係数に対して、可変長符号化、または算術符号化等の符号化（可逆符号化）を施し、得られた符号化データを出力する。符号化データはバッファ（図示せず）等の蓄積手段に一時的に蓄積されたのち、所定のタイミングでビットストリームとして出力される。なお、符号化データを蓄積する蓄積手段は、蓄積する符号化データの符号量、すなわち、符号化部１５５の可逆符号化における発生符号量についての情報を出力し、符号化部１５５は、その発生符号量についての情報に基づいて算出される量子化スケールに従って量子化を行ってもよい。
なお、上述したように、符号化部１５５は、動き予測部１５１から予測画像の動きベクトルに関する情報である動きベクトル情報の供給を受ける。符号化部１５５は、その動きベクトル情報に対して可逆符号化処理を施し、差分データから生成された符号化データのヘッダ部に挿入する。
逆量子化部１５６は、量子化部１５４において量子化された直交変換係数を逆量子化し、得られた直交変換係数を逆変換部１５７に供給する。逆変換部１５７は、供給された直交変換係数に対して、離散コサイン変換部１５３において行われた離散コサイン変換処理に対応する逆離散コサイン変換処理を行い、得られた画像データ（デジタルデータ）を加算器１５８に供給する。なお、離散コサイン変換以外の直交変換が行われている場合には、逆変換部１５７はその直交変換に対応する逆直交変換を実行する。加算器１５９は、逆変換部１５７から出力される画像データに、動き予測部１５１より供給される予測画像データの画像（予測画像）を加算し、参照画像を生成する。加算器１５９で生成される参照画像は、フレームメモリ（図示せず）に一時的に蓄積された後に動き予測部１５１によって読み出される。
符号化処理部１５０がこのような構成を有することで、映像処理装置１００は画像データを符号化してビットストリームとして出力することができる。しかし、左目用画像と右目用画像の両方に対して同じ符号化処理を実行すると単純に処理時間が倍になってしまう。特に時間がかかるのが、動き予測部１５１における動き予測処理やモード決定処理である。
ここで、左目用画像と右目用画像にあまり差が無ければ（つまり、３Ｄ画像というよりはほとんど２Ｄ画像に近ければ）、右目用画像については新たに動き予測処理やモード決定処理を実行せず、決められたパラメータを用いて符号化を行う。また、左目用画像と右目用画像に所定の差があっても、３Ｄ画像として知覚しにくい領域であれば、動き予測部１５１における動き予測処理やモード決定処理の内、一部を省略して符号化処理を実行する。
このように、処理対象のマクロブロックによって動き予測部１５１における処理内容を変化させることで、画像全体に対して動き予測処理やモード決定処理を実行する必要がなく、画像データのエンコード処理に要する時間を短縮させることができる。
以上、図４を用いて本発明の一実施形態にかかる映像処理装置１００に含まれる符号化処理部１５０の構成について説明した。次に、本発明の一実施形態にかかる映像処理装置１００の動作について説明する。
［１−３．映像処理装置の動作］
図５は、本発明の一実施形態にかかる映像処理装置１００の動作を示す流れ図である。以下、図５を用いて本発明の一実施形態にかかる映像処理装置１００の動作について説明する。
映像処理装置１００は、画像データをエンコードする際には、統計情報計算部１３０が同一のタイミングにおける左目用画像、右目用画像それぞれをピクチャ単位で読み込み、マクロブロック単位で統計情報を計算する（ステップＳ１０１）。統計情報計算部１３０が同一のタイミングにおける左目用画像、右目用画像のそれぞれに対して統計情報を計算することで、画像中のマクロブロック単位で、その統計情報に基づいた領域の判定が可能になる。
上記ステップＳ１０１で統計情報計算部１３０がマクロブロック単位で計算する統計情報は、マクロブロック単位の輝度平均値、分散値、コントラスト、そして左目用画像と右目用画像の差分絶対値和である。また、統計情報計算部１３０は、当該マクロブロックがエッジ部分であるかどうかの判定を実行する。
上記ステップＳ１０１で統計情報計算部１３０がマクロブロック単位で統計情報を計算すると、次に、統計情報計算部１３０がマクロブロック単位で計算する統計情報を用いて、領域判定部１４０が各マクロブロックの領域を判定する（ステップＳ１０２）。領域判定部１４０がどの統計情報を用いてどのように各マクロブロックの領域を判定するかについては後に詳述するが、まずは左目用画像と右目用画像の差分絶対値和から、そのマクロブロックが３Ｄ映像として表示するものであるか、または実質的に２Ｄ画像であるものかどうかを判別する。そして、マクロブロックが３Ｄ映像として表示するものであれば、さらに、上記ステップＳ１０１で統計情報計算部１３０がマクロブロック単位で計算した統計情報を用いて、そのマクロブロックが３Ｄ画像として知覚しやすい領域かどうかを判別する。このように領域を判別することで、領域に応じた符号化処理が可能になり、部分的に符号化処理を高速化したり、符号化効率を改善したりすることができる。
上記ステップＳ１０２で、領域判定部１４０が各マクロブロックの領域を判定すると、続いて各マクロブロックに対して符号化処理部１５０が符号化処理を実行する。符号化処理部１５０では、動き予測部１５１が動き予測処理を実行するとともに、画像データの符号化モードを決定する。次に、加算器１５２が、符号化処理部１５０に供給される画像データと動き予測部１５１で生成された予測画像の差分（予測残差）をマクロブロックごとに求めて出力する。そして、離散コサイン変換部１５３が離散コサイン変換処理を実行して、量子化部１５４が離散コサイン変換部１５３から供給された直交変換係数に対して量子化を行う。最後に、符号化部１５５が量子化部１５４で量子化された直交変換係数に対して、可変長符号化、または算術符号化等の符号化（可逆符号化）を施し、得られた符号化データを出力する。
そして本実施形態では、上記ステップＳ１０２で領域判定部１４０が判定した各マクロブロックの領域に応じて、右目用画像に対して符号化処理を実行する際には、動き予測部１５１は処理内容を変更する。これにより本実施形態にかかる映像処理装置１００は、領域に応じた符号化処理が可能になり、部分的に符号化処理を高速化したり、符号化効率を改善したりすることができる。なお、以下で説明する処理は、基本となる画像である左目用画像の一連の符号化処理が完了していることを前提とする。
動き予測部１５１は、処理しようとしているマクロブロックがどの領域であるかを判断する（ステップＳ１０３）。
上記ステップＳ１０３での判断の結果、処理しようとしているマクロブロックが領域Ａである場合には、動き予測部１５１は右目用画像に対して動き予測処理を実行する（ステップＳ１０４）。そして、右目用画像に対して動き予測処理が完了すると、続いて動き予測部１５１は、動き予測処理の結果に基づいて、そのマクロブロックの符号化モードを決定する（ステップＳ１０５）。
動き予測部１５１が動き予測処理を実行し、マクロブロックの符号化モードを決定すると、続いて加算器１５２が、符号化処理部１５０に供給される画像データと動き予測部１５１で生成された予測画像の差分（予測残差）をマクロブロックごとに求めて出力する。
そして、離散コサイン変換部１５３が離散コサイン変換処理を実行して、量子化部１５４が離散コサイン変換部１５３から供給された直交変換係数に対して量子化を行う（ステップＳ１０６）。
最後に、符号化部１５５が量子化部１５４で量子化された直交変換係数に対して、可変長符号化、または算術符号化等の符号化（可逆符号化）を施し、得られた符号化データを出力する（ステップＳ１０７）。
次に、上記ステップＳ１０３での判断の結果、処理しようとしているマクロブロックが領域Ｂである場合には、動き予測部１５１は右目用画像に対して動き予測処理を実行する（ステップＳ１０８）。そして、右目用画像に対して動き予測処理が完了すると、続いて動き予測部１５１はそのマクロブロックの符号化モードを選択する（ステップＳ１０９）。
例えば、当該マクロブロックが平坦な部分（分散値が非常に小さい値）であるならば、動き予測部１５１はヘッダビット（ＨｅａｄｅｒＢｉｔ）が最も少ない１６×１６モードを選択することができる。また、当該マクロブロックが複雑な部分（分散値が大きい値）ならば、動き予測部１５１は８×８モードを選択し、あらかじめ細かく動き補償ができるようにしておくと、ある程度の画質を保ちつつ、通常にエンコードするよりも高速にエンコードする事が可能となる。
動き予測部１５１が動き予測処理を実行し、マクロブロックの符号化モードを決定すると、続いて加算器１５２が、符号化処理部１５０に供給される画像データと動き予測部１５１で生成された予測画像の差分（予測残差）をマクロブロックごとに求めて出力する。
そして、離散コサイン変換部１５３が離散コサイン変換処理を実行して、量子化部１５４が離散コサイン変換部１５３から供給された直交変換係数に対して量子化を行う（ステップＳ１１０）。
最後に、符号化部１５５が量子化部１５４で量子化された直交変換係数に対して、可変長符号化、または算術符号化等の符号化（可逆符号化）を施し、得られた符号化データを出力する（ステップＳ１１１）。
そして、上記ステップＳ１０３での判断の結果、処理しようとしているマクロブロックが領域Ｃである場合には、動き予測部１５１は右目用画像に対しては動き予測処理は行わず、予め決められた動きベクトル・フレームインデックスを使用する（ステップＳ１１２）。そして、動き予測部１５１はそのマクロブロックについては、予め決められた符号化モードを使用することを選択する（ステップＳ１１３）。
動き予測部１５１が予め決められた動きベクトル・フレームインデックスを使用することを選択し、マクロブロックの符号化モードを決定すると、続いて加算器１５２が、符号化処理部１５０に供給される画像データと動き予測部１５１で生成された予測画像の差分（予測残差）をマクロブロックごとに求めて出力する。
そして、離散コサイン変換部１５３が離散コサイン変換処理を実行して、量子化部１５４が離散コサイン変換部１５３から供給された直交変換係数に対して量子化を行う（ステップＳ１１４）。
最後に、符号化部１５５が量子化部１５４で量子化された直交変換係数に対して、可変長符号化、または算術符号化等の符号化（可逆符号化）を施し、得られた符号化データを出力する（ステップＳ１１５）。
なお、符号化処理部１５０は、このステップＳ１０３からステップＳ１１１の処理は、１枚の画像中の全てのマクロブロックに対して順次繰り返して実行し、全てのマクロブロックについて符号化処理が完了すると、上記ステップＳ１０１に戻り、統計情報計算部１３０でのマクロブロック単位での統計情報の計算を実行する。
このように、マクロブロックによって符号化処理部１５０での符号化処理を変化させることで、左目用画像と右目用画像の両方に対して動き予測処理・動き補償処理・モード決定処理を実行する場合に比べてエンコード処理に要する時間を短縮させることができる。
下記の表１は、領域判定部１４０が判定した各領域と、動き予測処理・モード決定処理との関係をまとめたものである。簡略化させる処理は表１において○で表している。このように、領域判定部１４０が判定した領域に応じて簡略化させる処理を変化させることで、本発明の一実施形態にかかる映像処理装置１００は、画像全体に対して動き予測処理・モード決定処理を実行する場合と比較して処理時間の短縮を図ることができる。
Figure 2012015914
以上、図５を用いて本発明の一実施形態にかかる映像処理装置１００の動作について説明した。次に、上記ステップＳ１０２における、領域判定部１４０による各マクロブロックの領域の判定処理について詳細に説明する。
［１−４．領域判定処理］
図６は、本発明の一実施形態にかかる映像処理装置１００に含まれる、領域判定部１４０による領域判定処理を示す流れ図である。以下、図６を用いて、領域判定部１４０による領域判定処理について詳細に説明する。
まず、領域判定部１４０による領域判定処理に先立って、統計情報計算部１３０が左目用画像と右目用画像の差分絶対値和（ＳＡＤ）をピクチャ単位で算出する（ステップＳ１２１）。この左目用画像と右目用画像の差分絶対値和の算出は、そのマクロブロックが３Ｄ画像として符号化処理を行うべきブロックであるか、２Ｄ画像とみなして符号化処理を行っても構わないブロックかを判別するために行われる。
上記ステップＳ１２１で、統計情報計算部１３０が左目用画像と右目用画像の差分絶対値和（ＳＡＤ）をピクチャ単位で算出すると、次に、領域判定部１４０は、統計情報計算部１３０が算出した左目用画像と右目用画像の差分絶対値和が所定の閾値以下であるかどうかを判断する（ステップＳ１２２）。
上記ステップＳ１２２の判断の結果、統計情報計算部１３０が算出した左目用画像と右目用画像の差分絶対値和が所定の閾値以下である場合には、その領域判定部１４０はマクロブロックを領域Ｃに決定する（ステップＳ１２３）。左目用画像と右目用画像の差分絶対値和が所定の閾値以下であれば、そのマクロブロックは２Ｄ画像とみなして符号化処理を行っても構わないブロックだからである。従って、左目用画像と右目用画像の差分絶対値和が所定の閾値以下のマクロブロックにおいては、符号化処理部１５０は上述したように、右目用画像に対して予め決められた動きベクトル・フレームインデックス・符号化モードを用いて符号化処理を実行する。
一方、上記ステップＳ１２２の判断の結果、統計情報計算部１３０が算出した左目用画像と右目用画像の差分絶対値和が所定の閾値を超えている場合には、そのマクロブロックは左目用画像と右目用画像との間に所定の差がある３Ｄ画像とみなして符号化処理部１５０で符号化処理を行うべきブロックである。
しかし、３Ｄ画像とみなして符号化処理を行うべき場合であっても、そのマクロブロックが３Ｄ画像として知覚しやすいかどうかによって符号化処理部１５０での符号化処理の内容を変化させることで１枚の画像に対する符号化処理に要する時間を短縮することができる。３Ｄ画像として知覚しやすいブロックであるかどうかを識別するために、領域判定部１４０は、統計情報計算部１３０が算出した統計情報を用いる。
３Ｄ画像として知覚しやすい領域は、一般的には視差の大きい（奥行き感が感じられる）エッジ領域である。従って、領域判定部１４０は、領域判定処理対象のマクロブロックが、一般的に奥行きが感じられやすい、コントラストがある一定以上の値かつ明度がある一定値以下であり、なおかつ、分散値が高いエッジ領域であるかどうかを判別する（ステップＳ１２４）。単に分散値が高いマクロブロックだけを３Ｄ画像として知覚しやすい領域として検出してしまうと、複雑なテクスチャを有する画像が含まれてしまうおそれがある。複雑なテクスチャを有するマクロブロックは画像が細かすぎて、視覚特性上３Ｄ画像として検知しにくい場合がある。
上記ステップＳ１２４の判定の結果、領域判定処理対象のマクロブロックが、一般的に奥行きが感じられやすい、コントラストがある一定以上の値かつ明度がある一定値以下であり、なおかつ、分散値が高いエッジ領域であると領域判定部１４０が判断すると、領域判定部１４０はそのマクロブロックを領域Ａに決定する（ステップＳ１２５）。この領域Ａは、画像を見たときに３Ｄ画像として知覚されやすい領域であるので、右目用画像に対しては符号化処理を省略せず、左目用画像と同様の符号化処理を実行する。
一方、上記ステップＳ１２４の判定の結果、条件を満たさない領域であると領域判定部１４０が判断すると、領域判定部１４０はそのマクロブロックを領域Ｂに決定する（ステップＳ１２６）。この領域Ｂは、領域Ａに比べると画像を見たときに３Ｄ画像として知覚されにくい領域であるので、領域Ｃのように符号化処理を大きく省略することは出来ないが、一分の処理を簡略化することで符号化処理に要する時間を短縮させることができる。具体的には、右目用画像に対しては動き予測処理は実行するが、符号化モードを予め決められたモードとすることで、領域Ａに対する符号化処理に比べて符号化モードの決定処理が行われない分、処理を短縮させることができる。
なお、この領域Ｂに対しては、エンコード用途に応じてモードが選択されるようにしてもよい。例えば画像が平坦な部分（分散値が非常に小さい値）であるならば、ヘッダビットが最も少ないインター１６×１６モードを選択し、動き予測を行ったり、画像が複雑な部分（分散値が大きい値）であったりするならば、インター８×８モードを選択し、あらかじめ細かく動き補償ができるようにしておくことで、画質を保ちつつ、通常に右目用画像をエンコードするよりも高速にエンコードする事が可能となる。
領域判定部１４０は、この一連の領域判定処理を、マクロブロック単位、及びピクチャ単位で順次繰り返して実行する。領域判定部１４０が一連の領域判定処理をマクロブロック単位で実行することにより、符号化処理部１５０は領域判定処理の結果を受けて、マクロブロック単位で符号化処理の内容を変化させることができる。そして、符号化処理部１５０はマクロブロックごとに符号化処理の内容を変化させることで、符号化処理に要する時間を効果的に短縮させることが可能になる。
［１−５．ハードウェア構成例］
次に、上述した画像処理装置１００のハードウェア構成の一例をについて説明する。図７は、本発明の一実施形態にかかる画像処理装置のハードウェア構成例を示す説明図である。
図７に示したように、画像処理装置１００は、主に、ＣＰＵ９０１と、ＲＯＭ９０３と、ＲＡＭ９０５と、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インターフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、ＲＯＭ９０３、ＲＡＭ９０５、ストレージ装置９１９、またはリムーバブル記録媒体９２７に記録された各種プログラムに従って、画像処理装置１００の動作全般またはその一部を制御する。ＲＯＭ９０３は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０５は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。
ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。
入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、画像処理装置１００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。画像処理装置１００のユーザは、この入力装置９１５を操作することにより、画像処理装置１００に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置９１７は、例えば、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなど、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。出力装置９１７は、例えば、画像処理装置１００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、画像処理装置１００が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ、および外部から取得した音響信号データや画像信号データなどを格納する。
ドライブ９２１は、記録媒体用リーダライタであり、画像処理装置１００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０５に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、コンパクトフラッシュ（登録商標）（ＣｏｍｐａｃｔＦｌａｓｈ：ＣＦ）、メモリースティック、または、ＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等である。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）または電子機器等であってもよい。
接続ポート９２３は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ｉ．Ｌｉｎｋ等のＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等の、機器を画像処理装置１００に直接接続するためのポートである。この接続ポート９２３に外部接続機器９２９を接続することで、画像処理装置１００は、外部接続機器９２９から直接音響信号データや画像信号データを取得したり、外部接続機器９２９に音響信号データや画像信号データを提供したりする。
通信装置９２５は、例えば、通信網９３１に接続するための通信デバイス等で構成された通信インターフェースである。通信装置９２５は、例えば、有線または無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ、またはＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、または、各種通信用のモデム等である。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
＜２．まとめ＞
以上説明したように本発明の一実施形態によれば、３Ｄ画像として表示させようとする画像をマクロブロックに分割して符号化する際に、マクロブロックに対して領域判定処理を実行し、領域に応じて符号化処理を変化させることで、符号化処理に要する時間を効果的に短縮させることができる。
具体的には、各マクロブロックに対して、まず左目用画像と右目用画像の差分絶対値和が所定の閾値以下であるかどうか判定し、左目用画像と右目用画像の差分絶対値和が所定の閾値を超えていれば、次に、画像を見たときに３Ｄ画像として知覚されやすい領域であるかどうかを判定する。このように各マクロブロックを判定して領域を設定することで、領域に応じた符合化処理が可能になり、符号化処理に要する時間を効果的に短縮させることができる。
なお、上述した領域判定部１４０による領域分けは符号化の高速化だけでなく、符号量割り当てにも利用できる。従って、例えば領域Ａにより多くの符号量を割り当てることで、符号化部１５５での符号化処理における高画質化も図ることができる。
また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、領域判定部１４０による領域判定の結果、同一の領域が所定数以上横に連続した場合には、その事を示すフラグを符号化に際して付加してもよい。例えば、領域判定部１４０による領域判定の結果、領域Ｂが所定数（例えば１０個）横に連続した場合には、符号化処理部１５０における符号化処理の際に、そのことを示すフラグを付加する。これにより、当該箇所を復号する際には、１つのマクロブロック単位ではなく所定数連続したマクロブロック単位で効率良く復号することができる。
本実施の形態では、連続を示す情報をビットストリームに多重化(挿入・記述)するものとして説明したが、多重化する以外にも、情報と画像(又はビットストリーム)とを伝送(記録)してもよい。さらに、本願明細書における伝送とは、ストリームと情報とを関連づけて(リンクさせて)、伝送・記録媒体に記録することを意味する。
なお、本実施の形態では、関連づける(リンクさせる)ことを以下のように定義する。関連づけるとは、画像(又はビットストリーム)と情報とが互いにリンクされている状態であれば良い。例えば、画像(又はビットストリーム)と形状判定情報とを、別の伝送路で伝送してもよい。また、画像(又はビットストリーム)と情報とを、互いに別の記録媒体(又は同一の記録媒体内の別々の記録エリア)に記録してもよい。なお、画像(又はビットストリーム)と情報とをリンクさせる単位は、例えば、符号化処理単位(１フレーム、複数フレーム等)で設定してもよい。
１００ 映像処理装置
１１０ Ａ／Ｄ変換部
１２０ バッファ
１３０ 統計情報計算部
１４０ 領域判定部
１５０ 符号化処理部
１５１ 動き予測部
１５３ 離散コサイン変換部
１５４ 量子化部
１５５ 符号化部
１５６ 逆量子化部
１５７ 逆変換部
１５２、１５９ 加算器

Claims (8)

  1. 複数の視点の画像データに対してマクロブロック単位で統計情報を計算する統計情報計算部と、
    前記統計情報計算部が計算した統計情報を用いて、三次元映像としての認識性の高低を判定基準として、前記画像データに対して領域の判定を実行する領域判定部と、
    前記領域判定部が実行した領域の判定の結果に応じて、マクロブロック毎に符号化処理の内容を変化させながら、各視点の画像データを符号化して符号化ストリームを生成する符号化処理部と、
    を備える、映像処理装置。
  2. 前記領域判定部は、前記統計情報計算部が計算した統計情報を用いて、三次元映像として認識できる領域と視点間の差分が少ない領域とに前記画像データを区別し、
    前記符号化処理部は、前記視点間の差分が少ない領域に対しては、別の視点の画像データよりも簡略化した処理によって符号化する、請求項１に記載の映像処理装置。
  3. 前記符号化処理部は、前記視点間の差分が少ない領域に対しては、固定の動きベクトル及びモードを用いて符号化する、請求項２に記載の映像処理装置。
  4. 前記領域判定部は、前記三次元映像として認識できる領域を、前記統計情報計算部が計算した統計情報を用いて、前記三次元映像として認識しやすい領域と、前記三次元映像として認識し難い領域とに区別し、
    前記符号化処理部は、前記三次元映像として認識し難い領域に対しては、別の視点からの画像データよりも簡略化した処理によって符号化する、請求項２に記載の映像処理装置。
  5. 前記符号化処理部は、前記視点間の差分が少ない領域に対しては、固定のモードを用いて符号化する、請求項４に記載の映像処理装置。
  6. 前記統計情報計算部は、統計情報として、前記マクロブロック単位で輝度及びコントラストを計算して、当該マクロブロックのエッジ判定を実行する、請求項１に記載の映像処理装置。
  7. 前記領域判定部が、同一の領域であると所定数以上連続して判定した場合は、該領域が所定数以上連続していることを示す情報を、前記符号化手段により生成された符号化ストリームとともに伝送する、請求項１に記載の映像処理装置。
  8. 複数の視点の画像データに対してマクロブロック単位で統計情報を計算する統計情報計算ステップと、
    前記統計情報計算ステップで計算した統計情報を用いて、三次元映像としての認識性の高低を判定基準として、前記画像データに対して領域の判定を実行する領域判定ステップと、
    前記領域判定ステップが実行した領域の判定の結果に応じて、マクロブロック毎に符号化処理の内容を変化させながら、各視点の画像データを符号化して符号化ストリーム生成するステップと、
    を備える、映像処理方法。
JP2010152366A 2010-07-02 2010-07-02 映像処理装置、映像処理方法及びコンピュータプログラム Withdrawn JP2012015914A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2010152366A JP2012015914A (ja) 2010-07-02 2010-07-02 映像処理装置、映像処理方法及びコンピュータプログラム
US13/161,620 US20120002864A1 (en) 2010-07-02 2011-06-16 Image processing unit, image processing method, and computer program
CN2011101829865A CN102316345A (zh) 2010-07-02 2011-06-27 图像处理单元、图像处理方法及计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010152366A JP2012015914A (ja) 2010-07-02 2010-07-02 映像処理装置、映像処理方法及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
JP2012015914A true JP2012015914A (ja) 2012-01-19

Family

ID=45399749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010152366A Withdrawn JP2012015914A (ja) 2010-07-02 2010-07-02 映像処理装置、映像処理方法及びコンピュータプログラム

Country Status (3)

Country Link
US (1) US20120002864A1 (ja)
JP (1) JP2012015914A (ja)
CN (1) CN102316345A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6034010B2 (ja) 2011-10-24 2016-11-30 ソニー株式会社 符号化装置、符号化方法、およびプログラム
CN102595164A (zh) * 2012-02-27 2012-07-18 中兴通讯股份有限公司 一种视频图像发送方法、装置及系统
JP2014178739A (ja) 2013-03-13 2014-09-25 Sony Corp 画像処理装置及び画像処理方法、並びにプログラム
JP7118611B2 (ja) 2017-09-11 2022-08-16 キヤノン株式会社 画像処理装置、記録装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
CN102316345A (zh) 2012-01-11
US20120002864A1 (en) 2012-01-05

Similar Documents

Publication Publication Date Title
US11770558B2 (en) Stereoscopic video encoding and decoding methods and apparatus
JP6758125B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法及び符号化ビットストリームを記録した記録媒体
JP5575908B2 (ja) ２ｄビデオデータの３ｄビデオデータへの変換のための深度マップ生成技法
JP5241500B2 (ja) カメラパラメータを利用した多視点動画符号化及び復号化装置並びに方法と、これを行うためのプログラムの記録された記録媒体
AU2010231805B2 (en) Image signal decoding device, image signal decoding method, image signal encoding device, image signal encoding method, and program
JP5970609B2 (ja) ３ｄビデオ符号化における統一された視差ベクトル導出の方法と装置
KR101834688B1 (ko) 저 지연 조명 보상 프로세스 및 깊이 룩업 테이블 기반 코딩을 위한 방법
US20170230658A1 (en) Moving picture coding device, moving picture coding method, and moving picture coding program, and moving picture decoding device, moving picture decoding method, and moving picture decoding program
JP6033415B2 (ja) 透明度情報チャネルを有するビデオストリームをエンコードするための方法および装置
US20170289567A1 (en) Image coding apparatus, method for coding image, program therefor, image decoding apparatus, method for decoding image, and program therefor
CN113491115B (zh) 基于cclm预测的图像解码方法及其装置
JP5748463B2 (ja) 符号化装置およびプログラム
JP2024079763A (ja) 変換に基づく映像エンコード方法およびその装置
JP2024112926A (ja) 符号化及び復号化方法並びに装置
JP2012015914A (ja) 映像処理装置、映像処理方法及びコンピュータプログラム
JP7569918B2 (ja) デブロッキングフィルタリングに基づく映像コーディング方法及びその装置
KR20140124919A (ko) 객체 기반 적응적 밝기 보상 방법 및 장치
JP2012015603A (ja) 画像処理装置及び画像映像処理方法
CN116980593A (zh) 解码装置、编码装置和数据发送装置
Gu et al. Low complexity Bi-Partition mode selection for 3D video depth intra coding
JP2016116175A (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
CN112840649A (zh) 图像编码系统中通过使用块分割对图像解码的方法及其装置
CN117678224A (zh) 基于不可分离主变换的图像编码/解码方法和设备及存储比特流的存储介质
KR20240131329A (ko) 영상 인코딩/디코딩 방법 및 장치, 그리고 비트스트림을 저장한 기록 매체
CN118451707A (zh) 图像编码/解码方法和装置及存储比特流的记录介质

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20130903