JP2014093568A - 動画像符号化装置、撮像装置、及び動画像符号化装置の制御方法 - Google Patents
動画像符号化装置、撮像装置、及び動画像符号化装置の制御方法 Download PDFInfo
- Publication number
- JP2014093568A JP2014093568A JP2012241104A JP2012241104A JP2014093568A JP 2014093568 A JP2014093568 A JP 2014093568A JP 2012241104 A JP2012241104 A JP 2012241104A JP 2012241104 A JP2012241104 A JP 2012241104A JP 2014093568 A JP2014093568 A JP 2014093568A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- format
- image data
- prediction mode
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000003384 imaging method Methods 0.000 title claims description 10
- 238000006243 chemical reaction Methods 0.000 claims abstract description 34
- 238000011156 evaluation Methods 0.000 claims description 13
- 238000013507 mapping Methods 0.000 abstract 1
- 238000013139 quantization Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 4
- 238000007906 compression Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】回路規模の増大を抑制しつつ動画像符号化装置を複数の画像フォーマットに対応させる技術を提供する。
【解決手段】動画像データを一時的に格納する格納手段と、前記格納手段から取得した動画像データの、輝度成分及び各色差成分の比率に関するフォーマットを変換するフォーマット変換手段と、前記変換された動画像データに基づいて画面内予測符号化の予測モードを決定する決定手段と、前記格納手段から取得した動画像データを前記決定された予測モードで画面内予測符号化する符号化手段と、を備え、前記決定手段は、輝度成分及び各色差成分の比率が所定の比率である所定のフォーマットの動画像データに対応し、前記フォーマット変換手段は、前記格納手段から取得した動画像データのフォーマットが前記所定のフォーマットと異なる場合、前記格納手段から取得した動画像データのフォーマットを前記所定のフォーマットに変換することを特徴とする動画像符号化装置を提供する。
【選択図】図1
【解決手段】動画像データを一時的に格納する格納手段と、前記格納手段から取得した動画像データの、輝度成分及び各色差成分の比率に関するフォーマットを変換するフォーマット変換手段と、前記変換された動画像データに基づいて画面内予測符号化の予測モードを決定する決定手段と、前記格納手段から取得した動画像データを前記決定された予測モードで画面内予測符号化する符号化手段と、を備え、前記決定手段は、輝度成分及び各色差成分の比率が所定の比率である所定のフォーマットの動画像データに対応し、前記フォーマット変換手段は、前記格納手段から取得した動画像データのフォーマットが前記所定のフォーマットと異なる場合、前記格納手段から取得した動画像データのフォーマットを前記所定のフォーマットに変換することを特徴とする動画像符号化装置を提供する。
【選択図】図1
Description
本発明は、動画像符号化装置、撮像装置、及び動画像符号化装置の制御方法に関する。
従来、被写体を撮影し、撮影により得られた動画像データを圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。圧縮符号化方式としては、画面内予測やフレーム間動き予測を用いて高い圧縮率で圧縮可能なH.264方式が一般的に用いられている。
このような圧縮符号化方式のための入力画像フォーマットとして、4:2:0フォーマットと呼ばれる標準化されたフォーマットが存在する。4:2:0フォーマットとは、RGBなどのカラー動画像データを輝度成分(Y)と2つの色差成分(Cb、Cr)に変換し、水平方向・垂直方向ともに色差成分のサンプル数を輝度成分の半分に削減したフォーマットである。色差成分は輝度成分に比べて視認性が落ちることから、従来は主に4:2:0フォーマットが使用されていた。4:2:0フォーマットを使用する場合、符号化を行う前に色差成分のダウンサンプリングが行われるため、符号化対象の動画像データの情報量が削減される。
また、放送素材映像などの業務向け映像には、色差成分を水平方向にのみ半分にダウンサンプリングする4:2:2フォーマットが用いられることもある。更に、近年、ディスプレイの高解像度化や高階調化に伴い、色差成分をダウンサンプリングすることなく、輝度成分と同じサンプル数のまま符号化を行う符号化方式の開発も進んでいる。色差成分のサンプル数が輝度成分と同じフォーマットは、4:4:4フォーマットと呼ばれる。
4:2:0フォーマットの動画像データの符号化においては、輝度成分に対してのみ動き補償予測のための情報が多重化され、色差成分については、輝度成分の情報を用いて動き補償を行うことになっている。これは、4:2:0フォーマットでは画像情報のほとんどが輝度成分に集約されていること、及び、輝度信号に比べて色差成分の方が歪みの視認性が低く、映像再現性に関する寄与が小さいという特徴のもとに成り立つものである。
また、画面内予測のための情報に関しては、4:2:0フォーマットの動画像データの符号化においては、輝度成分に対しての情報が多重化されると共に、色差成分については、2つの色差成分に共通となる1つの情報が多重化される。これも、上述の動き補償予測の場合と同様に、4:2:0フォーマットでは、色差成分の歪みの視認性が低く、輝度成分に比べて映像再現性に関する寄与が小さいという特徴のもとに成り立つものである。
一方、4:4:4フォーマットでは、3つの成分が同程度に画像情報を持つため、4:2:0フォーマットのように、画像情報が1成分に大きく依存していることを前提とした符号化方式とは異なる符号化方式が望ましい。特許文献1には、4:4:4フォーマットに対応した符号化方式が開示されている。
一般的な動画像データの圧縮符号化技術によれば、画面内予測(イントラ予測)と呼ばれる、同一画面内の画素の予測処理が行われる。通常、イントラ予測処理では、多方向からの画素の比較によって画素値の差分の最適値を算出する。従って、イントラ予測を動画像符号化装置に実装する際には、予測モードの演算に要する処理負荷を考慮しなければならない。
ところで、4:2:0フォーマット、4:2:2フォーマット、及び4:4:4フォーマットの3種類の画像フォーマットに対応するためには、それぞれの画像フォーマットに対応したイントラ予測モード決定回路が必要である。従って、動画像符号化装置を複数の画像フォーマットに対応させると、演算負荷、ひいては回路規模が大きくなるという課題がある。
本発明はこのような状況に鑑みてなされたものであり、回路規模の増大を抑制しつつ動画像符号化装置を複数の画像フォーマットに対応させる技術を提供することを目的とする。
上記課題を解決するために、第1の本発明は、動画像データを一時的に格納する格納手段と、前記格納手段から取得した動画像データの、輝度成分及び各色差成分の比率に関するフォーマットを変換するフォーマット変換手段と、前記変換された動画像データに基づいて画面内予測符号化の予測モードを決定する決定手段と、前記格納手段から取得した動画像データを前記決定された予測モードで画面内予測符号化する符号化手段と、を備え、前記決定手段は、輝度成分及び各色差成分の比率が所定の比率である所定のフォーマットの動画像データに対応し、前記フォーマット変換手段は、前記格納手段から取得した動画像データのフォーマットが前記所定のフォーマットと異なる場合、前記格納手段から取得した動画像データのフォーマットを前記所定のフォーマットに変換することを特徴とする動画像符号化装置を提供する。
なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。
以上の構成により、本発明によれば、回路規模の増大を抑制しつつ動画像符号化装置を複数の画像フォーマットに対応させることが可能となる。
以下、添付図面を参照して、本発明の実施形態を説明する。なお、本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されるわけではない。また、実施形態の中で説明されている特徴の組み合わせすべてが、本発明に必須とは限らない。
[第1の実施形態]
図1は、第1の実施形態に係る動画像符号化装置100の構成を示すブロック図である。図1においては、動画像符号化装置100は、レンズや撮像センサー等を含む撮像部101を備える撮像装置として示されているが、撮像部101は必須の構成要素ではない。動画像符号化装置100は、撮像部101により生成された動画像データを一時的に格納するフレームメモリ102と、動きベクトルを探索する動き探索部103と、イントラ予測(画面内予測)の予測モードを決定するイントラ予測モード決定部104と、を備える。動画像符号化装置100はまた、画像フォーマットを変換する画像フォーマット変換部120と、インター予測及びイントラ予測のうちの一方を選択するイントラ・インター選択部105と、予測画像生成部106と、を備える。動画像符号化装置100はまた、減算器107と、整数変換部108と、量子化部109と、逆量子化部110と、逆整数変換部111と、加算器112と、ループ内フィルタ113と、を備える。動画像符号化装置100はまた、エントロピー符号化部115と、量子化制御部116と、符号量制御部117と、記録部118と、を備える。記録部118には、記録媒体119を装着することができる。
図1は、第1の実施形態に係る動画像符号化装置100の構成を示すブロック図である。図1においては、動画像符号化装置100は、レンズや撮像センサー等を含む撮像部101を備える撮像装置として示されているが、撮像部101は必須の構成要素ではない。動画像符号化装置100は、撮像部101により生成された動画像データを一時的に格納するフレームメモリ102と、動きベクトルを探索する動き探索部103と、イントラ予測(画面内予測)の予測モードを決定するイントラ予測モード決定部104と、を備える。動画像符号化装置100はまた、画像フォーマットを変換する画像フォーマット変換部120と、インター予測及びイントラ予測のうちの一方を選択するイントラ・インター選択部105と、予測画像生成部106と、を備える。動画像符号化装置100はまた、減算器107と、整数変換部108と、量子化部109と、逆量子化部110と、逆整数変換部111と、加算器112と、ループ内フィルタ113と、を備える。動画像符号化装置100はまた、エントロピー符号化部115と、量子化制御部116と、符号量制御部117と、記録部118と、を備える。記録部118には、記録媒体119を装着することができる。
撮像部101により生成された動画像データは、フレームメモリ102の入力画像の領域に順次格納される。動画像符号化装置100は、輝度成分及び各色差成分の比率が異なる複数の画像フォーマットに対応し、符号化対象画像の画像フォーマットをユーザが選択可能なように構成される。本実施形態では、動画像符号化装置100は、4:2:0フォーマット、4:2:2フォーマット、及び4:4:4フォーマットの3種類の画像フォーマットに対応するものとする。即ち、ユーザは、Y:Cb:Cr=4:2:0のフォーマット、Y:Cb:Cr=4:2:2のフォーマット、及びY:Cb:Cr=4:4:4のフォーマットの中から所望のフォーマットを選択することができる。フレームメモリ102には、ユーザが選択した画像フォーマットで動画像データが格納される。
動き探索部103は、フレームメモリ102から、符号化対象ブロックの画像データと、参照フレームの動き探索範囲の画像データとを読み出す。そして、動き探索部103は、探索範囲内の画像データと、符号化対象ブロックの画像データとのブロックマッチングにより、相関が高い場所を動きベクトルとして決定し、イントラ・インター選択部105に出力する。
イントラ予測モード決定部104は、画面内予測符号化(イントラ予測符号化)の予測モードを決定する。本実施形態では、イントラ予測モード決定部104は、図2に示すような複数の予測モードの中から予測モードを選択する。図2において、四角は1つの画素を示していて、白い四角が符号化対象ブロックの画素を示し、ハッチングされた四角は符号化対象ブロックの周辺画素を示している。各イントラ予測モードにおいて、符号化対象ブロックの周辺画素の画素値を矢印の方向に使用することにより、予測画像が生成される。図2(a)のVertical予測モードでは、符号化対象ブロックの上に隣接する画素を使用して予測画像が生成される。図2(b)のHorizontal予測モードでは、符号化対象ブロックの左に隣接する画素を使用して予測画像が生成される。図2(c)のDC予測モードでは、符号化対象ブロックの周辺画素の値の平均値が予測画像の全画素の値として使用される。図2(d)のPlane予測モードでは、符号化対象ブロックの各画素について符号化対象ブロックに隣接する複数の画素の値を用いた演算を行うことにより、予測画像が生成される。なお、イントラ予測モードの種類は、図2に示すものに限定されない。
イントラ予測モード決定部104は、輝度成分及び各色差成分の比率が所定の比率である所定のフォーマットの動画像データに対応する。具体例として、本実施形態では、イントラ予測モード決定部104は、4:2:0フォーマットの動画像データのみに対応した構成を有するものとする。
イントラ予測モード決定部104は、フレームメモリ102に格納されている符号化対象ブロックの画像データを、画像フォーマット変換部120を経由して、4:2:0フォーマットの画像データとして読み出す。同様に、イントラ予測モード決定部104は、フレームメモリ102に格納されている符号化対象ブロックの周辺の画像データを、画像フォーマット変換部120を経由して、4:2:0フォーマットの画像データとして読み出す。
画像フォーマット変換部120は、動画像データの画像フォーマットを、イントラ予測モード決定部104が対応する画像フォーマットに変換する。具体的には、入力される動画像データが4:2:2フォーマットの場合、画像フォーマット変換部120は、色差成分を垂直方向に1/2に縮小することにより、4:2:0フォーマットの動画像データを生成する。また、入力される動画像データが4:4:4フォーマットの場合、画像フォーマット変換部120は、色差成分を、水平、垂直ともにそれぞれ1/2に縮小することにより、4:2:0フォーマットの動画像データを生成する。また、入力される動画像データが4:2:0フォーマットの場合は、色差成分の縮小処理は行われない。
なお、イントラ予測モード決定部104では、4:2:0フォーマットを所定のフォーマットとする構成を例示したが、4:2:0フォーマットの代わりに、例えば4:2:2フォーマットの動画像データに対応していてもよい。この場合、画像フォーマット変換部120は、4:2:2フォーマットと異なる4:2:0フォーマット及び4:4:4フォーマットの動画像データを、4:2:2フォーマットの動画像データに変換する。
イントラ予測モード決定部104は、符号化対象ブロックの周辺の画像データを用いて、複数のイントラ予測モードの各々に対応する予測画像を生成する。そして、イントラ予測モード決定部104は、複数のイントラ予測モードの各々について、符号化対象ブロックと予測画像との相関を表す評価値を算出する。評価値は、例えば、符号化対象ブロックと予測画像との画素値の差分絶対値総和であり、評価値が小さいほど相関が高いことを示す。なお、評価値の算出方法はこれに限るものではない。イントラ予測モード決定部104は、輝度成分用のイントラ予測モードと、2つの色差成分に共通の、色差成分用のイントラ予測モードとを決定する。
次に、図3のフローチャートを参照して、イントラ予測モード決定部104の動作を説明する。S301で、イントラ予測モード決定部104は、各イントラ予測モードの評価値に対する重み係数の初期化を行う。初期化される値は、予め定められていてもよいし、ピクチャタイプや画像の特徴などによって適応的に決定されてもよい。
S302で、イントラ予測モード決定部104は、前述のように各イントラ予測モードに対応する予測画像を生成し、各イントラ予測モードの評価値を算出する。S303で、イントラ予測モード決定部104は、実行中の処理が輝度成分用の予測モードを決定する処理であるか否かを判定する。輝度成分用の予測モードを決定する処理の場合、処理はS306へ進み、そうでない場合、処理はS304へ進む。
S304で、イントラ予測モード決定部104は、ユーザが選択した画像フォーマット(即ち、画像フォーマット変換部120における変換前の画像フォーマット)が4:2:0フォーマットであるか否かを判定する。4:2:0フォーマットの場合、処理はS306へ進み、そうでない場合、処理はS305へ進む。
S305で、イントラ予測モード決定部104は、Plane予測に対する重み係数の値をS301で初期化した値よりも大きな値に更新する。前述のように、Plane予測では、符号化対象ブロックの各画素について符号化対象ブロックに隣接する複数の画素の値を用いた演算を行うことにより、予測画像が生成される。また、4:2:2フォーマットや4:4:4フォーマットから4:2:0フォーマットへの変換が行われると、色差成分のデータ量が変化する(本実施形態の例では、サンプル数が減少する)。そのため、4:2:2フォーマットや4:4:4フォーマットから4:2:0フォーマットへの変換が行われた動画像データについてPlane予測を行うと、予測画像の精度が落ちる。そこで、S305では、イントラ予測モード決定部104は、色差成分の予測モードについてはPlane予測モードが選択されにくくなるように、Plane予測に対する重み係数の値を大きくする。なお、イントラ予測モード決定部104は、Plane予測モードに限らず、フォーマットの変換に起因して予測画像の精度が落ちる予測モードについては重み係数の値を大きくするように構成されてもよい。
S306で、イントラ予測モード決定部104は、S302で算出した各イントラ予測モードの評価値に対してそれぞれ対応する重み係数を乗じたものを新たな評価値として算出する。そして、イントラ予測モード決定部104は、評価値が最小となるイントラ予測モードを、符号化に用いるイントラ予測モードとして決定する。イントラ予測モード決定部104は、輝度成分及び色差成分それぞれについて、決定したイントラ予測モードをイントラ・インター選択部105に通知する。
イントラ・インター選択部105は、動き探索部103の結果とイントラ予測モード決定部104の結果とを入力し、例えば、評価値が小さい方の予測方法を選択して、予測画像生成部106へ通知する。予測画像生成部106は、入力された予測方法に従って予測画像を生成し、減算器107へ出力する。予測画像生成部106は、インター予測が選択された場合は、フレームメモリ102から取得した参照フレームの画像データから予測画像を生成し、イントラ予測が選択された場合は、後述する加算器112が出力する再構成画像から予測画像を生成する。減算器107は、符号化対象ブロックと予測画像との差分を計算し、差分画像データを生成する。差分画像データは整数変換部108へ出力される。整数変換部108は、入力された差分画像データに整数変換を施し、量子化部109は、整数変換部108により得られた変換係数に対して量子化処理を行う。
エントロピー符号化部115は、量子化部109により量子化された変換係数をエントロピー符号化し、ストリームとして記録部118に出力する。ここで、量子化部109における量子化係数は、エントロピー符号化部115で発生した符号量や、符号量制御部117から設定される目標符号量などから、量子化制御部116が算出する。記録部118は、エントロピー符号化部115から出力されたストリームを記録媒体119に記録する。
また、量子化部109により量子化された変換係数は、逆量子化部110にも入力される。逆量子化部110は、入力された変換係数を逆量子化し、逆整数変換部111は、逆量子化された変換係数に対して逆整数変換処理を施す。
加算器112には、逆整数変換部111により得られたデータと、予測画像生成部106により生成された予測画像データとが入力され、加算される。加算後のデータは、復号された再構成画像データとなり、予測画像生成部106に入力されてイントラ予測画像データの生成に用いられる。また、再構成画像データは、ループ内フィルタ113によって符号化歪の軽減処理が施され、インター符号化の際に用いる参照画像データとしてフレームメモリ102の参照画像の領域に格納される。
以上説明したように、本実施形態によれば、画像フォーマット変換部120は、フレームメモリ102から取得した動画像データの、輝度成分及び各色差成分の比率に関するフォーマットを、イントラ予測モード決定部104が対応するフォーマットに変換する。
これにより、回路規模の増大を抑制しつつ動画像符号化装置を複数の画像フォーマットに対応させることが可能となる。
[第2の実施形態]
図4は、第2の実施形態に係る動画像符号化装置400の構成を示すブロック図である。図4において、図1と同一又は同様の構成要素については図1と同一の符号を付し、説明を省略する。動画像符号化装置400は、色空間変換部401を備える点、及び、イントラ予測モード決定部104の代わりにイントラ予測モード決定部402を備える点が、動画像符号化装置100と異なる。
図4は、第2の実施形態に係る動画像符号化装置400の構成を示すブロック図である。図4において、図1と同一又は同様の構成要素については図1と同一の符号を付し、説明を省略する。動画像符号化装置400は、色空間変換部401を備える点、及び、イントラ予測モード決定部104の代わりにイントラ予測モード決定部402を備える点が、動画像符号化装置100と異なる。
動画像符号化装置400は、符号化対象画像の画像フォーマットとして、第1の実施形態で説明した3つのフォーマットに加えて、R:G:B=4:4:4のフォーマットも選択することができる。R:G:B=4:4:4のフォーマットは、3つの色成分(R,G,B)のサンプル数が同じである点はY:Cb:Cr=4:4:4のフォーマットと同じであるが、色空間が異なっている。
イントラ予測モード決定部402は、Y:Cb:Cr=4:2:0のフォーマットの動画像データのみに対応している。従って、R:G:B=4:4:4のフォーマットが選択された場合、イントラ予測モード決定部402が対応するフォーマットの色空間は、符号化対象画像(フレームメモリ102に格納されている動画像データ)のフォーマットの色空間と異なっている。
色空間変換部401は、フレームメモリ102に格納されている符号化対象ブロックの画像データを、イントラ予測モード決定部402が対応するフォーマットの色空間(即ち、YCbCr色空間)に変換した上で、画像フォーマット変換部120に供給する。色空間変換部401は、符号化対象ブロックの周辺の画像データについても、同様の処理を行う。従って、イントラ予測モード決定部402には、対応する色空間の対応するフォーマットの画像データが入力される。
色空間変換部401は、RGB色空間からYCbCr色空間への変換を、下記の計算式に従って実行する。R成分、G成分、B成分の画素値をそれぞれ、R、G、Bとし、Y成分、Cb成分、Cr成分の画素値をそれぞれY、Cb、Crとすると、Y、Cb、Crは、
Y = 0.2126×R + 0.7152×G + 0.0722×B
Cb = 0.5389(B - Y)
Cr = 0.6350(R - Y)
の計算により算出される。なお、変換式は上述のものには限られない。
Y = 0.2126×R + 0.7152×G + 0.0722×B
Cb = 0.5389(B - Y)
Cr = 0.6350(R - Y)
の計算により算出される。なお、変換式は上述のものには限られない。
イントラ予測モード決定部402は、第1の実施形態と同様に、入力されたY:Cb:Cr=4:2:0のフォーマットの画像データに基づき、輝度成分用及び色差成分用それぞれのイントラ予測モードを決定する。そして、イントラ予測モード決定部402は、G成分用のイントラ予測モードとして、決定した輝度成分用のイントラ予測モードを選択し、B成分及びR成分用の共通のイントラ予測モードとして、決定した色差成分用のイントラ予測モードを選択する。或いは、イントラ予測モード決定部402は、決定した輝度成分用のイントラ予測モードを、R成分、G成分、及びB成分用の共通のイントラ予測モードとして選択してもよい。そして、イントラ予測モード決定部402は、選択したイントラ予測モードをイントラ・インター選択部105に通知する。
以上説明したように、本実施形態によれば、色空間変換部401は、フレームメモリ102から取得した動画像データの色空間を、イントラ予測モード決定部402が対応するフォーマットの色空間に変換する。イントラ予測モード決定部402は、フレームメモリ102に格納されている動画像データの色空間の各成分用のイントラ予測モードを、イントラ予測モード決定部402が対応するフォーマットの画像データに基づいて決定したイントラ予測モードの中から選択する。
これにより、回路規模の増大を抑制しつつ、動画像符号化装置を、色空間が異なる複数の画像フォーマットに対応させることが可能となる。
[その他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (10)
- 動画像データを一時的に格納する格納手段と、
前記格納手段から取得した動画像データの、輝度成分及び各色差成分の比率に関するフォーマットを変換するフォーマット変換手段と、
前記変換された動画像データに基づいて画面内予測符号化の予測モードを決定する決定手段と、
前記格納手段から取得した動画像データを前記決定された予測モードで画面内予測符号化する符号化手段と、
を備え、
前記決定手段は、輝度成分及び各色差成分の比率が所定の比率である所定のフォーマットの動画像データに対応し、
前記フォーマット変換手段は、前記格納手段から取得した動画像データのフォーマットが前記所定のフォーマットと異なる場合、前記格納手段から取得した動画像データのフォーマットを前記所定のフォーマットに変換する
ことを特徴とする動画像符号化装置。 - 前記決定手段は、所定の予測モードを含む複数の予測モードの各々について符号化対象ブロックと予測画像との相関を表す評価値を算出し、当該評価値に基づいて前記複数の予測モードのうちの1つを選択し、
前記所定の予測モードは、符号化対象ブロックの各画素について当該符号化対象ブロックに隣接する複数の画素の値を用いた予測を行うことにより予測画像を生成する予測モードであり、
前記決定手段は、前記フォーマット変換手段による変換によりデータ量が変化した成分の予測モードについては、データ量が変化しない場合に比べて前記所定の予測モードが選択されにくくなるように前記評価値に対する重み付けを行う
ことを特徴とする請求項1に記載の動画像符号化装置。 - 前記所定の予測モードは、Plane予測を行う予測モードである
ことを特徴とする請求項2に記載の動画像符号化装置。 - 前記格納手段に格納される動画像データのフォーマットは、Y:Cb:Cr=4:4:4のフォーマット、Y:Cb:Cr=4:2:2のフォーマット、又はY:Cb:Cr=4:2:0のフォーマットであり、
前記所定のフォーマットは、Y:Cb:Cr=4:2:0のフォーマットである
ことを特徴とする請求項1乃至3のいずれか1項に記載の動画像符号化装置。 - 前記格納手段に格納される動画像データの色空間が前記所定のフォーマットの色空間と異なる場合に、当該動画像データの色空間を前記所定のフォーマットの色空間に変換する色空間変換手段を更に備える
ことを特徴とする請求項1乃至4のいずれか1項に記載の動画像符号化装置。 - 前記所定のフォーマットの色空間は、YCbCr色空間である
ことを特徴とする請求項5に記載の動画像符号化装置。 - 前記格納手段に格納される動画像データの色空間は、RGB色空間である
ことを特徴とする請求項5又は6に記載の動画像符号化装置。 - 動画像データを生成する撮像手段と、
請求項1乃至7のいずれか1項に記載の動画像符号化装置と、
を備えることを特徴とする撮像装置。 - 動画像データを一時的に格納する格納手段を有する動画像符号化装置の制御方法であって、
前記動画像符号化装置のフォーマット変換手段が、前記格納手段から取得した動画像データの、輝度成分及び各色差成分の比率に関するフォーマットを変換するフォーマット変換工程と、
前記動画像符号化装置の決定手段が、前記変換された動画像データに基づいて画面内予測符号化の予測モードを決定する決定工程と、
前記動画像符号化装置の符号化手段が、前記格納手段から取得した動画像データを前記決定された予測モードで画面内予測符号化する符号化工程と、
を備え、
前記決定工程は、輝度成分及び各色差成分の比率が所定の比率である所定のフォーマットの動画像データに対応し、
前記フォーマット変換工程では、前記格納手段から取得した動画像データのフォーマットが前記所定のフォーマットと異なる場合、前記格納手段から取得した動画像データのフォーマットを前記所定のフォーマットに変換する
ことを特徴とする制御方法。 - コンピュータに、請求項9に記載の制御方法の各工程を実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012241104A JP2014093568A (ja) | 2012-10-31 | 2012-10-31 | 動画像符号化装置、撮像装置、及び動画像符号化装置の制御方法 |
US14/037,780 US20140119448A1 (en) | 2012-10-31 | 2013-09-26 | Moving image encoding apparatus, image capturing apparatus, and method of controlling moving image encoding apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012241104A JP2014093568A (ja) | 2012-10-31 | 2012-10-31 | 動画像符号化装置、撮像装置、及び動画像符号化装置の制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2014093568A true JP2014093568A (ja) | 2014-05-19 |
Family
ID=50547171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012241104A Pending JP2014093568A (ja) | 2012-10-31 | 2012-10-31 | 動画像符号化装置、撮像装置、及び動画像符号化装置の制御方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20140119448A1 (ja) |
JP (1) | JP2014093568A (ja) |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4743959A (en) * | 1986-09-17 | 1988-05-10 | Frederiksen Jeffrey E | High resolution color video image acquisition and compression system |
TW508940B (en) * | 2000-03-28 | 2002-11-01 | Omnivision Tech Inc | Method and apparatus for color image date processing and compression |
CN1312939C (zh) * | 2001-01-25 | 2007-04-25 | 株式会社尼康 | 图像处理方法、图像处理程序、图像处理装置 |
EP1406447A1 (en) * | 2002-10-04 | 2004-04-07 | STMicroelectronics S.r.l. | Method and system for processing signals via perceptive vectorial quantization, computer program product therefor |
ZA200509227B (en) * | 2003-05-15 | 2007-05-30 | Thomson Licensing | Method and apparatus for representing image granularity by one or more parameters |
US7254272B2 (en) * | 2003-08-21 | 2007-08-07 | International Business Machines Corporation | Browsing JPEG images using MPEG hardware chips |
US7859574B1 (en) * | 2005-07-19 | 2010-12-28 | Maxim Integrated Products, Inc. | Integrated camera image signal processor and video encoder |
US8619866B2 (en) * | 2009-10-02 | 2013-12-31 | Texas Instruments Incorporated | Reducing memory bandwidth for processing digital image data |
US8705623B2 (en) * | 2009-10-02 | 2014-04-22 | Texas Instruments Incorporated | Line-based compression for digital image data |
US8588536B2 (en) * | 2010-02-22 | 2013-11-19 | Texas Instruments Incorporated | Guaranteed-rate tiled image data compression |
US8615043B2 (en) * | 2010-03-04 | 2013-12-24 | Texas Instruments Incorporated | Fixed length coding based image data compression |
-
2012
- 2012-10-31 JP JP2012241104A patent/JP2014093568A/ja active Pending
-
2013
- 2013-09-26 US US14/037,780 patent/US20140119448A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20140119448A1 (en) | 2014-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180027257A1 (en) | Image processing device and image processing method | |
JP4194479B2 (ja) | 画像処理装置及び方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体 | |
JP6149707B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像撮影装置 | |
US9485513B2 (en) | Encoding device, decoding device, and program | |
JP2012034213A (ja) | 画像処理装置、画像処理システムおよび画像処理方法 | |
JP5156704B2 (ja) | 画像符号化装置、画像符号化方法、集積回路及びカメラ | |
JP6137817B2 (ja) | 画像符号化装置、画像符号化方法及びプログラム | |
WO2010050089A1 (ja) | 動画像圧縮符号化における符号化処理方法及び符号化処理装置 | |
JP5943733B2 (ja) | 画像符号化装置およびその制御方法ならびにプログラム | |
JP2009218965A (ja) | 画像処理装置、それを搭載した撮像装置、および画像再生装置 | |
JP6152642B2 (ja) | 動画像圧縮装置、動画像復号装置およびプログラム | |
JP6066583B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
JP6190103B2 (ja) | 動画像符号化装置、動画像符号化方法およびプログラム | |
JP2018032909A (ja) | 画像符号化装置及びその制御方法及び撮像装置及びプログラム | |
JP2014093568A (ja) | 動画像符号化装置、撮像装置、及び動画像符号化装置の制御方法 | |
US10531112B2 (en) | Signal processing apparatus, imaging apparatus, and signal processing method to reduce electric power required for signal processing | |
KR100771138B1 (ko) | 촬영 장치 및 영상 보정 방법 | |
JP2017200199A (ja) | 動画像圧縮装置、動画像復号装置およびプログラム | |
WO2022196133A1 (ja) | 符号化装置及び方法 | |
JP2011004051A (ja) | 動画像符号化方法,動画像符号化装置および動画像符号化プログラム | |
JP2009278473A (ja) | 画像処理装置、それを搭載した撮像装置、および画像再生装置 | |
JP4857152B2 (ja) | 直交変換・量子化装置 | |
JP2012222460A (ja) | 動画像符号化装置、動画像符号化方法及びプログラム | |
JP2022145499A (ja) | 符号化装置及び方法 | |
JP2019036992A (ja) | 圧縮装置、復号装置およびプログラム |