JP2016184912A - 符号化装置および符号化方法 - Google Patents

符号化装置および符号化方法 Download PDF

Info

Publication number
JP2016184912A
JP2016184912A JP2015065389A JP2015065389A JP2016184912A JP 2016184912 A JP2016184912 A JP 2016184912A JP 2015065389 A JP2015065389 A JP 2015065389A JP 2015065389 A JP2015065389 A JP 2015065389A JP 2016184912 A JP2016184912 A JP 2016184912A
Authority
JP
Japan
Prior art keywords
unit
motion
data
encoding
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015065389A
Other languages
English (en)
Other versions
JP6086619B2 (ja
Inventor
宮下 敦
Atsushi Miyashita
敦 宮下
武居 裕之
Hiroyuki Takei
裕之 武居
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Kokusai Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2015065389A priority Critical patent/JP6086619B2/ja
Priority to EP16771901.2A priority patent/EP3276960A4/en
Priority to PCT/JP2016/053781 priority patent/WO2016158017A1/ja
Priority to US15/555,246 priority patent/US10356419B2/en
Priority to KR1020177023920A priority patent/KR101848221B1/ko
Publication of JP2016184912A publication Critical patent/JP2016184912A/ja
Application granted granted Critical
Publication of JP6086619B2 publication Critical patent/JP6086619B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

【課題】本発明の目的は、映像信号の符号化に伴う動き検知の精度向上を図ることである。【解決手段】本発明の符号化装置は、映像信号入力部と、カメラアングルおよびレンズのズーム倍率の状態情報入力部を有する符号化装置であって、符号化装置は制御部と符号化部を備え、符号化部はI処理部とP処理部と選択部とバッファメモリ部と復号部と動き相関部と重み付け部と判定部を有し、重み付け部は状態情報に応じて重み付けを変更し、選択部はI処理部の出力とP処理部の出力および判定部の出力の中で一つを選択することを特徴とする。【選択図】 図1

Description

本発明は、符号化装置および符号化方法に関するものである。
従来、MPEG1(Moving Picture Experts Group Phase1)、MPEG2、H.264、H.265等の動画像符号化は、小ブロック(16x16)ごとに動き補償予測誤差信号とフレーム内画素信号のどちらをDCT(Discrete Cosine Transform)するのが有利かを判定する。判定はブロック内分散の小さい方を用いる。選択した信号は、例えば、DCT変換を施す。DCT係数はブロックごとに定められた量子化ステップで量子化後、量子化代表値に対して可変長符号を割り当てる。動きベクトル情報に対しても可変長符号を割り当てるが、効率向上のため、近傍のベクトルとの差分ベクトルに対して符号を割り当てる。
先行技術文献として、例えば、特許文献1では、圧縮符号化された画像のデータについて、例えば、画像認識機能や画像合成機能を有し、背景の画像のデータを入れ換えることが可能な圧縮画像処理装置の技術が開示されている。
特開2005−229262号公報
本発明の目的は、映像信号の符号化に伴う動きベクトル検出の精度向上を図ることである。
本発明の符号化装置は、映像信号入力部と、カメラアングルおよびレンズのズーム倍率の状態情報入力部を有する符号化装置であって、符号化装置は制御部と符号化部を備え、符号化部はI処理部とP処理部と選択部とバッファメモリ部と復号部と動き相関部と重み付け部と判定部を有し、重み付け部は状態情報に応じて重み付けを変更し、選択部はI処理部の出力とP処理部の出力および判定部の出力の中で一つを選択することを特徴とする。
また、本発明の符号化装置は、上述の符号化装置であって、符号化部はさらに動き補正部を有し、動き補正部は判定部の出力と復号部で復号する映像データを基に動き補正した映像信号を生成することを特徴とする。
また、本発明の符号化方法は、画像データのI処理を行うステップと、画像データのP処理を行うステップと、現在の画像データと1フレーム前の画像データから画像データの一致度を検出する動き相関データ検出ステップと、カメラアングルおよびレンズのズーム倍率の状態情報から一致度の重み付けを変更するステップと、動き相関データのピークを判定して動きデータを生成するステップと、動きデータに基づいて動き分と補正した画像を生成するステップと、I処理したデータとP処理したデータと動きデータの内の一つを選択する選択ステップとを有することを特徴とする。
さらに、本発明の符号化方法は、上述の符号化方法であって、さらに選択ステップで選択したデータを復号する復号ステップと、該ステップで復号したデータの動き補正を行う動き補正ステップとを有することを特徴とする。
本発明によれば、映像信号の符号化に伴う動きベクトル検出の精度向上を図ることができる。
本発明の一実施例に係る符号化装置を説明するためのブロック図である。 I処理部を説明するためのブロック図である。 P処理部を説明するためのブロック図である。 M相関部を説明するためのブロック図である。 判定部を説明するためのブロック図である。 移動中カメラのアングルの違いによる画像について説明するための図である。 移動中カメラの画角の違いによる画像について説明するための図である。 本発明の一実施例に係る符号化装置の画角による横方向動きベクトルの低下について説明するための図である。 本発明の一実施例に係る符号化装置の静止画像時における動作を説明するための図である。 図9Aの一致度信号cmを検出するための処理過程を説明するための図である(その1)。 図9Aの一致度信号cmを検出するための処理過程を説明するための図である(その2)。 図9Aと図10Aのブロックを説明するための図である。 本発明の一実施例に係る符号化装置の動画像時における動作を説明するための図である。 図10Aの一致度信号cmを検出するための処理過程を説明するための図である(その1)。 図10Aの一致度信号cmを検出するための処理過程を説明するための図である(その2)。 本発明の他の一実施例に係る符号化装置を説明するためのブロック図である。
以下、本発明の実施形態について図面を参照して詳細に説明する。
本発明の実施形態である符号化装置は、中継車等の移動体に搭載したカメラから出力される映像信号を符号化する際に、カメラの撮影方向(アングル)とレンズのズーム倍率等の状態情報を動き補正に反映させて処理量の低減と動き検知の精度を向上させるものである。
図1は本発明の一実施例に係る符号化装置を説明するためのブロック図である。
図1において、符号化装置120は、カメラ110と状態検知部111とに接続されている。なお、状態検知部111は符号化装置120に内蔵されていてもよい。
符号化装置120は、映像信号VIを入力する映像信号入力部と、状態情報Vwを入力する状態情報入力部を有する。
状態検知部111は、カメラ110の撮影方向であるアングルIangleと、カメラ110に接続されているレンズのズーム倍率Ilensを検知して生成した状態情報Vwを符号化装置120の重み付け部137に出力する。
符号化装置120は、制御部121と符号化部130とSG(Sync Generator)部140で構成されている。
制御部121は、ビットレート制御信号とSUMを入力し、comp制御信号とI/P/m制御信号を出力する。
画像圧縮を行う符号化部130は、I(Intra-coded Picture)処理部131、P(Predictive-coded Picture)処理部132、選択部133、バッファメモリ部134、復号部135、M(Moving、動き)相関部136、重み付け部137、判定部138、M(Moving、動き)補正部139で構成されている。
SG部140は、符号化装置120の全体に同期信号を供給するものである。
符号化部130は、入力された映像信号VIをI処理部131で圧縮データI−CDを生成し、P処理部132で圧縮データP−CDを生成し、M相関部136と重み付け部137と判定部138で動きデータMvを生成し、選択部133で圧縮データI−CDまたはP−CDまたは動きデータMvを選択し、選択したデータS−CDMをバッファメモリ部134に出力し、バッファメモリ部134から圧縮データを出力する。なお、復号部135はS−CDMを復号し、復号した映像信号V−DEMをM相関部136に出力する。
M補正部139は、動きデータMvと映像信号V−DEMから映像信号Vm−DEMを生成し、生成した映像信号Vm−DEMをP処理部132に出力する。
制御部121から出力するcomp制御信号は、I処理とP処理の発生符号量を増減させる制御信号であり、I処理部とP処理部は量子化の粗さを変化させることで、発生符号量を増減させるものである。
また、制御部121から出力するI/P/M制御信号は、選択部133への制御信号であり、I処理によるデータI−CDか、P処理のデータP−CDか、または動きデータMvを選択する信号である。
また、制御部121に入力するSUMは、バッファメモリ部134に貯まった圧縮データ量に関する信号である。
制御部121は、SUMの量の多少を見ながら、comp制御信号にて量子化の粗さ、すなわち新たな発生データ量をコントロールする。
(I処理部の説明)
図2はI処理部を説明するためのブロック図である。
図2において、I処理部131は、変換部201、量子化部202、ハフマン符号部203で構成され、入力された映像信号VIを変換部201で例えばDCT(Discrete Cosine Transform)変換し、量子化部202とハフマン符号部203で圧縮データI−CDを作成して出力する。
(P処理部の説明)
図3はP処理部を説明するためのブロック図である。
図3において、P処理部132は、差分部304、変換部301、量子化部302、ハフマン符号部303で構成され、差分部304で入力された現フレームの映像信号VIと前フレームの映像信号Vm−DEMとの差分をとり、差分の映像信号を変換部301で例えばDCT(Discrete Cosine Transform)変換し、量子化部302とハフマン符号部303で圧縮データP−CDを作成して出力する。
なお、昨今、ハフマン符号部はエントロピー符号化部等と呼ばれることもある。
(M相関部の説明)
図4はM相関部を説明するためのブロック図である。
図4において、M相関部136は、メモリi部401、メモリdem部402、一致度検出部403で構成されている。
メモリi部401は、映像信号VIを記憶し、一致度検出部403に出力する。
メモリdem部402は、映像信号V−DEMを記憶し、一致度検出部403に出力する。
一致度検出部403は、映像信号VIと映像信号V−DEMの一致度を検出し、検出した一致度信号cmを出力する。一致度信号cmは、以降では画素数3x3、動き探索範囲を±1とした例で説明するが、実機においては、例えば、画素数8x8、動き探索範囲を±7などと大きなブロックでかつ探索範囲も広いことが多い。
(判定部の説明)
図5は判定部を説明するためのブロック図である。
図5において、判定部138は、ピーク検出部501、ピーク値比較部502、位置記憶&置換部503で構成されている。
ピーク検出部501は、一致度信号cmからピークを検出し、位置記憶&置換部503に出力する。
ピーク値比較部502は、一致度信号cmからピーク値を比較し、位置記憶&置換部503に出力する。
位置記憶&置換部503は、ピーク検出部501とピーク値比較部502から出力された信号から動きデータMvとして出力する。
(カメラアングルの違いによる画像の説明)
図6は移動中カメラのアングルの違いによる画像について説明するための図である。
図6(A)は、カメラ110を搭載した中継車611がマラソンや駅伝等の走者601〜603を左面から撮影した場合である。
表示画面612は、カメラ110が撮影した画像を表示しており、走者601〜603がほぼ静止状態であるのに対し、背景の左から右への動きが大きい状態である。
図6(B)は、カメラ110を搭載した中継車621がマラソンや駅伝等の走者604,605を正面から撮影した場合である。
表示画面622は、カメラ110が撮影した画像を表示しており、走者604,605がほぼ静止状態であるのに対し、背景の中央から周辺への動きが大きい状態である。
(移動中カメラの画角の違いによる画像の説明)
図7は移動中カメラの画角の違いによる画像について説明するための図である。
図7(A)は、カメラ110を搭載した中継車711がマラソンや駅伝等の走者701,702を正面から撮影し、レンズが望遠設定(例えば、ズーム倍率を10倍)の場合である。
表示画面721は、カメラ110が撮影した画像を表示しており、走者701,702が大きく表示され、ほぼ静止状態であるのに対し、背景の中央から周辺への動きがある状態である。
図7(B)は、カメラ110を搭載した中継車711がマラソンや駅伝等の走者701,702を正面から撮影し、レンズが広角設定(例えば、ズーム倍率を1倍)の場合である。
表示画面722は、カメラ110が撮影した画像を表示しており、走者701,702が小さく表示され、ほぼ静止状態であるのに対し、背景の中央から周辺への動きがある状態である。
(画角による横方向動きベクトルの低下説明)
図8は本発明の一実施例に係る符号化装置の画角による横方向動きベクトルの低下について説明するための図である。
図8(A)はカメラのアングルと画角を説明するための図である。
図8(A)おいて、カメラ110は、中継車811に走行方向におけるアングル(撮影方向)をA°とし、撮影方向をC(Center)とし、撮影方向のL(Left)端を+Z°とし、撮影方向のR(Right)端を−Z°とする。背景は観客および街並み801である。
図8(B)は、カメラが図8(A)のときの表示画面821である。L端が表示画面821の左端であり、Cが表示画面821の中央であり、R端が表示画面821の右端である。
中継車811が走行しているため、表示画面821の観客および街並み801は、Aがプラスの場合には左から右へと移動し、Aがマイナスの場合には右から左へと移動する。
図8(C)はカメラの画角による横方向動きベクトルの低下について説明するためのテーブル図である。
図8(C)において、例えば、Aが30°であり、Zが45°の場合、動きベクトルは、L端で0.97、Centerで0.50、R端で−0.26に低下する。
なお、図8(C)の画角による横方向動きベクトルの低下テーブルは、例えば、重み付け部137に記憶されている。
(符号化装置の動作説明)
(静止画像の場合)
次に、本発明の一実施例に係る符号化装置の動作について説明する。
図9Aは本発明の一実施例に係る符号化装置の静止画像時における動作を説明するための図である。
図9Bは図9Aの一致度信号cmを検出するための処理過程を説明するための図である(その1)。
図9Cは図9Aの一致度信号cmを検出するための処理過程を説明するための図である(その2)。
図9Dは図9Aと図10Aのブロックを説明するための図である。
図9A(A)は、カメラ110から出力された1フレーム前の映像信号VIを2次元表示した図である。
図9A(B)は、カメラ110から出力された現フレームの映像信号VIを2次元表示した図である。
図9A(A)(B)において、画像サイズは12画素x9画素であり、横軸がXで縦軸がYであり、数値がアドレスを示している。表記はVI(X,Y)とする。
図9A(C)は、復号部135から出力された映像信号V−DEMを2次元表示した図である。
カメラ110から出力された映像信号VIが静止画のため、図9Aの(A)(B)(C)は、同一の映像信号である。
図9A(D)は、M相関部136から出力される一致度信号cmを説明するための図である。
図4において、M相関部136のメモリi部401は映像信号VIを記憶し、メモリdem部402は映像信号V−DEMを記憶する。
一致度検出部403は、メモリi部401から出力される映像信号VIとメモリdem部402から出力される映像信号V−DEMの一致度を検出し、X,Y=(−1,−1)の一致度を演算し、続いてX,Y=0,−1、X,Y=+1,−1・・・と演算し、3x3のマトリクス検出した一致度信号cmを出力する。
上述の一致度信号cmの出力については、例えば、図9B及び図9Cに示したように一致度検出される。そして、図9A(D)がVI(1,1)の一致度信号cmを示し、映像信号VIが静止画であるため、cm(0,0)の位置で一致度が最高値となっている。
図9A(E)は、判定部138から出力される動きデータMvを説明するための図である。
判定部138に入力される信号は、M相関部136から出力される一致度信号cmに重み付け部137で所定の係数が乗算される。
重み付け部137で乗算される係数は、図8(C)の画角による横方向動きベクトルのテーブルによる。
例えば、カメラ110のAが30°でZが45°、画面位置がL端の場合は一致度信号cmに0.97を乗算する。また、カメラ110のAが30°でZが45°、画面位置がR端の場合は一致度信号cmに0.26(−0.26の絶対値)を乗算する。
図5において、判定部138に入力された重み付けされた一致度信号cmは、ピーク検出部501でピークを検出され、ピーク値比較部502で1フレーム前の一致度信号cmと比較され、位置記憶&置換部503に入力される。
位置記憶&置換部503は、一致度信号cmに所定ピークに達する有効な相関値がある場合にはピーク位置を記憶し、置換して出力する。
図9A(E)は、一致度信号cmに所定ピークに達する有効な相関値がある場合であるのでピーク位置を記憶し、Mv=0,0に置換した場合である。
なお、ピークの位置を記憶する記憶部と、置換するための置換テーブルは、例えば、位置記憶&置換部503に有している。
図9Aの処理は、例えば、図9Dの各ブロック単位で行う。
(動画像の場合)
図10Aは本発明の一実施例に係る符号化装置の動画像時における動作を説明するための図である。
図10Bは図10Aの一致度信号cmを検出するための処理過程を説明するための図である(その1)。
図10Cは図10Aの一致度信号cmを検出するための処理過程を説明するための図である(その2)。
図10A(A)は、カメラ110から出力された1フレーム前の映像信号VIを2次元表示した図である。
図10A(B)は、カメラ110から出力された現フレームの映像信号VIを2次元表示した図である。図10A(B)は、図10A(A)から右へ1ブロック移動した場合である。
図10A(A)(B)において、画像サイズは12画素x9画素であり、横軸がXで縦軸がYであり、数値がアドレスを示している。表記はVI(X,Y)とする。
図10A(C)は、復号部135から出力された映像信号V−DEMを2次元表示した図である。
図10A(D)は、M相関部136から出力される一致度信号cmを説明するための図である。
図4において、M相関部136のメモリi部401は映像信号VIを記憶し、メモリdem部402は映像信号V−DEMを記憶する。
一致度検出部403は、メモリi部401から出力される映像信号VIとメモリdem部402から出力される映像信号V−DEMの一致度を検出し、先の静止画像の場合と同様に、X,Y=(−1,−1)の一致度を演算し、続いてX,Y=0,−1、X,Y=+1,−1・・・と演算し、3x3のマトリクス検出した一致度信号cmを出力する。
上述の一致度信号cmの出力については、例えば、図10B及び図10Cに示したように一致度検出される。そして、図10A(D)がVI(1,1)の一致度信号cmを示していて、映像信号VIが動画像であるため、cm(1,0)の位置で一致度が最高値となっている。
図10A(E)は、判定部138から出力される動きデータMvを説明するための図である。
判定部138に入力される信号は、M相関部136から出力される一致度信号cmに重み付け部137で所定の係数が乗算される。
重み付け部137で乗算される係数は、図8(C)の画角による横方向動きベクトルのテーブルによる。
例えば、カメラ110のAが30°でZが45°、画面位置がL端の場合は一致度信号cmに0.97を乗算する。また、カメラ110のAが30°でZが45°、画面位置がR端の場合は一致度信号cmに0.26(−0.26の絶対値)を乗算する。
図5において、判定部138に入力された重み付けされた一致度信号cmは、ピーク検出部501でピークを検出され、ピーク値比較部502で1フレーム前の一致度信号cmと比較され、位置記憶&置換部503に入力される。
位置記憶&置換部503は、一致度信号cmに所定ピークに達する有効な相関値がある場合にはピーク位置を記憶し、一致度信号cmに所定ピークに達する有効な相関値がない場合にはMv=0,0に置換して出力する。なお、理想上で比較した場合には一致度信号cmに所定ピークに達する有効な相関値画像がある場合であっても、撮像条件やその品質等により、必ずしも一致度信号cmに所定ピークに達する有効な相関値が得られない場合もあり、そのような場合にはMv=0,0に置換して出力することも可能であり、また、所定のピーク値を適宜撮像条件等を考慮し状況により変更することも可能である。
図10A(E)は、一致度信号cmに所定ピークに達する有効な相関値がある場合であるのでピーク位置を記憶し、Mv=1,0に置換した場合である。
本発明の実施形態である符号化装置は、カメラが移動撮影時、カメラの撮影方向(アングル)とレンズのズーム倍率を動きベクトル検出の重み付けに適用することにより、動きベクトル検出の精度を高めることができ、かつ動きベクトルの処理量を低減することができる。
図11のように、M相関は、入力VIを1フレーム遅延した信号で行う構成でもよい。なお、1101が入力VIを1フレーム遅延させるためのフレームメモリ部である。
以上本発明について詳細に説明したが、本発明は、ここに記載された符号化装置に限定されるものではなく、上記以外の符号化装置に広く適用することができることは言うまでもない。
なお、本発明の実施形態である符号化装置がFPU(Field Pickup Unit)等の一部であってもよい。
画像データの動き量を少ない処理で生成できることによって、4K(横3840画素x縦2160画素)や8K(横7680画素x縦4320画素)等の高画素カメラの映像信号から圧縮データを生成する用途にも適用できる。
110:カメラ、111:状態検知部、120:符号化装置、121:制御部、130:符号化部、131:I処理部、132:P処理部、133:選択部、134:バッファメモリ部、135:復号部、136:M相関部、137重み付け部、138:判定部、139:M補正部、140:SG部、201,301:変換部、202,302:量子化部、203,303:ハフマン符号部、304:差分部、401:メモリi部、402:メモリdem部、403:一致度検出部、501:ピーク検出部、502:ピーク値比較部、503:位置記憶&置換部。

Claims (4)

  1. 映像信号入力部と、カメラアングルおよびレンズのズーム倍率の状態情報入力部を有する符号化装置であって、
    前記符号化装置は、制御部と符号化部を備え、
    前記符号化部は、I処理部とP処理部と選択部とバッファメモリ部と復号部と動き相関部と重み付け部と判定部を有し、
    前記重み付け部は、前記状態情報に応じて重み付けを変更し、
    前記選択部は、前記I処理部の出力と前記P処理部の出力および判定部の出力の中で一つを選択することを特徴とする符号化装置。
  2. 請求項1に記載の符号化装置において、
    前記符号化部は、さらに動き補正部を有し、
    前記動き補正部は、前記判定部の出力と前記復号部で復号する映像データを基に動き補正した映像データを生成することを特徴とする符号化装置。
  3. 画像データのI処理を行うステップと、画像データのP処理を行うステップと、現在の画像データと1フレーム前の画像データから画像データの一致度を検出する動き相関データ検出ステップと、カメラアングルおよびレンズのズーム倍率の状態情報から前記一致度の重み付けを変更するステップと、前記動き相関データのピークを判定して動きデータを生成するステップと、動きデータに基づいて動き分と補正した画像を生成するステップと、I処理したデータとP処理したデータと動きデータの内の一つを選択する選択ステップとを有することを特徴とする符号化方法。
  4. 請求項3に記載の符号化方法において、
    さらに前記選択ステップで選択したデータを復号する復号ステップと、該ステップで復号したデータの動き補正を行う動き補正ステップとを有することを特徴とする符号化方法。
JP2015065389A 2015-03-27 2015-03-27 符号化装置および符号化方法 Active JP6086619B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015065389A JP6086619B2 (ja) 2015-03-27 2015-03-27 符号化装置および符号化方法
EP16771901.2A EP3276960A4 (en) 2015-03-27 2016-02-09 Encoding device and encoding method
PCT/JP2016/053781 WO2016158017A1 (ja) 2015-03-27 2016-02-09 符号化装置および符号化方法
US15/555,246 US10356419B2 (en) 2015-03-27 2016-02-09 Encoding device and encoding method
KR1020177023920A KR101848221B1 (ko) 2015-03-27 2016-02-09 부호화 장치 및 부호화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015065389A JP6086619B2 (ja) 2015-03-27 2015-03-27 符号化装置および符号化方法

Publications (2)

Publication Number Publication Date
JP2016184912A true JP2016184912A (ja) 2016-10-20
JP6086619B2 JP6086619B2 (ja) 2017-03-01

Family

ID=57004506

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015065389A Active JP6086619B2 (ja) 2015-03-27 2015-03-27 符号化装置および符号化方法

Country Status (5)

Country Link
US (1) US10356419B2 (ja)
EP (1) EP3276960A4 (ja)
JP (1) JP6086619B2 (ja)
KR (1) KR101848221B1 (ja)
WO (1) WO2016158017A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019149754A (ja) * 2018-02-28 2019-09-05 株式会社日立国際電気 映像符号化装置及び映像符号化方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017020181A1 (en) * 2015-07-31 2017-02-09 SZ DJI Technology Co., Ltd. Method of sensor-assisted rate control
WO2017020184A1 (en) 2015-07-31 2017-02-09 SZ DJI Technology Co., Ltd. Methods of modifying search areas

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257366A (ja) * 1997-03-11 1998-09-25 Canon Inc 画像処理装置及び方法
JP2008211508A (ja) * 2007-02-26 2008-09-11 Canon Inc 動きベクトル探索装置、動きベクトル探索方法、動きベクトル探索プログラム、及びコンピュータ読み取り可能な記録媒体
JP2011087270A (ja) * 2009-09-17 2011-04-28 Victor Co Of Japan Ltd 画像符号化装置及び画像符号化方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FI89121C (fi) * 1991-11-11 1993-08-10 Nokia Oy Ab Foerfarande foer soekning av roerelsevektorer foer en videosignal
US5301019A (en) * 1992-09-17 1994-04-05 Zenith Electronics Corp. Data compression system having perceptually weighted motion vectors
CN102025991B (zh) * 2001-09-14 2017-12-29 株式会社Ntt都科摩 编码方法、译码方法、编码装置、译码装置和图像处理系统
US20040125204A1 (en) * 2002-12-27 2004-07-01 Yoshihisa Yamada Moving picture coding apparatus and moving picture decoding apparatus
JP3826073B2 (ja) * 2002-06-05 2006-09-27 キヤノン株式会社 スクリーンセーバ作成システムおよび方法
JP2005229262A (ja) 2004-02-12 2005-08-25 Hitachi Kokusai Electric Inc 圧縮画像処理装置
JP4817990B2 (ja) * 2005-08-17 2011-11-16 キヤノン株式会社 撮像装置及びその制御方法及びプログラム及び記憶媒体
KR101392732B1 (ko) * 2007-08-20 2014-05-08 삼성전자주식회사 손떨림에 의한 움직임 추정 장치 및 방법, 그를 이용한영상 촬상 장치
JP5156704B2 (ja) * 2008-07-29 2013-03-06 パナソニック株式会社 画像符号化装置、画像符号化方法、集積回路及びカメラ
JP2013038623A (ja) * 2011-08-09 2013-02-21 Sony Corp 画像符号化装置と画像符号化方法およびプログラム
JP2014176034A (ja) * 2013-03-12 2014-09-22 Ricoh Co Ltd 映像伝送装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257366A (ja) * 1997-03-11 1998-09-25 Canon Inc 画像処理装置及び方法
JP2008211508A (ja) * 2007-02-26 2008-09-11 Canon Inc 動きベクトル探索装置、動きベクトル探索方法、動きベクトル探索プログラム、及びコンピュータ読み取り可能な記録媒体
JP2011087270A (ja) * 2009-09-17 2011-04-28 Victor Co Of Japan Ltd 画像符号化装置及び画像符号化方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019149754A (ja) * 2018-02-28 2019-09-05 株式会社日立国際電気 映像符号化装置及び映像符号化方法
WO2019167546A1 (ja) * 2018-02-28 2019-09-06 株式会社日立国際電気 映像符号化装置及び映像符号化方法

Also Published As

Publication number Publication date
KR20170102057A (ko) 2017-09-06
EP3276960A1 (en) 2018-01-31
EP3276960A4 (en) 2018-10-03
JP6086619B2 (ja) 2017-03-01
US10356419B2 (en) 2019-07-16
WO2016158017A1 (ja) 2016-10-06
US20180343451A1 (en) 2018-11-29
KR101848221B1 (ko) 2018-04-11

Similar Documents

Publication Publication Date Title
JP5631229B2 (ja) 撮像装置、その制御方法及びプログラム
US7171052B2 (en) Apparatus and method for correcting motion of image
JP4682990B2 (ja) カメラ画像圧縮処理装置及び圧縮処理方法
US9055217B2 (en) Image compositing apparatus, image compositing method and program recording device
WO2010095207A1 (ja) 動画撮像装置
JP4814380B2 (ja) 撮像装置、集積回路及び撮像方法
JP2012257198A (ja) 立体画像符号化装置、その方法、および立体画像符号化装置を有する撮像装置
JP2014176034A (ja) 映像伝送装置
JP2007124408A (ja) 動きベクトル検出装置および動きベクトル検出方法
US20100315550A1 (en) Image frame interpolation device, image frame interpolation method, and image frame interpolation program
US8705628B2 (en) Method and device for compressing moving image
JP6086619B2 (ja) 符号化装置および符号化方法
JP2015050661A (ja) 符号化装置、符号化装置の制御方法、及び、コンピュータプログラム
JP5044922B2 (ja) 撮像装置及びプログラム
JP2008011079A (ja) 動画像符号化装置、動画像復号化装置及び動画像伝送システム
JP5171675B2 (ja) 画像処理装置、およびそれを搭載した撮像装置
JP4533089B2 (ja) 動画データ生成装置
JP2010239230A (ja) 画像符号化装置
JP2012023634A (ja) ビデオカメラ、撮像方法
JP2001275103A (ja) 監視システム及びその動き検出方法
JP2018191136A (ja) 符号化装置、符号化方法およびプログラム
JPH04145777A (ja) 動きベクトル検出装置
JP2012204914A (ja) 動きベクトル検出方法と装置、及びビデオカメラ
JP5268666B2 (ja) 画像符号化装置
JP2001024932A (ja) 画像入力装置及び画像入力方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170130

R150 Certificate of patent or registration of utility model

Ref document number: 6086619

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250