JP2001245303A - 動画像符号化装置および動画像符号化方法 - Google Patents

動画像符号化装置および動画像符号化方法

Info

Publication number
JP2001245303A
JP2001245303A JP2000053823A JP2000053823A JP2001245303A JP 2001245303 A JP2001245303 A JP 2001245303A JP 2000053823 A JP2000053823 A JP 2000053823A JP 2000053823 A JP2000053823 A JP 2000053823A JP 2001245303 A JP2001245303 A JP 2001245303A
Authority
JP
Japan
Prior art keywords
scene
encoding
frame
moving picture
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2000053823A
Other languages
English (en)
Inventor
Rieko Furukawa
理恵子 古川
Yoshihiro Kikuchi
義浩 菊池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2000053823A priority Critical patent/JP2001245303A/ja
Priority to US09/769,309 priority patent/US7023914B2/en
Publication of JP2001245303A publication Critical patent/JP2001245303A/ja
Abandoned legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H04N19/194Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive involving only two passes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • H04N19/126Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/179Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scene or a shot
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

(57)【要約】 【課題】符号化する動画像のシーンに応じて符号化パラ
メタを設定し、シーン内容に適した効率的な符号配分を
行い、視覚的にまとまりのある見やすい画像を生成す
る。 【解決手段】1パス目では、画像特徴量算出部31によ
って算出された画像の特徴量を基にシーン毎に最適な符
号化パラメタを決定し、効率の良い符号量の配分を行
う。まず画像特徴量からオブジェクトの動きやカメラパ
ラメタを推定し、その結果を基にシーン毎の符号化パラ
メタを算出する。オブジェクトの動きの速いシーンでは
フレームレートを上げて動きが不自然になるのを避け、
ノイズがでやすいマクロブロックでは量子化幅を小さく
設定することで画質改善を図る。2パス目では、算出さ
れたシーン毎のフレームレートとビットレート134を
用いて、入力動画像信号100に対する符号化が符号化
部にて行われる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、インターネットな
どによる動画像伝送システムや画像データベースシステ
ムに使用される動画像符号化装置および動画像符号化方
法に関し、特に2パス符号化という手法でシーンの内容
に応じた符号化パラメタに従って符号化を行い、データ
サイズを大きくすることなくシーン毎にまとまりのある
見やすい復号画像を提供できるように改善された動画像
符号化装置および動画像符号化方法に関する。
【0002】
【従来の技術】動画像の圧縮に用いられるMPEG方式
は、動画像データのフレームどうしでの動き補償後の残
差をDCT(Discrete Cosine Tra
nsform:離散コサイン変換)処理し、その係数を
量子化することでデータを圧縮するものである。
【0003】MPEG方式に基づく従来の動画像符号化
方式では、圧縮動画像データを伝送レートが規定されて
いる伝送路によって伝送したり、記録容量に限りがある
蓄積媒体に記録するために、出力される符号化ビットス
トリームのビットレートが指定された値となるようにフ
レームレートや量子化幅などの符号化パラメタを設定し
て符号化を行うというレート制御と呼ばれる処理が行わ
れている。
【0004】多くのレート制御では、前フレームの発生
符号量に応じて次のフレームまでの間隔と次フレームの
量子化幅を決める方法がとられている。そのため、画面
の動きが大きいシーンになると発生符号量が増えるので
画質が急に劣化する。図10(a)は従来のレート制御
について示す図である。従来のレート制御では401の
ように一定の目標ビットレートと403のように一定の
フレームレートが設定されている。また、実際のビット
レートを402、実際のフレームレートを404で表
す。
【0005】従来のレート制御では、あらかじめ設定さ
れたフレームスキップしきい値のバッファサイズと現時
点でのバッファレベルとの差(余裕度)を基にフレーム
レートを決め、現時点でのバッファがしきい値よりも小
さい時には一定のフレームレートで符号化を行い、現時
点でのバッファがしきい値を上回るとフレームレートを
下げるように制御する。したがって、動きの激しいシー
ンに切り替わると、発生符号量が急増するために図11
のようなフレームスキップがおこり404のようにフレ
ームレートが落ちてしまう。
【0006】このように、従来のレート制御は画像内容
とは無関係に次フレームの符号量を定めているため、画
面の動きが大きくなるシーンでフレーム間隔が広くなり
過ぎて動きが不自然になったり、量子化幅が適切でない
ために画像が歪んで見づらさを感じさせることがあっ
た。
【0007】一方、2パス符号化と呼ばれる方法により
レート制御を行う方式も知られている。しかし、多くの
手法では符号量の変化のみに着目しており、画像内容と
符号量の関係を考慮したものは、例えばシェードイン・
シェードアウトなど(特開平10−336641号公
報)の特別な場合に限られていた。
【0008】
【発明が解決しようとする課題】上述のように、従来の
動画像符号化装置では、画像の内容に無関係にフレーム
レートや量子化幅が決められていたためにオブジェクト
の動きが激しいシーンにおいて急激にフレームレートが
落ちたり、量子化幅が適切でないために画像が歪むな
ど、画質劣化が目立ちやすいという問題点があった。
【0009】そこで、本発明は符号化する動画像の内容
に適した効率的な符号配分を行えるようにし、視覚的に
まとまりのある見やすい画像を生成することが可能な動
画像符号化装置および動画像符号化方法を提供すること
を目的とする。
【0010】
【課題を解決するための手段】上述の課題を解決するた
め、本発明はまず入力動画像信号を時間的に連続した少
なくとも一つのフレームからなるシーンに分割して、各
シーン毎に統計的特徴量を算出し、この統計的特徴量に
基づいてシーンの内容を推定する。さらに、目標ビット
レートに対してバッファにある程度の余裕をもたせるこ
とができる場合、シーン内容に応じて符号化ビットレー
トをユーザが設定した上限・下限内で配分し、平均ビッ
トレートがあらかじめ指定されたビットレートを満たす
ような効率の良い符号化パラメタを決定する。この符号
化パラメタを用いて入力画像信号を符号化し、同じデー
タサイズでも視覚的に見やすい復号画像を得ることを基
本的な特徴とする。
【0011】ここで、統計的特徴量は、例えば入力動画
像信号の各フレーム内に存在する動きベクトルや輝度値
をシーン毎に集計することにより算出される。加えて、
特徴量から入力動画像信号を得るときに使用したカメラ
の動きおよび画像内のオブジェクトの動きを推定した結
果を用いて、シーンそれぞれをあらかじめ決められた複
数のシーンタイプに分類し、その分類結果をフレームレ
ートや量子化幅の割り当てに反映させる。また、統計的
特徴量としてマクロブロック毎に輝度値の分布を調べる
ことで、モスキートノイズが発生しやすいマクロブロッ
クやオブジェクトのエッジが存在するマクロブロックの
量子化幅を他のマクロブロックに比して相対的に小さく
し、画質の向上を図る。
【0012】本発明の2パス目における符号化では、前
記算出されたシーン毎に適切なビットレートとフレーム
レートを与えることで、シーン毎のレート制御が行わ
れ、従来のレート制御機構を大きく変更することなくシ
ーン内容に応じた符号化が行える。
【0013】上記のような2パスの手法を用いて、目標
符号量と同じデータサイズで良好な復号画像を得る符号
化を実現することができる。
【0014】
【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。
【0015】図1は本発明の一実施形態に係る動画像符
号化装置の構成を示すブロック図である。入力動画像信
号100は、同じ信号を繰り返し複数回再生可能なディ
ジタルVTRやDVDシステムのようなビデオ記録再生
装置によって再生される動画像信号(映像信号)であ
り、画像特徴量算出部31と符号化部のフレームメモリ
11に入力される。
【0016】MPEG符号化で用いられている動き補償
適応予測・離散コサイン変換符号化・量子化方式につい
ては文献(『MPEG』テレビジョン学会 編、オーム
社)に詳しく述べられているので、ここでは動作の概略
のみを記し、従来方式との差異を詳細に説明する。
【0017】図1に示した符号化装置では、動画像信号
100をフレームメモリ11に入力する前に画像特徴量
算出部31に入力し、符号化パラメタを算出し(1パス
目)、その算出された符号化パラメタ134と動画像信
号100とを入力として、符号化ビットストリーム20
0を出力する(2パス目)。図2は符号化の流れを示す
フローチャートである。
【0018】1パス目の処理では、まず動画像信号10
0が画像特徴量算出部31に入力され、画像特徴量算出
部31にて動画像信号100のシーン分割と各フレーム
についての画像特徴量の計算が行われる(ステップS1
1,S12)。各シーンは、時間的に連続した少なくと
も一つのフレームからなる。
【0019】画像特徴量は、例えば動きベクトルの数、
分布、ノルムの大きさ、動き補償後の残差、輝度・色差
の分散等である。算出された特徴量は前記分割されたシ
ーン毎に集計され、これにより各シーン毎に統計的特徴
量が算出される。画像特徴量算出部31によってシーン
毎に得られた統計的特徴量130は符号化パラメタ生成
部32に送られ、そこで各シーン毎に適切な符号化パラ
メタが生成される(ステップS13)。この場合、統計
的特徴量130に基づいて、入力動画像信号を得るとき
に使用したカメラの動きおよび画像内のオブジェクトの
動きなどが各シーン毎に推定され、その推定結果を基
に、各シーンに適切なフレームレートと量子化幅の算出
が行われる。また、マクロブロック毎に輝度値の分布を
調べることで、モスキートノイズが発生しやすいマクロ
ブロックやオブジェクトのエッジが存在するマクロブロ
ックの量子化幅を他のマクロブロックに比して相対的に
小さくするといった、マクロブロックの量子化幅の設定
が行われる。
【0020】符号化パラメタ生成部32で得られた符号
化パラメタ131は発生符号量予測部33に入力され
る。この発生符号量予測部33では、符号化パラメタと
して算出されたフレームレートと量子化幅で符号化を行
ったときの発生符号量をシーン毎に算出することによ
り、動画像信号100を符号化した際の発生符号量が予
測される(ステップS14)。予測値132は符号化パ
ラメタ修正部34に送られる。
【0021】予測された発生符号量がユーザが設定した
目標符号量133と大きく異なる場合には、予測した符
号量がユーザが設定した符号量を満たすように符号化パ
ラメタ修正部34においてパラメタの修正を行う(ステ
ップS15,S16)。このようにして、2パス目で用
いられる符号化パラメタである、シーン毎のビットレー
トとフレームレート134が算出される(ステップS1
7)。
【0022】2パス目では、算出されたシーン毎のフレ
ームレートとビットレート134を用いて、入力動画像
信号100に対する符号化が符号化部にて行われ(ステ
ップS18)、シーンの内容に応じて適切に符号量が配
分されたビットストリーム200が出力される(ステッ
プS19)。
【0023】ここで、符号化部における符号化処理を簡
単に説明する。
【0024】フレームメモリ11に入力された入力動画
像信号100は、マクロブロック単位に分割されて減算
器12に入力され、ここで後述するようにして生成され
る予測画像信号との差分がとられて、予測残差信号が生
成される。この予測残差信号はDCT(離散コサイン変
換)部13により離散コサイン変換される。DCT部1
3で得られたDCT係数データは、量子化部14で量子
化される。量子化された信号は2分岐され、一方は可変
長符号化部20で動きベクトル情報などと共に可変長符
号化され、そしてバッファ21で送信レートが平滑化さ
れて符号化データ(ビットストリーム)として出力され
る。ここで、バッファ21はビットレート情報134に
従ってシーン毎のビットレートが指定された値に変化す
る仮想バッファとして用いられ、量子化ステップサイズ
と符号化を行うフレームの間隔はその仮想バッファの占
有量に基づいて制御される。
【0025】一方、2分岐された信号の他方は、逆量子
化部15及び逆DCT(逆離散コサイン変換)部16に
より、量子化部14およびDCT部13の処理と逆の処
理を順次受けた後、加算器17で予測画像信号と加算さ
れることにより、局部復号信号が生成される。この局部
復号信号は、ビデオメモリ18に蓄えられ、動き補償予
測部19に入力される。動き補償予測部19では、入力
動画像信号とビデオメモリ18に蓄えられた前フレーム
の画像との相関から動き検出、動きベクトルの探索など
の動き補償処理が行われて、予測画像信号が生成され
る。
【0026】次に、本実施形態の特徴部分である画像特
徴量算出部31の個々の処理についてさらに詳しく説明
する。
【0027】<画像特徴量算出部・シーン分割>入力動
画像信号100は、隣接するフレーム間の差分によりフ
ラッシュフレームや雑音フレームなどのフレームを除い
て複数のシーンに分割される。ここで、フラッシュフレ
ームとは例えばニュース番組でのインタビューシーン
で、フラッシュ(ストロボ)が発光した瞬間のように、
輝度が急激に高くなるフレームである。また、雑音フレ
ームとはカメラの振れ等により画像が大きく劣化したフ
レームである。
【0028】例えば、シーン分割は以下の様に行う。図
3(a)のように隣接したi番目のフレームと(i+
1)番目のフレームの間の差分値があらかじめ定められ
たしきい値を超え、かつi番目のフレームと(i+2)
番目のフレームの間の差分値も同様にしきい値を超えて
いるならば、(i+1)番目のフレームはシーンの区切
りと判定する。一方、図3(b)のように、i番目のフ
レームと(i+1)番目のフレームの間の差分値があら
かじめ定められたしきい値を超えていても、i番目のフ
レームと(i+2)番目のフレームの間の差分値がしき
い値を超えていなければ、(i+1)番目のフレームは
シーンの区切りとしない。
【0029】<画像特徴量算出部・動きベクトルの計算
>シーン分割の他に、入力動画像信号100の全フレー
ムについて、フレーム内のマクロブロックの動きベクト
ルと動き補償残差、輝度値の平均・分散等を計算する。
なお、特徴量の計算は全フレームに対してでもよいし、
画像の性質を解析できる範囲で数フレームおきに計算し
てもよい。
【0030】i番目のフレームについての動領域のマク
ロブロックの数、動き補償残差、輝度値の分散をそれぞ
れMvNum(i)、MeSad(i)、Yvar
(i)とする。ここで、動領域とは1フレーム中で前フ
レームからの動きベクトル≠0であるマクロブロックの
領域を指す。j番目のシーンに対して、そのシーンに含
まれるフレームすべてのMvNum(i)、MeSad
(i)、Yvar(i)の平均値をそれぞれMvnum
_j、MeSad_j、Yvar_jとし、それらをj
番目のシーンの特徴量の代表値とする。
【0031】<画像特徴量算出部・シーンの分類>さら
に本実施形態では、動きベクトルを用いて次のようなシ
ーンの分類を行いシーン内容を推定する。
【0032】各々のフレームに対する動きベクトルを算
出した後、動きベクトルの分布を調べ、シーンを分類す
る。具体的には、まずフレーム中の動きベクトルの分布
を計算して、各フレームが図4(a)〜(e)に示す5
つのタイプのどれに属するかを調べる。
【0033】(a)フレーム中に動きベクトルがほとん
ど存在しない(動領域のマクロブロック数がMmin以
下)。
【0034】(b)同じ向き・大きさの動きベクトルが
画面全体に分布している(動領域のマクロブロック数が
Mmax以上で大きさと方向がある範囲内にある) (c)フレーム中で特定の部分にだけ動きベクトルが現
れている(動領域のマクロブロックの位置が特定の部分
に集中している) (d)フレーム中に放射状に動きベクトルが分布してい
る。
【0035】(e)フレーム中の動きベクトルの数が多
く、方向も不揃いである。
【0036】これら(a)〜(e)のケースは、いずれ
も入力画像信号100を得るときに使用したカメラや、
撮影された画像内のオブジェクトの動きと密接に関係し
ている。すなわち、(a)ではカメラもオブジェクトも
いずれも静止している。(b)はカメラの平行移動。
(c)は静止している背景の中でオブジェクトが動いて
いる。(d)ではカメラはズーミングを行っている。
(e)ではカメラ、オブジェクトが共に動いている。
【0037】以上のように各フレーム毎に分類した結果
をシーン毎にまとめ、シーンが図4(a)〜(e)のど
のタイプに属するかを判定する。判定されたシーンのタ
イプと前記算出された特徴量を用いて後述の符号化パラ
メタ生成部32で符号化パラメタであるフレームレート
とビットレートをシーン毎に決定する。
【0038】次に符号化パラメタ生成部32の個々の処
理について詳しく説明する。
【0039】<符号化パラメタ生成部・フレームレート
算出>符号化パラメタ生成部32では、まずフレームレ
ートを算出する。
【0040】前述の特徴量算出部31でシーン毎の特徴
量の代表値を算出しているものとする。これに対してj
番目のシーンのフレームレートFR(j)を FR(j)=a×MVnum_j+b+W_FR 式(1) により算出する。MVnum_jはj番目のシーンの代
表値、a、bはユーザが指定したビットレートと画像サ
イズに関係する係数、W_FRは後述する重みパラメタ
である。式(1)は、動きベクトルの代表値MVnum
_jが大きくなるほどフレームレートFR(j)が高く
なることを意味している。すなわち、動きの大きいシー
ンほどフレームレートが高くなる。
【0041】また、動きベクトルの代表値MVnum_
jは、前述のフレーム中の動きベクトルの数の他にフレ
ーム中の動きベクトルの大きさの絶対値和、密度なども
用いることもある。
【0042】<符号化パラメタ生成部・量子化幅の算出
>各々のシーンに対するフレームレートを算出した後、
次に各々のシーンに対する量子化幅を計算する。j番目
のシーンに対する量子化幅QP(j)はフレームレート
FR(j)と同様、シーンの動きベクトルの代表値MV
num_jを用いて以下の式で算出する。
【0043】 QP(j)=c×MVnum_j+b+W_QP 式(2) ここで、c、dはユーザが指定したビットレートと画像
サイズに対する係数、W_QPは後述する重みパラメタ
である。式(2)は動きベクトルの代表値MVnum_
jが大きくなるほど量子化幅QP(j)が大きくなるこ
とを意味している。すなわち、動きの大きいシーンほど
量子化幅は大きくなり、逆に動きの小さいシーンほど量
子化幅は小さくなり画像は鮮明になる。
【0044】<符号化パラメタ生成部・フレームレート
と量子化幅の修正>式(1)、式(2)を用いてフレー
ムレートと量子化幅を決める際、<特徴量算出部・シー
ンの分類>の処理で得られたシーンの分類結果(シーン
を構成するフレームのタイプ)を用いて式(1)に重み
パラメタW_FRを、式(2)に重みパラメタW_QP
を加え、フレームレートと量子化幅の修正を行う。
【0045】フレーム中に動きベクトルがほとんど存在
しない図4(a)の場合にはフレームレートを下げて、
量子化幅を小さく取る(W_FR、W_QPともに小さ
くする)。図4(b)ではカメラの動きが不自然になら
ないように、なるべくフレームレートを上げ、量子化幅
は大きくする(W_FR、W_QPともに大きくす
る)。図4(c)では動いているオブジェクトの動き、
すなわち動きベクトルの大きさが大きい場合にはフレー
ムレートを修正する(W_FRを大きくする)。図4
(d)ではズームの際にほとんどオブジェクトについて
は注目されていないと思われることから、量子化幅は大
きく取り、フレームレートをできる限り上げる(W_F
Rを大きくし、W_QPも大きくする)。図4(e)で
もフレームレートを上げ量子化幅を大きくとる(W_F
R、W_QPともに大きくする)。
【0046】このようにして設定された重みパラメタW
_FR、W_QPをそれぞれ加えることにより、フレー
ムレートと量子化幅の調整を行う。
【0047】<符号化パラメタ生成部・マクロブロック
毎の量子化幅の設定>ユーザからマクロブロック毎に量
子化幅を変化するように指定された場合には、フレーム
中にモスキートノイズが出やすいと判定されたマクロブ
ロックやテロップ文字のように強いエッジが存在すると
判定されたマクロブロックに対して他のマクロブロック
よりも量子化幅を小さく設定することで画質改善を図る
こともできる。
【0048】符号化対象フレームに対して、図5のよう
にマクロブロックをさらに4つに分けた小ブロック毎に
輝度値の分散を計算する。このとき分散が大きい小ブロ
ックと小さい小ブロックが隣り合う場合に量子化幅が大
きいとそのマクロブロックではモスキートノイズが発生
しやすい。つまり、マクロブロック内でテクスチャが複
雑な部分にテクスチャの平坦な部分が隣接する場合にモ
スキートノイズが出やすくなる。
【0049】そこで、輝度値の分散が大きい小ブロック
に分散が小さい小ブロックが隣接している場合をマクロ
ブロック毎に判定し、モスキートノイズが出やすいと判
定されたマクロブロックについては他のマクロブロック
よりも相対的に量子化幅を小さくする。逆に、テクスチ
ャが平坦でモスキートノイズが出にくいと判定されたマ
クロブロックに対しては他のマクロブロックよりも相対
的に量子化幅を大きくし、発生符号量の増加を防ぐ。
【0050】例えば、j番目のフレーム内のm番目のマ
クロブロックについて、マクロブロック内に小さな4つ
のブロックがあるとき、図5に示すように (ブロックkの分散) ≧ MBVarThre1 かつ(ブロックkに隣接するブロックの分散) < MBVarThre2 式(3) という組み合わせを満たす小さなブロックがあるなら
ば、このm番目のマクロブロックをモスキートノイズが
でやすいマクロブロックであとる判定する(MBVar
Thre1,MBVarThre2はユーザが定義する
閾値)。このようなm番目のマクロブロックに対して QP(j)_m=QP(j)−q1 式(4) のようにマクロブロックの量子化幅QP(j)_mを小
さくする。これに対してモスキートノイズが出にくいと
判定されたm′番目のマクロブロックに対しては QP(j)_m′=QP(j)−q2 式(5) のようにマクロブロックの量子化幅QP(j)_mを上
げることで、符号量の増加を防ぐ(q1,q2は正の数
で、QP(j)−q1≧(量子化幅の最小値)、QP
(j)+q2≦(量子化幅の最大値)を満たす)。
【0051】その際、前述したカメラパラメタの判定で
図4(b)の平行移動シーン、図4(d)のカメラズー
ムのシーンと判定されたシーンについては、カメラの動
きに支配されるために画像中のオブジェクトに対する視
覚的注目度が低いと思われることからq1,q2は小さ
くとる。逆に、図4(a)の静止シーン、図4(c)の
動いている部分が集中しているシーンでは、画像中のオ
ブジェクトに対する視覚的注目度が高いと思われること
からq1,q2は大きくとる。
【0052】また、文字のようなエッジが存在するマク
ロブロックについても、量子化幅を小さくすることで文
字の部分を明瞭にさせることもできる。フレームの輝度
値データに対してエッジ強調フィルタを施し、マクロブ
ロック毎に濃淡値の勾配が強い画素を調べる。画素の位
置を集計し、勾配の大きい画素が部分的に集中している
ブロックをエッジが存在するマクロブロックであると判
断し、式(4)に従いそのブロックについて量子化幅を
小さくし、式(5)によりその他のマクロブロックの量
子化幅を大きくする。
【0053】次にユーザが指定したビットレートを満た
すように、上記のように算出された符号化パラメタを修
正する符号化パラメタ修正部34の個々の処理について
詳しく説明する。
【0054】<符号化パラメタ修正部・発生符号量の予
測>上述のように算出された各シーン毎のフレームレー
トと量子化幅を用いて符号化すると、シーンのビットレ
ートの割合が許容されるビットレートの上限値あるいは
下限値を超える場合がある。そのため、限界値を超える
シーンのパラメタを調整して上限値あるいは下限値内に
おさめる必要がある。
【0055】例えば、前記算出された符号化パラメタの
フレームレートと量子化幅で符号化し、ユーザが設定し
たビットレートに対する各シーンのビットレートの割合
を算出したとき、図6(a)のようにビットレートの上
限値あるいは下限値を超えるようなシーンが出てくる場
合がある。そこで本発明では、次のようにシーンのビッ
トレートの割合が、許容されるビットレートの上限値あ
るいは下限値を超えないように修正する処理を施す。
【0056】ユーザが設定したビットレートに対する割
合を算出したとき、ビットレートの上限値を超えるよう
なシーンでは図6(b)のようにビットレートを上限値
に設定し直す。同様に下限値を下回るシーンでは図6
(b)のようにビットレートの割合を下限値に設定し直
す。この操作により過剰、あるいは不足となった符号量
は、図6(c)のように修正しなかった他のシーンに再
分配し、全体の符号量は変えないように操作する。
【0057】発生符号量は例えば次のように予測する。
【0058】各シーンの最初のフレームをIピクチャ、
その他をPピクチャにすると仮定し、それぞれの符号量
を算出する。まずIピクチャの発生符号量を推定する。
Iピクチャの発生符号量については一般的に量子化幅Q
Pと符号量の間に図7のような関係があることから、1
フレームあたりの発生符号量CodeIを例えば次のよ
うに算出する。
【0059】 CodeI=Ia×QP^Ib+Ic 式(6) ここで^ はべき乗を示し、Ia、Ib、Icは画像サイ
ズ等により定められる定数とする。
【0060】さらに、Pピクチャについては動き補償残
差MeSadと符号量の間にほぼ図8のような関係があ
ることから、1フレームあたりの発生符号量CodeP
を例えば次のように算出する。
【0061】 CodeP=Pa×MeSad+Pb 式(7) ここで、Pa、Pbは画像サイズ、量子化幅QP等によ
り定められる定数とする。画像特徴量算出部において式
(7)に用いるMeSadは計算されているものとし、
これらの式から各シーン毎に発生する符号量の割合を算
出する。j番目のシーンの発生符号量は Code(j)=CodeI+(符号化する予定のフレームのCodePの和) 式(8) 上記の式により算出されたシーン毎の符号量Code
(j)をそのシーンの長さT(j)で除するとそのシー
ンの平均ビットレートBR(j)が算出される。
【0062】 BR(j)=Code(j)/T(j) 式(9) このように算出されたビットレートをもとに、符号化パ
ラメタの修正を行う。
【0063】また、上記のようなビットレートの修正に
より予測された符号量を大幅に変更するような場合、各
シーンのフレームレートを修正してもよい。すなわち、
ビットレートを低くしたシーンではフレームレートも低
くし、ビットレートを高めたシーンではフレームレート
も高めることにより画質を保つようにする。
【0064】以上のように、1パス目で算出されたシー
ン毎のフレームレートとビットレートを2パス目で符号
化部に渡し、動画像信号100を符号化する。符号化部
では、1パス目で得られた符号化パラメタ134をもと
にシーン毎に目標ビットレートとフレームレートを切り
替えながら、従来のレート制御を用いて符号化する。ま
た、1パス目で得られたマクロブロックの情報を用い
て、レート制御により算出された量子化幅に対して相対
的にマクロブロックの量子化幅を変化させる。これによ
り、まとまったひとつのシーンの中ではビットレートが
保たれるので、符号化されたビットストリームのサイズ
は目標データサイズを満たすことができる。
【0065】図10に本発明の手法と従来法を用いて符
号化した際のビットレートとフレームレートの推移の例
を示す。従来法(図10(a))では401のように一
定の目標ビットレートと403のように一定のフレーム
レートが設定されている。また、実際のビットレートを
402、実際のフレームレートを404で表す。このと
き動きの激しいシーンに切り替わると、発生符号量が急
増するために前述したように図11のようなフレームス
キップがおこり404のようにフレームレートが落ちて
しまう。これに対して本発明の手法(図10(b))で
は、シーンに応じて405のように目標ビットレート
を、また、407のように目標フレームレートを定めて
いる。これにより動きの激しいシーンに切り替わったと
きでもそのシーンに割り当てられたビットレートが多い
ためにフレームスキップは起こりにくくなり、フレーム
レートは目標値を満たすことができる。
【0066】なお、本実施形態の符号化装置の機能はす
べてコンピュータプログラムによって実現することがで
き、そのコンピュータプログラムをコンピュータ読み取
り可能な記録媒体を通じて通常のコンピュータに導入す
るだけで本実施形態と同様の効果を得ることが可能とな
る。この場合のコンピュータの機能構成を図9に示す。
【0067】主制御部1はCPUなどから構成されるも
のであり、各種プログラムを実行する。記憶部2には符
号化プログラム6がロードされており、この符号化プロ
グラム6を実行することにより、符号化対象の原画像デ
ータファイル7についてのシーン毎の統計的特徴量が得
られ、それに基づいてシーン毎に最適化された符号化処
理を行うことができる。符号化対象の動画像信号は原画
像データファイル7として記憶部2にあらかじめ読み込
んでおかなくてもよく、入出力制御部3および入力部4
を通じて外部のディジタルVTRやDVDなどから入力
される動画像信号を繰り返し入力して2パス符号化を行
ってもよい。符号化プログラム6による符号化結果は符
号化ビットストリームデータファイル8として出力さ
れ、それを出力部5を通じて外部に伝送したり、あるい
は復号プログラム9によって復号・再生することができ
る。
【0068】
【発明の効果】以上詳述した如く本発明によれば、動き
の大きいシーンでは比較的ビットレートが高く設定され
ているのでフレームスキップが起こりにくくオブジェク
トの動きが滑らかになり、静止したシーンでは画像中の
注目されやすい部分であるエッジや文字部分周辺の量子
化幅が小さく設定されるので画像が明瞭になる。これに
より画像中のオブジェクトの動きを無視した従来の符号
化画像に対し、シーン毎にまとまりのある画像が得ら
れ、画質改善効果が得られる。
【0069】また、ユーザが設定した上限・下限値内で
シーン毎にビットレートを効率よく配分することで、指
定されたデータサイズに合わせたビットストリームを作
成できる。さらに、符号化には従来のレート制御を用い
ることにより、符号化の機構をほとんど変更せずに、目
標データサイズを満たすことのできる動画像符号化装置
が構成できる。
【図面の簡単な説明】
【図1】本発明の一実施形態に係る動画像符号化装置の
構成を示すブロック図。
【図2】同実施形態における符号化の処理手順を示すフ
ローチャート。
【図3】同実施形態におけるシーン分割の処理手順を示
す図。
【図4】同実施形態における動きベクトルによるフレー
ムのタイプ分けについての説明図。
【図5】同実施形態におけるモスキートノイズの発生し
やすいマクロブロックの判定について説明する図。
【図6】同実施形態における発生符号量調整の処理手順
を示す図。
【図7】同実施形態におけるIピクチャに関する発生符
号量を示す図。
【図8】同実施形態におけるPピクチャに関する発生符
号量を示す図。
【図9】同実施形態の符号化処理を行うソフトウェアで
行う場合におけるコンピュータの機能構成を示す図。
【図10】同実施形態におけるビットレートとフレーム
レートの遷移を従来例と対比して示す図。
【図11】従来法によるバッファとフレームレートとの
関係を示す図。
【符号の説明】
11…フレームメモリ 12…減算器 13…DCT部 14…量子化部 15…逆量子化部 16…逆DCT部 19…動き補償予測部 20…可変長符号化部 21…バッファ 31…画像特徴量算出部 32…符号化パラメタ生成部 33…発生符号量予測部 34…符号化パラメタ修正部
フロントページの続き Fターム(参考) 5C053 FA29 GA11 GB05 GB19 GB23 GB28 GB30 GB33 GB37 LA01 LA06 LA11 LA14 5C059 KK03 KK27 KK33 MA00 MA05 MA23 MA31 MC12 MC30 MC33 MC38 MD10 ME01 NN10 NN27 NN37 PP04 PP21 PP26 SS08 SS14 TA12 TA46 TA53 TA57 TA62 TB04 TB07 TC12 TC19 TC27 TC33 TC37 TC38 TD05 TD12 TD13 TD14 TD17 UA02 UA05 5J064 AA01 BA09 BA16 BB03 BC01 BC16 BD02

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】 入力画像信号を時間的に連続した少なく
    とも一つのフレームからなるシーンに分割して各シーン
    毎に統計的特徴量を算出する特徴量算出手段と、 前記特徴量算出手段により算出された統計的特徴量に基
    づいて前記各シーン毎の符号化パラメタを生成する符号
    化パラメタ生成手段と、 前記符号化パラメタ生成手段で生成された符号化パラメ
    タで前記入力画像信号を符号化した際の発生符号量を予
    測する発生符号量予測手段と、 前記発生符号量予測手段による発生符号量の予測結果に
    基づき前記符号化パラメタを修正する符号化パラメタ修
    正手段と、 前記修正された符号化パラメタを用いて前記入力動画像
    信号を符号化して符号化列を生成する符号化手段と、 前記符号化手段により生成された符号化列を符号化出力
    として出力する出力手段とを具備することを特徴とする
    動画像符号化装置。
  2. 【請求項2】 前記特徴量算出手段は、動きベクトルに
    関する統計的特徴量に基づいて複数のシーンそれぞれを
    あらかじめ決められた複数のシーンタイプに分類し、 前記符号化パラメタ生成手段は、前記シーンタイプの分
    類結果に従って前記各シーン毎にフレームレートと量子
    化幅の重み付けを設定することを特徴とする請求項1記
    載の動画像符号化装置。
  3. 【請求項3】 前記符号化パラメタ修正手段は、ユーザ
    が指定した目標ビットレートを満たすように、前記入力
    画像信号を符号化するためのシーン毎のビットレートを
    符号化パラメタとして修正し算出することを特徴とする
    請求項1記載の動画像符号化装置。
  4. 【請求項4】 前記符号化手段は、前記入力画像信号の
    シーン毎に指定されたビットレート情報・フレームレー
    ト情報を前記修正された符号化パラメタとして受け取
    り、シーン毎のビットレートが指定された値になるよう
    に前記ビットレート情報・フレームレート情報に従って
    前記入力画像信号を符号化することを特徴とする請求項
    1記載の動画像符号化装置。
  5. 【請求項5】 前記符号化手段は、前記入力画像信号の
    シーン毎に指定されたビットレート情報を前記修正され
    た符号化パラメタとして受け取り、前記ビットレート情
    報に従ってシーン毎のビットレートが指定された値に変
    化する仮想バッファの占有量を用いて、量子化ステップ
    サイズと符号化を行うフレームの間隔を決定することを
    特徴とする請求項1記載の動画像符号化装置。
  6. 【請求項6】 前記符号化パラメタ生成手段は、前記特
    徴量算出手段により算出されたマクロブロック毎の輝度
    の分布に関する統計的特徴量に基づいて、前記各シーン
    を構成する符号化対象フレームのマクロブロックに対し
    て量子化幅の重み付けを設定することを特徴とする請求
    項1または2記載の動画像符号化装置。
  7. 【請求項7】 入力画像信号を時間的に連続した少なく
    とも一つのフレームからなるシーンに分割して各シーン
    毎に統計的特徴量を算出する特徴量算出ステップと、 前記特徴量算出ステップにより算出された統計的特徴量
    に基づいて前記各シーン毎の符号化パラメタを生成する
    符号化パラメタ生成ステップと、 前記符号化パラメタ生成ステップで生成された符号化パ
    ラメタで前記入力画像信号を符号化した際の発生符号量
    を予測する発生符号量予測ステップと、 前記発生符号量予測ステップによる発生符号量の予測結
    果に基づき前記符号化パラメタを修正する符号化パラメ
    タ修正ステップと、 前記修正された符号化パラメタを用いて前記入力動画像
    信号を符号化して符号化列を生成する符号化ステップ
    と、 前記符号化ステップにより生成された符号化列を符号化
    出力として出力するステップとを具備することを特徴と
    する動画像符号化方法。
  8. 【請求項8】 前記特徴量算出ステップは、動きベクト
    ルに関する統計的特徴量に基づいて複数のシーンそれぞ
    れをあらかじめ決められた複数のシーンタイプに分類
    し、 前記符号化パラメタ生成手段は、前記シーンタイプの分
    類結果に従って前記各シーン毎にフレームレートと量子
    化幅の重み付けを設定することを特徴とする請求項7記
    載の動画像符号化方法。
  9. 【請求項9】 前記符号化パラメタ生成ステップは、前
    記特徴量算出ステップにより算出されたマクロブロック
    毎の輝度の分布に関する統計的特徴量に基づいて、前記
    各シーンを構成する符号化対象フレームのマクロブロッ
    クに対して量子化幅の重み付けを設定することを特徴と
    する請求項7または8記載の動画像符号化方法。
  10. 【請求項10】 入力画像信号を符号化するためのコン
    ピュータプログラムが記録された記録媒体であって、 前記コンピュータプログラムは、 入力画像信号を時間的に連続した少なくとも一つのフレ
    ームからなるシーンに分割して各シーン毎に統計的特徴
    量を算出する特徴量算出ステップと、 前記特徴量算出ステップにより算出された統計的特徴量
    に基づいて前記各シーン毎の符号化パラメタを生成する
    符号化パラメタ生成ステップと、 前記符号化パラメタ生成ステップで生成された符号化パ
    ラメタで前記入力画像信号を符号化した際の発生符号量
    を予測する発生符号量予測ステップと、 前記発生符号量予測ステップによる発生符号量の予測結
    果に基づき前記符号化パラメタを修正する符号化パラメ
    タ修正ステップと、 前記修正された符号化パラメタを用いて前記入力動画像
    信号を符号化して符号化列を生成する符号化ステップ
    と、 前記符号化ステップにより生成された符号化列を符号化
    出力として出力するステップとを具備することを特徴と
    する記録媒体。
JP2000053823A 2000-02-29 2000-02-29 動画像符号化装置および動画像符号化方法 Abandoned JP2001245303A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000053823A JP2001245303A (ja) 2000-02-29 2000-02-29 動画像符号化装置および動画像符号化方法
US09/769,309 US7023914B2 (en) 2000-02-29 2001-01-26 Video encoding apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000053823A JP2001245303A (ja) 2000-02-29 2000-02-29 動画像符号化装置および動画像符号化方法

Publications (1)

Publication Number Publication Date
JP2001245303A true JP2001245303A (ja) 2001-09-07

Family

ID=18575154

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000053823A Abandoned JP2001245303A (ja) 2000-02-29 2000-02-29 動画像符号化装置および動画像符号化方法

Country Status (2)

Country Link
US (1) US7023914B2 (ja)
JP (1) JP2001245303A (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004193990A (ja) * 2002-12-11 2004-07-08 Sony Corp 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
JP2006129093A (ja) * 2004-10-28 2006-05-18 Fujitsu Ltd 符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法
JP2006280792A (ja) * 2005-04-04 2006-10-19 Olympus Corp 画像表示装置
JP2010062926A (ja) * 2008-09-04 2010-03-18 Nec Personal Products Co Ltd 映像記録装置及び映像圧縮プログラム
JP2010525739A (ja) * 2007-04-23 2010-07-22 クゥアルコム・インコーポレイテッド 品質管理された符号化のための方法及びシステム
WO2010095207A1 (ja) * 2009-02-23 2010-08-26 パナソニック株式会社 動画撮像装置
JP2010246103A (ja) * 2009-04-01 2010-10-28 Nhn Corp 動画重複検出方法およびシステム
JP2010268525A (ja) * 2004-09-16 2010-11-25 Ntt Docomo Inc 映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、および映像評価プログラム
WO2011111292A1 (ja) * 2010-03-09 2011-09-15 パナソニック株式会社 信号処理装置及び動画撮像装置
JP2012533962A (ja) * 2009-07-20 2012-12-27 トムソン ライセンシング スポーツ映像における遠くからの眺めのシーンを検出して、映像処理を適応させる方法
JP2014511137A (ja) * 2011-01-28 2014-05-08 アイ アイオー,リミテッド・ライアビリティ・カンパニー シーンに基づく適用性のあるビットレート制御
JP2017123649A (ja) * 2011-01-28 2017-07-13 アイ アイオー, リミテッド・ライアビリティ・カンパニーEye Io, Llc シーンタイプに基づくビデオストリームのエンコーディング
JP7435208B2 (ja) 2020-04-24 2024-02-21 サクサ株式会社 画像処理装置及びプログラム

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3519673B2 (ja) * 2000-07-07 2004-04-19 松下電器産業株式会社 動画データ作成装置及び動画符号化装置
US20020039138A1 (en) * 2000-09-29 2002-04-04 Edelson Steven D. Method and apparatus for automatically adjusting video panning and zoom rates
US7103047B1 (en) * 2001-06-26 2006-09-05 Juniper Networks, Inc. Method and apparatus for modifying the rate of MPEG transport streams
JP4299123B2 (ja) * 2001-07-10 2009-07-22 エヌエックスピー ビー ヴィ 動き推定のための装置及び方法並びに斯かる動き推定装置が備えられた画像処理装置
AU2002351417A1 (en) * 2001-12-21 2003-07-30 Polycom, Inc. Motion wake identification and control mechanism
US6658091B1 (en) 2002-02-01 2003-12-02 @Security Broadband Corp. LIfestyle multimedia security system
US7944971B1 (en) * 2002-07-14 2011-05-17 Apple Inc. Encoding video
US7308146B2 (en) * 2002-09-30 2007-12-11 Canon Kabushiki Kaisha Digital video compression
US8635350B2 (en) 2006-06-12 2014-01-21 Icontrol Networks, Inc. IP device discovery systems and methods
US10200504B2 (en) 2007-06-12 2019-02-05 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US9609003B1 (en) 2007-06-12 2017-03-28 Icontrol Networks, Inc. Generating risk profile using data of home monitoring and security system
US8963713B2 (en) 2005-03-16 2015-02-24 Icontrol Networks, Inc. Integrated security network with security alarm signaling system
US10444964B2 (en) 2007-06-12 2019-10-15 Icontrol Networks, Inc. Control system user interface
US11244545B2 (en) 2004-03-16 2022-02-08 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US9729342B2 (en) 2010-12-20 2017-08-08 Icontrol Networks, Inc. Defining and implementing sensor triggered response rules
US9531593B2 (en) 2007-06-12 2016-12-27 Icontrol Networks, Inc. Takeover processes in security network integrated with premise security system
US8988221B2 (en) 2005-03-16 2015-03-24 Icontrol Networks, Inc. Integrated security system with parallel processing architecture
US11677577B2 (en) 2004-03-16 2023-06-13 Icontrol Networks, Inc. Premises system management using status signal
US10142392B2 (en) 2007-01-24 2018-11-27 Icontrol Networks, Inc. Methods and systems for improved system performance
US20090077623A1 (en) 2005-03-16 2009-03-19 Marc Baum Security Network Integrating Security System and Network Devices
US11316958B2 (en) 2008-08-11 2022-04-26 Icontrol Networks, Inc. Virtual device systems and methods
US11916870B2 (en) 2004-03-16 2024-02-27 Icontrol Networks, Inc. Gateway registry methods and systems
US20170118037A1 (en) 2008-08-11 2017-04-27 Icontrol Networks, Inc. Integrated cloud system for premises automation
US9191228B2 (en) 2005-03-16 2015-11-17 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US10339791B2 (en) 2007-06-12 2019-07-02 Icontrol Networks, Inc. Security network integrated with premise security system
US10156959B2 (en) 2005-03-16 2018-12-18 Icontrol Networks, Inc. Cross-client sensor user interface in an integrated security network
US10721087B2 (en) 2005-03-16 2020-07-21 Icontrol Networks, Inc. Method for networked touchscreen with integrated interfaces
US11113950B2 (en) 2005-03-16 2021-09-07 Icontrol Networks, Inc. Gateway integrated with premises security system
US10062273B2 (en) 2010-09-28 2018-08-28 Icontrol Networks, Inc. Integrated security system with parallel processing architecture
US11277465B2 (en) 2004-03-16 2022-03-15 Icontrol Networks, Inc. Generating risk profile using data of home monitoring and security system
US10375253B2 (en) 2008-08-25 2019-08-06 Icontrol Networks, Inc. Security system with networked touchscreen and gateway
US11159484B2 (en) 2004-03-16 2021-10-26 Icontrol Networks, Inc. Forming a security network including integrated security system components and network devices
US11489812B2 (en) 2004-03-16 2022-11-01 Icontrol Networks, Inc. Forming a security network including integrated security system components and network devices
US10313303B2 (en) 2007-06-12 2019-06-04 Icontrol Networks, Inc. Forming a security network including integrated security system components and network devices
US11368429B2 (en) 2004-03-16 2022-06-21 Icontrol Networks, Inc. Premises management configuration and control
US11811845B2 (en) 2004-03-16 2023-11-07 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US9141276B2 (en) 2005-03-16 2015-09-22 Icontrol Networks, Inc. Integrated interface for mobile device
US10382452B1 (en) 2007-06-12 2019-08-13 Icontrol Networks, Inc. Communication protocols in integrated systems
US20050216302A1 (en) 2004-03-16 2005-09-29 Icontrol Networks, Inc. Business method for premises management
US11190578B2 (en) 2008-08-11 2021-11-30 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US7711796B2 (en) 2006-06-12 2010-05-04 Icontrol Networks, Inc. Gateway registry methods and systems
US10522026B2 (en) 2008-08-11 2019-12-31 Icontrol Networks, Inc. Automation system user interface with three-dimensional display
US20160065414A1 (en) 2013-06-27 2016-03-03 Ken Sundermeyer Control system user interface
US11582065B2 (en) 2007-06-12 2023-02-14 Icontrol Networks, Inc. Systems and methods for device communication
US10237237B2 (en) 2007-06-12 2019-03-19 Icontrol Networks, Inc. Communication protocols in integrated systems
US11201755B2 (en) 2004-03-16 2021-12-14 Icontrol Networks, Inc. Premises system management using status signal
US11343380B2 (en) 2004-03-16 2022-05-24 Icontrol Networks, Inc. Premises system automation
US7869500B2 (en) * 2004-04-27 2011-01-11 Broadcom Corporation Video encoder and method for detecting and encoding noise
US7949051B2 (en) * 2004-05-26 2011-05-24 Broadcom Corporation Mosquito noise detection and reduction
US20110128378A1 (en) 2005-03-16 2011-06-02 Reza Raji Modular Electronic Display Platform
US9306809B2 (en) 2007-06-12 2016-04-05 Icontrol Networks, Inc. Security system with networked touchscreen
US11700142B2 (en) 2005-03-16 2023-07-11 Icontrol Networks, Inc. Security network integrating security system and network devices
US20120324566A1 (en) 2005-03-16 2012-12-20 Marc Baum Takeover Processes In Security Network Integrated With Premise Security System
US20170180198A1 (en) 2008-08-11 2017-06-22 Marc Baum Forming a security network including integrated security system components
US11496568B2 (en) 2005-03-16 2022-11-08 Icontrol Networks, Inc. Security system with networked touchscreen
US10999254B2 (en) 2005-03-16 2021-05-04 Icontrol Networks, Inc. System for data routing in networks
US11615697B2 (en) 2005-03-16 2023-03-28 Icontrol Networks, Inc. Premise management systems and methods
JP4593437B2 (ja) * 2005-10-21 2010-12-08 パナソニック株式会社 動画像符号化装置
US7995649B2 (en) 2006-04-07 2011-08-09 Microsoft Corporation Quantization adjustment based on texture level
US8711925B2 (en) 2006-05-05 2014-04-29 Microsoft Corporation Flexible quantization
US10079839B1 (en) 2007-06-12 2018-09-18 Icontrol Networks, Inc. Activation of gateway device
KR100790150B1 (ko) * 2006-07-28 2008-01-02 삼성전자주식회사 비디오 부호화기 및 비디오 데이터 프레임 부호화 방법
KR101329860B1 (ko) * 2006-09-28 2013-11-14 톰슨 라이센싱 효과적인 레이트 제어 및 비디오 인코딩 품질의 향상을 위한 ρ-도메인 프레임 레벨 비트 할당 방법
US11706279B2 (en) 2007-01-24 2023-07-18 Icontrol Networks, Inc. Methods and systems for data communication
US8891020B2 (en) * 2007-01-31 2014-11-18 Thomson Licensing Method and apparatus for automatically categorizing potential shot and scene detection information
US7633385B2 (en) 2007-02-28 2009-12-15 Ucontrol, Inc. Method and system for communicating with and controlling an alarm system from a remote server
US8451986B2 (en) 2007-04-23 2013-05-28 Icontrol Networks, Inc. Method and system for automatically providing alternate network access for telecommunications
US10523689B2 (en) 2007-06-12 2019-12-31 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
US11218878B2 (en) 2007-06-12 2022-01-04 Icontrol Networks, Inc. Communication protocols in integrated systems
US10666523B2 (en) 2007-06-12 2020-05-26 Icontrol Networks, Inc. Communication protocols in integrated systems
US11212192B2 (en) 2007-06-12 2021-12-28 Icontrol Networks, Inc. Communication protocols in integrated systems
US10423309B2 (en) 2007-06-12 2019-09-24 Icontrol Networks, Inc. Device integration framework
US11089122B2 (en) 2007-06-12 2021-08-10 Icontrol Networks, Inc. Controlling data routing among networks
US11646907B2 (en) 2007-06-12 2023-05-09 Icontrol Networks, Inc. Communication protocols in integrated systems
US10051078B2 (en) 2007-06-12 2018-08-14 Icontrol Networks, Inc. WiFi-to-serial encapsulation in systems
US10616075B2 (en) 2007-06-12 2020-04-07 Icontrol Networks, Inc. Communication protocols in integrated systems
US12003387B2 (en) 2012-06-27 2024-06-04 Comcast Cable Communications, Llc Control system user interface
US10498830B2 (en) 2007-06-12 2019-12-03 Icontrol Networks, Inc. Wi-Fi-to-serial encapsulation in systems
US10389736B2 (en) 2007-06-12 2019-08-20 Icontrol Networks, Inc. Communication protocols in integrated systems
US11601810B2 (en) 2007-06-12 2023-03-07 Icontrol Networks, Inc. Communication protocols in integrated systems
US11316753B2 (en) 2007-06-12 2022-04-26 Icontrol Networks, Inc. Communication protocols in integrated systems
US11237714B2 (en) 2007-06-12 2022-02-01 Control Networks, Inc. Control system user interface
US11423756B2 (en) 2007-06-12 2022-08-23 Icontrol Networks, Inc. Communication protocols in integrated systems
US11831462B2 (en) 2007-08-24 2023-11-28 Icontrol Networks, Inc. Controlling data routing in premises management systems
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
FR2925795B1 (fr) * 2007-12-20 2010-01-15 Ateme Sa Procede et dispositif de codage d'une sequence temporelle d'images video, sous contrainte de debit
US11916928B2 (en) 2008-01-24 2024-02-27 Icontrol Networks, Inc. Communication protocols over internet protocol (IP) networks
JP5085370B2 (ja) * 2008-02-19 2012-11-28 オリンパス株式会社 画像処理装置および画像処理プログラム
US8897359B2 (en) 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US20170185278A1 (en) 2008-08-11 2017-06-29 Icontrol Networks, Inc. Automation system user interface
US11258625B2 (en) 2008-08-11 2022-02-22 Icontrol Networks, Inc. Mobile premises automation platform
US11792036B2 (en) 2008-08-11 2023-10-17 Icontrol Networks, Inc. Mobile premises automation platform
US11729255B2 (en) 2008-08-11 2023-08-15 Icontrol Networks, Inc. Integrated cloud system with lightweight gateway for premises automation
US11758026B2 (en) 2008-08-11 2023-09-12 Icontrol Networks, Inc. Virtual device systems and methods
US8638211B2 (en) 2009-04-30 2014-01-28 Icontrol Networks, Inc. Configurable controller and interface for home SMA, phone and multimedia
AU2011250886A1 (en) 2010-05-10 2013-01-10 Icontrol Networks, Inc Control system user interface
US8836467B1 (en) 2010-09-28 2014-09-16 Icontrol Networks, Inc. Method, system and apparatus for automated reporting of account and sensor zone information to a central station
US11750414B2 (en) 2010-12-16 2023-09-05 Icontrol Networks, Inc. Bidirectional security sensor communication for a premises security system
US9147337B2 (en) 2010-12-17 2015-09-29 Icontrol Networks, Inc. Method and system for logging security event data
JP5812808B2 (ja) * 2011-01-05 2015-11-17 キヤノン株式会社 画像処理装置及び画像処理方法
CA2825927A1 (en) 2011-01-28 2012-08-02 Eye IO, LLC Color conversion based on an hvs model
US10165274B2 (en) * 2011-01-28 2018-12-25 Eye IO, LLC Encoding of video stream based on scene type
US20130021512A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Framing of Images in an Image Capture Device
US9948938B2 (en) * 2011-07-21 2018-04-17 Texas Instruments Incorporated Methods and systems for chroma residual data prediction
US8711928B1 (en) 2011-10-05 2014-04-29 CSR Technology, Inc. Method, apparatus, and manufacture for adaptation of video encoder tuning parameters
US9307235B2 (en) * 2012-12-03 2016-04-05 Vixs Systems, Inc. Video encoding system with adaptive hierarchical B-frames and method for use therewith
US9924200B2 (en) * 2013-01-24 2018-03-20 Microsoft Technology Licensing, Llc Adaptive noise reduction engine for streaming video
US9386257B2 (en) * 2013-08-15 2016-07-05 Intel Corporation Apparatus, system and method of controlling wireless transmission of video streams
US20150172680A1 (en) * 2013-12-16 2015-06-18 Arris Enterprises, Inc. Producing an Output Need Parameter for an Encoder
US11146637B2 (en) 2014-03-03 2021-10-12 Icontrol Networks, Inc. Media content management
US11405463B2 (en) 2014-03-03 2022-08-02 Icontrol Networks, Inc. Media content management
WO2016080354A1 (ja) * 2014-11-17 2016-05-26 日本電信電話株式会社 映像品質推定装置、映像品質推定方法、および映像品質推定プログラム
US20170301203A1 (en) * 2016-04-15 2017-10-19 Vivint, Inc. Reducing bandwidth via voice detection
US10419785B2 (en) * 2017-07-21 2019-09-17 Cisco Technology, Inc. Distributed learning video encoder/decoder
US11234001B2 (en) * 2017-08-02 2022-01-25 DISH Technologies L.L.C. Systems and methods for enhanced video encoding
US10979744B2 (en) 2017-11-03 2021-04-13 Nvidia Corporation Method and system for low latency high frame rate streaming
CN110149517B (zh) * 2018-05-14 2022-08-23 腾讯科技(深圳)有限公司 视频处理的方法、装置、电子设备及计算机存储介质
WO2020036502A1 (en) * 2018-08-14 2020-02-20 Huawei Technologies Co., Ltd Machine-learning-based adaptation of coding parameters for video encoding using motion and object detection
US11272192B2 (en) * 2019-03-04 2022-03-08 Comcast Cable Communications, Llc Scene classification and learning for video compression
US20230052385A1 (en) * 2021-08-10 2023-02-16 Rovi Guides, Inc. Methods and systems for synchronizing playback of media content items
CN114466221B (zh) * 2022-01-14 2024-02-02 杭州华橙软件技术有限公司 一种图像处理方法、装置、存储介质和电子设备

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304372A (ja) 1997-04-30 1998-11-13 Sony Corp 画像符号化方法および装置、画像伝送方法
JP3911768B2 (ja) 1997-06-02 2007-05-09 ソニー株式会社 画像符号化方法及び画像符号化装置
US5978029A (en) 1997-10-10 1999-11-02 International Business Machines Corporation Real-time encoding of video sequence employing two encoders and statistical analysis
EP1005233A1 (en) * 1998-10-12 2000-05-31 STMicroelectronics S.r.l. Constant bit-rate coding control in a video coder by way of pre-analysis of the slices of the pictures
US6535251B1 (en) * 1999-10-26 2003-03-18 Sharplabs Of America, Inc. Video encoder and method for adjusting quantization step in real time

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4586328B2 (ja) * 2002-12-11 2010-11-24 ソニー株式会社 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
JP2004193990A (ja) * 2002-12-11 2004-07-08 Sony Corp 情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム
JP2010268525A (ja) * 2004-09-16 2010-11-25 Ntt Docomo Inc 映像評価装置、フレームレート決定装置、映像処理装置、映像評価方法、および映像評価プログラム
JP2006129093A (ja) * 2004-10-28 2006-05-18 Fujitsu Ltd 符号化装置およびこれを用いた録画装置、並びに符号化方法および録画方法
JP4547293B2 (ja) * 2005-04-04 2010-09-22 オリンパス株式会社 画像表示装置
JP2006280792A (ja) * 2005-04-04 2006-10-19 Olympus Corp 画像表示装置
JP2010525739A (ja) * 2007-04-23 2010-07-22 クゥアルコム・インコーポレイテッド 品質管理された符号化のための方法及びシステム
US8582647B2 (en) 2007-04-23 2013-11-12 Qualcomm Incorporated Methods and systems for quality controlled encoding
JP2010062926A (ja) * 2008-09-04 2010-03-18 Nec Personal Products Co Ltd 映像記録装置及び映像圧縮プログラム
WO2010095207A1 (ja) * 2009-02-23 2010-08-26 パナソニック株式会社 動画撮像装置
US8624993B2 (en) 2009-02-23 2014-01-07 Panasonic Corporation Video image pickup device
JP2010246103A (ja) * 2009-04-01 2010-10-28 Nhn Corp 動画重複検出方法およびシステム
US9020259B2 (en) 2009-07-20 2015-04-28 Thomson Licensing Method for detecting and adapting video processing for far-view scenes in sports video
JP2012533962A (ja) * 2009-07-20 2012-12-27 トムソン ライセンシング スポーツ映像における遠くからの眺めのシーンを検出して、映像処理を適応させる方法
WO2011111292A1 (ja) * 2010-03-09 2011-09-15 パナソニック株式会社 信号処理装置及び動画撮像装置
JP2011188243A (ja) * 2010-03-09 2011-09-22 Panasonic Corp 信号処理装置及び動画撮像装置
US9854167B2 (en) 2010-03-09 2017-12-26 Panasonic Intellectual Property Management Co., Ltd. Signal processing device and moving image capturing device
JP2014511137A (ja) * 2011-01-28 2014-05-08 アイ アイオー,リミテッド・ライアビリティ・カンパニー シーンに基づく適用性のあるビットレート制御
JP2017123649A (ja) * 2011-01-28 2017-07-13 アイ アイオー, リミテッド・ライアビリティ・カンパニーEye Io, Llc シーンタイプに基づくビデオストリームのエンコーディング
JP7435208B2 (ja) 2020-04-24 2024-02-21 サクサ株式会社 画像処理装置及びプログラム

Also Published As

Publication number Publication date
US20010017887A1 (en) 2001-08-30
US7023914B2 (en) 2006-04-04

Similar Documents

Publication Publication Date Title
JP2001245303A (ja) 動画像符号化装置および動画像符号化方法
JP3825615B2 (ja) 動画像符号化装置および動画像符号化方法およびプログラムを記録した媒体
US6834080B1 (en) Video encoding method and video encoding apparatus
US9241159B2 (en) Encoding apparatus, method of controlling thereof, and computer program
US7590296B2 (en) Image coding apparatus and method in which a loop filter performs a filtering process on each image block of an image
US5719986A (en) Video signal encoding method
US6507615B1 (en) Video signal processing apparatus and video signal processing method
JP3189861B2 (ja) 動画像符号化装置および方法
US6862372B2 (en) System for and method of sharpness enhancement using coding information and local spatial features
EP0892555A2 (en) Adaptive video coding method
US7031388B2 (en) System for and method of sharpness enhancement for coded digital video
JP3778960B2 (ja) 動画像符号化方法及び装置
JP3907875B2 (ja) 符号化レート制御装置及び情報符号化装置
JP2000350211A (ja) 動画像符号化方法及び動画像符号化装置
JP3508916B2 (ja) 動画像可変ビットレート符号化方法および装置
JP3982615B2 (ja) 符号化動画像データの方式変換装置
JP4644097B2 (ja) 動画像符号化プログラム、プログラム記憶媒体、および符号化装置。
KR100390167B1 (ko) 화상 부호화방법 및 화상 부호화장치
JPH05183872A (ja) 動画像符号化装置および方法
JP2002094987A (ja) 映像信号符号化装置
JPH10108197A (ja) 画像符号化装置、画像符号化制御方法および画像符号化制御用プログラムを記録した媒体
JP2005005862A (ja) 画像符号化装置
JP2005303555A (ja) 動画像符号化装置および動画像符号化方法
JP2004015351A (ja) 符号化装置及び方法、プログラム、記録媒体
EP1189451A1 (en) Digital video encoder

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050311

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070316

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070320

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20070510