JP2002101416A - 画像制御装置 - Google Patents

画像制御装置

Info

Publication number
JP2002101416A
JP2002101416A JP2000290015A JP2000290015A JP2002101416A JP 2002101416 A JP2002101416 A JP 2002101416A JP 2000290015 A JP2000290015 A JP 2000290015A JP 2000290015 A JP2000290015 A JP 2000290015A JP 2002101416 A JP2002101416 A JP 2002101416A
Authority
JP
Japan
Prior art keywords
state
value
scene change
picture
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000290015A
Other languages
English (en)
Inventor
Yuji Takenaka
裕二 竹中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2000290015A priority Critical patent/JP2002101416A/ja
Priority to US09/812,789 priority patent/US6914937B2/en
Publication of JP2002101416A publication Critical patent/JP2002101416A/ja
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/147Scene change detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/114Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence

Abstract

(57)【要約】 【課題】 画像信号の符号化効率及び画質の向上を図
る。 【解決手段】 比較処理手段11は、動きベクトルとし
きい値との比較を行う第1の比較処理、動き補償予測誤
差としきい値との比較を行う第2の比較処理、フレーム
間差分から動き補償予測誤差を減算した減算値としきい
値との比較を行う第3の比較処理、の少なくとも1つの
比較処理を行う。繰り返し数制御手段12は、比較結果
の情報にもとづいて、ストリーム中に挿入すべきBピク
チャの繰り返し数を適応的に制御する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像制御装置に関
し、特に画像信号の符号化制御を行う画像制御装置に関
する。
【0002】
【従来の技術】ISO/IECで国際標準化されている
MPEGや、ITU−Tで国際標準化されているH.2
62等の画像符号化方式では、フレ−ム内予測画像(I
ピクチャ)、フレ−ム間順方向予測画像(Pピクチャ)
に加え、双方向予測符号化画像(Bピクチャ)が導入さ
れている。
【0003】それぞれのピクチャ内のデータは、小ブロ
ックに分割され、ブロック単位の処理が行われている。
双方向予測とは、過去及び未来の画像フレ−ムを使って
予測するものであり、予測のためにIピクチャ及びPピ
クチャを用いている。
【0004】そのため、結果的にエンコードデータスト
リームではIピクチャを先頭とし、IピクチャとPピク
チャの間、またはPピクチャの間にいくつかのBピクチ
ャが挿入される形となる(IBBPBBPB・・)。ま
た、Iピクチャを先頭とした、ピクチャの集合をGOP
(グル−プ・オブ・ピクチャ)と呼んでいる。
【0005】
【発明が解決しようとする課題】しかし、上記のような
従来のGOPでは、Bピクチャの繰り返し数は2が一般
的に用いられているが、これは平均的な絵柄に対する適
正値であり、絵柄によっては、2以外が適する場合があ
る。このため、従来では最適な符号化が行われていない
といった問題があった。
【0006】例えば、入力画像が静止画に近いほど、B
ピクチャの適正値は大きくなるため、入力画像の動きを
検出し、動きの度合いにより、Bピクチャの繰り返し数
を変えた方が符号化効率は上がる。
【0007】一方、シーンチェンジが発生した場合に
は、フレーム内符号化を行った方が画質の良くなる場合
が多いが、従来、フレーム内符号化を行うタイミング
は、シーンチェンジに関係無く固定的なタイミングで行
われていた。このように、従来では、入力画像の状態に
応じてのフレーム内符号化が、適切に行われていなかっ
たので、符号化効率が悪いといった問題があった。
【0008】本発明はこのような点に鑑みてなされたも
のであり、画像信号の符号化効率及び画質の向上を図っ
た画像制御装置を提供することを目的とする。
【0009】
【課題を解決するための手段】本発明では上記課題を解
決するために、図1に示すような、画像信号の符号化制
御を行う画像制御装置10において、動きベクトルとし
きい値との比較を行う第1の比較処理、動き補償予測誤
差としきい値との比較を行う第2の比較処理、フレーム
間差分から動き補償予測誤差を減算した減算値としきい
値との比較を行う第3の比較処理、の少なくとも1つの
比較処理を行う比較処理手段11と、比較結果の情報に
もとづいて、ストリーム中に挿入すべきBピクチャの繰
り返し数を適応的に制御する繰り返し数制御手段12
と、を有することを特徴とする画像制御装置10が提供
される。
【0010】ここで、比較処理手段11は、動きベクト
ルとしきい値との比較を行う第1の比較処理、動き補償
予測誤差としきい値との比較を行う第2の比較処理、フ
レーム間差分から動き補償予測誤差を減算した減算値と
しきい値との比較を行う第3の比較処理、の少なくとも
1つの比較処理を行う。繰り返し数制御手段11は、比
較結果の情報にもとづいて、ストリーム中に挿入すべき
Bピクチャの繰り返し数を適応的に制御する。
【0011】また、図3に示すような、画像信号の符号
化制御を行う画像制御装置20において、同一ピクチャ
間でのフレーム間差分の平均をとったフレーム間差分平
均値にもとづいて、シーンチェンジの発生を検出するシ
ーンチェンジ検出手段21と、シーンチェンジの発生が
検出された場合には、ストリーム中にIピクチャを挿入
するピクチャ挿入制御手段22と、を有することを特徴
とする画像制御装置20が提供される。
【0012】ここで、シーンチェンジ検出手段21は、
同一ピクチャ間でのフレーム間差分の平均をとったフレ
ーム間差分平均値にもとづいて、シーンチェンジの発生
を検出する。ピクチャ挿入制御手段22は、シーンチェ
ンジの発生が検出された場合には、ストリーム中にIピ
クチャを挿入する。
【0013】
【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図1は本発明の画像制御装置の原
理図である。画像制御装置10は、画像信号の符号化制
御を行う。
【0014】比較処理手段11は、第1〜第3の比較処
理を行う。第1の比較処理は、動きベクトル(前フレー
ムとの前方向予測ベクトル)としきい値との比較を行
う。第2の比較処理は、動き補償予測誤差としきい値と
の比較を行う。第3の比較処理は、減算値(=フレーム
間差分−動き補償予測誤差)としきい値との比較を行
う。そして、これらの比較結果の情報を、繰り返し数制
御手段12へ出力する。
【0015】繰り返し数制御手段12は、比較処理手段
11での比較結果の情報にもとづいて、GOP中のBピ
クチャの繰り返し数を適応的に制御する。図では繰り返
し数=3を示している。なお、以降の説明では、Iピク
チャ、Bピクチャ、PピクチャをそれぞれI、B、Pと
略して呼ぶ。
【0016】次にB繰り返し数の適応制御について説明
する。図2はB繰り返し数の適応制御の概念を示す図で
ある。Bの繰り返し数制御方向Fは、関係図Z1によっ
て定まるB繰り返し数制御方向F(v)と、不等式Z2に
よって定まるB繰り返し数制御方向F(e)との和によっ
て決定される。
【0017】まず、関係図Z1について、関係図Z1
は、横軸に動きベクトル、縦軸に動き補償予測誤差をと
る。また、動きベクトルと動き補償予測誤差から決まる
F(v)は、左斜め上に向かうほどB繰り返し数制御方向
は増加方向へ、右斜め下に向かうほどB繰り返し数制御
方向は減少方向へ向かう。
【0018】ここで、動きベクトルの値が小さいほど、
符号化対象画像は静止画に近いので、F(v)はBの繰り
返し数を大きくする方向に制御される。また、動き補償
予測誤差が小さい場合は、符号化対象画像が静止画に近
いか、または動きベクトル検出が正しく行われている場
合なので、F(v)はBの繰り返し数を大きくする方向に
制御される。
【0019】なお、この場合、Bの繰り返し数を大きく
すると、基準となるピクチャと符号化対象ピクチャとの
時間差が大きくなる。そのため、動きベクトル検出が外
れる方向に働き、動き補償予測誤差が増加する傾向があ
る。つまり、Bの繰り返し数を増やすと、GOP内のB
の割合が増え、符号化効率があがるが、動き補償の効果
が減る傾向があるので、Bの増加によるプラス効果とベ
クトルが外れることによるマイナス効果とのトレードオ
フを考慮して、F(v)をバランスの良い値にする。
【0020】次に不等式Z2について、フレーム間差分
から動き補償予測誤差を減算した減算値としきい値との
大小を比較し、減算値がしきい値より大きければ、B繰
り返し数制御方向F(e)は増加の方向へ、減算値がしき
い値より小さければ、B繰り返し数制御方向F(e)は減
少の方向となる。
【0021】ここで、動き補償予測誤差とフレーム間差
分を比較した場合、前者の値が後者の値と比べて、小さ
な値になっていない場合は、動き検出が上手く機能して
いないので、Bの繰り返し数を減少する方向に制御す
る。また、逆の場合は、Bの繰り返し数を増加する方向
に制御する。
【0022】次にシーンチェンジ発生時にIを挿入す
る、本発明の画像制御装置について説明する。図3は画
像制御装置の原理図である。画像制御装置20は、画像
信号の符号化制御を行う。
【0023】シーンチェンジ検出手段21は、同一ピク
チャ間でのフレーム間差分の平均をとったフレーム間差
分平均値にもとづいて、シーンチェンジの発生を検出す
る。フレーム間差分平均値とは、同一のピクチャ(例え
ば、P)である(t−1)フレームとtフレームに対
し、すべてのブロック毎またはすべての画素毎に差分を
とり、その差分値の平均をとった値のことである。
【0024】ピクチャ挿入制御手段22は、シーンチェ
ンジの発生が検出された場合には、ストリーム中にIピ
クチャを挿入する(フレーム内符号化を行う)。次にシ
ーンチェンジ検出について説明する。シーンチェンジ検
出については以下の5つのいずれかの状態に該当する場
合には、シーンチェンジ発生とみなす。 (1) フレーム間差分平均値が、しきい値より大きい
場合。このような場合は、全画面のシーンチェンジと考
えられる。 (2) ピクチャをブロック化してブロック毎に画素デ
ータの平均をとったブロック平均値と、フレーム間差分
平均値との差分を求め、その差分が大きいブロックが多
く存在する場合。このような場合は、部分的画面のシー
ンチェンジ(風景が同じで、突然、人が現れたなど)と
考えられる。 (3) (1)と(2)を合わせた場合。すなわち、フ
レーム間差分平均値がしきい値より大きく、かつピクチ
ャをブロック化してブロック毎に画素データの平均をと
ったブロック平均値と、フレーム間差分平均値との差分
を求め、その差分が大きいブロックが多く存在する場
合。 (4) フレーム間差分平均値の変化分が一定の値より
大きく、急激変化を示した場合。 (5) フレーム間差分平均値がしきい値より低い状態
で、かつ変化分が一定の値より大きく、急激変化を示し
た場合。
【0025】次に上記の画像制御装置10、20の両方
を併せ持つ画像制御装置について以降詳しく説明する。
図4は画像制御装置の構成を示す図である。画像制御装
置30は、上述したB繰り返し数適応制御及びシーンチ
ェンジ発生時のI挿入制御の両方の機能を具体化した装
置である。
【0026】固定遅延部31は、時間調整のために、入
力画像データをシーンチェンジ検出に要する時間分遅延
させる。動きベクトル検出部32は、(t−1)フレー
ムとtフレームとの動きベクトルを検出し、動きベクト
ルの値を符号化制御部4へ送信する。なお、動き補償
(以下、MC)は、エンコーダ37でも行われるが、B
繰り返し数決定制御のために、動きベクトル検出部32
で動きベクトルを事前に検出している。
【0027】MC予測誤差検出部33は、格納している
前フレームを、動きベクトルにしたがってずらして、現
フレームとのずれであるMC予測誤差を検出し、MC予
測誤差の値を符号化制御部4へ送信する。
【0028】フレーム間差分検出部34は、(t−1)
フレームとtフレームとのフレーム間差分を検出する。
固定遅延部35は、シーンチェンジ検出部100で行わ
れる処理の時間調整のために、受信したフレーム間差分
を遅延させ、遅延後のフレーム間差分の値を符号化制御
部4へ送信する。
【0029】シーンチェンジ検出部100は、フレーム
間差分にもとづいて、シーンチェンジ発生を検出する。
そして、シーンチェンジが発生したか否かの1ビット信
号を符号化制御部4へ送信する。
【0030】符号化制御部4は、フレームCLKにもと
づいて、上記の入力データを処理して、メモリ36を制
御するメモリ制御信号を生成し、メモリ36へ送信す
る。また、エンコーダ37に対し、I、P、Bのいずれ
かの指示を設定する予測モード信号をエンコーダ37へ
送信する。
【0031】メモリ36は、メモリ制御信号にもとづい
て、固定遅延部31から送信された画像データの書き込
み/読み出し処理を行う。エンコーダ37は、メモリ3
6から送信された画像信号を、予測モード信号にもとづ
いて符号化する。例えば、予測モード信号がIを指示す
る場合は、メモリ36から送信された画像信号にフレー
ム内予測符号化処理を施す。
【0032】図5は符号化制御部4の構成を示す図であ
る。符号化制御部4は、B値制御部40と、状態遷移ブ
ロック400とから構成される。B値制御部40は、動
きベクトル、MC予測誤差、フレーム間差分にもとづい
て、Bの繰り返し数のInc/H/Dec(増加/保持
/減少)の判定を行う。
【0033】状態遷移ブロック400は、シーンチェン
ジが検出された場合及びB値制御部40によりBの繰り
返し数の増減が必要と判断された場合に(判定結果がI
ncもしくはDecの場合)、I、P、Bの遷移状態を
制御する。
【0034】図6はB値制御部40の構成を示す図であ
る。比較部41は、動きベクトルとしきい値との比較を
行う。累積部42a、42bは、ブロック単位(画像符
号化の基本単位)でのリセット信号を受けて、MC予測
誤差とフレーム間差分をブロック単位でそれぞれ累積す
る。
【0035】比較部43は、累積MC予測誤差としきい
値との比較を行う。減算器44は、累積フレーム間差分
から累積MC予測誤差を減算する。比較部45は、減算
値としきい値との比較を行う。
【0036】マトリクス処理部46は、比較部41、4
3、45からの比較結果を受信して、内部で設定してあ
る判定基準にもとづいて、ブロック単位でInc/H/
Decを求め、出力する。
【0037】カウンタ47a〜47cは、フレーム(1
画面)あたりのInc/H/Decのブロック数を、ブ
ロックCLKにもとづいてカウントする。重み付け部4
8は、カウンタ47a〜47cから出力されるそれぞれ
のカウント値に、重み付けをして、信号W1〜W3を出
力する。選択部49は、信号W1〜W3の中から最も数
の大きい信号を選択し、それをフレームにおける最終的
なInc/H/Decの判定結果とする。
【0038】図7はメモリ36の構成を示す図である。
メモリ36は、I、B、P用の3つのFIFO36a〜
36cと、OR素子36dと、P増加のためのフレーム
メモリ36eとから構成される。
【0039】メモリ36は、符号化制御部4からのメモ
リ制御信号にもとづき、I/P/Bを分離してFIFO
36a〜36cに格納する。また、エンコーダ37に出
力データを渡す際に、I/B/Pにしたがい、画像フレ
ームの並び替えが必要となるが、それは読み出すFIF
O36a〜36cの選択先を変えることで行う。また、
Bを増加させる場合は、Pの繰り返しが1回発生する。
さらに、Bを減少させる場合はBを1枚廃棄する。
【0040】なお、図中のWE−I、B、PとRE−
I、B、Pと廃棄フラグとRE−P(増)は、メモリ制
御信号に含まれる。図8はマトリクス処理部46が管理
するマトリクステーブルを示す図である。マトリクス処
理部46は、マトリクステーブルTを利用して、動きベ
クトル、MC予測誤差、フレーム間差分値に対するしき
い値との比較結果である計3ビットの情報に対応して、
Inc/H/Decの判定結果を図のように関連付けて
いる。なお、表中、1でしきい値より大、0でしきい値
より小である。
【0041】次にシーンチェンジ検出部100について
説明する。図9〜図13に示すシーンチェンジ検出部の
構成は、上述したシーンチェンジ発生に関する状態
(1)〜(5)にそれぞれ対応する。
【0042】図9はシーンチェンジ検出部の構成を示す
図である。シーンチェンジ検出部100−1に対し、累
積部111は、フレームリセットを受信して、フレーム
間差分をフレーム単位で累積する。平均値処理部112
は、フレームCLKにしたがって、累積したフレーム間
差分の平均値をとり、フレーム間差分平均値を生成す
る。
【0043】比較部113は、フレーム間差分平均値と
しきい値とを比較する。そして、フレーム間差分平均値
がしきい値よりも大きい場合はシーンチェンジ発生とみ
なす。この場合、例えば、出力信号OUTは“1”とな
る。
【0044】図10はシーンチェンジ検出部の構成を示
す図である。シーンチェンジ検出部100−2に対し、
累積部121は、フレームリセットを受信して、フレー
ム間差分をフレーム単位で累積する。平均値処理部12
2は、フレームCLKにしたがって、累積したフレーム
間差分の平均値をとり、フレーム間差分平均値を生成す
る。
【0045】累積部124は、ブロックリセットを受信
して、フレーム間差分をブロック単位で累積し、ブロッ
ク平均値を生成する。ここで、フレーム間差分平均値と
ブロック平均値との差が大きいか否かを判断するため
に、加算器123で、フレーム間差分平均値にオフセッ
トを加算する。そして、比較部125は、オフセット加
算後のフレーム間差分平均値とブロック平均値とを比較
し、差が大きいか否かの1ビット信号をブロック単位で
出力する。
【0046】カウンタ126は、フレームリセットを受
信して、比較部125からの出力信号をブロックCLK
にしたがってカウントし、フレーム単位でカウント値を
出力する。
【0047】取り込み部127は、フレームCLKにし
たがって、カウント値を取り込む。比較部128は、取
り込んだカウント値としきい値とを比較する。そして、
差分値がしきい値よりも大きい場合はシーンチェンジ発
生とみなす。この場合、例えば、出力信号OUTは
“1”となる。
【0048】図11はシーンチェンジ検出部の構成を示
す図である。なお、図10のシーンチェンジ検出部10
0−2と同じ構成要素には、同一の符号を付けてそれら
の説明は省略する。
【0049】比較部131は、平均値処理部122から
出力されるフレーム間差分平均値としきい値とを比較す
る。そして、フレーム間差分平均値がしきい値よりも大
きい場合は、例えば、出力信号OUT2は“1”とな
る。
【0050】AND素子は、比較部128と比較部13
1の出力の論理積をとる。シーンチェンジ発生時の出力
は“1”となる。図12はシーンチェンジ検出部の構成
を示す図である。シーンチェンジ検出部100−4に対
し、累積部141は、フレームリセットを受信して、フ
レーム間差分をフレーム単位で累積する。平均値処理部
142は、フレームCLKにしたがって、累積したフレ
ーム間差分の平均値をとり、フレーム間差分平均値を生
成する。
【0051】取り込み部143は、フレームCLKにし
たがって、フレーム間差分平均値を取り込む。取り込み
部144は、フレームCLKにしたがって、取り込み部
143から出力されるフレーム間差分平均値を取り込
む。
【0052】減算器145は、取り込み部143から出
力されたフレーム間差分平均値(前フレーム側)と、取
り込み部144から出力されたフレーム間差分平均値
(現フレーム側)との差分を求める。
【0053】比較部146は、減算器145から出力さ
れる差分値と、しきい値とを比較する。そして、差分値
がしきい値よりも大きい場合はシーンチェンジ発生とみ
なす。この場合、例えば、出力信号OUTは“1”とな
る。
【0054】図13はシーンチェンジ検出部の構成を示
す図である。なお、図12のシーンチェンジ検出部10
0−4と同じ構成要素には、同一の符号を付けてそれら
の説明は省略する。
【0055】取り込み部151は、減算器145から出
力される差分値を取り込む。比較部152は、取り込み
部151から出力される差分値INと、しきい値とを比
較する。そして、IN<しきい値の場合には、安定状態
とみなし、比較部152は“1”を出力する。
【0056】4段のフリップフロップFF154は、フ
レームCLKにしたがって、“1”を保持し、AND素
子155にそれぞれ出力する。各フリップフロップFF
の出力がすべて1の場合、同じような絵柄のフレームが
連続したことになる。比較部153は、取り込み部15
1から出力される差分値INと、しきい値とを比較す
る。そして、IN>しきい値の場合には、比較部152
は“1”を出力する。
【0057】AND素子155は、すべての入力が
“1”の場合(安定状態から急激変化状態に変化した場
合)に、シーンチェンジ発生を意味する“1”を出力す
る。次に状態遷移ブロック400で行う状態遷移動作に
ついて詳しく説明する。図14、図15は書き込み側の
状態遷移図である。図16、図17は読み出し側の状態
遷移図である。図18はB増加時の書き込み/読み出し
シーケンス図である。図19はB減少時の書き込み/読
み出しシーケンス図である。
【0058】まず、書き込み側の動作について説明す
る。なお、以降の状態遷移動作の共通事項としては、状
態の遷移はフレーム単位に行われ、Bの増減とシーンチ
ェンジによる状態変数設定は、非同期に行われる。
【0059】最初にINITステートで、Bの繰り返し
周期=M0と、GOP中のIまたはPの回数=N0の設
定及び、変数のリセットを行う。初期化直後の状態は、
Bステートになる。ここで、M0とN0をテンポラル変
数N、Mにセットする。また、クローズドGOPの場合
は、前方予測を禁止するためにBBフラグをセットする
(図18では、書き込みシーケンスB1に相当する。)
この状態では、N=3、M=2、BB=setであるの
で、“M≠1 and INC1=DEC=0”の条件が成
り立ち、次の遷移先は図14、15より、Bステートに
なる。(図18では、書き込みシーケンスB2に相当す
る。)図14、15の遷移図のように、Bに戻る時にM
の値を1減ずるので、この状態(B2)では、N=3、M
=1、BB=setになる。したがって、“M=1 and
N=3”が成り立つので次の遷移先は図14、15よ
り、Iステートになる。
【0060】また、図14、15のように、Iステート
に入る時に、BBをリセットする。そのことにより、G
OP境界にある、Bピクチャの前方予測を禁止し、クロ
ーズドGOPを実現可能にする。Iステートの次は、無
条件にBステートに遷移する(図18では、書き込みシ
ーケンスB3に相当する)。
【0061】Bステートに入る時に、Nの値を1減じ、
Mの値を初期値に戻し、DEC2、INC2をリセット
する。DEC2、INC2は元々セットされていないの
で、N=M=2、その他のフラグは全てリセットにな
る。したがって、“M≠1 andINC1=DEC=0”
の条件が成り立ち、次の遷移先は図14、15より、再
度Bステートになる(図18では、書き込みシーケンス
B4に相当する)。
【0062】また、図14、15のように、Bに戻る時
にMの値を1減ずるので、この状態では、N=2、M=
1になる。この場合、“M=1 and N≠3”の条件が
成り立つので、次の遷移先はPステートになる(図18
では、書き込みシーケンスP1に相当する)。
【0063】この状態では、N=2、M=0、CHG≠
1なので、次の遷移先はBになり、Bステートに入る時
にNの値を1減じ、Mの値を再設定し、DEC2とIN
C2をリセットする。
【0064】Bの増加や減少及び、シーンチェンジが発
生しない場合は、以下同様に、B、B、P、B、B、
P、B、B、P、B・・・と遷移していく。Pステート
に入った時に、Nの値が0である場合は、他の場合と同
様に、次のステートはBステートになるが、他の場合と
は違い、Nの値も初期値に戻す。このようにして、GO
P周期の遷移(BBI BBP BBP BBP B・・B
P BBP)(BBI BBP・・・)を行えるようにす
る。
【0065】次に読み出し側の動作について説明する。
読み出し側は、書き込み側に比べ、固定遅延分だけ送れ
てスタートする。最初の状態はIステートで(図16、
17参照)、M0とN0をテンポラル変数N、Mに代入
する。次の遷移先は図16、17に示すように、無条件
にBステートとなる(図18では、読み出しシーケンス
B1に相当する)。Bステートに遷移する時に、Mの値
を1減ずるので、この状態では、M=1、N=3にな
る。すると、この状態では、“M≠0 and DecSe
t≠1”の条件が成立するので、次の遷移先もBになる
(図18では、読み出しシーケンスB2に相当する)。
【0066】Bステートに遷移する時に、Mの値を1減
ずるので、この状態では、M=0、N=3になる。する
と、この状態では、“M=0 and N≠0”の条件が成
立するので、次の遷移先はPステートになる(図18で
は、読み出しシーケンスP1に相当する)。
【0067】Pに遷移する時に、Mの値を再設定し、N
の値を1減じるので、この状態では、M=2、N=2に
なる。すると、Bの増加やシーンチェンジが発生してい
ない場合は“IncSet=0”の条件が成立するの
で、次の遷移先はBになる。以下同様に、B、B、P、
B、B、P、B、B、P、B・・と遷移していく。
【0068】Bステートに入った時に、Nの値が0であ
り、Bステートをループしている間に、M=0になる
と、図16、17に示すように、Iステートに遷移し、
初期状態(GOPの先頭)に戻る。このようにして、GO
P周期の遷移(IBB PBBPBB PBB PB・・
PBB)(IBB PBB・・・)を行えるようにす
る。
【0069】次にB増加時の動作について説明する。B
の増加は、書き込み側のBステートで監視している(図
14、15参照)。書き込み側でBステートにいる時
に、前回の増加要求の処理が終わっており(INC2≠
1)、Mの値が最大値を超していない場合でかつ、増加
判定が行われた場合、増加要求フラグである、INC1
/2を非同期にセットし、MとM0の値を1増加させ
る。そして、Mの値が1になるまでBステート内をルー
プする。
【0070】図18において、書き込みシーケンスB5
の所で増加判定が行われた場合、図18に示すように、
B5の最後の方で、INC1、2がセットされ、M0の
値が1増加され3に変更されると共に、Mの値も現状値
の2に1加算されて3になる。B5の次の遷移先はIN
C1=1が成立するので、図14、15より、再度Bに
なる。
【0071】図18の書き込みシーケンスB6に遷移す
る時、図14、15に示すように、Mの値を1減じ、I
NC1をリセットする。したがってB6ではM=2、I
NC1=0、INC2=1となる。そして、図14、1
5の遷移図に従い、Mの値が1になるまで、Bステート
をループする。
【0072】図18の書き込みシーケンスB7の所で、
“M=1 and N≠3”の条件が成立するので、次の遷
移先はPステートになる。図18の書き込みシーケンス
P2の所で、INC2=1であるので、読み出し側のB
増加用フラグである、IncSetを1に設定する。
【0073】書き込み側の次の遷移先は、CHG≠1な
のでBステートになり、図18の書き込みシーケンスB
8に遷移する時に、Nの減算とMの再設定とINC2の
リセットが行われる。以下は同様に、Mが1になるま
で、BステートをループしPステートに遷移した後、B
ステートに戻る。Pステートに遷移した時、“N=0 a
nd M=0”が成り立つ場合(例えば、図18の書き込
みシーケンスP3)、Bステートに遷移する時に、Nの
初期化を行うことでGOPの初期化を行う。
【0074】Bの増加判定条件にINC2を入れている
のは、IまたはP間のBの増加単位を1に制限するため
である。図18に示すように、通常は、書き込みのI、
Pと読み出しのI、Pは約1ピクチャーの時間差があ
る。I−P間または、P−P間での、Bの増加量は最大
1なので、書き込み側でBの増加が行われた場合は、
I、Pの書き込みと読み出しが、ほぼ同位相になる(読
み出しの方が若干遅い)。
【0075】したがって、図18に示すように、書き込
み側でIncSetを設定した場合、IncSetの出
る位相は、読み出し側のPステートの位相と一致する。
読み出し側では、Pステートに遷移した時にIncSe
tがセットされていると(図18の読み出しシーケンス
P2)、図16、17の状態遷移図に示すように、PI
ncステートに遷移する。そしてP Incステートに
遷移する時に、Mの値を1増加させ、IncSetをリ
セットし、P増加フラグをこのステートにいる間、出力
する。
【0076】P増加フラグはメモリ部ブロック図のRE
N−P増に接続され、FM側のデータを出力すること
で、P2ステートのデータを再出力させる。P Inc
ステートの後の遷移は、通常のPステートと同じである
が、Mの値が1増加しているので、Bが増加する。
【0077】次にB減少時の動作について説明する。B
の減少は書き込み側のBステートで監視している(図1
4、15参照)。書き込み側でBステートにいる時に、
前回の減少要求の処理が終わっており、Mの値が1を超
している場合でかつ、減少判定が行われた場合、減少要
求フラグである、DEC1/2を非同期にセットし、M
とM0の値を1減少させる。そして、Mの値が1になる
までBステート内をループする。
【0078】図19において、書き込みシーケンスB5
の所で減少判定が行われた場合、図19に示すように、
B5の最後の方で、DEC1、2がセットされ、M0の
値が1減少され1に変更されると共に、Mの値も現状値
の2から1減算されて1になる。図14、15におい
て、B5の次の遷移先は“M=1 and N≠3”が成り
立つのでPステートになる。
【0079】図19の書き込みシーケンスP2に遷移す
る時、図14に示すように、Mの値を1減じ、DEC1
をリセットし、DecSetをセットする。したがって
図19の書き込みシーケンスP2ではM=0、DEC1
=0、DEC2=1となる。そして、図14、15の遷
移図に従い、Mの値が1になるまで、Bステートをルー
プする。この場合は、Mの値は最初から1なので、Bと
Pの間を交互に遷移する。Pステートに遷移した時に
“N=0 and M=0”が成り立つ場合、(例えば、図1
9の書き込みシーケンスP3) Bステートに遷移する時
に、Nの初期化を行うことでGOPの初期化を行う。
【0080】Bの増加判定条件にDEC2を入れている
のは、IまたはP間のBの減少単位を1に制限するため
である。Mが2以上でないとBの減少モードには行かな
いので、図19を見て明らかなように、DecSetが
1になる場合、読み出しシーケンス側は、Bステートに
いる。そのため、図16、17の状態遷移図(REA
D)では、B STATE でDecSetの監視を行っ
ている。
【0081】図19の例では、読み出しシーケンスB3
にいる時にDecSetがセットされている。この場
合、N=2、M=1、DecSet=1なので、“M≦
1 andDecSet=1 N≠0”の条件が成り立ち、
図16、17における、次の遷移先はP Dec STA
TEになる。このステートに遷移する時に、Nの値とM
0の値を1減じ、Mの初期化を行い、DecSetをリ
セットする。またこのステートにいる間は、Pステート
なので、Pフレームのデータを読み出しているが、廃棄
フラグを出力することで、同時にBフレームのデータも
読み出している。しかし、このデータ(B4)は使用せ
ずに廃棄される。
【0082】P Dec STATEの次の遷移先は、図
16、17より、無条件にBステートになる。後は、B
とPの間を交互に遷移し、“N=0 and M=0”の条
件が成り立つ時、(例えば、図19の読み出しシーケン
スB6)次のタイミングでIステートに遷移し、GOP
単位の初期化を行う。
【0083】次にシーンチェンジ時の動作について説明
する。シーンチェンジは、書き込み側のBステートとP
ステートで監視している。シーンチェンジ検出は他の処
理に比べて、2フレーム先行しているので、シーンチェ
ンジ画面の2フレーム前のところで処理が行われる。
【0084】例えば、図20のP2→I2の所で、シー
ンチェンジが発生した場合、B5とB6−P及びP2→
I2の所でシーンチェンジの処理が行われる。書き込み
側での処理は、Mの値をMCとして保持し、Pステート
を経由してIステートに遷移させることで、シーンチェ
ンジのフレームを強制的にIピクチャにすると共に、書
き込み側でのGOP最後のピクチャをPに固定する。
【0085】読み出し側は、Pステート時にChgSe
tフラグとMCの値にしたがってその後の遷移をコント
ロールする。ChgSet=1 and MC=0の場合、
Iステートに遷移させた後、Pステートに遷移させ、そ
の後は通常遷移を行わせる。ChgSet=1 and M
C≠0の場合、M0+1−MC回、B CHGステート
を遷移させた後、I、Pと遷移させその後は通常遷移を
行わせる。
【0086】次に図20〜図22にしたがって動作を説
明する。図20の書き込みシーケンスP2→I2のとこ
ろに来るピクチャが、シーンチェンジピクチャとする
と、B5の所でシーンチェンジが検出される。すると図
14、15のBステート内で、MC=2、CHG1=1
に設定される。次の遷移先は、図14、15のBステー
トにおいて“(M=1 and N≠3) or CHG1=
1”の条件が成立するので、Pステートになる(図20
のB6−P)。このステートに入る時に、Mの値が1減
じられM=1になる。
【0087】次の遷移先は、図14、15のP STA
TEにおいて“CHG1=1”が成立しているので I
STATEになる(図20のP2→I2)。このステー
トに入る時に、CHG1、M、Nの初期化を行うと共
に、読み出し側のシーンチェンジ検出フラグであるCh
gSetを1に設定する。
【0088】次の遷移先は無条件にB STATEにな
り、これ以降の遷移は通常動作になる。読み出し側は、
Bの繰り返し=2で動作し始めるので、I1 → B1
→ B2 → P1 → B3 → B4 →P(B6−P)と遷
移して行く。図16、17のP STATEの所では、
“ChgSet=1 MC≠0”の条件が成り立つの
で、次の遷移先は B CHG STATE(図21読み出
しシーケンスB5)になる。
【0089】また、CNT=2−2−1=1なので、
“CNT≦1”の条件が成り立ち、次の遷移先はI C
HG STATE(図21読み出しシーケンスI2)にな
る。ここで、Nの初期化を行い、次のタイミングで無条
件にP STATE(図21読み出しシーケンスP3)に
遷移する。P STATEに遷移する時に、Nの減算と
Mの初期化とChgSetのリセットを行い、後の動作
は通常動作になる。
【0090】したがって、図20に示すように、シーン
チェンジ画面をIピクチャにすると共に、シーンチェン
ジ画面をまたがった予測値の参照を禁止することが可能
となる。
【0091】図21の書き込みシーケンスB7→I2の
ところに来るピクチャが、シーンチェンジピクチャとす
ると、B6の所でシーンチェンジが検出される。すると
図14、15のBステート内で、MC=1、CHG1=
1に設定される。
【0092】次の遷移先は、図14、15のBステート
において“(M=1 and N≠3)or CHG1=1”の
条件が成立するので、Pステートになる(図21のP2
Chg)。このステートに入る時に、Mの値が1減じら
れM=0になる。
【0093】次の遷移先は、図14、15のP STA
TEおいて“CHG1=1”が成立しているので I S
TATEになる(図21のB7→I2)。このステート
に入る時に、CHG1、M、Nの初期化を行うと共に、
読み出し側のシーンチェンジ検出フラグであるChgS
etを1に設定する。
【0094】次の遷移先は無条件にB STATEにな
り、これ以降の遷移は通常動作になる。読み出し側は、
Bの繰り返し=2で動作し始めるので、I1 → B1
→ B2 → P1 → B3 → B4 →P2と遷移して行
く。このステートでは、“ChgSet=1 MC≠
0”の条件が成り立つので、次の遷移先は B CHG
STATE(図21読み出しシーケンスB5)になる。ま
た、CNT=2−1−1=2なので、“CNT>1”の
条件が成り立ち、B CHG STATEにもう1回遷移
した後(図21読み出しシーケンスB6)、I CHG S
TATE(図21の読み出しシーケンスI2)に遷移す
る。
【0095】ここで、Nの初期化を行い、次のタイミン
グで、無条件にP STATE(図21読み出しシーケン
スP3)に遷移する。P STATEに遷移する時に、N
の減算とMの初期化とChgSetのリセットを行い、
後の動作は通常動作になる。したがって、図21に示す
ように、シーンチェンジ画面をIピクチャにすると共
に、シーンチェンジ画面をまたがった予測値の参照を禁
止することが可能となる。
【0096】図22の書き込みシーケンスB8→I2の
ところに来るピクチャが、シーンチェンジピクチャとす
ると、P2の所でシーンチェンジが検出される。すると
図14、15のPステート内で、MC=0、CHG2=
1に設定される。
【0097】次の遷移先は、図14、15のPステート
において“CHG2=1”の条件が成立するので、Pス
テート(図22のB7−P)となる。このステートに戻
る時に、CHG2がリセットされCHG1がセットされ
るので、次の遷移先はI STATE(図22のB8→I
2)になる。このステートに入る時に、CHG1、M、
Nの初期化を行うと共に、読み出し側のシーンチェンジ
検出フラグであるChgSetを1に設定する。
【0098】次の遷移先は無条件にB STATEにな
り、これ以降の遷移は通常動作になる。読み出し側は、
Bの繰り返し=2で動作し始めるので、I1 → B1
→ B2 → P1 → B3 → B4 →P2→ B5 →
B6 →B7−Pと遷移して行く。
【0099】図16、17のP STATEの所では
“ChgSet=1 MC=0”の条件が成り立つの
で、次の遷移先は I CHG STATE(図22の読み
出しシーケンスI2)になる。ここで、Nの初期化を行
い、次のタイミングで、無条件にPSTATE(図22
の読み出しシーケンスP3)に遷移する。
【0100】P STATEに遷移する時に、Nの減算
とMの初期化とChgSetのリセットを行い、後の動
作は通常動作になる。したがって、図22に示すよう
に、シーンチェンジ画面をIピクチャにすると共に、シ
ーンチェンジ画面をまたがった予測値の参照を禁止する
ことが可能となる。
【0101】以上説明したように、本発明により、動き
ベクトルの大きさ、MC予測誤差、フレーム間差分の関
係から、最適なBの値に自動的に収束することができる
ので、符号化効率及び画質の向上を図ることが可能にな
る。また、シーンチェンジ発生時にIを挿入すること
で、Iの周期が固定である従来方式に比べ、シーンチェ
ンジによる情報量の増加を押さえることができるので、
符号化効率及び画質の向上を図ることが可能になる。
【0102】(付記1) 画像信号の符号化制御を行う
画像制御装置において、動きベクトルとしきい値との比
較を行う第1の比較処理、動き補償予測誤差としきい値
との比較を行う第2の比較処理、フレーム間差分から動
き補償予測誤差を減算した減算値としきい値との比較を
行う第3の比較処理、の少なくとも1つの比較処理を行
う比較処理手段と、比較結果の情報にもとづいて、スト
リーム中に挿入すべきBピクチャの繰り返し数を適応的
に制御する繰り返し数制御手段と、を有することを特徴
とする画像制御装置。
【0103】(付記2) 前記繰り返し数制御手段は、
前記第1の比較処理で、前記動きベクトルが前記しきい
値よりも小さいと判定された場合は、前記Bピクチャの
繰り返し数を増加する方向へ、大きいと判定された場合
には、繰り返し数を減少する方向へ制御することを特徴
とする付記1記載の画像制御装置。
【0104】(付記3) 前記繰り返し数制御手段は、
前記第2の比較処理で、前記動き補償予測誤差が前記し
きい値よりも小さいと判定された場合は、前記Bピクチ
ャの繰り返し数を増加する方向へ、大きいと判定された
場合には、繰り返し数を減少する方向へ制御することを
特徴とする付記1記載の画像制御装置。
【0105】(付記4) 前記繰り返し数制御手段は、
前記第3の比較処理で、前記減算値が前記しきい値より
も大きい場合は、前記Bピクチャの繰り返し数を増加す
る方向へ、小さい場合には、繰り返し数を減少する方向
へ制御することを特徴とする付記1記載の画像制御装
置。
【0106】(付記5) 前記繰り返し数制御手段は、
前記第1の比較処理と、前記第2の比較処理と、前記第
3の比較処理とによる比較結果を関連付けて、前記Bピ
クチャの繰り返し数を増加、保持、減少のいずれかの方
向へ制御することを特徴とする付記1記載の画像制御装
置。
【0107】(付記6) 画像信号の符号化制御を行う
画像制御装置において、同一ピクチャ間でのフレーム間
差分の平均をとったフレーム間差分平均値にもとづい
て、シーンチェンジの発生を検出するシーンチェンジ検
出手段と、前記シーンチェンジの発生を検出した場合に
は、ストリーム中にIピクチャを挿入するピクチャ挿入
制御手段と、を有することを特徴とする画像制御装置。
【0108】(付記7) 前記シーンチェンジ検出手段
は、前記フレーム間差分平均値がしきい値より大きい場
合には、シーンチェンジ発生とみなすことを特徴とする
付記6記載の画像制御装置。
【0109】(付記8) 前記シーンチェンジ検出手段
は、ピクチャをブロック化してブロック毎に画素データ
の平均をとったブロック平均値と、前記フレーム間差分
平均値との差分を求め、前記差分が一定の値より大きい
ブロックが一定の数より多く存在する場合には、シーン
チェンジ発生とみなすことを特徴とする付記6記載の画
像制御装置。
【0110】(付記9) 前記シーンチェンジ検出手段
は、前記フレーム間差分平均値がしきい値より大きく、
かつピクチャをブロック化してブロック毎に画素データ
の平均をとったブロック平均値と、前記フレーム間差分
平均値との差分を求め、前記差分が一定の値より大きい
ブロックが一定の数より多く存在する場合には、シーン
チェンジ発生とみなすことを特徴とする付記6記載の画
像制御装置。
【0111】(付記10) 前記シーンチェンジ検出手
段は、前記フレーム間差分平均値の変化分が一定の値よ
り大きく、急激変化を示した場合には、シーンチェンジ
発生とみなすことを特徴とする付記6記載の画像制御装
置。
【0112】(付記11) 前記シーンチェンジ検出手
段は、前記フレーム間差分平均値がしきい値より低い状
態で、かつ変化分が一定の値より大きく、急激変化を示
した場合に、シーンチェンジ発生とみなすことを特徴と
する付記6記載の画像制御装置。
【0113】(付記12) 画像信号の符号化制御を行
う画像制御装置において、動きベクトルとしきい値との
比較を行う第1の比較処理、動き補償予測誤差としきい
値との比較を行う第2の比較処理、フレーム間差分から
動き補償予測誤差を減算した減算値としきい値との比較
を行う第3の比較処理、の少なくとも1つの比較処理を
行う比較処理手段と、比較結果の情報にもとづいて、ス
トリーム中に挿入すべきBピクチャの繰り返し数を適応
的に制御する繰り返し数制御手段と、同一ピクチャ間で
のフレーム間差分の平均であるフレーム間差分平均値に
もとづいて、シーンチェンジの発生を検出するシーンチ
ェンジ検出手段と、前記シーンチェンジの発生が検出さ
れた場合には、ストリーム中にIピクチャを挿入するピ
クチャ挿入制御手段と、を有することを特徴とする画像
制御装置。
【0114】
【発明の効果】以上説明したように、本発明の画像制御
装置は、動きベクトルとしきい値との比較、動き補償予
測誤差としきい値との比較、フレーム間差分から動き補
償予測誤差を減算した減算値としきい値との比較の比較
処理を行い、これら比較結果にもとづいて、Bピクチャ
の繰り返し数を適応的に制御する構成とした。これによ
り、入力画像の絵柄と動きに適した符号化制御が実現で
きるので、符号化効率及び画質の向上を図ることが可能
になる。
【0115】また、本発明の画像制御装置は、フレーム
間差分平均値にもとづいて、シーンチェンジの発生を検
出し、シーンチェンジの検出時には、ストリーム中にI
ピクチャを挿入する構成とした。これにより、入力画像
の絵柄と動きに適した符号化制御が実現できるので、符
号化効率及び画質の向上を図ることが可能になる。
【図面の簡単な説明】
【図1】本発明の画像制御装置の原理図である。
【図2】Bピクチャ繰り返し数の適応制御の概念を示す
図である。
【図3】本発明の画像制御装置の原理図である。
【図4】画像制御装置の構成を示す図である。
【図5】符号化制御部の構成を示す図である。
【図6】B値制御部の構成を示す図である。
【図7】メモリの構成を示す図である。
【図8】マトリクス処理部が管理するマトリクステーブ
ルを示す図である。
【図9】シーンチェンジ検出部の構成を示す図である。
【図10】シーンチェンジ検出部の構成を示す図であ
る。
【図11】シーンチェンジ検出部の構成を示す図であ
る。
【図12】シーンチェンジ検出部の構成を示す図であ
る。
【図13】シーンチェンジ検出部の構成を示す図であ
る。
【図14】書き込み側の状態遷移図である。
【図15】書き込み側の状態遷移図である。
【図16】読み出し側の状態遷移図である。
【図17】読み出し側の状態遷移図である。
【図18】B増加時の書き込み/読み出しシーケンス図
である。
【図19】B減少時の書き込み/読み出しシーケンス図
である。
【図20】シーンチェンジ時の書き込み/読み出しシー
ケンス図である。
【図21】シーンチェンジ時の書き込み/読み出しシー
ケンス図である。
【図22】シーンチェンジ時の書き込み/読み出しシー
ケンス図である。
【符号の説明】
10 画像制御装置 11 比較処理手段 12 繰り返し数制御手段

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 画像信号の符号化制御を行う画像制御装
    置において、 動きベクトルとしきい値との比較を行う第1の比較処
    理、動き補償予測誤差としきい値との比較を行う第2の
    比較処理、フレーム間差分から動き補償予測誤差を減算
    した減算値としきい値との比較を行う第3の比較処理、
    の少なくとも1つの比較処理を行う比較処理手段と、 比較結果の情報にもとづいて、ストリーム中に挿入すべ
    きBピクチャの繰り返し数を適応的に制御する繰り返し
    数制御手段と、 を有することを特徴とする画像制御装置。
  2. 【請求項2】 前記繰り返し数制御手段は、前記第1の
    比較処理で、前記動きベクトルが前記しきい値よりも小
    さいと判定された場合は、前記Bピクチャの繰り返し数
    を増加する方向へ、大きいと判定された場合には、繰り
    返し数を減少する方向へ制御することを特徴とする請求
    項1記載の画像制御装置。
  3. 【請求項3】 前記繰り返し数制御手段は、前記第2の
    比較処理で、前記動き補償予測誤差が前記しきい値より
    も小さいと判定された場合は、前記Bピクチャの繰り返
    し数を増加する方向へ、大きいと判定された場合には、
    繰り返し数を減少する方向へ制御することを特徴とする
    請求項1記載の画像制御装置。
  4. 【請求項4】 前記繰り返し数制御手段は、前記第3の
    比較処理で、前記減算値が前記しきい値よりも大きい場
    合は、前記Bピクチャの繰り返し数を増加する方向へ、
    小さい場合には、繰り返し数を減少する方向へ制御する
    ことを特徴とする請求項1記載の画像制御装置。
  5. 【請求項5】 画像信号の符号化制御を行う画像制御装
    置において、 同一ピクチャ間でのフレーム間差分の平均をとったフレ
    ーム間差分平均値にもとづいて、シーンチェンジの発生
    を検出するシーンチェンジ検出手段と、 前記シーンチェンジの発生を検出した場合には、ストリ
    ーム中にIピクチャを挿入するピクチャ挿入制御手段
    と、 を有することを特徴とする画像制御装置。
JP2000290015A 2000-09-25 2000-09-25 画像制御装置 Pending JP2002101416A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000290015A JP2002101416A (ja) 2000-09-25 2000-09-25 画像制御装置
US09/812,789 US6914937B2 (en) 2000-09-25 2001-03-15 Image control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000290015A JP2002101416A (ja) 2000-09-25 2000-09-25 画像制御装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010006436A Division JP5146470B2 (ja) 2010-01-15 2010-01-15 画像制御装置

Publications (1)

Publication Number Publication Date
JP2002101416A true JP2002101416A (ja) 2002-04-05

Family

ID=18773308

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000290015A Pending JP2002101416A (ja) 2000-09-25 2000-09-25 画像制御装置

Country Status (2)

Country Link
US (1) US6914937B2 (ja)
JP (1) JP2002101416A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295612B2 (en) 2003-09-09 2007-11-13 Apple Inc. Determining the number of unidirectional and bidirectional motion compensated frames to be encoded for a video sequence and detecting scene cuts in the video sequence
JP2011514120A (ja) * 2008-03-10 2011-04-28 トムソン ライセンシング 改善された効率及び主観的な品質をサポートする予測フレームの選択方法及び装置
JP2013232935A (ja) * 2005-09-27 2013-11-14 Qualcomm Inc 時間領域境界とのデータアライメントに関する方法及び装置
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
US9197912B2 (en) 2005-03-10 2015-11-24 Qualcomm Incorporated Content classification for multimedia processing
CN113992914A (zh) * 2019-09-24 2022-01-28 Oppo广东移动通信有限公司 帧间预测方法及装置、设备、存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149250B2 (en) * 2002-10-16 2006-12-12 Koninklijke Philips Electronics N.V. Video encoding method
US7889792B2 (en) 2003-12-24 2011-02-15 Apple Inc. Method and system for video encoding using a variable number of B frames
US7986731B2 (en) 2004-02-06 2011-07-26 Apple Inc. H.264/AVC coder incorporating rate and quality controller
US7492820B2 (en) 2004-02-06 2009-02-17 Apple Inc. Rate control for video coder employing adaptive linear regression bits modeling
US7869503B2 (en) * 2004-02-06 2011-01-11 Apple Inc. Rate and quality controller for H.264/AVC video coder and scene analyzer therefor
US20050286629A1 (en) * 2004-06-25 2005-12-29 Adriana Dumitras Coding of scene cuts in video sequences using non-reference frames
GB2417630B (en) * 2004-08-27 2010-03-10 Tandberg Television Asa Control of frame types in video compression
US20070206117A1 (en) * 2005-10-17 2007-09-06 Qualcomm Incorporated Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video
EP2224745B1 (en) * 2009-02-27 2019-11-06 STMicroelectronics Srl Temporal scalability in case of scene changes
CN108055538B (zh) 2011-01-13 2021-10-29 日本电气株式会社 视频编码设备以及视频编码方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0622300A (ja) * 1992-06-30 1994-01-28 Victor Co Of Japan Ltd フレ−ム間又はフィ−ルド間予測符号化方法
JPH0799657A (ja) * 1993-09-28 1995-04-11 Nec Corp 動画像信号の動ベクトル検出装置
JPH07274182A (ja) * 1994-03-31 1995-10-20 Mitsubishi Electric Corp 映像信号符号化方式
JPH10304374A (ja) * 1997-04-25 1998-11-13 Sharp Corp 動画像符号化装置
JP2000102017A (ja) * 1998-09-24 2000-04-07 Mitsubishi Electric Corp 画像符号化装置および画像符号化方式

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3050736B2 (ja) * 1993-12-13 2000-06-12 シャープ株式会社 動画像符号化装置
GB2301973B (en) * 1995-06-06 1999-10-20 Sony Uk Ltd Motion compensated video processing
JPH0951538A (ja) 1995-08-07 1997-02-18 Hitachi Ltd 画像信号の符号化方法
US5959690A (en) * 1996-02-20 1999-09-28 Sas Institute, Inc. Method and apparatus for transitions and other special effects in digital motion video
JPH09261648A (ja) * 1996-03-21 1997-10-03 Fujitsu Ltd シーンチェンジ検出装置
TW312770B (en) * 1996-10-15 1997-08-11 Japen Ibm Kk The hiding and taking out method of data
ID21021A (id) * 1997-04-24 1999-04-08 Koninkl Philips Electronics Nv Metoda dan penyusunan untuk perekaman dan reproduksi gambar video
US6307886B1 (en) 1998-01-20 2001-10-23 International Business Machines Corp. Dynamically determining group of picture size during encoding of video sequence
GB2339101B (en) * 1998-06-25 2002-09-18 Sony Uk Ltd Processing of compressed video signals using picture motion vectors
EP0987897A3 (en) * 1998-08-25 2005-07-13 Matsushita Electric Industrial Co., Ltd. Moving picture synthesizing device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0622300A (ja) * 1992-06-30 1994-01-28 Victor Co Of Japan Ltd フレ−ム間又はフィ−ルド間予測符号化方法
JPH0799657A (ja) * 1993-09-28 1995-04-11 Nec Corp 動画像信号の動ベクトル検出装置
JPH07274182A (ja) * 1994-03-31 1995-10-20 Mitsubishi Electric Corp 映像信号符号化方式
JPH10304374A (ja) * 1997-04-25 1998-11-13 Sharp Corp 動画像符号化装置
JP2000102017A (ja) * 1998-09-24 2000-04-07 Mitsubishi Electric Corp 画像符号化装置および画像符号化方式

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7295612B2 (en) 2003-09-09 2007-11-13 Apple Inc. Determining the number of unidirectional and bidirectional motion compensated frames to be encoded for a video sequence and detecting scene cuts in the video sequence
US9197912B2 (en) 2005-03-10 2015-11-24 Qualcomm Incorporated Content classification for multimedia processing
US9088776B2 (en) 2005-09-27 2015-07-21 Qualcomm Incorporated Scalability techniques based on content information
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US8879635B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US8879857B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Redundant data encoding methods and device
US9071822B2 (en) 2005-09-27 2015-06-30 Qualcomm Incorporated Methods and device for data alignment with time domain boundary
JP2013232935A (ja) * 2005-09-27 2013-11-14 Qualcomm Inc 時間領域境界とのデータアライメントに関する方法及び装置
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
JP2011514120A (ja) * 2008-03-10 2011-04-28 トムソン ライセンシング 改善された効率及び主観的な品質をサポートする予測フレームの選択方法及び装置
US10080034B2 (en) 2008-03-10 2018-09-18 Thomson Licensing Dtv Method and apparatus for predictive frame selection supporting enhanced efficiency and subjective quality
CN113992914A (zh) * 2019-09-24 2022-01-28 Oppo广东移动通信有限公司 帧间预测方法及装置、设备、存储介质
CN113992914B (zh) * 2019-09-24 2023-04-14 Oppo广东移动通信有限公司 帧间预测方法及装置、设备、存储介质
US11924459B2 (en) 2019-09-24 2024-03-05 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method for inter prediction method, video picture encoder and decoder

Also Published As

Publication number Publication date
US6914937B2 (en) 2005-07-05
US20020037051A1 (en) 2002-03-28

Similar Documents

Publication Publication Date Title
JP2002101416A (ja) 画像制御装置
KR100533437B1 (ko) 비디오 데이터 처리 장치, 비디오 데이터 부호화 장치 및 그 방법
US5841475A (en) Image decoding with dedicated bidirectional picture storage and reduced memory requirements
US6091460A (en) Video signal encoding method and system
JP4402219B2 (ja) ビデオ・データ中のフラッシュ・フレームの検出および符号化
EP0762778A2 (en) Video data encoding and recording
JP4280353B2 (ja) 符号化装置、画像処理装置、符号化方法、及び記録媒体
US5689307A (en) Encoding and decoding systems for transmitting moving pictures
JP3593929B2 (ja) 動画像符号化方法及び動画像符号化装置
JP2003179884A (ja) プルダウン信号検出装置、プルダウン信号検出方法、高解像度化画像処理装置、高解像度化画像処理方法、画像符号化装置および画像符号化方法
JP2006203597A (ja) ディジタル画像復号装置及び方法
US6983013B1 (en) Method and device for encoding video signal
JP2008141354A (ja) 画像符号化装置および撮像装置
JPH11308617A (ja) ディジタル画像符号化装置とこれに用いる動きベクトル検出装置
JP5146470B2 (ja) 画像制御装置
JP2947103B2 (ja) 動画像符号化装置及び動画像符号化方法
JP2008005183A (ja) 映画素材に適した映像符号化方法および符号化装置
JPH10174094A (ja) 映像復号化装置
JP2001238182A (ja) 画像再生装置および画像再生方法
US7412079B2 (en) Image processing apparatus
JP2565057B2 (ja) フレ−ム間又はフィ−ルド間予測符号化方法
JPH06141302A (ja) 動き情報差分化器及び逆差分化器
JPH0744686B2 (ja) 可変伝送速度画像符号化装置
JPH08163555A (ja) テレビジョン信号変換装置
JP3806289B2 (ja) 動画像符号化装置におけるフレームメモリ管理方法及びフレームメモリ管理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090416

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090428

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100413