JP2000115779A - 画像処理装置および同装置に適用される動画像符号化方法 - Google Patents

Abstract

(57)【要約】 【課題】ユーザの操作に連動してＩ＿Ｐｉｃｔｕｒｅの
挿入位置を動的に制御できるようにし、符号化効率が高
く、且つ自由度の高いランダムアクセスを実現する。 【解決手段】ユーザが表示部１０２に画面表示された動
画像を見ながらランダムアクセスポイント設定のための
所定の入力操作を入力部１０３から行うと、そのユーザ
入力に連動して画像符号化部１０４の符号化モードが自
動的にフレーム間符号化モードからフレーム内符号化モ
ードに切り替えられる。このようにユーザ操作に連動し
てＩ＿Ｐｉｃｔｕｒｅの挿入位置を動的に制御すること
により、ユーザが途中再生を開始したい希望のフレーム
をＩ＿Ｐｉｃｔｕｒｅで符号化することが可能となり、
検索やランダムアクセスといった操作でのユーザの利便
性を向上でき、また符号化効率の向上を図ることができ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像処理装置および
同装置に適用される動画像符号化方法に関し、特に任意
の位置からの再生が可能な符号化データを生成するため
の画像処理装置および同装置に適用される動画像符号化
方法に関する。

【０００２】

【従来の技術】一般に、動画像符号化においては、大き
く分けて２通りの符号化モードが用いられている。これ
は、画面内の情報のみを用いて符号化を行うフレーム内
符号化モード（ＩＮＴＲＡ＿Ｐｉｃｔｕｒｅ、またはＩ
＿Ｐｉｃｔｕｒｅ）と、前の画像との差分のみを符号化
するフレーム間符号化モード（ＩＮＴＥＲ＿Ｐｉｃｔｕ
ｒｅ、またはＰ＿Ｐｉｃｔｕｒｅ）である。ここで述べ
るフレームとは、動画を連続する１枚毎の静止画と考え
た場合の、夫々の静止画のことである。

【０００３】従来の動画像符号化方式では、この２種類
のモードの切り替えは、一定のアルゴリズムにより制御
されていた。以下に、典型的な幾つかの例を示す。 （１）先頭のフレームのみＩ＿Ｐｉｃｔｕｒｅで符号化
し、その後のフレームは全てＰ＿Ｐｉｃｔｕｒｅで符号
化する。

【０００４】（２）ｎ秒やｍフレーム毎といった固定間
隔毎にＩ＿Ｐｉｃｔｕｒｅで符号化し、その間のフレー
ムをＰ＿Ｐｉｃｔｕｒｅで符号化する。図１６はその例
であり、Ｎ（Ｎは正の整数）フレームの固定間隔でＩ＿
Ｐｉｃｔｕｒｅを挿入している。この場合の符号化アル
ゴリズムを図１７に示す。

【０００５】符号化処理が開始されると、まず、フレー
ム番号を表す変数ｎを０で初期化する処理が実行される
（ステップＳ１２０２，Ｓ１２０２）。フレーム番号ｎ
をＩ＿Ｐｉｃｔｕｒｅのフレーム挿入間隔Ｎで除算した
余り（ｎ％Ｎ）が０の場合（ステップＳ１２０３のＹＥ
Ｓ）、符号化モードをＩ＿Ｐｉｃｔｕｒｅに設定し（ス
テップ１２０４）、それ以外の場合は符号化モードをＰ
＿Ｐｉｃｔｕｒｅに設定する（ステップ１２０５）。ス
テップ１２０４または１２０５で設定した符号化モード
を用いて入力フレームの符号化を行う（ステップ１２０
６）。最後に終了判定を行い（ステップ１２０７）、終
了でない場合は、フレーム番号ｎを＋１増加させ（ステ
ップ１２０８）、ステップ１２０４へ戻り次のフレーム
を処理する。最後のフレームの符号化が完了すると、符
号化処理を終了する（ステップ１２０７）。

【０００６】（３）シーン切り替えの場合にＩ＿Ｐｉｃ
ｔｕｒｅで符号化し、それ以外をＰ＿Ｐｉｃｔｕｒｅで
符号化する。ここでいうシーン切り替えとは、フレーム
内の情報が前のフレームと大きく変更があった場合のこ
とをいう。大きな変更というのは例えば、動画像符号化
の場合は現フレームと前フレームとで動き検出を行い、
動き補償を行った後に差分を計算するので、この時の差
分が一定値よりも大きい場合である。このときにシーン
切り替えであると決定する。

【０００７】符号化された画像の場合、Ｐ＿Ｐｉｃｔｕ
ｒｅモードで符号化されたフレームから再生することは
不可能であり、まずＩ＿Ｐｉｃｔｕｒｅモードで符号化
されたフレームを復号し、そこから順に復号していくこ
とで希望のフレームの復号が可能になる。そのため、画
像の最初からだけでなく、途中からの再生（以後ランダ
ムアクセスと呼ぶ）に対応するためには、上記方式の
（２）のように一定間隔毎にＩ＿Ｐｉｃｔｕｒｅモード
で符号化するフレームを設ける必要がある。

【０００８】

【発明が解決しようとする課題】上記方式の（２）の方
式では、常にある固定間隔でＩ＿Ｐｉｃｔｕｒｅモード
のフレームが挿入されてしまい、途中再生が必要ないフ
レームでもＩ＿Ｐｉｃｔｕｒｅモードで符号化されるこ
とになる。Ｉ＿Ｐｉｃｔｕｒｅモードで符号化されたフ
レームの符号量は、Ｐ＿Ｐｉｃｔｕｒｅモードで符号化
されたフレームの符号量に比較し、かなり多くなる傾向
になる。そのため、不必要なフレームをＩ＿Ｐｉｃｔｕ
ｒｅで符号化することになり、符号化効率の低下につな
がる。しかし、一般にどこから再生するかわからない画
像においてはこのような方法を取らざるをえない。

【０００９】本発明はこのような点に鑑みてなされたも
のであり、ユーザの操作に連動してＩ＿Ｐｉｃｔｕｒｅ
の挿入位置を動的に制御できるようにし、符号化効率が
高く、且つ自由度の高いランダムアクセスを実現するこ
とが可能な画像処理装置および同装置に適用される動画
像符号化方法を提供することを目的とする。

【００１０】

【課題を解決するための手段】上述の課題を解決するた
め、本発明の画像処理装置は、フレーム内符号化モード
およびフレーム間符号化モードを有し、それらフレーム
内符号化モードおよびフレーム間符号化モードを選択的
に用いて入力動画像データを符号化する符号化手段と、
前記入力動画像データを画面表示する手段と、ユーザか
らの各種情報を入力するための入力手段と、この入力手
段を介して入力された所定のユーザ入力に連動して、前
記符号化手段の符号化モードをフレーム間符号化モード
からフレーム内符号化モードに切り替える符号化モード
切り替え手段とを具備することを特徴とする。

【００１１】この画像処理装置においては、ユーザが画
面表示された動画像を見ながらランダムアクセスポイン
ト設定のための所定の入力操作を行うと、そのユーザ入
力に連動して自動的に符号化モードがフレーム間符号化
モードからフレーム内符号化モードに切り替えられる。
このようにユーザ操作に連動してＩ＿Ｐｉｃｔｕｒｅの
挿入位置を動的に制御することにより、ユーザが途中再
生を開始したい希望のフレームをＩ＿Ｐｉｃｔｕｒｅで
符号化することが可能となり、検索やランダムアクセス
といった操作でのユーザの利便性を向上でき、符号化効
率が高く、且つ自由度の高いランダムアクセスを実現す
ることが可能となる。

【００１２】特に、ユーザが動画像データをカメラ等か
ら取り込み、その画像を画面で確認しながら画像に対し
て注釈情報を書き込むようなシステムにおいては、符号
化モードを直接ユーザが切り替えるのではなく、注釈情
報の書き込み操作などのユーザの行った間接的な操作に
連動して符号化モードを切り替えることにより、後の再
生時に注釈情報が付加されたフレームからの途中再生が
可能となる。

【００１３】また、前記符号化モード切り替え手段によ
る符号化モードの切り替えによって前記入力動画像デー
タ内の所定フレームがフレーム内符号化モードで符号化
されたとき、後続する所定フレーム期間は前記符号化モ
ード切り替え手段による符号化モードの切り替えを禁止
する手段をさらに具備することが好ましい。これによ
り、Ｉ＿Ｐｉｃｔｕｒｅで符号化した後は、所定フレー
ム期間は前述のユーザ操作が行われてもＩ＿Ｐｉｃｔｕ
ｒｅで符号化しないように制御することができ、発生符
号量の過度の増大を抑制することが可能となる。

【００１４】また、前記符号化手段の入力段に設けら
れ、前記入力動画像データを保持するバッファをさらに
具備し、前記符号化モード切り替え手段は、前記ユーザ
入力が行われたフレームよりも時間的に過去のフレーム
の符号化モードをフレーム間符号化モードからフレーム
内符号化モードに切り替えることが好ましい。ユーザは
画面を確認してからデータ入力操作を行うので、データ
入力操作の実行タイミングは実際に途中再生を希望する
フレームよりも遅れる。よって、ユーザ入力が行われた
フレームよりも時間的に過去のフレームの符号化モード
をフレーム内符号化モードに切り替えることにより、途
中再生を希望する希望するフレームをＩ＿Ｐｉｃｔｕｒ
ｅで符号化することが可能となる。

【００１５】また、前記符号化手段によって符号化され
た動画像データを固定レートで外部出力するための送信
バッファの蓄積データ量が所定のしきい値以上であるか
否かを判別する手段と、前記送信バッファの蓄積データ
量が所定のしきい値以上であるとき、前記符号化モード
切り替え手段による符号化モードの切り替えを禁止する
手段とをさらに具備することにより、バッファのオーバ
ーフローを防止することが可能となる。

【００１６】

【発明の実施の形態】（第１の実施形態）図１には、本
発明の一実施形態に係る画像処理装置の基本構成が示さ
れている。ここでは、各種データ処理や画像を用いた通
信処理などの機能を有する携帯情報端末として実現した
場合を例示してその構成を説明する。

【００１７】データ入力部１０１に入力された動画像デ
ータ１３１は、表示部１０２において画面表示される。
表示部１０２には透明タブレットなどの座標入力装置か
らなる入力部１０３が設けられており、入力部１０３で
ペン操作によるユーザからの入力が受け付けられる。デ
ータ入力部１０１から入力された動画像データ１３１は
表示部１０２に表示される他、動画像データ１３２とし
て画像符号化部１０４に入力される。

【００１８】画像符号化部１０４は、画面内の情報のみ
を用いて符号化を行うフレーム内符号化モード（ＩＮＴ
ＲＡ＿Ｐｉｃｔｕｒｅ、またはＩ＿Ｐｉｃｔｕｒｅ）
と、前の画像との差分のみを符号化するフレーム間符号
化モード（ＩＮＴＥＲ＿Ｐｉｃｔｕｒｅ、またはＰ＿Ｐ
ｉｃｔｕｒｅ）との２種類の符号化モードを有してお
り、それら符号化モードを選択的に使用して動画像デー
タ１３２を圧縮符号化する。この場合、画像符号化部１
０４では入力された画像データ１３２を、入力部１０３
によりユーザから入力された情報１３３に基づいて符号
化を行う。画像符号化部１０４により符号化された符号
化データ１３４は、画像データ出力部１０６に送られ、
外部へ出力される。また、入力部１０３で入力された情
報１３３も注釈データ出力部１０５に送られ外部へ出力
される。

【００１９】データ入力部１０１への入力は、カメラや
記録メディア、ＶＣＲ、ネットワーク等があげられる。
また、画像データ出力部１０６および注釈データ出力部
１０５の出力先としては、記録装置やネットワーク等が
あげられる。

【００２０】ここでは、データ入力部１０１から動画像
データが入力され、それを表示部１０２で見ながらユー
ザが入力部１０３により画像上に注釈情報（コメント）
を付加していくという利用形態を想定している。注釈情
報としては、画像上の所定のオブジェクトに対するマー
キングや、コメント文の書き込みなどがあげられる。こ
の場合、ユーザ入力された注釈情報は、フレーム番号な
どを利用することにより、それが付加された画像と時間
的に関連づけられた状態で管理される。

【００２１】入力部１０３からユーザが注釈情報を入力
した場合、画像符号化部１０４は、図２に示すように、
注釈が付加されたフレームをＩ＿Ｐｉｃｔｕｒｅモード
で符号化し、それ以外のフレームをＰ＿Ｐｉｃｔｕｒｅ
モードで符号化する。図２においては、まず先頭フレー
ムｆ０がＩ＿Ｐｉｃｔｕｒｅモードで符号化された後、
フレームｆ３でユーザによる注釈情報の入力が行われ、
そのフレームｆ３がＩ＿Ｐｉｃｔｕｒｅモードで符号化
された場合が示されている。このようにユーザ入力に連
動して符号化モードの切り替えを行うための画像符号化
部１０４の動作手順を図３のフローチャートに示す。

【００２２】符号化処理が開始されると、まず、最初の
フレームの符号化モードをＩ＿Ｐｉｃｔｕｒｅにする
（ステップ３０１，３０２）。その後、各フレーム毎に
ユーザ入力（ＵＳＥＲ入力）があったかどうかを検出し
（ステップ３０３）、ＵＳＥＲ入力があった場合は、符
号化モードをＩ＿Ｐｉｃｔｕｒｅに設定する（ステップ
３０４）。ＵＳＥＲ入力がない場合は、Ｐ＿Ｐｉｃｔｕ
ｒｅモードに設定する（ステップ３０５）。その後、ス
テップ３０６において、前記ステップ３０４または３０
５で設定した符号化モードに従い、フレームを符号化す
る。最後に終了判定を行い（ステップ３０７）、終了で
ない場合はステップ３０３へ戻り次のフレームへ処理を
移す。最後のフレームの符号化が完了すると、符号化処
理を終了する（ステップ３０８）。

【００２３】（第１実施形態の効果）本実施形態によれ
ば、ユーザ入力に連動してＩ＿Ｐｉｃｔｕｒｅモードと
Ｐ＿Ｐｉｃｔｕｒｅモードを自動的に切り替えることが
可能になる。これにより、ユーザが途中再生を開始した
い希望のフレームをＩ＿Ｐｉｃｔｕｒｅで符号化するこ
とが可能になり、検索やランダムアクセスといった操作
でのユーザの利便性が向上する。また、従来のような固
定間隔にＩ＿Ｐｉｃｔｕｒｅを挿入するのに比べ、不必
要にＩ＿Ｐｉｃｔｕｒｅモードで符号化し符号化効率を
低下させることがなくなる。これにより、従来に比べ符
号化効率が上がり、同じビットレートでより高画質な画
像を提供できるか、または同容量の記録媒体に対し従来
に比較し長時間の画像を記録することが可能になる。

【００２４】（第１実施形態の変形例）ここでＵＳＥＲ
入力というのは、例えばペンによって一筆書きされた注
釈情報のうち一番最初に書き込みが行われたフレームに
対して発生するものとする。これは、人間の書き込みの
速度は動画の１フレームの時間に比較するとはるかに長
いことから、書き込みが行われている間、ずっとＩ＿Ｐ
ｉｃｔｕｒｅモードで各フレームを符号化することがな
いようにするためである。もちろん、書き込みが行われ
ている間のすべてのフレームをＩ＿Ｐｉｃｔｕｒｅモー
ドで符号化することも可能である。

【００２５】図４は第１実施形態に対し、Ｉ＿Ｐｉｃｔ
ｕｒｅモードで符号化した後、ある固定区間Ｎフレーム
（Ｎは正の整数）はユーザの入力があっても、Ｉ＿Ｐｉ
ｃｔｕｒｅモードで符号化しないようにした例である。
これにより、Ｉ＿Ｐｉｃｔｕｒｅモードで符号化したフ
レームが短い間隔で発生しないようにでき、符号量が爆
発的に増加しないように調整することが可能である。再
生時には、ユーザの入力があってもＰ＿Ｐｉｃｔｕｒｅ
モードで符号化されたフレーム（ｆ５）へのアクセスに
ついては、その直前のＩ＿Ｐｉｃｔｕｒｅモードで符号
化されたフレーム（ｆ３）から再生を行い、該当フレー
ム（ｆ５）まで復号することにより実現する。ユーザの
入力があってもＰ＿Ｐｉｃｔｕｒｅモードで符号化され
たフレームについては、直前のＮフレーム以内にＩ＿Ｐ
ｉｃｔｕｒｅモードで符号化されたフレームが必ず存在
することから、それほどの冗長な処理にはならず該当フ
レームを再生することができる。本変形例のフローチャ
ートを図５に示す。

【００２６】符号化処理が開始されると、まず、Ｎフレ
ーム間隔をダウンカウントによって計数するための変数
ｎ（次にＩ＿Ｐｉｃｔｕｒｅモードでの符号化が可能に
なるフレームに達するまでの残りフレーム枚数を示す）
を定義しそれを０で初期化する（ステップ５０１，５０
２）。

【００２７】次に符号化モードをＩ＿Ｐｉｃｔｕｒｅに
設定する（ステップ５０３）。ステップ５０４では、変
数ｎの値を調べる。変数ｎが０以下の場合ＵＳＥＲ入力
があるかどうかの判定へ進み（ステップ５０５）、変数
ｎが０より大きい場合は、ＵＳＥＲ入力の有無に関係な
く、符号化モードをＰ＿Ｐｉｃｔｕｒｅモードに設定す
る（ステップ５０８）。ＵＳＥＲ入力判定（ステップ５
０５）でＵＳＥＲ入力があると判定された場合は、ステ
ップ５０６で符号化モードをＩ＿Ｐｉｃｔｕｒｅモード
に設定し、さらに変数ｎをＮに設定する（ステップ５０
７）。次に、ステップ５０６またはステップ５０８にお
いて設定された符号化モードで符号化を行う（ステップ
５０９）。最後に終了判定を行い（ステップ５１０）、
終了でなければ、ステップ５１１で変数ｎの値を１減ら
した後、ステップ５０４へ戻り次のフレームの符号化を
行う。最後のフレームの符号化が完了すると、符号化処
理を終了する（ステップ５１２）。

【００２８】図６は、画像をいったんバッファ６０４に
格納し、ある程度遅延させてから符号化するようにした
変形例のブロック図である。第１実施形態との違いは、
画像符号化部１０４の入力段にバッファ部６０４を有
し、画像符号化部６０５への画像データの入力を一定時
間遅らせることにより、ユーザからの入力データ１３３
に対応するフレームを実際に入力されたフレームよりも
前に対応させる点である。このシステムを用いることに
より、図７のようにＵＳＥＲ入力があったフレームから
Ｍフレーム分時間的に過去に戻ったフレームをＩ＿Ｐｉ
ｃｔｕｒｅモードで符号化することが可能となる。

【００２９】ユーザが画像を視認して、実際にデータを
書き込むまでには、当然ある程度の遅延が生じる。その
ため、ユーザがデータを書き込んだフレームをＩ＿Ｐｉ
ｃｔｕｒｅモードで符号化しても、実際にユーザが見た
いフレームから数フレーム遅れている可能性がある。そ
こで本システムにより、ユーザの入力があったフレーム
から数フレーム前をＩ＿Ｐｉｃｔｕｒｅモードで符号化
することで、前述の問題点を解消することが可能にな
る。また、逆にユーザ入力があった時点から、Ｍフレー
ム分後のフレームをＩ＿Ｐｉｃｔｕｒｅモードで符号化
するようにすることも可能である。

【００３０】また、前記変形例において、何フレーム前
に戻すかを、固定フレーム前に戻すのではなく、例えば
シーン切り替えのあったところまで戻してＩ＿Ｐｉｃｔ
ｕｒｅモードにすることも可能である。これは、ユーザ
入力があった時点から、バッファ部６０６から読み出さ
れたフレーム毎に前フレームとの動き補償を行った後の
差分量を調べ、その差分量が一定値よりも大きくなるフ
レームの符号化モードをＩ＿Ｐｉｃｔｕｒｅモードに変
更することによって実現できる。

【００３１】さらに図８に示すように、ユーザが付加し
たデータが指し示すオブジェクトが初めて出現したフレ
ームを検出し、そこをＩ＿Ｐｉｃｔｕｒｅモードで符号
化することも可能である。図８は、ユーザがペン入力に
よってフレームｆ５内の「初日の出」のオブジェクトを
指定した場合の例であり、ユーザ入力があった後にバッ
ファ部６０６から読み出されたフレームの中で最初に
「初日の出」のオブジェクトが出現するフレームｆ３が
Ｉ＿Ｐｉｃｔｕｒｅモードで符号化される。これは、例
えば、ユーザが指定したオブジェクトの情報をユーザ入
力情報１３３として受け取り、それに基づいてバッファ
部６０４から対応するオブジェクトが出現するフレーム
をブロックマッチングなどの方法を用いて決定すること
によって実現することができる。

【００３２】図９は第１実施形態とバッファ制御を組み
合わせた場合の例である。符号化データをネットワーク
等で伝送したり、ある媒体に規定容量分だけ記録したい
場合には指定ビットレートにするためのバッファ制御が
必要になる。本第１実施形態を単独で利用すると、符号
化された動画像データを固定レートで外部出力するため
に設けられた送信バッファのオーバーフローなどの問題
を招く場合も考えられ、送信バッファに制約が存在する
場合にはバッファ制御と組み合わせて用いる必要があ
る。そこで、送信バッファの蓄積データ量を調べ、バッ
ファ量がある基準値Ｔを上回っている場合にはＵＳＥＲ
入力があってもＩ＿Ｐｉｃｔｕｒｅモードでの符号化は
行わず、Ｐ＿Ｐｉｃｔｕｒｅモードで符号化するように
することで前述の問題を解決する。図１０に本変形例の
フローチャートを示す。

【００３３】符号化処理が開始されると、まず、符号化
モードをＩ＿Ｐｉｃｔｕｒｅに設定する（ステップ１１
０１，１１０２）。次いで、ＵＳＥＲ入力の有無、さら
にはバッファの蓄積データ量が基準値Ｔよりも少ないか
否かが調べられる（ステップ１１０３，１１０４）。バ
ッファの蓄積データ量が基準値Ｔ以上の場合は、ＵＳＥ
Ｒ入力の有無に関係なく、符号化モードをＰ＿Ｐｉｃｔ
ｕｒｅモードに設定する（ステップ１１０６）。一方、
ＵＳＥＲ入力があり、その時のバッファの蓄積データ量
が基準値Ｔよりも小さい場合には、ステップ１１０５で
符号化モードをＩ＿Ｐｉｃｔｕｒｅモードに設定する。
次に、ステップ１１０５またはステップ１１０６におい
て設定された符号化モードで符号化を行う（ステップ１
１０７）。最後に終了判定を行い（ステップ１１０
８）、ステップ１１０３へ戻り次のフレームの符号化を
行う。最後のフレームの符号化が完了すると、符号化処
理を終了する（ステップ１１０９）。

【００３４】このように本フローチャートの特徴は、ス
テップ１１０４でバッファ量が基準値Ｔを超えていない
かをチェックし、超えている場合はＵＳＥＲ入力があっ
た場合でも符号化モードをＰ＿Ｐｉｃｔｕｒｅに設定す
ることにある。

【００３５】また、本第１実施形態では図１の表示部１
０２、および入力部１０３でユーザの入力を行うことを
例として示したが、特に本発明はこれに限定されるもの
ではない。例えば、ランダムアクセスポイント設定位置
をユーザが明示的に指定したり、あるいはユーザの視線
の動きにより、より注目しているフレームを検出し、そ
れをユーザ入力と置き換えて、Ｉ＿Ｐｉｃｔｕｒｅモー
ドで符号化する条件にすることも可能である。また、ペ
ンで画面上に記入する以外にも、ユーザがボタンを押
す、音声を入力する等の操作を、Ｉ＿Ｐｉｃｔｕｒｅモ
ードへの符号化モード切り替えを指定するランダムアク
セスポイント設定のためのユーザ入力として使用するこ
とも可能である。

【００３６】また、データ入力部１０１から入力される
画像データは生の画像データである必要はない。例え
ば、一度圧縮されたデータでも同様のことが可能であ
る。その場合の構成例を図１１に示す。

【００３７】データ入力部１０１から入力された符号化
データ１４３１は、一度画像復号化部１４０２で復号さ
れ、元の画像１４３２に復元される。復元された画像１
４３２は、その後、表示部１０２でユーザに表示される
と共に、画像符号化器１０５に画像データ１４３３とし
て入力される。ユーザ入力部１０３からの入力情報を基
に画像符号化器１０５で再符号化を行う。このユーザ入
力に基づいて切り替え器１４０６の切り替えも行う。

【００３８】例えば、図１２に示すようにユーザからの
入力がなければ、その間にデータ入力部１０１から入力
された符号化データ（ｆ０，ｆ１，ｆ２，ｆ３，ｆ４）
をそのまま画像データ出力部１０６に出力するが、ユー
ザ入力があった場合、該当するフレーム（ｆ５）をＩ＿
Ｐｉｃｔｕｒｅモードで再符号化するといった動作を行
うことになる。その後のフレームは、次にＩ＿Ｐｉｃｔ
ｕｒｅモードで符号化されたフレームが入力されるま
で、フレーム（ｆ５）を最初の参照画像として使用して
再符号化を繰り返す。ただし、Ｉ＿Ｐｉｃｔｕｒｅで符
号化した場合と、Ｐ＿Ｐｉｃｔｕｒｅのままのデータに
よる再生画像のミスマッチの問題を考慮する必要がない
システムの場合、図１３に示すように該当するフレーム
（ｆ５）のみをＩ＿Ｐｉｃｔｕｒｅモードで再符号化す
るだけで、その後のフレームはデータ入力部１０１から
入力された符号化データをそのまま出力するような簡易
システムも考えられる。このようにして作成された画像
データは画像データ出力部１０６から出力され、ユーザ
情報（注釈情報）は注釈データ出力部１０５から出力さ
れる。このようにすることで、すでに符号化されている
データをランダムアクセス可能な形態へ変更することが
可能になる。

【００３９】また、同様に図１４に示すように、もとも
とＩ＿Ｐｉｃｔｕｒｅが固定化間隔で挿入された符号化
データに対し、注釈が付加されたフレームのみをＩ＿Ｐ
ｉｃｔｕｒｅにし、それ以外をＰ＿Ｐｉｃｔｕｒｅで再
符号化することも可能である。

【００４０】（第２実施形態）図１５は、第１実施形態
を画像検索システムに適用した場合の構成例である。第
１実施形態との違いは、画像データ出力部１０６から出
力される符号化画像データ１３３６を記録部１３０８に
記録すると共に、注釈データ出力部１０５から出力され
る注釈データ１３３５を記録部１３０７に記録すること
にある。記録部１３０７においては、注釈データ１３３
５は、それが付加されたフレームのフレーム番号に対応
付けられて管理される。記録部１３０８に記録された符
号化画像データに対し、ユーザは希望する個所から再生
するよう指示１３４０を検索情報入力部１３１０より出
す。この情報をここでは検索情報と呼ぶ。検索情報とし
ては、フレーム番号を明示的に示すデータを用いること
もできるが、符号化画像データ１３３６の中からＩ＿Ｐ
ｉｃｔｕｒｅだけを取り出してその画像をインデックス
として画面表示しておき、その画面上から再生開始した
いＩ＿Ｐｉｃｔｕｒｅをユーザに選択させるようにして
もよい。

【００４１】検索情報入力部１３１０から入力されたデ
ータ１３４０に基づき、記録部１３０８から対応する符
号化画像データを出力する。また、記録部１３０７から
は記録部１３０８から読み出されたフレーム画像に対応
する注釈情報１３３８が出力される。画像復号化部１３
０９では符号化画像データ１３３７を指定された個所か
ら復号し、表示部１３０２に出力する。この場合、表示
部１３０２では、対応する注釈情報１３３８も合わせて
表示される。

【００４２】このようなシステムを組むことで、画像を
取り込み記録し、後でその画像を再生しながら確認をす
ることができる。しかも、本発明を用いることにより、
ユーザの入力に応じてＩ＿Ｐｉｃｔｕｒｅを挿入するこ
とが可能となり、ランダムアクセス時にユーザの希望す
るフレームから再生することが可能となる。

【００４３】なお、上述の各実施形態では、ユーザの入
力として、ペン入力等を用い、画像上にコメントを書く
ようなシステムを用いて説明を行った。しかし、本発明
は、このシステムに限定するものではなく、例えば、ネ
ットワークを介してサーバから多数のユーザに対して同
一の符号化動画像データを配信するというサービスにも
応用できる。この場合、本発明の第１実施形態の構成は
サーバに適用される。すなわち、サーバでは、入力動画
像を符号化しながらその符号化動画像データの符号化お
よび伝送を行うが、ユーザが参加要請をサーバへ送信す
る情報を上記第１実施形態でのユーザ入力情報と置き換
えることにより、サービスへの参加要請がある毎に、サ
ーバ上で実行されている符号化処理の符号化モードをＩ
＿Ｐｉｃｔｕｒｅモードに切り替えることが可能とな
る。これにより、符号化動画像データの配信サービスに
新たに加わる利用者が現れる度に動的に符号化モードを
Ｉ＿Ｐｉｃｔｕｒｅモードに切り替えることが出来、リ
アルタイムで動画をサーバが送出していながら途中参加
が可能なシステムを構成することが可能になる。

【００４４】また、本発明の符号化処理の方法はソフト
ウェアによって実現することもでき、この場合には第１
実施形態で説明した手順を含むコンピュータプログラム
を記録媒体を介してコンピュータに導入するだけで、同
様の効果を得ることが可能となる。

【００４５】

【発明の効果】以上説明したように、本発明によれば、
ユーザが符号化された画像を再生する際、希望する個所
から再生を開始できるように符号化することが可能なシ
ステムを提供することができる。また、不必要な個所で
Ｉ＿Ｐｉｃｔｕｒｅを挿入することがなくなり、従来に
比較し効率のよい圧縮を行うことが可能になる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係る画像処理装置の構
成を示すブロック図。

【図２】同第１実施形態の画像処理装置における符号化
処理動作を示す図。

【図３】同第１実施形態の画像処理装置における符号化
処理の手順を示すフローチャート。

【図４】同第１実施形態の画像処理装置における符号化
処理動作の第２の例を示す図。

【図５】同第１実施形態の画像処理装置における符号化
処理の手順の第２の例を示すフローチャート。

【図６】本発明の第１実施形態に係る画像処理装置の他
の構成例を示すブロック図。

【図７】図６の画像処理装置における符号化処理動作を
示す図。

【図８】図６の画像処理装置における符号化処理動作の
他の例を示す図。

【図９】図６の画像処理装置における符号化処理動作の
さらに他の例を示す図。

【図１０】図９の動作を実現するための符号化処理の手
順示すフローチャート。

【図１１】本発明の第１実施形態に係る画像処理装置の
さらに他の構成例を示すブロック図。

【図１２】図１１の画像処理装置における符号化処理動
作の第１の例を示す図。

【図１３】図１１の画像処理装置における符号化処理動
作の第２の例を示す図。

【図１４】図１１の画像処理装置における符号化処理動
作の第３の例を示す図。

【図１５】本発明の第２実施形態に係る画像処理の構成
を示すブロック図。

【図１６】従来の符号化処理動作を示す図。

【図１７】従来の符号化処理の手順を示すフローチャー
ト。

【符号の説明】

１０１…データ入力部 １０２…表示部 １０３…ユーザデータ入力部 １０４…画像符号化部 １０５…注釈データ出力部 １０６…画像データ出力部 １３２…バッファ部 １４０２…画像復号化部 １４０６…切り替え部 １３０７…記録部 １３０８…記録部 １３１０…検索情報入力部

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5C053 FA27 GB21 GB30 KA04 LA01 LA11 LA14 5C059 KK00 MA05 PP05 PP06 SS10 SS11 SS16 TA18 TB04 TC47 TD12 UA02

Claims (6)

【特許請求の範囲】
1. 【請求項１】 フレーム内符号化モードおよびフレーム
   間符号化モードを有し、それらフレーム内符号化モード
   およびフレーム間符号化モードを選択的に用いて入力動
   画像データを符号化する符号化手段と、 前記入力動画像データを画面表示する手段と、 ユーザからの各種情報を入力するための入力手段と、 この入力手段を介して入力された所定のユーザ入力に連
   動して、前記符号化手段の符号化モードをフレーム間符
   号化モードからフレーム内符号化モードに切り替える符
   号化モード切り替え手段とを具備することを特徴とする
   画像処理装置。
2. 【請求項２】 前記符号化モード切り替え手段は、前記
   入力動画像データに付加すべき注釈情報が前記入力手段
   を介してユーザから入力されたとき、それに連動して符
   号化モードをフレーム間符号化モードからフレーム内符
   号化モードに切り替えることを特徴とする請求項１記載
   の画像処理装置。
3. 【請求項３】 前記符号化モード切り替え手段による符
   号化モードの切り替えによって前記入力動画像データ内
   の所定フレームがフレーム内符号化モードで符号化され
   たとき、後続する所定フレーム期間は前記符号化モード
   切り替え手段による符号化モードの切り替えを禁止する
   手段をさらに具備することを特徴とする請求項１記載の
   画像処理装置。
4. 【請求項４】 前記符号化手段の入力段に設けられ、前
   記入力動画像データを保持するバッファをさらに具備
   し、 前記符号化モード切り替え手段は、前記ユーザ入力が行
   われたフレームよりも時間的に過去のフレームの符号化
   モードをフレーム間符号化モードからフレーム内符号化
   モードに切り替えることを特徴とする請求項１記載の画
   像処理装置。
5. 【請求項５】 前記符号化手段によって符号化された動
   画像データを固定レートで外部出力するための送信バッ
   ファの蓄積データ量が所定のしきい値以上であるか否か
   を判別する手段と、 前記送信バッファの蓄積データ量が所定のしきい値以上
   であるとき、前記符号化モード切り替え手段による符号
   化モードの切り替えを禁止する手段とをさらに具備する
   ことを特徴とする請求項１記載の画像処理装置。
6. 【請求項６】 フレーム内符号化モードおよびフレーム
   間符号化モードを有し、それらフレーム内符号化モード
   およびフレーム間符号化モードを選択的に用いて入力動
   画像データを符号化する符号化手段を有する画像処理装
   置に適用される動画像符号化方法であって、 前記入力動画像データを前記画像処理装置の表示装置に
   画面表示しながら、前記入力動画像データを前記符号化
   手段によって符号化し、 前記画像処理装置に設けられた入力装置からの所定のユ
   ーザ入力に連動して、前記符号化手段の符号化モードを
   フレーム間符号化モードからフレーム内符号化モードに
   切り替えることを特徴とする動画像符号化方法。