JP2000138929A - 高速画像入力変換装置 - Google Patents

Abstract

(57)【要約】 【課題】 カメラやデッキなどからパソコンに入力した
映像に対して、フォーマット変換などの画像処理を施す
システムにおいて、入力画像から所望の画像に高速に変
換できるようにする。 【解決手段】 画像出力装置から画像を受信し受信バッ
ファに1〜Nの順番に繰り返し格納する画像受信手段101
と、複数の画素から構成する画素ブロックに対する受信
バッファ内のアクセス情報をバッファ単位で生成するア
クセス情報生成手段102と、アクセス情報を参照し画素
ブロックを受信バッファから直接読み出し画像処理を行
なう画像処理手段103からなる高速画像入力変換装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラやデッキな
どからパソコンに入力した映像に対して、フォーマット
変換などの画像処理を施す画像入力変換装置に関し、特
に、入力画像から所望の画像に高速に変換できるように
したものである。

【０００２】

【従来の技術】近年、リアルタイム伝送機能を備える高
速インターフェース、IEEE1394等の登場により、カメラ
・VTRなどの画像出力装置からパソコンにDV(Digital Vi
deo)等の高画質なデジタル画像を入力することが可能に
なってきた。パソコンに入力したDVは、多チャンネルサ
ービスを提供する衛星放送やVOD(Video On Demand)シス
テムに用いられる時間軸方向および空間軸方向に圧縮を
施したMPEG(Moving Picture Coding Experts Group)フ
ォーマットに変換して、衛星やネットワークに送信する
ことが多い。パソコンに入力したDVをMPEGに変換を行な
うためには、DCT(Discrete Cosine Transform)復号化・
可変長復号化(VLD:Variable Length Decode)を施すDVデ
コードおよびDCT符号化・可変長符号化(VLC:Variable L
ength Coding)・動き補償符号化等を施すMPEGエンコー
ドの画像処理を行なう必要がある。

【０００３】一般に、画像処理は、画像入力・演算処理
・画像出力など各モジュールが連結して一連の処理を並
列に高速に行なうことのできるパイプライン方式を取
る。パイプライン処理を行なう画像処理方法は、例え
ば、特開平8-263628号公報にも開示されている。その方
法は、特開平8-263628号公報中の図2に相当する、図２
６に示すように、画像入出力部、特徴抽出部、システム
制御部の画像メモリへのアクセスが並列に実行できるよ
うに、画像処理部が画像データを処理し、その結果を画
像メモリに出力すると同時に、各部に起動をかける手段
を備えることにより、画像メモリへのアクセスを並列に
実行できるようにして高速処理およびシステムのスルー
プット向上を実現している。また、画像処理部で処理を
行ないたい画像データがビデオメモリから画像メモリに
転送される前に書き替えられるのを防止するために、ビ
デオメモリの内容の更新を禁止する排他制御を行なって
いる。

【０００４】

【発明が解決しようとする課題】しかし、従来の技術を
用いて、パソコンに入力したDVをMPEGにリアルタイムに
変換する場合、画像入力、可変長復号化等の処理を行な
うモジュール間でのデータ転送にかかる時間が膨大し、
高速なパイプライン処理が実現できない問題が生じる。
そこで本発明では第一に、モジュール間のデータ転送に
要する処理を削減することを目的とする。

【０００５】また、フレームを複数のパケットに分割し
て画像データを転送するIEEE1394等に従来の技術を用い
ると、IEEE1394転送方式ではフレームあたりのパケット
数は固定でないため、画像処理の基本単位であるフレー
ム単位で、ビデオメモリのバッファの排他制御を行なう
ことは困難である。そこで本発明では第二に、フレーム
単位での排他制御を実現することを目的とする。

【０００６】また、従来の技術では、ビデオメモリ内の
排他制御が画像処理部の処理速度に連動しているため、
画像処理部の処理速度が遅い場合、受信画像の欠落が頻
繁に生じる。そこで本発明では第三に、ビデオメモリ内
の受信画像量に応じて画像処理部の処理速度を調整し受
信画像の欠落を抑制することを目的とする。

【０００７】また、従来の技術では、画像データをビデ
オメモリから画像メモリへ転送されるまで、該当するビ
デオメモリ領域に受信画像を書き込むことが出来ないた
め、プロセッサ全体に負荷がかかっているときは、数フ
レームという単位で画像が欠落する問題が生じる。そこ
で本発明では第四に、受信画像のオーバフロー時に受信
画像の欠落を間引くこと、あるいはVTRやカメラ等の画
像出力装置を制御して受信画像の欠落を抑制することを
目的とする。

【０００８】また、ビデオとオーディオを多重化して転
送するIEEE1394等に従来の技術を用いると、受信画像の
オーバフロー時にビデオだけでなくオーディオも欠落す
る問題が生じる。そこで本発明では第五に、受信画像の
オーバフロー時にオーディオ処理を優先し、オーディオ
の欠落を抑制することを目的とする。

【０００９】

【課題を解決するための手段】上記課題を解決するため
に、本発明は、第一に、モジュール間に共有バッファを
設け、モジュール間でデータ転送を行なわず、アクセス
情報のみを転送するようにしたものである。図２５は、
ＤＶ受信モジュール2502とデコードモジュール2504間
で、フレームバッファ2503を介してデータを転送するの
ではなく、パケットバッファ2501内のデータのアクセス
情報2505を転送することにより、データ転送に要する処
理を削減出来る。これにより、パイプライン処理の構造
のまま、データ転送に要する処理を削減する効果を奏す
るものである。

【００１０】第二に、フレームあたりのパケット数が固
定でない場合、フレーム単位で複数の受信バッファを管
理し、フレーム単位で画像処理した後、再受信可能な受
信バッファをスケジュールして決定するようにしたもの
である。これにより、フレーム単位での受信バッファの
排他制御およびオーバフロー制御を可能にする効果を奏
するものである。

【００１１】第三に、受信バッファの受信画像量を画像
処理手段が把握できる機構を設け、受信画像量に応じて
画像処理速度を調整できるようにしたものである。これ
により、画像処理速度の遅延による受信画像の欠落を抑
制できる効果を奏するものである。

【００１２】また、受信バッファの受信画像量を画像処
理手段が把握できる機構を設け、受信画像量に応じて画
像の解像度を変更して処理速度を調整できるようにした
ものである。これにより、画像処理速度の遅延による受
信画像の欠落を抑制でき、さらに、画像処理した画像の
欠落も抑制できる効果を奏するものである。

【００１３】また、受信映像をどの受信バッファに格納
するかを管理するキュー機構を設け、受信画像のオーバ
フロー時に、画像処理で使用中の受信バッファ以外のも
のからキューに再受信要求を出すランダムバッファリン
グ構造にしたものである。これにより、画像処理中の受
信バッファの再受信要求を画像処理後に行なうことがで
き、画像処理中に発生する数フレームという単位での受
信画像の欠落を抑制できる効果を奏するものである。

【００１４】第四に、受信映像をどの受信バッファに格
納するかを管理するキュー機構とフレーム単位で複数の
受信バッファを管理する機構を設け、受信画像のオーバ
フロー時に、画像処理中のフレーム以外の複数フレーム
から一定の割合でフレームを選択し、選択フレームに対
応する複数の受信バッファの内、再受信可能なバッファ
をスケジュールして決定するようにしたものである。こ
れにより、フレーム単位でのランダムバッファリング構
造を実現でき、画像処理中による数フレームという単位
での受信画像の欠落を抑制できる効果を奏するものであ
る。

【００１５】また、受信画像のオーバフロー時にカメラ
・VTR等を制御してテープを一時停止状態にし、同一フ
レームを削除する方法に、DVのSequence Numberの変化
量を用いるようにしたものである。これにより、高速に
同一フレーム判定ができ、さらに、受信画像の欠落も抑
制できる効果を奏するものである。あるいは、同一フレ
ームを削除する方法に、DVのHeader Section内のDFTIA
の変化量を用いるようにしたものである。これにより、
高速に同一フレーム判定ができ、さらに、受信画像の欠
落も抑制できる効果を奏するものである。あるいは、同
一フレームを削除する方法に、DVのSubcode Section内
のTimecodeの値を用いるようにしたものである。これに
より、高速に同一フレーム判定ができ、Timecodeが連続
してついている場合には、受信画像の欠落も抑制できる
効果を奏するものである。

【００１６】第五に、ビデオとオーディオが多重化され
た受信バッファからオーディオ部分だけを抽出しオーデ
ィオデータメモリに複写するようにしたものである。こ
れにより、受信画像のオーバフロー時にオーディオの欠
落は抑制できる効果を奏するものである。

【００１７】また、受信画像のオーバフロー時にビデオ
とオーディオが多重化された受信バッファからオーディ
オ部分だけ抽出しオーディオデータメモリに複写するよ
うにしたものである。これにより、データ転送に要する
処理を削減してオーディオの欠落を抑制できる効果を奏
するものである。

【００１８】また、受信画像のオーバフロー時に受信バ
ッファのオーディオ領域には受信画像を格納しないよう
にしたものである。これにより、オーディオ領域のデー
タ転送を行なわずにオーディオの欠落を抑制できる効果
を奏するものである。

【００１９】

【発明の実施の形態】以下、本発明の各実施の形態につ
いて、図１から図２４を用いて説明する。なお、本発明
はこれら実施の形態に何等限定されるものではなく、そ
の要旨を逸脱しない範囲において、種々なる態様で実施
し得る。

【００２０】（実施の形態１）まず最初に、パイプライ
ン構造のまま、データ転送に要する処理を削減する高速
画像入力変換装置の実現方法および前記高速画像入力変
換装置の排他制御の実現方法について述べる。

【００２１】本高速画像入力変換装置は、図1におい
て、カメラ・VTR等の画像出力装置から画像を受信し、
受信バッファに1〜Nの順番に繰り返し格納する画像受信
手段101と、画像受信手段101により受信した受信画像か
ら、複数の画素から構成される画素ブロックに対する受
信バッファ内のアクセス情報を、バッファ単位で（：受
信バッファ内の各バッファ毎に）生成するアクセス情報
生成手段102と、アクセス情報生成手段102により生成し
たアクセス情報を参照し、画素ブロックを受信バッファ
から直接読み出し画像処理を行なう画像処理手段103か
ら構成される。

【００２２】画像受信手段101で受信する画像データはI
EEE1394の場合、図3-aに示すように、1フレームの画像
データを複数のパケットに分割してアイソクロナス方式
で送信側から転送される。アイソクロナス方式は転送帯
域を保証したリアルタイム転送方式で、一定間隔でパケ
ットを転送する必要がある。このため、一定時間内に画
像データのパケット(以下、画像パケットと呼ぶ)を生成
できない場合には、画像データが含まれていないヘッダ
のみのパケット(以下、空パケットと呼ぶ)が転送される
ようになっている。受信側では、送信側で転送された画
像パケットと空パケットを受信バッファに書き込む。空
パケットの発生する頻度が不定なため、受信バッファ内
にある実際の画像データの格納箇所は、受信バッファに
よって異なる。このため、図3-bに示すように、フレー
ム毎に画像データが格納されているバッファの格納箇所
が異なり、1フレーム分の画像データが複数のバッファ
に格納されることになる。IEEE1394の画像データ転送方
法には、例えば、デジタルカメラなどのフォーマットで
あるDVを用いたものがあり、1フレームあたり120KBのDV
を250個のパケットに分割してアイソクロナス方式で転
送される。

【００２３】一般に、画像を受信して画像処理を行なう
場合は、画像受信手段101と画像処理手段103が並列に高
速処理できるようにパイプライン方式を採る。パイプラ
イン方式では、画像受信手段101で受信した画像データ
を画像処理手段103に転送し、画像処理手段103内のメモ
リに画像処理前の画像データを蓄積するため、DV等高画
質な画像を扱う場合、データ転送の処理に時間がかか
る。

【００２４】この問題を解決するため、本高速画像入力
変換装置では、受信バッファを共有化し、アクセス情報
生成手段102が受信バッファ内の画像データのアクセス
情報を生成し、画像処理手段103にアクセス情報を転送
するようにしている。

【００２５】DVのアクセス情報は、図3-cに示すよう
に、1フレームあたり1500個からなるDifブロックの格納
箇所をバッファ単位で生成している。Difブロックは80B
の大きさで、1フレームあたりのビデオ・オーディオの
データやヘッダ情報等を分割してDifブロック内に格納
している。図3-cでは、フレームの先頭からDifブロック
番号(DifNo)を1からカウントし、DifNoとDifブロックの
格納箇所(offset)をセットにして生成する。アクセス情
報生成手段102で生成したバッファ単位のアクセス情報
のサイズは、受信バッファ内の画像データサイズに比べ
て格段に小さい。従って、本高速画像入力変換装置で
は、パイプライン処理の構造のまま、データ転送に要す
る処理を削減できる効果が期待できる。

【００２６】また、アクセス情報をバッファ単位でなく
フレーム単位で生成することもできる。図3-dに示すよ
うに、フレーム内のDifNo=1〜1500に対する格納箇所(バ
ッファ番号(BufNo),offset)をセットにして生成する。
フレーム単位でアクセス情報を生成することにより、画
像処理手段103もフレーム単位で画像処理を行なうこと
が可能になる。また、画像処理手段103が処理に必要な
画像データのみアクセス情報からランダムに抽出するこ
とも可能である。

【００２７】また、画像処理手段103が処理を行ない易
いように、アクセス情報生成手段102がアクセス情報の
(DifNo,offset)の順番を並び替えることも可能である。
例えば、DVの場合、1ビデオセグメントを構成する5MB(M
B=Macro Block:8x8の画素が4つ)の情報量を均一化する
ため、1画面内から所定のルールでシャッフリングして5
つのMBを集めセグメント化する。DifNo=1とDifNo=2のDi
fブロック(Difブロック=1MB)は、1画面内では離れたと
ころにあるブロックとなるため、画像処理手段103でシ
ャッフリングを解く作業を行ない指定された領域の画像
データを抽出して画像処理を行なう必要がある。従っ
て、アクセス情報生成手段102がシャッフリングを解く
作業を行ないながら元画像のMBの並びでアクセス情報を
生成することで、画像処理手段103の処理速度を向上す
ることが可能となる。

【００２８】図4-aは画像受信手段101、図4-bはアクセ
ス情報生成手段102、図4-cは画像処理手段103の処理の
流れを示したフローチャートで、以下その動作を説明す
る。 step401: 受信バッファの番号を示すBufNoの値を初期化
する。 step402: カメラ・VTR等の画像出力装置から画像データ
のパケットを受信する。 step403: 受信した画像データのパケットを受信バッフ
ァ(BufNo)に格納する。 step404: 受信バッファの最後までパケットを格納した
か判定し、途中の場合は、step402に戻る。 step405: 受信バッファの最後までパケットを格納した
場合、受信バッファに画像データを蓄積したことをアク
セス情報生成手段102に通知する。 step406: 受信バッファの番号(BufNo)を1増やす。BufNo
がバッファサイズ(N)を超えた場合、BufNo=1とする。 step407: 画像受信手段101の処理終了の合図があるま
で、step402〜step406を繰り返す。 終了の合図があれば、画像受信手段101の処理を終了す
る。 step411: 画像受信手段101の受信バッファ処理要求の通
知を受信する。 step412: アクセス情報を生成する。 step413: 生成したアクセス情報を格納する。 step414: アクセス情報生成手段102の処理終了の合図が
あるまで、step411〜step413を繰り返す。終了の合図が
あれば、アクセス情報生成手段102の処理を終了する。 step421: アクセス情報生成手段421により生成したアク
セス情報を取得する。 step422: アクセス情報を参照して、受信バッファから
画像データを取得する。 step423: 取得した画像データから画像処理を行なう。 step424: 画像処理手段103の処理終了の合図があるま
で、step421〜step423を繰り返す。終了の合図があれ
ば、画像処理手段103の処理を終了する。

【００２９】以上のように、本高速画像入力変換装置
は、モジュール間に共有バッファを設け、モジュール間
でデータ転送を行なわず、アクセス情報のみを転送する
ことにより、パイプライン処理の構造のまま、データ転
送に要する処理を削減でき、その実用的効果は大きい。
なお、パケットの格納方法として、ヘッダをつけて格納
する場合を説明したが、ヘッダを除去して格納する方法
でも同様の効果が得られる。

【００３０】（実施の形態２）次に、本高速画像入力変
換装置における受信バッファの"排他制御"の実現方法に
ついて述べる．アクセス情報をバッファ単位で生成する
場合は、図2に示すように、画像処理手段203が処理終了
した受信バッファのバッファ番号を画像受信手段201に
通知し、画像受信手段201が画像処理手段203により受信
バッファの処理終了通知が行なわれるまで、そのバッフ
ァに対する再受信を禁止することにより実現できる。し
かし、アクセス情報がフレーム単位で生成される場合
は、図3-bのようにフレーム内の画像処理が終了して
も、次フレームの画像処理が終了するまで受信バッファ
の再受信通知を行なうことのできない場合が生じる。

【００３１】本高速画像入力変換装置でアクセス情報が
フレーム単位で生成される場合の排他制御は、図5にお
いて、カメラ・VTR等の画像出力装置から画像を受信し
受信バッファに1〜Nの順番に繰り返し格納する画像受信
手段501と、画像受信手段501により受信した受信画像か
ら、複数の画素から構成される画素ブロックに対する受
信バッファ内のアクセス情報をフレーム単位で生成する
フレームアクセス情報生成手段502と、フレームアクセ
ス情報生成手段502により生成したフレームアクセス情
報を用いて画素ブロックの画像処理を施す画像処理手段
503と、画像処理手段503により処理したフレームに該当
する受信バッファで再受信可能な受信バッファ番号をス
ケジュールして画像受信手段501に通知する受信バッフ
ァスケジュール手段504と、から構成され、画像受信手
段501は受信バッファスケジュール手段504により受信バ
ッファに対する再受信の通知が行なわれるまで、そのバ
ッファに対する再受信を禁止することにより実現でき
る。

【００３２】図6は画像処理手段503と受信バッファスケ
ジュール手段504の受信バッファにおける排他制御の処
理の流れを示したフローチャートで、以下その動作を説
明する．なお画像受信手段501の処理は、図4-aのstep40
6に、更新したBufNoの再受信通知が行なわれるまで待機
する処理を追加したものと同様で、フレームアクセス情
報生成手段502の処理は、図4-bのstep412の処理をフレ
ーム単位で行なうようにしたものと同様である。 step601: フレームアクセス情報生成手段502により生成
したフレームアクセス情報を取得する。 step602: フレームアクセス情報を参照して、受信バッ
ファから画像データを取得する。 step603: 取得した画像データから画像処理を行なう。 step604: フレームアクセス情報を用いてフレーム内の
画像処理が終了したら、フレームアクセス情報に含まれ
ている受信バッファ番号(BufNo)を受信バッファスケジ
ュール手段504に通知する。 step605: 画像処理手段503の処理終了の合図があるま
で、step601〜step604を繰り返す。終了の合図があれ
ば、画像処理手段503の処理を終了する。 step611: 画像処理手段503により処理終了した受信バッ
ファ番号(BufNo)を受理する。 step612: 受理した受信バッファ番号(BufNo)の中で、再
受信可能なバッファを決定する。 再受信可能バッファ
決定方法は、図6-cのように、受信バッファ番号iに対し
て、i+1(i+1がNより大きい場合、1とする)の受信バッフ
ァ番号が受理されている場合、受信バッファ番号iは再
受信可能バッファとする方法である。 step613: step612で決定した受信バッファ番号を画像受
信手段501に通知する。 step614:受信バッファスケジュール手段504の処理終了
の合図があるまで、step601〜step604を繰り返す。終了
の合図があれば、受信バッファスケジュール手段504の
処理を終了する。

【００３３】以上のように、本高速画像入力変換装置
は、フレームあたりのパケット数が固定でない場合で
も、フレーム単位で複数の受信バッファを管理し、フレ
ーム単位で画像処理した後、再受信可能な受信バッファ
をスケジュールして決定することにより、フレーム単位
での受信バッファの排他制御が可能となり、その実用的
効果は大きい。

【００３４】（実施の形態３）次に、本高速画像入力変
換装置における受信バッファの排他制御を行なわずに、
受信画像量に応じて画像処理速度を調整して受信画像の
漏れを防ぐ方法について述べる。

【００３５】図7において、701は画像出力装置から画像
を受信し受信バッファに1〜Nの順番に繰り返し格納し、
現在受信している受信バッファの番号を現受信バッファ
番号に格納する画像受信手段、702は画像受信手段701に
より受信した受信画像から複数の画素から構成する画素
ブロックに対する受信バッファ内のアクセス情報をバッ
ファ単位で生成するアクセス情報生成手段、703はアク
セス情報生成手段702により生成したアクセス情報から
画像処理を行ない、画像処理中の受信バッファの番号が
現受信バッファ番号に対してある閾値以下の場合、処理
中の受信バッファの画像処理を中断し次受信バッファの
画像処理を行なう画像処理手段を示す。

【００３６】図9-aは画像受信手段701、図9-bは画像処
理手段703の処理の流れを示したフローチャートで、以
下その動作を説明する。アクセス情報生成手段702のフ
ローチャートは図4-bと同様である。 step901: 受信バッファの番号を示すBufNoの値を初期化
する。また、現受信バッファ番号の値も初期化(現受信
バッファ番号=1)する。 step902: カメラ・VTR等の画像出力装置から画像データ
のパケットを受信する。 step903: 受信した画像データのパケットを受信バッフ
ァ(BufNo)に格納する。 step904: 受信バッファの最後までパケットを格納した
か判定し、途中の場合は、step902に戻る。 step905: 受信バッファの最後までパケットを格納した
場合、受信バッファに画像データを蓄積したことをアク
セス情報生成手段702に通知する。 step906: 受信バッファの番号(BufNo)を1増やす。BufNo
がバッファサイズ(N)を超えた場合、BufNo=1とする。 step907: 現受信バッファ番号の値をBufNoにする。 step908: 画像受信手段701の処理終了の合図があるま
で、step902〜step907を繰り返す。 終了の合図があれば、画像受信手段701の処理を終了す
る。 step911: アクセス情報生成手段702により生成したアク
セス情報を取得する。 step912: "現受信バッファ番号(RecBuf)"と"画像処理中
のバッファ番号(CurBuf)"との差(受信可能な受信バッフ
ァ数)をf(RecBuf,CurBuf)より求め、その値がM以下の場
合は、画像処理中の処理を中断し、step911に戻り、次
のアクセス情報を取得する。差がMより大きい場合は、s
tep913に進む。 step913: アクセス情報を参照して、受信バッファから
複数の画素から構成する画素ブロックのデータを取得す
る。例えば、DVの場合、Difブロック単位で画像データ
を取得する。 step914: 取得した画像データから画像処理を行なう。 step915: バッファ内の画像処理が終了した場合、step9
16に進む。バッファ内の画像処理が途中の場合、step91
2に戻る。 step916: 画像処理手段703の処理終了の合図があるま
で、step911〜step915を繰り返す。終了の合図があれ
ば、画像処理手段703の処理を終了する。

【００３７】以上のように、本高速画像入力変換装置
は、受信バッファの受信画像量を画像処理手段が把握で
きる機構（step912等）を設け、受信画像量に応じて画
像処理速度を調整できるため、受信バッファの排他制御
がなくても画像処理速度の遅延による受信画像の欠落を
抑制でき、その実用的効果は大きい。なお、アクセス情
報生成方法としてバッファ単位の場合を説明したが、フ
レーム単位のアクセス情報でも同様の効果が得られる。

【００３８】（実施の形態４）次に、本高速画像入力変
換装置における受信バッファの排他制御を行なわずに、
受信画像量に応じて画像の解像度を変更して画像処理を
行なう方法について述べる。

【００３９】図8において、801はカメラ・VTR等の画像
出力装置から画像を受信し受信バッファに1〜Nの順番に
繰り返し格納し現受信バッファ番号に現在受信している
受信バッファの番号を格納する画像受信手段、802は画
像受信手段801により受信した受信画像から複数の画素
から構成する画素ブロックに対する受信バッファ内のア
クセス情報をバッファ単位で生成するアクセス情報生成
手段、803はアクセス情報生成手段802により生成したア
クセス情報に対応する受信バッファの番号と現受信バッ
ファ番号を比較し画像処理を行なう上での解像度を決定
する解像度決定手段、804は解像度決定手段803により決
定した解像度で画素ブロックを受信バッファから直接読
み出し画像処理を行なう画像処理手段を示す。解像度決
定方法は、例えばDVの符号化であるDCTを用いると、受
信画像量に応じて4段階の解像度を指定することができ
る。図10-aでは、8x8DCTブロックから8x8の画素ブロッ
クを求める画像処理を示しており、まず、指定した解像
度(4種類)に応じて、8x8DCTブロックの低周波の領域か
ら (直流成分、2x2DCT成分、4x4DCT成分、8x8DCT成分)
の一つを抽出し、逆DCT（IDCT）を施す。ただし、直流
成分に関しては、IDCTは行なわない。次に、YxYDCTブロ
ック（Y=2、4、8）のIDCTはYxYの画素ブロックとなるた
め、元サイズの8x8の画素ブロックとなるよう拡大す
る。一般に、IDCTの処理は、画素ブロック拡大の処理よ
り数倍時間がかかるため、受信画像量に応じて、IDCTを
行なう数を調整することは有効である。

【００４０】図10-bは解像度決定手段803と画像処理手
段804の処理の流れを示したフローチャートで、以下そ
の動作を説明する。画像受信手段801、アクセス情報生
成手段802のフローチャートはそれぞれ図9-a、図4-bと
同様である。 step1001: アクセス情報生成手段802により生成したア
クセス情報を取得する。 step1002: 現受信バッファ番号と画像処理を行なうバッ
ファ番号の差を求め、その差に応じて、画像処理を行な
う上での解像度を決定する。 step1003: アクセス情報を参照して、受信バッファから
複数の画素から構成する画素ブロックのデータを取得す
る。例えば、DVの場合、Difブロック単位で画像データ
を取得する。 step1004: 取得した画像データから指定した解像度で画
像処理を行なう。 step1005: バッファ内の画像処理が終了した場合、step
1006に進む。バッファ内の画像処理が途中の場合、step
1002に戻る。 step1006: 画像処理手段804の処理終了の合図があるま
で、step1001〜step1005を繰り返す。終了の合図があれ
ば、画像処理手段804の処理を終了する。

【００４１】以上のように、本高速画像入力変換装置
は、受信バッファの受信画像量を画像処理手段が把握で
きる機構（step1002等）を設け、受信画像量に応じて画
像の解像度を変更して処理速度を調整することにより、
受信バッファの排他制御がなくても画像処理速度の遅延
による受信画像の欠落および画像処理した画像の欠落を
抑制でき、その実用的効果は大きい。なお、アクセス情
報生成方法としてバッファ単位の場合を説明したが、フ
レーム単位のアクセス情報でも同様の効果が得られる。

【００４２】（実施の形態５）次に、本高速画像入力変
換装置のオーバフロー制御実現方法およびオーバフロー
検出時の受信画像間引き方法あるいはカメラ・VTR等の
映像出力装置を操作して受信画像の欠落を防ぐ方法につ
いて述べる。

【００４３】本高速画像入力変換装置のオーバフロー制
御は、図11のように、カメラ・VTR等の画像出力装置か
ら画像を受信しキューに格納されている受信バッファ番
号に対応する受信バッファに受信画像を格納する画像受
信手段1101と、画像受信手段1101により受信した受信画
像から、複数の画素から構成される画素ブロックに対す
る受信バッファ内のアクセス情報をバッファ単位で生成
し、キュー管理手段1104によりオーバフローの指示があ
った場合にはアクセス情報を一定の割合で削除し（：例
えば、割合として１/２に削除するときは、１アクセス
情報おきに削除することを意味し、削除する割合値は任
意である）、削除したアクセス情報に対応する受信バッ
ファ番号をキュー管理手段1104に通知するアクセス情報
生成削除手段1102と、アクセス情報生成削除手段1102に
より生成したアクセス情報を参照し画素ブロックを受信
バッファから直接読み出し画像処理を行ない、受信バッ
ファ番号をキュー管理手段1104に通知する画像処理手段
と、アクセス情報生成削除手段1102または画像処理手段
1103により通知した受信バッファ番号をキューに追加
し、キューに格納されている受信バッファ番号の数があ
る閾値以下になった場合にはアクセス情報生成削除手段
1102にオーバフローの指示を送るキュー管理手段1104
と、から構成される。

【００４４】図13-aは画像受信手段1101、図13-bはアク
セス情報生成削除手段1102、図13-cはキュー管理手段11
04、図13-dは画像処理手段1103の処理の流れを示したフ
ローチャートで、以下その動作を説明する。 step1301〜1305,1307: step401〜405,407と同様の処理
を行なう。 step1306: 次の受信バッファの番号をキューから取得す
る。 step1311: 画像受信手段1101からのアクセス情報生成処
理要求(受信バッファ番号を含む)またはキュー管理手段
1104からのオーバフロー処理要求を受信する。 step1312: 受信した要求がアクセス情報生成処理要求の
場合、step1313に進む。オーバフロー処理要求の場合、
step1315に進む。 step1313: 受信バッファからアクセス情報を生成する。 step1314: 生成したアクセス情報を格納する。 step1315: step1314で格納したアクセス情報から削除す
るものを決定する。決定方法は、例えば、一定間隔おき
のアクセス情報とする。step1316: 削除すると決定した
アクセス情報に対応する受信バッファ番号をキュー管理
手段1104にすべて通知する。step1317: step1315で決定
したアクセス情報を削除する。step1318: アクセス情報
生成削除手段1102の処理終了の合図があるまで、step13
11〜step1317を繰り返す。終了の合図があれば、アクセ
ス情報生成削除手段1102の処理を終了する。step1321:
アクセス情報生成手段1102または画像処理手段1103より
受信可能な受信バッファ番号を受信する。step1322: 受
信した受信バッファ番号をキューに格納する。step132
3: キューにある受信バッファ番号の数がM(整数)未満な
ら、step1324に進む。M以上ならstep1325に進む。step1
324: 受信画像量がオーバフローを起こしたことをアク
セス情報生成手段1102に通知する。step1325: キュー管
理手段1104の終了処理の合図があるまで、step1321〜st
ep1324を繰り返す。終了の合図があれば、キュー管理手
段1104の処理を終了する。step1331〜1333: step421〜s
tep423と同様の処理を行なう。step1334: 画像処理終了
した受信バッファの番号をキュー管理手段1104に通知す
る。step1335: 画像処理手段1103の終了処理の合図があ
るまで、step1331〜step1334を繰り返す。終了の合図が
あれば、画像処理手段1103の処理を終了する。

【００４５】図14は図11に示す各手段の処理過程におけ
るキューの状態遷移を表したものである。step1401: 画
像受信手段1101が、開始後、受信バッファ１〜Nまで画
像を受信し、画像処理手段1103が受信バッファ5の処理
を行なっている場合は、キューには、1〜4までの受信バ
ッファ番号が格納されている。(画像処理手段1103が受
信バッファ4の処理終了時、画像受信手段1101は受信バ
ッファN-3の処理を行なっていたので、キューには5個以
上の受信バッファ番号が格納されており、キュー管理手
段1104によりオーバフロー検出はおきなかったものとす
る。) step1402: 画像受信手段1101が、受信バッファ１に受信
を開始し、画像処理手段1103が受信バッファ5の処理を
終了し、キュー管理手段1104がキューに受信バッファ5
を格納した場合、キューには、2〜5の受信バッファ番号
が格納されている。 step1403: キュー管理手段1104がオーバフロー検出後、
アクセス情報生成削除手段1102に通知し、アクセス情報
生成削除手段1102がオーバフロー時の処理( 1バッファ
おきに削除)を終了し、画像受信手段1101が、受信バッ
ファ１に受信途中で、画像処理手段1103が受信バッファ
6の処理途中の場合、キューには、2〜5,7,9,11,13,...
の受信バッファ番号が格納されることになる。

【００４６】以上のように、本オーバフロー制御方法
は、受信映像をどの受信バッファに格納するかを管理す
るキュー機構を設け、受信画像のオーバフロー時に、画
像処理で使用中の受信バッファ以外のものからキューに
再受信要求を出すランダムバッファリング構造にするこ
とにより、画像処理中に発生する数フレームという単位
での受信画像の欠落を抑制でき、その実用的効果は大き
い。なお、オーバフロー検出方法として、キューイング
を行なった後、オーバフローの判定を行なう場合を説明
したが、一定間隔でキューの状態を監視してオーバフロ
ー検出する方法でも、同様の効果が得られる。

【００４７】（実施の形態６）次に、本高速画像入力変
換装置でオーバフローを検出した場合に、フレーム単位
で一定のフレームレートなるように画像を間引く方法に
ついて述べる。

【００４８】図12において、1201はカメラ・VTR等の画
像出力装置から画像を受信しキューに格納されている受
信バッファ番号に対応する受信バッファに受信画像を格
納する画像受信手段、1202は画像受信手段1201により受
信した受信画像から複数の画素から構成する画素ブロッ
クに対する受信バッファ内のアクセス情報をフレーム単
位でフレームアクセス情報として生成し、キュー管理手
段1205によりオーバフローの指示があった場合にはフレ
ームアクセス情報を一定の割合で削除し、削除したフレ
ームアクセス情報に対応する受信バッファ番号を受信バ
ッファスケジュール手段1204に通知するフレームアクセ
ス情報生成削除手段、1203はフレームアクセス情報生成
削除手段1202により生成したフレームアクセス情報を参
照し画素ブロックを受信バッファから直接読み出し画像
処理を行ない、フレームに対する画像処理終了後、フレ
ームアクセス情報に対応する受信バッファ番号を受信バ
ッファスケジュール手段1204に通知する画像処理手段、
1204はフレームアクセス情報生成手段1202または画像処
理手段1203により通知した受信バッファ番号で再受信可
能な受信バッファ番号をスケジュールしてキュー管理手
段1205に通知する受信バッファスケジュール手段、1205
は受信バッファスケジュール手段1204により通知した受
信バッファ番号をキューに追加し、キューに格納されて
いる受信バッファ番号の数がある閾値以下になった場合
にはフレームアクセス情報生成削除手段1202にオーバフ
ローの指示を送るキュー管理手段を示す。

【００４９】図15-aは受信バッファスケジュール手段12
04の処理の流れを示したフローチャートで、以下その動
作を説明する。画像受信手段1201、画像処理手段1203、
キュー管理手段1205のフローチャートはそれぞれ図13-
a、図6-a、図13-cと同様で、フレームアクセス情報生成
削除手段1202の処理は、図13-bの処理をフレーム単位で
行なうようにしたものと同様である。 step1501: 画像処理手段1203により処理終了した受信バ
ッファ番号またはフレームアクセス情報生成削除手段12
02により削除処理終了した受信バッファ番号を受理す
る。画像処理手段1203とフレームアクセス情報生成削除
手段1202での処理終了バッファ転送方法を図15-cに示
す。まず、受信バッファに対してフレームアクセス情報
の参照箇所(先頭,全部、最後)を求める。もし、フレー
ムアクセス情報の参照箇所が先頭の場合、処理終了後、
受信バッファ番号を1回送り、最後の場合、受信バッフ
ァ番号を2回送り、全部の場合、受信バッファ番号を3回
送る。例えば、図15-bの場合を考えると、m+1フレーム
目のフレームアクセス情報を削除する場合、受信バッフ
ァ番号6を2回、10を3回、1を1回送ることになる。な
お、受信バッファの大きさは、1フレーム分相当とす
る。 step1502: 受理した受信バッファ番号の中で、再受信可
能な受信バッファ番号を決定する。再受信可能バッファ
決定方法は、同じ受信バッファ番号を3回受信した時点
で再受信可能バッファと決定し、その受信バッファ番号
をキュー管理手段1205へ通知する。 step1503: step1502で決定した受信バッファ番号をキュ
ー管理手段1205に通知する。 step1504:受信バッファスケジュール手段1204の処理終
了の合図があるまで、step1501〜step1504を繰り返す。
終了の合図があれば、受信バッファスケジュール手段12
04の処理を終了する。

【００５０】以上のように、本フレーム単位での間引き
方法は、オーバフロー時に、画像処理中のフレーム以外
の複数フレームから一定の割合でフレームを選択し、選
択フレームに対応する複数の受信バッファの内、再受信
可能なバッファをスケジュールして決定することによ
り、画像処理中による数フレームという単位での受信画
像の欠落を抑制でき、その実用的効果は大きい。

【００５１】（実施の形態７）次に、オーバフロー検出
時にカメラ・VTR等の画像出力装置を制御して受信画像
の欠落を防ぐ方法について述べる．図16において、1601
はカメラ・VTR等の画像出力装置から画像を受信しキュ
ーに格納されている受信バッファ番号に対応する受信バ
ッファに受信画像を格納する画像受信手段、1602は画像
受信手段1601により受信した受信画像から同一フレーム
の画像を削除し、削除フレームに対応する受信バッファ
番号を受信バッファスケジュール手段1605に通知する同
一フレーム削除手段、1603は同一フレーム削除手段1602
により未削除のフレームに対して複数の画素から構成す
る画素ブロックに対する受信バッファ内のアクセス情報
をフレーム単位で生成するフレームアクセス情報生成手
段、1604はフレームアクセス情報生成手段1603により生
成したフレームアクセス情報を参照し画素ブロックを受
信バッファから直接読み出し画像処理を行ない、フレー
ムに対する画像処理終了後、フレームアクセス情報に対
応する受信バッファ番号を受信バッファスケジュール手
段1605に通知する画像処理手段、1605は同一フレーム削
除手段1602または画像処理手段1604により通知した受信
バッファ番号で再受信可能な受信バッファ番号をスケジ
ュールしてキュー管理手段1606に通知する受信バッファ
スケジュール手段、1606は受信バッファスケジュール手
段1605により通知した受信バッファ番号をキューに追加
し、キューに格納されている受信バッファ番号の数があ
る閾値以下になった場合には画像出力装置にテープ一時
停止要求を出し、キューに格納されているバッファ番号
の数がある閾値以上になった場合には画像出力装置にテ
ープ再生要求を出すキュー管理手段を示す。

【００５２】テープが一時停止状態の場合、画像出力装
置は同一フレームの画像データを転送するため、受信側
で同一フレームを削除する機構が必要となる。キュー管
理手段1606から画像出力装置にテープ制御を送る方法
は、例えば、IEEE1394を用いた場合、アシンクロナス
(非同期)方式で、画像出力装置にテープ再生・一時停止
等の要求を転送することができる。図17-aは同一フレー
ム削除手段1602、図17-bはフレームアクセス情報生成手
段1603、図17-cはキュー管理手段1606の処理の流れを示
したフローチャートで、以下その動作を説明する。画像
受信手段1601、画像処理手段1604のフローチャートはそ
れぞれ図13-a、図6-aと同様である。 step1701: 画像受信手段1601の受信バッファ処理要求の
通知を受信する。 step1702: 受信バッファからフレーム単位で画像データ
の特徴量を抽出する。 step1703: 受信バッファ内にフレームの切れ目があるか
判定し、フレームの切れ目があれば、step1704に進む。
フレームの切れ目がなければ、step1701に戻る。 step1704: step1702で抽出した特徴量を用いて現フレー
ムが前フレームと同一か判定する。同一フレームの場
合、step1705に進む。同一フレームでない場合、step17
06に進む。 step1705: 現フレームに対応する受信バッファを受信バ
ッファスケジュール手段1605に図15-cの通知方法で通知
する。 step1706: フレームアクセス情報生成手段1603にフレー
ムのアクセス情報生成要求を送る。要求内容としては、
フレームの格納箇所(複数の受信バッファ番号とフレー
ムの先頭の受信バッファ内オフセット)を転送する。 step1707: 同一フレーム削除手段1602の処理終了の合図
があるまで、step1701〜step1707を繰り返す。終了の合
図があれば、同一フレーム削除手段1602の処理を終了す
る。 step1711: 同一フレーム削除手段1602からのアクセス情
報生成要求を受信する。 step1712: フレームの先頭からフレームアクセス情報を
生成する。 step1713: 生成したアクセス情報を格納する。 step1714: フレームアクセス情報生成手段1603の処理終
了の合図があるまで、step1711〜step1714を繰り返す。
終了の合図があれば、フレームアクセス情報生成手段16
03の処理を終了する。 step1721:受信バッファスケジュール手段1605より受信
可能な受信バッファ番号を受信する。 step1722: 受信した受信バッファ番号をキューに格納す
る。 step1723: キューにある受信バッファ番号の数がM(整
数)未満なら、step1724に進む。M以上ならstep1725に進
む。 step1724: 画像出力装置にテープ一時停止要求を送る。 step1725: キューにある受信バッファ番号の数がL(整
数、M < L)より大きい場合、step1726に進む。L以下な
らstep1727に進む。 step1726: 画像出力装置にテープ再生要求を送る。 step1727: キュー管理手段1606の処理終了の合図がある
まで、step1721〜step1726を繰り返す。終了の合図があ
れば、キュー管理手段1606の処理を終了する。

【００５３】フレーム内の特徴量を抽出して同一フレー
ムを判定する方法は、例えば、DCTの直流成分を抽出し
て比較する方法が考えられる。しかし、動きがない画像
の場合、テープ再生中でも同一フレームと誤判定してし
まう可能性や、フレーム内から直流成分を取出すため処
理速度が遅くなると言った問題点が生じる。本機器制御
連動装置では、画像がDVの場合に、一部の画像データか
ら高速に同一フレームの判定を行なうことができる。そ
の方法には、 ａ．DVのDifブロック内にあるSequence Numberの値を用
いる方法、 ｂ．DVのHeader SectionにあるDFTIAの値を用いる方
法、 ｃ．DVのSubcode SectionにあるTimecodeの値を用いる
方法 が挙げられる。

【００５４】DVは図18-aのように、1フレームあたり10
個のDif Sequenceから構成されており、各Dif Sequence
には、ヘッダ情報・ビデオ・オーディオデータ等を格納
している150個のDif Blockから構成される。aのSequenc
e NumberはDifブロック毎に4ビットの大きさで格納され
ているが、DVのHeader Section、Subcode Sectionおよ
びVAUX Section内のSequence Numberは、映像出力装置
からの転送時に書き替えられることが多い。

【００５５】本機器制御連動装置では、Sequence Numbe
rを映像出力装置からの転送時に書き替えられないAudio
&Video Sectionから取得している。Sequence Numberは0
〜11までの値をフレーム単位で持っており、図18-bのよ
うに、テープ再生時には0〜11の値のフレームが繰り返
し転送され、テープ一時停止時には、同じ値のフレーム
が繰り返し転送される。bのDFTIAはフレーム内のHeader
Sectionに4ビット(0〜15までの値)の大きさで格納され
ており、図18-bのように、テープ再生時には0〜15の
内、二つの値が繰り返し転送され、テープ一時停止時に
は、同じ値が繰り返し転送される。cのTimecodeはフレ
ーム内のSubcode Sectionに4バイトの大きさで格納され
ており、図18-bのように、テープ再生時にはフレームの
時間が昇順に転送され、テープ一時停止時にはフレーム
の時間が格納されずに転送される。よって、上記a,b,c
の値が連続して同じ場合、同一フレームと判断し、同一
フレームを削除することができる。

【００５６】なお、Timecodeが未記録のテープを再生し
た場合、テープ一時停止状態とみなし、Timecode未記録
部分を削除することにする。また、テープ一時停止状態
からテープ再生状態にした場合に生じる画像の乱れを抑
制するために、数フレーム巻戻し後テープ再生を行な
い、巻き戻しフレームの削除を上記a,b,cの値を用いて
行なうことも可能である。また、画像出力装置にテープ
一時停止要求を出し、一定時間内に同一フレームが検出
されない場合、画像出力装置はライブモードと判定し、
オーバフロー時にフレーム間引き処理を行なう図12の高
速画像入力変換装置に切り替えることも可能である。

【００５７】以上のように、同一フレームを削除する方
法に、上記a,b,cの値を用いることで、同一フレーム判
定の高速化および受信画像の欠落防止を実現でき、その
実用的効果は大きい。なお、画像の乱れ抑制法として、
テープ一時停止状態から数フレーム巻戻し後テープ再生
を行なう場合を説明したが、テープ停止状態(画像デー
タ未転送状態)から数フレーム巻戻し後テープ再生を行
なう場合でも同様の効果が得られる。

【００５８】（実施の形態８）次に、ビデオとオーディ
オを多重化して転送する場合に、オーディオ処理を優先
してオーディオデータの欠落を抑制する方法について述
べる。

【００５９】図19において、1901は画像出力装置から画
像を受信し受信バッファに1〜Nの順番に繰り返し格納す
る画像受信手段、1902は画像受信手段1901により受信し
た受信画像から複数の画素から構成する画素ブロックに
対する受信バッファ内のビデオのアクセス情報をバッフ
ァ単位で生成し、オーディオのデータを受信バッファか
らオーディオデータメモリに複写するアクセス情報生成
手段、1903はアクセス情報生成手段1902により生成した
アクセス情報を参照しビデオの画素ブロックを受信バッ
ファから直接読み出し処理を行ない、オーディオデータ
メモリからオーディオの処理を行なう画像処理手段を示
す。

【００６０】図21-aはアクセス情報生成手段1902、図21
-bは画像処理手段1903の処理の流れを示したフローチャ
ートで、以下その動作を説明する。画像受信手段1901の
フローチャートは図4-aと同様である。 step2101: 画像受信手段1901の受信バッファ処理要求の
通知を受信する。 step2102: 生成するアクセス情報がビデオブロックに関
する場合、step2103に進む。オーディオに関する場合、
step2105に進む。 step2103: ビデオのアクセス情報を生成する。 step2104: 生成したビデオのアクセス情報を格納する。 step2105: オーディオのデータをオーディオデータメモ
リに複写する。 step2106: バッファ内の処理が終了するまで、step2102
からstep2105を繰り返す。バッファ内の処理が終了した
場合、step2107に進む。 step2107: アクセス情報生成手段1902の処理の合図があ
るまで、step2101〜step2106を繰り返す。終了の合図が
あれば、アクセス情報生成手段1902の処理を終了する。 step2111: ビデオ処理の場合、step2112に進む。オーデ
ィオ処理の場合、step2114に進む。 step2112: アクセス情報生成手段1902により生成したビ
デオのアクセス情報を取得する。 step2113: アクセス情報を参照して、受信バッファから
ビデオデータを取得する。 step2114: アクセス情報生成手段1902により複写したオ
ーディオのデータをオーディオデータメモリから取得す
る。 step2115: ビデオあるいはオーディオの処理を行なう。 step2116: 画像処理手段1903の処理の合図があるまで、
step2111〜step2115を繰り返す。終了の合図があれば、
画像処理手段1903の処理を終了する。

【００６１】以上のように、ビデオとオーディオが多重
化された受信バッファからオーディオ部分だけを抽出し
オーディオデータメモリに複写することにより、受信画
像のオーバフロー時にオーディオの欠落を抑制でき、そ
の実用的効果は大きい。なお、アクセス情報生成方法と
してバッファ単位の場合を説明したが、フレーム単位の
アクセス情報でも同様の効果が得られる。

【００６２】（実施例９）次に、オーディオデータの複
写を受信画像のオーバフロー時のみ行なう方法について
述べる．本高速画像入力変換装置は、図20において、図
11の高速画像入力変換装置にオーディオデータメモリを
追加し、アクセス情報生成削除手段2002がオーディオの
アクセス情報も生成し、キュー管理手段2004によりオー
バフローの通知がなされた場合にはオーディオのアクセ
ス情報に基づいて受信バッファからオーディオのデータ
を抽出しオーディオデータメモリに複写を行なってから
アクセス情報を削除し、画像処理手段2003がアクセス情
報生成削除手段2002により生成したアクセス情報がある
場合にはアクセス情報からビデオとオーディオの処理を
行ない、アクセス情報がない場合(削除された場合)には
オーディオデータメモリからオーディオの処理を行なう
ように動作する。

【００６３】図22-aはアクセス情報生成削除手段2002、
図22-bは画像処理手段2003の処理の流れを示したフロー
チャートで、以下その動作を説明する。画像受信手段20
01、キュー管理手段2004のフローチャートは図13-a、図
13-cと同様である。 step2201: 画像受信手段2001からのアクセス情報生成処
理要求(受信バッファ番号を含む)またはキュー管理手段
2004からのオーバフロー処理要求を受信する。 step2202: 受信した要求がアクセス情報生成処理要求の
場合、step2203に進む。オーバフロー処理要求の場合、
step2205に進む。 step2203: 受信バッファからビデオ・オーディオデータ
のアクセス情報を生成する。 step2204: 生成したアクセス情報を格納する。 step2205: step2204で格納したアクセス情報から削除す
るものを決定する。決定方法は、例えば、一定間隔おき
のアクセス情報とする。 step2206: step2205で削除すると決定したアクセス情報
に含まれるオーディオのデータをオーディオデータメモ
リに複写する。 step2207: 削除すると決定したアクセス情報に含まれる
受信バッファ番号をキュー管理手段2004にすべて通知す
る。 step2208: step2205で決定したアクセス情報を削除す
る。 step2209: アクセス情報生成削除手段2002の処理終了の
合図があるまで、step2201〜step2208を繰り返す。終了
の合図があれば、アクセス情報生成削除手段2002の処理
を終了する。 step2211: 受信画像のオーバフロー時に、アクセス情報
生成削除手段2002により次のアクセス情報が削除されて
いた場合、step2214に進む。次のアクセス情報がある場
合、step2212に進む。 step2212: アクセス情報生成削除手段2002により生成し
たアクセス情報を取得する。 step2213: アクセス情報を参照して、受信バッファから
ビデオあるいはオーディオのデータを取得する。 step2214: アクセス情報生成削除手段2002により複写し
たオーディオのデータをオーディオデータメモリから取
得する。 step2215: ビデオあるいはオーディオの処理を行なう。 step2216: 画像処理終了した受信バッファ番号をキュー
管理手段2004に通知する。 step2217: 画像処理手段2003の処理の合図があるまで、
step2211〜step2216を繰り返す。終了の合図があれば、
画像処理手段2003の処理を終了する。

【００６４】以上のように、受信画像のオーバフロー時
にビデオとオーディオが多重化された受信バッファから
オーディオ部分のみ抽出しオーディオデータメモリに複
写することにより、データ転送に要する処理を削減して
オーディオの欠落を抑制でき、その実用的効果は大き
い。なお、アクセス情報生成方法としてバッファ単位の
場合を説明したが、フレーム単位のアクセス情報でも同
様の効果が得られる。

【００６５】（実施例１０）次に、オーディオのデータ
を複写しないでオーディオの欠落を抑制する方法につい
て述べる．本高速画像入力変換装置は、図23において、
図11の高速画像入力変換装置に、書込み禁止情報メモリ
を追加し、アクセス情報生成削除手段2302がオーディオ
のアクセス情報も生成し、キュー管理手段2304によりオ
ーバフローの通知がなされた場合にはオーディオのアク
セス情報を書込み禁止情報メモリに複写を行なってから
ビデオのアクセス情報のみを削除し、画像受信手段2301
は書込み禁止情報メモリに記されている領域をスキップ
して受信画像を書き込むように動作する。

【００６６】図24-aは画像受信手段2301、図24-bはアク
セス情報生成削除手段2302、図24-cは画像処理手段2303
の処理の流れを示したフローチャートで、以下その動作
を説明する。キュー管理手段2304のフローチャートは図
13-cと同様である。 step2401〜2402,2405〜2408: step1301〜1302,1304〜13
07と同様の処理を行なう。 step2403: 書込みを行なっている受信バッファに対応す
る書込み禁止情報を取得する。 step2404: 書込み禁止情報メモリに記されている領域を
スキップして受信画像を書き込む。 step2411〜2412,2414〜2415,2417〜2419: step2201〜22
02,2204〜2205,2207〜2209と同様の処理を行なう。 step2413: 受信バッファからビデオ・オーディオデータ
のアクセス情報を生成する。なお、画像受信手段2301で
スキップした領域のオーディオのアクセス情報は生成し
ないものとする。 step2416: step2415で削除すると決定したアクセス情報
内のオーディオアクセス情報を書込み禁止情報メモリに
複写する。 step2421: アクセス情報生成削除手段2302により生成し
たアクセス情報を取得する。 step2422: 取得したアクセス情報がオーディオのみのア
クセス情報の場合、step2423に進む。ビデオ・オーディ
オのアクセス情報の場合、step2426に進む。 step2423: アクセス情報を参照して、受信バッファから
オーディオのデータを取得する。 step2424: オーディオの処理を行なう。 step2425: 処理終了したオーディオの書込み禁止情報を
削除する。 step2426: アクセス情報を参照して、受信バッファから
ビデオ・オーディオのデータを取得する。 step2427: ビデオあるいはオーディオの処理を行なう。 step2428: 処理終了した受信バッファ番号をキュー管理
手段2304に通知する。 step2429: 画像処理手段2303の終了処理の合図があるま
で、step2421〜step2428を繰り返す。終了の合図があれ
ば、画像処理手段2303の処理を終了する。

【００６７】以上のように、受信画像のオーバフロー時
に受信バッファのオーディオ領域には受信画像を格納し
ないようにすることにより、オーディオ領域のデータ転
送を行なわずにオーディオの欠落を抑制でき、その実用
的効果は大きい。なお、アクセス情報生成方法としてバ
ッファ単位の場合を説明したが、フレーム単位のアクセ
ス情報でも同様の効果が得られる。

【００６８】

【発明の効果】以上のように、第一の発明では、モジュ
ール間に共有バッファを設け、モジュール間でデータ転
送を行なわず、アクセス情報のみを転送することによ
り、パイプライン処理の構造のまま、データ転送に要す
る処理を削減できるという有利な効果が得られる。

【００６９】第二の発明では、フレームあたりのパケッ
ト数が固定でない場合に、フレーム単位で複数の受信バ
ッファを管理し、フレーム単位で画像処理した後、再受
信可能な受信バッファをスケジュールして決定すること
により、フレーム単位での受信バッファの排他制御およ
びオーバフロー制御を可能にするという有利な効果が得
られる。

【００７０】第三の発明では、受信バッファの受信画像
量を画像処理手段が把握できる機構を設け、受信画像量
に応じて画像処理速度を調整することにより、画像処理
速度の遅延による受信画像の欠落を抑制できるという有
利な効果が得られる。

【００７１】また、受信バッファの受信画像量を画像処
理手段が把握できる機構を設け、受信画像量に応じて画
像の解像度を変更して処理速度を調整することにより、
画像処理速度の遅延による受信画像の欠落を抑制でき、
さらに、画像処理した画像の欠落も抑制できるという有
利な効果が得られる。

【００７２】また、受信映像をどの受信バッファに格納
するかを管理するキュー機構を設け、受信画像のオーバ
フロー時に、画像処理で使用中の受信バッファ以外のも
のからキューに再受信要求を出すランダムバッファリン
グ構造にすることにより、画像処理中の受信バッファの
再受信要求を画像処理後に行なうことができ、画像処理
中に発生する数フレームという単位での受信画像の欠落
を抑制できるという有利な効果が得られる。

【００７３】第四の発明では、受信映像をどの受信バッ
ファに格納するかを管理するキュー機構とフレーム単位
で複数の受信バッファを管理する機構を設け、受信画像
のオーバフロー時に、画像処理中のフレーム以外の複数
のフレームから一定の割合でフレームを選択し、選択フ
レームに対応する複数の受信バッファの内、再受信可能
なバッファをスケジュールして決定することにより、フ
レーム単位でのランダムバッファリング構造を実現で
き、画像処理中による数フレームという単位での受信画
像の欠落を抑制できるという有利な効果が得られる。

【００７４】また、受信画像のオーバフロー時にカメラ
・VTR等を制御してテープを一時停止状態にし、同一フ
レームを削除する方法に、DVのSequence Numberの変化
量を用いることにより、高速に同一フレーム判定がで
き、さらに、受信画像の欠落も抑制できるという有利な
効果が得られる。あるいは、同一フレームを削除する方
法に、DVのHeader Section内のDFTIAの変化量を用いる
ことにより、高速に同一フレーム判定ができ、さらに、
受信画像の欠落も抑制できるという有利な効果が得られ
る。あるいは、同一フレームを削除する方法に、DVのSu
bcode Section内のTimecodeの値を用いることにより、
高速に同一フレーム判定ができ、Timecodeが連続してつ
いている場合には、受信画像の欠落も抑制できるという
有利な効果が得られる。

【００７５】第五の発明では、ビデオとオーディオが多
重化された受信バッファからオーディオ部分だけを抽出
しオーディオデータメモリに複写することにより、受信
画像のオーバフロー時にオーディオの欠落は抑制できる
という有利な効果が得られる。

【００７６】また、受信画像のオーバフロー時にビデオ
とオーディオが多重化された受信バッファからオーディ
オ部分だけ抽出しオーディオデータメモリに複写するこ
とにより、データ転送に要する処理を削減してオーディ
オの欠落を抑制できるという有利な効果が得られる。

【００７７】また、受信画像のオーバフロー時に受信バ
ッファのオーディオ領域には受信画像を格納しないよう
にすることにより、オーディオ領域のデータ転送を行な
わずにオーディオの欠落を抑制できるという有利な効果
が得られる。

【図面の簡単な説明】

【図１】第１の実施の形態におけるデータ転送量を削減
した高速画像入力変換装置の構成を示すブロック図

【図２】第２の実施の形態における受信バッファ内の排
他制御を実現した高速画像入力変換装置の構成を示すブ
ロック図

【図３】受信バッファ内のパケット格納状態とアクセス
情報生成方法を説明する図

【図４】第１の実施の形態におけるデータ転送量を削減
した高速画像入力変換装置の動作を示す流れ図

【図５】第２の実施の形態におけるフレーム単位で受信
バッファ内の排他制御を実現した高速画像入力変換装置
の構成を示すブロック図

【図６】第２の実施の形態におけるフレーム単位で受信
バッファ内排他制御を実現した高速画像入力変換装置の
動作を示す流れ図および再受信可能バッファ決定方法を
説明する図

【図７】第３の実施の形態における受信画像量に応じて
画像処理速度を調整して受信画像の漏れを防ぐ高速画像
入力変換装置の構成を示すブロック図

【図８】第４の実施の形態における受信画像量に応じて
画像の解像度を調整して受信画像の漏れを防ぐ高速画像
入力変換装置の構成を示すブロック図

【図９】第３の実施の形態における受信画像量に応じて
画像処理速度を調整して受信画像の漏れを防ぐ高速画像
入力変換装置の動作を示す流れ図

【図１０】DCTを用いた解像度調整方法を説明する図お
よび第４の実施の形態における受信画像量に応じて画像
の解像度を調節して受信画像の漏れを防ぐ高速画像入力
変換装置の動作を示す流れ図

【図１１】第５の実施の形態における受信バッファ内の
オーバフロー制御を実現した高速画像入力変換装置の構
成を示すブロック図

【図１２】第６の実施の形態におけるフレーム単位で受
信バッファ内のオーバフロー制御を実現した高速画像入
力変換装置の構成を示すブロック図

【図１３】第５の実施の形態における受信バッファ内の
オーバフロー制御を実現した高速画像入力変換装置の動
作を示す流れ図

【図１４】キューの状態遷移の例を示す説明図

【図１５】第６の実施の形態におけるフレーム単位で受
信バッファ内のオーバフロー制御を実現した高速画像入
力変換装置の動作を示す流れ図および処理終了バッファ
転送方法と再受信可能バッファ決定方法を説明する図

【図１６】第７の実施の形態におけるオーバフロー検出
時に機器を制御して受信画像の漏れを防ぐ機器制御連動
装置の構成を示すブロック図

【図１７】第７の実施の形態におけるオーバフロー検出
時に機器を制御して受信画像の漏れを防ぐ機器制御連動
装置の動作を示す流れ図

【図１８】DVフォーマット構造を説明する図およびテー
プ再生・一時停止状態時のフレーム内情報の変化例を示
す図

【図１９】第８の実施の形態におけるオーディオを他メ
モリに回避してオーディオデータの欠落を防ぐ高速画像
入力変換装置の構成を示すブロック図

【図２０】第９の実施の形態におけるオーバフロー時に
のみオーディオを他メモリに回避してオーディオデータ
の欠落を防ぐ高速画像入力変換装置の構成を示すブロッ
ク図

【図２１】第８の実施の形態におけるオーディオを他メ
モリに回避してオーディオデータの欠落を防ぐ高速画像
入力変換装置の動作を示す流れ図

【図２２】第９の実施の形態におけるオーバフロー時に
のみオーディオを他メモリに回避してオーディオデータ
の欠落を防ぐ高速画像入力変換装置の動作を示す流れ図

【図２３】第１０の実施の形態におけるオーディオを他
メモリに回避せずにオーディオデータの欠落を防ぐ高速
画像入力変換装置の構成を示すブロック図

【図２４】第１０の実施の形態におけるオーディオを他
メモリに回避せずにオーディオデータの欠落を防ぐ高速
画像入力変換装置の動作を示す流れ図

【図２５】本願発明における、各モジュール間のデータ
転送を省略した、アクセス情報の転送による高速なデー
タ転送方式の例図

【図２６】従来のパイプライン処理を用いた画像処理の
構成図

【符号の説明】

１０１・・・画像受信手段 １０２・・・アクセス情報生成手段 １０３・・・画像処理手段 ５０４・・・受信バッファスケジュール手段 ８０３・・・解像度決定手段 １１０４・・・キュー管理手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 小宮 大作 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 山田 和範 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 松本 孝夫 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Ｆターム(参考） 5C059 KK14 KK30 KK33 MA00 ME01 PP04 RC08 RC26 TA60 TA75 TB04 TC19 TC45 TD06 UA35

Claims (20)

【特許請求の範囲】
1. 【請求項１】 画像を受信し受信バッファに格納する画
   像受信手段と、前記画像受信手段により受信した受信画
   像から、複数の画素から構成する画素ブロックに対する
   受信バッファ内のアクセス情報をバッファ単位で生成す
   るアクセス情報生成手段と、前記アクセス情報生成手段
   により生成したアクセス情報を参照し画素ブロックを受
   信バッファから直接読み出し画像処理を行なう画像処理
   手段とを備えた、高速画像入力変換装置。
2. 【請求項２】 アクセス情報生成手段により生成する画
   素ブロックのアクセス情報をフレーム単位で構成するこ
   とを特徴とする請求項１記載の高速画像入力変換装置。
3. 【請求項３】 アクセス情報生成手段が、画像処理手段
   が処理を行なう順番に画素ブロックのアクセス情報を並
   び替えて生成することを特徴とする請求項１記載の高速
   画像入力変換装置。
4. 【請求項４】 画像処理手段がアクセス情報の必要な情
   報だけ選択してランダムに受信バッファにアクセスする
   ことを特徴とする請求項１記載の高速画像入力変換装
   置。
5. 【請求項５】 画像処理手段が処理終了した受信バッフ
   ァの格納位置を画像受信手段に通知し、画像受信手段が
   前記画像処理手段により受信バッファの処理終了通知が
   行なわれるまで、そのバッファに対する再受信を禁止す
   ることを特徴とする請求項１記載の高速画像入力変換装
   置。
6. 【請求項６】 画像を受信し受信バッファに格納する画
   像受信手段と、前記画像受信手段により受信した受信画
   像から、複数の画素から構成する画素ブロックに対する
   受信バッファ内のアクセス情報をフレーム単位で生成す
   るフレームアクセス情報生成手段と、前記フレームアク
   セス情報生成手段により生成したフレームアクセス情報
   を用いて画素ブロックの画像処理を施す画像処理手段
   と、前記画像処理手段により処理したフレームに該当す
   る受信バッファで再受信可能な受信バッファをスケジュ
   ールして前記画像受信手段に通知する受信バッファスケ
   ジュール手段と、を備え、 前記画像受信手段が前記受信バッファスケジュール手段
   により受信バッファに対する再受信の通知が行なわれる
   まで、そのバッファに対する再受信を禁止することを特
   徴とする、高速画像入力変換装置。
7. 【請求項７】 画像受信手段が現在受信している受信バ
   ッファの番号を格納する現受信バッファ番号を認識で
   き、画像処理手段で処理中の受信バッファの番号が現受
   信バッファ番号とある閾値以下の場合、当バッファの画
   像処理を中断し次バッファの画像処理を行なうことを特
   徴とする、請求項１記載の高速画像入力変換装置。
8. 【請求項８】 画像を受信し受信バッファに格納し、現
   受信バッファ番号に現在受信している受信バッファの番
   号を格納する画像受信手段と、前記画像受信手段により
   受信した受信画像から、複数の画素から構成する画素ブ
   ロックに対する受信バッファ内のアクセス情報をバッフ
   ァ単位で生成するアクセス情報生成手段と、前記アクセ
   ス情報生成手段により生成したアクセス情報に対応する
   受信バッファの番号と現受信バッファ番号を比較し画像
   処理を行なう上での解像度を決定する解像度決定手段
   と、前記解像度決定手段により決定した解像度で画素ブ
   ロックを受信バッファから直接読み出し画像処理を行な
   う画像処理手段と、を備えた高速画像入力変換装置。
9. 【請求項９】 画像を受信しキューに格納されている受
   信バッファ番号に対応する受信バッファに受信画像を格
   納する画像受信手段と、前記画像受信手段により受信し
   た受信画像から、複数の画素から構成する画素ブロック
   に対する受信バッファ内のアクセス情報をバッファ単位
   で生成し、キュー管理手段によりオーバフローの指示が
   あった場合にはアクセス情報を一定の割合で削除し、削
   除したアクセス情報に対応する受信バッファ番号をキュ
   ー管理手段に通知するアクセス情報生成削除手段と、前
   記アクセス情報生成削除手段により生成したアクセス情
   報を参照し画素ブロックを受信バッファから直接読み出
   し画像処理を行ない、受信バッファ番号をキュー管理手
   段に通知する画像処理手段と、前記アクセス情報生成削
   除手段または前記画像処理手段により通知した受信バッ
   ファ番号をキューに追加し、キューに格納されている受
   信バッファ番号の数がある閾値以下になった場合には前
   記アクセス情報生成削除手段にオーバフローの指示を送
   るキュー管理手段と、を備えた高速画像入力変換装置。
10. 【請求項１０】 画像を受信しキューに格納されている
    受信バッファ番号に対応する受信バッファに受信画像を
    格納する画像受信手段と、前記画像受信手段により受信
    した受信画像から複数の画素から構成する画素ブロック
    に対する受信バッファ内のアクセス情報をフレーム単位
    でフレームアクセス情報として生成し、キュー管理手段
    によりオーバフローの指示があった場合にはフレームア
    クセス情報を一定の割合で削除し、削除したフレームア
    クセス情報に対応する受信バッファ番号を受信バッファ
    スケジュール手段に通知するフレームアクセス情報生成
    削除手段と、前記フレームアクセス情報生成削除手段に
    より生成したフレームアクセス情報を参照し画素ブロッ
    クを受信バッファから直接読み出し画像処理を行ない、
    フレームに対する画像処理終了後、フレームアクセス情
    報に対応する受信バッファ番号を受信バッファスケジュ
    ール手段に通知する画像処理手段と、前記フレームアク
    セス情報生成手段または前記画像処理手段により通知し
    た受信バッファ番号で再受信可能な受信バッファ番号を
    スケジュールしてキュー管理手段に通知する受信バッフ
    ァスケジュール手段と、前記受信バッファスケジュール
    手段により通知した受信バッファ番号をキューに追加
    し、キューに格納されている受信バッファ番号の数があ
    る閾値以下になった場合には前記フレームアクセス情報
    生成削除手段にオーバフローの指示を送るキュー管理手
    段と、を備えた高速画像入力変換装置。
11. 【請求項１１】 画像出力装置から画像を受信しキュー
    に格納されている受信バッファ番号に対応する受信バッ
    ファに受信画像を格納する画像受信手段と、前記画像受
    信手段により受信した受信画像から同一フレームの画像
    を削除し、削除フレームに対応する受信バッファ番号を
    受信バッファスケジュール手段に通知する同一フレーム
    削除手段と、前記同一フレーム削除手段により未削除の
    フレームに対して複数の画素から構成する画素ブロック
    に対する受信バッファ内のアクセス情報をフレーム単位
    で生成するフレームアクセス情報生成手段と、前記フレ
    ームアクセス情報生成手段により生成したフレームアク
    セス情報を参照し画素ブロックを受信バッファから直接
    読み出し画像処理を行ない、フレームに対する画像処理
    終了後、フレームアクセス情報に対応する受信バッファ
    番号を受信バッファスケジュール手段に通知する画像処
    理手段と、前記同一フレーム削除手段または前記画像処
    理手段により通知した受信バッファ番号で再受信可能な
    受信バッファ番号をスケジュールしてキュー管理手段に
    通知する受信バッファスケジュール手段と、前記受信バ
    ッファスケジュール手段により通知した受信バッファ番
    号をキューに追加し、キューに格納されている受信バッ
    ファ番号の数がある閾値以下になった場合には前記画像
    出力装置にテープ一時停止要求を出すキュー管理手段
    と、を備えた高速画像入力変換装置。
12. 【請求項１２】 キュー管理手段がキューに格納されて
    いるバッファ番号の数がある閾値以上になった場合には
    画像出力装置に再生要求を出すことを特徴とする請求項
    １１記載の高速画像入力変換装置。
13. 【請求項１３】 キュー管理手段が画像出力装置に再生
    要求を出す前に数フレーム分戻す要求を出し、同一フレ
    ーム削除手段がさらに重複フレームを削除することを特
    徴とする請求項12記載の高速画像入力変換装置。
14. 【請求項１４】 画像出力装置から出力される画像がＤ
    Ｖ(Digital Video)フォーマットの場合、同一フレーム
    削除手段がＤＶのＤｉｆブロック内にある Sequence Nu
    mber の値を用いて同一フレームの判定を行なうことを
    特徴とした請求項１１記載の高速画像入力変換装置。
15. 【請求項１５】 画像出力装置から出力される画像がＤ
    Ｖ(Digital Video)フォーマットの場合、同一フレーム
    削除手段がＤＶの Header Section にあるＤＦＴＩＡの
    値を用いて同一フレームの判定を行なうことを特徴とし
    た請求項１１記載の高速画像入力変換装置。
16. 【請求項１６】 画像出力装置から出力される画像がＤ
    Ｖ(Digital Video)フォーマットの場合、同一フレーム
    削除手段がＤＶの Subcode Section にある Timecode
    の値を用いて、同一Timecodeのフレームの削除を行なう
    ことを特徴とした請求項１１記載の高速画像入力変換装
    置。
17. 【請求項１７】 キュー管理手段が画像出力装置に一時
    停止要求を出してから一定時間内に同一フレーム削除手
    段で同一フレームが検出されなかった場合、画像出力装
    置はライブモードと判定し、請求項１０記載の高速画像
    入力変換装置に切り替えることを特徴とする、請求項１
    １記載の高速画像入力変換装置。
18. 【請求項１８】 画像を受信し受信バッファに格納する
    画像受信手段と、前記画像受信手段により受信した受信
    画像から複数の画素から構成する画素ブロックに対する
    受信バッファ内のビデオのアクセス情報をバッファ単位
    で生成し、オーディオのデータを受信バッファからオー
    ディオデータメモリに複写するアクセス情報生成手段
    と、前記アクセス情報生成手段により生成したアクセス
    情報を参照しビデオの画素ブロックを受信バッファから
    直接読み出し処理を行ない、オーディオデータメモリか
    らオーディオの処理を行なう画像処理手段とを備えた、
    高速画像入力変換装置。
19. 【請求項１９】 オーディオデータメモリを追加し、ア
    クセス情報生成削除手段がオーディオのアクセス情報も
    生成し、キュー管理手段によりオーバフローの通知がな
    された場合にはオーディオのアクセス情報に基づいて受
    信バッファからオーディオのデータを抽出しオーディオ
    データメモリに複写を行なってからアクセス情報を削除
    し、画像処理手段が前記アクセス情報生成削除手段によ
    り生成したアクセス情報がある場合にはアクセス情報か
    らビデオとオーディオの処理を行ない、アクセス情報が
    ない場合にはオーディオデータメモリからオーディオの
    処理を行なうことを特徴とする請求項９又は１０記載の
    高速画像入力変換装置。
20. 【請求項２０】 書込み禁止情報メモリを追加し、アク
    セス情報生成削除手段がオーディオのアクセス情報も生
    成し、キュー管理手段によりオーバフローの通知がなさ
    れた場合にはオーディオのアクセス情報を書込み禁止情
    報メモリに複写を行なってからビデオのアクセス情報の
    みを削除し、画像受信手段は書込み禁止情報メモリに記
    されている領域をスキップして受信画像を書き込むこと
    を特徴とする請求項９又は１０記載の高速画像入力変換
    装置。