JP2004023134A - 画像音声同期化装置 - Google Patents
画像音声同期化装置 Download PDFInfo
- Publication number
- JP2004023134A JP2004023134A JP2002171275A JP2002171275A JP2004023134A JP 2004023134 A JP2004023134 A JP 2004023134A JP 2002171275 A JP2002171275 A JP 2002171275A JP 2002171275 A JP2002171275 A JP 2002171275A JP 2004023134 A JP2004023134 A JP 2004023134A
- Authority
- JP
- Japan
- Prior art keywords
- asynchronous
- signal
- synchronous
- line
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Synchronizing For Television (AREA)
- Television Receiver Circuits (AREA)
- Television Systems (AREA)
Abstract
【課題】安価なメモリ装置を用いて大容量フレームデータを好適に同期化できるとともに，音声データの雑音を低減することが可能な画像音声同期化装置を提供すること。
【解決手段】入力同期信号に従って入力されたビデオ信号を，基準同期信号に同期させて出力する画像音声同期化装置であって：入力されたビデオ信号をライン単位で同期化する非同期メモリ装置と；非同期メモリから出力されたビデオ信号をフレーム単位で同期化する同期メモリ装置と；を備えることを特徴とする，画像音声同期化装置が提供される。さらに，入力されたビデオ信号から，音声信号を分離する音声信号分離部と；分離された音声信号を基準同期信号に基づいて周波数変換処理する標本化周波数変換部と；同期メモリ装置から出力されたビデオ信号に，周波数変換された音声信号を混合する音声信号混合部と；を有する音声分離処理装置を設けてもよい。
【選択図】 図１２
【解決手段】入力同期信号に従って入力されたビデオ信号を，基準同期信号に同期させて出力する画像音声同期化装置であって：入力されたビデオ信号をライン単位で同期化する非同期メモリ装置と；非同期メモリから出力されたビデオ信号をフレーム単位で同期化する同期メモリ装置と；を備えることを特徴とする，画像音声同期化装置が提供される。さらに，入力されたビデオ信号から，音声信号を分離する音声信号分離部と；分離された音声信号を基準同期信号に基づいて周波数変換処理する標本化周波数変換部と；同期メモリ装置から出力されたビデオ信号に，周波数変換された音声信号を混合する音声信号混合部と；を有する音声分離処理装置を設けてもよい。
【選択図】 図１２
Description
【０００１】
【発明の属する技術分野】
本発明は，フレームシンクロナイザなどの画像音声同期化装置に関する。
【０００２】
【従来の技術】
ＴＶ放送局等では，外部のＶＴＲ等から入力されたビデオ信号を局内の基準クロックに同期させるフレームシンクロナイザ等の画像音声同期化装置が多用されている。この画像音声同期化装置は，疑似ＳＲＡＭなどを基本としたデュアルポートのフレームメモリを使用して，ビデオ信号の書き込み（ライト動作）と読み出し（リード動作）を異なるフレーム周波数で行うことで同期化を行っている。この際，読み出すビデオ信号をフレーム単位でジャンプまたはリピートさせることにより，リード動作とライト動作の遅延量が調整されている。
【０００３】
一方，近年では，映像メディア・通信技術の発達に伴い，ＨＤＴＶ（高精細度ＴＶ）などの大容量のフレームデータを含むビデオ信号の伝送方式が普及しつつあり，かかる大容量ビデオ信号を同期化することが求められている。
【０００４】
【発明が解決しようとする課題】
しかしながら，上記従来の画像音声同期化装置では，メモリ装置自体が特殊用途であるので，コストが高かった。また，ＨＤＴＶフレームデータを格納できる程度の大容量のフレームメモリは製造上困難なため汎用製品がないので，多数のＳＤＴＶ用メモリ装置などの部品を縦続接続して使用しなければならなかった。このため，画像音声同期化装置が，高コスト化するだけでなく，消費電力やハードウエアの実装規模が大きくなるという問題があった。さらに，大容量のＨＤＴＶフレームデータをメモリ装置にリードおよびライトする際，アドレスを高速制御することが困難であるという問題もあった。
【０００５】
また，従来の画像音声同期化装置では，音声データを分離処理してないので，画像データを同期化するためにビデオ信号をフレーム単位でジャンプまたはリピートさせると，音声データが不連続になり，雑音を発生させてしまうという問題があった。さらに，音声データのみを遅延させたり，外部音声データを処理したりできないという問題もあった。
【０００６】
本発明は，従来の画像音声同期化装置が有する上記問題点に鑑みてなされたものであり，本発明の目的は，安価な汎用メモリ装置を用いて大容量のフレームデータを好適に同期化できるとともに，音声データの雑音を低減することが可能な，新規かつ改良された画像音声同期化装置を提供することである。
【０００７】
【課題を解決するための手段】
上記課題を解決するため，本発明の第１の観点によれば，入力同期信号に従って入力されたビデオ信号を，基準同期信号に同期させて出力する画像音声同期化装置であって：入力されたビデオ信号をライン単位で同期化する非同期メモリ装置と；非同期メモリから出力されたビデオ信号をフレーム単位で同期化する同期メモリ装置と；を備えることを特徴とする，画像音声同期化装置が提供される。
【０００８】
かかる構成により，非同期メモリ装置は，非同期動作を行って，ビデオ信号をピクセルクロック単位（画素単位）およびライン単位（Ｈ単位）で同期化する。また，同期メモリ装置は，同期動作を行って，上記ピクセルクロック単位およびライン単位で同期化されたビデオ信号を，フレーム単位（Ｖ単位）で同期化する。これにより，大容量のＨＤＴＶフレームデータなどを含むビデオ信号であっても，同期化動作を分担して，好適に同期化できる。
【０００９】
また，上記非同期メモリ装置は，少なくともビデオ信号の１ライン分および１フレーム当たりのクロック誤差分を記憶するデュアルポートの非同期ラインメモリと；入力されたビデオ信号を入力同期信号に基づいて非同期ラインメモリに書き込む非同期ライト動作を制御する非同期ライト制御部と；非同期ラインメモリに記憶されたビデオ信号を基準同期信号に基づいて読み出す非同期リード動作を制御し，非同期ライト動作に対する非同期リード動作の遅延量に応じて，非同期リード動作で読み出すビデオ信号をライン単位でジャンプまたはリピートさせる非同期リード制御部と；を備える，如く構成すれば，非同期メモリ装置は，非同期ライト動作と非同期リード動作を非同期で独立して行うことができる。さらに，非同期ライト動作に対する非同期リード動作の遅延量が上限に達した場合には，ライン単位のジャンプ動作を行って，未だ読み込んでいない１ライン分のデータの読み出しを省略する。一方，当該遅延量が下限に達した場合には，ライン単位のリピート動作を行って，既に読み込んだ１ライン分のデータの再読み出しを行う。以上により，非同期メモリ装置は，少量の非同期ラインメモリを用いて，ビデオ信号をピクセルクロック単位およびライン単位で同期化できる。
【００１０】
また，上記非同期ラインメモリは，ＦＩＦＯ（Ｆｉｒｓｔ−ｉｎ Ｆｉｒｓｔ−ｏｕｔ）メモリである，如く構成すれば，非同期メモリ装置は，ピクセルクロック単位およびライン単位の同期化を好適に行うことができるとともに，非同期ライト動作および非同期リード動作のアドレス制御が容易になる。
【００１１】
さらに，上記非同期ラインメモリの容量は，１ライン分の容量に加えて少なくとも入出力ビデオ信号間の１フレーム当たりのクロック誤差を吸収できる余裕がある，如く構成すれば，非同期ラインメモリの容量に，非同期リード動作および非同期ライト動作で必要な分だけ余裕を持たせることができる。即ち，非同期ラインメモリは，クロック数の差分，即ち画素数のずれを吸収する分余分容量を有する。このため，非同期メモリ装置は，非同期リード動作および非同期ライト動作を好適に行うことができる。
【００１２】
また，上記非同期メモリ装置は，さらに，非同期ライト動作を制御するためのライトリセット信号と，非同期リード動作を制御するためのリードリセット信号のタイミングを比較して，非同期ラインメモリのライトアドレスとリードアドレスとが所定範囲内に接近しているか否かを検出するリセットタイミング比較器と；リセットタイミング比較器の検出結果に応じて，基準同期信号に基づいた基準リードリセット信号と，基準リードリセット信号を所定時間早めた調整リードリセット信号とを切り替えるセレクタと；非同期ラインメモリから読み出されたビデオ信号を所定時間だけ遅延させる遅延回路と；を備えており，リセットタイミング比較器がライトアドレスとリードアドレスとが所定範囲内に接近していると検出した場合には，非同期リード制御部は，調整リードリセット信号に基づいて非同期ラインメモリに記憶されたビデオ信号を読み出し，遅延回路によって所定時間遅延させてから出力する，如く構成すれば，非同期ラインメモリは，ライトリセット信号に基づいてライトアドレスをリセットし，リードリセット信号に基づいてリードアドレスをリセットすることができる。また，リセットタイミング比較器は，非同期ラインメモリでのライトアドレスとリードアドレスの接近具合を監視することができる。また，セレクタは，リセットタイミング比較器の検出結果に基づいて，基準リードリセット信号と調整リードリセット信号とを例えば１フレーム毎に切り替えて，いずれかをリードリセット信号として非同期リード制御部に出力する。また，非同期リード制御部は，調整リードリセット信号を非同期ラインメモリに出力することで，基準のリードリセット信号を入力する場合より非同期ラインメモリのリードアドレスのリセットタイミングを，所定時間早めることができる。また，遅延回路は，非同期ラインメモリから出力されたビデオ信号を，調整リードリセット信号によって読み出しが早まった分だけ遅延させて，当該ビデオ信号の遅延量を調整できる。このため，上記切替を１フレーム毎に行うか否かを判断して必要な場合に実行すれば，その後１フレーム期間内で起こり得る非同期ラインメモリのライトアドレスとリードアドレスのオーバーラン・アンダーランエラーを防止できる。さらに，基準リードリセット信号と調整リードリセット信号に好適な時間差を設けることで，リードリセット信号の切替を行えば，当該エラーの発生を抑制できる。
【００１３】
さらに，上記非同期メモリ装置から出力されたビデオ信号と，非同期メモリ装置から出力されたビデオ信号を少なくとも１ライン遅延させたビデオ信号とを切り替えて，同期メモリ装置に出力するライン調整装置を備える，如く構成すれば，ライン調整装置は，非同期メモリ装置のジャンプまたはリピート動作によって生じた，非同期メモリ装置から出力されたビデオ信号のライン配列の乱れを修正できる。
【００１４】
また，上記同期メモリ装置は，非同期メモリ装置から出力されたビデオ信号の少なくとも１フレーム分を記憶可能な複数の同期フレームメモリと；非同期メモリ装置から出力されたビデオ信号を，基準同期信号に基づいて複数の同期フレームメモリにライン単位で交互に書き込む同期ライト動作を制御する同期ライト制御部と；複数の同期フレームメモリに記憶されたビデオ信号を，同期ライト制御部の書き込み動作が行われていない同期フレームメモリから，基準同期信号に基づいてライン単位で交互に読み出す同期リード動作を制御し，同期ライト動作に対する同期リード動作の遅延量に応じて，同期リード動作で読み出されるビデオ信号をフレーム単位でジャンプまたはリピートさせる同期リード制御部と；を備える，如く構成すれば，同期メモリ装置は，同期ライト動作と同期リード動作の双方を基準同期信号に基づいて同時並行して行うことができる。即ち，１つの同期フレームメモリに対するライン単位のライト動作と，他の同期フレームメモリに対するライン単位のリード動作を交互に切り替えながら同時に行うことができる。さらに，同期リード動作と同期ライト動作を同一のタイミングで行えるので，アドレス制御が容易になる。さらに，同期ライト動作に対する同期リード動作の遅延量が上限に達した場合には，フレーム単位のジャンプ動作を行って，未だ読み込んでいない１フレーム分のデータの読み出しを省略する。一方，当該遅延量が下限に達した場合には，フレーム単位のリピート動作を行って，既に読み込んだ１フレーム分のデータの再読み出しを行う。以上により，非同期フレームメモリとして安価かつ大容量のフレームメモリを用いて，ビデオ信号をフレーム単位で同期化できる。
【００１５】
さらに，上記同期フレームメモリは，ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である，如く構成すれば，安価かつ大容量の同期フレームメモリを提供できる。
【００１６】
また，上記同期メモリ装置は，同期ライト動作のライトアドレスおよび同期リード動作のリードアドレスを１フレーム毎に変化できる，如く構成すれば，非同期メモリ装置は，上記ジャンプまたはリピート動作を好適に行うことができる。また，１つの同期フレームメモリに複数フレームのデータを保存しても，アドレス制御が可能になる。
【００１７】
また，上記画像音声同期化装置は，さらに，入力されたビデオ信号から，音声信号（音声データ）を分離する音声信号分離部と；分離された音声信号を基準同期信号に基づいて標本化周波数変換する標本化周波数変換部と；同期メモリ装置から出力されたビデオ信号に，標本化周波数変換された音声信号を混合する音声信号混合部と；を有する音声分離処理装置を備える，如く構成すれば，非同期メモリ装置に入力される前の音声信号を分離して，非同期標本化周波数変換して，同期化された元のビデオ信号に混合できる。このため，音声信号を独立して標本化周波数変換して基準同期信号に同期化できるので，ジャンプ・リピート動作によって音声データが不連続とならない。従って，ビデオ信号の同期化に伴う雑音を低減できる。
【００１８】
また，上記音声分離処理装置は，さらに，周波数変換された音声信号を基準同期信号に基づいて遅延させる音声信号遅延部を備える，如く構成すれば，音声信号遅延部は，ビデオ信号用の基準クロックで動作し，音声信号の遅延量を独立して調整できる。このため，同期化されたビデオ信号と，これに混合される音声信号とを同期できる。
【００１９】
さらに，上記音声信号遅延部は，遅延調整前の音声信号と遅延調整後の音声信号をクロスフェード処理するクロスフェード処理部を有する，如く構成すれば，クロスフェード処理部は，遅延調整後の音声信号をフェードインさせながら，遅延調整前の音声信号をフェードアウトできる。このため，音声信号遅延部が音声信号を遅延時間調整する際に生ずる音声データの不連続性を低減し，雑音を抑制できる。
【００２０】
また，上記音声分離処理装置は，さらに，外部音声信号が入力される外部音声入力部と；外部音声信号と分離された音声信号のいずれかを標本化周波数変換部に入力する音声信号セレクタと；を備える，如く構成すれば，ビデオ信号から分離した音声信号の代わりに，外部音声信号を標本化周波数変換処理した上で，ビデオ信号に好適に混合することができる。
【００２１】
また，上記画像音声同期化装置は，非同期メモリ装置から出力されたビデオ信号を取り出すことができる，如く構成すれば，画像音声同期化装置はライン同期化装置として機能することもできる。また，入力同期信号を画像音声同期化装置全体に適用することにより固定遅延器を提供できる。さらに，非同期メモリ装置と同期メモリ装置を組み合わせることによりライン同期化機能を伴った遅延器を提供できる。
【００２２】
また，画像音声同期化装置は，出力するビデオ信号の不正値処理を行う出力信号処理部を有してもよい。また，不連続に切り替えられたビデオ信号が入力された場合には，音声分離処理装置は，音声信号として無音データを送出するようにしてもよい。これらにより，音声信号が一旦消失し，再び出現するなど，データ不連続がなくなり，後続機器における絵乱れや雑音の発生を防止できる。
【００２３】
【発明の実施の形態】
以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。
【００２４】
（第１の実施の形態）
まず，本発明の第１の実施形態にかかる画像音声同期化装置について説明する。
【００２５】
本実施形態にかかる画像音声同期化装置は，例えば，映画・ＴＶ番組制作プロダクション，ＴＶ放送局などに設置されるフレームシンクロナイザなどの同期化装置である。この画像音声同期化装置は，例えば外部のＶＴＲやテレビカメラ等の機器から入力された異種同期（入力同期信号）のビデオ信号をメモリ装置に書き込み，このビデオ信号データを基準同期（基準同期信号）によって読み出すことで，フレーム同期を一致させ，出力する画像の乱れを防止する機能を有する。
【００２６】
任意位相で入力されたビデオ信号に対して上記のようなフレーム同期化を実現するためには，▲１▼ピクセルクロック単位（画素単位）での同期化，▲２▼ライン単位（Ｈ単位）での水平同期化，▲３▼フレーム単位（Ｖ単位）での垂直同期化，という３種の同期化動作を全て満足している必要がある。かかるフレーム同期化を好適に実現すべく，本実施形態にかかる画像音声同期化装置は，以下のように構成されている。
【００２７】
まず，図１に基づいて，本実施形態にかかる画像音声同期化装置の全体構成について説明する。なお，図１は，本実施形態にかかる画像音声同期化装置１０の全体構成を示すブロック図である。
【００２８】
図１に示すように，画像音声同期化装置１０は，ビデオ信号が入力される入力部２０と，ビデオ信号の同期化を行うフレームシンクロナイザ部３０と，同期化されたビデオ信号に所定の処理を施して出力する出力部４０と，から構成される。以下に各部について分説する。
【００２９】
＜入力部＞
入力部２０は，ビデオ信号をシリアル・パラレル変換するデシリアライザ２２と，ＳＤＩ入力信号のエラーや信号状況を検出する検出部２４とを有する。
【００３０】
デシリアライザ２２は，外部機器から入力されたＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）フォーマットのビデオ信号（以下では，単にビデオ信号という。）を，シリアル・パラレル変換して，検出部２４に出力する。
【００３１】
検出部２４は，信号ディテクタであり，入力されたビデオ信号が，適切に入力されているか，不連続となっていないか，不正データ，異常値などのエラーが含まれていないかを検出する。エラー信号を検出した場合には，後続の例えば同期メモリ装置７０などにエラー検出信号２５を送信する。但し検出の基準は使用する装置に応じて異なっている場合もある。
【００３２】
ここで，図２に基づいて，本実施形態で同期化処理するビデオ信号の伝送フォーマットとして，例えばＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ，Ｉｎｃ）規格のＨＤＴＶ用ＳＤＩフォーマットについて説明する。なお，図２は，ＳＭＰＴＥ規格のＨＤＴＶ用ＳＤＩフォーマットの例を模式的に示す説明図である。
【００３３】
図２に示すように，画像データが含まれる有効映像領域以外の水平ブランキング期間には，ＥＡＶ（Ｅｎｄ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ），ＬＮ（Ｌｉｎｅ Ｎｕｍｂｅｒ），ＣＲＣＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ Ｃｏｄｅ），補助データ領域，ＳＡＶ（Ｓｔａｒｔ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ）などがある。
【００３４】
ＥＡＶとＳＡＶは，映像データには存在しない値で構成される，同期信号（３ＦＦ，０００など）と，奇／偶数フィールドや垂直ブランキングなどの状態を表す信号（ＸＹＺ）とからなり，ＴＲＳ（Ｔｉｍｅ Ｒｅｆｅｒｅｎｃｅ Ｓｉｇｎａｌ）を構成する。また，ＬＮはライン番号であり，ＣＲＣＣは誤り検出符号である。また，補助データ領域（垂直ブランキング期間の補助データ領域も含む。）には，音声データなどの補助データが多重可能である。なお，ＴＲＳ以外の水平ブランキング期間をアンシラリ領域と称する。
【００３５】
＜フレームシンクロナイザ部＞
図１に示すフレームシンクロナイザ部３０は，ピクセルクロック単位およびライン単位での同期化（上記▲１▼および▲２▼の同期化）を行う非同期メモリ装置５０と，ビデオ信号をライン単位で調整するライン調整装置６０と，フレーム単位での同期化（上記▲３▼の同期化）を行う同期メモリ装置７０とからなる。かかるフレームシンクロナイザ部３０は，本実施形態にかかる画像音声同期化装置１０の大きな特徴部であり，詳細については後述する。
【００３６】
＜出力部＞
出力部４０は，同期化されたビデオ信号の処理を行う出力信号処理部４２と，ビデオ信号をパラレル・シリアル変換して外部機器に出力するシリアライザ４４とを有する。なお，出力信号処理部４２の動作の詳細については，後述する。
【００３７】
以上のような構成の画像音声同期化装置１０において，非同期メモリ装置５０を境に入力側の各部は，入力ビデオ信号基準クロックに基づいて動作している。一方，非同期メモリ装置５０を境に出力側の各部は，リファレンスビデオ信号基準クロックに基づいて動作している。
【００３８】
なお，入力ビデオ信号基準クロック（以下では，入力クロックという。）は，例えば入力部２０などに設けられた入力クロック発生器（図示せず。）が，入力されたビデオ信号に含まれる入力同期信号に基づいて生成したクロックである。また，リファレンスビデオ信号基準クロック（以下では，基準クロックという。）は，基準クロック発生器（図示せず。）が，基準同期信号（リファレンス信号）に基づいて生成したクロックである。以下の説明では，画像音声同期化装置１０の各部に上記のようなクロックが適宜入力されているものとし，クロック信号を伝送する信号線などの図示は省略する。
【００３９】
次に，図３に基づいて，本実施形態にかかる非同期メモリ装置の構成について説明する。なお，図３は，本実施形態にかかる非同期メモリ装置５０の構成を示すブロック図である。
【００４０】
非同期メモリ装置５０は，上記のように，入力されたビデオ信号をピクセルクロック単位およびライン単位（Ｈ単位）で同期化する機能を有するライン同期化装置である。この非同期メモリ装置５０は，図３に示すように，非同期ラインメモリ５２と，非同期ライト制御部５４と，非同期リード制御部５６と，リセットタイミング比較器５７と，遅延回路５８と，出力セレクタ５９とを有する。
【００４１】
まず，非同期ラインメモリ５２について詳細に説明する。非同期ラインメモリ５２は，例えばＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ Ｆｉｒｓｔ−Ｏｕｔ）メモリで構成される。このＦＩＦＯメモリは，ビデオ信号の書き込み動作と読み出し動作を独立して非同期に行うことができるデュアルポートのデジタルラインメモリである。
【００４２】
この非同期ラインメモリ５２は，入力部２０から入力されたビデオ信号を入力同期信号に基づいて書き込む動作（以下では，非同期ライト動作という。）と，書き込まれたビデオ信号を入力同期信号に基づいて読み出す動作（以下では，非同期リード動作という。）を行うことができる。かかる非同期ラインメモリ５２は，かかる非同期ライト動作および非同期リード動作のアドレス制御方法が，例えば，ライトリセット信号ＷＲまたはリードリセット信号ＲＲによるライン単位のリセットのみで実現しているメモリである。より詳細には，非同期ラインメモリ５２は，内蔵されたアドレスカウンタで入力クロック数または基準クロック数をカウントしており，このカウント数に応じて例えば０からライトアドレスまたはリードアドレスを順次増加させながら，データの書き込みまたは読み出しを行っていく。そして，ライトリセット信号またはリードリセット信号が入力されると，ライトアドレスまたはリードアドレスをリセットして０に戻し，再び最初から非同期ライト動作または非同期リード動作を行っていくという構成である。このためアドレス制御が簡単であるとともに，非同期リード動作及び非同期ライト動作を非同期で同時並行して行うことができる。
【００４３】
かかる非同期ラインメモリ５２の容量は，例えば，「ビデオ信号の画像データの１ライン分」＋「１フレーム当たりのクロック誤差分」である。即ち，かかる容量は，画像データ１ライン分に，例えばクロック発生器の水晶振動子が発生するクロックにおける１フレーム当たりのクロック数の誤差分（即ち，画素数のずれ）を吸収できるだけの余分な大きさを加えた容量である。
【００４４】
ここで，かかるクロック数差分を具体的に算出する。例えば，ＳＭＰＴＥ規格のＳＤＩビデオ信号を同期化する場合，ＳＭＰＴＥ規格により機器の精度が定められているため，この制約を利用して，１フレーム当たりに吸収すべき入出力信号間のクロック数差分を算出できる。即ち，最大となるクロック数差分Ｘは，機器マスタークロックの精度を１フレーム当たりに換算することで算出できる。よって，マスタークロック精度Ａ，フレームレート（フレーム周波数）をＶ，マスタークロック周波数をＦとすると，
Ｘ＝Ａ×Ｆ／Ｖ
と表すことができる。
【００４５】
実際的な数値として，例えば，１０８０／５９ｉフォーマットでは，Ａ＝１００×１０＾（‐６），Ｆ＝７４．２５×１０＾（６）／１．００１［Ｈｚ］，Ｖ＝２９．９７［Ｈｚ］としてクロック数差分Ｘを算出すると，Ｘ＝２４８程度の値となる。
【００４６】
従って，非同期ラインメモリ５２の容量は，１ライン分の容量に，例えば２４８画素分以上のデータを保存可能な容量を加えた程度とすればよい。かかる例えば２４８画素分以上のデータを保存可能な容量は例えば１ライン分の１／１０程度と小さいので，非同期ラインメモリ５２の容量は，ほぼ１ライン分の容量に等しい。従って，非同期ラインメモリ５２に用いるＦＩＦＯメモリとしては，現実に存する比較的安価な製品を適用することができる。
【００４７】
また，図３に示す非同期ライト制御部５４は，入力されたビデオ信号を上記非同期ラインメモリ５２に書き込む非同期ライト動作を制御する機能を有する。より詳細には，非同期ライト制御部５４は，例えばタイミングジェネレータおよびＴＲＳ検出器（図示せず。）などを具備しており，入力されたビデオ信号のＴＲＳに含まれる水平垂直同期信号を検出して，入力クロックに基づくライン単位のライトリセット信号ＷＲを生成する。さらに，非同期ライト制御部５４は，かかるライトリセット信号ＷＲと，書き込み動作を許可するライトイネーブル信号（図示せず。）を非同期ラインメモリ５２に出力して，非同期ライト動作のライトアドレス，書き込みの可・不可などを制御する。
【００４８】
非同期リード制御部５６は，上記非同期ラインメモリ５２に書き込まれたビデオ信号データを読み出す非同期リード動作を制御する機能を有する。非同期リード制御部５６には，タイミングジェネレータ（図示せず。）によって基準同期信号に基づいて生成されたライン単位の基準リードリセット信号と，この基準リードリセット信号のタイミングを所定時間だけ早めた調整リードリセット信号とが入力されている。
【００４９】
この非同期リード制御部５６は，例えば内蔵したセレクタ５５により基準リードリセット信号と調整リードリセット信号を切り替えて出力可能である。この非同期リード制御部５６は，かかる２つのリードリセット信号ＲＲのいずれかと，読み込み動作を許可するリードイネーブル信号（図示せず。）を非同期ラインメモリ５２に出力して，非同期ライト動作のライトアドレス，読み込みの可・不可などを制御する。
【００５０】
リセットタイミング比較器５７は，上記のライトリセット信号ＷＲと例えば基準リードリセット信号とのタイミング差を比較して，非同期ラインメモリ５２のライトアドレスとリードアドレスの接近具合を監視する機能を有する。このリセットタイミング比較器５７は，検出結果であるアドレス比較信号ＡＣを上記非同期リード制御部５６に送信する。非同期リード制御部５６は，かかるアドレス比較信号ＡＣに基づいて，基準リードリセット信号と調整リードリセット信号のいずれを送出するかを判断して，セレクタ５５を切り替える。
【００５１】
遅延回路５８は，非同期ラインメモリ５２から出力されたビデオ信号を所定量Ｍだけ追加して遅延させる機能を有する。この追加遅延量Ｍは，上記基準リードリセット信号と調整リードリセット信号との時間差に相当する遅延量となるように決定され，例えば，上記クロック数差Ｘの例えば２倍（Ｍ＝２Ｘ）に設定されている。
【００５２】
出力セレクタ５９は，非同期ラインメモリ５２から出力されたビデオ信号と，上記遅延回路５８を通過して追加遅延量Ｍだけ遅延されたビデオ信号とを切り替えて，後続のライン調整装置６０に出力する。
【００５３】
次に，上記のような構成の非同期メモリ装置５０の動作について説明する。
【００５４】
まず，入力部２０からのビデオ信号は，非同期ラインメモリ５２に入力され，指定されたライトアドレスに順次書き込まれていく。このライトアドレスは，カウントされた入力クロック数に応じて，例えば徐々に増加するように指定されている。また，入力ビデオ信号は非同期ライト制御部５４にも入力されており，非同期ライト制御部５４は，かかる入力ビデオ信号の水平同期信号に基づいてライトリセット信号を生成し，随時非同期ラインメモリ５２に送信する。これにより，ライトアドレスが所定周期（即ち，ライン単位）でリセットされるので，非同期ラインメモリ５２に書き込まれるビデオ信号は，ライン単位で更新されていく。
【００５５】
一方，このような非同期ライト動作と同時並行して，非同期リード動作が基準クロックに基づいて行われる。即ち，非同期ラインメモリ５２は，非同期リード制御部５６からのリードリセット信号に基づいてリードアドレスをリセットしながら，書き込まれているビデオ信号データをライン単位で順次読み出していく。
【００５６】
かかる動作により，ライトアドレスとリードアドレスが接近しすぎない範囲では，エラーが発生することなくビデオ信号を好適に読み出せるので，ビデオ信号をピクセルクロック単位およびライン単位で同期化することができる。
【００５７】
ところが，非同期リード動作と非同期ライト動作の速度差によって，リードアドレスとライトアドレスが次第に接近し，アドレス通過（即ち，リードアドレスがライトアドレスを追い越す，またはその逆の場合）が起こる場合がある。この場合には，オーバーラン／アンダーランエラーが発生し，出力画像上のノイズや，ＴＲＳ部分のデータを破壊したときには後続機器で大きな絵乱れを引き起こす原因となってしまう。このため，非同期リード制御部５６は，上記アドレス通過を防止するよう，非同期リード動作を好適に制御する必要がある。
【００５８】
ここで，本実施形態にかかる非同期リード動作の制御について詳細に説明する。なお，以下では，非同期リード動作が非同期ライト動作より遅い場合と，非同期リード動作が非同期ライト動作より早い場合に分けて説明する。
【００５９】
まず，図４および図５に基づいて，非同期リード動作が非同期ライト動作より遅い場合における，非同期リード動作の制御について説明する。なお，図４は，本実施形態にかかる非同期リード動作が非同期ライト動作より遅い場合における，非同期リード動作の動作フローを示すフローチャートである。また，図５は，本実施形態にかかる非同期リード動作が非同期ライト動作より遅い場合における，非同期ライト動作に対する非同期リード動作の遅延量の時間変化を示すグラフ図である。
【００６０】
なお，図５において，Ｐはビデオ信号における１ライン当たりのピクセル数であり，Ｍは追加遅延量（Ｍ＝２Ｘ）である。また，グラフの実線は非同期メモリ装置５０の出力部分での遅延量（以下では出力遅延量という。）であり，破線は非同期ラインメモリ５２の出力部分（即ち，遅延回路５８を通過する前）での遅延量（以下ではメモリ遅延量という。）である。
【００６１】
図４に示すように，まず，ステップＳ１０では，リセットタイミング比較器５７が，例えば１フレームに１度の，書き込み側ライトリセット信号と基準リードリセット信号のタイミング比較を行う点まで待つ。（ステップＳ１０）。リセットタイミング比較器５７は，ライトリセット信号と基準リードリセット信号のタイミング比較を行うことで，ライトアドレスとリードアドレスの接近具合を比較し，検出結果であるアドレス比較信号ＡＣを非同期リード制御部５６に送信することができる。かかるリセットタイミング比較器５７による両アドレスの接近具合の比較は，例えば１フレーム毎に上記リセットタイミング比較点で行うため，それまでは待機する。
【００６２】
次いで，ステップＳ２０では，リセットタイミング比較器５７が，リセットタイミング比較点でのライトアドレスとリードアドレスの接近具合を判定する（ステップＳ２０）。待機していたリセットタイミング比較器５７は，リセットタイミング比較点に至った時点で，両アドレスの接近具合を判定し，判定結果を非同期リード制御部５６に送信する。
【００６３】
本動作フローでは，非同期リード動作が非同期ライト動作より遅いので，リードアドレスがライトアドレスから徐々に離れていき，メモリ遅延量が徐々に増加していくこととなる。これが進行し，図５でメモリ遅延量がＰ−（Ｍ／２）に達したとき（Ｂ時点）には，ライトアドレスに対するリードアドレスの差がＰ−Ｘにまで増大したことになる。即ち，リードアドレスとライトアドレスがクロック数差Ｘの範囲内にまで接近した状態となる。かかる状態で，リセットタイミング比較器５７が，リードアドレスとライトアドレスがＸ内に接近していると判定した場合（即ち，Ｂ〜Ｃの期間）には，ステップＳ４０に進む。一方，双方が所定範囲Ｘ内に接近していないと判定した場合（即ち，Ａ〜Ｂの期間）には，ステップＳ３０に進む。
【００６４】
次いで，ステップＳ３０では，基準リードリセット信号と，遅延回路５８を経由しない信号経路が選択される。（ステップＳ３０）。ステップＳ２０でライトアドレスとリードアドレスが所定範囲Ｘ内に接近していないと判定された場合，非同期リード制御部５６は，非同期ラインメモリ５２に送信するリードリセット信号ＲＲとして基準リードリセット信号を選択する。また，非同期ラインメモリ５２の出力の信号経路としては，遅延回路５８を経由せず直接後続回路に出力される信号経路が選択される。
【００６５】
一方，ステップＳ４０では，調整リードリセット信号と，遅延回路５８を経由する信号経路が選択される。（ステップＳ４０）。ステップＳ２０でライトアドレスとリードアドレスが所定範囲Ｘ内に接近していると判定された場合，非同期リード制御部５６は，非同期ラインメモリ５２に送信するリードリセット信号ＲＲとして調整リードリセット信号を選択する。また，非同期ラインメモリ５２の出力の信号経路としては，遅延回路５８を経由した上で後続回路に出力される信号経路が選択される。
【００６６】
その後，ステップＳ５０では，必要に応じてライン単位のジャンプ操作が行われる（ステップＳ５０）。例えば，図５で出力遅延量がＰ＋（Ｍ／２）に達したとき（Ｃ時点）では，調整リードリセット信号を用いたとしてもリードアドレスとライトアドレスがＸ内に接近してしまう。この場合には，非同期メモリ制御部５６は，メモリ遅延量が限界に達したと判断し，後段回路の動作のためにラインジャンプの操作を行い，１ライン分の読み出しを諦めて次のラインを読み出すようにする。これにより，メモリ遅延量と出力遅延量は大幅に減少し，ともにＭ／２となり，双方のアドレスの接近具合に余裕が生まれる。
【００６７】
次いで，ステップＳ６０では，選択されたリードリセット信号ＲＲと信号経路で，例えば１フレーム期間，非同期ラインメモリ５２のビデオ信号が読み出される（ステップＳ６０）。上記ステップＳ３０で基準リードリセット信号と遅延回路５８を経由しない信号経路が選択された場合には，非同期ラインメモリ５２は，基準リードリセット信号のリセットタイミングで，例えば１フレーム期間にわたりビデオ信号データをライン単位で読み出す。このようにして読み出されたビデオ信号は，遅延回路５８を介さないものが出力される。
【００６８】
一方，上記ステップＳ４０で調整リードリセット信号と遅延回路５８を経由する信号経路が選択された場合には，非同期ラインメモリ５２は，調整リードリセット信号のリセットタイミングで，例えば１フレーム期間にわたりビデオ信号データをライン単位で読み出す。このように非同期ラインメモリ５２から読み出されたビデオ信号は，遅延回路５８に入力され，読み出しタイミングを早めた分に相当する遅延量Ｍだけ遅延させる。このため，図５の実線と破線で示すように，出力遅延量がメモリ遅延量よりＭだけ大きくなる。これにより，基準リセット信号より早いタイミングの調整リードリセット信号に基づいてビデオ信号データを読み出したことに伴う，水平同期信号とのタイミングのずれを調整できる。
【００６９】
なお，この調整リードリセット信号は，基準リードリセット信号よりリード動作のタイミングがＭ＝２Ｘだけ早められており，また，１フレーム期間では非同期ライト動作と非同期リード動作の遅延量は最大でもＸである。従って，基準リードリセット信号から調整リードリセット信号に切り替えてリセットタイミングを早めた場合，次の１フレーム期間内にはアドレス通過が発生しないことが保証される。
【００７０】
以上までのステップにより，非同期リード動作が非同期ライト動作より遅い場合における，１フレーム分の非同期リード動作が完了する。その後は，再びステップＳ１０に戻り，上記と同様にして次のフレームの非同期リード動作を行う。このような非同期リード動作を繰り返して，基準クロックに基づいてビデオ信号を読み出し，必要に応じてジャンプ動作を複数回行うことで，ピクセルクロック単位およびライン単位でのライン同期化を実現できる。
【００７１】
次に，図６および図７に基づいて，非同期リード動作が非同期ライト動作より早い場合における，非同期リード動作について説明する。なお，図６は，本実施形態にかかる非同期リード動作が非同期ライト動作より早い場合における，非同期リード動作の動作フローを示すフローチャートである。また，図７は，本実施形態にかかる非同期リード動作が非同期ライト動作より早い場合における，非同期ライト動作に対する非同期リード動作の遅延量の時間変化を示すグラフ図である。なお，図７に示すＰ，Ｍ，実線，破線などの意味は，上記図５の場合と同様である。
【００７２】
図６に示すように，まず，ステップＳ１１０では，リセットタイミング比較器５７が，例えば１フレームに１度の，書き込み側ライトリセット信号と基準リードリセット信号のタイミング比較を行う点まで待つ。（ステップＳ１１０）。本ステップは，上記ステップＳ１０と略同一であるので説明を省略する。
【００７３】
次いで，ステップＳ１２０では，リセットタイミング比較器５７がライトアドレスとリードアドレスの接近具合を判定する（ステップＳ１２０）。待機していたリセットタイミング比較器５７は，リセットタイミング比較点に至った時点で，両アドレスの接近具合を判定し，判定結果を非同期リード制御部５６に送信する。
【００７４】
本動作フローでは，非同期リード動作が非同期ライト動作より早いので，リードアドレスがライトアドレスに徐々に近づいていき，メモリ遅延量が徐々に減少していくこととなる。これが進行し，図７でメモリ遅延量がＭ／２に達したとき（Ｅ時点）には，ライトアドレスに対するリードアドレスの差がＸにまで減少したことになる。即ち，リードアドレスとライトアドレスがクロック数差Ｘの範囲内にまで接近した状態となる。かかる状態で，リセットタイミング比較器５７が，リードアドレスとライトアドレスがＸ内に接近していると判定した場合（即ち，Ｅ〜Ｆの期間）には，ステップＳ１４０に進む。一方，双方が所定範囲Ｘ内に接近していないと判定した場合（即ち，Ｄ〜Ｅの期間）には，ステップＳ１３０に進む。
【００７５】
次いで，ステップＳ１３０では，基準リードリセット信号と，遅延回路５８を経由しない信号経路が選択される。（ステップＳ１３０）。本ステップは，上記ステップＳ１３０と略同一であるので説明を省略する。
【００７６】
一方，ステップＳ１４０では，調整リードリセット信号と，遅延回路５８を経由する信号経路が選択される。（ステップＳ１４０）。本ステップは，上記ステップＳ１４０と略同一であるので説明を省略する。
【００７７】
その後，ステップＳ１５０では，必要に応じてライン単位のリピート操作が行われる（ステップＳ１５０）。例えば，図７で出力遅延量がＭ／２に達したとき（Ｅ時点）には，非同期メモリ制御部５６は，メモリ遅延量が限界に達したと判断し，後段回路の動作のためにラインリピートの操作を行い，１度読み出した同一のラインを再び読み出し始めるようにする。これにより，メモリ遅延量と出力遅延量は大幅に増大し，双方のアドレスの接近具合に余裕が生まれる。
【００７８】
次いで，ステップＳ１６０では，選択されたリードリセット信号ＲＲと信号経路で，例えば１フレーム期間，非同期ラインメモリ５２のビデオ信号が読み出される（ステップＳ１６０）。本ステップは，上記のステップＳ６０と略同一であるので，説明を省略する。
【００７９】
以上までのステップにより，非同期リード動作が非同期ライト動作より早い場合における，１フレーム分の非同期リード動作が完了する。その後は，再びステップＳ１１０に戻り，上記と同様にして次のフレームの非同期リード動作を行う。このような非同期リード動作を繰り返して，基準クロックに基づいてビデオ信号を読み出し，必要に応じてリピート動作を複数回行うことで，ピクセルクロック単位およびライン単位でのライン同期化を実現できる。
【００８０】
次に，図８に基づいて，非同期メモリ装置でライン同期化されたビデオ信号の状態について説明する。なお，図８は，本実施形態にかかる非同期メモリ装置５０が出力したビデオ信号の状態を示す説明図である。
【００８１】
ジャンプおよびリピート動作を行わなかった場合では，図８（ａ）に示すように，ビデオ信号が，ライン＃１，ライン＃２，ライン＃３‥というように非同期ラインメモリ５２に書き込まれた順序通りに，ライン単位で出力される。
【００８２】
また，非同期リード動作が非同期ライト動作より遅いため，ジャンプ動作を行った場合には，例えば，図８（ｂ）に示すように，ライン＃１，ライン＃３，ライン＃４‥というように，ライン＃２が抜けた状態で出力される。
【００８３】
さらに，非同期リード動作が非同期ライト動作より早いため，リピート動作を行った場合には，例えば，図８（ｃ）に示すように，ライン＃１，ライン＃２，ライン＃２，ライン＃３‥というように，ライン＃２が繰り返された状態で出力される。
【００８４】
このように，ジャンプまたはリピート動作を行った場合には，非同期メモリ装置５０に入力されたビデオ信号と，非同期メモリ装置５０から出力されたビデオ信号との間で，ライン数が変化する。従って，非同期メモリ装置５０の上記動作によって，例えば１ライン分のデータを傷つけることになるが，有効映像領域外で切替操作を行えば有効画像に関しては問題ない。以上のようにして，非同期メモリ装置５０は，容量の比較的小さいＦＩＦＯメモリを利用して，入力同期信号に従って入力されたビデオ信号を，Ｖ単位を除く，ピクセルクロック単位およびＨ単位での基準同期信号に同期化した上で出力することができる。
【００８５】
次に，図９に基づいて，本実施形態にかかるライン調整装置および同期メモリ装置の構成について説明する。なお，図９は，本実施形態にかかるライン調整装置６０および同期メモリ装置７０の構成を示すブロック図である。
【００８６】
図９に示すように，ライン調整装置６０は，例えば複数の同期ラインメモリ６２−１，６２−２，‥６２−Ｌ（以下では，同期ラインメモリ６２という場合もある。）と，マルチプレクサ６４とを有する。
【００８７】
同期ラインメモリ６２は，例えばＦＩＦＯメモリなどからなるラインメモリ群であり，各々がビデオ信号の少なくとも１ライン分のデータを記憶できる容量を有する。かかる複数の同期ラインメモリ６２は，例えば直列的に接続されており，各々の出力をマルチプレクサ６４に出力可能な構成となっている。なお，かかる同期ラインメモリ６２は，上記のように複数具備されなくともよく，例えば，同期ラインメモリ６２−１だけといったように，１つだけ設けられてもよい。
【００８８】
マルチプレクサ６４は，非同期メモリ装置５０の出力したビデオ信号と，複数の同期ラインメモリ６２から入力された各ビデオ信号とを切り替えて出力できるスイッチ装置である。
【００８９】
かかる構成により，ライン調整装置６０は，非同期メモリ装置５０の出力したビデオ信号をライン単位で遅延して出力するライン遅延器として機能する。さらに，このライン調整装置６０は，非同期メモリ装置５０が出力したままの状態の遅延されていないビデオ信号と，１または２以上ライン分遅延させたビデオ信号とを，マルチプレクサ６４によって切り替えて出力できるので，同期メモリ装置７０に出力するビデオ信号の配列をライン単位で調整することができる。例えば，当初は，非同期メモリ装置５０の出力したビデオ信号を直接出力し，所定のタイミングからは，同期ラインメモリ６２−１を用いて例えば１ライン遅延させたビデオ信号を出力することができる。なお，かかるライン調整装置６０は，例えば，上記の非同期メモリ装置５０または後述する同期メモリ装置７０などの一部として構成してもよい。
【００９０】
また，同期メモリ装置７０は，ライン調整装置６０から出力されたビデオ信号をＶ単位で同期化する機能を有しており，図９に示すように，複数の同期フレームメモリ７２−１，７２−２，‥７２−Ｍ（以下では，同期フレームメモリ７２という場合もある。）と，同期ライト制御部７４と，同期リード制御部７６と，マルチプレクサ７８と，緊急用画像メモリ７９と，を有する。
【００９１】
同期フレームメモリ７２は，例えばＳＤＲＡＭ（同期メモリ），ＳＲＡＭなどからなるフレームメモリ群であり，各々が少なくともビデオ信号の１フレーム分のデータを記憶できる容量を有している。この複数の同期フレームメモリ７２は，相互に例えば並列的に接続されており，ライン調整装置６０から入力されたビデオ信号を，分割して記憶することができる。また，かかる同期フレームメモリ７２は，例えば１ポートであり，リード動作とライト動作を同時並行して独立に行うことができないので，少なくとも２つ以上を組合せて２重バッファ以上とする必要がある。
【００９２】
同期ライト制御部７４は，ライン調整装置６０から入力されたビデオ信号を，基準水平同期信号に基づいて上記複数の同期フレームメモリ７２にライン単位で交互に書き込む同期ライト動作を制御する機能を有する。この同期ライト制御部７４は，基準クロックに基づいて動作し，入力されたビデオ信号を書き込む同期フレームメモリ７２およびそのライトアドレスを指定する。この際，ライン単位で異なる同期フレームメモリ７２に交互に書き込むよう制御する。例えば，まず，先頭のライン＃１を同期フレームメモリ７２−１に書き込み，次いで，次のライン＃２を別の同期フレームメモリ７２−２に書き込み，さらに，次のライン＃３を別の同期フレームメモリ７２−３に書き込むといったように，ライトアドレスを指定する。
【００９３】
同期リード制御部７６は，同期フレームメモリ７２に書き込まれたビデオ信号を，基準水平同期信号に基づいてライン単位で交互に読み出す同期リード動作を制御する機能を有する。この同期ライト制御部７４も，基準クロックに基づいて動作しており，ビデオ信号を読み出す同期フレームメモリ７２およびそのリードアドレスを指定する。この際，上記同期ライト制御部７４によって書き込み中の同期フレームメモリ７２以外の同期フレームメモリ７２から，ライン単位で交互に読み出すよう制御する。例えば，同期フレームメモリ７２−１が書き込み中の場合には，別の同期フレームメモリ７２−２から１ライン分読み出し，次いで，同期フレームメモリ７２−２に書き込み中の場合には，同期フレームメモリ７２−３から１ライン分読み出すといったように，リードアドレスを指定する。
【００９４】
また，かかる同期ライト制御部７４と同期リード制御部７６は，同期ライト動作に対する同期リード動作の遅延量に応じて，同期リード動作で読み出されるビデオ信号を，基準垂直同期信号に基づいてフレーム単位でジャンプまたはリピートするよう制御する機能も有する。
【００９５】
以上のように，１ライン分のビデオ信号を書き込むライト動作と，１ライン分のビデオ信号を読み出す同期リード動作とを，複数の同期フレームメモリ７２間で交互に行うことができるのは，同期メモリ装置７０に入力されるビデオ信号が上記非同期メモリ装置５０によってライン単位で同期化され，ライン長が揃ってているからである。なお，上記同期ライト動作，同期リード動作を好適に制御すべく，同期ライト制御部７４と同期リード制御部７６との間では，ライトおよびリードアドレス情報が交換されている。また，上記同期ライト制御部７４と同期リード制御部７６とは，必ずしも別体に構成される必要はなく，例えば１つの制御部で構成してもよい。
【００９６】
また，緊急用画像メモリ７９は，入力ビデオ信号としてエラー信号が入力された場合や上記各部での信号処理に支障があった場合などに，一時的に外部に対して出力する緊急用画像（例えば「しばらくお待ちください」というコメントを表示する画像など）が記憶されているメモリである。上記同期リード制御部７６は，検出部２４からエラー検出信号２５が入力された場合には，かかる緊急用画像を出力するよう制御する。
【００９７】
マルチプレクサ７８は，複数の同期フレームメモリ７２から読み出されたビデオ信号と，緊急用画像の信号と，非同期メモリ装置５０からの直接入力されたビデオ信号と，を切り替えて出力するスイッチ装置である。
【００９８】
次に，上記のような構成のライン調整装置６０および同期メモリ装置７０の動作について説明する。
【００９９】
まず，図１０に基づいて，本実施形態にかかるライン調整装置の動作について説明する。なお，図１０は，上記非同期メモリ装置５０でジャンプ動作またはリピート動作がなされた場合における，非同期メモリ装置５０の出力ビデオ信号（上段）と，ライン調整装置６０が遅延させたビデオ信号（２段目）と，当該ビデオ信号が２つの同期フレームメモリ７２−１，７２−２に書き込まれた状態（下２段）を示す説明図である。
【０１００】
上記の非同期メモリ装置５０から出力されビデオ信号は，ライン単位で同期化されているので，ライン単位でジャンプまたはリピートしていなければ，同期メモリ装置７０に直接入力してフレーム単位の同期化を行うことができる。しかし，実際には，非同期メモリ装置５０の出力は，上記のようにライン単位でジャンプまたはリピートする処理がなされる場合がある。例えば，図１０（ａ）に示す例では，ライン＃２がジャンプしており，図１０（ｂ）に示す例では，ライン＃２がリピートしている。このような場合には，非同期メモリ装置５０の出力はライン数が変化し配列が乱れているので，かかる出力を直接入力しても同期メモリ装置７０は好適に処理を行うことができない。
【０１０１】
例えば，同期メモリ装置７０において同期フレームメモリ７２−１（ｍｅｍ＃１）と同期フレームメモリ７２−２（ｍｅｍ＃２）を用いて，それぞれのフレームメモリにビデオ信号の奇数ライン，偶数ラインを書き込むように設定したとする。かかる設定下では，ジャンプ，リピートが発生した非同期メモリ装置５０の出力を同期メモリ装置７０に直接入力すると，奇数，偶数ラインが逆転して書き込まれてしまい，画像垂直ぶれなどの原因となる。また，同期メモリ装置７０での同期リード動作でかかるアドレスのズレを修正するのは容易ではない。
【０１０２】
そこで，ライン調整装置６０が，非同期メモリ装置５０が出力したビデオ信号と，これを例えば１ライン遅延させたビデオ信号とを好適なタイミングで切り替えて，同期メモリ装置７０に出力することにより，奇数ライン・偶数ラインと同期フレームメモリ７２−１・７２−２との関係を維持できる。
【０１０３】
具体的には，ジャンプが起こっている図１０（ａ）の例では，１および２ライン目は，非同期メモリ装置５０が出力したビデオ信号を出力し，３ライン目からは１ライン遅延させたビデオ信号を出力している。かかる動作により，同期フレームメモリ７２−１には，ライン＃１，ライン＃３，ライン＃５‥が書き込まれ，同期フレームメモリ７２−２には，ライン＃３，ライン＃４，ライン＃６‥が書き込まれる。これにより，奇偶関係を失い不規則となっているのは，同期フレームメモリ７２−２のライン＃３（ハッチングを施してあるライン）だけとなる。
【０１０４】
また，リピートが起こっている図１０（ｂ）の例では，１，２および３ライン目は，非同期メモリ装置５０が出力したビデオ信号を出力し，４ライン目からは１ライン遅延させたビデオ信号を出力している。かかる動作により，同期フレームメモリ７２−１には，ライン＃１，ライン＃２，ライン＃３，ライン＃５‥が書き込まれ，同期フレームメモリ７２−２には，ライン＃２，ライン＃２，ライン＃４，ライン＃６‥が書き込まれる。これにより，不規則となっているのは，同期フレームメモリ７２−１のライン＃２と同期フレームメモリ７２−２の１つめのライン＃２だけとなる。
【０１０５】
このようなライン調整装置６０のライン調整動作により，非同期メモリ装置５０によるジャンプ，リピート動作の弊害を低減して，画像の絵乱れ等を十分に防止できる。
【０１０６】
次に，図１１に基づいて，本実施形態にかかる同期メモリ装置の同期ライト動作及び同期リード動作について説明する。なお，図１１は，本実施形態にかかる同期メモリ装置７０が複数の同期フレームメモリ７２に同期ライト動作および同期リード動作を行うタイミングを示す説明図である。なお，図１１では，同期フレームメモリ７２の例として，（ａ）３つのＳＤＲＡＭを用いた場合，（ｂ）２つの高速動作可能なＳＤＲＡＭを用いた場合，（ｃ）２つのリフレッシュが不要なメモリを用いた場合，をそれぞれ示す。
【０１０７】
図１１に示すように，ライン調整装置６０から入力されたビデオ信号は，複数の同期フレームメモリ７２にライン毎に交互に順次書き込まれていくとともに，複数の同期フレームメモリ７２からライン毎に交互に順次読み出されている。この際，各ラインの書き込みと読み出しとを同一のタイミングで行うことができる。これは，上記非同期メモリ装置５０でビデオ信号がライン単位で同期化されているので，各ラインの時間長が揃っているからである。このため，同期メモリ装置７０におけるライトアドレスおよびリードアドレスの制御が非常に簡単になる。
【０１０８】
以下に，個々の場合についてより詳細に説明する。
【０１０９】
まず，図１１（ａ）に示すように，同期フレームメモリ７２としてＳＤＲＡＭを用いた場合には，安価かつ大容量のメモリを搭載できるというメリットがあるが，定期的にリフレッシュ動作を行わなければならない。このため，例えば少なくとも３つの同期フレームメモリ７２を設ける必要がある。これにより，各同期フレームメモリ７２では，例えば，同期ライト動作と同期リード動作の間に例えば毎回リフレッシュ動作を行いながら，同期ライト動作，同期リード動作が交互に行われる。
【０１１０】
具体的には，まず，最初の期間（即ち，水平同期期間）では，同期フレームメモリ７２−１（ｍｅｍ＃１）にライン＃１を書き込む。次いで，次の期間では，同期フレームメモリ７２−１にリフレッシュ動作を行うとともに，同期フレームメモリ７２−２（ｍｅｍ＃２）にライン＃２を書き込む。さらに，次の期間では，同期フレームメモリ７２−１からライン＃ｋを読み出し，同期フレームメモリ７２−２にリフレッシュ動作を行うとともに，同期フレームメモリ７２−３にライン＃３を書き込む。さらに，次の期間では，同期フレームメモリ７２−１にライン＃４を書き込み，同期フレームメモリ７２−２からライン＃ｋ＋１を読み出すとともに，同期フレームメモリ７２−３にリフレッシュ動作を行う。かかる動作を繰り返すことで，同期ライト動作と同期リード動作を同時並行して行うことができる。
【０１１１】
また，図１１（ｂ）に示すように，同期フレームメモリ７２として高速動作（例えば２倍速動作）可能なＳＤＲＡＭを用いた場合には，１つの期間で例えば２つの動作（例えばライト動作とリフレッシュ動作）を行うことができるので，同期フレームメモリ７２が２つで済む。
【０１１２】
具体的には，まず，最初の期間では，同期フレームメモリ７２−１にライン＃１を書き込んだ上でリフレッシュ動作を行う。次いで，次の期間では，同期フレームメモリ７２−１からライン＃Ｋを読み出すとともに，同期フレームメモリ７２−２にライン＃２を書き込んだ上でリフレッシュ動作を行う。さらに，次の期間では，同期フレームメモリ７２−１にライン＃３を書き込んだ上でリフレッシュ動作を行うとともに，同期フレームメモリ７２−２からライン＃ｋ＋１読み出す。かかる動作を繰り返すことで，同期ライト動作と同期リード動作を同時並行して行うことができる。
【０１１３】
また，図１１（ｃ）に示すように，同期フレームメモリ７２として例えば大容量のＳＲＡＭなどのリフレッシュが不要なメモリを用いた場合にも，同期フレームメモリ７２を例えば２つだけ設けることで動作可能となる。
【０１１４】
具体的には，まず，最初の期間では，同期フレームメモリ７２−１にライン＃１を書き込む。次いで，次の期間では，同期フレームメモリ７２−１からライン＃Ｋを読み出すとともに，同期フレームメモリ７２−２にライン＃２を書き込む。さらに，次の期間では，同期フレームメモリ７２−１にライン＃３を書き込むとともに，同期フレームメモリ７２−２からライン＃ｋ＋１読み出す。かかる動作を繰り返すことで，同期ライト動作と同期リード動作を同時並行して行うことができる。
【０１１５】
以上の例のようにして，同期メモリ装置７０は，同一の基準同期信号に基づいて，同一のタイミングで書き込んだり読み出したりしながら，同期ライト動作および同期リード動作を行うことができる。
【０１１６】
ところで，上記非同期メモリ装置５０のジャンプ・リピート動作により，同期メモリ装置７０に入力されるビデオ信号は，基準ビデオ信号と比べてライン数が増減している場合がある。即ち，入力されるライン数が多い場合には，同期リード動作でのリードアドレスが遅れていくため，同期フレームメモリ７２には読み出されていないラインが溜まっていってしまう。一方，入力されるライン数が少ない場合には，同期リード動作でのリードアドレスが早まっていくため，同期フレームメモリ７２には読み出すべきラインが足りなくなってしまう。
【０１１７】
このため，同期メモリ装置７０は，外部に対して出力するビデオ信号のフレーム数を調整する必要がある。そこで，同期リード動作制御部５４は，ライトアドレスとリードアドレスのずれ量に応じて，例えば基準垂直同期信号の入力時にリードアドレスを不連続にジャンプまたはリピートさせるよう制御する。これにより，出力するビデオ信号がフレーム単位でジャンプまたはリピートするので，フレーム単位（Ｖ単位）での同期化を好適に行うことができる。
【０１１８】
また，同期フレームメモリ７２が，ビデオ信号を例えば２フレーム以上記憶可能な容量を確保するよう構成してもよい。かかる構成により，例えば，大きなエラーが生じておりそのままの状態では出力することが好ましくない画像フレームデータが入力された場合であっても，その前に書き込まれている正常な画像フレームデータを再度出力することで，絵乱れを防止することができる。
【０１１９】
次に，図１に示した出力部４０の出力信号処理部４２の動作について説明する。
【０１２０】
出力信号処理部４２は，フレームシンクロナイザ部３０から入力されたビデオ信号において，例えばＴＲＳ，ＬＮおよびＣＲＣＣなどを画像データに基づいて生成する機能を有する。また，この出力信号処理部４２は出力するビデオ信号の有効映像領域または補助データ領域などにおける不正値処理を行うことができる。
【０１２１】
より詳細には，画像音声同期化装置１０に入力されるビデオ信号は，前段のラウティングスイッチなどで不連続に切り替えられることなどが原因で，ＴＲＳ等が傷つけられていることがある。傷ついたデータをそのまま出力すると，後段の機器で不具合を生ずる原因となる。そこで，出力信号処理部４２は，当該ビデオ信号内に含まれる不正値を検出した場合には，以下のような修正を行った上で出力する。
【０１２２】
まず，有効映像領域内の画像データについては，振幅リミッタ機能により，信号の振幅が通常の画像信号の有効範囲内に収まるように修正する。例えば，入力された画像信号の振幅が，上限値以上または下限値以下である場合には，入力された振幅値に代えて当該上限値または下限値を出力し，それ以外の場合にはそのままの振幅値で出力する。
【０１２３】
また，ＴＲＳ部分では，例えば全ての信号を透過的として，修正を行わない。
【０１２４】
また，アンシラリ領域では，０ｘ０００や０ｘ３ＦＦを検出した場合，単純にこれをリミットするのでなく，アンシラリパケットヘッダのときは０ｘ０００，０ｘ３ＦＦ，０ｘ３ＦＦのパタン値を透過的とし，他のパタン値の場合は置換して出力する。
【０１２５】
このような不正値処理により，上記ラウティングスイッチなどによる入力ビデオ信号の不連続な切替操作などで発生したデータの破損を補うことができる。これにより，後段機器の信号検出機構のミスを低減して，画像乱れなどのエラーを抑制することができる。
【０１２６】
以上説明したように，本実施形態にかかる画像音声同期化装置１０によれば，ＨＤＴＶ用途の大容量フレームデータを同期化する場合であっても，フレームメモリとして高価な大容量ＦＩＦＯメモリやＳＲＡＭなどを用いることなく，安価なＳＤＲＡＭなどで好適に同期化でき，装置のコストダウンが図れる。さらに，ＳＤＲＡＭを利用するなどして，メモリ関連部品を少数に削減できるので，機器の小型化，低消費電力化が図れ，環境負荷も低減できる。
【０１２７】
（第２の実施の形態）
次に，本発明の第２の実施形態にかかる画像音声同期化装置について説明する。第２の実施形態にかかる画像音声同期化装置は，上記第１の実施形態にかかる画像音声同期化装置と比して，音声分離処理装置が追加されている点で相違するのみであり，その他の機能構成は略同一であるので，その説明は省略する。
【０１２８】
まず，図１２に基づいて，本実施形態にかかる音声分離処理装置を備えた画像音声同期化装置の全体構成について説明する。なお，図１２は，本実施形態にかかる音声分離処理装置１００を備えた画像音声同期化装置１０の構成を示すブロック図である。
【０１２９】
図１２に示すように，画像音声同期化装置１０は，上記第１の実施形態と同様な入力部２０，フレームシンクロナイザ部３０および出力部４０に加え，本実施形態の特徴である音声分離処理装置１００を備える。なお，フレームシンクロナイザ部３０の出力は後述する音声信号混合部１１８を介して出力部４０に入力されている。また，入力部２０の検出部２４のエラー検出信号２５は，フレームシンクロナイザ部３０以外にも，音声信号混合部１１８およびゲイン調整部１１６などに入力されている。
【０１３０】
次に，図１２に基づいて，本実施形態にかかる音声分離処理装置の構成およびその動作について詳細に説明する。
【０１３１】
図１２に示すように，音声分離処理装置１００は，音声信号分離部１０２と，第１の周波数調整部１０４と，外部音声入力部１０６と，音声信号セレクタ１０８と，標本化周波数変換部１１０と，第２の周波数調整部１１２と，音声信号遅延部１１４と，ゲイン調整部１１６と，音声信号混合部１１８と，第３の周波数調整部１２０と，音声出力部１２２と，を有する。以下に，これら各部の機能構成及びその動作について詳細に説明する。
【０１３２】
音声信号分離部１０２は，入力部２０から入力されたビデオ信号から，音声信号（音声データ）を分離して取り出す機能を有する。これにより，非同期メモリ装置５０に入力される前の，入力同期信号に同期した音声信号が得られる。
【０１３３】
第１の周波数調整部１０４は，例えばＦＩＦＯメモリなどで構成され，音声信号分離部１０２から入力された音声信号を，ビデオ用のクロック（周波数）領域から，音声用のクロック領域に周波数変換する機能を有する。ここでいう，ビデオ用のクロックとは，入力されたビデオ信号のクロック（即ち，入力クロック）である。また，音声用のクロックとは，入力クロックに同期した音声用のクロック（以下では，入力音声クロックという。）である。なお，入力音声クロックはＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）により入力クロックに基づいて生成されている。上記のような第１の周波数調整部１０４の動作により，後述の標本化周波数変換部１１０が音声レベルでの音声信号の処理が可能になる。
【０１３４】
外部音声入力部１０６は，例えばデコーダであり，外部から上記のビデオ信号とは独立して入力された例えばＡＥＳ／ＥＢＵ（Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ／Ｅｕｒｏｐｅａｎ Ｂｒｏａｄｃａｓｔｉｎｇ Ｕｎｉｏｎ）フォーマットのデジタルオーディオ信号（以下では，単に外部音声信号という。）を復号する。
【０１３５】
音声信号セレクタ１０８は，第１の周波数調整部１０４から入力された音声信号と，外部音声入力部１０６から入力された外部音声信号を切り替えて，標本化周波数変換部１１０に出力するスイッチ装置である。
【０１３６】
標本化周波数変換部１１０は，入力音声クロックに従う音声信号を，基準クロックに同期した音声用のクロック（以下では，出力音声クロックという。）に従うよう，非同期標本化周波数（サンプリングレート）変換する機能を有する。なお，出力音声クロックはＰＬＬにより基準クロックに基づいて生成されている。かかる標本化周波数変換部１１０の非同期標本化周波数変換動作により，ジャンプ・リピート動作によりデータの連続性を乱すことなく，音声信号を基準クロックに同期させることができる。
【０１３７】
第２の周波数調整部１１２は，例えばＦＩＦＯメモリなどで構成され，標本化周波数変換部１１０から入力された音声信号を，出力音声クロック領域から，ビデオ用の基準クロック領域に周波数変換する機能を有する。かかる第２の周波数調整部１０４の動作により，音声信号の周波数がビデオ用の周波数に調整されるため，後続の各部がビデオ用の基準クロックに基づいて動作することができる。
【０１３８】
音声信号遅延部１１４は，音声信号を所定時間遅延させる機能を有する。即ち，音声信号遅延部１１４は，ビデオ信号とは別に，音声信号の遅延時間を独立して調整することができる。上記のように，ビデオ信号の画像データはフレームシンクロナイザ部３０で所定量遅延するので，かかる遅延量だけ音声信号を遅延させることにより，分離処理した音声データと画像データとのズレを補正することができる。
【０１３９】
ここで，図１３に基づいて，この音声信号遅延部１１４について，より詳細に説明する。なお，図１３は，音声信号遅延部１１４の構成を示すブロック図である。
【０１４０】
図１３に示すように，音声信号遅延部１１４は，音声遅延調整回路１３０と，クロスフェード処理部１３８とを有する。
【０１４１】
音声遅延調整回路１３０は，例えばＳＤＲＡＭ等のメモリ装置などからなり，入力された音声信号を画像データの遅延量に応じて遅延させることができる。この音声遅延調整回路１３０は，例えば２つの音声遅延回路１３１，１３２を備えることで，多様な遅延時間調整が可能になる。例えば音声遅延回路１３１から出力された遅延調整後の音声信号と，例えば音声遅延回路１３２から出力された遅延調整前の音声信号は，クロスフェード処理部１４０に入力される。
【０１４２】
なお，これら両音声遅延回路１３１，１３２は，ビデオクロック周波数で動作するメモリ装置を用いて実現しているので，データの読書きは連続的ではなく十分な休止期間がある。従って，図１３のように別個の遅延メモリを用いても実現できるし，一つのメモリを時分割し，等価的に２組の遅延回路があるように構成しても良い（図示は省略する）。
【０１４３】
クロスフェード処理部１４０は，調整前の音声信号をフェードアウトさせながら，調整後の音声信号をフェードインさせるクロスフェード処理を行う。より詳細には，例えば，遅延調整前の音声信号を（１−ｋ）倍する乗算器１４４と，遅延調整後の音声信号をｋ倍する乗算器１４２と，双方の出力を加算する加算器１４６とを同時に動作させ，例えばｋの値を０から１に徐々に増加させる。これにより，遅延されていない音声信号と遅延された音声信号が徐々に入れ替わってゆき，双方が切り替わるポイントが曖昧になる。かかるクロスフェード処理部１４０の動作により，音声信号の遅延処理に伴う雑音を軽減することができる。
【０１４４】
また，図１２に示すゲイン調整部１１６は，音声信号遅延部１１４から入力された音声信号のゲイン調整やミュートを行うことができる。このため，このゲイン調整部１１６によっても，音声信号を徐々に小さくするミュート機能を利用して，遅延時間を調整する際の発生雑音を低減することができる。これはハードウエアを簡略化しクロスフェード処理を用いない場合に有効となる。
【０１４５】
また，ゲイン調整部１１６には，検出部２４からのエラー検出信号２５が入力されており，ゲイン調整部１１６は，かかるエラー検出信号２５に応じて，好適にゲイン調整やミュートを行うことができる。例えば，ラウティングスイッチによるビデオ信号の不連続な切替が起こったときには，検出部２４が入力信号の不連続を検出して，ゲイン調整部１１６にエラーの発生を通知する。この通知を受けて，ゲイン調整部１１６は，例えば適宜無音パケットを生成し，入力された音声信号の代わりに出力する。これにより，後続機器において，ＰＬＬが復帰するまでの間，入力信号が断続したことに伴う劣悪な雑音の発生を低減することができる。
【０１４６】
音声信号混合部１１８は，ゲイン調整部１１６から入力された音声信号を，フレームシンクロナイザ部３０から出力されたビデオ信号に混合する機能を有する。即ち，上記のように独立に周波数変換されるなどして分離処理された音声信号を，当該ビデオ信号内の元の音声データと置換する形で，当該ビデオ信号に混合する。
【０１４７】
第３の周波数調整部１２０は，例えばＦＩＦＯメモリなどで構成され，ゲイン調整部１１６から入力された音声信号を，ビデオ用の基準クロック領域から，音声用のクロック領域に周波数変換する機能を有する。また，音声出力部１２２は，エンコーダなどであり，第３の周波数調整部１２０から入力された音声信号を符号化して外部に出力する。このような，第３の周波数調整部１２０および音声出力部１２２を設けることにより，ビデオ信号とは別に音声信号のみを外部に対して出力できる。
【０１４８】
なお，音声信号のみを外部に出力するための，第３の周波数調整部１２０および音声出力部１２２は，機器仕様等により必ずしも具備されなくともよい。また，外部から外部音声信号を入力するための，上記外部音声入力部１０６および音声信号セレクタ１０８も，同様に必ずしも具備されなくともよい。
【０１４９】
以上のような構成の音声分離処理装置１００は，フレームシンクロナイザ部３０に入力される前の段階で，ビデオ信号から音声データを取り出し，標本化周波数変換を行い，変換した音声データを元のビデオ信号に再び混合するという，音声分離処理動作を行うことができる。従って，本実施形態にかかる画像音声同期化装置１０は，この音声分離処理装置１００により音声を分離処理する動作モードと，かかる音声分離処理を行わず，第１の実施形態のようにフレームシンクロナイザ部３０で画像データの補助データとして音声データを処理する動作モードという２種類の音声処理動作モードを実現することができる。
【０１５０】
加えて，標本化周波数変換部１１０による非同期標本化周波数変換動作では，出力する音声信号内に過不足のない数の音声データを挿入することができる。このため，画像データがフレーム単位でリピートまたはジャンプをする場合であっても，音声データは連続であり，従来のような補助データを同期化することに伴う音声データの途切れ，繰返しによる不自然な雑音が発生しない。なお，かかる分離処理方式は，例えばソフトウエアによるフレーム数変換の際にも応用できる。
【０１５１】
また，上記音声分離処理装置１００において，非同期周波数変換後の音声信号を取り扱う音声信号遅延部１１４およびゲイン調整部１１６などの各部は，上記のように，ビデオ用の基準クロックに基づいて動作できる点が特徴的である。この特徴により，音声分離処理装置１００をフレームシンクロナイザ部３０などと同一基板またはビデオ用機器などの共通ハードウエアに実装することができ，装置の開発時間や製造コストを削減できる。
【０１５２】
また，独立して入力した外部音声信号であっても，標本化周波数変換することにより，雑音を伴うことなくビデオ信号に混合できる。この場合，外部音声信号とビデオ信号との同期が不要であり，簡単な機構を追加するだけで幅広い応用が可能な混合装置を実現できる。
【０１５３】
以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１５４】
例えば，上記実施形態にかかる画像音声同期化装置１０は，フレームシンクロナイザとして機能したが，本発明はかかる例に限定されない。例えば，非同期メモリ装置５０の出力を最終出力として取り出すことにより，ライン同期化装置を容易に実現できる。また，基準クロックに代えて入力クロックを全体に適用することにより，固定遅延装置を実現することもできる。さらに，非同期メモリ装置５０と同期メモリ装置７０を組み合わせることにより，ライン同期した遅延装置を実現することもできる。
【０１５５】
【発明の効果】
以上説明したように，本発明によれば，非同期メモリ装置と同期メモリ装置を組み合わせることにより，ＨＴＤＶ用途などの大容量のフレームデータからなるビデオ信号であっても，比較的少量かつ安価なメモリ装置を用いて，好適にフレーム同期化することができる。このため，画像音声同期化装置のコストおよび実装規模を低減できるとともに，リードおよびライト動作のアドレス制御が容易になる。
【０１５６】
また，音声分離処理装置を設けて，音声データの標本化周波数変換を独立して行うことにより，同期化に伴う雑音を抑制することができる。
【図面の簡単な説明】
【図１】図１は，第１の実施形態にかかる画像音声同期化装置の全体構成を示すブロック図である。
【図２】図２は，ＳＭＰＴＥ規格のＨＤＴＶ用ＳＤＩフォーマットの例を模式的に示す説明図である。
【図３】図３は，第１の実施形態にかかる非同期メモリ装置の構成を示すブロック図である。
【図４】図４は，第１の実施形態にかかる非同期リード動作が非同期ライト動作より遅い場合における，非同期リード動作の動作フローを示すフローチャートである。
【図５】図５は，第１の実施形態にかかる非同期リード動作が非同期ライト動作より遅い場合における，非同期ライト動作に対する非同期リード動作の遅延量の時間変化を示すグラフ図である。
【図６】図６は，第１の実施形態にかかる非同期リード動作が非同期ライト動作より早い場合における，非同期リード動作の動作フローを示すフローチャートである。
【図７】図７は，第１の実施形態にかかる非同期リード動作が非同期ライト動作より早い場合における，非同期ライト動作に対する非同期リード動作の遅延量の時間変化を示すグラフ図である。
【図８】図８は，第１の実施形態にかかる非同期メモリ装置が出力したビデオ信号の状態を示す説明図である。
【図９】図９は，第１の実施形態にかかるライン調整装置および同期メモリ装置の構成を示すブロック図である。
【図１０】図１０は，非同期メモリ装置でジャンプ動作またはリピート動作がなされた場合における，非同期メモリ装置の出力ビデオ信号（上段）と，ライン調整装置が遅延させたビデオ信号（２段目）と，当該ビデオ信号が２つの同期フレームメモリに書き込まれた状態（下２段）を示す説明図である。
【図１１】図１１は，第１の実施形態にかかる同期メモリ装置が複数の同期フレームメモリに同期ライト動作および同期リード動作を行うタイミングを示す説明図である。
【図１２】図１２は，第２の実施形態にかかる音声分離処理装置を備えた画像音声同期化装置の構成を示すブロック図である。
【図１３】図１３は，第２の実施形態にかかる音声信号遅延部の構成を示すブロック図である。
【符号の説明】
１０ ： 画像音声同期化装置
２０ ： 入力部
２０ ： 検出部
２５ ： エラー検出信号
３０ ： フレームシンクロナイザ部
４０ ： 出力部
４２ ： 出力信号処理部
５０ ： 非同期メモリ装置
５２ ： 非同期ラインメモリ
５４ ： 非同期ライト制御部
５５ ： セレクタ
５６ ： 非同期リード制御部
５７ ： リセットタイミング比較器
５８ ： 遅延回路
６０ ： ライン調整装置
６２ ： 同期ラインメモリ
７０ ： 同期メモリ装置
７２ ： 同期フレームメモリ
７４ ： 同期ライト制御部
７６ ： 同期リード制御部
１００ ： 音声分離処理装置
１０２ ： 音声信号分離部
１０６ ： 外部音声入力部
１０８ ： 音声信号セレクタ
１１０ ： 標本化周波数変換部
１１４ ： 音声信号遅延部
１１６ ： ゲイン調整部
１１８ ： 音声信号混合部
１４０ ： クロスフェード処理部
【発明の属する技術分野】
本発明は，フレームシンクロナイザなどの画像音声同期化装置に関する。
【０００２】
【従来の技術】
ＴＶ放送局等では，外部のＶＴＲ等から入力されたビデオ信号を局内の基準クロックに同期させるフレームシンクロナイザ等の画像音声同期化装置が多用されている。この画像音声同期化装置は，疑似ＳＲＡＭなどを基本としたデュアルポートのフレームメモリを使用して，ビデオ信号の書き込み（ライト動作）と読み出し（リード動作）を異なるフレーム周波数で行うことで同期化を行っている。この際，読み出すビデオ信号をフレーム単位でジャンプまたはリピートさせることにより，リード動作とライト動作の遅延量が調整されている。
【０００３】
一方，近年では，映像メディア・通信技術の発達に伴い，ＨＤＴＶ（高精細度ＴＶ）などの大容量のフレームデータを含むビデオ信号の伝送方式が普及しつつあり，かかる大容量ビデオ信号を同期化することが求められている。
【０００４】
【発明が解決しようとする課題】
しかしながら，上記従来の画像音声同期化装置では，メモリ装置自体が特殊用途であるので，コストが高かった。また，ＨＤＴＶフレームデータを格納できる程度の大容量のフレームメモリは製造上困難なため汎用製品がないので，多数のＳＤＴＶ用メモリ装置などの部品を縦続接続して使用しなければならなかった。このため，画像音声同期化装置が，高コスト化するだけでなく，消費電力やハードウエアの実装規模が大きくなるという問題があった。さらに，大容量のＨＤＴＶフレームデータをメモリ装置にリードおよびライトする際，アドレスを高速制御することが困難であるという問題もあった。
【０００５】
また，従来の画像音声同期化装置では，音声データを分離処理してないので，画像データを同期化するためにビデオ信号をフレーム単位でジャンプまたはリピートさせると，音声データが不連続になり，雑音を発生させてしまうという問題があった。さらに，音声データのみを遅延させたり，外部音声データを処理したりできないという問題もあった。
【０００６】
本発明は，従来の画像音声同期化装置が有する上記問題点に鑑みてなされたものであり，本発明の目的は，安価な汎用メモリ装置を用いて大容量のフレームデータを好適に同期化できるとともに，音声データの雑音を低減することが可能な，新規かつ改良された画像音声同期化装置を提供することである。
【０００７】
【課題を解決するための手段】
上記課題を解決するため，本発明の第１の観点によれば，入力同期信号に従って入力されたビデオ信号を，基準同期信号に同期させて出力する画像音声同期化装置であって：入力されたビデオ信号をライン単位で同期化する非同期メモリ装置と；非同期メモリから出力されたビデオ信号をフレーム単位で同期化する同期メモリ装置と；を備えることを特徴とする，画像音声同期化装置が提供される。
【０００８】
かかる構成により，非同期メモリ装置は，非同期動作を行って，ビデオ信号をピクセルクロック単位（画素単位）およびライン単位（Ｈ単位）で同期化する。また，同期メモリ装置は，同期動作を行って，上記ピクセルクロック単位およびライン単位で同期化されたビデオ信号を，フレーム単位（Ｖ単位）で同期化する。これにより，大容量のＨＤＴＶフレームデータなどを含むビデオ信号であっても，同期化動作を分担して，好適に同期化できる。
【０００９】
また，上記非同期メモリ装置は，少なくともビデオ信号の１ライン分および１フレーム当たりのクロック誤差分を記憶するデュアルポートの非同期ラインメモリと；入力されたビデオ信号を入力同期信号に基づいて非同期ラインメモリに書き込む非同期ライト動作を制御する非同期ライト制御部と；非同期ラインメモリに記憶されたビデオ信号を基準同期信号に基づいて読み出す非同期リード動作を制御し，非同期ライト動作に対する非同期リード動作の遅延量に応じて，非同期リード動作で読み出すビデオ信号をライン単位でジャンプまたはリピートさせる非同期リード制御部と；を備える，如く構成すれば，非同期メモリ装置は，非同期ライト動作と非同期リード動作を非同期で独立して行うことができる。さらに，非同期ライト動作に対する非同期リード動作の遅延量が上限に達した場合には，ライン単位のジャンプ動作を行って，未だ読み込んでいない１ライン分のデータの読み出しを省略する。一方，当該遅延量が下限に達した場合には，ライン単位のリピート動作を行って，既に読み込んだ１ライン分のデータの再読み出しを行う。以上により，非同期メモリ装置は，少量の非同期ラインメモリを用いて，ビデオ信号をピクセルクロック単位およびライン単位で同期化できる。
【００１０】
また，上記非同期ラインメモリは，ＦＩＦＯ（Ｆｉｒｓｔ−ｉｎ Ｆｉｒｓｔ−ｏｕｔ）メモリである，如く構成すれば，非同期メモリ装置は，ピクセルクロック単位およびライン単位の同期化を好適に行うことができるとともに，非同期ライト動作および非同期リード動作のアドレス制御が容易になる。
【００１１】
さらに，上記非同期ラインメモリの容量は，１ライン分の容量に加えて少なくとも入出力ビデオ信号間の１フレーム当たりのクロック誤差を吸収できる余裕がある，如く構成すれば，非同期ラインメモリの容量に，非同期リード動作および非同期ライト動作で必要な分だけ余裕を持たせることができる。即ち，非同期ラインメモリは，クロック数の差分，即ち画素数のずれを吸収する分余分容量を有する。このため，非同期メモリ装置は，非同期リード動作および非同期ライト動作を好適に行うことができる。
【００１２】
また，上記非同期メモリ装置は，さらに，非同期ライト動作を制御するためのライトリセット信号と，非同期リード動作を制御するためのリードリセット信号のタイミングを比較して，非同期ラインメモリのライトアドレスとリードアドレスとが所定範囲内に接近しているか否かを検出するリセットタイミング比較器と；リセットタイミング比較器の検出結果に応じて，基準同期信号に基づいた基準リードリセット信号と，基準リードリセット信号を所定時間早めた調整リードリセット信号とを切り替えるセレクタと；非同期ラインメモリから読み出されたビデオ信号を所定時間だけ遅延させる遅延回路と；を備えており，リセットタイミング比較器がライトアドレスとリードアドレスとが所定範囲内に接近していると検出した場合には，非同期リード制御部は，調整リードリセット信号に基づいて非同期ラインメモリに記憶されたビデオ信号を読み出し，遅延回路によって所定時間遅延させてから出力する，如く構成すれば，非同期ラインメモリは，ライトリセット信号に基づいてライトアドレスをリセットし，リードリセット信号に基づいてリードアドレスをリセットすることができる。また，リセットタイミング比較器は，非同期ラインメモリでのライトアドレスとリードアドレスの接近具合を監視することができる。また，セレクタは，リセットタイミング比較器の検出結果に基づいて，基準リードリセット信号と調整リードリセット信号とを例えば１フレーム毎に切り替えて，いずれかをリードリセット信号として非同期リード制御部に出力する。また，非同期リード制御部は，調整リードリセット信号を非同期ラインメモリに出力することで，基準のリードリセット信号を入力する場合より非同期ラインメモリのリードアドレスのリセットタイミングを，所定時間早めることができる。また，遅延回路は，非同期ラインメモリから出力されたビデオ信号を，調整リードリセット信号によって読み出しが早まった分だけ遅延させて，当該ビデオ信号の遅延量を調整できる。このため，上記切替を１フレーム毎に行うか否かを判断して必要な場合に実行すれば，その後１フレーム期間内で起こり得る非同期ラインメモリのライトアドレスとリードアドレスのオーバーラン・アンダーランエラーを防止できる。さらに，基準リードリセット信号と調整リードリセット信号に好適な時間差を設けることで，リードリセット信号の切替を行えば，当該エラーの発生を抑制できる。
【００１３】
さらに，上記非同期メモリ装置から出力されたビデオ信号と，非同期メモリ装置から出力されたビデオ信号を少なくとも１ライン遅延させたビデオ信号とを切り替えて，同期メモリ装置に出力するライン調整装置を備える，如く構成すれば，ライン調整装置は，非同期メモリ装置のジャンプまたはリピート動作によって生じた，非同期メモリ装置から出力されたビデオ信号のライン配列の乱れを修正できる。
【００１４】
また，上記同期メモリ装置は，非同期メモリ装置から出力されたビデオ信号の少なくとも１フレーム分を記憶可能な複数の同期フレームメモリと；非同期メモリ装置から出力されたビデオ信号を，基準同期信号に基づいて複数の同期フレームメモリにライン単位で交互に書き込む同期ライト動作を制御する同期ライト制御部と；複数の同期フレームメモリに記憶されたビデオ信号を，同期ライト制御部の書き込み動作が行われていない同期フレームメモリから，基準同期信号に基づいてライン単位で交互に読み出す同期リード動作を制御し，同期ライト動作に対する同期リード動作の遅延量に応じて，同期リード動作で読み出されるビデオ信号をフレーム単位でジャンプまたはリピートさせる同期リード制御部と；を備える，如く構成すれば，同期メモリ装置は，同期ライト動作と同期リード動作の双方を基準同期信号に基づいて同時並行して行うことができる。即ち，１つの同期フレームメモリに対するライン単位のライト動作と，他の同期フレームメモリに対するライン単位のリード動作を交互に切り替えながら同時に行うことができる。さらに，同期リード動作と同期ライト動作を同一のタイミングで行えるので，アドレス制御が容易になる。さらに，同期ライト動作に対する同期リード動作の遅延量が上限に達した場合には，フレーム単位のジャンプ動作を行って，未だ読み込んでいない１フレーム分のデータの読み出しを省略する。一方，当該遅延量が下限に達した場合には，フレーム単位のリピート動作を行って，既に読み込んだ１フレーム分のデータの再読み出しを行う。以上により，非同期フレームメモリとして安価かつ大容量のフレームメモリを用いて，ビデオ信号をフレーム単位で同期化できる。
【００１５】
さらに，上記同期フレームメモリは，ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である，如く構成すれば，安価かつ大容量の同期フレームメモリを提供できる。
【００１６】
また，上記同期メモリ装置は，同期ライト動作のライトアドレスおよび同期リード動作のリードアドレスを１フレーム毎に変化できる，如く構成すれば，非同期メモリ装置は，上記ジャンプまたはリピート動作を好適に行うことができる。また，１つの同期フレームメモリに複数フレームのデータを保存しても，アドレス制御が可能になる。
【００１７】
また，上記画像音声同期化装置は，さらに，入力されたビデオ信号から，音声信号（音声データ）を分離する音声信号分離部と；分離された音声信号を基準同期信号に基づいて標本化周波数変換する標本化周波数変換部と；同期メモリ装置から出力されたビデオ信号に，標本化周波数変換された音声信号を混合する音声信号混合部と；を有する音声分離処理装置を備える，如く構成すれば，非同期メモリ装置に入力される前の音声信号を分離して，非同期標本化周波数変換して，同期化された元のビデオ信号に混合できる。このため，音声信号を独立して標本化周波数変換して基準同期信号に同期化できるので，ジャンプ・リピート動作によって音声データが不連続とならない。従って，ビデオ信号の同期化に伴う雑音を低減できる。
【００１８】
また，上記音声分離処理装置は，さらに，周波数変換された音声信号を基準同期信号に基づいて遅延させる音声信号遅延部を備える，如く構成すれば，音声信号遅延部は，ビデオ信号用の基準クロックで動作し，音声信号の遅延量を独立して調整できる。このため，同期化されたビデオ信号と，これに混合される音声信号とを同期できる。
【００１９】
さらに，上記音声信号遅延部は，遅延調整前の音声信号と遅延調整後の音声信号をクロスフェード処理するクロスフェード処理部を有する，如く構成すれば，クロスフェード処理部は，遅延調整後の音声信号をフェードインさせながら，遅延調整前の音声信号をフェードアウトできる。このため，音声信号遅延部が音声信号を遅延時間調整する際に生ずる音声データの不連続性を低減し，雑音を抑制できる。
【００２０】
また，上記音声分離処理装置は，さらに，外部音声信号が入力される外部音声入力部と；外部音声信号と分離された音声信号のいずれかを標本化周波数変換部に入力する音声信号セレクタと；を備える，如く構成すれば，ビデオ信号から分離した音声信号の代わりに，外部音声信号を標本化周波数変換処理した上で，ビデオ信号に好適に混合することができる。
【００２１】
また，上記画像音声同期化装置は，非同期メモリ装置から出力されたビデオ信号を取り出すことができる，如く構成すれば，画像音声同期化装置はライン同期化装置として機能することもできる。また，入力同期信号を画像音声同期化装置全体に適用することにより固定遅延器を提供できる。さらに，非同期メモリ装置と同期メモリ装置を組み合わせることによりライン同期化機能を伴った遅延器を提供できる。
【００２２】
また，画像音声同期化装置は，出力するビデオ信号の不正値処理を行う出力信号処理部を有してもよい。また，不連続に切り替えられたビデオ信号が入力された場合には，音声分離処理装置は，音声信号として無音データを送出するようにしてもよい。これらにより，音声信号が一旦消失し，再び出現するなど，データ不連続がなくなり，後続機器における絵乱れや雑音の発生を防止できる。
【００２３】
【発明の実施の形態】
以下に添付図面を参照しながら，本発明の好適な実施の形態について詳細に説明する。なお，本明細書及び図面において，実質的に同一の機能構成を有する構成要素については，同一の符号を付することにより重複説明を省略する。
【００２４】
（第１の実施の形態）
まず，本発明の第１の実施形態にかかる画像音声同期化装置について説明する。
【００２５】
本実施形態にかかる画像音声同期化装置は，例えば，映画・ＴＶ番組制作プロダクション，ＴＶ放送局などに設置されるフレームシンクロナイザなどの同期化装置である。この画像音声同期化装置は，例えば外部のＶＴＲやテレビカメラ等の機器から入力された異種同期（入力同期信号）のビデオ信号をメモリ装置に書き込み，このビデオ信号データを基準同期（基準同期信号）によって読み出すことで，フレーム同期を一致させ，出力する画像の乱れを防止する機能を有する。
【００２６】
任意位相で入力されたビデオ信号に対して上記のようなフレーム同期化を実現するためには，▲１▼ピクセルクロック単位（画素単位）での同期化，▲２▼ライン単位（Ｈ単位）での水平同期化，▲３▼フレーム単位（Ｖ単位）での垂直同期化，という３種の同期化動作を全て満足している必要がある。かかるフレーム同期化を好適に実現すべく，本実施形態にかかる画像音声同期化装置は，以下のように構成されている。
【００２７】
まず，図１に基づいて，本実施形態にかかる画像音声同期化装置の全体構成について説明する。なお，図１は，本実施形態にかかる画像音声同期化装置１０の全体構成を示すブロック図である。
【００２８】
図１に示すように，画像音声同期化装置１０は，ビデオ信号が入力される入力部２０と，ビデオ信号の同期化を行うフレームシンクロナイザ部３０と，同期化されたビデオ信号に所定の処理を施して出力する出力部４０と，から構成される。以下に各部について分説する。
【００２９】
＜入力部＞
入力部２０は，ビデオ信号をシリアル・パラレル変換するデシリアライザ２２と，ＳＤＩ入力信号のエラーや信号状況を検出する検出部２４とを有する。
【００３０】
デシリアライザ２２は，外部機器から入力されたＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）フォーマットのビデオ信号（以下では，単にビデオ信号という。）を，シリアル・パラレル変換して，検出部２４に出力する。
【００３１】
検出部２４は，信号ディテクタであり，入力されたビデオ信号が，適切に入力されているか，不連続となっていないか，不正データ，異常値などのエラーが含まれていないかを検出する。エラー信号を検出した場合には，後続の例えば同期メモリ装置７０などにエラー検出信号２５を送信する。但し検出の基準は使用する装置に応じて異なっている場合もある。
【００３２】
ここで，図２に基づいて，本実施形態で同期化処理するビデオ信号の伝送フォーマットとして，例えばＳＭＰＴＥ（Ｓｏｃｉｅｔｙ ｏｆ Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ ａｎｄ Ｔｅｌｅｖｉｓｉｏｎ Ｅｎｇｉｎｅｅｒｓ，Ｉｎｃ）規格のＨＤＴＶ用ＳＤＩフォーマットについて説明する。なお，図２は，ＳＭＰＴＥ規格のＨＤＴＶ用ＳＤＩフォーマットの例を模式的に示す説明図である。
【００３３】
図２に示すように，画像データが含まれる有効映像領域以外の水平ブランキング期間には，ＥＡＶ（Ｅｎｄ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ），ＬＮ（Ｌｉｎｅ Ｎｕｍｂｅｒ），ＣＲＣＣ（Ｃｙｃｌｉｃ Ｒｅｄｕｎｄａｎｃｙ Ｃｈｅｃｋ Ｃｏｄｅ），補助データ領域，ＳＡＶ（Ｓｔａｒｔ ｏｆ Ａｃｔｉｖｅ Ｖｉｄｅｏ）などがある。
【００３４】
ＥＡＶとＳＡＶは，映像データには存在しない値で構成される，同期信号（３ＦＦ，０００など）と，奇／偶数フィールドや垂直ブランキングなどの状態を表す信号（ＸＹＺ）とからなり，ＴＲＳ（Ｔｉｍｅ Ｒｅｆｅｒｅｎｃｅ Ｓｉｇｎａｌ）を構成する。また，ＬＮはライン番号であり，ＣＲＣＣは誤り検出符号である。また，補助データ領域（垂直ブランキング期間の補助データ領域も含む。）には，音声データなどの補助データが多重可能である。なお，ＴＲＳ以外の水平ブランキング期間をアンシラリ領域と称する。
【００３５】
＜フレームシンクロナイザ部＞
図１に示すフレームシンクロナイザ部３０は，ピクセルクロック単位およびライン単位での同期化（上記▲１▼および▲２▼の同期化）を行う非同期メモリ装置５０と，ビデオ信号をライン単位で調整するライン調整装置６０と，フレーム単位での同期化（上記▲３▼の同期化）を行う同期メモリ装置７０とからなる。かかるフレームシンクロナイザ部３０は，本実施形態にかかる画像音声同期化装置１０の大きな特徴部であり，詳細については後述する。
【００３６】
＜出力部＞
出力部４０は，同期化されたビデオ信号の処理を行う出力信号処理部４２と，ビデオ信号をパラレル・シリアル変換して外部機器に出力するシリアライザ４４とを有する。なお，出力信号処理部４２の動作の詳細については，後述する。
【００３７】
以上のような構成の画像音声同期化装置１０において，非同期メモリ装置５０を境に入力側の各部は，入力ビデオ信号基準クロックに基づいて動作している。一方，非同期メモリ装置５０を境に出力側の各部は，リファレンスビデオ信号基準クロックに基づいて動作している。
【００３８】
なお，入力ビデオ信号基準クロック（以下では，入力クロックという。）は，例えば入力部２０などに設けられた入力クロック発生器（図示せず。）が，入力されたビデオ信号に含まれる入力同期信号に基づいて生成したクロックである。また，リファレンスビデオ信号基準クロック（以下では，基準クロックという。）は，基準クロック発生器（図示せず。）が，基準同期信号（リファレンス信号）に基づいて生成したクロックである。以下の説明では，画像音声同期化装置１０の各部に上記のようなクロックが適宜入力されているものとし，クロック信号を伝送する信号線などの図示は省略する。
【００３９】
次に，図３に基づいて，本実施形態にかかる非同期メモリ装置の構成について説明する。なお，図３は，本実施形態にかかる非同期メモリ装置５０の構成を示すブロック図である。
【００４０】
非同期メモリ装置５０は，上記のように，入力されたビデオ信号をピクセルクロック単位およびライン単位（Ｈ単位）で同期化する機能を有するライン同期化装置である。この非同期メモリ装置５０は，図３に示すように，非同期ラインメモリ５２と，非同期ライト制御部５４と，非同期リード制御部５６と，リセットタイミング比較器５７と，遅延回路５８と，出力セレクタ５９とを有する。
【００４１】
まず，非同期ラインメモリ５２について詳細に説明する。非同期ラインメモリ５２は，例えばＦＩＦＯ（Ｆｉｒｓｔ−Ｉｎ Ｆｉｒｓｔ−Ｏｕｔ）メモリで構成される。このＦＩＦＯメモリは，ビデオ信号の書き込み動作と読み出し動作を独立して非同期に行うことができるデュアルポートのデジタルラインメモリである。
【００４２】
この非同期ラインメモリ５２は，入力部２０から入力されたビデオ信号を入力同期信号に基づいて書き込む動作（以下では，非同期ライト動作という。）と，書き込まれたビデオ信号を入力同期信号に基づいて読み出す動作（以下では，非同期リード動作という。）を行うことができる。かかる非同期ラインメモリ５２は，かかる非同期ライト動作および非同期リード動作のアドレス制御方法が，例えば，ライトリセット信号ＷＲまたはリードリセット信号ＲＲによるライン単位のリセットのみで実現しているメモリである。より詳細には，非同期ラインメモリ５２は，内蔵されたアドレスカウンタで入力クロック数または基準クロック数をカウントしており，このカウント数に応じて例えば０からライトアドレスまたはリードアドレスを順次増加させながら，データの書き込みまたは読み出しを行っていく。そして，ライトリセット信号またはリードリセット信号が入力されると，ライトアドレスまたはリードアドレスをリセットして０に戻し，再び最初から非同期ライト動作または非同期リード動作を行っていくという構成である。このためアドレス制御が簡単であるとともに，非同期リード動作及び非同期ライト動作を非同期で同時並行して行うことができる。
【００４３】
かかる非同期ラインメモリ５２の容量は，例えば，「ビデオ信号の画像データの１ライン分」＋「１フレーム当たりのクロック誤差分」である。即ち，かかる容量は，画像データ１ライン分に，例えばクロック発生器の水晶振動子が発生するクロックにおける１フレーム当たりのクロック数の誤差分（即ち，画素数のずれ）を吸収できるだけの余分な大きさを加えた容量である。
【００４４】
ここで，かかるクロック数差分を具体的に算出する。例えば，ＳＭＰＴＥ規格のＳＤＩビデオ信号を同期化する場合，ＳＭＰＴＥ規格により機器の精度が定められているため，この制約を利用して，１フレーム当たりに吸収すべき入出力信号間のクロック数差分を算出できる。即ち，最大となるクロック数差分Ｘは，機器マスタークロックの精度を１フレーム当たりに換算することで算出できる。よって，マスタークロック精度Ａ，フレームレート（フレーム周波数）をＶ，マスタークロック周波数をＦとすると，
Ｘ＝Ａ×Ｆ／Ｖ
と表すことができる。
【００４５】
実際的な数値として，例えば，１０８０／５９ｉフォーマットでは，Ａ＝１００×１０＾（‐６），Ｆ＝７４．２５×１０＾（６）／１．００１［Ｈｚ］，Ｖ＝２９．９７［Ｈｚ］としてクロック数差分Ｘを算出すると，Ｘ＝２４８程度の値となる。
【００４６】
従って，非同期ラインメモリ５２の容量は，１ライン分の容量に，例えば２４８画素分以上のデータを保存可能な容量を加えた程度とすればよい。かかる例えば２４８画素分以上のデータを保存可能な容量は例えば１ライン分の１／１０程度と小さいので，非同期ラインメモリ５２の容量は，ほぼ１ライン分の容量に等しい。従って，非同期ラインメモリ５２に用いるＦＩＦＯメモリとしては，現実に存する比較的安価な製品を適用することができる。
【００４７】
また，図３に示す非同期ライト制御部５４は，入力されたビデオ信号を上記非同期ラインメモリ５２に書き込む非同期ライト動作を制御する機能を有する。より詳細には，非同期ライト制御部５４は，例えばタイミングジェネレータおよびＴＲＳ検出器（図示せず。）などを具備しており，入力されたビデオ信号のＴＲＳに含まれる水平垂直同期信号を検出して，入力クロックに基づくライン単位のライトリセット信号ＷＲを生成する。さらに，非同期ライト制御部５４は，かかるライトリセット信号ＷＲと，書き込み動作を許可するライトイネーブル信号（図示せず。）を非同期ラインメモリ５２に出力して，非同期ライト動作のライトアドレス，書き込みの可・不可などを制御する。
【００４８】
非同期リード制御部５６は，上記非同期ラインメモリ５２に書き込まれたビデオ信号データを読み出す非同期リード動作を制御する機能を有する。非同期リード制御部５６には，タイミングジェネレータ（図示せず。）によって基準同期信号に基づいて生成されたライン単位の基準リードリセット信号と，この基準リードリセット信号のタイミングを所定時間だけ早めた調整リードリセット信号とが入力されている。
【００４９】
この非同期リード制御部５６は，例えば内蔵したセレクタ５５により基準リードリセット信号と調整リードリセット信号を切り替えて出力可能である。この非同期リード制御部５６は，かかる２つのリードリセット信号ＲＲのいずれかと，読み込み動作を許可するリードイネーブル信号（図示せず。）を非同期ラインメモリ５２に出力して，非同期ライト動作のライトアドレス，読み込みの可・不可などを制御する。
【００５０】
リセットタイミング比較器５７は，上記のライトリセット信号ＷＲと例えば基準リードリセット信号とのタイミング差を比較して，非同期ラインメモリ５２のライトアドレスとリードアドレスの接近具合を監視する機能を有する。このリセットタイミング比較器５７は，検出結果であるアドレス比較信号ＡＣを上記非同期リード制御部５６に送信する。非同期リード制御部５６は，かかるアドレス比較信号ＡＣに基づいて，基準リードリセット信号と調整リードリセット信号のいずれを送出するかを判断して，セレクタ５５を切り替える。
【００５１】
遅延回路５８は，非同期ラインメモリ５２から出力されたビデオ信号を所定量Ｍだけ追加して遅延させる機能を有する。この追加遅延量Ｍは，上記基準リードリセット信号と調整リードリセット信号との時間差に相当する遅延量となるように決定され，例えば，上記クロック数差Ｘの例えば２倍（Ｍ＝２Ｘ）に設定されている。
【００５２】
出力セレクタ５９は，非同期ラインメモリ５２から出力されたビデオ信号と，上記遅延回路５８を通過して追加遅延量Ｍだけ遅延されたビデオ信号とを切り替えて，後続のライン調整装置６０に出力する。
【００５３】
次に，上記のような構成の非同期メモリ装置５０の動作について説明する。
【００５４】
まず，入力部２０からのビデオ信号は，非同期ラインメモリ５２に入力され，指定されたライトアドレスに順次書き込まれていく。このライトアドレスは，カウントされた入力クロック数に応じて，例えば徐々に増加するように指定されている。また，入力ビデオ信号は非同期ライト制御部５４にも入力されており，非同期ライト制御部５４は，かかる入力ビデオ信号の水平同期信号に基づいてライトリセット信号を生成し，随時非同期ラインメモリ５２に送信する。これにより，ライトアドレスが所定周期（即ち，ライン単位）でリセットされるので，非同期ラインメモリ５２に書き込まれるビデオ信号は，ライン単位で更新されていく。
【００５５】
一方，このような非同期ライト動作と同時並行して，非同期リード動作が基準クロックに基づいて行われる。即ち，非同期ラインメモリ５２は，非同期リード制御部５６からのリードリセット信号に基づいてリードアドレスをリセットしながら，書き込まれているビデオ信号データをライン単位で順次読み出していく。
【００５６】
かかる動作により，ライトアドレスとリードアドレスが接近しすぎない範囲では，エラーが発生することなくビデオ信号を好適に読み出せるので，ビデオ信号をピクセルクロック単位およびライン単位で同期化することができる。
【００５７】
ところが，非同期リード動作と非同期ライト動作の速度差によって，リードアドレスとライトアドレスが次第に接近し，アドレス通過（即ち，リードアドレスがライトアドレスを追い越す，またはその逆の場合）が起こる場合がある。この場合には，オーバーラン／アンダーランエラーが発生し，出力画像上のノイズや，ＴＲＳ部分のデータを破壊したときには後続機器で大きな絵乱れを引き起こす原因となってしまう。このため，非同期リード制御部５６は，上記アドレス通過を防止するよう，非同期リード動作を好適に制御する必要がある。
【００５８】
ここで，本実施形態にかかる非同期リード動作の制御について詳細に説明する。なお，以下では，非同期リード動作が非同期ライト動作より遅い場合と，非同期リード動作が非同期ライト動作より早い場合に分けて説明する。
【００５９】
まず，図４および図５に基づいて，非同期リード動作が非同期ライト動作より遅い場合における，非同期リード動作の制御について説明する。なお，図４は，本実施形態にかかる非同期リード動作が非同期ライト動作より遅い場合における，非同期リード動作の動作フローを示すフローチャートである。また，図５は，本実施形態にかかる非同期リード動作が非同期ライト動作より遅い場合における，非同期ライト動作に対する非同期リード動作の遅延量の時間変化を示すグラフ図である。
【００６０】
なお，図５において，Ｐはビデオ信号における１ライン当たりのピクセル数であり，Ｍは追加遅延量（Ｍ＝２Ｘ）である。また，グラフの実線は非同期メモリ装置５０の出力部分での遅延量（以下では出力遅延量という。）であり，破線は非同期ラインメモリ５２の出力部分（即ち，遅延回路５８を通過する前）での遅延量（以下ではメモリ遅延量という。）である。
【００６１】
図４に示すように，まず，ステップＳ１０では，リセットタイミング比較器５７が，例えば１フレームに１度の，書き込み側ライトリセット信号と基準リードリセット信号のタイミング比較を行う点まで待つ。（ステップＳ１０）。リセットタイミング比較器５７は，ライトリセット信号と基準リードリセット信号のタイミング比較を行うことで，ライトアドレスとリードアドレスの接近具合を比較し，検出結果であるアドレス比較信号ＡＣを非同期リード制御部５６に送信することができる。かかるリセットタイミング比較器５７による両アドレスの接近具合の比較は，例えば１フレーム毎に上記リセットタイミング比較点で行うため，それまでは待機する。
【００６２】
次いで，ステップＳ２０では，リセットタイミング比較器５７が，リセットタイミング比較点でのライトアドレスとリードアドレスの接近具合を判定する（ステップＳ２０）。待機していたリセットタイミング比較器５７は，リセットタイミング比較点に至った時点で，両アドレスの接近具合を判定し，判定結果を非同期リード制御部５６に送信する。
【００６３】
本動作フローでは，非同期リード動作が非同期ライト動作より遅いので，リードアドレスがライトアドレスから徐々に離れていき，メモリ遅延量が徐々に増加していくこととなる。これが進行し，図５でメモリ遅延量がＰ−（Ｍ／２）に達したとき（Ｂ時点）には，ライトアドレスに対するリードアドレスの差がＰ−Ｘにまで増大したことになる。即ち，リードアドレスとライトアドレスがクロック数差Ｘの範囲内にまで接近した状態となる。かかる状態で，リセットタイミング比較器５７が，リードアドレスとライトアドレスがＸ内に接近していると判定した場合（即ち，Ｂ〜Ｃの期間）には，ステップＳ４０に進む。一方，双方が所定範囲Ｘ内に接近していないと判定した場合（即ち，Ａ〜Ｂの期間）には，ステップＳ３０に進む。
【００６４】
次いで，ステップＳ３０では，基準リードリセット信号と，遅延回路５８を経由しない信号経路が選択される。（ステップＳ３０）。ステップＳ２０でライトアドレスとリードアドレスが所定範囲Ｘ内に接近していないと判定された場合，非同期リード制御部５６は，非同期ラインメモリ５２に送信するリードリセット信号ＲＲとして基準リードリセット信号を選択する。また，非同期ラインメモリ５２の出力の信号経路としては，遅延回路５８を経由せず直接後続回路に出力される信号経路が選択される。
【００６５】
一方，ステップＳ４０では，調整リードリセット信号と，遅延回路５８を経由する信号経路が選択される。（ステップＳ４０）。ステップＳ２０でライトアドレスとリードアドレスが所定範囲Ｘ内に接近していると判定された場合，非同期リード制御部５６は，非同期ラインメモリ５２に送信するリードリセット信号ＲＲとして調整リードリセット信号を選択する。また，非同期ラインメモリ５２の出力の信号経路としては，遅延回路５８を経由した上で後続回路に出力される信号経路が選択される。
【００６６】
その後，ステップＳ５０では，必要に応じてライン単位のジャンプ操作が行われる（ステップＳ５０）。例えば，図５で出力遅延量がＰ＋（Ｍ／２）に達したとき（Ｃ時点）では，調整リードリセット信号を用いたとしてもリードアドレスとライトアドレスがＸ内に接近してしまう。この場合には，非同期メモリ制御部５６は，メモリ遅延量が限界に達したと判断し，後段回路の動作のためにラインジャンプの操作を行い，１ライン分の読み出しを諦めて次のラインを読み出すようにする。これにより，メモリ遅延量と出力遅延量は大幅に減少し，ともにＭ／２となり，双方のアドレスの接近具合に余裕が生まれる。
【００６７】
次いで，ステップＳ６０では，選択されたリードリセット信号ＲＲと信号経路で，例えば１フレーム期間，非同期ラインメモリ５２のビデオ信号が読み出される（ステップＳ６０）。上記ステップＳ３０で基準リードリセット信号と遅延回路５８を経由しない信号経路が選択された場合には，非同期ラインメモリ５２は，基準リードリセット信号のリセットタイミングで，例えば１フレーム期間にわたりビデオ信号データをライン単位で読み出す。このようにして読み出されたビデオ信号は，遅延回路５８を介さないものが出力される。
【００６８】
一方，上記ステップＳ４０で調整リードリセット信号と遅延回路５８を経由する信号経路が選択された場合には，非同期ラインメモリ５２は，調整リードリセット信号のリセットタイミングで，例えば１フレーム期間にわたりビデオ信号データをライン単位で読み出す。このように非同期ラインメモリ５２から読み出されたビデオ信号は，遅延回路５８に入力され，読み出しタイミングを早めた分に相当する遅延量Ｍだけ遅延させる。このため，図５の実線と破線で示すように，出力遅延量がメモリ遅延量よりＭだけ大きくなる。これにより，基準リセット信号より早いタイミングの調整リードリセット信号に基づいてビデオ信号データを読み出したことに伴う，水平同期信号とのタイミングのずれを調整できる。
【００６９】
なお，この調整リードリセット信号は，基準リードリセット信号よりリード動作のタイミングがＭ＝２Ｘだけ早められており，また，１フレーム期間では非同期ライト動作と非同期リード動作の遅延量は最大でもＸである。従って，基準リードリセット信号から調整リードリセット信号に切り替えてリセットタイミングを早めた場合，次の１フレーム期間内にはアドレス通過が発生しないことが保証される。
【００７０】
以上までのステップにより，非同期リード動作が非同期ライト動作より遅い場合における，１フレーム分の非同期リード動作が完了する。その後は，再びステップＳ１０に戻り，上記と同様にして次のフレームの非同期リード動作を行う。このような非同期リード動作を繰り返して，基準クロックに基づいてビデオ信号を読み出し，必要に応じてジャンプ動作を複数回行うことで，ピクセルクロック単位およびライン単位でのライン同期化を実現できる。
【００７１】
次に，図６および図７に基づいて，非同期リード動作が非同期ライト動作より早い場合における，非同期リード動作について説明する。なお，図６は，本実施形態にかかる非同期リード動作が非同期ライト動作より早い場合における，非同期リード動作の動作フローを示すフローチャートである。また，図７は，本実施形態にかかる非同期リード動作が非同期ライト動作より早い場合における，非同期ライト動作に対する非同期リード動作の遅延量の時間変化を示すグラフ図である。なお，図７に示すＰ，Ｍ，実線，破線などの意味は，上記図５の場合と同様である。
【００７２】
図６に示すように，まず，ステップＳ１１０では，リセットタイミング比較器５７が，例えば１フレームに１度の，書き込み側ライトリセット信号と基準リードリセット信号のタイミング比較を行う点まで待つ。（ステップＳ１１０）。本ステップは，上記ステップＳ１０と略同一であるので説明を省略する。
【００７３】
次いで，ステップＳ１２０では，リセットタイミング比較器５７がライトアドレスとリードアドレスの接近具合を判定する（ステップＳ１２０）。待機していたリセットタイミング比較器５７は，リセットタイミング比較点に至った時点で，両アドレスの接近具合を判定し，判定結果を非同期リード制御部５６に送信する。
【００７４】
本動作フローでは，非同期リード動作が非同期ライト動作より早いので，リードアドレスがライトアドレスに徐々に近づいていき，メモリ遅延量が徐々に減少していくこととなる。これが進行し，図７でメモリ遅延量がＭ／２に達したとき（Ｅ時点）には，ライトアドレスに対するリードアドレスの差がＸにまで減少したことになる。即ち，リードアドレスとライトアドレスがクロック数差Ｘの範囲内にまで接近した状態となる。かかる状態で，リセットタイミング比較器５７が，リードアドレスとライトアドレスがＸ内に接近していると判定した場合（即ち，Ｅ〜Ｆの期間）には，ステップＳ１４０に進む。一方，双方が所定範囲Ｘ内に接近していないと判定した場合（即ち，Ｄ〜Ｅの期間）には，ステップＳ１３０に進む。
【００７５】
次いで，ステップＳ１３０では，基準リードリセット信号と，遅延回路５８を経由しない信号経路が選択される。（ステップＳ１３０）。本ステップは，上記ステップＳ１３０と略同一であるので説明を省略する。
【００７６】
一方，ステップＳ１４０では，調整リードリセット信号と，遅延回路５８を経由する信号経路が選択される。（ステップＳ１４０）。本ステップは，上記ステップＳ１４０と略同一であるので説明を省略する。
【００７７】
その後，ステップＳ１５０では，必要に応じてライン単位のリピート操作が行われる（ステップＳ１５０）。例えば，図７で出力遅延量がＭ／２に達したとき（Ｅ時点）には，非同期メモリ制御部５６は，メモリ遅延量が限界に達したと判断し，後段回路の動作のためにラインリピートの操作を行い，１度読み出した同一のラインを再び読み出し始めるようにする。これにより，メモリ遅延量と出力遅延量は大幅に増大し，双方のアドレスの接近具合に余裕が生まれる。
【００７８】
次いで，ステップＳ１６０では，選択されたリードリセット信号ＲＲと信号経路で，例えば１フレーム期間，非同期ラインメモリ５２のビデオ信号が読み出される（ステップＳ１６０）。本ステップは，上記のステップＳ６０と略同一であるので，説明を省略する。
【００７９】
以上までのステップにより，非同期リード動作が非同期ライト動作より早い場合における，１フレーム分の非同期リード動作が完了する。その後は，再びステップＳ１１０に戻り，上記と同様にして次のフレームの非同期リード動作を行う。このような非同期リード動作を繰り返して，基準クロックに基づいてビデオ信号を読み出し，必要に応じてリピート動作を複数回行うことで，ピクセルクロック単位およびライン単位でのライン同期化を実現できる。
【００８０】
次に，図８に基づいて，非同期メモリ装置でライン同期化されたビデオ信号の状態について説明する。なお，図８は，本実施形態にかかる非同期メモリ装置５０が出力したビデオ信号の状態を示す説明図である。
【００８１】
ジャンプおよびリピート動作を行わなかった場合では，図８（ａ）に示すように，ビデオ信号が，ライン＃１，ライン＃２，ライン＃３‥というように非同期ラインメモリ５２に書き込まれた順序通りに，ライン単位で出力される。
【００８２】
また，非同期リード動作が非同期ライト動作より遅いため，ジャンプ動作を行った場合には，例えば，図８（ｂ）に示すように，ライン＃１，ライン＃３，ライン＃４‥というように，ライン＃２が抜けた状態で出力される。
【００８３】
さらに，非同期リード動作が非同期ライト動作より早いため，リピート動作を行った場合には，例えば，図８（ｃ）に示すように，ライン＃１，ライン＃２，ライン＃２，ライン＃３‥というように，ライン＃２が繰り返された状態で出力される。
【００８４】
このように，ジャンプまたはリピート動作を行った場合には，非同期メモリ装置５０に入力されたビデオ信号と，非同期メモリ装置５０から出力されたビデオ信号との間で，ライン数が変化する。従って，非同期メモリ装置５０の上記動作によって，例えば１ライン分のデータを傷つけることになるが，有効映像領域外で切替操作を行えば有効画像に関しては問題ない。以上のようにして，非同期メモリ装置５０は，容量の比較的小さいＦＩＦＯメモリを利用して，入力同期信号に従って入力されたビデオ信号を，Ｖ単位を除く，ピクセルクロック単位およびＨ単位での基準同期信号に同期化した上で出力することができる。
【００８５】
次に，図９に基づいて，本実施形態にかかるライン調整装置および同期メモリ装置の構成について説明する。なお，図９は，本実施形態にかかるライン調整装置６０および同期メモリ装置７０の構成を示すブロック図である。
【００８６】
図９に示すように，ライン調整装置６０は，例えば複数の同期ラインメモリ６２−１，６２−２，‥６２−Ｌ（以下では，同期ラインメモリ６２という場合もある。）と，マルチプレクサ６４とを有する。
【００８７】
同期ラインメモリ６２は，例えばＦＩＦＯメモリなどからなるラインメモリ群であり，各々がビデオ信号の少なくとも１ライン分のデータを記憶できる容量を有する。かかる複数の同期ラインメモリ６２は，例えば直列的に接続されており，各々の出力をマルチプレクサ６４に出力可能な構成となっている。なお，かかる同期ラインメモリ６２は，上記のように複数具備されなくともよく，例えば，同期ラインメモリ６２−１だけといったように，１つだけ設けられてもよい。
【００８８】
マルチプレクサ６４は，非同期メモリ装置５０の出力したビデオ信号と，複数の同期ラインメモリ６２から入力された各ビデオ信号とを切り替えて出力できるスイッチ装置である。
【００８９】
かかる構成により，ライン調整装置６０は，非同期メモリ装置５０の出力したビデオ信号をライン単位で遅延して出力するライン遅延器として機能する。さらに，このライン調整装置６０は，非同期メモリ装置５０が出力したままの状態の遅延されていないビデオ信号と，１または２以上ライン分遅延させたビデオ信号とを，マルチプレクサ６４によって切り替えて出力できるので，同期メモリ装置７０に出力するビデオ信号の配列をライン単位で調整することができる。例えば，当初は，非同期メモリ装置５０の出力したビデオ信号を直接出力し，所定のタイミングからは，同期ラインメモリ６２−１を用いて例えば１ライン遅延させたビデオ信号を出力することができる。なお，かかるライン調整装置６０は，例えば，上記の非同期メモリ装置５０または後述する同期メモリ装置７０などの一部として構成してもよい。
【００９０】
また，同期メモリ装置７０は，ライン調整装置６０から出力されたビデオ信号をＶ単位で同期化する機能を有しており，図９に示すように，複数の同期フレームメモリ７２−１，７２−２，‥７２−Ｍ（以下では，同期フレームメモリ７２という場合もある。）と，同期ライト制御部７４と，同期リード制御部７６と，マルチプレクサ７８と，緊急用画像メモリ７９と，を有する。
【００９１】
同期フレームメモリ７２は，例えばＳＤＲＡＭ（同期メモリ），ＳＲＡＭなどからなるフレームメモリ群であり，各々が少なくともビデオ信号の１フレーム分のデータを記憶できる容量を有している。この複数の同期フレームメモリ７２は，相互に例えば並列的に接続されており，ライン調整装置６０から入力されたビデオ信号を，分割して記憶することができる。また，かかる同期フレームメモリ７２は，例えば１ポートであり，リード動作とライト動作を同時並行して独立に行うことができないので，少なくとも２つ以上を組合せて２重バッファ以上とする必要がある。
【００９２】
同期ライト制御部７４は，ライン調整装置６０から入力されたビデオ信号を，基準水平同期信号に基づいて上記複数の同期フレームメモリ７２にライン単位で交互に書き込む同期ライト動作を制御する機能を有する。この同期ライト制御部７４は，基準クロックに基づいて動作し，入力されたビデオ信号を書き込む同期フレームメモリ７２およびそのライトアドレスを指定する。この際，ライン単位で異なる同期フレームメモリ７２に交互に書き込むよう制御する。例えば，まず，先頭のライン＃１を同期フレームメモリ７２−１に書き込み，次いで，次のライン＃２を別の同期フレームメモリ７２−２に書き込み，さらに，次のライン＃３を別の同期フレームメモリ７２−３に書き込むといったように，ライトアドレスを指定する。
【００９３】
同期リード制御部７６は，同期フレームメモリ７２に書き込まれたビデオ信号を，基準水平同期信号に基づいてライン単位で交互に読み出す同期リード動作を制御する機能を有する。この同期ライト制御部７４も，基準クロックに基づいて動作しており，ビデオ信号を読み出す同期フレームメモリ７２およびそのリードアドレスを指定する。この際，上記同期ライト制御部７４によって書き込み中の同期フレームメモリ７２以外の同期フレームメモリ７２から，ライン単位で交互に読み出すよう制御する。例えば，同期フレームメモリ７２−１が書き込み中の場合には，別の同期フレームメモリ７２−２から１ライン分読み出し，次いで，同期フレームメモリ７２−２に書き込み中の場合には，同期フレームメモリ７２−３から１ライン分読み出すといったように，リードアドレスを指定する。
【００９４】
また，かかる同期ライト制御部７４と同期リード制御部７６は，同期ライト動作に対する同期リード動作の遅延量に応じて，同期リード動作で読み出されるビデオ信号を，基準垂直同期信号に基づいてフレーム単位でジャンプまたはリピートするよう制御する機能も有する。
【００９５】
以上のように，１ライン分のビデオ信号を書き込むライト動作と，１ライン分のビデオ信号を読み出す同期リード動作とを，複数の同期フレームメモリ７２間で交互に行うことができるのは，同期メモリ装置７０に入力されるビデオ信号が上記非同期メモリ装置５０によってライン単位で同期化され，ライン長が揃ってているからである。なお，上記同期ライト動作，同期リード動作を好適に制御すべく，同期ライト制御部７４と同期リード制御部７６との間では，ライトおよびリードアドレス情報が交換されている。また，上記同期ライト制御部７４と同期リード制御部７６とは，必ずしも別体に構成される必要はなく，例えば１つの制御部で構成してもよい。
【００９６】
また，緊急用画像メモリ７９は，入力ビデオ信号としてエラー信号が入力された場合や上記各部での信号処理に支障があった場合などに，一時的に外部に対して出力する緊急用画像（例えば「しばらくお待ちください」というコメントを表示する画像など）が記憶されているメモリである。上記同期リード制御部７６は，検出部２４からエラー検出信号２５が入力された場合には，かかる緊急用画像を出力するよう制御する。
【００９７】
マルチプレクサ７８は，複数の同期フレームメモリ７２から読み出されたビデオ信号と，緊急用画像の信号と，非同期メモリ装置５０からの直接入力されたビデオ信号と，を切り替えて出力するスイッチ装置である。
【００９８】
次に，上記のような構成のライン調整装置６０および同期メモリ装置７０の動作について説明する。
【００９９】
まず，図１０に基づいて，本実施形態にかかるライン調整装置の動作について説明する。なお，図１０は，上記非同期メモリ装置５０でジャンプ動作またはリピート動作がなされた場合における，非同期メモリ装置５０の出力ビデオ信号（上段）と，ライン調整装置６０が遅延させたビデオ信号（２段目）と，当該ビデオ信号が２つの同期フレームメモリ７２−１，７２−２に書き込まれた状態（下２段）を示す説明図である。
【０１００】
上記の非同期メモリ装置５０から出力されビデオ信号は，ライン単位で同期化されているので，ライン単位でジャンプまたはリピートしていなければ，同期メモリ装置７０に直接入力してフレーム単位の同期化を行うことができる。しかし，実際には，非同期メモリ装置５０の出力は，上記のようにライン単位でジャンプまたはリピートする処理がなされる場合がある。例えば，図１０（ａ）に示す例では，ライン＃２がジャンプしており，図１０（ｂ）に示す例では，ライン＃２がリピートしている。このような場合には，非同期メモリ装置５０の出力はライン数が変化し配列が乱れているので，かかる出力を直接入力しても同期メモリ装置７０は好適に処理を行うことができない。
【０１０１】
例えば，同期メモリ装置７０において同期フレームメモリ７２−１（ｍｅｍ＃１）と同期フレームメモリ７２−２（ｍｅｍ＃２）を用いて，それぞれのフレームメモリにビデオ信号の奇数ライン，偶数ラインを書き込むように設定したとする。かかる設定下では，ジャンプ，リピートが発生した非同期メモリ装置５０の出力を同期メモリ装置７０に直接入力すると，奇数，偶数ラインが逆転して書き込まれてしまい，画像垂直ぶれなどの原因となる。また，同期メモリ装置７０での同期リード動作でかかるアドレスのズレを修正するのは容易ではない。
【０１０２】
そこで，ライン調整装置６０が，非同期メモリ装置５０が出力したビデオ信号と，これを例えば１ライン遅延させたビデオ信号とを好適なタイミングで切り替えて，同期メモリ装置７０に出力することにより，奇数ライン・偶数ラインと同期フレームメモリ７２−１・７２−２との関係を維持できる。
【０１０３】
具体的には，ジャンプが起こっている図１０（ａ）の例では，１および２ライン目は，非同期メモリ装置５０が出力したビデオ信号を出力し，３ライン目からは１ライン遅延させたビデオ信号を出力している。かかる動作により，同期フレームメモリ７２−１には，ライン＃１，ライン＃３，ライン＃５‥が書き込まれ，同期フレームメモリ７２−２には，ライン＃３，ライン＃４，ライン＃６‥が書き込まれる。これにより，奇偶関係を失い不規則となっているのは，同期フレームメモリ７２−２のライン＃３（ハッチングを施してあるライン）だけとなる。
【０１０４】
また，リピートが起こっている図１０（ｂ）の例では，１，２および３ライン目は，非同期メモリ装置５０が出力したビデオ信号を出力し，４ライン目からは１ライン遅延させたビデオ信号を出力している。かかる動作により，同期フレームメモリ７２−１には，ライン＃１，ライン＃２，ライン＃３，ライン＃５‥が書き込まれ，同期フレームメモリ７２−２には，ライン＃２，ライン＃２，ライン＃４，ライン＃６‥が書き込まれる。これにより，不規則となっているのは，同期フレームメモリ７２−１のライン＃２と同期フレームメモリ７２−２の１つめのライン＃２だけとなる。
【０１０５】
このようなライン調整装置６０のライン調整動作により，非同期メモリ装置５０によるジャンプ，リピート動作の弊害を低減して，画像の絵乱れ等を十分に防止できる。
【０１０６】
次に，図１１に基づいて，本実施形態にかかる同期メモリ装置の同期ライト動作及び同期リード動作について説明する。なお，図１１は，本実施形態にかかる同期メモリ装置７０が複数の同期フレームメモリ７２に同期ライト動作および同期リード動作を行うタイミングを示す説明図である。なお，図１１では，同期フレームメモリ７２の例として，（ａ）３つのＳＤＲＡＭを用いた場合，（ｂ）２つの高速動作可能なＳＤＲＡＭを用いた場合，（ｃ）２つのリフレッシュが不要なメモリを用いた場合，をそれぞれ示す。
【０１０７】
図１１に示すように，ライン調整装置６０から入力されたビデオ信号は，複数の同期フレームメモリ７２にライン毎に交互に順次書き込まれていくとともに，複数の同期フレームメモリ７２からライン毎に交互に順次読み出されている。この際，各ラインの書き込みと読み出しとを同一のタイミングで行うことができる。これは，上記非同期メモリ装置５０でビデオ信号がライン単位で同期化されているので，各ラインの時間長が揃っているからである。このため，同期メモリ装置７０におけるライトアドレスおよびリードアドレスの制御が非常に簡単になる。
【０１０８】
以下に，個々の場合についてより詳細に説明する。
【０１０９】
まず，図１１（ａ）に示すように，同期フレームメモリ７２としてＳＤＲＡＭを用いた場合には，安価かつ大容量のメモリを搭載できるというメリットがあるが，定期的にリフレッシュ動作を行わなければならない。このため，例えば少なくとも３つの同期フレームメモリ７２を設ける必要がある。これにより，各同期フレームメモリ７２では，例えば，同期ライト動作と同期リード動作の間に例えば毎回リフレッシュ動作を行いながら，同期ライト動作，同期リード動作が交互に行われる。
【０１１０】
具体的には，まず，最初の期間（即ち，水平同期期間）では，同期フレームメモリ７２−１（ｍｅｍ＃１）にライン＃１を書き込む。次いで，次の期間では，同期フレームメモリ７２−１にリフレッシュ動作を行うとともに，同期フレームメモリ７２−２（ｍｅｍ＃２）にライン＃２を書き込む。さらに，次の期間では，同期フレームメモリ７２−１からライン＃ｋを読み出し，同期フレームメモリ７２−２にリフレッシュ動作を行うとともに，同期フレームメモリ７２−３にライン＃３を書き込む。さらに，次の期間では，同期フレームメモリ７２−１にライン＃４を書き込み，同期フレームメモリ７２−２からライン＃ｋ＋１を読み出すとともに，同期フレームメモリ７２−３にリフレッシュ動作を行う。かかる動作を繰り返すことで，同期ライト動作と同期リード動作を同時並行して行うことができる。
【０１１１】
また，図１１（ｂ）に示すように，同期フレームメモリ７２として高速動作（例えば２倍速動作）可能なＳＤＲＡＭを用いた場合には，１つの期間で例えば２つの動作（例えばライト動作とリフレッシュ動作）を行うことができるので，同期フレームメモリ７２が２つで済む。
【０１１２】
具体的には，まず，最初の期間では，同期フレームメモリ７２−１にライン＃１を書き込んだ上でリフレッシュ動作を行う。次いで，次の期間では，同期フレームメモリ７２−１からライン＃Ｋを読み出すとともに，同期フレームメモリ７２−２にライン＃２を書き込んだ上でリフレッシュ動作を行う。さらに，次の期間では，同期フレームメモリ７２−１にライン＃３を書き込んだ上でリフレッシュ動作を行うとともに，同期フレームメモリ７２−２からライン＃ｋ＋１読み出す。かかる動作を繰り返すことで，同期ライト動作と同期リード動作を同時並行して行うことができる。
【０１１３】
また，図１１（ｃ）に示すように，同期フレームメモリ７２として例えば大容量のＳＲＡＭなどのリフレッシュが不要なメモリを用いた場合にも，同期フレームメモリ７２を例えば２つだけ設けることで動作可能となる。
【０１１４】
具体的には，まず，最初の期間では，同期フレームメモリ７２−１にライン＃１を書き込む。次いで，次の期間では，同期フレームメモリ７２−１からライン＃Ｋを読み出すとともに，同期フレームメモリ７２−２にライン＃２を書き込む。さらに，次の期間では，同期フレームメモリ７２−１にライン＃３を書き込むとともに，同期フレームメモリ７２−２からライン＃ｋ＋１読み出す。かかる動作を繰り返すことで，同期ライト動作と同期リード動作を同時並行して行うことができる。
【０１１５】
以上の例のようにして，同期メモリ装置７０は，同一の基準同期信号に基づいて，同一のタイミングで書き込んだり読み出したりしながら，同期ライト動作および同期リード動作を行うことができる。
【０１１６】
ところで，上記非同期メモリ装置５０のジャンプ・リピート動作により，同期メモリ装置７０に入力されるビデオ信号は，基準ビデオ信号と比べてライン数が増減している場合がある。即ち，入力されるライン数が多い場合には，同期リード動作でのリードアドレスが遅れていくため，同期フレームメモリ７２には読み出されていないラインが溜まっていってしまう。一方，入力されるライン数が少ない場合には，同期リード動作でのリードアドレスが早まっていくため，同期フレームメモリ７２には読み出すべきラインが足りなくなってしまう。
【０１１７】
このため，同期メモリ装置７０は，外部に対して出力するビデオ信号のフレーム数を調整する必要がある。そこで，同期リード動作制御部５４は，ライトアドレスとリードアドレスのずれ量に応じて，例えば基準垂直同期信号の入力時にリードアドレスを不連続にジャンプまたはリピートさせるよう制御する。これにより，出力するビデオ信号がフレーム単位でジャンプまたはリピートするので，フレーム単位（Ｖ単位）での同期化を好適に行うことができる。
【０１１８】
また，同期フレームメモリ７２が，ビデオ信号を例えば２フレーム以上記憶可能な容量を確保するよう構成してもよい。かかる構成により，例えば，大きなエラーが生じておりそのままの状態では出力することが好ましくない画像フレームデータが入力された場合であっても，その前に書き込まれている正常な画像フレームデータを再度出力することで，絵乱れを防止することができる。
【０１１９】
次に，図１に示した出力部４０の出力信号処理部４２の動作について説明する。
【０１２０】
出力信号処理部４２は，フレームシンクロナイザ部３０から入力されたビデオ信号において，例えばＴＲＳ，ＬＮおよびＣＲＣＣなどを画像データに基づいて生成する機能を有する。また，この出力信号処理部４２は出力するビデオ信号の有効映像領域または補助データ領域などにおける不正値処理を行うことができる。
【０１２１】
より詳細には，画像音声同期化装置１０に入力されるビデオ信号は，前段のラウティングスイッチなどで不連続に切り替えられることなどが原因で，ＴＲＳ等が傷つけられていることがある。傷ついたデータをそのまま出力すると，後段の機器で不具合を生ずる原因となる。そこで，出力信号処理部４２は，当該ビデオ信号内に含まれる不正値を検出した場合には，以下のような修正を行った上で出力する。
【０１２２】
まず，有効映像領域内の画像データについては，振幅リミッタ機能により，信号の振幅が通常の画像信号の有効範囲内に収まるように修正する。例えば，入力された画像信号の振幅が，上限値以上または下限値以下である場合には，入力された振幅値に代えて当該上限値または下限値を出力し，それ以外の場合にはそのままの振幅値で出力する。
【０１２３】
また，ＴＲＳ部分では，例えば全ての信号を透過的として，修正を行わない。
【０１２４】
また，アンシラリ領域では，０ｘ０００や０ｘ３ＦＦを検出した場合，単純にこれをリミットするのでなく，アンシラリパケットヘッダのときは０ｘ０００，０ｘ３ＦＦ，０ｘ３ＦＦのパタン値を透過的とし，他のパタン値の場合は置換して出力する。
【０１２５】
このような不正値処理により，上記ラウティングスイッチなどによる入力ビデオ信号の不連続な切替操作などで発生したデータの破損を補うことができる。これにより，後段機器の信号検出機構のミスを低減して，画像乱れなどのエラーを抑制することができる。
【０１２６】
以上説明したように，本実施形態にかかる画像音声同期化装置１０によれば，ＨＤＴＶ用途の大容量フレームデータを同期化する場合であっても，フレームメモリとして高価な大容量ＦＩＦＯメモリやＳＲＡＭなどを用いることなく，安価なＳＤＲＡＭなどで好適に同期化でき，装置のコストダウンが図れる。さらに，ＳＤＲＡＭを利用するなどして，メモリ関連部品を少数に削減できるので，機器の小型化，低消費電力化が図れ，環境負荷も低減できる。
【０１２７】
（第２の実施の形態）
次に，本発明の第２の実施形態にかかる画像音声同期化装置について説明する。第２の実施形態にかかる画像音声同期化装置は，上記第１の実施形態にかかる画像音声同期化装置と比して，音声分離処理装置が追加されている点で相違するのみであり，その他の機能構成は略同一であるので，その説明は省略する。
【０１２８】
まず，図１２に基づいて，本実施形態にかかる音声分離処理装置を備えた画像音声同期化装置の全体構成について説明する。なお，図１２は，本実施形態にかかる音声分離処理装置１００を備えた画像音声同期化装置１０の構成を示すブロック図である。
【０１２９】
図１２に示すように，画像音声同期化装置１０は，上記第１の実施形態と同様な入力部２０，フレームシンクロナイザ部３０および出力部４０に加え，本実施形態の特徴である音声分離処理装置１００を備える。なお，フレームシンクロナイザ部３０の出力は後述する音声信号混合部１１８を介して出力部４０に入力されている。また，入力部２０の検出部２４のエラー検出信号２５は，フレームシンクロナイザ部３０以外にも，音声信号混合部１１８およびゲイン調整部１１６などに入力されている。
【０１３０】
次に，図１２に基づいて，本実施形態にかかる音声分離処理装置の構成およびその動作について詳細に説明する。
【０１３１】
図１２に示すように，音声分離処理装置１００は，音声信号分離部１０２と，第１の周波数調整部１０４と，外部音声入力部１０６と，音声信号セレクタ１０８と，標本化周波数変換部１１０と，第２の周波数調整部１１２と，音声信号遅延部１１４と，ゲイン調整部１１６と，音声信号混合部１１８と，第３の周波数調整部１２０と，音声出力部１２２と，を有する。以下に，これら各部の機能構成及びその動作について詳細に説明する。
【０１３２】
音声信号分離部１０２は，入力部２０から入力されたビデオ信号から，音声信号（音声データ）を分離して取り出す機能を有する。これにより，非同期メモリ装置５０に入力される前の，入力同期信号に同期した音声信号が得られる。
【０１３３】
第１の周波数調整部１０４は，例えばＦＩＦＯメモリなどで構成され，音声信号分離部１０２から入力された音声信号を，ビデオ用のクロック（周波数）領域から，音声用のクロック領域に周波数変換する機能を有する。ここでいう，ビデオ用のクロックとは，入力されたビデオ信号のクロック（即ち，入力クロック）である。また，音声用のクロックとは，入力クロックに同期した音声用のクロック（以下では，入力音声クロックという。）である。なお，入力音声クロックはＰＬＬ（Ｐｈａｓｅ Ｌｏｃｋｅｄ Ｌｏｏｐ）により入力クロックに基づいて生成されている。上記のような第１の周波数調整部１０４の動作により，後述の標本化周波数変換部１１０が音声レベルでの音声信号の処理が可能になる。
【０１３４】
外部音声入力部１０６は，例えばデコーダであり，外部から上記のビデオ信号とは独立して入力された例えばＡＥＳ／ＥＢＵ（Ａｕｄｉｏ Ｅｎｇｉｎｅｅｒｉｎｇ Ｓｏｃｉｅｔｙ／Ｅｕｒｏｐｅａｎ Ｂｒｏａｄｃａｓｔｉｎｇ Ｕｎｉｏｎ）フォーマットのデジタルオーディオ信号（以下では，単に外部音声信号という。）を復号する。
【０１３５】
音声信号セレクタ１０８は，第１の周波数調整部１０４から入力された音声信号と，外部音声入力部１０６から入力された外部音声信号を切り替えて，標本化周波数変換部１１０に出力するスイッチ装置である。
【０１３６】
標本化周波数変換部１１０は，入力音声クロックに従う音声信号を，基準クロックに同期した音声用のクロック（以下では，出力音声クロックという。）に従うよう，非同期標本化周波数（サンプリングレート）変換する機能を有する。なお，出力音声クロックはＰＬＬにより基準クロックに基づいて生成されている。かかる標本化周波数変換部１１０の非同期標本化周波数変換動作により，ジャンプ・リピート動作によりデータの連続性を乱すことなく，音声信号を基準クロックに同期させることができる。
【０１３７】
第２の周波数調整部１１２は，例えばＦＩＦＯメモリなどで構成され，標本化周波数変換部１１０から入力された音声信号を，出力音声クロック領域から，ビデオ用の基準クロック領域に周波数変換する機能を有する。かかる第２の周波数調整部１０４の動作により，音声信号の周波数がビデオ用の周波数に調整されるため，後続の各部がビデオ用の基準クロックに基づいて動作することができる。
【０１３８】
音声信号遅延部１１４は，音声信号を所定時間遅延させる機能を有する。即ち，音声信号遅延部１１４は，ビデオ信号とは別に，音声信号の遅延時間を独立して調整することができる。上記のように，ビデオ信号の画像データはフレームシンクロナイザ部３０で所定量遅延するので，かかる遅延量だけ音声信号を遅延させることにより，分離処理した音声データと画像データとのズレを補正することができる。
【０１３９】
ここで，図１３に基づいて，この音声信号遅延部１１４について，より詳細に説明する。なお，図１３は，音声信号遅延部１１４の構成を示すブロック図である。
【０１４０】
図１３に示すように，音声信号遅延部１１４は，音声遅延調整回路１３０と，クロスフェード処理部１３８とを有する。
【０１４１】
音声遅延調整回路１３０は，例えばＳＤＲＡＭ等のメモリ装置などからなり，入力された音声信号を画像データの遅延量に応じて遅延させることができる。この音声遅延調整回路１３０は，例えば２つの音声遅延回路１３１，１３２を備えることで，多様な遅延時間調整が可能になる。例えば音声遅延回路１３１から出力された遅延調整後の音声信号と，例えば音声遅延回路１３２から出力された遅延調整前の音声信号は，クロスフェード処理部１４０に入力される。
【０１４２】
なお，これら両音声遅延回路１３１，１３２は，ビデオクロック周波数で動作するメモリ装置を用いて実現しているので，データの読書きは連続的ではなく十分な休止期間がある。従って，図１３のように別個の遅延メモリを用いても実現できるし，一つのメモリを時分割し，等価的に２組の遅延回路があるように構成しても良い（図示は省略する）。
【０１４３】
クロスフェード処理部１４０は，調整前の音声信号をフェードアウトさせながら，調整後の音声信号をフェードインさせるクロスフェード処理を行う。より詳細には，例えば，遅延調整前の音声信号を（１−ｋ）倍する乗算器１４４と，遅延調整後の音声信号をｋ倍する乗算器１４２と，双方の出力を加算する加算器１４６とを同時に動作させ，例えばｋの値を０から１に徐々に増加させる。これにより，遅延されていない音声信号と遅延された音声信号が徐々に入れ替わってゆき，双方が切り替わるポイントが曖昧になる。かかるクロスフェード処理部１４０の動作により，音声信号の遅延処理に伴う雑音を軽減することができる。
【０１４４】
また，図１２に示すゲイン調整部１１６は，音声信号遅延部１１４から入力された音声信号のゲイン調整やミュートを行うことができる。このため，このゲイン調整部１１６によっても，音声信号を徐々に小さくするミュート機能を利用して，遅延時間を調整する際の発生雑音を低減することができる。これはハードウエアを簡略化しクロスフェード処理を用いない場合に有効となる。
【０１４５】
また，ゲイン調整部１１６には，検出部２４からのエラー検出信号２５が入力されており，ゲイン調整部１１６は，かかるエラー検出信号２５に応じて，好適にゲイン調整やミュートを行うことができる。例えば，ラウティングスイッチによるビデオ信号の不連続な切替が起こったときには，検出部２４が入力信号の不連続を検出して，ゲイン調整部１１６にエラーの発生を通知する。この通知を受けて，ゲイン調整部１１６は，例えば適宜無音パケットを生成し，入力された音声信号の代わりに出力する。これにより，後続機器において，ＰＬＬが復帰するまでの間，入力信号が断続したことに伴う劣悪な雑音の発生を低減することができる。
【０１４６】
音声信号混合部１１８は，ゲイン調整部１１６から入力された音声信号を，フレームシンクロナイザ部３０から出力されたビデオ信号に混合する機能を有する。即ち，上記のように独立に周波数変換されるなどして分離処理された音声信号を，当該ビデオ信号内の元の音声データと置換する形で，当該ビデオ信号に混合する。
【０１４７】
第３の周波数調整部１２０は，例えばＦＩＦＯメモリなどで構成され，ゲイン調整部１１６から入力された音声信号を，ビデオ用の基準クロック領域から，音声用のクロック領域に周波数変換する機能を有する。また，音声出力部１２２は，エンコーダなどであり，第３の周波数調整部１２０から入力された音声信号を符号化して外部に出力する。このような，第３の周波数調整部１２０および音声出力部１２２を設けることにより，ビデオ信号とは別に音声信号のみを外部に対して出力できる。
【０１４８】
なお，音声信号のみを外部に出力するための，第３の周波数調整部１２０および音声出力部１２２は，機器仕様等により必ずしも具備されなくともよい。また，外部から外部音声信号を入力するための，上記外部音声入力部１０６および音声信号セレクタ１０８も，同様に必ずしも具備されなくともよい。
【０１４９】
以上のような構成の音声分離処理装置１００は，フレームシンクロナイザ部３０に入力される前の段階で，ビデオ信号から音声データを取り出し，標本化周波数変換を行い，変換した音声データを元のビデオ信号に再び混合するという，音声分離処理動作を行うことができる。従って，本実施形態にかかる画像音声同期化装置１０は，この音声分離処理装置１００により音声を分離処理する動作モードと，かかる音声分離処理を行わず，第１の実施形態のようにフレームシンクロナイザ部３０で画像データの補助データとして音声データを処理する動作モードという２種類の音声処理動作モードを実現することができる。
【０１５０】
加えて，標本化周波数変換部１１０による非同期標本化周波数変換動作では，出力する音声信号内に過不足のない数の音声データを挿入することができる。このため，画像データがフレーム単位でリピートまたはジャンプをする場合であっても，音声データは連続であり，従来のような補助データを同期化することに伴う音声データの途切れ，繰返しによる不自然な雑音が発生しない。なお，かかる分離処理方式は，例えばソフトウエアによるフレーム数変換の際にも応用できる。
【０１５１】
また，上記音声分離処理装置１００において，非同期周波数変換後の音声信号を取り扱う音声信号遅延部１１４およびゲイン調整部１１６などの各部は，上記のように，ビデオ用の基準クロックに基づいて動作できる点が特徴的である。この特徴により，音声分離処理装置１００をフレームシンクロナイザ部３０などと同一基板またはビデオ用機器などの共通ハードウエアに実装することができ，装置の開発時間や製造コストを削減できる。
【０１５２】
また，独立して入力した外部音声信号であっても，標本化周波数変換することにより，雑音を伴うことなくビデオ信号に混合できる。この場合，外部音声信号とビデオ信号との同期が不要であり，簡単な機構を追加するだけで幅広い応用が可能な混合装置を実現できる。
【０１５３】
以上，添付図面を参照しながら本発明の好適な実施形態について説明したが，本発明はかかる例に限定されない。当業者であれば，特許請求の範囲に記載された技術的思想の範疇内において各種の変更例または修正例に想到し得ることは明らかであり，それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１５４】
例えば，上記実施形態にかかる画像音声同期化装置１０は，フレームシンクロナイザとして機能したが，本発明はかかる例に限定されない。例えば，非同期メモリ装置５０の出力を最終出力として取り出すことにより，ライン同期化装置を容易に実現できる。また，基準クロックに代えて入力クロックを全体に適用することにより，固定遅延装置を実現することもできる。さらに，非同期メモリ装置５０と同期メモリ装置７０を組み合わせることにより，ライン同期した遅延装置を実現することもできる。
【０１５５】
【発明の効果】
以上説明したように，本発明によれば，非同期メモリ装置と同期メモリ装置を組み合わせることにより，ＨＴＤＶ用途などの大容量のフレームデータからなるビデオ信号であっても，比較的少量かつ安価なメモリ装置を用いて，好適にフレーム同期化することができる。このため，画像音声同期化装置のコストおよび実装規模を低減できるとともに，リードおよびライト動作のアドレス制御が容易になる。
【０１５６】
また，音声分離処理装置を設けて，音声データの標本化周波数変換を独立して行うことにより，同期化に伴う雑音を抑制することができる。
【図面の簡単な説明】
【図１】図１は，第１の実施形態にかかる画像音声同期化装置の全体構成を示すブロック図である。
【図２】図２は，ＳＭＰＴＥ規格のＨＤＴＶ用ＳＤＩフォーマットの例を模式的に示す説明図である。
【図３】図３は，第１の実施形態にかかる非同期メモリ装置の構成を示すブロック図である。
【図４】図４は，第１の実施形態にかかる非同期リード動作が非同期ライト動作より遅い場合における，非同期リード動作の動作フローを示すフローチャートである。
【図５】図５は，第１の実施形態にかかる非同期リード動作が非同期ライト動作より遅い場合における，非同期ライト動作に対する非同期リード動作の遅延量の時間変化を示すグラフ図である。
【図６】図６は，第１の実施形態にかかる非同期リード動作が非同期ライト動作より早い場合における，非同期リード動作の動作フローを示すフローチャートである。
【図７】図７は，第１の実施形態にかかる非同期リード動作が非同期ライト動作より早い場合における，非同期ライト動作に対する非同期リード動作の遅延量の時間変化を示すグラフ図である。
【図８】図８は，第１の実施形態にかかる非同期メモリ装置が出力したビデオ信号の状態を示す説明図である。
【図９】図９は，第１の実施形態にかかるライン調整装置および同期メモリ装置の構成を示すブロック図である。
【図１０】図１０は，非同期メモリ装置でジャンプ動作またはリピート動作がなされた場合における，非同期メモリ装置の出力ビデオ信号（上段）と，ライン調整装置が遅延させたビデオ信号（２段目）と，当該ビデオ信号が２つの同期フレームメモリに書き込まれた状態（下２段）を示す説明図である。
【図１１】図１１は，第１の実施形態にかかる同期メモリ装置が複数の同期フレームメモリに同期ライト動作および同期リード動作を行うタイミングを示す説明図である。
【図１２】図１２は，第２の実施形態にかかる音声分離処理装置を備えた画像音声同期化装置の構成を示すブロック図である。
【図１３】図１３は，第２の実施形態にかかる音声信号遅延部の構成を示すブロック図である。
【符号の説明】
１０ ： 画像音声同期化装置
２０ ： 入力部
２０ ： 検出部
２５ ： エラー検出信号
３０ ： フレームシンクロナイザ部
４０ ： 出力部
４２ ： 出力信号処理部
５０ ： 非同期メモリ装置
５２ ： 非同期ラインメモリ
５４ ： 非同期ライト制御部
５５ ： セレクタ
５６ ： 非同期リード制御部
５７ ： リセットタイミング比較器
５８ ： 遅延回路
６０ ： ライン調整装置
６２ ： 同期ラインメモリ
７０ ： 同期メモリ装置
７２ ： 同期フレームメモリ
７４ ： 同期ライト制御部
７６ ： 同期リード制御部
１００ ： 音声分離処理装置
１０２ ： 音声信号分離部
１０６ ： 外部音声入力部
１０８ ： 音声信号セレクタ
１１０ ： 標本化周波数変換部
１１４ ： 音声信号遅延部
１１６ ： ゲイン調整部
１１８ ： 音声信号混合部
１４０ ： クロスフェード処理部
Claims (13)
- 入力同期信号に従って入力されたビデオ信号を，基準同期信号に同期させて出力する画像音声同期化装置であって：
前記入力されたビデオ信号をライン単位で同期化する非同期メモリ装置と；
前記非同期メモリから出力されたビデオ信号をフレーム単位で同期化する同期メモリ装置と；
を備えることを特徴とする，画像音声同期化装置。 - 前記非同期メモリ装置は，
少なくとも前記ビデオ信号の１ライン分および１フレーム当たりのクロック誤差分を記憶するデュアルポートの非同期ラインメモリと；
前記入力されたビデオ信号を前記入力同期信号に基づいて前記非同期ラインメモリに書き込む非同期ライト動作を制御する非同期ライト制御部と；
前記非同期ラインメモリに記憶されたビデオ信号を前記基準同期信号に基づいて読み出す非同期リード動作を制御し，前記非同期ライト動作に対する前記非同期リード動作の遅延量に応じて，前記非同期リード動作で読み出すビデオ信号をライン単位でジャンプまたはリピートさせる非同期リード制御部と；
を備えることを特徴とする，請求項１に記載の画像音声同期化装置。 - 前記非同期ラインメモリは，ＦＩＦＯメモリであることを特徴とする，請求項２に記載の画像音声同期化装置。
- 前記記非同期ラインメモリの容量は，１ライン分の容量に加えて少なくとも入出力ビデオ信号間の１フレーム当たりのクロック誤差を吸収できる余裕があることを特徴とする，請求項２に記載の画像音声同期化装置。
- 前記非同期メモリ装置は，さらに，
前記非同期ライト動作を制御するためのライトリセット信号と，前記非同期リード動作を制御するためのリードリセット信号のタイミングを比較して，前記非同期ラインメモリのライトアドレスとリードアドレスとが所定範囲内に接近しているか否かを検出するリセットタイミング比較器と；
前記リセットタイミング比較器の検出結果に応じて，前記基準同期信号に基づいた基準リードリセット信号と，前記基準リードリセット信号を所定時間早めた調整リードリセット信号とを切り替えるセレクタと；
前記非同期ラインメモリから読み出されたビデオ信号を前記所定時間だけ遅延させる遅延回路と；
を備えており，
前記リセットタイミング比較器が前記ライトアドレスと前記リードアドレスとが前記所定範囲内に接近していると検出した場合には，
前記非同期リード制御部は，前記調整リードリセット信号に基づいて前記非同期ラインメモリに記憶されたビデオ信号を読み出し，前記遅延回路によって前記所定時間遅延させてから出力することを特徴とする，請求項２に記載の画像音声同期化装置。 - 前記非同期メモリ装置から出力されたビデオ信号と，前記非同期メモリ装置から出力されたビデオ信号を少なくとも１ライン遅延させたビデオ信号とを切り替えて，前記同期メモリ装置に出力するライン調整装置を備えることを特徴とする，請求項１に記載の画像音声同期化装置。
- 前記同期メモリ装置は，
前記非同期メモリ装置から出力されたビデオ信号の少なくとも１フレーム分を記憶可能な複数の同期フレームメモリと；
前記非同期メモリ装置から出力されたビデオ信号を，前記基準同期信号に基づいて前記複数の同期フレームメモリにライン単位で交互に書き込む同期ライト動作を制御する同期ライト制御部と；
前記複数の同期フレームメモリに記憶されたビデオ信号を，前記同期ライト制御部の書き込み動作が行われていない前記同期フレームメモリから，前記基準同期信号に基づいてライン単位で交互に読み出す同期リード動作を制御し，前記同期ライト動作に対する前記同期リード動作の遅延量に応じて，前記同期リード動作で読み出されるビデオ信号をフレーム単位でジャンプまたはリピートさせる同期リード制御部と；
を備えることを特徴とする，請求項１に記載の画像音声同期化装置。 - 前記同期フレームメモリは，ＳＤＲＡＭであることを特徴とする，請求項７に記載の画像音声同期化装置。
- 前記同期メモリ装置は，前記同期ライト動作のライトアドレスおよび前記同期リード動作のリードアドレスを１フレーム毎に変化できることを特徴とする，請求項７に記載の画像音声同期化装置。
- 前記画像音声同期化装置は，さらに，
前記入力されたビデオ信号から，音声信号を分離する音声信号分離部と；
前記分離された音声信号を前記基準同期信号に基づいて標本化周波数変換する標本化周波数変換部と；
前記同期メモリ装置から出力されたビデオ信号に，前記標本化周波数変換された音声信号を混合する音声信号混合部と；
を有する音声分離処理装置を備えることを特徴とする，請求項１に記載の画像音声同期化装置。 - 前記音声分離処理装置は，さらに，前記周波数変換された音声信号を前記基準同期信号に基づいて遅延させる音声信号遅延部を備えることを特徴とする，請求項１０に記載の画像音声同期化装置。
- 前記音声信号遅延部は，遅延調整前の音声信号と遅延調整後の音声信号をクロスフェード処理するクロスフェード処理部を有することを特徴とする，請求項１１に記載の画像音声同期化装置。
- 前記音声分離処理装置は，さらに，
外部音声信号が入力される外部音声入力部と；
前記外部音声信号と前記分離された音声信号のいずれかを前記標本化周波数変換部に入力する音声信号セレクタと；
を備えることを特徴とする，請求項１０に記載の画像音声同期化装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002171275A JP3882688B2 (ja) | 2002-06-12 | 2002-06-12 | 画像音声同期化装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002171275A JP3882688B2 (ja) | 2002-06-12 | 2002-06-12 | 画像音声同期化装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004023134A true JP2004023134A (ja) | 2004-01-22 |
| JP3882688B2 JP3882688B2 (ja) | 2007-02-21 |
Family
ID=31171180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002171275A Expired - Fee Related JP3882688B2 (ja) | 2002-06-12 | 2002-06-12 | 画像音声同期化装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3882688B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009088654A (ja) * | 2007-09-27 | 2009-04-23 | Oki Electric Ind Co Ltd | フレームシンクロナイザ、フレーム同期方法、およびプログラム |
| JP2009296383A (ja) * | 2008-06-05 | 2009-12-17 | Sony Corp | 信号送信装置、信号送信方法、信号受信装置及び信号受信方法 |
| CN114845004A (zh) * | 2022-07-04 | 2022-08-02 | 杭州兆华电子股份有限公司 | 一种音视频同步实现方法及声学成像方法 |
-
2002
- 2002-06-12 JP JP2002171275A patent/JP3882688B2/ja not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009088654A (ja) * | 2007-09-27 | 2009-04-23 | Oki Electric Ind Co Ltd | フレームシンクロナイザ、フレーム同期方法、およびプログラム |
| JP2009296383A (ja) * | 2008-06-05 | 2009-12-17 | Sony Corp | 信号送信装置、信号送信方法、信号受信装置及び信号受信方法 |
| JP4702402B2 (ja) * | 2008-06-05 | 2011-06-15 | ソニー株式会社 | 信号送信装置、信号送信方法、信号受信装置及び信号受信方法 |
| US8238332B2 (en) | 2008-06-05 | 2012-08-07 | Sony Corporation | Signal transmitting and receiving devices, systems, and method for multiplexing parallel data in a horizontal auxiliary data space |
| CN114845004A (zh) * | 2022-07-04 | 2022-08-02 | 杭州兆华电子股份有限公司 | 一种音视频同步实现方法及声学成像方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3882688B2 (ja) | 2007-02-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3633972B2 (ja) | 音声信号と映像信号を同期させる装置 | |
| JP2004208308A (ja) | オーディオフレームおよび／またはビデオフレームの再生を同期化する方法と装置、ビデオドライバ回路、デコーダボックス | |
| US20060120462A1 (en) | Compressed stream decoding apparatus and method | |
| US20020141451A1 (en) | Clock slaving methods and arrangements | |
| JP2007028261A (ja) | 映像音声再生装置および映像音声再生方法 | |
| CN1418430A (zh) | 用于同时记录和显示两个不同的视频节目的方法和装置 | |
| US20090096921A1 (en) | Image processing apparatus, method, program, and recording medium | |
| TWI391827B (zh) | 資料傳送裝置、時脈切換電路及時脈切換方法 | |
| JP2000092348A (ja) | フレームシンクロナイザ | |
| KR20140018235A (ko) | 패킷화된 통신 네트워크를 통해 통신되는 스트리밍 콘텐츠를 위한 클럭 복원 메커니즘 | |
| JP4452136B2 (ja) | データ同期再生装置及び端末装置 | |
| JPH06326968A (ja) | ビデオ信号同期装置 | |
| JP3882688B2 (ja) | 画像音声同期化装置 | |
| JP2010506538A (ja) | マルチメディアシステムにおける、最小数の水晶を用いたクロック発生 | |
| JP2004350292A (ja) | Ｄｖｂ−ａｓｉ方式のデジタル放送受信器の非同期伝送ストリーム受信装置及びその非同期伝送ストリーム伝送方法 | |
| US20110135010A1 (en) | System and method for av synchronization of encoder data | |
| CN112422770A (zh) | 一种针对多台4k分辨率的视频处理器的同步方法及系统 | |
| JP6259227B2 (ja) | クロック再生制御装置と映像信号受信装置 | |
| JP4000771B2 (ja) | 同期管理システム | |
| KR20200080095A (ko) | 멀티 스트림 이미지 처리 장치 및 방법 | |
| KR100279582B1 (ko) | 디지탈 영상압축신호의 편집장치 | |
| JP2007201797A (ja) | 伝送システム及び映像出力方法 | |
| CN114189727B (zh) | 同步播放方法、装置、系统、电子设备及可读存储介质 | |
| JP2020145585A (ja) | 同期化装置、同期化方法及びプログラム | |
| JPH1023402A (ja) | 並列ビデオデコーダシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050415 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061024 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061106 |
|
| LAPS | Cancellation because of no payment of annual fees |