JP2005527840A - 光学フィルム・サウンド・トラックのディジタル再生 - Google Patents

Abstract

本発明は、アナログ光学サウンド・トラックを含むフィルムを再生する方法に関する。この方法は、前記アナログ光学サウンド・トラックだけの画像を形成するステップと、この画像を記憶し、記憶された画像の一部を空間的画像として表すステップと、空間的画像を処理してメジアン値を形成し、空間的画像のメジアン値を、前記サウンド・トラック中で表される信号に変換するステップと、前記記憶された画像の一部を空間的画像として表すステップおよび空間的画像を処理するステップを繰り返して、アナログ光学サウンド・トラックの画像の全てについてメジアン値を形成するステップとを含んでいる。

Description

本発明は、光学的に記録されたアナログ・サウンド・トラック（ａｎａｌｏｇ ｓｏｕｎｄ ｔｒａｃｋ）の再生に関し、より詳細には、記録された信号の品質を復元することに関する。

光学式録音は、アナログ映画サウンド・トラックに利用される最も一般的なフォーマット（形式）である。このアナログ・フォーマットは、可変面積方法（ｖａｒｉａｂｌｅ ａｒｅａ ｍｅｔｈｏｄ）を使用するが、可変面積方法では、較正された光源からの照明が、音声信号で調節されたシャッタを通過する。シャッタは、音声信号の強度またはレベルに比例して開き、この結果、光源からの照明ビームの幅が調節される。この幅の変動する照明は、単色写真フィルムを露光することを対象とし、この単色写真フィルムを処理すると、例えば、波形末端でほぼ透明なまたは色付きのフィルム・ベース材料で囲まれた、黒い音声波形包絡線が得られる。このようにして、瞬時音声信号振幅は、露光され現像されたフィルム・トラックの幅により表される。図１に、可変幅アナログ音声サウンド・トラックを記録するための一構成を、かなり単純化した形式で示す。

アナログ映画サウンド・トラックには第２の方法を利用することもでき、この第２の方法では、音声信号が写真音声トラックの幅全体を変動可能に露光する。可変濃度式（ｖａｒｉａｂｌｅ ｄｅｎｓｉｔｙ ｍｅｔｈｏｄ）と呼ばれるこの方法では、トラック幅全体の露光量を音声信号の強度に従って変動させて、例えばほぼ透明なまたは色付きのベース・フィルム材料と、露光され現像された写真材料の低透過率領域、即ち高濃度領域との間で透過率が変動するトラックを生成する。従って、瞬時音声信号振幅は、露光され現像されたフィルム・トラックの幅全体に亘る照明の透過率の変動により表される。

従って、可変濃度式と可変面積式のどちらの記録方法でも、音声変調（サウンド）は、例えば光検出器を使用して、サウンド・トラック領域を透過する照明を適切に収集することにより回復することができる。

これらのアナログ・フィルム・サウンド記録技法は、記録中やプリント中や後続の処理中に、欠陥（ｉｍｐｅｒｆｅｃｔｉｏｎ）、物理的損傷（ｐｈｙｓｉｃａｌ ｄａｍａｇｅ）、および汚れ（ｃｏｎｔａｍｉｎａｔｉｏｎ）を被る可能性がある。これらの記録技法は写真フィルムを使用するので、記録中に使用される光の量（濃度）および露光時間（露光量）が、重要なパラメータである。記録のための正しい濃度は、像拡散歪み（ｉｍａｇｅ ｓｐｒｅａｄ ｄｉｓｔｏｒｔｉｏｎ）を最小限に抑えながら可能な限り高いコントラストを決定するための一連のテストにより、決定することができる。

像拡散歪みは、所望の像の輪郭をはみ出した誤った縁取り、即ち、スプリアス・フリンジング像（ｓｐｕｒｉｏｕｓ ｆｒｉｎｇｉｎｇ ｉｍａｇｅ）が生成されたときに生じる。通常、像拡散歪みは、フィルム・ベース内においてハロゲン化物の粒子と周囲のゼラチンとの間で光が拡散することにより生じる。この光の散乱により、露光された領域をやや越えて像が形成される。ネガティブ（ｎｅｇａｔｉｖｅ：ネガ）およびポジティブ（ｐｏｓｉｔｉｖｅ：ポジ）の濃度および露光量が最適なら、くっきりとした明確な像が得られる。しかし、可変面積式で記録されたネガティブでは、像拡散があると、音声変調包絡線のピークは丸くなって見え、包絡線（ｅｎｖｅｌｏｐｅ）の谷は鋭くなって見え、幅は縮小して見える。この像歪みは非対称の包絡線歪みを引き起こし、これは、回復された音声における奇数調波歪みと混変調歪みの両方になる。記録濃度が増加するにつれて、像拡散も増大し、そのためシビランス（ｓｉｂｉｌａｎｃｅ：摩擦音）としてはっきり分る。シビランスは最初、記録波長がより短いので、より高い周波数内容においてはっきり分る。記録濃度が更に増加すると、歪みは、記録されたスペクトル中で漸進的に低い周波数で顕著になる。

一般に、サウンド記録フィルムは、青色照明に感光するだけであり、灰色のハレーション防止染料を採用してハレーション（ｈａｌａｔｉｏｎ）の影響を大幅に低減するか除去している。ハレーションは、フィルム・ベースの背部からの反射により生じる可能性があり、望ましくない二次的な感光乳剤の露光を引き起こす。通常、微粒子であり、高コントラストの感光乳剤を、３．０〜３．２の制御ガンマで使用する。

これらの記録方法の周波数応答は、様々なパラメータにより決定される。例えば、シャッタ開閉速度や、フィルム露光量や、光拡散に直接関係のあるフィルムの変調伝達関数ＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）などである。露光時間が長いほど、記録の周波数帯域は狭くなる。

これらの光学式録音方法では、得られる音声信号対雑音比を、高コントラストの像を使用することにより最適化することができる。例えば、音声包絡線波形が濃く、周囲が透明であるほど、サウンドは明瞭または静かになる。しかし、フィルム感光乳剤中の像拡散による音声歪みを導入することなくフィルムを露光することの可能な取り得る濃度には、限界がある。

最適な濃度は、信号対雑音比（Ｓｉｇｎａｌ ｔｏ Ｎｏｉｓｅ Ｒａｔｉｏ：ＳＮ比）と像拡散歪みとの間の妥協点を呈するものである。最適な濃度は、像拡散から生じる混変調歪み（ｃｒｏｓｓ ｍｏｄｕｌａｔｉｏｎ ｄｉｓｔｏｒｔｉｏｎ）の許容できる低い値を見つけるためのテスト露光により決定することができる。しばしば、比較的古い、即ち記録保管用のサウンド・トラックは、不適切に記録されていることがあり、重度の歪みを示す可能性がある。しかし、音声信号対雑音比を改善するために、いくらかの像拡散歪みは許容されることが多い。図２は、ネガティブからポジティブのフィルム・サウンド・ストックにプリントするときに、混変調歪みが濃度に伴っていくぶん相補的に変動することを示す。

濃度および像拡散歪みに加えて、他の欠陥も生じる恐れがある。例えば、露光領域または露光されない領域の濃度は、ランダムに、あるいはサウンド・トラック領域の幅または長さに沿った各部分で、変動する場合がある。サウンド・トラック再生中、このような濃度変動は直接に、所望の音声信号が散在するスプリアス雑音成分になることがある。

音声トラックの劣化に関する他の原因は、フィルムおよび／またはフィルム再生が様々な形式で被る機械的欠陥に関係がある。このような欠陥の１つにより、フィルムまたはフィルム上のトラックが、固定トランスデューサ（ｔｒａｎｓｄｕｃｅｒ：変換器）に対して横方向に揺れるかまたは動く。フィルムの横揺れは、再生される音声信号の振幅および位相が変調するなど、様々な形式の欠陥をもたらす可能性がある。

アナログ光学式録音方法は本質的に、処理中に物理的損傷および汚れを受けやすい。例えば、汚れまたは埃が、一時的でランダムな雑音イベント（事象）を導入する可能性がある。同様に、露光領域または露光されない領域の傷が、サウンド・トラックの光透過特性を変化させ、重度の一時的雑音スパイクを引き起こす可能性がある。更に、フィルム・パーフォレーション（ｐｅｒｆｏｒａｔｉｏｎ：穿孔）、不適切なフィルム経路レーシング（ｌａｃｉｎｇ）、関連するフィルム損傷など、その他の物理的または機械的結果が、望ましくない周期的な反復効果をサウンド・トラック中に導入する可能性もある。これらの周期的変動は、スプリアス照明を導入し、低周波数のバズ音（例えば、約９６Ｈｚの矩形パルス波形を有し、高調波が多く、望ましい音声信号が散在する）を引き起こす可能性がある。同様に、ピクチャ領域の光が、サウンド・トラック領域に漏出する場合があり、像に関連する音声劣化を引き起こすこともある。

ドイツ出願ＤＥ１９７２９２０１Ａ１には、光学式録音サウンド・トラックを走査（Ｓｃａｎ：スキャン）するテレシネ（ｔｅｌｅｃｉｎｅ：テレビ映画）が開示されている。開示されている装置は、サウンド情報信号を走査し、出力値に二次元濾波を施すものである。別のドイツ出願ＤＥ１９７３３５２８Ａ１には、ステレオ・サウンド信号のためのシステムが記載されている。評価回路を利用して、左または右のサウンド信号だけ、あるいは両方の合計信号を、モノラル出力信号として供給する。

光学式録音アナログ音声サウンド・トラックを再生および処理して、目立つ欠陥をほぼ除去するだけでなく、再生される音声信号の品質を向上させることを可能にする構成が、明らかに必要とされている。

（発明の概要）
本発明は、フィルム再生中のアナログ光学サウンド・トラックの傷を修復するための方法に関する。この方法は、前記アナログ光学サウンド・トラックだけの画像を形成するステップと、この画像を記憶し、記憶された画像の一部を空間的画像として表すステップと、空間的画像を処理してメジアン値（ｍｅｄｉａｎ ｖａｌｕｅ：中央値）を形成し、空間的画像のメジアン値を、前記サウンド・トラック中で表される音声信号を表す信号に変換するステップと、記憶された画像の一部を空間的画像として表すステップおよび空間的画像を処理するステップを繰り返して、アナログ光学サウンド・トラックの画像の全てについてメジアン値を形成するステップとを含んでいる。

別の有利な構成では、他のサイズおよび形状のマスクまたはウィンドウを使用してメジアン値を生成することができ、それにより、より少ない連続する画像走査から得られるピクセル近傍であるが、サウンド・トラック幅全体に亘ってより多くのピクセルを含むピクセル近傍により、メジアン値の形成を有利にすることができる。同様に、メジアン値の形成において、トラック幅からの連続するピクセルの寄与をより少なくした複数の走査を容易にするマスクにより、別のピクセル近傍を定めることもできる。

図３のブロック図に、光学式録音アナログ音声サウンド・トラックを再生および処理するための発明の構成を示す。通常、光源１０が、音声サウンド・トラック２５を含むフィルム２０上に投影される。図３では、音声サウンド・トラック２５の幅寸法を誇張して示してある。音声信号は、トラック２５に示すように可変面積記録方法により表すことができるが、音声信号はまた、サウンド・トラック領域の幅のほぼ全体に亘って対応する濃度変動により表すこともできる。従来のフィルム・サウンド再生機では、サウンド・トラックを露光するために採用される方法に従って、光源１０からの光は、変動する強度でフィルム２０およびトラック２５を透過する。しかし、得られる変動強度の透過光は、光電管や固体光検出器などの光センサにより収集される。通常、光センサは、透過光の強度に応じた電流または電圧を生成する。光センサからアナログ音声出力信号が得られるが、このアナログ音声出力は、一般には増幅され、しばしば、周波数内容を変化させて記録済みトラックの音響特性の欠陥を改善または緩和するための処理が施される。しかし、一般に、このような周波数応答操作では、望ましい音声内容に悪影響を及ぼさずに欠陥を修復することはできない。

図３に示す発明の構成では、光源１０からの光は、光ファイバ手段（図示せず）により誘導され、サウンド・トラック２５を照明するための光の投影ビームを形成する。光はサウンド・トラックにより強度変調され、光学系７５により収集される。光学系７５は、レンズ・アセンブリ、延長管（ｔｕｂｅ：チューブ）、および蛇腹（ｂｅｌｌｏｗｓ：ベローズ）を含み、これらは、カメラ１００の一部をなすＣＣＤライン・アレイ・センサ１１０の幅全体に亘って完全なサウンド・トラック幅の画像を形成するように構成されている。カメラ１００は、例えば、バスラ型（Ｂａｓｌｅｒ ｔｙｐｅ）Ｌ１６０であり、フレーム・グラバ（ｆｒａｍｅ ｇｒａｂｂｅｒ）２００により制御される。フレーム・グラバ２００は、例えば、マトロックス メテオ２（Ｍａｔｒｏｘ ＭｅｔｅｏｒＩＩ）ＬＶＤＳディジタル・ボードであり、フィルムが光の投影ビームを介して継続的に動くのに伴って、画像の取込みと、サウンド・トラック２５のライン走査画像を表す８ビットのディジタル信号出力の同期をとる。ＣＣＤライン・アレイ・センサ１１０は、２０４８ピクセルを有し、８ビットに量子化されて約６０ＭＨｚのビット・レートで動作することができるパラレル（並列）ディジタル出力信号１２０を供給する。

ディジタル画像信号１２０は、サウンド・トラックの幅全体に亘って連続する測定値を表すが、これらの測定値は、サウンド・トラックの露光領域および露光されない領域の瞬間的な幅を表す８ビットのグレー・スケール信号として取り込まれる。この継続的な一連のトラック幅画像または測定値は、光学トラックの継続的なディジタル画像として、ＲＡＩＤシステム３００に記憶される。

オペレーティング・システムが、コントローラ４００中に存在するか、またはブロック４０５に示すように存在するものとすることができ、ユーザーに対して表示装置５００上に視覚メニューおよび制御パネルを表示する。コントローラ４００は、パーソナル・コンピュータであってもよく、カスタム処理集積回路（ＩＣ）として実装してもよい。ただし、コンピュータ・コントローラは、カメラ・データに関連する高転送レートをサポートしなければならず、高転送レートを維持することのできるＵｌｔｒａ（ウルトラ）ＳＣＳＩ１６０インタフェースと共に、少なくとも５１２ＭＢのＲＡＭを必要とする。更に、デュアル処理回路を用いたコンピュータでは並列処理を可能にすることもでき、これにより処理速度と性能の両方を高めることができる。

カメラ１００は、２０４８ピクセルのライン・アレイＣＣＤセンサを有し、ＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌｉｎｇ：低電圧差動通信）またはＲＳ６２２出力信号フォーマットに従って８ビットのパラレル・ディジタル出力信号１２０を供給する。２０４８ピクセルのライン・アレイ・センサを使用することにより、大きな周波数応答歪みのないサウンド・トラック包絡線画像を取り込むのに十分な解像度がもたらされる。加えて、カメラはフレーム・グラバ２００で制御することができ、フレーム・グラバ２００は更に、同期インタフェース２５０を介してＮＴＳＣまたはＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ：高精細度）テレビジョン同期パルスとの同期をとり、また、公称２４ｆｐｓの通常動作速度でサウンド・トラック画像を取り込むのに十分な出力データ・レートも可能にする。

従って、フレーム・グラバ（ｆｒａｍｅ ｇｒａｂｂｅｒ）２００の制御の下で、また表示装置５００およびキーボード６００からのユーザー制御に応答して、ディジタル画像はフレーム取込みカード２００を介して送られ、ハード・ディスクのメモリ・アレイ３００に記憶される。例えば、この有利な構成で採用される走査レートでは、１分あたり約４ギガバイトの例示的なファイル・サイズとなり、このビットストリームが、ストライピングされたＲＡＩＤシステム３００に記憶されるように供給される。ＲＡＩＤシステム３００は、大きなサウンド・トラック画像ビデオファイルの記憶を容易にすると共に、高速な転送レートをもたらす。

光学系、即ち蛇腹と延長管とレンズ７５は、標準化された記録済みトラック位置を撮像するように正確に配置されている。ただし、集束および露光と、記録済みフィルム領域がピーク音声変調で最大センサ幅をほぼ満たせるようにするための画像サイズ調整またはズーム制御との両方を可能にするために、手動調整が行われる。また、このカメラ装着システムは、横方向の調整とアジマス調整の両方を容易にする。横方向の調整Ｌにより、横方向に位置がずれたトラックを撮像して、例えばスプロケット（ｓｐｒｏｃｋｅｔ）またはパーフォレーションにより生成された“ブンブン”や“ジージー”というバズ音（ｂｕｚｚ）、あるいはピクチャ関連の光漏れを除去することができる。更に、横方向の画像調整を行っても、可聴スプロケット孔雑音またはパーフォレーション雑音あるいはピクチャ漏れを除去することのできない厳しい状況では、カメラおよびレンズを調整して、障害になっている照明雑音源を回避するように位置決めされる記録済み包絡線部分でセンサ幅をほぼ満たすことができる。

レンズおよび光学系の要件の選択は、主として、３５ｍｍ音声光学トラックの幅およびイメージャ・アレイの幅により決定される。３５ｍｍ光学トラックは、標準化された２．１３ｍｍの幅を有し、イメージャのおよその長さは、１０ミクロンのピクセル・サイズに基づくと、約２０．４８ｍｍである。従って、３５ｍｍサウンド・トラックの最大幅がイメージャ幅を満たせるようにするには、画像倍率を約１０：１にする必要がある。同様に、１．８３ｍｍ幅の１６ｍｍトラックの場合は、センサ幅を満たすために、５６ｍｍの延長管または蛇腹を追加する必要がある。

撮像の考慮事項に加えて、処理済み音声信号の所望の帯域幅も考慮しなければならない。例えば、１５ｋＨｚの再生音声帯域幅が必要な場合は、３０ｋＨｚのサンプリング周波数または画像走査レートが必要である。従って、３０ｋＨｚの例示的なサンプリング周波数では、カメラは画像走査（音声トラック・ライン走査）ごとに２０４８バイトまたは８ビット・ワードを出力し、１秒あたり２０４８×３０×１０^３、即ち６１．４メガバイトの出力データ・レートを生み出すことになる。従って、１分のサウンド・トラックは、約３．６８ギガバイトの記憶域を必要とする。このような記憶容量要件は、Ｕｌｔｒａ Ｗｉｄｅ（ウルトラ・ワイド）ＳＣＳＩ１６０ドライブなど、例示的なストライピングされたＲＡＩＤシステムにより提供することができる。

図４のＡに、マグナ・テック・エレクトロニック社（Ｍａｇｎａ−ｔｅｃｈ Ｅｌｅｃｔｒｏｎｉｃ Ｃｏ．Ｉｎｃ．）製の例示的な磁気フィルム給送機構を示す。これは、この発明の走査構成の基礎をなし、ライン・アレイＣＣＤカメラを装着するのに十分な空間のあるサーボ制御フィルム給送システムを提供する。重要な要件は、適切なフィルム誘導と、フィルムが光源とカメラの間で移動するときに、フィルム焦点が変動するのを防止するために安定したフィルム経路を提供する要件である。実験を介して、走査に最適なフィルム安定性は、フィルムがはずみ車に巻き付く位置で達成されることが分った。フィルム画像面は、はずみ車の位置で曲がるが、フィルム位置でのアジマス誤差なしで直角に見るライン・アレイ・スキャナを使用すると、被写界深度およびサウンド・トラック相互変調の問題や、位相位置合わせおよびフランジングの歪みは防止される。

図４のＢに、１６ｍｍゲージ・フィルムを伴う例示的なはずみ車を示し、それと共に、破断図で示すはずみ車の中心で暗くならないようにフィルムを直角照明するのを容易にする、クランク状の光ファイバ光線ガイドも示す。図４のＣに示す別の構成では、例示的なはずみ車が、フィルム幅の主要部分のための支持を与えており、図４のＢに示したクランク状の光ガイドの必要が無くなっている。この構成では、１６ｍｍゲージ・フィルムは、１つまたは複数のサウンド・トラックを含む公称３ｍｍのエッジ領域を除いては、フィルム幅の大部分に亘ってはずみ車により支持される。同様に、３５ｍｍゲージ・フィルムで動作するときは、サウンド変調を含む約８ｍｍのエッジ領域が、図４のＣの例示的なはずみ車からはみ出す。フィルムがはずみ車に巻き付く動作が、部分的に円筒形の構造（ＣＳ：Ｃｙｌｉｎｄｒｉｃａｌ Ｓｔｒｕｃｔｕｒｅ）を形成し、この構造は、硬さおよびかなりの剛性をもたらし、従って、エッジのずれまたはばたつきの影響に対する抵抗力をもたらす。このようにして、有利にサウンド・トラック領域をはずみ車に対して巻き付けて位置決めすることにより、フィルム・エッジ（端部）の安定が保証され、画像の焦点外れが大幅に排除される。

この発明のフィルム・サウンド処理システムは、キーボード６００またはマウスでアイコン（ディジタル エア（Ｄｉｇｉｔａｌ ＡＩＲ））を選択することによりアクティブになり、この結果、Ｗｉｎｄｏｗｓ（登録商標）のような制御スクリーン構成が表示スクリーン５００上に表示される。プレビュー（Ｐｒｅｖｉｅｗ）、記録（Ｒｅｃｏｒｄ）、停止（Ｓｔｏｐ）、処理（Ｐｒｏｃｅｓｓ：プロセス）、エクスポート（Ｅｘｐｏｒｔ）など、様々な動作モードがツールバー機能として表示の周辺領域に表示される。最初にプレビュー・モードをツールバー機能から選択することができ、プレビュー・モードは有利にも、サウンド・トラックを作動させ、サウンド・トラック画像を表示スクリーン５００上に形成する。グレー・スケール画像により、カメラおよび光学系を記録済みサウンド・トラックに整合させることができる。光学系７５を調整して、サウンド・トラック画像のピークがイメージャ１１０の幅をほぼ満たすようにし、ＣＣＤ露光量を適切にすることにより、良好な画像信号対雑音比がもたらされるようにする。適切なＣＣＤ露光量は、ネガティブ・プリントとポジティブ・プリントでは異なる可能性があり、またフィルム・ストックのタイプにも依存する。

有利にも、このリアルタイムの画像は、サウンド・トラックの画像を与えるだけでなく、干渉を生成する照明がスプロケット孔から発していること、またはサウンド・トラックを汚す可能性のあるピクチャ領域があることも示す。この望ましくない光の入来は、オンスクリーン・カメラ画像を使用して光学系７５の操作を可能にすることにより除去することができ、ピクチャ・ズーム、パン、およびティルトを用いてサウンド・トラックを慎重にフレーミングすることにより、このような望ましくない音声寄与が除去される。更に、バズ・トラックと呼ばれるテスト・フィルムを再生するときに、表示包絡線の選択可能部分を電子的に拡大してカメラ・アジマス調整を可能にすることにより、サウンド・トラック画像を詳細に調べることができる。拡大された画像は電子的なカーソル・ライン付きで表示され、これにより、変調包絡線中のピーク間に時間差または位相差があればそれを評価することができる。アジマス調整が最適化されると、変調ピークは、同時にほぼ等しい大きさで、ただし反対の極性で現れる。最適なアジマス調整は、最大化された包絡線ピークを同時に生み出すことになる。カメラとサウンド・トラックとの間でアジマスを位置合わせしないと、ステレオ音声トラックの対の場合に起こることがあるように、時間的に異なる音声情報を取り込んだ画像になる可能性がある。図１０のＡは、例示的で誇張されたアジマス誤差を伴って再生されたサウンド・トラック包絡線を表す図である。図１０のＡの同じ時間軸上に、処理済みの画像即ち電子的に抜き取った画像を示すが、これは、イメージャ・カメラとサウンド・トラックとの間のアジマス誤差から生じた時間的なずれを示している。図１０のＢは、図１０のＡと同じであるが、アジマス誤差なしで再生された包絡線画像であり、その下の同じ時間軸上に、電子的に抜き取った画像を示す。これは、包絡線のピークがほぼ同時に走査されたこと、およびこれらが同様の振幅であることを示している。

図５に、プレビュー・モードのサウンド・トラック画像の例を示す。図５のグレー・スケール（ｇｒａｙ ｓｃａｌｅ：階調）画像は、様々な欠陥を含む複製ネガティブ・サウンド・トラックのグレー・スケールである。例えば、このサウンド・トラック画像の右側で、望ましくない照明がフィルム・パーフォレーションから発していることが分るが、これは複製中の不整合を示す欠陥である。更に、このサウンド・トラックは、幅が減少しており、元のネガティブ上に恐らく付けられたであろう横方向の傷を示している。従って、この有利なリアルタイムのサウンド・トラック画像は、音響的に決定される位置決めに依存するのではなく、カメラおよび光学系の高速な視覚的位置合わせを可能にする。図９Ａのシーケンス図に、この走査位置合わせシーケンスを示す。サウンド・トラック画像は、前の不整合から生じた欠陥をほぼ除去することを容易にする。カメラ画像の最適化、フレーミング、集束、露光などに続いて、記録モードをツールバーから選択し、サウンド・トラックを走査し、例示的な８ビット・ワードとしてディジタル化し、メモリ３００に記憶する。走査および記憶ステップを完了すると、処理モードをツールバーから選択することによりディジタル・サウンド・トラック画像を処理する。

図６に示す処理制御パネルで、オペレータは、記憶済みサウンド・トラック画像に対して実施するフィルム特有の処理を選択および最適化することができ、それにより、最適化しようとして再生を繰り返す間にフィルム材料を損傷してしまう可能性を回避することができる。有利な処理アルゴリズムが、例えばコントローラ４００中に存在するかまたはブロック４１０内に示すように存在するが、これらの処理アルゴリズムを、キーボード６００を介してオンスクリーン・メニューから選択し、システム３００中の記憶済みディジタル画像から選択的に取り出されたデータに適用する。ある種のサウンド・トラック欠陥を修復するのに利用されるアルゴリズムについて説明するが、図９Ｂの図に、この補正処理シーケンスを示す。処理および修復されたディジタル信号は、ＷＡＶ、ＭＯＤ、ＤＡＴ、ＤＡ−８８など選択可能な例示的フォーマットのディジタル音声信号４５０として出力されるように変換される。

サウンド・トラック全体をディジタル画像として記憶した後、発明の処理モードをオンスクリーン・ツールバーから選択する。図６に示す処理制御パネルにより、オペレータは、記憶済みサウンド・トラック画像に特有の処理を選択および最適化することができる。例えば、フィルム・ゲージが選択可能であり、それと共に、フィルム・タイプ、ポジティブかネガティブか、音声変調方法（例えば、片側可変面積、両側可変面積、デュアル両側可変面積、ステレオ可変面積、または可変濃度）が選択可能である。有利な処理アルゴリズムをオンスクリーン・メニューから選択し、これを記憶システム３００から読み出される記憶済みディジタル画像に適用して、コントローラ４００のＣＰＵまたはＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ：カードにより処理されるようにする。

サウンド・トラックの欠陥は、前述の様々な原因から生じる可能性がある。しかし、より具体的には、ネガティブ中の汚れ、ごみ、横方向または斜めの傷、あるいは縦方向のシンチング（ｃｉｎｃｈ：テープの滑り）により、プリントされたときに白点（ｗｈｉｔｅ ｓｐｏｔ）が生じることがある。これらの欠陥は、“カチッ”などというクリック音や“パチパチ”などというクラックル音を発生する。このような白点は、トラックの濃い領域に影響を及ぼす傾向があり、静かな部分の間ではより目立つ。一方、音の大きい部分の間に発生する雑音は、プリントの透明領域から生じることが多い。低周波数の“ドン”という音やポップ音はしばしば、処理問題の結果として形成されたポジティブ・サウンド・トラック中の比較的大きい穴または点（ｓｐｏｔ）から生じる。ヒス音は、粒子の粗いまたはやや曇ったトラック領域から生じる可能性がある。シビランスは、吐き出すようなＳ音を生み、特に好ましくない。通常、シビランスは、像が可変面積式記録の写真感光乳剤内に広がることから生じ、トラックに記録された音声信号の混変調歪みを引き起こす。

走査された音声トラックは継続的な包絡線画像として表されるが、有利なことに、包絡線画像の各部分をメモリ３００から読み出し、空間画像技法を使用した処理のためにＲＡＭ中に構成することができることが認識された。第１のアルゴリズムは、Ｍａｔｌａｂ（米国における登録商標）を使用して開発されたものであり、音声包絡線画像を値の行列としてロードして、空間画像処理の使用を可能にする。連続する小さい音声包絡線部分を集めて空間画像部分を形成することにより、第２のアルゴリズムで、周囲のピクセルと異なる異質ピクセルを識別し除去することが可能である。処理しない場合、このような異質ピクセルは、再生された音声信号中に一時的な雑音を生み出す可能性がある。この第２のアルゴリズムでは、３つの隣接ライン走査から得られる３つのピクセル値のグループで、例えば３×３ピクセルの小さいマスクまたはウィンドウを形成する。当該ピクセルまたは対象ピクセルをこのウィンドウの中心として、空間的に構成されたサウンド・トラック画像データに亘ってウィンドウを移動させるまたは進める。対象ピクセルの値が周囲ピクセルの値と異なる場合は、それを周囲ピクセルの値で置換する。従って、このアルゴリズムは、後述するディジタルしきい値処理が施された信号と共に使用するのに適しており、相容れないデータ値が隔離された場合、このデータ値は一般に、誤っており究極的に音声雑音を生成する結果に関連付けることができる。従って、このような相容れないデータ値を、ウィンドウ内の優勢な値で置換する。こうして、走査した音声トラックの各ピクセルをテストし置換して、処理済みサウンド・トラック画像をＲＡＭ中に形成する。エッジ領域ではパディング（ｐａｄｄｉｎｇ）処理を行って、誤ったピクセル置換を防止する。

サウンド・トラックを横切る傷は、大きいポップ音やクリック音など、一時的または衝動的な雑音効果を生む可能性がある。第２のアルゴリズムで述べた単純なピクセル置換規則は、相容れない値のピクセルが隣接している場合には効果が劣る。しかし、この形式の一時的雑音は、第３のアルゴリズムにより有利に除去される。第３のアルゴリズムは、記憶された例示的な８ビットのディジタル包絡線信号を空間的に構成したトラック画像部分に適用される。この第３のアルゴリズムは、別の空間画像処理技法を使用して、トラックの幅全体に亘って各画像部分の各ピクセルのメジアン値（ｍｅｄｉａｎ ｖａｌｕｅ：中央値）を得る。次いで、これらのメジアン値を使用して、トラック領域に亘って走査済み画像データを置換する。このメジアン・フィルタは、例えば９×９ピクセルを含む例示的なマスクまたはウィンドウにより実現され、これを、音声包絡線データの空間表現に亘って１ピクセルずつ漸進的に進める。ウィンドウの中心は、補正されるピクセルを表す。ウィンドウの下部に位置するトラック画像のピクセル値を、振幅の順にソートまたはランク付けする。次いで、ランク順のセットの中間値で、当該の中心ピクセルの実際のトラック画像値を置換する。次いで、空間的に構成されたトラック画像の幅全体に亘り、次のピクセルについてこのプロセスを繰り返す。最終的に、走査済み音声トラックを表す全てのピクセルを評価し、必要なら置換して、処理済みサウンド・トラック画像をＲＡＭ中に形成する。

他のサイズおよび形状のマスクまたはウィンドウを有利に採用して、メジアン値の形成を容易にすることもできる。例えば、サウンド・トラック幅全体に亘って連続する３つの画像走査から形成される３×６のマスクは、メジアン値の形成においてトラック幅に好都合なピクセル近傍を形成することになる。あるいは、例えば９×３のマスクを使用することにより、マスクまたはウィンドウは有利にも、より多くの連続する走査に亘って延びているがより小さいトラック幅を占めるピクセル近傍からメジアン値を形成するのを容易にすることもできる。加えて、対角線重み付け画像処理を提供するように、例示的マスクを構成することもできる。

メジアン・フィルタ・ウィンドウがピクセル・グループからのデータを分析するが、そのいくらかは隣接するライン走査で生じたものであるので、ある程度のぼけ、またはデータ平滑化が生じる可能性がある。というのは、ランク順に並んだセットの中間値は、別の空間的および／または時間的走査位置で発生したデータ値を表す可能性があるからである。しかし、この平滑化の影響は二次元ハイ・パス・フィルタで補償することができ、それにより画像を鮮明にするかほぼ修復することができる。メジアン・フィルタ処理は計算集約的であり、従って時間が掛かるが、１つ進むごとにもウィンドウ内の幾つかの値が変化しないことを認識することにより、最適化することができる。

異常値を除去する音声包絡線画像データのメジアン濾波に続いて、コントラストと呼ばれる次の動作を実行する。コントラスト処理は、可変面積式記録方法が２つの状態しか使用しないことを有利に認識したものであり、第１の状態は音声包絡線を表し、第２の状態は包絡線がないことを表す。従って、サウンド・トラックは、ほぼ透明な幾つかの領域と、不透明なその他の領域を有する。有利なことに、図６の処理スクリーンで、ボタンＡを選択して、コントラスト・スライダＢを変動させたときに得られる画像を見ることにより、記憶済み画像の各部分をプレビューすることができる。コントラスト・スライダＢにより、サウンド・トラックから走査された例示的な８ビット範囲の画像値について、別のソフトウェア・アルゴリズムのしきい値またはハードウェア実装のしきい値を公称中心範囲１０進値１２７の周りで変動させることができる。このアルゴリズムは、ピクセルをそれらの明暗度値に従って分類し、値の範囲を二分する。従って、選択的に調整されたしきい値よりも低い値でディジタル化された画像の場合は、実際に走査されたディジタル値またはメジアン濾波された値を、新しい低いディジタル値で置換する。新しいディジタル値は例えば、１０進数０を表し、黒即ち０フィルム透過率にほぼ等しい。同様に、ディジタル化画像値が調整しきい値よりも大きい場合は、実際の値を、白即ち１０進値２５５にほぼ等しい新しい高い値で置換する。このようにして、公称で透明および不透明なフィルム領域におけるグレー・スケール変動を除去し、トラックを介した可変の光透過を引き起こす欠陥を除去する。このディジタルしきい値処理または２進数化方法により、記憶済みディジタル音声包絡線画像を、１ビットで表される２つの状態に再量子化する。ただし、コントラスト・スライダＢは、汚れ、傷、アーティファクトをオンスクリーン・プレビュー画像から無くすか除去するための視覚的にはっきり分る機能を提供するものの、その結果は、バランスがとれていなければならず、重大な、意図されない、且つ望ましくない任意の音声内容の変化に対しても、音響的に判定されなければならない。

仮想スライダ・バーＣは、記録済み画像データのうち１０個の部分へのアクセスを提供し、これらはファイル継続時間、フレーム数、または実行時間に基づいて割り当てられる。この１０個のサウンド・トラック部分により、コントラスト・スライダＢで決定した種々のディジタルしきい値の効果を、音の大きい部分と静かな部分の両方を含むトラック領域に対して評価することができる。この有利なディジタルしきい値処理または２進数化の処理は、画像信号の信号対雑音比を改善し、包絡線画像のエッジの識別を助ける。図７に、ディジタルしきい値処理が施されたサウンド・トラック画像の一部分を示す。

像拡散歪みは、可変面積式記録に影響を及ぼし、不快な音声シビランスをもたらす。像拡散歪みは、記録中に光の散乱から生じ、これにより、像またはフリンジが実際の像輪郭からはみ出す。拡散は露光に依存するので、この影響は、最初、より高い周波数またはより短い波長の音声内容においてはっきり分る。像拡散により音声変調包絡線のピークは丸くなり、変調包絡線の谷は鋭くなって見える。このため、サウンド画像包絡線は、非対称になり、音声内容の高調波歪みおよび混変調を引き起こす。

この場合もやはり、空間画像処理技法を有利に使用して、像拡散歪みによるサウンド・トラック欠陥を大幅に低減するかほぼ除去する。様々な空間画像処理アルゴリズムを使用して、像拡散により引き起こされた包絡線の非対称性を無くすことができる。例示的なアルゴリズムの１つでは、ソーベル（Ｓｏｂｅｌ）フィルタを使用して音声包絡線の輪郭を見つけ、次いでこれを更に処理して谷とピークを識別することができる。包絡線の傾斜および振幅に従って、重み付きの数のピクセルが包絡線画像に追加され、動作制御には、この補正追加の重みを制御するためのグラフィック・ユーザー・インタフェース（Ｇｒａｐｏｉｃ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ：ＧＵＩ）が提供される。

第４の有利な構成では、形態学的な侵食濾波（ｅｒｏｓｉｏｎ ｆｉｌｔｅｒｉｎｇ：エロージョン・フィルタリング）を採用して、音声トラック包絡線の像拡散歪みの影響を大幅に低減するか除去する。通常、侵食濾波は、２進数形式またはしきい値処理された形式の、空間的に構成された包絡線画像の各ピクセルを、例えば１と０のどちらかの値を有する３×３アレイの構造化要素を使用して分析することにより実行される。構造化要素の中心が当該入力ピクセルをカバーする状態で、構造化要素を包絡線空間画像の各ピクセルの上に進めていく。構造化要素が３×３アレイの１である場合、当該ピクセルの出力値は、アレイの下で当該ピクセルを囲む包絡線ピクセル近傍と、アレイ中の値との対応関係により決定される。全ての近傍ピクセルおよび当該ピクセルが例示的な３×３アレイの１と合致する場合、当該ピクセルの出力値は変更されない。しかし、３×３アレイの何れかの部分が、しきい値処理された例示的な包絡線画像中のエッジをまたぐと直に、当該ピクセルは１から０に変更される。従って、例示的な３×３構造化要素を使用する場合、近傍ピクセルのうちの先頭近傍ピクセルにより、白と黒の間の包絡線エッジが検出され、それにより、隣接する中心ピクセル即ち当該ピクセルがその先頭近傍ピクセルと同じ値をとり、従って、白から黒への遷移は、白即ち２進数の１の領域に移動、縮小、または侵食する。

例示的な３×３構造化要素を使用する場合、音声包絡線のエッジは１ピクセルずつ侵食される。像拡散の量が１ピクセルの幅を超えることもあるが、侵食フィルタの第２のパスが、第２のピクセルを除去することになる。ただし、これは処理時間を犠牲とする。別の有利な構成では、図６の領域Ｄに示すように、様々な量の像拡散補正を選択することができ、所望の程度の補正を単一の処理ステップで実行する。使用する構造化要素が大きいほど、達成できる侵食の量は多く、例えば５×５アレイを使用すると、中度の歪みの選択可能補正に対応する、２ピクセルの侵食が達成される。同様に、７×７構造化要素を使用して処理すると、３ピクセルを侵食し、これは重度の歪みの補正を表す。

形態学的な侵食濾波は、例えばＭａｔｌａｂ（米国における登録商標）を使用して開発されたソフトウェア・アルゴリズムで実現することもでき、あるいは、フィルタ機能は配線論理（ｈａｒｄ ｗｉｒｅｄ ｌｏｇｉｃ）で実現してもよい。どのように実現しても、音声トラック包絡線を空間領域で表現することにより、侵食濾波技法を有利に使用して、像拡散歪みを緩和し、混変調を大幅に除去し、音声トラック忠実性を復元することができる。

図８のＡは、図７に示したしきい値処理済みトラック画像の例示的な楕円領域８を図で表したものであり、ピクセルまたはディジタル・サンプル値を表す白い正方形と、図７の黒い領域からのピクセルまたはディジタル・サンプル値を表す灰色の正方形との両方を示す。図８のＡは、以下のように形成される例示的な３×３構造化要素ＳＥ（Ｓｔｒｕｃｔｕｒｉｎｇ Ｅｌｅｍｅｎｔ）の表現を含んでいる。

１の値即ちアクティブ・セルＡ、Ｘ、Ｂが中央列にあり、当該ピクセルに（Ｘ）の符号が付いている。構造化要素は、矢印で示すように１ピクセルずつトラック画像の空間表現に亘って進む。この構造化要素にはアクティブ・セルが３つしかないので、中心ピクセルＸの処理済み値は、図示のように、横方向に隣接するピクセル近傍により決定され、この場合、中心の値Ｘは以下の侵食アルゴリズムにより決定される。

この例示的な構造化要素を使用する場合、当該ピクセルの出力値は、構造化要素の下にある当該ピクセルに隣接するトラック画像ピクセル近傍の対応関係により決定される。隣接する近傍ピクセルおよび当該ピクセルが構造化要素と合致する場合、当該ピクセルの出力値Ｘ′は変更されない。しかし、セルＡとＢのどちらかの下のトラック画像値が合致しない場合、当該ピクセルの出力値Ｘ′は、相補的な値、例えば０に変更される。

図８のＡの拡大された処理済みトラック画像には、侵食濾波を実行するように配置された有利な構造化要素ＳＥを示し、図８のＢには、得られる侵食画像を示す。図８のＢでは、侵食されたピクセルを破線輪郭の白いブロックとして示し、現在の当該ピクセルを＊記号で表してある。侵食されたピクセルがより見やすいように、図８のＡでピクセル値を表していた実線の白い正方形は、図８のＢでは省略してある。

空間画像処理技法を有利に使用した後、別の有利なアルゴリズムを使って、処理済みの包絡線画像をサウンド信号に再変換する。この変換アルゴリズムは、各ライン走査ごとに、音声包絡線を表す黒いピクセル（ネガティブ・トラックの場合）または白いピクセル（プリントの場合）の数を合計する。次いで、瞬時振幅を表すこのアクティブ・ピクセル数を、センサ・ピクセル総数を表す最大振幅値、例えば２０４８から引く。得られる差が、瞬時音声振幅を表す。逆の処理も可能なことは明らかであり、その場合、公称でより少数の、包絡線を表さない末端ピクセルを計数してセンサ・ピクセル総数から引く。この結果が瞬時音声振幅を表す。次いで、この音声振幅値を、適切な音声信号フォーマット範囲にスケール化する。例えば、１６ビットＷＡＶファイル・フォーマットを使用する場合、修復された音声値を−３２７６７〜＋３２７６８の範囲に合うようにスケール化する。ここで０はＤＣを表す。このオーディオ変換アルゴリズムは、Ｍａｔｌａｂ（米国における登録商標）画像処理ツールボックスを使用して開発されたものである。また、このアルゴリズムは、ファイル・フォーマットに適したヘッダを作成し、変換後のＷＡＶデータを受け取るためのストリーミング・バッファを提供するルーチンも含んでいる。ＷＡＶフォーマット化ファイルの他にも、ＡＩＦＦ、ＭＯＤ、ＤＡＴ、ＤＡ−８８、ＤＡ−９８ＨＲを含めた様々な音声ファイル・フォーマットが利用可能である。

別の発明の態様では、音声トランスデューサ（変換器）に対するサウンド・トラックの位置を変動させるフィルムの横揺れが、有利に補正される。フィルムの横揺れの影響は、様々なタイプの音声信号変調として現れる可能性がある。しばしば、変調がフィルムの横揺れのレートを表すような振幅変調が生じる。重度のケースでは、生成された音声信号はロー・パス濾波効果を被る可能性があり、カットオフ周波数がフィルムの横揺れにより変調される。この発明の構成によれば、フィルムの横揺れがある結果、瞬時音声包絡線画像もまたセンサ上で横揺れまたは蛇行するが、この位置的な画像変動は、包絡線画像が無いことを表すピクセルの変動になるだけである。例えば、ネガティブ・トラックでは、これらのピクセルはトラックの透明または高透過率の部分を表し、アレイの末端領域に位置することになる。

最初のカメラ位置合わせの間に、トラック画像を複数のフィルム位置で観察し、横揺れが明らかな場合は、画像センタリングを調整して、逸脱したサウンド・トラック経路の公称中心を表示画像の中央に配置することができる。次いで、トラック逸脱の最大遷移位置で発生する音声包絡線ピークがＣＣＤライン・アレイの幅を超えないように、画像サイズを調整する。逸脱した包絡線画像をこのようにセンタリングした後には、アレイの各末端にあるピクセルの数が、センタリングされたトラックとほぼ同様になっている。従って、フィルムが横揺れするとき、末端の（包絡線でない）ピクセルの数または分散だけしか変動しないことが理解できる。しかし、包絡線画像は移動してもセンサ・アレイ上に留まっているので、包絡線振幅を表す包絡線ピクセル計数は、ほぼ一定のままである。このように、包絡線画像を音声値に変換するアルゴリズムは、フィルムの横揺れの影響を有利に除去および補正する。

可変面積式記録方法を使用した音声サウンド・トラックの図である。 混変調歪みと記録濃度の関係を示す図である。 光学式録音アナログ音声サウンド・トラックを処理するための発明の構成のブロック図である。 図３の発明の構成の１６ｍｍフィルム・ゲージ実装形態を示す図である。 幾つかの欠陥を被った可変面積式音声サウンド・トラックの、走査済みグレー・スケール・アナログ画像を示す図である。 図３の発明の構成により使用される制御パネルを示す図である。 別の発明の構成による、音声サウンド・トラックの処理済み走査画像を示す図である。 図８のＡは、図７に示したトラック画像の例示的な楕円領域を示す図であり、図８のＢは、別の発明の構成による侵食フィルタ処理の結果を示す図である。 様々な発明の構成に関連するシーケンスを表す図である。 様々な発明の構成に関連するシーケンスを表す図である。 再生されたサウンド・トラック包絡線を表す図であり、図１０のＡはアジマス誤差がある図、図１０のＢは調整後の図である。

Claims (10)

1. アナログ光学サウンド・トラックを含むフィルムを再生する方法であって、
   ａ）前記アナログ光学サウンド・トラックだけの画像を形成するステップと、
   ｂ）前記画像を記憶するステップと、
   ｃ）前記記憶された画像の一部を空間的画像として表すステップと、
   ｄ）前記空間的画像を処理してメジアン値を形成するステップと、
   ｅ）前記空間的画像の前記メジアン値を、前記サウンド・トラック中で表される音声信号を表す信号に変換するステップとを含む方法。
2. 前記ステップｃ）およびｄ）を繰り返して、前記アナログ光学サウンド・トラックの前記画像の全てについてメジアン値を形成する追加ステップを含む、請求項１に記載の方法。
3. 前記形成するステップが、前記アナログ光学サウンド・トラックだけの幅を走査するステップを含む、請求項２に記載の方法。
4. 前記再生の継続時間の間、前記走査するステップを繰り返すステップを含む、請求項３に記載の方法。
5. 前記形成するステップが、前記アナログ光学サウンド・トラックの前記画像をディジタル化するステップを含む、請求項４に記載の方法。
6. 前記表すステップが、連続する走査から得られた前記記憶済み画像データをグループ化して、前記空間的画像を形成するステップを含む、請求項５に記載の方法。
7. 前記変換するステップが、前記アナログ光学サウンド・トラックの前記画像の全てについての前記メジアン値を、前記アナログ光学サウンド・トラックおよび音声変調を表す第１の値グループと、前記音声変調を除いた前記アナログ光学サウンド・トラックを表す第２の値グループとに分けるステップを含む、請求項２に記載の方法。
8. 前記分けるステップが、前記第１の値グループからディジタル音声値を形成して、前記アナログ光学サウンド・トラック中に含まれる音声変調だけを表すステップを含む、請求項７に記載の方法。
9. 前記変換するステップが、前記アナログ光学サウンド・トラックの前記画像の全てについての前記メジアン値をソートして、音声変調を含む前記サウンド・トラックを表す値と、音声変調を含まない前記サウンド・トラックを表す値とのうちの一方を有する前記メジアン値に従って、２つだけのグループを形成するステップを含む、請求項２に記載の方法。
10. 前記記憶された画像の一部を表すステップが、特定の配向でメジアン値を形成するのに有利な特定の形状で、前記空間的画像を形成するステップを含む、請求項１に記載の方法。

Images