JP2004531943A - 画像の流れの処理方法 - Google Patents

Abstract

本発明は画像の流れを処理するための方法及び装置に関する。この方法は、第１処理ユニット（ＰＲＯＣ１）で処理するための品質測定を満たす画像の流れから画像の第１部分を選択する工程；及び第２処理ユニット（ＰＲＯＣ２）で処理するための上記品質測定を満たさない画像の第２部分を選択する工程を含んでいる。選ばれた画像の第１部分は第１処理ユニット（ＰＲＯＣ１）で処理され、及び画像の第２部分は第２処理ユニット（ＰＲＯＣ２）で処理される。最後に第１処理ユニット（ＰＲＯＣ１）で処理された画像の第１部分は、第２処理ユニット（ＰＲＯＣ２）で処理された画像の第２部分と結合される。

Description

【技術分野】
【０００１】
本発明は、動画像のような画像の流れを処理するための方法及び装置に関する。特に二つの分離した処理を使用して処理する動画像用の方法と装置に関する。
【背景技術】
【０００２】
リアルタイム動画像処理のための従来法の一般的な問題は、リアルタイム処理法が扱えない、又は十分うまく扱えない画像又は画像の連続を自動修正されるように準備が為されてないということである。データの離散シリーズをリアルタイム処理するという真の概念の意味することは、動画像処理であろうと無かろうと、バッファなしで、人間の標準によると、固定で典型的な時間の短期間が各時間離散データセットの処理のために利用されているということである。バッファを使うと、有限数の連続した画像を処理するために利用される時間の期間が、他の画像のために利用できる時間を犠牲にして一時的に増加する。しかしながら、利用できる平均時間は一定のままである。別の又は更に処理が必要な場合に画像を手動で選択することは、当然可能な解決法であるが、続く手動の選択の要請にはコストがかかり、及び時間消費になる。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、従来法のような問題のない、画像の流れを処理するための方法と装置を提供することである。
【課題を解決するための手段】
【０００４】
本発明は、下記の工程を含む画像の流れを処理する方法にある。
−画像の流れから、第１処理ユニット（ＰＲＯＣ１）で処理するための品質測定を満たす画像の第１部分を選択し、及び第２処理ユニット（ＰＲＯＣ２）で処理するための前記品質測定を満たさない画像の第２部分を選択する工程；
−第１処理ユニット（ＰＲＯＣ１）で処理するために選ばれた画像の第１部分をそのユニットで処理する工程；
−第２処理ユニット（ＰＲＯＣ２）で処理するために選ばれた画像の第２部分をそのユニットで処理する工程；及び
−第１処理ユニット（ＰＲＯＣ１）で処理された画像の第１部分と、第２処理ユニット（ＰＲＯＣ２）で処理された画像の第２部分とを正しい順で結合する工程。
【０００５】
また、本発明は、
−第１画像処理ユニット（ＰＲＯＣ１）；
−第２画像処理ユニット（ＰＲＯＣ２）；
−画像の流れの中の各画像を評価するために、及び第２処理ユニット（ＰＲＯＣ２）で処理するための品質測定を満たさない画像を選択するために適応される画像品質評価ユニット（Ｑ）、一方、前記品質測定を満たす少なくともそれらの画像が、第１処理ユニット（ＰＲＯＣ１）で処理される；及び
−前記第１（ＰＲＯＣ１）及び第２（ＰＲＯＣ２）処理ユニットに結合され、及び第１処理ユニット（ＰＲＯＣ１）で処理された画像と第２処理ユニット（ＰＲＯＣ２）で処理された画像とを正しい順で結合するように適用される画像流れ結合ユニット（８）；
を含む画像処理装置にある。
【発明を実施するための最良の形態】
【０００６】
本発明は自動化された動画像処理方法に関する。この方法には、リアルタイム処理ユニットである第１処理ユニットで処理するために、品質測定のような測定可能な品質のいずれかのための基準を満たす画像又は画像部分を選択する工程；及び非リアルタイム処理ユニットでよい第２処理ユニットで品質測定を満たさない画像又は画像部分を処理する工程が含まれる。二つの処理ユニットで処理するために選択された画像の処理後、画像は正しい順で結合される。
【０００７】
この方法は、画像が第２処理ユニットで処理されている間、又は第２処理ユニットで処理された画像と結合される前、第１処理ユニットで処理された画像がバッファ画像メモリに記録される間、画像の流れが停止されることにより実現される。
【０００８】
図１は本発明の態様を示す。ここでは、非リアルタイム処理ユニットである第２処理ユニット（ＰＲＯＣ２）で画像が処理されている間、デジタル画像記憶装置、ビデオディスクレコーダ、コンピュータ、又は他のあらゆる動画像記憶手段のようなソースユニット（ＳＲＣ）から画像の流れが、画像流れコントローラ（１１）により停止される。画像流れコントローラ（１１）及び第１（ＰＲＯＣ１）及び第２処理ユニット（ＰＲＯＣ２）は、一つか幾つかの画像品質の状況を評価する画像品質評価ユニット（Ｑ）からの制御信号に応答し、評価された画像品質に基づく値の制御信号を送る。
【０００９】
画像品質測定は、第１処理ユニット（ＰＲＯＣ１）で処理される前又は後の画像特性に基づいて行われる。即ち、処理前後の画像特性間の比較あるいはそれらの結合に基づいて行われる。画像流れ結合ユニット（８）は第１（ＰＲＯＣ１）及び第２処理ユニット（ＰＲＯＣ２）からの二つの流れを結合し、ＶＣＲまたは他のいずれの動画像記憶手段でよい、レセプタユニット（ＳＴＯＲ）に信号を出力する。明らかなように、二つの分離した要素として描かれているが、ソースユニット（ＳＲＣ）及びレセプタユニット（ＳＴＯＲ）は二つの機能を結合した単一のユニットとして組み入れてもよい。
【００１０】
非リアルタイム処理ユニット（ＰＲＯＣ２）は、処理している間画像の出力を停止しているので、処理ユニット（ＰＲＯＣ１及びＰＲＯＣ２）からの画像流れは一般に断続的である。画像流れ結合ユニット８からの画像の連続流れを達成するために、この態様では図示してないが、バッファメモリを備えることが必要である。明らかなように、二つの分離した要素として描かれているが、画像流れ結合ユニット（８）とレセプタユニット（ＳＴＯＲ）はまた二つの機能を結合した単一のユニットとして組み入れてもよい。
【００１１】
第１処理ユニット（ＰＲＯＣ１）はそれに入力される全ての画像を処理できるか、又は非リアルタイム処理ユニット（ＰＲＯＣ２）により処理されない画像のみを処理できるものでもよい。多くの場合、例えば、第１処理ユニット（ＰＲＯＣ１）が可動評価のためのような幾つかの連続画像から情報を利用して処理を行う場合、あるいは単一の画像処理パラメータの幾つかが変化する場合には、情報は二つの処理ユニット間（ＰＲＯＣ１とＰＲＯＣ２間）で交換されなければならない。更に第１及び第２処理が、非リアルタイム処理ユニット（ＰＲＯＣ２）で処理された後、物理リアルタイム処理ユニット（ＰＲＯＣ１）を使用して有利に次々と行われるか、あるいはこの反対である場合、処理された画像情報は図２により明らかに示されているように、一つのユニットから他のユニットに出力されることができる。
【００１２】
二つの処理ユニットが物理的に分離した要素として描かれているけれども、それらは互いに密接に関係付けられ、情報を交換し、又は単一のユニットとして物理的にまとめられるものとして理解することができる。行われる処理、異なった処理が効果的にこれらを区別することになる。リアルタイム処理ユニット（ＰＲＯＣ１）では、出力はリアルタイム処理を行うために必要な時間内になり、一方非リアルタイム処理ユニット（ＰＲＯＣ２）ではしばしば出力は長く遅れるけれども、それらの各々で実行される処理は実際には同じ種類である。
【００１３】
画像品質評価ユニット（Ｑ）は、リアルタイム処理ユニット（ＰＲＯＣ１）、その他で修正されることができない、許容可能なエラーより高いノイズレベルのような画像のある特性を測定する。何が許容可能な画像又は画像の連続の品質であるかに対する制限を設定するパラメータは、当然にオペレータによりセットすることができる。画像品質評価ユニット（Ｑ）からの出力信号又は複数の信号は画像品質が許容可能か否かを示す。許容可能な場合には、画像は第１処理ユニット（ＰＲＯＣ１）で処理され、一方そうでなければ、画像が処理されることが必要であるとの情報を第２処理ユニット（ＰＲＯＣ２）が受ける。そしてこの態様では、画像流れコントローラ（１１）がソースユニット（ＳＲＣ）からの画像の流れを停止させる。ＶＣＲのあるタイプのように、多くのソースユニット（ＳＲＣ）は、必ず、停止し、かつ再スタートすると画像情報をばらばらにする又は画像連続順のトラックをばらばらにするので、このシステムはバッファメモリを備えることができる。
【００１４】
図２は、本発明の第２の態様を示す。ここでは、画像は第１処理ユニット（ＰＲＯＣ１）及び３つの第２の処理ユニット（ＰＲＯＣ２ａ−ｃ）で同時に処理される。品質測定は、処理ユニット（ＰＲＯＣ１、ＰＲＯＣ２ａ−ｃ）の各々から得られた出力の各々に対して評価される。処理ユニット（ＰＲＯＣ１）のための品質測定が十分であるときは、第２の処理ユニット（ＰＲＯＣ２ａ−ｃ）のための品質測定を評価し、それらの処理により行われる処理を完成させる必要はない。しかしながら、もし処理ユニット（ＰＲＯＣ１）のための画像品質が十分でない場合には、第２処理ユニット（ＰＲＯＣ２ａ−ｃ）の少なくとも一つのための画像品質を評価し、及びそれらの処理の少なくとも一つにより行われる処理を完成させる必要がある。
【００１５】
与えられた品質測定を満たす処理ユニット（ＰＲＯＣ１、ＰＲＯＣ２ａ−ｃ）における処理から得られる出力は、レセプタユニット（ＳＴＯＲ）への出力のための画像品質評価ユニット（Ｑ）により選択される。しばしば第２処理ユニット（ＰＲＯＣ２ａ−ｃ）が非リアルタイム処理ユニットであるけれども、４つの処理ユニット（ＰＲＯＣ１、ＰＲＯＣ２ａ−ｃ）は、リアルタイム処理ユニットであってもなくてもよく、このような場合には、このことは図を単純にするために削除されているが、システムにはある種のバッファが必要になるであろう。
【００１６】
図２には、第２処理ユニット（ＰＲＯＣ２）が、３つの分離した第２処理ユニット（ＰＲＯＣ２ａ−ｃ）を含み、互いに同時に、かつ第１処理ユニット（ＰＲＯＣ１）と同時に作動するように描かれている。明らかなように、図示されていないが、第２処理ユニット（ＰＲＯＣ２ａ−ｃ）のいずれか一つは他の処理ユニット（ＰＲＯＣ１、ＰＲＯＣ２ａ−ｃ）のいずれか一つの出力を入力として受けることができる、従って他のユニットとはパラレルに作動しない。当業者であれば分かるように、いずれの数の処理ユニットをパラレルに又は連続に結合することができる。
【００１７】
より一般的には、二つかそれ以上の異なった処理ユニット（ＰＲＯＣ１、ＰＲＯＣ２ａ−ｃ）がリアルタイムに作動すると、処理ユニット（ＰＲＯＣ１及びＰＲＯＣ２ａ−ｃ）間の区別はその重要性が解かれるため、リアルタイムに作動する全ての処理ユニットが処理ユニット（ＰＲＯＣ１）の部分として定義され、及びリアルタイムに作動しない全ての処理ユニットは処理ユニット（ＰＲＯＣ２）として定義されると同様に定義することができる。
【００１８】
図３及び４は、本発明の他の二態様を示す。第２ユニット（ＰＲＯＣ２）が処理している間画像の流れは停止されないが、第１処理ユニット（ＰＲＯＣ１）から出力される画像の流れは、第２処理ユニット（ＰＲＯＣ２）が作動している間メモリ（５）にバッファされる。バッファメモリ（５）は、フレームストア、ディスクレコーダ、又はいずれかの他の適当なメモリであり、物理的に第１処理ユニット（ＰＲＯＣ１）又は画像流れ結合ユニット（８）に組み込まれてもよい。
【００１９】
図３には、全ての画像が第１処理ユニット（ＰＲＯＣ１）で処理され、品質測定のある最小値を満たさないそれらの画像が第２処理ユニット（ＰＲＯＣ２）で更に処理するために選択される。品質測定の結果は、第１処理ステップが終了したときにのみ利用できる場合には、必要とされる全処理時間を増加させることなく、第１処理の結果を利用できるという利点がある。
【００２０】
図４は、本発明の別の形態が描かれており、本発明の第４の態様を示す。この態様には、第２処理ユニット（ＰＲＯＣ２）に送られる画像流れをバッファする、画像メモリ（４）が含まれている。この画像メモリ（４）は、連続番号メモリ（３）と関係付けられており、該メモリ（３）は、画像メモリ（４）に記憶された画像の連続順のトラックを保持している。各画像と関係付けられた連続番号は全システムを通して各画像に付随していてもよく、明確に描かれていないけれども、そのように関係付けられた連続番号メモリ（３）は、正しい順で処理された画像を結合させるために各バッファメモリの中に含まれていてもよいが、ある場合には含まれていなければならない。あるいは、画像が処理された処理ユニット（ＰＲＯＣ１及びＰＲＯＣ２）に関する情報は、正しい順で処理された画像を再結合するために十分となる。
【００２１】
図４は、また画像品質評価ユニット（Ｑ）が、ソースユニット（ＳＲＣ）から直接に及び第１処理ユニット（ＰＲＯＣ１）の出力からの両方の入力を受けることができることを示している。画像品質の評価は、両方のそれらの位置で為されるか、又は処理前後の画像間の比較が為され、画像品質評価ユニット（Ｑ）からの出力はそれらの結果に対する応答として得られる。
【００２２】
評価される品質測定は、ノイズレベル、エラーの発生、色不均衡、又は第２処理ユニット（ＰＲＯＣ２）で修正され、またはその代わり変えられることができるその他のいずれかのパラメータである。品質という用語はここでは、オペレータが、芸術的な理由から画像特性の悪化とみなされる方法においてある特性を意図的に変えたいと望む場合に、特性のより一般的な意味で使用されるべきである。例えば、オペレータが意図的にスクラッチや不均一性を画像に加えて、画像を人工的に老化させるように画像特性を変えたい場合である。勿論、第２処理ユニット（ＰＲＯＣ２）は、画像品質評価ユニット（Ｑ）の出力に従って選択された、異なった画像処理の中のいずれもあるいは幾つかを実行することができる。
【００２３】
このことは、画像品質評価ユニット（Ｑ）の出力が、画像品質が十分でないか、第２処理ユニット（ＰＲＯＣ２）により修正することができない傷の一種を有することを示しているばかりでなく、不十分さがいずれの種類のものか又は検出されなかった傷であることを示しているということを想定している。この情報に答えて、第２処理ユニット（ＰＲＯＣ２）は幾つかの利用可能な処理の中から選ばれた一つの処理を行うことができる。又は幾つかの利用可能な処理を連続して、又は同時に行うことができる。画像の異なった部分は異なって同時に処理されることができる。そしてその結果処理された部分は、次いで画像流れ結合ユニット（８）に出力される前に再結合される。
【００２４】
図５は、本発明の第４の態様を示し、第２処理ユニット（ＰＲＯＣ２）で処理するための最小品質値を満たさない、ある画像の部分のみを選択する方法を示す。８つのフレーム（こま）１２〜１４の連続物が示されており、３つ目から６つ目のフレームのその部分は第２処理ユニット（ＰＲＯＣ２）で処理するために選択される。１２では、最初の２つと最後の２つのフレームが第１処理ユニット（ＰＲＯＣ１）により処理される。第２処理ユニットで処理するために選択されない３つ目から６つ目のフレーム部分のみが処理ユニット（ＰＲＯＣ１）で処理されることができる、又はその代わり、明確に示されてないが、全フレームが更に第２処理ユニット（ＰＲＯＣ２）で処理するために処理ユニット（ＰＲＯＣ１）で処理されてもよい。１３では、最小品質値を満たさない３つ目から６つ目のフレームの部分が第２処理ユニット（ＰＲＯＣ２）で処理される。最後に１４では、二つの処理ユニットで処理されたフレームの部分が結合される。
【図面の簡単な説明】
【００２５】
【図１】本発明の第１の態様を示す。
【図２】本発明の第２の態様を示す。
【図３】本発明の第３の態様を示す。
【図４】本発明の第４の態様を示す。
【図５】本発明の第４の態様における別の形態を示す。
【符号の説明】
【００２６】
３ 連続番号メモリ
４ 画像メモリ
５ バッファメモリ
８ 画像流れ結合ユニット
１１ 画像流れコントローラ
ＰＲＯＣ１ 第１処理ユニット
ＰＲＯＣ２ ＰＲＯＣ２ａ−ｃ 第２処理ユニット
ＳＲＣ ソースユニット
ＳＴＯＲ レセプタユニット
Ｑ 画像品質評価ユニット

Claims (19)

1. −画像の流れから、第１処理ユニット（ＰＲＯＣ１）で処理するための品質測定を満たす画像の第１部分を選択し、及び第２処理ユニット（ＰＲＯＣ２）で処理するための前記品質測定を満たさない画像の第２部分を選択する工程；
   −第１処理ユニット（ＰＲＯＣ１）で処理するために選ばれた画像の第１部分をそのユニットで処理する工程；
   −第２処理ユニット（ＰＲＯＣ２）で処理するために選ばれた画像の第２部分をそのユニットで処理する工程；及び
   −第１処理ユニット（ＰＲＯＣ１）で処理された画像の第１部分と、第２処理ユニット（ＰＲＯＣ２）で処理された画像の第２部分とを正しい順で結合する工程；
   を含む画像の流れを処理する方法。
2. 品質測定を満たす画像の第１部分が、品質測定を満たす全体画像を含み、かつ品質測定を満たさない画像の第２部分が、品質測定を満たさない全体画像を含むことを特徴とする請求項１に記載の方法。
3. 第１処理ユニット（ＰＲＯＣ１）が全ての画像を処理し、かつ第２処理ユニット（ＰＲＯＣ２）が、第１処理ユニット（ＰＲＯＣ１）の出力からの入力を受けることを特徴とする請求項１又は２に記載の方法。
4. 画像が第２処理ユニット（ＰＲＯＣ２）で処理されている間、画像の流れが停止されることを特徴とする請求項１〜３のいずれかの項に記載の方法。
5. 全ての画像が連続番号で関係付けられており、及び第２処理ユニット（ＰＲＯＣ２）で処理するために選ばれた画像の少なくとも連続番号が、連続番号メモリ（３）に記憶されることを特徴とする請求項１〜４のいずれかの項に記載の方法。
6. 連続番号メモリ（３）がコンピュータに配置されていることを特徴とする請求項５に記載の方法。
7. 第２処理ユニット（ＰＲＯＣ２）で処理するために選ばれた画像が第１画像メモリ（４）に記憶されており、及び該画像と関係付けられた連続番号が該連続番号メモリ（３）に記憶されることを特徴とする請求項５又は６に記載の方法。
8. 第２処理ユニット（ＰＲＯＣ２）で処理された画像と結合される前に、第１処理ユニット（ＰＲＯＣ１）で処理された画像が第２画像メモリ（５）に記憶されることを特徴とする請求項５〜７のいずれかの項に記載の方法。
9. 品質測定が前記処理ユニット（ＰＲＯＣ１、ＰＲＯＣ２）のいずれかで処理された画像より前に評価されることを特徴とする請求項１〜８のいずれかの項に記載の方法。
10. 全ての画像が第１処理ユニット（ＰＲＯＣ１）で処理されており、かつ品質測定が第１処理ユニット（ＰＲＯＣ１）で処理後に評価されることを特徴とする請求項１〜８のいずれかの項に記載の方法。
11. −第１品質測定が前記処理ユニット（ＰＲＯＣ１、ＰＲＯＣ２）のいずれかで処理する画像より前に評価され；
    −全ての画像が第１処理ユニット（ＰＲＯＣ１）で処理され；
    −第２品質測定が第１処理ユニット（ＰＲＯＣ１）での処理後に評価され；及び
    −第２処理ユニット（ＰＲＯＣ２）で処理するための画像の選択が、両方の品質測定に従って行われることを特徴とする請求項１〜８のいずれかの項に記載の方法。
12. −第１処理ユニット（ＰＲＯＣ１）がもう一つの処理ユニットを含み；
    −それらの第１処理ユニット（ＰＲＯＣ１）の少なくとも一つが品質測定を満たす出力を与えると、それらの処理ユニットの一つからの出力が選ばれ、一方、
    −それらの第１処理ユニット（ＰＲＯＣ１）のいずれもが、品質測定を満たす出力を与えないときは、第２処理ユニット（ＰＲＯＣ２）が画像を処理するために選ばれることを特徴とする請求項１〜１１のいずれかの項に記載の方法。
13. −第２処理ユニット（ＰＲＯＣ２）がもう一つの第２処理ユニット（ＰＲＯＣ２ａ−ｃ）を含み；ここで、画像が、第２処理ユニット（ＰＲＯＣ２）で処理するために選ばれると、第２処理ユニット（ＰＲＯＣ２ａ−ｃ）の一つからの出力が出力として選択されることを特徴とする請求項１〜１２のいずれかの項に記載の方法。
14. 前記処理ユニット（ＰＲＯＣ１、ＰＲＯＣ２）で行われた処理が、ノイズの減少、色の修正、バンド幅のシェーピング、イメージ安定化、スクラッチ又はダートコンシールメント、ビットレート圧縮、フォーマット圧縮、又は詳細処理の少なくとも一つの処理を含むことを特徴とする請求項１〜１３のいずれかの項に記載の方法。
15. 品質測定が、ノイズレベル、ノイズ比に対するシグナル、画像複雑性、スクラッチ又はダートの発生、周波数量、エッジビジネス、色不均衡、量子レベル、又はエントロピーの品質測定の少なくとも一つであることを特徴とする請求項１〜１４のいずれかの項に記載の方法。
16. 第１処理ユニット（ＰＲＯＣ１）がリアルタイム処理ユニットであり、第２処理ユニット（ＰＲＯＣ２）が非リアルタイム処理ユニットであることを特徴とする請求項１〜１５のいずれかの項に記載の方法。
17. −第１画像処理ユニット（ＰＲＯＣ１）；
    −第２画像処理ユニット（ＰＲＯＣ２）；
    −画像の流れの中の各画像を評価するために、及び第２処理ユニット（ＰＲＯＣ２）で処理するための品質測定を満たさない画像を選択するために適応される画像品質評価ユニット（Ｑ）、一方、前記品質測定を満たす少なくともそれらの画像が、第１処理ユニット（ＰＲＯＣ１）で処理される；及び
    −前記第１（ＰＲＯＣ１）及び第２（ＰＲＯＣ２）処理ユニットに結合され、及び第１処理ユニット（ＰＲＯＣ１）で処理された画像と第２処理ユニット（ＰＲＯＣ２）で処理された画像とを正しい順で結合するように適用される画像流れ結合ユニット（８）；
    を含む画像処理装置。
18. さらに画像流れコントローラ（１１）を含み、該コントローラが、画像が第２処理ユニット（ＰＲＯＣ２）で処理される間、画像の流れを停止することを特徴とする請求項１７に記載の装置。
19. さらに画像メモリ（５）を含み、その中には、第１処理ユニット（ＰＲＯＣ１）で処理された画像が、第２処理ユニット（ＰＲＯＣ２）で処理される画像と結合される前に記憶されることを特徴とする請求項１７に記載の装置。