JP2004274460A - キーフレーム選択装置およびキーフレーム選択方法 - Google Patents

Abstract

【課題】連続する画像フレームの中から適切にキーフレームを選択する
【解決手段】連続する複数のオリジナル画像フレーム３１〜３５が記憶手段に記憶される。試験処理手段は、それら複数のオリジナル画像フレーム３１〜３５のうちの複数の画像フレームを試験用画像フレームとして、試験用画像フレーム間の相関に基づいて内挿等により再現画像を生成する処理の少なくとも一部を試験的に行なう。試験処理結果に基づいてキーフレームが選択される。試験処理により、再現画像の質を確保しつつ、キーフレームの間隔を広くできる。試験処理では、再現画像そのものが作られてもよいが、相関関数を求めるまでの処理が行われてもよく、処理量を削減できる。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、連続する複数のオリジナル画像フレームからキーフレームを選択する装置および方法に関する。
【０００２】
【従来の技術】
従来より、連続する複数の画像フレーム、典型的には動画像からキーフレームを選択する技術が知られている。選択されたキーフレームを保存しておいて、必要なときにキーフレーム間で内挿処理を施すことにより、キーフレーム間の任意の画像フレームに対応する中間画像を生成することができる。したがって、この技術によれば、元の動画像の情報量を少なくしたうえで任意の画像フレームを再現できる。
【０００３】
キーフレームを選択する処理としては、連続する複数の画像フレームからあらかじめ決められた一定のフレーム間隔で無作為にキーフレームを選択する処理が知られている。また、連続する複数の画像中の重要部分の動き情報に基づいてフレーム間の変化を評価してキーフレームを選択する処理も知られており、例えば特開２０００−１８２０６５号公報に開示されている。
【０００４】
【特許文献１】
特開２０００−１８２０６５号公報（第８−９頁、第１図）
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来のキーフレーム選択技術には、以下のような問題がある。
【０００６】
まず、一定間隔でキーフレームを無作為に選択する処理については、動画像中での被写体の動きが速いと、隣り合う画像フレーム間の変化が大きくなる。この場合に、一定間隔でキーフレームを選択すると、隣り合うキーフレーム間で画像の内容が大きく異なり、そのようなキーフレームに内挿処理を施しても適切な中間画像が得られないことがある。特に、あるキーフレームから次のキーフレームまでの間に被写体の一部が画像からはみ出たり、新たな被写体部分が画像内に入ってきたりすると、そのような被写体の一部が、内挿処理では適切に再現できなくなる。
【０００７】
このような問題が生じる可能性を低下させるために、キーフレームの間隔を狭くすることも考えられる。しかし、キーフレームの間隔を狭くすれば、キーフレームの数が増えて、保存しておくべき情報量が大きくなるという問題がある。
【０００８】
また、もう一つの従来技術、すなわち画像中の重要部分の動き情報に基づいてキーフレームを選択する処理では、選択されたキーフレームによって実際に生成される中間画像の画質が考慮されていない。このため、最適なキーフレームが選択されず、適切な中間画像が得られないことがある。
【０００９】
ここでは、キーフレームから内挿処理で中間画像を生成する場合を取り上げて従来技術を説明したが、キーフレームを用いた画像処理には、外挿処理が適用されてもよい。さらに、その他の処理によってキーフレームからそれ以外の画像が再現されてもよく、このような場合にも上記の問題が同様に生じ得る。
【００１０】
本発明は、このような問題を解決するためになされたもので、連続する画像フレームの中からキーフレームを適切に選択するための技術を提供するものである。
【００１１】
【課題を解決するための手段】
本発明のキーフレーム選択装置は、連続する複数のオリジナル画像フレームを記憶する記憶手段と、前記複数のオリジナル画像フレームのうちの複数の画像フレームを試験用画像フレームとし、それらの試験用画像フレーム間の相関に基づいて再現画像を生成する画像再現処理の少なくとも一部を試験的に行なう試験処理手段と、前記試験処理手段により処理した結果に基づいて、前記複数のオリジナル画像フレームから、フレーム間の相関に基づく画像生成のために保持すべきキーフレームを選択する選択手段とを含んでいる。
【００１２】
ここで、再現画像は、上述のように複数のキーフレームから得られる画像であって、時間軸上でキーフレーム以外の画像である。典型的には、内挿処理による中間画像が再現画像に相当するが、内挿以外の他の処理、例えば外挿処理が行なわれてよい。また、典型的には、各再現画像は２枚のキーフレームから生成されるが、３枚以上のキーフレームから生成されてもよい。
【００１３】
上記の構成により、画像再現処理の少なくとも一部を試験的に行なった結果に基づいてキーフレームが選択されるので、実際に生成される再現画像の質の優劣に基づいたキーフレームの選択ができる。これにより、キーフレーム間隔を広くとりつつ、再現画像の質を確保できるようにキーフレームを選択できる。
【００１４】
また、本発明のキーフレーム選択装置では、前記試験処理手段は、前記画像再現処理により再現画像を生成し、前記選択手段は、前記画像再現処理により生成された再現画像とその再現画像に対応するオリジナル画像フレームの画像との比較に基づいてキーフレームを選択する。
【００１５】
この構成により、実際に再現画像が生成され、その再現画像がオリジナル画像フレームの画像と比較された上でキーフレームが選択されるので、再現画像の質がどのようになるかの判定に基づいたキーフレームの選択ができる。
【００１６】
また、本発明のキーフレーム選択装置では、前記試験処理手段は、前記画像再現処理のうちの再現画像を生成するための相関関数を求める処理を行ない、前記選択手段は、前記複数の試験用画像フレームのいずれかの画像フレームが順次異なるときの前記試験処理手段で求めた相関関数の変化に基づいてキーフレームを選択する。
【００１７】
この構成では、画像再現処理の一部である相関関数を求める処理を行なってキーフレームを選択する。相関関数を用いることでも、実際に再現画像を作成したときの質の優劣が求められる。そして、この構成によれば、実際の再現画像の生成までは行なわないので、キーフレーム選択のための処理量が少なく抑えられ、処理時間を短縮可能である。
【００１８】
本発明は、上述したような装置の態様に限定されない。本発明の別の態様は、キーフレーム選択方法、キーフレーム選択方法をコンピュータに実行させるプログラムおよびそのプログラムを格納した記録媒体である。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて説明する。本実施の形態において、キーフレームは、連続する複数の画像フレーム（本実施の形態では動画像）からキーフレーム選択装置により選択されて、キーフレーム以外の画像を後に再現するために保存される。再現処理としては、典型的には内挿処理および外挿処理が知られているが、本実施の形態では内挿処理を想定する。そして、内挿処理により生成される中間画像が本発明の再現画像に相当する。
【００２０】
（第１の実施の形態）
図１は、第１の実施の形態の試験処理を説明する図であり、図２は、第１の実施の形態のキーフレーム選択装置の構成図である。以下、図２を参照してキーフレーム選択装置の構成を説明し、それから、図１および図２を参照してキーフレーム選択装置の動作を説明する。
【００２１】
図２に示すように、キーフレーム選択装置１０は、記憶部１１、中間画像生成部１２、比較部１３、キーフレーム判定部１４および制御部１５を備えている。また、キーフレーム選択装置１０は、図示しない入力インターフェースおよび出力インターフェースを備えている。なお、図２では、画像信号の流れを単線の矢印で示しており、制御信号の流れを二重線の矢印で示している。
【００２２】
記憶部１１は、直列に接続されたＮ個のフレームメモリを備えており、連続する複数の画像フレームを記憶する。記憶部１１の複数のフレームメモリにはキーフレームを選択する対象である複数の画像フレームが記憶されるが、フレームメモリの個数Ｎは、それらの画像フレームから選択されると予想されるキーフレームの間隔よりも十分に大きい。例えば、１０枚程度の画像フレームごとにキーフレームが選択されると予想されるときには、フレームメモリの個数Ｎは１５個などとする。
【００２３】
中間画像生成部１２は、２つの画像フレームの間の相関を表す内挿関数を演算により求める。この内挿関数は、時間をパラメータとして、線形補間やスプライン補間などによって２つの画像を補間して中間画像を生成するための関数である。したがって、２つの画像フレーム間の相関を表す内挿関数の時間パラメータに任意の時間を代入することにより、両画像フレーム間の中間画像を生成することができる。中間画像生成部１２は、内挿関数の時間パラメータに具体的な値を代入することにより中間画像を生成する。
【００２４】
記憶部１１および中間画像生成部１２は、入力インターフェースに接続されている。入力インターフェースを介して入力された入力画像は記憶部１１および中間画像生成部１２に送られる。
【００２５】
比較部１３は、２つの画像間の差分が所定の判定基準を越えるか否かを判断することにより、両画像を比較する。具体的には、比較部１３は、２つの画像間で対応する画素同士の輝度、色相、彩度などの差分を求めて、これを判定基準と比較する。判定基準は、選択されたキーフレームの用途に応じてあらかじめ設定されて記憶されている。例えば、差分の合計値が所定の閾値と比較される。
【００２６】
比較部１３は、さらに、比較の結果を示す制御信号（以下、比較結果信号という）をキーフレーム判定部１４に出力する。キーフレーム判定部１４は、比較結果信号に基づいて、記憶部１１に記憶されたいずれの画像フレームをキーフレームとするかを判定する。
【００２７】
制御部１５は、キーフレーム選択装置１０の全体の制御を行なう。制御部１５は、記憶部１１から取得した画像フレームを中間画像生成部１２および比較部１３に出力する。また、制御部１５は、キーフレーム判定部１４から入力された制御信号に基づいて、出力インターフェースを介して、選択されたキーフレームを出力する。
【００２８】
次に、図１および図２を参照して、具体的な動画像例を用いて、キーフレーム選択装置１０の動作を説明する。
【００２９】
本実施の形態のキーフレーム選択処理では、動画像を構成する複数の画像フレームからなる入力画像が入力インターフェースに順次入力される。画像フレームは順次記憶部１１に蓄積される。その結果、記憶部１１の入力側からみて奥の方（図２では下の方）のフレームメモリに時間軸上で最初の画像フレーム３１が蓄積され、画像フレーム３１が蓄積されたフレームメモリから入力側に向かって（図２では上方向に向かって）、各フレームメモリに時間経過順に画像フレームがそれぞれ蓄積される。各画像フレームは、中間画像生成部１２にも入力される。なお、記憶部１１が本発明の記憶手段に相当する。
【００３０】
制御部１５は、記憶部１１に記憶されている画像フレームのうち、最後にキーフレームとして選択された画像フレームを基準キーフレームとして中間画像生成部１２に出力する。いま、画像フレーム３１が最後にキーフレームとして選択された画像フレームであるとすると、制御部１５は、この画像フレーム３１を中間画像生成部１２に出力する。そして、中間画像生成部１２は、この基準キーフレームと、入力インターフェースから入力されてくる最新の画像フレーム（候補キーフレーム）とを用いて中間画像を生成する。
【００３１】
図１に示すように、基準キーフレームである画像フレーム３１と候補キーフレームである画像フレーム３３との内挿処理により、画像フレーム３２に対応する中間画像３６が生成される。この処理において、中間画像生成部１２は、画像フレーム３３と画像フレーム３１とを用いて、これらの画像フレーム間の相関を表す内挿関数を求める。そして、中間画像生成部１２は、内挿関数の時間パラメータに、画像フレーム３１から画像フレーム３３までの所要時間の半分の時間を代入することで、画像フレーム３２に対応する中間画像３６を生成する。本実施の形態では、中間画像生成部１２が本発明の試験処理手段を構成し、中間画像生成部１２で試験的に中間画像を生成する処理が本発明の試験処理に相当する。また、内挿関数を求めて、その内挿関数によって中間画像を生成するまでの処理が、本発明の画像再現処理に相当する。
【００３２】
ここで、理想的には、中間画像３６は画像フレーム３２の画像と一致する。ただし、実際には内挿関数を求めた際の丸め誤差等に起因して、中間画像３６と画像フレーム３２の画像とは完全には一致しない。そこで、比較部１３は、中間画像３６と画像フレーム３２の画像とを比較して、両画像の差分が所定の判定基準を越えるか否かを判断する。このために、制御部１５は、比較対象の画像フレーム３２を比較部１３に出力する。そして、比較部１３は、比較の結果を示す比較結果信号をキーフレーム判定部１４に出力する。図１の例では、比較部１３は、両画像間の差分が判定基準を越えていないと判断して、その旨の比較結果信号をキーフレーム判定部１４に出力する。
【００３３】
キーフレーム判定部１４は、差分が判定基準を越えない旨の比較結果信号を受けたときには、制御部１５に対してキーフレームを更新しないで処理を継続するための制御信号（以下、継続制御信号という）を出力する。制御部１５は、この継続制御信号に従って、処理を継続する。
【００３４】
中間画像生成部１２は、画像フレーム３３が入力されたときと同様に、候補キーフレームとして中間画像生成部１２に入力された画像フレーム３４と基準キーフレームである画像フレーム３１との間の相関を表す内挿関数を求める。そして、中間画像生成部１２は、内挿関数の時間パラメータに、画像フレーム３１から画像フレーム３４までの所要時間の３分の１、および３分の２の時間をそれぞれ代入することにより、画像フレーム３２および画像フレーム３３のそれぞれの画像に対応する中間画像を生成する。
【００３５】
このとき生成される中間画像は、図１では省略されているが、それらの中間画像に対しても上述の比較部１３による比較処理が行なわれる。ここでは、比較の結果として、２枚の中間画像のそれぞれについて差分が判断基準を越えなかったものとする。その旨の比較結果信号がキーフレーム判定部１４に出力され、キーフレーム判定部１４は、比較結果信号に基づいて制御部１５に継続制御信号を出力する。
【００３６】
このようにして、比較部１３による比較の結果、差分が判定基準を越えるまで、順次入力される画像フレームと最新のキーフレームとを用いた中間画像生成処理および比較の処理を繰り返す。図１の例では、次の画像フレーム３５を候補キーフレームとしたときに差分が判定基準を越える。
【００３７】
すなわち、中間画像３７、３８は、画像フレーム３５を候補キーフレームとして、基準キーフレームとの間の内挿により生成された中間画像である。図１に示されるように、画像フレーム３５の画像では、自動車の前部が画像外にはみ出している。したがって、このような画像フレーム３５を用いて中間画像を生成すると、中間画像３７、３８のように自動車の前部が適切に再現できない。このことは、画像フレーム３５を次のキーフレームとして選択するのが適切でないことを意味する。
【００３８】
このような中間画像３７、３８をそれらが対応する画像フレーム３２、３３の画像と比較すると、画像間の差分が判定基準を越える。したがって、比較部１３は、画像間の差分が判定基準を越えると判断して、その旨の比較結果信号をキーフレーム判定部１４に出力する。キーフレーム判定部１４は、この比較結果信号に従って、制御部１５に対して、キーフレームを選択するための制御信号（以下、選択制御信号という）を出力する。制御部１５は、選択制御信号に従って、記憶部１１に記憶された画像フレームの中からキーフレームを選択して、キーフレームを更新する。
【００３９】
選択制御信号は、差分が判定基準を越える中間画像を生成したときに用いた画像フレームの１つ前の画像フレームをキーフレームとして選択するをことを指示する制御信号である。本実施形態では、差分が小さいほどオリジナルの画像に近い画像が再現されることを利用し、オリジナルの画像を必要な程度に再現できるように、すなわち、再現画像の質が確保されるように判定基準が設定されている。キーフレームに基づいて生成する再現画像に高い再現性が要求されるときには、元の動画像を構成する画像フレームとの差分が小さい再現画像を生成できるキーフレームを選択するために、判定基準は厳しく設定される。
【００４０】
したがって、差分が判定基準を越える中間画像を生成したときに用いた画像フレームの１つ前の画像フレームは、適切に再現画像を生成することができる画像フレームのうちで最も基準キーフレームから遠い画像フレームである。このような画像フレームをキーフレームとして選択することによって、オリジナルの画像を適切に再現できるキーフレームが選択されるとともに、動画像の情報量を十分に小さく抑えることができる。
【００４１】
図１の例では、既に述べたように、画像フレーム３５を候補キーフレームとして中間画像を生成したときに画像間の差分が判定基準を越えるので、その１つ前の画像フレーム３４が次のキーフレームとして選択される。ここで、比較結果信号に基づいて選択制御信号を出力するキーフレーム判定部１４と、選択制御信号に従ってキーフレームを選択する制御部１５とによって、本発明の選択手段が構成される。
【００４２】
制御部１５は、新たなキーフレームを記憶するための処理を行なう。例えば、第２のキーフレームとして選択された画像フレーム３４は、出力インターフェースを介して出力され、図示しない記憶装置に記憶される。そして、キーフレーム選択装置１０は、上述の処理と同様にして、新たなキーフレームとその後の画像フレームを中間画像生成部１２に出力する。中間画像生成部１２は、新たなキーフレームを基準キーフレームとし、順次入力される画像フレームを候補キーフレームとして、次のキーフレームを選択するための処理を行なう。
【００４３】
このようにしてキーフレームを順次更新していきながらキーフレームを選択していき、動画像を構成する複数の画像フレームの最後の画像フレームまで達したら、最後の画像フレームを最後のキーフレームとして選択してキーフレーム選択処理を終了する。なお、本実施の形態で、中間画像生成部１２にて中間画像を生成するために用いられる基準キーフレームおよび候補キーフレームが本発明の試験用画像フレームに相当する。
【００４４】
図３は、上述のキーフレーム選択処理を示すフローチャートである。本実施の形態のキーフレーム選択処理では、基準キーフレームと候補キーフレームとを用いた内挿処理により試験的に中間画像が生成される（ステップ５１）。ここで、基準キーフレームは、既にキーフレームとして選択された画像フレームであり、候補キーフレームは、そのキーフレームの次のキーフレームの候補として試験的に用いられるものである。
【００４５】
試験的に生成された中間画像は、その画像に対応するオリジナルの画像フレームの画像と比較される（ステップ５２）。両者の差分が判定基準よりも小さいときには、基準キーフレームを更新することなくステップ５１に戻り、次の中間画像を生成する。このようにして、中間画像とそれに対応するオリジナル画像との差分が判定基準より大きくなるまでステップ５１およびステップ５２の処理を繰り返す。
【００４６】
両者の差分が判定基準より大きくなったときには、キーフレームが選択される（ステップ５３）。ステップ５３では、ステップ５２で判定基準を越えた中間画像を生成するのに用いた候補キーフレームの１つ前の候補キーフレームがキーフレームとして選択される。
【００４７】
ステップ５３にてキーフレームが選択されると、次のキーフレームを選択するために、ステップ５１に戻り、上記と同様の処理が行われる。このとき、直前のステップ５３で選択されたキーフレームが基準キーフレームとされて、そのキーフレームより後の画像フレームが順次候補キーフレームとされてステップ５１およびステップ５２の処理が行なわれる。
【００４８】
以上説明したように、本実施の形態のキーフレーム選択装置１０によれば、元の動画像を表す複数の画像フレームから内挿により中間画像を生成して、その中間画像の質を評価した上でキーフレームを選択できる。したがって、キーフレームを用いて生成される再現画像の質が保証され、このようにして選択されたキーフレームを用いれば所定の基準を下回る再現画像が生成されるのを回避できる。
【００４９】
また、キーフレーム選択装置１０は、上述したように、中間画像とそれが対応するオリジナルの画像との差分が判定基準を越える画像フレームの１つ前の画像フレームをキーフレームとして選択する。すなわち、キーフレーム選択装置１０は、適切に中間画像を生成することができる画像フレームのうちの、基準キーフレームから最も遠い画像フレームをキーフレームとして選択する。したがって、キーフレーム間隔を広くとりつつ、キーフレームにより再現される再現画像の質を確保できる。
【００５０】
次に、上記のキーフレーム選択装置１０と同様の機能を有する装置および上記のキーフレーム選択処理と同様の処理をコンピュータプログラムでソフトウェア的に実現する構成を説明する。このプログラムは、例えば、パーソナルコンピュータ（以下、ＰＣと記す）などの汎用コンピュータで実行される。そして、このコンピュータプログラムにより、コンピュータ上で画像処理プラットフォームが規定される。
【００５１】
図４のフローチャートは、上述の画像処理プラットフォームを規定するためのコンピュータプログラムの例を示している。
【００５２】
まず、画像処理プラットフォームに入力された画像データがワークメモリに蓄積される（ステップ７１）。ここでは、画像データは、時間の経過順にフレームごとにワークメモリに蓄積される。次に、前回の処理ループで選択済みのキーフレームを読み出し、基準キーフレームとして設定する。ただし、最初のループではキーフレームは未だ選択されていないので、最初に読み込まれた画像データを基準キーフレームとして設定する。
【００５３】
次に、基準キーフレームと候補キーフレームから内挿により中間画像を生成する（ステップ７２）。この中間画像生成処理では、現時点で読み込まれている最新の画像データを候補キーフレームとして、その候補キーフレームと基準キーフレームとの間の相関を表す内挿関数を求める。そして、内挿関数の時間パラメータに具体的な値を代入して両フレーム間の中間画像を生成する。ただし、最初のループと２回目のループでは基準キーフレームと候補キーフレームとが同一フレームまたは隣り合うフレームとなるため、最初のループと２回目のループではステップ７２からステップ７４までの処理をスキップして次のループ処理に移行する。
【００５４】
次に、ワークメモリに蓄積されている画像フレームの中から、生成された中間画像に対応する画像フレームの画像を読み出し、生成された中間画像と比較する（ステップ７３）。そして、ステップ７３での比較の結果に基づいて最適なキーフレームを判定する（ステップ７４）。このステップ７４では、２つの画像間の差分が予め定めておいた判断基準以下である場合は、キーフレームを選択せずにそのまま次のループに移行する。一方、画像間の差分が判断基準を超えている場合には１つ前のループで用いた候補キーフレームを次のキーフレームとして選択し、選択したキーフレームを次のループの基準キーフレームとして設定する。
【００５５】
以上説明したように、汎用コンピュータがプログラムを実行することによっても上記のキーフレーム選択装置１０およびキーフレーム選択装置１０が実行するキーフレーム選択処理を実現することができる。
【００５６】
なお、プログラムは、可搬型の記録媒体に記録され、コンピュータがその記録媒体を読取ることによってコンピュータにロードされてもよい。また、プログラムは、通信ネットワークを経由してコンピュータにロードされてもよい。
【００５７】
（第２の実施の形態）
図５および図６は、第２の実施の形態の試験処理を説明する図であり、図７は、第２の実施の形態のキーフレーム選択装置の構成図である。以下、図７を参照してキーフレーム選択装置の構成を説明し、それから、図５〜図７を参照してキーフレーム選択装置の動作を説明する。
【００５８】
図７に示すように、キーフレーム選択装置２０は、記憶部１１、内挿関数演算部２２、内挿関数変化記録部２３、キーフレーム判定部１４および制御部１５を備えている。また、キーフレーム選択装置２０は、図示しない入力インターフェースおよび出力インターフェースを備えている。なお、図７では、図２と同様に、画像信号の流れを単線の矢印で、制御信号の流れを二重線の矢印で示している。
【００５９】
キーフレーム選択装置２０は、第１の実施の形態のキーフレーム選択装置１０の中間画像生成部１２、比較部１３が、それぞれ内挿関数演算部２２と内挿関数変化記録部２３に置き換わっている点を除いてキーフレーム選択装置１０の構成と同じである。図７において、図２に示す第１の実施の形態のキーフレーム選択装置１０の構成要素と同一の構成要素については、同一の符号を付してその説明を省略する。
【００６０】
キーフレーム選択装置２０の内挿関数演算部２２は、演算により２つの画像フレーム間の相関を表す内挿関数を求める。内挿関数変化記録部２３は、内挿関数演算部２２が求めた内挿関数を記録し、それらの内挿関数間の変化を求めて、その変化を記録する。
【００６１】
第１の実施の形態で説明した通り、内挿関数は、時間をパラメータとして、直線補間やスプライン補間などの補間により中間画像を生成するための関数である。２枚の画像から直線補間を行なう場合を例にとって、内挿関数変化記録部２３による内挿関数の変化の評価方法を説明すると、直線補間は、原理的には、ｆｍｎ（ｘ，ｙ）（ｔ）＝ａｍｎ・ｔ＋（ｘ，ｙ）によって表される。ここで、ｍ、ｎは内挿関数を求めた際に用いた画像フレームのフレーム番号であり、本実施の形態の場合には、ｍが基準キーフレーム、ｎが候補キーフレームに相当する。また、（ｘ、ｙ）は画像内の画素位置であり、ａｍｎは直線補間ベクトル（２次元ベクトル）であり、ｔは時間パラメータである。この場合、候補キーフレームを変えていくと、基準キーフレームとの変化の度合に応じて直線補間ベクトルも変わっていく。
【００６２】
そこで、内挿関数変化記録部２３は、内挿関数を求めるのに用いる候補キーフレームが異なるときの直線補間ベクトルの変化、例えば、ベクトルの差分の絶対値を変化量として求める。そして、その変化をあらかじめ記憶されている適当な閾値等の判定基準と比較して、比較結果を表す比較結果信号をキーフレーム判定部２４に出力する。判定基準は、選択されたキーフレームの用途に応じてあらかじめ設定されて記憶されている。なお、ここでは、１つの画素の画像補間に着目したが、実際には、画像全体または適当な範囲を対象として相関関数の変化を求め、判定基準と比較する処理が行なわれる。
【００６３】
次に、図５〜図７を参照して、上記のように構成されたキーフレーム選択装置２０によって実行されるキーフレーム選択処理を説明する。
【００６４】
本実施の形態のキーフレーム選択処理では、第１の実施の形態と同様にして、記憶部１１および内挿関数演算部２２に画像フレームが入力される。制御部１５は、まず、第１番目の画像フレームを第１のキーフレームとして選択する。そして、この第１のキーフレームに続く第２のキーフレームを選択するために以下の処理を行なう。
【００６５】
制御部１５は、記憶部１１に記憶されている画像フレームのうち、最後にキーフレームとして選択された画像フレームを基準キーフレームとして内挿関数演算部２２に出力する。いま、画像フレーム４１が最後にキーフレームとして選択された画像フレームであるとすると、制御部１５は、この画像フレーム４１を内挿関数演算部２２に出力する。そして、内挿関数演算部２２は、この基準キーフレームと、入力インターフェースから入力されてくる最新の画像フレーム（候補キーフレーム）とを用いて内挿関数を生成する。内挿関数演算部２２は、まず、図５に示すように、基準キーフレームである画像フレーム４１と候補キーフレームである画像フレーム４３によって内挿関数ｆ１３を求めて、これを内挿関数変化記録部２３に記録する。
【００６６】
本実施の形態では、第１の実施の形態と異なり、内挿関数を用いて実際に中間画像を生成する処理までは行なわない。ただし、第１の実施の形態で説明したように、中間画像を生成する処理では、まず内挿関数を求めて、その内挿関数の時間パラメータに値を代入するので、内挿関数を求める処理は中間画像を生成する処理の一部である。なお、本実施の形態では、内挿関数演算部２２が本発明の試験処理手段を構成し、内挿関数演算部２２で試験的に内挿関数を求める処理が本発明の試験処理に相当する。また、内挿関数を求める処理が、本発明の画像再現処理の一部に相当する。
【００６７】
次に、制御部１５は、第４番目のフレームである画像フレーム４４を候補キーフレームとして記憶部１１から内挿関数演算部２２に出力する。そして、内挿関数演算部２２は、この画像フレーム４４と画像フレーム４１とを用いて内挿関数ｆ１４を求めて、これを内挿関数変化記録部２３に記録する。そして、内挿関数変化記録部２３は、内挿関数ｆ１３とｆ１４との間の変化、具体的には、前述の直線補間ベクトルの変化量を求める。内挿関数変化記録部２３は、求めた変化量をあらかじめ記憶されている判断基準と比較して、比較結果信号をキーフレーム判定部１４に出力する。
【００６８】
キーフレーム判定部１４は、内挿関数の変化が判定基準を越えない旨の比較結果信号を受けたときには、第１の実施の形態と同様に、制御部１５に継続制御信号を出力する。そして、制御部１５は、継続制御信号に従って、基準キーフレームを更新することなく、最後に選択されたキーフレームを内挿関数演算部２２に出力する。そして、内挿関数演算部２２は、入力インターフェースから順次入力されてくる画像フレーム（候補キーフレーム）と制御部１５から入力されてくる基準キーフレームとを用いて内挿関数を求める処理および内挿関数の変化を判定基準と比較する処理を行なう。このようにして、候補キーフレームを更新しながら順次内挿関数の変化を求めていく処理が本発明の変化演算ステップに相当する。
【００６９】
キーフレーム判定部１４は、内挿関数の変化が判定基準を越える旨の比較結果信号を受けたときには、制御部１５に選択制御信号を出力する。選択制御信号は、内挿関数の変化が判断基準を越えたときに用いた画像フレームの１つ前の画像フレームをキーフレームとして選択するをことを指示する制御信号である。本実施の形態では、内挿関数の変化が小さい間は、画像再現性が高いことを利用して、元の動画像を必要な程度に再現できるように、すなわち、再現画像の質が確保されるように判断基準が設定されている。したがって、キーフレームを用いて生成する再現画像に高い再現性が要求されるときには、元の動画像により近い再現画像を生成できるキーフレームを選択するために、判定基準は厳しく設定される。
【００７０】
したがって、内挿関数の変化が判定基準を越えるときに用いた画像フレームの１つ前の画像フレームは、要求される再現性を確保することができる画像フレームのうちで最も基準キーフレームから遠い画像フレームである。このような画像フレームをキーフレームとして選択することによって、オリジナルの画像を適切に再現できるキーフレームが選択されるとともに、動画像の情報量を十分に小さく抑えることができる。
【００７１】
図６は、候補キーフレームを用いて試験的に内挿関数を求めていったときの候補キーフレームのフレーム番号と内挿関数の変化量との関係を示すグラフである。図６に示すように、Ａ点（ｆ１３からｆ１４への変化）〜Ｂ点（ｆ１６からｆ１７への変化）では、内挿関数の変化量はまだ閾値より小さいが、Ｃ点（ｆ１７からｆ１８への変化）では閾値を越える。これは、図５において、画像フレーム４８で自動車の前部が画像からはみ出ているからである。すなわち、画像フレーム４８と基準キーフレームとの間の内挿関数ｆ１８は、自動車が画像内に収まっている画像フレーム４７と基準キーフレームとの間の内挿関数ｆ１７から大きく変化している。そして、このことは、画像フレーム４８を第２のキーフレームとして選択することが適当ではないことを意味している。このように、内挿関数の変化は、中間画像の質が大きく劣化するときに急激に増加する傾向がある。この特性を利用し、本実施の形態では、内挿関数の変化の急増前後のフレームを判別できるように、急増前の内挿関数の変化量に応じて閾値が設定されている。
【００７２】
したがって、キーフレーム判定部１４は、閾値を越える前のＢ点で生成された内挿関数ｆ１７を求めた際に用いた画像フレーム４７を第２のキーフレームとして選択するための選択制御信号を制御部１５に出力する。制御部１５は、選択制御信号に従って、画像フレーム４７を第２のキーフレームとして出力する。ここで、比較結果信号に従って選択制御信号を出力するキーフレーム判定部１４、および選択制御信号に従ってキーフレームを選択する制御部１５が本発明の選択手段を構成する。
【００７３】
図７に戻って、制御部１５は、第１の実施の形態と同様にして、第２のキーフレームを記憶するための処理を行なう。すなわち、制御部１５は第２のキーフレームを出力インターフェースを介して出力する。キーフレーム選択装置２０は上述の処理と同様にして、第２のキーフレームを基準キーフレームとし、その基準キーフレームに続く画像フレームを順次候補キーフレームとする処理を通じて、第３のキーフレームを選択する。
【００７４】
このようにして順次キーフレームを選択していき、最後の画像フレームまで達したら、最後の画像フレームを最後のキーフレームとして選択してキーフレーム選択処理を終了する。なお、本実施の形態で、内挿関数演算部２２にて内挿関数を求めるために用いられる基準キーフレームおよび候補キーフレームが本発明の試験用画像フレームに相当する。
【００７５】
図８は、上述のキーフレーム選択処理を示すフローチャートである。本実施の形態のキーフレーム選択処理では、基準キーフレームと候補キーフレームとを用いて、それらのフレーム間の相関を表す内挿関数が求められる（ステップ６１）。ここで、基準キーフレームは、既にキーフレームとして選択された画像フレームであり、候補キーフレームは、そのキーフレームの次のキーフレームの候補として用いられるものである。
【００７６】
内挿関数が求められると、その内挿関数から直前に求められた内挿関数への変化が所定の判断基準と比較される（ステップ６２）。すなわち、ある基準キーフレームに対して、その後の画像フレームを順次候補キーフレームとして更新していって順次求められた内挿関数同士の間の変化が判定基準を越えるか否かが判断される。変化が判定基準よりも小さいときには、候補キーフレームを更新して、ステップ６１に戻り、次の内挿関数を求める。このようにして、順次求められる内挿関数と直前に求められた内挿関数との間の変化が判定基準より大きくなるまでステップ６１およびステップ６２の処理を繰り返す。
【００７７】
内挿関数の変化が判定基準より大きくなったときは、キーフレームが選択される（ステップ６３）。ステップ６３では、ステップ６２で判定基準を越えた内挿関数を生成するのに用いた候補キーフレームの１つ前の画像フレームがキーフレームとして選択される。
【００７８】
ステップ６３にてキーフレームが選択されると、次のキーフレームを選択するために、ステップ６１に戻り、上記と同様の処理が行なわれる。このとき、直前のステップ６３で選択されたキーフレームが基準キーフレームとされて、そのキーフレームより後の画像フレームが順次候補キーフレームとされてステップ６１およびステップ６２の処理が行なわれる。
【００７９】
以上説明したように、本実施の形態のキーフレーム選択装置によれば、内挿関数が急に変化したときにそのような内挿関数では再現性の高い中間画像が生成されないことを利用してキーフレームが選択される。すなわち、内挿関数は再現画像処理の中で求められるものであるので、内挿関数を用いることによっても、実際に再現画像を作成した際の質の優劣を判断することができる。したがって、キーフレームを用いて生成される再現画像の質が保証され、このようにして選択されたキーフレームを用いれば所定の基準を下回る再現画像が生成されるのを回避できる。そして、再現画像の質が確保できる範囲でキーフレームの間隔を広げられ、情報量の低減ができる。さらに、内挿処理による中間画像の生成までは行なわないので、キーフレーム選択のための処理量が少なく抑えられ、処理に要する時間を短縮できる。
【００８０】
次に、上記のキーフレーム選択装置２０と同様の機能を有する装置および上記のキーフレーム選択処理と同様の処理をコンピュータプログラムでソフトウェア的に実現する構成を説明する。このプログラムは、例えば、ＰＣなどの汎用コンピュータで実行される。そして、このコンピュータプログラムにより、コンピュータ上で画像処理プラットフォームが規定される。
【００８１】
図９のフローチャートは、上述の画像処理プラットフォームを実現するためのコンピュータプログラムによる処理の例を示している。
【００８２】
まず、画像処理プラットフォームに入力された画像データがワークメモリに蓄積される（ステップ８１）。ここでは、画像データは、時間の経過順にフレームごとにワークメモリに蓄積される。次に、前回の処理ループで選択済みのキーフレームを読み出し、基準キーフレームとして設定する。ただし、最初のループではキーフレームは未だ選択されていないので、最初に読み込まれた画像データを基準キーフレームに設定する。
【００８３】
次に、現時点で読み込まれている最新の画像データを候補キーフレームとして、基準キーフレームと候補キーフレームとの間の相関を表す内挿関数を求める（ステップ８２）。ただし、最初のループでは基準キーフレームと候補キーフレームが同一フレームとなるため、最初のループではステップ８２からステップ８５までをスキップして次のループ処理に移行する。
【００８４】
次に、内挿関数をワークメモリに蓄積する（ステップ８３）。そして、その内挿関数の変化を判定する（ステップ８４）。このステップ８４では、直前のステップ８２で求められた内挿関数とその前のステップ８２で求められた内挿関数との間の変化が所定の判定基準を越えるか否かが判断される。そして、ステップ８４での判定に基づいて、最適なキーフレームが判定される（ステップ８５）。このステップ８５では、内挿関数の変化が判定基準より小さい場合にはキーフレームを選択することなく次のループに移行する。一方、内挿関数の変化が判定基準を越える場合には１つ前のループで用いた候補キーフレームをキーフレームとして選択し、選択されたキーフレームを次ループの基準キーフレームとして更新する。
【００８５】
以上説明したように、汎用コンピュータがプログラムを実行することによっても上記のキーフレーム選択装置２０およびキーフレーム選択装置２０が実行するキーフレーム選択処理を実現することができる。
【００８６】
なお、プログラムが可搬型の記録媒体や通信ネットワークを媒体としてコンピュータにロードされてよいことは、第１の実施の形態と同様である。
【００８７】
以上説明したように、第１および第２の実施の形態によれば、連続する複数の画像フレームのうちの試験用画像フレームを用いて、内挿処理により中間画像を再現する処理の少なくとも一部を試験的に行ない、その結果に基づいてキーフレームを選択するので、実際に生成される再現画像の質の優劣に基づいたキーフレームの選択ができる。これにより、キーフレーム間隔を広くとりつつ、再現画像の質を確保できるようにキーフレームを選択できる。ここで、中間画像を再現する処理の少なくとも一部とは、第１の実施の形態では、内挿により中間画像を生成する処理であり、第２の実施の形態では、内挿により中間画像を生成するための内挿関数を求める処理である。第２の実施の形態では、内挿による中間画像の生成自体を行なわないので、キーフレーム選択の処理負担を軽減できる。
【００８８】
以上説明したキーフレーム選択装置１０および２０は、例えば、人物認証システムにて用いられる。人物認証システムとは、人物の顔を撮影してその人物があらかじめ登録された者であるかを判定するシステムである。この人物認証システムでは、あらかじめ登録対象者の顔の動画像が撮影され、その動画像からキーフレーム選択装置によりキーフレームが選択されて保存されている。以下では、登録対象者の動画像が撮影されて、キーフレーム選択装置に入力される入力画像が生成されるまでの処理、および選択されたキーフレームを用いて実際に人物認証を行なう際の処理を説明する。
【００８９】
図１０は、入力画像を生成する処理を説明する図である。図１０は、人物の顔の角度が変化していく複数の画像フレームを生成する例を示している。複数の画像フレームを生成するために、まず、被写体である人物９１にカメラ９２に顔が映るように位置してもらう。そして、人物９１に顔を左右に振ってもらい、これをカメラ９２で撮影する。これにより、人物９１の顔の角度が変化していく動画像が撮影され、その動画像から、連続的に変化する顔画像を表す複数の画像フレーム９３が得られる。
【００９０】
キーフレーム選択装置１０、２０は、このようにして得られた複数の画像フレーム９３を入力画像として取り込み、上述のようにして、それらの画像フレーム９３の中からキーフレームを選択する。
【００９１】
人物認証システムでは、選択されたキーフレームを保存しておき、以下のようにして人物の認証を行なう。まず、認証対象の人物の顔を撮影して顔画像を得る。このとき、人物の顔画像はカメラに対してどの角度であってもよい。そして、人物認証システムにて、あらかじめ記憶しているキーフレームを用いて内挿処理を施すことにより、撮影された顔画像の角度に対応する角度の顔画像を生成する。このようにして生成された顔画像を撮影によって得られた認証対象の人物の顔画像と比較することにより、その認証対象の人物があらかじめ登録された人物であるかを判定する。
【００９２】
なお、第１の実施の形態では、内挿処理により中間画像を生成することで試験処理を行ない、また、第２の実施の形態では、内挿関数を生成することにより試験処理を行なったが、本発明はこれらに限られない。例えば、第１の実施の形態の試験処理が、外挿処理により外挿画像を生成するものであってもよく、また、第２の実施の形態の試験処理が外挿関数を生成するものであってもよい。これらの変形例によっても上記と同様の効果が得られる。本発明の「相関関数」は、内挿関数および外挿関数を含み、また、本発明の「再現画像」は、内挿処理によって生成される中間画像および外挿処理によって生成される外挿画像を含む。
【００９３】
また、上記の第１および第２の実施の形態では、２つの画像フレームの相関から再現画像が求められたが、３つ以上の画像フレームが用いられてもよい。すなわち、試験用画像フレームは３つ以上であってもよい。
【００９４】
さらに、第１および第２の実施の形態では、基準キーフレームから時間が進行する方向に候補キーフレームを１枚ずつ更新して試験処理を行なったが、試験処理の手順はこれに限られない。試験処理は、例えば、最初の候補キーフレームを基準キーフレームから一定のフレーム数の間隔をおいた画像フレームにしてもよい。この場合には、制御部１５が基準キーフレームおよび候補キーフレームを記憶部１１から読み出して、これらの２つの画像フレームを用いて試験処理が行われる。この変形例では、最初の候補キーフレームで判定基準を越えた場合には、その画像フレームから時間が後退する方向（基準キーフレームに近づく方向）に候補キーフレームを更新していって試験処理を行なう。一方、最初の候補キーフレームで判定基準を越えていない場合には、時間が進行する方向に候補キーフレームを更新して試験処理を行なう。この変形例は、例えば、動画像の内容、すなわち被写体の動作速度や被写体の内容があらかじめ分かっており、選択されるべきキーフレームの間隔が予測できる状況下で有用である。この変形例によれば、キーフレーム選択のための処理量を少なくできる。
【００９５】
また、第１および第２の実施の形態では、判定基準を越えない限度で最も基準キーフレームから遠い画像フレームをキーフレームとして選択したが、本発明はこれに限られない。例えば、上記のように、基準キーフレームから一定のフレーム数の間隔をおいた画像フレームを最初の候補キーフレームにする場合、その最初の候補キーフレームの試験処理で判定基準を越えなかったときには、その画像フレームをキーフレームとして選択し、判定基準を越えた場合にのみ候補キーフレームを更新して試験処理を行なってもよい。この変形例によれば、キーフレーム選択のための処理量をさらに少なくできる。
【００９６】
また、上記の実施の形態では、相関関数のパラメータを時間にしているが、本実施の形態では、相関によりキーフレーム以外の画像が再現されればよく、時間と同等の意味をもつ他のパラメータ、例えばフレーム番号をパラメータとして相関関数が表現されてもよい。
【００９７】
【発明の効果】
以上説明したように、本発明は、フレーム間の相関に基づいて任意の画像フレームの画像を再現する画像再現処理の少なくとも一部を試験的に行なってキーフレームを選択するので、キーフレームを適切に選択することができるというすぐれた効果を有する装置を提供することができる。
【図面の簡単な説明】
【図１】第１の実施の形態のキーフレーム選択処理を説明する図
【図２】第１の実施の形態のキーフレーム選択装置の構成図
【図３】第１の実施の形態のキーフレーム選択装置による処理のフローチャート
【図４】第１の実施の形態のキーフレーム選択処理をプログラムで実現するときのフローチャート
【図５】第２の実施の形態のキーフレーム選択処理を説明する図
【図６】第２の実施の形態の候補キーフレームのフレーム番号と内挿関数の変化との関係を示すグラフ
【図７】第２の実施の形態のキーフレーム選択装置の構成図
【図８】第２の実施の形態のキーフレーム選択装置による処理のフローチャート
【図９】第２の実施の形態のキーフレーム選択処理をプログラムで実現するときのフローチャート
【図１０】本実施の形態のキーフレーム選択装置を人物認証に適用するときに入力画像として連続する複数の画像フレームを生成する例を説明する図
【符号の説明】
１０、２０ キーフレーム選択装置
１１ 記憶部
１２ 中間画像生成部
１３ 比較部
１４ キーフレーム判定部
１５ 制御部
２２ 内挿関数演算部
２３ 内挿関数変化記録部

Claims (7)

1. 連続する複数のオリジナル画像フレームを記憶する記憶手段と、
   前記複数のオリジナル画像フレームのうちの複数の画像フレームを試験用画像フレームとし、それらの試験用画像フレーム間の相関に基づいて再現画像を生成する画像再現処理の少なくとも一部を試験的に行なう試験処理手段と、
   前記試験処理手段で処理した結果に基づいて、前記複数のオリジナル画像フレームから、フレーム間の相関に基づく画像生成のために保持すべきキーフレームを選択する選択手段と、
   を含むことを特徴とするキーフレーム選択装置。
2. 前記試験処理手段は、前記画像再現処理により再現画像を生成し、
   前記選択手段は、前記画像再現処理により生成された再現画像とその再現画像に対応するオリジナル画像フレームの画像との比較に基づいてキーフレームを選択することを特徴とする請求項１に記載のキーフレーム選択装置。
3. 前記試験処理手段は、前記画像再現処理のうちの再現画像を生成するための相関関数を求める処理を行ない、
   前記選択手段は、前記複数の試験用画像フレームのいずれかの画像フレームが順次異なるときの前記試験処理手段で求めた相関関数の変化に基づいてキーフレームを選択することを特徴とする請求項１に記載のキーフレーム選択装置。
4. 連続する複数のオリジナル画像フレームのうちの複数の画像フレームを試験用画像フレームとし、それらの試験用画像フレーム間の相関に基づいて再現画像を生成する画像生成ステップと、
   前記画像生成ステップにて生成された再現画像と、前記複数の画像フレームのうちの前記再現画像に対応する画像フレームの画像とを比較する比較ステップと、
   前記比較ステップでの比較の結果に基づいて、前記複数のオリジナル画像フレームから、フレーム間の相関に基づく画像生成のために保持すべきキーフレームを選択する選択ステップと、
   を含むことを特徴とするキーフレーム選択方法。
5. 連続する複数のオリジナル画像フレームのうちの複数の画像フレームを試験用画像フレームとし、それらの試験用画像フレーム間の相関を表す相関関数を求める関数演算ステップと、
   前記複数の試験用画像フレームのいずれかの画像フレームが順次異なるときの前記相関関数の変化を求める変化演算ステップと、
   前記変化演算ステップにて求められた変化に基づいて、前記複数のオリジナル画像フレームから、フレーム間の相関に基づく画像生成のために保持すべきキーフレームを選択する選択ステップと、
   を含むことを特徴とするキーフレーム選択方法。
6. 請求項４または５に記載のキーフレーム選択方法をコンピュータに実行させるプログラム。
7. 請求項６に記載のプログラムを記録した、コンピュータにて読取可能な記録媒体。

Images