JP2009049471A - 画像処理装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】動画像とそのスロー画像を同時に表示し、かつ、動画像とスロー画像を容易に比較可能とする。
【解決手段】動画再生部２２は、動画像記憶部２１に記憶されている動画像を再生する。スロー画像生成部１４は、動画像の時間解像度を向上させることにより、動画像からスロー画像を生成する。画像出力部１５は、動画再生部２２から供給される標準画像用原画像と、スロー画像生成部１４から供給されるスロー画像を、同一の出力レートでディスプレイ４に供給する。制御部１１は、リモートコントローラ３から、動画像とスロー画像の表示を同期させる同期指令を取得すると、指定された同期位置で動画像とスロー画像を同期させるように動画再生部２２を制御する。本発明は、例えば、画像処理装置に適用できる。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、動画像とそのスロー画像を同時に表示し、かつ、動画像とスロー画像を容易に比較可能とする画像処理装置、画像処理方法、およびプログラムに関する。

画像を再生する再生装置では、予め記録されている所定の動画像に対して画像処理を施すことによって、記録されたときの同一の通常速度で再生するのではなく、再生速度を遅くしたスローモーション画像（以下、単にスロー画像またはスロー画という）をディスプレイに表示させることができるものがある（例えば、特許文献１参照）。

ここで、上述したような再生装置において生成されるスロー画像の画質を評価する場合、例えば、特許文献２などで提案されている評価装置を採用することが考えられる。特許文献２で提案されている評価装置は、原画像と、その原画像に対して所定の画像処理を施した処理画像とをスイッチで表示を切り替え、処理画像の画質の評価を行うものである。

特開平０８−１９５９３６号公報 特開２００１−１３６５４８号公報

しかしながら、スロー画像の画質を評価する場合には、やはり、そのスロー画像に対応する動画像（スロー画像の元となる原画像）を同時に表示させ対比する方が、よりよい評価を行うことができると考えられる。

一方で、原画像としての通常速度の動画像と、それに対応するスロー画像を同時に表示した場合、当然ながら、動画像とスロー画像とでは表示のタイミングが時間の経過とともにずれていくという問題が発生する。

本発明は、このような状況に鑑みてなされたものであり、動画像とそのスロー画像を同時に表示し、かつ、動画像とスロー画像を容易に比較可能とするものである。

本発明の一側面の画像処理装置は、動画像とそれに対応するスロー画像を所定の表示部に同時に表示させる画像処理装置であって、前記動画像の時間解像度を向上させることにより、前記動画像から前記スロー画像を生成するスロー画像生成手段と、ユーザが指示した前記動画像または前記スロー画像のフレームであって、前記動画像と前記スロー画像の表示を同期させる位置である同期位置を受け付ける受け付け手段と、前記受け付け手段により受け付けられた前記同期位置で前記動画像と前記スロー画像を同期させる同期制御手段とを備える。

前記動画像を再生する動画再生手段をさらに設け、前記受け付け手段には、ユーザによって指示された、前記動画像全体のなかの同時表示する前記動画像または前記スロー画像の範囲もさらに受け付けさせ、前記同期制御手段には、ユーザによって指示された前記範囲の同時表示において、前記動画像と前記スロー画像が前記同期位置で同期するために、最初に表示させる前記スロー画像と前記動画像のフレームを決定させ、決定された前記動画像のフレームから前記動画再生手段に再生させるとともに、決定された前記スロー画像のフレームを生成するための前記動画像のフレームを決定させ、前記動画再生手段に再生させることにより、前記同期位置で前記動画像と前記スロー画像を同期させることができる。

前記受け付け手段には、ユーザによって指示された、前記同時表示を開始するときに最初に表示させる前記動画像のフレームもさらに受け付けさせ、前記同期制御手段には、ユーザによって指示された前記動画像のフレームから表示を開始する場合に、前記動画像と前記スロー画像が前記同期位置で同期するために、最初に表示させる前記スロー画像のフレームを決定させ、ユーザによって指示された前記動画像のフレームから前記動画再生手段に再生させるとともに、決定された前記スロー画像のフレームを生成するための前記動画像のフレームを決定させ、前記動画再生手段に再生させることにより、前記同期位置で前記動画像と前記スロー画像を同期させることができる。

前記スロー画像生成手段により生成されたスロー画像を蓄積するスロー画像蓄積手段をさらに設け、前記受け付け手段には、前記動画像の表示中に、前記同期位置を受け付けさせ、前記同期制御手段には、前記受け付け手段において前記同期位置が受け付けられたタイミングで、前記スロー画像蓄積手段に蓄積されているスロー画像を消去させることにより、前記同期位置で前記動画像と前記スロー画像を同期させることができる。

本発明の一側面の画像処理方法は、動画像とそれに対応するスロー画像を所定の表示部に同時に表示させるための画像処理を行う画像処理方法において、前記動画像の時間解像度を向上させることにより、前記動画像から前記スロー画像を生成し、ユーザが指示した前記動画像または前記スロー画像のフレームであって、前記動画像と前記スロー画像の表示を同期させる位置である同期位置を受け付け、受け付けられた前記同期位置で前記動画像と前記スロー画像を同期させるステップを含む。

本発明の一側面のプログラムは、動画像とそれに対応するスロー画像を所定の表示部に同時に表示させるための画像処理を、コンピュータに実行させるプログラムにおいて、前記動画像の時間解像度を向上させることにより、前記動画像から前記スロー画像を生成し、ユーザが指示した前記動画像または前記スロー画像のフレームであって、前記動画像と前記スロー画像の表示を同期させる位置である同期位置を受け付け、受け付けられた前記同期位置で前記動画像と前記スロー画像を同期させるステップを含む画像処理をコンピュータに実行させる。

本発明の一側面においては、動画像の時間解像度を向上させることにより、動画像からスロー画像が生成され、ユーザが指示した動画像またはスロー画像のフレームであって、動画像とスロー画像の表示を同期させる位置である同期位置が受け付けられ、その受け付けられた同期位置で動画像とスロー画像の同期がとられる。

本発明の一側面によれば、動画像とそのスロー画像を同時に表示し、かつ、動画像とスロー画像を容易に比較することができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置は、動画像とそれに対応するスロー画像を所定の表示部に同時に表示させる画像処理装置（例えば、図１の画像処理システム１）であって、前記動画像の時間解像度を向上させることにより、前記動画像から前記スロー画像を生成するスロー画像生成手段（例えば、図１のスロー画像生成部１４）と、ユーザが指示した前記動画像または前記スロー画像のフレームであって、前記動画像と前記スロー画像の表示を同期させる位置である同期位置を受け付ける受け付け手段（例えば、図１のリモートコントローラ３）と、前記受け付け手段により受け付けられた前記同期位置で前記動画像と前記スロー画像を同期させる同期制御手段（例えば、図１の制御部１１）とを備える。

前記動画像を再生する動画再生手段（例えば、図１の動画再生部２２）をさらに設け、前記受け付け手段には、ユーザによって指示された、前記動画像全体のなかの同時表示する前記動画像または前記スロー画像の範囲もさらに受け付けさせ、前記同期制御手段には、ユーザによって指示された前記範囲の同時表示において、前記動画像と前記スロー画像が前記同期位置で同期するために、最初に表示させる前記スロー画像と前記動画像のフレームを決定させ、決定された前記動画像のフレームから前記動画再生手段に再生させるとともに、決定された前記スロー画像のフレームを生成するための前記動画像のフレームを決定させ、前記動画再生手段に再生させることにより、前記同期位置で前記動画像と前記スロー画像を同期させることができる。

本発明の一側面の画像処理方法または画像処理をコンピュータに実行させるプログラムは、動画像とそれに対応するスロー画像を所定の表示部に同時に表示させるための画像処理を行う画像処理方法において、前記動画像の時間解像度を向上させることにより、前記動画像から前記スロー画像を生成し（例えば、図７のステップＳ５）、ユーザが指示した前記動画像または前記スロー画像のフレームであって、前記動画像と前記スロー画像の表示を同期させる位置である同期位置を受け付け（例えば、図７のステップＳ７）、受け付けられた前記同期位置で前記動画像と前記スロー画像を同期させる（例えば、図７のステップＳ４）ステップを含む。

以下、図を参照して、本発明の実施の形態について説明する。

図１は、本発明を適用した画像処理システムの一実施の形態の構成例を示している。

図１の画像処理システム１は、画像処理装置２、リモートコントローラ３、および、ディスプレイ４により構成されている。

画像処理装置２は、動画像のみを標準速度（記録されたときと同一の速度）で再生し、ディスプレイ４に表示させる標準モードと、標準速度の動画像と、その動画像に対応するスロー画像を同時に再生し、ディスプレイ４に表示させる同時比較モードを有する。標準モードにおける画像処理装置２の動画像の再生は、通常の再生装置と同様であるので、以下では、同時比較モードにおける画像処理装置２の動作について主に説明する。なお、以下では、単に動画像と記述した場合、標準速度で再生される動画像またはそのデータを意味するものとする。

リモートコントローラ３は、ユーザの画像処理装置２に対する指示の操作を受け付け、赤外線信号等により画像処理装置２に送信する。例えば、ユーザは、リモートコントローラ３を操作することにより、画像処理装置２に対して、後述するスロー再生速度Ｎや、標準モードと同時比較モードの切り替えなどを指示することができる。また、ユーザからの指示には、同時比較モードにおいて、ディスプレイ４に同時表示されている動画像と、スロー画像とが同期するように指示する同期指令もある。

ディスプレイ４は、例えば、CRT（Cathode Ray Tube）ディスプレイまたはLCD(Liquid Crystal Display)などであり、標準モードにおいては動画像を１画面で表示し、同時比較モードにおいては、画像処理装置２により再生された標準速度の動画像と、それに対応するスロー画像を同時に表示する。

画像処理装置２は、制御部１１、パラメータ記憶部１２、蓄積部１３、スロー画像生成部１４、および画像出力部１５により構成される。また、蓄積部１３は、動画像記憶部２１と動画再生部２２により構成される。

制御部１１は、リモートコントローラ３から、赤外線信号等により送信されてくる指令を取得し、その指令に応じて、画像処理装置２内の各ブロックを制御する。例えば、制御部１１は、蓄積部１３の動画像記憶部２１に記憶されている動画像の再生の開始または終了の指令を取得した場合、動画再生部２２に制御情報を供給し、動画像の再生を開始または終了させる。

パラメータ記憶部１２は、制御部１１から供給される、画像処理装置２の再生動作に必要なパラメータであって、ユーザの指定によって適宜変更されるパラメータである再生パラメータを記憶する。パラメータ記憶部１２が記憶する再生パラメータとしては、例えば、スロー画像を再生するときの速度であるスロー再生速度Ｎである。ここで、スロー再生速度Ｎとは、動画像を構成する各画像（以下、原画像と称する）からＮ枚のスロー画像が生成され、生成されたスロー画像が標準速度の動画像と同一の表示レートでディスプレイ４に表示されることを表す。この場合、標準速度に対して１／Ｎの速度でスロー画像がディスプレイ４に表示されることになる。なお、スロー再生速度Ｎの代わりに、カメラのシャッタスピードに対応する速度（分解能）などを再生パラメータとしてもよい。

動画像記憶部２１は、所定の動画像を記憶する。動画再生部２２は、動画像記憶部２１に記憶（記録）されている動画像を再生する（読み出す）。なお、動画像記憶部２１は、例えば、２つのデータを同時に読み出すことができるランダムアクセス可能な記録媒体であり、動画再生部２２は、標準速度で表示するための原画像（標準画像用原画像）と、スロー画像を生成するための原画像（スロー画像用原画像）を同時に再生することができる。再生された標準画像用原画像は、画像出力部１５に供給され、再生されたスロー画像用原画像は、スロー画像生成部１４に供給される。

蓄積部１３は、物理的に１つの装置で構成される必要はなく、標準画像用原画像とスロー画像用原画像を同時に再生することができれば、複数の装置で構成されていても良い。

スロー画像生成部１４は、動画再生部２２から供給されるスロー画像用原画像に対して、時間解像度を創造（向上）する画像処理（スロー画像生成処理）を施し、その結果得られるスロー画像を画像出力部１５に供給する。スロー画像生成部１４は、上述したように、１枚のスロー画像用原画像に対して、Ｎ枚のスロー画像を生成する。

スロー画像生成部１４によるスロー画像生成処理には、本出願人がすでに提案しているクラス分類適応処理や実世界推定処理を利用することができる。または、例えば特許文献１などに示されるその他の手法を採用してもよい。

ここで、クラス分類適用処理とは、生成しようとしている画素（注目画素）をその空間的特徴に応じた係数を用いて補正演算するものである。具体的には、例えば、注目画素を中心としてその近傍に位置する複数の画素からなる画素群（第１のタップ）が設定され、第１のタップを構成する複数の画素の組み合わせに応じて、注目画素の属する空間的特徴を示すクラス（予め複数用意されている）が決定される。さらに、注目画素を中心としてその近傍（空間方向だけでなく時間方向も含む。また、動画像のフレームだけでなく、静止画像も含む）に位置する複数の画素からなる画素群（第２のタップ）が設定され、設定された第２のタップを構成する複数の画素と、決定したクラスに応じて予め用意されている係数とを用いた演算によって注目画素の画素値が決定される。

一方、実世界推定処理では、例えば、２倍密度に時間解像度を向上させる場合、時間的に連続するフレーム＃ｎ−１，＃ｎ，＃ｎ＋１を用いて、最初に、注目しているフレーム＃ｎの注目画素と次のフレーム＃ｎ＋１の対応する画素間の相関値が算出されるとともに、注目しているフレーム＃ｎの注目画素と前のフレーム＃ｎ−１の対応する画素間の相関値が算出される。そして、算出された２つの相関値のうちの相関の強い画素値から倍蜜画像の片側の注目画素の画素値が生成される。さらに、注目しているフレーム＃ｎの注目画素の画素値および生成された倍蜜画像の片側の画素値からセンサの特性を基にした演算により、他の倍蜜画像の注目画素の画素値が生成される。この２倍蜜度の生成処理を繰り返すことにより２のべき乗倍密度の画像を生成することができる。

画像出力部１５は、動画再生部２２から供給される標準画像用原画像と、スロー画像生成部１４から供給されるスロー画像を、同一の出力レート（標準速度の動画像を表示するときの表示レート）でディスプレイ４に供給する。

図２は、標準モードと同時比較モードにおけるディスプレイ４の表示例を示す図である。なお、図２は、表示のイメージを説明するための図であり、その縮尺は正確ではない。

図２Aは、標準モードにおける表示例を示しており、標準速度の動画像が１画面で表示される。一方、図２Ｂは、同時比較モードにおける表示例を示しており、標準速度の動画像を表示するための標準画像用画面３１Ａと、スロー画像を表示するためのスロー画像用画面３１Ｂで画面が構成される。

ここで、ディスプレイ４は、例えば、４Ｋ×２Ｋの解像度（画素数）を有するディスプレイとすることができ、この場合、同時比較モードでは、動画像とスロー画像それぞれが２K×１KのHD信号であっても縮小処理することなく横並びで表示することができる。また、標準モードでは、２K×１Kの動画像を拡大して１画面に表示することができ、原画像を精密に確認することができる。

図３は、スロー画像生成部１４によるスロー画像生成処理の概念を示す図である。

例えば、図３に示すように、動画再生部２２からスロー画像生成部１４に、時系列に、標準画像用原画像Ｐ１，Ｐ２，Ｐ３，Ｐ４，・・・が順次供給されるとする。いま画像処理装置２で設定されているスロー再生速度Ｎが２（Ｎ＝２）である場合、スロー画像生成部１４は、時刻Ｔ１の標準画像用原画像Ｐ１から２枚のスロー画像Ｐ１aおよびＰ１ｂを生成する。ここで、スロー画像Ｐ１ａは、時刻Ｔ１の前半部分の画像に相当し、スロー画像Ｐ１ｂは、時刻Ｔ１の後半部分の画像に相当する。

同様に、スロー画像生成部１４は、時刻Ｔ２の標準画像用原画像Ｐ２から２枚のスロー画像Ｐ２ａおよびＰ２ｂを生成する。ここで、スロー画像Ｐ２ａは、時刻Ｔ２の前半部分の画像に相当し、スロー画像Ｐ２ｂは、時刻Ｔ２の後半部分の画像に相当する。標準画像用原画像Ｐ３およびＰ４についても同様である。

以上のように生成されたスロー画像Ｐ１a乃至Ｐ４ｂが表示されるときのタイミングを示したものが図４である。図４では、標準画像用画面３１Ａにおいて標準画像用原画像Ｐ１を表示する時刻Ｔ１を基準としている。

生成されたスロー画像Ｐ１a乃至Ｐ４ｂは、時刻Ｔ１から、順次、標準画像用原画像と同一の出力レートでディスプレイ４に出力される。

すなわち、標準画像用画面３１Ａに標準画像用原画像Ｐ１が表示される時刻Ｔ１では、スロー画像Ｐ１aがスロー画像用画面３１Ｂに表示される。また、標準画像用画面３１Ａに標準画像用原画像Ｐ２が表示される時刻Ｔ２では、スロー画像Ｐ１ｂがスロー画像用画面３１Ｂに表示される。

同様に、時刻Ｔ３では、標準画像用画面３１Ａに標準画像用原画像Ｐ３が表示され、スロー画像用画面３１Ｂにスロー画像Ｐ２ａが表示される。時刻Ｔ４では、標準画像用画面３１Ａに標準画像用原画像Ｐ４が表示され、スロー画像用画面３１Ｂにスロー画像Ｐ２ｂが表示される。

従って、図５に示されるように、時刻Ｔ２において標準画像用画面３１Ａに表示される標準画像用原画像Ｐ２に対応するスロー画像の一方（時刻の早い方）であるスロー画像Ｐ２ａは、スロー画像用画面３１Ｂに時刻Ｔ３に表示され、また例えば、時刻Ｔ４において標準画像用画面３１Ａに表示される標準画像用原画像Ｐ４に対応するスロー画像の一方（時刻の早い方）であるスロー画像Ｐ４ａは、スロー画像用画面３１Ｂに時刻Ｔ７に表示される。

即ち、画像枚数の多いスロー画像と、画像枚数の少ない標準画像用原画像を同一の表示レートで表示しているので、標準画像用原画像とスロー画像の画像内容が、時間の経過とともに乖離していく。

このように、標準画像用画面３１Ａに表示される標準画像用原画像と、スロー画像用画面３１Ｂに表示されるスロー画像との対応がずれていくと、スロー画像の画質を、その元となる標準画像用原画像と比較するのに都合が悪い。即ち、スロー画像と、その元となる標準画像用原画像とを同時表示して、スロー画像の画質を評価することができない。

そこで、ユーザは、リモートコントローラ３を操作して、所望のタイミングで、同期指令を画像処理装置２に供給することができる。例えば、図５において白抜きの矢印で示されている時刻Ｔ３で、同期指令がリモートコントローラ３から画像処理装置２に供給されたとする。

時刻Ｔ３に、同期指令が供給された場合、図６に示されるように、制御部１１は、時刻Ｔ３においてスロー画像用画面３１Ｂに表示されているスロー画像Ｐ２ａに対応する標準画像用原画像Ｐ２を再び標準画像用画面３１Ａに表示させるように制御する。より具体的には、制御部１１は、動画再生部２２に標準画像用原画像Ｐ２を再生させる。

このようにすることで、ユーザは標準画像用画面３１Ａに表示される標準画像用原画像と、スロー画像用画面３１Ｂに表示されるスロー画像とを同期させることができ、スロー画像と、その元となる標準画像用原画像を容易に比較することが可能となる。

なお、図６の例では、同期指令が供給されたときにスロー画像用画面３１Ｂに表示されているスロー画像にあわせるように、標準画像用画面３１Ａに表示される標準画像用原画像の表示を変更したが、標準画像用画面３１Ａに表示されている標準画像用原画像に合わせるようにスロー画像用画面３１Ｂに表示されるスロー画像を変更しても良い。即ち、同期の基準は、スロー画像と標準画像用原画像のどちらでもよい。

次に、図７のフローチャートを参照して、同時比較モードにおける画像処理装置２の同時表示処理についてさらに説明する。なお、この処理では、同期指令が供給されたときに表示されている標準画像用原画像を基準としてスロー画像を同期表示させることとする。

初めに、ステップＳ１において、画像処理装置２は、動画像記憶部２１に記憶されている動画像を再生し、ディスプレイ４の標準画像用画面３１Ａに提示する。従って、同時比較モードの最初では、ディスプレイ４のスロー画像用画面３１Ｂには、何も表示されていない。

そして、ステップＳ２において、制御部１１は、ユーザによってスロー画像の再生表示を開始する指示があったか、即ち、リモートコントローラ３から同期指令が供給されたかを判定する。

スロー画像の再生表示を開始する指示があったと判定されるまでステップＳ２の処理が繰り返され、スロー画像の再生表示を開始する指示があったと判定された場合、処理はステップＳ３に進み、制御部１１は、パラメータ記憶部１２に記憶されているスロー再生速度Ｎを読み出し、動画再生部２２に供給することにより、スロー再生速度Ｎをセットする。スロー再生速度Ｎは、図８を参照して後述するように、任意のタイミングで変更することが可能であり、制御部１１は、現時点で設定されているスロー再生速度Ｎを動画再生部２２にセットする。スロー再生速度Ｎは、動画再生部２２を介してスロー画像生成部１４にも供給される。

ステップＳ４において、制御部１１は、リモートコントローラ３から同期指令が供給されたタイミングで標準画像用画面３１Ａに表示されている標準画像用原画像に同期位置をセットする。

そして、ステップＳ５において、動画再生部２２は、標準画像用原画像とスロー画像の同時表示を行う。即ち、動画再生部２２は、標準画像用画面３１Ａに表示するための標準画像用原画像を再生し、画像出力部１５に供給するとともに、スロー画像用画面３１Ｂに表示するためのスロー画像用原画像を再生し、スロー画像生成部１４に供給する。スロー画像用原画像は、スロー再生速度Ｎに対応した所定の周期で動画像記憶部２１から読み出され、スロー画像生成部１４に供給される。スロー画像生成部１４は、順次供給される１枚のスロー画像用原画像から、スロー再生速度Ｎに対応するＮ枚のスロー画像を生成し、画像出力部１５に供給する。画像出力部１５は、動画再生部２２から供給される標準画像用原画像と、スロー画像生成部１４から供給されるスロー画像を、同一の出力レートでディスプレイ４に供給する。その結果、ディスプレイ４に動画像（標準画像用原画像）とスロー画像が同時に表示される。

そして、処理はステップＳ６に進み、制御部１１は、ユーザにより同時表示終了の指示があったかを判定する。ステップＳ６で、同時表示終了の指示があったと判定された場合、即ち、ユーザがリモートコントローラ３を操作して、同時比較モードの終了または動画像の再生終了を指示した場合、同時表示処理は終了する。

一方、ステップＳ６で、同時表示終了の指示がなかったと判定された場合、処理はステップＳ７に進み、制御部１１は、再び同期位置の指示があったか、即ち、リモートコントローラ３から同期指令が供給されたかを判定する。

ステップＳ７で、同期位置の指示がなかったと判定された場合、処理はステップＳ５に戻り、それ以降の処理が繰り返し実行される。即ち、以前に指定された同期位置を基準とする動画像とスロー画像の同時表示処理が継続される。

一方、ステップＳ７で、同期位置の指示があったと判定された場合、即ち、同期指令が供給された場合、処理はステップＳ４に戻る。これにより、ステップＳ７で指示されたタイミングで標準画像用画面３１Ａに表示されている標準画像用原画像に対し、同期位置が再セットされ、その同期位置を基準に動画像とスロー画像の同時表示処理が継続される。

以上のように、図７の同時表示処理によれば、ユーザが任意のタイミングで同期位置を指示する操作を行うと、同期位置が指示されたタイミングで標準画像用画面３１Ａに表示されている標準画像用原画像に対応するスロー画像がスロー画像用画面３１Ｂに表示され、それ以降、指示された標準画像用原画像を同期位置（基準）とする同時表示処理が実行される。

従って、ユーザは、動画像と、それに同期するスロー画像をディスプレイ４に同時表示させ、比較することができる。

図８は、図７の同時表示処理と並列に実行される、再生パラメータ変更処理のフローチャートである。

初めに、ステップＳ１１において、制御部１１は、ユーザにより再生パラメータの変更が指示されたかを判定し、変更が指示されたと判定されるまで待機する。

ステップＳ１１で、再生パラメータの変更が指示されたと判定された場合、処理はステップＳ１２に進み、制御部１１は、動画再生部２２を制御して、再生パラメータを設定する設定画面である再生パラメータ設定画面を表示させる。これにより、例えば、「スロー再生速度Ｎを入力してください」などのメッセージを表示した再生パラメータ設定画面が、ディスプレイ４に表示される。

ステップＳ１３において、制御部１１は、ユーザにより再生パラメータが入力されたか、即ち、スロー再生速度Ｎに対応する数値が入力されたかを判定し、再生パラメータが入力されたと判定されるまで待機する。

ステップＳ１３で、再生パラメータが入力されたと判定された場合、処理はステップＳ１４に進み、制御部１１は、ユーザにより入力されたスロー再生速度Ｎを動画再生部２２に供給し、設定するとともに、パラメータ記憶部１２に供給し、記憶させる。その後、処理は、ステップＳ１１に戻り、ステップＳ１１乃至Ｓ１４の処理が繰り返し実行される。

これにより、ユーザは、任意のタイミングでスロー再生速度Ｎを変更することができ、変更後のスロー再生速度Ｎで、動画像と、それに対応するスロー画像が表示されるようになる。

図９は、その他の同時表示処理のフローチャートである。この同時表示処理は、動画像とスロー画像の同時表示を行う再生区間を予め決定し、その決定された再生区間内で、同時表示を行う例である。

最初に、ステップＳ２１では、図７のステップＳ１の処理と同様に、画像処理装置２は、動画像記憶部２１に記憶されている動画像を再生し、ディスプレイ４の標準画像用画面３１Ａに提示する。ユーザは、同時表示を行う再生区間を決定するために、最初に、再生された動画像を確認する。そして、動画像を確認し、同時表示を行う再生区間を決定した時点で、ユーザは、リモートコントローラ３を操作して、スロー画像の再生表示を開始する操作を行う。

そこで、ステップＳ２２において、制御部１１は、ユーザによってスロー画像の再生表示を開始する指示があったかを判定する。

ステップＳ２２では、スロー画像の再生表示を開始する指示があったと判定されるまで処理が繰り返され、スロー画像の再生表示を開始する指示があったと判定された場合、処理はステップＳ２３に進み、制御部１１は、スロー再生速度Ｎをセットする。

ステップＳ２４において、画像処理装置２は、同時表示を行う再生区間を決定するスロー画像再生区間設定処理を実行する。この処理の詳細は、図１０および図１１を参照して説明するが、この処理により、同時表示を行う再生区間としての動画像の開始フレームと終了フレームが決定される。

同時表示を行う再生区間が決定されると、ステップＳ２５において、動画再生部２２は、決定された再生区間について、図７のステップＳ５と同様の同時表示処理を行う。

ステップＳ２６において、制御部１１は、ユーザにより同時表示終了の指示があったかを判定する。ステップＳ２６で、同時表示終了の指示があった場合、即ち、ユーザがリモートコントローラ３を操作して、同時比較モードの終了または動画像の再生終了を指示した場合、同時表示処理は終了する。

一方、ステップＳ２６で、同時表示終了の指示がなかったと判定された場合、ステップＳ２７において、制御部１１は、同期位置の指示があったか、即ち、リモートコントローラ３から同期指令が供給されたかを判定する。

ステップＳ２７で、同期位置の指示がなかったと判定された場合、処理はステップＳ２５に戻り、それ以降の処理が繰り返し実行される。即ち、再生区間の同時表示が継続される。

一方、ステップＳ２７で、同期位置の指示があったと判定された場合、即ち、同期指令が供給された場合、処理はステップＳ２８に進み、制御部１１は、リモートコントローラ３から同期指令が供給されたタイミングで標準画像用画面３１Ａに表示されている標準画像用原画像に同期位置をセットする。その後、処理はステップＳ２５に戻り、それ以降の処理が繰り返される。即ち、セットされた同期位置を基準に、再生区間の同時表示が継続される。

図９の同時表示処理では、予め再生区間を設定し、その設定された再生区間の同時表示を行っている最中に、ユーザが同期位置を指示することにより、所望のフレームで同期した同時表示が行われる。

図１０は、図９のステップＳ２４におけるスロー画像再生区間設定処理のフローチャートである。なお、この処理の期間中、ユーザは、任意の位置での動画像の再生が可能であるとする。

初めに、ステップＳ４１において、制御部１１は、再生区間の開始位置を指定する操作が行われたかを判定し、開始位置を指定する操作が行われたと判定されるまで待機する。

そして、ステップＳ４１で、ユーザにより開始位置を指定する操作が行われたと判定された場合、処理はステップＳ４２に進み、制御部１１は、操作が行われたときの動画像のフレームを開始フレームに設定することを表す開始フレーム情報を動画再生部２２に供給し、動画再生部２２は、開始フレーム情報に基づいて、操作が行われたときの動画像のフレームを開始フレームに設定する。

ステップＳ４３において、制御部１１は、再生区間の終了位置を指定する操作が行われたかを判定し、終了位置を指定する操作が行われたと判定されるまで待機する。

そして、ステップＳ４３で、ユーザにより終了位置を指定する操作が行われたと判定された場合、処理はステップＳ４４に進み、制御部１１は、操作が行われたときの動画像のフレームを終了フレームに設定することを表す終了フレーム情報を動画再生部２２に供給し、動画再生部２２は、終了フレーム情報に基づいて、操作が行われたときの動画像のフレームを終了フレームに設定する。その後、処理は図９に戻る。

以上のように、図１０のスロー画像再生区間設定処理では、動画像の開始フレームと終了フレームが指定されることにより、再生区間が設定される。

図１１は、その他のスロー画像再生区間設定処理のフローチャートである。

初めに、ステップＳ６１において、制御部１１は、再生区間の開始位置を指定する操作が行われたかを判定し、開始位置を指定する操作が行われたと判定されるまで待機する。

そして、ステップＳ６１で、ユーザにより開始位置を指定する操作が行われたと判定された場合、処理はステップＳ６２に進み、制御部１１は、操作が行われたときの動画像のフレームを開始フレームに設定することを表す開始フレーム情報を動画再生部２２に供給し、動画再生部２２は、開始フレーム情報に基づいて、操作が行われたときの動画像のフレームを開始フレームに設定する。

ステップＳ６３において、制御部１１は、例えば、動画再生部２２を制御して、「フレーム数を入力してください」等のメッセージが表示された画像をディスプレイ４に表示させるとともに、フレーム数が入力されたかを判定し、フレーム数が入力されたと判定されるまで待機する。

ステップＳ６３で、フレーム数が入力されたと判定された場合、処理はステップＳ６４に進み、制御部１１は、入力されたフレーム数を表す情報を動画再生部２２に供給し、動画再生部２２は、開始フレームから、入力されたフレーム数後のフレームを終了フレームに設定する。

以上のように、図１１のスロー画像再生区間設定処理では、動画像の開始フレームとフレーム数が指定されることにより、再生区間が設定される。

動画像の再生区間が設定された場合、その再生区間に対応するスロー画像のフレーム数は、再生区間の動画像のフレーム数のＮ倍であり、ディスプレイ４では、動画像とスロー画像とが同一の表示レートで表示されるので、動画像の表示が早く終了する。

そこで、動画像の表示が終了した場合、その後の標準画像用画面３１Ａの表示をどうするかについて、図１２Ａ乃至図１２Ｄに示す４通りの表示方式が考えられる。

図１２は、動画像の再生区間として、５枚分のフレーム（原画像）がユーザにより指定され、スロー再生速度Ｎが２である、即ち、再生区間のスロー画像のフレーム数が１０枚である場合の例である。

図１２に示される正方形の図形は、標準速度で表示される動画像の原画像、即ち標準画像用原画像を表し、正方形の上部の数字は、各標準画像用原画像を区別する時系列順の番号を表す。また、菱形の図形は、０乃至４の標準画像用原画像に対応して生成されたスロー画像を表し、菱形の上部の数字は、各スロー画像を区別する時系列順の番号を表す。

なお、以下では、説明を簡単にするため、標準画像用原画像を、単に原画と称し、０乃至４で区別される標準画像用原画像を、原画［０］乃至［４］と称するとともに、０乃至９で区別されるスロー画像をスロー画像［０］乃至［９］と称する。

図１２Ａに示される表示方式は、動画像の表示が終了した場合、最後の原画の表示をそのまま保持する方式である。即ち、動画像の終了フレームである原画［４］が、再生区間に対応するスロー画像［９］が表示されるまでの６フレーム期間にわたって表示される。

図１２Ｂに示される表示方式は、スロー画像の表示が終了するまで、再生区間の動画像を繰り返し表示する方式である。この場合、動画像はＮ回繰り返し表示される。

図１２Ｃに示される表示方式は、最後の原画［４］を表示した後、それに続く原画を補完し、動画像をスロー画像の表示終了まで表示する方式である。図１２Ｃでは、再生区間の最後の原画［４］に続く原画である原画［Ａ］乃至［Ｅ］が表示されている。

図１２Ｄに示される表示方式は、原画［０］乃至［４］の前後に均等に原画を補完し、動画像をスロー画像の表示終了まで表示する方式である。図１２Ｄでは、再生区間の最初の原画［０］を表示する前に、原画［０］の前の時刻の原画である原画［Ｙ］および［Ｚ］を順に表示するとともに、再生区間の最後の原画［４］に続いて、原画［Ａ］乃至［Ｃ］が表示されている。

スロー画像再生中の、フレーム数の少ない動画像の表示については、以上のように各種の表示方式が考えられるが、以下では、図１２Ｂに示した方式、即ち、スロー画像再生中に、動画像の表示を繰り返す方式を採用するものとして説明する。

さて、上述した例では、予め再生区間を設定し、その設定された再生区間の同時表示を行っている最中に、ユーザが同期位置を指示することにより、所望のフレームで同期した同時表示を行う例について説明したが、ユーザには、設定区間を設定するのと同時に、同期位置も予め指定させるようにすることができる。この場合、予め指定された同期位置で原画とスロー画像が同期するために、最初に表示する原画とスロー画像を調整する必要がある。

そこで、図１３乃至図１７を参照して、設定区間を設定するのと同時に、予め同期位置が指定された場合に、最初に表示する原画またはスロー画像を決定するための計算について説明する。なお、同期位置として、原画で指定するか、または、スロー画像で指定するかにより計算が異なるため、最初に、図１３乃至図１５を参照して、原画で同期位置が指定された場合について説明する。なお、原画とスロー画像のうちの、同期位置が指定される一方の画像は、再生区間の最初から表示するものとして、同期位置が指定されない他方の原画像についての最初の表示させるべき画像を、計算により決定する。

図１３は、再生区間に対応する原画提示フレーム数Ｗが５（Ｗ＝５）で、スロー再生速度Ｎが２（Ｎ＝２）であり、原画［２］が同期位置として指定された場合の例を示している。

ここで、同期位置が指定された原画のフレーム番号Ｘが２（Ｘ＝２）で、原画で同期位置が指定されたので、原画の再生開始フレームＡが０（Ａ＝０）となる。

図１３の例において、同期位置が指定された原画［２］に対応するスロー画像のフレーム番号Ｓ₁は、Ｓ₁＝Ｎ×Ｘ＋Ｋで求めることができる。ここで、Ｋは、１枚の原画から生成されるＮ枚のスロー画像のうちの何番目のスロー画像を生成するかに対応する変数であり、０乃至（Ｎ−１）のなかのいずれか（Ｋ＝０，１，２，・・・，（Ｎ−１）のいずれか）を取ることができ、例えば、Ｋ＝０とする。

即ち、同期位置が指定された原画［２］に対応するスロー画像のフレーム番号Ｓ₁は、
Ｓ₁＝Ｎ×Ｘ＋Ｋ
＝２×２＋０
＝４
と求めることができるので、同期位置が指定された原画［２］に対応するスロー画像は、スロー画像［４］となる。

また、同時表示処理の最初に表示するスロー画像のフレーム番号ＳＴ₁は、ＳＴ₁＝Ｎ×Ｘ＋Ｋ−（Ａ−Ｘ）＝（Ｎ−１）×Ｘ−Ａ＋Ｋで求めることができるので、
ＳＴ₁＝（Ｎ−１）×Ｘ−Ａ＋Ｋ
＝（２−１）×２−０＋０
＝２
より、同時表示処理の最初に表示するスロー画像（以下、スロー画像開始フレームと称する）は、スロー画像［２］である。

従って、図１３に示されるように、動画像については、原画［０］から再生し、スロー画像については、スロー画像［２］から再生することにより、原画［２］でスロー画像［２］と同期した同時表示を行うことができる。この同期位置は、再生区間を繰り返し再生表示した場合でも変わらない。

図１４は、その他の例であって、再生区間に対応する原画提示フレーム数Ｗが５（Ｗ＝５）で、スロー再生速度Ｎが２（Ｎ＝２）であり、原画［３］が同期位置として指定された場合の例を示している。

ここで、同期位置が指定された原画のフレーム番号Ｘが３（Ｘ＝３）で、原画で同期位置が指定されたので、原画の再生開始フレームＡが０（Ａ＝０）となる。

図１４の例において、同期位置が指定された原画［３］に対応するスロー画像のフレーム番号Ｓ₁は、
Ｓ₁＝Ｎ×Ｘ＋Ｋ
＝２×３＋０
＝６ （Ｋ＝０のとき）
となり、同期位置が指定された原画［３］に対応するスロー画像は、スロー画像［６］である。

また、スロー画像開始フレームのフレーム番号ＳＴ₁は、
ＳＴ₁＝（Ｎ−１）×Ｘ−Ａ＋Ｋ
＝（２−１）×３−０＋０
＝３ （Ｋ＝０のとき）
となり、スロー画像開始フレームは、スロー画像［３］となる。

図１５は、さらにその他の例であって、再生区間に対応する原画提示フレーム数Ｗが５（Ｗ＝５）で、スロー再生速度Ｎが３（Ｎ＝３）であり、原画［１］が同期位置として指定された場合の例を示している。

ここで、同期位置が指定された原画のフレーム番号Ｘが１（Ｘ＝１）で、原画で同期位置が指定されたので、原画の再生開始フレームＡが０（Ａ＝０）となる。

図１５の例において、同期位置が指定された原画［１］に対応するスロー画像のフレーム番号Ｓ₁は、
Ｓ₁＝Ｎ×Ｘ＋Ｋ
＝３×１＋０
＝３ （Ｋ＝０のとき）
となり、同期位置が指定された原画［３］に対応するスロー画像は、スロー画像［６］である。

また、スロー画像開始フレームのフレーム番号ＳＴ₁は、
ＳＴ₁＝（Ｎ−１）×Ｘ−Ａ＋Ｋ
＝（３−１）×１−０＋０
＝２ （Ｋ＝０のとき）
となり、スロー画像開始フレームは、スロー画像［２］となる。

次に、図１６および図１７を参照して、スロー画像で同期位置が指定された場合の例を説明する。

図１６は、再生区間に対応する原画提示フレーム数Ｗが５（Ｗ＝５）で、スロー再生速度Ｎが２（Ｎ＝２）であり、スロー画像［４］が同期位置として指定された場合の例を示している。

ここで、同期位置が指定されたスロー画像のフレーム番号Ｘが４（Ｘ＝４）で、スロー画像で同期位置が指定されたので、スロー画像の再生開始フレームＡが０（Ａ＝０）となる。

図１６の例において、同期位置が指定されたスロー画像［４］に対応する原画のフレーム番号Ｓ₂は、Ｓ₂＝Ｘ／Ｎ＋Ｋで求めることができる。ここで、Ｋは、１枚の原画から生成されるＮ枚のスロー画像のうちの何番目のスロー画像を生成するかに対応する変数であり、０乃至（Ｎ−１）のなかのいずれか（Ｋ＝０，１，２，・・・，（Ｎ−１）のいずれか）を取ることができ、例えば、Ｋ＝０とする。

即ち、同期位置が指定されたスロー画像［４］に対応する原画のフレーム番号Ｓ₂は、
Ｓ₂＝Ｘ／Ｎ＋Ｋ
＝４／２＋０
＝２
と求めることができるので、同期位置が指定されたスロー画像［４］に対応する原画は、原画［２］となる。

また、同時表示処理の最初に表示する原画のフレーム番号ＳＴ₂は、ＳＴ₂＝Ｗ＋（（１／Ｎ−１）×Ｘ＋Ａ）％Ｗで求めることができる。ここで、“％”は、剰余を求める演算子であり、ただし、符号は維持される。

従って、
ＳＴ₂＝Ｗ＋（（１／Ｎ−１）×Ｘ＋Ａ）％Ｗ
＝５＋（（１／２−１）×４＋０）％５
＝５＋（（−１／２）×４＋０）％５
＝５＋（−２）％５
＝３
より、同時表示処理の最初に表示する原画（以下、原画開始フレームと称する）は、原画［３］となる。

従って、図１６に示されるように、動画像については、原画［３］から再生し、スロー画像については、スロー画像［０］から再生することにより、スロー画像［４］で原画［２］と同期した同時表示を行うことができる。この同期位置は、再生区間を繰り返し再生表示した場合でも変わらない。

図１７は、その他の例であって、再生区間に対応する原画提示フレーム数Ｗが５（Ｗ＝５）で、スロー再生速度Ｎが３（Ｎ＝３）であり、スロー画像［９］が同期位置として指定された場合の例を示している。

ここで、同期位置が指定されたスロー画像のフレーム番号Ｘが９（Ｘ＝９）で、スロー画像で同期位置が指定されたので、スロー画像の再生開始フレームＡが０（Ａ＝０）となる。

図１７の例において、同期位置が指定されたスロー画像［９］に対応する原画のフレーム番号Ｓ₂は、
Ｓ₂＝Ｘ／Ｎ＋Ｋ
＝９／３＋０
＝３ （Ｋ＝０のとき）
となり、同期位置が指定されたスロー画像［９］に対応する原画は、原画［３］となる。

また、原画開始フレームのフレーム番号ＳＴ₂は、
ＳＴ₂＝Ｗ＋（（１／Ｎ−１）×Ｘ＋Ａ）％Ｗ
＝５＋（（１／３−１）×９＋０）％５
＝５＋（（−２／３）×９＋０）％５
＝５＋（−６）％５
＝５−１
＝４
となり、原画開始フレームは、原画［４］となる。

以上のように、設定区間を設定するのと同時に、予め同期位置が指定された場合、指定された同期位置で同期するように原画とスロー画像の開始フレームが計算され、同時表示が実行される。

図１８は、設定区間と同時に同期位置を設定する場合における図９のステップＳ２４のスロー画像再生区間設定処理のフローチャートである。なお、図１８の処理は、上述した図１３乃至図１５に対応する原画で同期位置が指定される場合の例である。

図１８のステップＳ８１乃至Ｓ８４は、図１０のステップＳ４１乃至Ｓ４４とそれぞれ同一の処理であるので、その説明は省略する。

ステップＳ８５において、制御部１１は、ステップＳ８１乃至Ｓ８４で設定された再生区間内で、同期位置が指定されたかを判定し、同期位置が指定されたと判定されるまで待機する。

ステップＳ８５で、同期位置が指定されたと判定された場合、処理はステップＳ８６に進み、制御部１１は、同期位置が指定された原画［Ｘ］に対応するスロー画像のフレーム番号Ｓ₁を求める。

そして、ステップＳ８７において、制御部１１は、同時表示処理の最初に表示するスロー画像である、スロー画像開始フレームのフレーム番号ＳＴ₁を求める。

さらに、ステップＳ８８において、制御部１１は、ステップＳ８７で求められたスロー画像開始フレームＳＴ₁のスロー画像を生成するために必要な原画（スロー画像用原画像）を求める。

その後、処理は図９の同時表示処理に戻り、次のステップＳ２５の同時表示処理において、原画については原画［０］から、スロー画像についてはスロー画像［ＳＴ₁］から、同時表示が開始される。

図１９は、設定区間と同時に同期位置を設定する場合であって、原画で同期位置を指定し、さらに、原画の再生を、原画［０］からではなく、ユーザが指定した任意のフレームから開始する場合の、図９のステップＳ２４のスロー画像再生区間設定処理のフローチャートである。

図１９のステップＳ１０１乃至Ｓ１０６は、図１８のステップＳ８１乃至Ｓ８６とそれぞれ同一の処理であるので、その説明は省略する。

ステップＳ１０７において、制御部１１は、原画の再生開始フレームが指示されたかを判定し、原画の再生開始フレームが指示されたと判定されるまで待機する。

ステップＳ１０７で、原画の再生開始フレームが指示されたと判定された場合、処理はステップＳ１０８に進み、制御部１１は、ユーザにより指示された原画の再生開始フレームに対応するスロー画像開始フレームのフレーム番号ＳＴ₁を求める。ここでのフレーム番号ＳＴ₁は、ユーザにより指示された原画の再生開始フレームのフレーム番号をＸとして代入し、スロー画像のフレーム番号Ｓ₁を計算することにより、求めることができる。

そして、ステップＳ１０９において、制御部１１は、ステップＳ１０８で求められたスロー画像開始フレームＳＴ₁のスロー画像を生成するために必要な原画（スロー画像用原画像）を求める。

その後、処理は図９の同時表示処理に戻り、次のステップＳ２５の同時表示処理において、原画についてはユーザにより指定された原画の再生開始フレームから、スロー画像についてはスロー画像［ＳＴ₁］から、同時表示が開始される。

図２０は、本発明を適用した画像処理システムのその他の実施の形態の構成例を示している。なお、図１と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

図１に示した画像処理システム１では、同時表示を行うための動画像を、画像処理装置２内部で保持していたが、図２０の画像処理システム１は、同時表示を行うための動画像を有しておらず、外部から供給される動画像を用いて、動画像と、それに対応するスロー画像を同時表示する。

図２０の画像処理システム１は、動画像記憶部５１、動画再生装置５２、画像処理装置５３、リモートコントローラ３、および、ディスプレイ４により構成されている。

動画像記憶部５１は、図１の動画像記憶部２１に対応し、所定の動画像を記憶する。動画再生装置５２は、図１の動画再生部２２に対応し、動画像（標準画像用原画像）を再生して、画像処理装置５３に供給する。

画像処理装置５３は、制御部１１、パラメータ記憶部１２、スロー画像生成部１４、画像出力部１５、およびスロー画像蓄積部６１により構成される。

制御部１１は、パラメータ記憶部１２に記憶されているスロー再生速度Ｎを読み出し、スロー画像生成部１４に直接供給する。また、制御部１１は、リモートコントローラ３から同期指令が供給された場合、スロー画像蓄積部６１に蓄積されているスロー画像を消去する命令（消去制御情報）をスロー画像蓄積部６１に供給する。

スロー画像蓄積部６１は、スロー画像生成部１４で生成されたスロー画像を蓄積（記憶）し、供給された順に画像出力部１５に出力する。また、スロー画像蓄積部６１に蓄積されているスロー画像は、制御部１１からの消去制御情報に従って消去される。

図２１のフローチャートを参照して、同時比較モードにおける図２０の画像処理装置５３の同時表示処理を説明する。なお、図２１の処理中は、動画再生装置５２から動画像が供給されているものとする。

初めに、ステップＳ１２１において、画像処理装置５３は、動画再生装置５２から供給される動画像（標準画像用原画像）をディスプレイ４の標準画像用画面３１Ａに提示する。

そして、ステップＳ１２２において、制御部１１は、ユーザによってスロー画像の再生表示を開始する指示があったか、即ち、リモートコントローラ３から同期指令が供給されたかを判定する。

ステップＳ１２２では、スロー画像の再生表示を開始する指示があったと判定されるまで待機され、スロー画像の再生表示を開始する指示があったと判定された場合、処理はステップＳ１２３に進み、制御部１１は、パラメータ記憶部１２に記憶されているスロー再生速度Ｎを読み出し、スロー画像生成部１４に供給することにより、スロー再生速度Ｎをセットする。

ステップＳ１２４において、制御部１１は、リモートコントローラ３から同期指令が供給されたタイミングで、スロー画像生成部１４にスロー画像の生成を開始させる。スロー画像生成部１４は、動画再生装置５２から供給される動画像（標準画像用原画像）に基づいて、スロー画像を生成し、スロー画像蓄積部６１に供給する。

そして、ステップＳ１２５において、スロー画像蓄積部６１は、スロー画像生成部１４から供給されるスロー画像を所定時間だけ蓄積するとともに、供給された順に画像出力部１５に出力する。

ステップＳ１２６において、画像出力部１５は、標準画像用原画像とスロー画像の同時表示を行う。即ち、画像出力部１５は、動画再生装置５２から供給される動画像（標準画像用原画像）とスロー画像蓄積部６１から供給されるスロー画像を、同一の出力レートでディスプレイ４に供給する。その結果、ディスプレイ４に動画像（標準画像用原画像）とスロー画像が同時に表示される。

処理はステップＳ１２７に進み、制御部１１は、ユーザにより同時表示終了の指示があったかを判定する。ステップＳ１２７で、同時表示終了の指示があった場合と判定された場合、同時表示処理は終了する。

一方、ステップＳ１２７で、同時表示終了の指示がなかったと判定された場合、処理はステップＳ１２８に進み、制御部１１は、同期位置の指示があったか、即ち、リモートコントローラ３から同期指令が供給されたかを判定する。

ステップＳ１２８で、同期位置の指示がなかったと判定された場合、処理はステップＳ１２４に戻り、それ以降の処理が繰り返し実行される。即ち、以前に指定された同期位置を基準とする動画像とスロー画像の同時表示が継続される。

一方、ステップＳ１２８で、同期位置の指示があったと判定された場合、即ち、同期指令が供給された場合、処理はステップＳ１２９に進み、制御部１１は、スロー画像蓄積部６１に蓄積されているスロー画像を消去する命令（消去制御情報）をスロー画像蓄積部６１に供給する。これにより、スロー画像蓄積部６１は、蓄積されているスロー画像を消去する。その後、処理はステップＳ１２４に戻り、それ以降の処理が繰り返し実行される。

図２１の同時表示処理によれば、実質的には、図７を参照して説明した同時表示処理と同一の処理を行うことができる。

以上のように、図１および図２０の画像処理システム１によれば、ユーザは、動画像と、それに対応するスロー画像をディスプレイ４に同時表示させ、比較することができる。また、動画像とスロー画像の表示は、時間の経過とともに対応関係がずれていくが、簡単なリモートコントローラ３の操作で同期位置を指定することができ、ユーザの所望のタイミングで、動画像とスロー画像の同期をとることができる。換言すれば、原画を見ながら、それに対応するスロー画像を、指定して表示させることができるので、操作性が向上する。これにより、動画像とそれに対応するスロー画像の両者を同時に見比べて比較することができ、スロー画像のノイズやボケなどを容易に発見することができる。

上述した例では、動画像とスロー画像を同時表示する場合、１台のディスプレイに表示するようにしたが、図２２に示されるように、２台のディスプレイに動画像とスロー画像を別々に表示することも可能である。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図２３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。

バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。

以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した同時表示処理等の一連の処理が行われる。

コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理システムの一実施の形態の構成例を示すブロック図である。 標準モードと同時比較モードにおけるディスプレイの表示例を示す図である。 スロー画像生成処理の概念を示す図である。 スロー画像が表示されるタイミングを説明する図である。 標準画像用原画像とスロー画像の画像内容のずれを説明する図である。 標準画像用原画像とスロー画像の同期について説明する図である。 同時表示処理を説明するフローチャートである。 再生パラメータ変更処理を説明するフローチャートである。 その他の同時表示処理を説明するフローチャートである。 スロー画像再生区間設定処理を説明するフローチャートである。 その他のスロー画像再生区間設定処理を説明するフローチャートである。 同時表示における動画像の表示方式を説明する図である。 最初に表示する原画またはスロー画像を決定するための計算について説明する図である。 最初に表示する原画またはスロー画像を決定するための計算について説明する図である。 最初に表示する原画またはスロー画像を決定するための計算について説明する図である。 最初に表示する原画またはスロー画像を決定するための計算について説明する図である。 最初に表示する原画またはスロー画像を決定するための計算について説明する図である。 その他のスロー画像再生区間設定処理のフローチャートである。 その他のスロー画像再生区間設定処理のフローチャートである。 本発明を適用した画像処理システムのその他の実施の形態の構成例を示すブロック図である。 図２０の画像処理システムによる同時表示処理を説明するフローチャートである。 ディスプレイの表示例を示す図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１ 画像処理システム， ２ 画像処理装置， ３ リモートコントローラ， １１ 制御部， １２ パラメータ記憶部， １３ 蓄積部， １４ スロー画像生成部， １５ 画像出力部， ２１ 動画像記憶部， ２２ 動画再生部， ５３ 画像処理装置， ６１ スロー画像蓄積部

Claims (6)

1. 動画像とそれに対応するスロー画像を所定の表示部に同時に表示させる画像処理装置であって、
   前記動画像の時間解像度を向上させることにより、前記動画像から前記スロー画像を生成するスロー画像生成手段と、
   ユーザが指示した前記動画像または前記スロー画像のフレームであって、前記動画像と前記スロー画像の表示を同期させる位置である同期位置を受け付ける受け付け手段と、
   前記受け付け手段により受け付けられた前記同期位置で前記動画像と前記スロー画像を同期させる同期制御手段と
   を備える画像処理装置。
2. 前記動画像を再生する動画再生手段をさらに備え、
   前記受け付け手段は、ユーザによって指示された、前記動画像全体のなかの同時表示する前記動画像または前記スロー画像の範囲もさらに受け付け、
   前記同期制御手段は、ユーザによって指示された前記範囲の同時表示において、前記動画像と前記スロー画像が前記同期位置で同期するために、最初に表示させる前記スロー画像と前記動画像のフレームを決定し、決定された前記動画像のフレームから前記動画再生手段に再生させるとともに、決定された前記スロー画像のフレームを生成するための前記動画像のフレームを決定し、前記動画再生手段に再生させることにより、前記同期位置で前記動画像と前記スロー画像を同期させる
   請求項１に記載の画像処理装置。
3. 前記受け付け手段は、ユーザによって指示された、前記同時表示を開始するときに最初に表示させる前記動画像のフレームもさらに受け付け、
   前記同期制御手段は、ユーザによって指示された前記動画像のフレームから表示を開始する場合に、前記動画像と前記スロー画像が前記同期位置で同期するために、最初に表示させる前記スロー画像のフレームを決定し、ユーザによって指示された前記動画像のフレームから前記動画再生手段に再生させるとともに、決定された前記スロー画像のフレームを生成するための前記動画像のフレームを決定し、前記動画再生手段に再生させることにより、前記同期位置で前記動画像と前記スロー画像を同期させる
   請求項２に記載の画像処理装置。
4. 前記スロー画像生成手段により生成されたスロー画像を蓄積するスロー画像蓄積手段をさらに備え、
   前記受け付け手段は、前記動画像の表示中に、前記同期位置を受け付け、
   前記同期制御手段は、前記受け付け手段において前記同期位置が受け付けられたタイミングで、前記スロー画像蓄積手段に蓄積されているスロー画像を消去させることにより、前記同期位置で前記動画像と前記スロー画像を同期させる
   請求項１に記載の画像処理装置。
5. 動画像とそれに対応するスロー画像を所定の表示部に同時に表示させるための画像処理を行う画像処理方法において、
   前記動画像の時間解像度を向上させることにより、前記動画像から前記スロー画像を生成し、
   ユーザが指示した前記動画像または前記スロー画像のフレームであって、前記動画像と前記スロー画像の表示を同期させる位置である同期位置を受け付け、
   受け付けられた前記同期位置で前記動画像と前記スロー画像を同期させる
   ステップを含む画像処理方法。
6. 動画像とそれに対応するスロー画像を所定の表示部に同時に表示させるための画像処理を、コンピュータに実行させるプログラムにおいて、
   前記動画像の時間解像度を向上させることにより、前記動画像から前記スロー画像を生成し、
   ユーザが指示した前記動画像または前記スロー画像のフレームであって、前記動画像と前記スロー画像の表示を同期させる位置である同期位置を受け付け、
   受け付けられた前記同期位置で前記動画像と前記スロー画像を同期させる
   ステップを含む画像処理をコンピュータに実行させるプログラム。

Images