JP2005184240A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】 再生中の動画から所望の画像を容易に選択することが可能な画像処理装置を実現することを目的とする。
【解決手段】 動画表示に対する指示を入力する入力手段と、画像圧縮データを伸張してフレームデータを生成する伸張制御手段と、前記生成されたフレームデータに基づいて動画表示を行う表示制御手段と、を備え、前記表示制御手段は、前記入力手段から停止指示が入力された場合に、表示中の画像のフレームデータを含む複数のフレームデータに基づく複数の画像を表示することを特徴とする画像処理装置。
【選択図】 図５

Description

本発明は、動画を表示する機能を備えた画像処理装置の技術に関し、特に、デジタルカメラやプリンタ等において再生中の動画から所望の画像を選択する場合に適した画像処理装置の技術に関する。

近年、デジタルカメラ等の急速な普及、パソコンやプリンタの低価格化に伴い、デジタルカメラ等で撮影した画像を自宅のパソコン等に保存して編集するユーザや、このパソコン等に保存した画像をプリンタで印刷して楽しむユーザが増えている。

また、最近では、パソコン等を介することなくデジタルカメラ等（又はその記録用メモリカード）から画像を直接読み出して印刷できるプリンタ（以下、「ダイレクトプリンタ」と呼ぶ。）が登場し、人気を得ている。このようなダイレクトプリンタの中には、静止画だけでなく、動画を取り扱うものも開発されている。例えば、特開２００１−７８１２７号公報には、入力された動画データを静止画データに変換し、変換された静止画データを印刷する動画像プリンタが開示されている（特許文献１）。
特開２００１−７８１２７号公報

動画データについてユーザが印刷・編集等の所定の処理をしようとする場合、ユーザは、動画データを構成するフレーム毎の静止画データ（フレームデータ）の中から、処理対象となる画像を特定する必要がある。上述したような従来のプリンタでは、プリンタに表示パネル等の表示手段を設けて、この表示手段にフレームデータを出力することで、ユーザに処理対象となる画像の選択を行わせている。

しかし、動画は所定のフレームレート（表示フレーム数／秒）に従って順次再生されるため、ユーザが再生中の動画を特定してから画像の選択指示を入力するまでの間にはタイムラグが発生しやすく、ユーザが特定した画像と実際に選択された画像との間には、不一致が生じやすい。また、ユーザは動画を見ながら画像を特定しているので、実際に特定された画像が、意図した画像と異なる場合もある。

そのため、ユーザが再生中の動画から所望の画像を選択する場合には、タイムラグを考慮しつつ所望の画像が選択されるまで何度も指示を入力しなおすといった思考錯誤が要求されるため、動画印刷における最適画像の選択は困難で煩雑になりやすいという問題がある。その結果、動画印刷を行なう際のユーザの利便性や操作性が低下してしまうという問題もある。

そこで、本発明は、再生中の動画から所望の画像を容易に選択することが可能な画像処理装置を実現することを目的とする。

また、本発明は、動画印刷等におけるユーザの利便性や操作性をより向上させることができる画像処理装置を実現することを目的とする。

上記課題を解決するための本発明は、画像表示に対する指示を入力する入力手段と、画像圧縮データを伸張する伸張制御手段と、前記伸張された画像データに基づいて画像表示を行う表示制御手段と、を備え、前記表示制御手段は、前記入力手段から停止指示が入力された場合に、表示中の画像を含む複数の画像を表示することを特徴とする。

画像圧縮データには、静止画像の圧縮データおよび動画像の圧縮データの双方が該当するように構成することができる。

また、前記伸張制御手段は、画像圧縮データを伸張してフレームデータ（動）を生成し、前記表示制御手段は、前記生成されたフレームデータに基づいて動画表示を行い、前記入力手段から停止指示が入力された場合に、動画表示中の画像のフレームデータを含む複数のフレームデータに基づく複数の画像を表示することを特徴とする。

フレームデータは、動画データを構成するフレーム毎の静止画データであり、連続するフレームデータを所定のフレームレート（表示フレーム数／秒）に従って表示することにより動画表示を行うように構成することができる。

また、前記表示制御手段は、前記生成されたフレームデータに基づいて第１の表示領域に動画を表示しながら、前記第１の表示領域に表示中の画像のフレームデータと当該フレームデータの所定間隔前後のフレームデータに基づく複数の画像を第２の表示領域に表示することを特徴とする。

例えば、第１の表示領域に動画を表示しながら、第１の表示領域に表示中の画像に対応するフレームデータがＮ番目（Ｎは自然数）のフレームデータである場合、Ｎ番目のフレームデータ、N＋M番目（Mは自然数）のフレームデータおよびN−M番目のフレームデータに基づく複数の画像を表示するように構成することができる。

さらにまた、前記表示制御手段は、前記生成されたフレームデータに基づいて第１の表示領域に動画を表示する第１の表示モードと、前記第１の表示領域に表示中の画像のフレームデータと当該フレームデータの所定間隔前後のフレームデータに基づく複数の画像を第２の表示領域に表示する第２の表示モードと、を備え、前記入力手段から停止指示が入力されると、前記第１の表示モードから前記第２の表示モードへ切り替えることを特徴とする。

例えば、停止指示が入力されると、第１の表示モードから第２の表示モードへ切り替えて、第１の表示領域に表示中の画像に対応するＮ番目（Ｎは自然数）のフレームデータ、N＋M番目（Mは自然数）のフレームデータおよびN−M番目のフレームデータに基づく複数の画像を、第２の表示領域に表示するように構成することができる。

また、前記伸張された画像データに基づいて印刷媒体に対する印刷を実行する印刷制御手段をさらに備えることを特徴とする。

また、前記生成されたフレームデータを一時記憶するための記憶手段をさらに備え、前記伸張制御手段は、生成したフレームデータを前記記憶手段に格納し、前記表示制御手段は、前記記憶手段からフレームデータを読み出して動画表示を行うことを特徴とする。

また、本発明の画像処理方法は、動画表示に対する指示を入力するステップと、画像圧縮データを伸張してフレームデータを生成するステップと、前記生成されたフレームデータに基づいて動画表示を行うステップと、を備え、前記動画表示を行うステップは、停止指示が入力された場合に、表示中の画像のフレームデータを含む複数のフレームデータに基づく複数の画像を表示することを特徴とする。

また、本発明は、動画表示に対する指示を入力する機能と、画像圧縮データを伸張してフレームデータを生成する機能と、前記生成されたフレームデータに基づいて動画表示を行う機能と、を画像処理装置に実現させるためのプログラムであって、前記動画表示を行う機能は、前記入力手段から停止指示が入力された場合に、表示中の画像のフレームデータを含む複数のフレームデータに基づく複数の画像を表示することを特徴とする。

本発明の画像処理方法は、コンピュータにより実施することができるが、そのためのコンピュータプログラムは、ＣＤ−ＲＯＭ、磁気ディスク、半導体メモリ及び通信ネットワークなどの各種の媒体を通じてコンピュータにインストールまたはロードすることができる。また、コンピュータプログラムが、プリンタ用カードやプリンタ用オプションボードに記録されて流通する場合も含む。

本発明によれば、ユーザは、再生中の動画から所望の画像を容易に選択することが可能になる。

（プリンタの構成）
図面を参照して本発明の第１の実施形態を説明する。図１は、本実施形態のプリンタ（画像処理装置）１のハードウェア構成を表すブロック図である。

プリンタ１は、用紙をプリンタ内に供給する給紙機構１０、印字を行う印刷エンジン１１、及び用紙をプリンタ機外に排出する排紙機構１２等により構成される動力機構部２を備える。印刷エンジン１１は、紙送機構、キャリッジ機構、印刷ヘッドなどを含んで構成される。

これら動力機構部２を制御し印刷動作を行わせるのは、ＣＰＵ（プロセッサ）１３、ＲＯＭ１４、ＲＡＭ１５、表示パネル及びパネルコントローラ１６、ＰＣカードスロット及びＰＣカードコントローラ１７、ＵＳＢ等のインタフェース１８等からなるプリンタ制御部３である。ＣＰＵ１３は、バスを介して各手段１４〜１８にアクセス可能に構成されている。なお、動力機構部２が独立してＣＰＵを備えていてもよく、その場合は、動力機構部２のＣＰＵが、パラレルインタフェース等を介してＣＰＵ１３と通信を行い、印刷エンジン１１を制御して印刷動作を行わせることになる。

動力機構部２、制御部３の構成・動作は原則として従来のプリンタ装置の構成・動作と同様である。例えば、本プリンタ１は、ホスト装置からインタフェース１８を介して印刷ジョブを受信し、又は、外部メモリからＰＣカードスロット等１７を介して／デジタルカメラ等の情報機器からインタフェース１８を介して画像データを直接読み込み、かかる印刷ジョブや画像データに基づいて動力機構部２を制御して印刷動作を行なわせる機能を備える。

ただし、本プリンタ１は、動画像圧縮データの伸長機能、及び動画像表示機能を備えており、更に、当該動画像表示機能は、再生中の動画に対して停止指示が入力された場合に、表示中の画像（停止した画像）を含む複数の画像を表示するように制御する点で、従来の構成と異なっている。

図２に、制御部３における主要な機能構成図を示す。図に示すように、制御部３は、パネルＩＦ手段２１、伸長制御手段２２、表示制御手段２３、印刷制御手段２４等を備えて構成される。上記の各手段は、ＲＯＭ１４又はＲＡＭ１５に格納されるアプリケーションプログラムをＣＰＵ１３が実行することにより機能的に実現される。なお、制御部３は、上記の各手段のほか、一般的なプリンタが備える画像処理（サイズ変換処理、ノイズ除去、シャープネスなど）手段を備えることができる。

パネルＩＦ手段２１は、例えばＬＣＤや操作キーなどから構成される表示パネル及びパネルコントローラ１６を介して、ユーザからプリンタ１に対するコマンド（表示操作コマンドや印刷制御コマンドなど）を受け付けるとともに、ユーザに対して印刷ステータス等を出力する。表示操作コマンドである動画再生指示には、例えば、動画の標準再生、早送り再生、逆再生、早戻し再生、停止、コマ送り再生、などが該当する。

伸長手段２１は、受信バッファ又は外部メモリ等から対象となる画像圧縮データを読み出し、読み出した画像圧縮データに対して伸長処理を施し、画像データを復元する。伸長処理は圧縮方式（ＪＰＥＧ方式、モーションＪＰＥＧ方式、ＭＰＥＧ方式など）に対応した周知の処理を用いることができる。

例えば、画像圧縮データがＭＰＥＧファイル（動画像データ）である場合、８×８ブロックごとに、ＡＣ成分についてHuffman符号の復号、ランレングス圧縮の復号を行い、ＤＣ成分と一緒に逆量子化を行って周波数分布を算出し、かかる周波数分布にインバースＤＣＴを行うことにより、動画像データを復元する。伸張手段２１は、動画像圧縮データを伸張してフレームごとの静止画データ（フレームデータ）を生成すると、記憶手段としてのフレームメモリに格納する。

表示制御手段２３は、伸長された画像データに基づいて、パネルコントローラ１６を制御して表示パネル上で画像表示（静止画、動画）を行わせる。動画の場合、表示制御手段２３は、フレームメモリに格納されているフレームデータを読み出して出力するようにパネルコントローラ１６を制御することにより表示パネル上で動画を表示する。

また、表示制御手段２３は、パネルＩＦ手段２１から動画の停止指示が入力された場合に、当該時点で表示中のフレーム画像のフレームデータを含む複数のフレームデータに基づく複数のフレーム画像（静止画）を表示するように構成されている。

これら伸長手段２１、伸長制御手段２２、表示制御手段２３の動作については、後述する動画表示処理の説明において詳しく説明する。

印刷制御手段２４は、従来のプリンタ装置と同様に、印刷ジョブの解析、印刷イメージの生成、印刷エンジン１１の制御等を実行する。

例えば、ホスト装置から送られてくる印刷ジョブに従い印刷を実行する場合、受信バッファから印刷データを順番に読み出し、これを解析してラスタ形式の画像データを生成する。印刷データが画像圧縮データを含む場合は、伸長手段２１を制御して、画像データの復元を行う。また例えば、ホスト装置を介さずにプリンタ単体で印刷を実行する場合、ＰＣカードスロット等１７を介して外部メモリから画像圧縮データを読み出し、伸長手段２１を制御して、画像データの復元を行う。なお、印刷処理時は、画像圧縮データに含まれる情報の全てを伸長処理の対象として処理を実行することが望ましい。

そして、かかる画像データに対し、印刷動作において通常行われる所定の画像処理（例えば、ノイズ除去など）を施して、印刷イメージを生成する。また、受信バッファから読み出した制御コマンド、又はパネルＩＦ手段２１を介して入力されたコマンド等に基づき、例えば印刷エンジン１１の紙送機構等を制御して印刷開始に必要な状態を整え、所定単位分（例えば１パス分）の印刷イメージを印刷エンジン１１に転送し、印刷エンジン１１を制御しながら印刷を実行する。

（動画表示処理）
以下では、図３〜図５に示すフローチャート等を参照して、プリンタ１における動画表示処理を詳細に説明する。各ステップは処理内容に矛盾を生じない範囲で任意に順番を変更して、又は並列に実行することができる。また、処理の終了は例えば割り込み等を用いて実現できる。図３は、プリンタ制御部３による動画表示処理の一例を示すフローチャートである。図４は、表示パネル１６に表示される画面構成などを示す図である。図５は、各表示領域に画像が表示される様子を説明するための図である。

伸長制御手段２２は、パネルＩＦ手段２１において受信バッファ又は外部メモリに格納される動画像圧縮データの指定とともに動画再生指示を受け付けると（ＳＴＥＰ３００のＹｅｓ）、以下の処理を開始する。なお、動画再生としては、標準再生、逆再生（戻し再生）、早送り再生、早戻し再生、コマ送り再生などを受け付けることができるが、ここでは、標準再生が選択された場合について説明する。

まず、伸長制御手段２２は、動画表示に必要な所定の初期化処理を実行する（ＳＴＥＰ３０１）。所定の初期化処理には、例えば、フレームメモリへの初期表示用データの設定、動画表示処理に使用する動画表示のパラメータ（フレームレートやフレーム間隔、停止フラグ）などの設定がある。フレーム間隔には、動画像を表示する際のフレームの間隔が設定され、停止フラグには、画像の停止状態を示す値が設定される。停止フラグには初期値として画像が停止状態でないことを示す「０」が設定され、フレームレートには例えば「１５フレーム数／秒」が、フレーム間隔には「１」が設定されたものとする。

本実施形態では、図４（A）に示すように、動画を表示するためのメイン表示領域１６Aと、停止した画像の所定間隔前後の画像を表示するためのサブ表示領域１６Bを表示パネル１６上に構成する。なお、メイン表示領域は図４（A）のメイン画面と同義であり、サブ表示領域はサブ画面と同義である。

メイン表示領域１６Aにはフレームデータ（静止画）が動画表示される。ユーザは、動画表示されている画像を停止し、印刷指示を入力すると、メイン表示領域１６Aに表示された画像が印刷されるように構成されている。

サブ表示領域１６Bは、さらに複数の部分表示領域（複数のサブ画面１〜３（１６ｂ））を備えている。これらサブ画面１〜３にはメイン表示領域１６の動画表示にあわせて複数のフレームデータが表示される。具体的には、サブ画面２には、メイン画面と同じフレームデータが表示され、サブ画面２の前後に位置するサブ画面１および３には、メイン画面のフレームデータから所定フレーム数だけ前後に位置するフレームデータが再生方向にあわせて表示される。サブ表示領域１６Ｂは、ユーザが印刷対象を選択する際に参照可能に構成されている。

なお、本実施形態において構築されるフレームメモリは、これら複数の表示領域への表示を効率的に実行すべく構成することが望ましい。ここでは、図４（B）に示すように、メイン画面１６Aに対応するメインメモリ１および２と、サブ画面１６Bに対応するサブメモリ１〜３をＲＡＭ１５に構築している。

初期化処理を終えると、伸長制御手段２２は、開始フレーム（N番目のフレーム）のデータを読み出して、伸張処理を実行し、伸張結果（フレームデータ）をＲＡＭ１５のメインメモリ１とサブメモリ２にそれぞれ格納する（ＳＴＥＰ３０２）。このとき、メインメモリ１およびサブメモリ２に格納される画像データは、表示される画像のサイズ等を考慮して必要に応じて適切なサイズに縮小して格納されることが望ましい。

メインメモリ１およびサブメモリ２に格納されたフレームデータは、フレームレートに従って表示制御手段２３のパネルコントローラ１６によって読み出され、表示パネル上のそれぞれ対応する表示領域１６A、１６ｂに表示される。

開始フレームのデータの伸張処理を終えると、伸長制御手段２２は、次のフレーム（N＋１番目のフレーム）の伸張処理を実行し、画像のサイズを調整して、伸張結果をＲＡＭ１５のメインメモリ２とサブメモリ３にそれぞれ格納する（ＳＴＥＰ３０３）。サブメモリ２に格納されたフレームデータは、表示制御手段２３のパネルコントローラ１６によって読み出され、表示パネル上の対応する表示領域１６ｂに表示される。

図５を参照すると、2/15秒の時点で、メイン画面とサブ画面２，３に画像が表示されていることがわかる。なお、図５中の各表示領域に表示されている数字は、表示されている画像が何フレーム目の画像かを示している。例えば2/15秒の時点では、メイン画面とサブ画面２に１フレーム目の画像が、サブ画面２に２フレーム目の画像がそれぞれ表示されている。

次フレームのデータの伸張処理を終えると、伸長制御手段２２は、フレームレートに従ってさらに次のフレーム（N＋２番目のフレーム）の処理を実行するか否か判断し（ＳＴＥＰ３０４）、例えばタイマ制御により1/15秒が経過している場合には、次のフレーム処理を実行するタイミングであると判断し、さらに次のフレーム（N＋２番目のフレーム）の処理に移行する。

ここで、伸長制御手段２２は、動画停止指示が入力されたか又は停止フラグに１が設定されている否かを判断する（ＳＴＥＰ３０５）。動画停止指示が入力された又は停止フラグに１が設定されていると判断した場合には、動画表示を停止し、次の表示操作コマンド（指示）が入力されるのを待機する。なお、動画停止指示が入力された場合には、停止フラグに１を設定する。

ここで、メイン表示領域１６Ａには、停止指示が入力された際の画像（N番目のフレーム）が表示されており、サブ表示領域１６Ｂには、メイン表示領域１６Ａに表示されている画像を含む前後の画像（N番目のフレームとN＋１番目のフレーム）が表示されている。よって、ユーザは、メイン表示領域１６Ａに表示されている画像（N番目のフレーム）を気に入った場合には、印刷指示を入力することで、当該画像を印刷させることができる。また、続けてその後の画像（N＋１番目以降のフレーム）を確認したい場合には、再生指示を入力することで、当該画像の続きを再生させることができる。また、メイン表示領域に表示されている画像の前後の画像をもっと検討したい場合には、コマ送り指示を入力することで、前後の画像をゆっくり確認することができる。

伸長制御手段２２は、印刷指示、再生指示、コマ送り指示のいずれかが入力された場合には、それぞれに対応する処理を実行する（ＳＴＥＰ３０６）。伸長制御手段２２は、印刷指示が入力された場合には、現在メイン表示領域に表示されている画像の印刷処理を実行する（ＳＴＥＰ３１０）。また、再生指示またはコマ送り指示が入力された場合には、次フレームの表示処理に移行する。再生指示が入力された場合は、停止フラグ＝０を設定する（ＳＴＥＰ３０７）。なお、停止指示が入力されていない又は停止フラグに１が設定されていない場合には、STEP３０６および３０７の処理をすることなくフレーム処理に移行する。

伸長制御手段２２は、次フレーム（N＋２番目のフレーム）の表示処理として、サブメモリ２のデータをサブメモリ１に転送し、サブメモリ３のデータをサブメモリ２に転送し、メインメモリ１とメインメモリ２を切り替える（ＳＴＥＰ３０８）。サブメモリ１および２に転送されたデータ、切り替えられたメインメモリ２のデータは、表示制御手段２３のパネルコントローラ１６によって読み出され、表示パネル上のそれぞれ対応する表示領域に表示される。

また、表示制御手段２３のパネルコントローラ１６は、読み出したフレームが最終フレームである場合には（ＳＴＥＰ３０９のＹｅｓ）、動画表示を終了する。

一方、読み出したフレームが最終フレームでない場合、伸長制御手段２２は、現在選択しているフレームから再生方向に次フレームを選択し、その次フレームに対して伸張処理を実行し、伸張結果をメインメモリ２とサブメモリ３にそれぞれ格納する（ＳＴＥＰ３１０）。サブメモリ３に格納される画像データは、表示制御手段２３のパネルコントローラ１６によって読み出され、表示パネル上の対応するサブ表示領域１４ｂに表示される。図５を参照すると、3/15秒の時点で、メイン画面に画像（N＋１番目のフレーム）とサブ画面１、２、３に前後の画像（N番目、N＋１番目、N＋２番目のフレーム）が表示されていることがわかる。

伸長制御手段２２は、次フレームの処理をすべく、ステップ３０４に戻り、フレームレートに従って処理を繰り返す。ここで、すでにコマ送り指示が入力された場合には、停止フラグ＝１が設定されているので、ユーザから新たな指示が入力されていなくても、ステップＳ３０５で再生を中止し、ユーザの入力待ちとなる。これに対し、すでに再生指示が入力された場合は、停止フラグ＝０が設定されているので、次の停止指示が入力されるまで、動画の表示処理を実行する。

上記実施形態の構成によれば、以下の作用効果を有する。

すなわち、上記実施形態の構成によれば、ユーザがメイン表示領域の動画再生を停止した場合に、サブ表示領域には、停止された画像の前後の画像が表示されているので、ユーザは、その先あるいはその前の画像がどのような動きになるのか、容易に想像することができるようになる。

その結果、ユーザは、例えばあと何コマ画像を送れば（または巻き戻せば）希望のシーンに到達できるかを予測することが可能になるので、動画印刷における画像の特定が容易になり、ユーザの操作性や利便性をより向上させることが可能になる。

（動画表示処理の変形例１）
次に、上述した動画表示処理の変形例（変形例１）について説明する。上記動画表示処理では、メイン表示領域とサブ表示領域に表示するフレームのフレーム間隔が同一の構成の場合について説明したが、変形例１では、サブ表示領域に表示するフレームはメイン表示領域に表示するフレーム間隔とは異なる場合について説明する。

具体的には、サブ表示領域に表示するフレーム画像の間隔をメイン表示領域に表示するフレーム画像の間隔よりも広く設定することで、ユーザが、サブ表示領域に表示されるフレーム画像の動きを把握しやすいように構成している。

以下では、図６〜図７に示すフローチャート等を参照して、プリンタ１における動画表示処理の変形例１を詳細に説明する。図６は、動画表示処理の変形例１の処理の流れを示すフローチャートである。図７は、各表示領域に画像が表示される様子を説明するための図である。

本変形例１では、図７に示すように、サブ表示領域に表示するフレーム画像を１フレームずつ飛ばして表示されるようにフレーム間隔を設定することで、サブ表示領域に表示されるフレーム画像の動きを把握しやすくしている。よって、表示領域の構成は上記実施形態と同様であるが、使用するフレームメモリの構成が相違している。変形例１では、図４（C）に示すように、３つのメインメモリと５つのサブメモリを使用する。

伸長制御手段２２は、パネルＩＦ手段２１において受信バッファ又は外部メモリに格納される動画像圧縮データの指定とともに動画表示指示を受け付けると、初期化処理を実行する（ＳＴＥＰ４００）。

所定の初期化処理には、例えば、動画表示のパラメータ（フレームレートやフレーム間隔）の設定等がある。ここでは、フレームレートに「１５フレーム／１秒」、サブ画像のフレーム間隔に「２」、メイン画像のフレーム間隔に１が設定された場合について説明する（メイン画像のフレーム数をカウントする変数Nに１が設定される）（ＳＴＥＰ４０１）。なお、これら初期設定は、あらかじめプリンタ１のＲＯＭやＲＡＭなどに記憶されている条件を参照して設定する構成のほか、表示パネルからユーザが任意の値や条件を適宜設定することができる構成などを採用することができる。

そして、伸長制御手段２２は、バッファシフトを行う（ＳＴＥＰ４０２）。具体的には、メインメモリ２からメインメモリ１へ、メインメモリ３からメインメモリ２へ、サブメモリ２からサブメモリ１へ、サブメモリ３からサブメモリ２へ、サブメモリ４からサブメモリ３へ、サブメモリ５からサブメモリ４へ、それぞれデータを転送する。

次に、伸長制御手段２２は、Ｎ番目のフレームが存在するか否かを判断し（ＳＴＥＰ４０３）、存在しない場合には処理を終了し、存在する場合は処理を続行する。Ｎ番目のフレームが存在する場合には、Ｎ番目のフレームを読み出して伸張処理を実行する（ＳＴＥＰ４０４）。そして、伸張結果をメインメモリ３とサブメモリ５に、それぞれ格納する。なお、上述したように、これら格納される画像データは、表示される画像のサイズ等を考慮して必要に応じて適切なサイズに縮小して格納されることが望ましい。

メインメモリ３およびサブメモリ５に格納されたフレームデータは、表示制御手段２３のパネルコントローラ１６によって読み出され、表示パネル上のそれぞれ対応する表示領域、つまりメイン表示領域１６Ａとサブ表示領域１６Ｂにそれぞれ表示される。

次に、伸長制御手段２２は、Ｎは所定の条件に合致するか否か（ここでは、奇数か否か）を判断し（ＳＴＥＰ）、是と判断した場合には、サブメモリ１のデータをサブ画面１に表示し、サブメモリ５のデータをサブ画面３に表示する（ＳＴＥＰ４０７）。これに対し、否と判断した場合には、サブ画面への表示は行わない。

次に、伸長制御手段２２は、Ｎをカウントし（Ｎ＝Ｎ+１）、フレームレートに従って次のフレームの処理を実行すべきか否か判断する（ＳＴＥＰ４０９）。次のフレームの処理を実行すべきと判断した場合には、STEP402に移行してバッファシフト処理を開始する。

上記変形例１の構成によれば、以下の作用効果を有する。

すなわち、上記変形例１の構成によれば、サブ表示領域に表示するフレーム画像の間隔をメイン表示領域に表示するフレーム画像の間隔よりも大きく設定することができるので、ユーザは、サブ表示領域に表示されるフレーム画像の動きを把握しやすくなる。

また、上記変形例１の構成によれば、フレーム画像の間隔をユーザは任意に設定することができるので、ユーザの希望に応じた形態でサブ画像を表示することができ、その結果、ユーザの利便性をより向上させることができるようになる。

（動画表示処理の変形例２）
次に、上述した動画表示処理の他の変形例（変形例２）について説明する。上記動画表示処理では、メイン表示領域とサブ表示領域にそれぞれ画像を表示する構成としたが、変形例２では、メイン表示領域とサブ表示領域とを切り替えながら表示する構成としている。

以下では、図８〜図９に示すフローチャート等を参照して、プリンタ１における動画表示処理の変形例２を詳細に説明する。図８は、変形例２に係る動画表示処理の流れを示すフローチャートである。図９は、各表示領域に画像が表示される様子を説明するための図である。

本変形例２では、図８に示すように、メイン表示領域への表示を行うメイン画像表示モードとサブ表示領域への表示を行うサブ画像表示モードを備え、これらのモードを指示内容に応じて切り替えることができるように構成されている。例えば、図９（A）に示すように、通常の動画再生の場合には、メイン画像表示モードが選択され、画像がメイン画面１６０Aのみに動画表示される。

一方、停止指示が入力されると、メイン画像表示モードからサブ画像表示モードへと表示モード（表示形態）を切り替え、表示中の画像を含む複数の画像をサブ画面１〜３（１６０B）に表示する。各表示領域の構成は上記実施形態や変形例と同様であるが、使用するフレームメモリの構成は相違している。変形例２では、図９（B）に示すように、３つのメインメモリを使用する。

各画像表示モードの切り替えタイミングは、仕様に応じた構成を採用することができる。ここでは、一例として、サブ画像表示モードにて通常再生が選択された場合には、メイン画像表示モードに切り替わり、サブ画像表示モードにてコマ送り再生が選択された場合には、サブ画像表示モードのまま画像を表示する場合について説明する。

伸長制御手段２２は、パネルＩＦ手段２１において受信バッファ又は外部メモリに格納される動画像圧縮データの指定とともに動画表示指示を受け付けると（ＳＴＥＰ５００のYes）、初期化処理を実行する（ＳＴＥＰ５００）。所定の初期化処理としては、変形例１における処理と同等の処理を実行することができるが、ここでは、さらに、表示モードにメイン画像表示モードが設定される（ＳＴＥＰ５０１）。なお、メイン画像およびサブ画像のフレーム間隔には、「１」が設定されたものとする。

次に、伸長制御手段２２は、バッファシフトを行う（ＳＴＥＰ５０２）。具体的には、メインメモリ２からメインメモリ１へ、メインメモリ３からメインメモリ２へ、それぞれデータを転送する。

次に、伸長制御手段２２は、Ｎ番目のフレーム（画像データ）が存在するか否かを判断し（ＳＴＥＰ５０３）、存在しない場合には処理を終了し、存在する場合は処理を続行する。

Ｎ番目のフレームが存在する場合には、Ｎ番目のフレームを読み出して伸張処理を実行し、伸張結果をメインメモリ３に格納する（ＳＴＥＰ５０４）。メインメモリ２に格納されたフレームデータは、表示制御手段２３のパネルコントローラ１６によって読み出され、表示モードに従って表示パネル上のメイン画面１６０Ａに表示される。

伸張制御手段２２は、操作キーの入力を受け付け（ＳＴＥＰ５０５）、受け付けたキーが停止キーであるか否か判断する（ＳＴＥＰ５０６）。停止キーでない場合は、Ｎに１を追加してＮの値を更新するとともに、フレームレートに従って次フレーム処理に移行すべきか否か判断する（ＳＴＥＰ５０７）。

これに対し、受け付けたキーが停止キーである場合は、メイン画像表示モードからサブ画像表示モードへの切り替えを行う。表示制御手段２３は、メインメモリ１、２および３に格納されているデータを読み出すとともに、表示モードに従って、各サブ画面１〜３に表示される画像のサイズ等を考慮した適切なサイズに縮小して、サブ表示領域１６０Ｂに表示する（ＳＴＥＰ５０８）。これにより、動画再生中のフレームと当該フレームの前後のフレームの画像が、サブ画面１〜３に表示されることになる。

次に、伸張制御手段２２は、新たな操作キーの入力を待機し（ＳＴＥＰ５０９）、入力されたキーが再生指示である場合は（ＳＴＥＰ５１１）、動画再生の処理に戻るべく、ＳＴＥＰ５０７に移行する。この場合、サブ画像表示モードからメイン画像表示モードへの切り替えを行う。一方、印刷指示である場合は（ＳＴＥＰ５１１）、メイン画面（またはサブ画面の中央に位置するサブ画面２）に表示されている画像のフレームデータつまりメインメモリ２に格納されているフレームデータに従い、印刷処理を実行する。

また、コマ送り指示である場合は（ＳＴＥＰ５１１）、サブ画像表示モードを維持し、Ｎに１を加算してＮの値を更新し（ＳＴＥＰ５１２）、バッファシフト処理（メインメモリ３からメインメモリ２へ、メインメモリ２からメインメモリ１へ、それぞれデータを転送する処理）を行う（ＳＴＥＰ５１３）。

そして、伸長制御手段２２は、Ｎ番目のフレームが存在するか否かを判断し（ＳＴＥＰ５１４）、存在しない場合には処理を終了し、存在する場合は処理を続行する。Ｎ番目のフレームが存在する場合には、Ｎ番目のフレームを読み出して伸張処理を実行し、伸張結果をメインメモリ３に格納する（ＳＴＥＰ５１５）。

そして、ＳＴＥＰ５０８に戻り、表示制御手段２３は、表示モードに従って、メインメモリ１、２および３に格納されているデータを読み出すとともに、各サブ画面に表示される画像のサイズ等を考慮した適切なサイズに縮小して、それぞれのデータを対応するサブ画面に表示する。各サブ画面には、コマ送りした後の画像が表示される。

上記変形例２の構成によれば、以下の作用効果を有する。

上記変形例２の構成によれば、表示される画像の内容に応じて画面の態様が切り替わるので、表示領域が小さい場合でも、表示領域を有効に活用して画像を表示することができるようになる。

また、ユーザは、サブ表示領域に表示されるフレーム画像の動きを把握しやすくなるので、最適画像の選択における操作性が向上する。

（その他の実施形態）
本発明は上記各実施形態に限定されることなく、種々に変形して適用することが可能である。例えば、上記実施形態では、動画を通常再生する場合を対象として処理を説明したが、本発明は他の再生方式の場合でも適用可能である。例えば逆再生、早送り再生、早戻し再生などの場合には、各再生形態に応じた再生方向、フレームレートおよびフレーム間隔で動画を表示するとともに、この動画表示に対応するフレーム画像にサブ表示領域に表示するように構成することが可能である。

また、上記実施形態では、現在表示中のフレームデータを含む複数のフレームデータに基づく複数の画像として３つの画像を表示する場合について説明したが、表示する画像やサブ表示領域の数は、３に限られず、１以上の任意の数を設定することができる。たとえば、表示装置の大きさによっては、サブ表示領域を５に設定してもよい。また、表示する画像やサブ表示領域の数、サブ表示領域のレイアウトなどを、ユーザが任意に設定することができるように構成することも可能である。

また、上記実施形態では、メイン画像表示領域とサブ画像表示領域のそれぞれに画像を表示する構成や、メイン画像表示領域とサブ画像表示領域を切り替えて表示する場合について説明したが、表示方法はこれに限定されない。例えば、表示パネル上にメイン画像表示領域とサブ画像表示領域を設定する場合に、動画再生中はメイン画像表示領域のみに動画を表示し、停止指示が入力されると、停止した画像と当該停止した画像の所定フレーム数前後に位置する画像を、サブ画面表示領域に表示するように構成することもできる。当該構成によれば、ユーザは、停止した画像とその前後の画像を確認することができるとともに、動画再生処理を軽減することができるようになる。

また、上記実施形態では、対象となる画像データが動画像データである場合について説明したが、連続して表示されることが可能な複数の静止画像データについても、本発明を適用することが可能である。

また、上記実施形態では、動画再生を停止した後に印刷制御コマンドを受け付けた場合には、現在表示中の画像を印刷する場合について説明したが、印刷制御コマンドの代わりに保存制御コマンドを受け付けた場合には、現在表示中の画像のフレームデータを所定の記憶手段に保存するように構成することも可能である。

また、上記実施形態では、本発明をプリンタ装置に適用した場合について説明したが、本発明は動画表示機能を有する装置（例えばデジタルカメラや携帯電話、パソコンの動画表示ソフトウェアなど）であれば適用することが可能である。

プリンタシステム１のハードウェア構成を示すブロック図である。 プリンタ制御部３の機能を示す機能構成図である。 プリンタ制御部３による動画表示処理の一例を示すフローチャートである。 表示パネル１６に表示される画面構成などを示す図である 図３のフローに従い画像が表示される様子を示す図である。 プリンタ制御部３による動画表示処理の一例を示すフローチャートである。 図６のフローに従い画像が表示される様子を示す図である。 プリンタ制御部３による動画表示処理の一例を示すフローチャートである 図８のフローに従い画像が表示される様子を示す図である。

符号の説明

１ プリンタシステム、２ 動力機構部、３ プリンタ制御部、２１ パネルＩＦ手段、 ２２ 伸張制御手段、 ２３ 表示制御手段、 ２４ 印刷制御手段

Claims (8)

1. 動画表示に対する指示を入力する入力手段と、
   画像圧縮データを伸張する伸張制御手段と、
   前記伸張された画像データに基づいて画像表示を行う表示制御手段と、を備え、
   前記表示制御手段は、前記入力手段から停止指示が入力された場合に、画像表示中の画像を含む複数の画像を表示することを特徴とする画像処理装置。
2. 前記伸張制御手段は、画像圧縮データを伸張してフレームデータを生成し、
   前記表示制御手段は、前記生成されたフレームデータに基づいて動画表示を行い、前記入力手段から停止指示が入力された場合に、動画表示中の画像のフレームデータを含む複数のフレームデータに基づく複数の画像を表示することを特徴とする請求項１記載の画像処理装置。
3. 前記表示制御手段は、前記生成されたフレームデータに基づいて第１の表示領域に動画を表示しながら、前記第１の表示領域に表示中の画像のフレームデータと当該フレームデータの所定間隔前後のフレームデータに基づく複数の画像を第２の表示領域に表示することを特徴とする請求項２記載の画像処理装置。
4. 前記表示制御手段は、前記生成されたフレームデータに基づいて第１の表示領域に動画を表示する第１の表示モードと、前記第１の表示領域に表示中の画像のフレームデータと当該フレームデータの所定間隔前後のフレームデータに基づく複数の画像を第２の表示領域に表示する第２の表示モードと、を備え、
   前記入力手段から停止指示が入力されると、前記第１の表示モードから前記第２の表示モードへ切り替えることを特徴とする請求項２記載の画像処理装置。
5. 前記伸張された画像データに基づいて印刷媒体に対する印刷を実行する印刷制御手段をさらに備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記生成されたフレームデータを一時記憶するための記憶手段をさらに備え、
   前記伸張制御手段は、生成したフレームデータを前記記憶手段に格納し、
   前記表示制御手段は、前記記憶手段からフレームデータを読み出して動画表示を行うことを特徴とする請求項２乃４いずれか１項に記載の画像処理装置。
7. 動画表示に対する指示を入力するステップと、
   画像圧縮データを伸張してフレームデータを生成するステップと、
   前記生成されたフレームデータに基づいて動画表示を行うステップと、を備え、
   前記動画表示を行うステップは、停止指示が入力された場合に、表示中の画像のフレームデータを含む複数のフレームデータに基づく複数の画像を表示することを特徴とする画像処理方法。
8. 動画表示に対する指示を入力する機能と、
   画像圧縮データを伸張してフレームデータを生成する機能と、
   前記生成されたフレームデータに基づいて動画表示を行う機能と、を画像処理装置に実現させるためのプログラムであって、
   前記動画表示を行う機能は、前記入力手段から停止指示が入力された場合に、表示中の画像のフレームデータを含む複数のフレームデータに基づく複数の画像を表示することを特徴とするプログラム。
   
   

Images