JP2008022481A - 画像補正装置、印刷装置、画像補正方法、及び、プログラム - Google Patents

Abstract

【課題】動画ファイルから取得したフレームについて画像補正する際の画像補正時間を短縮すること。
【解決手段】動画ファイルから画像補正されるフレームをユーザに決定させるための決定部と、前記画像補正されるフレームがユーザによって決定されるまでの間に、前記動画ファイルに基づいて前記フレームに適用する補正量の算出を開始し、前記フレームの決定後、該フレームに前記補正量を適用した画像補正を行うコントローラと、を備える画像補正装置。
【選択図】図４

Description

本発明は、画像補正装置、印刷装置、画像補正方法、及び、プログラムに関する。

動画ファイルから所定枚数のフレームを取得し、印刷する装置がある。この装置において、動画ファイルから取得したフレームは静止画として扱われる。この静止画は、望ましい明るさや色彩等になるように画像補正が行われることがある。
特開２００４−１２０６３８号公報 特開２００６−６０６４９号公報

動画ファイルから取得したフレームについて画像補正を行う際、そのフレームに適用する補正量が求められる。この補正量を求める際の時間は、動画ファイルが決定されてから画像補正が行われるまでの時間に含まれる。一般的にこの画像補正のための時間は短い方が望ましい。
本発明は、このような事情に鑑みてなされたものであり、動画ファイルから取得したフレームについて画像補正する際の画像補正時間を短縮することを目的とする。

上記目的を達成するための主たる発明は、
動画ファイルから画像補正を行うフレームをユーザに決定させるための決定部と、
前記動画ファイルから画像補正を行うフレームがユーザによって決定されるまでの間に、前記動画ファイルに基づいて前記フレームに適用する補正量の算出を開始し、前記フレームの決定後、該フレームに前記補正量を適用した画像補正を行うコントローラと、
を備える画像補正装置である。

本発明の他の特徴については、本明細書及び添付図面の記載により明らかにする。

本明細書及び添付図面の記載により、少なくとも、以下の事項が明らかとなる。

動画ファイルから画像補正を行うフレームをユーザに決定させるための決定部と、
前記動画ファイルから画像補正を行うフレームがユーザによって決定されるまでの間に、前記動画ファイルに基づいて前記フレームに適用する補正量の算出を開始し、前記フレームの決定後、該フレームに前記補正量を適用した画像補正を行うコントローラと、
を備える画像補正装置。
このようにすることで、動画ファイルから取得したフレームについて画像補正する際の画像補正時間を短縮することができる。

かかる画像補正装置であって、前記決定部は、前記動画ファイルが複数の動画ファイルからユーザによって選択される際にも使用されることが望ましい。また、前記補正量の算出は、前記ユーザによって、前記動画ファイルが前記複数の動画ファイルから選択されてから、前記画像補正を行うフレームが決定されるまでの間に開始されることが望ましい。また、前記補正量の算出は、前記ユーザによって前記動画ファイルが選択され、該動画ファイルから前記画像補正が行われる最初のフレームが決定されたときに開始されることが望ましい。また、前記コントローラは、前記動画ファイルの中央のフレームに基づいて前記補正量を算出することが望ましい。また、前記コントローラは、前記動画ファイルからランダムに抽出されたフレームに基づいて前記補正量を算出することもできる。また、前記コントローラは、前記動画ファイルに含まれる音声データに基づいて前記補正量を算出することもできる。また、前記決定部は、前記動画ファイルから前記画像補正される最初のフレームと最後のフレームを前記ユーザに決定させるために使用され、前記コントローラは、前記最初のフレームが決定されてから最後のフレームが決定されるまでの間に、前記最初のフレームの補正量の算出を開始することが望ましい。
これにより、動画ファイルから取得したフレームについて画像補正する際の画像補正時間を短縮することができる。

動画ファイルから画像補正されるフレームをユーザに決定させるための決定部と、
前記画像補正されるフレームがユーザによって決定されるまでの間に、前記動画ファイルに基づいて前記フレームに適用する補正量の算出を開始し、前記フレームの決定後、該フレームに前記補正量を適用した画像補正を行うコントローラと、
前記画像補正が行われたフレームを印刷することができる印刷部と、
を備える印刷装置。
このようにすることで、動画ファイルから取得したフレームについて画像補正する際の画像補正時間を短縮して、補正後のフレームについて印刷することができる。

動画ファイルから画像補正されるフレームをユーザに決定させるステップと、
前記画像補正されるフレームがユーザによって決定されるまでの間に、前記動画ファイルに基づいて前記フレームに適用する補正量の算出を開始するステップと、
前記フレームの決定後、該フレームに前記補正量を適用した画像補正を行うステップと、
を含む画像補正方法。
このようにすることで、動画ファイルから取得したフレームについて画像補正する際の画像補正時間を短縮することができる。

画像補正装置を動作させるためのプログラムであって、
動画ファイルから画像補正されるフレームをユーザに決定させるステップと、
前記画像補正されるフレームがユーザによって決定されるまでの間に、前記動画ファイルに基づいて前記フレームに適用する補正量の算出を開始するステップと、
前記フレームの決定後、該フレームに前記補正量を適用した画像補正を行うステップと、
を前記画像補正装置に行わせるプログラム。
このようにすることで、動画ファイルから取得したフレームについて画像補正する際の画像補正時間を短縮することができる。

＝＝＝第１実施形態＝＝＝
＜画像補正装置について＞
画像補正装置は、種々の態様で実現することができる。例えば、コンピュータに画像補正用のプログラムを実行させることで、このコンピュータを画像補正装置として用いることができる。デジタルカメラや印刷装置はコントローラを有している。そして、このコントローラに画像補正用のプログラムを実行させることで、デジタルカメラや印刷装置を画像補正装置として用いることができる。そこで、本明細書では、プリンタ・スキャナ複合機（以下、単に複合機ともいう。）を例に挙げて説明することにする。この複合機は、画像を媒体に印刷する印刷機能と、媒体に印刷された画像を読み取る読み取り機能とを有する装置である。

＝＝＝複合機１の構成について＝＝＝
図１Ａは、複合機１の外観を説明するための斜視図である。図１Ｂは、操作パネル４０を説明するための図である。図２は、複合機１の構成を説明するブロック図である。図３は、印刷機構２０を説明するための図である。

複合機１は、画像読み取り機構１０、印刷機構２０、駆動信号生成部３０、操作パネル４０、カードスロット５０、及び、コントローラ６０を有する。この複合機１では、コントローラ６０によって、制御対象部、すなわち、画像読み取り機構１０、印刷機構２０、及び、駆動信号生成部３０が制御される。

画像読み取り機構１０は、原稿台１１上の原稿を読み取り、原稿の画像濃度に応じた電気信号を出力するための装置である。印刷機構２０は、媒体としての用紙Ｓへ画像を印刷するための機構である。印刷機構２０は、ガイドレール２２３上をキャリッジＣＲが移動方向に移動しながらヘッドユニットＨＵからインク滴を吐出することで用紙Ｓに印刷を行う。

駆動信号生成部３０は、ヘッドからインクを吐出させる際に用いられる駆動信号ＣＯＭを生成する部分である。この駆動信号生成部３０は、コントローラ６０（ＣＰＵ６２）からの制御信号に基づき、様々な波形の駆動信号ＣＯＭを生成する。

＜操作パネル４０について＞
操作パネル４０は、複合機１におけるユーザインタフェースを構成する。操作パネル４０には、電源ボタン４１、表示部４２、及び、入力部４３が配置されている。電源ボタン４１は複合機１の電源をオンオフする際に操作されるボタンである。表示部４２は、例えば液晶表示パネルによって構成される。この表示部４２には、例えばメニュー画面や印刷対象となる画像（動画ファイルのフレーム）が表示される。入力部４３は、各種のボタンによって構成されている。この例において入力部４３は、４方向ボタン４３１、ＯＫボタン４３２、印刷設定ボタン４３３、戻るボタン４３４、表示切替ボタン４３５、モード切替ボタン４３６、印刷枚数増減ボタン４３７、スタートボタン４３８、及び、ストップボタン４３９によって構成されている。４方向ボタン４３１は、項目を移動させる際等に操作される。ＯＫボタン４３２は、選択項目を確定させる際等に操作される。印刷設定ボタン４３３は、印刷の設定時に操作される。戻るボタン４３４は、表示を前の状態に戻す場合等に操作される。表示切替ボタン４３５は、表示態様を切り替える際等に操作される。例えば、画像のサムネイル表示と拡大表示とを切り替える際等に操作される。モード切替ボタン４３６は、複合機１の動作モードを切り替える際等に操作される。印刷枚数増減ボタン４３７は、印刷枚数を調整する際等に操作される。スタートボタン４３８は、動作を開始させる際等に操作される。例えば、印刷を開始させる際に操作される。ストップボタン４３９は、何らかの動作を中止させる際等に操作される。例えば、印刷を中止させる際に操作される。これらのボタンは、操作に応じた信号を出力するスイッチ（図示せず。）を有する。このスイッチはコントローラ６０と電気的に接続されている。従って、コントローラ６０は、スイッチからの信号に基づいて各ボタンに対する操作を認識し、認識した操作に対応した動作をする。
尚、後述するようにこの入力部４３は、動画ファイルから画像補正されるフレームをユーザに決定させるために使用される決定部に相当する。

＜カードスロット５０について＞
カードスロット５０は、メモリカードＭＣと電気的な接続を行う部分である。このため、カードスロット５０には、メモリカードＭＣと電気的に接続するためのインタフェース回路が設けられている。カードスロット５０に対して着脱されるメモリカードＭＣには、印刷対象となるデータが記憶される。例えば、デジタルカメラによって撮影された動画ファイルや静止画ファイルが記憶される。

＜コントローラ６０について＞
コントローラ６０は、インタフェース部６１と、ＣＰＵ６２と、メモリ６３と、制御ユニット６４とを有する。インタフェース部６１は、外部装置であるコンピュータ（図示せず）との間でデータの受け渡しを行う。また、ケーブルを通じて接続されたデジタルカメラとの間でもデータの受け渡しを行うことができる。ＣＰＵ６２は、複合機１の全体的な制御を行うための演算処理装置である。メモリ６３は、コンピュータプログラムを格納する領域や作業領域等を確保するためのものであり、ＲＡＭ、ＥＥＰＲＯＭ、ＲＯＭ等の記憶素子によって構成される。ＣＰＵ６２は、メモリ６３に記憶されているコンピュータプログラムに従い、各制御対象部を制御する。例えば、制御ユニット６４を通じて画像読み取り機構１０、印刷機構２０、及び、操作パネル４０（表示部４２）を制御する。

＝＝＝複合機１の動作について＝＝＝
＜動作の概略について＞
複合機１は、画像読み取り機構１０で読み取った画像の電子データをホストコンピュータ（図示せず）へ送信することができる。また、複合機１は、画像読み取り機構１０で読み取った画像を用紙Ｓへ印刷することや、メモリカードＭＣに記憶された静止画ファイルや動画ファイルを用紙Ｓへ印刷することもできる。このような印刷時には、画像の明るさや色調の補正が行われる。また、動画ファイルを印刷する場合、動画ファイルを構成する複数のフレームのうち１つのフレームを印刷する「１フレーム印刷」と、動画ファイルを構成する一部の複数フレームを印刷する「複数フレーム印刷」とが選択できる。

ところで、動画ファイルから取得したフレームについて画像補正を行う際、そのフレームに適用する補正量が求められる。この補正量を求める際の時間は、動画ファイルが決定されてから画像補正が行われるまでの時間に含まれる。一般的にこの画像補正のための時間は短い方が望ましい。

ここでは次に説明するような手法で、動画ファイルから取得したフレームについて画像補正する際の画像補正時間を短縮している。

＜動画印刷処理の詳細について＞
以下、複合機１における動画印刷処理の詳細について説明する。図４は、印刷動作時の各処理を説明するフローチャートである。図５は、動画ファイルに基づく補正量算出処理、及び、画像補正処理を説明するフローチャートである。図６は、動画ファイルの選択時におけるユーザインタフェースの一例を説明する図である。なお、これらの処理は、コントローラ６０によって行われる。具体的には、メモリ６３に記憶されているコンピュータプログラムに基づいてＣＰＵ６２が行う。従って、コンピュータプログラムは、各処理をＣＰＵ６２に行わせるためのコードを有する。

動画印刷処理において、コントローラ６０は、まず印刷方法決定処理を行う（Ｓ１）。この印刷方法決定処理は、１フレーム印刷と複数フレーム印刷の何れの印刷方法で印刷するかを決定する処理である。この処理において、コントローラ６０は、項目「１フレーム印刷」と項目「複数フレーム印刷」を含むメニュー画像を表示部４２にて表示させ、入力部４３（モード切替ボタン４３６、４方向ボタン４３１、ＯＫボタン４３２等）からの信号を待つ。そして、コントローラ６０は、入力部４３からの信号に基づいてユーザによって指定された印刷方法を認識し、その印刷方法を示す情報をメモリ６３へ記憶する。

次に、コントローラ６０は、動画ファイル選択処理を行う（Ｓ２）。この動画ファイル選択処理は、印刷対象となる動画ファイルをユーザに選択させるための処理である。この処理においてコントローラ６０は、印刷対象となる動画ファイルを認識し、選択を促すためのメニュー画面を表示部４２に表示させる。例えば、図６に示すように、各動画ファイルにおける１番目のフレームをサムネイル表示する。なお、図６では、２つの動画ファイルについて、１番目のフレームが表示された例を示している。その後、コントローラ６０は、入力部４３からの信号を待ち、入力部４３からの信号に基づき、ユーザによって指定された動画ファイルを認識する。そして、認識した動画ファイルのファイル名や所在を示す情報（例えば、ドライブ名やフォルダ名を示すパス情報）をメモリ６３へ記憶させる。

次に、コントローラ６０は、Ｓ３〜Ｓ８の処理とＳ９の補正量算出処理とを並列処理する。Ｓ３，Ｓ４，及びＳ８の処理は、印刷させる１つのフレームの決定（Ｓ４）又は開始終了フレームの決定（Ｓ７，Ｓ８）を行わせる処理である。この印刷させるフレームを選択させる処理に占める時間の多くは、ユーザが表示部４２を見ながらどのフレームを印刷させようか考えている時間である。つまり、その間、コントローラ６０は、フレームが選択されるのを待っている状態となり、処理負荷の少ない無駄な時間となっている。そこで、コントローラ６０は、この時間を利用して、動画ファイルに基づいてフレームに適用する補正量の算出（Ｓ９）を行うのである。

よって、コントローラ６０は、画像補正されるフレームがユーザによって決定されるまでの間に動画ファイルに基づいてフレームに適用する補正量の算出を開始し、このフレームの決定後に補正量を適用した画像補正を行うコントローラに相当する。

次に、並行して実行されるＳ３〜Ｓ８の処理と、補正量算出処理Ｓ９とを分けて説明する。

動画ファイル選択処理（Ｓ２）が完了すると、コントローラ６０は、決定された印刷方法の判断を行う（Ｓ３）。この判断は、次に行われる処理を定めるために行われる。すなわち、決定された印刷方法が１フレーム印刷であった場合、コントローラ６０は、次に行う処理をフレーム決定処理（Ｓ４）と定め、ステップＳ４へ移行する。また、決定された印刷方法が複数フレーム印刷であった場合、コントローラ６０は、次に行う処理を開始終了フレーム決定処理（Ｓ７）と定め、ステップＳ７へ移行する。ここでは、まず、決定された印刷方法が１フレーム印刷である場合について説明する。

フレーム決定処理（Ｓ４）は、１フレーム印刷において印刷対象となるフレーム（対象フレームともいう。）を決定する処理である。この処理において、コントローラ６０は、動画ファイルを構成する複数のフレームの中から、印刷対象となる１つのフレームを決定する。このため、コントローラ６０は、撮影開始からの経過時間、及び、この経過時間に対応するフレームを、表示部４２に表示させ、入力部４３からの入力を待つ。ユーザは、入力部４３（例えば４方向ボタン４３１）を操作して経過時間を変化させる。そして、所望のフレームが表示されたならば、ユーザは、ＯＫボタン４３２を操作する等によって印刷するフレームを決定する。この操作に伴い、コントローラ６０は、対応するフレームを対象フレームに決定し、この対象フレームを示す情報をメモリ６３に記憶する。

次に、Ｓ３で決定された印刷方法が複数フレーム印刷の場合について説明する。この場合、コントローラ６０は、ステップＳ７において開始終了フレーム決定処理を行う。図７は、開始終了フレーム決定処理におけるユーザインタフェースの一例を説明するための図である。図８は、開始フレームの決定時におけるユーザインタフェースの一例を説明するための図である。図９は、終了フレームの決定時におけるユーザインタフェースの一例を説明する図である。この開始終了フレーム決定処理は、印刷対象となる動画ファイルについて、印刷対象となる最初の対象フレーム（以下、開始フレームともいう。）と、最後の対象フレーム（以下、終了フレームともいう。）とを指定する処理である。

まず、コントローラ６０は、選択用画像を表示部４２に表示させる。ここでの選択用画像は、フレーム用の表示領域４２１と、カーソル用の表示領域４２２と、操作内容説明用の表示領域４２３とを有している。フレーム用の表示領域４２１は、任意のフレームについて画像を表示するものである。この複合機１において、フレーム用の表示領域４２１には、まず動画ファイルにおける１番目のフレームが表示される。そして、４方向ボタン４３１における左側部分又は右側部分が操作されると、表示対象となるフレームが変化する。例えば、右側部分が押されると、表示されているフレームよりも後側のフレームが表示され、左側部分が押されると、表示されているフレームよりも前側のフレームが表示される。

カーソル用の表示領域４２２は、左右方向に移動可能なカーソルＣＳを表示する。このカーソルＣＳは、表示されているフレームの動画ファイルにおける経過時間を示す。例えば、図７の例では、動画ファイルにおける先頭フレームが表示されている。このため、カーソルＣＳは、カーソル用の表示領域４２２における左端に表示されている。そして、図８の例では、全体の４割程度の時間が経過した状態のフレームが表示されている。このため、カーソルＣＳも、表示領域における左端から右側へ向けて、表示範囲の４割程度移動している。同様に、図９の例では、全体の６割程度の時間が経過した状態のフレームが表示されている。このため、カーソルＣＳも、表示領域における左端から右側へ向けて、表示範囲の６割程度移動している。

好みのフレームが表示されている状態でユーザがＯＫボタン４３２を押すと、その時点でのフレームが開始フレームに定められる。また、開始フレームが定められた後に、この開始フレームよりも後側の好みのフレームが表示されている状態でユーザがＯＫボタン４３２を押すと、その時点でのフレームが終了フレームに定められる。例えば、図８に示す状態でユーザがＯＫボタン４３２を押し、その後、図９に示す状態でユーザがＯＫボタン４３２を押すと、開始フレームとして、ゴルフでアドレスをしている人物のフレームが定められ、終了フレームとして、ショット後の人物のフレームが定められる。つまり、開始フレームは最初の対象フレームであり、終了フレームは最後の対象フレームとなる。

次に、コントローラ６０は、中間フレーム決定処理を行う（Ｓ８）。図１０は、対象フレームを説明するための図である。中間フレームは、開始フレームと終了フレームの間に定められるフレームであって、印刷対象となるフレームである。従って、中間フレームは、中間の対象フレームということもできる。

中間フレーム決定処理において、コントローラ６０は、開始フレームと終了フレームとの間に、互いに前後する対象フレーム同士の時間間隔を揃えて複数の中間フレームを決定する。この複合機１では、複数フレーム印刷が選択された場合に、１２個の対象フレームが１枚の用紙Ｓに印刷される。このため、図１０に符号ＦＲ１で示すフレームが開始フレームとして決定され、符号ＦＲ１２で示すフレームが終了フレームとして決定された場合には、符号ＦＲ２から符号ＦＲ１１で示す各フレームが中間フレームとして決定される。図１０の例において、中間フレームＦＲ２〜ＦＲ１１は、互いに前後する他の対象フレームとの時間間隔が揃うように定められる。この例において各中間フレームＦＲ２〜ＦＲ１１は、他の対象フレームとの間に２つのフレームを挟んでいる。言い換えれば、各対象フレームＦＲ１〜ＦＲ１２は、２つのフレーム毎に定められている。なお、間に挟むフレームの数に関し、図示の都合で２つとしたが、実際の数はこの数に限られない。すなわち、間に挟むフレームの数は、開始フレームから終了フレームまでの時間間隔、対象フレームの数、撮影時におけるフレームレート等の要因によって定められる。

次に、図５を参照しつつＳ４，Ｓ７，Ｓ８の処理と並行して実行される補正量算出処理（Ｓ９）について説明する。まず、補正量算出処理の概略について説明する。補正量算出処理において、コントローラ６０は、動画ファイルから補正量を求めるためのフレーム（サンプルフレーム）を決める。そして、このサンプルフレームについての補正量を求める。この補正量は、サンプルフレームがどの種別に属するかによって個別に求められる。補正量が求められると、この補正量に基づいて、全ての対象フレームに適用される共通補正量を求められる。

次に、補正量算出処理の各ステップについて説明を行う。最初に、コントローラ６０は、サンプルフレームを取得する（Ｓ１１）。第１実施形態において、サンプルフレームは、選択された動画ファイルの開始フレームから終了フレームまでの間に存在するフレームのうちの１枚の中央のフレームである。尚、ここでは、１枚のサンプルフレームから補正量を求めることとしているが、複数のサンプルフレームを抽出して補正量を求めることとしてもよい。

次に、コントローラ６０は、サンプリング処理を行う（Ｓ１２）。このサンプリング処理は、各サンプルフレームについて、輝度や色合い等に関する情報を取得する処理である。この処理において、コントローラ６０は、輝度値、Ｒ（レッド）画素の数や座標、Ｇ（グリーン）画素の数や座標、Ｂ（ブルー）画素の数や座標、及び、エッジの量等の情報を取得する。そして、取得した情報を統計値情報としてメモリ６３に記憶する。

統計値情報を記憶させると、コントローラ６０は、シーン判定処理を行う（Ｓ１３）。シーン判定処理は、各サンプルフレームのシーンを判定する処理である。シーンの種類には「人物」、「風景」、「標準」の３つが用意されている。そして、コントローラ６０は、各サンプルフレームが「人物」、「風景」、「標準」のどの種別に分類されるかを判定する。このとき、コントローラ６０は、メモリ６３に記憶された統計値情報を読み出し、その対象フレームが「人物」に分類できるか否かを判定する。この判定は、顔の部分があるか否かによって行われる。

この判定について概略を説明すると次の通りである。まず、コントローラ６０は、そのサンプルフレームについて肌色の部分があるか否かについて判定する。肌色の部分があった場合、コントローラ６０は、その肌色の部分の中に両目及び口に対応する部分があるかを判定する。そして、両目及び口に対応する部分があった場合、肌色と認識できる部分を顔と認識する。さらに、顔の部分における面積がサンプルフレームにおける面積の０．５％以上あれば、そのサンプルフレームの種類を「人物」と判定する。

「人物」とは判定されなかった場合、コントローラ６０は、そのサンプルフレームが「風景」に分類できるかを判定する。この判定は、例えば、ヒストグラムを用いて行われる。このとき、コントローラ６０は、輝度値、Ｒ画素数、Ｇ画素数、Ｂ画素数、エッジの量等の各項目について度数を求め、ヒストグラムを得る。そして、得られたヒストグラムの形状からサンプルフレームの種類を判定する。例えば、風景に多く出現する、緑、青、赤、の比率が高ければ、風景を示すヒストグラムとのマッチングが高くなる。よって、このときコントローラ６０は、そのサンプルフレームを「風景」と判定する。

さらに、コントローラ６０は、「人物」「風景」のいずれにも判定されなかったサンプルフレームを「標準」と判定する。そして、この判定結果を、各サンプルフレームの番号に関連づけてシーン情報としてメモリ６３に記憶する。

次に、コントローラ６０は、補正量算出処理（Ｓ１４）を行う。複合機１で用いられる補正項目としては、例えば、「明るさ」、「コントラスト」、「彩度」、「カラーバランス」、「シャープネス」がある。尚、補正項目は一例であり、他の項目も定められている。ここで、対象フレームが「人物」と判定された場合には、そのサンプルフレームにおける人の顔の部分が、肌色の標準色となるように補正量が算出される。サンプルフレームが「風景」と判定された場合、その代表フレームにおける緑色の部分、青色の部分、及び、赤色の部分について、彩度を上げるように補正量が算出される。サンプルフレームが「標準」と判定された場合、その対象フレームが多少明るくなり、かつ、各色の彩度が多少高くなるように補正量が算出される。そして、コントローラ６０は、算出した補正量を各サンプルフレームの番号に関連づけてメモリ６３に記憶する。

次に、コントローラ６０は、すべてのサンプルフレームについて、上述の一連の処理（Ｓ１２〜Ｓ１４）を行ったか否かについて判定する（Ｓ１５）。そして、Ｓ１２〜Ｓ１４の処理を行っていないサンプルフレームが残っている場合には、Ｓ１２に戻り、未処理のサンプルフレームについて上述の一連の処理（Ｓ１２〜Ｓ１４）を行う。一方、全てのサンプルフレームについて、Ｓ１２〜Ｓ１４の処理を行った場合には、共通補正量算出処理（Ｓ１６）を行う。

尚、第１実施形態では、１枚のサンプルフレームに基づいて補正量が求められることから、Ｓ１２〜Ｓ１４の処理は一度の処理で完了する。

共通補正量算出処理（Ｓ１６）において、コントローラ６０は、メモリ６３に記憶された全てのサンプルフレームの平均値を求める。そして、これを共通補正量としてメモリ６３に記憶する。但し、ここでは一枚のサンプルフレームに基づいて補正量を求めている。よって、共通補正量はＳ１４で求めた一枚のサンプルフレームの補正量と同じである。Ｓ１６の処理は、複数のサンプルフレームに基づいても共通補正量が求められるようにされているのである。

このようにして、フレームの決定処理（１フレーム又は複数フレーム）及び動画ファイルに基づく補正量算出処理が並行して行われる。フレームの決定処理及び動画ファイルに基づく補正量算出処理の両方の処理が完了すると、画像補正処理（Ｓ５）が行われる。この画像補正処理（Ｓ５）は、フレームの決定処理（Ｓ４，Ｓ７，Ｓ８）と動画ファイルに基づく補正量算出処理（Ｓ９）のいずれか一方でも完了していない場合には実行されない。これらの２つの処理がともに完了した場合において、画像補正処理（Ｓ５）が行われる。

画像補正処理（Ｓ５）において、コントローラ６０は、最初に補正処理（Ｓ２１）を行う。補正処理では、動画ファイルに基づく補正量算出処理（Ｓ９）において求められた共通補正量が各対象フレームに適用され画像補正が行われる。そして、画像補正が行われると、画像補正された対象フレームが順番に表示部４２に並べて表示される（Ｓ２２）。

次に、コントローラ６０は、全ての対象フレームについて、上述の補正処理（Ｓ２１）と表示（Ｓ２２）を行ったか否かについて判定する（Ｓ２３）。そして、Ｓ２１〜Ｓ２２の処理を行っていない対象フレームが残っている場合には、Ｓ２１に戻り、未処理の対象フレームについてＳ２１〜Ｓ２２の処理を行う。一方、全ての対象フレームについて、Ｓ２１〜Ｓ２２の処理を行った場合には、印刷を行うか否かの判定（Ｓ２４）を行う。

図１１は、画像補正処理がされたフレームを表示したときの表示部４２の一例である。全ての対象フレームについてＳ２１〜Ｓ２２の処理を行うと、表示部４２に全ての対象フレームについて補正後のフレームが表示されることとなる。なお、図１１における上段左端に表示されている対象フレームが開始フレーム（１番目の対象フレームＦＲ１）であり、下段右端に表示されている対象フレームが終了フレーム（１２番目の対象フレームＦＲ１２）である。また、他の対象フレームＦＲ２〜ＦＲ１１は中間フレームである。そして、各対象フレームＦＲ１〜ＦＲ１２は、上段左端から下段右端に向かって時系列で表示されている。すなわち、表示されている１２個の対象フレームのうち、上段に配置されている４つの対象フレームは、１番目の対象フレームＦＲ１から４番目の対象フレームＦＲ４である。そして、撮影された時刻が早い程、左側に表示されている。同様に、中段に配置されている４つの対象フレームは５番目の対象フレームＦＲ５から８番目の対象フレームＦＲ８であり、下段に配置されている４つの対象フレームは９番目の対象フレームＦＲ９から１２番目の対象フレームＦＲ１２である。

そして、ユーザがＯＫボタン４３２、及び、スタートボタン４３８を順に押すことで、用紙Ｓへの印刷が開始される（Ｓ２４）。すなわち、コントローラ６０は、画像補正が行われた複数の対象フレームＦＲ１〜ＦＲ１２を１枚の用紙Ｓに印刷させる（Ｓ２５）。ここで、図１２は、印刷画像の一例を示す図である。図１２に示すように、用紙Ｓの幅方向（キャリッジ移動方向に対応する。）に３つ、用紙Ｓの長さ方向（搬送方向に対応する。）に４つのフレームが配置され、合計で１２個のフレームが１枚の用紙Ｓに印刷される。

ところで、参考例としての補正量の算出手法を考えてみると、まず対象フレームを決定し、これらの対象フレームに基づいて、これら対象フレームに共通に適用される補正量を求めるという手法が考えられる。この場合には、補正量の算出は対象フレームの決定後に行われることとなる。よって、補正量の算出は、対象フレームの決定の完了を待たなければならない。

一方、第１実施形態では、画像補正されるフレームが決定される間に、あらかじめ動画ファイルから取得したフレームに基づいて補正量の算出を行うこととする。そうすると、フレームが決定されている間に補正量の算出の大部分が完了することとなる。よって、参考例のものと比較すると、第１実施形態では、参考例の画像補正時間に比して、補正量の算出にかかっていた分の時間を短縮することができる。

＝＝＝第２実施形態＝＝＝
まず、第２実施形態の概略について説明する。第２実施形態において、動画ファイルから決定された複数の対象フレームについて画像補正を行うとき、コントローラ６０は、対象フレームの開始フレームを決定した直後にこの開始フレームについての補正量の算出を開始する。そして、その一方で、開始フレームが選択されると、終了フレームの選択処理が行われる。終了フレームが選択されるとコントローラ６０は、中間の対象フレームを決定し、開始フレーム以外の対象フレームについての補正量を求める。このように、ユーザによって終了フレームが決定されるまでに、少なくとも開始フレームについての補正量の算出を開始するようにしている。

図１３は、第２実施形態における印刷動作時の各処理を説明するフローチャートである。また、図１４は、第２実施形態における個別補正量算出処理、及び、画像補正処理を説明するフローチャートである。

まず、コントローラ６０は、印刷方法決定処理（Ｓ３１）、動画ファイル選択処理（Ｓ３２）、及び、決定された印刷方法の判断処理（Ｓ３３）を行う。尚、Ｓ３１〜Ｓ３３の処理は、図４におけるＳ１〜Ｓ３までの処理と同様であるので説明を省略する。

決定された印刷方法が１フレーム印刷であった場合、コントローラ６０は、フレーム決定処理（Ｓ３４）を行う。フレーム決定処理（Ｓ３４）は、図４におけるフレーム決定処理（Ｓ４）と同様の処理であるので説明を省略する。

フレーム決定処理（Ｓ３４）が完了すると、コントローラ６０は、個別補正量算出処理（Ｓ３５）を行う。個別補正量算出処理（Ｓ３５）は、図５における「動画ファイルに基づく補正量算出処理」に似た処理となっているが、サンプルフレーム取得処理（Ｓ１１）と共通補正量算出処理（Ｓ１６）が行われない点で異なっている。これは、個別補正量算出処理では、サンプルフレームに基づいて補正量を求めるのではなく、個々の対象フレームに基づいて対応する補正量を求めているためである。また、全ての対象フレームに共通の補正量を適用するのではなく、個々の対象フレームについて対応する補正量を適用するので、共通補正量を求める必要がないためである。

個別補正量算出処理を開始するとＳ５１〜Ｓ５４の処理が行われる。Ｓ５１〜Ｓ５４までの処理は、Ｓ１２〜Ｓ１５までの処理と共通であるので説明を省略するが、Ｓ５１〜Ｓ５４の処理が完了すると、メモリ６３には、個々の対象フレームに対応する補正量が記憶されることとなる。

個別補正量算出処理（Ｓ４０）を完了すると、コントローラ６０は、画像補正処理（Ｓ４１）を行う。第２実施形態の画像補正処理（Ｓ４１）が第１実施形態の画像補正処理（Ｓ５）と異なっている点は、画像補正において各フレームに対して共通補正量を適用せず、個々の補正量を適用する点にある。このようにして、１フレーム印刷の処理が行われる。

次に、印刷方法決定処理において、複数フレーム印刷が選択された場合について説明する。決定された印刷方法が複数フレーム印刷であった場合、Ｓ３３で分岐し、開始フレーム決定処理（Ｓ３６）が行われる。この開始フレーム決定処理（Ｓ３６）は、第１実施形態における開始終了フレーム決定処理のうちの開始フレームの決定の処理の部分に対応する。よって、説明を省略するが、この処理によって複数の対象フレームのうち開始フレームが決定される。

開始フレームが決定されると、コントローラ６０は、個別補正量算出処理（Ｓ３７）とＳ３８〜Ｓ４０の処理を並列処理する。つまり、個別補正量算出処理（Ｓ３７）を実行しつつ、Ｓ３８〜Ｓ４０の処理を実行する。次に説明する終了フレーム決定処理（Ｓ３８）に占める時間の多くは、ユーザが表示部４２を見ながらどのフレームを終了フレームにしようか考えている時間である。つまり、その間、コントローラ６０は、フレームが選択されるのを待っている状態となり、処理負荷の少ない無駄な時間となっている。そこで、コントローラ６０は、この時間を利用して、既に選択された開始フレームに基づいて、後にこの開始フレームに適用する補正量を求める（Ｓ３７）のである。

個別補正量算出処理（Ｓ３７）は、Ｓ３５で行った個別補正量算出処理とほぼ同様であるので説明を省略するが、これを実行することによって、開始フレームについての補正量が求められる。

個別補正量算出処理（Ｓ３７）が行われる一方で、コントローラ６０は、終了フレーム決定処理（Ｓ３８）を開始する。終了フレーム決定処理は、第１実施形態における開始終了フレーム決定処理のうち終了フレームの決定処理の部分に対応する。よって、説明を省略するが、この処理によって終了フレームが決定される。

終了フレームが決定されると、コントローラ６０は、中間フレーム決定処理（Ｓ３９）を行う。この中間フレーム決定処理（Ｓ３９）は、第１実施形態における中間フレーム決定処理（Ｓ８）と同様の処理である。つまり、Ｓ３６において選択された開始フレームとＳ３８において選択された終了フレームに挟まれる中間のフレームが自動的に決定される。

このようにして中間フレームが決定されると、コントローラ６０は、個別補正量算出処理（Ｓ４０）を行う。この個別補正量算出処理（Ｓ４０）では、開始フレーム以外の対象フレームについての個々の補正量が求められる。開始フレームの補正量はＳ３７において既に求められているからである。よって、ここでは、開始フレーム以外の対象フレームについてＳ５１〜Ｓ５３の処理が適用され、メモリ６３に個々の補正量が記憶される。

このようにして、Ｓ３７とＳ３８〜Ｓ４０の処理が並行して行われる。そして、Ｓ３７の処理とＳ３８〜Ｓ４０の処理の両方の処理が完了すると、コントローラ６０は、全ての対象フレームについて、画像補正処理（Ｓ４１）を行う。

Ｓ４１における画像補正処理は、第１実施形態における画像補正処理とほぼ同様であるが、Ｓ５５における補正処理において個々の対象フレームに適用される補正量が異なっている。第１実施形態では、全ての対象フレームについて共通補正量が適用されていたが、第２実施形態では個々のフレームに対応する補正量が適用される。そして、Ｓ５９においてこのように個々に補正量が適用された対象フレームについて印刷が行われる。

このように、Ｓ３６より後の処理において、Ｓ３７とＳ３８〜Ｓ４０の処理が並列処理される。これは、上述の通り、ユーザが終了フレームを選択している間の時間において、コントローラ６０が開始フレームについて補正量を求めることができるためである。このようにして、コントローラ６０の処理に余裕があるときを利用して開始フレームについての補正量を求めることができるので、全ての対象フレームについて補正量を求める時間のうち、開始フレームの補正量を求める分だけ時間を短縮することができる。

＝＝＝第３実施形態＝＝＝
第３実施形態は、第１実施形態を変形した実施形態である。第３実施形態では、図５におけるサンプルフレーム取得処理（Ｓ１１）において、コントローラ６０が、選択された動画ファイルから複数（例えば１０枚）のサンプルフレームをランダムに選択する。

そして、Ｓ１２〜Ｓ１６までの処理を行うことによって、このランダムに選択されたサンプルフレームに基づいて共通補正量が求められる。そして、この共通補正量がすべての対象フレームに適用される。

このようにすることで、Ｓ７においてユーザが開始フレームと終了フレームとを選択している間に、コントローラ６０がサンプルフレームをランダムに選択するようにして、対象フレームに共通に使用される共通補正量を求めておくことができる。

＝＝＝第４実施形態＝＝＝
第４実施形態も第１実施形態を変形した実施形態である。第４実施形態では、図５におけるサンプルフレーム取得処理（Ｓ１１）において、コントローラ６０が、選択された動画ファイルから複数のサンプルフレームを取得する。このサンプルフレームを取得する際、コントローラ６０は、動画ファイルから音声を抽出し、人の声が最も含まれている所定時間幅の時間領域を特定する。そして、この時間領域内の複数のフレームが選択され、これがサンプルフレームとなる。

このように、人の声が最も多く含まれている時間領域のフレームには人物が写っていることが多い。画像補正のうち、人物の肌に対する補正は重要視されるものであると考えられる。よって、このように人物が撮影されている可能性の高いフレームを自動抽出して補正量を求めることで、対象フレームに対して人物に適した補正を行うことができる。また、Ｓ７においてユーザが開始フレームと終了フレームを選択している間に対象フレームに共通に使用される共通補正量を求めておくことができる。

＝＝＝その他の実施の形態＝＝＝
上記の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物が含まれることは言うまでもない。特に、以下に述べる実施形態であっても、本発明に含まれるものである。

＜画像補正装置について＞
前述した各実施形態では、複合機１を画像補正装置として用いた構成が記載されている。しかし、画像補正装置は、複合機１に限定されるものではない。例えば、専ら印刷を行うプリンタを画像補正装置として用いてもよい。この場合、プリンタに、画像補正用のプログラムを実行させることで、画像補正装置として用いる。また、画像補正用のプログラムを実行するコンピュータによって画像補正装置を構成してもよい。さらに、デジタルカメラやデジタルビデオを画像補正装置として用いてもよい。
また前述した画像補正装置は、コンピュータ上での画像補正においても使用できることはいうまでもない。

＜印刷の態様について＞
前述した各実施形態では、複数の対象フレームを同じ用紙Ｓに印刷する態様について説明したが、印刷の態様はこれに限定されない。例えば、複数の対象フレームを別の用紙Ｓに印刷する態様であってもよい。

＜対象フレームの種類について＞
前述した各実施形態では、対象フレームの種類として「人物」，「風景」，「標準」の３つを例に挙げて説明した。対象フレームの種類はこれらに限定されるものではなく、他の種類であってもよい。

＜メモリカードＭＣについて＞
前述した各実施形態では、カードスロット５０にメモリカードＭＣを装着する構成であったが、この構成に限定されない。例えば、デジタルカメラと複合機１とをケーブルを介して接続し、デジタルカメラに装着されたメモリカードＭＣへ、ケーブルを通じてアクセスするようにしてもよい。

＝＝＝まとめ＝＝＝
（１）上述の画像補正装置としての複合機１は、動画ファイルから画像補正されるフレーム（ＦＲ１、ＦＲ１２）をユーザに決定させるための入力部４３と、画像補正されるフレームがユーザによって決定されるまでの間に、動画ファイルに基づいてフレームに適用する補正量の算出を開始し、フレームの決定後、このフレームに補正量を適用した画像補正を行うコントローラと、を備える。
このようにすることで、画像補正されるフレームがユーザによって決定されるまでの間に、動画ファイルに基づいて補正量の算出を開始することができるので、補正量の算出処理と、ユーザによるフレームの決定処理を並行して行うことができる。そして、補正を行うトータルの時間を短縮することができる。

（２）また、入力部４３は、動画ファイルが複数の動画ファイルからユーザによって選択される際にも使用される。
このようにすることで、複数の動画ファイルから、補正量を求める基礎となる動画ファイルを選択することができる。

（３）また、補正量の算出は、ユーザによって、動画ファイルが複数の動画ファイルから選択されてから、画像補正を行うフレームが決定されるまでの間に開始される。
このようにすることで、動画ファイルが複数の動画ファイルから選択された直後に、補正量の算出を開始することができる。

（４）また、補正量の算出は、ユーザによって動画ファイルが選択され、この動画ファイルから画像補正が行われる最初のフレーム（ＦＲ１）が決定されたときに開始されることとすることもできる。
このようにすることで、開始フレームが選択された直後に、終了フレームを選択させる処理を行いつつ、この開始フレームに対する補正量の算出を開始することができる。

（５）また、コントローラ６０は、動画ファイルの中央のフレームに基づいて補正量を算出する。
このようにすることで、ユーザが画像補正されるフレームを選択している間に、コントローラ６０は、中央のフレームに基づいて、フレームに適用される補正量を求めることができる。

（６）また、コントローラ６０は、動画ファイルからランダムに抽出されたフレームに基づいて補正量を算出することとしてもよい 。

このようにすることで、ユーザが画像補正されるフレームを選択している間に、コントローラ６０は、ランダムに抽出されたフレームに基づいて、フレームに適用される補正量を求めることができる。

（７）また、コントローラ６０は、動画ファイルに含まれる音声データに基づいて補正量を算出する。
このようにすることで、例えば、人の声が含まれている時間領域におけるフレームに基づいて補正量を求めることができる。そして、人物に適した補正量を求めることができる。

（８）また、入力部４３は、動画ファイルから画像補正される最初のフレームと最後のフレームをユーザに決定させるために使用され、コントローラ６０は、最初のフレームが決定されてから最後のフレームが決定されるまでの間に、最初のフレームの補正量の算出を開始する。
このようにすることで、画像補正される全てのフレームの補正量を求める時間のうち、開始フレームの補正量を求める分だけ時間を短縮することができる。

（９）また、前述の構成要素のほとんどを含む画像補正装置によれば、記述のほぼ全ての効果を奏するため、本発明の目的が最も有効に達成される。

（１０）また、前述の画像補正装置に、画像補正が行われたフレームを印刷することができる印刷部を備えた印刷装置を提供することもできる。

（１１）また、動画ファイルから画像補正されるフレーム（ＦＲ１、ＦＲ１２）をユーザに決定させるステップと、画像補正されるフレームがユーザによって決定されるまでの間に、動画ファイルに基づいてフレームに適用する補正量の算出を開始するステップと、フレームの決定後、このフレームに補正量を適用した画像補正を行うステップと、を含む画像補正方法があることはいうまでもない。

（１２）また、上述の画像補正方法をコンピュータに実行させるためのプログラムがあることもいうまでもない。

図１Ａは、複合機１の外観を説明するための斜視図であり、図１Ｂは、操作パネル４０を説明するための図である。 複合機１の構成を説明するブロック図である。 印刷機構２０を説明するための図である。 印刷動作時の各処理を説明するフローチャートである。 動画ファイルに基づく補正値算出処理、及び、画像補正処理を説明するフローチャートである。 動画ファイルの選択時におけるユーザインタフェースの一例を説明する図である。 開始終了フレーム決定処理におけるユーザインタフェースの一例を説明するための図である。 開始フレームの決定時におけるユーザインタフェースの一例を説明するための図である。 終了フレームの決定時におけるユーザインタフェースの一例を説明する図である。 対象フレームを説明するための図である。 画像補正処理がされたフレームを表示したときの表示部４２の一例である。 印刷画像の一例を示す図である。 第２実施形態における印刷動作時の各処理を説明するためのフローチャートである。 第２実施形態における個別補正量算出処理、及び、画像補正処理を説明するフローチャートである。

符号の説明

１ 複合機，
１１ 原稿台，２０ 印刷機構，２２ キャリッジ移動機構，２２３ ガイド軸，
３０ 駆動信号生成部，４０ 操作パネル，４１ 電源ボタン，
４２ 表示部，４２１ フレーム用の表示領域，
４２２ カーソル用の表示領域，４２３ 操作内容説明用の表示領域，
４３ 入力部，４３１ ４方向ボタン，４３２ ＯＫボタン，
４３３ 印刷設定ボタン，４３４ 戻るボタン，４３５ 表示切替ボタン，
４３６ モード切替ボタン，４３７ 印刷枚数増減ボタン，
４３８ スタートボタン，４３９ ストップボタン，
５０ カードスロット，
６０ コントローラ，６１ インタフェース部，６２ ＣＰＵ，
６３ メモリ，６４ 制御ユニット，
Ｓ 用紙，ＣＲ キャリッジ，ＩＣ インクカートリッジ，
ＨＵ ヘッドユニット，ＭＣ メモリカード，ＣＳ カーソル，
ＦＲ１〜ＦＲ１２ 対象フレーム

Claims (12)

1. 動画ファイルから画像補正されるフレームをユーザに決定させるための決定部と、
   前記画像補正されるフレームがユーザによって決定されるまでの間に、前記動画ファイルに基づいて前記フレームに適用する補正量の算出を開始し、前記フレームの決定後、該フレームに前記補正量を適用した画像補正を行うコントローラと、
   を備える画像補正装置。
2. 前記決定部は、前記動画ファイルが複数の動画ファイルからユーザによって選択される際にも使用される、請求項１に記載の画像補正装置。
3. 前記補正量の算出は、前記ユーザによって、前記動画ファイルが前記複数の動画ファイルから選択されてから、前記画像補正を行うフレームが決定されるまでの間に開始される、請求項２に記載の画像補正装置。
4. 前記補正量の算出は、前記ユーザによって前記動画ファイルが選択され、該動画ファイルから前記画像補正が行われる最初のフレームが決定されたときに開始される、請求項３に記載の画像補正装置。
5. 前記コントローラは、前記動画ファイルの中央のフレームに基づいて前記補正量を算出する、請求項１〜３のいずれかに記載の画像補正装置。
6. 前記コントローラは、前記動画ファイルからランダムに抽出されたフレームに基づいて前記補正量を算出する、請求項１〜３のいずれかに記載の画像補正装置。
7. 前記コントローラは、前記動画ファイルに含まれる音声データに基づいて前記補正量を算出する、請求項１〜３のいずれかに記載の画像補正装置。
8. 前記決定部は、前記動画ファイルから前記画像補正される最初のフレームと最後のフレームを前記ユーザに決定させるために使用され、
   前記コントローラは、前記最初のフレームが決定されてから最後のフレームが決定されるまでの間に、前記最初のフレームの補正量の算出を開始する、請求項１又は２に記載の画像補正装置。
9. 動画ファイルから画像補正されるフレームをユーザに決定させるための決定部と、
   前記画像補正されるフレームがユーザによって決定されるまでの間に、前記動画ファイルに基づいて前記フレームに適用する補正量の算出を開始し、前記フレームの決定後、該フレームに前記補正量を適用した画像補正を行うコントローラと、を備え、
   前記決定部は、前記動画ファイルが複数の動画ファイルからユーザによって選択される際にも使用され、
   前記補正量の算出は、前記ユーザによって、前記動画ファイルが前記複数の動画ファイルから選択されてから、前記画像補正を行うフレームが決定されるまでの間に開始され、
   前記補正量の算出は、前記ユーザによって前記動画ファイルが選択され、該動画ファイルから前記画像補正が行われる最初のフレームが決定されたときに開始され、
   前記コントローラは、前記動画ファイルの中央のフレームに基づいて前記補正量を算出する、画像補正装置。
10. 動画ファイルから画像補正されるフレームをユーザに決定させるための決定部と、
    前記画像補正されるフレームがユーザによって決定されるまでの間に、前記動画ファイルに基づいて前記フレームに適用する補正量の算出を開始し、前記フレームの決定後、該フレームに前記補正量を適用した画像補正を行うコントローラと、
    前記画像補正が行われたフレームを印刷することができる印刷部と、
    を備える印刷装置。
11. 動画ファイルから画像補正されるフレームをユーザに決定させるステップと、
    前記画像補正されるフレームがユーザによって決定されるまでの間に、前記動画ファイルに基づいて前記フレームに適用する補正量の算出を開始するステップと、
    前記フレームの決定後、該フレームに前記補正量を適用した画像補正を行うステップと、
    を含む画像補正方法。
12. 画像補正装置を動作させるためのプログラムであって、
    動画ファイルから画像補正されるフレームをユーザに決定させるステップと、
    前記画像補正されるフレームがユーザによって決定されるまでの間に、前記動画ファイルに基づいて前記フレームに適用する補正量の算出を開始するステップと、
    前記フレームの決定後、該フレームに前記補正量を適用した画像補正を行うステップと、
    を前記画像補正装置に行わせるプログラム。
    
    

Images