JP2009020704A

JP2009020704A - 画像処理装置、画像処理方法及び印刷装置

Info

Publication number: JP2009020704A
Application number: JP2007182716A
Authority: JP
Inventors: Masatoshi Matsudaira; 正年松平
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2007-07-12
Filing date: 2007-07-12
Publication date: 2009-01-29
Anticipated expiration: 2027-07-12
Also published as: US8090217B2; US20090016628A1; JP4826817B2

Abstract

【課題】動画に含まれる画像から、より画質の高い静止画を限られた記憶容量を利用して生成する。
【解決手段】初期サイズＳｒｅｆの対象フレームを対象フレームと合成用フレームの複数の画像を利用して補正する際に必要な補正用記憶領域を確保し、静止画として指定された対象フレームのサイズＳが判定サイズＳｒｅｆ以下であるか否かを判定し、対象フレームのサイズＳが判定サイズＳｒｅｆ以下であるときには、静止画として指定された対象フレームと合成用フレームとの複数の画像を抽出し、その複数の画像を利用してフラクタル補間処理を実行して静止画を生成し、対象フレームのサイズＳが判定サイズＳｒｅｆを超えるときには、静止画として指定された対象フレームを抽出しその対象フレームにシャープネス処理とノイズ除去処理を実行して静止画を生成する。
【選択図】図２

Description

本発明は、画像処理装置、画像処理方法及び印刷装置に関する。

従来より、動画データに含まれる複数のフレームから、合成画像としての印刷画像を合成する画像合成処理を実行する印刷システムが知られている。例えば、特許文献１に記載の印刷システムでは、動画データに含まれるフレーム間の時間的な経過によるずれ（動き量）を検出し、その各フレーム間の動き量に基づいて副画素を生成して印刷画像を生成している。
特開２００５−２８４６３６号公報

しかしながら、複数のフレームから副画素を生成しながら印刷画像を合成するためには、フレームのデータサイズの数倍の記憶容量の記憶領域を用意しなければならず、フレームの画素数が多くデータサイズが大きいと予め用意した記憶容量では合成することができない場合がある。また、元のフレーム画像の画素数が多いほど即ちデータサイズが大きいほど、合成による画質向上の効果が低くなる傾向にある。

本発明は、上述した課題に鑑みなされたものであり、動画に含まれる画像から、より画質の高い静止画を限られた記憶容量を利用して生成することができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明は、上述の目的を達成するために以下の手段を採った。

本発明の画像処理装置は、
複数の画像を含む動画から静止画を生成する画像処理装置であって、
所定の判定サイズの対象画像を複数の画像を利用して補正する際に必要な補正用記憶領域を確保した記憶手段と、
静止画として指定された対象画像のサイズが前記判定サイズ以下であるか否かを判定するサイズ判定手段と、
静止画として指定された対象画像と複数枚の画像を利用して補正を行う際に用いる第１補正用画像との複数の画像を前記動画から抽出可能な画像抽出手段と、
前記判定結果が前記判定サイズ以下であるときには、前記静止画として指定された対象画像と前記第１補正用画像との複数の画像を前記画像抽出手段によって抽出し、該複数の画像を利用して補正する第１補正を実行して前記静止画を生成し、前記判定結果が前記判定サイズを超えるときには、前記静止画として指定された対象画像のみを前記画像抽出手段によって抽出し、該抽出した対象画像を補正する第２補正を実行して前記静止画を生成する静止画生成手段と、
を備えたものである。

この画像処理装置では、所定の判定サイズの対象画像を複数の画像を利用して補正する際に必要な補正用記憶領域を確保し、静止画として指定された対象画像のサイズが判定サイズ以下であるか否かを判定し、その判定結果が判定サイズ以下であるときには、静止画として指定された対象画像と第１補正用画像との複数の画像を画像抽出手段によって抽出し、その複数の画像を利用して補正する第１補正を実行して静止画を生成し、その判定結果が判定サイズを超えるときには、静止画として指定された対象画像のみを画像抽出手段によって抽出し、該抽出した対象画像を補正する第２補正を実行して前記静止画を生成する。このように、対象画像のサイズが判定サイズを超えているとき、即ち、画素数が比較的大きな対象画像に対しては対象画像のみに第２補正を実行して画質の向上を図り、対象画像のサイズが判定サイズ以下のとき、即ち、画素数が比較的小さくより大きな補正が必要な対象画像に対しては、複数の画像を利用して対象画像に第１補正を実行してより高い画質の向上を図るのである。したがって、動画に含まれる画像から、より画質の高い静止画を限られた記憶容量を利用して生成することができる。ここで、「判定サイズ」は、第１補正を施すことによる画質向上の効果をユーザが実感できるサイズのうちの任意のサイズに経験的に設定されるものとしてもよい。例えば、その効果をユーザが実感できるサイズのうちの最大のサイズに設定されるものとしてもよい。

本発明の画像処理装置において、前記静止画生成手段は、前記判定結果が前記判定サイズ以下であるときに前記静止画として指定された対象画像の複数の画素の中から注目画素を設定し、該設定した注目画素を含み他の画素の情報に基づいて補正される補正対象としての補正対象領域を前記対象画像の一部分に対して設定すると共に、該補正対象領域よりも大きな領域であり該補正対象領域を補正するのに用いる補正用領域を前記対象画像の一部分及び前記第１補正用画像の一部分に対して設定する領域設定手段と、前記設定した対象画像又は第１補正用画像の補正用領域と前記設定された対象画像の補正対象領域との類似度を、該補正用領域のサイズと該補正対象領域のサイズとを合わせた状態で算出し該算出した類似度に基づいて該補正対象領域を該補正用領域によって補正可能であるか否かを判定する補正判定手段と、前記判定結果が前記補正対象領域を前記補正用領域によって補正可能であるときには、該補正用領域を用いて前記補正対象領域を補正する前記第１補正を実行する補正実行手段と、を備えているものとしてもよい。こうすれば、動画に含まれる複数の画像を用いると共に、画像の一領域を用い類似度に基づいてこの対象画像の一領域を補正することにより静止画を生成するから、動画に含まれる画像から、より画質の高い静止画を生成することができる。このとき、前記静止画生成手段は、前記設定された注目画素が所定のエッジ領域にあるか否かを判定するエッジ判定手段、を備えており、前記補正実行手段は、前記判定結果が前記補正対象領域を前記補正用領域によって補正可能であると共に前記設定された注目画素が前記エッジ領域にあるときには、該補正用領域を用いて前記補正対象領域を補正するものとしてもよい。こうすれば、補正効果の高いエッジ領域について補正用領域を用いて補正するため、一層画質の高い静止画を生成することができる。ここで、「所定のエッジ領域」とは、画像のエッジのみの領域としてもよいし、画像のエッジに隣接した所定範囲まで含む領域としてもよい。このとき、前記静止画生成手段は、前記設定された注目画素が前記エッジ領域にないときには、前記対象画像を用いてノイズ除去処理により該対象画像の前記注目画素を補正することにより前記静止画を生成するものとしてもよい。こうすれば、注目画素がエッジ領域にないときには、ノイズ除去処理を行うため、比較的簡便な処理で補正を行うことにより補正処理の負荷を低減することができる。

本発明の画像処理装置において、前記静止画生成手段は、シャープネス処理及びノイズ除去処理のうち少なくとも一方を前記第２補正として実行するものとしてもよい。こうすれば、シャープネス処理やノイズ除去処理によって、より画質の高い静止画を生成することができる。

本発明の画像処理装置において、前記サイズ判定手段は、前記記憶手段に前記補正用記憶領域外の空き領域があるときには、該補正用記憶領域と該空き領域とにより前記判定サイズを設定し、静止画として指定された対象画像のサイズが該設定された判定サイズ以下であるか否かを判定するものとしてもよい。こうすれば、空き領域を利用することによってよりサイズの大きい対象画像であっても複数の画像を用いた補正を行ってより高画質な静止画を生成することができる。

なお、本発明の画像処理装置において、前記画像抽出手段は、前記複数の画像を抽出するに際して、前記対象画像と、該対象画像の前後にある画像の少なくとも一方と、を抽出するものとしてもよい。こうすれば、対象画像により近い第１補正用画像を利用して対象画像を補正するため、静止画の画質を向上しやすい。このとき、対象画像と該対象画像の直後の画像を抽出するものとしてもよいし、対象画像と該対象画像の直前及び直後の画像を抽出するものとしてもよい。

また、本発明の画像処理装置において、前記領域設定手段は、前記対象画像に対して前記補正用領域を設定するに際して、前記補正対象領域を含む該対象画像の領域を前記補正用領域として設定し、前記第１補正用画像に対して前記補正用領域を設定するに際して、前記対象画像の補正対象領域に相当する前記第１補正用画像の補正対象領域を含む領域を前記補正用領域として設定するものとしてもよい。こうすれば、より補正対象領域に近い領域に補正用領域が設定されるから、補正対象領域と補正用領域との類似度を高めやすく、ひいては画質の高い静止画を生成しやすい。

本発明の印刷装置は、上述したいずれかに記載の画像処理装置と、前記画像処理装置によって生成された静止画を印刷媒体へ印刷処理する印刷実行手段と、を備えたものである。印刷装置は、動画に含まれる静止画を印刷することが多く、より画質の高い静止画を必要とすることから、本発明を適用する意義が高い。

本発明の画像処理方法は、
所定の判定サイズの対象画像を複数の画像を利用して補正する際に必要な補正用記憶領域を確保した記憶手段と、静止画として指定された対象画像と複数枚の画像を利用して補正を行う際に用いる第１補正用画像との複数の画像を前記動画から抽出可能な画像抽出手段と、を備え、複数の画像を含む動画から静止画を生成する画像処理装置を利用した画像処理方法であって、
（ａ）静止画として指定された対象画像のサイズが前記判定サイズ以下であるか否かを判定するステップと、
（ｂ）前記ステップ（ａ）での判定結果が前記判定サイズ以下であるときには、前記静止画として指定された対象画像と前記第１補正用画像との複数の画像を前記画像抽出手段によって抽出し、該複数の画像を利用して補正する第１補正を実行して前記静止画を生成し、前記判定結果が前記判定サイズを超えるときには、前記静止画として指定された対象画像のみを前記画像抽出手段によって抽出し、該抽出した対象画像を補正する第２補正を実行して前記静止画を生成するステップと、
を含むものである。

この画像処理方法では、所定の判定サイズの対象画像を複数の画像を利用して補正する際に必要な補正用記憶領域を確保し、静止画として指定された対象画像のサイズが判定サイズ以下であるか否かを判定し、その判定結果が判定サイズ以下であるときには、静止画として指定された対象画像と第１補正用画像との複数の画像を画像抽出手段によって抽出し、その複数の画像を利用して補正する第１補正を実行して静止画を生成し、その判定結果が判定サイズを超えるときには、静止画として指定された対象画像のみを前記画像抽出手段によって抽出し、該抽出した対象画像を補正する第２補正を実行して静止画を生成する。このように、対象画像のサイズが判定サイズを超えているとき、即ち、画素数が比較的大きな対象画像に対しては対象画像のみに第２補正を実行して画質の向上を図り、対象画像のサイズが判定サイズ以下のとき、即ち、画素数が比較的小さくより大きな補正が必要な対象画像に対しては、複数の画像を利用して対象画像に第１補正を実行してより高い画質の向上を図るのである。したがって、動画に含まれる画像から、より画質の高い静止画を限られた記憶容量を利用して生成することができる。なお、画像処理方法において、上述したいずれかの本発明の画像処理装置の機能を実現するようなステップを追加してもよい。

次に、本発明を実施するための最良の形態を図面を用いて説明する。図１は、本発明を具現化した一実施形態である印刷システム１０の構成の概略を示す構成図である。本実施形態の印刷システム１０は、図１に示すように、動画から静止画を生成して印刷を実行するプリンタ２０と、動画を撮影し撮影した動画をプリンタ２０へ送信可能なデジタルビデオ４０とを備えている。

プリンタ２０は、装置全体の制御を司るコントローラ２１と、携帯用の記憶媒体であるメモリカード１２をスロット２５ａに装着・取外し可能であるリーダライタ２５と、記録紙Ｓへ画像を印刷処理する印刷機構２６と、接続された外部機器との間で情報の入出力が可能なＵＳＢ−インタフェース（ＵＳＢ−Ｉ／Ｆ）２８と、ユーザへ情報を表示可能でありユーザの指示を入力可能である操作パネル３０と、を備えている。コントローラ２１やリーダライタ２５、印刷機構２６、ＵＳＢ−Ｉ／Ｆ２８、操作パネル３０は、バス２９によって電気的に接続されている。コントローラ２１は、ＣＰＵ２２を中心とするマイクロプロセッサとして構成されており、情報を記憶消去可能であり各種処理プログラムを記憶したフラッシュＲＯＭ２３と、一時的にデータを記憶するＲＡＭ２４とを備えている。印刷機構２６は、図示しないが、各色のインクに圧力をかけ、この加圧されたインクを記録紙Ｓに吐出して印刷処理を実行するインクジェット方式の機構である。なお、インクへ圧力をかける機構は、圧電素子の変形によるものとしてもよいしヒータの熱による気泡の発生によるものとしてもよい。操作パネル３０は、ユーザがプリンタ２０に対して各種の指示を入力するためのデバイスであり、各種の指示に応じた文字や画像が表示されるカラー液晶パネルにより構成された表示部３２や、各種操作を行う操作部３４が設けられている。操作部３４には、ユーザが処理や文字等を選択するカーソルなどを移動させるときに押下されるカーソルキー３４ａや処理選択などを決定するときに押下される決定キー３４ｂなどが配置されている。メモリカード１２は、データの書き込み及び消去可能な不揮発性のメモリであり、デジタルビデオ４０などの撮影装置により撮影された複数の画像ファイルなどが保存されている。

デジタルビデオ４０は、各種制御を実行するＣＰＵ４２と、各種処理プログラムを記憶したＲＯＭ４３と、一時的にデータを記憶するＲＡＭ４４と、大容量の記憶メモリとしてのＨＤＤ４５と、図示しないメモリカードを装着し情報を読出・書込するリーダライタ４６と、入射した光を撮像素子により電気信号に変換し動画ファイルや静止画ファイルを生成する撮像ユニット４７と、接続された外部機器との間で情報の入出力が可能なＵＳＢ−Ｉ／Ｆ４８と、ユーザへ情報を表示可能でありユーザの指示を入力可能である操作パネル４１と、を備えている。ＨＤＤ４５には、撮像ユニット４７で撮影された動画データや静止画データが記憶されている。撮像ユニット４７は、撮像素子（例えばＣＣＤやＣＭＯＳなど）により入射した光をレッド「Ｒ」、グリーン「Ｇ」、ブルー「Ｂ」の各色に分解して得られた電気信号を入力し、入力したデータに周知の画像処理（例えばホワイトバランス処理やガンマ処理など）を施し、動画や静止画の画像データを生成可能に構成されている。

次に、こうして構成された本実施形態の印刷システム１０の動作、特にデジタルビデオ４０のＨＤＤ４５に保存されている動画データから静止画を生成するプリンタ２０の動作について説明する。まず、ユーザは、デジタルビデオ４０とプリンタ２０とをＵＳＢケーブル４０ａで接続し、プリンタ２０の操作パネル３０を操作し、表示部３２に表示された図示しない処理選択画面で動画からの静止画生成処理を選択し所望の動画データを選択する。すると、ＣＰＵ２２は、デジタルビデオ４０のＨＤＤ４５に保存されている、目的とする静止画が含まれた動画データをＵＳＢケーブル４０ａを介して入力し表示部３２上に再生する。ユーザは、表示部３２に表示されている画像のうち、静止画として欲しい場面で、決定キー３４ｂを押下して生成すべき静止画を指定する。すると、ＣＰＵ２２は、指定された動画データのフレーム（画像）（以下「対象フレーム」という）から静止画を生成すべく以下の処理を実行する。図２は、プリンタ２０のＣＰＵ２２により実行される静止画生成処理ルーチンの一例を示すフローチャート、図３はＲＡＭ２４の記憶領域についての説明図である。この静止画生成処理ルーチンは、フラッシュＲＯＭ２３に記憶され、操作パネル３０をユーザが操作して表示部３２に表示されたフレームが静止画に指定されたあと実行される。

このルーチンを実行すると、ＣＰＵ２２は、まず、ＲＡＭ２４に空き領域があるか否かを判定する（ステップＳ１００）。空き領域がないときには、判定サイズＳｒｅｆを初期サイズＳｒｅｆｄに設定する（ステップＳ１１０）。一方、空き領域があるときには、空き領域も考慮して判定サイズＳｒｅｆを設定する（ステップＳ１２０）。ここで、ＲＡＭ２４の記憶領域と判定サイズＳｒｅｆについて説明する。このプリンタ２０では、詳しくは後述するが、対象フレームのみでこの対象フレームを補正して画質を高める補正処理と、対象フレームと対象フレーム以外のフレーム（以下、合成用フレームと称する）との複数のフレームを用いてこの対象フレームを補正して画質を高める補正処理（ここでは、フラクタル補間処理）とを切り替えて行うよう設定されている。この判定サイズＳｒｅｆは、複数のフレームを用いて対象フレームを補正可能か否かを判定する閾値として動的に設定されるものである。図３（ａ）に示すように、ＲＡＭ２４の記憶領域は、静止画として指定された対象フレームを補正するのに確保された領域である補正用記憶領域９２と、実行中のプログラムが展開されたり印刷バッファなどによって確保されたりしている使用中領域９４とからなっている。この補正用記憶領域９２は、対象フレームを複数のフレームを利用して補正する処理、詳しくは後述するフラクタル補間処理を実行する際には、対象フレームを記憶する対象フレーム記憶領域９２ａ及び複数の合成用フレームや合成後のフレームを格納する合成フレーム等記憶領域９２ｂとして利用される。ここでは、対象フレームを複数のフレームで補正したときの画質を経験的に求めることにより、対象フレームと２枚の合成用フレームとを用いてこの対象フレームを補正するよう設定されている。したがって、初期サイズＳｒｅｆｄは、補正用記憶領域９２の記憶容量から生成する静止画の記憶に要する記憶容量と補正の作業用の記憶容量とを減じ、対象フレームと合成用フレームの合計枚数（３枚）で割ることによりフレーム１枚あたりに割り当て可能な最大の記憶容量として算出された値、即ち図３（ａ）の対象フレーム記憶領域９２ａのサイズに設定されている。そして、使用中領域９４に空き容量があるときには、図３（ｂ）に示すように、ＲＡＭ２４の記憶領域は、補正用記憶領域９２と、使用中領域９４と、空き領域９６とからなっている。この場合は、補正用記憶領域９２と空き領域９６を加えた領域を対象フレームの補正に用いる領域とし、上記の初期サイズＳｒｅｆｄの算出手順において、補正用記憶領域９２の記憶容量の代わりに補正用記憶領域９２の記憶容量と空き領域９６の記憶容量とを加算した記憶容量を用いるものとした手順により、判定サイズＳｒｅｆを動的に定めるものとした。よって、空き領域がある場合には、初期サイズＳｒｅｆｄより大きな判定サイズＳｒｅｆが設定され、より大きなサイズの対象フレームであっても複数のフレームを用いて補正することができるようになる。続いて、対象フレームのサイズＳが判定サイズＳｒｅｆ以下か否かを判定する（ステップＳ１３０）。サイズＳが判定サイズＳｒｅｆ以下のときには、３枚の画像を用いて大きく補正する必要があるため、対象フレームを含む３枚の画像を用いてフラクタル補間処理を行い静止画を生成し（ステップＳ１４０）、本ルーチンを終了する。一方、サイズＳが判定サイズＳｒｅｆを超えているときには、３枚のフレームを利用して補正するだけの記憶容量がないため、対象フレームのみを用いその対象フレームにシャープネス処理とノイズ除去処理を施して静止画を生成し（ステップＳ１５０）、本ルーチンを終了する。なお、フラクタル補間処理に必要な記憶容量は対象フレームのみ用いて補正するのに必要な記憶容量の数倍以上（例えば４倍）であり、実際上、フラクタル補間処理を行えない場合であっても対象フレームのみ用いて補正を行うことが可能である。

このように、空き領域９６に応じて判定サイズＳｒｅｆを設定し、サイズＳが判定サイズＳｒｅｆ以下の場合に複数フレームを利用して補正し、判定サイズＳｒｅｆを超える場合に対象フレームのみ利用して補正することで静止画を生成するのである。よって、空き領域がある場合には、初期サイズＳｒｅｆｄを超える対象フレームであってもその空き領域に応じて複数のフレームを利用しより高画質な静止画を生成するのである。

ここで、補間する領域をその領域よりも大きく類似度の高い領域で補間するフラクタル補間処理について説明する。図４は、フラクタル補間処理ルーチンの一例を示すフローチャートである。このフラクタル補間処理ルーチンを実行すると、ＣＰＵ２２は、静止画に指定された対象フレームと、この対象フレームの補間に用いる合成用フレームとして、対象フレームの直前及び直後のフレームとを読み出し、ＲＡＭ２４に記憶する（ステップＳ２００）。図５は、対象フレームと合成用フレームの説明図である。ここでは、対象フレームの補正に適した合成用フレームの枚数を経験的に求め、図５に示すように、対象フレーム５２のフレーム番号ＦｎをＦ０としたとき、フレーム番号Ｆ−１である前フレーム５４と、フレーム番号Ｆ１である次フレーム５６との２つの合成用フレームを用いるものとした。次に、ＣＰＵ２２は、対象フレーム５２の補間を行う画素としての注目画素を設定する（ステップＳ２１０）。ここでは、対象フレーム５２の左上の画素を初期位置（ｘ、ｙ）とし、処理を繰り返すたびに右側へ向かって移動させ右端に達すると次列の左端の画素から右端へ移動させるよう順に注目画素が設定されるものとした。

続いて、ＣＰＵ２２は、注目画素を含むエッジ検査用領域内にエッジがあるか否かを判定する（ステップＳ２２０）。図６は、エッジ領域の説明図である。ここでは、エッジとエッジから所定範囲内（例えば４×４の画素範囲など）のエッジ近傍の領域をエッジ領域とし、注目画素５２ａがこのエッジ領域に含まれているときには、複数フレームによるフラクタル補間を実行するものとした。こうすれば、エッジのみにフラクタル補間を施すのに比して効果的に画質を向上することができる。このエッジ検査用領域５１の中にエッジがあるか否かの判定は、垂直方向、水平方向、傾斜方向のエッジを検出するエッジ検出フィルタの各々を対象領域にかけることにより行うものとした。なお、このエッジ検査用領域５１は、補間対象領域５２ｂ（図７参照）よりも大きい領域に設定されている。

ここで、対象フレーム５２の補間（合成）について説明する。本実施形態では、注目画素が画像のエッジ領域に含まれているときには、注目画素を含む補正対象領域に対してフラクタル補間を実行し、注目画素が画像のエッジ領域に含まれていないときには、注目画素に対してノイズ除去処理を実行するものとした。一般に、自然形状などは、局所的な領域（補間対象領域と称する）に含まれる画像の形状がそれに相似したもっと大きな領域（アフィン領域と称する）に含まれる画像の形状の縮小になっている、即ちフラクタル性がある。ここでは、アフィン領域に含まれる画像の形状を補間対象領域に合うよう縮小し、縮小した画像の形状が補間対象領域に含まれる画像の形状と相似するときには、補間対象領域の画像をこの縮小した画像に置き換えるような概念の処理を行うことにより、補間対象領域をより自然な形で高解像度化を図るという補間方法をフラクタル補間と呼ぶものとする。

さて、ステップＳ２２０で、注目画素を含むエッジ検査用領域内にエッジがないときには、注目画素に対してノイズ除去処理を実行する（ステップＳ２３０）。このノイズ除去処理は、注目画素とこの注目画素の周囲にある画素の値の平均を算出するものとした。ここで、算出した平均の画素値は、元画像が記憶されているＲＡＭ２４の領域とは異なる領域に記憶するものとした（図６の「Ｒｎ１」参照）。このように、注目画素５２ａがエッジ領域外であるときには、対象フレーム５２の一部領域のみを用いて注目画素５２ａを補うのである。

一方、ステップＳ２２０で、注目画素を含むエッジ検査用領域内にエッジがあるときには、注目画素５２ａを含む補間対象領域５２ｂ（図７参照）に対してフラクタル補間処理を実行する。具体的には、図７に示すように、注目画素５２ａを含む補間対象領域５２ｂを設定すると共に、この補間対象領域５２ｂを補正するのに用いる補間対象領域５２ｂよりも大きな領域であるアフィン領域５２ｃを設定する（ステップＳ２４０）。図７は、フラクタル補間の説明図である。補間対象領域５２ｂは、注目画素５２ａの周りの所定画素数（例えば３×３や４×４など）の領域に定めるものとしてもよい。また、アフィン領域５２ｃは、補間対象領域５２ｂの所定数倍（例えば２倍や２．５倍など）の領域に定めるものとしてもよい。ここでは、補間対象領域５２ｂが３×３の画素領域に定められ、アフィン領域５２ｃが補間対象領域５２ｂの４倍の６×６の画素領域に定められる。また、画像合成処理の初めでは、アフィン領域５２ｃは、対象フレーム５２の注目画素５２ａ及び補間対象領域５２ｂを含む領域に設定される。

次に、ＣＰＵ２２は、類似度ＳＭＬの閾値ＳＭＬｒｅｆを設定する（ステップＳ２５０）。この類似度ＳＭＬは、補間対象領域５２ｂの領域をアフィン領域５２ｃを縮小した領域に置き換えるような概念の処理を実行するか否か、即ちフラクタル補間を実行するか否かを判定するのに用いられる値である。この閾値ＳＭＬｒｅｆは、注目画素５２ａの補間を実行すると画質が元画像よりも向上すると経験的に求められた値にその初期値が設定されるものとした。続いて、ＣＰＵ２２は、設定したアフィン領域５２ｃの各画素値を読み出し（ステップＳ２６０）、アフィン領域５２ｃを補間対象領域５２ｂのサイズに合うように縮小することにより補間対象領域５２ｂの各画素値を補間するのに用いる補間用画素値を取得する（ステップＳ２７０）。続いて、注目画素５２ａを含む補間対象領域５２ｂに対する、縮小したアフィン領域５２ｃの各画素値（補間用画素値）との相似性を表す類似度ＳＭＬを計算する（ステップＳ２８０）。ここでは、補間対象領域５２ｂの各画素値と各補間用画素値との差の二乗平均を求め、この差の二乗平均の総和が小さいほど大きい値に、即ち相似性が高いほど大きい値になるように類似度ＳＭＬを計算するものとした。

続いて、ＣＰＵ２２は、計算した類似度ＳＭＬが閾値ＳＭＬｒｅｆを超えるか否か、即ち補間対象領域５２ｂの画像形状と縮小したアフィン領域５２ｃの画像形状との間の類似度が高いか否かを判定する（ステップＳ２９０）。類似度ＳＭＬが閾値ＳＭＬｒｅｆを超えるときには、補間対象領域５２ｂの画像形状と縮小したアフィン領域５２ｃの画像形状とが相似する形状であるものとし、ＲＡＭ２４の所定領域に各補間用画素値を仮記憶し（ステップＳ３００）、閾値ＳＭＬｒｅｆに計算した類似度ＳＭＬをセットする（ステップＳ３１０）。なお、補間対象領域５２ｂに最も近似する補間用画素値を用いて補間対象領域５２ｂを補間するよう設定されているため、ここでは、閾値ＳＭＬｒｅｆをより類似する値である類似度ＳＭＬに変更し、補間用画素値はより類似するものに上書きしていくものとした。

ステップＳ３１０のあと、またはステップＳ２９０で類似度ＳＭＬが閾値ＳＭＬｒｅｆを超えないあと、即ち類似度が低くアフィン領域５２ｃを補間対象領域５２ｂの補間用画素として採用しなかったあと、ＣＰＵ２２は、アフィン領域５２ｃの下記の全てのアフィン変換が終了したか否かを判定する（ステップＳ３２０）。図８は、アフィン領域５２ｃのアフィン変換の概要の一例を示す説明図である。ここでは、アフィン領域５２ｃに様々なアフィン変換を施すことにより、補間対象領域５２ｂに含まれる画像形状に最も相似する画像を求めるものとした。本実施形態では、アフィン領域５２ｃを所定範囲だけ上下左右に平行移動したり（図８（ａ））、アフィン領域５２ｃを所定角度だけ回転したり（図８（ｂ））、アフィン領域５２ｃを横方向に引き延ばしたり（図８（ｃ））、アフィン領域５２ｃを縦方向に引き延ばしたり（図８（ｄ））、などの処理を順に行うよう設定されている。このように、様々なアフィン領域５２ｃを設定し、補間対象領域５２ｂに最適な補間用画素を検索するのである。さて、アフィン領域５２ｃの全てのアフィン変換が終了していないときには、上述したような順番に従って次のアフィン変換を施したアフィン領域５２ｃを設定し（ステップＳ３３０）、ステップＳ２６０以降の処理、即ち、シフトしたアフィン領域５２ｃが補間対象領域５２ｂに、より類似するか否かを判定する処理を繰り返す。

一方、アフィン領域５２ｃの全てのアフィン変換が終了したときには、ＣＰＵ２２は、類似度ＳＭＬの判定を行っていないフレームがあるか否かを判定する（ステップＳ３４０）。類似度ＳＭＬの判定を行っていないフレームがあるときには、ＣＰＵ２２は、例えば対象フレーム５２から前フレーム５４へなど、フラクタル補間に用いる注目フレームを変更すると共に、変更したフレームのアフィン領域を設定し（ステップＳ３５０）、ステップＳ２６０以降の処理、即ち、前フレーム５４のアフィン領域５４ｃや次フレーム５６のアフィン領域５６ｃが補間対象領域５２ｂに、より類似するか否かを判定する処理を繰り返す。例えば、図９に示すように、注目フレームを前フレーム５４へ変更した場合、対象フレーム５２の注目画素５２ａの座標と同じ前フレーム５４の座標を仮注目画素５４ａとし、上述と同様に、この仮注目画素５４ａを含むアフィン領域５４ｃを設定する。つまり、注目画素５２ａや補間対象領域５２ｂを実質的に含む画素範囲に、アフィン領域を設定するのである。

ステップＳ３４０で類似度ＳＭＬの判定を行っていないフレームがないとき（すべてのフレームを判定したとき）には、ＣＰＵ２２は、現在ＲＡＭ２４の所定領域に仮記憶されている補間用画素値、即ち、設定されている補間対象領域５２ｂに最も近似する補間用画素値をＲＡＭ２４の合成フレーム等記憶領域９２ａに設けられたシート上の対応する座標に各々加算することによりＲＡＭ２４へ記憶する（ステップＳ３６０）。例えば、注目画素５２ａを隣りの画素に変更したときには、補間対象領域５２ｂが前回の領域と重なるが、ここでは、補正用画素値を積算していき、積算した数で最終的に除算することによりフラクタル補間の値を平均化するものとした。なお、補間用画素値が仮記憶されていないときには、元画像の補間対象領域５２ｂをこのシート上に記憶するものとした。

続いて、ＣＰＵ２２は、すべての注目画素５２ａを終了したか否かを判定し（ステップＳ３７０）、すべての注目画素５２ａを終了していないときには、ステップＳ２１０で次の注目画素５２ａを設定し、ステップＳ２２０以降の処理を繰り返す。そして、すべての注目画素５２ａを終了したときには、各画素値を積算した数で除算して平均化し（ステップＳ３８０）、エッジ領域のスムージング処理などを施して静止画を生成し、生成した静止画をメモリカード１２など予め設定された保存先に保存し（ステップＳ３９０）、このルーチンを終了する。図１０は、補間処理を施す前後の静止画の画質の説明図である。エッジがぼけるなどした動画データの元画像（図１０（ａ））を含む複数フレームを用い、この複数フレーム全体のズレを補正した状態で各フレームの画素値を平均化する方法で静止画を合成すると、被写体自体の動きがあまり加味されず、図１０（ｃ）に示すように、エッジがぼやけた画像となってしまう。これを更に修正しようとシャープネス処理などを施すと、ノイズまで強調されてしまい、画質を向上させることはできるものの十分ではない場合があった。本実施形態では、動画データの元画像（図１０（ａ））を含む複数フレームを用いたフラクタル補間を実行することにより、シャープネス処理やガンマ処理などを施すことなく十分に画質を向上させ、くっきりしたエッジの画像とすることができる（図１０（ｂ））。なお、静止画を生成したあと、印刷機構２６によりこの静止画の印刷処理などを行ってもよい。

ここで、本実施形態の構成要素と本発明の構成要素との対応関係を明らかにする。本実施形態のプリンタ２０が本発明の画像処理装置に相当し、コントローラ２１がサイズ判定手段、画像抽出手段、静止画生成手段、領域設定手段、補正判定手段、補正実行手段及びエッジ判定手段に相当し、ＲＡＭ２４が記憶手段に相当し、印刷機構２６が印刷実行手段に相当し、図４に示すフラクタル補間処理が第１補正に相当し、図２の静止画作成処理のステップＳ１４０の処理が第２補正処理に相当する。また、対象フレーム５２が対象画像に相当し、合成用フレーム、前フレーム５４及び次フレーム５６が第１補正用画像に相当し、補間対象領域５２ｂが補正対象領域に相当し、アフィン領域５２ｃが補正用領域に相当し、記録紙Ｓが印刷媒体に相当する。なお、本実施形態では、プリンタ２０の動作を説明することにより本発明の画像処理方法の一例も明らかにしている。

以上詳述した本実施形態のプリンタ２０によれば、対象フレームのサイズＳが判定サイズＳｒｅｆを超えているとき、即ち、画素数が比較的大きな対象フレームに対しては対象フレームのみにシャープネス処理とノイズ除去処理を実行して画質の向上を図り、対象フレームのサイズＳが判定サイズＳｒｅｆ以下のとき、即ち、画素数が比較的小さくより大きな補正が必要な対象フレームに対しては、対象フレームと合成用フレームを利用して対象フレームにフラクタル補間処理を実行してより高い画質の向上を図るから、動画データに含まれるフレームから、より画質の高い静止画を限られた記憶容量を利用して生成することができる。

また、静止画として指定された対象フレーム５２と合成に用いる合成用フレームとの複数の画像を抽出し、対象フレーム５２の注目画素５２ａを設定し、補正対象としての補間対象領域５２ｂを対象フレーム５２の注目画素５２ａを含む領域に対して設定すると共に、この補間対象領域５２ｂよりも大きな領域でありこの補間対象領域５２ｂを実質的に含むアフィン領域５２ｃ，５４ｃ，５６ｃを対象フレーム５２及び合成用フレームに対して設定し、設定された対象フレーム５２又は合成フレームのアフィン領域５２ｃ，５４ｃ，５６ｃを縮小したものと補間対象領域５２ｂとの類似度ＳＭＬを算出し、この算出した類似度ＳＭＬを用いた判定結果に基づいてアフィン領域５２ｃ，５４ｃ，５６ｃのいずれかを用いて補間対象領域５２ｂをフラクタル補間することにより静止画を生成するから、動画データに含まれる複数のフレームを用いると共に、フレームの一領域を用い類似度ＳＭＬに基づいてこの対象フレーム５２の一領域をフラクタル補間することにより静止画を生成する。したがって、動画データに含まれる画像から、より画質の高い静止画を生成することができる。更に、注目画素５２ａを実質的に含む領域にアフィン領域５２ｃ，５４ｃ、５６ｃを設定するから、補間対象領域５２ｂとアフィン領域５２ｃ，５４ｃ、５６ｃとの類似度を高めやすく、ひいては画質の高い静止画を生成しやすい。更にまた、注目画素５２ａがエッジ領域にあるときにフラクタル補間を実行するため、補正効果の高いエッジ領域について補正用領域を用いて補正するため、一層画質の高い静止画を生成することができる。そしてまた、注目画素５２ａがエッジ領域にないときには対象フレーム５２のみを用いてノイズ除去処理を実行するため、比較的簡便な処理で補間を行うことにより補間処理の負荷を低減することができる。そして更に、補正用領域を縮小して得られた各補正用画素値を加算して各画素の画素値とするため、比較的均一な状態でエッジ領域を高画質にすることができる。そして更にまた、対象フレームと異なるＲＡＭ２４の領域に補間結果を記憶するため、対象フレームをあとで利用することができる。また、対象フレーム５２とこの対象フレーム５２の前後にある画像を抽出するため、対象フレーム５２により近い合成用フレームを利用してフラクタル補間し、静止画の画質を向上しやすい。更に、対象フレームのサイズが判定サイズを超えていたときには、シャープネス処理及びノイズ除去処理とを実行するから、シャープネス処理やノイズ除去処理によって、より画質の高い静止画を生成することができる。更にまた、メモリ２４に空き領域があるときには、補正用記憶領域と空き領域とにより実行用判定サイズを設定し、静止画として指定された対象フレームのサイズが設定された実行用判定サイズ以下であるか否かを判定するから、空き領域を利用することによってよりサイズの大きい対象フレームであっても複数の画像を用いた補正を行ってより高画質な静止画を生成することができる。そしてまた、プリンタ２０は、動画に含まれる静止画を印刷することが多く、より画質の高い静止画を必要とすることから、本発明を適用する意義が高い。

なお、本発明は上述した実施形態に何ら限定されることはなく、本発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。

例えば、上述した実施形態では、対象フレームのサイズＳが判定サイズＳｒｅｆ以下のときは、エッジ領域のみにフラクタル補間を行いそれ以外の領域にシャープネス処理とノイズ除去処理を行う補正を実行して静止画を生成するものとしたが、対象フレームを含む複数のフレームを利用して静止画を生成するものであれば如何なる補間や補正を行って静止画を生成するものとしてもよい。例えば、エッジ領域か否かに拘らず対象フレームの全ての画素についてフラクタル補間処理を行うものとしてもよい。あるいは、フラクタル補間を行わず、複数のフレーム全体同士の位置関係を各フレームの画像の内容（例えばエッジ部分）に基づいて補正し、元のフレームの画素数よりも多い画素数の画像を補間しながら合成したあとシャープネス処理やノイズ除去処理を施すことにより高画素数の静止画を作成するものとしてもよい。この合成処理については、例えば特開２００５−２８４６３６号公報に詳しく記載されている。これらの場合でも動画データに含まれるフレームから、より画質の高い静止画を限られた記憶容量を利用して生成することができる。

上述した実施形態では、判定サイズＳｒｅｆを空き領域９６に応じて動的に設定するものとしたが、空き領域９６によらず初期サイズＳｒｅｆｄに設定するものとしてもよい。このとき、図２の静止画処理ルーチンにおいて、このルーチンの開始後、ステップＳ１００の処理を行うことなくステップＳ１１０の処理を行うものとする。こうした場合でも、動画データに含まれるフレームから、より画質の高い静止画を限られた記憶容量を利用して生成することができる。このとき、例えば、ＲＡＭ２４には補正用記憶領域しかなく、ＲＡＭ２４とは別に印刷などの処理を行うＲＡＭを備えるものとしてもよい。

上述した実施形態では、補正の際、３枚のフレームを読み出すとき、対象フレームの前後１枚を含む３枚のフレームを読み出すものとしたが、対象フレームが含まれていれば、如何なるフレームを読み出すものとしてもよい。例えば、対象フレームの後の１枚目と２枚目のフレームを含む３枚のフレームを読み出すものとしてもよいし、対象フレームの前の１枚目と２枚目のフレームを含む３枚のフレームを読み出すものとしてもよいし、対象フレームの前後それぞれ２枚目のフレームを含む３枚のフレームを読み出すものとしてもよい。また、対象フレームと前後どちらかのフレームを含む２枚のフレームを読み出すものとしてもよい。これらの場合でも動画データに含まれるフレームから、より画質の高い静止画を限られた記憶容量を利用して生成することができる。なお、ＲＡＭ２４に予め確保しておく補正用記憶領域は読み出すフレームの枚数に応じたものとする。

上述した実施形態では、対象フレームのサイズＳが判定サイズＳｒｅｆを超えるときはシャープネス処理及びノイズ除去処理を行うものとしたが、対象フレームのみを用いて行う補正処理であれば如何なる補正処理であってもよく、例えば、シャープネス処理及びノイズ除去処理のどちらか一方の処理のみ行うものとしてもよい。

上述した実施形態では、エッジ領域はエッジ近傍の領域を含むものとしたが、エッジ近傍の領域を含まないものとしてもよい。

上述した実施形態では、アフィン領域５２ｃのアフィン変換として、アフィン領域５２ｃを、所定範囲だけ上下左右に平行移動する処理、所定角度だけ回転する処理、横方向に引き延ばす処理、縦方向に引き延ばす処理などを行うものとしたが、これに限らず菱形に変形させる処理などを加えてもよいし、上記いずれかの処理の１以上を省略するものとしてもよい。こうしても、動画に含まれる画像から、より画質の高い静止画を生成することができる。

上述した実施形態では、エッジ領域以外ではノイズ除去処理として周囲の画素の平均を取るものとしたが、エッジ領域以外ではノイズ除去フィルタをかける処理や、スムージングをかける処理などを実行するものとしてもよい。あるいはエッジ領域以外では何も処理しないものとしてもよい。

上述した実施形態では、アフィン領域５２ｃを補間対象領域５２ｂのサイズに合うように縮小して類似度ＳＭＬを算出するものとしたが、アフィン領域５２ｃを縮小せずに類似度ＳＭＬを算出するものとしてもよい。また、上述した実施形態では、アフィン領域５２ｃを縮小して補間対象領域５２ｂに置き換えるような概念で補間処理を実行し静止画を生成するものとしたが、アフィン領域５２ｃを縮小せずに、アフィン領域５２ｃのサイズに合わせて補間処理を実行し静止画を生成するものとしてもよい。

上述した実施形態では、注目画素５２ａが実質的に含まれる領域に補間対象領域５２ｂやアフィン領域５２ｃを設定するものとしたが、例えば前フレーム５４や次フレーム５６など、注目画素５２ａが実質的に含まれないアフィン領域を設定してもよい。こうしても、類似度ＳＭＬが高いものを用いてフラクタル補間を実行するから、動画に含まれる画像から、より画質の高い静止画を生成することはできる。

上述した実施形態では、動画データは、圧縮処理が施されることなくＨＤＤ４５に保存されているものとしたが、所定の圧縮形式（例えば、ＭＰＥＧ−２）への圧縮処理が施されて保存されているものとしてもよい。このとき、対象フレーム等をＨＤＤ４５から読み出すときに対象フレーム等を解凍する処理を併せて実行するものとする。

上述した実施形態では、生成する静止画の元となる動画データはＨＤＤ４５に保存されているものとしたが、例えばメモリカード１２など、如何なる記憶媒体に保存されているものとしてもよい。

上述した実施形態では、本発明をプリンタ２０に適用することについて説明したが、限られたＲＡＭを用いて動画データから静止画像を生成するものであれば、例えば、デジタルビデオ４０やマルチメディアストレージビューワなど如何なるものに適用してもよい。

印刷システム１０の構成の概略を示す構成図。静止画生成処理ルーチンの一例を示すフローチャート。ＲＡＭ２４の記憶領域の説明図。フラクタル補間処理ルーチンの一例を示すフローチャート。対象フレームと合成用フレームの説明図。エッジ領域の説明図。フラクタル補間の説明図。アフィン領域５２ｃのアフィン変換の概要の一例を示す説明図。フラクタル補間の説明図。補間処理を施す前後の静止画の画質の説明図。

符号の説明

１０印刷システム、１２メモリカード、２０プリンタ、２１コントローラ、２２ＣＰＵ、２３フラッシュＲＯＭ、２４ＲＡＭ、２５リーダライタ、２５ａスロット、２６印刷機構、２８ＵＳＢ−インタフェース（Ｉ／Ｆ）、２９バス、３０操作パネル、３２表示部、３４操作部、３４ａカーソルキー、３４ｂ決定キー、４０デジタルビデオ、４０ａＵＳＢケーブル、４１操作パネル、４２ＣＰＵ、４３ＲＯＭ、４４ＲＡＭ、４５ＨＤＤ、４６リーダライタ、４７撮像ユニット、４８ＵＳＢ−インタフェース（Ｉ／Ｆ）、５１エッジ検査用領域、５２対象フレーム、５２ａ注目画素、５２ｂ補間対象領域、５２ｃ，５４ｃ、５６ｃアフィン領域、５４前フレーム、５４ａ仮注目画素、５６次フレーム、９２補正用記憶領域、９２ａ対象フレーム記憶領域、９２ｂ合成フレーム等記憶領域、９４使用中領域、９６空き領域、Ｓ記録紙。

Claims

複数の画像を含む動画から静止画を生成する画像処理装置であって、
所定の判定サイズの対象画像を複数の画像を利用して補正する際に必要な補正用記憶領域を確保した記憶手段と、
静止画として指定された対象画像のサイズが前記判定サイズ以下であるか否かを判定するサイズ判定手段と、
静止画として指定された対象画像と複数枚の画像を利用して補正を行う際に用いる第１補正用画像との複数の画像を前記動画から抽出可能な画像抽出手段と、
前記判定結果が前記判定サイズ以下であるときには、前記静止画として指定された対象画像と前記第１補正用画像との複数の画像を前記画像抽出手段によって抽出し、該複数の画像を利用して補正する第１補正を実行して前記静止画を生成し、前記判定結果が前記判定サイズを超えるときには、前記静止画として指定された対象画像のみを前記画像抽出手段によって抽出し、該抽出した対象画像を補正する第２補正を実行して前記静止画を生成する静止画生成手段と、
を備えた画像処理装置。
前記静止画生成手段は、
前記判定結果が前記判定サイズ以下であるときに前記静止画として指定された対象画像の複数の画素の中から注目画素を設定し、該設定した注目画素を含み他の画素の情報に基づいて補正される補正対象としての補正対象領域を前記対象画像の一部分に対して設定すると共に、該補正対象領域よりも大きな領域であり該補正対象領域を補正するのに用いる補正用領域を前記対象画像の一部分及び前記第１補正用画像の一部分に対して設定する領域設定手段と、
前記設定した対象画像又は第１補正用画像の補正用領域と前記設定された対象画像の補正対象領域との類似度を、該補正用領域のサイズと該補正対象領域のサイズとを合わせた状態で算出し該算出した類似度に基づいて該補正対象領域を該補正用領域によって補正可能であるか否かを判定する補正判定手段と、
前記判定結果が前記補正対象領域を前記補正用領域によって補正可能であるときには、該補正用領域を用いて前記補正対象領域を補正する前記第１補正を実行する補正実行手段と、
を備えている、請求項１に記載の画像処理装置。
前記静止画生成手段は、前記設定された注目画素が所定のエッジ領域にあるか否かを判定するエッジ判定手段、を備えており、
前記補正実行手段は、前記判定結果が前記補正対象領域を前記補正用領域によって補正可能であると共に前記設定された注目画素が前記エッジ領域にあるときには、該補正用領域を用いて前記補正対象領域を補正する、請求項２に記載の画像処理装置。
前記静止画生成手段は、前記設定された注目画素が前記エッジ領域にないときには、前記対象画像を用いてノイズ除去処理により該対象画像の前記注目画素を補正することにより前記静止画を生成する、請求項３に記載の画像処理装置。
前記静止画生成手段は、シャープネス処理及びノイズ除去処理のうち少なくとも一方を前記第２補正として実行する、請求項１〜４のいずれか１項に記載の画像処理装置。
前記サイズ判定手段は、前記記憶手段に前記補正用記憶領域外の空き領域があるときには、該補正用記憶領域と該空き領域とにより前記判定サイズを設定し、静止画として指定された対象画像のサイズが該設定された判定サイズ以下であるか否かを判定する、請求項１〜５のいずれか１項に記載の画像処理装置。
請求項１〜６のいずれか１項に記載の画像処理装置と、
前記画像処理装置によって生成された静止画を印刷媒体へ印刷処理する印刷実行手段と
、
を備えた印刷装置。
所定の判定サイズの対象画像を複数の画像を利用して補正する際に必要な補正用記憶領域を確保した記憶手段と、静止画として指定された対象画像と複数枚の画像を利用して補正を行う際に用いる第１補正用画像との複数の画像を前記動画から抽出可能な画像抽出手段と、を備え、複数の画像を含む動画から静止画を生成する画像処理装置を利用した画像処理方法であって、
（ａ）静止画として指定された対象画像のサイズが前記判定サイズ以下であるか否かを判定するステップと、
（ｂ）前記ステップ（ａ）での判定結果が前記判定サイズ以下であるときには、前記静止画として指定された対象画像と前記第１補正用画像との複数の画像を前記画像抽出手段によって抽出し、該複数の画像を利用して補正する第１補正を実行して前記静止画を生成し、前記判定結果が前記判定サイズを超えるときには、前記静止画として指定された対象画像のみを前記画像抽出手段によって抽出し、該抽出した対象画像を補正する第２補正を実行して前記静止画を生成するステップと、
を含む画像処理方法。