JP2005284635A - 画像形成装置、画像形成方法及び画像形成プログラム - Google Patents

Abstract

【課題】動画データから高品質な印刷画像を得ることができる画像形成装置を提供する。
【解決手段】画像形成装置は、動画データを構成する複数のフレームＦ１〜Ｆ４を合成して合成画像５０５を生成する。画像形成装置は、複数のフレームＦ１〜Ｆ４に含まれる参照フレームＦ１の画素間に副画素を生成して中間画像５０１を生成し、中間画像５０１と参照フレームＦ１から抽出された局所部分画像５０３により生成されたはめ込み画像５０４とを合成する。このとき、中間画像５０１のはめ込み画像５０４に対応する部分が削除された画像５０２と、はめ込み画像５０４とを合成する。更に、中間画像５０１とはめ込み画像５０４との境界部分５０５ａに平滑化処理を施して境界処理画像５０６を生成する。
【選択図】 図９

Description

本発明は、画像形成装置、画像形成方法及び画像形成プログラムに関するものである。

デジタルカメラで撮像した動画像やDVD-ROM 等のメディアに記憶された動画データはフレームと呼ばれる画像データの連続で構成されており、このフレームを連続表示することで動画の再生が実現される。近年、このような動画データを構成するフレームのうちの１枚を、静止画像として印刷する構成が提案されている。

ところで、動画データは、動画表示においてはノイズが目立ちにくいことから静止画像を圧縮する場合と比較して圧縮率が高いため、１枚のフレームに着目するとジャギやノイズの存在する精度の低いものとなっている。また、一般的な動画データを構成するフレームの大きさは例えば３２０（画素）×２４０（画素）であり、プリンタの出力画像のドット密度は例えば７２０ｄｐｉというように極めて高密度である。このため、動画データを構成する１枚のフレームをプリンタにおいて例えばＬ判用紙に印刷しようとすると、画素数の不足やノイズ等に起因して画像のぼやけやノイズの発生を招き、高品質な印刷画像を得ることが困難である。

そこで、印刷するフレームに補間処理を施してフレームの画素間に副画素を生成し（例えば、特許文献１参照）、高画質な印刷画像を得る技術が公知である。しかし、１枚のフレームの画素に基づいて副画素を生成すると、その画像よりも高い周波数成分を得ることはできないためエッジのたたないぼやけた印刷画像となり易く、やはり高品質な印刷画像を得ることは困難であった。そこで、フレーム間の時間的なずれ（動き量）を利用して動画データを構成する複数のフレームを使用して補間処理を施し、画素数を元の画像データよりも多くした印刷画像を得る方法が提案されている。
特開２００１−２６８３４９号公報

しかしながら、フレーム間の動きに対して局所的に大きな動き量を有する部分が存在すると、その部分の画像の乱れや破綻等を招き、高品質な印刷画像が得られないという問題があった。つまり、フレーム間のずれを利用して補間処理を施す際に、動き量の大きい部分については、フレーム間において相関性の高い画素が離れた位置となってしまい、副画素の生成が好適になされない場合があった。

本発明は上記課題に鑑みなされたものであり、動画データから高品質な印刷画像を得ることができる画像形成装置、画像形成方法及び画像形成プログラムを提供することを目的とする。

上記目的を達成するため、本発明は、動画データを構成する複数のフレームを合成して合成画像を生成する画像形成装置において、前記複数のフレームに含まれる参照フレームの画素間に副画素を生成して中間画像を生成する第１の画像合成部と、前記中間画像と前記参照フレームから抽出された画像により生成されたはめ込み画像とを合成する第２の画像合成部と、を備えたことを要旨とする。

また、上記の画像形成装置に対応する本発明の画像形成方法は、動画データを構成する複数のフレームを合成して合成画像を生成する画像形成方法において、前記複数のフレームに含まれる参照フレームの画素間に副画素を生成して中間画像を生成する第１の画像合成ステップと、前記中間画像と前記参照フレームから抽出された画像により生成されたはめ込み画像とを合成する第２の画像合成ステップと、を備えたことを要旨とする。

上述した画像形成装置及び画像形成方法によれば、動画データを構成する複数のフレームを重ねて合成される合成画像において、データのばらつきや不足に起因して画像の乱れや破綻等の不具合が生じる部分には、参照フレームから抽出された画像により生成されたはめ込み画像がはめ込まれて合成されるため、この部分の画質を向上し高品質な印刷画像を得ることができる。

また、上述した画像形成装置において、前記第２の画像合成部は、前記中間画像の前記はめ込み画像に対応する部分が削除された画像と、前記はめ込み画像とを合成することとしてもよい。

これによれば、中間画像が合成されてからはめ込み画像に対応する部分が削除されるため、中間画像において画像に不具合が生じた部分を確認してからはめ込み画像の位置を設定することができる。

更には、上述した画像形成装置において、前記第１の画像合成部は、前記複数のフレームの前記はめ込み画像に対応する部分を削除してから前記中間画像を生成することとしてもよい。

これによれば、第１の画像合成部により中間画像が合成される前に、予め中間画像の合成に使用される各フレームのはめ込み画像に対応する部分が削除されるため、この部分については副画素の合成が行われず、不要な処理を省略することができる。

また、上述した画像形成装置において、前記第２の画像合成部は、前記中間画像と前記はめ込み画像との境界部分に平滑化処理を施して境界処理画像を生成することとしてもよい。

これによれば、合成画像において中間画像とはめ込み画像との境界部分の画像を滑らかにすることができる。
更には、上述した画像形成装置において、前記第１の画像合成部は、前記複数のフレーム間の動き量を検出するとともに、同複数のフレーム間において局所的な動きをする局所部分を検出し、前記第２の画像合成部は、前記局所部分に基づいて前記参照フレームから前記はめ込み画像を生成することとしてもよい。

これによれば、はめ込み画像はフレーム間において局所的な動きをする局所部分に基づいて生成されるため、第１の画像合成部による合成によって画像の破綻を招く可能性の高い部分に対応する参照フレームの部分をはめ込み画像とすることができる。

また、上述した画像形成装置において、前記第１の画像合成部は、ブロックマッチング法により前記複数のフレーム間の動き量を検出し、前記複数のフレーム間における全体的な動き量よりも大きい動き量を有する部分を前記局所部分とすることとしてもよい。

これによれば、画像の合成に使用される複数のフレーム間の動き量はブロックマッチング法により検出されるため、小さなノイズまで確実に局所部分として検出することができ、画質を向上することができる。

更には、上述した画像形成装置において、前記第１の画像合成部は、前記複数のフレームにおいて特徴点を検出し、該特徴点の動き量を検出することで前記複数のフレーム間の動き量を検出し、前記複数のフレーム間における全体的な動き量よりも大きい動き量を有する部分を前記局所部分とすることとしてもよい。

これによれば、画像の合成に使用される複数のフレーム間の動き量は、各フレームにおいて検出された特徴点のみを比較して検出されるため、フレーム内の全領域の画素の比較を行う場合と比較して計算量が少なくてすみ、画像形成処理を高速化することができる。

また、上述した画像形成装置において、前記第１の画像合成部は、前記局所部分の動き量を多段階に設定することとしてもよい。
これによれば、例えば、第１の画像合成部により、フレーム間においてそれぞれに異なる動き量を有する部分が複数検出された場合に、どの程度の動き量を有する部分を局所部分とするか選択して設定することができる。

更には、上述した画像形成装置において、前記第１の画像合成部は、前記参照フレームと２枚以上のフレームとを合成し、前記参照フレームとその他のフレームとの間においてそれぞれ検出される局所的な動きをする部分に基づいて前記局所部分を設定することとしてもよい。

これによれば、参照フレームと２枚以上のフレームとを合成して合成画像を生成する場合に、中間画像において画像の破綻や乱れが生じる可能性の高い部分が加工されるようにはめ込み画像の位置を設定することができる。

更には、上述した画像形成装置において、表示部において再生中の動画データから静止画像を取得し、該静止画像を前記複数のフレームとするフレーム取得部を備えたこととしてもよい。

これによれば、フレーム取得部により表示部に再生中の動画データから画像合成に使用する複数のフレームが取得されるため、ユーザは表示部にて画像を確認しながら画像合成に使用するフレームを取得することができる。

また、上述した画像形成装置において、前記フレーム取得部は、操作部の操作に応答して前記動画データの再生を一時停止させ、前記動画データの一時停止中に前記表示部に表示された画像を前記参照フレームとし、該参照フレームを基準に複数のフレームを取得して前記複数のフレームとすることとしてもよい。

これによれば、動画データの再生を一時停止させたときに表示された画像が参照フレームとされるため、この画像を高精細な合成画像として生成することができる。
更には、上述した画像形成装置において、Ｉピクチャー又はＰピクチャーを前記参照フレームとし、該参照フレームを基準に複数のフレームを取得して前記複数のフレームとすることとしてもよい。

これによれば、動画データを構成するフレームのうちＩピクチャー又はＰピクチャーが参照フレームとされるため、表示部において動画データのＩピクチャー又はＰピクチャーのみを順次表示させる高速再生中に画像を選択することができるようになる。

また、上述した画像形成装置において、前記第１の画像合成部は、前記複数のフレームの画像をそれぞれ解析し、その解析結果に基づき画質がよいと判定されたフレームを合成することとしてもよい。

これによれば、画質がよいと判定されたフレームのみを使用して画像が合成されるため、合成画像の画質を向上することができる。
また、上述した画像形成方法を実現する本発明の画像形成プログラムは、動画データを構成する複数のフレームを合成して合成画像を生成する処理を制御部が実行するための画像形成プログラムであって、前記制御部が、前記複数のフレームに含まれる参照フレームの画素間に副画素を生成して中間画像を生成する第１の画像合成処理と、前記中間画像と前記参照フレームから抽出された画像により生成されたはめ込み画像とを合成する第２の画像合成処理と、を実行するためのものである。

これによれば、上述の各種機能を実現すれば、動画データから高品質な印刷画像を得ることができる。

以下、本発明を具体化した実施の形態を図面を参照して説明する。
図１は、本実施の形態に係る印刷システムを示す概略図である。
印刷システムは、画像形成装置としてのパーソナルコンピュータ（以下「ＰＣ」という）１とプリンタ２とを含み、それらは、本実施の形態においては、例えばＵＳＢケーブル３により接続されている。本実施形態では、プリンタ２はＰＣ１の周辺機器として機能する。

ＰＣ１は、表示部としての表示画面４と操作部としての入力装置５とを備えており、ユーザは、表示画面４を見ながら、入力装置５を構成するキーボード５ａやマウス５ｂを操作することで、印刷指示等の各種の指示をプリンタ２に与えることができる。

表示画面４は、画像データ（動画データ）や各種処理の結果を示す画面、用紙サイズ、用紙種類、レイアウト、静止画像選択、印刷枚数等のパラメータ入力等の表示に用いられる。そして、表示画面４に表示された種々の条件が入力装置５のキーボード５ａやマウス５ｂの操作により選択されることで、プリンタ２に印刷指示等を与えることができるように構成されている。

表示画面４には、画面水平方向に８００画素と画面垂直方向に６００画素の表示エリアを備えており、ドットマトリクス状の画素で表現した画像データをＲＧＢの三原色においてそれぞれ２５６階調表示することにより、約１６７０万色を表現可能となっている。なお、この解像度は一例に過ぎず、例えば、６４０×４８０画素や、１０２４×７２０画素に適宜変更可能である。

プリンタ２は、インクジェット式プリンタであり、本体６の背面側には用紙供給装置７が設けられており、シートフィーダ７ａにセットされた用紙、あるいはロール紙支持部７ｂにセットされたロール紙等が本体６内部に給紙される。本体６の中央に設けられたカバー８の下方には印刷機構（図示略）が設けられており、この印刷機構の作動により印刷された用紙９が本体６の前側下部に設けられた排紙口１０から排出される。

プリンタ２の本体６の側面下側には、外部機器と接続するための接続部として、本実施の形態においては例えばＵＳＢポート１１が設けられている。本実施形態では、ＵＳＢポート１１には、上述したようにプリンタ２がＵＳＢケーブル３を介して接続されている。

図２は、ＰＣ１及びそれに接続されるプリンタ２の構成を示すブロック図である。なお、図１と同様な構成部分については、同一符号を付して説明する。
まず、ＰＣ１の構成について説明する。

ＰＣ１は、ＣＰＵ２１、メモリ２２、記憶装置２３、ドライブ装置２４及びインタフェース回路（以下、単に「Ｉ／Ｆ」という）２５を備え、それらは内部バス２６を介して相互に接続されている。

制御部としてのＣＰＵ２１は、記憶装置２３に格納されているプログラムを読み出し、そのプログラムに従った処理を実行することにより、ＰＣ１を統括的に制御する。メモリ２２は、ＣＰＵ２１が処理を実行する際のワーキングメモリとして利用される。

ドライブ装置２４は、記録媒体２７を駆動してその記憶内容にアクセスする。ＣＰＵ２１は、ドライブ装置２４を介して記録媒体２７からプログラムを読み出し、それを記憶装置２３にインストールする。記憶装置２３には、例えば、画像形成処理や、画像データをプリンタ２に送り出す処理等を実行するためのプログラムが格納されている。記録媒体２７としては、光ディスク（CD-ROM,DVD-ROM,… ）、光磁気ディスク（MO,MD,…）等、任意の記録媒体を使用することができる。なお、記録媒体２７には、通信媒体を介してアップロード又はダウンロードされたプログラムを記録した媒体、ディスク装置を含む。

記憶装置２３においては、ＰＣ１に画像データを入力するとともに、プリンタ２や表示画面４に画像データを出力するために所定のプログラムが実行される。そのうち、基本プログラムとして稼動しているのは、オペレーティングシステム（以下、「ＯＳ」という）３１であり、このＯＳ３１上には、アプリケーションプログラム（以下、単に「アプリケーション」という）３２が、記録媒体２７としてのＣＤ−ＲＯＭから読み取りをすることによりインストールされている。アプリケーション３２にはディスプレイドライバ３３やプリンタドライバ３４等が組み込まれている。なお、ディスプレイドライバ３３やプリンタドライバ３４の類は、表示画面４やプリンタ２の機種に依存しており、それぞれの機種に応じてＯＳ３１に対して追加変更可能である。また、機種に依存して標準処理以上の付加機能を実現することもできるようになっており、許容される範囲内での各種の追加的処理を実現可能である。

ＣＰＵ２１は、入力装置５の操作に基づいて、ドライブ装置２４を介してDVD-ROM等の記録媒体２７から画像データを読み込む処理や、画像データの加工をする処理、表示及び保存のための処理、画像データをディスプレイドライバ３３に送って表示画面４に表示させる処理等を行う。

また、ＣＰＵ２１は、記録媒体２７に記憶された動画データを順次読み出し、読み出した動画データをディスプレイドライバ３３においてデコードし、該デコード後のデータを表示画面４に順次出力して動画を表示させる処理を行う。例えば、ＣＰＵ２１は、ＭＰＥＧ形式の動画データに対して復号化処理を施すことで、動画データをデコードし、それにより得られた多階調データをメモリ２２に格納する。

そして、ＣＰＵ２１は、入力装置５の所定の操作ボタンが操作されると、動画の静止／再生を行う。詳しくは、動画の表示中に入力装置５が操作されると、動画を一時停止させて静止画像（フレーム）を表示させた状態とする。即ち、ディスプレイドライバ３３は、メモリ２２からの読み出し及びデコード処理を中断するとともに、その時にメモリ２２に格納されているデコード済みのデータを表示画面４に繰り返し出力する。これにより、表示画面４には、動画を一時停止させた静止画像（フレーム）が表示される。そして、ディスプレイドライバ３３は、動画の一時停止中に入力装置５が操作されると、静止画像以降の動画を再生する。

また、ＣＰＵ２１は、動画から静止画像を取得する処理（キャプチャ処理）を実行する。ＣＰＵ２１は、メモリ２２に記憶された動画データを表示画面４にて再生するとともに、入力装置５の操作によって連続的な再生を一時停止させ、表示画面４に表示されている画像のデータを入力装置５の操作によって参照フレームとする。そして、この参照フレームを基準として所定数のフレームを取得して画像合成に使用する複数のフレームとしてメモリ２２に格納する。なお、このとき、ＣＰＵ２１はフレーム取得部に相当する。

そして、ＣＰＵ２１は、入力装置５の操作により印刷指令等の操作がなされると、メモリ２２に格納された画像データ（画像合成に使用する複数のフレーム）をプリンタドライバ３４に入力し、印刷データに変換させてプリンタ２に送出する処理を行う。

ここで、仮に、動画を表示画面４に表示させながら一時停止したときの１枚の静止画像を、プリンタ２において印刷画像として出力しようとすると、印刷画像に不具合が生じる場合がある。即ち、一般的な動画データを構成する１枚のフレームの画素数に対して、プリンタ２で出力される画像の画素密度が格段に多いため、１枚のフレームをプリンタ２において例えばＬ判用紙に印刷しようとすると、画素数の不足から良好な画質が得られない場合がある。また、表示画面４上での表示を画素単位で一致させて印刷するとなると極めて小さな画像となる場合がある。

このため、本実施形態では、プリンタドライバ３４は解像度変換処理を含む画像形成処理を実行する。つまり、プリンタドライバ３４は、動画データを構成する複数のフレームを使用して、１枚のフレームの実際の画素の間に、該画素に基づいて副画素を生成する補間処理を行い、受け取った画像データの解像度をプリンタ２が印刷するための印刷解像度に変換する。

また、プリンタドライバ３４はコマンド生成部を備えており、コマンド生成部は解像度変換後にコマンドを付して印刷データとしてプリンタ２に出力する。Ｉ／Ｆ２５は、ＵＳＢケーブル３を介してプリンタ２と接続され、プリンタ２に印刷データを送信する。

次に、ＰＣ１と接続されたプリンタ２の構成について説明する。
プリンタ２は、シアン（Ｃ）、マゼンダ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）、ライトシアン（ＬＣ）、ライトマゼンダ（ＬＭ）、ライトイエロー（ＬＹ）の７色の色インクを用いて記録媒体たる用紙９上にドットを付して画像を印刷可能となっている。画像密度は、例えば、３６０×３６０ｄｐｉや７２０×７２０ｄｐｉといった高密度印刷が可能となっているが、階調表現については色インクを付すか否かといった２階調表現となっている。

上述したように、本実施形態においては、プリンタ２はＰＣ１の周辺機器として機能する。プリンタ２は、第１のＲＡＭ４１、ＲＯＭ４２、第２のＲＡＭ４３、プリンタヘッド４４及びＣＰＵ組込みＡＳＩＣ４５を備えている。

第１のＲＡＭ４１には、ＰＣ１から送られてきた画像データ（印刷データ等）が格納される。ＲＯＭ４２には、後述するＣＰＵ５１が処理を実行するために必要な制御プログラムや各種のアプリケーションプログラムが格納されている。第２のＲＡＭ４３は、後述するＣＰＵ５１が処理を実行する際のワーキングメモリとして利用される。例えば、第２のＲＡＭ４３は、後述する画像処理の段階で生成されるデータ（印刷イメージデータ等）を一時格納しておくためのバッファとして利用される。

プリンタヘッド４４は、主走査方向（紙送り方向と垂直な方向）に往復移動するキャリッジ（図示略）の下端に設けられており、用紙９の搬送路に対向した面に各色のノズルを多数個有している。このプリンタヘッド４４は、後述するヘッド制御回路５２の制御に基づいて、主走査方向に往復移動しながら、各色のインク滴をそれぞれの色に対応したノズルから吐出することで、給紙された用紙９に画像を形成する。

ＣＰＵ組込みＡＳＩＣ４５は、ＣＰＵ５１、ヘッド制御回路５２、画像処理回路５３、メモリインタフェース回路（以下、単に「メモリＩ／Ｆ」という）５４及びインタフェース回路（以下、単に「Ｉ／Ｆ」という）５５を備え、それらは内部バス５６にて相互に接続されている。この内部バス５６には、上述した第１のＲＡＭ４１及びＲＯＭ４２も接続されている。

ＣＰＵ５１は、ＲＯＭ４２に格納されているプログラムを読み出し、そのプログラムに従った処理を実行することにより、プリンタ２を統括的に制御する。例えば、ＣＰＵ５１には、後述する画像処理回路５３での色変換処理、ハーフトーン処理及びマイクロウィーブ処理や、ヘッド制御回路５２でのキャリッジのモータの駆動制御を司る。

画像処理回路５３は、色変換部、ハーフトーニング部及びマイクロウィーブ部としての機能を有している。詳述すると、色変換部は、第１のＲＡＭ４１に格納されているＲＧＢの多階調の画像データに色変換処理を施し、例えば、シアン（Ｃ）、マゼンダ（Ｍ）、イエロー（Ｙ）、ブラック（Ｋ）、ライトシアン（ＬＣ）、ライトマゼンダ（ＬＭ）、ライトイエロー（ＬＹ）の７色の多階調の画像データを生成して、それをメモリＩ／Ｆ５４を介して接続された第２のＲＡＭ４３に格納する。

ハーフトーニング部は、その色変換処理後の画像データにハーフトーン処理を施し、多階調の画像データを各色毎に２値化して表した印刷イメージデータ（色プレーン）を生成して、それを第２のＲＡＭ４３に格納する。マイクロウィーブ部は、そのハーフトーン処理後の各色プレーンのラスタラインをノズル数、ヘッド走査回数、紙送り量等に基づき並び替えて印刷データを生成し、それらを第２のＲＡＭ４３に格納する。

ヘッド制御回路５２は、プリンタヘッド４４を往復移動させるキャリッジのモータの駆動を制御するとともに、画像処理回路５３で生成された各色の印刷データに基づいてインク滴の有無や、吐出するインク滴の量等を制御する。Ｉ／Ｆ５５は、ＵＳＢケーブル３を介してＰＣ１と接続され、ＰＣ１から送られてくる画像データを受信する。

次に、上記の印刷システムにおいて実行される画像形成処理について説明する。
先ず、ユーザは、入力装置５を操作して、記録媒体２７に記憶された動画データの選択画面を表示画面４に表示させて、所望の動画データＤ１を選択した後、入力装置５により動画再生の操作を行うと、図３に示す処理が開始される。

ステップ１００において、ＣＰＵ２１は、選択された動画データＤ１を記録媒体２７から読み出し、その動画データＤ１をディスプレイドライバ３３に転送する。ディスプレイドライバ３３において、動画データＤ１がＲＧＢの画像データにデコードされた後、該画像データが一旦メモリ２２に格納される。ＣＰＵ２１は、その画像データに応じた静止画像（フレーム）を順次表示画面４に送出することで、表示画面４に動画を再生させる。

図４には、動画データＤ１を構成するフレームの具体例を示している。フレーム３０１〜３１０が図中矢印にて示す動画再生方向に順に表示されて動画が再生される。フレーム３０１，３１０はＩピクチャーであり、フレーム内符号化により符号化されたフレームである。また、フレーム３０４，３０７はＰピクチャーであり、直前のＩピクチャー又はＰピクチャーを参照画像とする片方向のフレーム間符号化により符号化されたフレームである。従って、例えばフレーム３０４を符号化する際には、フレーム３０１を参照してフレーム間予測が行われる。フレーム３０２，３０３，３０５，３０６，３０８，３０９はＢピクチャーであり、直前と直後のＩピクチャー又はＰピクチャーを用いた双方向のフレーム間予測が行われる。なお、ディスプレイドライバ３３は、Ｉピクチャー及びＰピクチャーのみを表示画面４に表示させて、動画を高速で再生することも可能である。

ステップ１１０において、ＣＰＵ２１は、アプリケーション３２に、再生中の動画データＤ１から、画像合成に使用する複数のフレームを決定する処理を実行させる。即ち、ＣＰＵ２１は、表示画面４において再生中の動画データＤ１（図４参照）から静止画像（フレーム）を取得し、その静止画像を画像合成に使用する複数のフレームとして決定する。

また、このとき、ＣＰＵ２１は、ユーザによる操作部としての入力装置５の操作に応答して動画データＤ１の再生を一時停止させ、動画データＤ１の一時停止中に表示画面４に表示された画像を参照フレームＦ１とする。即ち、ＣＰＵ２１は、入力装置５から停止信号を取得し、表示画面４において再生中の動画データＤ１を一時停止させて、同じ静止画面（フレーム）を繰り返し表示させ、その状態で入力装置５から決定を指示する制御信号を取得すると、表示中の静止画像を参照フレームＦ１とする。

更に、ＣＰＵ２１は、参照フレームＦ１を基準に複数のフレームＦ２〜Ｆ４を取得して画像合成に使用する複数のフレームとする。具体的には、参照フレームＦ１を基準として、動画再生時に参照フレームＦ１の前に表示される１枚のフレームＦ２と、参照フレームＦ１の後に表示される２枚のフレームＦ３，Ｆ４とを取得する。そして、ＣＰＵ２１は、取得した参照フレームＦ１及びその他のフレームＦ２〜Ｆ４をメモリ２２に格納する。

このように、表示画面４に動画データＤ１を再生させながら一時停止の操作を行ったときに表示される画像が参照フレームＦ１として選択され、その参照フレームＦ１を基準としてその他のフレームＦ２〜Ｆ４が取得される。このため、ユーザは動画データＤ１の再生を一時停止させたときに表示画面４に表示された画像を確認し、その画像を高精細な合成画像として生成することができる。

ステップ１２０において、ＣＰＵ２１は、アプリケーション３２に、参照フレームＦ１とその他のフレームＦ２〜Ｆ４との間の動き量を検出する処理を実行させる。動画データＤ１を構成するフレーム間においては、図５に示すように、時間的な経過により多少のずれが存在する。

本実施形態では、所謂ブロックマッチング法を用いて、参照フレームＦ１とその他のフレームＦ２〜Ｆ４との間の動き量をそれぞれ検出する。具体的には、図６に示すように、各フレームＦ１〜Ｆ４の画面内は、画面水平方向８画素×画面垂直方向８画素単位のｎ個の小さなブロックに分割されるものとする。そして、各フレームにおいて、ブロック毎の画素値が計算され、各フレーム間において画素値の差分が最小となる領域が互いに相関が最も強いものとして検出される。そして、同じような画素値を有するブロックが画面の水平方向、垂直方向のどこにあるか検出され、このブロック位置のずれに基づいて参照フレームＦ１とその他のフレームＦ２〜Ｆ４との間の動き量がそれぞれ検出されてメモリ２２に格納される。このように、ブロックマッチング法により動き量を検出することで、フレームＦ１〜Ｆ４間における小さなノイズまで確実に検出することができる。

なお、このとき、参照フレームＦ１とその他のフレームＦ２〜Ｆ４との間の平均的な動き量が全体的な動き量とされ、この全体的な動き量よりも大きい動き量を有する部分が局所部分画像Ｄ２として検出され、その位置情報とともにメモリ２２に格納される。また、このとき、局所部分画像Ｄ２は、フレーム間において検出されただけ格納されるものである。

ステップ１３０において、ＣＰＵ２１は、アプリケーション３２に、フレーム合成を行わせて中間画像を合成するとともに、枠画像を生成する処理を実行させる（第１の画像合成ステップ）。即ち、ＣＰＵ２１は、参照フレームＦ１及びフレームＦ２〜Ｆ４の画像データと、参照フレームＦ１と他のフレームＦ２〜Ｆ４との間の動き量のデータを取得し、それに基づいて参照フレームＦ１の画素間の副画素を生成して中間画像を生成する。

図７には、参照フレームＦ１における実際の画素（以下、単に「実画素」という）の位置と、実際の画素に基づき演算により算出される副画素の位置の一例を示している。実画素は、参照フレームＦ１の画面水平方向及び画面垂直方向にドットマトリックス状に配置されており、副画素は実画素の半分のピッチで配置されるように形成されている。例えば、図７に示す４つの実画素ｐ１，ｑ１，ｒ１，ｓ１に囲まれる箇所に副画素＊が生成される際には、副画素＊の画素値ｆ（＊）は、下記の式で表される。

ｆ（＊）＝[ｆ（ｐ１）＋ｆ（ｑ１）＋ｆ（ｒ１）＋ｆ（ｓ１）]／２
参照フレームＦ１とその他のフレームＦ２〜Ｆ４が重ねられると、図８に示すように、参照フレームＦ１の各実画素ｐ１，ｑ１，ｒ１，ｓ１の周囲にフレームＦ２〜Ｆ４の実画素が存在することとなる。そして、参照フレームＦ１に対する各フレームＦ２〜Ｆ４の動き量は検出されているため、参照フレームＦ１に重ねられたときのフレームＦ２の各実画素ｐ２，ｑ２，ｒ２，ｓ２の副画素＊までの距離は検出される。また、同様に、参照フレームＦ１に重ねられたときのフレームＦ３の各実画素ｐ３，ｑ３，ｒ３，ｓ３の副画素＊までの距離と、参照フレームＦ１に重ねられたときのフレームＦ４の各実画素ｐ１，ｑ１，ｒ１，ｓ１から副画素＊までの距離は検出される。

このように、副画素＊の周辺に存在することとなる実画素のそれぞれの距離が検出されるため、副画素＊に最も近い位置にある４つの実画素を抽出し、それらの実画素の画素値と副画素＊までの距離を用いることで、副画素＊の画素値を算出することができる。このように、動画データＤ１を構成する複数のフレームＦ１〜Ｆ４を使用して実画素間の副画素を生成することで、高精度の合成画像を得ることができるようになる。

ステップ１４０において、ＣＰＵ２１は、アプリケーション３２に、ステップ１３０で合成された中間画像において、局所部分画像Ｄ２に対応する部分の画像を削除させる。このとき、メモリ２２に記憶された、各フレームＦ１〜Ｆ４における局所部分画像Ｄ２の位置情報が読み出されて、中間画像上における各フレームＦ１〜Ｆ４の局所部分に対応する位置の画像が削除される。これは、中間画像合成時において、各フレームＦ１〜Ｆ４の局所部分画像Ｄ２に対応する位置の画像が破綻すると予測されるため、この領域を削除するものである。

ステップ１５０において、ＣＰＵ２１は、アプリケーション３２に、各フレームＦ１〜Ｆ４の局所部分に対応する部分が削除された中間画像と、局所部分画像Ｄ２とを合成する処理を実行させる（第２の画像合成ステップ）。続いて、ステップ１６０において、ＣＰＵ２１は、アプリケーション３２に、ステップ１５０にて生成された合成画像において、中間画像と局所部分画像Ｄ２との境界部分の平滑化処理を実行させて、境界処理画像としての印刷画像Ｄ３を合成する。そして、ＣＰＵ２１がアプリケーション３２に、印刷画像Ｄ３のデータをＩ／Ｆ２５に転送させた時点で本処理を終了する。

ここで、上述した画像形成処理を図９を参照して説明する。
動画データＤ１を構成するフレームの中から画像合成に使用すると決定された参照フレームＦ１とその他のフレームＦ２〜Ｆ４とがフレーム合成されて、中間画像５０１が生成される。このとき、参照フレームＦ１の実画素間の副画素が生成される（図８参照）。続いて、中間画像５０１において各フレームＦ１〜Ｆ４の局所部分に対応する削除部分５０１ａが削除されて画像５０２が生成される。このように、複数のフレームＦ１〜Ｆ４を合成して中間画像５０１を生成してから削除部分５０１ａを削除するため、画像に不具合が生じる部分を確認してから後述するはめ込み画像５０４を設定することが可能である。即ち、参照フレームＦ１とその他のフレームＦ２〜Ｆ４の間において、全体的な動き量に対して大きな動き量を有する局所部分が検出されたとしても、その局所部分に画像の乱れや破綻が生じるとは限らないし、予想以上に画像に不具合が生じる場合もある。このため、中間画像５０１を生成してから画像を削除することで、効率よく画像の合成処理を行うことができる。

一方、参照フレームＦ１において、局所部分画像５０３が抽出される。この局所部分画像５０３は、参照フレームＦ１とその他のフレームとＦ２〜Ｆ４の間においてそれぞれ検出される局所的な動きをする局所部分に基づいて設定される。つまり、参照フレームＦ１に対して各フレームＦ２〜Ｆ４において局所的な動きとなる局所部分を包括した部分が参照フレームＦ１において局所部分画像５０３とされる。このため、中間画像５０１において画像の破綻や乱れが生じる可能性が高い部分が加工されるようにはめ込み画像５０４の位置を設定することができる。

更に、この局所部分画像５０３が拡大されて、はめ込み画像５０４が生成される。このとき、局所部分画像５０３の実際の画素間に副画素が生成されてはめ込み画像５０４が生成されるため（図７参照）、画像のムラや破綻が抑制されたはめ込み画像５０４が生成される。

そして、画像５０２に（即ち、削除部分５０１ａが削除された中間画像５０１）にはめ込み画像５０４がはめ込まれ、合成画像５０５が合成される。その後、合成画像５０５において、画像５０２とはめ込み画像５０４との境界部分５０５ａに平滑化処理が施されて、境界処理画像５０６が生成される。このように、画像５０２とはめ込み画像５０４との間に平滑化処理を施すことでこの部分の画像を滑らかにすることができ、画質を向上することができる。なお、この平滑化処理は、例えばガウシアンフィルタを用いて行われ、平滑化処理が行われる境界部分５０５ａは、例えば、画像５０２とはめ込み画像５０４との間の境界線を中心として、動き検出時のブロックサイズ（図６参照）の１／４を半径とする範囲で適用させることで設定される。

次に、上述した画像形成処理の具体例を説明する。
図１０（ａ）に示す画像を参照フレームＦ１として画像を合成する場合、例えば図１０（ｂ）に示す画像がフレームＦ３として取得される。

参照フレームＦ１とフレームＦ３とを比較すると、参照フレームＦ１とフレームＦ３との間の全体的な動き量Ｍ１に対して、局所的に大きな動き量Ｍ２を有する局所部分として、参照フレームにおける車Ｃが移動した車Ｃ２が存在している。なお、この車Ｃは、フレームＦ２，Ｆ４においても、フレーム間の動き量よりも大きい動き量で移動しているものとする。また、フレームＦ３においては、図中にノイズＸが発生している。

すると、図１０（ｃ）に示すように、参照フレームＦ１とその他のフレームＦ２〜Ｆ４とを合成して中間画像５０１を生成すると（図９参照）、フレームＦ１〜Ｆ４において車Ｃが移動した範囲、即ち削除部分５０１ａで画像が破綻してしまう。この削除部分５０１ａの画像データが削除されて、参照フレームＦ１から削除部分５０１ａに対応する部分の画像が抽出され拡大されて生成されたはめ込み画像が削除部分５０１ａにはめ込まれる。

また、中間画像５０１においては、フレームＦ３に生じていたノイズＸが合成されてノイズＸ´が生じている。
ノイズＸは、参照フレームＦ１とフレームＦ３との間で動き量を検出する際に、局所的な動き量を有する局所部分として検出される。このため、中間画像５０１においてはノイズＸの部分も削除部分５０１ａとされ、この削除部分５０１ａの画像データが削除されて、参照フレームＦ１から削除部分５０１ａに対応する部分の画像が抽出され拡大されて生成されたはめ込み画像が削除部分５０１ａにはめ込まれる。

以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）本実施形態のＰＣ１は、動画データＤ１を構成する複数のフレームＦ１〜Ｆ４を合成して合成画像５０５を生成するとき、複数のフレームＦ１〜Ｆ４に含まれる参照フレームＦ１の画素間に副画素を生成して中間画像５０１を生成し、中間画像５０１と参照フレームＦ１から抽出された画像により生成されたはめ込み画像５０４とを合成する。このように、中間画像５０１において、データのばらつきや不足に起因して画像の乱れや破綻等の不具合が生じる部分には、参照フレームＦ１から抽出された画像により生成されたはめ込み画像５０４がはめ込まれて合成されるため、この部分の画質を向上し高品質な合成画像５０５、ひいては境界処理画像５０６（印刷画像）を得ることができる。

（２）本実施形態のＰＣ１は、中間画像５０１のはめ込み画像５０４に対応する削除部分５０１ａが削除された画像５０２と、はめ込み画像５０４とを合成する。このように、中間画像５０１が合成されてから削除部分５０１ａが削除されるため、削除部分５０１ａに不具合が生じたことを確認してから、はめ込み画像５０４の位置を設定することができる。

（３）本実施形態のＰＣ１は、複数のフレームＦ１〜Ｆ４間の動き量を検出するとともにフレームＦ１〜Ｆ４間において局所的な動きをする局所部分を検出し、局所部分に基づいて参照フレームＦ１からはめ込み画像５０４を生成する。これにより、複数のフレームＦ１〜Ｆ４を合成する際に、画像の破綻を招く可能性の高い部分に対応する参照フレームＦ１の部分を抽出してはめ込み画像５０４を生成することができる。

なお、実施の形態は、上記に限定されず以下の変形例を採用することもできる。
（変形例１）ＰＣ１は、複数のフレームを使用して画像を合成する際に、各フレームのはめ込み画像に対応する部分を削除してから中間画像を生成することとしてもよい。そうすると、中間画像が合成される前に、予め中間画像の合成に使用される各フレームのはめ込み画像に対応する部分が削除されるため、この部分については副画素の合成が行われず、不要な処理を省略することができる。

（変形例２）ＰＣ１は、局所部分の動き量を多段階に設定することとしてもよい。例えば、動き量の異なる局所部分が複数検出される場合に、動き量を多段階に設定することで、はめ込み画像をはめ込む局所部分を選択することが可能となる。

（変形例３）ＰＣ１は、必ずしもブロックマッチング法により画像合成に使用する複数のフレームＦ１〜Ｆ４間の動き量を検出しなくてもよい。例えば、複数のフレームＦ１〜Ｆ４において特徴点を検出し、該特徴点の動き量を検出することで複数のフレームＦ１〜Ｆ４間の動き量を検出し、複数のフレームＦ１〜Ｆ４間における全体的な動き量よりも大きい動き量を有する部分を前記局所部分とすることとしてもよい。そうすると、画像の合成に使用される複数のフレームＦ１〜Ｆ４間の動き量は、各フレームＦ１〜Ｆ４において検出された特徴点のみを比較して検出されるため、フレーム内の全領域の画素の比較を行う場合と比較して、計算量が少なくてすみ画像形成処理を高速化することができる。

（変形例４）上述した実施形態においては、複数のフレームＦ１〜Ｆ４を合成して中間画像５０１を生成するとき、４枚のフレームを重ねたときに副画素に最近接する４つの画素を用いて該副画素を生成するものとしたが、副画素を生成する手法はこれに限定されず、どのような手法により副画素を生成してもよい。

（変形例５）ＰＣ１は、画像合成に使用するフレームを取得する際に、Ｉピクチャー又はＰピクチャーを参照フレームとし、該参照フレームを基準に複数のフレームを取得してもよい。そうすると、動画データを構成するフレームのうちＩピクチャー又はＰピクチャーが参照フレームとされるため、表示画面４において動画データのＩピクチャー又はＰピクチャーのみを順次表示させる高速再生中に画像を選択することができるようになる。

（変形例６）ＰＣ１は、複数のフレームＦ１〜Ｆ４を合成する際に、複数のフレームＦ１〜Ｆ４の画像をそれぞれ解析し、その解析結果に基づき画質がよいと判定されたフレームを合成することとしてもよい。そうすると、画質がよいと判定されたフレームのみを使用して画像が合成されるため、合成画像の画質を向上することができる。また、ＰＣ１は、フレーム間の動き量が大きい場合にはフレーム合成の際にそのフレームを使用しないようにしてもよい。

（変形例７）ＰＣ１は、必ずしも合成画像５０５の削除部分５０１ａとはめ込み画像５０４との境界部分５０５ａを平滑化処理しなくてもよい。
（変形例８）ＰＣ１は、中間画像５０１にはめ込み画像を合成する位置を設定する際に、必ずしも局所部分の動き量に基づいて設定しなくてもよい。例えば、確実に画像が破綻すると予想される位置を予めはめ込み画像の位置として設定しておいてもよい。

（変形例９）ＰＣ１は、参照フレームと３枚のフレームとを合成する場合に限定されず、参照フレームと１枚のフレームとを合成してもよいし、参照フレームと４枚以上のフレームとを合成してもよい。また、参照フレームＦ１を基準として画像合成に使用するフレームをどのように取得してもよく、例えば参照フレームＦ１を基準として後側のフレームのみを取得するようにしてもよい。

（変形例１０）ＰＣ１は、動画データＤ１を構成するフレームの中から、画像合成に使用するフレームをどのように取得してもよい。例えば、表示画面４に動画データＤ１を再生させながら、所定数毎に自動的に取得するようにしてもよい。

（変形例１１）上述した実施形態においては、ＰＣ１の画像入力デバイスとして、DVD-ROM 等の記録媒体２７から動画データを入力する場合について説明したが、画像入力デバイスはこれに何ら限定されるものではない。例えば、ＰＣ１とデジタルスチルカメラやビデオカメラ、テレビ等とを接続し、それらのデバイスから動画データを取得するようにしてもよい。

また、ＰＣ１に、外部のネットワークなどに接続するための通信デバイスとしてのモデムを接続し、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入するようにしてもよい。更には、モデムにて電話回線を介して外部にアクセスする形態に限定されず、例えばＬＡＮアダプタを介してネットワークに対してアクセスする構成とすることも可能である。

（変形例１２）プリンタ２を画像形成装置とし、ＰＣ１を接続せずスタンドアロン型プリンタとして機能させてもよい。その場合、プリンタ２に動画データを再生可能な表示画面を装備した上で、上記実施形態で説明したプリンタドライバ３４で実行される画像形成処理をプリンタ２の画像処理回路５３に実行させるようにすればよい。そして、例えば、プリンタ２のＵＳＢポート１１にメモリカードが挿入されたデジタルスチルカメラやビデオカメラ等を接続し、表示画面に動画を再生させながら印刷画像を選択して印刷するようにしてもよい。また、プリンタ２にメモリカードを挿入可能なスロットを設け、そのメモリカードの動画データの画像を印刷するようにしてもよい。

本発明を具体化した実施の形態に係る印刷システムの概略図。 印刷システムの構成を説明するブロック図。 画像形成処理を説明するフローチャート。 動画データを構成するフレームの説明図。 フレームの重ね方の説明図。 フレームにおけるブロック分割の説明図。 参照フレームの実際の画素と副画素の説明図。 画像を合成する際の実際の画素と副画素の説明図。 画像形成処理の説明図。 （ａ）〜（ｃ）は画像形成処理の具体例の説明図。

符号の説明

１…画像形成装置としてのパーソナルコンピュータ（ＰＣ）、２…プリンタ、４…表示部としての表示画面、５…操作部としての入力装置、２１…制御部としてのＣＰＵ、３４…第１の画像合成部及び第２の画像合成部としてのプリンタドライバ、３０１，３１０…Ｉピクチャー、３０４，３０７…Ｐピクチャー、５０１…中間画像、５０３…局所部分画像、５０４…はめ込み画像、５０５…合成画像、５０５ａ…境界部分、５０６…境界処理画像、Ｆ１…参照フレーム、Ｆ２，Ｆ３，Ｆ４…フレーム、Ｍ１…全体的な動き量、Ｍ２…局所的な動き量。

Claims (15)

1. 動画データを構成する複数のフレームを合成して合成画像を生成する画像形成装置において、
   前記複数のフレームに含まれる参照フレームの画素間に副画素を生成して中間画像を生成する第１の画像合成部と、
   前記中間画像と前記参照フレームから抽出された画像により生成されたはめ込み画像とを合成する第２の画像合成部と、
   を備えた画像形成装置。
2. 請求項１に記載の画像形成装置において、
   前記第２の画像合成部は、前記中間画像の前記はめ込み画像に対応する部分が削除された画像と、前記はめ込み画像とを合成する画像形成装置。
3. 請求項１に記載の画像形成装置において、
   前記第１の画像合成部は、前記複数のフレームの前記はめ込み画像に対応する部分を削除してから前記中間画像を生成する画像形成装置。
4. 請求項１〜３のうち何れか１項に記載の画像形成装置において、
   前記第２の画像合成部は、前記中間画像と前記はめ込み画像との境界部分に平滑化処理を施して境界処理画像を生成する画像形成装置。
5. 請求項１〜４のうち何れか１項に記載の画像形成装置において、
   前記第１の画像合成部は、前記複数のフレーム間の動き量を検出するとともに、同複数のフレーム間において局所的な動きをする局所部分を検出し、前記第２の画像合成部は、前記局所部分に基づいて前記参照フレームから前記はめ込み画像を生成する画像形成装置。
6. 請求項５に記載の画像形成装置において、
   前記第１の画像合成部は、ブロックマッチング法により前記複数のフレーム間の動き量を検出し、前記複数のフレーム間における全体的な動き量よりも大きい動き量を有する部分を前記局所部分とする画像形成装置。
7. 請求項５に記載の画像形成装置において、
   前記第１の画像合成部は、前記複数のフレームにおいて特徴点を検出し、該特徴点の動き量を検出することで前記複数のフレーム間の動き量を検出し、前記複数のフレーム間における全体的な動き量よりも大きい動き量を有する部分を前記局所部分とする画像形成装置。
8. 請求項５〜７のうち何れか１項に記載の画像形成装置において、
   前記第１の画像合成部は、前記局所部分の動き量を多段階に設定する画像形成装置。
9. 請求項５〜８のうち何れか１項に記載の画像形成装置において、
   前記第１の画像合成部は、前記参照フレームと２枚以上のフレームとを合成し、前記参照フレームとその他のフレームとの間においてそれぞれ検出される局所的な動きをする部分に基づいて前記局所部分を設定する画像形成装置。
10. 請求項１〜９のうち何れか１項に記載の画像形成装置において、
    表示部において再生中の動画データから静止画像を取得し、該静止画像を前記複数のフレームとするフレーム取得部を備えた画像形成装置。
11. 請求項１０に記載の画像形成装置において、
    前記フレーム取得部は、操作部の操作に応答して前記動画データの再生を一時停止させ、前記動画データの一時停止中に前記表示部に表示された画像を前記参照フレームとし、該参照フレームを基準に複数のフレームを取得して前記複数のフレームとする画像形成装置。
12. 請求項１０に記載の画像形成装置において、
    前記フレーム取得部は、Ｉピクチャー又はＰピクチャーを前記参照フレームとし、該参照フレームを基準に複数のフレームを取得して前記複数のフレームとする画像形成装置。
13. 請求項１〜１２のうち何れか１項に記載の画像形成装置において、
    前記第１の画像合成部は、前記複数のフレームの画像をそれぞれ解析し、その解析結果に基づき画質がよいと判定されたフレームを合成する画像形成装置。
14. 動画データを構成する複数のフレームを合成して合成画像を生成する画像形成方法において、
    前記複数のフレームに含まれる参照フレームの画素間に副画素を生成して中間画像を生成する第１の画像合成ステップと、
    前記中間画像と前記参照フレームから抽出された画像により生成されたはめ込み画像とを合成する第２の画像合成ステップと、
    を備えた画像形成方法。
15. 動画データを構成する複数のフレームを合成して合成画像を生成する処理を制御部が実行するための画像形成プログラムであって、
    前記制御部が、
    前記複数のフレームに含まれる参照フレームの画素間に副画素を生成して中間画像を生成する第１の画像合成処理と、
    前記中間画像と前記参照フレームから抽出された画像により生成されたはめ込み画像とを合成する第２の画像合成処理と、
    を実行するための画像形成プログラム。

Images