JP2006041614A - 画像処理装置、画像処理方法、プログラム、および記録媒体 - Google Patents

Abstract

【課題】 レイアウト編集を簡易とする一助となるレイアウト枠の設定を行なう画像処理装置、画像処理方法を提供することを目的とする。
【解決手段】 複数の画像から一の静止画像を抽出し、当該静止画像を処理する画像処理装置であって、前記抽出した静止画像において、該静止画像の時系列で近傍に位置する他の静止画像に対して位置のずれが生じている動領域を検出する動領域検出手段と、前記検出された動領域に対応して、前記静止画像上に文字、図形等の表示部品を挿入するレイアウト枠を設定するレイアウト枠設定手段と、前記表示部品を挿入可能な状態で前記レイアウト枠を表示する表示手段とを備えた画像処理装置とする。
【選択図】 図２

Description

本発明は、一の静止画像上に文字などを重ね合わせるレイアウト枠を設定する画像処理装置、画像処理方法、プログラム、および、記録媒体に関する。

従来から、複数枚の静止画像や動画像から一の静止画像を取得して、その静止画像上に、文字、図形や装飾などの様々な編集を施す画像処理装置および画像処理方法がある。こうした静止画像の編集処理では、文字や図形等を挿入するレイアウト枠の配置、サイズなどの設定が行なわれている。例えば、動画像から取得した一の静止画像にレイアウト枠を設定するような場合には、動画像の被写体と文字等とが重なり合うのを避けるようにレイアウト枠が設定されることが多い。こうしたレイアウトの編集技術は、例えば下記特許文献１に開示されている。下記特許文献１では、携帯電話にて扱われる動画像データにおいて、被写体として人物の顔を抽出し、顔を避けた位置にメッセージをレイアウトした画像を簡易に作成できるとされている。

特開２００２−１７６６１９号公報

しかしながら、こうした技術を一般的な静止画像に応用する場合、レイアウト枠の設定に関する煩わしい編集を行なう必要があった。静止画像上に文字などをレイアウトするにあたり、注目する対象物、動体や被写体等は人物の顔に限られず、レイアウト枠を自動的に設定することは難しいものであった。

本発明は、こうした問題を踏まえ、レイアウト編集を簡易とする一助となるレイアウト枠の設定を行なう画像処理装置、画像処理方法を提供することを目的とする。

本発明の画像処理装置は、上記課題に鑑み、以下の手法を採った。すなわち、複数の画像から一の静止画像を抽出し、当該静止画像を処理する画像処理装置であって、前記抽出した静止画像において、該静止画像の時系列で近傍に位置する他の静止画像に対して位置のずれが生じている動領域を検出する動領域検出手段と、前記検出された動領域に対応して、前記静止画像上に文字、図形等の表示部品を挿入するレイアウト枠を設定するレイアウト枠設定手段と、前記表示部品を挿入可能な状態で前記レイアウト枠を表示する表示手段とを備えたことを要旨としている。

また、本発明の画像処理装置に対応した画像処理方法は、複数の画像から一の静止画像を抽出し、当該静止画像を処理する画像処理方法であって、前記抽出した静止画像の時系列で近傍に位置する他の静止画像を抽出し、前記静止画像と前記他の静止画像と画像内容を比較し、前記静止画像上であって、前記他の静止画像に対して位置のずれが生じている動領域を検出し、前記検出された動領域に対応して、前記静止画像上に文字、図形等の表示部品を挿入するレイアウト枠を設定し、前記表示部品を挿入可能な状態で前記レイアウト枠を表示することを要旨としている。

本発明の画像処理装置およびその画像処理方法によれば、画像処理の対象である一の静止画像の特徴として動領域を検出し、動領域に対応して表示部品を挿入するレイアウト枠を設定する。例えば、検出した動領域を避けるようにレイアウト枠を自動的に設定し、あるいは、検出した動領域内にレイアウト枠を設定することができる。つまり、一の静止画像の動領域を意識したレイアウト枠を設定し、これを推奨することがきる。したがって、レイアウト枠の設定に伴う煩わしい編集作業を軽減することができ、レイアウト編集を容易なものとすることができる。なお、ここでの表示部品とは、文字、図形に限らず、装飾フレームや画像など、抽出した一の静止画像に重ね合わせる種々の部品を含むものである。

上記の構成を有する画像処理装置は、更に、前記検出された動領域によって、前記静止画像を、少なくとも該動領域と該動領域以外の領域とからなる複数の領域に分割する領域分割手段と、前記複数の領域から一の領域を選択する選択手段とを備え、前記レイアウト枠設定手段は、前記選択された領域内に前記レイアウト枠を設定するものとしても良い。

かかる画像処理装置によれば、静止画像を検出された動領域によって、大きく、動領域とそれ以外の領域とに分割し、その中から選択した一の領域内にレイアウト枠を設定する。選択の仕方は、領域の位置、面積など領域の状態に基づき自動的に行なうものでも良いし、予め設定しておくものとしても良い。さらには、ユーザによる選択であっても良い。こうした選択手法により、静止画像における注目する領域を認識して、レイアウト枠を設定することができる。

上記の構成を有する画像処理装置の選択手段は、前記分割された複数の領域に２以上の前記動領域が含まれる場合には、該動領域のうち、一の動領域を選択する手段であり、前記レイアウト枠設定手段は、前記選択された動領域を避けた領域に前記レイアウト枠を設定するものとしても良い。

かかる画像処理装置によれば、静止画像上に複数の動領域がある場合には、その複数の動領域から一の動領域を選択する。例えば、動領域の状態に基づき自動的に、あるいは、ユーザにより一の動領域を選択し、選択された動領域を避けるようにレイアウト枠を設定する。したがって、静止画像における注目する動領域を選出し、その動領域を意識したレイアウト枠を設定することができる。動領域を避けた領域にレイアウト枠を設定、表示することで、レイアウト枠に文字等を挿入しても、注目する動領域に文字等の表示部品が重なり合うことがない。

上記の構成を有する画像処理装置のレイアウト枠設定手段は、前記静止画像の前記動領域を除いた領域内における一まとまりの部分領域を抽出し、該部分領域を前記レイアウト枠として設定するものとしても良い。

かかる画像処理装置によれば、動領域を除いた領域内における一まとまりの部分領域を抽出する。部分領域は、例えば、動領域を除いた領域内で配置できる最大限の矩形や楕円形状を設定することや、動領域を除いた領域からユーザによって設定される入力の禁止領域を差し引くことで抽出することができる。こうした部分領域をレイアウト枠として設定することで、レイアウト枠は一まとまりの比較的単純な形状の領域となる。かかる領域に挿入される表示部品は、まとまり良く配置される。特に表示部品が文字である場合には、まとまって配置された読み易いものとすることができる。

上記の構成を有する画像処理装置のレイアウト枠設定手段は、予め設定された所定形状のレイアウト枠と前記動領域とが重なる場合には、該レイアウト枠を、該動領域を除いた形状に変形するものとしても良い。

かかる画像処理装置によれば、所定形状のレイアウト枠と動領域とが重なる場合に、レイアウト枠の形状を変形し、動領域を避けたレイアウト枠を設定する。したがって、レイアウト枠内に挿入する表示部品が動領域上に重なることはない。こうしたレイアウト枠の設定により、特に、動領域に注目したレイアウト編集を行なう場合に効果を奏する。

上記の構成を有する画像処理装置のレイアウト枠設定手段は、所定位置に配置された前記レイアウト枠内に前記動領域による境界が存在する場合には、当該境界で分断された該レイアウト枠内の部分ごとに、前記表示部品の表示の態様を異ならせて設定するものとしても良い。

かかる画像処理装置によれば、レイアウト枠内に動領域による境界が存在する場合には、レイアウト枠内を境界により複数の部分に分断する。分断されたレイアウト枠内の領域の部分ごとに、表示部品の大きさ、色彩、形状などの表示の態様を異ならせて設定する。例えば、レイアウト枠内が一の動領域部分とそれ以外の領域部分に分断された場合、動領域部分に配置される表示部品の色彩を変更し、あるいは、表示部品を動領域部分の下層に隠す。レイアウト枠が動領域と重なる場合でも、表示部品の表示の態様を調整することで、動領域と表示部品とのバランスを取ることができ、レイアウト編集を容易なものとすることができる。

上記の構成を有する画像処理装置の表示部品の表示の態様は、文字の色彩であるものとしても良い。

かかる画像処理装置によれば、分断されたレイアウト枠内の領域の部分ごとに、表示部品としての文字の色彩を異ならせて設定する。例えば、動領域部分に配置される文字の色彩を薄い色や半透明に設定する。こうすることで、動領域によって分断されることのない、自然な配置の文字列を静止画像上に設定することができる。

上記の構成を有する画像処理装置は、更に、前記設定されたレイアウト枠の状態を検出し、該検出値に応じて、前記挿入する前記表示部品の表示の態様を変更する表示部品変更手段を備えるものとすることができる。

かかる画像処理装置によれば、レイアウト枠の状態、例えば、位置、大きさ、形状、枠内の画像色などを検出し、検出値に応じて、表示部品の表示の態様を変更する。例えば、表示部品が画像や図形である場合にはその大きさをレイアウト枠に対応させ、表示部品が文字である場合にはそのフォントサイズをレイアウト枠に対応させる。こうすることで、レイアウト編集を容易なものとすることができる。

上記の構成を有する画像処理装置の表示部品変更手段は、前記レイアウト枠内における前記表示部品としての文字の位置ごとに該文字の背景色を検出し、該検出された背景色に応じて、該文字の表示の態様としての色彩を変更するものとしても良い。

かかる画像処理装置によれば、レイアウト枠内の文字の位置に対応した背景色を検出し、その検出値に応じて文字の色彩を変更する。例えば、背景色に対して文字を補色に変更することで文字を強調し、また、文字を同系色に変更することで文字を強調しない態様とする。したがって、レイアウト編集における文字に対する視覚的な効果の幅を広げることができる。

上記の構成を有する画像処理装置の表示部品変更手段は、前記レイアウト枠の形状を検出し、前記表示部品としての文字のフォントサイズ、文字数から、前記レイアウト枠内に当該文字が納まるか否かを判断し、該文字が納まらないと判断した場合には、警告メッセージを出力するものとすることができる。

かかる画像処理装置によれば、文字のフォントサイズ、文字数から求まる必要な領域の大きさと、レイアウト枠の形状とを比較して、全ての文字がレイアウト枠内に納まるか否かを判断する。その結果、納まらない場合には、警告メッセージを出力する。この警告によって、文字数を低減し、フォントサイズを変更するようユーザに促し、レイアウト編集を容易なものとすることができる。

本発明は、コンピュータプログラムおよびコンピュータプログラムを記録した媒体としても実装することができる。記録媒体としては、フレキシブルディスク，ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ／ＲＡＭ，光磁気ディスク、メモリカード、ハードディスクなどコンピュータが読取り可能な種々の媒体を利用することができる。

以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．画像処理システムの構成：
Ｂ．レイアウト処理：
Ｃ．レイアウト枠自動設定の具体例：
Ｄ．変形例：

Ａ．画像処理システムの構成：
図１は、本発明の一実施例としての画像処理システム１００を示す説明図である。図示するように、この画像処理システム１００は、画像データを備えた画像データベース２０、画像データベース２０から入力した画像データに対して画像処理を実行する画像処理装置としてのパーソナルコンピュータ３０、画像処理の実行をユーザが指示するためのユーザインターフェース４０、画像処理を施した画像を出力するカラープリンタ５０等から構成されている。

画像データベース２０は、デジタルビデオカメラ２１，デジタルスチルカメラ２２，ＤＶＤ２３，ハードディスク２４などの静止画像や動画像を取り扱う機器を有している。本実施例で取り扱う画像データは、デジタルビデオカメラ２１で取得した動画像データである。この動画像データは、静止画像としての複数のフレーム画像から構成されている。以下、動画像データのフレーム画像に対する画像処理について説明するが、例えば、デジタルスチルカメラ２２による連写モードのように複数の静止画像があれば、これを用いるものとしても良い。

ユーザインターフェース４０は、ユーザが画像処理の実行操作を行なうためのキーボード４１やマウス４２、画像処理を実行する前のフレーム画像や画像処理後の静止画像を表示するディスプレイ４３などを備えている。

パーソナルコンピュータ３０（以下、ＰＣ３０と記す）は、画像処理を実行するＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、種々のソフトウェアをインストールするハードディスク３４、画像データベース２０、ユーザインターフェース４０やカラープリンタ５０などの外部機器とやり取りするためのＩ／Ｆ回路部３５等を有し、それぞれ内部バスにより接続されている。

ハードディスク３４には、所定のオペレーションシステムや、このオペレーションシステム上で動作する複数のアプリケーションプログラムがインストールされている。このプログラムは、動画像を構成する複数枚のフレーム画像から所定のフレーム画像を抽出して、そのフレーム画像の動領域を判断し、動領域に応じたレイアウト枠を自動的に設定し、設定したレイアウト枠を文字、図形等を挿入可能な状態で表示し、レイアウト枠に挿入した文字、図形等とフレーム画像とを重ね合わせた合成画像を生成、出力するレイアウト編集のプログラムである。ＣＰＵ３１は、こうしたプログラムをＲＡＭ３３に展開して実行している。

ここで、「動領域」とは、抽出したフレーム画像と、そのフレーム画像に対して時系列で前（または、後）に該当するフレーム画像とを比較して、位置のずれが生じている領域のことを表わしている。また、「レイアウト枠」とは、文字、図形、装飾フレームや画像など種々の表示部品を挿入可能な領域のことを表わしている。本実施例では、動画像の一フレーム画像に合成する表示部品として文字について説明し、特に、文字を入力するレイアウト枠の自動設定を中心に説明する。

Ｂ．レイアウト処理：
図２は、一のフレーム画像に文字を合成するレイアウト処理のフローチャートである。この処理は、ユーザの実行指示により、ＰＣ３０のＣＰＵ３１にて実行される。

処理が開始されると、ＰＣ３０は、デジタルビデオカメラ２１で取得した動画像データを入力する（ステップＳ２００）。入力した動画像データは、ユーザの指示タイミングにより、ディスプレイ４３上に再生される。

ＰＣ３０は、動画像を構成する複数のフレーム画像の中から、画像処理を実行する一のフレーム画像を取得する（ステップＳ２１０）。具体的には、ディスプレイ４３上に再生された動画像データから、ユーザが指定した一のフレーム画像を取得している。

続いて、ＰＣ３０は、取得した一のフレーム画像に対して動領域抽出処理を実行する（ステップＳ２２０）。この処理は、一のフレーム画像内の動領域を抽出し、フレーム画像内を幾つかの領域に分ける処理である。

図３は、フレーム画像内における動領域の抽出の概念を示した概念図である。図示するように、ユーザが指定した一のフレーム画像（「基準」フレーム画像と呼ぶ）に対して、時系列で前のフレーム画像（「対象」フレーム画像と呼ぶ）を抽出し、２枚のフレーム画像間の位置のずれを補正する。フレーム画像間のずれは、例えば、周知の勾配法により検出することができ、検出されたずれ量に基づいて両画像間のずれの補正が行なわれる。図３の例では、対象物（人物）よりも背景の山の輝度変化の勾配の相関が強く、山の位置によって２つの画像が重ね合わされている。

こうしてずれ補正を実行した２つの画像において、対応する画素毎に輝度の差分を求める。差分が所定の閾値以上となる領域を差分領域とする。図３の例では、フレーム画像間でほぼ重なり合う山の部分は、差分が小さく、人物の部分は差分が大きい。よって、人物の部分が差分領域となる。

次に、基準フレーム画像と差分領域の画像とのそれぞれについて、画素値の相対度数分布Ｎｚ，Ｎｄを求め、両相対度数分布の比Ｒ（Ｎｄ／Ｎｚ）を求める。この比Ｒが所定の閾値以上である画素値を、動領域の構成色と推定する。これは、基準フレーム画像に占める割合は小さく、差分領域に占める割合は大きい（すなわち、比Ｒが大きい）画素値は、動領域を構成する画素値である可能性が高いことに基づいている。こうして推定した画素値により、基準フレーム画像から動領域を抽出する。なお、フレーム画像を所定サイズ（例えば、１００ピクセル×１００ピクセル）に、あるいは所定数のブロック（例えば、３×３）に分割して、同様の処理を行なうことで、所定サイズ、所定数ブロック毎に動領域を抽出することができる。動領域として抽出された画素、あるいは、ブロックについて、公知のラベリング法による処理を実行することで、一塊の動領域を認識することができる。

図４は、動領域抽出処理により抽出された動領域に基づいて一のフレーム画像を複数の領域に分割した例を示す説明図である。図示するように、二人の人物が動領域として抽出され、一のフレーム画像は、２つの動領域Ｄ１，Ｄ２と、動領域を除いた非動領域Ｓとの３つの領域に分割される。なお、２つのフレーム画像がずれ補正によりほぼ重なり合い、動領域が存在しない場合もある。

図２に戻り、ステップＳ２２０の動領域抽出処理を経て、ＰＣ３０は、取得した一のフレーム画像内の動領域の有無を判断する（ステップＳ２３０）。

ステップＳ２３０で、動領域が有ると判断した場合には、動領域に応じてレイアウト枠を自動的に設定するレイアウト枠自動設定処理を実行する（ステップＳ２５０）。具体的には、ユーザがマウス４２によるクリック操作で選択した領域が動領域であるか非動領域であるかを判断する（ステップＳ２５０ａ）。ステップＳ２５０ａで、非動領域を選択したと判断した場合には、フレーム画像内の動領域を避けた非動領域の全領域をレイアウト枠として設定する（ステップＳ２５０ｂ）。他方、ステップＳ２５０ａで、動領域を選択したと判断した場合には、その動領域の全領域をレイアウト枠として設定する（ステップＳ２５０ｃ）。

例えば、図４に示したように、３つの領域に分割されているフレーム画像において、ユーザが非動領域Ｓの任意の位置をマウス４２によりクリックしたとする。この場合、動領域Ｄ１，Ｄ２を避けるように非動領域Ｓをレイアウト枠として自動的に設定する。ここでは、レイアウト枠を非動領域Ｓの全領域として設定したが、非動領域Ｓ内の一部分の領域として設定するものとしても良い。

なお、複数動領域が存在する場合には、ユーザに一の動領域を選択させ、選択された動領域を除いた領域にレイアウト枠を設定するものとしても良い。この場合、選択された動領域は注目する領域であると判断し、その動領域を避けてレイアウト枠を設定する。

また、ユーザの選択に拠らず、予めレイアウト枠を常に非動領域に設定するものとしても良いし、所定の条件に従って、複数の領域から一の領域を自動的に選択する処理を設けるものとしても良い。所定の条件としては、例えば、フレーム画像の中央付近にある動領域を注目する領域として選択することを条件としても良いし、各領域ごと、あるいは、各動領域ごとに面積を比較して、例えば面積の大きい領域を注目する領域として選択することを条件としても良い。こうした選択処理によって選択された領域に、レイアウト枠を設定し、または、選択された領域を避けてレイアウト枠を設定する。

以上のように、レイアウト枠自動設定の処理内容には、種々の態様があり、ステップＳ２５０ａからＳ２５０ｃに示した処理は、その一例である。こうした種々の態様のうち、どの態様に従ってレイアウト枠を自動的に設定するかについては、デフォルト値として予め設定している。なお、かかるレイアウト枠の自動設定における具体例（他の態様）については後述する。

他方、ステップＳ２３０で、動領域が無いと判断した場合には、デフォルト値のレイアウト枠をフレーム画像上に設定する（ステップＳ２７０）。この処理では、フレーム画像上の所定位置に所定サイズのレイアウト枠を表示する。ユーザは、表示されたレイアウト枠をそのまま使用する場合には、レイアウト枠内をマウス４２でクリックする。また、レイアウト枠の位置を変更する場合には、レイアウト枠自体をマウス４２でクリックすることで表示されるレイアウト枠中央のハンドルをクリックし、所望する位置に移動して再度クリック操作を行なう。さらに、レイアウト枠のサイズを変更する場合には、レイアウト枠自体をクリックすることで表示されるレイアウト枠の四隅のハンドルのうちの一のハンドルをクリックし、マウス４２によるドラッグ操作を行なう。こうしてレイアウト枠を設定し、次の処理へ移行する。

続いて、設定されたレイアウト枠内に、文字の入力を行なう文字入力処理を実行する（ステップＳ２８０）。具体的には、ユーザインターフェースとしてディスプレイ４３上に表示されたテキストボックス内に文字を入力することで、フレーム画像上に文字を重ねた合成表示を行なう。

例えば、図５に示すように、動領域Ｄが抽出され、動領域Ｄを避けるように（斜線で示す領域に）レイアウト枠が設定されると、ディスプレイ４３上にユーザインターフェースとしてのテキストボックスが表示される。ユーザは、図６に示すテキストボックスＴｂ内に文字を入力する。ユーザの文字の入力と共に、フレーム画像上に文字が合成表示される。この例では、動領域Ｄを避けるようにレイアウト枠を設定しているため、入力した一連の文字列は、動領域Ｄを避けて配置される。なお、図６には、縦書きの場合を例として示したが、横書きに設定することも可能である。また、テキストボックスＴｂに文字入力をすることなく、直接レイアウト枠に文字を入力するものとしても良い。

さらに、この文字入力処理では、入力する文字の色の設定に際し、レイアウト枠の状態に応じて予め設定された文字に関するデフォルト値を変更する処理を行なっている。具体的には、レイアウト枠の状態として枠内の文字の位置に対応する背景色を検出し、その文字のデフォルトの色を、背景色の補色に自動的に変更している。

なお、文字の色は、その文字の位置の背景色に対してコントラストの高い色を候補として選出し、ユーザが選択するものとしても良い。逆に、入力する文字が背景に溶け込むように、コントラストの低い色を候補として選出するものとしても良い。勿論、ユーザの指定色が有る場合には、それを文字の色とするものとすれば良い。また、ここでの処理では、文字の色についてのデフォルト値の変更を行なうが、加えて、レイアウト枠の大きさを検出し、入力する文字のフォントサイズを変更する処理を行なうものとしても良い。

こうしてフレーム画像に文字を合成表示した合成画像を、カラープリンタ５０、外部のメモリ、記録媒体、内部のハードディスク３４などに出力し、一連のレイアウト処理を終了する。

以上のレイアウト処理によれば、フレーム画像内に動領域が存在する場合には、その動領域に対応して、自動的にレイアウト枠を設定する。したがって、レイアウト枠の設定に伴う煩わしい編集作業を軽減することができ、レイアウト編集を容易なものとすることができる。

Ｃ．レイアウト枠自動設定の具体例：
図７は、動領域Ｄを避けるようにレイアウト枠を設定する一例を示した説明図である。この態様では、ユーザの操作、あるいは、デフォルト値として矩形のレイアウト枠を所定の位置に配置する。配置したレイアウト枠が動領域と重なる場合、図示するように、矩形のレイアウト枠の形状を動領域Ｄを除いた形状に自動的に変形する。レイアウト枠をマウス４２ドラッグで移動させる場合や、トラッカーでレイアウト枠のサイズを調整する場合にも、レイアウト枠を変形しながら移動する。こうして所定位置に変形したレイアウト枠を設定する。

上記の処理は、図２のステップＳ２５０に代えて、以下の処理を行なうことで実現することができる。すなわち、図２のステップＳ２３０で動領域が有ると判断した場合には、その動領域を除いた領域の所定位置に、デフォルト値として設定した矩形のレイアウト枠を配置する。続いて、レイアウト枠の配置を決定する指示の入力を待つ。具体的には、ユーザがレイアウト枠内をクリックすることで、その配置を決定している。この配置の決定に際し、ユーザがレイアウト枠を移動した場合には、レイアウト枠が動領域と重なるか否かを判断し、重なる場合には矩形のレイアウト枠から動領域を除いた形状にレイアウト枠自体を変形する。他方、動領域と重ならない場合には、矩形形状のままとする。こうして所望する位置に配置されたレイアウト枠の内部を、ユーザがクリックすることで、レイアウト枠が確定し、図２のステップＳ２８０の文字入力処理に移行する。

こうした態様のレイアウト枠自動設定処理では、注目する動領域と文字とが重なることはない。したがって、動領域に注目してレイアウト枠を設定する場合に有効である。

図８は、レイアウト枠内に入力される文字の表示の態様を異ならせるレイアウト枠を設定する一例を示した説明図である。この態様では、ユーザの操作、あるいは、デフォルト値として矩形のレイアウト枠を所定の位置に設定する。設定したレイアウト枠が動領域Ｄと重なる場合、つまり、レイアウト枠内に動領域が存在する場合に、図示するように、レイアウト枠内を動領域部分ＲＤとその他の部分ＲＳとに分割する。レイアウト枠内の動領域部分ＲＤとその他の部分ＲＳとで、入力される文字の表示の態様を異ならせる。例えば、レイアウト枠内の動領域部分ＲＤは、入力する文字の色を薄い色や半透明に設定し、あるいは、文字を消すように設定する。文字入力処理により、入力された文字が動領域部分ＲＤにかかる場合、その文字は例えば半透明で表示される。

上記の処理は、図２のステップＳ２５０に代えて、以下の処理を行なうことで実現することができる。すなわち、図２のステップＳ２３０で動領域が有ると判断した場合には、まず、ユーザのレイアウト枠の位置を指定する入力を待つ。具体的には、デフォルト値として設定した矩形のレイアウト枠を所定の位置に配置する。続いて、配置されたレイアウト枠内に動領域による境界が有るか否かを判断する。境界が有る場合には、その境界によってレイアウト枠内を分割し、レイアウト枠内の動領域部分に入力される文字の色彩を半透明にするレイアウト枠を設定する。他方、境界が無い場合には、入力される文字の色彩はデフォルト値、あるいはユーザが設定した色彩とするレイアウト枠を設定する。こうしてレイアウト枠を設定し、図２のステップＳ２８０の文字入力処理に移行する。

こうした態様のレイアウト枠自動設定処理では、動領域に注目しつつ、自然な文字列の配置が可能となり、特殊な視覚効果を設定することができる。

図９は、動領域Ｄを避けるように小さめのレイアウト枠を設定する一例を示した説明図である。図示するように、この態様では、図５に示したレイアウト枠と同様、抽出した動領域Ｄを避けた領域をレイアウト枠の設定可能領域とし、その設定可能領域に対して所定量のマージンをつけてレイアウト枠を設定する。つまり、図５のレイアウト枠よりも小さめのレイアウト枠を設定する。こうすることで、入力される文字を読み易いものとし、動領域を明確にする効果を奏する。

なお、上記の処理は、図２のステップＳ２５０に代えて、以下の処理を行なうことで実現することができる。すなわち、図２のステップＳ２３０で動領域が有ると判断した場合には、その動領域を除いた領域をレイアウト枠の設定可能領域として認識する。続いて、設定可能領域の外周から、予めデフォルト値として設定された量を差し引いた領域をレイアウト枠として設定する。こうしてレイアウト枠を設定し、図２のステップＳ２８０の文字入力処理に移行する。かかる処理により、小さめのレイアウト枠を設定することができる。

図１０は、動領域Ｄにかかるように大きめのレイアウト枠を設定する一例を示した説明図である。図示するように、この態様では、動領域Ｄを避けるようにレイアウト枠を設定する態様と基本的には同様であるが、動領域Ｄにかかるようにレイアウト枠を所定の量だけ大きめに設定する。設定したレイアウト枠に入力する文字のうち、動領域にかかる部分に配置される文字は動領域Ｄの下層に隠す。こうすることで動領域を強調することがきる。

なお、上記の処理は、図２のステップＳ２５０に代えて、以下の処理を行なうことで実現することができる。すなわち、図２のステップＳ２３０で動領域が有ると判断した場合には、その動領域を除いた領域をレイアウト枠の設定可能領域として認識する。続いて、設定可能領域の外周に、予めデフォルト値として設定された量を足し合わせた領域をレイアウト枠として設定する。つまり、足し合わせた部分は、動領域の一部と重なることとなる。動領域と重なる部分を上位層とするレイアウト枠を設定し、図２のステップＳ２８０の文字入力処理に移行する。かかる処理により、大きめのレイアウト枠を設定することができる。

図１１は、レイアウト枠の設定可能な領域の一部にレイアウト枠を設定する一例を示した説明図である。図示するように、この態様では、動領域Ｄを避けた領域にレイアウト枠を設定する場合に、入力する文字列が動領域Ｄによって分断されるのを防ぐようにレイアウト枠を設定する。

図１２は、文字列の分断を防ぐレイアウト枠の自動設定処理のフローチャートの一部を示している。この処理は、図２に示したレイアウト処理のステップＳ２５０に代えて実行される。レイアウト処理のステップＳ２３０で、動領域が有ると判断した場合には、図示するレイアウト自動設定処理が実行される（ステップＳ２５２）。処理を開始すると、ＰＣ３０は、レイアウト枠の設定の際の条件設定Ａを入力する（ステップＳ２５２ａ）。具体的には、ユーザが、複数の条件Ａ、例えば、縦書き、横書きなどから、一を選択することで条件設定Ａが行なわれる。

続いて、抽出された動領域を除く領域に対して、条件設定Ａから定まる補正処理Ｂを実行し、補正後の領域をレイアウト枠として設定する（ステップＳ２５２ｂ）。具体的には、予め設定された条件Ａに対応する補正処理Ｂを読み出して、実行している。例えば、条件Ａが「縦書き」であれば、フレーム画像の水平方向の凹凸を補正し、「横書き」であれば、フレーム画像の垂直方向の凹凸を補正する。こうした補正により、レイアウト枠を設定し、文字入力処理へ移行する。

図１１の例では、縦書きの文字列を分断しないように、図５に示したレイアウト枠に対してフレーム画像の水平方向の凹凸を補正したレイアウト枠を設定している。こうすることで文字列が途中で分断され、読み辛くなるのを防止することができる。

また、文字列が入力不可能な程度に狭い領域や複雑な形状の領域の場合にも、レイアウト枠の設定可能な領域の一部に単純な形状のレイアウト枠を設定するものとしても良い。さらに、動領域の形状によって、非動領域が分断されるような場合には、分断された非動領域にそれぞれ別個の独立したレイアウト枠を設定するものとしても良い。こうして複数のレイアウト枠を設定した場合には、入力する文字列に対応して、複数のレイアウト枠から一のレイアウト枠を選択するものとすれば良い。例えば、縦書きの場合には、フレーム画像の上部に位置するレイアウト枠を選択し、横書きの場合には、フレーム画像の左側に位置するレイアウト枠を選択するものとすれば良い。また、最も面積の大きいレイアウト枠を常に選択するものとしても良い。

図１３は、入力の禁止領域を加味したレイアウト枠を設定する一例を示した説明図である。図示するように、この態様では、動領域Ｄを避けた領域であるレイアウト枠の設定可能領域からユーザが入力禁止を所望する領域を除いた部分の領域をレイアウト枠として設定する。図１３の例では、図５に示したレイアウト枠と同様に、レイアウト枠の設定可能領域を求め、ユーザがマウス４２操作で禁止領域Ｋ１，Ｋ２を入力する。レイアウト枠の設定可能領域から禁止領域Ｋ１，Ｋ２を除いた領域をレイアウト枠として設定する。こうすることで、動領域の隙間等の狭い部分に文字を配置するのを回避することができる。

なお、上記の処理は、図２のステップＳ２５０に代えて、以下の処理を行なうことで実現することができる。すなわち、図２のステップＳ２３０で動領域が有ると判断した場合には、その動領域を除いた領域をレイアウト枠の設定可能領域として認識する。続いて、ユーザによる禁止領域の設定の入力を待つ。具体的には、ユーザが、マウス４２の左クリック操作で禁止領域の一端を設定し、所定位置にマウス４２を移動させ再度左クリック操作を行なうことで禁止領域の他端を設定する。こうしてクリックされた２点を対角線とする矩形領域が禁止領域として入力される。こうして設定された禁止領域を、設定可能領域から差し引いた領域をレイアウト枠として設定し、図２のステップＳ２８０の文字入力処理に移行する。かかる処理により、禁止領域を加味したレイアウト枠を設定することができる。

図１４は、最大矩形のレイアウト枠を設定する一例を示した説明図である。図示するように、この態様では、動領域Ｄを避けたレイアウト枠の設定可能領域内に納まる最大矩形や最大楕円形をレイアウト枠として設定する。こうすることで、入力する文字列をまとまりのある読み易いものとすることができる。なお、最大矩形をレイアウト枠として設定した後に、更に、残りの領域から最大矩形の第２のレイアウト枠を設定するものとしても良い。

なお、上記の処理は、図２のステップＳ２５０に代えて、以下の処理を行なうことで実現することができる。すなわち、図２のステップＳ２３０で動領域が有ると判断した場合には、その動領域を除いた領域をレイアウト枠の設定可能領域として認識する。認識した設定可能領域内で最大の矩形領域を検出し、検出された最大矩形をレイアウト枠として設定する。その後、図２のステップＳ２８０の文字入力処理に移行する。かかる処理により、最大矩形のレイアウト枠を設定することができる。

図１５は、動領域内にレイアウト枠を設定する一例を示した説明図である。図示するように、自動車などの動くもの被写体として、カメラで追いながら撮影した場合には、注目する被写体が静止し、その背景が動領域として抽出される。こうした場合には、動領域自体にレイアウト枠を設定することで、非動領域である自動車に注目した画像を生成することができる。なお、上記の処理は、図２のステップＳ２５０ａにおいて、ユーザが動領域を選択することで実現することができる。
Ｄ．変形例：

本実施例の文字入力処理では、テキストボックスＴｂへの文字列の入力と共に、フレーム画像上に文字が合成表示されるものとして説明したが、入力する文字列をテキストボックスＴｂに全て入力した後に、フレーム画像上に合成表示するものとすることもできる。

この場合、入力した文字数と設定されたフォントサイズとから、全文字列の入力に必要な領域のサイズを算定し、レイアウト枠のサイズと比較する。比較の結果、レイアウト枠内に全文字列が納まらない場合には、その旨の警告メッセージをディスプレイ４３上に表示し、文章、フォントサイズの変更をユーザに促すものとすれば良い。また、レイアウト枠内に納まるフォントサイズを算出して、推奨するものとしても良い。

また、本実施例のレイアウト処理では、ユーザの選択、指示を受けて、順次、レイアウト枠の設定、文字等の入力を実行するものとして説明したが、所定のフレーム画像、入力する文字列を最初に設定し、一連の処理を自動的に実行してサンプルとしての合成画像を生成し、それをユーザが編集するものとしても良い。例えば、レイアウト枠は、フレーム画像の略中央に位置する動領域を避けるように設定するものとし、レイアウト枠の大きさに合わせて文字列のフォントサイズを決定するものとすれば良い。サンプルとして生成された合成画像がユーザの所望するものであれば、ユーザはレイアウト編集を行なう必要がない。

以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることはもちろんである。本実施例では、動領域に対応してレイアウト枠を自動的に設定するプログラムをインストールしたパーソナルコンピュータを画像処理装置として説明したが、例えば、プリンタ，デジタルビデオカメラなど種々の機器に本機能を備え、本発明の画像処理装置とするものであっても良い。

本発明の一実施例としての画像処理システムを示す説明図である。 フレーム画像に文字を合成するレイアウト処理のフローチャートである。 フレーム画像内における動領域の抽出の概念を示した概念図である。 動領域に基づいてフレーム画像を複数の領域に分割した例を示す説明図である。 動領域を避けるレイアウト枠を設定する一例を示した説明図である。 ユーザインターフェースの一例を示した説明図である。 動領域を避けるレイアウト枠を設定する一例を示した説明図である。 レイアウト枠内に入力される文字の表示の態様を異ならせるレイアウト枠を設定する一例を示した説明図である。 動領域を避ける小さめのレイアウト枠を設定する一例を示した説明図である。 大きめのレイアウト枠を設定する一例を示した説明図である。 レイアウト枠の設定可能な領域の一部にレイアウト枠を設定する一例を示した説明図である。 文字列の分断を防ぐレイアウト枠の自動設定処理のフローチャートの一部である。 入力禁止領域を加味したレイアウト枠を設定する一例を示した説明図である。 最大矩形のレイアウト枠を設定する一例を示した説明図である。 動領域内にレイアウト枠を設定する一例を示した説明図である。

符号の説明

２０…画像データベース
２１…デジタルビデオカメラ
２２…デジタルスチルカメラ
２３…ＤＶＤ
２４…ハードディスク
３０…パーソナルコンピュータ
３１…ＣＰＵ
３２…ＲＯＭ
３３…ＲＡＭ
３４…ハードディスク
３５…Ｉ／Ｆ回路部
４０…ユーザインターフェース
４１…キーボード
４２…マウス
４３…ディスプレイ
５０…カラープリンタ
１００…画像処理システム

Claims (13)

1. 複数の画像から一の静止画像を抽出し、当該静止画像を処理する画像処理装置であって、
   前記抽出した静止画像において、該静止画像の時系列で近傍に位置する他の静止画像に対して位置のずれが生じている動領域を検出する動領域検出手段と、
   前記検出された動領域に対応して、前記静止画像上に文字、図形等の表示部品を挿入するレイアウト枠を設定するレイアウト枠設定手段と、
   前記表示部品を挿入可能な状態で前記レイアウト枠を表示する表示手段と
   を備えた画像処理装置。
2. 請求項１に記載の画像処理装置であって、更に、
   前記検出された動領域によって、前記静止画像を、少なくとも該動領域と該動領域以外の領域とからなる複数の領域に分割する領域分割手段と、
   前記複数の領域から一の領域を選択する選択手段とを備え、
   前記レイアウト枠設定手段は、前記選択された領域内に前記レイアウト枠を設定する画像処理装置。
3. 請求項２に記載の画像処理装置であって、
   前記選択手段は、前記分割された複数の領域に２以上の前記動領域が含まれる場合には、該動領域のうち、一の動領域を選択する手段であり、
   前記レイアウト枠設定手段は、前記選択された動領域を避けた領域に前記レイアウト枠を設定する画像処理装置。
4. 請求項１に記載の画像処理装置であって、
   前記レイアウト枠設定手段は、前記静止画像の前記動領域を除いた領域内における一まとまりの部分領域を抽出し、該部分領域を前記レイアウト枠として設定する画像処理装置。
5. 請求項４に記載の画像処理装置であって、
   前記レイアウト枠設定手段は、予め設定された所定形状のレイアウト枠と前記動領域とが重なる場合には、該レイアウト枠を、該動領域を除いた形状に変形する画像処理装置。
6. 請求項１に記載の画像処理装置であって、
   前記レイアウト枠設定手段は、所定位置に配置された前記レイアウト枠内に前記動領域による境界が存在する場合には、当該境界で分断された該レイアウト枠内の部分ごとに、前記表示部品の表示の態様を異ならせて設定する画像処理装置。
7. 請求項６に記載の画像処理装置であって、
   前記表示部品の表示の態様は、文字の色彩である画像処理装置。
8. 請求項１ないし７のいずれかに記載の画像処理装置であって、更に、
   前記設定されたレイアウト枠の状態を検出し、該検出値に応じて、前記挿入する前記表示部品の表示の態様を変更する表示部品変更手段を備えた画像処理装置。
9. 請求項８に記載の画像処理装置であって、
   前記表示部品変更手段は、前記レイアウト枠内における前記表示部品としての文字の位置ごとに該文字の背景色を検出し、該検出された背景色に応じて、該文字の表示の態様としての色彩を変更する画像処理装置。
10. 請求項８に記載の画像処理装置であって、
    前記表示部品変更手段は、前記レイアウト枠の形状を検出し、前記表示部品としての文字のフォントサイズ、文字数から、前記レイアウト枠内に当該文字が納まるか否かを判断し、該文字が納まらないと判断した場合には、警告メッセージを出力する手段を備えた画像処理装置。
11. 複数の画像から一の静止画像を抽出し、当該静止画像を処理する画像処理方法であって、
    前記抽出した静止画像の時系列で近傍に位置する他の静止画像を抽出し、
    前記静止画像と前記他の静止画像と画像内容を比較し、
    前記静止画像上であって、前記他の静止画像に対して位置のずれが生じている動領域を検出し、
    前記検出された動領域に対応して、前記静止画像上に文字、図形等の表示部品を挿入するレイアウト枠を設定し、
    前記表示部品を挿入可能な状態で前記レイアウト枠を表示する画像処理方法。
12. 複数の画像から一の静止画像を抽出し、当該静止画像を処理する画像処理装置を制御するコンピュータプログラムであって、
    前記抽出した静止画像の時系列で近傍に位置する他の静止画像を抽出する機能と、
    前記静止画像と前記他の静止画像と画像内容を比較する機能と、
    前記静止画像上であって、前記他の静止画像に対して位置のずれが生じている動領域を検出する機能と、
    前記検出された動領域に対応して、前記静止画像上に文字、図形等の表示部品を挿入するレイアウト枠を設定する機能と、
    前記表示部品を挿入可能な状態で前記レイアウト枠を表示する機能と
    をコンピュータに実現させるコンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムをコンピュータに読み取り可能に記録した記録媒体。

Images