JP2015173407A - 被写体合成画像作成方法、その被写体合成画像を作成するプログラムを記録したコンピュータ読み取り可能な記録媒体、及び合成画像提供方法 - Google Patents

Abstract

【課題】簡単な処理によって、緻密で正確な、移動する被写体を合成した合成画像を生成する被写体合成画像作成方法、及び合成画像提供方法を提供する。【解決手段】前処理手段が、複数の画像に時系列に沿って順序を付与して中間画像とし、最後の順番を付与された中間画像を基準画像として、記憶手段に記憶させるステップＳ１と、背景設定手段が、背景領域を設定するステップＳ２と、特徴点抽出手段が、背景領域から特徴点を抽出するＳ３ステップと、画像補正手段が、基準画像内の特徴点と中間画像内の特徴点との移動量を計算して、中間画像を移動量に応じて移動させて補正画像を作成し、補正画像を補正画像記憶手段に保存させるステップＳ４と、画像合成手段が、記憶手段に保存された基準画像を結果画像として設定し、補正画像記憶手段に保存された補正画像の中から被写体を抽出し、さらに、被写体を結果画像に張り合わせて合成するステップＳ５から構成される。【選択図】図２

Description

本願発明は、複数枚の静止画像又は動画から移動する被写体を抽出して、合成画像を生成する被写体合成画像作成方法、その被写体合成画像を作成するプログラムを記録したコンピュータ読み取り可能な記録媒体、及び合成画像提供方法に関する。

従来から、移動する被写体をカメラ等で連続撮影し、撮影された画像から被写体を抽出して、合成画像を作成する技術が知られている。そして、スポーツ等の分野にこの技術を利用して、技能の向上に役立てる試みがされている。例えば、スキー等のスポーツでは、被写体であるスキーヤーをカメラ等で連続撮影して、撮影された画像から被写体を抽出し、合成画像を生成する。そして、この合成画像で、スキーヤーの動作フォームがどのように変化しているか等を確認して、技能の向上に役立てている。

また、移動する被写体をカメラ等で連続撮影する間、撮影者の手ブレ等の影響を受ける場合がある。そのため、合成画像を作成する際には、手ブレによるズレを補正する処理が行われている。

しかしながら、上記合成処理や補正処理を行い緻密な合成画像を作成するには、複雑な処理が必要であり、それだけ、画像合成処理を実現するソフトウェアや、それを搭載した装置の価格が高くなる問題があった。

また、上記以外にも、移動する被写体を一枚の写真上に記録する従来技術として多重露光方式を採用する場合もある。この方式では、カメラを固定していれば手ブレ補正等をする必要はないが、多重露光方式の特性上、背景及び被写体の画質が低下する問題があった。

そこで、本願発明は、上記問題に鑑み、簡単な処理によって、緻密で正確な、さらには画質の劣化が少ない、移動する被写体を合成した合成画像を生成する被写体合成画像作成方法、その被写体合成画像を作成するプログラムを記録したコンピュータ読み取り可能な記録媒体、及び合成画像提供方法を提供するものである。

上記課題を解決するために、本願発明の被写体合成画像作成方法は、前処理手段が、複数の画像に時系列に沿って順序を付与して中間画像とし、最後の順番を付与された中間画像を基準画像として、記憶手段に記憶させるステップと、背景設定手段が、背景領域を設定するステップと、特徴点抽出手段が、前記背景領域から特徴点を抽出するステップと、画像補正手段が、前記基準画像内の特徴点と前記中間画像内の特徴点との移動量を計算して、前記中間画像を前記移動量に応じて移動させて補正画像を作成し、当該補正画像を補正画像記憶手段に保存させるステップと、画像合成手段が、前記記憶手段に保存された基準画像を結果画像として設定し、前記補正画像記憶手段に保存された補正画像の中から被写体を抽出し、さらに、当該被写体を前記結果画像に張り合わせて合成するステップから構成されることを特徴とする。

上記特徴によれば、基準画像内の特徴点と中間画像内の特徴点との移動量を計算して、中間画像を移動量に応じて移動させて補正画像を取得し、その補正画像から手ブレ等による位置のズレを修正した被写体を容易に取得することができる。そして、この被写体を抽出して結果画像に張り付けることで、位置のズレが修正された、緻密で正確な被写体合成画像を容易に作成することができる。

また、上記特徴によれば、従来とは異なり多重露光方式を採用しないため、この多重露光方式を採用した場合と比較して、背景及び被写体の画質の劣化が少なくなる。

さらに、基準画像は、時間的に最後に撮影された画像であるから、被写体のこれまでの移動の軌跡が画像上に残る。そして、この基準画像を、被写体合成画像のベースとなる結果画像として利用することで、ユーザは、被写体と被写体が移動した軌跡とが緻密に表示された画像を閲覧することができ、被写体とその軌跡との関係を正確に把握することができる。

また、本願発明の被写体合成画像作成プログラムを記録したコンピュータ読み取り可能な記録媒体は、被写体について合成画像を作成するためにコンピュータを、複数の画像に時系列に沿って順序を付与して中間画像とし、最後の順番を付与された中間画像を基準画像として記憶させる前処理手段、背景領域を設定する背景設定手段、前記背景領域から特徴点を抽出する特徴点抽出手段、前記基準画像内の特徴点と前記中間画像内の特徴点との移動量を計算して、前記中間画像を前記移動量に応じて移動させて補正画像を作成し、当該補正画像を補正画像記憶手段に保存させる画像補正手段、前記記憶手段に保存された基準画像を結果画像として設定し、前記補正画像記憶手段に保存された補正画像の中から被写体を抽出し、さらに、当該被写体を前記結果画像に張り合わせて合成する画像合成手段、として機能させることを特徴とする。

上記特徴によれば、コンピュータに、上記本願発明の被写体合成画像作成方法を実行させることができる。

また、本願発明の合成画像提供方法は、クライアントから送信された画像を加工及び合成し、その合成画像をクライアントへ提供する合成画像提供方法において、サーバは、受信手段、記憶手段、前処理手段、背景設定手段、特徴点抽出手段、画像補正手段、画像合成手段、及び送信手段を備えており、前記受信手段が、クライアントから送信された複数の画像を受信するステップと、前記前処理手段が、前記画像に時系列に沿って順序を付与して中間画像とし、最後の順番を付与された中間画像を基準画像として、前記記憶手段に記憶させるステップと、前記背景設定手段が、背景領域を設定するステップと、前記特徴点抽出手段が、前記背景領域から特徴点を抽出するステップと、前記画像補正手段が、前記基準画像内の特徴点と前記中間画像内の特徴点との移動量を計算して、中間画像を前記移動量に応じて移動させて補正画像を作成し、当該補正画像を補正画像記憶手段に保存させるステップと、前記画像合成手段が、前記記憶手段に保存された基準画像を結果画像として設定し、前記補正画像記憶手段に保存された補正画像の中から被写体を抽出し、さらに、当該被写体を前記結果画像に張り合わせて合成するステップと、前記送信手段が、前記合成された結果画像を、クライアントに送信するステップとからなることを特徴としている。

上記特徴によれば、サーバは、クライアントから送られてきた画像を基に、上記本願発明の被写体合成画像作成方法を実行し、その結果得られた被写体合成画像をクライアントに提供することができる。これにより、クライアントはサーバで実行するような被写体合成画像作成処理を行わなくても、簡単に被写体合成画像を取得することができ、利便性が高くなる。

本願発明によれば、簡単な処理によって、緻密で正確な、さらには画質の劣化が少ない、移動する被写体を合成した合成画像を生成することができる。

本願発明の被写体合成画像作成方法を実現するコンピュータ装置を、模式的に示すブロック図である。 本願発明の被写体合成画像の作成処理の一例を示すフローチャートである。 本願発明の被写体合成画像の作成処理を説明する図であって、前処理について説明するものである。 本願発明の被写体合成画像の作成処理を説明する図であって、背景設定処理について説明するものである。 本願発明の被写体合成画像の作成処理を説明する図であって、特徴点抽出処理について説明するものである。 本願発明の被写体合成画像の作成処理を説明する図であって、画像補正処理について説明するものである。 本願発明の被写体合成画像の作成処理を説明する図であって、画像合成処理について説明するものである。 本願発明の被写体合成画像作成方法を実現するコンピュータ装置１００を用いた合成画像提供方法の概念図である。

１００ コンピュータ装置
１１０ 演算処理部
１１１ 前処理手段
１１２ 背景設定手段
１１３ 特徴点抽出手段
１１４ 画像補正手段
１１５ 画像合成手段
１２０ 記憶手段
１３０ 補正画像記憶手段

以下に、本願発明の実施の形態について、図面を用いて説明する。

図１は、本願発明の実施形態である被写体合成画像作成方法を実現するコンピュータ装置１００を、模式的に示すブロック図である。このコンピュータ装置１００は、不図示のＣＰＵを備えた演算処理部１１０（又は、中央制御部という。）、記憶手段１２０、補正画像記憶手段１３０、入力部１４０、出力部１５０、及びメインメモリ１６０を備えている。コンピュータ装置１００は、演算処理部１１０のＣＰＵにより演算処理することでソフトウェア上で実現される、前処理手段１１１、背景設定手段１１２、特徴点抽出手段１１３、画像補正手段１１４、及び画像合成手段１１５を、メインメモリ１６０内に実行可能に記憶されたプログラム１６１の形態で含んでいる。また、モジュール化されてハードウェアと一体化された形態で含むこともできる。

なお、本実施例では、メインメモリ１６０に、本願発明の被写体合成画像作成方法を実行するためのプログラム１６１を読取可能に記憶しているが、これに限られず、プログラム１６１をＣＤ−ＲＯＭ等の外部記録媒体に記録しておき、コンピュータ装置１００がこの外部記録媒体からプログラム１６１を読取り、演算処理部１１０がこのプログラム１６１に基づき演算処理を実行してもよい。

記憶手段１２０及び補正画像記憶手段１３０はメモリ装置（ＲＡＭ等）であり、入力部１４０は撮影者によって撮影された静止画像又は動画を受け取り、演算処理部１１０に入力する装置、出力部１５０は演算処理部１１０により作成された被写体合成画像をユーザに対して出力して提示する装置である。

次に、図２にコンピュータ装置１００を用いた被写体合成画像の作成処理の一例を示すフローチャートを示す。以下の図２では、各ステップで行われる処理について説明し、画像を利用して実際に行われる処理の実施例については、図３以降を参照して後述する。

先ず、図２に示す前処理Ｓ１（ステップ１）では、次工程の背景設定処理Ｓ２で実行される処理のために、入力部１４０から入力された画像情報に対して前処理を行う。

ここで、入力部１４０から入力される画像情報であるが、複数の静止画像の場合と、動画の場合がある。複数の静止画像とは、一定又は不規則な時間間隔で、被写体をデジタルカメラ等で撮影した画像である。一方、動画とは、時間的に連続して（厳密には、極めて短い時間間隔で）被写体をデジタルカメラ等で撮影した画像である。

前処理Ｓ１において、入力された情報が複数の静止画像である場合は、前処理手段１１１が、撮影された時間の経過に沿って、つまり時系列に沿って当該画像に順序を付与する。また、前処理手段１１１は、入力された情報が動画である場合には、この動画から任意の一定間隔で複数の静止画像を切り出す処理を行う。そして、前処理手段１１１は、切り出された静止画像に対して、時系列に沿って順序を付与する。以下、この順序を付された静止画像を中間画像と呼ぶ。

さらに、前処理Ｓ１において、前処理手段１１１は、時系列に沿って付与された順番のうち、最後の番号が付与された中間画像を基準画像として設定する。そして、中間画像と基準画像とを記憶手段１２０に記憶させる処理を行う。

次に、背景設定処理Ｓ２（ステップ２）では、背景設定手段１１２が、前記中間画像から背景領域を設定する処理を行う。まず、背景設定手段１１２が、記憶手段１２０に記憶されている基準画像と各中間画像の差分をとり、その差分から求められた各差分画像を足し合わせる処理を行う。次に、その足し合わせた差分画像から、被写体が移動する領域を判別し、その領域以外の画像部分を背景領域として設定する。

次に、特徴点抽出処理Ｓ３（ステップ３）では、特徴点抽出手段１１３が、基準画像の背景領域から特徴点を抽出する処理を行う。この特徴点とは、特徴点抽出手段１１３が、背景領域の中に存在する、例えば、特徴的な形状をした部分や、コントラストが大きい部分など、適宜、特徴的な部分を抽出することで求められる。

次に、画像補正処理Ｓ４（ステップ４）では、画像補正手段１１４が、基準画像内の特徴点と、各中間画像内の特徴点との位置のズレを計算し、このズレを移動量として設定する。

そして、画像補正手段１１４は、各中間画像を前記移動量に応じて移動させて、手ブレによるズレを修正した補正画像を作成する。さらに、画像補正手段１１４は、この補正画像を補正画像記憶手段１３０に保存させる。

次に、画像合成処理Ｓ５（ステップ５）では、画像合成手段１１５が、記憶手段１２０に保存されている基準画像を、結果画像として設定する。そして、画像合成手段１１５は、補正画像記憶手段１３０に保存された補正画像の中から被写体を抽出して、結果画像に張り合わせて合成画像を作成していく。

次に、終了判定Ｓ６（ステップ６）では、合成画像の作成処理を終了するのか、又は、合成画像を作成し直すのか判定する。この判定は、演算処理部１１０が、合成画像の結果が所定の条件（ユーザに提供できる程度に、精密な合成画像を作成できたことを示す条件など）を満たす場合に終了（Ｙｅｓ判定）とし、満たさない場合は、作成し直す（Ｎｏ判定）とする。また、ユーザが、合成画像を確認して、終了（Ｙｅｓ判定）又は作成し直す（Ｎｏ判定）と判断してもよい。

そして、作成し直す（Ｎｏ判定）とした場合は、演算処理部１１０が、前処理Ｓ１又は特徴点抽出処理Ｓ３から処理を再開させる。例えば、被写体の異なる瞬間の動きを確認したい場合は、動画から静止画像を切り出す時間間隔を変更すればよいので、時間間隔を変更して前処理Ｓ１を実行すればよい。また、手ブレ修正が上手く出来ておらず、合成画像中の被写体の動きが不自然な場合等は、抽出した特徴点を変更するようにして、特徴点抽出処理Ｓ３を実行すればよい。

では、次に、図３から図７を参照して、被写体合成画像作成の手順を、画像を用いてより詳しく説明する。なお、以下の本実施例では、スキーを行うスキーヤーを被写体としているが、これに限定される事はなく、例えば、水泳、モータサイクル、自動車競技など、被写体が移動するものであればよい。

まず、図３を参照して、前処理Ｓ１による処理の説明をする。図３には、入力部１４０から入力される動画データＤを示してある。この動画データＤは、撮影者によりビデオカメラ等で撮像されたデータであり、時間的に連続した（厳密には、極めて短い時間隔で）複数の静止画像Ｐの集合体からなる。なお、静止画像Ｐは、デジタル画像であり、任意の数の画素で構成されている。さらに、各画素には、ＲＧＢに対応する濃度値の情報が与えられており、カラー画像となっている。

前処理手段１１１は、この動画データＤから、一定の時間間隔で（言い換えると、任意のコマおきに）、静止画像Ｐを切り出す。図３では、時間間隔ＴＬで静止画像Ｐを切り出しており、静止画像Ｐ１は、時刻Ｔ１で切り出された静止画像、Ｐ２は時刻Ｔ１から時間間隔ＴＬ後の時刻Ｔ２で切り出された静止画像、静止画像Ｐ３は時刻Ｔ２から時間間隔ＴＬ後の時刻Ｔ３で切り出された静止画像、静止画像Ｐ４は、時刻Ｔ３から時間間隔ＴＬ後の時刻Ｔ４で切り出された静止画像である。このように、静止画像Ｐ１から静止画像Ｐ４は、時間の経過に沿って切り出された静止画像となる。

ここで、図３に示す実施例では、被写体Ｕであるスキーヤーを撮影するものであり、被写体ＵがゲレンデＧ上を上から下へ向けて、蛇行しながら滑るという設定である。静止画像Ｐ１から静止画像Ｐ４は時間の経過に沿っているので、静止画像Ｐ１から静止画像Ｐ４にかけて、被写体Ｕが徐々に下方へ移動していくのが分かる（静止画像Ｐ４は、被写体Ｕがフレーム外へ完全に滑り去った状態である）。また、撮影者は、無意識に被写体Ｕに向けて撮影装置（ビデオカメラやデジタルカメラ等）を動かすため、静止画像Ｐは左右上下にブレることがある。これは、静止画像Ｐ１から静止画像Ｐ４における被写体Ｕの背後の山Ｍ及び空Ｘの位置関係を比較すると、容易に分かる。なお、本実施例では、説明の都合上、手ブレを大きくして各静止画像Ｐのズレを強調している。

そして、前処理手段１１１は、撮影された時間の経過に沿って、つまり時系列に沿って各静止画像Ｐに順序を付与していく。具体的には、切り出された静止画像Ｐの中で、最も過去に撮影された静止画像Ｐ１にＮｏ１（番号１）を付与する。そして、順番に、静止画像Ｐ２にＮｏ２（番号２）、静止画像Ｐ３にＮｏ３（番号３）、静止画像Ｐ４にＮｏ４（番号４）を付与する。ここで、以下では、番号を付与された各静止画像Ｐを中間画像と呼ぶ。

さらに、前処理手段１１１は、最後の順番が付与された中間画像Ｐ４を基準画像として設定する。そして、前処理手段１１１は、今後の処理のために、中間画像Ｐ１、中間画像Ｐ２、中間画像Ｐ３、及び基準画像Ｐ４を記憶手段１２０に記憶させる。

なお、図３では、動画データＤから中間画像Ｐを切り出して処理を行っているが、これに限定されない。例えば、動画データＤを用いない場合は、デジタルカメラ等で被写体を複数回撮影して、その得られた複数の静止画像を入力部１４０に入力する。そして、前処理手段１１１は、入力部１４０に入力された各静止画像を、撮影された時間の経過に沿って（時系列に沿って）、中間画像Ｐ１から基準画像Ｐ４として設定してもよい。

次に、図４を参照して、背景設定処理Ｓ２による処理の説明をする。図４（ａ）から（ｄ）には、記憶手段１２０に記憶されている中間画像Ｐ１から基準画像Ｐ４を、便宜的に並列に並べて示してある。

まず、背景設定手段１１２は、基準画像Ｐ４と各中間画像（Ｐ１からＰ３）との差分を取る。具体的には、基準画像Ｐ４（図４（ｄ）参照）から中間画像Ｐ１（図４（ａ））を引いて差分を取ると、図４（ｅ）に示す差分画像Ｐ５が得られる。なお、本実施例では、説明を容易にするために、空Ｘ、ゲレンデＧ、及び山Ｍのそれぞれの濃度値は一定と仮定している。そのため、図４（ｅ）の差分画像Ｐ５に示すように、基準画像Ｐ４と中間画像Ｐ１との差分値がゼロでない部分のみ、表示されることになる。

同様に、基準画像Ｐ４（図４（ｄ）参照）から中間画像Ｐ２（図４（ｂ））を引いて差分を取ると図４（ｆ）に示す差分画像Ｐ６が得られ、基準画像Ｐ４（図４（ｄ）参照）から中間画像Ｐ３（図４（ｃ））を引いて差分を取ると図４（ｇ）に示す差分画像Ｐ７が得られる。

次に、背景設定手段１１２は、差分画像Ｐ５、差分画像Ｐ６、及び差分画像Ｐ７を全て足し合わせる。その結果、図４（ｈ）に示す合計差分画像Ｐ８が得られる。この合計差分画像Ｐ８に示すように、被写体Ｕが時間の経過と共に、移動していることが分かる。

そして、背景設定手段１１２は、合計差分画像Ｐ８上において、被写体Ｕが移動する移動領域Ｒを判別して、この移動領域以外の部分を背景領域として設定する。このように、被写体Ｕの移動領域以外を背景として設定する理由は、後述する画像補正処理Ｓ４での画像のズレを修正する処理において、ズレを計算する基準となる特徴点が移動してしまうと、正確なズレを計算できなくなることを防止するためである。そのため、移動することのない背景領域から特徴点を抽出するために、被写体Ｕが移動する領域を判別して、この移動領域以外を背景として設定している。

ところで、この移動領域を判別する方法には、様々な方法を採用し得るが、その一例として以下の方法を説明する。背景設定手段１１２は、図４（ｈ）に示すように、被写体Ｕ１の最も高い部分である頭部と被写体Ｕ２の最も高い部分である頭部を結ぶ線と、被写体Ｕ２の最下部であるスキー板先端と被写体Ｕ３の最下部であるスキー板先端を結ぶ線と、被写体Ｕ３の最端部であるスキー板後端と被写体Ｕ１の最端部であるスキー板後端とを結ぶ線とにより囲まれる三角形の領域Ｒを、被写体Ｕの移動領域と設定する。すると、この移動領域Ｒ内は被写体Ｕが移動する可能性が高いため、この領域Ｒ以外は、移動する可能性が低い領域と推定することができ、この領域Ｒ以外の領域を背景領域と設定する。

このように、背景領域を設定する際に、基準画像と各中間画像との差分をとり、得られた差分画像を全て足し合わせた画像を用いることで、処理を容易にすることができる。つまり、差分画像を全て足し合わせた画像を用いることで、撮影された期間に亘って被写体Ｕが移動する様子が一目瞭然となり、この足し合わされた画像から、被写体Ｕが移動しない領域（背景領域）を一度に求めることができる。

なお、実際には、基準画像と各中間画像との差分が、明確（差分値が大きい、又はゼロ）な部分と、曖昧な部分が検出されうる。そのため、差分が、曖昧な部分は、被写体の一部であるのか背景の一部であるのか明確に区別できない可能性がある。そこで、後述する被写体の合成処理時には、この曖昧な部分については、透過合成を行う。つまり、当該部分を、その曖昧さに応じて半透明とすることで、背景と被写体との境界をぼかすことができ、自然な合成画像に仕上がるのである。

では、次に、図５を参照して、特徴点抽出処理Ｓ３による処理の説明をする。図５には、基準画像Ｐ４が示してある。特徴点抽出手段１１３は、この基準画像Ｐ４の背景部分（移動領域Ｒ以外の部分）から、山Ｍの頂点ＭＴを特徴点として抽出する。具体的には、特徴点抽出手段１１３が、基準画像Ｐ４内の背景部分の画素の濃度値を、基準画像Ｐ４の端部を始点として、一定の大きさの窓Ｗを移動させながら、逐次読み取ってゆき、その窓内でコントラストの変化が大きく（つまり、空Ｘと山Ｍの境目は、濃度のコントラストが大きくなる）、特徴的な尖った形状をした頂点ＭＴを、特徴点として抽出する。

なお、特徴点を抽出する方法には、様々な方法を採用することができ、上記実施例に限らない。例えば、背景部分に、建物や木等の静止物体があれば、それらを特徴点として設定してもよく、また、特定の静止物体が無ければ、背景領域の一定範囲の濃度値のパターンを、特徴点として設定してもよい。

では、次に、図６を参照して、画像補正処理Ｓ４による処理の説明をする。図６（ａ）には、基準画像Ｐ４を、図６（ｂ）には中間画像Ｐ１が示してある。基準画像Ｐ４の頂点ＭＴは、先の特徴点抽出処理Ｓ３の処理により抽出されており、その座標は（ａ１、ｂ１）とする。なお、各静止画像中の画素の位置は、ｘｙ座標で表されている。

まず、画像補正手段１１４は、図６（ｂ）に示す中間画像Ｐ１内で、先に抽出された特徴点を検索し特定する。検索の方法は、様々な方法を採用できるが、例えば、特徴点抽出処理Ｓ３で行った特徴点の抽出方法と同様に、画像補正手段１１４が、中間画像Ｐ１内の画素の濃度値を、中間画像Ｐ１の端部を始点として、一定の大きさの窓Ｗを移動させながら、逐次読み取ってゆき、頂点ＭＴと一致する濃度値パターンを検索してゆく。その結果、頂点ＭＴの濃度値パターンと一致する頂点ＭＴ１を特定できる。なお、この頂点ＭＴ１の座標は（ａ２、ｂ２）である。

次に、画像補正手段１１４は、基準画像Ｐ４の頂点ＭＴと、中間画像Ｐ１の頂点ＭＴ１との位置のズレを計算し、移動量とする。具体的には、頂点ＭＴ１から頂点ＭＴの座標値を引けばよく、（ａ２−ａ１、ｂ２−ｂ１）が移動量（図６（ａ）中の移動ベクトルを参照）となる。したがって、基準画像Ｐ４を基準として、中間画像Ｐ１は、移動量（ａ２−ａ１、ｂ２−ｂ１）だけ手ブレ等によって、ズレた状態で撮影された事になる。

次に、画像補正手段１１４は、ズレを修正するため、中間画像Ｐ１を移動量に応じて移動させる。具体的には、中間画像Ｐ１を、先に求めた移動量分だけ逆に移動させて、ズレを修正する。つまり、移動量分だけ戻すために、中間画像Ｐ１上の全ての各画素の座標に、−（ａ２−ａ１、ｂ２−ｂ１）だけ足し合わせる（つまり、各座標−移動量を計算する）。すると、中間画像Ｐ１全体が、ズレた方向とは反対へ戻るようにスライドされ、図６（ｃ）の補正画像Ｐ１´が得られる。

結果的に、この補正画像Ｐ１´は、被写体及び被写体の軌跡以外の部分（言い換えるならば、中間画像Ｐ１から基準画像Ｐ４にかけて変化していない部分）が、基準画像Ｐ４と一致する事になる。

次に、この補正画像Ｐ１´を補正画像記憶手段１３０へ保存する。なお、補正画像Ｐ１´には、比較しやすいように説明の都合上、修正前の中間画像Ｐ１の画像が仮想線にて示してある。

ここで、中間画像Ｐ１中の被写体Ｕ１のｘｙ座標を（ａ３、ｂ３）とすると、補正画像Ｐ１´中のズレを修正した被写体Ｕ１´のｘｙ座標は、「被写体Ｕ１の座標−移動量」より、（ａ３−ａ２＋ａ１、ｂ３−ｂ２＋ｂ１）となる。同様に、補正画像Ｐ１´中のズレを修正した頂点ＭＴ１´のｘｙ座標は、「頂点ＭＴ１の座標−移動量」より、（ａ２−ａ２＋ａ１、ｂ２−ｂ２＋ｂ１）＝（ａ１、ｂ１）となり、頂点ＭＴと頂点ＭＴ１´の座標は等しくなることが分かる。

次に、画像補正手段１１４は、上記図６（ａ）から（ｃ）で説明したのと同様の処理を、基準画像Ｐ４と中間画像Ｐ２、及び基準画像Ｐ４と中間画像Ｐ３に対しても行う。なお、同様の処理につき、以下では詳細な説明は省略する。

まず、図６（ｄ）には基準画像Ｐ４を、図６（ｅ）には中間画像Ｐ２が示してあり、画像補正手段１１４は、基準画像Ｐ４の頂点ＭＴと中間画像Ｐ２の頂点ＭＴ２との位置のズレを移動量として算出し、そのズレを戻すため、中間画像Ｐ２をその移動量分だけ逆に移動させる。すると、図６（ｆ）に示す補正画像Ｐ２´が得られる。図６（ｆ）では、ズレの修正後の頂点ＭＴ２´、ズレの修正後の被写体Ｕ２´が示してある。そして、この補正画像Ｐ２´を補正画像記憶手段１３０へ保存する。

同様に、図６（ｇ）には基準画像Ｐ４を、図６（ｈ）には中間画像Ｐ３が示してあり、画像補正手段１１４は、基準画像Ｐ４の頂点ＭＴと中間画像Ｐ３の頂点ＭＴ３との位置のズレを移動量として算出し、そのズレを戻すため、中間画像Ｐ３をその移動量分だけ逆に移動させる。すると、図６（ｉ）に示す補正画像Ｐ３´が得られる。図６（ｉ）では、ズレの修正後の頂点ＭＴ３´、ズレの修正後の被写体Ｕ３´が示してある。そして、この補正画像Ｐ３´を補正画像記憶手段１３０へ保存する。

では、次に、図７を参照して、画像合成処理Ｓ５による処理の説明をする。

まず、画像合成手段１１５は、記憶手段１２０に保存されている基準画像Ｐ４を、図７（ａ）に示すように、結果画像として設定する。そして、画像合成手段１１５は、補正画像記憶手段１３０に保存された補正画像Ｐ１´から、ズレが修正された被写体Ｕ１´を抽出する。

具体的には、画像合成手段１１５が、補正画像Ｐ１´（図６（ｃ）参照）と基準画像Ｐ４（図６（ａ）参照）との差分を取る。そして、この補正画像Ｐ１´と基準画像Ｐ４は、被写体Ｕ１´及び被写体の軌跡Ｃ以外の部分は一致しているので、互いに差分を取ると、被写体Ｕ１´及び被写体の軌跡Ｃが差分値として抽出される。ここから、画像合成手段１１５は被写体Ｕ１´のみを切り取る。このように、ズレが修正された被写体を切り出す処理は、補正画像と基準画像の差分を取るという簡単な処理で実行することができる。

次に、画像合成手段１１５は、切り取った被写体Ｕ１´を図７（ｂ）に示すように、結果画像Ｐ４上の最前面へ張り付ける。その際、ズレの修正効果を維持させるために、補正画像Ｐ１´上における被写体Ｕ１´の座標値を変えずに張り付けるので、図７（ｂ）内における被写体Ｕ１´の座標は、（ａ３−ａ２＋ａ１、ｂ３−ｂ２＋ｂ１）となる。

引き続き、画像合成手段１１５は上記と同様の処理を、補正画像Ｐ２´、及び補正画像Ｐ３´に対しても行う。なお、同様の処理につき、以下では詳細な説明は省略する。

画像合成手段１１５は、補正画像Ｐ２´と基準画像Ｐ４との差分を取り、ズレが修正された被写体Ｕ２´を抽出し（切り出し）、図７（ｃ）に示すように、被写体Ｕ２´を結果画像Ｐ４上の最前面へ張り付ける。同様に、補正画像Ｐ３´と基準画像Ｐ４との差分を取り、ズレが修正された被写体Ｕ３´を抽出し（切り出し）、図７（ｄ）に示すように、被写体Ｕ３´を結果画像Ｐ４上の最前面へ張り付ける。そして、すべての被写体が張り付けられた図７（ｄ）の画像が、完成した合成画像となる。

このように、基準画像Ｐ４を合成画像のベースとして利用することで、被写体であるスキーヤーが滑り切った後の軌跡Ｃ（シュプール）を確認することができる。特に、スキー競技等の移動コースが重要なスポーツにおいては、被写体Ｕと軌跡Ｃが正確に確認できることが、技能向上に大いに役に立つ。

また、被写体Ｕ１´から被写体Ｕ３´の順に、時系列に沿って重ねるように張り付けていくことで、撮影された状態が古いものが後面へ、撮影された状態が新しいものが前面へ表示されるようになる。したがって、被写体の動作の流れ（例えば、スキーヤーのフォームの変化）を確認しやすくなる。

次に、図８では、本願の被写体合成画像作成方法を実現するコンピュータ装置１００を用いた合成画像提供方法について説明する。

合成画像提供方法は、サーバ・クライアントシステムで実現されるものであり、図８に示すように、サーバとしてのコンピュータ装置１００と、クライアントとしての端末装置２００（携帯電話等）とが、インターネット網と移動回線網とからなるネットワークを介して通信可能に接続されたシステムで構成される。

クライアント端末装置２００は、主に、中央制御部２１０、送信部２２０、撮影装置（カメラ）２３０、受信部２４０、及び表示部（ディスプレイ）２５０から構成されている。中央制御部２１０は、不図示であるがＣＰＵとメモリ装置を備えている。また、サーバであるコンピュータ装置１００の入力部１４０は受信部１４１を備え、出力部１５０は送信部１５１を備えている。

以下では、本願発明の合成画像提供方法の処理手順を説明する。まず、ユーザは被写体を、撮影装置２３０により撮影する。そして、中央制御部２１０は、撮影された動画又は静止画像を送信部２２０から受信部１４１へ送信する。

次に、サーバであるコンピュータ装置１００は、受信部１４１で受信した動画又は静止画像を入力部１４０を介して、演算処理部１１０に入力する。そして、演算処理部１１０は、図２で示す各処理を実行する（より詳しくは、図３から図７で説明した処理と同様である）。コンピュータ装置１００は得られた移動体合成画像を、出力部１５０を介して送信部１５１から、クライアント端末装置２００の受信部２４０へ送信する。

そして、クライアント端末装置２００の中央制御部２１０は、受信部２４０で受信した移動体合成画像を表示部２５０に表示し（この時点では、サンプル画像として表示する。）、ユーザに確認させる。ユーザは確認後、移動体合成画像を購入する場合は、表示部２５０上に表示される購入ボタン等を押し、サービス利用代金の支払契約を締結する。その後、中央制御部２１０は、サンプル画像としてではなく、正式に利用できる移動体合成画像を表示部２５０に表示する。

なお、本願発明は、上記の実施例に限定されず、特許請求の範囲に記載された範囲、実施形態の範囲で、種々の変形例、組み合わせが可能であり、これらの変形例、組み合わせもその権利範囲に含むものである。また、合成に使用する中間画像や被写体の数に限度はなく、適宜、増減することができる。

Claims (3)

1. 前処理手段が、複数の画像に時系列に沿って順序を付与して中間画像とし、最後の順番を付与された中間画像を基準画像として、記憶手段に記憶させるステップと、
   背景設定手段が、背景領域を設定するステップと、
   特徴点抽出手段が、前記背景領域から特徴点を抽出するステップと、
   画像補正手段が、前記基準画像内の特徴点と前記中間画像内の特徴点との移動量を計算して、前記中間画像を前記移動量に応じて移動させて補正画像を作成し、当該補正画像を補正画像記憶手段に保存させるステップと、
   画像合成手段が、前記記憶手段に保存された基準画像を結果画像として設定し、前記補正画像記憶手段に保存された補正画像の中から被写体を抽出し、
   さらに、当該被写体を前記結果画像に張り合わせて合成するステップから構成される被写体合成画像作成方法。
2. 被写体について合成画像を作成するためにコンピュータを、
   複数の画像に時系列に沿って順序を付与して中間画像とし、最後の順番を付与された中間画像を基準画像として記憶させる前処理手段、
   背景領域を設定する背景設定手段、
   前記背景領域から特徴点を抽出する特徴点抽出手段、
   前記基準画像内の特徴点と前記中間画像内の特徴点との移動量を計算して、前記中間画像を前記移動量に応じて移動させて補正画像を作成し、当該補正画像を補正画像記憶手段に保存させる画像補正手段、
   前記記憶手段に保存された基準画像を結果画像として設定し、前記補正画像記憶手段に保存された補正画像の中から被写体を抽出し、さらに、当該被写体を前記結果画像に張り合わせて合成する画像合成手段、
   として機能させるための被写体合成画像作成プログラムを記録したコンピュータ読み取り可能な記録媒体。
3. クライアントから送信された画像を加工及び合成し、その合成画像をクライアントへ提供する合成画像提供方法において、
   サーバーは、受信手段、記憶手段、前処理手段、背景設定手段、特徴点抽出手段、画像補正手段、画像合成手段、及び送信手段を備えており、
   前記受信手段が、クライアントから送信された複数の画像を受信するステップと、
   前記前処理手段が、前記画像に時系列に沿って順序を付与して中間画像とし、最後の順番を付与された中間画像を基準画像として、前記記憶手段に記憶させるステップと、
   前記背景設定手段が、背景領域を設定するステップと、
   前記特徴点抽出手段が、前記背景領域から特徴点を抽出するステップと、
   前記画像補正手段が、前記基準画像内の特徴点と前記中間画像内の特徴点との移動量を計算して、中間画像を前記移動量に応じて移動させて補正画像を作成し、当該補正画像を補正画像記憶手段に保存させるステップと、
   前記画像合成手段が、前記記憶手段に保存された基準画像を結果画像として設定し、前記補正画像記憶手段に保存された補正画像の中から被写体を抽出し、さらに、当該被写体を前記結果画像に張り合わせて合成するステップと、
   前記送信手段が、前記合成された結果画像を、クライアントに送信するステップとからなる合成画像提供方法。

Images