JP2006203443A - 画像合成装置及び画像合成プログラム - Google Patents

Abstract

【課題】
移動量の少ないモーションについても全体的な動きを把握することが可能な画像合成装置を提供すること。
【解決手段】
本発明における画像合成装置は、動きを伴う被写体の画像合成を行う画像合成装置であって、被写体画像を含む複数の画像データを入力する画像入力部と、画像入力部により入力された画像データから被写体画像を抽出する画像抽出部と、画像抽出部により抽出された被写体画像の一部又は全部の表示座標位置を変えて画像合成を行う画像合成部を備えた画像合成装置である。このような構成により、移動量の少ないモーションについても全体的な動きを把握することが可能な画像合成装置を提供することが可能となる。
【選択図】図２

Description

本発明は、画像合成装置及び画像合成プログラムに関するものであり、より詳細には、カメラ等で撮影した動画編集に用いられる画像合成装置及び画像合成プログラムに関する。

スポーツ中継放送において選手の動きを視聴者に分かりやすく表現することは、かなり重要なことであり、そのために多くの技術が研究されている。例えば、スローモーション再生により選手の動きを遅くして動きが見えやすいようにしたり、マルチモーション再生により所定の動作を行う選手の画像を抽出するとともに、抽出した選手の画像のうち、複数の静止画像を逐次重ねて背景画像に表示したりする手法は、実際のスポーツ中継放送にも利用されている。

マルチモーション再生は、選手の画像を重ね合わせて表示することにより、残像効果で選手の動きが分かりやすいという利点がある。しかしながら、時間経緯に従って順次画像を重ね合わせていくため、野球におけるバットスイングやゴルフにおけるショット等の選手の移動量の少ない動きに対してマルチモーションを適用すると画像が重なり合ってしまい、ヒッティングポイントなどの注目する時点の画像が見えなくなるという問題点があった。

これに対して、時間経緯に関係なく指定した画像を一番手前に表示するという手法が提案されている（例えば、特許文献１など）。この方法によれば、ヒッティングポイントなどの指定した時点の画像が一番手前に表示されるため、選手の画像が重なり合った場合でも、重要な時点の画像が見えなくなることはなくなり、選手の動きが分かりやすくなる。

しかしながら、このような方法を用いても、指定した特定の画像だけははっきり見ることができるものの、移動量の少ない動きについてのマルチモーション再生は抽出した選手の画像が重なり合っているため、重なり合った画像のうち、奥に描画されている画像は全体を見ることができず、全体的な動きが見えにくいという問題点があった。
特開２００３−３０４４４４号公報

このように、従来技術によるマルチモーションは、移動量の少ない動きについては、各モーションの画像が重なり合ってしまい、見えにくくなってしまうという問題点があった。

本発明は、このような問題点を解決するためになされたものであり、移動量の少ないモーションについても全体的な動きを把握することが可能な画像合成装置を提供することを目的とする。

本発明における画像合成装置は、動きを伴う被写体の画像合成を行う画像合成装置であって、被写体画像を含む複数の画像データを入力する画像入力部と、前記画像入力部により入力された画像データから前記被写体画像を抽出する画像抽出部と、前記画像抽出部により抽出された前記被写体画像の一部又は全部の表示座標位置を時系列で連続的に同方向に対してずらして画像合成を行う画像合成部を備えた画像合成装置である。このような構成により、移動量の少ないモーションについても全体的な動きを把握することが可能な画像合成装置を提供することが可能となる。

前記画像合成装置は、更に、表示座標位置情報を入力する入力部を備え、前記画像合成部は、前記入力部により入力された表示座標位置情報に基づいて表示座標位置を決定することを特徴としてもよい。このようにすることにより、ユーザーの指定する位置に表示座標を対応させることが可能となる。

前記画像合成部は、前記表示位置座標情報に基づいて合成可能な被写体の数を決定し、決定された数の被写体画像の合成を行うことを特徴としてもよい。このようにすることにより、間隔を保ちながら合成処理を行うことが可能となり、動きを把握しやすくなる。

前記画像合成装置は、更に、前記被写体画像の中から基準画像を決定する基準画像決定手段を備え、前記画像合成手段は、前記基準画像決定手段により決定された基準画像の前の画像に対しては順次上方に前記被写体画像が重ねられる上重ね処理を行い、前記基準画像の後の画像に対しては順次下方に前記被写体画像が重ねられる下重ね処理を行うことを特徴としてもよい。このようにすることにより、指定した画像が上書きされることがなくなり、視認性が増す。

本発明における画像合成プログラムは、動きを伴う被写体の画像合成をコンピュータに実行させる画像合成プログラムであって、被写体画像を含む複数の画像データを入力するステップと、入力した前記画像データから前記被写体画像を抽出するステップと、抽出された前記被写体画像の一部又は全部の表示座標位置を時系列で連続的に同方向に対してずらして画像合成を行うステップを実行させる画像合成プログラムである。このようにすることにより、移動量の少ないモーションについても全体的な動きを把握することが可能な画像合成装置を提供することが可能となる。

前記画像合成を行うステップは、表示位置座標を入力するステップと、入力された表示座標位置情報に基づいて表示座標位置を決定するステップを有することを特徴としてもよい。このようにすることにより、ユーザーの指定する位置に表示座標を対応させることが可能となる。

前記画像合成を行うステップは、前記表示位置座標情報に基づいて合成可能な被写体の数を決定するステップと、前記合成可能な被写体の数を決定するステップにおいて決定された数の被写体画像の合成を行うステップを有することを特徴としてもよい。このようにすることにより、間隔を保ちながら合成処理を行うことが可能となり、動きを把握しやすくなる。

前記画像合成を行うステップは、前記被写体画像の中から基準画像を決定する基準画像を決定するステップと、前記基準画像決定手段により決定された基準画像の前の画像に対しては順次上方に前記被写体画像が重ねられる上重ね処理を行うステップと、前記基準画像の後の画像に対しては順次下方に前記被写体画像が重ねられる下重ね処理を行うステップを有することを特徴としてもよい。このようにすることにより、指定した画像が上書きされることがなくなり、視認性が増す。

本発明によれば、移動量の少ないモーションについても全体的な動きを把握することが可能な画像合成装置を提供することが可能となる。

発明の実施の形態１．
図１は、本発明の実施の形態１における画像合成装置のハードウェア構成を示すブロック図である。画像合成装置１００は、ＣＰＵ（Central Processing Unit）１０１とＲＡＭ（Random Access Memory）１０４とを有している。ＣＰＵ１０１とＲＡＭ１０４とは、バス１３０を介して補助記憶装置としてのＨＤＤ（Hard Disk Drive）１１３に接続される。ＨＤＤ１１３、ＣＤドライブ１２６等の記憶媒体駆動装置は、ＩＤＥコントローラ１２５などの各種コントローラを介してバス１３０に接続される。

ＣＰＵ１０１は、画像合成装置１００における各種制御を実行する中央演算処理装置であり、各種制御はＲＡＭ１０４に読み込まれたプログラムを実行することにより行われる。ＲＡＭ１０４は、プログラムやプログラム実行に必要なデータを格納する記憶手段である。

キーボードマウスコントローラ１０５は、ユーザーによるキーボード１０６やマウス１０７の入力を検出し、検出結果をＣＰＵ１０１に出力する。キーボード１０６は複数のボタンを有し、ボタンの押下によりユーザーが入力を行うための入力手段である。キーボード１０６は、主に単語や文章などの文字列の入力に利用される。マウス１０７は、ユーザーの操作により画面上の位置を指定し、ボタンの押下により指定した位置に基づいた入力を行うための入力手段である。マウス１０７は主にＧＵＩ（Graphical User Interface）などの画面上に表示された情報を選択し決定するためのポインティングデバイスとして利用される。

ビデオコントローラ１０８は、接続された表示装置（図示せず）に視覚情報を表示するための制御を行う。ＶＲＡＭ１０９は、表示する視覚情報に必要なデータを記憶するための記憶手段である。ＶＲＡＭ１０９は、ＲＡＭ１０４によりその機能を実現してもよいし、専用のＲＡＭであってもよい。

ＲＯＭ１１４は、画像合成装置１００における各種制御を実行するためのプログラムを格納するための記憶手段である。ＲＯＭ１１４は、読み出し専用のメモリであり書き換えが不可能であるため、画像合成装置１００の電源投入直後などの重要なハードウェア制御のプログラムの格納等に主に利用される。

シリアルポート１１５、パラレルポート１１６は、プリンタやスキャナ、デジタルカメラ等の周辺機器を接続し、接続した周辺機器とのデータの入出力を行うためのポートである。シリアルポート１１５、パラレルポート１１６の代わりにＵＳＢ（Universal Serial Bus）等に周辺機器を接続するようにしてもよい。

通信アダプタ１１８は、インターネットなどのネットワークと接続し、接続したネットワークとデータの送受信を行うためのアダプタである。ネットワークとの接続はケーブルによる有線接続であってもよいし、無線による接続であってもよい。

ＩＤＥコントローラ１２５は、ＨＤＤ１１３やＣＤドライブ１２６とのデータの入出力を制御するコントローラである。ＨＤＤ１１３は、オペレーティングシステムと共同してＣＰＵ１０１等に命令を与え、本実施形態を実施するためのプログラムやプログラム実行時に必要なデータを記憶することができる。ＣＤドライブ１２６は、ＣＤ−ＲＯＭに記憶されたプログラムやプログラム実行時に必要なデータの読み込みを行う。これらのプログラムは圧縮し、又、複数に分割して記憶することができる。

図１に示すハードウェア構成は一般的なコンピュータ・システムと同等である。つまり、画像合成装置１００は、一般的なコンピュータ・システムが利用可能である。上記構成は必要に応じて省略することができる。

図２は、本発明の実施の形態１における画像合成装置の機能構成を示すブロック図である。画像合成装置１００は、画像記憶部２、背景生成部３、画像抽出部４、画像合成部５、画像入力部１を備える。

画像記憶部２は、入力した画像データ及び背景生成部３、画像抽出部４、画像合成部５により生成または抽出された画像データを格納するための記憶手段でありＲＡＭ１０４やＨＤＤ１１３により実現される。ここで格納する画像データは、カメラ等から入力する入力画像データ、背景生成部３の生成する背景画像データ、画像抽出部４の抽出する被写体画像データ、画像合成部５の生成する合成画像データである。

背景生成部３は、入力した入力画像データから被写体の画像を除去し、背景画像データを生成する。生成した背景画像データは、画像合成部５により被写体画像データとの画像合成が行われ、最終的に合成画像データが生成される。画像抽出部４は、入力した画像データから被写体の画像のみを抽出する。画像合成部５は、背景生成部３の生成した背景画像データと画像抽出部４の抽出した被写体画像データを合成し、合成画像データの生成を行う。画像入力部１は、画像データの入力を行う。

背景生成部３、画像抽出部４、画像合成部５、画像入力部１の各種制御は、ＨＤＤ１１３やＣＤドライブ１２６に格納されたプログラムをＲＡＭ１０４に読み込みＣＰＵ１０１が実行することにより行われる。

続いて、図３に示すフローチャートを用いて、本発明の実施の形態１における画像合成処理の流れについて説明する。

まず、画像入力部１が入力画像データを入力し、画像記憶部２に格納する（Ｓ１１）。入力する画像データは、動画データ等の動きのある被写体が映っている画像データである。図４に入力画像データの例を示す。この例では、バットをスイングする人物を含む画像６枚で入力画像データが構成されている。

入力画像データは、画像合成装置１００にシリアルポート１１５やパラレルポート１１６にカメラ等の撮影手段を接続してカメラから直接入力するようにしてもよいし、すでに撮影済みのaviファイルなどの動画データをＨＤＤ１１３やＣＤドライブ１２６から入力するようにしてもよい。

次に、画像合成を行う条件を設定する（Ｓ１２）。ここで設定する条件は、背景画像を自動的に生成するか、ユーザーにより指定するかの設定、マルチモーション再生時の被写体の表示位置と表示間隔、合成を行う開始画像と終了画像の指定、最も手前に表示する画像の指定等である。ここでの条件設定は、マウス１０７やキーボード１０６により選択できるようにしてもよいし、予め決定しておきプログラムにより自動的に設定されるようにしてもよい。設定した条件は、ＣＰＵ１０１によりＲＡＭ１０４などの記憶手段に格納される。

条件の設定が完了すると、合成を開始する。まず、先ほどの条件設定時に背景画像を自動的に生成するか、ユーザーにより指定するかを判定する（Ｓ１３）。このとき、背景画像の自動生成に設定した場合は、背景生成部３が背景画像の自動生成を行う（Ｓ１４）。背景生成部３は、生成した背景画像データを画像記憶部２に格納する。背景生成部３は、ユーザーにより指定した画像を背景画像とする場合は、指定された画像を背景画像として画像記憶部２に格納する（Ｓ１５）。このとき、被写体を見やすくするため背景を単色にするようにしてもよい。

背景画像データが画像記憶部２に格納されると、画像抽出部４が入力画像データから被写体画像データを抽出する（Ｓ１６）。画像抽出部４による被写体画像データの抽出は、マウス１０７やキーボード１０６により被写体画像を直接指定するようにしてもよいし、画像記憶部２に格納された背景画像との差分を抽出することにより自動的に行ってもよい。また、入力画像データ内の色情報を利用して、特定の色情報を持つ箇所を被写体画像データとして抽出するようにしてもよい。画像抽出部４は、抽出した被写体画像データを画像記憶部２に格納する。画像抽出部４は、入力画像データの指定した画像全てについて被写体画像データの抽出を行う。

画像抽出部による被写体画像データの抽出が完了すると、画像合成部５は、画像記憶部２に格納された背景画像データと、被写体画像データの合成を行う（Ｓ１７）。図５は、本発明の実施の形態１における画像合成前の画像データと画像合成後の画像データを示す図である。図５に示す２ａ〜２ｆがそれぞれ合成前の被写体画像であり、２０が合成後の合成画像データである。画像合成部５は、合成した画像データを画像記憶部２に格納する。

図５の２ａ〜２ｆはバットスイングの動作であり、本来は２ａ〜２ｆの被写体は全て同じ立ち位置であるが、合成画像生成時には２０に示すように表示位置を実際の立ち位置とは関係なくずらして表示を行う。表示位置は、条件設定時にマウス１０７やキーボード１０６により設定するようにしてもよいし、予めプログラムにより決定しておいてもよい。

表示位置の決定方法について例を挙げて説明する。合成を行うそれぞれの被写体画像の表示位置を１つずつマウス１０７やキーボード１０６により入力するようにしてもよいが、被写体画像の数が多い場合は１つずつ入力するのは手間がかかる。そこで、マウス１０７やキーボード１０６により表示開始位置及び表示間隔を指定し、画像合成部５が表示開始位置から表示間隔を均等にずらしながら合成画像データを生成するようにしてもよい。この場合、画像入力部１が入力した表示開始位置及び表示間隔を画像記憶部２に格納しておき、画像合成部５は画像記憶部２に格納した表示開始位置及び表示間隔を入力し、入力した表示開始位置に最初の被写体画像を表示し、表示間隔の値だけ変化させながら続く被写体画像を表示する。図６は、表示位置及び表示間隔を指定するときの入力用画面及び表示結果の例を示す図である。このようにすることにより、被写体画像の数に関係なく、表示開始位置と表示間隔を指定するだけで均等に位置をずらして被写体画像を表示することが可能となる。

また、画像合成部５が被写体画像データから被写体の表示サイズ情報を抽出し、抽出した表示サイズ情報に基づいて自動的に表示間隔を計算し、表示間隔を均等にずらしながら合成画像データを生成するようにしてもよい。このようにすることにより、ユーザーが入力作業を行うことなく、自動的に位置をずらして被写体画像を表示することが可能となる。

画像合成部５が画像合成を行うときに最も手前に表示する画像の指定を行った場合には、指定した被写体画像を最も手前に表示するようにする。つまり、被写体画像が重なっている場合、指定した画像の前の画像に対しては順次上方に被写体画像が重ねられる上重ね処理を行い、指定した画像の後の画像に対しては順次下方に被写体画像が重ねられる下重ね処理を行い表示する。

このようにして、各モーションの被写体画像データの表示位置を変えて合成処理を行うことにより、重ね合わせたときには見えなかった被写体画像データを見ることが可能となり、モーション全体を分かりやすく見ることが可能となる。

発明の実施の形態２．
発明の実施の形態１では、抽出した被写体画像データの全てについて合成処理を行い、１つの合成画像データとしたが、被写体画像データの数が多い場合は１画面内に表示しきれない場合がある。発明の実施の形態２では、そのような場合にスクロールさせて表示を行う。

発明の実施の形態２における画像合成装置のハードウェア構成及び機能構成については発明の実施の形態１と同様であり、ここでは説明を省略する。

発明の実施の形態２における画像合成装置の処理の流れについて、発明の実施の形態１と異なる箇所について説明する。ここでも入力画像は、発明の実施の形態１同様、図４に示すものを例として利用する。まず、画像合成を行う条件を設定するときに、「原点」「動作開始点」「スクロール開始点」の３つを設定する。図７は、本発明の実施の形態２における画像合成を行う条件を設定する画面の例を示す図である。図７に示すように、これらの点は、マウス１０７等のポインティングデバイスを用いて画面上の点を指定することにより入力される。

原点は、合成が開始される画像の基準点を示す。動作開始点は、合成を開始する位置を示す。スクロール開始点は、表示する被写体画像がこの位置より動作開始点と反対側に越えたらスクロール処理を行う境界位置を示す。

合成処理は、条件設定画面において設定した各点の情報に基づいて行われる。まず、原点を基準として動作開始点の位置から指定した間隔ずつずらして画像合成を行う。このときの間隔は発明の実施の形態１と同様にユーザーが入力してもよいし、先ほど入力した「原点」「動作開始点」「スクロール開始点」に基づいて自動的に計算するようにしてもよい。

このとき、図８に示すように２ａ〜２ｃの３枚の被写体画像を合成した時点でスクロール開始点に達したとする。画像合成部５は、ここでスクロール処理を行う。具体的には、合成している画像のうち、最も前の被写体画像を削除する。この例では２ａの被写体画像が削除される。次に、各位置の被写体画像を１つ新しいものに更新する。つまり、２ａの被写体画像の位置には２ｂが、２ｂの被写体画像の位置には２ｃが２ｃの被写体画像の位置には２ｄが表示される。スクロール後の合成画像は図９のようになる。

同様の処理を繰り返し、被写体画像が２ｄ〜２ｆになるまで画像合成を繰り返す。最後の合成画像は図９（ｂ）に示すようになる。

このようにして、スクロール処理を行いながら画像を合成することにより、間隔を保ちながら合成処理を行うことが可能となり、動きを把握しやすくなる。

その他の発明の実施の形態．
上述の例では、一般的なコンピュータ・システムを用いて画像合成装置を実現していたが、これを、専用のコンピュータを用いて行うようにしてもよい。また、複数のコンピュータを用いてこれを行うようにしてもよい。

本発明における画像合成装置のハードウェア構成を示すブロック図である。 本発明における画像合成装置の機能構成を示すブロック図である。 本発明における画像合成装置の処理の流れを示すフローチャートである。 本発明における画像合成装置に入力する入力画像データの一例を示す図である。 本発明における画像合成装置による合成処理前の画像データと合成処理後の画像データを示す図である。 本発明における画像合成装置による表示位置及び表示間隔を指定するときの入力用画面及び表示結果の例を示す図である。 本発明における画像合成装置による画像合成を行う条件を設定する画面の例を示す図である。 本発明における画像合成装置による画像合成を行った合成画像データの一例を示す図である。 本発明における画像合成装置による画像合成を行った合成画像データの一例を示す図である。

符号の説明

１ 画像入力部
２ 画像記憶部
３ 背景生成部
４ 画像抽出部
５ 画像合成部
１００ 画像合成装置
１０１ ＣＰＵ
１０４ ＲＡＭ
１０５ キーボードマウスコントローラ
１０６ キーボード
１０７ マウス
１０８ ビデオコントローラ
１０９ ＶＲＡＭ
１１３ ＨＤＤ
１１４ ＲＯＭ
１１５ シリアルポート
１１６ パラレルポート
１１８ 通信アダプタ
１２５ ＩＤＥコントローラ
１２６ ＣＤドライブ
１３０ バス

Claims (8)

1. 動きを伴う被写体の画像合成を行う画像合成装置であって、
   被写体画像を含む複数の画像データを入力する画像入力部と、
   前記画像入力部により入力された画像データから前記被写体画像を抽出する画像抽出部と、
   前記画像抽出部により抽出された前記被写体画像の一部又は全部の表示座標位置を時系列で連続的に同方向に対してずらして画像合成を行う画像合成部を備えた画像合成装置。
2. 前記画像合成装置は、更に、
   表示座標位置情報を入力する入力部を備え、
   前記画像合成部は、
   前記入力部により入力された表示座標位置情報に基づいて表示座標位置を決定することを特徴とする請求項１記載の画像合成装置。
3. 前記画像合成部は、
   前記表示位置座標情報に基づいて合成可能な被写体の数を決定し、決定された数の被写体画像の合成を行うことを特徴とする請求項２記載の画像合成装置。
4. 前記画像合成装置は、更に、
   前記被写体画像の中から基準画像を決定する基準画像決定手段を備え、
   前記画像合成手段は、前記基準画像決定手段により決定された基準画像の前の画像に対しては順次上方に前記被写体画像が重ねられる上重ね処理を行い、前記基準画像の後の画像に対しては順次下方に前記被写体画像が重ねられる下重ね処理を行うことを特徴とする請求項１、２または３記載の画像合成装置。
5. 動きを伴う被写体の画像合成をコンピュータに実行させる画像合成プログラムであって、
   被写体画像を含む複数の画像データを入力するステップと、
   入力した前記画像データから前記被写体画像を抽出するステップと、
   抽出された前記被写体画像の一部又は全部の表示座標位置を時系列で連続的に同方向に対してずらして画像合成を行うステップを実行させる画像合成プログラム。
6. 前記画像合成を行うステップは、
   表示位置座標を入力するステップと、
   入力された表示座標位置情報に基づいて表示座標位置を決定するステップを有することを特徴とする請求項５記載の画像合成プログラム。
7. 前記画像合成を行うステップは、
   前記表示位置座標情報に基づいて合成可能な被写体の数を決定するステップと、
   前記合成可能な被写体の数を決定するステップにおいて決定された数の被写体画像の合成を行うステップを有することを特徴とする請求項６記載の画像合成プログラム。
8. 前記画像合成を行うステップは、
   前記被写体画像の中から基準画像を決定する基準画像を決定するステップと、
   前記基準画像決定手段により決定された基準画像の前の画像に対しては順次上方に前記被写体画像が重ねられる上重ね処理を行うステップと、
   前記基準画像の後の画像に対しては順次下方に前記被写体画像が重ねられる下重ね処理を行うステップを有することを特徴とする請求項５、６または７記載の画像合成プログラム。

Images