JP2004120128A

JP2004120128A - 動画像合成表示装置及び動画像合成表示プログラム

Info

Publication number: JP2004120128A
Application number: JP2002277976A
Authority: JP
Inventors: Masaki Ishikawa; 石川　真己
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-09-24
Filing date: 2002-09-24
Publication date: 2004-04-15

Abstract

【課題】連続した動画像データからオブジェクトの動画像データを複数抽出し、この動画像データから任意のオブジェクト動画像を選択し、選択された複数のオブジェクト動画像を合成表示することが可能な動画像合成表示装置及び動画像合成表示プログラムを提供する。
【解決手段】動画像合成表示装置１を、動画像データからオブジェクト動画像データを抽出するオブジェクト動画像抽出部１０と、合成処理に係るデータを記憶するデータ記憶部１１と、動画像編集用の画面を表示したり、オブジェクト動画像から選択された複数の範囲オブジェクト動画像を合成表示したりする表示処理部１２と、利用者が処理要求を入力するための入力部１３と、入力部１３からの選択入力に応じて、記憶部１１に記憶されたオブジェクト動画像から該当する範囲オブジェクト動画像を選択する選択部１４と、指示内容に応じた加工処理を施す加工処理部１５と、を含んだ構成とした。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、複数の動画像を合成表示する技術に係り、特に、連続して撮影された動画像データに含まれる、それぞれ撮影時間の異なる複数の任意オブジェクトの動画像データを抽出し、当該複数のオブジェクト動画像を１つの画面に合成して表示するのに好適な動画像表示装置及び動画像表示プログラムに関する。
【０００２】
【従来の技術】
従来、複数の動画像を１つの画面に合成して表示する技術として、全体画像、任意形状部分画像から所望の画像を符号化・複合化し表示する装置（特許文献１参照）、合成画像内の任意のオブジェクト画像に対して変換操作や位置の変更を行うことができる要素オブジェクト画像の階層的な重ね合わせ関係を木構造として表し、また、シーン情報は、幾何学変換情報、光源情報及び色変換情報、位置情報とからなり、更に、オブジェクト画像を再帰的に重ね合わせて出力画像を生成することで、合成オブジェクト画像を利用者が再利用する際に必要な処理数を削減することができるもの（特許文献２参照）がある。
【０００３】
【特許文献１】
特許第３０６２５０７号
【特許文献２】
特許第３０４５０８７号
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の技術では、連続して撮影された複数のシーンを含む動画像から、撮影時間の異なる任意のシーンや任意の時間範囲における任意オブジェクトの動画像を複数選択して合成する場合に、いずれも時間的概念が取り入れられていないため、このような処理を行うことは困難である。
【０００５】
そこで、本発明は、このような従来の技術の有する未解決の課題に着目してなされたものであって、連続した動画像データからオブジェクトの動画像データを複数抽出し、この動画像データから任意のオブジェクト動画像を選択し、選択された複数のオブジェクト動画像を合成表示することが可能な動画像合成表示装置及び動画像合成表示プログラムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明に係る請求項１記載の動画像合成表示装置は、連続した動画像データからオブジェクトの動画像データを複数抽出するオブジェクト動画像抽出手段と、
当該オブジェクト動画像抽出手段によって抽出されたオブジェクト動画像データから任意のオブジェクト動画像データを利用者に選択させる動画像選択手段と、
当該動画像選択手段によって選択された複数のオブジェクト動画像データに基づき、複数のオブジェクト動画像を１つの画面内に合成表示する動画像合成表示手段と、を備えることを特徴としている。
【０００７】
このような構成であれば、オブジェクト動画像抽出手段によって、連続した動画像データから動きのあるオブジェクト動画像を自動的に複数抽出することが可能であり、動画像選択手段によって、利用者にこの抽出された複数のオブジェクト動画像データから任意のオブジェクト動画像を選択させることが可能であり、動画像合成表示手段によって、動画像選択手段によって選択された複数のオブジェクト動画像を１つの画面に合成表示することが可能である。
【０００８】
従って、連続する動画像に人の歩くシーン、車が走るシーン、列車の走るシーンなどが混在しているようなときに、簡易にそれらのオブジェクトを抽出でき、そして任意のオブジェクトを選択でき、更に、簡易にこれらのオブジェクト動画像を合成表示することができるので、撮影動画像の簡易な編集処理を行うのに便利であり、また、それぞれが異なる時間に撮影された複数のオブジェクト動画像を１つの画面で対比させて表示するときなどに有効である。
【０００９】
ここで、動画像データから抽出するオブジェクト動画像は、１つの動画像から１種類のオブジェクト動画像である必要はなく、１つの動画像に含まれる複数種類のオブジェクト動画像に合わせていくつでも抽出して良い。従って、オブジェクト動画像の抽出結果は１つでは無く、複数のオブジェクトの動画像が抽出される場合もある。
【００１０】
また、連続した動画像データとは、例えば、デジタルビデオカメラの１つのメモリに連続して記録された動画像データを意味するものであり、例えば、自分の子供の歩く姿を１日少しずつ撮影し、それが１週間分記録された結果の動画像データや、子供の歩く姿、車の走る姿、列車の走る姿など、複数のシーンが混在するような動画像データが該当する。
【００１１】
また、本発明に係る請求項２記載の動画像合成表示装置は、連続した動画像データからオブジェクトの動画像データを複数抽出するオブジェクト動画像抽出手段と、
当該オブジェクト動画像抽出手段によって抽出されたオブジェクト動画像データから任意のオブジェクト動画像データを利用者に選択させる動画像選択手段と、　当該動画像選択手段によって選択されたオブジェクト動画像データに対して任意の開始時間と終了時間を設定する時間範囲設定手段と、
当該時間範囲設定手段によって時間範囲の設定された複数のオブジェクト動画像データに基づき、前記複数のオブジェクト動画像を１つの画面内に合成表示する動画像合成表示手段と、を備えることを特徴としている。
【００１２】
このような構成であれば、オブジェクト動画像抽出手段によって、連続した動画像データから動きのあるオブジェクト動画像を自動的に複数抽出することが可能であり、動画像選択手段によって、利用者にこの抽出された複数のオブジェクト動画像データから任意のオブジェクト動画像を選択させることが可能であり、時間範囲設定手段によって、選択されたオブジェクト動画像データに対して任意の開始時間と終了時間を設定することが可能であり、動画像合成表示手段によって、動画像選択手段によって選択された複数のオブジェクト動画像を１つの画面に合成表示することが可能である。
【００１３】
従って、連続する動画像に人の歩くシーン、車が走るシーン、列車の走るシーンなどのオブジェクトの異なる複数のシーンが混在しているようなときに、簡易にそれらのオブジェクトを抽出でき、そして任意のオブジェクトを選択できると共に、そのオブジェクト動画像中の必要な部分だけを範囲時間設定でき、更に、簡易にこれらのオブジェクト動画像を合成表示することができるので、撮影動画像の簡易な編集処理を行うのに便利であり、また、それぞれが異なる時間に撮影された複数のオブジェクト動画像を１つの画面で対比させて表示するときなどに有効である。
【００１４】
また、請求項３に係る発明は、請求項１又は請求項２記載の動画像合成表示装置において、前記合成表示手段は、前記複数のオブジェクト動画像をそれぞれ任意の開始タイミングで再生表示することが可能となっていることを特徴としている。
つまり、合成された複数のオブジェクト動画像の再生表示を、それぞれ任意のタイミングで開始することが可能となっている。従って、開始時間を合わせたり、開始時間をそれぞれ微妙にずらして再生表示するなど、比較対象に合わせて、複数の範囲オブジェクト動画像を色々な開始タイミングで合成表示することが可能となる。
【００１５】
また、請求項４に係る発明は、請求項１乃至請求項３のいずれか１項に記載の動画像合成表示装置において、前記オブジェクト動画像の時間情報を表示し、且つ、当該オブジェクト動画像に含まれるそれぞれ異なるシーン毎に、そのシーンの開始位置におけるオブジェクト画像を前記時間情報に対応付けて表示するインデックス画像表示手段を更に備えることを特徴としている。
【００１６】
つまり、インデックス画像表示手段によって、オブジェクト動画像の時間情報を表示し、且つ、このオブジェクト動画像に含まれるそれぞれ異なるシーン毎に、そのシーンの開始位置におけるオブジェクト画像を時間情報に対応付けてインデックス画像として表示することが可能である。これにより、どの時間にどのような動画像が記録されているかをすぐに知ることが可能となるので、範囲オブジェクト動画像の選択を容易に行うことが可能となる。
【００１７】
また、請求項５に係る発明は、請求項４記載の動画像合成表示装置において、前記インデックス画像表示手段によって表示された画像を利用者に選択させるインデックス画像選択手段と、当該インデックス画像選択手段によって選択された画像から始まる動画像を表示するインデックス動画像表示手段と、を更に備えることを特徴としている。
【００１８】
つまり、インデックス動画像表示手段によって、時間情報に対応付けられて表示されたインデックス画像を選択することで、その画像から始まる動画像シーンを再生表示することが可能となる。これにより、合成する画像を選択する際に、インデックス画像に対応した動画像がどのような内容であったかを簡易に再生表示して確認することができるので、合成画像の選択に役立つ。
【００１９】
また、請求項６に係る発明は、請求項１乃至請求項５のいずれか１項に記載の動画像合成表示装置において、前記選択された複数のオブジェクト動画像のそれぞれの表示サイズを変更可能な表示サイズ変更手段を更に備えることを特徴としている。
つまり、表示サイズ変更手段によって、選択された複数のオブジェクト動画像のそれぞれの表示サイズを変更することが可能である。従って、例えば、表示サイズの異なるシーンのオブジェクト動画像同士を一方の表示サイズに合わせて他方の表示サイズを変更することで、合成結果の動画像を比較し易く表示することが可能となる。また、同一動画像中に含まれる通常は比較対象にならないような大きさの異なる二つのオブジェクト動画像（人と虫など）を比較することが可能となる。
【００２０】
また、請求項７に係る発明は、請求項１乃至請求項６のいずれか１項に記載の動画像合成表示装置において、前記選択された複数のオブジェクト動画像のそれぞれの表示速度を変更可能な表示速度変更手段を更に備えることを特徴としている。
つまり、表示速度変更手段によって、選択された複数のオブジェクト動画像のそれぞれの表示速度を変更することが可能である。従って、表示速度の異なるシーン同士を一方のシーンの表示速度に合わせて他方のシーンの表示速度を変更することで、合成結果の動画像の表示時間を同じものにすることなどが可能となる。
【００２１】
また、請求項８に係る発明は、請求項１乃至請求項７のいずれか１項に記載の動画像合成表示装置において、前記合成表示後の複数のオブジェクト動画像のそれぞれの表示位置を変更可能な表示位置変更手段を更に備えることを特徴としている。
つまり、表示位置変更手段によって、合成表示された後の複数のオブジェクト動画像のそれぞれの表示位置を変更することが可能である。従って、複数の範囲オブジェクト動画像を比較して見るときに、それぞれの範囲オブジェクト動画像を見やすい表示位置に変更することが可能となる。
【００２２】
また、請求項９に係る発明は、請求項１乃至請求項８のいずれか１項に記載の動画像合成表示装置において、前記選択された複数のオブジェクト動画像のそれぞれを所定の透過度で透過表示可能な透過表示手段を更に備えることを特徴としている。
つまり、透過表示手段によって、選択された複数のオブジェクト動画像のそれぞれを所定の透過度で透過表示することが可能である。従って、例えば、合成表示によって複数の動画像が重ねて表示されたときに重なっている範囲オブジェクト動画像を透過表示することで、合成表示された動画像を見易くすることが可能となる。
【００２３】
また、本発明に係る請求項１０記載の動画像合成表示プログラムは、コンピュータが実行可能なプログラムであって、
連続した動画像データからオブジェクトの動画像データを複数抽出するオブジェクト動画像抽出ステップと、
当該オブジェクト動画像抽出ステップにおいて抽出されたオブジェクト動画像データから任意のオブジェクト動画像データを利用者に選択させる動画像選択ステップと、
当該動画像選択ステップにおいて選択された複数のオブジェクト動画像データに基づき、複数のオブジェクト動画像を１つの画面内に合成表示する動画像合成表示ステップと、を備えることを特徴としている。
【００２４】
つまり、連続する動画像に人の歩くシーン、車が走るシーン、列車の走るシーンなどが混在しているようなときに、簡易にそれらのオブジェクトを抽出でき、そして任意のオブジェクトを選択でき、更に、簡易にこれらのオブジェクト動画像を合成表示することができるので、撮影動画像の簡易な編集処理を行うのに便利であり、また、それぞれが異なる時間に撮影された複数のオブジェクト動画像を１つの画面で対比させて表示するときなどに有効である。
【００２５】
また、本発明に係る請求項１１記載の動画像合成表示プログラムは、コンピュータが実行可能なプログラムであって、
連続した動画像データからオブジェクトの動画像データを複数抽出するオブジェクト動画像抽出ステップと、
当該オブジェクト動画像抽出ステップによって抽出されたオブジェクト動画像データから任意のオブジェクト動画像データを利用者に選択させる動画像選択ステップと、
当該動画像選択ステップにおいて選択されたオブジェクト動画像データに対して任意の開始時間と終了時間を設定する時間範囲設定ステップと、
当該時間範囲設定ステップにおいて時間範囲の設定された複数のオブジェクト動画像データに基づき、前記複数のオブジェクト動画像を１つの画面内に合成表示する動画像合成表示ステップと、を備えることを特徴としている。
【００２６】
つまり、連続する動画像に人の歩くシーン、車が走るシーン、列車の走るシーンなどのオブジェクトの異なる複数のシーンが混在しているようなときに、簡易にそれらのオブジェクトを抽出でき、そして任意のオブジェクトを選択できると共に、そのオブジェクト動画像中の必要な部分だけを範囲時間設定でき、更に、簡易にこれらのオブジェクト動画像を合成表示することができるので、撮影動画像の簡易な編集処理を行うのに便利であり、また、それぞれが異なる時間に撮影された複数のオブジェクト動画像を１つの画面で対比させて表示するときなどに有効である。
【００２７】
また、請求項１２に係る発明は、請求項１０又は請求項１１記載の動画像合成表示プログラムにおいて、前記合成表示ステップにおいては、前記複数のオブジェクト動画像をそれぞれ任意の開始タイミングで再生表示することが可能となっていることを特徴としている。
つまり、合成された複数のオブジェクト動画像の再生表示を、それぞれ任意のタイミングで開始することが可能となっているので、開始時間を合わせたり、開始時間をそれぞれ微妙にずらして再生表示するなど、比較対象に合わせて、複数の範囲オブジェクト動画像を色々な開始タイミングで合成表示することが可能となる。
【００２８】
また、請求項１３に係る発明は、請求項１０乃至請求項１２のいずれか１項に記載の動画像合成表示プログラムにおいて、前記オブジェクト動画像の時間情報を表示し、且つ、当該オブジェクト動画像に含まれるそれぞれ異なるシーン毎に、そのシーンの開始位置におけるオブジェクト画像を前記時間情報に対応付けて表示するインデックス画像表示ステップを更に備えることを特徴としている。
【００２９】
つまり、オブジェクト動画像の時間情報を表示し、且つ、このオブジェクト動画像に含まれるそれぞれ異なるシーン毎に、そのシーンの開始位置におけるオブジェクト画像を時間情報に対応付けてインデックス画像として表示するようにしたので、どの時間にどのような動画像が記録されているかをすぐに知ることが可能となるので、範囲オブジェクト動画像の選択を容易に行うことが可能となる。
【００３０】
また、請求項１４に係る発明は、請求項１０乃至請求項１３のいずれか１項に記載の動画像合成表示プログラムにおいて、前記インデックス画像表示ステップにおいて表示されたオブジェクト画像を利用者に選択させるインデックス画像選択ステップと、当該インデックス画像選択ステップにおいて選択されたオブジェクト画像から始まる動画像を表示するインデックス動画像表示ステップを更に備えることを特徴としている。
【００３１】
つまり、時間情報に対応付けられて表示されたインデックス画像を選択することで、その画像から始まる動画像シーンを再生表示可能としたので、合成する範囲オブジェクト動画像を選択する際に、インデックス画像に対応した動画像がどのような内容であったかを簡易に再生表示して確認することができるので、合成画像の選択に役立つ。
【００３２】
また、請求項１５に係る発明は、請求項１４記載の動画像合成表示プログラムにおいて、前記選択された複数のオブジェクト動画像の表示サイズを変更可能な表示サイズ変更ステップを更に備えることを特徴としている。
つまり、選択された複数のオブジェクト動画像の表示サイズをそれぞれ変更可能としたので、表示サイズの異なるシーン同士を一方のシーンの表示サイズに合わせて他方のシーンの表示サイズを変更することで、合成結果の動画像を見やすく表示することが可能となる。
【００３３】
また、請求項１６に係る発明は、請求項１０乃至請求項１５のいずれか１項に記載の動画像合成表示プログラムにおいて、前記選択された複数のオブジェクト動画像のそれぞれの表示速度を変更可能な表示速度変更ステップを更に備えることを特徴としている。
つまり、選択された複数のオブジェクト動画像のそれぞれの表示速度を変更可能としたので、表示速度の異なるシーン同士を一方のシーンの表示速度に合わせて他方のシーンの表示速度を変更することで、合成結果の動画像の表示時間を同じものにすることなどが可能となる。
【００３４】
また、請求項１７に係る発明は、請求項１０乃至請求項１６のいずれか１項に記載の動画像合成表示プログラムにおいて、前記選択された複数のオブジェクト動画像のそれぞれの表示位置を変更可能な表示位置変更ステップを更に備えることを特徴としている。
つまり、合成表示された後の範囲オブジェクト動画像の表示位置を変更可能としたので、複数の範囲オブジェクト動画像を比較して見るときに、それぞれの範囲オブジェクト動画像を見やすい表示位置に変更することが可能となる。
【００３５】
また、請求項１８に係る発明は、請求項１乃至請求項１７のいずれか１項に記載の動画像合成表示プログラムにおいて、前記選択された複数のオブジェクト動画像のそれぞれを所定の透過度で透過表示可能な透過表示ステップを更に備えることを特徴としている。
つまり、選択された複数のオブジェクト動画像のそれぞれを所定の透過度で透過表示可能としたので、例えば、合成表示によって複数の動画像が重ねて表示されたときに重なっている範囲オブジェクト動画像を透過表示することで、合成表示された動画像を見易くすることが可能となる。
【００３６】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて説明する。図１乃至図４は、本発明に係る動画像合成表示装置の実施の形態を示す図である。
まず、本発明に係る動画像合成表示装置の構成を図１に基づいて説明する。図１は、本発明に係る動画像合成表示装置の構成を示すブロック図である。
【００３７】
動画像合成表示装置１は、所定の動画像データから利用者によって選択されたオブジェクトの動画像データを抽出する処理を行うオブジェクト動画像抽出部１０と、抽出後のオブジェクト動画像データや加工処理後の動画像データ等の処理対象の動画像データを記憶するデータ記憶部１１と、表示部にオブジェクト動画像編集用の画面を表示したり、選択された複数のオブジェクト動画像を合成表示したりする表示処理部１２と、利用者により操作され、編集画面におけるオブジェクト動画像の選択や選択したオブジェクト動画像の加工指示等の要求を入力する入力部１３と、入力部１３からのオブジェクト動画像の選択入力に応じて、記憶部１１に記憶された該当するオブジェクト動画像を選択する選択部１４と、選択されたオブジェクト動画像に対して、入力部からの指示があったときに、指示内容に応じた加工処理を施す加工処理部１５と、を含んだ構成となっている。
【００３８】
オブジェクト動画像抽出部１０は、連続した動画像データに含まれるオブジェクト毎の動画像を抽出する機能を備えたもので、元の動画像データの時間の流れは損なわずに、動画像データ中に含まれる連続するオブジェクト画像だけを抽出して、オブジェクト画像のみによる動画像データを得ることが可能である。例えば、背景画像に重なって表示される特定の人や物（オブジェクト）のみを抽出したりする。
【００３９】
なお、この抽出処理は、オブジェクト画像のみを厳密に抽出するに限らず、実際の処理における背景画像に重ねて表示されたオブジェクト画像のみを抽出することの困難さを考慮して、背景画像上のオブジェクト画像をその輪郭部に背景画像をわずかに含んだ状態で切り取るようにしても良い。
データ記憶部１１は、オブジェクト動画像抽出部１０において抽出されたオブジェクト動画像データ、このオブジェクト動画像データから選択された所定時間範囲の範囲オブジェクト動画像データ、これら範囲オブジェクト動画像データに対する加工処理結果のデータ等、動画像の合成表示処理において扱われるデータを記憶し管理する機能を有したものである。
【００４０】
表示処理部１２は、利用者が動画像合成表示装置１を利用し易いように、動画像データを簡易に扱うための後述する編集ソフトウェアの編集画面を画面上に表示したり、この編集画面において、データ記憶部１１に記憶された加工処理済みの範囲オブジェクト動画像データを利用者からの編集ソフトウェアを介した指示に応じて合成表示したり、編集ソフトウェアの機能にあるインデックス画像の選択による部分再生機能の利用に応じて、オブジェクト動画像のシーン毎の再生表示処理を行ったりする。更に、合成表示された範囲オブジェクト動画像に対して、それらの再生開始時間を変更したり、再生速度を変更したりすることが可能となっている。
【００４１】
ここで、図２に基づき上記した編集ソフトウェアの構成を説明する。図２は、編集ソフトウェアの実行画面を示す図である。
図２に示すように、実行画面２は、編集対象のオブジェクト動画像の時間範囲を示す時間軸２０と、当該時間軸２０上に表示されたシーン毎の開始フレーム位置２１と、各開始フレーム位置２１に対応して表示されたインデックス画像２２と、合成表示させるオブジェクト動画像データ部分として選択された範囲オブジェクト動画像２３ａ及び２３ｂと、合成結果を表示する合成結果表示部２４と、を含んだ構成となっている。その他、メニューを開くことによって、選択された範囲オブジェクト動画像に対してサイズ変更、透過処理等の加工処理を行う項目が表示され、その項目を利用者が選択することにより、加工処理部１５においてそれらの加工処理が実行されることになる。
【００４２】
インデックス画像２２は、編集ソフトウェアにおいてこれを選択して再生指示を与えることで、そのシーンの再生を行うことが可能となっている。また、利用者により時間軸２０上の任意の時間範囲（例えば、図中Ｆ１ｓからＦ１ｅまでの範囲）が選択されると、その位置に対応した開始画像が範囲オブジェクト動画像（２３ａ）として表示されるようになる。この範囲オブジェクト動画像は、編集ソフトウェアを介して指示を与えることで合成結果表示部２４の任意の位置（例えば、図中（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２））に表示することが可能となっている。更に、本実施の形態においては、合成表示後の範囲オブジェクト動画像を合成結果表示部２４の任意の位置に移動させることが可能となっている。
【００４３】
ここで、オブジェクト動画像データからのシーンの抽出は、例えば、動画像データがＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）圧縮画像であれば、動きベクトルをモニタすることで容易に検出することが可能である。
ここで、図に示す範囲オブジェクト動画像２３ａ及び２３ｂを見ると解るように、本実施の形態においては、オブジェクト動画像抽出部１０によるオブジェクト動画像の抽出処理は、オブジェクトのみを厳密に抽出するのでは無く、上記したように、背景部分を一部含んだ状態でオブジェクトを四角く切り取るように抽出する。
【００４４】
入力部１３は、主に編集ソフトウェアによって動画像を編集する際の、編集ソフトウェアを操作するためのものであり、例えば、公知のキーボードやマウス、タブレット等の利用者が編集ソフトウェアへの指示等を入力するためのデバイスを備えたものである。
選択部１４は、入力部１３による利用者の指示で、編集ソフトウェアを介して処理対象のオブジェクト動画像から選択された、シーン、又は、各シーンにおける時間範囲の指定された範囲オブジェクト動画像を、データ記憶部１１によって記憶された動画像データから選択して元の動画像とは別のメモリ、あるいは、同じメモリ上の別の位置にコピーするものである。
【００４５】
加工処理部１５は、選択部１４によって選択された範囲オブジェクト動画像に対して、サイズ変更や透過処理などの加工処理を施すものである。
ここで、動画像合成表示装置１は、図示しないが、上記編集ソフトウェアを実行するためのＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）と、編集ソフトウェアの記憶されたＣＤ−ＲＯＭやハードディスク等の記憶媒体と、編集ソフトウェアの実行に必要なデータを記憶するためのＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、上記各部間のデータの送受信を行うためのインターフェースと、を備えている。従って、本実施の形態においては、動画像合成表示装置１を構成する各部ハードウェアを上記編集ソフトウェアによって制御することで処理が行われることになるので、動画像合成表示装置１を専用の装置とせず、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）等の情報処理装置において上記編集ソフトウェアを実行する構成であっても良い。
【００４６】
更に、動画像合成表示装置１のより具体的な動作を説明する。利用者は、まず、編集したい動画像データを用意し、図示しない、ＩＥＥＥ１３９４やＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等のインターフェースを介してこのデータを動画像合成表示装置１に転送する。転送された動画像データは記憶部１１によってメモリに記憶される。そして、編集したい動画像データが転送されると、利用者は、入力部１３の備える入力デバイスによって編集ソフトウェアを介し、この動画像データから任意のオブジェクト動画像を選択し抽出する指示を与える。この指示はオブジェクト動画像抽出部１０に伝送され、そこで、選択されたオブジェクト動画像の抽出処理が行われる。これは、図２に示すように選択されたオブジェクトを背景画をわずかに含む四角形の範囲で抽出する処理として行われる。このようにして、抽出されたオブジェクト動画像は、上記したように、時間軸２０、開始フレーム位置２１及びインデックス画像２２とによって画面上に表示されることになる。なお、本実施の形態において、この開始フレーム位置２１は、図２に示すようなマークが時間軸上をスライドするようになっており、このスライド操作は、上記した入力デバイスによって簡易に行えるようになっている。
【００４７】
次に、利用者は、インデックス画像２２から開始される動画像を見ながら、合成したい範囲オブジェクト動画像を選択する。これは、時間軸２０上において、図２に示すように、１番目に選択する範囲オブジェクト動画像の開始位置Ｆ１ｓと１番目に選択する範囲オブジェクト動画像の終了位置Ｆ１ｅとを指示（時間軸２０上にマークを付す）することで行われる。同様に、２番目以降に選択するオブジェクト動画像としてＦ２ｓ、Ｆ３ｓ、・・・及びＦ２ｅ、Ｆ３ｅ、・・・をそれぞれ選択する。このようにして範囲オブジェクト動画像の選択が行われると、選択部１４によって、データ記憶部１１上のオブジェクト動画像からこの部分がコピーされて別メモリに記憶され、更に、表示処理部１２によって、図中の２３ａ及び２３ｂのようにその開始画像が画面上に表示される。ここで、本実施の形態においては、特に時間範囲を設定せず、対象オブジェクトのシーンを丸ごと利用したい場合はインデックス画像を選択して、メニューからシーンを選択する項目を選ぶことでシーンそのものが範囲オブジェクト動画像となる。
【００４８】
更に、これら選択された範囲オブジェクト動画像は、合成結果表示部２４のどの位置に表示するかを設定することが可能となっており、ここでは、範囲オブジェクト動画像２３ａ及び２３ｂの２つが選択されいるので、それぞれ、図２に示すように（Ｘ１，Ｙ１）及び（Ｘ２，Ｙ２）と設定する。
更に、本実施の形態においては、上記したように、選択した範囲オブジェクト動画像に対して、表示サイズの変更処理や透過表示処理などの加工処理を施すことが可能となっている。例えば、選択した範囲オブジェクト動画像を重ね合わせて合成表示するようなときは、一方の範囲オブジェクト動画像のサイズを他方の範囲オブジェクト動画像に合わせてサイズ変更し、更に、上から重ねる方の範囲オブジェクト動画像を透過表示するように指示する。また、本実施の形態において、透過表示の指示は、任意の透過度を設定することが可能となっている。
【００４９】
上記した、範囲オブジェクト動画像の選択処理及び加工処理が行われると、利用者からの合成指示に応じて、表示処理部１２によって、記憶部１１によって記憶された加工処理後の範囲オブジェクト動画像２３ａ及び２３ｂが読み出され、それらの合成表示処理が行われる。これにより、図２に示すように、合成結果表示部２４には、範囲オブジェクト動画像２３ａ及び２３ｂが設定した位置に表示される。
【００５０】
更に、図３に基づき、動画像データから任意のオブジェクト動画像を抽出する処理の流れを説明する。図３は、オブジェクト動画像の抽出処理を示すフローチャートである。
図３に示すように、まずステップＳ３００に移行し、オブジェクト動画像抽出部１０によって、動画像データ中の抽出対象のオブジェクトが選択されているか否かを判定し、選択されていると判定された場合（Ｙｅｓ）はステップＳ３０２に移行し、そうでない場合（Ｎｏ）は選択されるまで待機する。
【００５１】
ステップＳ３０２に移行した場合は、選択されたオブジェクト動画像の抽出処理を行いステップＳ３０４に移行する。この抽出処理は、例えば、上記したように、選択されたオブジェクトを完全に含み、且つ、その周囲の他の画像部分もわずかに含む所定範囲の画像を切り出すような形で行う他、厳密にオブジェクト画像部分を切り出す、あるいは、オブジェクトの一部を切り出す等、他の態様も考えられる。例えば、サッカーボールを蹴る足の一部とボール、バットを振る手の一部とバットなどである。
【００５２】
ステップＳ３０４では、抽出されたオブジェクト動画像を記憶部１１によってメモリに記憶し、処理を終了する。
更に、図４に基づき、動画像の合成表示処理の流れを説明する。図４は、動画像の合成表示処理の流れを示すフローチャートである。
図４に示すように、まずステップＳ４００に移行し、選択部１４において、オブジェクト動画像から範囲オブジェクト動画像が選択されたか否かを判定し、選択されたと判定された場合（Ｙｅｓ）はステップＳ４０２に移行し、そうでない場合（Ｎｏ）は選択されるまで待機する。
【００５３】
ここで、オブジェクト動画像から範囲オブジェクト動画像を選択する処理は、上記したように、時間軸２０上の任意の範囲に開始と終了を示すマークを付す事で行われる。
ステップＳ４０２に移行した場合は、選択部１４において、データ記憶部１１によってメモリに記憶されたオブジェクト動画像データから、選択された時間範囲（例えば、図２に示す（Ｆ１ｓ，Ｆ１ｅ）、（Ｆ２ｓ，Ｆ２ｅ））の範囲オブジェクト動画像（例えば、図２に示す２３ａ及び２３ｂ）をコピーして別のメモリ（例えば、動作の高速なワークメモリ）に記憶してステップＳ４０４に移行する。
【００５４】
ステップＳ４０４では、選択された範囲オブジェクト動画像２３ａ及び２３ｂに対して、表示サイズの変更、透過表示などの加工処理を行う要求があるか否かを判定し、あると判定された場合（Ｙｅｓ）はステップＳ４０６に移行し、そうでない場合（Ｎｏ）はステップＳ４０８に移行する。
ステップＳ４０６に移行した場合は、加工処理部１５において、範囲オブジェクト動画像２３ａ及び２３ｂ、又は、そのいずれかに対して、要求のあった加工処理を行い、記憶部１１によって、その加工結果の動画像部分をメモリに記憶してステップＳ４０８に移行する。
【００５５】
ステップＳ４０８では、選択部１４によって選択され、且つ、必要に応じて加工処理部１５によって加工処理の施された少なくとも２以上の範囲オブジェクト動画像を、表示処理部１２によって合成表示処理し、図２に示す合成結果表示部２４に合成した結果を範囲オブジェクト動画像の選択時に指示された座標位置（例えば、図２に示す（Ｘ１，Ｙ１）及び（Ｘ２，Ｙ２））に表示して処理を終了する。また、上記したように、合成表示処理の終了した範囲オブジェクト動画像のそれぞれに対して、その動画再生開始時間の設定や、動画再生速度の設定を行うことが可能である。
【００５６】
以上、オブジェクト動画像抽出部１０によって、外部から転送された動画像データに対して、その動画像データに含まれる任意のオブジェクトの動画像を選択することで、そのオブジェクトの動画像を抽出することが可能である。
また、入力部１３及び編集ソフトウェアによって、利用者は合成する動画像データの編集操作を簡易に行うことが可能であり、また、編集ソフトウェアは抽出したオブジェクト動画像を、時間軸２０、シーン毎の開始フレーム位置２１及びインデックス画像２２によって表示し、利用者は、編集ソフトウェアの実行画面上で入力デバイスにより、時間軸２０上の任意の時間範囲の範囲オブジェクト動画像を選択したり、加工指示項目を選択したりすることにより、選択部１４によってメモリ上にあるオブジェクト動画像データから選択された時間範囲の範囲オブジェクト動画像を別メモリへとコピーし、加工処理部１５によって、このコピーされた動画像に対して必要に応じて表示サイズの変更及び透過表示などの加工処理を施し、表示処理部１２によって、選択された範囲オブジェクト動画像を画面上の合成結果表示部２４の設定された座標位置に合成して表示することが可能である。
【００５７】
また、シーン毎のインデックス画像は、それを選択して再生指示をすることで、そのシーンの動画像を再生表示することが可能となっている。
ここで、図１に示す、オブジェクト動画像抽出部１０は、請求項１及び請求項２記載のオブジェクト動画像抽出手段に対応し、表示処理部１２における合成表示処理は、請求項１乃至請求項３記載の合成表示手段に対応し、入力部１３及び選択部１４によるオブジェクト動画像の選択処理は、請求項１及び請求項２記載の動画像部分選択手段に対応し、加工処理部１５における表示サイズの変更処理は、請求項６記載の表示サイズ変更手段に対応し、加工処理部１５における透過表示処理は、請求項９記載の透過表示手段に対応する。
【００５８】
なお、上記実施の形態においては、動画像データから任意オブジェクト動画像を抽出する処理を、オブジェクト動画像抽出部１０によって行っているが、これに限らず、抽出処理が予め行われたものを用意するなど、この部分を別に処理する構成としても良い。
【００５９】
【発明の効果】
以上説明したように、本発明に係る請求項１記載の動画像合成表示装置によれば、連続する動画像に人の歩くシーン、車が走るシーン、列車の走るシーンなどが混在しているようなときに、簡易にそれらのオブジェクトを抽出でき、そして任意のオブジェクトを選択でき、更に、簡易にこれらのオブジェクト動画像を合成表示することができるようにしたので、撮影動画像の簡易な編集処理を行うのに便利であり、また、それぞれが異なる時間に撮影された複数のオブジェクト動画像を１つの画面で対比させて表示するときなどに有効である。
【００６０】
また、請求項２記載の動画像合成表示装置によれば、連続する動画像に人の歩くシーン、車が走るシーン、列車の走るシーンなどのオブジェクトの異なる複数のシーンが混在しているようなときに、簡易にそれらのオブジェクトを抽出でき、そして任意のオブジェクトを選択できると共に、そのオブジェクト動画像中の必要な部分だけを範囲時間設定でき、更に、簡易にこれらのオブジェクト動画像を合成表示することができるようにしたので、撮影動画像の簡易な編集処理を行うのに便利であり、また、それぞれが異なる時間に撮影された複数のオブジェクト動画像を１つの画面で対比させて表示するときなどに有効である。
【００６１】
また、請求項３記載の動画像合成表示装置によれば、合成された複数のオブジェクト動画像の再生表示を、それぞれ任意のタイミングで開始することを可能としたので、開始時間を合わせたり、開始時間をそれぞれ微妙にずらして再生表示するなど、比較対象に合わせて、複数の範囲オブジェクト動画像を色々な開始タイミングで合成表示することが可能となる。
【００６２】
また、請求項４記載の動画像合成表示装置によれば、インデックス画像表示手段によって、オブジェクト動画像の時間情報を表示し、且つ、このオブジェクト動画像に含まれるそれぞれ異なるシーン毎に、そのシーンの開始位置におけるオブジェクト画像を時間情報に対応付けてインデックス画像として表示することを可能としたので、どの時間にどのような動画像が記録されているかをすぐに知ることが可能となるので、範囲オブジェクト動画像の選択を容易に行うことが可能となる。
【００６３】
また、請求項５記載の動画像合成表示装置によれば、インデックス動画像表示手段によって、時間情報に対応付けられて表示されたインデックス画像を選択することで、その画像から始まる動画像シーンを再生表示することを可能としたので、合成する画像を選択する際に、インデックス画像に対応した動画像がどのような内容であったかを簡易に再生表示して確認することができるので、合成画像の選択に役立つ。
【００６４】
また、請求項６記載の動画像合成表示装置によれば、表示サイズ変更手段によって、選択された複数のオブジェクト動画像のそれぞれの表示サイズを変更することを可能としたので、例えば、表示サイズの異なるシーンのオブジェクト動画像同士を一方の表示サイズに合わせて他方の表示サイズを変更することで、合成結果の動画像を比較し易く表示することが可能となる。また、同一動画像中に含まれる通常は比較対象にならないような大きさの異なる二つのオブジェクト動画像（人と虫など）を比較することが可能となる。
【００６５】
また、請求項７記載の動画像合成表示装置によれば、表示速度変更手段によって、選択された複数のオブジェクト動画像のそれぞれの表示速度を変更することを可能としたので、表示速度の異なるシーン同士を一方のシーンの表示速度に合わせて他方のシーンの表示速度を変更することで、合成結果の動画像の表示時間を同じものにすることなどが可能となる。
【００６６】
また、請求項８記載の動画像合成表示装置によれば、表示位置変更手段によって、合成表示された後の複数のオブジェクト動画像のそれぞれの表示位置を変更することを可能としたので、複数の範囲オブジェクト動画像を比較して見るときに、それぞれの範囲オブジェクト動画像を見やすい表示位置に変更することが可能となる。
【００６７】
また、請求項９記載の動画像合成表示装置によれば、透過表示手段によって、選択された複数のオブジェクト動画像のそれぞれを所定の透過度で透過表示することを可能としたので、例えば、合成表示によって複数の動画像が重ねて表示されたときに重なっている範囲オブジェクト動画像を透過表示することで、合成表示された動画像を見易くすることが可能となる。
【００６８】
ここで、請求項１０乃至請求項１８記載の動画像合成表示プログラムは、請求項１乃至請求項９記載の動画像合成表示装置と同様の機能をプログラムにより実現するものであり、その効果は重複するので記載を省略する。
【図面の簡単な説明】
【図１】本発明に係る動画像合成表示装置の構成を示すブロック図である。
【図２】編集ソフトウェアの実行画面を示す図である。
【図３】オブジェクト動画像の抽出処理を示すフローチャートである。
【図４】動画像の合成表示処理の流れを示すフローチャートである。
【符号の説明】
１…動画像合成表示装置、２…実行画面、１０…オブジェクト動画像抽出部、１１…データ記憶部、１２…表示処理部、１３…入力部、１４…選択部、１５…加工処理部、２０…時間軸、２１…開始フレーム位置、２２…インデックス画像、２３ａ，２３ｂ…範囲オブジェクト動画像、２４…合成結果表示部

Claims

連続した動画像データからオブジェクトの動画像データを複数抽出するオブジェクト動画像抽出手段と、
当該オブジェクト動画像抽出手段によって抽出されたオブジェクト動画像データから任意のオブジェクト動画像データを利用者に選択させる動画像選択手段と、
当該動画像選択手段によって選択された複数のオブジェクト動画像データに基づき、複数のオブジェクト動画像を１つの画面内に合成表示する動画像合成表示手段と、を備えることを特徴とする動画像合成表示装置。
連続した動画像データからオブジェクトの動画像データを複数抽出するオブジェクト動画像抽出手段と、
当該オブジェクト動画像抽出手段によって抽出されたオブジェクト動画像データから任意のオブジェクト動画像データを利用者に選択させる動画像選択手段と、　当該動画像選択手段によって選択されたオブジェクト動画像データに対して任意の開始時間と終了時間を設定する時間範囲設定手段と、
当該時間範囲設定手段によって時間範囲の設定された複数のオブジェクト動画像データに基づき、前記複数のオブジェクト動画像を１つの画面内に合成表示する動画像合成表示手段と、を備えることを特徴とする動画像合成表示装置。
前記合成表示手段は、前記複数のオブジェクト動画像をそれぞれ任意の開始タイミングで再生表示することが可能となっていることを特徴とする請求項１又は請求項２記載の動画像合成表示装置。
前記オブジェクト動画像の時間情報を表示し、且つ、当該オブジェクト動画像に含まれるそれぞれ異なるシーン毎に、そのシーンの開始位置におけるオブジェクト画像を前記時間情報に対応付けて表示するインデックス画像表示手段を更に備えることを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像合成表示装置。
前記インデックス画像表示手段によって表示された画像を利用者に選択させるインデックス画像選択手段と、当該インデックス画像選択手段によって選択された画像から始まる動画像を表示するインデックス動画像表示手段と、を更に備えることを特徴とする請求項４記載の動画像合成表示装置。
前記選択された複数のオブジェクト動画像のそれぞれの表示サイズを変更可能な表示サイズ変更手段を更に備えることを特徴とする請求項１乃至請求項５のいずれか１項に記載の動画像合成表示装置。
前記選択された複数のオブジェクト動画像のそれぞれの表示速度を変更可能な表示速度変更手段を更に備えることを特徴とする請求項１乃至請求項６のいずれか１項に記載の動画像合成表示装置。
前記合成表示後の複数のオブジェクト動画像のそれぞれの表示位置を変更可能な表示位置変更手段を更に備えることを特徴とする請求項１乃至請求項７のいずれか１項に記載の動画像合成表示装置。
前記選択された複数のオブジェクト動画像のそれぞれを所定の透過度で透過表示可能な透過表示手段を更に備えることを特徴とする請求項１乃至請求項８のいずれか１項に記載の動画像合成表示装置。
コンピュータが実行可能なプログラムであって、
連続した動画像データからオブジェクトの動画像データを複数抽出するオブジェクト動画像抽出ステップと、
当該オブジェクト動画像抽出ステップにおいて抽出されたオブジェクト動画像データから任意のオブジェクト動画像データを利用者に選択させる動画像選択ステップと、
当該動画像選択ステップにおいて選択された複数のオブジェクト動画像データに基づき、複数のオブジェクト動画像を１つの画面内に合成表示する動画像合成表示ステップと、を備えることを特徴とする動画像合成表示プログラム。
コンピュータが実行可能なプログラムであって、
連続した動画像データからオブジェクトの動画像データを複数抽出するオブジェクト動画像抽出ステップと、
当該オブジェクト動画像抽出ステップによって抽出されたオブジェクト動画像データから任意のオブジェクト動画像データを利用者に選択させる動画像選択ステップと、
当該動画像選択ステップにおいて選択されたオブジェクト動画像データに対して任意の開始時間と終了時間を設定する時間範囲設定ステップと、
当該時間範囲設定ステップにおいて時間範囲の設定された複数のオブジェクト動画像データに基づき、前記複数のオブジェクト動画像を１つの画面内に合成表示する動画像合成表示ステップと、を備えることを特徴とする動画像合成表示プログラム。
前記合成表示ステップにおいては、前記複数のオブジェクト動画像をそれぞれ任意の開始タイミングで再生表示することが可能となっていることを特徴とする請求項１０又は請求項１１記載の動画像合成表示プログラム。
前記オブジェクト動画像の時間情報を表示し、且つ、当該オブジェクト動画像に含まれるそれぞれ異なるシーン毎に、そのシーンの開始位置におけるオブジェクト画像を前記時間情報に対応付けて表示するインデックス画像表示ステップを更に備えることを特徴とする請求項１０乃至請求項１２のいずれか１項に記載の動画像合成表示プログラム。
前記インデックス画像表示ステップにおいて表示されたオブジェクト画像を利用者に選択させるインデックス画像選択ステップと、当該インデックス画像選択ステップにおいて選択されたオブジェクト画像から始まる動画像を表示するインデックス動画像表示ステップを更に備えることを特徴とする請求項１３記載の動画像合成表示プログラム。
前記選択された複数のオブジェクト動画像の表示サイズを変更可能な表示サイズ変更ステップを更に備えることを特徴とする請求項１０乃至請求項１４のいずれか１項に記載の動画像合成表示プログラム。
前記選択された複数のオブジェクト動画像のそれぞれの表示速度を変更可能な表示速度変更ステップを更に備えることを特徴とする請求項１０乃至請求項１５のいずれか１項に記載の動画像合成表示プログラム。
前記選択された複数のオブジェクト動画像のそれぞれの表示位置を変更可能な表示位置変更ステップを更に備えることを特徴とする請求項１０乃至請求項１６のいずれか１項に記載の動画像合成表示プログラム。
前記選択された複数のオブジェクト動画像のそれぞれを所定の透過度で透過表示可能な透過表示ステップを更に備えることを特徴とする請求項１０乃至請求項１７のいずれか１項に記載の動画像合成表示プログラム。