JP2004312493A - 動画像生成方法，動画像生成装置，動画像生成プログラム，動画像生成プログラムを記録した記録媒体 - Google Patents
動画像生成方法，動画像生成装置，動画像生成プログラム，動画像生成プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2004312493A JP2004312493A JP2003104949A JP2003104949A JP2004312493A JP 2004312493 A JP2004312493 A JP 2004312493A JP 2003104949 A JP2003104949 A JP 2003104949A JP 2003104949 A JP2003104949 A JP 2003104949A JP 2004312493 A JP2004312493 A JP 2004312493A
- Authority
- JP
- Japan
- Prior art keywords
- image
- moving image
- moving
- images
- key
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
Abstract
【課題】複数の動画像から所望の新しい動画像を簡易に生成することができるようにする。
【解決手段】映像入力部１１により入力された複数の動画像を複数動画像蓄積部１２に蓄積する。キー画像指定部１３は，動画像生成においてキーとなる画像を指定する。コマ選択部１５は，指定されたキー画像を用いて複数動画像蓄積部１２に蓄積された複数の動画像の各動画像列中からキー画像に類似する静止画像を選択し，選択した静止画像を１コマずつ複数枚並べて動画像を生成する。動画像出力部１６は，生成された動画像を表示装置や外部記憶装置に出力する。
【選択図】 図１
【解決手段】映像入力部１１により入力された複数の動画像を複数動画像蓄積部１２に蓄積する。キー画像指定部１３は，動画像生成においてキーとなる画像を指定する。コマ選択部１５は，指定されたキー画像を用いて複数動画像蓄積部１２に蓄積された複数の動画像の各動画像列中からキー画像に類似する静止画像を選択し，選択した静止画像を１コマずつ複数枚並べて動画像を生成する。動画像出力部１６は，生成された動画像を表示装置や外部記憶装置に出力する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は，実際に撮影された動画像をもとに，新たな動画像を生成する技術に関し，特に，例えば定点で同じ動作をする人を毎日撮影し，顔が毎日どう変化するかを検出しつつ，これを新たな動画像として生成するなど，所望の特徴を有する動画像を簡易に生成することを可能にした動画像生成方法に関する。
【０００２】
【従来の技術】
従来，長期間に渡る変動を自動的に捉えるには，固定点に設置したカメラからの映像の時間間隔が例えば１時間おき，２４時間おき，…となるように一定周期で抽出して，その変化を捉えることが行われていた。実際，植物の成長記録，長期的な地形変動など，撮影される物体の動きがほとんどない場合には，大変効果的な技術として古くから利用されている。
【０００３】
しかし，人のように移動が伴う対象では，上記の方法では対応できない。このため，同じ状況の写真を撮る際の工夫として，一定の場所，一定の向き，一定のポーズ等で撮影し，これらを並べて順次見ていくことで，あたかも動画像であるかのような一連の画像を得ることが考えられている。しかしながら，これはあくまでも手作業で行うものであり，人手で実際に動画像を生成しようとすると，非常に手間がかかってしまう。
【０００４】
これを多少簡単にする工夫として，例えば，以下の特許文献１に記載された技術のように，毎日の服装を記録するため，人が自分自身でボタンを押すなどの動作を行い，同じ状況の画像を撮影するシステムの提案は存在するが，いずれにせよ，目的とする頻度で，意図的にその場所，向き等でポーズをとることが必須である。
【０００５】
【特許文献１】
特開平１１−１３４３０５号公報
【０００６】
【発明が解決しようとする課題】
本来，人を含む動物は，常に動いている。動きながらも変化が起きているものであり，これをビジュアル化して見せるためには，手動で位置合わせ・大きさ合わせなどを行うことが必要であった。
【０００７】
本発明は，動きながらも変化が起きている対象の動画像の生成を手動で行うことは非常に手間がかかるという従来技術の問題，さらに１種類の画像シーケンス（動画像）を撮影するのではなく，任意の表情などに画像を仕上げることは容易ではないという問題を解決し，所望の特徴を有する動画像を簡易に生成することを可能とする技術を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため，本発明は，静止画像を複数枚並べて順次提示することによって動画像を生成する方法であって，複数の動画像を蓄積し，キーとなる画像を指定し，指定されたキー画像をもとに前記蓄積された複数の動画像の各動画像列中からキー画像に対応する静止画像を選択し，選択した静止画像を１コマずつ複数枚並べて動画像を生成する。
【０００９】
本発明によれば，キーとなる画像の指定に基づいてコマを選択することを通じて所望の特徴を有する動画像を簡易に生成することが可能となる。
【００１０】
また，本発明は，静止画像を複数枚並べて順次提示することによって動画像を生成する場合に，複数の動画像を蓄積し，キーとなる画像（画像群）を指定し，指定されたキー画像をもとに前記蓄積された複数の動画像の各動画像列中からキー画像に対応する静止画像を選択し，選択した静止画像をテーブル化して蓄積し，生成する動画像の特徴を指定し，指定された動画像の特徴に基づいて，蓄積された静止画像を１コマずつ複数枚並べて動画像を生成する。
【００１１】
本発明によれば，蓄積された複数の動画像からキー画像に基づき選択された画像をテーブル化し，このテーブルを用いて所望の動画像を簡易に生成することができる。
【００１２】
また，前記発明におけるキー画像は，予め設定した１つまたは複数の動画像の１フレームまたは動画像の各フレームであることを特徴とする。また，前記発明におけるキー画像は，さらに，時間経過とともに更新されることを特徴とする。また，前記発明におけるキー画像は，パターン認織を行うためのテンプレートパターンであることを特徴とする。
【００１３】
また，本発明の動画像生成プログラムは，前記動画像生成方法をコンピュータに実行させることを特徴とする。本発明の動画像生成プログラムによれば，それをコンピュータにインストールすることにより，前述した動画像生成方法または動画像生成装置を実現することが可能となる。
【００１４】
本発明の動画像生成プログラムは，ＣＤ−ＲＯＭ，ＣＤＲ／Ｗ，フレキシブルディスク等の記録媒体に格納して提供したり，ネットワークを介して提供したりすることができる。
【００１５】
【発明の実施の形態】
以下，本発明の実施の形態を図を用いて説明する。図１は，本発明の第１の実施の形態に係る装置構成の一例を示す図である。１はＣＰＵおよびメモリなどからなる動画像生成装置，１１は映像入力部，１２は複数動画像蓄積部，１３はキー画像指定部，１４はキー画像蓄積部，１５はコマ選択部，１６は動画像出力部である。
【００１６】
映像入力部１１には，カメラ等の映像撮影手段により撮影された映像が入力される。複数動画像蓄積部１２は，複数の動画像シーケンスを蓄積する。キー画像指定部１３は，動画像生成においてキーとなる画像をユーザからの入力によって指定する。キー画像として，１つまたは複数の動画像の中の１フレームを用いることができ，この場合には複数動画像蓄積部１２に蓄積された動画像または別に用意されたサンプル動画像等をディスプレイに表示してユーザに見せ，ユーザに１フレームを選択させる。キー画像蓄積部１４は，キー画像指定部１３によって指定されたキー画像を蓄積する。コマ選択部１５は，キー画像を利用して複数動画像蓄積部１２に蓄積された複数動画像内からコマを選択し，選択したコマの静止画像を１コマずつ複数枚並べて動画像とする。動画像出力部１６は，コマ選択によって得られた結果をつなげることにより生成された動画像を出力する。動画像の出力先は，動画像生成装置１に接続された表示装置，外部記憶装置のファイル，またはネットワーク経由の外部の装置等のいずれでもよい。
【００１７】
以上の動画像生成装置１における各部の機能は，コンピュータとプログラムによっても実現でき，そのプログラムを記録媒体に記録することも，ネットワークを通して外部の装置に提供することも可能である。後述する第２の実施の形態も同様である。
【００１８】
図２は，本発明の第１の実施の形態に係る動画像生成処理フローの一例を示す図であり，図３は，動画像生成方法を説明する図である。図３を参照しつつ図２に従って，第１の実施の形態に係る動画像生成方法を説明する。まず，映像を入力する（ステップＳ１）。入力した映像を複数動画像蓄積部１２に蓄積する（ステップＳ２）。すなわち，複数の動画像シーケンスを蓄積する。この蓄積処理により，図３に示す日時の異なる複数の動画像群である複数動画像１０１が複数動画像蓄積部１２に蓄積される。
【００１９】
蓄積方法には様々なものが考えられる。ここでの動画像シーケンスは，一般に繰り返されるものを想定する。例えば，蓄積する映像の撮影は，撮影対象が毎日同じように動作する場所で行う。この撮影は，家の中にある鏡の前などの一定の場所の前に人（または何らかの物体）が現れたり変化を検出したときに行ってもよいし，また，玄関ドアを開け閉めするときに行ってもよいし，カメラ付き携帯電話を開いたり操作するときに行ってもよい。また，駅の改札を通過するときに撮影してもよい。例えば，車の中の座席，子供の場合にはチャイルドシート，さらに小さな子供の場合にはベビーカーの定位置で，撮影するようにしもよい。
【００２０】
次に，キー画像の指定情報をユーザから入力し，キー画像を指定する（ステップＳ３）。この処理により，図３に示すキー画像１００が指定され，キー画像蓄積部１４に蓄積される。キー画像指定方法は，最終的にどのような動画像を得たいかによって決まる。ここでは，顔をキーとすることを想定しておく。
【００２１】
もちろん，生成したい結果が顔でない場合，例えば人のポーズであったり，手の動きであったりした場合には，キー画像指定処理で指定されるキー画像１００はその目的に応じたものになる。目的を顔とする場合，キー画像１００は，顔のパターン例，目や口の配置など，最終的に顔と必要情報を抽出するために利用するパターンとなる。
【００２２】
次に，キー画像１００を利用して複数動画像１０１内からコマ選択を行う（ステップＳ４）。コマ選択では，所定の画像選択方法に従って動画像から１枚ずつのコマを選択する。画像を選択する方法として様々な方法が考えられる。詳細は後述する。その選択結果をもとに，動画像を生成する。具体的には，コマ選択によって得られた結果を動画像としてつなげ，図３に示す生成動画像１０２とする。生成動画像１０２を指定された出力装置に出力する（ステップＳ５）。
【００２３】
図４は，本発明の第２の実施の形態に係る装置構成の一例を示す図である。２はＣＰＵおよびメモリなどからなる動画像生成装置，２０は画像テーブル生成部，２１は画像テーブル格納部，２２は画像特徴指定部，２３はコマ選択部である。動画像生成装置２の構成要素のうち，映像入力部１１，複数動画像蓄積部１２，キー画像指定部１３，キー画像蓄積部１４，動画像出力部１６は，図１に示す第１の実施の形態の装置構成と同様である。
【００２４】
画像テーブル生成部２０は，複数動画像を処理して，例えば日時順や指定されたキー画像群に対応する画像の特徴順に整理された新たな画像群を示す画像テーブルを生成する。画像テーブル格納部２１は，生成された画像テーブルを格納する。画像特徴指定部２２は，目的の動画像として抽出する画像の特徴を指定する。また，コマ選択部２３は，画像特徴指定部２２により指定された画像特徴に従って画像テーブルを処理してその中の画像群から画像のコマを選択し動画像を生成する。
【００２５】
図５は，本発明の第２の実施の形態に係る動画像生成処理フローの一例を示す図であり，図６は，動画像生成方法を説明する図である。図６を参照しつつ図５に従って，第２の実施の形態に係る動画像生成方法を説明する。まず，映像を入力する（ステップＳ１１）。入力した映像を複数動画像蓄積部１２に蓄積する（ステップＳ１２）。この蓄積処理により，図６に示す日時の異なる複数の動画像群である複数動画像１０１が複数動画像蓄積部１２に蓄積される。
【００２６】
次に，キー画像指定部１３によってキー画像を指定する（ステップＳ１３）。指定されるキー画像は，動画像の各フレームでもよい。例えばある動作や表情の変化を示す教示映像をユーザに選択させる。この教示映像は，新しく撮影したものでも，複数動画像蓄積部１２に蓄積されている動画像の一部分でもよい。また，後述するように，パターン認識を行うためのテンプレートパターンや，各パターンに付与された名称のようなものでキー画像をユーザに選択させてもよい。この処理により，図６に示すキー画像１００が指定され，キー画像蓄積部１４に蓄積される。次に，画像テーブルを生成する（ステップＳ１４）。すなわち，蓄積された複数動画像１０１を処理することにより，画像の特徴に応じて整理した新たな画像群からなる画像テーブル１０３を生成する。画像テーブル生成処理の詳細は後述する。
【００２７】
次に，ユーザから画像特徴の指定情報を入力し，画像特徴を指定する（ステップＳ１５）。その後，コマ選択を行う（ステップＳ１６）。コマ選択では，指定された画像特徴に従って画像テーブル１０３を処理して画像のコマを生成する。生成した一連のコマから動画像を生成し出力する（ステップＳ１７）。具体的には，コマ選択によって得られた結果を動画像としてつなげて出力し，図６に示す生成動画像１０２とする。
【００２８】
上記図５に示す処理フローのステップＳ１１〜Ｓ１３は，基本的に図２に示す第１の実施の形態に係る動画像生成処理フローのステップＳ１〜Ｓ３と同じである。図５に示す処理で図２と異なるのは，図２のステップＳ４の部分がステップＳ１４〜Ｓ１６となり，基本的に画像がテーブル化されることである。最終的な結果は，生成動画像１０２であり，形式上は同じものである。違いはその生成過程である。
【００２９】
次に，本発明の第１の実施の形態における画像選択方法（図２のステップＳ４），ならびに本発明の第２の実施の形態における画像テーブル生成方法（図５のステップＳ１４）を具体的に説明するとともに，本発明の第１，第２の実施の形態の違いを説明する。
【００３０】
ここでも，最終的に得たい生成動画像は，顔に関するものとして説明を行う。まず，「顔」を例にして画像テーブル１０３の概念を説明する。「顔」には，表情があり，撮影された向きがあり，そして長い時間を経るとその顔つきが変わるという特徴がある。つまり，「顔」を題材とする場合，「月・年単位の時間（年齢）」「向き（上下，左右）」「表情（無表情，徴笑，怒り等）」という様々な尺度が顔の中に存在する。このとき，例えば「年齢」，「表情の変化（無表情⇔微笑）」の２つの軸を基準にすることができる。
【００３１】
図７および図８は，画像テーブルの概念を説明する図である。図７に示すｔｎ，ｋ ，図８に示すｓｎ，ｋ の各要素は，常に１枚の画像を含む。同時に後で述べるような補正のためのパラメータ等を含んでいる場合もある。しかし，続く画像テーブルそのものの説明では，これらのパラメータは直接関与しないため，説明から省いてある。
【００３２】
図７は，動画像を複数，時間順に並べた図である。動画像は，実際には静止画像の集まりとみなすことができ，この図では，ｔｎ，ｋ ｛ｋ＝１，２，３，…｝として得られている。これは，複数の動画像を並べただけであり，この場合，一般にｔｎ，ｋ のｋを固定して｛ｎ＝１，２，３，…｝と並べても，意味のある映像にはならない。
【００３３】
図８は，各動画像の整理を行い，ｓｎ，ｋ のｋを固定して｛ｎ＝１，２，３，…｝と並べたときに何らかの意味があるようにしたものである。これは，画像テーブル１０３の一例である。この例では，例えばｋを固定すれば，無表情の画像，微笑んだ画像などが並ぶようにする。図８に示す画像テーブル中のｓｎ，ｋ は，実際の画像データであってもよいし，複数画像蓄積部１２に蓄積された画像を示すポインタであってもよい。
【００３４】
図９（Ａ）は，図８の要素ｓｎ，ｋ をイメージ化したものである。また，図９（Ｂ）に示す要素ｓ１，１ のように，要素ｓｎ，ｋ は，例えば画像データにカメラレンズ等の歪情報や，明るさや大きさ等の補正情報などを付加したようなものであってもよい。
【００３５】
本発明の第１の実施の形態における画像選択方法（図２のステップＳ４）では，例えば無表情の顔に固定して画像を選択する方法がとられる。または，単に１時刻前の動画像で選ばれた画像に最も近い画像を選ぶなど，テーブル化を行わず，直接的に画像処理を行って，動画像を作成する。
【００３６】
本発明の第２の実施の形態における画像テーブル生成処理（図５のステップＳ１４）では，上の第１の実施の形態の例のように，１つのパターンに固定するのではなく，先に複数の動画像をキー画像に従って選択および整理して画像テーブル１０３を作成する。そして，その結果を別の基準，すなわち指定した画像特徴に従ってコマを作成する。
【００３７】
なお，画像テーブル１０３の次元が１となっている場合には，所定の画像選択方法によるコマ選択処理（図２のステップＳ４）のように画像テーブル１０３を利用せず，直接動画像の生成が可能である。また，図８は，２次元のテーブルを想定して例を示したが，次元は１次元や２次元である必要はない。３次元以上の場合には，ｓｎ，ｍ，ｋ などのように，インデックスが増えていくことになる。
【００３８】
次に，画像テーブル１０３を作成する手順について具体的に説明する。ここでは，図８における横軸を無表情の顔から笑い顔までの表情軸（ｋ），縦軸を年月軸（ｎ）と呼びながら，画像テーブル１０３の作成手順例を示す。
【００３９】
最も単純な例は，１回，手本として教示映像を示す方法である。表情軸に相当する動画像を１回撮影する。つまりこれは，無表情から順次笑っている画像であるとする。これをキー画像として蓄積しておく。この映像を仮にＳｋ とする。このキー画像Ｓｋ と最も類似するパターンを，動画像シーケンスを並び替えたり飛ばしたり補間したりして画像テーブル１０３を作成する。すなわち，１つのシーケンス動画像ｔｎ，ｍ ｛ｍ＝１，２，３，…｝について，各ｋ毎にキー画像Ｓｋ に最も類似するｔｎ，ｍ を探し，これをｓｎ，ｋ とする。これを，異なる各ｎについても行うことで，ｓｎ，ｋ を要素とする画像テーブル１０３が完成する。
【００４０】
なお，画像の類似パターンを探す方法には，差の絶対値の合計や差の２乗和が最低となる画像を選ぶ方法，相関を利用する方法などがあるが，ここではその方法は規定しない。これを多少修正した方法の例としては，教示映像となる動画像を最後に取得し，これを使ってすでに蓄積した蓄積映像をテーブル化する方法がある。
【００４１】
これをさらに修正した方法に，常にキー画像を固定させるのではなく，キー画像を逐次処理した結果に更新していく方法もある。例えば，指定されたキー画像Ｓｋ をもとにシーケンス動画像ｔ１，ｍ から一つの画像列ｓ１，ｋ を生成すると，次はその画像列ｓ１，ｋ をキー画像として，次のシーケンス動画像ｔ２，ｍ から新しい画像列ｓ２，ｋ を生成し，同様に順次，キー画像を更新しながら処理を繰り返す。また，すべての動画像蓄積後であれば，キー画像は最も古い動画像ばかりでなく，新しいもの，あるいは古くもなく新しくもないものを併用して利用することも可能である。例えば，最も古い動画像をベースにしつつ，新しいものを累積させていく方法もある。すなわち，古い動画像から得られた画像列と，それより新しい動画像から得られた画像列とを重ね合わせて平均化するなどして生成した画像列を，次の画像列を選択するためのキー画像とする方法を用いてもよい。
【００４２】
本発明においては，キー画像は，画像のパターンそのものである必要はない。例えば，表情認識技術（例えば「人間とコンピュータによる顔表情の認識［Ｉ〜ＩＶ］」：電子情報通信学会誌：Ｖｏｌ．８５， Ｎｏ．９， ｐｐ．６８０−６８５， ２００１．９から２００３．１までの４回シリーズ参照）を利用して，これを数値化して表情軸の指標に利用することも可能である。また，目の開閉，顔の向きも顔のパーツ切り出し技術で把握できるので，これらを指標にすることもできる。
【００４３】
画像テーブル１０３には，２種類の蓄積方法がある。第１の蓄積方法は，顔の位置を一定にして蓄積しておく方法である。顔抽出技術を用いれば，顔の大きさ，および下記に示すように明るさや歪，目の位置などを抽出することができる。この結果を利用して，顔の大きさと位置を正規化しておく。実際には，さらに下記に示すように，平均的明るさと分散，歪補正も行なっておく。この場合には，この画像をそのまま生成動画像とすることが可能である。
【００４４】
第２の蓄積方法は，顔の位置（目，口，鼻等）を抽出して画像の付加情報としてテーブルの別要素として蓄積しておく方法である。動画像の提示を行う時に必要に応じて変換を行い，顔の位置と大きさ，明るさ歪を一定にして生成動画像を作成する。
【００４５】
また，画像テーブル１０３を作成するときに，場合によっては蓄積した画像が十分でなく，抜けが発生する場合がある。この場合には，類似する画像（複数または１枚）を利用して画像を補間して生成することができる。また，もしも画像に歪がある場合，例えば魚眼レンズの場合には，画面の場所によって得られる画像に歪が生じる。この場合には，顔の位置等により大きさや位置の正規化を行う際に歪補正も併せて行う。
【００４６】
また，もし画像テーブル１０３の画像の明るさが揃わない場合，これは画素値の平均と分散を正規化する方法などにより，明るさとコントラストを補正しておく。同様に，色のばらつきも，必要に応じて補正しておく。
【００４７】
さらに，顔をターゲットとしている場合，その背景に映っているものが一定しなかったり，映したくないものが映っていたりする場合がある。この対策として，動き検出等の周知の動物体の形状抽出技術を利用して，顔の領域と背景を分離した上で，例えば背景を１色にしてしまう，背景はぼかすなどの加工を行って，見せなくすることが考えられる。または，常に異なる場所で撮影されている場合には，顔の位置のみを正規化すれば，背景は完全に平均をとるなどして，実質的に見えなくなるように処理することも考えられる。
【００４８】
本実施の形態では顔の表情を図８の横軸にした場合を説明したが，さらに次元を２以上に増やすことも可能である。例えば，日時と表情に加え，顔の向き，目の向き，目の開き具合などを次元として加えることが可能である。人の全体をターゲットにするなら，ポーズについて同じことを実現できる。
【００４９】
なお，以上の説明の中に，顔が誰のものであるかの判断は記載しなかった。これは，既存の顔認織ソフトを利用することで判断可能である。または家族など数人程度の顔の分類であれば，一般的なテンプレートマッチングを利用しても実現できる。
【００５０】
次に，本発明の第２の実施の形態において，画像テーブル生成（図５のステップＳ１４）をした後の，画像特徴指定処理（図５のステップＳ１５）ならびにコマ選択処理（図５のステップＳ１６）の具体的な手順を説明する。
【００５１】
この例では，上の説明と同じく，対象が顔であり，図８の横軸が表情，縦軸が日時である場合で説明を行う。表情を段々微笑むようにしたい，または微笑むことと無表情を繰り返したいという希望があったとする。画像特徴指定処理（図５のステップＳ１５）では，このような画像特徴の希望をユーザから入力して指定する。この場合，縦軸に沿って，横軸が段々と微笑む方向（本例では，ｋを大きくする方向）にしていくか，ｋを周期的に大きくしたり小さくしたりすることを繰り返せばよい。
【００５２】
このような指定に従って，コマ選択を実行し，画像テーブル１０３の示す画像の大きさ等がすでに正規化されている場合には，この結果をつなぎ合わせる。画像テーブル１０３の示す画像が正規化されていない例では，画像付加情報として位置や大きさを指定してあるため，画像の変換を行いつつ画像をつなぎ合わせる。これにより，生成動画像１０２を作成することができる。
【００５３】
もしも，常に微笑んだ生成動画像を得たい場合には，所望のｋを決定し，これを順に並べればよい。この場合には，本発明の第１の実施の形態のように，実際には画像テーブル１０３の生成を経ずに，生成動画像１０２を作成することも可能である。
【００５４】
また，顔以外をターゲットとする場合でも，教示映像を示すことは可能であり，この方法で顔と同じようにパラメータ化を施すことが可能である。動作が対象である場合には，教示映像以外に動作をシルエット，物体形状輪郭等から得ることが可能である（例えば，「画像処理工学−−基礎編−−」，谷口慶治編，共立出版，１９９６年参照）。
【００５５】
上記本発明の実施の形態における複数動画像蓄積方法は，様々な方法が考えられる。その例を示す。例えば，監視用カメラ，カメラドアフォン用カメラ，ドアスコープに取り付けたカメラ等を利用して，変化が観測された時刻前後を自動的に記録する方法がある。また，テレビモニタやゲーム機にカメラを設置し，モニタを見ている間に映像を記録する方法がある。
【００５６】
他に，冷蔵庫，鏡，箪笥，ダイニングテーブル等，家具に設置したカメラを利用して自動記録またはアクションを起こして記録する方法，カメラ付き携帯電話を開いた時，何かのボタンを押した時や，カメラ付き携帯端末に電源を入れた時や何らかのルーチン動作をした時，またはその後，数秒程度してから一定期間または操作中は連続して撮影し映像を蓄積する方法，さらに，カメラが設置されたパソコンの場合には，電源立ち上げ時からの一定期間の映像を蓄積する方法もある。
【００５７】
ベビーカーに取り付けたカメラ，ベビーベット脇に取り付けたカメラ，チャイルドシートに向けたカメラ，自転車の子供用椅子前に向けたカメラから，幼児や子供がいる時に撮影する方法もある。
【００５８】
異なる例として，ＣＴスキャンの画像，つまり人間の体の映像を輪切りにして上から下へと順番に並べた画像を動画像とみなしてもよい。これは，一般に定期検診は年１回程度行われることを利用する方法である。以上のように，類似する映像が継続的に撮影できれば，どんな映像であってもよい。
【００５９】
また，複数動画像蓄積部１２に蓄積する動画像の単位は，撮影方法によって異なる場合がある。一般に監視系カメラからの映像のように，カメラが固定でありまたカメラ視野内にほとんど変動がない画像からの映像であれば，動画像は動きを検知してから動きがなくなるまでを，蓄積する動画像シーケンスとすればよい。
【００６０】
カメラ付き携帯電話またはカメラ付き携帯端末の場合や，人がアクションを起こして撮影を実施する場合には，トリガから一定期間の映像を蓄積することで十分である。もちろん，顔の場合，顔が撮影されている全時間を動画像として蓄積することも可能である。これは，ベビーカーやチャイルドシートのように，比較的長時間にわたって撮影が可能な場合も同じである。
【００６１】
カメラ付き携帯電話のように，通信が可能な装置の場合には，蓄積はネットワーク経由で行うことも可能である。また，パソコンの場合も同様であり，蓄積はそのパソコン自体に行ってもよいし，別のパソコンに通信を介して行ってもよい。
【００６２】
本発明を実現するための単純なシステム構成は，図１０に示すようなカメラ１１０，蓄積装置１１１，処理装置１１２，表示装置１１３をネットワークまたはシステムバス１１４を介して接続し，カメラ１１０が撮影した動画像を蓄積装置１１１に蓄積した上で，処理装置１１２において動画像生成処理を行い，表示装置１１３において動画像を表示させるというような構成である。
【００６３】
【発明の効果】
以上のように本発明は，複数の動画像を蓄積し，これを処理・再構成することにより，新たな動画像を生成する。これにより，実際には存在しない動画像を生成することができる。例えば子供の映像に対して本発明を適用すれば，短時間で成長を遂げているような動画像を生成できる。また，その表情を自在にコントロールすることができるようになる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る装置構成の一例を示す図である。
【図２】動画像生成処理フローの一例を示す図である。
【図３】動画像生成方法を説明する図である。
【図４】本発明の第２の実施の形態に係る装置構成の一例を示す図である。
【図５】動画像生成処理フローの一例を示す図である。
【図６】動画像生成方法を説明する図である。
【図７】複数の動画像シーケンスを時間順に並べた図である。
【図８】画像テーブルの一例を示す図である。
【図９】画像テーブルのイメージを示す図である。
【図１０】ネットワークを介して複数動画像を蓄積する構成を示す図である。
【符号の説明】
１，２ 動画像生成装置
１１ 映像入力部
１２ 複数動画像蓄積部
１３ キー画像指定部
１４ キー画像蓄積部
１５，２３ コマ選択部
１６ 動画像出力部
２０ 画像テーブル生成部
２１ 画像テーブル格納部
２２ 画像特徴指定部
１００ キー画像
１０１ 複数動画像
１０２ 生成動画像
１０３ 画像テーブル
１１０ カメラ
１１１ 蓄積装置
１１２ 処理装置
１１３ 表示装置
１１４ ネットワークまたはシステムバス
【発明の属する技術分野】
本発明は，実際に撮影された動画像をもとに，新たな動画像を生成する技術に関し，特に，例えば定点で同じ動作をする人を毎日撮影し，顔が毎日どう変化するかを検出しつつ，これを新たな動画像として生成するなど，所望の特徴を有する動画像を簡易に生成することを可能にした動画像生成方法に関する。
【０００２】
【従来の技術】
従来，長期間に渡る変動を自動的に捉えるには，固定点に設置したカメラからの映像の時間間隔が例えば１時間おき，２４時間おき，…となるように一定周期で抽出して，その変化を捉えることが行われていた。実際，植物の成長記録，長期的な地形変動など，撮影される物体の動きがほとんどない場合には，大変効果的な技術として古くから利用されている。
【０００３】
しかし，人のように移動が伴う対象では，上記の方法では対応できない。このため，同じ状況の写真を撮る際の工夫として，一定の場所，一定の向き，一定のポーズ等で撮影し，これらを並べて順次見ていくことで，あたかも動画像であるかのような一連の画像を得ることが考えられている。しかしながら，これはあくまでも手作業で行うものであり，人手で実際に動画像を生成しようとすると，非常に手間がかかってしまう。
【０００４】
これを多少簡単にする工夫として，例えば，以下の特許文献１に記載された技術のように，毎日の服装を記録するため，人が自分自身でボタンを押すなどの動作を行い，同じ状況の画像を撮影するシステムの提案は存在するが，いずれにせよ，目的とする頻度で，意図的にその場所，向き等でポーズをとることが必須である。
【０００５】
【特許文献１】
特開平１１−１３４３０５号公報
【０００６】
【発明が解決しようとする課題】
本来，人を含む動物は，常に動いている。動きながらも変化が起きているものであり，これをビジュアル化して見せるためには，手動で位置合わせ・大きさ合わせなどを行うことが必要であった。
【０００７】
本発明は，動きながらも変化が起きている対象の動画像の生成を手動で行うことは非常に手間がかかるという従来技術の問題，さらに１種類の画像シーケンス（動画像）を撮影するのではなく，任意の表情などに画像を仕上げることは容易ではないという問題を解決し，所望の特徴を有する動画像を簡易に生成することを可能とする技術を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するため，本発明は，静止画像を複数枚並べて順次提示することによって動画像を生成する方法であって，複数の動画像を蓄積し，キーとなる画像を指定し，指定されたキー画像をもとに前記蓄積された複数の動画像の各動画像列中からキー画像に対応する静止画像を選択し，選択した静止画像を１コマずつ複数枚並べて動画像を生成する。
【０００９】
本発明によれば，キーとなる画像の指定に基づいてコマを選択することを通じて所望の特徴を有する動画像を簡易に生成することが可能となる。
【００１０】
また，本発明は，静止画像を複数枚並べて順次提示することによって動画像を生成する場合に，複数の動画像を蓄積し，キーとなる画像（画像群）を指定し，指定されたキー画像をもとに前記蓄積された複数の動画像の各動画像列中からキー画像に対応する静止画像を選択し，選択した静止画像をテーブル化して蓄積し，生成する動画像の特徴を指定し，指定された動画像の特徴に基づいて，蓄積された静止画像を１コマずつ複数枚並べて動画像を生成する。
【００１１】
本発明によれば，蓄積された複数の動画像からキー画像に基づき選択された画像をテーブル化し，このテーブルを用いて所望の動画像を簡易に生成することができる。
【００１２】
また，前記発明におけるキー画像は，予め設定した１つまたは複数の動画像の１フレームまたは動画像の各フレームであることを特徴とする。また，前記発明におけるキー画像は，さらに，時間経過とともに更新されることを特徴とする。また，前記発明におけるキー画像は，パターン認織を行うためのテンプレートパターンであることを特徴とする。
【００１３】
また，本発明の動画像生成プログラムは，前記動画像生成方法をコンピュータに実行させることを特徴とする。本発明の動画像生成プログラムによれば，それをコンピュータにインストールすることにより，前述した動画像生成方法または動画像生成装置を実現することが可能となる。
【００１４】
本発明の動画像生成プログラムは，ＣＤ−ＲＯＭ，ＣＤＲ／Ｗ，フレキシブルディスク等の記録媒体に格納して提供したり，ネットワークを介して提供したりすることができる。
【００１５】
【発明の実施の形態】
以下，本発明の実施の形態を図を用いて説明する。図１は，本発明の第１の実施の形態に係る装置構成の一例を示す図である。１はＣＰＵおよびメモリなどからなる動画像生成装置，１１は映像入力部，１２は複数動画像蓄積部，１３はキー画像指定部，１４はキー画像蓄積部，１５はコマ選択部，１６は動画像出力部である。
【００１６】
映像入力部１１には，カメラ等の映像撮影手段により撮影された映像が入力される。複数動画像蓄積部１２は，複数の動画像シーケンスを蓄積する。キー画像指定部１３は，動画像生成においてキーとなる画像をユーザからの入力によって指定する。キー画像として，１つまたは複数の動画像の中の１フレームを用いることができ，この場合には複数動画像蓄積部１２に蓄積された動画像または別に用意されたサンプル動画像等をディスプレイに表示してユーザに見せ，ユーザに１フレームを選択させる。キー画像蓄積部１４は，キー画像指定部１３によって指定されたキー画像を蓄積する。コマ選択部１５は，キー画像を利用して複数動画像蓄積部１２に蓄積された複数動画像内からコマを選択し，選択したコマの静止画像を１コマずつ複数枚並べて動画像とする。動画像出力部１６は，コマ選択によって得られた結果をつなげることにより生成された動画像を出力する。動画像の出力先は，動画像生成装置１に接続された表示装置，外部記憶装置のファイル，またはネットワーク経由の外部の装置等のいずれでもよい。
【００１７】
以上の動画像生成装置１における各部の機能は，コンピュータとプログラムによっても実現でき，そのプログラムを記録媒体に記録することも，ネットワークを通して外部の装置に提供することも可能である。後述する第２の実施の形態も同様である。
【００１８】
図２は，本発明の第１の実施の形態に係る動画像生成処理フローの一例を示す図であり，図３は，動画像生成方法を説明する図である。図３を参照しつつ図２に従って，第１の実施の形態に係る動画像生成方法を説明する。まず，映像を入力する（ステップＳ１）。入力した映像を複数動画像蓄積部１２に蓄積する（ステップＳ２）。すなわち，複数の動画像シーケンスを蓄積する。この蓄積処理により，図３に示す日時の異なる複数の動画像群である複数動画像１０１が複数動画像蓄積部１２に蓄積される。
【００１９】
蓄積方法には様々なものが考えられる。ここでの動画像シーケンスは，一般に繰り返されるものを想定する。例えば，蓄積する映像の撮影は，撮影対象が毎日同じように動作する場所で行う。この撮影は，家の中にある鏡の前などの一定の場所の前に人（または何らかの物体）が現れたり変化を検出したときに行ってもよいし，また，玄関ドアを開け閉めするときに行ってもよいし，カメラ付き携帯電話を開いたり操作するときに行ってもよい。また，駅の改札を通過するときに撮影してもよい。例えば，車の中の座席，子供の場合にはチャイルドシート，さらに小さな子供の場合にはベビーカーの定位置で，撮影するようにしもよい。
【００２０】
次に，キー画像の指定情報をユーザから入力し，キー画像を指定する（ステップＳ３）。この処理により，図３に示すキー画像１００が指定され，キー画像蓄積部１４に蓄積される。キー画像指定方法は，最終的にどのような動画像を得たいかによって決まる。ここでは，顔をキーとすることを想定しておく。
【００２１】
もちろん，生成したい結果が顔でない場合，例えば人のポーズであったり，手の動きであったりした場合には，キー画像指定処理で指定されるキー画像１００はその目的に応じたものになる。目的を顔とする場合，キー画像１００は，顔のパターン例，目や口の配置など，最終的に顔と必要情報を抽出するために利用するパターンとなる。
【００２２】
次に，キー画像１００を利用して複数動画像１０１内からコマ選択を行う（ステップＳ４）。コマ選択では，所定の画像選択方法に従って動画像から１枚ずつのコマを選択する。画像を選択する方法として様々な方法が考えられる。詳細は後述する。その選択結果をもとに，動画像を生成する。具体的には，コマ選択によって得られた結果を動画像としてつなげ，図３に示す生成動画像１０２とする。生成動画像１０２を指定された出力装置に出力する（ステップＳ５）。
【００２３】
図４は，本発明の第２の実施の形態に係る装置構成の一例を示す図である。２はＣＰＵおよびメモリなどからなる動画像生成装置，２０は画像テーブル生成部，２１は画像テーブル格納部，２２は画像特徴指定部，２３はコマ選択部である。動画像生成装置２の構成要素のうち，映像入力部１１，複数動画像蓄積部１２，キー画像指定部１３，キー画像蓄積部１４，動画像出力部１６は，図１に示す第１の実施の形態の装置構成と同様である。
【００２４】
画像テーブル生成部２０は，複数動画像を処理して，例えば日時順や指定されたキー画像群に対応する画像の特徴順に整理された新たな画像群を示す画像テーブルを生成する。画像テーブル格納部２１は，生成された画像テーブルを格納する。画像特徴指定部２２は，目的の動画像として抽出する画像の特徴を指定する。また，コマ選択部２３は，画像特徴指定部２２により指定された画像特徴に従って画像テーブルを処理してその中の画像群から画像のコマを選択し動画像を生成する。
【００２５】
図５は，本発明の第２の実施の形態に係る動画像生成処理フローの一例を示す図であり，図６は，動画像生成方法を説明する図である。図６を参照しつつ図５に従って，第２の実施の形態に係る動画像生成方法を説明する。まず，映像を入力する（ステップＳ１１）。入力した映像を複数動画像蓄積部１２に蓄積する（ステップＳ１２）。この蓄積処理により，図６に示す日時の異なる複数の動画像群である複数動画像１０１が複数動画像蓄積部１２に蓄積される。
【００２６】
次に，キー画像指定部１３によってキー画像を指定する（ステップＳ１３）。指定されるキー画像は，動画像の各フレームでもよい。例えばある動作や表情の変化を示す教示映像をユーザに選択させる。この教示映像は，新しく撮影したものでも，複数動画像蓄積部１２に蓄積されている動画像の一部分でもよい。また，後述するように，パターン認識を行うためのテンプレートパターンや，各パターンに付与された名称のようなものでキー画像をユーザに選択させてもよい。この処理により，図６に示すキー画像１００が指定され，キー画像蓄積部１４に蓄積される。次に，画像テーブルを生成する（ステップＳ１４）。すなわち，蓄積された複数動画像１０１を処理することにより，画像の特徴に応じて整理した新たな画像群からなる画像テーブル１０３を生成する。画像テーブル生成処理の詳細は後述する。
【００２７】
次に，ユーザから画像特徴の指定情報を入力し，画像特徴を指定する（ステップＳ１５）。その後，コマ選択を行う（ステップＳ１６）。コマ選択では，指定された画像特徴に従って画像テーブル１０３を処理して画像のコマを生成する。生成した一連のコマから動画像を生成し出力する（ステップＳ１７）。具体的には，コマ選択によって得られた結果を動画像としてつなげて出力し，図６に示す生成動画像１０２とする。
【００２８】
上記図５に示す処理フローのステップＳ１１〜Ｓ１３は，基本的に図２に示す第１の実施の形態に係る動画像生成処理フローのステップＳ１〜Ｓ３と同じである。図５に示す処理で図２と異なるのは，図２のステップＳ４の部分がステップＳ１４〜Ｓ１６となり，基本的に画像がテーブル化されることである。最終的な結果は，生成動画像１０２であり，形式上は同じものである。違いはその生成過程である。
【００２９】
次に，本発明の第１の実施の形態における画像選択方法（図２のステップＳ４），ならびに本発明の第２の実施の形態における画像テーブル生成方法（図５のステップＳ１４）を具体的に説明するとともに，本発明の第１，第２の実施の形態の違いを説明する。
【００３０】
ここでも，最終的に得たい生成動画像は，顔に関するものとして説明を行う。まず，「顔」を例にして画像テーブル１０３の概念を説明する。「顔」には，表情があり，撮影された向きがあり，そして長い時間を経るとその顔つきが変わるという特徴がある。つまり，「顔」を題材とする場合，「月・年単位の時間（年齢）」「向き（上下，左右）」「表情（無表情，徴笑，怒り等）」という様々な尺度が顔の中に存在する。このとき，例えば「年齢」，「表情の変化（無表情⇔微笑）」の２つの軸を基準にすることができる。
【００３１】
図７および図８は，画像テーブルの概念を説明する図である。図７に示すｔｎ，ｋ ，図８に示すｓｎ，ｋ の各要素は，常に１枚の画像を含む。同時に後で述べるような補正のためのパラメータ等を含んでいる場合もある。しかし，続く画像テーブルそのものの説明では，これらのパラメータは直接関与しないため，説明から省いてある。
【００３２】
図７は，動画像を複数，時間順に並べた図である。動画像は，実際には静止画像の集まりとみなすことができ，この図では，ｔｎ，ｋ ｛ｋ＝１，２，３，…｝として得られている。これは，複数の動画像を並べただけであり，この場合，一般にｔｎ，ｋ のｋを固定して｛ｎ＝１，２，３，…｝と並べても，意味のある映像にはならない。
【００３３】
図８は，各動画像の整理を行い，ｓｎ，ｋ のｋを固定して｛ｎ＝１，２，３，…｝と並べたときに何らかの意味があるようにしたものである。これは，画像テーブル１０３の一例である。この例では，例えばｋを固定すれば，無表情の画像，微笑んだ画像などが並ぶようにする。図８に示す画像テーブル中のｓｎ，ｋ は，実際の画像データであってもよいし，複数画像蓄積部１２に蓄積された画像を示すポインタであってもよい。
【００３４】
図９（Ａ）は，図８の要素ｓｎ，ｋ をイメージ化したものである。また，図９（Ｂ）に示す要素ｓ１，１ のように，要素ｓｎ，ｋ は，例えば画像データにカメラレンズ等の歪情報や，明るさや大きさ等の補正情報などを付加したようなものであってもよい。
【００３５】
本発明の第１の実施の形態における画像選択方法（図２のステップＳ４）では，例えば無表情の顔に固定して画像を選択する方法がとられる。または，単に１時刻前の動画像で選ばれた画像に最も近い画像を選ぶなど，テーブル化を行わず，直接的に画像処理を行って，動画像を作成する。
【００３６】
本発明の第２の実施の形態における画像テーブル生成処理（図５のステップＳ１４）では，上の第１の実施の形態の例のように，１つのパターンに固定するのではなく，先に複数の動画像をキー画像に従って選択および整理して画像テーブル１０３を作成する。そして，その結果を別の基準，すなわち指定した画像特徴に従ってコマを作成する。
【００３７】
なお，画像テーブル１０３の次元が１となっている場合には，所定の画像選択方法によるコマ選択処理（図２のステップＳ４）のように画像テーブル１０３を利用せず，直接動画像の生成が可能である。また，図８は，２次元のテーブルを想定して例を示したが，次元は１次元や２次元である必要はない。３次元以上の場合には，ｓｎ，ｍ，ｋ などのように，インデックスが増えていくことになる。
【００３８】
次に，画像テーブル１０３を作成する手順について具体的に説明する。ここでは，図８における横軸を無表情の顔から笑い顔までの表情軸（ｋ），縦軸を年月軸（ｎ）と呼びながら，画像テーブル１０３の作成手順例を示す。
【００３９】
最も単純な例は，１回，手本として教示映像を示す方法である。表情軸に相当する動画像を１回撮影する。つまりこれは，無表情から順次笑っている画像であるとする。これをキー画像として蓄積しておく。この映像を仮にＳｋ とする。このキー画像Ｓｋ と最も類似するパターンを，動画像シーケンスを並び替えたり飛ばしたり補間したりして画像テーブル１０３を作成する。すなわち，１つのシーケンス動画像ｔｎ，ｍ ｛ｍ＝１，２，３，…｝について，各ｋ毎にキー画像Ｓｋ に最も類似するｔｎ，ｍ を探し，これをｓｎ，ｋ とする。これを，異なる各ｎについても行うことで，ｓｎ，ｋ を要素とする画像テーブル１０３が完成する。
【００４０】
なお，画像の類似パターンを探す方法には，差の絶対値の合計や差の２乗和が最低となる画像を選ぶ方法，相関を利用する方法などがあるが，ここではその方法は規定しない。これを多少修正した方法の例としては，教示映像となる動画像を最後に取得し，これを使ってすでに蓄積した蓄積映像をテーブル化する方法がある。
【００４１】
これをさらに修正した方法に，常にキー画像を固定させるのではなく，キー画像を逐次処理した結果に更新していく方法もある。例えば，指定されたキー画像Ｓｋ をもとにシーケンス動画像ｔ１，ｍ から一つの画像列ｓ１，ｋ を生成すると，次はその画像列ｓ１，ｋ をキー画像として，次のシーケンス動画像ｔ２，ｍ から新しい画像列ｓ２，ｋ を生成し，同様に順次，キー画像を更新しながら処理を繰り返す。また，すべての動画像蓄積後であれば，キー画像は最も古い動画像ばかりでなく，新しいもの，あるいは古くもなく新しくもないものを併用して利用することも可能である。例えば，最も古い動画像をベースにしつつ，新しいものを累積させていく方法もある。すなわち，古い動画像から得られた画像列と，それより新しい動画像から得られた画像列とを重ね合わせて平均化するなどして生成した画像列を，次の画像列を選択するためのキー画像とする方法を用いてもよい。
【００４２】
本発明においては，キー画像は，画像のパターンそのものである必要はない。例えば，表情認識技術（例えば「人間とコンピュータによる顔表情の認識［Ｉ〜ＩＶ］」：電子情報通信学会誌：Ｖｏｌ．８５， Ｎｏ．９， ｐｐ．６８０−６８５， ２００１．９から２００３．１までの４回シリーズ参照）を利用して，これを数値化して表情軸の指標に利用することも可能である。また，目の開閉，顔の向きも顔のパーツ切り出し技術で把握できるので，これらを指標にすることもできる。
【００４３】
画像テーブル１０３には，２種類の蓄積方法がある。第１の蓄積方法は，顔の位置を一定にして蓄積しておく方法である。顔抽出技術を用いれば，顔の大きさ，および下記に示すように明るさや歪，目の位置などを抽出することができる。この結果を利用して，顔の大きさと位置を正規化しておく。実際には，さらに下記に示すように，平均的明るさと分散，歪補正も行なっておく。この場合には，この画像をそのまま生成動画像とすることが可能である。
【００４４】
第２の蓄積方法は，顔の位置（目，口，鼻等）を抽出して画像の付加情報としてテーブルの別要素として蓄積しておく方法である。動画像の提示を行う時に必要に応じて変換を行い，顔の位置と大きさ，明るさ歪を一定にして生成動画像を作成する。
【００４５】
また，画像テーブル１０３を作成するときに，場合によっては蓄積した画像が十分でなく，抜けが発生する場合がある。この場合には，類似する画像（複数または１枚）を利用して画像を補間して生成することができる。また，もしも画像に歪がある場合，例えば魚眼レンズの場合には，画面の場所によって得られる画像に歪が生じる。この場合には，顔の位置等により大きさや位置の正規化を行う際に歪補正も併せて行う。
【００４６】
また，もし画像テーブル１０３の画像の明るさが揃わない場合，これは画素値の平均と分散を正規化する方法などにより，明るさとコントラストを補正しておく。同様に，色のばらつきも，必要に応じて補正しておく。
【００４７】
さらに，顔をターゲットとしている場合，その背景に映っているものが一定しなかったり，映したくないものが映っていたりする場合がある。この対策として，動き検出等の周知の動物体の形状抽出技術を利用して，顔の領域と背景を分離した上で，例えば背景を１色にしてしまう，背景はぼかすなどの加工を行って，見せなくすることが考えられる。または，常に異なる場所で撮影されている場合には，顔の位置のみを正規化すれば，背景は完全に平均をとるなどして，実質的に見えなくなるように処理することも考えられる。
【００４８】
本実施の形態では顔の表情を図８の横軸にした場合を説明したが，さらに次元を２以上に増やすことも可能である。例えば，日時と表情に加え，顔の向き，目の向き，目の開き具合などを次元として加えることが可能である。人の全体をターゲットにするなら，ポーズについて同じことを実現できる。
【００４９】
なお，以上の説明の中に，顔が誰のものであるかの判断は記載しなかった。これは，既存の顔認織ソフトを利用することで判断可能である。または家族など数人程度の顔の分類であれば，一般的なテンプレートマッチングを利用しても実現できる。
【００５０】
次に，本発明の第２の実施の形態において，画像テーブル生成（図５のステップＳ１４）をした後の，画像特徴指定処理（図５のステップＳ１５）ならびにコマ選択処理（図５のステップＳ１６）の具体的な手順を説明する。
【００５１】
この例では，上の説明と同じく，対象が顔であり，図８の横軸が表情，縦軸が日時である場合で説明を行う。表情を段々微笑むようにしたい，または微笑むことと無表情を繰り返したいという希望があったとする。画像特徴指定処理（図５のステップＳ１５）では，このような画像特徴の希望をユーザから入力して指定する。この場合，縦軸に沿って，横軸が段々と微笑む方向（本例では，ｋを大きくする方向）にしていくか，ｋを周期的に大きくしたり小さくしたりすることを繰り返せばよい。
【００５２】
このような指定に従って，コマ選択を実行し，画像テーブル１０３の示す画像の大きさ等がすでに正規化されている場合には，この結果をつなぎ合わせる。画像テーブル１０３の示す画像が正規化されていない例では，画像付加情報として位置や大きさを指定してあるため，画像の変換を行いつつ画像をつなぎ合わせる。これにより，生成動画像１０２を作成することができる。
【００５３】
もしも，常に微笑んだ生成動画像を得たい場合には，所望のｋを決定し，これを順に並べればよい。この場合には，本発明の第１の実施の形態のように，実際には画像テーブル１０３の生成を経ずに，生成動画像１０２を作成することも可能である。
【００５４】
また，顔以外をターゲットとする場合でも，教示映像を示すことは可能であり，この方法で顔と同じようにパラメータ化を施すことが可能である。動作が対象である場合には，教示映像以外に動作をシルエット，物体形状輪郭等から得ることが可能である（例えば，「画像処理工学−−基礎編−−」，谷口慶治編，共立出版，１９９６年参照）。
【００５５】
上記本発明の実施の形態における複数動画像蓄積方法は，様々な方法が考えられる。その例を示す。例えば，監視用カメラ，カメラドアフォン用カメラ，ドアスコープに取り付けたカメラ等を利用して，変化が観測された時刻前後を自動的に記録する方法がある。また，テレビモニタやゲーム機にカメラを設置し，モニタを見ている間に映像を記録する方法がある。
【００５６】
他に，冷蔵庫，鏡，箪笥，ダイニングテーブル等，家具に設置したカメラを利用して自動記録またはアクションを起こして記録する方法，カメラ付き携帯電話を開いた時，何かのボタンを押した時や，カメラ付き携帯端末に電源を入れた時や何らかのルーチン動作をした時，またはその後，数秒程度してから一定期間または操作中は連続して撮影し映像を蓄積する方法，さらに，カメラが設置されたパソコンの場合には，電源立ち上げ時からの一定期間の映像を蓄積する方法もある。
【００５７】
ベビーカーに取り付けたカメラ，ベビーベット脇に取り付けたカメラ，チャイルドシートに向けたカメラ，自転車の子供用椅子前に向けたカメラから，幼児や子供がいる時に撮影する方法もある。
【００５８】
異なる例として，ＣＴスキャンの画像，つまり人間の体の映像を輪切りにして上から下へと順番に並べた画像を動画像とみなしてもよい。これは，一般に定期検診は年１回程度行われることを利用する方法である。以上のように，類似する映像が継続的に撮影できれば，どんな映像であってもよい。
【００５９】
また，複数動画像蓄積部１２に蓄積する動画像の単位は，撮影方法によって異なる場合がある。一般に監視系カメラからの映像のように，カメラが固定でありまたカメラ視野内にほとんど変動がない画像からの映像であれば，動画像は動きを検知してから動きがなくなるまでを，蓄積する動画像シーケンスとすればよい。
【００６０】
カメラ付き携帯電話またはカメラ付き携帯端末の場合や，人がアクションを起こして撮影を実施する場合には，トリガから一定期間の映像を蓄積することで十分である。もちろん，顔の場合，顔が撮影されている全時間を動画像として蓄積することも可能である。これは，ベビーカーやチャイルドシートのように，比較的長時間にわたって撮影が可能な場合も同じである。
【００６１】
カメラ付き携帯電話のように，通信が可能な装置の場合には，蓄積はネットワーク経由で行うことも可能である。また，パソコンの場合も同様であり，蓄積はそのパソコン自体に行ってもよいし，別のパソコンに通信を介して行ってもよい。
【００６２】
本発明を実現するための単純なシステム構成は，図１０に示すようなカメラ１１０，蓄積装置１１１，処理装置１１２，表示装置１１３をネットワークまたはシステムバス１１４を介して接続し，カメラ１１０が撮影した動画像を蓄積装置１１１に蓄積した上で，処理装置１１２において動画像生成処理を行い，表示装置１１３において動画像を表示させるというような構成である。
【００６３】
【発明の効果】
以上のように本発明は，複数の動画像を蓄積し，これを処理・再構成することにより，新たな動画像を生成する。これにより，実際には存在しない動画像を生成することができる。例えば子供の映像に対して本発明を適用すれば，短時間で成長を遂げているような動画像を生成できる。また，その表情を自在にコントロールすることができるようになる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る装置構成の一例を示す図である。
【図２】動画像生成処理フローの一例を示す図である。
【図３】動画像生成方法を説明する図である。
【図４】本発明の第２の実施の形態に係る装置構成の一例を示す図である。
【図５】動画像生成処理フローの一例を示す図である。
【図６】動画像生成方法を説明する図である。
【図７】複数の動画像シーケンスを時間順に並べた図である。
【図８】画像テーブルの一例を示す図である。
【図９】画像テーブルのイメージを示す図である。
【図１０】ネットワークを介して複数動画像を蓄積する構成を示す図である。
【符号の説明】
１，２ 動画像生成装置
１１ 映像入力部
１２ 複数動画像蓄積部
１３ キー画像指定部
１４ キー画像蓄積部
１５，２３ コマ選択部
１６ 動画像出力部
２０ 画像テーブル生成部
２１ 画像テーブル格納部
２２ 画像特徴指定部
１００ キー画像
１０１ 複数動画像
１０２ 生成動画像
１０３ 画像テーブル
１１０ カメラ
１１１ 蓄積装置
１１２ 処理装置
１１３ 表示装置
１１４ ネットワークまたはシステムバス
Claims (9)
- 静止画像を複数枚並べて順次提示することによって動画像を生成する方法であって，
複数の動画像を蓄積するステップと，
キーとなる画像を指定するステップと，
前記指定されたキー画像を用いて前記蓄積された複数の動画像の各動画像列中からキー画像に対応する静止画像を選択し，選択した静止画像を１コマずつ複数枚並べて動画像を生成するステップとを有する
ことを特徴とする動画像生成方法。 - 静止画像を複数枚並べて順次提示することによって動画像を生成する方法であって，
複数の動画像を蓄積するステップと，
キーとなる画像を指定するステップと，
前記指定されたキー画像を用いて前記蓄積された複数の動画像の各動画像列中からキー画像に対応する静止画像を選択し，選択した静止画像の情報をテーブル化して蓄積するステップと，
生成する動画像の特徴を指定するステップと，
前記指定された動画像の特徴に基づいて，前記テーブル化された静止画像の情報中から静止画像を選択し，選択した静止画像を１コマずつ複数枚並べて動画像を生成するステップとを有する
ことを特徴とする動画像生成方法。 - 請求項１または請求項２記載の動画像生成方法において，
前記キー画像は，予め設定された１つまたは複数の動画像の１フレームからなる画像または動画像の各フレームからなる画像群である
ことを特致とする動画像生成方法。 - 請求項１または請求項２記載の動画像生成方法において，
前記キー画像として，少なくとも最初は予め設定された１つまたは複数の動画像の１フレームまたは動画像の各フレームを利用し，時間経過とともにそれを更新した画像または画像群を利用する
ことを特徴とする動画像生成方法。 - 請求項１または請求項２記載の動画像生成方法において，
前記キー画像は，パターン認織を行うためのテンプレートパターンである
ことを特徴とする動画像生成方法。 - 静止画像を複数枚並べて順次提示することによって動画像を生成する装置であって，
複数の動画像を蓄積する動画像蓄積手段と，
キーとなる画像を指定するキー画像指定手段と，
前記指定されたキー画像を用いて前記蓄積された複数の動画像の各動画像列中からキー画像に対応する静止画像を選択し，選択した静止画像を１コマずつ複数枚並べて動画像を生成するコマ選択手段とを備える
ことを特徴とする動画像生成装置。 - 静止画像を複数枚並べて順次提示することによって動画像を生成する装置であって，
複数の動画像を蓄積する動画像蓄積手段と，
キーとなる画像を指定するキー画像指定手段と，
前記指定されたキー画像を用いて前記蓄積された複数の動画像の各動画像列中からキー画像に対応する静止画像を選択し，選択した静止画像の情報をテーブル化して蓄積する画像テーブル生成手段と，
生成する動画像の特徴を指定する画像特徴指定手段と，
前記指定された動画像の特徴に基づいて，前記テーブル化された静止画像の情報中から静止画像を選択し，選択した静止画像を１コマずつ複数枚並べて動画像を生成するコマ選択手段とを備える
ことを特徴とする動画像生成装置。 - 請求項１から請求項５までのいずれか１項記載の動画像生成方法を，コンピュータに実行させるための動画像生成プログラム。
- 請求項１から請求項５までのいずれか１項記載の動画像生成方法を，コンピュータに実行させるための動画像生成プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003104949A JP2004312493A (ja) | 2003-04-09 | 2003-04-09 | 動画像生成方法，動画像生成装置，動画像生成プログラム，動画像生成プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003104949A JP2004312493A (ja) | 2003-04-09 | 2003-04-09 | 動画像生成方法，動画像生成装置，動画像生成プログラム，動画像生成プログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004312493A true JP2004312493A (ja) | 2004-11-04 |
Family
ID=33467599
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003104949A Pending JP2004312493A (ja) | 2003-04-09 | 2003-04-09 | 動画像生成方法，動画像生成装置，動画像生成プログラム，動画像生成プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004312493A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013157030A (ja) * | 2013-05-07 | 2013-08-15 | Olympus Corp | 撮像方法及び撮像装置 |
| US9060160B2 (en) | 2008-09-24 | 2015-06-16 | Nikon Corporation | Image generation device, imaging device, image reproduction device, and image reproduction program |
-
2003
- 2003-04-09 JP JP2003104949A patent/JP2004312493A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9060160B2 (en) | 2008-09-24 | 2015-06-16 | Nikon Corporation | Image generation device, imaging device, image reproduction device, and image reproduction program |
| JP2013157030A (ja) * | 2013-05-07 | 2013-08-15 | Olympus Corp | 撮像方法及び撮像装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101617339B (zh) | 图像处理装置和图像处理方法 | |
| JP5857133B2 (ja) | 顔検出を使用した画像の再構成 | |
| KR101665130B1 (ko) | 복수의 인물에 대한 이미지 생성 장치 및 방법 | |
| US20120257048A1 (en) | Video information processing method and video information processing apparatus | |
| WO2019137131A1 (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| KR20170134256A (ko) | 얼굴 윤곽 보정 방법 및 장치 | |
| US20120169895A1 (en) | Method and apparatus for capturing facial expressions | |
| JP5959923B2 (ja) | 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 | |
| JP5941736B2 (ja) | 撮影機器 | |
| WO2020136795A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| US9361705B2 (en) | Methods and systems for measuring group behavior | |
| JP2019117326A (ja) | 画像プリント提案装置、方法及びプログラム | |
| TWI397024B (zh) | 影像畫面自動選取方法及其電腦系統 | |
| KR102247481B1 (ko) | 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법 | |
| JP7435837B2 (ja) | 情報処理システム、情報処理装置、情報処理方法、およびプログラム | |
| JP2004312493A (ja) | 動画像生成方法，動画像生成装置，動画像生成プログラム，動画像生成プログラムを記録した記録媒体 | |
| KR101170676B1 (ko) | 얼굴 인식 기반의 얼굴 검색 시스템 및 그 방법 | |
| Schiphorst et al. | Video2report: A video database for automatic reporting of medical consultancy sessions | |
| JP6544970B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| JP2004158950A (ja) | 記録映像自動生成システム，記録映像自動生成方法，記録映像自動生成プログラムおよび記録映像自動生成プログラムの記録媒体 | |
| JP5242827B2 (ja) | 顔画像処理装置、顔画像処理方法、電子スチルカメラ、デジタル画像処理装置およびデジタル画像処理方法 | |
| GB2413718A (en) | Automatic view generation from recording photographer's eye movements | |
| Siivonen et al. | Open framework for error-compensated gaze data collection with eye tracking glasses | |
| JP7485893B2 (ja) | 情報処理装置、制御プログラム、及び制御方法 | |
| CN116743979B (zh) | 人脸图像采集设备及人脸图像采集方法 |