JP2005277916A - 動画像処理装置、画像処理システム、動画像処理方法およびそのプログラム、記録媒体 - Google Patents

Abstract

【課題】 一の動画像から部分的な高画素密度の動画像を自動的に生成し、種々の画像コンテンツを提供する動画像処理装置を構築することを目的とする。
【解決手段】 複数枚のフレーム画像で構成される動画像の指定された一部の領域から、部分的な動画像である部分動画像を生成する動画像処理装置であって、前記指定された一部の領域内の画像を前記部分動画像を生成する対象として認識する対象領域認定手段と、前記領域を指定するタイミングで、該領域内の画像を解析して認識した対象画像の性質を判断する対象解析判断手段と、前記判断された対象画像の性質に基づいて、予め記憶した前記部分動画像の生成手法を選択して該部分動画像を生成する生成手段とを備えた動画像処理装置とする。
【選択図】 図２

Description

本発明は、動画像から部分的な動画像を生成する動画像処理装置，画像処理システム，動画像処理方法およびコンピュータプログラム，記録媒体に関する。

近年、マルチメディアの普及により、携帯電話やデジタルビデオカメラなどで取得した動画像の取り扱いが容易になってきている。例えば、かかる動画像をパーソナルコンピュータに取り込んで編集することで、個人レベルで比較的簡単に新たな動画像を生成することができる。なお、動画像の有する様々な情報を利用する文献としては、下記特許文献がある。

特開平６−３１１４１０号公報 特開２００１−１１８０７５号公報

しかしながら、個人レベルの編集で生成された新たな動画像は、元の動画像から切り出した程度のものに過ぎず、新たなコンテンツと呼ぶには物足りないものであった。つまり、かかる技術では、一の画像コンテンツから複数の画像コンテンツを生成するに値するものとは言えず、コンテンツ不足を補うことはできなかった。

本発明は、こうした問題を解決し、一の動画像から部分的な高画素密度の動画像を自動的に生成し、種々の画像コンテンツを提供する動画像処理装置を構築することを目的とする。

本発明の第１の動画像処理装置は、上記課題の少なくとも一部を解決するため、以下の手法を採った。すなわち、複数枚のフレーム画像で構成される動画像の指定された一部の領域から、部分的な動画像である部分動画像を生成する動画像処理装置であって、前記指定された一部の領域内の画像を前記部分動画像を生成する対象として認識する対象領域認定手段と、前記領域を指定するタイミングで、該領域内の画像を解析して認識した対象画像の性質を判断する対象解析判断手段と、前記判断された対象画像の性質に基づいて、予め記憶した前記部分動画像の生成手法を選択して該部分動画像を生成する生成手段とを備えたことを要旨としている。

また、本発明の第１の画像処理方法は、複数枚のフレーム画像で構成される動画像の指定された一部の領域から、部分的な動画像である部分動画像を生成する動画像処理方法であって、前記指定された一部の領域内を前記部分動画像を生成する対象として認識し、前記領域を指定するタイミングで、該領域内の画像を解析して認識した対象画像の性質を判断し、前記判断された対象画像の性質に基づいて、予め記憶した前記部分動画像の生成手法を選択して該部分動画像を生成することを要旨としている。

第１の動画像処理装置および画像処理方法によれば、一つの動画像から予め部分動画像を生成しておくのではなく、所望する領域を指定するタイミングで、指定した領域内の対象画像の性質を判断し、新たな部分動画像が生成される。したがって、一つの画像コンテンツである動画像から任意の画像コンテンツである部分動画像を、複数生成することができ、種々の画像コンテンツを提供することができる。

上記の構成を有する動画像処理装置の生成手段は、少なくとも２種以上の前記部分動画像の生成手法を予め記憶したものとしても良い。

かかる動画像処理装置によれば、指定された領域についての部分動画像の生成は、領域内の対象画像の性質に応じて、少なくとも２種以上の手法から選択される。したがって、一つの動画像を、様々な部分動画像の形で表示することができ、少ない画像コンテンツを有効に活用することができる。

上記の構成を有する動画像処理装置の生成手段は、前記動画像の複数枚のフレーム画像のうち、前記指定された領域に対応する部分の画像である部分フレーム画像を複数用いて、該部分フレーム画像よりも高画素密度の合成画像を合成部分フレーム画像として生成する鮮明化処理を実行し、複数枚の該合成部分フレーム画像により当該部分動画像を生成する手法とすることができる。

かかる動画像処理装置によれば、指定された領域の部分動画像は、鮮明化処理を用いた合成部分フレーム画像を複数並べて生成される。生成された部分動画像は、元の部分フレーム画像よりも高画素密度の合成部分フレーム画像の集合となる。したがって、拡大表示に耐えうる鮮明な部分動画像を生成することができ、有益な画像コンテンツを提供することができる。

上記の構成を有する動画像処理装置の対象解析判断手段は、前記動画像を構成する時系列のフレーム画像において、前記対象画像が時間と共に形状の変形する変形体であるか否かを判断する変形体判断手段を備え、前記生成手段は、前記対象画像が変形体でない場合には、前記鮮明化処理を実行して前記部分動画像を生成するものとすることができる。

かかる動画像処理装置によれば、指定された領域内の対象画像の性質として、時間経過に対する対象画像の形状の変化を用いる。対象画像が時間と共に変形する変形体でない場合には、鮮明化処理を施して部分動画像を生成する。つまり、対象画像の性質を解析し、効果が期待できるものに対して鮮明化処理を実行する。したがって、不要な処理を実行することがなく、効率的な動画像処理装置を構築することができる。

上記の構成を有する動画像処理装置の変形体判断手段は、時系列のフレーム画像における前記対象画像の輝度情報を用いて判断する手段であるものとしても良い。

かかる動画像処理装置によれば、一の動画像を構成する時系列の複数フレーム画像から対象画像の輝度情報を取得し、その輝度情報を用いて対象画像の形状の変化を判断する。例えば、一のフレーム画像の対象画像の画素単位の輝度変化と、他のフレーム画像の対象画像の画素単位の輝度変化とを比較して、略一致する場合には対象画像の形状の変化はないと判断する。こうすることで、比較的容易に変形体の判断を行なうことができる。

上記の構成を有する動画像処理装置の生成手段の生成手法は、前記動画像の複数枚のフレーム画像から、前記対象画像を時系列に追跡して部分的な画像を抽出する追跡処理を実行し、時系列の部分的な画像を用いて前記部分動画像を生成する手法とすることができる。

かかる動画像処理装置によれば、指定された対象画像を認識し、それを時系列のフレーム画像に対して追跡する。一の動画像の複数のフレーム画像から追跡した対象画像に対応する画像部分を抽出し、部分動画像を生成する。したがって、ユーザが指定した対象画像を一の動画像から抜き出して拡大表示することができ、ユーザの興味のある部分動画像を生成し、表示することができる。

上記の構成を有する動画像処理装置の対象解析判断手段は、前記動画像を構成する時系列のフレーム画像において、前記対象画像が時間と共に所定範囲以上の位置の変化を有する移動体であるか否かを判断する移動体判断手段を備え、前記生成手段は、前記対象画像が移動体である場合には、前記追跡処理を実行し前記部分動画像を生成するものとすることができる。

かかる動画像処理装置によれば、対象画像の位置の変化が所定範囲内である場合には、時間経過に伴う動きが小さく、移動していない物体と判断し、対象画像の位置の変化が所定範囲以上である場合には、時間と共に移動する物体と判断する。こうした範囲を設定することで、対象画像の解析を容易にすることができる。また、移動体であると判断された場合に、追跡処理を実行した部分動画像を生成する。特に、対象画像が移動体であり、かつ、変形体でない場合には、追跡処理に加えて鮮明化処理も実行した部分動画像を生成する。したがって、形状の変形を伴わず移動する対象画像を、鮮明に拡大表示することができる。

上記の構成を有する動画像処理装置の追跡処理の手法は、前記領域を指定したタイミングにおけるフレーム画像以降の所定枚のフレーム画像を、前記動画像の表示に先立って取得し、前記対象画像を追跡する手段であるものとすることができる。

かかる動画像処理装置によれば、動画像の表示に先立って、所定枚数のフレーム画像を取得し、対象画像についての追跡処理を実行する。したがって、リアルタイムの処理を実行することができる。

上記の構成を有する動画像処理装置の生成手段は、前記対象画像が変形体であり、かつ、移動体でない場合には、前記部分動画像を生成することなく処理を中止するものとしても良い。

かかる動画像処理装置によれば、対象画像が、時間経過と共に形状が変形するものであり、位置の変化がほとんどないものである場合には、部分動画像の生成は行なわない。つまり、追跡処理、鮮明化処理の効果が期待できない対象画像である場合には処理を中止する。したがって、非効率的な処理を実行することがない。

上記の構成を有する動画像処理装置の生成手段は、前記部分動画像の生成と共に該部分動画像を表示する手段であり、前記領域内の対象画像の解析判断後、該部分動画像の生成を開始するタイミングで、前記動画像の表示から該部分動画像の表示に切替えるものとしても良い。

かかる動画像処理装置によれば、指定された領域内の対象画像を解析する間も動画像が表示され、解析判断後、部分動画像の生成を開始するタイミングで画面の表示が切り替わる。したがって、部分動画像が表示されるまでの間も、画像コンテンツを提供することができる。

上記の構成を有する動画像処理装置の生成手段は、前記部分動画像の生成と共に該部分動画像を表示する手段であり、該部分動画像の表示中に、表示画面の任意の位置をクリックしたタイミングで、該部分動画像の表示から前記動画像の表示に切替えるものとしても良い。

かかる動画像処理装置によれば、部分動画像の表示から元の動画像の表示への切替は、表示画面上をユーザがクリック操作することで行なわれる。したがって、簡単な操作を行なうことで、ユーザの意図する画像コンテンツを表示することができる。

本発明の画像処理システムは、動画像の撮影表示機能を有し、動画像を取得可能な携帯電話と、ネットワークを介して該携帯電話と接続可能なサーバとを備え、該携帯電話で取得した動画像から部分的な動画像である部分動画像を生成する画像処理システムであって、前記携帯電話は、前記部分動画像の生成を所望する前記動画像の一部の領域を指定する指定手段と、前記動画像と前記指定された領域とのデータを前記サーバに送信する送信手段とを備え、前記サーバは、前記携帯電話からのデータを受信すると共に、前記指定された領域内の画像を前記部分動画像を生成する対象として認識する対象領域認定手段と、前記指定された領域内の画像を解析して認識した対象画像の性質を判断する対象解析判断手段と、前記判断された対象画像の性質に基づいて、予め記憶した前記部分動画像の生成手法を選択して該部分動画像を生成し、該部分動画像を外部機器に出力する生成手段とを備えることを要旨としている。

本発明の動画像処理装置によれば、携帯電話で取得した動画像は、指定された領域と共にサーバへ送信され、サーバで部分動画像の生成が行なわれる。生成された部分動画像は、携帯電話を含む外部機器に出力され、外部機器にて表示される。複雑な部分動画像の生成処理をサーバで実行することで、処理時間を短縮すると共に、携帯電話の処理負担を軽減することができる。

本発明は、コンピュータプログラムおよびコンピュータプログラムを記録した媒体としても実装することができる。

以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。
Ａ．第１実施例：
Ａ１．動画像処理装置の構成：
Ａ２．対象領域内の画像：
Ａ３．対象解析判断処理：
Ａ４．動画像生成再生処理：
Ａ４−１.「非動体」処理：
Ａ４−２.「変形体」処理：
Ａ４−３.「非変形体」処理：
Ａ４−４．再生開始、終了のタイミング：
Ｂ．第２実施例：
Ｃ．変形例：

Ａ．第１実施例：
Ａ１．動画像処理装置の構成：
図１は、本発明の第１実施例としての画像処理システム１００を示す説明図である。図示するように、この画像処理システム１００は、画像データを供給する画像データベース２０、画像データベース２０から入力した一の画像データに対して画像処理を実行する動画像処理装置としてのパーソナルコンピュータ３０、画像処理の実行をユーザが指示するためのユーザインターフェース４０等から構成されている。

画像データベース２０は、デジタルビデオカメラ２１，デジタルスチルカメラ２２，撮影機能付きの携帯電話２３，ハードディスク２４などの画像データを取り扱う機器を有し、パーソナルコンピュータ３０へ画像データを供給する。なお、第１実施例の画像データデース２０に保有される画像データは、デジタルビデオカメラ２１で取得した動画像である。この動画像は、時系列的に連続した複数枚の静止画像であるフレーム画像から構成されている。

パーソナルコンピュータ３０は、画像処理を実行するＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、画像処理のソフトウェアをインストールするハードディスク３４、画像データベース２０，ユーザインターフェース４０などの外部機器とやり取りするためのＩ／Ｆ回路３５等を有している。ハードディスク３４にインストールされたソフトウェアの画像処理は、画像データベース２０から入力した動画像から新たな動画像を生成し、ユーザインターフェース４０に出力する処理である。このソフトウェアをインストールしたパーソナルコンピュータ３０は、動画像処理装置としての「対象領域認定手段」，「対象解析判断手段」，「生成手段」の機能を有する。

ユーザインターフェース４０は、ユーザが画像処理の実行操作を行なうためのキーボード４１やマウス４２、画像データベース２０から入力した動画像や新たに生成した動画像を再生表示するディスプレイ４３などを備えている。

こうした構成を有する画像処理システム１００において、画像データベース２０から入力した動画像の再生中に、ユーザがマウス４２によりディスプレイ４３上の所定の対象とする領域（以下、対象領域と呼ぶ）を指定すると、パーソナルコンピュータ３０は、指定された対象領域をディスプレイ４３のサイズに拡大して再生する。つまり、パーソナルコンピュータ３０は、一つの動画像から、その動画像の一部を拡大した部分的な動画像（以下、部分動画像と呼ぶ）を生成し、これを再生する処理を実行する。

図２は、この処理内容の具体的な一例を示した説明図である。図示するように、パーソナルコンピュータ３０は「山頂付近を通過する飛行機」の動画像をディスプレイ４３上で再生する。図２では、動画像の映像内容の理解を容易にするため、所定の時間間隔毎の動画像を構成するフレーム画像を図示している。この動画像は、デジタルビデオカメラ２１で撮影した動画像を単に再生したものであり、以下、動画像の純粋な再生を「通常再生」と呼ぶ。

この通常再生中にユーザが対象領域（Ａ）である「飛行機」をマウス４２でクリックすると、図示するように、パーソナルコンピュータ３０は「飛行機」を拡大した部分動画像をディスプレイ４３上に再生する。ここで再生される部分動画像は、背景である山頂付近を移動して行く飛行機を追跡すると共に、飛行機の部分を高画素密度に変換し、鮮明な画像とする鮮明化処理を実行した動画像である。以下、この態様の部分動画像の再生を「拡大追跡再生」と呼ぶ。ディスプレイ４３上には、拡大追跡再生の実行中であることを示す「拡大追跡中」の文字を表示している。なお、対象領域を指定するための矩形（図２の破線）は、予め所定の大きさに固定され、その位置はマウス４２により指示されるカーソルの動きと連動するように設定されている。

他方、通常再生中にユーザが対象領域（Ｂ）である山頂をマウス４２でクリックすると、図示するように、パーソナルコンピュータ３０は「山頂」を拡大した部分動画像をディスプレイ４３上に表示する。ここで表示される部分動画像は、山頂部分に対して前述の鮮明化処理を実行した動画像である。以下、この態様の部分動画像の再生を「拡大再生」と呼ぶ。ディスプレイ４３上には、「拡大中」の文字を表示する。

つまり、本実施例の動画像処理装置であるパーソナルコンピュータ３０は、指定された対象領域の画像内容を解析し、その画像内容に応じて、追跡、鮮明化などの処理を施して新たな部分動画像を生成し、これを再生する。こうした処理を施すことで、拡大再生、表示に耐えうる動画像を生成している。なお、対象領域の画像内容の解析処理、追跡処理や鮮明化処理などを用いた部分動画像の生成再生処理等については、後の詳しく説明する。

こうして一つの動画像から生成された部分動画像の拡大追跡再生中、および拡大再生中に、再度、ユーザがマウス４２でディスプレイ４３上の任意の位置をクリックすると、ディスプレイ４３上の画面は元の動画像の通常再生に戻る。

Ａ２．対象領域内の画像：
上記の画像処理では、図２に示したように、ユーザが指定する対象領域中に飛行機等の動きのある画像が存在するか否かによって実行する画像処理が異なる。本実施例では、動きがあると判断される画像を「動体」と、動きがないと判断される画像を「非動体」と、それぞれ呼ぶ。例えば、先の例の「飛行機」や画面上を右から左へ「歩いている人」、「背景として風で揺れる木の葉」などは「動体」に分類され、「ビル」などの完全に静止している画像は「非動体」に分類される。

「動体」はさらに分類され、動きが大きく所定の閾値以上である画像を「移動体」と、動きが小さく所定の閾値内である画像を「非移動体」と、それぞれ呼ぶ。例えば、上述の「飛行機」、「歩いている人」は「移動体」に分類される。これに対し、「背景として風で揺れる木の葉」などは、動きが小さく「非移動体」に分類される。

「移動体」はさらに詳細に、「変形体」と「非変形体」とに分類される。図３は、この「非変形体」を説明する説明図である。図示するように、動画像中のフレーム画像ｆ１に対して、飛行機を中心とした対象領域が指定されたとする。この対象領域の画像ｂ１（これを対象部分フレーム画像ｂ１と呼ぶ）と、動画像中の別のフレーム画像ｆ２内で飛行機を中心として対象領域に相当する画像ｂ２（これを部分フレーム画像ｂ２と呼ぶ）とを抽出する。抽出した部分フレーム画像ｂ２の飛行機部分は、対象部分フレーム画像ｂ１の飛行機部分に対して、並進方向（ｕ、ｖ）、回転方向δに所定量のずれを有しており、そのずれ量（u、v、δ）を補正することで、重ね合わせることができる。

このように、並進および回転方向のずれ補正によって、他の部分フレーム画像の大部分と重ね合わせることができる画像を「非変形体」と呼ぶ。他方、ずれ補正では大部分を重ね合わせることができない画像を「変形体」と呼ぶ。例えば、上記の「飛行機」は「非変形体」に分類され、「歩いている人」は大部分を重ね合わせることができず「変形体」に分類される。

以上にように、本実施例では対象領域内の画像を解析し、「非動体」，「非移動体」，「非変形体」，「変形体」の４つのパターンに分類する解析処理を行なう。対象領域内の画像が「非動体」である場合には鮮明化処理を実行し、「非変形体」である場合には追跡処理および鮮明化処理を実行し、「変形体」である場合には追跡処理を実行し、「非移動体」である場合には処理を中止する。以下に、対象領域内の画像を４つのパターンに分類する解析処理を説明する。

Ａ３．対象解析判断処理：
図４は、対象領域内の画像を４つのパターンに分類する解析処理のフローチャートである。上述のハード構成を有する画像処理システム１００において、動画像の通常再生中に、ユーザがディスプレイ４３上の所望する対象領域をマウス４２のクリック操作で指定することで、パーソナルコンピュータ３０にインストールされた処理が開始される。

なお、この対象領域を指定するための矩形は、動画像の通常再生画面と同じアスペクト比で固定され、マウス４２により指示されるカーソルの動きに連動している。ユーザは、ディスプレイ４３上の所望する位置にカーソルを移動させ、マウス４２の「左クリック」の操作により対象領域を確定する。勿論、キーボード４１の操作により対象領域を確定するものとしても良い。

パーソナルコンピュータ３０のＣＰＵ３１は、クリックされた瞬間のフレーム画像およびマウス４２で指定されたフレーム画像の範囲を認識し、指定された対象領域内から動体の領域を抽出する動体領域抽出処理を実行する（ステップＳ４００）。具体的には、対象領域をマウス４２でクリックした時のフレーム画像（以下、これを注目フレーム画像と呼ぶ）と、これに時系列で連続するフレーム画像との２つのフレーム画像から動体領域を抽出している。

図５は、この動体領域抽出処理の一例を示す説明図である。図示するように、注目フレーム画像に対し、時系列で連続するフレーム画像は、背景である山頂の画像についてはほとんど変化しないが、飛行機については位置の変化を伴う画像である。こうした相関関係のある２つのフレーム画像について、ずれ量（ｕ、ｖ、δ）を検出し、そのずれ量を補正する。本実施例では、フレーム画像間のずれ量の検出に勾配法を用いているが、ブロックマッチング法や反復勾配法、これらを組み合わせた手法などを用いて算出するものとしても良い。

ずれ量の補正を実行したフレーム画像について、フレーム画像全体を所定数のブロックに分割して、ブロック毎に内部のずれ量（差分）を検出する。検出したずれ量が所定の閾値以内であるブロックは背景の領域（背景領域）であると、所定の閾値より大きいブロックは動体の領域（動体領域）であると、それぞれ判断する。こうしたブロック毎にずれ量の差分を検出した差分画像を利用して、指定されたフレーム画像から動体領域を判別している。

なお、２つのフレーム画像のそれぞれから、動体領域と判断された部分を除いた背景領域のみを抽出して、再度ずれ量の検出、補正を実行し、最終的な動体領域の判断を行なうものとしても良い。背景領域のみに関してずれ補正を実行することで、動体領域の画像全体への影響を排除して補正の精度を向上することができる。こうした処理を実行することで、背景領域に対して特異な動きをしている領域が動体領域であると判断される。また、２つのフレーム画像全体をブロックに分割して動きを推定し、ブロック内部の変形量、動きベクトルの変化などの特徴量によって背景領域を推定するものとしても良い。

図４に戻って、ユーザが指定した対象領域が、動きがあると判断された動体領域であるか否かの判断を行なう（ステップＳ４１０）。具体的には、ユーザがマウス４２で指定した対象領域の中心が、検出した動体領域の内部に入るか否かを判断している。つまり、ユーザが指定した対象領域の中心は、拡大して再生することを所望する画像（以下、対象画像と呼ぶ）であるとして認識している。

ステップＳ４１０で、指定された対象領域の中心が動体領域内に入らないと判断した場合には、対象画像を「非動体」であるとして、この処理を終了する。

他方、ステップＳ４１０で、指定された対象領域の中心が動体領域内に入ると判断した場合には、対象画像を「動体」であるとして、動体の時間的な位置の変化を追跡する動体追跡処理を実行する（ステップＳ４２０）。具体的には、注目フレーム画像以降、例えば１秒間のフレーム画像を通常再生よりも先に取得して動体の動きを推定し、動体の位置の変化を検出している。なお、先行して取得するフレーム画像の枚数（時間）は、任意に設定するものとすれば良い。

図６は、この動体追跡処理の一例を示す説明図である。図中のフレーム画像ｆａは注目フレーム画像を示し、フレーム画像ｆｂは注目フレーム画像に連続する画像を示している。また、フレーム画像ｆ１ａはクリック操作から１秒後のフレーム画像を示し、フレーム画像ｆ１ｂはフレーム画像ｆ１ａに連続する画像を示している。図示するように、注目フレーム画像ｆａ以降の１秒間のフレーム画像を取得し、図３のステップＳ４００と同様に、隣接フレーム画像間でのずれ補正を実行し、動きがあるブロックである動体領域を抽出する。こうした動体領域の抽出を時系列順に隣接フレーム画像間で実行し、動体位置の時間変化（移動ベクトル）を検出する。移動ベクトルは、動体領域が複数のブロックから構成されているため、ブロック全体を比較し、最大相関を示すようなベクトルを検出することで決定している。

なお、この処理は、すべてのフレーム画像を抽出する必要はなく、所定時間毎に動体領域を抽出する隣接フレーム画像をサンプリングするものとすれば良い。例えば、１秒間隔毎に２枚の隣接するフレーム画像を取得して動体領域を抽出し、１秒間隔毎の動体領域に関して移動ベクトルを求めるものとしても良い。こうすることで処理時間を短縮することができる。また、この処理は、ずれ補正を用いるものに限らず、動体領域の特徴点を追跡することで動体追跡を実行するものとしても良い。

なお、この動体追跡処理では、所定時間後の動体領域を抽出できない場合がある。例えば、動体領域が表示画面の外に移動した場合、他の物体の背後に隠れる場合、シーンの切り替わりや、動体領域が小さくなる場合などは、動体追跡が不能（以下、これを「動体消失」と呼ぶ）となる。こうした場合には、動体追跡処理を中止し、動体消失の時間を記憶して、後述する動画像の再生に利用する。

図４に戻り、ステップＳ４２０の動体追跡処理の結果に基づいて、対象画像が「移動体」であるか否かの判断を行なう（ステップＳ４３０）。具体的には、動体追跡処理の結果である動体の位置と時間との関係から、動体の移動が所定の範囲内であるか否かを判断している。

図７は、動体追跡処理の結果の一例として、動体の位置と時間との関係（以下、追跡曲線と呼ぶ）を示す説明図である。図示するように、横軸は時間ｔを、縦軸は動画像を構成するフレーム画像の横方向の位置Ｘを、それぞれ表わしている。図中の２つの破線で挟まれた範囲は、対象領域の横方向の大きさを示している。図中の２つの二点差線で挟まれた範囲は、「非移動体」であると判定する範囲であり、移動体であるか否かを判定する閾値となる。なお、この閾値は、対象領域の横方向の大きさの１／２としている。

図示するように、この一例では、動体追跡処理により検出した移動ベクトルから作られる追跡曲線が閾値内（斜線領域）に入っている。この場合、対象領域に比べて、指定された対象画像は動きが小さいものであり「非移動体」であると判断される。

なお、図７は説明を簡単にするため、フレーム画像の横方向であるＸ方向のみについて示したが、同様にして縦方向であるＹ方向についても、動体追跡の結果を判断している。この場合の閾値は、Ｘ方向と同様、対象領域の縦方向の大きさの１／２の大きさに設けている。

図４のステップＳ４３０で、対象画像の追跡曲線が、Ｘ方向、Ｙ方向共に、図７に示した閾値の範囲内である場合には、対象画像を「非移動体」であると判断して、処理を終了する。

他方、ステップＳ４３０で、対象画像の追跡曲線が、Ｘ方向、Ｙ方向のいずれかで、図７に示した閾値の範囲からはみ出す場合には、対象画像を「移動体」であると判断し、さらに移動体の内部を解析する変形体判定処理を実行する（ステップＳ４４０）。この変形体判定処理は、指定された対象領域の対象画像に対して鮮明化処理を施すことが可能か否かを輝度変化に基づいて判定する処理である。

図８は、移動体を含む領域の画素単位における輝度変化を示す説明図である。図示するように、横軸は移動体を基準とした領域内の画像の横方向の位置Ｘを、縦軸は位置Ｘに対応する画素の輝度Ｖを、それぞれ示している。ここで移動体を基準とした領域とは、ステップＳ４２０の動体追跡処理にて検出した移動ベクトルに基づいて、ユーザが指定した瞬間の対象領域内の移動体の位置関係（例えば重心位置）に相当する領域を、所定時間後のフレーム画像から抽出した領域である。つまり、ユーザが指定した瞬間（ｔ＝０）の対象領域は、図３に示した対象部分フレーム画像に相当し、ユーザの指定からｎ秒後（ｔ＝ｎ）のフレーム画像から抽出した領域は、図３に示した部分フレーム画像に相当する。

図８に示す実線は、対象部分フレーム画像の横方向の位置Ｘに対する輝度Ｖ０の変化を示し、破線は、１秒後の部分フレーム画像の横方向の位置Ｘに対する輝度Ｖ１の変化を示している。なお、図８は説明を簡単にするため、部分フレーム画像の横方向であるＸ方向のみについて示したが、実際には縦方向であるＹ方向も考慮している。したがって、対象部分フレーム画像の輝度はＶ０（Ｘ、Ｙ）と、１秒後の部分フレーム画像の輝度はＶ１（Ｘ、Ｙ）と、それぞれ表示する。

図示するように、対象部分フレーム画像の輝度Ｖ０（Ｘ、Ｙ）と部分フレーム画像の輝度Ｖ１（Ｘ、Ｙ）とを比較すると、輝度の差分｜Ｖ１（Ｘ、Ｙ）−Ｖ０（Ｘ、Ｙ）｜が所定の閾値以内に収まる範囲が求まる。この範囲は、両部分フレーム画像がほぼ重なり合う領域であり、「非変形領域」と呼ぶ。例えば、図３に示した移動体としての飛行機の動画像では、非変形領域は飛行機部分の画像領域に該当し、輝度の差分が所定の閾値以上である領域は飛行機の背景部分の画像に該当する。こうした画素単位の輝度変化を比較することで、鮮明化処理の効果を引き出せる範囲が検出できる。なお、本実施例では、１秒後の相当領域の画像のみをサンプリングするものとしたが、さらに複数の画像をサンプリングして輝度の差分を比較することで、高精度の領域判定を実行することができる。

図４に戻って、ステップＳ４４０にて検出した非変形領域から、移動体であると判断された対象画像が、「変形体」であるか否かの判断を行なう（ステップＳ４５０）。具体的には、検出した非変形領域の移動体の領域全体に対する面積割合が所定値以上であるか否かを判断している。

ステップＳ４４０で、非変形領域の割合が所定値以上である場合には、この移動体は「非変形体」であると判定して処理を終了し、非変形領域の割合が所定値よりも小さい場合には、移動体を「変形体」であると判定して処理を終了する。なお、本実施例では、変形体の判定基準として移動体領域の７０％が非変形領域であるものを「非変形体」として判定するものとしているが、この値に限るものではなく、設計値として所定値を設定するものとすれば良い。

以上の対象解析判断処理を実行することで、ユーザがクリックした対象領域内の対象画像を４つのパターンに分類する。分類の結果、対象画像が「非動体」、「非変形体」である場合には鮮明化処理を、対象画像が「移動体」である場合には追跡処理を、それぞれ実行し、新たな部分動画像を生成する。

Ａ４．動画像生成再生処理：
Ａ４−１.「非動体」処理：
図９は、対象画像の内容に基づいて新たな部分動画像を生成する動画像生成再生処理の一つである「非動体」処理のフローチャートである。ＣＰＵ３１は、上述の対象解析判断処理を終了すると同時に、この処理を開始する。

上述の対象解析判断処理にて、対象画像が「非動体」であると判断された場合には、ＣＰＵ３１は対象領域に対して鮮明化処理を実行する（ステップＳ９００）。

具体的には、ＣＰＵ３１は、ユーザが指定した対象領域の画像である対象部分フレーム画像と、それを指定した瞬間から時系列順に４枚の部分フレーム画像とを抽出する。抽出した対象部分フレーム画像および４枚の部分フレーム画像の画像間のずれ量を検出する。ここで検出するずれ量とは、２つの画像の「位置のずれ」であり、上述と同様、並進、回転方向のずれ量（ｕ，ｖ，δ）である。対象領域の画像に、ずれを補正した対応領域の画像を重ね合わせ、両者の各画素の階調値に基づいて、合成画像の各画素の階調値を決定する。合成画像の各画素の階調値は、周知のバイリニア法を用いている。つまり、４枚の対応領域の画像の画素を補間して新たに画素を生成する。こうして、対象部分フレーム画像の画素密度に対して高画素密度で鮮明な合成部分フレーム画像を生成することができる。なお、バイリニア法に替えて、二アレストネイバ法やバイキュービック法など、他の周知の方法を用いる事としても良い。

こうして高画素密度で鮮明な１枚の合成部分フレーム画像を生成し、ＮＥＸＴに抜けて、次の部分フレーム画像について、この処理を繰り返す。生成した合成部分フレーム画像は、部分動画像を構成する一のフレーム画像となる。所定の再生時間に相当する合成部分フレーム画像を生成した後に、部分動画像を再生する。ここで再生される部分動画像は、所定倍率（ディスプレイ４３のサイズ）に拡大された動画像である。なお、本実施例では、「非動体」に対して部分動画像を生成するものとしたが、静止画像として、クリック時の合成部分フレーム画像を所定時間の間、拡大表示するものとして良い。また、一の静止画像を所定の時間間隔毎に生成し、所定間隔毎に拡大表示する静止画像を切替えるものとしても良い。

Ａ４−２.「変形体」処理：
図１０は、動画像生成再生処理の一つである「変形体」処理のフローチャートである。ＣＰＵ３１は、上述の対象解析判断処理を終了すると同時に、この処理を開始する。

上述の対象解析判断処理にて、対象画像が「変形体」であると判断された場合には、ＣＰＵ３１は対象画像に対して追跡処理を実行する（ステップＳ１００）。

具体的には、初期段階では、ユーザがクリック操作した瞬間のフレーム画像から対象部分フレーム画像を抽出し、それ以降は、図３のステップＳ４２０に示した動体追跡処理にて検出した移動ベクトルに基づいて、時系列に連続するフレーム画像から対象部分フレーム画像に相当する部分フレーム画像を抽出する。

続いて、抽出された対象部分フレーム画像もしくは部分フレーム画像に対して、拡大処理を実行する（ステップＳ１１０）。この拡大処理は、各部分フレーム画像の解像度の解像度変換を行なう処理であり、周知のバイキュービック拡大法を用いている。

こうして解像度変換された１枚のフレーム画像を生成し、ＮＥＸＴに抜けて、次の部分フレーム画像について、この処理を繰り返す。生成したフレーム画像は、部分動画像を構成する一のフレーム画像となる。図９に示した「非動体」処理と同様、所定の再生時間に相当するフレーム画像を生成した後に、部分動画像を再生する。

なお、部分フレーム画像の抽出方法は、対象領域と対象画像の重心との位置関係を基準として固定サイズを抜き出す方法としているが、例えば移動体の右隅など種々の特徴量に基づいて部分フレーム画像を抽出することができる。また、ステップＳ１００の追跡処理の実行中に、上記の「動体消失」が発生する場合には、この処理を終了する。

Ａ４−３.「非変形体」処理：
図１１は、動画像生成再生処理の一つである「非変形体」処理のフローチャートである。ＣＰＵ３１は、上述の対象解析判断処理を終了すると同時に、この処理を開始する。

上述の対象解析判断処理にて、対象画像が「非変形体」であると判断された場合には、ＣＰＵ３１は対象画像に対して追跡処理を実行する（ステップＳ２００）。この追跡処理は、対象画像を基準に部分フレーム画像を順次抽出する処理であるという意味では、図１０のステップＳ１００に示した追跡処理と同様であるが、抽出する枚数が図１０の処理とは異なる。

具体的には、ＣＰＵ３１は、ユーザがクリック操作した瞬間のフレーム画像（ｔ＝０）を基準として時系列順に４枚のフレーム画像から、それぞれ部分フレーム画像を抽出する。換言すると、このステップでは、対象部分フレーム画像と４枚の部分フレーム画像との計５枚の画像を抽出している。

ＣＰＵ３１は、抽出した５枚の画像を用いて「非変形体」に対して鮮明化処理を実行する（ステップＳ２１０）。鮮明化処理の内容は、図９に示したステップＳ９００と同様であり、補間により新たな高画素密度の鮮明な画像を生成している。なお、鮮明化処理を実行する領域は、図８に示した非変形領域の範囲である。この範囲を特定するデータは、対象部分フレーム画像および部分フレーム画像の抽出と共に取得している。

続いて、「非変形体」を除いた背景領域（つまり、非変形領域以外の部分）について、拡大処理を実行する（ステップＳ２２０）。この拡大処理は、図１０のステップＳ１１０と同様であり、バイキュービック拡大法を用いて解像度を所定の倍率に変換する処理である。

こうして鮮明化処理を施した非変形体と、拡大処理を施した背景領域とを合成して一つの合成画像を生成し（ステップＳ２３０）、ＮＥＸＴに抜けて、次の部分フレーム画像について時系列順である新たな部分フレーム画像を抽出し、この処理を繰り返す。生成した合成画像は、部分動画像を構成する一のフレーム画像となる。図９に示した「非動体」処理と同様、所定の再生時間に相当するフレーム画像を生成した後に、部分動画像を再生する。なお、ステップＳ２００の追跡処理の実行中の「動体消失」の発生と共にこの処理を終了するは、「変形体」処理の場合と同様である。

以上に説明したように、対象画像が、「ビル」などの「非動体」であれば鮮明化処理を施した部分動画像もしくは静止画像を生成し、「歩いている人」などの「変形体」であれば追跡処理を施した部分動画像を生成し、「飛行機」などの「非変形体」である場合には追跡処理と共に非変形体の部分に鮮明化処理を施した部分動画像を生成する。なお、「非移動体」は、追跡処理を施した場合にはあたかも手ブレのような動画像が生成される恐れがあり、鮮明化処理を施した場合にはかえって画質が低下する恐れがある。したがって、本実施例では、「背景として風で揺れる木の葉」などの「非移動体」に対しては、特に処理を行なわないこととしている。

Ａ４−４．再生開始、終了のタイミング：
図１２，図１３は、拡大追跡再生および拡大再生（以下、まとめて拡大再生と呼ぶ）の開始タイミングを示す説明図である。図示するように、左から順に、ディスプレイ４３上の再生処理、ＣＰＵ３１での演算処理、ユーザの操作処理を示し、こうした処理と時間経過との関係を表わしている。新たに生成された部分動画像の再生は、ユーザがディスプレイ４３上の所定の領域をクリック操作することで開始される。

図１２，図１３に示すように、元の動画像の通常再生中に、ユーザがディスプレイ４３上の所定の領域をクリック操作すると、対象解析判断処理が実行される。図１２では、対象解析判断処理の実行中に通常再生が続き、対象解析判断処理が終了するタイミングで、動画像生成再生処理が実行されると共に、ディスプレイ４３上に部分動画像が拡大再生される。図１３では、対象解析判断処理の実行と共に通常再生が中止され、対象解析判断処理が終了するタイミングで、動画像生成再生処理が実行されると共に、ディスプレイ４３上に部分動画像が拡大再生される。

本実施例では、図１２に示すように、対象領域の解析中の待機時間にも通常再生を続行し、ユーザへのコンテンツを提供する構成としているが、解析処理の待ち時間を感じさせない処理能力を有する動画像処理装置であれば、図１３に示すように、解析処理の後に拡大再生を始めるものとしても良い。

図１４，図１５は、拡大再生の終了タイミングを示す説明図である。図１２，図１３と同様、ディスプレイ４３上の再生処理、ＣＰＵ３１での演算処理、ユーザの操作処理と、時間経過との関係を表わしている。部分動画像の拡大再生は、ユーザがディスプレイ４３上をクリック操作することで原則的に終了される。

図１４に示すように、動画像生成再生処理の実行と共に行なわれる部分動画像の拡大再生は、ユーザがディスプレイ４３上の任意の位置をクリック操作するタイミングで終了される。終了と同時に、元の動画像がディスプレイ４３上に通常再生される。この通常再生を再度始める再生位置は、拡大再生を実行した時間の経過後の再生位置であるが、通常再生から拡大再生に切替えた再生位置（つまり、通常再生を中止した再生位置）に遡って、通常再生を開始するものとしても良い。

また、図１５に示すように、部分動画像の拡大再生は、動画像生成再生処理の動体の追跡処理中に、動体消失が発生したタイミングでも終了される。この動体消失による拡大再生の終了後に通常再生に戻るのは上述と同様である。また、通常再生を再開する再生位置は、拡大再生時間経過後であっても、遡って再生するものとしても良い。

以上、本発明の第１実施例によれば、一つの動画像の通常再生中にユーザが所望する領域をクリック操作すると、指定された領域内の対象画像を解析判断してその内容に応じた部分動画像を生成し、これを拡大再生する。拡大再生中の画面上をクリック操作すれば、また、元の動画像の通常再生が実行される。通常再生の間中、繰り返し種々の部分動画像を拡大再生することができる。したがって、一つの画像コンテンツである動画像を用いて、複数の画像コンテンツを提供することができる。加えて、新たな画像コンテンツは、拡大表示に耐えうる鮮明な部分動画像であり、有益なものを提供することができる。

Ｂ．第２実施例：
第１実施例に示した画像処理システム１００は、ネットワーク上のサーバを利用して構築することもできる。図１６は、本発明の第２実施例としての画像処理システム２００を示す説明図である。図示するように、この画像システム２００は、インターネット２１０に接続されたＷｅｂサーバ２２０、プロトコルが異なるデータを相互に変換して通信可能とするゲートウェイ２３０、ゲートウェイ２３０に携帯電話２５０を接続する基地局２４０、インターネット２１０を介してＷｅｂサーバ２２０に接続可能な携帯電話２５０等から構成されている。

インターネット２１０には、図示しない複数のＷｅｂサーバや多数のクライアントコンピュータが接続されている。Ｗｅｂサーバ２２０は、パーソナルコンピュータや携帯電話２５０等の端末からのＵＲＬ情報を取得し、この情報に対応する所定のデータを配信する。

このＷｅｂサーバ２２０は、インターネット２１０に接続して通信を行なうインターフェイス、携帯電話２００への所定のデータの配信を制御し、実行するＣＰＵ，ＲＯＭ，ＲＡＭなどから構成されている。本実施例のＷｅｂサーバ２２０は、第１実施例と同様の画像処理を実行するソフトウェアがインストールされており、携帯電話２５０を介したユーザの指示により、動画像処理装置として機能する。

携帯電話２５０は、通常の通話機能に加え、動画像を撮影するカメラ機能や撮影した動画像を再生表示する液晶パネルを備えている。この携帯電話２５０は、動画像の再生中に、液晶パネル上の所定の領域を指定するキーを備えている。このキーは、通常の携帯電話が有する方向キーや実行キーを代用したものである。

こうした構成の画像処理システム２００において、ユーザが携帯電話２５０で撮影した動画像の再生中にキー操作により所定の領域を指定すると、指定された領域の情報および撮影された動画像は、インターネット２１０経由でアクセスしたＷｅｂサーバ２２０に送信される。

Ｗｅｂサーバ２２０は、受信した領域の情報に基づいて、動画像から部分動画像を生成する画像処理を実行する。この処理は、第１実施例と同様、動画像を構成するフレーム画像のうち、指定されたフレーム画像、領域範囲を認識し、指定された領域内の対象画像を解析する対象解析判断処理と、解析結果に応じて部分動画像を生成する動画像生成再生処理とである。

Ｗｅｂサーバ２２０は、対象画像の内容に応じて部分動画像を構成する所定枚数のフレーム画像を生成すると共に、順次これを携帯電話２５０に送信する。

携帯電話２５０は、ユーザの領域指定操作後も液晶パネル上に元の動画像を再生し、Ｗｅｂサーバ２２０からの動画像（所定枚数のフレーム画像）の受信と共に、液晶パネル上の表示を指定された領域を拡大した部分動画像に切替える。

こうして部分動画像の拡大再生を実行し、ユーザのキー操作のタイミングで部分動画像の再生を中止する。その後、元の撮影した動画像が再生されるのは、第１実施例と同様である。

本発明の第２実施例によれば、携帯電話２５０で取得した動画像からの部分動画像の生成は、Ｗｅｂサーバ２２０にて行なわれる。生成された部分動画像は、携帯電話２５０に送信され、携帯電話２５０で再生表示される。時間を要する処理をＷｅｂサーバ２２０で実行することで、全体の処理時間を短縮すると共に、携帯電話２５０側の処理負担を軽減することができる。つまり、こうしたシステムを応用することで、処理能力の低い機器であっても、一つの画像コンテンツから複数の画像コンテンツを得ることができ、少ないコンテンツを有効に活用することができる。

Ｃ．変形例：
以上、本発明の実施の形態について説明したが、本発明はこうした実施の形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において様々な形態で実施し得ることはもちろんである。

本発明の第１実施例および第２実施例では、新たな画像コンテンツである部分動画像を生成すると共に、画面上に再生して処理を終了したが、一度生成した部分動画像を記憶するものとしても良い。第１実施例であれば、パーソナルコンピュータ３０に、第２実施例であれば携帯電話２５０に、それぞれ記憶するものとすれば良い。

本発明の第１実施例および第２実施例では、パーソナルコンピュータ３０、Ｗｅｂサーバ２２０を、それぞれ本発明の動画像処理装置として説明したが、例えば、デジタルビデオカメラ，デジタルスチルカメラ，携帯電話など種々の機器に画像処理機能を備え、本発明の動画像処理装置とするものであっても良い。

第２実施例では、携帯電話２５０で部分動画像を再生することとしたが、動画像の表示は別の表示装置にて実行するものとしても良い。例えば、携帯電話２５０では動画像の撮影、拡大再生を所望する領域の指定操作のみを実行し、Ｗｅｂサーバ２２０での画像処理を経て、元の動画像および生成された部分動画像をプロジェクタに送信し、プロジェクタにより再生するシステムを構築するものとしても良い。

また、第２実施例では、Ｗｅｂサーバ２２０で対象画像の解析、判定を実行するものとしたが、携帯電話２５０側で処理するものとし、Ｗｅｂサーバ２２０側では、部分動画像の生成のみを実行するものとしても良い。

本発明の第１実施例としての画像処理システムを示す説明図である。 画像処理の内容の一例を示す説明図である。 「非変形体」を示す説明図である。 対象解析判断処理のフローチャートである。 動体領域抽出処理の一例を示す説明図である。 動体追跡処理の一例を示す説明図である。 動体追跡処理の結果の一例として、動体の位置と時間との関係を示す説明図である。 移動体を含む領域の画素単位における輝度変化を示す説明図である。 動画像生成再生処理の一つである「非動体」処理のフローチャートである。 動画像生成再生処理の一つである「変形体」処理のフローチャートである。 動画像生成再生処理の一つである「非変形体」処理のフローチャートである。 拡大再生の開始タイミングを示す説明図である。 拡大再生の開始タイミングを示す説明図である。 拡大再生の終了タイミングを示す説明図である。 拡大再生の終了タイミングを示す説明図である。 本発明の第２実施例としての画像処理システムを示す説明図である。

符号の説明

２０...画像データベース
２１...デジタルビデオカメラ
２２...デジタルスチルカメラ
２３，２５０...携帯電話
２４，３４...ハードディスク
３０...パーソナルコンピュータ
３１...ＣＰＵ
３２...ＲＯＭ
３３...ＲＡＭ
３５...Ｉ／Ｆ回路
４０...ユーザインターフェース
４１...キーボード
４２...マウス
４３...ディスプレイ
１００，２００...画像処理システム
２１０...インターネット
２２０...Ｗｅｂサーバ
２３０...ゲートウェイ
２４０...基地局

Claims (15)

1. 複数枚のフレーム画像で構成される動画像の指定された一部の領域から、部分的な動画像である部分動画像を生成する動画像処理装置であって、
   前記指定された一部の領域内の画像を前記部分動画像を生成する対象として認識する対象領域認定手段と、
   前記領域を指定するタイミングで、該領域内の画像を解析して認識した対象画像の性質を判断する対象解析判断手段と、
   前記判断された対象画像の性質に基づいて、予め記憶した前記部分動画像の生成手法を選択して該部分動画像を生成する生成手段と
   を備えた動画像処理装置。
2. 請求項１に記載の動画像処理装置であって、
   前記生成手段は、少なくとも２種以上の前記部分動画像の生成手法を予め記憶した動画像処理装置。
3. 請求項１または２に記載の動画像処理装置であって、
   前記生成手段の生成手法は、前記動画像の複数枚のフレーム画像のうち、前記指定された領域に対応する部分の画像である部分フレーム画像を複数用いて、該部分フレーム画像よりも高画素密度の合成画像を合成部分フレーム画像として生成する鮮明化処理を実行し、複数枚の該合成部分フレーム画像により当該部分動画像を生成する手法である動画像処理装置。
4. 請求項３に記載の動画像処理装置であって、
   前記対象解析判断手段は、前記動画像を構成する時系列のフレーム画像において、前記対象画像が時間と共に形状の変化する変形体であるか否かを判断する変形体判断手段を備え、
   前記生成手段は、前記対象画像が変形体でない場合には、前記鮮明化処理を実行して前記部分動画像を生成する動画像処理装置。
5. 請求項４に記載の動画像処理装置であって、
   前記変形体判断手段は、前記時系列のフレーム画像における前記対象画像の輝度情報を用いて判断する手段である動画像処理装置。
6. 請求項１ないし５のいずれかに記載の動画像処理装置であって、
   前記生成手段の生成手法は、前記動画像の複数枚のフレーム画像から、前記対象画像を時系列に追跡して部分的な画像を抽出する追跡処理を実行し、時系列の該部分的な画像を用いて前記部分動画像を生成する手法である動画像処理装置。
7. 請求項６に記載の動画像処理装置であって、
   前記対象解析判断手段は、前記動画像を構成する時系列のフレーム画像において、前記対象画像が時間と共に所定範囲以上の位置の変化を有する移動体であるか否かを判断する移動体判断手段を備え、
   前記生成手段は、前記対象画像が移動体である場合には、前記追跡処理を実行し前記部分動画像を生成する動画像処理装置。
8. 請求項６または７に記載の動画像処理装置であって、
   前記追跡処理の手法は、前記領域を指定したタイミングにおけるフレーム画像以降の所定枚のフレーム画像を、前記動画像の表示に先立って取得し、前記対象画像を追跡する手段である動画像処理装置。
9. 請求項７または８のいずれかに記載の動画像処理装置であって、
   前記生成手段は、前記対象画像が変形体であり、かつ、移動体でない場合には、前記部分動画像を生成することなく処理を中止する動画像処理装置。
10. 請求項１ないし９のいずれかに記載の動画像処理装置であって、
    前記生成手段は、前記部分動画像の生成と共に該部分動画像を表示する手段であり、前記領域内の対象画像の解析判断後、該部分動画像の生成を開始するタイミングで、前記動画像の表示から該部分動画像の表示に切替える動画像処理装置。
11. 請求項１ないし１０のいずれかに記載の動画像処理装置であって、
    前記生成手段は、前記部分動画像の生成と共に該部分動画像を表示する手段であり、該部分動画像の表示中に、表示画面の任意の位置をクリックしたタイミングで、該部分動画像の表示から前記動画像の表示に切替える動画像処理装置。
12. 動画像の撮影表示機能を有し、動画像を取得可能な携帯電話と、ネットワークを介して該携帯電話と接続可能なサーバとを備え、該携帯電話で取得した動画像から部分的な動画像である部分動画像を生成する画像処理システムであって、
    前記携帯電話は、
    前記部分動画像の生成を所望する前記動画像の一部の領域を指定する指定手段と、
    前記動画像と前記指定された領域とのデータを前記サーバに送信する送信手段とを備え、
    前記サーバは、
    前記携帯電話からのデータを受信すると共に、前記指定された領域内の画像を前記部分動画像を生成する対象として認識する対象領域認定手段と、
    前記指定された領域内の画像を解析して認識した対象画像の性質を判断する対象解析判断手段と、
    前記判断された対象画像の性質に基づいて、予め記憶した前記部分動画像の生成手法を選択して該部分動画像を生成し、該部分動画像を外部機器に出力する生成手段とを備えた
    画像処理システム。
13. 複数枚のフレーム画像で構成される動画像の指定された一部の領域から、部分的な動画像である部分動画像を生成する動画像処理方法であって、
    前記指定された一部の領域内の画像を前記部分動画像を生成する対象として認識し、
    前記領域を指定するタイミングで、該領域内の画像を解析して認識した対象画像の性質を判断し、
    前記判断された対象画像の性質に基づいて、予め記憶した前記部分動画像の生成手法を選択して該部分動画像を生成する
    動画像処理方法。
14. 複数枚のフレーム画像で構成される動画像の指定された一部の領域から、部分的な動画像である部分動画像を生成する動画像処理装置を制御するコンピュータプログラムであって、
    前記指定された一部の領域内の画像を前記部分動画像を生成する対象として認識する機能と、
    前記領域を指定するタイミングで、該領域内の画像を解析して認識した対象画像の性質を判断する機能と、
    前記判断された対象画像の性質に基づいて、予め記憶した前記部分動画像の生成手法を選択して該部分動画像を生成する機能と
    をコンピュータに実現させるコンピュータプログラム。
15. 請求項１４に記載のコンピュータプログラムをコンピュータに読み取り可能に記録した記録媒体。

Images