JP2000348185A - 動画処理装置及び記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 本発明の課題は、任意の数フレームの色域を
移動検査対象としてサンプリングすることにより、多数
のフレームから構成される動画データを再生成する際の
処理工数とコストを低減する動画処理装置及び記憶媒体
を提供することである。 【解決手段】 ＣＰＵ２は、動画合成処理において、設
定処理を実行し、動画抽出処理を実行し、抽出された動
画の保存の要否を判定し、抽出された動画の合成の要否
を判定し、当該画像の合成を開始し、動画の再抽出の要
否を判定し、動画のみ記憶するか否かの判定をオペレー
タに促し、動画データメモリ５ａに格納されている動画
データをファイルに保存し、当該処理を終了する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画を処理する動
画処理装置及び記憶媒体に係り、詳細には、複数のフレ
ームの中から移動した色域を抽出して、動画として再構
成する動画処理装置及び記憶媒体に関する。

【０００２】

【従来の技術】近年、映画等に見られるＳＦＸ技術やパ
ソコン上で動作する数々のマルチメディアコンテンツ等
のような動画合成技術は、欠かすことのできないものと
なっている。このような動画合成技術において、例え
ば、動いている人物の部分と、静止している背景部分を
別々に撮影し、コンピュータの画像処理を用いて各部分
を合成することにより、現実にはあり得ないような視覚
的効果を演出するというものが代表的である。

【０００３】また、画像処理において、画像の「マス
ク」技術が一般的に利用されている。動画データは、通
常１秒間に複数枚の静止画像（以下、フレームと称す
る）を連続表示することにより構成されている。動画撮
影時には、人物等の動いている部分を「ブルーバック」
等の単色を背景として撮影し、コンピュータ上でブルー
の部分を選択して「マスク」を作成する。そして、ブル
ーバックの部分を画像から除去し、この画像と別途撮影
された背景画像を合成する。

【０００４】

【発明が解決しようとする課題】しかしながら、従来の
動画処理装置及び記憶媒体では、以下のような問題点が
あった。動画部分と背景部分を連続的に自動合成する技
術が確立されていないため、動画の合成作業は、１フレ
ーム単位で行う必要があった。ところが、仮に１秒間に
３０フレームの動画データがあった場合、５分間のシー
ンに必要なフレーム数は９，０００フレームにも及ぶ。
この９，０００枚の静止画像の全てに対して、マスクを
作成し、背景画像と合成するには、膨大な作業時間、労
力が必要であった。

【０００５】特に、動画の特殊効果としては、３Ｄモデ
リング、アニメーション撮影、光源を用いた光の効果
等、様々なものがあるが、その中でも人物等の撮影デー
タを合成する作業に時間や労力を費やしていた。ここ
で、図１５は、動画データ（図１１参照）の不要部分に
マスク処理を施して作成した画像データの一例を示す図
である。図１５に示すように、オペレータは、全てのフ
レームに対して不要部分を除去する必要があるため、数
フレームの動画データの加工の際にも、膨大な作業量を
要することになる。

【０００６】本発明の課題は、任意の数フレームの色域
を移動検査対象としてサンプリングすることにより、多
数のフレームから構成される動画データを再生成する際
の処理工数とコストを低減する動画処理装置及び記憶媒
体を提供することである。

【０００７】

【課題を解決するための手段】請求項１記載の発明は、
複数の静止画フレームから構成される動画データの中か
ら任意の数のフレームを動画検出の対象として選択する
フレーム選択手段と、この選択手段により選択されたフ
レームの中から色が近似する色域を当該フレームごとに
抽出する色域抽出手段と、この色域抽出手段により抽出
された第１のフレーム内の色域の位置に対して、第２の
フレーム内の同一の色域の位置が移動したか否かを判定
する判定手段と、この判定手段により第２のフレーム内
の前記色域の位置の移動が判定された場合、当該色域を
動画の対象として検出する色域検出手段と、を備えたこ
とを特徴としている。

【０００８】請求項１記載の発明によれば、フレーム選
択手段は、複数の静止画フレームから構成される動画デ
ータの中から任意の数のフレームを動画検出の対象とし
て選択し、色域抽出手段は、前記選択手段により選択さ
れたフレームの中から色が近似する色域を当該フレーム
ごとに抽出し、判定手段は、前記色域抽出手段により抽
出された第１のフレーム内の色域の位置に対して、第２
のフレーム内の同一の色域の位置が移動したか否かを判
定し、色域検出手段は、前記判定手段により第２のフレ
ーム内の前記色域の位置の移動が判定された場合、当該
色域を動画の対象として検出する。

【０００９】したがって、任意の数フレームの色域を移
動検査対象としてサンプリングする機能を有することに
より、動画合成に不必要な色域を検出することなく、適
確かつ効率的に所望の色域を抽出できる。このため、多
数のフレームから構成される動画データを再生成する際
の処理工数とコストを低減することができる。

【００１０】

【発明の実施の形態】以下、図を参照して本発明に係る
動画処理装置１の実施の形態を詳細に説明する。図１〜
図１９は、第１の実施の形態及びその変形例における動
画処理装置１及び動画処理装置１が実行する処理を示す
図である。

【００１１】まず構成を説明する。図１は、本発明の一
実施の形態における動画処理装置１の要部構成を示すブ
ロック図である。図１において、動画処理装置１は、Ｃ
ＰＵ２（請求項１記載の色域抽出手段、判定手段、色域
検出手段、及び、請求項２記載の動画構成手段、及び、
請求項５記載のフレーム切替手段、及び、請求項６記載
の画像生成手段に対応する）、表示装置３（請求項３及
び４及び５記載の色域表示手段、設定色域表示手段に対
応する）、入力装置４（請求項１及び５記載のフレーム
選択手段、及び、請求項３記載の近似率設定手段、及
び、請求項４記載の移動率設定手段に対応する）、ＲＡ
Ｍ５、印刷装置６、記憶媒体８を備える記憶装置７、バ
ス９により構成されている。

【００１２】ＣＰＵ（Central Processing Unit）２
は、入力装置４を介して入力される指示に基づいて記憶
装置７から所定のプログラムを読み出してＲＡＭ５に展
開し、展開されたプログラムを一時的に格納し、当該プ
ログラムに基づく各種処理を実行し、動画処理装置１の
各部を集中制御する。

【００１３】すなわち、ＣＰＵ２は、前記読み出した所
定プログラムに基づいて各種処理を実行し、その処理結
果をＲＡＭ５内のメモリエリアに格納すると共に表示装
置３に表示させる。また、入力装置４から入力される指
示に基づいて前記処理結果を記憶装置７若しくは記憶装
置７内の記憶媒体８に保存させる。

【００１４】また、ＣＰＵ２は、後述する動画合成処理
（図３参照）において、設定処理を実行し、動画抽出処
理を実行し、抽出された動画の保存の要否を判定し、抽
出された動画の合成の要否を判定し、当該画像の合成を
開始し、動画の再抽出の要否を判定し、動画のみ記憶す
るか否かの判定をオペレータに促し、動画データメモリ
５ａ（図２参照）に格納されている動画データをファイ
ルに保存し、当該処理を終了する。

【００１５】また、ＣＰＵ２は、後述する設定処理（図
４参照）において、オペレータにより入力装置４からの
入力指示の有無を判定し、入力装置４による移動基準値
の変更の有無を判定し、当該変更に応じて表示装置３へ
の移動基準値の表示を変更し、ここで設定された新たな
移動基準値をＲＡＭ５の移動基準値メモリ５ｆ（図２参
照）に記憶し、入力装置４による近似色設定値の変更の
有無を判定し、当該変更に応じて表示装置３への近似色
設定値の表示を変更し、ここで設定された新たな近似色
設定値をＲＡＭ５の近似色設定値メモリ５ｅ（図２参
照）に記憶する。

【００１６】また、ＣＰＵ２は、後述する設定処理（図
５参照）において、この時点でＲＡＭ５の近似色設定値
メモリ５ｅ（図２参照）に記憶されている近似色設定値
に基づいて１、２フレームを色域分解し、１フレームの
最初の色域を選択し、選択された色域が次のフレームに
おいて同座標にあるか否かを判定し、色域が座標移動し
た距離を算出し、算出された距離とこの時点でＲＡＭ５
の移動基準値メモリ５ｆ（図２参照）に格納されている
移動基準値とを比較し、選択された色域が対象となるフ
レーム内で最後の色域であるか否かを判定する。

【００１７】また、ＣＰＵ２は、後述する動画抽出処理
（図６参照）において、「動きサンプリング」の開始指
示の入力があると、動画データの全フレームを表示装置
３の画面にリスト表示させ、サンプリングの対象となる
複数のフレームが選択されると、サンプリングを開始
し、複数のサンプリングフレームの中から最初のフレー
ムを選択して取得し、取得されたフレームを近似色設定
値に基づいて色域分解し、全色域の中から最初の色域を
選択して取得し、その色域が次のフレームにおいて同座
標にあるか否かを判定し、その色域が座標移動した距離
を算出し、算出された移動距離と移動基準値を比較す
る。

【００１８】また、ＣＰＵ２は、後述する動画抽出処理
（図７参照）において、抽出された全移動色域のみを用
いて当該フレームを再構成し、当該フレームが最後のサ
ンプリングフレームであるか否かを判定し、再構成され
た全てのサンプリングフレームの中から最初のサンプリ
ングフレームを選択し、抽出された全移動色域のみを用
いて当該フレームを再構成し、全動画の最初のフレーム
が終了したか否かを判定する。

【００１９】また、ＣＰＵ２は、後述する動画抽出処理
（図８参照）において、ＣＰＵ２は、抽出された全移動
色域のみを用いて当該フレームを再構成し、全動画中の
最後のフレームが終了したか否かを判定し、最後のフレ
ームが終了していない場合、再構成されたフレーム中の
次のフレームを選択し、全動画中の最後のフレームが終
了した場合、構成されたフレームの全てを用いて動画デ
ータを再構成し、再構成された動画データを表示装置３
の画面に確認表示する。

【００２０】また、ＣＰＵ２は、後述する昇順色域抽出
処理（図９参照）において、現在選択されているサンプ
リングフレームより１フレーム前のフレームを選択し、
選択されたフレームを現時点でＲＡＭ５の近似色設定値
メモリ５ｅ（図２参照）に格納されている近似色設定値
に基づいて色域分解し、１フレーム前のフレームにおい
て選択されている色域と同じ色域を抽出して、抽出した
色域をＲＡＭ５の移動色域データメモリ５ｈ（図２参
照）に格納し、当該フレームが最後のサンプリングフレ
ームであるか否かを判定し、当該フレーム中の最後の色
域が終了したか否かを判定する。

【００２１】また、ＣＰＵ２は、後述する降順色域抽出
処理（図１０参照）において、現在選択されているサン
プリングフレームより１フレーム前のフレームを選択
し、選択されたフレームを現時点でＲＡＭ５の近似色設
定値メモリ５ｅ（図２参照）に格納されている近似色設
定値に基づいて色域分解し、１フレーム前のフレームに
おいて選択されている色域と同じ色域を抽出して、抽出
した色域をＲＡＭ５の移動色域データメモリ５ｈ（図２
参照）に格納し、当該フレームが最初のサンプリングフ
レームであるか否かを判定し、当該フレーム中の最後の
色域が終了したか否かを判定する。

【００２２】表示装置３は、ＣＲＴ(Cathode Ray Tube)
等により構成され、ＣＰＵ２から入力される表示データ
を表示する。入力装置４は、数字入力キー、上下左右移
動キー、及び各種機能キー等を備えたキーボード及びマ
ウス等のポインティングデバイスを含み、キーボードに
おいて押下されたキーの押下信号やマウスの位置信号を
ＣＰＵ２に出力する。

【００２３】ＲＡＭ(Random Access Memory)５は、ＣＰ
Ｕ２が各種アプリケーションプログラムを実行する際に
各種プログラムを展開するプログラム格納領域を形成す
ると共に、ＣＰＵ２が各種処理を実行する際に処理され
る式データや図形データ等を展開するメモリ領域を形成
する。印刷装置６は、ＣＰＵ２から入力される印字デー
タを所定の記録紙に印字して出力する。

【００２４】記憶装置７は、プログラムやデータ等が予
め記憶されている記憶媒体８を有しており、この記憶媒
体８は磁気的、光学的記憶媒体、若しくは半導体メモリ
で構成されている。この記憶媒体８は記憶装置７に固定
的に設けたもの、若しくは着脱自在に装着するものであ
り、この記憶媒体８には動画処理装置１に対応する各種
処理プログラム、及び当該プログラムで処理されたデー
タ等を記憶する。

【００２５】また、この記憶媒体８に記憶する各種プロ
グラム、データ等は、通信回線等を介して接続された他
の機器から受信して記憶する構成にしてもよく、更に通
信回線等を介して接続された他の機器側に前記記憶媒体
８を備えた記憶装置を設け、この記憶媒体８に記憶され
ているプログラム、データ等を通信回線を介して使用す
る構成にしてもよい。

【００２６】図２は、本発明を実行するに際してＲＡＭ
５に格納されるメモリ構成を示す図である。図２に示す
ように、ＲＡＭ５には、後述する各処理を実行する際の
必要に応じて、動画データメモリ５ａ、選択フレームＮ
ｏメモリ５ｂ、今回フレーム色域データメモリ５ｃ、次
回フレーム色域データメモリ５ｄ、近似色設定値メモリ
５ｅ、移動基準値メモリ５ｆ、移動距離メモリ５ｇ、移
動色域データメモリ５ｈ、ワークメモリ５ｉ等のメモリ
エリアが形成される。そして、当該メモリエリアに各種
処理データ、画像データが処理内容に応じて一時的に格
納される。

【００２７】次に動作を説明する。まず、上記ＣＰＵ２
により実行される動画合成処理の概要について図３に示
すフローチャートに基づいて説明する。なお、図３中の
設定処理、動画抽出処理等の定義済み処理については後
に詳細に説明する。

【００２８】まず、オペレータから入力装置４より１カ
ット分の画像（通常数分程度）が指定されると（ステッ
プＳ１）、ＣＰＵ２は、後述する設定処理を実行する
（ステップＳ２）。その後、ＣＰＵ２は、動画抽出処理
を実行し（ステップＳ３）、抽出された動画の保存の要
否の判定をオペレータに促す（ステップＳ４）。ここ
で、オペレータが動画保存を選択した場合（ステップＳ
４；Ｙｅｓ）、ＣＰＵ２は、その動画に名称を付けて保
存し（ステップＳ５）、当該動画合成処理を終了する。

【００２９】また、ステップＳ４において、オペレータ
が動画保存を選択しなかった場合（ステップＳ４；Ｎ
ｏ）、ＣＰＵ２は、抽出された動画の合成の要否の判定
をオペレータに促す（ステップＳ６）。ここで、オペレ
ータが動画合成を選択した場合（ステップＳ６；Ｙｅ
ｓ）、オペレータにより合成の対象となる動画が選択さ
れると（ステップＳ７）、ＣＰＵ２は、当該画像の合成
を開始し（ステップＳ８）、当該動画合成処理を終了す
る。

【００３０】また、ステップＳ６において、オペレータ
が動画合成を選択しなかった場合（ステップＳ６；Ｎ
ｏ）、ＣＰＵ２は、動画の再抽出の要否の判定をオペレ
ータに促す（ステップＳ９）。ここで、オペレータが動
画の再抽出を選択した場合（ステップＳ９；Ｙｅｓ）、
再度ステップＳ１に戻り、ＣＰＵ２は、それ以降の処理
を実行する。

【００３１】また、ステップＳ９において、オペレータ
が動画の再抽出を選択しなかった場合（ステップＳ９；
Ｎｏ）、ＣＰＵ２は、動画のみ記憶するか否かの判定を
オペレータに促す（ステップＳ１０）。ここで、オペレ
ータが動画のみの記憶を選択した場合（ステップＳ１
０；Ｙｅｓ）、ＣＰＵ２は、動画データメモリ５ａ（図
２参照）に格納されている動画データをファイルに保存
し（ステップＳ１１）、当該動画合成処理を終了する。

【００３２】また、ステップＳ１０において、オペレー
タが動画のみの記憶を選択しなかった場合（ステップＳ
１０；Ｎｏ）、再度ステップＳ４に戻り、ＣＰＵ２は、
それ以降の処理を実行する。

【００３３】次に、上記ＣＰＵ２により実行される設定
処理について図４に示すフローチャートに基づいて説明
する。

【００３４】最初に、ＣＰＵ２は、オペレータにより入
力装置４からの入力指示の有無を判定する（ステップＳ
２１）。ステップＳ２１において、入力がなければ（ス
テップＳ２１；Ｎｏ）、ＣＰＵ２は、入力装置４による
移動基準値の変更の有無を判定する（ステップＳ２
２）。ここで、移動基準値とは、移動の有無を判定する
際に指標となる数値であり、色域内の所定のドットの移
動距離がこの値以上になった場合、当該色域が移動した
ものとみなされる。

【００３５】また、ステップＳ２２において、移動基準
値の変更があれば（ステップＳ２２；Ｙｅｓ）、ＣＰＵ
２は、当該変更に応じて表示装置３への移動基準値の表
示を変更し（ステップＳ２３）、ここで設定された新た
な移動基準値をＲＡＭ５の移動基準値メモリ５ｆ（図２
参照）に記憶する（ステップＳ２４）。また、ステップ
Ｓ２２において、移動基準値の変更がなければ（ステッ
プＳ２２；Ｎｏ）、ステップＳ２５以降の処理に移行す
る。

【００３６】次に、ＣＰＵ２は、入力装置４による近似
色設定値の変更の有無を判定する（ステップＳ２５）。
ここで、近似色設定値とは、所定の色域内のドット色が
他のドット色と近似しているか否かを判定する際の指標
となる数値であり、この値が大きい程、近似とみなされ
る色域の範囲が広がることとなる。

【００３７】ステップＳ２５において、近似色設定値の
変更があれば（ステップＳ２５；Ｙｅｓ）、ＣＰＵ２
は、当該変更に応じて表示装置３への近似色設定値の表
示を変更し（ステップＳ２６）、ここで設定された新た
な近似色設定値をＲＡＭ５の近似色設定値メモリ５ｅ
（図２参照）に記憶する（ステップＳ２７）。また、ス
テップＳ２５において、近似色設定値の変更がなければ
（ステップＳ２５；Ｎｏ）、ステップＳ２８以降の処理
に移行する。

【００３８】次に、オペレータによる入力装置４からの
入力指示により、上記移動基準値及び近似色設定値が確
定したか否かを判定する（ステップＳ２８）。ここで、
これらの値が確定した場合（ステップＳ２８；Ｙｅ
ｓ）、ステップＳ３以降の処理に移行する（図３参
照）。また、これらの値が確定しない場合（ステップＳ
２８；Ｎｏ）、ステップＳ２９以降の処理に移行する。
なお、ステップＳ２１において、入力がある場合（ステ
ップＳ２１；Ｙｅｓ）、ステップＳ２２〜２８の処理を
省略して、ステップＳ２９以降の処理に移行する。

【００３９】次に、ステップＳ２９以降の処理につい
て、図４、５を参照して説明する。ＣＰＵ２は、この時
点でＲＡＭ５の近似色設定値メモリ５ｅ（図２参照）に
記憶されている近似色設定値に基づいて１、２フレーム
を色域分解する（ステップＳ２９）。次に、ＣＰＵ２
は、１フレームの最初の色域を選択する（ステップＳ３
０）。次に、ＣＰＵ２は、選択された色域が次のフレー
ムにおいて同座標にあるか否かを判定する（ステップＳ
３１、３２）。

【００４０】ステップＳ３２において、選択された色域
が同座標にある場合（ステップＳ３２；Ｙｅｓ）、ステ
ップＳ３３〜３５の処理を省略して、ステップＳ３６以
降の処理に移行する。また、選択された色域が同座標に
ない場合（ステップＳ３２；Ｎｏ）、ＣＰＵ２は、その
色域が座標移動した距離を算出する（ステップＳ３
３）。ここで、座標移動距離の概算値は、以下の数式か
ら導かれる。移動前の色域の中心座標を（Ｘ₁、Ｙ₁）、
移動後の色域の中心座標を（Ｘ₂、Ｙ₂）、移動距離をＺ
とすると、Ｚ²＝（Ｘ₁−Ｘ₂）²＋（Ｙ₁−Ｙ₂）²とな
る。

【００４１】次に、ＣＰＵ２は、算出された距離とこの
時点でＲＡＭ５の移動基準値メモリ５ｆ（図２参照）に
格納されている移動基準値とを比較する（ステップＳ３
４）。ＣＰＵ２は、色域の移動距離が当該移動基準値よ
り大きい場合（ステップＳ３４；Ｙｅｓ）、移動した色
域をＲＡＭ５の移動色域データメモリ５ｈ（図２参照）
に格納する（ステップＳ３５）。また、ステップＳ３４
において、色域の移動距離が当該移動基準値より小さい
場合（ステップＳ３４；Ｎｏ）、ステップＳ３４の処理
を省略して、ステップＳ３６以降の処理に移行する。

【００４２】次に、ＣＰＵ２は、ステップＳ３０におい
て、選択された色域が対象となるフレーム内で最後の色
域であるか否かを判定する（ステップＳ３６）。ここ
で、最後の色域である場合（ステップＳ３６；Ｙｅ
ｓ）、ＣＰＵ２は、後述するステップＳ６５（図８、１
０参照）で抽出された全移動色域に基づいて、そのフレ
ームを再構成する（ステップＳ３８）。次に、ＣＰＵ２
は、ここで再構成されたフレームを表示装置４に表示す
る（ステップＳ３９）。そして、再び図４のステップＳ
２１に戻り、それ以降の処理に移行する。

【００４３】また、ステップＳ３６において、最後の色
域でない場合（ステップＳ３６；Ｎｏ）、ＣＰＵ２は、
同一フレーム内の次の色域を選択する（ステップＳ３
７）。そして、再び図４のステップＳ３１に戻り、それ
以降の処理に移行する。

【００４４】次に、上記ＣＰＵ２により実行される動画
抽出処理について、図６に示すフローチャートに基づい
て説明する。

【００４５】最初に、オペレータにより、入力装置４を
介して「動きサンプリング」の開始指示の入力があると
（ステップＳ４１）、ＣＰＵ２は、当該処理の対象とな
る動画データの全フレームを表示装置３の画面にリスト
表示させる（ステップＳ４２）。次に、オペレータによ
り、入力装置４を介してサンプリングの対象となる複数
のフレームが選択されると（ステップＳ４３）、ＣＰＵ
２は、サンプリングを開始する。

【００４６】次に、ＣＰＵ２は、複数のサンプリングフ
レームの中から最初のフレームを選択して取得する（ス
テップＳ４４）。次に、ＣＰＵ２は、取得されたフレー
ムを現時点でＲＡＭ５の近似色設定値メモリ５ｅ（図２
参照）に格納されている近似色設定値に基づいて色域分
解する（ステップＳ４５）。次に、ＣＰＵ２は、ステッ
プＳ４４において選択されたフレームの次のフレームを
当該近似色設定値に基づいて色域分解する（ステップＳ
４６）。

【００４７】次に、ＣＰＵ２は、全色域の中から最初の
色域を選択して取得する（ステップＳ４７）。次に、Ｃ
ＰＵ２は、ステップＳ４７で取得された色域が次のフレ
ームにおいて同座標にあるか否かを判定する（ステップ
Ｓ４８、４９）。ここで、色域が同座標にない場合（ス
テップＳ４９；Ｎｏ）、ＣＰＵ２は、その色域が座標移
動した距離を算出する。ここで、座標移動距離の概算値
は、以下の数式から導かれる。移動前の色域の中心座標
を（Ｘ₁、Ｙ₁）、移動後の色域の中心座標を（Ｘ₂、
Ｙ₂）、移動距離をＺとすると、Ｚ²＝（Ｘ₁−Ｘ₂）²＋
（Ｙ₁−Ｙ₂）²となる。

【００４８】次に、ＣＰＵ２は、算出された移動距離Ｚ
とこの時点でＲＡＭ５の移動基準値メモリ５ｆ（図２参
照）に格納されている移動基準値とを比較する（ステッ
プＳ５０）。ＣＰＵ２は、色域の移動距離Ｚが当該移動
基準値より大きい場合（ステップＳ５１；Ｙｅｓ）、移
動した色域をＲＡＭ５の移動色域データメモリ５ｈ（図
２参照）に格納する（ステップＳ５２）。また、ステッ
プＳ５１において、色域の移動距離が当該移動基準値よ
り小さい場合（ステップＳ５１；Ｎｏ）、ステップＳ５
２の処理を省略して、ステップＳ５３以降の処理に移行
する。

【００４９】また、ステップＳ４９において、ステップ
Ｓ４７で取得された色域が次のフレームにおいて同座標
にある場合、（ステップＳ４９；Ｙｅｓ）、前述のステ
ップＳ５０〜５２の処理を省略して、ステップＳ５３以
降の処理に移行する。

【００５０】次に、ＣＰＵ２は、ステップＳ４７で選択
された色域が当該サンプリングフレーム中の最後の色域
であるか否かを判定する（ステップＳ５３）。ここで、
最後の色域でない場合（ステップＳ５３；Ｎｏ）、ＣＰ
Ｕ２は、同一フレーム内の次の色域を選択する（ステッ
プＳ５４）。そして、再びステップＳ４８に戻り、それ
以降の処理に移行する。

【００５１】また、ステップＳ５３において、最後の色
域である場合（ステップＳ５３；Ｙｅｓ）、図７に示す
処理に移行する。以降の処理を図７に基づいて説明す
る。

【００５２】ＣＰＵ２は、ステップＳ５２で抽出された
全移動色域のみを用いて当該フレームを再構成する（ス
テップＳ５５）。次に、ＣＰＵ２は、当該フレームが最
後のサンプリングフレームであるか否かを判定する（ス
テップＳ５６）。ここで、当該フレームが最後のサンプ
リングフレームでない場合（ステップＳ５６；Ｎｏ）、
ＣＰＵ２は、次のフレームを選択し（ステップＳ５
７）、次回フレーム色域データを今回フレーム色域デー
タとする（ステップＳ５８）。そして、再びステップＳ
４７に戻り、それ以降の処理に移行する。

【００５３】また、ステップＳ５５で構成されたフレー
ムが最後のサンプリングフレームである場合（ステップ
Ｓ５６；Ｙｅｓ）、ＣＰＵ２は、ステップＳ５５で再構
成された全てのサンプリングフレームの中から最初のサ
ンプリングフレームを選択し（ステップＳ５９）、後述
する色域抽出処理（図９参照）を実行する（ステップＳ
６０）。

【００５４】ＣＰＵ２は、後述するステップＳ８３（図
９参照）で抽出された全移動色域のみを用いて当該フレ
ームを再構成する（ステップＳ６１）。次に、ＣＰＵ２
は、全動画の最初のフレームが終了したか否かを判定す
る（ステップＳ６２）。最初のフレームが終了していな
い場合（ステップＳ６２；Ｎｏ）、ＣＰＵ２は、ステッ
プＳ６１で再構成されたフレームよりひとつ前のフレー
ムを選択する（ステップＳ６３）。そして、後述するス
テップＳ８２以降の処理（図９参照）に移行する。

【００５５】また、最初のフレームが終了した場合（ス
テップＳ６２；Ｙｅｓ）、ＣＰＵ２は、最後のサンプリ
ングフレームを選択する（ステップＳ６４）。次いで、
ＣＰＵ２は、図８に示す処理に移行する。図８におい
て、後述する色域抽出処理（図１０参照）を実行する
（ステップＳ６５）。

【００５６】ＣＰＵ２は、後述するステップＳ９３（図
１０参照）で抽出された全移動色域のみを用いて当該フ
レームを再構成する（ステップＳ６６）。次に、ＣＰＵ
２は、全動画中の最後のフレームが終了したか否かを判
定する（ステップＳ６７）。最後のフレームが終了して
いない場合（ステップＳ６７；Ｎｏ）、ＣＰＵ２は、ス
テップＳ６６で再構成されたフレーム中の次のフレーム
を選択する（ステップＳ６８）。そして、後述するステ
ップＳ９２以降の処理（図１０参照）に移行する。

【００５７】また、ステップＳ６７において、全動画中
の最後のフレームが終了した場合（ステップＳ６７；Ｙ
ｅｓ）、ＣＰＵ２は、ステップＳ６１（図７参照）及
び、ステップＳ６６で構成されたフレームの全てを用い
て動画データを再構成する（ステップＳ６９）。そし
て、再構成された動画データを表示装置３の画面に確認
表示し（ステップＳ７０）、当該動画抽出処理を終了す
る。

【００５８】次に、上記ＣＰＵ２により実行される昇順
色域抽出処理（図７のステップＳ６０）について、図９
に示すフローチャートに基づいて説明する。

【００５９】まず、ＣＰＵ２は、現在選択されているサ
ンプリングフレームより１フレーム前のフレームを選択
する（ステップＳ８１）。次に、ＣＰＵ２は、選択され
たフレームを現時点でＲＡＭ５の近似色設定値メモリ５
ｅ（図２参照）に格納されている近似色設定値に基づい
て色域分解する（ステップＳ８２）。次に、ＣＰＵ２
は、１フレーム前のフレームにおいて選択されている色
域と同じ色域を抽出して、抽出した色域をＲＡＭ５の移
動色域データメモリ５ｈ（図２参照）に格納する（ステ
ップＳ８３）。

【００６０】次に、ＣＰＵ２は、当該フレームが最後の
サンプリングフレームであるか否かを判定する（ステッ
プＳ８４）。ここで、当該フレームが最後のサンプリン
グフレームでない場合（ステップＳ８４；Ｎｏ）、ＣＰ
Ｕ２は、次のフレームの中からステップＳ８３でＲＡＭ
５の移動色域データメモリ５ｈ（図２参照）に格納され
た色域と同じ色域を選択する（ステップＳ８５）。そし
て、再度ステップＳ８３に戻り、それ以降の処理に移行
する。

【００６１】また、ステップＳ８４において、ステップ
Ｓ８１で選択されたフレームが最後のサンプリングフレ
ームである場合（ステップＳ８４；Ｙｅｓ）、ＣＰＵ２
は、当該フレーム中の最後の色域が終了したか否かを判
定する（ステップＳ８６）。そして、最後の色域が終了
した場合（ステップＳ８６；Ｙｅｓ）、図７のステップ
Ｓ６１以降の処理に移行する。

【００６２】また、ステップＳ８６において、ステップ
Ｓ８１で選択されたサンプリングフレーム中の最後の色
域が終了していない場合（ステップＳ８６；Ｎｏ）、当
該フレーム中の次の色域を選択する（ステップＳ８
７）。そして、再度ステップＳ８３に戻り、それ以降の
処理に移行する。

【００６３】次に、上記ＣＰＵ２により実行される降順
色域抽出処理（図８のステップＳ６５）について、図１
０に示すフローチャートに基づいて説明する。

【００６４】まず、ＣＰＵ２は、現在選択されているサ
ンプリングフレームより１フレーム前のフレームを選択
する（ステップＳ９１）。次に、ＣＰＵ２は、選択され
たフレームを現時点でＲＡＭ５の近似色設定値メモリ５
ｅ（図２参照）に格納されている近似色設定値に基づい
て色域分解する（ステップＳ９２）。次に、ＣＰＵ２
は、１フレーム前のフレームにおいて選択されている色
域と同じ色域を抽出して、抽出した色域をＲＡＭ５の移
動色域データメモリ５ｈ（図２参照）に格納する（ステ
ップＳ９３）。

【００６５】次に、ＣＰＵ２は、当該フレームが最初の
サンプリングフレームであるか否かを判定する（ステッ
プＳ９４）。ここで、当該フレームが最後のサンプリン
グフレームでない場合（ステップＳ９４；Ｎｏ）、ＣＰ
Ｕ２は、次のフレームの中からステップＳ９３でＲＡＭ
５の移動色域データメモリ５ｈ（図２参照）に格納され
た色域と同じ色域を選択する（ステップＳ９５）。そし
て、再度ステップＳ９３に戻り、それ以降の処理に移行
する。

【００６６】また、ステップＳ９４において、ステップ
Ｓ９１で選択されたフレームが最初のサンプリングフレ
ームである場合（ステップＳ９４；Ｙｅｓ）、ＣＰＵ２
は、当該フレーム中の最後の色域が終了したか否かを判
定する（ステップＳ９６）。そして、最後の色域が終了
した場合（ステップＳ９６；Ｙｅｓ）、図８のステップ
Ｓ６６以降の処理に移行する。

【００６７】また、ステップＳ９６において、ステップ
Ｓ９１で選択されたサンプリングフレーム中の最後の色
域が終了していない場合（ステップＳ９６；Ｎｏ）、当
該フレーム中の次の色域を選択する（ステップＳ９
７）。そして、再度ステップＳ９３に戻り、それ以降の
処理に移行する。

【００６８】次に、上記各処理に基づく具体的処理例と
して、図１１〜図１７を参照して、本実施の形態におけ
る動画合成方法について説明する。

【００６９】図１１は、（１）〜（14）の１４フレーム
より構成される１カット分の合成元動画データを示す図
である。図１１において、例えば、（６）のフレームを
選択して、前述したステップＳ２９（図４参照）の処理
に基づいて当該フレームの色域分解を行うと、図１２の
輪郭線に示すように“空”、“木”、“芝”、“髪”、
“服”、“腕”、“クラブ”、“ズボン”、“靴”がそ
れぞれ独立した色域として抽出される。

【００７０】次に、動画処理装置１は、前述したステッ
プＳ３２（図５参照）の処理に基づいて、図１１の
（７）に示す次フレームにおいて、各色域の座標が移動
したか否かを判定する。この判定により、フレーム間で
移動のない色域は、図１３の（ａ）〜（ｃ）に示すよう
に、色域１〜３として抽出される。同様に、フレーム間
で移動した色域は、図１４の（ａ）〜（ｃ）に示すよう
に、色域４〜６として抽出されることになる。このよう
にして、前後のフレーム間で移動した色域のみを抽出、
表示した例を図１５に示す。なお、図１５の（１）〜
（14）のフレームは、それぞれ図１１の（１）〜（14）
のフレームに対応している。

【００７１】また、図１６は、ステップＳ２５〜Ｓ２８
（図４参照）で設定された近似色設定値に応じて、抽出
される色域が変化する様子を示した図である。ここで、
近似色設定値とは、色が近似しているとみなすための許
容範囲を示す値であり、例えば、近似色設定値が“５
％”であれば、その色域は、ＲＧＢそれぞれの値に５％
程度のズレがあっても同じ色域とみなす。すなわち、こ
の値が大きい程、抽出される色域の範囲が広がり、逆に
この値が小さい程、抽出される色域の範囲が狭まること
になる。

【００７２】図１６において、（ａ）は、近似色設定値
が“４６％”と大き過ぎて、人物周辺の不要な部分まで
人物と同一色域として抽出されているのがわかる。逆
に、（ｂ）は、近似色設定値が“２％”と小さ過ぎて、
同一色域まで異なる色域と判定され、服の一部が消失し
てしまっている。

【００７３】前述のように、動画処理装置１は、近似色
設定値をオペレータに解放している。このため、オペレ
ータが近似色設定値をボリューム３１ａの操作によって
連続可変させると同時に、動画処理装置１は、抽出・再
生成される動画の出力結果をリアルタイムに表示領域３
１に表示させることにより、オペレータは、表示画像や
近似色設定値表示領域３１ｂの数値を確認しながら最適
な近似色設定値を容易に設定することができる。

【００７４】次に、図１７は、ステップＳ２２〜Ｓ２４
（図４参照）で設定された移動基準値に応じて、抽出さ
れる色域が変化する様子を示した図である。ここで、移
動基準値とは、色域が移動したものとみなすための許容
範囲を示す値であり、例えば、移動基準値が“１０ｄｏ
ｔ”であれば、色域が１０ｄｏｔ以上移動した場合にの
み移動色域とみなす。すなわち、この値が小さい程、抽
出される色域の範囲が広がり、逆にこの値が大きい程、
抽出される色域の範囲が狭まることになる。

【００７５】図１７において、（ａ）は、移動基準値が
“２ｄｏｔ”と小さ過ぎて、風にかすかに揺れている木
の葉等の不要部分まで移動色域として抽出されているの
がわかる。逆に、（ｂ）は、移動基準値が“８９ｄｏ
ｔ”と大き過ぎて、特に動きの大きい色域しか抽出され
ていない。

【００７６】前述のように、動画処理装置１は、移動基
準値をオペレータに解放している。このため、オペレー
タが移動基準値をボリューム３２ａの操作によって連続
可変させると同時に、動画処理装置１は、抽出・再生成
される動画の出力結果をリアルタイムに表示領域３２に
表示させることにより、オペレータは、表示画像や移動
基準値表示領域３２ｂの数値を確認しながら最適な移動
基準値を容易に設定することができる。

【００７７】上述のように、動画処理装置１は、複数の
フレームより構成される動画データの中から任意のフレ
ームを合成対象として選択し、選択された各フレームご
とに近似する色合いの色域を抽出する。そして、他のフ
レーム内の同じ色域の位置が抽出された色域の位置に対
して移動していれば、その色域を合成対象として抽出す
る。

【００７８】これにより、オペレータは、数フレームの
みサンプリングするだけで、その前後の数秒〜数分間の
シーンにおいて、動画合成に必要な部分のみ抽出して動
画データを自動的に生成することができる。また、従来
のように撮影時にマスク処理を行うためのブルーバック
背景をセッティングする必要がないため、動画の合成に
要する時間と労力は、従来に比べて著しく低減されるこ
とになる。

【００７９】なお、本発明は、前記実施の形態における
記述内容に限定されるものではなく、本発明の趣旨を逸
脱しない範囲で適宜変更可能である。

【００８０】例えば、上記実施の形態においては、ステ
ップＳ４３（図６参照）の処理において、サンプリング
対象となるフレームは、オペレータが手動で選択してい
た。このため、サンプリングフレーム内の抽出対象とな
る部分が表示画面中に収まっており、かつ、当該部分に
ある程度の動きがあることが必要となる。そこで、サン
プリングフレームの選択処理を自動化することにより、
サンプリング数を可変させ、かつ、同時に抽出、再生成
される動画をリアルタイムで表示装置３に表示させるよ
うにしても良い。

【００８１】これにより、オペレータは、表示内容を確
認しながら、停止スイッチ３３ｂ（図１８参照）を押す
だけで、最適なフレームのサンプリングを行うことがで
きる。ここで、図１８のフレーム選択ボリューム３３ａ
は、全動画データ中における現在のサンプリング位置を
示すものである。さらに、オペレータは、走査中に当該
フレーム選択ボリューム３３ａを操作してサンプリング
位置を手動調整することにより、サンプリングフレーム
を確認、変更することもできる。

【００８２】図１８は、サンプリングフレームを変更し
た際の表示例を示す図である。（ａ）は、図１１（６）
〜（９）の適切なフレームをサンプリングした場合の表
示例であり、（ｂ）は、図１１（１）〜（４）の不適切
なフレームをサンプリングした例である。（ａ）のフレ
ーム群では、動作している人物全体が万遍なく表示され
ているのに対して、（ｂ）では、人物の下半身がほとん
ど動いていないため、下半身が消失してしまっている。

【００８３】また、上記実施の形態では、単に動画デー
タの中から移動部分を抽出した動画データを生成するの
みであった。しかし、背景画像と合成するのが最終的な
目的であるので、他の背景画像との合成を移動部分の抽
出と同時に行うようにしても良い。すなわち、オペレー
タが予め合成対象となる背景画像データを選定しておく
ことにより、ステップＳ３（図３参照）において抽出さ
れた動画と選択された背景画像を合成してフレームを生
成すれば、図１９に示すような背景と合成された動画が
出力される。

【００８４】さらに、上記実施の形態では、サンプリン
グフレームとしてカラー画像を使用することを前提とし
たが、動画処理装置１は、カラー画像に限らずモノクロ
画像の合成処理にも適用できる。この場合、黒色濃度に
基づいて色域を抽出するようにしても良い。

【００８５】また、上記実施の形態では、サンプリング
フレームの中から動画部分の色域抽出を行う際に動画部
分の再構成を行うものとしたが、色域抽出時には動画部
分の色域のみを記憶しておき、最初のフレームから順
次、色域動画部分の抽出及び再構成を行うことにより、
所望のサンプリングフレームに至った時に記憶された色
域に基づいて動画部分の再構成を行うようにしても良
い。

【００８６】さらに、上記実施の形態では、移動部分の
判定及び抽出を同時に行うものとしたが、所定のフレー
ムと他のフレームを比較した際に、動いている色域の位
置を記憶しておき、全ての色域の移動判定が終了した時
点で、記憶されている色域の位置情報に基づいて動画対
象を元の画像から一括抽出するようにしても良い。これ
により、色域を再構成することなく、合成画像を生成す
ることができる。

【００８７】

【発明の効果】請求項１または７記載の発明によれば、
任意の数フレームの色域を移動検査対象としてサンプリ
ングする機能を有することにより、動画合成に不必要な
色域を検出することなく、適確かつ効率的に所望の色域
を抽出できる。このため、多数のフレームから構成され
る動画データを再生成する際の処理工数とコストを低減
することができる。

【００８８】請求項２記載の発明によれば、請求項１記
載の発明の効果に加えて、検出された複数の色域を動画
データとして再構成する機能を有することにより、オペ
レータは抽出されたフレームを動画として参照すること
ができる。

【００８９】請求項３記載の発明によれば、請求項１ま
たは２記載の発明の効果に加えて、色域検出の際の近似
率を任意の値に調整する機能を有することにより、オペ
レータは、必要に応じて検出対象となる色域を微調整す
ることが可能となり、初期値による検出に比べてより適
切な色域を検出することができる。

【００９０】請求項４記載の発明によれば、請求項１ま
たは２記載の発明の効果に加えて、色域検出の際の移動
率を任意の値に調整する機能を有することにより、オペ
レータは、必要に応じて検出対象となる色域を微調整す
ることが可能となり、初期値による検出に比べてより適
切な色域を検出することができる。

【００９１】請求項５記載の発明によれば、請求項１ま
たは２記載の発明の効果に加えて、表示された色域に基
づいて、フレームを前後に切り替えて表示する機能を有
することにより、オペレータは、必要なフレームを任意
に選択することが可能となり、所望の色域を迅速に検出
することができる。

【００９２】請求項６記載の発明によれば、請求項１ま
たは２記載の発明の効果に加えて、動画データと背景デ
ータを時系列に自動合成して合成画像を１フレームごと
に生成する機能を有することにより、迅速かつ効率的に
合成画像を生成することができる。

【図面の簡単な説明】

【図１】本発明を適用した動画処理装置１の要部構成を
示すブロック図である。

【図２】各種データを格納するＲＡＭ５内のメモリ領域
を示す図である。

【図３】ＣＰＵ２によって実行される動画合成処理を示
すフローチャートである。

【図４】ＣＰＵ２によって実行される色域設定処理を示
すフローチャートである。

【図５】ＣＰＵ２によって実行される色域設定処理を示
すフローチャートである。

【図６】ＣＰＵ２によって実行される動画抽出処理を示
すフローチャートである。

【図７】ＣＰＵ２によって実行される動画抽出処理を示
すフローチャートである。

【図８】ＣＰＵ２によって実行される動画抽出処理を示
すフローチャートである。

【図９】ＣＰＵ２によって実行される昇順色域抽出処理
を示すフローチャートである。

【図１０】ＣＰＵ２によって実行される降順色域抽出処
理を示すフローチャートである。

【図１１】表示装置３に表示される１カット分の合成元
動画データの一例を示す図である。

【図１２】表示装置３に表示される図１１（６）のフレ
ームを抽出した図である。

【図１３】次のフレームにおいて同じ座標にある色域を
示す図であり、（ａ）〜（ｃ）は、それぞれ色域１〜３
を示す。

【図１４】次のフレームにおいて異なる座標にある色域
を示す図であり、（ａ）〜（ｃ）は、それぞれ色域４〜
６を示す。

【図１５】図１１の合成元動画データより抽出された移
動色域から構成される動画データの一例を示す図であ
る。

【図１６】表示領域３１に表示される各近似色設定値に
対応する出力結果の一例を示す図である。

【図１７】表示領域３２に表示される各移動基準値に対
応する出力結果の一例を示す図である。

【図１８】表示領域３３に表示される各サンプリングフ
レームに対応する出力結果を示す図の一例である。

【図１９】図１１の合成元動画データと背景動画を合成
出力した動画データの一例を示す図である。

【符号の説明】

１ 動画処理装置 ２ ＣＰＵ ３ 表示装置 ４ 入力装置 ５ ＲＡＭ ５ａ 動画データメモリ ５ｂ 選択フレームＮｏメモリ ５ｃ 今回フレーム色域データメモリ ５ｄ 前回フレーム色域データメモリ ５ｅ 近似色設定値メモリ ５ｆ 移動基準値メモリ ５ｇ 移動距離メモリ ５ｈ 移動色域データメモリ ５ｉ ワークメモリ ６ 印刷装置 ７ 記憶装置 ８ 記憶媒体 ９ バス ３１、３２、３３ 表示領域 ３１ａ 近似色設定ボリューム ３１ｂ 近似色設定値表示領域 ３２ａ 移動基準値設定ボリューム ３２ｂ 移動基準値表示領域 ３３ａ フレーム選択ボリューム ３３ｂ 停止スイッチ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B050 CA07 EA09 EA19 EA24 FA02 FA05 FA14 5C023 AA16 AA38 BA01 BA04 BA11 CA02 CA08 5C066 AA01 AA03 AA07 CA01 ED02 GA01 GB01 KD06 KE09 KE19 KM11 LA02 5L096 AA02 CA22 FA19 GA38 HA03 9A001 BB02 BB03 BB04 DD12 EE02 GG10 HH28 HH30 HH31 JJ33 JJ76 KK43 KK60

Claims (7)

【特許請求の範囲】
1. 【請求項１】複数の静止画フレームから構成される動画
   データの中から任意の数のフレームを動画検出の対象と
   して選択するフレーム選択手段と、 この選択手段により選択されたフレームの中から色が近
   似する色域を当該フレームごとに抽出する色域抽出手段
   と、 この色域抽出手段により抽出された第１のフレーム内の
   色域の位置に対して、第２のフレーム内の同一の色域の
   位置が移動したか否かを判定する判定手段と、 この判定手段により第２のフレーム内の前記色域の位置
   の移動が判定された場合、当該色域を動画の対象として
   検出する色域検出手段と、 を備えたことを特徴とする動画処理装置。
2. 【請求項２】前記色域検出手段により検出された複数の
   色域を一連の動画データとして再構成する動画構成手
   段、 を更に備えたことを特徴とする請求項１記載の動画処理
   装置。
3. 【請求項３】前記色域検出手段により検出された色域を
   画像データとして表示する色域表示手段と、 この色域表示手段に表示された色域に基づいて、前記色
   域検出手段の検出対象となる色域内の色の近似の度合い
   を示す近似率を任意の値に設定する近似率設定手段と、 この近似率設定手段により設定された色域を画像データ
   として表示する設定色域表示手段と、 を更に備えたことを特徴とする請求項１または２記載の
   動画処理装置。
4. 【請求項４】前記色域検出手段により検出された色域を
   画像データとして表示する色域表示手段と、 この色域表示手段に表示された色域に基づいて、前記色
   域検出手段の検出対象となる色域の移動率を任意の値に
   設定する移動率設定手段と、 この移動率設定手段により設定された色域を画像データ
   として表示する設定色域表示手段と、 を更に備えたことを特徴とする請求項１または２記載の
   動画処理装置。
5. 【請求項５】前記フレーム選択手段は、画像合成の対象
   となる複数のフレームを時間の経過に伴って順次変更し
   て選択し、 前記色域検出手段は、前記フレーム選択手段により選択
   された複数のフレームの色域を検出し、 前記色域検出手段により検出された色域を画像データと
   して表示する色域表示手段と、 この色域表示手段に表示された色域に基づいて、前記フ
   レームをその前後のフレームに切り替えて表示すること
   により、選択フレームを確定するフレーム切替手段と、 を更に備えたことを特徴とする請求項１または２記載の
   動画処理装置。
6. 【請求項６】前記動画構成手段により構成された動画デ
   ータと、複数のフレームからなる背景データを、時系列
   かつ自動的に合成することにより、合成画像を１フレー
   ムごとに生成する画像生成手段、 を更に備えたことを特徴とする請求項１または２記載の
   動画処理装置。
7. 【請求項７】画像処理を行うためのコンピュータが実行
   可能なプログラムを格納した記憶媒体であって、 複数の静止画フレームから構成される動画データの中か
   ら任意のフレームを画像合成の対象として選択するため
   のコンピュータが実行可能なプログラムコードと、 選択されたフレームの中から色が近似する色域を当該フ
   レームごとに抽出するためのコンピュータが実行可能な
   プログラムコードと、 抽出された第１のフレーム内の色域の位置に対して、第
   ２のフレーム内の同一の色域の位置が移動したか否かを
   判定するためのコンピュータが実行可能なプログラムコ
   ードと、 第２のフレーム内の前記色域の位置の移動が判定された
   場合、当該色域を動画合成の対象として検出するための
   コンピュータが実行可能なプログラムコードと、 を含むプログラムを格納したことを特徴とする記憶媒
   体。