JP2002190029A - 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 - Google Patents

画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Info

Publication number
JP2002190029A
JP2002190029A JP2000389450A JP2000389450A JP2002190029A JP 2002190029 A JP2002190029 A JP 2002190029A JP 2000389450 A JP2000389450 A JP 2000389450A JP 2000389450 A JP2000389450 A JP 2000389450A JP 2002190029 A JP2002190029 A JP 2002190029A
Authority
JP
Japan
Prior art keywords
image
unit
frame
difference
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000389450A
Other languages
English (en)
Inventor
Tsutomu Ando
勉 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2000389450A priority Critical patent/JP2002190029A/ja
Publication of JP2002190029A publication Critical patent/JP2002190029A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Abstract

(57)【要約】 【課題】 ビデオ画像からビデオオブジェクトを抽出す
ることを、容易に且つ精度良く行なえる画像処理装置を
提供する。 【解決手段】 第1の保存手段105は、撮影範囲にオ
ブジェクトが存在しない状態での背景画像を保存する。
第2の保存手段107は、撮影範囲にオブジェクトが存
在した状態での対象画像を保存する。読出制御手段10
3は、監視手段102によるビデオカメラ移動等の状態
の監視結果に基づき同期を取りながら、第1の保存手段
105及び第2の保存手段107から背景画像及び対象
画像を読み出す。抽出手段109は、読出背景画像及び
読出対象画像の差分結果に基づいて、当該対象画像の中
に存在するオブジェクトを抽出する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば、ビデオ画
像の中から、任意形状の物体(以下、「ビデオオブジェ
クト」と言う)を抽出するための装置或はシステムに用
いられる、画像処理装置、画像処理システム、画像処理
方法、及びそれを実施するための処理ステップをコンピ
ュータが読出可能に格納した記憶媒体に関するものであ
る。
【0002】
【従来の技術】従来より例えば、画像処理装置では、ビ
デオ画像の中から、任意形状のビデオオブジェクトを抽
出する方式として、クロマキーによる方式(クロマキー
方式)が多く使用されている。
【0003】図6は、クロマキー方式を使用した画像処
理装置700の構成を示したものである。画像処理装置
700は、上記図6に示すように、ビデオ入力部70
1、色空間変換部702、色差比較部703、キー色設
定部704、ビデオ合成部707、背景画像設定部70
8、及び表示部709を備えている。
【0004】ビデオ入力部701は、処理対象のビデオ
画像を入力する。色空間変換部702は、ビデオ入力部
701からのビデオ画像に対して、RGB空間からYC
rCb空間へと変換する処理を施す。キー設定部704
には、ユーザによって任意のキーカラーが設定される。
背景色設定部710には、ある一定カラーの背景色(緑
色や青色等)を有するシートが設定される。
【0005】キーカラー(色差)比較部703は、背景
色設定部710と連動して、適当な許容範囲を持って、
色空間変換部702での処理後のビデオ画像(対象ビデ
オ画像)と、キー色設定部704へ設定されたキーカラ
ーとの比較を行なって、マスク画像705を生成する。
そして、色差比較部703は、マスク画像705で対象
ビデオ画像をマスクした画像、すなわち対象ビデオ画像
の中のビデオオブジェクト706を取得する。
【0006】ビデオ合成部707は、色差比較部703
で得られたビデオオブジェクト706に対して、背景画
像設定部708へ設定された背景画像を合成する。表示
部709(モニタ等)は、ビデオ合成部707で得られ
た合成画像を画面表示する。
【0007】図7は、クロマキー方式ではなく、トラッ
キング方式を使用した画像処理装置800の構成を示し
たものである。画像処理装置800は、ユーザの補助入
力により、ビデオ画像の中から任意形状のビデオオブジ
ェクトを抽出するようになされており、上記図7に示す
ように、ビデオ入力部801、フレームメモリ802、
初期輪郭設定部803、オブジェクトドラッカー80
4、ビデオ合成部805、背景画像設定部806、及び
表示部807を備えている。
【0008】ビデオ入力部801は、処理対象のビデオ
画像を入力する。フレームメモリ802には、ビデオ入
力部801により入力されたビデオ画像が格納される。
初期輪郭設定部803は、フレームメモリ802内の初
期フレームのビデオ画像に対して、ユーザからの補助入
力に基づき適宜輪郭を設定する。ここでのユーザからの
補助入力とは、フリーハンドによるドローインクや、そ
れに付加された画像処理装置等による入力を示す。
【0009】オブジェクトトラッカー804は、初期輪
郭設定部803により輪郭が設定されたビデオ画像の当
該輪郭情報に基づいて、初期フレームに継続するフレー
ムのビデオ画像の中からビデオオブジェクトを抽出す
る。ビデオ合成部805は、オブジェクトトラッカー8
04で得られたビデオオブジェクトに対して、背景画像
設定部806へ設定された背景画像を合成する。表示部
807(モニタ等)は、ビデオ合成部705で得られた
合成画像を画面表示する。
【0010】
【発明が解決しようとする課題】しかしながら、上記図
6や上記図7に示した従来の画像処理装置では、次のよ
うな問題点があった。まず、クロマキー方式を用いた画
像処理装置700(上記図6参照)では、必ず背景にキ
ーカラーのシート等を設定(キー色設定部704へ設定
等)する必要があるため、その分、当該方式を使用する
環境に制限が加えられてしまう。また、トラッキング方
式を用いた画像処理装置800(上記図7参照)では、
ユーザからの補助入力を必要とし、物体の移動や変形に
たいしての精度が不充分である。
【0011】そこで、本発明は、上記の欠点を除去する
ために成されたもので、ビデオ画像からビデオオブジェ
クトを抽出することを、容易に且つ精度良く行なえる、
画像処理装置、画像処理システム、画像処理方法、及び
それを実施するための処理ステップをコンピュータが読
出可能に格納した記憶媒体を提供することを目的とす
る。
【0012】
【課題を解決するための手段】斯かる目的下において、
第1の発明は、撮影画像の中に存在するオブジェクトを
抽出するための画像処理装置であって、所定の軌道上を
所定の速度で移動しながら撮影して得られた画像を入力
する入力手段と、上記移動状態を監視する監視手段と、
上記入力手段により入力された、上記撮影範囲にオブジ
ェクトが存在しない状態で得られた撮影画像をフレーム
単位で保存する第1の保存手段と、上記入力手段により
入力された、上記撮影範囲にオブジェクトが存在した状
態で得られた撮影画像をフレーム単位で保存する第2の
保存手段と、上記監視手段での監視結果に基づいて同期
を取りながら、上記第1の保存手段内のフレーム画像を
背景画像として読み出すと共に、上記第2の保存手段内
のフレーム画像を対象画像として読み出す読出制御手段
と、上記読出制御手段により読み出された背景画像と対
象画像の差分結果に基づいて、当該対象画像の中に存在
するオブジェクトを抽出する抽出手段とを備えることを
特徴とする。
【0013】第2の発明は、上記第1の発明において、
上記読出制御手段により読み出された背景画像と対象画
像の差分結果を評価する評価手段を備え、上記読出制御
手段は、上記評価手段での評価結果に基づいて、上記第
1の保存手段内の任意の時間のフレーム画像を背景画像
として読み出し、上記評価手段は、上記読出制御手段に
より読み出された新たな背景画像と対象画像の差分を再
評価することを特徴とする。
【0014】第3の発明は、上記第2の発明において、
上記読出制御手段は、上記評価手段での評価結果によ
り、上記差分が微小となるフレーム画像を上記第1の保
存手段から背景画像として読み出すことを特徴とする。
【0015】第4の発明は、上記第1の発明において、
上記抽出手段での抽出結果に基づいて、上記対象画像の
中に存在するオブジェクトと、任意の背景画像とを合成
する合成手段を備えることを特徴とする。
【0016】第5の発明は、上記第1の発明において、
上記第2の保存手段内のフレーム画像を用いて、上記抽
出手段での抽出結果を調整する第2の抽出手段を備える
ことを特徴とする。
【0017】第6の発明は、上記第1の発明において、
上記入力手段により入力された撮影画像を符号化する符
号化手段と、上記符号化手段で得られた符号化画像を復
号化して、少なくとも上記第1の保存手段及び上記第2
の保存手段の何れかに対して出力する復号化手段とを備
え、上記抽出手段は、 上記読出制御手段により読み出
された復号化背景画像と復号化対象画像の差分結果に基
づいて、当該復号化対象画像の中に存在するオブジェク
トを抽出することを特徴とする。
【0018】第7の発明は、上記第6の発明において、
上記入力手段により入力された撮影画像を保存する第3
の保存手段と、上記第3の保存手段内のフレーム画像を
用いて、上記抽出手段での抽出結果を調整する第2の抽
出手段とを備えることを特徴とする。
【0019】第8の発明は、上記第5又は7の発明にお
いて、上記第2の抽出手段は、フレーム内又はフレーム
間のトラッキング機能により、上記抽出手段で得られた
オブジェクトの輪郭を調整することを特徴とする。
【0020】第9の発明は、複数の機器が互いに通信可
能に接続されてなる画像処理システムであって、上記複
数の機器のうち少なくとも1つの機器は、請求項1〜8
の何れかに記載の画像処理装置の機能を有することを特
徴とする。
【0021】第10の発明は、撮影手段により得られた
撮影画像の中に存在するオブジェクトを抽出するための
画像処理方法であって、オブジェクトが撮影範囲に存在
しない状態で、上記撮影手段を所定の軌道上を所定の速
度で移動させながら撮影して得られた画像をフレーム単
位で第1の保存手段へ保存する第1の保存ステップと、
オブジェクトが撮影範囲に存在した状態で、上記撮影手
段を所定の軌道上を所定の速度で移動させながら撮影し
て得られた画像をフレーム単位で第2の保存手段へ保存
する第2の保存ステップと、上記撮影手段の移動状態を
監視する監視ステップと、上記監視ステップでの監視結
果に基づいて同期を取りながら、上記第1の保存手段内
のフレーム画像を背景画像として読み出すと共に、上記
第2の保存手段内のフレーム画像を対象画像として読み
出す読出制御ステップと、上記読出制御ステップにより
読み出された背景画像と対象画像の差分を取る差分ステ
ップと、上記差分ステップの差分結果を評価する評価ス
テップと、上記差分ステップでの差分結果に基づいて、
当該対象画像の中に存在するオブジェクトを抽出する抽
出ステップとを含み、上記読出制御ステップは、上記評
価ステップでの評価結果に基づいて、上記上記第1の保
存手段内のフレーム画像の読み出しを行うステップを含
むことを特徴とする。
【0022】第11の発明は、上記第10の発明におい
て、上記評価ステップは、上記読出制御手段により読み
出された新たな背景画像と対象画像の差分を再評価する
ステップを含み、上記読出制御ステップは、上記評価ス
テップでの評価結果により、上記差分が微小となるよう
なフレーム画像を上記第1の保存手段から背景画像とし
て読み出すステップを含むことを特徴とする。
【0023】第12の発明は、上記第10の発明におい
て、上記抽出ステップでの抽出結果に基づいて、上記対
象画像の中に存在するオブジェクトと、任意の背景画像
とを合成する合成ステップを含むことを特徴とする。
【0024】第13の発明は、上記第10の発明におい
て、上記第2の保存手段内のフレーム画像を用いて、上
記抽出ステップでの抽出結果を調整する第2の抽出ステ
ップを含むことを特徴とする。
【0025】第14の発明は、上記第10の発明におい
て、上記撮影手段で得られた撮影画像を符号化する符号
化ステップと、上記符号化ステップで得られた符号化画
像を復号化して、少なくとも上記第1の保存手段及び上
記第2の保存手段の何れかに対して出力する復号化ステ
ップとを含み、上記差分ステップは、 上記読出制御ス
テップにより読み出された復号化背景画像と復号化対象
画像の差分を取るステップを含み、上記抽出ステップ
は、上記差分ステップでの復号化画像の差分結果に基づ
いて、上記復号化対象画像の中に存在するオブジェクト
を抽出するステップを含むことを特徴とする。
【0026】第15の発明は、上記第14の発明におい
て、上記撮影手段で得られた撮影画像を第3の保存手段
へ保存する第3の保存ステップと、上記第3の保存手段
内のフレーム画像を用いて、上記抽出ステップでの抽出
結果を調整する第2の抽出ステップとを含むことを特徴
とする。
【0027】第16の発明は、上記第13又は15の発
明において、上記第2の抽出ステップは、フレーム内又
はフレーム間のトラッキング機能により、上記抽出ステ
ップで得られたオブジェクトの輪郭を調整することを特
徴とする。
【0028】第17の発明は、請求項1〜8の何れかに
記載の画像処理装置の機能、又は請求項9記載の画像処
理システムの機能を実施するための処理プログラムを、
コンピュータが読出可能に格納した記憶媒体であること
を特徴とする。
【0029】第18の発明は、請求項10〜16の何れ
かに記載の画像処理方法の処理ステップを、コンピュー
タが読出可能に格納した記憶媒体であることを特徴とす
る。
【0030】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を用いて説明する。
【0031】(第1の実施の形態)本発明は、例えば、
図1に示すような画像処理装置100に適用される。本
実施の形態の画像処理装置100は、予め固定されたシ
ーケンスを有する背景ビデオ画像を有し、さらに動き補
償機能を有する構成とすることで、ビデオ画像からビデ
オオブジェクトを容易に且つ精度良く抽出できるように
なされている。
【0032】<画像処理装置100の全体構成>画像処
理装置100は、上記図1に示すように、ビデオ入力部
101、時間監視部102、フレーム制御部103、ビ
デオ保存部104、フレームメモリ105、フレーム差
分器106、フレームメモリ107、差分評価部10
8、輪郭抽出部109、ビデオ合成部110、背景画像
設定部111、及び表示部112を備えている。
【0033】<画像処理装置100の一連の動作>ビデ
オ入力部101は、処理対象のビデオ画像を入力する。
本実施の形態はその一例として、ビデオ入力部101と
してビデオカメラを使用している。そして、ビデオ入力
部101(以下、「ビデオカメラ101」と言う)は、
図2に示すように、一定軌道201上を一定速度で移動
するようになされている。したがって、ビデオ入力部1
01により入力されるビデオ画像(撮影画像)は、周囲
の環境(天候、照明、障害物等)が異ならなければ一定
のものとなる。
【0034】時間監視部102は、ビデオカメラ101
の移動時間を監視する。ビデオ保存部104は、ビデオ
カメラ101の後述する工程1(ビデオオブジェクト無
し)の撮影動作で得られたビデオ画像(ディジタルフォ
ーマットの形式の撮影画像)を背景画像として保存する
と共に、時間監視部102にて観測された移動時間情報
を保存する。
【0035】尚、ビデオ保存部104として使用する保
存メディアとしては、任意のメディアを適用可能であ
る。
【0036】フレームメモリ107には、ビデオカメラ
101の後述する工程2(ビデオオブジェクト有り)の
撮影動作で得られたビデオ画像が一時的に保存される。
フレーム制御部103は、時間監視部102からの制御
に基づいて、ビデオ保存部104内の背景画像をフレー
ムメモリ105に対して読み出す。
【0037】フレーム差分器106は、フレームメモリ
105内の背景画像と、フレームメモリ107内のビデ
オ画像とにおいて、各画素の絶対値差分を算出する。差
分評価部108は、フレーム差分器106での差分結果
を評価し、その結果をフレーム制御部103へ供給す
る。したがって、フレーム制御部103は、差分評価部
108からの評価結果に基づいて、ビデオ保存部104
からフレームメモリ105への背景画像の読出制御を行
なう。
【0038】輪郭抽出部109は、フレーム差分器10
6の差分結果により示される画像(差分画像)に対して
輪郭抽出処理を施して、ビデオ画像の中のビデオオブジ
ェクトを特定するためのマスク画像を生成する。ビデオ
合成部110は、輪郭抽出部109で得られたマスク画
像を用いて、対象ビデオ画像の中のビデオオブジェクト
と、背景画像設定部111へ設定された任意の背景画像
とを合成する。表示部112は、ビデオ合成部110で
得られた合成画像を画面表示する。
【0039】<画像処理装置100の動作の詳細につい
て>ここでは、画像処理装置100の動作を、工程1〜
工程4に分けて説明する。
【0040】(1)工程1 上記図2に示したように、ビデオカメラ101を一定軌
道201上を一定速度にて移動させて撮影を行う。この
ときの撮影では、人物等の任意のビデオオブジェクトは
存在しない状態である。工程1の撮影で得られたビデオ
画像は、背景画像として、当該背景画像の撮影時に時間
監視部102にて得られたビデオカメラ101の移動時
間情報と共に、ビデオ保存部104へ保存される。
【0041】尚、工程1の撮影は、1度行なうだけでか
まわないが、背景の状況変化等に応じて、随時撮影しな
おすことも必要である。また、上記図2に示した一定軌
道201は一例であり、特に、一定起動201のように
周回するものに限定するものではない。
【0042】(2)工程2 実際に人物等の任意のビデオオブジェクトが存在した状
態で、工程1と同様に、ビデオカメラ101を一定軌道
201上を一定速度にて移動させて撮影を行う。ビデオ
カメラ101で得られたビデオ画像(ビデオオブジェク
トを含む対象ビデオ画像)は、フレームメモリ107へ
一時的に保存される。
【0043】一方、ビデオ保存部104へ既に保存され
ている背景画像は、時間監視部102から制御されるフ
レーム制御部102により、フレームメモリ105に対
して読み出される。
【0044】フレーム差分器106は、フレームメモリ
105内の背景画像と、フレームメモリ107内の対象
ビデオ画像とにおいて、各画素の絶対値差分を算出す
る。ここで、フレームメモリ105とフレームメモリ1
07との間は、時間監視部102により同期が取られて
いるため、例えば、フレームメモリ107から出力され
る対象ビデオ画像の中にビデオオブジェクトが存在しな
い場合には、外部要因を除いた理想条件では差分結果が
ゼロとなる。一方、フレームメモリ107から出力され
る対象ビデオ画像の中にビデオオブジェクトが存在する
場合には、差分が発生する。
【0045】差分評価部108は、フレーム差分器10
6での差分結果を評価する。具体的には例えば、フレー
ム差分器106での差分結果に、対象ビデオ画像の中の
ビデオオブジェクトが存在しうる以外の部位のフレーム
全体においてばらつきが生じている場合には、ビデオカ
メラ101の移動条件、特に、移動速度や移動開始時間
等に問題があったと考えられる。そこで、これを補正
(移動時間の誤差を考慮した動き補償)するために、次
の工程3を実行する。
【0046】(3)工程3 差分評価部108は、背景画像と対象ビデオ画像の差分
の評価結果を、フレーム制御部103へ供給する。フレ
ーム制御部103は、差分評価部108からの評価結果
に基づいて、ビデオ保存部104からフレームメモリ1
05に対して読み出す背景画像のフレーム時間を調整す
る。その後、再びフレーム差分器106により背景画像
と対象ビデオ画像との差分が取られ、差分評価部108
で当該差分の再評価が行われる。
【0047】工程3の動作が繰り返し実行されること
で、実際のビデオオブジェクトの抽出で使用する背景画
像として、最も適切な(差分の少ない)評価を得たフレ
ームの背景画像(リファレンスフレーム)が選択され
る。これを、撮影時間のキャリブレーションとする。当
該キャリブレーション情報は、時間監視部102へとフ
ィードバックされて、その後のフレームメモリ105の
制御に使用される。
【0048】(4)工程4 輪郭抽出部109は、フレーム差分器106の差分結果
(工程3のリファレンスフレームとの差)により示され
る画像(差分画像)を用いて、対象ビデオ画像への輪郭
抽出処理を行なう。この処理結果が、ビデオオブジェク
トを特定するためのマスク画像となる。
【0049】ビデオ合成部110は、輪郭抽出部109
での処理結果、すなわち対象ビデオ画像の中のビデオオ
ブジェクトを特定するためのマスク画像を用いて、対象
ビデオ画像の中のビデオオブジェクトと、背景画像設定
部111へ設定された任意の背景画像とを合成する。表
示部112(モニタ等)は、ビデオ合成部110で得ら
れた合成画像を画面表示する。
【0050】図3(a)〜(d)は、対象ビデオ画像に
おいて、背景とビデオオブジェクトの関係を示したもの
である。図3(a)は、対象ビデオ画像(工程2での撮
影で得られた画像)を示したものである。図3(b)
は、対象ビデオ画像の中のビデオオブジェクトを示した
ものである。図3(c)は、輪郭抽出部109で得られ
るマスク画像(上記図3(b)に示されるビデオオブジ
ェクトを特定するための画像)を示したものである。図
3(d)は、ビデオ合成部110で得られる合成画像を
示したものである。
【0051】上述のように、本実施の形態では、予め、
ビデオカメラ101を一定軌道201上を一定速度にて
移動させて、ビデオオブジェクトを含まない背景画像を
取得して保存し、その後、実際にビデオオブジェクトを
含むビデオ画像をビデオカメラ101を一定軌道201
上を一定速度にて移動させることで取得して保存し、こ
れらの保存画像の差分により、対象ビデオ画像の中のビ
デオオブジェクトを特定するためのマスク画像を生成す
る処理(輪郭抽出処理)を行う際に、前回の当該差分の
評価結果に基づいて、差分をとる対象となる背景画像の
読み出しを制御する。これを繰り返し実行することで、
最も適切な(差分の少ない)評価を得たフレームの背景
画像、すなわちビデオカメラ101の移動速度の誤差を
考慮した動き補償を行った背景画像が得られ、この背景
画像と対象ビデオ画像との差分をとって、この差分によ
り、対象ビデオ画像の中のビデオオブジェクトを特定す
るためのマスク画像を生成する処理(輪郭抽出処理)を
行う。このような構成により、従来のようにキーカラー
のシートの設定等を行う必要はなく、また、対象ビデオ
画像におけるビデオオブジェクトの移動の変形等に対し
ても、当該ビデオオブジェクトを高精度に特定すること
ができる。
【0052】(第2の実施の形態)第1の実施の形態で
は、実際のビデオオブジェクトの抽出で使用する背景画
像として、最も適切な背景画像(リファレンスフレー
ム)を得るために、背景画像と対象ビデオ画像の差分
(フレーム差分値)の評価処理を、フレーム差分評価部
108で繰り返し実行するように構成した。このような
構成の場合、フレームメモリ105としては1枚のフレ
ームを記憶できる容量があればよい。しかしながら、そ
の分キャリブレーションに時間がかかる可能性がでてく
る。そこで、本実施の形態では、例えば、フレームメモ
リ105、フレーム差分器106、及びフレーム差分評
価部108を複数設ける構成とする。これにより、それ
ぞれ同時にフレーム差分の評価を行い、それらの評価結
果から、最も適切な背景画像(リファレンスフレーム)
を短時間で或はリアルタイムに得ることができる。
【0053】(第3の実施の形態)本発明は、例えば、
図4に示すような画像処理装置300に適用される。
尚、上記図4の画像処理装置300において、上記図1
の画像処理装置100と同様に動作する箇所には同じ符
号を付し、その詳細な説明は省略する。ここでは、上記
図1の画像処理装置100と異なる構成についてのみ、
詳細に説明する。
【0054】本実施の形態の画像処理装置300は、上
記図4に示すように、特に、輪郭抽出部109で得られ
たマスク画像を修正する機能を有するトラッキング部3
01を更に備えた構成としている。トラッキング部30
1は、輪郭抽出部109で既に得られたマスク画像を初
期値として用い、そのフレームのテクスチャ情報、或い
は注目フレームの前後フレームのデータを用いて、当該
マスク画像での輪郭情報を修正する。このような構成に
より、より高精度なビデオオブジェクトトラッキングが
可能になると共に、従来のようなビデオオブジェクトト
ラッキングで必要な初期輪郭の設定も不要となる。
【0055】(第4の実施の形態)本発明は、例えば、
図5に示すような画像処理装置400に適用される。
尚、上記図5の画像処理装置400において、上記図1
の画像処理装置100と同様に動作する箇所には同じ符
号を付し、その詳細な説明は省略する。ここでは、上記
図1の画像処理装置100と異なる構成についてのみ、
詳細に説明する。
【0056】本実施の形態の画像処理装置400は、上
記図5に示すように、特に、上記図1のビデオ保存部1
04の代わりに符号データ保存部104´を備えると共
に、ビデオエンコーダ401、ビデオデコーダ402、
ビデオデコーダ403、フレームメモリ404、及び第
3の実施の形態でのトラッキング部301と同様の機能
を有するトラッキング部405を更に備えた構成として
いる。
【0057】本実施の形態の画像処理装置400の動作
については、第1の実施の形態と同様に、工程1〜工程
3に分けて説明する。尚、ここでも第1の実施の形態と
特に異なる動作についてのみ、具体的に説明する。
【0058】(1)工程1 第1の実施の形態での工程1と同様にして、ビデオカメ
ラ101を一定軌道201(上記図2参照)上を一定速
度にて移動させて撮影を行う。このときの撮影では、人
物等の任意のビデオオブジェクトは存在しない状態であ
る。ビデオエンコーダ401は、ビデオカメラ101に
より得られたビデオ画像(背景画像)を符号化(エンコ
ード)して符号データ保存部104´へ保存する。した
がって、符号データ保存部104´には、背景画像の符
号化(圧縮)データが保存される。ビデオデコーダ40
3は、符号データ保存部104´から適宜符号化データ
を読み出して復号化(デコード)し、当該デコードによ
り得られた背景画像を順次フレームメモリ105へ保存
する。
【0059】(2)工程2 実際に人物等の任意のビデオオブジェクトが存在した状
態で、工程1と同様に、ビデオカメラ101を一定軌道
201上を一定速度にて移動させて撮影を行う。ビデオ
エンコーダ401は、ビデオカメラ101により得られ
た対象ビデオ画像(ビデオオブジェクトが存在するビデ
オ画像)をエンコードする。ビデオデコーダ402は、
ビデオエンコーダ401で得られた対象ビデオ画像をデ
コードして、当該デコードにより得られた対象ビデオ画
像を順次フレームメモリ107へ保存する。このとき、
フレームメモリ404には、ビデオエンコーダ401で
得られた対象ビデオ画像がそのまま、すなわち非圧縮の
状態の対象ビデオ画像が保存される。
【0060】したがって、フレーム差分器106は、フ
レームメモリ105からの背景画像と、フレームメモリ
107からの対象ビデオ画像との差分をとり、評価部1
08は、当該差分を評価する。すなわち、本実施の形態
では、背景画像と対象ビデオ画像の差分及びその評価
に、背景画像と対象ビデオ画像とも、同様な画質劣化が
起こることを想定して、デコード画像を用いている。こ
のとき、工程1での背景画像の取得時も、オブジェクト
トラッキング時も、ビデオエンコーダ402での符号化
レート条件等を一定にしておくことが望ましいのは言う
までもない。
【0061】(3)工程3 輪郭抽出部109は、フレーム差分器106の差分結果
により示される画像(差分画像)を用いて、対象ビデオ
画像への輪郭抽出処理を行なうが、当該輪郭抽出処理の
対象ビデオ画像としては、フレームメモリ404へ保存
されている非圧縮のビデオ画像を用いる。これにより、
圧縮による画像劣化によるビデオオブジェクトトラッキ
ングの精度を落とすことなく、且つ予め工程1で用意し
ておく背景画像を保存するためのメモリ容量を削減する
ことが可能となる。
【0062】尚、本発明の目的は、第1〜第4の実施の
形態のホスト及び端末の機能を実現するソフトウェアの
プログラムコードを記憶した記憶媒体を、システム或い
は装置に供給し、そのシステム或いは装置のコンピュー
タ(又はCPUやMPU)が記憶媒体に格納されたプロ
グラムコードを読みだして実行することによっても、達
成されることは言うまでもない。この場合、記憶媒体か
ら読み出されたプログラムコード自体が第1〜第4の実
施の形態の機能を実現することとなり、そのプログラム
コードを記憶した記憶媒体は本発明を構成することとな
る。プログラムコードを供給するための記憶媒体として
は、ROM、フロッピー(登録商標)ディスク、ハード
ディスク、光ディスク、光磁気ディスク、CD−RO
M、CD−R、磁気テープ、不揮発性のメモリカード等
を用いることができる。また、コンピュータが読みだし
たプログラムコードを実行することにより、第1〜第4
の実施の形態の機能が実現されるだけでなく、そのプロ
グラムコードの指示に基づき、コンピュータ上で稼動し
ているOS等が実際の処理の一部又は全部を行い、その
処理によって第1〜第4の実施の形態の機能が実現され
る場合も含まれることは言うまでもない。さらに、記憶
媒体から読み出されたプログラムコードが、コンピュー
タに挿入された拡張機能ボードやコンピュータに接続さ
れた機能拡張ユニットに備わるメモリに書き込まれた
後、そのプログラムコードの指示に基づき、その機能拡
張ボードや機能拡張ユニットに備わるCPUなどが実際
の処理の一部又は全部を行い、その処理によって第1〜
第4の実施の形態の機能が実現される場合も含まれるこ
とは言うまでもない。
【0063】
【発明の効果】以上説明したように本発明によれば、予
め、ビデオカメラ等(撮影手段)を所定の軌道上を所定
の速度にて移動させて、オブジェクトを含まない画像
(背景画像)を取得して保存し、その後、実際にオブジ
ェクトを含む画像(対象画像)をビデオカメラ等を所定
の軌道上を所定の速度にて移動させることで取得して保
存し、これらの保存画像の差分に基づいて、対象画像の
中に存在するオブジェクトの抽出(対象画像の中のオブ
ジェクトを特定するためのマスク画像を生成する処理
等)を行う。このとき、前回の当該差分の評価結果に基
づいて、差分をとる対象となる背景画像の読み出しを制
御する。このような構成により、従来のようにキーカラ
ーのシート(背景画像)の設定等を行う必要はない。ま
た、上記差分及びその評価を繰り返し実行する等して、
最も適切な(差分の少ない)評価を得たフレームの背景
画像、すなわちビデオカメラ等の移動速度の誤差を考慮
した動き補償を行った背景画像を得ることができ、この
背景画像と対象ビデオ画像との差分をとり、この差分に
基づいて、対象画像の中のオブジェクトを適確に抽出す
ることができる。したがって、従来のように背景画像の
設定等を行う必要はなく、対象画像におけるオブジェク
トの移動の変形等に対しても、当該オブジェクトを高精
度且つ効率的に抽出することができる。
【0064】また、オブジェクトの抽出結果を調整(マ
スク画像での輪郭修正等)するように構成した場合、よ
り高精度にオブジェクトの抽出を行うことができると共
に、従来のようなオブジェクトトラッキングで必要な初
期輪郭の設定等も不要となる。
【図面の簡単な説明】
【図1】第1の実施の形態において、本発明を適用した
画像処理装置の構成を示すブロック図である。
【図2】上記画像処理装置のビデオ入力部(ビデオカメ
ラ)の一定軌道を説明するための図である。
【図3】上記画像処理装置でのビデオオブジェクトの抽
出過程を説明するための図である。
【図4】第3の実施の形態において、本発明を適用した
画像処理装置の構成を示すブロック図である。
【図5】第4の実施の形態において、本発明を適用した
画像処理装置の構成を示すブロック図である。
【図6】従来の画像処理装置(クロマキー方式)の構成
を示すブロック図である。
【図7】従来の画像処理装置(トラッキング方式)の構
成を示すブロック図である。
【符号の説明】
100 画像処理装置 101 ビデオ入力部 102 時間監視部 103 フレーム制御部 104 ビデオ保存部 105 フレームメモリ 106 フレーム差分器 107 フレームメモリ 108 評価部 109 輪郭抽出部 110 ビデオ合成部 111 背景画像設定部 112 表示部
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B057 AA19 BA02 BA19 CA01 CA08 CA12 CA16 CE08 DA08 DA16 DB02 DB06 DB09 DC16 DC33 DC39 5C023 AA16 BA02 BA11 CA02 CA08 DA04 DA08 EA03 5L096 AA02 AA06 BA02 CA04 DA01 FA06 GA08 HA03

Claims (18)

    【特許請求の範囲】
  1. 【請求項1】 撮影画像の中に存在するオブジェクトを
    抽出するための画像処理装置であって、 所定の軌道上を所定の速度で移動しながら撮影して得ら
    れた画像を入力する入力手段と、 上記移動状態を監視する監視手段と、 上記入力手段により入力された、上記撮影範囲にオブジ
    ェクトが存在しない状態で得られた撮影画像をフレーム
    単位で保存する第1の保存手段と、 上記入力手段により入力された、上記撮影範囲にオブジ
    ェクトが存在した状態で得られた撮影画像をフレーム単
    位で保存する第2の保存手段と、 上記監視手段での監視結果に基づいて同期を取りなが
    ら、上記第1の保存手段内のフレーム画像を背景画像と
    して読み出すと共に、上記第2の保存手段内のフレーム
    画像を対象画像として読み出す読出制御手段と、 上記読出制御手段により読み出された背景画像と対象画
    像の差分結果に基づいて、当該対象画像の中に存在する
    オブジェクトを抽出する抽出手段とを備えることを特徴
    とする画像処理装置。
  2. 【請求項2】 上記読出制御手段により読み出された背
    景画像と対象画像の差分結果を評価する評価手段を備
    え、 上記読出制御手段は、上記評価手段での評価結果に基づ
    いて、上記第1の保存手段内の任意の時間のフレーム画
    像を背景画像として読み出し、 上記評価手段は、上記読出制御手段により読み出された
    新たな背景画像と対象画像の差分を再評価することを特
    徴とする請求項1記載の画像処理装置。
  3. 【請求項3】 上記読出制御手段は、上記評価手段での
    評価結果により、上記差分が微小となるフレーム画像を
    上記第1の保存手段から背景画像として読み出すことを
    特徴とする請求項2記載の画像処理装置。
  4. 【請求項4】 上記抽出手段での抽出結果に基づいて、
    上記対象画像の中に存在するオブジェクトと、任意の背
    景画像とを合成する合成手段を備えることを特徴とする
    請求項1記載の画像処理装置。
  5. 【請求項5】 上記第2の保存手段内のフレーム画像を
    用いて、上記抽出手段での抽出結果を調整する第2の抽
    出手段を備えることを特徴とする請求項1記載の画像処
    理装置。
  6. 【請求項6】 上記入力手段により入力された撮影画像
    を符号化する符号化手段と、 上記符号化手段で得られた符号化画像を復号化して、少
    なくとも上記第1の保存手段及び上記第2の保存手段の
    何れかに対して出力する復号化手段とを備え、 上記抽出手段は、上記読出制御手段により読み出された
    復号化背景画像と復号化対象画像の差分結果に基づい
    て、当該復号化対象画像の中に存在するオブジェクトを
    抽出することを特徴とする請求項1記載の画像処理装
    置。
  7. 【請求項7】 上記入力手段により入力された撮影画像
    を保存する第3の保存手段と、 上記第3の保存手段内のフレーム画像を用いて、上記抽
    出手段での抽出結果を調整する第2の抽出手段とを備え
    ることを特徴とする請求項6記載の画像処理装置。
  8. 【請求項8】 上記第2の抽出手段は、フレーム内又は
    フレーム間のトラッキング機能により、上記抽出手段で
    得られたオブジェクトの輪郭を調整することを特徴とす
    る請求項5又は7記載の画像処理装置。
  9. 【請求項9】 複数の機器が互いに通信可能に接続され
    てなる画像処理システムであって、 上記複数の機器のうち少なくとも1つの機器は、請求項
    1〜8の何れかに記載の画像処理装置の機能を有するこ
    とを特徴とする画像処理システム。
  10. 【請求項10】 撮影手段により得られた撮影画像の中
    に存在するオブジェクトを抽出するための画像処理方法
    であって、 オブジェクトが撮影範囲に存在しない状態で、上記撮影
    手段を所定の軌道上を所定の速度で移動させながら撮影
    して得られた画像をフレーム単位で第1の保存手段へ保
    存する第1の保存ステップと、 オブジェクトが撮影範囲に存在した状態で、上記撮影手
    段を所定の軌道上を所定の速度で移動させながら撮影し
    て得られた画像をフレーム単位で第2の保存手段へ保存
    する第2の保存ステップと、 上記撮影手段の移動状態を監視する監視ステップと、 上記監視ステップでの監視結果に基づいて同期を取りな
    がら、上記第1の保存手段内のフレーム画像を背景画像
    として読み出すと共に、上記第2の保存手段内のフレー
    ム画像を対象画像として読み出す読出制御ステップと、 上記読出制御ステップにより読み出された背景画像と対
    象画像の差分を取る差分ステップと、 上記差分ステップの差分結果を評価する評価ステップ
    と、 上記差分ステップでの差分結果に基づいて、当該対象画
    像の中に存在するオブジェクトを抽出する抽出ステップ
    とを含み、 上記読出制御ステップは、上記評価ステップでの評価結
    果に基づいて、上記上記第1の保存手段内のフレーム画
    像の読み出しを行うステップを含むことを特徴とする画
    像処理方法。
  11. 【請求項11】 上記評価ステップは、上記読出制御手
    段により読み出された新たな背景画像と対象画像の差分
    を再評価するステップを含み、 上記読出制御ステップは、上記評価ステップでの評価結
    果により、上記差分が微小となるようなフレーム画像を
    上記第1の保存手段から背景画像として読み出すステッ
    プを含むことを特徴とする請求項10記載の画像処理方
    法。
  12. 【請求項12】 上記抽出ステップでの抽出結果に基づ
    いて、上記対象画像の中に存在するオブジェクトと、任
    意の背景画像とを合成する合成ステップを含むことを特
    徴とする請求項10記載の画像処理方法。
  13. 【請求項13】 上記第2の保存手段内のフレーム画像
    を用いて、上記抽出ステップでの抽出結果を調整する第
    2の抽出ステップを含むことを特徴とする請求項10記
    載の画像処理方法。
  14. 【請求項14】 上記撮影手段で得られた撮影画像を符
    号化する符号化ステップと、 上記符号化ステップで得られた符号化画像を復号化し
    て、少なくとも上記第1の保存手段及び上記第2の保存
    手段の何れかに対して出力する復号化ステップとを含
    み、 上記差分ステップは、 上記読出制御ステップにより読
    み出された復号化背景画像と復号化対象画像の差分を取
    るステップを含み、 上記抽出ステップは、上記差分ステップでの復号化画像
    の差分結果に基づいて、上記復号化対象画像の中に存在
    するオブジェクトを抽出するステップを含むことを特徴
    とする請求項10記載の画像処理方法。
  15. 【請求項15】 上記撮影手段で得られた撮影画像を第
    3の保存手段へ保存する第3の保存ステップと、 上記第3の保存手段内のフレーム画像を用いて、上記抽
    出ステップでの抽出結果を調整する第2の抽出ステップ
    とを含むことを特徴とする請求項14記載の画像処理方
    法。
  16. 【請求項16】 上記第2の抽出ステップは、フレーム
    内又はフレーム間のトラッキング機能により、上記抽出
    ステップで得られたオブジェクトの輪郭を調整すること
    を特徴とする請求項13又は15記載の画像処理方法。
  17. 【請求項17】 請求項1〜8の何れかに記載の画像処
    理装置の機能、又は請求項9記載の画像処理システムの
    機能を実施するための処理プログラムを、コンピュータ
    が読出可能に格納したことを特徴とする記憶媒体。
  18. 【請求項18】 請求項10〜16の何れかに記載の画
    像処理方法の処理ステップを、コンピュータが読出可能
    に格納したことを特徴とする記憶媒体。
JP2000389450A 2000-12-21 2000-12-21 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 Pending JP2002190029A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000389450A JP2002190029A (ja) 2000-12-21 2000-12-21 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000389450A JP2002190029A (ja) 2000-12-21 2000-12-21 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Publications (1)

Publication Number Publication Date
JP2002190029A true JP2002190029A (ja) 2002-07-05

Family

ID=18856004

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000389450A Pending JP2002190029A (ja) 2000-12-21 2000-12-21 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体

Country Status (1)

Country Link
JP (1) JP2002190029A (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148425A (ja) * 2004-11-18 2006-06-08 Keio Gijuku 画像処理方法、画像処理装置、及びコンテンツ作成システム
WO2007125866A1 (ja) * 2006-04-28 2007-11-08 Nikon Corporation 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置
JP2013016086A (ja) * 2011-07-05 2013-01-24 Ricoh Co Ltd 画像差分検出装置及び画像差分検出プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006148425A (ja) * 2004-11-18 2006-06-08 Keio Gijuku 画像処理方法、画像処理装置、及びコンテンツ作成システム
JP4649640B2 (ja) * 2004-11-18 2011-03-16 学校法人慶應義塾 画像処理方法、画像処理装置、及びコンテンツ作成システム
WO2007125866A1 (ja) * 2006-04-28 2007-11-08 Nikon Corporation 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置
JP4924606B2 (ja) * 2006-04-28 2012-04-25 株式会社ニコン 被写体抽出方法、被写体追跡方法、画像合成方法、被写体抽出コンピュータプログラム、被写体追跡コンピュータプログラム、画像合成コンピュータプログラム、被写体抽出装置、被写体追跡装置、および画像合成装置
US8254630B2 (en) 2006-04-28 2012-08-28 Nikon Corporation Subject extracting method and device by eliminating a background region using binary masks
JP2013016086A (ja) * 2011-07-05 2013-01-24 Ricoh Co Ltd 画像差分検出装置及び画像差分検出プログラム

Similar Documents

Publication Publication Date Title
US11064110B2 (en) Warp processing for image capture
US10931851B2 (en) Image stitching with electronic rolling shutter correction
CN111580765B (zh) 投屏方法、投屏装置、存储介质、被投屏设备与投屏设备
JP5141317B2 (ja) 対象画像検出デバイス、制御プログラム、および該プログラムを記録した記録媒体、ならびに対象画像検出デバイスを備えた電子機器
US20010019631A1 (en) Image processing apparatus and method, and storage medium
EP2632155A2 (en) Moving image shooting apparatus and method of using a camera device
JP4612845B2 (ja) 画像処理装置およびその方法
US8724912B2 (en) Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images
JP2007266667A (ja) カメラ付き携帯機器、その制御方法及びその撮影支援方法
EP2845164B1 (en) Reference card for scene referred metadata capture
US20090094534A1 (en) Server apparatus and control method of server apparatus
US20070024710A1 (en) Monitoring system, monitoring apparatus, monitoring method and program therefor
US20050196061A1 (en) Signal-transmitting system, data-transmitting apparatus and data-receiving apparatus
KR100902419B1 (ko) 캡쳐 영상을 시간 지연 없이 표시할 수 있는 영상 처리장치, 방법 및 상기 방법을 프로그램화하여 수록한컴퓨터로 읽을 수 있는 기록매체
KR20160139681A (ko) 크로마키를 이용한 증강현실 영상 제작 장치 및 방법
US7079696B2 (en) Image encoding apparatus and method, image display apparatus and method, image processing system and image sensing apparatus
US7522189B2 (en) Automatic stabilization control apparatus, automatic stabilization control method, and computer readable recording medium having automatic stabilization control program recorded thereon
JP2002190029A (ja) 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
US8269858B2 (en) Image pickup device, image pickup method, and integrated circuit
CN111034187A (zh) 动态图像的生成方法、装置、可移动平台和存储介质
US20140079369A1 (en) Video Recording Method for Mobile Terminal, and Related Apparatus and System
US9118955B2 (en) Stereo image handling device and method
JP4720626B2 (ja) 画像処理システム、画像処理方法及びプログラム
JP2003061098A (ja) 画像処理装置、画像処理方法、記録媒体及びプログラム
JPH07222052A (ja) 撮像画像からの資料領域分離方法及び遠隔プレゼンテーション方法