JP3793258B2 - 動画像処理装置および方法 - Google Patents
動画像処理装置および方法 Download PDFInfo
- Publication number
- JP3793258B2 JP3793258B2 JP25658995A JP25658995A JP3793258B2 JP 3793258 B2 JP3793258 B2 JP 3793258B2 JP 25658995 A JP25658995 A JP 25658995A JP 25658995 A JP25658995 A JP 25658995A JP 3793258 B2 JP3793258 B2 JP 3793258B2
- Authority
- JP
- Japan
- Prior art keywords
- moving
- frame
- region
- image
- moving object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Studio Circuits (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、複数のフレーム中から動物体を逐次抽出するための動画像処理装置および方法に関するものである。
【０００２】
さらに詳述すれば本発明は、観客や樹木など複雑な動きをする背景と、その背景を含む映像中の動物体とを分離し、動物体の抽出・合成に好適な、動画像処理装置および方法に関するものである。
【０００３】
【従来の技術】
従来、映像中から動物体を抽出する方法として、クロマキー合成法とマット合成法が知られている。
【０００４】
前者のクロマキー合成法は、クロマキーバックと呼ばれる特殊なスクリーン（多くは青色をしている）を背景にして、撮影した画像から色情報を使って抽出する方法である。しかし、この方法は動画像に適用できるものの、クロマキーバック以外の背景で撮影された映像には適用できないという欠点があった。
【０００５】
他方、後者のマット合成法は、抜き出す領域の輪郭をマウスやタブレットなどを使って人手で指定する方法であることから、特殊な背景を必要とせず、あらゆる画像に適用できるという利点がある。しかし、人が納得できるまで修正できるメリットがあるものの、動画像に対しては、すべてのフレームで指定する必要があるため、作業時間がかかるという欠点があった。
【０００６】
【発明が解決しようとする課題】
上述した通り、従来から知られているクロマキー合成法およびマット合成法では、複雑な背景を有する映像中から高速で自動的に動物体を抽出することはできなかった。
【０００７】
よって本発明の目的は上述の点に鑑み、複雑な動きの背景を有する場合にも、高速で自動的に動物体を抽出することができる動画像処理装置および方法を提供することにある。
【０００８】
【課題を解決するための手段】
上述の目的を達成するために、本発明は、複数のフレーム中から動物体を逐次抽出する動画像処理装置において、現フレームより前に生じた先行フレームであって、当該現フレーム中に含まれる動物体とその動物体の位置が重ならない画像を有する現フレームに時間的に最も近いフレームを参照フレームとして決定する参照フレーム決定手段と、前記現フレームと前記参照フレームとの間において、信号の振幅差分が大きく且つ占有面積が大である画像領域を動領域として検出する動領域検出手段と、前記動領域に基づいて、前記現フレームと前記参照フレームとの間で動ベクトルが大となる画像領域を抽出する動き補償型動領域決定手段とを具備し、前記参照フレーム決定手段は、現フレームの直前フレームにおける動物体と、さらに１つ前のフレームにおける動物体とにより、現フレームの動物体を予測し、該予測した現フレームの動物体と重ならない位置に動物体を有する先行フレームを前記参照フレームとして決定する、ものである。また、前記動き補償型動領域決定手段から出力されるフレーム毎のキー信号を使って抽出した前記動物体を、前記動物体のない背景画像に重ね合わせる合成手段を更に具備した構成とすることもできる。ここで、前記動領域検出手段は、前記現フレームと前記参照フレームとの間で信号の差分をとり、閾値処理を施し、膨脹収縮処理を施し、ラベリング処理を施した後に、最大面積を有するラベリング領域を前記動領域として検出するのが好適である。さらに、前記動き補償型動領域決定手段は、前記動領域または該動領域を含む領域において予測誤差画像を得、前記現フレームに含まれる周波数成分に依存した閾値を用いて該予測誤差画像に閾値処理を施すことにより、予測誤差が小さい領域および高い周波数成分を有する領域を除去することができる。
【０００９】
本発明に係る動画像処理方法は、複数のフレーム中から動物体を逐次抽出するにあたり、現フレームより前に生じた先行フレームであって、当該現フレーム中に含まれる動物体とその動物体の位置が重ならない画像を有する現フレームに時間的に最も近いフレームを参照フレームとして決定し、前記現フレームと前記参照フレームとの間において、信号の振幅差分が大きく且つ占有面積が大である画像領域を動領域として検出し、前記動領域に基づいて、前記現フレームと前記参照フレームとの間で動ベクトルが大となる画像領域を前記動物体として抽出する際に、現フレームの直前フレームにおける動物体と、さらに１つ前のフレームにおける動物体とにより、現フレームの動物体を予測し、該予測した現フレームの動物体と重ならない位置に動物体を有する先行フレームを前記参照フレームとして決定する、ものである。また、前記動物体として抽出されたフレーム毎のキー信号を使って抽出した前記動物体を、該動物体のない背景画像に重ね合わせるステップを更に付加することも可能である。ここで、前記動領域を検出するに際し、前記現フレームと前記参照フレームとの間で信号の差分をとり、閾値処理を施し、膨脹収縮処理を施し、ラベリング処理を施した後に、最大面積を有するラベリング領域を前記動領域として検出するのが好適である。さらに、前記動物体を抽出する際に、前記動領域または該動領域を含む領域において予測誤差画像を得、前記現フレームに含まれる周波数成分に依存した閾値を用いて該予測誤差画像に閾値処理を施すことにより、予測誤差が小さい領域および高い周波数成分を有する領域を除去することができる。
【００１０】
このように本発明では、抽出したい動物体は大きな動きをするが、背景の物体はあまり動かないことに着目し、映像中の現フレームと参照フレームに基づいて動領域をまず検出し、その動領域内において、小さな動きベクトルを有する領域（背景に相当する）を除去することにより、動きの速い形状の大きな動物体を高速で正確に抽出することが可能となる。
【００１１】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の一形態を説明する。
【００１２】
図１は、本発明を適用した映像抽出・合成処理装置の全体構成を示す。本図に示した装置を用いると、例えば固定カメラで体操選手の跳躍の様子を撮影した映像シーケンスである図２のような映像から、図３のような合成画像が得られる。以下の説明では、説明をわかり易くするために、この図２，図３に示した映像に基づいて説明するが、同様の条件を有する他の運動競技や他の運動物体にも適用できることは言うまでもない。
【００１３】
図１に示した回路の動作は、以下の通りである。
【００１４】
まず、体操選手の跳躍の様子を撮影した映像シーケンスを、映像記憶回路２に記録する。記録する映像の範囲は、映像中に運動物体（抽出対象）が出現する直前のフレーム（図２ではフレーム０）から、運動を終え、あるいは映像中から消えるまでの間のフレーム（図２ではフレーム８まで：全フレームとせずに間引いても良い）である。
【００１５】
記憶された上記フレームに基づいて、運動物体が出現したフレーム（現フレーム：図２ではフレーム１）を動領域検出回路４の一方の入力端に、運動物体が出現する直前の運動物体が存在しないフレーム（図２ではフレーム０：この場合の参照フレーム）を動領域検出回路４の他方の入力端に供給する。この２つの信号を動領域検出回路４で処理して、動物体抽出候補キー信号を出力する。
【００１６】
図４は、動領域検出回路４の詳細な回路構成を示す。この動領域検出回路４では、まず差分回路４１で２つの入力信号Ａ，Ｂ（Ａ＝現フレーム，Ｂ＝参照フレーム）の差分を求める。次に、２値画像化を図るための閾値処理、および、ノイズ除去のための膨脹収縮処理を４２，４３の各ブロックで行う。
【００１７】
ここで、閾値処理とは、入力画像の各画素について、明るさがある一定の値（閾値）以上の場合には、対応する出力画像の画素の値を１とし、それ以外の場合には、０にするものである。式で示すと、
【００１８】
【数１】
【００１９】
となる。ここで、ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）は、それぞれ処理前，処理後の画像の（ｘ，ｙ）の場所にある画素の濃度値を、ｔは閾値を示す。また、運動物体（抽出対象）のほうが暗く、背景が明るい場合には（１）式を適用すると、背景が抜き出されてしまうので、閾値より小さいものを抜き出す次式を使用する。
【００２０】
【数２】
【００２１】
なお、閾値処理は参照フレーム決定回路１０（図１参照）で生成される領域指定信号（詳細は後述する。）で指定される領域で行う。
【００２２】
また膨脹収縮処理とは、２値画像の雑音（ごま塩雑音と呼ばれている）を除去するための処理である。以下に膨張収縮処理の一手法について述べる。膨脹とは、ある画素の近傍に一つでも１があればその画素を１に、その他は０にする処理である。また収縮とは、ある画素の近傍に一つでも０があればその画素を０に、その他は１にする処理である。この処理を膨脹→収縮と作用されると、結果の画像は膨脹で太って、収縮でやせて、結果的にほとんど変わりないが、黒い孤立した雑音が膨脹のときに取り除かれることになる。逆に、収縮→膨脹と作用させると、白い孤立した雑音が収縮のときに取り除かれる。
【００２３】
再び図４に戻り、最終段の最大領域選択回路４４では、つながっている領域を抽出するためのラベリング処理を行い、最大の面積を有する領域を動物体抽出候補キーとして抽出する。
【００２４】
すなわち、つながっている全ての画素（連結成分）に同じラベル（番号）を付け、異なった連結成分には異なった番号をつける処理をラベリングという。このラベリング処理により個々の連結成分に分離することができ、各連結成分の特徴を調べることができる。
【００２５】
以下に、ラベリング処理のための一手法を示す。
【００２６】
▲１▼ 画像上を走査して、ラベルが付けられていない画素Ｐを見つけ、新しいラベルを付ける。
【００２７】
▲２▼ 画素Ｐに対して、連結している画素に同じラベルを付ける。
【００２８】
▲３▼ さらに、いまラベル付けした画素と連結している全ての画素に同じラベルを付ける。
【００２９】
▲４▼ 上記の操作を、ラベル付けすべき画素がなくなるまで続ける。このことにより、一つの連結成分全体に同じラベルが付けられる。
【００３０】
以上の結果として、映像に含まれる背景には、観客など微妙に動く動物体があるので、その部分はノイズ成分として残るが、図５に示すように動物体のおおよその領域（動物体抽出候補キー）が抽出される。図５に示す斜線領域Ｒは、動物体抽出候補キーの全体を示す。なお、斜線領域内に描いた人物は、キーの位置を明示するためのもので、斜線領域内の各部は本来均一の値を有している。また、破線Ｓに囲まれた部分も位置関係を示すために描いたものであって、上記の抽出候補キーには含まれない。
【００３１】
次に、検出された動領域（動物体抽出候補キー）あるいはこれを囲む領域（例えば矩形領域）を対象に、動き補償型動領域決定回路６で動きベクトル（１９９５年５月１０日オーム社刊：Ｃ言語で学ぶ実践ディジタル映像処理，第２５８頁参照）を求め、小さな動きベクトルを有する領域（背景）を除去することにより、速く動く形状の大きな物体（選手）を正確に抜き出す。
【００３２】
図６は、動き補償型動領域決定回路６の詳細図である。
【００３３】
図６に示すように現フレーム（動き補償型動領域決定回路６のＡ入力）と参照フレーム（動き補償型動領域決定回路６のＢ入力）間で、検出された動領域（動物体抽出候補キー：動き補償型動領域決定回路６の第３の入力）あるいはこの領域を含む領域（例えば矩形領域）を対象に、動ベクトル検出回路６１で動ベクトル検出を行う。動ベクトル検出は、動領域を小ブロック（例えば４×４画素，８×８画素など）に分割して行う。
【００３４】
なお、動ベクトル検出については、検出された動領域（動物体抽出候補キー）に限定しないで全画面対象に行い、動ベクトルの大きさを閾値処理などを使って、抽出物体（速く動く体操選手）と背景（ゆっくり動く観客など）を分離する方法もあるが、処理時間を短くするために、検出領域を限定しても正しく分離できる方法について以下に述べる。
【００３５】
図６において、動ベクトル検出回路６１では動物体抽出候補キーあるいは候補キーを囲む領域（たとえば、矩形領域）でのみ動ベクトル検出を行う。このようにすると、現フレームには抽出物体（体操選手）が存在するが、参照フレームには存在しない。従って、この領域では、背景の観客などは動きベクトル検出が正しく行えるが、抽出物体の動ベクトルは検出できないので、でたらめな動きベクトルが検出されることになる。この検出された動きベクトルに基づき、動き補償画像生成回路６２において、現フレームの予測画像を生成すると動物体部分にはでたらめな予測画像が生成されることになる。
【００３６】
この予測画像と真の現フレームの差分を差分回路６３で求め、予測誤差画像を作れば、抽出したい選手領域に誤差が集中することになる。従って、この予測誤差画像を閾値処理回路６５で閾値処理すれば、適確に分離できることになる。
【００３７】
閾値は、現フレーム画像Ｆ（ω）に高域通過フイルタ６４の特性Ｈｈｐ（ω）をかけた信号Ｆｈ（ω）（＝Ｈｈｐ（ω）・Ｆ（ω））を使って決定する。このＦｈ（ω）を使ったａ・Ｆｈ（ω）＋ｂを閾値Ｔ（ω）とする。これにより、予測誤差の小さい領域と高周波数成分、すなわち細かな背景が除かれる。ここで、上記のａ，ｂは閾値を調整するための係数であって、背景の細かさや明るさにより定まる。
【００３８】
このようにして得られた信号を膨脹収縮処理回路６６で処理すると、孤立点やギザギザが除去される。このようにすると、図７に示すように動物体を抽出する動物体抽出キー信号が得られる。得られた動物体抽出キー信号は、抽出キー記憶回路８（図１参照）に格納しておく。
【００３９】
図７において、斜線領域Ｔは動物体抽出キーを示す。但し、斜線内の人物はキーの位置を明示するために描いたものであって、斜線内の各部は均一の値を有している。また、破線Ｓに囲まれた部分は図５と同じく、単なる位置関係を示すためのものである。
【００４０】
次に、フレーム数を１個進めて現フレームとして、上記と同様の処理を行う。すなわち現フレーム（図２ではフレーム２）と１フレーム前の参照フレーム（図２ではフレーム１）を読み出し、動領域検出回路４で処理して、動物体抽出候補キーを出力する。
【００４１】
しかしながら、図８に示すように現フレームと参照フレームの間で、抽出物体に重なっている部分があると、図５に示したような正しい動物体抽出候補キーが得られないため、参照フレームとして重なりがないフレームを選択する必要がある。
【００４２】
これを行うのが参照フレーム決定回路１０（図１参照）である。参照フレーム決定回路１０は、１フレームずつ前にさかのぼり（現フレームであるフレーム２とフレーム１が重なっている場合はフレーム０にさかのぼる）、重なりのない画像を選択するとともに、抽出する物体の存在が予想される領域を示す領域指定信号を生成する回路である（詳しい動作については後述する）。
【００４３】
参照フレーム決定回路１０で正しい参照フレームを決定し、現フレームと参照フレームを映像記憶回路２から取り出し動領域検出回路４で動物体抽出候補キーを抽出し、動き補償型動領域決定回路６で動物体抽出キーを抽出する。抽出された動物体抽出キーは、同様に抽出キー記憶回路８に格納しておく。
【００４４】
その後は、フレーム数を１個進めて、上記と同様の処理を行う。このようにして図９に示すような動物体キー信号が得られ、抽出キー記憶回路８に格納される。なお、図９に示した斜線内の人物はキーの位置を示すためのものであって、斜線内部は均一の値を有する。
【００４５】
次に、抽出キー記憶回路８から抽出キーを読み出し、合成回路１２において、キー合成を行うことにより、図３に示したようなストロボ撮像したかのような画像が得られる。具体的には、まず、合成回路１２より背景となるフレーム０を指定して映像記憶回路２からフレーム０の映像を読み出す。次にフレーム１を指定して、フレーム１の映像を映像記憶回路２からフレーム１の映像を読み出すとともに、抽出キー記憶回路８よりキー信号を読み出し、この信号で抽出した動物体をフレーム０の映像に重ねる。この映像に対しフレーム２以降もフレーム１と同様な処理を行う。
【００４６】
本発明では、重なりがない参照フレームを正しく選択することが重要である。そこで、次に参照フレーム決定回路１０の動作について説明する。
【００４７】
まず抽出された前フレームの動物体抽出キーと、さらに一つ前の動物体抽出キーより、現フレームのキー位置を予測する。具体的には、前フレームのキーの中心が（ＣＸn-1 ，ＣＹn-1 ）で大きさが（ＷＸn-1 ，ＷＹn-1 ）で前々フレームから（ＤＸn-1 ，ＤＹn-1 ）移動しているとすると、現フレームでは、キー信号は（ＣＸn-1 ＋ＤＸn-1 ，ＣＹn-1 ＋ＤＹn-1 ）に中心があり、（ＷＸn-1 ＋α，ＷＹn-1 ＋β）の大きさがあると予測する。
【００４８】
ここで、α，βは予測範囲に余裕を持たせるための項で、動物体の移動速度や大きさに応じて定まる。また、抽出されたキーは矩形ではないが、抽出されたキーを囲むウインドウを検出エリアに設定する。
【００４９】
次にｑ＝１とし、予測された現フレームのキー信号のウインドウとｑフレーム前のウインドウの重なりをチェックし、重なりがあればｑを増やし重なりがなくなるまで続ける。
【００５０】
重なりのないウインドウが得られたら、このウインドウを領域指定信号とし、このフレームを仮の参照フレームとして、動領域検出回路４で動物体抽出候補キーを得る。得られたキーは最初に余裕を持たせて設定したウインドウより小さいので、再度重なりをチェックする。重なりがなければｑを減らして、重なりが生じるまで重なりをチェックする。重なりが生じたら、生ずる直前のｑフレーム前を参照フレームに決定する。なお、フレーム１および２においては、領域指定を手動で行うか、全画面を領域指定する。
【００５１】
このようにして選ばれた参照フレームを使うことにより、動領域検出回路４と動き補償型動領域決定回路６で良好に動物体抽出候補キーおよび動物体抽出キーが抽出される。
【００５２】
なお、キー信号の抽出には輝度信号のみならず、色信号を併用することで、より正確な抽出が可能となる。
【００５３】
【発明の効果】
以上説明した通り本発明では、抽出したい動物体は大きな動きをするが、背景の物体はあまり動かないことに着目し、映像中の現フレームと参照フレーム（数フレーム離れる場合も含む）に基づいて動領域をまず検出し、その動領域内において、小さな動きベクトルを有する領域（背景に相当する）を除去することにより、動きの速い形状の大きな動物体を高速で正確に抽出することとしているので、小さな動きを有する物体が含まれる複雑な背景の場合にも適用可能な動物体抽出のための装置を実現することができる。これにより、例えば、観客の前で演技する体操選手などを抽出して軌跡とフォームを合成して表示することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の全体を示すブロック図である。
【図２】入力映像の一例を示す図である。
【図３】合成画像の一例を示す図である。
【図４】図１に示した動領域検出回路４の詳細なブロック構成図である。
【図５】抽出された動領域の候補キーの一例を示す図である。
【図６】図１に示した動き補償型動領域決定回路６の詳細なブロック構成図である。
【図７】得られた抽出キーの一例を示す図である。
【図８】フレーム間での動物体の位置が重なった例を示す図である。
【図９】得られた全フレームの抽出キーを示す図である。
【符号の説明】
２ 映像記憶回路
４ 動領域検出回路
６ 動き補償型動領域決定回路
８ 抽出キー記憶回路
１０ 参照フレーム決定回路
１２ 合成回路
【発明の属する技術分野】
本発明は、複数のフレーム中から動物体を逐次抽出するための動画像処理装置および方法に関するものである。
【０００２】
さらに詳述すれば本発明は、観客や樹木など複雑な動きをする背景と、その背景を含む映像中の動物体とを分離し、動物体の抽出・合成に好適な、動画像処理装置および方法に関するものである。
【０００３】
【従来の技術】
従来、映像中から動物体を抽出する方法として、クロマキー合成法とマット合成法が知られている。
【０００４】
前者のクロマキー合成法は、クロマキーバックと呼ばれる特殊なスクリーン（多くは青色をしている）を背景にして、撮影した画像から色情報を使って抽出する方法である。しかし、この方法は動画像に適用できるものの、クロマキーバック以外の背景で撮影された映像には適用できないという欠点があった。
【０００５】
他方、後者のマット合成法は、抜き出す領域の輪郭をマウスやタブレットなどを使って人手で指定する方法であることから、特殊な背景を必要とせず、あらゆる画像に適用できるという利点がある。しかし、人が納得できるまで修正できるメリットがあるものの、動画像に対しては、すべてのフレームで指定する必要があるため、作業時間がかかるという欠点があった。
【０００６】
【発明が解決しようとする課題】
上述した通り、従来から知られているクロマキー合成法およびマット合成法では、複雑な背景を有する映像中から高速で自動的に動物体を抽出することはできなかった。
【０００７】
よって本発明の目的は上述の点に鑑み、複雑な動きの背景を有する場合にも、高速で自動的に動物体を抽出することができる動画像処理装置および方法を提供することにある。
【０００８】
【課題を解決するための手段】
上述の目的を達成するために、本発明は、複数のフレーム中から動物体を逐次抽出する動画像処理装置において、現フレームより前に生じた先行フレームであって、当該現フレーム中に含まれる動物体とその動物体の位置が重ならない画像を有する現フレームに時間的に最も近いフレームを参照フレームとして決定する参照フレーム決定手段と、前記現フレームと前記参照フレームとの間において、信号の振幅差分が大きく且つ占有面積が大である画像領域を動領域として検出する動領域検出手段と、前記動領域に基づいて、前記現フレームと前記参照フレームとの間で動ベクトルが大となる画像領域を抽出する動き補償型動領域決定手段とを具備し、前記参照フレーム決定手段は、現フレームの直前フレームにおける動物体と、さらに１つ前のフレームにおける動物体とにより、現フレームの動物体を予測し、該予測した現フレームの動物体と重ならない位置に動物体を有する先行フレームを前記参照フレームとして決定する、ものである。また、前記動き補償型動領域決定手段から出力されるフレーム毎のキー信号を使って抽出した前記動物体を、前記動物体のない背景画像に重ね合わせる合成手段を更に具備した構成とすることもできる。ここで、前記動領域検出手段は、前記現フレームと前記参照フレームとの間で信号の差分をとり、閾値処理を施し、膨脹収縮処理を施し、ラベリング処理を施した後に、最大面積を有するラベリング領域を前記動領域として検出するのが好適である。さらに、前記動き補償型動領域決定手段は、前記動領域または該動領域を含む領域において予測誤差画像を得、前記現フレームに含まれる周波数成分に依存した閾値を用いて該予測誤差画像に閾値処理を施すことにより、予測誤差が小さい領域および高い周波数成分を有する領域を除去することができる。
【０００９】
本発明に係る動画像処理方法は、複数のフレーム中から動物体を逐次抽出するにあたり、現フレームより前に生じた先行フレームであって、当該現フレーム中に含まれる動物体とその動物体の位置が重ならない画像を有する現フレームに時間的に最も近いフレームを参照フレームとして決定し、前記現フレームと前記参照フレームとの間において、信号の振幅差分が大きく且つ占有面積が大である画像領域を動領域として検出し、前記動領域に基づいて、前記現フレームと前記参照フレームとの間で動ベクトルが大となる画像領域を前記動物体として抽出する際に、現フレームの直前フレームにおける動物体と、さらに１つ前のフレームにおける動物体とにより、現フレームの動物体を予測し、該予測した現フレームの動物体と重ならない位置に動物体を有する先行フレームを前記参照フレームとして決定する、ものである。また、前記動物体として抽出されたフレーム毎のキー信号を使って抽出した前記動物体を、該動物体のない背景画像に重ね合わせるステップを更に付加することも可能である。ここで、前記動領域を検出するに際し、前記現フレームと前記参照フレームとの間で信号の差分をとり、閾値処理を施し、膨脹収縮処理を施し、ラベリング処理を施した後に、最大面積を有するラベリング領域を前記動領域として検出するのが好適である。さらに、前記動物体を抽出する際に、前記動領域または該動領域を含む領域において予測誤差画像を得、前記現フレームに含まれる周波数成分に依存した閾値を用いて該予測誤差画像に閾値処理を施すことにより、予測誤差が小さい領域および高い周波数成分を有する領域を除去することができる。
【００１０】
このように本発明では、抽出したい動物体は大きな動きをするが、背景の物体はあまり動かないことに着目し、映像中の現フレームと参照フレームに基づいて動領域をまず検出し、その動領域内において、小さな動きベクトルを有する領域（背景に相当する）を除去することにより、動きの速い形状の大きな動物体を高速で正確に抽出することが可能となる。
【００１１】
【発明の実施の形態】
以下、図面を参照して、本発明の実施の一形態を説明する。
【００１２】
図１は、本発明を適用した映像抽出・合成処理装置の全体構成を示す。本図に示した装置を用いると、例えば固定カメラで体操選手の跳躍の様子を撮影した映像シーケンスである図２のような映像から、図３のような合成画像が得られる。以下の説明では、説明をわかり易くするために、この図２，図３に示した映像に基づいて説明するが、同様の条件を有する他の運動競技や他の運動物体にも適用できることは言うまでもない。
【００１３】
図１に示した回路の動作は、以下の通りである。
【００１４】
まず、体操選手の跳躍の様子を撮影した映像シーケンスを、映像記憶回路２に記録する。記録する映像の範囲は、映像中に運動物体（抽出対象）が出現する直前のフレーム（図２ではフレーム０）から、運動を終え、あるいは映像中から消えるまでの間のフレーム（図２ではフレーム８まで：全フレームとせずに間引いても良い）である。
【００１５】
記憶された上記フレームに基づいて、運動物体が出現したフレーム（現フレーム：図２ではフレーム１）を動領域検出回路４の一方の入力端に、運動物体が出現する直前の運動物体が存在しないフレーム（図２ではフレーム０：この場合の参照フレーム）を動領域検出回路４の他方の入力端に供給する。この２つの信号を動領域検出回路４で処理して、動物体抽出候補キー信号を出力する。
【００１６】
図４は、動領域検出回路４の詳細な回路構成を示す。この動領域検出回路４では、まず差分回路４１で２つの入力信号Ａ，Ｂ（Ａ＝現フレーム，Ｂ＝参照フレーム）の差分を求める。次に、２値画像化を図るための閾値処理、および、ノイズ除去のための膨脹収縮処理を４２，４３の各ブロックで行う。
【００１７】
ここで、閾値処理とは、入力画像の各画素について、明るさがある一定の値（閾値）以上の場合には、対応する出力画像の画素の値を１とし、それ以外の場合には、０にするものである。式で示すと、
【００１８】
【数１】
となる。ここで、ｆ（ｘ，ｙ），ｇ（ｘ，ｙ）は、それぞれ処理前，処理後の画像の（ｘ，ｙ）の場所にある画素の濃度値を、ｔは閾値を示す。また、運動物体（抽出対象）のほうが暗く、背景が明るい場合には（１）式を適用すると、背景が抜き出されてしまうので、閾値より小さいものを抜き出す次式を使用する。
【００２０】
【数２】
なお、閾値処理は参照フレーム決定回路１０（図１参照）で生成される領域指定信号（詳細は後述する。）で指定される領域で行う。
【００２２】
また膨脹収縮処理とは、２値画像の雑音（ごま塩雑音と呼ばれている）を除去するための処理である。以下に膨張収縮処理の一手法について述べる。膨脹とは、ある画素の近傍に一つでも１があればその画素を１に、その他は０にする処理である。また収縮とは、ある画素の近傍に一つでも０があればその画素を０に、その他は１にする処理である。この処理を膨脹→収縮と作用されると、結果の画像は膨脹で太って、収縮でやせて、結果的にほとんど変わりないが、黒い孤立した雑音が膨脹のときに取り除かれることになる。逆に、収縮→膨脹と作用させると、白い孤立した雑音が収縮のときに取り除かれる。
【００２３】
再び図４に戻り、最終段の最大領域選択回路４４では、つながっている領域を抽出するためのラベリング処理を行い、最大の面積を有する領域を動物体抽出候補キーとして抽出する。
【００２４】
すなわち、つながっている全ての画素（連結成分）に同じラベル（番号）を付け、異なった連結成分には異なった番号をつける処理をラベリングという。このラベリング処理により個々の連結成分に分離することができ、各連結成分の特徴を調べることができる。
【００２５】
以下に、ラベリング処理のための一手法を示す。
【００２６】
▲１▼ 画像上を走査して、ラベルが付けられていない画素Ｐを見つけ、新しいラベルを付ける。
【００２７】
▲２▼ 画素Ｐに対して、連結している画素に同じラベルを付ける。
【００２８】
▲３▼ さらに、いまラベル付けした画素と連結している全ての画素に同じラベルを付ける。
【００２９】
▲４▼ 上記の操作を、ラベル付けすべき画素がなくなるまで続ける。このことにより、一つの連結成分全体に同じラベルが付けられる。
【００３０】
以上の結果として、映像に含まれる背景には、観客など微妙に動く動物体があるので、その部分はノイズ成分として残るが、図５に示すように動物体のおおよその領域（動物体抽出候補キー）が抽出される。図５に示す斜線領域Ｒは、動物体抽出候補キーの全体を示す。なお、斜線領域内に描いた人物は、キーの位置を明示するためのもので、斜線領域内の各部は本来均一の値を有している。また、破線Ｓに囲まれた部分も位置関係を示すために描いたものであって、上記の抽出候補キーには含まれない。
【００３１】
次に、検出された動領域（動物体抽出候補キー）あるいはこれを囲む領域（例えば矩形領域）を対象に、動き補償型動領域決定回路６で動きベクトル（１９９５年５月１０日オーム社刊：Ｃ言語で学ぶ実践ディジタル映像処理，第２５８頁参照）を求め、小さな動きベクトルを有する領域（背景）を除去することにより、速く動く形状の大きな物体（選手）を正確に抜き出す。
【００３２】
図６は、動き補償型動領域決定回路６の詳細図である。
【００３３】
図６に示すように現フレーム（動き補償型動領域決定回路６のＡ入力）と参照フレーム（動き補償型動領域決定回路６のＢ入力）間で、検出された動領域（動物体抽出候補キー：動き補償型動領域決定回路６の第３の入力）あるいはこの領域を含む領域（例えば矩形領域）を対象に、動ベクトル検出回路６１で動ベクトル検出を行う。動ベクトル検出は、動領域を小ブロック（例えば４×４画素，８×８画素など）に分割して行う。
【００３４】
なお、動ベクトル検出については、検出された動領域（動物体抽出候補キー）に限定しないで全画面対象に行い、動ベクトルの大きさを閾値処理などを使って、抽出物体（速く動く体操選手）と背景（ゆっくり動く観客など）を分離する方法もあるが、処理時間を短くするために、検出領域を限定しても正しく分離できる方法について以下に述べる。
【００３５】
図６において、動ベクトル検出回路６１では動物体抽出候補キーあるいは候補キーを囲む領域（たとえば、矩形領域）でのみ動ベクトル検出を行う。このようにすると、現フレームには抽出物体（体操選手）が存在するが、参照フレームには存在しない。従って、この領域では、背景の観客などは動きベクトル検出が正しく行えるが、抽出物体の動ベクトルは検出できないので、でたらめな動きベクトルが検出されることになる。この検出された動きベクトルに基づき、動き補償画像生成回路６２において、現フレームの予測画像を生成すると動物体部分にはでたらめな予測画像が生成されることになる。
【００３６】
この予測画像と真の現フレームの差分を差分回路６３で求め、予測誤差画像を作れば、抽出したい選手領域に誤差が集中することになる。従って、この予測誤差画像を閾値処理回路６５で閾値処理すれば、適確に分離できることになる。
【００３７】
閾値は、現フレーム画像Ｆ（ω）に高域通過フイルタ６４の特性Ｈｈｐ（ω）をかけた信号Ｆｈ（ω）（＝Ｈｈｐ（ω）・Ｆ（ω））を使って決定する。このＦｈ（ω）を使ったａ・Ｆｈ（ω）＋ｂを閾値Ｔ（ω）とする。これにより、予測誤差の小さい領域と高周波数成分、すなわち細かな背景が除かれる。ここで、上記のａ，ｂは閾値を調整するための係数であって、背景の細かさや明るさにより定まる。
【００３８】
このようにして得られた信号を膨脹収縮処理回路６６で処理すると、孤立点やギザギザが除去される。このようにすると、図７に示すように動物体を抽出する動物体抽出キー信号が得られる。得られた動物体抽出キー信号は、抽出キー記憶回路８（図１参照）に格納しておく。
【００３９】
図７において、斜線領域Ｔは動物体抽出キーを示す。但し、斜線内の人物はキーの位置を明示するために描いたものであって、斜線内の各部は均一の値を有している。また、破線Ｓに囲まれた部分は図５と同じく、単なる位置関係を示すためのものである。
【００４０】
次に、フレーム数を１個進めて現フレームとして、上記と同様の処理を行う。すなわち現フレーム（図２ではフレーム２）と１フレーム前の参照フレーム（図２ではフレーム１）を読み出し、動領域検出回路４で処理して、動物体抽出候補キーを出力する。
【００４１】
しかしながら、図８に示すように現フレームと参照フレームの間で、抽出物体に重なっている部分があると、図５に示したような正しい動物体抽出候補キーが得られないため、参照フレームとして重なりがないフレームを選択する必要がある。
【００４２】
これを行うのが参照フレーム決定回路１０（図１参照）である。参照フレーム決定回路１０は、１フレームずつ前にさかのぼり（現フレームであるフレーム２とフレーム１が重なっている場合はフレーム０にさかのぼる）、重なりのない画像を選択するとともに、抽出する物体の存在が予想される領域を示す領域指定信号を生成する回路である（詳しい動作については後述する）。
【００４３】
参照フレーム決定回路１０で正しい参照フレームを決定し、現フレームと参照フレームを映像記憶回路２から取り出し動領域検出回路４で動物体抽出候補キーを抽出し、動き補償型動領域決定回路６で動物体抽出キーを抽出する。抽出された動物体抽出キーは、同様に抽出キー記憶回路８に格納しておく。
【００４４】
その後は、フレーム数を１個進めて、上記と同様の処理を行う。このようにして図９に示すような動物体キー信号が得られ、抽出キー記憶回路８に格納される。なお、図９に示した斜線内の人物はキーの位置を示すためのものであって、斜線内部は均一の値を有する。
【００４５】
次に、抽出キー記憶回路８から抽出キーを読み出し、合成回路１２において、キー合成を行うことにより、図３に示したようなストロボ撮像したかのような画像が得られる。具体的には、まず、合成回路１２より背景となるフレーム０を指定して映像記憶回路２からフレーム０の映像を読み出す。次にフレーム１を指定して、フレーム１の映像を映像記憶回路２からフレーム１の映像を読み出すとともに、抽出キー記憶回路８よりキー信号を読み出し、この信号で抽出した動物体をフレーム０の映像に重ねる。この映像に対しフレーム２以降もフレーム１と同様な処理を行う。
【００４６】
本発明では、重なりがない参照フレームを正しく選択することが重要である。そこで、次に参照フレーム決定回路１０の動作について説明する。
【００４７】
まず抽出された前フレームの動物体抽出キーと、さらに一つ前の動物体抽出キーより、現フレームのキー位置を予測する。具体的には、前フレームのキーの中心が（ＣＸn-1 ，ＣＹn-1 ）で大きさが（ＷＸn-1 ，ＷＹn-1 ）で前々フレームから（ＤＸn-1 ，ＤＹn-1 ）移動しているとすると、現フレームでは、キー信号は（ＣＸn-1 ＋ＤＸn-1 ，ＣＹn-1 ＋ＤＹn-1 ）に中心があり、（ＷＸn-1 ＋α，ＷＹn-1 ＋β）の大きさがあると予測する。
【００４８】
ここで、α，βは予測範囲に余裕を持たせるための項で、動物体の移動速度や大きさに応じて定まる。また、抽出されたキーは矩形ではないが、抽出されたキーを囲むウインドウを検出エリアに設定する。
【００４９】
次にｑ＝１とし、予測された現フレームのキー信号のウインドウとｑフレーム前のウインドウの重なりをチェックし、重なりがあればｑを増やし重なりがなくなるまで続ける。
【００５０】
重なりのないウインドウが得られたら、このウインドウを領域指定信号とし、このフレームを仮の参照フレームとして、動領域検出回路４で動物体抽出候補キーを得る。得られたキーは最初に余裕を持たせて設定したウインドウより小さいので、再度重なりをチェックする。重なりがなければｑを減らして、重なりが生じるまで重なりをチェックする。重なりが生じたら、生ずる直前のｑフレーム前を参照フレームに決定する。なお、フレーム１および２においては、領域指定を手動で行うか、全画面を領域指定する。
【００５１】
このようにして選ばれた参照フレームを使うことにより、動領域検出回路４と動き補償型動領域決定回路６で良好に動物体抽出候補キーおよび動物体抽出キーが抽出される。
【００５２】
なお、キー信号の抽出には輝度信号のみならず、色信号を併用することで、より正確な抽出が可能となる。
【００５３】
【発明の効果】
以上説明した通り本発明では、抽出したい動物体は大きな動きをするが、背景の物体はあまり動かないことに着目し、映像中の現フレームと参照フレーム（数フレーム離れる場合も含む）に基づいて動領域をまず検出し、その動領域内において、小さな動きベクトルを有する領域（背景に相当する）を除去することにより、動きの速い形状の大きな動物体を高速で正確に抽出することとしているので、小さな動きを有する物体が含まれる複雑な背景の場合にも適用可能な動物体抽出のための装置を実現することができる。これにより、例えば、観客の前で演技する体操選手などを抽出して軌跡とフォームを合成して表示することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の一形態の全体を示すブロック図である。
【図２】入力映像の一例を示す図である。
【図３】合成画像の一例を示す図である。
【図４】図１に示した動領域検出回路４の詳細なブロック構成図である。
【図５】抽出された動領域の候補キーの一例を示す図である。
【図６】図１に示した動き補償型動領域決定回路６の詳細なブロック構成図である。
【図７】得られた抽出キーの一例を示す図である。
【図８】フレーム間での動物体の位置が重なった例を示す図である。
【図９】得られた全フレームの抽出キーを示す図である。
【符号の説明】
２ 映像記憶回路
４ 動領域検出回路
６ 動き補償型動領域決定回路
８ 抽出キー記憶回路
１０ 参照フレーム決定回路
１２ 合成回路
Claims (8)
- 複数のフレーム中から動物体を逐次抽出する動画像処理装置において、
現フレームより前に生じた先行フレームであって、当該現フレーム中に含まれる動物体とその動物体の位置が重ならない画像を有するフレームを参照フレームとして決定する参照フレーム決定手段と、
前記現フレームと前記参照フレームとの間において、信号の振幅差分が大きく且つ占有面積が大である画像領域を動領域として検出する動領域検出手段と、
前記動領域に基づいて、前記現フレームと前記参照フレームとの間で動ベクトルが大となる画像を抽出する動き補償型動領域決定手段と
を具備し、
前記参照フレーム決定手段は、
現フレームの直前フレームにおける動物体と、さらに１つ前のフレームにおける動物体とにより、現フレームの動物体を予測し、
該予測した現フレームの動物体と重ならない位置に動物体を有する先行フレームを前記参照フレームとして決定する、
ことを特徴とする動画像処理装置。 - 請求項１において、前記動き補償型動領域決定手段から出力されるフレーム毎の画像を、前記動物体のない背景画像に重ね合わせる合成手段を更に具備したことを特徴とする動画像処理装置。
- 請求項１において、前記動領域検出手段は、前記現フレームと前記参照フレームとの間で信号の差分をとり、閾値処理を施し、膨脹収縮処理を施し、ラベリング処理を施した後に、最大面積を有するラベリング領域を前記動領域として検出することを特徴とする動画像処理装置。
- 請求項１において、前記動き補償型動領域決定手段は、前記動領域または該動領域を含む領域において予測誤差画像を得、前記現フレームに含まれる周波数成分に依存した閾値を用いて該予測誤差画像に閾値処理を施すことにより、予測誤差が小さい領域および高い周波数成分を有する領域を除去することを特徴とする動画像処理装置。
- 複数のフレーム中から動物体を逐次抽出するにあたり、
現フレームより前に生じた先行フレームであって、当該現フレーム中に含まれる動物体とその動物体の位置が重ならない画像を有するフレームを参照フレームとして決定し、
前記現フレームと前記参照フレームとの間において、信号の振幅差分が大きく且つ占有面積が大である画像領域を動領域として検出し、
前記動領域に基づいて、前記現フレームと前記参照フレームとの間で動ベクトルが大となる画像を前記動物体として抽出する際に、
現フレームの直前フレームにおける動物体と、さらに１つ前のフレームにおける動物体とにより、現フレームの動物体を予測し、
該予測した現フレームの動物体と重ならない位置に動物体を有する先行フレームを前記参照フレームとして決定する、
ことを特徴とする動画像処理方法。 - 請求項５において、前記動物体として抽出されたフレーム毎の画像を、該動物体を除いた背景画像に重ね合わせるステップを更に付加したことを特徴とする動画像処理方法。
- 請求項５において、前記動領域を検出するに際し、前記現フレームと前記参照フレームとの間で信号の差分をとり、閾値処理を施し、膨脹収縮処理を施し、ラベリング処理を施した後に、最大面積を有するラベリング領域を前記動領域として検出することを特徴とする動画像処理方法。
- 請求項５において、前記動物体を抽出する際に、前記動領域または該動領域を含む領域において予測誤差画像を得、前記現フレームに含まれる周波数成分に依存した閾値を用いて該予測誤差画像に閾値処理を施すことにより、予測誤差が小さい領域および高い周波数成分を有する領域を除去することを特徴とする動画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25658995A JP3793258B2 (ja) | 1995-10-03 | 1995-10-03 | 動画像処理装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25658995A JP3793258B2 (ja) | 1995-10-03 | 1995-10-03 | 動画像処理装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09102910A JPH09102910A (ja) | 1997-04-15 |
| JP3793258B2 true JP3793258B2 (ja) | 2006-07-05 |
Family
ID=17294734
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25658995A Expired - Fee Related JP3793258B2 (ja) | 1995-10-03 | 1995-10-03 | 動画像処理装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3793258B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2031562A2 (en) | 2007-08-30 | 2009-03-04 | Casio Computer Co., Ltd. | Moving body image extraction apparatus and computer readable storage medium storing program |
| US7995102B2 (en) | 2008-02-13 | 2011-08-09 | Casio Computer Co., Ltd. | Imaging apparatus for generating stroboscopic image |
| US8462217B2 (en) | 2008-12-18 | 2013-06-11 | Casio Computer Co., Ltd. | Image pickup device, flash image generating method, and computer-readable memory medium |
| US9129401B2 (en) | 2011-09-14 | 2015-09-08 | Ricoh Company, Ltd. | Image processing apparatus, imaging apparatus, and image processing method, configured to process reduced-size images |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002084510A (ja) * | 2000-09-08 | 2002-03-22 | Jisedai Joho Hoso System Kenkyusho:Kk | 電子透かしの埋め込み方法、及びその装置 |
| JP4608139B2 (ja) * | 2001-06-29 | 2011-01-05 | 日本放送協会 | 画像合成方法及び画像合成装置 |
| JP4155118B2 (ja) | 2003-06-13 | 2008-09-24 | カシオ計算機株式会社 | 静止画合成装置、及び動画像からの静止画合成方法 |
| JP2006005452A (ja) * | 2004-06-15 | 2006-01-05 | Nippon Hoso Kyokai <Nhk> | 画像合成装置及び画像合成システム |
| US11232768B2 (en) | 2005-04-12 | 2022-01-25 | Douglas G. Richardson | Embedding animation in electronic mail, text messages and websites |
| JP5196230B2 (ja) * | 2006-12-22 | 2013-05-15 | 富士フイルム株式会社 | 出力装置、出力方法、及びプログラム |
| US8254626B2 (en) | 2006-12-22 | 2012-08-28 | Fujifilm Corporation | Output apparatus, output method and program for outputting a moving image including a synthesized image by superimposing images |
| JP4877154B2 (ja) * | 2007-08-24 | 2012-02-15 | カシオ計算機株式会社 | 画像処理装置、撮像装置、画像処理方法、および、プログラム |
| CA2720698C (en) | 2008-04-08 | 2014-02-11 | Nippon Telegraph And Telephone Corporation | Video encoding method, video encoding apparatus, video encoding program and storage medium of the same |
| JP2010171491A (ja) * | 2009-01-20 | 2010-08-05 | Casio Computer Co Ltd | 撮影装置、撮影方法及びプログラム |
| JP5402148B2 (ja) * | 2009-03-27 | 2014-01-29 | カシオ計算機株式会社 | 画像合成装置、画像合成方法及びプログラム |
| JP5152233B2 (ja) * | 2010-03-17 | 2013-02-27 | カシオ計算機株式会社 | 撮像装置、撮像制御方法及びプログラム |
| KR101068674B1 (ko) * | 2010-10-11 | 2011-09-29 | 한국과학기술원 | 오류 시드 제거 방법, 전경 물체 구분 방법과 이를 이용하는 시스템 및 기록 매체 |
| JP5412560B2 (ja) * | 2012-06-22 | 2014-02-12 | オリンパスイメージング株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
| KR102315523B1 (ko) * | 2014-01-20 | 2021-10-21 | 한화테크윈 주식회사 | 배경 제거 방법 및 시스템 |
| CN104243819B (zh) * | 2014-08-29 | 2018-02-23 | 小米科技有限责任公司 | 照片获取方法及装置 |
| CN104361572B (zh) * | 2014-11-27 | 2017-12-29 | 百度在线网络技术（北京）有限公司 | 图片处理方法和装置 |
-
1995
- 1995-10-03 JP JP25658995A patent/JP3793258B2/ja not_active Expired - Fee Related
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2031562A2 (en) | 2007-08-30 | 2009-03-04 | Casio Computer Co., Ltd. | Moving body image extraction apparatus and computer readable storage medium storing program |
| US8116521B2 (en) | 2007-08-30 | 2012-02-14 | Casio Computer Co., Ltd. | Moving body image extraction apparatus and computer readable storage medium storing program |
| US7995102B2 (en) | 2008-02-13 | 2011-08-09 | Casio Computer Co., Ltd. | Imaging apparatus for generating stroboscopic image |
| US8462217B2 (en) | 2008-12-18 | 2013-06-11 | Casio Computer Co., Ltd. | Image pickup device, flash image generating method, and computer-readable memory medium |
| US8633994B2 (en) | 2008-12-18 | 2014-01-21 | Casio Computer Co., Ltd. | Image pickup device, flash image generating method and computer-readable memory medium |
| US9129401B2 (en) | 2011-09-14 | 2015-09-08 | Ricoh Company, Ltd. | Image processing apparatus, imaging apparatus, and image processing method, configured to process reduced-size images |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09102910A (ja) | 1997-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3793258B2 (ja) | 動画像処理装置および方法 | |
| JP3461626B2 (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
| US8027534B2 (en) | Image processing apparatus, image processing method, and program | |
| US7612909B2 (en) | Image processing apparatus and method, and image-capturing apparatus based on the difference between a signal detected by a sensor and the real world | |
| US7154541B2 (en) | Image processing device | |
| US7352394B1 (en) | Image modification based on red-eye filter analysis | |
| TWI459324B (zh) | 修改色彩及全色通道彩色濾光片陣列影像 | |
| US7340106B2 (en) | Image processing apparatus and method, and image-capturing apparatus | |
| JP3035920B2 (ja) | 動体抽出装置及び動体抽出方法 | |
| US7221778B2 (en) | Image processing apparatus and method, and image pickup apparatus | |
| JP2005229198A (ja) | 画像処理装置および方法、並びに、プログラム | |
| US20020145667A1 (en) | Imaging device and recording medium storing and imaging program | |
| CN1846445A (zh) | 基于遮蔽检测对像素的时间插值 | |
| IES20050822A2 (en) | Foreground/background segmentation in digital images with differential exposure calculations | |
| JP2008282416A (ja) | コード化する前に画像をセグメントに分割するための方法および装置 | |
| JP2007506333A (ja) | 動きベクトルフィールド再タイミング | |
| JP2010114752A (ja) | 撮像装置及び撮像方法及びプログラム | |
| JP2008198082A (ja) | 画像処理方法、画像処理装置、及びディジタルカメラ | |
| US7477761B2 (en) | Image processing apparatus and method, and image-capturing apparatus | |
| US7352917B2 (en) | Image processing apparatus and method, and image pickup apparatus | |
| JP2921973B2 (ja) | 特定物体の画像抽出方法及び画像抽出装置 | |
| JP3480408B2 (ja) | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 | |
| JPH1083033A (ja) | 動画像のプリント方法 | |
| JP2011041041A (ja) | 撮像装置、撮像方法及びプログラム | |
| JP2825863B2 (ja) | 移動物体検出装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050304 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050527 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060407 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |