JP2004118718A - シーン変化点検出方法および装置並びにプログラム - Google Patents
シーン変化点検出方法および装置並びにプログラム Download PDFInfo
- Publication number
- JP2004118718A JP2004118718A JP2002283897A JP2002283897A JP2004118718A JP 2004118718 A JP2004118718 A JP 2004118718A JP 2002283897 A JP2002283897 A JP 2002283897A JP 2002283897 A JP2002283897 A JP 2002283897A JP 2004118718 A JP2004118718 A JP 2004118718A
- Authority
- JP
- Japan
- Prior art keywords
- scene change
- frn
- change point
- frame
- frames
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】明るさは変化するが時間軸上の変化はない等、所望とするシーンチェンジタイプに応じてシーン変化点を検出する。
【解決手段】サンプリング手段１により、動画像データＭ０からフレームＦｒＮ，ＦｒＮ＋１をサンプリングし、特徴量抽出手段２により、各フレームから輝度情報および色情報からなる特徴量を抽出する。抽出された特徴量のうち、輝度情報からは明るさが変化するフレーム間をシーン変化点候補として検出し、色情報からは時間軸上において図柄が変化するフレーム間をシーン変化点候補として検出し、これらのシーン変化点候補の検出結果に基づいて、明るさは変化するが、時間軸上の変化はないシーン変化点のように、所望とするシーンチェンジタイプに応じたシーン変化点を検出する。
【選択図】 図１
【解決手段】サンプリング手段１により、動画像データＭ０からフレームＦｒＮ，ＦｒＮ＋１をサンプリングし、特徴量抽出手段２により、各フレームから輝度情報および色情報からなる特徴量を抽出する。抽出された特徴量のうち、輝度情報からは明るさが変化するフレーム間をシーン変化点候補として検出し、色情報からは時間軸上において図柄が変化するフレーム間をシーン変化点候補として検出し、これらのシーン変化点候補の検出結果に基づいて、明るさは変化するが、時間軸上の変化はないシーン変化点のように、所望とするシーンチェンジタイプに応じたシーン変化点を検出する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像におけるシーンの変化点を検出するシーン変化点検出方法および装置並びにシーン変化点検出方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
ＣＰＵの高速化やメモリの大容量化により、静止画像よりも容量が大きい動画像を簡易に扱うことが可能となってきている。このような動画像を扱う際には、動画像に含まれるシーンの変わり目を表すシーン変化点を検出することにより、動画像に含まれる見たいシーンを検索することが容易となる。このようなシーン変化点を検出するために、動画像中の連続する２枚のフレームの間において、図柄が変化することによりフレームが不連続となる場合に、そのフレーム間を動画像のシーン変化点と判定する方法が提案されている（例えば特許文献１参照）。
【０００３】
しかしながら、上記特許文献１に記載された方法は、ストロボ発光や機器の障害により瞬間的に画像が乱れた場合であっても、それもシーン変化点として検出してしまうため、１つのシーンの中に瞬間的な画像の乱れが含まれると、同一シーンであるにも関わらず、シーンが分断されてしまうという問題がある。
【０００４】
このため、フレームに含まれるカラーヒストグラムを含む特徴量を算出し、対象とするフレームとその直前のフレームとの特徴量との相関を表す第１の相関係数と、それ以前のフレームとの特徴量との相関を表す第２の相関係数とを算出し、第１および第２の相関係数の双方が許容範囲を超えた場合に、対象とするフレームをシーン変化点として検出する方法が提案されている（特許文献２参照）。この方法によれば、１つのシーンの中に瞬間的な画像の乱れが含まれていても、真のシーン変化点を検出することが可能となる。
【０００５】
【特許文献１】
特開平４−１１１１８１号公報
【０００６】
【特許文献２】
特開平８−２２７４６２号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、シーン変化点はフレームを時間軸上に並べた場合に図柄が変化することによりフレームが不連続となる点のみならず、図柄は変わらないものの明るさが変化する点や、図柄は変わらないもののフレームに含まれる被写体が大きく移動する点等種々のタイプ（以下シーンチェンジタイプとする）があるため、上記特許文献２に記載された方法では所望とするシーンチェンジタイプに応じたシーン変化点の検出には対応することができない。
【０００８】
本発明は上記事情に鑑みなされたものであり、所望とするシーンチェンジタイプに応じてシーン変化点を検出することを目的とする。
【０００９】
【課題を解決するための手段】
本発明によるシーン変化点検出方法は、連続する複数のフレームからなる動画像からシーンの変わり目を表すシーン変化点を検出するシーン変化点検出方法において、
各フレームおよび該各フレームに前後する１または複数のフレームから、シーンチェンジタイプに応じたシーン変化の特徴を表す複数の特徴量を抽出し、
該複数の特徴量に基づいて所望とするシーンチェンジタイプに応じたシーン変化点を検出することを特徴とするものである。
【００１０】
「各フレームに前後する１または複数のフレーム」とは、対象となるフレームの直前または直後における１以上のフレームのことをいう。
【００１１】
「シーン変化の特徴を表す特徴量」とは、シーンの変わり目においてシーンチェンジタイプに応じて特異な変化が現れるパラメータであり、具体的にはフレーム間の輝度のヒストグラムの差分値の総和、輝度のメディアン値の差分値、輝度の平均値の差分値、輝度の標準偏差の差分値、色のヒストグラムの差分値の総和、色のメディアン値の差分値、色の平均値の差分値、色の標準偏差の差分値、これらの差分値を正規化した値、フレーム間の色の相関値、およびフレーム間の動ベクトル等を用いることができる。
【００１２】
「シーンチェンジタイプ」としては、例えばシーンの図柄が全く異なることにより、動画像の時間軸上においてシーンの内容が不連続となる点（以下、時間軸上の不連続な点とする）、撮影方向が大きく変更されたり被写体が大きく移動する等によりシーンの動きが大きい点（以下動きが大きい点とする）および明るさの変化が大きい点等が挙げられる。
【００１３】
「所望とするシーンチェンジタイプ」としては、シーンチェンジタイプの組み合わせとして表されるシーンチェンジタイプを意味し、具体的には時間軸上の変化はないが明るさが変化するというタイプ、時間軸上の変化はないが動きが大きいタイプ等が挙げられる。
【００１４】
本発明によるシーン変化点検出装置は、連続する複数のフレームからなる動画像からシーンの変わり目を表すシーン変化点を検出するシーン変化点検出装置において、
各フレームおよび該各フレームに前後する１または複数のフレームから、シーンチェンジタイプに応じたシーン変化の特徴を表す複数の特徴量を抽出する特徴量抽出手段と、
該複数の特徴量に基づいて所望とするシーンチェンジタイプに応じたシーン変化点を検出する変化点検出手段とを備えたことを特徴とするものである。
【００１５】
なお、本発明によるシーン変化点検出方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００１６】
【発明の効果】
本発明によれば、各フレームおよび各フレームに前後する１または複数のフレームからシーンチェンジタイプに応じた複数の特徴量が抽出され、抽出された複数の特徴量に基づいて、所望とするシーンチェンジタイプに応じたシーン変化点が検出される。このため、所望とするシーンチェンジタイプに応じて特徴量を適切に選択することにより、所望とするシーンチェンジタイプに応じたシーン変化点を適切に検出することができる。
【００１７】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態によるシーン変化点検出装置の構成を示す概略ブロック図である。図１に示すように、本実施形態によるシーン変化点検出装置は、入力された動画像データＭ０から複数のフレームをサンプリングするサンプリング手段１と、処理の対象となるフレームＦｒＮおよびフレームＦｒＮの直後のフレームＦｒＮ＋１のそれぞれから複数の特徴量を抽出する特徴量抽出手段２と、特徴量抽出手段２に基づいて抽出された複数の特徴量に基づいて、所望とするシーンチェンジタイプに応じたシーン変化点を検出する変化点検出手段３とを備える。
【００１８】
サンプリング手段１は、動画像データＭ０から複数のフレームをサンプリングする。ここで、動画像データＭ０はカラーの動画像を表すものであり、各フレームはＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。
【００１９】
特徴量抽出手段２は、処理の対象となるフレームＦｒＮ，ＦｒＮ＋１のそれぞれからシーンチェンジタイプに応じたシーン変化点を検出可能な特徴量を抽出する。
【００２０】
ここで、シーンチェンジタイプと特徴量との関係について説明する。図２はシーンチェンジタイプと特徴量との関係の例を表すテーブルである。図２に示すように、動画像のシーンチェンジタイプとしては、例えば図柄が全く異なることにより動画像の時間軸上においてシーンが不連続となる「（１）時間軸の不連続点」、撮影方向が大きく変更されたり被写体が大きく移動する等によりシーンの動きが大きい「（２）動きが大きい点」および「（３）明るさが変化する点」が挙げられる。ここで、フレームＦｒＮ，ＦｒＮ＋１間における色画素の差分は上記（１）および（２）は検出しやすいが（３）は検出しにくい。また、フレームＦｒＮ，ＦｒＮ＋１間における色ヒストグラムの差分は上記（１）は検出しやすいが（２）および（３）は検出しにくい。さらに、フレームＦｒＮ，ＦｒＮ＋１間における輝度平均値の差分は、上記（１）および（３）は検出しやすいが（２）は検出しにくいという特徴がある。
【００２１】
このため、本実施形態においては、シーンチェンジタイプに応じた複数の特徴量をフレームＦｒＮおよびフレームＦｒＮ＋１から抽出し、変化点検出手段３において、抽出された特徴量に基づいて、後述するようにシーンチェンジタイプに応じたシーン変化点を検出するようにしたものである。
【００２２】
ここで、第１の実施形態においては、明るさの変化は検出するが、時間軸上の変化を検出しないようにすることにより、明るさが変化するが時間軸上の変化はない変化点をシーン変化点と見なすシーンチェンジタイプを、所望とするシーンチェンジタイプとする。
【００２３】
このため、第１の実施形態における特徴量抽出手段２は、フレームＦｒＮ，ＦｒＮ＋１の輝度情報および色情報を特徴量として抽出する。まず、輝度情報の抽出について説明する。輝度情報としては、フレームＦｒＮ，ＦｒＮ＋１の輝度成分のヒストグラムの差分値の総和、フレーム全体についてのメディアン値の差分値、平均値の差分値および標準偏差の差分値等を用いることができるが、第１の実施形態においては輝度成分のフレーム全体についての平均値の差分値の絶対値を輝度情報として用いるものとする。
【００２４】
ここで、フレームＦｒＮ，ＦｒＮ＋１についての輝度成分の平均値をそれぞれＹｎ，Ｙｎ＋１とすると、平均値Ｙｎ，Ｙｎ＋１は、フレームＦｒＮ，ＦｒＮ＋１の各画素についての輝度成分のフレームＦｒＮ，ＦｒＮ＋１の全画素についての総和を、全画素数により除した値として算出することができる。そして特徴量抽出手段２は、フレームＦｒＮの輝度成分の平均値ＹｎおよびフレームＦｒＮ＋１の輝度成分の平均値Ｙｎ＋１の差分値の絶対値｜Ｙｎ−Ｙｎ＋１｜を輝度情報として算出する。なお、輝度成分の差分は明るさの変化を検出しやすい特徴量である。ここで、ノイズを除去するために、平均値Ｙｎ，Ｙｎ＋１を求める前にフレームＦｒＮ，ＦｒＮ＋１の全画素にローパスフィルタによるフィルタリング処理を施してもよい。
【００２５】
次いで、色情報の算出について説明する。色情報としては、フレームＦｒＮ，ＦｒＮ＋１の色差成分のヒストグラムの差分値の総和、フレーム全体についてのメディアン値の差分値、平均値の差分値および標準偏差の差分値等を用いることができるが、第１の実施形態においては色差成分のヒストグラムの差分値の絶対値を色情報として用いるものとする。
【００２６】
具体的には、図３に示すようにフレームＦｒＮの色差成分Ｃｂ，Ｃｒについての３次元ヒストグラムＨｎ（Ｃｂ，Ｃｒ）およびフレームＦｒＮ＋１の色差成分Ｃｂ，Ｃｒについての３次元ヒストグラムＨｎ＋１（Ｃｂ，Ｃｒ）を作成し、ヒストグラムＨｎ（Ｃｂ，Ｃｒ）とヒストグラムＨｎ＋１（Ｃｂ，Ｃｒ）との差分値の絶対値｜Ｈｎ（Ｃｂ，Ｃｒ）−Ｈｎ＋１（Ｃｂ，Ｃｒ）｜の全ての色差成分Ｃｂ，Ｃｒについての総和を下記の式（１）により算出し、これを色情報とする。なお、色差成分のヒストグラムの差分値は時間軸の不連続を検出しやすい特徴量である。なお、特徴量の変化を滑らかにするために、差分値の絶対値を求める前に、ヒストグラムＨｎ（Ｃｂ，Ｃｒ）およびヒストグラムＨｎ＋１（Ｃｂ，Ｃｒ）にローパスフィルタによるフィルタリング処理を施してもよい。
【数１】
【００２７】
変化点検出手段３は、特徴量抽出手段２において抽出された特徴量に基づいて、まず、シーン変化点候補を検出する。まず、輝度情報に基づくシーン変化点候補の検出について説明する。輝度情報に基づくシーン変化点候補の検出は、輝度情報すなわちフレームＦｒＮ，ＦｒＮ＋１の輝度成分の平均値Ｙｎ，Ｙｎ＋１の差分値の絶対値｜Ｙｎ−Ｙｎ＋１｜を予め定められたしきい値Ｔｈ１と比較し、｜Ｙｎ−Ｙｎ＋１｜＞Ｔｈ１の場合には、フレームＦｒＮとフレームＦｒＮ＋１との間をシーン変化点候補として検出する。なお、｜Ｙｎ−Ｙｎ＋１｜≦Ｔｈ１の場合にはフレームＦｒＮとフレームＦｒＮ＋１との間を連続点（すなわちシーン変化のない点）として検出する。なお、輝度情報に基づいて明るさが変化する点をシーン変化点候補として検出することができ、この検出結果をＡｎｓ１とする。
【００２８】
一方、色情報に基づくシーン変化点候補の検出は、上記式（１）により算出された総和を予め定められたしきい値Ｔｈ２と比較し、総和＞Ｔｈ２の場合には、フレームＦｒＮとフレームＦｒＮ＋１との間をシーン変化点候補として検出する。なお、総和≦Ｔｈ２の場合にはフレームＦｒＮとフレームＦｒＮ＋１との間を連続点として検出する。なお、色情報に基づいて時間軸の不連続点をシーン変化点候補として検出することができ、この検出結果をＡｎｓ２とする。
【００２９】
そして、変化点検出手段３は、検出されたシーン変化点候補から、所望とするシーンチェンジタイプに応じたシーン変化点を検出する。第１の実施形態においては、明るさが変化するが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとしている。このため、変化点検出手段３は、「Ａｎｓ１がシーン変化点候補であり、かつＡｎｓ２がシーン連続点である」場合に、処理中のフレームＦｒＮ，ＦｒＮ＋１の間を、所望とするシーンチェンジタイプに応じたシーン変化点として検出する。
【００３０】
以上の処理を全てのフレーム間において行うことにより、動画像データＭ０における所望とするシーンチェンジタイプに応じたシーン変化点を検出することができる。
【００３１】
次いで、第１の実施形態の動作について説明する。図４は第１の実施形態において行われる処理を示すフローチャートである。まず、サンプリングするフレームが初期値に設定され（ステップＳ１）、サンプリング手段１により動画像データＭ０がサンプリングされて２つのフレームＦｒＮ，ＦｒＮ＋１が取得される（ステップＳ２）。そして、特徴量抽出手段２によりフレームＦｒＮ，ＦｒＮ＋１から輝度情報および色情報が特徴量として抽出される（ステップＳ３）。
【００３２】
そして、変化点検出手段３により、特徴量抽出手段２により抽出された特徴量に基づいて、シーン変化点候補が検出される（ステップＳ４）。さらに、シーン変化点候補の検出結果に基づいて、現在処理中のフレームＦｒＮ，ＦｒＮ＋１の間が所望とするシーンチェンジタイプに応じたシーン変化点であるか否かが判定される（ステップＳ５）。そして、ステップＳ５が肯定されると、現在処理中のフレームＦｒＮ，ＦｒＮ＋１の間が所望とするシーンチェンジタイプに応じたシーン変化点として検出される（ステップＳ６）。一方、ステップＳ５が否定されると現在処理中のフレームＦｒＮ，ＦｒＮ＋１の間が連続点として検出される（ステップＳ７）。
【００３３】
続いて、動画像データＭ０の全フレームについて処理が終了したか否かが判定され（ステップＳ８）、ステップＳ８が肯定されると処理を終了する。ステップＳ８が否定されると、次のフレームに処理対象が変更され（ステップＳ９）、ステップＳ２に戻り、ステップＳ２以降の処理が繰り返される。
【００３４】
このように、本実施形態においては、シーンチェンジタイプに応じた複数の特徴量を抽出し、抽出された複数の特徴量に基づいて、複数のシーン変化点候補を検出し、これら複数のシーン変化点候補から所望とするシーンチェンジタイプに応じたシーン変化点を検出するようにしたため、所望とするシーンチェンジタイプに応じて特徴量を適切に選択することにより、所望とするシーンチェンジタイプに応じたシーン変化点を検出することができる。
【００３５】
なお、上記第１の実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の２つのフレームを用いてシーン変化点を検出しているが、フレーム間のより緩やかな変化を検出する場合、フレームＦｒＮおよびこれと２フレーム離れたフレームＦｒＮ＋２の２つのフレームを用いてシーンの変化点を検出すればよい。また、フレームＦｒＮ，ＦｒＮ＋１，ＦｒＮ＋２の３つのフレームを用いて、第１の実施形態と同様のシーン変化点および緩やかな変化となるシーン変化点の双方を検出してもよい。この場合、フレームＦｒＮ，ＦｒＮ＋１を用いて検出されたシーン変化点またはフレームＦｒＮ，ＦｒＮ＋２を用いて検出されたシーン変化点のいずれか一方を、対象とする動画像データＭ０のシーン変化点として検出してもよい。
【００３６】
次いで、本発明の第２の実施形態について説明する。上記第１の実施形態においては、明るさが変化するが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとし、この所望とするシーンチェンジタイプのシーン変化点を、フレームＦｒＮ，ＦｒＮ＋１の輝度情報および色情報を用いて検出しているが、第２の実施形態においては、輝度情報および色情報を正規化し、正規化した輝度情報および色情報を特徴量として抽出し、正規化した輝度情報および色情報に基づいてシーン変化点を検出するようにしたものである。
【００３７】
ここで、正規化された輝度情報（Ｙｓｔとする）は、フレームＦｒＮ，ＦｒＮ＋１の明るさの変化量を表すものであり、下記の式（２）により算出される。
【数２】
但し、ＹＭａｘ：輝度成分が取り得る最大値（８ビットの場合２５５）。なお、第１の実施形態と同様に、フレームＦｒＮ，ＦｒＮ＋１にローパスフィルタによるフィルタリング処理を施してもよい。
【００３８】
【００３９】
また、正規化された色情報（Ｃｓｔとする）は、フレームＦｒＮ，ＦｒＮ＋１の色の変化量を表すものであり、下記の式（３）により算出される。
【数３】
但し、ＣＭａｘ：色差成分が取り得る最大値（８ビットの場合２５５）。なお、第１の実施形態と同様に、ヒストグラムＨｎ（Ｃｂ，Ｃｒ）およびヒストグラムＨｎ＋１（Ｃｂ，Ｃｒ）にローパスフィルタによるフィルタリング処理を施してもよい。
【００４０】
【００４１】
そして、変化点検出手段３は、正規化された輝度情報Ｙｓｔおよび正規化された色情報Ｃｓｔの差分値Ｙｓｔ−Ｃｓｔを算出し、Ｙｓｔ−Ｃｓｔ＞Ｔｈ３（予め定められたしきい値）の場合、すなわち色情報の変化量よりも輝度情報の変化量が大きく、その差がしきい値Ｔｈ３より大きい場合に、処理中のフレームＦｒＮ，ＦｒＮ＋１の間を、明るさが変化するが時間軸上の変化がない変化点をシーン変化点とする所望とするシーンチェンジタイプに応じたシーン変化点として検出する。
【００４２】
このように、正規化した輝度情報および正規化した色情報を用いることによっても、所望とするシーンチェンジタイプに応じたシーン変化点を検出することができる。
【００４３】
次いで、本発明の第３の実施形態について説明する。上記第１の実施形態においては、明るさが変化するが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとしているが、第３の実施形態においては、さらにシーンが明るすぎたり暗すぎた場合にはシーン変化点としないという条件をシーンチェンジタイプに加えて、これを所望とするシーンチェンジタイプとしたものである。
【００４４】
このため、第３の実施形態においては、変化点検出手段３において、「Ａｎｓ１がシーン変化点候補であり、かつＡｎｓ２がシーン連続点」であり、さらに「輝度情報Ｙｎ＞Ｔｈ４または輝度情報Ｙｎ＜Ｔｈ５」の場合に、処理中のフレームＦｒＮ，ＦｒＮ＋１の間を、所望とするシーンチェンジタイプに応じたシーン変化点として検出するようにしたものである。ここで、しきい値Ｔｈ４は、フレームＦｒＮ内の平均輝度の下限を定めたものであり、しきい値Ｔｈ５は、フレームＦｒＮ内の平均輝度の上限を定めたものである。
【００４５】
このように、第１の実施形態の変化点検出手段３における「Ａｎｓ１がシーン変化点候補であり、かつＡｎｓ２がシーン連続点である」の判定に加えて、「輝度情報Ｙｎ＞Ｔｈ４または輝度情報Ｙｎ＜Ｔｈ５」の判定を加えることにより、所望とするシーンチェンジタイプを、明るさが変化するが時間軸上の変化がなく、さらにシーンが明るすぎたり暗すぎないシーンチェンジタイプとした場合にも、シーン変化点を検出することができる。
【００４６】
次いで、本発明の第４の実施形態について説明する。上記第１の実施形態においては、明るさが変化するが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとしているが、第４の実施形態においては、動きが大きいが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを、所望とするシーンチェンジタイプとしたものである。
【００４７】
このため、第４の実施形態においては、特徴量抽出手段２により、色情報およびフレームＦｒＮ，ＦｒＮ＋１の色の相関値を特徴量として抽出する。色情報は、上記第１の実施形態と同様に上記式（１）により算出された色差成分Ｃｂ，Ｃｒについての３次元ヒストグラムＨｎ（Ｃｂ，Ｃｒ），Ｈｎ＋１（Ｃｂ，Ｃｒ）の各画素についての総和とする。
【００４８】
色の相関値は、下記の式（４）により抽出する。
【数４】
但し、Ｃｂｎ，Ｃｒｎ：フレームＦｒＮの色差成分
Ｃｂｎ＋１，Ｃｒｎ＋１：フレームＦｒＮ＋１の色差成分
（ｘ，ｙ）：フレームＦｒＮ，ＦｒＮ＋１の画素の座標値
【００４９】
ここで、色の相関値Ｃｂｒは動きが大きい点を検出しやすい特徴量である。なお、色の相関値Ｃｂｒを求める前に、色差成分Ｃｂｎ，Ｃｒｎおよび色差成分Ｃｂｎ＋１，Ｃｒｎ＋１にローパスフィルタによるフィルタリング処理を施してもよい。
【００５０】
第４の実施形態においては、変化点検出手段３は、第１の実施形態と同様に上記式（１）により算出された総和＞Ｔｈ２（予め定められたしきい値）の場合には、フレームＦｒＮとフレームＦｒＮ＋１との間をシーン変化点候補として検出し、総和≦Ｔｈ２の場合にはフレームＦｒＮとフレームＦｒＮ＋１との間を連続点として検出する。この検出結果をＡｎｓ２とする。
【００５１】
また、変化点検出手段３は、色の相関値Ｃｂｒを予め定められたしきい値Ｔｈ６と比較し、Ｃｂｒ＞Ｔｈ６の場合には、フレームＦｒＮとフレームＦｒＮ＋１との間をシーン変化点候補として検出する。なお、Ｃｂｒ≦Ｔｈ６の場合にはフレームＦｒＮとフレームＦｒＮ＋１との間を連続点として検出する。なお、色の相関値Ｃｂｒに基づいて動きが大きい点をシーン変化点候補として検出することができ、この検出結果をＡｎｓ３とする。
【００５２】
そして、変化点検出手段３は、検出されたシーン変化点候補から、所望とするシーンチェンジタイプに応じたシーン変化点を検出する。第４の実施形態においては、動きが大きいが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとしている。このため、「Ａｎｓ２がシーン連続点であり、かつＡｎｓ３がシーン変化点候補である」場合に、処理中のフレームＦｒＮ，ＦｒＮ＋１の間を、所望とするシーンチェンジタイプに応じたシーン変化点として検出する。
【００５３】
以上の処理を全てのフレーム間において行うことにより、動画像データＭ０における所望とするシーンチェンジタイプに応じたシーン変化点を検出することができる。
【００５４】
次いで、本発明の第５の実施形態について説明する。上記第４の実施形態においては、動きが大きいが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとし、この所望とするシーンチェンジタイプのシーン変化点を、フレームＦｒＮ，ＦｒＮ＋１の色情報および色の相関値を用いて検出しているが、第５の実施形態においては、色情報およびフレームＦｒＮ，ＦｒＮ＋１の動ベクトルのヒストグラムに基づいて算出された標準偏差を特徴量として、シーン変化点を検出するようにしたものである。
【００５５】
このため、第５の実施形態においては、特徴量抽出手段２は、色情報およびフレームＦｒＮ，ＦｒＮ＋１の動ベクトルのヒストグラムに基づいて算出された標準偏差を特徴量として抽出する。色情報は、上記第１の実施形態と同様に色差成分Ｃｂ，Ｃｒのヒストグラムを用いて上記式（１）により算出された総和とする。
【００５６】
標準偏差を求めるための動ベクトルは以下のようにして求める。まず、フレームＦｒＮを例えば８×８画素の複数の小領域に分割し、フレームＦｒＮの各小領域をフレームＦｒＮ＋１上において平行移動し、各領小域とフレームＦｒＮ＋１上における対応する小領域との相関値を算出する。具体的には、小領域内における画素値の差の累積和の逆数を相関値として算出する。そして、相関値が最も高く、すなわち小領域内における画素値の差の累積和が最も小さくなったときの小領域の移動方向および移動量を、動ベクトルＭＶ１として算出する。
【００５７】
例えば、図５に示すように、フレームＦｒＮにおける小領域Ａ１について、フレームＦｒＮ＋１における小領域Ａ１′との相関値が最も高い場合には、小領域Ａ１をフレームＦｒＮ＋１に投影して得られる小領域Ａ１″を小領域Ａ１′へ移動させるために必要な移動量および移動方向を動ベクトルＭＶ１として算出する。
【００５８】
そして、動ベクトルＭＶ１の大きさ｜ＭＶ１｜を横軸に、頻度を縦軸にプロットして動ベクトルＭＶ１のヒストグラムＨｎＶを作成する。さらに、このヒストグラムＨｎＶにおいて、頻度がしきい値Ｔｈ７を越えるピークを求める。例えばヒストグラムＨｎＶが図６に示すように２つのピークＰ１，Ｐ２を有する場合において、ヒストグラムのピークＰ１，Ｐ２をしきい値Ｔｈ７と比較すると、２つのピークＰ１，Ｐ２のうち、ピークＰ１がしきい値Ｔｈ７を越えている。続いて、しきい値Ｔｈ７を越えたピークＰ１における動ベクトルＭＶ１の大きさ｜ＭＶ１｜の標準偏差σｎを算出し、これを特徴量として抽出する。ここで、算出された標準偏差σｎに基づいて、動きが大きい点をシーン変化点候補として検出することができる。
【００５９】
そして、変化点検出手段３において、第１の実施形態と同様に上記式（１）により算出された総和＞Ｔｈ２（予め定められたしきい値）の場合には、フレームＦｒＮとフレームＦｒＮ＋１との間をシーン変化点候補として検出し、総和≦Ｔｈ２の場合にはフレームＦｒＮとフレームＦｒＮ＋１との間を連続点として検出する。この検出結果をＡｎｓ２とする。
【００６０】
また、変化点検出手段３は、標準偏差σｎを予め定められたしきい値Ｔｈ８と比較する。ここで、動ベクトルＭＶ１の標準偏差σｎがしきい値Ｔｈ８より大きい場合には、フレームＦｒＮ，ＦｒＮ＋１に含まれる被写体またはシーン全体が大きく移動しているとみなすことができる。このため、変化点検出手段３は、σｎ＜Ｔｈ８の場合には、フレームＦｒＮとフレームＦｒＮ＋１との間をシーン変化点候補として検出する。なお、σｎ≧Ｔｈ８の場合にはフレームＦｒＮとフレームＦｒＮ＋１との間を連続点として検出する。なお、標準偏差σｎに基づいて動きが大きい点をシーン変化点候補として検出することができ、この検出結果をＡｎｓ４とする。また、標準偏差σｎによる比較は行わず、ヒストグラムＨｎＶとしきい値Ｔｈ７との比較によりＡｎｓ４を求めてもよい。
【００６１】
そして、変化点検出手段３は、検出されたシーン変化点候補から、所望とするシーンチェンジタイプに応じたシーン変化点を検出する。第５の実施形態においては、動きが大きいが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとしている。このため、「Ａｎｓ２がシーン連続点であり、かつＡｎｓ４がシーン変化点候補である」場合に、処理中のフレームＦｒＮ，ＦｒＮ＋１の間を、所望とするシーンチェンジタイプに応じたシーン変化点として検出する。
【００６２】
以上の処理を全てのフレーム間において行うことにより、動画像データＭ０における所望とするシーンチェンジタイプに応じたシーン変化点を検出することができる。
【００６３】
次いで、本発明の第６の実施形態について説明する。上記第１の実施形態においては、特徴量をしきい値Ｔｈ１，Ｔｈ２と比較することにより、シーン変化点候補を検出しているが、第６の実施形態においては、特徴量と比較するしきい値Ｔｈ１，Ｔｈ２を複数のフレームＦｒＮ〜ＦｒＮ＋ｔ０に基づいて算出するようにした点が第１の実施形態と異なる。
【００６４】
具体的には、まず、複数のフレームＦｒＮ〜ＦｒＮ＋ｔ０をサンプリングし、全てのフレームＦｒＮ〜ＦｒＮ＋ｔ０と、各フレームＦｒＮ〜ＦｒＮ＋ｔ０の直後のフレームとから特徴量を算出する。ここで、第１の実施形態においては、特徴量として、隣接するフレーム間の輝度成分の差分値の絶対値を輝度情報として、色ヒストグラムの差分値の絶対値の総和を色情報として算出しているため、複数のフレームＦｒＮ〜ＦｒＮ＋ｔ０からはｔ０−１個の輝度情報および色情報が特徴量として抽出される。
【００６５】
そして、第６の実施形態においては、算出されたｔ０−１個の輝度情報および色情報の平均値および分散値を算出し、算出された平均値および分散値に基づいて、しきい値Ｔｈ１，Ｔｈ２を算出するようにしたものである。
【００６６】
ここで、輝度情報について、算出された平均値をＹａｖｅ、分散値をＹｓｄとすると、しきい値Ｔｈ１は下記の式（５）により算出される。
Ｔｈ１＝ａ０・Ｙａｖｅ＋ａ１・Ｙｓｄ （５）
但し、ａ０，ａ１は予め設定したパラメータ
【００６７】
また、色情報について算出された平均値をＣａｖｅ、分散値をＹｓｄとすると、しきい値Ｔｈ２は下記の式（６）により算出される。
【００６８】
Ｔｈ２＝ａ２・Ｃａｖｅ＋ａ３・Ｃｓｄ （６）
但し、ａ２，ａ３は予め設定したパラメータ
【００６９】
そして、算出したしきい値を用いて、上記第１の実施形態と同様に全てのフレームについてシーン変化点の検出を行うことにより、所望とするシーンチェンジタイプに応じたシーン変化点を検出することができる。
【００７０】
ここで、第６の実施形態においては、明るさが大きく変動するシーンが続いたり、明るさの変動が小さいシーンが続いた場合には、シーンに応じてシーン変化点検出のためのしきい値の大きさも変動する。このため、シーンの明るさ等の変動量に応じて適切にシーン変化点を検出することができる。
【００７１】
なお、複数のフレームＦｒＮ〜ＦｒＮ＋Ｔ０から抽出した複数の特徴量に基づくしきい値の算出は第１の実施形態のみならず、第２から第５の実施形態にも同様に適用することができる。
【００７２】
なお、上記実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の輝度情報および色情報として、輝度色差成分を用いているが、輝度色差成分から例えばＣＩＥ１９７６Ｌａｂのようなフレームの輝度情報および色情報を表す成分を求め、求めた輝度情報および色情報を表す成分から特徴量を求め、求められた特徴量に基づいてシーン変化点を検出してもよい。
【００７３】
また、上記実施形態においては、フレームＦｒＮとこれの直後のフレームＦｒＮ＋１とに基づいてシーン変化点を検出しているが、フレームＦｒＮとこれの直前のフレームＦｒＮ−１とに基づいてシーン変化点を検出してもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態によるシーン変化点検出装置の構成を示す概略ブロック図
【図２】シーンチェンジタイプと特徴量との関係の例を表すテーブル
【図３】色差成分の３次元ヒストグラムを示す図
【図４】第１の実施形態において行われる処理を示すフローチャート
【図５】動ベクトルの算出を説明するための図
【図６】動ベクトルのヒストグラムを用いたシーン変化点候補の検出を説明するための図
【符号の説明】
１ サンプリング手段
２ 特徴量抽出手段
３ 変化点検出手段
【発明の属する技術分野】
本発明は、動画像におけるシーンの変化点を検出するシーン変化点検出方法および装置並びにシーン変化点検出方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
ＣＰＵの高速化やメモリの大容量化により、静止画像よりも容量が大きい動画像を簡易に扱うことが可能となってきている。このような動画像を扱う際には、動画像に含まれるシーンの変わり目を表すシーン変化点を検出することにより、動画像に含まれる見たいシーンを検索することが容易となる。このようなシーン変化点を検出するために、動画像中の連続する２枚のフレームの間において、図柄が変化することによりフレームが不連続となる場合に、そのフレーム間を動画像のシーン変化点と判定する方法が提案されている（例えば特許文献１参照）。
【０００３】
しかしながら、上記特許文献１に記載された方法は、ストロボ発光や機器の障害により瞬間的に画像が乱れた場合であっても、それもシーン変化点として検出してしまうため、１つのシーンの中に瞬間的な画像の乱れが含まれると、同一シーンであるにも関わらず、シーンが分断されてしまうという問題がある。
【０００４】
このため、フレームに含まれるカラーヒストグラムを含む特徴量を算出し、対象とするフレームとその直前のフレームとの特徴量との相関を表す第１の相関係数と、それ以前のフレームとの特徴量との相関を表す第２の相関係数とを算出し、第１および第２の相関係数の双方が許容範囲を超えた場合に、対象とするフレームをシーン変化点として検出する方法が提案されている（特許文献２参照）。この方法によれば、１つのシーンの中に瞬間的な画像の乱れが含まれていても、真のシーン変化点を検出することが可能となる。
【０００５】
【特許文献１】
特開平４−１１１１８１号公報
【０００６】
【特許文献２】
特開平８−２２７４６２号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、シーン変化点はフレームを時間軸上に並べた場合に図柄が変化することによりフレームが不連続となる点のみならず、図柄は変わらないものの明るさが変化する点や、図柄は変わらないもののフレームに含まれる被写体が大きく移動する点等種々のタイプ（以下シーンチェンジタイプとする）があるため、上記特許文献２に記載された方法では所望とするシーンチェンジタイプに応じたシーン変化点の検出には対応することができない。
【０００８】
本発明は上記事情に鑑みなされたものであり、所望とするシーンチェンジタイプに応じてシーン変化点を検出することを目的とする。
【０００９】
【課題を解決するための手段】
本発明によるシーン変化点検出方法は、連続する複数のフレームからなる動画像からシーンの変わり目を表すシーン変化点を検出するシーン変化点検出方法において、
各フレームおよび該各フレームに前後する１または複数のフレームから、シーンチェンジタイプに応じたシーン変化の特徴を表す複数の特徴量を抽出し、
該複数の特徴量に基づいて所望とするシーンチェンジタイプに応じたシーン変化点を検出することを特徴とするものである。
【００１０】
「各フレームに前後する１または複数のフレーム」とは、対象となるフレームの直前または直後における１以上のフレームのことをいう。
【００１１】
「シーン変化の特徴を表す特徴量」とは、シーンの変わり目においてシーンチェンジタイプに応じて特異な変化が現れるパラメータであり、具体的にはフレーム間の輝度のヒストグラムの差分値の総和、輝度のメディアン値の差分値、輝度の平均値の差分値、輝度の標準偏差の差分値、色のヒストグラムの差分値の総和、色のメディアン値の差分値、色の平均値の差分値、色の標準偏差の差分値、これらの差分値を正規化した値、フレーム間の色の相関値、およびフレーム間の動ベクトル等を用いることができる。
【００１２】
「シーンチェンジタイプ」としては、例えばシーンの図柄が全く異なることにより、動画像の時間軸上においてシーンの内容が不連続となる点（以下、時間軸上の不連続な点とする）、撮影方向が大きく変更されたり被写体が大きく移動する等によりシーンの動きが大きい点（以下動きが大きい点とする）および明るさの変化が大きい点等が挙げられる。
【００１３】
「所望とするシーンチェンジタイプ」としては、シーンチェンジタイプの組み合わせとして表されるシーンチェンジタイプを意味し、具体的には時間軸上の変化はないが明るさが変化するというタイプ、時間軸上の変化はないが動きが大きいタイプ等が挙げられる。
【００１４】
本発明によるシーン変化点検出装置は、連続する複数のフレームからなる動画像からシーンの変わり目を表すシーン変化点を検出するシーン変化点検出装置において、
各フレームおよび該各フレームに前後する１または複数のフレームから、シーンチェンジタイプに応じたシーン変化の特徴を表す複数の特徴量を抽出する特徴量抽出手段と、
該複数の特徴量に基づいて所望とするシーンチェンジタイプに応じたシーン変化点を検出する変化点検出手段とを備えたことを特徴とするものである。
【００１５】
なお、本発明によるシーン変化点検出方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００１６】
【発明の効果】
本発明によれば、各フレームおよび各フレームに前後する１または複数のフレームからシーンチェンジタイプに応じた複数の特徴量が抽出され、抽出された複数の特徴量に基づいて、所望とするシーンチェンジタイプに応じたシーン変化点が検出される。このため、所望とするシーンチェンジタイプに応じて特徴量を適切に選択することにより、所望とするシーンチェンジタイプに応じたシーン変化点を適切に検出することができる。
【００１７】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態によるシーン変化点検出装置の構成を示す概略ブロック図である。図１に示すように、本実施形態によるシーン変化点検出装置は、入力された動画像データＭ０から複数のフレームをサンプリングするサンプリング手段１と、処理の対象となるフレームＦｒＮおよびフレームＦｒＮの直後のフレームＦｒＮ＋１のそれぞれから複数の特徴量を抽出する特徴量抽出手段２と、特徴量抽出手段２に基づいて抽出された複数の特徴量に基づいて、所望とするシーンチェンジタイプに応じたシーン変化点を検出する変化点検出手段３とを備える。
【００１８】
サンプリング手段１は、動画像データＭ０から複数のフレームをサンプリングする。ここで、動画像データＭ０はカラーの動画像を表すものであり、各フレームはＹ，Ｃｂ，Ｃｒの輝度色差成分からなるものとする。
【００１９】
特徴量抽出手段２は、処理の対象となるフレームＦｒＮ，ＦｒＮ＋１のそれぞれからシーンチェンジタイプに応じたシーン変化点を検出可能な特徴量を抽出する。
【００２０】
ここで、シーンチェンジタイプと特徴量との関係について説明する。図２はシーンチェンジタイプと特徴量との関係の例を表すテーブルである。図２に示すように、動画像のシーンチェンジタイプとしては、例えば図柄が全く異なることにより動画像の時間軸上においてシーンが不連続となる「（１）時間軸の不連続点」、撮影方向が大きく変更されたり被写体が大きく移動する等によりシーンの動きが大きい「（２）動きが大きい点」および「（３）明るさが変化する点」が挙げられる。ここで、フレームＦｒＮ，ＦｒＮ＋１間における色画素の差分は上記（１）および（２）は検出しやすいが（３）は検出しにくい。また、フレームＦｒＮ，ＦｒＮ＋１間における色ヒストグラムの差分は上記（１）は検出しやすいが（２）および（３）は検出しにくい。さらに、フレームＦｒＮ，ＦｒＮ＋１間における輝度平均値の差分は、上記（１）および（３）は検出しやすいが（２）は検出しにくいという特徴がある。
【００２１】
このため、本実施形態においては、シーンチェンジタイプに応じた複数の特徴量をフレームＦｒＮおよびフレームＦｒＮ＋１から抽出し、変化点検出手段３において、抽出された特徴量に基づいて、後述するようにシーンチェンジタイプに応じたシーン変化点を検出するようにしたものである。
【００２２】
ここで、第１の実施形態においては、明るさの変化は検出するが、時間軸上の変化を検出しないようにすることにより、明るさが変化するが時間軸上の変化はない変化点をシーン変化点と見なすシーンチェンジタイプを、所望とするシーンチェンジタイプとする。
【００２３】
このため、第１の実施形態における特徴量抽出手段２は、フレームＦｒＮ，ＦｒＮ＋１の輝度情報および色情報を特徴量として抽出する。まず、輝度情報の抽出について説明する。輝度情報としては、フレームＦｒＮ，ＦｒＮ＋１の輝度成分のヒストグラムの差分値の総和、フレーム全体についてのメディアン値の差分値、平均値の差分値および標準偏差の差分値等を用いることができるが、第１の実施形態においては輝度成分のフレーム全体についての平均値の差分値の絶対値を輝度情報として用いるものとする。
【００２４】
ここで、フレームＦｒＮ，ＦｒＮ＋１についての輝度成分の平均値をそれぞれＹｎ，Ｙｎ＋１とすると、平均値Ｙｎ，Ｙｎ＋１は、フレームＦｒＮ，ＦｒＮ＋１の各画素についての輝度成分のフレームＦｒＮ，ＦｒＮ＋１の全画素についての総和を、全画素数により除した値として算出することができる。そして特徴量抽出手段２は、フレームＦｒＮの輝度成分の平均値ＹｎおよびフレームＦｒＮ＋１の輝度成分の平均値Ｙｎ＋１の差分値の絶対値｜Ｙｎ−Ｙｎ＋１｜を輝度情報として算出する。なお、輝度成分の差分は明るさの変化を検出しやすい特徴量である。ここで、ノイズを除去するために、平均値Ｙｎ，Ｙｎ＋１を求める前にフレームＦｒＮ，ＦｒＮ＋１の全画素にローパスフィルタによるフィルタリング処理を施してもよい。
【００２５】
次いで、色情報の算出について説明する。色情報としては、フレームＦｒＮ，ＦｒＮ＋１の色差成分のヒストグラムの差分値の総和、フレーム全体についてのメディアン値の差分値、平均値の差分値および標準偏差の差分値等を用いることができるが、第１の実施形態においては色差成分のヒストグラムの差分値の絶対値を色情報として用いるものとする。
【００２６】
具体的には、図３に示すようにフレームＦｒＮの色差成分Ｃｂ，Ｃｒについての３次元ヒストグラムＨｎ（Ｃｂ，Ｃｒ）およびフレームＦｒＮ＋１の色差成分Ｃｂ，Ｃｒについての３次元ヒストグラムＨｎ＋１（Ｃｂ，Ｃｒ）を作成し、ヒストグラムＨｎ（Ｃｂ，Ｃｒ）とヒストグラムＨｎ＋１（Ｃｂ，Ｃｒ）との差分値の絶対値｜Ｈｎ（Ｃｂ，Ｃｒ）−Ｈｎ＋１（Ｃｂ，Ｃｒ）｜の全ての色差成分Ｃｂ，Ｃｒについての総和を下記の式（１）により算出し、これを色情報とする。なお、色差成分のヒストグラムの差分値は時間軸の不連続を検出しやすい特徴量である。なお、特徴量の変化を滑らかにするために、差分値の絶対値を求める前に、ヒストグラムＨｎ（Ｃｂ，Ｃｒ）およびヒストグラムＨｎ＋１（Ｃｂ，Ｃｒ）にローパスフィルタによるフィルタリング処理を施してもよい。
【数１】
変化点検出手段３は、特徴量抽出手段２において抽出された特徴量に基づいて、まず、シーン変化点候補を検出する。まず、輝度情報に基づくシーン変化点候補の検出について説明する。輝度情報に基づくシーン変化点候補の検出は、輝度情報すなわちフレームＦｒＮ，ＦｒＮ＋１の輝度成分の平均値Ｙｎ，Ｙｎ＋１の差分値の絶対値｜Ｙｎ−Ｙｎ＋１｜を予め定められたしきい値Ｔｈ１と比較し、｜Ｙｎ−Ｙｎ＋１｜＞Ｔｈ１の場合には、フレームＦｒＮとフレームＦｒＮ＋１との間をシーン変化点候補として検出する。なお、｜Ｙｎ−Ｙｎ＋１｜≦Ｔｈ１の場合にはフレームＦｒＮとフレームＦｒＮ＋１との間を連続点（すなわちシーン変化のない点）として検出する。なお、輝度情報に基づいて明るさが変化する点をシーン変化点候補として検出することができ、この検出結果をＡｎｓ１とする。
【００２８】
一方、色情報に基づくシーン変化点候補の検出は、上記式（１）により算出された総和を予め定められたしきい値Ｔｈ２と比較し、総和＞Ｔｈ２の場合には、フレームＦｒＮとフレームＦｒＮ＋１との間をシーン変化点候補として検出する。なお、総和≦Ｔｈ２の場合にはフレームＦｒＮとフレームＦｒＮ＋１との間を連続点として検出する。なお、色情報に基づいて時間軸の不連続点をシーン変化点候補として検出することができ、この検出結果をＡｎｓ２とする。
【００２９】
そして、変化点検出手段３は、検出されたシーン変化点候補から、所望とするシーンチェンジタイプに応じたシーン変化点を検出する。第１の実施形態においては、明るさが変化するが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとしている。このため、変化点検出手段３は、「Ａｎｓ１がシーン変化点候補であり、かつＡｎｓ２がシーン連続点である」場合に、処理中のフレームＦｒＮ，ＦｒＮ＋１の間を、所望とするシーンチェンジタイプに応じたシーン変化点として検出する。
【００３０】
以上の処理を全てのフレーム間において行うことにより、動画像データＭ０における所望とするシーンチェンジタイプに応じたシーン変化点を検出することができる。
【００３１】
次いで、第１の実施形態の動作について説明する。図４は第１の実施形態において行われる処理を示すフローチャートである。まず、サンプリングするフレームが初期値に設定され（ステップＳ１）、サンプリング手段１により動画像データＭ０がサンプリングされて２つのフレームＦｒＮ，ＦｒＮ＋１が取得される（ステップＳ２）。そして、特徴量抽出手段２によりフレームＦｒＮ，ＦｒＮ＋１から輝度情報および色情報が特徴量として抽出される（ステップＳ３）。
【００３２】
そして、変化点検出手段３により、特徴量抽出手段２により抽出された特徴量に基づいて、シーン変化点候補が検出される（ステップＳ４）。さらに、シーン変化点候補の検出結果に基づいて、現在処理中のフレームＦｒＮ，ＦｒＮ＋１の間が所望とするシーンチェンジタイプに応じたシーン変化点であるか否かが判定される（ステップＳ５）。そして、ステップＳ５が肯定されると、現在処理中のフレームＦｒＮ，ＦｒＮ＋１の間が所望とするシーンチェンジタイプに応じたシーン変化点として検出される（ステップＳ６）。一方、ステップＳ５が否定されると現在処理中のフレームＦｒＮ，ＦｒＮ＋１の間が連続点として検出される（ステップＳ７）。
【００３３】
続いて、動画像データＭ０の全フレームについて処理が終了したか否かが判定され（ステップＳ８）、ステップＳ８が肯定されると処理を終了する。ステップＳ８が否定されると、次のフレームに処理対象が変更され（ステップＳ９）、ステップＳ２に戻り、ステップＳ２以降の処理が繰り返される。
【００３４】
このように、本実施形態においては、シーンチェンジタイプに応じた複数の特徴量を抽出し、抽出された複数の特徴量に基づいて、複数のシーン変化点候補を検出し、これら複数のシーン変化点候補から所望とするシーンチェンジタイプに応じたシーン変化点を検出するようにしたため、所望とするシーンチェンジタイプに応じて特徴量を適切に選択することにより、所望とするシーンチェンジタイプに応じたシーン変化点を検出することができる。
【００３５】
なお、上記第１の実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の２つのフレームを用いてシーン変化点を検出しているが、フレーム間のより緩やかな変化を検出する場合、フレームＦｒＮおよびこれと２フレーム離れたフレームＦｒＮ＋２の２つのフレームを用いてシーンの変化点を検出すればよい。また、フレームＦｒＮ，ＦｒＮ＋１，ＦｒＮ＋２の３つのフレームを用いて、第１の実施形態と同様のシーン変化点および緩やかな変化となるシーン変化点の双方を検出してもよい。この場合、フレームＦｒＮ，ＦｒＮ＋１を用いて検出されたシーン変化点またはフレームＦｒＮ，ＦｒＮ＋２を用いて検出されたシーン変化点のいずれか一方を、対象とする動画像データＭ０のシーン変化点として検出してもよい。
【００３６】
次いで、本発明の第２の実施形態について説明する。上記第１の実施形態においては、明るさが変化するが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとし、この所望とするシーンチェンジタイプのシーン変化点を、フレームＦｒＮ，ＦｒＮ＋１の輝度情報および色情報を用いて検出しているが、第２の実施形態においては、輝度情報および色情報を正規化し、正規化した輝度情報および色情報を特徴量として抽出し、正規化した輝度情報および色情報に基づいてシーン変化点を検出するようにしたものである。
【００３７】
ここで、正規化された輝度情報（Ｙｓｔとする）は、フレームＦｒＮ，ＦｒＮ＋１の明るさの変化量を表すものであり、下記の式（２）により算出される。
【数２】
【００３８】
【００３９】
また、正規化された色情報（Ｃｓｔとする）は、フレームＦｒＮ，ＦｒＮ＋１の色の変化量を表すものであり、下記の式（３）により算出される。
【数３】
【００４０】
【００４１】
そして、変化点検出手段３は、正規化された輝度情報Ｙｓｔおよび正規化された色情報Ｃｓｔの差分値Ｙｓｔ−Ｃｓｔを算出し、Ｙｓｔ−Ｃｓｔ＞Ｔｈ３（予め定められたしきい値）の場合、すなわち色情報の変化量よりも輝度情報の変化量が大きく、その差がしきい値Ｔｈ３より大きい場合に、処理中のフレームＦｒＮ，ＦｒＮ＋１の間を、明るさが変化するが時間軸上の変化がない変化点をシーン変化点とする所望とするシーンチェンジタイプに応じたシーン変化点として検出する。
【００４２】
このように、正規化した輝度情報および正規化した色情報を用いることによっても、所望とするシーンチェンジタイプに応じたシーン変化点を検出することができる。
【００４３】
次いで、本発明の第３の実施形態について説明する。上記第１の実施形態においては、明るさが変化するが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとしているが、第３の実施形態においては、さらにシーンが明るすぎたり暗すぎた場合にはシーン変化点としないという条件をシーンチェンジタイプに加えて、これを所望とするシーンチェンジタイプとしたものである。
【００４４】
このため、第３の実施形態においては、変化点検出手段３において、「Ａｎｓ１がシーン変化点候補であり、かつＡｎｓ２がシーン連続点」であり、さらに「輝度情報Ｙｎ＞Ｔｈ４または輝度情報Ｙｎ＜Ｔｈ５」の場合に、処理中のフレームＦｒＮ，ＦｒＮ＋１の間を、所望とするシーンチェンジタイプに応じたシーン変化点として検出するようにしたものである。ここで、しきい値Ｔｈ４は、フレームＦｒＮ内の平均輝度の下限を定めたものであり、しきい値Ｔｈ５は、フレームＦｒＮ内の平均輝度の上限を定めたものである。
【００４５】
このように、第１の実施形態の変化点検出手段３における「Ａｎｓ１がシーン変化点候補であり、かつＡｎｓ２がシーン連続点である」の判定に加えて、「輝度情報Ｙｎ＞Ｔｈ４または輝度情報Ｙｎ＜Ｔｈ５」の判定を加えることにより、所望とするシーンチェンジタイプを、明るさが変化するが時間軸上の変化がなく、さらにシーンが明るすぎたり暗すぎないシーンチェンジタイプとした場合にも、シーン変化点を検出することができる。
【００４６】
次いで、本発明の第４の実施形態について説明する。上記第１の実施形態においては、明るさが変化するが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとしているが、第４の実施形態においては、動きが大きいが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを、所望とするシーンチェンジタイプとしたものである。
【００４７】
このため、第４の実施形態においては、特徴量抽出手段２により、色情報およびフレームＦｒＮ，ＦｒＮ＋１の色の相関値を特徴量として抽出する。色情報は、上記第１の実施形態と同様に上記式（１）により算出された色差成分Ｃｂ，Ｃｒについての３次元ヒストグラムＨｎ（Ｃｂ，Ｃｒ），Ｈｎ＋１（Ｃｂ，Ｃｒ）の各画素についての総和とする。
【００４８】
色の相関値は、下記の式（４）により抽出する。
【数４】
Ｃｂｎ＋１，Ｃｒｎ＋１：フレームＦｒＮ＋１の色差成分
（ｘ，ｙ）：フレームＦｒＮ，ＦｒＮ＋１の画素の座標値
【００４９】
ここで、色の相関値Ｃｂｒは動きが大きい点を検出しやすい特徴量である。なお、色の相関値Ｃｂｒを求める前に、色差成分Ｃｂｎ，Ｃｒｎおよび色差成分Ｃｂｎ＋１，Ｃｒｎ＋１にローパスフィルタによるフィルタリング処理を施してもよい。
【００５０】
第４の実施形態においては、変化点検出手段３は、第１の実施形態と同様に上記式（１）により算出された総和＞Ｔｈ２（予め定められたしきい値）の場合には、フレームＦｒＮとフレームＦｒＮ＋１との間をシーン変化点候補として検出し、総和≦Ｔｈ２の場合にはフレームＦｒＮとフレームＦｒＮ＋１との間を連続点として検出する。この検出結果をＡｎｓ２とする。
【００５１】
また、変化点検出手段３は、色の相関値Ｃｂｒを予め定められたしきい値Ｔｈ６と比較し、Ｃｂｒ＞Ｔｈ６の場合には、フレームＦｒＮとフレームＦｒＮ＋１との間をシーン変化点候補として検出する。なお、Ｃｂｒ≦Ｔｈ６の場合にはフレームＦｒＮとフレームＦｒＮ＋１との間を連続点として検出する。なお、色の相関値Ｃｂｒに基づいて動きが大きい点をシーン変化点候補として検出することができ、この検出結果をＡｎｓ３とする。
【００５２】
そして、変化点検出手段３は、検出されたシーン変化点候補から、所望とするシーンチェンジタイプに応じたシーン変化点を検出する。第４の実施形態においては、動きが大きいが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとしている。このため、「Ａｎｓ２がシーン連続点であり、かつＡｎｓ３がシーン変化点候補である」場合に、処理中のフレームＦｒＮ，ＦｒＮ＋１の間を、所望とするシーンチェンジタイプに応じたシーン変化点として検出する。
【００５３】
以上の処理を全てのフレーム間において行うことにより、動画像データＭ０における所望とするシーンチェンジタイプに応じたシーン変化点を検出することができる。
【００５４】
次いで、本発明の第５の実施形態について説明する。上記第４の実施形態においては、動きが大きいが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとし、この所望とするシーンチェンジタイプのシーン変化点を、フレームＦｒＮ，ＦｒＮ＋１の色情報および色の相関値を用いて検出しているが、第５の実施形態においては、色情報およびフレームＦｒＮ，ＦｒＮ＋１の動ベクトルのヒストグラムに基づいて算出された標準偏差を特徴量として、シーン変化点を検出するようにしたものである。
【００５５】
このため、第５の実施形態においては、特徴量抽出手段２は、色情報およびフレームＦｒＮ，ＦｒＮ＋１の動ベクトルのヒストグラムに基づいて算出された標準偏差を特徴量として抽出する。色情報は、上記第１の実施形態と同様に色差成分Ｃｂ，Ｃｒのヒストグラムを用いて上記式（１）により算出された総和とする。
【００５６】
標準偏差を求めるための動ベクトルは以下のようにして求める。まず、フレームＦｒＮを例えば８×８画素の複数の小領域に分割し、フレームＦｒＮの各小領域をフレームＦｒＮ＋１上において平行移動し、各領小域とフレームＦｒＮ＋１上における対応する小領域との相関値を算出する。具体的には、小領域内における画素値の差の累積和の逆数を相関値として算出する。そして、相関値が最も高く、すなわち小領域内における画素値の差の累積和が最も小さくなったときの小領域の移動方向および移動量を、動ベクトルＭＶ１として算出する。
【００５７】
例えば、図５に示すように、フレームＦｒＮにおける小領域Ａ１について、フレームＦｒＮ＋１における小領域Ａ１′との相関値が最も高い場合には、小領域Ａ１をフレームＦｒＮ＋１に投影して得られる小領域Ａ１″を小領域Ａ１′へ移動させるために必要な移動量および移動方向を動ベクトルＭＶ１として算出する。
【００５８】
そして、動ベクトルＭＶ１の大きさ｜ＭＶ１｜を横軸に、頻度を縦軸にプロットして動ベクトルＭＶ１のヒストグラムＨｎＶを作成する。さらに、このヒストグラムＨｎＶにおいて、頻度がしきい値Ｔｈ７を越えるピークを求める。例えばヒストグラムＨｎＶが図６に示すように２つのピークＰ１，Ｐ２を有する場合において、ヒストグラムのピークＰ１，Ｐ２をしきい値Ｔｈ７と比較すると、２つのピークＰ１，Ｐ２のうち、ピークＰ１がしきい値Ｔｈ７を越えている。続いて、しきい値Ｔｈ７を越えたピークＰ１における動ベクトルＭＶ１の大きさ｜ＭＶ１｜の標準偏差σｎを算出し、これを特徴量として抽出する。ここで、算出された標準偏差σｎに基づいて、動きが大きい点をシーン変化点候補として検出することができる。
【００５９】
そして、変化点検出手段３において、第１の実施形態と同様に上記式（１）により算出された総和＞Ｔｈ２（予め定められたしきい値）の場合には、フレームＦｒＮとフレームＦｒＮ＋１との間をシーン変化点候補として検出し、総和≦Ｔｈ２の場合にはフレームＦｒＮとフレームＦｒＮ＋１との間を連続点として検出する。この検出結果をＡｎｓ２とする。
【００６０】
また、変化点検出手段３は、標準偏差σｎを予め定められたしきい値Ｔｈ８と比較する。ここで、動ベクトルＭＶ１の標準偏差σｎがしきい値Ｔｈ８より大きい場合には、フレームＦｒＮ，ＦｒＮ＋１に含まれる被写体またはシーン全体が大きく移動しているとみなすことができる。このため、変化点検出手段３は、σｎ＜Ｔｈ８の場合には、フレームＦｒＮとフレームＦｒＮ＋１との間をシーン変化点候補として検出する。なお、σｎ≧Ｔｈ８の場合にはフレームＦｒＮとフレームＦｒＮ＋１との間を連続点として検出する。なお、標準偏差σｎに基づいて動きが大きい点をシーン変化点候補として検出することができ、この検出結果をＡｎｓ４とする。また、標準偏差σｎによる比較は行わず、ヒストグラムＨｎＶとしきい値Ｔｈ７との比較によりＡｎｓ４を求めてもよい。
【００６１】
そして、変化点検出手段３は、検出されたシーン変化点候補から、所望とするシーンチェンジタイプに応じたシーン変化点を検出する。第５の実施形態においては、動きが大きいが時間軸上の変化がない変化点をシーン変化点とするシーンチェンジタイプを所望とするシーンチェンジタイプとしている。このため、「Ａｎｓ２がシーン連続点であり、かつＡｎｓ４がシーン変化点候補である」場合に、処理中のフレームＦｒＮ，ＦｒＮ＋１の間を、所望とするシーンチェンジタイプに応じたシーン変化点として検出する。
【００６２】
以上の処理を全てのフレーム間において行うことにより、動画像データＭ０における所望とするシーンチェンジタイプに応じたシーン変化点を検出することができる。
【００６３】
次いで、本発明の第６の実施形態について説明する。上記第１の実施形態においては、特徴量をしきい値Ｔｈ１，Ｔｈ２と比較することにより、シーン変化点候補を検出しているが、第６の実施形態においては、特徴量と比較するしきい値Ｔｈ１，Ｔｈ２を複数のフレームＦｒＮ〜ＦｒＮ＋ｔ０に基づいて算出するようにした点が第１の実施形態と異なる。
【００６４】
具体的には、まず、複数のフレームＦｒＮ〜ＦｒＮ＋ｔ０をサンプリングし、全てのフレームＦｒＮ〜ＦｒＮ＋ｔ０と、各フレームＦｒＮ〜ＦｒＮ＋ｔ０の直後のフレームとから特徴量を算出する。ここで、第１の実施形態においては、特徴量として、隣接するフレーム間の輝度成分の差分値の絶対値を輝度情報として、色ヒストグラムの差分値の絶対値の総和を色情報として算出しているため、複数のフレームＦｒＮ〜ＦｒＮ＋ｔ０からはｔ０−１個の輝度情報および色情報が特徴量として抽出される。
【００６５】
そして、第６の実施形態においては、算出されたｔ０−１個の輝度情報および色情報の平均値および分散値を算出し、算出された平均値および分散値に基づいて、しきい値Ｔｈ１，Ｔｈ２を算出するようにしたものである。
【００６６】
ここで、輝度情報について、算出された平均値をＹａｖｅ、分散値をＹｓｄとすると、しきい値Ｔｈ１は下記の式（５）により算出される。
Ｔｈ１＝ａ０・Ｙａｖｅ＋ａ１・Ｙｓｄ （５）
但し、ａ０，ａ１は予め設定したパラメータ
【００６７】
また、色情報について算出された平均値をＣａｖｅ、分散値をＹｓｄとすると、しきい値Ｔｈ２は下記の式（６）により算出される。
【００６８】
Ｔｈ２＝ａ２・Ｃａｖｅ＋ａ３・Ｃｓｄ （６）
但し、ａ２，ａ３は予め設定したパラメータ
【００６９】
そして、算出したしきい値を用いて、上記第１の実施形態と同様に全てのフレームについてシーン変化点の検出を行うことにより、所望とするシーンチェンジタイプに応じたシーン変化点を検出することができる。
【００７０】
ここで、第６の実施形態においては、明るさが大きく変動するシーンが続いたり、明るさの変動が小さいシーンが続いた場合には、シーンに応じてシーン変化点検出のためのしきい値の大きさも変動する。このため、シーンの明るさ等の変動量に応じて適切にシーン変化点を検出することができる。
【００７１】
なお、複数のフレームＦｒＮ〜ＦｒＮ＋Ｔ０から抽出した複数の特徴量に基づくしきい値の算出は第１の実施形態のみならず、第２から第５の実施形態にも同様に適用することができる。
【００７２】
なお、上記実施形態においては、フレームＦｒＮ，ＦｒＮ＋１の輝度情報および色情報として、輝度色差成分を用いているが、輝度色差成分から例えばＣＩＥ１９７６Ｌａｂのようなフレームの輝度情報および色情報を表す成分を求め、求めた輝度情報および色情報を表す成分から特徴量を求め、求められた特徴量に基づいてシーン変化点を検出してもよい。
【００７３】
また、上記実施形態においては、フレームＦｒＮとこれの直後のフレームＦｒＮ＋１とに基づいてシーン変化点を検出しているが、フレームＦｒＮとこれの直前のフレームＦｒＮ−１とに基づいてシーン変化点を検出してもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態によるシーン変化点検出装置の構成を示す概略ブロック図
【図２】シーンチェンジタイプと特徴量との関係の例を表すテーブル
【図３】色差成分の３次元ヒストグラムを示す図
【図４】第１の実施形態において行われる処理を示すフローチャート
【図５】動ベクトルの算出を説明するための図
【図６】動ベクトルのヒストグラムを用いたシーン変化点候補の検出を説明するための図
【符号の説明】
１ サンプリング手段
２ 特徴量抽出手段
３ 変化点検出手段
Claims (3)
- 連続する複数のフレームからなる動画像からシーンの変わり目を表すシーン変化点を検出するシーン変化点検出方法において、
各フレームおよび該各フレームに前後する１または複数のフレームから、シーンチェンジタイプに応じたシーン変化の特徴を表す複数の特徴量を抽出し、
該複数の特徴量に基づいて所望とするシーンチェンジタイプに応じたシーン変化点を検出することを特徴とするシーン変化点検出方法。 - 連続する複数のフレームからなる動画像からシーンの変わり目を表すシーン変化点を検出するシーン変化点検出装置において、
各フレームおよび該各フレームに前後する１または複数のフレームから、シーンチェンジタイプに応じたシーン変化の特徴を表す複数の特徴量を抽出する特徴量抽出手段と、
該複数の特徴量に基づいて所望とするシーンチェンジタイプに応じたシーン変化点を検出する変化点検出手段とを備えたことを特徴とするシーン変化点検出装置。 - 連続する複数のフレームからなる動画像からシーンの変わり目を表すシーン変化点を検出するシーン変化点検出方法をコンピュータに実行させるためのプログラムにおいて、
各フレームおよび該各フレームに前後する１または複数のフレームから、シーンチェンジタイプに応じたシーン変化の特徴を表す複数の特徴量を抽出する手順と、
該複数の特徴量に基づいて所望とするシーンチェンジタイプに応じたシーン変化点を検出する手順とを有するプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002283897A JP2004118718A (ja) | 2002-09-27 | 2002-09-27 | シーン変化点検出方法および装置並びにプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002283897A JP2004118718A (ja) | 2002-09-27 | 2002-09-27 | シーン変化点検出方法および装置並びにプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004118718A true JP2004118718A (ja) | 2004-04-15 |
Family
ID=32277632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002283897A Withdrawn JP2004118718A (ja) | 2002-09-27 | 2002-09-27 | シーン変化点検出方法および装置並びにプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004118718A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006301675A (ja) * | 2005-04-15 | 2006-11-02 | Noritsu Koki Co Ltd | 画像処理装置及び画像処理方法 |
| JP2007089186A (ja) * | 2005-09-22 | 2007-04-05 | Lg Electronics Inc | 動画撮影機能付き移動通信端末機及びその動作方法 |
| JP2009253646A (ja) * | 2008-04-04 | 2009-10-29 | Canon Inc | 画像処理装置、画像処理方法 |
| KR102369151B1 (ko) * | 2021-10-05 | 2022-03-02 | 아이픽셀 주식회사 | 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법 |
-
2002
- 2002-09-27 JP JP2002283897A patent/JP2004118718A/ja not_active Withdrawn
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006301675A (ja) * | 2005-04-15 | 2006-11-02 | Noritsu Koki Co Ltd | 画像処理装置及び画像処理方法 |
| JP2007089186A (ja) * | 2005-09-22 | 2007-04-05 | Lg Electronics Inc | 動画撮影機能付き移動通信端末機及びその動作方法 |
| JP2009253646A (ja) * | 2008-04-04 | 2009-10-29 | Canon Inc | 画像処理装置、画像処理方法 |
| KR102369151B1 (ko) * | 2021-10-05 | 2022-03-02 | 아이픽셀 주식회사 | 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법 |
| WO2023058809A1 (ko) * | 2021-10-05 | 2023-04-13 | 아이픽셀 주식회사 | 동작 인식을 위한 메타 데이터 생성 시스템 및 생성 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8923612B2 (en) | Image processing apparatus and method, and program | |
| US10521885B2 (en) | Image processing device and image processing method | |
| JP5389903B2 (ja) | 最適映像選択 | |
| US8254630B2 (en) | Subject extracting method and device by eliminating a background region using binary masks | |
| WO2020029518A1 (zh) | 一种监控视频处理方法、装置及计算机可读介质 | |
| EP1600889A1 (en) | Apparatus and method for extracting character(s) from image | |
| CN110610150B (zh) | 一种目标运动物体的跟踪方法、装置、计算设备和介质 | |
| CN114418957A (zh) | 基于机器人视觉的全局和局部二值模式图像裂缝分割方法 | |
| JPH0944670A (ja) | 特定画像領域抽出方法及び特定画像領域抽出装置 | |
| CN111062293B (zh) | 一种基于深度学习的无人机森林火焰识别方法 | |
| KR101051459B1 (ko) | 영상의 에지를 추출하는 장치 및 방법 | |
| JP4373840B2 (ja) | 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置 | |
| CN108563979B (zh) | 一种基于航拍农田图像判别水稻稻瘟病病情的方法 | |
| CN107944403B (zh) | 一种图像中的行人属性检测方法及装置 | |
| JP2004310475A (ja) | 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム | |
| Guo et al. | Image saliency detection based on local and regional features | |
| Fuh et al. | Mcpa: A fast single image haze removal method based on the minimum channel and patchless approach | |
| KR101146417B1 (ko) | 무인 감시 로봇에서 중요 얼굴 추적 장치 및 방법 | |
| JPH07249128A (ja) | 車両用画像処理装置 | |
| WO2024016632A1 (zh) | 亮点定位方法、亮点定位装置、电子设备及存储介质 | |
| JP2004118718A (ja) | シーン変化点検出方法および装置並びにプログラム | |
| CN114693543B (zh) | 图像降噪方法及装置、图像处理芯片、图像采集设备 | |
| CN113066077B (zh) | 火焰检测方法及装置 | |
| JP2009258770A (ja) | 画像処理方法、画像処理装置、画像処理プログラム、撮像装置 | |
| JP2001209808A (ja) | 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Withdrawal of application because of no request for examination |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20060110 |