JP2003303346A - 目標追跡方法、目標追跡装置、目標追跡プログラム、並びにこのプログラムを記録した記録媒体 - Google Patents

目標追跡方法、目標追跡装置、目標追跡プログラム、並びにこのプログラムを記録した記録媒体

Info

Publication number
JP2003303346A
JP2003303346A JP2002105980A JP2002105980A JP2003303346A JP 2003303346 A JP2003303346 A JP 2003303346A JP 2002105980 A JP2002105980 A JP 2002105980A JP 2002105980 A JP2002105980 A JP 2002105980A JP 2003303346 A JP2003303346 A JP 2003303346A
Authority
JP
Japan
Prior art keywords
image
target area
probability distribution
component
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002105980A
Other languages
English (en)
Inventor
Satoshi Nanbu
聡 南部
Yukinobu Taniguchi
行信 谷口
Haruhiko Kojima
治彦 児島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2002105980A priority Critical patent/JP2003303346A/ja
Publication of JP2003303346A publication Critical patent/JP2003303346A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 追跡する目標と特徴量が類似した物体や背景
が存在する場合および特徴量の分布が変化した場合にお
いても精度のよい追跡を可能にする。 【解決手段】 画像系列の中から基準画像および基準画
像上の目標領域を指定し、画像を色相と彩度と明度のＨ
ＳＶ表現で表されたＨＳＶ画像へ変換し、この画像中の
目標領域における彩度成分と明度成分のヒストグラムを
作成し、このヒストグラムを用いて彩度成分と明度成分
の値による最小しきい値と最大しきい値から雑音除去す
る画素を決定し、雑音除去後の画像から目標領域および
目標領域を含む領域における色相成分と彩度成分のヒス
トグラムを作成し、これらヒストグラムから色相成分と
彩度成分の事後確率分布を求め、この事後確率分布を基
に確率分布画像を作成し、確率分布画像と目標領域とを
用いて画像中の目標領域の更新によって目標領域を特定
する。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、映像中に写ってい
る目標（例えば、人物や顔）を追跡する目標追跡方法、
装置、プログラム、並びにこのプログラムを記録した記
録媒体に関するものである。例えば、追跡する目標を映
像中の人物とすることにより、その人物の登場区間、画
像上での位置や大きさといった情報を特定することがで
き、人物情報の登録に利用することができる。
【０００２】
【従来の技術】従来、目標追跡装置として、カメラで撮
影された映像の中の物体を目標として設定し、カメラを
動かしながら、これを追跡するようになされたものがあ
る（例えば、特許番号第２９７６１７１号「目標抽出方
法および目標抽出装置および目標位置取得装置および目
標追跡装置」など）。図１２に、歩行者をカメラで撮影
している様子を示す。図１３に、撮影によって得られた
画像系列（Ｉ0，Ｉ1，Ｉ 2，…）を示す。
【０００３】図１３から明らかなように、画像上におけ
る目標（図１３の例においては、歩行者の顔）は、ある
位置と大きさを持った領域（Ｒ0，Ｒ1，Ｒ2，…）とし
て表すことができる。カメラを動かすか否かに関わら
ず、このように目標追跡とは、目標を表す領域を、連続
する画像系列の中で順次特定していくことであると言え
る。
【０００４】領域の特定には、目標を表す領域の画素値
の分布を用いてブロックマッチングを行ったり、また、
領域の画素値のヒストグラムを用いて目標に類似した画
素を抽出するなどの方法がある。
【０００５】これらを大きくまとめると、目標追跡は、
画像中の目標と目標以外とを判別するための特徴量を設
定し、ブロックごと、または画素ごとに計算された特徴
量から「目標である」という確率を求め、さらに、その
確率の分布に基づいて領域を特定し、これを連続する画
像系列の中で繰り返すことによって実現されていると言
える。
【０００６】特徴量としては色情報、とりわけ、色相
（Ｈ）、彩度（Ｓ）、明度（Ｖ）のＨＳＶ表現で表され
たＨＳＶ画像の利用が有効である。なぜなら、ＨＳＶ画
像を用いることで、例えば、照明条件に大きく左右され
る明度を除いた、色相と彩度のみによる判別が行えるか
らである。
【０００７】（従来のＣＡＭＳＨＩＦＴ法） 文献“Computer Vision Face Tracking For Use in a P
erceptual User Interface"(Intel Technology Journal
Q2'98)に、ＨＳＶ画像とそのヒストグラムを用いて、
映像中の人物の顔について、その位置と大きさを特定
し、追跡する方法（以下、ＣＡＭＳＨＩＦＴ法と呼ぶこ
とにする）が示されている。
【０００８】ＣＡＭＳＨＩＦＴ法は、ごく簡単に言え
ば、目標を表す領域に多く存在する色を持つ画素は、目
標である確率が高い、という考えに基づいた方法であ
る。以下、図面を参照してＣＡＭＳＨＩＦＴ法の概要を
説明する。
【０００９】図１４は、ＣＡＭＳＨＩＦＴ法の追跡処理
を示すフローチャートである。ここでの入力はＲＧＢ画
像Ｉと、目標を表す矩形領域Ｒである。
【００１０】ステップ３１では、ＲＧＢ画像ＩからＨＳ
Ｖ画像Ｊへの変換を行う。ＲＧＢ画像からＨＳＶ画像へ
の変換はいくつかの方法が知られている。以降の説明の
ため、ＨＳＶ画像ＪのＨ，Ｓ，Ｖ成分をそれぞれｈ
（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｖ（ｘ，ｙ）で表す。ただ
し、ｈ，ｓ，ｖの値は、例えば０≦ｈ，ｓ，ｖ≦２５５
の整数に正規化、かつ量子化されているものとする。
【００１１】ステップ３２では、Ｓ，Ｖ成分のしきい値
処理による雑音の除去を行う。ＨＳＶ画像においては、
その性質からＳ，Ｖ成分の値が低い場合、およびＶ成分
の値が高い場合に雑音が多く含まれることが知られてい
る(“Computer Vision FaceTracking For Use in a Per
ceptual User Interface"，Intel Technology Journal
Q2'98)。そのため、Ｓ，Ｖ成分にしきい値を設け、しき
い値処理による雑音除去を行うことで画像処理の精度を
向上させる。具体的には、次式を満たすｓ，ｖに対し
て、ＨＳＶ画像Ｊの該当する画素にラベルを付与し、以
降の計算から除外する。
【００１２】
【数１】 ｓ＜Ｔｈsmin ｏｒ ｖ＜Ｔｈvmin ｏｒ Ｔｈvmax＜ｖ （１） ここで、Ｔｈsmin，Ｔｈvmin，Ｔｈvmaxはしきい値を示
す定数である。
【００１３】ステップ３３では、領域ＲにおけるＨ成分
のヒストグラムｈｉｓｔR，h［ｉ］（０≦ｉ≦２５５）
を作成する。ここで、ｈｉｓｔR，h［ｉ］という表記
は、領域Ｒにおいて、ｈ＝ｉなる画素がｈｉｓｔR，
h［ｉ］個存在する、という意味である。以下の記述に
おいても、この表記法を用いる。
【００１４】ステップ３４では、次式を用いて確率分布
画像Ｋを作成する。
【００１５】
【数２】 Ｋ（ｘ，ｙ）＝ｈｉｓｔR，h［ｈ（ｘ，ｙ）］ （２） Ｋの意味するところは、目標を表す領域Ｒに多く存在す
る色（ｈの値）を持つ画素は、目標である確率が高い、
ということである。
【００１６】ステップ３５では、確率分布画像Ｋと領域
Ｒとを用いて、目標を表す領域の位置と大きさを新たに
計算し、特定する。新たに計算された領域は、画像系列
中の次の画像を処理するための入力として必要であるた
め、領域Ｒをこれで更新する。領域Ｒの更新の概要につ
いては、図面を用いて次に説明する。
【００１７】図１５は、ＣＡＭＳＨＩＦＴ法の領域Ｒの
更新処理を示すフローチャートである。ここでの入力は
確率分布画像Ｋと、目標を表す矩形領域Ｒである。ここ
で、Ｒ＝（ｘ，ｙ，ｗ，ｈ）とする。（ｘ，ｙ）は領域
の最も左上にある画素の座標値、ｗ，ｈはそれぞれ領域
の幅と高さである。
【００１８】ステップ４１では、画像Ｋの領域Ｒにおけ
る重心（ｇx，ｇy）を計算する。
【００１９】ステップ４２では、次式により、領域Ｒの
位置の更新を行う。ただし、Ｒ’は更新された領域を示
す。
【００２０】
【数３】
【００２１】ステップ４３では、適当な条件の終了判定
を行い、継続する場合はステップ４１に戻る。適当な条
件とは、例えば計算が収束したかどうかなどである。
【００２２】ステップ４４では、次式により、画像Ｋの
領域Ｒにおける和ｍを計算する。
【００２３】
【数４】
【００２４】ステップ４５では、次式により、領域Ｒの
大きさの更新を行う。
【００２５】
【数５】
【００２６】ここで、ｃ1，ｃ2は適当な定数である。
【００２７】ステップ４６では、適当な条件の終了判定
を行い、継続する場合はステップ４１に戻る。適当な条
件とは、例えば計算が収束したかどうかなどである。
【００２８】
【発明が解決しようとする課題】上記の従来技術には以
下のような課題がある。
【００２９】（課題１）追跡する目標と特徴量が類似し
た物体や背景が存在する場合、それらを目標と誤って判
別してしまい、領域の位置を誤ったり、領域を大きく計
算し過ぎてしまうことがある。例えば、図１６に示すよ
うに、人の顔とその背景が類似すると、領域Ｒ0，Ｒ1，
Ｒ2が大きく変化してしまう。この場合、計算を繰り返
し行ううちに、さらに領域が広がり、拡散して追跡に失
敗する。
【００３０】もしくは逆に、拡散を回避しようと判別の
基準を厳しく設定した場合、目標を他の物体や背景に誤
って判別してしまい、領域の位置を誤ったり、領域を小
さく計算し過ぎてしまうことがある。この例を図１７に
示す。この場合は、計算を繰り返し行ううちに、さらに
領域が小さくなり、収縮して追跡に失敗する。目標と目
標以外とを適切に判別し、これらの追跡の失敗を防ぐ必
要がある。
【００３１】（課題２）（課題１）にも関係して、一般
に、目標と目標以外とを適切に判別することは難しく、
従来技術のように固定されたパラメータ（この場合は、
雑音除去のしきい値）を用いた方法では、ある画像に対
して適切に動作したとしても、別の画像に対してそのま
ま適用できるとは限らない。画像ごとに、その特徴量の
分布が異なるためである。特に、同じ映像の画像系列の
中にあっても、照明などの撮影条件の変化によって、画
像の特徴量の分布も大きく変化するため、画像ごとに自
動で、かつ適切に判別を行う必要がある。
【００３２】本発明の目的は、上記の課題を解決した目
標追跡方法、目標追跡装置、目標追跡プログラム、並び
にこのプログラムを記録した記録媒体を提供することに
ある。
【００３３】
【課題を解決するための手段】（解決手段１）本発明
は、画像の特徴量の分布に基づいて、判別器のパラメー
タの一つである、雑音除去のしきい値を設定すること
で、（課題２）に示したような、画像ごとに特徴量の分
布が変化する場合においても、精度のよい追跡を可能に
する。
【００３４】（解決手段２）本発明は、確率分布画像の
作成を行う際に事後確率分布を求めることで、（課題
１）に示したような、目標の特徴量と類似した物体や背
景が存在していた場合においても、目標と目標以外とを
適切に判別した、精度のよい追跡を可能にする。
【００３５】（解決手段３）本発明は、領域の大きさの
特定に標準偏差を用いた計算を行うことで、（課題１）
に示したような、領域の拡散、収縮を抑えた、精度のよ
い追跡を可能にする。
【００３６】以上のことから、本発明は、以下の目標追
跡方法、装置、プログラム、記録媒体を特徴とする。
【００３７】（方法の発明） （１）入力された画像系列の中から基準画像を指定する
ステップと、前記基準画像上の目標領域を入力指定する
ステップと、入力された画像を色相と彩度と明度のＨＳ
Ｖ表現で表されたＨＳＶ画像へ変換するステップと、前
記ＨＳＶ画像中の目標領域における彩度成分と明度成分
のヒストグラムを作成するステップと、前記ヒストグラ
ムを用いて前記彩度成分と明度成分の値による最小しき
い値と最大しきい値を求めるステップと、前記画像中の
画素がもつ彩度成分と明度成分について前記最小しきい
値未満または最大しきい値を越える画素を雑音として除
去するステップと、前記雑音除去後の画像から前記目標
領域における色相成分または彩度成分のヒストグラムを
作成するステップと、前記雑音除去後の画像から前記目
標領域を含む領域における色相成分または彩度成分のヒ
ストグラムを作成するステップと、作成されたヒストグ
ラムから色相成分または彩度成分の事後確率分布を求
め、この事後確率分布を基に確率分布画像を作成するス
テップと、前記確率分布画像と目標領域とを用いて画像
中の目標領域の更新によって目標領域を特定するステッ
プとを有することを特徴とする。
【００３８】（２）前記確率分布画像を作成するステッ
プは、目標領域の色相成分または彩度成分の特徴量のヒ
ストグラムと、目標領域を含む領域の色相成分または彩
度成分の特徴量のヒストグラムとを用いてベイズの定理
に基づく事後確率分布を求めるステップと、この事後確
率分布によって確率分布画像を作成するステップとを有
することを特徴とする。
【００３９】（３）前記事後確率分布を求めるステップ
は、前記ヒストグラムの値が小さい場合は、当該ヒスト
グラムに代えて、予め定めたしきい値を使用して求める
ステップを有することを特徴とする。
【００４０】（４）前記画像中の目標領域を特定するス
テップは、前記確率分布画像の前記目標領域における重
心を求めるステップと、前記重心を用いて前記目標領域
の位置を整数値化して更新を行うステップと、前記更新
前の目標領域位置と更新後の目標領域位置の距離が設定
されるしきい値を越えたか否かで更新位置が適当である
かを判断するステップと、前記目標領域の位置更新が、
設定される反復回数を超えたかどうか、また、収束した
かどうかを判断し、どちらも満たされない場合は前記重
心を求める処理に戻るステップと、前記位置更新処理が
前記反復回数未満であり収束したとき、目標領域におけ
る標準偏差を求めるステップと、前記標準偏差を基に前
記目標領域の大きさの更新を行うステップと、前記大き
さの更新された目標領域の大きさが設定されるしきい値
を越えたか否かで更新位置が適当であるかを判断するス
テップと、前記目標領域の大きさの更新が、設定される
反復回数を超えたかどうか、また、収束したかどうかを
判断し、どちらも満たされない場合は前記重心を求める
処理に戻るステップと、を有することを特徴とする。
【００４１】（装置の発明） （５）入力された画像系列の中から基準画像を指定する
手段と、前記基準画像上の目標領域を入力指定する手段
と、入力された画像を色相と彩度と明度のＨＳＶ表現で
表されたＨＳＶ画像へ変換する手段と、前記ＨＳＶ画像
中の目標領域における彩度成分と明度成分のヒストグラ
ムを作成する手段と、前記ヒストグラムを用いて前記彩
度成分と明度成分の値による最小しきい値と最大しきい
値を求める手段と、前記画像中の画素がもつ彩度成分と
明度成分について前記最小しきい値未満または最大しき
い値を越える画素を雑音として除去する手段と、前記雑
音除去後の画像から前記目標領域における色相成分また
は彩度成分のヒストグラムを作成する手段と、前記雑音
除去後の画像から前記目標領域を含む領域における色相
成分または彩度成分のヒストグラムを作成する手段と、
作成されたヒストグラムから色相成分または彩度成分の
事後確率分布を求め、この事後確率分布を基に確率分布
画像を作成する手段と、前記確率分布画像と目標領域と
を用いて画像中の目標領域の更新によって目標領域を特
定する手段とを有することを特徴とする。
【００４２】（６）前記確率分布画像を作成する手段
は、目標領域の色相成分または彩度成分の特徴量のヒス
トグラムと、目標領域を含む領域の色相成分または彩度
成分の特徴量のヒストグラムとを用いてベイズの定理に
基づく事後確率分布を求める手段と、この事後確率分布
によって確率分布画像を作成する手段とを有することを
特徴とする。
【００４３】（７）前記事後確率分布を求める手段は、
前記ヒストグラムの値が小さい場合は、当該ヒストグラ
ムに代えて、予め定めたしきい値を使用して求める手段
を有することを特徴とする。
【００４４】（８）前記画像中の目標領域を特定する手
段は、前記確率分布画像の前記目標領域における重心を
求める手段と、前記重心を用いて前記目標領域の位置を
整数値化して更新を行う手段と、前記更新前の目標領域
位置と更新後の目標領域位置の距離が設定されるしきい
値を越えたか否かで更新位置が適当であるかを判断する
手段と、前記目標領域の位置更新が、設定される反復回
数を超えたかどうか、また、収束したかどうかを判断
し、どちらも満たされない場合は前記重心を求める処理
に戻る手段と、前記位置更新処理が前記反復回数未満で
あり収束したとき、目標領域における標準偏差を求める
手段と、前記標準偏差を基に前記目標領域の大きさの更
新を行う手段と、前記大きさの更新された目標領域の大
きさが設定されるしきい値を越えたか否かで更新位置が
適当であるかを判断する手段と、前記目標領域の大きさ
の更新が、設定される反復回数を超えたかどうか、ま
た、収束したかどうかを判断し、どちらも満たされない
場合は前記重心を求める処理に戻る手段と、を有するこ
とを特徴とする。
【００４５】（プログラムの発明） （９）入力された画像系列の中から基準画像を指定する
ステップと、前記基準画像上の目標領域を入力指定する
ステップと、入力された画像を色相と彩度と明度のＨＳ
Ｖ表現で表されたＨＳＶ画像へ変換するステップと、前
記ＨＳＶ画像中の目標領域における彩度成分と明度成分
のヒストグラムを作成するステップと、前記ヒストグラ
ムを用いて前記彩度成分と明度成分の値による最小しき
い値と最大しきい値を求めるステップと、前記画像中の
画素がもつ彩度成分と明度成分について前記最小しきい
値未満または最大しきい値を越える画素を雑音として除
去するステップと、前記雑音除去後の画像から前記目標
領域における色相成分または彩度成分のヒストグラムを
作成するステップと、前記雑音除去後の画像から前記目
標領域を含む領域における色相成分または彩度成分のヒ
ストグラムを作成するステップと、作成されたヒストグ
ラムから色相成分または彩度成分の事後確率分布を求
め、この事後確率分布を基に確率分布画像を作成するス
テップと、前記確率分布画像と目標領域とを用いて画像
中の目標領域の更新によって目標領域を特定するステッ
プとを有し、前記確率分布画像を作成するステップは、
目標領域の色相成分または彩度成分の特徴量のヒストグ
ラムと、目標領域を含む領域の色相成分または彩度成分
の特徴量のヒストグラムとを用いてベイズの定理に基づ
く事後確率分布を求めるステップと、この事後確率分布
によって確率分布画像を作成するステップとを有し、前
記事後確率分布を求めるステップは、前記ヒストグラム
の値が小さい場合は、当該ヒストグラムに代えて、予め
定めたしきい値を使用して求めるステップを有し、前記
画像中の目標領域を特定するステップは、前記確率分布
画像の前記目標領域における重心を求めるステップと、
前記重心を用いて前記目標領域の位置を整数値化して更
新を行うステップと、前記更新前の目標領域位置と更新
後の目標領域位置の距離が設定されるしきい値を越えた
か否かで更新位置が適当であるかを判断するステップ
と、前記目標領域の位置更新が、設定される反復回数を
超えたかどうか、また、収束したかどうかを判断し、ど
ちらも満たされない場合は前記重心を求める処理に戻る
ステップと、前記位置更新処理が前記反復回数未満であ
り収束したとき、目標領域における標準偏差を求めるス
テップと、前記標準偏差を基に前記目標領域の大きさの
更新を行うステップと、前記大きさの更新された目標領
域の大きさが設定されるしきい値を越えたか否かで更新
位置が適当であるかを判断するステップと、前記目標領
域の大きさの更新が、設定される反復回数を超えたかど
うか、また、収束したかどうかを判断し、どちらも満た
されない場合は前記重心を求める処理に戻るステップと
を有する目標追跡方法を、コンピュータで実行可能なプ
ログラムとして構成したことを特徴とする。
【００４６】（記録媒体の発明 （１０）入力された画像系列の中から基準画像を指定す
るステップと、前記基準画像上の目標領域を入力指定す
るステップと、入力された画像を色相と彩度と明度のＨ
ＳＶ表現で表されたＨＳＶ画像へ変換するステップと、
前記ＨＳＶ画像中の目標領域における彩度成分と明度成
分のヒストグラムを作成するステップと、前記ヒストグ
ラムを用いて前記彩度成分と明度成分の値による最小し
きい値と最大しきい値を求めるステップと、前記画像中
の画素がもつ彩度成分と明度成分について前記最小しき
い値未満または最大しきい値を越える画素を雑音として
除去するステップと、前記雑音除去後の画像から前記目
標領域における色相成分または彩度成分のヒストグラム
を作成するステップと、前記雑音除去後の画像から前記
目標領域を含む領域における色相成分または彩度成分の
ヒストグラムを作成するステップと、作成されたヒスト
グラムから色相成分または彩度成分の事後確率分布を求
め、この事後確率分布を基に確率分布画像を作成するス
テップと、前記確率分布画像と目標領域とを用いて画像
中の目標領域の更新によって目標領域を特定するステッ
プとを有し、前記確率分布画像を作成するステップは、
目標領域の色相成分または彩度成分の特徴量のヒストグ
ラムと、目標領域を含む領域の色相成分または彩度成分
の特徴量のヒストグラムとを用いてベイズの定理に基づ
く事後確率分布を求めるステップと、この事後確率分布
によって確率分布画像を作成するステップとを有し、前
記事後確率分布を求めるステップは、前記ヒストグラム
の値が小さい場合は、当該ヒストグラムに代えて、予め
定めたしきい値を使用して求めるステップを有し、前記
画像中の目標領域を特定するステップは、前記確率分布
画像の前記目標領域における重心を求めるステップと、
前記重心を用いて前記目標領域の位置を整数値化して更
新を行うステップと、前記更新前の目標領域位置と更新
後の目標領域位置の距離が設定されるしきい値を越えた
か否かで更新位置が適当であるかを判断するステップ
と、前記目標領域の位置更新が、設定される反復回数を
超えたかどうか、また、収束したかどうかを判断し、ど
ちらも満たされない場合は前記重心を求める処理に戻る
ステップと、前記位置更新処理が前記反復回数未満であ
り収束したとき、目標領域における標準偏差を求めるス
テップと、前記標準偏差を基に前記目標領域の大きさの
更新を行うステップと、前記大きさの更新された目標領
域の大きさが設定されるしきい値を越えたか否かで更新
位置が適当であるかを判断するステップと、前記目標領
域の大きさの更新が、設定される反復回数を超えたかど
うか、また、収束したかどうかを判断し、どちらも満た
されない場合は前記重心を求める処理に戻るステップと
を有する目標追跡方法を、コンピュータで実行可能に構
成したプログラムを記録したことを特徴とする。
【００４７】なお、本発明は、上記の（１）〜（１０）
におけるＨＳＶ画像に代えて、カラーテレビジョンの標
準表色系であるＹＩＱ表色系、Ｌｕｖ表色系、Ｌａｂ表
色系などの表色系画像を利用することができる。
【００４８】
【発明の実施の形態】本発明の実施の形態について図面
を参照して以下に詳細に説明する。
【００４９】図１を参照すると、目標追跡装置は、処理
制御部７１と画像バッファ７２と画像入力部７３と領域
入力部７４と領域出力部７５とで構成されている。具体
例としては、処理制御部７１はコンピュータのＣＰＵ、
画像バッファ７２はハードディスクやメモリなどの記憶
装置、画像入力部７３はカメラやＶＴＲの映像信号をデ
ジタル化する装置もしくは記憶装置から情報を読み出す
装置、領域入力部７４はマウスやキーボードなどの入力
装置、領域出力部７５はディスプレイなどの出力装置で
ある。それぞれの装置はバスによって互いに接続されて
いる。
【００５０】図２は目標追跡装置の動作を示すフローチ
ャートである。
【００５１】ステップ８１では、処理を行う映像の画像
系列の中から最初の一枚を指定して入力する（図３のＩ
0）。この画像を特に基準画像と呼ぶ。基準画像は画像
系列の時間軸上における先頭の画像である必要はなく、
どの画像を基準画像とするかはオペレータが指定できる
ものとする。この場合、図４に示すように画像系列を一
覧表示するなどして、基準画像の指定が容易に行えるよ
うにしておくことが好ましい。
【００５２】ステップ８２では、基準画像上の目標領域
（図３のＲ0）を一つ、または複数入力する。領域は画
素単位で表されるものとし、最も簡単な場合は矩形や楕
円を近似した形で表される。ここでは矩形で表されるも
のとする。領域の指定は、ディスプレイに表示された画
像に対して、オペレータがマウスなどの入力装置を用い
て行うことが可能である。もしくは、例えば特開平９−
５０５２８号公報「人物検出装置」に開示された技術な
どの画像解析技術を利用して自動的に行うことも可能で
ある。
【００５３】ステップ８３では、追跡処理を行い、追跡
処理の成否と、追跡処理が成功した場合は追跡された領
域を出力する。追跡処理の詳細については図５のフロー
チャートを参照して後述する。
【００５４】ステップ８４では、ステップ８３での追跡
処理が失敗した場合は処理を終了する。
【００５５】ステップ８５では、例えばディスプレイ
や、記憶装置などに領域を出力する。
【００５６】ステップ８６では、すべての画像系列が処
理された場合は処理を終了する。
【００５７】ステップ８７では、画像と領域を更新して
入力し、ステップ８３に戻る。画像の更新は、画像系列
の時間軸順に限らず、逆も可能である。また、一定時間
間隔でサンプリングすることも可能である。
【００５８】図５は目標追跡装置の追跡処理の動作を示
すフローチャートである。
【００５９】ここで、図２のステップ８１、ステップ８
２、もしくはステップ８７で入力される画像をＩ、領域
をＲとする。画像Ｉは、例えばＲＧＢ２５６階調で表現
され、画像ＩのＲ，Ｇ，Ｂ成分をそれぞれｒ（ｘ，
ｙ）、ｇ（ｘ，ｙ）、ｂ（ｘ，ｙ）（０≦ｒ，ｇ，ｂ≦
２５５）とする。以下、各ステップについて詳細に説明
する。
【００６０】（Ａ）ＲＧＢ画像からＨＳＶ画像への変換 ステップ１１１では、ＲＧＢ画像ＩのＨＳＶ画像Ｊへの
変換と雑音除去を行う。ＲＧＢ画像からＨＳＶへの変換
はいくつかの方法が知られている（画像解析ハンドブッ
ク、東京大学出版会、ｐｐ.485-491）。例えば、Ｒａｉ
ｎｅｓの定義に基づく変換では、以下の変換式を用い
る。ただし、画像ＪのＨ，Ｓ，Ｖ成分をそれぞれｈ
（ｘ，ｙ）、ｓ（ｘ，ｙ）、ｖ（ｘ，ｙ）とする。
【００６１】
【数６】
【００６２】この時、ｈ，ｓ，ｖの各変数は０≦ｈ≦２
π、０≦ｓ≦２／３、０≦ｖ≦３の値をとる。
【００６３】ここで、ｈ，ｓ，ｖの値の信頼性が低いと
考えられる場合（ｇ−ｂ＝２ｒ−ｇ−ｂ＝０など）は、
画像Ｊの該当する画素にラベルを付与し、以降の計算か
ら除外する。
【００６４】次に、以下の方法により、ＨＳＶ画像Ｊを
２５６階調に変換した画像Ｊ’を作成する。Ｊ’のＨ，
Ｓ，Ｖ成分をそれぞれｈ'（ｘ，ｙ）、ｓ'（ｘ，ｙ）、
ｖ'（ｘ，ｙ）で表す。ｈ’，ｓ’，ｖ’は０〜２５５
の整数値をとり、非整数を代入する場合は四捨五入をし
て整数にするものとする。ここで、ｈmax，ｈmin，ｓ
max，ｓmin，ｖmax，ｖminはそれぞれＨＳＶ画像Ｊの領
域ＲにおけるＨ，Ｓ，Ｖ成分の最大値、最小値とする。
【００６５】
【数７】
【００６６】ただし、「値なし」の場合は、画像Ｊ’の
該当する画素にラベルを付与し、以降の計算から除外す
る。
【００６７】なお、上記のＨＳＶ画像に代えて、カラー
テレビジョンの標準表色系であるＹＩＱ表色系、Ｌｕｖ
表色系、Ｌａｂ表色系などの表色系画像を利用すること
ができる。
【００６８】（Ｂ）Ｓ，Ｖ成分のヒストグラムに基づく
しきい値の計算 ステップ１１２では、ステップ１１１で作成されたＨＳ
Ｖ画像Ｊ’の領域ＲにおけるＳ，Ｖ成分のヒストグラム
ｈｉｓｔR，s［ｉ］、ｈｉｓｔR，v［ｉ］（０≦１≦２
５５）を作成する。
【００６９】ステップ１１３では、ステップ１１２で作
成されたヒストグラムｈｉｓｔR，s［ｉ］、ｈｉｓ
ｔR，v［ｉ］を用いて、次式により、Ｓ，Ｖ成分のしき
い値Ｔｈ smin，Ｔｈvmin，Ｔｈvmaxを計算する。ただ
し、表記は、括弧内の不等号を満たす最大、または最小
のｎという意味である、
【００７０】
【数８】
【００７１】ここで、Ｔｈsmin，Ｔｈvmin，Ｔｈvmaxは
言わばＳ，Ｖ成分の値によるしきい値、Ｔｈsminrate，
Ｔｈvminrate，Ｔｈvmaxrate（０≦Ｔｈsminrate≦１，
０≦Ｔｈvminrate≦Ｔｈvmaxrate≦１）はＳ，Ｖ成分の
分布の割合によるしきい値であり、Ｔｈsminrate，Ｔｈ
vminrate，Ｔｈvmaxrateはあらかじめ定められた定数と
する。
【００７２】従来技術ではＳ，Ｖ成分の値に対して固定
されたしきい値Ｔｈsmin，Ｔｈvmin，Ｔｈvmaxのみを用
いていたため、画像ごとのＳ，Ｖ成分の分布の変化に対
応することができなかった。例えば、図６と図７に示し
た分布の例では、同じ値によるしきい値を用いても、そ
の意味するところは大きく異なることが分かる。例え
ば、図６では、暗い場面で計算した輝度（Ｖ）のヒスト
グラムを表す。図７は逆に明るい場面であり、輝度が高
い画素が多い。本実施形態においては、Ｓ，Ｖ成分の分
布の変化を考慮したしきい値を計算することで、これを
改善する。
【００７３】ステップ１１４では、ステップ１１３で計
算されたＳ，Ｖ成分のしきい値Ｔｈ smin，Ｔｈvmin，Ｔ
ｈvmaxを用いて、雑音除去を行う。具体的には、次式を
満たすｓ’，ｖ’に対して、画像Ｊ’の該当する画素に
ラベルを付与し、以降の計算から除外する。
【００７４】
【数９】 ｓ’＜Ｔｈsmin ｏｒ ｖ’＜Ｔｈvmin ｏｒ Ｔｈvmax＜ｖ’ （９） ステップ１１５、および１１６では、ステップ１１１で
作成されたＨＳＶ画像Ｊ’の領域Ｒ、および領域Ａ（図
８を参照）におけるＨ，Ｓ成分のヒストグラムｈｉｓｔ
R，h［ｉ］、ｈｉｓｔR，s［ｉ］およびｈｉｓｔA，
h［ｉ］、ｈｉｓｔ A，s［ｉ］（０≦ｉ≦２５５）を作
成する。領域Ａは領域Ｒを含む、より大きな領域で、例
えば画像Ｊ’全体などである。ここで、ｈｉｓｔR，
s［ｉ］に関してはステップ１１２で作成したものがあ
るが、しきい値Ｔｈsmin，Ｔｈvmin，Ｔｈ vmaxを考慮し
て新たに作成し直す。表記はステップ１１２と同じくｈ
ｉｓｔR，s［ｉ］とする。
【００７５】（Ｃ）確率分布画像の作成 ステップ１１７、および１１８では、ステップ１１５、
および１１６で作成されたヒストグラムｈｉｓｔR，
h［ｉ］、ｈｉｓｔR，s［ｉ］およびｈｉｓｔA，
h［ｉ］、ｈｉｓｔA，s［ｉ］を用いて、次式により、
確率分布画像Ｋを作成する。
【００７６】
【数１０】
【００７７】ただし、Ｔｈhisthmin，Ｔｈhistsminはあ
らかじめ定められた定数である。また、Ｐhmax，Ｐsmax
はそれぞれｐh［ｉ］，ｐs［ｉ］の最大値とする。
【００７８】ここで、式（１０）の意味するところの詳
細を、図９および図１０を参照して説明する。ｈｉｓｔ
R，h［ｉ］はＨＳＶ画像Ｊ’の領域ＲにおけるＨ成分の
ヒストグラムで、ある画素が目標であるという確率Ｐ
（ω）と、目標であった場合のＨ成分の確率分布ｐ（ｈ
i｜ω）との積Ｐ（ω）ｐ（ｈi｜ω）を表している。な
ぜなら、領域Ｒの領域Ａに占める割合そのものがＰ
（ω）であり、ｈｉｓｔR，h［ｉ］は、その中でのＨ成
分の確率分布を表しているからである。ただし、ｈiは
ｈの値であり、ｈi＝ｉとする。
【００７９】一方でｈｉｓｔA，h［ｉ］は目標であるな
いに関わらず、Ｈ成分の確率分布ｐ（ｈi）を表してい
る。よって
【００８０】
【数１１】
【００８１】はベイズの定理に基づく事後確率分布、す
なわち、ある画素のＨ成分がｉであった場合に、その画
素が目標であるという確率を表していることに他ならな
い。ある画素のとる色相の値ｈiが、目標領域Ｒに出現
する確率ｐ（ｈi｜ω）が高く、かつ、背景領域Ａに現
れる確率ｐ（ｈi）が低い場合に、その画素が目標であ
る確率Ｐ（ω｜ｈi）が高いと判断するわけである。ｐs
［ｉ］についても同様である。
【００８２】この確率の原理に基づいた本実施形態の方
法によれば、目標と特徴量が近似した物体や背景が存在
する場合でも精度よく追跡を行うことができる。
【００８３】ただし、ｈｉｓｔA，h［ｉ］やｈｉｓ
ｔA，s［ｉ］の値が小さい場合はｐh［ｉ］，ｐs［ｉ］
の値が誤差の影響を受けやすいため、適当なしきい値Ｔ
ｈhisth min，Ｔｈhistsminを用いて例外処理を行う。
【００８４】式（１１）は実施の一例であり、例えば、
ＣＡＭＳＨＩＦＴ法のようにＨ成分のみに着目したり、
また、式（１１）の右辺の平方根をとるなど、他の方法
でもよい。
【００８５】（Ｄ）領域の更新 ステップ１１９では、ステップ１１８で作成された確率
分布画像Ｋと領域Ｒとを用いて、領域Ｒを更新した領域
Ｒ’の計算を行う。ただし、更新処理が失敗した場合は
その旨を出力する。領域Ｒ’の計算の詳細については図
１１を参照して説明する。
【００８６】図１１は目標追跡装置の領域Ｒの更新処理
を示すフローチャートである。領域Ｒ’の計算は主にＣ
ＡＭＳＨＩＦＴ法に準ずる。
【００８７】図２のステップ８２、もしくはステップ８
７で入力される領域をＲ＝（ｘ，ｙ，ｗ，ｈ）とする。
（ｘ，ｙ）は領域の最も左上にある画素の座標値、ｗ，
ｈはそれぞれ領域の幅と高さである。
【００８８】ステップ１７１では、次式により、画像Ｋ
の領域Ｒにおける重心（ｇx，ｇy）を計算する。
【００８９】
【数１２】
【００９０】ステップ１７２では、ステップ１７１で計
算された重心（ｇx，ｇy）を用いて、次式により、領域
Ｒの位置の更新を行う。ただし、Ｒ’＝（ｘ'，ｙ'，
ｗ，ｈ）の値が整数値から外れる場合は、適宜四捨五入
をするなどして整数値に丸めるか、もしくは画像Ｋの画
素値を補間して以降の計算を行う。他のステップにおい
ても同様である。
【００９１】
【数１３】
【００９２】ステップ１７３では、ステップ１７２で計
算されたＲ’の値が適当であるかを判断し、適当でない
場合はその旨を出力して処理を終了する、適当であるか
ないかの判断は例えば、ｄ＝（ｘ−ｘ'）2＋（ｙ−
ｙ'）2の値がしきい値Ｔｈd1を超えるかどうかによる。
【００９３】ステップ１７４では、ステップ１７２の計
算が、ある反復回数Ｎ1を超えたかどうか、また、収束
したかどうかを判断し、どちらも満たされない場合はス
テップ１７１に戻る。計算が収束したかどうかの判断は
例えば、ｄ＝（ｘ−ｘ'）2＋（ｙ−ｙ'）2の値がしきい
値Ｔｈd2を超えるかどうかによる。
【００９４】ステップ１７５では、次式により、画像Ｋ
の領域Ｒにおける標準偏差（σx，σy）を計算する。
【００９５】
【数１４】
【００９６】ステップ１７６では、ステップ１７５で計
算された標準偏差（σx，σy）を用いて、次式により、
領域Ｒの大きさの更新を行う。
【００９７】
【数１５】
【００９８】ここで、ａ，ｂは適当な定数である。本実
施形態における方法によればＣＡＭＳＨＩＦＴ法におけ
る大きさの更新に比較して、領域Ｒの大きさが発散する
ことを抑制することができる。
【００９９】ステップ１７７では、ステップ１７６で計
算されたＲ’の値が適当であるかを判断し、適当でない
場合はその旨を出力して処理を終了する。適当であるか
ないかの判断は例えば、ｅ＝（ｗ−ｗ'）2＋（ｈ−
ｈ'）2の値がしきい値Ｔｈe1を超えるかどうかによる。
【０１００】ステップ１７８では、ステップ１７６の計
算が、ある反復回数Ｎ2を超えたかどうか、また、収束
したかどうかを判断し、どちらも満たされない場合はス
テップ１７１に戻る。計算が収束したかどうかの判断は
例えばｅ＝（ｗ−ｗ'）2＋（ｈ−ｈ'）2の値がしきい値
Ｔｈe2を超えるかどうかによる。
【０１０１】以上は、実施の一例であり、例えば終了判
定として、（ｘ'，ｙ'）が画像中心から大きく外れた
り、ｗ'，ｈ’の値が画像の大きさに比較して、大き
く、または小さくなり過ぎた場合に終了したり、もしく
は、領域Ｒにおける特徴量のヒストグラムが、前回に処
理した時に比較して限度を超えて変化した場合も終了の
条件として考えられる。
【０１０２】なお、本発明は、図２等に示した方法又は
装置の一部又は全部の処理機能をプログラムとして構成
してコンピュータを用いて実現することができる。ま
た、コンピュータでその各部の処理機能を実現するため
のプログラム、あるいはコンピュータにその処理手順を
実行させるためのプログラムを、そのコンピュータが読
み取り可能な記録媒体、例えば、ＦＤ（フロッピーディ
スク：登録商標）、ＭＯ、ＲＯＭ、メモリカード、Ｃ
Ｄ、ＤＶＤ、リムーバブルディスクなどに記録して、保
存したり、提供したりすることが可能であり、また、イ
ンターネットのような通信ネットワークを介して配布し
たりすることが可能である。
【０１０３】
【発明の効果】以上説明したように、本発明によれば、
追跡する目標と特徴量が類似した物体や背景が存在する
場合においても精度のよい追跡を行うことができる。ま
た、画像ごとに特徴量の分布が変化した場合において
も、精度のよい追跡を行うことができる。
【図面の簡単な説明】
【図１】本発明の実施形態における目標追跡装置の構成
図。
【図２】実施形態における目標追跡装置の基本動作を示
すフローチャート。
【図３】実施形態における基準画像と目標領域について
の説明図。
【図４】実施形態におけるユーザインタフェースの一例
を示す図。
【図５】実施形態における追跡処理を示すフローチャー
ト。
【図６】実施形態におけるヒストグラムの分布の一例を
示す図。
【図７】実施形態におけるヒストグラムの分布の別の一
例を示す図。
【図８】実施形態における領域についての説明図。
【図９】実施形態における領域ごとのヒストグラムの一
例を示す図。
【図１０】実施形態における事後確率分布についての説
明図。
【図１１】実施形態における領域の更新処理を示すフロ
ーチャート。
【図１２】撮影についての説明図。
【図１３】目標追跡についての説明図。
【図１４】ＣＡＭＳＨＩＦＴ法の追跡処理を示すフロー
チャート。
【図１５】ＣＡＭＳＨＩＦＴ法の領域の更新処理を示す
フローチャート。
【図１６】領域の拡散についての説明図。
【図１７】領域の収縮についての説明図。
【符号の説明】
７１…処理制御部 ７２…画像バッファ ７３…画像入力部 ７４…領域入力部 ７５…領域出力部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 児島 治彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B057 DA08 DB02 DB06 DB09 DC03 DC04 DC06 DC19 DC23 DC25 5L096 AA02 AA06 CA04 CA24 EA05 EA27 FA33 FA35 FA37 FA59 FA60 FA64 FA66 FA69 GA30 GA40 GA41 GA51 HA05

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 入力された画像系列の中から基準画像を
    指定するステップと、 前記基準画像上の目標領域を入力指定するステップと、 入力された画像を色相と彩度と明度のＨＳＶ表現で表さ
    れたＨＳＶ画像へ変換するステップと、 前記ＨＳＶ画像中の目標領域における彩度成分と明度成
    分のヒストグラムを作成するステップと、 前記ヒストグラムを用いて前記彩度成分と明度成分の値
    による最小しきい値と最大しきい値を求めるステップ
    と、 前記画像中の画素がもつ彩度成分と明度成分について前
    記最小しきい値未満または最大しきい値を越える画素を
    雑音として除去するステップと、 前記雑音除去後の画像から前記目標領域における色相成
    分と彩度成分のヒストグラムを作成するステップと、 前記雑音除去後の画像から前記目標領域を含む領域にお
    ける色相成分または彩度成分のヒストグラムを作成する
    ステップと、 作成されたヒストグラムから色相成分または彩度成分の
    事後確率分布を求め、この事後確率分布を基に確率分布
    画像を作成するステップと、 前記確率分布画像と目標領域とを用いて画像中の目標領
    域の更新によって目標領域を特定するステップと、を有
    することを特徴とする目標追跡方法。
  2. 【請求項２】 前記確率分布画像を作成するステップ
    は、 目標領域の色相成分または彩度成分の特徴量のヒストグ
    ラムと、目標領域を含む領域の色相成分または彩度成分
    の特徴量のヒストグラムとを用いてベイズの定理に基づ
    く事後確率分布を求めるステップと、この事後確率分布
    によって確率分布画像を作成するステップとを有するこ
    とを特徴とする請求項１に記載の目標追跡方法。
  3. 【請求項３】 前記事後確率分布を求めるステップは、
    前記ヒストグラムの値が小さい場合は、当該ヒストグラ
    ムに代えて、予め定めたしきい値を使用して求めるステ
    ップを有することを特徴とする請求項１または２に記載
    の目標追跡方法。
  4. 【請求項４】 前記画像中の目標領域を特定するステッ
    プは、 前記確率分布画像の前記目標領域における重心を求める
    ステップと、 前記重心を用いて前記目標領域の位置を整数値化して更
    新を行うステップと、 前記更新前の目標領域位置と更新後の目標領域位置の距
    離が設定されるしきい値を越えたか否かで更新位置が適
    当であるかを判断するステップと、 前記目標領域の位置更新が、設定される反復回数を超え
    たかどうか、また、収束したかどうかを判断し、どちら
    も満たされない場合は前記重心を求める処理に戻るステ
    ップと、 前記位置更新処理が前記反復回数未満であり収束したと
    き、目標領域における標準偏差を求めるステップと、 前記標準偏差を基に前記目標領域の大きさの更新を行う
    ステップと、 前記大きさの更新された目標領域の大きさが設定される
    しきい値を越えたか否かで更新位置が適当であるかを判
    断するステップと、 前記目標領域の大きさの更新が、設定される反復回数を
    超えたかどうか、また、収束したかどうかを判断し、ど
    ちらも満たされない場合は前記重心を求める処理に戻る
    ステップと、を有することを特徴とする請求項１〜３の
    いずれか１項に記載の目標追跡方法。
  5. 【請求項５】 入力された画像系列の中から基準画像を
    指定する手段と、 前記基準画像上の目標領域を入力指定する手段と、 入力された画像を色相と彩度と明度のＨＳＶ表現で表さ
    れたＨＳＶ画像へ変換する手段と、 前記ＨＳＶ画像中の目標領域における彩度成分と明度成
    分のヒストグラムを作成する手段と、 前記ヒストグラムを用いて前記彩度成分と明度成分の値
    による最小しきい値と最大しきい値を求める手段と、 前記画像中の画素がもつ彩度成分と明度成分について前
    記最小しきい値未満または最大しきい値を越える画素を
    雑音として除去する手段と、 前記雑音除去後の画像から前記目標領域における色相成
    分または彩度成分のヒストグラムを作成する手段と、 前記雑音除去後の画像から前記目標領域を含む領域にお
    ける色相成分または彩度成分のヒストグラムを作成する
    手段と、 作成されたヒストグラムから色相成分または彩度成分の
    事後確率分布を求め、この事後確率分布を基に確率分布
    画像を作成する手段と、 前記確率分布画像と目標領域とを用いて画像中の目標領
    域の更新によって目標領域を特定する手段と、を有する
    ことを特徴とする目標追跡装置。
  6. 【請求項６】 前記確率分布画像を作成する手段は、 目標領域の色相成分または彩度成分の特徴量のヒストグ
    ラムと、目標領域を含む領域の色相成分または彩度成分
    の特徴量のヒストグラムとを用いてベイズの定理に基づ
    く事後確率分布を求める手段と、この事後確率分布によ
    って確率分布画像を作成する手段とを有することを特徴
    とする請求項５に記載の目標追跡装置。
  7. 【請求項７】 前記事後確率分布を求める手段は、前記
    ヒストグラムの値が小さい場合は、当該ヒストグラムに
    代えて、予め定めたしきい値を使用して求める手段を有
    することを特徴とする請求項５または６に記載の目標追
    跡装置。
  8. 【請求項８】 前記画像中の目標領域を特定する手段
    は、 前記確率分布画像の前記目標領域における重心を求める
    手段と、 前記重心を用いて前記目標領域の位置を整数値化して更
    新を行う手段と、 前記更新前の目標領域位置と更新後の目標領域位置の距
    離が設定されるしきい値を越えたか否かで更新位置が適
    当であるかを判断する手段と、 前記目標領域の位置更新が、設定される反復回数を超え
    たかどうか、また、収束したかどうかを判断し、どちら
    も満たされない場合は前記重心を求める処理に戻る手段
    と、 前記位置更新処理が前記反復回数未満であり収束したと
    き、目標領域における標準偏差を求める手段と、 前記標準偏差を基に前記目標領域の大きさの更新を行う
    手段と、 前記大きさの更新された目標領域の大きさが設定される
    しきい値を越えたか否かで更新位置が適当であるかを判
    断する手段と、 前記目標領域の大きさの更新が、設定される反復回数を
    超えたかどうか、また、収束したかどうかを判断し、ど
    ちらも満たされない場合は前記重心を求める処理に戻る
    手段と、を有することを特徴とする請求項５〜７のいず
    れか１項に記載の目標追跡装置。
  9. 【請求項９】 入力された画像系列の中から基準画像を
    指定するステップと、 前記基準画像上の目標領域を入力指定するステップと、 入力された画像を色相と彩度と明度のＨＳＶ表現で表さ
    れたＨＳＶ画像へ変換するステップと、 前記ＨＳＶ画像中の目標領域における彩度成分と明度成
    分のヒストグラムを作成するステップと、 前記ヒストグラムを用いて前記彩度成分と明度成分の値
    による最小しきい値と最大しきい値を求めるステップ
    と、 前記画像中の画素がもつ彩度成分と明度成分について前
    記最小しきい値未満または最大しきい値を越える画素を
    雑音として除去するステップと、 前記雑音除去後の画像から前記目標領域における色相成
    分または彩度成分のヒストグラムを作成するステップ
    と、 前記雑音除去後の画像から前記目標領域を含む領域にお
    ける色相成分または彩度成分のヒストグラムを作成する
    ステップと、 作成されたヒストグラムから色相成分または彩度成分の
    事後確率分布を求め、この事後確率分布を基に確率分布
    画像を作成するステップと、 前記確率分布画像と目標領域とを用いて画像中の目標領
    域の更新によって目標領域を特定するステップとを有
    し、 前記確率分布画像を作成するステップは、目標領域の色
    相成分または彩度成分の特徴量のヒストグラムと、目標
    領域を含む領域の色相成分または彩度成分の特徴量のヒ
    ストグラムとを用いてベイズの定理に基づく事後確率分
    布を求めるステップと、この事後確率分布によって確率
    分布画像を作成するステップとを有し、前記事後確率分
    布を求めるステップは、前記ヒストグラムの値が小さい
    場合は、当該ヒストグラムに代えて、予め定めたしきい
    値を使用して求めるステップを有し、 前記画像中の目標領域を特定するステップは、前記確率
    分布画像の前記目標領域における重心を求めるステップ
    と、前記重心を用いて前記目標領域の位置を整数値化し
    て更新を行うステップと、前記更新前の目標領域位置と
    更新後の目標領域位置の距離が設定されるしきい値を越
    えたか否かで更新位置が適当であるかを判断するステッ
    プと、前記目標領域の位置更新が、設定される反復回数
    を超えたかどうか、また、収束したかどうかを判断し、
    どちらも満たされない場合は前記重心を求める処理に戻
    るステップと、前記位置更新処理が前記反復回数未満で
    あり収束したとき、目標領域における標準偏差を求める
    ステップと、前記標準偏差を基に前記目標領域の大きさ
    の更新を行うステップと、前記大きさの更新された目標
    領域の大きさが設定されるしきい値を越えたか否かで更
    新位置が適当であるかを判断するステップと、前記目標
    領域の大きさの更新が、設定される反復回数を超えたか
    どうか、また、収束したかどうかを判断し、どちらも満
    たされない場合は前記重心を求める処理に戻るステップ
    とを有する目標追跡方法を、 コンピュータで実行可能なプログラムとして構成したこ
    とを特徴とする目標追跡プログラム。
  10. 【請求項１０】 入力された画像系列の中から基準画像
    を指定するステップと、 前記基準画像上の目標領域を入力指定するステップと、 入力された画像を色相と彩度と明度のＨＳＶ表現で表さ
    れたＨＳＶ画像へ変換するステップと、 前記ＨＳＶ画像中の目標領域における彩度成分と明度成
    分のヒストグラムを作成するステップと、 前記ヒストグラムを用いて前記彩度成分と明度成分の値
    による最小しきい値と最大しきい値を求めるステップ
    と、 前記画像中の画素がもつ彩度成分と明度成分について前
    記最小しきい値未満または最大しきい値を越える画素を
    雑音として除去するステップと、 前記雑音除去後の画像から前記目標領域における色相成
    分または彩度成分のヒストグラムを作成するステップ
    と、 前記雑音除去後の画像から前記目標領域を含む領域にお
    ける色相成分または彩度成分のヒストグラムを作成する
    ステップと、 作成されたヒストグラムから色相成分または彩度成分の
    事後確率分布を求め、この事後確率分布を基に確率分布
    画像を作成するステップと、 前記確率分布画像と目標領域とを用いて画像中の目標領
    域の更新によって目標領域を特定するステップとを有
    し、 前記確率分布画像を作成するステップは、目標領域の色
    相成分または彩度成分の特徴量のヒストグラムと、目標
    領域を含む領域の色相成分または彩度成分の特徴量のヒ
    ストグラムとを用いてベイズの定理に基づく事後確率分
    布を求めるステップと、この事後確率分布によって確率
    分布画像を作成するステップとを有し、 前記事後確率分布を求めるステップは、前記ヒストグラ
    ムの値が小さい場合は、当該ヒストグラムに代えて、予
    め定めたしきい値を使用して求めるステップを有し、 前記画像中の目標領域を特定するステップは、前記確率
    分布画像の前記目標領域における重心を求めるステップ
    と、前記重心を用いて前記目標領域の位置を整数値化し
    て更新を行うステップと、前記更新前の目標領域位置と
    更新後の目標領域位置の距離が設定されるしきい値を越
    えたか否かで更新位置が適当であるかを判断するステッ
    プと、前記目標領域の位置更新が、設定される反復回数
    を超えたかどうか、また、収束したかどうかを判断し、
    どちらも満たされない場合は前記重心を求める処理に戻
    るステップと、前記位置更新処理が前記反復回数未満で
    あり収束したとき、目標領域における標準偏差を求める
    ステップと、前記標準偏差を基に前記目標領域の大きさ
    の更新を行うステップと、前記大きさの更新された目標
    領域の大きさが設定されるしきい値を越えたか否かで更
    新位置が適当であるかを判断するステップと、前記目標
    領域の大きさの更新が、設定される反復回数を超えたか
    どうか、また、収束したかどうかを判断し、どちらも満
    たされない場合は前記重心を求める処理に戻るステップ
    とを有する目標追跡方法を、 コンピュータで実行可能に構成したプログラムを記録し
    たことを特徴とする記録媒体。
JP2002105980A 2002-04-09 2002-04-09 目標追跡方法、目標追跡装置、目標追跡プログラム、並びにこのプログラムを記録した記録媒体 Pending JP2003303346A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002105980A JP2003303346A (ja) 2002-04-09 2002-04-09 目標追跡方法、目標追跡装置、目標追跡プログラム、並びにこのプログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002105980A JP2003303346A (ja) 2002-04-09 2002-04-09 目標追跡方法、目標追跡装置、目標追跡プログラム、並びにこのプログラムを記録した記録媒体

Publications (1)

Publication Number Publication Date
JP2003303346A true JP2003303346A (ja) 2003-10-24

Family

ID=29390437

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002105980A Pending JP2003303346A (ja) 2002-04-09 2002-04-09 目標追跡方法、目標追跡装置、目標追跡プログラム、並びにこのプログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP2003303346A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006350575A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2007078409A (ja) * 2005-09-12 2007-03-29 Mitsubishi Electric Corp 物体測位装置
JP2007233544A (ja) * 2006-02-28 2007-09-13 Nippon Telegr & Teleph Corp <Ntt> 対象物位置追跡方法、装置、およびプログラム
JP2007336562A (ja) * 2006-06-15 2007-12-27 Sharp Corp デジタル画像の領域分離方法および領域分離システム、ならびに、ラベル付けの方法
JP2010226178A (ja) * 2009-03-19 2010-10-07 Nikon Corp 画像処理装置および撮像装置
US8150166B2 (en) 2006-09-06 2012-04-03 Sharp Laboratories Of America, Inc. Methods and systems for identifying text in digital images
JP2012105319A (ja) * 2011-12-26 2012-05-31 Casio Comput Co Ltd 撮像装置及びそのプログラム
US8437054B2 (en) 2006-06-15 2013-05-07 Sharp Laboratories Of America, Inc. Methods and systems for identifying regions of substantially uniform color in a digital image
US8630498B2 (en) 2006-03-02 2014-01-14 Sharp Laboratories Of America, Inc. Methods and systems for detecting pictorial regions in digital images
CN106846365A (zh) * 2016-12-30 2017-06-13 中国科学院上海高等研究院 基于his空间的目标跟踪方法
CN107609571A (zh) * 2017-08-02 2018-01-19 南京理工大学 一种基于lark特征的自适应目标跟踪方法

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4710426B2 (ja) * 2005-06-14 2011-06-29 富士ゼロックス株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2006350575A (ja) * 2005-06-14 2006-12-28 Fuji Xerox Co Ltd 画像処理装置、画像処理方法及び画像処理プログラム
JP2007078409A (ja) * 2005-09-12 2007-03-29 Mitsubishi Electric Corp 物体測位装置
JP2007233544A (ja) * 2006-02-28 2007-09-13 Nippon Telegr & Teleph Corp <Ntt> 対象物位置追跡方法、装置、およびプログラム
JP4559375B2 (ja) * 2006-02-28 2010-10-06 日本電信電話株式会社 対象物位置追跡方法、装置、およびプログラム
US8630498B2 (en) 2006-03-02 2014-01-14 Sharp Laboratories Of America, Inc. Methods and systems for detecting pictorial regions in digital images
JP4745296B2 (ja) * 2006-06-15 2011-08-10 シャープ株式会社 デジタル画像の領域分離方法および領域分離システム
US8368956B2 (en) 2006-06-15 2013-02-05 Sharp Laboratories Of America, Inc. Methods and systems for segmenting a digital image into regions
US8437054B2 (en) 2006-06-15 2013-05-07 Sharp Laboratories Of America, Inc. Methods and systems for identifying regions of substantially uniform color in a digital image
JP2007336562A (ja) * 2006-06-15 2007-12-27 Sharp Corp デジタル画像の領域分離方法および領域分離システム、ならびに、ラベル付けの方法
US8150166B2 (en) 2006-09-06 2012-04-03 Sharp Laboratories Of America, Inc. Methods and systems for identifying text in digital images
JP2010226178A (ja) * 2009-03-19 2010-10-07 Nikon Corp 画像処理装置および撮像装置
JP2012105319A (ja) * 2011-12-26 2012-05-31 Casio Comput Co Ltd 撮像装置及びそのプログラム
CN106846365A (zh) * 2016-12-30 2017-06-13 中国科学院上海高等研究院 基于his空间的目标跟踪方法
CN106846365B (zh) * 2016-12-30 2020-02-07 中国科学院上海高等研究院 基于his空间的目标跟踪方法
CN107609571A (zh) * 2017-08-02 2018-01-19 南京理工大学 一种基于lark特征的自适应目标跟踪方法
CN107609571B (zh) * 2017-08-02 2023-09-05 南京理工大学 一种基于lark特征的自适应目标跟踪方法

Similar Documents

Publication Publication Date Title
CN108921782B (zh) 一种图像处理方法、装置及存储介质
EP1612733B1 (en) Color segmentation-based stereo 3D reconstruction system and process
CN107209931B (zh) 颜色校正装置和方法
US8254630B2 (en) Subject extracting method and device by eliminating a background region using binary masks
US10169655B2 (en) Detection of logos in a sequence of video frames
US9092868B2 (en) Apparatus for detecting object from image and method therefor
AU2016225841B2 (en) Predicting accuracy of object recognition in a stitched image
US20210334998A1 (en) Image processing method, apparatus, device and medium for locating center of target object region
JP2009526495A (ja) モード間の関心領域画像オブジェクト区分
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
JP2006318474A (ja) 画像シーケンス内のオブジェクトを追跡するための方法及び装置
CN112381104A (zh) 一种图像识别方法、装置、计算机设备及存储介质
CN112270745B (zh) 一种图像生成方法、装置、设备以及存储介质
US20180357212A1 (en) Detecting occlusion of digital ink
Zhu et al. Automatic object detection and segmentation from underwater images via saliency-based region merging
JP2003303346A (ja) 目標追跡方法、目標追跡装置、目標追跡プログラム、並びにこのプログラムを記録した記録媒体
KR101741758B1 (ko) 가려짐에 강인한 깊이정보 사용 캠쉬프트 기반의 실시간 얼굴추적 방법
Zou et al. Statistical analysis of signal-dependent noise: application in blind localization of image splicing forgery
US9842406B2 (en) System and method for determining colors of foreground, and computer readable recording medium therefor
KR100586227B1 (ko) 색분포 학습을 통한 얼굴영역 추출 방법
JP2001209808A (ja) 物体抽出システムと方法並びに物体抽出用プログラムを記憶した記憶媒体
JP2007025901A (ja) 画像処理装置、画像処理方法
Pahor et al. A fuzzy approach to mouth corner detection
CN113538337B (zh) 检测方法、检测装置及计算机可读存储介质
Bandara et al. A feature clustering approach based on Histogram of Oriented Optical Flow and superpixels