JP2005316898A - 目標存在確率推定方法及び装置及びプログラム - Google Patents
目標存在確率推定方法及び装置及びプログラム Download PDFInfo
- Publication number
- JP2005316898A JP2005316898A JP2004136589A JP2004136589A JP2005316898A JP 2005316898 A JP2005316898 A JP 2005316898A JP 2004136589 A JP2004136589 A JP 2004136589A JP 2004136589 A JP2004136589 A JP 2004136589A JP 2005316898 A JP2005316898 A JP 2005316898A
- Authority
- JP
- Japan
- Prior art keywords
- existence probability
- target
- tracking
- target existence
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Analysis (AREA)
Abstract
【課題】 画像間で追跡目標の色が多少変動した際、追跡目標が存在する画素の目標存在確率に大きな変化が生じないようにさせることを可能にする。
【解決手段】 本発明は、入力された画像系列を記憶手段に格納し、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納し、メモリの基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得し、基準画像をHSV表色系の色相成分で表現された画像へ変換し、領域における各画素の色相成分からヒストグラムを作成し、ヒストグラムから色相成分毎の追跡目標存在確率を推定し、追跡目標存在確率を補正する。
【選択図】 図1
【解決手段】 本発明は、入力された画像系列を記憶手段に格納し、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納し、メモリの基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得し、基準画像をHSV表色系の色相成分で表現された画像へ変換し、領域における各画素の色相成分からヒストグラムを作成し、ヒストグラムから色相成分毎の追跡目標存在確率を推定し、追跡目標存在確率を補正する。
【選択図】 図1
Description
本発明は、目標存在確率推定方法及び装置及びプログラムに係り、特に、画像処理により映像中から色を利用して目標部分の追跡を行うための目標存在確率推定方法及び装置及びプログラムに関する。
画像処理による目標追跡技術には、例えば、テンプレートマッチングによるものがある(例えば、非特許文献1参照)。この方法は予め登録されたテンプレートと一致する目標を探すため、目標の向きや形が変わる際には利用が難しい。色を利用した目標追跡技術であればこの問題を解決することが可能である(例えば、特許文献1参照)。この色を利用した目標追跡技術では、まず、映像中から基準画像を選び、基準画像から追跡元となる任意の領域R及び領域Rを含む任意の周辺領域Aを指定する(図6)。次に、式1,2,3,4によりこの基準画像内の各画素についてHSV表色系の色相成分Hへの変換を行う。
[式1]
Vmax=max{R,G,B}, Vmin=min{R,G,B}
(但し、RGB表色系の赤、緑、青成分をそれぞれR,G,Bとする)
[式2]
r=(Vmax−R)/(Vmax−Vmin)
g=(Vmax−G)/(Vmax−Vmin)
b=(Vmax−B)/(Vmax−Vmin) (2)
[式3]
h=(b−g)π/3 (R=Vmaxのとき)
h=(2+r−b)π/3 (G=Vmaxのとき)
h=(4+g−r)π/3 (B=Vmaxのとき)
[式4]
Vmax=max{R,G,B}, Vmin=min{R,G,B}
(但し、RGB表色系の赤、緑、青成分をそれぞれR,G,Bとする)
[式2]
r=(Vmax−R)/(Vmax−Vmin)
g=(Vmax−G)/(Vmax−Vmin)
b=(Vmax−B)/(Vmax−Vmin) (2)
[式3]
h=(b−g)π/3 (R=Vmaxのとき)
h=(2+r−b)π/3 (G=Vmaxのとき)
h=(4+g−r)π/3 (B=Vmaxのとき)
[式4]
変換後のH成分を用いて図6の領域A,RについてそれぞれH成分の256段階のヒストグラムを作成する。ここで、ヒストグラムのそれぞれの値は、各領域内に存在する色相成分毎の画素数となっている。そして、式5により色相成分毎の目標存在確率P[h]が得られる。
[式5]
上記の方法で得られた色相成分毎の目標存在確率は、例えば、図7のように隙間ができてしまい、隣接する色相成分の間で大きく値が異なる場合がある。このような場合に実際の画像系列で目標の追跡を試みると、本来、追跡目標が存在する画素の目標存在確率が高くなるはずが、画像間で追跡目標の色がわずかに変化した場合、追跡目標が存在する画素であるにもかかわらず目標存在確率が大きく下がってしまう現象が生じることがある。
本発明は、上記の点に鑑みなされたもので、画像間で追跡目標の色が多少変動した際、追跡目標が存在する画素の目標存在確率に大きな変化が生じないようにさせることが可能な目標追跡のための存在確率推定方法及び装置及びプログラムを提供することを目的とする。
図1は、本発明の原理を説明するための図である。
本発明は、画像処理により映像中から目標部分の追跡を行うための目標存在確率推定方法において、
入力された画像系列を記憶手段に格納し(ステップ1)、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納する(ステップ2)基準画像取得ステップと、
メモリに格納された基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得する(ステップ3)領域指定ステップと、
基準画像をHSV表色系の色相成分で表現された画像へ変換する(ステップ4)H成分変換ステップと、
領域指定ステップで指定された領域における各画素の色相成分からヒストグラムを作成する(ステップ4)ヒストグラム作成ステップと、
ヒストグラム作成ステップで作成されたヒストグラムから色相成分毎の追跡目標存在確率を推定する(ステップ5)目標存在確率推定ステップと、
目標存在確率推定ステップで推定された追跡目標存在確率を補正する(ステップ6)目標存在確率補正ステップと、からなる。
入力された画像系列を記憶手段に格納し(ステップ1)、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納する(ステップ2)基準画像取得ステップと、
メモリに格納された基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得する(ステップ3)領域指定ステップと、
基準画像をHSV表色系の色相成分で表現された画像へ変換する(ステップ4)H成分変換ステップと、
領域指定ステップで指定された領域における各画素の色相成分からヒストグラムを作成する(ステップ4)ヒストグラム作成ステップと、
ヒストグラム作成ステップで作成されたヒストグラムから色相成分毎の追跡目標存在確率を推定する(ステップ5)目標存在確率推定ステップと、
目標存在確率推定ステップで推定された追跡目標存在確率を補正する(ステップ6)目標存在確率補正ステップと、からなる。
また、上記の目標存在確率補正ステップにおいて、
追跡目標存在確率の補正において、追跡目標存在確率を、隣接する色相成分間で近い値に補正する。
追跡目標存在確率の補正において、追跡目標存在確率を、隣接する色相成分間で近い値に補正する。
図2は、本発明の原理構成図である。
本発明は、画像処理により映像中から目標部分の追跡を行うための目標存在確率推定装置であって、
入力された画像系列を記憶手段20に格納し、該記憶手段20に格納された画像系列を表示手段1に表示することにより選択された基準画像をメモリ40に格納する基準画像取得手段10と、
メモリ40に格納された基準画像を表示手段1に表示することにより、指定された該基準画像中の追跡元となる領域を取得する領域指定手段30と、
基準画像をHSV表色系の色相成分で表現された画像へ変換するH成分変換手段50と、
領域指定手段30で指定された領域における各画素の色相成分からヒストグラムを作成するヒストグラム作成手段60と、
ヒストグラム作成手段60で作成されたヒストグラムから色相成分毎の追跡目標存在確率を推定する目標存在確率推定手段70と、
目標存在確率推定手段70で推定された追跡目標存在確率を補正する目標存在確率補正手段80と、を有する。
入力された画像系列を記憶手段20に格納し、該記憶手段20に格納された画像系列を表示手段1に表示することにより選択された基準画像をメモリ40に格納する基準画像取得手段10と、
メモリ40に格納された基準画像を表示手段1に表示することにより、指定された該基準画像中の追跡元となる領域を取得する領域指定手段30と、
基準画像をHSV表色系の色相成分で表現された画像へ変換するH成分変換手段50と、
領域指定手段30で指定された領域における各画素の色相成分からヒストグラムを作成するヒストグラム作成手段60と、
ヒストグラム作成手段60で作成されたヒストグラムから色相成分毎の追跡目標存在確率を推定する目標存在確率推定手段70と、
目標存在確率推定手段70で推定された追跡目標存在確率を補正する目標存在確率補正手段80と、を有する。
また、上記の目標存在確率補正手段80は、追跡目標存在確率を、隣接する色相成分間で近い値に補正する手段を含む。
本発明は、画像処理により映像中から目標部分の追跡を行うための目標存在確率推定プログラムであって、
コンピュータに、
入力された画像系列を記憶手段に格納し、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納する基準画像取得ステップと、
メモリに格納された基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得する領域指定ステップと、
基準画像をHSV表色系の色相成分で表現された画像へ変換するH成分変換ステップと、
領域指定ステップで指定された領域における各画素の色相成分からヒストグラムを作成するヒストグラム作成ステップと、
ヒストグラム作成ステップで作成されたヒストグラムから色相成分毎の追跡目標存在確率を推定する目標存在確率推定ステップと、
目標存在確率推定ステップで推定された追跡目標存在確率を補正する目標存在確率補正ステップと、を実行させる。
コンピュータに、
入力された画像系列を記憶手段に格納し、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納する基準画像取得ステップと、
メモリに格納された基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得する領域指定ステップと、
基準画像をHSV表色系の色相成分で表現された画像へ変換するH成分変換ステップと、
領域指定ステップで指定された領域における各画素の色相成分からヒストグラムを作成するヒストグラム作成ステップと、
ヒストグラム作成ステップで作成されたヒストグラムから色相成分毎の追跡目標存在確率を推定する目標存在確率推定ステップと、
目標存在確率推定ステップで推定された追跡目標存在確率を補正する目標存在確率補正ステップと、を実行させる。
また、上記の目標存在確率補正ステップにおいて、
追跡目標存在確率の補正において、追跡目標存在確率を、隣接する色相成分間で近い値に補正するステップを実行させる。
追跡目標存在確率の補正において、追跡目標存在確率を、隣接する色相成分間で近い値に補正するステップを実行させる。
上記のように、本発明では、従来技術により得られた色相成分毎の目標存在確率を補正するものである。従来技術では得られた色相成分毎の目標存在確率が、隣接する色相成分で大きく異なることが問題であった。本来、似た色を含む画素であれば、その画素が対軌跡目標である確率も近い値であるべきである。本発明は、この考え方に基づき、従来技術により得られた色相成分毎の目標存在確率を、隣接する色相成分間で近い値に補正するものである。
上述のように本発明によれば、追跡を行う画像間で、追跡目標に含まれる画素の色相成分が多少変化した場合に、その画素が追跡目標である確率が大きく失われることを防ぐ効果が得られる。
以下、図面と共に本発明の実施の形態を説明する。
図3は、本発明の一実施の形態における目標存在確率推定装置の構成を示す。
同図に示す目標存在確率推定装置は、ディスプレイ、キーボード、マウス等を有する入出力装置1と出力結果を蓄積する補正結果記憶装置2に接続されている。
目標確率推定装置は、基準画像読み込み部10、画像記憶部20、領域指定部30、メモリ30、H成分変換部50、ヒストグラム作成部60、目標存在確率推定部70、及び目標存在確率補正部80から構成される。
上記の構成における動作を以下に説明する。
図4は、本発明の一実施の形態における目標存在確率推定装置の動作のフローチャートである。
ステップ301) 基準画像読み込み部10は、種々の外部記憶媒体から、ディジタル化された静止画像または、動画像の任意の単一フレームを読み込み、画像記憶部20に一旦書き込む。なお、ここでは、入力される画像の解像度や、保存形式、内容、記憶媒体については特に制限しない。
さらに、領域指定部30は、画像記憶部20に格納された画像を読み出して、入出力装置1のディスプレイに表示し、オペレータが表示された追跡を行う画像系列から追跡の基準とする画像を選択すると、選択された画像をメモリ30に格納する。なお、画像の選択は、オペレータの判断で自由に行ってよい。
ステップ302) 次に、領域指定部30が、メモリ30に格納された基準画像を入出力装置1のディスプレイに表示することにより、オペレータから追跡の元となる領域Rが指定されると、H成分変換部50に渡す。オペレータが領域Rを指定する方法としては、例えば、マウスでディスプレイに表示された基準画像から領域の4隅をクリックし、矩形で領域Rを指定する。ここで指定した領域Rに含まれるオブジェクトを追跡することになる。また、指定した領域Rを含む任意の領域Aも合わせて指定する。指定する領域R,Aは矩形である必要はなく、任意の図形でかまわない。また、領域の位置に関してもオペレータによる判断で任意に決めてよい。指定された領域は例えば、図6のようになる。指定された領域は4隅の座標、または、領域内の全画素の羅列などによる表現される。
ステップ303) H成分変換部50は、ステップ301で選択された基準画像内の全ての画素について前述の式1〜4を用いて、それぞれH成分への変換を行う。この変換により基準画像内の各画素がH成分で表現された画像が得られる。ここでH成分は、0〜255の整数256段階で表現されている。
ステップ304) ステップ303で得られたH成分で表現された基準画像に対し、ヒストグラム作成部60は、ステップ302で指定された領域R,A内の画素を色相成分毎にカウントし、色相成分に関するヒストグラムをそれぞれ得る。このヒストグラムは256段階で、オペレータにより指定された領域内に含まれる各色相成分の画素の数を表している。
ステップ305) 次に、目標存在確率指定部70において、前述の式5を用いてステップ304で得られた領域Rのヒストグラムを領域Aのヒストグラムで色相成分毎に割り算することで目標存在確率の推定値を得る。この推定値は、256段階の色相成分毎に0〜1の値となる。ここで得られた推定値は例えば、図7のようになる。
ステップ306) 最後に、目標存在確率補正部80において、ステップ305で得られた目標存在確率の推定値の補正を行う。具体的には、以下の式6のようにガウス関数を用いた補正が挙げられる。
[式6]
この補正により得られる推定値は、256段階の色相成分毎に1〜0の値となる。例として、図7に挙げた推定式を上記の式6によって補正した場合の結果は、図5のようになる。このようにして求められた補正結果を補正結果記憶装置2に格納する。
上記の処理により、従来技術によって得られた目標存在確率の推定値の、隣接する色相成分間での変動が少なくなり、画像間の色変化による追跡目標の推定値の低下を抑えることができる。
また、上記の図4に示すフローチャートの動作をプログラムとして構築し、目標存在確率推定装置として利用されるコンピュータにインストールし、CPU等で実行させる、または、ネットワークを介して取得して実行させることが可能である。
また、構築されたプログラムを目標存在確率推定装置に接続されるハードディスク装置や、フレキシブルディスク、CD−ROM等の可搬記憶媒体に格納しておき、コンピュータにインストールすることも可能である。
なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において、種々変更・応用が可能である。
本発明は、画像処理により映像中から目標部分の追跡を行うための技術に適用可能である。
1 表示手段、入出力装置
2 補正結果記憶装置
10 基準画像取得手段、基準画像読み込み部
20 記憶手段、画像記憶部
30 領域指定手段、領域指定部
40 メモリ
50 H成分変換手段、H成分変換部
60 ヒストグラム作成手段、ヒストグラム作成部
70 目標存在確率推定手段、目標存在確率推定部
80 目標存在確率補正手段、目標存在確率補正部
2 補正結果記憶装置
10 基準画像取得手段、基準画像読み込み部
20 記憶手段、画像記憶部
30 領域指定手段、領域指定部
40 メモリ
50 H成分変換手段、H成分変換部
60 ヒストグラム作成手段、ヒストグラム作成部
70 目標存在確率推定手段、目標存在確率推定部
80 目標存在確率補正手段、目標存在確率補正部
Claims (6)
- 画像処理により映像中から目標部分の追跡を行うための目標存在確率推定方法において、
入力された画像系列を記憶手段に格納し、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納する基準画像取得ステップと、
前記メモリに格納された前記基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得する領域指定ステップと、
前記基準画像をHSV(Hus Saturation Value)表色系の色相成分で表現された画像へ変換するH成分変換ステップと、
前記領域指定ステップで指定された前記領域における各画素の色相成分からヒストグラムを作成するヒストグラム作成ステップと、
前記ヒストグラム作成ステップで作成された前記ヒストグラムから色相成分毎の追跡目標存在確率を推定する目標存在確率推定ステップと、
前記目標存在確率推定ステップで推定された前記追跡目標存在確率を補正する目標存在確率補正ステップと、
からなることを特徴とする目標存在確率推定方法。 - 前記目標存在確率補正ステップにおいて、
前記追跡目標存在確率の補正において、前記追跡目標存在確率を、隣接する色相成分間で近い値に補正する請求項1記載の目標存在確率推定方法。 - 画像処理により映像中から目標部分の追跡を行うための目標存在確率推定装置であって、
入力された画像系列を記憶手段に格納し、該記憶手段に格納された画像系列を表示手段に表示することにより選択された基準画像をメモリに格納する基準画像取得手段と、
前記メモリに格納された前記基準画像を前記表示手段に表示することにより、指定された該基準画像中の追跡元となる領域を取得する領域指定手段と、
前記基準画像をHSV(Hus Saturation Value)表色系の色相成分で表現された画像へ変換するH成分変換手段と、
前記領域指定手段で指定された前記領域における各画素の色相成分からヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段で作成された前記ヒストグラムから色相成分毎の追跡目標存在確率を推定する目標存在確率推定手段と、
前記目標存在確率推定手段で推定された前記追跡目標存在確率を補正する目標存在確率補正手段と、
を有することを特徴とする目標存在確率推定装置。 - 前記目標存在確率補正手段は、
前記追跡目標存在確率を、隣接する色相成分間で近い値に補正する手段を含む請求項3記載の目標存在確率推定装置。 - 画像処理により映像中から目標部分の追跡を行うための目標存在確率推定プログラムであって、
コンピュータに、
入力された画像系列を記憶手段に格納し、該記憶手段に格納された画像系列を表示することにより選択された基準画像をメモリに格納する基準画像取得ステップと、
前記メモリに格納された前記基準画像を表示することにより指定された該基準画像中の追跡元となる領域を取得する領域指定ステップと、
前記基準画像をHSV(Hue Saturation Value)表色系の色相成分で表現された画像へ変換するH成分変換ステップと、
前記領域指定ステップで指定された前記領域における各画素の色相成分からヒストグラムを作成するヒストグラム作成ステップと、
前記ヒストグラム作成ステップで作成された前記ヒストグラムから色相成分毎の追跡目標存在確率を推定する目標存在確率推定ステップと、
前記目標存在確率推定ステップで推定された前記追跡目標存在確率を補正する目標存在確率補正ステップと、
を実行させることを特徴とする目標存在確率推定プログラム。 - 前記目標存在確率補正ステップにおいて、
前記追跡目標存在確率の補正において、前記追跡目標存在確率を、隣接する色相成分間で近い値に補正するステップを実行させる請求項5記載の目標存在確率推定プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004136589A JP2005316898A (ja) | 2004-04-30 | 2004-04-30 | 目標存在確率推定方法及び装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004136589A JP2005316898A (ja) | 2004-04-30 | 2004-04-30 | 目標存在確率推定方法及び装置及びプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005316898A true JP2005316898A (ja) | 2005-11-10 |
Family
ID=35444227
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004136589A Pending JP2005316898A (ja) | 2004-04-30 | 2004-04-30 | 目標存在確率推定方法及び装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005316898A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007148663A (ja) * | 2005-11-25 | 2007-06-14 | Sony Corp | オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム |
-
2004
- 2004-04-30 JP JP2004136589A patent/JP2005316898A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007148663A (ja) * | 2005-11-25 | 2007-06-14 | Sony Corp | オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム |
JP4682820B2 (ja) * | 2005-11-25 | 2011-05-11 | ソニー株式会社 | オブジェクト追跡装置及びオブジェクト追跡方法、並びにプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10187546B2 (en) | Method and device for correcting document image captured by image pick-up device | |
JP5870598B2 (ja) | 画像のホワイトバランス処理方法及び装置 | |
JP2010079545A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2005292132A (ja) | 単一のイメージからのラジオメトリック較正 | |
JP5351971B2 (ja) | モーションベクトルを決定するための方法、装置及びソフトウエア | |
KR20100098641A (ko) | 불변적인 시각적 장면 및 객체 인식 | |
CA2676283C (en) | A method for aligning a modified document and an original document for comparison and difference highlighting | |
US9087272B2 (en) | Optical match character classification | |
CN110717060B (zh) | 图像mask的过滤方法、装置及存储介质 | |
US20100040304A1 (en) | Image quality improvement processing apparatus, image quality improvement processing method and computer-readable recording medium storing image quality improvement processing computer program | |
US9077926B2 (en) | Image processing method and image processing apparatus | |
JP6771134B2 (ja) | 画像補正方法及び画像補正装置 | |
US9785839B2 (en) | Technique for combining an image and marker without incongruity | |
JP2011141600A (ja) | 画像処理装置及び方法、並びに、プログラム | |
JP2004362443A (ja) | パラメータ決定方式 | |
JP2021196451A (ja) | 画像変換装置、画像変換方法及び画像変換用コンピュータプログラム | |
JP2010028429A (ja) | 画像処理装置、画像処理方法およびプログラム | |
US8990681B2 (en) | Method for aligning a modified document and an original document for comparison and difference highlighting | |
JP2012060452A (ja) | 画像処理装置、その方法およびプログラム | |
JP2005316898A (ja) | 目標存在確率推定方法及び装置及びプログラム | |
WO2022056875A1 (zh) | 一种铭牌图像的分割方法、装置和计算机可读存储介质 | |
JP2013182416A (ja) | 特徴量抽出装置、特徴量抽出方法及び特徴量抽出プログラム | |
JP5563390B2 (ja) | 画像処理装置およびその制御方法、及びプログラム | |
JP2007156954A (ja) | 信頼度テーブル作成方法、オプティカルフロー推定方法、信頼度テーブル作成装置、オプティカルフロー推定装置、及びプログラム | |
JP2010039968A (ja) | オブジェクト検出装置及び検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090619 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090623 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20091020 |