JP2015507736A - ターゲットサイズを見積もるためのシステム及び方法 - Google Patents

ターゲットサイズを見積もるためのシステム及び方法 Download PDF

Info

Publication number
JP2015507736A
JP2015507736A JP2014545371A JP2014545371A JP2015507736A JP 2015507736 A JP2015507736 A JP 2015507736A JP 2014545371 A JP2014545371 A JP 2014545371A JP 2014545371 A JP2014545371 A JP 2014545371A JP 2015507736 A JP2015507736 A JP 2015507736A
Authority
JP
Japan
Prior art keywords
size
target
pixel
standard deviation
estimating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014545371A
Other languages
English (en)
Other versions
JP5976126B2 (ja
Inventor
エルデム・アカグンドゥツ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aselsan Elektronik Sanayi ve Ticaret AS
Original Assignee
Aselsan Elektronik Sanayi ve Ticaret AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aselsan Elektronik Sanayi ve Ticaret AS filed Critical Aselsan Elektronik Sanayi ve Ticaret AS
Publication of JP2015507736A publication Critical patent/JP2015507736A/ja
Application granted granted Critical
Publication of JP5976126B2 publication Critical patent/JP5976126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本発明は特に赤外線画像システムの画像の周知位置のオブジェクトサイズを見積もるシステムと方法に関する。方法は、ターゲットオブジェクトとその上のピクセル座標とを含むピクセル画像を受信するステップ、そのピクセル周りを中心とする矩形ウインドウ内部でピクセル標準偏差を計算しステップサイズでウインドウを続いて拡大することで標準偏差グラフに対する少なくとも一のウインドウサイズを取得するステップ、グラフは単調減少であるかどうか確認するステップ、標準偏差が最初減少し始めるポイントのウインドウサイズを見出して記録するステップ、従前記録されたウインドウサイズが現存するかどうか確認するステップ、ウインドウサイズを見積もるステップ、最大繰り返し限度を超えたかどうか確認するステップ、ステップサイズ及び初期ウインドウサイズを増加するステップ、及び所定の最小ウインドウサイズとしてウインドウサイズを見積もるステップを含む。

Description

本発明は、画像上の周知の位置の、オブジェクトのサイズを見積もるための画像処理及び方法の分野に関し、特に、ターゲットと背景の間にコントラスト差が一般的に有る赤外線撮像システムに関する。
静止画像若しくは映像フレーム上の、オブジェクト(即ち、等価的には「ターゲット」)の位置及びサイズを見積もる方法及びモデルを利用するシステムがあることが、知られている。赤外線探査追跡(IRST)システムは、場面の赤外線画像が取得されてグレースケールフォーマットに変換されるのであるが、それらシステムの好適な例である。取得される画像は、これらの配置における赤外線強度を表す二次元アレイのピクセル値から成る。統計的アプローチを用いて、例えば、中心ピクセルの周りの近隣ピクセルの強度値の標準偏差を計算し引き続いてターゲットが検出されるまでこの近隣エリアを減少することにより、ターゲットの配置及びサイズを見積もる方法が、現下存在する。この統計的アプローチは、異なる強度のピクセルの分布である画像ヒストグラムの決定を要求するものである。このようなアプローチは合理的であると考えられ得る。しかしながら、実際には、問題をよりずっと複雑にする赤外線映像の場合、センサから発生し得るノイズなどの懸念、ターゲットのテクスチャ、若しくは予想外の温度変化により、システムが影響されないことを保証する、別のステップが在るべきである。
更に、ある場合では、ターゲットの位置は予め知られている。このため、ターゲットのサーチは不必要であり、主目的は、ピクセル位置に基づいてターゲットサイズを決定することである。このような場合、ターゲットの位置は、ユーザにより(例えば、ポインティングデバイスにより)与えられ得るのであり、方法は、(全ての可能なサイズの)異なるウインドウ内部でターゲットをサーチすることにより、ターゲットサイズを決定するものである。これは非常に遅い処理であり、画像解像度に依存する。更に、システムがノイズ/テクスチャにより影響されているかどうかを決定する簡素な方法が要求される。この方法は、通常S/N比解析により為されるものであり非効率でもある。
別の方法では、画像勾配値も、ターゲット位置を検出するのに用いられ得る。この方法は画像ノイズに影響されやすく、方法の焦点はターゲット位置のみを検出することである。ターゲットサイズを検出するために、所与のターゲット位置の周りのエリア内のピクセル値の標準偏差を計算する方法が用いられるべきである。
前述の問題を解決するために、画像の尺度空間(様々な尺度若しくは倍率を伴う画像の表現)を生成する方法が、用いられ得る。尺度空間ベースの方法は、テクスチャ及び/又はノイズにより生じる問題を処理でき、画像解像度と無関係にターゲットサイズを検出できる。画像内のターゲット上の突出した特徴を決定するために、画像の尺度空間を用いる従来の方法がある。しかしながら、これらの方法は、ターゲットサイズを見積もることを目的とするものでは無いことは明白であり、我々の目的には不必要である複雑な畳み込み演算を含む。
結果として、所与の位置のターゲットオブジェクトを含むグレーレベル画像に対して、現行の方法は、最小限数の背景ピクセルで全体ターゲットをカプセル化する矩形のサイズを見積もる簡素且つ効率的なやり方を提供するものでは無い。
最新の出願である、米国特許公開第20110001823号公報(特許文献1)は、個々の繰り返しで1ピクセルずつウインドウサイズを変えることによりターゲットサイズが探索されるピクセル標準偏差を用いて、ターゲット配置及びサイズを検出する方法を、開示する。
ピクセル標準偏差を用いてターゲットサーチを実行する、という意味で本願発明は前述の方法に類似する。しかしながら、前述の方法とは異なり、本願発明は、ピクセル標準偏差の尺度空間を生成する。換言すれば、成長するウインドウ内の標準偏差を計算しつつ、成長するステップサイズは増加し、所定の回数繰り返される。よって、ターゲットサイズサーチは、引き続いて増加するステップサイズで実施される。これにより、本願発明は、個々の繰り返しで1ピクセルずつウインドウサイズを変える前述の方法とは異なり、画像解像度と無関係にターゲットサイズを計算できる。
最新の出願である、米国特許第7430303号明細書(特許文献2)は、画像勾配値を用いて画像内のターゲットを検出する方法を開示する。
勾配値は画像ノイズに非常に敏感であるので本願発明は勾配値を用いない、という意味で、本願発明は前述の方法と異なる。その代わりに本願発明はピクセル標準偏差を用いる。ピクセル標準偏差は画像ノイズに対してよりずっと頑強であるからである。
最新の出願である、米国特許第6711293号明細書(特許文献3)は、画像上の突出した特徴を検出する方法を開示し、該方法ではガウス分布の差異が尺度空間を構築するのに用いられる。
画像から構築される尺度空間を用いてターゲット解析を実行する、という意味で、本願発明は前述の方法に類似する。しかしながら、本願発明はピクセル標準偏差を用いて尺度空間を生成し、一方で前述の方法はガウス分布の差異を用いて尺度空間を生成する。更に、前述の方法のアウトプットは画像上の突出した点のリストであり、本願発明のアウトプットは、所与のピクセル位置におけるターゲットのサイズである。
米国特許公開第20110001823号公報 米国特許第7430303号明細書 米国特許第6711293号明細書
本発明の目的は、ターゲットのピクセル位置を所与として、センサから受信される画像上のターゲットのサイズを見積もる方法を提供することである。
本発明の目的は、ピクセル標準偏差を用いて、最小限数の背景ピクセルにより全体ターゲットをカプセル化する矩形のサイズを見積もる簡素且つ効率的な方法を提供することである。
本発明の目的は、ターゲットを捕獲するのに用いられる撮像システムの解像度とは無関係にターゲットサイズを見積もる方法を提供することである。
ターゲットサイズを見積もる方法(100)は、基本的に以下のステップを含む。
・少なくとも一つのターゲットオブジェクトと、ターゲット上のピクセルの少なくとも一つの座標とを含む、ピクセル画像を受信するステップ(101)、
・ターゲット上の受信されたピクセル周りを中心とする矩形ウインドウ内部に存在するピクセルに対してピクセル標準偏差を計算し、初期のウインドウサイズから開始して所望のウインドウサイズまで標準偏差グラフに対する少なくとも一つのウインドウサイズを取得することで、引き続いて少なくとも一つの方向でステップサイズだけウインドウを拡大する、ステップ(102)、
・グラフは単調減少であるかどうか、確認するステップ(103)、
・増加するウインドウサイズにより、標準偏差が最初に減少し始めるポイントにおける、ウインドウサイズを見出して記録をする、ステップ(104)、
・従前に記録されたウインドウサイズが現存するかどうか、確認するステップ(105)、
・最後に記録されたウインドウサイズとして、最小限数の背景ピクセルにより全体ターゲットをカプセル化するウインドウサイズを見積もるステップ(106)、
・最大の繰り返しの限度を超えたかどうか、確認するステップ(107)、
・標準偏差グラフを生成するのに用いられる、ステップサイズ及び初期のウインドウサイズを、所定量だけ増加するステップ(108)、及び、
・所定の最小ウインドウサイズとして、ウインドウサイズを見積もるステップ(109)。
ターゲットサイズを見積もるシステムは基本的に以下のものを含む。
・必要時に、対象のシーンの少なくとも一つの電子ピクセル画像を獲得する少なくとも一つの画像センサ(2)、
・必要時にユーザからターゲット上のポイントの少なくとも一つの座標を受信するように構成された少なくとも一つのインタフェースデバイス(4)、
・少なくとも一つの画像を受信し、利用可能時にターゲット上のピクセルの少なくとも一つの座標を受信し、これらデータを用いてターゲットサイズを見積もる方法(100)を実装し、ターゲットピクセルの周りにサイズが前記方法(100)により決定された少なくとも一つの矩形をユーザインタフェースデバイス(4)に対してプリントする、ように構成された少なくとも一つの画像処理ユニット(3)。
本発明の目的を満たすために実現されたシステム及び方法は、添付の図面に示される。
図1は、好適な実施形態のシステムの概略図である。 図2は、本発明の好適な方法のフローチャートである。 図3(グラフ1)は、低ノイズ、低テクスチャターゲットについての正方形ウインドウのための、ウインドウサイズグラフに対する標準偏差である。
ターゲットサイズを見積もる方法(100)は、基本的に以下のステップを含む。
・少なくとも一つのターゲットオブジェクトと、ターゲット上のピクセルの少なくとも一つの座標とを含む、ピクセル画像を受信するステップ(101)、
・ターゲット上の受信されたピクセル周りを中心とする矩形ウインドウ内部に存在するピクセルに対してピクセル標準偏差を計算し、初期のウインドウサイズから開始して所望のウインドウサイズまで標準偏差グラフに対する少なくとも一つのウインドウサイズを取得することで、引き続いて少なくとも一つの方向でステップサイズだけウインドウを拡大する、ステップ(102)、
・グラフは単調減少であるかどうか、確認するステップ(103)、
・増加するウインドウサイズにより、標準偏差が最初に減少し始めるポイントにおける、ウインドウサイズを見出して記録をする、ステップ(104)、
・従前に記録されたウインドウサイズが現存するかどうか、確認するステップ(105)、
・最後に記録されたウインドウサイズとして、最小限数の背景ピクセルにより全体ターゲットをカプセル化するウインドウサイズを見積もるステップ(106)、
・最大の繰り返しの限度を超えたかどうか、確認するステップ(107)、
・標準偏差グラフを生成するのに用いられる、ステップサイズ及び初期のウインドウサイズを、所定量だけ増加するステップ(108)、及び、
・所定の最小ウインドウサイズとして、ウインドウサイズを見積もるステップ(109)。
最初に、対象のシーンのグレーレベル画像が、この画像のターゲット上のピクセルの座標と共に、受信される(101)。ターゲットとその背景の間に高コントラストがあること、及び、両者の間に低コントラストがあることを、独立して仮定する。ターゲットを適宜取り囲む架空ウインドウの範囲内で、ウインドウ内のピクセルに対して計算された計算上のピクセル標準偏差は、最大値に近接する。理論上、所与のピクセル周りの様々なサイズのウインドウに対して計算されたピクセル標準偏差値に対しては、ターゲットサイズは、最大ピクセル標準偏差を与えるウインドウサイズに等しい。従って、ピクセル標準偏差が最大となる、ターゲット周りの架空ウインドウのサイズは、最小限数の背景ピクセルにより全体ターゲットをカプセル化するウインドウサイズ、即ち、ターゲットサイズに対する、良好な見積として仮定され得る。
次のステップでは(101)、ターゲット上の所与のピクセル周りのピクセル標準偏差が、様々なウインドウサイズを用いる、成長する矩形ウインドウの範囲内で、見出される。このステップの間、ウインドウサイズは少なくとも一つの方向で増加するが、この方向は、継続的な拡大と同じ方向である。一つの方向での拡大は、所定のサイズから開始して、関連するステップサイズで為される。最後には、高さ及び幅を有するあらゆる所望のウインドウサイズに対して、標準偏差グラフに対するウインドウサイズが、取得される(102)。
例えば、正方形若しくは円形ターゲットのサイズを見積もるために、同じステップサイズで両方の方向に正方形ウインドウを拡大できる。不規則形状(例えば、楕円)に対しては、拡大は、独立した方向で無関係に為され得る。従って、異なる方向に対する標準偏差の変化を見つけることが可能であり、よって、非対称図形のサイズも計算し得る。矩形ウインドウは、ターゲットピクセル座標周りを適宜回転し得るが、ウインドウサイズグラフに対する標準偏差を取得するために、一連の標準偏差計算の始めから終わりまで、この回転は同一を維持すべきである。それにもかかわらず、ステップ(102)の終わりでは、画像ノイズが過剰で無く(赤外線画像に対して、ターゲットは通常詳細なテクスチャを有さないが)ターゲットが詳細なテクスチャを有さないならば、図3(グラフ1)のものと同様のウインドウサイズグラフに対する標準偏差が、最大値により取得される。
赤外線画像において当該方法が適切に稼働することを妨げ得る、要因は、ターゲット上の、過度の画像ノイズ、詳細なターゲットテクスチャ、及び温度の突然変動などである。これらの条件は、独立して、ターゲットと背景の間に高コントラストがあり、且つ、両者の間に低コントラストがある、という仮定に反する。このように、一つ以上の最大標準偏差値がこれらの状況下で最終グラフに存在し得るので問題は未解決のままである。しかしながら、方法は、ターゲットと背景の間の最も一般的且つ意義高い区別を調査することを目的とする。個々のウインドウが異なるスケールで解析され得るならば、ターゲットに対して、より一般的且つ良好な区別を見つけることが可能である。ウインドウサイズリミットは、妥当な過程により予め決定される。
「グラフは単調減少であるかどうか」(103)のチェックが、グラフに適用されてグラフは最大値を有するか否かを判定する。答えが「No」であるならば、最大値が存在する。最大値がグラフに存在するならば、標準偏差が最初に減少し始めるポイント(グラフの最大値の右に最近接するデータポイント)におけるウインドウが、ステップ(104)にて記録される。右に最近接するデータポイントは、次の(より大きい)ウインドウサイズに関連するデータポイントを、等価的に意味する。グラフが単調減少であるならば(即ち、答えが「Yes」であるならば)、従前に記録されたウインドウサイズに対するチェック(「従前に記録されたウインドウサイズが現存するかどうか」)が、ステップ(105)にて実行される。従前に記録されたウインドウサイズが在るならば、最小限数の背景ピクセルにより全体ターゲットをカプセル化するウインドウサイズが、ステップ(106)にて、最後に記録されたウインドウサイズとして見積もられる。
前述のように、単調減少グラフに先立つ最大値(実際には、標準偏差が最初に減少し始めるポイント)が、サーチされ記録される。サーチの間、(あらゆる標準偏差計算に対してウインドウサイズを拡大するのに用いられる)ステップサイズは、どの繰り返しでも増加する(108)。換言すれば、ウインドウサイズグラフに対する様々な標準偏差を取得するために、ウインドウサイズは、ステップサイズの増加するレベルにより拡大される。例えば、第1のグラフ(ステップサイズ=2)に対してウインドウサイズが3×3;5×5;7×7などであるならば、第2のランに対してそれらは3×3;7×7;11×11(ステップサイズ=4)となる。これは、あらゆる繰り返しに対して画像をダウンサンプリングすることに類似するのであり、ピクセル標準偏差の尺度空間を用いるやり方を提示するものである。このように、より一般的なビューが継続的繰り返しにより取得される。単調減少グラフが見出されると、最大標準偏差を伴う従前のウインドウサイズは、ターゲットサイズに対する良好な見積となる。方法(100)の別の例では、標準偏差グラフを生成するのに用いられる、初期のウインドウサイズは、より高いスケールレベルと互換可能とするために、ステップ(108)のステップサイズに比例して、増加もする。
ステップ(104)と(105)の後、(ステップ(105)にて、従前に記録されたウインドウサイズが無いならば)、「最大の繰り返しの限度を超えたかどうか」のチェックがステップ(107)にて実行される。このチェックにより、当該方法は限度に達するまで繰り返されるのは、明白である。これにより、当該方法において、単調減少グラフが見出されるまで際限なく若しくは過度に繰り返しが行われることが防がれる。
限度を超える前に単調減少グラフが見出されないということには、二つの可能性がある。記録されたウインドウサイズがあるならば(即ち、従前の繰り返しにおいて、最大値を伴うグラフがあったならば)、更なるステップ(106)にてターゲットサイズはこの記録された値と見積もられる。又は、記録されたウインドウサイズが無いならば(即ち、従前の繰り返しにおいて、最大値を伴うグラフが何ら無かったならば)、ターゲットサイズは、所定の最小ウインドウサイズと見積もられる(109)(図2)。
(より高いスケールレベルのグラフにて最大値を有することは一般的に不可能であるので)第1のグラフが単調減少であるならば、当該方法(100)は、限度に達するまで繰り返され得る。その場合、ターゲットサイズは、予め定められた最小ウインドウサイズと評価され得る(109)。当該方法(100)の別の例では、予め定められた最小ウインドウサイズとターゲットサイズを直接的に評価するために、最初の繰り返しにて、グラフが単調減少であるかどうかチェックする追加のステップが含まれ得る。
より高いスケールレベルにて単調減少グラフが予測される理由は、ウインドウサイズに関連する。ステップ(108)にて更新されたウインドウサイズが十分に大きく、相当量の背景ピクセルとターゲットを両方カプセル化するならば、ウインドウサイズが更に増加されることから、より多くの背景ピクセルが計算に含まれることになるという事実により、標準偏差は減少する。従って、ターゲットウインドウサイズを与える正確なスケール(グラフの繰り返し数)はグラフで有り、このことは単調減少グラフにより承継される。このようなサーチアルゴリズムにより、当該方法が、より低いスケールレベル(小さいステップサイズによる繰り返し)によりミスリードされることが、防がれる。
ターゲットサイズを見積もるシステムは基本的に以下のものを含む。
・必要時に、対象のシーンの少なくとも一つの電子ピクセル画像を獲得する少なくとも一つの画像センサ(2)、
・必要時にユーザからターゲット上のポイントの少なくとも一つの座標を受信するように構成された少なくとも一つのインタフェースデバイス(4)、
・少なくとも一つの画像を受信し、利用可能時にターゲット上のピクセルの少なくとも一つの座標を受信し、これらデータを用いてターゲットサイズを見積もる方法(100)を実装し、ターゲットピクセルの周りにサイズが前記方法(100)により決定された少なくとも一つの矩形をユーザインタフェースデバイス(4)に対してプリントする、ように構成された少なくとも一つの画像処理ユニット(3)。
本発明の好適な実施形態では、画像センサ(2)は、予定されるターゲットとその背景との間の高コントラストを伴う画像を獲得するように構成されたセンサである。好適には、画像センサ(2)は、シーン内の温度差異を識別できる赤外線映像カメラである。
本発明の好適な実施形態では、ユーザインタフェースデバイス(4)は、マウス等のポインティングデバイス、ジョイスティック若しくは類似の器具、及び二次元ピクセル画像を表示できるデバイスから構成される。ユーザインタフェースデバイス(4)は、あらゆるピクセル画像に対して、ユーザから少なくとも一つの座標を受信することができる。ユーザはターゲットをポイントすると、その位置は、画像処理ユニット(3)上に実装される方法(100)で用いられるべく利用可能となる。ユーザは、いつでも、再ターゲットしてサイズ見積におけるミスを訂正することもできる。
本発明の好適な実施形態では、画像処理ユニット(3)は、画像センサ(2)から少なくとも一つの画像を受信し、ユーザインタフェースデバイス(4)から、利用可能時にターゲット上のピクセルの少なくとも一つの座標を受信するように構成されている。別の好適な実施形態では、ターゲットの少なくとも一つの座標が、自動ターゲット探索追跡デバイスから連続して(若しくは、所定の間隔で自動的に)受信され、画像が、記録された、若しくはライブの、画像シーケンス(ビデオストリーム)から受信される。画像処理分野に精通する当業者であれば、このシステム(1)及び方法(100)はピクセル画像のシーケンスに適用可能であり、ターゲットサイズは連続してモニタされ得ることを、理解するものである。ターゲット上のピクセルの位置は知られているので、ユーザインタフェースデバイス(4)が、ターゲット周りの、サイズが当該方法(100)により決定された少なくとも一つの矩形を、ディスプレイ上にプリントすることが可能である。
当該方法(100)は、ピクセル画像上のターゲットのサイズを効率的に見積もることができ、ターゲット上のピクセルの位置を所与として、ターゲット周りの「境界ボックス」を表示できる。ピクセル標準偏差の尺度空間を用いて最小限数の背景ピクセルにより全体ターゲットをカプセル化する、矩形のサイズを見積もるのに用いられる簡素且つ効率的な方法が、取得される。更に、ターゲットサイズは、可視化システムの画像解像度に関して不変に見積もられる。ピクセル解像度は、どれだけの数のピクセルが、カメラから一定の距離にあるオブジェクトの1メートルに対応するかを示す。可視化システムの画像解像度が変動するとき、この値も変動する。例えば、個々の繰り返しにて1ピクセルだけ増加されるウインドウ内で適切な標準偏差値を探索する方法は、異なる解像度を伴うシステムで異なって機能する。しかしながら、我々のケースでは、視覚化システムのピクセル解像度が変更されると、単調減少グラフが後に続くピークを伴うグラフは、異なる繰り返しで現れるのであり、(ピクセル内に)異なる矩形ターゲットサイズを与える。しかしながら、それは、最小限数の背景ピクセルにより全体ターゲットをなおカプセル化するものである。
これらの基本的なコンセプトの範囲内で、ターゲットサイズを見積もるための本発明のシステム(1)及び方法(100)に関する非常に様々な実施形態を開発することが可能である。本発明は、本明細書に記載の例示に限定され得ない。本質的には請求項に従うものである。
1・・・ターゲットサイズを見積もるためのシステム、2・・・画像センサ、3・・・画像処理ユニット、4・・・ユーザインタフェースデバイス。
ターゲットサイズを見積もる方法(100)は、基本的に以下のステップを含む。
・少なくとも一つのターゲットオブジェクトと、ターゲット上のピクセルの少なくとも一つの座標とを含む、ピクセル画像を受信するステップ(101)、
・ターゲット上の受信されたピクセル周りを中心とする矩形ウインドウ内部に存在するピクセルに対してピクセル標準偏差を計算し、初期のウインドウサイズから開始してリミットウインドウサイズまで標準偏差グラフに対する少なくとも一つのウインドウサイズを取得することで、引き続いて少なくとも一つの方向でステップサイズだけウインドウを拡大する、ステップ(102)、
・グラフ単調減少確認し、答えが「no」であるならステップ104に進み、答えが「yes」であるならステップ105に進む、ステップ(103)、
・増加するウインドウサイズにより、標準偏差が最初に減少し始めるポイントにおける、ウインドウサイズを記録する、ステップ(104)、
・従前に記録されたウインドウサイズ現存するか確認し、答えが「no」であるならステップ107に進み、答えが「yes」であるならステップ106に進む、ステップ(105)、
・最後に記録されたウインドウサイズとして、最小限数の背景ピクセルにより全体ターゲットをカプセル化するウインドウサイズを見積もるステップ(106)、
・最大の繰り返しの限度を超えたか確認し、答えが「no」であるならステップ108に進み、答えが「yes」であるならステップ105aに進む、ステップ(107)、
・従前に記録されたウインドウサイズを現存するか確認し、答えが「no」であるならステップ109に進み、答えが「yes」であるならステップ106に進む、ステップ(105a)、
・標準偏差グラフを生成するのに用いられる、ステップサイズ及び初期のウインドウサイズを、所定量だけ増加するステップ(108)、及び、
・所定の最小ウインドウサイズとして、ウインドウサイズを見積もるステップ(109)。
ターゲットサイズを見積もる方法(100)は、基本的に以下のステップを含む。
・少なくとも一つのターゲットオブジェクトと、ターゲット上のピクセルの少なくとも一つの座標とを含む、ピクセル画像を受信するステップ(101)、
・ターゲット上の受信されたピクセル周りを中心とする矩形ウインドウ内部に存在するピクセルに対してピクセル標準偏差を計算し、初期のウインドウサイズから開始してリミットウインドウサイズまで標準偏差グラフに対する少なくとも一つのウインドウサイズを取得することで、引き続いて少なくとも一つの方向でステップサイズだけウインドウを拡大する、ステップ(102)、
・グラフ単調減少確認し、答えが「no」であるならステップ104に進み、答えが「yes」であるならステップ105に進む、ステップ(103)、
・増加するウインドウサイズにより、標準偏差が最初に減少し始めるポイントにおける、ウインドウサイズを記録する、ステップ(104)、
・従前に記録されたウインドウサイズ現存するか確認し、答えが「no」であるならステップ107に進み、答えが「yes」であるならステップ106に進む、ステップ(105)、
・最後に記録されたウインドウサイズとして、最小限数の背景ピクセルにより全体ターゲットをカプセル化するウインドウサイズを見積もるステップ(106)、
・最大の繰り返しの限度を超えたか確認し、答えが「no」であるならステップ108に進み、答えが「yes」であるならステップ105aに進む、ステップ(107)、
・従前に記録されたウインドウサイズを現存するか確認し、答えが「no」であるならステップ109に進み、答えが「yes」であるならステップ106に進む、ステップ(105a)、
・標準偏差グラフを生成するのに用いられる、ステップサイズ及び初期のウインドウサイズを、所定量だけ増加するステップ(108)、及び、
・所定の最小ウインドウサイズとして、ウインドウサイズを見積もるステップ(109)。
グラフを単調減少か確認し、答えが「no」であるならステップ104に進み、答えが「yes」であるならステップ105に進む、ステップ」(103)のチェックが、グラフに適用されてグラフは最大値を有するか否かを判定する。答えが「No」であるならば、最大値が存在する。最大値がグラフに存在するならば、標準偏差が最初に減少し始めるポイント(グラフの最大値の右に最近接するデータポイント)におけるウインドウが、ステップ(104)にて記録される。右に最近接するデータポイントは、次の(より大きい)ウインドウサイズに関連するデータポイントを、等価的に意味する。グラフが単調減少であるならば(即ち、答えが「Yes」であるならば)、従前に記録されたウインドウサイズに対するチェック(「従前に記録されたウインドウサイズを現存するか確認し、答えが「no」であるならステップ107に進み、答えが「yes」であるならステップ106に進む、ステップ」)が、ステップ(105)にて実行される。従前に記録されたウインドウサイズが在るならば、最小限数の背景ピクセルにより全体ターゲットをカプセル化するウインドウサイズが、ステップ(106)にて、最後に記録されたウインドウサイズとして見積もられる。
ステップ(104)と(105)の後、(ステップ(105)にて、従前に記録されたウインドウサイズが無いならば)、「最大の繰り返しの限度を超えたか確認し、答えが「no」であるならステップ108に進み、答えが「yes」であるならステップ105aに進む、ステップ」のチェックがステップ(107)にて実行される。このチェックにより、当該方法は限度に達するまで繰り返されるのは、明白である。これにより、当該方法において、単調減少グラフが見出されるまで際限なく若しくは過度に繰り返しが行われることが防がれる。
当該方法(100)は、ピクセル画像上のターゲットのサイズを効率的に見積もることができ、ターゲット上のピクセルの位置を所与として、ターゲット周りの「境界ボックス」を表示できる。ピクセル標準偏差の尺度空間を用いて最小限数の背景ピクセルにより全体ターゲットをカプセル化する、矩形のサイズを見積もるのに用いられる簡素且つ効率的な方法が、取得される。信号のマルチスケール表現を創作する主たるアイデアは、派生信号の1パラメータファミリを生成することによるのであり、細かいスケールの情報は連続して抑圧される。続いて、データを体系的に簡約化しより細かいスケールのディテールを除去するメカニズムが要求される(Lindeberg,Tony.Scale−Space Theory in Computer Vision,1193)。更に、ターゲットサイズは、可視化システムの画像解像度に関して不変に見積もられる。ピクセル解像度は、どれだけの数のピクセルが、カメラから一定の距離にあるオブジェクトの1メートルに対応するかを示す。可視化システムの画像解像度が変動するとき、この値も変動する。例えば、個々の繰り返しにて1ピクセルだけ増加されるウインドウ内で適切な標準偏差値を探索する方法は、異なる解像度を伴うシステムで異なって機能する。しかしながら、我々のケースでは、視覚化システムのピクセル解像度が変更されると、単調減少グラフが後に続くピークを伴うグラフは、異なる繰り返しで現れるのであり、(ピクセル内に)異なる矩形ターゲットサイズを与える。しかしながら、それは、最小限数の背景ピクセルにより全体ターゲットをなおカプセル化するものである。

Claims (13)

  1. ピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるための方法(100)であって、
    少なくとも一つのターゲットオブジェクトと、ターゲット上のピクセルの少なくとも一つの座標とを含む、ピクセル画像を受信するステップ(101)、
    ターゲット上の受信されたピクセル周りを中心とする矩形ウインドウ内部に存在するピクセルに対してピクセル標準偏差を計算し、初期のウインドウサイズから開始して所望のウインドウサイズまで標準偏差グラフに対する少なくとも一つのウインドウサイズを取得することで、引き続いて少なくとも一つの方向でステップサイズだけウインドウを拡大する、ステップ(102)、
    グラフは単調減少であるかどうか、確認するステップ(103)、
    増加するウインドウサイズにより、標準偏差が最初に減少し始めるポイントにおける、ウインドウサイズを記録する、ステップ(104)、
    ・従前に記録されたウインドウサイズが現存するかどうか、確認するステップ(105)、
    ・最後に記録されたウインドウサイズとして、最小限数の背景ピクセルにより全体ターゲットをカプセル化するウインドウサイズを見積もるステップ(106)、
    ・最大の繰り返しの限度を超えたかどうか、確認するステップ(107)、
    ・標準偏差グラフを生成するのに用いられる、ステップサイズ及び初期のウインドウサイズを、所定量だけ増加するステップ(108)、及び、
    ・所定の最小ウインドウサイズとして、ウインドウサイズを見積もるステップ(109)により特徴付けられる
    方法。
  2. 請求項1に記載のピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるための方法(100)であって、
    標準偏差グラフを形成するのに用いられる初期のウインドウサイズが、ステップ(108)で所定量だけ増加し、該所定量はステップサイズに比例することを特徴とする
    方法。
  3. 請求項1又は2に記載のピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるための方法(100)であって、
    「グラフは単調減少であるかどうか、確認する」ステップ(103)の最初の確認にてグラフが単調減少であるならば、所定の最小ウインドウサイズとして、ウインドウサイズを見積もるステップ(109)が直接後に続くことを特徴とする
    方法。
  4. 請求項1から3のうちのいずれか一に記載のピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるための方法(100)であって、
    取得されたグラフ上の最大値の右に最近接するデータポイントが、ステップ(104)で記録されることを特徴とする
    方法。
  5. ピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるシステム(1)であって、
    必要時に、対象のシーンの少なくとも一つの電子ピクセル画像を獲得する少なくとも一つの画像センサ(2)と、
    必要時にユーザからターゲット上のポイントの少なくとも一つの座標を受信するように構成された少なくとも一つのインタフェースデバイス(4)と
    を含み、
    少なくとも一つの画像を受信し、利用可能時にターゲット上のピクセルの少なくとも一つの座標を受信し、これらデータを用いてターゲットサイズを見積もる方法(100)を実装し、ターゲットピクセルの周りに、サイズが請求項1から4のうちのいずれか一に記載の方法(100)により決定された少なくとも一つの矩形をユーザインタフェースデバイス(4)に対してプリントする
    ように構成された少なくとも一つの画像処理ユニット(3)により、特徴付けられる
    システム。
  6. 請求項5に記載のピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるシステム(1)であって、
    予定されるターゲットとその背景との間の高コントラストを伴う画像を獲得するように構成された画像センサ(2)により、特徴付けられる
    システム。
  7. 請求項5又は6に記載のピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるシステム(1)であって、
    シーン内の温度差異を識別できる赤外線映像カメラである画像センサ(2)により、特徴付けられる
    システム。
  8. 請求項5から7のうちのいずれか一に記載のピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるシステム(1)であって、
    マウスなどのポインティングデバイス、ジョイスティック若しくは類似の器具から構成されるユーザインタフェースデバイス(4)により、特徴付けられる
    システム。
  9. 請求項5から8のうちのいずれか一に記載のピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるシステム(1)であって、
    二次元ピクセル画像を表示できるデバイスから構成されるユーザインタフェースデバイス(4)により、特徴付けられる
    システム。
  10. 請求項5から9のうちのいずれか一に記載のピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるシステム(1)であって、
    画像センサ(2)から少なくとも一つの画像を受信するように構成された画像処理ユニット(3)により、特徴付けられる
    システム。
  11. 請求項5から10のうちのいずれか一に記載のピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるシステム(1)であって、
    ユーザインタフェースデバイス(4)から、利用可能時にターゲット上のピクセルの少なくとも一つの座標を受信するように構成された画像処理ユニット(3)により、特徴付けられる
    システム。
  12. 請求項5から11のうちのいずれか一に記載のピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるシステム(1)であって、
    ターゲットの少なくとも一つの座標を、自動ターゲット探索追跡デバイスから連続して、若しくは所定の間隔で、受信するように構成された画像処理ユニット(3)により、特徴付けられる
    システム。
  13. 請求項5から12のうちのいずれか一に記載のピクセル標準偏差の尺度空間を用いてターゲットサイズを見積もるシステム(1)であって、
    記録された、若しくはライブの、画像シーケンス(ビデオストリーム)から画像を受信するように構成された画像処理ユニット(3)により、特徴付けられる
    システム。
JP2014545371A 2011-12-12 2011-12-12 ターゲットサイズを見積もるためのシステム及び方法 Active JP5976126B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/IB2011/055618 WO2013088199A1 (en) 2011-12-12 2011-12-12 System and method for estimating target size

Publications (2)

Publication Number Publication Date
JP2015507736A true JP2015507736A (ja) 2015-03-12
JP5976126B2 JP5976126B2 (ja) 2016-08-24

Family

ID=45444676

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014545371A Active JP5976126B2 (ja) 2011-12-12 2011-12-12 ターゲットサイズを見積もるためのシステム及び方法

Country Status (8)

Country Link
US (1) US20150029230A1 (ja)
EP (1) EP2791865B1 (ja)
JP (1) JP5976126B2 (ja)
KR (1) KR101799143B1 (ja)
ES (1) ES2574787T3 (ja)
HU (1) HUE029105T2 (ja)
PL (1) PL2791865T3 (ja)
WO (1) WO2013088199A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015004501A1 (en) * 2013-07-09 2015-01-15 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Method for updating target tracking window size
US10055666B2 (en) 2014-05-08 2018-08-21 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Real-time, semi-automatic method for target tracking window initialization in thermal imagery
KR102011765B1 (ko) * 2018-07-06 2019-08-19 (주)이오시스템 목표물의 조준 방법 및 장치
CN110097576B (zh) * 2019-04-29 2022-11-18 腾讯科技(深圳)有限公司 图像特征点的运动信息确定方法、任务执行方法和设备
CN112380821B (zh) * 2020-11-17 2024-05-28 北京字跳网络技术有限公司 图形显示方法、装置和电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) * 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US20060228013A1 (en) * 2005-04-08 2006-10-12 Toshiro Kubota Estimation of solitary pulmonary nodule diameters with a hybrid segmentation approach
US20060228014A1 (en) * 2005-04-08 2006-10-12 Toshiro Kubota Estimation of solitary pulmonary nodule diameters with reaction-diffusion segmentation
US20110001823A1 (en) * 2007-10-26 2011-01-06 Thales Method for Detecting a Target

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3679512B2 (ja) * 1996-07-05 2005-08-03 キヤノン株式会社 画像抽出装置および方法
US6255650B1 (en) * 1998-12-11 2001-07-03 Flir Systems, Inc. Extreme temperature radiometry and imaging apparatus
GB2377333A (en) 2001-07-07 2003-01-08 Sharp Kk Segmenting a pixellated image into foreground and background regions
US7430303B2 (en) 2002-03-29 2008-09-30 Lockheed Martin Corporation Target detection method and system
US7609894B2 (en) * 2004-02-17 2009-10-27 Corel Corporation Adaptive sampling region for a region editing tool
US7826668B1 (en) * 2004-02-17 2010-11-02 Corel Corporation Adaptive region editing tool
JP4166253B2 (ja) * 2006-07-10 2008-10-15 トヨタ自動車株式会社 物体検出装置、物体検出方法、および物体検出用プログラム
US8264379B2 (en) * 2009-03-10 2012-09-11 Honeywell International Inc. Methods and systems for correlating data sources for vehicle displays
US8655513B2 (en) * 2010-03-12 2014-02-18 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Methods of real time image enhancement of flash LIDAR data and navigating a vehicle using flash LIDAR data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6711293B1 (en) * 1999-03-08 2004-03-23 The University Of British Columbia Method and apparatus for identifying scale invariant features in an image and use of same for locating an object in an image
US20060228013A1 (en) * 2005-04-08 2006-10-12 Toshiro Kubota Estimation of solitary pulmonary nodule diameters with a hybrid segmentation approach
US20060228014A1 (en) * 2005-04-08 2006-10-12 Toshiro Kubota Estimation of solitary pulmonary nodule diameters with reaction-diffusion segmentation
US20110001823A1 (en) * 2007-10-26 2011-01-06 Thales Method for Detecting a Target

Also Published As

Publication number Publication date
EP2791865B1 (en) 2016-03-02
ES2574787T3 (es) 2016-06-22
WO2013088199A1 (en) 2013-06-20
JP5976126B2 (ja) 2016-08-24
PL2791865T3 (pl) 2016-08-31
KR20140109954A (ko) 2014-09-16
HUE029105T2 (en) 2017-02-28
KR101799143B1 (ko) 2017-11-17
EP2791865A1 (en) 2014-10-22
US20150029230A1 (en) 2015-01-29

Similar Documents

Publication Publication Date Title
KR100519782B1 (ko) 스테레오 카메라를 이용한 사람 검출 방법 및 장치
US10388018B2 (en) Image processing apparatus, image processing method, and storage medium
JP6239594B2 (ja) 3d情報処理装置及び方法
US20180121739A1 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
Rashidi et al. Optimized selection of key frames for monocular videogrammetric surveying of civil infrastructure
KR20180105876A (ko) 색상과 형태를 동시에 고려한 실시간 영상 추적 방법 및 이를 위한 장치
US10255673B2 (en) Apparatus and method for detecting object in image, and apparatus and method for computer-aided diagnosis
US8396285B2 (en) Estimating vanishing points in images
KR101747216B1 (ko) 표적 추출 장치와 그 방법 및 상기 방법을 구현하는 프로그램이 기록된 기록 매체
CN108140291A (zh) 烟雾检测装置、方法以及图像处理设备
JP5976126B2 (ja) ターゲットサイズを見積もるためのシステム及び方法
US10692215B2 (en) Image processing apparatus, image processing method, and storage medium
WO2014051801A1 (en) Video-assisted target location
JP2015524946A (ja) 画像解像度が改善された超解像画像を形成するための方法及び測定装置
CN113763458B (zh) 确定目标对象摆放面的方法和装置
CN109325909B (zh) 一种图像放大方法和图像放大装置
JP6221283B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20180150966A1 (en) System and method for estimating object size
JP4966945B2 (ja) 時空間画像特徴量検出装置、時空間画像特徴量検出方法および時空間画像特徴量検出プログラム
JP5419925B2 (ja) 通過物体数計測方法、通過物体数計測装置、及びプログラム
JP2007018269A (ja) 映像中の動き確率計算方法、映像中の動き確率マップ計算方法、変化検出方法、及びプログラム
JP2007156954A (ja) 信頼度テーブル作成方法、オプティカルフロー推定方法、信頼度テーブル作成装置、オプティカルフロー推定装置、及びプログラム
JP2021092918A (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び記憶媒体
KR102613536B1 (ko) 레이다 3d 맵과 스테레오 깊이 맵에 의한 근접 객체 거리/자세 정밀 계산 장치 및 그 방법
KR102389295B1 (ko) 인스턴스 분할 기반 단일 실내 영상으로부터의 물체 크기 추정 방법 및 장치

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160719

R150 Certificate of patent or registration of utility model

Ref document number: 5976126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250