JP2013535047A - 動的に変化する部分を有するターゲットをトラッキングするためのデータセットの作成 - Google Patents

動的に変化する部分を有するターゲットをトラッキングするためのデータセットの作成 Download PDF

Info

Publication number
JP2013535047A
JP2013535047A JP2013513256A JP2013513256A JP2013535047A JP 2013535047 A JP2013535047 A JP 2013535047A JP 2013513256 A JP2013513256 A JP 2013513256A JP 2013513256 A JP2013513256 A JP 2013513256A JP 2013535047 A JP2013535047 A JP 2013535047A
Authority
JP
Japan
Prior art keywords
target
data set
image
feature data
undesirable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013513256A
Other languages
English (en)
Inventor
ワグナー、ダニエル
スザラバリ、ゾルト・スザボルクス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of JP2013535047A publication Critical patent/JP2013535047A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/223Analysis of motion using block-matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/40Analysis of texture
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Abstract

モバイル・プラットフォームが、動的に変化する部分またはそうでなければ好ましくない部分を含むターゲットを、好ましくない部分を除外したターゲットのための特徴のデータセットを使用して、視覚的に検出および/またはトラッキングする。この特徴のデータセットは、ターゲットの画像を提供することと、ターゲットの好ましくない部分を識別することとによって作成される。好ましくない部分の識別は、自動またはユーザ選択によるものであり得る。好ましくない部分のための画像マスクが生成される。画像マスクが、ターゲットのための特徴のデータセットの作成において好ましくない部分を除外するために使用される。たとえば、画像マスクが画像上にオーバーレイされることができ、ターゲットの画像のうち、マスクされていないエリアからのみ特徴が抽出される。あるいは、画像のすべてのエリアから特徴が抽出され、好ましくない部分から抽出された特徴を除外するために画像マスクが使用されることもできる。

Description

関連出願の相互参照
本願は、「拡張現実のための動的なターゲット・トラッキング(Dynamic Tracking Targets For Augmented Reality)」と題する2010年5月28日に出願された同一出願人による米国仮出願番号第61/349,481号と、2011年5月27日に出願された同一出願人による米国出願番号第13/117,472号の優先権を主張するものであり、両出願は、引用により本明細書に組み込まれる。
硬質のオブジェクトの、モデルに基づいた視覚的検出およびトラッキングは一般的に、ランタイムに、または、それらのオブジェクトのためのデータセットが作成された後に、それらのオブジェクトの外観が変化しないことを想定している。しかしながら、実際には、大多数のオブジェクトがこのカテゴリに入らない。たとえば、(電源の入った)テレビジョン・セットが画面に映し出すコンテンツは予測不可能だが、そのテレビジョン・セットの残りの部分、たとえば、フレーム等は、変化しない。別の例は、強い反射性を有する材料で一部が構成されたオブジェクトであり、たとえば壁にかかった鏡のように、あるエリアのコンテンツ(反射)は予測不可能だが、フレームは変化しない、といったオブジェクトである。さらなる別の例は、動的に変化する部分(ディスプレイ)と静的な部分(コントロールやフレーム)とを含む車のダッシュボードのラジオ、またはディスプレイを有する任意の他のデバイスである。現在の方法は外観が変化するエリアをモデル化することができないので、動的に変化するエリアを有するオブジェクトの画像を使用した、画像に基づいた検出およびトラッキングに伴う問題が生じている。
モバイル・プラットフォームが、動的に変化する部分またはそうでなければ好ましくない部分を含むターゲットを、好ましくない部分を除外したターゲットのための特徴のデータセットを使用して、視覚的に検出および/またはトラッキングする。この特徴のデータセットは、ターゲットの画像を提供することと、ターゲットの好ましくない部分を識別することとによって作成される。好ましくない部分の識別は、自動またはユーザ選択によるものであり得る。好ましくない部分のための画像マスクが生成される。この画像マスクは、ターゲットのための特徴のデータセットの作成において好ましくない部分を除外するために使用される。たとえば、画像マスクが画像上にオーバーレイされることができ、ターゲットの画像のうち、マスクされていないエリアからのみ特徴が抽出される。あるいは、画像のすべてのエリアから特徴が抽出され、好ましくない部分から抽出された特徴を除外するために画像マスクが使用されることもできる。
一態様では、方法が、ターゲットの画像を提供することと、ターゲットの好ましくない部分を識別することと、好ましくない部分のための画像マスクを生成することと、画像マスクを使用してターゲットのための特徴のデータセットから好ましくない部分を除外して、ターゲットのための特徴のデータセットを作成することとを含む。
別の態様では、装置が、プロセッサと、プロセッサに接続されたメモリと、メモリに接続されたディスプレイと、メモリにおいて保持され、プロセッサにおいて実行されるソフトウェアとを含む。このソフトウェアは、プロセッサに、画像においてターゲットの好ましくない部分を識別させ、好ましくない部分のための画像マスクを生成させ、画像マスクを使用してターゲットのための特徴のデータセットから好ましくない部分を除外して、ターゲットのための特徴のデータセットを作成させる。
別の態様では、システムが、ターゲットの画像を提供するための手段と、ターゲットの好ましくない部分を識別するための手段と、好ましくない部分のための画像マスクを生成するための手段と、画像マスクを使用してターゲットのための特徴のデータセットから好ましくない部分を除外して、ターゲットのための特徴のデータセットを作成するための手段とを含む。
さらなる別の態様では、プログラム・コードを記憶したコンピュータ読取可能な媒体が、取り込まれた画像においてターゲットの好ましくない部分を識別するためのプログラム・コードと、好ましくない部分のための画像マスクを生成するためのプログラム・コードと、画像マスクを使用してターゲットのための特徴のデータセットから好ましくない部分を除外して、ターゲットのための特徴のデータセットを作成するためのプログラム・コードとを含む。
図1Aは、動的に変化する部分またはそうでなければ好ましくない部分を有するオブジェクトを使用した、画像に基づいた検出およびトラッキングが可能なモバイル・プラットフォームの正面図である。 図1Bは、動的に変化する部分またはそうでなければ好ましくない部分を有するオブジェクトを使用した、画像に基づいた検出およびトラッキングが可能なモバイル・プラットフォームの背面図である。 図2は、動的に変化する部分を有するターゲットを検出し、トラッキングするために、マスクされたデータセットを作成する処理を示すフローチャートである。 図3Aは、テレビの形態のターゲットの自然な特徴のデータセットを、画像マスクを使用してテレビの画面からの特徴を除外し、生成することを示す図である。 図3Bは、テレビの形態のターゲットの自然な特徴のデータセットを、画像マスクを使用してテレビの画面からの特徴を除外し、生成することを示す図である。 図3Cは、テレビの形態のターゲットの自然な特徴のデータセットを、画像マスクを使用してテレビの画面からの特徴を除外し、生成することを示す図である。 図3Dは、テレビの形態のターゲットの自然な特徴のデータセットを、画像マスクを使用してテレビの画面からの特徴を除外し、生成することを示す図である。 図4Aは、鏡の形態のターゲットの自然な特徴のデータセットを、画像マスクを使用して鏡の反射面からの特徴を除外し、生成することを示す図である。 図4Bは、鏡の形態のターゲットの自然な特徴のデータセットを、画像マスクを使用して鏡の反射面からの特徴を除外し、生成することを示す図である。 図4Cは、鏡の形態のターゲットの自然な特徴のデータセットを、画像マスクを使用して鏡の反射面からの特徴を除外し、生成することを示す図である。 図5は、動的に変化する部分を有するターゲットを検出し、トラッキングするために、マスクされたデータセットを作成することができるモバイル・プラットフォームのブロック図である。
図1Aおよび図1Bは、動的に変化する部分を有するオブジェクトを使用した、画像に基づいた検出およびトラッキングが可能なモバイル・プラットフォーム100の正面および背面を、それぞれ示す。モバイル・プラットフォーム100は、ハウジング101と、タッチ・スクリーン・ディスプレイであり得るディスプレイ102だけでなく、スピーカ104と、マイクロフォン106とを含むものとして示されている。モバイル・プラットフォーム100はさらに、周囲を映像化するためのカメラ110を含む。
モバイル・プラットフォーム100は、自然な特徴に基づいた検出を使用するが、この検出では、あらかじめ決定された、ターゲットについての「自然な特徴」が、ランタイムに、カメラのライブ画像において検出され、トラッキングされる。本明細書で使用される場合、画像または取り込まれた画像という用語は、カメラ110によって取り込まれた静止画像、または映像のフレームを表す、ということが理解されるべきである。ターゲットは、そのターゲットの画像(ターゲットの入力画像と呼ばれることもある)を使用して、また、その画像を処理してターゲットから自然な特徴を抽出し、自然な特徴のデータセットを生成することによって、検出され、トラッキングされることができる現実世界のオブジェクトである。ターゲットは、そのターゲットの入力画像(基準画像と呼ばれることもある)から作成された自然な特徴のデータセットを、ランタイムにカメラのライブ画像から抽出された特徴のセットと比較することによって、検出される。ターゲットの検出の結果、ターゲットに対するカメラの位置および置かれた状態(姿勢)の推定値が、幾何学変換として計算される。トラッキングは、ある期間にわたる連続したカメラ・フレームにおける姿勢の推定値を更新する処理を表す。トラッキングは一般的に、ターゲットが以前の画像において検出またはトラッキングされているので、ターゲットの大まかな位置の知識を前提とし、現在のフレームにおける姿勢を更新する。しかしながら、検出とトラッキングが同義で使用されることもある、ということが理解されるべきである。たとえば、「検出によるトラッキング」では、フレーム毎にターゲットを検出することにより、ターゲットをトラッキングすることが可能である。したがって、検出とトラッキングは、本明細書では一般的な意味で用いられ、検出およびトラッキングのうちの1つのみ、または両方を表すことを意図する。
モバイル・プラットフォーム100は、動的に変化する部分を無視することにより、動的に変化する部分を有するターゲットを検出し、トラッキングすることができる。ターゲットの上に仮想的に(virtually)オーバーレイされ、ターゲットの動的に変化する部分からの特徴が自然な特徴のデータセットに追加されるのを防ぐマスク画像を使用して、ターゲットのための自然な特徴のデータセットを生成することにより、動的に変化する部分が無視される。結果として、自然な特徴のデータセットが、ランタイム時には利用不可能になるであろう特徴を含まないと同時に、自然な特徴のデータセットは、より小さくなり、全体のパフォーマンスが改善される。検出不可能なエリアをマスクして除外することは、無用なデータが自然な特徴のデータセットに記憶されることを防ぐ。それにより、トラッキング・ユニットが、有用なデータを含まないカメラ画像の一部を無視することができるので、トラッキングのスピードとロバスト性が改善される。さらに、自然な特徴のデータセットのサイズが減じられることによって、検出パフォーマンスが改善される。
ターゲットの動的に変化する部分からの特徴を含まない自然な特徴のデータセットは、モバイル・プラットフォーム100そのものによって、または外部のソースによって、生成されることができる。たとえば、モバイル・プラットフォーム100は、ターゲットの検出およびトラッキングの前であればいつでも、ターゲットのためのマスクされた自然な特徴のデータセットを生成することができる。あるいは、モバイル・プラットフォーム100は、ターゲットの検出およびトラッキングの前に、外部のソースから、マスクされた自然な特徴のデータセットを受信することができる。たとえば、別個のプロセッサであることができる外部のソースは、モバイル・プラットフォーム100または任意の他の利用可能なソースによって提供されたターゲットの1つ以上の画像を使用して、マスクされた自然な特徴のデータセットを生成することができる。
本明細書で使用される場合、モバイル・プラットフォームは、たとえば、セルラ無線通信デバイスまたは他の無線通信デバイス、パーソナル通信システム(PCS)デバイス、パーソナル・ナビゲーション・デバイス(PND)、パーソナル・インフォメーション・マネジャ(PIM)、携帯情報端末(PDA)、または他の適切なモバイル・デバイスといった、任意の携帯電子デバイスのことを言う。モバイル・プラットフォームは、無線通信信号、および/または、たとえばナビゲーション・ポジショニング信号といったナビゲーション信号を受信可能であり得る。「モバイル・プラットフォーム」という用語はまた、パーソナル・ナビゲーション・デバイス(PND)と通信するデバイスを含むことを意図しており、デバイスは、衛星信号の受信、支援データの受信、および/または位置関連の処理がデバイスまたはPNDで行われても行われなくても、たとえば、短距離無線接続、赤外線接続、有線接続、または他の接続によって、PNDと通信する。また、「モバイル・プラットフォーム」は、ARが可能な無線通信デバイス、コンピュータ、ラップトップ、タブレット・コンピュータ、等を含むすべての電子デバイスを含むことを意図する。
図2は、動的に変化する部分を有するターゲットを検出し、トラッキングするために、マスクされたデータセットを作成する処理を示すフローチャートを示す。マスクされたデータセットは、ターゲットの検出およびトラッキングの前に、たとえば、モバイル・プラットフォーム100によって生成されることができ、または、外部ソースによって生成され、モバイル・プラットフォーム100に提供されることができる。示されているように、たとえば、モバイル・プラットフォームのカメラ110によってターゲットの静止画像または映像のフレームを取り込むことにより、または別のソースから画像を受信することにより、ターゲットの画像が提供される(202)。ターゲットの好ましくない部分が識別される(204)。好ましくない部分は、ターゲットを検出および/またはトラッキングしている間に除外されるべきターゲットの一部、たとえば、動的に変化する部分である。好ましくない部分は、選択によって、または自動的に識別されることができる。たとえば、ターゲットの画像が、たとえばモバイル・プラットフォームのディスプレイ102においてユーザに表示されることができ、ユーザは、任意の好ましくない部分の識別を促される。好ましくない部分は、グラフィカル・インタフェースを介してユーザによって選択されることができ、タッチ・スクリーン・ディスプレイを使用して、またはカーソルとキーボードとを使用して、または任意の他の適切なユーザ・インタフェース・デバイスを使用して、制御されることができるが、これらのデバイスは、マスクされたデータセットを作成するモバイル・プラットフォーム100または外部のデバイスに提供され得る。さらに、またはあるいは、好ましくない部分は、経時的に、および/または異なる位置で、ターゲットの複数の画像を取り込むことと、それら複数の画像から抽出された特徴を比較して、経時的に変化する、またはモバイル・プラットフォームの位置に基づいて変化する、(たとえば、反射面によって生じたような)部分を識別することとによって、自動的に識別されることができる。
識別された好ましくない部分を使用して、好ましくない部分のための画像マスクが生成される(206)。ターゲットのための自然な特徴のデータセットが、画像マスクを使用してターゲットのための自然な特徴のデータセットから好ましくない部分を除外して作成される(208)。たとえば、画像マスクは、スケール不変特徴変換(SIFT:Scale Invariant Feature Transform)、またはスピードアップ・ロバスト特徴(SURF:Speeded-up Robust Features)、または任意の他の所望の方法といった既知の特徴抽出技術を使用して、ターゲットの画像上、および画像のうちマスクされていないエリアから抽出された特徴上にオーバーレイされることができる。あるいは、画像のすべてのエリアから特徴を抽出することと、画像マスクを使用して好ましくない部分から抽出された特徴を除外することとによって、特徴のデータセットが作成されることができる。
マスクされた自然な特徴のデータセットは、外部のソースによって作成された場合には外部のソースから受信された後に、モバイル・プラットフォーム100に記憶され、モバイル・プラットフォームによるターゲットの検出およびトラッキングのために使用される。ターゲットの検出およびトラッキングは、たとえば、拡張現実(AR)タイプのアプリケーションといった任意の所望のアプリケーションのために使用されることができる。
図3A、3B、3C、3Dは、画像マスクを使用して、ターゲットの好ましくない部分からの特徴を除外したターゲットの自然な特徴のデータセットを生成することを示している。図3Aは、「SPECIAL BROADCAST」の文字を表示する画面252を含む、たとえば、モバイル・プラットフォーム100によって取り込まれた、テレビ250の画像を示す。画面252は、経時的に動的に変化するので、ターゲットのうちの好ましくない部分である。さらに、画面252に見られ得る反射は、モバイル・プラットフォーム100の位置に基づいて変化する。図3Bは、テレビ250の画像のための自然な特徴のデータセットを示す。識別された各特徴は、「x」で示されている。図3Bに示された自然な特徴のデータセットは例示的なものにすぎず、典型的にはもっと多くの特徴が識別されるであろうことが理解されるべきである。自然な特徴のデータセットは、関数のセットを用いて入力画像を分析することと、たとえば、SIFT、SURFのような技術、または任意の他の所望の特徴抽出技術を使用して特徴を抽出することとによって、作成される。
図3Bに見られるように、自然な特徴は、動的に変化する部分、すなわち、テレビ250の画面252から、ならびにテレビ250の変化しない残りの部分から抽出される。ターゲット、すなわち、テレビ250の動的なトラッキングを可能にするために、図3Cに示した画像マスク260が作成され、検出処理またはトラッキング処理中にターゲットの画像から好ましくない部分(たとえば、ターゲットの動的に変化する部分)をマスクして除外するために使用される。図3Cの画像マスク260は、画面252の形状をしている。画像マスク260は、前述したように、ユーザ選択によって、または自動的に識別されることができる。たとえば、ユーザは、たとえばグラフィカル・インタフェースを使用して、画面252をテレビ250の好ましくない部分として識別することができる。このように、図3Bに示した自然な特徴のデータセットの生成の前に、画像マスク260が作成され、適用されることができる。あるいは、テレビ250の複数の画像を使用して、画面252が好ましくない部分として自動的に識別されることができ、テレビ250のこれら複数の画像では、画面252に表示された画像が異なるがゆえに、テレビ250の各画像において画面252から抽出される特徴が異なる一方で、テレビ250の残りの部分から抽出される特徴は変化しない。
図3Dは、画像マスク260が適用され、テレビ250のための自然な特徴のデータセットから、好ましくない部分、すなわち、画面252が除外された後のテレビ250の画像を示す。すなわち、画面252からの特徴は、図3Dのマスクされたデータセットでは除外されている。図3Dに示したように、画像マスク260を使用してマスクされたデータセットを生成すると、ターゲットの一部が動的に変化する場合、またはそうでなければ好ましくない場合に、より一層ロバストな検出パフォーマンスおよびトラッキング・パフォーマンスが達成されることができる。そして、ターゲットの検出およびトラッキングは、たとえばヘルプ情報のような情報が、モバイル・プラットフォーム100のディスプレイ102におけるターゲットの画像上にオーバーレイされる、たとえば拡張現実(AR)タイプのアプリケーションといった任意の所望のアプリケーションのために使用されることができる。
ターゲットは、テレビに限定されず、任意のターゲットは、動的に変化する部分を含み得る任意のオブジェクトであり得ることが理解されるべきである。たとえば、ターゲットは、その一部が、経時的に、またはモバイル・プラットフォーム100の位置によって変化し得る外観であるがゆえにデータセットの生成に適さない、カー・ラジオまたは任意の他のオブジェクトであることができる。例として、ターゲットの好ましくない部分は、画像が取り込まれたときのモバイル・プラットフォーム100の位置に基づいて変化し得る。たとえば鏡または窓ガラスまたは絵画の額縁といった反射面を有するターゲットの画像は、画像が生成されたときのモバイル・プラットフォーム100の位置に依存して、異なるオブジェクトの反射を含み得る。したがって、ターゲットの反射面は、検出およびトラッキングに関し好ましくない部分であり得る。
図4A、4B、4Cは、画像マスクを使用して、鏡270の形態のターゲットの自然な特徴のデータセットを生成することを示しており、画像マスクは、鏡270の反射面272からは特徴を除外するが、鏡270のフレーム274からは除外しない。図4Aは、反射面272およびフレーム274を有する鏡270の画像を示す。鏡270の画像のための自然な特徴のデータセットは、「x」を用いて示されている。図4Bにおいて見られるように、画像マスクなしで、自然な特徴が、鏡270の動的に変化する部分、すなわち反射面272から、ならびに鏡270の残りの部分から抽出される。
図4Bは、検出またはトラッキング処理中に、鏡270のターゲットの画像から、好ましくない部分(たとえば、ターゲットの動的に変化する部分)をマスクして除外するために作成された画像マスク280を示す。図4Bにおける画像マスク280は、反射面272の形状をしており、ユーザ選択によって、または自動的に作成されることができる。たとえば、ユーザは、たとえばグラフィカル・インタフェースを使用して、反射面272を鏡270の好ましくない部分として識別することができる。あるいは、反射面272は、異なるオブジェクトが反射面272に反射した、異なる位置からの鏡270の複数の画像を使用して、好ましくない部分として自動的に識別されることができる。
図4Cは、画像マスク280が適用され、テレビ250のための自然な特徴のデータセットから、好ましくない部分、すなわち、反射面272が除外された後の鏡270の画像を示す。すなわち、鏡270からの特徴が図4Cのマスクされたデータセットでは除外されており、検出およびトラッキングのためにランタイム時に使用されるべき、鏡270の静的な部分のみからのマスクされたデータセットが生成される。
動的に変化する部分を含み得るターゲットの別の例は、製品パッケージである。製品パッケージは、たとえば、ブランド情報、ロゴ、等といった製品のタイプによって変化しない静的なエリアだけでなく、製品のタイプによって変化するエリアをも含み得る。したがって、製品パッケージの静的な部分、すなわち変化しない部分からの特徴の抽出を許容しながら、製品パッケージの可変のエリアからの特徴の抽出を除外するために、画像マスクが生成されることができる。製品パッケージは、マスクされた自然な特徴のデータセットが、モバイル・プラットフォーム100ではなく、製造業者によって生成され得るターゲットの一例である。ターゲットの他の好ましくない部分には、たとえば、テクスチャレスの面または繰り返しのテクスチャの面といった、検出に適さないエリアが含まれ得る。
図5は、動的に変化する部分を有するターゲットを検出し、トラッキングするために、マスクされたデータセットを作成し、マスクされたデータセットをターゲットの検出およびトラッキングのために使用することができるモバイル・プラットフォーム100のブロック図である。
前述したように、マスクされたデータセットをモバイル・プラットフォーム100に提供するために経由され得る外部インタフェースを有する、モバイル・プラットフォームの外部のソース、たとえば、コンピュータまたはサーバによって、マスクされたデータセットが作成され得ることが理解されるべきである。マスクされたデータセットを作成するために使用されるそのような外部のコンピュータまたはサーバは、図5に示した構成と同様の構成であり得るが、モビリティのために必要とされるエレメント、たとえば、(有線インタフェースと置き換えられ得る)無線トランシーバ157、動きセンサ158、SPS受信機159、ならびにカメラ110がない。
図5に戻ると、モバイル・プラットフォーム100は、カメラ110、ならびにカメラ110によって取り込まれた画像を表示することができるディスプレイ102を含むユーザ・インタフェース150を含む。ユーザ・インタフェース150はまた、ユーザが、たとえば、ターゲットの好ましくない部分の識別といった情報をモバイル・プラットフォーム100に入力することができる、キーパッド152または他の入力デバイスを含むことができる。必要に応じて、キーパッド152は、タッチ・センサを有するディスプレイ102に仮想キーパッドを組み込むことによって、不要とされることができる。ユーザ・インタフェース150はまた、たとえば、モバイル・プラットフォームがセルラ電話である場合、マイクロフォン106およびスピーカ104を含むことができる。
モバイル・プラットフォーム100は、たとえば、前述したように、変化し得る部分を含む製品パッケージの製造業者といった外部のソースによって生成された画像マスク、またはマスクされたデータセットといった外部の情報を受信するために使用され得る、無線トランシーバ157を含むことができる。モバイル・プラットフォーム100はオプションで、たとえば、加速度計と、ジャイロスコープと、電子コンパスまたは他の同様の動き検知エレメントとを含む、動きセンサ158や、SPSシステムからの測位信号を受信することができる衛星測位システム(SPS)受信機159といった、ARアプリケーションのために役立ち得るさらなる特徴を含むことができる。当然のことながら、モバイル・プラットフォーム100は、本開示に関連しない他のエレメントを含むことができる。
モバイル・プラットフォーム100はまた、カメラ110およびユーザ・インタフェース150と接続して通信する制御ユニット160を、無線トランシーバ157、動きセンサ158、SPS受信機159といった他の特徴を使用する場合にはそれらとともに含む。制御ユニット160は、前述したように、カメラ110からのデータを受理して処理し、それに応じてディスプレイ102を制御する。制御ユニット160は、プロセッサ161と、関連づけられたメモリ164と、ハードウェア162と、ソフトウェア165と、ファームウェア163とによって提供されることができる。モバイル・プラットフォーム100は、カメラ110によって取り込まれた画像から特徴を抽出する特徴抽出ユニット166を含むことができる。モバイル・プラットフォーム100はまた、前述したように、ユーザ・インタフェース150を介したユーザ入力を用いるか、自動的か、のいずれかで、取り込まれた画像の画像マスクを生成するために使用されるか、または、外部のソースから、たとえば製品パッケージのための画像マスクを受信するために使用される、画像マスク・ユニット167を含むことができる。特徴抽出ユニット166および画像マスク・ユニット167は、メモリ164に記憶され得るターゲットのためのマスクされた特徴のデータセットを生成するために使用されることができる。必要に応じて、外部のソースが、同じくメモリ164に記憶されるターゲットのためのマスクされた特徴のデータセットを提供することができる。制御ユニット160はさらに、カメラ110によって取り込まれた画像から特徴を抽出し、記憶されたマスクされた特徴のデータセットとマッチングするための検出ユニット168を含み、マッチングされた特徴を使用してターゲットをトラッキングするためのトラッキング・ユニット169を含む。制御ユニット160はさらに、たとえば、トラッキング・ユニット169によって提供されたトラッキング情報に基づいてAR情報を生成し、ディスプレイ102に表示するための、拡張現実(AR)ユニット170を含むことができる。特徴抽出ユニット166と、画像マスク・ユニット167と、検出ユニット168と、トラッキング・ユニット169と、ARユニット170は、明確にするために、別々に、かつプロセッサ161とは別個に示されているが、単一のユニットであることも、および/または、プロセッサ161で実行されるソフトウェア165内の命令に基づいてプロセッサ161において実現されることもできる。本明細書で使用される場合、プロセッサ161、ならびに、特徴抽出ユニット166と、画像マスク・ユニット167と、検出ユニット168と、トラッキング・ユニット169と、ARユニット170とのうちの1つ以上は、1つ以上のマイクロプロセッサ、エンベデッド・プロセッサ、コントローラ、特定用途向け集積回路(ASIC)、デジタル・シグナル・プロセッサ(DSP)、等を含むことができるが、必ずしもこれらを含むとは限らないということが理解されるだろう。プロセッサという用語は、特定のハードウェアではなく、システムによって実現される機能を説明することを意図する。さらに、本明細書で使用される場合、「メモリ」という用語は、モバイル・プラットフォームに関連づけられた長期メモリ、短期メモリ、または他のメモリを含む任意のタイプのコンピュータ記憶媒体のことを言うが、任意の特定のメモリ・タイプまたは任意の特定のメモリ数、またはメモリが記憶される媒体のタイプに限定されるべきではない。
本明細書に説明された方法は、用途に依存して、さまざまな手段により実現されることができる。たとえば、これらの方法は、ハードウェア162、ファームウェア163、ソフトウェア165、またはそれらの任意の組み合わせにおいて実現されることができる。ハードウェアの実現では、本明細書に説明された機能を実行するように設計された、1つ以上の特定用途向け集積回路(ASIC)、デジタル・シグナル・プロセッサ(DSP)、デジタル・シグナル・プロセシング・デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールド・プログラマブル・ゲート・アレイ(FPGA)、プロセッサ、コントローラ、マイクロ・コントローラ、マイクロプロセッサ、電子デバイス、他の電子ユニット、またはそれらの組み合わせにおいて、処理ユニットが実装されることができる。
ファームウェアおよび/またはソフトウェアの実現では、本明細書に説明された機能を実行するモジュール(たとえば、プロシージャ、関数、等)を用いて方法が実現されることができる。命令を実体的に具現化する任意の機械読取可能な媒体が、本明細書に説明された方法を実現するのに使用されることができる。たとえば、ソフトウェア・コードがメモリ164に記憶されることができ、プロセッサ161によって実行されることができる。メモリは、プロセッサ161の内部または外部に実装されることができる。
ファームウェアおよび/またはソフトウェアで実現される場合、機能は、コンピュータ読取可能な媒体において、1つ以上の命令またはコードとして、記憶されることができる。データ構造によってコード化された非一時的なコンピュータ読取可能な媒体や、コンピュータ・プログラムによってコード化されたコンピュータ読取可能な媒体が、例に含まれる。コンピュータ読取可能な媒体は、物理的なコンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされることができる任意の利用可能な媒体であることができる。限定ではなく例として、そのようなコンピュータ読取可能な媒体は、RAM、ROM、フラッシュ・メモリ、EEPROM、CD−ROM、または他の光ディスク記憶装置、磁気ディスク記憶装置、または他の磁気記憶デバイス、または、命令またはデータ構造の形態で所望のプログラムコードを記憶するために使用されることができ、かつ、コンピュータによってアクセスされることができる任意の他の媒体を含むことができる。ディスク(disk)およびディスク(disc)は、本明細書で使用される場合、コンパクト・ディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピー(登録商標)ディスク(disk)、およびブルーレイ(登録商標)ディスク(disc)を含み、ディスク(disk)は通常、磁気的にデータを再生するが、ディスク(disc)は、レーザーを用いて光学的にデータを再生する。上記の組み合わせもまた、コンピュータ読取可能な媒体の範囲内に含まれるべきである。
本発明は、教示のために特定の実施形態に関連して説明されたが、本発明は、それらに限定されるものではない。本発明の範囲から逸脱せずに、さまざまな適応および変更が行われ得る。したがって、付属の特許請求の範囲の精神および範囲は、前述した説明に限定されるべきではない。
本発明は、教示のために特定の実施形態に関連して説明されたが、本発明は、それらに限定されるものではない。本発明の範囲から逸脱せずに、さまざまな適応および変更が行われ得る。したがって、付属の特許請求の範囲の精神および範囲は、前述した説明に限定されるべきではない。
なお、以下に、出願当初の特許請求の範囲に記載された発明を付記する。
[発明1]
ターゲットの画像を提供することと、
前記ターゲットの好ましくない部分を識別することと、
前記好ましくない部分のための画像マスクを生成することと、
前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成することと
を備える方法。
[発明2]
前記好ましくない部分は、前記ターゲットの動的に変化する領域である、発明1に記載の方法。
[発明3]
前記好ましくない部分は、ディスプレイ、反射面、テクスチャレスの面、繰り返しのテクスチャの面、または製品パッケージ上の可変のエリアである、発明1に記載の方法。
[発明4]
前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成することは、前記ターゲットの画像上に前記画像マスクをオーバーレイすることと、前記ターゲットの画像のマスクされていないエリアから特徴を抽出することとを備える、発明1に記載の方法。
[発明5]
前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成することは、前記ターゲットの画像のすべてのエリアから特徴を抽出することと、前記画像マスクを使用して前記好ましくない部分から抽出された特徴を除外することとを備える、発明1に記載の方法。
[発明6]
前記ターゲットの好ましくない部分を識別することは、ユーザ入力を受け取って前記好ましくない部分を識別することを備える、発明1に記載の方法。
[発明7]
前記ターゲットの好ましくない部分を識別することは、
前記ターゲットの複数の画像を取り込むことと、
前記ターゲットの複数の画像の各々から特徴を抽出することと、
前記ターゲットの複数の画像中で変化した特徴を有する前記ターゲットの領域を、前記好ましくない部分として識別することと
を備える、発明1に記載の方法。
[発明8]
前記ターゲットのための特徴のデータセットを使用して、取り込まれた画像において前記ターゲットを検出することをさらに備え、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、発明1に記載の方法。
[発明9]
前記ターゲットのための特徴のデータセットを使用して、取り込まれた画像において前記ターゲットをトラッキングすることをさらに備え、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、発明1に記載の方法。
[発明10]
プロセッサと、
前記プロセッサに接続されたメモリと、
前記メモリに接続されたディスプレイと、
前記プロセッサに、画像においてターゲットの好ましくない部分を識別させ、前記好ましくない部分のための画像マスクを生成させ、前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成させるための、前記メモリで保持され、前記プロセッサで実行されるソフトウェアと
を備える、装置。
[発明11]
前記好ましくない部分は、前記ターゲットの動的に変化する領域である、発明10に記載の装置。
[発明12]
前記好ましくない部分は、ディスプレイ、反射面、テクスチャレスの面、繰り返しのテクスチャの面、または製品パッケージ上の可変のエリアである、発明10に記載の装置。
[発明13]
前記ソフトウェアは、前記プロセッサに、前記ターゲットの画像上に前記画像マスクをオーバーレイさせることと、前記ターゲットの画像のマスクされていないエリアから特徴を抽出させることとによって、前記プロセッサに、前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成させる、発明10に記載の装置。
[発明14]
前記ソフトウェアは、前記プロセッサに、前記ターゲットの画像のすべてのエリアから特徴を抽出させることと、前記画像マスクを使用して前記好ましくない部分から抽出された特徴のサブセットを除外させることとによって、前記プロセッサに、前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成させる、発明10に記載の装置。
[発明15]
前記装置は、ユーザ・インタフェースをさらに備え、前記ソフトウェアは、前記プロセッサに、前記ターゲットの前記好ましくない部分を、前記好ましくない部分のユーザ選択を受け取ることによって識別させる、発明10に記載の装置。
[発明16]
前記プロセッサは、前記ターゲットの複数の画像を受信し、前記ソフトウェアは、前記プロセッサに、前記ターゲットの複数の画像の各々から特徴を抽出させることと、前記ターゲットの複数の画像中で変化した特徴のサブセットを有する前記ターゲットの領域を前記好ましくない部分として識別させることとによって、前記プロセッサに、前記ターゲットの前記好ましくない部分を識別させる、発明10に記載の装置。
[発明17]
カメラをさらに備え、前記画像は、前記カメラから前記プロセッサに提供される、発明10に記載の装置。
[発明18]
カメラをさらに備え、前記ソフトウェアは、前記プロセッサに、前記ターゲットのための特徴のデータセットを使用して、前記カメラによって取り込まれた取り込み画像において前記ターゲットを検出させ、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、発明10に記載の装置。
[発明19]
カメラをさらに備え、前記ソフトウェアは、前記プロセッサに、前記ターゲットのための特徴のデータセットを使用して、前記カメラによって取り込まれた取り込み画像において前記ターゲットをトラッキングさせ、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、発明10に記載の装置。
[発明20]
ターゲットの画像を提供するための手段と、
前記ターゲットの好ましくない部分を識別するための手段と、
前記好ましくない部分のための画像マスクを生成するための手段と、
前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成するための手段と
を備えるシステム。
[発明21]
前記好ましくない部分は、前記ターゲットの動的に変化する領域である、発明20に記載のシステム。
[発明22]
前記好ましくない部分は、ディスプレイ、反射面、テクスチャレスの面、繰り返しのテクスチャの面、または製品パッケージ上の可変のエリアである、発明20に記載のシステム。
[発明23]
前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成するための手段は、前記ターゲットの画像上に前記画像マスクをオーバーレイするための手段と、前記ターゲットの画像のマスクされていないエリアから特徴を抽出するための手段とを備える、発明20に記載のシステム。
[発明24]
前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成するための手段は、前記ターゲットの画像のすべてのエリアから特徴を抽出するための手段と、前記画像マスクを使用して前記好ましくない部分から抽出された特徴を除外するための手段とを備える、発明20に記載のシステム。
[発明25]
前記ターゲットの好ましくない部分を識別するための手段は、ユーザ入力を受け取って前記好ましくない部分を識別するための手段を備える、発明20に記載のシステム。
[発明26]
前記ターゲットの好ましくない部分を識別するための手段は、
前記ターゲットの複数の画像を提供するための手段と、
前記ターゲットの複数の画像の各々から特徴を抽出するための手段と、
前記ターゲットの複数の画像中で変化した特徴を有する前記ターゲットの領域を、前記好ましくない部分として識別するための手段と
を備える、発明20に記載のシステム。
[発明27]
前記ターゲットのための特徴のデータセットを使用して、取り込まれた画像において前記ターゲットを検出するための手段をさらに備え、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、発明20に記載のシステム。
[発明28]
前記ターゲットのための特徴のデータセットを使用して、取り込まれた画像において前記ターゲットをトラッキングするための手段をさらに備え、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、発明20に記載のシステム。
[発明29]
プログラム・コードが記憶されたコンピュータ読取可能な媒体であって、
画像においてターゲットの好ましくない部分を識別するためのプログラム・コードと、
前記好ましくない部分のための画像マスクを生成するためのプログラム・コードと、
前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成するためのプログラム・コードと
を備えるコンピュータ読取可能な媒体。
[発明30]
前記好ましくない部分は、前記ターゲットの動的に変化する領域である、発明29に記載のコンピュータ読取可能な媒体。
[発明31]
前記好ましくない部分は、ディスプレイ、反射面、テクスチャレスの面、繰り返しのテクスチャの面、または製品パッケージ上の可変のエリアである、発明29に記載のコンピュータ読取可能な媒体。
[発明32]
前記特徴のデータセットを作成するためのプログラム・コードは、前記ターゲットの画像上に前記画像マスクをオーバーレイし、前記ターゲットの画像のマスクされていないエリアから特徴を抽出する、発明29に記載のコンピュータ読取可能な媒体。
[発明33]
前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成するためのプログラム・コードは、前記ターゲットの画像のすべてのエリアから特徴を抽出し、前記画像マスクを使用して前記好ましくない部分から抽出された特徴のサブセットを除外する、発明29に記載のコンピュータ読取可能な媒体。
[発明34]
前記ターゲットの前記好ましくない部分を識別するためのプログラム・コードは、ユーザに前記好ましくない部分を選択するためのユーザ・インタフェースを提供する、発明29に記載のコンピュータ読取可能な媒体。
[発明35]
前記ターゲットの好ましくない部分を識別するためのプログラム・コードは、前記ターゲットの複数の画像の各々から特徴を抽出し、前記ターゲットの複数の画像中で変化した特徴のサブセットを有する前記ターゲットの領域を前記好ましくない部分として識別する、発明29に記載のコンピュータ読取可能な媒体。
[発明36]
前記コンピュータ読取可能な媒体は、前記ターゲットのための特徴のデータセットを使用して、取り込まれた画像において前記ターゲットを検出するためのプログラム・コードをさらに備え、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、発明29記載のコンピュータ読取可能な媒体。
[発明37]
前記コンピュータ読取可能な媒体は、前記ターゲットのための特徴のデータセットを使用して、取り込まれた画像において前記ターゲットをトラッキングするためのプログラム・コードをさらに備え、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、発明29記載のコンピュータ読取可能な媒体。

Claims (37)

  1. ターゲットの画像を提供することと、
    前記ターゲットの好ましくない部分を識別することと、
    前記好ましくない部分のための画像マスクを生成することと、
    前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成することと
    を備える方法。
  2. 前記好ましくない部分は、前記ターゲットの動的に変化する領域である、請求項1に記載の方法。
  3. 前記好ましくない部分は、ディスプレイ、反射面、テクスチャレスの面、繰り返しのテクスチャの面、または製品パッケージ上の可変のエリアである、請求項1に記載の方法。
  4. 前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成することは、前記ターゲットの画像上に前記画像マスクをオーバーレイすることと、前記ターゲットの画像のマスクされていないエリアから特徴を抽出することとを備える、請求項1に記載の方法。
  5. 前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成することは、前記ターゲットの画像のすべてのエリアから特徴を抽出することと、前記画像マスクを使用して前記好ましくない部分から抽出された特徴を除外することとを備える、請求項1に記載の方法。
  6. 前記ターゲットの好ましくない部分を識別することは、ユーザ入力を受け取って前記好ましくない部分を識別することを備える、請求項1に記載の方法。
  7. 前記ターゲットの好ましくない部分を識別することは、
    前記ターゲットの複数の画像を取り込むことと、
    前記ターゲットの複数の画像の各々から特徴を抽出することと、
    前記ターゲットの複数の画像中で変化した特徴を有する前記ターゲットの領域を、前記好ましくない部分として識別することと
    を備える、請求項1に記載の方法。
  8. 前記ターゲットのための特徴のデータセットを使用して、取り込まれた画像において前記ターゲットを検出することをさらに備え、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、請求項1に記載の方法。
  9. 前記ターゲットのための特徴のデータセットを使用して、取り込まれた画像において前記ターゲットをトラッキングすることをさらに備え、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、請求項1に記載の方法。
  10. プロセッサと、
    前記プロセッサに接続されたメモリと、
    前記メモリに接続されたディスプレイと、
    前記プロセッサに、画像においてターゲットの好ましくない部分を識別させ、前記好ましくない部分のための画像マスクを生成させ、前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成させるための、前記メモリで保持され、前記プロセッサで実行されるソフトウェアと
    を備える、装置。
  11. 前記好ましくない部分は、前記ターゲットの動的に変化する領域である、請求項10に記載の装置。
  12. 前記好ましくない部分は、ディスプレイ、反射面、テクスチャレスの面、繰り返しのテクスチャの面、または製品パッケージ上の可変のエリアである、請求項10に記載の装置。
  13. 前記ソフトウェアは、前記プロセッサに、前記ターゲットの画像上に前記画像マスクをオーバーレイさせることと、前記ターゲットの画像のマスクされていないエリアから特徴を抽出させることとによって、前記プロセッサに、前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成させる、請求項10に記載の装置。
  14. 前記ソフトウェアは、前記プロセッサに、前記ターゲットの画像のすべてのエリアから特徴を抽出させることと、前記画像マスクを使用して前記好ましくない部分から抽出された特徴のサブセットを除外させることとによって、前記プロセッサに、前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成させる、請求項10に記載の装置。
  15. 前記装置は、ユーザ・インタフェースをさらに備え、前記ソフトウェアは、前記プロセッサに、前記ターゲットの前記好ましくない部分を、前記好ましくない部分のユーザ選択を受け取ることによって識別させる、請求項10に記載の装置。
  16. 前記プロセッサは、前記ターゲットの複数の画像を受信し、前記ソフトウェアは、前記プロセッサに、前記ターゲットの複数の画像の各々から特徴を抽出させることと、前記ターゲットの複数の画像中で変化した特徴のサブセットを有する前記ターゲットの領域を前記好ましくない部分として識別させることとによって、前記プロセッサに、前記ターゲットの前記好ましくない部分を識別させる、請求項10に記載の装置。
  17. カメラをさらに備え、前記画像は、前記カメラから前記プロセッサに提供される、請求項10に記載の装置。
  18. カメラをさらに備え、前記ソフトウェアは、前記プロセッサに、前記ターゲットのための特徴のデータセットを使用して、前記カメラによって取り込まれた取り込み画像において前記ターゲットを検出させ、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、請求項10に記載の装置。
  19. カメラをさらに備え、前記ソフトウェアは、前記プロセッサに、前記ターゲットのための特徴のデータセットを使用して、前記カメラによって取り込まれた取り込み画像において前記ターゲットをトラッキングさせ、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、請求項10に記載の装置。
  20. ターゲットの画像を提供するための手段と、
    前記ターゲットの好ましくない部分を識別するための手段と、
    前記好ましくない部分のための画像マスクを生成するための手段と、
    前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成するための手段と
    を備えるシステム。
  21. 前記好ましくない部分は、前記ターゲットの動的に変化する領域である、請求項20に記載のシステム。
  22. 前記好ましくない部分は、ディスプレイ、反射面、テクスチャレスの面、繰り返しのテクスチャの面、または製品パッケージ上の可変のエリアである、請求項20に記載のシステム。
  23. 前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成するための手段は、前記ターゲットの画像上に前記画像マスクをオーバーレイするための手段と、前記ターゲットの画像のマスクされていないエリアから特徴を抽出するための手段とを備える、請求項20に記載のシステム。
  24. 前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成するための手段は、前記ターゲットの画像のすべてのエリアから特徴を抽出するための手段と、前記画像マスクを使用して前記好ましくない部分から抽出された特徴を除外するための手段とを備える、請求項20に記載のシステム。
  25. 前記ターゲットの好ましくない部分を識別するための手段は、ユーザ入力を受け取って前記好ましくない部分を識別するための手段を備える、請求項20に記載のシステム。
  26. 前記ターゲットの好ましくない部分を識別するための手段は、
    前記ターゲットの複数の画像を提供するための手段と、
    前記ターゲットの複数の画像の各々から特徴を抽出するための手段と、
    前記ターゲットの複数の画像中で変化した特徴を有する前記ターゲットの領域を、前記好ましくない部分として識別するための手段と
    を備える、請求項20に記載のシステム。
  27. 前記ターゲットのための特徴のデータセットを使用して、取り込まれた画像において前記ターゲットを検出するための手段をさらに備え、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、請求項20に記載のシステム。
  28. 前記ターゲットのための特徴のデータセットを使用して、取り込まれた画像において前記ターゲットをトラッキングするための手段をさらに備え、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、請求項20に記載のシステム。
  29. プログラム・コードが記憶されたコンピュータ読取可能な媒体であって、
    画像においてターゲットの好ましくない部分を識別するためのプログラム・コードと、
    前記好ましくない部分のための画像マスクを生成するためのプログラム・コードと、
    前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成するためのプログラム・コードと
    を備えるコンピュータ読取可能な媒体。
  30. 前記好ましくない部分は、前記ターゲットの動的に変化する領域である、請求項29に記載のコンピュータ読取可能な媒体。
  31. 前記好ましくない部分は、ディスプレイ、反射面、テクスチャレスの面、繰り返しのテクスチャの面、または製品パッケージ上の可変のエリアである、請求項29に記載のコンピュータ読取可能な媒体。
  32. 前記特徴のデータセットを作成するためのプログラム・コードは、前記ターゲットの画像上に前記画像マスクをオーバーレイし、前記ターゲットの画像のマスクされていないエリアから特徴を抽出する、請求項29に記載のコンピュータ読取可能な媒体。
  33. 前記画像マスクを使用して前記ターゲットのための特徴のデータセットから前記好ましくない部分を除外して、前記ターゲットのための前記特徴のデータセットを作成するためのプログラム・コードは、前記ターゲットの画像のすべてのエリアから特徴を抽出し、前記画像マスクを使用して前記好ましくない部分から抽出された特徴のサブセットを除外する、請求項29に記載のコンピュータ読取可能な媒体。
  34. 前記ターゲットの前記好ましくない部分を識別するためのプログラム・コードは、ユーザに前記好ましくない部分を選択するためのユーザ・インタフェースを提供する、請求項29に記載のコンピュータ読取可能な媒体。
  35. 前記ターゲットの好ましくない部分を識別するためのプログラム・コードは、前記ターゲットの複数の画像の各々から特徴を抽出し、前記ターゲットの複数の画像中で変化した特徴のサブセットを有する前記ターゲットの領域を前記好ましくない部分として識別する、請求項29に記載のコンピュータ読取可能な媒体。
  36. 前記コンピュータ読取可能な媒体は、前記ターゲットのための特徴のデータセットを使用して、取り込まれた画像において前記ターゲットを検出するためのプログラム・コードをさらに備え、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、請求項29記載のコンピュータ読取可能な媒体。
  37. 前記コンピュータ読取可能な媒体は、前記ターゲットのための特徴のデータセットを使用して、取り込まれた画像において前記ターゲットをトラッキングするためのプログラム・コードをさらに備え、ここで、前記特徴のデータセットからは前記ターゲットの好ましくない部分が除外されている、請求項29記載のコンピュータ読取可能な媒体。
JP2013513256A 2010-05-28 2011-05-27 動的に変化する部分を有するターゲットをトラッキングするためのデータセットの作成 Pending JP2013535047A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US34948110P 2010-05-28 2010-05-28
US61/349,481 2010-05-28
PCT/US2011/038429 WO2011150386A1 (en) 2010-05-28 2011-05-27 Dataset creation for tracking targets with dynamically changing portions
US13/117,472 2011-05-27
US13/117,472 US9256956B2 (en) 2010-05-28 2011-05-27 Dataset creation for tracking targets with dynamically changing portions

Publications (1)

Publication Number Publication Date
JP2013535047A true JP2013535047A (ja) 2013-09-09

Family

ID=44511462

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013513256A Pending JP2013535047A (ja) 2010-05-28 2011-05-27 動的に変化する部分を有するターゲットをトラッキングするためのデータセットの作成

Country Status (6)

Country Link
US (2) US9256956B2 (ja)
EP (1) EP2577607A1 (ja)
JP (1) JP2013535047A (ja)
KR (2) KR20160042461A (ja)
CN (1) CN103003843B (ja)
WO (1) WO2011150386A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160042461A (ko) * 2010-05-28 2016-04-19 퀄컴 인코포레이티드 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성
JP5733429B2 (ja) * 2012-01-18 2015-06-10 トヨタ自動車株式会社 情報処理装置及び情報処理方法
WO2014063724A1 (en) 2012-10-22 2014-05-01 Longsand Limited Collaborative augmented reality
WO2015062164A1 (en) * 2013-10-31 2015-05-07 The Chinese University Of Hong Kong Method for optimizing localization of augmented reality-based location system
US9218667B2 (en) * 2013-11-25 2015-12-22 International Business Machines Corporation Spherical lighting device with backlighting coronal ring
US9684831B2 (en) * 2015-02-18 2017-06-20 Qualcomm Incorporated Adaptive edge-like feature selection during object detection
US11288169B2 (en) * 2016-11-10 2022-03-29 Eggplant Limited Method of, and apparatus for, handling reference images for an automated test of software with a graphical user interface
IT201800010949A1 (it) * 2018-12-10 2020-06-10 Datalogic IP Tech Srl Metodo e dispositivo di rilevamento e classificazione di un oggetto
CN111665942A (zh) * 2020-06-08 2020-09-15 浙江商汤科技开发有限公司 一种ar特效触发展示方法、装置、电子设备和存储介质
US20220378929A1 (en) 2021-02-25 2022-12-01 MediBoston Limted Anti-her2 antibody-drug conjugates and uses thereof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274625A (ja) * 1993-03-18 1994-09-30 Toshiba Corp 監視画像の移動物体追跡方法
JP2005071344A (ja) * 2003-08-07 2005-03-17 Matsushita Electric Ind Co Ltd 画像処理方法、画像処理装置及び画像処理プログラムを記録した記録媒体

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US102103A (en) 1870-04-19 Improved lunch valise
DE2950652B3 (de) * 1979-12-15 2008-09-04 LFK Lenkflugkörpersysteme GmbH Verfahren zur Verfolgung eines Zieles
JPS63247680A (ja) * 1987-04-02 1988-10-14 Mitsubishi Electric Corp 画像追尾装置
US5034986A (en) * 1989-03-01 1991-07-23 Siemens Aktiengesellschaft Method for detecting and tracking moving objects in a digital image sequence having a stationary background
US5687258A (en) * 1991-02-12 1997-11-11 Eastman Kodak Company Border treatment in image processing algorithms
JPH06231275A (ja) * 1993-01-29 1994-08-19 Hitachi Ltd 画像シミュレーション方法
FR2773521B1 (fr) * 1998-01-15 2000-03-31 Carlus Magnus Limited Procede et dispositif pour surveiller en continu l'etat de vigilance du conducteur d'un vehicule automobile, afin de detecter et prevenir une tendance eventuelle a l'endormissement de celui-ci
US7133537B1 (en) * 1999-05-28 2006-11-07 It Brokerage Services Pty Limited Method and apparatus for tracking a moving object
US6993167B1 (en) * 1999-11-12 2006-01-31 Polartechnics Limited System and method for examining, recording and analyzing dermatological conditions
US6674925B1 (en) * 2000-02-08 2004-01-06 University Of Washington Morphological postprocessing for object tracking and segmentation
DE10158990C1 (de) * 2001-11-30 2003-04-10 Bosch Gmbh Robert Videoüberwachungssystem
JP3861781B2 (ja) 2002-09-17 2006-12-20 日産自動車株式会社 前方車両追跡システムおよび前方車両追跡方法
US7536044B2 (en) * 2003-11-19 2009-05-19 Siemens Medical Solutions Usa, Inc. System and method for detecting and matching anatomical structures using appearance and shape
JP4198071B2 (ja) * 2004-01-20 2008-12-17 オリンパス株式会社 情報呈示システム
JP4697923B2 (ja) 2004-04-16 2011-06-08 財団法人電力中央研究所 水中または水面における移動体の計数システムおよび計数方法
JP2006012042A (ja) 2004-06-29 2006-01-12 Canon Inc 画像生成方法及び装置
JP4490752B2 (ja) 2004-07-30 2010-06-30 日本放送協会 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム
US7447359B2 (en) * 2004-09-07 2008-11-04 Siemens Medical Solutions Usa, Inc. System and method for anatomical structure parsing and detection
US7424167B1 (en) 2004-10-01 2008-09-09 Objectvideo, Inc. Tide filtering for video surveillance system
US7852353B1 (en) * 2005-03-31 2010-12-14 Apple Inc. Encoding a transparency (alpha) channel in a video bitstream
US8203609B2 (en) * 2007-01-31 2012-06-19 The Invention Science Fund I, Llc Anonymization pursuant to a broadcasted policy
FR2893720B1 (fr) * 2005-11-21 2008-04-18 Mehmed Yilmaz Dispositif de prise de vues a longue distance
ITRM20060110A1 (it) 2006-03-03 2007-09-04 Cnr Consiglio Naz Delle Ricerche Metodo e sistema per la rilevazione automatica di eventi in ambito sportivo
US7724962B2 (en) * 2006-07-07 2010-05-25 Siemens Corporation Context adaptive approach in vehicle detection under various visibility conditions
JP4650386B2 (ja) * 2006-09-29 2011-03-16 沖電気工業株式会社 個人認証システム及び個人認証方法
TWI323434B (en) * 2006-11-30 2010-04-11 Ind Tech Res Inst Method of object segmentation for video
TW200834459A (en) * 2007-02-05 2008-08-16 Huper Lab Co Ltd Video object segmentation method applied for rainy situations
JP4802112B2 (ja) 2007-02-08 2011-10-26 株式会社東芝 トラッキング方法及びトラッキング装置
US8179556B2 (en) * 2007-03-26 2012-05-15 Xerox Corporation Masking of text in document reproduction
DE102008007199A1 (de) * 2008-02-01 2009-08-06 Robert Bosch Gmbh Maskierungsmodul für ein Videoüberwachungssystem, Verfahren zur Maskierung von selektierten Objekten sowie Computerprogramm
US8218862B2 (en) * 2008-02-01 2012-07-10 Canfield Scientific, Incorporated Automatic mask design and registration and feature detection for computer-aided skin analysis
JP2009219573A (ja) * 2008-03-14 2009-10-01 Fujinon Corp 内視鏡用画像処理装置及び内視鏡用画像処理方法
US8098904B2 (en) * 2008-03-31 2012-01-17 Google Inc. Automatic face detection and identity masking in images, and applications thereof
US8116542B2 (en) * 2008-05-09 2012-02-14 General Electric Company Determining hazard of an aneurysm by change determination
JP5048609B2 (ja) 2008-08-01 2012-10-17 株式会社豊田中央研究所 対象物追跡装置及びプログラム
US8320620B1 (en) * 2008-12-18 2012-11-27 Adobe Systems Incorporated Methods and apparatus for robust rigid and non-rigid motion tracking
JP4548542B1 (ja) * 2009-06-30 2010-09-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
KR20160042461A (ko) * 2010-05-28 2016-04-19 퀄컴 인코포레이티드 동적으로 변화하는 부분들을 갖는 타겟들을 추적하기 위한 데이터셋트 형성
CN101986348A (zh) * 2010-11-09 2011-03-16 上海电机学院 一种视觉目标识别与跟踪方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274625A (ja) * 1993-03-18 1994-09-30 Toshiba Corp 監視画像の移動物体追跡方法
JP2005071344A (ja) * 2003-08-07 2005-03-17 Matsushita Electric Ind Co Ltd 画像処理方法、画像処理装置及び画像処理プログラムを記録した記録媒体

Also Published As

Publication number Publication date
KR20160042461A (ko) 2016-04-19
WO2011150386A1 (en) 2011-12-01
EP2577607A1 (en) 2013-04-10
CN103003843B (zh) 2016-08-03
US20110293140A1 (en) 2011-12-01
CN103003843A (zh) 2013-03-27
KR20130022410A (ko) 2013-03-06
US9785836B2 (en) 2017-10-10
US20160098600A1 (en) 2016-04-07
US9256956B2 (en) 2016-02-09

Similar Documents

Publication Publication Date Title
US9785836B2 (en) Dataset creation for tracking targets with dynamically changing portions
KR101554797B1 (ko) 콘텍스트 인식 증강 상호작용
WO2021073278A1 (zh) 一种增强现实数据呈现方法、装置、设备及存储介质
US11481982B2 (en) In situ creation of planar natural feature targets
JP6043856B2 (ja) Rgbdカメラを用いた頭部ポーズ推定
US9576183B2 (en) Fast initialization for monocular visual SLAM
JP6348574B2 (ja) 総体的カメラ移動およびパノラマカメラ移動を使用した単眼視覚slam
KR101647969B1 (ko) 사용자 시선을 검출하기 위한 사용자 시선 검출 장치 및 그 방법과, 그 방법을 실행하기 위한 컴퓨터 프로그램
US9025823B2 (en) Tracking texture rich objects using rank order filtering
KR101308184B1 (ko) 윈도우 형태의 증강현실을 제공하는 장치 및 방법
CN106384365B (zh) 一种包含深度信息获取的扩增实境系统及其方法
US9870514B2 (en) Hypotheses line mapping and verification for 3D maps
WO2022219780A1 (ja) 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140110

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140121

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140219

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140613

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20141111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150311

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20150319

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20150410