JP2020524863A - 対象となる画像領域の高速特定及び処理のためのシステム及び方法 - Google Patents

Abstract

データ収集システムのためのシステム及び方法が提供される。画像取り込み装置は、画像データを取り込むように構成され、該取り込まれた画像は、該画像に関連するデータを含み、ピクセルデータは、可視光ピクセルデータ及び非可視光ピクセルデータを含む。基準ロケータは、非可視光ピクセルデータの分析によって検出された画像における基準に基づいて、該画像の対象となる領域を特定するように構成されている。画像プロセッサは、画像の他の部分を無視して、可視光ピクセルデータに基づいて該画像の対象となる領域からデータを抽出するように構成されている。【選択図】 図1

Description

（関連出願の相互参照）
本出願は、引用によりその全容が本明細書中に組み込まれている、2017年6月22日に出願された、「対象となる画像領域の高速特定及び処理のためのシステム及び方法」という名称の米国仮特許出願第62 / 523,341号の優先権を主張する。

（背景）
画像取り込み技術の開発は、画像ごとに取り込むことができる情報量（例えば、ピクセル）を増加させ続けている。解像度を上げることにより、データ収集を増加させることが可能である。しかしながら、この大量のピクセルデータを処理するには、より多くのコンピューティングリソースが必要である。画像処理アプリケーションの要求が増加すると（例えば、より短時間でより多くの画像を処理する）、画像処理がボトルネックになり得る。場合によっては、画像の一部（「対象となる領域」）のみが画像処理アプリケーションに関連するデータを含む。これらの対象となる領域に画像処理を集中させて、処理のボトルネックを軽減することができる。

（概要）
データ収集システムのためのシステム及び方法が提供される。画像取り込み装置は、画像データを取り込むように構成され、取り込まれた画像は、該画像に関連するデータを含み、ピクセルデータは、可視光ピクセルデータ及び非可視光ピクセルデータを含む。基準ロケータは、非可視光ピクセルデータの分析によって検出された画像における基準に基づいて、該画像の対象となる領域を特定するように構成されている。画像プロセッサは、画像の他の部分を無視して、可視光ピクセルデータに基づいて該画像の対象となる領域からデータを抽出するように構成されている。

別の例として、データを抽出する方法は、画像を取り込む工程を含み、取り込まれた画像は、該画像のピクセルに関連するデータを含み、該ピクセルデータは、可視光ピクセルデータ及び非可視光ピクセルデータを含む。画像の対象となる領域は、非可視光ピクセルデータの分析によって検出された画像における基準に基づいて特定される。データは、画像の他の部分を無視して、可視光ピクセルデータに基づいて画像の対象となる領域から抽出される。

さらなる例として、自律走行車両は、位置マーカーの画像のピクセルに関連するデータを取り込むように構成された画像取り込み装置を備える。基準ロケータは、画像における基準に基づいて該画像の対象となる領域を特定するように構成されている。画像プロセッサは、画像の他の部分を無視して、該画像の対象となる領域からデータを抽出するように構成され、制御システムは、位置コマンド及び対象となる領域から抽出されたデータに基づいて自律走行車両を移動させるように構成されている。

（図面の簡単な説明）
図1は、コーナー／エッジ検出方法の一例を示す図であり、該方法では、画像全体を処理して、対象となる候補領域を画定できるコーナーの特徴を特定する。

図2は、意味のあるデータを含む画像の一例を示す図である。

図3は、標的画像処理のための意味のあるデータを含む画像における対象となる領域上又はその近傍の基準の配置例を示す図である。

図4は、タグに関連する対象となる正方形の領域を画定するための4つの基準の検出の一例を示している。

図5は、処理された画像に基づいて位置を決定するための基準−位置処理エンジンを示すブロック図である。

図6は、基準位置に基づいて動作する制御エンジンの一例を示す図である。

図7は、取り込まれた画像データにおける対象となる領域を特定する一例を示している。 図8は、取り込まれた画像データにおける対象となる領域を特定する一例を示している。 図9は、取り込まれた画像データにおける対象となる領域を特定する一例を示している。

図10は、環境における位置インジケータの配置を示す画像である。

図11は、倉庫環境の一例を示す図である。

図12は、データを抽出する方法のフロー図を示している。 図13は、データを抽出する方法のフロー図を示している。 図14は、データを抽出する方法のフロー図を示している。

（詳細な説明）
多種多様なコンピュータ及びロボットアプリケーションでは、1つ又は複数の画像（例えば、ロボット、顔認識ソフトウェア、モーションキャプチャではコンピュータビジョン）から意味のあるデータを抽出する必要がある。典型的には、分析される画像の一部のみがアプリケーションにとって意味のあるデータを含み、該画像の残りの部分は無関係であるか又はノイズと見なされる。人間にとっては、どのデータが関係あるか又は関係ないかを識別するのは簡単であるが、コンピュータにとっては、その決定は比較的困難である。画像処理では、2つの方法の一方でデータ抽出を行うことができる。第1の方法では、画像全体を処理してデータを識別し、抽出する。この第1の方法は、リソースの効率が非常に悪いものであり得、重要な処理リソース（例えば、時間、処理サイクル）が、関連データを含まない画像の領域で消費される。第2の方法では、画像に対する第1のパスを行って、意味のあるデータが含まれる画像の領域を画定することができる特徴（例えば、エッジ、コーナー）を特定する。次いで、画像の特定された候補領域（複数可）に対して第2のパスを行って、そこからあらゆる意味のあるデータを抽出する。この第2の方法もまた、特に、画像に対する第1のパスにより多数の対象となる偽陽性領域が生じる場合、膨大なリソースを費やす可能性がある。図1は、この第2の方法の一例を示す図であり、画像全体を処理して、対象となる候補領域を画定できる特徴を特定する。実際には、102が付された4つのコーナーのみが、描かれたタグを画定する望ましい特徴である。

図2は、意味のあるデータを含む画像の一例を示す図である。その例では、8つの小さな領域202及び2つの大きな領域204がタグ（例えば、AprilTag、QR-tag）を含み、文字（複数可）（例えば、数字、文字、文字列）のコード化を提供する。各コード化された文字が位置に関連する一実施では、図2に示されているような画像の処理は、互いに対するタグの位置及び画像の視点に基づいて、画像取り込み装置の現在の位置の決定を可能にすることができる。しかしながら、図2の画像のごく一部のみが、意味のあるデータ（すなわち、タグ）を含む。画像の残りの部分は、フロアを示して、位置の決定には役立たない。位置を決定するための図2の画像全体の処理は最適以下であろう。従って、本明細書に記載されるシステム及び方法は、画像処理リソースを効率的に消費することができるように対象となる領域の高速特定を提供する。

本明細書に記載されるシステム及び方法は、それらを容易に検出可能にする特性を有する基準マーカー（「基準」）を利用する。これらの基準は、典型的には、それらの周囲とは著しく異なるため、基準が誤って特定されることが、皆無ではないにしてもほとんどない。これは、図1に例示されているように典型的には高い偽陽性率を有する従来のエッジ又はコーナーの特定とはまったく対照的である。基準例は、その周囲では珍しい特定の色であってもよいし、又は可視スペクトル外の特定の帯域（例えば、赤外線帯域、紫外線帯域）の光を反射してもよい。図3は、標的画像処理のための意味のあるデータを含む画像における対象となる領域上又はその近傍の基準の配置の例を示す図である。基準は、互いに対して、及びデータを含む対象となる領域に対して配置される。例302では、基準は、円の頂部及び中心に配置され、これらの2つの基準の位置の検出に基づいて対象となる円形領域を画定することができる。例304では、基準は、標識のコーナーに配置され、これらの4つの基準の検出に基づいて対象となる矩形領域を画定することができる。例306では、基準は、タグのコーナーに配置され、これらの4つの基準の検出に基づいて対象となる正方形領域を画定することができる。

図4は、タグに関連する対象となる正方形領域を画定するための例306の4つの基準の検出の例を示している。図4の例では、402で示されるように、基準は、赤外光を反射するタグのコーナーに配置されている。これらの基準は、IR反射インクを有するペンでの描画、反射材料の取り付け（例えば、膠又は他の接着剤を使用）、又はIR反射インクの1つのチャネルを備えたプリンタを使用する印刷を含む様々な方法でタグに適用することができる。一実施態様では、データは、2つの異なるデータ収集チャネルを用いて画像から抽出される。図4の例では、第1のチャネルは、IR帯域で反射する光に感受性である。この第1のチャネルは、404に示されているように、小さなピクセルのセットで反射IR光を感知するであろう。それらの焦点領域の反射の各中心は、候補基準として特定される。候補基準の相対的なポジショニングを評価して、所定の空間的関係を有する基準を見つける。この例では、候補基準を評価して、正方形を形成する4つの基準を見つける。その正方形は、対象となる領域を形成するか、又は意味のあるデータを抽出するための画像処理のための対象となる領域（例えば、候補基準正方形内のより小さい正方形）を画定するための基礎を提供する。一例では、そのデータ抽出は、光の異なる帯域（例えば、可視光RGB帯域）を使用して行われる。

図5は、処理された画像に基づいて位置を決定するための基準−位置処理エンジンを示すブロック図である。基準位置処理エンジン502は、タグの文字（例えば、「B6」、「R10」、「J80」）と位置（例えば、GPS位置、工場又は倉庫内の特定の位置）との間の関連を含むタグ−位置データベース504に応答する。506で画像データを受信する。その画像データ506を処理して、（例えば、UV帯域を用いて）対象となる領域を画定する基準を特定し、その対象となる領域内から（例えば、RGB帯域を用いて）タグの文字を抽出する。抽出されたタグの文字の検索を、タグ−位置データベース504を用いて行って現在の位置を決定し、その位置データ508は、（例えば、特定の位置に移動するよう命令されたロボットの動きを制御するための）アプリケーションによる使用のために出力される。

図6は、基準−位置処理エンジンの一例を示す図である。環境は、特定の光の帯域を反射する材料を印刷するように構成されたプリンタ604を用いて印刷された基準に関連するタグ又は他のデータを含むエンティティを含む。基準−位置処理エンジン602は、画像取り込み装置608（例えば、デジタルカメラ）を介して取り込まれたデータを含む領域及び関連する基準を含む画像データ606を受信する。画像取り込み装置608は、画像データを第1のチャネルデータ610（例えば、IR帯域チャネル）と第2のチャネルデータ612（例えば、RGBデータ）とに分離する。基準ロケータ614は、第1のチャネル画像データ610を処理して、（例えば、特定の帯域（例えば、IR帯域）で検出された光の閾値レベルを超えるピクセル又はピクセル群の中心を見つけることによって）候補基準616を特定する。候補基準616の位置を特定したら、対象となる領域決定エンジン618は、さらなるデータの抽出のために1つ又は複数の対象となる領域620を決定する。

対象となる領域620は、いくつかの方法で基準を用いて決定することができる。一例では、候補基準を、第1のチャネル（例えば、UVチャネル）を用いて特定する。次いで、第2のチャネル（例えば、RGBチャネル）を用いて、候補基準のサブセット間に所定の関係が存在するか否かを判定する。所定の関係が矩形である例では、4つの候補基準のサブセットを評価して、第1の基準と第2の基準との間に第1のエッジが存在するか否か；第2の基準と第3の基準との間に第2のエッジが存在するか否か；第3の基準と第4の基準との間に第3のエッジが存在するか否か；及び第4の基準と第1の基準との間に第4のエッジが存在するか否かを判定する。これらの4つのエッジが検出されると、これらのエッジの特性を評価して、4つのエッジが矩形を形成するか否か（例えば、第1のエッジと第3のエッジが平行であるか否か；第2のエッジと第4のエッジが平行であるか否か；連続するエッジ間の角度；エッジ間の長さの比率）を判断することができる。エッジが適切な矩形を形成すると見なされると、対象となる領域が、その矩形に基づいて画定される（例えば、矩形内、矩形の中央3分の1内）。

対象となる領域620が特定されると、画像データ抽出モジュール622が、その対象となる領域内の第2チャネル画像データ612を処理してデータ624を抽出する。次いで、そのデータ624をアプリケーションに利用することができる。例えば、基準−位置処理エンジン602がロボットに関連する場合、制御エンジン626が、タグ−位置データベース628を利用して、抽出されたデータ624に基づいてロボットの位置を決定する（例えば、画像データ抽出モジュール622によって検出されたタグに関連する文字列に基づいて検索を行う）。ロボットを特定の位置に移動させるコマンド630を受信した制御エンジン626は、該ロボットの現在の位置の知識を使用して制御データ（例えば、モータアクチュエータ信号）を出力し、該ロボットのその現在の位置からコマンド630で示された位置への移動を制御する。

図7〜図9は、取り込まれた画像データにおける対象となる領域を特定する一例を示している。図7は、2つのチャネルを介して取り込まれた画像データを示している。702ではRGBデータが示され、704ではIRデータが示されている。IRデータを利用して候補基準を特定する。図7に記されているように、IR画像の6つの領域はIR光を反射するため、IRチャネルにおけるそれらのピクセルは閾値レベル（例えば、ゼロレベル、ゼロより大きい閾値レベル）を超える。図8では、閾値より大きいIRチャネル値を有するピクセルは、802で白で示されている。図8に示されているように、閾値を超えるピクセルは、実際にはピクセルの群である。804では、それらのピクセルの群の中心（例えば、重心）を決定し、候補基準として示す。図8の例では、閾値を超えるピクセルの6つの群を使用して6つの候補基準を形成する。図9では、6つの候補基準のうちの4つのサブセット間の空間的関係を902で評価して（例えば、サブセットの4つの基準間のエッジの存在及び特性を評価する）、所定の空間的関係（すなわち、四角形）を満たすそれらのサブセットの1つを特定する。その所定の空間的関係に一致する4つの候補基準が904で示されている。

対象となる領域の画像処理は、様々な状況で有用であり得る。例えば、対象となる領域の画像処理を使用して、モーションキャプチャのためにアクターの速い動きを追跡することができる。この場合、小さな基準マーカーをアクターの体の一部（例えば、指先、頭、脚、足）に配置して、関連する体の点の動きを追跡することができる。

別の例では、移動ロボット用の屋内位置決めシステムは、基準に基づく対象となる領域の画像処理を使用する。一例では、追跡システムは、ロボットの移動中の安全のために、ロボットの位置を0.05 m以内で特定する必要がある。100 Hzで画像を（例えば、基準の対象となる領域の決定によって可能になる高速処理に基づいて）処理できるシステムは、ロボットが5 m / s（0.05 m×100 Hz）で移動するのを可能にするであろう。そのような位置制御を利用して、工場又は倉庫などの環境で自律走行ロボットを制御することができる。位置インジケータ（例えば、基準を備えたAprilTag又はQR-tag）を環境に配置することにより、ロボットは、（例えば、倉庫又は工場の棚やパレットから物体を取ってくるために；危険な環境で作業を遂行するために）高速で正確な位置に移動することができる。図10は、環境における位置インジケータの配置を示す画像である。ロボットは、その環境内を移動し、（例えば、下向きカメラにより、上向きカメラにより、複数のカメラにより）タグから検出した情報に基づいて該環境におけるその位置を決定することができる。タグにおける基準は、取り込まれた画像の他の領域を無視して、関連するデータを含む画像の領域にデータ抽出処理を集中させることによって取り込まれた画像の高速処理を可能にする。

図11は、倉庫環境の一例1100を示す図である。倉庫1100は、3つの棚1102を備え、該棚1102のそれぞれは、該棚1102の特定の位置に分配するための在庫を含む。物流倉庫1100のオペレータは、自律走行ロボット（例えば、最高3 m / s又はそれ以上の速度で移動する自律走行ロボット）を使用して、できるだけ早く命令に応じようとする。自律走行ロボットは、倉庫環境1100のあらゆる場所に配置された位置−表示タグ（例えば、タグ1104）を利用する。タグ1104のそれぞれは、1つ又は複数の文字に関連し、タグ−位置データベース1106は、それらの文字を倉庫1100内の特定の位置にさらに関連付ける。自律走行ロボットは、1つまたは複数の近傍の位置−表示タグの文字を検出して、データベース1106の関連データを用いてその位置を決定する。

図12は、データを抽出する方法を示すフロー図である。この方法は、画像を取り込む工程を含み、取り込まれた画像は、画像のピクセルに関連するデータを含み、該ピクセルデータは、可視光ピクセルデータ及び非可視光ピクセルデータを含む。1202で、画像における基準マーカーの位置を特定する。画像の対象となる領域を、1204で非可視光ピクセルデータの分析によって検出された画像の基準に基づいて特定する。1206で、画像の他の部分を無視して、可視光ピクセルデータに基づいて、データを画像の対象となる領域から抽出する。

図13は、データを抽出する別の方法を示すフロー図である。候補基準マーカーを、1302で、画像におけるピクセルの特性及び閾値に基づいて特定する。1304で、基準マーカーのサブセットを、n個の基準マーカーの組み合わせの空間的関係に基づいて特定する。1306で、対象となる領域を基準のサブセットに基づいて決定し、1308で、データを対象となる領域内のピクセルに基づいて画像から抽出する。

図14は、データを抽出するためのさらなるプロセスを示すフロー図である。1402で、画像を受信する。1404で、画像を特定のチャネル（例えば、IRチャネル）で前処理して、（例えば、IRレベル閾値に基づいて）バイナリ画像を形成する。1406で、バイナリ画像を処理して、候補の基準対象点の座標を特定する。1408で、基準対象点の各組み合わせを評価して、対象となる領域を取り囲む有効な組み合わせを見つける。1410で、対象となる領域内の基準マーカーをデコードする。

本開示をその特定の実施態様を参照して詳細に説明してきたが、実施態様の精神及び範囲から逸脱することなく、様々な変更及び修正を行うことができることは当業者には明らかであろう。従って、本開示は、添付の特許請求の範囲及びそれらの同等物の範囲内にある限り、本開示の変更及び変形を包含するものとする。

Claims (22)

1. 画像データを取り込むように構成された画像取り込み装置であって、該取り込まれた画像が、該画像に関連するデータを含み、ピクセルデータが、可視光ピクセルデータ及び非可視光ピクセルデータを含む、該画像取り込み装置；
   該非可視光ピクセルデータの分析によって検出された該画像における基準に基づいて該画像の対象となる領域を特定するように構成された基準ロケータ；並びに
   該画像の他の部分を無視して、該可視光ピクセルデータに基づいて該画像の対象となる領域からデータを抽出するように構成された画像プロセッサを含む、データ収集システム。
2. 前記対象となる領域から抽出されたデータ及び非一時的データストアからのデータに基づいて位置を特定するように構成された位置決定モジュールをさらに含む、請求項1記載のシステム。
3. 位置マーカーがタグであり；
   前記データストアが、タグとそれらのタグの位置との間の関係に関連するデータを含む、請求項1記載のシステム。
4. 前記タグが、QR-tag又はAprilTagである、請求項3記載のシステム。
5. 前記基準ロケータが、特定の周波数帯域に関連するピクセルデータを処理するように構成され；
   該基準ロケータが、特定の帯域の光が閾値レベルよりも高いレベルで前記位置マーカーから反射される該画像におけるピクセルを候補基準として特定する、請求項1記載のシステム。
6. 前記特定の周波数帯域が可視光帯域外である、請求項5記載のシステム。
7. 前記特定の帯域が、赤外線帯域又は紫外線帯域であり、前記位置マーカーが、赤外線又は紫外線を反射する複数の部分を含む、請求項5記載のシステム。
8. 前記基準ロケータが：
   所定の空間的関係を有する候補基準のサブセットを特定するために前記候補基準間の空間的関係を評価することによって、前記対象となる領域を特定するように構成されている、請求項5記載のシステム。
9. 前記対象となる領域が、前記基準のサブセットにおける基準の位置に基づいて特定される、請求項8記載のシステム。
10. 前記評価することが：
    第1の基準と第2の基準との間に第1のエッジが存在するか否かを検出すること；
    該第2の基準と第3の基準との間に第2のエッジが存在するか否かを検出すること；
    該第3の基準と第4の基準との間に第3のエッジが存在するか否かを検出すること；
    該第4の基準と該第1の基準との間に第4のエッジが存在するか否かを検出すること；並びに
    該第1のエッジ、該第2のエッジ、該第3のエッジ、及び該第4のエッジが存在する場合、該第1のエッジ、該第2のエッジ、該第3のエッジ、及び該第4のエッジによって形成された閉じた領域内の領域として前記対象となる領域を特定することを含む、請求項8記載のシステム。
11. 前記所定の空間的関係が：
    1つの候補基準が、実質的に別の候補基準の上にある；
    1つの候補基準が、実質的に別の候補基準の隣にある；
    4つの候補基準が正方形を形成する；
    4つの候補基準が、特定の高さ／幅比を有する矩形を形成する、のうちの1つである、請求項8記載のシステム。
12. 前記画像プロセッサが、前記特定の周波数帯域外の周波数に関連するピクセルデータを用いてデータを抽出するように構成されている、請求項5記載のシステム。
13. 前記画像プロセッサが、可視光帯域に関連するピクセルデータを用いてデータを抽出するように構成されている、請求項5記載のシステム。
14. 前記画像プロセッサが、前記対象となる領域からのデータを処理して、マーカー上に表示された数字、文字、又は文字列をデコードするように構成されている、請求項1記載のシステム。
15. 画像を取り込む工程であって、該取り込まれた画像が、該画像のピクセルに関連するデータを含み、該ピクセルデータが、可視光ピクセルデータ及び非可視光ピクセルデータを含む、該工程；
    該非可視光ピクセルデータの分析によって検出された該画像における基準に基づいて、該画像の対象となる領域を特定する工程；並びに
    該画像の他の部分を無視して、該可視光ピクセルデータに基づいて該画像の対象となる領域からデータを抽出する工程を含む、データを抽出する方法。
16. 該画像に描かれるタグを印刷する工程であって、該タグ上の複数の点で可視光帯域外の光を反射する材料を印刷することを含む、該工程をさらに含む、請求項15記載の方法。
17. 前記非可視光ピクセルデータが赤外線帯域に関連し、前記画像が、赤外線を反射する複数の部分を含む物体の画像である、請求項15記載の方法。
18. 前記対象となる領域を特定する工程が：
    可視光帯域外の光が閾値レベルよりも高いレベルで反射される該画像におけるピクセルを候補基準として特定する工程；及び
    該候補基準間の空間的関係を評価して、所定の空間的関係を有する基準のサブセットを特定する工程を含み、
    前記対象となる領域が、該基準のサブセットにおける基準の位置に基づいて特定される、請求項15記載の方法。
19. 前記対象となる領域が、前記基準のサブセットにおける基準の位置に基づいて特定される、請求項18記載の方法。
20. 位置マーカーの画像のピクセルに関連するデータを取り込むように構成された画像取り込み装置；
    該画像における基準に基づいて該画像の対象となる領域を特定するように構成された基準ロケータ；
    該画像の他の部分を無視して、該画像の対象となる領域からデータを抽出するように構成された画像プロセッサ；並びに
    位置コマンド及び該対象となる領域から抽出されたデータに基づいて自律走行車両を移動させるように構成された制御システムを含む、前記自律走行車両。
21. 前記車両が、倉庫又は工場内で棚又はパレットを移動させるように構成されている、請求項20記載の車両。
22. 前記車両が、倉庫又は工場で棚又はパレットのアイテムにアクセスするように構成されている、請求項20記載の車両。

Images