JP2023043632A - 情報処理装置、プログラム、測位方法 - Google Patents
情報処理装置、プログラム、測位方法 Download PDFInfo
- Publication number
- JP2023043632A JP2023043632A JP2021151353A JP2021151353A JP2023043632A JP 2023043632 A JP2023043632 A JP 2023043632A JP 2021151353 A JP2021151353 A JP 2021151353A JP 2021151353 A JP2021151353 A JP 2021151353A JP 2023043632 A JP2023043632 A JP 2023043632A
- Authority
- JP
- Japan
- Prior art keywords
- identifier
- image
- world
- imaging unit
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 238000012545 processing Methods 0.000 claims abstract description 133
- 238000003384 imaging method Methods 0.000 claims abstract description 128
- 230000010365 information processing Effects 0.000 claims description 51
- 239000003550 marker Substances 0.000 description 85
- 230000008569 process Effects 0.000 description 49
- 238000010586 diagram Methods 0.000 description 28
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000005286 illumination Methods 0.000 description 6
- 229920006395 saturated elastomer Polymers 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20164—Salient point detection; Corner detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30244—Camera pose
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
Abstract
【課題】マーカの数を抑え、且つ、精度の高い測位結果を導出する情報処理装置、プログラム、測位方法を提供することを目的とする。【解決手段】情報処理装置10は、撮像部2により撮像された空間内に設けられる識別子6を含む撮像画像7に基づいて、画像処理により前記識別子6の外形から画像座標系における複数の画像外形位置を取得し、前記画像外形位置と世界座標系における前記識別子6の外形の既知の3次元位置を示す世界既知外形位置とに基づいて、前記撮像部2の位置を決定する、処理部100を備える。【選択図】図1
Description
本発明は、情報処理装置、プログラム、測位方法に関する。
従来、撮像した画像を利用して移動体等の位置を推定する技術が知られている。
特許文献1は、複数のマーカが屋内上方に設置された環境下で自律走行する移動体の自己位置同定方法に関する。特許文献1の自己位置同定方法では、天井等に設置された複数のマーカの位置を事前登録する。自己位置の同定は、移動体から撮像された天井画像からマーカ候補点を抽出して2次元の候補点座標を算出するとともに、移動体走行領域内に任意の仮想点を複数設定し、仮想点に移動体が存在する場合に得られる画像上のマーカの2次元座標を3次元の登録位置よりそれぞれ導出して、候補点座標と2次元座標とをそれぞれ比較する。そして、候補点座標に最も近似する2次元座標に対応する移動体の仮想点を自己位置と推定している。
マーカの数が多ければ位置の測定精度は向上する。例えば、特許文献1に記載の技術では、移動範囲におけるマーカの設置数が位置精度に直結する。しかし、複数の箇所での測位を実現しようとすれば、多くのマーカを移動が想定される場所に設置する必要が生じてしまう。
本発明は、マーカの数を抑え、且つ、精度の高い測位結果を導出する情報処理装置、プログラム、測位方法を提供することを目的とする。
上記目的を達成するため、本発明の一態様の情報処理装置は、撮像部により撮像された空間内に設けられる識別子を含む撮像画像に基づいて、画像処理により前記識別子の外形から画像座標系における複数の画像外形位置を取得し、画像外形位置と世界座標系における識別子の外形の既知の3次元位置を示す世界既知外形位置とに基づいて、撮像部の位置を決定する、処理部を備えることを特徴とする。
本発明によれば、マーカの数を抑え、且つ、位置精度の高い測位結果を導出する情報処理装置、プログラム、測位方法を提供することができる。
以下、本発明の実施形態について、図面を用いて説明する。
<測位システム1>
まず、図1を参照して測位システム1の概要について説明する。図1は、情報処理装置10を含む測位システム1の全体構成を示す模式図である。図2は、情報処理装置10が取得するマーカ5及び識別子6を含む天井4の撮像画像7の模式図である。
まず、図1を参照して測位システム1の概要について説明する。図1は、情報処理装置10を含む測位システム1の全体構成を示す模式図である。図2は、情報処理装置10が取得するマーカ5及び識別子6を含む天井4の撮像画像7の模式図である。
図1に示すように、測位システム1は、天井含めた建物9側ではなく移動体3側に搭載される撮像部2と、移動体3が移動する建物9内に設置されるマーカ5と、撮像部2が撮像した撮像画像7に基づいて移動体3の位置を測位する情報処理装置10と、を備える。
撮像部2は、移動体3に搭載された状態で撮像画像7を取得する。撮像部2は、所定のフレームレートで上方の天井4を連続的に撮像し、時間的に連続する天井4の撮像画像7を複数取得する。
また、撮像部2は、情報処理装置10と通信するための通信装置28に接続される。撮像部2が取得した撮像画像7又は撮像画像7に基づく種々の情報は、通信装置28を介して情報処理装置10に送信される。なお、この例において撮像部2が搭載される移動体3は、フォークリフト等の作業車両である。
マーカ5は、マーカ5自身がデータを発信し、或いは撮像部2がマーカ5を撮像することによって画像処理により、マーカ5が設置されている世界座標系70における3次元位置情報をデータベース19より取得可能な装置或いは標識を含む物体である。
マーカ5は、例えば、可視光の色やタイミング等の発光態様を制御可能な発光装置である。マーカ5は、例えば、所定のパターンに従って色の変更や明滅等により識別用の情報を光通信する。なお、マーカ5の発光は、可視光でなくても近赤外光でもよい。即ちマーカ5の発光の波長はカメラでとらえられる光波帯であればよい。
マーカ5は、撮像部2の位置や向きを特定するために複数設置される。図1に示す例では、マーカ5は天井4に2箇所設置されている。なお、マーカ5は必ずしも天井4に設置される必要はなく、撮像部2が撮像可能な移動体3が移動する建物9内に設置されていればよい。
識別子6は、例えば、天井4に複数設置される光源或いは照明である。本明細書において、識別子6は、撮像画像7から画像処理により特定できる領域を意味する。領域の特定には、例えば、輝度或いは色度等を利用することができる。
建物9には窓8が設置されており、当該窓8が撮像画像7に写り込んだ場合、時間帯によっては輝度の条件を満たす場合があるが、画像処理により、窓8の領域を識別子6として処理をしない制御が実行される。なお、識別子6は、自発光体に限定される訳ではない。光を反射する白色の反射物や茶色の平面の中に存在する緑色に塗られた領域等が識別子6として撮像画像7から画像処理により特定されてもよい。
情報処理装置10は、マーカ5及び識別子6の既知の位置と、撮像画像7に含まれるマーカ5の画像マーカ位置51及び識別子6の画像識別子位置61と、に基づいて撮像部2の位置を測位する。マーカ5及び識別子6の既知の位置は、例えば、予め設計図面から特定されてもよいし、別の測位装置によって特定されてもよい。本明細書においては、マーカ5或いは識別子6の位置は3次元の世界座標系70で表記される。
情報処理装置10は、撮像部2と通信するための通信装置18に接続される。情報処理装置10側の通信装置18と撮像部2側の通信装置28が通信を確立することにより、情報処理装置10は、撮像部2から撮像画像7を取得する。
<ハードウェア構成>
図3は、情報処理装置10及び撮像部2のハードウェアの構成を示すブロック図である。
図3は、情報処理装置10及び撮像部2のハードウェアの構成を示すブロック図である。
図3の例では、情報処理装置10は、プロセッサ11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、入出力部14と、通信部15と、記憶部16と、を備える。
プロセッサ11は、各種演算及び処理を行う。プロセッサ11は、例えば、CPU(central processing unit)、MPU(micro processing unit)、SoC(system on a chip)、DSP(digital signal processor)、GPU(graphics processing unit)、ASIC(application specific integrated circuit)、PLD(programmable logic device)又はFPGA(field-programmable gate array)等である。或いは、プロセッサ11は、これらのうちの複数を組み合わせたものである。また、プロセッサ11は、これらにハードウェアアクセラレーター等を組み合わせたものあってもよい。
プロセッサ11、ROM12及びRAM13は、バスを介して相互に接続されている。プロセッサ11は、ROM12に記録されているプログラム又はRAM13にロードされたプログラムに従って各種の処理を実行する。プログラムの一部又は全部は、プロセッサ11の回路内に組み込まれていてもよい。
入出力部14は、キーボード、各種釦、マイク等で構成され、ユーザの指示操作に応じて各種情報を入力する。また、入出力部14は、ディスプレイやスピーカ等で構成され、撮像画像7や音声を出力する。タッチパネル付きの情報端末が含まれる。通信部15は、通信装置28を介して撮像部2等と通信を行うためのネットワークインターフェースである。記憶部16は、撮像画像7や既知情報等の各種の情報を記憶する領域である。
次に、撮像部2のハードウェア構成の例が説明される。撮像部2は、光学レンズ部21と、イメージセンサ22と、を備える。
光学レンズ部21は、被写体を撮像するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。フォーカスレンズは、イメージセンサ22の受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。光学レンズ部21にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
イメージセンサ22は、光電変換素子や、AFE(Analog Front End)等から構成される。光電変換素子は、例えばCMOS(Complementary Metal Oxide Semiconductor)型の光電変換素子等から構成される。光電変換素子には、光学レンズ部21から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換(撮像)して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてAFEに順次供給する。AFEは、このアナログの画像信号に対して、A/D(Analog/Digital)変換処理等の各種信号処理を実行する。この各種信号処理によって、ディジタル信号が生成され、撮像部2の出力信号として撮像画像7が出力される。
<情報処理装置の機能的構成>
図4は、情報処理装置10の機能的構成を示す機能ブロック図である。図4は、上記したように機能的構成を示すとともに、処理のフローの関係を示す。
図4は、情報処理装置10の機能的構成を示す機能ブロック図である。図4は、上記したように機能的構成を示すとともに、処理のフローの関係を示す。
情報処理装置10は、プロセッサ11が所定のプログラムに基づいて演算処理を実行することによって実現される処理部100により、情報処理装置10の各種の制御を行う。
処理部100は、画像処理部101と、マーカ識別部102と、既知情報取得部103と、一次測位部104と、算出部105と、識別子識別部106と、確定測位部107と、出力部108と、を機能別に有する。
画像処理部101は、撮像画像7を取得して歪処理等の前処理等を実行する。マーカ識別部102は、撮像画像7からマーカ5を識別する処理を実行することで、画像マーカ位置51が取得できる。
既知情報取得部103は、撮像部内部パラメータ25、撮像部設置パラメータ26、世界既知マーカ位置52及び世界既知識別子位置62等の予め設定されている既知情報をデータベース19から取得する処理を実行する。なお、データベース19は、情報処理装置10の記憶部16に構築されてもよいし、情報処理装置10の外部のサーバに構築されてもよい。
一次測位部104は、撮像画像7から取得された画像マーカ位置51とデータベース19から取得された世界既知マーカ位置52に基づいて撮像部2の位置を一次に測位して一次世界撮像位置23を取得する処理を実行する。この一次世界撮像位置23には、撮像部2の位置と撮像部2の向いている方向とが含まれる。
算出部105は、世界既知識別子位置62から、撮像部2が撮像した場合に得られる撮像画像7上の位置を投影処理して算出する投影算出処理を実行する。
識別子識別部106は、撮像画像7から画像処理により取得された識別子6の画像識別子位置61を世界既知識別子位置62に対応付けし、識別する処理を実行する。本実施形態では、この対応付け処理を実行し、画像マーカ位置51及び世界既知マーカ位置52に加え、画像識別子位置61及び世界既知識別子位置62を含むPnP問題として移動体3の位置は算出される。これにより例えば2つという少ないマーカ5数の設置であっても既存の照明等の識別子6を活用することで、高精度に移動体3の位置が算出される。
識別子識別部106は、撮像画像7から画像処理により取得された識別子6の画像識別子位置61を世界既知識別子位置62に対応付けし、識別する処理を実行する。本実施形態では、この対応付け処理を実行し、画像マーカ位置51及び世界既知マーカ位置52に加え、画像識別子位置61及び世界既知識別子位置62を含むPnP問題として移動体3の位置は算出される。これにより例えば2つという少ないマーカ5数の設置であっても既存の照明等の識別子6を活用することで、高精度に移動体3の位置が算出される。
確定測位部107は、撮像部2の一次位置、世界既知マーカ位置52及び世界既知識別子位置62等に基づいて最終的な撮像部2の位置である確定世界撮像部位置24を取得する処理を実行する。この確定世界撮像部位置24には、撮像部2の位置と撮像部2の向いている方向とが含まれる。出力部108は、測位結果を出力する処理を実行する。
なお、この例では、情報処理装置10は、撮像部2から離れた場所に位置しているが、この構成に限定されるわけではない。例えば、情報処理装置10は、移動体3や撮像部2に実装される構成であってもよい。
図5は、本実施形態に係るマーカ5及び識別子6の平面設置を示す模式図である。図5では、天井4に設置されるマーカ5及び識別子6の位置関係が平面視で示されている。この例では、2個のマーカ5は、識別番号として5a、5bが付与され、それぞれ個別のものとして扱われる。本実施形態では、16灯の照明である識別子6についても同様に、識別番号として6a~6pが付与され、それぞれ個別のものとして扱われる。
本実施形態の識別子6は、正方形や長方形等の矩形のシーリングライトである。識別子6のそれぞれについて、識別子6の中心位置を示す世界既知識別子位置62と、識別子6の外形の位置を示す複数の世界既知外形位置65と、が既知情報としてデータベース19に登録される。世界既知識別子位置62は、識別子6の重心位置や世界既知外形位置65を結んだ交点等の位置に設定される。世界既知外形位置65は、識別子6の輪郭に沿って配置される外形の特徴を示す位置である。本実施形態の世界既知外形位置65は、多角形の頂点に相当する位置に設定される。上記の通り、建物9の設計図面等から世界既知識別子位置62及び世界既知外形位置65の位置は特定できる。
ここで、図6を参照して世界既知識別子位置62の例について説明する。図6は、マーカ5及び識別子6の世界座標系70における位置の一例を表形式で示した図である。図6には、マーカ5の識別番号5a、5bと、識別子6の識別番号6a~6pのそれぞれに対する3次元位置としての中心位置の世界座標が示されている。ここでは、説明の便宜のため、天井4の隅の1つが原点とされ、平面視でx軸、y軸が設定され、垂直方向がz軸に設定され、床面がZ軸の原点に設定される。マーカ5及び識別子6の3次元位置が既知情報として予めデータベース19に登録された状態で、撮像部2によって天井4を撮像して取得した撮像画像7に基づいて撮像部2の位置を特定する処理を実行する。
<測位処理>
次に、撮像画像7を利用した測位処理について説明する。図7は、本実施形態に係る情報処理装置10が実行する測位処理の流れを説明するフローチャートである。
次に、撮像画像7を利用した測位処理について説明する。図7は、本実施形態に係る情報処理装置10が実行する測位処理の流れを説明するフローチャートである。
測位処理がスタートすると、処理部100は、撮像部2が撮像した撮像画像7を取得し、歪み補正処理を行う(ステップS101)。歪み補正処理は、例えば、広角レンズにより撮像した撮像画像7の有する樽型収差を補正する。
ステップS101の処理の後、処理部100は、識別子6の位置の特定処理を行う(ステップS102)。
識別子位置の特定処理の一例が図8及び図9を参照して説明される。図8は、撮像画像7から輝度の高い領域を抽出する処理を説明する模式図である。図8に示すように、処理部100の画像処理部101は、撮像画像7から識別子6を特定するために、前処理として撮像画像7に対して所定の閾値によって2値化し、輝度の高い領域のみを白くし、それ以外を黒くする。この結果、飽和領域にあるような輝度の高い領域が抽出される。しかし、この状態では、昼間等、日差しがある時間帯によっては窓8の位置も輝度の高い領域として抽出されてしまう。
図9は、図8で抽出された領域から測位に利用する識別子6を特定する処理を説明する模式図である。図9に示すように、画像処理部101は、窓8に起因する測位に寄与しない領域を排除するため、抽出された領域の実際の形状や面積等に基づくフィルタリング処理を実行し、マーカ5及び識別子6の可能性が高いものだけを特定する。そして、複数の識別子6のそれぞれに対して領域中心位置を画像処理により取得し、当該領域中心位置は画像識別子位置61として記憶される。そして、識別子識別部106が、識別子6の画像識別子位置61の一覧表を作成する。ここにおいて中心位置は、世界座標系70において、識別子6として認識された領域の重心、xyz座標のそれぞれの平均、最大座標と最小座標の中間値等が採用される。これらに限られる訳ではなく、中心位置は、識別子6の位置を1つの位置として代表するものである。
撮像画像7においては、識別子6は例えば輝度の高い領域を形成する。輝度の高い領域が図9に示すように多角形の場合、識別子6のそれぞれについて、識別子6の外形の位置を示す複数の画像外形位置64が取得される。画像外形位置64は、識別子6の輪郭に沿って配置される外形の特徴を示す位置である。例えば、各頂点の位置が画像外形位置64として画像処理を通して取得される。識別子6の中心位置として、例えば識別子6の重心位置或いは画像外形位置64を結んだ交点等の位置が取得される。識別子6の中心位置は、画像識別子位置61として登録される。
撮像画像7上における画像識別子位置61は、撮像画像7に2次元座標を設定して特定される。本明細書では、撮像画像7上の2次元座標系は画像座標系71と称される。
図11は画像識別子位置61の一覧表の例を示す。識別子6の撮像画像7における領域の中心点として画像識別子位置61を与えられた識別子6にはL1、L2のように一次の識別番号が割り当てられる。ここでは、画像識別子位置61の設定された例が示されている。この段階では、撮像画像7から複数の識別子6の位置を特定しただけに過ぎず、複数の識別子6が図6に示す識別子6a~6pの何れかに対応するかは確定できず、一意に識別することはできない。このため、図11に示すようにこの時点では、識別子6と世界既知識別子位置62との紐づけは成立していない。
次に、マーカ識別部102は、マーカ識別処理を行う(ステップS103)。図10は、撮像画像7からマーカ5を特定する処理を説明する模式図である。マーカ識別処理では、マーカ識別部102により、撮像画像7からマーカ5の位置が画像処理により特定される。
図11は画像マーカ位置51と世界既知マーカ位置52の一覧表の例を示す。画像マーカ位置51を与えられたマーカ5にはM1、M2のように一次の識別番号が割り当てられる。マーカ5は識別されているので、例えばM1、M2の画像マーカ位置51は、図5に示したマーカ5a、5bと紐づけられる。
マーカ識別処理の一例が説明される。マーカ識別部102は、連続する撮像画像7に基づいて発光パターンを取得し、予め設定される発光パターンと比較して撮像画像7におけるマーカ5の位置を特定する。
次に一次測位部104は、測位可能性判定処理を行う(ステップS104)。測位可能性判定処理として、例えば、一次測位部104が、マーカ5が2個以上撮像画像7の中に存在し、測位が可能かを判定する。
マーカ5で測位可能な場合(ステップS104:Yes)、一次測位部104は一次測位処理を行う(ステップS105)。
一次測位処理の一例について説明する。上記の通り、マーカ5a、5bは撮像画像7から個別に識別することができるので、一次測位部104は、図11の対応関係に基づいてマーカ5a、5bの世界既知マーカ位置52を取得する。
一次測位処理として、例えば、一次測位部104が画像マーカ位置51と世界既知マーカ位置52とに基づいてPnP測位処理を通して撮像部2について一次測位を行う。
従来から知られるように、ある点群の位置及び撮像画像7中の位置が与えられる場合、PnP測位処理により撮像部2の位置及び姿勢等が求められる。6点を基に測位される場合、撮像部2の位置及び撮像方向(面内方位、仰角)が求められる。点数が6点よりも少ない場合であっても、例えば撮像部2がマーカ5及び識別子6の設けられている天井4と平行な平面上に位置する場合には、2点のみによる測位によっても、高い精度ではないものの、撮像部2の位置及び仰角を求めることができる。
移動体3は、天井4と平行な床面を移動することから、一次測位部104により、撮像部2の一次の位置及び仰角である一次世界撮像位置23がP2P法を通して求められる。図11に示される識別番号M1、M2で表される画像マーカ位置51と、識別番号5a、5bで表される世界既知マーカ位置52とを用いてP2P法により、一次測位部104は撮像部2の一次の位置である一次世界撮像位置23を測位する。
マーカ5で測位ができない場合(ステップS104:No)、一次測位部104は、位置推定処理を行う(ステップS106)。位置推定処理として、例えば、一次測位部104は、前回の確定世界撮像部位置24と移動ベクトル履歴とに基づき、撮像部2の位置を推定し一次測位結果とする。
次に、算出部105は、識別子認識処理を行う(ステップS107)。識別子認識処理として、例えば、算出部105は、撮像画像7中に識別子6が存在するかを判定する。
撮像画像7中に識別子6が存在しない場合(ステップS107:No)、一次測位部104は一次測位結果適用処理を行う(ステップS111)。一次測位結果適用処理は、例えば、一次測位部104が一次測位結果を確定測位結果として適用する。
撮像画像7中に識別子6が存在する場合(ステップS107:Yes)、算出部105は算出識別子位置算出処理を行う(ステップS108)。算出識別子位置算出処理として、例えば、算出部105は、一次測位結果に基づいて求められた一次世界撮像位置23から世界既知識別子位置62を撮像した場合に、世界既知識別子位置62の撮像画像7に撮像される位置を、言い換えれば投影位置を示す算出識別子位置63を、算出する。
この計算は、撮像部2の位置・姿勢から、指定された任意の三次元点がどう画像上に描画されるかを逆算する公知の処理である。なお、計算自体は単純な行列計算である。そのため、無限視界での投影になり、世界撮像部位置の裏側も平面投影されてしまう。そして、そのままPnP測位処理を実行しようとすると計算が成立しないか大きな誤差が生まれる。そこで、一次測位により求められた一次世界撮像位置23から撮像された場合におおよそ撮像画角に入る世界既知識別子位置62にある識別子6だけが選別されてから計算は行われる。
図12は、位置が既知の世界既知識別子位置62及びその撮像画像7上での描画位置である算出識別子位置63を表している。世界既知識別子位置62の識別番号6aに対して算出した算出識別子位置63の識別番号は6a-Cとして記載されている。
確定測位部107は、紐づけ処理を行う(ステップS109)。紐づけ処理として、例えば、確定測位部107は、同一撮像画像上の位置関係から画像識別子位置61と算出識別子位置63とを対応付け、識別子6を算出識別子位置63の算出元である世界既知識別子位置62に紐づける。
図13は、算出識別子位置63と画像識別子位置61との関係を示す。図13aに示すように、世界既知マーカ位置52含め世界既知識別子位置62の撮像画像7上での算出識別子位置63が画像座標系71にプロットされる。一方、図13bに示すように、画像マーカ位置51含め識別子6の画像識別子位置61が画像座標系71にプロットされる。図13cは、これらを重ねた場合の画像座標系71の右上の拡大図である。算出識別子位置63は画像識別子位置61と相似であるが、測位誤差分の多少のずれがある。最寄り或いは周囲の点であり、且つ、相互位置関係を崩さない位置関係にある点同士が紐づけられる。図13Cにおいては、識別番号6p-Cの算出識別子位置63と識別番号L13の画像識別子位置61とが近傍にプロットされ、また、識別番号6o-Cの算出識別子位置63と識別番号L14の画像識別子位置61とが近傍にプロットされる。これらがそれぞれ対応する座標点として、紐づけ或いは対応付け処理がなされる。
図14は、同様にして確定測位部107により紐づけされた、算出識別子位置63と画像識別子位置61との一覧を示している。算出識別子位置63の算出のもとになった世界既知識別子位置62も合わせて表示される。画像識別子位置61は世界既知識別子位置62と紐づけられる。この時点で、撮像部2により撮像されているものの識別されていなかった識別子6が、位置の既知な識別子6として識別される。この識別された識別子6は、識別されており且つ位置が既知であることからマーカ5と同様である。
一次測位部104は2個のマーカ5を基にして撮像部2の一次世界撮像位置23を求める。これに対して、図14のように識別子6が世界既知識別子位置62に対して紐づけされることにより、マーカ5が、2個から、6aから6pまでの16個の識別された識別子6を含めて18個になることに相当する。
更に、確定測位部107は、PnP測位処理を行う(ステップS110)。PnP測位処理は、例えば、確定測位部107が、世界既知マーカ位置52及び世界既知識別子位置62と画像マーカ位置51及び画像識別子位置61とに基づいてPnP測位処理を行う。
一次測位でP2Pの測位計算であったものが、18点の3次元既知点の撮像結果から測位するP18P問題とできるので、高精度となる。
そして、出力部108が、確定測位結果としてPnP測位処理の結果を出力する。
処理部100は、測位終了判定処理を行う(ステップS112)。
測位終了判定処理として、処理部100は、測位が終了する場合(ステップS112:Yes)、測位処理を終了する。測位が終了しない場合(ステップS112:No)、処理部100は、測位処理をフローチャートのAに戻す。
本実施形態は、一次測位においてP2P測位処理を採用し、2個のマーカ5を一次測位の最低数としている。マーカ5の最低数は、6個即ちP6Pを最低とする形でもよい。P6Pにより、撮像部2の位置と撮像方向とを導出することができるからである。また、本実施形態は、上記の2点或いは6点に限られず、全てのPnP測位処理に対して有効である。
<世界既知外形位置>
以上、識別子6において中心位置である世界既知識別子位置62を例として用いて測位の全体の流れを説明した。以下、図15から図19を用いて、世界既知外形位置65を使用する場合の詳細を説明する。
以上、識別子6において中心位置である世界既知識別子位置62を例として用いて測位の全体の流れを説明した。以下、図15から図19を用いて、世界既知外形位置65を使用する場合の詳細を説明する。
図15は、識別子6が四角形であり、世界既知外形位置65を利用する場合の例を示す模式図である。各識別子6には識別番号100から130が付与されている。例えば、図5に符号6a等を付した識別子6にこれらの識別番号が付与される。図中、識別番号を示すには矢印を用いた。以下、同様である。図16は、識別子6に対して頂点に識別子位置を割り当てる例を示す模式図である。図15に示すように、平面視で長方形の照明も識別子6として利用される。図16(a)に示すように、世界既知識別子位置62に頂点部分符号111~114を加える処理が実行される。図16(a)中、符号については矢印を用いた。以下、同様である。これによって、四角形の識別子6の場合、当該識別子6の中心位置である世界既知識別子位置62と4隅の世界既知外形位置65の合計5箇所について三次元位置が取得される。
図16(b)に示すような長方形ではない台形のような非対称の多角形の識別子6に対してもその頂点部分に世界既知識別子位置62が割り当てることができる。それぞれ200から204の識別番号が付与される。このような非対称の多角形をなす識別子6は、正方形の識別子6とは異なり、その形の特殊性によりデータベース19を参照して位置を特定し識別され得る。この場合には、識別子6はマーカ5と同様に一次測位に使用できる。そして、マーカ5が無い場合においても測位が可能となる。
図16の例では、何れも四角形の一態様であるが、この形状に限定されるわけではない。例えば、三角形や五角形以上でもそれぞれの頂点を世界既知外形位置65として加え、頂点の画像外形位置64をそれぞれ取得し、二次測位を行うこともできる。
<世界既知識別子位置抽出処理>
図17は、識別子6が多角形の場合の処理の流れを説明するフローチャートである。処理部100が実行する処理により、世界既知識別子位置62及び世界既知外形位置65が抽出される。
図17は、識別子6が多角形の場合の処理の流れを説明するフローチャートである。処理部100が実行する処理により、世界既知識別子位置62及び世界既知外形位置65が抽出される。
画像識別子位置61のテーブル作成がスタートすると、まず、画像処理部101は識別子認識処理を行う(ステップS201)。識別子認識処理において、例えば、画像処理部101が撮像画像7における輝度が飽和している領域を抽出し、抽出した領域に一次識別番号を付与する。
更に、画像処理部101は識別子選択処理を行う(ステップS202)。識別子選択処理として、例えば、画像処理部101は、得られた領域について形状による選別を行う。画像処理部101は、例えば、楕円形及び四角形を抽出し、画像端にかかったものを除外する。
続けて、画像処理部101は表作成処理を行う(ステップS203)。表作成処理は、例えば、画像処理部101が抽出された候補領域を一次の表に登録するものである。
識別子識別部106は、選択処理を行う(ステップS204)。抽出処理は、例えば、識別子識別部106が領域の1つを選択する。
識別子識別部106は、サイズ判定処理を行う。サイズ判定処理としては、例えば、識別子識別部106は、識別子6の撮像画像7中の大きさが所定の大きさ以上か、を判定する。所定の大きさとは、例えば、撮像画像7の画素として7×7の大きさである。
図18を参照してサイズ判定処理について説明する。遠くで写って小さい結像となるような場合には、四隅の画像上の点を使うとかえって、誤差を生じる場合もある。そこで、サイズ判定処理では、誤差を生じる可能性が低い判定を避けるために、識別子6の候補となる領域が所定の大きさか否かを判定する。
取り出した領域が規定サイズ以上の場合(ステップS205:Yes)、識別子識別部106は、頂点登録処理を行う(ステップS206)。頂点登録処理として、例えば、識別子識別部106は、四角形の形状をした識別子6の4つの頂点を画像外形位置64として登録する。図18(a)に示すように、識別子6の1つとして画像識別子位置61を得る候補がある場合に、当該領域611の中心に位置する一部領域612だけを使用してもよい。また、図18(b)に示すように多角形に見えるものの、境界がぼやけており頂点が鮮明でない場合がある。このような場合にも当該領域611の中心に位置する一部領域612が使用され得る。
続けて、識別子識別部106は、中心登録処理を行う(ステップS207)。中心登録処理として、例えば、識別子識別部106は、取り出した領域のサイズに依らず取り出した領域の中心を画像識別子位置61として登録する。
処理部100は、終了判定処理を行う(ステップS208)。
終了しない場合(ステップS208:No)には、処理部100は測位工程をステップS204に戻す。終了する場合(ステップS208:Yes)には、処理部100は画像識別子位置61のテーブル作成を終了する。
図19は、このような多角形の識別子6の頂点の位置に世界既知識別子位置62として世界既知外形位置65を識別登録した例を示す。中心位置に10の位以上の位が採用され、頂点である世界既知外形位置65については1桁の位が採用される。
本実施形態では、環境に設置された多角形の識別子6を測位に利用することができる。識別子6として、屋内の照明を通常に撮像すると、輝度が飽和領域として映ることから、最初の識別子領域候補の取り出しとして、単に飽和値で二値化すればよく画像信号として非常に安定している。また、照明は環境に見通しのよい所に一般的に設置されており、形状も四角の単純形状が多く、本実施形態における識別子6として好適である。識別子6は照明に限られず、利用シーンにおいて安定的に簡易な方法で検出しやすいものであれば他の方法でもよい。例えば、低彩度環境の中にある、高彩度な物体で見通しがよいもの等は、特定の高い彩度閾値で二値化できるので、その他の方法として考えられるものである。
多角形状を有する識別子6が使われ、世界既知識別子位置62の一形態として世界既知外形位置65がPnP測位に用いられる。照明を増やすことなくPnP測位処理のnを増やすことができ、PnP測位処理の精度を高めることができる。
情報処理装置10の備える処理部100は、撮像画像7における識別子6の大きさが所定よりも小さい場合は、識別子6の中心位置を取得し、当該中心位置に基づいて画像識別子位置61を取得する。
PnP測位処理に用いる世界既知識別子位置62が最適化され、より高い測位精度が得られる。
(マーカの変形例)
上記した測位処理では、一次測位の方法の1つとして識別機能を有するマーカ5が用いられる。一次測位を行う方法は、他の方法でもよい。例が以下に列挙される。
上記した測位処理では、一次測位の方法の1つとして識別機能を有するマーカ5が用いられる。一次測位を行う方法は、他の方法でもよい。例が以下に列挙される。
初期状態では不可能だが、直前までで確定測位部107によるPnP測位処理ができている場合には、差分により過去の位置と最後のベクトルから現在位置推定ができるので、それを一次世界撮像位置23としてもよい。
二次元コードを撮像部2で撮像し、そのコードと、撮像部2の撮像角度から撮像部2の位置を一次設定することができる。なお、二次元コード等を認識しての測位の場合、撮像画面上比較的大きな面積に二次元コードを表示することが好ましい。
特定点として例えば赤外線センサを用意し、特定点の通過の検知に基づいて撮像部2の位置を一次設定することができる。撮像部2が移動体3に設置されている場合に、移動体3の出発点が特定ポイントであることが保証されている場合には、特定ポイントの位置に基づいて撮像部2の位置を一次設定することができる。この特定ポイントの情報は、図1に示す撮像部設置パラメータ26としてデータベース19に記憶されてもよい。例えば、充電ステーションからの出発であれば、その充電ステーションの識別番号が分かれば、撮像部2の位置を一次設定することができる。また、撮像部2の仰ぎ角、焦点距離、オートフォーカス機能の有無等は図1に示す撮像部内部パラメータ25としてデータベース19に記憶されてもよい。また、これら種々の方法の組み合わせもよい。但し、識別機能を有するマーカ5を用い、特に、発光体の色変化信号により識別されるマーカ5を使用する方式が比較的高精度に、広いエリアに対して一次測位を行うのに適する。
以上説明したように、上記実施形態のマーカ5のように発光態様を変化させて光通信を行うものに限定されるわけではなく、変形例に示したように、他の方式のマーカ5も利用することができる。
次に、世界既知識別子位置62が撮像画像7上に認識された後の処理の一例について説明する。
図20は、マーカ5及び識別子6の設置された天井4を利用したより具体的な測位プロセスを示す。認識された識別子6はマーカ5と同様に識別されている。以下の説明では、識別された世界既知識別子位置62をマーカ5と同様に一次測位部104が一次測位に用いることになる。
なお、図20において、説明の便宜のためマーカ5及び識別子6は整然と設置されており、撮像部2はこれらの設置に対して垂直に設けられている構成を想定する。図中、四角の領域は撮像画像7の撮像範囲を示している。図20aは初期状態を示す。マーカ5が撮像されて画像マーカ位置51が認識されている。そして、画像識別子位置61が得られている。マーカ5は識別されているという意味を込めて図20aにおいては黒く塗られている。
画像マーカ位置51と世界既知マーカ位置52とに基づいて撮像部2の一次世界撮像位置23が計算される。そして、一次世界撮像位置23から世界既知識別子位置62に位置する識別子6を撮像した場合の算出識別子位置63が計算される。即ち投影算出処理がなされる。そして、例えば近傍点が対応付けられることにより、画像識別子位置61を生む識別子6が算出元の世界既知識別子位置62に紐づけされる。これにより、撮像画像7に写っている識別子6は位置の既知な識別された識別子6として認識される。ここで、識別子6はマーカ5と同様の識別される指標となる。この状況を示すものとして、図20aにおいて白丸で表記されていた識別子6は図20bにおいては黒く塗られている。
ここから、移動体3が連続的に移動した場合、撮像部2により撮像される撮像画像7は図20cに示すように変化する。ここで、画像処理により、撮像画像7中の画像識別子位置61と世界既知識別子位置62との紐づけが維持される。図20Cにおいては、識別を意味する黒塗りによるマーカ5及び識別子6の画像マーカ位置51及び画像識別子位置61が維持される。この図20cの撮像画像7中の黒塗りされた4つの点は、識別されているので図20aにおける画像マーカ位置51と同様に、撮像部2の一次測位に用いることができる。そして算出識別子位置63との対比を通して、新たに図20Cの撮像画像7中の画像識別子位置61が世界既知識別子位置62と紐づけされて、マーカ5と同様の識別される指標となる。この状況を示すものとして、図20Cにおいて白丸で表記されている識別子6は図20dにおいては黒く塗られている。
この工程が繰り返されることとなる。図20eは図20cに続いて更に移動体3が移動した時の撮像画像7を示している。この時点にあっては、マーカ5に起因する画像マーカ位置51は撮像画像7中にはない。識別される識別子6に基づいて一次測位部104が撮像部2の位置を一次測位し、更に、確定測位部107が撮像部2の位置を確定測位する。
これにより、動作初期位置付近だけにマーカ5を設置し、以降は、連続的に識別子6を測位し識別することで、広いエリアでありながら、マーカ5を設置するのは初期位置のみであるようなマーカ5の設置が可能になる。即ち、マーカ5を利用した処理移行は、マーカ5が撮像画像7に含まれていなくも識別子6が含まれていれば撮像部2の確定世界撮像部位置24を導出することが可能になる。
<実施形態の効果>
情報処理装置10は、撮像部2により撮像された空間内に設けられる識別子6を含む撮像画像7に基づいて、画像処理により前記識別子6の外形から画像座標系71における複数の画像外形位置64を取得し、前記画像外形位置64と世界座標系70における前記識別子の外形の既知の3次元位置を示す世界既知外形位置65とに基づいて、前記撮像部2の位置を決定する、処理部100を備える。
これにより、既存の識別子6或いは照明のみにより位置精度の高い測位結果を導出する情報処理装置10を実現できる。波利用による高精度追及の困難性が生じない。また、Visual-SLAM、LiDAR-SLAMにあるような確定測位が保証され難いという問題が生じず、ループ閉じこみ問題が起きない。実用的測位システムを構築することができる。
これにより、情報処理装置10の有する前記処理部100は、前記画像外形位置64として外形の頂点位置及び前記外形の頂点位置から導出される中心位置の少なくとも何れか一方を取得する。
これにより、多角形状の照明が測位に利用されることで、測位の自由度が広がり、測位の精度が向上する。頂点の数は三角形の3点が最小であり、PnP測位処理に必要な最低数である2以上でとなる。また、中心位置の取得により少なくとも測位の基準となる位置が1つ提供されることになる。
情報処理装置10の前記処理部100は、非対称の外形を有する前記識別子6の前記画像外形位置64に基づいて前記撮像部2の位置を決定する。
これにより、非対称の外形がデータベース19に照合されて画像外形位置64が世界既知外形位置65と対応付けられ、向きを特定できるので、マーカ5が無くてもPnP測位処理実行できる。
情報処理装置10の有する前記処理部100は、撮像された撮像画像7上の大きさが所定以上の前記識別子6の前記画像外形位置64に基づいて前記撮像部の位置を決定する
。
。
これにより、撮像画像7上の測位用の座標の解像度が一定以上となり、測位精度の信頼性が向上する。
情報処理装置の有する前記処理部100は、前記撮像画像7における前記識別子6の大きさが所定よりも小さい場合は、前記識別子6の中心位置を取得し、前記中心位置に基づいて前記撮像部の位置を決定する。
これにより、撮像画像7上の測位用の座標の解像度が一定以上となり、測位精度の信頼性が向上する。中心点を採用することで、少なくとも測位用の位置が1つ提供され、測位精度が向上する。
情報処理装置10の有する前記処理部100は、前記識別子6の前記画像外形位置64と前記世界既知外形位置65とに基づいて前記撮像部2の一次世界撮像位置23を取得し、前記一次世界撮像位置23と世界座標系70における前記識別子6の既知の3次元位置を示す世界既知識別子位置62とに基づいて、前記識別子6の撮像画像7上の位置を示す画像識別子位置61と前記世界既知識別子位置62とを対応付け、前記画像識別子位置61と前記世界既知識別子位置62とに基づいて、前記撮像部2の位置を決定する。
これにより、二次測位において、PnP測位処理のnの数、即ち、測位用の基準位置が増えることにより測位精度が向上する。
また、本実施形態のプログラムは、撮像部2により撮像された空間内に設けられる識別子6を含む撮像画像7に基づいて、画像処理により前記識別子6の外形から画像座標系71における複数の画像外形位置64を取得する機能と、前記画像外形位置64と世界座標系70における前記識別子6の外形の既知の3次元位置を示す世界既知外形位置65とに基づいて、前記撮像部2の位置を決定する機能と、を実行させる。
これにより、既存の識別子6或いは照明のみにより位置精度の高い測位結果を導出するプログラムが提供される。
また、本実施形態の測位方法は、撮像部2により撮像された空間内に設けられる識別子6を含む撮像画像7に基づいて、画像処理により前記識別子6の外形から画像座標系71における複数の画像外形位置64を取得するステップと、前記画像外形位置64と世界座標系70における前記識別子6の外形の既知の3次元位置を示す世界既知外形位置65とに基づいて、前記撮像部2の位置を決定するステップと、を含む。
既存の識別子6或いは照明のみにより位置精度の高い測位結果を導出する方法が提供される。
以上、識別子6を利用した測位処理について説明した。なお、本発明は、上記の実施形態及び変形例に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
また、上記の実施形態では、本発明が適用される情報処理装置10は、移動体3としてフォークリフトを例として説明したが、特にこれに限定されない。例えば、本発明は、画像処理機能を有する電子機器一般に適用することができる。具体的には、例えば、ノート型のパーソナルコンピュータ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に本発明は適用可能である。
上記した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。換言すると、図4の機能的構成は例示に過ぎず、特に限定されない。即ち、上記した一連の処理を全体として実行できる機能が情報処理装置10に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図4の例に限定されない。
また、1つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。本実施形態における機能的構成は、演算処理を実行するプロセッサ11によって実現され、本実施形態に用いることが可能なプロセッサ11には、シングルプロセッサ、マルチプロセッサ及びマルチコアプロセッサ等の各種処理装置単体によって構成されるものの他、これら各種処理装置と、ASIC(Application Specific Integrated Circuit)やFPGA(Field‐Programmable Gate Array)等の処理回路とが組み合わせられたものを含む。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディアは、例えば、磁気ディスク(フロッピディスクを含む)、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、CD-ROM(Compact Disk-Read Only Memory)、DVD(Digital Versatile Disk)、Blu-ray(登録商標) Disc(ブルーレイディスク)等により構成される。光磁気ディスクは、MD(Mini-Disk)等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されているROM12や図示されないハードディスク等で構成される。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、更に、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[付記1]
撮像部2により撮像された空間内に設けられる識別子6を含む撮像画像7に基づいて、画像処理により前記識別子6の外形から画像座標系71における複数の画像外形位置64を取得し、
前記画像外形位置64と世界座標系70における前記識別子の外形の既知の3次元位置を示す世界既知外形位置65とに基づいて、前記撮像部2の位置を決定する、
処理部100を備える情報処理装置10。
撮像部2により撮像された空間内に設けられる識別子6を含む撮像画像7に基づいて、画像処理により前記識別子6の外形から画像座標系71における複数の画像外形位置64を取得し、
前記画像外形位置64と世界座標系70における前記識別子の外形の既知の3次元位置を示す世界既知外形位置65とに基づいて、前記撮像部2の位置を決定する、
処理部100を備える情報処理装置10。
[付記2]
前記処理部100は、非対称の外形を有する前記識別子6の前記画像外形位置64に基づいて前記撮像部2の位置を決定する、
付記1に記載の情報処理装置10。
前記処理部100は、非対称の外形を有する前記識別子6の前記画像外形位置64に基づいて前記撮像部2の位置を決定する、
付記1に記載の情報処理装置10。
[付記3]
前記処理部100は、
前記画像外形位置64として外形の頂点位置及び前記外形の頂点位置から導出される中心位置の少なくとも何れか一方を取得する
付記1又は付記2に記載の情報処理装置10。
前記処理部100は、
前記画像外形位置64として外形の頂点位置及び前記外形の頂点位置から導出される中心位置の少なくとも何れか一方を取得する
付記1又は付記2に記載の情報処理装置10。
[付記4]
前記処理部100は、前記撮像画像7における前記識別子6の大きさが所定より大きい場合は、前記識別子6の前記画像外形位置64に基づいて前記撮像部の位置を決定する、
付記1から3の何れか1つに記載の情報処理装置10。
前記処理部100は、前記撮像画像7における前記識別子6の大きさが所定より大きい場合は、前記識別子6の前記画像外形位置64に基づいて前記撮像部の位置を決定する、
付記1から3の何れか1つに記載の情報処理装置10。
[付記5]
前記処理部100は、
前記撮像画像7における前記識別子6の大きさが所定よりも小さい場合は、前記識別子6の前記位置を取得し、前記中心位置に基づいて前記撮像部2の位置を決定する
付記3に記載の情報処理装置10。
前記処理部100は、
前記撮像画像7における前記識別子6の大きさが所定よりも小さい場合は、前記識別子6の前記位置を取得し、前記中心位置に基づいて前記撮像部2の位置を決定する
付記3に記載の情報処理装置10。
[付記6]
前記処理部100は、
前記識別子6の前記画像外形位置64と前記世界既知外形位置65とに基づいて前記撮像部2の一次世界撮像位置23を取得し、
前記一次世界撮像位置23と世界座標系70における前記識別子6の既知の3次元位置を示す世界既知識別子位置62とに基づいて、前記識別子6の撮像画像7上の位置を示す前記画像識別子位置61と前記世界既知識別子位置62とを対応付け、
前記画像識別子位置61と前記世界既知識別子位置62とに基づいて、前記撮像部2の位置を決定する、
付記1から5の何れか1つに記載の情報処理装置10。
前記処理部100は、
前記識別子6の前記画像外形位置64と前記世界既知外形位置65とに基づいて前記撮像部2の一次世界撮像位置23を取得し、
前記一次世界撮像位置23と世界座標系70における前記識別子6の既知の3次元位置を示す世界既知識別子位置62とに基づいて、前記識別子6の撮像画像7上の位置を示す前記画像識別子位置61と前記世界既知識別子位置62とを対応付け、
前記画像識別子位置61と前記世界既知識別子位置62とに基づいて、前記撮像部2の位置を決定する、
付記1から5の何れか1つに記載の情報処理装置10。
[付記7]
撮像部2により撮像された空間内に設けられる識別子6を含む撮像画像7に基づいて、画像処理により前記識別子6の外形から画像座標系71における複数の画像外形位置64を取得する機能と、
前記画像外形位置64と世界座標系70における前記識別子6の外形の既知の3次元位置を示す世界既知外形位置65とに基づいて、前記撮像部2の位置を決定する機能と、
を実行させるプログラム。
撮像部2により撮像された空間内に設けられる識別子6を含む撮像画像7に基づいて、画像処理により前記識別子6の外形から画像座標系71における複数の画像外形位置64を取得する機能と、
前記画像外形位置64と世界座標系70における前記識別子6の外形の既知の3次元位置を示す世界既知外形位置65とに基づいて、前記撮像部2の位置を決定する機能と、
を実行させるプログラム。
[付記8]
撮像部2により撮像された空間内に設けられる識別子6を含む撮像画像7に基づいて、画像処理により前記識別子6の外形から画像座標系71における複数の画像外形位置64を取得するステップと、
前記画像外形位置64と世界座標系70における前記識別子6の外形の既知の3次元位置を示す世界既知外形位置65とに基づいて、前記撮像部2の位置を決定するステップと、
を含む測位方法。
撮像部2により撮像された空間内に設けられる識別子6を含む撮像画像7に基づいて、画像処理により前記識別子6の外形から画像座標系71における複数の画像外形位置64を取得するステップと、
前記画像外形位置64と世界座標系70における前記識別子6の外形の既知の3次元位置を示す世界既知外形位置65とに基づいて、前記撮像部2の位置を決定するステップと、
を含む測位方法。
1 即位システム
2 撮像部
3 移動体
4 天井
5 マーカ
6 識別子
8 窓
9 建物
10 情報処理装置
18 通信装置
28 撮像部通信装置
2 撮像部
3 移動体
4 天井
5 マーカ
6 識別子
8 窓
9 建物
10 情報処理装置
18 通信装置
28 撮像部通信装置
Claims (8)
- 撮像部により撮像された空間内に設けられる識別子を含む撮像画像に基づいて、画像処理により前記識別子の外形から画像座標系における複数の画像外形位置を取得し、
前記画像外形位置と世界座標系における前記識別子の外形の既知の3次元位置を示す世界既知外形位置とに基づいて、前記撮像部の位置を決定する、
処理部を備える情報処理装置。 - 前記処理部は、非対称の外形を有する前記識別子の前記画像外形位置に基づいて前記撮像部の位置を決定する、
請求項1に記載の情報処理装置。 - 前記処理部は、
前記画像外形位置として外形の頂点位置及び前記外形の前記頂点位置から導出される中心位置の少なくとも何れか一方を取得する
請求項1又は請求項2に記載の情報処理装置。 - 前記処理部は、
前記撮像画像における前記識別子の大きさが所定よりも大きい場合は、前記識別子の前記画像外形位置に基づいて前記撮像部の位置を決定する、
請求項1から3の何れか1項に記載の情報処理装置。 - 前記処理部は、
前記撮像画像における前記識別子の大きさが所定よりも小さい場合は、前記識別子の前記位置を取得し、前記中心位置に基づいて前記撮像部の位置を決定する
請求項3に記載の情報処理装置。 - 前記処理部は、
前記識別子の前記画像外形位置と前記世界既知外形位置とに基づいて前記撮像部の一次世界撮像位置を取得し、
前記一次世界撮像位置と世界座標系における前記識別子の既知の3次元位置を示す世界既知識別子位置とに基づいて、前記識別子の画像上の位置を示す画像識別子位置と前記世界既知識別子位置とを対応付け、
前記画像識別子位置と前記世界既知識別子位置とに基づいて、前記撮像部の位置を決定する、
請求項1から5の何れか1項に記載の情報処理装置。 - 撮像部により撮像された空間内に設けられる識別子を含む撮像画像に基づいて、画像処理により前記識別子の外形から画像座標系における複数の画像外形位置を取得する機能と、
前記画像外形位置と世界座標系における前記識別子の外形の既知の3次元位置を示す世界既知外形位置とに基づいて、前記撮像部の位置を決定する機能と、
を実行させるプログラム。 - 撮像部により撮像された空間内に設けられる識別子を含む撮像画像に基づいて、画像処理により前記識別子の外形から画像座標系における複数の画像外形位置を取得するステップと、
前記画像外形位置と世界座標系における前記識別子の外形の既知の3次元位置を示す世界既知外形位置とに基づいて、前記撮像部の位置を決定するステップと、
を含む測位方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021151353A JP2023043632A (ja) | 2021-09-16 | 2021-09-16 | 情報処理装置、プログラム、測位方法 |
CN202211107239.XA CN115835007A (zh) | 2021-09-16 | 2022-09-09 | 信息处理装置、记录介质和定位方法 |
US17/943,077 US20230084125A1 (en) | 2021-09-16 | 2022-09-12 | Information processing apparatus, recording medium, and positioning method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021151353A JP2023043632A (ja) | 2021-09-16 | 2021-09-16 | 情報処理装置、プログラム、測位方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023043632A true JP2023043632A (ja) | 2023-03-29 |
Family
ID=85478710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021151353A Pending JP2023043632A (ja) | 2021-09-16 | 2021-09-16 | 情報処理装置、プログラム、測位方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230084125A1 (ja) |
JP (1) | JP2023043632A (ja) |
CN (1) | CN115835007A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310390A (zh) * | 2023-05-17 | 2023-06-23 | 上海仙工智能科技有限公司 | 一种空心目标的视觉检测方法及系统、库位管理系统 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116011480B (zh) * | 2023-03-28 | 2023-06-23 | 武汉大水云科技有限公司 | 基于二维码标识符的水位获取方法、装置、设备及介质 |
-
2021
- 2021-09-16 JP JP2021151353A patent/JP2023043632A/ja active Pending
-
2022
- 2022-09-09 CN CN202211107239.XA patent/CN115835007A/zh active Pending
- 2022-09-12 US US17/943,077 patent/US20230084125A1/en active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116310390A (zh) * | 2023-05-17 | 2023-06-23 | 上海仙工智能科技有限公司 | 一种空心目标的视觉检测方法及系统、库位管理系统 |
CN116310390B (zh) * | 2023-05-17 | 2023-08-18 | 上海仙工智能科技有限公司 | 一种空心目标的视觉检测方法及系统、库位管理系统 |
Also Published As
Publication number | Publication date |
---|---|
US20230084125A1 (en) | 2023-03-16 |
CN115835007A (zh) | 2023-03-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2022036143A (ja) | 物体追跡システム、物体追跡装置、および物体追跡方法 | |
US20230084125A1 (en) | Information processing apparatus, recording medium, and positioning method | |
JP5279654B2 (ja) | 画像追尾装置、画像追尾方法、及びコンピュータプログラム | |
US8638988B2 (en) | Movement analysis and/or tracking system | |
JP2016162232A (ja) | 画像認識方法及び装置、プログラム | |
JP2013125341A (ja) | 利用者検知装置、方法及びプログラム | |
JP6157165B2 (ja) | 視線検出装置及び撮像装置 | |
US20210258551A1 (en) | Position detection method, position detection device, and display device | |
KR101321780B1 (ko) | 화상처리장치 및 화상처리방법 | |
US20200250839A1 (en) | Moving body detecting device, moving body detecting method, and moving body detecting program | |
CN108572734A (zh) | 一种基于红外激光辅助成像的手势控制系统 | |
WO2019054204A1 (ja) | 画像処理装置および方法 | |
JP2019036213A (ja) | 画像処理装置 | |
JP5862217B2 (ja) | マーカの検出および追跡装置 | |
JP2023043631A (ja) | 情報処理装置、プログラム、測位方法 | |
JP5708305B2 (ja) | 画像認識装置、画像認識方法及び画像認識用コンピュータプログラム | |
US20240127576A1 (en) | System and method for matching of image features with indistinguishable landmarks | |
ES2550502T3 (es) | Método y sistema para detectar ópticamente y localizar un marcador de dos dimensiones, 2D, en datos de escena 2D, y marcador para el mismo | |
JP4546155B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
JP5240305B2 (ja) | 被写体特定用プログラム、およびカメラ | |
JP6369933B2 (ja) | 情報端末装置、方法及びプログラム | |
CN112102356A (zh) | 一种目标跟踪方法、装置、终端设备及存储介质 | |
CN117649703A (zh) | 一种目标用户检测方法、装置及设备 | |
JP2005173840A (ja) | 画像対応点抽出装置および画像対応点抽出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240201 |