JP2019132673A - 端末装置及び位置検出システム - Google Patents

端末装置及び位置検出システム Download PDF

Info

Publication number
JP2019132673A
JP2019132673A JP2018014362A JP2018014362A JP2019132673A JP 2019132673 A JP2019132673 A JP 2019132673A JP 2018014362 A JP2018014362 A JP 2018014362A JP 2018014362 A JP2018014362 A JP 2018014362A JP 2019132673 A JP2019132673 A JP 2019132673A
Authority
JP
Japan
Prior art keywords
lighting fixture
terminal device
information
lighting
gravity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018014362A
Other languages
English (en)
Inventor
栄一 ▲高▼島
栄一 ▲高▼島
Eiichi Takashima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2018014362A priority Critical patent/JP2019132673A/ja
Publication of JP2019132673A publication Critical patent/JP2019132673A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】良好な位置検出精度でありつつ、少ない照明器具で、且つ、少ない処理時間で位置を検出することが可能な端末装置及び位置検出システムを提供する。【解決手段】照明器具を撮像することができる端末装置であって、前記照明器具の動画像を撮像する撮像部と、前記動画像から、前記照明器具を特定する識別情報と、前記照明器具の形状情報と、前記照明器具における少なくとも6組の点の位置情報とを取得する取得部と、前記識別情報と、前記形状情報と、前記位置情報とに基づいて、前記端末装置の位置を、線形方程式を利用して算出する位置検出部と、を備える端末装置を提供する。【選択図】図6

Description

本発明は、端末装置及び位置検出システムに関する。
近日、屋外における位置を検出する技術として、人工衛星から電波を受信することで位置を推定する全地球測位システム(GPS:Global Positioning System)が広く用いられている。ただし、GPSの電波が届かない屋内においては位置の検出が困難となるため、屋内における位置の検出方法として、例えば、可視光通信を使った方法を挙げることができる。
可視光通信は、可視光線を利用した無線通信技術であり、照明器具の点滅のパターンを様々に変調させることで、情報を送信することができる通信技術である。このような可視光通信を利用した位置の検出方法の一例としては、下記の特許文献1、特許文献2、特許文献3及び非特許文献1に開示された技術を挙げることができる。
特表2014−506328号公報 特開2011−128948号公報 特開2008−224536号公報
中澤陽平、可視光通信による屋内歩行者位置計測法に関する研究、新潟大学、2016年3月23日 出口光一郎、カメラキャリブレーション手法の最近の動向、情報処理学会研究会報告、CV−82−1、pp.1−8、1993年
しかしながら、上述したような可視光通信を利用した位置の検出においては、位置の検出精度が低く、もしくは、位置の検出の算出処理に多くに時間を必要としていたり、6つ以上の照明器具を必要としていたりしていた。すなわち、従来の可視光通信を利用した位置の検出方法においては、良好な位置検出精度でありつつ、少ない照明器具で、且つ、少ない処理時間で位置を検出することが難しかった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、良好な位置検出精度でありつつ、少ない照明器具で、且つ、少ない処理時間で位置を検出することが可能な、新規且つ改良された端末装置及び位置検出システムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、照明器具を撮像することができる端末装置であって、前記照明器具の動画像を撮像する撮像部と、前記動画像から、前記照明器具を特定する識別情報と、前記照明器具の形状情報と、前記照明器具における少なくとも6組の点の位置情報とを取得する取得部と、前記識別情報と、前記形状情報と、前記位置情報とに基づいて、前記端末装置の位置を、線形方程式を利用して算出する位置検出部と、を備える端末装置が提供される。
前記形状情報は、実空間上及び前記動画像上における、前記照明器具の発光領域の形状、及び、前記発光領域の頂点の位置に関する情報を含んでもよい。
前記位置情報は、前記実空間上及び前記動画像上における、前記照明器具の重心の位置に関する情報を含んでもよい。
前記取得部は、前記照明器具からの光の受光パターンに基づいて、前記識別情報、前記形状情報、及び、前記位置情報の一部を取得してもよい。
前記位置検出部は、実空間上の前記照明器具における少なくとも6点と、前記動画像上の前記照明器具における少なくとも6点との対応関係を特定してもよい。
前記端末装置は、同一平面上に設けられた少なくとも3つ以上の前記照明器具を撮像してもよい。
前記位置検出部は、前記実空間上及び前記動画像上において、所定の点の間の距離をそれぞれ算出し、算出された前記距離の比較を行うことにより、前記対応関係を特定してもよい。
前記少なくとも3つ以上の照明器具には、第1、第2及び第3の照明器具を含まれており、前記位置検出部は、前記実空間上における、前記各照明器具の重心の位置を取得し、取得された前記各重心が一直線上に並んでいない場合には、前記実空間上における、前記第1の照明器具における2つの端部を結ぶ直線と、前記第2の照明器具の前記重心と前記第3の照明器具の前記重心とを結ぶ直線とにより構成される角度を利用して、前記対応関係を特定する方法を選択してもよい。
前記位置検出部は、前記角度が所定の角度以内であれば、前記実空間上及び前記動画像上において、前記第1の照明器具における一方の前記端部から、前記第2及び第3の照明器具の前記重心までの距離を算出し、且つ、前記第1の照明器具における他方の前記端部から、前記第2及び第3の照明器具の前記重心までの距離を算出し、前記角度が所定の角度以内でなければ、前記実空間上及び前記動画像上において、前記第1の照明器具における前記2つの端部からの前記第2及び第3の照明器具の前記重心までの距離の合計値を算出してもよい。
前記少なくとも3つ以上の照明器具には、第1、第2及び第3の照明器具を含まれており、前記位置検出部は、前記実空間上及び前記動画像上において、前記第1の照明器具の重心から延びる、前記第2の照明器具の重心と前記第3の照明器具の重心とを結ぶ直線への垂線を算出し、前記第1の照明器具の一方の点と前記第1の照明器具の前記重心とを結ぶ線分と、前記垂線とにより構成される第1の角度を算出し、前記第1の照明器具の他方の点と前記第1の照明器具の前記重心とを結ぶ線分と、前記垂線とにより構成される第2の角度を算出し、算出した前記第1及び第2の角度に基づいて、前記対応関係を特定してもよい。
上記課題を解決するために、本発明の他の観点によれば、照明器具と端末装置とを含む位置検出システムであって、前記端末装置は、前記照明器具の動画像を撮像する撮像部と、前記動画像から、前記照明器具を特定する識別情報と、前記照明器具の形状情報と、前記照明器具における少なくとも6組の点の位置情報とを取得する取得部と、前記識別情報と、前記形状情報と、前記位置情報とに基づいて、前記端末装置の位置を、線形方程式を利用して算出する位置検出部と、を有する、位置検出システムが提供される。
前記照明器具は、前記識別情報と、前記形状情報と、前記位置情報の一部とを発光することにより前記端末装置へ送信してもよい。
以上説明したように本発明によれば、良好な位置検出精度でありつつ、少ない照明器具で、且つ、少ない処理時間で位置を検出することが可能な端末装置及び位置検出システムを提供することができる。
本発明の第1の実施形態に係る位置検出システム1を説明するための説明図である。 本発明の第1の実施形態に係る照明器具100の設置位置の一例を説明するための説明図(その1)である。 本発明の第1の実施形態に係る照明器具100の設置位置の一例を説明するための説明図(その2)である。 本発明の第1の実施形態に係る照明器具100の機能ブロック図である。 本発明の第1の実施形態に係る照明器具記憶部104に格納される情報テーブル500の一例を説明するための説明図である。 本発明の第1の実施形態に係る端末装置200の機能ブロック図である。 本発明の第1の実施形態に係る端末記憶部204に格納される情報テーブル502の一例を説明するための説明図である。 本発明の第1の実施形態に係る位置算出部210の算出方法を説明するための説明図である。 本発明の第1の実施形態に係る位置検出方法のフローチャートである。 本発明の第1の実施形態に係る対応特定処理(前処理)のサブフローチャートである。 図10のステップS213のサブフローチャートである。 本発明の第1の実施形態に係る対応特定処理(前処理)を説明するための説明図(その1)である。 本発明の第1の実施形態に係る対応特定処理(前処理)を説明するための説明図(その2)である。 本発明の第2の実施形態に係る位置検出方法のフローチャートである。 本発明の第2の実施形態に係る位置検出方法を説明するための説明図である。 本発明の実施形態に係る端末装置200である無線通信装置900のハードウェア構成例を示したブロック図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書および図面において、実質的に同一または類似の機能構成を有する複数の構成要素を、同一の符号の後に異なる数字を付して区別する場合がある。ただし、実質的に同一又は類似の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。また、異なる実施形態の類似する構成要素については、同一の符号の後に異なるアルファベットを付して区別する場合がある。ただし、類似する構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
以下に説明する本発明の実施形態は、同一平面上に設けられた少なくとも3つ以上の照明器具100(図1 参照)を用いて、端末装置200(図1 参照)の位置を検出する位置検出方法として説明する。しかしながら、本発明の実施形態は、このように3つ以上の照明器具100を用いて位置を検出することに限定されるものではなく、1つの照明器具100を用いて端末装置200の位置を検出してもよい。
<<本発明の実施形態をなすに至った経緯>>
次に、本発明の実施形態の具体的な説明に先立ち、本発明者らが本発明の実施形態をなすに至った経緯について説明する。
先に説明したように、屋外における位置を検出する技術として、人工衛星から電波(GPS電波)を受信することで位置を推定する全地球測位システムが広く用いられている。しかしながら、上述の方法においては、GPSの電波が届かない屋内においては位置の検出が難しくなるため、屋内における位置の検出方法として、可視光通信を使った方法を挙げることができる。当該可視光通信は、人の目で見える波長(約360nm〜約830nm)を持つ電磁波、すなわち、可視光線を利用した無線通信技術であり、可視光線を照射することができる照明器具の点滅のパターンを様々に変調させることで、情報を送信することができる通信技術である。なお、位置を検出する方法としては、他にも、空間を伝播する弾性波である音波を使って位置を検出する方法を挙げることができるが、周囲環境からの影響を受け難いことから、可視光通信を用いた位置検出方法は、音波を使った位置検出方法に比べて、精度が高いといえる。
例えば、可視光通信を用いた位置検出方法としては、上記特許文献1に開示の技術を挙げることができる。上記特許文献1においては、複数の照明器具が、それぞれの固有の識別情報を、可視光通信を用いて位置検出対象となる対象装置へ送信する。さらに、当該対象装置は、予め格納した各照明器具の位置情報と、各照明装置からの可視光線の受信強度とに基づいて、照明器具から自身までの距離を求めることにより、対象装置自身の位置を検出することができる。
また、例えば、特許文献2においては、複数の照明器具は、それぞれの固有の識別情報と照明器具の位置とを、可視光通信を用いて位置検出対象となる対象装置へ送信する。さらに、当該対象装置は、可視光通信を用いて受信した位置情報に基づいて、対象装置自身のおおよその位置を推定する。
また、例えば、非特許文献1においては、3つの照明器具は、それぞれの固有の識別情報と照明器具の位置とを、可視光通信を用いて位置検出対象となる対象装置へ送信する。そして、当該対象装置は、魚眼レンズを使って、各照明器具を撮影し、撮像画面上の各照明器具の位置を取得し、可視光通信を用いて各照明器具の識別情報及び位置情報を取得する。さらに、当該対象装置は、取得した情報に基づいて、非線形最小二乗法を用いて、対象装置自身の位置を検出することができる。
しかしながら、本発明者は、上述の各文献に開示された技術に対して鋭意検討を行い、これら文献に開示された技術に問題点があることが明らかになった。詳細には、本発明者によれば、上記特許文献1においては、可視光線の受信強度により距離を求める方法であることから、周囲環境の影響を受けやすく、照明装置と対象装置との間の距離の推定精度が低いことが問題であった。また、上記特許文献2においては、おおよその対象装置の位置を推定することを前提とする技術であることから、対象装置の位置の検出の精度が低い。
さらに、非特許文献1では、非線形最小二乗法を用いて位置を検出するため、算出処理に時間がかかることが問題であった。また、本発明者は、非特許文献1に開示の技術を用いて、非線形最小二乗法に比べて処理の負担が少ない線形方程式を用いることを採用することを検討したが、このような場合、照明器具が6つ以上必要になり、位置検出のためのシステム構築にかかるコストが増加することが問題であった。
そこで、本発明者は、このような状況を鑑みて、以下に説明する本発明の実施形態を創作するに至った。すなわち、本発明者の創作した本発明の実施形態によれば、良好な位置検出精度でありつつ、少ない照明器具で、且つ、少ない処理時間で位置を検出することができる。以下に、本発明者が創作した本発明の実施形態の詳細を順次説明する。
<<第1の実施形態>>
<位置検出システム1の概要構成>
まずは、図1から図3を参照して、本発明の第1の実施形態に係る位置検出システム1の概要を説明する。図1は、本実施形態に係る位置検出システム1を説明するための説明図である。図2及び図3は、本実施形態に係る照明器具100の設置位置の一例を説明するための説明図であり、詳細には、図2は、室内300の天井の平面図の一例であり、図3は、室内300の側面図の一例である。
本実施形態に係る位置検出システム1は、図1に示すように、照明器具100と端末装置200とを含む。当該位置検出システム1は、照明器具100から、照明器具100の発光領域(発光部110)の形状及び位置情報等を、可視光通信を用いて端末装置200へ送信する。さらに、端末装置200は、照明器具100を撮像し、照明器具100の動画像から、照明器具の識別情報、発光領域の形状、及び、照明器具100の位置情報を取得し、取得した情報に基づき、線形方程式を利用して自身の位置を検出することができる。当該位置検出システム1は、少ない照明器具100を用いて、端末装置200の位置を検出することができる。
上記位置検出システム1は、例えば、工場内、オフィス内、病院内等における人物400の位置を検出する際に用いることができる。なお、以下の説明では、端末装置200を携帯する人物400の位置の検出を目的とするシステムであるとして説明するが、本実施形態に係る位置検出システム1は、これに限定されるものではなく、端末装置200と一体となった物体(例えば、部品、装置や自立歩行型ロボット等)の位置を検出する際にも適用することができる。
以下に、本実施形態に係る位置検出システム1に含まれる各装置の概要について説明する。
(照明器具100)
照明器具100は、可視光通信を行うことができる照明装置であり、例えば、図1に示すように、室内300の天井等に固定されて設置される。
詳細には、複数の照明器具100(照明器具100a、100b、100c、100d)は、図2及び図3に示すように、室内300の天井である同一平面上に設けられる。なお、本実施形態においては、各照明器具100が設置される高さを同一にすることで、端末装置200の位置を検出する際に、三次元空間(実空間)上と画像上とにおける各点の対応関係の特定を容易に行うことができる(特定方法の詳細は、後述する)。
また、本実施形態においては、位置検出システム1に含まれる照明器具100の数は、図1から図3に示されるような4つに限定されるものではなく、1つであっても、複数であってもよい。なお、以下の説明においては、位置検出システム1に、同一平面(天井)上に設けられた3つの照明器具100が含まれているものとして説明する。また、照明器具100の詳細構成については、後述する。
(端末装置200)
端末装置200は、例えば、人物400により携帯されて複数の照明器具100の動画像を撮像することができる端末であり、スマートフォン、携帯端末、又はウェアラブル端末等から構成される。なお、当該端末装置200の詳細については、後述する。
なお、本実施形態に係る位置検出システム1は、図1に図示していないサーバを含んでいてもよく、当該サーバは、本実施形態に係る位置検出の際に用いる情報を格納し、必要に応じて、上記端末装置200へ格納した情報を、無線通信等を介して送信してもよい。また、当該サーバは、端末装置200で撮像した照明器具100の動画像を端末装置200から、無線通信等を介して受信し、当該サーバにおいて、当該動画像を用いて端末装置200の位置の検出を行ってもよい。
<照明器具100の詳細構成>
以上、本実施形態に係る位置検出システム1の概要構成について説明した。次に、本実施形態に係る照明器具100の詳細構成について、図4及び図5を参照して説明する。図4は、本実施形態に係る照明器具100の機能ブロック図である。図5は、本実施形態に係る照明器具記憶部104に格納される情報テーブル500の一例を説明するための説明図である。
図4に示すように、本実施形態に係る照明器具100は、照明器具制御部102、照明器具記憶部104、パケット生成部106、発光処理部(発光制御部)108、及び発光部110を主に有する。以下に、本発明の第1の実施形態に係る照明器具100に含まれる各機能ブロックの詳細について説明する。
(照明器具制御部102)
照明器具制御部102は、照明器具100に内蔵されるCPU(Central Processing Unit)、ROM(Read Only Memory)、及びRAM(Random Access Memory)等のハードウェアを用いて、照明器具100の各機能ブロックを制御する機能を有する。具体的には、照明器具制御部102は、後述するパケット生成部106に対して、パケット送信(可視光通信)を行うように、定期的に命令することができる。
(照明器具記憶部104)
照明器具記憶部104は、ROM、RAM等の記憶装置から実現され、例えば、照明器具100の識別情報(ID(Identification))、発光領域(発光部110)の形状に関する情報(形状情報)、照明器具100の設置位置に関する情報(位置情報)等を格納することができる。さらに、照明器具記憶部104は、上述の照明器具制御部102の指示に従って、格納する情報を、後述するパケット生成部106へ出力することができる。また、照明器具記憶部104は、上述した照明器具制御部102が処理を実行するための様々なデータやプログラムを格納していてもよい。
詳細には、照明器具記憶部104は、例えば、図5に示すような情報テーブル500を格納し、情報テーブル500は、照明器具100の識別情報(ID)、三次元空間(実空間)上における、発光領域(発光部110)の形状に関する情報(形状情報)、照明器具100の設置位置に関する情報(位置情報)等を格納する。詳細には、上記識別情報は、照明器具100を特定するための情報であり、各照明器具100に固有の情報が割当てられている。上記形状情報は、三次元空間上の照明器具100の発光領域である発光部110の形状に関する情報が含まれており、より具体的には、三次元空間上の発光部110の輪郭の各頂点の位置座標や、発光部110の形状及び寸法の情報を含むことができる。さらに、位置情報は、三次元空間上の照明器具100の発光部110の重心の位置座標等を含むことができる。なお、以下の説明においては、位置座標は、世界座標系による絶対的位置座標であってもよく、予め設定された基準点からの相対的位置座標であってもよい。
なお、本実施形態に係る位置検出システム1は、先に説明したように、図1に図示していないサーバを含んでいてもよい。この場合、当該サーバは、本実施形態に係る照明器具記憶部104に格納された発光領域(発光部110)の形状に関する情報(形状情報)、照明器具100の設置位置に関する情報(位置情報)等を、当該照明器具記憶部104の代わりに、照明器具100の識別情報(ID)と紐づけて格納していてもよい。格納された上記情報は、端末装置200からの要求に応じて、無線通信を介して、当該サーバから、端末装置200へ送信されてもよい。
(パケット生成部106)
パケット生成部106は、上述の照明器具制御部102の指示に従って、上述の照明器具記憶部104に格納された、照明器具100の識別情報(ID)、三次元空間(実空間)上における、発光領域の形状に関する情報(形状情報)、及び、照明器具100の設置位置に関する情報(位置情報)等に基づいて、送信するためのパケット情報を生成することができる。言い換えると、パケット生成部106により生成されるパケット情報は、上述の照明器具100のID、形状情報及び位置情報を含む情報であると言える。さらに、パケット生成部106は、生成したパケット情報を、後述する発光処理部108へ出力することができる。
(発光処理部108)
発光処理部108は、上述したパケット生成部106で生成されたパケット情報に対して変調処理を行い、後述する発光部110の点滅のパターン(発光するタイミング)を制御する。すなわち、発光処理部108は、発光部110を可視光通信可能に制御する機能(制御情報を生成する機能)を持つ。
(発光部110)
発光部110は、可視光線を出力することができる発光体であり、例えば、LED(Light Emitting Diode)から構成される。発光部110は、上述した発光処理部108による制御によって、所定の点滅パターンで発光及び消灯(点滅)を繰り返し、具体的には、発光するタイミングを変化させることにより、可視光線によって、端末装置200へ、上記情報(照明器具100の識別情報(ID)、発光領域の形状に関する情報(形状情報)、及び、照明器具100の設置位置に関する情報(位置情報))の送信、すなわち、可視光通信を行うことができる。
<端末装置200の詳細構成>
以上、本実施形態に係る照明器具100の詳細構成について説明した。次に、本実施形態に係る端末装置200の詳細構成について、図6から図8を参照して説明する。図6は、本実施形態に係る端末装置200の機能ブロック図である。図7は、本実施形態に係る端末記憶部204に格納される情報テーブル502の一例を説明するための説明図である。さらに、図8は、本実施形態に係る位置算出部210の算出方法を説明するための説明図である。
図6に示すように、本実施形態に係る端末装置200は、端末制御部202、端末記憶部204、カメラ部(撮像部)206、画像処理部(取得部)208、及び位置算出部(位置検出部)210を主に有する。以下に、本実施形態に係る端末装置200に含まれる各機能ブロックの詳細について説明する。
(端末制御部202)
端末制御部202は、端末装置200に内蔵されるCPU、ROM、及びRAM等のハードウェアを用いて、端末装置200の各機能ブロックを制御する機能を有する。
(端末記憶部204)
端末記憶部204は、ROM、RAM等の記憶装置から実現され、後述する画像処理部208によって取得した情報を格納する。詳細には、端末記憶部204は、図7に示すような情報テーブル502を格納する。当該情報テーブル502は、照明器具100ごとに、照明器具100から可視光通信を介して取得した、照明器具100の識別情報(ID)、三次元空間(実空間)上における、発光領域の形状に関する情報(形状情報)、照明器具100の設置位置に関する情報(位置情報)を格納する。さらに、当該情報テーブル502は、照明器具100ごとに、後述するカメラ部206で撮像した照明器具100の動画像上の照明器具100の発光部110の輪郭の面積や頂点の位置(位置座標)等を格納する。
先に説明したように、上記情報テーブル502に格納される上記形状情報は、三次元空間(実空間)上における、発光部110の輪郭の各頂点の位置座標や、発光部110の形状及び寸法の情報を含むことができる。さらに、上記情報テーブル502に格納される上記位置情報は、三次元空間上における、照明器具100の発光部110の重心の位置座標等を含むことができる。
(カメラ部206)
カメラ部206は、例えば、同一平面上に設けられた少なくとも3つ以上の照明器具100の動画像を撮像することができる。詳細には、カメラ部206は、対象空間から発せられる光を受光して撮像面に光像を形成し、撮像面に形成された光像を電気的な画像信号に変換することにより動画像を取得することができる。また、カメラ部206は、例えば、照明器具100から発せられる光を集光する撮影レンズ及びズームレンズ等の撮像光学系、及び、CCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を有してもよい。
(画像処理部208)
画像処理部208は、端末装置200に内蔵されるCPU、ROM、及びRAM等のハードウェアを用いて、上述のカメラ部206が撮像した照明器具100の動画像を取得し、取得した動画像を一時的に格納する。さらに、画像処理部208は、格納した動画像に基づき、照明器具100の点滅パターン(受光パターン)を取得し、取得した点滅パターンに対して復調処理を行うことにより、照明器具100の識別情報(ID)、三次元空間(実空間)上における、発光領域(発光部110)の形状に関する情報(形状情報)、照明器具100の設置位置に関する情報(位置情報)を取得することができる。
また、画像処理部208は、上述のカメラ部206が撮像した照明器具100の動画像に対して画像認識技術を用いて解析を行うことにより、画像上での照明器具100の発光部110の特徴点として、発光部110の輪郭の頂点及び面積を抽出、算出することができる。さらに、画像処理部208は、抽出した発光部110の輪郭を、可視光通信を介して照明器具100から取得した発光部110の形状に基づいて、頂点の数が一致するように抽象化する処理を行うこともできる。例えば、画像処理部208は、照明器具100が棒状の発光部110を有する場合、可視光通信を介して照明器具100から取得した発光部110の形状として棒状形状である旨の情報と、画像上から抽出した照明器具100の発光部110の輪郭とを参照して、照明器具100を2つの端部を持つ線分とし抽象化することができる。
さらに、画像処理部208は、取得した情報を、上述の端末記憶部204、及び、後述する位置算出部210に出力することができる。
(位置算出部210)
位置算出部210は、可視光通信を介して上述の画像処理部208によって取得された、照明器具100の識別情報(ID)、三次元空間(実空間)上における、発光領域(発光部110)の形状に関する情報(形状情報)、照明器具100の設置位置に関する情報(位置情報)と、上述の画像処理部208によって画像から抽出された、照明器具100の発光部110の輪郭の面積や頂点の位置情報とに基づいて、線形方程式を利用して、端末装置200の位置を算出することができる。
詳細には、位置算出部210は、画像上の照明器具100における少なくとも6点と、可視光通信を介して取得された三次元空間(実空間)上の位置座標に係る6点との対応関係を特定し、すなわち、6組の点の対応関係を特定し、特定した対応関係に基づいて、線形方程式を用いて、端末装置200の位置座標を算出することができる。
より具体的には、位置算出部210は、図8に示すように、画像600上の各点(図8では点A´、B´、C´)と、三次元空間(実空間)602での各点(図8では点A、B、C)との対応関係(図8においては、線で結ばれた点Aと点A´、点Bと点B´、点Cと点C´が対応している)といった2つの点の組からなる6つの組(言い換えると、12個の点の対応)の対応関係を得ることができ、且つ、端末装置200のカメラ部206の固有の内部パラメータが予めわかっていれば、下記の数式(1)を用いて、端末装置200のカメラ部206の三次元空間上の位置(図8では点Q)や姿勢を算出することが可能である。
Figure 2019132673
なお、数式(1)においては、Pは、3×4の行列(12個の未知数)として示され、端末装置200のカメラ部206の三次元空間(実空間)602での位置や姿勢を示す。また、数式(1)においては、(Ximage、Yimage、S)は、画像600上の点の座標を示し、(Xworld、Yworld、Zworld、1)は、三次元空間602での点の座標を示し、2つの点に関する対応関係(三次元空間602上の点と画像600上での点との対応関係)があれば2つの方程式が得られることから、画像600上の6つの点と三次元空間602上での6つの点との対応関係があれば、端末装置200のカメラ部206の位置を示すPを算出することが可能となる。
すなわち、位置算出部210は、端末記憶部204に格納された情報を用いて、6組の点の対応を特定する対応特定処理(前処理)と、対応関係が特定された6組の対応関係に基づいて、端末装置200の位置を算出する位置算出処理とを行うことができる。
なお、本実施形態においては、上述した画像処理部208及び位置算出部210等で行われる処理は、位置検出システム1に含まれるサーバ(図示省略)で行ってもよい。この場合、当該サーバは、端末装置200で撮像した照明器具100の動画像を端末装置200から受信し、予め当該サーバに格納された情報を用いて、端末装置200の位置の検出を行うこととなる。
<位置検出方法>
以上、本実施形態に係る端末装置200の詳細構成について説明した。次に、本実施形態に係る位置検出方法について、図9から図13を参照して説明する。図9は、本実施形態に係る位置検出方法のフローチャートである。図10は、本実施形態に係る対応特定処理(前処理)のサブフローチャートである。さらに、図11は、図10のステップS213のサブフローチャートである。また、図12及び図13は、本実施形態に係る対応特定処理(前処理)を説明するための説明図である。
詳細には、本実施形態に係る位置検出方法は、図9のフローチャートで示され、当該フローチャートは、ステップS101からステップS109までの複数のステップを有する。以下に、本実施形態に係る位置検出方法の各ステップの詳細を説明する。
なお、以下に説明する本実施形態に係る位置検出方法においては、同一平面(天井)上に設けられた、棒状の発光部110を有する、3つの照明器具(第1、第2及び第3の照明器具)100を用いて、端末装置200の位置を検出するものとして説明する。
(ステップS101)
各照明器具100の発光部110が発光し、照明器具100は、可視光通信を介して、照明器具100の識別情報(ID)、三次元空間(実空間)上における、発光領域(発光部110)の形状に関する情報(形状情報)、及び、照明器具100の設置位置に関する情報(位置情報)を端末装置200へ送信する。具体的には、各照明器具100の発光部110は、所定の点滅パターンで発光及び消灯(点滅)を繰り返し、端末装置200へ、上記情報を送信する。
(ステップS103)
端末装置200のカメラ部206は、発光する3つの照明器具100の動画像を撮像する。
(ステップS105)
端末装置200の画像処理部208は、上述したステップS103で撮像した動画像を一時的に格納する。さらに、画像処理部208は、格納した動画像に基づき、照明器具100の点滅パターン(受光パターン)を取得し、取得した点滅パターンに対して復調処理を行うことにより、照明器具100の識別情報(ID)、三次元空間(実空間)上における、発光領域(発光部110)の形状に関する情報(形状情報)、照明器具100の設置位置に関する情報(位置情報)を取得し、端末記憶部204に格納する。なお、ここで格納される形状情報は、先に説明したように、照明器具100の発光部110の輪郭の各頂点の位置座標であり、さらに、当該発光部110の形状及び寸法の情報を含んでもよい。さらに、ここで格納される位置情報は、三次元空間(実空間)における、照明器具100の発光部110の重心の位置座標である。
また、端末装置200の画像処理部208は、上述したステップS103で撮像した動画像に対して、画像認識技術を用いて処理を行い、画像上での各照明器具100の発光部110の輪郭の頂点の位置座標及び面積を抽出、算出する。
(ステップS107)
位置の算出の前処理として、端末装置200の位置算出部210は、画像上の各照明器具100に関する6つの点と、可視光通信を介して取得された三次元空間(実空間)上の位置座標に係る6つの点との対応関係を特定する。なお、当該ステップS107の詳細については、後述する。
(ステップS109)
端末装置200の位置算出部210は、上述のステップS107で特定された6組の点の対応関係に基づいて、線形方程式を用いて、端末装置200の位置座標を算出する。なお、端末装置200の位置座標の算出は、既に説明したため、ここでは詳細な説明を省略する。
以上、本実施形態に係る位置検出方法について説明した。次に、図9のステップS107、すなわち、対応特定処理(前処理)の詳細について説明する。詳細には、本実施形態に係る対応特定処理(ステップS107)は、図10のサブフローチャートで示され、当該サブフローチャートには、ステップS201からステップS217までの複数のステップが含まれる。以下に、本実施形態に係る対応特定処理の各ステップの詳細を説明する。
なお、以下の説明においては、同一平面(天井)上に設けられた、棒状の発光部110を有する、3つの照明器具100を用いて、端末装置200の位置を検出する。さらに、以下の説明においては、各照明器具100の棒状の発光部110の2つの端部についての三次元空間(実空間)上の位置座標が位置情報としてわかっているものとする。また、以下の説明においては、各照明器具100の棒状の発光部110の2つの端部についての動画像上の位置もわかっているものとする。すなわち、以下の説明においては、各照明器具100において、2つの上記端部の三次元空間上の位置と画像上の位置との対応が特定することができるものとし、3つの照明器具100が含まれていることから、6組の三次元空間上の点と画像上の点との対応関係を得ることができるものとする。
(ステップS201)
端末装置200の位置算出部210は、上述の図9に示されるステップS109における端末装置200の位置座標の算出で使用する候補となる情報が格納されることとなる選択候補の集合を空にする。
(ステップS203)
端末装置200の位置算出部210は、上述の図9のステップS105で取得した照明器具100の識別情報(ID)、三次元空間(実空間)上における、発光領域(発光部110)の形状に関する情報(形状情報)、照明器具100の設置位置に関する情報(位置情報)を、端末記憶部204から取得し、上記選択候補の集合における各照明器具100の実空間上の位置情報の集合として、上記選択候補の実空間側の集合に格納する。詳細には、位置算出部210は、上記形状情報として、各照明器具100の棒状の発光部110の2つの端部についての三次元空間(実空間)上の位置座標を照明器具100のIDと紐づけて格納し、さらに、上記位置情報として、各照明器具100の棒状の発光部110の重心の三次元空間(実空間)上の位置座標を照明器具100のIDと紐づけて格納する。
(ステップS205)
端末装置200の位置算出部210は、上記選択候補の集合における各照明器具100の位置情報の実空間側集合が空であれば、処理を終了する。一方、端末装置200の位置算出部210は、上記選択候補の集合における各照明器具100の位置情報の実空間側集合が空でなければ、後述するステップS207へ進む。
(ステップS207)
端末装置200の位置算出部210は、上述の図9のステップS105で抽出した画像上での各照明器具100の発光部110の輪郭の面積の一番大きいものを選択し、選択した照明器具100をpと設定する。
(ステップS209)
端末装置200の位置算出部210は、上述のステップS207で選択したpに係る画像上の情報を、上記選択候補の画像側に係る情報を格納する画像側集合に追加する。詳細には、位置算出部210は、選択したpに係る照明器具100の棒状の発光部110の2つの端部についての動画像上の位置の情報(位置座標)を画像側集合に追加する。
(ステップS211)
端末装置200の位置算出部210は、画像側集合に格納された画像上の情報と紐づけられる照明器具100の数の大きさが2以下であれば(言い換えると、端部の位置座標の数が5以下であれば)、上述のステップS205へ戻る。一方、端末装置200の位置算出部210は、画像側集合に格納された画像上の情報と紐づけられる照明器具100の数の大きさが2以下でなければ(言い換えると、端部の位置座標の数が5以下でなければ)、後述するステップS213へ進む。
(ステップS213)
端末装置200の位置算出部210は、選択候補の集合に格納された、各照明器具100の棒状の発光部110の2つの端部についての三次元空間(実空間)上の位置座標と、各照明器具100の棒状の発光部110の2つの端部についての動画像上の位置の情報との対応関係を特定する。なお、当該ステップS213の詳細については、後述する。
(ステップS215)
端末装置200の位置算出部210は、6組以上の対応関係が特定できたかどうかを判定する。当該位置算出部210は、6組以上の対応関係が特定できなかった場合は、ステップS217へ進む。一方、当該位置算出部210は、6組以上の対応関係が特定できた場合は、処理を終了する。
(ステップS217)
対応関係が特定できなかったものとして、上述のステップS207で選択したpに関する情報を選択候補の集合から除き、上述のステップS205へ戻る。
以上、本実施形態に係る対応特定処理(前処理)(ステップS107)の詳細について説明した。次に、図10のステップS213について説明する。詳細には、図10のステップS213は、図11のサブフローチャートで示され、当該サブフローチャートは、ステップS301からステップS321までの複数のステップを有する。以下に、本実施形態に係るステップS213のサブフローチャートに含まれる各ステップの詳細を説明する。
(ステップS301)
端末装置200の位置算出部210は、処理の順番を管理するための変数mに1を代入する。
(ステップS303)
端末装置200の位置算出部210は、上述のステップS203(ステップS105)において選択候補の集合に格納された、各照明器具100の棒状の発光部110の三次元空間(実空間)上の重心の位置座標を取得する。
(ステップS305)
端末装置200の位置算出部210は、上述のステップS303で取得した3つの照明器具100の発光部110の重心が、同一直線上にあるかどうかを判定する。当該位置算出部210は、3つの重心が同一直線上にない場合には、後述するステップS307へ進む。一方、当該位置算出部210は、3つの重心が同一直線上にある場合には、処理を終了する。
(ステップS307)
端末装置200の位置算出部210は、選択候補の画像側集合に含まれる各照明器具100の発光部110の、画像上の重心の位置を、抽出した発光部110の輪郭の頂点の位置座標(上述のステップS105で取得される)に基づき、算出する。
(ステップS309)
端末装置200の位置算出部210は、選択候補の集合に属する照明器具100のうち、発光部110の輪郭がm番目に大きい照明器具100をqとする。なお、以下の説明においては、当該mは、上述したステップS301で設定されているものとする。
(ステップS311)
端末装置200の位置算出部210は、選択候補の集合に格納された、各照明器具100の棒状の発光部110の2つの端部についての三次元空間(実空間)上の位置座標(位置情報)と、各照明器具100の発光部110の三次元空間上の重心の位置座標とに基づいて、qの2つの端部を結ぶ直線と、選択集合に格納されたq以外の2つの照明器具100の重心を結ぶ直線とにより構成される角度αを算出する(図12及び図13参照)。これら直線の詳細については、後述する。
(ステップS313)
端末装置200の位置算出部210は、上述のステップS311で算出された角度αが、−45度から+45度(所定の角度)以内である場合には、後述するステップS315へ進む。一方、端末装置200の位置算出部210は、上述のステップS311で算出された角度αが、−45度から+45度(所定の角度)以内でない場合には、後述するステップS317へ進む。
(ステップS315)
端末装置200の位置算出部210は、選択候補の集合に格納された、各照明器具100の棒状の発光部110の2つの端部についての三次元空間(実空間)上の位置座標と、各照明器具100の棒状の発光部110の2つの端部についての動画像上の位置座標との対応関係を特定する。
詳細には、上述のステップS311において、当該位置算出部210は、図12に示すように、qである照明器具100の棒状の発光部110の2つの端部700、702についての三次元空間(実空間)上の位置座標に基づいて、これら2つの端部(2点)700、702を結ぶ直線710を算出する。さらに、当該位置算出部210は、上述のステップS303で算出した、各照明器具100a、100bの発光部110の三次元空間上の重心804a、804bの位置座標に基づいて、これら2つの端部700、702を結ぶ直線810を算出する。加えて、当該位置算出部210は、算出した直線710と直線810とにより構成される角度αを算出する。
そして、算出した角度αが、−45度から+45度以内である場合には、当該位置算出部210は、図12に示すように、三次元空間(実空間)上及び画像上にて、qである照明器具100の端部700から各照明器具100a、100bの重心804a、804bまでの距離a、bをそれぞれ算出する。同様に、当該位置算出部210は、三次元空間上及び画像上にて、図12に示すように、qである照明器具100の端部702から各照明器具100a、100bの重心804a、804bまでの距離a、bをそれぞれ算出する。
なお、三次元空間(実空間)上のqである照明器具100の端部700、702の位置座標、及び、q以外の照明器具100a、100bの重心804a、804bの位置座標は、上述のステップS203(ステップS105)で取得することができるため、位置算出部210は、これらの位置座標に基づいて、qである照明器具100の端部700、702から各照明器具100a、100bの重心804a、804bまでの距離a、b、a、bを算出することができる。
さらに、位置算出部210は、画像上の照明器具100の発光部110の輪郭の頂点の位置座標を、上述のステップS105で抽出された発光部110の輪郭に基づいて、算出することができ、算出した位置座標を用いて、画像上の、qである照明器具100の端部700、702の位置座標、及び、q以外の照明器具100a、100bの重心804a、804bの位置座標を算出することができる。従って、位置算出部210は、算出したこれら画像上の位置座標を用いて、qである照明器具100の端部700、702から各照明器具100a、100bの重心804a、804bまでの距離a、b、a、bを算出することができる。
そして、当該位置算出部210は、算出した距離a、a、b、bを利用して、三次元空間(実空間)上及び画像上のそれぞれにおいて、qである照明器具100の端部700、702は、それぞれ照明器具100a、100bのいずれかの近いかを基準にグループ分けする。そして、当該位置算出部210は、同じグループに属する三次元空間上の端部700、702と、画像上の端部700、702とが対応させることにより、対応関係を特定することができる。
(ステップS317)
端末装置200の位置算出部210は、上述したステップS315と同様に、選択候補の集合に格納された、各照明器具100の棒状の発光部110の2つの端部についての三次元空間(実空間)上の位置座標と、各照明器具100の棒状の発光部110の2つの端部についての動画像上の位置座標との対応関係を特定する。
詳細には、上述のステップS311において、当該位置算出部210は、図13に示すように、qである照明器具100の棒状の発光部110の三次元空間(実空間)上の位置座標に基づいて、qである照明器具100の2つの端部700、702を結ぶ直線710を算出する。さらに、当該位置算出部210は、上述のステップS303で算出した、各照明器具100a、100bの発光部110の三次元空間上の重心804a、804bの位置に基づいて、これら2つの端部700、702を結ぶ直線810を算出する。加えて、当該位置算出部210は、算出した直線710と直線810とにより構成される角度αを算出する。
そして、算出した角度αが、−45度から+45度(所定の角度)以内でない場合、当該位置算出部210は、図13に示すように、三次元空間(実空間)上及び画像上にて、qである照明器具100の端部700から各照明器具100a、100bの重心804a、804bまでの距離a、bをそれぞれ算出する。同様に、当該位置算出部210は、三次元空間上及び画像上にて、図13に示すように、qである照明器具100の端部702から各照明器具100a、100bの重心804a、804bまでの距離a、bをそれぞれ算出する。さらに、当該位置算出部210は、算出した距離aと距離aの合計値、及び、算出した距離bと距離bの合計値を算出する。
さらに、当該位置算出部210は、算出した合計値を利用して、三次元空間(実空間)上及び画像上のそれぞれにおいて、qである照明器具100の端部700、702は、それぞれ照明器具100a、100bとの間の距離の合計値が大きいか小さいかを基準にグループ分けする。そして、当該位置算出部210は、同じグループに属する三次元空間上の端部700、702と、画像上の端部700、702とが対応させることにより、対応関係を特定することができる。
(ステップS319)
端末装置200の位置算出部210は、変数mを1つ大きく設定する。
(ステップS321)
端末装置200の位置算出部210は、上述のステップS319で設定されたmの値が4でない場合には、上述したステップS309へ戻る。一方、当該位置算出部210は、上述のステップS319で設定されたmの値が4である場合には、処理を終了する。
以上のように本発明の第1の実施形態によれば、上述のステップS315及びステップS317のように、簡単な距離の算出と簡単な比較により、各照明器具100の棒状の発光部110の2つの端部についての三次元空間(実空間)上の位置座標と、各照明器具100の棒状の発光部110の2つの端部についての動画像上の位置座標との対応関係を特定することができる。さらに、本実施形態によれば、少ない照明器具100であっても、端末装置200の位置を検出するために十分な数の照明器具100に関する位置情報等を得ることができることから、処理時間の少ない線形方程式を利用して、良好な位置検出精度で端末装置200の位置を検出することができる。すなわち、本実施形態によれば、良好な位置検出精度でありつつ、少ない照明器具で、且つ、少ない処理時間で位置を検出することができる。
<<第2の実施形態>>
上述した本発明の第1の実施形態においては、算出した距離を用いて、各照明器具100の棒状の発光部110の2つの端部についての三次元空間(実空間)上の位置座標と、各照明器具100の棒状の発光部110の2つの端部についての動画像上の位置座標との対応関係を特定していた。しかしながら、本発明の実施形態は、これに限定されるものではなく、算出した角度を用いて上述のような特定を行ってもよい。以下に、算出した角度を用いて特定を行う本発明の第2の実施形態を、図14及び図15を参照して説明する。図14は、本実施形態に係る位置検出方法のフローチャートであり、図15は、本実施形態に係る位置検出方法を説明するための説明図である。
なお、以下の説明においても、第1の実施形態と同様に、同一平面(天井)上に設けられた、棒状の発光部110を有する、3つ以上の照明器具100を用いて、端末装置200の位置を検出する。さらに、以下の説明においては、各照明器具100の棒状の発光部110の2つの端部についての三次元空間(実空間)上の位置座標が位置情報としてわかっているものとする。また、以下の説明においては、各照明器具100の棒状の発光部110の2つの端部についての動画像上の位置座標もわかっているものとする。すなわち、以下の説明においては、各照明器具100において、2つの端部の三次元空間上の位置と画像上の位置との対応が特定することができるものとし、3つの照明器具100が含まれていることから、6組の三次元空間上の点と画像上の点との対応関係を得ることができるものとする。
なお、本実施形態においては、位置検出システム1、及び、当該位置検出システム1に含まれる各装置の詳細構成は、上述した第1の実施形態と共通するため、ここではこれらの説明を省略する。
<位置検出方法>
次に、本実施形態に係る位置検出方法について、図14及び図15を参照して説明する。以下に説明する位置検出方法は、図10に示す第1の実施形態のステップS213に対応し、すなわち、ステップS213の変形例の1つであるといえる。詳細には、本実施形態に係る位置検出方法は、図14のサブフローチャートで示され、当該サブフローチャートは、ステップS401からステップS423までの複数のステップを有する。以下に、本実施形態に係る位置検出方法の各ステップの詳細を説明する。
(ステップS401〜ステップS409)
本実施形態におけるステップS401からステップS409は、図11に示される、第1の実施形態のステップS301からステップS309と同様であるため、ここでは、説明を省略する。
(ステップS411)
端末装置200の位置算出部210は、図15に示すように、q以外の各照明器具100a、100bの発光部110の三次元空間(実空間)上の重心804a、804bの位置に基づいて、これら2つの重心804a、804bを結ぶ直線810を算出する。さらに、当該位置算出部210は、図15に示すように、qである照明器具100の重心704から、算出した直線810への垂線730を算出する。また、位置算出部210は、qである照明器具100の一方の端部(一方の点)700と重心704とを結ぶ線分710aを算出し、端部700に係る線分710aと垂線730とにより構成される角度(第1の角度)αを算出する。
さらに、当該位置算出部210は、図15に示すように、位置算出部210は、qである照明器具100の他方の端部(他方の点)702と重心704とを結ぶ線分710bを算出し、端部702に係る線分710bと垂線730とにより構成される角度(第2の角度)αを算出する。
なお、三次元空間上のqである照明器具100の端部700、702の位置座標、及び、qである照明器具100及びq以外の照明器具100a、100bの重心704、804a、804bの位置座標は、上述のステップS203(ステップS105)で取得することができるため、位置算出部210は、これらの位置座標に基づいて、上記角度α、αを算出することができる。
(ステップS413)
端末装置200の位置算出部210は、上述したステップS411で算出した角度αと角度αとの差分(α−α)が−60度から+60度(所定の角度)以内でない場合には、後述するステップS415に進む。一方、位置算出部210は、上記差分(α−α)が−60度から+60度(所定の角度)以内である場合には、後述するステップS419に進む。
(ステップS415)
端末装置200の位置算出部210は、図15に示すように、q以外の各照明器具100a、100bの発光部110の画像上の重心804a、804bの位置に基づいて、これら2つの重心804a、804bを結ぶ直線810を算出する。さらに、当該位置算出部210は、図15に示すように、qである照明器具100の重心704から、算出した直線810への垂線730を算出する。また、位置算出部210は、qである照明器具100の一方の端部(一方の点)700と重心704とを結ぶ線分710aを算出し、端部700に係る線分710aと垂線730とにより構成される角度(第1の角度)αを算出する。
さらに、当該位置算出部210は、図15に示すように、位置算出部210は、qである照明器具100の他方の端部(他方の点)702と重心704とを結ぶ線分710bを算出し、端部702に係る線分710bと垂線730とにより構成される角度(第2の角度)αを算出する。
なお、位置算出部210は、画像上の照明器具100の発光部110の輪郭の頂点の位置座標を、上述のステップS105で抽出された発光部110の輪郭に基づいて、算出することができ、算出した位置座標を用いて、画像上の、qである照明器具100の端部700、702の位置座標、及び、qである照明器具100とq以外の照明器具100a、100bとの重心704、804a、804bの位置座標を算出することができる。従って、位置算出部210は、算出したこれら画像上の位置座標を用いて、上記角度α、αを算出することができる。
(ステップS417)
さらに、当該位置算出部210は、上述のステップS411及びステップS413で算出した角度α、αの大小関係に基づいて、三次元空間(実空間)上における角度α、αを2つのグループに分け、画像上における角度α、αを2つのグループに分ける。そして、当該位置算出部210は、同じグループに属する三次元空間上の端部700、702と、画像上の端部700、702とを対応させることにより、対応関係を特定することができる。
(ステップS419からステップS423)
本実施形態におけるステップS419からステップS423は、図11に示される第1の実施形態のステップS315からステップS321と同様であるため、ここでは、説明を省略する。
以上のように本発明の第2の実施形態によれば、上述のステップS411からステップS419のように、簡単な角度の算出と簡単な比較により、各照明器具100の棒状の発光部110の2つの端部についての三次元空間(実空間)上の位置座標と、各照明器具100の棒状の発光部110の2つの端部についての動画像上の位置座標との対応関係を特定することができる。さらに、本実施形態によれば、少ない照明器具100であっても、端末装置200の位置を検出するために十分な数の照明器具100に関する位置情報等を得ることができることから、処理時間の少ない線形方程式を利用して、良好な位置検出精度で端末装置200の位置を検出することができる。すなわち、本実施形態によれば、良好な位置検出精度でありつつ、少ない照明器具で、且つ、少ない処理時間で位置を検出することができる。
<<ハードウェア構成>>
以上、本発明の各実施形態について説明した。続いて、本発明の各実施形態に係るハードウェア構成について説明する。上述した位置検出システム1における位置検出方法は、ソフトウェアと、照明器具と、以下に説明する端末装置200のハードウェアとの協働により実現される。
図16は、本発明の実施形態に係る端末装置200である無線通信装置900のハードウェア構成例を示したブロック図である。無線通信装置900は、CPU902と、ROM904と、RAM906と、を有する。また、無線通信装置900は、入力部908と、出力部910と、ストレージ装置912と、ネットワークインタフェース914とを有する。以下に、当該無線通信装置900の各ハードウェアブロックについて説明する。
(CPU902、ROM904、RAM906)
CPU902は、演算処理装置および制御装置として機能し、各種プログラムに従って端末装置200である無線通信装置900内の動作全般を制御する。また、CPU902は、マイクロプロセッサであってもよい。ROM904は、CPU902が使用するプログラムや演算パラメータ等を記憶する。RAM906は、CPU902の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス916により相互に接続されている。CPU902、ROM904及びRAM906は、ソフトウェアとの協働により図6を参照して説明した端末装置200の端末制御部202等の機能を実現し得る。
(入力部908)
入力部908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU902に出力する入力制御回路などから構成されている。ユーザは、当該入力部908を操作することにより、端末装置200に対して各種のデータを入力したり、処理動作を指示したりすることができる。さらに、入力部908は、図6を参照して説明した端末装置200のカメラ部206として機能する、撮影レンズ及びズームレンズなどの撮像光学系、及び、CCD又はCMOS等の撮像素子を有している。
(出力部910)
出力部910は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、プロジェクター装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。また、出力部910は、スピーカ及びヘッドホンなどの音声出力装置を含んでもよい。
(ストレージ装置912)
ストレージ装置912は、データ格納用の装置である。ストレージ装置912は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置912は、例えば、HDD(Hard Disk Drive)又はSSD(Solid Strage Drive)、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置912は、ストレージを駆動し、CPU902が実行するプログラムや各種データを格納する。
(ネットワークインタフェース914)
ネットワークインタフェース914は、例えば、ネットワークに接続するための通信デバイス等で構成された通信インタフェースである。当該通信インタフェースは、例えば、Bluetooth(登録商標)又はZigBee(登録商標)等の近距離無線通信インタフェースや、無線LAN(Local Area Network)、Wi−Fi(登録商標)、又は携帯通信網(LTE、3G)等の通信インタフェースであることができる。また、ネットワークインタフェース914は、有線による通信を行う有線通信装置を含んでいてもよい。
以上、本発明の実施形態に係る端末装置200である無線通信装置900のハードウェア構成例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。かかる構成は、実施する時々の技術レベルに応じて適宜変更されうる。
<<まとめ>>
以上のように本発明の各実施形態によれば、簡単な距離及び角度の算出と簡単な比較により、各照明器具100の棒状の発光部110の2つの端部についての三次元空間(実空間)上の位置座標と、各照明器具100の棒状の発光部110の2つの端部についての動画像上の位置の情報との対応関係を特定することができる。さらに、本実施形態によれば、少ない照明器具100であっても、端末装置200の位置を検出するために十分な数の照明器具100に関する位置情報等を得ることができることから、処理時間の少ない線形方程式を利用して、良好な位置検出精度で端末装置200の位置を検出することができる。すなわち、本発明の各実施形態によれば、良好な位置検出精度でありつつ、少ない照明器具で、且つ、少ない処理時間で位置を検出することができる。
なお、上述の実施形態においては、同一平面上に設けられた、棒状の発光部110を有する、3つの照明器具100を用いて、端末装置200の位置を検出するものとして説明した。すなわち、上述の実施形態においては、3つの照明器具100の棒状の発光部110の2つの端部についての三次元空間(実空間)上の位置座標及び画像上の位置座標がわかっているものとして説明した。しかしながら、本発明の実施形態は、上述のような3つの照明器具100を用いることに限定されるものではなく、例えば、発光部110に6つの特徴点を有するような1つの照明器具100を用いても、端末装置200の位置を検出することができる。
<<補足>>
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
また、上述した本発明の実施形態の位置検出方法における各ステップは、必ずしも記載された順序に沿って処理されなくてもよい。例えば、各ステップは、適宜順序が変更されて処理されてもよい。また、各ステップは、時系列的に処理される代わりに、一部並列的に又は個別的に処理されてもよい。さらに、各ステップの処理方法についても、必ずしも記載された方法に沿って処理されなくてもよく、例えば、他の機能部によって他の方法によって処理されていてもよい。
さらに、上記の本発明の実施形態に係る位置検出方法の少なくとも一部は、コンピュータを機能させる情報処理プログラムとして、ソフトウェアで構成することが可能であり、ソフトウェアで構成する場合には、これらの方法の少なくとも一部を実現するプログラムをフレキシブルディスクやCD−ROM(Compact Disc Read Only Memory)等の記録媒体に収納し、端末装置200等、もしくは、端末装置200等と接続された他の装置に読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。さらに、これらの方法の少なくとも一部を実現するプログラムを、インターネット等の通信回線(無線通信も含む)を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
1 位置検出システム
100、100a、100b、100c、100d 照明器具
102 照明器具制御部
104 照明器具記憶部
106 パケット生成部
108 発光処理部
110 発光部
200 端末装置
202 端末制御部
204 端末記憶部
206 カメラ部
208 画像処理部
210 位置算出部
300 室内
400 人物
500、502 情報テーブル
600 画像
602 三次元空間
700、702 端部
704、804a、804b 重心
710、810 直線
710a、710b 線分
730 垂線
900 無線通信装置
902 CPU
904 ROM
906 RAM
908 入力部
910 出力部
912 ストレージ装置
914 ネットワークインタフェース
916 ホストバス

Claims (12)

  1. 照明器具を撮像することができる端末装置であって、
    前記照明器具の動画像を撮像する撮像部と、
    前記動画像から、前記照明器具を特定する識別情報と、前記照明器具の形状情報と、前記照明器具における少なくとも6組の点の位置情報とを取得する取得部と、
    前記識別情報と、前記形状情報と、前記位置情報とに基づいて、前記端末装置の位置を、線形方程式を利用して算出する位置検出部と、
    を備える端末装置。
  2. 前記形状情報は、実空間上及び前記動画像上における、前記照明器具の発光領域の形状、及び、前記発光領域の頂点の位置に関する情報を含む、請求項1に記載の端末装置。
  3. 前記位置情報は、前記実空間上及び前記動画像上における、前記照明器具の重心の位置に関する情報を含む、請求項2に記載の端末装置。
  4. 前記取得部は、前記照明器具からの光の受光パターンに基づいて、前記識別情報、前記形状情報、及び、前記位置情報の一部を取得する、請求項1〜3のいずれか1項に記載の端末装置。
  5. 前記位置検出部は、実空間上の前記照明器具における少なくとも6点と、前記動画像上の前記照明器具における少なくとも6点との対応関係を特定する、請求項1に記載の端末装置。
  6. 同一平面上に設けられた少なくとも3つ以上の前記照明器具を撮像する、請求項5に記載の端末装置。
  7. 前記位置検出部は、前記実空間上及び前記動画像上において、所定の点の間の距離をそれぞれ算出し、算出された前記距離の比較を行うことにより、前記対応関係を特定する、請求項6に記載の端末装置。
  8. 前記少なくとも3つ以上の照明器具には、第1、第2及び第3の照明器具を含まれており、
    前記位置検出部は、
    前記実空間上における、前記各照明器具の重心の位置を取得し、
    取得された前記各重心が一直線上に並んでいない場合には、
    前記実空間上における、前記第1の照明器具における2つの端部を結ぶ直線と、前記第2の照明器具の前記重心と前記第3の照明器具の前記重心とを結ぶ直線とにより構成される角度を利用して、前記対応関係を特定する方法を選択する、
    請求項7に記載の端末装置。
  9. 前記位置検出部は、
    前記角度が所定の角度以内であれば、
    前記実空間上及び前記動画像上において、前記第1の照明器具における一方の前記端部から、前記第2及び第3の照明器具の前記重心までの距離を算出し、且つ、前記第1の照明器具における他方の前記端部から、前記第2及び第3の照明器具の前記重心までの距離を算出し、
    前記角度が所定の角度以内でなければ、
    前記実空間上及び前記動画像上において、前記第1の照明器具における前記2つの端部からの前記第2及び第3の照明器具の前記重心までの距離の合計値を算出する、
    請求項8に記載の端末装置。
  10. 前記少なくとも3つ以上の照明器具には、第1、第2及び第3の照明器具を含まれており、
    前記位置検出部は、
    前記実空間上及び前記動画像上において、
    前記第1の照明器具の重心から延びる、前記第2の照明器具の重心と前記第3の照明器具の重心とを結ぶ直線への垂線を算出し、
    前記第1の照明器具の一方の点と前記第1の照明器具の前記重心とを結ぶ線分と、前記垂線とにより構成される第1の角度を算出し、
    前記第1の照明器具の他方の点と前記第1の照明器具の前記重心とを結ぶ線分と、前記垂線とにより構成される第2の角度を算出し、
    算出した前記第1及び第2の角度に基づいて、前記対応関係を特定する、
    請求項7に記載の端末装置。
  11. 照明器具と端末装置とを含む位置検出システムであって、
    前記端末装置は、
    前記照明器具の動画像を撮像する撮像部と、
    前記動画像から、前記照明器具を特定する識別情報と、前記照明器具の形状情報と、前記照明器具における少なくとも6組の点の位置情報とを取得する取得部と、
    前記識別情報と、前記形状情報と、前記位置情報とに基づいて、前記端末装置の位置を、線形方程式を利用して算出する位置検出部と、
    を有する、
    位置検出システム。
  12. 前記照明器具は、
    前記識別情報と、前記形状情報と、前記位置情報の一部とを発光することにより前記端末装置へ送信する、
    請求項11に記載の位置検出システム。
JP2018014362A 2018-01-31 2018-01-31 端末装置及び位置検出システム Pending JP2019132673A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018014362A JP2019132673A (ja) 2018-01-31 2018-01-31 端末装置及び位置検出システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018014362A JP2019132673A (ja) 2018-01-31 2018-01-31 端末装置及び位置検出システム

Publications (1)

Publication Number Publication Date
JP2019132673A true JP2019132673A (ja) 2019-08-08

Family

ID=67546799

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018014362A Pending JP2019132673A (ja) 2018-01-31 2018-01-31 端末装置及び位置検出システム

Country Status (1)

Country Link
JP (1) JP2019132673A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210097214A1 (en) * 2019-09-27 2021-04-01 Electronic Theatre Controls, Inc. Systems and methods for light fixture location determination
JP2021169958A (ja) * 2020-04-15 2021-10-28 朝日航洋株式会社 照明通信システムおよび照明通信システムの制御方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007101276A (ja) * 2005-09-30 2007-04-19 Topcon Corp 三次元計測用投影装置及びシステム
JP2012103116A (ja) * 2010-11-10 2012-05-31 Nippon Telegr & Teleph Corp <Ntt> カメラポーズ情報算出装置およびカメラポーズ情報算出プログラム
JP2013185851A (ja) * 2012-03-06 2013-09-19 Sumitomo Mitsui Construction Co Ltd 測位装置、該測位装置を備えた測位システム、及び測位方法
WO2014103341A1 (ja) * 2012-12-27 2014-07-03 パナソニック株式会社 情報通信方法
JP2016526675A (ja) * 2013-07-04 2016-09-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 向きの割り出し
WO2017096360A1 (en) * 2015-12-03 2017-06-08 Osram Sylvania Inc. Light-based vehicle positioning for mobile transport systems
WO2018015176A1 (en) * 2016-07-21 2018-01-25 Philips Lighting Holding B.V. Lamp with coded light functionality

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007101276A (ja) * 2005-09-30 2007-04-19 Topcon Corp 三次元計測用投影装置及びシステム
JP2012103116A (ja) * 2010-11-10 2012-05-31 Nippon Telegr & Teleph Corp <Ntt> カメラポーズ情報算出装置およびカメラポーズ情報算出プログラム
JP2013185851A (ja) * 2012-03-06 2013-09-19 Sumitomo Mitsui Construction Co Ltd 測位装置、該測位装置を備えた測位システム、及び測位方法
WO2014103341A1 (ja) * 2012-12-27 2014-07-03 パナソニック株式会社 情報通信方法
JP2016526675A (ja) * 2013-07-04 2016-09-05 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 向きの割り出し
WO2017096360A1 (en) * 2015-12-03 2017-06-08 Osram Sylvania Inc. Light-based vehicle positioning for mobile transport systems
WO2018015176A1 (en) * 2016-07-21 2018-01-25 Philips Lighting Holding B.V. Lamp with coded light functionality

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210097214A1 (en) * 2019-09-27 2021-04-01 Electronic Theatre Controls, Inc. Systems and methods for light fixture location determination
US11835997B2 (en) * 2019-09-27 2023-12-05 Electronic Theatre Controls, Inc. Systems and methods for light fixture location determination
JP2021169958A (ja) * 2020-04-15 2021-10-28 朝日航洋株式会社 照明通信システムおよび照明通信システムの制御方法
JP7030152B2 (ja) 2020-04-15 2022-03-04 朝日航洋株式会社 照明通信システムおよび照明通信システムの制御方法

Similar Documents

Publication Publication Date Title
CN105138135B (zh) 头戴式虚拟现实设备及虚拟现实系统
CN110915194B (zh) 使用目标识别码的智能目标追踪
JP4708581B2 (ja) 座標入力装置、座標入力指示具及びコンピュータプログラム
KR20180005168A (ko) 로컬화 영역 설명 파일에 대한 프라이버시-민감 질의
CN106062862A (zh) 用于沉浸式和交互式多媒体生成的系统和方法
JP2006030127A (ja) カメラ校正システム及び三次元計測システム
JP2009033366A (ja) 光学マーカシステム
KR20070066192A (ko) 실내 이동 로봇의 위치 인식 방법 및 장치
US20160065863A1 (en) Image capturing apparatus and image capturing method
US10146046B2 (en) Information providing method, information providing apparatus, information processing apparatus, information providing system, and computer-readable recording medium
CN107193380B (zh) 一种高精度虚拟现实定位系统
TWI526879B (zh) 互動系統、遙控器及其運作方法
US20190046140A1 (en) Radiography system and method for operating radiography system
JP2019132673A (ja) 端末装置及び位置検出システム
JP2019008337A (ja) 物体識別システム、物体識別方法、プログラム及びコンピュータ記憶媒体
JP5818233B2 (ja) 視線計測装置および方法
CN113273176B (zh) 使用基于图像的对象跟踪的自动化电影制作
CN212256370U (zh) 光学式运动捕捉系统
US20130106986A1 (en) Pointer information processing device, computer-readable recording medium and conference system
KR20110087407A (ko) 카메라 시뮬레이션 시스템 및 이를 이용한 위치 감지 방법
CN112906610A (zh) 用于活体检测的方法、电子电路、电子设备和介质
CN113196297B (zh) 使用基于图像的对象跟踪确定对象的感兴趣区域
CN111862170A (zh) 光学式运动捕捉系统及方法
JP2015153180A (ja) 情報処理装置および情報処理方法
JP4167447B2 (ja) 対象物定位システム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201111

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220510