JP2018189999A - 関連情報表示装置 - Google Patents
関連情報表示装置 Download PDFInfo
- Publication number
- JP2018189999A JP2018189999A JP2015191978A JP2015191978A JP2018189999A JP 2018189999 A JP2018189999 A JP 2018189999A JP 2015191978 A JP2015191978 A JP 2015191978A JP 2015191978 A JP2015191978 A JP 2015191978A JP 2018189999 A JP2018189999 A JP 2018189999A
- Authority
- JP
- Japan
- Prior art keywords
- marker
- image
- area
- related information
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 239000003550 marker Substances 0.000 claims abstract description 221
- 238000003384 imaging method Methods 0.000 claims abstract description 88
- 230000002093 peripheral effect Effects 0.000 claims description 16
- 238000010248 power generation Methods 0.000 description 9
- 239000011800 void material Substances 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000000034 method Methods 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000005357 flat glass Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Processing Or Creating Images (AREA)
- Image Analysis (AREA)
Abstract
【課題】関連情報の表示対象の被写体物が配置されたエリアの撮像を、該被写体物の関連情報が撮像画像に適切に表示されるように行うことを容易に実現できる関連情報表示装置を提供する。
【解決手段】被写体物1,2が配置されたエリアARと撮像装置21との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカ10を備える。マーカ10は、エリアARとマーカ10とを撮像したとき、マーカ10の画像の内側領域に被写体物1,2が写るように配設される。
【選択図】図2
【解決手段】被写体物1,2が配置されたエリアARと撮像装置21との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカ10を備える。マーカ10は、エリアARとマーカ10とを撮像したとき、マーカ10の画像の内側領域に被写体物1,2が写るように配設される。
【選択図】図2
Description
本発明は、関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる装置に関する。
従来、この種の装置としては、例えば特許文献1に見られるものが知られている。その装置では、撮像画像入力手段の撮像範囲内に配置されたマークと、複数の特徴点とが撮像画像から抽出される。この場合、マークの位置及び方向を示す情報と、複数の特徴点の位置を示す情報とがマークにあらかじめ記録されており、撮像画像中のマークの画像から得られるこれらの情報を用いて画像入力手段の位置及び姿勢が特定される。
そして、画像入力手段の位置及び姿勢を用いて、撮像画像内の対象物に対応する位置に該対象物に関連する情報が表示される。
特許文献1に見られる技術では、撮像画像内の対象物に対応する位置に該対象物に関連する情報を標示させることは可能であるものの、マークと複数の特徴点とが撮像画像内に写り、且つ、マーク及び特徴点を撮像画像から認識し得ることが前提となる。
しかしながら、対象物が屋外にある場合、あるいは、対象物の周辺に種々様々な物体が配置されているような場合には、特徴点を撮像画像から正しく認識することができない状況も生じやすい。そして、このような場合には、対象物の関連情報を撮像画像内の適切な位置に表示することができないものとなりやすい。
また、撮像画像を見る一般の利用者は、特徴点がどの箇所に存在するものであるかを知らない場合も多い。そして、このような場合には、利用者は、対象物の関連情報を撮像画像に表示させるために、どのような視線方向で撮像を行ったら良いのかが判らず、所望の関連情報を表示させるのに手間取ってしまうという状況が発生しやすい。
本発明はかかる背景に鑑みてなされたものであり、関連情報の表示対象の被写体物が存在するエリアを撮像しようとする利用者が、該被写体物の関連情報が撮像画像に適切に表示されるように該エリアの撮像を行うことを容易に実現できる関連情報表示装置を提供することを目的とする。
本発明の関連情報表示装置の第1の態様は、上記の目的を達成するために、関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる関連情報表示装置であって、
前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物に係る関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
前記マーカは、枠状に形成されたマーカ、又は、上下方向もしくは横方向もしくは斜め方向に間隔を存して配置された一対もしくは複数対の要素部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の少なくとも1つ以上の対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることを特徴とする(第1発明)。
前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物に係る関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
前記マーカは、枠状に形成されたマーカ、又は、上下方向もしくは横方向もしくは斜め方向に間隔を存して配置された一対もしくは複数対の要素部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の少なくとも1つ以上の対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることを特徴とする(第1発明)。
なお、本発明の第1の態様において、「マーカの画像の内側領域」というのは、該マーカが枠状に形成されたマーカである場合には、当該枠状のマーカの画像の枠内領域を意味する。また、マーカが一対もしくは複数対の要素部材により構成されたものである場合には、「マーカの画像の内側領域」というのは、各対の要素部材の間の間隔内領域を意味する。
また、任意の物体A(例えば撮像装置)と物体B(例えばマーカ)との「空間的な配置関係」というのは、物体Aと物体Bとの空間的な位置及び姿勢の相対関係を意味する。
上記第1発明によれば、前記撮像装置により前記エリアの撮像を行う利用者は、撮像装置と該エリアとの間に前記マーカを介在させた状態で該エリア及びマーカの撮像を行う。これにより、マーカの画像の内側領域に少なくとも1つ以上の対象被写体物の画像が写る状態が実現される。
そして、このように前記エリア及びマーカの撮像を行うと、前記配置関係特定手段によって、撮像画像におけるマーカの画像の配置状態(撮像画像の全体におけるマーカの画像の位置、サイズ、形状等の状態)に基づいて、撮像装置とマーカとの空間的な配置関係が特定される。
この場合、マーカは画像特徴を有するので、配置関係特定手段は、撮像画像中のマーカの画像を、該マーカの背景画像と区別して認識することを高い信頼性で行うことができる。このため、撮像画像におけるマーカの画像の配置状態に基づいて、撮像装置とマーカとの空間的な配置関係を精度よく特定できる。
さらに、前記画像位置特定手段によって、前記撮像画像における対象被写体物の画像の位置が特定される。この場合、撮像装置とマーカとの空間的な配置関係と、対象被写体物とマーカとの空間的な配置関係とに応じて、撮像画像中のどの位置に、対象被写体物の画像が写るのかが規定される。従って、画像位置特定手段は、前記配置関係特定手段により特定された撮像装置とマーカとの空間的な配置関係と、対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を正しく特定できることとなる。
そして、前記表示制御手段によって、対象被写体物の関連情報を前記撮像画像上で表示させるべき位置が決定され、当該決定した位置に該対象被写体物に係る関連情報が表示される。この場合、前記画像位置特定手段により特定された対象被写体物の画像の位置に応じて、該対象被写体物に係る関連情報を前記撮像画像上で表示させるべき位置を決定することで、対象被写体物の実際の画像に対応する適切な位置に、当該関連情報を表示させることができる。
ここで、第1発明によれば、前記撮像装置とエリアとの間にマーカを介在させた状態で該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の少なくとも1つ以上の対象被写体物の画像が該マーカの画像の内側領域に写る状態が実現される。
このため、利用者は、前記エリアにおける対象被写体物の位置を意識的に考慮せずとも、前記マーカの内側の空隙を通して該マーカの奥側に見える領域の画像を撮像画像の中心付近に配置するようにして、前記エリア及びマーカの撮像を行うだけで、マーカの画像の内側領域に、該エリア内の少なくとも1つ以上の対象被写体物の画像を写すことができる。
従って、利用者は、容易に、対象被写体物の画像を撮像画像中に適切に写す状態を実現できる。
よって、第1発明によれば、関連情報の表示対象の被写体物が存在するエリアを撮像しようとする利用者が、該被写体物の関連情報が撮像画像に適切に表示されるように該エリアの撮像を行うことを容易に実現できる。ひいては、該対象被写体物に係る関連情報を、容易に撮像画像中に表示させることができる。
上記第1発明では、前記マーカは、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部に位置するように該マーカ及び前記エリアを撮像したとき、前記エリア内の全ての対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることが好ましい(第2発明)。
これによれば、利用者は、マーカの画像が撮像画像の周縁部に位置するように該マーカ及び前記エリアを撮像するだけで、前記エリアの全ての対象被写体物の画像を撮像画像中に写すことができる。ひいては、全ての対象被写体物に係る関連情報を容易に取得することができる。また、この場合、マーカの画像の内側領域が撮像画像の全体のうちに占める面積が大きくなるため、各対象被写体物の画像及び関連情報の表示を見易くできる。
上記第1発明又は第2発明では、前記表示制御手段は、前記撮像画像に写っている前記対象被写体物のうち、前記マーカの画像の内側領域内に写っている対象被写体物に係る関連情報だけを前記撮像画像上に表示するように構成されていることが好ましい(第3発明)。
これによれば、前記マーカの画像の外側に写る対象被写体物については、関連情報が表示されないこととなる。このため、利用者は、関連情報を表示させたい対象被写体物を、マーカの画像の内側領域に写すべきことを容易に認識することができる。ひいては、利用者が、対象被写体物の関連情報が撮像画像に適切に表示されるように該エリアの撮像を行うことをより一層、容易に実現できる。
さらに、利用者は、マーカの画像をできるだけ撮像画像の周縁部に位置させるように該マーカ及びエリアの撮像を行うことを意識的に行うようになる。このため、特に第3発明を前記第2発明と組み合わせた場合には、利用者が、全ての対象被写体物を撮像画像に写すように撮像を行うことを容易に実現できる。
上記第1〜第3発明では、前記表示制御手段は、前記撮像画像のうちの前記マーカの画像の内側領域に前記エリアが写る状態で、該マーカの内側領域の全体に該エリアに関連する情報を表示する機能をさらに含むように構成され得る(第4発明)。
これによれば、撮像画像のうちのマーカの画像の内側領域の全体に、前記エリアに関連する情報を表示させることもできる。
次に、本発明の第2の態様は、関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる関連情報表示装置であって、
前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物の関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
前記マーカは、上下方向又は横方向に延在するように配置された長尺部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部で上下方向又は横方向に延在するように該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の全ての対象被写体物の画像が該マーカの画像の側方領域に写るように配設されていることを特徴とする(第5発明)。
前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物の関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
前記マーカは、上下方向又は横方向に延在するように配置された長尺部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部で上下方向又は横方向に延在するように該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の全ての対象被写体物の画像が該マーカの画像の側方領域に写るように配設されていることを特徴とする(第5発明)。
なお、本発明の第2の態様において、「マーカの画像の側方領域」というのは、該マーカが上下方向に延在するように配置された長尺部材により構成されたマーカである場合には、該マーカの画像の左側又は右側の領域を意味し、該マーカが横方向に延在するように配置された長尺部材により構成されたマーカである場合には、該マーカの画像の上側又は下側の領域を意味する。
また、前記第1の態様の場合と同様に、任意の物体A(例えば撮像装置)と物体B(例えばマーカ)との「空間的な配置関係」というのは、物体Aと物体Bとの空間的な位置及び姿勢の相対関係を意味する。
上記第5発明によれば、前記撮像装置により前記エリアの撮像を行う利用者は、撮像装置と該エリアとの間に前記マーカを介在せた状態で該エリア及びマーカの撮像を行う。この場合、利用者は、長尺部材により構成されたマーカの画像が、撮像画像の周縁部に位置するように(すなわち、撮像画像の周縁部で上下方向又は横方向に延在する画像となるように)、前記エリア及びマーカの撮像を行う。これにより、マーカの画像の内側領域に少なくとも1つ以上の対象被写体物の画像が写る状態が実現される。
そして、このように前記エリア及びマーカの撮像を行うと、前記配置関係特定手段、画像位置特定手段、及び表示制御手段の処理が前記第1の態様の発明と同様に行われ、撮像画像中の対象被写体物の画像に対応する適切な位置に該対象被写体物に係る関連情報が表示される。
かかる第5発明においては、利用者は、前記エリアにおける対象被写体物の位置を意識的に考慮せずとも、前記マーカの画像が、撮像画像の周縁部に位置するように、前記エリア及びマーカの撮像を行うだけで、マーカの画像の側方領域に、該エリア内の全ての対象被写体物の画像を写すことができる。
よって、第5発明によれば、関連情報の表示対象の被写体物が存在するエリアを撮像しようとする利用者が、該被写体物の関連情報が撮像画像に適切に表示されるように該エリアの撮像を行うことを容易に実現できる。ひいては、該対象被写体物に係る関連情報を、容易に撮像画像中に表示させることができる。
本発明の一実施形態を図1〜図4を参照して以下に説明する。
図1を参照して、ARは、関連情報の表示対象の被写体物である対象被写体物が配置されたエリアである。該エリアARは、複数の対象被写体物を含む。本実施形態の一例では、エリアARは、例えば再生可能エネルギーの研究施設の屋外エリアである。そして、エリアARは、対象被写体物として、例えば太陽光発電パネル1と風力発電機2とを含む。以降の説明では、太陽光発電パネル1及び風力発電機2を区別する必要が無いときは、それらを単に対象被写体物1,2と称する。
本実施形態の関連情報表示装置は、かかるエリアARの撮像画像に、対象被写体物1,2に関連する情報を重畳表示する装置である。この関連情報表示装置は、1つ又は複数の、例えば2つのマーカ10a,10bを備える。マーカ10a,10bは、いずれもエリアARを視認し得る場所に設置されている。例えば、マーカ10aは、エリアARの手前側の建造物(図示省略)の窓ガラス3に組み込まれ、マーカ10bは、エリアARの側方の建造物4の屋上に設置されている。
マーカ10a,10bは、いずれも同一構成のものである。以下、マーカ10aを代表的に説明する。マーカ10aは、本実施形態では、図1に示すように方形枠状に形成されたマーカである。該マーカ10aは、その内側の空隙領域(マーカ10aにより囲まれた空隙領域)をエリアARに臨ませるようにして設置されている。このため、マーカ10aの内側の空隙領域を通してエリアARを視認することが可能となっている。マーカ10aと、エリアARの各対象被写体物1,2との間の配置関係(位置及び姿勢の相対関係)は一定である。
マーカ10aの手前側(エリアARと反対側)の領域は、施設の見学者等、本実施形態の関連情報表示装置の利用者が、後述の撮像装置21によりエリアARの撮像を行い得る領域となっている。
この場合、撮像装置21とエリアARとの間にマーカ10aを介在させた状態(撮像装置21から見て、マーカ10aが手前側、エリアARが奥側となる状態)で該エリアAR及びマーカ10aの撮像を行うことが可能となっている。
さらにこの場合、マーカ10a全体の画像が、図2に示すように、撮像装置21の撮像画像(表示器22に表示される撮像画像)の周縁部に位置するように撮像装置21をマーカ10aに対向させて配置した場合、マーカ10aの画像の内側領域(枠内領域)に、エリアARの全ての対象被写体物1,2の画像を写し得るようにマーカ10aが配設されている。
また、マーカ10aは、該マーカ10aと共にエリアARを撮像したときに、該マーカ10aの画像をマーカ10aの背景画像と区別して認識可能な画像特徴を有するように構成されている。
具体的には、マーカ10aの手前側の表面部には、該マーカ10aに特徴的な模様、パターン、色彩等があらかじめ付されている。例えば、図2に示す例では、マーカ10aには白黒の格子模様が付されている。なお、マーカ10aの表面部に付される模様等の特徴は、マーカ10aの画像を、背景画像と区別して認識し得るものであればどのようなものであってもよい。また、マーカ10aの形状(外周形状等)に特徴を持たせるようにしてもよい。
以上説明したマーカ10aに関する構成は、マーカ10bについても同様である。以降の説明では、マーカ10a,10bを区別する必要がないときは、マーカ10a,10bのそれぞれを総称的にマーカ10と称する。
なお、関連情報表示装置に備えるマーカは、マーカ10a,10bのいずれか一方だけであってもよく、あるいは、さらに多くのマーカを備えていてもよい。また、マーカ10a,10bのそれぞれの画像特徴は互いに異なる特徴であってもよい。
図3及び図4に示すように、撮像装置21は、本実施形態では、スマートフォン、タブレット端末等の携帯型の端末機20に搭載されたものである。該端末機20は、撮像装置21による撮像画像を表示可能な表示器22と、CPU、RAM、ROM、インターフェース回路等を含む電子回路により構成された演算処理装置23とを含む。
そして、端末機20の演算処理装置23には、本実施形態の関連情報表示装置に係るアプリケーション(以降、関連情報表示用アプリケーションという)があらかじめインストールされており、この関連情報表示用アプリケーションによって、本実施形態の関連情報表示装置の構成要素としての機能が端末機20に付されている。
具体的には、演算処理装置23は、インストールされた関連情報表示用アプリケーションにより実現される機能として、マーカ10及びエリアARの撮像画像から、マーカ10と撮像装置21との間の空間的な配置関係(位置及び姿勢の相対関係)を特定する配置関係特定部31と、該撮像画像における対象被写体物1,2の画像の位置を特定する画像位置特定部32と、表示器22に表示された撮像画像に対象被写体物1,2の関連情報を重畳して表示させる表示制御部33とを含む。
また、演算処理装置23は、マーカ10と各対象被写体物1,2との空間的な配置関係を表す3次元データと、各対象被写体物1,2の関連情報とをあらかじめ記憶保持したサーバ40と通信することが可能となっている。サーバ40は、端末機20からの要求に応じて、上記3次元データや関連情報を端末機20に送信する機能を有する。
なお、配置関係特定部31、画像位置特定部32、及び表示制御部33は、それぞれ本発明における配置関係特定手段、画像位置特定手段、表示制御手段に相当する。
次に、本実施形態の関連情報表示装置による関連情報の表示作動について説明する。
利用者が対象被写体物1,2の関連情報を見ようとするとき、利用者は、まず、自身の端末機20にあらかじめインストールした関連情報表示用アプリケーションを起動する。そして、利用者は、関連情報表示用アプリケーションを起動した自身の端末機20と、エリアARとの間にマーカ10を介在させた状態で、端末機20の撮像装置21によりマーカ10及びエリアARを撮像し、その撮像画像を端末機20の表示器22に表示させる。
このとき、利用者は、図2に示したようにマーカ10(10a)の画像を撮像画像全体の周縁部に位置させるように、マーカ10に対する撮像装置21の距離及び方向を調整する。これにより、端末機20の表示器22に表示されている撮像画像のうち、マーカ10の画像の内側領域に全ての対象被写体物1,2の画像が写るようになる。
この場合、利用者は、表示器22に表示された撮像画像におけるマーカ10の画像を見ながら、該マーカ10の正面側から、該マーカ10の内側の空隙領域を通して、該マーカ10の奥側のエリアARを撮像するようにマーカ10に対する撮像装置21の位置及び姿勢(光軸の向き)を調整するだけで、容易に、マーカ10と撮像装置21との適切な配置関係を実現できる。
また、マーカ10の画像を撮像画像全体の周縁部に位置させることで、撮像画像全体のうちの中央寄りの広い領域がマーカ10の画像の内側領域となり、当該広い領域にエリアARの対象被写体物1,2を写すことができる。
なお、利用者は、マーカ10に対する撮像装置21の位置又は姿勢を調整することで、マーカ10の画像の内側領域(枠内領域)に、対象被写体物1,2のいずれか一方の画像だけが写るようにすることも可能である。
一方、端末機20の演算処理装置23は、配置関係特定部31の処理を実行することで、マーカ10と撮像装置21との相対的な配置関係を特定する。具体的には、配置関係特定部31は、撮像装置21の撮像画像から、エッジ抽出及びパターン認識等の画像認識処理により、マーカ10の画像を認識する。この場合、マーカ10には画像特徴が付されているため、配置関係特定部31は、マーカ10の画像を高い信頼性で正しく認識することができる。
そして、配置関係特定部31は、撮像画像の全体におけるマーカ10の画像の位置、該マーカ10の画像の形状、及びサイズ、並びに、撮像装置21のあらかじめ設定された焦点距離等から、マーカ10と撮像装置21との空間的な配置関係を特定する。該配置関係は、撮像装置21に対するマーカ10の方位、及び、撮像装置21とマーカ10との間の距離、あるいは、これらの方位及び距離を規定するデータ等により構成される。
次に、端末機20の演算処理装置23は、画像位置特定部32の処理を実行することで、撮像画像における対象被写体物1,2の画像の位置を特定する。具体的には、画像位置特定部32は、サーバ40との通信によって、前記3次元データにより表されるマーカ10と各対象被写体物1,2との既定の空間的な配置関係を示すデータをサーバ40から取得する。
そして、画像位置特定部32は、サーバ40から取得した当該データと、配置関係特定部31の処理により特定されたマーカ10と撮像装置21との空間的な配置関係とに基づいて、端末機20の表示器22に表示されている撮像画像における各対象被写体物1,2の画像の位置を特定する。
さらに詳細には、画像位置特定部32は、サーバ40から取得した当該データと、マーカ10と撮像装置21との空間的な配置関係とから、撮像装置21と各対象被写体物1,2との空間的な配置関係を特定する。そして、画像位置特定部32は撮像装置21と各対象被写体物1,2との空間的な配置関係と、撮像装置21の焦点距離とから撮像画像における各対象被写体物1,2の画像位置を特定する。
次に、端末機20の演算処理装置23は、表示制御部33の処理により、各対象被写体物1,2の関連情報を撮像画像に重畳した状態で表示器22に表示させる。具体的には、表示制御部33は、サーバ40との通信によって、各対象被写体物1,2の関連情報をサーバ40から取得する。本実施形態では、対象被写体物としての太陽光発電パネル1及び風力発電機2のそれぞれの関連情報は、例えば、それぞれの種別、現在の発電出力、定格発電出力等である。なお、関連情報は、各対象被写体物1,2に関連する情報であれば、任意に種々様々な情報を採用し得る。
そして、表示制御部33は、対象被写体物1,2のうち、マーカ10の画像の内側領域(枠内領域)に写っている各対象被写体物についての関連情報を、表示器22に表示されている撮像画像のうちの該対象被写体物の画像に対応する位置(例えば該対象被写体物の画像上の位置、又は該対象被写体物の画像の近傍位置等)に表示する。
本実施形態の一例では、例えば、図2に示すように、太陽光発電パネル1の画像上に、該太陽光発電パネル1が太陽光発電を行うものであることと、該太陽光発電パネル1の現在の発電出力とを示す関連情報1aが表示される。また、風力発電機2の画像の横に、該風力発電機2が風力発電を行うものであることと、該風力発電機2の現在の発電出力とを示す関連情報2aが表示される。
これにより利用者は、各対象被写体物についての関連情報を取得することができる。
なお、本実施形態では、表示制御部33は、マーカ10の画像の内側領域(枠内領域)に写っていない対象被写体物については、該対象被写体物の関連情報の表示を省略する。従って、マーカ10の画像の内側領域(枠内領域)に対象被写体物1,2のうちの一方の対象被写体物の画像だけが写っている場合には、当該一方の対象被写体物の関連情報だけが表示器22に表示され、他方の対象被写体物の関連情報は表示器22に表示されない。
本実施形態では、対象被写体物1,2のそれぞれの関連情報の表示は、上記の如く行われる。
かかる本実施形態では、エリアARに配置されている対象被写体物1,2の関連情報を見ようとする利用者は、端末機20の表示器22に表示される撮像画像の周縁部にマーカ10の画像を位置させるように撮像装置21の位置及び姿勢を調整するだけで、対象被写体物1,2の画像を、容易に、撮像画像全体のうちの視認し易い好適な位置に写すことができる。そして、この状態で、各対象被写体物1,2の関連情報を各対象被写体物1,2の画像に対応する適切な位置に表示させることができる。
従って、利用者は、撮像装置21の位置及び姿勢を、各対象被写体物1,2の関連情報を撮像画像中に表示させる上で好適な状態に調整することを容易に行うことができる。ひいては、利用者は、各対象被写体物1,2の関連情報を効率よく円滑に取得できる。
また、本実施形態では、各対象被写体物1,2のうち、マーカ10の画像の内側領域に写っている対象被写体物についてだけ、関連情報が表示される。このため、撮像装置21を位置及び姿勢を、マーカ10の画像の内側領域(枠内領域)に対象被写体物1,2の画像が写ることとなる好適な状態に調整すること(マーカ10の画像を撮像画像の周縁部にに位置させるようにすること)を利用者に促すことができる。
次に、他の実施形態をいくつか説明する。マーカは、図1及び図2に示したものに限らず、種々様々な形態のものを採用できる。例えば、マーカは、長円形状もしくは楕円形状の枠体により構成されていてもよい。
また、例えば、図5A、図5B、又は図5Cに示すように、マーカが構成されていてもよい。
図5Aは、横方向に間隔を存して配置された一対の要素部材11a,11bにより構成されるマーカ11を例示し、図5Bは、上下方向に間隔を存して配置された一対の要素部材12a,12bにより構成されるマーカ12を例示し、図5Cは、斜め方向に間隔を存して配置された一対の要素部材13a,13bにより構成されるマーカ13を例示している。
なお、図5A〜図5Cでは、マーカ11,12,13に画像特徴を持たせるための模様等の記載を省略している。
図5Aに例示するマーカ11では、一対の要素部材11a,11bは、上下方向に延在する長尺部材として形成されている。そして、該一対の要素部材11a,11bの間の空間は、エリアARに対して遮蔽物が無い空隙となっている。
この場合、端末機20の表示器22の表示される撮像画像において、マーカ11の要素部材11a,11bの画像を、図5Aに示すように、左側及び右側のそれぞれの周縁部に位置させるように撮像装置21の位置及び姿勢を調整することで、要素部材11a,11bの内側領域(要素部材11a,11bの間の領域)にエリアARの全ての対象被写体物1,2を写すことができるように要素部材11a,11bが配設されている。
なお、横方向に間隔を有する要素部材11a,11bは、長尺なものではない部材(例えば円形状の部材等)であってもよい。また、横方向の間隔が互いに同一となる複数対の要素部材11a,11bが上下方向に並ぶように配設されていてもよい。
図5Bに例示するマーカ12では、一対の要素部材12a,12bは、横方向に延在する長尺部材として形成されている。そして、該一対の要素部材12a,12bの間の空間は、エリアARに対して遮蔽物が無い空隙となっている。
この場合、端末機20の表示器22の表示される撮像画像において、マーカ12の要素部材12a,12bの画像を、図5Bに示すように、上側及び下側のそれぞれの周縁部に位置させるように撮像装置21の位置及び姿勢を調整することで、要素部材12a,12bの内側領域(要素部材12a,12bの間の領域)にエリアARの全ての対象被写体物1,2を写すことができるように要素部材12a,12bが配設されている。
なお、上下方向に間隔を有する要素部材12a,12bは、長尺なものではない部材(例えば円形状の部材等)であってもよい。また、上下方向の間隔が互いに同一となる複数対の要素部材12a,12bが横方向に並ぶように配設されていてもよい。
図5Cに例示するマーカ13では、一対の要素部材13a,13bは、長尺でない部材、例えば円形状の部材として形成されている。そして、該一対の要素部材13a,13bの間の空間は、エリアARに対して遮蔽物が無い空隙となっている。
この場合、端末機20の表示器22に表示される撮像画像において、マーカ13の要素部材13a,13bの画像を、図5Cに示すように、左上側及び右下側のそれぞれの周縁部(角部)に位置させるように撮像装置21の位置及び姿勢を調整することで、要素部材13a,13bの内側領域(要素部材13a,13bの間の領域)にエリアARの全ての対象被写体物1,2を写すことができるように要素部材13a,13bが配設されている。
なお、要素部材13a,13bは、円形状以外の形状(例えば、正方形状等)に形成されていてもよい。また、要素部材13a,13bの代わりに、又は要素部材13a,13bに加えて、撮像画像の右上側の角部と左下側の角部とを結ぶ斜め方向に間隔を存する一対の要素部材がマーカの構成要素として備えられていてもよい。
図5A、図5B及び図5Cに示す実施形態は、マーカ11〜13の構成以外は、図1〜図4を参照して説明した実施形態と同じである。
以上の如くマーカ11〜13を構成した場合であっても、前記した方形枠状のマーカ10を備える実施形態の場合と同様に、利用者は、撮像装置21の位置及び姿勢を、各対象被写体物1,2の関連情報を撮像画像中に表示させる上で好適な状態に調整することを容易に行うことができる。ひいては、利用者は、各対象被写体物1,2の関連情報を効率よく円滑に取得できる。
また、マーカは、例えば図6A又は図6Bに例示する如く構成されていてもよい。なお、図6A及び図6Bでは、マーカ14,15に画像特徴を持たせるための模様等の記載を省略している。
図6Aに例示するマーカ14は、上下方向に延在する単一の長尺部材として形成されている。この場合、端末機20の表示器22の表示される撮像画像において、マーカ14の画像を、図6Aに示すように、左側及び右側のいずれか一方側の周縁部(図示例では左側の周縁部)に位置させるように撮像装置21の位置及び姿勢を調整することで、マーカ14の延在方向に直交する方向でのマーカ14の側方領域(図示例では、マーカ14の右側領域)にエリアARの全ての対象被写体物1,2を写すことができるようにマーカ14が配設されている。
また、図6Bに例示するマーカ15は、横方向に延在する単一の長尺部材として形成されている。この場合、端末機20の表示器22の表示される撮像画像において、マーカ14の画像を、図6Bに示すように、上側及び下側のいずれか一方側の周縁部(図示例では下側の周縁部)に位置させるように撮像装置21の位置及び姿勢を調整することで、マーカ15の延在方向に直交する方向でのマーカ15の側方領域(図示例では、マーカ15の上側領域)にエリアARの全ての対象被写体物1,2を写すことができるようにマーカ15が配設されている。
なお、図6A及び図6Bに示す実施形態では、表示制御部33は、撮像画像中に写っている各対象被写体物についての関連情報を撮像画像中に表示する。ただし、エリアARに配置された全ての対象被写体物1,2が写っている場合にだけ、あるいは、マーカ14,15が撮像画像の周縁部に写っている場合にだけ、各対象被写体物についての関連情報を撮像画像中に表示するようにしてもよい。
以上の如くマーカ14,15を構成した場合であっても、前記した方形枠状のマーカ10を備える実施形態の場合と同様に、利用者は、撮像装置21の位置及び姿勢を、各対象被写体物1,2の関連情報を撮像画像中に表示させる上で好適な状態に調整することを容易に行うことができる。ひいては、利用者は、各対象被写体物1,2の関連情報を効率よく円滑に取得できる。
なお、以上説明した各実施形態では、配置関係特定部31、画像位置特定部32、及び表示制御部33しての機能を端末機20の演算処理装置23に持たせたが、配置関係特定部31、画像位置特定部32、及び表示制御部33の機能の一部をサーバ40に持たせることも可能である。例えば、画像位置特定部32の処理をサーバ40で実行させることも可能である。
また、例えば、サーバ40に記憶保持した3次元データと各対象被写体物の関連情報とを、前記関連情報表示用アプリケーションと共に端末機20にダウンロードさせるようにして、前記配置関係特定部31、画像位置特定部32及び表示制御部33の処理を、サーバ40との通信を行うことなく、端末機20の演算処理装置23で実行するようにしてもよい。
また、図1〜図4に示した実施形態、あるいは、図5A〜図5Cに示した実施形態では、マーカ10〜13の画像の内側領域に写っている対象被写体物についてだけ、関連情報の表示を行うようにしたが、マーカ10〜13の画像の外側領域に写っている対象被写体物についても、関連情報の表示を行うようにすることも可能である。この場合、各対象被写体物について表示する関連情報を、該対象被写体物がマーカ10〜13の画像の内側領域に写っている場合と、外側領域に写っている場合とで異ならせるようにしてもよい。
例えば、各対象被写体物についての関連情報を、該対象被写体物がマーカ10〜13の画像の外側領域に写っている場合よりも、内側領域に写っている場合の方がより詳細な情報になるようにしてもよい。
また、図1〜図4に示した実施形態、あるいは、図5A〜図5Cに示した実施形態において、前記表示制御部33は、例えば、端末機20の表示器22の表示される撮像画像のうちのマーカ10〜13の画像の内側領域にエリアARが写るように端末機20を配置した状態で、該端末機20の所定の操作等に応じて、あるいは、該エリアARの撮像開始直後の所定期間等において、該エリアARに関連する情報を、マーカ10〜13の画像の内側領域の全体に表示させる機能をさらに備えるように構成されていてもよい。
1,2…対象被写体物、10(10a,10b),11,12,13,14,15…マーカ、21…撮像装置、22…表示器、31…配置関係特定部(配置関係特定手段)、32…画像位置特定部(画像位置特定手段)、33…表示制御部(表示制御手段)、11a,11b,12a,12b,13a,13b…要素部材。
Claims (5)
- 関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる関連情報表示装置であって、
前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物に係る関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
前記マーカは、枠状に形成されたマーカ、又は、上下方向もしくは横方向もしくは斜め方向に間隔を存して配置された一対もしくは複数対の要素部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の少なくとも1つ以上の対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることを特徴とする関連情報表示装置。 - 請求項1記載の関連情報表示装置において、
前記マーカは、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部に位置するように該マーカ及び前記エリアを撮像したとき、前記エリア内の全ての対象被写体物の画像が該マーカの画像の内側領域に写るように配設されていることを特徴とする関連情報表示装置。 - 請求項1又は2記載の関連情報表示装置において、
前記表示制御手段は、前記撮像画像に写っている前記対象被写体物のうち、前記マーカの画像の内側領域内に写っている対象被写体物に係る関連情報だけを前記撮像画像上に表示するように構成されていることを特徴とする関連情報表示装置。 - 請求項1〜3のいずれか1項に記載の関連情報表示装置において、
前記表示制御手段は、前記撮像画像のうちの前記マーカの画像の内側領域に前記エリアが写る状態で、該マーカの内側領域の全体に該エリアに関連する情報を表示する機能をさらに含むように構成されていることを特徴とする関連情報表示装置。 - 関連情報の表示対象の被写体物である対象被写体物の画像を含む撮像画像上に、該対象被写体物に係る関連情報を表示させる関連情報表示装置であって、
前記対象被写体物が配置されたエリアと撮像装置との間に介在させ得るようにあらかじめ設置され、画像特徴を有するように構成されたマーカと、
前記撮像装置により前記エリア及びマーカを撮像して得られた撮像画像から、前記マーカの画像を認識し、該撮像画像におけるマーカの画像の配置状態に基づいて前記撮像装置とマーカとの空間的な配置関係を特定する配置関係特定手段と、
該配置関係特定手段により特定された前記撮像装置とマーカとの空間的な配置関係と、前記対象被写体物とマーカとのあらかじめ設定された空間的な配置関係とに基づいて、前記撮像画像における対象被写体物の画像の位置を特定する画像位置特定手段と、
該画像位置特定手段により特定された前記対象被写体物の画像の位置に応じて、該対象被写体物の関連情報を前記撮像画像上で表示させるべき位置を決定し、当該決定した位置に該対象被写体物に係る関連情報を表示させる表示制御手段とを備えており、
前記マーカは、上下方向又は横方向に延在するように配置された長尺部材により構成されたマーカであり、前記撮像装置と前記エリアとの間に該マーカを介在させた状態で、該マーカの画像が撮像画像の周縁部で上下方向又は横方向に延在するように該エリア及びマーカを前記撮像装置により撮像したとき、該エリア内の全ての対象被写体物の画像が該マーカの画像の側方領域に写るように配設されていることを特徴とする関連情報表示装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015191978A JP2018189999A (ja) | 2015-09-29 | 2015-09-29 | 関連情報表示装置 |
PCT/JP2016/078638 WO2017057467A1 (ja) | 2015-09-29 | 2016-09-28 | 関連情報表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015191978A JP2018189999A (ja) | 2015-09-29 | 2015-09-29 | 関連情報表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018189999A true JP2018189999A (ja) | 2018-11-29 |
Family
ID=58423962
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015191978A Pending JP2018189999A (ja) | 2015-09-29 | 2015-09-29 | 関連情報表示装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2018189999A (ja) |
WO (1) | WO2017057467A1 (ja) |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009020614A (ja) * | 2007-07-10 | 2009-01-29 | Ritsumeikan | 複合現実感システムに用いるマーカユニット、複合現実感システム、マーカユニット作成支援システム、及び、マーカユニット作成支援プログラム |
JP5158006B2 (ja) * | 2009-04-23 | 2013-03-06 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
-
2015
- 2015-09-29 JP JP2015191978A patent/JP2018189999A/ja active Pending
-
2016
- 2016-09-28 WO PCT/JP2016/078638 patent/WO2017057467A1/ja active Application Filing
Also Published As
Publication number | Publication date |
---|---|
WO2017057467A1 (ja) | 2017-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107113415B (zh) | 用于多技术深度图获取和融合的方法和设备 | |
CN106507087B (zh) | 一种终端成像方法及系统 | |
US9491370B2 (en) | Methods and apparatuses for providing guide information for a camera | |
JP6590792B2 (ja) | 3d映像を補正する方法、装置及び表示システム | |
CN108154058B (zh) | 图形码展示、位置区域确定方法及装置 | |
BR112016004206B1 (pt) | Método, aparelho e memória legível por processador não transitória para processamento de imagens | |
CN106096540B (zh) | 一种信息处理方法和电子设备 | |
CN104254869A (zh) | 用于投影红外线辐射的可见表示的方法和系统 | |
JP6126501B2 (ja) | カメラ設置シミュレータ及びそのコンピュータプログラム | |
CN103679113A (zh) | 一种otp设备扫描二维码时定位聚焦的方法及系统 | |
JP2007243509A (ja) | 画像処理装置 | |
CN104205827A (zh) | 图像处理装置及方法、以及摄像装置 | |
CN105635568A (zh) | 一种移动终端中的图像处理方法和移动终端 | |
CN105791793A (zh) | 图像处理方法及其电子装置 | |
US20200169321A1 (en) | Optical communication method | |
JP6283329B2 (ja) | 拡張現実対象認識装置 | |
CN204669468U (zh) | 移动终端 | |
CN110244469B (zh) | 一种定向散射器位置和扩散角度的确定方法及系统 | |
JP2015032883A (ja) | 撮像装置及び画像表示方法 | |
TWI603225B (zh) | 液晶顯示器顯示視角的調整方法和裝置 | |
WO2017057467A1 (ja) | 関連情報表示装置 | |
JP2017055182A (ja) | 撮影装置、撮影方法及び撮影プログラム | |
JP2013156909A (ja) | 形状モデル生成装置及び作業前後対応画像判定システム | |
KR20180110912A (ko) | 부동산 정보 제공방법 및 그를 위한 어플리케이션 | |
JP7111416B2 (ja) | 携帯端末、情報処理システム、制御方法、及びプログラム |