JP2020191044A - 電力設備設置イメージ表示装置、電力設備設置イメージ表示方法および電力設備設置イメージ表示プログラム - Google Patents
電力設備設置イメージ表示装置、電力設備設置イメージ表示方法および電力設備設置イメージ表示プログラム Download PDFInfo
- Publication number
- JP2020191044A JP2020191044A JP2019097434A JP2019097434A JP2020191044A JP 2020191044 A JP2020191044 A JP 2020191044A JP 2019097434 A JP2019097434 A JP 2019097434A JP 2019097434 A JP2019097434 A JP 2019097434A JP 2020191044 A JP2020191044 A JP 2020191044A
- Authority
- JP
- Japan
- Prior art keywords
- unit
- image
- ground
- power equipment
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000009434 installation Methods 0.000 title claims abstract description 245
- 238000000034 method Methods 0.000 title claims description 32
- 238000009795 derivation Methods 0.000 claims abstract description 53
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 18
- 239000003550 marker Substances 0.000 claims description 105
- 230000015572 biosynthetic process Effects 0.000 claims description 78
- 238000003786 synthesis reaction Methods 0.000 claims description 78
- 230000008859 change Effects 0.000 claims description 59
- 230000001133 acceleration Effects 0.000 claims description 29
- 238000001514 detection method Methods 0.000 claims description 20
- 230000010365 information processing Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 17
- 230000003190 augmentative effect Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 238000003384 imaging method Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 14
- 238000003825 pressing Methods 0.000 description 10
- 238000012937 correction Methods 0.000 description 9
- 238000012545 processing Methods 0.000 description 7
- 230000004913 activation Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Processing Or Creating Images (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
Description
この場合、地上機器を新設する前の画像に、地上機器を直接書き込むことでイメージ画像を作成することが行われている。また、プレゼンテーションソフトウェアなどを使用して、地上機器を新設する前の画像に、地上機器の画像を描くことによってイメージ画像を作成することが行われている。
以上は、地上機器が新設された場合に限らず、電柱、地上機器等の電力設備を移設する場合など、電力設備を設置する場合に当てはまる。
本発明は、前述した点に鑑みてなされたものであり、その目的は、依頼者から地上機器を設置した後のイメージ画像を要求されてから、依頼者がそのイメージ画像を取得するまでの時間を短縮できる電力設備設置イメージ表示装置、電力設備設置イメージ表示方法および電力設備設置イメージ表示プログラムを提供することである。
本発明の一態様の電力設備設置イメージ表示装置において、前記導出部は、前記電力設備設置イメージ表示装置の動きに基づいて、前記地上機器の前記サイズを導出する。
本発明の一態様の電力設備設置イメージ表示装置において、前記地上機器の種類を示す情報を取得する電力設備情報取得部を備え、前記情報取得部は、前記電力設備設置イメージ表示装置の動きに基づいて、前記電力設備設置イメージ表示装置に生じる加速度を示す情報と、角速度を示す情報とを取得し、前記導出部は、前記地上機器の種類を示す情報と、前記加速度を示す情報と、前記角速度を示す情報とに基づいて、前記表示部に表示する前記地上機器の前記サイズを導出する。
本発明の一態様の電力設備設置イメージ表示装置において、地上機器の設置位置に設置されたマーカを検出する検出部を備え、前記導出部は、前記検出部が検出した前記マーカに基づいて、前記設置位置情報を導出し、前記マーカに基づいて、設置する前記地上機器のサイズを導出する。
本発明の一態様の電力設備設置イメージ表示装置において、前記検出部が検出した前記マーカに表されている正面指定図形の向きを判定する判定部を備え、前記導出部は、前記判定部が判定した前記マーカの画像に表されている前記正面指定図形の向きに基づいて、前記表示部に表示する前記地上機器の向きを導出し、前記合成部は、前記導出部が導出した前記地上機器の向きにさらに基づいて、前記表示部に、前記地上機器を合成して表示する。
本発明の一態様の電力設備設置イメージ表示装置において、前記表示部に表示された前記地上機器の状態を変更する情報である状態変更情報を取得する状態変更部を備え、前記合成部は、前記状態変更部が取得した前記状態変更情報に基づいて、前記表示部に表示されている前記地上機器の状態を変更する。
本発明の一態様の電力設備設置イメージ表示装置において、前記状態変更情報には、前記地上機器の扉を開閉することを示す情報が含まれ、前記合成部は、前記地上機器の前記扉を開閉することを示す情報に基づいて、前記表示部に表示されている前記地上機器の状態を変更する。
本発明の一態様の電力設備設置イメージ表示装置において、前記状態変更情報には、前記地上機器の傾きを調整することを示す情報が含まれ、前記合成部は、前記地上機器の前記傾きを調整することを示す情報に基づいて、前記表示部に表示されている前記地上機器の状態を変更する。
本発明の一態様は、地上機器の設置位置を示す情報である設置位置情報を取得するステップと、表示部に表示する前記地上機器のサイズを導出するステップと、前記設置位置情報と、前記地上機器の前記サイズとに基づいて、前記表示部に、前記地上機器を合成して表示するステップとを有する電力設備設置イメージ表示方法である。
本発明の一態様は、コンピュータに、地上機器の設置位置を示す情報である設置位置情報を取得するステップと、表示部に表示する前記地上機器のサイズを導出するステップと、前記設置位置情報と、前記地上機器の前記サイズとに基づいて、前記表示部に、前記地上機器を合成して表示するステップとを実行させる、電力設備設置イメージ表示プログラムである。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「XXに基づいて」とは、「少なくともXXに基づく」ことを意味し、XXに加えて別の要素に基づく場合も含む。また、「XXに基づいて」とは、XXを直接に用いる場合に限定されず、XXに対して演算や加工が行われたものに基づく場合も含む。「XX」は、任意の要素(例えば、任意の情報)である。
(電力設備設置イメージ表示装置)
図1は、第1の実施形態の電力設備設置イメージ表示装置の一例を示す図である。図1の左図は、電力設備設置イメージ表示装置100に、電柱200および支線300を移設する前の画像が表示されている様子を示す。図1の真ん中の図は、電柱200および支線300を移設する前の画像に、その電柱200を移設した後のイメージ画像が表示されている様子を示す。つまり、電柱200および支線300を移設する前の画像に、移設した電柱のイメージ画像240が表示される。電力設備設置イメージ表示装置100は、電柱200および支線300を移設する前の画像に、移設した支線のイメージ画像を表示することもできる。以下、電力設備設置イメージ表示装置100は、電柱200および支線300を移設する前の画像に、移設した電柱のイメージ画像240を表示する場合について説明を続ける。図1の右図は、電柱200および支線300を移設する前の画像に、地上機器を新設した後のイメージ画像が表示されている様子を示す。つまり、電柱200および支線300を移設する前の画像に、新設した地上機器のイメージ画像250が表示される。ここで、電柱と、支線と、地上機器とは、電力設備の一例である。
地上機器は、多回路開閉器と、地上用変圧器とに分類される。多回路開閉器は、高圧配線の分岐設備であり、かつ保守作業時の切り替えのための設備である。多回路開閉器は、開閉器塔に格納される。開閉器塔の正面は、開閉部を有する。例えば、開閉部は両開きである。開閉部を開状態にすることによって、多回路開閉器の保守と点検とが可能である。
地上用変圧器は、高圧の電気を一般家庭用の低圧の電気に降圧させる設備である。地上用変圧器は、変圧器塔に設置される。地上用変圧器は、変圧器塔に格納される。変圧器塔の正面は、開閉部を有する。例えば、開閉部は両開きである。開閉部を開状態にすることによって、地上用変圧器の保守と点検とが可能である。開閉器塔のサイズと、変圧器塔のサイズとは規定されている。電力設備設置イメージ表示装置100は、地上機器を新設した後のイメージ画像を表示する場合、開閉器塔を新設した後のイメージ画像と、変圧器塔を新設した後のイメージ画像とのいずれか一方又は両方を表示する。開閉器塔を新設した後のイメージ画像を表示するか、変圧器塔を新設した後のイメージ画像を表示するかは、ユーザが、電力設備設置イメージ表示装置100に対して設定可能である。
電柱200および支線300を移設する前の画像から、電柱200および支線300を移設する前の画像に加え、その電柱200を移設した後のイメージ画像を表示する場合(図1の左図から、図1の真ん中の図)について説明する。
電力設備設置イメージ表示装置100は、拡張現実(Augmented Reality: AR)技術を使用して、電柱200を移設した後のイメージ画像を表示する。例えば、電柱200を移設する依頼を受け、移設する電柱200が設置された現地で依頼者と立ち会った際に、電力設備設置イメージ表示装置100は、電柱200を移設した後のイメージ画像を、その現場で、依頼者へ提示する。本実施形態では、一例として、マーカ型ビジョンベース方式の拡張現実技術が用いられる。マーカ型ビジョンベース方式の拡張現実技術とは、画像認識技術、空間認識技術などを応用して、予め登録された図形を認識することによって、情報提示を行うことをいう。
電力設備設置イメージ表示装置100に、電柱200を移設した後のイメージ画像を表示するには、スマートフォンなどの端末装置に、電力設備設置イメージ表示アプリをインストールする。そして、電柱200を移設する位置に電力設備用マーカ230を置く。
ユーザは、電力設備設置イメージ表示装置100を操作することによって、電力設備設置イメージ表示装置100に、電柱200を移設する前の画像に、電柱200を移設した後のイメージ画像を表示させる。
図1の真ん中の図によれば、電力設備用マーカ230が置かれた位置に電柱のイメージ画像240が表示される。電力設備用マーカ230が置かれた位置から上方向に伸びる電柱のイメージ画像240が表示される。さらに、図1の真ん中の図には、メニューアイコン110などが示されているが、これらについては、後述する。
電力設備設置イメージ表示装置100は、拡張現実技術を使用して、地上機器を新設した後のイメージ画像を提示する。例えば、地上機器を新設する依頼を受け、地上機器を新設する現地で依頼者と立ち会った際に、電力設備設置イメージ表示装置100は、地上機器を新設した後のイメージ画像を、その現場で、依頼者へ提示する。本実施形態では、一例として、マーカ型ビジョンベース方式の拡張現実技術が用いられる。
電力設備設置イメージ表示装置100に、地上機器を新設した後のイメージ画像を表示するには、スマートフォンなどの端末装置に、電力設備設置イメージ表示アプリをインストールする。そして、地上機器を新設する位置に電力設備用マーカ230を置く。電力設備設置イメージ表示装置100は、電力設備用マーカ230が置かれた位置に電柱のイメージ画像240と、メニューアイコン110などとを表示する。この状態で、電力設備設置イメージ表示装置100に、所定の操作が行われることで、電柱のイメージ画像240が、地上機器のイメージ画像250に切り替わる。
ユーザは、電力設備設置イメージ表示装置100を操作することによって、電力設備設置イメージ表示装置100に、電柱200および支線300を移設する前の画像に、地上機器を新設した後のイメージ画像250を表示させる。
図1の右図によれば、電力設備用マーカ230が置かれた位置に地上機器のイメージ画像250が表示される。電力設備用マーカ230が置かれた位置から左右方向と上方向とに伸びる地上機器のイメージ画像250が表示される。表示されている地上機器のイメージ画像250の正面は、電力設備用マーカ230に表されている所定の模様と一致している。さらに、図1の右図には、メニューアイコンなどが示されているが、これらについては、後述する。
次に、電力設備用マーカ230について説明する。
図2は、第1の実施形態の電力設備用マーカの一例を示す図である。図2の(a)は、電力設備用マーカ230の立面図を示す。
電力設備用マーカ230は、角柱状、円柱状、錐体(円錐台、角錐台)状などの立体の形状を有する。円柱状や、円錐台状の形状を有することによって、電力設備用マーカ230に描かれた図形を、360度の全方向から検出できる。このため、電力設備設置イメージ表示装置100が、電力設備用マーカ230に描かれた図形を、遠方から検出し易くできる。また、仮に、電力設備用マーカをカード状にした場合には電力設備用マーカ230に描かれた図形を、電力設備設置イメージ表示装置100の方向に向ける必要があるが、電力設備用マーカを立体形状にした場合にはこのようなことをする必要がないため、電力設備用マーカ230を置く自由度を向上させることができる。以下、一例として、電力設備用マーカ230が円柱状である場合について、説明を続ける。
電力設備用マーカ230の高さH1は、20cm以上且つ40cm以下の範囲で適宜設定すればよく、典型的には25cm以上かつ35cm以下とすればよい。
電力設備用マーカ230の上面と下面の直径D1(幅)は、15cm以上且つ40cm以下の範囲で適宜設定すればよく、典型的には20cm以上かつ30cm以下とすればよい。
また、ARマーカ234には、側面235において、円周に沿って、一又は複数のライン(線)が描かれている。図2に示される例では、ARマーカ234には、電力設備用指定図形232の上下に平行に、ライン(線)が描かれている。以下、側面235において、円周に沿って描かれた線のうち、上側の線を上ライン231、下側の線を下ライン233という。上ライン231および下ライン233は、電力設備設置イメージ表示装置100が、その上ライン231と下ライン233との間に描かれている電力設備用指定図形232の検出精度を向上させるために使用される。電力設備用指定図形232の上下に、上ライン231と下ライン233とが描かれることによって、上ライン231と下ライン233とが描かれない場合よりも、電力設備設置イメージ表示装置100が、電力設備用指定図形232を検出する精度を向上させることができる。
また、ARマーカ234は、白色光(太陽光)の補色で、電力設備用マーカ230の側面235に描かれる。このように、ARマーカ234を、太陽光の補色と、背景の白色との二色で構成することによって、太陽が出ている屋外で、ARマーカ234の視認性を向上させることができる。このため、電力設備設置イメージ表示装置100が、ARマーカ234を誤認識することを低減できる。
側面235の長手方向の両端部分が接続され、上面部分236の「A」で示される部分が側面235の「A」で示される部分に取り付けられ、下面部分237の「B」で示される部分が側面235の「B」の部分に取り付けられることによって、電力設備用マーカ230が作成される。このように構成することによって、電力設備用マーカ230を、折り畳み可能にできる。電力設備用マーカ230を、折り畳み可能にできることによって、移設する電柱がある現地や、地上機器を新設する現地への持ち運びを容易にできる。
さらに、下面部分237には、重り238を取り付けることができるようにしてもよい。重り238を取り付けることができるように構成することによって、電力設備用マーカ230を、電柱を移設する位置や、地上機器を新設する位置に置いた場合に、風が吹いたとしても飛ばないようにできる。
図3は、第1の実施形態の電力設備設置イメージ表示装置の一例を示すブロック図である。電力設備設置イメージ表示装置100の一例は、電力設備設置イメージ表示アプリをインストールしたスマートフォン、タブレット端末などの端末装置である。
電力設備設置イメージ表示装置100は、例えば、通信部102と、記憶部120と、情報処理部130と、表示部140と、操作部150と、撮像部160と、GNSS受信部170とを備える。
通信部102は、通信モジュールによって実現される。通信部102は、ネットワークを経由して、他の端末装置と通信を行う。例えば、電柱を移設した後のイメージ画像を、依頼者の端末装置へ送信する。また、例えば、地上機器を新設した後のイメージ画像を、依頼者の端末装置へ送信する。
プログラム122は、例えば、オペレーティングシステムであり、ユーザやアプリケーションプログラムとハードウェアの中間に位置し、ユーザやアプリケーションプログラムに対して標準的なインターフェースを提供すると同時に、ハードウェアなどの各リソースに対して効率的な管理を行う。
アプリ124は、電力設備設置イメージ表示装置100に、電力設備の設置位置に設置されたARマーカ234を検出させる。アプリ124は、電力設備設置イメージ表示装置100に、電力設備の設置位置を示す情報を取得させる。アプリ124は、電力設備設置イメージ表示装置100に、設置する電力設備の種類を示す情報を取得させる。アプリ124は、電力設備設置イメージ表示装置100に、表示部140が表示している電柱に基づいて、設置する電力設備のサイズを導出させる。アプリ124は、電力設備設置イメージ表示装置100に、設置位置を示す情報と、電力設備のサイズとに基づいて、表示部140に、設置する電力設備を合成して表示させる。
また、記憶部120は、電力設備用指定図形232を記憶する。また、記憶部120は、電力設備用マーカ230の高さ、電力設備用マーカ230の上面と下面との直径などの電力設備用マーカ230のサイズを記憶する。
GNSS受信部170は、全球測位衛星システム(GNSS (Global Navigation Satellite System)などによって実現される。GNSS受信部170は、情報処理部130からの測位命令に応じて、GPS、GLONASS、Galileo、準天頂衛星(QZSS)などの航法衛星によって送信された航法信号を受信し、該航法信号を復調する。そして、GNSS受信部170は、復調した航法信号に基づいて、所定の測位演算を行うことによって電力設備設置イメージ表示装置100の測位を行うことによって位置情報を得る。GNSS受信部170は、位置情報を、情報処理部130へ出力する。
なお、情報処理部130の全部または一部は、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、またはFPGA(Field-Programmable Gate Array)などのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部130は、例えば、検出部132と、判定部133と、電力設備情報取得部134と、状態変更部135と、導出部136と、位置情報取得部137と、合成部138とを備える。
判定部133は、検出部132が出力した画像情報を取得する。判定部133は、取得した画像情報に基づいて、画像を認識し、記憶部120に記憶されている電力設備用指定図形232に基づいて、取得した画像が、電力設備用指定図形232であるかを判定する。判定部133は、電力設備用指定図形232であると判定した場合、電力設備情報取得部134と、導出部136とへ、電力設備用指定図形232が認識されたことを示す情報を出力する。
電力設備情報取得部134は、ユーザが操作部150へ、地上機器を新設した後のイメージ画像へ切り替える操作を行った場合、ユーザが操作部150を操作することによって出力される地上機器の種類を示す情報を取得する。ここで、地上機器の種類を示す情報には、地上機器のサイズを示す情報が含まれる。本実施形態では、地上機器のサイズを示す情報の一例として、地上機器の幅と、高さと、奥行きとの各々の長さを示す情報を適用する場合について説明を続ける。また、電力設備情報取得部134は、検出部132が出力した電力設備用指定図形232を示す画像情報に基づいて、正面指定図形Fの方向を取得する。電力設備情報取得部134は、取得した地上機器の幅と、高さと、奥行きとの各々の長さを示す情報と、正面指定図形Fの方向を示す情報とを、導出部136へ出力する。
具体的には、導出部136は、表示部140に表示されている電力設備用マーカ230の高さh1と、記憶部120に記憶されている電力設備用マーカ230の高さH1との比を求める。そして、導出部136は、電力設備情報取得部134が出力した電柱の長さを示す情報に基づいて、その電柱の長さに(h1/H1)を乗算することによって、表示部140に表示する電柱の長さを求める。電柱の長さに応じて、地上部分の長さと、埋設部分の長さとは予め規定されている。導出部136は、表示部140に表示する地上部分の電柱の長さと、埋設部分の電柱の長さとを求める。また、導出部136は、表示されている電力設備用マーカ230の直径d1と、記憶部120に記憶されている電力設備用マーカ230の直径D1との比を求める。そして、導出部136は、電力設備情報取得部134が出力した電柱の直径を示す情報に基づいて、その電柱の直径に(d1/D1)を乗算することによって、表示部140に表示する電柱の直径の長さを求める。導出部136は、導出した地上部分の電柱の長さを示す情報と、埋設部分の電柱の長さを示す情報と、電柱の直径を示す情報とを、合成部138へ出力する。
具体的には、導出部136は、表示部140に表示されている電力設備用マーカ230の高さh1と、記憶部120に記憶されている電力設備用マーカ230の高さH1との比を求める。そして、導出部136は、電力設備情報取得部134が出力した地上機器の幅と、高さと、奥行きとの各々の長さを示す情報に基づいて、その地上機器の幅と、高さと、奥行きとの各々の長さに(h1/H1)を乗算することによって、表示部140に表示する地上機器の幅と、高さと、奥行きとの各々の長さを求める。導出部136は、導出した地上機器の幅と、高さと、奥行きとの各々の長さを示す情報と、正面指定図形Fの方向を示す情報とを、合成部138へ出力する。
また、合成部138は、導出部136が出力した地上機器の幅と、高さと、奥行きとの各々の長さを示す情報と、正面指定図形Fの方向を示す情報とを取得した場合、電柱200および支線300を移設する前の画像に、電力設備用マーカ230が置かれた地表の位置を、地上機器の中心として、地上機器の幅と、高さと、奥行きとの各々の長さを示す情報に該当し、かつ正面指定図形Fの方向を示す情報に該当する方向を正面とする地上機器のイメージ画像250を合成する。さらに、合成部138は、位置情報取得部137が出力した住所情報を取得した場合、電柱200および支線300を移設する前の画像に、地上機器のイメージ画像250を合成するとともに、住所情報を合成する。合成部138は、合成することによって得られた画像を、表示部140へ出力する。
また、合成部138は、後述する状態変更部135が出力した状態を変更する情報(以下「状態変更情報」という)を取得した場合、取得した状態変更情報に基づいて、表示している地上機器のイメージ画像250の状態を変更する。
状態変更部135は、ユーザが操作部150へ、地上機器を新設した後のイメージ画像の状態を変更する操作を行った場合、ユーザが操作部150を操作することによって出力される状態変更情報を取得する。状態変更部135は、取得した状態変更情報を、合成部138へ出力する。
撮像部160は、CCD(Charge Coupled Devices)カメラやCMOS(Complementary Metal Oxide Semiconductor)カメラなどによって構成され、電力設備設置イメージ表示装置100の筐体に固定される。撮像部160は、直接若しくはハーフミラーなどを用いて、撮像することによって得られる画像データを情報処理部130へ出力する。
メニューアイコンの詳細について説明する。
図4は、メニューアイコンの一例を示す図である。図4には、電柱のイメージ画像240が表示された場合に表示されるメニューアイコンの一例が示される。メニューアイコンの一例は、表示部140の表示画面の上側に表示されている。さらに、図4には、表示部140の下側にシャッタボタン115が表示されている。
図4に示される例では、メニューアイコンは、メニューアイコン110と、電柱切替えボタン111と、支線切替えボタン112と、表示切替えボタン113と、保存ホルダ起動ボタン114と、対象切替ボタン210とを含む。
メニューアイコン110が押されることによって、合成部138は、メニューバーの切替えを行う。
電柱切替えボタン111が押されることによって、合成部138は、表示する電柱の長尺の切替えを行う。
ユーザが電柱切替えボタン111を押すことによって、合成部138によって、電柱サイズの選択ボタンが表示される。電柱サイズの選択ボタンには、電柱の高さが表示された複数のボタンが含まれる。図5に示される例では、「6.9」が表示された6.9メートルの電柱の電柱選択ボタン111aと、「10」が表示された10メートルの電柱の電柱選択ボタン111bと、「12」が表示された12メートルの電柱の電柱選択ボタン111cと、「14」が表示された14メートルの電柱の電柱選択ボタン111dと、「15」が表示された15メートルの電柱の電柱選択ボタン111eと、「16」が表示された16メートルの電柱の電柱選択ボタン111fとが含まれる。図5に示される例では、電柱選択ボタン111dが押されることによって、電柱選択ボタン111a−111c、111e−111fとは異なる表示となっている場合を示している。
図6は、支線切替えのメニューバーの一例を示す図である。図6の上側はメニューバーを示し、図6の下側は支線の選択ボタンを示す。
ユーザが支線切替えボタン112を押すことによって、支線切替えボタン112が押されたことが分かるように表示が変わり、支線の選択ボタンが表示される。支線の選択ボタンには、支線の種類を示す複数のボタンが含まれる。図6に示される例では、「地支線」を示す支線選択ボタン112aと、「弓支線」を示す支線選択ボタン112bとが含まれる。 表示切替えボタン113が押されることによって、合成部138は、表示方法を切り替える。
図7は、表示切替えのメニューバーの一例を示す図である。図7の上側はメニューバーを示し、図7の下側は表示方法の選択ボタンを示す。
ユーザが表示切替えボタン113を押すことによって、合成部138は、表示切替えボタン113が押されたことが分かるように表示を変化させ、表示方法の選択ボタンを表示する。表示方法の選択ボタンには、表示方法を示す複数のボタンが含まれる。図7に示される例では、「地上高」を表示する地上高表示選択ボタン113aと、「根入れ部分」を表示する根入れ部分表示選択ボタン113bと、「電柱」を非表示にする電柱非表示選択ボタン113cとが含まれる。
根入れ部分表示選択ボタン113bが押されることによって、合成部138は、移設した後の電柱の埋設部分を含むイメージ画像を表示する。このように構成することによって、どの程度、電柱が地中に埋まっているのかを説明するのに利用できる。電柱非表示選択ボタン113cが押されることによって、合成部138は、移設した後の電柱のイメージを非表示にする。このように構成することによって、地支線を移設する際に利用できる。
保存ホルダ起動ボタン114が押されることによって、情報処理部130は、イメージを保存している保存ホルダを起動する。このように構成することによって、今まで保存したイメージの閲覧及びPCへの保存などを行うことができる。
図8に示される例では、メニューアイコンは、機器種類変更ボタン222と、扉開閉ボタン223と、傾き補正ボタン224と、保存ホルダ起動ボタン114とを含む。
機器種類変更ボタン222が押されることによって、合成部138は、表示している地上機器の種類を変更する。具体的には、ユーザが機器種類変更ボタン222を押すことによって、合成部138は、機器種類変更ボタン222が押されたことが分かるように表示を変更し、変更できる地上機器の種類を示す情報を表示する。ユーザは、表示された地上機器の種類を示す情報から、表示させたい地上機器の種類を示す情報が表示された部分を押すことによって、合成部138は、押された部分に該当する地上機器のイメージ画像に、表示されている地上機器のイメージ画像を変更する。
扉開閉ボタン223が押されることによって、合成部138は、表示部140に表示されている地上機器を格納している開閉器塔又は変圧器塔の開閉部を開状態にしたイメージ画像を表示する。このように構成することによって、開閉部が開状態になった場合に、扉が邪魔にならないか否かを確認できる。
傾き補正ボタン224が押されることによって、合成部138は、地上機器の傾きを補正する。このように構成することによって、仮に、斜面に地上機器を設置した場合のイメージ画像を表示する場合に、斜面の傾斜と地上機器の底面とが一致するように、地上機器のイメージ画像を補正できる。
ユーザが傾き補正ボタン224を押すことによって、合成部138は、傾き補正ボタン224が押されたことが分かるように表示を変更し、傾きを補正する方法を示すメッセージを表示する。図9には、地上機器のイメージ画像250が表示された画像に、メッセージ「端末を傾けることで表示イメージの傾きを補正できます。」と、チェックボタン224aとが表示されている。ユーザは、この表示にしたがって、端末(電力設備設置イメージ表示装置100)を傾ける。ユーザが電力設備設置イメージ表示装置100を傾けることによって、合成部138は、表示部140に表示している地上機器のイメージ画像を、傾けて表示する。ユーザは、表示部140に表示されている地上機器のイメージ画像の傾きが所望の傾きとなった場合に、表示部140に表示されているチェックボタン224aを押すことで、傾き補正を完了できる。チェックボタン214aが押された場合に、合成部138は、表示部140に表示されている地上機器のイメージ画像の傾きを、所望の傾きに固定する。
具体的には、電力設備設置イメージ表示装置100に角速度センサーを内蔵し、ユーザが電力設備設置イメージ表示装置100を傾けることによってその角速度センサーが検出した角速度に基づいて、合成部138は、表示部140に表示している地上機器のイメージ画像を、傾けて表示する。このように構成することによって、表示部140に表示される地上機器のイメージ画像を、電力設備設置イメージ表示装置100の傾きにリンクさせることができるため、ユーザに直感的に傾きを補正させることができる。
図10は、第1の実施形態の電力設備設置イメージ表示装置の動作の一例を示すフローチャートである。
(ステップS101)
電力設備設置イメージ表示装置100の検出部132は、ユーザが操作部150へ、電柱200の移設のイメージ画像を表示する処理を開始する操作を行った場合に、撮像部160を起動し、起動した撮像部160が撮像した画像から、電力設備用指定図形を検出する。検出部132は、検出した電力設備用指定図形を示す画像情報を、判定部133と、電力設備情報取得部134と、導出部136とへ出力する。
判定部133は、検出部132が出力した電力設備用指定図形を示す画像情報を取得し、取得した電力設備用指定図形が、電力設備用指定図形232であるか否かを判定する。判定部133は、電力設備用指定図形232であると判定した場合、電力設備情報取得部134へ、電力設備用指定図形232が認識されたことを示す情報を出力する。ここでは、判定部133が、電力設備用指定図形232であると判定した場合について説明を続ける。なお、判定部133が、電力設備用指定図形232でないと判定した場合、処理を終了し、ステップS101へ移行する。
(ステップS102)
電力設備情報取得部134は、判定部133が出力した電力設備用指定図形232が認識されたことを示す情報を取得した場合、ユーザが操作部150を操作することによって出力される電柱の種類を示す情報を取得する。電力設備情報取得部134は、判定部133が電力設備用指定図形232であると判定した場合、電柱情報を取得し、取得した電柱情報を、導出部136へ出力する。
(ステップS103)
電力設備設置イメージ表示装置100の導出部136は、地上部分の電柱の長さを示す情報と、埋設部分の電柱の長さを示す情報と、上面の直径を示す情報とを導出する。
電力設備設置イメージ表示装置100の合成部138は、電柱200および支線300を移設する前の画像に、電力設備用マーカ230が置かれた位置の地表を起点として、直径で、地上部分の電柱の長さを示す情報に該当する長さの電柱のイメージ画像を合成する。合成部138は、合成することによって得られた画像を、表示部140へ出力する。表示部140は、合成部138が出力した画像を表示する。
(ステップS105)
電力設備情報取得部134は、ユーザが操作部150へ、対象切替ボタン210を押す操作を行ったか否かを判定する。
(ステップS106)
ユーザが操作部150へ、対象切替ボタン210を押す操作を行っていない場合には、現状の表示を継続し、ステップS105へ移行する。
(ステップS107)
電力設備情報取得部134は、ユーザが操作部150へ、地上機器を新設した後のイメージ画像へ切り替える操作を行った場合、ユーザが操作部150を操作することによって出力される地上機器の種類を示す情報を取得する。また、電力設備情報取得部134は、検出部132が出力した電力設備用指定図形232を示す画像情報に基づいて、正面指定図形Fの方向を取得する。
(ステップS108)
導出部136は、表示部140に表示されている電力設備用マーカ230の高さh1と上面の直径d1と、記憶部120に記憶されている電力設備用マーカ230の高さH1と上面の直径D1とに基づいて、表示部140に表示する地上機器のイメージ画像の幅と、高さと、奥行きとの各々の長さを導出する。
合成部138は、導出部136が出力した地上機器の幅と、高さと、奥行きとの各々の長さを示す情報と、正面指定図形Fの方向を示す情報とを取得した場合、電柱200および支線300を移設する前の画像に、電力設備用マーカ230が置かれた地表の位置を、地上機器の中心として、地上機器の幅と、高さと、奥行きとの各々の長さを示す情報に該当し、かつ正面指定図形Fの方向を示す情報に該当する方向を正面とする地上機器のイメージ画像を合成する。合成部138は、合成することによって得られた画像を、表示部140へ出力する。表示部140は、合成部138が出力した画像を表示する。
(ステップS110)
状態変更部135は、メニューアイコンに含まれる機器種類変更ボタン222と、扉開閉ボタン223と、傾き補正ボタン224などの状態変更ボタンが押されたか否かを判定する。状態変更ボタンが押されていない場合に、ステップS110へ移行する。
(ステップS111)
状態変更部135は、状態変更ボタンが押されたと判定した場合、状態変更ボタンが押されたことによって、操作部150から出力される状態変更情報を取得する。状態変更部135は、取得した状態変更情報を、合成部138へ出力する。
合成部138は、状態変更部135が出力した状態変更情報を取得した場合、取得した状態変更情報に基づいて、表示している地上機器のイメージ画像250の状態を変更する。具体的には、合成部138は、取得した状態変更情報に基づいて、表示されている地上機器のイメージ画像の変更、地上機器を格納している開閉器塔又は変圧器塔の開閉部を開状態にしたイメージ画像の表示、傾き補正を完了した地上機器のイメージ画像の表示を行う。
ステップS111の終了後にステップS110へ移行する。ステップS110へ移行することによって、その後、状態変更ボタンが押された場合に、押された状態変更ボタンに該当する処理を行うことができる。
前述した実施形態において、メニューアイコンの位置は適宜変更可能である。
前述した実施形態では、一例として、地上機器を新設する場合について説明したが、この例に限られない。例えば、地上機器を移設する場合にも適用できる。
前述した第1の実施形態の拡張現実表示用マーカによれば、マーカ型ビジョンベース方式の拡張現実技術に用いられる拡張現実表示用マーカであって、予め登録される複数の図形が描かれたマーク面を備え、マーク面は、所定の閾値以下の反射率を有し、複数の図形は、太陽光の補色で描かれるマーカと、マーカに描かれたラインとを含む。このように構成することによって、太陽光が当たる場所であっても、ARマーカの認識精度を向上させることができる。また、遠方からの認識精度を向上させることができる。
また、拡張現実表示用マーカは、立体の形状を有し、マーク面は、立体の側面を構成する。このように構成することによって、撮像位置の自由度を向上させることができる。
また、拡張現実表示用マーカは、20cm以上且つ40cm以下の高さを有する。このように構成することによって、15m−20mの遠方からの認識精度を向上させることができる。
また、拡張現実表示用マーカの幅は、15cm以上且つ40cm以下である。このように構成することによって、15m−20mの遠方からの認識精度を向上させることができる。
また、拡張現実表示用マーカには、重りが取り付けられている。このように構成することによって、風により飛ばされにくくできる。
また、マーク面と、下面とが展開可能に構成される。このように構成することによって、持ち運びを便利にできる。
また、マーク面は、防水加工がされている。このように構成することによって、雨天時の耐候性を向上させることができる。
また、マーク面には、正面指定図形Fが含まれる。このように構成することによって、地上機器を表示する場合に、その正面を指定できる。
また、状態変更情報には、地上機器の扉を開閉することを示す情報が含まれ、合成部138は、地上機器の扉を開閉することを示す情報に基づいて、表示部140に表示されている地上機器の状態を変更する。このように構成することによって、表示部140に表示されている地上機器の状態を変更できる。
また、状態変更情報には、地上機器の傾きを調整することを示す情報が含まれ、合成部138は、地上機器の傾きを調整することを示す情報に基づいて、表示部140に表示されている地上機器の状態を変更する。このように構成することによって、表示部140に表示されている地上機器の傾きを変更できる。
(電力設備設置イメージ表示装置)
図11は、第2の実施形態の電力設備設置イメージ表示装置の一例を示す図である。第2の実施形態の電力設備設置イメージ表示装置100aは、第1の実施形態の電力設備設置イメージ表示装置100において、ARマーカ234を使用することなく、移設した電柱のイメージ画像240と、地上機器を新設した後のイメージ画像とのいずれか一方を表示するようにしたものである。
図11の左図は、電力設備設置イメージ表示装置100aに、電柱200および支線300を移設する前の画像が表示されている様子を示す。図12の真ん中の図は、電柱200および支線300を移設する前の画像に、その電柱200を移設した後のイメージ画像240が表示されている様子を示す。図12の右図は、電柱200および支線300を移設する前の画像に、地上機器を新設した後のイメージ画像250が表示されている様子を示す。
電柱200および支線300を移設する前の画像から、電柱200を移設する前の画像に加え、その電柱を移設した後のイメージ画像240を表示する場合(図11の左図から、図11の真ん中の図)について説明する。
電力設備設置イメージ表示装置100aは、拡張現実技術を使用して、電柱200を移設した後のイメージ画像を表示する。例えば、電柱200を移設する依頼を受け、移設する電柱200が設置された現地で依頼者と立ち会った際に、電力設備設置イメージ表示装置100aは、その現場で、電柱200を移設した後のイメージ画像を、依頼者へ提示する。本実施形態では、一例として、マーカ型ビジョンベース方式の拡張現実技術が用いられる。
ユーザは、電力設備設置イメージ表示アプリが起動している端末装置を上下および左右のいずれか一方又は両方にシェイクさせる。
電力設備設置イメージ表示装置100aは、撮像部を備える。撮像部の詳細については、後述する。電力設備設置イメージ表示装置100aは、その撮像部が取得する画像に含まれる特徴点(FP)を認識する。ここで、特徴点とは、画像上の点のうち、検出できる点をいう。具体的には、特徴点は、強度が極大又は極小の点、曲線の終点、曲率が極大である曲線上の点などの孤立した点である。電力設備設置イメージ表示装置100aは、シェイクによって生じる特徴点のずれ量を取得し、取得した特徴点のずれ量とシェイクすることによって電力設備設置イメージ表示装置100aに生じる加速度の情報と、角速度の情報とを分析する。電力設備設置イメージ表示装置100aは、分析結果に基づいて、地面などの平面を認識するとともに、特徴点の集合によって形成される対象物のサイズを把握する。ここで、対象物の一例は、電柱200である。
図11の真ん中の図によれば、タップが行われた位置を電柱の根元とし、そのタップが行われた位置から上方向に伸びる電柱のイメージ画像240が表示されている。
さらに、図11の真ん中の図には、ユーザが、電柱表示切替ボタン229を押した場合に表示されるメニューアイコン110と、電柱切替えボタン111と、表示切替えボタン113と、保存ホルダ起動ボタン114と、シャッタボタン115と、移動ボタン116と、測量機能ボタン117とに加え、電柱表示OFFボタン118が表示される。電柱表示OFFボタン118については、後述する。
図12は、第2の実施形態の電力設備設置イメージ表示装置の一例を示すブロック図である。電力設備設置イメージ表示装置100aの一例は、電力設備設置イメージ表示アプリをインストールしたスマートフォン、タブレット端末などの端末装置である。
電力設備設置イメージ表示装置100aは、例えば、通信部102と、記憶部120aと、情報処理部130aと、表示部140と、操作部150と、撮像部160と、GNSS受信部170と、加速度センサー180と、ジャイロセンサー190とを備える。
記憶部120aは、例えば、RAM、ROM、HDD、フラッシュメモリ、またはこれらのうち複数が組み合わされたハイブリッド型記憶装置などにより実現される。記憶部120aの一部または全部は、電力設備設置イメージ表示装置100aの一部として設けられる場合に代えて、NASや外部のストレージサーバなど、電力設備設置イメージ表示装置100aのプロセッサがネットワークを介してアクセス可能な外部装置により実現されてもよい。記憶部120aには、情報処理部130aにより実行されるプログラム122aと、電力設備設置イメージ表示アプリなどのアプリ124aとが記憶される。
プログラム122aは、例えば、オペレーティングシステムであり、ユーザやアプリケーションプログラムとハードウェアの中間に位置し、ユーザやアプリケーションプログラムに対して標準的なインターフェースを提供すると同時に、ハードウェアなどの各リソースに対して効率的な管理を行う。
アプリ124aは、電力設備設置イメージ表示装置100aに、電力設備の設置位置を示す情報である設置位置情報を取得させる。アプリ124aは、電力設備設置イメージ表示装置100aに、設置する電力設備の種類を示す情報を取得させる。アプリ124aは、電力設備設置イメージ表示装置100aに、表示部140が表示している特徴点(ここでは、電柱)に基づいて、設置する電力設備のサイズを導出させる。アプリ124aは、電力設備設置イメージ表示装置100aに、設置位置情報と、電力設備のサイズとに基づいて、表示部140に、設置する電力設備を合成して表示させる。
ジャイロセンサー190は、例えば3軸ジャイロセンサーによって構成され、互いに直交する3軸方向の地軸の大きさをそれぞれ計測する。ジャイロセンサー190は、3軸方向の地軸の大きさを表す情報(以下、「ジャイロ情報」という)を情報処理部130aへ入力する。
なお、情報処理部130aの全部または一部は、LSI、ASIC、またはFPGAなどのハードウェアにより実現されてもよく、ソフトウェア機能部とハードウェアとの組み合わせによって実現されてもよい。
情報処理部130aは、例えば、電力設備情報取得部134aと、状態変更部135と、導出部136aと、合成部138aと、情報取得部139と、を備える。
また、情報取得部139は、表示部140の表示画面上のタップが行われた位置を示す情報(以下、「タップ位置情報」という)を取得する。情報取得部139は、取得したタップ位置情報を、導出部136aへ出力する。
電力設備情報取得部134aは、ユーザが操作部150へ、地上機器を新設した後のイメージ画像を表示する操作を行った場合、ユーザが操作部150を操作することによって出力される地上機器の種類を示す情報を取得する。ここで、地上機器の種類を示す情報には、地上機器のサイズを示す情報が含まれる。本実施形態では、地上機器のサイズを示す情報の一例として、地上機器の幅と、高さと、奥行きとの各々の長さを示す情報を適用する場合について説明を続ける。また、電力設備情報取得部134aは、ユーザが操作部150を操作することによって出力される地上機器の正面を示す情報を取得する。電力設備情報取得部134は、取得した地上機器の幅と、高さと、奥行きとの各々の長さを示す情報と、地上機器の正面を示す情報とを、導出部136aへ出力する。
図13は、第2の実施形態の電力設備設置イメージ表示装置の導出部の処理の一例を示す図である。図13には、電力設備設置イメージ表示装置100aが左右にシェイクされた場合に、電力設備設置イメージ表示装置100aと撮像部160が取得する画像に含まれる特徴点の集合によって形成される対象物との間の実際の距離dを求める処理が示される。
導出部136aは、角度αと、角度βとを、ジャイロ情報を用いて導出する。
導出部136aは、導出した角度αと、角度βと、距離Lとに基づいて、三角測量の原理を利用して、式(1)から、電力設備設置イメージ表示装置100aと特徴量FPの実際の位置との間の距離dを導出する。
d=sinα×sinβ×L/sin(α+β) (1)
図13には、電力設備設置イメージ表示装置100aと一つの特徴量FPの実際の位置との間の距離dを導出する場合について示したが、導出部136aは、電力設備設置イメージ表示装置100aの撮像部160が取得する画像に含まれる特徴点の全てについて、距離dを導出する。このように、電力設備設置イメージ表示装置100aと特徴点FPの実際の位置との間の距離dを導出することによって、撮像部160が取得する画像内に存在する対象物の実際のサイズ(大きさ)を把握できる。
導出部136aは、電力設備設置イメージ表示装置100aと電柱200を形成する複数の特徴点FPの各々の距離dに基づいて、電柱200の実際のサイズ(直径)を導出する。導出部136aは、取得した電柱200の実際のサイズ(直径)に基づいて、その電柱200を移設した場合の実際のサイズ(直径、長さ)を導出する。
具体的には、導出部136aは、取得した電柱200の実際のサイズ(直径)と、電力設備情報取得部134aが出力した電柱の長さを示す情報とに基づいて、移設する電柱200の実際のサイズを導出する。電柱の長さに応じて、地上部分の実際の長さと、埋設部分の実際の長さとは予め規定されている。
導出部136aは、導出した移設する電柱200の実際のサイズと、表示部140に表示されている電柱200のサイズとの比などの割合を求め、求めた割合に基づいて、移設する電柱200を、表示部140に表示するときの地上部分の電柱の長さと、埋設部分の電柱の長さと、直径とを導出する。導出部136aは、導出した地上部分の電柱の長さを示す情報と、埋設部分の電柱の長さを示す情報と、電柱の直径を示す情報と、情報取得部139が出力したタップ位置情報とを、合成部138aへ出力する。
さらに、導出部136aは、電力設備情報取得部134aが出力した地上機器の幅と、高さと、奥行きとの各々の長さを示す情報と、地上機器の正面を示す情報とを取得した場合、以下の処理を行う。導出部136aは、導出した新設する地上機器の実際のサイズと、表示部140に表示されている電柱200のサイズとの比などの割合を求め、求めた割合に基づいて、新設する地上機器を、表示部140に表示する地上機器のイメージ画像の幅と、高さと、奥行きとの各々の長さを導出する。導出部136aは、導出した地上機器の幅と、高さと、奥行きとの各々の長さを示す情報と、地上機器の正面を示す情報と、情報取得部139が出力したタップ位置情報とを、合成部138aへ出力する。
さらに、合成部138aは、情報取得部139が出力した住所情報を取得した場合、電柱200および支線300を移設する前の画像に、電柱のイメージ画像を合成するとともに、住所情報を合成する。合成部138aは、合成することによって得られた画像を、表示部140へ出力する。
合成部138aは、合成することによって得られた画像を、表示部140へ出力する。
また、合成部138aは、導出部136aが出力した地上機器の幅と、高さと、奥行きとの各々の長さを示す情報と、地上機器の正面を示す情報と、タップ位置情報とを取得した場合、電柱200および支線300を移設する前の画像に、タップ位置情報によって示される地表の位置を起点として、地上機器の幅と、高さと、奥行きとの各々の長さを示す情報に該当し、かつ地上機器の正面を示す情報に該当する方向を正面とする地上機器のイメージ画像250を合成する。さらに、合成部138aは、情報取得部139が出力した住所情報を取得した場合、電柱を移設する前の画像に、地上機器のイメージ画像250を合成するとともに、住所情報を合成する。合成部138aは、合成することによって得られた画像を、表示部140へ出力する。
また、合成部138aは、状態変更部135が出力した状態変更情報を取得した場合、取得した状態変更情報に基づいて、表示している地上機器のイメージ画像250の状態を変更する。
図14は、第2の実施形態の電力設備設置イメージ表示装置の動作の一例(その1)を示す図である。
図14の左図は、電柱200および支線300を移設する前の画像である。図14の右図は、電柱200および支線300を移設する前の画像に、電柱のイメージ画像を合成した画像である。図14に示される例では、ユーザが、表示部140に表示されている電柱200および支線300を移設する前の画像において、電柱表示切替ボタン229を押した後に、電柱を移設させたい地表部分をタップすることによって、合成部138aは、タップした地表部分を起点とする電柱のイメージ画像を合成する。
図14の左図には、電柱200および支線300を移設する前の画像に、メッセージ「電柱を配置しよう! 地面部分をタッチして、電柱を配置してください」が表示されている。ユーザは、この表示にしたがって、電柱のイメージ画像を配置したい地面部分をタップする。情報取得部139は、そのタップが行われた位置を示すタップ位置情報を取得する。情報取得部139は、取得したタップ位置情報を、導出部136aへ出力する。導出部136aは、電柱200の実際のサイズ(直径)に基づいて、その電柱200を移設した場合の実際のサイズ(直径、長さ)を導出する。導出部136aは、導出した移設する電柱200の実際のサイズと、表示部140に表示されている電柱200のサイズとの割合を求め、求めた割合に基づいて、移設する電柱200を、表示部140に表示するときの地上部分の電柱の長さと、埋設部分の電柱の長さと、直径とを導出する。導出部136aは、導出した地上部分の電柱の長さを示す情報と、埋設部分の電柱の長さを示す情報と、電柱の直径を示す情報と、情報取得部139が出力したタップ位置情報とを、合成部138aへ出力する。
図15の左図は、移設する電柱のイメージ画像を表示した表示画面である。この表示画面には、電柱を移設した後の画像に加えて、電柱表示OFFボタン118が表示されている。
図15の左図の状態で、ユーザが、移動ボタン116を押した場合に、以下の処理が行われる。情報取得部139は、ユーザが移動ボタン116を押すことによって出力される移動を要求することを示す情報を取得し、電柱のイメージ画像の地表部分を、赤色などの目立つ色のマーカ240aで表示する(図15の右図)。ユーザは、電柱のイメージ画像のうち、移動させたい電柱のイメージ画像に表示されているマーカをタップすることなどによって選択する。
図16は、図15の右図において、ユーザが、電柱のイメージ画像の地表部分に目立つ色で表示されたマーカをタップし、さらに、表示画面上で、スワイプすることによって、移動先を指定する。
ユーザが、電柱のイメージ画像の地表部分に目立つ色で表示されたマーカをタップした場合に、情報取得部139は、表示画面上にチェックボタン116aを表示する。ユーザは、表示画面上でスワイプすることで、電柱のイメージ画像の移動先を指定する。ユーザが、電柱のイメージ画像の移動先を指定後、チェックボタン116aを押すことによって、情報取得部139は、電柱のイメージ画像の移動先を示すタップ位置情報を取得する。情報取得部139は、取得したタップ位置情報を、導出部136aへ出力する。導出部136aは、電柱のイメージ画像の地上部分の長さを示す情報と、埋設部分の長さを示す情報と、直径を示す情報と、情報取得部139が出力したタップ位置情報とを、合成部138aへ出力する。
図17は、第2の実施形態の電力設備設置イメージ表示装置の動作の一例(その4)を示す図である。
電柱のイメージ画像が表示されている状態で、ユーザが電柱切替えボタン111を押すことによって、電柱サイズの選択ボタンが表示される。電柱サイズの選択ボタンには、第1の実施形態と同様に、電柱の高さが表示された複数のボタンが含まれる。図17に示される例では、「6.9」が表示された6.9メートルの電柱の電柱選択ボタン111aと、「10」が表示された10メートルの電柱の電柱選択ボタン111bと、「12」が表示された12メートルの電柱の電柱選択ボタン111cと、「14」が表示された14メートルの電柱の電柱選択ボタン111dと、「15」が表示された15メートルの電柱の電柱選択ボタン111eと、「16」が表示された16メートルの電柱の電柱選択ボタン111fとが含まれる。
合成部138aは、導出部136aが出力した地上部分の電柱の長さを示す情報と、埋設部分の電柱の長さを示す情報とを取得した場合、表示されている電柱のイメージ画像の地上部分の高さを、導出部136aが出力した地上部分の電柱の長さを示す情報に該当する高さに変更する。合成部138aは、電柱のイメージ画像の地上部分の高さを変更した画像を、表示部140へ出力する。この結果、表示部140は、電柱のイメージ画像の高さが変更された表示画像を表示する。
図18の左図は、電柱のイメージ画像を表示した状態で、ユーザが、測量機能ボタン117を押した場合に、表示部140に表示される表示画面の一例を示す。表示画面には、メッセージ「測量モード 測量したい部分にポインターを合わせてカメラを動かしてください」が表示されるとともに、表示画面の下部に測量ボタン117a、表示画面の中央にポインター117bが表示される。
ユーザは、二点間を測量する場合、始点にポインター117bを合わせ、測量ボタン117aを押す。これによって、情報取得部139は、測量の始点を示す位置情報を取得する。ユーザは、測量ボタン117aを押した状態で、電力設備設置イメージ表示装置100aを動かし、終点にポインター117bを合わせ、測量ボタン117aを離す。これによって、情報取得部139は、測量の終点を示す位置情報を取得する。情報取得部139は、測量の始点を示す位置情報と、測量の終点を示す位置情報とを、導出部136aへ出力する。
導出部136aは、情報取得部139が出力した測量の始点を示す位置情報と、測量の終点を示す位置情報とに基づいて、その始点とその終点との間の表示画面上における長さを導出する。導出部136aは、表示画面上における長さと、前述した移設する電柱200の実際のサイズと、表示部140に表示されている電柱200のサイズとの比などの割合に基づいて、現実の長さを導出する。導出部136aは、測量の始点を示す位置情報と、測量の終点を示す位置情報と、現実の長さを示す情報とを、合成部138aへ出力する。
図18の右図は、表示部140に表示される測量結果の一例を示す。表示画面には、測量の始点を示す位置と、測量の終点を示す位置とを線分で結び、その線分の近傍に現実の長さを示す情報を表示した画像と、測量OFFボタン117cとが表示されている。
測量OFFボタン117cは、測量結果(測量の始点を示す位置と、測量の終点を示す位置とを線分で結び、その線分の近傍に現実の長さを示す情報を表示したもの)が表示されている状態で、その測量結果を消したいときに押すボタンである。この測量OFFボタン117cが押されることによって、合成部138aは、測量OFFを示す情報を取得し、取得した測量OFFを示す情報に基づいて、電柱を移設する前の画像に、電柱のイメージ画像を合成した画像を、表示部140へ出力する。つまり、合成部138aは、測量OFFを示す情報を取得した場合、測量結果のイメージ画像は合成しない。その結果、測量の始点を示す位置と、測量の終点を示す位置とを線分で結び、その線分の近傍に現実の長さを示す情報を表示した画像が表示されなくなる。
合成部138aは、導出部136aが出力した測量の始点を示す位置情報と、測量の終点を示す位置情報と、現実の長さを示す情報とを取得した場合、表示画像に、測量の始点を示す位置と、測量の終点を示す位置とを線分で結び、その線分の近傍に現実の長さを示す情報を表示した画像を合成する。合成部138aは、合成することによって得られた画像を、表示部140へ出力する。この結果、表示部140は、表示画像に、測量の始点を示す位置と、測量の終点を示す位置とを線分で結び、その線分の近傍に現実の長さを示す情報を表示した画像を表示する。これによって、複数の測量結果を表示できる。
地面配置ボタン211が押されることによって、合成部138aは、地上機器を地面に配置したイメージ画像を表示する。この機能が実行されるためには、電力設備設置イメージ表示装置100aに、地面を認識させる必要がある。
壁配置ボタン212が押されることによって、合成部138aは、地上機器を壁に配置したイメージ画像を表示する。この機能が実行されるためには、電力設備設置イメージ表示装置100aに、壁を認識させる必要がある。
柱配置ボタン213が押されることによって、合成部138aは、地上機器を柱に配置したイメージ画像を表示する。この機能が実行されるためには、電力設備設置イメージ表示装置100aに、柱を認識させる必要がある。
設備削除ボタン214が押されることによって、合成部138aは、表示部140に表示されている地上機器のイメージ画像を削除する。
設備編集ボタン215が押されることによって、合成部138aは、表示されている地上機器の傾き、色を切り替える。
測量ボタン216が押されることによって、情報処理部130aは、表示部140に表示されている対象物の長さを測量する。具体的には、ユーザが、測量ボタン216を押した後に、起点に該当する位置と、終点に該当する位置とにタッチすることによって、情報処理部130aは、起点と終点との間の長さを測量する。合成部138は、測量結果を表示する。
3D2D切替ボタン218が押されることによって、合成部138aは、表示部140に表示されている画像を、二次元と三次元との間で切り替える。具体的には、3D2D切替ボタン218は、表示部140に、3D画像が表示されている場合には、その3D画像に相当する2D画像を生成する。合成部138aは、生成した2D画像を、表示部140に表示する。また、合成部138aは、表示部140に2D画像が表示されている場合には、その2D画像に相当する3D画像を生成する。合成部138aは、生成した3D画像を、表示部140に表示する。
ズームワイドボタン219が押されることによって、合成部138aは、表示部140に表示されている画像を拡大又は縮小する。
ここで、一例として、ユーザが、地面配置ボタン211を押した場合について説明する。ユーザは、地面に地上機器を配置する場合、地面配置ボタン211を押す。これによって、情報取得部139は、地上配置命令を取得し、取得した地上配置命令を、合成部138aに出力する。合成部138aは、情報取得部139が出力した地上配置命令を取得し、取得した地上配置命令に基づいて、図19の真ん中の図に示すように、表示部140の表示画面に、メッセージ「地面を認識してください」を表示する。ユーザは、電力設備設置イメージ表示装置100aを左右にシェイクする。これによって、情報取得部139は、撮像部160が取得する画像に含まれる特徴点のずれ量を示す情報を取得する。さらに、情報取得部139は、加速度センサー180を制御することによって、電力設備設置イメージ表示装置100aがシェイクされることよって生じる加速度情報を取得する。さらに、情報取得部139は、ジャイロセンサー190を制御することによって、電力設備設置イメージ表示装置100aがシェイクされることよって生じるジャイロ情報を取得する。情報取得部139は、取得した特徴点のずれ量を示す情報と、加速度情報と、ジャイロ情報とを、導出部136aへ出力する。
合成部138aは、図19の右図に示すように、表示部140の表示画面に、メッセージ「設備を配置してください」を表示する。ここでは、地上機器のイメージ画像は表示されていない。ユーザは、地上機器を新設したい位置を、タップする。ここで、タップが行われる位置の一例は、表示されている地面のイメージ画像Gの地上機器の新設先の根元部分である。情報取得部139は、表示部140の表示画面上のタップ位置情報を取得する。情報取得部139は、取得したタップ位置情報を、導出部136aへ出力する。
導出部136aは、電力設備設置イメージ表示装置100aと地上機器を形成する複数の特徴点FPの各々の距離dに基づいて、地上機器の実際のサイズを導出する。導出部136aは、取得した地上機器の実際のサイズ(幅、高さ、奥行き)に基づいて、その地上機器を新設した場合の実際のサイズ(幅、高さ、奥行き)を導出する。導出部136は、導出した地上機器を新設した場合の実際のサイズ(幅、高さ、奥行き)と、タップ位置情報とを、合成部138へ出力する。
合成部138は、導出部136が出力した地上機器を新設した場合の実際のサイズ(幅、高さ、奥行き)を示す情報と、タップ位置情報とを取得した場合、表示部140に、タップ位置情報に該当する位置を、地上機器の中心として、地上機器の幅と、高さと、奥行きとの各々の長さを示す情報に該当する地上機器のイメージ画像250を合成する。図19の右図に示される例では、地面のイメージ画像Gに、地上機器のイメージ画像が合成されている。
合成部138aは、図20の左図に示すように、表示部140の表示画面に、メッセージ「配置位置を確定してください」と、チェックボタン211aとを表示する。さらに、合成部138は、地面のイメージ画像に、直交する2軸を表示する。ユーザは、表示画面上をスワイプすることによって、表示画面に表示されている地上機器のイメージ画像を移動させる。ユーザは、地上機器のイメージ画像を配置したい位置へ移動させ、チェックボタン211aを押す。ユーザが、地上機器のイメージ画像を、配置したい位置へ移動させ、チェックボタン211aを押すことによって、情報取得部139は、地上機器のイメージ画像の位置情報を取得する。情報取得部139は、取得した地上機器のイメージ画像の位置情報を、導出部136aに出力する。導出部136aは、情報取得部139が出力した地上機器のイメージ画像の位置情報を取得し、取得した地上機器のイメージ画像の位置情報を保持するとともに、合成部138へ出力する。合成部138aは、導出部136aが出力した地上機器のイメージ画像の位置情報を取得し、取得した地上機器のイメージ画像の位置情報に基づいて、地上機器のイメージ画像の位置を起点として、既に取得している地上機器の幅と、高さと、奥行きとの各々の長さを示す情報に該当する地上機器のイメージ画像250を合成する。つまり、合成部138aは、既に表示している地上機器のイメージ画像を、取得した地上機器のイメージ画像の位置情報に基づいて、その位置を起点とする。
図21は、第2の実施形態の電力設備設置イメージ表示装置の動作の一例を示すフローチャートである。
(ステップS201)
電力設備設置イメージ表示装置100aが左右にシェイクされる。電力設備設置イメージ表示装置100aの情報取得部139は、加速度センサー180を制御することによって、加速度情報を取得する。情報取得部139は、ジャイロセンサー190を制御することによって、角速度情報を取得する。
(ステップS202)
電力設備設置イメージ表示装置100aの導出部136aは、情報取得部139が出力した加速度情報と、角速度情報とに基づいて、地面などの平面を認識する。
(ステップS203)
電力設備設置イメージ表示装置100aの情報取得部139は、タップ位置情報を取得する。
(ステップS204)
電力設備設置イメージ表示装置100aの導出部136aは、情報取得部139が出力したタップ位置情報を取得し、取得したタップ位置情報に基づいて、電柱を移設したイメージ画像を表示することを判定する。
ステップS205からステップS214は、前述したステップS102からステップS111を適用できる。
前述した第2の実施形態の電力設備設置イメージ表示装置によれば、表示部140と、地上機器の設置位置を示す情報である設置位置情報を取得する情報取得部139と、表示部140に表示する地上機器のサイズを導出する導出部136aと、設置位置情報と、地上機器のサイズとに基づいて、表示部140に、地上機器を合成して表示する合成部138aとを備える。このように、地上機器の設置位置を示す情報に基づいて、表示している画面に、地上機器のイメージ画像を合成することによって、拡張現実技術を使用して、地上機器を設置する現場で、地上機器を設置する前の画像に、その地上機器を設置した後の画像を合成した画像を作成できる。
また、導出部136aは、電力設備設置イメージ表示装置100aの動きに基づいて、地上機器のサイズを導出する。このように構成することによって、電力設備設置イメージ表示装置100aをシェイクさせることによって生じる動きに基づいて取得される情報に応じて、地上機器を設置する前の画像に、その地上機器を設置した後の画像を合成した画像を作成できる。
また、地上機器の種類を示す情報を取得する電力設備情報取得部134aを備え、情報取得部139は、電力設備設置イメージ表示装置100aの動きに基づいて、電力設備設置イメージ表示装置100aに生じる加速度を示す情報と、角速度を示す情報とを取得し、導出部136aは、地上機器の種類を示す情報と、加速度を示す情報と、角速度を示す情報とに基づいて、表示部140に表示する地上機器のサイズを導出する。このように構成することによって、電力設備設置イメージ表示装置100aをシェイクさせることによって生じる加速度を示す情報と、角速度を示す情報とに基づいて、地上機器を設置する前の画像に、その地上機器を設置した後の画像を合成した画像を作成できる。
以上、実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組合せを行うことができる。これら実施形態は、発明の範囲や要旨に含まれると同時に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROMなどの可搬媒体のことをいう。また、「コンピュータ読み取り可能な記録媒体」は、コンピュータシステムに内蔵されるハードディスクなどの記憶装置を含む。
また、「コンピュータ読み取り可能な記録媒体」には、サーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよい。また、上記プログラムは、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、上記プログラムは、プログラマブルロジックデバイスを用いて実現されるものであってもよい。プログラマブルロジックデバイスは、例えば、FPGA(Field Programmable Gate Array)である。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリなどをいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
Claims (10)
- 表示部と、
地上機器の設置位置を示す情報である設置位置情報を取得する情報取得部と、
前記表示部に表示する前記地上機器のサイズを導出する導出部と、
前記設置位置情報と、前記地上機器の前記サイズとに基づいて、前記表示部に、前記地上機器を合成して表示する合成部と
を備える、電力設備設置イメージ表示装置。 - 前記導出部は、前記電力設備設置イメージ表示装置の動きに基づいて、前記地上機器の前記サイズを導出する、請求項1に記載の電力設備設置イメージ表示装置。
- 前記地上機器の種類を示す情報を取得する電力設備情報取得部
を備え、
前記情報取得部は、前記電力設備設置イメージ表示装置の動きに基づいて、前記電力設備設置イメージ表示装置に生じる加速度を示す情報と、角速度を示す情報とを取得し、
前記導出部は、前記地上機器の種類を示す情報と、前記加速度を示す情報と、前記角速度を示す情報とに基づいて、前記表示部に表示する前記地上機器の前記サイズを導出する、請求項2に記載の電力設備設置イメージ表示装置。 - 地上機器の設置位置に設置されたマーカを検出する検出部を備え、
前記導出部は、前記検出部が検出した前記マーカに基づいて、前記設置位置情報を導出し、前記マーカに基づいて、設置する前記地上機器のサイズを導出する、請求項1から請求項3のいずれか一項に記載の電力設備設置イメージ表示装置。 - 前記検出部が検出した前記マーカに表されている正面指定図形の向きを判定する判定部を備え、
前記導出部は、前記判定部が判定した前記マーカの画像に表されている前記正面指定図形の向きに基づいて、前記表示部に表示する前記地上機器の向きを導出し、
前記合成部は、前記導出部が導出した前記地上機器の向きにさらに基づいて、前記表示部に、前記地上機器を合成して表示する、請求項4に記載の電力設備設置イメージ表示装置。 - 前記表示部に表示された前記地上機器の状態を変更する情報である状態変更情報を取得する状態変更部
を備え、
前記合成部は、前記状態変更部が取得した前記状態変更情報に基づいて、前記表示部に表示されている前記地上機器の状態を変更する、請求項1から請求項5のいずれか一項に記載の電力設備設置イメージ表示装置。 - 前記状態変更情報には、前記地上機器の扉を開閉することを示す情報が含まれ、
前記合成部は、前記地上機器の前記扉を開閉することを示す情報に基づいて、前記表示部に表示されている前記地上機器の状態を変更する、請求項6に記載の電力設備設置イメージ表示装置。 - 前記状態変更情報には、前記地上機器の傾きを調整することを示す情報が含まれ、
前記合成部は、前記地上機器の前記傾きを調整することを示す情報に基づいて、前記表示部に表示されている前記地上機器の状態を変更する、請求項6又は請求項7に記載の電力設備設置イメージ表示装置。 - 地上機器の設置位置を示す情報である設置位置情報を取得するステップと、
表示部に表示する前記地上機器のサイズを導出するステップと、
前記設置位置情報と、前記地上機器の前記サイズとに基づいて、前記表示部に、前記地上機器を合成して表示するステップと
を有する、電力設備設置イメージ表示装置が実行する電力設備設置イメージ表示方法。 - コンピュータに、
地上機器の設置位置を示す情報である設置位置情報を取得するステップと、
表示部に表示する前記地上機器のサイズを導出するステップと、
前記設置位置情報と、前記地上機器の前記サイズとに基づいて、前記表示部に、前記地上機器を合成して表示するステップと
を実行させる、電力設備設置イメージ表示プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019097434A JP7358778B2 (ja) | 2019-05-24 | 2019-05-24 | 電力設備設置イメージ表示装置、電力設備設置イメージ表示方法および電力設備設置イメージ表示プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019097434A JP7358778B2 (ja) | 2019-05-24 | 2019-05-24 | 電力設備設置イメージ表示装置、電力設備設置イメージ表示方法および電力設備設置イメージ表示プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020191044A true JP2020191044A (ja) | 2020-11-26 |
JP7358778B2 JP7358778B2 (ja) | 2023-10-11 |
Family
ID=73454631
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019097434A Active JP7358778B2 (ja) | 2019-05-24 | 2019-05-24 | 電力設備設置イメージ表示装置、電力設備設置イメージ表示方法および電力設備設置イメージ表示プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7358778B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014149791A (ja) * | 2013-02-04 | 2014-08-21 | Tis Kk | 拡張現実プログラム及び登録プログラム |
JP2016164655A (ja) * | 2015-02-26 | 2016-09-08 | Tepco光ネットワークエンジニアリング株式会社 | インフラ設備の管理システムとその方法ならびにその表示システム、それに用いられるサーバ、端末装置およびプログラム |
-
2019
- 2019-05-24 JP JP2019097434A patent/JP7358778B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014149791A (ja) * | 2013-02-04 | 2014-08-21 | Tis Kk | 拡張現実プログラム及び登録プログラム |
JP2016164655A (ja) * | 2015-02-26 | 2016-09-08 | Tepco光ネットワークエンジニアリング株式会社 | インフラ設備の管理システムとその方法ならびにその表示システム、それに用いられるサーバ、端末装置およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP7358778B2 (ja) | 2023-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11348326B2 (en) | Display control device, display control method, and recording medium | |
US10298839B2 (en) | Image processing apparatus, image processing method, and image communication system | |
KR101295712B1 (ko) | 증강 현실 사용자 인터페이스 제공 장치 및 방법 | |
US6882350B2 (en) | Information processing apparatus, information processing method, program storage medium and program | |
US9319583B2 (en) | Camera device and methods for aiding users in use thereof | |
US9124867B2 (en) | Apparatus and method for displaying images | |
US20170220247A1 (en) | Method and apparatus for providing poi information in portable terminal | |
US9836886B2 (en) | Client terminal and server to determine an overhead view image | |
JP2010118019A (ja) | 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体 | |
KR20120017293A (ko) | 증강 현실 제공 장치 및 방법 | |
CN113692604A (zh) | 用于使用增强现实来显示周围信息的方法和装置 | |
CN105917329B (zh) | 信息显示装置和信息显示程序 | |
JP7135304B2 (ja) | 電柱移設イメージ表示装置、電柱移設イメージ表示方法および電柱移設イメージ表示プログラム | |
CN113805829B (zh) | 导航界面的显示方法、装置、终端、存储介质及程序产品 | |
JP7358778B2 (ja) | 電力設備設置イメージ表示装置、電力設備設置イメージ表示方法および電力設備設置イメージ表示プログラム | |
JP2019095889A (ja) | 拡張現実表示用マーカ | |
JP4403336B2 (ja) | 電子地図表示装置、ナビゲーション装置、記憶媒体、および電子地図表示方法 | |
JP6537189B2 (ja) | 地図表示装置および地図表示方法 | |
US20230409265A1 (en) | Program, mobile terminal control method, mobile terminal, and information processing device | |
JP5853967B2 (ja) | 画像出力装置およびプログラム | |
CN111162840B (zh) | 用于设置光通信装置周围的虚拟对象的方法和系统 | |
KR101605768B1 (ko) | 전자지도 정보 처리를 위한 데이터 처리 장치 및 방법 | |
JP2010028282A (ja) | カメラおよび座標算出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20190612 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220304 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230411 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230609 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230829 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230911 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7358778 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |