JP6867883B2 - Spatial display device and spatial display method - Google Patents
Spatial display device and spatial display method Download PDFInfo
- Publication number
- JP6867883B2 JP6867883B2 JP2017109369A JP2017109369A JP6867883B2 JP 6867883 B2 JP6867883 B2 JP 6867883B2 JP 2017109369 A JP2017109369 A JP 2017109369A JP 2017109369 A JP2017109369 A JP 2017109369A JP 6867883 B2 JP6867883 B2 JP 6867883B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- virtual space
- control unit
- view
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 15
- 238000013461 design Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 21
- 238000012545 processing Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 230000006870 function Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 3
- 238000011960 computer-aided design Methods 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 239000012530 fluid Substances 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本発明は、空間表示装置、および、空間表示方法に関する。 The present invention relates to a spatial display device and a spatial display method.
プラントなどの構造物をコンピュータが表示するときに、三次元の立体的な形状データとして表示させるシステムが提案されている。これにより、プラントを所望の視点位置から眺めることができ、監視業務や設計業務に活用することができる。一方、三次元の表示データだけでなく、数値データなどの他のデータも併せて表示することにより、プラントで行われる各種業務の詳細な情報も把握させることができる。 A system has been proposed in which when a computer displays a structure such as a plant, it is displayed as three-dimensional three-dimensional shape data. As a result, the plant can be viewed from a desired viewpoint position, and can be utilized for monitoring work and design work. On the other hand, by displaying not only the three-dimensional display data but also other data such as numerical data, it is possible to grasp detailed information of various operations performed in the plant.
特許文献1には、プラントの監視制御装置において、視点から見た構造物の三次元表示データ上で、計測器が示す運転状態データを二次元シンボルで表示させていることが記載されている。
特許文献2には、3次元モデルの所定の視点位置から2次元画像を生成することが記載されている。
特許文献3には、2次元CAD(Computer-Aided Design)の機器図面シンボルデータと3次元CADの機器モデルデータを用いて、プラントのレイアウト設計を支援することが記載されている。
特許文献4には、プラントの監視盤表示にて三次元モデルを三次元空間内の所定位置に配置し、レンダリング処理によって二次元座標系に変換することが記載されている。
特許文献5には、建築設計支援にて3Dモデルに基づき、任意の視点からの2次元図を演算し生成することが記載されている。
Patent Document 4 describes that a three-dimensional model is arranged at a predetermined position in a three-dimensional space on a monitoring board display of a plant and converted into a two-dimensional coordinate system by a rendering process.
Patent Document 5 describes that a two-dimensional diagram from an arbitrary viewpoint is calculated and generated based on a 3D model with architectural design support.
HMD(Head Mounted Display)やGPU(Graphics Processing Unit)の性能向上に伴い、仮想現実(VR:Virtual Reality)技術が徐々に普及している。HMDを装着したユーザには、目の前にあたかもプラントが存在しているかのような体験を得ることができる。よって、三次元表示データを従来の平面型ディスプレイに表示させるだけでなく、VRとして仮想空間でプラントの内部にいるような表示方法も、プラントの各種業務に活用することが望まれる。 With the improvement of the performance of HMD (Head Mounted Display) and GPU (Graphics Processing Unit), virtual reality (VR) technology is gradually becoming widespread. The user wearing the HMD can get the experience as if the plant exists in front of him. Therefore, it is desired that not only the three-dimensional display data is displayed on the conventional flat display, but also the display method of being inside the plant in virtual space as VR is utilized for various operations of the plant.
なお、VRでの一人称視点の表示は、HMDを装着したユーザの頭部と密接に連動しており、例えばユーザが左側を向くと、表示内容もカメラの視界が左を向いたものへと、リアルタイムに変動する。このようなユーザと一体的な表示装置においては、臨場感を高める効果があると同時に、現在の視野から見づらい部品も存在する。 The display of the first-person view in VR is closely linked to the head of the user wearing the HMD. For example, when the user turns to the left, the display content also changes to the one in which the camera's field of view faces to the left. It fluctuates in real time. Such a display device integrated with the user has the effect of enhancing the sense of presence, and at the same time, there are some parts that are difficult to see from the current field of view.
例えば、仮想空間内での現在のカメラ位置から遠い部品については、画面内で小さく表示されてしまい、見づらくなる。また、カメラの正面から大きく外れた角度に存在する部品も、画面内で歪んで表示されてしまう。しかし、プラント内での作業を行う上で、目の前の見やすい部品だけで無く、空間を全体的に把握する必要がある。 For example, a part far from the current camera position in the virtual space is displayed small on the screen, making it difficult to see. In addition, parts that exist at an angle that is far from the front of the camera are also distorted and displayed on the screen. However, when working in the plant, it is necessary to grasp not only the parts that are easy to see in front of you, but also the space as a whole.
そこで、本発明は、仮想空間内を立体的に表示させるときに、現在の視野から見づらい部分についても適切に表示させることを、主な課題とする。 Therefore, the main object of the present invention is to appropriately display a portion that is difficult to see from the current field of view when displaying the inside of the virtual space in three dimensions.
前記課題を解決するために、本発明の空間表示装置は、以下の特徴を有する。
仮想空間に表示される立体形状データは、その構成要素である部品ごとに検索キーとなる識別情報が定義されており、
本発明は、所定のカメラ視野から視認した前記立体形状データを仮想空間として表示するとともに、前記所定のカメラ視野の更新に連動して仮想空間の表示内容も更新する画面制御部と、
前記所定のカメラ視野からの視認が良好な仮想空間内の第1領域と、その第1領域以外の領域である仮想空間内の第2領域とに区分しておき、仮想空間内に配置する各部品について、前記第1領域内に位置する部品の表示形態と、前記第2領域内に位置する部品の表示形態とを異なる形態とする部品表示制御部と、を有し、
前記画面制御部は、入力された検索キーに合致する部品を前記立体形状データから検索し、その検索結果である部品を視認させるように前記所定のカメラ視野を変更することを特徴とする。
その他の手段は、後記する。
In order to solve the above problems, the spatial display device of the present invention has the following features.
The three-dimensional shape data displayed in the virtual space has identification information that serves as a search key defined for each component that is a component of the three-dimensional shape data.
The present invention, the three-dimensional shape data viewed from a given camera view and displays a virtual space, and a screen control unit also update the display contents of the virtual space in conjunction with the updating of the predetermined camera view,
Each of the first area in the virtual space having good visibility from the predetermined camera field of view and the second area in the virtual space other than the first area are divided and arranged in the virtual space. for parts, it possesses a display form of the components located in the first area, and the part display control unit to display form and the different forms of components located in the second region, and
The screen control unit searches for a component that matches the input search key from the three-dimensional shape data, and changes the predetermined camera field of view so that the component that is the search result can be visually recognized.
Other means will be described later.
本発明によれば、仮想空間内を立体的に表示させるときに、現在の視野から見づらい部分についても適切に表示させることができる。 According to the present invention, when the virtual space is displayed three-dimensionally, it is possible to appropriately display a portion that is difficult to see from the current field of view.
以下、本発明の一実施形態を、図面を参照して詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
図1は、空間表示システムの外観図である。空間表示システムは、空間表示装置2に対して、周辺機器としてキーボード11と、マウス12と、コントローラ13と、HMD14と、表示装置15とがそれぞれ接続されて構成される。
空間表示装置2は、CPU(Central Processing Unit)と、メモリと、ハードディスクなどの記憶手段(記憶部)と、ネットワークインタフェースとを有するコンピュータとして構成される。
このコンピュータは、CPUが、メモリ上に読み込んだプログラム(アプリケーションや、その略のアプリとも呼ばれる)を実行することにより、各処理部により構成される制御部(制御手段)を動作させる。
FIG. 1 is an external view of a spatial display system. The spatial display system is configured by connecting a
The
In this computer, the CPU operates a control unit (control means) composed of each processing unit by executing a program (also called an application or an abbreviation for application) read in the memory.
頭部にHMD14を装着したユーザは、手元のコントローラ13を用いて、空間表示装置2が生成した仮想空間内を探索する。仮想空間の表示画面は、表示装置15に表示されるとともに、両眼表示の立体視画像としてHMD14にも表示される。図示しないアナログスティックを傾けるなどのコントローラ13の操作により、仮想空間内の現在のカメラ視点位置を移動可能である。また、ユーザの顔の向きを変えることでHMD14の姿勢が変更されると、その姿勢データを反映して、仮想空間内の現在のカメラ視野角度を変更可能である。
The user wearing the HMD 14 on the head searches in the virtual space generated by the
さらに、ユーザは、手元のキーボード11と、マウス12とを操作することにより、文字データなどの各種入力データを空間表示装置2に入力することができる。空間表示装置2は、例えば、特定の部品が指定された入力データを受け付けると、表示中の仮想空間内の特定の部品を強調するなどして、入力データを表示内容に反映させる。
Further, the user can input various input data such as character data to the
このように、ユーザは、HMD14を中心とした各種の空間表示システムを使用することにより、あたかも自分が仮想空間内を探索するような体験を得ることができる。このような直観的な体験を行う適用分野として、例えば、仮想空間内に形成されたプラント設備に対する各種訓練(建設訓練・運転訓練・保守訓練・廃止措置訓練)を行うための各種計画が挙げられる。 In this way, the user can obtain an experience as if he / she searches in the virtual space by using various spatial display systems centered on the HMD14. Examples of application fields for such intuitive experiences include various plans for conducting various trainings (construction training, operation training, maintenance training, decommissioning training) for plant equipment formed in a virtual space. ..
図2は、空間表示装置2の構成図である。
空間表示装置2は、各種処理部(画面制御部21と、部品置換部22と、接続強調部23)と、その処理部が扱うデータを管理するデータベース3とを有する。データベース3においては、設計3Dモデル31と、置換後3Dモデル32と、系統図データ33と、接続後3Dモデル34と、付加データ35とが対応付けて格納されている。なお、図2では、データ間の対応関係の内の主要な対応関係を示す矢印を示す。
FIG. 2 is a configuration diagram of the
The
図3は、設計3Dモデル31と系統図データ33との詳細を説明する図である。
設計3Dモデル31は、プラントなどの仮想空間内に配置される立体形状の位置や大きさを、部品ごとに管理するデータ構造である。図3では、プラント設備としてのポンプ形状F02と、バルブ形状F04とが、配管形状F01,F03,F05で接続されている例を示している。
系統図データ33は、設計3Dモデル31が示すプラントなどの立体形状を機能的接続関係に着目して簡略化した平面図である。系統図データ33は、P&ID(Process and Instrumentation Diagram)などの標準的な図面を用いてもよい。図3では、ポンプ形状F02を示すポンプシンボルP001と、バルブ形状F04を示すバルブシンボルV001と、配管形状F01を示す配管線L001−1と、配管形状F03を示す配管線L001−2と、配管形状F05を示す配管線L001−3とが記載されている。
このように、設計3Dモデル31の各立体形状のIDと、系統図データ33の各シンボル(配管線含む)のIDとは対応づけられている。この対応付けは、事前に管理者などが準備しておく。
FIG. 3 is a diagram illustrating details of the
The
The
In this way, the ID of each three-dimensional shape of the
なお、系統図データ33はプラント機能を実現する設備の種類と、その設備間の機能的接続関係が表現されればよいので、設計3Dモデル31の実際のレイアウトよりも簡略化されていることが多い。例えば、配管線L001−1を直線とし、対応先の配管形状F01も直線型の配管として図3で例示したのは、あくまで説明をわかりやすくするためである。一方、実際にプラント内に配備される配管形状は、何度もカーブしたり、様々な方向に向かったりするように多様である。
It should be noted that the
図2に戻って、部品置換部22は、設計3Dモデル31のうちの現在のユーザのカメラ位置姿勢からは見づらい箇所について、系統図データ33で使用されるシンボルに置き換えた置換後3Dモデル32を生成する。
また、接続強調部23は、系統図データ33で定義されている機能的接続関係をもとに、設計3Dモデル31のうちの接続される一連の立体形状を強調した接続後3Dモデル34を作成する。
さらに、付加データ35は、プラント作業者であるユーザについての職種情報や、作業スキル情報や、作業履歴情報などである。これらの付加データ35は、仮想空間の表示内容をプラント作業者ごとに個別化(特化)したものにするために参照される。
Returning to FIG. 2, the
Further, the
Further, the
そして、画面制御部21は、プラントの立体形状を示す設計3Dモデル31をそのまま仮想空間として表示するだけでなく、置換後3Dモデル32、接続後3Dモデル34、付加データ35付きの設計3Dモデル31などの様々なデータ加工を行った仮想空間を表示する。これにより、プラント作業者は、プラント空間を単に探索する体験だけでなく、実際にプラント内部での作業を行うときに役立つ体験を得ることができる。
Then, the
図4は、空間表示システムの表示処理を示すフローチャートである。
S11として、画面制御部21は、キーボード11の文字入力操作や、マウス12のリスト選択操作を介して、作業内容を示すデータの入力を受け付ける。作業内容とは、例えば、設計3Dモデル31のうちのどのエリアやどの部屋で作業が行われるかを示す作業場所の情報や、付加データ35のうちのどのプラント作業者が作業を行うかを示す作業者の情報である。
ここで入力された作業場所の情報(点検対象となる部屋など)は、その作業場所に含まれる3次元オブジェクトを設計3Dモデル31から表示対象として抽出するために、用いられる。
S12として、画面制御部21は、S11で受け付けた作業場所における仮想空間内でのカメラ視野データの入力を受け付ける。図1で説明したように、コントローラ13の操作がカメラ視点位置の移動に対応し、HMD14の操作がカメラ視野角度の変更に対応し、カメラ視野データはこの両方のデータの組み合わせで定義される。
FIG. 4 is a flowchart showing the display processing of the spatial display system.
As S11, the
The work place information (room to be inspected, etc.) input here is used to extract the three-dimensional object included in the work place from the
As S12, the
S21として、部品置換部22は、S11の作業場所におけるS12のカメラ視野データから見た仮想空間内の各部品について、見づらい部品が存在するか否かを判定する。S21でYesならS23に進み、NoならS22に進む。
S22として、画面制御部21は、S11の作業場所におけるS12のカメラ視野データから見た仮想空間内の設計3Dモデル31を、HMD14および表示装置15に表示する。これにより、作業者はあたかも自分がプラントの内部に立っているように感じることができる。
As S21, the
As S22, the
S23として、部品置換部22は、見づらい部品については、図3で例示したように、立体形状をシンボルや配管線、「ポンプ」などの文字データなどの簡易表示に置き換えた置換後3Dモデル32を作成する。なお、見やすい部品については、ポリゴンなどで示された立体形状を変更(置換)しなくてもよい。
この作成された置換後3Dモデル32は、S22の設計3Dモデル31の代わりに表示される。これにより、作業者は現時点のカメラ視野では見づらい部品も、容易に把握することができる。
As S23, the
The created
S31として、接続強調部23は、S11で受け付けた作業内容により、S22の設計3Dモデル31またはS23の置換後3Dモデル32について、機能的接続関係を強調するか否かを判定する。例えば、表示中のある部品がマウス12で選択された場合には、その選択された部品との機能的接続関係を有する他の部品も強調する必要があるとする。S31でYesならS32に進み、NoならS12に戻る。
S32として、接続強調部23は、系統図データ33で定義されている機能的接続関係をもとに、接続される一連の立体形状を強調した接続後3Dモデル34を作成する。
この作成された接続後3Dモデル34は、S22の設計3Dモデル31またはS23の置換後3Dモデル32に上書き表示される。これにより、作業者は実際にプラント内部での作業を行うときに役立つ箇所を、作業に関係ない箇所と区別して把握することができる。そして、処理をS12に戻す。このようにS12に戻ってループ処理を行うことで、随時ユーザの操作によりカメラ視野データが変更されるとともに、その変更後のカメラ視野データに適合する表示内容へとリアルタイムに更新される。
As S31, the
As S32, the
The created
なお、図4で説明した各処理の履歴データは、時系列のログファイルとして付加データ35に保存してもよい。これにより、「作業とは関係ない通路に迂回してしまった、あるバルブを閉める作業に手間取った」などのHMD14を装着したときの仮想空間内での各操作を、HMD14を外した後にユーザに反省させ、作業の改善を促すことができる。
The history data of each process described with reference to FIG. 4 may be stored in the
図5は、仮想空間を頭上から見たときの平面図である。まず、カメラ視野角度について説明する。
HMD14を装着したユーザからは、矢印LCで示した正面の方向はよく見える。矢印LCを中央とした矢印LLI〜矢印LRIの範囲は、ビューポート(図6のVP)と呼ばれ、比較的見やすい視野である。一方、ビューポートの外側として、矢印LLO〜矢印LLIの左外側範囲ALOと、矢印LRI〜矢印LROの右外側範囲AROとは、それぞれ画面表示されるものの、正面から大きく外れており、部品形状が歪むなど見づらい視野である。
FIG. 5 is a plan view of the virtual space when viewed from above. First, the camera viewing angle will be described.
The user wearing the
さらに、部品の見やすさは、カメラ視野角度だけでなく、ユーザ位置(カメラ位置)から部品までの仮想空間における距離にも影響される。ビューポートの内側であっても、基準距離Dより遠くの領域(ALF,ARF)に位置する部品は、遠近法で小さく写ることにより、部品形状が見づらくなってしまう。なお、基準距離Dはユーザが任意のタイミングで変更することができる。
よって、カメラ視野からの視認が良好な第1領域は、ビューポートの内側で、かつ、基準距離Dより近くの領域(ALN,ARN)である。一方、第1領域以外の領域を第2領域とすると、その第2領域は、ビューポートの外側領域(ALO,ARO)および遠距離領域(ALF,ARF)のうちの片方または両方である。
つまり、図4のS21の見づらい部品とは第2領域に位置する部品である。
Further, the visibility of the component is affected not only by the viewing angle of the camera but also by the distance from the user position (camera position) to the component in the virtual space. Even inside the viewport, parts located in regions farther than the reference distance D (ALF, ARF) appear small in perspective, making it difficult to see the shape of the parts. The reference distance D can be changed by the user at any time.
Therefore, the first region with good visibility from the camera field of view is the region (ALN, ARN) inside the viewport and closer than the reference distance D. On the other hand, if the region other than the first region is the second region, the second region is one or both of the outer region (ALO, ARO) and the long distance region (ALF, ARF) of the viewport.
That is, the hard-to-see part of S21 in FIG. 4 is a part located in the second region.
図6は、図5のビューポートを3D空間で説明したときの図である。
ビューポートVPは、矢印LCを中心とし、その周囲の矢印LLI〜矢印LRIの境界位置までの平面として定義される。そして、このビューポートVPの平面を底面とし、目の位置を頂点とする四角錐の空間内(図5ではALN,ARN)が部品が見やすい範囲となる。
FIG. 6 is a diagram showing the viewport of FIG. 5 in 3D space.
The viewport VP is defined as a plane centered on the arrow LC and around the arrow LLI to the boundary position of the arrow LRI. Then, the space of the quadrangular pyramid (ALN, ARN in FIG. 5) having the plane of the viewport VP as the bottom surface and the eye position as the apex is the range in which the parts can be easily seen.
以下、図7〜図10を参照して、第1プラントの具体例を表示するときの各種処理について説明する。
図7は、第1プラントの仮想空間を頭上から見たときの平面図である。この第1プラントには、以下の各部品が配置されている。
・機器106
・バルブ102,108
・配管101,103,104,105,107,109
そして、作業者は、バルブ102の手前側に立ち、機器106の方を向いて仮想空間を眺めているとする。
Hereinafter, various processes for displaying a specific example of the first plant will be described with reference to FIGS. 7 to 10.
FIG. 7 is a plan view of the virtual space of the first plant when viewed from above. The following parts are arranged in this first plant.
・
-
-Piping 101, 103, 104, 105, 107, 109
Then, it is assumed that the worker stands in front of the
図8は、図7の第1プラントの仮想空間をHMD14から立体的に見たときの設計3Dモデル31の画面図である。図7で示した各部品101〜109が立体的に配置されている。ここで、手前側のバルブ102は、カメラ位置からの距離が基準距離Dより近くに位置するので、大きく表示されて見やすい。一方、奥側のバルブ108は、カメラ位置からの距離が基準距離Dより遠く、かつ、ビューポートVPの外側に位置するので、小さく表示されて見づらくなってしまっている。具体的には、バルブ108のハンドル108aがその手前の配管107の陰に隠れてしまい、バルブ108であること自体をユーザが認識できない状況である。
FIG. 8 is a screen view of the
図9は、図8の画面図に対し、部品置換部22が設計3Dモデル31から置換後3Dモデル32に置き換えた画面図である。つまり、図9は前記したS23で表示される画面図である。
部品置換部22は、図8の各部品のうち、ビューポートVPの外側に位置する以下の部品を、見づらい部品として系統図データ33のシンボルや配管線に置き換える。
・バルブ108x
・配管101x,103x,105x,107x,109x
一方、残りの部品は、図8に記載したとおりの立体形状として残したままである。これにより、見づらい物体の視認性を向上させることができる。
FIG. 9 is a screen view in which the
The
・
-
On the other hand, the remaining parts are left as the three-dimensional shape as shown in FIG. This makes it possible to improve the visibility of an object that is difficult to see.
図10は、画面制御部21が図9の画面図をHMD14に立体視表示させた例である。画面制御部21は、左目画像14Lと右目画像14Rとで、それぞれ視野をずらすことで、視差を利用してプラント部品の立体視を形成する。
FIG. 10 is an example in which the
以下、図11〜図14を参照して、第2プラントの具体例を表示するときの各種処理について説明する。
図11は、第2プラントの仮想空間を頭上から見たときの平面図である。この第2プラントには、以下の各部品が配置されている。
・タンク203,204
・配管201,202,205,206,207
そして、作業者は、配管202の手前側に立ち、タンク203,204の方を向いて仮想空間を眺めているとする。
Hereinafter, various processes for displaying a specific example of the second plant will be described with reference to FIGS. 11 to 14.
FIG. 11 is a plan view of the virtual space of the second plant when viewed from above. The following parts are arranged in this second plant.
・
-Piping 201, 202, 205, 206, 207
Then, it is assumed that the worker stands in front of the
図12は、図11の第2プラントの仮想空間をHMD14から立体的に見たときの設計3Dモデル31の画面図である。図11で示した各部品201〜207が立体的に配置されている。さらに、配管206の途中にはバルブ206aが備えられ、配管207の途中にはバルブ207aが備えられている。
FIG. 12 is a screen view of the
図13は、図12の画面図に対し、部品置換部22が設計3Dモデル31から置換後3Dモデル32に置き換えた画面図である。つまり、図13は前記したS23で表示される画面図である。
ここでは、部品置換部22は、配管206,207のうちのビューポートVPの外部に位置する部分を配管線206x,207xに置き換える。さらに、バルブ206a,207aもビューポートVPの外部に位置するため、部品置換部22は、バルブシンボル206y,207yに置き換える。
FIG. 13 is a screen view in which the
Here, the
また、付加データ35によると、バルブ207aの計測温度が高温になっていたとする。そこで、部品置換部22は、付加データ35を表示画面に反映させるために、例えば、高温注意の表示207zを付加することで、ユーザに注意を促す。
なお、画面制御部21は、高温注意の表示207zだけでなく、危険のある部品と周囲の温度・線量・音量等の空間分布情報を、付加データ35から読み込んで、高温/高圧/高線量等の注意情報として設計3Dモデル31の仮想空間内に重畳表示してもよい。これにより、作業場での注意を要する空間範囲を可視化することができる。
Further, according to the
The
図14は、図13の画面図に対し、ユーザが行う各種操作を表示画面に反映させたときの画面図である。
まず、図13の高温注意の表示207zを見たユーザは、その対象であるバルブシンボル207yをマウスポインタ210でクリックしたとする。その場合、接続強調部23は、クリックされたバルブシンボル207yを起点として、その起点の部品と機能的接続関係を有する周囲の部品を系統図データ33から取得する。ここでは、バルブ207aが装着されている配管207に加え、その配管207の接続先であるタンク203,204が取得されたとする。
そして、接続強調部23は、取得された各部品の強調結果として、クリックされたバルブシンボル207yと、強調配管線207xp、207ypと、強調配管207pと、強調タンク203p,204pとを接続後3Dモデル34として表示する。これにより、ユーザが点検対象などで注意を要する接続部品を容易に把握することができる。ここでの点検作業とは、例えば、ある配管を流れる流体に着目し、その上流から下流までを順に辿って、流体に漏れが無いかを確認する作業である。
FIG. 14 is a screen view when various operations performed by the user are reflected on the display screen with respect to the screen view of FIG. 13.
First, it is assumed that the user who sees the high
Then, as a result of emphasizing the acquired parts, the
また、接続強調部23は、機能的接続関係のある部品集合を強調するだけでなく、機能的接続関係の有無にかかわらず、一連の作業対象となる部品集合も強調表示してもよい。これにより、プラント内の各地に点在するバルブだけを対象とした点検作業など、作業対象となる部品集合を他の部品と区別して把握しやすくなる。
さらに、接続強調部23は、強調対象の部品集合として、部屋などの閉じられた空間における全ての作業対象となる部品を選択してもよい。これにより、部屋の端などで目立たない部品も把握させることができる。
Further, the
Further, the
また、空間表示システムでは、プラントの部品を表示するだけでなく、プラントの部品に対してユーザがあたかもその現場で操作をしているかのような体験を得ることもできる。例えば、クリックされたバルブシンボル207yに対して、コントローラ13のアナログスティックを旋回させる操作を入力することにより、バルブの開閉操作を実施し、その結果を画面に反映させることができる(符号207q)。このように、操作対象の部品を選択してから操作させることにより、遠隔地から効率的にプラントの状態を確認したり変更したりできる。
In addition, the spatial display system not only displays the parts of the plant, but also gives the user the experience of operating the parts of the plant as if they were operating at the site. For example, by inputting an operation of turning the analog stick of the
図15は、プラント部品の検索画面例である。表示装置15には、キーボード11からの文字入力を受け付けるテキストフィールド301と、マウス12のクリックを受け付ける検索ボタン302が用意されている。ユーザは、検索したい機器、配管部品などのID、名称などをテキストフィールド301に入力した後、検索ボタン302をクリックする。
画面制御部21は、テキストフィールド301に入力された検索キーを設計3Dモデル31から検索し、該当する部品303にカメラ視野をフォーカスし、部品303の輪郭を強調表示する。これにより、ユーザは、仮想空間内を探し回らなくても、即座に所望の部品303を参照することができる。
FIG. 15 is an example of a search screen for plant parts. The
The
図16は、図15の検索画面の実写表示例である。設計3Dモデル31には、あらかじめ仮想空間のポリゴンデータと、現実空間(実写空間)で撮影されたデータとを対応付けておく。そして、画面制御部21は、図15の検索結果に該当する部品303の実写データが存在するときには、仮想空間のポリゴンデータに換えて、実写データを表示させてもよい。また、画面制御部21は、検索結果に限らず、仮想空間で実写データが存在する領域については、設計3Dモデル31として実写データを表示させてもよい。
さらに、部品置換部22は、S21で見づらい部品と判定された部品に対して、シンボルデータ304x、305xを上書きする置換後3Dモデル32を作成してもよい。
これにより、ポリゴンデータよりも臨場感のある実写データを参照させることで、ユーザは現場で作業するときの雰囲気をより具体的に体感することができる。
FIG. 16 is an example of a live-action display of the search screen of FIG. In the
Further, the
As a result, the user can experience the atmosphere when working in the field more concretely by referring to the live-action data having a more realistic feeling than the polygon data.
以上説明した本実施形態では、図5に示したように、あらかじめ現在のカメラ視野から見やすい領域と、見づらい領域とをあらかじめ定義しておく。そして、部品置換部22は、設計3Dモデル31のうちの見づらい領域の部品については系統図データ33のシンボルなどの簡易的な図形に置き換えて置換後3Dモデル32として表示する。
これにより、見やすい領域のポリゴンの立体形状は残しつつ、現在の視野から見づらい領域についてもユーザに何が存在するかを適切に把握させることができる。また、簡易的な図形は描画コストが少なくて済むので、1画面上に多くの部品を描画できたり、描画回数(フレームレート)を向上させたりすることで、VR体験の質を高めることができる。
In the present embodiment described above, as shown in FIG. 5, a region that is easy to see from the current camera field of view and a region that is difficult to see are defined in advance. Then, the
This makes it possible for the user to appropriately grasp what exists even in an area that is difficult to see from the current field of view, while retaining the three-dimensional shape of the polygon in the area that is easy to see. In addition, since the drawing cost of a simple figure is low, the quality of the VR experience can be improved by drawing many parts on one screen and improving the number of drawing times (frame rate). ..
さらに、本実施形態では、図14に示したように、ある部品に着目すると、接続強調部23は、その部品と接続関係を有する周囲の部品を強調表示するための接続後3Dモデル34を作成する。この接続関係は、事前に系統図データ33で定義された機能的接続関係である。これにより、複数の配管が空間内を複雑に走査して立体的な認識が困難な状況であっても、作業者は、作業対象となる部品群や要注意の部品群を強調表示から適切に読み取ることができる。
Further, in the present embodiment, as shown in FIG. 14, focusing on a certain component, the
なお、前記の部品置換部22や接続強調部23による設計3Dモデル31のデータ加工処理は、空間表示装置2が情報処理として計算するものなので、専門家にデータ加工作業を委託する必要がなくなる。
以上により、単に仮想空間の内部を歩くVR体験では無く、仮想空間の内部で各種作業を行うのに役立つVR体験を得ることができる。これにより、空間表示システムで充分な事前体験を得たユーザは、その後の実際のプラント建設・運転・保守・廃止措置の各工程を円滑に実施できることが期待される。
Since the data processing of the
From the above, it is possible to obtain a VR experience that is useful for performing various tasks inside the virtual space, not simply a VR experience that walks inside the virtual space. As a result, it is expected that the user who has obtained sufficient prior experience with the spatial display system can smoothly carry out each process of actual plant construction, operation, maintenance, and decommissioning thereafter.
なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations.
Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration. Further, each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit.
Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function.
各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、SSD(Solid State Drive)などの記録装置、または、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)などの記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
さらに、各装置を繋ぐ通信手段は、無線LANに限定せず、有線LANやその他の通信手段に変更してもよい。
Information such as programs, tables, and files that realize each function can be stored in memory, hard disks, recording devices such as SSDs (Solid State Drives), IC (Integrated Circuit) cards, SD cards, DVDs (Digital Versatile Discs), etc. Can be placed on the recording medium of.
In addition, the control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all the control lines and information lines in the product. In practice, it can be considered that almost all configurations are interconnected.
Further, the communication means for connecting each device is not limited to the wireless LAN, and may be changed to a wired LAN or other communication means.
2 空間表示装置
11 キーボード
12 マウス
13 コントローラ
14 HMD
15 表示装置
21 画面制御部
22 部品置換部(部品表示制御部)
23 接続強調部(接続表示制御部)
3 データベース
31 設計3Dモデル
32 置換後3Dモデル
33 系統図データ
34 接続後3Dモデル
35 付加データ
2
15
23 Connection emphasis section (connection display control section)
3
Claims (7)
所定のカメラ視野から視認した前記立体形状データを仮想空間として表示するとともに、前記所定のカメラ視野の更新に連動して仮想空間の表示内容も更新する画面制御部と、
前記所定のカメラ視野からの視認が良好な仮想空間内の第1領域と、その第1領域以外の領域である仮想空間内の第2領域とに区分しておき、仮想空間内に配置する各部品について、前記第1領域内に位置する部品の表示形態と、前記第2領域内に位置する部品の表示形態とを異なる形態とする部品表示制御部と、を有し、
前記画面制御部は、入力された検索キーに合致する部品を前記立体形状データから検索し、その検索結果である部品を視認させるように前記所定のカメラ視野を変更することを特徴とする
空間表示装置。 The three-dimensional shape data displayed in the virtual space has identification information that serves as a search key defined for each component that is a component of the three-dimensional shape data.
The three-dimensional shape data viewed from a given camera view and displays a virtual space, and a screen control unit also update the display contents of the virtual space in conjunction with the updating of the predetermined camera view,
Each of the first area in the virtual space having good visibility from the predetermined camera field of view and the second area in the virtual space other than the first area are divided and arranged in the virtual space. for parts, it possesses a display form of the components located in the first area, and the part display control unit to display form and the different forms of components located in the second region, and
The screen control unit searches for a component that matches the input search key from the three-dimensional shape data, and changes the predetermined camera field of view so that the component that is the search result can be visually recognized. apparatus.
請求項1に記載の空間表示装置。 The component display control unit defines a region in which the distance from the camera position, which is the starting point of the predetermined camera field of view, is shorter than the predetermined distance as the first region, and the region in the virtual space where the distance is longer than the predetermined distance is the first region. The spatial display device according to claim 1, wherein the spatial display device has two regions.
請求項1に記載の空間表示装置。 The component display control unit forms a viewport in which the direction of the camera in the predetermined camera field of view is within a range of a predetermined angle from the front direction, and the range of the viewport is defined as the first region of the viewport. The spatial display device according to claim 1, wherein the area outside the range is the second area.
請求項1ないし請求項3のいずれか1項に記載の空間表示装置。 The screen control unit is any of claims 1 to 3, wherein when a component located in the virtual space is selected, the operation content for the selected component is reflected in the display content of the virtual space. The spatial display device according to item 1.
請求項1ないし請求項3のいずれか1項に記載の空間表示装置。 The method according to any one of claims 1 to 3, wherein the screen control unit displays spatial distribution information of elements existing in the virtual space as additional data to be displayed in the virtual space. Spatial display device.
前記空間表示装置は、さらに、所定の部品が選択されると、所定の部品に加え、その部品と接続関係を有する他の部品集合を強調表示する接続表示制御部を有することを特徴とする
請求項1ないし請求項3のいずれか1項に記載の空間表示装置。 The three-dimensional shape data displayed in the virtual space has a connection relationship with other parts defined for each component that is a component thereof.
The space display device further includes a connection display control unit that highlights, in addition to the predetermined component, another set of components having a connection relationship with the predetermined component when a predetermined component is selected. The spatial display device according to any one of items 1 to 3.
空間表示装置は、画面制御部と、部品表示制御部とを有しており、
前記画面制御部は、所定のカメラ視野から視認した前記立体形状データを仮想空間として表示するとともに、前記所定のカメラ視野の更新に連動して仮想空間の表示内容も更新し、
前記部品表示制御部は、前記所定のカメラ視野からの視認が良好な仮想空間内の第1領域と、その第1領域以外の領域である仮想空間内の第2領域とに区分しておき、仮想空間内に配置する各部品について、前記第1領域内に位置する部品の表示形態と、前記第2領域内に位置する部品の表示形態とを異なる形態とし、
前記画面制御部は、入力された検索キーに合致する部品を前記立体形状データから検索し、その検索結果である部品を視認させるように前記所定のカメラ視野を変更することを特徴とする
空間表示方法。 The three-dimensional shape data displayed in the virtual space has identification information that serves as a search key defined for each component that is a component of the three-dimensional shape data.
The spatial display device has a screen control unit and a component display control unit.
The screen control unit, the three-dimensional shape data viewed from a given camera view and displays a virtual space, also updates the display contents of the virtual space in conjunction with the updating of the predetermined camera view,
The component display control unit is divided into a first region in the virtual space that is easily visible from the predetermined camera field of view and a second region in the virtual space that is a region other than the first region. For each component arranged in the virtual space, the display form of the component located in the first area and the display form of the component located in the second area are different .
The screen control unit searches for a component that matches the input search key from the three-dimensional shape data, and changes the predetermined camera field of view so that the component that is the search result can be visually recognized. Method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017109369A JP6867883B2 (en) | 2017-06-01 | 2017-06-01 | Spatial display device and spatial display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017109369A JP6867883B2 (en) | 2017-06-01 | 2017-06-01 | Spatial display device and spatial display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018205974A JP2018205974A (en) | 2018-12-27 |
JP6867883B2 true JP6867883B2 (en) | 2021-05-12 |
Family
ID=64957174
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017109369A Active JP6867883B2 (en) | 2017-06-01 | 2017-06-01 | Spatial display device and spatial display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6867883B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7331738B2 (en) * | 2020-03-06 | 2023-08-23 | 横河電機株式会社 | DRAWING MANAGEMENT DEVICE, DRAWING MANAGEMENT SYSTEM, DRAWING MANAGEMENT METHOD, AND PROGRAM |
JP7461216B2 (en) | 2020-05-21 | 2024-04-03 | 三菱重工業株式会社 | Mobile information terminal, control method and program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007018188A (en) * | 2005-07-06 | 2007-01-25 | Hitachi Ltd | System, method and apparatus for information presentation through extended sense of reality, and computer program |
JP4989383B2 (en) * | 2007-09-10 | 2012-08-01 | キヤノン株式会社 | Information processing apparatus and information processing method |
JP4913913B2 (en) * | 2010-04-28 | 2012-04-11 | 新日鉄ソリューションズ株式会社 | Information processing system, information processing method, and program |
BR112015019639A2 (en) * | 2013-02-22 | 2017-07-18 | Sony Corp | device and image display method, storage medium, and monitoring system |
JP5762600B1 (en) * | 2014-06-06 | 2015-08-12 | キヤノン株式会社 | Information processing apparatus and information processing method |
JP6421543B2 (en) * | 2014-10-17 | 2018-11-14 | セイコーエプソン株式会社 | Head-mounted display device, method for controlling head-mounted display device, computer program |
-
2017
- 2017-06-01 JP JP2017109369A patent/JP6867883B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2018205974A (en) | 2018-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6643170B2 (en) | Work support system and method | |
CN106652045B (en) | Method, system, and medium for comparing 3D modeled objects | |
CA2947533C (en) | Integrating external algorithms into a flexible framework for imaging visualization data | |
KR20170041905A (en) | Remote expert system | |
EP2024961A2 (en) | Geographic information system (gis) for displaying 3d geospatial images with reference markers and related methods | |
CN101866379B (en) | Method, program and product edition system for visualizing objects displayed on a computer screen | |
CN108604256B (en) | Component information search device, component information search method, and program | |
US20150088474A1 (en) | Virtual simulation | |
JP6867883B2 (en) | Spatial display device and spatial display method | |
JP2017016577A (en) | Information processor, and control method, and program, for the same | |
US7437684B2 (en) | Graphical interface system for manipulating a virtual dummy | |
Lee et al. | Design patterns for situated visualization in augmented reality | |
JP2010277115A (en) | Harness verification device and harness verification program | |
US10388074B2 (en) | Generating immersive media visualizations for large data sets | |
CN106354905A (en) | Computation of a measurement on a set of geometric elements of a modeled object | |
US9786090B2 (en) | System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system | |
US7502027B1 (en) | Electronic drawing viewer | |
EP3594906B1 (en) | Method and device for providing augmented reality, and computer program | |
Kelly et al. | Interactive dimensioning of parametric models | |
JP2009123076A (en) | Three-dimensional cad system program | |
JP5038250B2 (en) | Information processing apparatus, information processing method, and program | |
JP2006343954A (en) | Image processing method and image processor | |
JP3413145B2 (en) | Virtual space editing method and virtual space editing device | |
JP2007213437A (en) | Information-processing method and information-processing device | |
JP6264208B2 (en) | Display program, display method, and display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200303 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210209 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210324 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210409 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6867883 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |