JP6867883B2 - Spatial display device and spatial display method - Google Patents

Spatial display device and spatial display method Download PDF

Info

Publication number
JP6867883B2
JP6867883B2 JP2017109369A JP2017109369A JP6867883B2 JP 6867883 B2 JP6867883 B2 JP 6867883B2 JP 2017109369 A JP2017109369 A JP 2017109369A JP 2017109369 A JP2017109369 A JP 2017109369A JP 6867883 B2 JP6867883 B2 JP 6867883B2
Authority
JP
Japan
Prior art keywords
component
virtual space
control unit
view
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017109369A
Other languages
Japanese (ja)
Other versions
JP2018205974A (en
Inventor
洋 関
洋 関
浩明 池田
浩明 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Document Solutions Co Ltd
Original Assignee
Hitachi Document Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Document Solutions Co Ltd filed Critical Hitachi Document Solutions Co Ltd
Priority to JP2017109369A priority Critical patent/JP6867883B2/en
Publication of JP2018205974A publication Critical patent/JP2018205974A/en
Application granted granted Critical
Publication of JP6867883B2 publication Critical patent/JP6867883B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、空間表示装置、および、空間表示方法に関する。 The present invention relates to a spatial display device and a spatial display method.

プラントなどの構造物をコンピュータが表示するときに、三次元の立体的な形状データとして表示させるシステムが提案されている。これにより、プラントを所望の視点位置から眺めることができ、監視業務や設計業務に活用することができる。一方、三次元の表示データだけでなく、数値データなどの他のデータも併せて表示することにより、プラントで行われる各種業務の詳細な情報も把握させることができる。 A system has been proposed in which when a computer displays a structure such as a plant, it is displayed as three-dimensional three-dimensional shape data. As a result, the plant can be viewed from a desired viewpoint position, and can be utilized for monitoring work and design work. On the other hand, by displaying not only the three-dimensional display data but also other data such as numerical data, it is possible to grasp detailed information of various operations performed in the plant.

特許文献1には、プラントの監視制御装置において、視点から見た構造物の三次元表示データ上で、計測器が示す運転状態データを二次元シンボルで表示させていることが記載されている。
特許文献2には、3次元モデルの所定の視点位置から2次元画像を生成することが記載されている。
特許文献3には、2次元CAD(Computer-Aided Design)の機器図面シンボルデータと3次元CADの機器モデルデータを用いて、プラントのレイアウト設計を支援することが記載されている。
特許文献4には、プラントの監視盤表示にて三次元モデルを三次元空間内の所定位置に配置し、レンダリング処理によって二次元座標系に変換することが記載されている。
特許文献5には、建築設計支援にて3Dモデルに基づき、任意の視点からの2次元図を演算し生成することが記載されている。
Patent Document 1 describes that in a plant monitoring and control device, operating state data indicated by a measuring instrument is displayed as a two-dimensional symbol on three-dimensional display data of a structure viewed from a viewpoint.
Patent Document 2 describes that a two-dimensional image is generated from a predetermined viewpoint position of a three-dimensional model.
Patent Document 3 describes that the layout design of a plant is supported by using the equipment drawing symbol data of two-dimensional CAD (Computer-Aided Design) and the equipment model data of three-dimensional CAD.
Patent Document 4 describes that a three-dimensional model is arranged at a predetermined position in a three-dimensional space on a monitoring board display of a plant and converted into a two-dimensional coordinate system by a rendering process.
Patent Document 5 describes that a two-dimensional diagram from an arbitrary viewpoint is calculated and generated based on a 3D model with architectural design support.

特開2013−222258号公報Japanese Unexamined Patent Publication No. 2013-222258 特開2013−214944号公報Japanese Unexamined Patent Publication No. 2013-214944 特開2010−257317号公報JP-A-2010-257317 特開2007−330088号公報Japanese Unexamined Patent Publication No. 2007-330888 特開2005−301358号公報Japanese Unexamined Patent Publication No. 2005-301358

HMD(Head Mounted Display)やGPU(Graphics Processing Unit)の性能向上に伴い、仮想現実(VR:Virtual Reality)技術が徐々に普及している。HMDを装着したユーザには、目の前にあたかもプラントが存在しているかのような体験を得ることができる。よって、三次元表示データを従来の平面型ディスプレイに表示させるだけでなく、VRとして仮想空間でプラントの内部にいるような表示方法も、プラントの各種業務に活用することが望まれる。 With the improvement of the performance of HMD (Head Mounted Display) and GPU (Graphics Processing Unit), virtual reality (VR) technology is gradually becoming widespread. The user wearing the HMD can get the experience as if the plant exists in front of him. Therefore, it is desired that not only the three-dimensional display data is displayed on the conventional flat display, but also the display method of being inside the plant in virtual space as VR is utilized for various operations of the plant.

なお、VRでの一人称視点の表示は、HMDを装着したユーザの頭部と密接に連動しており、例えばユーザが左側を向くと、表示内容もカメラの視界が左を向いたものへと、リアルタイムに変動する。このようなユーザと一体的な表示装置においては、臨場感を高める効果があると同時に、現在の視野から見づらい部品も存在する。 The display of the first-person view in VR is closely linked to the head of the user wearing the HMD. For example, when the user turns to the left, the display content also changes to the one in which the camera's field of view faces to the left. It fluctuates in real time. Such a display device integrated with the user has the effect of enhancing the sense of presence, and at the same time, there are some parts that are difficult to see from the current field of view.

例えば、仮想空間内での現在のカメラ位置から遠い部品については、画面内で小さく表示されてしまい、見づらくなる。また、カメラの正面から大きく外れた角度に存在する部品も、画面内で歪んで表示されてしまう。しかし、プラント内での作業を行う上で、目の前の見やすい部品だけで無く、空間を全体的に把握する必要がある。 For example, a part far from the current camera position in the virtual space is displayed small on the screen, making it difficult to see. In addition, parts that exist at an angle that is far from the front of the camera are also distorted and displayed on the screen. However, when working in the plant, it is necessary to grasp not only the parts that are easy to see in front of you, but also the space as a whole.

そこで、本発明は、仮想空間内を立体的に表示させるときに、現在の視野から見づらい部分についても適切に表示させることを、主な課題とする。 Therefore, the main object of the present invention is to appropriately display a portion that is difficult to see from the current field of view when displaying the inside of the virtual space in three dimensions.

前記課題を解決するために、本発明の空間表示装置は、以下の特徴を有する。
仮想空間に表示される立体形状データは、その構成要素である部品ごとに検索キーとなる識別情報が定義されており、
本発明は、所定のカメラ視野から視認した前記立体形状データを仮想空間として表示するとともに、前記所定のカメラ視野の更新に連動して仮想空間の表示内容も更新する画面制御部と、
前記所定のカメラ視野からの視認が良好な仮想空間内の第1領域と、その第1領域以外の領域である仮想空間内の第2領域とに区分しておき、仮想空間内に配置する各部品について、前記第1領域内に位置する部品の表示形態と、前記第2領域内に位置する部品の表示形態とを異なる形態とする部品表示制御部と、を有し、
前記画面制御部は、入力された検索キーに合致する部品を前記立体形状データから検索し、その検索結果である部品を視認させるように前記所定のカメラ視野を変更することを特徴とする。
その他の手段は、後記する。
In order to solve the above problems, the spatial display device of the present invention has the following features.
The three-dimensional shape data displayed in the virtual space has identification information that serves as a search key defined for each component that is a component of the three-dimensional shape data.
The present invention, the three-dimensional shape data viewed from a given camera view and displays a virtual space, and a screen control unit also update the display contents of the virtual space in conjunction with the updating of the predetermined camera view,
Each of the first area in the virtual space having good visibility from the predetermined camera field of view and the second area in the virtual space other than the first area are divided and arranged in the virtual space. for parts, it possesses a display form of the components located in the first area, and the part display control unit to display form and the different forms of components located in the second region, and
The screen control unit searches for a component that matches the input search key from the three-dimensional shape data, and changes the predetermined camera field of view so that the component that is the search result can be visually recognized.
Other means will be described later.

本発明によれば、仮想空間内を立体的に表示させるときに、現在の視野から見づらい部分についても適切に表示させることができる。 According to the present invention, when the virtual space is displayed three-dimensionally, it is possible to appropriately display a portion that is difficult to see from the current field of view.

本発明の一実施形態に関する空間表示システムの外観図である。It is an external view of the space display system which concerns on one Embodiment of this invention. 本発明の一実施形態に関する空間表示装置の構成図である。It is a block diagram of the space display device which concerns on one Embodiment of this invention. 本発明の一実施形態に関する設計3Dモデルと系統図データとの詳細を説明する図である。It is a figure explaining the detail of the design 3D model and the system diagram data which concerns on one Embodiment of this invention. 本発明の一実施形態に関する空間表示システムの表示処理を示すフローチャートである。It is a flowchart which shows the display process of the spatial display system which concerns on one Embodiment of this invention. 本発明の一実施形態に関する仮想空間を頭上から見たときの平面図である。It is a top view when the virtual space which concerns on one Embodiment of this invention is seen from overhead. 本発明の一実施形態に関する図5のビューポートを3D空間で説明したときの図である。It is a figure when the viewport of FIG. 5 concerning one Embodiment of this invention is explained in 3D space. 本発明の一実施形態に関する第1プラントの仮想空間を頭上から見たときの平面図である。It is a top view when the virtual space of the 1st plant which concerns on one Embodiment of this invention is seen from overhead. 本発明の一実施形態に関する図7の第1プラントの仮想空間をHMDから立体的に見たときの設計3Dモデルの画面図である。It is a screen view of the design 3D model when the virtual space of the 1st plant of FIG. 7 concerning one Embodiment of this invention is viewed three-dimensionally from an HMD. 本発明の一実施形態に関する図8の画面図に対し、部品置換部が設計3Dモデルから置換後3Dモデルに置き換えた画面図である。It is a screen view which replaced the design 3D model with the replacement 3D model with respect to the screen view of FIG. 8 concerning one Embodiment of this invention. 本発明の一実施形態に関する画面制御部が図9の画面図をHMDに立体視表示させた例である。This is an example in which the screen control unit according to the embodiment of the present invention stereoscopically displays the screen view of FIG. 9 on the HMD. 本発明の一実施形態に関する第2プラントの仮想空間を頭上から見たときの平面図である。It is a top view when the virtual space of the 2nd plant which concerns on one Embodiment of this invention is seen from overhead. 本発明の一実施形態に関する図11の第2プラントの仮想空間をHMDから立体的に見たときの設計3Dモデルの画面図である。It is a screen view of the design 3D model when the virtual space of the 2nd plant of FIG. 11 concerning one Embodiment of this invention is seen three-dimensionally from HMD. 本発明の一実施形態に関する図12の画面図に対し、部品置換部が設計3Dモデルから置換後3Dモデルに置き換えた画面図である。It is a screen view which replaced the design 3D model with the replacement 3D model with respect to the screen view of FIG. 12 concerning one Embodiment of this invention. 本発明の一実施形態に関する図13の画面図に対し、ユーザが行う各種操作を表示画面に反映させたときの画面図である。It is a screen view when various operations performed by a user are reflected on the display screen with respect to the screen view of FIG. 13 which concerns on one Embodiment of this invention. 本発明の一実施形態に関するプラント部品の検索画面例である。This is an example of a search screen for plant parts according to an embodiment of the present invention. 本発明の一実施形態に関する図15の検索画面の実写表示例である。It is a live-action display example of the search screen of FIG. 15 which concerns on one Embodiment of this invention.

以下、本発明の一実施形態を、図面を参照して詳細に説明する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.

図1は、空間表示システムの外観図である。空間表示システムは、空間表示装置2に対して、周辺機器としてキーボード11と、マウス12と、コントローラ13と、HMD14と、表示装置15とがそれぞれ接続されて構成される。
空間表示装置2は、CPU(Central Processing Unit)と、メモリと、ハードディスクなどの記憶手段(記憶部)と、ネットワークインタフェースとを有するコンピュータとして構成される。
このコンピュータは、CPUが、メモリ上に読み込んだプログラム(アプリケーションや、その略のアプリとも呼ばれる)を実行することにより、各処理部により構成される制御部(制御手段)を動作させる。
FIG. 1 is an external view of a spatial display system. The spatial display system is configured by connecting a keyboard 11, a mouse 12, a controller 13, an HMD 14, and a display device 15 as peripheral devices to the spatial display device 2, respectively.
The spatial display device 2 is configured as a computer having a CPU (Central Processing Unit), a memory, a storage means (storage unit) such as a hard disk, and a network interface.
In this computer, the CPU operates a control unit (control means) composed of each processing unit by executing a program (also called an application or an abbreviation for application) read in the memory.

頭部にHMD14を装着したユーザは、手元のコントローラ13を用いて、空間表示装置2が生成した仮想空間内を探索する。仮想空間の表示画面は、表示装置15に表示されるとともに、両眼表示の立体視画像としてHMD14にも表示される。図示しないアナログスティックを傾けるなどのコントローラ13の操作により、仮想空間内の現在のカメラ視点位置を移動可能である。また、ユーザの顔の向きを変えることでHMD14の姿勢が変更されると、その姿勢データを反映して、仮想空間内の現在のカメラ視野角度を変更可能である。 The user wearing the HMD 14 on the head searches in the virtual space generated by the space display device 2 by using the controller 13 at hand. The display screen of the virtual space is displayed on the display device 15 and also displayed on the HMD 14 as a binocular stereoscopic image. The current camera viewpoint position in the virtual space can be moved by operating the controller 13 such as tilting an analog stick (not shown). Further, when the posture of the HMD 14 is changed by changing the direction of the user's face, the current camera viewing angle in the virtual space can be changed by reflecting the posture data.

さらに、ユーザは、手元のキーボード11と、マウス12とを操作することにより、文字データなどの各種入力データを空間表示装置2に入力することができる。空間表示装置2は、例えば、特定の部品が指定された入力データを受け付けると、表示中の仮想空間内の特定の部品を強調するなどして、入力データを表示内容に反映させる。 Further, the user can input various input data such as character data to the spatial display device 2 by operating the keyboard 11 and the mouse 12 at hand. When the space display device 2 receives the input data specified by the specific component, for example, the spatial display device 2 reflects the input data in the display content by emphasizing the specific component in the virtual space being displayed.

このように、ユーザは、HMD14を中心とした各種の空間表示システムを使用することにより、あたかも自分が仮想空間内を探索するような体験を得ることができる。このような直観的な体験を行う適用分野として、例えば、仮想空間内に形成されたプラント設備に対する各種訓練(建設訓練・運転訓練・保守訓練・廃止措置訓練)を行うための各種計画が挙げられる。 In this way, the user can obtain an experience as if he / she searches in the virtual space by using various spatial display systems centered on the HMD14. Examples of application fields for such intuitive experiences include various plans for conducting various trainings (construction training, operation training, maintenance training, decommissioning training) for plant equipment formed in a virtual space. ..

図2は、空間表示装置2の構成図である。
空間表示装置2は、各種処理部(画面制御部21と、部品置換部22と、接続強調部23)と、その処理部が扱うデータを管理するデータベース3とを有する。データベース3においては、設計3Dモデル31と、置換後3Dモデル32と、系統図データ33と、接続後3Dモデル34と、付加データ35とが対応付けて格納されている。なお、図2では、データ間の対応関係の内の主要な対応関係を示す矢印を示す。
FIG. 2 is a configuration diagram of the space display device 2.
The spatial display device 2 has various processing units (screen control unit 21, component replacement unit 22, connection emphasis unit 23), and a database 3 that manages data handled by the processing unit. In the database 3, the design 3D model 31, the replaced 3D model 32, the system diagram data 33, the connected 3D model 34, and the additional data 35 are stored in association with each other. Note that FIG. 2 shows arrows indicating the main correspondences among the correspondences between the data.

図3は、設計3Dモデル31と系統図データ33との詳細を説明する図である。
設計3Dモデル31は、プラントなどの仮想空間内に配置される立体形状の位置や大きさを、部品ごとに管理するデータ構造である。図3では、プラント設備としてのポンプ形状F02と、バルブ形状F04とが、配管形状F01,F03,F05で接続されている例を示している。
系統図データ33は、設計3Dモデル31が示すプラントなどの立体形状を機能的接続関係に着目して簡略化した平面図である。系統図データ33は、P&ID(Process and Instrumentation Diagram)などの標準的な図面を用いてもよい。図3では、ポンプ形状F02を示すポンプシンボルP001と、バルブ形状F04を示すバルブシンボルV001と、配管形状F01を示す配管線L001−1と、配管形状F03を示す配管線L001−2と、配管形状F05を示す配管線L001−3とが記載されている。
このように、設計3Dモデル31の各立体形状のIDと、系統図データ33の各シンボル(配管線含む)のIDとは対応づけられている。この対応付けは、事前に管理者などが準備しておく。
FIG. 3 is a diagram illustrating details of the design 3D model 31 and the system diagram data 33.
The design 3D model 31 is a data structure that manages the position and size of a three-dimensional shape arranged in a virtual space such as a plant for each part. FIG. 3 shows an example in which the pump shape F02 and the valve shape F04 as plant equipment are connected by the pipe shapes F01, F03, and F05.
The system diagram data 33 is a plan view in which the three-dimensional shape of the plant or the like shown by the design 3D model 31 is simplified by paying attention to the functional connection relationship. For the system diagram data 33, a standard drawing such as P & ID (Process and Instrumentation Diagram) may be used. In FIG. 3, the pump symbol P001 indicating the pump shape F02, the valve symbol V001 indicating the valve shape F04, the piping line L001-1 indicating the piping shape F01, the piping line L001-2 indicating the piping shape F03, and the piping shape. The piping line L001-3 indicating F05 is described.
In this way, the ID of each three-dimensional shape of the design 3D model 31 and the ID of each symbol (including the piping line) of the system diagram data 33 are associated with each other. This association is prepared by an administrator or the like in advance.

なお、系統図データ33はプラント機能を実現する設備の種類と、その設備間の機能的接続関係が表現されればよいので、設計3Dモデル31の実際のレイアウトよりも簡略化されていることが多い。例えば、配管線L001−1を直線とし、対応先の配管形状F01も直線型の配管として図3で例示したのは、あくまで説明をわかりやすくするためである。一方、実際にプラント内に配備される配管形状は、何度もカーブしたり、様々な方向に向かったりするように多様である。 It should be noted that the system diagram data 33 may be simplified from the actual layout of the design 3D model 31 because it is sufficient to express the type of equipment that realizes the plant function and the functional connection relationship between the equipment. There are many. For example, the reason why the pipe line L001-1 is a straight line and the corresponding pipe shape F01 is also illustrated as a straight line type pipe in FIG. 3 is for the sake of clarity. On the other hand, the shapes of pipes actually deployed in the plant are various so that they can be curved many times and directed in various directions.

図2に戻って、部品置換部22は、設計3Dモデル31のうちの現在のユーザのカメラ位置姿勢からは見づらい箇所について、系統図データ33で使用されるシンボルに置き換えた置換後3Dモデル32を生成する。
また、接続強調部23は、系統図データ33で定義されている機能的接続関係をもとに、設計3Dモデル31のうちの接続される一連の立体形状を強調した接続後3Dモデル34を作成する。
さらに、付加データ35は、プラント作業者であるユーザについての職種情報や、作業スキル情報や、作業履歴情報などである。これらの付加データ35は、仮想空間の表示内容をプラント作業者ごとに個別化(特化)したものにするために参照される。
Returning to FIG. 2, the component replacement unit 22 replaces the replaced 3D model 32 with the symbols used in the system diagram data 33 for the parts of the design 3D model 31 that are difficult to see from the current user's camera position and orientation. Generate.
Further, the connection emphasizing unit 23 creates a post-connection 3D model 34 that emphasizes a series of connected three-dimensional shapes in the design 3D model 31 based on the functional connection relationship defined in the system diagram data 33. To do.
Further, the additional data 35 includes job type information, work skill information, work history information, and the like about the user who is a plant worker. These additional data 35 are referred to in order to personalize (specialize) the display contents of the virtual space for each plant worker.

そして、画面制御部21は、プラントの立体形状を示す設計3Dモデル31をそのまま仮想空間として表示するだけでなく、置換後3Dモデル32、接続後3Dモデル34、付加データ35付きの設計3Dモデル31などの様々なデータ加工を行った仮想空間を表示する。これにより、プラント作業者は、プラント空間を単に探索する体験だけでなく、実際にプラント内部での作業を行うときに役立つ体験を得ることができる。 Then, the screen control unit 21 not only displays the design 3D model 31 showing the three-dimensional shape of the plant as it is as a virtual space, but also displays the 3D model 32 after replacement, the 3D model 34 after connection, and the design 3D model 31 with additional data 35. Display a virtual space that has undergone various data processing such as. As a result, the plant worker can obtain not only the experience of simply exploring the plant space but also the experience of actually performing the work inside the plant.

図4は、空間表示システムの表示処理を示すフローチャートである。
S11として、画面制御部21は、キーボード11の文字入力操作や、マウス12のリスト選択操作を介して、作業内容を示すデータの入力を受け付ける。作業内容とは、例えば、設計3Dモデル31のうちのどのエリアやどの部屋で作業が行われるかを示す作業場所の情報や、付加データ35のうちのどのプラント作業者が作業を行うかを示す作業者の情報である。
ここで入力された作業場所の情報(点検対象となる部屋など)は、その作業場所に含まれる3次元オブジェクトを設計3Dモデル31から表示対象として抽出するために、用いられる。
S12として、画面制御部21は、S11で受け付けた作業場所における仮想空間内でのカメラ視野データの入力を受け付ける。図1で説明したように、コントローラ13の操作がカメラ視点位置の移動に対応し、HMD14の操作がカメラ視野角度の変更に対応し、カメラ視野データはこの両方のデータの組み合わせで定義される。
FIG. 4 is a flowchart showing the display processing of the spatial display system.
As S11, the screen control unit 21 accepts the input of data indicating the work content via the character input operation of the keyboard 11 and the list selection operation of the mouse 12. The work content indicates, for example, information on a work place indicating which area or room in which the work is performed in the design 3D model 31, or which plant worker in the additional data 35 performs the work. It is the information of the worker.
The work place information (room to be inspected, etc.) input here is used to extract the three-dimensional object included in the work place from the design 3D model 31 as a display target.
As S12, the screen control unit 21 receives the input of the camera field of view data in the virtual space at the work place received in S11. As described with reference to FIG. 1, the operation of the controller 13 corresponds to the movement of the camera viewpoint position, the operation of the HMD 14 corresponds to the change of the camera field of view angle, and the camera field of view data is defined by a combination of both of these data.

S21として、部品置換部22は、S11の作業場所におけるS12のカメラ視野データから見た仮想空間内の各部品について、見づらい部品が存在するか否かを判定する。S21でYesならS23に進み、NoならS22に進む。
S22として、画面制御部21は、S11の作業場所におけるS12のカメラ視野データから見た仮想空間内の設計3Dモデル31を、HMD14および表示装置15に表示する。これにより、作業者はあたかも自分がプラントの内部に立っているように感じることができる。
As S21, the component replacement unit 22 determines whether or not there is a component that is difficult to see for each component in the virtual space as seen from the camera field of view data of S12 at the work location of S11. If Yes in S21, proceed to S23, and if No, proceed to S22.
As S22, the screen control unit 21 displays the design 3D model 31 in the virtual space as seen from the camera field of view data of S12 at the work place of S11 on the HMD 14 and the display device 15. This allows the worker to feel as if he or she is standing inside the plant.

S23として、部品置換部22は、見づらい部品については、図3で例示したように、立体形状をシンボルや配管線、「ポンプ」などの文字データなどの簡易表示に置き換えた置換後3Dモデル32を作成する。なお、見やすい部品については、ポリゴンなどで示された立体形状を変更(置換)しなくてもよい。
この作成された置換後3Dモデル32は、S22の設計3Dモデル31の代わりに表示される。これにより、作業者は現時点のカメラ視野では見づらい部品も、容易に把握することができる。
As S23, the parts replacement unit 22 replaces the hard-to-see parts with the replaced 3D model 32 in which the three-dimensional shape is replaced with a simple display such as a symbol, a piping line, or character data such as "pump" as illustrated in FIG. create. For easy-to-see parts, it is not necessary to change (replace) the three-dimensional shape indicated by polygons or the like.
The created replacement 3D model 32 is displayed in place of the design 3D model 31 of S22. As a result, the operator can easily grasp parts that are difficult to see in the current camera field of view.

S31として、接続強調部23は、S11で受け付けた作業内容により、S22の設計3Dモデル31またはS23の置換後3Dモデル32について、機能的接続関係を強調するか否かを判定する。例えば、表示中のある部品がマウス12で選択された場合には、その選択された部品との機能的接続関係を有する他の部品も強調する必要があるとする。S31でYesならS32に進み、NoならS12に戻る。
S32として、接続強調部23は、系統図データ33で定義されている機能的接続関係をもとに、接続される一連の立体形状を強調した接続後3Dモデル34を作成する。
この作成された接続後3Dモデル34は、S22の設計3Dモデル31またはS23の置換後3Dモデル32に上書き表示される。これにより、作業者は実際にプラント内部での作業を行うときに役立つ箇所を、作業に関係ない箇所と区別して把握することができる。そして、処理をS12に戻す。このようにS12に戻ってループ処理を行うことで、随時ユーザの操作によりカメラ視野データが変更されるとともに、その変更後のカメラ視野データに適合する表示内容へとリアルタイムに更新される。
As S31, the connection emphasizing unit 23 determines whether or not to emphasize the functional connection relationship with respect to the design 3D model 31 of S22 or the replaced 3D model 32 of S23 according to the work content received in S11. For example, when a certain part being displayed is selected by the mouse 12, it is necessary to emphasize other parts having a functional connection relationship with the selected part. If Yes in S31, the process proceeds to S32, and if No, the process returns to S12.
As S32, the connection emphasizing unit 23 creates a post-connection 3D model 34 emphasizing a series of connected three-dimensional shapes based on the functional connection relationship defined in the system diagram data 33.
The created post-connection 3D model 34 is overwritten and displayed on the design 3D model 31 of S22 or the post-replacement 3D model 32 of S23. As a result, the worker can distinguish the parts that are useful when actually performing the work inside the plant from the parts that are not related to the work. Then, the process is returned to S12. By returning to S12 and performing the loop processing in this way, the camera field of view data is changed at any time by the user's operation, and the display content is updated in real time to match the changed camera field of view data.

なお、図4で説明した各処理の履歴データは、時系列のログファイルとして付加データ35に保存してもよい。これにより、「作業とは関係ない通路に迂回してしまった、あるバルブを閉める作業に手間取った」などのHMD14を装着したときの仮想空間内での各操作を、HMD14を外した後にユーザに反省させ、作業の改善を促すことができる。 The history data of each process described with reference to FIG. 4 may be stored in the additional data 35 as a time-series log file. As a result, each operation in the virtual space when the HMD14 is attached, such as "I have detoured to a passage unrelated to the work, and it took time to close a certain valve", is given to the user after removing the HMD14. It can be reflected and encouraged to improve work.

図5は、仮想空間を頭上から見たときの平面図である。まず、カメラ視野角度について説明する。
HMD14を装着したユーザからは、矢印LCで示した正面の方向はよく見える。矢印LCを中央とした矢印LLI〜矢印LRIの範囲は、ビューポート(図6のVP)と呼ばれ、比較的見やすい視野である。一方、ビューポートの外側として、矢印LLO〜矢印LLIの左外側範囲ALOと、矢印LRI〜矢印LROの右外側範囲AROとは、それぞれ画面表示されるものの、正面から大きく外れており、部品形状が歪むなど見づらい視野である。
FIG. 5 is a plan view of the virtual space when viewed from above. First, the camera viewing angle will be described.
The user wearing the HMD 14 can clearly see the front direction indicated by the arrow LC. The range from arrow LLI to arrow LRI centered on arrow LC is called a viewport (VP in FIG. 6) and is a relatively easy-to-see field of view. On the other hand, as the outside of the viewport, the left outer range ALO of the arrow LLO to the arrow LLI and the right outer range ARO of the arrow LRI to the arrow LRO are displayed on the screen, but they are far from the front and the part shape is large. The field of view is difficult to see, such as being distorted.

さらに、部品の見やすさは、カメラ視野角度だけでなく、ユーザ位置(カメラ位置)から部品までの仮想空間における距離にも影響される。ビューポートの内側であっても、基準距離Dより遠くの領域(ALF,ARF)に位置する部品は、遠近法で小さく写ることにより、部品形状が見づらくなってしまう。なお、基準距離Dはユーザが任意のタイミングで変更することができる。
よって、カメラ視野からの視認が良好な第1領域は、ビューポートの内側で、かつ、基準距離Dより近くの領域(ALN,ARN)である。一方、第1領域以外の領域を第2領域とすると、その第2領域は、ビューポートの外側領域(ALO,ARO)および遠距離領域(ALF,ARF)のうちの片方または両方である。
つまり、図4のS21の見づらい部品とは第2領域に位置する部品である。
Further, the visibility of the component is affected not only by the viewing angle of the camera but also by the distance from the user position (camera position) to the component in the virtual space. Even inside the viewport, parts located in regions farther than the reference distance D (ALF, ARF) appear small in perspective, making it difficult to see the shape of the parts. The reference distance D can be changed by the user at any time.
Therefore, the first region with good visibility from the camera field of view is the region (ALN, ARN) inside the viewport and closer than the reference distance D. On the other hand, if the region other than the first region is the second region, the second region is one or both of the outer region (ALO, ARO) and the long distance region (ALF, ARF) of the viewport.
That is, the hard-to-see part of S21 in FIG. 4 is a part located in the second region.

図6は、図5のビューポートを3D空間で説明したときの図である。
ビューポートVPは、矢印LCを中心とし、その周囲の矢印LLI〜矢印LRIの境界位置までの平面として定義される。そして、このビューポートVPの平面を底面とし、目の位置を頂点とする四角錐の空間内(図5ではALN,ARN)が部品が見やすい範囲となる。
FIG. 6 is a diagram showing the viewport of FIG. 5 in 3D space.
The viewport VP is defined as a plane centered on the arrow LC and around the arrow LLI to the boundary position of the arrow LRI. Then, the space of the quadrangular pyramid (ALN, ARN in FIG. 5) having the plane of the viewport VP as the bottom surface and the eye position as the apex is the range in which the parts can be easily seen.

以下、図7〜図10を参照して、第1プラントの具体例を表示するときの各種処理について説明する。
図7は、第1プラントの仮想空間を頭上から見たときの平面図である。この第1プラントには、以下の各部品が配置されている。
・機器106
・バルブ102,108
・配管101,103,104,105,107,109
そして、作業者は、バルブ102の手前側に立ち、機器106の方を向いて仮想空間を眺めているとする。
Hereinafter, various processes for displaying a specific example of the first plant will be described with reference to FIGS. 7 to 10.
FIG. 7 is a plan view of the virtual space of the first plant when viewed from above. The following parts are arranged in this first plant.
Equipment 106
-Valves 102, 108
-Piping 101, 103, 104, 105, 107, 109
Then, it is assumed that the worker stands in front of the valve 102 and faces the device 106 to look at the virtual space.

図8は、図7の第1プラントの仮想空間をHMD14から立体的に見たときの設計3Dモデル31の画面図である。図7で示した各部品101〜109が立体的に配置されている。ここで、手前側のバルブ102は、カメラ位置からの距離が基準距離Dより近くに位置するので、大きく表示されて見やすい。一方、奥側のバルブ108は、カメラ位置からの距離が基準距離Dより遠く、かつ、ビューポートVPの外側に位置するので、小さく表示されて見づらくなってしまっている。具体的には、バルブ108のハンドル108aがその手前の配管107の陰に隠れてしまい、バルブ108であること自体をユーザが認識できない状況である。 FIG. 8 is a screen view of the design 3D model 31 when the virtual space of the first plant of FIG. 7 is viewed three-dimensionally from the HMD 14. The parts 101 to 109 shown in FIG. 7 are arranged three-dimensionally. Here, the bulb 102 on the front side is displayed larger and easier to see because the distance from the camera position is closer than the reference distance D. On the other hand, the bulb 108 on the back side is displayed small and difficult to see because the distance from the camera position is farther than the reference distance D and is located outside the viewport VP. Specifically, the handle 108a of the valve 108 is hidden behind the pipe 107 in front of the handle 108a, and the user cannot recognize that the valve 108 itself.

図9は、図8の画面図に対し、部品置換部22が設計3Dモデル31から置換後3Dモデル32に置き換えた画面図である。つまり、図9は前記したS23で表示される画面図である。
部品置換部22は、図8の各部品のうち、ビューポートVPの外側に位置する以下の部品を、見づらい部品として系統図データ33のシンボルや配管線に置き換える。
・バルブ108x
・配管101x,103x,105x,107x,109x
一方、残りの部品は、図8に記載したとおりの立体形状として残したままである。これにより、見づらい物体の視認性を向上させることができる。
FIG. 9 is a screen view in which the component replacement unit 22 replaces the design 3D model 31 with the replacement 3D model 32 with respect to the screen view of FIG. That is, FIG. 9 is a screen view displayed in S23 described above.
The component replacement unit 22 replaces the following components located outside the viewport VP among the components of FIG. 8 with symbols and piping lines of the system diagram data 33 as hard-to-see components.
Valve 108x
-Piping 101x, 103x, 105x, 107x, 109x
On the other hand, the remaining parts are left as the three-dimensional shape as shown in FIG. This makes it possible to improve the visibility of an object that is difficult to see.

図10は、画面制御部21が図9の画面図をHMD14に立体視表示させた例である。画面制御部21は、左目画像14Lと右目画像14Rとで、それぞれ視野をずらすことで、視差を利用してプラント部品の立体視を形成する。 FIG. 10 is an example in which the screen control unit 21 stereoscopically displays the screen view of FIG. 9 on the HMD 14. The screen control unit 21 forms a stereoscopic view of plant parts by using parallax by shifting the fields of view of the left eye image 14L and the right eye image 14R, respectively.

以下、図11〜図14を参照して、第2プラントの具体例を表示するときの各種処理について説明する。
図11は、第2プラントの仮想空間を頭上から見たときの平面図である。この第2プラントには、以下の各部品が配置されている。
・タンク203,204
・配管201,202,205,206,207
そして、作業者は、配管202の手前側に立ち、タンク203,204の方を向いて仮想空間を眺めているとする。
Hereinafter, various processes for displaying a specific example of the second plant will be described with reference to FIGS. 11 to 14.
FIG. 11 is a plan view of the virtual space of the second plant when viewed from above. The following parts are arranged in this second plant.
Tanks 203 and 204
-Piping 201, 202, 205, 206, 207
Then, it is assumed that the worker stands in front of the pipe 202 and faces the tanks 203 and 204 to look at the virtual space.

図12は、図11の第2プラントの仮想空間をHMD14から立体的に見たときの設計3Dモデル31の画面図である。図11で示した各部品201〜207が立体的に配置されている。さらに、配管206の途中にはバルブ206aが備えられ、配管207の途中にはバルブ207aが備えられている。 FIG. 12 is a screen view of the design 3D model 31 when the virtual space of the second plant of FIG. 11 is viewed three-dimensionally from the HMD 14. Each component 201 to 207 shown in FIG. 11 is three-dimensionally arranged. Further, a valve 206a is provided in the middle of the pipe 206, and a valve 207a is provided in the middle of the pipe 207.

図13は、図12の画面図に対し、部品置換部22が設計3Dモデル31から置換後3Dモデル32に置き換えた画面図である。つまり、図13は前記したS23で表示される画面図である。
ここでは、部品置換部22は、配管206,207のうちのビューポートVPの外部に位置する部分を配管線206x,207xに置き換える。さらに、バルブ206a,207aもビューポートVPの外部に位置するため、部品置換部22は、バルブシンボル206y,207yに置き換える。
FIG. 13 is a screen view in which the component replacement unit 22 replaces the design 3D model 31 with the replacement 3D model 32 with respect to the screen view of FIG. That is, FIG. 13 is a screen view displayed in S23 described above.
Here, the component replacement unit 22 replaces the portion of the pipes 206 and 207 located outside the viewport VP with the pipe lines 206x and 207x. Further, since the valves 206a and 207a are also located outside the viewport VP, the component replacement portion 22 is replaced with the valve symbols 206y and 207y.

また、付加データ35によると、バルブ207aの計測温度が高温になっていたとする。そこで、部品置換部22は、付加データ35を表示画面に反映させるために、例えば、高温注意の表示207zを付加することで、ユーザに注意を促す。
なお、画面制御部21は、高温注意の表示207zだけでなく、危険のある部品と周囲の温度・線量・音量等の空間分布情報を、付加データ35から読み込んで、高温/高圧/高線量等の注意情報として設計3Dモデル31の仮想空間内に重畳表示してもよい。これにより、作業場での注意を要する空間範囲を可視化することができる。
Further, according to the additional data 35, it is assumed that the measurement temperature of the valve 207a is high. Therefore, in order to reflect the additional data 35 on the display screen, the component replacement unit 22 calls the user's attention by, for example, adding the high temperature caution display 207z.
The screen control unit 21 reads not only the high temperature caution display 207z but also spatial distribution information such as the temperature, dose, and volume of dangerous parts and the surroundings from the additional data 35, and reads high temperature / high pressure / high dose, etc. As cautionary information, it may be superimposed and displayed in the virtual space of the design 3D model 31. This makes it possible to visualize the spatial range that requires attention in the workplace.

図14は、図13の画面図に対し、ユーザが行う各種操作を表示画面に反映させたときの画面図である。
まず、図13の高温注意の表示207zを見たユーザは、その対象であるバルブシンボル207yをマウスポインタ210でクリックしたとする。その場合、接続強調部23は、クリックされたバルブシンボル207yを起点として、その起点の部品と機能的接続関係を有する周囲の部品を系統図データ33から取得する。ここでは、バルブ207aが装着されている配管207に加え、その配管207の接続先であるタンク203,204が取得されたとする。
そして、接続強調部23は、取得された各部品の強調結果として、クリックされたバルブシンボル207yと、強調配管線207xp、207ypと、強調配管207pと、強調タンク203p,204pとを接続後3Dモデル34として表示する。これにより、ユーザが点検対象などで注意を要する接続部品を容易に把握することができる。ここでの点検作業とは、例えば、ある配管を流れる流体に着目し、その上流から下流までを順に辿って、流体に漏れが無いかを確認する作業である。
FIG. 14 is a screen view when various operations performed by the user are reflected on the display screen with respect to the screen view of FIG. 13.
First, it is assumed that the user who sees the high temperature caution display 207z in FIG. 13 clicks the target valve symbol 207y with the mouse pointer 210. In that case, the connection emphasizing unit 23 acquires the surrounding parts having a functional connection relationship with the parts at the starting point from the system diagram data 33, starting from the clicked valve symbol 207y. Here, it is assumed that in addition to the pipe 207 to which the valve 207a is mounted, the tanks 203 and 204 to which the pipe 207 is connected have been acquired.
Then, as a result of emphasizing the acquired parts, the connection emphasizing unit 23 connects the clicked valve symbol 207y, the emphasizing piping lines 207xp and 207yp, the emphasizing piping 207p, and the emphasizing tanks 203p and 204p, and then a 3D model. It is displayed as 34. As a result, the user can easily grasp the connection parts that require attention in the inspection target or the like. The inspection work here is, for example, a work of paying attention to a fluid flowing through a certain pipe, tracing from upstream to downstream in order, and confirming whether or not there is a leak in the fluid.

また、接続強調部23は、機能的接続関係のある部品集合を強調するだけでなく、機能的接続関係の有無にかかわらず、一連の作業対象となる部品集合も強調表示してもよい。これにより、プラント内の各地に点在するバルブだけを対象とした点検作業など、作業対象となる部品集合を他の部品と区別して把握しやすくなる。
さらに、接続強調部23は、強調対象の部品集合として、部屋などの閉じられた空間における全ての作業対象となる部品を選択してもよい。これにより、部屋の端などで目立たない部品も把握させることができる。
Further, the connection highlighting unit 23 not only emphasizes the component set having a functional connection relationship, but may also highlight the component set to be a series of work targets regardless of the presence or absence of the functional connection relationship. This makes it easier to distinguish the set of parts to be worked from other parts, such as inspection work targeting only valves scattered in various places in the plant.
Further, the connection emphasizing unit 23 may select all the parts to be worked on in a closed space such as a room as a set of parts to be emphasized. This makes it possible to grasp parts that are inconspicuous at the edges of the room.

また、空間表示システムでは、プラントの部品を表示するだけでなく、プラントの部品に対してユーザがあたかもその現場で操作をしているかのような体験を得ることもできる。例えば、クリックされたバルブシンボル207yに対して、コントローラ13のアナログスティックを旋回させる操作を入力することにより、バルブの開閉操作を実施し、その結果を画面に反映させることができる(符号207q)。このように、操作対象の部品を選択してから操作させることにより、遠隔地から効率的にプラントの状態を確認したり変更したりできる。 In addition, the spatial display system not only displays the parts of the plant, but also gives the user the experience of operating the parts of the plant as if they were operating at the site. For example, by inputting an operation of turning the analog stick of the controller 13 to the clicked valve symbol 207y, the valve opening / closing operation can be performed and the result can be reflected on the screen (reference numeral 207q). In this way, by selecting the parts to be operated and then operating them, it is possible to efficiently check or change the state of the plant from a remote location.

図15は、プラント部品の検索画面例である。表示装置15には、キーボード11からの文字入力を受け付けるテキストフィールド301と、マウス12のクリックを受け付ける検索ボタン302が用意されている。ユーザは、検索したい機器、配管部品などのID、名称などをテキストフィールド301に入力した後、検索ボタン302をクリックする。
画面制御部21は、テキストフィールド301に入力された検索キーを設計3Dモデル31から検索し、該当する部品303にカメラ視野をフォーカスし、部品303の輪郭を強調表示する。これにより、ユーザは、仮想空間内を探し回らなくても、即座に所望の部品303を参照することができる。
FIG. 15 is an example of a search screen for plant parts. The display device 15 is provided with a text field 301 that accepts character input from the keyboard 11 and a search button 302 that accepts clicks of the mouse 12. The user inputs the ID, name, etc. of the device, piping component, etc. to be searched in the text field 301, and then clicks the search button 302.
The screen control unit 21 searches the design 3D model 31 for the search key input in the text field 301, focuses the camera field of view on the corresponding component 303, and highlights the outline of the component 303. As a result, the user can immediately refer to the desired component 303 without having to search around in the virtual space.

図16は、図15の検索画面の実写表示例である。設計3Dモデル31には、あらかじめ仮想空間のポリゴンデータと、現実空間(実写空間)で撮影されたデータとを対応付けておく。そして、画面制御部21は、図15の検索結果に該当する部品303の実写データが存在するときには、仮想空間のポリゴンデータに換えて、実写データを表示させてもよい。また、画面制御部21は、検索結果に限らず、仮想空間で実写データが存在する領域については、設計3Dモデル31として実写データを表示させてもよい。
さらに、部品置換部22は、S21で見づらい部品と判定された部品に対して、シンボルデータ304x、305xを上書きする置換後3Dモデル32を作成してもよい。
これにより、ポリゴンデータよりも臨場感のある実写データを参照させることで、ユーザは現場で作業するときの雰囲気をより具体的に体感することができる。
FIG. 16 is an example of a live-action display of the search screen of FIG. In the design 3D model 31, the polygon data in the virtual space and the data taken in the real space (live-action space) are associated with each other in advance. Then, when the live-action data of the component 303 corresponding to the search result of FIG. 15 exists, the screen control unit 21 may display the live-action data instead of the polygon data in the virtual space. Further, the screen control unit 21 may display the live-action data as the design 3D model 31 not only in the search result but also in the area where the live-action data exists in the virtual space.
Further, the component replacement unit 22 may create a replacement 3D model 32 that overwrites the symbol data 304x and 305x for the component determined to be difficult to see in S21.
As a result, the user can experience the atmosphere when working in the field more concretely by referring to the live-action data having a more realistic feeling than the polygon data.

以上説明した本実施形態では、図5に示したように、あらかじめ現在のカメラ視野から見やすい領域と、見づらい領域とをあらかじめ定義しておく。そして、部品置換部22は、設計3Dモデル31のうちの見づらい領域の部品については系統図データ33のシンボルなどの簡易的な図形に置き換えて置換後3Dモデル32として表示する。
これにより、見やすい領域のポリゴンの立体形状は残しつつ、現在の視野から見づらい領域についてもユーザに何が存在するかを適切に把握させることができる。また、簡易的な図形は描画コストが少なくて済むので、1画面上に多くの部品を描画できたり、描画回数(フレームレート)を向上させたりすることで、VR体験の質を高めることができる。
In the present embodiment described above, as shown in FIG. 5, a region that is easy to see from the current camera field of view and a region that is difficult to see are defined in advance. Then, the component replacement unit 22 replaces the component in the difficult-to-see region of the design 3D model 31 with a simple figure such as a symbol of the system diagram data 33 and displays it as the 3D model 32 after replacement.
This makes it possible for the user to appropriately grasp what exists even in an area that is difficult to see from the current field of view, while retaining the three-dimensional shape of the polygon in the area that is easy to see. In addition, since the drawing cost of a simple figure is low, the quality of the VR experience can be improved by drawing many parts on one screen and improving the number of drawing times (frame rate). ..

さらに、本実施形態では、図14に示したように、ある部品に着目すると、接続強調部23は、その部品と接続関係を有する周囲の部品を強調表示するための接続後3Dモデル34を作成する。この接続関係は、事前に系統図データ33で定義された機能的接続関係である。これにより、複数の配管が空間内を複雑に走査して立体的な認識が困難な状況であっても、作業者は、作業対象となる部品群や要注意の部品群を強調表示から適切に読み取ることができる。 Further, in the present embodiment, as shown in FIG. 14, focusing on a certain component, the connection highlighting unit 23 creates a post-connection 3D model 34 for highlighting the surrounding components having a connection relationship with the component. To do. This connection relationship is a functional connection relationship defined in advance in the system diagram data 33. As a result, even in a situation where multiple pipes scan the space in a complicated manner and it is difficult to recognize three-dimensionally, the operator can appropriately highlight the parts to be worked on and the parts to be watched. Can be read.

なお、前記の部品置換部22や接続強調部23による設計3Dモデル31のデータ加工処理は、空間表示装置2が情報処理として計算するものなので、専門家にデータ加工作業を委託する必要がなくなる。
以上により、単に仮想空間の内部を歩くVR体験では無く、仮想空間の内部で各種作業を行うのに役立つVR体験を得ることができる。これにより、空間表示システムで充分な事前体験を得たユーザは、その後の実際のプラント建設・運転・保守・廃止措置の各工程を円滑に実施できることが期待される。
Since the data processing of the design 3D model 31 by the component replacement unit 22 and the connection emphasis unit 23 is calculated by the spatial display device 2 as information processing, it is not necessary to outsource the data processing work to an expert.
From the above, it is possible to obtain a VR experience that is useful for performing various tasks inside the virtual space, not simply a VR experience that walks inside the virtual space. As a result, it is expected that the user who has obtained sufficient prior experience with the spatial display system can smoothly carry out each process of actual plant construction, operation, maintenance, and decommissioning thereafter.

なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
The present invention is not limited to the above-described embodiment, and includes various modifications. For example, the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to those having all the described configurations.
Further, it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment, and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
Further, it is possible to add / delete / replace a part of the configuration of each embodiment with another configuration. Further, each of the above configurations, functions, processing units, processing means and the like may be realized by hardware by designing a part or all of them by, for example, an integrated circuit.
Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function.

各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、SSD(Solid State Drive)などの記録装置、または、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)などの記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
さらに、各装置を繋ぐ通信手段は、無線LANに限定せず、有線LANやその他の通信手段に変更してもよい。
Information such as programs, tables, and files that realize each function can be stored in memory, hard disks, recording devices such as SSDs (Solid State Drives), IC (Integrated Circuit) cards, SD cards, DVDs (Digital Versatile Discs), etc. Can be placed on the recording medium of.
In addition, the control lines and information lines indicate those that are considered necessary for explanation, and do not necessarily indicate all the control lines and information lines in the product. In practice, it can be considered that almost all configurations are interconnected.
Further, the communication means for connecting each device is not limited to the wireless LAN, and may be changed to a wired LAN or other communication means.

2 空間表示装置
11 キーボード
12 マウス
13 コントローラ
14 HMD
15 表示装置
21 画面制御部
22 部品置換部(部品表示制御部)
23 接続強調部(接続表示制御部)
3 データベース
31 設計3Dモデル
32 置換後3Dモデル
33 系統図データ
34 接続後3Dモデル
35 付加データ
2 Spatial display device 11 Keyboard 12 Mouse 13 Controller 14 HMD
15 Display device 21 Screen control unit 22 Parts replacement unit (Parts display control unit)
23 Connection emphasis section (connection display control section)
3 Database 31 Design 3D model 32 Replaced 3D model 33 System diagram data 34 After connection 3D model 35 Additional data

Claims (7)

仮想空間に表示される立体形状データは、その構成要素である部品ごとに検索キーとなる識別情報が定義されており、
所定のカメラ視野から視認した前記立体形状データを仮想空間として表示するとともに、前記所定のカメラ視野の更新に連動して仮想空間の表示内容も更新する画面制御部と、
前記所定のカメラ視野からの視認が良好な仮想空間内の第1領域と、その第1領域以外の領域である仮想空間内の第2領域とに区分しておき、仮想空間内に配置する各部品について、前記第1領域内に位置する部品の表示形態と、前記第2領域内に位置する部品の表示形態とを異なる形態とする部品表示制御部と、を有し、
前記画面制御部は、入力された検索キーに合致する部品を前記立体形状データから検索し、その検索結果である部品を視認させるように前記所定のカメラ視野を変更することを特徴とする
空間表示装置。
The three-dimensional shape data displayed in the virtual space has identification information that serves as a search key defined for each component that is a component of the three-dimensional shape data.
The three-dimensional shape data viewed from a given camera view and displays a virtual space, and a screen control unit also update the display contents of the virtual space in conjunction with the updating of the predetermined camera view,
Each of the first area in the virtual space having good visibility from the predetermined camera field of view and the second area in the virtual space other than the first area are divided and arranged in the virtual space. for parts, it possesses a display form of the components located in the first area, and the part display control unit to display form and the different forms of components located in the second region, and
The screen control unit searches for a component that matches the input search key from the three-dimensional shape data, and changes the predetermined camera field of view so that the component that is the search result can be visually recognized. apparatus.
前記部品表示制御部は、前記所定のカメラ視野の起点となるカメラ位置からの距離が所定距離よりも短い領域を前記第1領域とし、仮想空間内の距離が所定距離よりも長い領域を前記第2領域とすることを特徴とする
請求項1に記載の空間表示装置。
The component display control unit defines a region in which the distance from the camera position, which is the starting point of the predetermined camera field of view, is shorter than the predetermined distance as the first region, and the region in the virtual space where the distance is longer than the predetermined distance is the first region. The spatial display device according to claim 1, wherein the spatial display device has two regions.
前記部品表示制御部は、前記所定のカメラ視野におけるカメラの向きが正面方向から所定角度の範囲内にあるビューポートを形成し、前記ビューポートの範囲内を前記第1領域とし、前記ビューポートの範囲外を前記第2領域とすることを特徴とする
請求項1に記載の空間表示装置。
The component display control unit forms a viewport in which the direction of the camera in the predetermined camera field of view is within a range of a predetermined angle from the front direction, and the range of the viewport is defined as the first region of the viewport. The spatial display device according to claim 1, wherein the area outside the range is the second area.
前記画面制御部は、仮想空間内に位置する部品が選択されると、その選択された部品に対する操作内容を仮想空間の表示内容に反映させることを特徴とする
請求項1ないし請求項3のいずれか1項に記載の空間表示装置。
The screen control unit is any of claims 1 to 3, wherein when a component located in the virtual space is selected, the operation content for the selected component is reflected in the display content of the virtual space. The spatial display device according to item 1.
前記画面制御部は、仮想空間内に表示する付加データとして、仮想空間内に存在する要素の空間分布情報を表示することを特徴とする
請求項1ないし請求項3のいずれか1項に記載の空間表示装置。
The method according to any one of claims 1 to 3, wherein the screen control unit displays spatial distribution information of elements existing in the virtual space as additional data to be displayed in the virtual space. Spatial display device.
仮想空間に表示される前記立体形状データは、その構成要素である部品ごとに他の部品との接続関係が定義されており、
前記空間表示装置は、さらに、所定の部品が選択されると、所定の部品に加え、その部品と接続関係を有する他の部品集合を強調表示する接続表示制御部を有することを特徴とする
請求項1ないし請求項3のいずれか1項に記載の空間表示装置。
The three-dimensional shape data displayed in the virtual space has a connection relationship with other parts defined for each component that is a component thereof.
The space display device further includes a connection display control unit that highlights, in addition to the predetermined component, another set of components having a connection relationship with the predetermined component when a predetermined component is selected. The spatial display device according to any one of items 1 to 3.
仮想空間に表示される立体形状データは、その構成要素である部品ごとに検索キーとなる識別情報が定義されており、
空間表示装置は、画面制御部と、部品表示制御部とを有しており、
前記画面制御部は、所定のカメラ視野から視認した前記立体形状データを仮想空間として表示するとともに、前記所定のカメラ視野の更新に連動して仮想空間の表示内容も更新し、
前記部品表示制御部は、前記所定のカメラ視野からの視認が良好な仮想空間内の第1領域と、その第1領域以外の領域である仮想空間内の第2領域とに区分しておき、仮想空間内に配置する各部品について、前記第1領域内に位置する部品の表示形態と、前記第2領域内に位置する部品の表示形態とを異なる形態とし、
前記画面制御部は、入力された検索キーに合致する部品を前記立体形状データから検索し、その検索結果である部品を視認させるように前記所定のカメラ視野を変更することを特徴とする
空間表示方法。
The three-dimensional shape data displayed in the virtual space has identification information that serves as a search key defined for each component that is a component of the three-dimensional shape data.
The spatial display device has a screen control unit and a component display control unit.
The screen control unit, the three-dimensional shape data viewed from a given camera view and displays a virtual space, also updates the display contents of the virtual space in conjunction with the updating of the predetermined camera view,
The component display control unit is divided into a first region in the virtual space that is easily visible from the predetermined camera field of view and a second region in the virtual space that is a region other than the first region. For each component arranged in the virtual space, the display form of the component located in the first area and the display form of the component located in the second area are different .
The screen control unit searches for a component that matches the input search key from the three-dimensional shape data, and changes the predetermined camera field of view so that the component that is the search result can be visually recognized. Method.
JP2017109369A 2017-06-01 2017-06-01 Spatial display device and spatial display method Active JP6867883B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017109369A JP6867883B2 (en) 2017-06-01 2017-06-01 Spatial display device and spatial display method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017109369A JP6867883B2 (en) 2017-06-01 2017-06-01 Spatial display device and spatial display method

Publications (2)

Publication Number Publication Date
JP2018205974A JP2018205974A (en) 2018-12-27
JP6867883B2 true JP6867883B2 (en) 2021-05-12

Family

ID=64957174

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017109369A Active JP6867883B2 (en) 2017-06-01 2017-06-01 Spatial display device and spatial display method

Country Status (1)

Country Link
JP (1) JP6867883B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7331738B2 (en) * 2020-03-06 2023-08-23 横河電機株式会社 DRAWING MANAGEMENT DEVICE, DRAWING MANAGEMENT SYSTEM, DRAWING MANAGEMENT METHOD, AND PROGRAM
JP7461216B2 (en) 2020-05-21 2024-04-03 三菱重工業株式会社 Mobile information terminal, control method and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018188A (en) * 2005-07-06 2007-01-25 Hitachi Ltd System, method and apparatus for information presentation through extended sense of reality, and computer program
JP4989383B2 (en) * 2007-09-10 2012-08-01 キヤノン株式会社 Information processing apparatus and information processing method
JP4913913B2 (en) * 2010-04-28 2012-04-11 新日鉄ソリューションズ株式会社 Information processing system, information processing method, and program
BR112015019639A2 (en) * 2013-02-22 2017-07-18 Sony Corp device and image display method, storage medium, and monitoring system
JP5762600B1 (en) * 2014-06-06 2015-08-12 キヤノン株式会社 Information processing apparatus and information processing method
JP6421543B2 (en) * 2014-10-17 2018-11-14 セイコーエプソン株式会社 Head-mounted display device, method for controlling head-mounted display device, computer program

Also Published As

Publication number Publication date
JP2018205974A (en) 2018-12-27

Similar Documents

Publication Publication Date Title
JP6643170B2 (en) Work support system and method
CN106652045B (en) Method, system, and medium for comparing 3D modeled objects
CA2947533C (en) Integrating external algorithms into a flexible framework for imaging visualization data
KR20170041905A (en) Remote expert system
EP2024961A2 (en) Geographic information system (gis) for displaying 3d geospatial images with reference markers and related methods
CN101866379B (en) Method, program and product edition system for visualizing objects displayed on a computer screen
CN108604256B (en) Component information search device, component information search method, and program
US20150088474A1 (en) Virtual simulation
JP6867883B2 (en) Spatial display device and spatial display method
JP2017016577A (en) Information processor, and control method, and program, for the same
US7437684B2 (en) Graphical interface system for manipulating a virtual dummy
Lee et al. Design patterns for situated visualization in augmented reality
JP2010277115A (en) Harness verification device and harness verification program
US10388074B2 (en) Generating immersive media visualizations for large data sets
CN106354905A (en) Computation of a measurement on a set of geometric elements of a modeled object
US9786090B2 (en) System for colocating a touch screen and a virtual object, and device for manipulating virtual objects implementing such a system
US7502027B1 (en) Electronic drawing viewer
EP3594906B1 (en) Method and device for providing augmented reality, and computer program
Kelly et al. Interactive dimensioning of parametric models
JP2009123076A (en) Three-dimensional cad system program
JP5038250B2 (en) Information processing apparatus, information processing method, and program
JP2006343954A (en) Image processing method and image processor
JP3413145B2 (en) Virtual space editing method and virtual space editing device
JP2007213437A (en) Information-processing method and information-processing device
JP6264208B2 (en) Display program, display method, and display device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210209

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210409

R150 Certificate of patent or registration of utility model

Ref document number: 6867883

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250