JP2020204805A - 表示方法、画像生成装置、及び、プログラム - Google Patents

表示方法、画像生成装置、及び、プログラム Download PDF

Info

Publication number
JP2020204805A
JP2020204805A JP2019110846A JP2019110846A JP2020204805A JP 2020204805 A JP2020204805 A JP 2020204805A JP 2019110846 A JP2019110846 A JP 2019110846A JP 2019110846 A JP2019110846 A JP 2019110846A JP 2020204805 A JP2020204805 A JP 2020204805A
Authority
JP
Japan
Prior art keywords
virtual space
image
point cloud
control unit
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019110846A
Other languages
English (en)
Inventor
慎一 小柴
Shinichi Koshiba
慎一 小柴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019110846A priority Critical patent/JP2020204805A/ja
Priority to US16/893,061 priority patent/US20200394844A1/en
Priority to CN202010509804.XA priority patent/CN112087550A/zh
Publication of JP2020204805A publication Critical patent/JP2020204805A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00795Reading arrangements
    • H04N1/00827Arrangements for reading an image from an unusual original, e.g. 3-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/24Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/56Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】実際の装置を動かすことなく、干渉するか否かの確認を行うための表示を行うことができる表示方法を提供する。【解決手段】表示方法は、現実空間から取得した点群データDから構成される第1オブジェクトob1を含む仮想空間vsに、第2オブジェクトob2を重ねて表示する表示方法であって、第2オブジェクトob2を当該第2オブジェクトob2の可動域に亘って掃引し(S24)、第2オブジェクトob2が掃引された領域に対応する第3オブジェクトob3を生成し(S25)、第3オブジェクトob3を仮想空間vsに重ねて表示するための情報を出力する(S28)ことを含む。【選択図】図8

Description

本発明は、表示方法、画像生成装置、及び、プログラムに関する。
従来、工場などにおいて新設備を設置する場合、新設備と既存設備との干渉の確認がシミュレーションにより行われることがある。特許文献1には、形状が変化する実物体(新設備)の3次元画像を時系列的に取得し、取得された時系列的な3次元画像を用いて、干渉するか否かの判定を行う3次元モデルシミュレータが開示されている。
特開2002−230057号公報
上記のように、従来技術によれば、干渉するか否かの判定を行うために、実際に装置を動かして(例えば、装置の形状を変化させて)、当該装置の可動域を撮影する必要があり、手間であった。
そこで、本発明は、実際の装置を動かすことなく、干渉するか否かの確認を行うための表示を行うことができる表示方法等を提供する。
本発明の一態様に係る表示方法は、現実空間から取得した第1点群データから構成される第1オブジェクトを含む仮想空間に、第2オブジェクトを重ねて表示するための表示方法であって、前記第2オブジェクトを当該第2オブジェクトの可動域に亘って掃引し、前記第2オブジェクトが掃引された領域に対応する第3オブジェクトを生成し、前記第3オブジェクトを前記仮想空間に重ねて表示するための情報を出力することを含む。
また、本発明の一態様に係る画像生成装置は、現実空間から取得した点群データから構成される第1オブジェクトを含む仮想空間に、第2オブジェクトを重ねて得られた仮想空間の画像を生成する画像生成装置であって、回路と、メモリとを備え、前記回路は、前記メモリを用いて、前記第2オブジェクトを当該第2オブジェクトの可動域に亘って掃引し、前記第2オブジェクトが掃引された領域に対応する第3オブジェクトを生成し、前記第3オブジェクトを前記仮想空間に重ねて表示するための前記画像を出力する。
また、本発明の一態様に係るプログラムは、上記の表示方法をコンピュータに実行させるためのプログラムである。
なお、これらの包括的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能なCD−ROMなどの記録媒体で実現されてもよく、システム、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本発明の一態様に係る表示方法等によれば、実際の装置を動かすことなく、干渉するか否かの確認を行うための表示を行うことができる。
図1は、実施の形態1に係る表示システムの機能構成を示すブロック図である。 図2は、実施の形態1に係る点群データの一例を示す図である。 図3は、実施の形態1に係る動線情報の一例を示す図である。 図4は、実施の形態1に係る表示システムの動作を示すシーケンス図である。 図5は、実施の形態1に係る仮想空間に第2オブジェクトを重畳した図である。 図6は、図5に示す仮想空間に第3オブジェクトを重畳した図である。 図7は、点群データの掃引の一例を示す図である。 図8は、実施の形態1に係る画像生成装置の動作を示すフローチャートである。 図9は、実施の形態1の変形例に係る画像生成装置の動作を説明するためのフローチャートである。 図10は、実施の形態1の変形例に係る表示画像の一例を示す図である。 図11は、実施の形態2に係る画像生成装置の動作を示すフローチャートである。 図12は、実施の形態2に係る仮想空間に第2オブジェクトを重畳した図である。 図13は、図12に示す仮想空間に第3オブジェクトを重畳した図である。
以下、実施の形態について、図面を参照しながら説明する。以下で説明する実施の形態は、いずれも包括的または具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
また、各図は模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付し、重複する説明は省略または簡略化される場合がある。
(実施の形態1)
[1.表示システムの構成]
まず、実施の形態に係る表示システムの構成について、図1を参照しながら説明する。図1は、本実施の形態に係る表示システム1の機能構成を示すブロック図である。
図1に示すように、表示システム1は、センサ10と、画像生成装置20と、表示装置30とを備える。表示システム1は、現実空間から取得した点群データから構成される第1オブジェクトを含む仮想空間に、第2オブジェクトを重ねて表示するためのシステムである。具体的には、表示システム1は、第2オブジェクトが第1オブジェクトと干渉するか否かを判定するための画像を生成し、表示するシステムである。
また、表示システム1は、例えば、工場内のレイアウトが変更される場合における、変更後のレイアウトにおいて設備間に干渉が発生していないか否かを確認するために用いられる。以下では、表示システム1が工場において新設備が設置される場合における、新設備と既存設備との干渉を確認するために用いられる例について説明するが、適用例はこれに限定されない。
なお、この場合、第1オブジェクトは、既存設備(又は既存設備に対応するオブジェクト)であり、第2オブジェクトは、新設備(又は新設備に対応するオブジェクト)である。既存設備は、例えば、現在の工場を構成する装置、配管などである。新設備は、例えば、新しく工場に設置される装置である。以下では、新設備がパイプに対してU字形に曲げ加工を行うヘアピン曲げ機である例について説明する。また、現実空間は、例えば、工場の内部空間である。
センサ10は、現実空間から取得した点群データから構成される第1オブジェクトを含む仮想空間(例えば、シミュレーション空間)を生成するための計測を行う装置である。センサ10は、3Dスキャナ(例えば、3Dレーザスキャナ)により実現される。
センサ10は、対象物(ここでは、現実の工場内部)を3次元スキャン(例えば、3次元レーザスキャン)して、対象物の表面の3次元形状を示す点群データを取得する。そして、センサ10は、取得した点群データを画像生成装置20に出力する。
センサ10は、例えば、互いに異なる複数箇所から計測を行い、それぞれの箇所において取得した点群データを画像生成装置20に出力する。なお、表示システム1が備えるセンサ10の数は、1つである例について説明したが、2以上であってもよい。
点群データは、例えば、図2に示すように、点それぞれの位置(x、y、z)、当該位置における反射強度(I)、及び、当該位置における色(R、G、B)の情報を含む。図2は、点群データDの一例を示す図である。なお、点群データDは、位置、反射強度、及び、色のうち位置のみを含んでいればよい。また、点群データDは、第1点群データの一例である。
画像生成装置20は、新設備の3次元情報、及び、センサ10から取得した点群データDに基づいて、新設備が既存設備と干渉するか否かを判定するための画像を生成し、出力する処理を行う処理装置である。画像生成装置20は、取得部21と、制御部22と、記憶部23と、出力部24とを有する。なお、画像生成装置20は、画像生成装置の一例である。
取得部21は、センサ10と通信可能に接続され、センサ10から点群データDを取得する。取得部21は、例えば、無線通信モジュール又は無線通信回路であり、点群データDをセンサ10から無線通信によって取得する。なお、無線通信の通信規格は、特に限定されない。また、無線通信は、電波通信であるが光通信などであってもよい。
制御部22は、センサ10から取得した複数箇所の点群データDに基づいて、第1オブジェクトを含む仮想空間を生成する。制御部22は、生成した仮想空間の情報を、記憶部23に格納する。また、制御部22は、工場に新しく設置される新設備の3次元情報及び当該新設備の可動部の可動域を示す情報(以降において、動線情報とも記載する)に基づいて、可動部を可動域に亘って掃引し、掃引された領域に対応する第3オブジェクトを生成する。なお、新設備の3次元情報(3次元データ)は、新設備が静止状態であるときの3次元形状を示すデータである。3次元情報は、例えば、CADデータに基づくデータであってもよいし、センサ10により静止状態の新設備を計測した点群データに基づくデータであってもよい。具体的には、3次元情報は、新設備のCADデータ又は点群データを変換したソリッドデータ、サーフェスデータ、又は、ポリゴンデータである。また、3次元情報は、センサ10により静止状態の新設備を計測した点群データであってもよい。なお、静止状態は、新設備の可動部が可動してない、例えば、可動部が初期位置に配置されている状態を意味する。また、本実施の形態においては、第3オブジェクトは、ヘアピン曲げ機の可動部mpである曲げ部の可動域に対応するオブジェクトである。
また、制御部22は、新設備を配置したときの既存設備との干渉を確認するための情報を、出力部24を介して表示装置30に出力する制御を行う。制御部22は、具体的には、第3オブジェクトを仮想空間に重ねて表示するための情報を、出力部24を介して表示装置30に出力する制御を行う。制御部22は、例えば、仮想空間及び第3オブジェクトの情報を表示装置30に直接出力してもよいし、当該情報を収集するサーバ装置(図示しない)に出力してもよい。
制御部22は、具体的には、マイクロコンピュータであるが、プロセッサ又は専用回路によって実現されてもよい。制御部22は、マイクロコンピュータ、プロセッサ、及び、専用回路の2つ以上の組み合わせによって実現されてもよい。制御部22の具体的な態様は、特に限定されない。
記憶部23は、制御部22が実行する制御プログラムを格納する記憶装置である。また、記憶部23は、新設備の3次元情報及び当該新設備の動線情報を格納する。図3は、本実施の形態に係る動線情報Tの一例を示す図である。
図3に示すように、動線情報Tは、設備名、可動部、及び、可動範囲を示す情報を含む。
設備名は、新しく設置する新設備を特定するための情報である。図3の例では、設備名=装置名である例を示しているが、これに限定されず、新設備の型番などであってもよい。なお、新設備は、ヘアピン曲げ機のように、据え置き型の装置であり、その一部が可動する装置であってもよいし、AGV(Automated Guided Vehicle:無人搬送車)のように、装置自体が移動する装置であってもよい。
可動部は、新設備において動かすことができる部分を特定するための情報である。図3の例では、新設備(例えば、ヘアピン曲げ機)の一部分である曲げ部が可動部である例を示している。なお、可動部が「全体」とは、当該新設備全体が動く(移動する)ことを意味する。
可動範囲は、可動部の可動量、可動方向など、可動に関する情報である。可動範囲は、例えば、カタログ等に記載されている値(例えば、最大の可動量)であってもよいし、使用予定の可動量が決まっている場合は、使用予定の可動量であってもよい。
また、記憶部23は、取得部21を介して取得した情報(例えば、点群データなど)を格納してもよい。具体的には、記憶部23は、図2に示す点群データDなどを格納してもよい。記憶部23は、例えば、半導体メモリなどによって実現される。
出力部24は、制御部22の制御に基づいて、第3オブジェクトを仮想空間に重ねて表示するための情報を表示装置30に出力する。出力部24は、例えば、無線通信モジュール又は無線通信回路であり、第3オブジェクトを表示装置30に無線通信によって出力する。なお、無線通信の通信規格は、特に限定されない。また、無線通信は、電波通信であるが光通信などであってもよい。
なお、上記では、取得部21及び出力部24は、無線通信モジュール又は無線通信回路である例について説明したが、これに限定されず、有線通信モジュール又は有線通信回路であってもよい。また、取得部21は、USB(Universal Serial Bus)メモリなどの記録媒体を介して点群データを取得してもよい。また、出力部24は、USBメモリなどの記録媒体を介して第3オブジェクトを仮想空間に重ねて表示するための情報を出力してもよい。
表示装置30は、画像生成装置20から取得した情報を画像として表示する。画像は、写真、動画、イラスト、文字等を含む。表示装置30が出力した画像は作業者によって視認され、干渉しているか否かの確認等に用いられる。表示装置30は、液晶ディスプレイ等により実現される。表示装置30は、パーソナルコンピュータと接続されるディスプレイであってもよいし、スマートフォン又はタブレットなどの携帯端末などが有するディスプレイであってもよいし、VRゴーグルなどが有するディスプレイであってもよい。
表示装置30は、画像生成装置20から取得した情報を出力する出力装置の一例である。なお、表示システム1は、出力装置として、表示装置30に替えて又は表示装置30とともに、出音装置(例えば、スピーカ)、プロジェクタなどの対象物(例えば、スクリーン)に情報を表示する装置、発光装置などの光(例えば、光の色)で情報を出力する装置などを備えていてもよい。
[2.表示システムの動作]
次に、上記のような表示システム1における動作について、図4〜図8を参照しながら説明する。図4は、本実施の形態に係る表示システム1の動作を示すシーケンス図である。
図4に示すように、センサ10は、第1オブジェクト(既存設備)を含む現実空間の3次元スキャンにより生成された点群データD(図2を参照)を画像生成装置20に出力する(S1)。センサ10は、複数の測定箇所のそれぞれにおける点群データDを画像生成装置20に出力する。
画像生成装置20は、第1オブジェクトを含む現実空間の3次元スキャンにより生成された点群データを取得する(S2)。具体的には、取得部21は、センサ10から出力された点群データを取得する。そして、制御部22は、複数箇所で計測された点群データに基づいて、第1オブジェクトを含む仮想空間を生成する(S3)。制御部22は、複数箇所で計測された点群データから1つの仮想空間を生成する方法は特に限定されず、従来技術が用いられてもよい。したがって、仮想空間の生成方法の説明は簡略化する。
制御部22は、例えば、複数箇所のそれぞれで計測された複数の点群データの位置データを、同一の3次元空間における位置データに変換する。制御部22は、例えば、工場内におけるマーカ位置の座標(例えば、測量座標)に基づいて、複数の点群データを絶対座標空間に配置することで、1つの仮想空間を生成する。マーカ位置は、センサ10による複数箇所の計測のそれぞれにおいて、当該計測を行う箇所における計測範囲内に少なくとも1つ設けられる。図5は、本実施の形態に係る仮想空間vsに第2オブジェクトob2を重畳した図である。なお、図5は、仮想空間vsをある視点から見た画像を示す。
図5に示すように、制御部22は、取得部21を介して取得した点群データに基づいて、第1オブジェクトob1を含む仮想空間vsを生成する。なお、図5では、第2オブジェクトob2も図示しているが、ステップS3においては、第2オブジェクトob2を除く仮想空間vsが生成される。制御部22は、生成した仮想空間vsを記憶部23に格納してもよい。
次に、制御部22は、第2オブジェクトob2の3次元データを取得する(S4)。制御部22は、例えば、記憶部23に格納されている第2オブジェクトob2の3次元データを読み出すことで、第2オブジェクトob2の3次元データを取得してもよい。そして、制御部22は、例えば、仮想空間vsに第2オブジェクトob2を重畳する。図5は、仮想空間vsに第2オブジェクトob2を重畳した画像を示す。なお、以下では、3次元データがソリッドデータである例を説明する。
図5に示すように、仮想空間vsに第2オブジェクトob2が重畳される。言い換えると、点群データで構成された3次元空間の中に、第2オブジェクトob2が配置される。ここで、図5に示す画像においては、第1オブジェクトob1と第2オブジェクトob2とは、互いに干渉していない。しかしながら、図5に示す画像において、第2オブジェクトob2が有する可動部の可動域が表示されていない。つまり、図5に示す画像では、第2オブジェクトob2が可動したときに、第1オブジェクトob1と第2オブジェクトob2とが干渉するか否かが判定できない。
図4を再び参照して、そこで、制御部22は、仮想空間vsに第2オブジェクトob2の可動部の可動域を示すデータを重畳して表示する処理(S5〜S8)を行う。具体的には、制御部22は、第2オブジェクトob2における動線情報Tを取得する(S5)。制御部22は、例えば、記憶部23に格納されている動線情報Tを読み出すことで、第2オブジェクトob2に対応する動線情報Tを取得してもよい。なお、図5に示す破線矢印は、可動部(曲げ部)の可動時の軌跡を示している。当該軌跡は、動線情報Tに基づく。
次に、制御部22は、第2オブジェクトob2を可動域に亘って掃引し、掃引領域に係る第3オブジェクトob3を生成する(S6)。第3オブジェクトob3は、第2オブジェクトob2の可動部の可動域に対応するオブジェクトである。これにより、実際に新設備を動かさなくても、可動域をモデル化することができる。なお、第3オブジェクトob3は、例えば、第2オブジェクトob2がソリッドデータで構成される場合、ソリッドデータで構成される。
次に、制御部22は、第1オブジェクトob1と第3オブジェクトob3とを含む仮想空間vsの表示画像を生成する(S7)。具体的には、制御部22は、第1オブジェクトob1を含む仮想空間vsに第3オブジェクトob3を重畳して得られた仮想空間をある視点から見た画像である表示画像を生成する。図6は、図5に示す仮想空間vsに第3オブジェクトob3を重畳した図である。ある視点とは、例えば、第1オブジェクトob1と第3オブジェクトob3との干渉を検証することが可能な視点である。
図6に示すように、制御部22は、第2オブジェクトob2の可動部mpの位置に、可動部mpの可動域に対応する第3オブジェクトob3を重畳する。
図4を再び参照して、次に、制御部22は、出力部24を介して、生成した表示画像を表示装置30に出力する(S8)。制御部22は、例えば、図6に示す画像を表示画像として表示装置30に出力する。表示画像は、画像の一例である。
次に、表示装置30は、画像生成装置20から出力された表示画像を取得し(S9)、取得した表示画像を表示する(S10)。作業者は、表示装置30に表示された表示画像を確認することで、第1オブジェクトob1と第3オブジェクトob3とが干渉しているか否かを判断することができる。また、第1オブジェクトob1を構成する点群データに色の情報が含まれていることで、作業者は、工場内の実際の様子に近い表示画像により、第1オブジェクトob1と第3オブジェクトob3とが干渉しているか否かを判断することができる。
なお、ステップS4において、第2オブジェクトob2がソリッドデータで構成され、第3オブジェクトob3もソリッドデータで構成される例について説明したが、これに限定されない。例えば、第2オブジェクトob2がサーフェスデータで構成され、第2オブジェクトob2を掃引した第3オブジェクトob3もサーフェスデータで構成されてもよい。また、第2オブジェクトob2がポリゴンデータで構成され、第2オブジェクトob2を掃引した第3オブジェクトob3もポリゴンデータで構成されてもよい。また、第2オブジェクトob2が点群データで構成され、第2オブジェクトob2を掃引した第3オブジェクトob3も点群データで構成されてもよい。
また、第3オブジェクトob3は、第2オブジェクトob2を掃引したサーフェスデータ、又は、点群データに基づいて構成されるデータであってもよい。例えば、第3オブジェクトob3は、第2オブジェクトob2を掃引したサーフェスデータ、又は、点群データを変換したソリッドデータで構成されてもよい。
ここで、一例として点群データを掃引する方法について、図7を参照しながら説明する。図7は、点群データの掃引の一例を示す図である。具体的には、第2オブジェクトob2の可動部の一部を示しているとする。
図7の(a)に示すように、まず、第2オブジェクトob2を構成する複数の点p(点群データに基づく点群)中から、掃引する対象である点群を選択する。図7の(a)では、破線枠内の点群が掃引する対象である点群である例を示している。つまり、図7の(a)の破線枠内の点群は、可動部mpを構成する点群である。
なお、図7の(a)に示す破線矢印は、可動部の動線情報を示しており、破線矢印の方向は、可動方向を示しており、破線矢印の長さは可動量を示している。
図7の(b)は、図7の(a)で選択した点群を掃引した図を示す。例えば、選択した点群を、破線矢印に沿って所定間隔でコピーすることで、点群を掃引する。コピーされた点群は、第3オブジェクトob3の一例である。
なお、第2オブジェクトob2がサーフェスデータ又はポリゴンデータである場合であっても、同様の方法により第2オブジェクトob2を掃引可能である。
また、制御部22は、第3オブジェクトob3がサーフェスデータ、ポリゴンデータ、又は、点群データにより構成される場合、第1オブジェクトob1と第3オブジェクトob3とを互いに異なる色で表示するように表示画像を生成してもよい。これにより、作業者は、色の違いにより第1オブジェクトob1と第3オブジェクトob3とが干渉しているか否かを判断することができるので、より容易に干渉しているか否かの判断を行うことができる。作業者は、例えば、第1オブジェクトob1及び第3オブジェクトob3の両方が点群データにより生成されている場合に、第1オブジェクトob1及び第3オブジェクトob3を互いに異なる色で表示することで、特に干渉しているか否かの判断を容易に行うことができる。
次に、画像生成装置20の動作について、図8を参照しながら説明する。図8は、本実施の形態に係る画像生成装置20の動作を示すフローチャートである。なお、図8に示す一連の動作は、表示方法の一例である。
図8に示すように、制御部22は、点群データから構成される第1オブジェクトob1を含む仮想空間vsを読み込む(S21)。制御部22は、例えば、ステップS3において点群データに基づいて生成し記憶部23に格納した、第1オブジェクトob1を含む仮想空間vsを記憶部23から読み出す。
次に、制御部22は、仮想空間vsに配置する第2オブジェクトob2を読み込む(S22)。制御部22は、例えば、予め記憶部23に格納されている第2オブジェクトob2を記憶部23から読み出し、例えば、仮想空間vsに配置する。ステップS22は、図4に示すステップS4に相当する。
次に、制御部22は、第2オブジェクトob2が可動か否かを判定する(S23)。つまり、制御部22は、第2オブジェクトob2が可動する部分を有しているか否かを判定する。制御部22は、例えば、記憶部23に格納されている動線情報Tに含まれる「可動部」が示す情報に基づいて、第2オブジェクトob2が可能かどうか判定する。なお、制御部22は、例えば、記憶部23が第2オブジェクトob2のカタログ情報(新設備のカタログ情報)を格納している場合、当該カタログ情報に基づいてステップS23の判定を行ってもよい。
次に、制御部22は、第2オブジェクトob2は可動であると判定すると(S23でYes)、第2オブジェクトob2を可動域に亘って掃引し(S24)、第2オブジェクトob2が掃引された領域に対応する第3オブジェクトob3を生成する(S25)。具体的には、制御部22は、第2オブジェクトob2の可動部mpを動線情報Tに含まれる「可動範囲」が示す情報に基づいて掃引し、可動部mpの掃引領域に対応する第3オブジェクトob3を生成する。ステップS24及びS25は、図4に示すステップS6に相当する。
次に、制御部22は、第3オブジェクトob3を点群データから構成される仮想空間vsに配置する(S26)。これにより、第1オブジェクトob1と第3オブジェクトob3とを含む仮想空間vsの表示画像(例えば、図6に示す画像)が生成される。ステップS26は、図4に示すステップS7に相当する。また、ステップS26で生成される表示画像には、第2オブジェクトob2が含まれていてもよい。
また、制御部22は、第2オブジェクトob2が可動ではないと判定すると(S23でNo)、第2オブジェクトob2を点群データから構成される仮想空間vsに配置する(S27)。制御部22は、第2オブジェクトob2を掃引することなく、当該第2オブジェクトob2を仮想空間vsに配置する。これにより、第1オブジェクトob1と第2オブジェクトob2とを含む仮想空間vsの表示画像(例えば、図5に示す画像)が生成される。
次に、制御部22は、ステップS26又はS27で生成された表示画像を表示装置30に出力する(S28)。ステップS26の後に実行されるステップS28において出力される画像は、第3オブジェクトob3を仮想空間vsに重ねて表示するための情報の一例である。
作業者は、表示装置30に表示された表示画像を確認することで、第1オブジェクトob1と第3オブジェクトob3とが干渉しているか否かを判断することができる。作業者は、例えば、表示装置30に表示された表示画像に基づいて、新設備の設置位置などを検討することができる。
画像生成装置20が上記のような処理を実行することで、例えば、3次元CADのような可動物(本実施の形態では、新設備)の干渉チェック機能がないシミュレーションソフトにおいても、可動物の動きを考慮したシミュレーションが可能となる。また、第1オブジェクトob1を点群データのまま取り扱うほうが、例えば、第1オブジェクトがソリッドデータなどで構成するよりも処理量を少なくすることができる場合において、画像を生成するための画像生成装置20における処理量を低減することができる。つまり、上記の表示方法によれば、画像の生成速度を向上させることができる。
また、図8に示すステップS21〜S26までの一連の動作は、表示画像を生成するための動作であり、画像生成方法であるとも言える。
上記のように、本実施の形態に係る表示方法は、現実空間から取得した点群データDから構成される第1オブジェクトob1を含む仮想空間vs(第1仮想空間の一例)に、第2オブジェクトob2を配置し、得られた仮想空間vs(第2仮想空間の一例)をある視点から見た画像を表示する表示方法であって、第2オブジェクトob2を当該第2オブジェクトob2の可動域に亘って掃引し、第2オブジェクトob2が掃引された領域に対応する第3オブジェクトob3を生成し、第2オブジェクトob2を配置した仮想空間vs(第3仮想空間の一例)に第3オブジェクトob3を配置し、得られた仮想空間vs(第3仮想空間の一例)をある視点から見た画像を表示するための情報を出力することを含む。
また、上記のように、本実施の形態に係る画像生成装置20は、現実空間から取得した点群データDから構成される第1オブジェクトob1を含む仮想空間vs(第1仮想空間の一例)に、第2オブジェクトob2を配置し、得られた仮想空間vs(第2仮想空間の一例)をある視点から見た画像を生成する画像生成装置20であって、制御部22(回路の一例)と、記憶部23(メモリの一例)とを備える。制御部22は、記憶部23を用いて、第2オブジェクトob2を当該第2オブジェクトob2の可動域に亘って掃引し、第2オブジェクトob2が掃引された領域に対応する第3オブジェクトob3を生成し、第2オブジェクトob2を配置した仮想空間vs(第2仮想空間の一例)に配置し、得られた仮想空間vs(第3仮想空間)をある視点から見た画像を出力する。
なお、第2仮想空間をある視点から見た画像は、例えば、図5に示す画像である。また、第3仮想空間をある視点から見た画像は、例えば、図6に示す画像である。
[3.効果など]
以上説明したように、本実施の形態に係る表示方法は、現実空間から取得した点群データDから構成される第1オブジェクトob1を含む仮想空間vsに、第2オブジェクトob2を重ねて表示する表示方法であって、第2オブジェクトob2を当該第2オブジェクトob2の可動域に亘って掃引し(S24)、第2オブジェクトob2が掃引された領域に対応する第3オブジェクトob3を生成し(S25)、第3オブジェクトob3を仮想空間vsに重ねて表示するための情報を出力する(S28)ことを含む。
第1オブジェクトは、例えば、既存設備に対応するオブジェクトであり、第2オブジェクトは、新設備に対応するオブジェクトである。
これにより、新設備(第2オブジェクト)の可動部mpを動かすことなく、つまり新設備の時系列データを取得することなく、新設備と既存設備(第1オブジェクト)との干渉を確認することができる画像を生成することができる。作業者は、上記の方法で生成された画像を見ることで、新設備と既存設備との干渉を確認することができる。よって、本実施の形態に係る画像生成方法によれば、実際の装置を動かすことなく、干渉するか否かの確認(検証)を行うための表示を行うことができる。言い換えると、当該画像生成方法によれば、実際の装置を動かすことなく、干渉するか否かの確認(検証)を行うための画像を生成することができる。
また、第2オブジェクトob2は、点群データDに基づいて生成されたオブジェクトである。
これにより、第2オブジェクトにおける3次元CADデータなどがない場合であっても、3Dスキャナなどにより計測された点群データを用いて、上記の画像を生成することができる。
また、点群データDは、現実空間に存在する3次元物体を計測することにより得られた色データを含む。
これにより、生成される画像は、現実空間に近い画像となる。よって、作業者は、第1オブジェクトob1と第3オブジェクトob3とが干渉するか否かの判断を、より容易に行うことができる。
また、以上説明したように、本実施の形態に係る画像生成装置20は、現実空間から取得した点群データDから構成される第1オブジェクトob1を含む仮想空間vsに、第2オブジェクトob2を重ねて得られた仮想空間の画像を生成する画像生成装置20であって、制御部22(回路の一例)と、記憶部23(メモリの一例)とを備える。制御部22は、記憶部23を用いて、第2オブジェクトob2を当該第2オブジェクトob2の可動域に亘って掃引し、第2オブジェクトob2が掃引された領域に対応する第3オブジェクトob3を生成し、第3オブジェクトob3を仮想空間vsに重ねて表示するための画像を出力する。また、プログラムは、上記の表示方法をコンピュータに実行させるためのプログラムである。
これにより、上記の表示方法と同様の効果を奏する。具体的には、実際の装置を動かすことなく、干渉するか否かの確認を行うための画像を生成することができる。
(実施の形態1の変形例)
次に、実施の形態1の変形例1に係る表示システムについて、図9及び図10を参照しながら説明する。なお、本変形例に係る表示システム1及び画像生成装置20の構成は実施の形態1に係る表示システム1及び画像生成装置20と同様であり、説明を省略する。
図9は、本変形例に係る画像生成装置20の動作を示すフローチャートである。なお、図9におけるフローチャートにおいて、図8におけるフローチャートと同様の処理については、同一の符号を付し、説明を省略又は簡略する。また、以下において、第3オブジェクトob3は、ソリッドデータにより構成されているとする。
図9に示すように、制御部22は、第3オブジェクトob3を点群データから構成される仮想空間vsに配置する(S26)と、第1オブジェクトob1と第3オブジェクトob3とが干渉するか否かを判定する(S31)。制御部22は、例えば、第1オブジェクトob1を構成する点群の少なくとも1つが第3オブジェクトob3と接触する、又は、第3オブジェクトob3の内部に位置する場合に、第1オブジェクトob1と第3オブジェクトob3とが干渉すると判定する。
また、制御部22は、例えば、第1オブジェクトob1と第3オブジェクトob3とが所定の距離以下である場合に、第1オブジェクトob1と第3オブジェクトob3とが干渉すると判定してもよい。なお、ここでの干渉するとは、干渉する可能性があることを含む。所定の距離は、各種交差に基づいて決定されてもよいし、予め定められた値であってもよい。各種交差は、例えば、第1オブジェクトob1を構成する点群データの位置精度、第2オブジェクトob2の寸法公差、第3オブジェクトob3の可動域交差、及び、第2オブジェクトob2の設置交差などである。
制御部22は、第1オブジェクトob1と第3オブジェクトob3とが干渉すると判定する(S31でYes)と、第1オブジェクトob1と第2オブジェクトob2とが干渉することを示す干渉情報を生成する(S32)。干渉情報は、第1オブジェクトob1と第2オブジェクトob2とが干渉することを作業者に知らせるための情報である。本変形例では、干渉情報は、干渉することを画像で示すための情報である。なお、干渉情報は、表示システム1が出音装置を備えている場合、干渉することを音で示すための情報であってもよいし、表示システム1が発光装置を備える場合、干渉することを発光色で示すための情報であってもよい。
なお、制御部22は、ステップS31で干渉する可能性があると判定した場合、ステップS32において干渉する可能性があることを示す情報を生成してもよい。干渉する可能性があることを示す情報は、例えば、第1オブジェクトob1と第3オブジェクトob3とが接近することを示す情報であり、干渉情報に含まれる。
次に、制御部22は、表示画像及び干渉情報を、出力部24を介して表示装置30に出力する(S33)。図10は、本変形例に係る表示画像Iの一例を示す図である。
図10に示すように、制御部22は、干渉情報を表示画像Iに重畳して表示させてもよい。制御部22は、例えば、干渉する位置を示す情報(図10に示す破線丸)及び干渉することを示す情報(図10に示す「干渉しています」)を表示画像Iに重畳して表示させてもよい。
また、制御部22は、第1オブジェクトob1と第3オブジェクトob3とが干渉していないと判定する(S31でNo)と、ステップS26で生成した表示画像を、出力部24を介して表示装置30に出力する(S28)。なお、制御部22は、ステップS31でNoと判定した場合、干渉していないことを示す干渉情報を生成し、表示画像とともに表示装置30に出力してもよい。
以上説明したように、第3オブジェクトob3は、ソリッドデータで構成されており、本変形例に係る表示方法は、さらに、第1オブジェクトob1が第3オブジェクトob3と干渉するか否かを判定し(S31)、第1オブジェクトob1が第3オブジェクトob3と干渉すると判定された場合(S31でYes)に、第1オブジェクトob1と第2オブジェクトob2とが干渉することを示す情報を出力する(S33)ことを含む。
これにより、画像生成装置20などの処理装置に、第1オブジェクトob1と第3オブジェクトob3とが干渉するか否かを判定させることができる。作業者は、画像生成装置20の判定結果を見ることで、第1オブジェクトob1と第3オブジェクトob3とが干渉するか否かを容易に知ることができる。
(実施の形態2)
次に、実施の形態2に係る表示システムについて、図11〜図13を参照しながら説明する。なお、本実施の形態に係る表示システム1及び画像生成装置20の構成は実施の形態1に係る表示システム1及び画像生成装置20と同様であり、説明を省略する。
本実施の形態では、新設備は、当該新設備自体が移動する移動体(例えば、AGV)である例について説明する。表示システム1は、例えば、AGVを導入したとき、又は、AGVの走行経路を変更した場合などに適用される。
図11は、本実施の形態に係る画像生成装置20の動作を示すフローチャートである。なお、図11におけるフローチャートにおいて、図8におけるフローチャートと同様の処理については、同一の符号を付し、説明を省略又は簡略する。
図11に示すように、制御部22は、仮想空間vsに配置する第2オブジェクトob2を読み込む(S22)。制御部22は、仮想空間vsに第2オブジェクトob2を配置してもよい。図12は、本実施の形態に係る仮想空間vsに第2オブジェクトob2を重畳した図である。
図12に示すように、点群データで構成される第1オブジェクトob1を含む仮想空間vsに第2オブジェクトob2が重畳される。図12に示す画像は、ある時点における工場内の各設備の位置を示す。第2オブジェクトob2は、例えば、初期位置(移動前の位置)であるとする。なお、第2オブジェクトob2は、ソリッドデータ、サーフェスデータ、及び、ポリゴンデータ、点群データのいずれかによって構成される。
なお、図12は、仮想空間vsをある視点から見た画像を示す。本実施の形態では、ある視点は、工場の上方から下方を見る視点である。また、図12の破線矢印は、第2オブジェクトob2の動線情報を示しており、破線矢印の方向は、移動方向(可動方向)を示しており、破線矢印の長さは移動量(可動量)を示している。
図11を再び参照して、次に、制御部22は、動線情報Tに基づいて第2オブジェクトob2が可動であると判定すると(S23でYes)、第2オブジェクトob2を可動域に亘って掃引する(S24)。制御部22は、動線情報Tに含まれる可動範囲(例えば、図3に示すプログラムで特定される可動域(図12に示す破線矢印を参照)に亘って掃引する。そして、制御部22は、第2オブジェクトob2が掃引された領域に対応する第3オブジェクトob3を生成し(S25)、生成した第3オブジェクトob3を点群データから構成される仮想空間vsに配置する(S26)。すなわち、制御部22は、第1オブジェクトob1と第3オブジェクトob3とを含む仮想空間vsの表示画像を生成する。図13は、本実施の形態に係る表示画像Iの一例を示す図である。具体的には、図13は、図12に示す仮想空間vs(第2仮想空間の一例)に第3オブジェクトob3を重畳した仮想空間vs(第3仮想空間の一例)を、工場の上方から見た画像である。
図13に示すように、制御部22は、例えば、第2オブジェクトob2の初期位置からの可動領域を示す第3オブジェクトob3を重畳する。
図11を再び参照して、次に、制御部22は、点群データD(例えば、表示画像I)に基づいて空きエリア又は作業者が侵入することが可能な進入可能エリアを表示する場合、空きエリア又は侵入可能エリアがあるか否かを判定する(S41)。制御部22は、例えば、第1オブジェクトob1、第2オブジェクトob2及び第3オブジェクトob3のいずれとも重ならないエリアを空きエリア又は侵入可能エリアであると判定してもよい。制御部22は、例えば、第1オブジェクトob1、第2オブジェクトob2及び第3オブジェクトob3のいずれからも所定距離以上離れたエリアを空きエリア又は侵入可能エリアであると判定してもよい。
なお、空きエリアは、所定の広さ以上のエリアであり、例えば、作業者により予め設定される広さ以上のエリアである。空きエリアは、例えば、他の設備が配置可能か否かを確認するためのエリアであってもよい。また、進入可能なエリアは、例えば、作業者が通ることのできるエリアである。
次に、制御部22は、空きエリア又は侵入可能エリアがあると判定する(S41でYes)と、空きエリア又は侵入可能エリアを示すエリア情報を生成する(S42)。エリア情報は、空きエリア又は侵入可能エリアの位置及び範囲などを作業者に知らせるための情報である。本実施の形態では、エリア情報は、侵入可能エリアを画像で示すための情報である。
次に、制御部22は、表示画像I及びエリア情報を、出力部24を介して表示装置30に出力する(S43)。図13に示すように、制御部22は、エリア情報aを表示画像Iに重畳して表示させてもよい。図13に示すエリア情報aは、空きエリアを示す。
また、制御部22は、空きエリア又は侵入可能エリアがないと判定する(S41でNo)と、ステップS26で生成した表示画像(例えば、図13において、エリア情報aを除いた画像)を、出力部24を介して表示装置30に出力する(S28)。なお、制御部22は、ステップS41でNoと判定した場合、空きエリア又は侵入可能エリアがないことを示すエリア情報を生成し、表示画像Iとともに表示装置30に出力してもよい。
なお、本実施の形態においても、実施の形態1の変形例と同様に、制御部22は、ステップS26で生成した表示画像に基づいて、第1オブジェクトob1と第3オブジェクトob3とが干渉するか否かの判定を行ってもよい。そして、制御部22は、第1オブジェクトob1と第3オブジェクトob3とが干渉しないと判定した場合に、ステップS41以降の処理を実行してもよい。
以上説明したように、本実施の形態に係る表示方法は、さらに、仮想空間vsにおいて、点群データDに基づいて空きエリア又は作業者が侵入することが可能な侵入可能エリアを表示する場合に、第3オブジェクトob3を除いた領域を空きエリア又は作業者が侵入することが可能なエリアとして表示するための情報を出力する(S43)ことを含む。
これにより、作業者は、さらに、空きエリア又は進入可能なエリアがある場合、当該エリアを知ることができる。作業者は、当該エリアを知ることで、さらに追加の設備の配置、又は、工場内の人動線を検討することができる。
(その他の実施の形態)
以上、各実施の形態及び変形例(以降において、実施の形態等とも記載する)について説明したが、本発明は、このような実施の形態等に限定されるものではない。
例えば、実施の形態1の変形例では、制御部22は、第1オブジェクトob1と第3オブジェクトob3とが干渉すると判定した場合(図9に示すS31でYes)、干渉することを示す干渉情報を生成する例について説明したが、これに限定されない。制御部22は、例えば、可動量がどれくらいで干渉が発生したか(例えば、支点sを中心に可動部mpが何度回転したときに干渉が発生したか)を示す情報を干渉情報として表示装置30に出力してもよい。制御部22は、可動部mpの初期位置(可動前の位置)と、第1オブジェクトob1との干渉が発生した位置とに基づいて、干渉したときの可動量を算出してもよい。
また、実施の形態1において、制御部22は、さらに、第1オブジェクトob1、第2オブジェクトob2、及び、第3オブジェクトob3に基づいて、作業者が侵入可能なエリアがあるか否かを判定し、侵入可能エリアがある場合は、当該侵入可能エリアを示す情報を表示画像とともに、表示装置30に出力してもよい。
また、上記実施の形態等では、制御部22は、表示装置30に仮想空間vsに第3オブジェクトob3を重畳した画像を出力する例について説明したが、これに限定されない。制御部22は、例えば、第1オブジェクトob1を含む仮想空間vsの画像と、第3オブジェクトob3を含む画像とを異なるタイミングで表示装置30に出力してもよい。そして、表示装置30は、異なるタイミングで取得した仮想空間vs及び第3オブジェクトob3の画像において、仮想空間vsに第3オブジェクトob3を重畳し、重畳された画像を表示してもよい。
また、上記実施の形態等では、制御部22は、第1オブジェクトob1及び第3オブジェクトob3を含む仮想空間vsを1つの視点から見た画像を表示画像として生成する例について説明したが、これに限定されない。制御部22は、当該仮想空間vsを2以上の互いに異なる視点から見た2以上の画像を表示画像として生成してもよい。
また、上記実施の形態等では、第1オブジェクトob1(既存設備)は、可動しない装置などである例について説明したが、可動する装置を含んでいてもよい。制御部22は、第1オブジェクトob1が可動する場合、さらに、当該第1オブジェクトob1を可動域に亘って掃引し、掃引領域に係る第4オブジェクトを生成し、第4オブジェクトを含む仮想空間の表示画像を生成してもよい。つまり、表示画像には、第1オブジェクトob1、第2オブジェクトob2、第3オブジェクトob3、及び、第4オブジェクトが含まれていてもよい。作業者、第1オブジェクトob1及び第4オブジェクトと、第3オブジェクトob3とにより干渉するか否かを検証することができる。なお、第4オブジェクトは、点群データに基づくオブジェクトである。
また、上記実施の形態等では、画像生成装置20と接続される表示装置30が1台である例について説明したが、2台以上であってもよい。
また、図1に示すブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを1つの機能ブロックとして実現したり、1つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、上記実施の形態等では、画像生成装置20は、単一の装置で実現されていたが、互いに接続された複数の装置で実現されてもよい。また、上記実施の形態では、画像生成装置20と表示装置30とは別の装置である例について説明したが、画像生成装置20は表示装置30を備えていてもよい。
また、上記実施の形態等における表示システム1が備える装置間の通信方法については特に限定されるものではない。装置間では、無線通信が行われてもよいし、有線通信が行われてもよい。
また、フローチャートにおける各ステップが実行される順序は、本発明を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。例えば、上記ステップの一部が、他のステップと同時(並列)に実行されてもよいし、他のステップと順番が入れ替えられて実行されてもよい。
また、上記実施の形態等における画像生成装置20が備える構成要素の一部または全部は、1個のシステムLSI(Large Scale Integration:大規模集積回路)から構成されているとしてもよい。例えば、画像生成装置20は、制御部22などの処理部を有するシステムLSIから構成されてもよい。
システムLSIは、複数の構成部を1個のチップ上に集積して製造された超多機能LSIであり、具体的には、マイクロプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)などを含んで構成されるコンピュータシステムである。ROMには、コンピュータプログラムが記憶されている。マイクロプロセッサが、コンピュータプログラムに従って動作することにより、システムLSIは、その機能を達成する。
なお、ここでは、システムLSIとしたが、集積度の違いにより、IC、LSI、スーパーLSI、ウルトラLSIと呼称されることもある。また、集積回路化の手法はLSIに限るものではなく、専用回路または汎用プロセッサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)、あるいはLSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
また、本発明の一態様は、表示方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムであってもよい。また、本発明の一態様は、そのようなコンピュータプログラムが記録された、コンピュータ読み取り可能な非一時的な記録媒体であってもよい。
なお、上記実施の形態等において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態、または、本発明の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本発明に含まれる。
1 表示システム
10 センサ
20 画像生成装置
21 取得部
22 制御部
23 記憶部
24 出力部
30 表示装置
a エリア情報
D 点群データ
I 表示画像(画像)
mp 可動部
ob1 第1オブジェクト
ob2 第2オブジェクト
ob3 第3オブジェクト
p 点
s 支点
T 動線情報
vs 仮想空間

Claims (7)

  1. 現実空間から取得した第1点群データから構成される第1オブジェクトを含む仮想空間に、第2オブジェクトを重ねて表示するための表示方法であって、
    前記第2オブジェクトを当該第2オブジェクトの可動域に亘って掃引し、
    前記第2オブジェクトが掃引された領域に対応する第3オブジェクトを生成し、
    前記第3オブジェクトを前記仮想空間に重ねて表示するための情報を出力することを含む、
    表示方法。
  2. 前記第3オブジェクトは、ソリッドデータで構成されており、
    さらに、
    前記第1オブジェクトが前記第3オブジェクトと干渉するか否かを判定し、
    前記第1オブジェクトが前記第3オブジェクトと干渉すると判定された場合に、前記第1オブジェクトと前記第2オブジェクトとが干渉することを示す情報を出力することを含む、
    請求項1に記載の表示方法。
  3. 前記第2オブジェクトは、第2点群データに基づいて生成されたオブジェクトである、
    請求項1又は2に記載の表示方法。
  4. さらに、
    前記仮想空間において、前記第1点群データに基づいて空きエリア又は作業者が侵入することが可能な侵入可能エリアを表示する場合に、前記第3オブジェクトを除いた領域を前記空きエリア又は前記侵入可能エリアとして表示するための情報を出力することを含む、
    請求項1〜3のいずれか1項に記載の表示方法。
  5. 前記第1点群データは、前記現実空間に存在する3次元物体を計測することにより得られた色データを含む
    請求項1〜4のいずれか1項に記載の表示方法。
  6. 現実空間から取得した点群データから構成される第1オブジェクトを含む仮想空間に、第2オブジェクトを重ねて得られた仮想空間の画像を生成する画像生成装置であって、
    回路と、
    メモリとを備え、
    前記回路は、前記メモリを用いて、
    前記第2オブジェクトを当該第2オブジェクトの可動域に亘って掃引し、
    前記第2オブジェクトが掃引された領域に対応する第3オブジェクトを生成し、
    前記第3オブジェクトを前記仮想空間に重ねて表示するための前記画像を出力する、
    画像生成装置。
  7. 請求項1に記載の表示方法をコンピュータに実行させるためのプログラム。
JP2019110846A 2019-06-14 2019-06-14 表示方法、画像生成装置、及び、プログラム Pending JP2020204805A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019110846A JP2020204805A (ja) 2019-06-14 2019-06-14 表示方法、画像生成装置、及び、プログラム
US16/893,061 US20200394844A1 (en) 2019-06-14 2020-06-04 Display method, image generation device, and computer-readable non-transitory recording medium on which program is recorded
CN202010509804.XA CN112087550A (zh) 2019-06-14 2020-06-05 显示方法以及图像生成装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019110846A JP2020204805A (ja) 2019-06-14 2019-06-14 表示方法、画像生成装置、及び、プログラム

Publications (1)

Publication Number Publication Date
JP2020204805A true JP2020204805A (ja) 2020-12-24

Family

ID=73734977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019110846A Pending JP2020204805A (ja) 2019-06-14 2019-06-14 表示方法、画像生成装置、及び、プログラム

Country Status (3)

Country Link
US (1) US20200394844A1 (ja)
JP (1) JP2020204805A (ja)
CN (1) CN112087550A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7501891B2 (ja) 2020-04-10 2024-06-18 日本電気通信システム株式会社 情報処理装置、設計方法、及びプログラム

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11184898A (ja) * 1997-12-18 1999-07-09 Fujitsu Ltd 物体移動シミュレーション装置
JP2002056406A (ja) * 2000-08-08 2002-02-22 Clim Ncd:Kk 組立工程支援システム及びそのデータを記録した記録媒体
JP2003345839A (ja) * 2002-05-24 2003-12-05 Honda Motor Co Ltd 三次元モデル作成方法及びシステム
JP2006048639A (ja) * 2004-06-29 2006-02-16 Canon Inc 情報処理方法および情報処理装置
JP2014115915A (ja) * 2012-12-11 2014-06-26 Hitachi Ltd 3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成プログラム
JP2017004447A (ja) * 2015-06-16 2017-01-05 株式会社日立製作所 3次元モデル生成装置、構成部材判定方法、およびプログラム
JP2017138704A (ja) * 2016-02-02 2017-08-10 トヨタ自動車株式会社 高意匠化方法、高意匠化装置及びプログラム
JP2017182422A (ja) * 2016-03-30 2017-10-05 三菱自動車エンジニアリング株式会社 生産ラインの開発支援装置、開発支援方法および開発支援プログラム
JP2018045465A (ja) * 2016-09-14 2018-03-22 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11184898A (ja) * 1997-12-18 1999-07-09 Fujitsu Ltd 物体移動シミュレーション装置
JP2002056406A (ja) * 2000-08-08 2002-02-22 Clim Ncd:Kk 組立工程支援システム及びそのデータを記録した記録媒体
JP2003345839A (ja) * 2002-05-24 2003-12-05 Honda Motor Co Ltd 三次元モデル作成方法及びシステム
JP2006048639A (ja) * 2004-06-29 2006-02-16 Canon Inc 情報処理方法および情報処理装置
JP2014115915A (ja) * 2012-12-11 2014-06-26 Hitachi Ltd 3次元モデル生成装置、3次元モデル生成方法及び3次元モデル生成プログラム
JP2017004447A (ja) * 2015-06-16 2017-01-05 株式会社日立製作所 3次元モデル生成装置、構成部材判定方法、およびプログラム
JP2017138704A (ja) * 2016-02-02 2017-08-10 トヨタ自動車株式会社 高意匠化方法、高意匠化装置及びプログラム
JP2017182422A (ja) * 2016-03-30 2017-10-05 三菱自動車エンジニアリング株式会社 生産ラインの開発支援装置、開発支援方法および開発支援プログラム
JP2018045465A (ja) * 2016-09-14 2018-03-22 キヤノンマーケティングジャパン株式会社 情報処理装置、情報処理システム、その制御方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7501891B2 (ja) 2020-04-10 2024-06-18 日本電気通信システム株式会社 情報処理装置、設計方法、及びプログラム

Also Published As

Publication number Publication date
CN112087550A (zh) 2020-12-15
US20200394844A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
KR100785594B1 (ko) 화상 처리 장치
JP4492654B2 (ja) 3次元計測方法および3次元計測装置
KR20180131471A (ko) 3d 스캐닝과 bim을 이용한 시공 오차 통합 관리 장치 및 그 방법
CN104908038A (zh) 对工件的取出工序进行仿真的机器人仿真装置
CN109683175B (zh) 激光雷达配置方法、装置、设备和存储介质
JP2007334678A (ja) ロボットシミュレーション装置
KR102043278B1 (ko) 플랜트 시공 지원 방법 및 시스템
JP7070153B2 (ja) 外観検査システム、外観検査結果の表示方法、および、外観検査結果の表示プログラム
JPWO2020161852A1 (ja) 構造物計測装置および構造物計測方法
EP1286309A2 (en) An automated CAD guided sensor planning process
CN110793548A (zh) 基于gnss接收机硬件在环的虚实结合的导航仿真测试系统
CN102597897B (zh) 移动机器人系统
CN110458954B (zh) 一种等高线生成方法、装置及设备
JP4961405B2 (ja) シミュレーション装置の画像データ生成装置
JP2019008473A (ja) 複合現実シミュレーション装置及び複合現実シミュレーションプログラム
WO2020003887A1 (ja) 外観検査システム、外観検査結果の表示方法、および、外観検査結果の表示プログラム
JP2020204805A (ja) 表示方法、画像生成装置、及び、プログラム
JP7184249B2 (ja) 避雷保護範囲生成システムおよびプログラム
JP6280425B2 (ja) 画像処理装置、画像処理システム、3次元計測器、画像処理方法及び画像処理プログラム
CN115934088A (zh) 一种可视化分析系统
JP2022145440A (ja) 測量情報管理システム、測量情報管理方法、及び測量情報管理プログラム
JP2022126127A (ja) 表示方法、情報処理装置、及びプログラム
Irgenfried et al. Image formation simulation for computer-aided inspection planning of machine vision systems
JP6293293B2 (ja) マルチセンサ計測装置のルーティンを確立する方法
US20230339103A1 (en) Information processing system, information processing method, robot system, robot system control method, article manufacturing method using robot system, and recording medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221129

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230530