JP2018092476A - 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム - Google Patents

拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム Download PDF

Info

Publication number
JP2018092476A
JP2018092476A JP2016236790A JP2016236790A JP2018092476A JP 2018092476 A JP2018092476 A JP 2018092476A JP 2016236790 A JP2016236790 A JP 2016236790A JP 2016236790 A JP2016236790 A JP 2016236790A JP 2018092476 A JP2018092476 A JP 2018092476A
Authority
JP
Japan
Prior art keywords
information
coordinate system
virtual
virtual object
relationship
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016236790A
Other languages
English (en)
Other versions
JP6434476B2 (ja
Inventor
洋介 小谷中
Yosuke Koyanaka
洋介 小谷中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fanuc Corp
Original Assignee
Fanuc Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fanuc Corp filed Critical Fanuc Corp
Priority to JP2016236790A priority Critical patent/JP6434476B2/ja
Priority to CN201711251866.XA priority patent/CN108153240B/zh
Priority to DE102017221678.6A priority patent/DE102017221678A1/de
Priority to US15/830,493 priority patent/US10424122B2/en
Publication of JP2018092476A publication Critical patent/JP2018092476A/ja
Application granted granted Critical
Publication of JP6434476B2 publication Critical patent/JP6434476B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q15/00—Automatic control or regulation of feed movement, cutting velocity or position of tool or work
    • B23Q15/20—Automatic control or regulation of feed movement, cutting velocity or position of tool or work before or after the tool acts upon the workpiece
    • B23Q15/22—Control or regulation of position of tool or workpiece
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/19—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by positioning or contouring control systems, e.g. to control position from one programmed point to another or to control movement along a programmed continuous path
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4069—Simulating machining process on screen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B23—MACHINE TOOLS; METAL-WORKING NOT OTHERWISE PROVIDED FOR
    • B23Q—DETAILS, COMPONENTS, OR ACCESSORIES FOR MACHINE TOOLS, e.g. ARRANGEMENTS FOR COPYING OR CONTROLLING; MACHINE TOOLS IN GENERAL CHARACTERISED BY THE CONSTRUCTION OF PARTICULAR DETAILS OR COMPONENTS; COMBINATIONS OR ASSOCIATIONS OF METAL-WORKING MACHINES, NOT DIRECTED TO A PARTICULAR RESULT
    • B23Q2716/00—Equipment for precise positioning of tool or work into particular locations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32246—Virtual reality based interface scheduler
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/35—Nc in input of data, input till input file format
    • G05B2219/35482—Eyephone, head-mounted 2-D or 3-D display, also voice and other control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37193—Multicoordinate measuring system, machine, cmm

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Manufacturing & Machinery (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Processing Or Creating Images (AREA)
  • Numerical Control (AREA)

Abstract

【課題】拡張現実技術を適切に利用してシミュレーションを行う。
【解決手段】仮想オブジェクトを、現実の工作機械と重ね合わせて表示する拡張情報表示手段と、前記工作機械を制御する数値制御装置の制御軸と前記仮想オブジェクトとの関係を特定する情報である第１の関係情報と、前記制御軸単体の設定と前記制御軸同士の関係を特定する情報である第２の関係情報とを取得する関係情報取得手段と、前記第１の関係情報及び前記第２の関係情報に基づいて前記制御軸の座標系である第１の座標系の移動量を、前記拡張情報表示手段が前記仮想オブジェクトを表示するための座標系である第２の座標系の移動情報に変換する変換手段と、前記変換後の前記第２の座標系の移動情報に基づいて、前記仮想オブジェクトの表示位置及び表示角度を算出する算出手段と、を備え、前記拡張情報表示手段は、前記算出手段による算出結果に基づいて前記仮想オブジェクトを表示する。
【選択図】図１

Description

本発明は、拡張現実技術を用いてシミュレーションを行うための、拡張現実シミュレーション装置及び拡張現実シミュレーションプログラムに関する。
従来、数値制御装置により制御される工作機械の分野では、ＣＡＤ（computer-aided design）等でワークや治具を設計する。また、設計した治具を用いてワークを加工するための加工プログラムを作成する。
そして、数値制御装置が加工プログラムに基づいて工作機械を制御することにより、ワークの加工が実現される。
ここで、設計した治具やワーク、及び加工プログラムを実際に製造ラインに載せる前に、これらが適切であるかを確認するために加工シミュレーションを行うことが一般的である。
この加工シミュレーションを、実際の機械による動作確認で行う場合、当然のことながら実物の治具が完成するまでは加工シミュレーションは行えない。従って、治具が完成するまで工程が停滞するという問題が発生する。
また、治具完成後の動作確認時に干渉などの問題が見つかり、治具の設計変更が必要になった場合には、工程が更に延びてしまう。また、治具の設計変更のための費用も発生してしまう。仮に、治具の設計変更をしない場合には、加工プログラムの変更が必要となるが、この場合には加工に要するサイクルタイムが当初よりも延びるおそれがある。
これらの問題を考慮して、実際の機械により動作確認を行うのではなく、パーソナルコンピュータ等の演算処理により、仮想的に加工シミュレーションを行う技術が存在する。
例えば、特許文献１に開示の技術では、工作機械における構造を全て仮想３Ｄオブジェクト化して、加工シミュレーションを行う。
しかしながら、特許文献１に開示の技術では、ワークや治具の仮想３Ｄオブジェクトを作成するだけでなく、複数種類の工作機械それぞれについて機械全体の仮想３Ｄオブジェクトの作成する必要があった。また、実際の工作機械の動作を再現するために、工作機械の可動部分の仮想３Ｄオブジェクトに動作処理を実装する必要もあった。つまり、仮想３Ｄオブジェクトの作成が容易ではないという問題があった。
更に、このように仮想３Ｄオブジェクトを作成したとしても、仮想３Ｄオブジェクトの再現度が低い場合には、現実との差異が生じてしまうという問題があった。
このような仮想３Ｄオブジェクトに関する問題を鑑みた技術が、特許文献２に開示されている。特許文献２に開示の技術では、工作機械内部をカメラ画像で取得して、事前に登録してある工具保持部またはワーク保持部を特徴点として抽出する。そして、事前に登録した工具またはワークの仮想３Ｄオブジェクトを、特徴点に位置に基づいて、実際に撮影した工作機械の画像にオーバレイ表示させる。このようにすれば、工作機械の仮想３Ｄオブジェクトを作成する必要がなくなる。
しかしながら、特許文献２に開示の技術では、カメラの撮影方向を予め設定された方向に固定する必要があるため、加工シミュレーションの様子を確認する視点を変更することができないという問題がある。
他方、近年の画像処理技術分野では、ＡＲ（Augmented Reality）やＭＲ（Mixed Reality）といった、現実空間に実在するオブジェクトに対して仮想のオブジェクトを重ね合せて表示等するための拡張現実技術が一般的に利用されるようになっている。以下では、このような拡張現実技術により表示等される情報を「拡張情報」と呼ぶ。
このような拡張現実技術を利用すれば、カメラで撮影した画像の特定の特徴点（例えば、マーカー）を抽出して、仮想３Ｄオブジェクト等の拡張情報をオーバレイ表示することができる、また、それのみならず、カメラの撮影方向を任意変更することも可能となる。従って、このような拡張現実技術を適切に利用することができれば、上述した特許文献２に開示の技術の問題点を解消することができる。
このようなＡＲやＭＲといった拡張現実技術の基礎技術が、非特許文献１に開示されている。非特許文献１に開示の技術では、シースルー型のＨＭＤ(Head Mounted Display)を表示デバイスとし、仮想物体表示の基準座標となるマーカーの３次元位置をＨＭＤに取り付けられた小型カメラによって得られる画像情報から検出する。そして、ユーザの両眼に視差を与えた仮想物体映像を提示することで、ＨＭＤスクリーンを透過して見える実世界の３次元空間中に３次元物体として仮想３Ｄオブジェクトを表示することを可能とする。
具体的には、非特許文献１に開示の技術では、図１５に示すように複数の座標系を扱う。この点、仮想３Ｄオブジェクトは、特徴点を原点とした座標系であるマーカー座標系上で表現する。そして、マーカー座標系からカメラ座標系への座標変換行列を求める処理を行う。
そして、この処理により得られた座標変換行列を用いることにより、ＨＭＤの左右のスクリーンの適切な位置に仮想３Ｄオブジェクトを描画することが可能となる。
このような非特許文献１等に開示の拡張現実技術を利用すれば、実際の工作機械内部に仮想３Ｄオブジェクトを表示し、加工シミュレーションを行うことができる。
例えば、図１６に示すように、特徴点を予め登録したマーカーとした場合、マーカーの移動に合わせて仮想３Ｄオブジェクトも移動する。すなわち、仮想３Ｄオブジェクトがマーカーに追従する。
これを利用し、実際の工作機械の可動部上にマーカーを配置することで、テーブルの実移動に合わせて仮想３Ｄオブジェクトを移動させることができる。例えば、図１７の左に（１７Ａ）として示すように、実際の工作機械の可動部である可動テーブル上にマーカーを配置する。そして、図１７の中央に（１７Ｂ）として示すように、マーカーを原点として仮想３Ｄオブジェクトを表示する。更に、図１７の中央に（１７Ｃ）として示すように、可動テーブルを例えばＸ軸に沿って移動させると、仮想３Ｄオブジェクトがマーカーに追従する。
このようにすれば、工作機械全体を仮想３Ｄオブジェクトとすることなく、且つ、工作機械の可動部分の再現をすることなく、加工シミュレーションを行うことが可能となる。
特許４０８３５５４号明細書 特許５３８４１７８号明細書 特開２０１２−５８９６８号公報 特許５８７２９２３号明細書
「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、［ｏｎｌｉｎｅ］、［平成２８年１１月２７日検索］、インターネット〈ＵＲＬ：http://intron.kz.tsukuba.ac.jp/tvrsj/4.4/kato/p-99_VRSJ4_4.pdf〉 「ARToolKitによるマルチマーカの考察」、阪南大学経営情報学部経営情報学科、筒井 亮、山岡 大介［ｏｎｌｉｎｅ］、［平成２８年１１月2７日検索］、インターネット〈ＵＲＬ：http://www2.hannan-u.ac.jp/~hanakawa/soturon/2010/TsutsuiYamaoka.pdf〉 「３次元変換理論 ３次元アフィン変換」、プログラミングティーショップ［ｏｎｌｉｎｅ］、［平成２８年１１月2７日検索］、インターネット〈ＵＲＬ：http://www.geocities.co.jp/SiliconValley-Bay/4543/Rubic/Mathematics/Mathematics-3.html〉 「オイラー角」、Wikipedia（登録商標）［ｏｎｌｉｎｅ］、［平成２８年１１月2７日検索］、インターネット〈ＵＲＬ：https://ja.m.wikipedia.org/wiki/オイラー角〉 「四元数で3次元回転」、中田 亨［ｏｎｌｉｎｅ］、［平成２８年１１月2７日検索］、インターネット〈ＵＲＬ：http://www015.upp.so-net.ne.jp/notgeld/quaternion.html〉 「Quaternionによる3次元の回転変換」、平鍋 健児［ｏｎｌｉｎｅ］、［平成２８年１１月2７日検索］、インターネット〈ＵＲＬ：http://qiita.com/kenjihiranabe/items/945232fbde58fab45681〉
しかしながら、図１７に示すようにして、実際の工作機械の可動部上にマーカーを配置する場合には、図１８に示すような複数の課題が存在する。
例えば、図１８の左に（１８Ａ）として示すようにマーカーが判別不能となり得るという課題がある。なぜならば、拡張情報を描画するためには、カメラで、マーカーを捉えている必要があるが、マーカーを設置した可動部の移動や回転に伴いマーカーが判別不能になり得るからである。この点、特許文献４に開示の技術を利用すれば、マーカーが判別不能になった後も、拡張情報の表示を継続することはできる。しかしながら、特許文献４に開示の技術では、その後、可動部に配置されたマーカーの移動を検知することはできないので、マーカーが判別不能になった後は、表示している拡張情報は移動しないこととなる。従って、仮に特許文献４に開示の技術を利用したとしても、マーカーが判別不能となってしまう場合には、適切な加工シミュレーションは行なえない。
また、図１８の中央に（１８Ａ）として示すように、可動部の移動速度が速く、マーカーの認識処理が追いつけない場合があり得るという課題もある。
また、図１８の右に（１８Ｃ）として示すように、そもそも可動部にマーカーが配置できない場合があり得るという課題がある。可動部にマーカーが配置できない場合とは、例えば可動部そのものを仮想３Ｄオブジェクトで実現する場合である。
また、その他にも、１つのマーカーに複数の仮想３Ｄオブジェクトを表示するケースも考えられる。例えば、図１９の左に（１９Ａ）として示すようにワーク及び治具と、工具とを、仮想３Ｄオブジェクトで表示するケースが考えられる。また、図１９の右に（１９Ｂ）として示すようにワーク及び治具と、テーブルとを、仮想３Ｄオブジェクトで表示するケースが考えられる。
このような場合に、可動部上にマーカーを配置してしまうと、移動が不要な仮想３Ｄオブジェクトも一緒に移動してしまうという課題もある。
これらの課題を考慮すると、工作機械上で加工シミュレーションを行う場合、マーカー自体は移動させず、マーカーを所定の位置に固定して設置できることが望ましい。
しかしながら、マーカーが固定して設置された場合には、マーカーを原点として表示される仮想３Ｄオブジェクトも動かないことになる。これでは、加工シミュレーションを行うことができない。
そこで、マーカーを固定して設置する場合、工作機械の可動部の移動に合せて、仮想３Ｄオブジェクトをマーカー座標系（以下、「ＡＲ座標系」と表記）上で移動・回転させる必要がある。
これに対して、現実の工作機械の可動部は、数値制御装置が制御している制御軸の動作により移動・回転する。この制御軸の座標系（以下、「ＭＣＮ座標系」と表記）は数値制御装置が管理しており、工作機械ごとに特有のものである。
つまり、ＡＲ座標系とＭＣＮ座標系は別物であり、制御軸の動作（移動量）に応じて単純に仮想３Ｄオブジェクトを移動・回転させるだけでは正しく加工シミュレーションを行うことはできない。
この点について、図２０に示す具体例を参照して説明をする。図２０の左に（２０Ａ）として示すように実際の工作機械には、Ｂ軸上にＣ軸が搭載されている。
そのため、図２０の中央に（２０Ｂ）として示すように、Ｂ軸回転をした場合には、併せてＣ軸の回転軸方向が変動する。
この状態から、図２０の右に（２０Ｃ）として示すように、Ｃ軸回転をした場合に、数値制御装置が管理しているＭＣＮ座標系についてはＢ軸の回転に伴いＣ軸の回転軸方向も変動しているので、想定通りにＣ軸回転を行うことができる。
これに対して、ＡＲ座標系では、Ｂ軸回転をした場合には、併せてＣ軸の回転軸方向が変動するといった制御をするための情報がないため、Ｂ軸の回転に影響されずＣ軸の回転軸方向は不動のままである。そのため、ＡＲ座標系では、単純にＣ軸の回転移動量のみを受け渡すだけでは、図示するように想定外の間違った回転移動を行ってしまう。
このように、上述したような一般的な技術では、拡張現実技術を適切に利用して、加工シミュレーションのような各種のシミュレーションを行うことが困難であった。
そこで、本発明は、拡張現実技術を適切に利用してシミュレーションを行うことが可能な、拡張現実シミュレーション装置及び拡張現実シミュレーションプログラムを提供することを目的とする。
本発明に係る拡張現実シミュレーション装置（例えば、後述の数値制御装置１００）は、仮想オブジェクト（例えば、後述の仮想３Ｄオブジェクト）を、現実の工作機械（例えば、後述の工作機械４００）と重ね合わせて表示する拡張情報表示手段（例えば、後述のヘッドマウントディスプレイ３００）と、前記工作機械を制御する数値制御装置の制御軸と前記仮想オブジェクトとの関係を特定する情報である第１の関係情報と、前記制御軸単体の設定と前記制御軸同士の関係を特定する情報である第２の関係情報とを取得する関係情報取得手段（例えば、後述の関係情報取得部２１０）と、前記第１の関係情報及び前記第２の関係情報に基づいて前記制御軸の座標系である第１の座標系の移動量を、前記拡張情報表示手段が前記仮想オブジェクトを表示するための座標系である第２の座標系の移動情報に変換する変換手段（例えば、後述の変換部２２０）と、前記変換後の前記第２の座標系の移動情報に基づいて、前記仮想オブジェクトの表示位置及び表示角度を算出する算出手段（例えば、後述の拡張情報算出部２３０）と、を備え、前記拡張情報表示手段は、前記算出手段による算出結果に基づいて前記仮想オブジェクトを表示する、拡張現実シミュレーション装置。
上記本発明に係る拡張現実シミュレーション装置を、前記数値制御装置が前記第１の座標系の移動量を前記工作機械に与えることにより、前記工作機械を動作させる場合に、前記変換手段が、前記工作機械に与えられる前記第１の座標系の移動量と同じ移動量に基づいて前記変換をすることにより、前記工作機械の動作と連動して前記仮想オブジェクトを表示するようにしてもよい。
上記本発明に係る拡張現実シミュレーション装置を、前記算出手段は、前記第２の座標系の原点となる第１の特徴点と、前記仮想オブジェクトの加工シミュレーション開始位置に配置された第２の特徴点との間の距離を算出し、該算出した距離に基づいて前記仮想オブジェクトの表示位置を前記第２の特徴点上に移動するための移動情報を算出し、該算出した移動情報と、前記変換手段が変換後の前記第２の座標系の移動情報とに基づいて、前記仮想オブジェクトの表示位置を算出するようにしてもよい。
上記本発明に係る拡張現実シミュレーション装置を、前記第２の座標系の原点に複数の前記仮想オブジェクトを表示する場合に、該複数の仮想オブジェクト毎に、前記第１の関係情報を異ならせるようにしてもよい。
上記本発明に係る拡張現実シミュレーション装置を、異なる位置に複数の仮想オブジェクトを表示する場合に、前記算出手段は、前記第２の座標系の原点となる第１の特徴点と、前記第１の特徴点とは異なる位置に配置された第３の特徴点との間の距離に基づいて前記第２の座標系における前記第３の特徴点の位置を特定し、前記第１の特徴点位置に基づいて第１の前記仮想オブジェクトの表示位置を算出し、前記第２の座標系における前記第３の特徴点の位置を第２の前記仮想オブジェクトの表示位置として算出するようにしてもよい。
本発明に係る拡張現実シミュレーションプログラムは、コンピュータを拡張現実シミュレーション装置（例えば、後述の数値制御装置１００）として機能させるための拡張現実シミュレーションプログラムであって、前記コンピュータを、仮想オブジェクト（例えば、後述の仮想３Ｄオブジェクト）を、現実の工作機械（例えば、後述の工作機械４００）と重ね合わせて表示する拡張情報表示手段（例えば、後述のヘッドマウントディスプレイ３００）と、前記工作機械を制御する数値制御装置の制御軸と前記仮想オブジェクトとの関係を特定する情報である第１の関係情報と、前記制御軸単体の設定と前記制御軸同士の関係を特定する情報である第２の関係情報とを取得する関係情報取得手段（例えば、後述の関係情報取得部２１０）と、前記第１の関係情報及び前記第２の関係情報に基づいて前記制御軸の座標系である第１の座標系の移動量を、前記拡張情報表示手段が前記仮想オブジェクトを表示するための座標系である第２の座標系の移動情報に変換する変換手段（例えば、後述の変換部２２０）と、前記変換後の前記第２の座標系の移動情報に基づいて、前記仮想オブジェクトの表示位置及び表示角度を算出する算出手段（例えば、後述の拡張情報算出部２３０）と、を備え、前記拡張情報表示手段は、前記算出手段による算出結果に基づいて前記仮想オブジェクトを表示する、拡張現実シミュレーション装置として機能させる。
本発明によれば、拡張現実技術を適切に利用してシミュレーションを行うことが可能となる。
本発明の実施形態全体の基本的構成を示すブロック図である。 本発明の実施形態の拡張情報制御装置の基本的構成を示すブロック図である。 本発明の実施形態における準備について示す図（１／２）である。 本発明の実施形態における準備について示す図（２／２）である。 本発明の実施形態における関係情報設定画面の例について示す図である。 本発明の実施形態における変換部の変換について示す図（１／２）である。 本発明の実施形態における変換部の変換について示す図（２／２）である。 本発明の実施形態におけるマスタ軸との関係について示す図である。 本発明の実施形態における関係情報設定画面の他の例について示す図である。 本発明の実施形態における効果の１つについて説明する図（１／２）である。 本発明の実施形態における効果の１つについて説明する図（２／２）である。 本発明の第１の変形例の複数のマーカー等について説明する図（１／２）である。 本発明の第１の変形例の複数のマーカー等について説明する図（２／２）である。 本発明の第１の変形例における関係情報設定画面の例について示す図である。 マーカー座標系について示す図である。 仮想３Ｄオブジェクトの表示について示す図である。 マーカーを可動部に設置した場合について示す図である。 マーカーを可動部に設置した場合の課題について示す図である。 マーカーに複数の仮想３Ｄオブジェクトを対応付けた場合について示す図である。 マーカーに複数の仮想３Ｄオブジェクトを対応付けた場合の課題について示す図である。
次に、本発明の実施形態について図面を参照して詳細に説明する。まず、図１を参照して本実施形態全体の構成について説明をする
本実施形態は、数値制御装置１００、拡張情報制御装置２００、無線通信部２５０、ヘッドマウントディスプレイ３００及び工作機械４００を備える。
数値制御装置１００は、一般的な数値制御装置としての機能と、拡張情報制御装置２００との通信を行う機能とを備える装置である。数値制御装置１００は、工作機械４００と通信可能に接続されている。そして、数値制御装置１００は、数値制御装置１００自身に組み込まれた加工プログラムに基づいて出力されるＭＣＮ座標系の移動量により工作機械４００を制御して、ワークを加工する。
また、数値制御装置１００は、拡張情報制御装置２００とも通信可能に接続されている。数値制御装置１００は、拡張情報制御装置２００に対しても加工プログラムに基づいて出力されるＭＣＮ座標系の移動量を出力する。
このように、数値制御装置１００は、工作機械４００と拡張情報制御装置２００との双方に対して移動量を出力する。この点、数値制御装置１００から拡張情報制御装置２００に対しての移動量の出力は、数値制御装置１００から工作機械４００に対しての移動量の出力に同期して行われてもよいし、非同期に送られてもよい。
また、数値制御装置１００は、拡張情報制御装置２００に対して、「制御軸単体の設定を含む制御軸同士の関係情報」も出力する。
拡張情報制御装置２００は、本実施形態特有の装置であり、拡張現実技術により、仮想３Ｄオブジェクト（仮想オブジェクト）の表示位置及び表示角度を算出することにより、適切に仮想３Ｄオブジェクトを表示させるための制御を行う。拡張情報制御装置２００の詳細な構成については、図２を参照して後述する。
無線通信部２５０は、拡張情報制御装置２００と通信可能に接続しており、拡張情報制御装置２００が出力する仮想３Ｄオブジェクトと、その表示位置及び表示角度を取得する。これら拡張情報制御装置２００が出力する情報は、ＡＲ座標系に対応したものとなっている。そして、これら拡張情報制御装置２００が出力した情報を、Ｗｉ−Ｆｉ等の無線通信規格に準拠してヘッドマウントディスプレイ３００に対して送信する。
また、無線通信部２５０は、ヘッドマウントディスプレイ３００に含まれるカメラが撮像により取得した情報を無線通信によりヘッドマウントディスプレイ３００から受信する。そして、無線通信部２５０は、この受信した情報を拡張情報制御装置２００に対して出力する。
ヘッドマウントディスプレイ３００は、一般的なヘッドマウントディスプレイ（以下、適宜「ＨＭＤ」と表記）であり、拡張情報制御装置２００が出力する仮想３Ｄオブジェクトと、その表示位置及び表示角度を、無線通信部２５０を介して取得する。そして、この取得した情報に基づいて、ヘッドマウントディスプレイ３００自身が備えるディスプレイに仮想３Ｄオブジェクトを表示する。この取得した情報は、上述したように、ＡＲ座標系に対応したものとなっている。また、ヘッドマウントディスプレイ３００は、ヘッドマウントディスプレイ３００自身に含まれるカメラが撮像により取得した情報を、無線通信部２５０を介して拡張情報制御装置２００に対して出力する。
工作機械４００は、一般的な工作機械であり、数値制御装置１００から出力されるＭＣＮ座標系の移動量に応じて制御軸を移動・回転させる。
本実施形態では、このような構成により、ユーザが、ＡＲ座標系に対応して表示される仮想３Ｄオブジェクトをヘッドマウントディスプレイ３００のディスプレイにて参照すると共に、ＭＣＮ座標系に対応して可動する工作機械４００の実際の構造をディスプレイ越しに参照する。これにより、ユーザは加工シミュレーションの様子を観察することが可能となる。つまり、上述の［発明が解決しようとする課題］の欄で述べた、拡張現実技術を適切に利用してシミュレーションを行うことを可能とする、という課題を解決することが可能となる。
なお、図１に示した構成はあくまで一例である。例えば、ヘッドマウントディスプレイ３００を、ＨＭＤではなくタブレット型の端末により実現するようにしてもよい。また、拡張情報制御装置２００の機能の一部又は全部をヘッドマウントディスプレイ３００に搭載するようにしてもよい。更に、各通信接続は有線接続であっても無線接続であってもよい。例えば、図中では、数値制御装置１００と拡張情報制御装置２００の通信接続がイーサネット(Ｅｔｈｅｒｎｅｔ（登録商標））に準拠して有線接続により行われる例を記載しているが、かかる接続は無線接続であってもよい。更に、以下の説明では、拡張情報として、仮想３Ｄオブジェクトを表示することを想定して説明するが、これはあくまで説明のための一例に過ぎず、本実施形態の適用範囲を仮想３Ｄオブジェクトに限定する趣旨ではない。例えば、本実施形態では、拡張情報として、仮想の２Ｄオブジェクトを表示するようにしてもよい。
次に、図２を参照して拡張情報制御装置２００の詳細な構成について説明をする。図２を参照すると、拡張情報制御装置２００は、関係情報取得部２１０、変換部２２０及び拡張情報算出部２３０を備える。
関係情報取得部２１０は、後述の変換部２２０が処理を行うための情報である、関係情報を取得する部分である。関係情報取得部２１０が取得する関係情報は、２種類ある。関係情報取得部２１０は、まず１つ目の関係情報として、「制御軸単体の設定を含む制御軸同士の関係情報」を数値制御装置１００から取得する。
また、関係情報取得部２１０は２つめの関係情報として「制御軸−仮想３Ｄオブジェクト間の関係情報」を取得する。この関係情報は、ユーザの操作に基づいて設定されるものである。設定方法については、図１１等を参照して後述する。
関係情報取得部２１０は取得した各関係情報を変換部変換部２２０に対して出力する。
変換部２２０は、関係情報取得部２１０から入力される関係情報に基づいて、数値制御装置１００から入力されるＭＣＮ座標系の移動量を、ＡＲ座標系における移動情報に変換する部分である。変換後の、ＡＲ座標系における移動情報は拡張情報算出部２３０に対して出力される。
拡張情報算出部２３０は、拡張現実技術に基づいて拡張情報を表示させるための部分である。拡張情報算出部２３０は、仮想３Ｄオブジェクトのデータベース（図示を省略する）を、拡張情報算出部２３０の内部又は外部に有している。そして、拡張情報算出部２３０は、このデータベースから選択された仮想３Ｄオブジェクトを、変換部２２０から入力されるＡＲ座標系における移動情報に対応して表示するための「拡張情報表示用データ」を生成する。この拡張情報表示用データには、仮想３Ｄオブジェクトの形状等と、この仮想３Ｄオブジェクトの表示位置及び表示角度等が含まれる。そして、拡張情報算出部２３０は生成した拡張情報表示用データを、無線通信部２５０を介してヘッドマウントディスプレイ３００に対して出力する。
ヘッドマウントディスプレイ３００が、この拡張情報表示用データに含まれる、各情報に基づいて仮想３Ｄオブジェクトを表示する点は上述した通りである。
かかる拡張情報制御装置２００は、一般的なサーバ装置やパーソナルコンピュータに本実施形態特有のソフトウェアを組み込むことにより実現できる。
より詳細に説明すると、拡張情報制御装置２００は、ＣＰＵ（Central Processing Unit）等の演算処理装置を備える。また、拡張情報制御装置２００は、各種のプログラムを格納したＨＤＤ（hard disk drive）やＳＳＤ（solid state drive）等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置を備える。
また、拡張情報制御装置２００において、演算処理装置が補助記憶装置から各種のプログラムを読み込み、読み込んだ各種のプログラムを主記憶装置に展開させながら、これら各種のプログラムに基づいた演算処理を行う。
そして、この演算結果に基づいて、拡張情報制御装置２００が備えるハードウェアを制御することにより、上述した各機能ブロックの機能が実現する。つまり、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。
次に、拡張情報制御装置２００が備えるこれら各機能ブロックにおける処理について図を参照して説明をする。
まず、図３及び図４を参照して仮想３Ｄオブジェクトを表示する前段階に行う準備処理について説明をする。
ここで、以下の説明では、ワールド座標系とローカル座標系という文言を用いる。ここで、ワールド座標系は、図３の項目１）に示すように、マーカー中心を原点ＰＷとする座標系である。
また、ローカル座標系は、図３の項目２）に示すように、仮想３Ｄオブジェクトの回転中心を原点ＰＬとする座標系である。拡張情報制御装置２００の拡張情報算出部２３０は、仮想３Ｄオブジェクトデータを取り込む。拡張情報算出部２３０で算出された回転方向の移動情報に応じて、ローカル座標系原点ＰＬを中心に仮想３Ｄオブジェクトの回転移動を行う。
また、拡張情報算出部２３０は、ローカル座標系原点ＰＬを基準にして、取り込んだ仮想３Ｄオブジェクトをワールド座標形上に配置および登録する。
図３の項目３）に示すように、ワールド座標形上におけるローカル座標系原点ＰＬの座標値に応じて、仮想３Ｄオブジェクトの表示位置を移動することができる。すなわち、拡張情報算出部２３０が算出した直線方向の移動情報に応じて、ワールド座標形上におけるローカル座標系原点ＰＬの座標値を更新することにより、仮想３Ｄオブジェクトの直線移動を行う。
ここで、本実施形態では、マーカーを実際に仮想３Ｄオブジェクトが配置されるべき可動部ではなく、可動部から離れており、ＨＭＤのカメラで撮像することが可能な位置に固定して設置する。これは、図１８や図１９を参照して述べたような、マーカーを可動部に設置した場合の問題を解決するためである。
しかしながら、拡張情報制御装置２００の起動時における仮想３Ｄオブジェクトの初回表示位置はマーカーの配置位置に応じるため、このようにすると、仮想３Ｄオブジェクトの加工シミュレーション開始位置との間にズレが生じてしまい、離れた場所に配置されてしまう場合がある。
そこで、このズレをなくす必要がある。この点、ズレをなくすためには、例えば、ユーザが、手動で操作を行うことにより、ズレをなくすようにしてもよい。例えば、ユーザが、ＨＭＤのディスプレイに表示されている仮想３Ｄオブジェクトを参照しながら、拡張情報制御装置２００が備える操作部（図示を省略する）を操作してズレがなくなるように調整するようにしてもよい。拡張情報制御装置２００が備える操作部とは、例えば拡張情報制御装置２００をパーソナルコンピュータに実現する場合には、パーソナルコンピュータに接続されたキーボードやマウス等である。
しかしながら、ユーザの利便性を考慮して、このようなユーザによる手動の調整を必要とせず、自動でズレがなくなるように調整するようにしてもよい。そのための方法の一例について図４を参照して説明をする。
図４に示すように、本例では、第１のマーカーと第２のマーカーの２つのマーカーを用意する。
ここで、第１のマーカーは、図３を参照して説明したマーカーと同じものであり、図４の項目１）に示すように、仮想３Ｄオブジェクトを表示するためのマーカーである。第１のマーカーは、ワールド座標系の原点に対応する。
一方で、図４の項目１）に示すように、第２のマーカーは仮想３Ｄオブジェクトの加工シミュレーション開始位置を検出するためのマーカーである。第１のマーカーと第２のマーカーは、拡張情報制御装置２００が区別して識別できるように異なる模様や異なる形状としておく。
そして、図４の項目２）に示すように、仮想３Ｄオブジェクトと連動する工作機械上の回転軸（ＭＣＮ座標系）を初期位置に位置決めし、仮想３Ｄオブジェクトの加工シミュレーション開始位置に第２のマーカーをＨＭＤのカメラで撮像することが可能となるように配置する。一方で、ＨＭＤのカメラで常時撮像することが可能な位置に第１のマーカーを配置する。
次に、図４の項目３）に示すように、拡張情報制御装置２００を起動する。一方で、ヘッドマウントディスプレイ３００のカメラにて第１のマーカー及び第２のマーカーを撮像する。そして、ヘッドマウントディスプレイ３００は、撮像により得た画像データを、無線通信部２５０を介して拡張情報制御装置２００に対して送信する。
起動した拡張情報制御装置２００は、初期処理として、ヘッドマウントディスプレイ３００から送信された画像データに基づいて各マーカーの検出およびマーカー間の距離算出を行う。この処理を行うためには、例えば、非特許文献２に開示の技術等を用いるようにするとよい。
次に、図４の項目４）に示すように、第１のマーカー上に仮想３Ｄオブジェクトを表示する際に、マーカー間距離を移動情報としてローカル座標系原点ＰＬをワールド座標形上で移動するこれにより、仮想３Ｄオブジェクトを、仮想３Ｄオブジェクトと連動する工作機械上の仮想３Ｄオブジェクトの加工シミュレーション開始位置上に表示することが可能となる。
なお、以後は第２のマーカーを用いた調整をする必要はないので、第２のマーカーは、工作機械上から取り除いてしまってもよい。
このようにすることで、第１のマーカーを、ヘッドマウントディスプレイ３００のカメラが撮像可能な位置に固定して配置しておくことができる。なお、更に微調整が必要な場合には、ユーザによる手動の調整を組み合わせるようにしてもよい。
次に、関係情報取得部２１０による「制御軸−仮想３Ｄオブジェクト間の関係情報」の取得について図５を参照して説明を行う。
本実施形態では、関係情報取得部２１０が、数値制御装置１００が管理する制御軸と仮想３Ｄオブジェクトとの関係についてユーザが専用の設定画面により設定するものとする。そのために、関係情報取得部２１０は、図５に関係情報設定画面として示すようなユーザインタフェースをユーザに対して出力する。そして、このユーザインタフェースにて、ユーザからの制御軸と仮想３Ｄオブジェクトとの関係の設定を受け付ける。これにより、関係情報取得部２１０は、制御軸と仮想３Ｄオブジェクトとの関係情報を取得できる。
かかるユーザインタフェースについて説明をする。
まず、図中の「項目：１」は、仮想３Ｄオブジェクトを識別する情報である。本実施形態では、拡張情報算出部２３０が記憶する仮想３Ｄオブジェクトのデータベース内の、仮想３Ｄオブジェクトそれぞれについて設定を行う。設定対象とする仮想３Ｄオブジェクトは、例えば仮想３Ｄオブジェクトの一覧から選択するようにする。
図中の「項目：２」は、今回設定対象としている仮想３ＤオブジェクトのＡＲ座標系の各移動方向と各回転方向を表す情報である。移動方向は、互いに直交するＸ、Ｙ及びＺの３つの軸により表す。また、Ａは、Ｘ軸周りの回転方向を表す。同様に、Ｂは、Ｙ軸周りの回転方向を表し、Ｃは、Ｚ軸周りの回転方向を表す。
図中の「項目：３」は、数値制御装置１００が管理する制御軸（図中では「対称軸」と表記）からＡＲ座標系の各移動方向及び回転方向に対応する軸及び回転方向を選択する部分である。選択できる制御軸は数値制御装置１００により、ＭＣＮ座標系で管理されているものである。そのため、選択できる制御軸の一覧は数値制御装置１００から取得することができる。また、選択はユーザが行うものとする。
例えば、図中の例ではＡＲ座標系のＸ軸に対応する軸として、ＭＣＮ座標系の制御軸Ｘ１が選択されている。ただし、これは一例であり、例えば、ＡＲ座標系のＸ軸に対応する軸として、ＭＣＮ座標系の制御軸Ｙ１が選択されるような場合もあり得る。これらの対応は仮想３Ｄオブジェクト毎に異なる。
なお、移動がない方向の場合、選択なし（図中では「−」と表記）とする。
図中の「項目：４」は、図中の「項目：３」で選択された制御軸の情報を表示する部分である。この情報は、「項目：３」で選択された制御軸に付随して自動的に決定されるものであるが、ユーザが確認をするために表示する。
具体的には、その制御軸が、直線運動するのかそれとも回転運動をするのかが記載されている。また、基準軸が記載されている。例えば、制御軸Ｘ１であれば、Ｘ軸を基準に直線運動をする。また、制御軸Ｂ１であれば、Ｙ軸を基準に回転運動をする。
また、「マスタ軸」に表示されている軸の位置に応じて移動方向または回転軸方向が変わる。例えば、Ｃ１のマスタ軸はＢ１なので、Ｂ１の位置に応じてＣ１の移動方向または回転軸方向が変わる。
図中の「項目：５」の「逆方向」は、ＡＲ座標系において移動方向が逆方向である場合に、ユーザにチェックを入れられる項目である。項目にチェックが入れられた場合、ＡＲ座標系において逆方向に移動する。
以上説明した各項目の内、ユーザが設定するのは、「項目：３」及び「項目：５」である。
なお、図２に示したように、関係情報取得部２１０は、「制御軸単体の設定および制御軸同士の関係情報」も取得する。もっとも、この制御軸単体の設定および制御軸同士の関係情報は数値制御装置１００側にすでに設定されており、関係情報取得部２１０はこれを数値制御装置１００から取得してそのまま使用できる。そのため、制御軸単体の設定および制御軸同士の関係情報については、図５に示したような専用の設定画面での設定は不要である。
次に、このように設定後に変換部２２０により行われる、ＭＣＮ座標系移動量からＡＲ座標系移動情報への変換について図６及び図７を参照して説明をする。
まず、図６を参照して直線運動の場合、すなわち、直線移動をする直線軸の場合について説明をする。
今回は、変換処理の対象とする仮想３Ｄオブジェクトが図５を参照して説明した「仮想３Ｄオブジェクト１」であり、関係情報が図５を参照して説明したように設定されており、制御軸Ｘ１の移動量を対応するＡＲ座標系Ｘの移動情報に変換する場合を例に取って説明をする。
直線軸が正方向移動時の場合、数値制御装置１００から出力された直線軸の移動量ＸＭＣＮを、図５を参照して説明したように設定した関係情報より、ＸＡＲ１に変換して、拡張情報算出部２３０に対して出力する。
拡張情報算出部２３０は、入力されたＸＡＲ１に基づいて、仮想３Ｄオブジェクト１のローカル座標系原点をＸＡＲ１の移動量で移動させて拡張情報表示用データを生成する。これにより、変換部２２０の変換に対応して仮想３Ｄオブジェクト１の表示位置が移動することとなる。
なお、仮に図５の「項目：５」である「逆方向」にチェックが入れられてオンとなっている場合には、ＸＡＲ１の移動量も逆方向となる。つまり、仮に直線軸の移動量ＸＭＣＮが「＋１０．０」である場合に、逆方向にチェックがなくオフとなっている場合には、ＸＡＲ１は「＋１０．０」に変換され、逆方向にチェックがありオンとなっている場合には、ＸＡＲ１は「−１０．０」に変換される。また、仮に図５の「項目：３」である「対象軸」でＡＲ座標系Ｙに、直線軸にＸ１が設定されているならば、直線軸の移動量ＸＭＣＮはＹＡＲ１に変換される。
次に、図７を参照して回転運動の場合、すなわち、回転をする回転軸の場合について説明をする。
今回は、変換処理の対象とする仮想３Ｄオブジェクトが図５を参照して説明した「仮想３Ｄオブジェクト１」であり、関係情報が図５を参照して説明したように設定されており、制御軸Ｃ１の移動量を対応するＡＲ座標系Ｃの移動情報に変換する場合を例に取って説明をする。
数値制御装置１００から出力された回転軸の移動量ＣＭＣＮを、図５を参照して説明したように設定した関係情報より、ＣＡＲ１に変換する、なお、仮に図５の「項目：５」である「逆方向」にチェックが入れられてオンとなっている場合には、ＣＡＲ１の移動量も逆方向となる。
また、マスタ軸の角度θを特定する。
図５に示すように、ＡＲ座標系Ｃの場合に、対称軸はＣ１でありマスタ軸はＢ１である。この場合、「θ←マスタ軸（ＢＡＲ１軸）角度」となる。なお、仮に図５に示すように、ＡＲ座標系Ｂの場合に、対称軸はＢ１でありマスタ軸は無い。この場合には、「θ←０」となる。
次に、マスタ軸θの情報よりＣ軸の回転軸方向情報を算出する。かかる算出する回転軸方向情報は、仮想３Ｄオブジェクトの回転処理で使用する原理計算手法（例えば、クォータニオンやアフィン変換）によって異なる。なお、これら原理計算手法の一例は、例えば非特許文献３〜６に記載されている。より詳細には、主にアフィン変換について非特許文献３に記載されており、主にオイラー角について非特許文献４に記載されており、主にクォータニオンについては非特許文献５や非特許文献６に記載されている。
例えば、クォータニオンの場合、回転軸方向を表す単位ベクトルを回転軸方向情報として使用する。例えば、図中に示すように、Ｂ軸回転前のＣ軸の回転軸方向を表す単位ベクトルＶ１＝［０ ０ １］とし、Ｂ軸が９０．０度回転したときのＣ軸の回転軸方向を表す単位ベクトルＶ２＝［０ １ ０］というように算出する。
そして、変換部２２０は変換により生成した回転軸方向情報と移動量ＣＡＲ１を拡張情報算出部２３０に対して出力する。
拡張情報算出部２３０は、回転軸方向情報と移動量ＣＡＲ１に対応するように仮想３Ｄオブジェクトがローカル座標系上で回転するように拡張情報表示用データを生成する。これにより、変換部２２０の変換に対応して仮想３Ｄオブジェクト１が回転することとなる。
このように、変換部２２０の変換時に回転軸方向情報を算出することにより、図２０の右に示した（１９Ｃ）を参照して説明したような、ＡＲ座標系で、Ｂ軸の回転に影響されずＣ軸の回転軸方向は不動となる、という問題を解決することができる。
この点について、図８に示す具体例を参照して説明をする。図８の上に（８Ａ）として示すように実際の工作機械には、Ｂ軸上にＣ軸が搭載されている。
そのため、図８の中央に（８Ｂ）として示すように、Ｂ軸を例えば９０．０℃回転した場合には、併せてＣ軸の回転軸方向も９０．０℃回転して変動する。
この状態から、図８の下に（８Ｃ）として示すように、Ｃ軸を例えば９０．０℃回転した場合に、Ｂ軸の回転に影響されてＣ軸の回転軸方向も変動する。これにより、想定通りの回転運動を実現できる。つまり、上述の問題を解決することができる。
次に、本実施形態を利用した場合の具体的な使用例について、図９を参照して説明をする。
図９の例では、複数の仮想３Ｄオブジェクトを表示する。この場合、それぞれの仮想３Ｄオブジェクトに対して、図３及び図４を参照して説明したように、ワールド座標系とローカル座標系を考慮した処理を行う。
そして、数値制御装置１００の移動に、仮想３Ｄオブジェクトを連動させる場合、制御軸と仮想３Ｄオブジェクトの関係情報は図９の下に示すように設定する。
そして、この設定情報に基づいて、拡張情報制御装置２００に含まれる各機能ブロックが上述のような処理を行うことにより、各仮想３Ｄオブジェクトが、自身に対応する制御軸の移動に連動してＡＲ座標系上で移動する。このとき、オブジェクト２の対象軸Ｚ２は逆方向フラグが設定されている。そのため、ＡＲ座標系上で数値制御装置１００から受取った移動量とは逆方向に移動する。
以上説明した本実施形態は、以下のような効果を奏する。
本実施形態では、変換部２２０がＭＣＮ座標系移動量からＡＲ座標系移動情報への変換を行う。また、この変換後のＡＲ座標系移動情報に基づいて、拡張情報算出部２３０が拡張情報表示用データを生成する。そして、ヘッドマウントディスプレイ３００が、この拡張情報表示用データに基づいて、拡張情報を、工作機械４００に重ね合わせて表示する。
これにより、数値制御装置１００と拡張現実による仮想３Ｄオブジェクトとの連動が可能となる。そのため、ユーザは加工シミュレーションの様子を、観察することが可能となる。
また、本実施形態では特徴点（例えば、マーカー）を取得するためのカメラ撮影方向を変更可能のため、視点を変更しての観察が可能となる。つまり、本実施形態によれば、特許文献２に開示の技術を利用する場合と比べて、より現実に近い加工シミュレーションを実現することができる。
更に、本実施形態では、ユーザは、図４を参照して説明したような準備と、図５を参照して説明したような設定といった、簡単な設定と準備のみで、加工シミュレーションを実行することができる。
更に、本実施形態では、図９に示したように１つのマーカーで複数の３Ｄオブジェクトを映した場合に、複数の３Ｄオブジェクトをバラバラに動かすことができる。
また、本実施形態では、現実の工作機械４００に仮想３Ｄオブジェクトを重ね合わせて表示することから、工作機械４００を構成する要素全てを仮想３Ｄオブジェクト化する必要がなくなる。つまり、従来技術のように、フルＣＧを作成する必要がなくなる。これにより、複数種類の工作機械４００が存在する場合にも、そのそれぞれでの加工シミュレーションを用意に実現することができる。これにより、コスト削減や工期短縮に貢献することができる。この点について図１０及び図１１を参照して説明をする。
図１０に示すように、数値制御装置１００毎に異なる工作機械４００（例えば、Ａ社製のマシニングセンタや、Ｃ社製の対向旋盤）が接続されている場合を考える。この場合、従来技術では、これら異なる工作機械４００それぞれについて仮想３Ｄオブジェクトを作成する必要があった。また、その後、新機種が製造された場合には、この新機種についての仮想３Ｄオブジェクトを更に作成する必要があった。つまり、工作機械４００毎に固有の仮想３Ｄオブジェクトを作成する必要があった。
これに対して、本実施形態では、拡張現実技術の一般的な機能を備える拡張情報算出部２３０と、本実施形態特有の構成である関係情報取得部２１０及び変換部２２０を組合せて、上述のような処理を行う。
これにより、任意の工作機械４００を制御する数値制御装置１００と拡張情報制御装置２００とを接続した場合であっても、加工シミュレーションを実現することが可能となる。
つまり、本実施形態によれば、１つの構成（を実現するためのアプリケーション）で、任意の工作機械４００上での加工シミュレーションが可能となる。
以上本実施形態について説明をした。上述した実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。例えば、以下に説明する変形例のように変形をして実施することが可能である。
［第１の変形例］
図１２〜図１４を参照して、本実施形態の第１の変形例について説明をする。
本変形例では、工作機械４００の可動部を移動させずに工作機械４００のＭＣＮ座標値のみとの連動による加工シミュレーションを実現する。そのため、本実施形態では、図１２の上段に示すように工作機械４００に対してＭＣＮ座標系移動量を出力しない。これにより、工作機械４００の実可動部を移動させることなく、仮想３Ｄオブジェクトのみを移動させるようなことが可能となる。
また、本変形例では、仮想３Ｄオブジェクトの表示用に複数のマーカーを設ける。そして、図１２の下段に示すように複数のマーカーそれぞれの上に１つ又は複数の仮想３Ｄオブジェクトを表示する。なお、この複数のマーカーはそれぞれが図４に示す第１のマーカーに相当するものであり、図４に示す第２のマーカーとは異なるものである。
このように複数のマーカーで各仮想３Ｄオブジェクトを表示する場合には、ＡＲ座標系（におけるワールド座標系）の統一を行う必要がある。この点について図１３を参照して説明をする。
まず複数のマーカーの中からメインマーカーを決定する。メインマーカー以外のマーカーはサブマーカーとする。
次に、メインマーカーの中心を原点Ｐ１とするワールド座標系に他のマーカーの中心Ｐｎを対応付ける
そのために、図１３の上段に示すように、各サブマーカーとメインマーカーとの距離を取得する。距離の取得は、例えば図４を参照して上述したように、非特許文献２に開示の技術等を用いて行う。
次に、図１３の下段に示すように、ワールド座標系上の各マーカー中心位置Ｐｎに取得した距離を設定する。ここで、各仮想３Ｄオブジェクトのローカル座標系は各マーカーの座標系に対応付けられているため、このように距離を設定することにより、各仮想３Ｄオブジェクトが同一の座標系上で位置を表すことができ、仮想３Ｄオブジェクト同士の干渉チェックを適用することもできる。
なお、工作機械４００に対してＭＣＮ座標系移動量を出力しないという変形と、複数のマーカーそれぞれの上に１つ又は複数の仮想３Ｄオブジェクトを表示するという変形を組み合わせることとして説明をしたが、これらの変形の何れかのみを行うようにしてもよい。
このようにして、複数のマーカーのそれぞれに、１つ又は複数の仮想３Ｄオブジェクトを対応付けた場合の、関係情報設定画面の例について説明をする。これは、図５の関係情報設定画面と同様の設定画面である。
本例では、各仮想３Ｄオブジェクトと各制御軸の関係を図１４に図示するように設定する
ここで、メインマーカーには、仮想３Ｄオブジェクト２と仮想３Ｄオブジェクト３の２つの仮想３Ｄオブジェクトが対応付けられる。この場合に、仮想３Ｄオブジェクト２と３は、共通の制御軸（Ｘ１、Ｙ１及びＢ１）と連動する。そのため、数値制御装置１００から入力されたＭＣＮ座標系移動量において、Ｘ１、Ｙ１及びＢ１の何れかについての移動量が含まれる場合には、仮想３Ｄオブジェクト２と３のそれぞれについて、変換部２２０が図６や図７を参照して説明した方法で変換処理を行うようにすればよい。
［第２の変形例］
上述した本実施形態と、特許文献３や特許文献４に開示の技術を組み合わせることにより、より現実感のある加工シミュレーションを行うことも可能である。
ここで、特許文献３に開示の技術は、実在するオブジェクトと仮想３Ｄオブジェクトの前後関係（奥行き）などを考慮した技術である。本実施形態と、特許文献３に開示の技術とを組み合わせることにより、仮想３Ｄオブジェクト（例：加工ワーク）と実オブジェクト（例：工具）との前後関係を、加工シミュレーションに反映して表示することが可能となる。
また、特許文献４に開示の技術は、特徴点（例えば、マーカー）がカメラ画像から見切れてしまっても仮想３Ｄオブジェクトを表示し続ける技術である。
本実施形態と、特許文献４に開示の技術とを組み合わせることにより、ヘッドマウントディスプレイ３００が備えるカメラの撮影範囲からマーカーが外れてしまったとしても、仮想３Ｄオブジェクトを表示し続けることが可能となる。
［第３の変形例］
上述した実施形態において図２等を参照して説明したように、関係情報取得部２１０は、数値制御装置１００から「制御軸単体の設定を含む制御軸同士の関係情報」を取得していた。また、その一方で、関係情報取得部２１０は、「制御軸−仮想３Ｄオブジェクト間の関係情報」をユーザの設定に基づいて取得していた。
しかしながら、必ずしもこのようにするようにしなくてもよい。例えば、関係情報取得部２１０は、「制御軸単体の設定を含む制御軸同士の関係情報」及び「制御軸−仮想３Ｄオブジェクト間の関係情報」の双方をユーザの設定に基づいて取得するようにしてもよい。
また他にも、例えば、関係情報取得部２１０は、「制御軸単体の設定を含む制御軸同士の関係情報」及び「制御軸−仮想３Ｄオブジェクト間の関係情報」の双方を数値制御装置１００から取得するようにしてもよい。この場合は、例えば、双方の関係情報を予め数値制御装置１００にて設定するようにしておけばよい。
なお、上記の数値制御装置、拡張情報制御装置、及び工作機械のそれぞれは、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記の数値制御装置、拡張情報制御装置、及び工作機械の協働により行われる拡張現実シミュレーション方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ(Read Only Memory)、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
１００ 数値制御装置
２００ 拡張情報制御装置
２１０ 関係情報取得部
２２０ 変換部
２３０ 拡張情報算出部
２５０ 無線通信部
３００ ヘッドマウントディスプレイ
４００ 工作機械

Claims (6)

  1. 仮想オブジェクトを、現実の工作機械と重ね合わせて表示する拡張情報表示手段と、
    前記工作機械を制御する数値制御装置の制御軸と前記仮想オブジェクトとの関係を特定する情報である第１の関係情報と、前記制御軸単体の設定と前記制御軸同士の関係を特定する情報である第２の関係情報とを取得する関係情報取得手段と、
    前記第１の関係情報及び前記第２の関係情報に基づいて前記制御軸の座標系である第１の座標系の移動量を、前記拡張情報表示手段が前記仮想オブジェクトを表示するための座標系である第２の座標系の移動情報に変換する変換手段と、
    前記変換後の前記第２の座標系の移動情報に基づいて、前記仮想オブジェクトの表示位置及び表示角度を算出する算出手段と、
    を備え、
    前記拡張情報表示手段は、前記算出手段による算出結果に基づいて前記仮想オブジェクトを表示する、拡張現実シミュレーション装置。
  2. 前記数値制御装置が前記第１の座標系の移動量を前記工作機械に与えることにより、前記工作機械を動作させる場合に、
    前記変換手段が、前記工作機械に与えられる前記第１の座標系の移動量と同じ移動量に基づいて前記変換をすることにより、
    前記工作機械の動作と連動して前記仮想オブジェクトを表示する、請求項１に記載の拡張現実シミュレーション装置。
  3. 前記算出手段は、
    前記第２の座標系の原点となる第１の特徴点と、前記仮想オブジェクトの加工シミュレーション開始位置に配置された第２の特徴点との間の距離を算出し、該算出した距離に基づいて前記仮想オブジェクトの表示位置を前記第２の特徴点上に移動するための移動情報を算出し、該算出した移動情報と、前記変換手段が変換後の前記第２の座標系の移動情報とに基づいて、前記仮想オブジェクトの表示位置を算出する、請求項１又は２に記載の拡張現実シミュレーション装置。
  4. 前記第２の座標系の原点に複数の前記仮想オブジェクトを表示する場合に、該複数の仮想オブジェクト毎に、前記第１の関係情報を異ならせる、請求項１から３の何れか１項に記載の拡張現実シミュレーション装置。
  5. 異なる位置に複数の仮想オブジェクトを表示する場合に、
    前記算出手段は、
    前記第２の座標系の原点となる第１の特徴点と、前記第１の特徴点とは異なる位置に配置された第３の特徴点との間の距離に基づいて前記第２の座標系における前記第３の特徴点の位置を特定し、
    前記第１の特徴点位置に基づいて第１の前記仮想オブジェクトの表示位置を算出し、前記第２の座標系における前記第３の特徴点の位置を第２の前記仮想オブジェクトの表示位置として算出する、請求項１から４の何れか１項に記載の拡張現実シミュレーション装置。
  6. コンピュータを拡張現実シミュレーション装置として機能させるための拡張現実シミュレーションプログラムであって、
    前記コンピュータを、
    仮想オブジェクトを、現実の工作機械と重ね合わせて表示する拡張情報表示手段と、
    前記工作機械を制御する数値制御装置の制御軸と前記仮想オブジェクトとの関係を特定する情報である第１の関係情報と、前記制御軸単体の設定と前記制御軸同士の関係を特定する情報である第２の関係情報とを取得する関係情報取得手段と、
    前記第１の関係情報及び前記第２の関係情報に基づいて前記制御軸の座標系である第１の座標系の移動量を、前記拡張情報表示手段が前記仮想オブジェクトを表示するための座標系である第２の座標系の移動情報に変換する変換手段と、
    前記変換後の前記第２の座標系の移動情報に基づいて、前記仮想オブジェクトの表示位置及び表示角度を算出する算出手段と、
    を備え、
    前記拡張情報表示手段は、前記算出手段による算出結果に基づいて前記仮想オブジェクトを表示する、拡張現実シミュレーション装置として機能させる拡張現実シミュレーションプログラム。
JP2016236790A 2016-12-06 2016-12-06 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム Active JP6434476B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016236790A JP6434476B2 (ja) 2016-12-06 2016-12-06 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム
CN201711251866.XA CN108153240B (zh) 2016-12-06 2017-12-01 增强现实模拟装置以及计算机可读介质
DE102017221678.6A DE102017221678A1 (de) 2016-12-06 2017-12-01 Erweiterte-Realitäts-Simulationsvorrichtung und Erweiterte-Realitäts-Simulationsprogramm
US15/830,493 US10424122B2 (en) 2016-12-06 2017-12-04 Augmented reality simulation device which displays a virtual object on a machine tool and computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016236790A JP6434476B2 (ja) 2016-12-06 2016-12-06 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム

Publications (2)

Publication Number Publication Date
JP2018092476A true JP2018092476A (ja) 2018-06-14
JP6434476B2 JP6434476B2 (ja) 2018-12-05

Family

ID=62163876

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016236790A Active JP6434476B2 (ja) 2016-12-06 2016-12-06 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム

Country Status (4)

Country Link
US (1) US10424122B2 (ja)
JP (1) JP6434476B2 (ja)
CN (1) CN108153240B (ja)
DE (1) DE102017221678A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128781A (ja) * 2017-02-07 2018-08-16 ファナック株式会社 座標情報変換装置及び座標情報変換プログラム
JP2021018544A (ja) * 2019-07-18 2021-02-15 ファナック株式会社 拡張現実グラス装置及び表示プログラム
WO2021176645A1 (ja) * 2020-03-05 2021-09-10 Ｙａｍａｇａｔａ株式会社 拡張現実による機械締結作業方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4293436A1 (de) * 2018-07-11 2023-12-20 Felder KG Anordnung umfassend ein cnc-bearbeitungssystem und eine augmented-reality anzeigevorrichtung
DE102019105605A1 (de) 2018-07-11 2020-01-16 Felder Kg Anordnung umfassend ein CNC-Bearbeitungszentrum
WO2020044440A1 (ja) * 2018-08-28 2020-03-05 株式会社オプティム コンピュータシステム、動作検証方法及びプログラム
CN109531262B (zh) * 2018-11-15 2020-09-11 深圳创源航天科技有限公司 数控机床接触反馈式自动测量方法、系统和存储介质
JP2020197835A (ja) * 2019-05-31 2020-12-10 ファナック株式会社 産業用機械のデータ収集設定装置
CN113618253B (zh) * 2020-05-08 2023-06-23 大族激光科技产业集团股份有限公司 激光加工方法、系统、激光加工控制器及存储介质
CN113610985B (zh) * 2021-06-22 2024-05-17 富泰华工业（深圳）有限公司 虚实交互的方法、电子设备及存储介质
CN113674430A (zh) * 2021-08-24 2021-11-19 上海电气集团股份有限公司 虚拟模型定位配准方法、装置、增强现实设备和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4083554B2 (ja) * 2002-11-29 2008-04-30 株式会社森精機製作所 ３次元モデルデータ生成装置
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP5384178B2 (ja) * 2008-04-21 2014-01-08 株式会社森精機製作所 加工シミュレーション方法及び加工シミュレーション装置
JP5872923B2 (ja) * 2012-02-22 2016-03-01 株式会社マイクロネット Ａｒ画像処理装置及び方法
JP2016126365A (ja) * 2014-12-26 2016-07-11 セイコーエプソン株式会社 表示システム、表示装置、情報表示方法、及び、プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4255636A (en) 1976-12-30 1981-03-10 Westinghouse Electric Corp. Circuit breaker with current carrying conductor system utilizing eddy current repulsion
JPS5872923A (ja) 1981-10-28 1983-05-02 Hitachi Ltd 液晶表示素子
WO2001056017A1 (de) * 2000-01-27 2001-08-02 Siemens Aktiengesellschaft System und verfahren zur blickfokussierten sprachverarbeitung
US8758102B2 (en) * 2008-03-25 2014-06-24 Wms Gaming, Inc. Generating casino floor maps
US9129644B2 (en) * 2009-06-23 2015-09-08 Disney Enterprises, Inc. System and method for rendering in accordance with location of virtual objects in real-time
US11397462B2 (en) * 2012-09-28 2022-07-26 Sri International Real-time human-machine collaboration using big data driven augmented reality technologies
KR101563722B1 (ko) * 2014-06-12 2015-10-27 서울과학기술대학교 산학협력단 공작기계 형상정보 입출력장치
CN104035376B (zh) * 2014-06-25 2015-04-15 梁涛 虚拟场景还原系统
US9972133B2 (en) * 2015-04-24 2018-05-15 Jpw Industries Inc. Wearable display for use with tool
US10178130B2 (en) * 2016-09-14 2019-01-08 Fortinet, Inc. Augmented reality visualization device for network security
EP3323565B1 (de) 2016-11-21 2021-06-30 Siemens Aktiengesellschaft Verfahren und vorrichtung zur inbetriebnahme eines mehrachssystems
WO2018160921A1 (en) * 2017-03-03 2018-09-07 Caterpillar Trimble Control Technologies Llc Augmented reality display for material moving machines

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4083554B2 (ja) * 2002-11-29 2008-04-30 株式会社森精機製作所 ３次元モデルデータ生成装置
JP5384178B2 (ja) * 2008-04-21 2014-01-08 株式会社森精機製作所 加工シミュレーション方法及び加工シミュレーション装置
JP2012058968A (ja) * 2010-09-08 2012-03-22 Namco Bandai Games Inc プログラム、情報記憶媒体及び画像生成システム
JP5872923B2 (ja) * 2012-02-22 2016-03-01 株式会社マイクロネット Ａｒ画像処理装置及び方法
JP2016126365A (ja) * 2014-12-26 2016-07-11 セイコーエプソン株式会社 表示システム、表示装置、情報表示方法、及び、プログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018128781A (ja) * 2017-02-07 2018-08-16 ファナック株式会社 座標情報変換装置及び座標情報変換プログラム
US10614149B2 (en) 2017-02-07 2020-04-07 Fanuc Corporation Coordinate information conversion device and computer readable medium
JP2021018544A (ja) * 2019-07-18 2021-02-15 ファナック株式会社 拡張現実グラス装置及び表示プログラム
JP7260428B2 (ja) 2019-07-18 2023-04-18 ファナック株式会社 拡張現実グラス装置及び表示プログラム
US11722651B2 (en) 2019-07-18 2023-08-08 Fanuc Corporation Augmented reality glasses device and display program
WO2021176645A1 (ja) * 2020-03-05 2021-09-10 Ｙａｍａｇａｔａ株式会社 拡張現実による機械締結作業方法
JPWO2021176645A1 (ja) * 2020-03-05 2021-09-10

Also Published As

Publication number Publication date
DE102017221678A1 (de) 2018-06-07
CN108153240A (zh) 2018-06-12
JP6434476B2 (ja) 2018-12-05
US10424122B2 (en) 2019-09-24
CN108153240B (zh) 2019-08-06
US20180158247A1 (en) 2018-06-07

Similar Documents

Publication Publication Date Title
JP6434476B2 (ja) 拡張現実シミュレーション装置及び拡張現実シミュレーションプログラム
JP6585665B2 (ja) 仮想オブジェクト表示システム
JP6426772B2 (ja) 座標情報変換装置及び座標情報変換プログラム
JP5378374B2 (ja) リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム
US20160288318A1 (en) Information processing apparatus, information processing method, and program
US20150062123A1 (en) Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
JP5709440B2 (ja) 情報処理装置、情報処理方法
JP2015125641A (ja) 情報処理装置、その制御方法、及びプログラム
CN103270534B (zh) 用于检测机床中的对象的位置的装置和方法
JP2017107349A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
CN109116807A (zh) 复合现实模拟装置以及计算机可读介质
Sylos Labini et al. Depth-awareness in a system for mixed-reality aided surgical procedures
JP6364389B2 (ja) 検査方法及び検査システム
Stübl et al. Lessons learned from industrial augmented reality applications
JP6781201B2 (ja) 仮想オブジェクト表示システム
US20160357880A1 (en) Computer-readable storage medium, design apparatus, and design method
Mikolajczyk Indication of Machining Area with the Robot's Camera using
US20180211442A1 (en) Information display system
JP6152888B2 (ja) 情報処理装置、その制御方法、及びプログラム、並びに、情報処理システム、その制御方法、及びプログラム
Mikolajczyk et al. Machining with image recognition using industrial robot
JP2015170232A (ja) 情報処理装置、その制御方法、及びプログラム
JP6253847B1 (ja) レーザ加工装置、レーザ加工方法、及びレーザ加工プログラム
US11544913B2 (en) Method and system for wearable device-based manual providing
JP6357412B2 (ja) 情報処理装置、情報処理システム、情報処理方法、及びプログラム
JP2019032713A5 (ja)

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180508

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181016

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181108

R150 Certificate of patent or registration of utility model

Ref document number: 6434476

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150