JP2017100205A - Virtual fence display system - Google Patents
Virtual fence display system Download PDFInfo
- Publication number
- JP2017100205A JP2017100205A JP2015233296A JP2015233296A JP2017100205A JP 2017100205 A JP2017100205 A JP 2017100205A JP 2015233296 A JP2015233296 A JP 2015233296A JP 2015233296 A JP2015233296 A JP 2015233296A JP 2017100205 A JP2017100205 A JP 2017100205A
- Authority
- JP
- Japan
- Prior art keywords
- worker
- image data
- head
- transmittance
- virtual fence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002834 transmittance Methods 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims abstract description 10
- 230000008569 process Effects 0.000 claims abstract description 8
- 238000012545 processing Methods 0.000 claims description 19
- 238000004891 communication Methods 0.000 claims description 8
- 239000004984 smart glass Substances 0.000 abstract description 25
- 230000008859 change Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000035699 permeability Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Images
Landscapes
- Manipulator (AREA)
Abstract
Description
本発明は、作業者が頭部に装着する表示部に、ロボット本体の周辺に配置される安全柵を3次元でモデリングした3Dモデル画像データを表示させるバーチャルフェンス表示システムに関する。 The present invention relates to a virtual fence display system for displaying 3D model image data obtained by modeling a safety fence arranged around a robot body in a three-dimensional manner on a display unit worn by an operator on the head.
作業者が頭部に装着した状態の表示部に画像を投影可能に構成される頭部装着型ディスプレイを用いて、例えば仮想現実の画像や様々な情報を表示させる技術が例えば特許文献1等で提案されている。この技術を、ロボットが作業する領域に立ち入る可能性がある作業者の安全を確保するために適用することを想定する。 A technique for displaying a virtual reality image and various information using, for example, a head-mounted display configured to be able to project an image on a display unit worn by the operator on the head is disclosed in, for example, Patent Document 1 Proposed. It is assumed that this technology is applied to ensure the safety of an operator who may enter an area where the robot works.
例えば1つの手法として、作業者が頭部装着型ディスプレイを介してロボットを見た場合に、ロボットの周辺に仮想的な安全柵の画像を表示させることが考えられる。以下、この「仮想的な安全柵」を「バーチャルフェンス」と称する。このようなシステムを導入することで作業者の安全性を確保すると共に、実際には安全柵を配置する必要がなくなるので、ロボットと共存する環境下における作業者の作業効率が向上することも期待できる。 For example, as one method, when an operator views a robot via a head-mounted display, it is conceivable to display a virtual safety fence image around the robot. Hereinafter, this “virtual safety fence” is referred to as a “virtual fence”. By introducing such a system, it is possible to ensure the safety of the worker, and in fact, it is not necessary to install a safety fence, so it is expected that the work efficiency of the worker in an environment coexisting with the robot will be improved. it can.
しかしながら、その一方で、作業者がロボットを視界に捉えた場合に、バーチャルフェンスが頭部装着型ディスプレイに常に表示されていると、作業者の気が散ることで作業効率の低下を招くおそれもある。 However, on the other hand, when the worker catches the robot in the field of view, if the virtual fence is always displayed on the head-mounted display, the operator's distraction may cause a reduction in work efficiency. is there.
本発明は上記事情に鑑みてなされたものであり、その目的は、頭部装着型ディスプレイにおけるバーチャルフェンスの表示態様を、作業者の作業効率に極力影響を及ぼさないように最適化できるバーチャルフェンス表示システムを提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide a virtual fence display that can optimize the display mode of the virtual fence on the head-mounted display so as not to affect the work efficiency of the operator as much as possible. To provide a system.
請求項1記載のバーチャルフェンス表示システムによれば、画像処理部は、ロボット本体の位置を中心として、そのロボット本体の周辺に配置される安全柵を3次元でモデリングした3Dモデル画像データ,つまりバーチャルフェンスの3Dモデル画像データを保持する。また、画像処理部は、バーチャルフェンスの3Dモデル画像データを、複数の直方体で分割した形態で、且つ各直方体をそれぞれ所定の透過率の画像で表示するように処理可能である。尚、ここでの「直方体」には「立方体」も含む。 According to the virtual fence display system of claim 1, the image processing unit 3D model image data obtained by modeling a safety fence arranged around the robot body around the position of the robot body in three dimensions, that is, virtual Holds 3D model image data of the fence. The image processing unit can process the 3D model image data of the virtual fence in a form obtained by dividing the virtual fence into a plurality of rectangular parallelepipeds and display each rectangular parallelepiped as an image having a predetermined transmittance. Here, the “cuboid” includes “cube”.
そして、画像処理部は、頭部装着型ディスプレイを装着している作業者の位置及び方向の情報を取得すると、表示部に表示させるバーチャルフェンスの3Dモデル画像データが、作業者の視界に移り込む形態となるように加工する。その際に、バーチャルフェンスと作業者との位置及び方向の関係に応じて、複数の直方体のうち、作業者の近傍側にあるものほど透過率が低くなり、遠方側にあるものほど透過率が高くなるように加工して頭部装着型ディスプレイ側に送信する。すると、頭部装着型ディスプレイは、受信したバーチャルフェンスの3Dモデル画像データを表示部に投影する。 When the image processing unit acquires information on the position and direction of the worker wearing the head-mounted display, the virtual fence 3D model image data to be displayed on the display unit moves into the worker's field of view. Process to form. At that time, according to the relationship between the position and direction of the virtual fence and the worker, among the plurality of rectangular parallelepipeds, the one closer to the worker has a lower transmittance, and the one closer to the worker has a lower transmittance. Process it to be higher and send it to the head-mounted display. Then, the head-mounted display projects the received 3D model image data of the virtual fence on the display unit.
このように構成すれば、頭部装着型ディスプレイには常にバーチャルフェンス全体の画像が表示されることはなく、作業者に相対的に近い位置にある直方体部分は透過率が低くなり、バーチャルフェンスの存在を作業者により意識させる状態で表示される。一方、作業者から相対的に遠い位置にある直方体部分は透過率が高くなることで、バーチャルフェンスの存在を作業者にあまり意識させない状態で表示される。 With this configuration, the image of the entire virtual fence is not always displayed on the head-mounted display, and the rectangular parallelepiped portion located relatively close to the worker has low transmittance, and the virtual fence Displayed in a state in which the presence is made more conscious by the worker. On the other hand, the rectangular parallelepiped portion located at a position relatively far from the worker has a high transmittance, and is displayed in a state in which the worker is not conscious of the existence of the virtual fence.
したがって、実際のロボット本体の周囲に安全柵を配置しなくても、バーチャルフェンスを表示させることで作業者の安全を確保することができると共に、ロボットと作業者とが共存して作業する領域における作業者の作業効率を向上させることができる。また、作業者の安全性が十分に確保されている、相対的に遠い位置にあるバーチャルフェンスの部分は透過率が高くなるので、作業者の気が散ることを防止できる。加えて、作業者は、ロボット本体やその周辺の実景を視認し易くなるので、その点からも作業効率の向上が期待できる。 Therefore, it is possible to ensure the safety of the worker by displaying the virtual fence without arranging a safety fence around the actual robot body, and in the area where the robot and the worker coexist. The work efficiency of the worker can be improved. Further, since the transmittance of the portion of the virtual fence at a relatively far position where the safety of the worker is sufficiently secured is high, it is possible to prevent the worker from being distracted. In addition, since it becomes easier for the worker to visually recognize the actual scene of the robot body and its surroundings, improvement in work efficiency can also be expected from this point.
請求項2記載のバーチャルフェンス表示システムによれば、位置方向情報取得部を、頭部装着型ディスプレイに配置される撮像器と、撮像器が撮像した画像データに含まれているロボット本体の画像から、作業者の位置及び方向の情報を取得する画像処理部とで構成する。
According to the virtual fence display system of
頭部装着型ディスプレイに比較的小型の撮像器を配置することは容易であり、撮像器が撮像した画像データからは、作業者の視界において、ロボット本体がどのような方向や大きさで捉えられているか等を把握できる。したがって、画像処理部が前記画像データを処理することにより作業者の位置及び方向の情報を取得できるので、前記情報を取得するためのセンサを別途用いる必要がなくなる。 It is easy to place a relatively small imager on a head-mounted display. From the image data captured by the imager, the orientation and size of the robot body can be captured in the operator's field of view. You can see if you are. Therefore, since the image processing unit can acquire the information on the position and direction of the worker by processing the image data, it is not necessary to separately use a sensor for acquiring the information.
請求項3記載のバーチャルフェンス表示システムによれば、画像処理部は、3Dモデル画像データの透過率を有段階で変化させる。ここでの「有段階」とは、少なくとも画像処理部が透過率を変化させる際の最小分解能よりも大きい段階であり、且つ、作業者が透過率の変化を認識できる程度の段階である。このように構成すれば、画像処理部における計算量を削減できると共に、作業者に対して直方体の透過率が変化する境界をより明確に認識させることが可能になる。 According to the virtual fence display system of the third aspect, the image processing unit changes the transmittance of the 3D model image data in a stepwise manner. The “present stage” here is a stage larger than at least the minimum resolution when the image processing unit changes the transmittance, and is a stage where the operator can recognize the change in the transmittance. With this configuration, it is possible to reduce the amount of calculation in the image processing unit and to make the operator more clearly recognize the boundary where the transmittance of the rectangular parallelepiped changes.
以下、一実施形態について図面を参照して説明する。図1に示すように、本実施形態のバーチャルフェンス表示システム1は、例えば組立用のロボットアーム2,ロボット安全コントローラ3,スマートグラス4及びカメラ5より構成されている。ロボット本体であるロボットアーム2は、例えば6軸の垂直多関節型ロボットとして構成されている。一般的な構成につき詳しい説明は省略するが、このロボットアーム2は、夫々サーボモータにより駆動される6軸のアームを有し、第6軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。
Hereinafter, an embodiment will be described with reference to the drawings. As shown in FIG. 1, the virtual fence display system 1 of the present embodiment includes, for example, a
ロボットアーム2は、ロボットコントローラとしての機能も有しているロボット安全コントローラ3にケーブル6を介して接続され、前記各軸のサーボモータがこのロボット安全コントローラ3により制御される。画像処理部に相当するロボット安全コントローラ3は、予め保持しているロボットアーム2の3次元位置座標(x,y,z)の情報を取得する。また、ロボット安全コントローラ3は、ロボットアーム2の周辺に仮想的に配置される安全柵であるバーチャルフェンスVFの形態を、3次元的にモデリングしたデータである3Dモデル画像データを内部のメモリに記憶して保持している。
The
頭部装着型ディスプレイであるスマートグラス4は、図1に示すように、作業者7が頭部に眼鏡のように装着するもので、眼鏡のレンズ部分に相当する透明な表示部4Dに、図示しない投影部を介して画像を投影可能な所謂透過型のディスプレイである。スマートグラス4のフレームの一側部には、図2にも示すように、位置方向情報出力部及び撮像器であるカメラ5が配置されている。カメラ5は、作業者7がスマートグラス4を頭部に装着した状態で、作業者7の頭部正面が向いている方向の画像を撮像するもので、例えばCCD(Charge Coupled Device)やCMOSイメージセンサなどで構成されている。
As shown in FIG. 1, a smart glass 4 that is a head-mounted display is worn by an
スマートグラス4は、図1及び図2ではアンテナのシンボルで示す無線通信部8をフレームに内蔵しており、同じく図1においてアンテナのシンボルで示すロボット安全コントローラ3の無線通信部9と通信可能となっている。無線通信部8は、カメラ5により撮像された画像のデータをロボット安全コントローラ3に送信し、無線通信部9は、ロボット安全コントローラ3が保持している前記3Dモデル画像データをスマートグラス4に送信する。通信部8及び9は、それぞれ第1及び第2通信部に相当する。
The smart glass 4 incorporates a
ここで、バーチャルフェンスVFの3Dモデル画像データは、図3,図5及び図6に示すように、バーチャルフェンスVFの全体を複数の直方体Cdにより分割した状態でモデリングしている。そして、各直方体Cdを、個別に異なる透過率で表示するように画像処理することができる。 Here, the 3D model image data of the virtual fence VF is modeled in a state where the entire virtual fence VF is divided by a plurality of rectangular parallelepipeds Cd as shown in FIGS. Then, each rectangular parallelepiped Cd can be image-processed so as to be displayed with different transmittances.
図3は、スマートグラス4を装着した作業者7が、表示部4Dを介して見た視界の状態を示している。作業者7の近傍にあるロボットアーム2NについてはバーチャルフェンスVFの3Dモデル画像が表示される。但し、その全体が表示されることはなく、バーチャルフェンスVFのうち、作業者7に相対的に近い位置にある部分の直方体Cdは透過率が相対的に低い設定で描画され、作業者7に相対的に遠い位置にある部分の直方体Cdは透過率が相対的に高い設定で描画される。そして、作業者7の遠方にあるロボットアーム2Fについては、作業者7が作業するに当たって安全性に影響しないので、バーチャルフェンスVFの3Dモデル画像は表示しない。つまり、全ての直方体Cdの透過率を100%にする。上記の「遠方」とは、例えばロボットアーム2が作業する領域よりも離れた距離である。
FIG. 3 shows the state of the field of view as seen through the
次に、上記のようにスマートグラス4に画像を表示させる本実施形態の作用について、図4から図6も参照して説明する。図4は、ロボット安全コントローラ3による処理内容を中心に示すフローチャートである。ロボット安全コントローラ3は、先ずスマートグラス4から、作業者7の座標位置を取得する(S1)。具体的には、スマートグラス4は、カメラ5が撮像した画像のデータをロボット安全コントローラ3に送信する。ロボット安全コントローラ3は、その画像データにロボットアーム2が含まれていると、ロボットアーム2の3次元的な形態から、作業者7の相対的な座標位置を特定する。
Next, the operation of this embodiment for displaying an image on the smart glass 4 as described above will be described with reference to FIGS. FIG. 4 is a flowchart showing mainly the contents of processing by the robot safety controller 3. The robot safety controller 3 first acquires the coordinate position of the
続いて、ロボットアーム2の座標位置を取得すると(S2)、ロボットアーム2の位置と作業者7の位置とをワールド座標上でマッチングさせて、両者の位置関係を特定する(S3)。そして、ロボットアーム2と作業者7との距離,及び作業者7の視点からロボットアーム2が見えている方向を計算する(S4)。
Subsequently, when the coordinate position of the
続くステップS5において、計算した距離及び方向が、スマートグラス4にバーチャルフェンスVFを表示する必要がある範囲内にあるか否かを判断する。前記範囲内に無ければ(NO)処理を終了するが、前記範囲内にあれば(YES)、バーチャルフェンスVFの描画領域を複数のブロック,つまり直方体Cdに分割する(S6)。 In a subsequent step S5, it is determined whether or not the calculated distance and direction are within a range where the virtual fence VF needs to be displayed on the smart glass 4. If it is not within the range (NO), the process is terminated. If it is within the range (YES), the drawing area of the virtual fence VF is divided into a plurality of blocks, that is, a rectangular parallelepiped Cd (S6).
以降のステップS7〜S10のループは各直方体Cdについての処理となる。作業者7の位置から、各直方体Cdまでの距離を計算すると(S8)、計算した距離に応じて各直方体Cdの透過率を決定する(S9)。全ての直方体Cdについて処理すると、ロボット安全コントローラ3は、スマートグラス4にバーチャルフェンスVFの3Dモデル画像データと、その描画指令とを送信する(S11)。それらを受信したスマートグラス4は、表示部4DにバーチャルフェンスVFの3D画像を描画して表示する(S12)。
The subsequent loop of steps S7 to S10 is processing for each rectangular parallelepiped Cd. When the distance from the position of the
以上の処理による具体的な透過率の設定例を、図5に平面図で示す。作業者7がロボットアーム2の正面で、バーチャルフェンスVFの中央に位置しており、バーチャルフェンスVFを表示する所定の距離範囲にあるとする。平面的にはバーチャルフェンスVFを直方体Cdを3×4で12分割している。このとき、作業者7に最も近い第1列の中央部にある直方体Cd(1,2)及び(1,3)の透過率を例えば25%とすると、それらの外側にある直方体Cd(1,1)及び(1,4)の透過率を例えば50%とする。
FIG. 5 is a plan view showing a specific example of transmittance setting by the above processing. It is assumed that the
次の第2列の中央部にある直方体Cd(2,2)及び(2,3)の透過率を例えば50%とすると、それらの外側にある直方体Cd(2,1)及び(2,4)の透過率を例えば75%とする。そして、ロボットアームの後方となる第3列の直方体Cd(3,1)〜(3,4)については、透過率を100%にして非表示にする。 If the transmittance of the rectangular parallelepipeds Cd (2,2) and (2,3) in the center of the next second row is 50%, for example, the rectangular parallelepipeds Cd (2,1) and (2,4) outside them ) Is, for example, 75%. Then, the third row of rectangular parallelepipeds Cd (3, 1) to (3, 4) behind the robot arm are not displayed with a transmittance of 100%.
また、図6では立体的に示しているが、この場合、バーチャルフェンスVFを平面的には3×3で9分割し、高さ方向に2分割することで立体的には18分割している。図6(c)に示すように、作業者7がバーチャルフェンスVFの中央に位置していると、第1列下方にある直方体Cd(1,1,1)〜(1,3,1)については透過率を25%にしている。以下表的にまとめて示す。
透過率
第3列上方;(3,1,2)〜(3,3,2) 100%
第2列上方;(2,1,2)〜(2,3,2) 75%
第1列上方;(1,1,2)〜(1,3,2) 50%
第3列下方;(3,1,1)〜(3,3,1) 100%
第2列下方;(2,1,1)〜(2,3,1) 50%
第1列下方;(1,1,1)〜(1,3,1) 25%
In addition, in FIG. 6, the virtual fence VF is divided into 9 parts by 3 × 3 on a plane and divided into 18 parts by dividing into two in the height direction in this case. . As shown in FIG. 6C, when the
Transmittance Upper third row; (3, 1, 2) to (3, 3, 2) 100%
Upper second row; (2,1,2) to (2,3,2) 75%
Upper first row; (1,1,2) to (1,3,2) 50%
Lower third row; (3, 1, 1) to (3, 3, 1) 100%
Second row down; (2,1,1) to (2,3,1) 50%
1st row down; (1,1,1) to (1,3,1) 25%
図6(b)に示すように、作業者7がバーチャルフェンスVFの左側に位置している場合は以下のようになる。
透過率
第3列上方;(3,1,2)〜(3,3,2) 100%,100%,100%
第2列上方;(2,1,2)〜(2,3,2) 75%,100%,100%
第1列上方;(1,1,2)〜(1,3,2) 50%, 75%,100%
第3列下方;(3,1,1)〜(3,3,1) 75%,100%,100%
第2列下方;(2,1,1)〜(2,3,1) 50%, 75%,100%
第1列下方;(1,1,1)〜(1,3,1) 25%, 50%, 75%
As shown in FIG. 6B, when the
Transmittance Upper third row; (3, 1, 2) to (3, 3, 2) 100%, 100%, 100%
2nd row upper; (2,1,2) to (2,3,2) 75%, 100%, 100%
Upper first row; (1,1,2) to (1,3,2) 50%, 75%, 100%
Lower third row; (3, 1, 1) to (3, 3, 1) 75%, 100%, 100%
Second row down; (2,1,1) to (2,3,1) 50%, 75%, 100%
Lower row 1; (1,1,1) to (1,3,1) 25%, 50%, 75%
図6(d)に示すように、作業者7がバーチャルフェンスVFの右側に位置している場合は以下のようになる。
透過率
第3列上方;(3,1,2)〜(3,3,2) 100%,100%,100%
第2列上方;(2,1,2)〜(2,3,2) 100%,100%, 75%
第1列上方;(1,1,2)〜(1,3,2) 100%, 75%, 50%
第3列下方;(3,1,1)〜(3,3,1) 100%,100%, 75%
第2列下方;(2,1,1)〜(2,3,1) 100%, 75%, 50%
第1列下方;(1,1,1)〜(1,3,1) 75%, 50%, 25%
As shown in FIG. 6D, when the
Transmittance Upper third row; (3, 1, 2) to (3, 3, 2) 100%, 100%, 100%
Second row above; (2,1,2) to (2,3,2) 100%, 100%, 75%
Upper first row; (1,1,2) to (1,3,2) 100%, 75%, 50%
Lower third row; (3, 1, 1) to (3, 3, 1) 100%, 100%, 75%
Second row down; (2,1,1) to (2,3,1) 100%, 75%, 50%
1st row down; (1,1,1) to (1,3,1) 75%, 50%, 25%
このように各直方体Cdの透過率を設定することで、作業者7に相対的に近い位置にあるバーチャルフェンスVFの部分は作業者7の視界において認識され易くなり、作業者7はバーチャルフェンスVFの存在によって、作業時に自己の安全を確保することをより意識するようになる。一方、作業者7より相対的に遠い位置にあるバーチャルフェンスVFの部分は作業者7の視界において認識され難くなる。したがって、作業者7は、バーチャルフェンスVFに妨げられることなく、ロボットアーム2及びその周辺の実景を容易に視認できる。
By setting the transmittance of each rectangular parallelepiped Cd in this manner, the portion of the virtual fence VF that is relatively close to the
以上のように本実施形態によれば、ロボット安全コントローラ3は、ロボットアーム2の位置を中心として、その周辺に仮想的に配置されるバーチャルフェンスVFの3Dモデル画像データを保持し、その3Dモデル画像データを、複数の直方体Cdで分割した形態で、且つ各直方体Cdをそれぞれ所定の透過率の画像で表示可能とする。
As described above, according to the present embodiment, the robot safety controller 3 holds the 3D model image data of the virtual fence VF that is virtually arranged around the position of the
そして、ロボット安全コントローラ3は、スマートグラス4を装着している作業者7の位置及び方向の情報を取得すると、表示部4Dに表示させるバーチャルフェンスの3Dモデル画像データが作業者7の視界に移り込む形態となるように加工する。その際に、バーチャルフェンスVFと作業者7との位置及び方向の関係に応じて、複数の直方体Cdのうち、作業者7の近傍側にあるものほど透過率が低くなり、遠方側にあるものほど透過率が高くなるように加工してスマートグラス4側に送信する。すると、スマートグラス4は、受信したバーチャルフェンスの3Dモデル画像データを表示部4Dに投影して表示させる。
When the robot safety controller 3 acquires information on the position and direction of the
したがって、実際のロボットアーム2の周囲に安全柵を配置しなくても、バーチャルフェンスVFを表示させることで作業者7の安全を確保することができると共に、ロボットと作業者7とが共存して作業する領域における作業者7の作業効率を向上させることができる。また、作業者7の安全性が十分に確保されている、相対的に遠い位置にあるバーチャルフェンスVFの部分は透過率が高くなるので、作業者7の気が散ることを防止できる。加えて、作業者7は、ロボットアーム2やその周辺の実景を視認し易くなるので、その点からも作業効率の向上が期待できる。
Therefore, the safety of the
そして、ロボット安全コントローラ3は、スマートグラス4に配置されるカメラ5が撮像した画像データに含まれているロボットアーム2の画像から、作業者7の位置及び方向の情報を取得する。すなわち、スマートグラス4に小型のカメラ5を配置することは容易であり、カメラ5が撮像した画像データからは、作業者7の視界において、ロボットアーム2がどのような方向や大きさで捉えられているか等を把握できる。したがって、ロボット安全コントローラ3が前記画像データを処理することで、作業者7の位置及び方向の情報を取得でき、前記情報を取得するためのセンサを別途用いる必要がなくなる。
Then, the robot safety controller 3 acquires information on the position and direction of the
また、ロボット安全コントローラ3は、3Dモデル画像データの透過率を有段階で変化させる。ここでの「有段階」とは、少なくともロボット安全コントローラ3が透過率を変化させる際の最小分解能よりも大きく、且つ、作業者7が透過率の変化を認識できる程度の段階である。このように構成すれば、ロボット安全コントローラ3における計算量を削減できると共に、作業者7に対して直方体Cdの透過率が変化する境界をより明確に認識させることが可能になる。
Further, the robot safety controller 3 changes the transmittance of the 3D model image data in a stepped manner. The “present stage” here is a stage that is at least larger than the minimum resolution when the robot safety controller 3 changes the transmittance and that allows the
本発明は上記した、又は図面に記載した実施形態にのみ限定されるものではなく、以下のような変形又は拡張が可能である。
透過率の具体数値については、個別の設計に応じて適宜変更すれば良い。
直方体Cdを、立方体としても良い。
ロボット本体はロボットアーム2に限ることなく、その他例えば水平4軸構成のロボットアーム,自走式のロボットや人型のロボットでも良い。
The present invention is not limited to the embodiments described above or shown in the drawings, and the following modifications or expansions are possible.
What is necessary is just to change suitably the specific numerical value of the transmittance | permeability according to an individual design.
The rectangular parallelepiped Cd may be a cube.
The robot body is not limited to the
位置方向情報取得部に、レーザセンサや赤外センサを用いたり、GPS,ジャイロ,加速度等の各センサを用いても良い。そして、これらのセンサ信号をロボット安全コントローラ3に直接入力しても良い。
頭部装着型ディスプレイは、必ずしもスマートグラス4である必要はなく、作業者が頭部に装着する表示部に画像を投影可能に構成されるものであれば良い。
For the position / direction information acquisition unit, a laser sensor or an infrared sensor, or each sensor such as GPS, gyroscope, acceleration, etc. These sensor signals may be directly input to the robot safety controller 3.
The head-mounted display is not necessarily the smart glass 4 and may be any display that can project an image on a display unit worn by the operator on the head.
図面中、1はバーチャルフェンス表示システム、2はロボットアーム、3はロボット安全コントローラ、4はスマートグラス、4Dは表示部、5はカメラ、7は作業者、8及び9は無線通信部を示す。 In the drawings, 1 is a virtual fence display system, 2 is a robot arm, 3 is a robot safety controller, 4 is a smart glass, 4D is a display unit, 5 is a camera, 7 is an operator, and 8 and 9 are wireless communication units.
Claims (3)
ロボット本体の位置を中心として、前記ロボット本体の周辺に配置される安全柵を3次元でモデリングした3Dモデル画像データを保持する画像処理部と、
前記作業者の位置及び前記作業者の頭部正面が向いている方向の情報を取得する位置方向情報取得部とを備え、
前記画像処理部は、前記安全柵の3Dモデル画像データを、複数の直方体で分割した形態で、且つ各直方体をそれぞれ所定の透過率の画像で表示するように処理可能であり、
前記位置方向情報取得部を介して前記作業者の位置及び方向の情報を取得すると、前記頭部装着型ディスプレイに表示させる前記安全柵の3Dモデル画像データが、前記作業者の視界に移り込む形態となるように加工すると共に、
前記安全柵と前記作業者との位置及び方向の関係に応じて、前記複数の直方体のうち、前記作業者の近傍側にあるものほど透過率が低くなるように、且つ、前記作業者の遠方側にあるものほど透過率が高くなるように加工して、前記各通信部を介して前記頭部装着型ディスプレイ側に送信し、
前記頭部装着型ディスプレイは、前記加工された安全柵の3Dモデル画像データを受信すると、当該3Dモデル画像データを前記ディスプレイに投影させるバーチャルフェンス表示システム。 A head-mounted display configured to be able to project an image on a display unit worn by the operator on the head; and
An image processing unit that holds 3D model image data obtained by modeling a safety fence arranged around the robot body around the position of the robot body in three dimensions;
A position and direction information acquisition unit that acquires information on the position of the worker and the direction in which the front of the head of the worker is facing;
The image processing unit can process the 3D model image data of the safety fence in a form divided by a plurality of rectangular parallelepipeds and display each rectangular parallelepiped as an image having a predetermined transmittance.
When the information on the position and direction of the worker is acquired via the position / direction information acquisition unit, the 3D model image data of the safety fence displayed on the head-mounted display moves to the field of view of the worker While processing to become
Depending on the relationship between the position and direction of the safety fence and the worker, among the plurality of rectangular parallelepipeds, the closer to the worker, the lower the transmittance, and the farther away of the worker Process so that the transmittance is higher as it is on the side, and transmit to the head-mounted display side through each communication unit,
When the head mounted display receives 3D model image data of the processed safety fence, the virtual fence display system projects the 3D model image data on the display.
この撮像器が撮像した画像データを取得すると、当該画像データに含まれている前記ロボット本体の画像から、前記作業者の位置及び方向の情報を取得する前記画像処理部とで構成される請求項1記載のバーチャルフェンス表示システム。 The position / direction information acquisition unit is arranged on a head-mounted display so as to capture an image in the front direction of the operator's head; and
The image processing unit configured to acquire information on a position and a direction of the worker from an image of the robot main body included in the image data when the image data captured by the image pickup device is acquired. The virtual fence display system according to 1.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015233296A JP6631203B2 (en) | 2015-11-30 | 2015-11-30 | Virtual fence display system |
US15/358,925 US9855664B2 (en) | 2015-11-25 | 2016-11-22 | Robot safety system |
CN201611055537.3A CN106808496B (en) | 2015-11-25 | 2016-11-25 | Robot safety system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015233296A JP6631203B2 (en) | 2015-11-30 | 2015-11-30 | Virtual fence display system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017100205A true JP2017100205A (en) | 2017-06-08 |
JP6631203B2 JP6631203B2 (en) | 2020-01-15 |
Family
ID=59015790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015233296A Active JP6631203B2 (en) | 2015-11-25 | 2015-11-30 | Virtual fence display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6631203B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020011357A (en) * | 2018-07-20 | 2020-01-23 | セイコーエプソン株式会社 | Control device, head mount display and robot system |
US10885335B2 (en) | 2018-01-08 | 2021-01-05 | Samsung Electronics Co., Ltd. | Electronic device and controlling method thereof |
JPWO2021220915A1 (en) * | 2020-04-27 | 2021-11-04 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004243516A (en) * | 2003-02-11 | 2004-09-02 | Kuka Roboter Gmbh | Method for fading-in information created by computer into image of real environment, and device for visualizing information created by computer to image of real environment |
WO2011080882A1 (en) * | 2009-12-28 | 2011-07-07 | パナソニック株式会社 | Operating space presentation device, operating space presentation method, and program |
JP2011227879A (en) * | 2010-03-30 | 2011-11-10 | Ns Solutions Corp | Information providing device, information providing method, and program |
JP2012218120A (en) * | 2011-04-12 | 2012-11-12 | Seiko Epson Corp | Manipulator operation previous notice device, robot system and method for previously noticing manipulator operation |
JP2017094450A (en) * | 2015-11-25 | 2017-06-01 | 株式会社デンソーウェーブ | Robot safety system |
-
2015
- 2015-11-30 JP JP2015233296A patent/JP6631203B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004243516A (en) * | 2003-02-11 | 2004-09-02 | Kuka Roboter Gmbh | Method for fading-in information created by computer into image of real environment, and device for visualizing information created by computer to image of real environment |
WO2011080882A1 (en) * | 2009-12-28 | 2011-07-07 | パナソニック株式会社 | Operating space presentation device, operating space presentation method, and program |
JP2011227879A (en) * | 2010-03-30 | 2011-11-10 | Ns Solutions Corp | Information providing device, information providing method, and program |
JP2012218120A (en) * | 2011-04-12 | 2012-11-12 | Seiko Epson Corp | Manipulator operation previous notice device, robot system and method for previously noticing manipulator operation |
JP2017094450A (en) * | 2015-11-25 | 2017-06-01 | 株式会社デンソーウェーブ | Robot safety system |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10885335B2 (en) | 2018-01-08 | 2021-01-05 | Samsung Electronics Co., Ltd. | Electronic device and controlling method thereof |
JP2020011357A (en) * | 2018-07-20 | 2020-01-23 | セイコーエプソン株式会社 | Control device, head mount display and robot system |
US11157226B2 (en) | 2018-07-20 | 2021-10-26 | Seiko Epson Corporation | Control apparatus, head mounted display and robot system |
JP7167518B2 (en) | 2018-07-20 | 2022-11-09 | セイコーエプソン株式会社 | Controllers, head-mounted displays and robotic systems |
JPWO2021220915A1 (en) * | 2020-04-27 | 2021-11-04 | ||
WO2021220915A1 (en) * | 2020-04-27 | 2021-11-04 | ファナック株式会社 | Display device for industrial machine |
JP7381729B2 (en) | 2020-04-27 | 2023-11-15 | ファナック株式会社 | Industrial machinery display device |
US11978168B2 (en) | 2020-04-27 | 2024-05-07 | Fanuc Corporation | Display device for industrial machine |
Also Published As
Publication number | Publication date |
---|---|
JP6631203B2 (en) | 2020-01-15 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9855664B2 (en) | Robot safety system | |
JP6589604B2 (en) | Teaching result display system | |
CN103302664B (en) | Robot device and the method for control equipment | |
JP6582921B2 (en) | Robot monitor system | |
US10888998B2 (en) | Method and device for verifying one or more safety volumes for a movable mechanical unit | |
US20170206710A1 (en) | Information displaying system provided with head-mounted type display | |
JP6645142B2 (en) | Robot safety system | |
CN103302665B (en) | Robot device, the method controlling robot device | |
JP7003633B2 (en) | Transparent display device, display control method, and computer program | |
JP6970858B2 (en) | Maintenance support system, maintenance support method, program and processed image generation method | |
CA3053100A1 (en) | A display system and method for remote operation using acquired three-dimensional data of an object and viewpoint position data of a worker | |
JP6631203B2 (en) | Virtual fence display system | |
JP6746902B2 (en) | Information display system for head-mounted display for workers | |
KR102190743B1 (en) | AUGMENTED REALITY SERVICE PROVIDING APPARATUS INTERACTING WITH ROBOT and METHOD OF THEREOF | |
CN111383348A (en) | Method for remotely and synchronously controlling robot through virtual reality | |
JP6657858B2 (en) | Robot operation system | |
WO2019120481A1 (en) | System and method for determining a transformation representation | |
JP2018151742A (en) | Information display system | |
JP2021065971A (en) | Robot teaching system, image forming method and program | |
US20180268218A1 (en) | Information display system | |
KR101975556B1 (en) | Apparatus of controlling observation view of robot | |
JP7331462B2 (en) | ROBOT SYSTEM, ROBOT CONTROL METHOD AND ELECTRONIC DEVICE | |
KR102377988B1 (en) | Method and device for assisting collaboration with robot | |
JP6748793B1 (en) | Maintenance support system, maintenance support method, program and method of generating processed image | |
WO2022131068A1 (en) | Augmented reality display device and augmented reality display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180621 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190426 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190514 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191125 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6631203 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |