JP2020098451A - 情報投影システム、制御装置、及び情報投影方法 - Google Patents

情報投影システム、制御装置、及び情報投影方法 Download PDF

Info

Publication number
JP2020098451A
JP2020098451A JP2018236080A JP2018236080A JP2020098451A JP 2020098451 A JP2020098451 A JP 2020098451A JP 2018236080 A JP2018236080 A JP 2018236080A JP 2018236080 A JP2018236080 A JP 2018236080A JP 2020098451 A JP2020098451 A JP 2020098451A
Authority
JP
Japan
Prior art keywords
information
appearance
work
worker
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018236080A
Other languages
English (en)
Other versions
JP7414395B2 (ja
Inventor
仁志 蓮沼
Hitoshi Hasunuma
仁志 蓮沼
繁一 志子田
Shigekazu Shikoda
繁一 志子田
武司 山本
Takeshi Yamamoto
武司 山本
直弘 中村
Naohiro Nakamura
直弘 中村
一輝 倉島
Kazuki Kurashima
一輝 倉島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Heavy Industries Ltd
Original Assignee
Kawasaki Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Heavy Industries Ltd filed Critical Kawasaki Heavy Industries Ltd
Priority to JP2018236080A priority Critical patent/JP7414395B2/ja
Priority to US17/312,178 priority patent/US20220011750A1/en
Priority to PCT/JP2019/049505 priority patent/WO2020130006A1/ja
Priority to CN201980083101.0A priority patent/CN113196165A/zh
Publication of JP2020098451A publication Critical patent/JP2020098451A/ja
Application granted granted Critical
Publication of JP7414395B2 publication Critical patent/JP7414395B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41805—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by assembly
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/406—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by monitoring or safety
    • G05B19/4063—Monitoring general control system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G05B19/4187—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow by tool management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31046—Aid for assembly, show display on screen next workpiece, task, position to be assembled, executed
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/31—From computer integrated manufacturing till monitoring
    • G05B2219/31048—Project on workpiece, image of finished workpiece, info or a spot
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/37—Measurements
    • G05B2219/37074—Projection device, monitor, track tool, workpiece form, process on display
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • General Factory Administration (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】作業に関する画像を用いて作業を支援するシステムにおいて、作業に関する画像を複数の作業者間で簡単に共有可能であり、かつ、検出された情報に基づく画像を作業者に把握させることが可能な構成を提供する。【解決手段】情報投影システム１は、ステレオカメラ１１と、制御装置２０と、プロジェクタ１２と、を備える。制御装置２０は、通信装置２１と、解析部２２と、登録部２５と、投影制御部２７と、を備える。通信装置２１は、作業場の外観をステレオカメラ１１で検出した外観情報を取得する。解析部２２は、外観情報を解析して、作業場にある物体の形状及び位置を示すマップ情報を作成する。登録部２５は、複数のステレオカメラ１１がそれぞれ検出した外観情報から個別に作成されたマップ情報に基づいて、作業状況情報を作成して登録する。投影制御部２７は、作業を補助する補助映像を作業状況情報に基づいて作成してプロジェクタ１２へ出力する。【選択図】図１

Description

本発明は、主として、作業場に情報を投影する情報投影システムに関する。
従来から、部品の加工、塗装、組立て等の作業を行う作業場において、仮想画像を用いて作業を支援するシステムが知られている。特許文献１は、ヘッドマウントディスプレイ（以下、ＨＭＤ）を用いたこの種のシステムを開示する。
特許文献１では、本体部品に筒状部品を組み付ける作業を支援するシステムが例として示されている。また、作業者が装着するＨＭＤには撮像部が設けられており、この撮像部で作業場のマーカを検出することで、撮像部の位置及び姿勢が推定される。また、筒状部品の３次元データは予め取得されている。ＨＭＤの表示部には、作業者が視認する実物の本体部品の近くに、３次元データに基づいて作成された筒状部品の仮想画像が表示される。また、ＨＭＤの表示部には、筒状部品を組み付けるための移動軌跡が更に表示される。これにより、組立て手順を作業者に直感的に理解させることができる。
特開２０１４−２２９０５７号公報
しかし、特許文献１のシステムでは、ＨＭＤに画像を表示する構成であるため、複数の作業者で同じ画像を共有することはできなかった。もちろん、作業者にそれぞれＨＭＤを装着させて同じ画像を表示させることは可能であるが、同じ画像が表示されていることを確かめる必要があったり、どの画像に着目しているかを他の作業者に伝える必要がある。また、作業を効率化するためには、更なる情報を作業者に伝えることが求められる。
本発明は以上の事情に鑑みてされたものであり、その主要な目的は、作業に関する画像を用いて作業を支援するシステムにおいて、作業に関する画像を複数の作業者間で簡単に共有可能であり、かつ、検出された情報に基づく画像を作業者に把握させることが可能な構成を提供することにある。
本発明の解決しようとする課題は以上の如くであり、次にこの課題を解決するための手段とその効果を説明する。
本発明の第１の観点によれば、作業場の外観を検出する複数の外観センサと、制御装置と、映像を投影するプロジェクタと、を備える情報投影システムが提供される。また、前記制御装置は、取得部と、解析部と、登録部と、投影制御部と、を備える。前記取得部は、作業場の外観を前記外観センサで検出することで得られた外観情報を取得する。前記解析部は、前記取得部が取得した前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する。前記登録部は、複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する。前記投影制御部は、前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成して前記プロジェクタへ出力して前記作業場へ投影させる。
本発明の第２の観点によれば、作業場の外観を検出する複数の外観センサが検出した外観情報を取得するとともに、プロジェクタが投影するための映像を当該プロジェクタに出力する制御装置が提供される。また、前記制御装置は、解析部と、登録部と、投影制御部と、を備える。前記解析部は、前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する。前記登録部は、複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する。前記投影制御部は、前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成して前記プロジェクタへ出力して当該補助映像を前記作業場へ投影させる。
本発明の第３の観点によれば、以下の情報投影方法が提供される。即ち、この情報投影方法は、取得工程と、解析工程と、登録工程と、投影制御工程と、を含む。前記取得工程では、作業場の外観を外観センサで検出することで得られた外観情報を取得する。前記解析工程では、前記取得工程で取得した前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する。前記登録工程では、複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する。前記投影制御工程では、前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成してプロジェクタへ出力して前記作業場へ投影させる。
これにより、ＨＭＤに補助映像を表示する構成と異なり、投影された映像を複数の作業者間で簡単に共有できる。また、予め定められた情報ではなく検出した情報である作業状況情報に基づく補助映像が作業場に投影されるため、作業場の物体に関する様々な情報を作業者に把握させることができる。
本発明によれば、その主要な目的は、作業に関する画像を用いて作業を支援するシステムにおいて、作業に関する画像を複数の作業者間で簡単に共有可能であり、かつ、検出された情報に基づく画像を作業者に把握させることが可能な構成を実現できる。
本発明の一実施形態に係る情報投影システムの構成を示す概略図。 物体の名称及び作業内容を示す補助映像が作業場に投影される様子を示す図。 作業状況情報に基づいて得られる作業者毎の作業状況及び作業工程毎の作業状況を示す表。 他の作業者が取得した情報に基づく補助映像が作業場に投影される様子を示す図。 作業者端末ではなく作業場にステレオカメラ及びプロジェクタが配置される変形例を示す図。
次に、図面を参照して本発明の実施形態を説明する。図１は、本発明の一実施形態に係る情報投影システムの構成を示す概略図である。図２は、物体の名称及び作業内容を示す補助映像が作業場に投影される様子を示す図である。
本実施形態の情報投影システム１は、部品の加工、塗装、組立て等の作業を行う作業場において、作業状況をリアルタイムで取得するとともに、作業者の作業を補助する補助映像を作業場に投影する。情報投影システム１は、複数の作業者端末１０と、それを管理及び制御する制御装置２０と、を備えている。
作業者端末１０は、作業者が装着する装置である。図２に示すように、本実施形態の作業者端末１０は、作業者の頭に装着する構成である。作業者端末１０は、作業用ヘルメットと一体的に構成されていてもよいし、作業用ヘルメットに着脱可能であってもよい。また、作業者端末１０は、頭以外の箇所に装着可能な構成であってもよい。本実施形態では、作業場では複数の作業者が作業をしており、作業者毎に作業者端末１０が装着される。従って、情報投影システム１は複数の作業者端末１０を備えることとなる。「複数の作業者端末１０」とは、異なる作業者に取り付けられる端末（言い換えれば、離れた位置に配置されるとともに独立して位置を変更可能な端末）が複数（２以上）存在することを意味する。また、それぞれの作業者端末１０の構成は全く同じであってもよいし、異なっていてもよい。複数の作業者端末１０は、それぞれ、ステレオカメラ（外観センサ）１１と、プロジェクタ１２と、通信装置１３と、を備える。従って、情報投影システム１は、複数のステレオカメラ１１（外観センサ）を備えることとなる。外観センサとは、作業場の外観を取得するセンサである。また、「複数の外観センサ」とは、離れた位置に配置されるとともに独立して利用可能なデータを検出するセンサが複数（２以上）存在することを意味する。
ステレオカメラ１１は、互いに適宜の距離だけ離して配置された一対の撮像素子（イメージセンサ）を備える。それぞれの撮像素子は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃоｕｐｌｅｄ Ｄｅｖｉｃｅ）として構成することができる。２つの撮像素子は互いに同期して動作し、作業場を同時に撮影することで、一対の画像データを作成する。本実施形態では、リアルタイムで検出した情報を補助映像として投影することが想定されているため、ステレオカメラ１１は例えば１秒間に複数回の撮影を行うことが好ましい。
また、ステレオカメラ１１は、この一対の画像データを処理する画像処理部を備える。画像処理部は、ステレオカメラ１１により得られた一対の画像データに対して公知のステレオマッチング処理を行うことによって、それぞれの画像が対応する位置のズレ（視差）を求める。視差は、写ったものとの距離が近いほど、距離に反比例して大きくなる。画像処理部は、この視差に基づいて、画像データの各画素に距離の情報を対応付けた距離画像を作成する。ステレオカメラ１１は、２つの撮像素子を備えるが、それぞれの撮像素子が検出した画像を合わせて処理して１つの距離画像が作成されるため、１つの外観センサに相当する。また、撮像素子が作成した画像データ及び画像処理部が作成した距離画像は、作業場の外観を示す情報であるため、外観情報に相当する。
距離画像の作成は、撮像素子が画像データを作成する毎にリアルタイムで行われる。従って、距離画像を撮像頻度と同じ頻度で作成することができる。なお、ステレオカメラ１１が撮像素子を備え、ステレオカメラ１１とは物理的に離れた別の筐体に画像処理部が配置されていてもよい。
ステレオカメラ１１は、作業者の正面の画像データを作成するように、即ちレンズが作業者の目線と同じ方向を向くように配置されている。言い換えれば、作業者端末１０（ステレオカメラ１１）は作業者に対する向きが変わらないように当該作業者に固定可能な構成を有し、作業者端末１０を作業者に固定した状態において、ステレオカメラ１１の撮像方向が作業者の前方と一致する。これにより、作業者が目で見た情報を画像データとして取得することができる。
プロジェクタ１２は、外部から入力された映像を投影することができる。プロジェクタ１２は、ステレオカメラ１１と同様の構成により、作業者の正面に映像を投影する。これにより、作業者は、自身の向きに関係なく、プロジェクタ１２が投影した映像を視認することができる。また、ステレオカメラ１１とプロジェクタ１２の位置関係（向きを含む）は、予め求められており、作業者端末１０又は制御装置２０に記憶されている。従って、例えば作業場におけるステレオカメラ１１の位置を特定することで、作業場におけるプロジェクタ１２の位置を特定できる。
通信装置１３は、ステレオカメラ１１及びプロジェクタ１２と有線通信を行うためのコネクタ又は無線通信を行うための第１アンテナを備えており、ステレオカメラ１１及びプロジェクタ１２とデータをやり取りすることができる。また、通信装置１３は、外部の装置（特に制御装置２０）と無線通信するための第２アンテナを備えている。第２アンテナは第１アンテナと別体であってもよいし同じであってもよい。通信装置１３は、ステレオカメラ１１から入力された距離画像を第２アンテナを介して制御装置２０へ送信したり、制御装置２０が作成した補助映像を第２アンテナを介して受信してプロジェクタ１２へ出力したりする。
制御装置２０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を備えたコンピュータとして構成されている。制御装置２０は、作業者端末１０から受信した距離画像及びその他の情報に基づいて補助映像を作成し、作業者端末１０へ送信する。図１に示すように、制御装置２０は、通信装置（取得部）２１と、解析部２２と、マッチング部２３と、物体情報データベース２４と、登録部２５と、作業状況情報データベース２６と、投影制御部２７と、を備える。制御装置２０が備える各部は、制御装置２０が行う処理毎に（制御装置２０が有する機能毎に）制御装置２０を概念的に分けたものである。本実施形態の制御装置２０は１台のコンピュータにより実現されているが、制御装置２０は複数台のコンピュータから構成されていてもよい。この場合、これらの複数のコンピュータは、ネットワークを介して接続される。
通信装置２１は、外部の装置（特に作業者端末１０）と無線通信するための第３アンテナを備えている。通信装置２１は、制御装置２０の各部と無線又は有線により接続されており、データをやり取りすることができる。通信装置２１は、距離画像を作業者端末１０から取得する（取得工程）。通信装置２１は、作業者端末１０から取得した距離画像を第３アンテナを介して受信して解析部２２へ出力したり、投影制御部２７が作成した補助映像（詳細には補助映像を投影するためのデータ）を第３アンテナを介して作業者端末１０へ出力する。
解析部２２は、通信装置２１から入力された距離画像に対してＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）処理を行う。解析部２２は、距離画像を解析することで、作業場にある物体の形状及び位置を示すマップ情報（環境地図）を作成するとともにステレオカメラ１１の位置及び向き（センサ位置及びセンサ向き）を推定する（解析工程）。なお、作業場にある物体とは、例えば、作業場に配置される設備、機器、工具、及びワーク（作業対象物）である。
以下、マップ情報の作成方法について具体的に説明する。即ち、解析部２２は、距離画像を解析することにより、適宜の特徴点を設定し、その動きを取得する。そして、解析部２２は、距離画像から公知の手法によって複数の特徴点を抽出して追跡することで、画像に相当する平面内での特徴点の動きをベクトルで表現したデータを求める。解析部２２は、このデータに基づいて、マップ情報を生成する。マップ情報は、上述したように作業場にある物体の形状及び位置を示すデータであり、より詳細には、抽出した複数の特徴点（点群）の３次元位置を示すデータである。また、解析部２２は、入力された特徴点の位置及び距離の変化と、マップ情報における当該特徴点の位置と、に基づいて、ステレオカメラ１１の位置及び向きの変化を推定する。解析部２２が作成したマップ情報と、ステレオカメラ１１の位置及び向きと、それらの変化とが、マッチング部２３へ出力される。
マッチング部２３は、マップ情報に含まれる物体を特定する処理を行う。具体的には、物体情報データベース２４には、作業場にある物体の３次元モデルデータと、当該物体を特定する識別情報（名称又はＩＤ）と、が対応付けて記憶されている。上述したように、マップ情報は複数の特徴点の３次元位置を示すデータである。また、作業場に配置される物体の輪郭の一部は、解析部２２によってマップ情報における特徴点として処理される。マッチング部２３は、解析部２２から取得したマップ情報に含まれる複数の特徴点から、物体情報データベース２４に記憶されている所定の物体（例えば工具Ａ）の３次元モデルデータに該当する特徴点を公知の手法で探索する。そして、マッチング部２３は、この物体に該当する特徴点を抽出し、当該特徴点の位置に基づいて、この物体の位置（例えば所定の代表点の位置）及び向きを特定する。マッチング部２３は、マップ情報の座標上に、この特定した物体の識別情報と、その位置及び向きを付加したデータを作成する。この処理を様々な物体に対して行うことで、作業場に配置される様々な物体のマップ情報の座標上における位置及び向き等を示すデータ（物体座標データ）が得られる。
また、物体情報データベース２４には、物体に関する情報として、更に、物体の重さ、物体の軟らかさ、物体の変形度合、及び物体を用いた作業内容等が登録されている。これらの情報及び物体の識別情報を含めて、物体情報と称する。
登録部２５は、解析部２２及びマッチング部２３が作成した情報に基づいて作業状況情報を作成して、作業状況情報データベース２６に登録する（登録工程）。作業状況情報とは、作業場での作業状況に関する情報であり、例えば作業者の作業内容、及び、作業場での作業の進捗状況が含まれる。具体的には、ステレオカメラ１１の位置及び向きの変化は、作業者の位置及び向きの変化（以下、作業者状況の変化）に対応する。また、作業者が作業を行うに従って、設備、機器、工具、又はワークの数、位置、向き、又は形状の変化（作業環境の変化）が生じる。また、登録部２５には、作業者の作業内容と、作業者状況の変化及び作業環境の変化と、の対応関係を示す情報が登録されている。登録部２５は、この対応関係と、検出された作業者状況の変化及び作業環境の変化と、を比較することで、作業者がどのような作業を何回行ったかを特定して作業状況情報データベース２６に登録する。登録部２５は、図３（ａ）に示すように、作業者毎に、担当作業、作業完了数、及び作業効率（作業完了数を単位時間で除算したもの）を算出して登録する。また、登録部２５は、作業者ではなく作業工程に着目してデータを整理することで、図３（ｂ）に示すように、作業工程毎に、作業完了数、作業目標数、進捗率（作業完了数を作業目標数で除算したもの）を算出して登録することもできる。なお、登録部２５は、作業工程毎ではなく作業全体の進捗率を算出する構成であってもよい。また、作業状況情報データベース２６には、作業状況情報として、ステレオカメラ１１が作成した画像データも登録される。このように、作業状況情報は、予め作成された情報ではなく、検出された情報を含んでいるため、リアルタイムに変化する情報である。また、登録部２５は、更に、解析部２２及びマッチング部２３が作成した情報（ステレオカメラ１１の位置及び姿勢、物体座標データ）を投影制御部２７へ出力する。
なお、本実施形態では、解析部２２による解析、及び、マッチング部２３によりマッチングは、受信した外観情報毎に（言い換えれば作業者端末１０毎に）それぞれ行われる。これに代えて、複数の外観情報を統合した後に、解析部２２による解析、及び、マッチング部２３によりマッチングが行われる構成であってもよい。
投影制御部２７は、物体情報データベース２４及び作業状況情報データベース２６に登録された情報及び登録部２５から入力された情報等に基づいて、補助映像を作成してプロジェクタ１２へ出力することで、この補助映像を作業場へ投影させる（投影制御工程）。投影制御部２７には、作業状況に応じた補助映像を作成するために、作業者の作業内容と、補助映像の内容と、の対応関係を示す情報が登録されている。投影制御部２７は、この対応関係と、作業状況情報データベース２６から得られた作業者の現在の作業内容と、を比較することで、現在の作業者の作業内容に応じて投影すべき補助映像の内容を特定する。補助映像の内容としては、例えば、物体情報に基づく補助映像と、作業状況情報に基づく補助映像と、がある。なお、投影制御部２７は、作業者毎に（作業者端末１０毎に）異なる補助映像を作成してプロジェクタ１２に投影させる。以下、図２及び図４を参照して、投影制御部２７が作成する補助映像について具体的に説明する。
図２では、物体情報及び作業状況情報に基づいて作成された補助映像が作業場に投影される様子が示されている。図２に示す状況では、作業台４０の上に、工具４１と、第１部品４２と、第２部品４３が置かれている。また、図２に示す状況では、作業者は、第１部品４２を第２部品４３の上に移動させる作業が行われる。
図２の上側の図では、補助映像が投影される前の状態が示されており、図２の下側の図では、補助映像が投影された後の状態が示されている。図２の下側の図では、物体の名称（識別情報）と、物体を用いた作業内容と、を含む補助映像が投影されている。なお、図２の下側の図では、補助映像が破線で示されている。
投影制御部２７は、マッチング部２３から受信したデータに基づいて、物体の位置及び向き並びにステレオカメラ１１の位置及び向きをリアルタイムに把握可能であり、更にステレオカメラ１１とプロジェクタ１２の位置関係も予め記憶されている。そのため、投影制御部２７は、物体の位置及び向きを考慮した位置に補助映像を投影させることができる。具体的には、物体の名称等の文字を投影させる際には、物体の近傍であって、かつ、文字が視認できるように平面状の部分に対して、文字を投影させる。なお、投影制御部２７は、曲面に文字を投影させる場合は、投影先の曲面形状に応じて歪ませた文字を投影させることで、作業者が視認できる態様で曲面に文字を投影させることもできる。また、投影制御部２７は、作業内容を投影させる場合は、作業内容を示す文字に加え、第１部品４２の移動先及び移動方向を示す映像も補助映像として投影させる。
このように補助映像を投影することで、複数人の作業者で補助映像を容易に共有できる。例えば、熟練者が初心者に対して、補助映像を指差しながら作業手順を教えることができる。ＨＭＤに仮想映像を表示するシステムでは、このような教え方が困難である。従って、情報投影システム１を用いることで、効率的に作業手順を教えることができる。また、投影制御部２７は、ステレオカメラ１１の位置及び姿勢をリアルタイムに取得可能であるため、仮に作業者端末１０がズレた場合であっても、装着位置を再調整することなく、正しい位置に補助映像を投影できる。また、作業者は、ＨＭＤを用いるシステムと異なり、透明型ディスプレイを介さずに作業場を直接視認できる。以上により、作業効率を向上させつつ、作業者の手間及び負担を軽減できる。
図４には、作業状況情報データベース２６に登録されている作業状況情報が補助映像として投影される様子が示されている。図４に示す状況では、第３部品４４に形成された凹部４４ａに、第４部品４５を取り付ける作業が行われる。また、第３部品４４及び第４部品４５は、作業者と比較して非常に大きい部品であるため、２人の作業者がそれぞれ上側と下側の取付けを担当する。この状況では、２人の作業者が互いの作業状況を確認しながら第４部品４５の取付けを行う必要がある。しかし、第４部品４５は非常に大きいため、その作業は困難となる。
この点、本実施形態では、ステレオカメラ１１が作成した画像データも作業状況情報として登録されており、この画像データが補助映像として投影される。具体的には、上側にいる第１作業者のプロジェクタ１２からは、下側にいる第２作業者のステレオカメラ１１で作成された画像データが補助映像として投影される。また、図２と同様に、物体の名称も同時に補助映像として投影される。一方、下側にいる第２作業者のプロジェクタ１２からは、上側にいる第１作業者のステレオカメラ１１で作成された画像データ及び物体の名称が補助映像として投影される。これにより、互いの作業状況を確認しながら作業を行うことができる。このように、図４に示す例では、他の作業者の作業者端末１０で取得された情報であって、かつ、作業者が行う作業に応じた補助映像が投影される。
図４で示す例では、画像データと物体の名称が表示されるが、これらに代えて又は加えて、マップ情報から算出される物体の位置を補助映像として投影することもできる。例えば、マップ情報に基づいて、第３部品４４と第４部品４５のズレ量を数値化することが可能であるため、数値化したズレ量を補助映像として投影することもできる。また、図４で説明した状況は一例であり、例えば作業者より大きい大型部品や壁を挟んで向かい合うように位置する作業者同士で、互いの画像データを共有することができる。
次に、図５を参照して、上記実施形態の変形例について説明する。図５は、作業者端末１０ではなく作業場にステレオカメラ１１１及びプロジェクタ１１２が配置される変形例を示す図である。
本変形例では、作業場の例えば壁又は天井等にステレオカメラ１１１及びプロジェクタ１１２が配置されている。この構成であっても、ステレオカメラ１１１が作成した画像データ及び距離画像に基づいて、マップ情報を生成できる。また、本変形例の構成では、マッチング部２３がマッチングにより作業者を特定することで、作業者毎の情報を取得することもできる。
また、ステレオカメラ１１１とプロジェクタ１１２は固定されているため、位置関係は事前に記憶しておくことができるので、マップ情報の物体の位置及び向きを考慮して、補助映像を投影することもできる。なお、ステレオカメラ１１１及びプロジェクタ１１２の少なくとも一方が、位置及び向きを変化可能に構成されている場合であっても、位置制御又は姿勢制御の内容に応じて位置関係を算出できるので、同様である。
本変形例に代えて、ステレオカメラ１１１とプロジェクタ１１２の一方が作業者端末１０に配置され、他方が作業場に配置される構成であってもよい。この場合、作成されるマップ情報に基づいて、プロジェクタ１１２の位置及び向きを特定できる場合は、物体の位置及び向きを考慮して、補助映像を投影することができる。
以上に説明したように、この情報投影システム１は、作業場の外観を検出する複数のステレオカメラ１１，１１１と、制御装置２０と、映像を投影するプロジェクタ１２，１１２と、を備える。制御装置２０は、通信装置２１と、解析部２２と、登録部２５と、投影制御部２７と、を備える。通信装置２１は、作業場の外観をステレオカメラ１１，１１１で検出することで得られた外観情報（一対の画像データ又は距離画像）を取得する。解析部２２は、通信装置２１が取得した外観情報を解析して、作業場にある物体の形状及び位置を示すマップ情報を作成する。登録部２５は、複数のステレオカメラ１１，１１１がそれぞれ検出した複数の外観情報から個別に作成されたマップ情報に基づいて、作業場での作業状況に関する作業状況情報を作成して登録する。投影制御部２７は、作業場での作業者の作業を補助する補助映像を作業状況情報に基づいて作成してプロジェクタ１２，１１２へ出力して作業場へ投影させる。
これにより、ＨＭＤに補助映像を表示する構成と異なり、投影された映像を複数の作業者間で簡単に共有できる。また、予め定められた情報ではなく検出した情報である作業状況情報に基づく補助映像が作業場に投影されるため、作業場の物体に関する様々な情報を作業者に把握させることができる。
また、上記実施形態の情報投影システム１において、通信装置２１は、作業場の作業者に装着されたステレオカメラ１１が検出した外観情報を取得する。
これにより、作業者の位置及び向きを含む作業状況情報を作成できる。また、作業者が目で見た情報を作業状況情報に含めることができる。更に、ステレオカメラ１１が動くことになるため、様々な視点で得られた外観情報に基づいてマップ情報を作成できる。
また、上記実施形態の情報投影システム１において、投影制御部２７は、作業者が装着しているプロジェクタ１２から、当該プロジェクタ１２を装着している作業者の作業を補助する補助映像を投影させる。
これにより、作業者毎に必要な情報をプロジェクタ１２から投影させることができる。
また、上記実施形態の情報投影システム１において、投影制御部２７は、第１作業者が装着したステレオカメラ１１が検出した外観情報に基づいて作成された補助映像を、第２作業者が装着したプロジェクタ１２から作業場へ投影させる。
これにより、例えば第２作業者は、自身が直接確認できない情報（特に現在の作業状態に関する情報）を、第１作業者が装着したステレオカメラ１１を介して確認することができる。
また、上記実施形態の情報投影システム１において、登録部２５は、作業状況情報に含まれる物体の数、位置、向き、及び形状の少なくとも何れかに基づいて、作業者の作業状況、及び、作業場での作業の進捗状況の少なくとも何れかを作成して登録する。
これにより、現在の作業状態に関する情報に基づいて作業状況が判定されるので、正確な作業状況をリアルタイムで得ることができる。
また、上記実施形態の情報投影システム１において、マップ情報と物体の３次元データとのマッチングを行うことで、マップ情報に含まれる物体を特定するマッチング部２３を備える。投影制御部２７は、マッチング部２３が特定した物体情報を含む補助映像をプロジェクタ１２から作業場へ投影させる。
これにより、特定した物体に関する補助映像を投影できるので、作業者の作業効率を向上させたり、作業ミスを低減させたりすることができる。
また、上記実施形態の情報投影システム１において、投影制御部２７は、マッチング部２３が特定した物体に対応付けられた物体情報を取得し、マップ情報に含まれる物体の形状及び位置に基づいて決定された投影箇所に、当該物体情報が含まれる補助映像をプロジェクタ１２から投影させる。
これにより、物体の形状及び位置に基づいて決定された投影箇所に補助映像が投影されるので、作業者が視認できる位置及び態様で補助映像を映し出すことができる。また、物体に対応付けられた物体情報が表示されるので、作業者の作業を補助することができる。
以上に本発明の好適な実施の形態及び変形例を説明したが、上記の構成は例えば以下のように変更することができる。
外観センサとして、ステレオカメラ１１に代えて、単眼カメラが用いられても良い。この場合、解析部２２及びマッチング部２３は、以下の方法を用いて物体の位置及び姿勢を特定するとともに、当該物体を認識することができる。初めに、作業場に配置され得る物体を様々な方向及び距離から撮影した画像を作成する。これらの画像は、写真であってもよいし、３Ｄモデルに基づくＣＧ画像であってもよい。そして、これらの画像と、これらの画像を撮影した方向及び距離と、これらの画像が示す物体の識別情報等と、をコンピュータに機械学習させる。この機械学習により作成されるモデルを用いることで、物体の画像に基づいて、物体を認識するとともに、当該物体に対する撮像位置の相対位置を特定することができる。なお、この方法は、単眼カメラに限られず、ステレオカメラ１１にも適用できる。また、ステレオカメラ１１が単眼カメラである場合、解析部２２は、公知の単眼Ｖｉｓｕａｌ−ＳＬＡＭ処理を行って、本実施形態と同様の情報を検出しても良い。また、ステレオカメラ１１の代わりに、単眼カメラとジャイロセンサとを組み合わせた公知の構成を用いて、視差情報を取得してＳＬＡＭ技術に用いても良い。
外観センサとして、ステレオカメラ１１に代えて、３次元計測が可能な３次元ＬＩＤＡＲ（Ｌａｓｅｒ Ｉｍａｇｉｎｇ Ｄｅｔｅｃｔｉоｎ ａｎｄ Ｒａｎｇｉｎｇ）を用いてもよい。この場合、ステレオカメラ１１を用いる場合と比較して、対象物の３次元的な位置をより正確に計測することができる。また、レーザーを使用することによって、明るさ等の外部の影響を抑制した走査を行うことができる。
上記実施形態では、作業状況情報として、様々な情報を例に挙げて説明したが、それらの一部のみが作成されて登録される構成であってもよいし、上記で説明した情報とは異なる情報が作成されて登録される構成であってもよい。また、例えば作業状況情報として画像データのみが登録される場合、マッチング部２３によるマッチング処理は不要となる。
１ 情報投影システム
１０ 作業者端末
１１，１１１ ステレオカメラ（外観センサ）
１２，１１２ プロジェクタ
１３ 通信装置
２０ 制御装置
２１ 通信装置（取得部）
２２ 解析部
２３ マッチング部
２４ 物体情報データベース
２５ 登録部
２６ 作業状況情報データベース
２７ 投影制御部

Claims (9)

  1. 作業場の外観を検出する複数の外観センサと、制御装置と、映像を投影するプロジェクタと、を備える情報投影システムにおいて、
    前記制御装置は、
    作業場の外観を前記外観センサで検出することで得られた外観情報を取得する取得部と、
    前記取得部が取得した前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する解析部と、
    複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する登録部と、
    前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成して前記プロジェクタへ出力して当該補助映像を前記作業場へ投影させる投影制御部と、
    を備えることを特徴とする情報投影システム。
  2. 請求項１に記載の情報投影システムであって、
    前記取得部は、前記作業場の作業者に装着された前記外観センサが検出した前記外観情報を取得することを特徴とする情報投影システム。
  3. 請求項２に記載の情報投影システムであって、
    前記投影制御部は、作業者が装着している前記プロジェクタから、当該プロジェクタを装着している作業者の作業を補助する前記補助映像を投影させることを特徴とする情報投影システム。
  4. 請求項３に記載の情報投影システムであって、
    前記投影制御部は、第１作業者が装着した前記外観センサが検出した前記外観情報に基づいて作成された前記補助映像を、第２作業者が装着した前記プロジェクタから前記作業場へ投影させることを特徴とする情報投影システム。
  5. 請求項１から４までの何れか一項に記載の情報投影システムであって、
    前記登録部は、前記作業状況情報に含まれる前記物体の数、位置、向き、及び形状の少なくとも何れかに基づいて、前記作業者の作業状況、及び、前記作業場での作業の進捗状況の少なくとも何れかを作成して登録することを特徴とする情報投影システム。
  6. 請求項１から５までの何れか一項に記載の情報投影システムであって、
    前記マップ情報と前記物体の３次元データとのマッチングを行うことで、前記マップ情報に含まれる前記物体を特定するマッチング部を備え、
    前記投影制御部は、前記マッチング部が特定した前記物体に対応付けられた物体情報を含む前記補助映像を前記プロジェクタから前記作業場へ投影させることを特徴とする情報投影システム。
  7. 請求項６に記載の情報投影システムであって、
    前記投影制御部は、前記マッチング部が特定した前記物体に対応付けられた前記物体情報を取得し、前記マップ情報に含まれる前記物体の形状及び位置に基づいて決定された投影箇所に、当該物体情報が含まれる前記補助映像を前記プロジェクタから投影させることを特徴とする情報投影システム。
  8. 作業場の外観を検出する複数の外観センサが検出した外観情報を取得するとともに、プロジェクタが投影するための映像を当該プロジェクタに出力する制御装置において、
    前記制御装置は、
    前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する解析部と、
    複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する登録部と、
    前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成して前記プロジェクタへ出力して当該補助映像を前記作業場へ投影させる投影制御部と、
    を備えることを特徴とする制御装置。
  9. 作業場の外観を外観センサで検出することで得られた外観情報を取得する取得工程と、
    前記取得工程で取得した前記外観情報を解析して、前記作業場にある物体の形状及び位置を示すマップ情報を作成する解析工程と、
    複数の前記外観センサがそれぞれ検出した複数の前記外観情報から個別に作成された前記マップ情報、又は、当該複数の前記外観情報を統合して作成された前記マップ情報に基づいて、前記作業場での作業状況に関する作業状況情報を作成して登録する登録工程と、
    前記作業場での作業者の作業を補助する補助映像を前記作業状況情報に基づいて作成してプロジェクタへ出力して前記作業場へ投影させる投影制御工程と、
    を含むことを特徴とする情報投影方法。
JP2018236080A 2018-12-18 2018-12-18 情報投影システム、制御装置、及び情報投影制御方法 Active JP7414395B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018236080A JP7414395B2 (ja) 2018-12-18 2018-12-18 情報投影システム、制御装置、及び情報投影制御方法
US17/312,178 US20220011750A1 (en) 2018-12-18 2019-12-18 Information projection system, controller, and information projection method
PCT/JP2019/049505 WO2020130006A1 (ja) 2018-12-18 2019-12-18 情報投影システム、制御装置、及び情報投影方法
CN201980083101.0A CN113196165A (zh) 2018-12-18 2019-12-18 信息投影系统、控制装置以及信息投影方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018236080A JP7414395B2 (ja) 2018-12-18 2018-12-18 情報投影システム、制御装置、及び情報投影制御方法

Publications (2)

Publication Number Publication Date
JP2020098451A true JP2020098451A (ja) 2020-06-25
JP7414395B2 JP7414395B2 (ja) 2024-01-16

Family

ID=71101969

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018236080A Active JP7414395B2 (ja) 2018-12-18 2018-12-18 情報投影システム、制御装置、及び情報投影制御方法

Country Status (4)

Country Link
US (1) US20220011750A1 (ja)
JP (1) JP7414395B2 (ja)
CN (1) CN113196165A (ja)
WO (1) WO2020130006A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190285A1 (ja) * 2021-03-10 2022-09-15 川崎重工業株式会社 自己位置推定システム及び自己位置推定方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2616832A (en) * 2022-03-10 2023-09-27 Mclaren Automotive Ltd Quality control system configuration
CN116880732B (zh) * 2023-07-14 2024-02-02 中国人民解放军海军潜艇学院 海图作业投影辅助的交互方法及交互装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090807A (ja) * 2006-09-06 2008-04-17 National Institute Of Advanced Industrial & Technology 小型携帯端末
JP2013235374A (ja) * 2012-05-08 2013-11-21 Sony Corp 画像処理装置、投影制御方法及びプログラム
JP2015149011A (ja) * 2014-02-07 2015-08-20 セイコーエプソン株式会社 表示システム、表示装置、および表示方法
JP2016181199A (ja) * 2015-03-25 2016-10-13 ビーコア株式会社 画像投影装置、画像投影方法及びプログラム
JP2018032364A (ja) * 2016-08-25 2018-03-01 東芝Ｉｔコントロールシステム株式会社 指示装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100231506A1 (en) * 2004-09-07 2010-09-16 Timothy Pryor Control of appliances, kitchen and home
US7268893B2 (en) * 2004-11-12 2007-09-11 The Boeing Company Optical projection system
CA2625348C (en) * 2005-10-07 2015-03-17 Ops Solutions Llc Light guided assembly system
WO2008004438A1 (fr) * 2006-07-03 2008-01-10 Panasonic Corporation Système de projecteur et procédé de projection d'image video
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
WO2012054231A2 (en) 2010-10-04 2012-04-26 Gerard Dirk Smits System and method for 3-d projection and enhancements for interactivity
US9658614B2 (en) * 2011-02-11 2017-05-23 Ops Solutions Llc Light guided assembly system and method
KR20130136566A (ko) 2011-03-29 2013-12-12 퀄컴 인코포레이티드 로컬 멀티-사용자 협업을 위한 모듈식 모바일 접속된 피코 프로젝터들
JP5912059B2 (ja) * 2012-04-06 2016-04-27 ソニー株式会社 情報処理装置、情報処理方法及び情報処理システム
HUP1200540A2 (en) 2012-09-19 2014-03-28 Laszlo Dulin Method for welding simulation
JP6075180B2 (ja) * 2013-04-18 2017-02-08 オムロン株式会社 作業管理システムおよび作業管理方法
JP6344890B2 (ja) 2013-05-22 2018-06-20 川崎重工業株式会社 部品組立作業支援システムおよび部品組立方法
JP6207240B2 (ja) * 2013-06-05 2017-10-04 キヤノン株式会社 情報処理装置及びその制御方法
WO2015006334A1 (en) * 2013-07-08 2015-01-15 Ops Solutions Llc Eyewear operational guide system and method
CN105607253B (zh) * 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
JP6828235B2 (ja) * 2015-12-07 2021-02-10 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の表示を共有する方法、コンピュータープログラム
CN108025439B (zh) * 2015-10-14 2021-04-27 川崎重工业株式会社 机器人示教方法及机器臂控制装置
EP3974586B1 (en) 2017-03-07 2024-03-13 Sumitomo Heavy Industries, Ltd. Work support system for a construction machine

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008090807A (ja) * 2006-09-06 2008-04-17 National Institute Of Advanced Industrial & Technology 小型携帯端末
JP2013235374A (ja) * 2012-05-08 2013-11-21 Sony Corp 画像処理装置、投影制御方法及びプログラム
JP2015149011A (ja) * 2014-02-07 2015-08-20 セイコーエプソン株式会社 表示システム、表示装置、および表示方法
JP2016181199A (ja) * 2015-03-25 2016-10-13 ビーコア株式会社 画像投影装置、画像投影方法及びプログラム
JP2018032364A (ja) * 2016-08-25 2018-03-01 東芝Ｉｔコントロールシステム株式会社 指示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022190285A1 (ja) * 2021-03-10 2022-09-15 川崎重工業株式会社 自己位置推定システム及び自己位置推定方法

Also Published As

Publication number Publication date
US20220011750A1 (en) 2022-01-13
JP7414395B2 (ja) 2024-01-16
WO2020130006A1 (ja) 2020-06-25
CN113196165A (zh) 2021-07-30

Similar Documents

Publication Publication Date Title
JP4757142B2 (ja) 撮影環境校正方法及び情報処理装置
US11565427B2 (en) Robot system
US9008371B2 (en) Method and system for ascertaining the position and orientation of a camera relative to a real object
JP4537557B2 (ja) 情報呈示システム
CN108227929B (zh) 基于bim技术的增强现实放样系统及实现方法
WO2020130006A1 (ja) 情報投影システム、制御装置、及び情報投影方法
JP6491574B2 (ja) Ａｒ情報表示装置
US9482754B2 (en) Detection apparatus, detection method and manipulator
JP5390813B2 (ja) 空間情報表示装置及び支援装置
JP2017118396A (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
KR20010078102A (ko) 캘리브레이션 시스템, 타겟장치 및 캘리브레이션방법
KR20180090353A (ko) 3차원 계측 장치 및 그 계측 지원 처리 방법
CN104160426A (zh) 图像处理装置和图像处理方法
KR101379787B1 (ko) 구멍을 가진 구조물을 이용한 카메라와 레이저 거리 센서의 보정 장치 및 보정 방법
CN112655027A (zh) 维护辅助系统、维护辅助方法、程序、加工图像的生成方法以及加工图像
JP5198078B2 (ja) 計測装置および計測方法
KR20200072535A (ko) 다중-레이어 뷰잉 시스템 및 방법
Yamauchi et al. Calibration of a structured light system by observing planar object from unknown viewpoints
JP7266422B2 (ja) 注視行動調査システム、及び制御プログラム
JP3696335B2 (ja) 複数枚の画像の各計測点の対応づけ方法
US20230249341A1 (en) Robot teaching method and robot working method
JP2019066292A (ja) 映像表示システム
KR20200094941A (ko) 생산 라인에서의 작업자 위치 인식 방법 및 그 장치
CN111372698A (zh) 作业辅助系统及作业辅助方法
JP2020170482A (ja) 作業指示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230620

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230919

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231228

R150 Certificate of patent or registration of utility model

Ref document number: 7414395

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150