JP2017528215A - メディエイテッドリアリティ溶接のための方法およびシステム - Google Patents

Abstract

メディエイテッドリアリティ溶接のための方法およびシステムが提供される。その方法およびシステムは、溶接作業中のオペレータまたはマシンビジョンを改良する。

Description

関連出願の相互参照
本出願は、２０１４年５月７日に出願された米国特許仮出願第６１／９８９，６３６号に対する優先権の恩恵を主張する、２０１５年５月５日に出願された米国特許出願第１４／７０４，５６２号に対する優先権の恩恵を主張するものである。これらの出願の内容は、参照によって、その全体が本願明細書に組み込まれるものとする。

技術分野
本発明は、一般に、溶接作業中のオペレータビジョンを改良するためのメディエイテッドリアリティ（ｍｅｄｉａｔｅｄ ｒｅａｌｉｔｙ）の利用法に関する。メディエイテッドリアリティは、感覚入力を増加し、意図的に減少させ、およびより一般的には、その他変更する装置による、体感の人工的変更のための全般的枠組みを指す。ウェアラブルコンピューティングは、身体携行型計算装置および知覚装置を考案し、設計し、構成し、または利用するという研究または実施である。ウェアラブルコンピュータは、衣服の下、上または中に身に着けることができ、または、それら自体が衣服であってもよい。メディエイテッドリアリティ技術は、ウェアラブルコンピューティングアプリケーションを生み出すのに用いることができる。ウェアラブルコンピューティングの有望性には、私達の生活の品質を根本的に改善する能力がある。

目の怪我は、Ｌｉｂｅｒｔｙ Ｍｕｔｕａｌ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅｆｏｒ Ｓａｆｅｔｙによれば、溶接の負傷の４分の１を占め、溶接工の圧倒的に最も一般的な怪我になっている。最も一般的なタイプの溶接のすべて（被覆金属アーク溶接、手棒溶接、またはガス溶接）は、潜在的に、有害な紫外線、赤外線および可視スペクトル放射を生成する。紫外光からの損傷は、非常に素早く起きる可能性がある。通常、紫外線放射は、目の角膜やレンズに吸収されると、電光性眼炎またはアークフラッシュ、すなわち、眼球腫脹、涙および痛みを特徴とする非常に痛いが永続的ではない損傷をしばしば引き起こす。

溶接ヘルメットは、固定シェードまたは可変シェードとすることができる。典型的には、固定シェードヘルメットは、同じ電流レベルで同じ種類の溶接を必要とする日常の業務に最も適しており、また、可変ヘルメットは、可変溶接タスクを伴う作業者に最も適している。ヘルメットシェードは、９から１４までランク付けされた幅広い範囲の暗さのレベルがあり、１４が最も暗く、それらは、ヘルメットに応じて手動または自動で調節する。業務に最も適したヘルメットを決めるために、パドルの快適かつ正確なビューイングを提供して、優れた溶接部を確実にするレンズシェードを選択しなければならない。シェード制御を利用して眼の保護を実行できる自動遮光カートリッジが溶接ヘルメットに一体化されている。

今日使用されている最新の溶接ヘルメットは、固定シェードを用いて、１９３７年にＷｉｌｓｏｎ ｐｒｏｄｕｃｔｓによって最初に発表された。現在の自動遮光ヘルメット技術は、Ｍａｒｋ Ｇｏｒｄｏｎにより、１９７３年１２月２６日に米国特許庁に提出された。“Ｗｅｌｄｉｎｇ Ｈｅｌｍｅｔ ｗｉｔｈ Ｅｙｅ Ｐｉｅｃｅ Ｃｏｎｔｒｏｌ”というタイトルの米国特許第３８７３８０４号明細書がＧｏｒｄｏｎに対して発行され、センサが明るい溶接アークを検出したときに自動的に遮光するＬＣＤ電子シャッタを開示した。

電子自動遮光ヘルメットの導入に伴い、溶接工は、もはや溶接の準備をした後に、首を縦に振って顔の上にヘルメットを下げる必要はなくなった。しかし、それらの電子自動遮光ヘルメットは、実際の溶接中に、着用者が、従来の固定シェード「ガラス」よりもうまく見るのに役に立っていない。溶接アークが形成されている間、「ガラス」は固定シェードであるかのように遮光されるため、主な利点は、アークが形成される前または後の瞬間がよく見える能力である。１９８１年、Ｈｏｒｎｅｌｌというスウェーデンの製造会社は、Ｇｏｒｄｏｎの特許の最初の実際の商業的実施であるＳｐｅｅｄｇｌａｓを発表した。１９８１年以来、溶接中のオペレータの見る能力を向上させるのに用いられる技術における進歩は限られていた。自動遮光ヘルメットは、今日では、依然として眼の保護用の最もポピュラーな選択である。

米国特許第３８７３８０４号明細書

本発明は、好適な実施形態において、溶接作業中に視覚を変えることによるメディエイテッドリアリティ溶接のための方法およびシステムであって、溶接作業中に視覚を変える方法であって、現在の画像を取得することと、背景基準画像を決定することと、前景基準画像を決定することと、（ｉ）前記現在の画像と前記背景基準画像とを結合すること、および、（ｉｉ）前記結合された画像に前記前景基準画像を置換することにより、前記現在の画像を処理することと、処理された現在の画像を表示することと、を含む方法およびシステムを意図している。

上記の概略の説明および以下の詳細な説明は、ともに例示的でありおよび例示的なものにすぎずおよびクレームされている本発明を制限するものではないことを理解されたい。

明細書に組み込まれて明細書の一部を構成している添付図面は、本発明の好適な実施形態を示す。それらは説明とともに、本発明の目的、効果および原理を説明するのに役に立つ。

従来の自動遮光溶接ヘルメットの前方斜視図である。 自動遮光溶接ヘルメットの内部を示す、図１Ａに示された従来の自動遮光溶接ヘルメットの後方斜視図である。 従来の自動遮光溶接ヘルメットカートリッジの前方正面図である。 図２Ａに示された従来の自動遮光溶接ヘルメットカートリッジの後方正面図である。 本発明によるメディエイテッドリアリティ溶接ヘルメットの前方斜視図である。 メディエイテッドリアリティ溶接ヘルメットの内部を示す、図３Ａに示されたメディエイテッドリアリティ溶接ヘルメットの後方斜視図である。 本発明によるメディエイテッドリアリティ溶接ヘルメットカートリッジの前方正面図である。 図４Ａに示されたメディエイテッドリアリティ溶接ヘルメットカートリッジの後方正面図である。 本発明によるメディエイテッドリアリティ溶接に用いられる例示的な溶接ビードの図である。 本発明によるメディエイテッドリアリティ溶接ヘルメットカートリッジに用いられるコンピュータハードウェアのブロック図である。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオを取り込み、処理し、そして表示するために行われる動作に関するフローチャートである。 図７Ａに示されたフローチャートから続き、そしてそのフローチャートを完結するフローチャートである。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオの並列処理において行われる動作に関するフローチャートである。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオを合成するために行われる動作のフローチャートである。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオを合成する際に用いられる背景基準画像の写真である。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオを合成する際に用いられる第一の暗画像の写真である。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオにおける背景基準画像とともに合成された第一の暗画像の写真である。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオを処理する際のその後に使用するために取り込まれた、最後の光トーチおよびオペレータの手袋内の手の前景基準画像の写真である。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオによってさらに処理するための溶接パドルベクトルを生成するために行われる動作のフローチャートである。 図１１Ａに示されたフローチャートから続き、そしてそのフローチャートを完結するフローチャートである。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオによってさらに処理するための溶接パドルベクトルを計算する際に用いられる溶接パドルに適用される二値化閾値の写真である。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオによってさらに処理するための溶接パドルベクトルを計算する際に用いられる溶接パドル境界および重心の写真である。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオによってさらに処理するために用いられる例示的な溶接パドルベクトルの写真である。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオによってさらに処理するために、溶接トーチおよび手袋内のオペレータの手を抽出するために行われる動作のフローチャートである。 図１３Ａに示されたフローチャートから続き、およびそのフローチャートを完結するフローチャートである。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオによってさらに処理するためのトーチおよび手袋内のオペレータの手の初期ベクトルを決定するために行われる動作のフローチャートである。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオによってさらに処理するのに用いられる溶接トーチおよび手袋内のオペレータの手の基準画像の写真である。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオによってさらに処理するのに用いられる溶接トーチおよび手袋内のオペレータの手の基準画像に適用される二値化閾値の写真である。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオによってさらに処理するのに用いられる抽出された溶接トーチおよび手袋内のオペレータの手の写真である。 本発明の好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオを構成するために行われる動作のフローチャートである。 図１５Ａに示されたフローチャートから続き、およびそのフローチャートを完結するフローチャートである。 本発明の好適な実施形態において、生成されたメディエイテッドリアリティ溶接のストリーミングビデオの写真である。

本発明は、メディエイテッドリアリティ溶接のための方法およびシステムに注力する。以下で議論するように、本発明の方法およびシステムは、溶接作業中のオペレータまたはマシンビジョンを改良するメディエイテッドリアリティを用いる。

図１Ａは、フロントマスク１と、溶接中にオペレータの顔および眼を保護する従来のバッテリ駆動の自動遮光カートリッジＣＴＧの前部２とを含む従来の自動遮光溶接ヘルメットＨを示す。

図１Ｂはさらに、溶接ヘルメットＨの内部３と、従来の自動遮光カートリッジＣＴＧの後部４と、オペレータの顔とレンズの間の距離を制御する、顔のサイズ、傾斜および前／後調節を可能にする調節可能なオペレータヘッドストラップ５とを含む従来の溶接ヘルメットＨを示す。

図２Ａは、従来の自動遮光カートリッジＣＴＧの前部２を示す。保護クリアレンズＬは、溶接スパッタおよびスクラッチからフィルタ６を保護するために、自動遮光フィルタ６を覆っている。従来の溶接ヘルメットＨは、溶接が始まると、明状態（シェード３．５）から暗状態（シェード６〜１３）に自動的に変化する。従来の自動遮光カートリッジＣＴＧは、溶接アークからの光を検出し、レンズを選択した溶接シェードに遮光するセンサを含む。従来の自動遮光カートリッジＣＴＧは、交換可能なバッテリ（図示せず）および太陽電池７によって駆動される。バッテリは、典型的には、カートリッジの底部角部に配置される。

図２Ｂはさらに、従来の自動遮光カートリッジＣＴＧの後部４を示す。従来の自動遮光カートリッジＣＴＧの制御部は、シェードレンジスイッチ８と、溶接後の強い残留線からオペレータの眼を保護するように設計されているディレイノブ制御部９と、過剰な周辺光中でヘルメットが用いられる場合に、光感度を調節する感度ノブ１０と、所望のシェードを設定するためのシェードダイアル１１と、溶接前にシェード選択をプレビューするためのテストボタン１２とを含む。業界標準の自動遮光カートリッジのサイズは、幅４．５インチ×高さ５．２５インチである。

図３Ａは、改良した溶接ヘルメットＨ’を示す。改良した溶接ヘルメットＨ’は、従来の溶接ヘルメットＨの機能の多くを含んでいるが、メディエイテッドリアリティ溶接カートリッジＭＣＴＧの利用に対応するように改良されている。

改良されたヘルメットＨ’は、メディエイテッドリアリティ溶接カートリッジＭＣＴＧに対応するように変更されているフロントマスク１を含む。図３Ａおよび図４Ａにおいて、メディエイテッドリアリティ溶接カートリッジＭＣＴＧの前部１３は、無色の保護カバーの背後のカメラ（またはイメージセンサ）１４と、溶接中にオペレータの顔および眼を保護する自動遮光フィルタＦとともに図示されている。メディエイテッドリアリティ溶接カートリッジＭＣＴＧカートリッジは、交換可能なバッテリ（図示せず）および太陽電池７によって駆動される。バッテリは、典型的には、カートリッジの底部角部に配置される。

図３Ｂはさらに、メディエイテッドリアリティ溶接カートリッジＭＣＴＧに対応するように改良されている改良された溶接ヘルメットＨ’の内部３を示す。図３Ｂおよび図４Ｂに図示されているように、メディエイテッドリアリティ溶接カートリッジＭＣＴＧの後部１５は、表示スクリーン１９と、ズームインボタン１７またはズームアウトボタン１８を用いて、表示スクリーン１９に表示された、溶接されているワークピースをオペレータが見るために、カメラ（またはイメージセンサ）１４の焦点を合わせるためのオペレータフォーカス制御部１６とを含む。メディエイテッドリアリティ溶接カートリッジＭＣＴＧの後部１５は、シェード調節、ディレイ、感度およびテストを含むカートリッジ設定にアクセスするためのオペレータ制御部２０も含む。メディエイテッドリアリティ溶接カートリッジＭＣＴＧは、メディエイテッドリアリティ溶接アプリケーションソフトウェアによってプログラムされ、また、オペレータ制御部２０は、メディエイテッドリアリティ溶接アプリケーションソフトウェアにアクセスするのにも用いられる。オペレータ制御部２０は、「戻る」ボタン２１と、「メニュー」ボタン２２と、「アップ」ボタン２６、「ダウン」ボタン２４、「右」ボタン２５、「左」ボタン２７および「選択」ボタン２８を含むマウス２３と、「ホーム」ボタン２９とを含む触覚フィードバックボタン群を有している。

図５は、本発明の好適な実施形態におけるメディエイテッドリアリティ溶接を説明するのに用いられる溶接ビード３１を伴う一枚の例示的な鋼板３０を示す。

図６は、メディエイテッドリアリティ溶接カートリッジＭＣＴＧに用いられるコンピュータハードウェアのブロック図である。カートリッジのハードウェアおよびソフトウェアは、リアルタイムストリーミングビデオを取り込み、処理しおよび表示し、およびオペレータ設定およびメディエイテッドリアリティ溶接アプリケーションソフトウェアを提供する。好適な実施形態においては、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ ＡＭ３３５ｘ Ｓｉｔａｒａ ｍｉｃｒｏｐｒｏｃｅｓｓｏｒ ｆａｍｉｌｙからのマイクロプロセッサ３２を用いることができる。ＡＭ３３５ｘは、ＡＲＭ（Ａｄｖａｎｃｅｄ Ｒｉｓｃ Ｍａｃｈｉｎｅｓ）Ｃｏｒｔｅｘ−Ａ８プロセッサに基づいており、および画像、グラフィック処理および周辺部が強化されている。好適な実施形態で用いられるオペレーティングシステムは、組込みＬｉｎｕｘバリアントである。

ＡＭ３３５ｘは、互換ＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ）ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）コントローラまたはディスプレイに接続するための必要な内蔵機能を有している。表示スクリーン１９は、ＷＱＶＧＡ（Ｗｉｄｅ Ｑｕａｒｔｅｒ Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）解像度で４８０×２７２ＲＧＢ（Ｒｅｄ，Ｇｒｅｅｎ，Ｂｌｕｅ）画素を表示可能なＳｈａｒｐ ＬＱ０４３Ｔ３ＤＸ０２ ＬＣＤモジュールとすることができる。表示スクリーン１９は、ＡＭ３３５ｘに接続され、およびＬＣＤディスプレイの駆動をサポートする、ＡＭ３３５ｘからの信号３３を受け取る。ＡＭ３３５ｘは、例えば、生ＲＧＢデータ（Ｒｅｄ／５，Ｇｒｅｅｎ／６，Ｂｌｕｅ／５）および制御信号ＶＳＹＮＣ（Ｖｅｒｔｉｃａｌ Ｓｙｎｃ）、ＨＳＹＮＣ（Ｈｏｒｉｚｏｎｔａｌ Ｓｙｎｃ）、ＰＣＬＫ（Ｐｉｘｅｌ Ｃｌｏｃｋ）およびイネーブル（ＥＮ）を含む信号３３を出力する。

さらに、ＡＭ３３５ｘは、カメラ（またはイメージセンサ）１４とインタフェースをとる必要な内蔵機能も有し、およびカメラ（またはイメージセンサ）１４は、ＣＭＯＳディジタルイメージセンサとすることができる。好適な実施形態で用いられているＡｐｔｉｎａ Ｉｍａｇｉｎｇ社のＭＴ９Ｔ００１Ｐ１２ＳＴＣ ＣＭＯＳディジタルイメージセンサ１４は、ＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）動画取り込みが可能な３メガピクセルセンサである。カメラ（またはイメージセンサ１４）は、フレームサイズ、露出、ゲイン設定、電子パンニング（ズームイン、ズームアウト）およびその他のパラメータに対してプログラムすることができる。カメラ（またはイメージセンサ）１４は、ＡＭ３３５ｘ（マイクロプロセッサ３２）の汎用メモリコントローラ（ｇｅｎｅｒａｌ−ｐｕｒｐｏｓｅ ｍｅｍｏｒｙ ｃｏｎｔｒｏｌｌｅｒ：ＧＰＭＣ）機能３４を用いて、取り込んだ動画のメモリ３６へのＤＭＡ（Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ）転送を、５１２ＭＢ ＤＤＲ３Ｌ（ＤＤＲ３ Ｌｏｗ−Ｖｏｌｔａｇｅ）ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ−Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３６の例示的な方式で実行する。ＤＤＲ３またはダブルデータレートタイプ３同期ダイナミックランダムアクセスメモリは、高帯域幅インタフェースを備えた最新のタイプのＤＲＡＭである。ＡＭ３３５ｘは、ストリーミングカメラビデオデータを５１２ＭＢ ＤＤＲ３Ｌ ＤＲＡＭに転送する１６ビット多重化双方向アドレスおよびデータバス（ＧＰＭＣ／１６）と、Ｃｌｏｃｋ（ＧＰＭＣ＿ＣＬＫ）、Ａｄｄｒｅｓｓ Ｖａｌｉｄ／Ａｄｄｒｅｓｓ Ｌａｔｃｈ Ｅｎａｂｌｅ（ＧＰＭＣ＿ＡＤＶ）、Ｏｕｔｐｕｔ Ｅｎａｂｌｅ／Ｒｅａｄ Ｅｎａｂｌｅ（ＧＰＭＣ＿ＯＥ）、Ｗｒｉｔｅ Ｅｎａｂｌｅ（ＧＰＭＣ＿ＷＥ）、Ｃｈｉｐ Ｓｅｌｅｃｔ（ＧＰＭＣ＿ＣＳ１）およびＤＭＡ Ｒｅｑｕｅｓｔ（ＧＰＭＣ＿ＤＭＡＲ）を含むＧＰＭＣ制御信号とを生成する。

オペレータ制御部２０の触覚フィードバックボタンと、オペレータフォーカス制御部１６は、１２の汎用入力／出力ライン、すなわち、ＧＰＩＯ／１０およびＧＰＩＯ／２により、ボタンの押圧がスキャンされる。ボタンが押圧されると、中断信号（ＩＮＴＲ０）が、どのボタンが押圧されたかを判断するマイクロプロセッサ３２に送られる。

組込みＬｉｎｕｘオペレーティングシステム、ブートローダおよびファイルシステムは、メディエイテッドリアリティアプリケーションソフトウェアとともに、２ギガバイトｅＭＭＣ（ｅｍｂｅｄｄｅｄ ＭｕｌｔｉＭｅｄｉａＣａｒｄ）メモリの例示的な方式でメモリ３７に格納されている。メモリ３７は、メディエイテッドリアリティアプリケーションソフトウェアの格納および実行を容易にする非一過性のコンピュータ可読媒体である。ユニバーサルシリアルバス（ＵＳＢ）ホストコントローラ３８は、診断、メンテナンス、機能強化およびファームウェアのアップグレード用のラップトップパーソナルコンピュータ等のホストシステムとのやりとりのために設けられている。さらに、マイクロＳＤ（ｍｉｃｒｏ Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ：ｕＳＤ）カードインタフェース３９が、カートリッジに一体化され、およびメディエイテッドリアリティ溶接ビデオ、機能およびファームウェアのアップグレードを記録するためのリムーバブル不揮発性記憶を実行する。

リアルタイムストリーミングビデオアプリケーションは、計算的要求が多い。上述したように、本発明の好適な実施形態は、マイクロプロセッサ３２に対して、ＡＲＭプロセッサの使用に依存している。しかし、代替的な好適な実施形態は、ＡＲＭプロセッサとともに、単一または複数のコアディジタル信号プロセッサ（ＤＳＰ）を用いて、計算的に集中した画像処理動作を軽減することができる。ディジタル信号プロセッサは、そのアーキテクチャが、信号処理アプリケーションの動作上の必要性のために最適化されている専用マイクロプロセッサである。ディジタル信号処理アルゴリズムは、典型的には、大量の数学演算が一連のデータサンプルに対して、迅速におよび繰り返し実行される必要がある。（通常、オーディオセンサまたはビデオセンサからの）信号は、常にアナログからディジタルに変換されて、ディジタル的に処理された後、アナログ形式に戻して変換される。多くのＤＳＰアプリケーションには、レイテンシに関する制約があり、すなわち、システムが機能するための待ち時間に関して制約があり、ＤＳＰ動作は、ある一定時間内に完了しなければならず、遅延した（または、バッチ）処理は実行可能ではない。Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ社のＣ６６７ｘ ＤＳＰファミリーは、代替的な好適な実施形態に利用できる型および種類のＤＳＰの実例である。

代替的な好適な実施形態を提供するために、ＡＲＭプロセッサおよびＤＳＰに加えて、アクセラレータＳｏＣ（ｓｙｓｔｅｍ−ｏｎ−ｃｈｉｐ）を、好適な実施形態の範囲内で用いることができるであろう。専用アクセラレータシステムオンチップモジュールの実施例は、特定のコーデックのコーダ・デコーダを含む。コーデックは、ディジタルデータストリームまたは信号を符号化または復号することが可能なデバイスまたはソフトウェアである。コーデックは、送信、格納または暗号化のためにデータストリームまたは信号を符号化し、または、再生または編集のためにそれを復号する。コーデックは、テレビ会議、ストリーミングメディアおよびビデオ編集アプリケーションで用いられる。メディエイテッドリアリティカートリッジに用いられるコンピュータハードウェアは、パフォーマンスおよび機能要件により、ＡＲＭ、ＤＳＰおよびＳｏＣハードウェア構成要素から成る任意の組み合わせを含むことができる。さらに、限定するものではないが、ヘッドアップディスプレイ等を含む異なる種類のカメラおよびディスプレイを、好適な実施形態において用いることができる。

図７Ａおよび図７Ｂは、好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオを取り込み、処理しおよび表示するために行われる動作のフローチャートを対象にしている。その処理は、システム初期化、組込みＬｉｎｕｘのオペレーティングシステムのブート処理、およびメディエイテッドリアリティ溶接アプリケーションソフトウェアのローディングの後に、ブロック４０において始まる。ブロック４１において、一つ以上のビデオフレームが、カメラ（またはイメージセンサ）１４によって取り込まれて、メモリ３６に格納される。オペレータの頭部の動きを調節するために、ブロック４２において、ビデオ安定化アルゴリズムが用いられる。ビデオ安定性アルゴリズムは、ブロックマッチングまたはオプティカルフローを用いて、メモリ３６内のフレームを処理し、その結果がメモリに格納される。

ブロック４３では、オペレータの溶接トーチおよび手袋がフレーム内に現れたか否か（図１０Ｄ）を判断するために、シンプルモーション検出アルゴリズムが用いられる。ブロック４４において、トーチおよび手袋がフレーム内に現れたと判断されると、プロセスは、ブロック４４からブロック４５へ継続し、ＲＧＢのトーチおよび手袋前景画像を、溶接されている材料の背景画像から抽出するアルゴリズムが実行される。抽出されたＲＧＢのトーチおよび手袋基準画像（図１４Ｃ）は、ブロック４７において、さらなる処理のためにバッファに格納される。ブロック４４において、トーチおよび手袋画像が検出されない（すなわち、トーチおよび手袋がフレーム内に現れていない）と判断された場合には、プロセスは、ブロック４４からブロック４６へ継続し、ブロック５４での合成アルゴリズムに用いるために、現在の画像が、ＲＧＢ基準画像（図１０Ａ）としてバッファに格納される。

ブロック４８では輝度が算出される。輝度計算は、溶接アークがヘルメットシェードを明から暗にいつ移行させたか（図１０Ａおよび図１０Ｂ）を判断するのに用いられる。ブロック５０において、輝度が閾値よりも小さいと判断された場合には、ブロック４１〜ブロック５０が繰り返される。そうでない場合、ブロック５０において、輝度が閾値よりも大きいと判断された場合には、ブロック５１において、ビデオフレームの取り込みが継続される。

ブロック４８でのソフトウェアにおける輝度計算を用いて、ブロック５１〜ブロック５７を実行する代わりに、溶接ヘルメットシェードが明から暗に移行したときに、ハードウェアの中断を用いることができる。溶接ヘルメット自動遮光フィルタは、明から暗への移行を検出して、ブロック５１〜ブロック５７を実行する中断ルーチンを実行する中断を実現できる現存の光検出回路を有している。

議論したように、ブロック５０において、輝度が閾値よりも大きいと判断された場合、ブロック５１において、ビデオフレームの取り込みが継続される。一つ以上のビデオフレームがカメラ（またはイメージセンサ）１４によって取り込まれて、ブロック５１でメモリ３６に格納される。オペレータの頭部の動きを調節するために、ブロック５３において、（ブロックマッチングまたはオプティカルフロー等の）ビデオ安定化アルゴリズムが用いられて、メモリ３６内のフレームが処理されて、その結果がメモリに格納される。

現時点で取り込まれたＲＧＢフレーム（図１０Ｂ）は、ブロック５４において、ＲＧＢ合成基準画像（図１０Ａ）と合成される。合成のプロセスは、二つの画像を一緒に一体化できるようにする。メディエイテッドリアリティ溶接の場合、ＲＧＢ基準画像は、合成のために用いられる。この基準画像は、溶接アークがシェードを暗くする前にカメラ（またはイメージセンサ）１４によって取り込まれたトーチおよび手袋がない最新の既知の明画像（図１０Ａ）である。一旦シェードが暗くなると、カメラ（またはイメージセンサ）１４は、暗画像（図１０Ｂ）をフレーム毎に取り込み、それらの暗画像を明基準画像と合成する。その結果、それらの暗画像がオペレータに対して表示スクリーン１９上に、溶接作業中のオペレータの可視性を大幅に向上させる溶接アーク前の明画像として表示されるということになる。この時点で、明画像（図１０Ｃ）には、トーチおよび手袋がない（図１０Ｄ）。現在の暗画像（図１０Ｂ）の溶接パドルに対して二値マスクを用いることにより、溶接パドルの重心（図１２Ｂ）は、ブロック５５において、抽出されたトーチおよび手袋基準画像（図１４Ｂ、図１４Ｃ）からのトーチ先端の中心を、ブロック５６において現在の合成画像（図１０Ｃ）に戻して加えることができる位置を与えることになるベクトル（ｗｘ，ｗｙ）を計算するのに用いることができる。その結果生じる画像（図１６）は、ブロック５７において、オペレータに対して表示スクリーン１９に表示され、プロセスは、ブロック５０において、スタートを繰り返す。

リアルタイムストリーミングビデオアプリケーションは、計算的に集中している。図８は、ブロック５７において、結果として生じる画像の表示を容易にするために、溶接ベクトル計算５５、画像合成５４およびトーチおよび手袋挿入５６の動作を並行して実行することによる、図７Ａおよび図７Ｂの代替的な好適な実施形態を示す。これは、オペレーティングシステムによって先制的に予定される複数の独立したプロセスを用いるソフトウェアで実現することができ、または、単一または複数のコアＡＲＭプロセッサを用いる、または、専用の単一または複数のコアＤＳＰに対する画像処理動作を軽減するハードウェアで実施することができる。ソフトウェアと専用ハードウェアの組み合わせを用いることもできる。可能であれば、リアルタイムビデオストリームの並行処理は、システムパフォーマンスを向上させ、および溶接中にオペレータが潜在的に経験する表示スクリーン１９に関するレイテンシを低減するであろう。さらに、基準画像を伴う何らかの前処理動作も、表示スクリーン１９に関するレイテンシを低減するのに好ましい。

溶接トーチおよび手袋のビデオフレームへの導入（図１０Ｄ）前に、現在の暗画像（図１０Ｂ）と、最後の明基準画像（図１０Ａ）とを合成する詳細な動作が図９に示されている。合成とは、多くの場合、それらすべての要素が同じシーンの一部であるという錯覚を作り出すために、別々のソースからの視覚要素を単一の画像に組合せることである。カメラ（またはイメージセンサ）１４によって取り込まれたビデオフレームは、「明」フレームと「暗」フレームに分類することができる。「明」フレームは、溶接作業を始めるために、オペレータによってトーチが起動される前に、溶接ヘルメット自動遮光フィルタによって見られる画像である。「暗」フレームは、溶接作業を始めるために、オペレータによってトーチが起動された後に、自動遮光フィルタによって見られる画像である。「暗」フレーム（図１０Ｂ）を合成して、溶接作業中に、それらが「明」フレームとして見えるようにして、オペレータの視覚環境を大幅に改善するために、基準背景画像（図１０Ａ）が選択される。各「暗」フレームは、基準画像（図１０Ｃ）と合成されて、さらなる処理のために保存される。

選択された特定の基準画像は、溶接トーチおよびオペレータの手袋が、次のフレーム内に姿を見せ始める前の利用可能な最後の明画像（図１０Ａ）である。ブロック４６およびブロック４７で格納されたフレームのバッファは、基準画像のリアルタイム選択を実現できるように、トーチおよび手袋の存在を検出するために検査される。一旦トーチが起動されると、保存されている合成基準画像（図１０Ａ）と、トーチおよび手袋の基準画像（図１０Ｄ）が、リアルタイムストリーミングビデオ処理に用いられる。「明」から「暗」への移行に対して、自動遮光センサによって中断が生じる中断駆動アプローチは、トーチおよび手袋を含む最後の「明」画像を差し引くであろう中断ハンドラと呼ぶことができる。

図９において、ブロック５８において、合成プロセスが始まり、そして、ブロック５９において、現在の暗画像Ｂ（図１０Ｂ）が取得される。ブロック６０は、現在の画像Ｂ（図１０Ｂ）中とブロック６１からの基準画像Ｆ（図１０Ａ）中の両方の各ＲＧＢ画素を読み取ることによって始まる。ブロック６２は、（ブロック６３において、メモリに格納されている）合成アルファ値αと、等式Ｃ＝（１−α）Ｂ＋αＦとを用いて、画素単位での合成を実行する。合成された画素Ｃは、ブロック６４において、メモリに格納される。ブロック６５において、現在のＲＧＢ画像において、より多くの画素を処理する必要があると判断された場合、プロセスはブロック６０で継続し、そうでない場合は、合成された画像（図１０Ｃ）は、ブロック６６において、さらなる処理のために保存される。図９の合成プロセスは、次のフレームを合成する必要があるまで、ブロック６７で終了する。

図１１Ａ、図１１Ｂおよび図１１Ｃは、好適な実施形態において、メディエイテッドリアリティ溶接のストリーミングビデオによるさらなる処理のために、溶接パドルベクトルを生成するために行われる動作のフローチャートを開示している。合成されたビデオは、オペレータのために、視覚的溶接経験の光度を著しく強化しているが、溶接トーチおよび手袋等の詳細は、大部分が欠けている。また、溶接パドル自体は、以前からそうであるように、画像の最も明るい部分である。最後の「明るい」トーチおよび手袋画像（図１０Ｄ）は、合成されたビデオに戻して追加するのに用いることができる唯一の残りの「明画像」であるため、トーチおよび手袋は、この画像から抽出して、溶接パドルとともに移動させる必要がある。明るい溶接パドルは、二値閾値を各フレームに対して用いて、その溶接パドルを分離し、その後、結果として生じる画像領域の数学的特性を測定して、溶接パドル中心のｘおよびｙ座標を判断するために重心を計算することによって、有利に利用することができる。

重心は、その領域の質量の幾何学的中心を明確にするベクトルである。重心の第一の要素は、質量の中心の水平座標（またはｘ座標）であり、第二の要素は、質量の中心の垂直座標（またはｙ座標）であることに留意する。重心の他のすべの要素は、寸法の順になっている。重心は、各フレームに対して計算されて、溶接パドルの運動のｘ−ｙベクトルを構成するのに用いられる。このベクトルは、後に、トーチおよび手袋を溶接パドルとともに動かすことを可能にするために、移動する画像上のトーチおよび手袋画像中に戻して追加するのに用いられる。この操作の結果を、図１２Ａ、図１２Ｂおよび図１２Ｃに示す。

また、溶接パドル面積を測定することにより、溶接品質に関するオペレータへのフィードバックを改善することが可能である。オペレータに対して表示される有用な情報は、１）溶接速度、２）溶け込み、３）溶接温度および４）トーチ先端から材料までの距離を含んでもよい。これらの上述したファクタのすべては、溶接品質に大きな影響を及ぼす。

図１１Ａにおいて、溶接パドルベクトルの計算は、ブロック６８において始まる。現在のＲＧＢの暗画像（図１０Ｂ）が、ブロック６９において、メモリ３６から読み出され、ＲＧＢの暗画像（図１０Ｂ）が、ブロック７０において、グレースケール画像に変換される。画像は、アルゴリズムによるより速い処理を可能にするために、グレースケールに変換される。ＲＧＢ画像をグレースケールに変換する場合、各画素に対してＲＧＢ値が利用され、当該画素の輝度を反映する単一の値が生成される。このような一つのアプローチは、各チャネルからの寄与、すなわち、（Ｒ＋Ｇ＋Ｂ）／３を利用することである。しかし、認識される輝度は、多くの場合、緑色成分によって占められているため、別のより「人間向きの」方法は、加重平均、すなわち、０．３Ｒ＋０．５９Ｇ＋０．１１Ｂを利用することである。画像は、二値に変換されることになっているため（すなわち、各画素は、黒か白のいずれかになる）、数式（Ｒ＋Ｇ＋Ｂ）／３を利用することができる。各ＲＧＢ画素は、ブロック７０においてグレースケール画素に変換される際、そのグレースケール画像は、ブロック７１において、メモリ３６に格納される。ブロック７２において、変換すべきより多くの画素がＲＧＢ画像中にある７２と判断された場合、処理はブロック７０において継続し、そうでない場合は、ＲＧＢからグレースケールへの変換が完了している。

グレースケールへの変換後、画像は、次にグレースケールから二値に変換する必要があり、ブロック７４で始まる。画像を二値に変換することは、多くの場合、さらに処理するために関心のある画像の部分である関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ：ＲＯＩ）を見つけるために用いられる。その意図は二値であり、すなわち、「はい、この画素は関心がある」または「いいえ、この画素は関心がない」である。この変換は、ブロブを検出する際に有用であり、計算の複雑性を低減する。ブロック７４において、各グレースケール画素値（０〜２５５）は、メモリに含まれている、ブロック７３からの閾値と比較される。ブロック７４において、そのグレースケール画素値が閾値よりも大きいと判断された場合、ブロック７６において、現在の画素が０（黒）に設定され、そうでない場合は、ブロック７５において、現在の画素は、２５５（白）に設定される。変換の結果は、ブロック７７において、すべてのグレースケール画素が、ブロック７８において、二値画素に変換されるまで、画素毎に格納される。

次の数学的演算は、ブロック８０において、結果として生じる二値画像に対して実行される。一旦、画像を二値に変換することによって、領域境界が検出されると、境界によって分かれていない領域を測定することが有用である。境界によって分かれていない画素の任意のセットは、接続されていると呼ばれる。接続された画素の各最大領域は、画像をセグメント化する接続構成要素から成るセットを有する接続構成要素と呼ばれる。溶接パドルは、典型的には、最大の接続構成要素を生じるため、ブロック８１において、結果として生じる二値画像中の接続構成要素を判断するというケースは、真っすぐ進む可能性がある。検出は、ブロック８２において、各接続構成要素の面積を測定することによって実現することができる。しかし、処理を速めるために、アルゴリズムは、閾値を用いて、一定数の画素を構成要素中に有する構成要素をさらに測定し、または無視する。そして、その動作は、ブロック８３において、二値画像からより小さなオブジェクトを取り除くことにより、二値画像中の溶接パドルを迅速に識別する。そのプロセスは、ブロック８４において、二値画像中のすべの画素が検査されるまで継続する。この時点で、重心は、ブロック８５において、溶接パドルに対して計算される。重心とは、形状のすべての箇所の算術平均位置を計算することによる二次元領域の幾何学的中心である。図１２Ａは、二値画像と、検出された溶接パドルの結果として生じる領域と、溶接パドルの中間部の中心とを示す。図１２Ｂは、溶接パドルの領域と、処理された画像に重ねられた対応する重心とを示す。現在の溶接パドルの重心（ｗｘ，ｗｙ）は、ブロック８６において、さらなる処理のためにメモリ３６に格納され、計算アルゴリズムは、ブロック８７において、次の画像が処理されるまでに完了している。例示目的のために、図１２Ｃは、図５に示すシンプルな溶接作業の場合の溶接ベクトルをプロットしている。好適な実施形態のリアルタイムストリーミングビデオアプリケーションにおいて、各ベクトル計算は、それが後の処理動作において行われる際に、それ自体に対して用いられる。

図１３Ａ、図１３Ｂおよび図１３Ｃは、最後の「明るい」トーチおよび手袋画像から溶接トーチおよび手袋を抽出している。図１０Ｄは、合成されたビデオに戻して追加するのに用いることができる唯一の残りの「明画像」である。溶接トーチおよび手袋は、以下のプロセス、すなわち、１）ｉ）トーチおよび手袋（図１０Ｄ）が次のフレームに導入される前の最後の背景基準画像（図１０Ａ）を用いて、前景画像から背景画像を取り去り、その後、ｉｉ）最後の「明るい」トーチおよび手袋画像を取り去る（図１４Ａ）プロセス、２）取り去った画像を二値閾値化して、トーチおよび手袋の抽出のためのマスクを生成する（図１４Ｂ）プロセス、および３）ＲＧＢのトーチおよび手袋画像を抽出するプロセスを用いて抽出される。その結果を図１４Ｃに示す。重心は、結果として生じる画像に対して計算される。この初期の重心（ｉｘ，ｉｙ）は、トーチおよび手袋を利用して、それを溶接パドルベクトル（ｗｘ，ｗｙ）に沿って移動させて、メディエイテッドリアリティ溶接のストリーミングビデオ（図１６）を生成するのに必要な計算に用いられることになる。

図１３Ａでは、ブロック８８で始まり、ブロック９１において、ＲＧＢのトーチおよび手袋基準画像（図１０Ｄ）がメモリ３６から読み出され、そして、ＲＧＢのトーチおよび手袋基準画像（図１０Ｄ）は、ブロック９０で既に説明したように、グレースケール画像に変換される。その結果は、ブロック８９において、前景（ｆｇ）画像としてメモリ３６に戻して格納される。合成ＲＧＢ基準画像（図１０Ａ）は、ブロック９５において、メモリ３６から読み出され、ブロック９４において、グレースケール画像に変換され、ブロック９３において、メモリ３６に格納される。背景（ｂｇ）画像を引いた前景（ｆｇ）画像の絶対値が、ブロック９２で計算され（図１４Ａ）、ブロック９７において、さらなる処理のためにトーチおよび手袋を抽出する。抽出された画像は、ブロック９８において、閾値をメモリ３６から読み出して、ブロック９７において、グレースケール画像中の画素を比較することによって二値画像に変換される（図１４Ｂ）。グレースケール画素が閾値よりも大きい場合、ブロック９９において、その画素は白に設定され、そうでない場合、その画素は、ブロック９６において、黒に設定される。その結果は、ブロック１０１において、すべてのグレースケール画素が二値画素に変換されるまで、ブロック１００において、二値マスクとして画素毎に格納される。変換が完了すると、処理は図１３Ｂに続き、そうでない場合は、処理はブロック９７で継続される。

次に、図１３Ｂにおいて、ブロック１０４からのトーチおよび手袋のＲＧＢ基準画像（図１０Ｄ）がメモリ３６から読み出されて、ブロック１０３によって取得され、ブロック１０６からのトーチおよび手袋の二値マスク（図１４Ｂ）がメモリ３６から読み出され、ブロック１０５によって取得される。ＲＧＢのトーチおよび手袋を抽出するために、二値マスクが、メモリ３６から読み出され、ブロック１０９によって取得される。次いで、ブロック１０８において、抽出されたＲＧＢのトーチおよび手袋が白色背景上に配置され始め、各ＲＧＢおよびマスク画素は、行と列毎に（ｒ，ｃ）処理される。ブロック１０８において、二値マスク内の現在の画素が白であると判断された場合、ブロック１０７において、ＲＧＢ画像からの対応する画素が、抽出された画像中に配置され、そうでない場合、ブロック１１０において、ＲＧＢ画像中の画素は白に設定される。そして、処理された各画素は、ブロック１１１において格納され、また、ブロック１１２において、ＲＧＢ画像中により多くの画素があると判断された場合、ブロック１０８において処理が継続し、そうでない場合は、ブロック１１３におけるアルゴリズム終了時において、これ以上、処理する必要がある画素がなくなる。図１３Ａおよび図１３Ｂのアルゴリズムの結果は、図１４Ｃの抽出されたトーチおよび手袋のＲＧＢ画像を生じる。

後の利用のために、抽出した画像を用意する際の最後の動作は、重心を用いて、溶接トーチの先端の位置を計算することである。図１３Ｃのアルゴリズムは、重心を判断するために、一度、実行される。図１３Ｃにおいて、動作１１４〜動作１２１は、既に説明されている図１１Ｂの動作８０〜動作８５と同様である。抽出されたトーチおよび手袋画像の初期重心（ｉｘ，ｉｙ）は、ブロック１２２において格納され、処理は、ブロック１２３において終了する。例示目的のため、重心は、図１４Ａ〜図１４Ｃに重ねられている。同じ結果を実現するために、動画インペインティング、テクスチャ合成またはマッティング等の方法を先行のアルゴリズム（図１３Ａ、図１３Ｂ）に用いることができることは、当業者には正しく認識されるであろう。

リアルタイムメディエイテッドリアリティ溶接ストリーミングビデオを生成する際に用いられる動作を図１５Ａおよび図１５Ｂに示す。図１５Ａにおいて、ブロック１２４で始まり、ブロック１２７からの、抽出されたＲＧＢのトーチおよび手袋画像（ｘ）と、ブロック１２５からの初期重心（ｉｘ，ｉｙ）とがメモリ３６から読み出されて、ブロック１２６によって取得される。ブロック１２９からの現在の溶接パドルベクトル（ｗｘ，ｗｙ）が、メモリ３６から読み出されて、ブロック１２８によって取得される。ブロック１３７からの現在の画像（ＣＩ）は、メモリ３６から読み出され、ブロック１２８によって取得される。トーチおよび手袋を、現在の合成フレーム（ＣＩ）上のどこに配置すべきかを判断する、ｘ−ｙ座標（ｂｘ，ｂｙ）値が、ブロック１３０で計算される。ブロック１３０における計算は、初期ｘ−ｙトーチおよび手袋ベクトルから、現在の合成フレームのｘ−ｙ溶接パドルベクトルを引く、すなわち、ｂｘ＝ｗｘ−ｉｘおよびｂｙ＝ｗｙ−ｉｙとなる。これらのベクトルは、現在の合成フレーム（ＣＩ）に挿入できるように、トーチおよび手袋画像を調整する必要がある。抽出されたトーチおよび手袋画像の列調整がブロック１３１で始まる。ブロック１３１において、ｂｘがゼロに等しいと判断された場合、その列は、処理１３１が必要なく、トーチおよび手袋画像の列調整が完了して、処理は図１５Ｂに続く。ブロック１３１において、ｂｘがゼロに等しくないと判断された場合には、列は調整する必要がある。調整の種類は、ブロック１３２で決定される。ブロック１３２において、ｂｘがゼロよりも小さいと判断された場合、ｂｘの画素の列は、ブロック１３３において、前方左のトーチおよび手袋基準画像ｘから引かれ、ｂｘの白画素の列は、ブロック１３４において、前方右の画像ｘに追加されて、調整されたトーチおよび手袋画像サイズが、確実に元の画像サイズと同じになる。そうでない場合は、ブロック１３５において、ｂｘの白画素の列が前方左の画像ｘに追加され、ブロック１３６において、ｂｘの画素の列が、前方右のトーチおよび手袋基準画像ｘから引かれる。そして、トーチおよび手袋画像の列調整が完了して、処理が図１５Ｂに続く。

図１５Ｂでは、ブロック１３８において、抽出されたトーチおよび手袋画像の行調整が始まる。ブロック１３８において、ｂｙがゼロに等しいと判断された場合、その行は処理する必要がなく、トーチおよび手袋画像の行調整が完了して、処理がブロック１４４に続く。ブロック１３８において、ｂｙがゼロに等しくないと判断された場合には、その行は、調整する必要がある。調整の種類は、ブロック１３９において決定される。ブロック１３９において、ｂｙがゼロよりも小さいと判断された場合、ｂｙの白画素の行は、ブロック１４０において、画像ｘの底部に追加され、ｂｙの画素の行は、ブロック１４１において、トーチおよび手袋基準画像ｘの上部から引かれる。そうでない場合は、ブロック１４２において、ｂｙの白画素の行が、画像ｘの上部に追加され、ｂｙの画素の行は、ブロック１４３において、トーチおよび手袋基準画像ｘの底部から引かれる。そして、トーチおよび手袋画像の行調整が完了して、処理がブロック１４４に続く。

調整されたトーチおよび手袋のＲＧＢ画像は、現在の合成画像（ｃｉ）上に戻して配置され、ブロック１４４において始まる。両画像（ｘ，ｃｉ）の画素は、行（ｒ）および列（ｃ）によって読み出される。ブロック１４４において、調整されたトーチおよび手袋画像ｘの現在の画素が白画素ではないと判断された場合、トーチ手袋画像からの画素は、ブロック１４５において、数式ｃｉ（ｒ，ｃ）＝ｘ（ｒ，ｃ）を用いて、現在の合成画像（ｃｉ）と置換され、結果として生じる画素ｒは、ブロック１４６において、メモリ３６に格納される。そうでない場合は、ブロック１４４において、調整されたトーチおよび手袋画像ｘの現在の画素が白画素であると判断されると、画素置換は必要なく、ブロック１４６において、現在の合成画素ｃｉがメモリ３６に格納される。ブロック１４７において、処理すべき画素がさらにあると判断された場合、アルゴリズムは、ブロック１４４で継続し、そうでない場合は、ブロック１４８において、メディエイテッドリアリティビデオフレームが、オペレータに対して表示スクリーン１９に表示され、プロセスは、ブロック１４９で終了し、および次の合成画像フレーム（ＣＩ）を待つ。同じ結果を実現するために、動画インペインティング、テクスチャ合成またはマッティング等の方法を先行のアルゴリズム（図１５Ａ、図１５Ｂ）に用いることができることは、当業者には正しく認識されるであろう。

図７Ａ、図７Ｂ、図８、図９、図１１Ａ、図１１Ｂ、図１３Ａ、図１３Ｂ、図１３Ｃ、図１５Ａおよび図１５Ｂは、ストリーミングビデオをフレーム単位で表示するために、各カメラ（またはイメージセンサ）フレームに対してリアルタイムで実行される。

異なる実施形態の種々の要素は、本発明から逸脱することなく、置換可能に用いることができる。さらに、当業者には、本発明のその他の実施形態は、本願明細書に開示されている本発明の明細および実施に関する考察から明白であろう。明細および実施例は例示にすぎないと見なされ、本発明の真の範囲および趣旨は、以下のクレームによって示されていることが意図されている。

Claims (3)

1. 溶接作業中に視覚を変える方法であって、
   現在の画像を取得することと、
   背景基準画像を決定することと、
   前景基準画像を決定することと、
   前記現在の画像と前記背景基準画像とを結合すること、および、前記結合された画像に前記前景基準画像を置換することにより、前記現在の画像を処理することと、
   処理された現在の画像を表示することと、
   を含む方法。
2. マスクと、前記マスクに取り付けられたメディエイテッドリアリティ（ｍｅｄｉａｔｅｄ ｒｅａｌｉｔｙ）溶接カートリッジを備え、
   前記メディエイテッドリアリティ溶接カートリッジは、イメージセンサおよび表示スクリーンを含み、かつ、前記イメージセンサから現在の画像を取得し、背景基準画像を決定し、前景基準画像を決定し、
   前記現在の画像と前記背景基準画像とを結合することによって前記現在の画像を処理し、前記結合された画像に前記前景基準画像を置換し、処理された画像を前記表示スクリーンに表示するように構成されている溶接ヘルメット。
3. 溶接ヘルメットとともに用いるメディエイテッドリアリティ溶接カートリッジであって、
   イメージセンサと、
   表示スクリーンと、
   プロセッサと、
   非一過性のコンピュータ可読媒体の形態のメモリと、
   前記メモリに格納されるコンピュータソフトウェアプログラムと、を備え、
   前記コンピュータソフトウェアプログラムは、前記プロセッサを用いて実行される場合に、前記メディエイテッドリアリティ溶接カートリッジが、前記イメージセンサから現在の画像を取得し、背景基準画像を決定し、前景基準画像を決定し、前記現在の画像と前記背景基準画像とを結合することによって前記現在の画像を処理し、前記結合された画像に前記前景基準画像を置換し、処理された画像を前記表示スクリーンに表示することを可能にする、メディエイテッドリアリティ溶接カートリッジ。

Images