JP2017139418A - 作業支援プログラム、作業支援装置、及び作業支援方法 - Google Patents

Abstract

【課題】作業支援の精度を向上することを可能とする。【解決手段】取得部４２が、結線作業における所定の作業単位毎に撮像された作業画像を取得し、特定部４４が、作業画像に含まれるマーカ情報と、複数の装置についての、接続部の位置情報と結線態様とを含む設計情報と、に基づいて、取得した作業画像における、複数の装置それぞれが備える接続部の位置を特定し、判定部４８が、特定した接続部の位置について画像解析処理を実行して、設計情報に基づいて生成された設計画像と作業画像との比較結果に基づいて、作業単位毎に行われた接続の良否を判定し、出力部５０が、判定結果を示す情報を表示部２６に出力する。【選択図】図１

Description

本発明は、作業支援プログラム、作業支援装置、及び作業支援方法に関する。

基板上に取り付けられた装置間を接続するケーブルの結線状態が正しいか否かを検証する作業を支援する技術が提案されている。

例えば、基板の設計図等から作成した設計画像と、全てのケーブルが結線済みの状態（すなわち、全配線作業の完了後）の基板を撮影した実画像とを合成した合成画像を表示装置に表示する技術が提案されている。この技術では、作業者が、表示装置に表示された合成画像を目視で確認することによって、ケーブルの結線状態が正しいか否かを判定する。

また、例えば、接続元のケーブルのコネクタ、及び接続先のポートに各々識別番号を付与して予め関連付けておく技術が知られている。この技術では、結線後に、接続元のケーブルのコネクタ、及び接続先のポートの各々の識別番号を撮影する。そして、この技術では、撮影により得られた各識別番号が予め関連付けられているか否かによって、ケーブルの結線状態が正しいか否かを判定する。

特開２００７−００５３５８号公報 特開２０１２−１５２０１６号公報

設計画像と全配線作業の完了後の基板を撮影した実画像との比較によってケーブルの結線状態を判定する技術では、ケーブルの結線状態の良否を正しく判定できない場合がある。一例として、設計画像が図２９に示す画像であり、実画像が図３０に示す画像である場合について説明する。図２９に示すように、基板４００には、装置４０２、４０４、４０６が取り付けられている。また、装置４０２、４０４、４０６は、各々ケーブルの接続先であるポート４０２Ａ〜４０２Ｃ、４０４Ａ〜４０４Ｃ、４０６Ａ〜４０６Ｃを備えている。そして、ケーブル４０８Ａはポート４０２Ａ及びポート４０４Ｂを接続し、ケーブル４０８Ｂはポート４０２Ｂ及びポート４０４Ａを接続し、ケーブル４０８Ｃはポート４０２Ｃ及びポート４０４Ｃを接続するものとされている。

これに対し、実画像では、図３０の破線で囲まれた部分に示すように、例えばケーブル４０８Ａとケーブル４０８Ｂとが重なって撮影される場合がある。この場合、例えば、ケーブル４０８Ｂがポート４０２Ａとポート４０４Ａとを接続していると判定される等、結線状態の判定結果に誤りが生じる場合がある。

一方、ケーブルのコネクタ及びポートに識別番号を付与する技術では、例えばコネクタやポートの形状によっては識別番号が比較的小さく撮影される場合があり、この場合は識別番号を撮影しても、識別番号を正しく認識できない可能性がある。

本発明は、一つの側面として、作業支援の精度を向上することを目的とする。

本発明は、一つの側面として、複数の装置を結線する結線作業における所定の作業単位毎に撮像された作業画像を取得する。また、前記作業画像に含まれるマーカ情報と、前記複数の装置についての、接続部の位置情報と結線態様とを含む設計情報と、に基づいて、取得した前記作業画像における、前記複数の装置それぞれが備える接続部の位置を特定する。そして、特定した前記接続部の位置について画像解析処理を実行して、前記設計情報に基づいて生成された設計画像と前記作業画像との比較結果に基づいて、前記作業単位毎に行われた接続の良否を判定し、判定結果を示す情報を表示部に出力する。

一つの側面として、作業支援の精度を向上することができる、という効果を有する。

第１及び第２実施形態に係る作業支援システムの概略構成を示す機能ブロック図である。 第１及び第２実施形態に係る結線対象とする基板の概略構成の一例を示す平面図である。 設計情報の一例を示す図である。 重畳情報の一例を示す図である。 第１及び第２実施形態に係る作業支援装置として機能するコンピュータの概略構成を示すブロック図である。 第１実施形態に係る作業支援処理の一例を示すフローチャートである。 配置情報に情報が追加された重畳情報の一例を示す図である。 作業１の作業前の作業支援画面の一例を示す図である。 作業２の作業前の作業支援画面の一例を示す図である。 作業３の作業前の作業支援画面の一例を示す図である。 作業１の作業後の設計画像の一例を示す図である。 作業１の作業後の作業画像の一例を示す図である。 作業２の作業後の設計画像の一例を示す図である。 作業２の作業後の作業画像の一例を示す図である。 作業３の作業後の設計画像の一例を示す図である。 作業３の作業後の作業画像の一例を示す図である。 第２実施形態に係る結線対象とする基板の概略構成を示す平面図である。 図１７の基板を装置が取り付けられている面側の斜め上方から矢印Ａ方向に見た斜視図である。 図１７の基板を装置が取り付けられている面側の斜め上方から矢印Ｂ方向に見た斜視図である。 第２実施形態に係る作業支援処理の一例を示すフローチャートである。 作業１の作業前の作業支援画面の一例を示す図である。 作業１の作業後の設計画像の一例を示す図であり、図１７の基板を装置が取り付けられている面側の斜め上方から矢印Ａ方向に見た斜視図である。 作業１の作業後の作業画像の一例を示す図であり、図１７の基板を装置が取り付けられている面側の斜め上方から矢印Ａ方向に見た斜視図である。 作業１の作業後の設計画像の一例を示す図であり、図１７の基板を装置が取り付けられている面側の斜め上方から矢印Ｂ方向に見た斜視図である。 作業１の作業後の作業画像の一例を示す図であり、図１７の基板を装置が取り付けられている面側の斜め上方から矢印Ｂ方向に見た斜視図である。 ポートからケーブルが抜けた場合の形態例を説明するための平面図である。 ポートからケーブルが抜けた場合の再接続を促す再接続表示画面の一例を示す図である。 作業画像の撮像タイミングの変形例を説明するための平面図である。 従来技術を説明するための設計画像の一例を示す図である。 従来技術を説明するための実画像の一例を示す図である。

以下、図面を参照して本発明の実施形態の一例を詳細に説明する。

［第１実施形態］
まず、図１を参照して、基板１０に設けられた複数の装置の結線作業及び結線状態の検証作業を行う作業者による検証作業の支援を行う作業支援システム２０の構成について説明する。図１に示すように、本実施形態に係る作業支援システム２０は、Head Mounted Display（ＨＭＤ）２２、サーバ３０、及び作業支援装置４０を備えている。なお、作業支援装置４０の一例としてはスマートフォンやウェアラブル・コンピュータ等の携帯型の装置等が挙げられる。

ＨＭＤ２２は、入力部２４、表示部２６、及びカメラ２８を備えており、作業者の頭部に装着される。入力部２４は、作業者が発した音声が入力され、入力された音声を音声認識する。表示部２６は、ＨＭＤ２２が作業者の頭部に装着された状態で、作業者が視線を下方に向けた場合に視認可能な位置に設けられている。カメラ２８は、作業者の顔が向いている方向を撮像可能な位置に設けられており、カメラ２８により所定の撮像間隔（フレームレート）で撮像された動画像が表示部２６に表示される。また、カメラ２８は、入力部２４を介して静止画像の撮像を行うことを指示する音声（本実施形態では「カメラ」という音声）が入力された場合に、静止画像を撮像して作業支援装置４０に出力する。

サーバ３０の記憶部３１の所定の記憶領域には、後述するポート１２Ａ〜１２Ｃ、１４Ａ〜１４Ｃ、１６Ａ〜１６Ｃの位置情報と結線態様を示す情報とを含む設計情報３２、及び後述する重畳情報３４が記憶される。図２〜図４を参照して、本実施形態に係る基板１０、設計情報３２、及び重畳情報３４について説明する。

図２に示すように、基板１０は、作業者による結線対象とされる複数（本実施形態では３つ）の装置１２、１４、１６を備えている。また、装置１２、１４、１６は、各々ケーブルが接続される接続部の一例としてのポート１２Ａ〜１２Ｃ、１４Ａ〜１４Ｃ、１６Ａ〜１６Ｃを備えている。また、基板１０の所定の位置（本実施形態では、図２の左下端部の位置）には、矩形状で所定の模様のマーカＭが形成されている。なお、マーカＭの形状及び模様については、マーカＭであることが特定可能であれば特に限定されない。

なお、本実施形態では、ケーブル１８Ａがポート１２Ｂ及びポート１４Ａを接続し、ケーブル１８Ｂがポート１２Ａ及びポート１４Ｂを接続し、ケーブル１８Ｃがポート１２Ｃ及びポート１４Ｃを接続した状態が正しい結線状態であるものとして説明する。また、以下では、基板１０を平面視した場合の基板１０の長辺に沿った方向（図２の左右方向）をＸ軸方向といい、短辺に沿った方向（図２の上下方向）をＹ軸方向という。また、以下では、基板１０の高さ方向（図２の手前奥手方向）をＺ軸方向という。

図３に示すように、設計情報３２には、基板１０、装置１２、１４、１６、及びポート１２Ａ〜１２Ｃ、１４Ａ〜１４Ｃ、１６Ａ〜１６Ｃの各部材について、寸法及び取付位置が記憶される。また、設計情報３２には、マーカＭについて、寸法が記憶される。さらに、設計情報３２には、ポート１２Ａ〜１２Ｃ、１４Ａ〜１４Ｃ、１６Ａ〜１６Ｃについて、接続ポート及び接続フラグが記憶される。

本実施形態に係る設計情報３２の寸法には、各部材のＸ軸方向、Ｙ軸方向、及びＺ軸方向の各方向についての各部材の長さを示す情報が記憶される。設計情報３２の取付位置には、各部材が取り付けられている基板１０上のマーカＭの位置を基準とした位置に関する情報が記憶される。

具体的には、本実施形態では、例えば、Ｘ軸方向の取付位置として、マーカＭのＸ軸方向の端部（図２に示す右端部）から各部材の対応する端部までの距離を示す情報が記憶される。また、例えば、Ｙ軸方向の取付位置として、マーカＭのＹ軸方向の端部（図２に示す上端部）から各部材の対応する端部までの距離を示す情報が記憶される。さらに、例えば、Ｚ軸方向の取付位置として、基板１０の上面から各部材の上面までの距離を示す情報が記憶される。

なお、上記長さを示す情報及び距離を示す情報としては、実際の寸法を適用してもよいし、後述する設計画像を生成する際の画素数等を適用してもよい。

設計情報３２の接続ポートには、各ポートについて、接続先のポートを示す情報が記憶される。設計情報３２の接続フラグには、各ポートが接続済みであることを示す情報（本実施形態では、「１」）、又は各ポートが未接続であることを示す情報（本実施形態では、「０」）が記憶される。すなわち、基板１０の結線作業を開始する前の初期状態では、接続フラグには「０」が記憶される。

本実施形態に係る重畳情報３４には、表示部２６に重畳して表示するための情報が記憶される。図４に示すように、重畳情報３４には、表示部２６にテキストを重畳して表示するためのテキスト関連情報３４Ａ、及び表示部２６に図形を重畳して表示するための図形関連情報３４Ｂが含まれる。

テキスト関連情報３４Ａには、基本情報、テキスト情報、及び配置情報が含まれる。また、図形関連情報３４Ｂには、基本情報、図形情報、及び配置情報が含まれる。テキスト関連情報３４Ａ及び図形関連情報３４Ｂの基本情報には、種別及びマーカIdentification（ＩＤ）が含まれる。また、テキスト関連情報３４Ａ及び図形関連情報３４Ｂの配置情報には、表示部２６に表示する際の次元数を示す投影方法が含まれる。

また、テキスト関連情報３４Ａのテキスト情報には、表示部２６に表示する文字列を示すテキスト、該文字列のフォントサイズ、及び該文字列のフォントカラーが含まれる。また、図形関連情報３４Ｂの図形情報には、表示部２６に表示する図形を示す選択図形が含まれる。

図１に示すように、作業支援装置４０は、取得部４２、特定部４４、生成部４６、判定部４８、出力部５０、及び導出部５２を備えている。

取得部４２は、ポート１２Ａ〜１２Ｃ、１４Ａ〜１４Ｃ、１６Ａ〜１６Ｃを結線する結線作業における所定の作業単位毎にカメラ２８により撮像された作業画像を取得する。具体的には、取得部４２は、上記結線作業における１対のポートを結線する作業を１つの作業単位として作業画像を取得する。また、取得部４２は、サーバ３０から設計情報３２及び重畳情報３４を各々取得する。

特定部４４は、作業画像に含まれるマーカＭの情報と設計情報３２とに基づいて、作業画像における、装置１２、１４、１６それぞれが備えるポート１２Ａ〜１２Ｃ、１４Ａ〜１４Ｃ、１６Ａ〜１６Ｃの位置を特定する。具体的には、特定部４４は、作業画像におけるマーカＭの大きさ及び歪み等と、設計情報３２の寸法及び取付位置とに基づいて、作業画像におけるポート１２Ａ〜１２Ｃ、１４Ａ〜１４Ｃ、１６Ａ〜１６Ｃの位置を特定する。

生成部４６は、設計情報３２に基づいて設計画像を生成する。また、生成部４６は、作業画像におけるマーカＭの大きさ及び歪み等と、設計情報３２の寸法及び取付位置とに基づいて、設計画像に縮尺を合わせた作業画像を生成する。

判定部４８は、特定部４４により特定されたポート１２Ａ〜１２Ｃ、１４Ａ〜１４Ｃ、１６Ａ〜１６Ｃの位置について画像解析処理を実行する。そして、判定部４８は、画像解析処理に伴う設計画像と作業画像との比較結果に基づいて、作業単位毎に行われた接続の良否を判定する。

出力部５０は、判定部４８による判定結果を示す情報をＨＭＤ２２の表示部２６に出力する。また、出力部５０は、作業単位毎における結線作業前に取得部４２により取得された作業画像及び重畳情報３４に基づいて、重畳情報３４の配置情報として所定の情報を追加してＨＭＤ２２の表示部２６に出力する。

導出部５２は、取得部４２により取得された設計情報３２に基づいて、作業者による結線作業の作業順番を導出する。具体的には、本実施形態に係る導出部５２は、設計情報３２の寸法、取付位置、及び接続ポートに基づいて、結線対象の各ポートのうち、ポート間の距離が短いものから順番に結線が行われるよう作業順番を導出する。なお、作業順番はこの例に限定されず、例えば、ポート番号順、特定の位置（作業者の位置）から遠い順等の他の順番でもよい。

作業支援装置４０は、例えば図５に示すコンピュータ６０で実現することができる。コンピュータ６０はCentral Processing Unit（ＣＰＵ）６１、一時記憶領域としてのメモリ６２、及び不揮発性の記憶部６３を備えている。また、コンピュータ６０は、入出力装置６４、記録媒体６８に対するデータの読み込みと書き込みとを制御するＲ／Ｗ部６５、及びインターネット等のネットワークに接続されるネットワークＩ／Ｆ６６を備えている。ＣＰＵ６１、メモリ６２、記憶部６３、入出力装置６４、Ｒ／Ｗ部６５、及びネットワークＩ／Ｆ６６は、バス６７を介して互いに接続されている。

記憶部６３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現することができる。記憶媒体としての記憶部６３には、コンピュータ６０を作業支援装置４０として機能させるための作業支援プログラム７０が記憶される。作業支援プログラム７０は、取得プロセス７１、特定プロセス７２、生成プロセス７３、判定プロセス７４、出力プロセス７５、及び導出プロセス７６を有する。

ＣＰＵ６１は、作業支援プログラム７０を記憶部６３から読み出してメモリ６２に展開し、作業支援プログラム７０が有するプロセスを順次実行する。ＣＰＵ６１は、取得プロセス７１を実行することで、図１に示す取得部４２として動作する。また、ＣＰＵ６１は、特定プロセス７２を実行することで、図１に示す特定部４４として動作する。また、ＣＰＵ６１は、生成プロセス７３を実行することで、図１に示す生成部４６として動作する。また、ＣＰＵ６１は、判定プロセス７４を実行することで、図１に示す判定部４８として動作する。また、ＣＰＵ６１は、出力プロセス７５を実行することで、図１に示す出力部５０として動作する。また、ＣＰＵ６１は、導出プロセス７６を実行することで、図１に示す導出部５２として動作する。これにより、作業支援プログラム７０を実行したコンピュータ６０が、作業支援装置４０として機能することになる。

なお、作業支援プログラム７０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。

次に、本実施形態に係る作業支援システム２０の作用について説明する。作業支援装置４０において、作業者により結線作業を開始する旨の指示が入力されると、作業支援装置４０が、作業支援プログラム７０を実行することで、図６に示す作業支援処理を実行する。

図６に示す作業支援処理のステップ１００で、取得部４２は、サーバ３０から設計情報３２を取得する。次のステップ１０２で、導出部５２は、ステップ１００で取得された設計情報３２の寸法、取付位置、及び接続ポートに基づいて、結線対象の各ポートのうち、ポート間の距離が短いものから順番に結線が行われるよう作業順番を導出する。以下では、１番目の作業（以下、「作業１」という。）として、ポート１２Ａとポート１４Ｂとを結線する作業を行う場合について説明する。また、以下では、２番目の作業（以下、「作業２」という。）として、ポート１２Ｂとポート１４Ａとを結線する作業を行う場合について説明する。また、以下では、３番目の作業（以下、「作業３」という。）として、ポート１２Ｃとポート１４Ｃとを結線する作業を行う場合について説明する。

また、以下の各ステップの処理は、ステップ１０２で導出された順番に従って、各結線作業毎に繰り返し実行される。

作業者は、各ポートの結線作業を行うにあたり、表示部２６を参照してカメラ２８により基板１０の全体が撮像されていることを確認して、「カメラ」と発声する。これにより、入力部２４を介して「カメラ」との音声が入力され、カメラ２８は音声が入力された時点での静止画像（作業画像）を撮像して作業支援装置４０に送信する。そこで、ステップ１０４で、取得部４２は、作業画像が受信されるまで待機する。作業画像が受信されると、ステップ１０４が肯定判定となり、処理はステップ１０６に移行する。

ステップ１０６で、取得部４２は、サーバ３０から重畳情報３４を取得する。次のステップ１０８で、出力部５０は、設計情報３２の結線対象とするポートの寸法及び取付位置と、ステップ１０４で受信された作業画像のマーカＭの大きさ及び歪み等に基づいて、重畳情報３４の配置情報として所定の情報を追加する。具体的には、図７に示すように、出力部５０は、テキスト関連情報３４Ａ及び図形関連情報３４Ｂの各々の配置情報として、座標位置、回転角度、及びスケール（拡大・縮小率）を、Ｘ軸方向、Ｙ軸方向、及びＺ軸方向の各方向について追加する。

より具体的には、出力部５０は、結線対象とするポート及びポート間を結ぶ経路上を避けた位置にテキストが表示されるように、テキスト関連情報３４Ａの配置情報として、座標位置、回転角度、及びスケールを追加する。また、出力部５０は、結線対象とするポートが図形関連情報３４Ｂの選択図形で囲まれるように、図形関連情報３４Ｂの配置情報として、座標位置、回転角度、及びスケールを追加する。

そして、出力部５０は、情報が追加された重畳情報３４をＨＭＤ２２に出力する。ＨＭＤ２２は、作業支援装置４０から重畳情報３４が入力されると、入力された重畳情報３４に基づく情報を表示部２６に重畳して表示する。図８から図１０には、重畳情報３４に基づく情報が表示部２６に重畳されて表示された作業支援画面の一例が示されている。なお、図８は作業１の結線作業前に表示される作業支援画面の一例を示し、図９は作業２の結線作業前に表示される作業支援画面の一例を示し、図１０は作業３の結線作業前に表示される作業支援画面の一例を示している。

図８〜図１０に示すように、本実施形態では、結線作業前にテキスト関連情報３４Ａに基づくテキスト３４Ｃ、及び図形関連情報３４Ｂに基づく図形３４Ｄが表示部２６に重畳されて表示される。従って、作業者が結線対象のポートを間違えて結線する可能性を低減することができる。なお、図８〜図１０に示すように、結線経路を示す線（図８〜図１０に示す破線）を重畳させてもよい。また、図８〜図１０に示すように、テキスト３４Ｃを枠線で囲って吹き出しの形で表示してもよい。

作業者は、ＨＭＤ２２に作業支援画面が表示されると、作業支援画面に表示された内容に従って、１対のポートを結線する。そして、作業者は、１対のポートを結線した後、「カメラ」と発声する。これにより、入力部２４を介して「カメラ」との音声が入力され、カメラ２８は、該音声が入力された時点での静止画像（作業画像）を撮像して作業支援装置４０に送信する。そこで、ステップ１１０で、取得部４２は、作業画像が受信されるまで待機する。作業画像が受信されると、ステップ１１０が肯定判定となり、処理はステップ１１２に移行する。

ステップ１１２で、取得部４２は、サーバ３０から設計情報３２を取得する。次のステップ１１４で、生成部４６は、ステップ１１２で取得された設計情報３２に基づいて、設計画像を生成する。具体的には、生成部４６は、ステップ１１２で取得された設計情報３２に基づいて、この時点で結線対象とするポートがケーブルにより結線された状態の設計画像を生成する。例えば、この時点が、作業１が終了した時点であれば、生成部４６は、ポート１２Ａとポート１４Ｂとが結線された状態の設計画像を生成する。

ステップ１１６で、生成部４６は、ステップ１１０で受信された作業画像のマーカＭの大きさ及び歪み等と、設計情報３２とに基づいて、該作業画像のスケール、及び角度をステップ１１４で生成された設計画像に合わせた作業画像を生成する。図１１、図１３、及び図１５に、各々作業１から作業３の結線作業後においてステップ１１４で生成された設計画像の一例を示す。また、図１２、図１４、及び図１６に、各々作業１から作業３の結線作業後においてステップ１１６で生成された作業画像の一例を示す。

ステップ１１８で、特定部４４は、ステップ１１６で生成された作業画像に含まれるマーカＭ及びステップ１１２で取得された設計情報３２に基づいて、該作業画像におけるポートの位置を特定する。なお、本実施形態に係る特定部４４は、ステップ１１２で取得された設計情報３２において、接続フラグが「１」であるポートについては対象外として上記ポートの位置を特定する。そして、特定部４４は、特定したポートの位置を含む所定の範囲を後述するステップ１２０で設計画像と作業画像とを比較する比較範囲Ｒとして特定する。本ステップ１１８で特定された設計画像の比較範囲Ｒは図１１、図１３、及び図１５においてＲ１で示され、作業画像の比較範囲Ｒは図１２、図１４、及び図１６においてＲ２で示されている。例えば、作業２の作業後には、作業１で接続されたポート１２Ａ、１４Ｂの位置が除外されて、図１３に示すＲ１及び図１４に示すＲ２のように比較範囲Ｒが特定される。

ステップ１２０で、判定部４８は、ステップ１１８で特定された比較範囲Ｒについて画像解析処理を実行する。そして、判定部４８は、画像解析処理に伴う設計画像と作業画像との比較結果に基づいて、結線対象とするポートの接続の良否を判定する。具体的には、一例として、判定部４８は、比較範囲Ｒ１及び比較範囲Ｒ２の画像について、画像の類似度を導出する画像解析処理を行い、該類似度が所定の閾値（例えば９０％）以上であるか否かによって接続が良好であることを示す「良」であるか否かを判定する。この判定が肯定判定となった場合は、処理はステップ１２４に移行する一方、否定判定となった場合は、処理はステップ１２２に移行する。

ステップ１２２で、出力部５０は、接続が良好ではないことを示す「否」であることを示す情報をＨＭＤ２２に出力した後、ステップ１１０に戻る。具体的には、一例として、出力部５０は、ステップ１０８で出力した重畳情報３４のテキスト関連情報３４Ａのテキストを、再接続を促す旨の文字列に置き換えた重畳情報３４をＨＭＤ２２に出力する。これにより、ＨＭＤ２２の表示部２６には、再接続を促す旨の文字列、及び図形が表示される。この結果、作業者は、再接続を行う必要があることを把握できる。

一方、ステップ１２４で、出力部５０は、接続が「良」であることを示す情報をＨＭＤ２２に出力する。具体的には、一例として、出力部５０は、接続結果が正常である旨を示す文字列をＨＭＤ２２に出力する。

次のステップ１２６で、出力部５０は、結線が完了したポートについて、設計情報３２の接続フラグを「１」に更新する。次のステップ１２８で、出力部５０は、結線対象とする全ポートについて接続フラグが「１」となったか否かを判定することで、結線作業が完了したか否かを判定する。この判定が否定判定となった場合は、処理はステップ１０４に戻る一方、肯定判定となった場合は、本作業支援処理は終了する。

以上説明したように、本実施形態によれば、作業単位毎に行われた接続の良否を判定しているので、作業支援の精度が向上する。

また、本実施形態によれば、設計画像及び作業画像の比較対象が、結線が完了済みのポート以外のポートを含む比較範囲Ｒに絞られている。これにより、設計画像及び作業画像の比較処理の演算量を低減することができる。さらに、比較範囲Ｒをポート周辺の範囲とすることで、形状が不定となり易いケーブルの中間部分を除外し、ポートに対するケーブルの形状が予め定めた形状になり易い接続部分での類似度を用いて比較することができるため、比較処理の判定精度も向上する。

［第２実施形態］
次に、第２実施形態について説明する。なお、本実施形態に係る作業支援システムにおいて、第１実施形態に係る作業支援システムと同様の部分には、同一の符号を付して詳細な説明を省略する。また、本実施形態では、第１実施形態に係る基板１０に加え、図１７〜図１９に示す基板２１０も結線対象とする形態例について説明する。

まず、図１７〜図１９を参照して基板２１０の構成について説明する。なお、図１７〜図１９における図２と同一の部分については、図２と同一の符号を付して詳細な説明を省略する。

図１７〜図１９に示すように、基板２１０は、作業者による結線対象とされる複数（本実施形態では３つ）の装置２１２、１４、１６を備えている。また、装置２１２は、各々ケーブルが接続される接続部の一例としてのポート２１２Ａ〜２１２Ｄを備えている。また、ポート２１２Ａ及びポート２１２Ｂは平面視した場合に重なる位置に設けられている。なお、以下では、ポート２１２Ａ及びポート２１２Ｂのように、平面視した場合に重なる位置に設けられている構成を「多段構成」という。

次に、図１を参照して本実施形態に係る作業支援システム２２０の構成について説明する。図１に示すように、作業支援システム２２０は、ＨＭＤ２２、サーバ３０、及び作業支援装置２４０を備えている。作業支援装置２４０は、取得部４２、特定部４４、生成部２４６、判定部２４８、出力部２５０、及び導出部２５２を備えている。

判定部２４８は、第１実施形態に係る判定部４８の機能に加えて以下の機能を有する。判定部２４８は、取得部４２により取得された設計情報３２の寸法及び取付位置に基づいて、多段構成となっているポートがあるか否かを判定し、多段構成となっているポートがある場合は、多段構成となっているポートを特定する。

導出部２５２は、取得部４２により取得された設計情報３２に基づいて、作業者による結線作業の作業順番を導出する。具体的には、本実施形態に係る導出部２５２は、設計情報３２の寸法、取付位置、及び接続ポートに基づいて、結線対象の各ポートのうち、ポート間の距離が短いものから順番に結線が行われるよう作業順番を導出する。さらに、導出部２５２は、判定部２４８により多段構成となっているポートがあると判定された場合は、該ポートの下の段から順番に結線が行われるよう作業順番を導出する。

出力部２５０は、第１実施形態に係る出力部５０の機能に加えて以下の機能を有する。出力部２５０は、判定部２４８により多段構成となっているポートがあると判定された場合は、ポートが見える位置で画像を撮像する旨の文字列を示す情報を追加した重畳情報３４をＨＭＤ２２の表示部２６に出力する。

生成部２４６は、第１実施形態に係る生成部４６の機能に加えて以下の機能を有する。生成部２４６は、判定部２４８により多段構成となっているポートがあると判定された場合は、設計画像を生成する際に、ポートが見える状態での設計画像を生成する。

作業支援装置２４０は、第１実施形態と同様に、例えば図５に示すコンピュータ６０で実現することができる。コンピュータ６０の記憶部６３には、コンピュータ６０を作業支援装置２４０として機能させるための作業支援プログラム７０Ａが記憶される。作業支援プログラム７０Ａは、取得プロセス７１、特定プロセス７２、生成プロセス７３Ａ、判定プロセス７４Ａ、出力プロセス７５Ａ、及び導出プロセス７６Ａを有する。

ＣＰＵ６１は、作業支援プログラム７０Ａを記憶部６３から読み出してメモリ６２に展開し、作業支援プログラム７０Ａが有するプロセスを順次実行する。ＣＰＵ６１は、生成プロセス７３Ａを実行することで、図１に示す生成部２４６として動作する。また、ＣＰＵ６１は、判定プロセス７４Ａを実行することで、図１に示す判定部２４８として動作する。また、ＣＰＵ６１は、出力プロセス７５Ａを実行することで、図１に示す出力部２５０として動作する。また、ＣＰＵ６１は、導出プロセス７６Ａを実行することで、図１に示す導出部２５２として動作する。他のプロセスについては、第１実施形態に係る作業支援プログラム７０と同様である。これにより、作業支援プログラム７０Ａを実行したコンピュータ６０が、作業支援装置２４０として機能することになる。

なお、作業支援プログラム７０Ａにより実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

次に、本実施形態に係る作業支援システム２２０の作用について説明する。作業支援装置２４０において、作業者により結線作業を開始する旨の指示が入力されると、作業支援装置２４０が、作業支援プログラム７０Ａを実行することで、図２０に示す作業支援処理を実行する。

図２０に示す作業支援処理のステップ３００で、取得部４２は、サーバ３０から設計情報３２を取得する。次のステップ３０２で、判定部２４８は、ステップ３００で取得された設計情報３２の寸法及び取付位置に基づいて、多段構成となっているポートがあるか否かを判定する。この判定が否定判定となった場合は、処理はステップ３０４に移行する一方、肯定判定となった場合は、処理はステップ３０６に移行する。

ステップ３０４で、作業支援装置２４０は、上記第１実施形態に係る作業支援処理のステップ１０２〜ステップ１２８と同様の処理を実行した後、本作業支援処理を終了する。一方、ステップ３０６で、導出部２５２は、前述したように、ステップ３００で取得された設計情報３２に基づいて、作業者による結線作業の作業順番を導出する。以下では、１番目の作業（以下、「作業１」という。）として、ポート２１２Ｂとポート１４Ｂとを結線する作業を行う場合について説明する。

ステップ３０８で、取得部４２は、上記ステップ１０４と同様に、作業画像が受信されるまで待機する。作業画像が受信されると、ステップ３０８が肯定判定となり、処理はステップ３１０に移行する。ステップ３１０で、取得部４２は、サーバ３０から重畳情報３４を取得する。

次のステップ３１２で、出力部２５０は、上記ステップ１０８と同様に、設計情報３２の結線対象とするポートの寸法及び取付位置と、ステップ３０８で受信された作業画像のマーカＭの大きさ及び歪み等に基づいて、重畳情報３４の配置情報として情報を追加する。そして、出力部２５０は、ポートが見える位置で画像を撮像する旨の文字列を示す情報をさらに追加した重畳情報３４をＨＭＤ２２の表示部２６に出力する。

ＨＭＤ２２は、作業支援装置２４０から重畳情報３４が入力されると、入力された重畳情報３４に基づく情報を表示部２６に重畳して表示する。図２１には、重畳情報３４に基づく情報が表示部２６に重畳されて表示された作業支援画面の一例が示されている。なお、図２１は作業１の結線作業前に表示される作業支援画面の一例を示している。

図２１に示すように、本実施形態では、上記第１実施形態と同様に、テキスト３４Ｃ、及び図形３４Ｄが表示部２６に重畳されて表示される。さらに、本実施形態では、ステップ３１２で追加されたポートが見える位置で画像を撮像する旨の文字列を示す情報に基づくテキスト３４Ｅも表示部２６に重畳されて表示される。

作業者は、ＨＭＤ２２に作業支援画面が表示されると、作業支援画面に表示された内容に従って、１対のポートを結線する。そして、作業者は、１つのポートにケーブルを接続する毎に、接続対象のポートが見える位置で「カメラ」と発声する。これにより、入力部２４を介して「カメラ」との音声が入力され、カメラ２８は該音声が入力された時点での静止画像（作業画像）を撮像して作業支援装置２４０に送信する。そこで、ステップ３１４で、取得部４２は、作業画像が受信されるまで待機する。作業画像が受信されると、ステップ３１４が肯定判定となり、処理はステップ３１６に移行する。

ステップ３１６で、取得部４２は、サーバ３０から設計情報３２を取得する。次のステップ３１８で、生成部２４６は、ステップ１１４と同様に、ステップ３１６で取得された設計情報３２に基づいて、設計画像を生成する。生成部２４６は、この設計画像を生成する際、結線対象とするポートが見える状態での設計画像を生成する。

ステップ３２０で、生成部２４６はステップ１１６と同様に、ステップ３１４で受信された作業画像のマーカＭの大きさ及び歪み等と設計情報３２とに基づき、該作業画像のスケール及び角度をステップ３１８で生成された設計画像に合わせた作業画像を生成する。

次のステップ３２２で、特定部４４は、ステップ１１８と同様に、ステップ３２０で生成された作業画像に含まれるマーカＭ及びステップ３１６で取得された設計情報３２に基づいて、該作業画像におけるポートの位置を特定する。そして、特定部４４は、特定したポートの位置を含む所定の範囲を設計画像及び作業画像の比較範囲Ｒとして特定する。

次のステップ３２４で、特定部４４は、結線対象とする１対のポートについてステップ３１４〜ステップ３２２の処理が完了したか否かを判定することによって、作業単位が完了したか否かを判定する。この判定が否定判定となった場合は、処理はステップ３１４に戻る一方、肯定判定となった場合は、処理はステップ３２６に移行する。

図２２に、作業１について、１回目のステップ３１８で生成された設計画像の一例を示す。また、図２３に、作業１について、１回目のステップ３２０で生成された作業画像の一例を示す。また、作業１について、１回目のステップ３２２で特定された設計画像の比較範囲は図２２においてＲ３で示され、作業画像の比較範囲は図２３においてＲ４で示されている。

また、図２４に、作業１について、２回目のステップ３１８で生成された設計画像の一例を示す。また、図２５に、作業１について、２回目のステップ３２０で生成された作業画像の一例を示す。また、作業１について、２回目のステップ３２２で特定された設計画像の比較範囲は図２４においてＲ５で示され、作業画像の比較範囲は図２５においてＲ６で示されている。

ステップ３２６で、判定部２４８は、ステップ３２２で特定された比較範囲Ｒについて画像解析処理を実行する。そして、判定部２４８は、画像解析処理に伴う設計画像と作業画像との比較結果に基づいて、結線対象とするポートの接続の良否を判定する。具体的には、一例として、判定部２４８は、比較範囲Ｒ３及び比較範囲Ｒ４の画像について、画像の類似度を導出する画像解析処理を行い、該類似度が所定の閾値以上であるか否かによって、接続が「良」であるか否かを判定する。また、判定部２４８は、比較範囲Ｒ５及び比較範囲Ｒ６の画像について、画像の類似度を導出する画像解析処理を行い、該類似度が所定の閾値以上であるか否かによって、接続が「良」であるか否かを判定する。これらの双方の判定が肯定判定となった場合は、処理はステップ３３０に移行する一方、少なくとも一方の判定が否定判定となった場合は、処理はステップ３２８に移行する。

ステップ３２８で、出力部２５０は、ステップ１２２と同様に、接続が「否」であることを示す情報をＨＭＤ２２に出力した後、ステップ３１４に戻る。

一方、ステップ３３０で、出力部２５０は、ステップ１２４と同様に、出力部２５０は、接続が「良」であることを示す情報をＨＭＤ２２に出力する。次のステップ３３２で、出力部２５０は、結線が完了したポートについて、設計情報３２の接続フラグを「１」に更新する。次のステップ３３４で、出力部２５０は、結線対象とする全ポートについて接続フラグが「１」となったか否かを判定することで、結線作業が完了したか否かを判定する。この判定が否定判定となった場合は、処理はステップ３０８に戻る一方、肯定判定となった場合は、本作業支援処理は終了する。

以上説明したように、本実施形態によれば、多段構成となっているポートがある場合においても、上記第１実施形態と同様の効果を奏することができる。

なお、上記各実施形態において、接続したケーブルがポートから抜けたことを検知する処理を行う形態としてもよい。この場合の形態例として、ケーブルの各端部に識別番号が記載されたタグ等を付けておき、設計情報３２の各ポートについて接続されるケーブルの識別番号を記憶しておく形態が例示される。

そして、カメラ２８により撮像されている動画像について、接続済みのポートを監視しておき、ケーブルがポートから抜けたことを検知した場合に、作業支援処理を中断する。さらに、ケーブルのタグを含む部分（一例として図２６に示す破線で囲まれた部分）をカメラ２８により撮像する旨を示す情報を表示部２６に表示する。作業者は、表示部２６に表示された情報に従い、カメラ２８によりケーブルのタグを撮像する。そして、作業支援装置は、設計情報３２及び撮像されたタグに記載された識別番号に基づいて、ポートから抜けたケーブルを再接続する旨を示す情報を表示部２６に表示する形態としてもよい。

この形態例において表示部２６に表示される再接続表示画面を図２７に示す。図２７に示すように、この形態例では、抜けたケーブルを再接続する旨を示す情報に基づくテキスト３４Ｆ、及び接続先のポートを示す図形３４Ｇが表示部２６に重畳して表示される。

また、上記各実施形態では、入力部２４を介して入力された音声の音声認識結果に応じてカメラ２８により静止画像を撮像する場合について説明したが、これに限定されない。例えば、図２８に示すように、作業者の手が結線対象とするケーブルから離れたタイミングでカメラ２８により静止画像を撮像する形態としてもよい。この場合、例えば、画像内からの物体検出技術を利用して、カメラ２８で撮像される動画像内で作業者の手領域を追跡し、作業者の手領域が結線対象とするケーブルから離れたタイミングを検出する形態が例示される。また、例えば、作業者により、作業支援装置を実現するコンピュータ６０の入出力装置６４を介して、静止画像を撮像する旨の指示が入力された場合に、カメラ２８により静止画像を撮像する形態としてもよい。

また、上記各実施形態では、１対のポートを結線する作業を１つの作業単位とした場合について説明したが、これに限定されない。例えば、１つのポートにケーブルを接続する作業を１つの作業単位としてもよいし、２対のポートを結線する作業を１つの作業単位としてもよい。

また、上記各実施形態において、カメラ２８を所定の位置に固定して設け、カメラ２８により撮像された作業画像に縮尺を合わせて設計画像を生成してもよい。

また、上記各実施形態において、ＨＭＤ２２、サーバ３０、作業支援装置４０（２４０）の何れか２つを１つの装置で実現してもよいし、これら３つを１つの装置で実現してもよい。

また、上記各実施形態では、作業支援プログラム７０、７０Ａが記憶部６３に予め記憶（インストール）されている態様を説明したが、これに限定されない。本発明に係る作業支援プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。

以上の各実施形態に関し、更に以下の付記を開示する。

（付記１）
コンピュータに、
複数の装置を結線する結線作業における所定の作業単位毎に撮像された作業画像を取得し、
前記作業画像に含まれるマーカ情報と、前記複数の装置についての、接続部の位置情報と結線態様とを含む設計情報と、に基づいて、取得した前記作業画像における、前記複数の装置それぞれが備える接続部の位置を特定し、
特定した前記接続部の位置について画像解析処理を実行して、前記設計情報に基づいて生成された設計画像と前記作業画像との比較結果に基づいて、前記作業単位毎に行われた接続の良否を判定し、
判定結果を示す情報を表示部に出力する、
ことを含む処理を実行させる作業支援プログラム。

（付記２）
前記設計情報は、前記接続部が結線済みであるか否かを示す情報を含み、
前記接続部の位置を特定する場合に、結線済みである接続部以外の前記接続部の位置を特定する、
付記１記載の作業支援プログラム。

（付記３）
前記結線作業が行われる前に、前記設計情報に基づいて前記結線作業の順番を導出し、
導出した前記順番に従って、前記作業単位毎に結線対象とする前記接続部を示す情報を前記表示部に出力する、
付記１又は付記２記載の作業支援プログラム。

（付記４）
前記結線作業の順番を導出する場合に、前記設計情報に基づいて結線対象とする１対の前記接続部間の距離が短い接続部から結線されるよう前記順番を導出する、
付記３記載の作業支援プログラム。

（付記５）
複数の装置を結線する結線作業における所定の作業単位毎に撮像された作業画像を取得する取得部と、
前記取得部により取得された作業画像に含まれるマーカ情報と、前記複数の装置についての、接続部の位置情報と結線態様とを含む設計情報と、に基づいて、取得された前記作業画像における、前記複数の装置それぞれが備える接続部の位置を特定する特定部と、
前記特定部により特定された前記接続部の位置について画像解析処理を実行して、前記設計情報に基づいて生成された設計画像と前記作業画像との比較結果に基づいて、前記作業単位毎に行われた接続の良否を判定する判定部と、
前記判定部による判定結果を示す情報を表示部に出力する出力部と、
を含む作業支援装置。

（付記６）
前記設計情報は、前記接続部が結線済みであるか否かを示す情報を含み、
前記特定部は、結線済みである接続部以外の前記接続部の位置を特定する、
付記５記載の作業支援装置。

（付記７）
前記結線作業が行われる前に、前記設計情報に基づいて前記結線作業の順番を導出する導出部をさらに備え、
前記出力部は、前記導出部により導出された順番に従って、前記作業単位毎に結線対象とする前記接続部を示す情報を前記表示部に出力する、
付記５又は付記６記載の作業支援装置。

（付記８）
前記導出部は、前記設計情報に基づいて結線対象とする１対の前記接続部間の距離が短い接続部から結線されるよう前記順番を導出する、
付記７記載の作業支援装置。

（付記９）
コンピュータに、
複数の装置を結線する結線作業における所定の作業単位毎に撮像された作業画像を取得し、
前記作業画像に含まれるマーカ情報と、前記複数の装置についての、接続部の位置情報と結線態様とを含む設計情報と、に基づいて、取得した前記作業画像における、前記複数の装置それぞれが備える接続部の位置を特定し、
特定した前記接続部の位置について画像解析処理を実行して、前記設計情報に基づいて生成された設計画像と前記作業画像との比較結果に基づいて、前記作業単位毎に行われた接続の良否を判定し、
判定結果を示す情報を表示部に出力する、
ことを含む処理を実行させる作業支援方法。

（付記１０）
前記設計情報は、前記接続部が結線済みであるか否かを示す情報を含み、
前記接続部の位置を特定する場合に、結線済みである接続部以外の前記接続部の位置を特定する、
付記９記載の作業支援方法。

（付記１１）
前記結線作業が行われる前に、前記設計情報に基づいて前記結線作業の順番を導出し、
導出した前記順番に従って、前記作業単位毎に結線対象とする前記接続部を示す情報を前記表示部に出力する、
付記９又は付記１０記載の作業支援方法。

（付記１２）
前記結線作業の順番を導出する場合に、前記設計情報に基づいて結線対象とする１対の前記接続部間の距離が短い接続部から結線されるよう前記順番を導出する、
付記１１記載の作業支援方法。

（付記１３）
コンピュータに、
複数の装置を結線する結線作業における所定の作業単位毎に撮像された作業画像を取得し、
前記作業画像に含まれるマーカ情報と、前記複数の装置についての、接続部の位置情報と結線態様とを含む設計情報と、に基づいて、取得した前記作業画像における、前記複数の装置それぞれが備える接続部の位置を特定し、
特定した前記接続部の位置について画像解析処理を実行して、前記設計情報に基づいて生成された設計画像と前記作業画像との比較結果に基づいて、前記作業単位毎に行われた接続の良否を判定し、
判定結果を示す情報を表示部に出力する、
ことを含む処理を実行させる作業支援プログラムを記憶した記憶媒体。

１０ 基板
１２、１４、１６ 装置
１２Ａ〜１２Ｃ、１４Ａ〜１４Ｃ、１６Ａ〜１６Ｃ ポート
１８Ａ、１８Ｂ、１８Ｃ ケーブル
２０、２２０ 作業支援システム
２２ ＨＭＤ
２４ 入力部
２６ 表示部
２８ カメラ
３０ サーバ
３２ 設計情報
３４ 重畳情報
４０ 作業支援装置
４２ 取得部
４４ 特定部
４６、２４６ 生成部
４８、２４８ 判定部
５０、２５０ 出力部
５２、２５２ 導出部
６０ コンピュータ
６１ ＣＰＵ
６２ メモリ
６３ 記憶部
６８ 記録媒体
７０、７０Ａ 作業支援プログラム
Ｍ マーカ

Claims (4)

1. コンピュータに、
   複数の装置を結線する結線作業における所定の作業単位毎に撮像された作業画像を取得し、
   前記作業画像に含まれるマーカ情報と、前記複数の装置についての、接続部の位置情報と結線態様とを含む設計情報と、に基づいて、取得した前記作業画像における、前記複数の装置それぞれが備える接続部の位置を特定し、
   特定した前記接続部の位置について画像解析処理を実行して、前記設計情報に基づいて生成された設計画像と前記作業画像との比較結果に基づいて、前記作業単位毎に行われた接続の良否を判定し、
   判定結果を示す情報を表示部に出力する、
   ことを含む処理を実行させる作業支援プログラム。
2. 前記設計情報は、前記接続部が結線済みであるか否かを示す情報を含み、
   前記接続部の位置を特定する場合に、結線済みである接続部以外の前記接続部の位置を特定する、
   請求項１記載の作業支援プログラム。
3. 複数の装置を結線する結線作業における所定の作業単位毎に撮像された作業画像を取得する取得部と、
   前記取得部により取得された作業画像に含まれるマーカ情報と、前記複数の装置についての、接続部の位置情報と結線態様とを含む設計情報と、に基づいて、取得された前記作業画像における、前記複数の装置それぞれが備える接続部の位置を特定する特定部と、
   前記特定部により特定された前記接続部の位置について画像解析処理を実行して、前記設計情報に基づいて生成された設計画像と前記作業画像との比較結果に基づいて、前記作業単位毎に行われた接続の良否を判定する判定部と、
   前記判定部による判定結果を示す情報を表示部に出力する出力部と、
   を含む作業支援装置。
4. コンピュータに、
   複数の装置を結線する結線作業における所定の作業単位毎に撮像された作業画像を取得し、
   前記作業画像に含まれるマーカ情報と、前記複数の装置についての、接続部の位置情報と結線態様とを含む設計情報と、に基づいて、取得した前記作業画像における、前記複数の装置それぞれが備える接続部の位置を特定し、
   特定した前記接続部の位置について画像解析処理を実行して、前記設計情報に基づいて生成された設計画像と前記作業画像との比較結果に基づいて、前記作業単位毎に行われた接続の良否を判定し、
   判定結果を示す情報を表示部に出力する、
   ことを含む処理を実行させる作業支援方法。