JP2021036109A - 評価支援システム、評価支援方法、及びプログラム - Google Patents

Abstract

【課題】評価対象を評価する業務を支援する【解決手段】評価支援システム（Ｓ）の教師データ取得手段（１０２）は、工事現場における評価対象が撮影された教師撮影画像と、評価対象を評価した評価者の教師注視点情報と、の関係を示す教師データを取得する。学習手段（１０３）は、教師データに基づいて、注視点情報出力モデルを学習させる。入力手段（１０４）は、注視点情報出力モデルに対し、入力撮影画像を入力する。出力注視点情報取得手段（１０５）は、注視点情報出力モデルから出力された、出力注視点情報を取得する。【選択図】図６

Description

本発明は、評価支援システム、評価支援方法、及びプログラムに関する。

従来、建設業における業務を支援する技術が検討されている。例えば、特許文献１には、坑内観察における切羽の撮影画像と、切羽の観察項目に対する評価結果と、の関係を示す教師データを学習させた学習モデルを利用して、切羽の評価を自動化する技術が記載されている。また例えば、非特許文献１には、シールドマシンを操作するオペレータの操作画面上の視線を追跡し、ポンプの吸込圧力に発生した変動をオペレータが認知して対処する一連のプロセスを分析する技術が記載されている。

特開２０１９−０２３３９２号公報

人工知能学会全国大会論文集、第３２回全国大会（２０１８）、「アイトラッキングによるシールドマシン操作者の認知プロセスの推定」、藤本 奈央、森田 順也、大久保 泰、大林 信彦、白井 健泰

切羽のような評価対象を評価する場合、評価者が重点的に見るべき重要部分は、工事現場の環境などの種々の条件によって異なる。熟練者であれば、自身の経験から重要部分を特定できるが、経験の浅い者は、重要部分を特定することは難しい。この点、特許文献１には、重要部分についての記載はなく、撮影画像に示された切羽の特徴が全体的に万遍なく学習されるだけなので、学習モデルの精度を十分に向上させることができない。非特許文献１は、ポンプの吸引圧力などが表示される操作画面上における視線を追跡するにすぎず、評価対象の重要部分を特定するわけではない。このため、従来の技術では、評価対象を評価する業務を十分に支援することができなかった。

本発明は上記課題に鑑みてなされたものであって、その目的は、評価対象を評価する業務を支援することが可能な評価支援システム、評価支援方法、及びプログラムを提供することである。

上記課題を解決するために、本発明の一態様に係る評価支援システムは、工事現場における評価対象が撮影された教師撮影画像と、前記評価対象を評価した評価者の教師注視点情報と、の関係を示す教師データを取得する教師データ取得手段と、前記教師データに基づいて、注視点情報出力モデルを学習させる学習手段と、前記注視点情報出力モデルに対し、入力撮影画像を入力する入力手段と、前記注視点情報出力モデルから出力された、出力注視点情報を取得する出力注視点情報取得手段と、を含むことを特徴とする。

本発明の一態様に係る評価支援方法は、工事現場における評価対象が撮影された教師撮影画像と、前記評価対象を評価した評価者の教師注視点情報と、の関係を示す教師データを取得する教師データ取得ステップと、前記教師データに基づいて、注視点情報出力モデルを学習させる学習ステップと、前記注視点情報出力モデルに対し、入力撮影画像を入力する入力ステップと、前記注視点情報出力モデルから出力された、出力注視点情報を取得する出力注視点情報取得ステップと、を含むことを特徴とする。

本発明の一態様に係るプログラムは、工事現場における評価対象が撮影された教師撮影画像と、前記評価対象を評価した評価者の教師注視点情報と、の関係を示す教師データを取得する教師データ取得手段、前記教師データに基づいて、注視点情報出力モデルを学習させる学習手段、前記注視点情報出力モデルに対し、入力撮影画像を入力する入力手段、前記注視点情報出力モデルから出力された、出力注視点情報を取得する出力注視点情報取得手段、としてコンピュータを機能させるためのプログラム。

また、本発明の一態様では、前記評価支援システムは、視線検出手段により検出された前記評価者の視線に基づいて、前記教師注視点情報を取得する教師注視点情報取得手段を更に含み、前記教師データは、前記教師撮影画像と、前記教師注視点情報取得手段により取得された前記教師注視点情報と、の関係を示す、ことを特徴とする。

また、本発明の一態様では、前記教師注視点情報取得手段は、前記視線検出手段により検出された前記評価者の視線のうち、前記教師撮影画像が表示された画面上への視線を特定し、当該特定された視線に基づいて、前記教師注視点情報を取得する、ことを特徴とする。

また、本発明の一態様では、前記教師データは、前記工事現場における工事の特徴情報及び前記教師撮影画像と、前記教師注視点情報と、の関係を示し、前記評価支援システムは、前記入力撮影画像に対応する工事の特徴情報を取得する特徴情報取得手段を更に含み、前記入力手段は、前記注視点情報出力モデルに対し、前記特徴情報取得手段により取得された特徴情報と前記入力撮影画像とを入力する、ことを特徴とする。

また、本発明の一態様では、前記学習手段は、前記工事現場における工事の特徴情報ごとに、当該特徴情報に対応する前記教師データに基づいて前記注視点情報出力モデルを学習させ、前記評価支援システムは、前記入力撮影画像に対応する工事の特徴情報を取得する特徴情報取得手段を更に含み、前記入力手段は、前記特徴情報取得手段により取得された特徴情報に対応する前記注視点情報出力モデルに対し、前記入力撮影画像を入力する、ことを特徴とする。

また、本発明の一態様では、前記評価支援システムは、学習済みの評価結果出力モデルに対し、前記入力撮影画像と、前記出力注視点情報と、が入力された場合に出力される、前記入力撮影画像に示された評価対象の出力評価結果を取得する出力評価結果取得手段、を更に含むことを特徴とする。

また、本発明の一態様では、前記教師撮影画像及び前記入力撮影画像の各々は、互いに同じサイズであり、前記教師注視点情報及び前記出力注視点情報の各々は、注視点が色によって表現された、前記教師撮影画像及び前記入力撮影画像の各々と同じサイズの画像である、ことを特徴とする。

また、本発明の一態様では、前記評価対象は、トンネル切羽であり、前記教師撮影画像は、前記工事現場におけるトンネル切羽が撮影された画像であり、前記教師注視点情報は、前記評価者が前記トンネル切羽を評価した場合の注視点を示し、前記入力撮影画像は、前記工事現場又は他の工事現場におけるトンネル切羽が撮影された画像であり、前記出力注視点情報は、前記入力撮影画像に示されたトンネル切羽の評価時に見るべき部分を示す、ことを特徴とする。

本発明によれば、評価対象を評価する業務を支援することができる。

実施形態に係る評価支援システムの全体構成を示す図である。 切羽が撮影された撮影画像の一例を示す図である。 熟練者が撮影画像を見て切羽を評価する様子を示す図である。 注視点画像出力モデルの概要を示す説明図である。 評価結果出力モデルの概要を示す説明図である。 評価支援システムで実現される機能の一例を示す機能ブロック図である。 第１教師データのデータ格納例を示す図である。 第２教師データのデータ格納例を示す図である。 学習処理を示すフロー図である。 評価支援処理を示すフロー図である。 変形例に係る機能ブロック図である。

［１．評価支援システムの全体構成］
図１は、実施形態に係る評価支援システムの全体構成を示す図である。図１に示すように、評価支援システムＳは、学習端末１０と視線検出装置２０とを含み、これらは互いに通信可能に接続される。なお、評価支援システムＳは、サーバコンピュータ等の他のコンピュータが含まれていてもよい。

学習端末１０は、本実施形態で説明する処理を実行するコンピュータであり、例えば、パーソナルコンピュータ、携帯情報端末（タブレット型コンピュータを含む）、又は携帯電話機（スマートフォンを含む）等である。例えば、学習端末１０は、制御部１１、記憶部１２、通信部１３、操作部１４、及び表示部１５を含む。

制御部１１は、少なくとも１つのプロセッサを含む。制御部１１は、記憶部１２に記憶されたプログラムやデータに従って処理を実行する。記憶部１２は、主記憶部及び補助記憶部を含む。例えば、主記憶部はＲＡＭなどの揮発性メモリであり、補助記憶部は、ハードディスクやフラッシュメモリなどの不揮発性メモリである。通信部１３は、有線通信又は無線通信用の通信インタフェースを含み、例えば、ネットワークを介してデータ通信を行う。操作部１４は、入力デバイスであり、例えば、タッチパネルやマウス等のポインティングデバイスやキーボード等である。操作部１４は、操作内容を制御部１１に伝達する。表示部１５は、例えば、液晶表示部又は有機ＥＬ表示部等である。

視線検出装置２０は、人間の視線を検出する装置であり、例えば、カメラ、赤外線センサ、又は赤外線発光部を含む。視線検出装置２０は、アイトラッカーと呼ばれることもあり、人間の目の動きを検出する。視線の検出方法自体は、任意の方法を利用可能であり、例えば、強膜反射法や角膜反射法などの非接触型を利用してもよいし、サーチコイル法や眼球電位法などの接触型を利用してもよい。本実施形態では、視線検出装置２０が学習端末１０の外部装置である場合を説明するが、視線検出装置２０は、学習端末１０の一部として組み込まれていてもよい。また、据置型の視線検出装置２０を例に挙げて説明するが、視線検出装置２０は、ヘッドマウントディスプレイ又はスマートグラスのようなウェアラブルな装置であってもよい。

なお、記憶部１２に記憶されるものとして説明するプログラム及びデータは、ネットワークを介して学習端末１０に供給されるようにしてもよい。また、学習端末１０のハードウェア構成は、上記の例に限られず、種々のハードウェアを適用可能である。例えば、学習端末１０は、コンピュータ読み取り可能な情報記憶媒体を読み取る読取部（例えば、光ディスクドライブやメモリカードスロット）や外部機器と直接的に接続するための入出力部（例えば、ＵＳＢ端子）を含んでもよい。この場合、情報記憶媒体に記憶されたプログラムやデータが読取部又は入出力部を介して、学習端末１０に供給されるようにしてもよい。

［２．評価支援システムの概要］
評価支援システムＳは、工事現場の評価対象を評価する評価者の業務を支援する。評価者とは、評価の担当者であり、建設会社の社員であってもよいし、建設会社から評価業務を委託された者であってもよい。工事現場とは、工事が行われる場所であり、地上であってもよいし、地下であってもよい。工事は、任意の種類の工事であってよく、例えば、土木工事であってもよいし、建築工事であってもよい。

評価対象とは、評価者により評価される物である。別の言い方をすれば、評価対象は、工事の進行具合を判断するために評価者が見る物ということもできる。例えば、評価対象は、工事によって削られる物、工事によって作られる物、又は工事によって取り壊される物である。評価とは、評価対象を観察することである。別の言い方をすれば、評価は、評価対象の状態、品質、又は良し悪しをチェックすることである。

本実施形態では、山岳トンネル工事におけるトンネル切羽（以降、単に切羽と記載する。）を評価する場面を例に挙げて、評価支援システムＳの処理を説明する。切羽は、掘削面又は掘削場所である。切羽は、評価対象の一例であり、本実施形態で切羽と記載した箇所は、評価対象と読み替えることができる。評価者は、工事現場に出向いて直に切羽を見て評価してもよいが、本実施形態では、切羽をカメラで撮影した撮影画像を見て評価する場合を説明する。

図２は、切羽が撮影された撮影画像の一例を示す図である。図２に示すように、例えば、撮影画像Ｉ１には、正面から撮影された切羽が示されている。評価者は、撮影画像Ｉ１に示された切羽を目視で評価して切羽観察簿を作成する。切羽観察簿は、電子データであってもよいし、紙であってもよい。切羽観察簿には、切羽の評価結果が入力又は記入され、例えば、切羽の安定性、素掘面の自律性、圧縮強度、風化又は変質の有無、割れ目の頻度・状態・形態、湧水の有無、又は水による劣化の有無などの評価項目が存在する。

評価者は、評価対象の項目ごとに、切羽の左側・天端・右側などの各部分を評価する。原則として、評価者は、毎日少なくとも１回は切羽を評価する必要があり、最新の切羽の状態が撮影された撮影画像を見て切羽観察簿を作成する。このため、切羽観察簿の作成は、評価者の業務量を増加させる一因となっている。また、切羽の評価には、高度な専門知識と豊富な経験を要するので、経験の浅い評価者には、正確な評価をすることが難しい。更に、切羽の評価は、評価者の観点や現場の状況によって変わり、普遍的な評価をすることも難しい。

そこで、評価支援システムＳは、熟練者が撮影画像を見て切羽を評価したときの視線を追跡し、熟練者が重点的に見る部分を学習させた機械学習モデルを用意し、切羽の評価業務を支援するようにしている。また、評価支援システムＳは、熟練者が作成した切羽観察簿を学習させた機械学習モデルも用意し、切羽の評価業務を支援するようにもしている。

図３は、熟練者が撮影画像を見て切羽を評価する様子を示す図である。図３に示すように、熟練者は、表示部１５に撮影画像Ｉ１を表示させて切羽を評価し、切羽観察簿Ｂ１を作成する。視線検出装置２０は、熟練者の視線を検出できるように、例えば、表示部１５の下部などに配置される。視線検出装置２０は、画面の正面方向が検出範囲となっており、熟練者の視線を検出する。学習端末１０は、視線検出装置２０の検出結果に基づいて、熟練者が重点的に見る部分を示す注視点画像Ｉ２を作成する。

注視点画像Ｉ２は、ヒートマップとも呼ばれる画像であり、熟練者が見た部分が色で表現される。注視点画像Ｉ２の色は、注視の度合いを表し、注視の度合いが強い箇所と弱い箇所が色分けされている。注視の度合いとは、熟練者が重要視している程度である。別の言い方をすれば、注視の度合いは、熟練者が注視した時間又は頻度ということもできる。例えば、注視点画像Ｉ２は、色のグラデーションを利用して注視の度合いが示されてもよいし、グラデーションを利用せずに、赤・青・黄色といった複数の色で色分けすることによって注視の度合いが示されてもよい。

図３では、色の濃さを網点の密度で示しており、注視点画像Ｉ２の色が濃いほど、注視の度合いが高くなっている。本実施形態の注視点画像Ｉ２は、撮影画像Ｉ１と同じサイズであり、撮影画像Ｉ１が示す切羽の位置と、注視点画像Ｉ２が示す注視点の位置と、は互いに対応している。このため、図３の注視点画像Ｉ２は、熟練者が、切羽の右上、左下、及び中央下の状態を重点的に見ていることを意味する。

評価支援システムＳは、種々の撮影画像Ｉ１を熟練者に評価させて注視点画像Ｉ２を作成する。注視点画像Ｉ２の作成には、複数の熟練者が参加してもよいし、複数の工事現場の各々の切羽が撮影された撮影画像Ｉ１が利用されてもよい。評価支援システムＳは、撮影画像Ｉ１と注視点画像Ｉ２のペアを蓄積し、撮影画像Ｉ１から注視点画像Ｉ２を生成する注視点画像出力モデルを作成する。

図４は、注視点画像出力モデルの概要を示す説明図である。図４に示すように、注視点画像出力モデルＭ１は、熟練者によって評価済みの撮影画像Ｉ１と、視線検出装置２０を利用して作成した注視点画像Ｉ２と、のペアが多数格納された第１教師データＤ１を学習させた機械学習モデルである。機械学習自体は、公知の手法を利用可能であり、例えば、畳み込みニューラルネットワーク又は再帰的ニューラルネットワークが利用されてもよい。例えば、経験の浅い評価者は、学習済みの注視点画像出力モデルＭ１に対し、その日の業務で評価する切羽が撮影された撮影画像Ｉ３を入力する。

撮影画像Ｉ３は、注視点画像出力モデルＭ１に学習されていない未知の画像である。注視点画像出力モデルＭ１は、撮影画像Ｉ３が入力されると、注視点画像Ｉ４を出力する。注視点画像出力モデルＭ１は、第１教師データＤ１を学習済みなので、注視点画像Ｉ４は、熟練者が撮影画像Ｉ３の切羽を評価すると仮定した場合に、熟練者が重点的に見ると推測される部分を示すことになる。評価者は、注視点画像Ｉ４を参考にしながら撮影画像Ｉ３を見て切羽の評価業務を行ってもよいが、本実施形態では、切羽の評価結果を自動的に作成する評価結果出力モデルが用意されている。

図５は、評価結果出力モデルの概要を示す説明図である。図５に示すように、評価結果出力モデルＭ２は、先述した撮影画像Ｉ１及び注視点画像Ｉ２と、熟練者が記入した切羽観察簿Ｂ１と、のペアが多数格納された第２教師データＤ２を学習させた機械学習モデルである。本実施形態では、注視点画像出力モデルＭ１に対し、撮影画像Ｉ３が入力されて注視点画像Ｉ４が作成されると、評価結果出力モデルＭ２に対し、撮影画像Ｉ３と注視点画像Ｉ４が入力される。

評価結果出力モデルＭ２は、撮影画像Ｉ３と注視点画像Ｉ４が入力されると、切羽観察簿Ｂ２を出力する。注視点画像出力モデルＭ１は、第２教師データＤ２を学習済みなので、切羽観察簿Ｂ２は、熟練者が撮影画像Ｉ３の切羽を評価すると仮定した場合に、熟練者が作成すると推測される切羽観察簿の内容を示す。切羽観察簿Ｂ２は、その日の評価結果としてそのまま用いられてもよいし、その日の評価を担当する評価者の参考用の情報として用いられてもよい。

以上のように、評価支援システムＳは、主に、注視点画像出力モデルＭ１を利用して注視点画像Ｉ４を取得する第１の構成と、評価結果出力モデルＭ２を利用して切羽観察簿Ｂ２を取得する第２の構成と、を有し、評価対象を評価する業務を支援することができるようになっている。以降、評価支援システムＳの詳細を説明する。

［３．本実施形態で実現される機能］
図６は、評価支援システムＳで実現される機能の一例を示す機能ブロック図である。図６に示すように、評価支援システムＳは、データ記憶部１００、教師注視点画像取得部１０１、第１教師データ取得部１０２、第１学習部１０３、第１入力部１０４、出力注視点画像取得部１０５、第２教師データ取得部１０６、第２学習部１０７、入力注視点画像取得部１０８、第２入力部１０９、及び出力評価結果取得部１１０が実現される。

データ記憶部１００、教師注視点画像取得部１０１、第１教師データ取得部１０２、第１学習部１０３、第１入力部１０４、出力注視点画像取得部１０５は、主に第１の構成に係る機能である。また、データ記憶部１００、第２教師データ取得部１０６、第２学習部１０７、入力注視点画像取得部１０８、第２入力部１０９、及び出力評価結果取得部１１０は、主に第２の構成に係る機能である。なお、本実施形態では、これら各機能が学習端末１０によって実現される場合を説明するが、後述する変形例のように、各機能は、サーバコンピュータ等の他のコンピュータによって実現されてもよい。

［データ記憶部］
データ記憶部１００は、記憶部１２を主として実現される。データ記憶部１００は、本実施形態の処理を実行するために必要なデータを記憶する。例えば、データ記憶部１００は、第１教師データＤ１と、第２教師データＤ２と、を記憶する。

図７は、第１教師データＤ１のデータ格納例を示す図である。図７に示すように、第１教師データＤ１は、工事現場における切羽が撮影された教師撮影画像と、切羽を評価した評価者の教師注視点画像と、の関係を示すデータである。本実施形態では、後述する教師注視点画像取得部１０１により教師注視点画像が取得されるので、第１教師データＤ１は、教師撮影画像と、教師注視点画像取得部１０１により取得された教師注視点画像と、の関係を示す。なお、本実施形態では、教師注視点画像は、評価者が教師撮影画像を見て切羽を評価したときの注視点を示す場合を説明するが、教師注視点画像は、評価者が、画像ではなく、実際の切羽を直接見て評価したときの注視点を示してもよい。

第１教師データＤ１は、熟練者による評価が行われた後の任意のタイミングで作成され、教師撮影画像と教師注視点画像のペアが複数個格納される。第１教師データＤ１に格納される当該ペアの個数は、任意であってよく、例えば、十〜数十個程度であってもよいし、百〜数万個程度であってもよい。第１教師データＤ１は、注視点画像出力モデルＭ１の入力と出力の対応関係を定めたデータということができ、教師撮影画像が入力に相当し、教師注視点画像が出力に相当する。なお、図７では、画像ファイルが第１教師データＤ１に格納されている場合を示しているが、各画像の特徴量が第１教師データＤ１に格納されていてもよい。特徴量は、ベクトルや配列等の任意の形式で表現されるようにすればよい。

教師撮影画像は、教師データとして用いられる撮影画像である。別の言い方をすれば、教師撮影画像は、機械学習モデルを学習させるために用いられる撮影画像である。なお、教師データは、訓練データ又は学習データと呼ばれることもある。図３−図５に示した撮影画像Ｉ１は、教師撮影画像に相当する。教師撮影画像には、工事現場における評価対象が撮影されている。本実施形態では、切羽が評価対象に相当するので、教師撮影画像は、切羽が撮影された画像となる。

教師撮影画像は、任意の拡張子のデータであってよく、例えば、ＪＰＥＧ、ＰＮＧ、ＢＭＰ、又はＧＩＦの画像であってよい。本実施形態では、教師撮影画像がカラー画像である場合を説明するが、教師撮影画像は、グレーケール画像又はモノクロ画像といった他の形式であってもよい。教師撮影画像のサイズ、解像度、及びビット数は、任意であってよい。

なお、本実施形態では、各教師撮影画像における切羽の撮影条件が同じであり、拡張子、形式、サイズ、解像度、及びビット数が互いに同じものとするが、これらは互いに異なってもよい。撮影条件は、切羽を撮影する際の条件であり、例えば、切羽とカメラの位置関係（切羽に対するカメラの相対位置・向き・高さ）、画像において切羽が占める割合、撮影時の証明の明るさや色、又はカメラが生成する画像の形式などの設定である。また、切羽とカメラの位置関係（切羽の撮影方向）は、どの教師撮影画像も同じものとするが、教師撮影画像ごとに、切羽とカメラの位置関係が微妙に異なってもよい。

教師注視点画像は、教師データとして用いられる注視点画像である。別の言い方をすれば、教師注視点画像は、機械学習モデルを学習させるために用いられる注視点画像である。教師注視点画像は、注視点（注視の度合い）が色によって表現されている。図３−図５に示した注視点画像Ｉ２は、教師注視点画像に相当する。本実施形態では、切羽が評価対象に相当するので、教師注視点画像は、評価者が切羽を評価した場合の注視点を示す画像となる。

教師注視点画像は、任意の拡張子のデータであってよく、例えば、ＪＰＥＧ、ＰＮＧ、ＢＭＰ、又はＧＩＦの画像であってよい。本実施形態では、教師注視点画像がカラー画像である場合を説明するが、教師注視点画像は、グレーケール画像又はモノクロ画像といった他の形式であってもよい。教師注視点画像のサイズ、解像度、及びビット数は、任意であってよい。

なお、本実施形態では、教師撮影画像と教師注視点画像の各々の拡張子、形式、サイズ、解像度、及びビット数が互いに同じものとするが、これらは互いに異なってもよい。また、本実施形態では、注視点情報の一例として注視点画像を説明するが、注視点情報は、人間が視認可能な画像以外の形式であってもよく、例えば、座標情報、表形式の情報、又は数式形式の情報などによって表現されてもよい。本実施形態で注視点画像と記載した箇所は、注視点情報と読み替えることができる。例えば、教師注視点画像、出力注視点画像、及び入力注視点画像は、それぞれ教師注視点情報、出力注視点情報、及び入力注視点情報と読み替えることができる。

図８は、第２教師データＤ２のデータ格納例を示す図である。図８に示すように、第２教師データＤ２は、工事現場における評価対象が撮影された教師撮影画像と当該教師撮影画像に対応する教師注視点画像と、評価者による評価対象の教師評価結果と、の関係を示すデータである。本実施形態では、後述する教師注視点画像取得部１０１により教師注視点画像が取得されるので、第２教師データＤ２は、教師撮影画像と教師注視点画像取得部１０１により取得された教師注視点画像と、教師評価結果と、の関係を示す。

第２教師データＤ２は、熟練者による評価後の任意のタイミングで作成され、教師撮影画像及び教師注視点画像と、教師評価結果と、のペアが複数個格納される。第２教師データＤ２に格納される当該ペアの個数は、任意であってよく、例えば、十〜数十個程度であってもよいし、百〜数万個程度であってもよい。第２教師データＤ２は、評価結果出力モデルＭ２の入力と出力の対応関係を定めたデータということができ、教師撮影画像と教師注視点画像が入力に相当し、教師評価結果が出力に相当する。なお、図８では、画像ファイルが第２教師データＤ２に格納されている場合を示しているが、各画像の特徴量が第２教師データＤ２に格納されていてもよい。

教師撮影画像に対応する教師注視点画像とは、教師撮影画像を熟練者が評価した場合に作成された注視点画像、又は、教師撮影画像を熟練者が評価すると仮定した場合の注視点画像である。例えば、図３−図５に示す撮影画像Ｉ１を教師撮影画像だとすると、視線検出装置２０を利用して作成した注視点画像Ｉ２は、教師撮影画像に対応する教師注視点画像である。なお、後述する変形例のように、教師撮影画像を注視点画像出力モデルＭ１に入力した場合に出力される注視点画像Ｉ４が、教師撮影画像に対応する教師注視点画像に相当してもよい。

教師評価結果は、教師データとして用いられる評価結果である。別の言い方をすれば、教師評価結果は、機械学習モデルを学習させるために用いられる評価結果である。図３及び図５に示した切羽観察簿Ｂ１は、教師評価結果に相当する。

教師評価結果は、複数の評価項目の各々の評価結果を含む。評価項目は、評価の基準となる項目であり、例えば、先述した切羽の安定性や素掘面の自律性などである。本実施形態では、評価結果が数値で示される場合を説明する。例えば、評価項目に該当するか否かが「０」又は「１」の数値で示されてもよいし、３つ以上の数値の中から該当する数値が選択されてもよい。

例えば、評価結果を示す数値は、「非常に良い」「良い」「悪い」「非常に悪い」といったように、予め定められた複数の数値の中から選択されてもよいし、１０点や５点などのような点数を示してもよい。なお、評価結果は、数値に限られず、記号や文字などで示されてもよい。また、評価結果は、評価項目が１つだけであってもよい。評価結果は、評価の内容ということもでき、工事の進捗状況や良し悪しの判断結果ということもできる。

また、データ記憶部１００は、第１教師データＤ１と第２教師データＤ２だけでなく、注視点画像出力モデルＭ１と評価結果出力モデルＭ２も記憶する。これらのモデルは、人工知能又はエンジンと呼ばれることもある。データ記憶部１００は、注視点画像出力モデルＭ１と評価結果出力モデルＭ２の各々のプログラムやパラメータ（係数）を記憶することになる。データ記憶部１００に記憶された注視点画像出力モデルＭ１と評価結果出力モデルＭ２の各々は、後述する第１学習部１０３と第２学習部１０７の各々により学習済みであり、第１教師データＤ１と第２教師データＤ２の各々によってパラメータ等が調整されている。

なお、注視点画像出力モデルＭ１の基礎となる機械学習モデル自体は、公知のアルゴリズムを利用可能である。例えば、注視点画像出力モデルＭ１は、入力撮影画像が入力されると、出力注視点画像を出力するので、画像変換で用いられる機械学習モデルを利用可能である。例えば、「ディープネットワークを用いた大域特徴と局所特徴の学習による白黒写真の自動色付け」（飯塚 里志、シモセラ エドガー、石川 博、http://iizuka.cs.tsukuba.ac.jp/projects/colorization/ja/）に記載されているようなモノクロ画像をカラー画像に変換する機械学習モデルの手法を流用してもよい。他にも例えば、複数のデータ間の変換を学習するＧＡＮと呼ばれる手法の一種であるｃｙｃｌｅＧＡＮ（Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks、https://arxiv.org/pdf/1703.10593.pdf）と呼ばれる手法を流用してもよい。

また、評価結果出力モデルＭ２の基礎となる機械学習モデルについても、公知のアルゴリズムを利用可能である。評価結果出力モデルＭ２は、入力撮影画像と入力注視点画像が入力されると、それに応じた出力評価結果を出力し、出力評価結果は、入力撮影画像と入力注視点画像の分類結果と捉えることができるので、いわゆる分類学習器を利用可能である。分類学習器は、入力されたデータを分類（ラベリング）する機械学習モデルであり、例えば、ある分類に該当するか否かを０又は１で出力したり、分類に該当する蓋然性を示すスコアを出力したりする。例えば、撮影画像に示された犬や猫などの物体を分類するＧｒａｄ−ＣＡＭと呼ばれる手法を流用してもよい。他にも例えば、ＦａｓｔｅｒＲＮＮ、Ｙｏｌｏ、又はＳＳＤと呼ばれる流用してもよい。

なお、データ記憶部１００に記憶されるデータは、上記の例に限られない。例えば、データ記憶部１００は、熟練者による評価が行われていない教師入力画像を記憶してもよい。また例えば、データ記憶部１００は、後述する入力撮影画像を記憶してもよい。他にも例えば、データ記憶部１００は、注視点画像出力モデルＭ１と評価結果出力モデルＭ２の各々を学習させるためのプログラムを記憶してもよいし、視線検出装置２０の検出結果から注視点画像を作成するためのプログラムを記憶してもよい。

［教師注視点画像取得部］
教師注視点画像取得部１０１は、制御部１１を主として実現される。教師注視点画像取得部１０１は、教師注視点画像を取得する。教師注視点画像は、任意の方法によって取得可能であり、本実施形態では、教師注視点画像取得部１０１は、視線検出装置２０により検出された評価者の視線に基づいて、教師注視点画像を取得する場合を説明する。

視線検出装置２０は、本発明に係る視線検出手段の一例である。視線検出手段は、視線検出装置２０に限られず、視線を検出可能な手段であればよい。例えば、パーソナルコンピュータ、タブレット型コンピュータ、又はスマートフォンのカメラが視線検出手段に相当してもよい。他にも例えば、ヘッドマウントディスプレイ又はスマートグラスに組み込まれた視線センサが視線検出手段に相当してもよい。この場合、熟練者は、ヘッドマウントディスプレイ又はスマートグラスを装着したまま切羽の評価を行うことになる。先述したように、本実施形態では、熟練者が画像を見て切羽の評価を行い、その時の教師注視点画像が取得される場合を説明するが、熟練者が実際の切羽を直接見て評価を行い、その時の教師注視点画像が取得されてもよい。

教師注視点画像の取得方法自体は、公知のツールを利用可能である。例えば、教師注視点画像取得部１０１は、視線検出装置２０の検出結果に基づいて、注視点の位置を時系列的に記録する。教師注視点画像取得部１０１は、当該時系列的に記録された注視点の位置に基づいて、画面上の位置ごとに注視時間を計算する。教師注視点画像取得部１０１は、各位置の注視時間に基づいて、各画素の画素値を決定して教師注視画像を取得する。注視時間と画素値との関係は、予め定めておけばよく、例えば、注視時間が長いほど所定の色に近づくように定めてもよいし、注視時間が長いほど色が濃くなるように定めてもよい。

本実施形態では、教師注視点画像取得部１０１は、視線検出装置２０により検出された評価者の視線のうち、教師撮影画像が表示された画面上への視線を特定し、当該特定された視線に基づいて、教師注視点画像を取得する。教師撮影画像は、画面全体に表示されてもよいし、画面の一部にだけ表示されてもよい。表示部１５の画面のうち、教師撮影画像が表示された領域の位置は、初期設定によって予めデータ記憶部１００に記録されているものとする。教師注視点画像取得部１０１は、視線検出装置２０により検出された視線のうち、教師撮影画像が表示された領域内への視線（注視点が当該領域内の視線）に基づいて、教師注視点画像を取得し、当該領域外への視線（注視点が当該領域外の視線）の情報については、教師注視点画像に含まれないようにする。なお、教師撮影画像には、画面外への視線が多少含まれていてもよい。

［第１教師データ取得部］
第１教師データ取得部１０２は、制御部１１を主として実現される。第１教師データ取得部１０２は、第１教師データＤ１を取得する。本実施形態では、第１教師データＤ１がデータ記憶部１００に記憶されているので、第１教師データ取得部１０２は、データ記憶部１００を参照し、第１教師データＤ１を取得する。第１教師データＤ１が学習端末１０以外の他のコンピュータ又は外部情報記憶媒体に記憶されている場合、第１教師データ取得部１０２は、当該他のコンピュータ又は外部情報記憶媒体に記憶された第１教師データＤ１を取得する。

［第１学習部］
第１学習部１０３は、制御部１１を主として実現される。第１学習部１０３は、第１教師データＤ１に基づいて、注視点画像出力モデルＭ１を学習させる。学習方法自体は、公知の機械学習モデルの手法を利用すればよく、例えば、畳み込みニューラルネットワーク又は再帰的ニューラルネットワークの学習手法を利用すればよい。この点は、後述する第２学習部１０７も同様である。

第１学習部１０３は、第１教師データＤ１が示す入力と出力の関係が得られるように、注視点画像出力モデルＭ１のパラメータを調整する。例えば、第１学習部１０３は、第１教師データＤ１の教師撮影画像と教師注視点画像との各々を特徴量化し、教師撮影画像の特徴量を入力した場合に、教師注視点画像の特徴量が出力されるように、注視点画像出力モデルＭ１のパラメータを調整する。なお、第１教師データＤ１には、教師撮影画像と教師注視点画像の各々の特徴量が予め計算されて格納されていてもよい。この場合には、第１学習部１０３は、学習時に特徴量を計算しなくてよい。

［第１入力部］
第１入力部１０４は、制御部１１を主として実現される。第１入力部１０４は、注視点画像出力モデルＭ１に対し、入力撮影画像を入力する。

入力撮影画像は、注視点画像出力モデルＭ１に入力される撮影画像である。別の言い方をすれば、入力撮影画像は、評価者（例えば、経験の浅い評価者）が評価すべき切羽が撮影された撮影画像である。図４−図５に示した撮影画像Ｉ３は、入力撮影画像に相当する。本実施形態では、入力撮影画像が、第１教師データＤ１及び第２教師データＤ２に格納されていない場合を説明するが、第１教師データＤ１及び第２教師データＤ２に格納された教師撮影画像が入力撮影画像となってもよい。

入力撮影画像には、工事現場における評価対象が撮影されている。本実施形態では、切羽が評価対象に相当するので、入力撮影画像は、教師撮影画像の切羽の工事現場又は他の工事現場における切羽が撮影された画像である。入力撮影画像は、教師撮影画像に撮影された切羽と同じ工事現場の切羽（例えば、教師撮影画像に撮影された切羽を更に掘り進めた後の切羽）が示されていてもよいし、全く別の場所の他の工事現場における全く異なる切羽が示されていてもよい。

入力撮影画像の拡張子、形式、サイズ、解像度、及びビット数が任意であってよい点は、教師撮影画像と同様である。本実施形態では、教師撮影画像と入力撮影画像との間で切羽の撮影条件が同じであり、教師撮影画像と入力撮影画像の各々は、拡張子、形式、サイズ、解像度、及びビット数が互いに同じものとするが、これらは互いに異なってもよい。また、切羽とカメラの位置関係（切羽の撮影方向）は、入力撮影画像と教師撮影画像との間で同じものとするが、入力撮影画像と教師撮影画像との間で、切羽とカメラの位置関係が微妙に異なってもよい。

本実施形態では、データ記憶部１００に入力撮影画像が記憶されており、第１入力部１０４が、データ記憶部１００に記憶された入力撮影画像を取得する場合を説明するが、入力撮影画像は、任意の方法で取得可能である。例えば、第１入力部１０４は、学習端末１０以外の他のコンピュータ又は外部情報記憶媒体から入力撮影画像を取得してもよい。また例えば、第１入力部１０４は、カメラから直接的に入力撮影画像を取得してもよい。

第１入力部１０４は、注視点画像出力モデルＭ１に対し、取得した入力撮影画像を入力する。本実施形態では、入力撮影画像の特徴量を計算するアルゴリズムが注視点画像出力モデルＭ１に組み込まれている場合を説明するが、当該アルゴリズムは、注視点画像出力モデルＭ１とは別に用意されていてもよい。この場合、第１入力部１０４は、特徴量を計算するアルゴリズムに対し、入力撮影画像を入力し、当該アルゴリズムから出力された入力撮影画像の特徴量を注視点画像出力モデルＭ１に入力すればよい。

［出力注視点画像取得部］
出力注視点画像取得部１０５は、制御部１１を主として実現される。出力注視点画像取得部１０５は、注視点画像出力モデルＭ１から出力された、出力注視点画像を取得する。

出力注視点画像は、注視点画像出力モデルＭ１から出力される注視点画像である。別の言い方をすれば、出力注視点画像は、熟練者が入力撮影画像を評価すると仮定した場合に、熟練者が注視すると推測される部分を示す。出力注視点画像は、注視点（注視の度合い）が色によって表現されている。図４−図５に示した注視点画像Ｉ４は、出力注視点画像に相当する。本実施形態では、出力注視点画像は、第１教師データＤ１及び第２教師データＤ２に格納されない場合を説明するが、後述する変形例のように、出力注視点画像は、第１教師データＤ１及び第２教師データＤ２に格納され、教師データとして用いられてもよい。

本実施形態では、切羽が評価対象に相当し、入力撮影画像には、工事現場における評価対象が撮影されているので、出力注視点画像は、入力撮影画像に示された切羽の評価時に見るべき部分を示す。出力注視点画像の拡張子、形式、サイズ、解像度、及びビット数が任意であってよい点は、教師注視点画像と同様である。本実施形態では、教師注視点画像と出力撮影画像との各々は、拡張子、形式、サイズ、解像度、及びビット数が互いに同じものとするが、これらは互いに異なってもよい。

［第２教師データ取得部］
第２教師データ取得部１０６は、制御部１１を主として実現される。第２教師データ取得部１０６は、第２教師データＤ２を取得する。本実施形態では、第２教師データＤ２がデータ記憶部１００に記憶されているので、第２教師データ取得部１０６は、データ記憶部１００を参照し、第２教師データＤ２を取得する。第２教師データＤ２が学習端末１０以外の他のコンピュータ又は外部情報記憶媒体に記憶されている場合、第２教師データ取得部１０６は、当該他のコンピュータ又は外部情報記憶媒体に記憶された第２教師データＤ２を取得する。

［第２学習部］
第２学習部１０７は、制御部１１を主として実現される。第２学習部１０７は、第２教師データＤ２に基づいて、評価結果出力モデルＭ２を学習させる。第２学習部１０７は、第２教師データＤ２が示す入力と出力の関係が得られるように、評価結果出力モデルＭ２のパラメータを調整する。例えば、第２学習部１０７は、第２教師データＤ２の教師撮影画像と教師注視点画像の各々を特徴量化し、教師撮影画像と教師注視点画像の各々の特徴量を入力した場合に、教師評価結果が出力されるように、評価結果出力モデルＭ２のパラメータを調整する。なお、第２教師データＤ２には、教師撮影画像と教師注視点画像の各々の特徴量が予め計算されて格納されていてもよい。この場合には、第２学習部１０７は、学習時に特徴量を計算しなくてよい。

［入力注視点画像取得部］
入力注視点画像取得部１０８は、制御部１１を主として実現される。入力注視点画像取得部１０８は、入力注視点画像を取得する。本実施形態では、入力注視点画像取得部１０８は、学習済みの注視点画像出力モデルＭ１に対し、入力撮影画像が入力された場合に出力される出力注視点画像を、入力注視点画像として取得する。

入力注視点画像は、注視点画像出力モデルＭ１に入力される注視点画像である。別の言い方をすれば、入力注視点画像は、入力撮影画像の中で見るべき部分を示す。図４−図５に示した注視点画像Ｉ４は、入力注視点画像に相当する。本実施形態では、切羽が評価対象に相当し、入力撮影画像には、工事現場における切羽が撮影されているので、入力注視点画像は、入力撮影画像に示された切羽の評価時に見るべき部分を示す。

本実施形態では、出力注視点画像が入力注視点画像に相当し、第２入力部１０９が、注視点画像出力モデルＭ１から出力された出力注視点画像を、入力注視点画像として取得する場合を説明するが、入力注視点画像は、任意の方法で取得可能である。例えば、注視点画像出力モデルＭ１を利用しない場合には、第２入力部１０９は、操作部１４からの操作に基づいて入力注視点画像を取得してもよいし、学習端末１０以外の他のコンピュータ又は外部情報記憶媒体から入力注視点画像を取得してもよい。

［第２入力部］
第２入力部１０９は、制御部１１を主として実現される。第２入力部１０９は、評価結果出力モデルＭ２に対し、入力撮影画像と、入力撮影画像に対応する入力注視点画像と、を入力する。入力撮影画像については、第１入力部１０４の説明で記載した通りである。入力注視点画像は、任意の方法によって取得可能であり、本実施形態では、後述する入力注視点画像取得部１０８により入力注視点画像が取得されるので、第２入力部１０９は、評価結果出力モデルに対し、入力撮影画像と、入力注視点画像取得部１０８により取得された入力注視点画像と、を入力する。

第２入力部１０９は、評価結果出力モデルＭ２に対し、入力撮影画像と入力注視点画像を入力する。本実施形態では、入力撮影画像と入力注視点画像の各々の特徴量を計算するアルゴリズムが評価結果出力モデルＭ２に組み込まれている場合を説明するが、当該アルゴリズムは、評価結果出力モデルＭ２とは別に用意されていてもよい。この場合、第２入力部１０９は、特徴量を計算するアルゴリズムに対し、入力撮影画像と入力注視点画像の各々を入力し、当該アルゴリズムから出力された特徴量を評価結果出力モデルＭ２に入力すればよい。

［出力評価結果取得部］
出力評価結果取得部１１０は、制御部１１を主として実現される。出力評価結果取得部１１０は、学習済みの評価結果出力モデルに対し、入力撮影画像と、入力注視点画像と、が入力された場合に出力される、入力撮影画像に示された切羽の出力評価結果を取得する。

出力評価結果は、評価結果出力モデルＭ２から出力される評価結果である。別の言い方をすれば、出力評価結果は、熟練者が入力撮影画像を評価したと仮定した場合の評価結果と推測された内容を示す。図５に示した切羽観察簿Ｂ２は、出力評価結果に相当する。出力評価結果は、評価項目ごとに、入力撮影画像と入力注視点画像に対応する数値を示す。当該数値は、入力撮影画像と入力注視点画像の分類結果ということができ、分類学習器におけるラベルに相当する。

なお、本実施形態では、出力評価結果が表示部１５に表示される場合を説明するが、出力評価結果は、任意の用途で利用されてよい。例えば、出力評価結果は、プリンタから印刷されてもよいし、電子メール等に添付された送信されてもよい。他にも例えば、出力評価結果を示すファイルが学習端末１０又は他のコンピュータに記録されてもよい。

［４．本実施形態において実行される処理］
次に、評価支援システムＳで実行される処理を説明する。ここでは、注視点画像出力モデルＭ１と評価結果出力モデルＭ２の各々を学習させるための学習処理と、これらのモデルを利用して評価者の評価業務を支援するための評価支援処理と、について説明する。以降説明する処理は、制御部１１が記憶部１２に記憶されたプログラムに従って動作することによって実行される。また、以降説明する処理は、図６に示す機能ブロックにより実行される処理の一例である。

［４−１．学習処理］
図９は、学習処理を示すフロー図である。図９に示すように、まず、制御部１１は、操作部１４の検出信号に基づいて、熟練者に評価させる教師撮影画像を表示部１５に表示させる（Ｓ１００）。Ｓ１００においては、制御部１１は、記憶部１２に記憶された教師撮影画像のうち、熟練者が操作部１４を操作して選択した教師撮影画像を、表示部１５に表示させる。Ｓ１００において表示される教師撮影画像は、対応する教師注視点画像が作成されていない画像であり、第１教師データＤ１にまだ格納されていない教師撮影画像である。

制御部１１は、視線検出装置２０による熟練者の視線の検出結果を取得する（Ｓ１０１）。Ｓ１０１においては、制御部１１は、視線検出装置２０により検出された熟練者の視線（例えば、注視点の座標）を時系列的に記憶部１２に記録する。熟練者は、表示部１５に表示された教師撮影画像に示された切羽を評価し、切羽観察簿の評価項目の評価結果を入力する。評価結果は、操作部１４から入力されてもよいし、熟練者の手元にあるタブレット型端末等から入力されて学習端末１０に送られてもよい。他にも例えば、評価結果は、紙の切羽観察簿に記入され、事後的にスキャナで取り込まれたり、操作部１４から入力されたりしてもよい。

制御部１１は、操作部１４の検出信号に基づいて、熟練者による評価が完了したか否かを判定する（Ｓ１０２）。Ｓ１０２においては、制御部１１は、操作部１４や熟練者の端末等からの入力結果に基づいて、切羽観察簿の全ての評価項目が入力されて所定の終了操作が行われたか否かを判定する。

熟練者による評価が完了したと判定されない場合（Ｓ１０２；Ｎ）、熟練者による評価が終了していないので、Ｓ１０１の処理に戻る。この場合、熟練者は、引き続き切羽の評価を行い、熟練者の視線の検出結果が記録される。

一方、評価結果の入力を受け付けたと判定された場合（Ｓ１０２；Ｙ）、制御部１１は、熟練者の視線の検出結果に基づいて、教師注視点画像を作成する（Ｓ１０３）。Ｓ１０３においては、制御部１１は、熟練者が評価を開始してから終了するまでの間における視線の検出結果に基づいて、教師注視点画像を作成する。制御部１１は、熟練者が注視した時間が長いほど色が濃くなるように、教師注視点画像を作成する。

制御部１１は、Ｓ１００で表示させた教師撮影画像と、Ｓ１０３で作成した教師注視点画像と、のペアを第１教師データＤ１に格納する（Ｓ１０４）。制御部１１は、Ｓ１００で表示させた教師撮影画像及びＳ１０３で作成した教師注視点画像と、Ｓ１０２で完了した評価である教師評価結果と、のペアを第２教師データＤ２に格納する（Ｓ１０５）。Ｓ１０４においては、第１教師データＤ１が作成され、Ｓ１０５においては、第２教師データＤ２が作成されることになる。

制御部１１は、操作部１４の検出信号に基づいて、学習処理を実行するか否かを判定する（Ｓ１０６）。学習処理は、任意のタイミングで実行されてよく、例えば、操作部１４から所定の操作が行われた場合に実行される。なお、学習処理は、予め定められた時間が到来した場合に実行されてもよいし、熟練者による評価が行われるたびに実行されてもよい。他にも例えば、第１教師データＤ１及び第２教師データＤ２の各々に対し、新しいデータが一定数以上追加された場合に実行されてもよい。

学習処理を実行すると判定されない場合（Ｓ１０６；Ｎ）、本処理は終了する。この場合、再びＳ１の処理から実行され、第１教師データＤ１及び第２教師データＤ２の各々に対し、新しいデータが追加されてもよい。また、以降のＳ１０７及びＳ１０８の処理は、任意のタイミングで実行可能であり、第１教師データＤ１及び第２教師データＤ２の各々に対し、新しいデータが追加された後でなくてもよい。

一方、学習処理を実行すると判定された場合（Ｓ１０６；Ｙ）、制御部１１は、第１教師データＤ１に基づいて、注視点画像出力モデルＭ１の学習処理を実行する（Ｓ１０７）。Ｓ１０７においては、制御部１１は、公知の学習アルゴリズムに基づいて、第１教師データＤ１が示す入力と出力の関係が得られるように、注視点画像出力モデルＭ１のパラメータを調整する。

制御部１１は、第２教師データＤ２に基づいて、評価結果出力モデルＭ２の学習処理を実行し（Ｓ１０８）、本処理は終了する。Ｓ１０８においては、制御部１１は、公知の学習アルゴリズムに基づいて、第２教師データＤ２が示す入力と出力の関係が得られるように、評価結果出力モデルＭ２のパラメータを調整する。

［４−２．評価支援処理］
図１０は、評価支援処理を示すフロー図である。評価支援処理は、学習処理が実行された後に実行される。図１０に示すように、まず、制御部１１は、入力撮影画像を取得する（Ｓ２００）。Ｓ２００においては、記憶部１２に記憶された入力撮影画像のうち、評価者が操作部１４を操作して選択した入力撮影画像を取得する。

制御部１１は、注視点画像出力モデルＭ１に対し、Ｓ２００で取得した入力撮影画像を入力し（Ｓ２０１）、注視点画像出力モデルＭ１から出力された出力注視点画像を、入力注視点画像として取得する（Ｓ２０２）。Ｓ２０１において入力撮影画像が入力されると、注視点画像出力モデルＭ１は、入力撮影画像の特徴量を計算する。注視点画像出力モデルＭ１は、計算した特徴量に基づいて、出力注視点画像を出力する。

制御部１１は、評価結果出力モデルＭ２に対し、Ｓ２００で取得した入力撮影画像と、Ｓ２０２で取得した入力注視点画像と、を入力し（Ｓ２０３）、評価結果出力モデルＭ２から出力された、出力評価結果を取得する（Ｓ２０４）。Ｓ２０３において入力撮影画像と入力注視点画像が入力されると、評価結果出力モデルＭ２は、入力撮影画像と入力注視点画像の各々の特徴量を計算する。評価結果出力モデルＭ２は、これらの特徴量に基づいて、出力評価結果を出力する。

制御部１１は、Ｓ２０４で取得した出力評価結果を表示部１５に表示させ（Ｓ２０５）、本処理は終了する。評価者は、表示部１５に表示された出力評価結果を評価の参考にしたり、表示部１５に表示された出力評価結果を印刷したりして、その日の切羽の評価業務を行う。

評価支援システムＳの第１の構成によれば、第１教師データＤ１に基づいて学習された注視点画像出力モデルＭ１に対し、入力撮影画像を入力して出力注視点画像を取得することによって、評価者の業務を支援することができる。例えば、出力注視点画像を入力注視点画像として評価結果出力モデルＭ２に入力して出力評価結果を得ることにより、評価者は、熟練者であればこのような評価結果になるといったヒントを得たり、出力評価結果をそのままその日の評価結果として利用したりすることができる。

また、評価支援システムＳは、教師撮影画像と、視線検出装置２０により取得された教師注視点画像と、の関係を注視点画像出力モデルＭ１に学習させることによって、熟練者の視線の検出結果を注視点画像出力モデルＭ１に学習させ、注視点画像出力モデルＭ１の精度を高めることができる。

また、評価支援システムＳは、視線検出装置２０により検出された評価者の視線のうち、教師撮影画像が表示された画面上への視線を特定して教師注視点画像を取得することによって、切羽の評価に関係のない視線を排除し、注視点画像出力モデルＭ１の精度を効果的に高めることができる。

また、評価支援システムＳは、学習済みの評価結果出力モデルＭ２に対し、入力撮影画像と出力注視点画像とを入力し、入力撮影画像に示された切羽の出力評価結果を取得することによって、熟練者であればこのような評価結果になるといった情報が出力され、評価者の業務を効果的に支援することができる。

また、評価支援システムＳは、教師撮影画像、入力撮影画像、教師注視点画像、及び出力注視点画像の各々を互いに同じサイズとすることによって、注視点画像出力モデルＭ１の精度を効果的に高めることができる。

また、評価支援システムＳは、評価対象を切羽とすることで、トンネル工事の評価者の業務を支援することができる。

評価支援システムＳの第２の構成によれば、第２教師データＤ２に基づいて学習された評価結果出力モデルＭ２に対し、入力撮影画像と出力注視点画像を入力して出力評価結果を取得することによって、評価者の業務を支援することができる。例えば、評価者は、熟練者であればこのような評価結果になるといったヒントを得たり、出力評価結果をそのままその日の評価結果として利用したりすることができる。

また、評価支援システムＳは、教師撮影画像と視線検出装置２０により取得された教師注視点画像と、教師評価結果と、の関係を評価結果出力モデルＭ２に学習させることによって、熟練者の視線の検出結果を評価結果出力モデルＭ２に学習させ、評価結果出力モデルＭ２の精度を高めることができる。

また、評価支援システムＳは、視線検出装置２０により検出された評価者の視線のうち、教師撮影画像が表示された画面上への視線を特定して教師注視点画像を取得することによって、切羽の評価に関係のない視線を排除し、評価結果出力モデルＭ２の精度を効果的に高めることができる。

また、評価支援システムＳは、学習済みの注視点画像出力モデルＭ１に対し、入力撮影画像を入力して出力注視点画像を入力注視点画像として取得し、評価結果出力モデルＭ２に入力することによって、入力注視点画像を自動的に取得し、評価者の業務を効果的に支援することができる。

また、評価支援システムＳは、教師撮影画像、入力撮影画像、教師注視点画像、及び出力注視点画像の各々を互いに同じサイズとすることによって、評価結果出力モデルＭ２の精度を効果的に高めることができる。

また、評価支援システムＳは、評価対象を切羽とすることで、トンネル工事の評価者の業務を支援することができる。

［５．変形例］
なお、本発明は、以上に説明した実施の形態に限定されるものではない。本発明の趣旨を逸脱しない範囲で、適宜変更可能である。

図１１は、変形例に係る機能ブロック図である。図１１に示すように、以降説明する変形例では、実施形態で説明した機能に加えて、特徴情報取得部１１１が実現される。特徴情報取得部１１１は、学習端末１０によって実現される場合を説明するが、サーバコンピュータ等の他のコンピュータによって実現されてもよい。

［５−１．第１の構成に係る変形例］
（１−１）まず、第１の構成に係る変形例について説明する。例えば、同じトンネル工事であったとしても、山岳トンネル工事と地下トンネル工事とで評価者が見るべき場所が変わることがある。このため、工事の特徴情報を注視点画像出力モデルＭ１に学習させ、特徴情報に応じた出力注視点画像が出力されるようにしてもよい。

特徴情報は、工事の特徴に関する情報であり、工種ということもできる。例えば、特徴情報は、工事現場の場所、工法、地盤、天候、平均降水量、機材、材料、又は作業員といった特徴である。特徴情報には、これら複数の項目の各々の特徴が示されてもよいし、何れか１つの特徴だけが示されていてもよい。特徴情報は、各項目が数値によって示されてもよいし、記号又は文字などによって示されてもよい。

本変形例の第１教師データＤ１は、工事現場における工事の特徴情報及び教師撮影画像と、教師注視点画像と、の関係を示す。即ち、第１教師データＤ１には、特徴情報及び教師撮影画像と、教師注視点画像と、のペアが格納される。特徴情報及び教師撮影画像が入力に相当し、教師注視点画像が出力に相当する。第１教師データＤ１に格納される特徴情報は、教師撮影画像が示す工事の特徴情報であり、例えば、教師撮影画像を評価する熟練者によって操作部１４等から入力されたり、工事の計画書から取得されたりする。

本変形例の評価支援システムＳは、特徴情報取得部１１１を含む。特徴情報取得部１１１は、制御部１１を主として実現される。特徴情報取得部１１１は、入力撮影画像に対応する工事の特徴情報を取得する。入力撮影画像に対応する工事の特徴情報とは、入力撮影画像が示す工事の特徴情報であり、例えば、入力撮影画像を評価する評価者によって操作部１４から入力されたり、工事の計画書から取得されたりする。

例えば、山岳トンネルの工事現場を担当する評価者は、山岳トンネルの入力撮影画像である旨を操作部１４から入力し、地下トンネルの工事現場を担当する評価者は、地下トンネルの入力撮影画像である旨を操作部１４から入力する。なお、特徴情報は、操作部１４から入力されるのではなく、任意の方法で取得されてよい。例えば、予め入力撮影画像に特徴情報が関連付けられていてもよいし、担当者に特徴情報を予め関連付けておいてもよい。

第１入力部１０４は、注視点画像出力モデルＭ１に対し、特徴情報取得部１１１により取得された特徴情報と入力撮影画像とを入力する。注視点画像出力モデルＭ１は、特徴情報と入力撮影画像との両方を特徴量化し、出力注視点画像を出力する。特徴情報と入力撮影画像の特徴量についても、ベクトルや配列等の任意の形式で表現されるようにすればよい。なお、特徴量を計算するアルゴリズムが注視点画像出力モデルＭ１の外部にあってもよい点については、実施形態で説明した通りである。

変形例（１−１）によれば、工事現場における工事の特徴情報及び教師撮影画像と、教師注視点画像と、の関係を注視点画像出力モデルＭ１に学習させることによって、工事の特徴に応じた出力注視点画像を取得することができ、出力注視点画像の精度を高めることができる。

（１−２）また例えば、変形例（１−１）では、注視点画像出力モデルＭ１に特徴情報を学習させる場合を説明したが、工事の特徴情報ごとに、専用の注視点画像出力モデルＭ１を別々に用意してもよい。例えば、山岳トンネル用の注視点画像出力モデルＭ１と、地下トンネル用の注視点画像出力モデルＭ１と、を別々に用意してもよい。

本変形例のデータ記憶部１００は、工事の特徴情報ごとに、第１教師データＤ１と注視点画像出力モデルＭ１を記憶する。例えば、データ記憶部１００は、工事現場の場所ごとに第１教師データＤ１と注視点画像出力モデルＭ１を記憶したり、工法ごとに第１教師データＤ１と注視点画像出力モデルＭ１を記憶したりする。第１教師データＤ１の作成方法自体は、実施形態で説明した通りであり、データ記憶部１００には、第１教師データＤ１が工事の特徴情報に関連付けられて格納される。

本変形例の第１学習部１０３は、工事現場における工事の特徴情報ごとに、当該特徴情報に対応する第１教師データＤ１に基づいて注視点画像出力モデルＭ１を学習させる。第１学習部１０３は、特徴情報ごとに、当該特徴情報に関連付けられた第１教師データＤ１に基づいて、当該特徴情報に関連付けられた注視点画像出力モデルＭ１を学習させる。注視点画像出力モデルＭ１の学習方法自体は、実施形態で説明した通りである。

第１入力部１０４は、特徴情報取得部１１１により取得された特徴情報に対応する注視点画像出力モデルＭ１に対し、入力撮影画像を入力する。第１入力部１０４は、データ記憶部１００に記憶された注視点画像出力モデルＭ１のうち、入力撮影画像の特徴情報に関連付けられた注視点画像出力モデルＭ１に対し、入力撮影画像を入力する。入力撮影画像が入力された後の処理は、実施形態で説明した通りである。

変形例（１−２）によれば、工事現場における工事の特徴情報ごとに注視点画像出力モデルＭ１を用意することによって、工事の特徴に応じた出力注視点画像を取得することができ、出力注視点画像の精度を高めることができる。

（１−３）また例えば、注視点画像出力モデルＭ１により出力された出力注視点画像は、任意の用途で利用されてよく、評価結果出力モデルＭ２に入力されること以外の用途で利用されてもよい。例えば、出力注視点画像は、プリンタから印刷されてもよいし、電子メール等に添付された送信されてもよい。他にも例えば、出力注視点画像を示すファイルが学習端末１０又は他のコンピュータに記録されてもよい。この場合、出力注視点画像を経験の浅い評価者の教育に利用し、評価者に出力注視点画像を見せて、熟練者であれば見る部分を教えるようにしてもよい。また例えば、教師注視点画像は、視線検出装置２０の検出結果を利用せずに取得されてもよい。例えば、熟練者に教師撮影画像を見せて、評価時に重点的に見た部分を手動で指定させるようにしてもよい。

［５−２．第２の構成に係る変形例］
（２−１）次に、第２の構成に係る変形例について説明する。例えば、変形例（１−１）では、工事の特徴情報を注視点画像出力モデルＭ１に学習させる場合を説明したが、評価結果出力モデルＭ２についても同様に、工事の特徴情報を評価結果出力モデルＭ２に学習させてもよい。

本変形例の第２教師データＤ２は、工事現場における工事の特徴情報、教師撮影画像、及び教師注視点画像と、教師評価結果と、の関係を示す。即ち、第２教師データＤ２には、特徴情報、教師撮影画像、及び教師注視点画像と、教師評価結果と、のペアが格納される。特徴情報、教師撮影画像、及び教師注視点画像が入力に相当し、教師評価結果が出力に相当する。第２教師データＤ２に格納される特徴情報は、教師撮影画像が示す工事の特徴情報であり、例えば、教師撮影画像を評価する熟練者によって操作部１４等から入力されたり、工事の計画書から取得されたりする。

第２入力部１０９は、評価結果出力モデルＭ２に対し、特徴情報取得部１１１により取得された特徴情報、入力撮影画像、及び入力注視点画像を入力する。評価結果出力モデルＭ２は、特徴情報、入力撮影画像、及び入力注視点画像の各々を特徴量化し、出力評価結果を出力する。特徴情報、入力撮影画像、及び入力注視点画像の特徴量についても、ベクトルや配列等の任意の形式で表現されるようにすればよい。なお、特徴量を計算するアルゴリズムが評価結果出力モデルＭ２の外部にあってもよい点については、実施形態で説明した通りである。

変形例（２−１）によれば、工事現場における工事の特徴情報、教師撮影画像、及び教師注視点画像と、教師評価結果と、の関係を評価結果出力モデルＭ２に学習させることによって、工事の特徴に応じた出力評価結果を取得することができ、出力評価結果の精度を高めることができる。

（２−２）また例えば、変形例（１−２）では、工事の特徴情報ごとに、専用の注視点画像出力モデルＭ１を別々に用意する場合を説明したが、評価結果出力モデルＭ２についても同様に、工事の特徴情報ごとに、専用の評価結果出力モデルＭ２を別々に用意してもよい。例えば、山岳トンネル用の評価結果出力モデルＭ２と、地下トンネル用の評価結果出力モデルＭ２と、を別々に用意してもよい。

本変形例のデータ記憶部１００は、工事の特徴情報ごとに、第２教師データＤ２と評価結果出力モデルＭ２を記憶する。例えば、データ記憶部１００は、工事現場の場所ごとに第２教師データＤ２と評価結果出力モデルＭ２を記憶したり、工法ごとに第２教師データＤ２と評価結果出力モデルＭ２を記憶したりする。第２教師データＤ２の作成方法自体は、実施形態で説明した通りであり、データ記憶部１００には、第２教師データＤ２が工事の特徴情報に関連付けられて格納される。

第２学習部１０７は、工事現場における工事の特徴情報ごとに、当該特徴情報に対応する第２教師データＤ２に基づいて評価結果出力モデルＭ２を学習させる。第２学習部１０７は、特徴情報ごとに、当該特徴情報に関連付けられた第２教師データＤ２に基づいて、当該特徴情報に関連付けられた評価結果出力モデルＭ２を学習させる。評価結果出力モデルＭ２の学習方法自体は、実施形態で説明した通りである。

第２入力部１０９は、特徴情報取得部１１１により取得された特徴情報に対応する評価結果出力モデルＭ２に対し、入力撮影画像と入力注視点画像とを入力する。第２入力部１０９は、データ記憶部１００に記憶された評価結果出力モデルＭ２のうち、入力撮影画像の特徴情報に関連付けられた評価結果出力モデルＭ２に対し、入力撮影画像を入力する。入力撮影画像が入力された後の処理は、実施形態で説明した通りである。

変形例（２−２）によれば、工事現場における工事の特徴情報ごとに評価結果出力モデルＭ２を用意することによって、工事の特徴に応じた出力評価結果を取得することができ、出力評価結果の精度を高めることができる。

（２−３）また例えば、第２教師データＤ２には、注視点画像出力モデルＭ１が出力した出力注視点画像が、教師注視点画像として格納されていてもよい。即ち、第２教師データＤ２には、熟練者の視線を検出することによって取得された教師注視点画像だけでなくてもよい。

本変形例の教師注視点画像取得部１０１は、学習済みの注視点画像出力モデルＭ１に対し、教師撮影画像が入力された場合に出力される出力注視点画像を、教師注視点画像として取得する。教師注視点画像取得部１０１による出力注視点画像の取得方法自体は、実施形態で説明した通りである。本変形例の第２教師データＤ２は、教師撮影画像と教師注視点画像取得部１０１により取得された教師注視点画像と、教師評価結果と、の関係を示すことになる。

変形例（２−３）によれば、注視点画像出力モデルＭ１から出力された出力注視点画像を、教師注視点画像として第２教師データＤ２に格納して利用することによって、第２教師データＤ２の数を増やすことができ、評価結果出力モデルＭ２の精度を高めることができる。

（２−４）また例えば、注視点画像出力モデルＭ１に入力される入力注視点画像は、注視点画像出力モデルＭ１により出力された出力注視点画像でなくてもよい。例えば、評価者が、入力撮影画像を表示させた表示部１５上で重点的に見たい部分を選択することによって、入力注視点画像が取得されるようにしてもよい。この場合、評価者が熟練者であれば、正確な部分を選択できるので、熟練者が重点的に見たい部分を選択するだけで、切羽観察簿を自動的に作成することができ、評価業務を支援することができる。また例えば、ある日の評価業務において切羽を見るべき場所が前日とさほど変わらない場合には、前日に熟練者が重点的に見た部分を記録しておき、当該部分が入力注視点画像となってもよい。他にも例えば、過去に別の場所で似たような工事が行われた場合に、その時と切羽を見るべき場所がさほど変わらない場合には、その時に熟練者が重点的に見た部分を記録しておき、当該部分が入力注視点画像となってもよい。

［５−３．その他の変形例］
（３）また例えば、上記変形例を組み合わせてもよい。

また例えば、教師撮影画像、入力撮影画像、教師注視点画像、及び出力注視点画像の各々が同じサイズである場合を説明したが、これらのサイズは互いに異なっていてもよい。他にも例えば、これらの解像度等が互いに異なってもよい。

また例えば、注視点画像出力モデルＭ１のアルゴリズムは、実施形態で説明した例に限られない。例えば、教師注視点画像に閾値を定めて各画素をラベル分けし、ラベル分けされた画像を教師データとしてセマンティックセグメンテーションにより分類されるようにしてもよい。即ち、注視点画像で表現可能な色の段階数（例えば、２５６段階）を任意の閾値で所定段階に分けて疑似的にセマンティックセグメンテーションによるラベルに落とし込むことによって、出力注視点画像が作成されるようにしてもよい。

また例えば、実施形態及び変形例では、主に山岳トンネルの切羽を評価する場面を例に挙げたが、地下トンネルの切羽を評価する場面にも適用可能であり、実施形態及び変形例で説明した処理によって、評価者の業務を支援するようにすればよい。また例えば、評価支援システムＳが切羽の評価で利用される場合を説明したが、任意の評価対象を評価する場面に適用可能である。

例えば、トンネル工事以外の工事にも適用可能であり、コンクリートのひび割れを評価する場面や建造物の形状やバランスなどを評価する場面などにも適用可能である。例えば、評価対象は、建物、橋、ダム、鉄骨の骨組、柱、又は壁などであってもよい。これらの評価対象を評価する場合についても、実施形態及び変形例で説明した処理と同様の処理によって、熟練者が見るべき部分を示す出力注視点画像を取得したり、熟練者の評価結果と推測される出力評価結果を取得したりすればよい。

また例えば、実施形態では、学習端末１０によって各機能が実現される場合を説明したが、評価支援システムＳに複数のコンピュータが含まれている場合に、各コンピュータで機能が分担されてもよい。例えば、データ記憶部１００がサーバコンピュータによって実現され、学習端末１０は、サーバコンピュータに記憶された第１教師データＤ１、第２教師データＤ２、注視点画像出力モデルＭ１、及び評価結果出力モデルＭ２の各々を利用してもよい。

Ｓ 評価支援システム、１０ 学習端末、１１ 制御部、１２ 記憶部、１３ 通信部、１４ 操作部、１５ 表示部、２０ 視線検出装置、Ｂ１，Ｂ２ 切羽観察簿、Ｄ１ 第１教師データ、Ｄ２ 第２教師データ、Ｉ１，Ｉ３ 撮影画像、Ｉ２，Ｉ４ 注視点画像、Ｍ１ 注視点画像出力モデル、Ｍ２ 評価結果出力モデル、１００ データ記憶部、１０１ 教師注視点画像取得部、１０２ 第１教師データ取得部、１０３ 第１学習部、１０４ 第１入力部、１０５ 出力注視点画像取得部、１０６ 第２教師データ取得部、１０７ 第２学習部、１０８ 入力注視点画像取得部、１０９ 第２入力部、１１０ 出力評価結果取得部、１１１ 特徴情報取得部。

Claims (10)

1. 工事現場における評価対象が撮影された教師撮影画像と、前記評価対象を評価した評価者の教師注視点情報と、の関係を示す教師データを取得する教師データ取得手段と、
   前記教師データに基づいて、注視点情報出力モデルを学習させる学習手段と、
   前記注視点情報出力モデルに対し、入力撮影画像を入力する入力手段と、
   前記注視点情報出力モデルから出力された、出力注視点情報を取得する出力注視点情報取得手段と、
   を含むことを特徴とする評価支援システム。
2. 前記評価支援システムは、視線検出手段により検出された前記評価者の視線に基づいて、前記教師注視点情報を取得する教師注視点情報取得手段を更に含み、
   前記教師データは、前記教師撮影画像と、前記教師注視点情報取得手段により取得された前記教師注視点情報と、の関係を示す、
   ことを特徴とする請求項１に記載の評価支援システム。
3. 前記教師注視点情報取得手段は、
   前記視線検出手段により検出された前記評価者の視線のうち、前記教師撮影画像が表示された画面上への視線を特定し、
   当該特定された視線に基づいて、前記教師注視点情報を取得する、
   ことを特徴とする請求項２に記載の評価支援システム。
4. 前記教師データは、前記工事現場における工事の特徴情報及び前記教師撮影画像と、前記教師注視点情報と、の関係を示し、
   前記評価支援システムは、前記入力撮影画像に対応する工事の特徴情報を取得する特徴情報取得手段を更に含み、
   前記入力手段は、前記注視点情報出力モデルに対し、前記特徴情報取得手段により取得された特徴情報と前記入力撮影画像とを入力する、
   ことを特徴とする請求項１〜３の何れかに記載の評価支援システム。
5. 前記学習手段は、前記工事現場における工事の特徴情報ごとに、当該特徴情報に対応する前記教師データに基づいて前記注視点情報出力モデルを学習させ、
   前記評価支援システムは、前記入力撮影画像に対応する工事の特徴情報を取得する特徴情報取得手段を更に含み、
   前記入力手段は、前記特徴情報取得手段により取得された特徴情報に対応する前記注視点情報出力モデルに対し、前記入力撮影画像を入力する、
   ことを特徴とする請求項１〜４の何れかに記載の評価支援システム。
6. 前記評価支援システムは、学習済みの評価結果出力モデルに対し、前記入力撮影画像と、前記出力注視点情報と、が入力された場合に出力される、前記入力撮影画像に示された評価対象の出力評価結果を取得する出力評価結果取得手段、
   を更に含むことを特徴とする請求項１〜５の何れかに記載の評価支援システム。
7. 前記教師撮影画像及び前記入力撮影画像の各々は、互いに同じサイズであり、
   前記教師注視点情報及び前記出力注視点情報の各々は、注視点が色によって表現された、前記教師撮影画像及び前記入力撮影画像の各々と同じサイズの画像である、
   ことを特徴とする請求項１〜６の何れかに記載の評価支援システム。
8. 前記評価対象は、トンネル切羽であり、
   前記教師撮影画像は、前記工事現場におけるトンネル切羽が撮影された画像であり、
   前記教師注視点情報は、前記評価者が前記トンネル切羽を評価した場合の注視点を示し、
   前記入力撮影画像は、前記工事現場又は他の工事現場におけるトンネル切羽が撮影された画像であり、
   前記出力注視点情報は、前記入力撮影画像に示されたトンネル切羽の評価時に見るべき部分を示す、
   ことを特徴とする請求項１〜７の何れかに記載の評価支援システム。
9. 工事現場における評価対象が撮影された教師撮影画像と、前記評価対象を評価した評価者の教師注視点情報と、の関係を示す教師データを取得する教師データ取得ステップと、
   前記教師データに基づいて、注視点情報出力モデルを学習させる学習ステップと、
   前記注視点情報出力モデルに対し、入力撮影画像を入力する入力ステップと、
   前記注視点情報出力モデルから出力された、出力注視点情報を取得する出力注視点情報取得ステップと、
   を含むことを特徴とする評価支援方法。
10. 工事現場における評価対象が撮影された教師撮影画像と、前記評価対象を評価した評価者の教師注視点情報と、の関係を示す教師データを取得する教師データ取得手段、
    前記教師データに基づいて、注視点情報出力モデルを学習させる学習手段、
    前記注視点情報出力モデルに対し、入力撮影画像を入力する入力手段、
    前記注視点情報出力モデルから出力された、出力注視点情報を取得する出力注視点情報取得手段、
    としてコンピュータを機能させるためのプログラム。