JP2017204094A - 視線特定プログラム、視線特定装置、及び視線特定方法 - Google Patents

視線特定プログラム、視線特定装置、及び視線特定方法 Download PDF

Info

Publication number
JP2017204094A
JP2017204094A JP2016094877A JP2016094877A JP2017204094A JP 2017204094 A JP2017204094 A JP 2017204094A JP 2016094877 A JP2016094877 A JP 2016094877A JP 2016094877 A JP2016094877 A JP 2016094877A JP 2017204094 A JP2017204094 A JP 2017204094A
Authority
JP
Japan
Prior art keywords
sight
line
inspection
pattern
inspection item
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016094877A
Other languages
English (en)
Inventor
芳英 藤田
Yoshihide Fujita
芳英 藤田
哲典 田口
Tetsunori Taguchi
哲典 田口
三原 基伸
Motonobu Mihara
基伸 三原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2016094877A priority Critical patent/JP2017204094A/ja
Priority to US15/482,930 priority patent/US20170330343A1/en
Publication of JP2017204094A publication Critical patent/JP2017204094A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)
  • Eye Examination Apparatus (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】外観や配置パターンが類似している複数の対象物のなかから当該対象物を見る者の視線が向けられた対象物を特定する。
【解決手段】コンピュータに、以下の処理を含む視線特定プログラムを実行させる。1つ目の処理は、視線センサの出力信号に基づいて、視線の位置又は視線の方向を含む視線パターンを作成する処理である。2つ目の処理は、記憶装置に記憶させた複数の対象物の位置関係を含む情報と、視線パターンとに基づいて、視線が向けられた対象物と、視線が向けられた順序とを推定する処理である。3つ目の処理は、推定した、視線が向けられた対象物と、視線が向けられた順序との組み合わせが複数通りある場合に、記憶装置に記憶させた複数の対象物の配置情報に基づいて、複数通りの組み合わせのうちの1つの組み合わせに特定する処理である。
【選択図】図3

Description

本発明は、視線特定プログラム、視線特定装置、及び視線特定方法に関する。
近年、工場等の設備の点検業務における点検作業の不備や、点検作業の不備に伴う事故を、未然に防ぐことを目的として、視線検出装置の導入が進んでいる。視線検出装置で点検者の点検中の視線を検出し、点検者が注視している対象物(点検項目)を特定することにより、点検作業が適切に行われたか否かを判定することが可能となる。
この種の点検作業を支援する技術の1つとして、点検作業についての手順書に含まれる作業画像と、点検作業中に取得した点検者の視野画像との類似度に基づいて、点検作業が適切に行われたか否かを判定する技術が知られている(例えば、特許文献1を参照)。
また、点検者が注視している対象物を特定する技術の1つとして、ユーザに視線方向の移動を誘発するイベントの検出時刻と発生時刻との時間差に基づいて、ユーザが注視しているオブジェクトを特定する技術が知られている(例えば、特許文献2を参照)。
特開2013−097466号公報 国際公開第2010/143377号
上記手順書に含まれる作業画像には、例えば、点検対象の設備における各種の点検項目が表示されている。また、点検対象の設備によっては、外観がよく似ている対象物が複数配置されている場合や、複数箇所における対象物の配置パターンがよく似ている場合等がある。そのため、手順書に含まれる作業画像と、点検者の視野画像との類似度を算出する際に、点検者の視野画像と対応する作業画像がどの作業画像であるか、或いは視野画像が作業画像におけるどの領域と対応するかを特定することが困難となる。このような状況においては、点検作業が適切に行われたか否かを判定することが困難となる。
1つの側面において、本発明は、外観や配置パターンが類似している複数の対象物のなかから、当該対象物を見る者の視線が向けられた対象物を特定することを目的とする。
1つの案では、コンピュータに、以下の処理を含む視線特定プログラムを実行させる。1つ目の処理は、視線センサの出力信号に基づいて、視線の位置又は視線の方向を含む視線パターンを作成する処理である。2つ目の処理は、記憶装置に記憶させた複数の対象物の位置関係を含む情報と、視線パターンとに基づいて、視線が向けられた対象物と、視線が向けられた順序とを推定する処理である。3つ目の処理は、推定した、視線が向けられた対象物と、視線が向けられた順序との組み合わせが複数通りある場合に、記憶装置に記憶させた複数の対象物の配置情報に基づいて、複数通りの組み合わせのうちの1つの組み合わせに特定する処理である。
外観や配置パターンが類似している複数の対象物のなかから、当該対象物を見る者の視線が向けられた対象物を特定することが可能となる。
第1の実施形態に係る点検支援装置の機能的構成を示す図である。 点検項目データベースの第1の例を示す図である。 第1の実施形態に係る点検支援装置が行う処理を説明するフローチャートである。 視線パターンの作成方法を説明する図である。 視線パターンのデータの例を示す図である。 第1の実施形態に係る点検項目推定処理の内容を説明するフローチャートである。 停留点と点検項目とを対応付ける処理の内容を説明するフローチャート(その1)である。 停留点と点検項目とを対応付ける処理の内容を説明するフローチャート(その2)である。 停留点と点検項目との対応付けの第1の例を説明する図(その1)である。 停留点と点検項目との対応付けの第1の例を説明する図(その2)である。 停留点と点検項目との対応付けの第1の例を説明する図(その3)である。 停留点と点検項目との対応付けの第2の例を説明する図(その1)である。 停留点と点検項目との対応付けの第2の例を説明する図(その2)である。 停留点と点検項目との対応付けの第2の例を説明する図(その3)である。 停留点と点検項目との対応付けの第3の例を説明する図(その1)である。 停留点と点検項目との対応付けの第3の例を説明する図(その2)である。 停留点と点検項目との対応付けの第3の例を説明する図(その3)である。 停留点と点検項目との対応付けの第4の例を説明する図(その1)である。 停留点と点検項目との対応付けの第4の例を説明する図(その2)である。 停留点と点検項目との対応付けの第4の例を説明する図(その3)である。 第1の実施形態に係る点検項目特定処理の内容を説明するフローチャート(その1)である。 第1の実施形態に係る点検項目特定処理の内容を説明するフローチャート(その2)である。 第1の実施形態に係る点検項目特定処理の内容を説明するフローチャート(その3)である。 点検項目データベースの第2の例を示す図である。 点検項目データベースの第3の例を示す図である。 停留点と点検項目との対応付けの第2の例における推定パターンと重みを示す図である。 第2の実施形態に係る点検項目特定処理の一部を説明するフローチャートである。 第3の実施形態に係る点検項目推定処理の内容を説明するフローチャート(その1)である。 第3の実施形態に係る点検項目推定処理の内容を説明するフローチャート(その2)である。 停留点と点検項目との対応付けの第5の例を説明する図(その1)である。 停留点と点検項目との対応付けの第5の例を説明する図(その2)である。 停留点と点検項目との対応付けの第5の例を説明する図(その3)である。 第4の実施形態に係る点検項目特定処理の内容を説明するフローチャートである。 停留点と点検項目との対応付けの第6の例を説明する図(その1)である。 停留点と点検項目との対応付けの第6の例を説明する図(その2)である。 停留点と点検項目との重心間距離を説明する図である。 停留点と点検項目との位置関係の例を示す図である。 第4の実施形態に係る点検項目特定処理の変形例を説明するフローチャートである。 コンピュータのハードウェア構成を示す図である。
[第1の実施形態]
本実施形態では、人物の視線が向けられた対象物を特定する視線特定装置の一例として、工場等の設備の点検作業を支援する点検支援装置を挙げる。点検支援装置は、設備の点検を行う人物(以下「点検者」という)の視線に基づいて、設備に設けられた複数の点検項目(対象物)のうち、点検者がどの点検項目をどのような順序で点検したかを特定する装置である。
図1は、第1の実施形態に係る点検支援装置の機能的構成を示す図である。
図1に示すように、本実施形態の点検支援装置1は、視線検出部101と、視線パターン作成部102と、パターン比較部103と、点検項目特定部104と、出力部105と、を備える。また、点検支援装置1は、点検項目データベース110と、視線情報蓄積部120と、特定結果蓄積部121と、を備える。
視線検出部101は、点検支援装置1と接続された視線センサ2の出力信号に基づいて、人物(点検者)の視線を検出する。視線検出部101は、例えば、瞳孔−角膜反射法により、点検者の視線を検出する。視線検出部101が瞳孔−角膜反射法により視線を検出する場合、視線センサ2は、赤外線カメラと、赤外線を発する光源(例えば、赤外線発光ダイオード)とを含む。赤外線カメラは、設備を点検している点検者の眼球(頭部)が撮像範囲に含まれる向きで設置される。赤外線発光ダイオードは、設備を点検する際に点検者の頭部が位置する方向に向けて赤外線を発する態様で設置される。すなわち、視線センサ2の赤外線カメラは、赤外線が照射された点検者の頭部を撮像する。視線検出部101は、視線センサ2で撮像した画像から、角膜反射の位置と瞳孔の位置とを抽出し、これらの位置に基づいて点検者の視線を検出する(算出する)。
視線検出部101は、所定の時間間隔で点検者の視線を繰り返し検出し、検出した視線を視線情報蓄積部120に蓄積する。
視線パターン作成部102は、視線情報蓄積部120に蓄積された点検者の視線の時系列データに基づいて、点検者の視線パターン(言い換えると点検者の視線の移動パターン)を作成する。視線パターン作成部102は、例えば、視線の移動が停留した位置と、停留していた時間とを含む視線パターンを作成する。
パターン比較部103は、視線パターン作成部102で作成した視線パターンと、点検項目データベース110に登録された点検項目の配置パターンとを比較し、点検者が点検した項目及び点検した順序を含む点検パターンを推定する。
点検項目特定部104は、点検項目データベース110に登録された点検順序や重要度等の情報に基づいて、パターン比較部103において推定した点検パターンのなかから、最も適切な点検パターンを特定する。以下、パターン比較部103において推定した点検パターンのことを「推定パターン」ともいう。
出力部105は、例えば、特定した点検パターン、或いは視線検出部101から点検項目特定部104までで行った処理の結果等を、特定結果蓄積部121に蓄積するとともに、表示装置3等の外部装置に出力する。
図2は、点検項目データベースの第1の例を示す図である。
図2に示すように、本実施形態で用いる点検項目データベース110(110A)は、例えば、設備IDと、項目名と、座標と、重要度と、順序と、を含む。
設備IDは、点検対象である複数の設備を識別する情報である。設備IDには、例えば、1から始まる正の整数を用いる。項目名は、設備IDにより特定される設備における点検項目を表す情報である。例えば、図2の点検項目データベース110Aにおいて、設備IDが「1」である設備には、項目名A〜項目名Fの6個の点検項目がある。
座標は、点検者が点検している空間における各点検項目(点検箇所)の位置を表す情報である。なお、図2の点検項目データベース110Aでは、点検する設備における1つの面に複数の点検項目が配置されているとし、点検項目が配置された平面内における各点検項目の位置を2次元座標で表している。
重要度は、点検項目毎の点検の必要性を表す情報である。例えば、図2の点検項目データベース110Aでは、点検項目を、重要度が「必須」である点検項目と、重要度が「重要」である点検項目と、重要度が空欄である点検項目と、に分けている。重要度が「必須」である点検項目は、設備を点検する際に、その都度点検する必要がある点検項目である。重要度が「重要」である点検項目は、設備の点検を行う際にその都度点検する必要はないものの、その都度点検することが好ましい点検項目である。重要度が空欄である点検項目は、例えば、一定期間点検しなくても問題のない点検項目である。
順序は、設備の各点検項目を点検する際の点検順序を指定する情報である。なお、点検項目データベース110における順序は、1個の設備における全ての点検項目の点検順序を指定する情報に限らず、1個の設備における全点検項目のうちの所定の点検項目の点検順序のみを指定する情報であってもよい。例えば、図2の点検項目データベース110Aでは、設備IDが「1」である設備における6個の点検項目のうち、項目名Aの点検項目と項目名Bの点検項目との点検順序のみが指定されている。また、図2の点検項目データベース110Aでは、項目名Aの点検順序が「1」であり、項目名Bの点検順序が「2」である。すなわち、図2の点検項目データベース110Aには、設備IDが「1」である設備を点検する際に、項目名Aの点検項目を点検した後で項目名Bの点検項目を点検することが指定されている。
なお、図2の点検項目データベース110Aは、本実施形態の点検支援装置1における点検項目データベース110の一例に過ぎない。本実施形態に係る点検項目データベース110は、例えば、1個の設備についての情報のみが登録されていてもよい。また、本実施形態に係る点検項目データベース110は、各点検項目の座標、重要度、順序とは別の情報を含むデータベースでもよい。
本実施形態の点検支援装置1は、点検者が点検対象の設備を適切に点検することを支援する装置である。点検支援装置1は、点検者の視線に基づいて、点検者が点検した項目及び点検した順序を特定して記録する。点検支援装置1及び視線センサ2は、点検者が点検時に携帯してもよいし、点検対象の設備に設置されていてもよい。また、複数の設備のそれぞれに視線センサ2を設置し、当該複数の視線センサ2を、通信ネットワークを介して1個の点検支援装置1に接続してもよい。
図3は、第1の実施形態に係る点検支援装置が行う処理を説明するフローチャートである。
点検支援装置1は、動作を開始させると、図3に示すように、まず、点検者の視線情報を蓄積する処理を開始する(ステップS1)。視線情報を蓄積する処理は、視線検出部101が行う。視線検出部101は、点検支援装置1に接続された視線センサ2から画像を取得する処理、及び取得した画像から点検者の視線を検出して蓄積する処理を続ける。視線検出部101は、既知である視線検出方法のいずれかに従って、点検者の視線を検出する(算出する)。例えば、視線検出部101は、赤外線カメラ及び赤外線LEDを含む視線センサ2で撮像した画像を取得し、瞳孔−角膜反射法により点検者の視線を検出する。また、視線検出部101は、検出した視線情報、及び必要に応じて時刻を視線情報蓄積部120に蓄積する。
次に、点検支援装置1は、点検者が点検を開始したか否かを判定する(ステップS2)。
点検者が点検を開始していない場合(ステップS2;NO)、点検支援装置1は、点検者が点検を開始するのを待つ。そして、点検者が点検を開始すると(ステップS2;YES)、点検支援装置1は、次に、点検者が点検を終了したか否かを判定する(ステップS3)。
点検者が点検を終了していない場合(ステップS3;NO)、点検支援装置1は、点検者が点検を終了するのを待つ。そして、点検者が点検を終了すると(ステップS3;YES)、点検支援装置1は、次に、視線情報を蓄積する処理を終了する(ステップS4)。
ステップS2の判定は、例えば、点検者が点検を開始したことを通知する情報が点検支援装置1に入力されたか否かで判定する。また、ステップS3の判定は、例えば、点検者が点検を終了したことを通知する情報が点検支援装置1に入力されたか否かで判定する。
点検を開始したことを通知する情報、及び点検を終了したことを通知する情報は、例えば、図1には示していない点検支援装置1の入力装置を点検者が操作することで入力される。
また、点検者が点検支援装置1を携帯して点検を行う場合、例えば、図1には示していない加速度センサを点検支援装置1に内蔵させ、当該加速度センサの出力信号に基づいて点検者が点検を開始したか否か、及び点検を終了したか否かを判定してもよい。点検を開始したか否かの判定に加速度センサを用いる場合、例えば、加速度センサの出力信号に基づいて検出される点検者の状態が歩行(移動)している状態から停止している状態に変化したときに、点検者が点検を開始したと判定する。また、点検を終了したか否かの判定に加速度センサを用いる場合、例えば、加速度センサの出力信号に基づいて検出される点検者の状態が停止している状態から歩行(移動)している状態に変化したときに、点検者が点検を終了したと判定する。
また、点検支援装置1及び視線センサ2が点検対象の設備に設置されている場合、例えば、図1には示していない人感センサ等を用い、当該人感センサの出力信号に基づいて点検者が点検を開始したか否か、及び点検を終了したか否かを判定してもよい。点検を開始したか否かの判定に人感センサを用いる場合、例えば、人感センサの出力信号に基づいて所定の位置(点検者が点検時に立つ位置)に人物が停止したことを検出したときに、点検者が点検を開始したと判定する。また、点検を終了したか否かの判定に人感センサを用いる場合、例えば、人感センサの出力信号に基づいて人物が所定の位置から移動したときに、点検者が点検を終了したと判定する。
視線情報を蓄積する処理(ステップS4)を終了すると、点検支援装置1は、次に、蓄積した視線情報に基づいて視線パターンを作成する(ステップS5)。ステップS5の処理は、視線パターン作成部102が行う。視線パターン作成部102は、視線情報蓄積部120に蓄積された視線情報の時系列データを読み出し、例えば、視線の停留点の位置、停留した時間、及び停留した順序を含む視線パターンを作成する。
次に、点検支援装置1は、視線パターンと、点検項目データベース110に登録された点検項目の配置パターンとに基づいて、点検者が点検した項目を推定する点検項目推定処理(ステップS6)を行う。ステップS6の処理は、パターン比較部103が点検項目データベース110を参照して行う。パターン比較部103は、視線パターンと、点検対象の設備における点検項目の配置パターンとに基づいて、視線パターンの停留点と点検項目との対応付けを行う。パターン比較部103は、停留点と点検項目との対応付けの結果が所定の条件を満たす場合に、停留点と対応付けられた点検項目と、点検順序とを含む推定パターンを作成して保持する。所定の条件は、例えば、視線パターンにおける停留点のうちの点検項目(点検箇所)を見ているとみなされた停留点の全てが点検項目と対応付けられていること、とする。ステップS6の処理において、パターン比較部103は、例えば、停留点と点検項目との対応関係を含む点検パターンの推定結果(以下「推定パターン」ともいう)を点検項目特定部104に出力する。
次に、点検支援装置1は、点検項目推定処理で得られた推定パターンと、点検項目データベース110に登録された点検順序や重要度等に基づいて、点検者が点検した項目を特定する点検項目特定処理(ステップS7)を行う。ステップS7の処理は、点検項目特定部104が点検項目データベース110を参照して行う。
推定パターンが1個の場合、点検項目特定部104は、当該推定パターンに含まれる点検項目及び点検順序を、それぞれ、点検者が点検した項目及び点検した順序に特定する。また、推定パターンが2個以上の場合、点検項目特定部104は、各推定パターンにおける点検項目の点検順序や、重要度の高い点検項目の数等に基づいて1個の推定パターンを選出する。そして、点検項目特定部104は、選出した推定パターンに含まれる点検項目及び点検順序を、それぞれ、点検者が点検した項目及び点検順序に特定する。
なお、図3のフローチャートは、点検支援装置1が行う処理の一例に過ぎない。本実施形態に係る点検支援装置1が行う処理は、例えば、図3におけるステップS1とステップS2との順序が逆であってもよい。また、本実施形態に係る点検支援装置1が行うステップS5〜S7処理は、例えば、点検者が設備を点検している途中で適宜行ってもよい。
図4は、視線パターンの作成方法を説明する図である。図5は、視線パターンのデータの例を示す図である。
視線パターン作成部102は、視線情報蓄積部120に蓄積された視線情報に基づいて視線パターンを検出する。視線情報は、視線検出部101が、視線センサ2から取得した画像毎に所定の検出方法に従って検出した点検者の視線を含む情報である。
視線パターン作成部102は、視線情報に基づいて、例えば、図4の(a)に示すように、所定の平面4内における視線の位置Pの時間変化を調べる。なお、図4の(a)において、視線の位置Pに付した添え字n〜n+8は、それぞれ、時系列における視線の位置の順序を表す数値を意味する。すなわち、図4の(a)の平面4における視線の位置Pは、P,Pn+1,Pn+2,Pn+3,Pn+4,Pn+5,Pn+6,Pn+7,Pn+8の順に移動している。
また、視線パターン作成部102は、所定数以上(例えば2点以上)の連続する視線の位置Pが所定範囲AR内に含まれる場合に、当該所定数以上の視線の位置Pの重心を算出し、当該重心を視線の停留点PSとする。所定範囲ARの寸法、及び視線が停留しているとみなす所定範囲AR内の視線の位置Pの数は、例えば、点検項目の寸法や視線の位置Pを算出する時間間隔等に基づいて適宜設定する。
点検対象の設備を点検する際、点検者は、点検項目毎に数秒程度の時間をかけて数値等を確認する。そのため、点検対象の設備に複数の点検項目がある場合、視線パターン作成部102は、図4の(b)に示すように、視線情報から複数の停留点PS1〜PS4を検出する。なお、図4の(b)では、内部領域に数字が記載された円の中心が停留点の位置を表しており、円内に記載された数字が停留点の検出順番を表している。すなわち、図4の(b)に示した例では、点検者の視線は、位置Pn−1から第1の停留点PS1の近傍に移動して停留する。次に、点検者の視線は、第1の停留点PS1の近傍から右方に移動して第2の停留点PS2の近傍で停留した後、第2の停留点PSの近傍から左下方に移動して第3の停留点PS3の近傍で停留する。次に、点検者の視線は、第3の停留点PS3の近傍から右方に移動して第4の停留点PS4の近傍で停留する。その後、点検者の視線は、例えば、第4の停留点PS4の近傍から右上方に移動している。
視線パターン作成部102は、視線情報から停留点を検出する毎に、検出した停留点に停留点IDを付与し、例えば、図5に示すような視線パターンのデータ130に、停留点IDと、停留点の座標と、停留時間とを対応付けて登録していく。停留点IDは、例えば、1から始まる正の整数とし、停留点を検出する毎に付与する停留点IDの数を1ずつ増加させる。停留点の座標は、所定範囲AR内で連続する複数の視線の位置Pの座標から算出した重心の座標である。停留時間は、1個の停留点に視線が停留していた時間であり、例えば、所定範囲AR内で連続する視線の位置Pの数と、視線の位置Pを算出する時間間隔との積とする。
このような視線パターンのデータ130においては、停留点の座標が所定の平面4内における停留点の位置を表し、停留点IDが停留点の移動順序を表す。なお、視線パターンを作成する平面4は、点検者の視線の方向に設定される任意の平面であり、平面4を表すxy座標系は、点検項目データベース110Aにおける点検項目の座標を表す座標系(例えば、世界座標系)とは異なる座標系でもよい。
ステップS5において視線パターンのデータ130を作成すると、点検支援装置1は、次に、点検項目推定処理(ステップS6)を行う。点検項目推定処理は、パターン比較部103が行う。本実施形態の点検支援装置1におけるパターン比較部103は、点検項目推定処理として、例えば、図6に示す処理を行う。
図6は、第1の実施形態に係る点検項目推定処理の内容を説明するフローチャートである。
点検項目推定処理を開始すると、パターン比較部103は、図6に示すように、まず、点検項目データベース110から、点検した設備の点検項目及び座標を取得する(ステップS601)。ステップS601において、パターン比較部103は、例えば、点検を開始する際に点検支援装置1に入力された設備IDをキー情報として、点検項目データベース110から設備IDと対応付けられた点検項目及び座標を読み出して取得する。なお、点検支援装置1が点検対象の設備毎に設けられており、点検項目データベース110に1個の設備についての点検項目及び座標のみが登録されている場合、パターン比較部103は、登録された点検項目及び座標を読み出す。
次に、パターン比較部103は、読み出した点検項目の1つを選択する(ステップS602)。ステップS602において、パターン比較部103は、所定の選択規則に従って、点検項目の1つを選択する。選択規則は、例えば、ステップS602において選択されていない点検項目のうちの、点検項目データベース110における重要度が最も高く順序が一番目である点検項目を選択する、とする。
次に、パターン比較部103は、視線パターンにおける最初の停留点と選択した点検項目とを重ね、視線パターンの停留点と点検項目とを対応付ける処理(ステップS603)を行い、停留点と点検項目との対応付けができたか否かを判定する(ステップS604)。
ステップS603において、パターン比較部103は、例えば、視線パターンにおける最初の停留点の座標が選択された点検項目の座標と一致するよう、各停留点を平行移動させる。その後、パターン比較部103は、停留点毎に、所定の範囲内に点検項目があるか否かを判定し、所定の範囲内に点検項目がある場合にはその点検項目を停留点と対応付ける。そして、点検者が点検項目を見ているとみなされる全ての停留点に点検項目を対応付けられた場合、パターン比較部103は、停留点と点検項目との対応付けができたと判断する(ステップS604;YES)。
停留点と点検項目との対応付けができた場合(ステップS604;YES)、パターン比較部103は、停留点と対応付けられた点検項目を含む推定パターンを保持する(ステップS605)。その後、パターン比較部103は、ステップS602で選択していない点検項目があるか否かを判定する(ステップS606)。また、停留点と点検項目との対応付けができなかった場合(ステップS604;NO)、パターン比較部103は、ステップS605の処理を省略してステップS606の判定を行う。
選択していない点検項目がある場合(ステップS606;YES)、パターン比較部103は、ステップS602以降の処理を繰り返す。一方、ステップS602において全ての点検項目が選択された場合(ステップS606;NO)、パターン比較部103は、推定パターンを点検項目特定部104に出力し(ステップS607)、点検項目推定処理を終了する(リターン)。
図7Aは、停留点と点検項目とを対応付ける処理の内容を説明するフローチャート(その1)である。図7Bは、停留点と点検項目とを対応付ける処理の内容を説明するフローチャート(その2)である。
停留点と点検項目とを対応付ける処理(ステップS603)において、パターン比較部103は、図7Aに示すように、まず、停留点の移動順番を表す変数iをi=2にする(ステップS603a)。
次に、パターン比較部103は、点検項目の配置パターンを表す平面内で、視線パターンにおける最初の停留点と選択した点検項目とを重ねる(ステップS603b)。なお、視線パターンにおける停留点の位置を表す座標系と、点検項目の座標を表す座標系とが異なる場合、パターン比較部103は、両座標系の対応関係に基づいて停留点の位置を表す座標の値を変換してから、最初の停留点と選択した点検項目とを重ねる。
次に、パターン比較部103は、i番の停留点を中心とする所定範囲内に点検項目があるか否かを判定する(ステップS603c)。ステップS603cの判定で用いる所定範囲は、例えば、点検項目の寸法等に基づいて、i番の停留点の視線が点検項目に向けられているとみなすことができる範囲に設定する。
i番の停留点を中心とする所定範囲内に点検項目がある場合(ステップS603c;YES)、パターン比較部103は、該当する点検項目をi番の停留点と対応付ける(ステップS603d)。その後、パターン比較部103は、i+1番の停留点があるか否かを判定する(ステップS603h)。一方、i番の停留点を中心とする所定範囲内に点検項目がない場合(ステップS603c;NO)、パターン比較部103は、図7Bに示したステップS603e〜S603gの処理を行う。
i番目の停留点を中心とする所定範囲内に点検項目がない場合、パターン比較部103は、次に、i番の停留点と他の停留点との距離が閾値以上であるか否かを判定する(ステップS603e)。ステップS603eの判定で用いる閾値は、例えば、点検項目の寸法や配置間隔等に基づいて、点検者が点検中に点検項目以外の箇所を見ているとみなせる程度の値に設定する。
距離が閾値以上である場合(ステップS603e;YES)、パターン比較部103は、i番の停留点を対応付けの対象から除外する(ステップS603f)。すなわち、i番の停留点が他の停留点から遠く離れている場合、パターン比較部103は、i番の停留点の視線が点検項目とは別の箇所に向けられていると判断し、i番目の停留点を視線パターンから一時的に削除する。一方、距離が閾値よりも短い場合(ステップS603e;NO)、パターン比較部103は、対応付けられる点検項目がないことを示す情報をi番の停留点と対応付ける(ステップS603g)。ステップS603e〜S603gの処理を終えると、パターン比較部103は、次に、図7Aに示したように、i+1番の停留点があるか否かを判定する(ステップS603h)。
i+1番の停留点がある場合(ステップS603h;YES)、パターン比較部103は、変数iをi+1に更新し(ステップS603i)、ステップS603c以降の処理を繰り返す。そして、i+1番の停留点がなくなると(ステップS603h;NO)、パターン比較部103は、次に、同一の点検項目と対応付けられた複数の停留点を統合する(ステップS603j)。ステップS603jの処理を終えると、パターン比較部103は、停留点と点検項目とを対応付ける処理を終了する(リターン)。
図8Aは、停留点と点検項目との対応付けの第1の例を説明する図(その1)である。図8Bは、停留点と点検項目との対応付けの第1の例を説明する図(その2)である。図8Cは、停留点と点検項目との対応付けの第1の例を説明する図(その3)である。
図8Aの(a)には、xy座標系の平面4における視線パターン、すなわち停留点PS1〜PS4の位置及び移動順序を示している。図8Aの(a)の視線パターンにおいて、点検者の視線は、点検開始後の最初の停留点である第1の停留点PS1で停留した後、右方に移動して第2の停留点PS2で停留している。また、第2の停留点PS2で停留した後、点検者の視線は、左下方に移動し、水平方向(x方向)方向で見て第1の停留点PS3と略同一となる第3の停留点PS3で停留している。その後、点検者の視線は、第3の停留点PS3から右方に移動し、水平方向で見た第2の停留点PS2の位置よりも更に右方となる第4の停留点PS4で停留している。
図8Aの(b)には、xy座標系の平面4における点検対象の設備の点検項目Q1〜Q6の配置パターンを示している。図8Aの(b)の配置パターンにおいて、6個の点検項目Q1〜Q6は、2行3列の行列形式で配置されている。上段の3個の点検項目Q1〜Q3の項目名は、左から順に項目名A、項目名B、及び項目名Cとなっている。また、下段の3個の点検項目Q4〜Q6の項目名は、左から順に項目名D、項目名E、及び項目名Fとなっている。以下の説明では、点検項目Q1〜Q6を区別する場合、それぞれ、第1の点検項目Q1、第2の点検項目Q2、第3の点検項目Q3、第4の点検項目Q4、第5の点検項目Q5、第6の点検項目Q6という。
本実施形態に係る点検項目推定処理では、点検項目の1つを選択し(ステップS602)、視線パターンにおける最初の停留点(第1の停留点PS1)と選択した点検項目とを重ねて、停留点と点検項目との対応付けを行う(ステップS603)。ステップS602で第1の点検項目Q1を選択した場合、パターン比較部103は、図8Bの(c)に示すように、第1の停留点PS1と第1の点検項目Q1とを重ねて、第2の停留点PS2〜第4の停留点PS4と点検項目との対応付けを行う。
第2の停留点PS2は第2の点検項目Q2と重なる。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第2の停留点の視線は第2の点検項目Q2に向けられているといえる。
また、第3の停留点PS3は第4の点検項目Q4と重なる。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第3の停留点PS3の視線は第4の点検項目Q4に向けられているといえる。
更に、第4の停留点PS4は、中心(重心)の位置が第6の点検項目Q6の外周付近に位置する。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第4の停留点PS4の視線は第6の点検項目Q6に向けられているといえる。
すなわち、第1の停留点PS1と第1の点検項目Q1とを重ねた場合、点検者が点検項目を見ているとみなされる全ての停留点PS1〜PS4に点検項目が対応付けられる。そのため、パターン比較部103は、ステップS604において、停留点と点検項目との対応付けができた(ステップS604;YES)と判定する。よって、パターン比較部103は、図8Bの(d)に示すような推定パターン141を作成して保持する(ステップS605)。なお、本実施形態においては、推定パターン141を作成する際に、点検順序に、停留点と、点検項目と、停留時間とを対応付けている。停留時間は、上記のように、1個の停留点に視線が停留していた時間であり、例えば、図5に示した視線パターン130に登録されている。
次に、ステップS602で第2の点検項目Q2を選択した場合の、停留点と点検項目との対応付けについて説明する。この場合、パターン比較部103は、図8Cの(e)に示すように、第1の停留点PS1と第2の点検項目Q2とを重ねて、第2の停留点PS2〜第4の停留点PS4と点検項目との対応付けを行う。
第2の停留点PS2は第3の点検項目Q3と重なる。そのため、第1の停留点PS1の視線が第2の点検項目Q2に向けられている場合、第2の停留点PS2の視線は第3の点検項目Q3に向けられているといえる。また、第3の停留点PS3は第5の点検項目Q5と重なる。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第3の停留点PS3の視線は第5の点検項目Q5に向けられているといえる。
ところが、第4の停留点PS4は、6個の点検項目Q1〜Q6のいずれとも重ならない。そのため、第4の停留点PS4と点検項目とを対応付ける際、パターン比較部103は、図7Bに示すステップS603e〜S603gの処理を行う。図8Bの(c)からわかるように、第4の停留点PS4は、他の停留点PS1〜PS3との距離が遠く離れているわけではなく、第4の停留点PS4の視線は点検項目Q1〜Q6のいずれかに向けられているといえる。そのため、パターン比較部103は、第4の停留点PS4を除外せず、対応付けられる点検項目がないことを示す情報を第4の停留点PS4と対応付ける(ステップS603g)。よって、第1の停留点PS1と第2の点検項目Q2とを重ねた場合、パターン比較部103は、ステップS604において、停留点と点検項目との対応付けができなかった(ステップS604;NO)と判定する。
また、第1の停留点PS1を第3の点検項目Q3〜第6の点検項目Q6のそれぞれと重ねた場合も、パターン比較部103は、ステップS604において、停留点と点検項目との対応付けができなかった(ステップS604;NO)と判定する。
したがって、図8Aの(a)に示した視線パターンと、図8Aの(b)に示した点検項目の配置パターンとに基づく点検項目推定処理では、図8Bの(d)に示した1個の推定パターン141が作成され、点検項目特定部104に出力される。
図9Aは、停留点と点検項目との対応付けの第2の例を説明する図(その1)である。図9Bは、停留点と点検項目との対応付けの第2の例を説明する図(その2)である。図9Cは、停留点と点検項目との対応付けの第2の例を説明する図(その3)である。
図9Aの(a)には、xy座標系の平面4における視線パターン、すなわち停留点PS1〜PS4の位置及び移動順序を示している。図9Aの(a)の視線パターンにおいて、点検者の視線は、点検開始後の最初の停留点となる第1の停留点PS1で停留した後、右方に移動して第2の停留点PS2で停留している。また、第2の停留点PS2で停留した後、点検者の視線は、左下方に移動し、水平方向(x方向)方向で見て第1の停留点PS3と略同一となる第3の停留点PS3で停留している。その後、点検者の視線は、第3の停留点から右方に移動し、水平方向で見た第2の停留点PS2の位置よりも更に右方となる第4の停留点PS4で停留している。
図9Aの(b)には、xy座標系の平面4における点検対象の設備における点検項目Q1〜Q9の配置パターンを示している。図9Aの(b)の配置パターンでは、9個のうち5個の点検項目Q1〜Q5が、水平方向(x方向)に配置されている。そして、9個のうち残り4個の点検項目Q6〜Q9は、上記の5個の点検項目Q1〜Q5の下方に、水平方向に並べて配置されている。また、4個の点検項目Q6〜Q9は、それぞれ、x方向の位置が点検項目Q2〜Q5と同じ位置になるよう配置されている。
上段の5個の点検項目Q1〜Q5の項目名は、左から順に項目名A、項目名B、項目名C、項目名D、及び項目名Eとなっている。また、下段の4個の点検項目Q6〜Q9の項目名は、左から順に項目名F、項目名G、項目名H、及び項目名Jとなっている。以下の説明では、上段の9個の点検項目Q1〜Q9を区別する場合、それぞれ、第1の点検項目Q1〜第9の点検項目Q9という。
本実施形態に係る点検項目推定処理では、点検項目の1つを選択し(ステップS602)、視線パターンにおける最初の停留点(第1の停留点PS1)と選択した点検項目とを重ねて、停留点と点検項目との対応付けを行う(ステップS603)。ステップS602で第1の点検項目Q1を選択した場合、パターン比較部103は、図9Bの(c)に示すように、第1の停留点PS1と第1の点検項目Q1とを重ねて、第2の停留点PS2〜第4の停留点PS4と点検項目との対応付けを行う。
第2の停留点PS2は第3の点検項目Q3と重なる。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第2の停留点PS2の視線は第3の点検項目Q3に向けられているといえる。また、第4の停留点PS4は、中心(重心)の位置が第7の点検項目Q7の外周付近に位置する。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第4の停留点PS4の視線は第7の点検項目Q7に向けられているといえる。
ところが、第3の停留点PS3は、9個の点検項目Q1〜Q9のいずれとも重ならない。そのため、第3の停留点PS3と点検項目とを対応付ける際、パターン比較部103は、図7Bに示すステップS603e〜S603gの処理を行う。図9Bの(c)からわかるように、第3の停留点PS3は、垂直方向(y方向)の位置が第4の停留点PS4と略同一である。また、第1の停留点PS1と第3の停留点PS3との距離は、垂直方向に並んだ2個の点検項目(例えば第2の点検項目Q2と第6の点検項目Q6)の距離と略同一である。すなわち、第3の停留点PS3は、他の停留点PS1,PS2,及びPS4との距離が遠く離れているわけではなく、第3の停留点PS3の視線は点検項目Q1〜Q9のいずれかに向けられている可能性が高い。そのため、パターン比較部103は、第3の停留点PS3を除外せず、対応付けられる点検項目がないことを示す情報を第3の停留点PS3と対応付ける(ステップS603g)。よって、第1の停留点PS1と第1の点検項目Q1とを重ねた場合、パターン比較部103は、ステップS604において、停留点と点検項目との対応付けができなかった(ステップS604;NO)と判定する。
次に、ステップS602で第2の点検項目Q2を選択した場合の、停留点と点検項目との対応付けについて説明する。この場合、パターン比較部103は、図9Bの(d)に示すように、第1の停留点PS1と第2の点検項目Q2とを重ねて、第2の停留点PS2〜第4の停留点PS4と点検項目との対応付けを行う。
第2の停留点PS2は第3の点検項目Q3と重なる。そのため、第1の停留点PS1の視線が第2の点検項目Q2に向けられている場合、第2の停留点PS2の視線は第3の点検項目Q3に向けられているといえる。また、第3の停留点PS3は第6の点検項目Q6と重なる。そのため、第1の停留点PS1の視線が第2の点検項目Q2に向けられている場合、第3の停留点PS3の視線は第6の点検項目Q6に向けられているといえる。
更に、第4の停留点PS4は、中心(重心)の位置が第8の点検項目Q8の外周付近に位置する。そのため、第1の停留点PS1の視線が第2の点検項目Q2に向けられている場合、第4の停留点PS4の視線は第8の点検項目Q8に向けられているといえる。
すなわち、第1の停留点PS1と第2の点検項目Q2とを重ねた場合、点検者が点検項目を見ているとみなされる全ての停留点PS1〜PS4に点検項目が対応付けられる。そのため、パターン比較部103は、ステップS604において、停留点と点検項目との対応付けができた(ステップS604;YES)と判定する。よって、パターン比較部103は、図9Cの(e)に示す推定パターン142Aを作成して保持する(ステップS605)。なお、本実施形態においては、推定パターン142を作成する際に、点検順序に、停留点と、点検項目と、停留時間とを対応付ける。停留時間は、上記のように、1個の停留点に視線が停留していた時間であり、例えば、図5に示した視線パターン130に登録されている。
次に、ステップS602で第3の点検項目Q3を選択した場合の、停留点と点検項目との対応付けについて説明する。この場合、パターン比較部103は、第1の停留点PS1と第3の点検項目Q3とを重ね、第2の停留点Q2〜Q4と点検項目との対応付けを行う。第1の停留点PS1と第3の点検項目Q3とを重ねた場合、停留点PS1〜PS4と、点検項目Q1〜Q9との位置関係は、例えば、図9Bの(d)に示す停留点PS1〜PS4が、それぞれ、右方向に点検項目の間隔分だけ平行移動した関係となる。そのため、第1の停留点PS1は第3の点検項目Q3と対応付けられ、第2の停留点PS2は第4の点検項目Q4と対応付けられる。また、第3の停留点PS3は第7の点検項目Q7と対応付けられ、第4の停留点PS4は第9の点検項目Q9と対応付けられる。よって、ステップS602で第3の点検項目Q3を選択した場合、パターン比較部103は、図9Cの(f)に示す推定パターン142Bを作成して保持する(ステップS605)。
その後、第1の停留点PS1を第4の点検項目Q4〜第9の点検項目Q9のそれぞれと重ねて対応付けを行うが、これらの対応付けでは、パターン比較部103は、停留点と点検項目との対応付けができなかった(ステップS604;NO)と判定する。
したがって、図9Aの(a)に示した視線パターンと、図9Aの(b)に示した点検項目の配置パターンとに基づく点検項目推定処理では、図9Cの(e)及び(f)に示した第1の推定パターン142A及び第2の推定パターン142Bが作成される。
図10Aは、停留点と点検項目との対応付けの第3の例を説明する図(その1)である。図10Bは、停留点と点検項目との対応付けの第3の例を説明する図(その2)である。図10Cは、停留点と点検項目との対応付けの第3の例を説明する図(その3)である。
図10Aの(a)には、xy座標系の平面4における視線パターンの例として、5個の停留点PS1〜PS5の位置及び移動順序を示している。図10Aの(a)の視線パターンにおいて、点検者の視線は、点検開始後の最初の停留点である第1の停留点PS1で停留した後、右方に移動して第2の停留点PS2で停留している。また、第2の停留点PS2で停留した後、点検者の視線は、右上方に大きく移動して第3の停留点PS3で停留する。また、第3の停留点PS3で停留した後、点検者の視線は、左下方に大きく移動し、水平方向(x方向)方向の位置が第2の停留点PS2の位置よりもやや左側となる第4の停留点PS4で停留している。その後、点検者の視線は、第4の停留点PS4から右方に移動し、水平方向で見た移動量が第1の停留点PS1から第2の停留点PS2への移動量と略同一となる第5の停留点PS5で停留している。
図10Aの(b)には、xy座標系の平面4における点検対象の設備の点検項目Q1〜Q6の配置パターンを示している。図10Aの(b)の配置パターンにおいて、6個の点検項目Q1〜Q6は、2行3列の行列形式で配置されている。上段の3個の点検項目Q1〜Q3の項目名は、左から順に項目名A、項目名B、及び項目名Cとなっている。また、下段の3個の点検項目Q4〜Q6の項目名は、左から順に項目名D、項目名E、及び項目名Fとなっている。以下の説明では、点検項目Q1〜Q6を区別する場合、それぞれ、第1の点検項目Q1〜第6の点検項目Q6という。
本実施形態に係る点検項目推定処理では、点検項目の1つを選択し(ステップS602)、視線パターンにおける最初の停留点(第1の停留点PS1)と選択した点検項目とを重ねて、停留点と点検項目との対応付けを行う(ステップS603)。ステップS602で第1の点検項目Q1を選択した場合、パターン比較部103は、図10Bの(c)に示すように、第1の停留点PS1と第1の点検項目Q1とを重ねて、第2の停留点PS2〜第5の停留点PS5と点検項目との対応付けを行う。
第2の停留点PS2は第2の点検項目Q2と重なる。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第2の停留点PS2の視線は第2の点検項目Q2に向けられているといえる。また、第4の停留点PS4は、中心(重心)の位置が第5の点検項目Q5の外周付近に位置する。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第4の停留点PS4の視線は第5の点検項目Q5に向けられているといえる。更に、第5の停留点PS5は、中心(重心)の位置が第6の点検項目Q6の外周付近に位置する。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられているとした場合、第5の停留点PS5の視線は第6の点検項目Q6に向けられているといえる。
これに対し、第3の停留点PS3は、6個の点検項目Q1〜Q6のいずれとも重ならない。そのため、第3の停留点PS3と点検項目とを対応付ける際、パターン比較部103は、図7Bに示すステップS603e〜S603gの処理を行う。図10Bの(c)からわかるように、第3の停留点PS3は、第1の停留点PS1から見た垂直方向の位置が第4の停留点PS4及び第5の停留点PS5のある方向とは反対側である。加えて、第5の停留点PS5から第3の停留点PS3までの垂直方向の移動量は、垂直方向に並んだ2個の点検項目(例えば第2の点検項目Q2と第5の点検項目Q5)の距離と略同一である。
すなわち、第3の停留点PS3は、他の停留点PS1,PS2,PS4,及びPS5との距離が遠く離れており、第3の停留点PS3の視線は点検項目Q1〜Q6とは異なる箇所に向けられている可能性が高い。そのため、パターン比較部103は、図10Bの(d)に示すように、第3の停留点PS3を視線パターンから除外する(ステップS603f)。すなわち、パターン比較部103は、5個の停留点PS1〜PS5のうちの第3の停留点PS3を除く4個の停留点PS1,PS2,PS4,及びPS5を、点検者が点検項目を点検したときの停留点として、停留点と点検項目との対応付けを行う。第3の停留点PS3を除く4個の停留点PS1,PS2,PS4,及びPS5は、それぞれ、上記のように点検項目と対応付けられている。そのため、第1の停留点PS1と第1の点検項目Q1とを重ねた場合、パターン比較部103は、ステップS604において、停留点と点検項目との対応付けができた(ステップS604;YES)と判定する。よって、パターン比較部103は、図10Cの(e)に示すような推定パターン143を作成して保持する(ステップS605)。
次に、ステップS602で第2の点検項目Q2を選択した場合の、停留点と点検項目との対応付けについて説明する。この場合、平面4における停留点PS1,PS2,PS4,及びPS5と、点検項目Q1〜Q6との位置関係は、図10Bの(d)に示す停留点PS1,PS2,PS4,及びPS5が、それぞれ、右方向に点検項目の間隔分だけ平行移動した関係となる。そのため、第1の停留点PS1は第2の点検項目Q2と対応付けられ、第2の停留点PS2は第3の点検項目Q3と対応付けられる。また、第4の停留点PS4は第6の点検項目Q6と対応付けられる。
ところが、第1の停留点PS1と第2の点検項目Q2とを重ねた場合、第5の停留点PS5と対応付けられる点検項目がない。よって、第1の停留点PS1と第1の点検項目Q1とを重ねた場合、パターン比較部103は、ステップS604において、停留点と点検項目との対応付けができなかった(ステップS604;NO)と判定する。
また、第1の停留点PS1を第3の点検項目Q3〜第6の点検項目Q6のそれぞれと重ねた場合も、パターン比較部103は、ステップS604において、停留点と点検項目との対応付けができなかった(ステップS604;NO)と判定する。
したがって、図10Aの(a)に示した視線パターンと、図10Aの(b)に示した点検項目の配置パターンとに基づく点検項目推定処理では、図10Cの(e)に示した1個の推定パターン143のみが作成される。更に、パターン比較部103は、図10Aの(a)に示した視線パターンにおける第3の停留点PS3のように他の停留点との距離が所定の閾値よりも長い停留点を視線パターンから除外して、停留点と点検箇所との対応付けを行う。そのため、点検者が点検の途中で点検項目とは異なる箇所を見たことによる停留点が視線パターンに含まれており、停留点と点検箇所との対応付けができないという事態を回避することが可能となる。
図11Aは、停留点と点検項目との対応付けの第4の例を説明する図(その1)である。図11Bは、停留点と点検項目との対応付けの第4の例を説明する図(その2)である。図11Cは、停留点と点検項目との対応付けの第4の例を説明する図(その3)である。
図11Aの(a)には、xy座標系の平面4における視線パターン、すなわち6個の停留点PS1〜PS6の位置及び移動順序を示している。図11Aの(a)の視線パターンにおいて、点検者の視線は、点検開始後の最初の停留点である第1の停留点PS1で停留した後、右方に移動して第2の停留点PS2で停留している。また、第2の停留点PS2で停留した後、点検者の視線は、左下方に移動し、水平方向(x方向)方向で見て第1の停留点PS3と略同一となる第3の停留点PS3で停留している。また、第3の停留点PS3で停留した後、点検者の視線は、右方に移動し、水平方向で見た第2の停留点PS2の位置よりもわずかに右方となる第4の停留点PS4で停留している。そして、第4の停留点PS4で停留した後、点検者の視線は、略垂直方向(y方向)上方に移動し、垂直方向で見た第2の停留点PS2の位置よりもわずかに上方となる第5の停留点PS5で停留している。更に、第5の停留点PS5で停留した後、点検者の視線は、右方に移動して第6の停留点PS6で停留している。第5の停留点PS5から第6の停留点PS6への水平方向の移動量は、第1の停留点PS1から第2の停留点PS2への水平方向の移動量、及び第3の停留点PS3から第4の停留点PS4への水平方向の移動量等と略同一である。
図11Aの(b)には、xy座標系の平面4における点検対象の設備の点検項目Q1〜Q6の配置パターンを示している。図11Aの(b)の配置パターンにおいて、6個の点検項目Q1〜Q6は、2行3列の行列形式で配置されている。上段の3個の点検項目Q1〜Q3の項目名は、左から順に項目名A、項目名B、及び項目名Cとなっている。また、下段の3個の点検項目Q4〜Q6の項目名は、左から順に項目名D、項目名E、及び項目名Fとなっている。以下の説明では、点検項目Q1〜Q6を区別する場合、それぞれ、第1の点検項目Q1〜第6の点検項目Q6という。
本実施形態に係る点検項目推定処理では、点検項目の1つを選択し(ステップS602)、視線パターンにおける最初の停留点(第1の停留点PS1)と選択した点検項目とを重ねて、停留点と点検項目との対応付けを行う(ステップS603)。ステップS602で第1の点検項目Q1を選択した場合、パターン比較部103は、図11Bの(c)に示すように、第1の停留点PS1と第1の点検項目Q1とを重ねて、第2の停留点PS2〜第6の停留点PS6と点検項目との対応付けを行う。
第2の停留点PS2は、中心(重心)の位置が第2の点検項目Q2の外周付近に位置する。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第2の停留点PS2の視線は第2の点検項目Q2に向けられているといえる。また、第3の停留点PS3は第4の点検項目Q4と重なる。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第3の停留点PS3の視線は第4の点検項目Q4に向けられているといえる。また、第4の停留点PS4は第5の点検項目Q5と重なる。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第4の停留点PS4の視線は第5の点検項目Q5に向けられているといえる。
更に、第5の停留点PS5は第2の点検項目Q2と重なる。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第5の停留点PS5の視線は第2の点検項目Q2に向けられているといえる。
加えて、第6の停留点PS6は第3の点検項目Q3と重なる。そのため、第1の停留点PS1の視線が第1の点検項目Q1に向けられている場合、第6の停留点PS6の視線は第3の点検項目Q3に向けられているといえる。
すなわち、第1の停留点PS1と第1の点検項目Q1とを重ねた場合、点検者が点検項目を見ているとみなされる全ての停留点PS1〜PS6に点検項目が対応付けられる。そのため、第1の停留点PS1と第1の点検項目Q1とを重ねて行うステップS603a〜S603iの処理を終えると、パターン比較部103は、例えば、図11Bの(d)に示したような推定パターン144を得る。
ところが、推定パターン144では、項目名Bである第2の点検項目Q2を2回点検している。このように1度の点検において1個の点検項目を複数回点検している場合、例えば、連続して点検することが指定されている2個の点検項目の間に他の点検項目が入り点検順序に誤りが生じる可能性がある。そのため、本実施形態では、図7Aに示したように、同一の点検項目と対応付けられた複数の停留点を統合する処理(ステップS603j)を行う。ステップS603jにおいて、パターン比較部103は、図11Bの(d)に示した推定パターン144における項目名Bの点検項目と対応付けられた点検順番が2番の対応関係と、点検順番が5番の対応関係をいずれか一方に統合する。対応関係を統合する場合、パターン比較部103は、例えば、点検順番が最も早い点検項目に統合する。点検順番が最も早い対応関係に統合する場合、パターン比較部103は、推定パターン144を、図11Cの(e)に示した推定パターン145に変更する。すなわち、パターン比較部103は、点検順番が5番の対応関係を、(停留点ID)=5と項目名Bとの対応関係から、(停留点ID)=6と項目名Cとの対応関係に変更する。また、(停留点ID)=5と項目名Bとの対応関係を、点検順番が2番の(停留点ID)=2と項目名Bとの対応関係と統合する場合、パターン比較部103は、停留時間T5を停留時間T2に加算する。これにより、項目名Bの点検項目は、点検開始後、2番目に点検したこととなり、点検に要した時間はT2+T5となる。
なお、対応関係を統合する場合、例えば、停留時間が最も長い対応関係に統合してもよい。停留時間が最も長い対応関係に統合する場合、図11Bの(d)に示した推定パターン144は、項目名A,項目名D,項目名E,項目名B,及び項目名Cの順に点検を行ったことを表す推定パターンに変更される。
このように、本実施形態に係る点検項目推定処理では、点検者が点検した項目及び点検した順序の特定の妨げになる停留点を点検項目との対応付けの対象から除外する。これにより、点検者が実際に見た対象物(点検項目)の推定精度を高くすることが可能となる。
そして、点検項目推定処理を終えると、点検支援装置1は、次に、推定パターンから点検者が点検した項目及び点検した順序を特定する点検項目特定処理(ステップS7)を行う。点検項目特定処理は、点検項目特定部104が行う。本実施形態に係る点検支援装置1(点検項目特定部104)は、点検項目特定処理として、図12A〜図12Cに示した処理を行う。
図12Aは、第1の実施形態に係る点検項目特定処理の内容を説明するフローチャート(その1)である。図12Bは、第1の実施形態に係る点検項目特定処理の内容を説明するフローチャート(その2)である。図12Cは、第1の実施形態に係る点検項目特定処理の内容を説明するフローチャート(その3)である。
点検項目特定処理を開始すると、点検項目特定部104は、図12Aに示すように、まず、点検項目データベース110から、点検した設備に設定された点検順序を取得する(ステップS701)。ステップS701において、点検項目特定部104は、例えば、点検を開始する際に点検支援装置1に入力された設備IDをキー情報として、設備IDと対応付けられた点検順序についての情報を点検項目データベース110から読み出して取得する。なお、点検支援装置1が点検対象の設備毎に設けられており、点検項目データベース110に1個の設備についての点検項目及び座標のみが登録されている場合、点検項目特定部104は、登録された点検順序についての情報を読み出す。
次に、点検項目特定部104は、推定パターンの1つを選択して点検項目の点検順序を比較する(ステップS702)。ステップS702において、点検項目特定部104は、所定の選択規則に従って、推定パターンの1つを選択する。選択規則は、例えば、ステップS702において選択されていない推定パターンのうちのパターンIDが最も小さい推定パターンとする。また、ステップS702において、点検項目特定部104は、点検項目データベース110において点検順序が設定されている点検項目が推定パターンに含まれるか否かを調べる。そして、点検順序が設定されている点検項目が推定パターンに2以上含まれる場合、点検項目特定部104は、該当する2以上の点検項目の点検順序を比較する。
ステップS702の後、点検項目特定部104は、点検項目データベースの点検順序通りに点検していない点検項目があるか否かを判定する(ステップS703)。点検項目特定部104は、点検順序が指定されている点検項目が推定パターンに2以上含まれ、かつ、当該2以上の点検項目の点検順序が点検項目データベースの点検順序通りではない場合に、ステップS703において「YES」と判定する。
すなわち、以下の3通りの場合のいずれかである場合、点検項目特定部104は、ステップS703において「NO」と判定する。
(1)点検項目データベース110における点検対象の設備についての点検項目に点検順序が指定されていない場合。
(2)推定パターンにおいて点検順序が指定されている点検項目が0個又は1個の場合。(3)推定パターンにおいて点検順序が指定されている2以上の点検項目の点検順序が、点検項目データベースの点検順序通りである場合。
ステップS703の判定が「NO」である場合、点検項目特定部104は、当該推定パターンを点検パターンの候補として保持する(ステップS704)。ステップS704の後、点検項目特定部104は、点検順序を比較していない推定パターンがあるか否かを判定する(ステップS705)。
一方、点検項目データベースの点検順序通りに点検していない点検項目がある場合(ステップS703;YES)、点検項目特定部104は、ステップS704を省略し、ステップS705の判定を行う。
点検順序を比較していない推定パターンがある場合(ステップS705;YES)、点検項目特定部104は、ステップS702以降の処理を繰り返す。そして、全ての推定パターンで点検順序の比較をした場合(ステップS705;NO)、点検項目特定部104は、次に、点検パターンの候補があるか否かを判定する(ステップS706)。
点検パターンの候補がない場合(ステップS706;NO)、点検項目特定部104は、例えば、出力部105に対して点検順序に誤りがあることを通知する(ステップS707)。ステップS707の通知を終えると、点検項目特定部104は、図12Cに示すように、点検項目特定処理を終了する(リターン)。
これに対し、点検パターンの候補がある場合(ステップS706;YES)、点検項目特定部104は、次に、点検パターンの候補が2個以上であるか否かを判定する(ステップS708)。
点検パターンの候補が1個である場合(ステップS708;NO)、点検項目特定部104は、当該点検パターンの候補を点検パターンに特定する(ステップS709)。すなわち、点検パターンの候補が1個である場合、点検項目特定部104は、当該点検パターンの候補に登録されている点検項目を点検者が点検した項目に特定する。ステップS709で点検パターンを特定すると、点検項目特定部104は、図12Cに示すように、特定結果(特定した点検パターン等)を出力し(ステップS716)、点検項目特定処理を終了する(リターン)。
一方、点検パターンの候補が2個以上である場合(ステップS708;YES)、点検項目特定部104は、次に、点検データベースの重要度を取得する(ステップS710)。
点検項目データベース110の重要度を取得した後、点検項目特定部104は、点検パターンの候補毎に、重要度が最も高い点検項目の数を算出する(ステップS711)。図2の点検項目データベース110Aのように重要度が「必須」、「重要」、及び空欄の3通りである場合、点検項目特定部104は、ステップS711において、各点検パターンの候補における重要度が「必須」である点検項目の数を算出する。
次に、点検項目特定部104は、重要度が最も高い点検項目の数が最大である点検パターンの候補が2個以上あるか否かを判定する(ステップS712)。該当する点検パターンが1個である場合(ステップS712;NO)、点検項目特定部104は、次に、重要度が最も高い点検項目の数が最大である点検パターンの候補を点検パターンに特定する(ステップS713)。ステップS713で点検パターンを特定すると、点検項目特定部104は、図12Cに示すように、特定結果を出力し(ステップS716)、点検項目特定処理を終了する(リターン)。
これに対し、該当する点検パターンの候補が2個以上ある場合(ステップS712;YES)、点検項目特定部104は、図12Cに示すように、次に、点検パターンの候補毎に、重要度が最も高い点検項目を見ていた時間を算出する(ステップS714)。ステップS714において、点検項目特定部104は、点検パターンの候補(推定パターン)における重要度が「必須」の点検項目と対応付けられた停留点の停留時間の和を算出する。
次に、点検項目特定部104は、点検パターンの候補のうち、重要度が最も高い点検項目を見ていた時間が最も長い候補を、点検パターンに特定する(ステップS715)。ステップS715で点検パターンを特定すると、点検項目特定部104は、特定結果を出力し(ステップS716)、点検項目特定処理を終了する(リターン)。
図8A〜図8Cに示した停留点と点検項目との対応付けの第1の例では、図8Bの(d)に示したように、推定パターンが1通りである。そのため、当該第1の例に基づいて点検項目特定処理を行った場合、図8Bの(d)の推定パターン141における点検項目の点検順序が点検項目データベースに指定された順序通りであると、当該推定パターン141が点検パターンに特定される(ステップS709)。点検項目データベース110が図2の点検項目データベース110Aであり、設備IDが1である設備を点検者が点検した場合、点検順序が登録されているのは、項目名Aの点検項目、及び項目名Bの点検項目のみである。また、項目名Aの点検項目と項目名Bの点検項目との点検順序は、項目名Aの点検項目を点検した後、項目名Bの点検項目を点検すると指定されている。
一方、図8Bの(d)の推定パターン141では、項目名Aの点検項目を点検した後、項目名Bの点検項目を点検している。したがって、推定パターン141における点検項目の点検順序は点検項目データベースに指定された順序通りであり、当該推定パターン141が点検パターンに特定される(ステップS709)。
設備の点検作業において点検順序が指定されている場合、点検者は、点検項目を指定された順序で注視する。そのため、本実施形態の点検項目特定処理では、点検者の視線パターンと対応する点検パターンが複数通りある場合、複数通りの推定パターンのうち点検項目を指定された順序通りに注視している点検パターンを、点検者による実際の点検パターンに特定する。
また、設備の点検作業において点検項目に重要度が設定されている場合、点検者は、重要度が最も高い点検項目を注視する。そのため、本実施形態の点検項目特定処理では、点検順序に基づいて1個の点検パターンに特定できなかった場合、重要度が最も高い点検項目の数が最も多い点検パターンを、点検者による実際の点検パターンに特定する。
更に、設備の点検作業において点検項目に重要度が設定されている場合、点検者は、重要度が最も高い点検項目の点検時間を、他の点検項目の点検時間よりも長くとる傾向がある。そのため、本実施形態の点検項目特定処理では、重要度に基づいて1個の点検パターンに特定できなかった場合、重要度が最も高い点検項目を見ていた時間が最も長くなる点検パターンを、点検者による実際の点検パターンに特定する。
このように、本実施形態の点検項目特定処理では、点検項目に点検順序や重要度が設定されている場合の点検者の点検作業の傾向に基づいて、複数の点検パターンの候補から1個の点検パターンを特定する。そのため、外観や配置パターンがよく似ている複数の対象物(点検項目)のなかから、点検者が実際に見た対象物(点検した項目)を正しく特定することが可能となる。
なお、図12AにおけるステップS702〜S705の処理は、点検項目データベース110に登録された全ての設備に点検順序が設定されていることを前提とした処理となっている。しかしながら、点検項目データベース110には、点検順序が設定されていない設備が登録されていてもよい。したがって、ステップS701では、点検項目データベース110から点検順序を取得できない場合がある。よって、図12Aでは省略しているが、ステップS701で点検順序を取得できなかった場合(すなわち点検した設備に点検順序が設定されていない場合)、点検項目特定部104は、全ての推定パターンを点検パターンの候補とし、ステップS708の判定を行う。
図13は、点検項目データベースの第2の例を示す図である。
図13には、点検項目データベース110の第2の例として、図9Aの(b)に示した点検項目Q1〜Q9を含む設備についての点検項目データベース110Bを示している。点検項目データベース110Bには、項目名A〜H,及びJの9個の点検項目が登録されている。また、9個の点検項目のうち、項目名Cの点検項目及び項目名Dの点検項目の重要度が「必須」に指定されており、項目名Gの点検項目及び項目名Hの点検項目の重要度が「重要」に指定されている。更に、9個の点検項目には、点検順序が指定されていない。
上記の停留点と点検項目との対応付けの第2の例では、図9Cの(e)及び(f)に示したように、2通りの推定パターン142A,142Bが抽出される。そのため、当該対応付けの第2の例に基づいて点検項目特定処理を行った場合、まず、推定パターン毎に、点検項目データベース110Bに指定された点検順序通りに点検をしていない点検項目があるか否かを判定する(ステップS702,S703)。
ところが、点検項目データベース110Bには、点検順序が指定された点検項目がない。そのため、点検項目特定部104は、上記のように、2通りの推定パターン142A,142Bの両方を点検パターンの候補とする。したがって、点検項目特定部104は、次に、2通りの推定パターン142A,142Bのそれぞれにおける重要度が「必須」の点検項目の数を算出する(ステップS711)。点検項目データベース110Bにおいて重要度が「必須」である点検項目は、項目名Cの点検項目、及び項目名Dの点検項目である。そのため、項目名B,C,F,及びHの点検項目を点検している第1の推定パターン142Aは、重要度が「必須」である点検項目の数が1個となる。一方、項目名C,D,G,及びJの点検項目を点検している第2の推定パターン142Bは、重要度が「必須」である点検項目の数が2個となる。したがって、点検項目特定部104は、第2の推定パターン142(点検パターンの候補)を点検パターンに特定する(ステップS713)。
また、例えば、点検項目データベース110Bにおいて項目名B,F,及びHのいずれかの点検項目の重要度が「必須」であったとすると、2通りの推定パターン142A,142Bは、どちらも重要度が「必須」である点検項目の数が2個となる。このような場合、点検項目特定部104は、次に、推定パターン毎に、重要度が「必須」である点検項目を見ていた時間(すなわち停留時間)を算出し、算出した時間が長いほうの推定パターンを点検パターンに特定する(ステップS714,S715)。例えば、点検項目データベース110Bにおいて項目名C,D,及びFの点検項目の重要度が「必須」でああったとすると、第1の推定パターン142Aにおいて重要度が「必須」である点検項目を見ていた時間は、(T2+T3)秒となる。一方、第2の推定パターン142Bにおいて重要度が「必須」である点検項目を見ていた時間は、(T1+T2)秒となる。したがって、停留点IDが「1」である停留点の停留時間T1秒が、停留点IDが「3」である停留点の停留時間T3秒よりも長い場合、点検項目特定部104は、第2の推定パターン142Bを点検パターンに特定する。逆に、停留点IDが「3」である停留点の停留時間T3秒が、停留点IDが「1」である停留点の停留時間T1秒よりも長い場合、点検項目特定部104は、第1の推定パターン142Aを点検パターンに特定する。
なお、本実施形態では、視線センサ2から取得した情報に基づいて作成した視線パターンと、点検項目データベース110とに基づいて推定した点検パターンが複数通りある場合に、複数通りの推定パターンの1つに特定している。しかしながら、本実施形態に係る点検支援装置1(視線特定装置)が行う処理は、下記のように捉えることも可能である。まず、点検支援装置1は、視線センサから取得した情報に基づいて視線の方向と特定する。次に、点検支援装置1は、複数の対象物の配置関係(点検項目データベース110等)を参照して、特定した視線の方向に位置する対象物を推定する。その後、点検支援装置1は、推定した前記対象物の遷移の順と、前記記憶装置に記憶された視線を受ける対象物の順を示すデータとに基づいて、特定した前記視線の方向を補正する。このように、本実施形態の点検支援装置1が行う処理を、特定した視線の方向を補正するという観点で捉えた場合、点検支援装置1における視線パターン作成部102は、視線の方向を特定する処理を行う特定部と換言される。また、点検支援装置1におけるパターン比較部103は、記憶部に記憶させた複数の対象物の配置関係(点検項目データベース110)を参照して、特定した視線の方向に位置する対象物を推定する処理を行う推定部と換言される。更に、点検支援装置1における点検項目特定部104は、推定した前記対象物の遷移の順と、記憶部に記憶された視線を受ける対象物の順を示すデータ(点検項目データベース110)とに基づいて、特定した前記視線の方向を補正する補正部と換言される。
[第2の実施形態]
本実施形態では、図1の点検支援装置1における点検項目特定部104が行う点検項目特定処理の別の例を説明する。
図14は、点検項目データベースの第3の例を示す図である。図15は、停留点と点検項目との対応付けの第2の例における推定パターンと重みを示す図である。
図14には、点検項目データベース110の第3の例として、図9Aの(b)に示した点検項目Q1〜Q9を含む設備についての点検項目データベース110Cを示している。点検項目データベース110Cには、項目名A〜H,及びJの9個の点検項目が登録されている。なお、点検項目データベース110Cでは、9個の点検項目のうち、項目名B,C,及びDの3個の点検項目の重要度が「必須」に指定されており、項目名Fの点検項目の重要度が「重要」に指定されている。また、9個の点検項目には、点検順序が指定されていない。
更に、点検項目データベース110Cは、各項目名(点検項目)に対し、重要度に応じた重みの情報を付加している。点検項目データベース110Cにおける重みは、重要度を数値化した値であり、重要度が高い点検項目であるほど、対応付けられる重み(数値)が大きくなる。図14に示した例では、上述のように、重要度が最も高い「必須」である項目名には重みとして「5」が設定されている。また、重要度が2番目に高い「重要」である項目名には重みとして「2」が設定されている。更に、重要度が最も低く空欄となっている項目名には重みとして「1」が設定されている。
上記の停留点と点検項目との対応付けの第2の例では、図9Cの(e)及び(f)に示したように、2通りの推定パターン142A,142Bが抽出される。点検項目データベース110Cを参照して第1の推定パターン142Aにおける項目名(点検項目)の重要度を取得すると、図15の(a)に示すように、項目名B,Cの重要度のみが「必須」となっている。同様に、点検項目データベース110Cを参照して第2の推定パターン142Bにおける項目名(点検項目)の重要度を取得すると、図15の(b)に示すように、項目名C,Dの重要度が「必須」となっている。このため、第1の実施形態に係る点検項目特定処理においては、2通りの推定パターン142A,142Bのどちらも、重要度が「必須」の項目名が2個となる。更に、2通りの推定パターン142A,142Bのどちらも、重要度が「必須」である項目名(点検項目)を見ている時間が(T1+T2)となる。このように、第1の実施形態に係る点検項目特定処理においては、複数の推定パターンから1個の点検パターンを特定することが困難となる場合が生じる可能性がある。
そのため、本実施形態に係る点検項目特定処理では、複数の推定パターン(点検パターンの候補)における重要度が「必須」の項目名が同数である場合、点検項目データベース110Cの重みに基づいて、点検パターンの特定を試みる。具体的には、推定パターンにおける全項目名(点検項目)を対象として項目名毎に見た時間(停留時間)と重みとの積を算出し、それらの合計を算出する。そして、見た時間と重みとの積の合計が最も大きい推定パターンを点検パターンに特定する。
点検項目データベース110Cにおいて、項目名B及びCには、それぞれ、重みとして「5」が設定されている。また、点検項目データベース110Cにおいて、項目名F及びHには、それぞれ、重みとして「2」及び「1」が設定されている。すなわち、図15の(a)に示すように、第1の推定パターン142Aにおける項目名B,C,F,及びHには、それぞれ、重みとして「5」,「5」,「2」,及び「1」が対応付けられている。一方、第2の推定パターン142Bにおける項目名B,C,F,及びHには、それぞれ、図15の(b)に示すように、重みとして「5」,「5」,「1」,及び「1」が対応付けられている。そのため、第1の推定パターン142Aにおける見た時間と重みとの積の合計R1、及び第2の推定パターン142Bにおける見た時間と重みとの積の合計R2は、それぞれ、下記数式(1−1)及び(1−2)により算出される。
R1=(T1×5)+(T2×5)+(T3×2)+(T4×1) ・・・(1−1)
R2=(T1×5)+(T2×5)+(T3×1)+(T4×1) ・・・(1−2)
式(1−1)と(1−2)とでは、右辺の第1項、第2項、及び第4項が同じ値となる。また、式(1−1)及び(1−2)における右辺の第3項の値T3は、視線の停留時間(点検項目を見た時間)であり、T3>0である。そのため、点検項目データベース110Cと推定パターン142A,142Bとに基づいて算出される合計R1,R2は、R1>R2となる。したがって、点検項目特定部104は、第1の推定パターン142Aを点検パターンに特定する。
このように、本実施形態に係る点検項目特定処理では、重要度が「必須」である点検項目の数及び当該項目を見ている時間のみでは点検パターンを特定できない場合に、重要度が「必須」以外の項目の重要度(重み)を利用して点検パターンを特定する。すなわち、本実施形態によれば、重要度が「必須」である点検項目の数及び当該項目を見ている時間が同一である複数の点検パターンからも、点検者が実際に見た点検項目及び点検順序を正しく特定することが可能となる。
図16は、第2の実施形態に係る点検項目特定処理の一部を説明するフローチャートである。
本実施形態に係る点検項目特定処理では、まず、図12Aに示したステップS701〜S707の処理、及び図12Bに示したステップS708〜S713の処理を行う。ステップS701〜S713の処理は、それぞれ、第1の実施形態で説明した通りである。そして、ステップS712において、重要度が最も高い点検項目の数が最大である点検パターンの候補が2個以上であると判定した場合(ステップS712;YES)、点検項目特定部104は、次に、図16に示したステップS721以降の処理を行う。
重要度が最も高い点検項目の数が最大である点検パターンの候補が2個以上である場合、点検項目特定部104は、次に、重要度が最も高い点検項目の数が最大である点検パターンの候補の1つを選択する(ステップS721)。ステップS721において、点検項目特定部104は、所定の選択規則に従って、点検パターンの候補の1つを選択する。ステップS721における選択規則は、例えば、ステップS721において選択されていない点検パターンの候補のうちの抽出順位の最も高い点検パターンの候補を選択する、という規則にする。
次に、点検項目特定部104は、選択した点検パターンの候補における各点検項目の重みを点検項目データベース110Cから取得し(ステップS722)、点検項目の重みと停留時間との積の合計を算出する(ステップS723)。
次に、点検項目特定部104は、該当する全ての候補で点検項目の重みと停留時間との積の合計を算出したか否かを判定する(ステップS724)。点検項目の重みと停留時間との積の合計を算出していない点検パターンの候補がある場合(ステップS724;NO)、点検項目特定部104は、ステップS721以降の処理を繰り返す。
そして、全ての点検パターンの候補に対する点検項目の重みと停留時間との積の合計を算出すると(ステップS724;YES)、点検項目特定部104は、算出した積の合計が最大である点検パターンの候補を点検パターンに特定する(ステップS725)。
ステップS725で点検パターンを特定した後、点検項目特定部104は、特定結果を出力し(ステップS716)、本実施形態に係る点検項目特定処理を終了する(リターン)。
このように、本実施形態に係る点検項目特定処理では、点検項目データベース110に登録された重要度及び重みに基づいて、複数の推定パターンのなかから1個の点検パターンを特定する。また、本実施形態に係る点検項目特定処理では、重要度が最も高い点検項目のみではなく、推定パターンにおける全ての点検項目についての見ている時間と重みとの積の合計を算出し、算出した合計が最も大きい推定パターンを点検パターンに特定する。すなわち、本実施形態においては、重要度が最も高い点検項目が同数である複数の推定パターンのうち、重要度が2番目に高い点検項目が最も多い推定パターンを、点検パターンに特定する。設備を点検する際、点検者は、重要度が最も高い点検項目の他に、重要度が2番目に高い点検項目を点検(注視)する可能性が非常に高い。そのため、重要度が最も高い点検項目が同数である複数の推定パターンのうち、重要度が2番目に高い点検項目の数が多い推定パターンの点検項目及び順序が、点検者が実際に点検した項目及び順序と一致している可能性が高い。したがって、本実施形態に係る点検項目特定処理によれば、重要度が最も高い点検項目が同数である複数の推定パターンのなかから、点検者が実際に点検した項目及び順序を特定することが可能となる。
なお、本実施形態では、第1の実施形態と同様、点検項目データベース110の重要度を「必須」、「重要」、及び空欄の3通りにしている。しかしながら、点検項目データベース110の重要度は、これに限らず、4通り以上であってもよい。また、点検項目データベース110の重みは、図14に示した組み合わせに限らず、適宜変更可能である。更に、図14の点検項目データベース110Cでは、点検順序が指定されていないが、これに限らず、図2の点検項目データベース110A等のように点検順序が指定されていてもよいことはもちろんである。
また、本実施形態では、上記のように点検項目データベースの各項目名(点検項目)に、重要度に応じた重みを対応付け、当該重みを点検項目特定処理で用いている。しかしながら、点検項目特定処理では、上記のような一定値の重みを対応付けるだけでなく、例えば、重要度が最も高い「必須」である項目名(点検項目)の重みに確率p(0≦p≦1)を乗じて重みを適宜変更してもよい。確率pは、例えば、点検者の作業状態や点検の難易度等を基準に設定する。このように、確率pを乗じて重要度が最も高い点検項目についての重みを変更することで、例えば、点検者の熟練度(初心者か熟練者か)によらず、点検者が実際に見た点検項目を正しく特定することが可能となる。
[第3の実施形態]
第3の実施形態では、図1の点検支援装置1におけるパターン比較部103が行う点検項目推定処理の別の例を説明する。
図17Aは、第3の実施形態に係る点検項目推定処理の内容を説明するフローチャート(その1)である。図17Bは、第3の実施形態に係る点検項目推定処理の内容を説明するフローチャート(その2)である。
なお、図17A及び図17Bにおける処理のうち、図6に示したフローチャートにおける処理と同じ処理には、図6と同じ符号(ステップ番号)を付している。以下、図17A及び図17Bを参照して本実施形態に係る点検項目推定処理の内容を説明するが、図6のフローチャートにおける処理と同じ処理については、詳細な説明を省略する。
本実施形態に係る点検項目推定処理を開始すると、パターン比較部103は、図17Aに示すように、まず、点検項目データベース110から、点検した設備の点検項目及び座標を取得する(ステップS601)。
次に、パターン比較部103は、読み出した点検項目の1つを選択する(ステップS602)。ステップS602において、パターン比較部103は、所定の選択規則に従って、点検項目の1つを選択する。
次に、パターン比較部103は、視線パターンにおける停留点の順序を表す変数jを1にする(ステップS611)。
次に、パターン比較部103は、視線パターンにおけるj番の停留点と選択した点検項目とを重ね、視線パターンの停留点と点検項目との対応付けを行い(ステップS612)、停留点と点検項目との対応付けができたか否かを判定する(ステップS604)。
ステップS612において、パターン比較部103は、例えば、視線パターンにおけるj番の停留点の座標が選択された点検項目の座標と一致するよう各停留点を平行移動させる。その後、パターン比較部103は、j+1番以降の停留点毎に、所定の範囲内に点検項目があるか否かを判定し、所定の範囲内に点検項目がある場合にはその点検項目を停留点と対応付ける。そして、点検者が点検項目を見ているとみなされる全ての停留点に点検項目を対応付けられた場合、パターン比較部103は、停留点と点検項目との対応付けができたと判断する(ステップS604;YES)。すなわち、図6のフローチャートにおけるステップS603は、選択した点検項目と重ねる停留点が最初の停留点(j=1の停留点)に特定されていたが、本実施形態のステップS612では、停留順序が2番以降の停留点も点検項目と重ねる対象となり得る。
停留点と点検項目との対応付けができた場合(ステップS604;YES)、パターン比較部103は、次に、図17Bに示すように、j番の停留点を最初の停留点とする推定パターンを保持する(ステップS615)。
ステップS615の後、パターン比較部103は、ステップS602で選択していない点検項目があるか否かを判定する(ステップS606)。選択していない点検項目がある場合(ステップS606;YES)、パターン比較部103は、ステップS602以降の処理を繰り返す。一方、ステップS602において全ての点検項目が選択された場合(ステップS606;NO)、パターン比較部103は、推定パターンを点検項目特定部104に出力し(ステップS607)、点検項目推定処理を終了する(リターン)。
これに対し、停留点と点検項目との対応付けができなかった場合(ステップS604;NO)、パターン比較部103は、次に、j+1番の停留点があるか否かを判定する(ステップS613)。j+1番の停留点がある場合(ステップS613;YES)、パターン比較部103は、変数jをj+1に更新し(ステップS614)、ステップS612以降の処理を繰り返す。そして、j+1番の停留点がなくなった場合(ステップS613;NO)、パターン比較部103は、図17Bに示すように、推定パターンを点検項目特定部104に出力し(ステップS607)、点検項目推定処理を終了する(リターン)。
このように、本実施形態の点検項目推定処理では、視線パターンにおける最初の停留点(j=1の停留点)を点検項目と重ねた状態で、停留点と点検項目とを対応付けることができた場合、その対応付けの結果を推定パターンとして保持する。また、視線パターンにおける最初の停留点を点検項目と重ねた状態で、停留点と点検項目とを対応付けることができなかった場合、本実施形態の点検項目推定処理では、点検順序が2番以降の停留点を点検項目と重ねて停留点と点検項目との対応付けを行う。そのため、本実施形態の点検項目推定処理では、例えば、点検者が点検を開始する前に点検者の視線が点検項目とは別の箇所で停留した場合に、点検を開始する前の停留点を除外して停留点と点検項目との対応付けを行うことができる。
図18Aは、停留点と点検項目との対応付けの第5の例を説明する図(その1)である。図18Bは、停留点と点検項目との対応付けの第5の例を説明する図(その2)である。図18Cは、停留点と点検項目との対応付けの第5の例を説明する図(その3)である。
図18Aの(a)には、xy座標系の平面4における視線パターン、すなわち停留点PS1〜PS5の位置及び移動順序を示している。図18Aの(a)の視線パターンにおいて、点検者の視線は、点検開始後の最初の停留点である第1の停留点PS1で停留した後、右下方に移動して第2の停留点PS2で停留している。また、第2の停留点PS2で停留した後、点検者の視線は、下方に移動し、水平方向(x方向)方向で見て第2の停留点PS2の位置と略同一となる第3の停留点PS3で停留している。そして、第3の停留点PS3で停留した後、点検者の視線は、右上方に移動し、垂直方向(y方向)で見て第2の停留点PS2の位置と略同一となる第4の停留点PS4で停留している。更に、第4の停留点PS4で停留した後、点検者の視線は、右下方に移動し、垂直方向で見て第3の停留点PS3の位置と略同一となる第5の停留点で停留している。
図18Aの(b)には、xy座標系の平面4における点検対象の設備における点検項目Q1〜Q6の配置パターンを示している。図18Aの(b)の配置パターンにおいて、6個の点検項目Q1〜Q6は、2行3列の行列形式で配置されている。上段の3個の点検項目Q1〜Q3の項目名は、左から順に項目名A、項目名B、及び項目名Cとなっている。また、下段の3個の点検項目Q4〜Q6の項目名は、左から順に項目名D、項目名E、及び項目名Fとなっている。以下の説明では、点検項目Q1〜Q6を区別する場合、それぞれ、第1の点検項目Q1〜第6の点検項目Q6という。
本実施形態に係る点検項目推定処理では、点検項目の1つを選択し(ステップS602)、視線パターンにおけるj番の停留点と選択した点検項目とを重ねて、停留点と点検項目との対応付けを行う(ステップS612)。ステップS612の処理において、パターン比較部103は、まず、j=1番、すなわち視線パターンにおける第1の停留点PS1と、例えば、第1の点検項目Q1とを重ねて、各停留点PS1〜PS5と、点検項目との対応付けを行う。平面4において第1の停留点PS1と第1の点検項目Q1とを重ねた場合、停留点PS1〜PS5と、点検項目Q1〜Q6との位置関係は、例えば、図18Bの(c)に示すような位置関係となる。すなわち、第2の停留点PS2は第5の点検項目Q5の外周付近に位置し、第4の停留点PS4は第6の点検項目Q6の外周付近に位置する。そのため、第2の停留点PS2及び第4の停留点PS4は、それぞれ、第5の点検項目Q5及び第6の点検項目Q6と対応付けることが可能である。
しかしながら、第3の停留点PS3及び第5の停留点PS5は、点検項目Q4,Q5,及びQ6から離間した位置にある。そのため、第1の停留点PS1を第1の点検項目Q1と重ねた場合、第3の停留点PS3及び第5の停留点PS5のそれぞれを点検項目と対応付けることができない。同様に、第1の停留点PS1を他の点検項目Q2〜Q6と重ねた場合も、点検項目と対応付けることができない停留点が存在する。すなわち、視線パターンにおける最初の停留点(第1の停留点PS1)を各点検項目Q1〜Q6に重ねた場合、点検項目と対応付けることができない停留点が存在する。そのため、図6の点検項目推定処理では、推定パターンを抽出できない可能性がある。
これに対し、本実施形態の点検項目推定処理では、第1の停留点PS1を点検項目Q1〜Q6に重ねたときに点検項目と対応付けることができない停留点が存在する場合、第2の停留点PS2を点検項目Q1〜Q6に重ねて対応付けを行う。図18Aの(a)の視線パターンにおける第2の停留点PS2を第1の点検項目Q1と重ねた場合、第3の停留点PS3〜第5の停留点PS5と、点検項目Q1〜Q6との位置関係は、図18Bの(d)に示すような位置関係となる。
まず、第3の停留点PS3は第4の点検項目Q4と重なる。そのため、第2の停留点PS2の視線が第1の点検項目Q1に向けられている場合、第3の停留点PS3の視線は第4の点検項目Q4に向けられているといえる。また、第4の停留点PS4は第2の点検項目Q2と重なる。そのため、第2の停留点PS2の視線が第1の点検項目Q1に向けられている場合、第4の停留点PS4の視線は第2の点検項目Q2に向けられているといえる。
更に、第5の停留点PS5は、中心(重心)の位置が第6の点検項目Q6の外周付近に位置する。そのため、第2の停留点PS2の視線が第1の点検項目Q1に向けられている場合、第5の停留点PS5の視線は第6の点検項目Q6に向けられているといえる。
すなわち、第2の停留点PS2を点検開始後の最初の停留点として第1の点検項目Q1と重ねた場合、点検者が点検項目を見ているとみなされる全ての停留点PS2〜PS5に点検項目が対応付けられる。そのため、パターン比較部103は、j=2としてステップS612の処理をした後のステップS604の判定において、停留点と点検項目との対応付けができた(ステップS604;YES)と判定する。よって、パターン比較部103は、図18Cの(e)に示すように、第2の停留点PS2を点検開始後の最初の停留点とする推定パターン146を作成して保持する(ステップS615)。
このように、本実施形態によれば、点検開始後の最初の停留点の誤りにより点検パターンが定まらないという事態を防ぐことが可能となる。
[第4の実施形態]
第4の実施形態では、図1に示した点検支援装置1の点検項目特定部104が行う点検項目特定処理の更に別の例を説明する。
図19は、第4の実施形態に係る点検項目特定処理の内容を説明するフローチャートである。
本実施形態に係る点検項目特定処理は、点検項目推定処理において推定パターンが1個以上抽出された場合に行われる。点検項目特定処理を開始すると、点検項目特定部104は、図19に示すように、まず、推定パターンが1個であるか否かを判定する(ステップS741)。推定パターンが1個である場合(ステップS741;YES)、点検項目特定部104は、当該推定パターンを点検パターンに特定する(ステップS742)。この場合、点検項目特定部104は、ステップS742で特定した点検パターンを特定結果として出力し(ステップS716)、点検項目特定処理を終了する(リターン)。
一方、推定パターンが2個以上である場合(ステップS741;NO)、点検項目特定部104は、次に、点検項目の座標と停留点の座標との対応関係に基づいて、点検項目の配置パターンと視線パターンとを重ねる(ステップS743)。
次に、点検項目特定部104は、推定パターン毎に視線の移動距離を算出する(ステップS744)。ステップS744において、点検項目特定部104は、例えば、推定パターン毎に、停留点と、推定パターンにおいて停留点と対応する点検項目との重心間距離を算出し、その合計を視線の移動距離とする。
次に、点検項目特定部104は、複数の推定パターンのうち、視線の移動距離の最も小さい推定パターンを点検パターンに特定する(ステップS745)。ステップS745で点検パターンを特定した後、点検項目特定部104は、特定した点検パターンを出力し(ステップS716)、点検項目特定処理を終了する(リターン)。
図20Aは、停留点と点検項目との対応付けの第6の例を説明する図(その1)である。図20Bは、停留点と点検項目との対応付けの第6の例を説明する図(その2)である。
図20Aには、xy座標系の平面4における点検項目の配置パターンと、視線パターン(停留点PS1〜PS4の位置及び移動順序)とを示している。
なお、図20Aには、8個の点検項目Q1〜Q8を示しており、8個の点検項目のうち5個の点検項目Q1〜Q5が、水平方向(x方向)に配置されている。そして、8個のうち残り3個の点検項目Q6〜Q8は、上記の5個の点検項目Q1〜Q5の下方に、水平方向に並べて配置されている。また、3個の点検項目Q6〜Q8は、それぞれ、x方向の位置が点検項目Q2〜Q4と同じ位置になるよう配置されている。
上段の5個の点検項目Q1〜Q5の項目名は、左から順に項目名A、項目名B、項目名C、項目名D、及び項目名Eとなっている。また、下段の3個の点検項目Q6〜Q9の項目名は、左から順に項目名F、項目名G、及び項目名Hとなっている。以下の説明では、上段の8個の点検項目Q1〜Q8を区別する場合、それぞれ、第1の点検項目Q1〜第8の点検項目Q8という。
一方、図20Aの視線パターンは、4個の停留点PS1〜PS4を含む。図20Aの視線パターンにおいて、点検者の視線は、点検開始後の最初の停留点である第1の停留点PS1で停留した後、右方に移動して第2の停留点PS2で停留している。また、第2の停留点PS2で停留した後、点検者の視線は、左下方に移動し、水平方向(x方向)方向で見て第1の停留点PS1の位置と略同一となる第3の停留点PS3で停留している。そして、第3の停留点PS3で停留した後、点検者の視線は、右方に移動し、水平方向で見て第2の停留点PS2の位置と略同一となる第4の停留点PS4で停留している。また、図20Aの平面4における4個の停留点PS1〜PS4は、視線検出部101において検出した視線情報に基づいて算出される第1の座標系での停留点の座標を、点検項目Q1〜Q8を配置した平面4の座標系での座標に変換したときの位置に配置している。すなわち、図20Aに示した例では、点検者は、第3の点検項目Q3、第4の点検項目Q4、第7の点検項目Q7、及び第8の点検項目Q8の順に点検した可能性が高い。しかしながら、第1の停留点PS1と第2の点検項目Q2とが重なるよう視線パターン(4個の停留点PS1〜PS4)を左下方に平行移動させると、4個の停留点PS1〜PS4の全てが点検項目と対応付けられる。したがって、第1の実施形態等で説明した点検項目推定処理を行うと、パターン比較部103は、まず、第2の点検項目Q2、第3の点検項目Q3、第6の点検項目Q6、及び第7の点検項目Q7の順で点検したことを示す第1の推定パターンを抽出する。
また、図20Aに示した点検項目と視点パターンの停留点との位置関係によれば上述のように、点検者は、第3の点検項目Q3、第4の点検項目Q4、第7の点検項目Q7、及び第8の点検項目Q8の順に点検した可能性が高い。すなわち、図20Bに示すように、第1の停留点PS1と第3の点検項目Q3とが重なるよう視線パターン(4個の停留点PS1〜PS4)を右下方に平行移動させた場合も、4個の停留点PS1〜PS4の全てが点検項目と対応付けられる。したがって、第1の実施形態等で説明した点検項目推定処理を行うと、パターン比較部103は、第3の点検項目Q3、第4の点検項目Q4、第7の点検項目Q7、及び第8の点検項目Q8の順で点検したことを示す第2の推定パターンを抽出する。
このように点検項目推定処理において複数の推定パターンが抽出された場合、第1〜第3の実施形態では、点検項目の点検順序、重要度、重み、及び点検者が見ていた時間(停留時間)等に基づいて、1個の点検パターンに特定している。これに対し、本実施形態では、上記のように、推定パターン毎に視線の移動距離を算出し、移動距離が最も短い推定パターンを点検パターンに特定する。1個の推定パターンにおける視線の移動距離は、視線パターンの停留点毎に停留点と、当該停留点と対応する点検項目との重心間距離とを算出し、当該重心間距離の和を算出して求める。
図21は、停留点と点検項目との重心間距離を説明する図である。図22は、停留点と点検項目との位置関係の例を示す図である。
図21には、平面4における点検項目Q1〜Q8の配置パターン及び視線パターン(停留点PS1〜PS4)を示しており、これらのパターンは図20A及び図20Bと同じである。すなわち、図21に示したパターンに対する点検項目推定処理を行うと、第1の推定パターン(図20A参照)と、第2の推定パターン(図20B参照)とが抽出される。そのため、本実施形態に係る点検項目特定処理を行うと、点検項目特定部104は、第1の推定パターンについての視線の移動距離と、第2の推定パターンについての視線の移動距離とを算出する。
視線の移動距離を算出する際、点検項目特定部104は、例えば、図22の(a)及び(b)に示したような、停留点と点検項目との位置関係を表すテーブル150A,150Bを作成する。図22の(a)のテーブル150Aは、視線パターンの停留点と第1の推定パターンの点検項目との位置関係を示している。また、図22の(b)のテーブル150Bは、視線パターンの停留点と第2の推定パターンの点検項目との位置関係を示している。このように、停留点と点検項目との位置関係を表すテーブル150A,150Bは、重心間距離と、視線を移動させる方向とを含む。
第1の推定パターンでは、第1の停留点PS1と第2の点検項目Q2とが対応付けられ、第2の停留点PS2と第3の点検項目Q3とが対応付けられる。また、第1の推定パターンでは、第3の停留点PS3と第6の点検項目Q6とが対応付けられ、第4の停留点PS4と、第7の点検項目Q7とが対応付けられる。したがって、第1の推定パターンについての視線の移動距離G1は、視線パターンにおける停留点PS1〜PS4各々の重心と、各停留点と対応する点検項目Q2,Q3,Q6,及びQ7各々の重心との重心間距離の和であり、下記式(2−1)により算出される。
G1=L11+L12+L13+L14 ・・・(2−1)
式(2−1)において、L11は第1の停留点PS1の重心と第2の点検項目Q2の重心との重心間距離であり、L12は第2の停留点PS2の重心と第3の点検項目Q3の重心との重心間距離である。また、式(2−1)において、L13は第3の停留点PS3の重心と第6の点検項目Q6の重心との重心間距離であり、L14は第4の停留点PS4の重心と第7の点検項目Q7の重心との重心間距離である。
一方、第2の推定パターンでは、第1の停留点PS1と第3の点検項目Q3とが対応付けられ、第2の停留点PS2と第4の点検項目Q4とが対応付けられる。また、第2の推定パターンでは、第3の停留点PS3と第7の点検項目Q7とが対応付けられ、第4の停留点PS4と、第8の点検項目Q8とが対応付けられる。したがって、第2の推定パターンについての視線の移動距離G2は、視線パターンにおける停留点PS1〜PS4各々の重心と、各停留点と対応する点検項目Q3,Q4,Q7,及びQ8各々の重心との重心間距離の和であり、下記式(2−2)により算出される。
G2=L21+L22+L23+L24 ・・・(2−2)
式(2−2)において、L21は第1の停留点PS1の重心と第3の点検項目Q3の重心との重心間距離であり、L22は第2の停留点PS2の重心と第4の点検項目Q4の重心との重心間距離である。また、式(2−2)において、L23は第3の停留点PS3の重心と第7の点検項目Q7の重心との重心間距離であり、L24は第4の停留点PS4の重心と第8の点検項目Q8の重心との重心間距離である。
このように第1の推定パターンについての視線の移動距離G1と、第2の推定パターンについての視線の移動距離G2とを算出した後、点検項目特定部104は、移動距離が小さいほうの推定パターンを点検パターンに特定する。すなわち、G1<G2である場合、点検項目特定部104は、第1の推定パターンを点検パターンに特定する。一方、G1>G2である場合、点検項目特定部104は、第2の推定パターンを点検パターンに特定する。図21に示した例ではG1>G2となるので、点検項目特定部104は、第2の推定パターンを点検項目に特定する。すなわち、点検支援装置1(点検項目特定部104)は、点検者が第3の点検項目Q3、第4の点検項目Q4、第7の点検項目Q7、及び第8の点検項目Q8の順に点検したと特定する。
図23は、第4の実施形態に係る点検項目特定処理の変形例を説明するフローチャートである。
本実施形態の点検項目特定処理を行う点検支援装置1では、例えば、図14の点検項目データベース110Cのように、各項目名(点検項目)に対して重要度に応じた重みの情報を付加した点検項目データベース110を用いることが可能である。このように、点検項目データベース110Cに点検項目毎に重みが設定されている場合、点検項目特定部104が行う点検項目特定処理は、例えば、図23に示すような処理であってもよい。図23のフローチャートでは、図19のフローチャートにおけるステップS744及びS745の処理が以下の処理に変更されている。
図19のステップS744の処理の代わりに、図23のフローチャートでは、推定パターン毎に、重心間距離の平均Lと、各点検項目についての重み付きの停留時間の和Rとの比(R/L)を算出する処理(ステップS751)を行う。ステップS751において、点検項目特定部104は、まず、重心間距離の平均Lと、各点検項目についての重み付きの停留時間の和Rとを算出する。重心間距離の平均Lは、例えば、図21に示した重心間距離L11〜L14の平均値である。また、各点検項目についての重み付の停留時間の和Rは、例えば、式(1−1)のように、点検項目毎に算出した停留時間(点検者が見た時間)と重みとの積の和である。
また、図19のステップS745の処理の代わりに、図23のフローチャートでは、算出した比(R/L)の最も小さい推定パターンを点検パターンに特定する処理(ステップS752)を行う。
なお、図19及び図23のフローチャートは、第4の実施形態に係る点検項目特定処理の例に過ぎない。本実施形態に係る点検項目特定処理は、例えば、第1〜第3の実施形態で説明した点検項目特定処理に、図19又は図23のフローチャートの処理を組み込んだ処理であってもよい。すなわち、点検項目データベース110の項目名(点検項目)と対応付けられた重要度、点検順序、重みや、推定パターンの停留時間等に基づいて複数の推定パターンから1個の点検パターンを特定する処理の1つとして、図19又は図23の処理を行ってもよい。
また、上記の各実施形態では、設備の点検項目(点検箇所)を人物の視線が向けられた対象物とし、人物(点検者)が点検した項目及び点検した順序を特定することで点検業務を支援する点検支援装置1を挙げている。しかしながら、人物の視線が向けられた対象物は、設備の点検項目に限らず、どのような物体であってもよい。すなわち、点検支援装置1は、点検項目データベース110に登録する項目名(点検項目)を別の対象物の情報に変更することで、視線特定装置として、設備の点検業務の支援とは別の用途にも適用可能となる。上記の各実施形態に基づいて実現される視線特定装置では、対象物の種類によらず、人物の視線がどの対象物にどのような順序で向けられたかを特定することが可能となる。
また、上記の各実施形態では、視線センサ2から取得した情報に基づいて作成した視線パターンと、点検項目データベース110とに基づいて推定した点検パターンが複数通りある場合に、複数通りの推定パターンの1つに特定している。しかしながら、上記の各実施形態に係る点検支援装置1(視線特定装置)が行う処理は、下記のように捉えることも可能である。まず、点検支援装置1は、視線センサから取得した情報に基づいて視線の方向と特定する。次に、点検支援装置1は、複数の対象物の配置関係(点検項目データベース110等)を参照して、特定した視線の方向に位置する対象物を推定する。その後、点検支援装置1は、推定した前記対象物の遷移の順と、前記記憶装置に記憶された視線を受ける対象物の順を示すデータとに基づいて、特定した前記視線の方向を補正する。このように、点検支援装置1が行う処理を、特定した視線の方向を補正するという観点で捉えた場合、点検支援装置1における視線パターン作成部102は、視線の方向を特定する処理を行う特定部と換言される。また、点検支援装置1におけるパターン比較部103は、記憶部に記憶させた複数の対象物の配置関係(点検項目データベース110)を参照して、特定した視線の方向に位置する対象物を推定する処理を行う推定部と換言される。更に、点検支援装置1における点検項目特定部104は、推定した前記対象物の遷移の順と、記憶部に記憶された視線を受ける対象物の順を示すデータ(点検項目データベース110)とに基づいて、特定した前記視線の方向を補正する補正部と換言される。
更に、上記の各実施形態に係る点検支援装置1は、例えば、コンピュータと、当該コンピュータに実行させるプログラムとを用いて実現することが可能である。以下、コンピュータとプログラムとを用いて実現される点検支援装置1について、図24を参照して説明する。
図24は、コンピュータのハードウェア構成を示す図である。
図24に示すように、コンピュータ9は、プロセッサ901と、主記憶装置902と、補助記憶装置903と、入力装置904と、出力装置905と、入出力インタフェース906と、媒体駆動装置907と、通信制御装置908と、を備える。コンピュータ9におけるこれらの要素901〜908は、バス910により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
プロセッサ901は、Central Processing Unit(CPU)やMicro Processing Unit(MPU)等である。プロセッサ901は、オペレーティングシステムを含む各種のプログラムを実行することにより、コンピュータ9の全体の動作を制御する。また、プロセッサ901は、例えば、視線パターンを作成する処理(図3参照)、点検項目推定処理(図6、図7A、及び図7B等)、並びに点検項目特定処理(図12A〜図12C等)における演算処理を含む各種の演算処理を行う。
主記憶装置902は、図示しないRead Only Memory(ROM)及びRandom Access Memory(RAM)を含む。主記憶装置902のROMには、例えば、コンピュータ9の起動時にプロセッサ901が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置902のRAMは、プロセッサ901が、各種のプログラムを実行する際に必要に応じて作業用記憶領域として使用する。主記憶装置902のRAMは、例えば、点検項目データベース110、視線センサから取得した画像、推定パターン、及び特定した点検パターン等の一時的な記憶に利用可能である。
補助記憶装置903は、例えば、フラッシュメモリ等の不揮発性メモリ(Solid State Drive(SSD)を含む)やHard Disk Drive(HDD)である。補助記憶装置903には、プロセッサ901によって実行される各種のプログラムや各種のデータ等を記憶させることができる。補助記憶装置903は、例えば、視線パターンを作成する処理、点検項目推定処理、並びに点検項目特定処理を含むプログラム等の記憶に利用可能である。また、補助記憶装置903は、例えば、点検項目データベース110、視線センサから取得した画像、推定パターン、及び特定した点検パターン等の記憶に利用可能である。
入力装置904は、例えば、キーボード装置やタッチパネル装置等である。コンピュータ9のオペレータ(利用者)が入力装置904に対して所定の操作を行うと、入力装置904は、その操作内容に対応付けられている入力情報をプロセッサ901に送信する。
出力装置905は、例えば、液晶表示装置等のディスプレイ装置を含む。出力装置905は、例えば、コンピュータ9の動作状態や、点検項目特定処理の結果等の表示に利用可能である。
入出力インタフェース906は、コンピュータ9と、他の電子機器とを接続する。入出力インタフェース906は、例えば、Universal Serial Bus(USB)規格のコネクタ等を備える。入出力インタフェース906を介してコンピュータ9と接続可能な電子機器の1つとして、例えば、視線センサ2が挙げられる。
通信制御装置907は、コンピュータ9を通信ネットワークに接続し、通信ネットワークを介したコンピュータ9と他の電子機器との各種通信を制御する装置である。通信制御装置907は、例えば、点検後に、特定した点検パターンや他の点検結果を所定の管理サーバに送信することに利用可能である。このように、コンピュータ9(点検支援装置1)で特定した点検パターン等を管理サーバに送信することにより、複数のコンピュータ9による点検者毎の点検結果を一元管理することが可能となる。
媒体駆動装置908は、可搬型記憶媒体10に記録されているプログラムやデータの読み出し、補助記憶装置903に記憶されたデータ等の可搬型記憶媒体10への書き込みを行う。媒体駆動装置908は、例えば、1種類又は複数種類の規格に対応したメモリカード用リーダ/ライタが利用可能である。媒体駆動装置908としてメモリカード用リーダ/ライタを用いる場合、可搬型記憶媒体10としては、メモリカード用リーダ/ライタが対応している規格、例えば、Secure Digital(SD)規格のメモリカード(フラッシュメモリ)を利用可能である。また、可搬型記録媒体10としては、例えば、USB規格のコネクタを備えたフラッシュメモリが利用可能である。可搬型記録媒体10は、上記の点検項目を特定するプログラム、視線センサ2から取得した画像、点検項目データベース等の記憶に利用可能である。
また、コンピュータ9が媒体駆動装置908として利用可能な光ディスクドライブを搭載している場合、当該光ディスクドライブで認識可能な各種の光ディスクを可搬型記録媒体10として利用可能である。可搬型記録媒体10として利用可能な光ディスクには、例えば、Compact Disc(CD)、Digital Versatile Disc(DVD)、Blu-ray Disc(Blu-rayは登録商標)等がある。
コンピュータ9は、点検者が入力装置904等を用いて点検項目を特定するプログラムの開始命令を入力すると、プロセッサ901が補助記憶装置903等からプログラムを読み出して実行する。この際、プロセッサ901は、点検支援装置1の視線検出部101、視線パターン作成部102、パターン比較部104、点検項目特定部105、及び出力部106として機能(動作)する。また、主記憶装置902のRAMや補助記憶装置903等は、点検項目データベース110を格納する記憶部、視線情報蓄積部120、特定結果蓄積部121として機能する。
なお、点検支援装置1として動作させるコンピュータ9は、図24に示した全ての要素901〜908を含む必要はなく、用途や条件に応じて一部の要素を省略することも可能である。例えば、コンピュータ9は、通信制御装置907や媒体駆動装置908が省略されたものであってもよい。
以上記載した各実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
視線センサの出力信号に基づいて、視線の位置又は前記視線の方向を含む視線パターンを作成し、
記憶装置に記憶させた複数の対象物の位置関係を含む情報と、前記視線パターンとに基づいて、前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定し、
推定した前記視線が向けられた前記対象物と、前記視線が向けられた順序との組み合わせが複数通りある場合に、前記記憶装置に記憶させた前記複数の対象物の配置情報に基づいて、複数通りの前記組み合わせのうちの1つの組み合わせに特定する、
処理をコンピュータに実行させる視線特定プログラム。
(付記2)
前記視線パターンを作成する処理では、前記視線の方向が所定の範囲内で所定の期間停留しているときの前記視線の方向と、前記視線の方向が停留する順序とを含む視線パターンを作成する処理を前記コンピュータに実行させ、
前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定する処理では、前記停留しているときの前記視線の方向の1つを前記対象物の1つに向けられている視線の方向として、前記視線パターンにおける他の前記視線の方向と前記対象物との対応付けを行わせる処理を前記コンピュータに実行させる、
ことを特徴とする付記1に記載の視線特定プログラム。
(付記3)
前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定する処理では、前記視線パターンにおいて最初に停留している前記視線の方向を前記対象物の方向と一致させて前記視線の方向と前記対象物との対応付けを前記コンピュータに実行させる、
ことを特徴とする付記1に記載の視線特定プログラム。
(付記4)
前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定する処理では、前記視線パターンにおいて最初に停留している前記視線の方向を前記対象物の方向と一致させて前記視線の方向と前記対象物との対応付けを前記コンピュータに実行させ、
停留しているときの前記視線の方向のなかに、前記対象物に向けられていない前記視線の方向が存在し、かつ当該前記対象物に向けられていない前記視線の方向と前記対象物に向けられた前記視線の方向との差が閾値以上である場合に、前記視線パターンから前記対象物に向けられていない前記視線の方向を除外して、前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定する処理を前記コンピュータに実行させる、
ことを特徴とする付記1に記載の視線特定プログラム。
(付記5)
前記記憶装置に記憶させた前記複数の対象物の配置情報は、前記複数の対象物のうちのいくつかの対象物、又は全ての対象物についての前記視線を受ける順序を表す情報を含み、
前記1つの組み合わせに特定する処理では、前記複数の組み合わせのうちの、前記視線の方向が停留する順序に基づいて特定した前記対象物の前記視線が向けられた順序と、前記記憶装置に記憶させた複数の対象物の前記視線を受ける順序を含む情報における順序とが一致する組み合わせに特定する処理を前記コンピュータに実行させる、
ことを特徴とする付記1に記載の視線特定プログラム。
(付記6)
前記記憶装置に記憶させた前記複数の対象物の配置情報は、前記複数の対象物の重要度を更に含み、
前記1つの組み合わせに特定する処理では、前記複数の組み合わせのうち、重要度の高い前記対象物の数が最も多い組み合わせに特定する処理を前記コンピュータに実行させる、
ことを特徴とする付記1に記載の視線特定プログラム。
(付記7)
前記記憶装置に記憶させた前記複数の対象物の配置情報は、前記複数の対象物の重要度を更に含み、
前記1つの組み合わせに特定する処理では、前記複数の組み合わせのうち、重要度が最も高い前記対象物と対応付けられた前記視線の方向の停留時間の和が最も多い組み合わせに特定する処理をコンピュータに実行させる、
ことを特徴とする付記1に記載の視線特定プログラム。
(付記8)
前記記憶装置に記憶させた前記複数の対象物の配置情報は、前記対象物の重要度に応じた重み付けの値を更に含み、
前記1つの組み合わせに特定する処理では、前記複数の組み合わせのそれぞれで、前記対象物毎の、当該対象物と対応付けられた前記視線の方向の停留時間と、前記重み付けの値との積を算出するとともに、算出した前記停留時間と前記重み付けの値との積の和を算出し、算出した前記和が最も大きい組み合わせに特定する処理を前記コンピュータに実行させる、
ことを特徴とする付記1に記載の視線特定プログラム。
(付記9)
前記対象物は、設備の点検項目であり、
前記記憶装置に記憶させた前記複数の対象物の配置情報は、前記対象物の重要度に応じた重み付けの値と、を更に含み、
前記1つの組み合わせに特定する処理では、前記設備を点検する点検者の熟練度に応じて前記重み付けの値を確率的に変更させる確率値を決定し、前記複数の組み合わせのそれぞれで、前記対象物毎の、当該対象物と対応付けられた前記視線の方向の停留時間と、前記重み付けの値と、前記確率値との積を算出するとともに、算出した前記停留時間と前記重み付けの値と前記確率値との積の和を算出し、算出した前記和が最も大きい組み合わせに特定する処理を前記コンピュータに実行させる、
ことを特徴とする付記1に記載の視線特定プログラム。
(付記10)
視線センサーで検知された視線の方向を特定し、
記憶装置に記憶させた複数の対象物の配置関係を参照して、特定した前記視線の方向に位置する対象物を推定し、
推定した前記対象物の遷移の順と、前記記憶装置に記憶された視線を受ける対象物の順を示すデータとに基づいて、特定した前記視線の方向を補正する、
処理をコンピュータに実行させることを特徴とする視線特定プログラム。
(付記11)
複数の対象物の位置関係を含む情報を記憶させた記憶部と、
視線センサの出力信号に基づいて、視線の位置又は前記視線の方向を含む視線パターンを作成する視線パターン作成部と、
前記複数の対象物の位置関係を含む情報と、前記視線パターンとに基づいて、前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定する推定部と、
推定した前記視線が向けられた前記対象物と、前記視線が向けられた順序との組み合わせが複数通りある場合に、前記複数の対象物の配置情報に基づいて、複数通りの前記組み合わせのうちの1つの組み合わせに特定する特定部と、
を備えることを特徴とする視線特定装置。
(付記12)
前記対象物は、設備の点検項目であり、
前記複数の対象物の配置情報は、前記点検項目の点検順序と、点検の必要性を表す重要度と、を含み、
前記特定部は、前記複数通りの前記組み合わせのうち、前記点検項目の点検順序が前記情報と一致し、かつ前記重要度の最も高い点検項目の数が最多である組み合わせに特定する、
ことを特徴とする付記11に記載の視線特定装置。
(付記13)
複数の対象物の配置関係を記憶させた記憶部と、
視線センサーで検知された視線の方向を特定した後、前記記憶部に記憶させた複数の対象物の配置関係をを参照して、特定した前記視線の方向に位置する対象物を推定する推定部と、
推定された前記対象物の遷移の順と、前記記憶部に記憶された視線を受ける対象物の順を示すデータとに基づいて、特定した前記視線の方向を補正する補正部と、
を備えることを特徴とする視線特定装置。
(付記14)
コンピュータが、
視線センサの出力信号に基づいて、視線の位置又は前記視線の方向を含む視線パターンを作成し、
記憶装置に記憶させた複数の対象物の位置関係を含む情報と、前記視線パターンとに基づいて、前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定し、
推定した前記視線が向けられた前記対象物と、前記視線が向けられた順序との組み合わせが複数通りある場合に、前記記憶装置に記憶させた前記複数の対象物の配置情報に基づいて、複数通りの前記組み合わせのうちの1つの組み合わせに特定する、
処理を実行することを特徴とする視線特定方法。
(付記15)
前記対象物は、設備の点検項目であり、
前記複数の対象物の配置情報は、前記点検項目の点検順序と、点検の必要性を表す重要度と、を含み、
前記1つの組み合わせに特定する処理において、前記コンピュータは、前記複数通りの前記組み合わせのうち、前記点検項目の点検順序が前記情報と一致し、かつ前記重要度の最も高い点検項目の数が最多である組み合わせに特定する、
ことを特徴とする付記14に記載の視線特定方法。
(付記16)
コンピュータが、
視線センサーで検知された視線の方向を特定し、
記憶装置に記憶させた複数の対象物の配置関係を参照して、特定した前記視線の方向に位置する対象物を推定し、
推定した前記対象物の遷移の順と、前記記憶装置に記憶された視線を受ける対象物の順を示すデータとに基づいて、特定した前記視線の方向を補正する、
処理を実行することを特徴とする視線特定方法。
1 点検支援装置
101 視線検出部
102 視線パターン作成部
103 パターン比較部
104 点検項目特定部
105 出力部
110,110A〜110C 点検項目データベース
120 視線情報蓄積部
121 特定結果蓄積部
2 視線センサ
3 表示装置
9 コンピュータ
901 プロセッサ
902 主記憶装置
903 補助記憶装置
904 入力装置
905 出力装置
906 入出力インタフェース
907 通信制御装置
908 媒体駆動装置
10 可搬型記録媒体

Claims (13)

  1. 視線センサの出力信号に基づいて、視線の位置又は前記視線の方向を含む視線パターンを作成し、
    記憶装置に記憶させた複数の対象物の位置関係を含む情報と、前記視線パターンとに基づいて、前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定し、
    推定した前記視線が向けられた前記対象物と、前記視線が向けられた順序との組み合わせが複数通りある場合に、前記記憶装置に記憶させた前記複数の対象物の配置情報に基づいて、複数通りの前記組み合わせのうちの1つの組み合わせに特定する、
    処理をコンピュータに実行させる視線特定プログラム。
  2. 前記視線パターンを作成する処理では、前記視線の方向が所定の範囲内で所定の期間停留しているときの前記視線の方向と、前記視線の方向が停留する順序とを含む視線パターンを作成する処理を前記コンピュータに実行させ、
    前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定する処理では、前記停留しているときの前記視線の方向の1つを前記対象物の1つに向けられている視線の方向として、前記視線パターンにおける他の前記視線の方向と前記対象物との対応付けを行わせる処理を前記コンピュータに実行させる、
    ことを特徴とする請求項1に記載の視線特定プログラム。
  3. 前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定する処理では、前記視線パターンにおいて最初に停留している前記視線の方向を前記対象物の方向と一致させて前記視線の方向と前記対象物との対応付けを前記コンピュータに実行させ、
    停留しているときの前記視線の方向のなかに、前記対象物に向けられていない前記視線の方向が存在し、かつ当該前記対象物に向けられていない前記視線の方向と前記対象物に向けられた前記視線の方向との差が閾値以上である場合に、前記視線パターンから前記対象物に向けられていない前記視線の方向を除外して、前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定する処理を前記コンピュータに実行させる、
    ことを特徴とする請求項1に記載の視線特定プログラム。
  4. 前記記憶装置に記憶させた前記複数の対象物の配置情報は、前記複数の対象物のうちのいくつかの対象物、又は全ての対象物についての前記視線を受ける順序を表す情報を含み、
    前記1つの組み合わせに特定する処理では、前記複数の組み合わせのうちの、前記視線の方向が停留する順序に基づいて特定した前記対象物の前記視線が向けられた順序と、前記記憶装置に記憶させた複数の対象物の前記視線を受ける順序を含む情報における順序とが一致する組み合わせに特定する処理を前記コンピュータに実行させる、
    ことを特徴とする請求項1に記載の視線特定プログラム。
  5. 前記記憶装置に記憶させた前記複数の対象物の配置情報は、前記複数の対象物の重要度を更に含み、
    前記1つの組み合わせに特定する処理では、前記複数の組み合わせのうち、重要度の高い前記対象物の数が最も多い組み合わせに特定する処理を前記コンピュータに実行させる、
    ことを特徴とする請求項1に記載の視線特定プログラム。
  6. 前記記憶装置に記憶させた前記複数の対象物の配置情報は、前記複数の対象物の重要度を更に含み、
    前記1つの組み合わせに特定する処理では、前記複数の組み合わせのうち、重要度が最も高い前記対象物と対応付けられた前記視線の方向の停留時間の和が最も多い組み合わせに特定する処理をコンピュータに実行させる、
    ことを特徴とする請求項1に記載の視線特定プログラム。
  7. 前記記憶装置に記憶させた前記複数の対象物の配置情報は、前記対象物の重要度に応じた重み付けの値を更に含み、
    前記1つの組み合わせを特定する処理では、前記複数の組み合わせのそれぞれで、前記対象物毎の、当該対象物と対応付けられた前記視線の方向の停留時間と、前記重み付けの値との積を算出するとともに、算出した前記停留時間と前記重み付けの値との積の和を算出し、算出した前記和が最も大きい組み合わせに特定する処理を前記コンピュータに実行させる、
    ことを特徴とする請求項1に記載の視線特定プログラム。
  8. 前記対象物は、設備の点検項目であり、
    前記記憶装置に記憶させた前記複数の対象物の配置情報は、前記対象物の重要度に応じた重み付けの値と、を更に含み、
    前記1つの組み合わせに特定する処理では、前記設備を点検する点検者の熟練度に応じて前記重み付けの値を確率的に変更させる確率値を決定し、前記複数の組み合わせのそれぞれで、前記対象物毎の、当該対象物と対応付けられた前記視線の方向の停留時間と、前記重み付けの値と、前記確率値との積を算出するとともに、算出した前記停留時間と前記重み付けの値と前記確率値との積の和を算出し、算出した前記和が最も大きい組み合わせに特定する処理を前記コンピュータに実行させる、
    ことを特徴とする請求項1に記載の視線特定プログラム。
  9. 視線センサーで検知された視線の方向を特定し、
    記憶装置に記憶させた複数の対象物の配置関係を参照して、特定した前記視線の方向に位置する対象物を推定し、
    推定した前記対象物の遷移の順と、前記記憶装置に記憶された視線を受ける対象物の順を示すデータとに基づいて、特定した前記視線の方向を補正する、
    処理をコンピュータに実行させることを特徴とする視線特定プログラム。
  10. 複数の対象物の位置関係を含む情報を記憶させた記憶部と、
    視線センサの出力信号に基づいて、視線の位置又は前記視線の方向を含む視線パターンを作成する視線パターン作成部と、
    前記複数の対象物の位置関係を含む情報と、前記視線パターンとに基づいて、前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定する推定部と、
    推定した前記視線が向けられた前記対象物と、前記視線が向けられた順序との組み合わせが複数通りある場合に、前記複数の対象物の配置情報に基づいて、複数通りの前記組み合わせのうちの1つの組み合わせに特定する特定部と、
    を備えることを特徴とする視線特定装置。
  11. 複数の対象物の配置関係を記憶させた記憶部と、
    視線センサーで検知された視線の方向を特定した後、前記記憶部に記憶させた複数の対象物の配置関係をを参照して、特定した前記視線の方向に位置する対象物を推定する推定部と、
    推定された前記対象物の遷移の順と、前記記憶部に記憶された視線を受ける対象物の順を示すデータとに基づいて、特定した前記視線の方向を補正する補正部と、
    を備えることを特徴とする視線特定装置。
  12. コンピュータが、
    視線センサの出力信号に基づいて、視線の位置又は前記視線の方向を含む視線パターンを作成し、
    記憶装置に記憶させた複数の対象物の位置関係を含む情報と、前記視線パターンとに基づいて、前記視線が向けられた前記対象物と、前記視線が向けられた順序とを推定し、
    推定した前記視線が向けられた前記対象物と、前記視線が向けられた順序との組み合わせが複数通りある場合に、前記記憶装置に記憶させた前記複数の対象物の前記視線を受ける順序を含む情報に基づいて、複数通りの前記組み合わせのうちの1つの組み合わせに特定する、
    処理を実行することを特徴とする視線特定方法。
  13. コンピュータが、
    視線センサーで検知された視線の方向を特定し、
    記憶装置に記憶させた複数の対象物の配置関係を参照して、特定した前記視線の方向に位置する対象物を推定し、
    推定した前記対象物の遷移の順と、前記記憶装置に記憶された視線を受ける対象物の順を示すデータとに基づいて、特定した前記視線の方向を補正する、
    処理を実行することを特徴とする視線特定方法。
JP2016094877A 2016-05-10 2016-05-10 視線特定プログラム、視線特定装置、及び視線特定方法 Pending JP2017204094A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016094877A JP2017204094A (ja) 2016-05-10 2016-05-10 視線特定プログラム、視線特定装置、及び視線特定方法
US15/482,930 US20170330343A1 (en) 2016-05-10 2017-04-10 Sight line identification apparatus and sight line identification method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016094877A JP2017204094A (ja) 2016-05-10 2016-05-10 視線特定プログラム、視線特定装置、及び視線特定方法

Publications (1)

Publication Number Publication Date
JP2017204094A true JP2017204094A (ja) 2017-11-16

Family

ID=60294735

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016094877A Pending JP2017204094A (ja) 2016-05-10 2016-05-10 視線特定プログラム、視線特定装置、及び視線特定方法

Country Status (2)

Country Link
US (1) US20170330343A1 (ja)
JP (1) JP2017204094A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019162251A (ja) * 2018-03-19 2019-09-26 株式会社東芝 眼球回転検出装置、電子機器及びシステム
JP2022104410A (ja) * 2020-12-28 2022-07-08 横河電機株式会社 装置、方法及びプログラム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109478260B (zh) * 2016-07-25 2023-03-24 株式会社富士 基板生产管理装置及基板生产管理方法
JP6996147B2 (ja) 2017-07-27 2022-01-17 株式会社大林組 検査処理システム、検査処理方法及び検査処理プログラム
JP6939195B2 (ja) * 2017-07-27 2021-09-22 株式会社大林組 検査処理システム、検査処理方法及び検査処理プログラム
US11232645B1 (en) 2017-11-21 2022-01-25 Amazon Technologies, Inc. Virtual spaces as a platform
US10732708B1 (en) * 2017-11-21 2020-08-04 Amazon Technologies, Inc. Disambiguation of virtual reality information using multi-modal data including speech
US10521946B1 (en) 2017-11-21 2019-12-31 Amazon Technologies, Inc. Processing speech to drive animations on avatars
CN113467614A (zh) * 2021-06-30 2021-10-01 北京市商汤科技开发有限公司 显示界面选择方法及装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7929017B2 (en) * 2004-07-28 2011-04-19 Sri International Method and apparatus for stereo, multi-camera tracking and RF and video track fusion
US8019490B2 (en) * 2006-09-29 2011-09-13 Applied Minds, Llc Imaging and display system to aid helicopter landings in brownout conditions
US20080156619A1 (en) * 2006-12-01 2008-07-03 Mehul Patel Range finder
US8233040B2 (en) * 2006-12-01 2012-07-31 Accu-Sort Systems, Inc. Modular camera and camera system
EP2212827B1 (en) * 2007-10-16 2019-09-11 Accu-Sort System, Inc. Dimensioning and barcode reading system
US8125529B2 (en) * 2009-02-09 2012-02-28 Trimble Navigation Limited Camera aiming using an electronic positioning system for the target
US20110007157A1 (en) * 2009-03-17 2011-01-13 Stephen Sekelsky Mechanical stabilization and automated positional corrections for stationary or mobile surveillance systems
US8254633B1 (en) * 2009-04-21 2012-08-28 Videomining Corporation Method and system for finding correspondence between face camera views and behavior camera views
US8387858B2 (en) * 2009-06-01 2013-03-05 Synderesis Technologies, Inc. Consumer rewards systems and methods
US8396664B2 (en) * 2009-08-31 2013-03-12 Terra Imaging 3-D golf course navigation device and image acquisition method
US20120268589A1 (en) * 2011-04-25 2012-10-25 Fujitsu Limited Motion Tracking
US8995713B2 (en) * 2011-04-25 2015-03-31 Fujitsu Limited Motion tracking using identifying feature requiring line of sight of camera
US20130208121A1 (en) * 2012-02-10 2013-08-15 Xerox Corporation Traffic camera diagnostics via test targets
GB2571657B (en) * 2015-03-03 2019-11-27 Imagination Tech Ltd Graphics rendering using directional representations of lighting at probe positions within a scene

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019162251A (ja) * 2018-03-19 2019-09-26 株式会社東芝 眼球回転検出装置、電子機器及びシステム
JP2022104410A (ja) * 2020-12-28 2022-07-08 横河電機株式会社 装置、方法及びプログラム
JP7347409B2 (ja) 2020-12-28 2023-09-20 横河電機株式会社 装置、方法及びプログラム

Also Published As

Publication number Publication date
US20170330343A1 (en) 2017-11-16

Similar Documents

Publication Publication Date Title
JP2017204094A (ja) 視線特定プログラム、視線特定装置、及び視線特定方法
US11481999B2 (en) Maintenance work support system and maintenance work support method
US10415966B2 (en) Map generating device, map generating method, and program recording medium
CN103376890B (zh) 基于视觉的手势遥控系统
JP6176388B2 (ja) 画像識別装置、画像センサ、画像識別方法
US20180101732A1 (en) Image processing apparatus, image processing system, method for image processing, and computer program
US10964057B2 (en) Information processing apparatus, method for controlling information processing apparatus, and storage medium
JP4717934B2 (ja) 関係分析方法、関係分析プログラム、および、関係分析装置
US20130010068A1 (en) Augmented reality system
JP2014211763A5 (ja)
US10546173B2 (en) Information processing device, information processing system, position reporting method, and program recording medium
JP7114885B2 (ja) 作業現場監視装置およびプログラム
CN112464793B (zh) 一种在线考试作弊行为检测方法、系统和存储介质
KR20190099537A (ko) 동작 학습 장치, 기능 판별 장치 및 기능 판별 시스템
US20150262370A1 (en) Image processing device, image processing method, and image processing program
JP2013134628A (ja) 画像処理装置、画像処理方法、およびプログラム
US20210192771A1 (en) Calculation system, calculation method, and storage medium
US10593223B2 (en) Action evaluation apparatus, action evaluation method, and computer-readable storage medium
JP7165108B2 (ja) 作業訓練システム及び作業訓練支援方法
JP2020087091A (ja) 熟練度判定システム
CN115082520A (zh) 定位追踪方法、装置、终端设备及计算机可读存储介质
JP2022137800A (ja) 骨格認識方法、骨格認識プログラム、及び、体操採点支援システム
CN112581525A (zh) 人体佩戴物品的状态检测方法、装置、设备及存储介质
JP2021056671A (ja) 作業状態判別装置、作業状態判別方法およびプログラム
EP4354388A1 (en) Task analysis device and method