JP2022088959A - 電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法 - Google Patents

電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法 Download PDF

Info

Publication number
JP2022088959A
JP2022088959A JP2020201108A JP2020201108A JP2022088959A JP 2022088959 A JP2022088959 A JP 2022088959A JP 2020201108 A JP2020201108 A JP 2020201108A JP 2020201108 A JP2020201108 A JP 2020201108A JP 2022088959 A JP2022088959 A JP 2022088959A
Authority
JP
Japan
Prior art keywords
image
sight
concentration
line
heat map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020201108A
Other languages
English (en)
Inventor
教志 篠▲崎▼
Noriyuki Shinozaki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2020201108A priority Critical patent/JP2022088959A/ja
Priority to PCT/JP2021/044156 priority patent/WO2022118899A1/ja
Priority to EP21900650.9A priority patent/EP4258241A4/en
Priority to CN202180081391.2A priority patent/CN116583872A/zh
Priority to US18/255,547 priority patent/US20240005676A1/en
Publication of JP2022088959A publication Critical patent/JP2022088959A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】多様な状況及び多様な状態に対して対象者の注意力の推定精度を向上する。【解決手段】電子機器１０は撮像部１１と視線検知部１２と制御部１４とを有する。制御部１４は低集中ヒートマップ群推定部１５及び高集中ヒートマップ推定部１６として機能する。低集中ヒートマップ群推定部１５は画像に基づいて低集中ヒートマップ群を推定可能である。高集中ヒートマップ推定部１６は画像に基づいて高集中ヒートマップを推定可能である。制御部１４は低集中ヒートマップ群と高集中ヒートマップと視線とに基づいて対象者の集中度を算出する。低集中ヒートマップ群推定部１５を学習用画像と視線との関係が負荷要因別に機械学習された学習データによって構築する。高集中ヒートマップ推定部１６を学習用画像と負荷を外した場合若しくは負荷を軽減した場合の視線との関係が機械学習された学習データによって構築する。【選択図】図１

Description

本発明は、電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法に関するものである。
移動体の安全な運転には、運転者の注意力が求められる。それゆえ、運転者の注意力を観察して、注意力が低下する場合、運転者への警告を発したり、運転の支援を行うことが検討されている。注意力の観察として、自車の周辺の対向車などの対象物に対する視線の重なり度合いの累積値である累積視認度を算出し、基準値と比較することが提案されている（特許文献１参照）。
国際公開２００８－０２９８０２号
特許文献１においては、累積視認度を算出するために、毎時における視認度を、テーブルを用いて算出している。しかし、実環境の多様な運転状況及び運転者の状態に対して適切なテーブルは異なっており、多様な運転状況及び運転者の多様な状態において、運転者の注意力を正確に観察することは難しかった。
従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、多様な状況及び多様な状態に対して対象者の注意力を正確に推定する電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法を提供することにある。
上述した諸課題を解決すべく、第１の観点による電子機器は、
撮像により光景に対応する画像を生成する撮像部と、
前記光景に対する対象者の視線を検知する視線検知部と、
前記画像および前記視線に基づいて前記対象者の集中度を推定する制御部と、を備え、
前記制御部は、
学習用画像と複数の負荷要因別に集中力を低下させる負荷を学習用対象者にかけた場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷のかかる場合における該画像を構成する各位置における前記視線の確率を前記負荷要因別に示す低集中ヒートマップ群を推定可能な低集中ヒートマップ群推定部、及び、学習用画像と学習用対象者への前記負荷を外した場合若しくは前記負荷を軽減した場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷を外した場合若しくは前記負荷を軽減した場合における該画像を構成する各位置における前記視線の確率を示す高集中ヒートマップを推定可能な高集中ヒートマップ推定部として機能し、
前記低集中ヒートマップ群及び前記高集中ヒートマップと、前記対象者の視線とに基づいて該対象者の集中度を推定する。
第２の観点による情報処理装置は、
光景に対応する画像、および前記光景に対する対象者の視線を取得する取得部と、
前記画像および前記視線に基づいて前記対象者の集中度を推定する制御部と、
前記集中度を出力する出力部と、を備え、
前記制御部は、
学習用画像と複数の負荷要因別に集中力を低下させる負荷を学習用対象者にかけた場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷のかかる場合における該画像を構成する各位置における前記視線の確率を前記負荷要因別に示す低集中ヒートマップ群を推定可能な低集中ヒートマップ群推定部、及び、学習用画像と学習用対象者への前記負荷を外した場合若しくは前記負荷を軽減した場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷を外した場合若しくは前記負荷を軽減した場合における該画像を構成する各位置における前記視線の確率を示す高集中ヒートマップを推定可能な高集中ヒートマップ推定部として機能し、
前記低集中ヒートマップ群及び前記高集中ヒートマップと、前記対象者の視線に基づいて該対象者の集中度を推定する。
第３の観点による集中度算出プログラムは、
コンピュータを、
撮像により光景に対応する画像を生成する撮像部と、
前記光景に対する対象者の視線を検知する視線検知部と、
前記画像および前記視線に基づいて前記対象者の集中度を推定する制御部と、して機能させ、
前記制御部は、
学習用画像と複数の負荷要因別に集中力を低下させる負荷を学習用対象者にかけた場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷のかかる場合における該画像を構成する各位置における前記視線の確率を前記負荷要因別に示す低集中ヒートマップ群を推定可能な低集中ヒートマップ群推定部、及び、学習用画像と学習用対象者への前記負荷を外した場合若しくは前記負荷を軽減した場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷を外した場合若しくは前記負荷を軽減した場合における該画像を構成する各位置における前記視線の確率を示す高集中ヒートマップを推定可能な高集中ヒートマップ推定部として機能し、
前記低集中ヒートマップ群及び前記高集中ヒートマップと、前記対象者の視線とに基づいて該対象者の集中度を推定する。
第４の観点による集中度算出方法は、
撮像により光景に対応する画像を生成する撮像工程と、
前記光景に対する対象者の視線を検知する視線検知工程と、
前記画像および前記視線に基づいて前記対象者の集中度を推定する推定工程と、を備え、
前記推定工程は、
学習用画像と複数の負荷要因別に集中力を低下させる負荷を学習用対象者にかけた場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷のかかる場合における該画像を構成する各位置における前記視線の確率を前記負荷要因別に示す低集中ヒートマップ群と、学習用画像と学習用対象者への前記負荷を外した場合若しくは前記負荷を軽減した場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷を外した場合若しくは前記負荷を軽減した場合における該画像を構成する各位置における前記視線の確率を示す高集中ヒートマップとを推定し、
前記低集中ヒートマップ群及び前記高集中ヒートマップと、前記対象者の視線とに基づいて該対象者の集中度を算出する。
第５の観点による学習方法は、
任意の画像に基づいて、負荷のかかる状態における該画像を構成する各位置における視線が重なる確率を複数の負荷要因別に示す低集中ヒートマップ群と、前記負荷を外した状態における該画像を構成する各位置における前記視線の確率を示す高集中ヒートマップとを推定するために、
学習用画像と複数の負荷要因別に集中力を低下させる負荷を学習用対象者にかけた場合の該学習用画像に対する視線との関係を機械学習させ、
学習用画像と学習用対象者への前記負荷を外した場合若しくは前記負荷を軽減した場合の該学習用画像に対する視線との関係を機械学習させる。
上記のように構成された本開示に係る電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法によれば、多様な状況及び多様な状態に対して対象者の注意力の推定精度が向上する。
第１の実施形態に係る電子機器の概略構成を示すブロック図である。 視線検知部が検知する視線と画像との関係を説明するための図である。 画像に対して低集中ヒートマップ群推定部が推定する低集中ヒートマップ群の具体例を示す図である。 第１の実施形態において図１の制御部が実行する推定処理を説明するためのフローチャートである。 第２の実施形態において図１の制御部が実行する推定処理を説明するためのフローチャートである。 第１の実施形態および第２の実施形態の変形例である情報処理装置の概略構成を示すブロック図である。
以下、本開示を適用した電子機器の実施形態について、図面を参照して説明する。なお、以下の説明は、本開示を適用した情報処理装置、集中度算出方法、学習方法、および集中度算出プログラムの説明を兼ねる。
本開示の第１の実施形態に係る電子機器は、例えば、移動体に設けられる。移動体は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
図１に示すように、本開示の第１の実施形態に係る電子機器１０は、撮像部１１、視線検知部１２、メモリ１３、および制御部１４を含んで構成される。
撮像部１１は、例えば、移動体の前進方向の光景を撮像可能に、移動体に設けられている。撮像部１１は、例えば、３０ｆｐｓの速度で撮像可能なカメラである。撮像部１１は、撮像により光景に対応する画像を生成する。
視線検知部１２は、例えば、移動体の運転席に着座する対象者の視線を検知可能に、移動体に設けられている。視線検知部１２は、例えば、接触型のアイトラッカーおよび非接触型のアイトラッカーのいずれかであり、光景に対する対象者の視線を検知する。図２に示すように、視線ＬＳは、例えば、撮像部１１が撮像により生成する画像ＩＭと同じ座標系における位置ＰＥに相当する視線ＬＳの方向として示される。
視線検知部１２は、視線データとして時系列の視線ＬＳの視線データを検知してもよい。さらに具体的には、視線検知部１２は、時間ごとに視線ＬＳの位置ＰＥを画像ＩＭ上に検知して、その一連の時系列の視線ＬＳの位置ＰＥを視線データとして出力してもよい。視線検知部１２は、撮像部１１より高速、言換えると高頻度で視線ＬＳを検知してよく検知したその一連の時系列の視線ＬＳの位置ＰＥを１つの画像ＩＭの視線ＬＳの経路として積算して出力してもよい。
メモリ１３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）およびＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）など、任意の記憶デバイスを含む。メモリ１３は、制御部１４を機能させる多様なプログラム、および制御部１４が用いる多様な情報を記憶する。
制御部１４は、１以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けＩＣ（ＡＳＩＣ；Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）を含んでよい。プロセッサは、プログラマブルロジックデバイス（ＰＬＤ；Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）を含んでよい。ＰＬＤは、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を含んでよい。制御部１４は、１つまたは複数のプロセッサが協働するＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－Ｃｈｉｐ）、およびＳｉＰ（Ｓｙｓｔｅｍ Ｉｎ ａ Ｐａｃｋａｇｅ）のいずれかであってもよい。制御部１４は、電子機器１０の各構成要素の動作を制御する。
制御部１４は、通常時に、例えば、３０ｆｐｓなどの速度で連続的な撮像を撮像部１１に実行させ、連続的に画像ＩＭを情報として取得する。制御部１４は、撮像部１１における撮像の実行時の対象者の視線ＬＳを視線検知部１２に検知させ、画像ＩＭの撮像時点と実質的に同じ時期における視線ＬＳを情報として取得する。画像ＩＭの撮像時点と実質的に同じ時期とは、単一の検出時点を含んでよく、画像ＩＭの直近の撮像のひとつ前の撮像時点から直近の撮像時点までの間の複数の検出時点を含んでよい。画像ＩＭの撮像時点と実質的に同じ時期は、視線ＬＳの単一の検出時点を含む場合、厳密な同時点ではなく、画像撮像と同じ周期の視線検知において、撮像時に最も近い時点における検知時点を含んでよい。制御部１４は、画像ＩＭと、当該画像ＩＭの撮像時点と実質的に同じ時期に検知される視線ＬＳとを関連付けてメモリ１３に格納する。
制御部１４は、取得する画像ＩＭに画像処理を施してよい。後述する、推定部の学習を所定の画像処理を施した画像ＩＭで行う構成において、制御部１４は取得する画像ＩＭに当該所定の画像処理を施して、視線ＬＳと関連付けてメモリ１３に格納する。所定の画像処理は、例えば、取得する画像ＩＭに基づく、セマンティックセグメンテーション画像の生成処理であってよい。セマンティックセグメンテーション画像は、画像ＩＭ内の全画素に、ラベルまたはカテゴリを関連付けた画像である。
制御部１４は、撮像時点と検知時期とが実質的に同じである画像ＩＭおよび視線ＬＳに基づいて、対象者の集中度を推定する。更に具体的には、制御部１４は、低集中ヒートマップ群推定部１５および高集中ヒートマップ推定部１６として機能することにより、対象者の集中度を推定する。
低集中ヒートマップ群推定部１５は、画像ＩＭに基づいて、対象者に特定の負荷要因の負荷がかかる場合の第１の低集中ヒートマップを推定する。低集中ヒートマップ群推定部１５は、複数の負荷要因別に、低集中ヒートマップを推定する。複数の負荷要因にそれぞれ対応する複数の低集中ヒートマップは、低集中ヒートマップ群を構成する。負荷要因は、一般的な対象者の運転などの行動に対する集中に負荷をかける多様な要因であって、例えば、同乗者との会話、ハンズフリー会話、ラジオ音声の傾聴、熟考、眠気、疲労等である。
図３に示すように、低集中ヒートマップＭＰｌｃとは、一般的な対象者に特定の負荷要因の負荷をかけた場合に特定の光景に対してそれぞれの位置を注視する、すなわち視線と重なる確率を、当該光景に対応する画像ＩＭを構成する各位置において示す二次元マップである。本実施形態において、低集中ヒートマップＭＰｌｃは、熟考に対応する第１の低集中ヒートマップＭＰｌｃ１、同乗者との会話に対応する第２の低集中ヒートマップＭＰｌｃ２、眠気に対応する第３の低集中ヒートマップＭＰｌｃ３、疲労に対応する第４の低集中ヒートマップＭＰｌｃ４を含む。
高集中ヒートマップ推定部１６は、画像ＩＭに基づいて、対象者への特定の負荷要因すべてを外した場合の高集中ヒートマップを推定する。高集中ヒートマップは、一般的な対象者に上記の特定の負荷要因すべての負荷を外した場合に特定の光景に対してそれぞれの位置を注視する、すなわち視線と重なる確率を、当該光景に対応する画像ＩＭを構成する各位置において示す二次元マップである。
低集中ヒートマップ群推定部１５および高集中ヒートマップ推定部１６は、例えば、多層構造のニューラルネットワークにより構成されている。低集中ヒートマップ群推定部１５及び高集中ヒートマップ推定部１６は、後述するように、機械学習を実施することにより構築される。
制御部１４は、後述するように、連続的に撮像された複数の学習用画像を用いた学習により低集中ヒートマップ群推定部１５が構築されている構成において、連続的に撮像される複数の画像ＩＭに基づいて、単一の低集中ヒートマップ群を推定してよい。制御部１４は、後述するように、連続的に撮像された複数の学習用画像を用いた学習により高集中ヒートマップ推定部１６が構築されている構成において、複数の画像ＩＭに基づいて、単一の高集中ヒートマップを推定してよい。制御部１４は、例えば、最新の画像ＩＭから所定の時間間隔で遡った範囲内のフレームの画像ＩＭに基づいて、単一の低集中ヒートマップ群及び単一の高集中ヒートマップを推定してよい。
制御部１４は、連続的に撮像される複数の画像ＩＭの中で、視線ＬＳの移動速度が閾値以上である画像ＩＭを除外して、単一の低集中ヒートマップ群及び単一の高集中ヒートマップを推定してよい。より具体的には、制御部１４は、任意の検知時における視線ＬＳの、直前の検知時における視線ＬＳからの移動量が閾値を超える場合、当該任意の検知時における視線ＬＳの検知時に関連付けられている画像ＩＭを、除外してよい。言換えると、制御部１４は、サッカード中の情報を除外してもよい。除外する理由は、サッカードは次の注視点に移っている途中の動作であって、サッカード中の視線ＬＳの位置ＰＥは注視点としての意味を持たないためである。制御部１４は、サッカード中か否かを視線ＬＳの位置ＰＥの移動速度などで判定してもよい。
制御部１４は、推定した低集中ヒートマップ群及び高集中ヒートマップと、対象者の視線ＬＳとに基づいて、以下に例示して説明するように、対象者の集中度を算出する。
制御部１４は、第１の低集中ヒートマップＭＰｌｃ１における対象者の視線ＬＳに対応する位置ＰＥの確率を読出してよい。制御部１４は、第１の低集中ヒートマップＭＰｌｃ１における確率の読出しと類似して、第２の低集中ヒートマップＭＰｌｃ２、第３の低集中ヒートマップＭＰｌｃ３、第４の低集中ヒートマップＭＰｌｃ４、及び高集中ヒートマップにおける対象者の視線ＬＳに対応する位置ＰＥの確率を読出してよい。制御部１４は、確率を読出す代わりに、対象者の視線ＬＳの位置ＰＥを基準とした所定の範囲の確率の平均値を算出し、以下の説明における確率の代わりに用いてよい。制御部１４は、単一の低集中ヒートマップ群に含まれる複数の低集中ヒートマップＭＰｌｃ及び高集中ヒートマップにおける対象者の視線ＬＳの経路における確率の積算値を算出し、以下の説明における確率の代わりに用いてよい。
制御部１４は、読出した確率が最大であるヒートマップを、低集中ヒートマップ群及び高集中ヒートマップの中から選択してよい。制御部１４は、選択されたヒートマップに対して定められた基準値に基づいて、集中度を算出してよい。
例えば、低集中ヒートマップ群を構成するすべての低集中ヒートマップＭＰｌｃに対して、０％以上５０％未満の集中度の範囲内で基準値が定められてよい。例えば、高集中ヒートマップに対して、５０％以上１００％以下の集中度の範囲内で基準値が定められてよい。制御部１４は、視線ＬＳに対応する位置ＰＥの確率が最大であるヒートマップがいずれかの低集中ヒートマップＭＰｌｃである場合、低集中ヒートマップＭＰｌｃに対して定められた基準値を、対象者の集中度として算出してよい。制御部１４は、視線ＬＳに対応する位置ＰＥの確率が最大であるヒートマップが低集中ヒートマップＭＰｌｃである場合、当該低集中ヒートマップに対応する負荷要因を認識してよい。制御部１４は、視線ＬＳに対応する位置ＰＥの確率が最大であるヒートマップが高集中ヒートマップである場合、高集中ヒートマップに対して定められた基準値を、対象者の集中度として算出してよい。
制御部１４は、選択されたヒートマップの種類だけでなく、当該ヒートマップにおける視線ＬＳに対応する位置ＰＥの確率にも基づいて、集中度を算出してよい。例えば、低集中ヒートマップＭＰｌｃに対しては確率が大きくなるほど、集中度が小さな値に算出されるように、関数又はテーブルが定められてよい。また、例えば、高集中ヒートマップに対しては確率が大きくなるほど、集中度が大きな値に算出されるように、関数又はテーブルが定められてよい。制御部１４は、視線ＬＳに対応する位置ＰＥの確率に基づいて、選択されたヒートマップに対して定められた関数又はテーブルを用いて、集中度を算出してよい。
制御部１４は、高集中ヒートマップにおける確率、及び低集中ヒートマップ群の中で確率が最大である低集中ヒートマップにおける確率に基づいて、集中度を算出してよい。制御部１４は、例えば、高集中ヒートマップに対する基準値と、確率が最大である低集中ヒートマップＭＰｌｃに対する基準値とに、それぞれの確率に応じた重み付けを施した平均値を、集中度として算出してよい。
制御部１４は、算出した集中度を外部機器１７に出力してよい。外部機器１７は、集中度に基づいて所定の動作を行う装置である。外部機器１７は、例えば、集中度が警告閾値以下である場合に対象者に警告を発する警告装置、集中度に基づいて移動体の運転補助を行う運転補助装置、及び集中度に基づいて移動体の運転を行う運転装置などである。
制御部１４は、対象者の視線ＬＳに対応する位置ＰＥにおける確率が最大となるヒートマップが低集中ヒートマップＭＰｌｃである場合、上述のように認識した負荷要因を集中度とともに出力してよい。
低集中ヒートマップ群推定部１５は、学習用画像と、集中力を低下させる負荷を学習用対象者にかけた場合の当該学習用画像に対する視線との関係を機械学習させた学習データにより構築されている。また、低集中ヒートマップ群推定部１５は、複数の負荷要因別に機械学習させた負荷要因別の学習データにより構築されている。
熟考の負荷に対する学習用画像及び視線は、例えば、一桁の四則演算の暗算等を学習用対象者に行わせながら学習用画像を見させることにより、収集される。同乗者との会話の負荷に対する学習用画像及び視線は、例えば、気候、趣味、健康等の日常会話を協力者及び学習用対象者に行わせながら学習用画像を見せることにより、収集される。眠気の負荷に対する学習用画像及び視線は、例えば、起床から２０時間後の学習用対象者に学習用画像に見せることにより、収集される。又は、眠気の負荷に対する学習用画像及び視線は、例えば、瞬き回数、ＰＥＲＣＬＯＳ（Ｐｅｒｃｅｎｔ ｏｆ Ｅｙｅｌｉｄ Ｃｌｏｓｕｒｅ）等の眠気に関する生体情報を収集しながら学習用対象者に学習用画像を見せ、当該生体情報に基づく集中度が不注意状態に相当するときの学習用画像及び視線を選択することにより、収集される。疲労の負荷に対する学習用画像及び視線は、例えば、１時間のサーキットトレーニングの直後の学習用対象者に学習用画像に見せることにより、収集される。又は、疲労の負荷に対する学習用画像及び視線は、心拍、脳波等の疲労に関する生体情報を収集しながら学習用対象者に学習用画像を見せ、当該生体情報に基づく疲労度が不注意状態に相当するときの学習用画像及び視線を選択することにより、収集される。
低集中ヒートマップ群推定部１５は、学習用画像と、特定の負荷要因の負荷をかけた学習用対象者の視線との関係に基づいて、任意の画像ＩＭを構成する、画素毎、または複数の画素により構成される領域毎に視線ＬＳに重なる確率を推定する。低集中ヒートマップ群推定部１５は、特定の負荷要因の負荷をかけた場合の、任意の画像ＩＭを構成する位置毎の当該確率を二次元状に示す低集中ヒートマップＭＰｌｃを負荷要因毎に生成する。
低集中ヒートマップ群推定部１５は、さらには、連続的に撮像された複数の学習用画像、及び特定の負荷要因の負荷をかけた学習用対象者の実際の視線の機械学習により構築されていてよい。より具体的には、低集中ヒートマップ群推定部１５は、連続的に撮像された複数の学習用画像それぞれに対して、特定の負荷要因の負荷をかけた学習用対象者の視線の位置に基づいて、任意の単一の画像ＩＭを構成する、画素毎、または複数の画素により構成される領域毎に視線ＬＳに重なる確率を推定してよい。低集中ヒートマップ群推定部１５は、さらには、連続的に撮像された複数の学習用画像に対する視線の移動速度が閾値未満である学習用画像、および視線により構築されていてよい。
高集中ヒートマップ推定部１６は、学習用画像と、学習用対象者への負荷を外した場合の当該学習用画像に対する視線との関係を機械学習させた学習データにより構築されている。高集中ヒートマップ推定部１６は、学習用画像と、負荷を外した若しくは負荷を軽減した学習用対象者の視線ＬＳとの関係に基づいて、任意の画像ＩＭを構成する、画素毎、または複数の画素により構成される領域毎に視線ＬＳに重なる確率を推定する。高集中ヒートマップ推定部１６は、負荷を外した場合若しくは負荷を軽減した場合の、任意の画像ＩＭを構成する位置毎の当該確率を二次元状に示す高集中ヒートマップを生成する。
高集中ヒートマップ推定部１６は、さらには、連続的に撮像された複数の学習用画像、及び負荷を外した若しくは負荷を軽減した学習用対象者の実際の視線の機械学習により構築されていてよい。より具体的には、高集中ヒートマップ推定部１６は、連続的に撮像された複数の学習用画像それぞれに対して、負荷を外した若しくは負荷を軽減した学習用対象者の視線の位置に基づいて、任意の単一の画像ＩＭを構成する、画素毎、または複数の画素により構成される領域毎に視線ＬＳに重なる確率を推定してよい。高集中ヒートマップ推定部１６は、さらには、連続的に撮像された複数の学習用画像に対する視線の移動速度が閾値未満である学習用画像、および視線により構築されていてよい。
学習用画像及び視線は、例えば、以下のような負荷試験方法により収集されてよい。負荷試験において、被験者に移動体の運転を行わせてよい。被験者には、負荷を外した状態で指定区間を走らせた後、後に例示する要因別の負荷をかけた状態で同じ区間を走らせてよい。負荷を外した走行及び負荷をかけた走行を２回連続で行わせ、移動体前方の光景が学習用画像として、視線が学習用画像に対する視線として収集されてよい。なお、試験における負荷は、運転中の行動として起こり得る範囲の負荷としてよい。運転中に起こると想定されない高負荷は、試験における負荷として採用されなくてよい。視線を前方から外す必要のある負荷も、試験に採用されなくてよい。視線を外す必要のある負荷は明らかに危険であるため、集中度の測定に用いる必要性が乏しいからである。
負荷試験における負荷は、一桁演算、会話、ラジオの聞取り、２バック演算、眠気、及び疲労を含んでよい。負荷試験においては、例示した各負荷単独、又は複数の負荷の組合せが適用されてよい。
一桁演算は、一桁の足算及び引算の演算少なくとも一方であってよい。一桁演算は、録音した音声によって被験者に問いかけられてよい。一桁演算において、被験者が時間内に答えられない場合、次の問題が問いかけられてよい。一桁演算に対する答えの正答率が閾値以上である場合における前方光景及び視線が学習用に収集されてよい。正答率が閾値以上であることに限定することにより、演算への集中により前方光景の認識への集中を低下させる負荷における視線が収集され得る。二桁以上の演算は負荷が過大であるため負荷試験に用いられなくてよい。
会話は、例えば、仕事、趣味等の内容をテーマとして、被験者及びオペレータ等の協力者によって行われてよい。ラジオの聞取りには、例えば、会話等の内容が放送される番組が適用されてよい。２バック演算は、連続して問いかけられる一桁の数字に対して、２つ前の数字を答える演算であってよい。２桁の数字に対する２バック演算、及び３つ前の数字を答える３バック演算は負荷が課題であるため負荷試験に用いられなくてよい。眠気のある負荷状態は、被験者が眠気を自覚している状態、瞳孔の大きさ、瞼の開き具合等の一般的な眠気指標により眠気があると認定される状態であってよい。疲労の負荷状態は、運動した直後の状態であってよい。
次に、第１の実施形態において制御部１４が実行する、推定処理について、図４のフローチャートを用いて説明する。推定処理は、１フレームの画像ＩＭおよび視線ＬＳを制御部１４が取得するたびに開始する。
ステップＳ１００において、制御部１４は、取得した視線ＬＳの移動速度を、直前に取得した視線ＬＳの位置ＰＥとの比較により算出する。算出後、プロセスはステップＳ１０１に進む。
ステップＳ１０１では、制御部１４は、ステップＳ１０１において算出した移動速度が閾値以上であるか否かを判別する。閾値以上である場合、プロセスはステップＳ１０２に進む。閾値以上でない場合、プロセスはステップＳ１０３に進む。
ステップＳ１０２では、制御部１４は、推定処理の開始時に取得した画像ＩＭおよび視線ＬＳを廃棄する。廃棄後、プロセスはステップＳ１０４に進む。
ステップＳ１０３では、制御部１４は、推定処理の開始時に取得した画像ＩＭおよび視線ＬＳを互いに関連付けてメモリ１３に格納する。格納後、プロセスはステップＳ１０４に進む。
ステップＳ１０４では、制御部１４は、所定の時間間隔で遡った範囲内に格納された画像ＩＭ及び視線ＬＳの組合せ中の画像ＩＭをメモリ１３から読出す。読出し後、プロセスはステップＳ１０５に進む。
ステップＳ１０５では、制御部１４は、ステップＳ１０４において読出した組合せに含まれる複数の画像ＩＭ基づいて、単一の低集中ヒートマップ群及び単一の高集中ヒートマップを推定する。推定後、プロセスはステップＳ１０６に進む。
ステップＳ１０６では、制御部１４は、ステップＳ１０５において推定した低集中ヒートマップ群及び高集中ヒートマップと、推定処理の開始時に取得した視線ＬＳとに基づいて、視線ＬＳに対応する位置ＰＥの確率が最大となるヒートマップを選択する。制御部１４は、選択したヒートマップに対して定められた基準値を、対象者の集中度として算出する。算出後、プロセスはステップＳ１０７に進む。
ステップＳ１０７では、制御部１４は、ステップＳ１０６において算出した集中度を外部機器１７に出力する。出力後、推定処理は終了する。
以上のような構成の第１の実施形態の電子機器１０では、制御部１４は、画像ＩＭに基づいて、負荷がかかる場合における当該画像ＩＭを構成する各位置における視線ＬＳの確率を複数の負荷要因別に示す低集中ヒートマップ群を推定可能な低集中ヒートマップ群推定部１５、及び負荷を外した場合における当該画像ＩＭを構成する各位置における視線ＬＳの確率を示す高集中ヒートマップを推定可能な高集中ヒートマップ推定部１６として機能し、推定された低集中ヒートマップ群及び高集中ヒートマップと、視線ＬＳとに基づいて、対象者の集中度を推定する。例えば、高速道路、市街地、郊外、住宅地などの多様な光景に対して、注視する対象および方向などは変わることが一般的である。また、負荷の種類によって人が注視する対象物の傾向は、変動する。それゆえ、単に視線ＬＳの動きのみの検知では、集中度の推定精度を向上させることが難しい。一方で、前述のような構成により、電子機器１０は、多様な光景に対して複数の負荷要因別に負荷のかかる人が注視する対象物の傾向、及び負荷を外した人が注視する対象物の傾向を学習済みなので、その時々の光景に対応する画像ＩＭおよび視線ＬＳに基づいて、精度の高い集中度を推定し得る。人間の注意力は集中度に影響を受けるので、電子機器１０は、多様な状況における対象者の注意力の推定精度を向上させ得る。
また、第１の実施形態の電子機器１０は、対象者の視線ＬＳに対応する位置ＰＥの確率が最大となるヒートマップが低集中ヒートマップ群のいずれかの低集中ヒートマップＭＰｌｃである場合、当該低集中ヒートマップＭＰｌｃに対応する負荷要因を集中度都どもに出力する。このような構成により、電子機器１０は、対象者の状態に基づいて多様な動作を実行可能な外部機器１７に、有用な情報を提供し得る。
また、第１の実施形態の電子機器１０は、連続的に撮像される複数の画像ＩＭに基づいて、対象者の集中度を算出する。このような構成により、電子機器１０は、変動する光景に対する、負荷要因別又は無負荷状態の人の視線ＬＳを学習済みなので、その変動の中の光景に対応する画像ＩＭに基づいて、さらに精度の高い集中度を算出し得る。
また、第１の実施形態の電子機器１０は、連続的に撮像される複数の画像ＩＭの中で、視線ＬＳの移動速度が閾値を超える画像ＩＭを除外して、対象者の集中度を算出する。光景の中で対象者が注視している物体が、集中度に大きな影響を与える因子であると考えられる。それゆえ、サッカード中のように、任意の物体から他の物体に視線ＬＳが高速で変わる間の、視線ＬＳは集中度に与える影響は低いと考えられる。それゆえ、上述の構成の電子機器１０は、集中度に対する影響が低いと思われる画像ＩＭを除外しているので、よりいっそう精度の高い集中度を算出し得る。
次に、本開示の第２の実施形態に係る電子機器１０について説明する。第２の実施形態では、集中度の算出方法が第１の実施形態と異なっている。以下に、第１の実施形態と異なる点を中心に第２の実施形態について説明する。なお、第１の実施形態と同じ構成を有する部位には同じ符号を付す。
図１に示すように、第２の実施形態に係る電子機器１０は、撮像部１１、視線検知部１２、メモリ１３、および制御部１４を含んで構成される。第２の実施形態における撮像部１１、視線検知部１２、およびメモリ１３の構成および機能は、第１の実施形態と同じである。第２の実施形態における制御部１４の構成は、第１の実施形態と同じである。
第２の実施形態において、制御部１４は、第１の実施形態と同じく、画像ＩＭに基づいて、低集中ヒートマップ群及び高集中ヒートマップを推定する。第２の実施形態において、制御部１４は、第１の実施形態と異なり、連続的に撮像される複数の画像ＩＭに基づいてそれぞれ推定される複数の低集中ヒートマップＭＰｌｃにおいて、当該複数の画像ＩＭに対する視線ＬＳに対応する位置ＰＥの確率の積算値を、負荷要因別に算出してよい。また、制御部１４は、連続的に撮像される複数の画像ＩＭに基づいてそれぞれ推定される複数の高集中ヒートマップにおいて、当該複数の画像ＩＭ毎に対する視線ＬＳに対応する位置ＰＥの確率の積算値を算出してよい。制御部１４は、例えば、最新の画像ＩＭから所定の時間間隔で遡った範囲内のフレームの画像ＩＭにそれぞれ対応する低集中ヒートマップ群及び高集中ヒートマップに対して積算値を算出してよい。
第２の実施形態において、制御部１４は、第１の実施形態に類似して、連続的に撮像される複数の画像ＩＭの中で、視線ＬＳの移動速度が閾値以上である画像ＩＭを除外して、低集中ヒートマップ群及び高集中ヒートマップそれぞれに対して積算値を算出してよい。
第２の実施形態において、制御部１４は、第１の実施形態と異なり、低集中ヒートマップ群及び高集中ヒートマップにそれぞれ算出された積算値に基づいて、以下に例示して説明するように、集中度を算出してよい。
制御部１４は、積算値が最大であるヒートマップを、低集中ヒートマップ群及び高集中ヒートマップの中から選択してよい。第２の実施形態において、制御部１４は、第１の実施形態に類似して、選択されたヒートマップに対して定められた基準値に基づいて、集中度を算出してよい。基準値は、第１の実施形態と同じでも異なっていてもよい。
第２の実施形態において、制御部１４は、第１の実施形態と類似して、選択されたヒートマップが低集中ヒートマップである場合、算出された積算値が大きくなるほど集中度が小さな値になるように、関数又はテーブルを用いて算出してよい。第２の実施形態において、制御部１４は、第１の実施形態と類似して、選択されたヒートマップが高集中ヒートマップである場合、算出された積算値が大きくなるほど集中度が大きな値になるように、関数又はテーブルを用いて算出してよい。
制御部１４は、高集中ヒートマップにおける積算値、及び低集中ヒートマップ群の中で積算値が最大である低集中ヒートマップにおける積算値に基づいて、集中度を算出してよい。制御部１４は、例えば、高集中ヒートマップに対する基準値と、積算値が最大である低集中ヒートマップＭＰｌｃに対する基準値とに、それぞれの積算値に応じた重み付けを施した平均値を、集中度として算出してよい。
第２の実施形態において、制御部１４は、第１の実施形態と同じく、算出した集中度を外部機器１７に出力してよい。
次に、第２の実施形態において制御部１４が実行する、推定処理について、図５のフローチャートを用いて説明する。推定処理は、１フレームの画像ＩＭおよび視線ＬＳを制御部１４が取得するたびに開始する。
ステップＳ２００において、制御部１４は、取得した視線ＬＳの移動速度を、直前に取得した視線ＬＳの位置ＰＥとの比較により算出する。算出後、プロセスはステップＳ２０１に進む。
ステップＳ２０１では、制御部１４は、ステップＳ２００において算出した移動速度が閾値以上であるか否かを判別する。閾値以上である場合、プロセスはステップＳ２０２に進む。閾値以上でない場合、プロセスはステップＳ２０３に進む。
ステップＳ２０２では、制御部１４は、推定処理の開始時に取得した画像ＩＭおよび視線ＬＳを廃棄する。廃棄後、プロセスはステップＳ２０６に進む。
ステップＳ２０３では、制御部１４は、推定処理の開始時に取得した画像ＩＭに基づいて、低集中ヒートマップ群及び高集中ヒートマップを推定する。推定後、プロセスはステップＳ２０４に進む。
ステップＳ２０４では、制御部１４は、ステップＳ２０３において推定した低集中ヒートマップ群及び高集中ヒートマップにおける、推定処理の開始時に取得した視線ＬＳに対応する位置ＰＥの確率を読出す。読出し後、プロセスはステップＳ２０５に進む。
ステップＳ２０５では、制御部１４は、ステップＳ２０４において特定した低集中ヒートマップ群及び高集中ヒートマップに対する確率をメモリ１３に格納する。格納後、プロセスはステップＳ２０６に進む。
ステップＳ２０６では、制御部１４は、推定処理の開始時から遡って所定の時間間隔内の複数の画像ＩＭに基づく低集中ヒートマップ群及び高集中ヒートマップそれぞれの確率をメモリ１３から読出す。読出し後、プロセスはステップＳ２０７に進む。
ステップＳ２０７では、制御部１４は、ステップＳ２０６において読出した確率を、低集中ヒートマップ群に含まれる複数の低集中ヒートマップ別且つ高集中ヒートマップ別に積算することにより積算値を算出する。積算後、プロセスはステップ２０８に進む。
ステップＳ２０８では、制御部１４は、ステップＳ２０７において算出した積算値に基づいて集中度を算出する。算出後、プロセスはステップＳ２０９に進む。
ステップＳ２０９では、制御部１４は、ステップＳ２０８において算出した集中度を外部機器１７に出力する。出力後、推定処理は終了する。
本開示の内容は、当業者であれば本開示に基づき種々の変形および修正を行うことができる。したがって、これらの変形および修正は本開示の範囲に含まれる。例えば、各実施形態において、各機能部、各手段、各ステップなどは論理的に矛盾しないように他の実施形態に追加し、若しくは、他の実施形態の各機能部、各手段、各ステップなどと置き換えることが可能である。また、各実施形態において、複数の各機能部、各手段、各ステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。また、上述した本開示の各実施形態は、それぞれ説明した各実施形態に忠実に実施することに限定されるものではなく、適宜、各特徴を組み合わせたり、一部を省略したりして実施することもできる。
例えば、第１実施形態および第２の実施形態において、電子機器１０が撮像部１１および視線検知部１２を備え、集中度の推定に用いる画像ＩＭおよび視線ＬＳを制御部１４が取得する構成であるが、このような構成に限定されない。図６に示すように、例えば、クラウドサーバなどの情報処理装置１８が、電子機器１０と類似して、画像ＩＭおよび視線ＬＳに基づいて、集中度を推定しよい。このような構成においては、情報処理装置１８は、撮像部１１および視線検知部１２を搭載する移動体１９から、取得部２０を介して画像ＩＭおよび視線ＬＳを情報として取得してよい。情報処理装置１８は、出力部２１を介して推定した集中度を、当該移動体１９における外部機器１７に出力してもよい。
１０ 電子機器
１１ 撮像部
１２ 視線検知部
１３ メモリ
１４ 制御部
１５ 低集中ヒートマップ群推定部
１６ 高集中ヒートマップ推定部
１７ 外部機器
１８ 情報処理装置
１９ 移動体
２０ 取得部
２１ 出力部
ＩＭ 画像
ＬＳ 視線
ＭＰｌｃ 低集中ヒートマップ
ＰＥ 視線の方向に相当する位置

Claims (8)

  1. 撮像により光景に対応する画像を生成する撮像部と、
    前記光景に対する対象者の視線を検知する視線検知部と、
    前記画像および前記視線に基づいて前記対象者の集中度を推定する制御部と、を備え、
    前記制御部は、
    学習用画像と複数の負荷要因別に集中力を低下させる負荷を学習用対象者にかけた場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷のかかる場合における該画像を構成する各位置における前記視線の確率を前記負荷要因別に示す低集中ヒートマップ群を推定可能な低集中ヒートマップ群推定部、及び、学習用画像と学習用対象者への前記負荷を外した場合若しくは前記負荷を軽減した場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷を外した場合若しくは前記負荷を軽減した場合における該画像を構成する各位置における前記視線の確率を示す高集中ヒートマップを推定可能な高集中ヒートマップ推定部として機能し、
    前記低集中ヒートマップ群及び前記高集中ヒートマップと、前記対象者の視線とに基づいて該対象者の集中度を推定する
    電子機器。
  2. 請求項１に記載の電子機器において、
    前記制御部は、前記低集中ヒートマップ群及び前記高集中ヒートマップの中で前記対象者の視線に対応する位置における確率が最大となるヒートマップが、前記低集中ヒートマップ群のいずれかの低集中ヒートマップである場合、該低集中ヒートマップに対応する負荷要因を集中度とともに出力する
    電子機器。
  3. 請求項１又は２に記載の電子機器において、
    前記制御部は、連続的に撮像される複数の前記画像に基づいて、前記対象者の集中度を算出する
    電子機器。
  4. 請求項３に記載の電子機器において、
    前記制御部は、前記連続的に撮像される複数の前記画像の中で、前記複数の画像に対する視線の移動速度が閾値を超える画像を除外して、前記対象者の集中度を算出する
    電子機器。
  5. 光景に対応する画像、および前記光景に対する対象者の視線を取得する取得部と、
    前記画像および前記視線に基づいて前記対象者の集中度を推定する制御部と、
    前記集中度を出力する出力部と、を備え、
    前記制御部は、
    学習用画像と複数の負荷要因別に集中力を低下させる負荷を学習用対象者にかけた場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷のかかる場合における該画像を構成する各位置における前記視線の確率を前記負荷要因別に示す低集中ヒートマップ群を推定可能な低集中ヒートマップ群推定部、及び、学習用画像と学習用対象者への前記負荷を外した場合若しくは前記負荷を軽減した場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷を外した場合若しくは前記負荷を軽減した場合における該画像を構成する各位置における前記視線の確率を示す高集中ヒートマップを推定可能な高集中ヒートマップ推定部として機能し、
    前記低集中ヒートマップ群及び前記高集中ヒートマップと、前記対象者の視線に基づいて該対象者の集中度を推定する
    情報処理装置。
  6. コンピュータを、
    撮像により光景に対応する画像を生成する撮像部と、
    前記光景に対する対象者の視線を検知する視線検知部と、
    前記画像および前記視線に基づいて前記対象者の集中度を推定する制御部と、して機能させ、
    前記制御部は、
    学習用画像と複数の負荷要因別に集中力を低下させる負荷を学習用対象者にかけた場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷のかかる場合における該画像を構成する各位置における前記視線の確率を前記負荷要因別に示す低集中ヒートマップ群を推定可能な低集中ヒートマップ群推定部、及び、学習用画像と学習用対象者への前記負荷を外した場合若しくは前記負荷を軽減した場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷を外した場合若しくは前記負荷を軽減した場合における該画像を構成する各位置における前記視線の確率を示す高集中ヒートマップを推定可能な高集中ヒートマップ推定部として機能し、
    前記低集中ヒートマップ群及び前記高集中ヒートマップと、前記対象者の視線とに基づいて該対象者の集中度を推定する
    集中度算出プログラム。
  7. 撮像により光景に対応する画像を生成する撮像工程と、
    前記光景に対する対象者の視線を検知する視線検知工程と、
    前記画像および前記視線に基づいて前記対象者の集中度を推定する推定工程と、を備え、
    前記推定工程は、
    学習用画像と複数の負荷要因別に集中力を低下させる負荷を学習用対象者にかけた場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷のかかる場合における該画像を構成する各位置における前記視線の確率を前記負荷要因別に示す低集中ヒートマップ群と、学習用画像と学習用対象者への前記負荷を外した場合若しくは前記負荷を軽減した場合の該学習用画像に対する視線との関係が機械学習された学習データによって構築され、前記画像に基づいて前記負荷を外した場合若しくは前記負荷を軽減した場合における該画像を構成する各位置における前記視線の確率を示す高集中ヒートマップとを推定し、
    前記低集中ヒートマップ群及び前記高集中ヒートマップと、前記対象者の視線とに基づいて該対象者の集中度を算出する
    集中度算出方法。
  8. 任意の画像に基づいて、負荷のかかる状態における該画像を構成する各位置における視線が重なる確率を複数の負荷要因別に示す低集中ヒートマップ群と、前記負荷を外した状態における該画像を構成する各位置における前記視線の確率を示す高集中ヒートマップとを推定するために、
    学習用画像と複数の負荷要因別に集中力を低下させる負荷を学習用対象者にかけた場合の該学習用画像に対する視線との関係を機械学習させ、
    学習用画像と学習用対象者への前記負荷を外した場合若しくは前記負荷を軽減した場合の該学習用画像に対する視線との関係を機械学習させる
    コンピュータの学習方法。
JP2020201108A 2020-12-03 2020-12-03 電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法 Pending JP2022088959A (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020201108A JP2022088959A (ja) 2020-12-03 2020-12-03 電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法
PCT/JP2021/044156 WO2022118899A1 (ja) 2020-12-03 2021-12-01 電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法
EP21900650.9A EP4258241A4 (en) 2020-12-03 2021-12-01 ELECTRONIC DEVICE, INFORMATION PROCESSING DEVICE, CONCENTRATION CALCULATION PROGRAM, CONCENTRATION CALCULATION METHOD AND COMPUTER TRAINING METHOD
CN202180081391.2A CN116583872A (zh) 2020-12-03 2021-12-01 电子设备、信息处理装置、专注度计算程序、专注度计算方法及计算机的学习方法
US18/255,547 US20240005676A1 (en) 2020-12-03 2021-12-01 Electronic device, information processing apparatus, degree-of-concentration calculation program, degree-of-concentration calculation method, and computer training method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020201108A JP2022088959A (ja) 2020-12-03 2020-12-03 電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法

Publications (1)

Publication Number Publication Date
JP2022088959A true JP2022088959A (ja) 2022-06-15

Family

ID=81853957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020201108A Pending JP2022088959A (ja) 2020-12-03 2020-12-03 電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法

Country Status (5)

Country Link
US (1) US20240005676A1 (ja)
EP (1) EP4258241A4 (ja)
JP (1) JP2022088959A (ja)
CN (1) CN116583872A (ja)
WO (1) WO2022118899A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4604597B2 (ja) * 2004-07-30 2011-01-05 トヨタ自動車株式会社 状態推定装置、状態推定方法、及びそれを用いた情報提供装置、情報提供方法
US8085140B2 (en) 2006-09-04 2011-12-27 Panasonic Corporation Travel information providing device
US20150339589A1 (en) * 2014-05-21 2015-11-26 Brain Corporation Apparatus and methods for training robots utilizing gaze-based saliency maps
JP2018149941A (ja) * 2017-03-14 2018-09-27 オムロン株式会社 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP6449504B1 (ja) * 2018-05-16 2019-01-09 オムロン株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
EP4258241A1 (en) 2023-10-11
EP4258241A4 (en) 2024-05-29
WO2022118899A1 (ja) 2022-06-09
US20240005676A1 (en) 2024-01-04
CN116583872A (zh) 2023-08-11

Similar Documents

Publication Publication Date Title
JP2022019417A (ja) 電子機器、情報処理装置、覚醒度算出方法および覚醒度算出プログラム
JP6488922B2 (ja) 運転者異常検出装置
JP2013009825A (ja) 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
DE102016121625A1 (de) Vorrichtung und Verfahren zum Überwachen einer Konzentration eines Fahrers mittels Augenverfolgung
Chang et al. Driver fatigue surveillance via eye detection
JP7160867B2 (ja) 電子機器、情報処理装置、推定方法、および推定プログラム
JP2022088959A (ja) 電子機器、情報処理装置、集中度算出プログラム、集中度算出方法、コンピュータの学習方法
JP2022088962A (ja) 電子機器、情報処理装置、集中度算出プログラム、及び集中度算出方法
JP5935759B2 (ja) ドライバ状態判定システム
JP2022019413A (ja) 電子機器、情報処理装置、推定方法、および推定プログラム
JP6281238B2 (ja) 認知度推定装置および認知度推定方法
EP4332885A1 (en) Electronic device, control method for electronic device, and program
EP4332886A1 (en) Electronic device, method for controlling electronic device, and program
WO2021256288A1 (ja) 顔構造推定装置、顔構造推定方法、および顔構造推定プログラム
JP2024128869A (ja) 電子機器、集中度算出方法、及び集中度算出プログラム
GB2626136A (en) System and method for estimation of eye gaze direction of a user with or without eyeglasses
JP2021157247A (ja) 判定装置
JP2021144309A (ja) リスク情報出力装置
JP2024140301A (ja) 興味関心度推定装置
Nagy et al. Enhancing bus safety: A modular driver monitoring system
JP2024094911A (ja) 表示制御方法及び表示制御装置
DE102012024319A1 (de) Vorrichtung, Verfahren und Computerprogramm zur Verarbeitung von Bilddaten in einem Fahrzeug
Miyake et al. Evaluation of driving attentiveness through usage of fuzzy inference
Samerender et al. Pupillometry in conjugation with automatic parking as a tool of automobile safety

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240709

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240904