JP2021157523A - Image processing device, image processing method and program - Google Patents

Image processing device, image processing method and program Download PDF

Info

Publication number
JP2021157523A
JP2021157523A JP2020057435A JP2020057435A JP2021157523A JP 2021157523 A JP2021157523 A JP 2021157523A JP 2020057435 A JP2020057435 A JP 2020057435A JP 2020057435 A JP2020057435 A JP 2020057435A JP 2021157523 A JP2021157523 A JP 2021157523A
Authority
JP
Japan
Prior art keywords
line
sight
image
calibration
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020057435A
Other languages
Japanese (ja)
Other versions
JP7521220B2 (en
Inventor
涼 都丸
Ryo Tomaru
涼 都丸
裕芝 野々山
Hiroshi Nonoyama
裕芝 野々山
昌秀 北野
Masahide Kitano
昌秀 北野
豊 竹井
Yutaka Takei
豊 竹井
英恵 下村
Hanae SHIMOMURA
英恵 下村
真吾 千代延
Shingo Chiyonobu
真吾 千代延
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2020057435A priority Critical patent/JP7521220B2/en
Publication of JP2021157523A publication Critical patent/JP2021157523A/en
Application granted granted Critical
Publication of JP7521220B2 publication Critical patent/JP7521220B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

To improve the efficiency of a calibration work about sight line estimation.SOLUTION: An image processing device comprises: an acquisition unit which acquires a calibration image including a first sight line image of a subject and identification information indicating a correct position in the sight line direction of the subject; and an output unit which outputs calibration information in which the first sight line image is associated with the correct position included in the identification information on the basis of the calibration image.SELECTED DRAWING: Figure 6

Description

本開示は、視線推定のキャリブレーション等に関する。 The present disclosure relates to calibration of line-of-sight estimation and the like.

視線情報を用いて顧客がどこを見ているのかを推定する視線推定技術がある。視線推定技術に基づく視線推定装置は、被験者の顔画像を撮影し、顔画像に含まれる視線情報に基づき被験者の視線方向を推定する。 There is a line-of-sight estimation technique that estimates where a customer is looking using line-of-sight information. The line-of-sight estimation device based on the line-of-sight estimation technique takes a face image of the subject and estimates the line-of-sight direction of the subject based on the line-of-sight information included in the face image.

国際公開第２０１７／０８５７７１号International Publication No. 2017/085771 特開２００６−２９３７８６号公報Japanese Unexamined Patent Publication No. 2006-293786

視線推定装置では、視線推定の精度を向上させるためにキャリブレーション作業が行われる。キャリブレーション作業では、キャリブレーション点とよばれる正解位置を見る被験者を撮影したキャリブレーション画像に対して、被験者の視線方向ごとに正解位置を後付けで付与している。このため、被験者１人あたりのキャリブレーション作業に時間が掛かり、視線推定の精度を向上させるためのキャリブレーション作業の効率化が求められている。
本開示の目的は、視線推定に関するキャリブレーション作業を効率化することにある。 In the line-of-sight estimation device, calibration work is performed in order to improve the accuracy of line-of-sight estimation. In the calibration work, the correct answer position is retrofitted for each line-of-sight direction of the subject to the calibration image obtained by photographing the subject who sees the correct answer position called the calibration point. Therefore, it takes time for the calibration work per subject, and it is required to improve the efficiency of the calibration work in order to improve the accuracy of the line-of-sight estimation.
An object of the present disclosure is to streamline the calibration work related to the line-of-sight estimation.

本開示の画像処理装置は、被験者の第１の視線画像と、前記被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得する取得部と、前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する出力部と、を備える。
本開示の画像処理方法は、被験者の第１の視線画像と、前記被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得し、前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する。
本開示のプログラムは、被験者の第１の視線画像と、前記被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得し、前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する、ことをコンピュータに実行させる。 The image processing apparatus of the present disclosure is based on an acquisition unit that acquires a calibration image including a first line-of-sight image of a subject, identification information indicating a correct position in the line-of-sight direction of the subject, and the calibration image. It includes an output unit that outputs calibration information in which the first line-of-sight image and the correct answer position included in the identification information are associated with each other.
The image processing method of the present disclosure acquires a calibration image including a first line-of-sight image of a subject and identification information indicating a correct position in the line-of-sight direction of the subject, and based on the calibration image, the first The calibration information associated with the line-of-sight image of the above and the correct answer position included in the identification information is output.
The program of the present disclosure acquires a calibration image including a first line-of-sight image of a subject and identification information indicating a correct position in the line-of-sight direction of the subject, and based on the calibration image, the first line-of-sight. The computer is made to output the calibration information associated with the image and the correct position included in the identification information.

本開示によれば、視線推定に関するキャリブレーション作業を効率化することができる。 According to the present disclosure, it is possible to streamline the calibration work related to the line-of-sight estimation.

視線推定システムの構成の例を示すブロック図である。It is a block diagram which shows the example of the structure of the line-of-sight estimation system. キャリブレーション画像の撮影例を示す上面図である。It is a top view which shows the example of taking a calibration image. キャリブレーションボードの例を示す図である。It is a figure which shows the example of the calibration board. キャリブレーション画像の例を示す図である。It is a figure which shows the example of the calibration image. 正解位置と識別情報との関係を示すテーブルである。It is a table showing the relationship between the correct answer position and the identification information. 第１の実施形態に係る画像処理装置の構成の例を示すブロック図である。It is a block diagram which shows the example of the structure of the image processing apparatus which concerns on 1st Embodiment. 画像処理装置を含む視線推定装置の構成の例を示す図である。It is a figure which shows the example of the structure of the line-of-sight estimation apparatus including an image processing apparatus. 視線推定システムの動作の例を示すフローチャートである。It is a flowchart which shows the example of the operation of the line-of-sight estimation system. 第１の実施形態に係る画像処理装置の動作の例を示すフローチャートである。It is a flowchart which shows the example of the operation of the image processing apparatus which concerns on 1st Embodiment. 視線推定システムの変形例の構成の例を示すブロック図である。It is a block diagram which shows the example of the structure of the modification of the line-of-sight estimation system. 正解位置、識別情報および誘導音声との関係を示すテーブルである。It is a table showing the relationship between the correct answer position, the identification information, and the guidance voice. 視線推定システムの変形例の動作の例を示すフローチャートである。It is a flowchart which shows the example of the operation of the modification of the line-of-sight estimation system. コンピュータによるハードウエア構成を示す図である。It is a figure which shows the hardware configuration by a computer.

（第１の実施形態）
第１の実施形態に係る画像処理装置、及び、画像処理装置を含む視線推定システムについて図面を用いて説明する。図１は、視線推定システムの構成の例を示すブロック図である。図１に示す視線推定システム１は、カメラ５、画像処理装置１０、識別情報表示装置２０、識別情報生成装置２２、識別情報データベース２３、視線推定装置３０、視線情報データベース４０を備える。
カメラ５は、分析対象となる被験者の視線画像（第２の視線画像とも呼ばれる）、及び、キャリブレーション画像を撮影する。被験者の視線画像、キャリブレーション画像は動画像（映像）又は静止画像である。カメラ５は、分析対象となる被験者の視線画像を視線推定装置３０に出力し、キャリブレーション画像を画像処理装置１０に出力する。カメラ５は、画像処理装置１０又は識別情報表示装置２０からの撮影指示に応じてキャリブレーション画像を撮影してもよい。
識別情報表示装置２０は、画面上に識別情報を表示する。識別情報は、視線推定面上における正解位置の空間的な配置を識別するための情報である。例えば、キャリブレーションボード上に配置する正解位置を識別するための識別コードである。キャリブレーションボードと正解位置については後述する。識別情報表示装置２０は、キャリブレーションボードの正解位置ごとに異なる識別情報を表示する。識別コードは、例えば、２次元コード、１次元コードである。２次元コードは、例えばＱＲコード（登録商標）である。識別情報表示装置２０は、例えば、タブレット端末又はスマートフォン等の表示画面を備えるコンピュータである。識別情報表示装置２０は、例えば、所定の時間間隔で複数の識別情報を画面に表示する。なお、識別情報表示装置２０は、ディスプレイであってもよい。その場合、外部装置（図示せず）から出力された識別情報を受付けて表示する。
識別情報生成装置２２は、識別情報表示装置２０が画面に表示する識別情報を生成する。識別情報は、キャリブレーションボードの視線推定面上における正解位置の空間的な配置を識別するための情報である。このため、識別情報は、例えば、キャリブレーションボードごとに、各キャリブレーションボードにおける正解位置の配置、正解位置の数に応じて異なる情報となる。識別情報生成装置２２は、生成した識別情報を、識別情報表示装置２０、又は、識別情報データベース２３に出力する。
上記では、視線推定面上の正解位置を空間的に配置するためにキャリブレーションボードを用いる例で説明したが、これに限られない。例えば、視線推定面上にディスプレイを設置し、ディスプレイにキャリブレーション点（正解位置）を表示してもよい。また、キャリブレーション点が動画で表示され、正解位置の配置間を動くキャリブレーション点を被験者の目で追わせてもよい。例えば、ＱＲコードを表示するタブレット端末が、視線推定面上のディスプレイにキャリブレーション点の動画を出力してもよい。その場合、動画と連動させて、被験者が見ているキャリブレーション点の位置情報がＱＲコードで表示される。
図２は、キャリブレーション画像の撮影の例を示す上面図である。キャリブレーション画像の撮影には、例えば、キャリブレーションボード５１が用いられる。キャリブレーションボード５１には、キャリブレーションのための正解位置が付与されている。被験者５０は、キャリブレーションボード５１に向うように配置される。このとき、キャリブレーションボード５１が視線推定面となり、被験者５０の目の位置が被写体面５２となる。カメラ５は、キャリブレーションボード５１の上に配置される。
図３は、キャリブレーションボード５１の例を示す図である。図３に示すキャリブレーションボード５１には、４つの角にそれぞれキャリブレーションための正解位置５１１、正解位置５１２、正解位置５１３、正解位置５１４が配置される。図３のキャリブレーションボードには、被験者５０が目視できる大きさで番号が設置されている。
キャリブレーション画像の撮影の説明において、キャリブレーションボードの正解位置に番号を付与する例で説明したが、これに限られない。被験者が視認可能な目印が正解位置に配置されていればよい。
図４は、カメラ５で撮影されるキャリブレーション画像の例を示す図である。キャリブレーション画像には、被験者の顔画像（視線画像を含む）と、識別情報表示装置２０に表示された識別情報２１が含まれる。キャリブレーション画像に含まれる識別情報２１は、キャリブレーションボード５１に配置された正解位置を示す識別コードである。
識別情報表示装置２０が表示する識別情報２１について説明する。図５は、正解位置と識別情報との関係を示すテーブルである。図５のＱＲコード１〜４は、それぞれキャリブレーションボードの正解位置に紐づく正解位置ＩＤ（Identifier）の１〜４に対応する。識別情報表示装置２０は、図５に示すテーブルを参照し、正解位置ごとにＱＲコードを表示する。
＜画像処理装置＞
第１の実施形態に係る画像処理装置１０について図面を用いて説明する。図６は、第１の実施形態に係る画像処理装置１０の構成の例を示すブロック図である。図６に示す画像処理装置１０は、取得部１１と、出力部１２、記憶部（図示せず）を備える。
取得部１１は、被験者の視線画像（第１の視線画像）と、被験者の視線方向の正解位置を示す識別情報２１と、を含むキャリブレーション画像を取得する。出力部１２は、キャリブレーション画像に基づき、被験者の視線画像（第１の視線画像）と、識別情報２１に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する。例えば、出力部１２は、正解位置を示す識別情報２１ごとに被験者の視線画像ファイルに正解位置の情報を付与して出力する。キャリブレーション画像の出力先は、例えば、画像処理装置１０と通信可能に接続された視線推定装置３０である。なお、出力部１２は、キャリブレーション情報を記憶部（図示せず）に記憶させてもよい。
＜視線推定装置＞
図１に示す視線推定装置３０は、分析対象となる被験者の視線画像と、キャリブレーション画像に基づき、分析対象の視線画像における被験者の視線を推定する。視線推定装置３０は、視線推定部３１を備える。
視線推定部３１は、被験者の顔画像に含まれる視線画像から、被験者の視線を推定する。具体的には、視線推定部３１は、視線画像から視線角度を推定し、被験者の視線を推定する。視線推定部３１は、周知である任意の視線の推定方法を用いることができる。本実施形態では、視線推定部３１は、分析対象となる被験者の視線画像とキャリブレーション画像を用い、ホモグラフィ変換などによって、被写体面と視線推定面の関係に基づき、視線を推定する。視線推定部３１は、視線の推定結果を出力する。出力先の例は、視線推定装置３０と通信可能に接続された視線情報データベース４０である。
図１では、画像処理装置１０と視線推定装置３０が分離された構成の例で説明したが、これに限られない。視線推定装置３０は、画像処理装置１０を含んだ構成であってもよい。図７は、画像処理装置１０を含む視線推定装置３０の構成の例を示す図である。図７に示す視線推定装置３０は、画像処理装置１０、視線推定部３１を備える。
図７に示す視線推定装置３０において、視線推定部３１は、カメラ５からの分析対象となる被験者の視線画像（第２の視線画像）を受付け、画像処理装置１０は、キャリブレーション画像を受付ける。画像処理装置１０は、受付けたキャリブレーション画像に基づき、被験者の視線画像（第１の視線画像）と、識別情報２１に含まれる正解位置とを関連付けたキャリブレーション情報を、視線推定部３１に送る。視線推定部３１は、キャリブレーション情報を用いて、分析対象となる被験者の視線画像（第２の視線画像）から視線を推定する。
次に、第１の実施形態に係る画像処理装置１０の動作、および、視線推定システム１の動作について図面を用いて説明する。図８は、図１に示す視線推定システム１の動作の例を示すフローチャートである。以下の説明では、視線推定システムの動作について、被験者撮影処理、キャリブレーション撮影処理、キャリブレーション画像処理、視線推定処理に分けて説明する。
［被験者撮影処理］
カメラ５は、分析対象となる被験者の視線画像（第２の視線画像）を撮影し（ステップＳ１１１）、分析対象となる被験者の視線画像を視線推定装置３０に出力する。
［キャリブレーション撮影処理］
識別情報表示装置２０は、画面に正解位置に対応する識別情報２１を表示する（ステップＳ１２）。被験者は、識別情報２１に対応するキャリブレーションボードの正解位置を見る。カメラ５は、被験者の視線画像（第１の視線画像）と識別情報表示装置２０に表示された識別情報２１を含むキャリブレーション画像を撮影する（ステップＳ１１３）。キャリブレーションボードに配置された正解位置ごとに、ステップＳ１１２〜Ｓ１１３を繰り返す。カメラ５は、キャリブレーション画像を画像処理装置１０に出力する。
［キャリブレーション画像処理］
画像処理装置１０は、キャリブレーション画像に基づき、キャリブレーション情報を出力する（ステップＳ１１４）。ステップＳ１１４は、画像処理装置１０の動作に対応する。図９は、画像処理装置１０の動作の例を示すフローチャートである。取得部１１は、被験者の視線画像（第１の視線画像）と、被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得する（ステップＳ１１）。取得部１１は、取得したキャリブレーション画像を出力部１２に送る。出力部１２は、キャリブレーション画像に基づき、被験者の視線画像（第１の視線画像）と、識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する（ステップＳ１２）。詳しくは、出力部１２は、キャリブレーション情報を視線推定装置３０に出力する。
［視線推定処理］
視線推定装置３０は、分析対象となる被験者の視線画像（第２の視線画像）と、キャリブレーション情報を受付ける（ステップＳ１１５）。視線推定装置３０の視線推定部３１は、キャリブレーション情報を用いて、分析対象となる被験者の視線画像（第２の視線画像）から視線を推定する（ステップＳ１１６）。
（第１の実施形態の効果）
第１の実施形態の画像処理装置１０によれば、取得部１１は、被験者の第１の視線画像と、被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得する。出力部１２は、キャリブレーション画像に基づき、第１の視線画像と、識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する。キャリブレーション画像からキャリブレーションの正解位置と、その正解位置を見る被験者の視線画像（視線情報）を得ることができるので、正解位置を付与する後処理が不要となる。
なお、画像処理装置１０を含む視線推定装置３０は、カメラ５から、分析対象となる被験者の視線画像（第２の視線画像）と、キャリブレーション画像を取得することで、分析対象の視線画像の視線の推定を開始することができるため、分析処理の時間を大幅に削減できる。
（変形例）
次に、視線推定システム１の変形例について図面を用いて説明する。図１０は、視線推定システムの変形例の構成の例を示すブロック図である。図１０に示す視線推定システム１の変形例は、図１に示す視線推定システムに音声出力装置２４が追加されている。音声出力装置２４は、キャリブレーション撮影処理の際に、被験者が目を向ける正解位置を指示する誘導音声を出力する。また、誘導音声には、被験者に対し正解位置を注視して欲しい時間間隔とその時間間隔のカウントを含めてもよい。
図１１は、正解位置、識別情報および誘導音声との関係を示すテーブルである。図１１に示す誘導音声は、キャリブレーションボード５１の正解位置に対する識別子、及び、識別情報とに関連付けされている。図１１に示す誘導音声の例は、「まず、５秒間、左上を見てください。５，４，３，２，１…」である。
図１２は、視線推定システム１の変形例の動作の例を示すフローチャートである。図１２に示す視線推定システム１の変形例の動作は、図８に示す視線推定システム１の動作におけるキャリブレーション撮影処理のステップＳ１１２がステップＳ２１２となっている点が異なる。このため、視線推定システム１の変形例のステップＳ２１２を説明し、他のステップの詳細な説明は省略する。
識別情報表示装置２０は、ステップＳ１１１の後、画面に正解位置に対応する識別情報を表示すると共に誘導音声を出力する（ステップＳ２１２）。誘導音声によって、被験者は、識別情報に対応するキャリブレーションボードの正解位置を見るよう指示される。カメラ５は、被験者の視線画像（第１の視線画像）と識別情報表示装置２０に表示された識別情報を含むキャリブレーション画像を撮影する（ステップＳ１１３）。キャリブレーションボードに配置された正解位置ごとに、ステップＳ２１２〜Ｓ１１３を繰り返す。カメラ５は、キャリブレーション画像を画像処理装置１０に出力する。
視線推定システム１の変形例において、音声出力装置２４は、識別情報表示装置２０の識別情報の表示と共に、被験者が目を向ける正解位置を指示する誘導音声を出力する。誘導音声の指示により被験者はキャリブレーションボードの正解位置をスムーズに注視することができる。さらに、誘導音声に正解位置を注視する時間間隔とカウントを含めることで、被験者がキャリブレーションボードの正解位置を注視する時間を安定化させることが可能になる。これにより、視線推定装置３０による視線推定の精度を向上させることができる。
（ハードウエア構成）
画像処理装置１０は、図１３に示すコンピュータ６０によって構成される。画像処理装置１０は、ＣＰＵ（Central Processing Unit）６１で、画像処理装置１０の各構成要素の機能をプログラム６４で実行することにより実現する。画像処理装置１０の各構成要素の機能は、ＣＰＵ６１がＲＯＭ（Read Only Memory）６２あるいは記憶装置６５からプログラム６４を読み込み、読み込んだプログラム６４を、ＣＰＵ６１、及び、ＲＡＭ（Random Access Memory）６３を用いて実行することで実現されてもよい。各構成要素とは、画像処理装置１０の取得部１１、出力部１２である。
また、上述の画像処理装置１０をＣＰＵ６１に機能させるためのプログラムが格納されたコンピュータ読み取り可能な記憶媒体６６によって構成されると捉えることもできる。なお、視線推定装置３０もコンピュータ６０によって構成することができる。記憶媒体６６は、例えばハードディスクドライブ、ドライブ装置６７に着脱可能なディスク媒体やメモリカードなどである。例えば、画像処理装置１０の取得部１１、出力部１２の構成要素は、集積回路による専用のハードウエアであってもよい。またコンピュータ６０は、ネットワークと接続可能な通信インターフェース６８、入出力インターフェース６９を含む。また、画像処理装置１０、視線推定装置３０の構成要素は、複数の装置に分散して配置されてもよく、その場合、複数の装置間を通信可能に接続することで装置単体と同様に機能することができる。なお、識別情報表示装置２０、識別情報生成装置２２、音声出力装置２４もコンピュータ６０によって実現される構成であってもよい。
本開示は上述した各実施形態に限定されるものではなく、種々の変更が可能であり、異なる実施形態にそれぞれ開示された構成、動作、処理を適宜組み合わせて得られる実施形態についても本開示の技術的範囲に含まれる。
以上、上述した実施形態を模範的な例として本開示を説明した。しかしながら、本開示は、上述した実施形態には限定されない。即ち、本開示は、本開示のスコープ内において、当業者が理解し得る様々な態様を適用することができる。 (First Embodiment)
The image processing apparatus according to the first embodiment and the line-of-sight estimation system including the image processing apparatus will be described with reference to the drawings. FIG. 1 is a block diagram showing an example of the configuration of the line-of-sight estimation system. The line-of-sight estimation system 1 shown in FIG. 1 includes a camera 5, an image processing device 10, an identification information display device 20, an identification information generation device 22, an identification information database 23, a line-of-sight estimation device 30, and a line-of-sight information database 40.
The camera 5 captures a line-of-sight image (also referred to as a second line-of-sight image) of the subject to be analyzed and a calibration image. The line-of-sight image and the calibration image of the subject are a moving image (video) or a still image. The camera 5 outputs the line-of-sight image of the subject to be analyzed to the line-of-sight estimation device 30, and outputs the calibration image to the image processing device 10. The camera 5 may capture a calibration image in response to a imaging instruction from the image processing device 10 or the identification information display device 20.
The identification information display device 20 displays the identification information on the screen. The identification information is information for identifying the spatial arrangement of the correct answer position on the line-of-sight estimation surface. For example, it is an identification code for identifying the correct answer position to be placed on the calibration board. The calibration board and the correct position will be described later. The identification information display device 20 displays different identification information for each correct position on the calibration board. The identification code is, for example, a two-dimensional code or a one-dimensional code. The two-dimensional code is, for example, a QR code (registered trademark). The identification information display device 20 is, for example, a computer provided with a display screen such as a tablet terminal or a smartphone. The identification information display device 20 displays, for example, a plurality of identification information on the screen at predetermined time intervals. The identification information display device 20 may be a display. In that case, the identification information output from the external device (not shown) is received and displayed.
The identification information generation device 22 generates identification information to be displayed on the screen by the identification information display device 20. The identification information is information for identifying the spatial arrangement of the correct answer position on the line-of-sight estimation surface of the calibration board. Therefore, for example, the identification information is different for each calibration board depending on the arrangement of the correct answer positions and the number of correct answer positions on each calibration board. The identification information generation device 22 outputs the generated identification information to the identification information display device 20 or the identification information database 23.
In the above, the example in which the calibration board is used to spatially arrange the correct position on the line-of-sight estimation surface has been described, but the present invention is not limited to this. For example, a display may be installed on the line-of-sight estimation surface, and the calibration point (correct answer position) may be displayed on the display. In addition, the calibration points may be displayed as a moving image, and the calibration points moving between the arrangements of the correct answer positions may be followed by the eyes of the subject. For example, a tablet terminal displaying a QR code may output a moving image of the calibration point to a display on the line-of-sight estimation surface. In that case, the position information of the calibration point viewed by the subject is displayed as a QR code in conjunction with the moving image.
FIG. 2 is a top view showing an example of taking a calibration image. For example, a calibration board 51 is used for taking a calibration image. The calibration board 51 is provided with a correct position for calibration. Subject 50 is placed facing the calibration board 51. At this time, the calibration board 51 becomes the line-of-sight estimation surface, and the eye position of the subject 50 becomes the subject surface 52. The camera 5 is arranged on the calibration board 51.
FIG. 3 is a diagram showing an example of the calibration board 51. On the calibration board 51 shown in FIG. 3, correct answer positions 511, correct answer positions 512, correct answer positions 513, and correct answer positions 514 for calibration are arranged at each of the four corners. On the calibration board of FIG. 3, numbers are installed in a size that can be visually recognized by the subject 50.
In the explanation of taking the calibration image, the example of assigning a number to the correct position of the calibration board has been described, but the present invention is not limited to this. It suffices if the mark visible to the subject is placed at the correct position.
FIG. 4 is a diagram showing an example of a calibration image taken by the camera 5. The calibration image includes a face image (including a line-of-sight image) of a subject and identification information 21 displayed on the identification information display device 20. The identification information 21 included in the calibration image is an identification code indicating a correct answer position arranged on the calibration board 51.
The identification information 21 displayed by the identification information display device 20 will be described. FIG. 5 is a table showing the relationship between the correct answer position and the identification information. The QR codes 1 to 4 in FIG. 5 correspond to the correct answer position IDs (Identifiers) 1 to 4 associated with the correct answer positions on the calibration board, respectively. The identification information display device 20 refers to the table shown in FIG. 5 and displays a QR code for each correct answer position.
<Image processing device>
The image processing apparatus 10 according to the first embodiment will be described with reference to the drawings. FIG. 6 is a block diagram showing an example of the configuration of the image processing device 10 according to the first embodiment. The image processing device 10 shown in FIG. 6 includes an acquisition unit 11, an output unit 12, and a storage unit (not shown).
The acquisition unit 11 acquires a calibration image including the subject's line-of-sight image (first line-of-sight image) and the identification information 21 indicating the correct position in the subject's line-of-sight direction. Based on the calibration image, the output unit 12 outputs calibration information in which the subject's line-of-sight image (first line-of-sight image) and the correct position included in the identification information 21 are associated with each other. For example, the output unit 12 adds information on the correct answer position to the line-of-sight image file of the subject for each identification information 21 indicating the correct answer position and outputs the information. The output destination of the calibration image is, for example, the line-of-sight estimation device 30 communicatively connected to the image processing device 10. The output unit 12 may store the calibration information in a storage unit (not shown).
<Gaze estimation device>
The line-of-sight estimation device 30 shown in FIG. 1 estimates the line-of-sight of the subject in the line-of-sight image of the analysis target based on the line-of-sight image of the subject to be analyzed and the calibration image. The line-of-sight estimation device 30 includes a line-of-sight estimation unit 31.
The line-of-sight estimation unit 31 estimates the line-of-sight of the subject from the line-of-sight image included in the face image of the subject. Specifically, the line-of-sight estimation unit 31 estimates the line-of-sight angle from the line-of-sight image and estimates the line-of-sight of the subject. The line-of-sight estimation unit 31 can use any well-known line-of-sight estimation method. In the present embodiment, the line-of-sight estimation unit 31 estimates the line-of-sight based on the relationship between the subject surface and the line-of-sight estimation surface by homography transformation or the like using the line-of-sight image and the calibration image of the subject to be analyzed. The line-of-sight estimation unit 31 outputs the line-of-sight estimation result. An example of the output destination is the line-of-sight information database 40 that is communicably connected to the line-of-sight estimation device 30.
In FIG. 1, an example of a configuration in which the image processing device 10 and the line-of-sight estimation device 30 are separated has been described, but the present invention is not limited to this. The line-of-sight estimation device 30 may be configured to include an image processing device 10. FIG. 7 is a diagram showing an example of the configuration of the line-of-sight estimation device 30 including the image processing device 10. The line-of-sight estimation device 30 shown in FIG. 7 includes an image processing device 10 and a line-of-sight estimation unit 31.
In the line-of-sight estimation device 30 shown in FIG. 7, the line-of-sight estimation unit 31 receives the line-of-sight image (second line-of-sight image) of the subject to be analyzed from the camera 5, and the image processing device 10 receives the calibration image. Based on the received calibration image, the image processing device 10 sends the calibration information associated with the line-of-sight image (first line-of-sight image) of the subject and the correct answer position included in the identification information 21 to the line-of-sight estimation unit 31. .. The line-of-sight estimation unit 31 estimates the line-of-sight from the line-of-sight image (second line-of-sight image) of the subject to be analyzed by using the calibration information.
Next, the operation of the image processing device 10 and the operation of the line-of-sight estimation system 1 according to the first embodiment will be described with reference to the drawings. FIG. 8 is a flowchart showing an example of the operation of the line-of-sight estimation system 1 shown in FIG. In the following description, the operation of the line-of-sight estimation system will be described separately for subject imaging processing, calibration imaging processing, calibration image processing, and line-of-sight estimation processing.
[Subject photography processing]
The camera 5 captures a line-of-sight image (second line-of-sight image) of the subject to be analyzed (step S111), and outputs the line-of-sight image of the subject to be analyzed to the line-of-sight estimation device 30.
[Calibration shooting process]
The identification information display device 20 displays the identification information 21 corresponding to the correct answer position on the screen (step S12). The subject sees the correct position of the calibration board corresponding to the identification information 21. The camera 5 captures a calibration image including the subject's line-of-sight image (first line-of-sight image) and the identification information 21 displayed on the identification information display device 20 (step S113). Steps S112 to S113 are repeated for each correct position placed on the calibration board. The camera 5 outputs the calibrated image to the image processing device 10.
[Calibration image processing]
The image processing device 10 outputs calibration information based on the calibration image (step S114). Step S114 corresponds to the operation of the image processing device 10. FIG. 9 is a flowchart showing an example of the operation of the image processing device 10. The acquisition unit 11 acquires a calibration image including the subject's line-of-sight image (first line-of-sight image) and identification information indicating the correct position in the subject's line-of-sight direction (step S11). The acquisition unit 11 sends the acquired calibration image to the output unit 12. Based on the calibration image, the output unit 12 outputs calibration information in which the subject's line-of-sight image (first line-of-sight image) and the correct position included in the identification information are associated with each other (step S12). Specifically, the output unit 12 outputs the calibration information to the line-of-sight estimation device 30.
[Gaze estimation process]
The line-of-sight estimation device 30 receives the line-of-sight image (second line-of-sight image) of the subject to be analyzed and the calibration information (step S115). The line-of-sight estimation unit 31 of the line-of-sight estimation device 30 estimates the line-of-sight from the line-of-sight image (second line-of-sight image) of the subject to be analyzed using the calibration information (step S116).
(Effect of the first embodiment)
According to the image processing device 10 of the first embodiment, the acquisition unit 11 acquires a calibration image including a first line-of-sight image of the subject and identification information indicating a correct position in the line-of-sight direction of the subject. The output unit 12 outputs the calibration information in which the first line-of-sight image and the correct position included in the identification information are associated with each other based on the calibration image. Since the correct answer position of the calibration and the line-of-sight image (line-of-sight information) of the subject who sees the correct answer position can be obtained from the calibration image, post-processing for assigning the correct answer position becomes unnecessary.
The line-of-sight estimation device 30 including the image processing device 10 acquires the line-of-sight image (second line-of-sight image) of the subject to be analyzed and the calibration image from the camera 5 to obtain the line-of-sight image of the analysis target. Since the line-of-sight estimation can be started, the analysis processing time can be significantly reduced.
(Modification example)
Next, a modified example of the line-of-sight estimation system 1 will be described with reference to the drawings. FIG. 10 is a block diagram showing an example of the configuration of a modified example of the line-of-sight estimation system. As a modification of the line-of-sight estimation system 1 shown in FIG. 10, a voice output device 24 is added to the line-of-sight estimation system shown in FIG. The voice output device 24 outputs a guidance voice instructing the correct answer position to which the subject looks at during the calibration imaging process. In addition, the guidance voice may include a time interval at which the subject is requested to gaze at the correct answer position and a count of the time interval.
FIG. 11 is a table showing the relationship between the correct answer position, the identification information, and the guidance voice. The guidance voice shown in FIG. 11 is associated with an identifier for the correct position of the calibration board 51 and identification information. An example of the guidance voice shown in FIG. 11 is "First, look at the upper left for 5 seconds. 5, 4, 3, 2, 1 ...".
FIG. 12 is a flowchart showing an example of the operation of the modified example of the line-of-sight estimation system 1. The operation of the modified example of the line-of-sight estimation system 1 shown in FIG. 12 is different in that step S112 of the calibration imaging process in the operation of the line-of-sight estimation system 1 shown in FIG. 8 is step S212. Therefore, step S212 of the modified example of the line-of-sight estimation system 1 will be described, and detailed description of the other steps will be omitted.
After step S111, the identification information display device 20 displays the identification information corresponding to the correct answer position on the screen and outputs the guidance voice (step S212). The guidance voice instructs the subject to look at the correct position of the calibration board corresponding to the identification information. The camera 5 captures a calibration image including the subject's line-of-sight image (first line-of-sight image) and the identification information displayed on the identification information display device 20 (step S113). Steps S212 to S113 are repeated for each correct position placed on the calibration board. The camera 5 outputs the calibrated image to the image processing device 10.
In a modified example of the line-of-sight estimation system 1, the voice output device 24 displays the identification information of the identification information display device 20 and outputs a guidance voice instructing the correct position where the subject looks. The subject can smoothly gaze at the correct position of the calibration board by the instruction of the guidance voice. Furthermore, by including the time interval and the count for gazing at the correct answer position in the guidance voice, it becomes possible to stabilize the time for the subject to gaze at the correct answer position on the calibration board. Thereby, the accuracy of the line-of-sight estimation by the line-of-sight estimation device 30 can be improved.
(Hardware configuration)
The image processing device 10 is composed of the computer 60 shown in FIG. The image processing device 10 is realized by executing the functions of each component of the image processing device 10 by the program 64 in the CPU (Central Processing Unit) 61. As for the function of each component of the image processing device 10, the CPU 61 reads the program 64 from the ROM (Read Only Memory) 62 or the storage device 65, and the read program 64 is used by the CPU 61 and the RAM (Random Access Memory) 63. It may be realized by executing. Each component is an acquisition unit 11 and an output unit 12 of the image processing device 10.
Further, it can be considered that the image processing device 10 is composed of a computer-readable storage medium 66 in which a program for causing the CPU 61 to function is stored. The line-of-sight estimation device 30 can also be configured by the computer 60. The storage medium 66 is, for example, a hard disk drive, a disk medium or a memory card that can be attached to and detached from the drive device 67. For example, the components of the acquisition unit 11 and the output unit 12 of the image processing device 10 may be dedicated hardware by an integrated circuit. The computer 60 also includes a communication interface 68 and an input / output interface 69 that can be connected to the network. Further, the components of the image processing device 10 and the line-of-sight estimation device 30 may be distributed and arranged in a plurality of devices. can do. The identification information display device 20, the identification information generation device 22, and the voice output device 24 may also be configured to be realized by the computer 60.
The present disclosure is not limited to the above-described embodiments, and various modifications can be made, and the embodiments obtained by appropriately combining the configurations, operations, and processes disclosed in the different embodiments are also disclosed in the present disclosure. Included in the technical scope.
The present disclosure has been described above by using the above-described embodiment as a model example. However, the present disclosure is not limited to the embodiments described above. That is, the present disclosure may apply various aspects that can be understood by those skilled in the art within the scope of the present disclosure.

５ カメラ
１０ 画像処理装置
１１ 取得部
１２ 出力部
２０ 識別情報表示装置
２１ 識別情報
２４ 音声出力装置
３０ 視線推定装置
３１ 視線推定部
５０ 被験者
５１ キャリブレーションボード
５１１、５１２、５１３、５１４ 正解位置 5 Camera 10 Image processing device 11 Acquisition unit 12 Output unit 20 Identification information display device 21 Identification information 24 Voice output device 30 Line-of-sight estimation device 31 Line-of-sight estimation unit 50 Subject 51 Calibration board 511, 512, 513, 514 Correct answer position

Claims (10)

被験者の第１の視線画像と、前記被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得する取得手段と、
前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる前記正解位置と、を関連付けたキャリブレーション情報を出力する出力手段と、を備える、
画像処理装置。 An acquisition means for acquiring a calibration image including a first line-of-sight image of a subject and identification information indicating a correct position in the line-of-sight direction of the subject.
Based on the calibration image, the output means for outputting the calibration information in which the first line-of-sight image and the correct answer position included in the identification information are associated with each other is provided.
Image processing device. 前記キャリブレーション画像は、前記被験者と、前記識別情報が表示された識別情報表示装置を撮影した画像である、
請求項１に記載の画像処理装置。 The calibration image is an image obtained by photographing the subject and the identification information display device on which the identification information is displayed.
The image processing apparatus according to claim 1. 前記キャリブレーション情報は、前記識別情報ごとの前記正解位置と、前記視線方向ごとの前記被験者の前記第１の視線画像が、関連付けされている、
請求項１又は２に記載の画像処理装置。 The calibration information is associated with the correct position for each identification information and the first line-of-sight image of the subject for each line-of-sight direction.
The image processing apparatus according to claim 1 or 2. 前記識別情報が２次元コード、１次元コードである、
請求項１から３のいずれか１つに記載の画像処理装置。 The identification information is a two-dimensional code and a one-dimensional code.
The image processing apparatus according to any one of claims 1 to 3. 請求項１に記載の画像処理装置が出力した前記キャリブレーション情報と、分析対象となる前記被験者の第２の視線画像と、に基づいて、前記第２の視線画像における前記被験者の視線を推定する、視線推定手段を備える、
視線推定装置。 Based on the calibration information output by the image processing apparatus according to claim 1 and the second line-of-sight image of the subject to be analyzed, the line-of-sight of the subject in the second line-of-sight image is estimated. , Equipped with line-of-sight estimation means,
Line-of-sight estimation device. 請求項５に記載の視線推定装置と、
前記正解位置の前記識別情報の表示と共に、前記正解位置を示す誘導音声を出力する、音声出力装置を備える、
視線推定システム。 The line-of-sight estimation device according to claim 5 and
A voice output device is provided, which outputs a guidance voice indicating the correct answer position together with displaying the identification information of the correct answer position.
Line-of-sight estimation system. 前記誘導音声は、前記正解位置のキャリブレーション配置を音声で出力する、
請求項６に記載の視線推定システム。 The guidance voice outputs the calibration arrangement of the correct answer position by voice.
The line-of-sight estimation system according to claim 6. 前記誘導音声は、前記被験者に対し、前記正解位置を注視する時間間隔を音声で出力する、
請求項６又は７に記載の視線推定システム。 The guidance voice outputs a voice to the subject at a time interval for gazing at the correct answer position.
The line-of-sight estimation system according to claim 6 or 7. 被験者の第１の視線画像と、前記被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得し、
前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する、
画像処理方法。 A calibration image including the first line-of-sight image of the subject and the identification information indicating the correct position in the line-of-sight direction of the subject is acquired.
Based on the calibration image, the calibration information in which the first line-of-sight image and the correct position included in the identification information are associated with each other is output.
Image processing method. 被験者の第１の視線画像と、前記被験者の視線方向の正解位置を示す識別情報と、を含むキャリブレーション画像を取得し、
前記キャリブレーション画像に基づき、前記第１の視線画像と、前記識別情報に含まれる正解位置と、を関連付けたキャリブレーション情報を出力する、
ことをコンピュータに実行させるプログラム。 A calibration image including the first line-of-sight image of the subject and the identification information indicating the correct position in the line-of-sight direction of the subject is acquired.
Based on the calibration image, the calibration information in which the first line-of-sight image and the correct position included in the identification information are associated with each other is output.
A program that lets a computer do things.
JP2020057435A 2020-03-27 2020-03-27 IMAGE PROCESSING DEVICE, EYE-Gaze ESTIMATION ... SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM Active JP7521220B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020057435A JP7521220B2 (en) 2020-03-27 2020-03-27 IMAGE PROCESSING DEVICE, EYE-Gaze ESTIMATION ... SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020057435A JP7521220B2 (en) 2020-03-27 2020-03-27 IMAGE PROCESSING DEVICE, EYE-Gaze ESTIMATION ... SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM

Publications (2)

Publication Number Publication Date
JP2021157523A true JP2021157523A (en) 2021-10-07
JP7521220B2 JP7521220B2 (en) 2024-07-24

Family

ID=77918443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020057435A Active JP7521220B2 (en) 2020-03-27 2020-03-27 IMAGE PROCESSING DEVICE, EYE-Gaze ESTIMATION ... SYSTEM, IMAGE PROCESSING METHOD, AND PROGRAM

Country Status (1)

Country Link
JP (1) JP7521220B2 (en)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100366A (en) * 2003-08-18 2005-04-14 Yamaguchi Univ Visual line input communication method using eyeball motion
JP2016087130A (en) * 2014-11-06 2016-05-23 株式会社フューチャーデバイス Game machine
JP2016185375A (en) * 2016-06-28 2016-10-27 株式会社Ｊｖｃケンウッド Diagnosis support device, diagnosis support method and diagnosis support program
JP2016187589A (en) * 2016-07-04 2016-11-04 株式会社Ｊｖｃケンウッド Gaze point detector and gaze point detection method
JP2017134558A (en) * 2016-01-27 2017-08-03 ソニー株式会社 Information processor, information processing method, and computer-readable recording medium recorded with program
JP2017523487A (en) * 2014-03-26 2017-08-17 マイクロソフト テクノロジー ライセンシング，エルエルシー Eye tracking based on adaptive homography mapping
JP2017213191A (en) * 2016-05-31 2017-12-07 富士通株式会社 Sight line detection device, sight line detection method and sight line detection program
JP2019095892A (en) * 2017-11-20 2019-06-20 シャープ株式会社 Vehicle drive supporting device and vehicle drive supporting program
JP2020018470A (en) * 2018-07-31 2020-02-06 株式会社Ｊｖｃケンウッド Visual line detection device, visual line detection method, and visual line detection program
JP2020032077A (en) * 2018-08-31 2020-03-05 株式会社Ｊｖｃケンウッド Evaluation device, evaluation method, and evaluation program
JP2020032078A (en) * 2018-08-31 2020-03-05 株式会社Ｊｖｃケンウッド Evaluation device, evaluation method, and evaluation program

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005100366A (en) * 2003-08-18 2005-04-14 Yamaguchi Univ Visual line input communication method using eyeball motion
JP2017523487A (en) * 2014-03-26 2017-08-17 マイクロソフト テクノロジー ライセンシング，エルエルシー Eye tracking based on adaptive homography mapping
JP2016087130A (en) * 2014-11-06 2016-05-23 株式会社フューチャーデバイス Game machine
JP2017134558A (en) * 2016-01-27 2017-08-03 ソニー株式会社 Information processor, information processing method, and computer-readable recording medium recorded with program
JP2017213191A (en) * 2016-05-31 2017-12-07 富士通株式会社 Sight line detection device, sight line detection method and sight line detection program
JP2016185375A (en) * 2016-06-28 2016-10-27 株式会社Ｊｖｃケンウッド Diagnosis support device, diagnosis support method and diagnosis support program
JP2016187589A (en) * 2016-07-04 2016-11-04 株式会社Ｊｖｃケンウッド Gaze point detector and gaze point detection method
JP2019095892A (en) * 2017-11-20 2019-06-20 シャープ株式会社 Vehicle drive supporting device and vehicle drive supporting program
JP2020018470A (en) * 2018-07-31 2020-02-06 株式会社Ｊｖｃケンウッド Visual line detection device, visual line detection method, and visual line detection program
JP2020032077A (en) * 2018-08-31 2020-03-05 株式会社Ｊｖｃケンウッド Evaluation device, evaluation method, and evaluation program
JP2020032078A (en) * 2018-08-31 2020-03-05 株式会社Ｊｖｃケンウッド Evaluation device, evaluation method, and evaluation program

Also Published As

Publication number Publication date
JP7521220B2 (en) 2024-07-24

Similar Documents

Publication Publication Date Title
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
JP2019040642A (en) Face authentication apparatus, face authentication method, and program
JP6780767B2 (en) Inspection support device, inspection support method and program
JP5674465B2 (en) Image processing apparatus, camera, image processing method and program
US11574399B2 (en) Abnormal state detection device, abnormal state detection method, and recording medium
JP2017162103A (en) Inspection work support system, inspection work support method, and inspection work support program
JP2017161301A (en) Sperms simple test kit, system, and method for sperms simple test
US20200134317A1 (en) Measurement data collection device and program
EP3136724A1 (en) Wearable display apparatus, information processing apparatus, and control method therefor
JPWO2021119212A5 (en)
US20190026909A1 (en) Monitoring device and monitoring system
WO2018146959A1 (en) System, information processing device, information processing method, program, and recording medium
CN112073640B (en) Panoramic information acquisition pose acquisition method, device and system
WO2018100631A1 (en) Information processing apparatus
JP6858007B2 (en) Image processing system, image processing method
JP2021157523A (en) Image processing device, image processing method and program
JP2016149678A (en) Camera calibration unit, camera calibration method and camera calibration program
JPWO2018158815A1 (en) Inspection support device, inspection support method and program
JP2019045285A (en) Measurement support system
JP2013156909A (en) Shape model generation device and pre-and-post work corresponding image determination system
KR20130079962A (en) Method of displaying post-it contents using augmented reality and apparatus using the same
JP2018032991A (en) Image display unit, image display method and computer program for image display
WO2016130428A1 (en) Ophthalmic image capture systems and methods
CN114766027A (en) Information processing method, information processing apparatus, and control program
CN111481177A (en) Head-mounted device, screen projection system and method, and computer-readable storage medium

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211019

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230215

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231221

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240422

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240624

R150 Certificate of patent or registration of utility model

Ref document number: 7521220

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150